Gród w Toszku powstał prawdopodobnie w X wieku – prawa miejskie Toszek otrzymał w 1235 r. Murowany zamek powstał na przełomie XIV i XV wieku. Wzgórze zamkowe z wewnętrznym dziedzińcem zostało otoczone murami. Wjazd od strony wschodniej prowadził przez przerzucony nad fosą most. Zabudowania były prawdopodobnie drewniane.  

   Pierwszym poważnych zniszczeń zamek doznał w 1429 roku podczas najazdu husytów. Wyremontował go w II połowie XV wieku książę oświęcimski Przemysław. W kolejnych wiekach zamek przechodził w ręce Habsburgów, Redernów, Colonnów (ich kartusz herbowy widnieje na bramie wjazdowej) i Gaschinów. Był też wielokrotnie rozbudowywany i przebudowywany. Sąsiadujący z bramą od południa dom mieszkalny z dwiema cylindrycznymi basztami został wybudowany w XVI wieku przez Redernów, został w latach 1650-1666 rozbudowany przez Colonnów. Wtedy też dostawiono do murów zamkowych od zachodu budynek mieszkalny, a od południa stajnie zamkowe. Nowy budynek na narożach od strony dziedzińca posiadał kwadratowe czterokondygnacjowe wieże, z których jedna przetrwała do dziś. Również do budynku bramnego dostawiono dwie wieże.  

   Zamek został całkowicie opuszczony po pożarze w 1811 roku. Przez ponad 100 lat pozostałości po zamku niszczały, w 1927 roku pierwsze badania architektoniczne podjął Bodo von Ebhardt, jednak dopiero po drugiej wojnie światowej w latach 1956–1963 część budynków odremontowano, a pozostałe mury zabezpieczono jako trwałą ruinę.