Legenda głosi, że zamek wznieśli przedstawiciele rodu Świnków już w 900 roku. Bardziej prawdopodobna wersja opisująca powstanie zamku wskazuje, że powstał w XI wieku jako książęca kasztelania. Pierwsza wzmianka o budowli pojawia się u greckiego kronikarza Kosmasa w 1125 (Zuini in Polonia). To właśnie w murach opisywanego zamku Mutina ze swym stryjem w 1108 roku odbyli potajemne spotkania, których celem było stworzenie planu obalenia czeskiego księcia Świętopełka.
Budowla powstała, aby strzec szlaku łączącego Czechy z Polską przez przełęcz Lubawską. W XIII wieku kasztelan zamku, Piotr ze Świn otrzymał od księcia Bolko I zamek na własność. W rękach rodu Świnów zamek pozostał, aż do 1713 roku
W XIV wieku powstała zachowana do dziś wieżą o przeznaczeniu mieszkalnym oraz mury otaczające zamkowy dziedziniec. Wspominana wcześniej wieża posiada aż cztery kondygnacje oraz głębokie lochy. Parter to sala rycerska, której pozostałości można oglądać współcześnie. W tym czasie powstał również gotycki portal nad wejściem na dziedziniec. Chwilę później dodano kolejne skrzydło mieszkalne.
W XVII wieku gotycką warownię przebudowano w stylu renesansowym. Jan Zygmunt Świnka wzniósł obszerną rezydencję w której rogach umieścił wieże. Powstały również kolejne linie fortyfikacji.
W 1713 roku, gdy umarł ostatni męski potomek rodu Świnków, Jerzy Ernest. zamek sprzedano mężowi jego córki – Sebastianowi Henrykowi von Schweinitz. Podczas Wojny Siedmioletniej zamek został doszczętnie złupiony i zniszczony przez stacjonujące w nim wojska rosyjskiej. Hans Friedrich von Schweinitz, potomek Sebastiana Henryka, zmarł wcześniej pogrążając rodzinę w długach. Zamek sprzedano na przymusowej licytacji w 1769 roku.
Nowy właściciel zmienił warownię w… skład zboża. w 1840 roku wichura zerwała dach wieży mieszkalnej, a 28 lat później huragan uszkodził dach tak mocno, że doszło do zawalenie się wszelkich stropów. W 1876 roku pożar dopełnił ruiny.
Na początku XX wieku dzierżawcą zamku został Związek Przyjaciół Bolkowego Gaju. Wzmocniono mury i odnowiono wieżę zamkową nakrywając ją nowym dachem. W latach 60tych budowlę gruntownie odnowiono. Od 1991 roku zamek jest w rękach prywatnych.
.
