Wraz z nową lokacją miasta jego właściciele musieli zadbać o jego bezpieczeństwo. Na górze zwanej dziś „zamkową” już w XIII wieku wzniesiono drewnianą budowlę obronną. Około roku 1340 biskup krakowski Jan Grot zbudował, lub dokończył budowę murowanego zamku w stylu gotyckim z okrągłą wieżą obronną. W wieku XVI kolejny właściciel zamku, biskup Filip Paderewski przebudował go, zgodnie z ówczesną modą, w stylu renesansowym. Podczas wojen szwedzkich zamek popadł w ruinę. Dzieła odbudowy dokonał biskup Andrzej Trzebnicki (1670). Kolejne przebudowy zamku miały miejsce około 1732 roku za czasów biskupa Aleksandra Lipskiego oraz około 1760 roku za Stanisława Załuskiego. W początkach XIX wieku, rządzący wówczas Austriacy, założyli w zamku szpital, później po pożarze budowla popadła w ostateczną ruinę.

Spacerując po zamkowym wzgórzu, zobaczyć możemy resztki budowli wzniesionej z łamanego kamienia.   Na samym szczycie wzgórza zachowała się najstarsza cześć ruin (resztki piwnic, ślad wjazdu, resztki bramy oraz okrągła wieża). Wśród drzew można znaleźć fragmenty innych umocnień i porozrzucane pozostałości kamieniarki. Obecnie, w sezonie letnim, możliwe jest wejście na szczyt wieży zamkowej, gdzie znajduje się platforma widokowa z piękną panoramą na bliższą i dalszą okolicę. Aby się tam dostać (drzwi są okratowane) należy kontaktować się z pracownikami muzeum regionalnego przy ulicy Błazińskiej.

Wzgórze zamkowe – widok z placu 11-go listopada.

Kapliczka na zamku.

Kapliczka na zamku – widok w środku.