Początki pałacu sięgają XVI wieku. Murowany zamek w stylu gotycko-renesansowym został zbudowany przez królewskiego architekta Hioba Bretfusa, znanego z budowy Zamku Dolnego w Wilnie, dworu królewskiego w Knyszynie, oraz modernizacji i rozbudowy Starego Zamku w Kamieńcu Podolskim czy zamku w Tykocinie.

Stefan Mikołaj Branicki, ojciec hetmana wielkiego koronnego Jana Klemensa Branickiego, zlecił przekształcenie zamku Wiesiołowskich w barokową rezydencję Tylmanowi z Gameren. Ten pochodzący z Utrechtu inżynier wsławił się wcześniej m.in. budową pałacu Krasińskich w Warszawie i rezydencji prymasa Michała Radziejowskiego w Nieborowie. Trwająca w latach 1691-1697 przebudowa zmieniła całkowicie oblicze budowli. Między innymi jedna z baszt została wykorzystana jako klatka schodowa. W drugiej baszcie usytuowano komnaty. Podczas kolejnej przebudowy podwyższono boczne oficyny, postawiono jońską kolumnadę, wiele rzeźb. Istnieje także legenda o podziemnym przejściu między zamkiem i wieżą stojącego w pobliżu kościoła farnego, który w XVII wieku również był przystosowany do obrony.

Pałac został zniszczony w 1944, odbudowany w latach 1946-1960. Od końca II wojny światowej mieści się w nim Akademia Medyczna, obecnie Uniwersytet Medyczny w Białymstoku.