Około 1429 r. mistrz Niklos zbudował dla księcia warszawskiego Janusza I Starszego zamek murowany na sztucznej wyspie wśród bagien rzeki Liwiec, przy ówczesnej granicy księstwa. Warownię dokończył jego wnuk Bolesław IV, a rozbudowała księżna Anna Mazowiecka (ok. 1500 r.).

Po wygaśnięciu linii męskiej Piastów mazowieckich ich księstwo Zygmunt I Straszy wcielił do Korony, poza ziemią liwską którą wraz zamkiem zatrzymała księżniczka Anna Mazowiecka jako zaopatrzenie do czasu zamążpójścia. Po ślubie Anny w 1537 r. ziemię liwską przyłączono do Korony. W latach 1547-1556 zamek należał do królowej-wdowy Bony Sforzy. W 1656 r. (potop) i 1703 r. (wojna północna) Szwedzi zdobywali i plądrowali warownię, która po drugim najeździe popadła w ruinę. W 1782 r. starosta Tadeusz Grabianka zbudował na siedzibę kancelarii starostwa i sądu ziemskiego dwór barokowy, który spłonął w połowie XIX wieku.

Podczas II wojny światowej niemiecki starosta Ernst Gramss zamierzał rozebrać ruiny zamku na cegłę. Zapobiegł temu młody polski archeolog Otto Warpechowski, przekonując starostę o krzyżackim rzekomo pochodzeniu zamku i doprowadzając do rozpoczęcia jego odbudowy. Prace renowacyjne, przerwane przez Niemców w 1944 roku, ukończono w 1961 r.