Historyczne Mazowsze nie jest regionem zbyt bogatym w średniowieczne zamki. W zasadzie większość zamków zbudowali książęta mazowieccy. Dość aktywny był książę Janusz I Starszy, który był sojusznikiem władców Polski, w tym Andegawenów i Jagiełły. Na przełomie wieku XIV i XV zainicjował budowę kilku dużych zamków książęcych (zamki mazowieckie – https://discover.pl/zamki-mazowieckie/). Podstawowym budulcem była cegła, w tym wypadku książęta mazowieccy wzorowali się na zamkach rycerzy krzyżackich. Wszystkie nowe zamki książąt mazowieckich były murowane.
Na wschodnich krańcach Mazowsza Janusz I Starszy zbudował zamek w Liwie (https://discover.pl/zamek-w-liwie/). Budowa została zainicjowana już po nadaniu Podlasia dla Janusza I przez Jagiełłę. W 1421 roku lokowano miasto Liw i podjęto decyzję o budowie zamku w Liwie jako strażnicy nadgranicznej. Zamek zbudowano na sztucznie usypanym wzgórzu, które wzmocniono palami drewnianymi. Zamek zbudowano na planie kwadratu 80 metrów, wewnątrz zbudowano tzw. Dom Duży dla burgrabiego. Przed mury wysunięto półotwartą basztę bramną, przed zamkiem zbudowano drewniane przedzamcze. Zamek otoczony mokradłami połączono groblą z miastem.
Przebudowy zamku podjęła się księżna Anna Mazowiecka w latach dwudziestych XVI wieku. Mury obwodowe podwyższono do 12 metrów, Dom Duży podwyższono o jedno piętro, podwyższono basztę bramną i zamknięto ją od strony dziedzińca. Na dziedzińcu zbudowano Dom Mały i spichlerz, jako budynki pomocnicze. Kolejnej przebudowy dokonała królowa Bona, która basztę bramną przebudowała na wieżę, a mury zamkowe kazała przystosować do broni palnej.
W czasie wojny polsko-szwedzkiej w 1657 roku Szwedzi zdobyli i spalili zamek, kolejne zniszczenia z rąk szwedzkich były w 1700 i 1703 roku. Po tych zniszczeniach zamku już nie odbudowywano. Na miejscu Domu Dużego zbudowano drewniany budynek kancelarii starosty. Pod koniec XVIII wieku zbudowano murowany dwór jako siedzibę starosty i sądu ziemskiego. Po przeniesieniu urzędów do Siedlec dwór niszczał i w połowie XIX wieku już praktycznie nie istniał.
Dwór odbudowano dopiero po połowie XX wieku, zabezpieczono zamkowe mury. Obecnie funkcjonuje tam muzeum.