Na miejscu tym stała pierwotnie siedziba należąca do rodu Odrowążów. Niewiele o niej wiadomo, jedne źródła podają, że pochodziła z XIV, inne że z XV wieku, raz określana jest jako zamek, innym razem jako drewniany dwór. Istniejący (choć w ruinie) dwór obronny, wzniósł w końcu XVI wieku Andrzej Dunin Modliszewski herbu Łabędź, starosta łomżyński i kolneński. Mimo, że nie piastował zbyt ważnych stanowisk to był człowiekiem obytym w świecie i znającym najnowsze trendy mody i kultury. Od najmłodszych lat przebywał bowiem na dworze cesarza Maksymiliana II, a następnie Anny Jagiellonki. Znany jest jego renesansowy nagrobek w katedrze łomżyńskiej dłuta słynnego włoskiego architekta i rzeźbiarza Santi Gucciego (lub z jego kręgu warsztatowego). Rezydencję w Modliszewicach, zbudowaną w stylu renesansu włoskiego  również przypisuje się Santi Gucciemu, choć nie ma na to pełnych dowodów. Dwór zbudowany został na wyspie, prowadził na nią most zwodzony zakończony na lądzie bramą o cechach obronnych. Początkowo powstał główny korpus obiektu, zbudowany z kamienia i cegły na planie prostokąta o wymiarach 10,8 x 27 m, a nieco później dobudowano do niego basteje ze strzelnicami. Do dworu wchodziło się wachlarzowatymi schodami od strony północnej.

   W początkach XVII wieku Modliszewice kupił Jan Lipski, późniejszy arcybiskup gnieźnieński i prymas Polski i około 1630 dobudował od strony północnej piętrowy budynek bramny, a całość otoczył murem. W I połowie XVIII wieku posiadłość trafiła w ręce Małachowskich, którzy dobudowali przylegający do bramy budynek zwany kuźnią. W jego murach odkryto fragmenty kamieniarki z dworu, a więc prawdopodobnie w tym czasie dwór był już w ruinie. Ostatecznie budynek został opuszczony w połowie XIX wieku.

   W roku 1983 podjęto decyzję o odbudowie zamku, ale w 1990 zaprzestano prac z powodu braku funduszy. Udało się jedynie odrestaurować budynek bramny i kuźnię.