Wykupiony, po licytacji majątek dziedziczy Otolia Karwat, która w 1835 r. poślubiła bogatego właściciela ziemskiego i powstańca listopadowego Stefana Narzymskiego.
W 1953 rozpoczyna się budowa obiektu w stylu gotyku angielskiego. Ciekawostką jest nadanie pałacowi cech "kalendarza" - jedna wieża symbolizowała rok, 52 pomieszczenia - tygodnie, zaś 365 okien - liczbę dni.
Według rodzinnej tradycji, przekazanej przez siostrę pasterkę Aleksandrę Narzymską, Stefan Narzymski przy budowie pałacu miał też na względzie cele patriotyczne. Podobno po upadku powstania listopadowego część jego uczestników nadal planowała wzniecenie walki we wszystkich trzech zaborach i w ramach przygotowań do walki zamierzała wybudować szereg punktów, w których można by było organizować magazyny broni oraz miejsca oporu. Zdaniem s. Narzymskiej właśnie dlatego Stefan Narzymski w architekturze pałacu polecił wybudować na wyższych kondygnacjach niewielkie okienka - strzelnice na wzór gotyckich, całą budowlę umiejscowił na wzgórzu, a także rozkazał wykonanie tajnych przejść z najwyższej wieży poprzez piwnice do kościoła Św. Wojciecha. Przejścia takie faktycznie zostały znalezione w zamku, jednak nie figurowały na żadnym z jego oficjalnych planów. Wikipedia
Po kolejnych zmianach właścicieli i dewastacji przez wojska niemieckie /1914/ pałac przekazano w 1933 r siostrom ze
Zgromadzenia Sióstr Pasterek od Opatrzności Bożej.
W 1939 pałac został przejęty przez wojska hitlerowskie, a zakonnice przesiedlone do Dębowej Łąki. 5 listopada 1941 umieszczony został w obiekcie obóz zniemczenia, w którym tymczasowo przetrzymywano osoby przeznaczone na roboty w III Rzeszy. Niemcy dokonali zmian w układzie pomieszczeń obiektu, dostosowując go do nowych potrzeb i kończąc rozpoczętą w czasie I wojny światowej dewastację wspaniałej ongiś rezydencji. W 1943 r.Niemcy porzucili pałac, który stał niezagospodarowany do końca działań wojennych. W 1945 r. czasowo mieścił kolejne więzienie przejściowe - tym razem zorganizowane przez NKWD.
Po wojnie obiekt ponownie pozostaje w rękach sióstr.