W roku 1942 obiekt ten przejęła nazistowska paramilitarna frakcja Todta, przekształcając go w wielki magazyn przejściowy, skupiający zwożone z całego Śląska, ale również i skradzione z polskich muzeów zabytki oraz wartościowe dzieła sztuki.
Tuż przed nadejściem wojsk sowieckich dużą część zbiorów pospiesznie ewakuowano w głąb Niemiec, a resztę niedługo potem Rosjanie załadowali do 15 wagonów i wywieźli w kierunku Moskwy.
W grudniu 1945 r. Sowieci podpalili budynek pałacu po raz pierwszy, ten ogień jednakże wspólnymi siłami okolicznej ludności i jednostek Ochotniczej Straży Pożarnej udało się po kilku dniach ugasić.
Po raz drugi budowla płonęła na przełomie stycznia i lutego 1946, lecz wtedy już nikt jej nie gasił, ponieważ Rosjanie otoczyli pałac kordonem żołnierzy i zagrozili mieszkańcom, że zastrzelą każdego, kto podejmie się tej próby.
O tym zdarzeniu opowiadał nam naoczny świadek, jeden z mieszkańców gminy.
Po takim zniszczeniu zamku zostały tylko mury zewnętrzne, całe wnętrze zupełnie zniszczone i zdewastowane.
Dzieła zniszczenia dopełnił fakt, że przez kolejne lata nikt tego obiektu nie zabezpieczył.
Obiekt rozbierano kamień po kamieniu, wywieziono większość ocalałych rzeźb, a resztę zniszczono lub sprzedano na złom.
W latach 50 zdemontowano z podłóg marmurowe posadzki, przekazując je do wykończenia wnętrz Sali Kongresowej warszawskiego Pałacu Kultury i Nauki, a także do budowy katedry w Katowicach. (!)
Stan rozkładu, pogłębiany niekontrolowaną działalnością szabrowników i różnej maści meneli, trwał aż do późnego Gierka, kiedy to konserwatorzy zwrócili wreszcie uwagę na ten piękny zabytek i wdrożyli ograniczone działania zabezpieczające.
Nasz rozmówca opowiadał, że rabowano również bez opamiętania rośliny z parku pałacowego, rzadkie okazy drzew i krzewów wykopywano i wywożono ciężarówkami w wielkich ilościach.
Uchowały się tylko ogromnych rozmiarów tulipanowce, rosnące tuż za bramą wjazdową.
tak wyglądał dziedziniec wewnętrzny
