Po burzliwym małżeństwie Marianny Orańskiej z najmłodszym synem króla pruskiego
Albrechtem IV von Hohenzollern,
zakończonym rozwodem, księżna nie miała wstępu do zamku, wyszukała więc skromną posiadłość
w Białej Wodzie koło Złotego Stoku, zaledwie 10 km od Kamieńca i tutaj osiadła, zajmując XVII-wieczny dworek myśliwski.
Później na podstawie decyzji sądu odzyskała prawo do apartamentów w wieży kamienieckiego zamku,
jednak nie wolno jej było wchodzić głównym wejściem.
W kwietniu 1873 roku Marianna podarowała Kamieniec swojemu synowi Albrechtowi von Hohenzollern - był to prezent z okazji zaślubin Albrechta z księżniczką Marią von Sachsen Alteenburg.
Odtąd, przez prawie siedemdziesiąt lat, aż do 1940 roku, pałac kamieniecki znajdował się w rękach tejże pary, a następnie ich najstarszego syna Fryderyka Henryka. Rezydencja pełniła wówczas funkcję letniej siedziby Hohenzollernów, a w okresie zimowym jej wnętrza, park i tarasy odpłatnie udostępniano turystom. Po śmierci ostatniego przedstawiciela prostej linii rodu pałac odziedziczył książę Waldemar Pruski, który wraz z żoną Kalikstą mieszkał tam do maja 1945, po czym uciekł do rodzinnej Bawarii.
