Budowa zamku, rozpoczęta w 1838 r. kosztowała równowartość 3 ton złota; inwestorem była Marianna Oriańska, córka Wilhelma, króla Niderlandów, która w spadku po matce - Wilhelminie - przejęła także odkupione po sekularyzacji dobra poklasztorne w Lubiążu, Henrykowie i Kamieńcu Ząbkowickim. Zamek słynął z utworzonych wokół niego przeróżnych systemów wodnych - stawów, fontann i wodospadów, do których prowadziły podziemne tunele, w których ukryci byli podczas pokazów operatorzy urządzeń; podobno najmocniejsza fontanna tryskała na wysokość 33 m. W okresie letnim obiekt był udostępniany turystom.
Po zakończeniu II wojny światowej, 21 stycznia 1946 r. około godziny jedenastej wybuchł pożar w zamku. Milicjanci posłani na sprawdzenie zauważyli dwie Niemki i czterech żołnierzy Armii Radzieckiej kradnących materiały, deski, drzwi i papiery na opał. Jak później zauważono, była to część samowolnej grupy żołnierzy, trudnej do opanowania przez władze zwierzchnie, która dokonywała zadziwiających wprost, w rozmiarach, zniszczeń. W relacjach napisano: ”W konsekwentnym ich działaniu przebija silny upór i systematyczność w rozbijaniu wszystkiego, co przedstawia jakąś wartość artystyczną. Miałem możliwość podziwiać, jak ciężkie bloki marmurowe wymagające olbrzymiej pracy dla przesunięcia z miejsca rozbite leżą u stóp zamku, wyrzucone przez okna z drugiego piętra. Wszystkie rzeźby ogrodowe z wielkim nakładem pracy pościągano z piedestałów i przetoczono na kraj tarasów po to, by uzyskać efekt, zrzucając je i roztrzaskując na niższych kamiennych kondygnacjach tarasów”.
W krótkim czasie zamek stał się ruiną.
Ale nie wszystkie tajemnice zostały w międzyczasie wyjaśnione. Kilkadziesiąt lat później ówczesna służba bezpieczeństwa zwróciła uwagę na jedną z relacji, jaka do nich dotarła:
„Z zeznań świadka Jana Góralczyka zam. Łódź wynika, że w 1973 r. pracując w POM Kamieniec, poczta Bierkowice były powiat Kłodzki, na dziedziniec mieszczącego się tam zamku przyjechało samochodem dwóch obywateli FRN. Penetrowali oni przede wszystkim okolice pałacu, nie interesując się samym budynkiem. Szczególną uwagę poświęcili murowi oporowemu oddzielającemu dziedziniec zamku od parku. Według oceny świadka mur ten jest w tym miejscu zupełnie niepotrzebny, ma dziwny kształt i jak sądzi służy do zamaskowania jakiegoś schowka. Powyższe fakty wiążą się przypuszczalnie z rozmową, jaką wyżej wymieniony podsłuchał przebywając w zakładzie karnym w Rawiczu. Rozmowa ta – prowadzona przez dwóch więźniów oficerów Wehrmachtu dotyczyła znajdującego się w Kamieńcu schowka, w którym NN oficerowie niemieccy ulokować mieli NN materiały”.
Owych NN materiałów nikt jednak później już nie szukał.
