Au début de XV siècle, le château est en mauvais état et des travaux sont entrepris de 1496 à 1522.
Réduit à l’état de vestige pendant la guerre de Trente Ans (1618-1648), il tombe en ruine progressivement et est inhabité ensuite.
Le château et la montagne sont achetés par l’abbaye le 14 décembre 1725. Les ruines sont vendues comme bien national en 1793.
La famille Hartmann rachète ce bien au début du XIX siècle et l’intègre dans sa propriété comme élément de son jardin anglais d’inspiration romantique.
Pendant la Première Guerre mondiale, il est utilisé comme observatoire d’artillerie par l’armée allemande.
Cette bâtisse a perdu de son prestige alors qu’elle a été considérée comme l’une des constructions militaires les plus abouties d’Alsace au Moyen Âge.
Une légende raconte que ces vestiges sont hantés par le fantôme d’une dame blanche et par un hibou ensorcelé. Dans un souterrain, qui n’a pas été découvert, seraient conservés des trésors inestimables…