„Pro město velikosti Stráže pod Ralskem je obnova zámku, který převzalo skutečně v dezolátním stavu, náročným úkolem. Přesto se vedení města za podpory zastupitelstva rozhodlo, že se pustí do postupné rekonstrukce. Liberecký kraj na tuto rekonstrukci přispívá. A proměna k lepšímu, i když zatím jen vnější, je pro návštěvníky již z dálky viditelná,“ uvedla Květa Vinklátová, radní pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.

Původně na místě stál gotický hrad, který pravděpodobně založil Markvart z Března či jeho syn Beneš z Vartenberka ve 13. století. Po pánech z Vartenberka se majitelem zámku stal šlechtický rod Hyršpergárů, který jej přestavbou změnili na renesanční zámek. Jeho majiteli byli postupně pak Lichtenštejnové, Hartigové a na krátký čas také Albrecht z Valdštejna.

Za druhé světové války byla na zámku věznice. Po válce si jej ke svým potřebám zabrala rudá armáda, která uvnitř vybudovala nemocnici a zotavovnu. Budova zámku 11. září 1987 vyhořela.

Na protější straně Zámeckého vrchu, kde se Vartenberk nalézá, se nachází kaple svatého Jana Nepomuckého, která je se zámkem spojena lipovou alejí.