„Pokud se výletníci vydají na Svojkov, budou mít příležitost poznat i jeho zajímavé okolí. Třeba Modlivý důl s Wagnerovou kaplí, vytesanou do skály, nebo zajímavou jeskynní soustavu,“ uvedla  Květa Vinklátová, náměstkyně pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.

Při stavbě panského sídla bylo využito skalní podloží a některé části hradu pak stavebníci vytesali přímo do skály. Také pískovec, z něhož se zdi rodily, dělníci získávali z blízkého okolí. Výška skály umožnila výstavbu ve třech patrech, přičemž schody vedly po vnějších stěnách.

Od roku 1381 byli vlastníky Svojkova páni z Chlumu. Za zmínku stojí, že nejznámější osobností tohoto rodu se stal Jan z Chlumu, zvaný Kepka, jenž spolu s Václavem z Dubé doprovázel Mistra Jana Husa na koncil do Kostnice. Stal se stoupencem jeho učení a zároveň Husovým oddaným přítelem.

V 16. století hrad chátral, v roce 1590 byla dřevěná část hradu stržena a spálena. V roce 1650 započali noví majitelé stavbu malého barokního zámku na úpatí hradního vrchu. V 2. polovině 19. století byla zřícenina hradu upravena novými romantickými prvky.