„Výprava na Chudý hrádek představuje výlet na samou hranici Libereckého kraje a dá se spojit například se zastávkou u historické sušárny chmele v Dubé. Ta prochází za přispění Libereckého kraje v posledních letech rekonstrukcí,“ uvedla Květa Vinklátová, náměstkyně pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.

Panské sídlo s obvodovou hradbou bylo vystavěno na ostrohu chráněném hlubokým příkopem a říčními údolími. Založili jej ve druhé polovině 14. století Berkové z Dubé a Chudý hrádek měl tehdy nahradit starší hrad Vřísek jako nové správní sídlo tamního panství.

Potomci Berků sídlili na Hrádku do poloviny 15. století. Dalšími majiteli byli Vartenberkové;  když byl roku 1622 Jan Jiří z Vartemberka odsouzen pro účast na českém stavovském povstání ke ztrátě veškerého jmění, přišel i o Chudý hrádek. Tehdy ale již byl zřejmě neobývaný.