První písemná zmínka o Milštejnu pochází z roku 1343. Prvním známým majitelem byl Jindřich Berka z Dubé. Tento šlechtický rod pak vlastnil hrad až do jeho zániku v 16. století.

„Myslím, že zříceninu hradu Milštejn znají spíš jen skuteční nadšenci do historie a místní. Určitě však stojí za to se vypravit ve volných dnech prázdnin a babího léta na malý výlet a objevit toto pozoruhodné místo,“ uvedla Květa Vinklátová, radní pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.

Z původního hradu dodnes zbylo pouze torzo kamenné hradby na skalním hřebenu. Původní brána, válcový bergfrit, pravděpodobná věž ani opevněné předhradí se nedochovaly z prostého důvodu, jímž byla těžba kamene.

Lom fungoval již v okolí hradu již ve středověku a postupně se rozšířil až do areálu hradu. Koncem 19. století zde pracovalo téměř 100 dělníků a ročně se vyrábělo až 600 žernovů neboli mlýnských kamenů, které se mimo jiné vyvážely do Ruska, Německa a Skandinávie. Těžba skončila roku 1910. V podhradí je několik zavalených podzemních prostor, vzniklých převážně dolováním pískovce.