„Jedná se o méně známý zámek v našem kraji. Může se stát příjemnou malou zastávkou pro výletníky, kteří míří do Krkonoš,“ uvedla Květa Vinklátová, radní pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.

Branský zámek založil Zdeněk z Valdštejna a po jeho smrti stavbu dokončila roku 1582 vdova Marie z Martinic. Zámek byl na svoji dobu velmi honosný. Měl dvě patra, první kamenné a horní dřevěně s ochozy, s věžičkou na hřebenu střechy. Jeho severní přízemí tvoří obloukové podloubí se čtyřhrannými kamennými sloupy.

Na zevních stranách kamenné části celého zámku byly různé nápisy, verše, arabesky, figury, sgrafita a rozmanité ozdoby. V nejvyšší části průčelí je dodnes dobře zachována série umělecky provedených lunet s výjevy selského, řemeslnického a panského života. Na severovýchodní straně,  jsou nápisy od učeného Mistra Jana z Vinoře a znaky Zdeňka z Valdštejna a Maří z Martinic, majitelů Štěpanic a Horní Branné.

Zámek byl za třicetileté války zpustošen a druhé patro bylo vypáleno.  Při opravách zůstalo jenom první patro, druhé už nebylo dostavěno. Během rekonstrukce byly všechny výzdoby a nápisy na stěnách zámku zakryty omítkou. 

Teprve v roce 1868 dal hrabě Jan z Harrachu omítku sejmout, ale podařilo se zachránit už jenom zbytky bývalé výzdoby zámeckých stěn. Další význačná oprava proběhla v roce 1908 zásluhou vrchního lesmistra Reicha. Naposled se malby a ozdoby na zámeckých stěnách dočkaly restaurování v roce 1960 a v roce 1994 se uskutečnila celková oprava fasády  včetně sgrafit na náklady obce.

K zámku byly postupně přistavěny další budovy. Vznikl tak zhruba čtvercový hospodářský celek s poměrně rozsáhlým volným prostorem uvnitř. Přístup do něho byl dvěma branami pro povozy a dvěma brankami pro pěší. Hlavní východní brána má tesaný portál, nad kterým je harrachovský znak. Protější západní byla při úpravách hospodářských objektů zrušena. V  blízkosti zámku bývala myslivna, kde v dřívějších dobách bydlel vrchní panský myslivec.

Až do roku 1990 byl zámek majetkem státu. Spravován byl místním národním výborem. Se změnou politických poměrů přešel do vlastnictví obce. Slouží jí jako reprezentační objekt, ve kterém jsou umístěny kanceláře, malé muzeum a dvě drobné provozovny.