Samotný objekt má zajímavou historii. Stavba věznice byla zahájena v roce 1801 podle projektu z roku 1799. Během bojů v prusko-rakouské válce, které se odehrály přímo ve městě, byli vězni odvedeni do Jičína a ve věznici tak zůstal jen strážce. Za německé okupace pak věznici užívaly průběžně nacistické soudy a gestapo. Věznice zde fungovala až do roku 1954. Poté budovu využíval Okresní státní archiv. V roce 1976 začala částečná rekonstrukce na sklad civilní ochrany. Takto byla využívána až do roku 2008. Trutnovské pracoviště ÚZSVM převzalo budovu bývalé věznice od Hasičského záchranného sboru Královéhradeckého kraje jako majetek, který hasiči pro plnění svých úkolů nepotřebují.

Budova je částečně podsklepená a má dvě nadzemní podlaží. Celý objekt je obestavěn téměř dvoumetrovou cihlovou zdí. V současné době je budova nevyužívaná. Budova byla převedena městu Trutnov z důvodu hospodárnosti a veřejného zájmu, neboť bude městu sloužit k umístění depozitáře městského muzea, pracoven jeho odborných zaměstnanců, konzervačních dílen a specializované knihovny, která je zařazena v síti veřejných knihoven a bezplatně přístupná veřejnosti.