Galimybė buvusiame kalėjime įkurti muziejų atsirado po to, kai miesto centre esantį tardymo izoliatorių nutarta iškeldinti už miesto. Muziejininkų teigimu, senasis kalėjimo pastatas yra autentiškas ir vertingas. Be to, jis įtrauktas į Kultūros vertybių registrą, tad jo negalima nei griauti, nei perstatyti, praneša Lietuvos radijas.
O sutvarkius ventiliacijos sistemą ten būtų galima įrengti eksponatų saugyklas, parodų salę, parengti ekspozicijas apie kovas už nepriklausomybę, sukilimus prieš caro valdžią.
Kalėjimas pradėtas statyti 1911 metais carinės Rusijos užsakymu.