Rozsáhlý barokní areál bývalého augustiniánského kláštera s kostelem sv. Rodiny, přilehlým konventem a kaplí Božího hrobu vznikl v průběhu let 1679–1733. Konvent, jehož prostory opustili řádoví bratři v důsledku josefínských reforem, prošel roku 1815 úpravou pro potřeby gymnázia. Od roku 1908, kdy se studenti přesunuli do nově vystavěné budovy gymnázia (HB_2004), slouží stavba státní správě, která ji během 20. století několikrát upravovala podle svých potřeb.

Již v roce 1905 vypracoval vrchní inženýr Václav Koudelka plány na využití areálu pro potřeby státní a finanční správy, což znamenalo v podstatě kompletní rekonstrukci celého objektu. Plány následně podrobně rozpracovalo technické oddělení c. k. pražského místodržitelství ve spolupráci se zdejším vrchním inženýrem Bohumilem Šelem. I přes ostrý nesouhlas tehdejšího zástupce památkové péče c. k. konzervátora Zdeňka Wirtha, který upozorňoval na mimořádnou hodnotu objektu, došlo k rozsáhlým bouracím a stavebním pracím, které zahrnovaly mimo jiné odstranění části jihovýchodního křídla, snesení kleneb, vybourání větších okenních otvorů v celé budově a vestavění dvoupatrového schodiště. Jižní křídlo bylo zvýšeno o další patro pro zřízení bytu okresního hejtmana a původně jednoduchá budova s hladkými stěnami kompletně přefasádována pomocí lizén a pilastrů v historizujícím stylu. Střecha byla pokryta taškami místo šindele, což definitivně dovršilo zničení původní podoby klášterní budovy. V rámci klášterního komplexu se podařilo od výraznějších zásahů uchránit v podstatě pouze kostel sv. Rodiny s přilehlou kaplí Božího hrobu. 

Další necitlivá proměna proběhla mezi lety 1961–1963, kdy byl mezi budovu gymnázia a jižní křídlo kláštera přistavěn nový objekt rozšiřující kancelářské prostory Okresního národního výboru (ONV), který převzal komplex do své správy. 

Na ni navázala rozsáhlá adaptace v 70. a 80. letech 20. století podle projektu architekta Ladislava Zieglera. Došlo k vybourání nového vchodu v jihozápadním rohu budovy, do podkroví byly umístěny další kanceláře a značných změn doznaly také interiéry. V rámci jejich vybavování byly realizovány umělecké zakázky, mezi nimiž vynikají keramické stěny ve vstupní hale od Miloslava Chaloupka a výzdoba zasedacích síní, na níž se vedle Chaloupka (Mírové slunce) podíleli J. Holinka (státní znak) a Ludoslav Matušík (leptaná skla pro výplně dveří a prosklené stěny). Interiéry včetně umělecké výzdoby zůstaly až do dnešní doby v podstatě beze změn.