Na počátku 20. století došlo na českém území k výstavbě množství nových hřbitovů za hranicemi tehdejší zástavby. Důvodem byla hygienická rizika, ale také limitovaný prostor historických hřbitovů uvnitř měst. V této době vznikl i takzvaný nový hřbitov v Havlíčkově Brodě. 

Vybrané pozemky při pražské silnici byly tehdy vzdálené téměř jeden kilometr od posledních budov. Obdélná plocha hřbitova se původně skládala ze dvou částí. Na východě se – obrácený k příjezdové silnici – nacházel městský hřbitov. Západní část směrem do polí zabíral o něco menší hřbitov zemského ústavu pro choromyslné (HB-2322). Výstavba samotného ústavu se zpozdila, první nemocní nastoupili v roce 1928. Ústavní hřbitov byl tedy připraven mnohem dříve, než došlo k otevření instituce. 

Zadání pro architektonickou soutěž na nový hřbitov vypracoval v roce 1909 zemský inženýr, architekt Prokop Frič. Realizaci vysoutěžila místní stavební firma bratrů Otakara a Františka Liškových, která navrhla podobu ohradní zdi hřbitova, oddělující plot mezi oběma částmi a přilehlou márnici s pitevnou v místech, kde se dnes nachází sociální zařízení. Projekt ještě následně revidoval Prokop Frič, který upravil vzhled ohradní zdi a budovy a navrhl uspořádání hřbitovního pozemku. 

Hřbitov byl dokončen v roce 1911. Středem městské části procházela široká cesta až k hlavnímu hřbitovnímu kříži, kolem nějž navrhoval Frič situovat „z obou stran vždy tři hroby určené pro muže o vlasť a lidstvo zasloužilé“. Od kříže se rozbíhaly dvě diagonálně položené cesty k zadním rohům městského hřbitova. I na jejich konci doporučoval architekt umístění význačnějších hrobů jako „point de vue“. Předem byly dále určeny hřbitovní sektory pro hrobky a řadové hroby, pro trvale získané hroby a hroby dočasné, pořizované na 10 let. Samostatný sektor náležel dětským hrobům s menšími rozměry. Pro zesnulé evangelického vyznání bylo vybráno místo bez výhledu na hlavní kříž – šlo totiž o symbol, kterému se evangelická církev většinou vyhýbala. 

Každá část hřbitova měla vlastní bránu, původně naproti sobě na protilehlých kratších stranách pozemku. Trojboké prostranství mezi branou městského hřbitova a městskou silnicí bylo parkově upraveno, vedla tudy příjezdová štěrková cesta pro kočáry. 

Na konci 20. let 20. století byl hřbitov v obou směrech rozšířen a přišel tak o své původní symetrické řešení. Městský hřbitov byl navíc o něco zvětšen na úkor hřbitova ústavního. Brána ústavního hřbitova se někdy v této době přesunula do jižní ohradní zdi, snad se tak stalo v souvislosti s dostavbou ústavu pro choromyslné a úpravou polní cesty za západní hranicí zástavby města, která propojila areál ústavu a jeho hřbitov.

Na začátku 30. let se jednalo o stavbě krematoria. Po zákazu pohřbívání na přeplněném starém hřbitově u svatého Vojtěcha v roce 1933 vznikly plány domku hrobníka v místech, kde se dnes nachází obřadní síň (HB-2949). Ani jeden z těchto projektů se ale nakonec nerealizoval.

V roce 1932 vznikl na hřbitově společný hrob vojáků první světové války, jejichž ostatky byly soustředěny z různých částí hřbitova na místo dnešního památníku padlých (HB-pc903_2). Poblíž byl v reakci na změny ve způsobu pohřbívání založen urnový háj a později vsypová loučka. Také zbývající plocha ústavního hřbitova je dnes výhledově určena pro urnové pohřby, které v současné době volí více než tři čtvrtiny české společnosti.