I 1929 sendte daværende forstander Jens Hole den første søknaden om å få bygge et hus på Emma Hjorths Hjem (EHH) for store urolige gutter. Halvannet år før hadde han begynt å samle inn penger til formålet. Han fikk avslag på søknaden. Vinteren 1931-32 lot han gårdsarbeiderne grave ut tomt og han støpte grunnmur. Huset fikk etter hvert tak. I 1933 fikk han spørsmål fra departementet om hvor han skal ta penger fra til å gjøre det ferdig. Hans svar var følgende: "At de vil komme er jeg forvisset om. Ti Gud, som hittil har lagt alt så vel til rette og har latt arbeidet lykkes med små midler, vil ikke la det bli stående unyttigt." Penger fikk han og huset som fikk navnet Borgen ble ferdig i 1934.
Huset ble lenge brukt som bolig for urolige menn. Tidligere ansatte forteller om svært triste forhold i kjelleren hvor mange tilbrakte hele dagen. Tidligere beboere har også berettet om voldige episoder og straff. Hør blant annet Harald fortelle om sin tid på Borgen her eller les intervjuet "Erling forteller" her.
Borgen ble etter hvert overtatt av Emma Hjorth skole som ble startet av overlege Ole B. Munch i 1959. Han var opptatt av at de "åndssvake" skulle få et skoletilbud og beboerne på EHH fikk her lære å lese og skrive. En fritidsleder ble ansatt rundt 1960 og i 1961 ble læreren Helge Morset ansatt.
Tredje etasje på Borgen ble brukt som bolig for sivilarbeidere helt til institusjonen ble lagt ned i 1996 i takt med ansvarsreformen. I dag leier Bærum kommune lokaler og atelier ut til kunstnere.
Glattcella og fangehullet
Utdrag fra Om hundre år er allting glemt? Emma Hjorths Hjems historie 1898-1998 (1998) av Halvor Fjermeros, s. 46-48.
Borgen og Borgenkjelleren
"(...) Anne Aarsland begynte å arbeide på Borgen i 1951 etter å ha vært på Småbarnshjemmet fra 1947. Jeg snakket med henne våren 1998. Hun husker at det høyeste tøynummeret var 72; alle hadde sitt nummererte tøy, og det var altså 72 mannlige pasienter fordelt på Borgens tre etasjer. I 2. etg. bodde "de kjekke", 24 av de best fungerende, sånne som til nød kunne klare seg uten hjelp en hel dag (...). I kjelleren fantes "korridoren" for de vanskeligste gutta der det bl.a. var to murpussa glattceller. Der havnet de som slo seg vrange, men aldri uten overlegens godkjenning. Det sto en aura av frykt rundt den berykta Borgenkjelleren, og det hvilte alltid en trussel over de voldsomste av gutta om at de kunne havne "på cella". Et mildere straffemiddel var tvangstrøya, eller den ofte brukte kjeledressen med baklåst reim. Atskillig mer skremmende var frykten for å bli kastrert, og en slik operasjon var ofte knyttet til ustyrlig aggressivitet eller til bestemte seksuelle "utskeielser". Anne Aarsland husker tre tilfeller fra tiåret etter 1951 av gutter som kom tilbake fra operasjonsstua på Bærum Sykehus, men hun har ingen tro på "folkesnakket" om at Munch sjøl utførte inngrepet på sitt eget kontor.
- Etter første vakt på Borgen kom jeg hjem til kona og sa at der orker jeg ikke være, forteller Kjell Stranden som begynte som pleier sommeren 1963. Men han beskriver hvor fort en ble "korrumpert", tilvendt forholdene og hard nok til å overleve blant 70 mannlige pasienter på Borgen, inkludert "fangehullet" Borgenkjelleren. - Jeg gikk rett på jobb den dagen jeg begynte; fikk ingen opplæring. Vi ble jo ikke oppfordret til å slå, men samtidig ble vi advart om at en del pasienter var farlige, og at enkelte nok ville prøve ut den nye pleieren. Da en av gutta nettopp gjorde det, var jeg så overspent at jeg kylte vedkommende opp langs veggen og sa at dette var siste gang han prøvde seg, sier Stranden i en samtale med undertegnete i 1998. (...) - Det rare er at folk som ble beskrevet som farlige i 1963, kunne jeg møte på tur nede på Slependen-butikken med små "jentunger" av noen pleiere ikke mange år seinere. Det var mange myter om pasienter som både de sjøl skulle leve opp til og som pleiere ble opplært til å takle på helt bestemte måter. Dette endret seg sterkt alt med overflyttinga til den nye mannspaviljongen "80-mann" noen år etter at jeg fikk jobb på Borgen, sier Stranden."