Utfra både muntlige og skriftlige kilder får man inntrykk av at Hole var en sterk og til tider omstridt mann. Han hadde ambisjoner om å bygge ut "Fru Hjorths pleiehjem", som de het den gangen, men manglet nesten alltid penger til dette. Ved å ta inn mange beboere fikk han flere penger i kassen, siden det ble betalt pr. person, men derfor ble institusjonen også ekstremt trangbodd. I 1943 steg beboertallet til over 360. I de store soverommene sto sengene inntil hverandre med hodegjerdene mot hverandre og beboerne måtte klatre over fotgjerdet for å komme opp i sengen. Bare der hvor det lå pleiepasienter var det mellomrom mellom annen hver seng.

Grunnet sin sparsommelighet fikk Hole i løpet av de 30 årene han var forstander, lov til å bygge hus for beboere tre ganger (annen etasje på Pikeavdelingen i 1927, Sykehjemmet i 1930 og Borgen i 1934). Han bygget flere personalboliger, først Haugen i 1917 til seg selv og sin familie. I løpet av 1930-årene bygget han også Utsikten som ble forsamlingshuset på institusjonen. Før han gikk av, fikk han en tomt på institusjonsområdet og bygget sitt private hus hvor han bodde resten av livet. 

Fra ca. 1921 til 1936, var pleiehjemmet med på å dekke underskuddet i statskassen. Staten satte opp budsjettene med overskudd slik at de innbetalte pengene dekket mer enn driften av institusjonen. I mange av årene var overskuddet på ca. kr. 50.000 som var relativt mye penger den gang. En tilsynskomite oppnevnt av Staten førte tilsyn med økonomi, pleie, kost og jordbruksdrift og godkjente inntak og utskrivninger, men den la seg i liten grad opp i den daglige driften.

Kampen mot trange budsjetter skulle prege Holes tid som forstander, men også sykdom. Det herjet mange slags sykdommer (som spanskesyken, tyfus og tuberkulose) og dødeligheten gikk sterkt opp. Mellom 1915 og 1945 var i alt ca. 1270 beboere innskrevet på institusjonen, ca. 45% av dem døde der. Gjennomsnittlig dødsalder var 22 år. Krigen fra 1940 til 45 gjorde situasjonen enda verre. Det var i tillegg knapphet på alt av klær, bleier, sengetøy, ulltepper og husene og inventaret var nedslitt.

Holes forstanderperiode hadde flere mørke sider, men noe av det han bør huskes for er en uttalelse i et intervju med den nazikontrollerte lokalavisen Asker og Bærums Budstikke fra 18. januar 1944. Journalisten spør (et ekko fra naziideologien) om det ikke ville være mest humant å «fjerne slike individer som er uten sjangse for helbredelse og som fører et liv som ofte nærmer seg dyrenes». Hole svarer: «Jeg har sett mange eksempler på at den høyere makt ikke har glemt dem. Og jeg mener at den som har gitt menneskene livet også får ta det. Vi mennesker skal ikke blande oss bort i det.»

Utdrag fra intervju av Jens Hole jr. i 1996:

«Da Hole kom til Emma Hjorth var det høye gjerder og stengt port, far åpnet dem.  Far mente disse var Vår Herres minste, og ville at pårørende skulle komme inn fritt når som helst. Det kom stadig nye pasienter, dag og natt, kom når det var mulig med skyss. De ble som oftest fulgt av pårørende. Far tok imot alle, jeg var ofte med, både natt og dag. Far var sangviniker, gråt ofte sammen med pårørende. Foreldre var like glad i barna sine da som nå. Pårørende fikk komme inn på sovesalene, far sa de skal få se hvordan barna har det. Det var ikke så mye besøk, noen kom jo, mange bodde langt borte. Det var jo en skam å ha et åndssvakt barn.

Gårdsbruket var skikkelig. Gårdsbestyrer, 4 gårdsgutter, til enhver tid 4 hester, ca. 25 kuer. Far bygget moderne grisehus, andre kom for å se på. Leverte melk hver dag til meieriet. (…)

Far fikk sparken i 43, en nazist skulle overta, husker ikke hva han het, tror ikke han var lege. Etter frigjøringen ble far spurt om å overta igjen, da hadde han fylt 70. Han jobbet her til Munch kom (1946).  Far og han kjente hverandre fordi Munchs far var sogneprest på Helgøya hvor far var leder på et guttehjem. De var rake motsetninger. Far elsket å arbeide med kroppen, laget vei ned til Sykehuset med vakker trapp, den fjernet Munch med en gang.  Far hadde fått to granittsøyler fra Johanneskirken i Oslo da den ble revet og satt dem opp som port, 60-70 cm. diameter og ca. 4 m. høye, hadde smijernslamper på (...). Munch satt på kontoret i kjøkkenbygningen. Han ba en mann gå ut og slå dem i stykker. Det greide han selvfølgelig ikke. De ble revet ned og ble liggende bak fjøset, der grodde de ned. Jeg fikk dem for å sette dem opp på Farris (JH jr. var direktør på Farris i Larvik i mange år), de passet ikke noe sted på Farris. Til slutt fikk noen andre dem, husker ikke hvem og vet ikke hvor de er. Forholdet mellom far og Munch var ikke så godt men ble veldig mye bedre på slutten av fars liv. (…)

Institusjonens budsjetter var satt opp fra Kirke- og undervisningsdepartementet. En revisor fra departementet kom regelmessig og reviderte, en meget høytidelig herre. Når far var på møte i departementet var det med sjakett og flosshatt, det var stilen. Far syklet til stasjonen med frakkeskjøtene rundt livet og flosshatten på hodet. De andre ungene ertet meg for det. Når jeg klaget til far sa han «Det er godt de har noe å le av».

Dagligliv: Betjeningen og gårdsfolkene spiste hver for seg. Far hadde andakt hver morgen på kjøkkenet for de som ville, særlig kvinnene. Jeg lekte med pasientene akkurat som med alle andre. Det bodde noen barn på Sykehuset, ellers var det stor aldersspredning. (…)

Vi feiret hver julaften, først på avdelingene, etterpå i kjøkkenet sammen med de ansatte som ville. Hver 17. mai ble det pyntet her med flagg, pasientene fikk nye klær. Alle fikk gå/kjøre ned til veien og stå der en times tid og se på bilene og menneskene. En gang var det stort oppslag i Budstikka, at vanlige mennesker skulle belemres med synet av disse, sannsynligvis i 35 til 37. Det var et forferdelig slag mot min far.

Kvinner og menn bodde ikke sammen. Det var skandale den gangen det ble et avkom. Jeg husker ikke, det ble nok lite omtalt, men det unngikk ikke meg at det ble nevnt. Det var nok to som hadde fått lurt seg ned i skauen. Nyheten ble dysset ned. 

I kjelleren på Sykehuset var det innredet et pent kapell, der var det plass til 3 kister, jeg fikk være med dit. Var også med på begravelser. De fleste ble begravet på Bryn kirkegård, ikke sendt hjem, det var for dårlige kommunikasjoner. Begravelsene var helt vanlige, firte kisten ned i individuelle graver. Det var fine begravelser med prest, noen herfra fulgte. Vet ikke noe om hvordan gravene ble tatt vare på. Pårørende var med noen ganger. Far var oftest med.

Husker ikke noe spesielt om helsetilstanden. Forbausende mange ble gamle her. De som kunne gå var mye ute, fikk mye frisk luft. Det var få som røkte, noen få beboere ville gjerne ha røyk. Noen fikk en sigar av far. Det at pasientene fikk være ut og arbeide var den beste terapien."

_{Kilde: Intervju av Solveig Tutvedt, Emma Hjorth museum, 1996.}  

Kilde: Emma Hjorth museum