 Ẹkúnrẹrẹ gbólóhùn yìí: Ilé ọba náà ti bẹrẹ láti nǹkan bí òpin ọrúndún kẹtàlá, níbi tí ó ti jẹ ti Anders Jacobsen Ulfeldt. Ile-ọba naa ni a tọju ni idile Ulfeldt, ati ni 1534-1536 lakoko Ijakadi Count, ile-ọba naa jẹ ti Knud Ebbesen Ulfeldt, ẹniti o dabobo ile-odi Gjorslev lori Sjælland lodi si awọn ara adugbo. Ó ṣètìlẹyìn fún Christian Kẹta lẹyìn ogun náà. Knud Ebbesen Ulfeldt kú ní 1540, wọn sì fi ilé náà fún ọmọ rẹ, Corfitz Ulfeldt. Òun, sibẹsibẹ, ni akọwe ni Danish chancery, ati awọn ọjọ-si-ọjọ isakoso ti awọn manor ti wa ni dipo ṣe nipa iya rẹ, Anne Eriksdatter Hardenberg. Jacob Ulfeldt gba ilé náà lẹyìn ikú Anne Eriksdatter Hardenberg ní 1564. Jacob Ulfeldt ja labẹ awọn mejeeji Herluf Trolle ati Daniel Rantzau ni awọn : Ogun Ọdún Méje. Lẹyìn tó ṣe dáadáa nínú ogun, wọn rán an lọ sí Rọṣíà gẹgẹ bí aṣojú, ṣùgbọn ó kùnà láti mú kí àjọṣe àárín Denmark àti Rọṣíà dára sí i. Èyí kó ìbànújẹ bá ọba, Jacob Ulfedt sì lo ìyókù ìgbésí ayé rẹ láti máa bójú tó Ilé Olóyè Holcekhavn. Ó ṣe àwọn àtúnṣe ńlá, ó sì mú ilé náà gbòòrò sí i lákòókò yìí. Ní ọdún 1616, wọn ta ilé náà fún Ellen Marsvin, tó ṣe àwọn àyípadà ńlá nínú ilé náà. Ni akoko Ogun Dano-Swedish, ile naa jẹ ti Leonora Christine ati Corfitz Ulfeldt. Àwọn ará Sweden kò fiyè sí ilé olódi Holckenhavn, nítorí ìbátan tí Corfitz Ulfedt ní pẹlú ọba Sweden, nígbà tó yá ó dara pọ mọ àwọn ọmọ ogun Sweden. Lẹyìn ogun náà, Corfitz Ulfeldt sá lọ sí Jámánì láti yẹra fún ẹsùn ìwà ọdàlẹ, nígbà tí Leonora Christine wà lẹwọn. Ni 1672, Holckenhavn ni a fun ni Eiler Holck, lẹhin aṣeyọri rẹ ni Ogun Dano-Swedish. Ogun ti gba owo rẹ lori ile-ọba naa, ati pe ko to di ọdun 1760 ti oniwun Erik Rosenkrantz Holck ṣakoso lati yi eyi pada. Ìdílé Holck ló ni ilé náà látìgbà náà. 