Die Besiedlung fand aber vermutlich in der späten Völkerwanderungszeit statt, wie es das karolingische Gräberfeld oberhalb von Hilmes belegt. 1413 wurde der Ort als „zu dem Hildemans“ und 1500 als „Hylmes“ erwähnt.