Um 1390 übernahm Wilhelm von Fraunhofen den Sitz, baute die Burg neu aus und ließ sie in Neuen Fraunhofen umbenennen, während sein Vetter in Fraunhofen blieb, das nunmehr Alten Fraunhofen genannt wurde.