Gericht und Vogtei und damit die Obrigkeit über Ellhofen lagen vor der Mitte des 14. Jahrhunderts bei den Herren von Neuenstein, die dem Öhringer Stift 1354 drei Viertel am Gericht und an der Vogtei verkauften.