Als Gründer der sturmfreien Burgen auf den steilen Felsklippen werden zwei Brüder aus dem Umland angesehen, die erstmals zwischen 1168 und 1174 Erwähnung als Herren von Wildenstein in Urkunden des Klosters Salem fanden.