Bis 1417 wechselte die Anlage von den lothringischen Herzögen in das Eigentum der Württemberger Grafen, denn in jenem Jahr führt eine Inventarliste die Burg Bilstein als württembergisches Allodial auf.