Mit der zweiten Zerstörung der Burg und dem Verlust der Mittelpunktfunktion samt Zollstätte im Jahr 1316 im Bruderzwist setzte der Niedergang der Vohburg ein, die aber 1431-35 noch einmal als Residenz für Herzog Albrecht III. und Agnes Bernauer diente.