Da Brisendorf einen kompakten, inneren Aufbau besaß, der aus der Grundherrschaft eines einzigen Herrn resultierte – äußeres Zeichen dafür war der Bauhof des Schlosses – und einen befestigten Sitz errichtet hatte, kaufte Kaiser Karl IV.