Insbesondere nach der Entmachtung Heinrichs des Löwen und der Zerschlagung des Stammesherzogtums Sachsen 1180 entwickelten sich die Schwalenberger zum mächtigsten Geschlecht im Gebiet zwischen Herford und Höxter.