Als Baumaterial für die Mauer, die Türme und Tore dienten Sandsteinquader aus den Steinbrüchen entlang der Iller und der Gesteinsrippe, die von West nach Ost durch das Kemptener Stadtgebiet zieht und an der Burghalde sowie in Lenzfried zutage tritt.