Erstmalige Erwähnung findet Pfaffenhofen um die Mitte des 12. Jahrhunderts, schon damals war der Ort mit den Wittelsbachern eng verbunden, denen er maßgeblich seinen Aufstieg verdankte und deren Burg im Bereich des „Hofberg“ gestanden haben dürfte.