הקיסר החליט לבקש סליחה מהאפיפיור, כדי להציל את כיסאו. כאשר היה האפיפיור בדרכו לוועידה באאוגסבורג, שמע כי היינריך בדרכו אליו. מאחר שחשש מהתקפה, מצא מחסה בטירת קנוסה, שהשתייכה למטילדה רוזנת טוסקנה. עם זאת, כוונתו של היינריך הייתה לבקש מהאפיפיור מחילה כדי לבטל את החרמתו. הוא שלח אליו שליחים מספר פעמים, אך האפיפיור סירב לקבלם. לבסוף בא היינריך בעצמו, בלוויית אחדים מאנשיו, אל שער הטירה ובמשך שלושה ימים ניצב שם בשלג, כרע ברך לפני שערי הטירה, כשהוא יחף ולבוש בגדי צמר של איכר וביקש מהאפיפיור רחמים ומחילה. בסופו של דבר ניאות האפיפיור להסיר את החרם ולמחול לו. אנשי הפמליה האפיפיורית הפצירו בגריגוריוס לסלוח לקיסר וטענו שאל לו לנהוג באכזריות, אלא במידת הרחמים.
היכן האפיפיור מצא מחסה מהיינריך?
בטירת קנוסה, שהשתייכה למטילדה רוזנת טוסקנה