Der Name des Turms bezieht sich auf das in der Nähe befindliche und mittlerweile aufgehobene Nonnen Kloster der Augustinerinnen mit dem Namen Agnetenberg, dessen bekanntestes Konventsmitglied Anna Katharina Emmerick war.