Sein letztes Bundesligaspiel für den Hamburger SV absolvierte Kargus am Schlusstag der Runde 1979/80, dem 31. Mai 1980, beim 4:0-Heimerfolg gegen Schalke 04. Nach insgesamt 254 Bundesligapartien von 1971 bis 1980 war seine Zeit in Hamburg abgelaufen.