Kavanagh a commencé sa carrière à Home Farm, avant de se joindre à Middlesbrough en 1991, mais il a eu de la difficulté à tenir une première place d'équipe et a été vendu à Stoke City en 1996, après une courte période de prêt au club, pour le no 250,000.
Statistiques de carrière des clubs