McGhee débute sa carrière à Greenock Morton en 1975 et passe des périodes dans des clubs comme Newcastle United, Aberdeen, Hambourg, Celtic, IK Brage et Reading.
McGhee joue pour de nombreux clubs écossais et anglais, avant de prendre sa retraite à cause d'une blessure. Il commence sa carrière de joueur à Greenock Morton avant de déménager à Newcastle United, Aberdeen, Hambourg, Celtic, IK Brage et Reading et remporte le Scottish PFA Players 'Player of the Year en 1982 ainsi que quatre casquettes et deux buts pour l'équipe nationale écossaise de football.