Il est le fils de l'ancien catcher de ligue majeure Steve Swisher, qui a joué pour divers clubs de baseball de la Ligue nationale dans les années 1970 et 1980.
Swisher est le fils de l'ancien joueur de baseball de la Ligue majeure, Steve Swisher.