Le comté est formé en 1841 de parties du comté de Burke et du comté de Wilkes.
En 1861, des parties du comté de Caldwell, du comté de Burke, du comté de McDowell, du comté de Watauga et du comté de Yancey ont été réunies pour former le comté de Mitchell.