Le comté est formé en 1841 de parties du comté de Burke et du comté de Wilkes.
En 1911, des parties du comté de Caldwell, du comté de Mitchell et du comté de Watauga furent réunies pour faire du comté d'Avery.