Pour en savoir plus sur l'histoire de la région, voir Caswell County History.
Le comté de Caswell est formé en 1777 de la partie nord du comté d'Orange et, en 1792, la moitié est du comté de Caswell a été transformée en comté de personne.