Avec Thomas Hopkins Gallaudet, il co-fonde la première école pour les sourds en Amérique du Nord, le Hartford Asylum for the Education and Instruction of the Deaf and Dumb le 15 avril 1817 dans l'ancien Bennet's City Hotel, Hartford, Connecticut.
Clerc et Thomas Hopkins Gallaudet fondent cette école le 15 avril 1817 dans un vieil hôtel.