Вместе с Томасом Хопкинсом Галлоде он стал соучредителем первой школы для глухих в Северной Америке - Хартфордского приюта для обучения и обучения глухонемых 15 апреля 1817 года в старом городском отеле Беннета, Хартфорд, Коннектикут.
Глухие в Америке уважали Клерка и называли его «Отцом глухих», потому что он основал первую школу для глухих в Америке в Хартфорде, штат Коннектикут. Клерк и Томас Хопкинс Галлоде основали эту школу 15 апреля 1817 года в старинном отеле.