Сын сапожника, Кейв родился в Ньютоне, недалеко от Регби, Уорикшир, посещал там гимназию, но был исключен из школы по обвинению в краже у директора школы.
Он пытался привлечь к этой идее несколько лондонских типографий и книготорговцев.