Fils d'un cobbler, Cave est né à Newton, près de Rugby, dans le Warwickshire, et a fréquenté l'école Rugby, mais a été expulsé après avoir été accusé d'avoir volé du capitaine Henry Holyoake.
Fils d'un cobbler, Cave naît à Newton, près de Rugby, dans le Warwickshire, et y a fréquenté l'école de grammaire.