Он родился в Париже и оставлен там обездоленными родителями в 1792 году в разгар Французской революции. Он работал поваром в дешевой парижской столовой в обмен на комнату и питание.
Карем родился в Париже, но был оставлен в 1792 году, потому что его родители были очень бедны.