Вскоре после его рождения семья Грабовских переехала из Нове Добра в Торн, Пруссия (ныне Тору, Польша).
У родителей Грабовских не было много денег, поэтому Грабовски начал работать еще до окончания школы.