Перлман родился в Тель-Авиве, Британская Палестина, где он впервые заинтересовался скрипкой после того, как услышал классическую музыку по радио.
Перлман родился в Тель-Авиве, который три года спустя стал частью государства Израиль.