Tsaloumas sündis Kreekas Dodecaneese saarel Leros, mis oli tol ajal Itaalia valitsuse all (1912-1947). Seega oli tema ametlik haridus itaalia keeles. Hiljem õppis ta Rhodosel, kus ta õppis ka viiulit. Ta sai täiskasvanuks
Saksamaa okupatsioon Kreekas ja osales vastupanuliikumis, tegutsedes kuriirina. Enne Austraaliasse migreerimist avaldas ta Kreekas kaks luuletuskoostööd, millest üks trükiti inglise kirjaniku Lawrence Durrelli abiga, kes kohtus Tsaloumas'ga Rhodosel ja oli tema tööst vaimustuses.