Svanidze sünnitas 18. märtsil 1907. aastal poja Iakob'i, kusjuures sünnitusel olid kohal nii Jughashvili kui ka tema ema. Jughashvili jätkas oma tööd pärast Jakovi sündi, kuigi mängis temaga mõnikord, kutsudes last "Patsan" (laddie). Mõni kuu pärast Iakob'i sündi oli Jughashvili osaline Tiflis'i suure pankaröövis
, ja nad kolmekesi põgenesid Baku, et vältida vahistamist. Nad rentisid "Bailovi poolsaarel madala katusega tatarimaja", mis asub linna ääres otse mere ääres. Svanidze püüdis tööd leida, kuid väikese lapse eest hoolitsemine oli võimatu.