والد الجولاني كان موظفاً في إحدى الوظائف الحكومية في دير الزور حيث ولد أسامة هناك وانتقل مع عائلته في أول مراهقته إلى مدينته الأصلية إدلب وحصل على الشهادة الثانوية فيها ثم التحق بكلية الطب حيث درس الطب البشري سنتين وفي عام  ومع غزو العراق غادر إلى العراق حيث كان في السنة الجامعية الثالثة وانضم إلى تنظيم القاعدة تحت قيادة أبو مصعب الزرقاوي