Kaulbars sündis Mödders'is, Eesti guberniis, baron Hermann Wilhelm von Kaulbarsi ja Alexandrine Emilie lapseks ning tal oli vanem vend Nikolai Reinhold Friedrich. Aleksandr ja Nikolai kasvasid üles Peterburis ja olid luterlased. Ta pärines Pomeraniast pärit Balti-saksa aadlisest. Perekond oli Rootsi aadlikest. Nii tema isa kui ka vend tõusid Venemaa Keiserliku Armee kindralideks. Ta sai hariduse Nikolaevi ratsaväe koolis. Tema esimene lahingukogemus oli 1861. aastal, kui ta teenis Egerski gardirügemendis Poola ülestõusu allasurumine.
- Jah.