השלים את המשפט הבא: קאולברס נולד במודדרס בגיבוריית אסטוניה לבארון הרמן וילהלם פון קאולברס ולאלכסנדרינה אמילי והיה לו אח גדול, ניקולאי ריינהולד פרידריך. אלכסנדר וניקולאי גדלו בסנט פטרסבורג והיו לותרנים. הוא בא מהאציל הגרמני הבלטי ממוצא פומרני. המשפחה הייתה ממעמד אצילי שוודי. גם אביו וגם אחיו הגיעו לדרגת גנרלים בצבא הרוסי הקיסרי. הוא למד בבית הספר הפרשים של ניקולייב. ניסיונו הראשון בקרב היה בשנת 1861, בעת שירת עם גדוד המשמר אגרסקי
המרד הפולני.