Voltooi die volgende sin: Kaulbars is gebore in Mödders in die Goewerneurskap van Estland aan Baron Hermann Wilhelm von Kaulbars en Alexandrine Emilie en het 'n ouer broer, Nikolai Reinhold Friedrich. Aleksander en Nikolaj het in Sint Petersburg grootgeword en was van die Lutherse geloof. Hy het van die Baltiese Duitse edelman van Pommerse oorsprong gekom. Die gesin was van Sweedse adel. Beide sy vader en sy broer het tot die rang van generaal in die Russiese Keiserlike Leër gestyg. Hy is opgelei by die Nikolaev Kavallerie Skool. Sy eerste ervaring in die geveg was in 1861, terwyl hy saam met die Egersky Guards Regiment in die onderdrukking van die
Die Poolse Opstand.