Orlov sündis Peterburis vürsti, siis krahvi, Alexei Grigoryevich Orlovi ja tema naise Olga Alexandrovna (ne Zherebtsova) lapseks. Ta õppis õigusteadust ja 1843. aastal sai temast Venemaa keisrikoja paag. 1845. aastal määrati ta eluvalverügementi. Aastal 1846 sai ta tsaari poeg Konstantin Nikolajevichi personaliks. Aastal 1849 eristas ta end 1848. aasta Ungari ülestõusu allasurumisel.
, ja edutati kapteniks. Aastatel 1851-1854 teenis ta peastaabis ja sõjaministeeriumis. Koloneli ametikohale edutatud saadeti ta duuni armeesse feldmarssaali Paskevichi juhtimisel, kus ta juhtis türklaste vastu Silistria piiramises kindluse vallutamist, mainiti dispetšides erakordse vapruse näitamise eest ja talle anti Püha George'i orden; kuid tema tõsised vigastused, ta kaotas silma ja käe, panid ta meditsiinilisele puhkusele ja ta veetis kuusteist kuud Itaalias. Seal kirjutas ta oma "Oserk 3-nädalase matke Napoleona I против Пруссии в 1806 году" ["Napoleon I 3-nädalase kampaania joonistus Preisimaa vastu 1806"]. Tagasitulemisel augustis 1856 edutati ta kindralmajoriks. Alates 1858. aastast hakkas ta avaldama teoseid sotsiaalreformist, edendades religioosset sallivust ja viisakusest. Aastal 1861 esitas ta tsaarile oma "Kehalike karistuste kaotamise kohta Venemaal ja Poola Kuningriigis", mille tulemuseks sai hiljem 17. aprilli 1863 dekreet, millega need karistused sisuliselt kaotati.