Robert Browning sündis Walworthis Camberwelli koguduses Surreys, mis nüüd moodustab osa Lõuna-Londonis asuva Southwarki linnaosast. Ta ristides 14. juunil 1812 Lock's Fieldsi iseseisvas kapelis, York Street, Walworthis, Sarah Anna (sündinud Wiedemann) ja Robert Browning'i ainuke poeg. Tema isa oli Inglismaa pangas hästi tasustatud kirjutaja, teenides umbes 150 naela aastas. Browning'i isapoolne vanaisa oli orjapidaja Saint Kittsis, Lääne-Indias, kuid Browning'i isa oli abolitionist. Browning'i isa oli saadetud Jamaika Lääne-Indias, et töötada suhkrutootmisettevõttes, kuid orja tõttu, kellele ta seal ei jäänud.
16 aasta