הוא הוטבל בסנט בנט בלונדון, הוא היה בנו של רוברט דורמר, הרוזן הראשון של קרנארבון וליידי אנה סופיה הרברט, בתו של פיליפ הרברט, הרוזן הרביעי של פמברוק. דורמר למד באוניברסיטת אוקספורד, שם סיים תואר שני באמנויות בשנת 1648. בשנת 1643, על מות אביו בקרב הראשון של ניוברי
הוא ירש את התארים של אביו והפך למנהיג אבןור המורש ולשומר ה"הוקס" של המלך. אמו נפטרה כמה חודשים קודם לכן.