Ellis oli esmakordselt abielus näitleja Tamzin Outhwaite'iga aastatel 2006-2014. 2008. aasta juunis sünnitas ta nende esimese tütre. 2008. aasta 25. detsembril ilmus paar ITV mängude All Star Mr & Mrs Christmas Special'is. Nende teine tütar sündis 2012. aasta augustis. 2013. aasta 29. augustil teatas paaride pressiesindaja, et nad on lahkunud, ja Outhwaite esitas järgmisel kuul lahutuse. 2019. aastal kihlus Ellis televisiooniprodutseri Meaghan Oppenheimeriga.
Tamzin Outhwaite