Dit lyk asof Robert kort na sy moeder se dood die hof verlaat het en 'n paar jaar deur Frankryk, Duitsland en Vlaandere gereis het. Hy het Italië besoek om die hand van die groot erfgename Matilda van Toskane (geb. 1046) te soek, maar was onsuksesvol. Gedurende hierdie tydperk het Robert as 'n dwaalryker verskeie buite-egtelike kinders gehad. Sy bastaardseun Richard het blykbaar 'n groot deel van sy lewe by die koninklike hof van sy oom William Rufus deurgebring. Hierdie Richard is in 1099 in 'n jagongeluk in die Nuwe Bos doodgemaak, net soos sy oom, koning William Rufus, die volgende jaar. 'n Onwettige dogter is later met Helias van Saint-Saens getroud.
Helias van Saint-Saens