Wolterbeek verheiratete sich 26. Juni 1811 in Utrecht Johanna Cornelia van den Ham (* 6. Juni 1787 in Vlaardingen; † 11. Juni 1845 in Utrecht), die Tochter des Adrianus van den Ham und der Swana Killewig.