Familie Sillem war ein Sohn des Kaufmanns und Ratsherrn Jacob Sillem (1517–1584) aus dessen erster Ehe mit Ursula Moller († 1558), Tochter des Ratsherrn Cord Moller (vom halben Stern und Adlerklau) († 1527).