Ese es el problema que tiene WhatsApp, cualquiera que consiga tu número de móvil puede tener acceso a tu información básica sin que tu seas consciente de ello si no establace una conversación de chat contigo.