Der Clan entstand, als Ise Shinkuro begann, im 15. Jahrhundert von seiner Burg Nirayana (Izu) aus Ländereien zu erobern und seine Macht auszubauen. 1495 konnte er schließlich Odawara in Besitz nehmen.