Айвори получил признание как в футболе, так и в легкой атлетике в средней школе Longview High School в Лонгвью, штат Техас, играя в команде, в которую также входили будущие игроки НФЛ Трент Уильямс, Малкольм Келли и Роберт Хенсон.
Айвори играл в футбол и легкую атлетику в средней школе Longview High School в Лонгвью, штат Техас.