Ivory a gagné des lettres à la fois dans le football et sur la piste et sur le terrain dans l'école secondaire de Longview High School à Longview, au Texas, faisant partie d'une équipe qui comprenait également les futurs joueurs de la NFL, Trent Williams, Malcolm Kelly et Robert Henson.
Ivory a joué à la fois au football et à l'athlétisme à l'école secondaire Longview High School de Longview, au Texas.