Audie fréquente l'école primaire de Celeste jusqu'à ce que son père abandonne la famille en 1936 et abandonne la cinquième année pour aider sa famille.
Quand son père abandonne la famille, Audie interrompt ses études à l'école primaire de cinquième année pour aider à subvenir aux besoins de sa famille.