Anfang des Jahres 1963 zog Fosters Mutter Brandy mit den Kindern ins San Fernando Valley im Nordwesten von Los Angeles zu ihrer Lebensgefährtin, die den überwiegenden Beitrag zum Familienunterhalt leistete.