You've Got a Habit of Leaving
David Bowie, actuando bajo el nombre de Davy Jones, hizo su debut en vivo con su banda the Lower Third en junio de 1965. Ellos adquirieron un poco de reconocimiento y, en julio del mismo año, Bowie convenció a su mánager, Leslie Conn, de firmar un contrato de grabación con Shel Talmy, quien produciría un nuevo sencillo con el objetivo de elevar el perfil del grupo. Talmy, el cual había producido sencillos para the Who en ese momento, estaba impresionado con la composición de Bowie y aceptó producir el sencillo para Parlophone.
Rubber Band
Líricamente, «Rubber Band» cuenta la historia de un hombre que va a la guerra y, luego de su retorno, descubre que su amante se ha enamorado del director de una banda de música. Bowie imita a a Anthony Newley en su interpretación vocal; Bowie lo había descubierto por primera vez a través de la serie de la BBC, "The Strange World of Gurney Slade" (1960). De acuerdo a O'Leary, Bowie uso a su abuelo Jimmy Burns como inspiración, aunque Nicholas Pegg lo niega. Pegg afirma que los “jardines de la biblioteca” de la letra están ubicados en Bromley.