Das Nebenprojekt Babyshambles existierte jedoch schon 2003 und so kam es schon im Mai 2004 zur Veröffentlichung der ersten Single (Babyshambles), noch bevor das zweite Studioalbum der Libertines am 30. August erschien.