Kirjuta selle paragrahvi edasi - Gossage ärritas Yankees'i omanikku George Steinbrenneri meeskonnaga sekkumise pärast. 1982. aastal kutsus ta Steinbrenneri "paksuks ülemisel korrusel" ja ei kiidanud heaks seda, kuidas Yankees'i juht Billy Martin teda kasutas. Gossage sai vabaks agendiks pärast 1983. aasta hooaega ja rõhutas, et ta ei lahku New Yorgist. Ta kirjutas alla San Diego Padresile. Aastal 1984 võitis Gossage veel ühe tiitli, teenides NL meistrivõistluste 5. mängu päästmise.
Pärast seda, kui San Diego oli seitsmendas mängus neli lööki teeninud, et saada 6-3 eelis Chicago Cubsi vastu, lõi Gossage viimase kahe mängus, saades Jody Davis'i jõuplaani lõplikuks välja. 1984. aasta maailmameistrivõistluste viiendal mängul Detroit Tigers'i vastu keeldus Gossage, olles saanud Padres'i pingil treeneritest märke ja Padres'i juhataja Dick Williams'i külaskäigu, tahtlikult käia parema väliajaja Kirk Gibson'i. Gossage ja Padres kahetsesid seda otsust, kui Gibson tegi homeröödi, mis viis Detroit Tigers'i võitu. 17. augustil 2008 lõi Gossage Pete Rose'i välja Rose'i viimases suurte liikide löögivõistluses.