หลังจากเขียน Speak Now (2010) เดี่ยวทั้งหมด Swift เลือกที่จะร่วมมือกับนักแต่งเพลงและโปรดิวเซอร์หลายคนสำหรับ Red ดังนั้น เธอจึงโทรหาแม็กซ์ มาร์ตินและเชลล์แบ็ค สองนักแต่งเพลงและโปรดิวเซอร์ที่มีผลงานที่เธอชื่นชม เพื่อพูดคุยถึงความเป็นไปได้ในการทำงานร่วมกัน ทั้งสามคนคิดแนวคิดสำหรับ "We Are Never Ever Getting Back Together" ไม่นานหลังจากที่เพื่อนของแฟนเก่าของ Swift เดินเข้าไปในสตูดิโอบันทึกเสียงและพูดถึงข่าวลือที่เขาได้ยินว่า Swift และอดีตแฟนของเธอกำลังกลับมารวมตัวกันอีกครั้ง หลังจากที่เพื่อนจากไป มาร์ตินและเชลล์แบ็คขอให้สวิฟต์อธิบายรายละเอียดของความสัมพันธ์อย่างละเอียด ซึ่งเธออธิบายว่า "เลิกกัน กลับมาคบกัน เลิกกัน กลับมาคบกัน แย่ที่สุด" เมื่อมาร์ตินแนะนำให้พวกเขาเขียนเกี่ยวกับเหตุการณ์นั้น สวิฟต์เริ่มเล่นกีตาร์และร้องเพลง "We are never never..." และเพลงก็ไหลอย่างรวดเร็วหลังจากนั้น เธออธิบายขั้นตอนนี้ว่าเป็นหนึ่งในประสบการณ์ที่ตลกขบขันที่สุดที่เธอได้รับขณะบันทึกเสียง และกล่าวว่าพันธมิตรทางดนตรีตรงกับความคาดหวังของเธอ สามารถฟังคลิปเสียงที่เธอพูดประชดประชันเกี่ยวกับการเลิกราได้ก่อนการขับร้องรอบสุดท้าย มีรายงานว่าเพลงนี้เกี่ยวกับ Jake Gyllenhaal อดีตของ Swift เนื่องจากทั้งสองเลิกกันในเดือนมกราคม 2554 แต่มีคนเห็นในวันที่ไม่กี่วันต่อมา หลังจากปล่อยมิวสิกวิดีโอ เบาะแสเพิ่มเติมที่เชื่อมโยงเพลงนี้กับจิลเลนฮาลก็ปรากฏขึ้น โดยนักแสดงหน้าเหมือนจิลเลนฮาล นักแสดงในวิดีโอมอบผ้าพันคอให้เธอเหมือนที่จิลเลนฮาลเคยทำกับสวิฟต์ และสร้อยข้อมือที่สวิฟต์สวมในวิดีโอนั่นคือ สันนิษฐานว่ามีลักษณะคล้ายกับที่จิลเลนฮาลมีข่าวลือว่าให้สวิฟต์ในวันเกิดของเธอ\n\nจากข้อความนี้ ใครคือเทย์เลอร์ สวิฟต์ที่พูดถึงในเรื่องที่เราจะไม่กลับมาคบกันอีก ตกลง. ลองคิดดู กระแสแห่งจิตสำนึกของฉัน:
 เพื่อตอบคำถามนี้ เราควรทราบว่า: มีรายงานว่าเพลงนี้เกี่ยวกับ Jake Gyllenhaal อดีตของ Swift เนื่องจากทั้งสองเลิกกันในเดือนมกราคม 2554 แต่มีคนเห็นในวันที่ไม่กี่วันต่อมา มีรายงานว่าคำตอบเกี่ยวกับ Jake Gyllenhaal อดีตของ Swift