הקשר של פיט עם הדוכס התדרדר עוד יותר בתחילת 1756 כאשר הוא טען כי ניוקאסל עזב בכוונה את האי מנורקה ללא הגנה כדי שהצרפתים יתפסו אותו, וניוקאסל יכלו להשתמש באובדן כדי להוכיח כי בריטניה לא הייתה מסוגלת להילחם במלחמה נגד צרפת ולבקש שלום. כאשר ביוני 1756 מנורקאה נפל
לאחר ניסיון כושל של אדמירל בינג לשחרר אותו, ההאשמות של פיט דלקו את כעס הציבור נגד ניוקאסל, מה שהוביל אותו להיות מותקף על ידי קהל בגריניץ'. אובדן מינורקה הרס את אמון הציבור בניוקאסל, והכריח אותו להתפטר מתפקידו כראש ממשלה בנובמבר 1756.