Die gräflichen Güter, einschließlich Warwick Castle, wurden im Jahr 1806 dem Earl of Galloway und John Fitzpatrick, dem 2. Earl of Upper Ossory, übergeben, aber das Schloss wurde im Jahr 1813 an die Grafen von Warwick zurückgegeben.