Whittlesea asutati 1849. aastal kui sõjaväe väljapostil, mis oli loodud valge asunike kaitsmiseks piiriajal.
1850. aastast 1853. aastani. Linn sai nime Cambridgeshire'is asuva Whittlesea järgi, kus sündis Sir Harry Smith (1787-1860), mis oli Kapkolonia kuberner aastatel 1847-1852. Briti ohvitser kindlustas viis maja Mlanjeni sõja ajal (1850-1853), kui Xhosad piirasid asula. Üks neist, mis moodustab nüüd postkontori kompleksi osa, on veel püsti. Aastatel 1948-1994, Lõuna-Aafrika apartheidi režiimi kõrghetkel, kuulus Whittlesea endisele Ciskeile, bantustanile / kodumaale, mis loodi 1961. aastal 1959. aasta enesevalitsuse edendamise seaduse alusel. Kuni 1994. aastani ei olnud Whittleseas ametlikku poliitilist organisatsiooni. Sisemiste Asjade Ministeerium hõlbustas linnapiirkondade maakondade juhtide kaudu otsuseid maa kasutamise, teenuste ja hindade kohta. Pärast Lõuna-Aafrika esimest demokraatlikku valimist valitses Whittleseat nõukogu. Tänapäeval kuulub linn Enoch Mgijima kohaliku omavalitsuse alla, mis hõlmab selliseid alasid nagu Tarkastad ja Queenstown.