Der Fischfang dominierte das Leben in Brixham mehr als 900 Jahre lang; schon im Domesday Book (1086) wird Brixham als wichtiger Fischerhafen erwähnt. 1850 hatte die Stadt die größte Fischfangflotte Englands mit 270 Schiffen und 1.600 Seeleuten.