Umgeben wird Fréjairolles von den Nachbargemeinden Cambon im Norden, Bellegarde im Nordosten, Mouzieys-Teulet im Osten, Fauch im Süden und Südosten, Dénat im Südwesten, Labastide-Dénat im Westen und Südwesten sowie Puygouzon im Westen.