Pärast konservatiivide kaotust 1974. aasta veebruaris toimunud valimistel sai ta Edward Heath'i juhtimisel Šotimaa varjulise riigisekretäriks. Kui Margaret Thatcher sai Heath'i konservatiivide juhiks, teatas "Glasgow Herald" spekulatsioonist, et Buchanan-Smith oli üks "kõrgeimate toride" rühma, kes võiks keelduda tema all teenimisest. Lõpuks jäi ta Thatcher'i ajal ametisse, kuid astus tagasi 1976. aastal koos oma noorema varjuministri Malcolm Rifkind'iga, kui ta muutis konservatiivse partei poliitikat, et seista vastu Šotide delegeerimisele. Seejärel juhtis ta konservatiivide panust "Jah"-kampaaniasse 1979. aasta Šotimaa delegeerimisreferendumil.
- Jah.