לאחר מינויו של בולדווין לראש הממשלה, דיווידסון נכנס לממשלה כקנצלר הדוכסות של לאנקסטר, והמשיך למעשה כמזכירו הפרטי של ראש הממשלה. עם זאת, הוא איבד את מושבו בפרלמנט בבחירות הכלליות של דצמבר 1923, אך השיג אותו כבר בבחירות הכלליות באוקטובר בשנה שלאחר מכן. בולדווין הקים שוב ממשל לאחר ממשלת הלייבור הראשונה ב-1924, והפך את דייווידסון למזכיר פרלמנטרי ופיננסי של האדמירליות. בתפקיד זה הוא נאלץ להתמודד עם קיצוצים בהוצאות הצי שהוצע על ידי שר האוצר וינסטון צ'רצ'יל, במיוחד בנוגע לבניית ספינות צלילה חדשות. הוא שימש כסגן המפקד האזרחי הראשי במהלך השביתה הכללית של 1926
, עם אחריות לפרסום. הוא גם ניהל את "הגזנט הבריטי" בן החיים הקצרים במהלך השביתה וסידר את שידור הכרזות הרשמיות.