הגדוד הוקם ב-22 בפברואר 1948 במהלך מלחמת ישראל-ערבים 1948, כאשר גדוד לבנוני בגליל התפצל לגדוד הגולני הראשון ולגדוד כרמילי השני. בימיה הראשונים קיבלה החטיבה שליטה על שלושה גדודים - ה-21, ה-22 וה-23 - אם כי מאוחר יותר במהלך המלחמה הוקם גם הגדוד ה-24. מאז היא השתתפה בכל המלחמות הגדולות של ישראל וכמעט בכל המבצעים הגדולים, כולל מלחמת סיני
, מלחמת ששת הימים, מלחמת השחיקה, מלחמת יום הכיפורים, מבצע ליטני, המלחמה הראשונה והשנייה בלבנון, ומבצעים שונים במהלך האינתיפאדה הפלסטינית.