גבריאל יוזף נרוטוביץ' נולד למשפחה אצילה פולנית-ליטאנית בטלזה, אז חלק מהאימפריה הרוסית לאחר חלוקת הפולין-ליטא. אביו, יאן נרוטוביץ', היה שופט מחוז מקומי ובעלי קרקעות בכפר סמוגיטי של ברוויקי (כיום ברביקיאי). כתוצאה מהשתתפותו במרד ינואר 1863
נגד רוסיה הקיסרית, הוא נידון לשנה בכלא; הוא מת כאשר גבריאל היה רק אחד.