גראסט היה הבן השלישי של הכומר הנרי ג'יימס גראסט, רקטור קתדרלת סנט ג'יימס בטורונטו, ושל שרה מריה סטיוארט. הוא למד בבית ספר פרטי בטורונטו ובמכללת לימינגטון לבנים באנגליה. בגיל 19, הוא חזר לקנדה והצטרף למיליציה הקנדית. הוא נלחם בחצי האי ניאגרה במהלך הפשיטה הפניאנית.
בשנת 1867 הצטרף לצבא בריטניה, שירת עם הגדוד המלכותי הקנדי בקנדה ובאנגליה ועלה לדרגת סגן עד שפרש לטורונטו בשנת 1875, שם הפך לשותף בחברה של סוחרי משלוחים ווועדה. בשנת 1885 הוענק לו דרגת סגן קולונל במילציה והופך למפקד הגדוד ה-10 של הגראנדירים המלכותיים, שנלחם בכמה קרבות במהלך המרד הצפון-מערבי של 1885.