Montgomerys Karriere war allerdings von Sturzpech überschattet. 2001, an seiner stärksten Tour de France, schied er durch einen Massensturz in einer Abfahrt aus, bei welchem er schwere Gesichts- und Schädelverletzungen erlitt und beinahe erblindete.