Он был женат дважды: на модели Патти Бойд в 1966 году и на секретарше звукозаписывающей компании Оливии Тринидад Ариас в 1978 году, от которой у него родился сын Дхани Харрисон.
Харрисон снова женился в 1978 году на американке Оливии Тринидад Ариас, которая работала в его звукозаписывающей компании.