Lloyd hat vier Ehen hinter sich. Von 1959 bis 1971 war er verheiratet mit Catherine Boyd, von 1975 bis 1987 mit Kay Tornborg, von 1988 bis 1991 mit Carol Ann Vanek und von 1992 bis 2005 mit Jane Walker Wood.