czterokrotnie żonaty: 1. Brenda Wright (25.10.1955 - 1957, rozwód); 2. Rosalind Tong (1959 - 1970, rozwód), 2 córki: Tessa i Emily; 3. Diane Millstead (17.06.1979 - 1989, rozwód), 2 synów: Oscar (ur. 23.04.1981) i Rupert; 4. Elizabeth Spender (od 25.06.1990 do jego śmierci)