Med delom na Salk inštitutu, Baltimore spoznal svojo bodočo ženo, Alice Shih-Hou Huang, mikrobiolog. V Baltimores poročil leta 1968 in imel eno hčerko.