A négyszer nősült, 84 esztendős Moore a Morgan’s Life Stories című műsorban a magánéletéről mesélve emlékezett meg korábbi házasságairól. Piers Morgannal beszélgetve azt sem titkolta, hogy első két felesége bántalmazta. Első neje, Door van Steyn egy teáskannát vágott hozzá, amikor a kertben napozott, és ez véget is vetett kapcsolatuknak.
Második felesége, az énekesnő Dorothy Squires gitárral vágta fejbe egy veszekedés közben. „Nagy természete volt” – idézte fel a történteket a világsztár.
Harmadjára, 1969-ben Luisa Mattioli olasz színésznőt vette el. Erről a házasságról nem beszélt a műsorban, azt viszont örömmel újságolta, hogy negyedik nejével, Kristina Tholstruppal boldog és kiegyensúlyozott házasságban él.