杜闲于睿宗景云元年(710年)与元配清河崔氏结婚,玄宗开元十一年(723年)与继室卢氏再婚。共生五子一女。长子杜甫生于睿宗延和元年(712年),为崔氏所生,是在杜闲迁升奉天之前,故杜甫的出生地乃为河南巩县,而非京兆杜陵。次子杜颖(居山东)、三子杜观(居兰田)、四子杜丰(居杭州)、幼子杜占(居江州)。
唐玄宗开元二十九年(741年),杜闲病故。