在巩县（今巩义市）。
他的祖父杜审言是武则天时期一个有名的政治家和诗人，「（审言）少与李嶠、崔融、苏味道為文章四友，世号崔、李、苏、杜」，他的父亲杜閒，曾官至兗州（今属山东）司马、奉天（今陕西乾县）县令，「审言生閒，閒生甫」。
杜甫的母亲是清河东武城（今属山东）人，在杜甫出生后不久就去世了，父亲杜閒续娶卢氏，杜甫并没有从卢氏身上得到多少母爱，反倒是他二姑担当了母亲的角色，把小杜甫抚育成人。
杜甫有一个哥哥，早夭，有三个同父异母的弟弟和一个同父异母的妹妹，杜甫在诗中常提到他们，但杜甫从未在诗中提到他的继母。
杜甫自小好学，七岁能作诗，「七龄思即壮，开口咏凤凰」，有志於「致君尧舜上，再使风俗淳」，可见杜甫是个早熟的孩子。
杜甫幼年很是顽皮，「忆年十五心尚孩，健如黄犊走復来。庭前八月梨枣熟，一日上树能千回」。但这个早熟孩子超强的记忆力和出眾的文学才能，给人们留下深刻的印象，「李邕求识面，王翰愿卜邻」。
杜甫在青年时代曾数次漫游。十九岁时，他出游郇瑕（今[山西猗氏县]）。
二十岁时，漫游吴越，歷时数年。开元二十