安北方，杜甫冒险从成西金光门逃出长安穿过对峙的两军到凤翔（今陕西凤翔)投奔肃宗，「麻鞋见天子，衣袖露两肘」。
五月十六日，被肃宗授為左拾遗，故世称「杜拾遗」。不料杜甫很快因营救房琯，触怒肃宗，詔三司推问，幸赖宰相张镐救免十二月肃宗召回杜甫復任左拾遗。
天宝十七载，五月，贺兰进明陷害房琯杜甫遭株连，从此受到肃宗的疏远。闰八月，敕放郧州省家。乾元元年（758年）六月，被贬华州司功参军，从此永远离开朝廷。
当年年冬，杜甫由华州赴洛阳，二年春，返回华州，正值唐军九节度使鄴城战役使郭子仪六十万大军溃败，朝廷大肆抓丁以补充军力，杜甫就沿途所见所感，写成著名的组诗「三吏」、「三别」。
七月，杜甫弃官去秦州（今甘肃天水），开始了「支离东北风尘际，漂泊西南天地间」的人生苦旅。
在漂泊的旅途中杜甫全家备尝艰辛，一度濒临绝境。十月，缺衣少食的杜甫携家离开秦州，南赴同谷（今甘肃成县），想解决衣食之忧。不料到同谷后，生活状况不仅没有改善，反而完全陷入飢寒交迫的绝境之中。
杜甫在诗歌中用字字血泪记录下这段最為艰苦的岁月，「男儿生不成名身已老，