跟随曾国藩南征北战，功劳不小。尤其是咸丰五六年间，曾国藩在江西处于困境时，李元度回家募集平江勇，和他患难与共。
但复出前的曾国藩没有保李元度一个正式官职，李元度心中不满。曾国藩回籍守丧后，杭州知府王有龄利用李元度的不满，和他拉上了关系。罗遵殿死后，王有龄升任浙抚，保李元度为温处道道员，想拉他去浙江。
看见朝廷发来的咨文，曾国藩才知道这事，他把李元度召到祁门，告诉他王有龄此举分化湘勇；而李元度投靠王的门下，也有背叛湘勇之嫌。
李元度意识到问题的严重性，又见曾国藩已实授江督，于是答应不去浙江。曾国藩奏请朝廷改授李元度为安徽徽宁池太广道道员。上谕批下来后，李元度便把平江勇带到祁门，作为祁门老营的拱卫之师。
曾国藩很欣慰，对李元度说：“徽州乃皖南大城，又是祁门的屏障，长毛打徽州，是想冲破这道门，窜进祁门，守住徽州意义重大。张副宪防守徽州几年，虽说没有打什么胜仗，但也没有丢失，你千万不要把它丢了。”
“放心，有平江勇在，徽州城决不会缺一个角。”李元度拍着胸脯保证。
曾纪泽走后，李鸿章在湘勇里谈得来的好友就只有李元