还没说完，他便拍着胸膛说：“不必多说了，我立个军令状吧，徽州府倘若丢失，你唯我是问！”
不久，李元度率部来到徽州府城。很快，太平天国的侍王李世贤就率部对徽州发起猛烈攻击。
李元度刚开始还能沉住气，坚壁清野，死守徽州各城门，李世贤部伤亡惨重。
李世贤知道李元度不是一个沉稳的人，于是想方设法激怒李元度，引诱他出城决战。李世贤每天派100名士兵去城下骂“平江勇是缩头乌龟”。
到了第三天，李元度果然上当，违背了当初曾国藩给他制定的战略方针，主动出城作战，结果刚一交战，就被李世贤的伏兵攻击，大败而归。徽州城很快落入了太平军之手。
李元度在乱军之中仓皇逃出徽州，他这个人书生意气，比较重面子，打了大败仗的他拉不下脸前往祁门找曾国藩，于是四处晃悠。
曾国藩得知徽州失守后非常着急，因为徽州是祁门的东大门，徽州失陷，意味着祁门将直接面对太平军的攻击。曾国藩又为老友李元度的安危担忧，他一旦有事，曾国藩都感觉不好跟李元度八十多岁的老母亲交代。
曾国藩也没时间多想，徽州失守，祁门变成了前线。此时祁门的兵力，仅张运兰