参加了大破王仙芝于申州东，而追斩于黄梅的那场决定性战役；虽然未曾获得阵斩王贼的首功，但也亲手袭破擒获一名贼酋刘彦全，而迫降残部三千余；是以积功得表为武卫中郎将兼忠武军左厢兵马使。
但是好景不长，正值壮年的恩主兼上官张自勉，很快就因为功高而为朝中党争所攀诬，以侵吞逆贼所获为由入罪，虽然有宰相郑畋当庭力保之，但是还是不免黯然求去自此归隐信州（江西省上饶市）故里；
作为麾下的得力大将曾衮，原本也是没能幸免而很快被追及去职；但是后来重新拜求在这位远房族叔曾元裕的门下，才得以保住了武卫中郎将头衔，但是自此无缘领兵而只能在牙帐内充作门面。这一次求请远出沦陷贼域的安南而力图光复的行举，也是他这一生最大的冒险和那身价前程孤注一掷的投机了。
而作为他族叔的曾元裕，也只是给了他一叠空白告身和一千匹绢充为行资，而允诺在事成之后自会在朝廷方面运作追认为交州刺史兼安南讨击使；相比之下反而是另一位使相崔安潜私下给予的帮助更多，不但私下赠与资粮、甲兵和壮士，还默许他在蜀地以自己的余泽继续筹募所需。
但他不免得陇望蜀而想要的更多，比如将这个静海军节度留后，变成更