去参加了造反者翟让的队伍。
他为翟让出谋划策，让瓦岗军在中原声名崛起。不说其它的，仅凭这个，就足以让张超无比的佩服了，一般的二世祖，纨绔子弟岂能做到这些？
更别说虽然后来瓦岗火并，徐世绩做为翟让的心腹差点死在李密刀下，但徐世绩后来还是很快又成了李密的心腹之将，替瓦岗数拒王世充，并打下了黎阳仓。
后来李密兵败降唐，徐世绩一人力挽狂澜，控制了李密降唐后原来魏军的地盘。但徐世绩没有直接拿着这些地盘人马去降唐，反而把这些弄成名册后送给了李密，让李密交给唐朝。
这个举动让李渊觉得徐世绩是个相当纯厚的臣子，因此封他黎阳总管上柱国莱国公，很快又加授右武侯大将军改封曹国公，赐姓李氏，甚至封他父亲为王。
当时的李世绩可是实际上控制着河南和山东大部份地盘，并控制着原魏军兵马。李密后来降而复叛被杀，李密还上表请求收葬李密，为他披麻带孝，让朝野都赞扬李世绩为义气。
今年平定王世充窦建德之战，李世绩也是立了许多大功。凯旋入朝时，李世民是上将，他是下将，两人一起穿着赏赐的金盔金甲，乘兵车到太庙告捷，别提多么的风光了。