可陈后主放了麦铁杖，麦铁杖却并不怎么感恩陈后主。
不久隋军征讨南陈，麦铁杖居然跟来护儿一样，游过长江去参军。
麦铁杖这人也确实有本事，不但能跑还能打，他到杨素军中，屡立军功。有一次杨素派麦铁杖到江南侦察，他头戴草把，在夜间浮水过江，然后弄清了敌营情况后回报。后来又再次来敌营窥探，结果这下被捉住，被敌帅派了三十个兵押送他，结果押到半路，军士们吃饭，他就喊饿，人家解开手让他吃饭，这家伙一把夺了人家的刀，一把刀砍死了三十个押送敌兵，然后割下了他们的鼻子怀揣而归请赏。
因为打仗勇猛，麦铁杖在平陈以及后来的江南平叛之中升为仪同三升，只是他大字不识一个，后来江南平定，便让他退伍回乡了。
直到开皇十六年，大将军李彻欣赏他勇武，特征召他到京城任命他为车骑将军，仍随杨素北征突厥。
等到杨广继位，麦铁杖又跟随杨素征讨杨谅，每次作战总是身先士卒。之后当了两任太守，居然也干的有声有色，于是很得杨广赏识，最后居然一路升到了左屯卫大将军。
杨广重用麦铁杖自然是因为既能打又还能安民，而且这人虽然以前是跟着杨素的，可毕竟没什么