与人合伙做贼，广州刺史欧阳頠俘获了他，麦铁杖从此沦为朝廷的奴仆，专给陈后主撑伞麦铁杖常常在陈后主退朝之后，步行一百多里，夜间到南徐州，翻越城墙而入，借灯光打劫偷盗次日早晨返回时，仍旧替陈后主撑伞像这样十多次，失主们认出了他，南徐州官府用状子告到陈后主那里朝中官员见麦铁杖每天早晨都在，不相信他做贼
后来南徐州官员又多次状告铁杖，尚书蔡徵说：“这是可以验证的”在卫兵们退出的时候，以百金悬赏，招募可以送诏书给南徐州刺史的人铁杖出来应招，怀揣诏书而去，次日早晨及时回奏
陈后主说：“的确是徐州官员说的那样，铁杖偷盗之事是很清楚的”因怜惜他勇猛敏捷，警告后便放他回家了
隋灭陈后，麦铁杖转入大将军杨素军中，居清流县，屡立战功恰巧江东谋反，杨素派铁杖到江南去侦察
麦铁杖头戴草把，在夜间浮水过江，全部弄清贼营情况后回报杨素后来又再次到贼营窥探，被贼兵捉住，贼帅李棱派三十个军士押送他，绑着准备送给高智慧押到肻亭，军士们吃饭休息，可怜他饿，解开绑着的手让他吃饭麦铁杖夺取军士的刀，乱砍押送的军士，直到杀尽为止，然后一一割下他们的鼻子，怀揣而归，杨素十分惊奇后来论功行赏，却没有麦铁杖，碰上杨素坐驿车回京都，铁杖徒步追随杨素，每夜同宿一店
杨素发现麦铁杖时才明白麦铁杖的用心，特地向隋文帝请奏授铁杖为仪同三司但因麦铁杖不识字，放回乡里成阳公李彻欣赏铁杖勇猛，在开皇十六年（597年），征召麦铁杖到京城，任命他为车骑将军仍跟随杨素北征突厥，加封为上开府
隋炀帝即位，汉王杨谅在并州谋反，铁杖又跟随杨素征讨汉王杨谅，每次作战总是身先士卒，后任柱国大将军不久调任莱州刺史，但无政绩转任汝南太守，渐渐学习法令制度，群盗绝迹
后来上朝，考功郎窦威嘲笑铁杖说：“麦是什么姓？”铁杖应声答道：“麦窦（豆）没有差异，有什么值得奇怪的？”窦威非常羞愧，无言以对，当时的人都认为麦铁杖机敏聪慧
不久麦铁杖又调任右屯卫大将军，隋炀帝对他更加亲密麦铁杖认为隋炀帝对他恩重如山，常怀尽忠报国之志
大业八年（612年），隋炀帝征讨高句丽，麦铁杖请求当前锋他回头对随从医生吴景贤说：“大丈夫的性命自有所在，岂能去用艾炷烫鼻梁，用瓜蒂喷鼻孔，治黄不差，而死在妇人怀里呢？”将要渡辽河，铁杖对他的三个儿子说：“你们应该准备浅黄色的衣衫我久蒙国恩，今天应是为国捐躯的时候我如果战死，你们将会富贵在忠与孝上，希望你们多努力”等到渡河时，桥未完工，离东