辽募兵尚未还时，京中的何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有sb17♟cc董卓死时，张辽统兵归属于吕布，迁任骑都尉sb17♟cc
不久，吕布为李傕、郭汜等击败，张辽跟从吕布往东奔至兖州，为曹操所败后前往徐州sb17♟cc
建安三年（公元一百九十八年），吕布遣张辽与高顺等攻破刘备，但其后曹操破吕布于下邳，张辽率领吕布军余众归降曹氏，被拜为中郎将，赐爵关内侯sb17♟cc
建安五年（公元二百年），袁绍派颜良袭击白马，曹操命张辽与关羽同为解白马之围的前锋，击破袁军sb17♟cc数有战功，累迁裨将军sb17♟cc等到曹操击败袁绍的主力部队后，另派张辽平定鲁国诸县sb17♟cc
建安六年，张辽与夏侯渊同围昌豨于东海，历经数月，粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说：“这些天以来，每次我们巡视围城军情时，昌豨就两眼盯着我看sb17♟cc而且他的士兵所射的箭日益稀少，此必是昌豨心怀犹豫，所以才没有力战sb17♟cc我希望能试一下他，并与之洽谈，倘若可以成功诱使昌豨下山，不是很好吗？”于是命人向昌豨说：“曹公有命令，让张辽来对你传达sb17♟cc”昌豨果然下山与张辽对话sb17♟cc张辽便说：“曹公神智武勇，正在用他的仁德感化四方各派的势力，先归附的可以受大赏sb17♟cc”于是昌豨便答应投降sb17♟cc张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人sb17♟cc昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操sb17♟cc
曹操先遣昌豨还东海，随后训责张辽说：“只身赴敌巢穴，这不是大将所为sb17♟cc”张辽却拜答道：“凭着明公达于四海的威信，我拿着圣旨，昌豨必然不敢害我，所以我才敢去sb17♟cc”
建安七年，张辽跟随曹氏大军讨袁谭、袁尚于黎阳时，累有功劳sb17♟cc建安八年，曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下sb17♟cc因此曹操采纳郭嘉之计，让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南sb17♟cc
建安九年，张辽再次随曹操攻打邺城，这次终于攻破邺城，张辽奉命别巡赵国、常山，招降了缘山一带的贼众及黑山孙轻等，此后再度随曹操攻击袁谭sb17♟cc
建安十年，袁谭败亡后，张辽受命安抚海滨一带，大败公孙度所置的营州刺史柳毅、与长广太守何夔合兵讨平矣平贼从钱等sb17♟cc曹操上表汉献帝，称张辽、于禁、乐进