度被咸丰想起，饱经沧桑，又年老不将筋骨未能的林则徐“出师未捷身先死”，于是，赛尚阿这个亲信近臣就要表现表现了，他荣任钦差大臣，手捧特赐遏必隆刀，腰缠二百万饷银，赶赴广西、湖南防堵天军
在广西，据说其淘汰兵勇中的老弱，整顿纪律，收买特务、奸细等等，做的很是深得咸丰欣喜，不断颁诏旨，称赞其“能通筹全局”
可惜的是天军太不给他面子，攻陷永安州，使得赛尚阿获“坐失机，降四级留用”攻打桂林一役，虽然桂林最终得以保全，总兵长瑞、长寿、董光甲、邵鹤龄等一连串的高级将领却是死于沙场，而天军主力游龙般撤围一走了之，赛尚阿只得又自请治罪，好歹算是混了个“戴罪以图补救”
江忠源伏击天军于蓑衣渡，南王冯云山捐躯，赛尚阿作为统帅总还是得到了些脸面，心中如何的窃喜自不必说不过，接下来就不会有人再给他面子了
天军随即进入了湖南，又是连陷道州、江华、永明、嘉禾、蓝山、桂阳，赛尚阿从来也摸不清天军主力的动向，只好跟在**后面吃土等到天朝大军攻醴陵、打攸县，围攻长沙的时候，咸丰是忍无可忍了，“诏斥赛尚阿调度无方，号令不明，赏罚失当，以致劳师糜饷，日久无功，褫职逮京治罪”
那一回，赛尚阿自己都感觉自己的路是走到头了，据说他对着前来拘捕他的官员伏地痛哭流涕，自悔自己是不忍杀人，不愿意看到官兵流血才导致的没有竭力杀贼，才导致匪猖狂，以致辜负了圣恩，可绝对不是自己不想尽力奇怪，当听到南王冯云山捐躯的消息，几乎没兴奋的死过去的刽子手，居然还是个怕流血的大善人
据说咸丰听到使臣带回来的这个消息时，气得差点儿想一头碰死拉倒，大骂赛尚阿无耻，“籍其家，三子并褫职”