随随便便地在淮南逛了一圈，转身就回长安复命去了。
事情好像已经得到了解决，但是实情远远比这要复杂得多。朝上百官认定了刘安造反，想要把他法办。武帝就算有心袒护，但也不好太过违拗百官的意思，于是下诏削掉刘安的两个封县。
这下彻底刺激了刘安，他立马决定造反。不过造反也是需要军师的，刘安为自己选的军师就是伍子胥的后人伍被，他曾参与《淮南子》的编著，是个文武全才。伍被根本就不同意刘安造反，因为在他看来，如今海内承平，武帝威望一日高过一日，想凭借着小小的淮南来造反，根本是以卵击石。
刘安这时候根本听不进任何善意的劝解，他把伍被的父母关了起来，强迫伍被一起造反。伍被不得已，只好答应为他出谋划策，但是他仍没放弃劝解刘安的努力，他问刘安，您和当年的吴王刘濞相比，谁更有钱，谁的军力更强大？刘安不说话，他心知肚明自己比不上刘濞。又问，当今天子如今行大有为之政，朝堂之上，要文有文，要武有武，人才济济，请问在这方面，您与当今天子相比如何？刘安看了一眼关在囚牢里的伍被，转身走了。这时候，刘安或许有所醒悟，可是他的孙子却把他造反的消息告到了朝廷。
这个孙子名叫刘建，是刘安长子也是庶子的刘不害所生。世子刘迁是嫡子，深得刘安的喜欢，刘不害则刚好相反，刘安一见到他就添堵，心里不舒服。“这样的家伙怎么能做我的哥哥？”刘迁看着刘不害也不自觉地皱起眉头，因此一有机会就要欺负刘不害。刘不害早已经习惯了逆来顺受，也就无所谓了。但是他的儿子刘建看不下去了，于是把刘安造反的事情告到了长安。
刘安无奈下只好与衡山王刘赐联合起兵。仓促之下造反岂能成功？不久刘安就在绝望中自杀了，而他的王后、世子和一众家人也都遭到族灭的下场。