然杨安玄答应赌博，便趁机从他手中赢个千万钱，估计杨安玄随身不可能带那么多钱，到时偿还不了赌资，自然只有用画作相抵了。
说到赌博，众人热情高炽，纷纷插言议论，武陵王见酒宴都进行不下去了，礼节过后便匆匆撤下宴席，让人抬上一张胡桌。
汉末时胡桌胡椅传入中原，渐为人接受，门阀士族家中多置胡桌胡椅，集市上亦有出售，普通百姓为了方便更是在院中放石头、木墩充装桌凳。
五木放在桌上，立时一群人围了过来，刘毅见人多，高喊道：「每掷万钱为赌资。」
能参与这场赌博的都是门阀贵人，万钱对他们来说不算什么，诸人不可能随身携带这么多钱，武陵王便命小吏记录众人下注的赌资。
前来赌博的人多达二十七人，一场掷下来便是二十七万钱，十把下来，杨安玄赢了一场，净入了十七万钱。
场上仍在赌斗之人变成了十二人，刘毅提议赌资每把变成五万钱，三把掷完，十七万钱只剩下了二万钱。
刘毅果然出手不凡，频频得手，万钱十把赢了四把，得钱九十八万，扣除输六场六万钱，净得九十二万钱；五万钱一场赢了一场得钱六十万，扣除输二场净得钱五十万，共赢钱一百四十二万。
刘裕万钱赢二场，得钱四十六万；五万场赢一场得钱五十，共得钱九十六万。场中参赌二十七人，以两人为尊。
殷仲文在万钱场中赢了四场，得钱九十二万，五万钱场却一场未得，净得钱七十七万屈居第三。杨安玄仅剩得二万钱，仅略强于输钱之人。
刘毅见杨安玄赌技不精，心中大定，笑道：「胡桌四方，接下来愚想与仲文、德舆和安玄各据一方轮流坐庄，诸公有意不妨押注方位。」
众人知道刘毅想谋夺杨安玄的画，纷纷赞同。杨安玄微微一笑，等其他三人站定之后，站在西面方位。
刘毅迫不及待地抓起五木在手中摩挲着，嘴中吆喝道：「愚先做庄，诸公赶紧下注，多下多得。」
每方都有一名小吏拿着纸笔记录下注情况，押注刘毅的人数最多，高达四十七万钱，押刘裕的有三十八岁钱，殷仲文也有十余万钱，杨安玄这面则少得可怜，仅有武陵王压了两万钱。
刘毅看了一眼杨安玄下注仅为五万，半开玩笑半认真地道：「安玄，你是有钱人，五万钱太少了，又占据一方，每把可不能少于二十万。」
杨安玄见刘毅一副吃定自己的样子，轻笑道：「既是樗蒲为乐，愚不能独自向隅，就依希乐兄。」
曾安见小吏在记下杨安玄下注二十万钱，心中一紧，这二十万钱在雍州可换粟米一千二百余石，足够五口之家大半年所食，亦能建起一个学庠。
刘毅见杨安玄下好注，又问四旁围观之人是否还有下注的，无人回应后