为了封锁赵兴及缪太后、汉使者已被诛的消息，吕嘉下令封锁了王宫大门，只许进，不许出一人。

那北相韩千秋和穆世乐率军逾岭进入南越后,进军非常顺利。因为汉诏令内属一传，即撤下了所有关隘要地的守军，自然他们进军没有遇到任何抵抗。逾岭后在边境小邑遇到一些抵御，但皆不堪一击，其后似入无人之境。其实，这正是吕嘉诱汉兵深入之计，故意助长韩、穆二人之骄气。这样，他们便松懈了戒备之心。当汉军进兵到距离番禺城四十里的石门时，即当年圣王赵佗据岭自守建立南越国构筑的第三道防线，即石门防线时。南越军伏兵四起，突然猛烈袭击汉军，韩谬二将当即毙命，汉兵全军覆没。

此役告捷后，吕嘉速派人致函大庾岭之横浦关上的汉廷使节公开对汉廷宣战。同时，又急忙调兵遣将，加强南越之各关隘和岭口要冲的防守，对破损的城门进行修补，加固了番禺城的城防力量。

汉武帝闻讯后大惊。

元鼎五(公元前112)年秋，汉武帝即传诏调遣越人及江淮以南楼船将士十万，分五路大军合击南越。这五路大军是:以卫尉路博德为伏波将军，出桂阳下湟水，从湖南经萌诸岭而入连州一线;

以主爵都尉杨朴为楼船将军，出豫章下横浦，从江西之大庾岭入南雄一线;

此两路均取北江而下，直至番禺都城。这两路大军共六万人马，是攻打南越的主力军。

以归义侯郑严、田甲为戈船将军和下瀨将军，出零陵;或下贺水，取道西江，直逼番禺城下;

以驰义侯何遗为第五军，将巴蜀罪人，发夜郎兵下群柯江，取道西江，咸会于番禺城下。

就在汉武帝派出十万人马分兵五路讨伐吕嘉之时，早在建元四年，圣王赵佗新丧趁机侵边的闽越王被汉军击败后，封为东越王的余善。借此机会又想讨好汉廷，主动请求发八千将士助汉攻越。