南越王赵胡在位十余年，死后谥为文王。子婴齐即位。

婴齐在位几年间，汉朝曾多次派使臣出使南越国。最多时一年达两三次。武帝派使臣的目的，是宣谕婴齐入朝，朝见武帝本人。但婴齐害怕入朝，屡次以患病为由予以推脱。

不久婴齐病死，益为明王，其子赵兴继位为南越王，其母谬氏为太后。

至此时，汉武帝便着手准备灭亡南越的准备工作。

早在鄱阳令唐蒙出使南越时，即闽越王之乱遂平，唐蒙风指晓南越。那时，他从越人食之的蜀枸酱一事中知道，从蜀至夜郎，再从夜郎的群河江泛舟直下，可经广西出番禺城下。他发现这道通路后，回到汉廷立即向武帝奏道:“南越王黄屋左纛，地方东西万余里，名为外臣，实为一州之主也。今以长沙、豫章往，小道多绝，极为难行。下臣窃闻夜郎所有精兵可得十万，若从夜郎浮船群河江，则出其不意，此乃制南越奇策也。”

汉武帝大喜。即传诏令任命鄱阳令唐蒙为中郎将，带兵千余人，粮食辎重甚多，从巴管关入夜郎，劝说夜郎归汉。夜郎知议廷势壮，不得不臣服。至此，夜郎及其附近城邑乃相约归服汉廷，武帝在此设立犍为郡。

武帝又派司马相如为中郎将，出使西南夷，即到邛，管一带，使其臣服汉廷后，在此设置了十余县，使其隶属于蜀郡。

后来，汉武帝为确保灭亡南越，出其不意，征发巴蜀郡士卒修治栈道，直通群舸江的道路。

至此，汉武帝不仅割断了夜郎和南越的役属关系，还在南越国又一侧翼打通了进攻道路。

由于北边匈奴单于的作乱，做好进攻南越准备之后，汉武帝利用近二十年的时间对付匈奴。他无力同时伸出两个拳头。灭越行动只得搁置。

元鼎四(公元前113)年，汉武帝派遣以安国少季为首的使团出使南越，宣谕南越王赵兴及櫻太后入朝，比内诸侯。