婴齐死，谥为明王,由赵兴继立。元鼎四年(前113年)，汉使前来宣谕时,赵兴和桴氏盛情款待,并就汉使致书汉武帝,“请内比诸侯,三岁一朝,除边关”。汉武帝批准赵兴的请求,命令汉使留下,借以镇抚南越。赵兴和桴氏积极配合汉使的行动,还想倚仗汉使的威力,去压服那些反对通好汉朝的势力。后赵兴和椤氏依约整治行装,准备人朝时,发生了吕嘉的叛乱。吕嘉是南越三代丞相,极力反对和汉朝通好,因此乘赵兴忙于准备人朝放松戒备的时机举行叛乱,杀掉赵兴村氏和汉使,另立婴齐长子的越人妻子所生的赵建德为南越王。吕嘉叛乱，由于它违背了南越大多数人的意愿,破坏了南越与汉朝建立已久的良好关系,这是一种分裂国家统一损害汉越和睦的叛逆行为,很不得人心,连越族中很多首领都起来反对。

元鼎五年(前112年)秋,汉武帝发兵十万分五路南下平乱。其中,就有两路是越侯率领的士卒:-是归义侯严,被赐号为戈船将军,出零陵,下漓水;另-是驰义侯遗,被赐号为下濑将军,带领巴蜀罪人和夜郎兵,下苍梧。元鼎六年冬(实际是公元前112年年底,因为在《太初历》颁行之前,汉朝是以十月为岁首),攻破番禺。赵建德和吕嘉分别潜逃,后被南越校尉司马苏弘、郎官孙都俘获,解送到汉军营中。苍梧王赵光闻说汉军到来,自定属汉;揭阳令史定和越将毕亟，率众归汉;越桂林临居翁告谕西瓯、骆越四十余万口内属。他们都得到封侯,被汉朝移调别地。南越赵氏政权便从此告终。.南越赵氏政权历六代五王,其世系如下表:(一)南越武王佗——(?)——(二)南越文王胡——(三)南越明王婴齐一( 四)南越王兴——(?)——(五)南越王建德从赵佗开始称王到赵建德被俘的九十三年间，虽有吕嘉叛乱,但是时间不到两年,其余九十一年中的大部分时间,南越是内属汉朝的。南越在和汉朝通使往来的过程中,逐步推行了汉朝的政治制度,大量推广使用了中原输来的先进生产工具。所有这些方面对推动南越的政治经济发展是起到积极作用的。

汉朝承袭秦朝的政治制度,在全国大部分地方实行郡县制，即使在一些地区分封了一些王国,也规定王国的相、太傅、内史、中尉等重要官吏由中央委派,所以各个王国地位近似诸郡。但中央对于内属的南越王国,实施汉朝政制的办法,看来是有所变通的。据载,刘邦以“毋为南边害”为训谕,便和南越政权“剖符通使" ,应是没有变更南越自置全部官吏的旧规。文景时期,南越也只是派使朝见汉皇时,才“称王朝命如诸侯”,对其王国则“窃如故号”，也就是说，上奉汉朝是称臣承命,下治其民仍是我行我素。到了汉武帝时,“赐其丞相吕嘉印,及内史、中尉、太博印,余得自置。除故黥劓刑,用汉法，比内诸侯。”南越的重要官吏已由汉朝中央授印加委,名号亦同内地的王国,其余允许自置的官吏,多是仿行汉制,如苏弘为校尉司马,孙都为郎官,毕取为越将,居翁为桂林郡中监,史定为揭阳令,派往交趾、九真的两个使者,早就在那里典主“二郡民”,还建立了“二郡民户口簿”。南越原行的黥劓酷刑,也被明令废除而改用汉律。官制、户籍、法律是政治制度的重要方面,尽管当时越族普遍保留有部落组织,推行汉制还大受限制,但这些重要的政治制度确已在南越地区部分推行了。