同时,赵佗风闻吕后屠杀了他在河北的赵氏宗族,并且掘掉他的祖坟、将骨骼烧了。赵佗暗想,这是长沙王想吞并岭南、向吕后进谗挑拨而引起的。他决定和汉朝决裂,进而自称为南越武帝、出兵北上,攻打长沙王的封地。吕后派隆虑侯周灶领兵和赵佗对敌,相持-年多,汉兵始终无法越过南岭。到了汉文帝,再改善和赵佗的关系。吕后先前并未掘毁赵佗祖坟,汉文帝这时特地规定真定的守官要每年按时祭祀,同时对赵氏宗族给予官爵。他问丞相陈平:“哪个可以出使岭南?"陈平仍然推荐陆贾。

陆贾以大中大夫的官衔,再度出使。他责备赵佗擅自称帝,赵佗表示愿意向汉朝称臣。他上书给汉文帝,自称为“蛮夷大长老夫臣佗”,并且解释说:“私进帝号,不过让自己高兴罢了。”他下令取消帝皇的各种礼仪。陆贾完成了使命,回报汉文帝。自此,赵佗向汉室称臣,但在岭南仍然自称为南越武帝。相传赵佗在越秀山构筑朝汉台,每逢初一、十五,登台向北遥拜。

《广东新语》说朝汉台在广州北门外固冈。固冈是越秀山冈峦之一,以高固(战国时任楚威王相)得名,但现在已难指实。赵佗每逢夏历三月三日登越秀山修禊,举行歌舞,祓除不祥,后人称其地为歌舞冈,即越王台,遗址在越秀山主峰越井冈。赵佗死于汉武帝建元四年(公元前137年)活到百岁。治丧时,丧车分四路出殡,后人无法知道哪一个是真墓。到现在,赵佗墓到底在哪里,仍然是一个谜。赵佗治理下的广州古城,史称“赵佗城”,是从“任器城”的原址扩筑的。

任嚣城即番禺城。据麦英豪,黎金所撰《汉代的番禺》——文,从考古发现的材料论证了番禺城址,“在石门的缯步河东南面,面临珠江,背倚越秀、白云二山”，“以今天北京路以东,仓边路以西为中心”“而以解放北路和红花冈为“附郭之野”。赵佗城大约从任嚣城向东西两面展拓。赵佗的遗迹,最著名的仍是越王台,历代诗人题咏的名篇很多。唐时崔子向《题越王台诗》道:越井冈头松柏老,越王台上生秋草。草木多年无子孙,牛羊践踏成官道。.越王台在清初仍见于吟咏,在那以后才因荒废而湮灭。

(徐续《岭南古今录》)