欲成岭南一统，赵佗为加强南海郡北部边防，防北兵逾岭，传令征调郡内民夫和士卒，在岭南要害处增关设防，构筑了几道军事防线。

在乐昌筑城。任嚣任南海郡尉时，曾在坪石南五里，乐昌之西南二里的武水上筑城，派兵戍守，俗称“任嚣城”。故公元前207年，即秦亡汉兴之际赵佗决定在乐昌这个战略要地筑城，派兵把守，俗称“赵佗城”。

赵佗在乐昌筑城，其军事目的是：此城可与任嚣城夹武水互为椅角之势，完全控制了武水水道，使北兵无法顺武水而入。次可屏障北江之韶州，还可以增强湟溪关的防卫力量。因为连州的湟溪关直接控制北兵从湖南郴州入广东连州的框水水道。赵佗建城于乐昌、卡断北兵从湖南宜章入广东乐昌之武水水道。这样一来，湟溪关和赵佗城、任嚣城可相互支援，足以防备北兵入侵南海郡。

赵佗还在仁化筑城。此城设在仁化北一百二十里，与湖南接界之城口。城口处与湖南有水陆路相通。从城口走五里山山道，可以进入湖南汝城，东出江西。同时，又有与南雄横浦关互为唇齿之利。再者，在城口处筑城设防，还可以屏障韶州。世人曾云，“韶州为唇齿江湘，咽喉交广，当百粤之冲”。

同时，赵佗还在英德、清远筑万人城。韶州、英德、三水等州，县，均为北江关键区，实为军事上攻守之地。清远上承英德,下连三水，一宿可到番禺。为两粤之孔道,北来之门户。

除赵佗城、仁化城、万人城之外，赵佗在绝道自守中，经过实地逐段勘察，发现从三水至番禺城西四十里处，有一处天然险要，堪称石门。实为北江南来北往之要冲和番禺北面的门户。为

防万一，赵佗又下令在石门加强了防守设施和兵力。

经过赵佗近一年的苦心经营，凭险设关，择要布防，终于构筑起保卫南海郡所在地番禺城的三道防线：以湟溪关、阳山关、乐昌赵佗城、仁化城口、南雄至横浦关连为一线，扼守北江上游，这是北江的第一道防线；以英德、清远万人城和框浦关夹江而守，互为椅角，扼守北江中游，这是第二道防线；而番禺城西四十里之处的石门关口，则是扼守北江下游的第三道防线。