但是，岭南的雒越人，不肯为秦虏。当秦军大举进攻之时，他们便隐于丛林之中。一个在明处，一个在暗处，伺机向秦军发动攻势。使秦军不能像在征服六国战争中，刀对刀，枪对枪，阵对阵地与之厮杀。秦军腹背受敌，进入了尴尬被动的挨打之中。统军主帅屠睢被雒越人射杀，数十万秦军成为岭南山林、江河、原野间的孤魂野鬼，秦军损失惨重。

到秦皇三十（公元前217)年，秦军被迫停止进攻雒越人。赵佗代行亡将屠睢之职，向秦皇上书，请求休兵养息，由战略进攻转入战略防御。从此，数十万秦军奉命进入了“三年不解甲驰弩”与越人相峙的阶段。但是，岭南百越必须归入秦始皇的疆域之内，这是秦皇消灭六国之后的心愿。秦始皇十三岁登位，到二十一岁时亲政，他利用十年时间消灭了韩、魏、赵、燕、齐、楚六国，要一统天下，岂能放弃岭南百越之地?为彻底扭转秦军孤立无援，补养供应粮草和输送兵力的困难，秦皇下令监御史史禄“以卒凿渠，以通粮道。”史禄率领秦军和当地民工在广西兴安县开凿了沟通南北水运的灵渠。

灵渠修成后，秦皇重新部署了统一岭南的战争。秦皇三十三(公元前214）年元月，诏令大将任嚣为帅，赵佗为副帅，将楼船之士再次南攻百越。从此，三年相峙防御阶段结束，得到人力和物力补充的秦军，势如破竹，击溃了雒越人的反抗，杀死顽固不化的君长译吁宋。自诩勇冠三军的雒越军统帅桀骏，做了赵佗的剑下之鬼，占领了大部岭南地区。随后，又挥军而下，攻占岭南越人其他居地。经过六年艰苦作战,以死伤几十万秦军的代价﹐到秦皇三十三(公元前214)年八月，秦皇统一岭南的事业，宣告完成了。

此时的赵佗，是在率兵回到番禺，与统帅任嚣巡视秦军营地后在蓝天白云之下乘马而行的。任嚣用欣慰的目光，看了看赵佗﹐说道:“佗老弟，岭南之役，你打得很漂亮，我已向皇帝陛下上荐书，要重重的赏赐你。”赵佗笑了笑说道:“任大哥，不必！我赵佗能有任大哥知遇之恩，乃我赵家列祖列宗之幸，这些我已经心满意足了。人生一世，金银，财帛，皆身外之物。如我先师柳老前辈所言，生不带来，死不带去，能有此搏，乃是大福！”

任嚣笑了。心想，赵佗老弟不是追逐名利之辈，这点，他比谁都清楚。想当年，家住东垣的赵佗家蒙难。赵佗的父亲赵常明作为东垣主掌教化的三老，身陷囹圄之中；赵佗的妹妹赵凤，因其姿色倾城，被东垣的县令刘梦来和其爪牙牛宏陷害；更可恨的是，他的好友大木惨遭凌迟之刑。在万般悲痛和愤恨之下，赵佗远走他乡，躲避灾难，到五台山三松堂拜隐居山林的原赵国搏击大将柳直为师，习学搏击之术，吃尽世人难吃之苦，受尽常人难忍之难。其间，又有秦国看破红尘的老臣宋士琳，在五台山三松堂传授赵佗治国安邦的君王大略。学艺数载，文韬武略既具，柳先师与宋先师方才让他走出三松堂。赵佗虽有文韬武略在身，奈何东垣搭救他父亲赵常明无望，而且此时他的妹妹已从东垣县转至巨鹿郡，生死不明，家中虽有哥哥赵翦、赵通、赵善，但都是老实农民，只知侍弄庄稼，蚕桑，哪通官家之路。