原来，秦始皇二十八年秋冬，派遣大将屠睢率秦兵五十万，赵佗为副帅佐之，将楼船攻南越。越人夜袭杀睢，秦兵大败。乃使赵佗戍边以备越人。秦军由此进入了三年不解甲驰弩与越人对峙的局面。因为秦军运送粮秣、辎重，补充秦军时，只能从岭南的陆路进入，通过山道人背肩扛过岭，极不便利。经过勘察，决定在广西兴安境内开凿湘水逾岭的通道。长江支流湘江的上方源头，与珠江支流漓江的上源，同源出于广西光安境内。而且其相距的最近处，只有三里之许，中间的低矮山梁，山高仅十来丈，宽度也不超过一里。秦军决定从此凿开一条水道，引湘水入漓江，联结起分流南北的湘江、漓江，从而勾通长江水系与珠江水系的联系。秦军由秦皇派来的监御史史禄率士卒与工役实施这个巨大工程。灵渠穿行于丘陵地带，坡度很大，水流湍急，行船十分困难。为解决这个问题，监御史史禄和工程设计人员，有意将河道开凿的弯弯曲曲，迁回曲折，以便延伸流程，减少高低比差，趋缓水之流速。这样的匠心独到的设计施工，为行船的顺畅和平稳提供了保障。同时，这个灵渠，每隔一段路程，还设置一个陡门，又叫斗门。说得通俗一点，就是最简单的船闸。在灵渠通道两岸，各用巨石垒成一个偌大基座，呈半圆弧形，弧顶两半圆相对，中间自然形成通水口门。陡门一般宽丈五左右，仅容一只船出入。又用箔篦堵塞，便于临时启用。这样，就可以分段拦著灵渠水流，使过往船只逐段抬升或降下，节节前进，能安然通过此山。曾有人描写灵渠道:渠内置斗门三十有六，每舟入一斗门，则复闸塞之，俟水积而舟以渐进，故能循崖而上，建瓴而下，以通南北之舟楫。灵渠修通后，秦军补充兵马和粮秣非常之快。时但见北水南合，北舟逾岭，即使载重万斤的大船，从此灵渠通过，甚是便利，没有一点困难。征讨岭南的副帅赵佗闻报灵渠修成，速派快马向秦皇奏报。秦皇即传诏，除补充了兵马，还派遣了任器任元帅。与赵佗会师之后，解除了三年不解甲与越军相峙的局面。在元帅任嚣与副帅赵佗默契配合指挥下，不及一年，便将整个岭南平定，置了郡县。

从这个意义上说，灵渠是岭北之人进入岭南的重要通道。汉兵选此关口，颇有远见。