秦始皇统一六国之后，开始着手平定岭南地区的百越之地。前219年，秦始皇派屠睢为主将、赵佗为副将率领50万大军平定岭南，屠睢因为滥杀无辜，引起当地人的顽强反抗，被当地人杀死。秦始皇重新任命任嚣为主将，并和赵佗一起率领大军经过四年努力，于前214年完成平定岭南的大业。
秦始皇接着在岭南设立了南海郡、桂阳郡、象郡三郡，任嚣被委任为南海郡尉。南海郡下设博罗、龙川、番禺、揭阳四县，龙川地理位置和军事价值都极其重要，故赵佗被委任为龙川县令。赵佗到龙川（今龙川县佗城镇）上任后，采取“和辑百越”的民族政策，并上书秦始皇要求从中原迁居50万的居民至南越，加强汉越的民族融合。
秦朝末年，陈胜、吴广领导农民大起义。反抗秦始皇的残暴统治，四方诸侯、豪杰互相争夺，中原陷入战乱。这时，拥兵数十万的赵佗与北方的冒顿并称“北强、南劲”。赵佗按照任嚣关于“秦为无道，天下苦之……番禺负山险阻，南北东西数千里……可以立国”的临终嘱咐，封关，绝道，筑起了三道防线，聚兵自卫。