战国时，属楚之长沙地。
秦始皇二十六年（前221年），秦始皇统一六国，置长沙郡。汉武帝元鼎六年（前111年），析长沙国置零陵郡，郡治零陵（治所在今广西全州县西南39千米处），辖7县4侯国。
7县是：零陵（今广西全州、兴安、灌阳一带）治所在今全州凤凰或咸水、营道（今宁远县地）、泠道（今宁远、新田县地）、始安（今广西桂林、临桂、阳朔、灵川、永福、永宁县地）、营浦（今道县及江永部分地）、洮阳（今广西全州、资源县地）治所在今永岁乡梅潭、钟武（今衡阳县地）。
4侯国是：泉陵（今冷水滩、芝山、祁阳、祁东、东安及双牌部分地）、都梁（今洞口、武冈、绥宁、城步一带）、夫夷（今邵阳、新宁一带）、舂陵（今宁远、新田、祁阳部分地）。元封五年（前106年），郡上设州，零陵郡属荆州。新莽王朝时，零陵郡改名九疑郡，辖地未变。东汉时，复名零陵郡，迁郡治于泉陵（治所在今永州市芝山区城北1千米），辖区除原来的7县3侯国（舂陵侯国并入泠道县）外，还增加了湘乡县（今湘乡、双峰等地）和昭阳（今邵东县地）、烝阳（今衡阳县地）2侯国，共计8县5侯国。东汉末年，荆州牧刘表于建安三年（198年）攻占零陵，零陵郡属刘表势力范围。建安十三年（208年）赤壁之战后，刘备代刘表领荆州牧，零陵郡属刘备势力范围。三国蜀昭烈帝章武三年（223年），刘备病故，零陵郡地入东吴。孙吴时期，零陵郡地域开始减小。甘露元年（265年），分零陵郡西南部置始安郡，今广西桂林、临桂、阳朔、兴安、灵川、永宁、永福等县地从零陵郡分出。宝鼎元年（266年）分零陵郡南部置营阳郡，郡治营浦（今道县）；分北部都梁、夫夷、昭阳置昭陵郡；同时将湘乡、重安（原钟武）、烝阳3县划入衡阳郡。至此，零陵郡辖6县：泉陵（今冷水滩、芝山、东安地及双牌的一部分）、祁阳（今祁阳县地）、永昌（今祁东县地）、零陵（今广西全州县地）、洮阳（今广西全州、资源县地）、观阳（今广西灌阳县地）。营阳郡辖营浦、营道、舂陵、泠道等4县。
