夏代，淮阴以淮河为界，分属徐、扬二州之域。
秦王政二十四年(前223年)秦灭楚，始设淮阴县，淮阴县治所设在今楚州区。西汉初，分出淮阴县西南地域置富陵县(今洪泽湖内和洪泽、盱眙的部分地区)。高祖六年 (公元前201年)，封韩信为淮阴侯，淮阴为其封邑。十一年，韩信被杀，淮阴侯国取消，仍称淮阴县。武帝元狩六年(公元前117年)，置临淮郡，淮阴、富陵为其属县。王莽篡汉，改淮阴为嘉信，并改临淮郡为淮平郡。东汉初并临淮郡入东海郡，淮阴县属之，且撤富陵县，其地入淮阴县。晋武帝初，仍属临淮郡。太康三年(282年)，移广陵郡治于淮阴，至晋元帝渡江，广陵郡 移去，其间共三十四年。东晋以征北、镇北将军，青兖二州刺史或徐州刺史镇淮阴，淮阴遂为重镇。永和八年(352 年)，荀羡以北中郎将徐州刺史镇守淮阴。他认为淮阴旧镇"地形都要，水陆交通，易以观 衅，沃野有开殖之利，方舟运漕"，却"无地屯兵"，因而在秦汉故城(即甘罗城)之南一里 许，营造新的城池(后来的淮阴故城，今码头镇附近)，自此淮阴为南朝国防要地。隋初，复为淮阴郡，不久废淮阴郡为淮阴县。大业初(605年)，并淮阴于山阳县(今楚州区)。唐武德初年，恢复淮阴县建置。五代至北宋时，仍称淮阴县。南宋建炎元年(1127年)，划出淮阴县西境置吴城县，三年后又复归淮阴县。
