黃帝到顓頊氏，屬內地偏荒。

帝嚳迄唐、虞、夏、商、周，均屬荊州。

春秋，屬楚國南地。

戰國，屬楚黔中郡地。

秦，屬長沙郡。

西漢，屬泉陵侯國。

東漢，屬泉陵縣。

三國初，屬蜀國地，劉備死后歸吳。

孫皓元興元年至天紀四年間（264~280），從泉陵析出永昌縣、祁陽縣。

縣治分別設磚塘和金蘭橋。

兩晉、南北朝，不改。

隋開皇九年（589年），永昌、祁陽并入零陵郡。

唐武德四年（621年），復置祁陽縣。

貞觀元年（627年），并省州縣，祁陽縣被裁撤，唐太宗貞觀四年（630），復置祁陽縣，原永昌縣地歸并祁陽，至中華人民共和國建立初年，均沿襲不變。

[22]1952年4月，將原祁陽縣東部的七、八、九、十區的全部及第五區、第六區的大部劃出建立祁東縣，因縣境內區域大部分位于祁陽縣之東，故名。

縣城設在湘桂鐵路上的洪橋鎮，屬零陵專區。

[22]1952年10月，屬湘南行署，1954年7月，屬衡陽地區。

1983年6月，屬衡陽市。