春秋戰國時期先后屬楚、吳、越諸國。

楚國于此置合肥邑。

秦始皇二十六年（前221），置合肥縣，屬九江郡。

西漢前期屬淮南王國。

漢元狩元年（前122），九江郡轄合肥等縣。

東漢建武元年（25），改合肥縣為合肥侯國。

建安五年（200），合肥侯國復改為合肥縣。

三國屬魏國淮南郡。

西晉屬淮南郡。

東晉，縣廢。

南朝宋，于舊合肥縣地置汝陰縣。

汝陰屬南豫州南汝陰郡，為郡治。

梁天監五年（506）改屬汝陰郡。

梁普通七年（526），屬南豫州，為南豫州治。

梁太清元年（547），屬合州汝陰郡。

隋開皇元年（581），改汝陰縣為合肥縣，改合州為廬州，合肥屬廬州。

唐貞觀元年（627），為合肥屬淮南道廬州治。

北宋淳化四年（993），合肥縣屬淮南道廬州。

至道三年（997），屬淮南路廬州，為州治。

熙寧五年（1072），屬淮南西路廬州，為州治。

元至元十四年（1277），屬淮西道廬州路。

至正十二年（1352），屬河南江北行省廬州路。

至正二十四年（1363），改路為府，合肥縣屬江淮行省廬州府，不久改屬江浙行省廬州府。

明洪武元年（1368），屬中書省直隸廬州府。

清順治二年（1645），合肥縣屬江南省廬州府。

康熙元年（1661）屬江南左省廬州府。

康熙六年（1667），合肥縣屬安徽省廬州府。

1912年，廬州府廢，合肥縣直屬安徽省。

1914年屬安慶道。

1928年，復直屬安徽省。

1945年，移省會至合肥。

1948年12月，析置肥西縣。

1949年2月1日，再次析置肥東縣。

1949年2月，合肥設市。

1952年，設立安徽省，省會駐合肥市，至此合肥正式成為安徽省省會。

1961年劃肥東、肥西、巢縣3縣分別入滁縣專區、六安專區、蕪湖專區。

1964年分壽縣、定遠、肥東、肥西4縣地置長豐縣，為市轄縣。

1983年肥東、肥西2縣復劃入市境。

1965年，長豐縣成為合肥市第一個市轄縣。

2011年8月，廬江縣與縣級巢湖市劃歸合肥市管轄。