西周時肥族人散居于此，稱“肥子國”(肥城以此得名)，又有隧國。

西漢置肥成縣，治今老城，于故隧國地置蛇丘縣，據南境，同屬泰山郡，東漢省肥成縣，蛇丘縣改屬濟北國。

三國魏復置肥城縣，西晉又省。

南朝宋徙濟北郡治于肥城縣故城，北魏復置肥城縣，孝昌三年(527)置東濟北郡，治此。

北齊郡廢、省蛇丘縣，存肥城縣。

后周置肥城郡，隋開皇初廢肥城郡，肥城縣屬濟北郡。

唐武德五年(622)屬東泰州。

貞觀元年(627)東泰州省入兗州，肥城縣省入博城縣、平陰縣。

北宋為兗州奉符縣(唐博縣)、鄆州平陰縣地。

元至元十二年(1275)于平陰縣率鎮寨東北15里肥城舊城復置肥城縣，屬濟寧路。

明洪武二年(1369)改屬濟南府。

清屬泰安府。

1913年屬岱北道(次年改稱濟南道)。

1925年屬泰安道。

1928年道廢直隸于省。

1938年屬國民黨山東省第一行政督察區，并為專署駐地。

1939年10月建立肥城縣抗日民主政權，初屬泰西行政委員會。

1940年屬魯西行政區泰西專區。

1941年7月屬晉冀魯豫第十六(泰西)專區。

1942年12月屬晉冀魯豫第十六(泰運)專區。

1944年6月屬冀魯豫和冀南兩行政區合并后成立的冀魯豫行政區第一專區。

1945年10月原冀魯豫與冀南兩行政區重新分立，肥城仍屬冀魯豫第一(泰運)專區。

1948年7月屬山東省魯中南行政區第七(泰西)專區。

1950年5月屬泰安專區。

1958年12月泰安專區撤銷，改屬聊城專區。

1961年7月屬復置的泰安專區(1967年改稱泰安地區)。

1985年3月屬泰安市。

1992年8月撤銷肥城縣，設立肥城市。