遂城鎮始建于春秋戰國時期，古稱武遂，遂州。

明代前，為徐水區的兵防要地和政治中心。

隋開皇十八年（596年），為遂城縣縣府所在地。

北宋時，為宋、遼界城。

金天會七年（1129年），在遂城立州治名遂州。

明洪武初，降州為縣；明洪武八年（1375年），遂城縣并入安肅縣。

清初，遂城鄉屬西路，清末登遂城社。

民國三十一年（1942年），劃歸第五區。

1953年，分為城西、謝坊營、遂城、大次良4個鄉。

1958年，建遂城人民公社。

1984年2月，改建為遂城鎮。

1996年，廣門鄉并入。