明朝時期，全縣劃分為4鄉，轄區屬安仁鄉。

清朝年間，廢鄉設都，全縣劃分為7個都，轄區屬一都；清宣統二年（1910年），廢都設區，全縣劃分為7個區，轄區屬二區，治所潭下圩。

民國二十一年（1932年），全縣調整為東北區、西北區、南區3個行政區，轄區屬西北區，區治所始設棗木圩，后移至潭下圩；民國二十五年（1936年），撤區設鄉，全縣劃分為25個鄉，轄區設3鄉1鎮：義事鄉，治所棗木圩；山麓鄉，治所大泉村；麒瑋鄉，治所大鐵村；儀舞鎮，治所潭下圩；民國三十一年（1942年）7月，靈川縣縮編機構，25鄉縮編為14鄉，轄區3鄉1鎮合并為2鄉：義事鄉與儀舞鎮合并，稱群益鄉，治所潭下圩；山麓鄉和麒踐鄉合并，稱麒麓鄉，治所大廟圩。

1949年11月22日靈川縣解放；同年12月，靈川縣廢鄉設區，全縣設8個區，轄區屬潭下區，區機關駐潭下街。

1951后8月，更名為第三區。

1954年6月，靈川縣撤銷，其行政區域并入臨桂縣，轄區稱臨桂縣潭下區，排列第13區。

1957年12月，撤區設鄉，轄區設：潭下鄉，機關駐潭下圩；大廟鄉，機關駐大廟圩。

1958年9月，撤鄉，成立人民公社，潭下鄉和大廟鄉合并，成立潭下人民公社，機關駐潭下圩。

1962年3月27日，國務院批復并公布重新恢復靈川縣建制，轄區屬靈川縣。

分設潭下人民公社和大廟人民公社，機關分別駐潭下圩和大廟圩。

是年8月撤公社建區，大廟人民公社撤銷，并入潭下區，機關駐潭下圩。

1966年5月，恢復人民公社體制，轄區稱潭下人民公社，機關駐潭下圩。

1984年4月，撤銷潭下人民公社成立潭下區，同年10月，潭下區改稱潭下鎮，鎮人民政府駐潭下圩，距縣城7.5千米。