明、清時屬多云鄉；民國二十八年（1939）屬第二區柳傅江聯保；1949年屬僧塔寺區眠牛地鄉；1952年屬第四區（肖家坳）眠牛地鄉；1955年屬（肖家坳區）眠牛地鄉；1958年屬紅旗（白廟河）人民公社雞鳴管理區；1961年屬白廟河區雞鳴人民公社，為第三生產大隊；1975年改第三生產大隊為潘家灣大隊，屬白廟河人民公社雞鳴管理區；1984年改潘家灣大隊為潘家灣村民委員會，屬白廟河區眠牛地鄉；1987年白廟河區分設白廟河鄉和肖家坳鄉，潘家灣村民委員會屬肖家坳鄉；2001年白廟河鄉和肖家坳鄉合并為白廟河鄉，潘家灣村村民委員會屬白廟河鄉；2013年更名為白廟河鎮至今。