清康熙十一年（1672年）版《滋陽縣志》記有：“大明寺在小孟金大定六年（1166年）建。”光緒十二年（1886年）版《滋陽縣志》記有：“大明禪寺在小孟。

金大定六年（1166年）敕建。”據此可知此村已有約千年歷史。

村東首有大土丘，傳說是戰國時孟嘗君的墳墓。

并說孟嘗君排行第二，故名小孟。

1948年魯西南解放初期，本鎮為市第四區；1949年稱太平區；1958年撤區分小孟、蔡莊、新驛歇馬亭等4個大鄉；1962年1月，曲阜、兗州分縣后始稱小孟公社；1966年5月改作小孟區，下分六個小公社；1968年又恢復為公社；1984年5月，行政區改革時，稱小孟區。

1986年12月撤區改為小孟鄉。

2002年8月撤鄉改為小孟鎮。