清光緒前，原是葦灘，人煙稀疏。

自左宗棠率軍收復新疆，始有部分湘軍留駐此地屯墾。

后漸有陜、甘、寧、湖、堿青一帶農民相繼來此，拓荒建村，從事水稻種植。

民國時期，劃為乾德縣長山子鄉。

解放后，1951年成立長山子區，轄上梁頭、黑水、二灣、堿梁4個鄉。

1958年，公社化初期成立了紅旗人民公社。

1964年，公社駐地遷至吉三泉。

1978年更名為長山子公社。

1984年，根據昌吉回族自治州人民政府文件《關于六戶地等七十一個鄉、民族鄉、鎮名稱的通知》昌州發（1984）199號文件建立長山子鄉。

1994年撤鄉設鎮，沿用至今。