長山堡一帶，是清末放荒招墾較早的地方。

清光緒三十二年(1906)甘井子荒務行局成立后，始駐甘井子屯，翌年遷至二站。

中華民國成立后。

1926年甘南設治局成立，劃歸設治局管轄，后隸第三區。

東北淪陷后，1933年12月隸屬甘南縣第三保。

1938年改設韓家溝村。

1943年改稱長山堡村。

1945年“九三”抗日戰爭勝利后。

1946年3月設置長山堡區，區政府駐長山堡，后改為第六區。

1955年底和1956年初，為接收安置山東移民，于區內新建13個移民新村(稱“長”字片，即長一村至長十三村)。

1956年3月，撤區劃鄉，將原六區劃分為長山堡、興安堡、景利、八里崗子4個鄉。

1958年4月，將長山堡鄉劃出部分區城與景利鄉合并，設立四方山鄉;將興安堡、八里崗子鄉并入長山堡鄉。

1958年9月，將長山堡、四方山兩個鄉合并為長山人民公社。

1984年4月，政社分開，改為長山鄉。

名稱沿用至今。