清咸豐年間（1851-1861）稱五道荒、立集店，清光緒七年（1881），于設置五常廳的同時，設立五常廳山河屯分防站。

民國時期，稱為五常縣第二區。

1945年東北光復后為山河區、山河縣，民國時期，集鎮擴大，稱為第二區，偽滿洲國時，設立山河屯街公所。

1947年1月成立山河縣，為吉北地區督察專員公署山河縣治所在地，同年11月撤銷山河縣改為舒蘭縣山河區。

1948年6月劃歸松花江省五常縣，為第十區，1953年8月，設立十區山河鎮人民政府，1956年從原十區中又劃分出平安、雙興、愛路、保山4個鄉。

1958年成立山河鎮人民公社，1980撤銷公社制設立山河鎮，名稱沿用至今。