白土山一帶，清代屬齊齊哈爾副都統轄區。

中華民國時期，先后隸屬龍江縣第三區和第二區管轄。

東北淪陷后，初隸朱家坎保，1938年4月改隸朱家坎村。

1945年“九三”抗日戰爭勝利后，1946年6月隸屬朱家坎區，1948年改隸第三區。

1954年設白土山區。

1956年3月，并村劃鄉，設白山鄉。

1958年靠山鄉并入，同年9月后道老鄉并入，成立白山人民公社。

1960年析置東部地區成立黑崗公社。

1984年5月，白山公社改為白山鄉。

2013年10月，撤鄉設鎮，改為白山鎮，名稱沿用至今。