清乾隆二年（1937），奉天旗人墾荒，此地東北0.5公里處有一顆榆樹，故得名“小榆樹”。

隸屬呼蘭城正紅旗。

清光緒三十一年（1905），隸屬南鄉(xiāng)一區(qū)。

中華民國時期屬三保。

東北淪陷后，改設榆林村。

1946年將榆林村和和朋來村合并設置榆林區(qū)，1949年改為第二區(qū)。

1956年并村劃鄉(xiāng)，設置榆林鄉(xiāng)。

1958年與城山、大房身鄉(xiāng)合并成立榆林人民公社，1966年改稱太陽升公社，1980年更名為榆林公社。

1983年，改為榆林鎮(zhèn)。