中華民國時期，屬勃利縣管轄，初隸南鄉，后改隸小五站鎮。

1931年東北淪陷后，隸屬十一甲。

1938年日本侵略者強占民地，設立桃山開拓點。

1945年“九三”抗日戰爭勝利后，隸屬勃利縣第五區管轄。

1948年桃山區劃歸新增設的七臺河區。

新中國成立后，1951年2月改為第十二區。

1955年5月，復改為七臺河區。

1956年3月，撤七臺河區劃鄉，隸屬七臺河鄉管轄。

1958年9月，并入七臺河人民公社，同年底劃歸七臺河礦區公社管轄；1960年3月，改隸七臺河鎮公社。

1965年2月，劃歸七臺河特區管轄。

1970年4月，改隸七臺河市。

同年5月，設立市屬桃山街道。

1973年6月，并入紅旗公社。

1978年9月，七臺河市政府自北山遷至桃南（今桃山區）。

1981年10月，復設桃山街道。

1984年1月21日，黑龍江省省政府批準，設立桃山區，名稱沿用至今。