克山一帶，清代屬布特哈游牧地，清末添設民官，歸訥河直隸廳管轄。

中華民國成立后，1915年3月18日，于訥河縣屬三站地方設量克山設治局，隸屬龍江道管轄，衙暑初設二克山。

同年8月2日批準，改設克山縣，后將縣署移駐三站（亦稱察霍鎮.今克山縣城）。

1929年2月，裁撤龍江道，改由省直轄。

11月，將二克山一帶劃出設置克東設治局。

東北淪陷后，初隸黑龍江省，1934年12月劃歸龍江省管轄。

1939年6月，劃歸新設之北安省管轄。

1945年"九三"抗日戰爭勝利后，隸屬黑龍江省管轄。

1954年8月，松江、黑龍江兩省合并后，由省直轄。

1956年3月，劃歸嫩江專區管轄。

1960年5月至1961年10月，嫩江專區一度撤銷時，曾歸齊齊哈爾市領導。

1985年1月，嫩江地區正式撤銷，劃歸齊齊哈爾市領導。

名稱沿用至今。