屬齊齊哈爾副都統轄區，為布特哈游牧地。

清末放荒招墾，設立荒務機構。

光緒三十一年（1905）于郭爾羅斯后旗巡防局啟用“總理甘井子荒務之關防”，翌年于二站（由齊齊哈爾城至呼倫貝爾驛道的第二站，故名二站）附近勘定城基。

清光緒三十三年（1907）“街基落成”，荒務行局遷抵二站（今甘南鎮）。

光緒三十四年（1908），撤銷荒務行局設置甘井子巡防局，隸屬西布特哈總管。

中華民國成立后，1914年7月，改設甘井子佐治局，隸屬龍江縣管轄。

同年10月9日批準，將甘井子佐治局改為甘井子縣佐。

1916年2月，劃歸布西設治局管轄。

1925年12月1日，黑龍江省長公署令，將甘井子佐治局改設甘南設治局，駐地二站改為甘南鎮，隸屬龍江道管轄。

1929年2月，龍江道撤銷后，改由省直轄。

東北淪陷后，1933年10月1日，改為甘南縣，隸屬黑龍江省。

1934年12月，劃歸偽龍江省管轄。

1945年“九三”抗日戰爭勝利后，劃歸嫩江省管轄。

1949年5月，撤銷嫩江省，劃歸黑龍江省管轄。

1954年8月設立嫩江專區，歸嫩江專區管轄。

1960年5月至1961年10月，嫩江專區一度撤銷時，曾歸齊齊哈爾市領導。

1985年1月1日，嫩江地區正式撤銷后，劃歸齊齊哈爾市領導。

并沿用至今。