秦武公十年（前688）開始建立冀縣。

西漢時仍為冀縣。

東漢明帝永平十七年（74），將天水郡移置冀縣，改名漢陽郡，這是甘谷建立郡治的開始；東漢靈帝時（168-188）涼州刺史治冀縣。

三國曹魏時（220-265）為冀縣，復改漢陽郡為天水郡，屬天水郡。

晉武帝泰始五年（269），置秦州治；泰康七年，秦州遷置上邽，為天水郡，冀屬之。

永嘉之年（307），廢冀。

北朝后魏武帝太平真君八年（447）改為當亭縣，屬天水郡；北朝北周時（557-581）改為冀城縣，后又并入黃瓜縣。

隋煬帝大業時（605年-618）改為冀城縣，屬天水郡。

唐高祖武德三年（620）始改為伏羌縣，屬秦州天水郡中督都府。

是年以伏羌及渭州之隴西置伏州治永寧縣。

武德八年廢，縣入秦州；唐代宗廣德元年至宋太祖建隆三年（763-962）共199年，被吐蕃所占領。

宋太祖建隆三年（962），置伏羌寨，屬秦州；宋神宗熙寧三年（1070），升為伏羌城。

元世祖至元十三年（1276），又為伏羌縣。

明、清兩代沿用。

1929年1月1日，中華民國內政部改伏羌縣為甘谷縣至今。

1949年8月5日，甘谷縣解放，1958年12月甘谷縣并入武山縣，1962年1月分治，恢復了甘谷縣沿用至今。

2002年1月，撤六峰鄉、安遠鄉，建六峰鎮、安遠鎮；2003年7月，撤渭陽鄉，建渭陽鎮；2003年12月，撤銷十里鋪鄉，并入城關鎮，合并后的城關鎮更名為大像山鎮；撤銷渭陽鎮、康家灘鄉，將渭陽鎮和康家灘鄉走馬梁以南的孫家坪等10村并入新興鎮，將康家灘鄉走馬梁以北的陰坡等10村并入安遠鎮；撤銷金坪鄉，并入六峰鎮；撤銷金川鄉，并入磐安鎮。

撤并后全縣轄5鎮10鄉。

2015年撤銷金山鄉、禮辛鄉、大石鄉、大莊鄉、武家河鄉成立金山鎮、禮辛鎮、大石鎮、大莊鎮、武家河鎮；2016年撤銷八里灣鄉、西坪鄉、古坡鄉成立八里灣鎮、西坪鎮、古坡鎮。

現全縣轄13鎮2鄉。