2002年3月由縣級張掖市改設，沿用古地名；《元和郡縣志》云：因甘峻山（紺峻山）為名，山因山中泉水，味甘冽而得名；另說因地多甘草而得名。

因地處肅州之南得名。

1913年置東樂縣，因在古樂州之東得名；1933年改現名，取人民安居樂業、人民康樂之意命名。

1929年由撫彝縣改現名，沿用古地名；因處黑河中游綠洲區,地表水較豐富得名。西晉避文帝（司馬昭）諱改昭武縣為臨澤縣。另據《讀史方輿紀要》載，因臨居延澤為名。據《十三州志》 載： 昭武蘇有臨澤亭在其東，縣以亭名。

明景泰七年(1456)置高臺千戶所，據《一統志》載因城西臺子寺得名；清雍正二年(1724)改縣。

據《元和郡縣志》載：焉支山，一名刪丹山，故以名縣；北魏以諧音改今名。