山丹原名刪丹，歷史悠久。

據《山丹縣志》載，刪丹古城在焉支山谷地近鐘山寺處，“以曉日出映，丹碧相間如‘刪’字，又名刪丹山，而縣以此得名”。

夏帝禹元年，山丹屬《禹貢》雍州之域，西戎氏之故墟。

禹封少子于西戎，世代為首領。

周穆王十三年，祭公率師隨穆王西征，西戎歸順。

西周時期，戎、狄兩族在這里居住。

春秋戰國時，烏孫與月氏共居河西。

其后，月氏逐烏孫而獨居。

秦漢之際，北方的匈奴族強大起來，擊敗并趕走了月氏人，河西遂為匈奴右賢王的領地。

黑河東、西分別由休屠王、渾邪王分領。

西漢時期，武帝元狩二年（前121），驃騎將軍霍去病進軍河西，戰敗匈奴，渾邪、休屠二王率眾歸漢。

漢元鼎六年（前111年），取“張國臂掖，以通西域”之意，置張掖郡，山丹為張掖郡治。

東漢始建國元年（9年），王莽廢漢立新，令天下改郡、縣名。

張掖郡改名設屏郡、觻得改名官式。

山丹為設屏郡治。

建武三年（27年），光武帝劉秀令各郡、縣恢復舊名。

張掖郡及各縣恢復原名稱。

獻帝興平元年（194年）六月，分張掖郡之日勒、山丹置西郡。

兩晉南北朝時期，沮渠蒙遜在山丹建立北涼國，都建康（今高臺縣駱駝城）。

隋初改為山丹衛，大力發展農業生產，山丹成為中國對外貿易的重要場所。

五代時，后梁乾化元年（911年），甘州回鶻攻沙州，張承奉力屈，訂城下之盟。

后唐莊宗同光二年（924年）六月，甘州回鶻遣使向后唐納貢，乃冊封王仁美為英義可汗。

后唐明宗天成三年（928年），甘州回鶻王仁裕（仁美之弟）遣使納貢，被封為奉化可汗。

北宋時期，天圣六年（1028年），黨項族首領李元昊擊敗甘州回鶻，建立西夏。

元時期，置甘肅行省，山丹為省會。

意大利旅行家馬可波羅前往上都途中，曾在甘州停留一年，在《馬可·波羅游記》中記述了張掖的富庶、城市的規模以及宗教寺廟的宏偉。

明時期，山丹為陜西行都司及甘肅鎮的治所。

清時期，改置山丹縣，山丹為甘州府治所，甘肅提督統軍駐地，節制涼州、肅州、西寧、寧夏四鎮總兵。

2002年屬地級張掖市。

2014年，撤銷東樂鄉、陳戶鄉、大馬營鄉，設立東樂鎮、陳戶鎮、大馬營鎮。

調整后，全縣轄6個鎮、2個鄉：清泉鎮、位奇鎮、霍城鎮、東樂鎮、陳戶鎮、大馬營鎮、老軍鄉、李橋鄉。

同年，清泉鎮、位奇鎮被列為全國重點鎮。