漢晉以前為羌地。

周至漢代曾為“諾木洪文化”分布區。

南北朝時期為吐谷渾國屬地。

隋大業五年（609），隋軍破吐谷渾國，將其納入隋王朝版圖，格爾木地區隸西海郡威定縣。

隋亡后吐谷渾復其故地。

唐初吐蕃國興起，攻滅吐谷渾國，格爾木即被吐蕃統治。

北宋時格爾木曾一度隸屬于唃廝啰政權。

元代為吐蕃等處宣慰使司轄區。

明初屬曲先衛轄區。

從正德七年（1512）始，格爾木成為東蒙古屬地。

明末清初，屬厄魯特蒙古和碩特部（西蒙古）屬地。

清雍正三年（1725）后，格爾木屬青海蒙古左翼盟和碩特西右中旗，俗稱臺吉乃爾旗。

1917年，格爾木隸屬都蘭理事管轄。

1952年，格爾木解放。

1956年3月1日，格爾木工作委員會成立，為縣級領導機構。

1960年11月17日，撤銷格爾木工作委員會，改設格爾木市。

1964年6月5日，國務院批準撤銷唐古拉山工作委員會，并將行政區域歸格爾木市。

1965年3月27日，格爾木市撤市設縣。

1980年6月14日，又撤縣設市。

1992年5月，格爾木被確定為青海省計劃單列市。

2000年9月，升為副地級市。

2001年8月，設立東城行政委員會、西城行政委員會和察爾汗行政委員會，作為市政府的派出機構。