古屬羌地，與世居河西走廊的古老民族月氏（ròuzhī）人毗鄰。

漢高祖六年（前201）月氏人遭匈奴人攻擊，大部西遷，小部分南入祁連山，稱小月氏，與海北地區羌人雜居。

西漢神爵元年（前61），置臨羌縣，今州境東南部屬臨羌縣，隸金城郡。

新莽在今海晏縣設置西海郡，治龍夷城（今海晏縣三角城），今海晏、剛察縣為西海郡轄區。

更始元年（23），郡廢，復為羌地。

東漢永元十四年（102），移金城西部都尉駐此，今海晏、剛察縣仍屬之。

三國時，今海晏縣屬西平郡臨羌縣地，今州境其余地區仍為羌地。

西晉因之。

前涼時，分屬西平郡長寧縣、西平郡臨羌縣、祁連郡和鮮卑乙弗部（又稱“乙弗勿敵國”）。

北魏時，州境大部為吐谷渾(tǔyùhún)國地，僅今門源縣屬西平郡西都縣。

孝明帝孝昌二年（526），今門源回族自治縣入吐谷渾。

隋大業五年（609），破吐谷渾，在其故地置郡縣，今剛察、海晏、祁連3縣西海郡屬宣德縣。

隋亡，吐谷渾復其故地。

唐龍朔三年（663），入吐蕃。

北宋初屬唃廝啰(ɡūsīluō)地方政權轄地。

崇寧三年（1104），分屬湟州和吐蕃諸部。

政和六年（1116），北宋于此置震武軍，治在今門源回族自治縣克圖鄉古城，隸熙河蘭湟路。

元屬吐蕃等處宣慰使司，隸宣政院。

明初州境大部分地區為藏族部落居地。

明洪武八年（1375），置罕東百戶所于今剛察縣，洪武三十年（1397），改為罕東衛。

罕東衛西移后，今剛察縣隸朵甘行都指揮使司。

清雍正二年（1724），設大（dài）通衛于北大通城（今門源回族自治縣浩門鎮），隸西寧府，今門源全境和祁連縣東部屬之。

次年，分置和碩特北右旗、前左頭旗、西右前旗、南左末旗、南右后旗、東上旗，統歸欽差辦理青海蒙古番子事務大臣（簡稱青海辦事大臣或稱西寧辦事大臣）節制。

雍正五年（1727），又于衛治置大通鎮。

雍正十三年（1735），裁大通鎮改設大通協，歸西寧鎮總兵節制。

乾隆九年（1744），移大通衛治于白塔（今大通回族土族自治縣老城關），今門源全境和祁連東部仍為大通衛轄地。

乾隆二十六年（1761），省衛置大通縣，今門源全境和祁連東部屬大通縣，隸西寧府。

1917年，海晏屬湟源縣和都蘭理事公署。

1929年，析置亹源縣，直屬于青海省，今剛察縣為都蘭理事公署轄區。

1937年，改設海晏設治局。

1939年由門源縣析置祁連設治局。

1943年，設海晏縣，直屬青海省。

1953年12月，設海北藏族自治區(地級)，自治區人民政府駐亹源回族自治縣浩門鎮，1955年，改海北藏族自治區為自治州，州人民政府駐地不變。

1959年，改亹源回族自治縣為門源回族自治縣。

1993年7月，州人民政府駐地遷至西海鎮。