漢代為烏貪訾離國地。

隋時屬西突厥。

唐歸北庭都護府管轄。

宋屬高昌回鶻。

元屬別失八里行尚書省。

明代為衛拉特蒙古諸部的游牧地。

1778年置綏來縣，沙灣在綏來縣西境。

1915年析綏來縣設沙灣縣，屬迪化道，縣治小拐（今克拉烏依市小拐鄉）。

1917年改隸塔城道。

1929年縣治遷沙灣莊（今老沙灣鎮駐地），隸塔城行政區。

1950年屬塔城專區，全縣設3區（沙灣區、三道河子區、石河子區），24鄉。

1954年劃分為4個區，1956年新建第五區。

1956年沙灣縣人民政府遷至今三道河子鎮。

1958年成立東風、紅旗、星火、先鋒、勝旗、新先6個人民公社，有47個大隊，231個生產隊，同時成立天山牧場、火箭牧場。

1961年由星火公社分設烏拉烏蘇公社，1962年從紅旗公社分設安集海公社，1964年由東風公社析設四道河子公社和柳毛灣公社。

1965年成立沙灣鎮，1970年更名為三道河子鎮，1975年由紅旗公社析設大泉公社，1979年柳毛灣公社分設商戶地公社。

至1983年底全縣下設1個鎮、11個人民公社、1個林場、2個牧場，共59個大隊，228個生產隊，4個居民委員會。

1975～1977年沙灣縣劃歸石河子地區。

1978年后仍隸屬塔城地區。

1985年縣轄1鎮，13鄉，3場。

2000年縣轄9鎮，3鄉，3場。

2021年1月，撤縣設市。