春秋戰國時，境地先后屬吳、越、楚地。

秦時，境內金沙溪以東屬會稽郡太末縣，金沙溪以西屬九江郡余汗縣。

漢獻帝初平三年（192），析太末縣東境置新安縣，東部屬新安縣。

建安十五年（210），析余汗東境置葛陽縣，西境屬葛陽。

建安二十二年（217），析新安縣東境置定陽縣，東境屬定陽。

三國時，為吳國領地。

西晉元年（266），分會稽西部設東陽郡，隸吳州，東境屬之。

太康元年（280），新安縣更名為信安縣，東境分屬信安、定陽兩縣。

南朝（陳）天嘉三年（562），東境隨信安、定陽兩縣改隸金華郡。

隋初，郡改為州，定陽縣并入信安縣，東境屬信安縣，隸婺州。

開皇十二年（592），葛陽縣更名為弋陽縣，西境屬弋陽縣。

唐初，境地分屬衢州常山、須江縣（今江山市）和饒州弋陽縣。

唐證圣（周）年（695），析須江、常山、弋陽之地置玉山縣，以境內有懷玉山得名，隸江南道衢州。

天寶元年（742），衢州改稱信安郡，隨隸信安郡。

乾元元年（758）置信州，改屬信州，隸江南東道，并劃須江縣南鄉鎮頭墟至下鎮墟歸玉山縣管轄。

宋仍屬信州。

建炎四年（1130），隸江南路；紹興元年（1131），隸江南東路。

元至元十四年（1277），隸江浙行中書省信州路。

至正二十年（1360）六月，改信州路為廣信府，隨屬廣信府，仍隸江浙行中書省。

明洪武四年（1371），隨廣信府改隸江西行中書省。

洪武九年（1376），廢行中書省，設承宣布政使司，下分道，隨府隸江西承宣布政使司湖東道。

清屬江西省廣信府。

民國元年（1912）冬，廢府、州，縣直隸江西省。

三年（1914），江西全省分四道，玉山屬豫章道。

十五年（1926），廢道，直隸省轄。

二十年（1931），省下設行政區，玉山隸江西省第九行政區。

二十一年（1932），隸江西省第六行政區。

1949年5月5日，玉山縣解放，隸贛東北行政區；同年9月，贛東北行政區撤銷，隸上饒專區。

1971年隸上饒地區。

2000年10月，隸上饒市。