秦始皇二十六年（公元前221年）改邑稱縣，婁邑易名婁縣，治所設于今城北鎮同心村，玉山地區屬婁縣。

西漢末年王莽將婁縣更名婁治，玉山地區屬婁治。

東漢時期復名婁縣，玉山地區屬婁縣。

梁朝梁武帝天監六年（507年）分婁縣置信義縣（縣治設在今正儀鎮），玉山地區仍屬婁縣。

大同二年（536年）婁縣改為昆山縣，縣治設在華亭（今上海市松江縣西北）境內之小昆山，玉山屬昆山縣。

隋朝開皇九年（589年），昆山、信義俱廢地屬蘇州。

十八年復置昆山縣，玉山屬昆山縣。

唐朝天寶十年（751年）分昆山南境置華亭縣，遂遷縣治于馬鞍山陽（今玉山鎮人民路北首），玉山地區為縣治所在地。

元朝元貞元年（1295年）升昆山為州，縣治改為州治，玉山為州治所在地。

明朝洪武二年（1369年），降昆山州為縣，州治復為縣治，玉山為縣治所在地。

清朝雍正二年（1724年），分昆山置新陽縣，縣治設于昆山縣治東南一里蓴菜橋（今莼菜橋）東，兩縣同城分治，玉山為昆新兩縣縣治所在地。

民國一年（1912年），昆新兩縣合并，仍定名昆山縣，玉山仍為昆山縣治所在地。

民國二十三年（1934年），昆山縣10個自治區合并為8個自治區，玉山地區為第一區。

民國三十一年（1942年）2月，昆山縣劃為9個區63個鄉（鎮），玉山為第4區。

民國三十四年（1945年）9月，抗日戰爭勝利，昆山縣改為8區64鄉鎮，玉山鎮地區為第一區。

12月14日，改冠區名，玉山區改名“鹿城”區。

民國三十六年（1947年）2月，實行新縣制，全縣劃3個區，1個示范鎮，1個實驗鄉，6個直屬鄉（鎮），玉山鎮為“示范鎮”。

1949年，昆山縣劃分5個督導區，玉山鎮屬第2督導區。

同年5月13日，昆山解放，建立區鄉人民政權，昆山縣縣劃分6個區（巴城、正儀、茜墩、張浦、蓬朗、城區），27個鄉、鎮（鄉鎮劃分沿用舊區劃），玉山鎮屬城區；同年11月，昆山縣將6區改設10個區，玉山鎮屬城區。

1950年1月，昆山縣全面廢除保甲制度，劃小區鄉，城區更名城郊區，玉山鎮屬城郊區。

1951年6月，昆山縣調整區劃，撤城郊區，玉山鎮改為城區。

1954年9月，昆山縣劃為8個區，1個縣屬鎮（陳墓鎮），8個區屬鎮，玉山鎮屬城區。

1956年3月，昆山縣劃為5個區，1個縣屬鎮（陳墓鎮），玉山鎮屬城區。

同年年底，撤區并鄉，全縣劃為17個鄉5個縣屬鎮，玉山鎮為縣屬鎮。

1958年9月，昆山縣建“人民公社”，實行政社合一，時城南鄉、城北鄉、玉山鎮合并建立馬鞍山人民公社。

1959年6月，昆山縣人民政府撤馬鞍山人民公社，建立城南、城北人民公社和玉山縣屬鎮。

1986年10月，玉山鎮經江蘇省人民政府批準，城南鄉與玉山鎮合并，實行鎮管村體制。