白玉山街境域原是武昌縣第九區(qū)的余家土庫鄉(xiāng)。

1975年初，武鋼開始在此籌建第二職工生活區(qū)。

1981年7月，成立白玉山街辦事處，設(shè)4個(gè)居民委員會(huì)。

1984年7月，為便于管理，對(duì)戶數(shù)較多的居委會(huì)進(jìn)行重新調(diào)整，增設(shè)3個(gè)居委會(huì)，街轄居委會(huì)總數(shù)增至7個(gè)。

1987年，武鋼在街境內(nèi)新建2個(gè)街坊和武鋼第二職工醫(yī)院，街轄居委會(huì)總數(shù)增至12個(gè)。

1990年，增設(shè)1個(gè)居委會(huì)。

1991年-1992年，武鋼第二生活區(qū)部分住宅竣工，先后有1100戶、6317名職工家屬遷入白玉山街。

街道根據(jù)人口增加情況，增設(shè)4個(gè)居委會(huì)，居委會(huì)總數(shù)達(dá)到17個(gè)。

1994年，增設(shè)2個(gè)居委會(huì)，街轄居委會(huì)總數(shù)達(dá)到19個(gè)。

2000年7月，城市基層管理體制改革，原轄的19個(gè)居委會(huì)調(diào)整為10個(gè)社區(qū)居委會(huì)。

2009年，武漢市江南三區(qū)插花地調(diào)整，社區(qū)居委會(huì)增至12個(gè)，同時(shí)接收由洪山區(qū)建設(shè)鄉(xiāng)劃歸的8個(gè)行政村。