清末屬湘陰五里；民國初年，漢陽縣建立十八個區，屬第十區；1945年全縣分四鎮十九鄉，屬侏儒鄉；1949年全縣劃分為五區一鎮，屬四區；1952年屬東山鄉；1956年成立和平高級社；1958年人民公社化時，改名軍山大隊，屬幸福人民公社；1975年撤區并社，屬侏儒人民公社；1984年改軍山村，設軍山村村民委員會，屬侏儒鎮；1992年轄區內居民點窯上、壩上合并為軍山街；2000年屬侏儒街道；2014年屬侏儒山街道至今。