清末屬山陽一里；民國初年，漢陽縣建立十八個區(qū)，屬第十五區(qū)；1945年全縣分四鎮(zhèn)十九鄉(xiāng)，屬黃陵鄉(xiāng)；1949年全縣劃分為五區(qū)一鎮(zhèn)，屬一區(qū)；1952年組成同建一、三社，翌年轉(zhuǎn)為兩個高級社；1958年人民公社化時，改名小軍大隊，屬東風人民公社；1961年轉(zhuǎn)為國營東城垸農(nóng)場，翌年劃為軍山公社，分為小軍、中嶺、磨子石、徐家堡4個大隊；1965年小軍、中嶺合并為小軍大隊；1984年改小軍村，設(shè)小軍村村民委員會，屬軍山鎮(zhèn)；2004年屬軍山街道；2014年因經(jīng)濟開發(fā)，全村計劃拆遷，村委會和村民搬遷至小軍山社區(qū)。