清朝同治十年（1871年）全縣為4鄉，所轄地段屬黃陂縣灄源鄉，民國二十二年（1933年）全縣設6區，所轄地段屬黃陂縣六區，民國二十六年（1937年）全縣設四區，所轄地段屬黃陂縣三區，民國三十四年（1945年）全縣劃分鄉鎮，所轄地段屬灄源鄉，1949年所轄地段屬黃陂縣蔡店區汪河鄉管轄，1951年屬一區汪河鄉，1955年為劉家山合作社歸蔡店區汪河鄉管轄，1958年成立時定名劉家山大隊，1984年改劉家山村，并成立村民委員會至今。

1958年屬紅蘇人民公社，1960年屬蔡店區，1969年屬蔡店公社，1986年屬蔡店鄉，2013年屬蔡店街道。