1949年前為哨馬鄉4保。

1950年為哨馬鄉4村。

1952年為香山鄉1村。

1956年農業合作化時為大佛鄉聯合1、2、3社，1958年為大佛公社2大隊。

1962年為香山公社3大隊。

1966年文革時改名光華公社3大隊。

1981年地名普查時為香山公社香山大隊。

1984年公社改鄉為香山鄉香山村，屬羅渡區。

1992年，撤羅渡區，香山鄉并入大佛鄉，為大佛鄉香山寺村。

2019年大佛鄉并入羅渡鎮，為羅渡鎮香山村。

2020年5月，趙家溝村并入。