1949年前屬陶家鄉第六保，1949年屬第四區（石鎮）豐溪鄉，1958年成立虎山大隊，屬金星（后改大黃）人民公社，1961年成立袁家大隊，1968年并入虎山大隊，1972年重設袁家大隊，屬大黃鄉人民公社。

1984年7月公社改鄉、鎮制，虎山大隊、袁家大隊改為虎山村委會、袁家村委會，屬大黃鄉。

1988年虎山、袁家村委會改為村公所。

1994年撤銷村公所名稱，虎山、袁家恢復虎山村民委員會，屬大黃鄉。

2005年11月袁家村委會并入虎山村民委員會，屬大黃鄉。

2005年12月大黃鄉撤銷并入石鎮鎮，沿用至今。