1949年同屬三港鄉(xiāng)，同年7月撤鄉(xiāng)建區(qū)屬遞鋪區(qū)，稱赤塢村、赤山村、芝村村；1950年春赤塢村屬三嶺鄉(xiāng)，赤山村和芝村村同屬雙港鄉(xiāng)；1956年2月屬雙建鄉(xiāng)；1956年赤塢村建赤塢和漁橋兩個(gè)高級(jí)社，赤山村以青山、明山兩個(gè)初級(jí)合作社合并為赤化高級(jí)合作社，芝村村建公益高級(jí)社；1958年10月屬遞鋪公社芝村管理區(qū)，稱紅山生產(chǎn)隊(duì)、芝村生產(chǎn)隊(duì)；1961年9月屬華豐公社稱紅山大隊(duì)（后稱尺五大隊(duì)）、聯(lián)山大隊(duì)（從紅山生產(chǎn)隊(duì)分出）、芝村大隊(duì)；1981年5月尺五大隊(duì)因與本縣赤塢公社的赤塢大隊(duì)同音而更名為赤漁大隊(duì)，聯(lián)山大隊(duì)以駐地更名為赤山大隊(duì)；1981年11月改稱南北莊公社赤漁大隊(duì)、赤山大隊(duì)、芝村大隊(duì)；1984年1月改稱南北莊鄉(xiāng)赤漁村、赤山村、芝村村；2000年1月撤南北鄉(xiāng)并入遞鋪鎮(zhèn)，仍稱赤漁村、赤山村、芝村村；2007年三村合并稱赤芝村。

2014年屬遞鋪街道，名稱沿用至今。