商、周、春秋屬越，戰國屬楚，秦漢屬烏傷，唐、宋、元、明、清屬東陽縣瑞山鄉三十五都。

1935年4月，改稱安文鎮。

1939年7月磐安建縣，稱安文鄉。

1949年10月30日解放，為縣政府駐地。

同年12月建立安文鄉。

1950年8月改為安文鎮。

1952年10月擴大管轄范圍，改為縣屬建制鎮。

1958年9月人民公社化，改為紅旗人民公社安文管理區。

同年11月磐安并入東陽，為東陽縣紅旗人民公社安文管理區(大隊)。

1959年2月改名安文公社安文管理區，同年6月改為東陽縣屬建制鎮。

1961年9月安文公社改為安文區，管理區改為人民公社，稱安文鎮人民公社。

1964年3月撤銷縣屬鎮。

1980年11月撤銷人民公社復為縣屬鎮。

1983年11月恢復磐安縣，為縣政府駐，稱安文鎮。

1992年云山鄉并入，2009年墨林鄉并入。

2018年，撤銷安文鎮建制，成立安文街道。