元大德《昌國州圖志》卷二載為“三姑（岙）”，卷四載為“三姑山”。

明嘉靖《籌海圖編》卷一也載為“三姑山”。

據傳，三姑山之名源于島北的三姑礁（前姑礁、中姑礁、圣姑礁的合稱）。

清代以后，多稱大羊山、老羊山，由小羊山派生得名。

清康熙《定海縣志》卷五：“大羊山：江南、浙江分界，東至左營水汛小衢山，約計水程一百里；南至寨子山，約計水程一百里；西至乍浦官山，約計水程一百里；北至江省小羊山，約計水程十里；西北至大小七山，約計水程二百里。”又載：“大羊山，閩人呼為猴山。”以當時島上多猴子得名。

1934年設大羊鄉，屬定海縣。

1947年改稱大洋鄉。

1950年起屬嵊泗特別區（縣）。

1953年分設為大洋鄉、洋東鄉、洋西鄉。

1958年改為大洋生產大隊。

1962年4月劃歸大衢縣，與灘滸山、小洋山、徐公島合并設洋山公社。

1964年7月復歸嵊泗縣。

1966年分設為大洋、小洋、灘滸3個公社。

1984年復為大洋鄉。

是年12月改置鎮。

2001年2月與小洋、灘滸2鄉合置洋山鎮。