古稱干斜、里西。

元代為蓬萊鄉69岙之一，大德《昌國州圖志》卷二以“干斜”岙名記載。

明天啟《海鹽縣圖經》載為“里西”。

明嘉靖《籌海圖編》卷一載為“李西岙”。

清康熙《定海縣志》卷五載為“李西山”。

干斜、里西之名，均以島上的干斜、里西岙得名。

清光緒《江蘇沿海圖說》載為“枸杞山”。

1934年，置枸杞鄉。

1950年起屬嵊泗特區（縣）。

1958年改為嵊泗人民公社枸杞生產大隊。

1962年改為公社。

1984年復設鄉。

名稱一直沿用至今。