耕香寺始建于順治十三年（1656年），由耕庵弘敏禪師卜基始創。耕香寺遺址位于奉新縣會埠鎮張坊村蘆田組。原名耕香院，史料中最早對耕香院的記載是康熙壬寅年（1662年）刊行的《奉新縣志》。耕香院幾經興廢，1939年被毀于大火，重建后土改時期被拆，墻基等地下結構尚存，出土有“耕香寺”款墻磚。
耕香寺引起眾多學者關注的原因，是明末清初畫家、書法家，清初畫壇“四僧”之一，中國畫一代宗師八大山人曾在這里隱居二十多年，這段歲月正是其思想和藝術風格發生重大蛻變的時期，其繪畫藝術的風格正是在奉新耕香院形成。八大山人在自己的詩中就說：“棲隱奉新山，一切塵事冥”。其畫作書作上使用的就是“耕香”印章。
2013年12月上旬促成寶峰寺代理住持衍真法師修復重建耕香寺，12月27日進行了項目簽約，總投資1.5億元。耕香寺修復重建以原址為基礎，以修復原貌為原則的要求，重建了耕香寺、佛塔、老年佛教培訓學院。
2018年八大山人的“雪衲”“傳綮”印章在奉新縣耕香庵遺址中被游客在后山中發現上報。經過國家鑒定專家的鑒定，這是目前世界上僅存的兩件八大山人的青田石印章，被評定為國家一級文物。