謙公祠座落于潭山鎮潭山村廟下自然村，是廟下劉氏子孫紀念明朝洪武年間，徙居廟下肇基祖劉彥謙而建，經清朝乾隆，嘉慶年間兩次修繕，祠堂成莊重宏大，氣勢宏偉之建筑。謙公祠占地1650多平方米，坐東向西，為三棟進兩天心設計，進深長63米，通面寬22.5米，正脊高9.5米。前棟為門樓，門樓正面四柱三開間，中開大門，兩邊開側門，門樓兩旁有撇山影壁，門樓前石廣場兩邊放有石獅子。進入大門有一大天井，天井用麻石鋪成，二棟是官廳，是廟下劉氏先人議事之地，大廳八柱七開間，兩邊墻上嵌有清朝重修祠堂樂助碑，中廳往里走有一小天井，天井砌有石欄桿，中開過道，經石臺階上到祖堂，祖堂八柱七開間，祖堂置有劉氏先人祖龕。整個祠堂墻體是高大雄壯的馬頭墻，屋柱底部均置有雕花石
環清園座落于潭山鎮潭山村，建于清朝乾隆三十三年（1768年），距今有兩百四十多年歷史，是廟下劉氏先祖為教書育人而建。解放后，政府曾在此設立潭山中心小學，辦學多年后遷走。環清園占地約八畝，園內原有假山怪石、竹林花園，有房屋數進，兩池三橋一閣，疏活水引流入池。其中，石池建筑工藝尤為精湛，石池四周用麻石砌成，上面并圍有石攔桿，池底全部鋪有麻石，池中建有亭閣，亭閣基礎用麻石砌拱橋而成，并用麻條架橋和南北房屋相連，亭閣上面是木制結構，亭閣板壁上嵌有木雕，閣頂為角樓設計，四個角上分別吊有鈴鐺。整個園林精致典雅，富有詩情畫意，體現了明清時期江南園林特色。環清園現存有上世紀九十年代建的兩層樓房一幢，平房數間，還有清代古屋一棟，東廂房仍在，石池完好，
潭山古建筑群(含潭山劉氏謙公祠、儒溪陳氏宗祠、孝子祠、善翁祠、店上劉氏宗祠、四芳翁第)宜豐潭山歷史上的街市曾在茜槽，俗有“先有劉十萬，后有潭山街”之說，岳飛抗金時期劉十萬被一把火燒光，后來就在當時的蘆葦洲建立街市（即現在的集鎮）。南宋時期形成了完整的集市（現在的老街），老街上至熊家上店子、下至臺階下，全長600多米。有熊家尾出口、萬壽宮出口、橫街和臺階下共四個進出口，另有八條巷子。整街為麻石鋪地，街中下水道錯落有致，以前街市興旺時排水系統相當好。房屋有純木質結構、磚木結構，有的封檐到頂，各具特色。宜豐縣潭山鎮千年古村伏溪村古樹、古長廊、古屋、古井彰顯出綠色古村特有魅力。伏溪村歷史悠久，境內有吳氏宗祠、接官亭、上庵和尚庵、忠孝牌坊、黃
均翁祠和磚雕畫壁位于宜豐縣潭山鎮店上村，年代為明。2023年12月，被公布為宜春市第二批市級文物保護單位。保護范圍：以古建墻基為界，西面向外延伸5米。
洑溪吳氏宗祠位于宜豐縣潭山鎮洑溪村，年代為清。2023年12月，被公布為宜春市第二批市級文物保護單位。保護范圍：以古建墻體為界，南面向外延伸5米。
桐樹嶺塔墓群位于宜豐縣潭山鎮院前村，年代為清。2023年12月，被公布為宜春市第二批市級文物保護單位。保護范圍：以古墓葬范圍，東、南、西、北面各向外延伸 5米。
文武世芳坊位于宜豐縣潭山鎮，年代為龍崗村。2023年12月，被公布為宜春市第二批市級文物保護單位。保護范圍：明。
在江西省潭山鎮店上村胡家垅，原為張氏宗祠，1931年3月底成立的宜豐蘇維埃政府設此。該祠四周為磚砌封焰高墻，面闊5間，進深2棟。前為門廳，中為天井，后面是廳堂和寢室，旁有配屋與水井。今尚完好。
西平院水口橋位于潭山鎮南溪村西南面入山水口。此地原有“西平禪院”，今廢。為單孔石橋，橫跨西溪。元大德四年(1300)建。橋長8.5米，寬2.74米，高3.4米，跨4.46米，拱矢比為2:1。橋拱花崗石砌，結構為縱向分節單券并列砌券，橫向12條縫線并列、縱向石縫線呈弓形，拱頂部中央用榫卵石條搭連。全拱13層石塊，單數層6塊，雙數層7塊。橋石上分別題刻“西平院東堂囗徐紹基命匠修此石橋......便益往來.....萬世常存囗大德四年十月時記”，并有建橋共費“工食抄四百五十貫正”字樣。