紙廠河人文歷史悠久。

相傳舜帝治水南巡至此，在洈河上設義渡，留下虞氏古渡遺址，故稱“虞氏渡”。

宋代理學大師程顥（程道明先生）來紙廠河講學，留下故址程子山。

南宋慶元六年（1200），趙伯先從江西豐城縣遷此落藉，故稱趙家山（亦稱月亮山）。

南宋時，建有“虞渡寺”。

后來古渡旁興起多家草紙廠，因而得名紙廠河。

清宣統三年（1911），屬第八區紙林鄉，轄紙廠河、楊林市、黑土垱、蘇家坪、李家坪，共17保。

1930年屬第三區。

1932年屬第四區。

1935年屬第三區。

1946年設紫云鄉，轄紙廠河、黑土垱。

1975年，成立王家大湖公社，1984年3月，設立紙廠河鎮。