金大定年間（1161～1189年），張氏遷此建村，名張阿。

清順治二年（1645年），李氏由李谷堆遷入，因村周圍低洼，積水成汪，故改稱“張汪”。

張汪鎮古為薛地，夏商周為薛國所轄。

戰國初，薛歸齊；戰國末，薛舊地皆為楚；秦屬薛郡，漢屬薛縣，三國時入魏；晉、南北朝屬徐州彭城郡，歸滕縣。

康熙十二年（公元1672年），改用保甲法，滕縣轄地用八卦統領72保，張汪為離八保。

嘉慶十八年（1813年）年間，將八卦稱改為“仁、義、禮、智、孝、悌、忠、信”，張汪為悌六區。

1931年張汪為第七區薛城鄉。

1942年張一汪仍屬滕縣第七區，改成張汪鄉。

新中國建立初期，區劃調整，境內仍屬臨城縣第七區。

1950年12月，改為臨城縣第七區公所，區駐地由臨城遷至張汪。

1952年9月，臨城縣改稱薛城縣，時為薛城縣第七區。

1955年9月，又改稱張汪區，區駐地張汪村。

1956年3月，撤薛城縣建置，第七區劃歸藤縣所轄，建藤縣薛城區，轄歡城、李橋、周樓、張汪、柴胡店、殷莊、龍山7個鄉，區駐地駐張汪村。

1958年夏，撤區并鄉，境內轄區劃分為張汪、李橋兩個大鄉。

1959年秋，改稱張汪人民公社。

1966年5月，改稱張汪區。

1969年2月，改稱為張汪人民公社革命委員會。

1980年12月，撤銷公社革命委員會，重新恢復公社管理委員會。

1984年3月，改張汪公社為張汪鄉；1984年11月，改鄉稱鎮。