商代及西周屬畿內地，分屬雍、邗、溫三國。

春秋時期屬晉。

戰國時期屬魏。

秦代歸三川郡。

漢代設河內郡。

元至元六年(1269)，稱焦家作，后簡稱焦作，屬修武縣。

清宣統二年(1910)，為焦作鎮。

1945年，置焦作市。

1948年，改焦作縣。

1949年，改設焦作礦區，歸平原省管轄。

1952年，屬河南省新鄉專區。

1956年，改置焦作市。

1960年，修武、博愛2縣并入。

1961年，恢復修武、博愛建制，復歸新鄉專區。

1974年，升為省轄市。

1983年，修武、博愛2縣并入。

1986年，武陟、溫縣、孟縣、濟源、沁陽5縣劃入。

1988年，濟源縣改市。

1989年，沁陽縣改市。

1997年，孟縣改市。

濟源由省直轄。

2002年，市政府由山陽區遷駐解放區。