春秋置瓜衍縣，治今市區北5公里虢城村，后廢。

三國魏中陽縣治徙今城關西13公里鞏村，屬西河郡。

晉永嘉元年（307）廢入隰城縣。

北魏太和十七年（493）置永安縣，屬西河郡，治今城關東2.5公里。

孝昌中葉吐京郡自今石樓縣寄治今城關西10公里吐京村。

永安二年（529）僑置顯州，治今城關西10公里六壁頭村；又置定戎郡，治今城關北5公里虢城村，屬顯州；又置建平郡，治今城關西10公里六壁頭村，屬顯州。

北齊廢顯州及所屬郡。

唐貞觀元年（627）改永安縣為孝義縣，屬汾州。

“因縣人鄭興有孝義，故以名焉”。

明、清俱屬汾州府。

1912年屬冀寧道，后直屬省。

1949年屬汾陽專區。

1951年屬榆次專區。

1958年廢入介休縣。

1961年復置，屬晉中專區。

1967年屬晉中地區。

1971年屬呂梁地區。

1992年2月，經國務院批準，撤銷孝義縣，設立孝義市。

現隸屬于呂梁市。