隋開皇十八年（598）始設南賓縣，縣治南賓寨（今舊州鎮），屬欽州。

唐貞觀十年（636），縣治移至峰子嶺南（今靈城鎮棠犁村）。

唐貞元十年（794），南賓縣改名靈山縣。

宋、元、明、清朝屬欽（廉）州府，隸廣東。

民國時期（1912～1949）先后屬廣東省欽廉道、廣東省欽廉綏靖區、廣東省南路綏靖區、廣東省第八行政區。

1949年12月1日屬廣東南路專區。

1950年8月30日屬廣東欽廉專區。

1952年3月28日屬廣西欽州專區。

1955年7月1日屬廣東欽州專區。

1965年6月26日屬廣西欽州專區。

1971年屬廣西欽州地區。

1994年6月28日屬廣西欽州市。