秦代屬泗水郡。

漢代分屬虹、谷陽、符離、夏丘、下邳諸縣領轄。

西晉屬沛國。

東晉屬陽平郡。

南北朝改陽平郡為谷陽郡。

隋初屬彭城郡，后改屬下邳郡。

唐高宗顯慶元年（656），境內分屬虹、蘄兩縣。

宋元祐元年（1086），零壁鎮從虹縣析出置零壁縣，屬宿州，縣名沿用鎮名。

元初復立靈璧縣，仍屬宿州。

清康熙六年（1667），改屬安徽省。

1912年4月，靈璧縣直屬安徽省。

1914年，屬淮泗道。

1927年，廢道，又直屬安徽省。

1949年，靈璧縣屬皖北行署宿縣專區。

1952年4月，屬安徽省宿縣專區。

1956年1月，改屬安徽省蚌埠專區。

1961年4月，靈璧縣復屬宿縣專區。

此后隸屬關系趨于穩定。

1999年5月，宿縣地區改為宿州市，靈璧縣屬宿州市。