從平涼發掘的舊、新石器時代文化遺址，特別是涇川縣牛角溝發現的屬于智人階段的人類骨化石說明在很早以前這里已有人類生存活動。
轄境最早見于記載的行政區劃有商周時期今靈臺縣境的密須國，涇川縣境的共國和阮國。
秦惠文王十一年（前316）伐義渠后在崆峒境內置烏氏縣，為中國最早的縣之一，也是境內設置最早、有文字記載的第一個縣級區劃。
秦昭王三十五年（前272）滅義渠戎，置隴西、北地、上郡，今靜寧、莊浪兩縣屬隴西郡，東部五縣屬北地郡。
同時于今靈臺縣境置陰密縣，崆峒區西北置涇陽縣，固原彭陽縣古城置朝那縣，轄境至崆峒區北部。
西漢武帝元鼎三年（前114），分北地郡置安定郡，分隴西郡置天水郡。
安定郡置高平（今固原市），領21縣。
今崆峒區境有涇陽（在崆峒區西部，治所在安國鎮北油坊莊）烏氏（今平涼城十里鋪附近）、月支（崆峒區東南部白水、花所與崇信縣北部，治所在白水附近），崆峒區北部屬朝那（固原市彭陽）。
涇川縣境有臨涇（今涇川水泉寺）、安定（今涇川縣北部與鎮原縣東南部）、爰得（涇川縣東南部與靈臺縣東北部）、陰槃（涇川縣東部接長武境）。
崇信有鹵縣（治所今錦屏劉家溝）。
靈臺縣境中部有陰密，東南部有鶉觚縣，屬北地郡。
今華亭縣境與崇信縣南部屬呼池苑，后置安民縣。
西部靜寧、莊浪歸天水郡（郡治平襄，現通渭縣碧玉鎮），靜寧縣境有阿陽縣（靜寧縣北部和隆德縣南部，治所在靜寧城南鮑家嘴）、成紀縣（靜寧縣南部與秦安縣北部，治所在今治平鄉），莊浪縣境分屬街泉（莊浪縣西部）和隴（莊浪縣東部與張川縣北部）2縣。
東漢時，將原北地郡所轄的鶉觚縣劃歸安定郡。
時安定郡轄縣有烏氏、涇陽、朝那、陰密、鹵、臨涇、陰槃、安定、爰得、安民、鶉觚，計11縣，另有月氏道。
漢光武帝建武六年（30年）廢安定、爰得二縣，其地并入臨涇。
東漢后期因羌人反叛，三郡（隴西、安定、北地）內遷。
此時安定郡領八縣，臨涇、高平、烏氏、三水、陰槃、鶉斛、陰密、彭陽。
建安十八年（213），省涼州并入雍州。
六盤山西側靜寧、莊浪屬阿陽、成紀、略陽、隴四縣，屬漢陽郡（天水郡易名，郡置翼縣，今甘谷縣），后漢末阿陽縣廢，獻帝初平四年（193）分漢陽置永陽郡（治臨渭），莊浪東屬之。
三國、兩晉時期，東部仍為安定郡，境內有臨涇、烏氏、朝那、陰密、鶉觚縣，轄今涇川、靈臺二縣與平涼（崆峒區）、崇信一部分。
西部莊浪、靜寧北部分屬臨渭、略陽、平襄，成紀縣仍屬天水郡（曹魏改漢陽郡為天水郡）。
十六國南北朝時，平涼轄境先后由前趙、后趙、前秦、后秦和大夏統轄。
前趙初，仍屬雍州，轄今六盤山以東崆峒區、涇川、靈臺、崇信全境及華亭縣北部。
前趙廣初二年（319），分安定郡與扶風郡各一部分置隴東郡（治今陜西隴縣境），統轄今華亭縣和崇信縣的南部區域。
成紀屬天水郡。
光初十年（327），轄境分屬安定郡、隴東郡、天水郡和略陽郡。
后趙沿前趙建置。
前涼永元三年（322），張茂復置秦州，成紀縣屬天水郡。
前秦永興二年（358），苻堅于高平鎮置平涼郡，于鶉觚縣置趙平郡。
升平三年（359），復置安定縣為雍州治所。
太元十年（385），今靜寧、莊浪兩縣境入西秦。
義熙十三年（417年），東部入夏，次年西部入夏。
后秦時分屬安定、平涼二郡。
勝光元年（428年）赫連定在平涼即皇帝位，改年號勝光，二年（429），遷關中3萬戶入安定，將陰槃縣從京兆移平涼（崆峒區）東部，并置平原郡。
北魏神嘉三年（430），置涇州（治臨涇），先后領6郡：安定、新平、趙平、隴東、平涼、平原。
安定、平涼、平原郡均在本轄區。
安定郡領安定、臨涇、朝那、烏氏、石塘五縣，在今涇川、鎮原、靈臺境。
平涼郡領鶉陰、陰密二縣，在今靈臺西半部與崇信境。
平原郡領陰槃1縣，在崆峒區境。
熙平元年（516），于汧邑（隴縣）置東秦州，平涼、平原2郡屬之。
二年（517年），涇州改治平涼城。
西部成紀屬秦州天水郡，其余均屬略陽郡。
太和十一年（487年），復置阿陽縣，北魏末廢成紀縣。
西魏大統元年（535），廢陰密以其地置朝那縣，改平原郡為平涼郡。
北周建德元年（572），割涇州平涼郡置平涼縣，屬原州長城郡。
復置成紀縣，屬天水郡。
隋開皇三年（584），廢郡置州，廢安武縣入朝那，河陽郡與阿陽縣也廢于此時。
大業元年（605），分朝那縣置良原縣，分汧陰縣置華亭縣，分鶉觚縣置靈臺縣，于今鎮原縣境置秋谷縣。
大業二年廢靈臺入鶉觚。
大業三年又改州為郡，改涇州為安定郡，改秋谷縣為臨涇縣。
廢隴州，以所屬華亭縣屬安定郡，改原州為平涼郡。
轄境大多為安定郡，轄安定（今涇川縣）、臨涇（今鎮原縣）、陰槃（今崆峒東部與崇信北部）、鶉觚（今靈臺縣東部）、朝那（今靈臺西部）、良原（今靈臺西北部與崇信縣東南部）、華亭七縣。
平涼縣（今崆峒區的西半部）屬平涼郡。
靜寧、莊浪兩縣分屬天水郡的成紀、隴城2縣，隋末又于今莊浪縣西部置長川縣。
唐武德元年（618），改郡為州，改安定郡為涇州，改平涼郡為原州，復置隴州，以華亭縣屬隴州，俱屬關內道。
唐天寶元年（742年），再改平涼郡，旋復為原州。
平涼時屬原州。
唐憲宗元和四年（809年），移行渭州于平涼，平涼即廢。
唐廣明初（880），復陷吐蕃，中和四年（884），收復為渭州治。
唐末李茂貞據鳳翔稱岐王，渭州屬于岐。
后唐明宗天成元年（926），滅岐，渭州屬后唐。
后唐清泰二年（935），以原平涼的安國、耀武二鎮復置平涼縣，屬涇州，后晉天福五年（940），改屬渭州。
宋太平興國元年（976），改彰義軍為彰化軍，涇州領保定、靈臺、良原三縣。
今華亭縣初為義州，太平興國元年改為儀州，初領華亭縣。
乾德元年（963），以崇信城、東西赤城、永信城等四鎮之地置崇信縣，初屬鳳翔府。
儀州始領華亭、崇信、安化三縣。
熙寧五年（1073），廢儀州，以儀州所屬三縣屬渭州。
今崆峒區為渭州治所，稱渭州隴西郡。
涇、渭二州初屬秦鳳路，后置涇原路及經略安撫使，初駐涇州，慶歷后改駐渭州。
金大定七年（1167），改保定縣為涇川縣，今涇川縣境為涇川、長武二縣地。
渭州屬鳳翔路，改安化為化平縣。
大定二十七年（1187），升渭州為平涼府。
西部德順軍屬熙秦路，皇統二年（1142）升為德順州，大定二十七年改屬鳳翔路，貞祐四年（1216）升為防御，同年10月升為隴安軍節度，領六縣，除隴干縣外，新置五縣，于中安堡（今莊浪縣南湖）置水洛縣，于威戎堡置威戎縣，于隆德寨置隆德縣，于通邊寨置通邊縣，于治平寨置治平縣。
元成吉思汗末年于金代德順州的水洛、治平二縣置莊浪路，成宗大德八年（1304）降為州，屬陜西行中書省奉元路，涇州亦屬奉元路。
至元七年（1270），省靈臺縣入涇州，十一年復立靈臺縣，省良原縣入靈臺縣，省長武縣入涇川縣。
涇州只領涇川、靈臺二縣。
平涼府屬鞏昌總帥府，至元七年省潘原縣入平涼縣，省化平入華亭，平涼府只領平涼、華亭、崇信三縣。
德順州也屬鞏昌總帥府。
成宗大德八年改德順州為靜寧州，省隴干縣入州，靜寧州只領隆德一縣。
明代府始領州，平涼府屬陜西布政使司，關內道。
洪武三年（1370），省涇川縣入涇州，洪武八年（1375），降莊浪州為縣，隸屬靜寧州，孝宗弘治十五年（1502），升開城縣為固原州，屬平涼府。
靜寧州初屬鞏昌府，嘉靖二十八年（1549）改屬平涼府。
平涼府領三州（涇州、靜寧、固原）七縣。
涇州領靈臺縣，靜寧州領隆德、莊浪二縣，平涼、華亭、崇信、鎮原縣直屬平涼府。
清初承明制，順治五年（1648），改莊浪縣直隸府。
康熙七年（1668）分陜西省置甘肅省，平涼府屬甘肅省布政使司。
康熙二十年（1681）于府上設平慶道，初駐平涼，后移固原。
乾隆四十三年（1778），升涇州為直隸州，劃鎮原、崇信二縣，省莊浪縣入隆德縣，改莊浪為鄉，駐隆德縣城。
同治十一年（1873年）割平涼、華亭、隆德、固原四縣之地置化平直隸廳，升固原為直隸州，改整飭平慶道為平慶涇固化鹽法兵備道，移駐平涼。
清末，平涼府領一州三縣，即靜寧州，平涼縣、華亭縣、隆德縣。
涇州直隸州領靈臺、崇信、鎮原三縣。
辛亥革命后廢府州改縣，改涇州為涇縣。
1913年復置莊浪縣，改平慶涇固化道為隴東道，又改為涇源道，駐平涼。
轄17縣：平涼、靜寧、隆德、莊浪、涇縣、華亭、崇信、靈臺、化平、慶陽、鎮原、寧縣、正寧、合水、環縣、固原、海原。
1931年改為第二區行政督察專員公署，駐平涼。
轄10縣：平涼、靈臺、崇信、華亭、化平、隆德、靜寧、莊浪、西吉、海原。
涇川縣屬第三區（駐西峰鎮）。
1949年8月，各縣先后解放，設甘肅省平涼行政督察專員公署，駐平涼。
轄平涼、涇川、靈臺、崇信、華亭、化平、隆德、莊浪、固原、西吉、海原11縣。
靜寧屬定西專區。
1950年將莊浪縣劃屬天水專區，靜寧由定西專區劃歸平涼專區。
改化平縣為涇源縣，分平涼縣置平涼市。
1953年劃出固原、西吉、海原三縣，成立西海固回族自治州，改涇源縣為涇源回族自治縣。
1955年改甘肅省平涼行政督察專員公署為甘肅省平涼專員公署，撤銷慶陽專署，并入平涼專員公署，以所轄縣并入平涼專區。
1958年4月，撤銷崇信縣并入華亭縣，移華亭縣治于安口鎮。
12月劃隆德、涇源二縣歸新成立的寧夏回族自治區，將原華亭縣與平涼縣并入平涼市，原崇信縣與靈臺縣并入涇川縣，莊浪縣并入靜寧縣。
1961年底，復置慶陽專署，管原屬各縣，平涼專署恢復各縣原建制。
1964年撤銷平涼市并入平涼縣。
1968年改專員公署為革命委員會，1978年改為甘肅省平涼地區行政公署，轄平涼、涇川、靈臺、崇信、華亭、莊浪、靜寧7縣。
1983年撤銷平涼縣，設立縣級平涼市。
2002年6月2日，經國務院批準撤銷平涼地區和縣級平涼市，設立地級平涼市和崆峒區，以原平涼地區、平涼市行政區域為現平涼市和崆峒區行政區域。