據傳該村始獨有王氏一戶，后王氏又從外地引來一戶張氏，二人返回途中，張氏問王氏：“還遠不遠？”王氏道“不遠了”。又走了好長時間，張氏開玩笑地說：“來了，來了，來了還遠哩”。因此取村名為來遠。

據傳宋朝建乾德年間，太祖趙匡胤云南平關，路經此地，坐了一陣（陀古稱大人物時陀佛）故名盤陀。

因此村建在昌源河的東山上，故名東山頭，現改名東山。

因該村原由郭氏落戶，村址建在山峪之口，故名郭峪口，后因“郭”與“谷”同音，后演變為谷峪口。

據傳宋朝建乾隆年，宋太祖趙匡胤去南平關路經此山，打了一仗，又聽見山里有聲音響，趙匡胤甩了一神鞭，將此山打成了關口，得名金鎖關，后人們遷到金鎖關北居住，取名北關。宋太祖取河東克金鎖關即此。明洪武三年稱北關鎮，設巡檢司，稱龍舟谷巡檢司。

來遠有一溝稱東峪溝，原名銅魚溝，這也是當時盜寶頻繁所致，東峪溝有一大水潭，池水清澈，深不見底。潭內有一條大金魚，能使溝內年年風調雨順。由于祁縣“銅”念“東”，久而久之，銅魚溝逐步變成東峪溝。2002年撤并村組，唐河底、賈河底、神嶺、南羊圈村合組建為東魚溝村委會。東峪溝和銅魚溝各取一字。

因坐落在南風溝內而得名南風溝。