传说在清代延家峁村有家姓杨的叫杨贵清，本家原来日子过得很穷，以打工种地维生，有一年在农村，为了生计外出揽工。当时，在他家的右手格梁上点香叩头，并对财神爷许愿说：等我出外挣下钱后，回来给你盖座庙。

　　杨贵清出外打工数日后，挣钱发财回来了但他又舍不得给财神爷盖个好庙，却用在沟拾来的烂石头石片，盖了个简易的石庙，还在门顶上写了“财神庙”三个字。事后多日，临县一位老爷路过此地时，看见了这座烂石庙，感到这咋能说是财神庙呢，一气之下，叫人拿来笔墨将“财神庙”改成“捣石庙”。

　　此事过后，杨贵清家的日子一天比一天过得紧张。在民国年间，有一个小偷偷了一只驴，在杨家的墙外杀掉吃了后，此时农民遭灾，村里又接下龙票，把杨按窝藏罪抓了。当场杨家的儿子还是小孩上前求说，不要把我爹带走。这时来了一位好心人对孩子说，你很快走吧！要不他连你也要抓去。这男孩只好光着身跑了，听说跑到陕西，后来在陕西定居了。这个捣石庙年代久远，遗址尚传。

　　这是一个真实的传说故事。