海拔332米的嘉山算不得雄偉,卻清秀。在《安徽省志稿》記述嘉山舊貌:「……雙峰挺峙、有巨石橫亙如橋其下廣數丈,內有石床石凳,可以坐臥,每逢大雨,石樑上瀑布奔瀉如簾。」其中說的巨石橫亙如橋便是說的「仙人橋」。一巨大拱形橫石跨於兩豎石之上而形成的天然石橋高約3米,跨度約8米,一條山澗清泉從山上流下匯入鯰魚窪(今明光分山嶺水庫),遇豐水期,澗水從橫石上飛流而過會形成瀑布,石橋兩側綠樹茂密,恰逢落日餘暉處於山角之時,更顯此處景色宜人、氣勢壯觀、美如仙境。
相傳,古時在石門曾有一位白髮道長。一日,白髮道長不知何故關閉了石門來到了人煙稀少、自然景色絕好的中嘉山選擇修煉之地,幾日後白髮道長終於選中了仙人橋,並添置了石床、石桌、石凳。白髮道長是位善人,每逢修煉之餘喜歡將路過的樵夫、獵人、農夫請到石橋洞中喝水、休息。一日,一位進山的樵夫打柴時不小心被毒蛇咬傷,便急忙來找白髮道長幫忙,可是,樵夫還沒走到石橋洞便渾身打顫地栽倒在山澗邊,白髮道長發現後連忙將樵夫扶入石橋洞中躺下,自己則運氣發功為其治傷,當黑紫色的毒血被排出來後,白髮道長又從一個葫蘆裏倒出一粒黑色藥丸給樵夫服下。樵夫問道長是不是郎中,道長搖搖頭後用手蘸水在石桌上寫下「山人」兩個字,寫好後又用手擦去了一半。樵夫下山回到家後就把所遇之事講給村裏人聽,有個識字的聰明人琢磨了很久終於明白了:山人應是「仙」字,寫好後又擦去了一半,分明說是個修煉的半「仙」呀。從這以後,村裏常會有人去找白髮道長醫病,凡去醫病的人都滿意而歸,就連一個失明多年的瞎子也被白髮道長給醫治好了。白髮道長治病從來不收金銀、不收禮物,後來白髮道長修煉得道而成仙飛升了。
村裏人感激白髮道長治病救命之恩,便捐資在石橋旁修建了一座廟,取名叫做「山人廟」,人們按白髮道長的身形相貌在廟裏塑了一尊神像,凡來求白髮道長治病驅邪的都會在廟裏敬香磕頭,人們常能看見每逢初一、十五時白髮道長會顯靈為百姓排憂解難。
千百年後,山人廟早已失去了蹤影,人們為了紀念白髮道長,便把這座石橋叫作:「仙人橋」。