苏仙公汉代桂阳人氏。不知其名姓，相传于汉文帝时得道升仙。他幼年丧父，与寡母相依为命，以仁孝闻名乡。
当时，他家境贫寒，曾与邻居的小伙伴轮班放牛，以补家用。他放牛的时候，牛不四处跑，一直在他附近安然觅食，其他人放牛时，牛就四处奔跑，怎么也赶不到一块儿。他们便问苏公，用什么招法使牛驯服的，苏公对他们说：“这不是你们所能知道的。”
一次母亲吃饭时说：“没有腌鱼，明天去市场上买一点。苏公听了母亲的话，就把筷子往饭上一插，拿着钱就走了，时间不长，便带着腌鱼回来了。他母亲吃了几口，便问他在哪儿买的，他说是在便县的市场上买的。母亲一听，觉得不对劲。“便县离这里有100多里路，路又不好走，怎么一会儿就回来了呢？你还敢撒谎？”拿起棍子就要揍他。苏公连忙跪下，解释道：“买咸鱼的时候，遇见舅舅，舅舅明天来，母亲可以问他。”第二天，他舅舅果然来了，对他母亲说，昨日在便县市场见过苏公，母亲一听，非常惊奇，才明白苏公有神通。几年之后的一天，苏公肖扫庭院，友人见了便问他有什么贵客来访，苏公回答说：“仙侣要来。”不一会儿，就见西北部紫气氤氲，其中夹杂着数十只白鹤，在其住处的上空，化成英俊的少年，降落在苏公的门前。苏公便对母亲说：“我被召为仙人，接我的仙侣已到门前，不能再服侍母亲，望母亲保重。”母亲心里非常悲伤，说道：“你走之后，我可怎么办呢?”苏公回答道：“明年天下将发生瘟疫，院子里的井水和桔树可以养活母亲，并且，用一升井水一枚桔叶，就可以救活一个人，这儿有个箱子，缺什么东西，敲敲箱子，说声缺什么东西，就可以了。注意，千万不要打开箱子。”说完，告辞母亲，耸身入云而去。第二年，果然瘟疫流行，苏公的母亲用他的办法，救活了不少人，缺什么东西，对小箱说一声就有了。
3年后，他母亲心里好奇，就把箱子打开了，见一对白鹤飞走了。从此，那个箱子，就不起什么作用了。他母亲100多岁的时候，无病而死。邻里合资安葬，下葬时东北方的牛脾山顶，忽紫云缭绕，并有号哭的声音，大家知道是苏公的神灵。但是，只闻哭声，不见人形，郡守和邻里吊慰良久，请他出来一见，只听空中有人回答说：“我离开家乡太久，形貌变化很大，担心惊吓乡人。”这些人再三请求，不得已苏公伸出一只手，众人一看，见手上长满细毛，与常人不同。苏公就对众人说：“有劳诸位，大家可以从直道回去了。不要回头。”说罢，众人回来见归途架起一座桥，跨过江水，直通城门。途中，有一人回头，便马上从桥上落入水中，化作一条青龙离去了。后来人们发现哭声传来的地方有两株桂竹，即使无风，也自动摇摆，洒扫地面。3年后，哭声消失了。这期间，常常有一匹白马在山顶上行走，于是人们就把牛脾山称作白马岭。