帝尧在位的时候，他率领许姓部落活动在今天颍水流域的登封、许昌、禹州、汝州、长葛、鄢陵一带，这一带后来便成了许国的封地，他从而也成为许姓的始祖。
据说帝尧曾多次向他请教，后来想把君位传给他，遭到了他的严词拒绝。他逃到了登封的箕山隐居起来，再也不愿意与世俗社会交往。帝尧派人找到了他，想请他出任九州长官，他跑到颍水边洗耳，表示不愿意听这种话。许由以自己淡泊名利的崇高节操赢得了后世的尊敬，从而被奉为隐士的鼻祖。战国时代的思想家荀子就曾称赞说：“许由善卷，重义轻利行显明。”
许由品德高尚，才智过人，很受部族崇敬。部落联盟领袖唐尧觉得自己年事已高，四处寻访贤人，发现了许由，决定把天下让给他。许由认为自己德才不如虞舜，担心唐尧的几个儿子不服，引起内乱误了国家大事，让百姓受苦，便连夜私奔岐山隐居。他日出而作，日落而息，过着自耕自食的生活。一日他沿山放牧，来到岐山西北部的山脚下，见这里山清水秀，草丰树茂，土质肥沃，有一农夫正在耕地，便高兴地说：“此乃牛壮田肥之地也。”农夫听了觉得很有道理，便称这里为牛田村，后来不断发展，形成了今天上牛田、下牛田、中牛田三个自然村。许由洞对面有座陡峭的山头，山上花草茂盛，树木葱笼。站立山头西望尼山逶迤起伏，绵延数百里。近望群峰巍峨峻峭，苍翠欲滴，煞是迷人。许由早晚常到这里观赏山光岚气，赞扬锦绣河山。因为他经常在这里逛来逛去，人们便称这里为逛山头。历经不断演化，便成了今天的光山头。后来，唐尧听说许由隐居岐山，又派人来请他做九州长官。来人传达唐尧的旨意后，苦口婆心劝他立即上任。许由认为自己可为良民，而不可任高官，决定不去就任，便到山下河里洗耳朵，表示不愿听，这条河就是现在清澈明丽、水质甘洌的洗耳河。