舜在任命禹担任司空，治水的时候，禹万分辞让，推荐稷、契和皋陶担任这一职位。但是，舜还是把这一职位交给了禹。并且对皋陶说：“皋陶，现在蛮夷侵扰华夏，坏人为非作歹，你就担任司法官（士），处刑要让人信服，流放罪分为不同等级，而远近不同。只有公正明允，才能取得民众的信任。”
传说皋陶还使用一种叫獬豸的怪兽来决狱。獬豸类似羊，但只有一只角。据说它很有灵性，有分辨曲直、确认罪犯的本领。皋陶判决有疑时，便将这种神异的动物放出来，如果那人有罪，獬豸就会顶触，无罪则否。史书上说皋陶为大理，天下无虐刑、无冤狱，那些卑鄙的小人非常畏惧，纷纷逃离，至使天下太平。舜帝极为欣赏皋陶的成绩，便把他封于皋。“皋陶治狱，其罪疑者，令羊触之，有罪则触，无罪则不触。”这描述的与苏美尔、古犹太等文明肇始时神权祭司（巫师）主持的占卜来审理诉讼案件的“神判”一致。
皋陶历经尧舜禹三世，呕心沥血辅佐尧舜禹，功高德厚。皋陶曾经协助大禹治水。禹为了报答皋陶，把他封在皋城，在今安徽六安市。就此，皋陶成为古代六安国始祖，故今六安称为皋城。
另外，也存在着不同的记载，表示皋陶是夏启时候的人。例如《太平御览》卷八二引《归藏》曰：“昔夏后启筮享神于大陵而上钧台，枚占皋陶曰：不吉。”，并引《史记》曰：“昔夏后启筮乘龙以登于天，枚占于皋陶曰：吉而必同，与神交通。以身为帝，以王四乡。”（今本《史记》并无此段记载，可能也是引自已佚失的《归藏》）。而在新近问世的清华简的厚父一文中，也有“启惟后，帝亦弗（？），启之经德少，命咎繇下为之卿事。”的叙述，这些史影可能暗示着皋陶实际上是夏启的辅臣。
禹继帝位后，为了尊重禅让制度，推举皋陶当继承人，并让他全权处理政务。但是，皋陶在禹帝死前就逝世了，传说活到106岁。皋陶的死，让禹又把帝位让给了伯益。
皋陶的墓冢遗存至今，在今安徽省六安市经济技术开发区皖西大道北侧。
禹念皋陶之功，封皋陶之后于英国、六国。