丙吉字少卿，鲁国人。为人深沉忠厚，不夸耀自己的长处。地节三年(前67)，立皇太子，丙吉充任太子太傅。几个月后，升任御史大夫。五年后，代替魏相当丞相。丙吉原本自狱法小吏被起用，后来学《诗》、《礼》，能通大义。最后官居相位，（他处理政务）崇尚宽大，讲求礼让。掾史有罪赃，不称职，就给他长期休假，让他离职，最终没有查办他。有人对丙吉说：“君侯你当汉朝丞相，奸诈的官吏贪赃枉法，却没有受到惩处。”丙吉说：“用三公之府查处下属官员的名声，我认为不好。”后人代替丙吉之职，于是以此为前例，三公之府不直接查处下属官员，从丙吉开始而形成惯例。
对于官属掾史，务求掩盖他们的过错，传扬他们的好处。丙吉的车夫嗜好饮酒。曾跟着丙吉出行，醉酒呕吐在丞相车上。西曹的负责官员告诉丙吉想要赶走车夫，丙吉说：“因酒醉的失误而赶走士，让这人将在何处容身?西曹只管容忍他，这只不过是玷污了丞相车上的垫褥罢了。”就没有赶走车夫。这个车夫是边郡上的人，熟知边塞发生紧急军务的事，曾有一次外出，恰巧遇见边郡发送紧急公文急驰来到。车夫乘机跟随（驿骑）到公车探候求取消息，得知敌人入侵云中、代郡，急速回相府见丙吉报告这情况，还没完，（皇上）下诏召见丞相、御史，把敌人入侵郡吏的情况拿来问他们，丙吉一一答对。御史大夫仓促间不能知道详情，因而受到责备；而丙吉被认为能为边务与职守忧虑，是车夫的功劳。丙吉于是感叹说：“士没有不能容的，才能各有所长。假使丞相不先听车夫说知此事，还有什么功劳能受到褒奖呢?”掾史因此更认为丙吉贤能。
丙吉又曾外出，遇到清道的人发生群斗的事，死伤的人横陈路上，丙吉经过这里却不闻不问，掾史特别觉得奇怪。丙吉往前走，遇到有人追赶牛，牛气喘急，吐出舌头。丙吉停下车子，让随员骑马过去问：“追牛走了几里了？”掾史更觉得丞相不问群斗而问追牛的事，太不恰当了，有的因此讥刺丙吉，丙吉说：“老百姓争斗，相互杀伤，这是长安令、京兆尹职责应当禁止、防备和追捕的事，（我的职责是）年终奏请实行赏罚罢了。宰相不亲自处理小事，不应当在路上过问（打架斗殴之类的事）。正当春天还不应当很热，害怕牛行走不远却因暑热而喘息，这意味着气候不合节令，担心将会伤害全国百姓，因此而问这事。”（听了这番话），掾史才心悦诚服，认为丙吉注重的是大事。五凤三年(前55)春天，丙吉病重。死后封为定侯。