灌夫将军是颍阴人。他父亲叫张孟，曾做过颍阴侯灌婴的家臣，因此就用灌家的姓更名为灌孟。吴、楚叛乱时，颍阴侯灌何担任将军，隶属于太尉周亚夫，他向太尉推荐灌孟担任校尉。灌夫带领一千人与父亲一起从军。灌孟年纪大了，每逢作战时，常常攻击敌人的坚固阵地，终于战死在吴军中。按照当时军法的规定，父子一起从军参战，有一个为国战死，未死者可以护送灵柩回去。但灌夫不肯随同父亲的灵柩回去。他慷慨激昂地表示：“希望斩取吴王或者吴国将军的头，来替父亲报仇。”于是灌夫身披铠甲，手拿戈戟，召集了军中素来与他有交情又愿意跟他同去的勇士几十个人。等到走出军门，没有人敢再前进。只有两人和发配到他军中服兵役的十多个囚徒骑兵飞奔冲入吴军中，一直到达吴军的将旗之下，杀死杀伤敌军几十人。灌夫身上十多处受重创。灌夫的创伤稍稍好转，又向将军请求说：“我现在更加了解吴军营垒中路径的曲折，请您让我再回去。”将军认为他勇敢而有义气，恐怕灌夫战死，便向太尉周亚夫报告，太尉便坚决阻止了他。等到吴军被攻破，灌夫也因此名闻天下。
颍阴侯把灌夫的情况向皇上汇报了，皇上就任命灌夫担任中郎将。过了几个月，因为犯法被免职。后来到长安安了家，长安城中的许多显贵没有不称赞他的。汉景帝时，灌夫官至代国国相。景帝去世，当今皇上武帝刚即位，认为淮阳是天下的交通枢纽，必须驻扎强大的兵力加以防守，因此调任灌夫担任淮阳太守。
灌夫为人刚强爽直，好发酒疯，不喜欢当面奉承人。对皇亲国戚及有势力的人，凡是地位在自己以上的，他不但不想对他们表示尊敬，反而要想办法去冒犯他们；对地位在自己之下的许多士人，越是贫贱的，就更加恭敬，跟他们平等相待。士人们也因此而推重他。
灌夫在服丧期内去拜访丞相田蚡，丞相随便地说：“我想和你一起去拜访魏其侯，恰值你现在服丧不便前往。”灌夫说：“您竟肯屈驾光临魏其侯，我灌夫怎敢因为服丧而推辞呢！请允许我告诉魏其侯设置帷帐，备办酒席，您明天早点光临。”武安侯答应了。灌夫详细地告诉了魏其侯，就像他对武安侯所说的那样。魏其侯和他的夫人特地多买了肉和酒，连夜打扫房子，布置帷帐，准备酒宴，一直忙到天亮。天刚亮，就让府中管事的人在宅前伺候。等到中午，不见丞相到来。魏其侯对灌夫说：“丞相难道忘记了这件事？”灌夫很不高兴，说：“我灌夫不嫌丧服在身而应他之约，他应该来。”于是便驾车，亲自前往迎接丞相。丞相前一天只不过开玩笑似地答应了灌夫，实在没有打算来赴宴的意思。等到灌夫来到门前，丞相还在睡觉。于是灌夫进门去见他，说：“将军昨天幸蒙答应拜访魏其侯，魏其侯夫妇备办了酒食，从早晨到现在，没敢吃一点东西。”武安侯装作惊讶地道歉说：“我昨天喝醉了，忘记了跟您说的话。”便驾车前往，但又走得很慢，灌夫更加生气。等到喝酒喝醉了，灌夫舞蹈了一番，舞毕邀请丞相，丞相竟不起身，灌夫在酒宴上用话讽刺他。魏其侯便扶灌夫离去，向丞相表示了歉意。
就这样灌夫因卷入田蚡与窦婴的政治斗争之中，终为田蚡所忌，于公元前130年十月，灌夫和他的家人都被处决。