龚遂是山阳郡人，少年时代因为熟读儒家经典书籍而乡里闻名，后来举孝廉开始仕途。不过很可惜，龚遂运气不怎么好。他最初的老板是刘贺，刘贺是汉武帝的孙子，他父亲刘髆死的早，所以刘贺在五岁的时候就继承了王位。随便提一句，刘贺的奶奶就是''一笑倾人城，再笑倾人国''的李夫人，武帝一朝仅次于卫青、霍去病的将领李广利正是他的舅公。汉武帝晚年之时，李广利为了之后的权势荣华考虑，肆意妄为，竟然联合丞相准备拥立刘髆为储君，干涉天子家事，东窗事发后两人被腰斩，李氏一家也受到牵连尽数被诛杀，原本还有点希望当太子的刘髆被放逐封地，郁郁而终。
武帝之后，权臣霍光崛起，在汉昭帝病逝之后，霍光并没有立戾太子刘据的孙子刘病己为皇帝，而是选择了拥立昌邑王刘贺，但这恰恰就是刘贺一生的悲剧。霍光在立刘贺之前，并没有对其做一个全方位的审查，仅仅是想到他是昭帝唯一一个尚在人世的子侄，便直接迎接他到长安登基。而刘贺此人，幼年丧父，皇家子弟疏于管教，性格轻浮，行为放荡，极其的不检点，而他的所作所为也害苦了一般昌邑国的旧臣，龚遂就是其中之一。
龚遂从小就立志要成为忠良正直之臣，可惜刚入仕途正准备施展抱负，偏偏遇上刘贺这样的主公。当然，尽管主公昏庸，龚遂也应当尽臣子的责任。在昌邑国任职时，龚遂就常常劝导刘贺要关心百姓，自己也要勤奋学习。常常引经据典痛斥刘贺的糊涂行为，尽管龚遂经常说得痛哭流涕，但刘贺却不为所动，看他就像一个小丑一样仍然我行我素。
刘贺即位之初，自然是稀里糊涂完全没有看清楚形势，还觉得依旧可以像当初一样肆意妄为，于是每天和宫中的人嬉戏游玩，龚遂看到后依然是苦苦哀劝，当然结果还是和从前一样。不到一个月，霍光就联合群臣以太后名义将刘贺贬为庶人。刘病己登基之后，将刘贺封为海昏侯。刘贺的大部分跟班都被霍光处决，除了龚遂和王阳，他两名声都还好，又加上时常规劝刘贺，所以才逃过此劫，被发往边境服役，五年乃归。
霍光病逝，刘病己逐步掌握了国家大权，刘病己是一个相当厉害的人物，也是一个出色的帝王。初年，渤海饥荒，盗寇猖獗，突如其来的天灾人祸让大汉王朝措手不及，一时间竟找不到合适的人选，于是龚遂在群臣的一致推荐下出任了渤海太守。至此，古稀之年的龚遂终于苦尽甘来，在赴任之前，按照国际惯例皇上接见了他，之前由于群臣吹捧，刘病己印象之中龚遂应该是一个相貌伟岸玉树临风的人，可是一见面看到一个白发苍苍的老头子，不免有些失望，不禁冷冷道：“渤海出现的问题，朕很担心，不知道你能用什么方法平定，让朕满意。”
要是换一个人，第一次见到皇帝就被当面泼冷水，可能早就手脚无措。不过龚遂是谁，那是从为官以来遭受了无数波折的人，面对皇帝这一问，神色毫无变化，回答还不太客气。汉宣帝一直觉得渤海当地都是乱民和盗贼，但是龚遂却说没有乱民也没有盗贼，有的只是陛下的子民。正面硬扛之后，龚遂详细的分析了渤海出现这些问题的原因，山高皇帝远，人民饥寒而官员不作为。汉宣帝听完之后觉得龚遂虽然年龄大，但是看事情还是很清晰的，也是一个难得的人才，便特许龚遂许多事情可以便宜行事。
短短数年之后，渤海郡盗贼悉平，人民安居乐业。汉宣帝龙颜大悦，随即将龚遂调回中央，任命为水衡都尉，掌管上林苑，兼管货币制造、皇室财政收支等等，权力十分大，可以看出龚遂此时在汉宣帝心中的分量是非常大的。回到长安数年之后龚遂老死于任上，其忠正之名天下流传，后世亦常将其与黄霸作为循吏的代表人物，并称“龚黄”。
