“克己奉公”这则成语的克己是克制、约束自已；奉公是以公事为重。约束自己的私欲，以公事为重。比喻一个人对己要求严格，一心为公。
这个成语来源于《后汉书.祭遵传》，遵为人廉约小心，克己奉公。赏赐辄尽与士卒，家无私财。
祭遵，字弟孙，东汉初年颍阳人。祭遵从小喜欢读书，知书达理，虽然出身豪门，但生活非常俭朴。
公元24年，刘秀攻打颍阳一带，祭遵去投奔他，被刘秀收为门下吏。后随军转战河北，当了军中的执法官，负责军营的法令。任职中，他执法严明，不循私情，为大家所称道。
有一次，刘秀身边的一个小侍从犯了罪，祭遵查明真情后，依法把这小侍从处以死刑。刘秀知道后，十分生气，想祭遵竟敢处罚他身边的人，欲降罪于祭遵。但马上有人来劝谏刘秀说：“严明军令，本来就是大王的要求。如今祭遵坚守法令，上下一致做得很对。只有像他这样言行一致，号令三军才有威信啊。”
刘秀听了觉得有理。后来，非但没有治罪于祭遵，还封他为征虏将军，颍阳侯。
祭遵为人廉洁，为官清正，处事谨慎，克己奉公，常受到刘秀的赏赐，但他将这些赏赐都拿出来分给手下的人。他生活十分俭朴，家中也没有多少私人财产，即使在安排后事时，他仍嘱咐手下的人，不许铺张浪费，只要用牛车装载自己的尸体和棺木，拉到洛阳草草下葬就可以了。
祭遵死后多年，汉光武帝刘秀仍对他的克己奉公精神十分怀念。