汉文帝初年，因为听说河东郡守季布有才能，就召他至京，准备授予御史大夫一职，后来又因为听说季布好勇酗酒，难为天子近臣，遂心生悔意。所以，季布至京后，在郡邸住了一个月，就被遣回河东郡。临行之前，季布对文帝说：“夫陛下以一人之誉而召臣，一人之毁而去臣，臣恐天下有识闻之有以窥陛下也。”意指文帝轻信人言，城府不深，话中颇带着些怨气。
对此，文帝惭愧地表示：“河东吾股肱郡，故特召君耳。”然推原其故，文帝此举实有不得已的隐衷。季布的一来一去，看似波澜不惊，背后却隐藏着汉文帝初年皇权与功臣集团之间的政治斗争。
△汉文帝刘恒画像，图片来源：《中国历代名人画像谱》
文帝得以入承大统，实出偶然。继承惠帝皇位的，本应是其子辈。文帝深知，自己以旁支而入承大统，固然有运气的成分，但主要得力于功臣与宗室。因此，他必须要及时地封赏拥立的大臣和平乱的诸侯，满足他们的期待，维护他们的利益，方能坐稳帝位。
周勃是拥立的头等功臣，于是文帝立刻擢其为右丞相，位居群臣之首。陈平的功劳略低，他自言“及诛诸吕，臣功亦不如勃，愿以右丞相让勃”，于是被徙为左丞相，次周勃一等。灌婴的功劳与陈平相仿，故任以太尉一职，掌管天下兵马。
此外，文帝还分别赐予周勃五千金，陈平、灌婴各千金，增封周勃邑万户，陈平、灌婴各三千户，充分展示自己的感恩图报之心。大概就在此后不久，文帝再将女儿嫁给周勃的长子周胜之，既笼络了周勃，又通过婚姻关系与功臣结成政治联盟。
经此一番酬庸与施恩，人心迅速安定，文帝的根基也逐渐稳固。三个月后，他便着手培植自己的力量。在与“有司”作了几番推让以后，文帝终于同意册立太子。册立太子是国家大事，既是皇权稳固的表现，又是底定国本之举，同时还杜绝了淮南王等同姓诸侯的觊觎之心。同时，在稳定住形势后，文帝开始逐步清理功臣的势力，消除他们的潜在威胁。
在拥立文帝的过程中，周勃的功劳最大，对于文帝来说，他的威胁也最大。周勃今天可以拥立自己，他日难保不会另立他人。而周勃在升任右丞相，又与文帝联姻后，表现得甚为得意，权臣居功自傲，历来为帝王所忌，极易招致覆灭之灾。文帝隐忍不发，但内心之不悦是可以想见的。恰在此时，有高人点拨周勃说：“君既诛诸吕，立代王，威震天下，而君受厚赏，处尊位，以宠，久之即祸及身矣。”周勃已经感受到文帝的猜忌，为了保全身家，便主动辞去右丞相一职，自然顺利地得到应允。
陈平病逝，周勃再次为相，未几文帝以极为冠冕堂皇的理由下诏说：“今列侯多居长安，邑远，吏卒给输费苦，而列侯亦无由教驯其民。其令列侯之国，为吏及诏所止者，遣太子。”列侯聚集长安，彼此交通联络，对文帝而言始终是不安定的因素。他们一旦解职，回到各自的封国，由地方官加以监视居住，不仅威胁顿消，且易于各个击破，实在是一个很高明的举措。
文帝召季布进京，准备授予的是御史大夫一职。文帝前元四年（前176）十二月己巳，丞相灌婴卒，正月甲午，北平侯张苍任丞相。张苍在升任丞相之前，一直担任御史大夫。看来文帝准备授予季布的，当是张苍留下的御史大夫一缺，而此事应发生在文帝前元四年正月甲午后不久。
汉代以丞相、太尉、御史大夫为三公。三公是群臣的领袖，职分重要，地位尊崇，具有举足轻重的作用，其人选的决定要慎之又慎。汉初的丞相均由功臣列侯担任。他们与刘邦出生入死，共同缔定了汉王朝，理应在新的权力格局中占据应有之位置，与皇帝共治天下。
高祖、吕后时期的萧何、曹参、王陵、陈平、审食其，文帝初年的陈平、周勃、灌婴，无一不具有功臣列侯的身份。灌婴之后的北平侯张苍，同样是功臣列侯中的一员。这说明，文帝初年物色丞相人选之时，必须要考虑向来的旧例，尊重已有的政治格局，保持政策的连续性，避免引起大的波动。
汉兴以来，太尉先后由卢绾、周勃、灌婴担任，三人均为功臣列侯，文帝前元三年（前177）十二月灌婴任丞相后，太尉一职已遭罢斥，可不置论。至于汉初的御史大夫一职，同样由功臣列侯担任。汉初担任御史大夫者，分别为高京侯周苛、汾阴侯周昌、江邑侯赵尧、广阿侯任敖、平阳侯曹窋、北平侯张苍，无一不是功臣列侯。在当时的情况下，汉文帝在物色新的御史大夫人选时，不能不考虑到这一点。
季布是楚人，勇猛且有侠义之风，曾经在项羽麾下做过将领，并屡次将刘邦逼入窘境。刘邦得了天下后，悬赏千金捉拿季布。季布先藏匿于濮阳周氏，后辗转于鲁国的硃家，最后，经过滕公巧妙解围，才被刘邦赦免。季布被召至京，亲自向刘邦谢罪，被任命为郎中。惠帝时，任中郎将，至文帝时，任河东郡守。
可见，季布并非功臣中的一员，且无列侯封号，按照汉兴以来历任御史大夫的资历去衡量，他是不符合条件的。不过，如果注意到文帝即位三个月后开始逐步清理功臣势力的大背景，就会发现文帝此举中所蕴藏的深刻用意。这个用意就是，在九卿中安插好自己的心腹后，文帝开始有意地调整三公的人选，在三公的任命上改变以往的惯例，打破既有的权力格局，进一步加强皇权。
除了非功臣的因素外，季布还有一个突出的特点，那就是性格刚毅，不避权贵。吕后当政时，曾受到匈奴单于的书信侮辱，于是召集将领们议论对策，樊哙逢迎吕后心意，主动要求率军出击匈奴，众人纷纷表示赞成，时任中郎将的季布不以为然，并在朝堂之上公然说出“樊哙可斩也”这样的话。樊哙是汉初的一等功臣，高祖的连襟，吕后的妹夫，此时又是吕后当政，更是权势熏天。季布并没有附和吕后、樊哙，而是敢于直抒己见，足见其胆色过人，恐怕也会因此与吕后、樊哙等人结怨。
所谓“人有言其贤者”，大概就是强调季布有才能，且具不畏强圉的政治品格。文帝将季布征召至京，拟任御史大夫，看重的正是他的非功臣背景及政治品格，或许还有他与功臣之间的矛盾，希望由此打破三公的人选被功臣垄断的局面，并希望季布在具体事务上能够牵制丞相张苍，削弱功臣在朝中的势力，有效地维护皇权。
至于后来又有人说季布好勇酗酒，难为天子近臣，现在看来，应当是功臣中人传递出来的信息，目的是为了阻止季布担任御史大夫，维护既有的权力格局，维护功臣的既得利益。其实，文帝在策划调整御史大夫的人选之前，大概已经做过推演，因为在三公之中，御史大夫的地位最低，分量最轻，也许最不被功臣看重，最容易成功。事实证明，即便是天下一人，要分割功臣集团的既得利益，也是困难重重的。
从季布的一来一去又可以看出，即便随着时间的推移，皇权日趋稳固，陈平、灌婴等功臣已经下世，周勃也已经就国，文帝仍然不能自如地安排公卿的人选。这是因为陈平、灌婴等人的政治影响还在，功臣中仍有不少健在者，所以汉初的政治惯性依然能发挥作用，不能不对文帝的权力有所约束。
文帝的另一层顾虑，是北方的匈奴。高帝以来，在与匈奴的交往中，汉朝一直处于劣势。虽然双方和亲已久，而且汉朝每年向匈奴输送大量的财帛食物，但匈奴仍然时不时入侵中原，成为汉朝的一大边患。前元三年五月，匈奴右贤王曾大举入侵，攻略上郡，文帝派出丞相灌婴率军反击。次年，安丘侯张说再出击胡。
前元十四年（前166），匈奴单于再次率兵入朝那、萧关，杀北地都尉。文帝任命中尉周舍、郎中令张武为将军，发车千乘，骑十万，屯守长安，同时“拜昌侯卢卿为上郡将军，宁侯魏遫为北地将军，隆虑侯周灶为陇西将军，东阳侯张相如为大将军，成侯董赤为前将军，大发车骑往击胡”，卢卿、魏遫、周灶、张相如等人均为功臣列侯，灌婴、张说更不必说。这就显示出，文帝需要依靠功臣的经验，倚仗他们在军中的威望，来抵御北方的匈奴，因此不便拂逆功臣的意愿，不能轻易触动他们的根本利益。
经过一个月的反复考量之后，文帝不得不放弃这个计划，将季布遣回河东，继续任用功臣关中侯申屠嘉担任御史大夫。
