1980年1月15日下午，国务院召开的例行会议结束后，陈永贵走出了会议室，站在门口静静等候。与会者一一离开，这个时候邓小平同志出来了，陈永贵上去和他打了招呼，把他请进了休息室，说自己有一些问题要和他谈。
来到休息室后，陈永贵竹筒倒豆子似的说道：小平同志，这些日子你天天开会，一个新点子接一个新点子，我有点接受不了。我想问一问，无产阶级专政下的继续革命论还算不算数……
小平同志吸了一口烟，朝陈永贵笑了笑，把吸了半截的烟按灭在烟灰缸里，随后说道：永贵同志，你提的问题这样可笑，简直像3岁孩子那样幼稚。什么是毛泽东思想，我比你有发言权。你入党才多少年呢？我希望你还是按照一个共产党员的标准先检查一下自己吧！
（注：陈永贵在1948年入党，当时他34岁。）
不久之后，十一届六中全会召开，陈永贵在这次会议上辞去了自己身上的职务。
在中国的历史上，能从一个地地道道的农民干到国家的副总理，陈永贵可以说是前无古人，开天辟地。但是，在改革开放的浪潮下，这个仅此一人的农民最终还是因为思想跟不上而退场了。史料记载，在拨乱反正、改革开放如火如荼开展的背景下，陈永贵的思想没有改变，他拒绝在大寨下放自留地，也拒绝参与“实践是检验真理的唯一标准”的讨论，他的停职检查，是政治局多数同志的意见。
邓小平同志对此感慨地说道：他本来可以成为出色的农村基层领导人，可硬要把他放在副总理的职位上，这不是让他活受罪吗？
辞职后的陈永贵，立刻就向国务院机关事务管理局提出了搬家的请求，他认为自己既然已经不再担任领导职务，就不能住在原来的地方了。1981年，陈永贵一家到了木樨地的一座公寓楼，并在这里度过了自己人生的最后时光。
陈永贵退休之后，依旧保持了农民的本色和习惯，他在家里的凉台住了很多话，还在花盆里中了玉米等作物。他不习惯清闲，每天早上起床，他都要拿着一条扫帚，从12层一直扫到第一层。
陈永贵也会去市场买菜，有一次售货员认出了他，问他是不是“陈大叔”，随后就跑进去把经理叫了出来。经理给陈永贵挑了一篮子最好的菜，坚持不肯收钱，陈永贵扔下钱就走了，从此再也没有来过这家店，说是怕“特殊化”。国家给他安排了专车，但他从来不坐，他更喜欢挤公交，坐地铁，和乘客聊天。
退休后陈永贵渐渐褪去了当初固执强硬的锋芒，和市民打成一片，大家都非常尊敬这个朴实的老农民。所以，陈永贵常说：“北京人待咱真不错哩！”
由于不甘心在闲暇中度过余生，他给中央写信，说希望能干一些力所能力的工作，于是他就成了北京东郊农场的顾问。那段时间他每天只上一天班，但办事尽职尽责，农场里的很多事情别人办不成，很多东西别人买不到，都是陈永贵帮忙弄成的。
晚年的陈永贵，思想有了明显的转变，据陈大斌《最后一次看望陈永贵》记载，陈永贵晚年对他说：“有人说我反对农村改革，反对实行包产到户责任制。我为啥反对哩？你看现在，不用搞运动啦，不批不斗啦，可一搞‘包产到户’，生产呼啦上来了！市场上吃的用的，啥也有了！我这个人最认真。我咋不服气哩？我现在高兴着哩！”
在最开始的那段时间，陈永贵对一些政策确实想不通，还说自己要“扛到底”。但在退休之后，他冷静下来了，实践证明了真理，在全国农村改革的巨大成果面前，他完成了思想的转弯，这是令人欣喜和感动的进步。
