1959年，这一年的9月30号，彭老总被罢免了官职，搬去了北京吴家花园居住。这吴家花园，据说是当年吴三桂专门给陈圆圆修建的一处宅子。这个地方环境很不错，毗邻着颐和园，少有人往来，很是安静。
一生忙碌的彭老总，自打搬进吴家花园以后，也在这里过上了难得的清闲日子。
他在这吴家花园生活了差不多五年的时光，当时墙外的风云波涛汹涌，但是在这吴家花园里面的彭老总，享受着难得的安静日子。
他在宅子里寻摸出一块土地出来，在这里种了一些蔬菜和瓜果，还养了一些花花草草。每天，警卫员都能看到老总，在这小块方寸之地侍弄着他的闲暇时光。
虽然表面上看着很是闲暇悠闲，但是，谁能知晓老总心里的苦闷和憋屈呢。
警卫员时常会看到这样的一副光景，他在院子里一个人安静的走来走去，也不知道他的心里在想什么。看着他在院子里孤单的身影，警卫员的鼻子也是一酸，心头爬上莫名的酸楚情绪。
也是在这吴家花园里，1962年的六月，彭老总写了一封书信，这封书信长达八万多字。字字都是他的肺腑之言，字里行间也是他的忠诚。
两年后，也就是1964年的11月28号，彭老总离开了吴家花园，去到成都，担任西南三线建委第三副总指挥的职务。
那一年，他已经67岁了，去到成都以后，他也再没回过吴家花园了
