1945年8月15日，日本天皇在广播中宣布无条件投降，亚洲战场上的枪声终于停歇。在得知这一消息后，余汉谋对身边的部下表达了重返广州的期盼。作为中国抗战中的重要将领，他终于迎来了这一刻。
作为第七战区受降官，余汉谋在汕头主持了接受日军二十三军投降的仪式。日军参谋长富田直亮率部向中国军队递交了武器装备，正式宣告日本在广东地区统治的结束。1938年广州失守曾让他饱受批评，如今他终于能昂首挺胸地回到这座城市。
随后，余汉谋因抗战的贡献，当选为国民党第六届中央执行委员。余汉谋作为粤系军人，虽然早在1936年就背叛陈济棠投靠蒋介石，但蒋对他的提防从未减轻。
在广东，余汉谋拥有广泛的社会关系网络。多年来，他与广东的地方士绅、工商界人士建立了深厚的联系。回到广州后，他曾规划利用这些关系推动战后广东经济复兴，以巩固自己在地方的影响力。然而，这些设想很快就被蒋介石的安排所打破。
抗战胜利不久，蒋介石借口全国军事布局调整，将余汉谋调离广东，委任他为浙江衢州绥靖主任。表面上，这是对余汉谋的重用，还伴随着晋升二级陆军上将的荣誉。但实际上，这一决定让余汉谋离开了他熟悉且拥有广泛影响力的广东，削弱了他的军政实力。这种＂明升暗降＂是蒋介石惯用的手段，余汉谋对此心知肚明却无可奈何。
到了1948年5月，余汉谋再次获得晋升，担任陆军总司令一职。这个职位听起来地位显赫，实际权力却十分有限。余汉谋几乎整日闲在家中，与国家军事大权渐行渐远。正是在这段时期，他有了更多机会接触南京的党国要人，对国民党的腐败与无能有了更深刻的认识。
在南京的几个月中，余汉谋逐渐看清了国民党高层的真实面貌。那些在他眼中应该为国家前途负责的人物，实际上只关心个人利益和派系斗争。对此，余汉谋曾向亲信表达了失望之情，认为这些官僚多年来只懂得争权夺利，对国家大事毫无办法。
1949年初，随着解放军的节节胜利，国民党军队的败退已成定局。面对这样的局势，余汉谋陷入了进退维谷的境地。虽然他已经看清了国民党的颓势，却仍然无法果断地做出选择。共产党方面通过罗梓材等余汉谋的旧部与他取得联系，希望能够策动他起义或保全广东，以实现和平解放。这也是当时共产党的策略之一，此前程潜和陈明仁的起义已让湖南实现了和平解放。
然而，余汉谋对起义一事显得犹豫不决。他向罗梓材表示，起义并非易事，除了个人历史问题外，还有来自特工人员的威胁。他认为只有将可靠的兵力调回广州，在有利条件下才能考虑这些问题。虽然如此，余汉谋也承认国民党大势已去，不可能逆转，甚至表示到时候自己会选择不抵抗，悄然离开。
到了1949年10月，随着解放军向广东挺进，余汉谋看到身边的国民党军队不是逃往台湾、香港、海南，就是选择起义投诚。此时的他，从自己的腰包中拿出钱，给广东绥靖公署的职员们发放了三个月的遣散费，让他们各自寻找出路。10月13日，余汉谋带着部分随从从虎门乘坐海轮，经湛江前往了海南岛。
在海南岛上，余汉谋与同乡薛岳会合。薛岳已经在岛上布置了所谓的＂伯陵防线＂，面对缺乏海军的解放军，余汉谋一度心存侥幸。他主动放弃了广东绥靖公署主任的职务，表示愿意作为薛岳的副手，协助在海南岛进行最后的抵抗。然而，他们低估了解放军的决心和智慧。在韩先楚的指挥下，解放军仅凭着木船就成功渡过了琼州海峡，＂伯陵防线＂迅速崩溃。余汉谋与薛岳只得带着残部逃往台湾。
这是余汉谋人生的重大转折点。年过半百的他，离开了自己熟悉的故土，飘零于一个远离大陆的小岛上。这与他当年投靠蒋介石，成为广东一方诸侯时的风光形成了鲜明对比。在台湾，余汉谋被授予＂陆军一级上将＂的虚衔，但实际上只能担任一些闲职，没有实权。
余汉谋的生活也发生了天翻地覆的变化。他居住在台北郊区，不再指挥千军万马，而是过起了普通人的生活：种菜、下棋、参加宗教活动。在妻子的影响下，余汉谋皈依了基督教，每天固定到教堂唱圣歌、做祷告。曾经叱咤风云的将领，此时的生活与普通退休老人无异。
1980年4月4日，台北举行了纪念蒋介石逝世五周年的中正纪念堂落成典礼。已是耄耋之年的余汉谋全身戎装参加了仪式，在烈日下正襟危坐两个多小时，随后又向蒋介石铜像行礼致敬。这场活动对他的健康造成了严重影响，回家后他感到胸部不适，第二天入院检查被确诊为喉癌。
就在同年，余汉谋98岁的姐姐决定从香港回到广州定居。对于姐姐的决定，余汉谋表示支持，认为落叶归根是正确的选择。他还派遣三太太前往香港，帮助姐姐处理回大陆的相关事务，并为她准备了轮椅等生活必需品。
然而，当姐姐如愿回到故土之时，余汉谋的生命已进入倒计时。1981年12月17日，就在姐姐回到大陆的同一个月，85岁的余汉谋因喉癌在台湾病逝，结束了他跌宕起伏的一生。
