1949年1月下旬，蒋介石无奈之下宣告下野之后，张厉生为表明对蒋介石的忠诚，也辞去了“行政院政务委员”的职务。后来行政院迁往广州，张厉生便以国民党执行委员的身份一直奔走于广州、南京、台湾等地，一直到解放军打过长江，解放沪杭和华南地区，他才于1949年8月仓皇逃离大陆，举家迁往台湾。
张厉生，字少武，1900年出生于河北乐亭的一户商人家庭。他8岁入私塾，14岁考入乐亭县立高等小学，学习成绩十分优异。然而不幸的是，就在这个时候他的父亲病逝了。父亲病逝后，家庭的重担一下子压到了母亲的身上，张厉生也可能会失去上学的机会。
不过好在张厉生成绩优异，他的退学当即引起了校长的关注。后来，在校长和经学家刘锡三的帮助下，张厉生又重新回到了学校。
1916年，张厉生以优异的成绩考入了张伯苓所创办的天津南开学校。南开学校的办学宗旨是“革除旧习，培植青年，拯救国家”，该校严谨的教风对张厉生的影响很大。值得一提的是，张厉生在南开期间曾和周恩来是同学，不过后来因为两人志向不同，政见不合，也就分道扬镳了。
也是在南开求学期间，张厉生在别人的介绍下，结识了当时的知名学者吴稚晖。彼时，吴稚晖还在唐山路矿学校执教，因是知名学者的原因，张厉生也经常会上门拜访请教问题。就这样一来二去，时间久了，两人也成了知无不谈的好朋友。
后来，吴稚晖开始竭力倡导青年学生留法勤工俭学，并创办了华法教育会。而张厉生也在吴稚晖的影响下，还没等他南开毕业，就去到了北京朝阳学院法律专修预备班学习欧洲史和法语，提前为留法勤工俭学做准备。
1920年，张厉生在亲友的资助下，带着在北京学到的知识，去到了法国。在法国，他先进入了迪埃朴学院和默轮学院补习法文和投考大学的课程，后来在1922年，他又进入了巴黎大学，开始专攻社会学，兼修社会经济、政治经济等课程。也是在这个时候，他在李石曾等人的介绍下，加入了国民党。
1925年夏，张厉生学成归国，开始在上海大学任主任教授。在这里，他结识了国民党大佬陈果夫，又因为他俩思想观点一致，张厉生受到了陈果夫的赏识。而这，又为张厉生后来显赫国民党政坛提供了很大帮助。
不久后北伐战争爆发，张厉生由上海去往武汉，准备大展身手，为自己搏一条出路。
1927年初，张厉生参加国民革命军，被任命为国民革命军新编第十军政治部秘书，随军参战。不久后，他又应杭州市长邵元冲之邀，前往杭州任市政府主任秘书。而在蒋介石提出“整理党务案”后，张厉生又被派到了华北，担负起了整理党务的职责。可以说，这个时候的张厉生已经算是国民党的要员了。
1929年3月，国民党举行了第三次全国代表大会，张厉生作为大会代表出席了此次会议。在这次会议上，张厉生拍尽了蒋介石的马屁，只要蒋介石说什么，他就同意什么。也是因此“突出”的表现，张厉生得到了时任中央组织部副部长陈果夫的大力赞赏。
会后，陈果夫找到了张厉生谈话，邀请他出任中央组织部秘书。张厉生欣然答应。从此，张厉生成为了CC系最重要的成员之一。
作为CC系的核心大将，张厉生在此期间还曾积极追随陈果夫、陈立夫建立与发展秘密组织，并开展了一系列特务活动。比如，张厉生曾收买《人民评论》杂志和创办《有诚》杂志，以此来宣传反对共产党的言论。另外，张厉生还曾成立了以笼络知识分子为目的的“中国文化建设协会”华北和河北分会，以此来作为蒋介石专制统治的舆论工具。
这段时间，可以说是张厉生追随陈果夫、陈立夫从事特务活动的开始。此后在“二陈”同政学系、复兴社的斗争中，张厉生也曾积极出谋划策，一举成为了“二陈”的得力干将。又因为陈果夫与陈立夫长期把握国民党中央特务机关，所以张厉生也因此迅速升迁，成为了国民党中央执行委员。不久后又受蒋介石任命，接替陈立夫升任国民党中央组织部部长。
那张厉生为何能以后起之辈，取代“二陈”把握多年的中组部部长一职呢？这里就要说一下蒋介石的手段了。蒋介石此举，其最主要目的是想利用张厉生牵制陈果夫与陈立夫。
虽然说，张厉生一直是“二陈”手下的得力干将，但其实他一直尊崇的还是蒋介石，也是因此，张厉生才会一直深受蒋介石的信任。尤其张厉生在华北三载为蒋介石左冲右突，安定一方，政绩斐然。再加上张厉生在北方的三年也正好脱离了国民党党内斗争的中心，所以也得到了陈诚、戴季陶等人的支持。
也是因这种种因素，张厉生才得以从“二陈”手下取而代之，以其平常出身进入国民党内的权力中枢，实现他政治生涯的一大转折。
1949年蒋介石下野之后，张厉生为表明对蒋介石的忠诚，也辞去了一系列职务。后来在国民党在大陆的统治全面崩溃时，他又跟随蒋介石一同去往了台湾。
张厉生一到台湾，陈诚便邀请这位可靠的朋友出任了“台湾省地方自治研究会主任委员”一职。而张厉生也不负陈诚地厚望，运用他在“内政部长”任内的多年经验，四个月便完成了陈诚交代的自治工作。
1950年3月1日，蒋介石在台湾复任“总统”之后，他任命陈诚为“行政院长”，张厉生为“行政院副院长”。四年之后，也就是1954年，蒋介石再次当选为“总统”，陈诚当选为“副总统”，并于5月底宣誓就任，同时辞去了“行政院长”这一职务。陈诚辞职之后，张厉生也随后辞去了“行政院副院长”一职。
1957年7月，陈诚出任“光复大陆设计研究委员会主任委员”，并邀请张厉生担任“委员”，但张厉生没有到任，因为同年10月，国民党第八次全国代表大会召开后，蒋介石已经任命张厉生为国民党中央常务委员会秘书长了。
此时，蒋介石对国民党的改造已基本完成，起用了大批新人出任要职，但仍把中常会秘书长一职托付给张厉生，可见张厉生确实深受蒋介石信赖。
张厉生从政多年，身居高位，可以说声势吓人。但他一向低调做人，严于自律，好学慎行，既没置下什么家产，也没有什么积蓄，以致其退休之后生活十分清苦，晚景凄凉。
张厉生到台湾后，因无钱购置私房，所以他一直居住在公家分配的房子里。在其退休后，他也曾一度想把公房交还给公家，但后来还是因为手中没钱，无法再另购房屋而作罢。不仅如此，在张厉生晚年患上心脏病后，他甚至连医药费也无从支付。
尽管如此，但他还是不愿向别人诉苦，亲友们为他筹集的医药费也都被他一一退还。幸好他的一位熟识医师郭宗焕大部分为他免费治病，后期用药开支只好由亲友拼凑。
张厉生退出官场后，有一篇题为《我所认识的张厉生先生》的文章曾这样描述他当时的处境：
先生回台湾后，不愿再住公家宿舍，曾托耿幼麟兄弟，在永和镇买一栋房屋，以便将和平东路宿舍交还公家。幼麟兄告诉他，可住的房屋，都在20万元以上。他无此力量，终其生没有住到他自己所有的房子，这也是他一项遗憾。
张厉生书法
另外，在张敬原的《追思张厉生先生》一文中，也曾描述到其晚年窘迫的情形：
往者不谈，在他逝世前几年，病中无力就医，全赖内科郭宗焕医师，以友谊关系，免费治疗，这自然是一种负欠。逝世前不久，一度很短时期转送公立医院，则是由亲友凑集有限款项，才能支付公保担负意外的医疗费用，这自然也是一种负欠。
张厉生一生好学不倦，以研究社会科学与宋明理学为主，对曾国藩、胡林翼的为学和做人，也极为注意研究和实践。他是一位风骨嶙峋的读书人，廉不言贫，为各方所熟知。而除此之外，他还是一个孝子。
张厉生在他的兄弟中排行老大，自幼就听父母的话，并主动照顾好弟妹，使一家人和睦相处。他的父亲逝世后，家中只剩下母子四人相依为命，从此他对母亲更为孝顺，经常为之擦身捶背，躬亲定省，膝下承欢。
1925年他从法国归国后，回籍省亲，母子重逢倍加亲切，他拉着母亲的手问长问短，关怀备至。只要张厉生在家，每天晚上都会陪着母亲直到其睡着后才回到自己的房间。对此，他常说：“为人不孝敬老人禽兽不如，更谈不上爱国。”
张厉生一生中曾有九个儿女，但却都居住在国外。他们的“孝”，与张厉生的“孝”，无疑形成了鲜明的对比。1971年4月20日，张厉生在台北家中病逝，终年70岁。
