1949年10月19日，以毛泽东为统帅的中央人民政府人民革命军事委员会在北京成立。徐向前被任命为中国人民解放军总参谋长，聂荣臻为副总参谋长。后来，徐帅因病治疗休养，由聂帅代理总参谋长。
聂帅最初的办公室设在春藕斋，一间大厅，中间用木板隔开为两大间，一头是作战室，另一头是聂帅的办公室，后来，在总理的提议下，军委办公厅和总参作战部搬到了居仁堂。
在代总参谋长这个重要岗位上，聂荣臻付出了辛勤的劳动。他曾说，担任总参谋长期间，“是我一生中最繁忙的时期”。
1950年6月27日，美国宣布派第7舰队入侵台湾海峡。
7月初，聂荣臻一边抓紧军队的复员工作，一边把相当的精力放在朝鲜的战局上。为此，他曾专门请示过毛主席。聂帅说:“我负责的工作太多，有时真应付不过来。我的工作重心应该如何选择为好？”毛主席说:“你把主要精力放在抗美援朝上，其它工作让另外的同志多做。”于是聂帅全力以赴辅佐毛主席、总理应对朝鲜战争。
为了赢得抗美援朝战争的胜利，聂帅每个星期总有三四个晚上通宵达旦地工作。有时在主席那里一谈就是一晚上，直到东方发白；有时夜里去总理办公室研究问题，也常常是一整夜。而聂帅没有白天睡觉的条件。他早上8点一到办公室，里面早已坐满了等着解决各种问题的干部。
聂荣臻终于累倒了。1953年3月初，主席指示聂荣臻暂时停下手中的工作，到杭州去疗养一段时间。这也是他有生以来时间最长的一次休息。
1954年6月19日，聂帅被任命为中央人民政府人民革命军事委员会副主席。
11月，聂帅被免去代理总参谋长的职务。此后聂荣臻便集中精力，领导军队的军工生产和武器装备等工作，进而主持全国的科技发展事业。
从1956年到1967年的12年里，聂帅主持实施了中国科学约“十二年规划”，使中国突破了“两弹一星”的尖端技术，奠定了中国工业大国、军事大国乃至经济大国的基础条件。
