1968年，黄永胜在林彪的推荐下，出任解放军总参谋长。黄永胜上任后，军队中无论有什么事情，他都请示林彪，并且唯林彪之命是从，他与林彪一家的关系更进了一步。
黄永胜
黄永胜与林彪的关系，自不必说，1971年9月10日，林彪曾给黄永胜写过一封亲笔信，信中写道：
永胜同志：很惦念你，望任何时候都要乐观，保护身体，有事时可与王飞同志面洽。
黄永胜与叶群的关系也很特殊，黄永胜向林彪汇报工作要经过叶群，而叶群从不误他的事。1981年，最高人民法院特别法庭在庭审黄永胜时，播放了1970年秋天他和叶群通电话时录下的一段录音，尽管两人的谈话缺乏条理，语句隐晦，带有跳跃性，也不算通顺，但仍然可以从中看出他们的密切关系。这个录音的部分内容如下：
叶群：“我跟你说，你这个生命连在一起的，不管是政治生命和个人生命。”
叶群
黄永胜：“我懂得，我完全这样了解，完全请你放心，我一切都是很顺利的。”
叶群：“因为我考虑到你今后，也说不定将来，你能在中国革命世界革命的领域上，你会起很大的作用。”
黄永胜：“在这方面我要向你学习。”
叶群：“我愿意永远做你的助手，你的秘书，而且我决不强加于你。我一定在你的领导下，以你的意志为意志……你看，那个孩子培养他也应该因材使用嘛，都那么大个子。这国家这么大，都可以把一个关口，是不是？”
黄永胜：“是，你这个想法完全正确。”
黄永胜（左）
叶群：“因为我对情况了解不够，我都想到有机会跟你谈谈，每个孩子往哪方面培养。另外，连我加一块儿，至少5个吧，这五六员大将，将来都可以，国家这么大，他们互相不会矛盾，一个人把一个关口，也是你的助手嘛，你说是不是？”
黄永胜：“对，对。”
叶群：“一会儿你的上级会找你们来谈，你把101的，你给我说一两句好话，干部里大多数都好，但是他真正喜欢的是你，听明白了吧，101对你是好的。你永远是元帅，我永远是元帅帐下的一个兵、一个传令兵。”
这段电话录音足以说明，黄永胜与叶群的关系，非同一般。
黄永胜与林立果也有不同的关系，他一心要培养林立果，多次给部下讲了这个意思。由于有黄永胜的关照，林立果才得以在空军中飞黄腾达。
黄永胜给战士训话
黄永胜紧跟林彪，林彪也不断地提拔他。在1969年4月召开的党的“九大”上，黄永胜当上了中央政治局委员，按照中央的分工，他作为总参谋长，又兼任了中央军委委员、军委办事组组长，不久后又担任了解放军军政大学校长。
1969年，中苏关系紧张，两国间的军事冲突大有一触即发之势，黄永胜开始大力抓战备。黄永胜抓军事工作有一个特点，就是一切听林彪的，他的说法是：中国人民解放军是毛主席亲手缔造、林副主席亲自指挥的军队。因此黄永胜做任何重要的决定，都直接请示林彪，有的决定甚至连毛泽东都不知道。
1969年10月17日，林彪在苏州作出了“关于加强战备、防止敌人突然袭击的紧急指示”，要求全军进入紧急战备状态，抓紧武器装备的生产，指挥班子进入战时指挥位置等。黄永胜接到这个指令后，在10月18日搞出了一个“林副主席第一个号令”，他没有通过毛泽东，就直接向全国下达了这个紧急指示。这个紧急指示一下达，全军立即行动，但毛泽东却不知道此事。
林彪和四大金刚
直到全军按这个紧急指示布置完毕后，林彪才以电话记录的形式将此事报告给了毛泽东的秘书。毛泽东在听了秘书的汇报后，只说了两个字：“烧掉！”并且自己亲自动手烧掉了这份电话记录。
此事说明了两个问题：一是林彪和黄永胜联手，已经做到可以不经过毛泽东就调动全军了；二是毛泽东已经察觉到了这一问题，对林彪、黄永胜表示了不满。或许从此时起，黄永胜最后的命运就已经注定了。
