在国民党军队中陈诚的土木系和何应钦这一老牌军中派系势同水火而难以相容尤其是陈诚心中对于何应钦意见颇多。这种高层将领之间的罅隙是长久时间造成的。早在1928年陈诚还是师长的时候就对何应钦相当不满，在面对何应钦让自己成为第十一师副师长的时候，他更是愤恨地说道：这事蒋不知道，何应钦又在跟我为难了！
当然陈诚如果跟何应钦相比的话资历上还是要矮上一头的，这也是后来何应钦一直对陈诚心存偏见的重要原因，毕竟在北伐战争一开始的时候，何应钦已经是北伐军第一军军长，而陈诚此时也不过是一个连长罢了。所以尽管后来陈诚带领麾下土木系已经成为国民党军队中一尊庞然大物，但是在何应钦眼中他陈诚就是一个暴发户而已，根本不配和自己相提并论。
要说在陈诚的发家历史上谁是最重要的人物，那么蒋介石肯定是首屈一指的，没有蒋介石的可以扶持陈诚早就被何应钦不知道发配到哪去了。蒋介石也是看中了陈诚的忠心也让他成为了自己手中的一颗盘活全局的重要棋子，也成为了蒋介石削减何应钦在军中影响力最重要的一把刀。
除了蒋介石之外再往前追溯，要说谁对陈诚影响大，还要提到两个人：邓演达和严重。这二人自然都不是无名之辈，邓演达曾经是黄埔军校的教育长而严重则是黄埔军校中的教练部主任，而陈诚当初在遇到蒋介石之前还给邓演达当过副官。邓演达和严重这二人对于陈诚相当看重，在邓演达的推荐下，保定军校出的来陈诚也得以机会进入黄埔军校。
邓演达给陈诚指了一条路，而严重则是硬生生让陈诚在国民党军队中站住了脚跟。严重作为第二十一师师长可以说是手握大权，但是严重和蒋介石的矛盾逐渐加剧最终无法调和。严重眼见自己和蒋介石之间的矛盾不断加剧，还不如自己提前离开。于是严重直接向蒋介石提出建议，自己辞去二十一师师长的职务，而让陈诚接替自己。
听到严重自己主动提出这样的申请，蒋介石自然是乐见其成，并且老蒋心中估计还在想要是自己的反对者们都有这样的觉悟还多好啊。严重的请辞让陈诚一下子无所适从，毕竟他成为第二十一师的副师长也就才两个月的时间，自己人都还没有认全就要成为师长，这不能不让他心生担忧。于是面对严重即将离开，陈诚难过的掉下眼泪
严重也明白陈诚心中所想，那就干脆送佛送到西吧，他把手下的参谋长罗卓英叫了过来，要求他好好配合陈诚的工作，从此陈诚登堂入室，真正成为国民党军队中的分量人物。
正所谓好事多磨，陈诚身上从一开始就打上了蒋介石嫡系的标签，也正是这一身份在蒋介石被逼宫下野之后成为何应钦针对的原因。在老蒋第一次下野之后，新桂系与何应钦在龙潭和孙传芳的部队展开了激烈战斗。这次战斗陈诚的第二十一师也是主力部队之一，但是不巧的是这时候陈诚身患疾病只能坐轿子指挥战斗，而在战斗中他还处理了麾下一个何应钦派系的团长。
于是陈诚麾下的何应钦派系军官纷纷举报陈诚贪污腐化，打仗还得坐轿子，于是何应钦也免去了陈诚的师长职务，这也成为陈诚与何应钦结怨的开端。不过好在不久之后蒋介石卷土重来，作为嫡系的陈诚也被任命为总司令部中将警卫司令兼炮兵指挥官。
不久之后为了消化孙传芳部降将曹万顺的部队，蒋介石决定将其部队在进行补充后改编成第十一师。而在第十一师的人事安排上，曹万顺为第十一师师长，陈诚做副师长。陈诚好端端地成为了副师长，他认为这是何应钦又在中间使坏了，愤恨说道：这事蒋不知道，何应钦又在与我为难了！
于是陈诚干脆不去上任，而蒋介石见状也亲自向陈诚承诺他这个副师长只是个过渡，不久之后师长的职务还是他的。果然正如蒋介石承诺的，曹万顺受到麾下将领的举报弹劾，老蒋顺势免除了曹万顺的师长职务，陈诚顺利成为了第十一师师长，这也成为土木系的重要开端。
