抗日战争全面爆发后，国共两党开始合作抗日，南方八省的红军游击队改编为新四军，陕北一带的红军主力改编为八路军。蒋介石为了限制八路军的发展，只给了三个师的番号，每个师定员15000人。而且这三个师的番号原本都是东北军的，张学良被蒋介石软禁之后，东北军也被改编，兵力由17个师缩编为10个师，其中115师、120师和129师的番号都被撤销。
陕北红军改编为八路军的时候，蒋介石又把这三个番号拿了出来，交给八路军使用。改编完成后，蒋介石就要求八路军开赴正面战场和日军打阵地战。这明显是不怀好意的，当时蒋介石精锐的嫡系中央军在打阵地战方面尚且不是日军的对手，而八路军没有山炮和野炮，为数不多的迫击炮也严重缺少炮弹，每名战士平均只有5发子弹。在这种情况下，蒋介石却要求装备简陋的八路军在正面战场和日寇死拼阵地，这明显是不怀好意的，想要借日军之手将八路军消灭。
毛主席一眼就识破了蒋介石的图谋，为八路军制定了独立自主的山地游击战方针。平型关大捷之后，八路军开始大举向敌后挺进，放手发动群众，开辟敌后抗日根据地。此举收到了很好的效果。抗战期间，八路军和新四军在敌后创建了许多抗日根据地，牵制了日军大量兵力，极大减轻了国军在正面战场上的压力。在八路军众多的抗日根据地当中，发展最好的当属山东抗日根据地。
抗日战争全面爆发后不久，日军大举入侵山东，手握重兵的韩复榘不战而逃，将山东拱手让给了日本人。日军侵占山东后，在沦陷区内烧杀抢掠，无恶不作，老百姓生活在了水深火热之中。为了反抗日寇的暴行，时任中共山东省委书记的黎玉挺身而出，领导了徂徕山起义。之后山东许多地方都爆发了武装起义，经过做工作，黎玉把这些起义部队组织起来改编为八路军山东纵队，自己担任政委，纵队司令则由张经武担任。
部队虽然拉起来了，但山东纵队的战士绝大多数都是没有经过严格军事训练的农民，战斗力有限，因此被日军称为土八路。黎玉在前往延安汇报工作的时候，向毛主席提出了一个请求，希望可以派一些八路军主力部队前往山东，和山东纵队并肩作战，以打开山东抗战的新局面。毛主席很爽快地就答应了，不久后萧华率八路军挺进纵队来到了冀鲁边，陈光和罗荣桓也率领115师师部和685团来到了山东。
115师主力来到山东后，接连打了几场大胜仗，迅速在山东站稳了脚跟，极大减轻了山东纵队面临的压力。到1939年夏季的时候，山东境内的八路军已经发展到了7万多人，其中山东纵队的兵力最为雄厚，达到了4万余人；萧华率领的挺进纵队由于有115师的主力为基础，也发展到了2万多人；陈光和罗荣桓所部兵力相对较少，但也有8000多人。
山东境内的八路军总兵力虽然不少，但却互不统属，都归八路军总部指挥，而且每一部都有自己相对固定的地盘。没有战事的时候，还看不出什么弊端。一旦日伪军大举围攻，山东境内八路军互不统属的弊端就显露出来了，基本上是各自为战，很少有战役和战略方面的配合。而且在制定作战计划的时候，首先考虑的基本上都是自己这块根据地的利益，这就导致兵力不能集中使用，有被敌人个个击破的危险。
要想更好地应对敌人的进攻，就必须把这三部分兵力整合起来，那么该由谁来担任山东八路军的掌舵人呢？黎玉是山东抗日根据地的开创者，长期在山东工作，对当地的风土人情极为熟悉，按理说应该由他来担任这个掌舵人。但黎玉长期从事地方工作，军事指挥经验不足，因此他就被排除在外了。这样一来，剩下的可能人选就只有萧华、张经武、陈光和罗荣桓了。萧华和张经武的资历显然无法与陈、罗二人相比，而罗荣桓又长期从事政工方面的工作，很少直接指挥大兵团作战。
经过比较后，陈光就成了最为合适的人选，红军时期他多次担任师长，还担任过红一军团的代军团长。平型关大捷结束后不久，时任115师师长的林彪在一次遛马的时候被阎锡山手下的士兵开枪误伤。由于伤势较重，被迫前往苏联治疗。陈光临危受命，出任115师代师长。他有资历，也有一定的军事指挥才能，出任山东八路军的掌舵人并没有太大的问题。
但最终上级却没有选择陈光，而是调徐向前入鲁，担任山东八路军的掌舵人，这是为何呢？黎玉后来回忆说，陈光在山东没有威望。陈光在山东打过不少好仗，但有一些战斗也存在争议，比如陆房突围，有人就认为部队伤亡太大，不好向上级交代。黎玉还回忆说，陈光还经常带部队强攻一些日寇坚固的据点。以当时八路军的武器装备来说，打这样的据点往往要付出很大的代价。
同时陈光的性子还比较烈，与一些同志的关系不是那么融洽。因此上级在综合考虑之后，并没有让他出任山东八路军的掌舵人，而是把徐向前调到山东担任这一职务。不论资历、能力还是威望，徐向前都足以服众。但遗憾的是，徐向前在山东的时间并不长，不久后他就回延安参加七大了，期间意外摔伤了腿，短时间内无法再回到山东。
这样一来，山东八路军的掌舵人一职又出现了空缺。此时陈光和朱瑞又因为“南大顶事件”发生了不愉快，朱瑞指责115师纪律不好，除卫生外其他工作均无进步。这话说的比较重，陈光不服，当众和朱瑞顶牛。之后朱瑞给延安写信，建议陈、罗休息。当时正是应对日寇进攻的关键时期，没有一个掌舵人统一指挥的话，很难把力量聚集起来打击敌人。
毛主席经过反复考虑后，把陈光和朱瑞双双调回来了延安，并让罗荣桓担任了山东八路军的掌舵人。罗荣桓上任后很快就理顺了方方面面的关系，山东抗日根据地在他的带领下取得了极大的发展，成为抗战期间规模最大的抗日根据地之一。
对于罗荣桓的成绩，毛主席给出了高度评价，称山东只用一个罗荣桓，全盘的棋就活了。抗战胜利后，罗荣桓、陈光和朱瑞都奔赴东北战场。罗荣桓担任了四野的政委，55年被授予元帅军衔；朱瑞成了东野的炮兵司令，在锦州战役中不幸牺牲；陈光先是担任东野纵队司令，后来又出任四野副参谋长，1954年在广州含冤去世，年仅49岁
