1946年9月19日，苏皖解放区首府淮阴不幸失守。淮阴作为华中主要工商业地区的重要城市，战略地位不言而喻，其失守对华东野战军而言堪称重创，致使兵力补充、后勤补给以及部队的回旋空间均受到了致命打击。
两淮失守之后，华中地区的局势急转直下。薛岳自北向南，李默庵由南向北，对山东野战军和华中野战军形成了南北夹击之势，苏中地区瞬间沦为敌后，华中野战军的回旋余地被极大地压缩。此前，山东野战军在泗县的战斗中也遭遇挫折，伤亡多达2000余人，士气受到了极大影响。
因泗县之战的失利以及两淮地区的失守，山东野战军领导人员的指挥能力遭到诸多质疑，山东野战军参谋长宋时轮引咎辞职，司令员陈毅也受到了批评。不过，在淮阴失守的第二天，粟裕展现出卓越的战略眼光，向陈毅提出建议，主张山东野战军和华中野战军携手作战，以此扭转当下的不利局面。
毛主席高瞻远瞩，很快同意了粟裕的建议，决定将山东野战军和华中野战军合并为华东野战军，任命陈毅为司令员，粟裕为副司令员，明确军事指挥权归粟裕。
1946年10月6日，薛岳派遣两个整编师向鲁南解放区发起进攻，枣庄等地相继沦陷。粟裕当机立断，迅速集中华中野战军和山东野战军的主力，准备北上对徐州形成威胁。可就在部队即将行动之际，张灵甫率领的整编74师如幽灵般从南面悄然逼近。
张灵甫的整编74师在淮阴战役中立下大功后，原来是准备调到南京休整的，但因苏北方面的战役仍在继续，张灵甫便打算先结束苏北战役，再回南京。张灵甫毕业于黄埔军校第四期，曾在北京大学历史系学习，他写得一手好书法，且有着很高的军事才能，其率领的整编74师是国军五大主力之一，号称蒋介石的“御林军”。
当粟裕判断张灵甫此举是想攻打涟水时，便要求暂缓北上，先歼灭南线的敌人。对于粟裕的建议，陈毅表示同意，但他只同意华中野战军南下，而自己要率山东野战军北上，去保卫鲁南解放区。
陈毅的这一做法立刻遭到了华中分局书记张鼎丞等人的反对，他们认为山东野战军和华中野战军刚刚合并，现在又要分开，对未来的战局不利，对全国战局也会产生很大的危害。张鼎丞还直接向延安总部发去电报，坚决反对陈毅率山东野战军北上的做法。
粟裕当时很着急，他率华中野战军和整编74师打了几回合，就知道了张灵甫的想法，确实是要打涟水。但是华中分局和陈毅的争议让他很着急，他想的是，如果失去了山东野战军，仅凭借华中野战军，是否能完成自己的计划，也就是重创整编74师。
在军事问题上，粟裕一向很坦白，他直接向中央阐明了自己的观点：鲁南不保，华中固然难以坚持，但华中如果不保，不光鲁南，还将给鲁中甚至整个山东造成很大的困难。中央征询陈毅的看法，陈毅不仅坚持自己的意见，还提出要把华中野战军，山东野战军全部调入鲁南作战。
战机稍纵即逝，在这关键时刻，中央支持粟裕，并决定将山东野战军，华中野战军的战役指挥权全部交给粟裕，陈毅表示服从命令。
1946年10月17日，张灵甫率领整编74师的三个主力旅还有配属给整编74师的整编28师一个旅，向涟水发动进攻。张灵甫在行动之前，把特工潜伏到了涟水城内，10月19日，这名特工报告给张灵甫说涟水城内只有一个团的兵力。张灵甫大喜，立刻命令整编74师对涟水发动进攻，向涟水外围快速推进。
但是张灵甫不知道的是，他派去涟水的这名特工早就被华中野战军的保卫机关盯上了，保卫机关几次想抓他，但是都被粟裕制止，这名特工发送的所有电报都被粟裕的“四中队”破译。
当时涟水城里确实只有一个团，是山东野战军第二纵队第五旅15团，团长李士怀，这支部队是粟裕亲自部署在城内。但是城外的部队可不少，成均的第五旅另外两个团，还有一个独立团，共三个团的兵力都在涟水城外，这三个团是机动部队，可以随时对城内进行增援。
