1929年3月，徐向前被组织分配到大别山区工作，开始了新的征程。
由于徐向前是黄埔出身，参加过广州起义，且在海陆丰当过红4师师长，所以他来到大别山后，被任命为红11军31师副师长。当时，红31师的师长是吴光浩同志，他也是参加过北伐的黄埔学生，还是黄麻起义的领导人之一，在部队中威望很高。但徐向前到的时候，吴光浩师长已经在和民团的作战中牺牲了。
为了避免影响部队和群众的情绪，组织决定暂时不公开这一消息，所以徐向前名义上是副师长，实际负责全师的军事指挥。当时和他搭档的师党代表是戴克敏，师参谋长是曹学楷。他们也都是参加过黄麻起义的。
徐向前这个山西人初来扎到，人生地不熟，他说话别人听不懂，别人说话他也听不懂，还要参谋长曹学楷当翻译。这无疑给徐向前的领导造成了很大的影响。而且，当时鄂东北的领导机构是特委，徐向前虽然是副师长，但不是特委的委员，特委开会的时候，大家一般都不通知他，只有少数时候才叫他一起去讨论军事问题。除此之外，特委有了什么命令，就由特委常委曹学楷通知他，让他执行。
那个时候红31师有4个团，一团的党代表是王树声，最为土生土长的本土干部，他对徐向前这个瘦弱的副师长能不能领导部队有一些怀疑。很快，徐向前就等来了证明自己的机会。
1929年6月底，徐向前刚刚到任没多久，就遇到了敌人的“围剿”。这次“围剿”在四方面军史上被叫做“罗李会剿”，因为前来“围剿”的两支部队，是罗霖率领的2个团和李克邦率领的一个营和红枪会5000多人。
由于事情没有情报，红31师仓促迎战，徐向前认为部队不能硬顶，而应该撤离根据地，和敌人兜圈子。转移到来家河后，徐向前下令部队和敌人打了一仗，结果由于缺乏严格的纪律和过硬的战斗作风，刚一接触，我们的部队听见敌人的机枪声，就一下跑散了，漫山遍野都是“跑反”的士兵和群众。
第一仗就打败了，很多人都因此怀疑徐向前，但徐向前不为所动，他已经通过几天的观察熟悉了我们部队和敌人部队的一些大致情况。他分析后认为，我们的部队作战能力不强，应该采取田忌赛马的战术，进攻敌人更弱的部队，而不是硬碰硬。他把目光对准了李克邦率领的土匪部队和红枪会，决定对他们主动发起进攻。在做了周密部署后，徐向前率领31师的两个团猛扑李克邦的阵地，他身先士卒，沉着应对，连续指挥了5次战斗，击毙了李克邦部近百人，还击毙了一个敌军营长，俘虏了红枪会的戴五爷，一仗就把红枪会这个反动民团给打垮了。
李克邦吃了大亏，连忙撤退。罗霖看到李克邦撤退，所部又不断受到游击队的袭扰，也赶快撤退了。就这样，徐向前用了不到半个月的时间，就粉碎了“罗李会剿”。
此战之后，王树声心服口服，找到徐向前拜师学艺，问他是怎么部署指挥的，徐向前说很简单，就是捡软柿子捏，王树声听了徐向前的一通分析恍然大悟，才知道这位瘦弱的副师长有着惊人的胆魄的才能，自此口服心服。当时王树声才24岁，此后他在徐向前的领导下，成长为红四方面的副总指挥，开国大将。
徐向前晚年写回忆录，回忆自己初到大别山的情况时说：回想起来，我那时能在部队站住脚，很重要的一条就是能带着部队打仗。我在黄埔学过，在海陆丰参加过作战，有游击经验，带着大家打游击，不断打胜仗，没吃过大亏。另一条就是脚踏实地，埋头苦干。工作中出了问题，主动承担责任，不埋怨别人。搞了一段时间后，人家看你这人还行，能带部队打仗，能和群众打成一片，没有什么官架子、特殊化，慢慢地就信任你了。
