抗日战争全面爆发后不久，国共两党开始合作抗日，并商议陕北红军的改编问题。当时陕北一带的红军主力有七万多人，延安方面希望可以编成四个军，101、贺龙、刘伯承和徐向前分别担任军长。如果和国民党的主力军相比，7万多人的部队要编成四个军的话，兵力似乎少了点。但如果和阎锡山的晋军相比，7万多人的红军要编成四个军的话完全是绰绰有余的。
但蒋介石不愿意八路军快速发展，因此改编谈判很艰难。为了尽快开赴前线抗日，延安方面做出了很大的让步，这才在改编问题上达成了一致。最终陕北一带的红军主力改编为八路军，下辖三个师，每个师定员15000人。其中红一军团、红15军团和部分陕南红军改编为115师，红二方面军和部分陕北红军合编为120师，红四方面军所属的红4和红31军加上部分陕北红军合编为129师。
在师长人选上，红一军团军团长101成了115师的师长；红二方面军总指挥贺龙当了120师的师长。这是很合常理的，因为115师的主体是红一军团，120师的主体是红二方面军。在这种情况下，101和贺龙出任115师与120师的师长也就顺理成章了。按照这个改编原则，129师的主体是红四方面军，那么师长就该由徐向前来担任，因为他是红四方面军的总指挥。
但最终刘伯承担任了129师的师长，徐向前成了副师长，这是为何呢？1935年6月，长征中的中央红军和红四方面军在懋功会师。当时中央红军经过连续苦战，兵力损耗很大，仅剩下了一万多人，粮弹也很缺乏，而红四方面军却有八万之众，兵精粮足。张国焘见状，野心开始膨胀，他自恃兵强马壮，不断向中央索要权力。当上红军总政委后仍不满足，还妄图用武力迫使中央红军和自己一道南下。
张国焘之所以执意要南下，是因为他觉得四川军阀都是自己的手下败将，根本不经打。之所以有这个判断，源于反三路围攻和反六路围攻的胜利。但毛主席的看法却恰恰相反，他认为南下并“赤化全川”，等于端四川军阀的老巢。刘湘等人为了保住自己的地盘，肯定会联合起来与红军死战。当时四川军阀的总兵力加起来将近30万人，比中央红军和红四方面军的兵力多出了20万，同时红军南下远离根据地，是无后方作战，后勤补给和伤病员的安置都是大问题。
因此毛主席断定南下是绝路。由于分歧无法解决，最终双方在草地分兵。北上之前，毛主席专门找到了徐向前，征求他的看法，希望他能和自己一起北上。徐向前在红四方面军付出了太多的心血，对这支部队有着特殊的感情，而且他对南下作战也持乐观态度。最终他没有跟随毛主席北上，后来在回忆这段经历时，徐帅称自己犯了“抱憾终生”的错误。
南下之初，红四方面军打了一些胜仗，但很快就在百丈关决战中失利，损兵过半，不得不再过草地北上。1936年10月，红军三大主力胜利会师。之后为了打通苏联援助的通道，徐向前带领红四方面军主力两万多人渡过黄河与马家军作战。由于兵力相差悬殊，再加上孤立无援，西路军苦战后失利。陈昌浩和徐向前离开部队回延安向上级汇报，留下的部队由李先念和王树声等人负责指挥。
徐向前不愿意走，想留下来和大家一起面对困难，后来他在回忆录中这样写道“散会后，我还想动员陈昌浩，不要回陕北。我拉着他的手，恳切地说：昌浩同志，我们的部队都垮了，孤家寡人回陕北去干什么，我们留下来，至少能起到稳定军心的作用，我看还是不要走吧！”但陈昌浩认为，徐向前留下来的话，目标太大，因此坚持要他回陕北。
此时延安正在想方设法营救西路军，并为此成立援西军，下辖红4军、红28军、红31军和红32军，刘伯承出任司令员，张浩担任政委。援西军成立后就从崇信出发，经过十多天的行军到达了平凉地区，此时得知西路军已经彻底失败。请示中央后，刘伯承率人停留在了镇原和平凉一带，负责收容西路军的失散人员。1937年4月末，正在屯字镇侦察的耿飙发现了好不容易冲出马家军围追堵截的徐向前。
后来耿飙在回忆当时的情景时这样写道：“1937年4月29日，天下了一点雨，我带了3个骑兵在屯字镇侦察，发现了一个穿长袍的商人模样的人，腋下夹着一把伞，正坐在一个茶棚里喝茶。我一眼就认出了他，赶紧大喊：‘徐总指挥！徐总指挥！’。他一愣，慢慢回过头来，我赶忙摘下帽子，让他看清我的面貌。徐向前同志认出了我，叫了一声：‘耿飚！’，眼泪就下来了。”
之后耿飙派人将徐向前送到了援西军司令部，见到刘伯承后，徐向前强忍悲痛说道：“伯承同志，西路军失败了，我对不起党!”。刘伯承一把握住徐向前的手，真诚地说：“向前同志，你不要难过!你回来了，就等于西路军回来了!”在镇原停留了几日后，刘伯承派专人将徐向前护送回了延安。毛主席得知消息后第一时间来看望徐向前，拉着他的手说："留得青山在，不怕没柴烧。你能回来就好，有鸡就有蛋！"
几个月后，抗日战争全面爆发，陕北红军改编为八路军。当时援西军依然存在，以其为主体，改编成了129师。刘伯承是援西军的司令，顺理成章地出任了129师的师长。如果西路军成立的时候，徐向前没有过黄河而是留在了延安；又或者刘伯承没有担任援西军的司令，则129师的师长一职，一定非徐向前莫属。虽然徐向前最终担任了129师的副师长，但很快他就被派到冀南独当一面。不久后再次被毛主席委以重任，掌舵山东八路军。
