1941年6月22日，希特勒撕毁了《苏德互不侵犯条约》，悍然发动了对苏联的突然袭击。布琼尼被最高统帅部大本营任命为西南方向总司令，管辖西南方面军和南方面军。斯大林在给布琼尼送行时，要求他无论如何必须守住乌克兰的首府基辅：“您要用脑袋对基辅负责，所以您要考虑如何阻挡敌人，我手里暂时没有预备队，困难无论有多大，您不要提出什么要求，以免浪费时间。”布琼尼深感责任重大，当天就赶到了基辅。
布琼尼抵达基辅后马上向全体指战员发出战斗号召，号召他们与敌人决一死战，直至最后一粒子弹。在基辅市郊战斗的危急时刻，他在西南方面军指挥所，多次前往前沿阵地视察。7月12日，参谋长波克罗夫斯基向他报告说，西南方面军的情况十分危急。他马上亲临前线指挥战斗。那时德军的第13坦克师已经到了离基辅只有20公里的设防区前沿。苏军不敌德军的坦克优势，在苦战后开始向后撤退。当波克罗夫斯基向他报告这一情况时，他很不高兴。德国人用飞机在前沿阵地上散发的传单说，古德里安过两个星期将迫近基辅。布琼尼命令炮兵向敌军前沿部队猛烈开火，又让所有的飞机出动予以支援，使德军的进攻一度受挫。
尽管苏军的炮火和空中优势发挥了一定的威力，德军古德里安的坦克部队还是突破了勃良斯克前线，接着攻打科诺托普和切尔尼戈夫，其意图在于从第聂伯河的东岸避开苏军的基辅集团，造成两面夹击。由于苏军叶列缅科带领的部队没有击溃古德里安的坦克群，一夜之间，敌坦克就突入罗姆内，对西南方面军形成包围之势。这一夜，布琼尼一分钟也没有合眼。他经过仔细考虑后，向大本营提出了撤军的请示。
总参谋长沙波什尼科夫元帅回电说：“最高统帅部大本营认为现在撤军尚为时过早。”布琼尼不得不把这一危急情况直接通报给大本营最高统帅斯大林：“西南方面军军事委员会认为，根据目前的局势必须准许前线部队撤退到后方……敌人想包围西南方向军的意图已充分暴露出来，为了打乱敌人的这一意图，必须组建一支强有力的部队集群，那么西南方面军的撒退完全是适时的。”斯大林的回电让布琼尼深感失望：“基辅要守住，桥梁不得炸毁……”最高统帅部大本营仍不批准撤退，布琼尼不得不发出决一死战的命令。然而就在他收到斯大林复电的同一天，他被告知，大本营决定撤掉他西南方向总司令的职务，由铁木辛哥元帅接任。
布琼尼被撤职后，立即回莫斯科前往克里姆林宫，向斯大林请求立即批准撤军：“基辅的命运已定，希特勒法西斯分子很快将占领它。”果然不出布琼尼所料，铁木辛哥接替他后，基辅的危急情况不仅没有解除，反而更加紧张了。苏军部队在奋战71天之后，于9月19日被迫撤离基辅。
