在许多人的认知里，第二次世界大战中的纳粹德国陆军一定是机械化程度较高的队伍，拥有大量坦克、装甲车和汽车，其实德军中还有骑兵，不过只有一个骑兵师，即第1骑兵师。第一次世界大战中，坦克登上战争舞台，各国的骑兵逐渐没落。到了三十年代中期，纳粹德国陆军重点发展装甲机械化部队，大批骑兵部队改编为摩托化部队。
截止到第二次世界大战爆发前的1938年，德军还有一个骑兵旅，这个旅是基于那些出身骑兵的贵族军官的坚持而保留的。德军唯一的这个骑兵旅是在1936年4月1日，在原魏玛共和国第5骑兵旅的基础上组建的，番号为第1骑兵旅，下辖第1、2骑兵团，他们分别驻扎在因斯特堡和安格尔堡。
1939年9月1日，德军向波兰发动进攻，第二次世界大战全面爆发。当时第1骑兵旅属于德军北方集团军群第3集团军战斗序列，从东普鲁士出发向波兰南部发起进攻，于9月13日挺进到波兰首都华沙城下，在那里与波军残部战斗至9月17日，之后撤到萨克森州休整。
1939年10月25日，第1骑兵旅在德累斯顿扩编为第1骑兵师，下辖第1、2、21、22骑兵团和第1骑炮兵团。该部为德军唯一的师级骑兵部队，首任师长为库尔特·费尔特中将，部队编制约10000人，配备28门37毫米战防炮和75毫米山炮。
德军在1940年5月10日打响了西欧战役，第1骑兵师作为B集团军群第18集团军指挥下的部队，跨越德荷边境，向荷兰发起进攻。在德军强大的攻势下，短短五天荷兰就投降了，第1骑兵师就地休整。6月初，第1骑兵师的铁蹄又开始了征战，在法国北部加入第4集团军的战斗序列。
第1骑兵师在强渡索姆河的战斗中表现出色，打垮了一部分法军后坚守阵地，掩护其他德军渡河。在向法国纵深推进中，第1骑兵师与友军密切协同，在法国首都巴黎以北地区渡过塞纳河，对巴黎实施包围。1940年6月下旬法国战役结束后，第1骑兵师承担大西洋沿岸的拉罗谢尔和罗什福尔地区的占领任务。
1941年3月，第1骑兵师调往波兰，与其它德军部队为进攻苏联做准备。6月22日，该部归属中央集团军群第2装甲师的战斗序列，攻入苏联后沿白俄罗斯普里佩特沼泽北侧行动，负责古德里安指挥的装甲部队南翼安全。
普里佩特沼泽是欧洲最大的沼泽地，这里河川纵横、植物茂密、潮湿泥泞，德军那些装甲部队的车辆难以通行。第1骑兵师的马匹此时显现出优势，在复杂的地形中往来机动，有效保障了装甲机械化部队侧翼的安全。
第1骑兵师后来又参加了基辅和不良斯克战斗，由于东欧大平原有利于装甲部队作战，在开阔地形骑兵容易遭受空中和地面火力的打击，因此该部于10月25日调离前线，撤到白俄罗斯东南部戈梅利地区休整。
尽管第1骑兵师在二战初期的表现比较出彩，但那是在己方实力占优势的情况下创造的，如果地方火力强悍，脆弱的马匹很难有生存力，因此德军统帅部下决心将骑兵师改编为装甲师。1941年11月28日，第1骑兵师在东普鲁士的斯塔不拉克进行改编，授予新番号为第24装甲师，师长还是费尔特中将。该部的17000匹战马被分配给各步兵师，用于牵引火炮和驮运辎重。
