新智元报道
编辑：peter东 乔杨
【新智元导读】非营利研究机构AI2近日推出的完全开放模型OLMo 2，在同等大小模型中取得了最优性能，且该模型不止开放权重，还十分大方地公开了训练数据和方法。
最近，非营利研究机构AI2上新了OLMo2系列模型，他们称之为「迄今为止最好的完全开源模型」。
OLMo 2系列包含7B和13B两个型号，相比如Llama 3.1和Qwen 2.5等开源模型达到了同等甚至更优的性能，同时FLOPS计算量更少，在性能和计算效率之间取得了极佳的平衡，为开源LLM开辟了新的可能性。
不同大小开源模型的性能对比，OLMo 2的表现优于同参数规模模型
在多个下游任务上，OLMo 2展现出了强大的泛化能力和适应能力。在10个基准上，OLMo-2-13B的性能全面超越了Llama-2-13B，OLMo-2-8B的基准均分也超过了Llama-3.1-8B。
训练过程全公开
不同于Llama、Qwen这类只开源模型权重的项目，这次AI2也秉持了一贯的开源风格，即不止发布了训练好的OLMo 2模型权重，还公开了训练数据、代码、训练过程。这无疑为之后的LLM的研究和应用提供了宝贵的资源。
论文地址：https://arxiv.org/pdf/2501.00656
OLMo 2的训练过程分为3个阶段，分别是预训练、中期训练和后期的指令调优。预训练数据混合了高质量的网页数据、代码数据和学术论文数据等。
在预训练阶段，OLMo 2通过多种技术改进了训练稳定性，例如过滤重复的n-gram、使用更好的初始化方法、架构改进和超参数调整。这确保了模型在训练过程中不会出现崩溃或损失激增，从而提高了最终模型的性能。
预训练使用的高质量数据集
中期训练阶段使用高质量的领域特定数据（例如数学数据），以及合成数据，来增强模型的能力，特别是在数学任务上的表现；加上微退火技术评估以及选择高质量的数据源，进一步优化了中期训练的效果。
中期训练使用的高质量数据集
最后的指令调优阶段，研究人员基于Tülu 3的指令调优方法，开发了OLMo 2-Instruct模型，专注于使用许可数据，并扩展最终阶段的强化学习与可验证奖励（RLVR）。
此外，监督微调（SFT）、直接偏好优化（DPO）和RLVR等多阶段训练，显著提高了模型的指令跟随能力和生成质量。
OLMo 2的开源是全方位的，包括所有用于复制和扩展这些模型所需的训练和评估代码、数据集、模型检查点、日志及超参数的选择等，相比只开源权重，使更多研究人员和开发者能够使用和改进这些模型。
通过开源所有组件，OLMo 2促进了对语言模型行为和使用的理解和研究，促进语言模型研究的透明度和可重复性，这些足以成为之后研究所依赖的基础设施。
OLMo 2 7B和13B模型的训练过程中的超参数
多管齐下造就「低碳」LLM
在大规模语言模型训练中，计算资源和环境影响是不可忽视的因素。Deepseek V3能够以20分之一的成本进行训练，而OLMo 2团队也通过减少主机-设备同步、数据预处理、数据缓存等多种方法降低了训练成本，并取得了显著的成效。
OLMo 2的训练主要在两个集群上进行：Jupiter和Augusta。Jupiter集群配备了128个节点，每个节点有8张H100，总共1024个GPU；Augusta集群由160个A3 Mega虚拟机组成，每个虚拟机也有8张H100，总共1280个GPU。
OLMo 2的7B模型在4.05万亿token上进行训练，13B模型在5.6万亿token上进行训练。训练时间取决于模型的参数规模和训练数据量。
同时为了降低能源消耗，团队使用水冷系统来降低GPU的温度和功耗，从而提高训练效率并降低电力成本。
这些措施加在一起，相比训练同大小的Llama 3.1所消耗的1022MWh电力，OLMo 2 7B训练过程中总计只消耗了131MWh的电力，相当于只有约10分之一的耗电量，显著降低了训练过程消耗的算力，能源及碳足迹。
OLMo 和Llama训练能耗的对比
OLMo 2的发布，标志着开源LLM的持续进步，为相关领域的研究建立一个新生态系统。在这个生态系统中，新的训练方法和技术需要被理解和分享。
参考资料：
https://allenai.org/blog/olmo2
