白交 发自 凹非寺
量子位 | 公众号 QbitAI
单GPU就能跑的最强模型来了！
谷歌最新模型Gemma 3，主打开源与高效。
27B轻松击败671B满血的DeepSeek V3、o3-mini、Llama-405B，仅次于R1。
而从所需算力来看，其他模型要实现差不多的性能，所需算力资源至少增加10倍，有的情况下甚至高达32倍。
在ChatBot Arena Imarena大模型竞技场中，Gemma 3也跻身Top 10，不仅在同等参数量模型中达到SOTA，开源模型里也仅次于R1。
网友们纷纷表示惊呆，尤其对单GPU就能跑、128K上下文印象深刻。
不过除了这剧情是不是有点似曾相识，有人注意到为啥没有跟QwQ 32B比较。
目前，Gemma 3可以直接在Google AI Studio上体验，在包括抱抱脸、Ollama或者Kaggle等平台下载。
可在单个GPU运行的最强模型
此次Gemma 3有四个版本，27B是最大，还有1B、4B、12B。既有预训练模型，也有通用指令微调版本。
展开来看，主要有这些特点：
- 单GPU/TPU运行：Gemma 3在单GPU/TPU运行情况下，在LMArena排行榜的初步人类偏好评估中胜过Llama-405B、DeepSeek-V3和o3-mini。
如此高效的模型性能不在端侧应用部署可惜了。谷歌也专门给了教程和案例，手把手教的那种。
比如1B模型量化版在手机端运行，在三星Galaxy S24 Ultra上运行的性能如下：
还有在电脑Web端本地创建社媒内容。
MacBook Pro 2023（Apple M3 Pro 芯片）性能如下：
- 多模态和多语言，可以分析图片、文本、短视频等模态。
语言语种方面，提供对超过35种语言的开箱即用支持；以及对超过140种语言的预训练支持。
- 多工具支持灵活开发，支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和Gemma.cpp的等平台。
- 128k Token上下文窗口
另外还支持函数调用、结构化输出，以帮助您自动执行任务并构建Agent，官方还引入了量化版本。
他们还推出了ShieldGemma 2：一款基于Gemma 3构建的4B图像安全检查器。开发人员可以定制 ShieldGemma 2来满足他们的安全需求。
更多技术细节
与模型一同发布的，还有一份25页的技术报告，里面有不少细节。
如何训练的？
此次结合蒸馏、强化学习和模型合并等方法，对Gemma的前训练和后期训练过程进行了优化。
Gemma 3使用了与Gemma 2一样的Tokenizer，支持140多种语言，并使用JAX框架在Google TPU上对1B的2T tokens、4B的4T tokens、12B的12T tokens和27B的14T tokens进行了训练。
在后训练方面，Gemma 3使用了4个组件：
- 从较大的指令模型中提炼出Gemma 3预训练检查点。
- RLHF，使模型预测与人类偏好保持一致。
- 从机器反馈中强化学习RLMF，以增强数学推理能力。
- 执行反馈强化学习(RLEF)，以提高编码能力。
这种方法提高了数学、编码和指令跟踪方面的性能，使其在LMArena分数达到了1338分。
与之前的版本相比情况：
正文最后一页还放了主要作者们，共同一作共有16位。
OMT：英伟达直接参与优化
除此之外，在技术报告里还看到了这些亮点。
首先，英伟达直接参与了Gemma 3模型的优化，以确保其在任何规格的GPU上都能获得最佳性能，包括Jetson Nano 到最新的Blackwell芯片。
而在英伟达API目录中也出现了Gemma 3，只需调用API即可快速进行原型设计。
针对谷歌自家的TPU，Gemma 3也进行了优化，并通过开源ROCmTM堆栈与AMD GPU集成。还有CPU的解决方案。
Gemma 3还附带了改进的代码库，其中包括高效微调和推理的配方。开发者可以根据特定需求来定制和调整模型。
在其他模型火热的当下，Gemma系列已经来到了一周年，下载量已经默默超过1亿次，在社区中又超过60000个变体诞生。
如今在开源模型这块的竞争，又激烈了不少。
最后，感兴趣的朋友可直接戳下方链接哦~
https://aistudio.google.com/prompts/new_chat
参考链接：
[1]https://blog.google/technology/developers/gemma-3/
[2]https://x.com/sundarpichai/status/1899779090472644881?s=46
[3]https://developers.googleblog.com/en/introducing-gemma3/
