机器之心报谈台灣 拳交

机器之心剪辑部

谷歌也来卷「小」模子了，一动手即是王炸，胜过了比我方参数多得多的GPT-3.5、Mixtral竞品模子。

本年 6 月底，谷歌开源了 9B、27B 版 Gemma 2 模子系列，况兼自亮相以来，27B 版块赶紧成为了大模子竞技场 LMSYS Chatbot Arena 中名次最高的盛开模子之一，在真确对话任务中比其两倍规模以上的模子施展还要好。

如今，只是畴昔了一个多月，谷歌在追求负包袱 AI 的基础上，愈加地计议该系列模子的安全性和可打听性，并有了一系列新恶果。

这次，Gemma 2 不仅有了更轻量级「Gemma 2 2B」版块，还构建一个安全内容分类器模子「ShieldGemma」和一个模子可讲授性器具「Gemma Scope」。具体如下：

Gemma 2 2B 具有内置安全立异功能，杀青了性能与效率的强劲均衡；ShieldGemma 基于 Gemma 2 构建，用于过滤 AI 模子的输入和输出，确保用户安全；Gemma Scope 提供对模子里面使命旨趣的无与伦比的瞻念察力。

其中，Gemma 2 2B 无疑是「最凝视的仔」，它在大模子竞技场 LMSYS Chatbot Arena 中的适度令东谈主目前一亮：仅凭 20 亿参数就跑出了 1130 分，这一数值要高于 GPT-3.5-Turbo（0613）和 Mixtral-8x7b。

这也意味着，Gemma 2 2B 将成为端侧模子的最好遴荐。

苹果机器学习照顾（MLR）团队照顾科学家 Awni Hannun 展示了 Gemma 2 2B 跑在 iPhone 15 pro 上的情况，使用了 4bit 量化版块，适度潜入速率是十分快。

视频来源：https://x.com/awnihannun/status/1818709510485389563

此外，关于前段时辰许多大模子齐翻了车的「9.9 和 9.11 谁大」的问题，Gemma 2 2B 也能应答拿握。

图源：https://x.com/tuturetom/status/1818823253634564134

与此同期，从谷歌 Gemma 2 2B 的强劲性能也不错看到一种趋势，即「小」模子慢慢领有了与更大尺寸模子匹敌的底气和遵守上风。

这种趋势也引起了一些业内东谈主士的关注，比如驰名东谈主工智能科学家、Lepton AI 独创东谈主贾扬清提议了一种不雅点：诳言语模子（LLM）的模子大小是否正在走 CNN 的老路呢？

在 ImageNet 期间台灣 拳交，yeyelu咱们看到参数大小快速增长，然后咱们转向了更小、更高效的模子。这是在 LLM 期间之前，咱们中的许多东谈主可能仍是健忘了。

大型模子的朝阳：咱们以 AlexNet（2012）看成基线启动，然后资历了纯粹 3 年的模子大小增长。VGGNet（2014）在性能和尺寸方面齐可称为强劲的模子。减轻模子：GoogLeNet（2015）将模子大小从 GB 级减轻到 MB 级，减轻了 100 倍，同期保持了讲求的性能。肖似使命如 SqueezeNet（2015）和其他使命也顺服肖似的趋势。合理的均衡：自后的使命如 ResNet（2015）、ResNeXT（2016）等，齐保持了适中的模子大小。请把稳，咱们骨子上很乐意使用更多的算力，但参数高效通常迫切。斥地端学习？MobileNet（2017）是谷歌的一项非凡趣味的使命，占用空间很小，但性能却相等出色。上周，我的一个一又友告诉我「哇，咱们仍然在使用 MobileNet，因为它在斥地端具有出色的特征镶嵌通用性」。是的，镶嵌式镶嵌是实果真在很好用。

终末，贾扬清发出灵魂一问，「LLM 会顺服通常的趋势吗？」

图像出自 Ghimire 等东谈主论文《A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration》。

Gemma 2 2B 越级卓越 GPT-3.5 Turbo

Gemma 2 家眷新增 Gemma 2 2B 模子，备受众人期待。谷歌使用先进的 TPU v5e 硬件在巨大的 2 万亿个 token 上考验而成。

这个轻量级模子是从更大的模子中蒸馏而来，产生了相等好的适度。由于其占用空间小，非凡顺应斥地欺诈门径，可能会对出动 AI 和边际考虑产生紧要影响。

事实上，谷歌的 Gemma 2 2B 模子在 Chatbot Arena Elo Score 名次中胜过大型 AI 聊天机器东谈主，展示了微型、更高效的话语模子的后劲。下图表潜入了 Gemma 2 2B 与 GPT-3.5 和 Llama 2 等驰名模子比拟的超卓性能，挑战了「模子越大越好」的不雅念。

Gemma 2 2B 提供了：

性能超卓：在同等规模下提供同类最好性能，卓越同类其他开源模子；部署纯真且经济高效：可在各式硬件上高效运行，从边际斥地和条记本电脑到使用云部署如 Vertex AI 和 Google Kubernetes Engine (GKE) 。为了进一步擢升速率，该模子使用了 NVIDIA TensorRT-LLM 库进行优化，并可看成 NVIDIA NIM 使用。此外，Gemma 2 2B 可与 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及行将推出的 MediaPipe 无缝集成，以简化开发；开源且易于打听：可用于照顾和交易欺诈，由于它裕如小，以致不错在 Google Colab 的 T4 GPU 免费层上运行，使实践和开发比以往愈加简便。

从今天启动，用户不错从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模子权重。用户还不错在 Google AI Studio 中试用其功能。

下载权重地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

Gemma 2 2B 的出现挑战了东谈主工智能开发规模的主流不雅点，即模子越大，性能当然就越好。Gemma 2 2B 的告捷标明，复杂的考验技艺、高效的架构和高质地的数据集不错弥补原始参数数目的不及。这一冲突可能对该规模产生深远的影响，有可能将焦点从争夺越来越大的模子摇荡到立异更小、更高效的模子。

皮皮娘

Gemma 2 2B 的开发也突显了模子压缩和蒸馏技艺日益增长的迫切性。通过灵验地将较大模子中的常识索要成较小的模子，照顾东谈主员不错在不就义性能的情况下创建更易于打听的 AI 器具。这种门径不仅缩短了考虑条件，还处置了考验和运行大型 AI 模子对环境影响的担忧。

ShieldGemma：开头进的安全分类器

技艺陈述：https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf

ShieldGemma 是一套先进的安全分类器，旨在检测和煦解 AI 模子输入和输出中的无益内容，匡助开发者负包袱地部署模子。

ShieldGemma 特意针对四个关节危害规模进行策画：

仇恨言论零乱色情内容危机内容

这些盛开分类器是对负包袱 AI 器具包（Responsible AI Toolkit）中现存安全分类器套件的补充。

借助 ShieldGemma，用户不错创建愈加安全、更好的 AI 欺诈

SOTA 性能：看成安全分类器，ShieldGemma 仍是达到行业率先水平；

规模不同：ShieldGemma 提供各式型号以得志不同的需求。2B 模子相等顺应在线分类任务，而 9B 和 27B 版块则为不太鼎新蔓延的离线欺诈门径提供了更高的性能。

如下表所示，ShieldGemma (SG) 模子（2B、9B 和 27B）的施展均优于统共基线模子，包括 GPT-4。

Gemma Scope：让模子愈加透明

Gemma Scope 旨在匡助 AI 照顾界探索怎么构建更易于交融、更可靠的 AI 系统。其为照顾东谈主员和开发东谈主员提供了前所未有的透明度，让他们有时了解 Gemma 2 模子的方案历程。Gemma Scope 就像一台强劲的显微镜，它使用寥落自编码器 (SAE) 放大模子的里面使命旨趣，使其更易于讲授。

Gemma Scope 技艺陈述：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

SAE 不错匡助用户理会 Gemma 2 处理的那些复杂信息，将其蔓延为更易于分析和交融的体式，因而照顾东谈主员不错赢得关系 Gemma 2 怎么识别步地、处理信息并最终作念出推测的端庄办法。

以下是 Gemma Scope 具有草创性的原因：

盛开的 SAE：朝上 400 个免费 SAE，涵盖 Gemma 2 2B 和 9B 的统共层；交互式演示：无需在 Neuronpedia 上编写代码即可探索 SAE 功能并分析模子行动；易于使用的存储库：提供了 SAE 和 Gemma 2 交互的代码和示例。

参考链接：

https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/台灣 拳交