🥇【天风通信】谷歌发布Gemma2开源大模型（270亿参数）
继续看好AI之光
🔥事件：6月28日，
谷歌面向全球研究人员和开发人员发布 Gemma 2 大语言模型，
共有 90 亿参数（9B）和 270 亿参数（27B）两种大小。
相比较第一代，其推理性能更高、效率更高，并在安全性方面取得了重大进步。
谷歌表示为 Gemma 2 重新设计了整体架构，实现卓越的性能和推理效率。
🌹我们对此梳理如下：
🥇二代模型与一代相比较：
🚩模型版本：Gemma 2拥有两个版本：
90亿（9B）参数版本
270亿（27B）参数版本，
且各自拥有基础版和指令微调版。
🚩训练数据：
Gemma 2的训练数据量是一代版本的 2 倍，
27B版本使用13万亿 tokens，
9B模型使用8万亿tokens，
包括：英文、代码、数学的数据。
🚩许可：宽松许可，允许再分发、微调、商业使用和派生作品
🚩特点：高效率，低成本，易于部署是Gemma2的最大特点。
Gemma 2此次提供的双参数的版本，其推理性能和效率均优于第一代，并具有显著的安全性改进。
其中，
27B参数版本可以与体积超过其2倍的模型进行同等级别的竞争，并且提供了此前只有专有模型才能实现的性能，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，大大降低了部署成本。
🌟模型性能对比
🚩Gemma 2 相较于前代产品的技术升级
👉滑动窗口注意力：
每隔一层使用滑动窗口注意力（局部注意力，覆盖4096个tokens），其他层使用全局注意力（覆盖8192个tokens）。
在处理长文本时既可提高生成质量，又能减少内存和时间消耗
👉知识蒸馏：
使用更大的教师模型训练较小的学生模型，通过丰富的token概率分布提供更有意义的学习信号，可显著提升学生模型的生成质量
👉模型合并：
将多个LLM合并成为一个模型。Gemma2使用了Warp的新合并技术，主要包括三个阶段，指数移动平均，球面线性插值，向初始化线性插值，优点在于此技术可以在没有加速器的情况下使用，增强了模型的整体性能
👉Logit软封顶：
根据Gemini 1.5的方法，研究团队在每个注意力层和最终层限制logit，使得logit的值保持在−soft_cap和+soft_cap之间。
🥈谷歌Gemma 2与其他模型Llama3,Grok-1等的性能对比：
👉性能卓越：
Gemma2 27B模型在其同体积类别中提供了最佳性能，甚至可以与体积超过其两倍的模型竞争。Gemma2 9B模型也在其同等体积类别中表现出色，并超越了Llama3 8B和其他同类开放模型。
👉高效率、低成本：
27B Gemma 2模型设计用于在单个Google Cloud TPU主机、NVIDIA A100 80GB Tensor Core GPU或NVIDIA H100 Tensor Core GPU上以全精度高效运行推理，在保持高性能的同时大幅降低成本。这使得AI部署更加便捷和实惠。
👉超高速推理：
Gemma 2经过优化，能够在各种硬件上以高速运行。使用者可以在Google AI Studio上尝试全精度运行Gemma 2，也可以在CPU上使用Gemma.cpp的量化版本解锁本地性能，或者通过Hugging Face Transformers在家用电脑上使用NVIDIA RTX或GeForce RTX进行尝试。
☀全球科技巨头AI军备竞赛持续开展，AI算力持续收益，
我们继续看好AI之光。
核心：中际旭创，天孚通信，新易盛
目标：3个月+50%
必须给【天风通信团队】一个热烈的熊抱。哈哈，
