Llama3发布,开源大模型迎重要进展

发布于: 雪球转发:0回复:0喜欢:0

行业动态:

4 月 18 日,Meta 正式发布了开源大模型——Llama-3。据悉,Llama-3共有 80 亿、700亿两种参数,分为基础预训练和指令微调两种模型。Llama 3 的主要亮点包括:(1)基于超过 15T token 训练,相当于 Llama 2 数据集的 7 倍还多;(2)支持 8K 长文本,改进的 tokenizer 具有 128K token 的词汇量,可实现更好的性能;(3)在大量重要基准中均具有最先进性能,Llama 3 8B 在 MMLU、GPQA、HumanEval、GSM-8K 等多项基准上超过谷歌 Gemma 7B 和 Mistral 7B Instruct,Llama 3 70B 也在MMLU、HumanEval、GSM-8K 等基准上超越了闭源的谷歌 Gemini Pro 1.5、Claude 3 Sonnet;(4)新能力范畴,包括增强的推理和代码能力;(5)训练效率比 Llama 2 高 3 倍;(6)带有 Llama Guard 2、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具。基于最新的 Llama 3 模型,Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用,并单独开启了网站。另外还有一个图像生成器,可根据自然语言提示词生成图片。此外,Llama 3 系列最大模型规模将超过 4000 亿参数,目前正在训练中,英伟达科学家Jim Fan 认为,这一版本未来的推出将意味开源社区的一个分水岭,开源模型将一举翻越 GPT-4 这一高峰。

投资观点:

建议关注:(1)AI 算力:工业富联中科曙光浪潮信息软通动力神州数码拓维信息海光信息寒武纪景嘉微等;(2)AI 应用:科大讯飞金山办公万兴科技同花顺佳发教育新致软件鼎捷软件焦点科技等。

“分享的题材方向和题材的研报,旨在为您梳理选股方向,您可以加自选关注,但是不构成投资建议,不作为买卖依据,您应当基于审慎原则自行参考,如据此操作,风险自担!”

参考文献:上海证券 2024-04-23 计算机行业周报(2024.4.15—2024.4.19):Llama3发布,开源大模型迎重要进展

本 文 由 投 资 顾 问 : 何 威 ——A1290622100002 撰 写