有分析指出,该模型的训练参数量高达8.1万亿个token,而DeepSeek V2表现出“难以置信”的训练效率,并且计算量仅为Meta Llama 3 70B 的1/5。
更直观地说,DeepSeek-V2训练所需的运算量是GPT-4 的1/20,而性能却相差不大。
有外国网友给出了高度评价:在仅有210亿个活跃参数的情况下,能达到如此强的推理能力相当惊人。
“如果属实的话,那是相当惊人的。”
“原来是中国公司?也许这就是‘中国队’在AI领域名列前茅的原因。”
不过,技术已经不是大模型的唯一宣传点了。
作为AI技术的前沿领域,大模型更新换代之快有目共睹,再强的性能也可能在发布的下一秒就被友商反超。
因此,DeepSeek选择“卷”价格。
目前DeepSeek-V2 API的定价为:每百万token输入1元、输出2元(32K上下文)。
和友商相比,仅为GPT-4-Turbo的近百分之一。
DeepSeek表示,采用8xH800 GPU的单节点峰值吞吐量可达到每秒50000多个解码token。
如果仅按输出token的API的报价计算,每个节点每小时的收入就是50.4美元,假设利用率完全充分,按照一个8xH800节点的成本为每小时15美元来计算,DeepSeek每台服务器每小时的收益可达35.4美元,甚至能实现70%以上的毛利率。
有分析人士指出,即使服务器利用率不充分、批处理速度低于峰值能力,DeepSeek也有足够的盈利空间,同时颠覆其他大模型的商业逻辑。
总结就是,主打一个“经济实惠”。
有网友表示:太便宜了,充50块能用好几年。
“日常的任务都能胜任。”
“开放平台送的十块钱共有500万token。”
全新创新架构,支持开源
价格是怎么被打下去的?
来自DeepSeek-V2的全新架构。
据悉,DeepSeek-V2采用Transformer架构,其中每个Transformer块由一个注意力模块和一个前馈网络(FFN)组成,并且在注意力机制和FFN方面,研究团队设计并采用了创新架构。
据介绍,一方面,该研究设计了MLA,利用低秩键值联合压缩来消除推理时键值缓存的瓶颈,从而支持高效推理。
另一方面,对于FFN,该研究采用高性能MoE架构 ——DeepSeekMoE,以经济的成本训练强大的模型。
DeepSeek-V2基于高效且轻量级的框架HAI-LLM进行训练,采用16-way zero-bubble pipeline并行、8-way专家并行和ZeRO-1数据并行。
鉴于DeepSeek-V2的激活参数相对较少,并且重新计算部分算子以节省激活内存,无需张量并行即可训练,因此DeepSeek-V2减少了通信开销。
并且,DeepSeek-V2完全开源(网页链接),可免费上用,开源模型支持128K上下文,对话官网/API支持32K上下文(约24000个token),还兼容OpenAI API接口。
不仅性能好,还这么便宜,甚至直接兼容OpenAI API,DeepSeek-V2这手“王炸”,换谁可能都没法拒绝。
外国网友直呼:没理由不用!
DeepSeek-V2的性能水平几乎和与GPT-4一致、提供的API与OpenAI API兼容、可以免费使用500个token、付费版本价格仅为GPT-4的1/100……
“没有理由不用它。”
幻方量化早在数年前曾投资2亿元自主研发深度学习训练平台,搭载了1100块GPU显卡。到了2021年,幻方的投入加大,搭载了约1万张英伟达A100显卡,投入增加到10亿元。
当时,幻方如此高的投入让诸多市场人士不解,认为储备1万多张GPU进行资产管理,实在有点“高射炮打蚊子”。
随着AI产品“副业”浮出水面,幻方多年前的举动才让外界“理解”。
量化的持续发展,以后会让市场越来越成熟,以后大家的投资会逐步转向ETF
图片评论
图片评论
想来想去也想不出利好什么
有哪些相关股票?
利好哪些a股?
A