发布于: iPhone转发:0回复:2喜欢:4
$英伟达(NVDA)$ $中际旭创(SZ300308)$ $昆仑万维(SZ300418)$
英伟达准备把应用端打开,那需求端还用担心吗
Nvidia:收购AI大模型企业Deci【华泰计算机
根据Information,Nvidia收购以色列AI初创公司Deci。公司员工估计百人规模,估值或将超过10亿美元(我们自己估计)
Deci成立于2019年,名字来自拉丁语decimus,意思是“十分之一”。公司目标:让人工智能的速度提高十倍,并且以通常成本的十分之一实现。Deci 由计算机科学博士、人工智能专家 Yonatan Geifman 和他的博士生导师 Ran El-Yaniv 教授创立。
Deci AI主要产品是深度学习平台Deci,可以让用户部署运行更快、更准确的模型,客户包括:Adobe、HPE等。2013年12月,Deci开源了Open LLM Leader综合评分最高的【大语言模型DeciLM-7B】以及【指令优化版本的DeciLM-7B-Instruct】。
DeciLM-7B,基于Deci自己的神经网络架构搜索引擎开发,同时采用了Grouped Query Attention(GQA)技术。可以结合Multi-Query Attention的速度和Grouped Query Attention的效果。简单说就是部分层使用MQA,部分层使用GQA。其效果是DeciLM-7B的【运行速度非常快】(跟公司目标一致),在A100上,DeciLM-7B每秒生成的tokens数量达到328个,是Mistral 7B的1.83倍,是Llama2-7B的2.39倍。
#收购目的:强化端侧AI大模型能力
通过Deci的模型可看出,7B这个尺寸主要是为端侧AI打造,而且在端侧运行速度很快,包括之前Deci与Intel的合作。这些都在为Nvidia潜在的端侧AI产品做准备。
#Nvidia远不止于一家AI芯片公司
☎谢春生/郭雅丽/范昳蕊/彭钢/袁泽世/林海亮/岳铂雄

全部讨论

04-27 10:08

周末不休息一下?