信息平权05-09 18:00
(声明:本文不是幻方软文,纯个人感想)
除了DeepSeek那篇官号文章,几乎没太多声音,尤其我看几个专业的AI号甚至都没报道,这属于严重低估了...(或者人家故意不宣传)。总之一句话, DeepSeek v2非常值得重视....
为什么被Semianalysis大哥在最新文章中高亮点名,因为真的有点离谱了...查看全文
打完怪兽好睡觉05-14 15:23
回复@仓又加错-刘成岗: 推理是需要多卡互联的,单卡现存当KV cache可能都不够,这样实现不了长文本窗口。
推理常见的几种并行加速方法,张量并行、数据并行、流水线并行等等,基本上都是把推理请求压成batch,分配到多张卡上,这样可以计算&存储资源利用最大化。否则存储资源远落后于计算...查看全文
盘在树上睡觉的蛇05-09 13:59
自从GPT 3.5出来以后,大家都知道“Talk is cheap, Show me your AI”,所以deepseek v2是直接出了界面以及开放了api,而且上来就免费送5M token的方式,间接证明了他们论文中推理成本大降的事实。
去年一直关注开源大语言模型的人都知道,deepseek coder 34B有4~5个月是编码领域的SOTA模型,c...查看全文
GPLP犀牛05-16 16:12
历史上有很多黑马股,起初都是曝光度不高、媒体流量不大的股票,如果精挑细选,很可能会藏着很大的惊喜。
@百融云-W(6608.HK)就是一个比较低调的AI公司,不太搞宣传和流量,但有一个数据很容易勾起投资人的兴趣:主营业务MaaS 已经有99%的核心客户留存率,但是业绩却还在增长。这种业绩特征...查看全文
桌子子05-10 07:56
回复@宽一投资: 你说的cache coherece问题arm那边已经有解决方案,你可以看看arm的axi ace和chi标准,以及cmn等一致性互联的ip//@宽一投资:[该内容现已无法查看]查看全文
七年实现财富自由06-24 15:09
原创文章第568篇,专注“AI量化投资、世界运行的规律、个人成长与财富自由"。
Dataloader缓存
加载160个因子,10几支大类资产,这个计算还是需要一点时间,尤其在我们频繁运行的时候,需要等待,这里我们实现了load_alpha, 从因子集里加载,同时加上的缓存机制,连同运算好的因子值,...查看全文
夜行侠者05-29 11:32
近期,深度求索(DeepSeek)发布第二代开源模型。其创新的模型结构,引发了市场对于算力需求究竞将如何演进的广泛讨论。公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache 访存开销且不增加额外计算量,看似对硬件有“降规"指引,但是,更低的推理成本会在中长期维度激发更多需求,反哺...查看全文
财经众谈05-29 15:28
$英伟达(NVDA)$
提高硬件利用效率。在主流Transformer 网络结构中,多头注意力机制Muli-HeadAttenion(MHA)是重要的织成部分。为了大幅简化无效重复计算,一般采用缓存MHA 中Key 和Value 的方法(KV Cache)米优化推理任务效率。但随着输入上下文窗口长度的增加,传统MHA 中的KV Cache 数据量会大...查看全文
浮云资本07-02 21:46
相当于在服务器端加一层cache,存储开发者【公共】的文本材料(需要设cache过期时间),因为接口是按照请求长短收费的,可以降低开发者的调用费用(次数越多越省钱)查看全文
七年实现财富自由06-24 15:09
原创文章第568篇,专注“AI量化投资、世界运行的规律、个人成长与财富自由"。
Dataloader缓存
加载160个因子,10几支大类资产,这个计算还是需要一点时间,尤其在我们频繁运行的时候,需要等待,这里我们实现了load_alpha, 从因子集里加载,同时加上的缓存机制,连同运算好的因子值,...查看全文
芝能智芯06-09 12:34
芝能智芯出品
随着超级计算(HPC)和人工智能(AI)领域的发展,对更高性能计算和数据处理能力的需求日益增长。AMD推出的Instinct™ MI300系列加速器应运而生,旨在通过最先进的硅片和封装技术,最大化地提升HPC和AI性能。
AMD Instinct™ MI300系列包括两种主要型号:MI300X和MI300A...查看全文
财经众谈05-29 15:28
$英伟达(NVDA)$
提高硬件利用效率。在主流Transformer 网络结构中,多头注意力机制Muli-HeadAttenion(MHA)是重要的织成部分。为了大幅简化无效重复计算,一般采用缓存MHA 中Key 和Value 的方法(KV Cache)米优化推理任务效率。但随着输入上下文窗口长度的增加,传统MHA 中的KV Cache 数据量会大...查看全文
夜行侠者05-29 11:32
近期,深度求索(DeepSeek)发布第二代开源模型。其创新的模型结构,引发了市场对于算力需求究竞将如何演进的广泛讨论。公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache 访存开销且不增加额外计算量,看似对硬件有“降规"指引,但是,更低的推理成本会在中长期维度激发更多需求,反哺...查看全文
GPLP犀牛05-16 16:12
历史上有很多黑马股,起初都是曝光度不高、媒体流量不大的股票,如果精挑细选,很可能会藏着很大的惊喜。
@百融云-W(6608.HK)就是一个比较低调的AI公司,不太搞宣传和流量,但有一个数据很容易勾起投资人的兴趣:主营业务MaaS 已经有99%的核心客户留存率,但是业绩却还在增长。这种业绩特征...查看全文
打完怪兽好睡觉05-14 15:23
回复@仓又加错-刘成岗: 推理是需要多卡互联的,单卡现存当KV cache可能都不够,这样实现不了长文本窗口。
推理常见的几种并行加速方法,张量并行、数据并行、流水线并行等等,基本上都是把推理请求压成batch,分配到多张卡上,这样可以计算&存储资源利用最大化。否则存储资源远落后于计算...查看全文
桌子子05-10 07:56
回复@宽一投资: 你说的cache coherece问题arm那边已经有解决方案,你可以看看arm的axi ace和chi标准,以及cmn等一致性互联的ip//@宽一投资:[该内容现已无法查看]查看全文
信息平权05-09 18:00
(声明:本文不是幻方软文,纯个人感想)
除了DeepSeek那篇官号文章,几乎没太多声音,尤其我看几个专业的AI号甚至都没报道,这属于严重低估了...(或者人家故意不宣传)。总之一句话, DeepSeek v2非常值得重视....
为什么被Semianalysis大哥在最新文章中高亮点名,因为真的有点离谱了...查看全文
AMD尚未发布的EPYC Genoa-X处理器的顶级型号EPYC 9684X的工程样品已经现身闲鱼。 此前,AMD已经发布了新一代Genoa系列服务器处理器,单处理器最高96核192线程的庞大规模让其一举成为了当下最强悍的服务器处理器。而AM... 网页链接
3D V-Cache堆叠缓存是AMD锐龙、霄龙处理器的一把利器,锐龙玩游戏、霄龙特定负载加速都有奇效,锐龙7 5800X3D也因此成了绝对的爆品。 现在看起来,AMD显卡也有望引入3D V-Cache缓存。 权威半导体工程师Tom Wassick通... 网页链接
转自:北京商报 法国女装品牌Cache Cache关店撤市,外资快时尚渐渐失色。12月29日,北京商报记者走访发现,北京多家Cache Cache清仓甩卖,准备关店撤市。销售人员透露理由为“品牌发展不佳,公司倒闭”。对于上述情况,官... 网页链接
新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来新浪众测,体验各领域最前沿、最有趣、最好玩的产品吧~!下载客户端还能获得专享福利哦! 本文来自cnBeta WCCFTech 援引内部路线图爆料称, AMD 已计划... 网页链接
新酷产品第一时间免费试玩,还有众多优质达人分享独到生活经验,快来新浪众测,体验各领域最前沿、最有趣、最好玩的产品吧~!下载客户端还能获得专享福利哦! AMD 的首款 3D V-Cache CPU--Ryzen 7 5800X3D 已经上市一段时... 网页链接
【TechWeb】3月17日消息,AMD公布了锐龙7 5800X3D 处理器的定价和上市日期。处于创新和游戏性能的前沿,AMD锐龙7 5800X3D 处理器是第一款采用 AMD 3D V-Cache技术的锐龙处理器。凭借这项行业领先的技术,5800X3D 的游戏性能可提升15%,使... 网页链接
品玩3月17日讯,在接受 HotHardware 的采访时,AMD 技术营销总监表示,AMD 第一款采用 3D V-Cache 的 Ryzen CPU 将不支持传统的超频技术。 AMD:锐龙 7 5800X3D 不支持超频,但不代表后续 CPU 都不支持 这意味着用户将无法调整 CPU 频率或电压,不过可以调整 I... 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2016-02-01 AccNo: 0001144204-16-078117 Size: 31 KB 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-13 AccNo: 0001405086-15-000055 Size: 34 KB 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-01-30 AccNo: 0001341004-15-000062 Size: 176 KB 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-05 AccNo: 0001258897-15-000714 Size: 52 KB 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-05 AccNo: 0001144204-15-006268 Size: 41 KB 网页链接
$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-02 AccNo: 0000906304-15-000216 Size: 7 KB 网页链接
$CACH(CACH)$ SC 13G - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-17 AccNo: 0001144204-15-010214 Size: 38 KB 网页链接
$CACH(CACH)$ SC 13G - Statement of acquisition of beneficial ownership by individuals Filed: 2015-01-06 AccNo: 0000909012-15-000002 Size: 9 KB 网页链接
$CACH(CACH)$ 8-K - Current report Filed: 2015-01-29 AccNo: 0001104659-15-005424 Size: 18 KBItem 3.01: Notice of Delisting or Failure to Satisfy a Continued Listing Rule or Standard; Transfer of ListingItem 5.02: Departure of Directors or Certain Officers; Election of Director...
$CACH(CACH)$ 8-K - Current report Filed: 2015-01-08 AccNo: 0001104659-15-001244 Size: 16 KBItem 3.01: Notice of Delisting or Failure to Satisfy a Continued Listing Rule or Standard; Transfer of Listing 网页链接