Cache(CACH)

浮云资本07-02 21:46

相当于在服务器端加一层cache，存储开发者【公共】的文本材料（需要设cache过期时间），因为接口是按照请求长短收费的，可以降低开发者的调用费用（次数越多越省钱）查看全文

不要低估这次的国产模型

信息平权05-09 18:00

（声明：本文不是幻方软文，纯个人感想）
除了DeepSeek那篇官号文章，几乎没太多声音，尤其我看几个专业的AI号甚至都没报道，这属于严重低估了...（或者人家故意不宣传）。总之一句话， DeepSeek v2非常值得重视....
为什么被Semianalysis大哥在最新文章中高亮点名，因为真的有点离谱了...查看全文

打完怪兽好睡觉05-14 15:23

回复@仓又加错-刘成岗: 推理是需要多卡互联的，单卡现存当KV cache可能都不够，这样实现不了长文本窗口。
推理常见的几种并行加速方法，张量并行、数据并行、流水线并行等等，基本上都是把推理请求压成batch，分配到多张卡上，这样可以计算&存储资源利用最大化。否则存储资源远落后于计算...查看全文

幻方在大模型deepseek v2的底层创新可能颠覆了训练和推理成本

盘在树上睡觉的蛇05-09 13:59

自从GPT 3.5出来以后，大家都知道“Talk is cheap, Show me your AI”，所以deepseek v2是直接出了界面以及开放了api，而且上来就免费送5M token的方式，间接证明了他们论文中推理成本大降的事实。
去年一直关注开源大语言模型的人都知道，deepseek coder 34B有4~5个月是编码领域的SOTA模型，c...查看全文

百融云花20亿搞了个“AI模型库”？

GPLP犀牛05-16 16:12

历史上有很多黑马股，起初都是曝光度不高、媒体流量不大的股票，如果精挑细选，很可能会藏着很大的惊喜。
@百融云-W（6608.HK）就是一个比较低调的AI公司，不太搞宣传和流量，但有一个数据很容易勾起投资人的兴趣：主营业务MaaS 已经有99%的核心客户留存率，但是业绩却还在增长。这种业绩特征...查看全文

桌子子05-10 07:56

回复@宽一投资: 你说的cache coherece问题arm那边已经有解决方案，你可以看看arm的axi ace和chi标准，以及cmn等一致性互联的ip//@宽一投资:[该内容现已无法查看]查看全文

年化16.6%，全球大类资产使用lightGBM预测轮动——数据缓存提升效率

七年实现财富自由06-24 15:09

原创文章第568篇，专注“AI量化投资、世界运行的规律、个人成长与财富自由"。
Dataloader缓存
加载160个因子，10几支大类资产，这个计算还是需要一点时间，尤其在我们频繁运行的时候，需要等待，这里我们实现了load_alpha， 从因子集里加载，同时加上的缓存机制，连同运算好的因子值，...查看全文

大模型持续迭代 算力需求不升反降

夜行侠者05-29 11:32

近期，深度求索(DeepSeek)发布第二代开源模型。其创新的模型结构，引发了市场对于算力需求究竞将如何演进的广泛讨论。公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache 访存开销且不增加额外计算量，看似对硬件有“降规"指引，但是，更低的推理成本会在中长期维度激发更多需求，反哺...查看全文

大大的快乐的炒股人05-10 00:50

在雪球居然能看到大模型推理的文章，还有batchsize，GQA，MLA这些kv cache优化策略。点个赞，我就正在找这个方面的工作。查看全文

财经众谈05-29 15:28

$英伟达(NVDA)$
提高硬件利用效率。在主流Transformer 网络结构中，多头注意力机制Muli-HeadAttenion(MHA)是重要的织成部分。为了大幅简化无效重复计算，一般采用缓存MHA 中Key 和Value 的方法(KV Cache)米优化推理任务效率。但随着输入上下文窗口长度的增加，传统MHA 中的KV Cache 数据量会大...查看全文

浮云资本07-02 21:46

相当于在服务器端加一层cache，存储开发者【公共】的文本材料（需要设cache过期时间），因为接口是按照请求长短收费的，可以降低开发者的调用费用（次数越多越省钱）查看全文

年化16.6%，全球大类资产使用lightGBM预测轮动——数据缓存提升效率

七年实现财富自由06-24 15:09

原创文章第568篇，专注“AI量化投资、世界运行的规律、个人成长与财富自由"。
Dataloader缓存
加载160个因子，10几支大类资产，这个计算还是需要一点时间，尤其在我们频繁运行的时候，需要等待，这里我们实现了load_alpha， 从因子集里加载，同时加上的缓存机制，连同运算好的因子值，...查看全文

AMD Instinct™ MI300系列模块化芯粒封装

芝能智芯06-09 12:34

芝能智芯出品
随着超级计算（HPC）和人工智能（AI）领域的发展，对更高性能计算和数据处理能力的需求日益增长。AMD推出的Instinct™ MI300系列加速器应运而生，旨在通过最先进的硅片和封装技术，最大化地提升HPC和AI性能。
AMD Instinct™ MI300系列包括两种主要型号：MI300X和MI300A...查看全文

财经众谈05-29 15:28

$英伟达(NVDA)$
提高硬件利用效率。在主流Transformer 网络结构中，多头注意力机制Muli-HeadAttenion(MHA)是重要的织成部分。为了大幅简化无效重复计算，一般采用缓存MHA 中Key 和Value 的方法(KV Cache)米优化推理任务效率。但随着输入上下文窗口长度的增加，传统MHA 中的KV Cache 数据量会大...查看全文

大模型持续迭代 算力需求不升反降

夜行侠者05-29 11:32

近期，深度求索(DeepSeek)发布第二代开源模型。其创新的模型结构，引发了市场对于算力需求究竞将如何演进的广泛讨论。公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache 访存开销且不增加额外计算量，看似对硬件有“降规"指引，但是，更低的推理成本会在中长期维度激发更多需求，反哺...查看全文

百融云花20亿搞了个“AI模型库”？

GPLP犀牛05-16 16:12

历史上有很多黑马股，起初都是曝光度不高、媒体流量不大的股票，如果精挑细选，很可能会藏着很大的惊喜。
@百融云-W（6608.HK）就是一个比较低调的AI公司，不太搞宣传和流量，但有一个数据很容易勾起投资人的兴趣：主营业务MaaS 已经有99%的核心客户留存率，但是业绩却还在增长。这种业绩特征...查看全文

打完怪兽好睡觉05-14 15:23

回复@仓又加错-刘成岗: 推理是需要多卡互联的，单卡现存当KV cache可能都不够，这样实现不了长文本窗口。
推理常见的几种并行加速方法，张量并行、数据并行、流水线并行等等，基本上都是把推理请求压成batch，分配到多张卡上，这样可以计算&存储资源利用最大化。否则存储资源远落后于计算...查看全文

桌子子05-10 07:56

回复@宽一投资: 你说的cache coherece问题arm那边已经有解决方案，你可以看看arm的axi ace和chi标准，以及cmn等一致性互联的ip//@宽一投资:[该内容现已无法查看]查看全文

大大的快乐的炒股人05-10 00:50

在雪球居然能看到大模型推理的文章，还有batchsize，GQA，MLA这些kv cache优化策略。点个赞，我就正在找这个方面的工作。查看全文

不要低估这次的国产模型

信息平权05-09 18:00

（声明：本文不是幻方软文，纯个人感想）
除了DeepSeek那篇官号文章，几乎没太多声音，尤其我看几个专业的AI号甚至都没报道，这属于严重低估了...（或者人家故意不宣传）。总之一句话， DeepSeek v2非常值得重视....
为什么被Semianalysis大哥在最新文章中高亮点名，因为真的有点离谱了...查看全文

AMD 3D V-Cache测试：延迟略微增加，实际性能更强

在CES 2022大展上，AMD推出了采用3D垂直缓存（3D V-Cache）技术的Zen 3架构桌面处理器，即Ryzen 7 5800X3D。这项技术可以为每个CCD带来额外的64MB 7nm SRAM缓存，使得处理器的L3缓存容量由32MB增加到96MB，容量增加到原来的三倍。此外，代... 网页链接

游戏性能大涨40％ AMD的锐龙7 5800X3D处理器曝产能紧张

CES展会上，AMD除了锐龙6000系列移动处理器之外还推出了一款特殊的桌面处理器——锐龙7 5800X3D，使用了3D V-Cache缓存技术，增加了额外64MB缓存，官方称性能提升可达40%。 新的锐龙7 5800X3D在原有32MB三级缓存基础上堆叠了64MB V-Cache... 网页链接

AMD CES新品汇总：锐龙6000系列移动版、RX 6000S系独显、3D V-Cache CPU

原标题：AMD CES新品汇总：锐龙6000系列移动版、RX 6000S系独显、3D V-Cache CPU 1月5日凌晨，AMD在CES展会上发布了移动版锐龙6000系列处理器、新的Radeon RX 6000S系列移动端独立显卡、使用3D V-Cache技术并搭载96MB L3... 网页链接

AMD首席技术官确认，将在CES 2022透露Zen 4架构细节

距离CES 2022剩下不到半个月的时间，AMD首席执行官苏姿丰博士也将在美国东部时间2022年1月4日上午10点开始进行主题演讲。根据AMD官方发表的公告，届时将重点介绍采用3D垂直缓存（3D V-Cache）技术的Zen 3架构Ryzen桌面处理器，以及Radeon... 网页链接

AMD HPC新品发布会、英特尔13代酷睿还将继续支持DDR4

AMD HPC新品发布会： 在今天凌晨的“加速数据中心”活动上，AMD宣布了采用3D V-Cache技术的第三代EPYC霄龙处理器以及基于CDNA 2架构的Instinct MI200加速器。这些创新产品将承担起数据中心中的复杂和关键工作负载。 尽管这次发布的是一些... 网页链接

AMD发布EPYC Milan-X CPU：首次采用3D V-Cache 拥有惊人的804 MB缓存

AMD正式发布了其首个采用3D V-Cache技术的服务器产品，即第三代EPYC Milan-X。下一代Zen 3 CPU继续维持出色的Zen 3核心架构，并通过增加缓存进一步提高各种计算密集型工作负载的性能。AMD宣布Milan-X将通过思科(CSCO.O)、戴尔(DELL.N)、HP... 网页链接

AMD霄龙X系列曝光：最多64核心、Zen3+3D堆叠缓存？

原标题：AMD霄龙X系列曝光：最多64核心、Zen3+3D堆叠缓存？ 来源：快科技 Zen4架构看起来还得等至少一年，而在这个空档期，AMD祭出了3D V-Cache堆叠缓存，变化不大但效果奇佳，而且不只是消费级锐龙，似乎也会用于数据中... 网页链接

AMD Zen3 3D堆叠缓存细节：比Intel更细致、互连带宽提升15倍

原标题：AMD Zen3 3D堆叠缓存细节：比Intel更细致、互连带宽提升15倍 来源：快科技 先进制程工艺的推进越来越困难，成本也越来越高，半导体巨头们纷纷把目光投降了各种封装技术。Hot Chips 33大会上，AMD就第一次公开了3D... 网页链接

AMD已在ROCm开发工具添加Navi 31和Navi 33的代码

AMD的Navi 3x系列GPU似乎离消费者仍然很遥远，不过AMD已经开始为开发者做相关准备工作了。目前在Github的ROCm开发工具中，AMD已添加了RDNA 3架构GPU的代码，分别是Navi 31和Navi 33，前者定位于旗舰产品，而后者则是中端产品。 ROCm是一个... 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2016-02-01 AccNo: 0001144204-16-078117 Size: 31 KB 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-13 AccNo: 0001405086-15-000055 Size: 34 KB 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-01-30 AccNo: 0001341004-15-000062 Size: 176 KB 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-05 AccNo: 0001258897-15-000714 Size: 52 KB 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-05 AccNo: 0001144204-15-006268 Size: 41 KB 网页链接

$CACH(CACH)$ SC 13G/A [Amend] - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-02 AccNo: 0000906304-15-000216 Size: 7 KB 网页链接

$CACH(CACH)$ SC 13G - Statement of acquisition of beneficial ownership by individuals Filed: 2015-02-17 AccNo: 0001144204-15-010214 Size: 38 KB 网页链接

$CACH(CACH)$ SC 13G - Statement of acquisition of beneficial ownership by individuals Filed: 2015-01-06 AccNo: 0000909012-15-000002 Size: 9 KB 网页链接

$CACH(CACH)$ 8-K - Current report Filed: 2015-01-29 AccNo: 0001104659-15-005424 Size: 18 KBItem 3.01: Notice of Delisting or Failure to Satisfy a Continued Listing Rule or Standard; Transfer of ListingItem 5.02: Departure of Directors or Certain Officers; Election of Director...

$CACH(CACH)$ 8-K - Current report Filed: 2015-01-08 AccNo: 0001104659-15-001244 Size: 16 KBItem 3.01: Notice of Delisting or Failure to Satisfy a Continued Listing Rule or Standard; Transfer of Listing 网页链接