Cache(CACH)

0.0000 0.0000 0.0%

今开：0.0	昨收：1.0E-6
最高：0.0	最低：0.0
涨停价：0.0	跌停价：0.0
总市值：31.0

Cache的热门讨论

浮云资本07-02 21:46

相当于在服务器端加一层cache，存储开发者【公共】的文本材料（需要设cache过期时间），因为接口是按照请求长短收费的，可以降低开发者的调用费用（次数越多越省钱） [呵呵] 查看全文

不要低估这次的国产模型

信息平权05-09 18:00

（声明：本文不是幻方软文，纯个人感想）
除了DeepSeek那篇官号文章，几乎没太多声音，尤其我看几个专业的AI号甚至都没报道，这属于严重低估了...（或者人家故意不宣传）。总之一句话， DeepSeek v2非常值得重视....
为什么被Semianalysis大哥在最新文章中高亮点名，因为真的有点离谱了...查看全文

打完怪兽好睡觉05-14 15:23

回复@仓又加错-刘成岗: 推理是需要多卡互联的，单卡现存当KV cache可能都不够，这样实现不了长文本窗口。
推理常见的几种并行加速方法，张量并行、数据并行、流水线并行等等，基本上都是把推理请求压成batch，分配到多张卡上，这样可以计算&存储资源利用最大化。否则存储资源远落后于计算...查看全文

幻方在大模型deepseek v2的底层创新可能颠覆了训练和推理成本

盘在树上睡觉的蛇05-09 13:59

自从GPT 3.5出来以后，大家都知道“Talk is cheap, Show me your AI”，所以deepseek v2是直接出了界面以及开放了api，而且上来就免费送5M token的方式，间接证明了他们论文中推理成本大降的事实。
去年一直关注开源大语言模型的人都知道，deepseek coder 34B有4~5个月是编码领域的SOTA模型，c...查看全文

百融云花20亿搞了个“AI模型库”？

GPLP犀牛05-16 16:12

历史上有很多黑马股，起初都是曝光度不高、媒体流量不大的股票，如果精挑细选，很可能会藏着很大的惊喜。
@百融云-W（6608.HK）就是一个比较低调的AI公司，不太搞宣传和流量，但有一个数据很容易勾起投资人的兴趣：主营业务MaaS 已经有99%的核心客户留存率，但是业绩却还在增长。这种业绩特征...查看全文

桌子子05-10 07:56

回复@宽一投资: 你说的cache coherece问题arm那边已经有解决方案，你可以看看arm的axi ace和chi标准，以及cmn等一致性互联的ip//@宽一投资:[该内容现已无法查看]查看全文

年化16.6%，全球大类资产使用lightGBM预测轮动——数据缓存提升效率

七年实现财富自由06-24 15:09

原创文章第568篇，专注“AI量化投资、世界运行的规律、个人成长与财富自由"。
Dataloader缓存
加载160个因子，10几支大类资产，这个计算还是需要一点时间，尤其在我们频繁运行的时候，需要等待，这里我们实现了load_alpha，从因子集里加载，同时加上的缓存机制，连同运算好的因子值，...查看全文

大模型持续迭代算力需求不升反降

夜行侠者05-29 11:32

近期，深度求索(DeepSeek)发布第二代开源模型。其创新的模型结构，引发了市场对于算力需求究竞将如何演进的广泛讨论。公司在模型架构侧的创新表观上实现了推理时大幅降低KV Cache 访存开销且不增加额外计算量，看似对硬件有“降规"指引，但是，更低的推理成本会在中长期维度激发更多需求，反哺...查看全文

大大的快乐的炒股人05-10 00:50

在雪球居然能看到大模型推理的文章，还有batchsize，GQA，MLA这些kv cache优化策略。点个赞，我就正在找这个方面的工作。查看全文

财经众谈05-29 15:28

$英伟达(NVDA)$
提高硬件利用效率。在主流Transformer 网络结构中，多头注意力机制Muli-HeadAttenion(MHA)是重要的织成部分。为了大幅简化无效重复计算，一般采用缓存MHA 中Key 和Value 的方法(KV Cache)米优化推理任务效率。但随着输入上下文窗口长度的增加，传统MHA 中的KV Cache 数据量会大...查看全文

1 2

芝能智芯出品
随着超级计算（HPC）和人工智能（AI）领域的发展，对更高性能计算和数据处理能力的需求日益增长。AMD推出的Instinct™ MI300系列加速器应运而生，旨在通过最先进的硅片和封装技术，最大化地提升HPC和AI性能。
AMD Instinct™ MI300系列包括两种主要型号：MI300X和MI300A...查看全文

财经众谈05-29 15:28