幻魂胧月 的讨论

发布于: 雪球回复:6喜欢:2
脱离CUDA很难,所以国产厂家挺难,要靠长时间大量资金支持,对于使用者而言,大模型不断升级,对算力需求升级。最后会归结到一点上,成本问题,还是英伟达的成本低,这个太难超越。成本不只是买芯片的成本,还有使用的问题,耗费的人力也是不同的,再就是未来的耗电可能是个大成本。

热门回复

很多人一提到算力第一反应都是互联网大厂做大模型用,但是现阶段对于国产GPU来说,科研高性能计算用,可能是一个自我造血的好途径,地方财政困难但高校有政策有预算。再一个就是推理用,并行科技上的价格一目了然,目前国内零散A800 A100的租赁价格没有想象的那么贵,可以很好满足个人开发者跑推理用

护城河没有那么深,但是有先发优势,我个人觉得未来最好的方向是被运营商入股,现阶段吃断供的红利。并行两个我个人认为现阶段优势的点:
1.有销售队伍,跑学术会议跑教授,每单10w-50w的签,有一定的销售粘性,但是客户还是价格敏感,再一个就是学校自己的网信中心也在眼红这部分,一旦有政策变化或者能买到国产双精度卡,很容易做到校内垄断。
2.并行前几年就签下来了国内相当一部分比例的散卡A100/A800,还有部分超算基地的闲置算力,价格压的挺低,在于散卡租给并行能保证单卡的有效出租时间
3.并行现阶段无法实现大量散卡虚拟成一个算力池,还是平台经济,点对点卡对卡匹配供给需求因此头部互联网大厂还得想办法自己囤二手卡,前些年还传说断供前阿里云淘汰一批A100让抖音火山引擎买走捡漏的段子
4.云厂商本来是并行最大的竞争对手,但是由于大的云厂商也是大模型的开发者,自用为主,阿里云去年线上还在出租A800A100好像今年已经没有了
5.传闻华为云自己的千张N卡都给了某个院士团队用
@行中衡

对并行怎么看 前景好吗

需求在增加,A800 A100无法新增的话就不好办,当前还看不出成本问题,市场对芯片的运算要求也在升级,升级之后就看出来了,国产替代也不是不行,就是可能成本高

非常详细 看来要涨还是要靠炒作了[捂脸]

奇葩有啥难的