发布于: iPhone转发:0回复:9喜欢:0
回复@仓又加错-刘成岗: 仓老师有兴趣可以看看这篇文章:网页链接。总结:一小半函数在不同硬件上完全不兼容。兼容的部分,大部分有十倍以上速度的差距。//@仓又加错-刘成岗:回复@xishier:通过讨论,“torch们隔离了硬件层”我这个观点看来是正确的。另外,亚马逊微软也自研芯片了,这块可以持续观察。
引用:
2024-02-22 19:09
英伟达现在赚的是垄断的钱,但是随着后面一定会有人跟上,他不会一直拿所有市场的。迟早会有别人抢夺他的份额,所以按计算器算PE什么的也不正确。不能拿现有业绩算PE。

全部讨论

kimi chat提供的摘要:
您提供的链接指向了一篇名为 "The Grand Illusion: The Myth of Software Portability and Implications for ML Progress" 的研究论文。这篇论文由 Fraser Mince、Dzung Dinh、Jonas Kgomo、Neil Thompson 和 Sara Hooker 共同撰写,探讨了机器学习(ML)软件框架在不同硬件类型上的可移植性问题。研究者们通过大规模研究主流 ML 框架(如 TensorFlow、PyTorch 和 JAX)在不同硬件上的可移植性,发现框架在移植到其他硬件时可能会丢失超过 40% 的关键功能,且即使功能可移植,性能的下降也可能极端严重。
研究的主要发现包括:
PyTorch 和 TensorFlow 在 GPU 上的可移植性问题尤为突出,例如在 TPU 上,PyTorch 的 44% 基准测试功能部分或完全失败。即使功能可移植,性能差距也显著,例如 PyTorch 在 GPU 到 TPU 的迁移中,81.4% 的功能表现出超过 10 倍的减速。JAX 在 TPU 上的性能表现更好,91.8% 的 JAX 函数集在 TPU 上更快。硬件和软件的专业化趋势对 ML 研究的创新产生了阻碍。
这篇论文强调了在硬件和软件专业化日益增长的背景下,进行比较性评估的重要性,并指出未来在设计既高效又可移植的工具时,量化可移植性分析将变得更加重要。
如果您有关于这篇论文的具体问题或需要更详细的信息,请告诉我,我会尽力帮助您。

我刚打赏了这条讨论 ¥6,也推荐给你。