现在的大模型，不管是训练还是推理，大都以fp16（单精度浮点数）为主，如果变成1bit整型，性能指数级翻倍的同时，功耗会指数级下降。
有可能改变AI对能源的需求
![[斜眼]](http://assets.imedao.com/ugc/images/face/emoji_61_xieyan.png?v=1 "[斜眼]"){kind=small}
查看图片现在的大模型，不管是训练还是推理，大都以fp16（单精度浮点数）为主，如果变成1bit整型，性能指数级翻倍的同时，功耗会指数级下降。
有可能改变AI对能源的需求
查看图片作者：hartmon
| 发布于: | 雪球 | 转发：0 | 回复：0 | 喜欢：0 |
现在的大模型，不管是训练还是推理，大都以fp16（单精度浮点数）为主，如果变成1bit整型，性能指数级翻倍的同时，功耗会指数级下降。
有可能改变AI对能源的需求
查看图片引用：
2024-03-04 11:53我的想法，ai短期瓶颈在算力芯片，长期瓶颈在电力（能源）