//电网讲究供需平衡，但是 AI 训练的瞬时能耗极大，之前微软的工程师说美国任何一个州的电网都扛不住10万块H100显卡的负荷冲击（美国无法通过国家电网调配资源实现负载均衡也是一个问题所在），这就要求分布式的算力配置，还将推动大型储能加速发展。
与训练所需的短时间高能耗相不同的是，推理所需电量是随着应用和用户的增多而稳步增加的。
亚历克斯·德·弗里斯于2023年10月10日在Joule上发布的论文显示，一次标准谷歌搜索耗电0.3瓦时，AI大语言模型ChatGPT响应一次用户请求耗电约2.96瓦时，在AI大模型驱动下的一次谷歌搜索则耗电8.9瓦时。
随着AI大模型能力的不断增强，其单位应用电耗也随之显著飙升，用电缺口将由新能源和火电共同填补。富国银行预计到2030年美国总电力需求将增加20%，其中 AI 数据中心届时就要消耗323TWh，是目前纽约市用电量的七倍。