很大，你忍一下

CPU，GPU都能做AI运算，只不过GPU效率高几十倍，上百倍。GPU的特点是超多核心并行运算，每个核心对比CPU那是弱爆了，但数量多。一个比喻是8核CPU等于8个博士。10000核GPU等于10000个小学生。
AI运算，以神经网络为例，里面的底层数学就是加减乘除，sin，cos等等最基本的东西，但计算量巨大。所以10000个小学生速度可以秒杀8个博士。
“AI芯片”这词意思就是专门为AI运算设计优化的芯片，GPU就非常适合AI运算，就变成了“AI芯片”了。。。

ai计算中 矩阵计算比较多
普通计算中 就是普通的浮点计算
你要问本质不同 所有的芯片 最终都是0和1的计算
但是ai芯片针对矩阵计算进行过优化 而且有自己的计算平台
现在流行的是cuda 英伟达推出的
通过cuda可以方便的调用底层硬件 计算
但是你要说普通cpu能不能计算矩阵 当然可以
所以本质都是一样 只是ai芯片进行过优化 可以更快 更方便的进行相关计算

科普极限简化版：CPU是多面手，主要目的是为了顺序执行【寄存器】内的指令，此外几乎什么活都可以干。GPU专门针对浮点数向量/矩阵计算优化的，砍掉了杂七杂八的功能，去掉了多余的缓存。 拿人来说，CPU是个有五脏六腑的完整的人。GPU则是纯粹的性器官，两者碰到AI，显然后者直接干的效率最高

讲的浅显易懂，很容易明白

GPU，G for graphic

家用车拉货，肯定没有货车拉货好，但是家用车除了拉货，还可以载客。
货车载客，司机和乘客都坐的难受。

一般芯片是通用架构，啥都能做，相当于一个大学生。
AI芯片只能做一种事情，相当于小学生水平，但一块芯片里有很多个小学生，同时做加减乘除的题目。当然比一个大学生解题速度快。

陈达老师，一个整合雪球知乎小黄书推特脸书微博的男人

大模型的庞大计算需求下，用更多低性能GPU共同组成算力已行不通了。因为使用多个GPU训练时，需要在芯片与芯片间传输数据、同步参数信息，这时部分GPU会闲置，无法一直饱和工作。所以单卡性能越低，使用的卡越多，算力损耗就越大。OpenAI用1万块V100训练GPT-3时的算力利用率不到50%。
A100、H100则既有单卡高算力，又有提升卡间数据传输的高带宽。A100的FP32（指用4字节进行编码存储的计算）算力达到19.5TFLOPS（1TFLOPS即每秒进行一万亿次浮点运算），H100的FP32算力更高达134TFLOPS，是竞品AMD MI250的约4倍。
A100、H100还提供高效数据传输能力，尽可能减少算力闲置。英伟达的独家秘籍是自2014年起陆续推出的NVLink、NVSwitch等通信协议技术。用在H100上的第四代NVLink可将同一服务器内的GPU双向通信带宽提升至900GB/s（每秒传输900GB数据），是最新一代PCle（一种点对点高速串行传输标准）的7倍多。
去年美国商务部对GPU的出口规定也正是卡在算力和带宽这两条线上：算力上线为4800TOPS，带宽上线为600GB/s。
A800和H800算力和原版相当，但带宽打折。A800的带宽从A100的600GB/s
降为400GB/s，H800的具体参数尚未公开，据媒体报道，它的带宽只有H100(900GB/s)的约一半，执行同样的AI任务时，H800会比H100多花10%-30%的时间。一名AI工程师推测，H800的训练效果可能还不如A100，但更贵。

推荐达美读一读芯片战争这本书，基本的脉络就清楚了。最大的不同，通用芯片不能很好的处理大数据训练需要的并行计算，效率很低。GPU反而能非常有效率的处理并行计算。最开始英伟达也没意识到这一点，是斯坦福的博士生开始利用这个特性。

AI芯片是主动，普通芯片是被动前者火力更猛

看评论学AI

一般cpu芯片相当于自动步枪，再快也是一个子弹一个子弹打出来，AI用的gpu相当于散弹枪，一次枪等于好几个子弹同时发射

GPU是并行计算，和传统的CPＵ差别就在这里。十几年前我呆过的一家公司代理N卡的一款高端GPU，256核的。大家区别巨大，在应用层完全是两个不同的系统。之所以主流CPU模式是因为软硬支持环境非常丰富，可以做相对复杂的功能。
GPU适合大量的简单计算场景，难点在于并行计算的编程。皮衣黄开发和养CUDA应该花了巨资，也有十几年了吧，没有CUDA并行计算基本上很难有人去用。