在人工智能（AI）领域，我们经常听到训练（Training）和推理（Inference）这两个词汇，它们是构建强大AI模型的关键步骤，我们通过类比人类的学习过程来理解这两个概念，可以更加自然而然，生动的理解AI大模型的运作原理。
当一个人类宝宝刚刚降临人间，还没开始学会讲话，但是已经开始对周围生活环境的观察和学习，在这个早期学习阶段，婴儿周围有很多人类语言输入，包括听到医生，护士，母亲和家人的对话，感知周围的环境，甚至是听音乐和观看视频。这个过程就像AI大模型的初始训练，大模型通过海量的数据输入来学习人类的自然语言的规律和模式。
随着时间的推移，婴儿开始渐渐模仿和理解大人说的话，逐渐掌握了发出有意义的声音和词汇。这类似于人工智能在通过海量的数据训练后构建了一个具有理解和预测能力的模型，模型的参数就像婴儿学习过程中不断调整和学习的语言能力。
当婴儿逐渐长大学会说话后，他们就可以和父母进行日常对话，理解意思并表达自己的感受和想法，产生自己的语言。这阶段类似于AI大模型的推理，模型能够对新的语言和文本输入进行预测和分析。婴儿通过语言能力表达感受，描述物体和解决各种问题，这也类似于AI大模型在完成训练投入使用后在推理阶段应用于各类特定的任务，例如图像分析，语音识别。
通过这个简单而贴近生活的类比，我们可以更加自然的理解AI大模型的训练和推理过程，就像咱们人类学习语言一样，AI大模型通过海量数据的学习和模仿，逐渐构建起丰富而高效的模型，为解决各种实际问题提供了强大的工具。在这个学习过程中，我们更能感受到人工智能与人类学习的共通之处。
训练（Training）和推理（Inference）是AI大模型的两个核心能力的基石
在训练阶段，通过大量的数据和算法，AI模型学会识别和生成规律。模型参数在此过程中不断的调整优化，以最小化预测与实际值之间的误差，从而具备适应各种任务的学习能力，涵盖自然语言和图片识别处理等多个领域。
在训练阶段，大模型通过深度学习技术，通过多层神经网络，对接收输入的海量数据进行学习和优化，并通过学习和调整模型的参数，使其能够对输入数据进行准确的预测。为了提高模型的训练能力，通常需要使用大规模的数据采集进行训练，以确保模型能否泛化到各种不同的情况。
推理阶段则建立在训练完成的基础上，将训练好的模型应用于新的，未见过的数据。模型利用先前学到的规律进行预测，分析或形成新的内容，使得AI在实际应用中能够做出有意义的决策，例如在医疗诊断，自动驾驶等等
大模型在推理阶段可以处理各种类型的输入，并输出相应的推理结果。推理可以在生产环境中产生，也可以用于其他任务，类似于语言生产，翻译，图片识别等
总结
训练阶段：大模型从历史数据中提取知识
推理阶段：将这些知识应用于新场景，从而做出智能决策
当前，国内部分大厂具有多条“大模型产品线”，公开信息显示，截至目前，国内至少有23家大模型通过《生成式人工智能服务管理暂行办法》备案。
也就是说，目前训练端，在经过2023年大爆发以后，逐步已经大模型的构建，即便是进度落后者，在2024年上半年，也可以完成模型的训练。
目前所处的行业阶段节点就处在：婴儿渐渐的开始模仿和理解人类的语言，逐渐掌握了发出有意义的声音和词汇。
那么下一个阶段：即婴儿逐渐长大，母亲，家长和婴儿讲话，婴儿通过大脑中所学习的语言，开始理解和表达自己的感受和想法，产生自己的语言！这就是到了推理阶段了！我相信咱们国内市场到这一阶段，不会太远了
由于美国早我们一步进入推理阶段，咱们来看看美国那边目前的推理数据
1：2023年6月6日，根据科创板日报报道，据SimilarWeb最新数据，2023年4月OpenAI网站访问次数已达到18亿次，则对应每日访问量约为6000万次
2：推理服务一个典型的负载模式是一天中峰谷波动明显，且会出现不可预期的短时间流量激增。根据百度智能云统计，我们假设峰值倍数约为10倍。
3：单个token输出需要的时间：62.5ms；每秒生成token数量：16个。
4：平均实时并发：333.33万个token/s。
5：算力利用率：20%。
6：2*1750亿个参数*333.33万个token/s*10倍/20%算力利用率=5.83*10^19FLOPS。
7：根据英伟达官网，以FP16为例。H100 SXM FP16的计算能力分别为1979TFLOPS则对应需要H100数量约为2.95万张。
这是2023年4月的数据，仅仅是一家OPEN AI的数据，推理端需要3万张H100！而且，这仅仅是开始，仅仅是一个OPEN AI的需求量
从行业需求量来看，推理端完全不输训练端，而且由于推理端的面对是C端的用户，由于C端用户在一天之中存在峰谷波动明显的特征，晚上12点以后可能只有几百个人用，而晚上8点可能几万个人用，峰谷特征明显，为了应对流量的激增，推理服务器更需要采购更多，以防宕机这种严重的事故产生。
总结一下：前面主要说了目前咱们国内人工智能（AI）所处的阶段，以及美国那边推理端服务器的需求，从而来分析这个行业的需求和天花板在哪里。
由于OPEN AI在推理端就需要近3万张H100，需求巨大，这就需要引入ASIC来解决巨大的推理缺口了。
前面技术贴主要就是写了ASIC在推理服务器的应用：ASIC和推理服务器的技术路线 有兴趣的朋友可以学习技术，花了大量的时间收集资料，写的很全很详细！
推理市场三大技术特点：多并发数，低延迟，低成本。行业基本护城河就是吞吐量和生态
总结一下ASIC推理服务器的优势
ASIC针对特定推理需求开发，可根据推理对性能和功耗进行定向优化，通过特定的算法其专用的芯片架构与高复杂度的算法相匹配，量产后在性能、功耗、成本方面均具有巨大优势
关键词：通过高度复杂的算法，在性能，功耗，成本方面有巨大的优势，ASIC推理服务器的价格只有H100的四分之一左右，性能可以达到H100的70%-90%，甚至超越H100
本篇文章主要分析人工智能目前所处的行业阶段，即将进入推理期，未来行业对于推理服务器需求爆炸性增长，而基于ASIC芯片的推理服务器在性能，公告，成本，体积上有巨大的优势，未来发展可期！
借用我师傅对我说过的一句话收尾：在这个市场上赚钱，主要有两种办法，第一种是赚认知的钱，第二种是赚市场的钱，赚认知的钱，就是得分析行业，分析个股，对于行业的前景去提前预判，个股在这个行业所处的位置，布局，去提前学习，去提前分析认知，而不是后知后觉去认知行业，这是赚认知的钱，赚市场的钱则是市场炒什么就跟什么，跟随市场，而目前，我们通过行业分析，技术分析，去认知，去了解这个行业，希望大家能把握人工智能浪潮这个巨大的时代机会。最后，由于农尚成立合资公司，有五位人工智能全球顶级科学家加持，希冀农尚环境能在人工智能浪潮中，能在未来推理服务器需求爆炸中，分一杯羹，因为国内这个推理市场需求，实在太大了，天花板完全看不到！谢谢大家