ChatGPT的工作原理
前言
ChatGPT能够自动生成一些读起来表面上甚至像人写的文字的东西，这非常了不起，而且出乎意料。但它是如何做到的？为什么它能发挥作用？我在这里的目的是大致介绍一下 ChatGPT内部的情况，然后探讨一下为什么它能很好地生成我们认为是有意义的文本。
还没使用过ChatGPT的伙伴可以点击下面链接直接使用（不需要科学上网工具，后台对接的是OpenA1和微软的官方接口)：
我首先要说明一下，我将把重点放在正在发生的事情的大的方向上，虽然我会提到一些工程细节，但我不会深入研究它们。(我所说的实质内容也同样适用于目前其他的“天型语言模型”LLM和ChatGPT)
首先要解释的是，ChatGPT从根本上说总是试图对它目前得到的任何文本进行“合理的延续”，这里的“合理”是指“在看到人们在数十亿个网页上所写的东西之后，人们可能会期望某人写出什么”。因此，假没我们已经得到了“人工智能最好的是它能去做..…”的文本(“The best thing about AI is its ability to")。想象一下，扫描数十亿页的人类书写的文本（例如在网络上和数字化书籍中），并找到这个文本的所有实例——然后看到什么词在接下来的时间里出现了多少。
ChatGPT有效地做了类似的事情，除了(正如我将解释的)它不看字面文本；它寻找在某种意义上“意义匹配”的东西。但最终的结果是，它产生了一个可能出现在后面的词的排序列表，以及“概率”。
learn 4.5%
predict 3.5%
The best thing about Al is its ability to make 3.2%
understand 3.1%
do 2.9%
值得注意的是，当ChatGPT做一些事情，比如写一篇文章时，它所做的基本上只是反复询问“鉴于到目前为止的文本，下一个词应该是什么？”—而且每次都增加一个词。(更准确地说，正如我将解释的那样，它在添加一个“标记”，这可能只是一个词的一部分，这就是为什么它有时可以“编造新词”)。
在每一步，它得到一个带有概率的单词列表。但是，它究竟应该选择哪一个来添加到它正在写的文章(或其他什么)中呢？人们可能认为它应该是“排名最高”的词(即被分配到最高“概率”的那个)。
但是，这时就会有一点巫术开始悄悄出现。因为出于某种原因——也许有一天我们会有一个科学式的理解—— 如果我们总是挑选排名最高的词，我们通常会得到一篇非常“平淡”的文章，似乎从来没有“显示出任何创造力”(甚至有时一字不差地重复）。但是，如果有时（随机的)我们挑选排名较低的词，我们会得到一篇“更有趣”的文章。
这里有随机性的事实意味着，假如我们多次使用同一个提示，我们也很可能每次都得到不同的文章。而且，为了与巫术的想法保持一致，有一个特定的所谓“温度”参数(temperature parameter），它决定了以什么样的频率使用排名较低的词，而对于论文的生成，事实证明，0.8的“温度”似乎是最好的。(值得强调的是，这里没有使用任何“理论”；这只是一个在实践中被发现可行的问题)。例如，“温度”的概念之所以存在，是因为在每一步，它得到一个带有概率的单词列表。但是，它究竟应该选择哪一个来添加到它正在写的文章(或其他什么)中呢？人们可能认为它应该是“排名最高”的词(即被分配到最高“概率”的那个)。
但是，这时就会有一点巫术开始悄悄出现。因为出于某种原因——也许有一天我们会有一个科学式的理解—— 如果我们总是挑选排名最高的词，我们通常会得到一篇非常“平淡”的文章，似乎从来没有“显示出任何创造力”（甚至有时一字不差地重复）。但是，如果有时（随机的）我们挑选排名较低的词，我们会得到一篇“更有趣”的文章。
这里有随机性的事实意味着，假如我们多次使用同一个提示，我们也很可能每次都得到不同的文章。而且，为了与巫术的想法保持一致，有一个特定的所谓“温度”参数（temperature parameter），它决定了以什么样的频率使用排名较低的词，而对于论文的生成，事实证明，0.8的“温度”似乎是最好的。（值得强调的是，这里没有使用任何“理论”；这只是一个在实践中被发现可行的问题）。例如，“温度”的概念之所以存在，是因为恰好使用了统计物理学中熟悉的指数分布，但没有“物理”联系——至少4/108我们如此认为。)
在我们继续之前，我应该解释一下，为了论述的目的，我大多不会使用ChatGPT中的完整系统；相反，我通常会使用更简单的GPT-2系统，它有一个很好的特点，即它足够小，可以在标准的台式电脑上运行。
因此，对于我展示的所有内容，包括明确的沃尔弗拉姆语言（WolframLanguage)代码，你可以立即在你的计算机上运行。
例如，这里是如何获得上述概率表的。首先，我们必须检索底层的“语言模型”神经网： 那么，如果继续下去会发生什么？这里有一个随机的例子。它比顶层词(零温度)的情况要好，但顶多还是有点奇怪：
The best thing about Al is its ability to learn from experience. It's not just a matter of learning from experience, it's learning from the world around you. The Al is a very good example of this. It's a very good example of how to use Al to improve your life.It's a very good example of how to use Al to improve your life. The Al is a very good example of how to use AI to improve your life. It's a very good example of how to use Al to
这是用最简单的GPT-2模型(来自2019年)做的。用较新和较大的GPT-3模型，结果更好。这里是用同样的“提示”产生的顶部文字(零温度)，但用最大的GPT-3模型：
The bestthing about Al is its ability to automate processes and make decisions quickly and accurately. Al can be used to automate mundane tasks, such as data entry, and can also be used to make complex decisions, such as predicting customer behavior or analying large datasets. Al can also be used to improve customer service, as it can quickly and accurately respond to customer inquiries. AI can also be used to improve theeeiT提小广生的顶部又子(零温度），但用最大的GPT-3模型：
The best thing about Al is its ability to automate processes and make decisions quickly and accurately. Al can be used to automate mundane tasks, such as data entry, and can also be used to make complex decisions, such as predicting customer behavior or analyzing large datasets. Al can also be used to improve customer service, as it can quickly and accurately respond to customer inquiries.Al can also be used to improve the accuracy of medical diagnoses and to automate the process of drug discovery.
这是“温度为0.8”时的一个随机例子：
The best thing about Al is its ability to learn and develop over time, allowing it to continually improve its performance and be more efficient at tasks. Al can also be used to automate mundane tasks, allowing humans to focus on more important tasks. Al can also be used to make decisions and provide insights that would otherwise be impossible for humans to figure out.
— 1—
概率从何而来？
好吧，ChatGPT总是根据概率来选择下一个词。但是这些概率从何而来？让我们从一个更简单的问题开始。让我们考虑一次生成，，，，，，，，，，，。