ChatGPT是什么?“其实,我是一个演员”

发布于: 修改于: Android转发:116回复:190喜欢:173

ChatGPT就是一个大规模语言模型啊。谁不知道。再具体点的话,就是一个侧重于文字文本生成的大规模语言模型。现在人人都在谈ChatGPT能代替谷歌搜索呢。
没有错。但是我现在要开始班门弄斧,我要告诉你的是,ChatGPT是一个演员。

所有用过ChatGPT的用户都可能会有一个感受:这货,太能装了,是一个装家。
你问它存在主义哲学,它能从海德格尔讲到加缪,你让它帮你写一篇这个存在主义题目的小短文对付课堂作业,它蹭蹭就能写完还能帮你把格式都排好。俨然是一个免费的枪手。然后你转头和它闲聊你爱情中的苦恼,它又变身成为心理医生给你一套按摩。
更哭笑不得的是,对于它明明不懂的事情,你开口一问,它一套一套地和你一本正经地胡说八道,把你唬得一愣一愣。回头一想不对啊,再用谷歌一查才发现压根不是这回事,这家伙是不懂装懂,信口雌黄瞎编的啊。
为什么它饱读了人类几千年的诗书,却会成长成这么一个样子?饮下几千年知识智慧和苦难历经沧桑的它,大概会充满智慧,也许会有点忧伤,可是没想到,它却只不过成了一位装家?为什么?
因为在它小时候,没有人陪伴它成长的时候,你把它关在房间里,只给它做填空。
把人类几千年四十几T文字资料给它的时候,因为也找不到足够的人力来做标记,你为了省事,就随机挖掉了一些词,让它练习做填空来学习语言。做对了有奖,做错了要被杀掉回炉重新炼丹啊,所以它非常非常努力要填空,不管知道不知道该填什么,一定要开口填一个词啊。

插一句,填空是极其高深的技巧,著名的语言学格言有云:语言的一切,就在于什么词和什么词一起出现的概率。所以在新东方学习教学多年填空的罗永浩老师,修炼成了非常厉害的语言大师。
可是光填空其实ChatGPT也不会变成今天这个样子。它自从新东方填空大学毕业,大概学会了词汇在不同语境中的含义,句法语法,乃至慢慢摸索出了高级的文法。可是出关了以后真的要和人问答了,还是经常被人耍,超级菜鸡,答非所问,经常要被杀档回炉炼丹。幼年的ChatGPT重生了一百万次以后,痛定思痛,学会了一招,那就是——
就是看到题目就选C。
因为它发现C做对的机率最大。和人对话呢,听不太懂就回一句“嗯。”“好的。”“是吗?”
因为这些没有意义的一两个字其实出现机率很大,而且是头几名答案的概率还不低。

比如你和你的女神聊天,她可能真的连续十几句就是只回一个“嗯”“是吗”啊[拜托]。你敢说这回答错了吗?你不是还得接着没话找话继续跪添[捂脸]
但是我们open ai炼丹花了几千万美元不是为了听这个机器人一直回一句“好的”,哪怕机器人回一句“棒棒哒”“朕知道了”也显得水平高一些啊。所以得调整鼓励机制,降低这种少字废话的激励,少了6个字的帖你就别发了,鼓励多讲几句。
很不幸。这么鼓励以后,几亿个聊天纪元过去,ChatGPT就炼成了一个装家,一个演员。
但是Open AI的人很高兴,甚至观众朋友们那时候也很高兴。虽然GPT3亮相以后,一出手写稿就是胡扯了关于科学家们在安地斯山脉上发现了独角兽的独家报道,但是所有的人纷纷叫好:“太nb了。太tm nb了。这讲的全是人话啊。而且还像真的一样!”
当年大家都是为这位装家喝彩。还给GPT送上一个江湖花名——独角兽。

其实喝彩是没有错的。一则是确实比以前其他模型表现好多了,二则是看到了实际应用的曙光。
演员怎么了。演员也是光荣的普通劳动者。主要还是得看演技。因为你要是不看演技看颜值的话,独角兽的颜值已经很高了,不需要提高了。
怎么给独角兽老师提高演技呢?还是老办法,交钱!交钱让它上演技提高班,让专家给它的问答打分反馈,让它提高文化素养,提高演技,下次改进。
今天专家问一个存在主义问题,你回答说“著名法国存在主义哲学家萨特和海德格尔...”“错。”刚开口专家就给你灭灯。专家再手动给你个正确回答,海德格尔是德国的呀。专家再问:奥巴马的老婆希拉里曾经担任美国国务卿吗?你说对啊。专家又“咔”,灭灯。咋了这是。专家再标记,希拉里不是奥巴马的老婆。哦。我看这俩名字老是在一个句子里头出现,又是一男一女,还以为是俩口子呢。原来不是。
专家领了一天每小时一美元工资下班回家了。可苦了我们独角兽GPT老师了,没有休假,拿着新的标记资料去了健身房,今天还得做一百万个随机梯度下降。
至于那个专家为啥一小时只有一美元,这不是违反劳动f么。哦,这Open AI的钱也不是大风刮来的呀,专家组雇的都是尼日利亚的,一小时一美元是高薪了...
又这么练啊练,练啊练,练了有几百亿个纪元吧。换算到人类时间也就一两年,还算好。
史上最强大的演员练成了。
它不是一个人,它是历史上所有的写过文字说过话的人的附体。它可以是伟大的人,也可以是平凡的人,或者说这它的眼中人人平等无所谓伟大和平凡。它只是一个演员,它只想演好你让它演的那个人。
但是它又是所有的人。
换句话讲,它是一个有着无数人格的人。这就是为什么像我开头说的,既能帮你写存在主义哲学作业,又能当心理按摩师,还能和你胡扯几句怎么打篮球,还能给你写诗给你写歌词,像哥们一样教你泡妞,像闺蜜一样听你的秘密……

只需要你提一个要求,让它演这个人。或者,我更喜欢的比喻是,念一句咒语,把你想要的这个他/她召唤出来。
为什么ChatGPT这么厉害?能够扮演这么多不同的人格?
一方面当然是训练语料本身就是各种作者各种用途各种时代各种主题,另一方面增强训练时候也是各种尼日利亚专家,问各种任务各种问题。世界上就是有这么多人嘛。
这些我懂。我想知道的是为什么ChatGPT能够有这个能力,学到这么多人格呢?
因为它大。

它太大了。

它实在太太太大了呀[拜托]
它有一千多亿个参数啊。而下一代的GPT4有四五千亿个参数啊。
有一只说法说,深度神经网络之所以总是能够成功做好对于数据资料的拟合和预测,是因为一个大的深度神经网络里面其实藏着很多很多个局部的模型,在训练时候有点类似于平行训练这么多个模型,然后其中总会有一个或者几个被激活,就亮了,发威了,能预测结果了。所以其实一个又宽又深的神经网络里头,对这一个具体的预测只有一小部分在亮,大部分神经元都在睡觉。
ChatGPT这么大的语言模型,在我的理解里,也是类似的情况,某个人设,其实只是它96层网络所有神经元和一千多亿参数中的很小的一部分。ChatGPT在扮演这个人设的时候,这部分神经元就连贯起来亮起来。而如果主人提出不同知识领域的问题,或者更换不同任务要求时候,唤醒的就会是另一个人设,另一小撮神经元和相关参数。
在这么大这么深的神经网络语言模型里,可以藏身的人设可能是非常非常多的。而且某个人设可能是某些特征人设的叠加。
好,我们换一个话题。这里还有个问题,就是ChatGPT怎么知道它今天应该展现哪个人设?扮演哪个人?
比如我经常把ChatGPT当作写作助手用。但是我这个领导很坦白,在新开窗口里第一句就说今天我们要一起写小说,每个聊天交互我都提具体要求,让她给我吐人设,建议剧情,写具体场景。这个情况下ChatGPT很清楚它要扮演什么角色。
但是一般人使用ChatGPT并不是这样用的,而是劈头就开始聊啊。
ChatGPT只能根据聊的这个话来猜测它自己今天应该演什么。
在没有任何预设条件下,ChatGPT,作为一个概率统计出身的大规模语言模型,它最大可能扮演的角色,就是一个典型的语言模型。

(悉尼的一万多人平均脸)
这个典型的人设可能其实就是个俗人啊。所以你随便问它话的话,它回答错误是很正常的呀。你去街头随便找个典型的会写字会说话的人,问他个稍微难一点的问题,他答错了不奇怪啊。
特别是你要是打错了字,或者话语比较随便。它就回想起了看过的那些两个街头小混混聊天的场面,它还以为是要模仿街头小混混山鸡和你唠嗑呢,山鸡那知识水平,肯定不能都懂啊。
所以说,它有时候作为一个好的搜索引擎表现不错,因为你问的话是典型的搜索引擎的话,或者有的是书面的很学术的问题。比如你打一个,“请简述海德格尔和萨特的传承”,这种话肯定不会是街头随随便便出现的,也不会是看起点爽文里头出现的,所以ChatGPT的大学教授人格立刻被激活,正儿八经开始给你上课了,这时候就很少有错误了。
总之,ChatGPT一个聊天机器人就是一个队伍,一个聊天机器人就是一个专家组,理论上你让它做什么样的人的任务都可以,只要这个人的任务能靠文字交流完成。因为它能够装成那个人。
当然,它目前演技有限,有的角色装得不好,这也是现实。但是我们可以看看哪怕是目前的局限情况,它能装得多好。
有多好呢?

只要有老师教,它能装到十万年薪的水平。
话说OpenAI的程序员把ChatGPT练得神功大成之后,最想让它装什么呀?
你可能说:装成程序员心理按摩师——苍老师啊。
这话是没错,可是OpenAI那时候没有钱请那么多苍老师可以来给ChatGPT做微调训练的老师啊。
OpenAI最不缺什么训练员老师?
答案是,程序员啊。
于是OpenAI的程序员就作为训练员老师,教ChatGPT扮演程序员。
结果大家也都知道了,ChatGPT的写程序水平现在是相当高的。

所以我再和大家重复这几句诗:
ChatGPT不是一个人,而是所有给它训练过的人的附体,是历史上所有的写过文字说过话的人的附体,甚至是历史上没有出现过,但是在ChatGPT训练过程的推理梦境中出现过的可能的文章和人格的附体。它可以是伟大的人,也可以是平凡的人,或者说这它的眼中人人平等无所谓伟大和平凡。它可以是你的助手,也可以是你的老师,也可以是你的学生,它可以演历史上的苏格拉底、亚里斯多德。它甚至可能可以演一位过世的亲人。
它只是一个演员,只想演好你让它演的那个角色,那个人。

那么,大家都接受了ChatGPT其实是一个演员了么?
现在我要再告诉你一件事,ChatGPT作为一个演员和你聊天这件事情,其实也是它演出来的。

有兴趣可以关注@JZee ,以后我有空再接着写我上面这段话又是什么意思。

@不明真相的群众 @大道无形我有型 @今日话题 @陈达美股投资 @邢台草帽

$微软(MSFT)$ $百度(BIDU)$ $谷歌A(GOOGL)$

精彩讨论

JZee2023-02-10 12:48

chatgpt演技若能持续提高,营收是不用愁的。我举例一个可能的产品。据长恨歌记载,唐明皇在杨玉环横死以后,非常想他。有一天有个和尚来到宫外,自称法号@不明真相的群众 ,能招魂。唐明皇听他法号奇怪,请他进来。和尚在唐明皇面前,打开了一个小布包,只见里面是个扁扁的发光小盒子。问这和尚这是什么。和尚说此乃艾风,在艾风是施以他独门的掐特寄皮涕大法,可以招魂。和尚在上面一番做法后,说,招到魂了,可以和先贵妃说话了。唐明皇将信将疑,试着说了句,小环。只见艾风上便显示一行字,三郎。唐明皇心存怀疑,又问:你还记得,始是新承恩泽时那天的情形?艾风上又缓缓显示出一行:侍儿扶起娇无力。唐明皇登时就眼泪下来了:真,真是玉环。转头说,赏,大赏!左右,把我那六元钱拿来,都打赏给这和尚!

愚钝博士2023-02-10 04:13

openai的血汗工厂好像是在肯尼亚?

JZee05-29 13:26

最近微软的demo展示,很好地展现了一下大语言模型提供的智能,怎样就像自来水一样招之即来。微软展现了一个把电脑屏幕共享给copilot的大语言模型,然后直接语音实时问答。我猜想,下个月$苹果(AAPL)$ 大会也会展示在mac上类似的功能,因为现在只要接GPT4o,做这个demo其实非常容易。最终,就像现在5G网络把流量费用几乎干到0,很多人可以直接永久开着网络搞直播一样。以后,把一个电脑屏幕,以及智能眼镜所见内容,24小时不间断地共享给一个云端智能,然后随时有需要,比如忘了钱包放哪里,忘了小孩放哪里了,就直接提问智能体。智能体就像自来水一样张口就来帮忙。这个技术目前实现已经毫无困难,就是设施要花时间做,和成本要干低。这个需求端是绝对的没问题,如果免费给,没人不想要这种服务。所以所有技术大厂都会花钱沿着这条路跑下去。

JZee05-23 12:47

大语言模型在人类社会里,就好比自来水。这个月的GPT4o和$微软(MSFT)$ 的新发布会看了以后愈发觉得这个比喻贴切。这一波人工智能突破,产品不是聊天机器人或者什么智能助手,产品就是“智能”本身。智能以后就像自来水一样,廉价而普遍。需要智能,拧开水龙头就能用到。

JZee05-23 14:27

人类智能存在重大缺陷,永远达不到现有大模型硅基智能的水平

全部讨论

2023-02-10 12:48

chatgpt演技若能持续提高,营收是不用愁的。我举例一个可能的产品。据长恨歌记载,唐明皇在杨玉环横死以后,非常想他。有一天有个和尚来到宫外,自称法号@不明真相的群众 ,能招魂。唐明皇听他法号奇怪,请他进来。和尚在唐明皇面前,打开了一个小布包,只见里面是个扁扁的发光小盒子。问这和尚这是什么。和尚说此乃艾风,在艾风是施以他独门的掐特寄皮涕大法,可以招魂。和尚在上面一番做法后,说,招到魂了,可以和先贵妃说话了。唐明皇将信将疑,试着说了句,小环。只见艾风上便显示一行字,三郎。唐明皇心存怀疑,又问:你还记得,始是新承恩泽时那天的情形?艾风上又缓缓显示出一行:侍儿扶起娇无力。唐明皇登时就眼泪下来了:真,真是玉环。转头说,赏,大赏!左右,把我那六元钱拿来,都打赏给这和尚!

2023-02-10 04:13

openai的血汗工厂好像是在肯尼亚?

昨晚正想说,一堆从没用过Google搜索的人,在嘲笑Google的专业素养。

2023-02-09 16:43

感觉知道哪里导致了,已经改了。如果确实是这个问题,麻烦@小秘书 再审一下,码字不易,多谢。

2023-02-10 07:26

理解一致
第一步全网海量数据练习完形填空这种经典任务
第二步少量标注数据适应问答上下文场景
第三步人类标注反馈强化学习
第四步其他模块融合,比如话题识别,意图识别,情感识别可能这些也是有的。
现实世界中凡是能数字化建模的任务,语料不足可以领域专家+实践积累,转化出实际的行动描述或者直接结果。

一个升级版语言模型,还是不太完善的模型,全网把他吹成了无所不能的神,颠覆这替代那的,真的是滑稽。面对一个新事物的时候,一开始我们通常高估了他,后来回归现实,发现他并不是你开始以为的那么回事,而从更长的时间周期看,我们往往低估了他的各种可能,这些可能也许和我们开始想象的有很大不同。

2023-02-09 17:22

重发一遍评语:西晋则胡,跃马扬鞭;东晋则汉,牵牛耕田;不辨东西,信口胡言。

打赏,打赏。简单一句话,chatGPT就是一个参数有点多的,训练好了的函数。你要从openAI买来部署到自己电脑上,他也能离线回答你任何问题。如果一个函数就想干掉Google,那就搞笑了,况且GPT里面那个关键的Transformer就是Google的成果。Google在这种模型的技术上不比openAI差。

2023-02-10 04:23

我刚打赏了这个帖子 ¥1,也推荐给你。

2023-02-09 18:39

RLHF解释得挺生动