转:神秘项目QStar浮出水面

发布于: 雪球转发:1回复:4喜欢:8

路透社最新报道,在Sam Altman解雇风波之前,董事会收到了公司几位研究员的一封紧急警告信。信中揭露,他们发现了一种强大的人工智能,名为Q*。

这个算法潜力巨大,可能会对全人类构成威胁。而这封信中曝光的这个秘密AI项目,可能就是Sam被驱逐出公司,经历了4天流放的重要原因之一。

消息发出后,一石激起千层浪,吃瓜大队长马斯克转发文章表示“Extremely Concerning”——极度令人担忧。

尽管信件原文尚未被完整披露,OpenAI 也拒绝对此事作出回应,但是外界已经开始揣测,这是否预示着,AGI其实已经在实验室环境下诞生了。

路透社文章里写道,OpenAI内部的部分人士认为,Q* 这个模型,可能就是人类在苦苦寻觅通用人工智能道路上的重大突破。

因为在巨大的计算资源支持下,这一新模型已经展示出了解决复杂数学问题的能力。要知道数学,一直被视为生成式人工智能发展的前沿阵地。

目前的大模型,都是通过预测,下一个词或字符应该是什么来进行写作和语言翻译的。所以对同一个问题,会产生多种不同的表达方式,但是数学问题有且只有一个正确答案。

如果AI能够在这个领域取得突破,不再只是一个,解决有限数目运算的计算器,而是能够泛化学习理解完成复杂运算。

那这是啥?这不就是人类引以为傲的推理能力吗?

而推理作为一项底层能力,是极具可迁移性的,是可以跨学科应用的。

所以信中,还爆出了一个人工智能科学家团队,正在搞的项目,就是探索如何优化现有的AI模型,以改进他们的推理能力,并最终让AI胜任科学研究工作。

做TMD的科学家,看完真的是毛骨悚然,如果这一切都是真的,那就意味着,QStar 这个模型,在解决更接近人类高级思维的复杂问题上,真的是潜力无穷。

那么距离AI在所有任务中的表现,均超越人类能力,距离AGI真正降临,是不是已经近在咫尺了?

真的不敢想,奥特曼最近的讲话,“I think people are viewing these, viewing these systems as correctly as tools artists in particular. But other people as well remembers this, I think there's a real moment in fear which is like is this a tool we have built,or a creature we have built. 我认为人们已经,开始把AI系统,当作工具了。尤其是艺术家们,其他人也是如此,但我们又时常感到恐惧:我们所创造的,还是一种生物!”

他字里行间中传递的那种思想,已经和他今年6月份接受采访时表达的,“AI只是个工具,并不是一个creature,一个新物种”,发生了很大很大的变化!

知情人士透露,在OpenAI首席执行官山姆·奥特曼(Sam Altman)被罢免4天之前,几位研究人员向董事会发出一封信,警告称一项强大的人工智能发现可能威胁人类——被称为Q*的模型。

这一消息得到了至少两家媒体的独立证实,但也有媒体援引知情人士的话称,董事会从未收到过有关此类突破的信,而且公司的研究进展并未对奥特曼的突然解雇产生影响。

两位消息人士告诉路透社,此前未披露的信件是董事会罢免奥特曼的一个关键导火索,是导致董事会众多不满的原因之一。

一位知情人士称,OpenAI在Q*(发音为Q-Star)方面取得了进展,一些内部人士认为这可能是该初创公司寻找超级智能(也称为通用人工智能)的突破。OpenAI将通用人工智能(AGI)定义为比人类更聪明的人工智能系统。

鉴于拥有大量计算资源,新模型能够解决某些数学问题。消息人士称,虽然数学成绩仅达到小学生的水平,但在此类测试中取得好成绩让研究人员对Q*未来的成功非常乐观。

研究人员认为数学是生成式人工智能发展的前沿领域。目前,生成式人工智能擅长通过统计预测下一个单词来进行写作和语言翻译,而同一问题的答案可能会有很大差异。但征服数学的能力(只有一个正确答案)意味着人工智能将拥有类似于人类智能的更强推理能力。例如,人工智能研究人员认为,这可以应用于新颖的科学研究。

消息人士称,研究人员在给董事会的信中指出了人工智能的能力和潜在危险,但没有具体说明信中提到的具体安全问题。

值得注意的是,奥特曼被OpenAI董事会解雇前一天在旧金山出席亚太经合组织首席执行官峰会时,提到了OpenAI最近取得的一项技术进步。“在OpenAI的历史上已经有四次了,最近一次是在过去几周,当我们推开无知的面纱并向前推进发现的前沿时,我已经在房间里了,能够做到这一点是一生的职业荣誉。”他说。

随着后来OpenAI陷入混乱,这一神秘言论基本上没有引起注意。但一位知情人士表示,一些OpenAI员工认为,奥特曼的言论指的是该公司今年早些时候的一项创新,该创新将使他们能够开发出更强大的人工智能模型。这项技术突破由OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)牵头,一些员工担忧OpenAI在将这种先进的人工智能模型商业化时没有适当的保障措施。

据一位消息人士透露,OpenAI首席技术官米拉·穆拉蒂(Mira Murati)11月22日向员工提到了这个名为Q*的项目,并表示在上周末的人事震动之前董事会收到了一封信。但OpenAI发言人林赛·海尔德·博尔顿(Lindsey Held Bolton)在与媒体分享的一份声明中驳斥了这一说法:“米拉告诉员工了解媒体报道的内容,但她没有对信息的准确性发表评论。”

全部讨论

02-19 16:09

那边人才密度太好了

02-19 17:26

Zuan

搞不懂边界在哪
像sora,制作视频的时空变化关系,难道ai不是基于物理规则对输入要素进行创作吗?
虽说现在对物理规则的解析不是那么充分,(模拟不了杯子破碎的场景),但Ai能力进化的过程和人类学习理解物理规则又有何差别呢?
这过程是人类给ai添加输入物理规则,还是ai对其数据要素的归纳学习?

02-19 16:33

Q*就是AGI,奥特曼早些天曾说没那么快实现,但是也不会慢,OpenAI背后已走得很远