在正式离开OpenAI仅一个月后，Ilya Sutskever宣布他新成立一家公司：Safe Superintelligence Inc.，与他共同创业的是前Y Combinator合伙人Daniel Gross和前OpenAI工程师Daniel Levy。
这家公司声明的第一句话就是：超级人工智能触手可及，而safe superintelligence (SSI) ，既是公司的目标，也将是公司的第一个产品。
根据彭博社对Ilya的专访，Safe Superintelligence Inc.旨在创建一个安全而强大的人工智能系统，专注于纯研究组织，不打算在短期内销售AI产品或服务。
Ilya Sutskever是OpenAI的联合创始人，并曾长期担任OpenAI首席科学家，一手打造了OpenAI的人工智能系统，在ChatGPT发布后，他与Jan Leike共同领导了OpenAI的超级对齐团队。
在2023年发表的一篇关于超级对齐的博文中，他们表示：“我们相信，超级人工智能（比人类聪明得多的AI）可能在未来十年内面世。然而，我们仍然不知道如何可靠地引导和控制超越人类的AI系统。解决这个问题对于确保未来即使是最先进的AI系统也能保持安全并对人类有益至关重要。”
怀着确保超级人工智能安全的初心，Ilya Sutskever和Jan Leike都于今年5月离开了OpenAI，Leike选择在Anthropic继续致力于AI的安全，而Ilya Sutskever选择了自己创业。
与前YC合伙人、OpenAI技术专家共同创业
SSI公司的联合创始人包括前Y Combinator合伙人Daniel Gross和前OpenAI工程师Daniel Levy。
19岁时，Gross创办了搜索引擎公司Greplin（后更名为Cue），这家公司2013年被苹果收购后，他便加入了苹果公司，领导了苹果AI和搜索的项目。
从苹果离职后，Gross作为Y Combinator合伙人，成立了全新的AI项目部门。
2018年，Gross再次创业，创办了Pioneer.app这家专为创业者提供启动资金的加速器。他投资了多家公司，包括Uber、Character.ai、Keen Technologies 、Perplexity.ai、Figma、GitHub等。他也参与创业了Citrus Lane、WriteLaTeX（后更名为Overleaf）等创业公司。
2021年开始，他联手Nat Friedman在AI领域展开投资，并运营一个AI Grant的项目，为AI公司提供25万美元的资金支持。
Gross还被《时代100》杂志列为“人工智能领域最具影响力的人物”之一。
另一位联合创始人Daniel Levy毕业于斯坦福计算机系，硕士和博士的导师分别是Stefano Ermon教授和John Duchi教授，在概率模型，强化学习，机器学习的优化和隐私方面有深厚积累。
他曾在谷歌大脑就职3年，并于2022年加入OpenAI，领导了优化团队（Optimization team）。他在OpenAI期间与Sutskever有过深度合作的经历。
他们与Sutskever的共同愿景是打造一个精干、专注的团队，开发安全的超级智能。而他们在能力上分别可以帮助Sutskever分担公司运营、商业化和技术方面的压力，让Sutskever能够专注探索safe superintelligence这个最终目标。
中国需要自己的安全超级智能
Ilya新公司的名字是Safe Superintelligence，其中有两个元素，安全和超级人工智能。Ilya已经在打造智能方面证明了能力，GPT在为他背书。
对于AI的安全，Ilya表示，他们指的是“核安全”，而非信任与安全。言下之意是AI具有超级智能后，有可能像核武器一样超级危险，对于它的防护和监管要超级严格，并且具有复杂性和长期性。
对于怎么实现超级AI的安全，目前Ilya没有透露细节，但他在接受彭博社的采访时暗示，新项目将通过将工程突破内置于AI系统中来实现安全，而不是依赖临时应用的防护措施。
在AI发展的路上，AI能力的迅速进步令人振奋，而AI最大的隐忧就是它不够安全，不可控制。包括Hinton在内的顶尖AI学者不止一次的表达过这种担忧。
各个国家和地区的AI政策或法案中，对于AI的安全都十分重视。
例如我国2023年发布的《生成式人工智能服务管理办法（征求意见稿）》，旨在确保AI创造的内容符合社会秩序和道德，避免歧视和尊重知识产权。
美国在2023年10月的政府行政令中，就促使包括亚马逊、Anthropic、谷歌、Meta、微软和OpenAI在内的15 家领先公司自愿承诺推动安全、可靠和可信的人工智能发展的工作。
欧盟2024年《人工智能法案》对具有高风险的人工智能系统进行重点监管。
而国际之间的安全合作更是必要。
2024年3月，由智源研究院发起的“北京AI安全国际对话”举办，图灵奖得主Geoffrey Hinton、Yoshua Bengio等30余位AI专家共同拟定并签署了《北京AI安全国际共识》。共识提出了人工智能风险红线及安全治理路线，并呼吁全球协同行动，以避免不受控制的前沿人工智能发展为全人类带来生存风险。
AI安全并不是一个全新问题，无论是判别式AI，还是生成式AI，都有各种公司和组织用各种技术试图确保它的安全。有的安全技术是从工具切入，给AI加上护栏，有的则从模型和数据入手，试图在模型训练阶段，就加好防护措施。
但是目前的AI安全技术或AI伦理管理技术仍然各有弊端，而且有时为了安全，会牺牲一部分智能，例如Stable Diffusion 3为了防止模型被用来做一些非法的事情，在训练时对某些数据进行了调整，结果导致了人的肢体生成时出现了比前一代模型更差的表现。
Ilya Sutskever的公司Safe Superintelligence目标既包括安全，也要做超级智能，也许我们可以期待他们真的找到一个两全的办法，走出一条新的路。
前文提到国际之间的安全合作很重要，但是在当前的国际形势下，中国拥有自己的安全超级智能也很必要，就像中国需要有自己的AI基础设施以及先进基础模型一样。
所幸中国的AI研究能力和资源在世界范围内仍属于第一梯队，我们也期待有能力的公司和团队往这个方向进发，尽管这可能不是一条容易的路。
本文由阿尔法公社原创。
更多精彩内容
关于阿尔法公社
