精彩回顾: 网易瑶台项目负责人刘柏在IEEE全球元宇宙大会中国站的主旨演讲

发布于: 雪球转发:0回复:0喜欢:0

▼点击“预约”盛景新经济直播

8月16日19:00,和我们一起聊聊

投早投小投创新

IEEE全球元宇宙大会由IEEE标准协会主办,包括一系列峰会(线上或线下线上结合),旨在提供关于元宇宙的全球和全面的视野。大会网站为metaverse.ieee.org。

IEEE全球元宇宙大会系列峰会之7月9日中国站的主题为“元宇宙及其在中国的快速发展(The Metaverse and Its Rapid Growth in China)”。全部录制视频及文字整理将作为“精彩回顾”系列陆续发布。本期“精彩回顾”的内容是:

Keynote - NetEase Yaotai's Exploration in the Metaverse by Bai Liu (Yaotai Project Leader, NetEase)

主旨演讲 “网易瑶台在元宇宙中的探索” - 刘柏 (网易瑶台项目负责人)

网页链接

非常高兴有机会能参加今天的活动里,今天给大家分享的内容是“网易瑶台在元宇宙中的探索”。讲到元宇宙的时候,大家都比较喜欢从《雪崩》这本小说开头,这本小说1992年就发表了,它引入了两个非常重要的概念,一个是Metavesre,一个是Avatar。因为这是一本科幻小说,作者在里面充分发挥了自己的想象力,他讲了元宇宙一个很大的远景,讲了未来的元宇宙是什么样子,但这引入了一个问题,即大家都知道未来的元宇宙是什么样子,就像《雪崩》里面描述的东西,或者是像《头号玩家》或者是像《黑客帝国》,这样产生的问题,就是元宇宙的远景很近,但是近景又很远,我们很难一步就到达《雪崩》描述的世界,从技术的角度上讲,离真正的元宇宙还是非常远的。

我先介绍一下瑶台这个产品的背景,瑶台的产品最早的时候是2020年就开始做了。我的部门叫网易伏羲,是一个专门搞人工智能的部门,所以和高校建立的很多的横向合作关系。当时一个南京大学合作的老师,要办一场线下的国际会议,叫DAI 2020,中文是是第二届分布式人工智能大会,但是2020年的疫情,会议在线下举行的话,有非常多的不确定性,当时南京大学就和网易伏羲讨论,原话是“是不是能够把学术会议开在游戏中”,所以我们做了瑶台的产品,分布式人工智能大会是瑶台的上线后第一个服务的用户。这是瑶台DAI 2020的活动场景,左边是会议的poster区,右侧是会场,我特意把post区放在了左边比较显眼的地方。在有poster区之后,就跟传统的来做线上会议的系统,比如说Zoom产生了一个很大的不同。右侧的会场,虽然大家都可以用一个Avatar的形式登录进去,也能聊天,也能看PPT,但是他们和Zoom传统的效率型的会议系统没有太明显的不同,反而是引入了poster区之后有了非常大的不同。

如果把一个国际会议开在线下,有哪些困难的地方?对于一个活动的主办方,如果要办一个活动,找一个活动场地是困难的事,场地的搭建、装修都要投入非常多的人力做。对于参会嘉宾,可能要坐很长时间的火车、飞机,才能赶到现场去,现在还有疫情,不确定性可以使线下会议的前期投入,随时都会打水漂。在活动中,大家要参加会议的时候,会议越到结尾的时候,用户的参与度越低一些,因为有些人已经订好了返程车票需要去车站机场了。

相比于这种效率型的线上会议系统,确实有很多问题没有解决,首先一些线下会议非常需要仪式感,参加活动的这些观众也非常需要一个沉浸感,对于活动的主办方,也希望这场活动能够也很大的营销价值,做好活动的宣传,能够让活动的价值最大化。瑶台这个产品,就实际上想做一个线上的沉浸式平台,目标是为观众创造一个身临其境的、面对面的、有沉浸感的活动,大家也不用跑到物理会场里面去。

瑶台这个名字,是来自于李白的唐诗《清平调》,最后有一句“会向瑶台月下逢”,之所以选了这首唐诗,是因为唐诗里的第一句“云想衣裳花想容,春风拂槛露华浓”这里面有三个名词,和瑶台要做的事情非常接近,第一个“云”,就是瑶台用了很多云技术,“衣裳”是虚拟角色的换装,“容”就是大家可以通过一张照片生成自己的一个虚拟形象,也可以通过一个手工捏脸系统微调自己的形象。

瑶台就做了这样几个事情,第一个是尽量地复刻了真实世界的场景,每个用户都以一个虚拟的形象进入到虚拟世界里面,这样可以获得更好的沉浸式的体验。

这是瑶台的技术架构,底层是一个云计算平台,包含了很多AI能力,还有我们部门自研的分布式引擎,这样瑶台整个的上层系统都跑在引擎之上的,引擎屏蔽了底层的分布式问题,开发同学可以面向单机进行编程,这样对于开发者就容易很多。

在此之上,就是虚拟角色和虚拟场景,这样虚拟角色和虚拟场景之间就产生了非常多的交互,虚拟角色和虚拟角色之间也产生了非常多的交互。下面是瑶台做的一个视频,它是针对传统的展会的场景来做的。

针对展会的场景,瑶台也做了一个针对性的展画场景。(视频展示)

以上就是瑶台做的两个应用,下面来讲一下瑶台的核心功能。首先是虚拟场景,瑶台自己现在已经做了几十个,不同风格,适合办不同活动,容纳不同观众数量的虚拟场景。它可以在后台的管理系统里面,选自己喜欢的虚拟场景。这是一个之前办过的礼堂,这是一个大型的会议室,这是小型的会议室,这是一个露天的场景,这是拍卖会的场景,这是发布会的场景,这是古风的,小的茶室的场景。

第二个是虚拟人,每个人都有一个虚拟人到虚拟角色中去,瑶台有60个不同的虚拟角色,大家着装不同,可以穿着不同的服装到不同的场景体验。如果大家想提高参会的沉浸感,用户可以上传自己的照片,通过网易的AI能力可以快速形成的虚拟形象,捏脸的方法是最早用在大型的MMO游戏里面,这也是网易雷火最早在线上应用的,它可以把照片捏成不同的风格,比如说偏写实的,偏唯美的风格。第二个,如果有了一个虚拟人后,怎么样让虚拟人动起来,原来需要买昂贵的动捕设备。现在不需要了,我们就在普通的电脑前用普通的摄像头,就可以实现动捕。这里有一个视频,大家可以看一下效果。

瑶台为了能够让大家快速上手,做了很多的教学功能和会务的功能,大家可以在里面看到好友的列表,也把自己的桌面分享到虚拟世界的大屏幕中去,这个视频用户,可以把自己的桌面能够分享到虚拟场景的大屏幕当中去。这是活动的讲师在里面放《新闻联播》。

瑶台为了方便活动的主办方,开发了后台活动的管理系统,首先活动的主办方要在这里面配置一场活动,选择若干个他喜欢的会场,有了会场之后就可以邀请用户参加,给用户发一张门票,门票有一个权限,可以控制用户进入到指定的会场中去,还有观众、主持人多种身份,每个身份的功能不同。活动场地里面有非常多的展板,展板上面可以放一些宣传的资料、音视频的内容,去打造一个自己专属的活动场地,这是瑶台之前办过的一些活动,里面的一些展板的效果。

对于一个活动的主持人来说,他需要来控场,能够维持会场的秩序,所以我们开发了一套主持人的管理工具,主要是能够帮助主持人可以在这个活动里面,有一个更强的掌控感。对于瑶台怎么样来访问,除了我们安装一个客户端,安装一个App之外,还用了云渲染云游戏的技术,把渲染工具放在云端,这样用户可以通过浏览器打开瑶台,不需要额外安装一个比较大的软件,对用户来说,就比较方便一些。为了方便海外的用户,瑶台还做了一个中英文双语的界面,可以一键切换,虚拟世界里面有一个好处,就是用户的行为非常容易被底层的引擎采集到,我们在征得用户同意之后,可以征集到用户活动的一些数据,最终做一些数据分析,提供给活动的主办方,活动主办方在营销的时候有一个更强的目的性。现在瑶台非常多地使用了公有云,包括阿里云、华为云、AWS,还有网易伏羲自己开发的一些云。这样我们用了这些公有云,就可以在办活动的时候,通过云端渲染技术,把公有云的节点开在一个离用户比较近的地方边缘云的上面,这样用户的延迟比较低,对于一些全球性的活动,用户的体验也是比较好的。

之前瑶台做过很多场活动,最早的就是分布式人工智能大会,2020年时这是一个比较新的系统,很多海内外的媒体对这个事情进行了报道。这是会议结束之后,有部分的参会者,我们征得了他的同意,通过捏脸之后做了一张大合影,大家可以细看一下,照片上每个角色的脸都是不一样的,是一个古风的参会者的照片。

这是我们和浙江大学在去年做的第十六届国际生物矿化会议,也是一场国际会议,有很多海内外的科学家参加了这个会议,会场里面有PPT的分享,也有展板,对于一些用户感兴趣的paper,也可以在post区里面和论文的作者进行一些视频交流,就是PPT左下角的图片。

这是瑶台跟浙江大学办的一个研在浙大的活动,是线上线下的混合活动,这是线下的会场,这是线上的会场,线上线下的会场是联动的。去年的网易云音乐上市瑶台也有一个线上的会场,这是现场会场的资料,我们在活动中做了一个现在的,2021年的丁磊,同时还有2000年,网易第一次上市,年轻时候的丁磊。这是今年和浙江大学办的一个低温工程方向的会,瑶台里面可以办一些年会、庆典、酒会。

总之,瑶台适合做一些对活动的沉浸感、仪式感、虚拟空间有要求的一些线下的活动。其实大家来做元宇宙这个事情,就比较清楚,我们现在元宇宙是一个非常复杂的系统,它对很多技术都有一个明确的要求,所需要的技术也非常多,包括人工智能,包括数字孪生,包括区块链、云计算、底层通讯系统、5G、WIFI6都有一些要求。这样复杂的系统,不是一个公司或者是少数几个公司完成建设的,是需要很多公司一起共建这个系统。网易这个过程中做了一个的事情,就是把它自己的游戏工业能力向B端开放,这样大家可以把很多线下的活动能够数字化,能够搬到线上来。

我们相信在线上的生活,未来肯定不是一个线下生活的补充,很可能变成两个平行世界,越来越多的用户,花在线上的时间越来越多,有可能花在线上的时间比在线下的时间短,那时候就是元宇宙的奇点,但是短期之内很难达到那一点。短期之内网易瑶台需要选择一个细分的领域,是从一个小的应用,或者是一个小的行业做起,最一开始,不会到meta universe这个级别,可能meta application,再到meta city,再到meta planet,再到下一步才能到达metaverse的级别,所以元宇宙的行业需要各行各业一起来共建。

以上就是我的分享,非常感谢各位大家!

关于元宇宙

元宇宙(Metaverse)是引起大众关注的最新未来技术趋势。30年前,Neal Stephenson 在其科幻小说《雪崩》中创造了“metaverse”一词以概括他笔下的虚拟现实。48年前,Steve Mann发明了基于可穿戴计算的扩展现实技术,并将其称为“metavision”。从词源出发并兼顾其内涵和外延伴随技术进步的合理拓展,元宇宙是关于外界被用户(人类或非人类)感知为一个实际建立在数字技术之上的宇宙的一种体验,这个宇宙或者是与我们当下的宇宙不同的宇宙(“虚拟现实”),或者是我们当下的宇宙的一种数字扩展(“增强现实”或“混合现实”),或者是我们当下的宇宙的数字对应物(“数字孪生”)。元宇宙既然以宇宙命名,就必须是持久的,而且应该是巨大的、全面的、沉浸的、自洽的。元宇宙既然用“meta”来形容,就应该是逼真的、易用的、泛在的,并且可以是去中心化的。狭义上,元宇宙可以简单地定义为持久存在的虚拟现实(PVR)。广义上,元宇宙是数字化转型的高级阶段和长期愿景。

今天,元宇宙就像一个有魔力的词,激发了无数来自不同行业和背景的人的无限想象。不同的人眼里有不同的元宇宙,但迄今为止关于元宇宙的最大共识是,它将对我们的日常工作、娱乐和生活产生深远的跨越各行各业的影响,重塑全人类的经济和社会。