AWE 2018 系列访谈 二丨Rokid AI与AR:大脑与视觉-人机交互的设计闭环

发布于: 雪球转发:0回复:0喜欢:0

在本次AWE上,一共有500位来自于不同行业的演讲者分享他们在AR和VR探索中的经验,见解,产品或服务发布以及未来的趋势。其中,我们看到一个在AI界很熟悉的名字——Rokid。Rokid成立于中国杭州,在北京和旧金山分别设有独立办事处,其先后获得IDG资本和元璟资本的A轮投资和尚珹资本的B轮投资。今年1月拿到了淡马锡领投的1亿美元投资,估值4.5亿美元。2014年自成立以来,Rokid智能家居机器人“ALIEN · 外星人”, 智能音箱“PEBBLE · 月石“以及全栈式语音解决方案等。在2017年,Rokid一反常态,推出了AR Glasses,分支打入了AR市场。这一举动在当时受到了不少质疑——一直在做AI产品的Rokid如果开始涉足AR领域会不会分流研发能力;而看似半路出家的Rokid AR Glasses借助自家AI的研发基础产生有何过人之处。

摄于AWE 2018 Design Track 

Rokid R-Lab研究者 樊星分享AR Glasses中的用户交互设计

虽然这一次Rokid在AWE上并没有展台,但Design Researcher Paris Fan在Design Track上和众多AR/VR从业人士分享了设计Rokid AR Glasses中的需要注意的消费者体验问题,以及中国消费者的实验结果。我们请到了哈佛大学设计学院毕业,前Google设计师,现任Rokid硅谷R-lab首席产品设计师的姜公略来分享AR Glasses设计中的经验,问题和趋势。据悉,6月26日,Rokid自主研发的AI芯片也将正式亮相。

ARC:能简单介绍一下Rokid位于旧金山的R-Lab在Rokid的产品链条中处于什么位置,具体做哪块事务呢?

姜公略:Rokid在旧金山的R-Lab主要承担第一阶段到第二阶段的研发,也就是前端研发以及消费者测试。首先我们在研究未来产品(Future Product),然后尝试如何将其转化为前端产品(High-end Product)进入到消费者市场。在中国杭州的团队主要承担第二阶段到第三阶段的推广,把产品分发到消费者手中。美国团队在2016年成立,目前有30人左右,今年是第二次参加AWE。这届AWE虽然规模更大了,但在应用层面的发展我感觉还是偏慢的,主要原因还是在硬件的发展上。目前还没有一款产品是真正能面向消费者的。一旦有这样的硬件出现之后,消费者用起来后,这个产业才会起飞。B端都是偏定制化的精准需求,用AR能做得更好一点的。

ARC:我们在今年的AWE上也看到了20余款ARGlasses。那么您觉得在ARGlasses铺向消费者端面临最大的几个问题是什么?

姜公略:首先,面消费者端最早的尝试应该是Google Glass,有几个错误:1)带上以后不像正常的眼镜,太像Geek或Techie。看到别人带上的还以为在自动录制。2)技术上有一些痛点,比如续航能力的问题,还有就是对手机的能耗很大,必须连上手机,当手机本来电量低的时候,电量会下降得非常快。因为我本身之前在Google工作所以用过一段时间的Google Glass。3)光学显示不够强大。图像显示在眼镜上部,只有13度的FOV,3)应用也比较有局限。基于以上的几个问题,我们的AR Glasses在集中解决这些问题。首先,眼镜的设计是墨镜的形式,我们不会有部件是裸露在外面的,包括摄像镜头也是隐藏在墨镜里面的。第二,Rokid AR Glasses续航能到3-4个小时。第三,我们的设计是All-In-One设计,不需要链接到手机,眼镜本身是独立的运算设备,内置骁龙835的芯片。

摄于AWE 2018 Qualcomm发布的最新芯片

同时,眼镜搭载的是Android系统,开发者非常容易在平台上开发软件,开发者只需要稍微改一改就可以在我们的硬件上使用。我们还提供了非常丰富的SDK,例如摄像头、SLAM,人脸识别、物体识别、硬件交互。之前的Google Glass算不上真正意义的AR,它只是信息显示,AR最重要的部分是认知现实中的物体,跟现实中的物体产生交互。

ARC:这次Rokid作为演讲者的身份在DesignTrack分享了ARGlasses设计上的经验。主要是哪方面的经验呢?后面会如何优化RokidARGlasses?

姜公略:这次樊星分享的主要是两个典型的实验和案例:其中一个是我们现在集中攻克的语音交互这一块。当时我们挑选了很多扬声器,首先保证它足够小,能够放到镜筒里,甚至还试过骨传导的方案,但是信息传递并不好。我们需要支持的主要是TDS语音,所以在Rokid AR Glasses眼镜下方用了一个麦克风阵列。最终我们选择了一个中等型号的扬声器,放到了镜腿的后面,然后用前音腔的导管导到了前面。所以在整个设计当中,通过做用户研究,做出来,用户反馈,然后迭代产品。

后面我们要攻克的最大的问题是光学,光学有几个不同的方案:1)我们用的是自由曲面光学的方案(Freeform Optics);2)市面上有导波光学方案(Waveguide Optics);3)ODG采用的Birdbath光学设计;4)还有Birdbath和Waveguide合体的Hololens这样的光学方案。我们团队认为导波光学方案未来前景比较好,但它的问题是成本极高,量产能力极低并且光效能很差,耗能很大,这个技术目前还不太成熟,尤其在量产上是很难的。像之前说的这个产业能起来必须要靠一定的量级。因为开发者会需要看你平台有多少用户量,不然不会加入进来开发的。所以我们在选择方案的时候在量产上一定要符合成本和需求。所以最终选择了我们自己研发的一个自由曲面的光学方案,光效率在50%以上,相较之下,导波光学的光效率在10%以下。在运行能力和亮度的情况下,我们同比会有5倍多的续航能力。而这样的光学模组成本可以控制在几美元左右,这样才有走消费者机的基础。

图:几种不同的AR Glasses所使用的光学解决方案

我们希望这样的方案能运用1-2年的时间,然后再储备下一轮的导波光学方案。

ARC:那么您认为RokidARGlasses从缝隙市场到大规模生产会花多长时间?目标市场主要面向哪一块?

姜公略:我们在今年年底会对Rokid AR Glasses进行大规模量产。将会把目标市场定在中国和美国两个市场。也不排除欧洲、日本等,但目前BD主要还是在中美两国。我们第一款AR Glasses是在美国CES上发布的,但我们很多需求方来自于中国,因为我们已经做过AI方面产品的量产,所以我们也有同样的实力做AR Glasses。美国这边更多的还是to B的,但之前更多的还是保守观望的状态。在这一届AWE上可以看到很多中国公司,在数量上完全不亚于美国公司,而且技术上也没有太大的差距。虽然很多专利还在美国这边,但可以做很多变化(Variation),做改进,因为原理没法申请专利,因为光学原理都一样。比如我们独创的自由曲面方案,做了全新的应用。

Rokid AR Glasses佩戴效果

ARC:小编有了解到Rokid也在研发自己的半导体和AI芯片,在以后会不会应用到自己的AR Glasses上面呢?

姜公略:AI芯片我们主要还是做语音这一块。我们的核心是AI赋能(AI Enabler),用AI来赋能人机交互。人机交互目前重点在语音和视觉,有了AI技术才能做到语音识别,才能做到TTS,让机器发出和人一样的语音,从而训练机器,产生机器学习。整个算法可以用于语音上,也可以用于视觉。虽然我们视觉起步比较晚,但也在加速视觉上的积累,并自主研发机器视觉,人脸识别和物体识别等核心技术。所以我们已经将这一套结合AR和AI的解决方案打包起来去赋能产业了。比如有一些公司已经把他们的人脸打卡机从三巨头的产品替换成我们的产品。我们本身也投入了很多资源去做视觉这一块的赋能。即将推出的AI芯片是我们已经打磨得很成熟的语音系统提炼出来做出的芯片,但未来不排除我们会做视觉方向的芯片。

ARC:除了语音和视觉之外,Rokid在人机交互上还有其他的计划和布局吗?

姜公略:其实我们有个概念叫XUI,就是所有的人类感官和机器的互动。但目前最重要的还是视觉、听觉和触觉。要说有其他的布局的话除了语音交互,视觉交互我们还在研究触觉交互,就是手势交互,还有一种全新的Touch Screen。这个不能透露太多细节,下一代的产品会有一种全新的Touch感官,也是核心的输入方式之一。其他的感官我觉得需要人类在视觉和听觉的到极大的满足后会逐渐开发出来。包括我们自己的AR Glasses, 我认为还有5-10年的时间去做到足够小巧。

Rokid AR Glasses 具有多种外观颜色

我们深挖的场景并不是鼓励消费者24小时佩戴,而是一天花上大约1-2个小时的使用场景,甚至更短的时间内能完成一个任务,并通过它完成非常丰富的体验——比如游乐园、户外探索、演唱会、游戏、室内购物这种较短时间的集中体验。

从长远来讲,Rokid最终的愿景(Final Picture)是“人类陪伴”(Personal Companion),回到家后懒懒地坐在沙发上让Rokid帮你搞定其他的东西,在家里的AI能逐渐了解你并融入家庭生活,提高生活质量。而Rokid AR Glasses可以帮助你在户外也连接上这个系统,提供无缝的便利和赋能,所以当AR Glasses整合进来了之后,这是一个交互闭环(Full Cycle)。

最后也请大家关注6月26日Rokid即将在北京的新品发布会,将会发布RokidAI芯片等重磅产品和服务。

更多AWE2018精华演讲、访谈和展示原型,请关注ARinChina后续报道。

END

AWE 2018 系列访谈 一丨XR的时代来临,浅谈增强人类以及虚拟世界的“资本化

看VR体验店的生死存亡现状~

】这里有道VR科普“任意门”等你开启!

】也许叮当猫科技李总能帮你实现“VR吃鸡”的梦想?

·选·服·务