打破XR平台壁垒:苹果开放空间视频接口|VR|AR|MR|空间计算|MV-HEVC|编解码|库克

发布于: 修改于:雪球转发:0回复:1喜欢:3

苹果公司CEO库克说:Mac开启个人计算时代,iPhone开启移动计算时代,而Vision Pro则将开启空间计算时代。(原文:Just as the Mac introduced us to personal computing, and iPhone introduced us to mobile computing, Apple Vision Pro introduces us to spatial computing)

空间视频作为推动空间计算的重要抓手,受到苹果公司的高度重视。这一重视体现在各个层面,包括手机硬件、XR设备、操作系统、算法优化、员工培训、市场拓展和媒体生态建设。目前,这些努力正在持续稳步向前推进。

海外科技评论家对空间视频给予高度评价(详见《网页链接{苹果再邀媒体体验Vision Pro,媒体:不像在看视频}》)。行业专家普遍认为,空间视频凭借其 “一广两低”(广泛的用户基础、低开发门槛和低上手门槛)的特点,与游戏类应用的“小用户基数、高开发门槛高和高上手门槛”形成鲜明对比。空间视频正逐步成为XR行业破圈的希望所在。

目前,不仅苹果,许多XR和手机厂商也开始关注空间视频,一些公司和开发者已经在这一技术领域进行了初步的探索。行业当前关注的焦点是空间视频的编解码问题。编解码决定了空间视频是否能跨平台,而跨平台则决定了空间视频的价值能否最大化并实现商业变现

空间视频采用MV-HEVC编码,尽管这一编码技术早在2015年就被纳入ITU的H.265国际标准,但其编解码器在行业中尚不普及。例如,苹果iPhone 15 Pro拍摄的空间视频采用了MV-HEVC编码,要在安卓系XR设备上(如Quest 3、Pico 4等)观看这些视频,则需要通过第三方平台进行解码和转码(成为Side By Side左右格式),这一过程大大增加了跨平台操作的复杂性。

🔺图:传统的空间视频转码方案,图源:AR圈

🔺图:传统的空间视频转码方案,图源:AR圈

那么,这个过程能否简化呢?有两种方案:第一种是苹果系产品支持MV-HEVC的编解码及转码,第二种是安卓系产品支持MV-HEVC编解码。值得庆幸的是,苹果已经实现了第一种方案。

据资深开发者SpiderBot(V2XR)介绍,苹果在其开发者工具Video Toolbox中已经新增了对MV-HEVC编解码的支持。这意味着开发者可以基于这一接口,直接开发出苹果端的编解码及转码工具。

🔺图:苹果开放空间视频编解码接口,图源:AR圈

🔺图:苹果开放空间视频编解码接口,图源:AR圈

警长在研究苹果开发者文档后发现,在苹果官方的视频编解码工具Video Toolbox中,确实新增了对MV-HEVC的支持。以VTCompressionSessionEncodeMultiImageFrame为例,该函数用于MV-HEVC进行编码(压缩),而且该函数不仅支持Vision Pro和iPhone,还能支持iPad和Mac及Vision Pro。这意味着,编解码可以在苹果系全平台上得到支持。

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

🔺图:苹果官方视频编解码工具Video Toolbox新增对MV-HEVC的支持,图源:AR圈

警长结语:

苹果开放空间视频编解码接口,意味着空间视频跨平台的大门被彻底打开

那么,谁将是这一技术的最大受益者呢?是致力于创新内容的视频开发者,还是视频工具开发者?是提供灵活服务的SaaS服务供应商,又或是构建云基础设施的平台服务商?苹果的这一举措,又会为安卓系XR和手机厂商带来哪些新的思考和新的机遇呢?

欢迎关注公众号“AR圈”,通过快捷私信分享您的见解,与警长共同探索XR行业的未来之路。

$苹果(AAPL)$ $立讯精密(SZ002475)$ $歌尔股份(SZ002241)$

全部讨论

2023-11-16 18:42

谢谢整理!