以这张气球人骑车的片段为例,由于每次生成主角骑车画面都无法保持统一,看似流畅的画面实际上由三段画面拼接而成。
AI拍片,更耗人力了
由于AI无法稳定生成一个固定的角色或者道具,这也导致了《Air Head》制作时遇到了许多在传统影视中不会遇到的问题。
这部短片的主角是一个黄色气球作为头部的人,由于AI无法稳定地生成这样一个角色,在这部1分21秒的作品中,几乎每一秒都需要大量的后期调整才保证角色的统一。
为了解决这个问题,Shy kids决定大力出奇迹,通过大量生成相关片段筛选相对统一有用的部分,来组合成一部影片,这也让团队原来设想的拍摄电影变成了一部类似纪录片的拼接缝合。
团队负责后期的帕德里克表示:“短片有剧本,但团队需要灵活应变”,“只是获得了一大堆镜头,并试图以一种有趣的方式将其剪辑给旁白。”
其透露道,为了制作这部片子,每一秒钟的成片都需要大概300倍的素材。
而渲染这些原始素材成为了影片最耗时的部分之一,团队表示每次得到的素材长度在3-20秒,但是渲染的时间需要10-20分钟不等。
而即便是渲染出来最终采用的素材,依然逃不过大量的人工后期加工。
Shy Kids提供的信息显示,即便每次都要求生成一个黄色的气球,Sora有时候还是会生成一个红色气球,由于没有更加合适的素材,后期团队只能利用PS和AE将其涂成黄色。
而有时候则会在气球上出现人脸,这导致需要大量的后期处理,包括分级、稳定化、上采样以及移除不需要的元素。
OpenAI:什么是镜头语言?
除了需要大量的后期外,对于制作AI电影中最大的障碍,负责本片后期的帕德里克提到了AI目前很难理解镜头语言这个缺点。
帕特里克表示:对于许多文生视频工具来说,一个有价值的信息来源是相机元数据。例如,如果需要用照片训练(大模型),相机元数据将提供镜头尺寸、光圈值和许多其他关键信息供模型训练。
但是对于电影镜头,“跟踪”“平移”“倾斜”或“推入”的想法都不是相机数据中冰冷的数据,而是一个更加抽象性的概念。尽管在影视行业中对象永恒性(道具/人物需要在拍摄时持续存在)制作至关重要,但镜头语言也同样重要,然而目前的Sora不仅难以实现,甚至难以理解这个概念。
Shy Kids表示:“对于如何描述电影场景中的一个镜头,九个不同的人会有九种不同的想法。 (OpenAI) 研究人员在让艺术家使用该工具之前,并没有真正像电影制作人那样思考。”尽管Shy Kids团队知道他们体验的Sora版本比较早期,但依然对于杂乱无章的摄像机机位和角度表示震惊,在团队眼中,他们已经试图在文本中强调固定机位或者镜头语言这个概念,但是他们不太确定到底是Sora无法理解他们的输入方式,还是SORA根本就没有相关的概念。
在将这个问题反馈给OpenAI后,双方都大吃一惊,相比Shy Kids团队,OpenAI的研究人员震惊于文生视频居然有这样的需求,这番回复让Shy Kids团队集体瞳孔地震,在他们眼中司空见惯的认知居然在SORA的开发中完全没有被提及。
在Sora紧急更新了相关代码后,Shy Kids对保持同一机位这个功能的评价也是“堪堪够用”,帕德里克表示SORA目前可以做到生成10次视频,六次能得到差不多的机位角度。
不过他补充到,值得注意的是这并不是一个独特的问题,几乎所有主要的文生视频公司都面临着同样的问题。Runway AI在提供描述摄像机运动的UI方面可能是最先进的,但Runway的质量和渲染剪辑的长度不如Sora。
对于整体的拍摄体验,Shy Kids团队表示这是一次新奇且有意义的探索,他们认为比起靠Sora直接生成一部影片,将Sora融入AE制作特效镜头是一个非常好的应用尝试。
同时,他们也表示,目前的Sora依然非常的早期,并不适合对外公开发布,对于专业团队来说,可能离满足导演要求还有很长的路要走,但是对于普通人,也许在未来的一段时间内,如果不在乎各种奇怪的BUG画面和需要大量的后期修补,Sora或许能做到足够普通人使用的程度。
原文链接:网页链接
不知道OPEN AI能否止住活跃用户数下滑的趋势?