游戏NPC秒变真人,3D大片模型一键生成,RTX AI PC正让这一切走入现实

发布于: 雪球转发:0回复:0喜欢:2

1亿台RTX AI PC已就位,英伟达AI核武库颠覆游戏内容创作产业。

作者 |云鹏

编辑 |漠影

短短半年多时间,AI PC已经从概念兴起进入了应用大范围落地阶段,在大模型技术快速迭代的当下,越来越多的生成式AI应用开始落地端侧。

AI开始改变人们生活、工作、娱乐的方式,消费者离不开PC,企业生产力离不开PC,AI PC快速深入各行各业,而AI技术的快速迭代、深度应用,离不开软硬件技术的底层支持。

从RTX GPU、CUDA生态、各类基于RTX技术加速的软件应用,到基于英伟达RTX技术打造的各类AI PC产品,在AI PC的浪潮中,英伟达成为了AI变革生产力背后的关键支撑。

最近,英伟达亮出了一系列最新AI技术的重磅升级,从游戏领域的DLSS、NVIDIA ACE,到内容创作领域的TensorRT加速ComfyUI、RTX Video,诸多现场Demo都给我们留下了深刻印象。

英伟达的RTX AI加速下,借助AI技术,游戏体验天花板被打破,高帧率高画质得以兼顾,内容创作的方式也产生了颠覆性革新,各种“一键生成”的AI新功能让创作效率有了数倍的提升。

芯东西在现场与英伟达的工作人员进行深入交流,对RTX AI PC在游戏和内容创作领域如何赋能更先进的AI进行了深度探讨。

我们能够看到,在AI领域耕耘数十年的英伟达,已经积累了深厚的技术护城河,在AI PC的浪潮中成为诸多关键技术的底层支撑者。

AI PC革命,英伟达正为整个产业按下加速键。

01.

从玩家到开发者,英伟达AI黑科技加速迭代,变革游戏产业

当下游戏已经成为深受生成式AI影响的一大领域,不论是从游戏玩家的体验角度,还是从游戏厂商的开发角度,游戏内容创作的范式、游戏玩家的体验都在迎来颠覆式升级,而英伟达成为其中最关键的基础支撑,加速先进AI技术给游戏产业带来的生产力变革。

我们不妨通过几个代表性的技术来一探究竟。

1、DLSS:用AI实现帧率和画质的兼顾,大幅降低硬件门槛

DLSS技术一直是英伟达在游戏领域的“看家本领”之一,英伟达也是业内最早推出此类技术的厂商。经过多轮迭代,如今应用了AI技术的DLSS 3正在越来越多的游戏中落地。

在现场体验的过程中,我看到很多画质精良的大型游戏在4K分辨率仍然可以获得144帧甚至是240帧以上的“电竞级”流畅体验。

比如在《三角洲行动》中,即使是开启了光线追踪后,借助DLSS 3游戏的帧数仍然可以保持在144帧以上,在激烈对战的场景中,也可以保持不错的流畅度。关闭DLSS 3后,游戏帧数仅为80帧左右,DLSS技术对于游戏体验的改善是非常直观的。

此外,在《漫威争锋》、《鸣潮》等游戏中,开启DLSS 3和Reflex技术,都可以获得相当高的帧数,同时兼顾画质,游戏的响应速度也得到保证。

可以看到,随着越来越多的游戏加入DLSS的生态中,DLSS 3基本上已经成为游戏开发行业普遍采纳的技术标准。

值得一提的是,虽然目前行业内其他厂商也推出了类似DLSS的技术,但英伟达是最早推出这类技术的厂商,多年的深耕、大量技术研发投入、大量试错都是对手难以追赶的,也正因如此,DLSS技术的稳定性、生态完整度都是最高的。

2、NVIDIA ACE:AI真正与游戏人物深度融合,游戏自由度划时代改变

NVIDIA ACE一直是对广大游戏玩家吸引力极高的一项技术,其最直观的效果就是看可以让游戏中的NPC像真人一样与游戏玩家沟通交流,游戏的互动方式、体验都有显著不同。

这次NVIDIA ACE相关技术进一步升级,很多AI技术被转移到端侧运行,AI引擎集成了Riva自动语音识别功能,可实现准确的语音转文本,同时AI引擎集成的NVIDIA Audio2Face则可以提供逼真的面部动画。

从现场体验来看,NPC的可互动性更强了,响应速度更快,NPC的个性和动机更加鲜明,NPC的故事背景也可以进行定制,动态响应能力有所提升。

从2023年NVIDIA ACE的Demo首次亮相至今,ACE技术已经远不止于一个Demo,且已经向各个行业的公司开放。没错,借助NVIDIA ACE技术,任何厂商都可以快速高效地开发出属于自己的栩栩如生的“虚拟数字人”。

▲基于NVIDIA ACE技术,Colorful定制的专属数字人

相比于当前行业中的其他虚拟数字人解决方案,英伟达可以发挥自己长期在游戏领域深耕积累下的技术。虚拟人的质量、面部表情的真实程度、与人交互的自然程度,相比传统的虚拟人,可以说是“次时代”级别的。

值得一提的是,英伟达还为NVIDIA ACE技术提供了各种配套的开发适配工具,如NVIDIA NIM等,对于企业来说,NIM可以大大化简ACE的部署时间,并让NVIDIA ACE在RTX AI PC中运行,企业只需要将自己的知识库进行对接,英伟达已经帮他们解决掉了几乎所有技术层面的问题。

这正是英伟达对于企业的关键价值:英伟达提供的不只是一个技术,而是技术以及配套的全链条开发工具,企业应用AI新技术的成本,被极大降低了。

3、G-Assist项目:从游戏指导到系统设置,AI成为你的最佳玩伴

如今智能助手是各大科技巨头都聚焦的领域,英伟达也发挥自己在游戏领域的积累优势,在前不久的COMPUTEX上亮出了AI游戏助手——G-Assist项目。

作为真正的“游戏助手”,G-Assist可以提供游戏指导,帮你进行电脑的系统设置,提高性能,甚至还可以给你的GPU超频进而提升游戏帧率。

▲G-Assist帮玩家绘制60秒PC延迟曲线图

值得一提的是,为了让这些功能可以更快捷地应用在游戏中,英伟达为开发者建立各种模型和框架,以便他们在游戏、创作等更加广泛的领域创建和部署这些AI助手。

不论是DLSS、ACE还是G-Assist项目,我们或许可以用一个形象的比喻来理解英伟达所做的事:对于消费者,英伟达“授之以鱼”,让消费者直接享受到最好的体验,不需要顾虑其他。而对于开发者和企业,英伟达“授之以渔”,让企业和开发者快速掌握技能,拥有最便捷高效的开发工具,具备能够给消费者提供优质内容的能力。

02.

AI颠覆内容创作范式,“一键即得”背后,英伟达为开发者铺平AI之路

除了游戏,在内容创作领域,AI技术的升级同样带来了创作范式的改变,无数优秀的内容创作者已经借助基于RTX GPU以及相关软件技术加速的生成式AI创作工具产出了众多优秀作品,AI给他们的工作流带来了数倍甚至数百倍的效率提升。

RTX AI PC,正成为每一个优秀创作者的必备的生产力利器。

1、几笔勾勒生成精美3D模型,性能之上,英伟达AI蕴含诸多“隐性优势”

这次在活动现场,我们看到了B站知名UP主特效小哥008利用生成式AI辅助制作的特效短片,他们的团队使用基于Stable Diffusion的ComfyUI为3D模型制作了具有多种材质通道的高质量AI贴图,同时辅以TripoSR实现生成式的3D模型构建。

B站知名UP主特效小哥008介绍如何利用生成式AI辅助制作特效短片

比如我们只需要几笔手绘一个潦草的“小鸟”,AI就会生成一只真正的活灵活现的画面精美的小鸟图片,并且直接生成对应的3D模型,我们还可以直接把这个3D的小鸟模型插入到对应的视频中,十分方便。

▲手绘小鸟草图转换3D模型

可以说,大量的手绘和雕刻工作都被AI工具替代,短片制作效率大幅提升。当然,这背后离不开RTX GPU的支撑以及TensorRT对Stable Diffusion中最热门的应用之一ComfyUI的加速。

在短片的最终合成与渲染环节,Blender Cycles渲染器可以由RTX GPU进行加速。从3D模型制作、短片制作到最终的渲染,英伟达的AI技术在整个创作工作流中都起到了关键作用。

在现场,我们还看到了一个SuperHero工作流的案例,Stable Diffusion的生图能力配合InstantID、IPAdapter和ControlNet等一系列细节控制技术,我们只需要上传一张自己的照片,就可以马上转换成指定风格的图片,甚至连给定图片中人物的动作都能很好的还原。

▲SuperHero工作流

比如你可以生成一张“超人飞天”的自己、生成一张“摆帅气POSS”的自己。值得一提的是,这一功能基于NVIDIA RTX GPU运行的性能优势能够达到CPU的百倍左右。

客观来说,在AI视频创作、图像创作领域,英伟达的RTX GPU已经拥有了行业天花板级别的性能,提供了顶级的生产力效率,但这并不是全部。

创作者们使用RTX GPU还带来了一系列隐性优势,比如稳定性、应用生态的兼容性、软件的易用性,这一系列看似“不起眼”的优势,实际上对创作者们来说至关重要。

试想,如果一个重要的视频因技术升级提升了1倍的渲染效率,但因为“BUG”而不得不重头再来,那么实际上创作者并未受益,相反体验是十分糟糕的。

对于生产力场景的AI工具,英伟达在背后实际上做了海量的工作,从协调产业链各方、到进行技术研发、调优、适配,英伟达把最难的工作留给了自己,最终创作者看到的就是“一键部署”。

这一点,正是英伟达的关键价值和不可替代性所在。

2、分辨率、色彩、亮度全面提升,AI让视频内容摆脱“枷锁”

最后,在AI技术普惠、让更多人更方便更高效地使用AI这件事上,英伟达同样是跑在最前面的,比如RTX Video的一系列优秀技术,已经面向开发者开放,进一步加速AI技术在视频领域的应用。

最具代表性的就是可以提升视频分辨率、让图像更加清晰锐利的RTX视频超分辨率(VSR)功能以及将SDR视频内容转换为HDR内容的RTX Video HDR功能。

▲RTX VSR功能

消费者们很早就可以在使用Chrome、Edge、Firefox浏览器和VLC播放器观看视频时,体验基于这两项RTX Video技术实现的4K HDR视频。

最近英伟达向开发者们开放了这些能力,例如Davinci Resolve、万兴喵影等热门的剪辑工具已经开始支持这些AI技术。

▲万兴喵影在应用中支持RTX Video技术

受限于当时拍摄设备、条件,一些珍贵的老视频可能并没有高清的画质和优秀的色彩、亮度表现,但借助RTX Video技术,这些内容可以获得更好的画面精细度提升、色彩表现提升。

更多内容创作者,甚至是普罗大众都可以更快捷地创作更高质量的视频并进行分享。AI降低了高质量视频制作的门槛,也降低了普通消费者享受高质量视频的门槛。

当然,英伟达为创作者们提供的优秀AI创作工具还有很多,比如RTX Remix就可以直接让经典作品与现代技术融合,打破技术的时空边界。

一些经典的老游戏作品都可以借助RTX Remix快速利用上全景光线追踪、DLSS 3.5这样的最新游戏技术。英伟达在这个过程中做了大量的优化,不断简化开发者、Mod爱好者的工作流程。

不论是ComfyUI背后各类RTX软硬件技术的加速,还是RTX Video于视频创作的进一步赋能,英伟达毫无疑问都已经成为整个创作产业拥抱生成式AI的最优解。

03.

结语:推动前沿AI技术落地,RTX AI PC加速变革千行百业

可以看到,不论是在游戏还是内容创作领域,英伟达都基于自身优秀的软硬件技术及生态能力赋能了大批开发者,让创作流程实现颠覆式效率提升,同时也给普通消费者带来了实打实的游戏体验、视频观影体验的升级。

当下AI技术迭代日新月异,所有的芯片巨头都在“All in AI”,很多竞争对手也在推出与英伟达类似的技术,希望能够有所突破。

诚然,产业的共同进步是好事,对于全行业来说都颇具积极意义。但同时我们也能清楚地看到:

过硬的硬件技术实力、行业天花板级别的产品性能表现、繁荣的软件生态、CUDA的坚实支撑、数十年积累下来的开发者们的认可和口碑,所有这些,都是英伟达在AI PC时代前行不可替代的独特优势。

用RTX AI PC加速变革千行百业,英伟达是认真的。

2024全球AI芯片峰会

9月6-7日,智猩猩联合芯东西发起主办的2024全球AI芯片峰会(GACS 2024)将在北京召开。峰会主会场将进行开幕式、数据中心AI芯片专场、AI芯片架构创新专场、边缘/端侧AI芯片专场;分会场将进行Chiplet关键技术论坛、智算集群技术论坛和中国RISC-V计算芯片创新论坛。

目前,AMD人工智能事业部高级总监王宏强, 清华大学交叉信息研究院、人工智能学院助理教授、北极雄芯创始人马恺声,珠海芯动力创始人兼CEO李原,锋行致远创始人兼CEO 孙唐,兆松科技联合创始人兼CTO伍华林,PhySim资深产品工程师黄建伟已确认参会,欢迎报名。