阿里EMO,真正的生产力级别AI视频应用

发布于: 雪球转发:11回复:110喜欢:26

阿里EMO是用音频驱动照片生成视频,给定一个人物肖像和一段语音,即可生成给定人物肖像输出给定语音的视频。与以往的对口型不同,包括了人物的神态和头部动作,十分逼真。

具体演示效果可见网页链接

可以让赫本讲故事,可以让蒙娜丽莎读课文,可以让AI美女来一曲(内心os:原来的AI美女只有静态图还好能顶,这直接真情给你唱歌谁顶得住啊。)

AI这么发展,三分钟打造一个心动女生太简单了。赫本面对面聊天,谁也顶不住。

这个应用思路好的点在于放弃了最难的四肢/手指等细节,用语言+肖像图(肖像图还可以用AI生成)生成视频,只做头部/面部动作生成(非对口型,而是生成完整视频)。这样避开了Sora在大画面上保持一致性、稳定性等等难点,只在一个点上形成突破,第一人称大头出镜类短视频完全颠覆,NPC无限逼真。

而这个单点的突破则是正好能直接进入生产力的,可以想见的应用如下——

1、短视频平台人物打造,虚拟人物+音频=视频,低成本无限产出

2、互动剧情游戏演员,直视对话轻松完成

3、部分影视剧、短剧人物大段台词特写镜头无需实拍,演员可以不用换头,也不用数1234567,利好流量爱豆

4、游戏NPC设计,灵活逼真

5、听歌时封面可以直接合成歌手演唱视频,沉浸式收听

6、黑暗向应用是诈骗等视频,直接视频通话都可能发现不了,防不胜防了

利好:互动剧情游戏、大量逼真NPC需求的游戏、短视频运营方、影音制作、影音娱乐平台

风险:论文阶段,产品未对外发布

全部讨论

阿里EMO是目前我看到的,最接近直接生产力级别(生成质量、产品化前景)的单点生成式AI应用,没有之一。 $盛天网络(SZ300494)$ $百纳千成(SZ300291)$

02-29 09:23

看到KUN KUN那绷不住了

02-29 15:59

【比#Sora#惊艳!#LTXStudio来了#!】29日,著名AI平台Lightricks宣布推出生成式AI电影制作平台—LTX Studio。由LTX Studio生成的视频,在文本语义还原、视频动作一致性、灯光、视频调色、背景语音解读等方面表现优秀。据悉,用户只需要输入文本就能生成超25秒的微电影视频,同时可对镜头切换、角色、场景一致性、摄像机、灯光等进行可视化精准控制。
Sora生成的视频由神经网络完成,也就是说生成的内容完全由AI决定,你除了提供文本无法进行任何内容控制。
而LTX Studio提供的可视化专业视频控制台,可以帮助用户进一步优化视频的细节达到商业级视频,并且附带语音解读而Sora目前无法提供。

03-01 10:03

真是生产力级别的了,我甚至连商业模式都想好了,去岛国签几个肖像权,天天给宅男们讲故事$盛天网络(SZ300494)$ $百纳千成(SZ300291)$

02-29 12:03

@花匠秀 昨天看到了。看超讯通信没封板以为是p的图。结果中午就石锤了

可能也利好IP或者素材持有方,更方便变现了,例如中文在线?

【阿里云宣布全线云产品降价:最高降幅达36%】2月29日上午消息,今日举办的2024阿里云战略发布会上,阿里云宣布全线云产品官网售价下调,最低降价10%,平均降价幅度超过20%,最高降幅达36%。这是阿里云史上最大力度的一次降价,涉及100多款产品、500多个产品规格,覆盖计算、存储、数据库等所有核心产品,数百万新老客户可在本次降价中直接获益。降价后,阿里云核心产品价格都击穿了全网最低价。(新浪科技)

花总牛逼,,太有前瞻性了,学习了。$盛天网络(SZ300494)$ $百纳千成(SZ300291)$

02-29 10:39

利好盛天网络

阿里的qwen做的也很不错