阿里EMO是用音频驱动照片生成视频，给定一个人物肖像和一段语音，即可生成给定人物肖像输出给定语音的视频。与以往的对口型不同，包括了人物的神态和头部动作，十分逼真。
具体演示效果可见网页链接
可以让赫本讲故事，可以让蒙娜丽莎读课文，可以让AI美女来一曲（内心os：原来的AI美女只有静态图还好能顶，这直接真情给你唱歌谁顶得住啊。）
AI这么发展，三分钟打造一个心动女生太简单了。赫本面对面聊天，谁也顶不住。
这个应用思路好的点在于放弃了最难的四肢/手指等细节，用语言+肖像图（肖像图还可以用AI生成）生成视频，只做头部/面部动作生成（非对口型，而是生成完整视频）。这样避开了Sora在大画面上保持一致性、稳定性等等难点，只在一个点上形成突破，第一人称大头出镜类短视频完全颠覆，NPC无限逼真。
而这个单点的突破则是正好能直接进入生产力的，可以想见的应用如下——
1、短视频平台人物打造，虚拟人物+音频=视频，低成本无限产出
2、互动剧情游戏演员，直视对话轻松完成
3、部分影视剧、短剧人物大段台词特写镜头无需实拍，演员可以不用换头，也不用数1234567，利好流量爱豆
4、游戏NPC设计，灵活逼真
5、听歌时封面可以直接合成歌手演唱视频，沉浸式收听
6、黑暗向应用是诈骗等视频，直接视频通话都可能发现不了，防不胜防了
利好：互动剧情游戏、大量逼真NPC需求的游戏、短视频运营方、影音制作、影音娱乐平台
风险：论文阶段，产品未对外发布
精彩讨论
花匠秀02-29 11:38阿里EMO是目前我看到的，最接近直接生产力级别（生成质量、产品化前景）的单点生成式AI应用，没有之一。 $盛天网络(SZ300494)$ $百纳千成(SZ300291)$
花匠秀02-29 15:06为啥主要选择盛天网络前面有两个帖子也大概说了，阿里EMO的核心精髓创新是音频驱动视频。盛天网络正是有广泛音频娱乐业务的游戏娱乐公司，歌曲MV、在线语音都是直接指向的应用场景。【AI视频可以为文字推理游戏（如海龟汤、剧本杀）批量且快速的生成视频内容，用来展示故事内容、剧情过场，将游戏体验从纯文字转化为更具代入感的视频，有望引爆新一轮线上多人推理游戏潮。另外对于公司给麦APP的AI翻唱、AI写歌及其他音乐相关功能而言，AI视频也可以辅助生成多变的定制MV、动态专辑封面、动态海报等，让每一个喜爱音乐的用户或AI虚拟人分身快速拥有属于自己MV专辑。】
花匠秀03-01 15:14EMO不是Sora，也不需要比较，两者的目标也完全不同。Sora是文字构建场景，是立体的应用，很宏大的构想，但里距离能用十万八千里，应该很多人体验过GPT3.5吧，Sora目前可能还不到GPT2的水平。EMO是非常具体的点级别的应用，核心是用音频驱动视频，他的优点是已经达到生产力级别，在音乐、互动游戏为主的短视频层面能够形成颠覆。
（至于有人说的对口型，以为是老技术，那就完全没理解EMO模型的精髓，只要认真看了链接里的全部示例，就能明白两者是完全不一样方向和效果。）
花匠秀02-29 22:42可以这样类比Sora和EMO，Sora相当于一个外立面还漏钢筋的纯毛坯高楼大厦宏伟建筑，EMO则是精装修通水电的一居室。
花匠秀02-29 18:37晚上你在各路科技媒体就会看到了，他们有延迟，只有挖掘机永不眠
全部讨论
阿里EMO是目前我看到的，最接近直接生产力级别（生成质量、产品化前景）的单点生成式AI应用，没有之一。 $盛天网络(SZ300494)$ $百纳千成(SZ300291)$
【比#Sora#惊艳！#LTXStudio来了#！】29日，著名AI平台Lightricks宣布推出生成式AI电影制作平台—LTX Studio。由LTX Studio生成的视频，在文本语义还原、视频动作一致性、灯光、视频调色、背景语音解读等方面表现优秀。据悉，用户只需要输入文本就能生成超25秒的微电影视频，同时可对镜头切换、角色、场景一致性、摄像机、灯光等进行可视化精准控制。
Sora生成的视频由神经网络完成，也就是说生成的内容完全由AI决定，你除了提供文本无法进行任何内容控制。
而LTX Studio提供的可视化专业视频控制台，可以帮助用户进一步优化视频的细节达到商业级视频，并且附带语音解读而Sora目前无法提供。
真是生产力级别的了，我甚至连商业模式都想好了，去岛国签几个肖像权，天天给宅男们讲故事$盛天网络(SZ300494)$ $百纳千成(SZ300291)$
@花匠秀 昨天看到了。看超讯通信没封板以为是p的图。结果中午就石锤了
可能也利好IP或者素材持有方，更方便变现了，例如中文在线？
【阿里云宣布全线云产品降价：最高降幅达36%】2月29日上午消息，今日举办的2024阿里云战略发布会上，阿里云宣布全线云产品官网售价下调，最低降价10%，平均降价幅度超过20%，最高降幅达36%。这是阿里云史上最大力度的一次降价，涉及100多款产品、500多个产品规格，覆盖计算、存储、数据库等所有核心产品，数百万新老客户可在本次降价中直接获益。降价后，阿里云核心产品价格都击穿了全网最低价。（新浪科技）