Runway的这个新功能，想要彻底颠覆动捕行业。 * { margin: 0; padding: 0; outline: 0; } body { font-family: “PingFang SC”, system-ui, -apple-system, BlinkMacSystemFont, “Helvetica Neue”, “Hiragino Sans GB”, “Microsoft YaHei UI”, “Microsoft YaHei”, Arial, sans-serif; line-height: 1.6; } .__page_content__ { max-width: 667px; margin: 0 auto; padding: 20px; text-size-adjust: 100%; color: rgba(0, 0, 0, 0.9); padding-bottom: 64px; } .title { user-select: text; font-size: 22px; line-height: 1.4; margin-bottom: 14px; font-weight: 500; } .__meta__ { color: rgba(0, 0, 0, 0.3); font-size: 15px; line-height: 20px; hyphens: auto; word-break: break-word; margin-bottom: 50px; } .__meta__ .nick_name { color: 576B95; } .__meta__ .copyright { color: rgba(0, 0, 0, 0.3); background-color: rgba(0, 0, 0, 0.05); padding: 0 4px; margin: 0 10px 10px 0; } blockquote.source { padding: 10px; margin: 30px 0; border-left: 5px solid ccc; color: #333; font-style: italic; word-wrap: break-word; } blockquote.source a { cursor: pointer; text-decoration: underline; } .item_show_type_0 > section { margin-top: 0; margin-bottom: 24px; } a { color: 576B95; text-decoration: none; cursor: default; } .text_content { margin-bottom: 50px; user-select: text; font-size: 17px; white-space: pre-wrap; word-wrap: break-word; line-height: 28px; hyphens: auto; } .picture_content .picture_item { margin-bottom: 30px; } .picture_content .picture_item .picture_item_label { text-align: center; } img { max-width: 100%; } .pay_subscribe_notice { margin: 30px 0; padding: 20px; background: fffbe6; border: 1px solid ffe58f; border-radius: 8px; } .pay_subscribe_badge { display: inline-block; padding: 4px 12px; background: faad14; color: fff; border-radius: 4px; font-size: 14px; font-weight: 500; margin-bottom: 12px; } .pay_subscribe_desc { font-size: 15px; line-height: 1.8; color: rgba(0, 0, 0, 0.7); margin-bottom: 12px; } .pay_subscribe_hint { font-size: 13px; color: rgba(0, 0, 0, 0.4); } .__bottom-bar__ { display: flex; justify-content: space-between; align-items: center; position: fixed; bottom: 0; left: 0; right: 0; height: 64px; padding: 8px 20px; background: white; box-sizing: border-box; border-top: 1px solid rgba(0, 0, 0, 0.2); } .__bottom-bar__ .left { display: flex; align-items: center; font-size: 15px; white-space: nowrap; } .__bottom-bar__ .right { display: flex; } .__bottom-bar__ .sns_opr_btn { display: flex; align-items: center; user-select: none; background: transparent; border: 0; color: rgba(0, 0, 0, 0.9); font-size: 14px; } .__bottom-bar__ .sns_opr_btn:not(:last-child) { margin-right: 16px; } .__bottom-bar__ .sns_opr_btn > img { margin-right: 4px; }
Runway的这个新功能，想要彻底颠覆动捕行业。
原创 数字生命卡兹克 数字生命卡兹克 2024-10-28 09:30 北京
前几天那个AI应用爆炸之夜，除了Claude、Genmo、Ideogram 等等一群明星AI应用发布更新之外，Runway其实也发布了一个很酷的功能，只是被淹没在了信息的大爆炸里。
这个功能，叫Act-One。
简单的说，就是你可以上传一段人物表演视频，来驱动一个角色跟你做一样的面部表情。
我直接放一段视频，你们就明白是什么效果了。
把AI视频的人物表演的可控性，直接提升了一大步。
在传统的没有AI的过去，如果你想做这种动画视频，那复杂度是不可想象的。
我给大家大概三种方式的工作量的对比。
**第一种是传统动画中，动画师去手K角色的表演。**就是在模型上，人物一点点做，做200分钟左右的动画，其中人的部分，大概要7、8个动画师，徒手做半年。
**第二种就是动捕。**大概录制时间是2~3天，把所有的表演存下来，然后再花大概一个月的时候做优化和细节清理，就可以得到一个很牛逼的效果。
而整套动捕的工作流和设备，也是相当的复杂。
比如《死亡搁浅》里面，拔叔饰演的昂格尔，就全是动捕做的。
可以看到拔叔带着一整套面部动捕设备，脸上还有很多的黑点，这些黑点就是标记点，记录面部肌肉的运动，面前有摄像机阵列，大概就是通过捕捉标记点的运动和面部肌肉的变化，将这些表情信息转化成3D模型的数据，以驱动动画角色有更细腻的表演。
这里说个有趣的小东西，就是脸部的标记点其实也不一定是黑的，而是有反差就行，比如白人是黑点，黑人就是白点。。。
而且这套动捕设备很贵，动不动就是几十万美金，你信息采集完了还不能直接用，还得绑定、清理等等以后，才算Ok。
但是就这，也比传统的动画师手K要好多了。
而现在，有了AI之后呢？
以Runway这个Act-One为例，你传一张图，一个视频上去。
1分半钟，一段视频就生成完了。
就是这么快。
周末，我也终于拿到了Act-One的权限，好好测试了一波。
可以进入Runway的首页：https://app.runwayml.com/
如果你被推送到了的话，你就能看到一个巨大的Banner，Act-One。
点Try进去，你就能看到Act-One的界面，非常的简洁易懂。
上面是你要上传的视频，下面是你要上传的角色，Runway为了给大家快速上手玩，也放了一堆默认的角色。
比如有一个很经典的视频，就是那个：“我信你个鬼，你这个糟老头子坏得很”。这个动态幅度还挺大的，我们来试试。
我们直接把这个视频，传到Runway里面去，再随便挑个角色。
直接开跑就行。
大概1分多钟，这一段视频就跑完了，看看效果。
天秀，过于稳定了。
还原除了神韵，脸部的肌肉表情也复刻的很到位，更是看不出来一丁点闪动现象，稳定的不像是AI的视频。
再来一个超级复杂的表情，之前我在B站上看到这个惊为天人。
她的脸会跳舞，这表情丰富度，这控制力，过于可怕了。。
我们把这个视频，让Runway的Act-One再试试。
说实话，没有原来视频那种非人类的细节控制力，特别微表情和瞳孔的细节，是但是大部分的节奏和动态，都模仿到位了。在我看来，已经很棒了。
还有那个经典的老爷爷nice的魔性片段。
可以看到，当你的头部和表情幅度大的时候，表现是更好的。
Runway的Act-One，还是太强了。
其实表情迁移，Runway不是第一个做的。前有Viggle，后有快手的LivePortrait。但是基本都有个共同点，就是画面不稳。
Viggle比较屌的点是可以迁移更多的头部和身体动作，但是会有一些闪烁，有些细节会比较糊。这个桐生一马的case应该会比较明显的能看出来跟Runway的差异。
Runway的Act-One只能迁移表情，不支持迁移动作，但是稳定是真的稳定，直接直接加入动画生产工作流中的那种稳定。
在测试过程中，我也遇到了无数次说检测不到人脸的情况，所以还是要适应他们的一些规矩。
比如上传的视频，必须保证面部特征明显，肩膀以上，整个头部都在画面区域中，没有手部运动，效果是最好的，也是能识别的。整体要在30秒以内。
举个例子，著名的《楚门的世界》里面最后那一幕经典的独白。
这个片段，Runway死活说识别不到人脸上传不上去，其实就是头部没有完全在画面里，**当我用AI视频扩展，把整个视频扩了1.5倍，把他画面外的头发给补出来后。
**
瞬间上传成功了。
上传的角色图片，可以是脸部特写，可以是半身，可以稍微侧一点脸，但是眼睛必须注视着摄像机的角度。
也同样的，必须包含整个头在里面，要不然会识别不到人脸，这个就很烦。
其他的就没啥注意事项了，Act-One的风格泛化很好，真人、3D、2D等等角色我测试下来驱动效果都很不错。
整体上，我确实觉得，Act-One对于动画行业来说，是革命性的。
成本极低，效果极佳，能匹配高质量项目的质量，这就足够让人心动了。
AI的每一步，都是生成效率和智能的巨大提升。
而且，他的可能性，在这短短几天，还远远没有被发掘，我再放两个我很喜欢的用Act-One做的例子，让大家看看，当AI跟想象力进行深度的碰撞，能碰出怎么样的火花。
第一个是一个导演Paul Trillo所做的小短片，当钱会说话。
效果非常的惊艳，当他把钱拿起来的那一刻，听到那声音，以及看着钱币中的人开口说话，我鸡皮疙瘩都起来了。
当Act-One+运动追踪+视觉特效，这玩意在艺术家手上，那真的就是完全不一样的火花。
另一个是Runway自己官方的case，也非常的有趣。
只需要一台手机，一个演员，就能用AI驱动一人分饰多角，演一出很酷的剧情。而且，已经几乎逼近电影质感了。
对于创作者来说，这是已经把成本给你打到尘埃里面去了。
Act-One最重要的，是为创作者们打开了一扇全新的大门。
你可以让历史人物”复活”讲述他们的故事，可以让艺术作品中的人物走出画作与观众对话，甚至可以让任何静态图像中的角色焕发生机。
你不再需要受到技术的限制，而是可以尽情发挥你的想象力。
重新定义，什么叫“可能”。
一切都在。
向前进。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：卡兹克
>/ 投稿或爆料，请联系邮箱：wzglyay@gmail.com
数字生命卡兹克
 阅读 赞  分享 ‘%3E %3Cg transform=‘translate(0 -2.349)‘%3E %3Cpath d=‘M0 2.349h24v24H0z’/%3E %3Cpath fill=‘%23576B95’ d=‘M16.45 7.68c-.954 0-1.94.362-2.77 1.113l-1.676 1.676-1.853-1.838a3.787 3.787 0 0 0-2.63-.971 3.785 3.785 0 0 0-2.596 1.112 3.786 3.786 0 0 0-1.113 2.687c0 .97.368 1.938 1.105 2.679l7.082 6.527 7.226-6.678a3.787 3.787 0 0 0 .962-2.618 3.785 3.785 0 0 0-1.112-2.597A3.687 3.687 0 0 0 16.45 7.68zm3.473.243a4.985 4.985 0 0 1 1.464 3.418 4.98 4.98 0 0 1-1.29 3.47l-.017.02-7.47 6.903a.9.9 0 0 1-1.22 0l-7.305-6.73-.008-.01a4.986 4.986 0 0 1-1.465-3.535c0-1.279.488-2.56 1.465-3.536A4.985 4.985 0 0 1 7.494 6.46c1.24-.029 2.49.4 3.472 1.29l.01.01L12 8.774l.851-.85.01-.01c1.046-.951 2.322-1.434 3.59-1.434 1.273 0 2.52.49 3.472 1.442z’/%3E %3C/g%3E %3C/g%3E %3C/g%3E%3C/svg%3E) 推荐 ’ fill=‘%23000’ fill-opacity=’.9’/%3E%3C/svg%3E) 留言