PIKA正式上线唇形同步 - 给AI视频注入新的”想象” * { margin: 0; padding: 0; outline: 0; } body { font-family: “PingFang SC”, system-ui, -apple-system, BlinkMacSystemFont, “Helvetica Neue”, “Hiragino Sans GB”, “Microsoft YaHei UI”, “Microsoft YaHei”, Arial, sans-serif; line-height: 1.6; } .__page_content__ { max-width: 667px; margin: 0 auto; padding: 20px; text-size-adjust: 100%; color: rgba(0, 0, 0, 0.9); padding-bottom: 64px; } .title { user-select: text; font-size: 22px; line-height: 1.4; margin-bottom: 14px; font-weight: 500; } .__meta__ { color: rgba(0, 0, 0, 0.3); font-size: 15px; line-height: 20px; hyphens: auto; word-break: break-word; margin-bottom: 50px; } .__meta__ .nick_name { color: 576B95; } .__meta__ .copyright { color: rgba(0, 0, 0, 0.3); background-color: rgba(0, 0, 0, 0.05); padding: 0 4px; margin: 0 10px 10px 0; } blockquote.source { padding: 10px; margin: 30px 0; border-left: 5px solid ccc; color: #333; font-style: italic; word-wrap: break-word; } blockquote.source a { cursor: pointer; text-decoration: underline; } .item_show_type_0 > section { margin-top: 0; margin-bottom: 24px; } a { color: 576B95; text-decoration: none; cursor: default; } .text_content { margin-bottom: 50px; user-select: text; font-size: 17px; white-space: pre-wrap; word-wrap: break-word; line-height: 28px; hyphens: auto; } .picture_content .picture_item { margin-bottom: 30px; } .picture_content .picture_item .picture_item_label { text-align: center; } img { max-width: 100%; } .pay_subscribe_notice { margin: 30px 0; padding: 20px; background: fffbe6; border: 1px solid ffe58f; border-radius: 8px; } .pay_subscribe_badge { display: inline-block; padding: 4px 12px; background: faad14; color: fff; border-radius: 4px; font-size: 14px; font-weight: 500; margin-bottom: 12px; } .pay_subscribe_desc { font-size: 15px; line-height: 1.8; color: rgba(0, 0, 0, 0.7); margin-bottom: 12px; } .pay_subscribe_hint { font-size: 13px; color: rgba(0, 0, 0, 0.4); } .__bottom-bar__ { display: flex; justify-content: space-between; align-items: center; position: fixed; bottom: 0; left: 0; right: 0; height: 64px; padding: 8px 20px; background: white; box-sizing: border-box; border-top: 1px solid rgba(0, 0, 0, 0.2); } .__bottom-bar__ .left { display: flex; align-items: center; font-size: 15px; white-space: nowrap; } .__bottom-bar__ .right { display: flex; } .__bottom-bar__ .sns_opr_btn { display: flex; align-items: center; user-select: none; background: transparent; border: 0; color: rgba(0, 0, 0, 0.9); font-size: 14px; } .__bottom-bar__ .sns_opr_btn:not(:last-child) { margin-right: 16px; } .__bottom-bar__ .sns_opr_btn > img { margin-right: 4px; }
PIKA正式上线唇形同步 - 给AI视频注入新的”想象”
原创 数字生命卡兹克 数字生命卡兹克 2024-02-28 10:28 天津
本来又准备睡了…但是好死不死的，睡前又看了一眼几家AI产品的更新动态…
然后…
PIKA在沉寂了3个月后，终于又更新了…
没有去卷模型，没有去卷控制，而是继续奔赴他们1.0最开始所设定的目标：
对话。
PIKA的模型，有一个跟所有的其他AI视频产品都不同的地方在于。
当你生成人物的时候，大概率会说话，也就是唇形会动起来，模拟人物正在对话的感觉。
PIKA认为，这样的效果，才能更符合真正的”短片”效果，毕竟，一个短片，想要好看，人与人之间的对话那是必不可少的。
对话才有戏，冲突才有张力。
而如果是传统的Runway等等，做的镜头，都是空镜，对话很多时候都只能以旁白的形式去做。那样，观众在看片子的时候，沉浸感会大幅降低。
但是去年PIKA1.0上线的时候，其实是并没有跟语音打通的，意思是说，你只能跑出一个正在瞎特么动的嘴，但是没有声音。
声音你需要自己去11Labs或者魔音工坊里面跑。然后用剪映啥的，把你跑的语音和AI片段拼起来。
但是这就有一个问题是：唇形和发音，是不匹配的。
所以PIKA做唇形同步，是绝对的情理之中，他们一定会做，且必做。
这不，就来了。先看一眼PIKA的新预告片吧。
不过PIKA的预告片…你懂的。
还是得自己亲自上手试一下。
正好这个唇形同步，也对超级合作者开放了，于是，我就来测一下。
进入PIKA首页，传一段视频或者传一张图片后，你就能看到这么一个功能：
这个就是唇形驱动。
点开以后，就能看到语音制作区域。
PIKA也跟11Labs合作了，把11Labs的TTS给拿了过来，上面的区域就可以选择特定的发音人，然后输入文字，变成语音。
当然，你也可以上传你自己的音频。
我还是习惯自己用11Labs或者魔音工坊跑音频出来，毕竟那两个玩意的可用性高一点。
传上去以后，就可以开始合成了。
我大概跑了几十个case，从1/2正面，测到1/5正面，从正脸测到侧脸，从写实跑到2D，从图片跑到视频…也算了测了个遍
先看几个我觉得效果还不错的例子：
但是还有很多，是Bad case。
整体上我实验下来，我更建议是先用文/图生成视频后，用视频再去进行唇形同步，而不是直接用图进行唇形同步。
因为两者效果大差不差，而用视频驱动的话，还能实现一些大运镜或者变动的背景。
PIKA上唇形同步，想象力一定是非常强的，因为不管是Heygen或者奇妙元，能做的都是静态的照片说话，在效果上，有一定的局限性，因为背景不会动。
比如很久之前我用奇妙元弄的这个特朗普。
而PIKA自身的AI视频再加上唇形同步，会做出一些以前实现起来非常复杂但是很有戏的效果，能给AI视频，带来一些新的想象力。
但是在唇形同步的效果上，坦率的讲，跟Heygen和奇妙元相比，还有一定的距离要走。
比如只支持正脸，侧脸一些就会崩。
比如面部有一些遮挡物的时候，就识别出错。
比如有一些背景人脸的时候，会一起识别出来。
比如唇部经常在抖不够稳定。
比如有时候唇部会糊。
等等。
但是毕竟PIKA这次的更新，还是Test版本，还没有向大众公开。
还有非常大的优化空间。
想想MJ的V1时刻，对吧。
我很期待PIKA后续在唇形同步上的优化，给AI视频，注入一些新的活力。
不过，我怎么有一种感觉。
11Labs，这个做AI配音的，反而是最大的赢家呢。。。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章。
数字生命卡兹克
 阅读 赞  分享 ‘%3E %3Cg transform=‘translate(0 -2.349)‘%3E %3Cpath d=‘M0 2.349h24v24H0z’/%3E %3Cpath fill=‘%23576B95’ d=‘M16.45 7.68c-.954 0-1.94.362-2.77 1.113l-1.676 1.676-1.853-1.838a3.787 3.787 0 0 0-2.63-.971 3.785 3.785 0 0 0-2.596 1.112 3.786 3.786 0 0 0-1.113 2.687c0 .97.368 1.938 1.105 2.679l7.082 6.527 7.226-6.678a3.787 3.787 0 0 0 .962-2.618 3.785 3.785 0 0 0-1.112-2.597A3.687 3.687 0 0 0 16.45 7.68zm3.473.243a4.985 4.985 0 0 1 1.464 3.418 4.98 4.98 0 0 1-1.29 3.47l-.017.02-7.47 6.903a.9.9 0 0 1-1.22 0l-7.305-6.73-.008-.01a4.986 4.986 0 0 1-1.465-3.535c0-1.279.488-2.56 1.465-3.536A4.985 4.985 0 0 1 7.494 6.46c1.24-.029 2.49.4 3.472 1.29l.01.01L12 8.774l.851-.85.01-.01c1.046-.951 2.322-1.434 3.59-1.434 1.273 0 2.52.49 3.472 1.442z’/%3E %3C/g%3E %3C/g%3E %3C/g%3E%3C/svg%3E) 推荐 ’ fill=‘%23000’ fill-opacity=’.9’/%3E%3C/svg%3E) 留言