月初,有个让所有人都眼前一亮的字节新玩意儿——Loopy
能让数字人的声音、表情和情绪跟画面严丝合缝地对上,现在已经在即梦平台闪亮登场了。
AIbase我亲自试了试,嘿,效果杠杠的!说它是目前中文对口型服务里的佼佼者,那是一点都不夸张。
以前咱们看对口型视频,总觉得声音和画面像是两张皮,贴不到一块儿去,看着别扭。
但这次,字节跳动和浙江大学联手搞的这个LOOPY模型,直接把这个问题给解决了。
Loopy可不简单,它不光能让角色张嘴说话唱歌,还能根据说话的内容,自动配上合适的语气、情绪和表情。
就像是有个隐形的导演,在幕后精细地指导着每一个动作,连叹气这种小细节都不放过,眉毛怎么挑、眼睛怎么转、头怎么轻轻摇,都处理得恰到好处。
现在,这个功能已经成了即梦视频生成模块里的一员大将。AIbase我随手传了张女孩的照片进去试水,发现即梦的对口型功能还挺贴心,提供了两种模式:
第一种是文本朗读。操作起来简单得很,上传个角色图片或视频,再敲上你想说的话,挑个喜欢的配音就行。
我试了个高冷御姐音,效果出来,嘿,人物说话的时候,脸上还有微妙的表情变化,连法令纹都跟着动,真实感爆棚!
第二种就更自由了,可以直接上传本地的配音文件,让角色按你的音频来表演。
我试了段热门的歌曲片段,结果嘛,简直是天衣无缝,口型、声音、情绪,完美融合,就像那女孩自己唱的一样。
不过,AIbase我也发现了个小细节,如果角色照片的眼神没对准观众,可能会影响点沉浸感。所以,选照片的时候,记得挑张眼神交流到位的哦!
第二段:上传本地配音
在即梦的平台上,你不仅可以设定让虚拟角色说出你输入的文本,更厉害的是,你还能上传一段音频,比如一首歌曲,让角色跟着这音频唱起来。想象一下,让你的虚拟偶像唱出你最爱的歌曲,是不是超酷的?
AIbase就尝试了这么做,它挑了一段最近在抖音上超火的“野人”歌曲片段,然后上传给了即梦。
结果嘛,简直出乎意料的好!口型与音频完美同步,声音听起来自然流畅,完全没有那种“声音和画面不匹配”的尴尬感,就像是那个女孩真的在唱这首歌一样。
但AIbase也发现了个小瑕疵,就是它选的那张女孩照片,眼睛没对着镜头,这多少让人感觉少了点互动感。于是,它决定换个策略,找了张女孩正面看向镜头的照片再试一次。
调整后的效果
嘿,这一换,效果立马就不一样了!不仅眼神交流到位了,而且当角色在唱歌时,那些细微的动作,比如闭眼陶醉、轻轻摇头,都做得特别到位,让人看了直呼过瘾。
男生版测试
当然,AIbase也没忘了试试男生版的对口型效果。结果嘛,同样让人惊艳!
不仅口型精准,连男生说话时特有的喉结动作、眉毛微挑这些细节都捕捉得恰到好处,让整个视频看起来更加真实生动。
这次测试,AIbase真是收获满满,它发现即梦的对口型技术不仅强大,还非常注重细节,这才是真正让视频活起来的关键啊!
获取资料请关注微信公众号:jinq58
就像是有个隐形的导演,在幕后精细地指导着每一个动作,连叹气这种小细节都不放过,眉毛怎么挑、眼睛怎么转、头怎么轻轻摇,都处理得恰到好处。
调整后的效果