Adobe的Project Sweet Talk使肖像生动起来

 
传统上，Adobe MAX最有趣的会议之一是Sneaks主题演讲，公司各个部门的工程师在此展示他们最前沿的工作。有时，这些变成产品。有时他们没有。如今，很多工作都集中在基于Adobe Sensei平台的AI上。今年，该公司为我们提供了有关Sweet Sweet Talk项目的早期信息，这是今晚活动的特色之一。
这里的想法很简单，但是很难实现：拍摄肖像，无论是绘画还是绘画，识别面部的不同部分，然后与画外音同步地对嘴进行动画处理。如今，Adobe的Character Animator(您可能已经在与Stephen Colbert一起在《 The Late Show》等节目中看到过)做到了一些，但是动画数量有限，即使是最好的动画师，结果也无法做到。总是看起来很逼真的(在产品中为动画制作的图纸尽可能)。 Sweet Talk项目要聪明得多。它分析画外音，然后使用其AI智能技术对角色的嘴和头进行逼真的动画处理。
由Adobe研究人员Dingzeyu Li领导的团队，与周扬(美国麻萨诸塞大学)，Jose Echevarria和Eli Schectman(Adobe Research)一起，将他们的模型实际投放了数千个小时的真实人与摄像头交谈视频YouTube。令人惊讶的是，即使与团队合作的面孔，包括漂亮的动物面孔基本图样，该模型也可以很好地转移到绘图和绘画上。
“动画很难，我们都知道这一点，”李告诉我。 “如果大家都知道，如果我们想将人脸与给定的音轨对齐，那就更加困难了。 Adobe Charter Animator已经具有一项名为“从场景音频中计算嘴唇同步”的功能，该功能可以显示出局限性。” Character Animator中的现有功能只能移动嘴巴，而其他所有功能则保持不变。这显然不是很现实的外观。如果您看一下这篇文章中嵌入的示例，您会发现该团队会自动巧妙地变形脸部，使它们看起来更逼真-全部来自基本的JPG图像。
因为它确实可以使脸部变形，所以Project Sweet Talk不能很好地处理照片。他们只是看起来不正确-这也意味着您无需担心有人滥用此项目来获取伪造品。 “告诉我们，要生成逼真的深层假象，需要大量的训练数据。” “在我们的案例中，我们只关注可从图像预测的地标，而地标足以使动画动起来。但是在我们的实验中，我们发现仅凭地标不足以生成逼真的[基于]动画。
从长远来看，Adobe可能会将此功能内置到Character Animator中。李还告诉我，建立一个实时系统(类似于今天的Character Animator中的功能)在团队的优先级列表中排在首位。