机器学习帮助Microsoft的AI实际上从单个图像中着色视频

 
据悉，电影着色可能是一种艺术形式，但它是人工智能模型正在慢慢掌握的一种形式。在预印本服务器Arxiv.org上发表的一篇论文(“基于深度范例的视频着色”)，微软亚洲研究院的科学家，微软的AI感知和混合现实部门，哈马德滨哈利法大学和南加州大学创新技术研究所的科学家们详细介绍了他们声明是第一个基于自动示例(即，从参考图像导出)视频着色的端到端系统。他们说，在定量和定性实验中，它都取得了优于现有技术的成果。
“主要挑战是实现时间一致性，同时保持对参考风格的忠诚，”共同作者写道。 “所有[模型]组件，端到端学习，有助于制作具有良好时间稳定性的逼真视频。”
该论文的作者指出，能够将单色剪辑转换为彩色的AI并不新颖。事实上，去年9月，Nvidia的研究人员描述了一个框架，该框架只从一个彩色和带注释的视频帧中推断出颜色，而6月份的Google AI引入了一种算法，可以在没有人工监督的情况下为灰度视频着色。但是这些和大多数其他模型的输出都包含伪像和错误，这会累积输入视频的持续时间越长。
为了解决这些缺点，研究人员的方法将先前视频帧的结果作为输入(以保持一致性)并使用参考图像执行着色，允许该图像逐帧地引导着色并减少累积误差。 (如果参考是视频中的彩色帧，它将执行与大多数其他颜色传播方法相同的功能，但是采用“更健壮”的方式。)因此，它能够根据颜色预测“自然”颜色。输入灰度图像的语义，即使在给定参考图像或前一帧中没有适当的匹配时也是如此。
这需要构建端到端的卷积网络 – 一种通常用于分析视觉图像的AI系统 – 具有保留历史信息的循环结构。每个状态包括两个模块：基于密集语义对应关系将参考图像与输入帧对齐的对应模型，以及对由前一帧的彩色化结果和对齐的参考引导的帧着色的着色模型。
该团队编译了一个来自开源Videvo语料库的训练数据集，其主要包含动物和风景。他们用一个单独的语料库(好莱坞2)的肖像视频补充了它，过滤掉了太暗或褪色的视频，总共留下了768个视频。对于每个视频，他们提取了25帧，并使用ImageNet中的照片进一步扩展了数据类别，他们使用这些照片应用随机几何失真和亮度噪声来生成帧。最终结果：70,000个“不同类别”的增强视频。
在测试中，共同作者报告他们的系统在ImageNet中提供了最佳的Top-5和Top-1级准确度，表明它产生了语义上有意义的结果。此外，与基准相比，它管理了最低的Frechet初始距离(FID)分数，表明其输出“高度”逼真。
“总体而言，我们的方法的结果虽然略显不那么活跃，但却表现出与基本事实相似的色彩。定性比较也表明我们的方法产生了最逼真，最鲜明的着色结果，“研究人员写道。 “与其他方法相比，[O] ur方法在每个帧中呈现鲜艳的色彩，并且显着减少了伪影。同时，连续着色的帧表现出良好的时间一致性。“