Apple在iPhone 11和iPhone 11 Pro的Beta版中启动了Deep Fusion功能

 
苹果今天将在iOS上发布其新的Deep Fusion功能的早期版本，并为Beta用户提供软件更新。深度融合是一种在像素级别将多次曝光混合在一起的技术，可为用户提供比使用标准HDR成像所能提供的更高的细节水平，尤其是在具有非常复杂的纹理(如皮肤，衣服或挫败感)的图像中。
今天发布的开发人员beta支持iPhone 11，其中Deep Fusion可以改善在广角相机上拍摄的照片; iPhone 11 Pro和Pro Max，可以在远摄镜头和广角镜头上使用，但不能在超广角镜头上使用。
根据苹果公司的说法，深度融合需要A13，并且不会在任何较旧的iPhone上使用。
正如我在对iPhone 11 Pro的评论中广泛谈到的那样，iPhone中的Apple“相机”实际上是镜头和传感器的集合，这些镜头和传感器由运行在专用硬件上的专用机器学习软件进行了积极地处理。实际上是一台机器学习相机。
深度融合是一项引人入胜的技术，将苹果公司的摄影哲学作为一种计算过程扩展到了下一个逻辑领域。从iPhone 7开始，Apple一直在混合广角镜和远摄镜头的输出以提供最佳效果。这个过程是在用户没有意识到的情况下发生的。
深度融合仍在继续。它将自动对在特定情况下拍摄的图像生效。
在广角镜头拍摄时，它将在夜间模式进入的大约10 lux地板上方开始活动。根据光源的不同，活动范围最大的场景是可变的。在长焦镜头上，它将在除最明亮的情况下(Smart HDR将接管的所有最明亮的情况下)都处于活动状态，由于高光的丰富性，效果更好。
Apple提供了一些示例图片，展示了我在此处嵌入的Deep Fusion的实际应用。他们还没有提供任何非DF的示例，但是我们会在测试版发布并安装人员后立即看到它们。
深度融合的工作方式如下：
相机以EV负值拍摄“短”像框。基本上是比您想要的图像稍暗的图像，并从该帧中获得清晰度。然后，它拍摄3张常规EV0照片和一个“长” EV +帧，进行对准并把它们融合在一起。
这将产生两张12MP的照片(价值24MP的数据)，将它们合并为一张12MP的结果照片。两者的结合是通过4个独立的神经网络完成的，这些神经网络考虑了Apple相机传感器的噪声特征以及图像中的主题。
这种组合是逐像素完成的。一次拉一个像素，以使整个图像达到最佳组合。机器学习模型会查看图像的上下文，以确定它们在图像频谱中的位置。天空和其他大致类似的低频区域，中频区域的肤色以及诸如衣服，贴膜等高频物品。
然后，系统根据比率从一幅图像或另一幅图像中提取结构和色调。
苹果公司表示，总体效果是，在移动物体的边缘，皮肤过渡效果更好，衣服细节更细，脆度更好。
当前无法关闭Deep Fusion流程，但是，因为新相机的“过度裁剪”功能使用了Ultra Wide，所以有一个小的“ hack”来查看图像之间的区别是将其打开，这将禁用Deep Fusion，因为它不使用超广角镜头。
深度融合过程需要大约1秒的处理时间。如果快速拍摄然后点击图像预览，则图像可能需要大约半秒钟才能更新到新版本。大多数人根本不会注意到该过程正在发生。