Facebook的DeepFovea AI承诺高效节能的虚拟现实渲染

 
凹入式渲染解决了VR耳机日益增长的挑战，为您的眼睛的视觉最佳点-凹入提供了清晰的细节，并为您的外围视觉提供了一个更简单，更模糊的版本。现在，Facebook Reality Labs的工程师提出了DeepFovea，这是AI辅助的替代方法，它可以创建“合理的外围视频”，而不是实际渲染准确的外围图像。这一新过程被称为“凹入式重构”，Facebook表示，它对RGB视频实现了14倍以上的压缩，而用户感知的质量没有明显下降。
捕获视频流时，DeepFovea仅对每个视频帧中的像素采样10%，主要但不仅仅集中在用户眼睛聚焦的区域(由上方的蜥蜴头表示)。相比之下，外围区域仅由分散的点采样，这些点离眼睛的焦点区域越来越远。然后，系统使用经过训练的生成对抗神经网络，从微小样本中重建每个帧，同时依靠流的时间和空间内容以稳定的方式而不是抖动的方式填充细节。
如上图所示，从帧到帧，重度但未完全采样的蜥蜴头基本上是无法区分的，而“重构”图像中相邻的树皮却不如“参考”像素那么清晰或细腻。但这不应该是。传统的凹版渲染系统会将这些像素描绘为低分辨率的平面阴影块，而DeepFovea保留(或更准确地说是近似)更多的原始形状和颜色。
DeepFovea之所以重要，是因为与标准的中心渲染相比，它提供了电源效率和图像质量的出色​​组合。 Facebook声称，渲染降低了14倍，这意味着它将能够向依赖于凝视检测的显示器提供实时，低延迟的视频，这是构建轻巧的VR和AR头显的必要步骤，该头显将显示高分辨率图形最初呈现在云端。据说全天佩戴的Oculus AR头戴式耳机是不切实际的，直到针对实时3D映射的移动芯片功耗大幅下降(如我们所看到的流视频)为止。
Facebook的迈克尔·阿布拉什(Michael Abrash)去年在Oculus Connect 5上首次暗示了DeepFovea的概念，并暗示未来(在未来五年的某个时候)基于深度学习的偏爱和良好的眼动追踪将结合在一起，以实现更高分辨率的VR耳机，例如其原型Half Dome。 Abrash在今年的Oculus Connect 6上表示，该公司将在自己的办公室中测试下一代Half Dome硬件，然后再将其部署到公众面前。
Facebook不仅在下一代耳机上使用DeepFovea本身，还为研究人员，VR工程师和图形工程师发布了网络体系结构的示例版本。该公司今晚将在Siggraph Asia上展示基础研究论文，并将在此之后提供样品。