Google的新光场视频研究展示了高质量的体验

Google正在将沉浸式媒体技术推向新的高度，展示了一种实用的光场视频系统。可以录制和播放宽视野的场景，并具有在捕获视频后在视频中四处移动的能力，从而揭示新的视角。由一组领先的研究科学家和工程师开发的新研究表明，该技术具有记录，重建，压缩和提供高质量沉浸式光场视频的能力，这些视频质量轻巧，可以通过常规Wi-Fi进行流传输，从而不断发展在身临其境的增强现实（AR）和虚拟现实（VR）平台领域迅速发展。

近年来，身临其境的AR/VR领域因其在模拟环境中为人们带来真实体验的承诺而赢得了主流关注。是否真的想感觉自己正站在优胜美地的红杉林中，而不是坐在客厅里？还是看着艺术家像在工作室里一样创作雕塑？身临其境的AR/VR技术可以做到这一点。

尽管该领域仍处于起步阶段，但Google团队已解决了重要挑战，使沉浸式光场视频领域的重大研究取得了进展。由Google研究科学家MichaelBroxton和Google高级职员工程师PaulDebevec领导的研究小组计划在SIGGRAPH2020上演示该新系统。该会议实际上将在今年举行，届时将聚集各种专业人士他从不同的角度处理计算机图形学和交互式技术，并继续充当业界展示具有远见的想法和研究的主要场所。

该研究的主要作者布罗克斯顿说：“这是我们在光场上工作的最新成果。”“我们正在使这项技术变得实用，使我们更接近为更多的消费类设备提供真正的沉浸式体验。照片和视频在我们日常在移动设备上的体验中发挥着重要作用，我们希望有一天能够沉浸式照明现场图像和视频将在未来的AR和VR平台中扮演同样重要的角色。”

在SIGGRAPH2018上，谷歌研究人员在沉浸式VR中引入了逼真的光场静态图像时展示了类似的工作。这个新系统为沉浸式媒体难题增加了另一个关键要素：视频。光场视频为用户提供了一个更加动态的虚拟环境，可以看到超过180度的场景全景。它们使用户可以在虚拟世界中偷看角落并享受更大的深度感。而且该系统能够捕获对于早期方法（如反射表面）具有挑战性的内容。这转化为更现实的环境；例如，自然反射在海浪上的阳光或反射在汽车光亮的引擎盖上的光，就像在现实生活中一样，随着用户的注视而自然变化。

该团队使用低成本的设备录制沉浸式光场视频，该设备由安装在轻型丙烯酸球上的46个运动运动摄像机组成。使用DeepView，一种机器学习算法该产品是由同一Google研究小组的成员去年开发的，将来自每个摄像机的视频流合并为一个记录场景的单个3D表示。他们的论文介绍了一种新的“分层网格”表示形式，该表示形式由一系列具有半透明纹理的同心层组成。从后到前渲染这些图层，使场景生动逼真，栩栩如生。该方法解决了合成摄像机最初未捕获的视点这一非常困难的问题，使用户在探索光场视频内容时可以体验自然的头部运动范围。

这项工作的另一个突破涉及数据压缩。这个想法不仅是为了开发一种能够重构视频以提供真正身临其境的AR/VR体验的系统，而且是通过消费者的AR和VR头戴式耳机和显示器，甚至在Web浏览器中访问体验。新系统在压缩光场视频的同时仍保持其原始视觉质量，并且使用常规纹理图集和广泛支持的视频编解码器进行压缩。从本质上讲，它们已经成功地从当今的图像和视频压缩技术引导了下一代媒体格式。

Broxton说：“用户将能够通过典型的快速互联网连接流式传输光场视频内容。”“克服这个问题将使这项技术向更多的受众开放。”

Debevec总结了这项工作，并指出：“完成此项目感觉就像我们克服了使虚拟体验变得逼真的，身临其境，可分散且舒适的主要障碍一样。我迫不及待地想要拥有创意的AR和VR社区的经验。做到这一点。”