最近 Meta在元宇宙中的活动越来越多。六月， Meta VR公司 Reality Labs发布了四款 VR头像，这四款 VR头像将会在今后的四大技术发展中体现出来：高分辨率、高动态范围（HDR）、轻薄的外形、以及降低晕眩程度的变焦技术。在八月召开的 SIGGRAPH会议上， Meta公司的研发主管 Douglas Lanman向我们展示了如何突破 VR技术的瓶颈。

在SIGGRAPH2022会议上，外国媒体 Auganix的 Sam Sprigg对以 HDR为核心的 VR原型进行了一次特殊的体验。Oculus Quest 2是 Meta目前为止的 VR设备中的佼佼者，去年销量超过了一千万，是有史以来销量最好的 VR设备，而 Starburst则是它的200倍。

01. Meta推出了四个样机，以探讨四个主要的研究领域

六月， MetaReality实验室发布了四款 VR头盔的样机，这些都是在不同的技术领域。

Butterscotch探索了分辨率技术， Starburst探索 HDR技术，Holocake2探索 VR头显的轻薄造型技术， Half Dome系列探索变焦技术。四款样机是 Meta公司在四款 VR头盔开发方面的最新成果。

Meta公司首席执行官马克·扎克伯格提出了可视化的图灵测试。简而言之，视觉图灵的考核，就是看它的真伪，让人分不清真假。扎克伯格说，在视觉图灵的测试中，有两个要点，一个是真实的，一个是真实的，一个是现场的。

其中一个办法就是尽量提高图像的解析度。为了这个目的， Meta开发了 Butterscotch的样机，它的特征是“视网膜级”的解析度。

Butterscotch的 PPD值为55，非常接近于60象素/1度的“视网膜分辨率”，比 Quest 2的2.5倍。另外，有一种特殊的透镜，可以绕过光线。用玻璃透镜和衍射透镜结合，可以得到较好的成像效果。

Starburst的样机具有高 HDR （高动态范围图像）特性，它的背光可以达到20000 nit，比目前的 VR头像 Quest 2高200倍。Meta Reality实验室的设计是为了在一个虚拟的环境中恢复室内灯光，并且寻找一个理想的亮度，使使用者能够获得最好的沉浸体验。

Starburst使用 COB LED （LED）代替 LCD的背光，使 LCD背光源的亮度大大增加，但是也会带来更多的热量。所以 Starburst还装备有一个风扇和一个3D打印的散热支架。不过，这套系统的体积很大，而且消耗很大。在四种技术中，这种技术是最不可能进入市场的。

Holocake2的样机采用了更轻的设计，能够提高 VR头盔的使用舒适性。Holocake2是一款个人电脑 VR装置，尽管其外观很轻，但其体积较小，采用了分体结构，并占用了更多的运算能力和电池部件。

Half Dome是一款以 Oculus Rift为基础的 VR头像，该产品以可变焦镜头为特色。自第3代以来， Half Dome镜头由机械式改为电子变焦，降低了机械噪声和振动。HalfDome3拥有32个可转换的聚焦面。据经验人士称，在《Lucky’s Tale》这样的游戏中，使用 Half Dome的动态变焦镜头，会随着手柄的运动而改变视野中的影像焦点。

02.星伯斯特的峰值亮度是20000尼特，比 Quest 2高200倍

在这个月举行的SIGGRAPH2022电脑大会上，来自国外 Auganix的 Sam Sprigg对以 HDR为核心的 VR样机进行了一次特殊的体验。Oculus Quest 2是 Meta目前为止的 VR设备中的佼佼者，去年销量超过了一千万，是有史以来销量最好的 VR设备，而 Starburst则是它的200倍。

在展览中，两台 Starburst汽车被悬挂在一副车架上，让参观者体验。Starburst的体重大约是2.5千克，对于耳机来说，这是一个很大的数字。Sam Sprigg说：“这个东西很沉，你不可能把它放在你的脑袋上，只有在你的脸上才行。”而且， Starburst还需要大量的电能来支撑其高亮度的显示器，因此，这款产品是安装在车架上的。

Starburst的亮度用“nit”表示， Sam Sprigg说，在这个房间里，它的亮度达到了10000 nit，而 Starburst则达到了20000 nit。Meta曾经说过， Quest 2的峰值是100 nit, Starburst是200倍的。

同时，20000尼特的峰值也可以部分地说明 Starburst的“笨重”。高亮度还会带来大量的热量， Starburst还配有一个巨大的铝制散热器来散热。Meta公司的显示器系统研发小组（DSR）的科学家 Nathan Matsuda表示，铝制的散热装置至少有50%的重量是由铝制的。另外，在装置的上方安装了一个巨大的风扇，能够从散热装置中吸收热量。

然而， Starburst只有2560x1620的分辨率，低于 Quest 2。但这也是可以理解的。由于 Starburst公司的重点是 HDR，而对于高清晰度，这是 Butterscotch应该努力的。

Starburst采用了 LCD （LCD）和彩色单色 LCD。这是由于单一液晶显示器在低光照条件下的反差，同时两种液晶显示器都会吸收大量的光线，从而影响显示效果。所以，采用单色和彩色液晶显示器可以得到最佳的显示效果。

为了集中精力开发 HDR技术， Starburst在屏幕刷新率和视场上作出了折衷。然而， Sam Sprigg表示，这样的折衷并未对 Starburst的 HDR和亮度造成任何影响。

Starburst演示的第一步是在一个虚拟的环境中安装一个光源，然后用几个球来展示反射的光源。Sam Sprigg说，在10,000尼特的显示器上，它和 Quest 2一样，没有任何特殊之处。

但在达到10000纳特之后，他会感觉到更加明亮。演示显示10,000尼特的灯光，然后转换成了海上的日落景色。阳光穿透了云层，阳光照在海面上，泛起了涟漪。随后，光达到了20000纳特的顶峰，在图像中出现了一个真实的太阳。桑·斯普里格说，由于阳光太过明亮，他感觉自己就像是看见了一个真正的太阳。终于，当太阳下山的时候，波浪反射出淡淡的光芒。这份报告给人留下了很深的印象。

Sam Sprigg表示，当他在 Starburst上看20000尼特的光线时，其感受与60瓦电灯泡的感受是一样的。不过 VR设备的光源和他的眼睛相隔仅有数英寸，非常接近。他相信，这样的亮度显示器会给使用者带来更多的真实感和沉浸感。

不过 Sam Sprigg也指出，功率、热量、外形是限制 VR头显开发 HDR技术的一个主要障碍。他相信，要等待一个成熟的、可以产出20000 nit的产品，我们还得等很久。

03.困难重重， VR头盔十大技术难题

尽管 Meta在 VR头显领域的技术上有了一定的进步，但是在技术上还存在着许多问题。在 SIGGRAPH会议上， Meta公司的研发主管 Douglas Lanman提出了几点建议。

谁能第一个突破，谁就能在竞争激烈的元宇宙硬件争夺中，抢占先机。

1、分辨率： Meta公司研发 Butterscotch样机，致力于改善分辨率

为了增强使用者的沉浸体验，使其逼真、清晰， VR头盔的解析度就必须要高。当前 VR头显的解析度与人的视力有很大差距。

Meta称其最初的目标是达到8 K单眼的解析度，60 PPD （象素密度）。不过现在 Quest 2的分辨率仅为2 K,20 PPD，还差得很远。

为了提升 VR头显的解析度， Meta公司研发了 Butterscotch样机，致力于探索其解析度。因此，高清晰度显示器的研制与制造并非困难，关键是要为高清晰度的显示器配上相应的运算能力。Lanman表示，“凝视点呈现”和“云流送”技术可能会对提高运算性能有所帮助，但这两项技术的开发难度也不小。

2、畸变修正： Meta开发了畸变仿真器，加速了算法的迭代率

瞳孔的运动造成了影像的畸变，从而导致使用者的沉浸感下降，特别是当与变焦技术相结合时。要发展修正算法，研究者们需要对实体头显进行调试，但是制作头显需要花费几个星期或几个月，从而极大地延缓了算法的迭代速度。

为此， Meta的研究小组研制出一种畸变仿真器。有了这个仿真系统，研究者们不用制作试验头显和专用透镜，就可以对修正算法进行检验。

3、高动态范围（HDR): Starburst的样机具有20000 nit的峰值亮度

实体物体和周围环境比 VR头显要明亮得多，为此 Meta开发了 Starburst样机。Starburst拥有20000尼特的峰值亮度，比现有的 Quest 2高200倍。

Starburst能更逼真地模拟出室内光线和夜间光线，使虚拟场景看上去更逼真。但是， Starburst的重量和能量消耗都很大。

Meta相信 HDR比分辨率和变焦更能增强视觉真实感，但是这种技术并不适合实际使用。

4、视觉逼真：透视技术尚未成熟

一个更好的 VR头盔也可以使虚拟现实中的使用者和真实的生活进行交互。VR头显能将真实的环境信息录制下来，并将其作为视频影像进行虚拟现实。“透视”技术在商业 VR头显中已经得到了应用，但是它的质量并不好。举例来说， Quest 2就是一个黑白两色的视角， Meta即将发布的“Quest Pro”的高端 VR头像，其目标是提高清晰度和增强色彩。

但是虚拟现实头显还没有能够很好地再现真实的虚拟现实。透视技术所捕获的图像的角度与人的视觉有一定的距离，长期使用会让使用者产生不舒服的感觉。因此， Meta公司正致力于利用人工智能来实现可视化，这种技术能够实时地产生角度和高度逼真的视点。

另外， Meta正在开发“反向透视”（Reverse Passthrough)，它可以让真实的使用者在虚拟现实中观看虚拟现实中的使用者的眼睛和面部，从而进行目光接触。但当前的技术在视觉上不协调，不自然，离市场还有很长的一段路要走。

5、面部重建：基于 Meta的“虚拟化身”方案的研究

Meta想让人们在将来的虚拟世界里能够和现实生活中的人相聚。为了实现这一目标， Meta公司正在进行一项名为“虚拟化身”的研究计划。

VR头显能够对 VR使用者的面部表情进行实时的识别，并将其转化为虚拟现实。据称， Quest Pro可能会是 Meta首款能追踪脸部追踪的装置。

6、视场角： VR头像的视场角是人眼的两倍

人体的视野角度是200度，而现在大部分商业 VR头显的水平视野角度是100度。这就意味着 VR头显的视角要比现实中的要小。另外， VR头显在垂直视野角度上还有很大的提升空间。

随着视场的扩大， VR头显会显示出更多的像素。这需要更大的能量和更多的余热。另外，视野越大，视野边界处的影像越会发生畸变。所以，要想获得更大的视野，就必须有更好的镜头技术。同时，研究者们也要保证，镜片和显示器的构造不会对 VR头显的外型造成影响。

7、人体工程学： VR头盔佩戴舒适性不足

现在的 VR头显有些“笨重”，比如 Quest 2，它的重量就有500多克，它的设备厚度（从脸到脚的距离）高达8公分。这种装置明显不能给使用者提供良好的穿着体验。一个理想的 VR装置应当是更加轻巧，能够让使用者在很长的一段时间内感到舒服。

Pancake镜头和全息镜头可能有助于缩小头部的尺寸， Meta公司的Holocake2的样机也在朝着这个方向努力，但是它还没有达到量产的程度。

8、视力矫正屏幕：价格便宜的视力矫正屏幕尚未发现

更好的 VR头盔应该有一个可视化的特性，这样使用者就不用再戴着普通的 VR头盔了。这种问题可以用专门的透镜配件来解决，但是这种方法并不理想。最好的解决办法是，头显的显示屏上有一个可以自动校正的功能，让头显设计师不用为戴眼镜而烦恼。

但问题是，怎样才能找到一种既便宜又不会增加耳机重量的方法？

9、变焦： Meta样机 Half Dome可以进行人眼变焦

在自然环境中，人的眼睛能够自然地对焦，以便看到各种距离的图像。但 VR头盔里，由于人的眼睛和屏幕的间距不变，所以不能变焦，也不能分辨清远和近处物体的区别。这就是视觉辐辏调整的矛盾。因此，使用者有时会感觉到眼睛疲劳，甚至会有头疼、呕吐的症状。

为了解决这一问题， Meta的研究者们已经研发出一套 Half Dome的原型，它能提供“渐进的视觉”。Half Dome能够模拟各种不同的焦面，使其具有不同的模糊度，从而使人的眼睛能够在虚拟世界中调节焦距。

10、眼动跟踪：很难适应每个人的眼睛状况

眼球运动追踪是一种非常重要的虚拟现实技术。它是许多其它 VR技术如变焦、失真校正等技术的基石。该技术使使用者能够在虚拟的环境中与他人进行目光接触，从而获得更为真实的社会经验。

但问题是，每个人的瞳孔形状都不一样，眼睑和睫毛的发育也各不相同，因此，当前的眼动跟踪技术并不适合每个人。所以，兰曼的研究小组将会大量搜集使用者的资料，藉此提升眼球运动跟踪技术，使之适应更多的人群。

04.结论：虚拟现实技术在 Meta领域取得了突破性进展，但技术难点还有待解决

Lanman在SIGGRAPH2022大会上展示了 VR头盔目前所面对的十大挑战。Meta公司推出四款原型产品，旨在解决 VR头显在分辨率，变焦，轻薄外形， HDR等四个方面。四个样机都有自己的优势，并在技术上取得了一定的进步。另外， Meta还开发了虚拟形象工程帮助 VR头像重建功能，开发了失真仿真系统，加快了算法的迭代。

这些样机展示了目前 Meta在 VR技术上所能做到的最好水平，但是这些技术还不够完善。Meta还没有解决的技术难题。比如 VR头显的视野角度要比人的眼睛窄， VR头显戴起来的舒适度不够， VR头显还没有配上视力矫正功能， VR头显的眼运动跟踪技术无法适应所有人， VR头显“透视”技术还没有完全成熟。

通过对 Meta公司目前对 VR头显的研究，我们可以看到， Meta在 VR头显领域的发展已经非常成熟。但 Meta距离最终目标还有一段距离。目前， VR头显的各个技术都在不断地发展，但是还没有完全成熟，离商业化还很遥远。从这一点上来说， VR技术的爆发期还遥遥无期。