智能互连解决方案实现身临其境的无缝AR和VR体验

作者:莱迪思半导体资深事业发展经理 Ying Chen  来源:中国电子商情

发布时间:2018-01-30

想象一下，如果您是公司的前沿项目技术主管，手上的项目目标清晰，概念也已经通过验证，时间表看起来也很不错。这时候问题来了，您需要将两个关键元器件连接到一起，但是它们的I/O接口不同，不能互相通信，导致开发进度发生延迟而错过截止期限，必须将大量的资源转用到连接这些元器件的工作上，结果导致成本超支，更不用说还有很多其他让人头痛的问题。

投身于前沿技术领域的工程师常常遇到这种恼人的问题。当您创造出最新、最好的产品时，元器件之间无法互连的问题成为了拦路虎，导致开发停滞，拖慢整体设计进度甚至项目失败。

消费电子市场蓬勃发展，每天都有全新的产品涌现，这得益于技术进步而实现的海量创新。过去十年里，我们见证了智能手机、平板电脑和电子书产品的快速发展，而这一趋势将持续下去。最新的发展趋势是虚拟现实（VR）和增强现实（AR）技术的快速兴起。尤其是头戴式显示器（HMD）引起了各大公司的广泛兴趣和参与，其中包括传统硬件制造商和社交网络公司。

在竞争激烈的新市场争夺战中，客户对于尺寸、速率、成本、功耗和上市时间的要求越来越高。能够用于实现标准和协议桥接，将不同的元件连接到一起的器件可打破设计工程师所面临的设计制约，选择最符合设计目标的产品，而不是让接口决定设计。

许多技术必须融合到一起才能成功创造出引人入胜的VR/AR体验。从硬件的角度来看，VR领域中的许多创新都发生在头戴显示器和控制器中，用户穿戴这些设备即可体验VR。高性能、低功耗FPGA和ASSP能够提供上述应用所需的设计灵活性，设计工程师无需为每个功能开发专用芯片，这样就大大节省了时间、成本和资源。莱迪思产品能够应用于VR/AR的多个领域，包括传感器、视频显示和互连。

图1  消费电子市场蓬勃发展，每天都有全新的产品涌现

虚拟现实（VR）
虚拟现实，顾名思义就是以人为创造的虚拟内容来代替人们眼前目睹的现实。所以VR主要针对的对象是用户的视觉和听力（触觉反馈也是一个新兴的发展领域）。为了实现身临其境的VR体验，相关功能必须为用户的各个感官量身定制。因此，VR应用通常采用带有配套耳机的头盔或密封的护目镜。这些设备通常称为头戴显示器（HMD）。这个称呼不能反映出HMD的全貌，因为HMD不仅仅是显示器。有很多VR硬件技术开发中心致力于这一领域，而根据处理器/设备驱动以及供电方式的不同，HMD也分很多种类型。

PC/控制台有线式
在PC/控制台有线式VR头盔中，HMD主要用作显示器，PC/控制台提供所有的处理资源。例如Oculus Rift、HTC Vive和Sony Playstation VR。

移动式
在移动VR头盔中，智能手机置入头盔中充当显示屏和处理引擎。控制器内置在套件中或随头盔提供。移动头盔得益于成本、操作简单和大力推广方面的优势，已成为目前最受欢迎的VR HMD。Samsung Gear VR和Google的DayDream View是移动式VR头盔的两个实例。

移动一体式（AIO, All-In-One）
在移动一体式VR头盔中，HMD集成处理器、显示屏和电池，是一体化的独立VR设备。它通过电池供电且具备板载处理器，因此不需要连接到任何其他设备。这种类型HDM的一个实例是Deepoon AIO VR。许多公司正在展示设计原型，如Oculus的Santa Cruz和英特尔的Project Alloy。

智能手机有线式
在以智能手机为核心的HMD中，处理资源和电力由智能手机提供，驱动HMD中的显示屏。这种类型产品的一个实例是通过USB Type-C连接的LG 360 VR。

PC无线式
虽然基于PC/控制台的HMD得益于更高的性能可提供最佳的VR体验，但是配套的线缆不仅是个麻烦，而且还有安全隐患。移动HMD使用户能够免于线缆的束缚，但处理器性能有限，视频内容不得局限于简单的游戏和休闲360度视频。

TPCAST是来自中国北京的供应商，推出了适用于HTC Vive的无线升级套件，为其提供最好的无线解决方案。因为需要进行低延迟、高带宽无线视频传输，所以TPCAST的视频解决方案采用莱迪思的多款FPGA和ASSP，以实现近乎零延迟且稳定可靠的视线外（non-line of sight，NLOS）无线视频传输，支持的最高分辨率可达2160 x 1200 90Hz。
头戴式显示器种类多种多样，这也成为了这个新市场的挑战之一。许多型号被投入市场进行试水，但最佳产品的宝座仍未被占据。FPGA的灵活性对于这些不断发展的硬件市场至关重要。特别在VR/AR领域，FPGA已被证明能够在传感器聚合、视频显示桥接和互连等方面发挥关键作用。

手势和位置追踪传感器
实现VR体验的最大问题之一是眩晕。与现实世界的联系已经将我们的身体变成了非常灵敏的“现实探测器”。当眼前内容不符合人脑的预测时，用户就会发生眩晕。站在玻璃桥上往下看是一个很好的例子，因为你的触觉和平衡感告诉你脚下有坚实的基础，但你的视觉告诉你什么也没有。VR试图为用户创造一个用虚拟内容替代的“现实”，用户的动作和虚拟投影之间的任何延迟或不匹配都会导致“VR眩晕”。因此，VR引擎需要快速、准确地定位用户的头部移动，并将该数据发送回处理器以生成适当的视频。各种手势和位置跟踪传感器用于跟踪用户的头部、手部和身体运动。每种解决方案在可移植性、准确性和成本方面必须进行权衡和考虑。

加速度计
最简单的跟踪行动的方法是使用加速度计，它可以嵌入到HMD中，类似于现在手机中的技术。该系统成本低但不够准确，无法创造出真正身临其境的VR体验。

红外传感器
红外线传感器直接检测壁挂激光器或从用户身体、控制器或HMD上反射点反射回来的脉冲。使用Valve StreamVR 3D跟踪技术的HTC Vive是这种传感器阵列跟踪系统的一个实例。该系统比加速度计精确很多，但只能跟踪传感器或点的位置。这种解决方案仅限于对HMD和用户手持的控制器的跟踪。

多摄像头控制
这类应用不断捕获用户位置，如“Kinect”或“Leap Motion”等一类三维或多摄像头阵列应用。像“Kinect”一样的系统设计用于捕获全身，而“Leap Motion”一类的设备旨在捕获用户的手势。摄像头传感器阵列的优点在于它们可以跟踪全身，而无需自定义运动捕捉套件或反射点。然而这类系统需要明显更多的带宽和处理能力才能进行分析。

使用实例
1. 同步传感器采样——为了精确跟踪运动，通常需要传感器阵列。可是大多数MCU没有足够的I/O，并且并不具备支持同步数据捕获的架构。另一方面，诸如莱迪思iCE40系列等FPGA针对低功耗、小尺寸和低成本应用进行了优化。除了同步数据捕获之外，设计工程师还可以决定是否要在FPGA（可能需要更大的FPGA）中直接执行空间处理，或者使用FPGA为捕获的数据添加时间戳让MCU进一步处理。

2. 多摄像头采样——该类系统产生比加速度计或基于FPGA的系统多得多的数据。性能更强的FPGA，如莱迪思的CrossLink器件，可聚合来自多个摄像头的数据。对于基于视觉跟踪的应用，CrossLink能够连接多个摄像头接口，并且同时采样和聚合多个视频流到视频处理器，而因视频处理器通常接口有限或与接口不兼容而无法直接连接。

3. 手势跟踪——在某些应用中，需要一个集成度更高的手势跟踪解决方案。高性能、低功耗FPGA是用于聚合多个摄像头和实现低延迟手势跟踪算法（如色度提取、深度映射和空间计算）的理想选择。

图2  一组传感器阵列用于跟踪头部位置和移动，为用户创造完美体验

图3  使用iCE40 同步传感器中心的手势追踪应用

视频显示
在VR/AR领域，在屏幕上显示内容的标准模式已经被颠覆，新的方法不断被测试以提供最真实的体验。高分辨率和低延迟的特性总是令人向往的，特别是显示屏尺寸为2-3英寸，距离用户眼睛只有几英寸时，高分辨率尤为关键。高刷新率和低延迟在对抗VR眩晕方面是最为关键的核心因素。如果用户转过头，视频反映出这个动作有滞后的情况，身体就会注意到这个差异并且感觉很困惑。降低延迟和提高刷新率有助于整个虚拟体验，以便头部移动的位置数据可以立刻反映在用户眼前的视频内容中，而且不会出现抖动或拖沓。

创造真实VR体验的关键是要能够向每只眼睛展示不同的图像以创造出3D视觉。VR中的显示桥接通常包括将单个视频流拆分传输至每个眼睛前的显示屏，或者相反地，从两个摄像头获取数据并将其合并成单个视频流。

使用实例
1. 左/右视频——移动应用处理器（AP）经常用于VR头盔。一些传统应用处理器仅具备单个MIPI DSI输出。为了驱动独立的左眼/右眼显示屏，来自应用处理器的单个MIPI DSI输出可连接到FPGA视频桥接应用，然后将其拆分传输至每个显示屏。

2.非移动显示/微显示屏——由于VR/AR市场还处于起步阶段，供应商正在积极寻找最佳的显示解决方案。一些AR系统可以使用为高端单反相机开发的每英寸高像素ELV（电子取景器）微显示屏。这些显示屏通常使用与大多数应用处理器上的MIPI DSI不兼容的接口，例如RGB或LVDS。FPGA视频桥接，如CrossLink，可以连接两个不兼容的接口。

3.外部输入桥接——VR应用中使用的大多数应用处理器都缺少输入常用外部视频源的接口，例如HDMI。在这种情况下，视频桥接可以将这些最常见的输入桥接至MIPI CSI-2。

4.摄像头输出——对内容的需求不断增加推进了360度图像和视频解决方案的发展，市场从专用的专业设备扩展到了低成本手机配件。可以预见，VR用户能够获取的沉浸式内容将大大涌现。现有的应用处理器可能没有足够的MIPI CSI-2输入，或是没有所需的接口支持应用中所需的多个摄像头。
 视频桥接可将来自多个摄像头的MIPI CSI-2视频流合并为单个MIPI CSI-2视频流传输到应用处理器
 上述视频桥接也可以将LVDS、SLVS、RGB等其他摄像头接口桥接至MIPI CSI-2

互连
许多VR显示器会连接到外部设备。今天，我们仍需要PC的处理能力来创造真正身临其境的体验。通常，视频连接标准（如HDMI）适用于这类应用，因为它提供高音频/视频带宽和非常低的延迟，且支持长电缆（3～5米）。然而，在某些情况下，特别是对于移动设备来说，通过USB Type-C实现视频、数据和供电连接也是非常方便的。

在不久的将来，无线视频将为现有市场提供前所未有的替代方案。没有线缆用户就能够拥有更多的自由移动空间，VR体验将大大增强。

使用实例
1. 视频连接——HDMI是VR领域公认的仅用于视频连接的标准。其速度、高带宽、超低延迟和广泛的市场认可使其成为理想的选择。
2. 视频+数据+电源——HDMI是最常见的视频连接标准，但是标准HDMI电缆可能非常笨重。HMD还需要供电，并将传感器数据发送回主处理单元。针对这些情况，支持MHL或DisplayPort的USB Type-C解决方案可以通过一根轻薄、柔软的线缆实现视频、数据和电力传输。
3. 无线——与电池供电的HMD配套使用时，无线视频连接能够为用户提供最大的自由移动空间。WirelessHD是一种非常卓越的技术，能够以HDMI的高带宽和低延迟高速传输数字视频。适用于HTC Vive的TPCAST无线VR套件采用WirelessHD技术。

总结
FPGA一直以来都是快速发展的新兴市场中产品开发的重要组成部分。随着制造商竞相进入VR市场，来自高性能、低功耗FPGA和ASSP可在VR应用的开发和互连、传感器数据的聚合与分析、3D视频的无缝播放以及HMD与电脑之间的互连方面发挥关键作用。随着VR市场的不断发展和成熟，FPGA将继续发挥作用，为设计工程师提供实现最佳VR体验所需的灵活性。