MTVerseXR云端异步渲染

2024-10-10

1、MTP Latency

MTP（Motion-to-Photon）Latency是指从做出运动的时间开始，到显示在屏幕上这一过程所消耗的时间。对于XR设备MTP的延时非常重要，高延时会让人产生晕动症和恶心，这是因为人体运动感知和视觉感知不同步导致，严重影响使用体感。一般情况下，VR设备可容忍的MTP延时是20ms，AR设备需要更短的5ms。

对于MTVerseXR通过云端渲染与XR设备串流的方案，相比传统XR设备的MTP Pipline更加复杂和耗时，除了必须的渲染耗时，还增加了视频流编解码、网络延时和终端渲染。

云端同步渲染流程

云端同步渲染。设备端发起t0时刻运动变化的控制指令，服务端接收到指令，经过渲染、编码、推流将渲染内容发送到设备端，设备端解码并将渲染内容呈现在屏幕后再发起t1时刻指令。推流帧率受限于流程处理时间（t1-t0）。

2、云端异步渲染

异步渲染的核心思想是将MTP Pipline各节点从串行处理分离为并行处理状态，提升推流帧率；将云端渲染结果和终端显示结果做异步处理，降低显示延时影响。

2.1 提升推流帧率

将渲染、视频编码、推流、视频解码，终端渲染节点异步独立运行，推流间隔时间取决于最长节点耗时。

云端异步渲染流程

云端异步渲染。设备端按刷新频率发起t0到tn时刻的运动变化指令，服务端接收到指令队列，渲染、编码、推流节点分别从前序依赖节点中获取指令队列进行处理，设备端接收并解码渲染内容存储到显示队列，端渲染将最新渲染内容显示到屏幕。通过节点间的异步处理，减少了节点间依赖关系，降低了帧与帧间的处理等待时间，从而提升了推流帧率

2.2 降低显示延时影响

在MTP Pipline高复杂度条件下，如果终端实时等待t0帧的云端渲染结果，非常容易造成MTP延时超过可容忍时间。所以需要通过ATW（Asynchronous Time warp），ASW（Asynchronous Space）等技术，使用过去时刻位姿的云端渲染结果图像，根据当前时刻的终端位姿，将图像进行的平移、旋转、扭曲操作，使之匹配当前时刻终端显示的结果。

2.3 其他

除了异步渲染的处理，MTVerseXR利用MTGPU高性能编码、超分、注视点渲染、位姿预测等技术对MTP Pipline各个节点进行的低延时优化，进一步提升用户使用体感。