VR的身临其境意味着什么?

上网时间: 2016年04月08日? 作者:Kitty? 我来评论 【字号: ? ?小】

降低眩晕感 VR延迟20毫秒以内

如果你佩戴过VR头盔设备,可能会发生一些眩晕感。延迟率是造成这种效果最重要的一个因素。VR延迟率指VR头盔显示设备的视觉观测与头部运动的匹配程度。研究表明,头动和视野的延迟不能超过20ms,否则造成视觉上的眩晕,不适感。

目前,三星GEAR VR、刚发布的大朋VR一体机延迟都可以控制在19.3ms。如何控制延迟,主要取决于VR系统中数据从传感器到CPU,再到GPU最后到显示屏的整个过程的优化,尤其是ATW技术。

在最近由网易科技举办的开物沙龙VR论坛上,Nibiru CTO曹峻玮分享了移动端VR技术的关键点。通过底层系统优化、ATW算法达到延迟控制在20毫秒以内的目标,Nibiru已经对整个系统优化完成,可提供VR SDK。

曹峻玮介绍说,首先是陀螺仪的应用,陀螺仪刷新频率越高,延迟越低,1K刷新的陀螺仪延时就是1ms。例如三星Gear VR的方案是1K刷新率的陀螺仪。

VR的身临其境意味着什么?_ESMCOL_1

“对于移动VR的陀螺仪现在业界有两种方案,一种方案是比较便宜的,直接用手机里的陀螺仪,这个陀螺仪如果使用I2C总线,速率不是很快,现在也有些方案使用SPI总线,它的传输速率会高一些。另外一种就是现在以三星Gear VR为主导的,用的是外接MCU陀螺仪模块,通过USB传递数据。对于第一种方案如果陀螺仪刷新率过高, I2C协议带来的系统中断对于CPU的损耗过高,手机CPU会发烫特别严重。USB方案相对好一些。”曹峻玮解析道。

在陀螺仪技术里面融合算法非常重要。所谓的融合算法就是将陀螺仪,加速度和地磁进行有效的融合矫正,使得用户在调用陀螺仪时候保持数据稳定性和准确性。

融合算法集成在硬件底层驱动是一个趋势。可以降低CPU的损耗,增加陀螺仪的效率。“高通发布了VR SDK,我们认为比较好的做法就是把陀螺仪融合算法放到硬件DSP里面去做。”

图形图像部分,需要与芯片原厂配合做底层优化。包括:第一就是Front buffer Rendering,为什么Latency会较高,原因是Android架构的整个系统本身就是非实时性系统,需要做很多同步验证,导致延迟高。Front buffer Rendering是所有的移动VR优化必须做的。

VR的身临其境意味着什么?_ESMCOL_2

第二是ATW,借此保证刷新率保持在稳定的帧数并降低延时。 第三是Multi-View Rendering,左右眼的图两次渲染,实现一次代码调用,提高GPU的性能。现在ARM已经提供这样的扩展。

最后是Multi-Resolution Rendering,由于图像本身需要做反畸变,四周边缘不需要太多分辨率渲染,可节省GPU资源。目前已经有GPU厂家支持这样的扩展,Nibiru正在测试效果。

从采集陀螺仪数据到CPU计算逻辑,再到GPU计算绘制,最后显示器显示。这四个步骤所需要的时间就是Latency的时间。

VR的身临其境意味着什么?_ESMCOL_3

由于Android是非实时性系统,从图形绘制完成到送显有三级buffer缓存,会带来50ms的延时,就需要采取图形图像优化FBR的模式,让图像绘制之后直接送显。但是FBR模式会带来画面的撕裂,这也是为什么Android会采用3级buffer缓存的原因。

VR的身临其境意味着什么?_ESMCOL_4

第二是屏幕的反应延时,比如TFT屏幕延时大概有20ms,而OLED屏只有5ms,这些延时是不可更改的。目前移动VR基本跑在60Hz。60帧的GPU绘制速率16毫秒加上5毫秒,达到21毫秒了。但为什么三星能做到20毫秒以内,这里需要ATW技术,简单的说就是中间帧生成技术,中文叫异步时间扭曲。

通过使用ATW技术使得GPU绘制的图像进行一次变换,从而使得显示的图像是以最新的陀螺仪数据为基础,这个算法需要3ms左右,加上反畸变和反色散的算法2ms,而陀螺仪刷新延时在1ms,那么从陀螺仪采集到GPU图像绘制送显的延时在6ms左右。

接下来就是显示屏刷新延时,由于是左右camera交替刷新,所以这里一幅图的延时就是8.3ms,8.3ms加上6ms,再加上Oled屏的5ms左右,总共加起来19.3ms,这就是三星的20毫秒以内的由来,目前来看,Nibiru VR系统已经基本实现了这个逻辑优化。

VR的身临其境意味着什么?_ESMCOL_5

VR的身临其境意味着什么?_ESMCOL_6

Nibiru为手机厂商、一体机厂商进行系统优化。“系统优化之后,在游戏CP调用我们的VR SDK时才能达到这种低延迟效果。CP使用我们配合引擎的plug-in就行,我们会跟引擎公司合作,推出相应的plug-in,支持Cocos3x,Unity和Unreal等通用的游戏引擎。”

从芯片厂商来看,ARM已经在底层做优化支持VR,ARM全球执行副总裁兼大中华区总裁吴雄昂表示,我们下一代芯片会专门为VR做优化,时间在一年半以后。此外,高通也发布了全新的VR SDK。

本文下一页:享受沉浸感 裸手是VR/AR未来

标签 传感器/MEMS??

[ 投票数:? ] 收藏 ??? 打印版 ??? 推荐给同仁 ??? 发送查询 ??? ?订阅杂志

评论
免费订阅资讯速递
信息速递-请选择您感兴趣的技术领域:
  • 安防监控
  • 便携设备
  • 消费电子
  • 通信与网络
  • 分销与服务
  • 制造与测试
  • 工业与医疗
  • 汽车电子
  • 计算机与OA
  • 电源管理
  • 无源器件与模组
  • 新能源
  • 供应链管理
论坛速递
相关信息
  • 什么是VR技术?
  • 国际电子商情提供相关VR技术技术文章及相关VR技术新闻趋势,及更新最新相关VR技术电子产品技术

  • 什么是VR设备?
  • 国际电子商情提供相关VR设备技术文章及相关VR设备新闻趋势,及更新最新相关VR设备电子产品技术

  • 什么是三星Gear VR?
  • 国际电子商情提供相关三星Gear VR技术文章及相关三星Gear VR新闻趋势,及更新最新相关三星Gear VR电子产品技术

?新浪微博推荐
Global Sources


编辑推荐
?大家正在说


打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

1.扫描左侧二维码
2.点击右上角的分享按钮
3.选择分享给朋友
电子元器件数据手册下载
数据手册搜索

Datasheets China.com

《汽车电子特刊》

汽车电子系统在现代的汽车中占有的比重越来越高,对产品设计的工程师来说,产品的设计和验证面临着很多的挑战。本期《汽车电子特刊》将会向您呈现ADI技术对于汽车电子行业的应用等,还有IIC汽车电子论坛的精彩回顾哦!

扫一扫,关注最新资讯

esmc