增强现实系统的工作原理1

由于AR应用系统在实现的时候要涉及到多种因素,因此AR研究对象的范围十分广阔包括信号处理、计算机图形和图像处理、人机界面和心理学、移动计算、计算机网络、分布式计算、信息获取和信息可视化,以及新型显示器和传感器的设计等。AR系统虽不需要显示完整的场景,但是由于需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中,因此AR系统中一般都包含以下4个基本步骤:(1)获取真实场景信息;(2)对真实场景和相机位置信息进行分析;(3)生成虚拟景物;(4)合并视频或直接显示,即图形系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换,然后按照仿射变换矩阵在视平面上绘制虚拟物体,最后直接通过S-HMD现实或与真实场景的视频合并后,一起显示在普通显示器上。AR系统中,成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑系统。

增强现实中用到的相关支撑技术

一个完善的AR系统包括多个学科研究的技术,其中系统显示定位技术,虚实融合技术和用户交互技术是实现一个AR系统的基本支撑技术

一、AR系统的显示技术

一般增强现实的显示技术分为以下四类:头盔显示器,投影式 (ProjeetDisplay)显示技术,手持式(HandHeldDisplay)显示器,普通液晶显示器。

二、跟踪定位技术

由于要实现虚拟和现实物体的完美结合,必须将虚拟物体合并到现实世界中的准确位置,这个过程称为注册 (registration),因此AR跟踪定位系统必须能够实时地检测观察者在场景中的位置、视域的方向,甚至是运动的情况,以便用来帮助系统决定显示何种虚拟物体,并按照观察者的视场重建坐标系。在AR应用中,通常使用两类跟踪和定位技术,一种是基于硬件设备的跟踪定位技术,一种是基于机器视觉的跟踪定位技术。

用于跟踪定位技术的硬件系统和设备主要包括:全球卫星定位系统(GPs)DeadReckoning技术、超声波定位仪、惯性导航装置、螺旋测度仪、测距仪、光学系统、磁跟踪器、机械装置。基于视觉的跟踪注册技术即是从真实环境中获取一幅或者多幅图像,然后标定摄像机与目标间的相对位置和方向。由于头部跟踪系统提供的跟踪信息没有反馈增强信息与真实环境的匹配程度信息,难以取得最佳匹配。基于视觉的AR系统可以利用图像处理和计算机视觉的方法协助注册,并且使得测量局限在图像空间范围。基于视觉跟踪的方法大体上可以分为以下四类:

1.己知单幅图像中的六个或者六个以上的匹配点进行跟踪,Tsai等提出了这种算法,目前大多数研究者采用这种算法。这类视觉跟踪的方法使用相机标定的技术,利用单幅图像中己知点的三维空间位置与它们在图像平面坐标系中的成像坐标实现跟踪注册。这些已知点是物体的特征点:如拐点、孔洞、放置的标志点。标志点多采用平面标志物体为定位基准:如长方形、圆环、五边形、条形码等等。

2.从运动摄像机拍摄到的序列图像或者是从拍摄到的运动目标序列图像进行跟踪。通过运动目标的序列图像来研究运动目标的运动特征。首先要利用序列图像来估计目标的运动参数和确定目标的结构,即通过对序列图像的处理,然后在具有系统噪声和测量噪声的情况下,从统计的意义上对运动目标参数做出精确的估计。

3.图像的模板匹配。unenohara使用模板匹配的方法从不同视点提取真实环境的图像用作模板寻找真实环境的数字化图像,一旦找到虚拟物体就被叠加到真实环境。

4.三视图和多视图的跟踪技术。由多部摄像机从真实环境的各个角度提取标识物的图像,通过应用Harris角点检测或SIFT特征点匹配等算法提取图像特征点,计算场景中真实物体的深度信息,确定虚拟物体与真实环境的遮挡关系后显示虚实结合的场景图像,使真实场景与虚拟物体实现更加自然的时空范围中的融合,使用户可以与虚拟物体自由交互。

衡量AR系统性能以及影响其实用性的关键指标是三维跟踪注册精度。目前的注册误差可以分成两大类:静态注册误差、动态注册误差。静态注册误差是当用户的视点和真实环境中的物体均保持静止时才会产生。动态注册误差则只有当用户的视点或者物体运动时才会产生的。动态注册误差是造成增强现实系统注册误差的主要来源,也是限制增强现实系统实现广泛应用的主要因素。为了弥补各种跟踪技术的缺点,许多研究者采用混合跟踪的方法以期取长补短,满足增强现实系统高精度注册的要求。

三、虚实融合技术

虚实配准技术是任何实用的增强现实系统所首先需要解决的重要问题,这也是国内外众多研究人员对此问题展开详细研究的原因所在。基于计算机视觉的注册方法以其精度高、可用性强等特点已经引起越来越多研究人员的关注。这种方法可以按照不同的标准进行分类:如从是否能够在系统运行过程中自动获取摄像机内部参数角度,可以分为预定标和非定标两种方法,从是否需要人为标识,可以分为基于标识以及基于自然特征两种方法。

从是否能够在系统运行过程中自动获取摄像机内部参数来看,可以分为预定标和非定标三维注册两种,一种基于仿射变换的非定标三维注册方法,这种方法将摄像机坐标系、世界坐标系和虚拟场景坐标系合并,建立一个全局仿射坐标系。通过将真实场景、摄像机和虚拟场景定义在同一坐标系下,绕开不同坐标系之间转换关系的求解问题,从而使得三维注册问题的解决不再依赖于摄像机内外参数的确定。事实上这种方法在避免了事先确定摄像机内部参数的同时也存在如下一些缺陷:首先该方法在仿射坐标系下定义虚拟场景,这种坐标系与当前多数图形渲染工具(OpenglDirect 3D)所采用的欧氏坐标系不符,一定程度上限制了算法的实用性;另外该方法不能将仿射投影矩阵分解为摄像机内外参数两部分,从而无法生成光照、阴影等效果,一定程度上影响了系统的真实感。为了改进以上方法的不足,提出了一种基于投影重建的预定标虚实配准方法,这种方法采用小孔成像模型,规定摄像机内部参数为已知而且在系统运行过程中不发生变化。系统在离线阶段利用投影重建技术以及用户指定的构成正方形的四点建立世界坐标系,实时注册阶段利用重投影技术恢复用户指定的四点在当前图像上的位置以计算三维注册矩阵。这种方法在避免了基于仿射变换的三维注册方法的缺点的同时也存在着如下一些缺陷:最小配置下需要6点追踪成功才能完成注册,系统注册精度在摄像机发生运动情况下很不稳定;一旦摄像机内部参数发生变化,则会产生较大的虚实配准误差,从而影响了虚实融合的真实感。针对上述问题,本文在第三章提出了一种基于自定标技术的虚实配准策略,该方法采用小孔成像模型,在欧氏坐标系下表达虚拟场景,能够克服仿射变换方法的一系列缺陷,同时由于在运行过程中能够自动计算摄像机内部参数,使得系统的运行不在依赖于对摄像机内部参数的事先确定,有效提高了系统的可用性和精确性。

四、用户交互技术

下一代AR技术的主要特征是实现用户与真实场景中的虚拟物体之间更自然的交互,AR系统需要通过跟踪定位设备获取交互控制数据执行用户对虚拟物体实施的行为指令。AR应用系统常使用以下3种方式实现用户与系统之间的交互:

1.标识特征点:通过空间点位置选择场景中的虚拟目标是AR中最基本的交互方式。一般需要指定空间点的二维或三维坐标。应用中常使用预先定义的一个或多个定位标记固定在交互物体上。

2.姿态命令:AR中的命令是通过运用人工智能中的机器学习和模式识别技术来完成的。华盛顿大学的数字桌面系统使用贴有标记的木板来操纵虚拟物体,一些系统中也使用装有反光标一记的黑色手套来操纵虚拟的国际象棋棋子。系统中的命令也可以依靠二维空间点输入实现,如使用手势识别等。

3.特制工具:特制工具通常是空间点的输入工具和系统软件的组合。在操作中,通过空间点工具操作虚拟目标和控制面板提供的功能项,如滑块、按钮、选项或文字输入,能够增强对特定应用的交互能力。在实际应用的项目中,会提供称为个人交互面板的工具(PIP)的特制工具与计算机生成的虚拟物体交互。

增强现实系统的特点

增强现实系统的特点是虚实结合、实时交互、三维注册。

其中,虚实结合的特点是指虚拟物体与真实世界的结合,即使用户所感知的混合世界里,虚拟物体出现的时间或位置与其真实世界对应事物相一致和谐调。同时,系统能根据用户当前的位置或状态即时调用与之相关的虚拟世界,并即时将该虚拟世界与真实世界结合,真实与虚拟之间的相互作用或影响是实时完成的,比如视线上的相互阻挡,形状上的相互挤压等等。

三维注册要求对合成到真实场景中的虚拟信息和物体准确定位并进行真实感实时绘制,使虚拟物体在合成场景具有真实的存在感和位置感。实现这种要求的前提是,利用各种传感器检测真实世界的信息,并创建相应的几何模型。模型的精确性取决于传感器所获取的精度,同时需要建立精确的模型,这需要巨大的数据量。AR环境中的交互过程需要从特殊的硬件交互设备或一些定位传感器获取数据,为了保证实时性,所有数据和相应操作要求在极短的时间间隔内得到处理,同时保证输出帧频保持在用户可以接受的范围内。

结语

AR系统的研究目前已取得了一定的成果,但是大部分仍处于实验室研究阶段。作为一个涉及到多种学科交叉的研究领域,各个应用领域都需要应用到AR的相关技术。所以AR系统的研究发展领域依然很有前景,可探索领域也很广泛。鉴于目前仍处在实验室研究阶段,希望能够尽快应用到国防建设以及经济发展当中,在实际中发挥它的价值,造福人类,这才是科研的真正目的。

    博视界科技专注于沉浸式全景数字餐厅、全息酒店宴会厅,旨在帮传统餐饮用科技玩跨界,欢迎咨询!

官方网站:www.boseetech.com

联系方式:    

微信联系我:


    【声明】转载本文请注明出处三人行设计,并保留有效链接:增强现实技术原理及其发展(二) http://www.srxtuan.com/archives/403,谢谢!

猜您还喜欢: