【Augmented Reality】增强现实中的光学透射式头盔显示器的应用实例

你知道如何用真实的手来操控眼前的虚拟魔方吗?

                                      



前言

       前面几篇文章,我们简要介绍了光学透射式头盔显示器(光学透视型增强现实眼镜)的基本标定方法,并分享了在该领域的一些研究心得。但是,那还仅仅是停留在理论与实验的阶段,本文将应用前面介绍过的标定技术,进行一些基本的应用。

       本文将介绍一下几个应用实例,并在最后给出这几个demo的视频链接地址。

      (1)在标志板上叠加显示3D物体

      (2)在手机屏上叠加虚拟物体

      (3)空中绘制草图实体

      (4)控制虚拟魔方

----------------------------------------------------------------------

      相关文章链接:

      增强现实中的光学透射式头盔显示器的标定初步

      增强现实中的光学透射式头盔显示器的标定进阶

      增强现实中的光学透射式头盔显示器的标定深入

-----------------------------------------------------------------------

1 在标志板上叠加显示3D物体

准备工作:

       我从网上随机找了一个凤凰图案的剪纸图,打印出来作为标志板。视觉效果图中可以看到上面密密麻麻分布着蓝色的十字线,那是我做实验测量配准误差使用的,有没有都可以。

关键点:

       前面的文章已经讲了最基本的标定方法,以及扩展深入的基本思路。如果你已经完全掌握,相信这个demo是分分钟搞定的节奏!唯一要注意的是,标定时采用的标志板尺寸要与应用时候的标志板尺寸一致。例如,如果你使用长边是0.2米的标志板,并且在Unity3D中设置该标志板的尺寸为0.2,那么当你标定完成后,做其他应用的时候采用的标志板尺寸也要符合这个规则。即假如你要跟踪的标志板为0.35米,请一定要在Unity3D中设置它的尺寸为0.35,这个很重要!

视觉效果:

       最后,可以透过头盔显示器的镜片,看到效果如下图。方块、树林和小恐龙已经成功叠加到我们预定的标志板上了。


2 在手机屏上叠加虚拟物体

准备工作:

       先找到一张合适的图,然后将它拷贝到手机上,这样手机屏幕就可以作为跟踪对象了。我采用的图是一幅风景图案:


关键点:

       本例子和上一个是相似的,唯一的不同在于,手机屏幕反光严重,给摄像头捕捉带来困难。幸运的是,我的手机还贴了磨砂膜,稍微好一些。直接将其作为跟踪对象,在视野中晃一晃,你就能看到叠加的虚拟物体了。 

视觉效果:

       我是把一个旋转的机器人叠加到了手机屏幕上,这样就好像让手机屏幕显示了一个“全息影像”一样。当然,这里的全息指的不是科学意义上的全息,仅仅指的是多视角可视的三维虚拟成像。


3 空中绘制草图实体

准备工作:

       如果想用手在空中绘制一些图画,必须要跟踪手的位置。我们建议采用leap motion 做为跟踪手的传感器,同样使用前面的标定方法,可以建立leap motion坐标系和人眼-HMD虚拟摄像机坐标系之间的联系。这个传感器经常配合虚拟现实HMD使用,我们将它用在增强现实HMD上,同样惊艳。


关键点:

       由于标定中需要一个marker,可以使用食指指尖作为marker,但是由于leap motion本身跟踪误差的存在,以及每个用户对指尖位置的不同定义,标定很容易引入较大误差。建议多选取几组对应点,以尽可能减小误差。 

视觉效果:

       尽管笔者绘画水平不敢恭维,但是能在空中绘画,也是极好的。想象神笔马良的神笔,画什么就能变成真的,现在我们也可以哦。



4 控制虚拟魔方

准备工作:

       与第3个demo类似,我们需要一个leap motion传感器。当然为了实现较好的效果,我们还需要一个比较精致的魔方模型。我采用的模型是直接从网上下载的。

关键点:

       需要对魔方模型进行一些碰撞体设置,以使得它可以支持单面的转动操作。 

视觉效果:

       我们可以用手移动虚拟魔方的位置,然后也可以用手指转动每一个面,最终恢复魔方。


5 视频链接

       由于试了好久也无法直接上传视频到博客,所以我将本文涉及到的视频上传到了优酷,地址是: 

        http://v.youku.com/v_show/id_XMTg0MzI5MTMxMg==.html?spm=a2hzp.8244740.userfeed.5!2~5~5~5!3~5~A


小结

       本文介绍了几种基于光学透射式头盔显示器的AR应用实例,包括显示和交互等等。未来可能会做更多的尝试,敬请关注。





原文地址:https://www.cnblogs.com/yanhuiqingkong/p/7770080.html