Kinect 原理介绍

一 kinect技术介绍

  kinect彻底颠覆了游戏的单一操作。使人机互动的理念更加彻底的展现出来。 它是一种3D体感摄影机,同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。

     不需要使用任何控制器;它是依靠相机捕捉三维空间中玩家的运动。

二  kinect体感控制器的功能

  kinnect工作原理,摄像头起到了很大的作用,它负责捕捉人肢体的动作,然后微软的工程师就可以设计程序教它如何去识别、记忆、分析处理这些动作。Kinect摄像头可以捕捉到用户的手势动作,再把这些手势语言转换成游戏控制。

  具体来说,Kinect借助PrimeSense软件和摄像头侦测、捕捉用户手势动作,然后再将捕捉到的影像与本身内部存有的人体模型相对照。每一个符合内部已存人体模型的物体就会被创造成相关的骨骼模型,系统再将该模型转换成虚拟角色,该角色通过识别该人体骨骼模型的关键部位进行动作触发。在虚拟骨骼模型的帮助下,系统可识别人体的25个关键部位。此基础上加入了识别人体站立/坐姿的新技术。

  使用红外定位   

Kinect比一般的摄像头更为智能。首先,它能够发射红外线,从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外,配合着Xbox 360上的一些高端软件,便可以对人体的48个部位进行实时追踪。该设备最多可以同时对两个玩家进行实时追踪。  

  多项额外功能  

 Kinect还内置麦克风,所以,用户可以直接与Xbox 360进行“对话”  Kinect。除此之外,这款产品不仅能够通过红外线识别人体,还可以识别出完整的RGB色彩,并借助面部识别技术自动为用户登录。  

  配备自有界面   

 当Kinect安装完毕后,用户必须要使用独立的菜单系统,而非Xbox 360原有的界面。该界面非常简单,易于使用。要加载Netflix,只需要点击Netflix按钮即可,或者对Xbox 360说“Netflix”也可以启动这款应用。要暂停游戏也可以直接通过语音实现,或者将手放到空中握住虚拟的暂停按钮。

三   kinect体感控制器元件有哪些?怎么实现全新的游戏体验的?

 

1)红外线发射器和红外线/VGA摄像头组

通过景深摄像头和RGB摄像头的配合,Kinect可以将实物的3D影像投放到屏幕当中。可以同时拍摄彩色图像和红外图像,捕捉到用户的手势动作,根据微软给出的数据,再把这些手势语言转换成游戏控制。

光学部分包括两个主要部件:红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”覆盖整个Kinect的可视范围,摄像头组接收反射光线来识别玩家。红外摄像头识别图像的是一个“深度场”(Depth Field ),其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等,而离摄像头远的物体则呈暗灰色。

 

一种光编码(light coding)技术。不同于传统的ToF或者结构光测量技术,light coding使用的是连续的照明(而非脉冲),也不需要特制的感光芯片,而只需要普通的CMOS感光芯片,这让方案的成本大大降低。

  Light coding,顾名思义就是用光源照明给需要测量的空间编上码,说到底还是结构光技术。但与传统的结构光方法不同的是,他的光源打出去的并不是一副周期性变化的二维的图像编码,而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑(laser speckle),是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。

这些散斑具有高度的随机性,而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光,整个空间就都被做了标记,把一个物体放进这个空间,只要看看物体上面的散斑图案,就可以知道这个物体在什么位置了。当然,在这之前要把整个空间的散斑图案都记录下来,所以要先做一次光源的标定。标定的方法是这样的:每隔一段距离,取一个参考平面,把参考平面上的散斑图案记录下来。假设用户活动空间是距离电视机1米到4米的范围,每隔10cm取一个参考平面,那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候,拍摄一副待测场景的散斑图像,将这幅图像和我们保存下来的30幅参考图像依次做互相关运算,这样我们会得到30幅相关度图像,而空间中有物体存在的位置,在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起,再经过一些插值,就会得到整个场景的三维形状了。

2)麦克风

 麦克风部分

这里我们发现了Kinect配备的4个麦克风中的3个,它的麦克风是朝下设置,右侧3个,左侧一个。至于为什么是朝下,是因为微软认为最佳的声音收集方向就是朝下。而为了正确的识别语音指令,Kinect必需对房间中的音频进行校准,如果你改变了房间内的家居摆放,就要进行重新校准。

3)各种芯片 及电路板

一             kinect技术介绍

kinect彻底颠覆了游戏的单一操作。使人机互动的理念更加彻底的展现出来。 它是一种3D体感摄影机,同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。

       不需要使用任何控制器;它是依靠相机捕捉三维空间中玩家的运动。

二    kinect体感控制器的功能

kinnect工作原理,摄像头起到了很大的作用,它负责捕捉人肢体的动作,然后微软的工程师就可以设计程序教它如何去识别、记忆、分析处理这些动作。Kinect摄像头可以捕捉到用户的手势动作,再把这些手势语言转换成游戏控制。

具体来说,Kinect借助PrimeSense软件和摄像头侦测、捕捉用户手势动作,然后再将捕捉到的影像与本身内部存有的人体模型相对照。每一个符合内部已存人体模型的物体就会被创造成相关的骨骼模型,系统再将该模型转换成虚拟角色,该角色通过识别该人体骨骼模型的关键部位进行动作触发。在虚拟骨骼模型的帮助下,系统可识别人体的25个关键部位。此基础上加入了识别人体站立/坐姿的新技术。

使用红外定位   Kinect比一般的摄像头更为智能。首先,它能够发射红外线,从而对整个房间进行立体定位。摄像头则可以借助红外线来识别人体的运动。除此之外,配合着Xbox 360上的一些高端软件,便可以对人体的48个部位进行实时追踪。该设备最多可以同时对两个玩家进行实时追踪。  

多项额外功能   Kinect还内置麦克风,所以,用户可以直接与Xbox 360进行“对话”  Kinect。除此之外,这款产品不仅能够通过红外线识别人体,还可以识别出完整的RGB色彩,并借助面部识别技术自动为用户登录。  

配备自有界面   当Kinect安装完毕后,用户必须要使用独立的菜单系统,而非Xbox 360原有的界面。该界面非常简单,易于使用。要加载Netflix,只需要点击Netflix按钮即可,或者对Xbox 360说“Netflix”也可以启动这款应用。要暂停游戏也可以直接通过语音实现,或者将手放到空中握住虚拟的暂停按钮。

三       kinect体感控制器元件有哪些?怎么实现全新的游戏体验的?

1)红外线发射器和红外线/VGA摄像头组

通过景深摄像头和RGB摄像头的配合,Kinect可以将实物的3D影像投放到屏幕当中。可以同时拍摄彩色图像和红外图像,捕捉到用户的手势动作,根据微软给出的数据,再把这些手势语言转换成游戏控制。

光学部分包括两个主要部件:红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”覆盖整个Kinect的可视范围,摄像头组接收反射光线来识别玩家。红外摄像头识别图像的是一个“深度场”(Depth Field ),其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等,而离摄像头远的物体则呈暗灰色。

 

一种光编码(light coding)技术。不同于传统的ToF或者结构光测量技术,light coding使用的是连续的照明(而非脉冲),也不需要特制的感光芯片,而只需要普通的CMOS感光芯片,这让方案的成本大大降低。

  Light coding,顾名思义就是用光源照明给需要测量的空间编上码,说到底还是结构光技术。但与传统的结构光方法不同的是,他的光源打出去的并不是一副周期性变化的二维的图像编码,而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑(laser speckle),是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。

这些散斑具有高度的随机性,而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光,整个空间就都被做了标记,把一个物体放进这个空间,只要看看物体上面的散斑图案,就可以知道这个物体在什么位置了。当然,在这之前要把整个空间的散斑图案都记录下来,所以要先做一次光源的标定。标定的方法是这样的:每隔一段距离,取一个参考平面,把参考平面上的散斑图案记录下来。假设用户活动空间是距离电视机1米到4米的范围,每隔10cm取一个参考平面,那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候,拍摄一副待测场景的散斑图像,将这幅图像和我们保存下来的30幅参考图像依次做互相关运算,这样我们会得到30幅相关度图像,而空间中有物体存在的位置,在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起,再经过一些插值,就会得到整个场景的三维形状了。

2)麦克风

 麦克风部分

这里我们发现了Kinect配备的4个麦克风中的3个,它的麦克风是朝下设置,右侧3个,左侧一个。至于为什么是朝下,是因为微软认为最佳的声音收集方向就是朝下。而为了正确的识别语音指令,Kinect必需对房间中的音频进行校准,如果你改变了房间内的家居摆放,就要进行重新校准。

3)各种芯片 及电路板

 不同部分有着不同的功能

     上面就是Kinect的主板了。左起:

    红:Wolfson Microelectronics WM8737G - 具有麦克风的前级放大器

    橙:Fairchild Semiconductor FDS8984 - N-Channel PowerTrench MOSFET

    黄:NEC uPD720114 - USB 2.0集线器控制器  

    靑:H1026567 XBOX1001 X851716-005 GEPP 

    蓝:Marvell AP102 – 附带摄像头接口控制器的SoC

    紫:Hynix H5PS5162FF 512 megabit DDR2 SDRAM - 海力士512MB DDR2 SDRAM

 

    红:Analog Devices AD8694 - 低功耗、低成本、低噪音的CMOS轨对轨输出运算放大器

    橙:TI(德州仪器)DS7830I - 配有I2C接口的8-Bit、8通道数字/模拟转换器

    黄:Allegro Microsystems A3906 - 低电压步进器和单/双路直流电机驱动器

    靑:ST Microelectronics M29W800DB - 8Mbit NV闪存

    蓝:PrimeSense PS1080-A2 - SoC成像处理器

 

    红:这款电路板应用了TI TAS1020B USB音频控制器

    橙:Kionix MEMS KXSD9加速器,可能用于倾斜感应及图像稳定

 

电路板背面图示

    捕捉到的影像与本身内部存有的人体模型相对照捕捉到的影像与本身内部存有的人体模型相对照。实现动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。带来全新的游戏体验。

4)零件汇总  

  通过景深摄像头和RGB摄像头的配合,Kinect可以将实物的3D影像投放到屏幕当中。

 

由摄像头和麦克风组成的传感器系统

 

全部零件

 

四      结束语

       一款好的科技产品,其中包含的科技知识是相当丰富的。解析kinect游戏控制器,不仅了解技术,更应该再创新,制造出更适合我们的产品。

我是condess,我为自己代言。
原文地址:https://www.cnblogs.com/acondess/p/3460859.html