CN102854984A - 基于手指动作捕捉控制的向双眼直接投影式小型影音设备 - Google Patents

Abstract

本发明涉及小型投影和摄像设备领域，尤其涉及一种向双眼直接投射3D影像并且通过3D摄像头进行手指动作捕捉控制的小型影音设备。该设备的使用位置为用户的鼻梁，在设备上有左右两个投影孔，设备可通过这两个投影孔向左右眼直接投射3D图像中的左眼图像信号和右眼图像信号。设备上的3D摄像头可捕捉用户的手指动作，与3D投影图像相配合可完成图形图像的3D虚拟触摸控制。此外3D摄像头还可以进行3D视频拍摄。设备上安装有音频模块可实现音频信号的输入输出。该设备可实现显示和控制的全3D化。

Description

基于手指动作捕捉控制的向双眼直接投影式小型影音设备

技术领域

本发明涉及小型投影和摄像设备领域，尤其涉及一种向双眼直接投射3D影像并且通过3D摄像头进行拍摄以及手指动作捕捉控制的鼻戴式小型影音设备。 

背景技术

个人电子设备的显示技术从最初的发光二极管示意显示到LCD字符显示再到液晶彩色显示经历了显示内容从简单单调到复杂丰富的发展过程，目前以美国苹果公司的所谓视网膜显示屏最为高端。但以视网膜显示屏为例，其突出特点为显示分辨率超过了人眼分辨能力，然而这仍然只能看作是一个量的提升，在显示领域目前并没有出现类似于从字符显示屏到彩色显示屏那样具有质的跨越的产品。再看另一种显示技术——投影，其突出特点为可以实现大尺寸显示，而且正朝着设备小型化、便携化和影像高亮度及高清晰度发展。但投影的缺点在于虽然投影设备本身尺寸与其可产生的影像尺寸来说并不算大，但由于正常成像时投影仪和幕布间需要留有一定距离这使其所需的整体空间尺寸却很可观。而就成像内容来看，目前无论是彩色显示屏还是投影都以二维图像为主。但由于三维图像拥有比二维图像更真实的感官体验，这使得显示屏和投影设备提供商都在各自领域内向着三维方向发力。显示屏方面的3D显示技术主要有裸眼式和眼镜式两种，前者的优点是摆脱了眼镜的束缚，但缺点是在分辨率、可视角度和可视距离等方面还存在很多不足；而后者的优缺点与前者大致相反。在投影方面则主要是传统的3D投影机+3D眼镜技术，其感官体验效果突出，但目前主要应用于3D电影院，还未向个人用户方面普及。 

一些科技公司也试图在传统的显示屏成像和投影成像的旧有壁垒之间找到新的突破点。例如日本索尼公司研发了头戴式的3D显示设备，由于采用了“双显示屏3D技术”，其3D显示效果非常出色，但其产品尺寸较大且价格高昂。而美国谷歌公司研发的所谓“扩展现实”产品google glass则将产品外形做的和眼镜相似，并且以一块投影屏代替传统的眼镜镜片，通过将投影屏显示的电子图像和自然实景结合的方式给用户带来了全新的使用体验。不过google glass主要缺点是不支持3D成像，使得使用者不能获得逼近真实的3D图像体验；并且设备的控制使用的是触控键和晃动头部的方式，虽然也支持语音控制，但其总体控制方式相对生硬；此外近视使用者无法将google glass与近视眼镜一同使用，同时由于有屏幕的存在使其使用体验类似于视力正常的人佩戴眼镜，使用舒适度和成像自然度欠佳。 

从人眼成像原理来看。无论是外界物体产生的实景图像还是液晶屏或者投影幕布产生的电子虚像，大脑获得这些图像信息的原理都是相同的，即来自图像源的光线透过晶状体刺激视网膜感光细胞从而使大脑感知这些图像信息，并且左右眼获得的图像信息并不完全相同，这是产生立体图像的关键。由此可见若电子图像的光线信息和实景图像的光线信息同时投射到眼睛上并且电子图像也投射左右眼不同的3D光线信息则电子信息和实景信息将完全混合，带给使用者完全真实的感官体验。 

就控制方式来看。电子设备的控制经历了按钮、键盘+鼠标式和触摸屏等发展过程。目前最前沿的是动作捕捉控制技术，微软的xbox360游戏机和任天堂的wii游戏机等所谓的体感游戏机使用的就是基于摄像头的动作捕捉控制技术。但是动作捕捉控制技术目前并未在其他个人电子设备中大量普及，目前电脑控制仍然采用键盘+鼠标式而手机等则主要以触摸屏为主。动作捕捉控制由于在硬件上主要基于摄像头完成，并没有引入其他硬件，因而硬件开销较小。同时动作捕捉控制的触发源是人体动作，智能程度较高同时也具有优异的用户体验，是非常有前途的人机交互手段。目前动作捕捉的硬件基础是普通摄像头，而3D摄像头获得的图像信息中包含有空间深度信息，这是普通摄像头所不具备的，若是基于3D摄像头进行动作捕捉控制则可以获得更为精准的空间动作控制效果。 

现在的摄像设备几乎全都基于普通二维摄像头，虽然摄像头像素已经有相当大的提升，但由于真实世界是三维的，普通摄像头获取的图像信息中重要的立体信息缺失使得它的应用前景受到很大限制。现在很多厂商都开始研发3D摄像头，而台湾的HTC公司已经在他们研发的一款手机上嵌入3D摄像头。由于只有3D成像和3D摄像同时发展起来才能使3D技术在个人电子设备领域大面积普及，这决定了3D摄像头将是未来人们获取图像的主流设备。 

发明内容

为了克服目前显示设备领域所存在的显示内容以2D为主而3D显示设备复杂昂贵且没有合适的控制技术相配套的问题，本专利提出了将3D图像直接投向左右眼并通过3D摄像头进行手指动作捕捉以实现3D虚拟触摸控制，旨在达到显示和控制全3D化的目的。 

本发明解决其技术问题所采用的技术方案是： 

一种小型的投影和摄像设备，其特征是：在设备上有左右两个投影孔，设备通过这两个投影孔向左右眼直接投射3D图像中的左眼图像信号和右眼图像信号；设备上嵌入有3D摄像头，该摄像头一方面可以拍摄3D图像，另一方面还可以与3D投影图像相结合通过捕捉使用者手指动作信息完成3D虚拟触摸控制。

设备将图像投影到眼球上的方法，其特征是：设备先将整个3D图像在一片投影屏上显示，然后通过光路分离器将原始图像光路分成内容完全一样但投射角度不同的两路光信号，这两路光信号到达左右投影孔时被布置在投影孔处的左右眼偏振镜片将图像信息转变成左眼投射图像和右眼投射图像，最后调整好的左眼图像信息和右眼图像信息从投影孔投射到左右眼上。 

设备将图像投影到眼球上的方法，其特征是：3D图像信号在投影屏上即被分成左眼信号和右眼信号，其中投影屏以半屏显示左眼图像信号而以另外半屏显示右眼图像信号，然后通过光路角度调整镜片分别将属于左眼的半屏图像光路从左投影孔引导投射出去而将属于右眼的半屏图像光路从右投影孔引导投射出去。 

设备将图像投影到眼球上的方法，其特征是：左眼投射信号和右眼投射信号各自有一套独立的光源和投影屏，两套投影装置产生的完全调整好的图像信号直接从各自投影孔投射到左右眼上。 

该设备使用的的通过捕捉手指动作进行3D虚拟触摸控制的方法，其特征是：3D投影相当于在距人眼特定距离处布置一块特定尺寸的显示屏，而3D摄像头相当于在该显示屏上布置了相对应的触摸屏，当用户伸出手指去点触由投影所产生的虚拟显示屏上的3D图像时，3D摄像头采集到的手指深度和位置信息传到处理器，若此时手指的空间位置恰好满足与某一图像有关的控制信号的触发条件时则该控制信号被触发，该处图像信息以改变图形位置、形状、大小、颜色或其他模式示意使用者该触控有效，整个过程和传统触摸屏用户基于液晶显示屏提供的图像信息用手指在触摸屏上触控以进行输入输出控制的方法类似，只不过该设备提供的图像信息和与其对应的控制方式都是3D的。 

小型投影和摄像设备，其特征是：设备无本地文件存储模块，其自身产生的3D视频数据和音频数据并不存储在设备上而是通过无线通信方式转存到信息源上；与设备相连的信息源主要为三种：智能终端、云端或通过智能终端转接的云端，该设备利用自身无线通信模块通过近距无线通信方式或移动无线通信网络与信息源完成信息交互。 

一种小型的投影和摄像设备设备，其特征是：设备使用位置为人体的鼻梁；设备外壳中与体表直接接触部分的外形呈U型，与人脸正面鼻梁拱形轮廓曲线相契合，体表接触部分外壳上布满类似于空气粘钩的小吸盘，设备通过这些小吸盘的吸力得以在鼻梁上固定；设备的整体外观呈大倾角的倒L形，与人脸侧面从鼻梁到眉心的轮廓曲线一致，当设备正常安装于鼻梁上时，设备L形外观中的长端部分在鼻梁上，短端部分在眉心位置，并且设备在眉心位置安装有一个3D摄像头；设备位于鼻梁部分的两侧面分别有两个投影孔，左投影孔向左眼投射3D图像中的左眼光路信息，右投影孔向右眼投射3D图像中的右眼光路信息；在设备正常安装时靠近鼻头的尾端位置有一个麦克风，通过该麦克风可将使用者的语音信息采集到设备中；在设备正常安装时位于眉心的尾端位置有一个充电和有线耳机复用插孔，当需要时可插入充电插头对设备充电或插入有线耳机插头并将耳机戴入双耳的方式获取输出的音频信息。 

当使用者只需要电子图像信息时可戴上一副与设备配套的墨镜以阻挡外界光线从而将实景图像隔绝，该墨镜不会阻挡3D摄像头，使用者依然可以借助3D摄像头通过手指动作控制设备，而此时设备所显示的图像上会根据手指在摄像头前的位置添加虚拟手指图形以供使用者进行控制参考。 

小型投影和摄像设备，其特征是：硬件上该设备主要由处理器、3D投影模块、3D摄像模块、无线通信模块、辅助器件模块、GPS模块、音频模块、电源模块组成。 

设备上的辅助器件模块，其特征是：该模块主要由红外摄像头、光强传感器、陀螺仪、电子罗盘和加速度计组成，其中红外摄像头主要是作为3D摄像头的辅助，在外界光线不足的情况下辅助进行手指动作捕捉控制，光强传感器通过检测外界光线强度来调整投向双眼的图像亮度，并且其检测到的外界光线强度数据还被处理器作为启动红外摄像头的依据。 

本发明的有益效果是： 

1.将3D图像直接投影到双眼上和双眼获得自然光的机理完全一样，使得所成图像与实景图像完全混合在一起，不会产生使用平面彩色显示屏时使用者能明显区分电子图像和实景图像以及电子图像失真的问题，真正做到扩展现实。同时设备上的光强传感器可以根据外界光线强度调整投射到双眼上的投影图像的亮度，使实景图像和电子图像的亮度对比始终处在一个合理的比值上，避免出现实景图像和电子图像相互干扰的问题。2采用3D摄像头进行动作捕捉可以避免使用按键或其他输入控制方式，人机友好性较强。与2D的液晶屏和触摸屏组成的显示和控制技术相比，采用3D投影+3D摄像头动作捕捉控制的显示和控制技术使得电子设备的输入输出全3D化，避免出现3D图像由2D触摸屏甚至按键来控制或者平面显示的图像采用动作捕捉控制的显示和控制在维度上不匹配的问题。此外，设备上的红外摄像头可以在外界光线较暗的情况下使设备依然能够完成动作捕捉控制，这大大扩展了设备的使用环境范围。3.采用戴于鼻梁上的使用方式与眼镜式佩戴方式相比设备的整体尺寸变得较小，有近视问题的使用者可以在使用该设备的同时佩戴近视眼镜，二者间不存在使用矛盾的问题。4.将设备自身产生的数据输出到信息源进行存储的方式可以避免需要大容量存储器的问题，此举可有效减小设备尺寸和整体硬件成本。同时采用智能终端、云端或通过智能终端转接的云端的三种信息源模式可以使设备获取信息的能力以及移动性能大幅提升。

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1是设备正面佩戴效果示意图； 

图中1.耳机插孔，2.3D摄像头，3.投影孔，4.麦克风。

图2是设备侧视图（插入耳机后）； 

图中1.3D摄像头，2.投影孔，3.麦克风，4.耳机。

图3是设备电路模块框图。 

图4是设备半剖示意图； 

图中1.光源，2.投影孔，3.光路分离器和光路调整镜片，4.投影孔，5.3D摄像头及其排线，6.耳机插孔，7.外壳，8.PCB板，9.充电电池，10.空气粘贴吸盘。

具体实施方式

如图2所示，设备外观类似于倒置的大角度L形，与人脸侧面从鼻梁到眉心的轮廓曲线一致，而与体表相接触的部分呈U形，与人脸正面鼻梁拱形曲线相契合。体表接触部分外壳上布满空气粘贴吸盘，其通过吸附力使设备固定于鼻梁上，其形态如图4中10所示。投影孔在设备两侧各有一个，分别投射左眼图像信号和右眼图像信号，如图1中3和图2中2所示。用于音频输入的麦克风则置于设备下端如图1中4和图2中3所示。音频的输出通过设备顶端的充电和耳机复用插孔（图1中1，图4中6）实现，图1所示的是未插入耳机时的形态，图2所示的是插入耳机时的形态。该插孔同时也是外接充电电线插头所用的插孔，通过此插孔可向充电电池（图4中9）充电。该设备上只有这一个外接有线端口。 

图3所示的是设备的电路模块图，主要由处理器、3D投影模块、3D摄像模块、无线通信模块、辅助器件模块、GPS模块、音频模块、电源模块组成。3D投影模块主要由3D图形解码芯片、投影屏（图4中2）、光源（图4中1）、光路分离器和光路调整镜片（图4中3）、偏光镜片等组成。3D图形芯片主要进行3D图像的解码，投影屏主要进行图像的显示，光源主要作用是产生高亮度光路，而光路分离器和光路调整镜片分别将一路光路转变成两路光路和调整光路角度使其最终从投射孔以合适角度射出，偏振镜片分为左眼偏振镜片和右眼偏振镜片，其作用主要为将图像调整为适合左右眼观看的偏振光图像。此外3D投影模块还有两种实施例：第一种是将原本在一个显示屏上混合显示的图像信息进行分离显示，一半屏幕显示左眼图像另一半屏幕显示右眼图像，然后分别通过光路调整镜片将两路光路信号分别投射到左眼和右眼上，而无需偏光镜片；第二种是左眼和右眼图像信号分别有独立的光源和投影屏，完全调整好的左右眼图像信号直接从投影孔射向左右眼，而无需光路分离器和光路调整镜片以及偏光镜片。3D摄像模块主要指3D摄像头和配套软硬体。无线通信模块主要包括蓝牙、wifi、3G通信相关芯片，主要作用为与信息源建立无线连接从而完成影音信号、数据信号、控制信号的输入输出。辅助器件模块主要由红外摄像头、光强传感器、陀螺仪、电子罗盘和加速度计组成，其中红外摄像头主要是在外界光线不足的情况下辅助完成动作捕捉控制，光强传感器主要是通过检测外界光强来调整投向双眼的图像亮度。其他辅助传感器作用主要是消除图像在使用者运动时的抖动和完成辅助控制。GPS模块模块主要是获得定位信息。音频模块主要指麦克风、音频解码和驱动芯片以及耳机插孔，以完成音频的输入输出。电源模块主要包括充电电池和电源芯片，电源芯片主要是控制充电电池充放电过程以及为各个芯片和需电部件提供合适电源，在图3中未画出。 

  

Claims (10)

1.一种小型的投影和摄像设备，其特征是：在设备上有左右两个投影孔，设备通过这两个投影孔向左右眼直接投射3D图像中的左眼图像信号和右眼图像信号；设备上嵌入有3D摄像头，该摄像头一方面可以拍摄3D图像，另一方面还可以与3D投影图像相结合通过捕捉使用者手指动作信息完成3D虚拟触摸控制。

2.如权利要求1所述的设备将图像投影到眼球上的方法，其特征是：设备先将整个3D图像在一片投影屏上显示，然后通过光路分离器将原始图像光路分成内容完全一样但投射角度不同的两路光信号，这两路光信号到达左右投影孔时被布置在投影孔处的左右眼偏振镜片将图像信息转变成左眼投射图像和右眼投射图像，最后调整好的左眼图像信息和右眼图像信息从投影孔投射到左右眼上。

3.如权利要求1所述的设备将图像投影到眼球上的方法，其特征是：3D图像信号在投影屏上即被分成左眼信号和右眼信号，其中投影屏以半屏显示左眼图像信号而以另外半屏显示右眼图像信号，然后通过光路角度调整镜片分别将属于左眼的半屏图像光路从左投影孔引导投射出去而将属于右眼的半屏图像光路从右投影孔引导投射出去。

4.如权利要求1所述的设备将图像投影到眼球上的方法，其特征是：左眼投射信号和右眼投射信号各自有一套独立的光源和投影屏，两套投影装置产生的完全调整好的图像信号直接从各自投影孔投射到左右眼上。

5.如权利要求1所述的通过捕捉手指动作进行3D虚拟触摸控制的方法，其特征是：3D投影相当于在距人眼特定距离处布置一块特定尺寸的显示屏，而3D摄像头相当于在该显示屏上布置了相对应的触摸屏，当用户伸出手指去点触由投影所产生的虚拟显示屏上的3D图像时，3D摄像头采集到的手指深度和位置信息传到处理器，若此时手指的空间位置恰好满足与某一图像有关的控制信号的触发条件时则该控制信号被触发，该处图像信息以改变图形位置、形状、大小、颜色或其他模式示意使用者该触控有效，整个过程和传统触摸屏用户基于液晶显示屏提供的图像信息用手指在触摸屏上触控以进行输入输出控制的方法类似，只不过该设备提供的图像信息和与其对应的控制方式都是3D的。

6.如权利要求1所述的小型投影和摄像设备，其特征是：设备无本地文件存储模块，其自身产生的3D视频数据和音频数据并不存储在设备上而是通过无线通信方式转存到信息源上；与设备相连的信息源主要为三种：智能终端、云端或通过智能终端转接的云端，该设备利用自身无线通信模块通过近距无线通信方式或移动无线通信网络与信息源完成信息交互。

7.如权利要求1所述的小型投影和摄像设备，其特征是：设备使用位置为人体的鼻梁；设备外壳中与体表直接接触部分的外形呈U型，与人脸正面鼻梁拱形轮廓曲线相契合，体表接触部分外壳上布满类似于空气粘钩的小吸盘，设备通过这些小吸盘的吸力得以在鼻梁上固定；设备的整体外观呈大倾角的倒L形，与人脸侧面从鼻梁到眉心的轮廓曲线一致，当设备正常安装于鼻梁上时，设备L形外观中的长端部分在鼻梁上，短端部分在眉心位置，并且设备在眉心位置安装有一个3D摄像头；设备位于鼻梁部分的两侧面分别有两个投影孔，左投影孔向左眼投射3D图像中的左眼光路信息，右投影孔向右眼投射3D图像中的右眼光路信息；在设备正常安装时靠近鼻头的尾端位置有一个麦克风，通过该麦克风可将使用者的语音信息采集到设备中；在设备正常安装时位于眉心的尾端位置有一个充电和有线耳机复用插孔，当需要时可插入充电插头对设备充电或插入有线耳机插头并将耳机戴入双耳的方式获取输出的音频信息。

8.如权利要求1所述的小型投影和摄像设备，其特征是：当使用者只需要电子图像信息时可戴上一副与设备配套的墨镜以阻挡外界光线从而将实景图像隔绝，该墨镜不会阻挡3D摄像头，使用者依然可以借助3D摄像头通过手指动作控制设备，而此时设备所显示的图像上会根据手指在摄像头前的位置添加虚拟手指图形以供使用者进行控制参考。

9.如权利要求1所述的小型投影和摄像设备，其特征是：硬件上该设备主要由处理器、3D投影模块、3D摄像模块、无线通信模块、辅助器件模块、GPS模块、音频模块、电源模块组成。

10.如权利要求9所述的辅助器件模块，其特征是：该模块主要由红外摄像头、光强传感器、陀螺仪、电子罗盘和加速度计组成，其中红外摄像头主要是作为3D摄像头的辅助，在外界光线不足的情况下辅助进行手指动作捕捉控制，光强传感器通过检测外界光线强度来调整投向双眼的图像亮度，并且其检测到的外界光线强度数据还被处理器作为启动红外摄像头的依据。

Images