CN105812774B - 基于插管镜的立体显示系统及方法 - Google Patents

Abstract

本发明属于医疗技术领域，提供一种基于插管镜的立体显示系统及方法，该系统包括：显示单元、分光单元、跟踪设备及图像拍摄单元，该分光单元用于将该显示单元显示的图像空间上分成左视图和右视图，该跟踪设备用于获取第一目标对象的位置信息，该图像拍摄单元用于拍摄第二目标对象，该基于插管镜的立体显示系统还包括图像播放处理设备，依据该第一目标对象的位置信息、该分光单元的光栅参数及该显示单元的显示参数，将接收到的该图像拍摄单元拍摄到的立体图像进行实时处理，处理后发送该显示单元实时显示。本发明的图像播放速度相比于现有技术大大提高，可满足实时立体显示的要求，具有方便医生手术操作及辅助医生提高手术成功率的优点。

Description

基于插管镜的立体显示系统及方法

技术领域

本发明涉及医疗设备技术领域，具体而言，涉及一种应用于临床医学上的基于插管镜的立体显示系统及显示方法。

背景技术

气管插管是指将一特制的气管内导管经声门置入气管的技术称为气管插管，这一技术能为气道通畅、通气供氧、呼吸道吸引和防止误吸等提供最佳条件。紧急气管插管技术已成为心肺复苏及伴有呼吸功能障碍的急危重症患者抢救过程中的重要措施。气管插管术是急救工作中常用的重要抢救技术，是呼吸道管理中应用最广泛、最有效最快捷的手段之一，是医务人员必须熟练掌握的基本技能，对抢救患者生命、降低病死率起到至关重要的作用。且能够及时吸出气管内分泌物或异物，防止异物进入呼吸道，保持呼吸道通畅，进行有效的人工或机械通气咽喉部生理解剖，防止患者缺氧和二氧化碳滞留，气管插管是否及时直接关系着抢救的成功与否、患者能否安全转运及患者的预后情况。内窥镜是一个配备有灯光的管子，它可以经口腔进入胃内或经其他孔道进入体内，属于插管镜的一种。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。内窥镜是一种光学仪器，是由冷光源镜头、纤维光导线、图象传输系统、屏幕显示系统等组成，它能扩大手术视野。使用内窥镜的突出特点是手术切口小，切口瘢痕不明显，术后反应轻，出血、青紫和肿胀时间可大大减少，恢复也较传统手术快，非常符合美容外科美丽不留痕的要求。

最初的内窥镜是用硬质管做成的，发明于100多年前。虽然它们逐渐有所改进，但仍然未能被广泛使用。后来，在20世纪50年代内窥镜用软质管制作，因而能在人体内的拐角处轻易地弯曲。该内窥镜多为软性材质制备。

目前市面上少数现有的医疗内窥镜具有显示3D画面的功能。但是仅限于佩戴3D眼镜式的辅助式3D显示。其采用的技术是使得左右眼射入不同偏振光，来产生视差，形成立体感观。这种技术的缺点是需要佩戴偏光片眼镜，一方面偏光片眼镜的使用，使得进入医生眼睛内的光线降低为原来的一半以下，浪费了腔体内本身十分宝贵的光线信息，降低了腔体内较暗环境下的信息识别率；另一方面，对于平日生活中不佩戴眼镜的医生而言，在手术中佩戴偏光片眼镜，极易产生不适感，且因同时佩戴口罩容易在呼吸时在眼镜片表面产生雾气，对手术安全产生极大的影响。

因此，如何克服上述问题，成为医学界目前面临的一大技术难题。

发明内容

本发明的目的在于提供一种基于插管镜的立体显示系统及显示方法，旨在解决由现有技术的局限和缺点引起的上述一个或多个技术问题。

本发明提供的一种基于插管镜的立体显示系统，包括：显示单元、分光单元、跟踪设备及图像拍摄单元，所述分光单元位于所述显示单元的显示侧，用于将所述显示单元显示的图像空间上分成左视图和右视图，所述跟踪设备用于获取第一目标对象的位置信息，所述图像拍摄单元用于拍摄第二目标对象，其中，所述基于插管镜的立体显示系统还包括图像播放处理设备，分别与所述跟踪设备、所述显示单元及所述图像拍摄单元连接，所述图像播放处理设备依据所述第一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数，将接收到的所述图像拍摄单元拍摄到的立体图像进行实时处理，处理后发送所述显示单元实时显示。

本发明还提供一种基于插管镜的立体显示方法，所述方法包括以下步骤：S0拍摄第二目标对象的立体图像，并实时发送所述立体图像的信息；S1获取第一目标对象的位置信息；S2获取显示设备的分光单元的光栅参数和所述显示设备的显示单元的显示参数；S3依据所述位置信息和所述光栅参数及所述显示参数将接收到的所述图像拍摄单元拍摄到的立体图像进行实时处理；S4显示所述待播放的图像。

本发明提供的基于插管镜的立体显示系统及显示方法，图像播放速度相比于现有技术大大提高，可满足实时立体显示的要求，具有方便医生手术操作及辅助医生提高手术成功率的优点。

附图说明

图1示出了本发明实施方式一的基于插管镜的立体显示系统的结构示意图。

图2为本发明实施方式一的基于插管镜的立体显示系统的一个具体实施例的结构示意图。

图3示出了图2中的图像播放处理单元的结构示意图。

图4是本发明实施方式一的基于插管镜的立体显示系统中分光单元与显示单元贴合的结构示意图。

图5示出了本发明实施方式一的基于插管镜的立体显示系统中跟踪设备的较佳实施例结构示意图。

图6示出了图4中的获取单元的具体结构示意图。

图7示出了图4中的重新构建单元第一变形例的具体结构示意图。

图8示出了图4中的重新构建单元第二变形例的具体结构示意图。

图9示出了图4中的重新构建单元第三变形例的具体结构示意图。

图10示出了图4的跟踪设备中对应第一目标对象设置标记点的定位支架的结构示意图。

图11是本发明实施方式二的基于插管镜的立体显示方法的流程示意图。

图12是图11中S1的具体流程示意图。

图13是图12中S12的具体流程示意图。

图14是图11中S13的第一变形例的具体流程示意图。

图15是图11中S13的第二变形例的具体流程示意图。

图16是图11中S13的第三变形例的具体流程示意图。

图17是图11中的S3的具体流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施方式的限制。

实施方式一

请参见图1，图1为本发明基于插管镜的立体显示系统的结构示意图。如图1所示，本发明的基于插管镜的立体显示系统包括：图像拍摄单元10、跟踪设备30、分光单元50及显示单元40。该图像拍摄单元10用于拍摄第二目标对象，并实时将拍摄到的该第二目标对象的图像发送给该图像播放单元。该跟踪设备30用于获取第一目标对象的位置信息，该分光单元50位于所述显示单元40的显示侧，用于将该显示单元40显示的图像空间上分成左视图和右视图。该基于插管镜的立体显示系统还包括图像播放处理设备20，分别与该跟踪设备30和该显示单元40连接，该图像播放处理设备20依据该第一目标对象的位置信息、该分光单元50的光栅参数及显示单元40的显示参数实时处理待播放的图像，处理后发送该显示单元40进行显示。另外，该图像拍摄单元10设于插管镜上，当插管镜进入人或动物体内时，拍摄人或动物内部的图像，方便医生实时观察并及时手术。

由于跟踪设备30和显示单元40直接连接到图像播放处理设备20，图像播放处理设备20及时获取到第一目标对象的位置信息、光栅参数及显示参数，并据此进行图像处理，省去了现有技术中需要经过中央处理器的处理过程，因而图像播放的速度相比于现有技术大大提高，能满足实时立体显示的要求，方便医生手术操作及辅助医生提高手术成功率的优点。这是因为医生在手术时，能实时获得准确的立体图像，并及时进行手术，不会出现背景技术中提到的问题。上述光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。这些光栅参数可以是直接存储在图像播放处理设备内的存储器中，也可是其它检测设备实时检测并获取分光单元的光栅参数，将光栅参数值发送给图像播放处理设备20。上述显示单元参数包括显示单元的尺寸、显示单元的屏幕分辨率、显示单元的像素单元中子像素的排列顺序及排列结构等参数。子像素排列顺序即子像素是按照RGB排列或者RBG排列，还是成BGR排列，还是成其他顺序排列；子像素排列结构即子像素为竖直排列的还是横向排列的，如自上而下是按照RGB的方式循环排列，或者从左至右依次是按照RGB的方式循环排列等。

该图像拍摄单元10用于拍摄第二目标对象，并实时将拍摄到的该第二目标对象的图像发送给该图像播放单元。这里的第二目标对象主要是指由摄像机拍摄记录的各种场景，如手术的现场，病人的体内影像等等。通过图像拍摄单元10实时地拍摄立体图像，并将拍摄到的立体图像实时显示在显示单元上，无需经过额外的图像处理，及时并真实地显示拍摄到的各种场景，满足了用户对实时显示的需求，提高了用户体验。图像拍摄单元10可以包括单目摄像机、双目摄像机或者多目摄像机中的至少一种。

当该图像拍摄单元10包括单目摄像机时，依据该单目摄像机拍摄并获取第二目标对象的立体图像。较佳地，该单目摄像机可以采用液晶透镜成像装置或者液晶微透镜阵列成像装置。在一个具体实施例中，该单目摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

当该图像拍摄单元10包括双目摄像机时，包括两个摄像机或者是一个摄像机有两个摄像头，通过双目摄像机对第二目标对象进行拍摄第二目标对象形成立体图像。具体地，双目摄像机主要是基于视差原理并由多幅图像获取物体三维几何信息。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物(第二目标对象)的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

当该图像拍摄单元10包括多目摄像机时，即三个以上(包括三个)的摄像机，这些摄像机呈矩阵排列，用于获取立体图像。由上述三个以上的摄像机从不同角度同时获取第二目标对象的多幅数字图像，基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。

该图像拍摄单元10还包括采集单元，该采集单元用于采集该第二目标对象的立体图像，并从该立体图像中提取出左视图信息和右视图信息。该采集单元一端与上述单目摄像机、双目摄像机或者上述多目摄像机连接，另一端连接到图像播放处理设备20上。通过采集单元在边拍摄立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理的速度，保证了实时进行立体显示的显示效果。

上述跟踪设备30可以是摄像头和/或者红外传感器，主要用于追踪第一目标对象的位置，例如人的双眼或者人的头部或者人的脸部的位置或者人的上半身的位置。摄像头或红外传感器的数量不限制，可以是一个，也可以是多个。摄像头或者红外传感器可以安装在显示单元的边框上，或者单独放置在易于追踪到第一目标对象的位置。此外，如果采用红外传感器作为跟踪设备，还可在对应第一目标对象的位置设置红外发射器，通过接收到红外发射器发送的红外定位信号，利用红外发送器与第一目标对象的相对位置关系，计算出第一目标对象的位置信息。

具体地，该跟踪设备30包括摄像机，该摄像机拍摄该第一目标对象。摄像机的数量可以是一个或多个，可以设置在显示单元上，也可以单独设置。

该跟踪设备30包括红外接收器，相应地，对应第一目标对象设置有红外发射器，该红外发射器可设置在第一目标对象的相应位置，也可以设置在其它与第一目标对象位置相对固定的物体上，该红外接收器接收来自对应第一目标对象所设置的红外发射器发送的红外信号。通过常见的红外定位方法实现对第一目标对象的定位。

此外，上述跟踪设备30还可以采用GPS定位模块，由GPS定位模块发送定位信息至图像播放处理设备20。

上述分光单元50设于显示单元40的出光侧，将显示单元40显示的具有视差的左视图和右视图分别发送到人的左眼和右眼，依据人的左眼和右眼合成立体图像，使人观看到立体显示的效果。较佳地，上述分光单元可以是视差屏障或透镜光栅。该视差屏障可以是液晶狭缝或固体狭缝光栅片或者电致变色狭缝光栅片等，该透镜光栅可以是液晶透镜或固体液晶透镜光栅。固体液晶透镜光栅主要是通过紫外光将液晶固化到薄片上，形成固态透镜，对光线进行分光后出射到人的左眼和右眼。较佳地，将上述显示单元40和分光单元50作为一个集成的显示设备60，该显示设备60是整个基于插管镜的立体显示系统的显示部分，可以与前述图像播放处理设备及跟踪设备组装在一起，也可以是一个独立部分单独存在。例如，可以依据观看需要，单独将显示设备60放置在便于观看的位置，而图像播放处理设备20和跟踪设备30可以是各自具有独立功能的设备，使用时将这些设备组装起来实现本发明的实时立体显示功能即可。例如，该图像播放处理设备20可以是VMR 3D播放设备，其本身具有3D播放处理功能，使用是将其组装到本发明的基于插管镜的立体显示系统中，与其它设备建立连接。

请参见图2，图2为本发明实施方式一的基于插管镜的立体显示系统的一个具体实施例的结构示意图。如图2所示，本发明实施例1的基于插管镜的立体显示系统中，图像播放处理设备20进一步包括：图像播放处理单元22及存储单元23，图像播放处理单元22主要是依据所述第一目标对象的位置信息、所述分光单元的光栅参数及显示单元的显示参数，将接收到的立体图像进行实时排图处理，处理后发送所述显示单元实时显示。存储单元23用于存储图像拍摄单元10传输过来的图像。在需要播放立体图像时，图像播放处理单元22调用存储单元23中存储的立体图像进行排图处理。

进一步地，该图像播放处理设备20还进一步包括：信号处理单元21，该信号处理单元21分别与存储单元23和图像播放处理单元22连接，其中信号处理单元21主要是对接收到的图像拍摄单元10拍摄的立体图像的信号进行处理，包括图像格式转换、图像压缩等处理。将压缩后的图像存储到存储单元23中。经过信号处理单元21处理后的信号可以对应于左视图、右视图信息分别输出图像信号，或者一并输出到图像播放处理单元22中。图像播放处理单元22依据所述第一目标对象的位置信息及所述分光单元的光栅参数，将接收到的信号处理单元21处理后的立体图像进行实时排图处理，处理后发送所述显示单元实时显示。这里图像播放处理单元22可以直接调用存储单元23中的立体图像并解压缩，也可以直接接收信号处理单元21处理后的立体图像，然后进行排图处理。

请参见图3，图像播放处理单元22进一步包括：

排图参数确定模块201，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及显示单的显示参数计算出在显示单元上的排图参数；

视差图像排列模块202，用于依据所述排图参数排列显示单元上的视差图像；该视差图像是通过在空间上划分左眼图像以及右眼图像来生成的。

视差图像播放模块203，播放所述视差图像。在接收到排列后的视差图像后，进行播放，观看者在显示单元实时看到显示的立体图像。

进一步地，该图像播放处理单元22还包括:立体图像获取模块204，获取所述图像拍摄单元10拍摄的立体图像信息，即立体图像的左视图和右视图信息。立体图像包括左视图和右视图，因此，对待播放的立体图像，需要先获得左视图和右视图的图像信息，才能进行排图处理。

请继续参见图2，在本发明中的跟踪设备30进一步包括跟踪定位处理单元31和跟踪单元32。跟踪单元32用于跟踪第一目标对象的实时图像，其主要指摄像头、红外接收器等能够准确地捕捉人眼或头部视频信号的一类设备。跟踪定位处理单元31依据跟踪单元32跟踪到的第一目标对象的实时图像，通过对第一目标对象的特征点进行提取，计算第一目标对象的空间坐标。具体地，例如通过摄像头来实时记录人脸，经跟踪定位处理单元31进行人脸特征点提取，计算出人眼的空间坐标；还可以通过增加特征点的方式，如在人的头部增加特征点，如红外发射装置，再通过摄像头来捕捉该特征点的实时图像，跟踪定位处理单元31最后计算出人眼的空间坐标。

此外，跟踪定位处理单元31能够在人眼位置发生移动时快速实时地跟踪人眼位置，给出人眼的空间坐标，并将该坐标信息提供给图像播放处理单元22。

还有上述跟踪单元32可以包括摄像机或红外接收器，当跟踪单元32包括摄像机时，通过摄像机跟踪所述第一目标对象对应的特征点的位置变化。当跟踪单元32包括红外接收器时，所述红外接收器接收来自于对应所述第一目标对象且作为所述特征点的红外发射器发送的红外定位信号。

通过上述跟踪定位处理单元31和跟踪单元32提升了立体显示的观看效果，使立体显示随人的移动而自动调整，实时地给出最优的立体显示效果。

实施例1

在本发明实施例1中，要得到较佳的实时立体显示效果，需要依据分光单元的光栅参数和显示单元的显示参数对分光单元与显示单元进行光学设计，该光学设计依据以下公式：

(3)m*t＝p-pitch

上述公式中，F为分光单元与显示单元之间的距离(即上述光栅参数中的光栅相对显示面板的放置距离)，L为观看者与显示单元的距离，IPD为匹配瞳距，通常的人双瞳之间的距离，例如，一般取值为62.5mm，l-pitch为分光单元的节距(pitch)，p-pitch为显示单元上的像素的排图节距，n为立体视图数量，m为分光单元所覆盖的像素数量，p为显示单元的点距，这里的点距主要是指一个像素单元的尺寸(属于显示参数的一种)，该像素单元通常包括R、G、B三个子像素。为了消除摩尔纹，分光单元在贴合的时候一般会旋转一定的角度(即分光单元相较于显示单元有一定的倾斜角度)，因此，实际上的分光单元的节距由以下公式给出：

(4)W_lens＝l-pitch*sinθ

其中，W_lens为分光单元的实际节距，θ为分光单元相对显示面板的倾斜角度(即上述光栅参数之一)。

如上所述，对于分光单元与显示单元之间的距离F，当显示单元与分光单元之间的介质是空气时，F就等于分光单元与显示单元之间的实际距离；当显示单元与分光单元之间的介质是折射率为n(n大于1)的透明介质时，F等于分光单元与显示单元之间的实际距离除以该折射率n；当显示单元与分光单元之间存在不同的介质时，且介质的折射率分别为n1、n2、n3···(折射率均大于或等于1)，F＝s1/n1+s2/n2+s3/n3···，其中s1、s2、s3···为相应介质的厚度。

通过上述光学计算公式，对分光单元和显示单元进行设置，可以减小摩尔纹，提高实时观看的立体显示效果。

此外，在一个变形实施例中，在分光单元与显示单元之间设置贴合单元，请参见图4，图4是本发明实施方式一的基于插管镜的立体显示系统中分光单元与显示单元的贴合结构示意图。如图4所示，在分光单元50和显示单元40之间设有贴合单元，三者类似于“三明治结构”，贴合单元包括第一基板42和第二基板43，以及位于第一基板42与第二基板43之间的空气层41。该空气层41在第一基板42与第二基板43之间处于密封状态，防止空气逸出。第一基板42与显示面板贴合，可以是透明玻璃材料构成，也可以是透明树脂材料等构成。第二基板43与第一基板42相对设置，其背离第一基板42的一侧用于贴合分光单元50。由于在分光单元50和显示单元40之间设置贴合单元，且贴合单元采用上述结构，对于大屏幕的立体显示装置，既保证了光栅贴合的平整度，又减轻了整个立体显示装置的重量，防止采用纯玻璃时因过重而导致屏幕坠裂的风险。

实施例2

在本实施例2中，该跟踪设备30包括摄像机，该摄像机拍摄该第一目标对象。摄像机的数量可以是一个或多个，可以设置在显示单元上，也可以单独设置。还有，摄像机可以是单目摄像机、双目摄像机或者多目摄像机。

另外，该跟踪设备30还可以是包括红外接收器，相应地，对应第一目标对象设置有红外发射器，该红外发射器可设置在第一目标对象的相应位置，也可以设置在其它与第一目标对象位置相对固定的物体上，该红外接收器接收来自对应第一目标对象所设置的红外发射器发送的红外信号。通过常见的红外定位方法实现对第一目标对象的定位。

此外，上述跟踪设备30还可以采用GPS定位模块，由GPS定位模块发送定位信息至图像播放处理单元20。

实施例3

请参见图5，图5示出了本发明实施方式一的基于插管镜的立体显示系统中跟踪设备的较佳实施例结构示意图。如图5所示，本发明实施例3还提出另一种跟踪设备30，该跟踪设备30包括：

标记点设置单元1，用于对应第一目标对象的空间位置设置标记点；这里的标记点可以设置第一目标对象上，也可以不设置于第一目标对象上，而是设置在与第一目标对象有相对位置关系，与第一目标对象同步移动的物体上也可。例如，第一目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置眼镜，将标记点设在眼镜的镜框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。另外还可以设置多个标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高光斑提取的准确性。

获取单元2，用于获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

重新构建单元3，用于依据该标记点的位置信息，重新构建该第一目标对象的空间位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与第一目标对象的相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例如人的左右两眼的空间位置)。

本发明实施例的跟踪设备30通过获取对应第一目标对象的标记点的位置信息，并依据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，准确度高、成本低廉且对跟踪设备与第一目标对象之间的距离远近没有要求的优点。

请参见图6，图6示出了图5中的获取单元的具体结构示意图。前述获取单元进一步包括：

预设模块21，用于预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

获取模块22，用于获取包含所述第一目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

匹配模块23，用于将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪装置的稳定性和准确性。

进一步地，该跟踪设备30还包括：

采集单元，用于采集所述标记点；

筛选单元，从所述标记点中筛选目标标记点。

具体来说，当标记点的数量为多个时，采用摄像机采集对应第一目标对象的所有标记点，从所有标记点中选取与第一目标对象最相关的标记点，然后使用相应的图像处理算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分数，并筛选出特征值足够高的标记点。这里可以用下述公式归纳表示：

S(x，y)＝H(I(x，y))

F＝{arg_(x，y)(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素(x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

上述式中，F是摄像机c0到摄像机c1的基础矩阵。通过使用上述关系，我们可以大大缩少标记点p1的候选个数，提高匹配准确度。

此外，我们可以使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个像素在某一个维度比如y轴上相等，这个过程也被称为图像校准(rectification)。则此时标记点的匹配也就可以根据标记点的x轴顺序执行，即最小x对应最小x，依次类推，最大的x对应最大的x。

以下依据用于跟踪的摄像机数目的多少，来详细介绍本发明的目标跟踪装置。

请参见图7，图7示出了图5中的重新构建单元的具体结构示意图。如图7所示，在本实施例中，该跟踪设备30跟踪的第一目标对象对应的标记点不超过四个，且采用单目摄像机来获取标记点的位置信息时，重新构建单元进一步包括：

第一计算模块31，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；将当前图像的标记点与标准图像中的参考标记点进行匹配，并根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。所谓单应变换是对应几何中的单应性，是计算机视觉领域中常应用的一种变换方法。

第一重构模块32，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。

具体来讲，对于场景的假定条件，我们可以假定场景中的标记点的刚性变换时的某一维度的数值不变，比如三维空间场景中，空间坐标为x、y、z，x和y分别与摄像头的图像坐标(平面坐标)中x轴和y轴平行，z轴是垂直于摄像头的图像，假定条件可以是标记点在z轴上的坐标不变，也可以是标记点在x轴和/或y轴上的坐标不变。不同的场景假设条件，所使用的推测方法也不尽相同。又例如，在另一种假定条件下，假设第一目标对象的朝向与摄像头朝向之间的旋转角度在使用过程中始终保持不变，则可根据当前图像中的标记点互相之间的距离与标准图像上的标记点互相之间的距离之间的比例推测第一目标对象当前的空间位置。

通过以上的计算方法，可以实现单目摄像机对标记点的数量不超过四个时重新构建所述第一目标对象的空间位置，其操作简单，且跟踪结果也较准确，由于采用单目，降低了第一目标对象跟踪的成本。

上述使用单个摄像机采集图像来恢复物体三维坐标的方法中，由于获取的图像信息较少，因此需要增加标记点的数目来提供更多的图像信息从而计算物体的三维坐标。根据机器视觉理论，要从单幅图像推算出场景的立体信息，需要至少确定图像中的五个标定点。因此，单目方案增加了标记点数量，也增加了设计的复杂性，但同时，只需要一个摄像机从而降低了图像采集的复杂性，降低了成本。

请参见图8，图8示出了图5中的重新构建单元的第二变形实施例的具体结构示意图。如图7所示，在本实施例中，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元进一步包括：

第二计算模块33，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系。

第二重构模块34，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件测量出参考标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标)。

在使用过程中，摄像机不断捕捉含有第一目标对象的当前图像中的所有标记点的二维图像坐标，并根据此时二维图像坐标与标准图像参考标记点的二维坐标计算出当前状态下的标记点与拍摄标准图像时的标记点之间的刚性变换，在假设标记点之间相对位置不变的情况下，进而计算出出此时标记点相对于标准图像时的空间位置变换，从而计算出当前标记点的空间位置。

这里，使用五个点以上的点可以计算出当前标记点与拍摄标准图像时标记点的空间位置刚性变换[R|T]，优选的，该五个以上的点不在一个平面上，且摄像头的投影矩阵P被事先标定好。计算[R|T]的具体方式如下：

每一个标记点在标准图像和当前图像的齐次坐标分别为X0，Xi。二者满足极限约束，即X₀P^-1[R|T]P＝X_i。所有标记点组成一个未知参量为[R|T]的方程组。当标记点数量大于5时，可以对[R|T]求解；当标记点数量大于6时，可以对[R|T]求最优解，其方法可以使用奇异值分解SVD，和/或使用迭代的方法计算非线性最优解。当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(例如人眼)之间的相互位置关系推测出第一目标对象(如人眼)的空间位置。

本实施例只用一个摄像机，使用五个或五个以上的标记点，就可以准确地构建出第一目标对象的空间位置，不仅操作简单，而且成本低廉。

请参见图9，图9示出了图5中的重新构建单元的第三变形实施例的具体结构示意图。如图9所示，本实施例使用两个或两个以上的摄像机，一个或一个以上的标记点。采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述重新构建单元进一步包括：

第三计算模块35，采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；所谓双目或三目重建原理可以采用以下方法，例如采用左、右摄像头匹配的标记点之间的视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见方法来实现。

第三重构模块36，根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

具体地，首先使用多目摄像机校准的方法对每个摄像机之间的相互位置关系进行标定。然后在使用过程中，对每个摄像机获取到的图像提取标记点坐标，并对每个标记点进行匹配，即获取其在每个摄像机对应的标记点，然后使用匹配的标记点以及摄像机之间相互位置关系计算出标记点的空间位置。

在一个具体的例子中，使用多目摄像机(即摄像机数量大于等于2)来拍摄标记点，实现立体重建。已知一个标记点在某一摄像机所拍摄图像上的坐标u和该摄像机参数矩阵M，我们可以计算出一条射线，这个标记点在空间中处于此射线上。

α^ju^j＝M^jX j＝1…n(其中n为大于等于2的自然数)

同理，依据上述公式，此标记点在其它摄像机上也可以计算出对应该其它摄像机的射线。理论上讲，这两条射线汇聚在一个点上，即此标记点的空间位置。实际上由于摄像机的数字化误差，摄像机内参和外参标定的误差等等，这些射线并不能汇聚于一点，因此需要使用三角测量(triangululation)的方法近似计算出标记点的空间位置。比如可以使用最小二乘判断准则确定距离所有光线最近的点作为物点。

当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(如人眼)之间的相互位置关系推测出第一目标对象(人眼)的空间位置。

在上述使用多目摄像机实现立体重建的方法中，较佳的方法是使用双目相机计算。其原理与前述多目摄像机重建原理一样，都是根据两摄像机的相互位置关系以及标记点在两摄像机成像的二维坐标计算标记点空间位置。其微小差别是双目摄像机平行摆放，根据简单的标定后对两个摄像机的图像做如前文所述的图像校准，使得两个互相匹配的二维标记点在y(或x)轴上相等，则此时标记点距摄像机的深度可由校准后的二维标记点在x(或y)轴上的差距计算得出。此方法可看成是多目立体重建在双目情况下的特殊方法，其简化了立体重建的步骤且在设备硬件上较容易实现。

实施例4

请参见图10，图10示出了图5的跟踪装置中对应第一目标对象设置标记点的定位支架的结构示意图。如图10所示，本发明提供一种定位支架，该定位支架位于人眼(第一目标对象)前方，结构与眼镜相似，其佩戴类似于眼镜，包括：横梁11、固定部12、支撑部13以及控制部14，横梁11设置有标记点111；支撑部13设置于横梁11上；固定部12与横梁11的端部枢轴连接。其中标记点111设置的位置与人眼(第一目标对象)的位置相对应，通过获取标记点111的空间位置信息，然后据此计算人眼的空间位置信息。当人的头部发生移动时，相应地，与人眼对应的标记点111也发生移动，摄像机跟踪标记点111的移动，然后采用前述实施方式一的目标对象跟踪方法的方案获取标记点111的空间位置信息，利用标记点111与人眼的相对空间位置关系，重新构建出人眼(第一目标对象)的空间位置(即在空间中的三维坐标)。

在本实施例中，横梁11为一长条形，且具有一定的弧度，其弧度与人的额头弧度近似，以方便使用。横梁11包括上表面112、与其相对的下表面、设置在上表面112与下表面之间的第一表面114以及第二表面。

在本实施例中，标记点111为三个LED灯，其间隔均匀地设置在横梁11的第一表面114上。可以理解的是，标记点111也可以为一个、两个或者更多个，且可以为任意光源，包括LED灯、红外灯或紫外灯等。并且，所述标记点111的排列方式与设置位置也可以根据需要进行调整。

可以理解的是，横梁11也可以根据需要设计成直线形或者其他形状。

本实施例中，固定部12有两个，分别与横梁11的两端通过枢轴连接，且两个固定部12可相对向内折叠，同时，两个固定部12可分别向外展开至与横梁11呈100°左右的内角，具体的，可以根据实际操作需求调整内角的大小。可以理解的，固定部12也可以为一个。

固定部12远离横梁11的一端沿支撑部13的延伸方向弯折设置，以用于将固定部12的端部固定于人的耳朵上。

本实施例中，支撑部13呈条状，设置在横梁11的下表面113的中部且向下延伸。进一步，支撑部13远离横梁11的端部设置有鼻托131，以用于将定位装置配合鼻梁，并将定位装置设置于人眼上方。可以理解的，在其他实施例中，若不设置鼻托131，则支撑部13可设置成倒“Y”型，并沿横梁11的中部且向下延伸，用以将定位装置配合鼻梁，并将定位装置设置于人眼上方。

控制部14呈圆角长方体，设置在固定部12上。控制部14用于给所述LED灯，红外灯或紫外灯提供电源、及/或者控制所述LED灯，红外灯或紫外灯的使用状态，其包括电源开关141、电源指示灯和充电指示灯。可以理解的是，控制部14不限定形状，其可以为任意形状，也可以为一集成芯片。并且，控制部14也可以设置在其他位置，如横梁11上。

使用时，打开电源开关141，电源指示灯显示LED处于供电状态，LED灯被点亮；当电量不足时，充电指示灯提示电量不足；关闭电源开关，电源指示灯熄灭，表示LED处于关闭状态，LED灯熄灭。

由于人的瞳距范围为58mm～64mm，可近似认为人的瞳距为定值，本发明提供的定位支架类似于眼镜架，且固定于人眼上方，类似于眼镜架，根据需要，将标记点设置在定位装置的预定位置，从而可以简单方便地根据标记点的位置确定人眼的位置。定位装置结构简单，设计与使用方便。

实施方式二

请参见图11至图14，图11是本发明实施方式二的基于插管镜的立体显示方法的流程示意图，图12是图11中S1的具体流程示意图，图13是图12中S12的具体流程示意图，图14是图11中的S3的具体流程示意图。如图11至图14所示，本发明实施方式二的基于插管镜的立体显示方法，主要包括以下步骤：

S0图像拍摄步骤，拍摄第二目标对象的立体图像，并实时发送拍摄到的所述第二目标对象的立体图像的信息，该信息包括左视图信息和右视图信息。

S1获取第一目标对象的位置信息；利用跟踪设备跟踪第一目标对象的位置，例如观看者所在的位置信息。

S2获取立体显示装置的分光单元的光栅参数及显示单元的显示参数；分光单元的光栅参数主要包括光栅的栅距(pitch)和光栅相对显示面板的倾斜角度、光栅相对显示面板的放置距离等参数。

S3依据所述位置信息和所述光栅参数及所述显示参数将接收到的所述图像拍摄单元拍摄到的立体图像进行实时处理。在待播放立体图像前，需要预先结合人眼的位置信息和光栅参数及显示单元的显示参数，对图像进行处理，以便提供给观看者最佳的立体显示效果。

S4显示该待播放的图像。

本发明的基于插管镜的立体显示方法，通过及时获取到第一目标对象的位置信息及光栅参数，并据此直接进行图像处理，提高了图像播放的速度，能满足实时立体显示的要求，方便医生手术操作及辅助医生提高手术成功率的优点。

另外，这里的第二目标对象主要指摄像机拍摄到的各种场景，可以是实际的人，或者正在直播的球赛或者借助一些设备拍摄的病人体内的影像等。通过实时地拍摄立体图像，并将拍摄到的立体图像实时显示在显示单元上，无需经过额外的图像处理，及时并真实地显示拍摄到的各种场景，满足了用户对实时显示的需求，提高了用户体验。

在一个具体的变形实施例中，上述步骤S0还包括：图像采集步骤，采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。通过在边拍摄立体图像时边提取立体图像的左视图信息和右视图信息，提高了图像处理的速度，保证了实时进行立体显示的显示效果。

实施例5

请参见图12，本发明实施例5主要是对S1如何获取第一目标对象的位置信息作详细描述。这些第一目标对象例如为人眼、人的头部、人的面部或者人体的上半身等与人观看相关的部位。上述“S1获取第一目标对象的位置信息”主要包括以下步骤：

S11对应第一目标对象的空间位置设置标记点；这里的标记点可以设置第一目标对象上，也可以不设置于第一目标对象上，而是设置在与第一目标对象有相对位置关系，并与第一目标对象同步移动的物体上也可。例如，目标对象是人眼，则可以在人眼的眼眶周围设置标记点；或者在人眼周围配置定位支架，将标记点设在定位支架的框上，又或者将标记点设在与人眼位置关系相对固定的人的耳朵上。该标记点可以是发送信号的红外发射传感器，LED灯，GPS传感器，激光定位传感器等各种部件，也可以是其它能够被摄像机捕捉的物理标识，例如是具有形状特征和/或颜色特征的物体。较佳地，为避免外界杂光的干扰，提高标记点追踪的鲁棒性，优选使用频谱较为狭窄的红外LED灯作为标记点，并使用只能通过红外LED所使用频谱的相应的红外摄像机对标记点进行捕捉。考虑到外界杂光多为不规则的形状且亮度分布不均匀，可以将标记点设置成可以发出规则形状的光斑，发光强度较高，亮度均匀。另外还可以设置多个标记点，每个标记点对应一个光斑，各个标记点组成规则的几何形状，如三角形，四边形等，从而易于跟踪到标记点，获得标记点的空间位置信息，并提高光斑提取的准确性。

S12获取该标记点的位置信息；这可以是通过接收标记点发出的信号，来确定标记点的位置信息，也可以是采用摄像机来拍摄含有标记点的图像，对图像中的标记点进行提取。通过图像处理算法来获得标记点的位置信息。

S13依据该标记点的位置信息，重新构建该第一目标对象的空间位置。当获得到该标记点的位置信息后，重新构建出标记点的空间位置，然后依据标记点与第一目标对象的相对位置关系，将标记点的空间位置转换到第一目标对象的空间位置(例如人的左右两眼的空间位置)。

本发明实施方式二的通过获取对应第一目标对象的标记点的位置信息，并依据该位置信息，重新构建出第一目标对象的空间位置。与现有技术中使用摄像机作为人眼捕捉设备需要对二维图像进行特征分析从而获取人眼位置或者使用其他利用人眼虹膜反射效果的人眼捕捉设备获取人眼位置相比较，具有稳定性好，捕捉人眼的位置信息的准确度高、成本低廉且对跟踪设备与第一目标对象之间的距离远近没有要求等优点。

请参见图13，上述步骤S12进一步包括：

S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点的空间坐标和平面坐标；标准图像例如可以是通过图像采集设备采集的一个标准图像，获取参考标记点的图像坐标，并使用其他精确的立体测量设备如激光扫描仪，结构光扫描仪(如Kinect等)等设备获取标准图像中参考标记点的空间坐标及平面坐标。

S122获取包含所述目标对象及所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配。这里要先将标记点在所述当前图像的平面坐标与参考标记点在标准图像的平面坐标之间建立对应关系，然后将标记点与参考标记点进行匹配。

通过设置标准图像及参考标记点是便于在获取当前图像的空间位置时能有一个参照物，这进一步保证了本发明实施方式的目标跟踪方法的稳定性和准确性。

进一步地，在上述步骤S11之前还包括：S10对用于获取所述标记点的位置信息的摄像机进行标定。

上述标定有分以下几种情况：

(1)所述S10的摄像机为单目摄像机时，可以采用常见的张氏棋盘格标定算法，例如采用以下公式进行标定：

sm′＝A[R|t]|M′ (1)

式(1)中，A为内部参数，R为外部参数，t为平移向量，m’像点在图像中的坐标，M’为物点的空间坐标(即在空间中的三维坐标)；其中A、R和t分别由以下公式确定：

和平移向量

当然对于摄像机的标定算法有很多种，还可以采用其它业界常用的标定算法，本发明不作限定，主要是运用标定算法，以提高本发明的第一目标对象跟踪方法的准确性。

(2)所述S10的摄像机为双目摄像机或多目摄像机时，采用以下步骤进行标定：

S101先对所述双目摄像机或多目摄像机中的任一目摄像机进行标定，也是采用常见的张氏棋盘格标定算法，例如采用以下公式：

sm′＝A[R|t]M′ (1)

式(1)中，A为内部参数，R为外部参数，t为平移向量，m’像点在图像中的坐标，M’为物点的空间坐标；其中A、R和t分别由以下公式确定：

和平移向量

S102计算所述双目摄像机或所述多目摄像机之间的相对旋转矩阵和相对平移量，采用以下公式：

相对旋转矩阵和相对平移量

当然上述针对双目摄像机或多目摄像机的标定算法只是其中较常见的一种，还可以采用其它业界常用的标定算法，本发明不作限定，主要是运用标定算法，以提高本发明的第一目标对象跟踪方法的准确性。

进一步地，在上述S11与S12之间还包括：

S14采集所述标记点；

S15从所述标记点中筛选目标标记点。

具体来说，当标记点的数量为多个时，采用摄像机采集对应第一目标对象的所有标记点，从所有标记点中选取与第一目标对象最相关的标记点，然后使用相应的图像处理算法对图像上的标记点进行提取，该提取需要根据标记点的特征来进行。总的来讲，对该标记点的特征进行提取的方法是对图像I使用特征提取函数H，获取图像中每个点的特征分数，并筛选出特征值足够高的标记点。这里可以用下述公式归纳表示：

S(x，y)＝H(I(x，y))

F＝{arg_(x，y)(S(x，y)＞s0)}

上述式中，H是特征提取函数，I(x,y)是每一个像素(x,y)所对应的图像值，可以是灰度值或三通道的颜色能量值等，S(x,y)是每一个像素(x,y)经过特征提取后的特征分数，s0是一个特征分数阈值，大于s0的S(x,y)可以被认为是标记点，F是标记点集合。较佳地，本发明实施例使用红外标记点以及红外摄像机所成图像的能量特征较为明显。由于使用窄带LED红外灯，以及相应的红外摄像机，摄像机所成图像的大多数像素能量很低，仅有标记点对应的像素具有高能量。因此相应的函数H(x,y)可以是对使用阈值分割算子后的图像B(x,y)进行区域增长获取若干子图像，并对获得到的子图像进行重心提取。该特征提取函数H(x,y)，可以是Harris，SIFT，FAST等特征点函数，也可以是圆形光斑提取等图像处理函数。同时，根据环境光中能在红外摄像机中成像的杂光，我们可在红外标记点提取过程中添加诸如标记点所成光斑面积，标记点在二维图像中的位置关系等约束条件对提取出的标记点进行筛选。

当摄像机数目大于1时，需要对不同摄像机在同一时刻或接近同一时刻获取的图像进行标记点匹配，从而为后续的标记点三维重建提供条件。标记点匹配的方法需要根据特征提取函数H而定。我们可以使用一些经典的基于图像灰度梯度图的特征点提取算子和与之相配的匹配方法如Harris，SIFT，FAST等方法获取并匹配标记点。也可以使用极限约束，标记点的先验条件等方式进行标记点匹配。这里使用极限约束进行匹配筛选的方法是：根据同一个点在两个不同摄像机图像上的投影都处于同一平面这个原理，对于某一个摄像机c0中的某一个标记点p0，我们都可以在其他摄像机c1中计算一条极线方程，标记点p0对应于该其它摄像机c1上的标记点p1符合下述关系：

[p1；1]^TF[p0；1]＝0

上述式中，F是摄像机c0到摄像机c1的基础矩阵。通过使用上述关系，我们可以大大缩少标记点p1的候选个数，提高匹配准确度。

此外，我们可以使用标记点的先验条件是标记点的空间顺序，标记点的尺寸等。比如根据两个摄像机的相互位置关系使其所拍摄的图像上的每一对对应同一空间点的两个像素在某一个维度比如y轴上相等，这个过程也被称为图像校准(rectification)。则此时标记点的匹配也就可以根据标记点的x轴顺序执行，即最小x对应最小x，依次类推，最大的x对应最大的x。

以下依据用于跟踪的摄像机数目的多少，来详细介绍本发明的目标跟踪方法。

请参见图14，是图11中S13的第一变形例的具体流程示意图。如图13所示，在本实施例中，该第一目标对象跟踪方法跟踪的第一目标对象对应的标记点不超过四个，且采用单目摄像机来获取标记点的位置信息时，前述步骤S13进一步包括：

S131依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；将当前图像的标记点与标准图像中的参考标记点进行匹配，并根据二者各自的平面坐标计算当前图像与标准图像之间的单应变换关系。所谓单应变换是对应几何中的单应性，是计算机视觉领域中常用的一种变换方法。

S132根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置。

具体来讲，对于场景的假定条件，我们可以假定场景中的标记点的刚性变换时的某一维度的数值不变，比如三维空间场景中，空间坐标为x、y、z，x和y分别与摄像头的图像坐标(平面坐标)中x轴和y轴平行，z轴是垂直于摄像头的图像，假定条件可以是标记点在z轴上的坐标不变，也可以是标记点在x轴和/或y轴上的坐标不变。不同的场景假设条件，所使用的推测方法也不尽相同。又例如，在另一种假定条件下，假设第一目标对象的朝向与摄像头朝向之间的旋转角度在使用过程中始终保持不变，则可根据当前图像中的标记点互相之间的距离与标准图像上的标记点互相之间的距离之间的比例推测第一目标对象当前的空间位置。

通过以上的计算方法，可以实现单目摄像机对标记点的数量不超过四个时重新构建所述第一目标对象的空间位置，其操作简单，且跟踪结果也较准确，由于采用单目，降低了第一目标对象跟踪的成本。

上述使用单个摄像机采集图像来恢复物体三维坐标的方法中，由于获取的图像信息较少，因此需要增加标记点的数目来提供更多的图像信息从而计算物体的三维坐标。根据机器视觉理论，要从单幅图像推算出场景的立体信息，需要至少确定图像中的五个标定点。因此，单目方案增加了标记点数量，也增加了设计的复杂性，但同时，只需要一个摄像机从而降低了图像采集的复杂性，降低了成本。

请参见图15，是图11中S13的第二变形例的具体流程示意图。如图14所示，在本实施例中，当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S133依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；

S134根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

具体来说，首先采集一幅标准图像，使用精确的深度摄像机或激光扫描仪等器件测量出参考标记点的空间位置，并获取此时的参考标记点的二维图像坐标(即平面坐标)。

在使用过程中，摄像机不断捕捉含有第一目标对象的当前图像中的所有标记点的二维图像坐标，并根据此时二维图像坐标与标准图像参考标记点的二维坐标计算出当前状态下的标记点与拍摄标准图像时的标记点之间的刚性变换，在假设标记点之间相对位置不变的情况下，进而计算出出此时标记点相对于标准图像时的空间位置变换，从而计算出当前标记点的空间位置。

这里，使用五个点以上的点可以计算出当前标记点与拍摄标准图像时标记点的空间位置刚性变换[R|T]，优选的，该五个以上的点不在一个平面上，且摄像头的投影矩阵P被事先标定好。计算[R|T]的具体方式如下：

每一个标记点在标准图像和当前图像的齐次坐标分别为X0，Xi。二者满足极限约束，即X₀P^-1[R|T]P＝X_i。所有标记点组成一个未知参量为[R|T]的方程组。当标记点数量大于5时，可以对[R|T]求解；当标记点数量大于6时，可以对[R|T]求最优解，其方法可以使用奇异值分解SVD，和/或使用迭代的方法计算非线性最优解。当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(例如人眼)之间的相互位置关系推测出第一目标对象(如人眼)的空间位置。

本实施例只用一个摄像机，使用五个或五个以上的标记点，就可以准确地构建出第一目标对象的空间位置，不仅操作简单，而且成本低廉。

请参见图16，图16图11中S13的第三变形例的具体流程示意图。如图16所示，本实施例3使用两个或两个以上的摄像机，一个或一个以上的标记点。采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述S3进一步包括：

S35采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；所谓双目或三目重建原理可以采用以下方法，例如采用左、右摄像头匹配的标记点之间的视差，计算每一个标记点在当前时刻的空间位置。或者是采用其它现有的常见方法来实现。

S36根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

具体地，首先使用多目摄像机校准的方法对每个摄像机之间的相互位置关系进行标定。然后在使用过程中，对每个摄像机获取到的图像提取标记点坐标，并对每个标记点进行匹配，即获取其在每个摄像机对应的标记点，然后使用匹配的标记点以及摄像机之间相互位置关系计算出标记点的空间位置。

在一个具体的例子中，使用多目摄像机(即摄像机数量大于等于2)来拍摄标记点，实现立体重建。已知一个标记点在某一摄像机所拍摄图像上的坐标u和该摄像机参数矩阵M，我们可以计算出一条射线，这个标记点在空间中处于此射线上。

α^ju^j＝M^jX j＝1…n(其中n为大于等于2的自然数)

同理，依据上述公式，此标记点在其它摄像机上也可以计算出对应该其它摄像机的射线。理论上讲，这两条射线汇聚在一个点上，即此标记点的空间位置。实际上由于摄像机的数字化误差，摄像机内参和外参标定的误差等等，这些射线并不能汇聚于一点，因此需要使用三角测量(triangululation)的方法近似计算出标记点的空间位置。比如可以使用最小二乘判断准则确定距离所有光线最近的点作为物点。

当计算出标记点空间位置以后，我们可以根据事先标定好的标记点与第一目标对象(如人眼)之间的相互位置关系推测出第一目标对象(人眼)的空间位置。

在上述使用多目摄像机实现立体重建的方法中，较佳的方法是使用双目相机计算。其原理与前述多目摄像机重建原理一样，都是根据两摄像机的相互位置关系以及标记点在两摄像机成像的二维坐标计算标记点空间位置。其微小差别是双目摄像机平行摆放，根据简单的标定后对两个摄像机的图像做如前文所述的图像校准，使得两个互相匹配的二维标记点在y(或x)轴上相等，则此时标记点距摄像机的深度可由校准后的二维标记点在x(或y)轴上的差距计算得出。此方法可看成是多目立体重建在双目情况下的特殊方法，其简化了立体重建的步骤且在设备硬件上较容易实现。

实施例6

请参见图17，图17是图11中的S3的具体流程示意图。如图17所示，基于前述实施方式二及前述实施例，本发明的基于插管镜的立体显示方法的步骤S3进一步包括：

S301排图参数确定步骤，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及显示单元的显示参数计算出在显示单元上的排图参数；

S302视差图像排列步骤，依据所述排图参数排列所述显示单元上的视差图像；

S303视差图像播放步骤，播放所述视差图像。

通过上述的步骤，对待播放的立体图像进行重新排列，提高了立体显示的效果。

进一步地，在步骤S301之前还包括：S304立体图像获取步骤，获取实时拍摄到的所述立体图像的信息。在边播放视差图像的同时，边获取实时拍摄到的立体图像信息，提高了图像处理的效率，不仅保证了实时播放，而且同时减少了因立体显示图像占用的数据存储量非常大而要求大内存的要求，降低了成本。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种基于插管镜的立体显示系统，包括:显示单元、分光单元、跟踪设备及单目摄像机，所述分光单元位于所述显示单元的显示侧，用于将所述显示单元显示的图像空间上分成左视图和右视图，所述跟踪设备用于获取第一目标对象的位置信息，所述单目摄像机用于拍摄第二目标对象，其特征在于，所述基于插管镜的立体显示系统还包括图像播放处理设备，分别与所述跟踪设备、所述显示单元及所述单目摄像机连接，所述图像播放处理设备包括图像播放处理单元，该图像播放处理单元依据所述第一目标对象的位置信息、所述分光单元的光栅参数及所述显示单元的显示参数，将接收到的所述图像拍摄单元拍摄到的立体图像进行实时排图处理，处理后发送所述显示单元实时显示；

所述跟踪设备包括：标记点设置单元、获取单元和重新构建单元，所述获取单元包括预设模块、获取模块、匹配模块，所述重新构建单元包括第一计算模块和第一重构模块；

标记点设置单元，对应所述第一目标对象的空间位置设置标记点；

预设模块，预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点在所述标准图像中的空间坐标和平面坐标；

获取模块，获取包含所述第一目标对象与所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

匹配模块，将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配；

第一计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；

第一重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置；

当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括:

第二计算模块，用于依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；

第二重构模块，用于根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

2.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述图像拍摄单元设于所述插管镜上。

3.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述图像拍摄单元包括双目摄像机，用两个摄像头拍摄并获取所述第二目标对象的立体图像。

4.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述图像拍摄单元包括多目摄像机，由三个以上的摄像头呈矩阵排列来拍摄并获取所述第二目标对象的立体图像。

5.如权利要求2至4任一项所述的基于插管镜的立体显示系统，其特征在于，所述图像拍摄单元进一步包括采集单元，所述采集单元用于采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。

6.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述跟踪设备包括摄像机，所述摄像机跟踪所述第一目标对象的位置变化。

7.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述跟踪设备包括红外接收器，所述红外接收器接收来自于对应所述第一目标对象所设置的红外发射器发送的红外定位信号。

8.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，当采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述重新构建单元还包括:

第三计算模块，用于采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；

第三重构模块，用于根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

9.如权利要求6至8任一项所述的基于插管镜的立体显示系统，其特征在于，所述图像播放处理设备包括存储单元；所述存储单元用于存储所述图像拍摄单元传输过来的图像，其中，所述图像播放处理单元与所述存储单元连接。

10.如权利要求9所述的基于插管镜的立体显示系统，其特征在于，所述图像播放处理单元包括:

立体图像获取模块，获取所述图像拍摄单元拍摄的所述立体图像的信息；

排图参数确定模块，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数计算出在所述显示单元上的排图参数；

视差图像排列模块，用于依据所述排图参数排列所述显示单元上的所述立体图像的视差图像；

视差图像播放模块，播放所述视差图像。

11.如权利要求1所述的基于插管镜的立体显示系统，其特征在于，所述分光单元为视差屏障或透镜光栅。

12.如权利要求11所述的基于插管镜的立体显示系统，其特征在于，所述透镜光栅为液晶透镜光栅。

13.如权利要求1至4任一项所述的基于插管镜的立体显示系统，其特征在于，所述分光单元与所述显示单元之间设有贴合单元，通过所述贴合单元将所述分光单元贴合到所述显示单元上。

14.如权利要求13所述的基于插管镜的立体显示系统，其特征在于，所述贴合单元包括第一基板、第二基板，以及位于所述第一基板与所述第二基板之间的空气层。

15.一种基于插管镜的立体显示方法，其特征在于，所述方法包括以下步骤:

SO拍摄第二目标对象的立体图像，并实时发送所述立体图像的信息；

S1获取第一目标对象的位置信息；

S2获取显示设备的分光单元的光栅参数和所述显示设备的显示单元的显示参数；

S3依据所述位置信息和所述光栅参数及所述显示参数将接收到的所述图像拍摄单元拍摄到的立体图像进行实时排图处理；

S4显示待播放的图像；

其中，所述S1还包括:S11对应所述第一目标对象的空间位置设置标记点；

S12获取所述标记点的位置信息；

S13依据所述标记点的位置信息，重新构建所述第一目标对象的空间位置；

所述S12进一步包括:

S121预设一标准图像，所述标准图像中设有参考标记点，并获取所述参考标记点在所述标准图像中的空间坐标和平面坐标；

S122获取包含所述第一目标对象、所述标记点的当前图像，及所述标记点在所述当前图像的平面坐标；

S123将所述当前图像中的标记点与所述标准图像的所述参考标记点进行匹配；

当所述标记点的数量不超过四个，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括:

S131依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标以及所述第一目标对象所在场景的假定条件计算所述当前图像与所述标准图像之间的单应变换关系；

S132根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点在当前时刻的空间位置计算所述第一目标对象当前的空间位置；

当所述标记点的数量为五个以上，且采用单目摄像机获取所述标记点的位置信息时，所述S13进一步包括:

S133依据所述当前图像中的标记点的平面坐标与所述标准图像的所述参考标记点的平面坐标，计算所述当前图像与所述标准图像之间的单应变换关系；

S134根据所述单应变换关系计算出所述标记点在拍摄所述标准图像时刻的空间位置到当前时刻的空间位置的刚性变换，然后计算所述标记点在当前时刻的空间位置，并根据所述标记点当前时刻的空间位置计算第一目标对象当前的空间位置。

16.如权利要求15所述的基于插管镜的立体显示方法，其特征在于，所述SO还包括:图像采集步骤，采集所述第二目标对象的立体图像，并从所述立体图像中提取出左视图信息和右视图信息。

17.如权利要求15所述的基于插管镜的立体显示方法，其特征在于，当采用双目摄像机或多目摄像机获取所述标记点的位置信息时，所述S13进一步包括：

S135采用双目或多目三维重建原理，计算每一个标记点在当前时刻的空间位置；

S136根据所述标记点当前时刻的空间位置计算目标对象当前的空间位置。

18.如权利要求15至17任一项所述的基于插管镜的立体显示方法，其特征在于，所述S3进一步包括：

S304立体图像获取步骤，获取实时拍摄到的所述立体图像的信息；

S301排图参数确定步骤，依据获取到的所述第一目标对象的位置信息和所述分光单元的光栅参数及所述显示单元的显示参数计算出在显示单元上的排图参数；

S302视差图像排列步骤，依据所述排图参数排列所述显示单元上的所述立体图像的视差图像；

S303视差图像播放步骤，播放所述视差图像。