CN1159566C - 三维成像系统 - Google Patents

Abstract

三维物体成像的装置和方法包括一个结构化光源以将聚焦的图像投射到物体，是通过光栅和投影透镜传递连续或闪烁的平行光进行投射的。光栅上的缝隙选择透过不同颜色的光，在投射光上形成一个已知图形，由不透明的区域隔开，减少颜色交叉，来提高精度。照相机获得从物体反射的投射光的图像。通过减少图像拍照的时间，特别是用快速的结构化光闪光灯和快速的照相机快门同步，可获得高精度的静态3D图像和进行有生命的或运动物体的测量，其中包括人。获取的图像数据可用来建立和细调反射图形的点的表观位置。

Description

三维成像系统

相关申请

本申请是1998年5月15日提交的美国专利申请09/080,135的部分继续申请，包含了该美国申请的主题。

技术领域

本发明涉及三维表面轮廓成像和测量的方法和装置。更具体的说，涉及基于可反射结构化照明的物体的二维图像来对物体进行远距轮廓测量。

背景技术

三维(以下称3D或3-D)成像和测量系统是已知的，一般为了获得物体的三维形状，理想地是其实际尺寸的三维形状。这样的成像和测量系统基本上被分成两类：1)表面接触系统；2)光学系统。光学系统又进一步分成激光三角，结构化照明，莫尔(Moiré)干涉，立体成像和传播时间测量等不同的系统。

莫尔干涉的方法准确，但昂贵且耗时：立体成像的方法需要对两个照相机的或进行两次拍照取得的图像进行比较，来得到物体的三维表面；传播时间测量法测量激光从物体相关每点反射的时间，它需要有昂贵的激光扫描发射器和接收器。

三维成像和测量系统及方法是已知的。例如以下专利就描述了不同种类的这些装置：美国专利3589815，Hosterman；美国专利4935635，O’Harra；美国专利3625618，Bickel；美国专利4979815，Tsikos；美国专利4247177，Marks等人；美国专利4983043，Harding；美国专利4299491，Thornton等人；美国专利5189493，Harding；美国专利4375921，Morander；美国专利6367378，Boehnlein等人；美国专利4473750，Isoda等人；美国专利5500737，Donaldson等人；美国专利4494874，DiMatteo等人；美国专利5568263，Hanna；美国专利4532723，Kellie等人；美国专利5646733，Bieman；美国专利4594001，Dimatteo等人；美国专利5661667，Bordignon等人；美国专利4764016，Johansson；美国专利5675407，Geng。

不同的学术刊物也刊登了这一课题。为获得快速的动态三维图像，有人提出用颜色编码结构化光。如K.L.Boyer和A.C.Kak的论文“用于快速动态测量的颜色编码结构化光”(Color-encoded structured light forrapid active ranging)刊登于IEEE的图形分析和机器智能版(IEEETransactions on pattern analysis and machine intelligence)，1987年PAMI-9卷的14-28页。结构化光的颜色是为了便于识别条纹的位置，从而减少解释数据时的不确定性。

之后，就有不同的研究组致力于研究不同的三维成像颜色编码方法。如J.Tajima，M.Iwakawa的“彩虹范围探测的3-D数据获得”(3-D dataacquisition by Rainbow range finder)，此论文刊登在1990年第10次国际图形识别会议论文集第309-313页上(Proc.Of the 10^th internationalconference on pattern recognition，PP.309-313，1990)。一个相似的应用彩色CCD照相机和一个线性变化波长滤波器且每次测量只需一次拍照的颜色编码方法由Z.J.Geng提出，称为“彩虹三维照相机：高速三维视觉系统的新概念”，刊登于光学工程杂志1996年35卷第376-383页(Opticical Engineering，Vol 35，pp376-383，1996)。Geng系统的测量精度取决于照相机的颜色分辨能力，并且会因为颜色间的串扰而受到损害。

C.Wustt和D.W.Capson提出一种不同的系统，此系统的颜色编码使用三个叠加的正弦彩色条纹，它具备Geng系统快速且只需一次成像的优点，但同样只有有限的精度。此系统“应用彩色条纹投射的表面轮廓测量”(surface profile measurement using color fringe projection)，刊登于“机器视觉和应用杂志”1991年第4期的193到203页(MachineVision and Application，4，PP.193-203，1991)。

应用颜色编码结构化光源的其它实验结果报告有：1.T.P.Monks，J.N.Carter和C.H.Shadle提出的“应用于实时三维数字化的颜色编码结构化光”，刊登于1992年4月7日到9日在荷兰Maastricht召开的第四季度国际IEEE图像处理年会(IEEE 4^th International Conference OnImage Processing)；2.T.P.Monks和J.N.Carter提出的“颜色编码结构化光的改进条纹匹配”(Improved stripe matching for color encodedstructured light)，刊登于1993年计算机图像和图形分析国际预备会议第476到485页(Proceedings of International Conference on computeranalysis of images and Patterns，PP.476-485，1993)。

为改进基于3D成像的结构化光的精度，可以应用一些校准方法，如E.Trucco，R.B.Fisher，A.W.Fitzgibbon和D.D.Naidu在他们的论文“激光条纹测量中的校准，数据一致性及数模获取”(calibration，dataconsistency and model acquisition with laser stripers)中所讨论的方法，该论文发表于1998年国际电脑集成制造杂志11卷的第293-310页(Int.J.computer Integrated Manufacturing，11，pp.293-310，1998)。

有应用不同颜色编码技术组合的报告，也将它们与其他技术进行组合，如E.Schubert，H.Rath，J.Klicker的论文“应用颜色编码相位变化原理和颜色编码三角的快速三维物体识别”(fast 3D object recognitionusing a combination of color-coded phase-shift principle and color-codedtriangulation)，发表于1994年SPIE杂志2247卷第202到213页；C.chen，Y.Hung，C.Chiang和J.Wu的论文“应用彩色结构化光和立体视觉的距离测量”(range data acquisition using color stuctured lighting and stereovision)，1997年图像和视觉计算杂志15卷第445到456页。这些组合可改进横向空间的分辨率，但相对噪音电平太高，一般大于5％。

以上所述的现有技术系统常常不够精确，或是需要昂贵的设备，或是需要通过多次曝光来获得令人满意的精度。因此就需要发展一种既精确又易于使用且不很昂贵的三维成像系统。

发明内容

为了解决现有技术中存在的问题，本发明的主要目的是提供更加精确的成像装置和方法。

本发明人还有一个目的是降低成像系统的成本，并使操作更加容易。

本发明是基于结构化照明的光学系统，待测物体被具有已知结构或图形的光照明，从而确定物体的三维数据。结构化照明从与照相机横向隔开的一点投射到物体上，照相机捕获物体反射后的结构化光图形的图像。如果可以清楚地分辨物体反射的结构化光图形，则可以得到物体的三维数据。将反射图形的平移与投射到一参考面上的同一图形的平移进行比较，就可对反射图形的平移进行三角测量，计算出“z”距离或深度。

具体地，按照本发明的一个方面，提供了一种三维成像装置，包括：结构化光源，将已知的光图形投射到物体上，该结构化光源发出结构化光，该结构化光包括至少三种不同颜色的彩色条纹，每两条彩色条纹之间都有不透明的区域将两条彩色条纹分开，防止彩色条纹在物体上的影像互相重叠；照相机，在结构化照明条件下捕获物体的二维图像，所述图像包括物体反射后的所述已知投射图形的特征；及数据处理器，接收表征所述二维图像的图像数据并进行算法处理，以提供：修改后的图像数据，其包括修改后所述反射图形特征的视觉位置，用于更精确地推算出所述反射图形特征的实际位置；及三维信息，由所述修改后的图像数据计算出来，用于确定所述反射图形特征的位置。

另一方面，本发明还提供了一种获取物体的三维图像的方法，包括步骤：准备一个投射图形化光的光结构化装置，该图形化光包括至少三种不同颜色的彩色条纹，每两条彩色条纹之间都有不透明的区域将两条彩色条纹分开，防止彩色条纹在物体上的影像互相重叠；用所述图形化光照射物体；获得表示反射图形化光的物体的图像数据；用算法修改上述数据，提供更精确代表所述图像的修改后的图像数据；由修改后的数据确定物体的三维信息。

本发明的三维(3D)成像系统，它只需一次拍照，且只需一个普通的民用相机和一个结构化光源；本三维成像系统生产成本低，且易于使用；本系统还可以使用红外光，紫外线或是可见光的结构化光源进行三维图像测量；同时，本发明可减少颜色编码结构化光反射时的串扰，本发明因可使用任何彩色结构化光源的组合，从算法上增强了原始数据即结构化光源的反射图像和参考图像间对比的精度，并增大了计算的深度数据。

进一步说，本发明允许使用像照相机闪光灯那样的脉冲光源，也可是连续光源来进行三维成像和测量；本发明给出一个光结构化的光学装置，它接受来自与一个民用数码照相机同步的闪光灯，提供得到三维图像需要的数据；本发明允许使用结构化光源来进行三维成像及测量，此光源调节光强度和/或光谱来提供黑白或多色的结构化光图形。另一方面，本发明提供了一种将结构化照明图形投射到物体的方法。本发明也应用改进的彩色光栅来进行三维成像。本发明还给出了一个可应用于将图像投射到物体的三维成像系统。一方面本发明提供的3D成像系统可应用于运动的或是有生命的物体；另一方面，本发明还提供具有照相机和光源的3D成像及测量系统，其中照相机和光源可集成一体；本发明也可使用两幅反射不同的光的图像来对具有彩色纹理表面的物体进行精确的三维成像和测量。

通过使用改进的结构化光源和图像数据处理算法，本发明可使用任何民用数码相机或任何好些的相机，用结构化照明来对物体进行一次拍照从而来对物体进行精确的三维成像。结构化照明也可通过在一般的闪光灯前加上一个很简单的图形投射装置来获得。本发明的所有改进如都一起应用将会实现本发明的所有优点。但也可放弃一些单个的改进措施，且仍然能得到不错的三维图像信息。通过分离彩色图像减少色彩串扰和使用一般闪光灯来改进结构化光源。图像数据处理算法减少了色彩串扰的影响，提高了峰值光强度的检测，增强了系统的校准，并进一步提高了识别相邻线条位置时的精度。

根据本发明的原理而构造的用于获取物体三维信息的三维成像系统具有一个结构化光源，它包括照明光源，用来将光通过黑白或彩色光栅投射到物体。光栅包括事先确定的可透光的区域或是缝隙的图形，典型的是一些彼此分开一定距离的平行的透光条。一些实施例中，光栅可在多个不同的颜色条纹间每处夹一个不透明的区域。成像系统也包括一个照相机或是别的图像捕获装置来获得从物体反射的结构化光源的反射光图像。照相机可采用短的曝光时间和/或减少与曝光同步的闪光灯的闪烁时间，这样甚至可得到运动和有生命的物体的清晰的三维图像。如照相机不能直接得到数字图像，本系统亦可包括将捕获的图像进行数字化的部件，以利于进行计算机处理。可采用本发明的一种倾斜调节光中心峰值算法来加强检测图像的精度。本系统的系统校准方法是通过将检测的图像和由本系统设置的参考图像进行比较来减少误差。对于多色光栅，本系统要么通过使用在光栅的不同颜色间添加不透明区域，要么是采用颜色补偿算法或是将两者结合来减少颜色串扰，其中颜色补偿算法是一个一定的颜色交叉矩阵的逆矩阵。本发明的中心加权线性平均算法对于多色光栅也特别有用。根据本发明原理构造和使用的三维成像系统将应用以上机械和算法方面的组合，加上现在已有的对图像数据的处理技术，本系统就可确定物体沿平面x，y及z的三维图像信息。

附图说明

图1表示应用CCD摄像机的3D成像系统的结构化光源。

图2表示另一3D成像系统的一些细节。

图3是一种改进的用于三维成像系统的光栅。

图4表示结构化光源经物体反射后的物体图像。

图5是一幅根据图4数据得到的三维图像的侧面图像。

图6显示一个决定区域是否是某一特定颜色的方法。

图7a是一幅反射三色结构化光源图像的一个部分。

图7b是根据图7a测量出的一个色彩强度图。

图8是彩色串扰补偿图像处理程序的流程图。

图9是图7a的图像经颜色补偿后的强度分布。

图10表示偏差调节中心峰值检测。

图11是系统校准过程的流程图。

图12表示带系统校准的三维成像系统的细节。

图13a-3显示不断改进精度的图像。

图14a显示一张人脸。

图14b显示经结构化光照射后得到的人脸图像。

图14c显示人脸三维图像的重构。

图14d显示人脸三维图像的剖面。

具体实施方式

图1显示了一个三维成像系统，总体用标号10表示，图2更详细地显示了一个改进的三维成像系统，总体用标号12表示，图3显示了一个光栅，总体用标号14表示。

图1所示三维成像系统显示出了结构化光源16将结构化光图形(结构化照明)投射到物体18，光图形可以是或不同颜色编码的，也可以是任何已知的图形，在图像上易于识别即可。一个简单而又优选的图形是平行光条组成的图形。

光图形20显示了一个从结构化光源16通过平面O-X(垂直于纸平面)而到达物体18的光图形。实际上，光图形20根据物体18的表面轮廓进行反射，照相机30就会获得一幅这个反射光的图像，如标号32所示。物体18只是一个横剖面，整个的物体是维纳斯女神的脸。图4显示从照相机30看到的图像32。在图4的图像里，可看到从结构化光源出来的平行的光条根据物体的轮廓而有所变化。图5显示了一个根据本发明而得到的一幅三维图像。

在图1里，每一个光图形20的亮的区域是一个光条，它垂直于纸平面，所以在横剖面里可见。暗的区域22被放置在每一个亮的区域24a，26a，28a，24，26及28中间。距离21是三色实施例中两相邻的相同颜色的中心距离。距离23是两相邻的光条之间的距离。在此优选实施例中，两相邻的亮条之间的距离23和两暗条之间的距离22相等。光条24，26，28可以全是白色的，也可是同一种颜色或是多种颜色，它们也可排成不同的颜色图案，优选有重复性。

光栅里暗的区域22相间在明的区域24，26，28之间。明暗区域的合适比例取决于是否用了多个不同颜色的光。如没有用多个不同颜色的光，那么明暗的对比以相等为好。在用了多个不同颜色光的情况下，暗的区域越小越好，只要不产生相邻颜色间的混淆(这个情况发生在不可避免的聚焦不好和结构化光源反射时产生的像差)。暗的区域22会明显减少串扰，否则串扰会破坏物体18对光图形20的反射。

如没有暗区域22，从相邻的光条24，26，28来的光就会互相干涉。这会降低在物体18的图像32中确定投射的光图形的位置的精度。这样的不精确性又会损害从记录图像而计算出来的三维图像的精度。

在很多的应用里，以采用多个不同颜色的光条为好。可采取任意种不同色的光条，但以三种不同颜色的光条红绿蓝为最好。在图1里，光条24可以是红色，光条26可以是绿色，光条28可以是蓝色。可以看出，红色光条24按预定间距21重复设置，这样使同色的光条的中心之间分开距离21(或P)。与红色类似，绿色光条26，26a以间距P(21)重复排列，蓝色光条28，28a也以间距P重复排列。

本发明所用的光的颜色不一定要是可见光，只要结构化光源可提供在那个颜色的光图形，并且图像获取装置能捕获这个颜色的光即可。从红外光到紫外光都在本发明的可应用的范围内。

结构化光源光栅

系统10包括结构化光源16。光栅14在图1里没有画出，它包括在结构化光源16的光学系统里，并且它决定了投射到物体18的光图形。图2显示了光源16的详细情况。来自光源34的光被准直透镜36变成平行光，再通过光栅14，得到结构化光(光图形)，结构化光从光栅14再通过投射透镜38聚焦，这样照相机44就可精确捕获从物体40反射来的结构化光，形成图像42。代表物体图像42的数据48被传到处理器46进行计算以从图像数据48中抽取3D信息。

光栅14可以采取事先确定的任何图形。但条件是图形要有足够的独特性和可识别性，在经物体反射后可被识别。常采用平行光条来作结构化光图形，以下也主要描述这种光图形。

参照图3，光栅14包括重复出现的平行缝隙4，6，8构成的图形，这种缝隙间的中心到中心的距离5事先确定。这里的缝隙是光栅上的透光条，而不是挡光的不透明区域。光栅14的缝隙可透过多种不同颜色的光。采用多种不同颜色的结构化光图形拟进行颜色编码。光栅调节了照明光的颜色。

光栅14的缝隙也可透过单一颜色的光。(这里任何特定频率的光的组合都称为一种颜色，所以如果所有的缝隙都透过白光，它不被看成是透过多色光)。如光栅并不改变(或调节)光的颜色，那么它至少调节单色光的强度，这样就可投射一个可识别的光图形。

参照图3来看一下光栅14的细节。不透明的区域2的宽度由标号7表示，相间在相邻的缝隙4和6，6和8，4a和6a等等之间。每一个缝隙的宽标为9。尽管多种颜色的光并不是必需的，但一个优选实施例使用三种不同颜色的光4(如红)，6(如绿)及8(如蓝)，并按4a，6a，8a及4b，6b，8b等重复。当用三种颜色时，间隔距离是指相同颜色缝隙的中心之间的间隔。不透明区域2中心的间隔距离3与相邻的缝隙中心间距5相等。这些间距加上投射聚焦以及至目标的距离就可控制投射光条的间距，如图1所示。

为了更清楚地显示，图1里投射图像20上的间隔P(21)和P’(23)的尺寸以及图3中光栅14的间隔距离3，1被放大了。这些间隔尺寸都是设计变量，使用不同的颜色，所用颜色的数量，实际应用的颜色，光条的尺寸和光栅14的大小也都是设计变量。如下所述为了产生所需的结构化光的图形，在投射透镜38的聚焦特性已知时，光栅14的实际空隙就很容易确定。

在L距离25等于1000毫米的情况下，一个理想的用于多色光栅的缝隙距离5是使得光条间距23为1.5到2毫米，对于单色光栅，光条间距23为4毫米。对于多色光栅，不透明区域2的宽度7以2/3的缝隙间距5为佳。对于不用多色光的光栅，则是4/5的缝隙间距5。

只有改变或调节光的某种特性后才能识别它。在不用多色光的系统里，通常调节光的强度来产生一个可识别的图形。这样的图形不能太接近，否则反射光在空间上变成近似连续分布。也可通过调节图像的颜色来分辨特征。这样即使光的强度是个常数，没有光强度调节，但颜色的调节可产生一个可识别的边界特征。

例如，若照相机能精确地区别不同的颜色，那么整个图像就可分成多个不同的颜色区域的图像。得到不同颜色区域的图像有实际的目的，像同时得到具有三个不同的图像，图像中的每个都可作特征定位分析用。即使整个光强度为常数，甚至一种颜色光的图形和另一颜色光的图形重叠时，这些不同图像仍然可被区分。

光可连续或可重叠，因此不同颜色的图像特征可更紧密放置，这样它比单色光有更好的分辨性。单色光要靠用暗的区域分隔开来产生可识别的特征边界。通过区别紧密放置的不同颜色的图像，照相机就可识别紧密放置的图形，因此是高分辨率的。

对于典型的CCD拍摄运动物体的照相机30和数码照相机44，区别红绿蓝的特性最好。分辨多色编码结构化光图形的颜色的能力决定放置图形的距离且能被清楚分辨出来。一般的，红绿蓝三颜色常被用于多色结构化光源的编码色。但也可用更多或较少的颜色，也可根据特定照相机对颜色的响应选择性来调节颜色的数量及种类。

如果用胶卷，胶卷图像必须数字化来提供计算机可处理的数据，即可处理数据。数字转换器一般也是具有最强的分辨红绿蓝的能力。

配准

为抽取信息如反映深度信息的光图形的变化，将图像上的部分和结构化光图形上的部分对应起来很重要。判定图像上光图形的位置通常叫配准。精确的配准是必要的，它可阻止因不知道图像上从物体反射的光图形的位置而产生的空间不确定性。

为配准平行光条图形，一个方法是让一个中心线可识别，然后从那里开始数光条的数目。在颜色编码系统里，可通过将中心线做成白色而不是其他不同颜色来识别之。在非多色光编码系统里，需用另外一个标记，如周期性的加“梯步”，垂直的缝隙经过图形剩余部分的不透明区域。另外，一个不同颜色的光条也可当作配准用。

从一定的被识别的光条，其他的光条通过数数来配准。当三维轮廓非常陡的时候，经物体反射的投射光条会变得很靠近，甚至不见了或难于分辨。这会干扰配准。

在配准里，颜色编码平行光条具有优势，因为它易于数光条。在使用三色时，两个相邻的线无法分辨，仍然不干扰数光条(这样就可配准)。一般来说，对于N种颜色，N-1条相邻的线消失也不影响配准。因此颜色编码系统一般有较强的配准性。

根据本发明构造的结构化光源的应用，加上为了产生暗区域而在光栅14的彩色光条4，6，8间夹的不透明区域2，使得对物体22的一次曝光，就可用一般的民用图像记录装置(如照相机)记录下反射图像32的信息，且没有不愿有的串扰，这样就可对光条进行检测和配准，之后就可得到实际的三维图像。

本发明原理适应不同的结构化光源和照相机，每一种结构化光源和照相机都有不同的特性。不同的结构化光源会产生投射图像的精度差异，明暗区域光强度的不同以及颜色和它们光谱纯度的差别。照相机要么是用胶卷的，这就需要用扫瞄的方式将胶卷图像转化为数字图像。照相机也可是数码的，它可直接提供数字信息。不同的数码相机之间有很多的不同，如在别处所述，有些相机具有很小的彩色串扰，从而具有很高的区别不同颜色的能力。对于采用三个分开的单色CCD接收器来处理每一个色素的照相机大部分是这样。一些其它的照相机采用宽带CCD接带器，并通过内部数据操作来决定物体的颜色，这可能是外部所无法改变的。本三维成像系统可以根据所使用的特定照相机和特定的结构化光源，只使用发明的一部分特性和不同的方面。

下面的部分描述了一个算法步骤，它可用来增强根据本发明获得的三维图像的精度。

区域检测和颜色串扰(交叉串扰)补偿

无论是应用一个颜色还是多个颜色的光，在最后的图像上要么是明的区域，要么是暗的区域。因为图像上亮条的位置(或线)要被用来计算三维图像，所以亮条的中心位置要尽可能的准确，要实现这一点，就要尽量消除噪音和干扰。对于用于三维成像的颜色编码，一个主要的噪音源是颜色串扰噪音，它来自多色光栅14，也来自物体颜色和照相机30或44里的颜色探测器(或是在胶卷图像数字化时产生的)。因此，可应用一个特殊的步骤来分配颜色区域，此方法可使颜色串扰补偿去掉大部分的不愿有的干扰。

通过检查由照相机获得的结构化光源的颜色编码光的强度，就可了解颜色交叉串扰。首先要了解产生颜色图形的光栅。

图7a显示了一个包括红绿蓝三色线的彩色光栅，它是图3光栅14的一个最佳的颜色分布。真正的彩色光栅是用一个可产生滑槽的工具(像超高分辨率的激光图形掩模III号，分辨率为8000×16000)在高分辨率的胶卷(像富士彩虹VELVIA)上写下设计的彩色图形。为了检测这个人造光栅的彩色光谱，可用一个统一的白光(即至少在可见光范围内具有同一的光强度)来照亮光栅，用一个数码相机(像柯达DC260)来得到一幅光栅的图像。从分析图7b显示的数字图像的彩色线条的光强度分布，就可得到光栅的彩色光谱。

图7b显示了严重的不同颜色之间的颜色串扰，例如，在绿线位置上(由绿峰73显示)出现蓝峰71，它与真正的蓝峰75相近。颜色串扰噪音(如一个检测到的明显的但是不应该存在在那里的错误的颜色)与颜色信号的电平相当。这会导致假线的检测，例如这里会检测到一条不存在的蓝线。在这个例子里，典型的红色峰77不会导致与其它颜色的混淆。

然而，即使当串扰噪音足够的低于信号，可以避免错误的配准时，颜色串扰会改变颜色光条峰值的实际位置。因为峰值位置的改变将导致深度计算的错误，所以补偿这种改变的影响就比较重要。

为了有效的补偿颜色串扰，首先，彩色光栅的色谱要通过不同物体的图片和不同的数码相机来收集。物体包括中性颜色的物体和浅色的物体。中性颜色的物体例如白板，白球和白的柱状物，浅色的物体例如不同肤色的人脸，包括白色，黄色和黑色。好几种常见的数码相机，如尼康Cool Pix 900，Algofa 1280，柯达DC260，富士300，和Minolta RD175都被测试过。在这些相机里，绿色光条实际上从不在别的颜色的位置上有峰值。图7b的峰值73是一个典型的绿色峰，它准确的处于绿颜色的位置上，在图7b里没有看到绿峰出现在别的位置上。因为绿色峰很少出现在别的位置上而引起错误，所以绿色是最可靠的颜色。因此颜色补偿算法以绿色光条为起点，如在别的相机里通过测试别的颜色最可靠，那么也可采用别的颜色作起点。在绿色之后，通常情况下红色最可靠，其次是蓝色。其他颜色的编码需要选择处理错误峰值的顺序。

图6显示可见光的强度图形，其中的连续线表示多个像素点或点连接的理想化。在实际当中，区域63中可能会只有三个像素超过了临界值水平61，只要这个概念理解了，那么显示连续光强度的图形就可被理解。

图8是颜色串扰补偿算法的流程图，将会参照图6进行描述。

步骤81：捕获物体反射颜色编码结构化光而得到的图像数据。作为一个特殊情况(步骤83)，颜色补偿算法常常一次只应用于图像的一部分。可以是一个覆盖十根彩色光条的正方形区域。区域的大小是个变量。因此算法的该步骤可能要重复多次来进行每个子区域的分析。

步骤82：对于每一个要处理的颜色，确定峰值69。

步骤83：将颜色临界值水平(TL)61设定为一设计变量，它约相当于被分析图像峰值的75％。当分析的图像区域太大，有反射光强度的巨大变化时，那么TL将不适用于区域内的所有峰值，这就可采取步骤81的分割图像的方法。

步骤84：在光强度超过TL61时临时设为峰值区域。

步骤85：如果区域已被分给了其它的颜色，那么在这个区域的临时性峰值就要变成无效，并且要跳过步骤86的分配步骤。

步骤86：对于正处理颜色的临时性的峰值区域，如果它们不在以前分配给另外的颜色的区域内，那么这个区域就分给这个颜色。

步骤87：重复步骤84到86直到颜色的分配完成为止。

步骤88：重复步骤82到87直到每一个编码颜色都被测试过。

步骤89：计算图像或子图像的颜色串扰矩阵(CCM)，对于三种不同的颜色，是3×3的矩阵，它也可被高速到有N种颜色的N×N的矩阵，CCM被定义为：

$\mathrm{CCM}=\frac{1}{k}\left[\begin{array}{ccc}{A}_{\mathrm{rr}}& A_{\mathrm{rg}}& A_{\mathrm{rb}}\\ A_{\mathrm{gr}}& A_{\mathrm{gg}}& A_{\mathrm{gh}}\\ A_{\mathrm{br}}& A_{\mathrm{bg}}& A_{\mathrm{bb}}\end{array}\right]---\left(1\right)$

其中，k是一个归一化常数，调节它可以避免因对强度数据有限动态范围算术操作而可能引起的饱和。且A_jj[i，j (编码颜色，如r(红)，g(绿)，b(蓝))]定义为：

这里Ii_颜色代表i颜色在j颜色区域的光强度。

步骤90：对于颜色串扰的补偿可用CCM的逆矩阵来实现，定义为：

$\left[\begin{array}{c}{r}^{\′}\\ g^{\′}\\ b^{\′}\end{array}\right]={\left[\mathrm{CCM}\right]}^{-1}\left[\begin{array}{c}r\\ g\\ b\end{array}\right]---\left(3\right)$

r’，g’，b’分别代表颜色串扰补偿后的颜色红、绿及蓝色。

像第89步所提示的，矩阵可以被调整到N种颜色，这里的例子是r，g和b表示的红绿蓝三种颜色。

图9显示了用同样的光栅和同样的数码照相机得到的图7b经过颜色串扰补偿后的色谱。通过比较图9和图7b，可以清楚的看见颜色串扰噪音被明显的减弱了，图9中典型的红绿蓝峰93，95，97在强度上几乎相等，图7b中的错误峰值71实际上被消除了。

偏差调整中心峰值检测方法

为了降低3D成像的噪音，精确地定位结构化线条的峰中心位置很重要。由于颜色串扰和物体本身的颜色，结构化线条的中心位置可能会被移动，因此检测到的峰值位置可能不是实际的位置。通过分析500幅以上图像的颜色编码的数据而得到的峰值位置，用常用的中心检测方法，在相邻光条距离为5个像素点的情况下，峰值位置的平均检测误差C大约是0.4个像素。

根据本发明的3D成像系统可以应用偏差调整中心峰值检测法来决定光图形的中心位置，如图10所示，以下也有描述，描述同样参考了图6和8。

尽管图中的光强度用连续线描述，但实际当中，数据都只在一些离散点(如像素)上，数据求和处理是处理区域内每一个数据点的叠加，以下的算法里，在被认为是颜色强度峰值的区域，最好存在三个或更多个像素点或数据点。

步骤1：扫瞄通常垂直于结构图像光条的数据行，找到分配给每一个特定颜色的区域的强度图像100的起始点102和结束点104。这一步最好是一个一个区域的做，如图8的步骤81到88，步骤81到88最好分步对已被颜色串扰补偿的数据进行操作，如上所述。在任何情况下，因为起始点102和结束点104实际上是离散的像素数据，尽管两点都高于临界值TL，但仍然一点会比另外一点高。

步骤2：用以下的定义找到峰区域104的偏置基准水平106：

基准＝最大者(起始点强度，结束点强度)        (4)

步骤3：细调估计的图像中心，在像素点间内插点并用偏差调节中心法计算每一线条的细调后中心(RC)，如下：

其中强度(x)代表位置x处的强度。

步骤4：对于每个颜色的每行数据，重复步骤1到3。

根据以前所述的500幅颜色编码图像的数据，RC的平均误差是0.2个像素点，相当于误差C(不使用偏差调节中心法)的1/2。这会使基于RC的3D成像的精度增加一倍。

选择性平滑

可以对线条的中心位置作平滑处理，使用任何一个滤波算法过滤每个点的位置来减少它与其它临近点的偏差。因为参考图像的线条应该是平滑的，重滤波是需要的，且在不损害精度的情况下，减少噪音。考虑从物体反射回来的结构化光条，过度的滤波可能会损害精度，因此，反射图像的结构化光条上的不连续点是可取的，然后在对这些不连续点之间的连续部分进行适当的滤波。

系统校准

为了补偿系统的模型误差，在基于本发明的成像系统里，可使用一个逐线的校准过程。以下详细描述了投影仪及照相机成像透镜的像差和因物体深度差别造成的散焦效应：

三维数据常从比较下面的(a)和(b)得到，(a)物体反射结构化光的图像点的位置和(b)理论上从一个参考平面反射的预定结构化光图像点的位置。理论上的预定位置基于一些假设来计算，这些假设包括结构化光图像完全根据设想来制造，并且被完美的投射和准确的被照相机获得。因为结构化光源及照相机取景器在制造上的允许公差，和透镜的像差如慧差和色差，这些假设在实际当中都存在一定程度的错误，这会引起各种的误差，导致结构化光条的实际位置偏离理论值。其它的像散焦和颜色串扰影响会进一步造成在检测结构化线条位置时的误差。因此，比较(a)物体反射结构化光图像点位置和(c)经过仔细测量的从精确的参考平面反射回来的实际结构化光的图像，就可提高3D测量的精度。图12描述了这一校准过程。同时所讲座的原理也可帮助读者明白一般的用于获得3D信息的三角方法。

在图12里，z轴是光轴121，它垂直于参考平面123。基线124平行于参考平面123，它是光源16的透镜主平面中心126和照相机44主平面的中心125的连线。X轴方向平行于基线124，Y轴122垂直于基线124和光轴121构成的平面。D是结构化光源16的点125和数码相机44的点124之间的距离，L是基线124和白色表面参考平面之间的距离。物体上点130(P(x_物体，y_物体，z_物体))是物体上要成像的点。物体上点130投影到点129(P’(x_物体，0，z_物体))，该点129位于垂直于Y轴122且包括光轴121的平面Y＝0上。

在照相机44里，点130具有一个X坐标值，转换到参考面123为Xc128，通过点130的结构化光在参考平面123上的具有X值Xp127。通过三角关系，就可根据给定的Xc128和Xp127间的差，推算出Z_物体的值。

图11是一个逐线校准的一般数据处理步骤和这里的一些其他的增加精度的方法如以下叙述：

步骤112：用像如图12所示的装置获得一个完美的白色参考面123的参考图像，然后在必要时经过数字化处理，输出数字化图像数据到一个处理系统。

步骤113：用步骤112里同样设置的系统来得到物体图像。只要系统的设置与获取参考图像的一致，可以用这一系统来得到多个物体的图像而无需再获取新的参考图像。

步骤114：对物体和参考数据进行颜色串扰补偿处理。

步骤115：对物体的光条进行偏差调整中心峰值检测，细调峰中心的位置，并选择性的对光条不连续点之间进行平滑处理。

步骤116：对参考图像的光条进行偏差调整中心峰值检测，细调中心峰的位置，并可对这些光条进行重滤波。

步骤117：物体反射的每一结构化光条的X位置与参考图像中同一光条的X位置有一定差别，通过以上差距的三角关系来决定每一反射结构化光线上的每一点的系统校准高度。

步骤118：用中心加权法平均在一定的Y位置上相邻的三条结构化光条的高度。如已知相邻结构化光条不连续，则不做平均。如果三条光条中任两条光条的高度差超过设计的临界值，则相邻的光条就看成是不连续的。在图12里，这一临界值是一设计选择量，设置为2毫米。

中心加权线平均

3D图像的波动误差可以通过平均相邻的点的Z值来减小。本发明对被调节图像点附近的点进行中心加权平均。特别地，用垂直于结构化光条扫描的数据，取三个相邻的结构化光条的Z值加权平均，并且用权函数(0.5，1，0.5)。为了避免错误的平滑不连续或陡峭变化的位置，不是在所有的点上都作加权平均。特别地，当任何临近的三点中用作平均的两点的高度差别大于一个临界值时，就不对它们进行平均(临界值是一个设计变量，图12里设定它的一个优选值是2毫米)，这个加权技术可提高精度0.3/0.1到3倍，比传统的三点平均方法只提高1.73倍要好。

这项技术对于根据本发明制作的所有光栅都有效，但不同颜色间的误差相互独立，相同颜色间的误差部分相关，这项加权平均技术对于相邻的不同颜色比相邻的相同的颜色更有效。

最佳实施例和结果

本发明的原理提供准确的物体的三维成像和测量，且只需一个照相机和一个与照相机空间关系已知的结构化光源，只需一幅物体反射结构化光的图像，光可由闪光灯提供，因为闪光灯的持续时间短，实际上使运动静止化了，所以它可用来对运动的物体成像。一个较好的实施例使用一个标准的民用照相机闪光灯来作照明光源，闪光灯是分开的，但它与标准数码相机同步。在闪光灯前简单的放置一个光栅和一个或多个聚焦透镜，闪光灯就可将结构化光投射到物体。只需处理数码相机所获得的图像数据就可得到一幅相对的3D图像。如果结构化光源，照相机和物体之间的位置已知，那么就可得到物体的绝对3D测量数据和图像。本发明可用胶卷照相机，但结构化光照明图像要数字化才可对它进行处理而得到3D图像数据。

物体颜色的重构

本发明的另一个实施例实现物体颜色的重建，如人脸。应用两次曝光，一次用结构化光，另一次用白光，一幅3D图像和一幅二维彩色图像几乎在同一时刻分别得到。由3D图像信息可构造一个模型，原物体的颜色资料可被投射到这个模型上，通过匹配物体和图像的特征来实现颜色图像和模型的校准。

在这个实施例里，两幅图像在时间上要彼此接近，结构化光源可以是颜色编码的也可不是，它朝着离照相机一定距离的物体的方向，以上有详细描述。从那里得到的数据被用来进行处理而得到物体的3D数据。

非结构化的白光图像在其他图像之前或之后获得。获得同一角度下同一图像的颜色资料。非结构化光源可以是嵌在照相机里的闪光灯，但它也可以包括不同方向的照明，来减少阴影。

理想情况下，两幅图像几乎在同一时刻获得，且曝光时间短，与闪光灯照明光源同步，这样可得到有生命的或运动的物体的3D彩色图像重构。这可使用两个照相机来完成。可使用两个同样型号的照相机(如柯达DC260)，通过外在的电信号输入来对曝光初始化，并有一个闪光灯触发输出。第一个照相机驱动一个闪光灯，且闪光灯的控制信号输入到一个电路，经一个延迟后，输出一个闪光灯初始化信号到第二个照相机，第二个照相机控制第二个闪光灯。闪光灯间的延迟大约为20到30毫秒。考虑闪光灯和快门的持续时间以及抖动，延迟时间是取决于物体的移动和照相机特征的一个设计参数。

另外的实施例是用单个的具有连续曝光(burst)模式的照相机。在连续曝光模式下，单个的照相机(如富士DS300)在足够短的时间内多次曝光，现在这样的曝光时间间隔可小到100毫秒。如果这样的照相机只具有单个的闪光灯输出，那么就必需加另外的装置来控制两个分立的闪光灯单元。一个方法是将闪光灯控制信号由照相机连接到一个电子开关电路，这个电路用来引导闪光灯控制信号首先控制第一个闪光灯，再去控制第二个闪光灯，不管通过什么方法，这对于电子领域的人来说都很简单。这个实施例有两个优点：第一，只需一个照相机，这使得设置容易，第二，两次拍照的定位也是一致的。但两次曝光的间隔较长，并且现在这样的连续曝光式照相机比其它的照相机要贵得多，所以这种方法并不是现在的最好方法。

本测量物体3D轮廓的发明原理包括结构化光栅的不透明部分，颜色补偿，偏差调节中心检测，校准，滤波和高度的加权平均。所有的这些原理组合在一起就可实现甚至是动物或运动物体的高精度的3D轮廓测量，且只需一般的民用图像获取装置，如一般的数码相机和一般兼容的分离的闪光灯，再加上一个结构化光学装置和一个图像数据处理程序。

在省去本发明的一部分时，仍然可得到在多数情况下质量较好的3D图像，因此，本发明被看成只在部分要求满足的情况下使用。

以下实验和测试验证了本发明的一个优选实施例。用的是柯达DC260数码相机。为了做测试，拍摄一个已知的三角形物体的图像。物体是25mm高，25mm厚，125mm长。尽管DC260照相机有1536×1024个像素点，但由于照相机变焦透镜的限制，测试物体只占了600×570个像素点。结构化光源在三个分离的颜色光条之间用不透明的部分来填充，光条重复排列成图形，如上所述。

本系统选择的参数如下：(1)D是基线124点125到126的距离，D＝230mm；(2)物体距离L＝1000mm。图13a显示了由基本测试设置得到的一维扫描数据。最坏的测试误差大约是1.5mm，因此相对误差大约是1.5/25-6％，这一精度与其它研究组织报告的用单色编码的结果相当。基于照相机分辨率的理论测量精度Δz_th由方程(6)的微分确定。因为D＞Xp-Xc，Δz_th由简单的公式 ${\mathrm{\Δz}}_{\mathrm{th}}\≅L/\mathrm{\π\Δx}$ 确定，其中Δx是横坐标X的最大误差。125mm的物体用580像素点表示，约等于是0.22mm/像素。由于照相机的分辨率有限而造成的最大横向误差约为1/2个像素点，Δx≈0.11mm，将D＝230mm，L＝1000mm，Δx＝0.11mm代入方程(7)，得到Δz_th≈0.48mm(注意本发明的平均和滤波的方法能减少中心位置的误差到小于0.5像素点)。因为测量误差远大于因照相机分辨率而造成的误差，因此测量误差主要不是因照相机的有限分辨率造成的。

图13b显示用以上所述的串扰补偿方法处理图像数据的结果，它可减小测量误差到0.8mm，相当于在测量精度里有1.9倍的改进。

图13c显示了对颜色补偿数据增加逐行参考平面校准的结果。最大测量误差被减小到0.5mm，相当于改进了1.6倍，总共在精度上改进了3倍。

图13d显示在串扰补偿和逐线校准数据的情况下增加偏差调整中心峰值检测的结果，最大误差可减小到0.25mm，相当于2倍的改进，总共有6倍的改进。因此，测量精度超过基于照相机分辨率估计的误差的2倍。

图13e显示加权平均后的测量轮廓，平均相邻的光条数据会人为地改进照相机分辨率，并且加权平均比一致平均有更大的改进。因此，照相机的分辨率并不限制在基本的0.5个像素点。可以看到，最大误差减小到0.1mm相当于2.5倍的改进，总共在精度上有15倍(1.5mm/0.1mm)的改进。

图14a显示了一张人脸，图14b显示了用三色结构化光照亮后的人脸，图14c显示经系统处理后的人脸的重构图像。图14d显示了一个高度轮廓的横截面。

本发明已参照实施例进行了详细的图示及说明，但本领域的普通技术人员应理解在不偏离本发明基本原理和范围的情况下，可作其它的一些变化和调整，本发明范围只由所附权利要求限定。

Claims (19)

1.一种三维成像装置，包括：

结构化光源，将已知的光图形投射到物体上，该结构化光源发出结构化光，该结构化光包括至少三种不同颜色的彩色条纹，每两条彩色条纹之间都有不透明的区域将两条彩色条纹分开，防止彩色条纹在物体上的影像互相重叠；

照相机，在结构化照明条件下捕获物体的二维图像，所述图像包括物体反射后的所述已知投射图形的特征；及

数据处理器，接收表征所述二维图像的图像数据并进行算法处理，以提供：

修改后的图像数据，其包括修改后所述反射图形特征的视觉位置，用于更精确地推算出所述反射图形特征的实际位置；及

三维信息，由所述修改后的图像数据计算出来，用于确定所述反射图形特征的位置。

2.如权利要求1所述的装置，其中所述数据处理器对所述图像数据进行偏差调节中心检测处理。

3.如权利要求1所述的装置，其中所述数据处理器进行所述三维信息的中心加权平均。

4.如权利要求1-3中任一项所述的装置，其中还包括一光结构化部件，它具有提供结构化光照图形的元件，该元件包括透过不同颜色的光的缝隙，及分开这些缝隙的不透光的不透明区域。

5.如权利要求1-3中任一项所述的装置，其中所述处理器通过对图像数据的颜色补偿来提供修改后的图像数据。

6.如权利要求1-3中任一项所述的装置，其中所述物体是运动的。

7.如权利要求1-3中任一项所述的装置，其中所述物体是人的至少一部分。

8.如权利要求1-3中任一项所述的装置，其中所述数据处理器通过比较所述修改后的图像数据和存储的图像数据来确定所述三维信息，该存储的图像数据代表由一参考平面反射的所述结构化光的图像。

9.如权利要求1-3中任一项所述的装置，其中该装置包括单个图像捕获装置和单个与之同步的光源，所述三维信息取决于所述图像捕获装置捕获的单个图像，并与光源同步。

10.如权利要求1-3中任一项所述的装置，其中：

所述装置包括单个图像捕获装置和单个与该图像捕获装置同步的光源；

所述图像数据由所述单个图像捕获装置捕获的单个图像确定，并与所述单个光源同步；且

所述数据处理器通过比较所述修改后的图像数据与存储的图像数据来计算出所述三维信息，其中该存储的图像数据表示参考平面反射的所述结构化光的图像。

11.一种获取物体的三维图像的方法，包括步骤：

准备一个投射图形化光的光结构化装置，该图形化光包括至少三种不同颜色的彩色条纹，每两条彩色条纹之间都有不透明的区域将两条彩色条纹分开，防止彩色条纹在物体上的影像互相重叠；

用所述图形化光照射物体；

获得表示反射图形化光的物体的图像数据；

用算法修改上述数据，提供更精确代表所述图像的修改后的图像数据；及

由修改后的数据确定物体的三维信息。

12.如权利要求11所述的方法，其中用算法修改数据的步骤包括对数据进行偏差调整中心检测处理。

13.如权利要求11或12所述的方法，还包括所述三维信息的中心加权平均处理步骤。

14.如权利要求11～12之一所述的方法，其中所述的光结构化装置包括提供结构化照明图形的部件，该部件包括透过不同色光的缝隙，这些缝隙由不透光的不透明区域隔开。

15.如权利要求11～12之一所述的方法，其中所述用算法修改数据的步骤包括对数据进行颜色补偿。

16.如权利要求11～12之一所述的方法，其中所述物体是运动的。

17.如权利要求11～12之一所述的方法，其中所述物体是人的至少一部分。

18.如权利要求11～12之一所述的方法，其中确定三维信息的步骤包括将所述修改后的图像数据与存储的图像数据进行比较，所述存储的图像数据代表由参考平面反射的来自所述光结构化装置的结构化光的存储图像。

19.如权利要求11～12之一所述的方法，其中照射物体的步骤利用了仅仅一个光结构化装置；且

确定三维信息的步骤利用了仅仅一个物体图像。

Images