[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101563709B - 校准照相机系统 - Google Patents

校准照相机系统 Download PDF

Info

Publication number
CN101563709B
CN101563709B CN2007800468950A CN200780046895A CN101563709B CN 101563709 B CN101563709 B CN 101563709B CN 2007800468950 A CN2007800468950 A CN 2007800468950A CN 200780046895 A CN200780046895 A CN 200780046895A CN 101563709 B CN101563709 B CN 101563709B
Authority
CN
China
Prior art keywords
image
pair
images
line
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800468950A
Other languages
English (en)
Other versions
CN101563709A (zh
Inventor
R·P·克莱霍斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101563709A publication Critical patent/CN101563709A/zh
Application granted granted Critical
Publication of CN101563709B publication Critical patent/CN101563709B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种校准照相机系统的方法，所述照相机系统能够同时记录至少两幅图像。该方法包括处理第一对图像的步骤，其中该处理步骤包括：通过平面上的投影图对所述第一对的第一和第二图像中的至少一幅进行变换，该图取决于一个或多个参数值，以便将所述第一对的第一图像中的核线与该第一对的第二图像中的相应核线对准，从而得到第二对图像。该方法还包括：针对视差估计对应的值，这些值将沿着所述第二对的第一图像中的第一核线的对应第一像素与沿着所述第二对的第二图像中的相应第二核线的对应第二像素关联；以及依照对应像素的视差的对应值使所述第二图像对的第一图像中的第一核线的对应像素移位。该方法还包括：确定所述第二图像对的第一和第二图像之间的误差度量，该误差度量取决于所述一个或多个参数；确定用于所述一个或多个参数值的更新以便降低所述误差度量的值；以及使用所述更新来更新所述一个或多个参数值。

Description

校准照相机系统
技术领域
本发明涉及校准照相机系统的方法、具有校准装置的照相机系统、用于照相机系统中的校准装置以及用于实现所述方法的软件。
背景技术
计算机视觉系统通常包括用于捕获立体图像的立体照相机系统，所述立体图像随后以数字的方式进行处理。这样的照相机系统要经过校准，使得图像数据是进一步处理的正确输入。照相机校准的目的是确定从三维(3D)世界坐标到二维(2D)图像坐标的变换。一旦该变换已知，那么就可以根据一幅或多幅图像中的2D信息获得有关真实世界的3D信息。
在“Camera Self-Calibration：Theory and Experiments”，Proc.Second European Conf.Computer Vision，pp.321-334，May 1992中，O.Faugeras、T.Luong和S.Maybank描述了一种校准方法，该方法仅需要来自图像序列的点匹配。作者们宣称仅仅通过使照相机指向环境、选择感兴趣点并且随着照相机的运动在图像中跟踪这些点来校准照相机是可能的。无需知道照相机的运动。他们的照相机校准在两个步骤中进行计算。第一步，找出核(epipolar)变换。第二步，使用Kruppa方程将核变换与绝对锥(absolute cone)的图像关联。
在“Maintaining Stereo Calibration by Tracking Image Points”，1993CVPR，New York，June 1993中，J.Crawley、P.Bobet和C.Schmid探讨了当照相机的聚焦、捕获、缩放或聚散角动态改变时更新照相机校准矩阵的主动3D视觉中的问题。作者们提出了一种无需进行矩阵求逆的根据场景中的五个半点计算投影矩阵的技术。然后，他们提出了一种通过跟踪参考点来校正投影变换矩阵的技术。实验表明，聚焦的变化可以通过跟踪三个点获得的仿射变换(affine transform)来校正。对于照相机聚散度的改变，基于跟踪四个像点的投影校正比仿射校正矩阵稍精确些。他们还展示了立体重建如何使得参考框架从一个目标“跳跃”到另一个目标成为可能。场景中的四个非共面点的任何集合可以定义这种参考框架。他们展示了如何在立体头平移或旋转时保持参考框架被锁定到四点集合上。这些技术使得在目标的本征坐标内重建目标的形状而不必使新的观察与部分重建的描述匹配成为可能。
在“Online Stereo Camera Calibration”，Tina Memo No.1992-002，updated 6/9/2005中，N.Thacker和P.Courtney指出立体视觉在真实世界应用中的成功实现需要自调谐系统。他们描述了一种用于组合许多信息源以便校准立体照相机系统的统计框架，其导致允许在照相机的正常使用期间持续进行重新校准的校准系统。这些作者借助工作视觉系统中所测量的3D目标、精确的机器人运动以及匹配的立体特征展示了这点。更具体而言，Thacker等人使用用于等效匹配的特征点进行变换的迭代估计过程以及照相机参数来校准立体照相机系统。
在Dang和Hoffman的“Tracking Camera Parameters of An ActiveStereo Rig”，Pattern Recognition，vol.4174，21September 2006中，公开了一种用于连续自校准具有倾斜照相机的有源立体装置的方法。在该论文中，评估了三种用于自校准的不同模型并且将其系统地表述为用于自校准的Gauss-Helmert模型：束调节，核约束以及三线性约束。
发明内容
以上Faugeras和Crawley的出版物中提及的系统依赖于跟踪运动的参考目标以进行其照相机校准。Thacker的出版物中的系统使用方法中的参数采用迭代过程中使用特征点来估计。
本发明人提出了可替换的方法，该方法不需要选择适当的参考点。本发明提供了无需直接求解投影参数的校准照相机系统的方法。该方法包括处理第一对图像的步骤。该处理步骤包括通过平面上的投影图或投影映射对所述第一对的第一和第二图像中的至少一幅进行变换。该图取决于一个或多个参数值，以便将所述第一对的第一图像中的核线与该对的第二图像中的相应核线对准，进而得到第二对图像。然后，针对视差估计对应的值，这些值将沿着所述第二对的第一图像中的第一核线的对应第一像素与沿着所述第二对的第二图像中的相应第二核线的对应第二像素关联。视差指示深度。随后，依照对应像素的视差的对应值使所述第二图像对的第一图像中的第一核线的对应像素移位。然后，确定所述第二图像对的第一和第二图像之间的误差度量。该误差度量取决于所述一个或多个参数值。接下来，确定用于所述一个或多个参数值的更新以便降低误差度量的值，并且使用这样确定的更新来更新所述一个或多个参数值。
在本发明中，深度估计结果与所述移位的匹配的质量用作照相机校准参数的更新准则。因此，使用深度估计以高效的方式执行所述操作。本发明因而提供了无需直接方式求解投影参数的校准照相机系统的方法，并且以无需选择适当的参考点的方式实现了这点。
依照本发明的第一实施例，所述变换步骤包括通过所述第一对的第一和第二图像中的某幅图像的平面上的投影图矫正所述第一对的第一和第二图像中的另一图像。通过这种方式，可以校准照相机，并且此外只需要矫正所述第一对的单幅图像，从而降低了处理的量。
依照本发明的第二实施例，所述变换步骤包括通过在同一平面上的单独的投影图矫正所述第一对的第一和第二图像，以便水平对准所述第二对的图像中的对应核线。尽管矫正两幅图像需要额外的处理，但是两幅图像中核线的水平放置有助于进一步的处理。
依照本发明的方法优选地包括使下一对图像经过所述处理操作的步骤，以便在照相机系统的操作使用时在进行的迭代过程中校准该照相机系统。
本发明的实施例涉及包括用于校准照相机系统的校准装置的照相机系统、用于这种系统中的校准装置以及用于实现本发明的方法的软件，它们全部在所附的权利要求中进行限定。
附图说明
下面将通过举例的方式并且参照附图进一步详细地解释本发明，其中：
图1为说明根据3D世界中的目标建立2D图像的图示；
图2为说明从不同的位置并且以不同的取向建立目标的两幅2D图像的图示；
图3为说明用于匹配不同图像中图像位置的几何配置图示；
图4给出了解释本发明中的处理的公式；
图5和图6为解释视差估计的图示和公式；
图7为依照本发明第一实施例的系统的图示；
图8为依照本发明第二实施例的系统的图示；
图9为标识本发明方法的步骤的过程图。
在所有附图中，相似或相应的特征由相同的附图标记表示。
具体实施方式
在计算机视觉中，可以使用多个照相机通过立体成像来获得深度估计。然后，从不同角度的相同目标拍摄的立体对的对应图像之间的视差可以用于测量距离或深度。人类视觉系统使用视差作为双眼线索，以便通过使用左右眼观看的视差来确定深度。在机器视觉中，类似的技术用于诸如机器人导航和图像分析之类的应用领域中。
存在若干种从一对二维图像中提取三维结构的方法。在称为校准方法的第一种方法中，需要针对某个世界坐标系统来校准照相机。然后，通过提取该系统的“本质”矩阵来计算对极几何结构(参见下面的图2和图3)。这允许计算成像场景的三维欧几里德(Euclidean)结构。之后，可以通过仅仅搜索核线上的等效物来估计视差。称为非校准方法的第二种方法相应于其中生物系统根据视觉确定三维结构的方式。在非校准系统中，根据图像的相应关系计算称为基本矩阵的量，并且其然后用来确定成像场景的投影三维结构。本发明涉及校准方法。
典型地，视差估计基于核线上可获得的信息，以便建立详细的深度图。“核线(epipolarline)”的概念将参照图2和图3更加详细地加以描述。为了确保核线方法正确地工作，必须适当地对准(即校准)照相机，以便使得对应图像的对应像素行与对应照相机的核线重合。
机械照相机校准是一个棘手的过程，其典型地需要操作者的手工干预，有时如果照相机在操作使用时受到抖动或震动，甚至需要连续地或周期地进行手工干预。
本发明中使用的术语“校准”指的是通过仅仅使用由照相机系统拍摄的图像中可获得的信息计算该照相机系统的本征参数的过程。无需校准框架或已知的目标用于立体照相机系统，因为两幅图像反映了相同时刻的场景。使相同场景的两个不同视点彼此关联的几何信息完全包含在称为本质矩阵的数学构造中。这两个视点可以是立体对的图像或者时间对的图像。在后一种情况下，两幅图像在不同的时间拍摄，照相机在图像采集之间移动。首先参照图2和图3考虑相同场景的两幅不同图像的几何结构，其称为对极几何结构。它基于三角测量。
图1为说明建立3D世界中的目标的2D图像的图示。3D世界中的目标102由2D图像104中的照相机捕获。3D坐标中目标102的位置给定为M(X，Y，Z)，其中X、Y和Z为该位置相对于某个参考坐标系106的笛卡尔坐标值。图像104包括目标102在位置m(u，v)处的像，其中u和v为目标102的像的位置相对于坐标系108的笛卡尔坐标值。为了方便起见，坐标系108使其原点位于光轴与图像104平面的交点处。图像104中的位置m(u，v)由目标102沿投影中心110的方向在图像104平面上的投影确定。
图2为说明从不同位置并且以不同取向拍摄的目标102的两幅2D图像建立的图示。目标102现在由左边的照相机和右边的照相机捕获，给出左边由投影中心204确定的图像202以及右边由投影中心208确定的图像206。目标102的3D位置通过三角测量的确定取决于将图像202中的目标102的图像位置210与图像206中的目标102的位置212匹配。
图3为说明用于使图像位置210和212彼此匹配的几何配置的图示。目标102以及投影中心204和208确定3D世界中的平面302。平面302与图像202具有交线304，其由图像位置210和中心204、208决定。交线304是线段。类似地，平面302还与图像206具有交线306，其由图像位置210和中心204、208决定。其中线段304和306与连接中心204和208的基线312相交的位置308和310称为“核”。线段304和306称为“核线”。核308可以看作中心208在左边照相机中的像。类似地，核310可以看作中心204在右边照相机中的像。平面302称为“核平面”。
因此，一旦具有有关图像位置210和212其中之一的信息，比如说位置210，以及有关核308和310的信息，那么平面302已知并且因而核线304和306已知。结果，能够获得在核线306上的另一图像位置，即位置212。
依照本发明，如果图像首先经过称为矫正的步骤，那么可以有效得多地解决所述立体匹配问题，以及立体图像中的位置匹配的问题。这个步骤包括对图像进行变换，使得核线彼此对准，优选地水平对准。然后，将图像的平面映射到包括投影中心之间的直线的另外的平面上。参照图3，将图像202和206的平面映射到包括基线312的平面上。在这种情况下，立体匹配算法可以利用核约束并且将搜索空间减小到一维(即矫正图像的相应行)。所述核约束于是将匹配问题约简为沿着共轭核线的一维搜索。优选地，不通过将一幅图像的核线上的单个像素与另一幅图像的核线上的单个像素进行比较来执行所述搜索。相反地，比较沿着核线的像素窗口以寻找最佳匹配。
在本发明中，通过将图像206直接映射到图像202平面上来实现所述矫正步骤，因为本发明中的系统通过其光轴近似平行的照相机来使用立体视觉。本发明通过调节照相机图像之一使得两幅图像中的核线重合来校准所述系统。可选地，调节两幅照相机图像，使得核线相应于两幅图像中的水平像素行。
参照图4，等式(402)-(410)具体说明了所述变换，其用图像202平面的坐标x和y表示图像206平面中的坐标x’和y’。表达式(406)中量m的阵列中的值代表照相机的校准参数。在G(x，y，m)的表达式中，由参数m4引入竖直平移(vertical shift)，而从F(x，y，m)的表达式中省略了水平平移(horizontal shift)，因为要将视差作为单独的实体(entity)来考虑。
现在可以根据估计的视差图和校准参数建立图像202与矫正的图像206之间误差的度量。估计的视差图包括对应像素(x，y)的估计的视差值d(x，y)。下文将描述视差估计过程。关于表达式(406)的校准参数最小化该误差给出所搜索的校准值。
表达式(412)中给出了误差度量E(m)的实例。该误差度量E(m)是特定项的平方和。每个特定项是左边图像202的核线上坐标x、y处的特定窗口Aleft中的像素与右边图像206中沿x方向估计的视差值d(x，y)移位的坐标(x’，y)处的特定窗口Aright中的像素之间的差值。应当指出的是，由于核线与水平对准，y坐标对于左边的窗口Aleft和右边的窗口Aright是相同的。通过对所有窗口最小差值平方求和形成总和E(m)。术语“最小”将在下文进一步进行解释。然后，和E(m)用作更新投影参数的标准。
存在若干种通过数值方法寻找最小平方和的问题的解的方法。Levenberg-Marquardt算法提供了最小化若干通常为非线性的依赖于公共的参数集合的函数的平方和这一数学问题的数值求解方案。这种最小化问题尤其出现在最小二乘曲线拟合中。Levenberg-Marquardt算法(LMA)介于高斯-牛顿算法(GNA)和梯度下降法之间。一方面，LMA比GNA鲁棒性更强，这意味着在许多情况下，即使它开始时非常远离最终的最小值，它也能找到解。另一方面，对于表现良好的函数以及合理的起始参数而言，LMA倾向于比GNA稍慢。LMA是最为流行的曲线拟合算法之一；欲知更多的信息，参见，Levenberg，K.的“A Method for the Solution of Certain Problems in LeastSquares.”Quart.Appl.Math.2，164-168，1944或者Gill，P.E.和Murray，W.的“Algorithms for the solution of the nonlinearleast-squares problem”，SIAM J.Numer.Anal.15[5]977-992，1978，两篇论文都通过援引的方式纳入本说明书。
参照图5和图6描述了用于估计单独的像素(x，y)的视差的过程的实例。首先，考虑左边图像202中的比如3x3像素的窗口502以及右边图像206中的类似的窗口504。窗口502以像素坐标(x，y)为中心环绕，并且窗口504以像素坐标(x+d，y)为中心环绕，其中表达式x+d估计值在0与N之间，N为图像的宽度。例如根据图6中的公式602将窗口502的像素值与窗口504的像素值进行比较。基本上，公式602针对特定视差值d给出坐标(x，y)处绝对差值(SAD)的和。下一步是确定使表达式602最小的值d，该值d可以用作像素(x，y)的视差d(x，y)的估计。SAD(x，y；d)的最小值用SADmin(x，y)表示。
对于所有对应的像素依次求取SADmin(x，y)的和，得到公式(412)的表达式表示的误差度量E(m)。
现在，可以通过使用如图7所示的系统700的配置来快速执行图4中示出的程序。系统700分别包括左边和右边的照相机704和702。系统700还包括深度估计器706，其从照相机702和704拍摄的立体图像中提取出深度图708。这种提取器在本领域中是已知的，并且不必在这里进一步进行详细的描述。深度估计基于视差。L.Falkenhagend发表在Proc.of European Workshop on combinedReal and Synthetic Image Processing for Broadcast and VideoProduction，Hamburg，November 1994的“Depth Estimation fromStereoscopic Image Pairs Assuming Piecewise Continuous Surfaces”，中提出了从视差获取深度估计的详细的描述。参照图4、图5和图6描述基于视差导出误差度量E(m)。在最小化器710中，通过计算阵列m 712中的校准参数的更新值来最小化误差度量E(m)。在上面，参照图4描述了最小化器710的操作的一个实例。然后，在校准单元714中使用校准参数的更新以便改变来自照相机702的图像的像素的坐标。深度估计器706、误差最小化器710、阵列m 712和校准单元714是校准装置716的一部分。在本发明的一个实施例中，校准单元714是来自照相机702的数据路径中的软件模块。于是，所述校准以纯软件实现。另一个实施例至少对于照相机702使用全景-倾斜-缩放照相机。在该实施例中，校准单元714包括在最小化器710的控制下调节照相机702的全景、倾斜和缩放的全景-倾斜-缩放单元。于是，校准单元714的全景-倾斜-缩放单元包括例如实现照相机702处的调节的步进电机或另一换能器。
当启动系统700的操作使用时，利用阵列m中的某一参数值初始化系统700。初始化阵列m方法如下。将参数m0、m3和m7设为单位1。如果没有倾斜，则将m7设为单位1。将参数m1、m2、m4、m5和m6设为0。
参照图8，系统800表示一种照相机系统，其能够同时记录至少两幅图像并且包括构成立体照相机系统的两个照相机702和704以及经过设置处理来自对应照相机的第一对图像的校准装置716。系统800进一步包括校准单元814，该校准单元经过设置能够在深度估计器706处理之前对从对应照相机获得的第一对图像的第一和第二图像进行变换。
图9为说明系统700的迭代操作的过程图900。在步骤902中，利用初始值设置等式402的阵列m。在步骤904中，捕获一对图像(202，206)。在步骤906中，对所述对的第一图像进行变换，以便将该对的第一图像中的核线(304)与该对的第二图像中的相应核线(306)对准。该变换使用了通过第二图像的平面上的投影图(402，404)来矫正第一图像。该图取决于当前存储在阵列m中的一个或多个参数值。在步骤908中，确定视差值。所使用的视差值优选地为将沿着第一核线的对应第一像素与沿着第二核线的对应第二像素关联，如参照图5和图6所描述的。在步骤910中，在经过变换的第一图像中将经过变换的核线的像素或者将以经过变换的核线为中心的窗口中的像素按照这些像素的视差的值进行移位。在步骤912中，确定经过变换的第一和第二图像之间的误差度量(412)。该误差取决于阵列m中的一个或多个参数。在步骤914中，减少该度量，从而确定阵列m中的所述一个或多个参数值的更新。在步骤916中，这样确定的更新用来更新阵列m中的一个或多个参数值。然后，该过程返回到步骤904从而获取要利用阵列m中的更新值进行处理的下一对图像。
应当指出的是，上述实施例说明了而不是限制了本发明，并且本领域技术人员应当能够设计出许多可替换的实施例而不脱离所附权利要求的范围。
在权利要求中，置于括号中的任何附图标记都不应当被视为对权利要求的限制。动词“包括”及其变体的使用并没有排除权利要求中未列出的元件或步骤的存在。元件之前的冠词“一”并没有排除多个这样的元件的存在。
本发明可以借助于包括若干不同元件的硬件以及借助于经过适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的一些可以由同一硬件项实施。在相互不同的从属权利要求中陈述某些技术措施这一事实并不意味着这些技术措施的组合不可以加以利用。

Claims (9)

1.一种校准照相机系统(700)的方法，所述照相机系统能够同时记录至少两幅图像，该方法包括处理第一对图像(202，206)的步骤，其中该处理步骤包括：
通过平面上的投影图(402，404)对所述第一对图像的第一和第二图像中的至少一幅进行变换(906)，该投影图取决于一个或多个参数值(406)，以便将第一对图像的第一图像中的核线(304)与第二图像中的相应核线(306)对准，从而得到第二对图像；
估计(908)视差的对应值，这些值将沿着所述第二对图像的第一图像中的第一核线的对应第一像素与沿着所述第二对图像的第二图像中的相应第二核线的对应第二像素关联；
依照对应像素的视差的对应值将第二对图像的第一图像中第一核线的对应像素移位(910)；
在所述移位(910)之后，确定(912)所述第二对图像的第一和第二图像之间的误差度量(412)，该误差度量取决于一个或多个参数；
确定(914)用于减小所述误差度量的值的所述一个或多个参数值的更新；以及
使用所述更新来更新(916)所述一个或多个参数值。
2.权利要求1的方法，其中所述变换步骤包括通过第一对图像的第一和第二图像中一个图像的平面上的投影图(402，404)矫正所述第一对图像的第一和第二图像中的另一幅图像。
3.权利要求1的方法，其中所述变换步骤包括通过在同一平面上的单独的投影图(402，404)矫正第一对图像的第一和第二图像，以便水平对准第二对图像的图像中的对应核线。
4.权利要求1的方法，包括使下一对图像经过所述处理步骤的步骤。
5.权利要求1或2的方法，其中所述照相机系统包括立体照相机系统。
6.一种能够同时记录至少两幅图像的照相机系统(700)，该照相机系统包括照相机和校准装置(716)，该校准装置经过设置用于处理第一对图像(202，206)用以校准所述照相机系统，其中所述校准装置包括：
矫正器装置，设置用于对所述第一对图像的第一和第二图像中的至少一幅进行变换，以便将第一对图像的第一图像中的核线(304)与第二图像中的相应核线(306)对准，从而得到第二对图像；
估计装置，设置用于估计(908)视差的对应值，这些值将沿着所述第二对图像的第一图像中的第一核线的对应第一像素与沿着所述第二对图像的第二图像中的相应第二核线的对应第二像素关联；
移位装置，设置用于依照对应像素的视差的对应值使所述第二对图像的第一图像中的第一核线的对应像素移位(910)；
误差确定装置，设置用于在所述移位(910)之后确定(912)所述第二对图像的第一和第二图像之间的误差度量(412)，该误差度量取决于一个或多个参数；
误差减小装置(710)，用于确定(914)一个或多个参数值的更新，以减小所述误差度量的值；以及
更新装置，用于使用所述更新来更新(916)所述一个或多个参数值。
7.权利要求6的照相机系统，包括用于获取由所述校准装置处理的另一对图像的获取装置。
8.权利要求6或7的照相机系统，包括立体照相机系统。
9.校准装置(714)，用于在权利要求6的照相机系统中使用，该校准装置经过设置用于处理第一对图像(202，206)用以校准所述照相机系统，其中所述校准装置包括：
矫正器装置，设置用于对所述第一对图像的第一和第二图像中的至少一幅进行变换，以便将第一对图像的第一图像中的核线(304)与第二图像中的相应核线(306)对准，从而得到第二对图像；
估计装置，设置用于估计(908)视差的对应值，这些值将沿着所述第二对图像的第一图像中的第一核线的对应第一像素与沿着所述第二对图像的第二图像中的相应第二核线的对应第二像素关联；
移位装置，设置用于依照对应像素的视差的对应值使所述第二对图像的第一图像中的第一核线的对应像素移位(910)；
误差确定装置，设置用于在所述移位(910)之后确定(912)所述第二对图像的第一和第二图像之间的误差度量(412)，该误差度量取决于一个或多个参数；
误差减小装置(710)，用于确定(914)一个或多个参数值的更新，以减小所述误差度量值；以及
更新装置，用于使用所述更新来更新(916)所述一个或多个参数值。
CN2007800468950A 2006-12-18 2007-12-14 校准照相机系统 Expired - Fee Related CN101563709B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06126322 2006-12-18
EP06126322.4 2006-12-18
PCT/IB2007/055101 WO2008075271A2 (en) 2006-12-18 2007-12-14 Calibrating a camera system

Publications (2)

Publication Number Publication Date
CN101563709A CN101563709A (zh) 2009-10-21
CN101563709B true CN101563709B (zh) 2013-07-31

Family

ID=39536807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800468950A Expired - Fee Related CN101563709B (zh) 2006-12-18 2007-12-14 校准照相机系统

Country Status (5)

Country Link
US (1) US8593524B2 (zh)
EP (1) EP2132707A2 (zh)
JP (1) JP5285619B2 (zh)
CN (1) CN101563709B (zh)
WO (1) WO2008075271A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2449888A1 (en) * 2003-11-17 2005-05-17 Idelix Software Inc. Navigating large images using detail-in-context fisheye rendering techniques
TW200937348A (en) * 2008-02-19 2009-09-01 Univ Nat Chiao Tung Calibration method for image capturing device
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
CN102033414B (zh) * 2009-09-27 2012-06-20 深圳市掌网立体时代视讯技术有限公司 一种立体数码成像会聚装置及方法
TWI402479B (zh) 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
US8837774B2 (en) 2010-05-04 2014-09-16 Bae Systems Information Solutions Inc. Inverse stereo image matching for change detection
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5392415B2 (ja) * 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
TWI458339B (zh) * 2011-02-22 2014-10-21 Sanjet Technology Corp ３ｄ影像感測器校正方法
FR2972061B1 (fr) * 2011-02-24 2013-11-15 Mobiclip Procede de calibrage d'un dispositif de prise de vue stereoscopique
JP5170276B2 (ja) * 2011-03-31 2013-03-27 カシオ計算機株式会社 画像再構成装置、画像再構成方法、及び画像再構成プログラム
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
JP5870266B2 (ja) * 2011-06-06 2016-02-24 パナソニックＩｐマネジメント株式会社 キャリブレーション装置及びキャリブレーション方法
US9342916B2 (en) * 2011-12-30 2016-05-17 Intel Corporation Coarse-to-fine multple disparity candidate stereo matching
WO2013151883A1 (en) * 2012-04-02 2013-10-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9019350B2 (en) * 2012-04-12 2015-04-28 Raytheon Company Stereo rectification method
DE102012206329A1 (de) * 2012-04-17 2013-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung eines Disparitätsbildes oder einer 3D-Punktwolke
WO2013182873A1 (en) * 2012-06-08 2013-12-12 Nokia Corporation A multi-frame image calibrator
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
US9066085B2 (en) 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
US20140218482A1 (en) * 2013-02-05 2014-08-07 John H. Prince Positive Train Control Using Autonomous Systems
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
FR3026591B1 (fr) * 2014-09-25 2016-10-21 Continental Automotive France Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque
DE102014221074A1 (de) * 2014-10-16 2016-04-21 Conti Temic Microelectronic Gmbh Verfahren zum Überwachen einer Rektifizierung von Bildern
KR102258196B1 (ko) * 2014-10-30 2021-05-28 현대모비스 주식회사 차량 영상 보정 장치 및 차량 영상 보정 방법
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
US9948913B2 (en) 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
US9628695B2 (en) * 2014-12-29 2017-04-18 Intel Corporation Method and system of lens shift correction for a camera array
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
JP6507730B2 (ja) * 2015-03-10 2019-05-08 富士通株式会社 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
DE102015111120A1 (de) 2015-07-09 2017-01-12 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
EP3176750B1 (en) 2015-12-04 2019-03-13 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
JP6702796B2 (ja) * 2016-05-16 2020-06-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
CN106875451B (zh) * 2017-02-27 2020-09-08 安徽华米智能科技有限公司 相机标定方法、装置及电子设备
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
CN107909616A (zh) * 2017-12-14 2018-04-13 元橡科技（北京）有限公司 一种双目视觉系统的自动矫正方法
CN109658451B (zh) * 2018-12-04 2021-07-30 深圳市道通智能航空技术股份有限公司 一种深度感知方法，装置和深度感知设备
CN111080709B (zh) * 2019-11-22 2023-05-05 大连理工大学 基于轨迹特征配准的多光谱立体相机自标定算法
WO2022141054A1 (en) * 2020-12-29 2022-07-07 Abb Schweiz Ag Method and apparatus for managing camera system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6011863A (en) * 1997-06-12 2000-01-04 Nec Research Institute, Inc. Cylindrical rectification to minimize epipolar distortion
WO2004088245A1 (en) * 2003-03-27 2004-10-14 Zanen Pieter O Method of solving the correspondence problem in convergent stereophotogrammetry

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP2004354257A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP4307283B2 (ja) * 2004-02-17 2009-08-05 三菱電機株式会社 ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6011863A (en) * 1997-06-12 2000-01-04 Nec Research Institute, Inc. Cylindrical rectification to minimize epipolar distortion
WO2004088245A1 (en) * 2003-03-27 2004-10-14 Zanen Pieter O Method of solving the correspondence problem in convergent stereophotogrammetry

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Thao Dang等.Tracking Camera Parameters of an Active Stereo Rig.《Pattern Recognition》.2006,第4174卷 *

Also Published As

Publication number Publication date
WO2008075271A3 (en) 2009-05-07
WO2008075271A2 (en) 2008-06-26
JP5285619B2 (ja) 2013-09-11
EP2132707A2 (en) 2009-12-16
US8593524B2 (en) 2013-11-26
JP2010513907A (ja) 2010-04-30
CN101563709A (zh) 2009-10-21
US20100020178A1 (en) 2010-01-28

Similar Documents

Publication Publication Date Title
CN101563709B (zh) 校准照相机系统
US6847392B1 (en) Three-dimensional structure estimation apparatus
US7113632B2 (en) Method of and apparatus for rectifying a stereoscopic image
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
US8953847B2 (en) Method and apparatus for solving position and orientation from correlated point features in images
US9883163B2 (en) Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20200334842A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
US20120177283A1 (en) Forming 3d models using two images
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN104200454B (zh) 鱼眼图像畸变校正方法及装置
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
Zeller et al. From the calibration of a light-field camera to direct plenoptic odometry
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
US20090080767A1 (en) Method for determining a depth map from images, device for determining a depth map
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
BR112021008558A2 (pt) aparelho, método de estimativa de disparidade, e produto de programa de computador
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN110322514B (zh) 一种基于多中心投影模型的光场相机参数估计方法
CN111915741A (zh) 一种基于三维重建的vr生成器
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN111127560A (zh) 一种用于三维重建的三目视觉系统的标定方法及系统
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130731

Termination date: 20141214

EXPY Termination of patent right or utility model