CN1312458C - 摄像机校正装置 - Google Patents

Abstract

本发明提供一种能够对设置在车辆等上的摄像机的光学系统的参数进行校正的摄像机校正装置。该摄像机校正装置(100)包括：第一壳体位置信息保持部(115)，保持第一壳体位置信息；第二壳体位置信息保持部(116)，保持第二壳体位置信息；第一光学系统位置信息生成部(117)，生成第一光学系统位置信息；第一光学系统位置信息保持部(118)，保持第一光学系统位置信息；第二光学系统位置信息生成部(120)，生成第二光学系统位置信息；第二光学系统位置信息保持部(130)，保持第二光学系统位置信息；校正部(160)，根据由摄像机(110)取得的第二坐标系(102)中的图像信息，对保持于第二光学系统位置信息保持部(130)中的第二光学系统位置信息进行校正。

Description

摄像机校正装置

技术领域

本发明涉及摄像机(camera)及对设置于车辆等上的摄像机进行校准的摄像机校正装置。

背景技术

目前，与设置于车辆的外部的摄像机连接，根据摄像机取得的图像信息来检测车辆的周围、特别是路面上的对象物的位置的ECU(Electronic ControlUnit)等的摄像控制装置已在普及。在对这种摄像控制装置组合摄像机的过程中，为了指定摄像机的各个光学系统的参数，一般进行称为“校准”的操作。

作为进行上述的摄像机的校准的校准装置，已知有在摄像机被设置在车辆之前进行摄像机的校准的装置，以及在摄像机被设置在车辆以后进行摄像机的校准的装置，特别是从简化将摄像机设置在车辆上时进行的操作的观点出发，对将摄像机设置在车辆之前进行摄像机的校准的摄像机校准装置的需要有所提高。

如图39到图41所示，这样的现有的摄像机校准装置500与作为摄像装置的摄像机510连接。摄像机510具有壳体511和由壳体511支撑的光学系统512，经由光学系统512取得图像信息。

摄像机校准装置500包括：第一壳体位置信息保持部515，保持用于表示壳体511相对于在摄像机生产工厂中形成的第一坐标系501的位置的第一壳体位置信息；第二壳体位置信息保持部516，保持用于表示壳体511相对于在车辆生产工厂形成的第二坐标系502的位置的第二壳体位置信息。

摄像机校准装置500在摄像机生产工厂中进行摄像机510的校准，在第一坐标系501中配置用于进行摄像机510的校准的标记505。这里所说的摄像机510的校准，是对将壳体511设置在相对于车辆508通过设计而决定的位置时的光学系统512的位置进行计算的动作。

而且，摄像机校准装置500包括：第一光学系统位置信息生成部517，生成表示光学系统512对于第一坐标系501的位置的第一光学系统位置信息；第一光学系统位置信息保持部518保持第一光学系统位置信息生成部517生成的第一光学系统位置信息。第一光学系统位置信息生成部517根据摄像机510取得的标记505的图像信息，计算光学系统512相对于第一坐标系501的位置。

而且，摄像机校准装置500包括：第二光学系统位置信息生成部520，生成用于表示光学系统512对于第二坐标系502的位置的第二光学系统位置信息；第二光学系统位置信息保持部530保持第二光学系统位置信息生成部520生成的第二光学系统位置信息。

第二光学系统位置信息生成部520根据第一壳体位置信息保持部515中保持的第一壳体位置信息和第一光学系统位置信息保持部518中保持的第一光学系统位置信息，由第二壳体位置信息保持部516中保持的第二壳体位置信息计算光学系统512对于第二坐标系502的位置。

这样构成的摄像机校准装置500通过计算光学系统512对于第二坐标系502的位置，在摄像机生产工厂中进行摄像机510的校准。然后，基于第二光学系统位置信息保持部530中保持的第二光学系统位置信息，根据设置于车辆508中的摄像机510取得的图像信息，通过摄像控制装置来对路面上的对象物进行检测。

但是，在现有的摄像机校准装置中，因为不能校正保持于第二光学系统位置信息保持部中的第二光学系统位置信息，所以对于车辆，壳体被设置在不正确的位置时，产生不能使摄像控制装置正确地检测路面上的对象物的位置的问题。

发明内容

本发明用于解决这样的问题，其目的在于提供一种可以校正设置于车辆等的摄像机的光学系统的参数的摄像机校正装置。

本发明提供一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正装置包括：第一壳体位置信息保持部件，保持用于表示所述壳体对于第一坐标系的位置的第一壳体位置信息；第二壳体位置信息保持部件，保持用于对表示所述壳体对于第二坐标系的位置的第二壳体位置信息；第一光学系统位置信息生成部件，根据通过所述摄像装置取得的所述第一坐标系中的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持部件，保持通过所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息；第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；第二光学系统位置信息保持部件，保持所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息；以及校正部件，根据所述摄像装置取得的所述第二坐标系中的图像信息，校正在所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息。按照该结构，本发明的摄像机校正装置可以校正设置于车辆等上的摄像机的光学系统的参数。

本发明还提供一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正装置包括：光学系统位置信息保持部件，保持用于表示所述光学系统对于规定的坐标系的位置的光学系统位置信息；以及校正部件，根据所述摄像装置取得的所述坐标系中的图像信息，校正在所述光学系统位置信息保持部件中保持的所述光学系统位置信息。按照该结构，本发明的摄像机校正装置可以校正设置于车辆等上的摄像机的光学系统的参数。

而且，本发明还提供一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正装置包括：第一壳体位置信息保持部件，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持部件，对表示所述壳体对于配置了校正标记的第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持部件，对由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；预测位置信息生成部件，根据由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息，生成所述校正标记对于所述摄像装置的图像坐标系的预测位置信息；第二光学系统位置信息保持部件，对由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息进行保持；预测位置信息保持部件，对由所述预测位置信息生成部件生成的所述预测位置信息进行保持；以及校正部件，根据由所述摄像装置取得的所述校正标记的图像信息和所述预测位置信息保持部件中保持的所述预测位置信息，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以利用简单的校正标记来校正第二光学系统位置信息。

而且，本发明的所述校正部件包括：成像位置信息提取部件，从通过所述摄像装置取得的所述校正标记的图像信息中提取所述校正标记对于所述摄像装置的图像坐标系的成像位置信息；校正量计算部件，根据由所述成像位置信息提取部件提取的所述成像位置信息和在所述预测位置信息保持部件中保持的所述预测位置信息，计算保持于所述第二光学系统位置信息保持部件的所述第二光学系统位置信息的校正量；以及光学系统位置信息校正部件，根据由所述校正量计算部件计算的所述校正量，对保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以利用简单的校正标记来校正第二光学系统位置信息。

而且，本发明提供的摄像机校正装置，其特征在于：所述校正部件仅对所述第二光学系统位置信息的旋转分量的误差进行校正。按照该结构，本发明的摄像机校正装置可以忽略所述第二光学系统位置信息的平行移动分量的误差，可以利用简单的校正标记来校正第二光学系统位置信息。

而且，本发明提供的摄像机校正装置，其特征在于，所述成像位置信息提取部件包括：图像信息显示部件，显示由所述摄像装置取得的所述校正标记的图像信息；以及成像位置指定部件，在显示于所述图像信息显示部件的所述校正标记的图像信息中指定所述校正标记的成像位置，并提取所述成像位置信息。按照该结构，本发明的摄像机校正装置可以指定校正标记的成像位置，可以确实地提取校正标记的成像位置信息。

而且，本发明提供的摄像机校正装置，其特征在于，所述成像位置信息提取部件包括：预测范围信息保持部件，对所述校正标记对于所述摄像装置的图像坐标系的预测范围信息进行保持；以及成像位置检索部件，根据保持于所述预测范围信息保持部件的所述预测范围信息和保持于所述预测位置信息保持部件的所述预测位置信息，从通过所述摄像装置取得的所述校正标记的图像信息中检索所述校正标记的成像位置，并提取所述成像位置信息。按照该结构，本发明的摄像机校正装置可以检索校正标记的成像位置，可以容易地提取校正标记的成像位置信息。

而且，本发明还提供一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正装置包括：第一壳体位置信息保持部件，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持部件，对表示所述壳体对于第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持部件，对由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成部件，根据保持于所述第一壳体位置信息保持部件中的所述第一壳体位置信息和保持于所述第一光学系统位置信息保持部件中的所述第一光学系统位置信息，由保持于所述第二壳体位置信息保持部件中的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；第二光学系统位置信息保持部件，对由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息进行保持；以及校正部件，根据在由所述摄像装置取得的所述第二坐标系中的图像信息中包含的运动向量，对在所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以利用运动向量从而校正第二光学系统的位置信息。

而且，本发明的摄像机校正装置，其特征在于，所述校正部件包括：平面投影图像生成部件，由通过所述摄像装置取得的所述第二坐标系中的图像信息生成平面投影图像；平面投影图像分割部件，将由所述平面投影图像生成部件生成的所述平面投影图像分割为多个图像区域；运动向量提取部件，从通过所述平面投影图像分割部件分割的多个所述图像区域中提取运动向量；校正量计算部件，根据通过所述运动向量提取部件提取的所述运动向量，计算在所述第二光学系统位置信息保持部件中保持的所述的二光学系统位置信息的校正量；以及光学系统位置信息校正部件，根据由所述校正量计算部件计算出的所述校正量，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以容易地提取多个图像区域中的活动向量。

而且，本发明提供的摄像机校正装置，其特征在于：设置在所述第二坐标系中的分割标记对于所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息中所包含的所述壳体的位置保持一定的位置关系，所述平面投影图像分割部件根据由所述摄像装置取得的所述分割标记的图像信息，将所述平面投影图像分割为多个图像区域。按照该结构，本发明的摄像机校正装置可以利用分割标记来正确地分割平面投影图像。

而且，本发明还提供一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正装置包括：第一壳体位置信息保持部件，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持部件，对表示所述壳体对于配置了车辆的第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持部件，对由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；预测位置信息生成部件，根据由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息，生成所述车辆对于所述摄像装置的图像坐标系的预测位置信息；第二光学系统位置信息保持部件，对由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息进行保持；预测位置信息保持部件，对由所述预测位置信息生成部件生成的所述预测位置信息进行保持；以及校正部件，根据由所述摄像装置取得的所述车辆的图像信息和所述预测位置信息保持部件中保持的所述预测位置信息，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以利用车辆的一部分来校正第二光学系统的位置信息。

而且，本发明的摄像机校正装置，其特征在于，所述校正部件包括：成像位置信息提取部件，从通过所述摄像装置取得的所述车辆的图像信息中提取所述车辆对于所述摄像装置的图像坐标系的成像位置信息；校正量计算部件，根据由所述成像位置信息提取部件提取的所述成像位置信息和在所述预测位置信息保持部件中保持的所述预测位置信息，计算保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息的校正量；以及光学系统位置信息校正部件，根据由所述校正量计算部件计算的所述校正量，对保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正装置可以利用车辆的一部分来校正第二光学系统的位置信息。

而且，本发明的的摄像机校正装置，其特征在于，所述校正量计算部件包括：匹配部件，使所述成像位置信息中包含的车辆的轮廓线和所述预测位置信息中包含的所述车辆的轮廓线重合；提取部件，从通过所述匹配部件重合的所述车辆的轮廓线中提取多个点；以及运算部件，通过比较所述成像位置信息中包含的所述点和在所述预测位置信息中包含的所述点，计算所述第二光学系统位置信息的校正量。按照该结构，本发明的摄像机校正装置可以从车辆的轮廓线中提取点，可以确实地计算第二光学系统位置信息的校正量。

而且，本发明的摄像机校正装置，其特征在于：所述摄像装置被安装在车辆上。按照该结构，本发明的摄像机校正装置在壳体被设置在对于车辆不正确的位置时，可以校正摄像机的光学系统的参数，可以正确地检测路面上的对象物的位置。

而且，本发明还提供一种摄像装置，其特征在于：该摄像装置包括摄像机校正装置。按照该结构，本发明的摄像装置可以校正设置在车辆等上的摄像机的光学系统的参数。

而且，本发明还提供一种摄像控制装置，其特征在于：该摄像控制装置包括摄像机校正装置。按照该结构，本发明的摄像控制装置可以校正设置在车辆等上的摄像机的光学系统的参数。

而且，本发明还提供一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正方法包括：第一壳体位置信息保持步骤，对表示所述壳体对于第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持步骤，对表示所述壳体对于第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成步骤，根据通过所述摄像装置取得的所述第一坐标系中的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持步骤，保持通过所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息；第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；第二光学系统位置信息保持步骤，保持所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息；以及校正步骤，根据所述摄像装置取得的所述第二坐标系中的图像信息，校正在所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息。按照该结构，本发明的摄像机校正方法可以校正设置在车辆等上的摄像机的光学系统的参数，可以正确地检测路面上的对象物的位置。

而且，本发明还提供一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正方法包括：光学系统位置信息保持步骤，保持用于表示所述光学系统对于规定的坐标系的位置的光学系统位置信息；以及校正步骤，根据所述摄像装置取得的所述坐标系中的图像信息，校正在所述光学系统位置信息保持步骤中保持的所述光学系统位置信息。按照该结构，本发明的摄像机校正方法可以校正设置在车辆等上的摄像机的光学系统的参数，可以正确地检测路面上的对象物的位置。

而且，本发明还提供一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正方法包括：第一壳体位置信息保持步骤，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持步骤，对表示所述壳体对于配置了校正标记的第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持步骤，对由所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；预测位置信息生成步骤，根据由所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息，生成所述校正标记对于所述摄像装置的图像坐标系的预测位置信息；第二光学系统位置信息保持步骤，对由所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息进行保持；预测位置信息保持步骤，对由所述预测位置信息生成步骤生成的所述预测位置信息进行保持；以及校正步骤，根据由所述摄像装置取得的所述校正标记的图像信息和所述预测位置信息保持步骤中保持的所述预测位置信息，对所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正方法可以利用简单的校正标记来校正第二光学系统位置信息。

而且，本发明还提供一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正方法包括：第一壳体位置信息保持步骤，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持步骤，对表示所述壳体对于第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持步骤，对由所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成步骤，根据在所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和在所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由在所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；第二光学系统位置信息保持步骤，对在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息进行保持；以及校正步骤，根据在由所述摄像装置取得的所述第二坐标系中的图像信息中包含的运动向量，对在所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正方法可以利用运动向量来校正第二光学系统位置信息。

而且，本发明还提供一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，该摄像装置具有光学系统和支撑所述光学系统的壳体，该校正方法包括：第一壳体位置信息保持步骤，对表示所述壳体对于配置了校准标记的第一坐标系的位置的第一壳体位置信息进行保持；第二壳体位置信息保持步骤，对表示所述壳体对于配置了车辆的第二坐标系的位置的第二壳体位置信息进行保持；第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；第一光学系统位置信息保持步骤，对在所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息进行保持；第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；预测位置信息生成步骤，根据在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息，生成所述车辆对于所述摄像装置的图像坐标系的预测位置信息；第二光学系统位置信息保持步骤，对在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息进行保持；预测位置信息保持步骤，对在所述预测位置信息生成步骤生成的所述预测位置信息进行保持；以及校正步骤，根据由所述摄像装置取得的所述车辆的图像信息和所述预测位置信息保持步骤中保持的所述预测位置信息，对所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。按照该结构，本发明的摄像机校正方法可以利用车辆的一部分来校正第二光学系统位置信息。

而且，本发明还提供的摄像机校正方法，其特征在于：所述摄像装置被安装在车辆上。按照该结构，本发明的摄像机校正方法在壳体被设置在相对于车辆不正确的位置时，可以校正摄像机的光学系统的参数，可以正确地检测路面上的对象物的位置。

附图说明

从以下的附图和后述的记载可知本发明的摄像机校正装置的特征和优点。

图1是表示作为本发明的第一实施方式的摄像机校正装置和摄像装置的摄像机的方框图。

图2是表示设置了图1所示的摄像机的第一坐标系的立体图。

图3是表示设置了图1所示的摄像机的第二坐标系的立体图。

图4是表示图1所示的摄像机的坐标系的立体图。

图5是表示图1所示的摄像机的图像坐标系的平面图。

图6是表示图1所示的摄像机的平行移动的立体图。

图7是表示图1所示的摄像机的旋转运动的立体图。

图8是表示图1所示的摄像机的平行移动的侧面图。

图9是表示图1所示的摄像机的旋转运动的侧面图。

图10是表示图1所示的摄像机校正装置的程序位置信息提取部的方框图。

图11是表示用于实现图1所示的摄像机校正装置的计算机和ECU的方框图。

图12是表示图1所示的摄像机校正装置的摄像机单元的方框图。

图13是表示图1所示的摄像机校正装置的校正动作的流程图。

图14是表示作为本发明的第二实施方式的摄像机校正装置和摄像装置的摄像机的方框图。

图15是表示图14所示的摄像机的图像坐标系的平面图。

图16是表示图14所示的摄像机校正装置的校正动作的流程图。

图17是表示作为本发明的第三实施方式的摄像机校正装置和摄像装置的摄像机的方框图。

图18是表示设置了图17所示的摄像机的第一坐标系的立体图。

图19是表示设置了图17所示的摄像机的第二坐标系的立体图。

图20是表示图17所示的摄像机的坐标系的立体图。

图21是表示图17所示的摄像机校正装置的虚拟摄像机的侧面图。

图22是表示图17所示的摄像机校正装置的校正部的动作的说明图。

图23是表示图17所示的摄像机校正装置的校正部的动作的说明图。

图24是表示图17所示的摄像机校正装置的校正部的动作的说明图。

图25是表示图17所示的摄像机校正装置的校正部的动作的说明图。

图26是表示用于实现图17所示的摄像机校正装置的计算机和ECU的方框图。

图27是表示图17所示的摄像机校正装置的摄像机单元的方框图。

图28是表示图17所示的摄像机校正装置的校正动作的流程图。

图29是表示作为本发明的第四实施方式的摄像机校正装置和摄像装置的摄像机的方框图。

图30是是表示设置了图29所示的摄像机的第一坐标系的立体图。

图31是表示设置了图29所示的摄像机的第二坐标系的立体图。

图32是表示图29所示的摄像机的坐标系的立体图。

图33是表示图29所示的摄像机的图像坐标系的平面图。

图34是表示图29所示的摄像机校正装置的校正部的动作的说明图。

图35是表示图29所示的摄像机校正装置的校正部的动作的说明图。

图36是表示用于实现图29所示的摄像机校正装置的计算机和ECU的方框图。

图37是表示图29所示的摄像机校正装置的摄像机单元的方框图。

图38是表示图29所示的摄像机校正装置的校正动作的流程图。

图39是表示作为现有的摄像机校准装置和摄像装置的摄像机的方框图。

图40是表示设置了图39所示的摄像机的第一坐标系的立体图。

图41是表示设置了图39所示的摄像机的第二坐标系的立体图。

具体实施方式

以下，基于附图说明本发明的实施方式。

(第一实施方式)

从图1至图13是表示本发明的摄像机校正装置的第一实施方式的图。

首先，对本实施方式的摄像机校正装置的结构进行说明。

从图1至图3中，摄像机校正装置100与作为摄像装置的摄像机110连接。摄像机110具有壳体111和被壳体111支撑的光学系统112，经由光学系统112取得图像信息。

摄像机校正装置100包括以下部件：第一壳体位置信息保持部115，保持用于表示壳体111对于第一坐标系101的位置的第一壳体位置信息；第二壳体位置信息保持部116，保持用于表示壳体111对于第二坐标系102的位置的第二壳体位置信息；校准标记位置信息保持部125，保持用于表示校准标记105对于第一坐标系101的位置的校准标记位置信息；校正标记位置信息保持部126，保持用于表示校正标记106对于第二坐标系102的位置的校正标记位置信息。

第一坐标系101在摄像机生产工厂等第一作业场所被设置。在第一坐标系101中设置X₁轴、Y₁轴、Z₁轴，配置用于对设置于第一作业场所的摄像机110进行校准的校准标记105。校准标记105由三维排列的多个点构成，各个点被配置在相对于第一坐标系101的规定位置。而且，校准标记105以覆盖被设置于第一作业场所的摄像机110的视野范围来配置。

第二坐标系102在车辆生产工厂等第二作业场所被设置。在第二坐标系102中设置X₂轴、Y₂轴、Z₂轴，第二坐标系102的X₂Y₂平面构成车辆108被设置的路面102a。在路面102a上配置校正标记106。校正标记106由二维排列的两个以上的点构成，各个点被配置在相对于第二坐标系102的规定的位置。

摄像机校正装置100在第一作业场所中进行摄像机110的校准。摄像机110被配置在相对于第一坐标系101的规定的位置，表示这时的壳体111的位置的第一壳体位置信息被保持在第一壳体位置信息保持部115中。这里所谓摄像机110的校准是对摄像机110在第二作业场所中被设置在车辆108上时的光学系统112的位置进行计算的动作。

通过摄像机校正装置100校准的摄像机110，在第二作业场所中被设置在车辆108上。摄像机110被配置在相对于第二坐标系102的规定的位置，表示这时的壳体111的位置的第二壳体位置信息被保持在第二壳体位置信息保持部116中。这里，第二壳体位置信息表示壳体111相对于车辆108被设置在正确的位置时的壳体111的位置。

而且，摄像机校正装置100包括：第一光学系统位置信息生成部117，生成表示光学系统112对于第一坐标系101的位置的第一光学系统位置信息；第一光学系统位置信息保持部118，保持由第一光学系统位置信息生成部117生成的第一光学系统位置信息。

第一光学系统位置信息生成部117根据由摄像机110取得的校准标记105的图像信息，由校准标记位置信息保持部125中保持的校准标记位置信息计算光学系统112对于第一坐标系101的位置。这里，光学系统112包括光学系统112的光学中心和光轴的位置。作为计算光学系统112对于第一坐标系101的位置的方法，可以使用文献1(R.Tsai，A versatile camera calibrationtechnique for high-accuracy 3D machine vision metrology using off-the-shelf TVcameras and lenses，IEEE Journal of Robotics and Automation，RA-3(4)：323-344，1987)中记载的方法。

而且，摄像机校正装置100包括：第二光学系统位置信息生成部120，生成表示光学系统112对于第二坐标系102的位置的第二光学系统位置信息；第二光学系统位置信息保持部130，保持由第二光学系统位置信息生成部120生成的第二光学系统位置信息。

第二光学系统位置信息生成部120根据保持于第一壳体位置信息保持部115中的第一壳体位置信息和保持于第一光学系统位置信息保持部118中的第一光学系统位置信息，由保持于第二壳体位置信息保持部116中的第二壳体位置信息，计算光学系统112对于第二坐标系102的位置。

第二光学系统位置信息生成部120通过以下的方法来计算第二坐标系102对于第二坐标系102的位置。

首先，对壳体111相对于第一坐标系101的位置和光学系统112相对于第一坐标系101的位置进行比较，求出壳体111的位置和光学系统112的位置的相对关系。然后，根据壳体111的位置和光学系统112的位置的相对关系，由壳体111对于第二坐标系102的位置来计算光学系统112对于第二坐标系102的位置。因此，第二光学系统位置信息表示在壳体111相对于车辆108被设置在正确的位置时的光学系统112的位置。

如图4所示，在第二作业场所设置于车辆108上的摄像机110中，构成以第二光学系统位置信息为基准的摄像机坐标系113。在摄像机坐标系113中设置x轴、y轴、z轴，摄像机坐标系113的原点与光学系统112的光学中心一致。摄像机坐标系113的x轴被设为摄像机110的左右方向，摄像机坐标系113的y轴被设为摄像机110的上下方向，摄像机坐标系113的z轴被设为与光学系统112的光轴一致。

而且，在从摄像机坐标系113的原点向z轴方向上间隔了焦点距离f的平面上，形成图像坐标系114。在图像坐标系114中，设置p轴和q轴。摄像机110取得经由光学系统112成像于图像坐标系114的图像作为图像信息。

而且，摄像机校正装置100包括；预测位置信息生成部140，生成校正标记106对于摄像机110的图像坐标系114的预测位置信息；预测位置信息保持部150，保持由预测位置信息生成部140生成的预测位置信息。

预测位置信息生成部140根据由第二光学系统位置信息生成部120生成的第二光学系统位置信息，由保持于校正标记位置信息保持部126中的校正标记位置信息来计算校正标记106对于摄像机110的图像坐标系114的预测位置。作为计算校正标记106对于摄像机110的图像坐标系114的预测位置的方法，可以使用上述文献1中记载的方法。

如图5所示，配置于第二坐标系102中的校正标记106经由光学系统112成像在图像坐标系114的成像位置P_n’(n＝1，2，3，4，5，6)。这里，成像位置P_n’在壳体111被设置在相对于车辆108的正确的位置，即包含于第二壳体位置信息中的位置，在第二光学系统位置信息中不产生误差时，与由预测位置信息生成部140计算出的预测位置P_n(n＝1，2，3，4，5，6)一致。但是，实际上壳体111被设置在相对于车辆108的不正确的位置上，由于在第二光学系统位置信息中产生误差，所以图像坐标系114中的成像位置P_n’与预测位置P_n隔开。

第二光学系统位置信息包含表示摄像机坐标系相对于第二坐标系102的平行移动和旋转的6个参数。这6个参数由图6所示的_X2轴、_Y2轴、_Z2轴方向的平行移动分量和图7所示的围绕x轴、y轴、z轴的旋转分量构成。由于壳体111被设置在相对于车辆108的不正确的位置而产生的第二光学系统位置信息，包含平行移动分量和旋转分量的各自误差。在壳体111被安装在车辆108时，平行移动分量产生数cm、旋转分量产生数度的误差。

这里，考虑对于由摄像机110取得的路面102a的图像信息，显示用于辅助车辆108的停车动作的辅助线的情况。而且，设壳体111被设置在相对于车辆108高出1000mm的位置，辅助线显示在离车辆108的后端3000mm的位置。

首先，如图8所示，在壳体111被设置在相对于车辆108向Y₂轴方向错开50mm的位置时，即，在第二光学系统位置信息的Y₂轴方向的平行移动分量上产生误差时，与未产生误差的情况相比，辅助线被显示于在Y₂轴方向上错开50mm的位置。这时，由于是3000mm目标的50mm的间隔量，所以图5所示的图像坐标系114中的成像位置P_n’离开预测位置P_n的间隔量小。因此可以忽略第二光学系统位置信息的平行移动分量的误差。

与此相反，如图9所示，在壳体111被设置在相对于车辆108绕x轴错开1°的位置时，即，在第二光学系统位置信息的绕x轴的旋转分量产生误差时，与不产生误差的情况相比，辅助线被显示于在Y₂轴方向上错开184mm的位置。这时，不能忽略图5所示的图像坐标系114中的成像位置P_n’离开预测位置P_n的间隔量。因此，可以仅使用第二光学系统位置信息的旋转分量作为第二光学系统位置信息的误差。

为了校正这样的第二光学系统位置信息的误差，摄像机校正装置100包括对第二光学系统位置信息保持部130中保持的第二光学系统位置信息进行校正的校正部160。

校正部160根据由摄像机110取得的校正标记106的图像信息和在预测位置信息保持部150中保持的预测位置信息，对第二光学系统位置信息保持部130中保持的第二光学系统位置信息进行校正。

校正部160具有以下部件：成像位置信息提取部170，从由摄像机110取得的校正标记106的图像信息中提取校正标记106对于摄像机110的图像坐标系114的成像位置信息；校正量计算部180，根据由成像位置信息提取部170提取的成像位置信息和保持于预测位置信息保持部150中的预测位置信息，计算保持于第二光学系统位置信息保持部130中的第二光学系统位置信息的校正量；光学系统位置信息校正部190，根据由校正量计算部180计算出的校正量，对保持于第二光学系统位置信息保持部130的第二光学系统位置信息进行校正。

成像位置信息提取部170具有以下部件：图像信息显示部171，显示由摄像机110取得的校正标记106的图像信息；成像位置指定部172，在显示于图像信息显示部171的校正标记106的图像信息中指定校正标记106的成像位置P_n’，从图像信息中提取成像位置信息。

如图10所示，在图像信息显示部171中显示由摄像机110取得的校正标记106的图像信息和指定校正标记106的成像位置P_n’的光标174等。

在成像位置指定部172中，设置以下部件：使图像信息显示部171中显示的光标174的位置移动的上方向键175a、下方向键175b、左方向键175c、右方向键175d和决定光标174的位置的决定键176、显示校正标记106的点的号码n的号码显示部177、变更号码显示部177中显示的号码n的加法键178a以及减法键178b。

校正量计算部180通过以下方法来计算第二光学系统位置信息的校正量。

首先，仅将第二光学系统位置信息的旋转分量用作第二光学系统位置信息的误差，假设壳体111被设置在相对于车辆108倾斜的位置。如果分别用θ、φ、ψ表示围绕这时的摄像机坐标系113的x轴、y轴、z轴的旋转角，用(p_n’，q_n’)表示图像坐标系114中的成像位置P_n’的坐标，用(p_n，q_n)表示预测位置P_n的坐标，则θ、φ、ψ的值通过在式(1)中求出使J的值最小的R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂、R₃₃来计算。

〔算式1〕

$J=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}[{(p_n\text{'}(R_{13}{p}_n+R_{23}{q}_n+R_{33}f)-f(R_{11}p+R_{21}q+R_{31}f))}^2$

+(q_n′(R₁₃p+R₂₃q_n+R₃₃f)-f(R₁₂p+R₂₂q+R₃₂f))²]    (1)

而且，在式(1)中，(p_n’，qn’)和(p_n，q_n)的关系表示如式(2)。

〔算式2〕

$\left\{\begin{array}{c}{p}^{\′}=f\frac{R_{11}p+R_{21}q+R_{31}f}{R_{13}p+R_{23}q+R_{33}f}\\ q^{\′}=f\frac{R_{12}p+R_{22}q+R_{32}f}{R_{13}p+R_{23}q+R_{33}f}\end{array}\right.---\left(2\right)$

而且，R11到R33和θ、φ、ψ的关系表示如式(3)、式(4)、式(5)。

〔算式3〕

$\left\{\begin{array}{c}\mathrm{Rx}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& \sin \mathrm{\θ}\\ 0& -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\\ \mathrm{Ry}=\left[\begin{array}{ccc}\cos \mathrm{\φ}& 0& -\sin \mathrm{\φ}\\ 0& 1& 0\\ \sin \mathrm{\φ}& 0& \cos \mathrm{\φ}\end{array}\right]\\ \mathrm{Rz}=\left[\begin{array}{ccc}\cos \mathrm{\ψ}& \sin \mathrm{\ψ}& 0\\ -\sin \mathrm{\ψ}& \cos \mathrm{\ψ}& 0\\ 0& 0& 1\end{array}\right]\end{array}\right.---\left(3\right)$

R＝Rx×Ry×Rz    (4)

$R=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]---\left(5\right)$

而且，在本实施方式中，虽然校正标记106由6个点构成，但是只要校正标记106由2个以上的点构成就可以，如果是校正标记106由2个点构成时，则校正量计算部180可以计算θ、φ、ψ的值，而如果是校正标记106由3个以上的点构成时，则可以更准确地计算θ、φ、ψ的值。

如图11所示，这样构成的摄像机校正装置100可以通过用于调整摄像机110的计算机191和作为控制摄像机110的摄像控制装置的ECU192来实现。

计算机191由CPU、RAM、ROM、输入输出接口等构成，如图11(a)所示，在第一作业场所中与摄像机110连接。而且，在本实施方式中，计算机191构成第一壳体位置信息保持部115、第二壳体位置信息保持部116、第一光学系统位置信息生成部117、第一光学系统位置信息保持部118、第二光学系统位置信息生成部120、校准标记位置信息保持部125、校正标记位置信息保持部126、第二光学系统位置信息保持部130、预测位置信息生成部140和预测位置信息保持部150。

ECU192由CPU、RAM、ROM、输入输出接口等构成，如图11(c)所示，在第二作业场所中与摄像机110连接，并被安装在车辆108上。而且，在本实施方式中，ECU192构成第二光学系统位置信息保持部130、预测位置信息保持部150和校正部160。

如图11(b)所示，在第一作业场所到第二作业场所中，添加了CD-ROM和磁盘等记录媒体193的摄像机110被传送。在记录媒体193中，记录第一光学系统位置信息和预测位置信息，用于将第二光学系统位置信息和预测位置信息从计算机191转移到ECU192。

再有，在本实施方式中，在第一作业场所到第二作业场所中，摄像机110和记录媒体193被运送，但也可以如图12所示，由摄像机110、第二光学系统位置信息保持部130、预测位置信息保持部150和校正部160构成的摄像机单元194被运送。

接着，对本实施方式中的摄像机校正装置的动作进行说明。

在图13中，摄像机校正装置100在以下的过程中校正第二光学系统位置信息。

首先，摄像机110被设置于第一作业场所，并被配置在相对于第一坐标系101的规定的位置(S101)。然后，第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息被分别保持在第一壳体位置信息保持部115、第二壳体位置信息保持部116、校准标记位置信息保持部125和校正标记位置信息保持部126中(S102)。这里，根据测定器测定的位置和在设计中设定的位置等来取得第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息。

接着，通过摄像机110拍摄校准标记105(S103)，第一光学系统位置信息生成部117根据由摄像机110确定的校准标记105的图像信息，从校准标记位置信息保持部125中保持的校准标记位置信息中生成第一光学系统位置信息(S104)。然后，由第一光学系统位置信息生成部117生成的第一光学系统位置信息被保持在第一光学系统位置信息保持部118中(S105)。

接着，第二光学系统位置信息生成部120根据保持于第一壳体位置信息保持部115中的第一壳体位置信息和保持于第一光学系统位置信息保持部118中的第一光学系统位置信息，由保持于第二壳体位置信息保持部116的第二壳体位置信息生成第二光学系统位置信息(S106)。然后，由第二光学系统位置信息生成部120生成的第二光学系统位置信息被保持在第二光学系统位置信息保持部130中(S107)。

接着，预测位置信息生成部140根据由第二光学系统位置信息生成部120生成的第二光学系统位置信息，由保持于校正标记位置信息保持部126的校正标记位置信息生成校正标记106相对于摄像机110的图像坐标系114的预测位置信息(S108)。然后，由预测位置信息生成部140生成的预测位置信息被保持于预测位置信息保持部150中(S109)。

接着，摄像机110和记录媒体193被从第一作业场所运送到第二作业场所。然后，摄像机110在第二作业场所中被设置在车辆108上，并被配置于相对于第二坐标系102规定的位置(S110)。

接着，通过摄像机110拍摄校正标记106(S111)，如图10所示，通过摄像机110取得的校正标记106的图像信息被显示在图像信息显示部171上(S112)。然后，由成像位置指定部172指定校正标记106的成像位置P_n’，提取成像位置信息(S113)。这时，操作者操作加法键178a和减法键178b来变更显示于号码显示部177的号码n，操作上方向键175a、下方向键175b、左方向键175c和右方向键175d从而上显示于图像显示部171的光标174的位置移动，通过操作决定键176决定光标174的位置，决定与显示于号码显示部177的号码n对应的校正标记106的成像位置P_n’。

接着，校正量计算部180根据由成像位置信息提取部170提取的成像位置信息和保持于预测位置信息保持部150的预测位置信息，计算保持于第二光学系统位置信息保持部130中的第二光学系统位置信息的校正量(S114)。

然后，光学系统位置信息校正部190根据由校正量计算部180计算的校正量来校正被保持于第二光学系统位置信息保持部130的第二光学系统位置信息(S115)，结束过程。而且，在本实施方式中，也可以使计算机执行记述了上述的步骤S101到S115的程序。

如以上说明的那样，在本实施方式中，可以对设置于车辆108等的摄像机110的光学系统的参数进行校正，可以正确地检测路面上的对象物的位置。

而且，在本实施方式中，可以利用简单的校正标记106来校正第二光学系统位置信息。

而且，在本实施方式中，可以指定校正标记106的成像位置，可以可靠地提取校正标记106的成像位置信息。

(第二实施方式)

图14至图16是表示本发明的摄像机校正装置的第二实施方式的图。

首先，对本实施方式的摄像机校正装置的结构进行说明。另外，对于与第一实施方式的摄像机校正装置基本相同的结构，赋予与第一实施方式中使用的标号相同的标号并省略详细的说明。

在图14中，摄像机校正装置200具有对保持于第二光学系统位置信息保持部130的第二光学系统位置信息进行校正的校正部260。

校正部260根据由摄像机110取得的校正标记106的图像信息和保持于预测位置信息保持部150的预测位置信息，对保持于第二光学系统位置信息保持部130的第二光学系统位置信息进行校正。

校正部260包括以下部件：成像位置信息提取部270，从通过摄像机110取得的校正标记106的图像信息中提取校正标记106相对于摄像机110的图像坐标系114的成像位置信息；校正量计算部280，根据由成像位置信息提取部270提取的成像位置信息和保持于预测位置信息保持部150的预测位置信息，计算保持于第二光学系统位置信息保持部130中的第二光学系统位置信息；光学系统位置信息校正部290，根据由校正量计算部280计算的校正量，对保持于第二光学系统位置信息保持部130的第二光学系统位置信息进行校正。

成像位置信息提取部270包括：预测范围信息保持部271，保持用于表示校正标记106对于摄像机110的图像坐标系114的预测范围274的预测范围信息(参照图15)；成像位置检索部272，根据保持于预测范围信息保持部271中的预测范围信息和保持于预测位置信息保持部150中的预测位置信息，从通过摄像机110取得的校正标记106的图像信息中，对校正标记106的成像位置P_n’进行检索，提取成像位置信息。

校正量计算部280与第一实施方式中的校正量计算部180相同的方法来计算第二光学系统位置信息。

接着，对本实施方式中的摄像机校正装置的动作进行说明。

在图16中，摄像机校正装置200在以下的过程中对第二光学系统位置信息进行校正。

首先，摄像机110被设置在第一作业场所，被配置在相对于第一坐标系101固定的位置(S201)。然后第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息被分别保持在第一壳体位置信息保持部115、第二壳体位置信息保持部116、校准标记位置信息保持部125和校正标记位置信息保持部126中(S202)。这里，根据测定器测定的位置和在设计中设定的位置等来取得第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息。

接着，通过摄像机110拍摄校准标记105(S203)，第一光学系统位置信息生成部117根据由摄像机110确定的校准标记105的图像信息，由校准标记位置信息保持部125中保持的校准标记位置信息生成第一光学系统位置信息(S204)。然后，由第一光学系统位置信息生成部117生成的第一光学系统位置信息被保持在第一光学系统位置信息保持部118中(S205)。

接着，第二光学系统位置信息生成部120根据保持于第一壳体位置信息保持部115中的第一壳体位置信息和保持于第一光学系统位置信息保持部118中的第一光学系统位置信息，由保持于第二壳体位置信息保持部116的第二壳体位置信息生成第二光学系统位置信息(S206)。然后，由第二光学系统位置信息生成部120生成的第二光学系统位置信息被保持在第二光学系统位置信息保持部130中(S207)。

接着，预测位置信息生成部140根据由第二光学系统位置信息生成部120生成的第二光学系统位置信息，从保持于校正标记位置信息保持部126中的校正标记位置信息生成校正标记106相对于摄像机110的图像坐标系114的预测位置信息(S208)。然后，由预测位置信息生成部140生成的预测位置信息被保持于预测位置信息保持部150中(S209)。

接着摄像机110和记录媒体193被从第一作业场所运送到第二作业场所。然后，摄像机110在第二作业场所中被设置在车辆108上，并被配置于相对于第二坐标系102规定的位置(S210)。

接着，通过摄像机110拍摄校正标记106(S211)，如图15所示，成像位置检索部272以校正标记106的预测位置P_n为中心，对存在于预测范围274的内侧的成像位置P_n’进行检索，从图像信息提取成像位置信息(S212)。

接着，校正量计算部280根据由成像位置信息提取部270提取的成像位置信息和保持于预测位置信息保持部150中的预测位置信息，计算被保持于第二光学系统位置信息保持部130中的第二光学系统位置信息(S213)。

然后，光学系统位置信息校正部290根据由校正量计算部280计算的校正量，对保持于第二光学系统位置信息保持部130中的第二光学系统位置信息进行校正(S214)，结束过程。而且，在本实施方式中，也可以使计算机执行记述了从上述的步骤S201到S214的程序。

如以上说明的那样，在本实施方式中，可以检索校正标记106的程序位置，可以容易地提取校正标记106的成像位置信息。

(第三实施方式)

从图17到图28是表示本实施方式的摄像机校正装置的第三实施方式的图。

首先，对本实施方式的摄像机校正装置的结构进行说明。

在从图17到图19中，摄像机校正装置300连接到作为摄像装置的摄像机310。摄像机310包括壳体311和由壳体311支撑的光学系统312，经由光学系统312取得图像信息。

摄像机校正装置300包括：第一壳体位置信息保持部315，保持用于表示壳体311相对于第一坐标系301的位置的第一壳体位置信息；第二壳体位置信息保持部316，保持用于表示壳体311相对于第二坐标系302的位置的第二壳体位置信息；校准标记位置信息保持部325，保持用于表示校准标记305相对于第一坐标系301的位置的校准标记位置信息。

第一坐标系301在摄像机生产工厂等第一作业场所中被设置。在第一坐标系301中设置X₁轴、Y₁轴、Z₁轴，配置用于对设置于第一作业场所的摄像机310进行校准的校准标记305。校准标记305由三维排列的多个点构成，各个点被配置在相对于第一坐标系301的规定位置。而且，校准标记305以可覆盖被设置于第一作业场所的摄像机310的视野范围来配置。

第二坐标系302在车辆生产工厂等第二作业场所中被设置。在第二坐标系302中设置X₂轴、Y₂轴、Z₂轴，第二坐标系302的X₂ Y₂平面构成车辆308行走的路面302a。在车辆308的保险杆部309上配置分割标记307。分割标记307由两个点构成，各个点被配置在设置于车辆308上的摄像机310的视野范围内。而且分割标记307被设在设置于车辆308的摄像机310的正下位置。

摄像机校正装置300在第一作业场所中进行摄像机310的校准。摄像机310被配置在相对于第一坐标系301的规定的位置，表示这时的壳体311的位置的第一壳体位置信息被保持在第一壳体位置信息保持部315中。这里所谓摄像机310的校准是对摄像机310在第二作业场所中被设置在车辆308上时的光学系统312的位置进行计算的动作。

通过摄像机校正装置300校准的摄像机310，在第二作业场所中被设置在车辆308上。摄像机310被配置在相对于第二坐标系302的规定的位置，表示这时的壳体311的位置的第二壳体位置信息被保持在第二壳体位置信息保持部316中。这里，第二壳体位置信息表示壳体311相对于车辆308被设置在正确的位置时的壳体311的位置。

被配置在车辆308的保险杆部309上的分割标记307被配置为对第二壳体位置信息中包含的壳体311的位置保持一定的位置关系。因此，即使在车辆308在路面302a上行驶时，分割标记307的位置和第二壳体位置信息中包含的壳体311的位置的相对关系也保持一定。

而且，摄像机校正装置300包括：第一光学系统位置信息生成部317，生成用于表示光学系统312对于第一坐标系301的位置的第一光学系统位置信息；第一光学系统位置信息保持部318，保持由第一光学系统位置信息生成部317生成的第一光学系统位置信息。

第一光学系统位置信息生成部317根据由摄像机310取得的校准标记305的图像信息，由校准标记位置信息保持部325中保持的校准标记位置信息计算光学系统312对于第一坐标系301的位置。这里，光学系统312包括光学系统312的光学中心和光轴的位置。作为计算光学系统312对于第一坐标系301的位置的方法，可以使用文献1中记载的方法。

而且，摄像机校正装置300包括：第二光学系统位置信息生成部320，生成用于表示光学系统312对于第二坐标系302的位置的第二光学系统位置信息；第二光学系统位置信息保持部330，保持由第二光学系统位置信息生成部320生成的第二光学系统位置信息。

第二光学系统位置信息生成部320根据保持于第一壳体位置信息保持部315中的第一壳体位置信息和保持于第一光学系统位置信息保持部318中的第一光学系统位置信息，由保持于第二壳体位置信息保持部316中的第二壳体位置信息，计算光学系统312相对于第二坐标系302的位置。

第二光学系统位置信息生成部320通过与第一实施方式中的第二光学系统位置信息生成部120相同的方法来计算光学系统312相对于第二坐标系302的位置。

如图20所示，在第二作业场所被设置于车辆308上的摄像机310中，构成以第二光学系统位置信息为基准的摄像机坐标系313。在摄像机坐标系313中设置x轴、y轴、z轴，摄像机坐标系313的原点与光学系统312的光学中心一致。摄像机坐标系313的x轴被设为摄像机310的左右方向，摄像机坐标系313的y轴被设为摄像机310的上下方向，摄像机坐标系313的z轴被设为与光学系统312的光轴一致。

而且，在从摄像机坐标系313的原点向z轴方向上间隔了焦点距离f的平面上形成图像坐标系314。在图像坐标系314中设置p轴和q轴。路面302a上的点P经由光学系统312成像于图像坐标系314的成像位置P’。摄像机310取得经由光学系统312成像于图像坐标系314的图像作为图像信息。

而且，摄像机校正装置300包括根据由摄像机310取得的第二坐标系302中的图像信息所包含的运动向量来对第二光学系统位置信息保持部330中保持的第二光学系统位置信息进行校正的校正部360。

校正部360具有以下部件：平面投影图像生成部361，从由摄像机310取得的第二坐标系302的图像信息中生成平面投影图像；平面投影图像分割部362，将由平面投影图像生成部361生成的平面投影图像分割为多个图像区域；运动向量提取部363，从由平面投影图像分割部362分割的多个图像区域中提取运动向量；校正量计算部364，根据由运动向量提取部363提取的运动向量，对保持于第二光学系统位置信息保持部330中的第二光学系统位置信息的校正量进行计算；光学系统位置信息校正部365，根据由校正量计算部364计算出的校正量，对保持于第二光学系统位置信息保持部330中的第二光学系统位置信息进行校正。

如图21所示，由平面投影图像生成部361生成的平面投影图像是将由摄像机310取得的图像信息虚拟地投影到路面320a，通过从虚拟摄像机370观察该图像而得到的图像。在该虚拟摄像机370中构成对于路面302a平行的图像坐标系371，在该图像坐标系371中，成像出作为仅将路面302a缩小的图像的平面投影图像。

平面投影图像生成部361通过以下的方法生成平面投影图像。

在图20中，α表示摄像机坐标系313的x轴和路面302a所成的角，β表示y轴和路面302a所成的角，c表示从摄像机坐标系313的原点到z轴的延长线和路面302a的交点的距离。然后，在如式(6)那样定义a、b时，作为第二坐标系302的X₂Y₂平面的路面302a如式(7)那样表示。

〔算式4〕

$\left\{\begin{array}{c}a=\sin \mathrm{\α}\\ b=\sin \mathrm{\β}\end{array}\right.---\left(6\right)$

z＝ax+by+c    (7)

这里，如果以(p，q)表示图像坐标系314的成像位置P’的坐标，则从图像坐标系314到摄像机坐标系313的变换如式(8)那样表示。

〔算式5〕

$\left\{\begin{array}{c}x=\frac{\mathrm{cp}}{f-\mathrm{ap}-\mathrm{bq}}\\ y=\frac{\mathrm{cq}}{f-\mathrm{ap}-\mathrm{bq}}\\ z=\frac{\mathrm{cf}}{f-\mathrm{ap}-\mathrm{bq}}\end{array}\right.---\left(8\right)$

而且，从摄像机坐标系313到第二坐标系302的变换如式(9)那样表示。

算式6〕

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right]---\left(9\right)$

而且，在式(9)中，平行运动向量T表示从摄像机坐标系313的原点到第二坐标系302的原点的方向和距离，旋转矩阵R表示摄像机坐标系313和第二坐标系302的旋转方向的偏差。在本实施方式中也和第一实施方式一样，仅将第二光学系统位置信息的旋转分类的误差用作第二光学系统位置信息的误差，设壳体311被设置在相对于车辆308倾斜的位置。如果分别以θ、φ、ψ表示围绕这时的摄像机坐标系313的x轴、y轴、z轴的旋转角，则式(9)中的旋转矩阵R通过式(3)到式(5)表示。

在壳体311被设置在相对于车辆308正确的位置时，平面投影图像生成部361由图22(a)所示的图像信息而生成图22(b)所示的平面投影图像。由于该平面投影图像相当于通过从相对路面302a平行设置的虚拟摄像机370观察而取得的图像，所以设置在路面302a中的平行线373、374在平面投影图像中平行。

而且，在壳体311被设置在相对于车辆308向下倾斜的位置，摄像机坐标系313绕x轴旋转的情况下，平面投影图像生成部361由图23(a)所示的图像信息而生成图23(b)所示的平面投影图像。

而且，在壳体311被设置在相对于车辆308向左倾斜的位置，摄像机坐标系313绕y轴旋转的情况下，平面投影图像生成部361由图24(a)所示的图像信息而生成图24(b)所示的平面投影图像。

而且，在壳体311被设置在相对于车辆308倾斜的位置，摄像机坐标系313绕z轴旋转的情况下，平面投影图像生成部361从图25(a)所示的图像信息生成图25(b)所示的平面投影图像。

如图22(b)、图23(b)、图24(b)和图25(b)所示，平面投影图像分割部362根据由摄像机310取得的分割标记307的图像信息，将平面投影图像分割为多个图像区域。

平面投影图像分割部362以通过分割标记307的基准线380和分割标记307的中点381为基准，在平面投影图像中设置分割线383、384。分割线383一直延长到基准线380，并被设置在通过中点381的位置。而且，分割线384与基准线380平行，并被设置在与基准线380离开一定的距离的位置。

在壳体311被设置在相对于车辆308倾斜的位置，摄像机坐标系313围绕z轴旋转的情况下，如图25(b)所示，基准线380相对于平面投影图像倾斜。

如图22(b)、图23(b)、图24(b)和图25(b)所示，运动向量提取部363从由平面投影图像分割部362分割的四个图像区域386a、386b、386c、386d中提取运动向量388a、388b、388c、388d。

运动向量388a到388d是根据通过车辆308的行驶，即摄像机310的移动而产生的图像区域386a到386d的部分图像的流动来计算的，在车辆308直行时方向相同。以下，设运动向量388a到388d从车辆308直行时取得的图像信息中提取。

在壳体311被设置在相对于车辆308正确的位置时，如图22(b)所示，运动向量388a到388d大小相等。

而且，在壳体311被设置在相对于车辆308向下倾斜的位置，摄像机坐标系313围绕x轴旋转的情况下，如图23(b)所示，图像上侧的运动向量388a，388b比图像下侧的运动向量388c、388d大。

而且，在壳体311被设置在相对于车辆308向左倾斜的位置，摄像机坐标系313围绕y轴旋转的情况下，如图24(b)所示，图像右侧的运动向量388b，388d比图像左侧的运动向量388a、388c大。

校正量计算部364通过以下的方法计算第二光学系统位置信息的校正量。

在图22(c)、图23(c)和图24(c)中，首先将与运动向量388a大小相等的向量390a、与运动向量388b大小相等的向量390b、与运动向量388c大小相等的向量390c、与运动向量388d大小相等的向量390d分别配置在合计向量计算坐标系391中。

这里，从合计向量计算坐标系391的原点沿左上45度方向配置向量390a。而且，从合计向量计算坐标系391的原点沿右上45度方向配置向量390b，从合计向量计算坐标系391的原点沿左下45度方向配置向量390c，从合计向量计算坐标系391的原点沿右下45度方向配置向量390d。

接着，在合计向量计算坐标系391中，计算向量390a到390d的合计向量392。

在壳体311被设置在对于车辆308正确的位置时，如图22(c)所示，由于向量390a到390d相等，所以合计向量392为零。这时，围绕摄像机坐标系313的x轴、y轴、z轴的旋转角θ、φ、ψ的值为零。

而且，在壳体311被设置在相对于车辆308向下倾斜的位置，摄像机坐标系313围绕x轴旋转时，如图23(c)所示，向量390a、390b比向量390c、390d大，所以合计向量392成为向上的向量。这时，在式(9)中，通过求出使合计向量392为零的旋转矩阵R，计算围绕摄像机坐标系313的x轴旋转角的θ值。

而且，在壳体311被设置在相对于车辆308向左倾斜的位置，摄像机坐标系313围绕y轴旋转时，如图24(c)所示，向量390b、390d比向量390a、390c大，所以合计向量392成为向右的向量。这时，在式(9)中，通过求出使合计向量392为零的旋转矩阵R，计算围绕摄像机坐标系313的y轴旋转角的φ值。

另一方面，在壳体311被设置在相对于车辆308倾斜的位置，摄像机坐标系313围绕z轴旋转时，根据基准线380相对于如图25(b)所示的平面投影图像的图像坐标系371的倾斜来计算围绕摄像机坐标系313的z轴旋转角的ψ值。

如图26所示，这样构成的摄像机校正装置100通过用于调整摄像机310的计算机391和作为控制摄像机310的摄像控制装置的ECU392等来实现。

如图26(a)所示，计算机391由CPU、RAM、ROM和输入输出接口等构成，在第一作业场所中连接到摄像机310。而且，在本实施方式中，计算机391由第一壳体位置信息保持部315、第二壳体位置信息保持部316、第一光学系统位置信息生成部317、第一光学系统位置信息保持部318、第二光学系统位置信息生成部320、校准标记位置信息保持部325和第二光学系统位置信息保持部330构成。

如图26(c)所示，ECU392由CPU、RAM、ROM和输入输出接口等构成，在第二作业场所中连接到摄像机310并被安装在车辆308上。而且，在本实施方式中，ECU392由上述的第二光学系统位置信息保持部330和校正部360构成。

如图26(b)所示，在第一作业场所到第二作业场所中，添加了CD-ROM和磁盘等记录媒体393的摄像机310被运送。在记录媒体393中，记录第二光学系统位置信息，用于将第二光学系统位置信息从计算机391移送到ECU392。

而且，在本实施方式中，在在第一作业场所到第二作业场所中，摄像机310和记录媒体393被运送，但也可以如图27所示，运送由摄像机310、校正部360构成的摄像机单元394。

接着，对本实施方式中的摄像机校正装置的动作进行说明。

在图28中，摄像机校正装置300在以下的过程中校正第二光学系统位置信息。

首先，摄像机310被设置于第一作业场所，并被配置在相对于第一坐标系301的规定的位置(S301)。然后，第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息被分别保持在第一壳体位置信息保持部315、第二壳体位置信息保持部316、校准标记位置信息保持部325中(S302)。这里，根据测定器测量的位置和在设计中设定的位置等来取得第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息。

接着，通过摄像机310拍摄校准标记305(S303)，第一光学系统位置信息生成部317根据由摄像机310取得的校准标记305的图像信息，由校准标记位置信息保持部125保持的校准标记位置信息生成第一光学系统位置信息(S304)。然后，由第一光学系统位置信息生成部317生成的第一光学系统位置信息被保持在第一光学系统位置信息保持部318中(S305)。

接着，第二光学系统位置信息生成部320根据保持于第一壳体位置信息保持部315中的第一壳体位置信息和保持于第一光学系统位置信息保持部318中的第一光学系统位置信息，从保持于第二壳体位置信息保持部316中的第二壳体位置信息生成第二光学系统位置信息(S306)。然后，由第二光学系统位置信息生成部320生成的第二光学系统位置信息被保持在第二光学系统位置信息保持部330中(S307)。

接着摄像机310和记录媒体393被从第一作业场所运送到第二作业场所。然后，摄像机310在第二作业场所中被设置在车辆308上，并被配置于相对于第二坐标系302规定的位置(S308)。

接着，通过摄像机310拍摄路面302a(S309)，如图22(b)、图23(b)、图24(b)和图25(b)所示，平面投影图像生成部361从通过摄像机310取得的第二坐标系302的图像信息中生成平面投影图像(S310)。

接着，如图22(b)、图23(b)、图24(b)和图25(b)所示，平面投影图像分割部362将由平面投影图像生成部361生成的平面投影图像分割为图像区域386a到386d(S311)。

接着，如图22(b)、图23(b)、图24(b)和图25(b)所示，运动向量提取部363从通过平面投影图像分割部362分割的各图像区域中提取各运动向量(S312)。

接着，如图25(b)所示，校正量计算部364根据基准线380对于图像坐标系371的倾斜，对保持于第二光学系统位置信息保持部330中的第二光学系统位置信息的围绕z轴的校正量进行计算(S313)。然后，如图22(c)、图23(c)和图24(c)所示，校正量计算部364根据由运动向量提取部363提取的各运动向量，对保持于第二光学系统位置信息保持部330中的围绕x轴、y轴的校正量进行计算(S314)。

然后，光学系统位置信息校正部365根据由校正量计算部364计算的校正量，对保持于第二光学系统位置信息保持部330的第二光学系统位置信息进行校正(S315)，结束过程。而且，在本实施方式中，也可以使计算机执行记述了上述的步骤S301到S315的程序。

如以上说明的那样，在本实施方式中，可以利用运动向量388a到388d来校正第二光学系统位置信息。

而且，在本实施方式中，可以容易地提取图像区域386a到386d中的运动向量388a到388d。

而且，在本实施方式中，可以利用分割标记307从而正确地分割平面投影图像。

(第四实施方式)

图29到图38是表示本发明的摄像机校正装置的第四实施方式的图。

首先，对本实施方式的摄像机校正装置的结构进行说明。

在从图29到图31中，摄像机校正装置400连接到作为摄像装置的摄像机410。摄像机410包括壳体411和由壳体411支撑的光学系统412，经由光学系统412取得图像信息。

摄像机校正装置400包括：第一壳体位置信息保持部415，保持用于表示壳体411相对于第一坐标系401的位置的第一壳体位置信息；第二壳体位置信息保持部416，保持用于表示壳体411相对于第二坐标系402的位置的第二壳体位置信息；校准标记位置信息保持部425，保持用于表示校准标记405相对于第一坐标系401的位置的校准标记位置信息；车辆位置信息保持部426，保持用于表示车辆408的一部分例如设置于车体后部的保险杆部409相对于第二坐标系402的位置的车体位置信息。

第一坐标系401在摄像机生产工厂等第一作业场所中被设置。在第一坐标系401中设置X₁轴、Y₁轴、Z₁轴，配置用于对设置于第一作业场所的摄像机410进行校准的校准标记405。校准标记405由三维排列的多个点构成，各个点被配置在相对于第一坐标系401的规定位置。而且，校准标记405被配置为覆盖设置于第一作业场所的摄像机410的视野范围。

第二坐标系402在车辆生产工厂等第二作业场所中被设置。在第二坐标系402中设置X₂轴、Y₂轴、Z₂轴，第二坐标系402的X₂Y₂平面构成设置车辆408的路面402a。在路面402a上配置校正板406。校正板406为单色，以亮度、色调、色品与车辆408的颜色不同的颜色涂覆，并被铺设在车辆408的下面。

摄像机校正装置400在第一作业场所中进行摄像机410的校准。摄像机410被配置在相对于第一坐标系401的规定的位置，表示这时的壳体411的位置的第一壳体位置信息被保持在第一壳体位置信息保持部415中。这里所谓摄像机410的校准是对摄像机410在第二作业场所中被设置在车辆408上时的光学系统412的位置进行计算的动作。

通过摄像机校正装置400校准的摄像机410，在第二作业场所中被设置在车辆408上。摄像机410被配置在相对于第二坐标系402的规定的位置，表示这时的壳体411的位置的第二壳体位置信息被保持在第二壳体位置信息保持部416中。这里，第二壳体位置信息表示壳体411相对于车辆408被设置在正确的位置时的壳体411的位置。

此外，摄像机校正装置400包括：第一光学系统位置信息生成部417，生成表示光学系统412对于第一坐标系401的位置的第一光学系统位置信息；第一光学系统位置信息保持部418，保持由第一光学系统位置信息生成部417生成的第一光学系统位置信息。

第一光学系统位置信息生成部417根据由摄像机410取得的校准标记405的图像信息，由校准标记位置信息保持部425中保持的校准标记位置信息计算光学系统412对于第一坐标系401的位置。这里，光学系统412包括光学系统412的光学中心和光轴的位置。作为计算光学系统412对于第一坐标系401的位置的方法，可以使用文献1中记载的方法。

而且，摄像机校正装置400包括：第二光学系统位置信息生成部420，生成表示光学系统412对于第二坐标系402的位置的第二光学系统位置信息；第二光学系统位置信息保持部430，保持由第二光学系统位置信息生成部420生成的第二光学系统位置信息。

第二光学系统位置信息生成部420根据保持于第一壳体位置信息保持部415中的第一壳体位置信息和保持于第一光学系统位置信息保持部418中的第一光学系统位置信息，由保持于第二壳体位置信息保持部416中的第二壳体位置信息，计算光学系统412对于第二坐标系402的位置。

第二光学系统位置信息生成部420通过与第一实施方式中的第二光学系统位置信息生成部120相同的方法来计算光学系统412对于第二坐标系402的位置。

如图32所示，在第二作业场所被设置于车辆408上的摄像机410中，构成以第二光学系统位置信息为基准的摄像机坐标系413。在摄像机坐标系413中设置x轴、y轴、z轴，摄像机坐标系413的原点与光学系统412的光学中心一致。摄像机坐标系413的x轴被设为摄像机410的左右方向，摄像机坐标系413的y轴被设为摄像机410的上下方向，摄像机坐标系413的z轴被设为与光学系统412的光轴一致。

而且，在从摄像机坐标系413的原点向z轴方向上间隔了焦点距离f的平面上形成图像坐标系414。在图像坐标系414中设置p轴和q轴。路面402a上的点P经由光学系统412成像于图像坐标系414的成像位置P’。摄像机410取得经由光学系统412成像于图像坐标系414的图像作为图像信息。

而且，摄像机校正装置400包括：预测信息位置生成部440，生成保险杆部409对于摄像机410的图像坐标系414的预测位置信息；预测位置信息保持部450，保持由预测信息位置生成部440生成的预测位置信息。

预测信息位置生成部440根据由第二光学系统位置信息生成部420生成的第二光学系统位置信息，从保持于车辆位置信息保持部426中的车体位置信息，对保险杆部409对于摄像机410的图像坐标系414的预测位置进行计算。作为对保险杆部409对于摄像机410的图像坐标系414的预测位置进行计算的方法，可以使用上述的文献1中记载的方法。

如图33所示，被设置于第二坐标系102中的车辆408的保险杆部409经由光学系统412成像于图像坐标系414的成像位置P’。这里，在壳体411被设置在相对于车辆408的正确的位置、即第二壳体位置信息中包含的位置，并且在第二光学系统位置信息中没有产生误差的情况下，成像位置P’与通过预测信息位置生成部440算出的预测位置P一致。

为了校正这样的第二光学系统位置信息的误差，摄像机校正装置400具有对保持于第二光学系统位置信息保持部430中的第二光学系统位置信息进行校正的校正部460。

校正部460根据由摄像机410取得的保险杆部409的图像信息和保持于预测位置信息保持部450中的预测位置信息，对保持于第二光学系统位置信息保持部430中的第二光学系统位置信息进行校正。

校正部460具有以下部件：成像位置信息提取部470，从由摄像机410取得的保险杆部409的图像信息中提取保险杆部409相对于摄像机410的图像坐标系414的成像位置信息；校正量计算部480，根据由成像位置信息提取部470提取的成像位置信息和保持于预测位置信息保持部450中预测位置信息，对保持于第二光学系统位置信息保持部430的第二光学系统位置信息的校正量进行计算；光学系统位置信息校正部490，根据由校正量计算部480计算的校正量，对保持于第二光学系统位置信息保持部430中的第二光学系统位置信息进行校正。

校正量计算部480具有以下部件：匹配部481，使包含于成像位置信息中的保险杆部409的轮廓线和包含于预测位置信息中的保险杆部409的轮廓线重合；提取部482，从通过匹配部481重合的保险杆部409的轮廓线中提取多个点，例如两端的点；运算部483，通过比较包含于成像位置信息中的点和包含于预测位置信息中的点来计算第二光学系统位置信息。

匹配部481对于包含在预测位置信息中的保险杆部409的轮廓线P(参照图34(a))，使包含于成像位置信息中的保险杆部409的轮廓线P’(参照图34(b))一边移动一边旋转从而使其重合(参照图34(c))。

如图35(a)所示，提取部482从通过匹配部481重合的保险杆部409的轮廓线P、P’中提取轮廓线P、P’重合部分的两端的点(P₁，P₂)、(P₁’，P₂’)。

运算部483通过比较包含于预测位置信息中的点(P₁，P₂)(参照图35(b))和包含于成像位置信息中的点(P₁’，P₂’)(参照图35(c))，通过与第一实施方式中的校正量计算部180相同的方法来计算第二光学系统位置信息的校正量。

如图36所示，这样构成的摄像机校正装置400可以通过用于调整摄像机410的计算机491和作为控制摄像机410的摄像控制装置的ECU492等来实现。

如图36(a)所示，计算机491由CPU、RAM、ROM和输入输出接口等构成，在第一作业场所中连接到摄像机410。而且，在本实施方式中，计算机491由第一壳体位置信息保持部415、第二壳体位置信息保持部416、第一光学系统位置信息生成部417、第一光学系统位置信息保持部418、第二光学系统位置信息生成部420、校准标记位置信息保持部425、第二光学系统位置信息保持部430、预测信息位置生成部440和预测位置信息保持部450构成。

如图36(a)所示，ECU492由CPU、RAM、ROM和输入输出接口等构成，在第二作业场所中连接到摄像机410，并被安装在车辆408上。而且，在本实施方式中，ECU492由上述的第二光学系统位置信息保持部430、预测位置信息保持部450和校正部460构成。

如图36(b)所示，在第一作业场所到第二作业场所中，添加了CD-ROM和磁盘等记录媒体493的摄像机410被传送。在记录媒体493中记录第二光学系统位置信息和预测位置信息，用于将第二光学系统位置信息和预测位置信息从计算机491传送到ECU492。

而且，在本实施方式中，摄像机410和记录媒体493被从第一作业场所运送到第二作业场所，但是也可以如图37所示，传送由摄像机410、第二光学系统位置信息保持部430、预测位置信息保持部450和校正部460构成的摄像机单元494。

接着，对本实施方式中的摄像机校正装置的动作进行说明。

在图38中，摄像机校正装置400按以下的过程来校正第二光学系统位置信息。

首先，摄像机410被设置于第一作业场所，并被配置在相对于第一坐标系401的规定的位置(S401)。然后，第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息被分别保持在第一壳体位置信息保持部415、第二壳体位置信息保持部416、校准标记位置信息保持部425和车辆位置信息保持部426中(S402)。这里，根据测定器测定的位置和在设计中设定的位置等来取得第一壳体位置信息、第二壳体位置信息、校准标记位置信息和校正标记位置信息。

接着，通过摄像机410拍摄校准标记405(S403)，第一光学系统位置信息生成部417根据由摄像机410取得的校准标记405的图像信息，从校准标记位置信息保持部425中保持的校准标记位置信息生成第一光学系统位置信息(S404)。然后，由第一光学系统位置信息生成部417生成的第一光学系统位置信息被保持在第一光学系统位置信息保持部418中(S405)。

接着，第二光学系统位置信息生成部420根据保持于第一壳体位置信息保持部415中的第一壳体位置信息和保持于第一光学系统位置信息保持部418中的第一光学系统位置信息，从保持于第二壳体位置信息保持部416中的第二壳体位置信息生成第二光学系统位置信息(S406)。然后，由第二光学系统位置信息生成部420生成的第二光学系统位置信息被保持在第二光学系统位置信息保持部430中(S407)。

接着，预测信息位置生成部440根据由第二光学系统位置信息生成部420生成的第二光学系统位置信息，由保持于车辆位置信息保持部426的车体位置信息生成保险杆部409相对于摄像机410的图像坐标系414的预测位置信息(S408)。然后，由预测信息位置生成部440生成的预测位置信息被保持在预测位置信息保持部450中(S409)。

接着，摄像机410和记录媒体493被从第一作业场所传送到第二作业场所。然后在第二作业场所中摄像机410被设置在车辆408上，并相对于第二坐标系402被配置在固定的位置(S410)。

接着，以校正板406为背景，通过摄像机410拍摄保险杆部409(S411)，如图33所示，成像位置信息提取部470从由摄像机410取得的保险杆部409的图像信息中提取保险杆部409相对于摄像机410的图像坐标系414的成像位置信息(S412)。

接着，如图34所示，匹配部481使包含于成像位置信息的保险杆部409的P’相对于包含于保险杆部409的轮廓线P重合(S413)。

接着，如图35所示，提取部482从保险杆部409的轮廓线P、P’中提取轮廓线P、P’重合部分的两端点(P₁，P₂)、(P₁’，P₂’)(S414)。然后，运算部483通过比较包含于预测位置信息的点(P₁，P₂)和包含于成像位置信息中的点(P₁’，P₂’)，计算第二光学系统位置信息的校正量(S415)。

然后，光学系统位置信息校正部490根据由校正量计算部480计算出的校正量，对保持于第二光学系统位置信息保持部430的第二光学系统位置信息进行校正(S416)，结束过程。而且，在本实施方式中，也可以使计算机执行记述了上述的步骤S401到步骤S416的程序。

如上述说明的那样，在本实施方式中，可以校正设置在车辆408等上的摄像机410的光学系统412的参数，可以对路面上的对象物的位置进行正确地检测。

而且，在本实施方式中，可以利用保险杆部409来校正第二光学系统位置信息。

而且，在本实施方式中，可以从保险杆部409的轮廓线提取点，可以确实地计算出第二光学系统位置信息的校正量。

如以上说明的那样，按照本发明，可以提供能够对设置在车辆等上的摄像机的光学系统的参数进行校正的摄像机校正装置。

Claims (20)

1、一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正装置包括：

第一壳体位置信息保持部件，保持用于表示所述壳体相对于第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持部件，保持用于表示所述壳体相对于第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成部件，根据通过所述摄像装置取得的所述第一坐标系中的图像信息，生成用于表示所述光学系统相对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持部件，保持通过所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息；

第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息生成用于表示所述光学系统相对于所述第二坐标系的位置的第二光学系统位置信息；

第二光学系统位置信息保持部件，保持所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息；以及

校正部件，根据所述摄像装置取得的所述第二坐标系中的图像信息，校正在所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息。

2、一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正装置包括：

第一壳体位置信息保持部件，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持部件，保持用于表示所述壳体相对于配置了校正标记的第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统相对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持部件，保持由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息；

第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息，生成用于表示所述光学系统相对于所述第二坐标系的位置的第二光学系统位置信息；

预测位置信息生成部件，根据由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息，生成所述校正标记相对于所述摄像装置的图像坐标系的预测位置信息；

第二光学系统位置信息保持部件，保持由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息；

预测位置信息保持部件，保持由所述预测位置信息生成部件生成的所述预测位置信息；以及

校正部件，根据由所述摄像装置取得的所述校正标记的图像信息和所述预测位置信息保持部件中保持的所述预测位置信息，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。

3、如权利要求2所述的摄像机校正装置，其特征在于，所述校正部件包括：

成像位置信息提取部件，从通过所述摄像装置取得的所述校正标记的图像信息中，提取所述校正标记相对于所述摄像装置的图像坐标系的成像位置信息；

校正量计算部件，根据由所述成像位置信息提取部件提取的所述成像位置信息和在所述预测位置信息保持部件中保持的所述预测位置信息，计算保持于所述第二光学系统位置信息保持部件的所述第二光学系统位置信息的校正量；以及

光学系统位置信息校正部件，根据由所述校正量计算部件计算的所述校正量，对保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息进行校正。

4、如权利要求3所述的摄像机校正装置，其特征在于：

所述校正部件仅对所述第二光学系统位置信息的旋转分量的误差进行校正。

5、如权利要求3所述的摄像机校正装置，其特征在于，所述成像位置信息提取部件包括：

图像信息显示部件，显示由所述摄像装置取得的所述校正标记的图像信息；以及

成像位置指定部件，在显示于所述图像信息显示部件的所述校正标记的图像信息中指定所述校正标记的成像位置，并提取所述成像位置信息。

6、如权利要求3所述的摄像机校正装置，其特征在于，所述成像位置信息提取部件包括：

预测范围信息保持部件，保持所述校正标记相对于所述摄像装置的图像坐标系的预测范围信息；以及

成像位置检索部件，根据保持于所述预测范围信息保持部件的所述预测范围信息和保持于所述预测位置信息保持部件的所述预测位置信息，从通过所述摄像装置取得的所述校正标记的图像信息中检索所述校正标记的成像位置，并提取所述成像位置信息。

7、一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正装置包括：

第一壳体位置信息保持部件，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持部件，保持用于表示所述壳体相对于第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统相对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持部件，保持由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息；

第二光学系统位置信息生成部件，根据保持于所述第一壳体位置信息保持部件中的所述第一壳体位置信息和保持于所述第一光学系统位置信息保持部件中的所述第一光学系统位置信息，由保持于所述第二壳体位置信息保持部件中的所述第二壳体位置信息生成用于表示所述光学系统相对于所述第二坐标系的位置的第二光学系统位置信息；

第二光学系统位置信息保持部件，保持由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息；以及

校正部件，根据在包含于所述摄像装置取得的所述第二坐标系中的图像信息中的运动向量，对在所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。

8、如权利要求7所述的摄像机校正装置，其特征在于，所述校正部件包括：

平面投影图像生成部件，由通过所述摄像装置取得的所述第二坐标系中的图像信息生成屏平面投影图像；

平面投影图像分割部件，将由所述平面投影图像生成部件生成的所述平面投影图像分割为多个图像区域；

运动向量提取部件，从通过所述平面投影图像分割部件分割的多个所述图像区域中提取运动向量；

校正量计算部件，根据通过所述运动向量提取部件提取的所述运动向量，计算在所述第二光学系统位置信息保持部件中保持的所述的二光学系统位置信息的校正量；以及

光学系统位置信息校正部件，根据由所述校正量计算部件计算出的所述校正量，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。

9、如权利要求8所述的摄像机校正装置，其特征在于：

配置被设置在所述第二坐标系中的分割标记，使其相对于所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息中所包含的所述壳体的位置而保持一定的位置关系，

所述平面投影图像分割部件根据由所述摄像装置取得的所述分割标记的图像信息，将所述平面投影图像分割为多个图像区域。

10、一种摄像机校正装置，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正装置包括：

第一壳体位置信息保持部件，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持部件，保持用于表示所述壳体相对于配置了车辆的第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成部件，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统相对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持部件，保持由所述第一光学系统位置信息生成部件生成的所述第一光学系统位置信息；

第二光学系统位置信息生成部件，根据所述第一壳体位置信息保持部件中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持部件中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持部件中保持的所述第二壳体位置信息生成用于表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；

预测位置信息生成部件，根据由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息，生成所述车辆对于所述摄像装置的图像坐标系的预测位置信息；

第二光学系统位置信息保持部件，保持由所述第二光学系统位置信息生成部件生成的所述第二光学系统位置信息；

预测位置信息保持部件，保持由所述预测位置信息生成部件生成的所述预测位置信息；以及

校正部件，根据由所述摄像装置取得的所述车辆的图像信息和所述预测位置信息保持部件中保持的所述预测位置信息，对所述第二光学系统位置信息保持部件中保持的所述第二光学系统位置信息进行校正。

11、如权利要求10所述的摄像机校正装置，其特征在于，所述校正部件包括：

成像位置信息提取部件，从通过所述摄像装置取得的所述车辆的图像信息中提取所述车辆相对于所述摄像装置的图像坐标系的成像位置信息；

校正量计算部件，根据由所述成像位置信息提取部件提取的所述成像位置信息和在所述预测位置信息保持部件中保持的所述预测位置信息，计算保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息的校正量；以及

光学系统位置信息校正部件，根据由所述校正量计算部件计算的所述校正量，对保持于所述第二光学系统位置信息保持部件中的所述第二光学系统位置信息进行校正。

12、如权利要求11所述的摄像机校正装置，其特征在于，所述校正量计算部件包括：

匹配部件，使所述成像位置信息中包含的车辆的轮廓线和所述预测位置信息中包含的所述车辆的轮廓线重合；

提取部件，从被所述匹配部件重合的所述车辆的轮廓线中提取多个点；以及

运算部件，通过比较所述成像位置信息中包含的所述点和在所述预测位置信息中包含的所述点，计算所述第二光学系统位置信息的校正量。

13、如权利要求1至权利要求12的任意一项所述的摄像机校正装置，其特征在于：

所述摄像装置被安装在车辆上。

14、一种摄像装置，其特征在于：

该摄像装置包括权利要求1至权利要求13的任意一项中所述的摄像机校正装置。

15、一种摄像控制装置，其特征在于：

该摄像控制装置包括权利要求1至权利要求13的任意一项中记载的摄像机校正装置。

16、一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正方法包括：

第一壳体位置信息保持步骤，保持用于表示所述壳体相对于第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持步骤，保持用于表示所述壳体相对于第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成步骤，根据通过所述摄像装置取得的所述第一坐标系中的图像信息，生成用于表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持步骤，保持通过所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息；

第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成用于表示所述光学系统相对于所述第二坐标系的位置的第二光学系统位置信息；

第二光学系统位置信息保持步骤，保持所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息；以及

校正步骤，根据所述摄像装置取得的所述第二坐标系中的图像信息，校正在所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息。

17、一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正方法包括：

第一壳体位置信息保持步骤，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持步骤，保持用于表示所述壳体相对于配置了校正标记的第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持步骤，保持由所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息；

第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成用于表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；

预测位置信息生成步骤，根据由所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息，生成所述校正标记对于所述摄像装置的图像坐标系的预测位置信息；

第二光学系统位置信息保持步骤，保持由所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息；

预测位置信息保持步骤，保持由所述预测位置信息生成步骤生成的所述预测位置信息；以及

校正步骤，根据由所述摄像装置取得的所述校正标记的图像信息和所述预测位置信息保持步骤中保持的所述预测位置信息，对所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。

18、一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正方法包括：

第一壳体位置信息保持步骤，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持步骤，保持用于表示所述壳体相对于第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持步骤，保持由所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息；

第二光学系统位置信息生成步骤，根据在所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和在所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由在所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成用于表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；

第二光学系统位置信息保持步骤，对在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息进行保持；以及

校正步骤，根据由所述摄像装置取得的所述第二坐标系中的图像信息中包含的运动向量，对在所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。

19、一种摄像机校正方法，对位置变更后的摄像装置的光学系统的位置信息进行校正，其特征在于，

该摄像装置具有光学系统和支撑所述光学系统的壳体，

该校正方法包括：

第一壳体位置信息保持步骤，保持用于表示所述壳体相对于配置了校准标记的第一坐标系的位置的第一壳体位置信息；

第二壳体位置信息保持步骤，保持用于表示所述壳体相对于配置了车辆的第二坐标系的位置的第二壳体位置信息；

第一光学系统位置信息生成步骤，根据由所述摄像装置取得的所述校准标记的图像信息，生成用于表示所述光学系统对于所述第一坐标系的位置的第一光学系统位置信息；

第一光学系统位置信息保持步骤，保持在所述第一光学系统位置信息生成步骤生成的所述第一光学系统位置信息；

第二光学系统位置信息生成步骤，根据所述第一壳体位置信息保持步骤中保持的所述第一壳体位置信息和所述第一光学系统位置信息保持步骤中保持的所述第一光学系统位置信息，由所述第二壳体位置信息保持步骤中保持的所述第二壳体位置信息生成用于表示所述光学系统对于所述第二坐标系的位置的第二光学系统位置信息；

预测位置信息生成步骤，根据在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息，生成所述车辆对于所述摄像装置的图像坐标系的预测位置信息；

第二光学系统位置信息保持步骤，保持在所述第二光学系统位置信息生成步骤生成的所述第二光学系统位置信息；

预测位置信息保持步骤，保持在所述预测位置信息生成步骤生成的所述预测位置信息；以及

校正步骤，根据由所述摄像装置取得的所述车辆的图像信息和所述预测位置信息保持步骤中保持的所述预测位置信息，对所述第二光学系统位置信息保持步骤中保持的所述第二光学系统位置信息进行校正。

20、如权利要求16至权利要求19的任何一项所述的摄像机校正方法，其特征在于：

所述摄像装置被安装在车辆上。

Images