CN108297095A - 校准装置、校准方法以及计算机能够读取的介质 - Google Patents

Abstract

一种校准装置、校准方法以及计算机能够读取的介质，涉及到单一的照相机或立体照相机的校准，预先在图像坐标系上设定校准范围，以任意的范围进行校准。视觉传感器控制装置是校准装置，其在机器人上设置目标标记，并且使该机器人移动并在照相机的视场内的多处检测目标标记，由此进行该机器人的机器人坐标系与照相机的图像坐标系的对应，该视觉传感器控制装置具备：图像范围设定部，其设定照相机的图像坐标系上的图像范围；以及校准范围测量部，其在校准执行前使机器人移动来检测目标标记，由此测量与图像范围相当的机器人的动作范围。

Description

校准装置、校准方法以及计算机能够读取的介质

技术领域

本发明涉及到视觉传感器的校准，涉及到在具备单一的照相机或多个照相机的立体照相机的校准时对检测目标标记的范围进行测量的校准装置、方法以及程序。

背景技术

在机器人系统中使机器人具有视觉功能，使机器人利用其视觉功能来识别对象物的位置，从而进行工件的处理、加工等作业。通过由安装于机器人的手附近的视觉传感器、设置于机器人的周边的视觉传感器拍摄对象物来实现该视觉功能。在这种机器人系统中，为了获取从机器人处观察到的对象物的位置，需要用于将图像上的对象物的位置变换为从机器人处观察到的对象物的位置的校准数据。

以往，存在各种用于求出校准数据的方法。例如，在专利文献1中，提出了如下的方法：在机器人的臂顶端安装格子状的图案，利用固定设置的视觉传感器来测量该格子状的图案(称为“方法A”)。另外，在专利文献2中，提出了如下的方法：在臂顶端安装预先在机器人的指尖坐标系中求出了位置姿势的目标标记，在多处求出该目标标记在利用视觉传感器拍摄该目标标记所得到的图像内的位置，由此进行校准(称为“方法B”)。

在利用方法A进行校准的情况下，需要预先准备使用于校准的图案。存在以下问题：在照相机的视场相对于所准备的图案而言过大或过小的情况下，无法精度良好地进行校准。

与此相对，与方法A相比，在利用方法B进行校准的情况下，存在以下优点：能够对更大的视场进行校准或对更小的视场进行校准，能够进一步提高校准的自由度。

此外，在进行三维的测量时，例如有时会如专利文献3所记载的那样将立体照相机用作视觉传感器。关于立体照相机，包括使用对象物的纹理来进行对应点的匹配的被动立体方式、使用投影到对象物的图案来进行对应点的匹配的主动立体方式。无论在哪一种情况下，都需要对构成立体照相机的2个以上的照相机进行校准。

专利文献1：日本专利第2690603号公报

专利文献2：日本特开2015-174191号公报

专利文献3：日本特开2010-172986号公报

发明内容

发明要解决的问题

为了提高视觉传感器(例如，照相机)的校准的精度，期望的是，使目标标记遍及视场范围的大区域地进行移动，来对视觉传感器(例如，照相机)进行校准。

另外，在若使目标标记在视场的范围内移动则会撞到障碍物等的情况下，需要对使目标标记移动的范围进行限制。

因此，在对视觉传感器(例如，照相机)进行校准之前，需要利用某些方法来在校准时使目标标记移动的平面内设定用于拍摄移动的目标标记的、该目标标记的移动范围(下面也称为“校准范围”)，以能够使目标标记遍及视场范围的大区域地进行移动。也能够在机器人坐标系上指定校准范围。但是，为了在机器人坐标系中指定使目标标记进入视场内且避免撞到障碍物的范围，需要用户一边手动操作机器人一边在由照相机拍摄到的图像中确认目标标记。为了消除这种繁杂的操作，期望的是，能够在拍摄到的图像上指定校准范围。

同样地，在如立体照相机那样对多个照相机进行校准时，由于多个照相机安装于彼此分离的场所，因此需要独立地对各个照相机进行校准。即，在对各照相机进行校准之前，需要在使目标标记移动的平面内针对第一照相机21和第二照相机22设定该目标标记的移动范围(校准范围)，以使得能够在各照相机的摄像范围(视角内)拍摄到移动的目标标记。

关于这一点，在专利文献2中没有记载以下内容：在对摄像部40进行校准之前，在工件1进行移动的平面的、摄像部40的摄像范围内(视角内)，设定该工件1的移动范围(校准范围)。另外，专利文献2所记载的校准只不过是对单一的照相机进行校准，而不是对如立体照相机那样的多个照相机进行校准。另外，专利文献3所记载的校准本来是通过在机器人的臂顶端安装作为基础矩阵计算用工具的棋盘格并利用立体照相机拍摄该棋盘格来进行校准，并非通过在臂顶端安装目标标记并在多处求出该目标标记在利用立体照相机拍摄该目标标记所得到的图像内的位置来进行校准。

本发明提供一种能够预先在目标标记进行移动的空间内的单一的视觉传感器(例如，照相机)的视场的范围或立体照相机的各照相机的视场的范围中设定该目标标记的移动范围(校准范围)的校准装置、方法以及程序。

用于解决问题的方案

(1)本发明所涉及的校准装置(例如，后述的“视觉传感器控制装置1”)在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在照相机(例如，后述的“照相机2”)的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述校准装置的特征在于，具备：图像范围设定部(例如，后述的“第一图像范围设定部105”)，其设定所述图像坐标系上的图像范围；以及校准范围测量部(例如，后述的“第一校准范围测量部106”)，其在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

(2)根据(1)所述的校准装置，所述校准范围被设定在平面上。

(3)根据(1)或(2)所述的校准装置，也可以构成为：所述校准范围被设定在与所述照相机的光轴垂直的平面上。

(4)根据(1)或(2)所述的校准装置，也可以构成为：所述校准范围被设定在相对于所述照相机的光轴倾斜的平面上。

(5)根据(1)或(4)所述的校准装置，也可以构成为：所述校准范围被设定在至少2个平面中的各平面上。

(6)本发明所涉及的校准方法(例如，后述的“视觉传感器控制方法”)是由校准装置执行的校准方法，该校准装置在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在照相机(例如，后述的“照相机2”)的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述校准方法的特征在于，具备以下步骤：图像范围设定步骤(例如，后述的“第一图像范围设定步骤”)，设定所述图像坐标系上的图像范围；以及校准范围测量步骤(例如，后述的“校准范围测量步骤”)，在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

(7)本发明所涉及的程序(例如，后述的“程序”)使对校准装置进行控制的计算机执行步骤，该校准装置在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在照相机(例如，后述的“照相机2”)的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述程序的特征在于，使计算机执行以下步骤：图像范围设定步骤(例如，后述的“第一图像范围设定步骤”)，设定所述图像坐标系上的图像范围；以及校准范围测量步骤(例如，后述的“校准范围测量步骤”)，在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

(8)本发明所涉及的校准装置(例如，后述的“视觉传感器控制装置1A”)在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机(例如，后述的“第一照相机21”)和第二照相机(例如，后述的“第二照相机22”)的立体照相机(例如，后述的“立体照相机2A”)的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述校准装置的特征在于，具备：第一图像范围设定部(例如，后述的“第一图像范围设定部105”)，其设定所述第一照相机的图像坐标系上的第一图像范围；第二图像范围设定部(例如，后述的“第二图像范围设定部1052”)，其设定所述第二照相机的图像坐标系上的第二图像范围；第一校准范围测量部(例如，后述的“第一校准范围测量部106”)，其在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及第二校准范围测量部(例如，后述的“第二校准范围测量部1062”)，其在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。

(9)根据(8)所述的校准装置，也可以构成为：所述第一校准范围和所述第二校准范围分别被设定在平面上。

(10)本发明所涉及的校准方法(例如，后述的“视觉传感器控制方法”)是由校准装置执行的校准方法，该校准装置在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机(例如，后述的“第一照相机21”)和第二照相机(例如，后述的“第二照相机22”)的立体照相机(例如，后述的“立体照相机2A”)的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述校准方法的特征在于，具备以下步骤：第一图像范围设定步骤(例如，后述的“第一图像范围设定步骤”)，设定所述第一照相机的图像坐标系上的第一图像范围；第二图像范围设定步骤(例如，后述的“第二图像范围设定步骤”)，设定所述第二照相机的图像坐标系上的第二图像范围；第一校准范围测量步骤(例如，后述的“第一校准范围测量步骤”)，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及第二校准范围测量步骤(例如，后述的“第二校准范围测量步骤”)，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。

(11)本发明所涉及的程序(例如，后述的“程序”)使对校准装置进行控制的计算机执行步骤，该校准装置在机器人(例如，后述的“机器人4”)上设置目标标记(例如，后述的“目标标记5”)，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机(例如，后述的“第一照相机21”)和第二照相机(例如，后述的“第二照相机22”)的立体照相机(例如，后述的“立体照相机2A”)的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述程序的特征在于，使计算机执行以下步骤：第一图像范围设定步骤(例如，后述的“第一图像范围设定步骤”)，设定所述第一照相机的图像坐标系上的第一图像范围；第二图像范围设定步骤(例如，后述的“第二图像范围设定步骤”)，设定所述第二照相机的图像坐标系上的第二图像范围；第一校准范围测量步骤(例如，后述的“第一校准范围测量步骤”)，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及第二校准范围测量步骤(例如，后述的“第二校准范围测量步骤”)，在所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。

发明的效果

根据本发明，能够提供如下的校准装置、方法以及程序：在校准时使目标标记移动的空间内，在校准前预先基于单一的视觉传感器的视场的范围或立体照相机的各照相机的视场的范围来测量作为该目标标记的移动范围的机器人的动作范围(校准范围)，由此提高校准的自由度。

附图说明

图1是机器人系统1000的整体的结构图。

图2是表示目标标记5的一例的图。

图3是表示视觉传感器控制装置1的功能结构的功能框图。

图4是表示视觉传感器控制装置1中的CPU 10的功能结构的框图。

图5表示生成模型图案的流程图。

图6表示模型图案指定区域的一例。

图7表示对目标标记5的三维位置进行测量的点P的一例。

图8A表示对用于表示校准范围的边界的机器人坐标系上的坐标位置进行测量的第一校准范围测量部106的流程图。

图8B表示对用于表示校准范围的边界的机器人坐标系上的坐标位置进行测量的第一校准范围测量部106的流程图。

图9A是表示使安装于臂41的顶端部分的目标标记5在校准范围内移动的情况下的轨道的一例的图。

图9B是表示使安装于臂41的顶端部分的目标标记5在校准范围内移动的情况下的轨道的一例的图。

图10表示用于表示第一实施方式所涉及的照相机2的校准处理的流程图。

图11A是表示设定有校准范围的平面的一例的图。

图11B是表示设定有校准范围的平面的一例的图。

图12是第二实施方式中的用于实施使用立体照相机2A的校准的机器人系统1000的整体的结构图。

图13A是表示立体照相机2A的配置状态的一例的图。

图13B是表示立体照相机2A的配置状态的一例的图。

图14是表示视觉传感器控制装置1A中的CPU 10的功能结构的框图。

图15表示用于表示第二实施方式所涉及的立体照相机2A的校准处理的流程图。

附图标记说明

1000：机器人系统；1：视觉传感器控制装置(校准装置)；1A：视觉传感器控制装置(校准装置)；10：CPU；101：模型图案生成部；102：第一参数设定部；1022：第二参数设定部；103：第一检测部；1032：第二检测部；105：第一图像范围设定部；1052：第二图像范围设定部；106：第一校准范围测量部；1062：第二校准范围测量部；107：摄像控制部；108：校准部；11：总线；12：帧存储器；13：ROM；14：RAM；15：非易失性RAM；151：基准信息存储部；152：检测结果存储部；16：照相机接口；17：监视器接口；18：外部设备接口；19：监视器；2：照相机；2A：立体照相机；21：第一照相机；22：第二照相机；3：机器人控制装置；4：机器人；41：臂；5：目标标记。

具体实施方式

[第一实施方式]

下面，说明本发明的实施方式的一例(第一实施方式)。

图1涉及到视觉传感器的校准，是用于实施使用单一的照相机2的校准的机器人系统1000的整体的结构图。

如图1所示，机器人系统1000具备：视觉传感器控制装置1，其对由单一的照相机2拍摄的图像数据进行图像处理来进行三维测量；机器人4，其具有在顶端部安装有目标标记5的臂41；以及机器人控制装置3，其控制机器人4。照相机2固定于台架(未图示)。在本实施方式中，作为校准装置，例示了视觉传感器控制装置1。

图2是表示目标标记5的一例的图。目标标记5不限定于该例。能够使用任意的形状的目标标记5。其中，期望的是，使得用作模型图案的目标标记5的特征处于二维平面上。作为目标标记5，例如也可以将印刷在纸、薄片上的目标标记粘贴在机器人4的臂41的顶端。

机器人控制装置3将机器人坐标系上的臂41的顶端的坐标位置识别为当前位置。因而，机器人控制装置3基于机器人坐标系上的臂41的顶端的坐标位置以及目标标记5在机器人4的指尖坐标系上的已知的三维的位置及姿势，能够始终识别对臂41进行驱动控制时的目标标记5在机器人坐标系上的坐标位置。

机器人控制装置3具备用于对整体进行统一控制的CPU(未图示)，经由外部设备接口(未图示)来与视觉传感器控制装置1连接，向视觉传感器控制装置1发送图像处理的触发信号、或接收通过视觉传感器控制装置1中的图像处理(例如，目标标记5的检测处理等)所得到的图像处理结果等。

机器人控制装置3在校准执行时对臂41进行驱动控制，使得安装于臂41的顶端的目标标记5在预先设定的进行校准的范围(“校准范围”)内移动。校准范围的具体测量处理在后面叙述。

机器人控制装置3对安装于机器人4的臂41的顶端的目标标记5在机器人坐标系上的坐标位置进行测量。即，能够对目标标记5的移动目的地在机器人坐标系上的坐标位置进行测量。

[关于视觉传感器控制装置1]

照相机2连接于作为校准装置的视觉传感器控制装置1，通过照相机2来拍摄目标标记5，进行照相机2的校准。

图3是表示视觉传感器控制装置1的功能结构的功能框图。

视觉传感器控制装置1具备用于对整体进行统一控制的CPU(中央运算处理装置)10。CPU 10经由总线11来与多个帧存储器12、ROM(只读存储器)13、RAM(随机存取存储器)14、非易失性RAM 15连接。另外，在总线11上经由照相机接口16连接有照相机2，并且经由监视器接口17连接有监视器19。并且，CPU 10经由总线11来与外部设备接口18连接。

外部设备接口18与机器人控制装置3连接，从机器人控制装置3接收目标标记5的坐标位置、或发送通过视觉传感器控制装置1中的图像处理(例如，目标标记5的检测处理等)所得到的图像处理结果等。

在ROM 13中保存有用于利用视觉传感器控制装置1进行的各种处理的程序。另外，一般来说与对ROM的访问相比对RAM的访问更高速，因此CPU 10也可以预先将ROM 13中保存的程序解压到RAM 14，从RAM 14读入程序并执行该程序。另外，在RAM 14中保存有在执行程序时需要的暂时保存数据。

非易失性RAM 15是磁存储装置、快闪存储器、MRAM、FRAM(注册商标)、EEPROM、或者利用电池来备份的SRAM或DRAM等，构成为即使视觉传感器控制装置1的电源被断开也能够保持存储状态的非易失性存储器。在非易失性RAM 15中存储有在执行程序时需要的设定等。

在帧存储器12中保存有图像数据。

[关于模型图案]

非易失性RAM 15具备基准信息存储部151和检测结果存储部152。基准信息存储部151存储表示对象物(目标标记5)的基准信息(也称为“模型图案”或“模板”)。作为基准信息，例如也可以采用由对象物(目标标记5)的边缘点构成的集合(也称为“边缘点群”)。边缘点是指图像上的亮度变化大的点。

例如，能够对对象物(目标标记5)实施公知的Sobel滤波来变换为边缘图像，从边缘图像中提取具有与预先决定的阈值以上的强度的像素(边缘点)，来作为边缘点群。将像这样从包含要检测的对象物(目标标记5)的图像提取出的边缘点群作为模型图案存储在基准信息存储部151中。

此外，模型图案不限定于边缘点。例如，也可以使用如公知的SIFT那样的特征点。另外，也可以通过以配合对象物(目标标记5)的轮廓线的方式配置线段、矩形、圆等几何图形来生成模型图案。在该情况下，在构成轮廓线的几何图形上以适当的间隔设置特征点即可。或者，模型图案也可以是从拍摄目标标记5所得到的图像剪下模型图案指定区域的部分而成的模板图像。

将这样生成的模型图案预先存储到基准信息存储部151也被称为“示教模型图案”。

模型图案的示教在后面叙述。

检测结果存储部152存储从图像数据检测目标标记5所得到的结果，其中，该图像数据是在使目标标记5在所设定的校准范围内移动的情况下在各个移动目的地使用示教的模型图案通过照相机2拍摄到的。

照相机2按照来自CPU 10的指令来拍摄对象物从而获取图像，输出与获取到的图像有关的信号。照相机接口16具有以下功能：按照来自CPU 10的指令来对照相机2产生用于控制曝光的定时的同步信号；将从照相机2接收到的信号放大。这种照相机2、照相机接口16是市场销售的一般的照相机、照相机接口，没有特别限定。

从照相机2取入的与图像有关的信号在照相机接口16处被进行A/D变换，作为数字图像数据来经由总线11暂时被保存到帧存储器12。在视觉传感器控制装置1中，CPU 10使用帧存储器12、ROM 13、RAM 14以及非易失性RAM 15中保存的数据来进行图像处理，将图像处理的结果数据再次保存到帧存储器12。CPU 10也可以根据指令来将帧存储器12中保存的数据传输到监视器接口17从而使该数据显示在监视器19上，使得操作员等能够确认数据的内容。

外部设备接口18与各种外部设备连接。例如，外部设备接口18与机器人控制装置3连接，从机器人控制装置3接收图像处理的触发信号、或将通过图像处理得到的位置信息数据等提供到机器人控制装置3。另外，外部设备接口18也可以连接键盘、鼠标等来作为供操作员用的输入装置。

接着，从各处理部的观点出发来说明CPU 10所具有的功能。此外，关于基于各处理步骤(方法)的观点的说明，能够通过将“部”替换为“步骤”来进行说明，因此省略该说明。

图4是表示视觉传感器控制装置1中的CPU 10的功能结构的框图。CPU 10具备模型图案生成部101、第一参数设定部102、第一检测部103、第一图像范围设定部105、第一校准范围测量部106、摄像控制部107以及校准部108。

通过由CPU 10执行ROM 13中保存的系统程序来实现这些功能部或功能步骤。

[模型图案生成部101]

模型图案生成部101例如利用照相机2来生成模型图案。图5中示出了模型图案生成部101生成模型图案的流程图。参照图5来说明模型图案生成部101的功能。

在步骤S1中，模型图案生成部101进行以下控制：利用照相机2来拍摄配置于照相机2的视场内的目标标记5。此外，期望的是，使此时的照相机2与目标标记5的位置关系同检测目标标记5时相同来进行控制。

在步骤S2中，模型图案生成部101在拍摄目标标记5得到的图像中将拍到目标标记5的区域利用矩形、圆形等设定为模型图案指定区域，并且在模型图案指定区域内定义模型图案坐标系(图像坐标系)。此外，图6中示出了模型图案指定区域、模型图案坐标系(图像坐标系)以及模型图案的一例。

模型图案生成部101也可以将由操作员指示的区域设定为模型图案指定区域。另外，模型图案生成部101也可以计算出图像中的亮度梯度大的地方来作为目标标记5的像的轮廓，以将该目标标记5的像的轮廓包含于内部的方式设定模型图案指定区域。

在步骤S3中，模型图案生成部101在模型图案指定区域内提取边缘点来作为特征点，求出边缘点的位置、亮度梯度的方向、亮度梯度的大小等物理量，变换为利用在模型图案指定区域内定义的模型图案坐标系来表现的值。

另外，模型图案生成部101将由操作员指示的点设定为用于测量目标标记5的三维位置的点P，存储到基准信息存储部151。通过预先指定用于测量目标标记5的三维位置的点P，能够预先求出机器人4的指尖坐标系上的三维的位置及姿势。此外，在未明确指定用于测量目标标记5的三维位置的点P的情况下，模型图案生成部101例如也可以将模型图案的中心点设定为用于测量目标标记5的三维位置的点。图7中示出了用于测量目标标记5的三维位置的点P的一例。在图7中，将目标标记5的中心点设定为用于测量目标标记5的三维位置的点P。

此外，如前所述，模型图案不限定于边缘点。例如，也可以使用如公知的SIFT那样的特征点。另外，也可以通过以配合对象物(目标标记5)的轮廓线的方式配置线段、矩形、圆等几何图形来生成模型图案。在该情况下，在构成轮廓线的几何图形上以适当的间隔设置特征点即可。或者，模型图案也可以是从拍摄目标标记5所得到的图像剪下模型图案指定区域的部分而成的模板图像。

在步骤S4中，模型图案生成部101将生成的模型图案存储到基准信息存储部151。

如以上那样，使用由照相机2拍摄的图像来生成模型图案。

接着，说明用于使用基准信息存储部151中存储的模型图案来从由照相机2拍摄的图像数据检测目标标记5的参数。

由于照相机2与目标标记5的移动目的地的位置之间的距离、与光轴之间的角度等不同，因此，根据目标标记5在校准范围内的移动目的地不同，利用照相机2拍摄目标标记5得到的图像有可能与由模型图案生成部101生成的模型图案之间大小不同、或变为产生了旋转或变形的外观不同之物。因此，可能产生以下状况：在原本想要检测出与模型图案完全一致之物的情况下，无法从由照相机2拍摄的图像数据检测出对象物(目标标记5)。

[第一参数设定部102]

第一参数设定部102设定用于从由照相机2拍摄的图像数据检测目标标记5的参数，使得即使上述这种状况下，也能够无论目标标记5在校准范围内的移动目的地如何均从由照相机2拍摄的图像数据检测出模型图案。

更具体地说，由第一参数设定部102设定的参数依赖于检测算法，例如能够构成为具有相对于模型的尺寸、旋转、变形、要检测的位置的范围、角度的范围等规定的范围，或者由单一的数值、开/关值构成。此外，参数不限于在此例示的参数。

通过这样，后述的第一检测部103构成为能够根据单一的数值、开/关值或者规定的范围内的参数的值来从摄像数据检测出与模型图案一致之物，从而能够无论目标标记5的移动目的地如何均检测出模型图案。通过这样，后述的第一检测部103能够通过应用适当的参数的值来从摄像数据检测出模型图案。

此外，也可以使参数为应用于由照相机2拍摄的图像数据的参数。在该情况下，第一检测部103构成为从对由照相机2拍摄的图像数据应用参数后得到的图像数据检测目标标记5的模型图案。例如，能够从对图像数据实施高斯滤波来进行平滑化后得到的图像数据检测模型图案。

另外，也可以使参数为应用于目标标记5的模型图案的参数。在该情况下，第一检测部103构成为利用应用参数后的模型图案来从由照相机2拍摄的图像数据检测目标标记5。

作为第一参数设定部102所设定的参数之一，例如也可以将投影变换、仿射变换、相似变换等的变换矩阵应用于模型图案。

例如，能够在将参数的值构成为单一的数值的情况下，使得能够选择单一的变换矩阵，在将参数的值构成为具有规定的范围的情况下，使得能够选择规定的范围的变换矩阵。具体地说，在将参数构成为具有规定的范围时，例如，在投影变换矩阵的情况下，可以构成为基于1个投影变换矩阵，使与该投影变换矩阵的各个元素之间的偏差为规定的阈值以下的投影变换矩阵包含于参数的范围，在旋转的情况下，可以基于1个旋转角度来设定旋转角度的范围。另外，关于相似变换也同样地，可以基于1个相似比来设定相似比的范围。

例如，能够根据照相机2的光轴与在校准时目标标记5进行移动的平面之间的角度(特别是使该平面相对于光轴不呈直角而是倾斜的情况)，针对照相机2利用参数来将尺寸的范围设定为0.9至1.1。

通过这样，例如，能够实现对于目标标记5的移动目的地不同所导致的目标标记5的外观的不同具有鲁棒性的检测。

此外，期望的是，关于曝光时间也是，例如根据照相机2与放置目标标记5的平面之间的角度、与照明之间的关系等来设定参数的值。

[第一检测部103]

第一检测部103从由照相机2拍摄的图像数据检测目标标记5，对检测出的目标标记5在照相机2的图像坐标系中的坐标位置进行测量。

具体地说，第一检测部103从单一的数值、开/关值或参数的规定的范围选择参数。此外，在从规定的范围选择参数时，例如也可以是，最开始选择在参数范围的值中位于中心的值。之后，例如也可以是，从中心的值分别向正负偏移，来选择下一个参数。

在如前所述那样参数是应用于由照相机2拍摄的图像数据的参数的情况下，第一检测部103在从单一的数值、开/关值或参数的规定的范围选择参数之后，利用该参数来对图像数据进行变换，使得能够从由照相机2拍摄的图像数据检测目标标记。通过这样，第一检测部103能够通过公知的检测方法来从变换后的图像数据检测出目标标记。

具体地说，第一检测部103利用与提取出示教的模型图案的特征点的方法相同的方法来从应用了第一参数的图像数据提取特征点，在利用参数进行变换后的特征点与构成模型图案的特征点之间进行公知的匹配，由此检测目标标记5。

另外，反之，第一检测部103也可以利用该参数来对目标标记5的模型图案进行变换。在该情况下，第一检测部103能够通过前述的公知的检测方法来从摄像数据检测与变换后的模型图案一致的目标标记5。

具体地说，第一检测部103利用与提取出示教的模型图案的特征点的方法相同的方法来从由照相机2拍摄的图像数据提取特征点，在特征点与应用了第一参数的模型图案的特征点之间进行公知的匹配，由此检测目标标记5。

第一检测部103对检测出的目标标记5在照相机2的图像坐标系中的坐标位置进行测量。

[第一图像范围设定部105]

如前所述，在本实施方式中使目标标记5在预先指定的平面上移动。该平面既可以由平行的多个平面构成，也可以是将多个部分平面连结而成的。第一图像范围设定部105为了求出机器人4的动作范围(校准范围)而设定与该校准范围相当的照相机2的图像坐标系上的图像范围。

更具体地说，第一图像范围设定部105基于来自操作员的指示，在由照相机2拍摄到的图像上基于照相机2的图像坐标系来设定图像范围。在这种情况下，第一图像范围设定部105能够将图像范围例如指定为矩形。

第一图像范围设定部105也可以将图像整体设定为图像范围。

另外，在目标标记5进行移动的空间上存在障碍物等的情况下，第一图像范围设定部105也能够基于来自操作员的指示，以避开存在于照相机2的视场内的障碍物的方式限制图像范围。在该情况下，第一图像范围设定部105也可以利用由多个线段构成的闭合的图形来指定图像范围。

[第一校准范围测量部106]

第一校准范围测量部106在校准执行前控制机器人4使得目标标记5移动，通过第一检测部103来检测目标标记5，由此测量与由第一图像范围设定部105设定的图像范围相当的机器人4的动作范围、即校准范围(例如，表示校准范围的边界的机器人坐标系上的坐标位置)。

更具体地说，第一校准范围测量部106重复多次目标标记5的移动和检测来确定是否能够在由第一图像范围设定部105在照相机2的图像坐标系上指定的校准范围内检测出目标标记5，由此测量与该图像范围相当的机器人4(即目标标记5)的动作范围、即校准范围(例如，表示校准范围的边界的机器人坐标系上的坐标位置)。

图8A和图8B中示出了对表示校准范围的边界的机器人坐标系上的坐标位置进行测量的第一校准范围测量部106的流程图。参照图8A和图8B来说明第一校准范围测量部106的功能。此外，在校准时使目标标记5移动的平面被定义为预先指定的三维坐标系的XY平面。此外，平面不限定于三维坐标系的XY平面。

在步骤S11中，第一校准范围测量部106分别借助机器人控制装置3和第一检测部103来获取位于照相机2的视场内的配置于平面上的初始位置的目标标记5在机器人坐标系上的三维坐标位置和在照相机2的图像坐标系上的坐标位置。此外，例如也可以通过操作员的点动(jog)操作来使目标标记5移动到初始位置。或者也可以移动到机器人控制装置3所存储的初始位置。

在步骤S12中，第一校准范围测量部106借助机器人控制装置3来使机器人4(即目标标记5)在平面上从初始位置移动沿X轴方向预先设定的X方向单位量，分别借助机器人控制装置3和第一检测部103来获取目标标记5在机器人坐标系上的三维坐标位置以及目标标记5在照相机2的图像坐标系上的坐标位置。

在步骤S13中，第一校准范围测量部106借助机器人控制装置3来使机器人4(即目标标记5)在平面上从初始位置移动沿Y轴方向预先设定的Y方向单位量，分别借助机器人控制装置3和第一检测部103来获取目标标记5在机器人坐标系上的三维坐标位置以及目标标记5在照相机2的图像坐标系上的坐标位置。

在步骤S14中，第一校准范围测量部106计算如下内容：与平面上的X轴方向的X方向单位量对应的、机器人坐标系上的三维矢量VX(大小和方向)和照相机2的图像坐标系上的表示目标标记5的移动量的二维矢量vx(大小和方向)；以及与平面上的Y轴方向的Y方向单位量对应的、机器人坐标系上的三维矢量VY(大小和方向)和照相机2的图像坐标系上的表示目标标记5的移动量的二维矢量vy(大小和方向)。

通过这样，能够获取照相机2的图像坐标系上的移动量与机器人坐标系上的移动量之间的大致的对应关系。例如，能够利用基于下面的式(1)计算出的变换矩阵R来将图像坐标系上的位置变换为机器人坐标系上的大致的位置。

【式1】

此外，在步骤S13中移动沿Y轴方向预先设定的Y方向单位量的情况下的矢量开始位置不限定于初始位置。也可以将在步骤S12中从初始位置移动了X方向单位量后的位置设为矢量开始位置。

在步骤S15中，第一校准范围测量部106基于在步骤S14中计算出的对应关系，来计算并设定与从照相机2的图像坐标系上的初始位置到照相机2的图像坐标系的边界位置(例如，角落)为止的移动量的大小和方向(v)对应的、机器人坐标系上的从该平面上的初始位置起的移动量的大小和方向(V)。此时，期望的是，对移动量的大小和方向(V)乘以小于1的系数，由此设定成在照相机2的图像坐标系的范围内检测出目标标记5的可能性高。此外，设照相机2的图像坐标系上的图像范围的坐标值(例如包括4个角落的边界位置)是预先计算出的。

在步骤S16中，第一校准范围测量部106使目标标记5移动。

具体地说，第一校准范围测量部106借助机器人控制装置3来使机器人4(即目标标记5)基于所设定的移动量的大小和方向(V)从该平面上的初始位置起移动。

在步骤S17中，第一校准范围测量部106判定是否能够借助第一检测部103检测出目标标记5。在能够检测出目标标记的情况下(是)，转移至步骤S18。在无法检测出目标标记的情况下(否)，转移至步骤S19。

在步骤S18中，第一校准范围测量部106借助第一检测部103来判定目标标记5在照相机2的图像坐标系上的坐标位置到照相机2的图像坐标系的边界位置(例如，角落)的距离是否近(即距离是否为规定的阈值以下)。在判定为近的情况下(是)，转移至步骤S20。在判定为不近的情况下，转移至步骤S22。

在步骤S19中，第一校准范围测量部106重新设定移动量的大小和方向。

具体地说，在判定为在从初始位置起的移动下无法检测出目标标记5的情况下，第一校准范围测量部106对已设定的移动量的大小和方向(V)乘以小于1的系数，由此重新设定移动量的大小和方向(V)。需要使此时使用的系数为小于在从初始位置起的移动时使用的系数的值。之后，转移至步骤S16。

在步骤S20中，第一校准范围测量部106存储目标标记5在机器人坐标系上的当前位置和在照相机2的图像坐标系上的当前位置。

在步骤S21中，判定是否与所有边界位置对应的测量均已结束。在与所有边界位置对应的测量均已结束的情况下(是)，转移至结束。在存在下一个边界位置的情况下(否的情况下)转移至步骤S15。

在步骤S22中，第一校准范围测量部106设定与从当前位置到边界位置的移动量的大小和方向(v′)对应的、机器人坐标系上的从该平面上的当前位置起的移动量的大小和方向(V′)。

在步骤S23中，第一校准范围测量部106使机器人4(即目标标记5)基于所设定的移动量的大小和方向(V′)来从当前位置起移动。

在步骤S24中，第一校准范围测量部106判定是否能够借助第一检测部103检测出目标标记5。在能够检测出目标标记5的情况下(是)，转移至步骤S18。在无法检测出目标标记5的情况下(否)，转移至步骤S25。

在步骤S25中，第一校准范围测量部106对已设定的移动量的大小和方向(V′)乘以小于1的系数，由此重新设定从移动前的位置起的移动量的大小和方向(V′)。需要使此时使用的系数为小于在从移动前的位置起的移动时使用的系数的值。之后转移至步骤S23。

如以上那样，第一校准范围测量部106能够测量出表示用于检测目标标记5的校准范围的边界的、机器人坐标系上的坐标位置。此外，前述的流程图是一个例子，不限定于此。

在校准执行时，作为校准装置的视觉传感器控制装置1控制机器人4使得目标标记5在该校准范围内移动。此时，期望的是，臂41在所设定的校准范围内没有遗漏地移动。视觉传感器控制装置1例如也可以进行控制使得目标标记5沿图9A或图9B所示的轨道移动。

[摄像控制部107]

在校准执行时，摄像控制部107在多个移动目的地的位置通过照相机2拍摄安装于机器人4的臂41的顶端的目标标记5，其中，能够通过机器人4使该目标标记5在校准范围内移动。在此，作为多个移动目的地的个数，期望的是，使其为比能够进行校准的最小个数大的个数(例如，20以上)。通过这样，能够提高校准的精度。

[校准部108]

校准部108将在校准执行时由机器人控制装置3移动的安装于机器人4的臂41的顶端的目标标记5的多个移动目的地处的、由照相机2拍摄的图像数据中的目标标记5在照相机2的图像坐标系上的坐标位置以及由照相机2进行拍摄时的目标标记5在机器人坐标系上的坐标位置存储到检测结果存储部152。

之后，校准部108基于检测结果存储部152中存储的、目标标记5在照相机2的照相机的图像坐标系上的坐标位置以及由照相机2进行拍摄时的目标标记5在机器人坐标系上的坐标位置来进行照相机2的校准。

图10是表示本实施方式所涉及的利用视觉传感器控制装置1(CPU 10)进行的照相机2的校准处理的流程图。

在步骤S31中，进行模型图案的生成和参数的设定。

在步骤S32中，CPU 10(第一图像范围设定部105)根据操作员的指定，在图像坐标系上设定(与校准范围相当的)针对照相机2的图像范围。操作员能够在由照相机2拍摄到的图像上指定(与校准范围相当的)图像范围。

在步骤S33中，第一校准范围测量部106测量表示校准范围的边界的机器人坐标系上的坐标位置。

具体地说，如前所述，第一校准范围测量部106重复多次目标标记5的移动和检测来确定是否能够在图像范围内检测出目标标记5，由此测量校准范围(例如，表示机器人的动作范围的边界的机器人坐标系上的坐标位置)。(此外，步骤S33内的处理基于前述的第一校准范围测量部106的处理流程。)

在步骤S34中，CPU 10(校准部108)将用于对测量次数进行计数的测量计数值设定为1。

在步骤S35中，CPU 10(校准部108)获取由机器人控制装置3测量出的目标标记5在机器人坐标系上的三维坐标位置。

在步骤S36中，CPU 10(第一检测部103)从由照相机2拍摄的图像数据检测目标标记5，测量所检测出的目标标记5在照相机2的图像坐标系上的坐标位置。

在步骤S37中，CPU 10(校准部108)将当前位置下的目标标记5在机器人坐标系上的三维坐标位置、在照相机2的图像坐标系上的坐标位置相关联地进行存储。

在步骤S38中，CPU 10(校准部108)将用于对测量次数进行计数的测量计数值加1。

在步骤S39中，判定测量计数值是否超过规定的值。在测量计数值超过规定的值的情况下(是)，转移至步骤41。在测量计数值未超过规定的值的情况下(否)，转移至步骤40。

在步骤S40中，机器人控制装置3将安装于机器人4的臂41的顶端的目标标记5移动至校准范围内的能够从照相机2处进行测量的场所。之后，转移至步骤S34。

在步骤S41中，CPU 10(校准部108)基于在步骤37中存储的、目标标记5在机器人坐标系上的三维坐标位置以及在照相机2的图像坐标系上的坐标位置之间的关系，来执行照相机2的校准。

此外，本处理流程是一个例子，并不限定于此。

如以上那样，第一实施方式中的视觉传感器控制装置1具备：第一图像范围设定部105，其设定照相机2的图像坐标系上的图像范围；以及第一校准范围测量部106，其在校准执行前，控制机器人4来使目标标记5移动并检测目标标记5，由此测量与该图像范围相当的机器人的动作范围、即校准范围。

由此，能够在校准前预先基于单一的视觉传感器的视场的范围来测量作为目标标记5的移动范围的机器人的动作范围(校准范围)，由此提高校准的自由度。另外，能够将目标标记5进行移动的范围扩大到占满照相机的视场，校准变得更准确。另外，在目标标记5进行移动的平面上存在障碍物等的情况下，基于来自操作员的指示，以避开存在于照相机2的视场内的障碍物的方式指定图像范围，由此能够高效地设定校准范围。

此外，校准范围能够设定在平面上，作为在校准时使目标标记5移动的平面，能够构成为相对于照相机2的光轴垂直的平面、或者如图11A所示那样相对于照相机2的光轴倾斜的平面。另外，能够如图11B所示那样将校准范围设定在至少2个平面的各平面上。

通过这样，能够扩大校准范围，校准的自由度进一步增加，校准变得更准确。

第一实施方式中的校准方法以及第一实施方式中的程序也起到与第一实施方式中的视觉传感器控制装置1同样的效果。

以上，说明了本发明的第一实施方式，但是本发明不限于前述的第一实施方式。另外，第一实施方式所记载的效果不过是列举了本发明所产生的最佳的效果，本发明的效果不限定于第一实施方式所记载的效果。

[变形例1]

在第一实施方式中，模型图案生成部101构成为通过照相机2来生成模型图案并存储该模型图案，但是也可以构成为：将现有的形状(例如，○形状)设为目标标记5，来代替通过照相机2生成模型图案。

[变形例2]

在第一实施方式中，使目标标记5在预先指定的平面上移动，测量该平面上的校准范围，但是也可以在任意的三维空间中定义校准范围。通过这样，能够期待校准的自由度进一步增加。

例如，预先指定的平面也可以由平行的多个平面构成，还可以是将多个部分平面连结而成的。

例如，也可以如图11B所示那样构成为至少包含2个平面。在包含多个平面的情况下，第一校准范围测量部106在各个平面上测量表示校准范围的边界的机器人坐标系上的坐标位置。

另外，例如也可以构成为：在三维坐标系中定义2个平面，将各平面与看向由照相机2拍摄的图像的角落的视线相交的点所定义的6面体内的空间设为校准范围。在该情况下，第一校准范围测量部106在该6面体内测量表示校准范围的边界的机器人坐标系上的坐标位置。

[第二实施方式]

接着，说明第二实施方式。第二实施方式的作为校准装置的视觉传感器控制装置1A在至少具备第一照相机21和第二照相机22的立体照相机2A的图像范围内设定拍摄移动的目标标记5的机器人4的动作范围、即校准范围。

此外，在第二实施方式的说明中，省略了对与第一实施方式共同的结构、功能的说明，说明第二实施方式所特有的方面。

图12涉及到立体照相机的校准，是用于实施使用了具备第一照相机21和第二照相机22的立体照相机2A的校准的机器人系统1000的整体的结构图。构成立体照相机的照相机不限于2台，是2台以上即可。另外，构成立体照相机的各个照相机也能够用作单一的照相机，这是不言而喻的。立体照相机2A固定于台架(未图示)。第一照相机21和第二照相机22也可以如图13A所示那样平行地配置。另外，也可以如图13B所示那样彼此倾斜地配置第一照相机21和第二照相机22。

与将第一照相机21和第二照相机22平行地配置的情况相比，通过将第一照相机21和第二照相机22彼此倾斜地配置，能够使第一照相机21的摄像区域与第二照相机22的摄像区域的重合区域变大。即，与将第一照相机21和第二照相机22平行地配置的情况相比，能够使能够利用立体照相机2A进行三维测量的区域变大。

此外，期望的是，使第一照相机21和第二照相机22的视场范围、镜头等为相同的结构。通过这样，能够期待以同样的方式观测目标标记5。

[关于视觉传感器控制装置1A]

视觉传感器控制装置1A与立体照相机2A连接，通过第一照相机21和第二照相机22来分别拍摄目标标记5，分别进行第一照相机21和第二照相机22的校准。

作为校准装置的视觉传感器控制装置1A的功能结构除了以下方面以外与第一实施方式的视觉传感器控制装置1的功能结构(图3)相同：总线11上经由照相机接口16连接有立体照相机2A(第一照相机21和第二照相机22)。视觉传感器控制装置1A的功能结构参照前述的图3。

图14是表示视觉传感器控制装置1A中的CPU 10的功能结构的框图。如图14所示，视觉传感器控制装置1A中的CPU 10具备模型图案生成部101、第一参数设定部102、第一检测部103、第一图像范围设定部105、第一校准范围测量部106、第二参数设定部1022、第二检测部1032、第二图像范围设定部1052、第二校准范围测量部1062、摄像控制部107以及校准部108。

模型图案生成部101通过第一照相机21来拍摄配置于第一照相机21的视场内的目标标记5，由此生成模型图案。作为针对第二照相机22的模型图案，沿用使用由第一照相机21拍摄的图像来生成的模型图案。此外，也可以通过第二照相机22来拍摄配置于第二照相机22的视场内的目标标记5，由此个别地生成用于第二照相机22的模型图案。

第一参数设定部102设定用于从由第一照相机21拍摄的图像数据检测目标标记5的模型图案的第一参数。

此外，第一参数设定部102的功能与第一实施方式中的第一参数设定部102同等。

[第二参数设定部1022]

接着说明第二参数设定部1022，该第二参数设定部1022设定用于使用由第一照相机21生成的目标标记5的模型图案来从由第二照相机22拍摄的图像数据检测该模型图案的第二参数。

第二参数设定部1022基于第一参数来设定用于从由第二照相机22拍摄的图像数据检测目标标记5的模型图案的第二参数。

更具体地说，第二参数设定部104在对第二参数的值进行初始设定时将第一参数按原样使用。

或者，在对第二参数的值进行初始设定时，例如，在将第二参数设为规定的范围的情况下，第二参数设定部104能够设定与第一参数的范围相同的范围、或者将第二参数的范围设定为包含由第一参数设定部102设定的第一参数的规定的范围的大的范围。在这种情况下，在能够通过利用后述的第二检测部105应用某个第二参数的值来从由第二照相机22拍摄的图像数据检测出目标标记5的模型图案的情况下，第二参数设定部104能够以该第二参数为中心，基于第一参数的规定的范围中的相对于中心值的偏差，来重新设定第二参数的值的范围。

例如，在将第一参数中的尺寸的范围设定为0.9至1.1的情况下，中心值为1.0，第一参数的规定的范围中的相对于中心值的偏差为0.1。

另一方面，关于第二照相机22的对象物(目标标记5)，在能够通过在第二照相机22中将第二参数中的尺寸设为0.95来检测出对象物(目标标记5)的情况下，将第二参数的中心值设为0.95，将第一参数的偏差指定给第二参数。即，第二参数的值的范围设定为将中心值设为0.95的范围[0.85～1.05]。

能够像这样重新考虑对第二参数的值的范围进行初始设定时的范围，能够更高效地实施从第二照相机22的摄像数据检测模型图案。此外，第二参数不限于在此例示之物。

[第一检测部103]

第一检测部103从由第一照相机21拍摄的图像数据检测目标标记5的模型图案，对所检测出的目标标记5在第一照相机21的图像坐标系上的坐标位置进行测量。此外，第一检测部103的功能与第一实施方式中的第一检测部103的功能同等。

[第二检测部1032]

第二检测部1032从由第二照相机22拍摄的图像数据检测目标标记5的模型图案，对所检测出的目标标记5在第二照相机22的图像坐标系上的坐标位置进行测量。

此外，能够通过将在第一实施方式中说明的第一检测部103中的照相机2、第一参数设定部102以及参数分别替换为第二照相机22、第二参数设定部1022以及第二参数，来说明第二检测部1032的检测处理。

[第一图像范围设定部105]

第一图像范围设定部105基于来自操作员的指示，在由第一照相机21拍摄到的图像上基于第一照相机21的图像坐标系来设定第一图像范围。第一图像范围也可以是图像整体。

第一图像范围设定部105能够将第一图像范围例如指定为矩形。

另外，在安装于臂41的顶端部分的目标标记5进行移动的平面上存在障碍物等的情况下，第一图像范围设定部105也能够基于来自操作员的指示，以避开存在于第一照相机21的视场内的障碍物的方式限制第一图像范围。在该情况下，第一图像范围设定部105也可以利用由多个线段构成的闭合的图形来指定第一图像范围。此外，第一图像范围设定部105的功能与第一实施方式中的第一图像范围设定部105的功能同等。

[第二图像范围设定部1052]

第二图像范围设定部1052与第一图像范围设定部105同样地，在由第二照相机22拍摄到的图像上基于第二照相机22的图像坐标系来设定第二图像范围。

此外，能够通过将在第一实施方式中说明的第一图像范围设定部105中的照相机2替换为第二照相机22，来说明第二图像范围设定部1052的处理。

[第一校准范围测量部106]

第一校准范围测量部106在校准执行前，控制机器人4使得目标标记5移动，通过第一检测部103来检测目标标记5，由此测量与由第一图像范围设定部105设定的第一图像范围相当的机器人4的动作范围、即第一校准范围。

更具体地说，第一校准范围测量部106进行多次目标标记5的移动和检测来确定是否能够通过第一照相机在第一图像范围内检测出目标标记5，由此测量与该第一图像范围相当的机器人4的动作范围、即第一校准范围。此外，第一校准范围测量部106的功能与第一实施方式中的第一校准范围测量部106的功能同等。

[第二校准范围测量部1062]

同样地，第二校准范围测量部1062对于是否能够通过第二照相机在第二图像范围内检测出目标标记5，进行多次目标标记5的移动和检测，由此测量与该第二图像范围相当的机器人4的动作范围、即第二校准范围。此外，能够通过将在第一实施方式中说明的第一校准范围测量部106中的照相机2、第一参数设定部102、参数、图像范围分别替换为第二照相机22、第二参数设定部1022、第二参数以及第二图像范围，来说明第二校准范围测量部1062的处理。

本实施方式也与第一实施方式同样地，设为使目标标记5在预先指定的平面上移动。第一校准范围与第二校准范围被设定在同一平面上。

此外，关于用于测量第一校准范围和第二校准范围的第一校准范围测量部106和第二校准范围测量部1062的测量处理所涉及的流程图，设为将在第一实施方式(图8A、图8B)中说明的校准范围测量部106所涉及的流程图中的照相机2、第一参数设定部102、参数、图像范围分别替换为第一照相机21、第一参数设定部102、第一参数、第一图像范围以及第二照相机22、第二参数设定部1022、第二参数、第二图像范围所得的流程图。

在第一照相机21和第二照相机22的校准执行时，作为校准装置的视觉传感器控制装置1A控制机器人4使得目标标记5在第一校准范围和第二校准范围中的至少一方的范围内、或者第一校准范围和所述第二校准范围这两方所包含的范围内移动。也就是说，既可以仅在第一校准范围和第二校准范围这两方所包含的范围内移动，也可以仅在第一校准范围和第二校准范围中的某一个所包含的范围内移动，还可以在将第一校准范围和第二校准范围加在一起所得的范围内移动。

[摄像控制部107]

摄像控制部107在校准执行时，在多个移动目的地的位置通过第一照相机21和第二照相机22来拍摄安装于机器人4的臂41的顶端的目标标记5，其中，由机器人4使目标标记5在第一校准范围和第二校准范围中的至少一方的范围内、或者第一校准范围和所述第二校准范围这两方所包含的范围内移动。在此，作为多个移动目的地的个数，期望的是，使其为比能够进行第一照相机21和第二照相机22各自的校准的最小个数大的个数(例如，20以上)。通过这样，能够提高校准的精度。

[校准部108]

校准部108将在校准执行时第一校准范围和第二校准范围中的至少一方的范围内、或者第一校准范围和所述第二校准范围这两方所包含的范围内的目标标记5的多个移动目的地处的、在第一照相机21的图像坐标系上的坐标位置和在第二照相机22的图像坐标系上的坐标位置以及由第一照相机21和第二照相机22进行拍摄时的目标标记5在机器人坐标系上的坐标位置存储到检测结果存储部152。

之后，校准部108基于检测结果存储部152中存储的目标标记5在第一照相机21的图像坐标系上的坐标位置和目标标记5在第二照相机22的图像坐标系上的坐标位置以及由第一照相机21和第二照相机22进行拍摄时的目标标记5在机器人坐标系上的坐标位置，来进行第一照相机21和第二照相机22的校准。也可以个别地进行第一照相机21和第二照相机22的校准。

图15是表示本实施方式所涉及的利用视觉传感器控制装置1A(CPU 10)进行的第一照相机21和第二照相机22的校准处理的流程图的一例。此外，该流程图表示在将第一校准范围与第二校准范围加在一起所得的范围中移动的情况下的处理。

在步骤S51中，进行模型图案的生成以及第一参数和第二参数的设定。

在步骤S52中，CPU 10(第一图像范围设定部105和第二图像范围设定部1052)根据操作员的指定，分别在由第一照相机21拍摄到的图像上利用第一照相机21的图像坐标系来设定第一图像范围、在由第二照相机22拍摄的图像上利用第二照相机22的图像坐标系来设定第二图像范围。

在步骤S53中，CPU 10(第一校准范围测量部106和第二校准范围测量部1062)分别测量表示与第一照相机21的第一图像范围相当的第一校准范围的边界的机器人坐标系上的坐标位置以及表示与第二照相机21的第二图像范围相当的第二校准范围的边界的机器人坐标系上的坐标位置。由此，设定第一校准范围和第二校准范围，能够开始第一照相机21和第二照相机22的校准处理。

[校准处理]

在步骤S54中，CPU 10(校准部108)将用于对测量次数进行计数的测量计数值设定为1。

在步骤S55中，CPU 10(校准部108)获取由机器人控制装置3测量出的目标标记5在机器人坐标系上的三维坐标位置。

在步骤S56中，CPU 10(第一检测部103和第二检测部1032)分别从由第一照相机21和第二照相机22拍摄的图像数据分别检测目标标记5，测量所检测出的目标标记5在第一照相机21和第二照相机22各自的图像坐标系上的坐标位置。此外，也有时只能从第一照相机21和第二照相机22中的某一方检测出目标标记，在该情况下，仅存储检测出的照相机的图像坐标系上的坐标位置。

在步骤S57中，CPU 10(校准部108)将当前位置下的目标标记5在机器人坐标系上的三维坐标位置、在第一照相机21的图像坐标系上的坐标位置以及在第二照相机22的图像坐标系上的坐标位置相关联地进行存储。

在步骤S58中，CPU 10(校准部108)将用于对测量次数进行计数的测量计数值加1。

在步骤S59中，在测量计数值未超过规定的值的情况下(否)，转移至步骤S60。在测量计数值超过规定的值的情况下(是)，转移至步骤61。

在步骤S60中，机器人控制装置3将安装于机器人4的臂41的顶端的目标标记5移动至预先设定的第一校准范围或第二校准范围内的能够从第一照相机21和第二照相机22中的至少一方处测量的场所。之后，转移至步骤S55。

在步骤S61中，CPU 10(校准部108)基于在步骤57中存储的、目标标记5在机器人坐标系上的三维坐标位置、在第一照相机21的图像坐标系上的坐标位置以及在第二照相机22的图像坐标系上的坐标位置的关系，来执行第一照相机21和第二照相机22的校准。

此外，本处理流程是一个例子，并不限定于此。

例如，在仅在第一校准范围和第二校准范围这两方所包含的范围中移动的情况下，如下那样替换步骤56和步骤60。

在步骤S56中，也可以是，仅在从第一照相机21和第二照相机22这两方检测出目标标记的情况下，分别存储在第一照相机21的图像坐标系上的坐标位置以及在第二照相机22的图像坐标系上的坐标位置。

在步骤S60中，机器人控制装置3将安装于机器人4的臂41的顶端的目标标记5移动至预先设定的第一校准范围内和第二校准范围内的能够从第一照相机21和第二照相机22这两方处测量的场所。

第二实施方式中的视觉传感器控制装置1A具备：第一图像范围设定部105，其设定第一照相机21的图像坐标系上的第一图像范围；第一校准范围测量部106，其在校准执行前，控制机器人4来使目标标记5移动并检测目标标记5，由此测量与第一图像范围相当的机器人4的动作范围、即第一校准范围；第二图像范围设定部1052，其设定第二照相机22的图像坐标系上的第二图像范围；第二校准范围测量部1062，其在校准执行前，控制机器人4来使目标标记5移动并检测目标标记5，由此测量与第二图像范围相当的机器人4的动作范围、即第二校准范围。

由此，能够在校准前预先基于多个照相机(视觉传感器)的视场的范围来测量作为目标标记5的移动范围的机器人的动作范围(第一校准范围和第二校准范围)，由此提高校准的自由度。另外，能够使目标标记5进行移动的范围相对于各个照相机中的哪一个都扩大到最大限度，校准变得更准确。另外，在目标标记5进行移动的空间上存在障碍物等的情况下，基于来自操作员的指示，以避开该障碍物的方式指定第一图像范围和第二图像范围，由此能够高效地设定机器人4的动作范围(第一校准范围和第二校准范围)。

另外，第一校准范围和第二校准范围能够构成为分别设定在平面上。

第二实施方式中的校准方法以及第二实施方式中的程序也起到与第二实施方式中的视觉传感器控制装置1A同样的效果。

以上，说明了本发明的第二实施方式，但是本发明不限于前述的第二实施方式。另外，第二实施方式所记载的效果不过是列举了本发明所产生的最佳的效果，本发明的效果不限定于第二实施方式所记载的效果。

[变形例1]

在第二实施方式中，设立体照相机2A具有2台照相机，但是也可以构成为立体照相机2A具备3台以上的照相机。

[变形例2]

在第二实施方式中，模型图案生成部101构成为通过第一照相机21来生成模型图案并存储该模型图案，但是也可以构成为通过第二照相机22来生成模型图案并存储该模型图案。

另外，在第二实施方式中，构成为通过模型图案生成部101来生成模型图案并存储该模型图案，但是也可以构成为：将现有的形状(例如，○形状)设为目标标记5，来代替通过第一照相机21或第二照相机22生成模型图案。

[变形例3]

在第二实施方式中，使目标标记5在预先指定的平面上移动，测量该平面上的第一校准范围和第二校准范围，但是也可以在任意的三维空间中定义第一校准范围和第二校准范围。

例如，预先指定的平面也可以由平行的多个平面构成，还可以是将多个部分平面连结而成的。

另外，在本实施方式中，作为校准装置，应用了视觉传感器控制装置1或1A，但是不限定于此。也可以将使视觉传感器控制装置1或1A与机器人控制装置3为一体的控制装置设为校准装置。另外，作为校准装置，能够指整个信息处理装置(计算机)。在校准装置中例如也可以应用服务器、PC、各种控制装置等。

通过软件来实现利用视觉传感器控制装置1或1A的校准方法。在通过软件来实现的情况下，构成该软件的程序被安装在计算机(视觉传感器控制装置1)中。另外，这些程序既可以记录在可移动介质中来分发给用户，也可以经由网络下载到用户的计算机上由此进行分发。

Claims (11)

1.一种校准装置，在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在照相机的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述校准装置的特征在于，具备：

图像范围设定部，其设定所述图像坐标系上的图像范围；以及

校准范围测量部，其在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，

其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

2.根据权利要求1所述的校准装置，其特征在于，

所述校准范围被设定在平面上。

3.根据权利要求1或2所述的校准装置，其特征在于，

所述校准范围被设定在与所述照相机的光轴垂直的平面上。

4.根据权利要求1或2所述的校准装置，其特征在于，

所述校准范围被设定在相对于所述照相机的光轴倾斜的平面上。

5.根据权利要求1至4中的任一项所述的校准装置，其特征在于，

所述校准范围被设定在至少2个平面中的各平面上。

6.一种由校准装置执行的校准方法，该校准装置在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在照相机的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述校准方法的特征在于，具备以下步骤：

图像范围设定步骤，设定所述图像坐标系上的图像范围；以及

校准范围测量步骤，在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，

其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

7.一种计算机能够读取的介质，记录有程序，该程序使对校准装置进行控制的计算机执行步骤，该校准装置在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在照相机的视场内的多处检测所述目标标记，由此进行所述机器人的机器人坐标系与所述照相机的图像坐标系的对应，所述程序的特征在于，使计算机执行以下步骤：

图像范围设定步骤，设定所述图像坐标系上的图像范围；以及

校准范围测量步骤，在校准执行前，控制所述机器人来使所述目标标记移动并检测所述目标标记，由此测量与所述图像范围相当的所述机器人的动作范围、即校准范围，

其中，在校准执行时，控制所述机器人使得所述目标标记在所述校准范围内移动。

8.一种校准装置，在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机和第二照相机的立体照相机的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述校准装置的特征在于，具备：

第一图像范围设定部，其设定所述第一照相机的图像坐标系上的第一图像范围；

第二图像范围设定部，其设定所述第二照相机的图像坐标系上的第二图像范围；

第一校准范围测量部，其在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及

第二校准范围测量部，其在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，

其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。

9.根据权利要求8所述的校准装置，其特征在于，

所述第一校准范围和所述第二校准范围分别被设定在平面上。

10.一种由校准装置执行的校准方法，该校准装置在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机和第二照相机的立体照相机的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述校准方法的特征在于，具备以下步骤：

第一图像范围设定步骤，设定所述第一照相机的图像坐标系上的第一图像范围；

第二图像范围设定步骤，设定所述第二照相机的图像坐标系上的第二图像范围；

第一校准范围测量步骤，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及

第二校准范围测量步骤，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，

其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。

11.一种计算机能够读取的介质，记录有程序，该程序使对校准装置进行控制的计算机执行步骤，该校准装置在机器人上设置目标标记，并且控制所述机器人使得所述目标标记移动，在至少具备第一照相机和第二照相机的立体照相机的视场内的多处检测所述目标标记，由此将所述机器人的机器人坐标系与所述第一照相机的图像坐标系上的位置信息及所述第二照相机的图像坐标系上的位置信息进行对应，所述程序的特征在于，使计算机执行以下步骤：

第一图像范围设定步骤，设定所述第一照相机的图像坐标系上的第一图像范围；

第二图像范围设定步骤，设定所述第二照相机的图像坐标系上的第二图像范围；

第一校准范围测量步骤，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第一照相机来检测所述目标标记，由此测量与所述第一图像范围相当的所述机器人的第一动作范围、即第一校准范围；以及

第二校准范围测量步骤，在所述第一照相机和所述第二照相机的校准执行前，控制所述机器人来使所述目标标记移动并利用所述第二照相机来检测所述目标标记，由此测量与所述第二图像范围相当的所述机器人的第二动作范围、即第二校准范围，

其中，在所述第一照相机和所述第二照相机的校准执行时，控制所述机器人使得所述目标标记在所述第一校准范围和所述第二校准范围中的至少一方的范围内、或者所述第一校准范围和所述第二校准范围这两方所包含的范围内移动。