[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111670572B - 校准装置、校准方法和计算机可读存储介质 - Google Patents

校准装置、校准方法和计算机可读存储介质 Download PDF

Info

Publication number
CN111670572B
CN111670572B CN201880088349.1A CN201880088349A CN111670572B CN 111670572 B CN111670572 B CN 111670572B CN 201880088349 A CN201880088349 A CN 201880088349A CN 111670572 B CN111670572 B CN 111670572B
Authority
CN
China
Prior art keywords
calibration
unit
information
information acquisition
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880088349.1A
Other languages
English (en)
Other versions
CN111670572A (zh
Inventor
梁承夏
青木卓
佐藤竜太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111670572A publication Critical patent/CN111670572A/zh
Application granted granted Critical
Publication of CN111670572B publication Critical patent/CN111670572B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

信息获取单元11‑1和11‑2(11‑2a)获取周边物体信息，并且信息处理单元12‑1和12‑2(12‑2a)基于周边物体信息生成与周边物体的特征点相关的点云数据。权重设置单元13在获取周边物体信息时设置与周边物体与信息获取单元的状态对应的权重。校准处理单元15基于指示外部参数误差的成本，使用点组数据、权重和存储在参数存储单元14中的外部参数来计算使该误差最小化的新外部参数。参数更新单元16使用新计算出的外部参数来更新存储在参数存储单元14中的外部参数。因为高度准确的外部参数存储在参数存储单元14中，因此校准能够被稳定地执行。

Description

校准装置、校准方法和计算机可读存储介质
技术领域
本技术涉及校准装置、校准方法和程序，并且允许稳定地执行校准。
背景技术
常规而言，使用测距装置来识别周边区域中的物体。例如，在专利文献1中，移动体上设有测量距建筑物的距离的距离测量传感器以及测量距离测量传感器的三维位置的传感器位置测量装置，并且使用距离测量传感器的测量结果和传感器位置测量装置的测量结果来计算建筑物的三维位置。此外，对距离测量传感器的安装位置和安装姿势执行校准。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2011-027598
发明内容
本发明要解决的问题
顺便提及，用于识别周边区域中的物体的传感器不限于专利文献 1中所指示的距离测量传感器。例如，基于由成像装置获取的捕获图像，使用该成像装置执行三维测量等。在基于捕获图像的三维测量中，例如，通过利用三角测量的原理与由已知其相对位置和姿势的两个成像装置获取的捕获图像一致地执行三维测量。此外，为了增强三维测量的可靠性，不仅使用成像装置，而且还使用测距装置。如上所述，为了使用多个成像装置或成像装置和测距装置来执行三维测量，需要预先校准成像装置之间或成像装置与测距装置之间的相对位置和姿势。但是，在使用由测距装置获取的点云数据和基于从捕获图像中检测到的特征点的点云数据执行校准的情况下，当对远处的物体聚焦时，前景物体的图像可能会模糊，或者随着物体变远，测距装置的测距准确性可能会降低。因此，无法稳定地执行校准。此外，如果成像装置和测距装置不同步，那么在移动速度较高的情况下，观察点的位置之间的差异有时会增大，并且无法稳定地执行校准。
因此，本技术的目的是提供能够稳定地执行校准的校准装置、校准方法和程序。
问题解决方案
这项技术的第一方面是
一种校准装置，包括
校准处理单元，其使用与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取周边物体信息时周边物体与信息获取单元的情况的权重来计算与多个信息获取单元的位置和姿态相关的参数。
在该技术中，多个信息获取单元在预定时段中(例如在从设有多个信息获取单元的移动体的移动开始起的预设时段或直到移动体的移动结束的预设时段中)多次获取周边物体信息。此外，多个信息获取单元被配置为各自获取至少周边物体的捕获图像作为周边物体信息。例如，信息获取单元由各自获取周边物体的捕获图像的多个信息获取单元或获取周边物体的捕获图像的信息获取单元以及使用距离测量传感器测定距周边物体的每个位置的距离以将测定结果视为周边物体信息的信息获取单元构成。信息处理单元对由信息获取单元获取的距周边物体的每个位置的距离的测定结果执行配准处理，并且生成周边物体的每个位置的点云数据作为每个特征点的点云数据。此外，信息处理单元使用由信息获取单元获取的周边物体的捕获图像来执行特征点检测，并且通过针对检测到的周边物体的特征点的配准处理来生成每个特征点的点云数据。
校准处理单元使用与周边物体的特征点相关的点云数据、当获取周边物体信息时与周边物体与信息获取单元之间的情况相关的权重以及与预先存储的多个信息获取单元的位置和姿势相关的参数(外部参数)来计算新的外部参数。作为与周边物体与信息获取单元之间的情况相关的权重，使用周边物体与信息获取单元之间的相对速度和距离以及特征点的运动向量。校准处理单元根据设有多个信息获取单元的移动体的移动速度来设置权重以用于周边物体信息的每次获取，并且随着移动速度增加而减小权重。此外，校准处理单元根据周边物体与每个信息获取单元之间的距离来设置权重，并且随着距离增加而减小权重。而且，在设置权重时，根据特征点的运动向量来设置权重，并且权重随着运动向量的增加而减小。校准处理单元使用权重、点云数据和预先存储的参数针对周边物体信息的每次获取来计算指示参数的误差的成本，并基于每次获取的成本的累计值来计算使误差最小的新参数。附加地，从设有多个信息获取单元的移动体的移动停止或移动体的移动结束时开始直到移动体的移动下一次开始时为止，参数更新单元将所存储的参数更新为由校准处理单元计算出的参数。
该技术的第二方面是
一种校准方法，包括
由校准处理单元使用与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取周边物体信息时周边物体与信息获取单元的情况的权重来计算与多个信息获取单元的位置和姿势相关的参数。
该技术的第三方面是
一种用于在计算机上执行校准的程序，
该程序使计算机执行：
获取与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据的过程；以及
使用根据当获取周边物体信息时周边物体与信息获取单元的情况的权重来计算与多个信息获取单元的位置和姿势相关的参数的过程。
注意的是，根据本技术的程序是可以提供给例如这样的通用计算机的程序，该通用计算机能够通过以计算机可读格式提供程序的存储介质或通信介质(例如，诸如光盘、磁盘和半导体存储器之类的存储介质或者诸如网络之类的通信介质)来执行各种程序代码。通过以计算机可读格式提供这种程序，在计算机上实现根据该程序的处理。
发明的效果
根据该技术，使用与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取周边物体信息时周边物体与信息获取单元之间的情况的权重来计算多个信息获取单元之间的外部参数。因此，允许稳定地执行校准。注意的是，本说明书中描述的效果仅仅用作示例，并且不应被解释为是限制性的。也可以存在附加效果。
附图说明
图1是例示校准装置的配置的图。
图2是例示第一实施例的配置的图。
图3是例示速度和权重之间的关系的图。
图4是例示特征点的图。
图5是例示第一实施例的工作的流程图。
图6是图示第一实施例的工作示例的图。
图7是例示第二实施例的配置的图。
图8是例示距离与权重之间的关系的图。
图9是例示第二实施例的工作的流程图。
图10是图示第二实施例的工作示例的图。
图11是例示第三实施例的配置的图。
图12是例示运动向量的量值与权重之间的关系的图。
图13是例示第三实施例的工作的流程图。
图14是例示第四实施例的配置的图。
图15是例示第四实施例的工作的流程图。
图16是例示第五实施例的配置的图。
图17是例示第五实施例的工作的流程图。
图18是例示第六实施例的配置的图。
图19是例示第六实施例的工作的流程图。
图20是图示车辆控制系统的示意性配置的示例的框图。
图21是图示车辆外部信息检测部分和成像单元的安装位置的示例的解释图。
具体实施方式
在下文中，将描述用于执行本技术的模式。注意的是，将按以下次序给出描述。
1.校准装置的配置
2.第一实施例
3.第二实施例
4.第三实施例
5.第四实施例
6.第五实施例
7.第六实施例
8.其它实施例
9.应用示例
<1.校准装置的配置>
图1例示了根据本技术的校准装置的配置。使用多个信息获取单元11-1和11-2(2a)与信息处理单元12-1和12-2(2a)、权重设置单元13、参数存储单元14、校准处理单元15和参数更新单元16来配置校准装置10。注意的是，校准装置10不限于将图1中所示的方框设为单一主体的情况，而是可以具有其中一些方框被分开设置的配置。
信息获取单元11-1和11-2(2a)获取周边物体信息。周边物体信息是使得能够获取关于周边物体的特征点的信息的信息，并且是例如其中对周边物体进行成像的捕获图像、距周边物体的每个位置的测距数据等。信息处理单元12-1基于由信息获取单元11-1获取的周边物体信息来生成周边物体中的特征点的点云数据，并将生成的点云数据输出到校准处理单元15。类似地，信息处理单元12-2(2a)基于由信息获取单元11-2(2a)获取的周边物体信息来生成周边物体中的特征点的点云数据，并将生成的点云数据输出到校准处理单元15。
权重设置单元13根据周边物体与信息获取单元之间的情况来设置权重，这影响校准的准确性。权重设置单元13将设置的权重输出到校准处理单元15。
参数存储单元14保持与多个信息获取单元的位置和姿势相关的参数(以下称为“外部参数”)。参数存储单元14将保持的外部参数输出到校准处理单元15。此外，在从参数更新单元16供应外部参数的情况下，参数存储单元14将保持的外部参数更新为从参数更新单元16供应的外部参数。
校准处理单元15使用从信息处理单元12-1和12-2(2a)供应的预定时段的点云数据、由权重设置单元13设置的权重以及从参数存储单元14获取的外部参数基于成本函数根据外部参数的误差来计算成本。此外，校准处理单元15计算使预定时段的成本的累计值最小化的新外部参数，并且将计算出的新外部参数输出到参数更新单元 16。
参数更新单元16将由校准处理单元15计算出的新外部参数输出到参数存储单元14，使得参数存储单元14保持允许稳定地执行校准的外部参数。
<2.第一实施例>
接下来，将描述第一实施例。图2例示了第一实施例的配置。在第一实施例中，使用两个信息获取单元11-1和11-2。信息获取单元 11-1使用成像装置来配置以获取捕获图像。信息获取单元11-2使用测距装置(例如，飞行时间(TOF)相机、光检测和测距或激光成像检测和测距(LIDAR)等)来配置并获取指示测距值的点云数据。此外，权重设置单元13根据周边物体与信息获取单元之间的情况来设置权重。权重设置单元13使用移动速度作为周边物体与信息获取单元之间的情况。在此，移动速度例如被假设为信息获取单元11-1 和11-2相对于周边物体的移动速度。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，信息获取单元11-2将获取的点云数据输出到信息处理单元12-2。
信息处理单元12-1执行运动恢复结构(SfM)处理。在SfM处理中，针对每个特征点的点云数据(例如，指示每个特征点的距离的点云数据)是通过对从由信息获取单元11-1获取的多个捕获图像中按时间顺序检测出的周边物体的特征点进行配准处理而生成的。信息处理单元12-1将生成的点云数据输出到校准处理单元15。
信息处理单元12-2对由信息获取单元11-1获取的到周边物体的每个位置的距离的测定结果进行配准处理，并且针对周边物体的每个位置生成点云数据作为针对每个特征点的点云数据，以将生成的点云数据输出到校准处理单元15。
权重设置单元13包括移动速度获取单元131和权重设置处理单元132。移动速度获取单元131使用能够检测移动体的移动速度的传感器等来配置。例如，在移动体是车辆的情况下，移动速度获取单元 131使用车速检测传感器来配置，并且将指示检测到的移动速度的速度信息输出到权重设置处理单元132。
权重设置处理单元132根据移动速度获取单元131获取的移动速度来设置权重。在此，在信息获取单元11-1和11-2异步地获取捕获图像和点云数据的情况下，存在当移动速度增加时周边物体的位置在由捕获图像指示的位置与由点云数据指示的位置之间具有较大差异的情况。因此，权重设置处理单元132随着移动速度的增加而减轻权重。图3例示了速度与权重之间的关系，并且权重设置处理单元132根据已经获取的移动速度Vsp来设置权重Wsp，并且将设置的权重Wsp 输出到校准处理单元15。
参数存储单元14例如存储在信息获取单元11-1和11-2之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2供应的点云数据执行配准，并将相同特征点的点云数据视为相同坐标系的数据。而且，校准处理单元15使用配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14中的外部参数来计算使预定时段的成本的累计值最小化的新的外部参数。例如，在车辆中提供信息获取单元11-1和11-2的情况下，将预定时段假设为从车辆开始行驶起的预设时段。此外，预定时段可以是直到车辆行驶结束的预定时段。
在此，将从信息处理单元12-1供应的点云数据的配准后数据被称为点云数据Ca(i,t)，并且将从信息处理单元12-2供应的点云数据的配准后数据被称为点云数据L(i,t)。注意的是，“t”表示与时间相关的索引(下文中称为“时间索引”)，“i”表示与特征点相关的索引 (下文中称为“特征点索引”)。此外，假设外部参数为平移参数T 和旋转参数R。注意的是，平移参数T是与信息获取单元11-1和11- 2的位置相关的参数，而旋转参数R是与信息获取单元11-1和11-2 的姿势相关的参数。
图4例示了特征点，其中图4的(a)例示了由信息获取单元 11-1获取的特征点，而图4的(b)例示了由信息获取单元11-2获取的特征点。在与时间索引t＝1至m对应的时间获取特征点。此外，例如，获取由特征点索引i＝1至n指示的特征点作为特征点。而且，假设时间索引之间的对应特征点具有与特征点索引i相等的值。
校准处理单元15使用由权重设置单元13设置的每个时间索引的权重Wsp(t)基于公式(1)来计算成本E。此外，校准处理单元15 计算使计算出的成本E最小化的平移参数T和旋转参数R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式1]
E＝∑t∈m(Wsp(t)∑i∈n||RCa(i,t)+T-L(i,t)||2)……(1)
参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新存储在参数存储单元14中的外部参数 (平移参数和旋转参数)。例如，假设在车辆中提供信息获取单元 11-1和11-2，并且使用从车辆开始行驶起预设的预定时段期间获取的周边物体信息来计算新外部参数。在这种情况下，在此后车辆进入停止状态的定时处，用新计算出的外部参数来更新存储在参数存储单元14中的外部参数。此外，假设使用在直到车辆行驶结束预设的预定时段内获取的周边物体信息来计算新外部参数。在这种情况下，由于车辆处于行驶结束状态，因此在参数存储单元14中存储的外部参数立即或在直到下一次行驶开始的时段期间利用新计算出的外部参数来更新。
图5是例示第一实施例的工作的流程图。在步骤ST1中，校准装置执行图像获取处理。校准装置的信息获取单元11-1获取捕获图像作为周边物体信息，并且前进到步骤ST2。
在步骤ST2中，校准装置在SfM处理中执行特征点检测处理。校准装置的信息处理单元12-1从在步骤ST1中获取的捕获图像中检测出表示图像的特征的特征点(例如，边缘、拐角等)，并且前进到步骤ST3。
在步骤ST3中，校准装置执行匹配处理。校准装置的信息处理单元12-1对具有不同成像时间的捕获图像之间的特征点执行匹配处理，以检测捕获图像中的哪个特征点与另一个捕获图像中的哪个特征点对应，并前进到步骤ST4。
在步骤ST4中，校准装置执行配准处理。校准装置的信息处理单元12-1基于步骤ST3中的检测结果来检测对应特征点之间的图像上的位置关系，并且前进到步骤ST5。
在步骤ST5中，校准装置执行三角测量处理。校准装置的信息处理单元12-1通过利用在具有不同成像时间的捕获图像之间匹配的特征点的图像上的位置关系来计算到特征点的距离。此外，信息处理单元12-1将每个特征点的距离视为点云数据，并且前进到步骤ST41。注意的是，SfM处理不限于从步骤ST2到步骤ST5的处理，并且可以包括未示出的处理，例如，诸如破坏性调整。
在步骤ST11中，校准处理执行测距信息获取处理。校准装置的信息获取单元11-2通过信息获取单元11-1获取指示成像范围内的每个点的测距结果的点云数据作为周边物体信息，并且前进到步骤 ST12。
在步骤ST12中，校准装置执行配准处理。校准装置的信息处理单元12-2从在步骤ST11中获得的每个时间的点云数据中检测对应点的点云数据，并且前进到步骤ST41。
在步骤ST31中，校准装置执行移动速度获取处理。校准装置的权重设置单元13包括移动速度获取单元131和权重设置处理单元 132。移动速度获取单元131例如从车速检测传感器获取指示设有信息获取单元11-1和11-2的移动体的移动速度的速度信息，并且前进到步骤ST32。
在步骤ST32中，校准装置执行权重设置处理。校准装置的权重设置单元13基于在步骤ST31中获取的速度信息来设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST5的处理中获得的点云数据与在步骤ST11和ST12的处理中获得的点云数据之间的对应关系，并且如上式(1)所指示的，使用对应的点云数据和在步骤ST32中设置的权重来计算成本。此外，校准处理单元15计算外部参数，即，使预定时段的成本的累计值最小化的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第一实施例，对于移动速度较高的区段，成本的权重被减小。图6是图示第一实施例的工作示例的图。例如，在将信息获取单元11-1和11-2以相等的朝向固定到移动体的侧面的情况下，当移动体在向前方向上的移动速度较低时，特征点的位置变化较小，但如果移动速度较高，那么特征点的位置变化较大。因此，在信息获取单元11-1获取捕获图像的定时与信息获取单元11-2获取周边物体信息的定时之间产生差δ的情况下，当移动速度较低时，特征点之间的位置差较小，但随着移动速度的增加，特征点之间的位置差也增加。为此，使得当移动速度为速度V1(作为低速)时的时间索引t＝a和 t＝d的权重Wsp(t＝a)、Wsp(t＝d)大于当移动速度为速度V2(V1<V2) (作为中速)时的时间索引t＝b的权重Wsp(t＝b)。此外，使得当移动速度为速度V3(V2<V3)(作为高速)时的时间索引t＝c的权重Wsp(t＝c)小于权重Wsp(t＝b)。
如上所述，根据第一实施例，权重随着移动速度的增加而减小，使得可以减小校准中观察点的误差(观察点的位置差)的影响。相应地，与不使用根据速度的权重而执行校准的情况相比，可以以更高的准确性和稳定性来执行校准。
<3.第二实施例>
接下来，将描述第二实施例。图7例示了第二实施例的配置。在第二实施例中，使用两个信息获取单元11-1和11-2。信息获取单元11-1使用成像装置来配置以获取捕获图像。信息获取单元11-2使用测距装置(例如，飞行时间(TOF)相机、光检测和测距或激光成像检测和测距(LIDAR)等)来配置以获取指示测距值的点云数据。此外，权重设置单元13使用距离作为周边物体与信息获取单元之间的情况。在此，距离例如被假设为到周边物体的每个点的距离。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，信息获取单元11-2将获取的点云数据输出到信息处理单元12-2。
信息处理单元12-1执行运动恢复结构(SfM)处理，并且从由信息获取单元11-1获取的多个捕获图像中按时间顺序检测到的每个特征点生成点云数据，以将生成的点云数据输出到校准处理单元15。此外，信息处理单元12-1将每个特征点的距离输出到权重设置单元 13。
信息处理单元12-2对由信息获取单元11-1获取的到周边物体的每个位置的距离的测定结果执行配准处理，并且针对周边物体的每个位置生成点云数据作为每个特征点的点云数据，以将生成的点云数据输出到校准处理单元15。
权重设置单元13包括权重设置处理单元133。权重设置处理单元133根据从信息处理单元12-1获取的每个特征点的距离来设置权重。在此，由于当距离增加时测距准确性可能会降低，因此权重设置处理单元133随着距离增加而减小权重。图8例示了距离与权重之间的关系，并且权重设置处理单元133根据已获取的距离Ldist来设置权重Wdist，并将设置的权重Wdist输出到校准处理单元15。
参数存储单元14例如存储在信息获取单元11-1和11-2之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2供应的点云数据执行配准，并且类似于第一实施例，使用配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14 中的外部参数来计算使预定时段的成本的累计值最小化的新外部参数。
在此，将从信息处理单元12-1供应的点云数据的配准后数据称为点云数据Ca(i,t)，而将从信息数据处理单元12-2供应的点云数据的配准后数据称为点云数据L(i,t)。注意的是，“t”表示时间索引，而“i”表示特征点索引。此外，假设外部参数为平移参数T和旋转参数R。
校准处理单元15使用由权重设置单元13设置的特征点索引i的特征点的权重Wdist(i)基于公式(2)来计算成本E。附加地，校准处理单元15计算使计算出的成本E最小化的平移参数T和旋转参数 R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式2]
E＝∑t∈m(∑i∈n||RCa(i,t)+T-L(i,t)||2Wdist(i))……(2)
与第一实施例相似，参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新参数存储单元14中的外部参数。
图9是例示第二实施例的工作的流程图。注意的是，步骤ST1 至ST12中的处理与第一实施例中的处理相似。
在步骤ST1中，校准装置执行图像获取处理，并且前进到步骤 ST2。在步骤ST2中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST3。在步骤ST3中，校准装置执行匹配处理，并且前进到步骤ST4。在步骤ST4中，校准装置执行配准处理，并且前进到步骤ST5。在步骤ST5中，校准装置执行三角测量处理以计算每个特征点的距离、将计算出的距离视为点云数据，然后前进到步骤ST41。
在步骤ST11中，校准处理执行测距信息获取处理，并且前进到步骤ST12。在步骤ST12中，校准装置执行配准处理。信息处理单元12-2从在步骤ST11中获得的每个时间的点云数据中检测对应点的点云数据，并且前进到步骤ST41。
在步骤ST33中，校准装置执行权重设置处理。校准装置的权重设置单元13根据在步骤ST5中计算出的距离来设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST5的处理中获得的点云数据与在步骤ST11和ST12的处理中获得的点云数据之间的对应关系，并且如上式(2)所指示的，使用对应的点云数据和在步骤ST33中设置的权重来计算成本。此外，校准处理单元15计算使预定时段的成本的累计值最小化的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第二实施例，对于距离远的特征点，减小成本的权重。图10是图示第二实施例的工作示例的图。在到由特征点索引i＝a、b、 c和d指示的特征点的距离保持“a<b<c<d”的情况下，特征点索引 i＝a的权重Wdist(i＝a)被指定为大于其它特征点索引的值的值。此外，特征点索引i＝b的权重Wdist(i＝b)被指定为小于特征点索引i＝a的权重Wdist(i＝a)并大于特征点索引i＝d权重Wdist(i＝d)。特征点索引 i＝c的权重Wdist(i＝c)被指定为小于其它特征点索引的值的值。而且，特征点索引i＝d的权重Wdist(i＝d)被指定为小于特征点索引i＝b的权重Wdist(i＝b)并大于特征点索引i＝c的权重Wdist(i＝c)。
如上所述，在第二实施例中，权重随着距离增加而减小。因此，与不使用根据距离的权重而执行校准的情况相比，可以减少测距准确性降低的影响，并且可以以更高的准确性和稳定性来执行校准。
<4.第三实施例>
接下来，将描述第三实施例。图11例示了第三实施例的配置。在第三实施例中，使用两个信息获取单元11-1和11-2。信息获取单元11-1使用成像装置来配准以获取捕获图像。信息获取单元11-2使用测距装置(例如，飞行时间(TOF)相机、光检测和测距或激光成像检测和测距(LIDAR)等)来配置以获取指示测距值的点云数据。此外，权重设置单元13使用每个特征点的运动向量作为周边物体与信息获取单元之间的情况。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，而信息获取单元11-2将获取的点云数据输出到信息处理单元12-2。
信息处理单元12-1执行运动恢复结构(SfM)处理，并且从由信息获取单元11-1获取的多个捕获图像中按时间顺序检测到的每个特征点生成点云数据，以将生成的点云数据输出到校准处理单元15。此外，信息处理单元12-1将检测到的特征点输出到权重设置单元13。
信息处理单元12-2对由信息获取单元11-1获取的到周边物体的每个位置的距离的测定结果执行配准处理，并且针对周边物体的每个位置生成点云数据作为每个特征点的点云数据，以将生成的点云数据输出到校准处理单元15。
权重设置单元13包括特征点保持单元134、运动向量计算单元 135和权重设置处理单元136。特征点保持单元134存储由信息处理单元12-1检测到的特征点。此外，所存储的特征点被输出到运动向量计算单元135。运动向量计算单元135根据存储在特征点保持单元134中的特征点的图像上的位置和随后由信息处理单元12-1检测到并与存储的特征点对应的特征点的图像上的位置来为每个特征点计算运动向量，并将计算出的运动向量输出到权重设置处理单元136。权重设置处理单元136根据由运动向量计算单元135计算出的运动向量来设置权重。在此，与运动向量较小的情况相比，当运动向量较大时，测距准确性可能会降低；相应地，权重设置处理单元136随着运动向量增加而减小权重。图12例示了运动向量的量值(范数)与权重之间的关系，而权重设置处理单元136根据由运动向量计算单元135计算出的运动向量MVflow来设置权重Wflow，以将设置的权重 Wflow输出到校准处理单元15。
参数存储单元14存储例如在信息获取单元11-1和11-2之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2供应的点云数据执行配准，并且使用配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14中的外部参数来计算使成本最小化的新外部参数。
在此，将从信息处理单元12-1供应的点云数据的配准后数据称为点云数据Ca(i,t)，而将从信息数据处理单元12-2供应的点云数据的配准后数据称为点云数据L(i,t)。注意的是，“t”表示时间索引，而“i”表示特征点索引。此外，假设外部参数为平移参数T和旋转参数R。
校准处理单元15使用由权重设置单元13设置的特征点索引i的特征点的权重Wflow(i)基于公式(3)来计算成本E。附加地，校准处理单元15计算使计算出的成本E最小化的平移参数T和旋转参数 R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式3]
E＝∑t∈m(∑i∈n||RCa(i,t)+T-L(t,t)||2Wflow(i))……(3)
参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新参数存储单元14中的外部参数。
图13是例示第三实施例的工作的流程图。注意的是，步骤ST1 至ST12中的处理与第一实施例中的处理相似。
在步骤ST1中，校准装置执行图像获取处理，并且前进到步骤 ST2。在步骤ST2中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST3。在步骤ST3中，校准装置执行匹配处理，并且前进到步骤ST4。在步骤ST4中，校准装置执行配准处理，并且前进到步骤ST5。在步骤ST5中，校准装置执行三角测量处理以计算每个特征点的距离，将计算出的距离视为点云数据，然后前进到步骤ST41。
在步骤ST11中，校准处理执行测距信息获取处理，并且前进到步骤ST12。在步骤ST12中，校准装置执行配准处理。信息处理单元12-2从在步骤ST11中获得的每个时间的点云数据中检测对应点的点云数据，并且前进到步骤ST41。
在步骤ST34中，校准装置执行运动向量计算处理。校准装置的权重设置单元13基于在步骤ST2中检测到并存储在特征点保持单元 134中的特征点和随后从捕获图像中检测到的对应特征点来在运动向量计算单元135中计算运动向量，并且前进到步骤ST35。
在步骤ST35中，校准装置执行权重设置处理。校准装置的权重设置单元13根据在步骤ST34中检测到的运动向量在权重设置处理单元136中设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST5的处理中获得的点云数据与在步骤ST11和ST12的处理中获得的点云数据之间的对应关系，并且如上式(3)所指示的，使用对应的点云数据和在步骤ST35中设置的权重来计算成本。此外，校准处理单元15计算使预定时段的成本的累计值最小化的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第三实施例，对于具有较大运动向量的特征点减小权重，使得降低运动的影响，并且与在不使用根据运动向量的权重的情况下执行校准的情况相比，允许以更高的准确性和稳定性来执行校准。
<5.第四实施例>
接下来，将描述第四实施例。在上述第一实施例中，使用成像装置和测距装置来执行使用根据速度的权重的校准；但是，在第四实施例中，使用多个成像装置执行使用根据速度的权重的校准。
图14例示了第四实施例的配置，并且在第四实施例中，使用两个信息获取单元11-1和11-2a。信息获取单元11-1和11-2a使用成像装置来配置以获取捕获图像。权重设置单元13与第一实施例类似，根据移动速度来设置权重。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，而信息获取单元11-2a将获取的捕获图像输出到信息处理单元12-2a。
信息处理单元12-1和12-2a各自执行运动恢复结构(SfM)处理，并且针对每个捕获图像从多个捕获图像中按时间顺序检测特征点，以从检测到的特征点开始针对每个特征点生成指示在时间方向上对应的特征点的点云数据，并将生成的点云数据输出到校准处理单元15。
权重设置单元13包括移动速度获取单元131和权重设置处理单元132。移动速度获取单元131使用能够检测移动体的移动速度的传感器等来配置。例如，在移动体是车辆的情况下，移动速度获取单元 131使用车速检测传感器来配置，并且将指示检测到的移动速度的速度信息输出到权重设置处理单元132。
权重设置处理单元132根据由移动速度获取单元131获取的移动速度来设置权重。在此，在信息获取单元11-1和11-2a异步获取捕获图像的情况下，存在当移动速度增加时周边物体的位置在捕获图像之间具有更大差异的情况。因此，权重设置处理单元132随着移动速度增加而减小权重。与第一实施例相似，权重设置处理单元132基于例如图3中所示的速度与权重之间的关系根据已经获取的移动速度 Vsp来设置权重Wsp，并将设置的的权重Wsp输出到校准处理单元 15。
参数存储单元14存储在信息获取单元11-1和11-2a之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2a供应的点云数据执行配准，并且使用在配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14中的外部参数来计算使成本最小化的新外部参数。
在此，将从信息处理单元12-1供应的点云数据的配准后数据称为点云数据Ca(i,t)，而将从信息数据处理单元12-2a供应的点云数据的配准后数据称为点云数据L(i,t)。注意的是，“t”表示时间索引，而“i”表示特征点索引。此外，假设外部参数为平移参数T和旋转参数R。
校准处理单元15使用由权重设置单元13设置的每个时间索引的权重Wsp(t)基于公式(4)来计算成本E。此外，在计算出的成本E 不是最小值的情况下，校正处理单元15重新计算使成本E最小化的平移参数T和旋转参数R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式4]
E＝∑t∈m(Wsp(t)∑i∈n||RCa(i,t)+T-LCb(i,t)||2)……(4)
参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新参数存储单元14中的外部参数。
图15是例示第四实施例的工作的流程图。在步骤ST1中，校准装置执行图像获取处理以从信息获取单元11-1获取捕获图像，并且前进到步骤ST2。在步骤ST2中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST3。在步骤ST3中，校准装置执行匹配处理，并且前进到步骤ST4。在步骤ST4中，校准装置执行配准处理，并且前进到步骤ST5。在步骤ST5中，校准装置执行三角测量处理以计算每个特征点的距离、将计算出的距离视为点云数据，并且前进到步骤ST41。
在步骤ST21中，校准装置执行图像获取处理以从信息获取单元 11-2a获取捕获图像，并且前进到步骤ST22。在步骤ST22中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST23。在步骤ST23中，校准装置执行匹配处理，并且前进到步骤ST24。在步骤ST24中，校准装置执行配准处理，并且前进到步骤ST25。在步骤ST25中，校准装置执行三角测量处理以计算每个特征点的距离，将计算出的距离视为点云数据，并且前进到步骤ST41。
在步骤ST31中，校准装置执行移动速度获取处理。校准装置的权重设置单元13包括移动速度获取单元131和权重设置处理单元 132。移动速度获取单元131从例如车速检测传感器获取指示设有信息获取单元11-1和11-2a的移动体的移动速度的速度信息，并且前进到步骤ST32。
在步骤ST32中，校准装置执行权重设置处理。校准装置的权重设置单元13基于在步骤ST31中获取的速度信息来设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST4的处理中获得的点云数据与在步骤ST21至ST25的处理中获得的点云数据之间的对应关系，并且如上式(4)所指示的，使用对应的点云数据和在步骤ST32中设置的权重来计算成本。此外，校准处理单元15计算使预定时段的成本的累计值最小化的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第四实施例，即使在使用多个成像装置的情况下，对于移动速度较高的区段，成本的权重也减小。因此，与第一实施例类似，与在不使用根据速度的权重的情况下执行校准的情况相比，允许以更高的准确性和稳定性来执行校准。
<6.第五实施例>
接下来，将描述第五实施例。在上述第二实施例中，使用成像装置和测距装置来执行使用根据到周边物体的距离的权重的校准；但是，在第五实施例中，使用多个成像装置来执行根据到周边物体的距离的权重的校准。
图16例示了第五实施例的配置，并且在第五实施例中，使用两个信息获取单元11-1和11-2a。信息获取单元11-1和11-2a使用成像装置来配置以获取捕获图像。权重设置单元13与第二实施例类似，根据距离来设置权重。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，而信息获取单元11-2a将获取的捕获图像输出到信息处理单元12-2a。
信息处理单元12-1和12-2a各自执行运动恢复结构(SfM)处理，并且针对每个捕获图像从多个捕获图像中按时间顺序检测特征点，以从检测到的特征点开始针对每个特征点生成指示在时间方向上对应的特征点的点云数据，并将生成的点云数据输出到校准处理单元15。
权重设置单元13包括权重设置处理单元133。权重设置处理单元133根据从信息处理单元12-1获取的每个特征点的距离来设置权重。在此，由于当距离增加时测距准确性可能会降低，因此权重设置处理单元133随着距离增加而减小权重。与第二实施例类似，权重设置处理单元133根据基于例如图8中所示的距离与权重之间的关系已经获取的距离Ldist来设置权重Wdist，并且将设置的权重Wdist输出到校准处理单元15。
参数存储单元14存储在信息获取单元11-1和11-2a之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2a供应的点云数据执行配准，并且使用配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14中的外部参数来计算使预定时段的成本最小化的新外部参数。
在此，将从信息处理单元12-1供应的点云数据的配准后数据称为点云数据Ca(i,t)，而将从信息数据处理单元12-2a供应的点云数据的配准后数据称为点云数据L(i,t)。注意的是，“t”表示时间索引，而“i”表示特征点索引。此外，假设外部参数为平移参数T和旋转参数R。
校准处理单元15使用由权重设置单元13设置的特征点索引i的特征点的权重Wdist(i)基于公式(5)来计算成本E。此外，校准处理单元15计算使计算出的成本E最小化的平移参数T和旋转参数R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式5]
E＝∑t∈m(∑i∈n||RCa(i,t)+T-LCb(i,t)||2Wdist(i))……(5)
参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新参数存储单元14中的外部参数。
图17是例示第五实施例的工作的流程图。在步骤ST1中，校准装置执行图像获取处理以从信息获取单元11-1获取捕获图像，并且前进到步骤ST2。在步骤ST2中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST3。在步骤ST3中，校准装置执行匹配处理，并且前进到步骤ST4。在步骤ST4中，校准装置执行配准处理，并且前进到步骤ST5。在步骤ST5中，校准装置执行三角测量处理以计算每个特征点的距离、将计算出的距离视为点云数据，然后前进到步骤ST41。
在步骤ST21中，校准装置执行图像获取处理以从信息获取单元 11-2a获取捕获图像，并且前进到步骤ST22。在步骤ST22中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST23。在步骤ST23中，校准装置执行匹配处理，并且前进到步骤ST24。在步骤ST24中，校准装置执行配准处理，并且前进到步骤ST25。在步骤ST25中，校准装置执行三角测量处理以计算每个特征点的距离、将计算出的距离视为点云数据，并且前进到步骤ST41。
在步骤ST33中，校准装置执行权重设置处理。校准装置的权重设置单元13根据在步骤ST5中计算出的距离来设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST5的处理中获得的点云数据与在步骤ST21至ST25的处理中获得的点云数据之间的对应关系，并且如上式(5)所指示的，使用对应的点云数据和在步骤ST33中设置的权重来计算成本。此外，校准处理单元15计算外部参数，即，使预定时段的成本的累计值最小化的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第五实施例，即使在使用多个成像装置的情况下，对于距离远的特征点，成本的权重也减小。因此，与第二实施例类似，与不使用根据距离的权重而执行校准的情况相比，可以以更高的准确性和稳定性来执行校准。
<7.第六实施例>
接下来，将描述第六实施例。在上述第三实施例中，使用成像装置和测距装置执行使用根据运动向量的权重的校准；但是，在第六实施例中，使用多个成像装置执行使用根据运动向量的权重的校准。
图18例示了第六实施例的配置，并且在第六实施例中，使用两个信息获取单元11-1和11-2a。信息获取单元11-1和11-2a使用成像装置来配置以获取捕获图像。权重设置单元13与第三实施例类似地根据运动向量来设置权重。
信息获取单元11-1将获取的捕获图像输出到信息处理单元12-1，而信息获取单元11-2a将获取的捕获图像输出到信息处理单元12-2a。
信息处理单元12-1和12-2a各自执行运动恢复结构(SfM)处理，并且针对每个捕获图像从多个捕获图像中按时间顺序检测特征点，以从检测到的特征点开始针对每个特征点生成指示在时间方向上对应的特征点的点云数据，并将生成的点云数据输出到校准处理单元15。
权重设置单元13包括特征点保持单元134、运动向量计算单元135和权重设置处理单元136。特征点保持单元134存储由信息处理单元12-1检测到的特征点。此外，所存储的特征点被输出到运动向量计算单元135。运动向量计算单元135根据存储在特征点保持单元134中的特征点的图像上的位置和随后由信息处理单元12-1检测到并与存储的特征点对应的特征点的图像上的位置来为每个特征点计算运动向量，并将计算出的运动向量输出到权重设置处理单元136。权重设置处理单元136根据由运动向量计算单元135计算出的运动向量来设置权重。在此，与运动向量较小的情况相比，当运动向量较大时，测距准确性可能会降低；因此，权重设置处理单元136随着运动向量增加而减小权重。与第三实施例类似，权重设置处理单元136基于图 12中所示的运动向量的量值与权重之间的关系，根据由运动向量计算单元135计算出的运动向量MVflow来设置权重Wflow，并将设置的权重Wflow输出到校准处理部15。
参数存储单元14存储在信息获取单元11-1和11-2a之间的外部参数，并且可以通过参数更新单元16来更新所存储的外部参数。
校准处理单元15在预定时段对从信息处理单元12-1和12-2a供应的点云数据执行配准，并且使用配准之后的点云数据、由权重设置单元13设置的权重以及存储在参数存储单元14中的外部参数来计算使成本最小化的新外部参数。
在此，将从信息处理单元12-1供应的点云数据的配准后数据称为点云数据Ca(i,t)，而将从信息数据处理单元12-2a供应的点云数据的配准后数据称为点云数据L(i,t)。注意的是，“t”表示时间索引，而“i”表示特征点索引。此外，假设外部参数为平移参数T和旋转参数R。
校准处理单元15使用由权重设置单元13设置的特征点索引i的特征点的权重Wflow(i)基于公式(6)来计算成本E。此外，校准处理单元15计算使计算出的成本E最小化的平移参数T和旋转参数R。校准处理单元15将使成本E最小化的平移参数T和旋转参数R输出到参数更新单元16。
[数学公式6]
E＝∑t∈m(∑i∈n||RCa(i,t)+T-Cb(i,t)||2Wflow(i))……(6)
参数更新单元16使用从校准处理单元15供应的平移参数T和旋转参数R在预定定时更新参数存储单元14中的外部参数。
图19是例示第六实施例的工作的流程图。在步骤ST1中，校准装置执行图像获取处理，并且前进到步骤ST2。在步骤ST2中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST3。在步骤ST3中，校准装置执行匹配处理，并且前进到步骤ST4。在步骤ST4中，校准装置执行配准处理，并且前进到步骤ST5。在步骤ST5中，校准装置执行三角测量处理以计算每个特征点的距离，将计算出的距离视为点云数据，然后前进到步骤ST41。
在步骤ST21中，校准装置执行图像获取处理以从信息获取单元 11-2a获取捕获图像，并且前进到步骤ST22。在步骤ST22中，校准装置在SfM处理中执行特征点检测处理，并且前进到步骤ST23。在步骤ST23中，校准装置执行匹配处理，并且前进到步骤ST24。在步骤ST24中，校准装置执行配准处理，并且前进到步骤ST25。在步骤ST25中，校准装置执行三角测量处理以计算每个特征点的距离、将计算出的距离视为点云数据，并且前进到步骤ST41。
在步骤ST34中，校准装置执行运动检测处理。校准装置的权重设置单元13基于在步骤ST2中检测到并存储在特征点保持单元134 中的特征点和随后从捕获图像中检测到的对应特征点来在运动向量计算单元135中计算运动向量，并且前进到步骤ST35。
在步骤ST35中，校准装置执行权重设置处理。校准装置的权重设置单元13根据在步骤ST34中检测到的运动向量在权重设置处理单元136中设置权重，并且前进到步骤ST41。
在步骤ST41中，校准装置执行参数计算处理。校准装置的校准处理单元15确定在步骤ST1至ST5的处理中获得的点云数据与在步骤ST21至ST25的处理中获得的点云数据之间的对应关系，并且如上式(6)所指示的，使用对应的点云数据和在步骤ST35中设置的权重来计算成本。此外，校准处理单元15计算在预定时段内使成本的累计值最小的平移参数T和旋转参数R，并且前进到步骤ST42。
在步骤ST42中，校准装置执行参数更新处理。校准装置的参数更新单元16使用在步骤ST41中计算出的平移参数T和旋转参数R 来更新存储在参数存储单元14中的外部参数。
根据这样的第六实施例，即使在使用多个成像装置的情况下，对于具有较大运动向量的特征点，成本的权重也减小。因此，与第三实施例类似，与在不使用根据运动向量的权重的情况下执行校准的情况相比，允许以更高的准确性和稳定性来执行校准。
<8.其它实施例>
顺便提及，上述实施例例示了通过单独使用根据速度的权重、根据距离的权重和根据运动向量的权重来计算成本的情况。但是，权重不限于被单独使用，并且可以组合使用多个权重。可以使用根据速度的权重和根据距离的权重来计算成本，使得计算使成本最小化的外部参数。
<9.应用示例>
根据本公开的技术可以被应用于多种产品。例如，根据本公开的技术可以被实现为装备在任何类型的移动体中的装置，移动体诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动工具、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)。
图20是图示车辆控制系统7000的示意性配置示例的框图，该车辆控制系统7000是可以对其应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图20所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500，以及集成控制单元7600。例如，连接该多个控制单元的通信网络7010可以是符合任意标准的车载通信网络，诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)和FlexRay(注册商标)。
每个控制单元包括：微型计算机，其根据各种程序执行计算处理；存储单元，其存储由微型计算机执行的程序或用于各种计算任务的参数等；以及驱动电路，其驱动要被控制的各种设备。每个控制单元包括用于经由通信网络7010与另一个控制单元通信的网络接口(I/F)，并且还包括用于通过有线通信或无线通信与车辆内部和外部的装置或传感器等执行通信的通信I/F。在图20中，微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元 7650、车辆内部仪器I/F 7660、声音和图像输出单元7670、车内网络 I/F 7680和存储单元7690被示为集成控制单元7600的功能配置。类似地，其它控制单元各包括微型计算机、通信I/F、存储单元等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的工作。例如，驱动系统控制单元7100用作控制装置，诸如用于生成车辆的驱动力的驱动力生成装置(诸如内燃机或驱动电机)、用于将驱动力传递至车轮的驱动力传递机构、调节车辆的转向角的转向机构，以及生成车辆的制动力的制动装置。驱动系统控制单元7100可以具有作为控制装置(诸如防抱死制动系统(ABS)或电子稳定性控制(ESC))的功能。
车辆状态检测部分7110与驱动系统控制单元7100连接。例如，车辆状态检测部分7110包括检测车身的轴向旋转移动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器，或用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、车轮的旋转速度等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部分7110输入的信号来执行计算处理，并控制内燃机、驱动电机、电动助力转向装置、制动装置等。
车身系统控制单元7200根据各种程序控制安装在车身中的各种装置的工作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或用于各种灯(例如，前灯、后灯、制动灯、转向信号灯或雾灯)的控制装置。在这种情况下，车身系统控制单元7200可以接收从便携式设备分发的、代替来自各种开关的键或信号的无线电波的输入。车身系统控制单元7200接收上面提到的无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300输入诸如电池温度、电池输出电压、电池的剩余容量等的信息。电池控制单元7300使用这些信号执行计算处理，并且控制对二次电池7310或包括在电池装置中的冷却装置等的温度调节。
车辆外部信息检测单元7400检测配备有车辆控制系统7000的车辆外部的信息。例如，成像单元7410或车辆外部信息检测部分7420 中的至少一个连接到车辆外部信息检测单元7400。成像单元7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机中的至少一个。车辆外部信息检测部分7420包括例如用于检测当前天气或气象的环境传感器或用于检测装备有车辆控制系统7000的车辆周围的另一个车辆、障碍物、行人等的环境信息检测传感器中的至少一个。
环境传感器可以是例如用于检测雨的雨滴传感器、用于检测雾的雾传感器、用于检测日照度的阳光传感器或用于检测降雪的雪传感器中的至少一个。环境信息检测传感器可以是超声传感器、雷达装置或光检测和测距或激光成像检测和测距(LIDAR)装置中的至少一个。上述成像单元7410和车辆外部信息检测部分7420可以各自被提供为独立的传感器或装置，或者可以被提供为其中集成有多个传感器或装置的装置。
在此，图21图示了成像单元7410和车辆外部信息检测部分7420的安装位置的示例。例如，在车辆7900的前鼻、侧视镜、后保险杠、后门或乘客室内的挡风玻璃的上部中的至少一个位置处提供成像单元7910、7912、7914、7916和7918。在前鼻处提供的成像单元 7910和在乘客室内的挡风玻璃的上部处提供的成像单元7918主要获取车辆7900前方的图像。在侧视镜处提供的成像单元7912和7914 主要获取车辆7900的侧面的图像。在后保险杠或后门处提供的成像单元7916主要获取车辆7900后面的图像。在乘客室内的挡风玻璃的上部处提供的成像单元7918主要用于检测在前车辆、行人、障碍物、交通信号灯、交通标志、车道等。
注意的是，图21图示了相应成像单元7910、7912、7914和 7916的捕获范围的示例。成像范围a指示在前鼻处提供的成像单元 7910的成像范围，成像范围b和c分别指示在侧视镜处提供的成像单元7912和7914的成像范围，并且成像范围d指示在后保险杠或后门处提供的成像单元7916的最大成像范围。例如，通过叠加由成像单元7910、7912、7914和7916捕获的图像数据，获得从上方观看的车辆7900的俯视图像。
在车辆7900的乘客室中的挡风玻璃的前、后、侧面、拐角和上部提供的车辆外部信息检测部分7920、7922、7924、7926、7928和 7930可以是例如超声传感器或雷达装置。在车辆7900的前鼻、后保险杠或后门以及乘客室中的挡风玻璃的上部处提供的车辆外部信息检测部分7920、7926和7930可以是例如LIDAR装置。这些车辆外部信息检测部分7920至7930主要用于检测在前车辆、行人、障碍物等。
返回图20，将继续解释。车辆外部信息检测单元7400使成像单元7410捕获车辆外部的图像并接收捕获图像数据。此外，车辆外部信息检测单元7400从连接的车辆外部信息检测部分7420接收检测信息。在车辆外部信息检测部分7420是超声传感器、雷达装置或LIDAR装置的情况下，车辆外部信息检测单元7400使车辆外部信息检测部分7420分发超声波、电磁波等，并接收关于接收到的反射波的信息。车辆外部信息检测单元7400可以基于接收到的信息对人、汽车、障碍物、标志、路面上的字符等执行物体检测处理或距离检测处理。车辆外部信息检测单元7400可以基于接收到的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元 7400可以基于接收到的信息来计算到车辆外部的物体的距离。
此外，车辆外部信息检测单元7400可以基于接收到的图像数据来执行图像识别处理或距离检测处理，以识别人、汽车、障碍物、标志、路面上的字符等。车辆外部信息检测单元7400可以对接收到的图像数据执行诸如畸变校正或对准之类的处理，并且还可以合并由不同成像单元7410捕获的图像数据以生成俯视图像或全景图像。车辆外部信息检测单元7400可以使用由不同成像单元7410捕获的图像数据来执行视点转换处理。
车辆内部信息检测单元7500检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测部分7510与车辆内部信息检测单元 7500连接。驾驶员状态检测部分7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物特征信息的生物特征传感器、在乘客室内收集声音的麦克风等。生物特征传感器例如在座椅表面或方向盘等上提供，并检测关于坐在座位上的乘员或握住方向盘的驾驶员的生物特征信息。车辆内部信息检测单元7500可以基于从驾驶员状态检测部分 7510输入的检测信息来计算驾驶员的疲劳程度或专心程度，或者可以确定驾驶员是否正在打瞌睡。车辆内部信息检测单元7500可以对收集到的声音信号执行诸如噪声抵消处理之类的处理。
集成控制单元7600根据各种程序来控制车辆控制系统7000的整体工作。输入单元7800连接到集成控制单元7600。输入单元7800 由可以由乘员操作以进行输入的装置来实现，例如，诸如触摸面板、按钮、麦克风、开关或控制杆。集成控制单元7600可以接收通过对由麦克风输入的声音执行声音识别而获得的数据的输入。输入单元7800可以是例如利用红外线或其它无线电波的遥控装置，或者是与车辆控制系统7000的操作兼容的外部连接仪器，诸如移动电话或个人数字助理(PDA)。输入单元7800可以是例如相机，在这种情况下，乘员可以通过手势输入信息。可替代地，可以输入通过检测乘员穿戴的可穿戴设备的运动而获得的数据。而且，输入单元7800可以包括例如基于由乘员等使用上述输入单元7800输入的信息来生成输入信号并将生成的输入信号输出到集成控制单元7600的输入控制电路等。通过操作这个输入单元7800，乘员等将各种类型的数据输入到车辆控制系统7000，或者指示车辆控制系统7000进行处理工作。
存储单元7690可以包括：只读存储器(ROM)，其存储将由微型计算机执行的各种程序；以及随机存取存储器(RAM)，其存储各种参数、计算结果、传感器值等。此外，存储单元7690可以由诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等实现。
通用通信I/F 7620是通用的通信I/F，其介导与外部环境7750 中存在的各种仪器的通信。通用通信I/F 7620可以用诸如全球移动通信系统(GSM)(注册商标)、WiMAX(注册商标)、长期演进 (LTE)(注册商标)、或LTE高级(LTE-A)或其它无线通信协议(诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标))之类的蜂窝通信协议来准备。通用通信I/F7620可以经由例如基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司自己的网络)上的仪器(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以使用例如对等(P2P)技术来连接到存在于车辆附近的终端(例如，驾驶员、行人或商店的终端，或机器类型通信 (MTC)终端)。
专用通信I/F 7630是支持制定用于车辆的通信协议的通信I/F。例如，专用通信I/F 7630可以用标准协议(诸如在车辆环境中的无线接入(WAVE)或作为低层IEEE 802.11p和上层IEEE 1609的组合的专用短程通信(DSRC)，或蜂窝通信协议)来准备。通常，专用通信I/F 7630实现车辆到一切(V2X)通信，这是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信中的一个或多个的概念。
例如，定位单元7640从全球导航卫星系统(GNSS)卫星接收 GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号) 以执行定位并生成包括车辆的纬度、经度和高度的位置信息。注意的是，定位单元7640可以通过与无线接入点交换信号来区分当前位置，或者可以从具有定位功能的终端(诸如移动电话、个人手持电话系统 (PHS)或智能电话)获取位置信息。
信标接收单元7650接收例如从安装在道路上的无线站等分发的无线电波或电磁波，并获取关于当前位置、拥堵、道路封闭、所需时间等的信息。注意的是，信标接收单元7650的功能可以包括在上述专用通信I/F 7630中。
车辆内部仪器I/F 7660是介导微型计算机7610与车辆中存在的各种车辆内部仪器7760之间的连接的通信接口。车辆内部仪器I/F 7660可以使用无线通信协议(诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB))建立无线连接。此外，车辆内部仪器I/F 7660可以经由连接端子(未示出)(如有必要，还有电缆)建立有线连接，诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)。车辆内部仪器7760可以包括例如乘员携带的移动仪器或可穿戴仪器、或者被带入或安装到车辆的信息仪器中的至少一种。另外，车辆内部仪器7760可以包括导航装置，该导航装置搜索到任意目的地的路线。车辆内部仪器I/F 7660与这些车辆内部仪器7760交换控制信号或数据信号。
车内网络I/F 7680是介导微型计算机7610与通信网络7010之间的通信的接口。车内网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车载仪器接口7660或车内网络接口7680中的至少一个获取的信息根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获取的车辆内部和外部的信息来计算用于驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微型计算机7610可以为了实现高级驾驶员辅助系统(ADAS)的功能而执行协调控制，该ADAS的功能包括避免车辆碰撞或减轻碰撞、基于车辆间距离的跟随行驶、车速维持行驶、车辆碰撞警告、车道偏离警告等。此外，微型计算机7610可以基于所获取的车辆周围的信息来控制驱动力生成装置、转向机构、制动装置等，以便为了例如自动驾驶的目的和其它目的而执行协调控制，其中在自动驾驶中，车辆自主地行驶而不依赖于驾驶员的操作。
基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部仪器I/F 7660或车内网络I/F 7680中的至少一个获取的信息，微型计算机7610可以在车辆与周边结构、诸如人等之类的物体之间生成三维距离信息，以创建包括关于车辆的当前位置的周边信息的本地地图信息。此外，微型计算机7610可以基于所获取的信息通过预测诸如与接近的车辆、行人等的碰撞或进入封闭的道路之类危险来生成警告信号。警告信号可以是例如用于生成警告声音或用于打开警告灯的信号。
声音和图像输出单元7670将声音或图像中的至少一种的输出信号发送到能够可视或可听地向车辆的乘员或车辆的外部通知信息的输出装置。在图20的示例中，音频扬声器7710、显示单元7720和仪器板7730被例示为输出装置。例如，显示单元7720可以包括车载显示器或平视显示器中的至少一个。显示单元7720可以具有增强现实 (AR)显示功能。输出装置可以是除上面提到的装置以外的装置，诸如耳机、可穿戴设备(诸如乘员穿戴的眼镜式显示器)、投影仪或灯。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格或图形之类的各种格式可视地显示通过由微型计算机7610执行的各种处理获得的结果或者从另一个控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出设备将由再现的声音数据、声学数据等组成的音频信号转换成模拟信号，并且可听地输出转换后的模拟信号。
注意的是，在图20所示的示例中，可以将经由通信网络7010连接的至少两个控制单元一体化为一个控制单元。可替代地，每个控制单元可以由多个控制单元构成。而且，车辆控制系统7000可以包括未示出的另一个控制单元。此外，在以上描述中，可以将分配给控制单元之一的一些或全部功能给予另一个控制单元。换句话说，只要经由通信网络7010发送和接收信息，就可以由控制单元中的任何一个执行预定的计算处理。类似地，连接到控制单元之一的传感器或装置可以连接到另一个控制单元，并且多个控制单元也可以经由通信网络 7010彼此发送和接收检测信息。
在上述车辆控制系统7000中，例如，校准处理单元15、权重设置单元13、参数存储单元14和参数更新单元16可以应用于图20所示的应用示例的车辆外部信息检测单元7400。此外，信息获取单元 11-1可以应用于成像单元7410，并且信息获取单元11-2可以应用于车辆外部信息检测部分7420。以这种方式，如果在车辆控制系统 7000中提供本技术的校准装置，那么可以精确地掌握多个成像单元或者成像单元与车辆外部信息检测部分之间的位置关系，并且可以提高周边物体的检测准确性。因此，例如，可以以更高的准确性获取用于减轻驾驶员的疲劳等、用于自动驾驶等所需的信息。
本说明书中描述的一系列处理可以由硬件、软件或两者的复杂配置来执行。在通过软件执行处理的情况下，将记录处理序列的程序安装在结合在专用硬件中的计算机内的存储器上并执行。可替代地，有可能在能够执行各种处理的通用计算机上安装并执行程序。
例如，该程序可以预先记录在作为记录介质的硬盘、固态驱动器 (SSD)或只读存储器(ROM)上。可替代地，可以将程序临时或永久保存并保存(记录)在可移动记录介质(诸如软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能盘(DVD)、蓝光盘(BD)(注册商标)、磁盘或半导体存储卡)上。这种可移动记录介质可以被提供为所谓的打包软件。
此外，除了将程序从可移动记录介质安装到计算机之外，还可以经由诸如局域网(LAN)或互联网之类的网络将程序从下载站点无线或有线地传送到计算机。在计算机中，有可能接收以这种方式传送的程序，并将该程序安装在诸如内置硬盘之类的记录介质上。
注意的是，本说明书中描述的效果仅仅用作示例，并且不应解释为是限制性的。也可以存在本文未描述的附加效果。此外，本技术不应当被解释为限于上述技术的实施例。该技术的实施例以示例的形式公开了本技术，并且不言而喻的是，本领域技术人员可以在不脱离本技术的要旨的情况下对实施例进行修改和替换。即，为了判断本技术的要旨，应当考虑权利要求。
此外，本技术的校准装置也可以具有以下配置。
(1)一种校准装置，包括
校准处理单元，其使用与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取周边物体信息时周边物体与信息获取单元的情况的权重来计算与多个信息获取单元的位置和姿态相关的参数。
(2)根据(1)所述的校准装置，其中，校准处理单元使用由该多个信息获取单元针对特征点获取的点云数据、权重和预先存储的参数来计算指示参数的误差的成本，并基于所计算出的成本来计算使误差最小化的参数。
(3)根据(2)所述的校准装置，其中，在预定时段内多次获取周边物体信息。
(4)根据(3)所述的校准装置，其中，校准处理单元根据设有该多个信息获取单元的移动体每次获取周边物体信息的移动速度来设置权重，并随着移动速度增加而减小权重。
(5)根据(3)或(4)所述的校准装置，其中，校准处理单元根据特征点的运动向量来设置权重，并且随着运动向量增加而减小权重。
(6)根据(3)至(5)中的任一项所述的校准装置，其中，预定时段是从设有该多个信息获取单元的移动体移动开始的预设时段或者直到移动体移动结束的预设时段。
(7)根据(2)至(6)中的任一项所述的校准装置，其中，校准处理单元根据从该多个信息获取单元到特征点的距离来设置权重，并且随着距离增加而减小权重。
(8)根据(2)至(7)中的任一项所述的校准装置，还包括参数更新单元，其使用由校准处理单元计算出的参数来更新所存储的参数。
(9)根据(8)所述的校准装置，其中，参数更新单元从设有该多个信息获取单元的移动体的移动停止时或移动体的移动结束时直到下一次开始束时更新参数。
(10)根据(1)至(9)中的任一项所述的校准装置，其中，该多个信息获取单元获取至少周边物体的捕获图像作为周边物体信息。
(11)根据(10)所述的校准装置，包括获取周边物体的捕获图像作为周边物体信息的信息获取单元，以及使用距离测量传感器测定到周边物体的每个位置的距离以将测定结果作为周边物体信息的信息获取单元，作为该多个信息获取单元。
(12)根据(11)所述的校准装置，还包括信息处理单元，其对与由信息获取单元获取的到周边物体的每个位置的距离的测定结果执行配准处理，并生成用于周边物体的每个位置的点云数据作为每个特征点的点云数据。
(13)根据(10)所述的校准装置，包括获取周边物体的捕获图像作为周边物体信息的信息获取单元，作为该多个信息获取单元。
(14)根据(10)所述的校准装置，还包括信息处理单元，其使用由信息获取单元获取的周边物体的捕获图像来执行特征点检测，并通过针对检测到的周边物体的特征点的配准处理来生成每个特征点的点云数据。
工业适用性
在根据本技术的校准装置、校准方法和程序中，使用与基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及当获取周边物体信息时根据周边物体与信息获取单元之间的情况的权重来计算与多个信息获取单元的位置和姿势相关的参数。因此，允许校准稳定地执行。为此，适于基于由多个信息获取单元获取的信息来识别周边物体的仪器，例如，诸如汽车或飞行器之类的仪器。
附图标记列表
10 校准装置
11-1、11-2、11-2a 信息获取单元
12-1、12-2、12-2a 信息处理单元
13 权重设置单元
14 参数存储单元
15 校准处理单元
16 参数更新单元
131 移动速度获取单元
132、133、136 权重设置处理单元
134 特征点保持单元
135 运动向量计算单元

Claims (15)

1.一种校准装置，包括
校准处理单元，所述校准处理单元使用基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取所述周边物体信息时的所述周边物体与所述信息获取单元的情况的权重来计算与所述多个信息获取单元的位置和姿态相关的参数，
其中，所述校准处理单元使用由所述多个信息获取单元针对所述特征点获取的所述点云数据、所述权重和预先存储的所述参数来计算指示所述参数的误差的成本，并基于所计算出的成本来计算使所述误差最小化的参数。
2.根据权利要求1所述的校准装置，其中
在预定时段内多次获取所述周边物体信息。
3.根据权利要求2所述的校准装置，其中
所述校准处理单元根据设有所述多个信息获取单元的移动体每次获取所述周边物体信息的移动速度来设置所述权重，并随着所述移动速度增加而减小所述权重。
4.根据权利要求2所述的校准装置，其中
所述校准处理单元根据所述特征点的运动向量来设置所述权重，并且随着所述运动向量增加而减小所述权重。
5.根据权利要求2所述的校准装置，其中
所述预定时段是从设有所述多个信息获取单元的移动体的移动开始的预设时段或者直到所述移动体的移动结束的预设时段。
6.根据权利要求1所述的校准装置，其中
所述校准处理单元根据从所述多个信息获取单元到所述特征点的距离来设置所述权重，并且随着所述距离增加而减小所述权重。
7.根据权利要求1所述的校准装置，
还包括参数更新单元，所述参数更新单元使用由所述校准处理单元计算出的参数来更新所存储的参数。
8.根据权利要求7所述的校准装置，其中
所述参数更新单元从设有所述多个信息获取单元的移动体的移动停止时或移动体的移动结束时直到下一次移动体开始移动时更新参数。
9.根据权利要求1所述的校准装置，其中
所述多个信息获取单元各自获取至少所述周边物体的捕获图像作为所述周边物体信息。
10.根据权利要求9所述的校准装置，
包括获取所述周边物体的捕获图像作为所述周边物体信息的信息获取单元、以及使用距离测量传感器测定到周边物体的每个位置的距离以将测定结果作为所述周边物体信息的信息获取单元，作为所述多个信息获取单元。
11.根据权利要求10所述的校准装置，
还包括信息处理单元，所述信息处理单元对由所述信息获取单元获取的到所述周边物体的每个位置的距离的测定结果执行配准处理，并生成所述周边物体的每个位置的点云数据作为每个特征点的点云数据。
12.根据权利要求9所述的校准装置，
包括各自获取所述周边物体的捕获图像作为所述周边物体信息的信息获取单元，作为所述多个信息获取单元。
13.根据权利要求9所述的校准装置，
还包括信息处理单元，所述信息处理单元使用由所述信息获取单元获取的所述周边物体的捕获图像来执行特征点检测，并通过针对检测到的所述周边物体的特征点的配准处理来生成每个特征点的点云数据。
14.一种校准方法，包括
由校准处理单元使用基于由多个信息获取单元获取的周边物体信息而生成的与周边物体的特征点相关的点云数据以及根据当获取所述周边物体信息时的所述周边物体与所述信息获取单元的情况的权重来计算与所述多个信息获取单元的位置和姿势相关的参数，
其中，所述校准处理单元使用由所述多个信息获取单元针对所述特征点获取的所述点云数据、所述权重和预先存储的所述参数来计算指示所述参数的误差的成本，并基于所计算出的成本来计算使所述误差最小化的参数。
15.一种计算机可读存储介质，存储有用于在计算机上执行校准的程序，
所述程序使所述计算机执行：
获取与周边物体的特征点相关的点云数据的过程，所述点云数据基于由多个信息获取单元获取的周边物体信息而生成；以及
使用根据当获取所述周边物体信息时的所述周边物体与所述信息获取单元的情况的权重来计算与所述多个信息获取单元的位置和姿势相关的参数的过程，
其中，使用由所述多个信息获取单元针对所述特征点获取的所述点云数据、所述权重和预先存储的所述参数来计算指示所述参数的误差的成本，并基于所计算出的成本来计算使所述误差最小化的参数。
CN201880088349.1A 2018-02-09 2018-11-16 校准装置、校准方法和计算机可读存储介质 Expired - Fee Related CN111670572B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018021494 2018-02-09
JP2018-021494 2018-02-09
PCT/JP2018/042448 WO2019155719A1 (ja) 2018-02-09 2018-11-16 キャリブレーション装置とキャリブレーション方法およびプログラム

Publications (2)

Publication Number Publication Date
CN111670572A CN111670572A (zh) 2020-09-15
CN111670572B true CN111670572B (zh) 2022-01-28

Family

ID=67548823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088349.1A Expired - Fee Related CN111670572B (zh) 2018-02-09 2018-11-16 校准装置、校准方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US20210033712A1 (zh)
JP (1) JP7294148B2 (zh)
CN (1) CN111670572B (zh)
DE (1) DE112018007048T5 (zh)
WO (1) WO2019155719A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110031822B (zh) * 2019-04-22 2020-05-22 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
TWI722738B (zh) * 2019-12-25 2021-03-21 亞達科技股份有限公司 擴增實境裝置與定位方法
JP7214057B1 (ja) 2021-03-08 2023-01-27 三菱電機株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
DE102021209538A1 (de) 2021-08-31 2023-03-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems
US20230150518A1 (en) * 2021-11-15 2023-05-18 Waymo Llc Calibration of sensors in autonomous vehicle applications
CN114494609B (zh) * 2022-04-02 2022-09-06 中国科学技术大学 一种3d目标检测模型的构建方法、装置和电子设备
CN116594028B (zh) * 2022-11-17 2024-02-06 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141655A (ja) * 2003-11-10 2005-06-02 Olympus Corp ３次元モデリング装置及び３次元モデリング方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
WO2015015542A1 (ja) * 2013-07-29 2015-02-05 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法
CN105474634A (zh) * 2013-08-30 2016-04-06 歌乐株式会社 摄像机校准装置、摄像机校准系统及摄像机校准方法
CN206231303U (zh) * 2014-05-09 2017-06-09 株式会社电装 车载校准装置
JP2018004420A (ja) * 2016-06-30 2018-01-11 株式会社リコー 装置、移動体装置、位置ずれ検出方法及び測距方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173185A1 (en) * 2010-12-30 2012-07-05 Caterpillar Inc. Systems and methods for evaluating range sensor calibration data
JP5442164B2 (ja) * 2011-03-08 2014-03-12 三菱電機株式会社 移動体周辺映像補正装置
WO2013069012A1 (en) * 2011-11-07 2013-05-16 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
EP2914975B1 (en) * 2012-11-05 2019-03-06 The Chancellor, Masters and Scholars of The University of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101786237B1 (ko) * 2015-12-09 2017-10-17 현대자동차주식회사 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
US10509120B2 (en) * 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
CN107656259B (zh) * 2017-09-14 2021-04-30 同济大学 外场环境标定的联合标定系统与方法
US11479213B1 (en) * 2017-12-11 2022-10-25 Zoox, Inc. Sensor obstruction detection and mitigation
US11415683B2 (en) * 2017-12-28 2022-08-16 Lyft, Inc. Mobile sensor calibration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141655A (ja) * 2003-11-10 2005-06-02 Olympus Corp ３次元モデリング装置及び３次元モデリング方法
CN103477186A (zh) * 2011-04-07 2013-12-25 松下电器产业株式会社 立体摄像装置
WO2015015542A1 (ja) * 2013-07-29 2015-02-05 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法
CN105474634A (zh) * 2013-08-30 2016-04-06 歌乐株式会社 摄像机校准装置、摄像机校准系统及摄像机校准方法
CN206231303U (zh) * 2014-05-09 2017-06-09 株式会社电装 车载校准装置
JP2018004420A (ja) * 2016-06-30 2018-01-11 株式会社リコー 装置、移動体装置、位置ずれ検出方法及び測距方法

Also Published As

Publication number Publication date
US20210033712A1 (en) 2021-02-04
JPWO2019155719A1 (ja) 2021-02-18
WO2019155719A1 (ja) 2019-08-15
JP7294148B2 (ja) 2023-06-20
DE112018007048T5 (de) 2020-10-15
CN111670572A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111670572B (zh) 校准装置、校准方法和计算机可读存储介质
US10970877B2 (en) Image processing apparatus, image processing method, and program
US10753757B2 (en) Information processing apparatus and information processing method
US10587863B2 (en) Image processing apparatus, image processing method, and program
US20200349367A1 (en) Image processing device, image processing method, and program
US11533420B2 (en) Server, method, non-transitory computer-readable medium, and system
US12067795B2 (en) Information processing device and information processing method
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11436706B2 (en) Image processing apparatus and image processing method for improving quality of images by removing weather elements
WO2022044830A1 (ja) 情報処理装置、および情報処理方法
JP2018046353A (ja) 通信装置、および通信システム
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7559748B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111684455B (zh) 识别装置、识别方法和程序产品
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022181125A (ja) 情報処理装置、キャリブレーションシステム及び情報処理方法
JP2024065130A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2018070168A1 (ja) 通信装置、および通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220128