WO2022196195A1 - 測距制御装置、測距制御方法、測距制御プログラム、および測距装置 - Google Patents
測距制御装置、測距制御方法、測距制御プログラム、および測距装置 Download PDFInfo
- Publication number
- WO2022196195A1 WO2022196195A1 PCT/JP2022/005112 JP2022005112W WO2022196195A1 WO 2022196195 A1 WO2022196195 A1 WO 2022196195A1 JP 2022005112 W JP2022005112 W JP 2022005112W WO 2022196195 A1 WO2022196195 A1 WO 2022196195A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- calibration
- mode
- distance
- ranging
- execution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000005259 measurement Methods 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 abstract description 53
- 238000004891 communication Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000035807 sensation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000001915 proofreading effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
Definitions
- the light emitting unit 11 is a semiconductor element that emits directional laser light, such as a laser diode.
- the light emitting unit 11 irradiates laser light toward the outside of the vehicle A in the form of an intermittent pulse beam.
- the light receiving section 12 is composed of a light receiving element having high sensitivity to light, such as SPAD (Single Photon Avalanche Diode).
- SPAD Single Photon Avalanche Diode
- a plurality of light receiving elements are arranged in an array in a two-dimensional direction.
- a set of adjacent light-receiving elements constitutes one light-receiving pixel (hereinafter also referred to as pixel).
- the number of light-receiving elements forming one light-receiving pixel can be changed by the control circuit 14 .
- the light-receiving element is exposed to the light incident from the sensing area determined by the angle of view of the light-receiving unit 12 in the external world of the light-receiving
- the control circuit 14 changes the size of one pixel when detecting reflected light and when detecting background light. Specifically, as shown in FIG. 2, the control circuit 14 controls the number of light receiving elements ( ⁇ ) that constitute one pixel when background light is detected, and the number of light receiving elements that constitute one pixel when reflected light is detected. It should be less than the number of elements (A ⁇ B). As a result, the number of pixels when capturing a background light image is larger than when capturing a distance image (see FIG. 3. "Q ⁇ M, R ⁇ N"). That is, the angular resolution per pixel of the background light image is higher than that of the range image.
- the mode determination unit 120 determines whether the calibration mode is to be executed when vehicle A enters the calibration area and stops.
- the mode determination unit 130 determines distance measurement in the calibration mode for a specific range including the calibration target CT in the sensing area. For example, mode determining section 130 may set the range of orientation assumed from the position of the detected identification marker as the specific range. In the fourth embodiment, the mode determination unit 130 transmits information about the specific range to the control circuit 14 together with the switching command. The calibration unit 140 performs calibration based on image information in a specific range.
- the flow proceeds to S125.
- the mode determination unit 120 determines whether or not a specified number of reflection points exist within the allowable distance range. If it is determined that the specified number of reflection points does not exist, the flow proceeds to S130. On the other hand, if it is determined that the specified number of reflection points exist, the flow shifts to S140 and continues to S150 and S160.
- the image processing apparatus 100 further constructs a notification section 150 as a functional section.
- Notification unit 150 causes at least one of in-vehicle presentation unit 61, out-vehicle presentation unit 62, and communication system 70 to perform a notification (calibration notification) related to execution of the calibration mode.
- the calibration notification indicates that the ranging mode will be switched between the normal ranging mode and the calibration mode, for example.
- the proof notification shall indicate the start of proof mode and the end of proof mode.
- the notification unit 150 displays a message indicating that the calibration mode is being executed and an icon, etc., during execution of the calibration mode. good.
- the notification unit 150 may cause a display lamp indicating that the calibration mode is being executed to turn off during execution of the calibration mode.
- the notification unit 150 may output an announcement indicating that the calibration mode is being executed, a notification sound, or the like during execution of the calibration mode.
- the execution conditions for the mode determination unit 120 to determine whether or not the conditions are met have been described.
- the mode determination unit 120 may determine whether or not at least two of a plurality of execution conditions are met.
- mode determination section 130 may determine execution of the calibration mode when at least one of the plurality of execution conditions is met.
- the mode determination unit 130 may determine execution of the calibration mode only when at least two of a plurality of execution conditions or all determined execution conditions are met.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
画像処理装置(100)は、車両(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定するLiDAR装置(1)を制御する。画像処理装置は、LiDAR装置の校正を実行可能な実行条件が成立しているか否かを判定するモード判定部(120)を備える。画像処理装置は、実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合にLiDAR装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードをLiDAR装置に実行させるモード決定部(130)を備える。画像処理装置は、校正モードにおけるLiDAR装置の測距結果に基づき校正を実行する校正部(140)を備える。
Description
この出願は、2021年3月16日に日本に出願された特許出願第2021-42724号、および、2022年1月18日に日本に出願された特許出願第2022-5954号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
この明細書における開示は、光の照射に対する反射点からの反射光を検出することで、反射点までの距離を測定する技術に関する。
特許文献1には、投光に対して物体で反射された光を検出する光検出器が開示されている。この光検出器は、投光範囲における物体が存在する少なくとも1つの領域を注目領域として設定し、該注目領域に対する投光系の投光条件および信号処理系の処理条件の少なくとも一方を、注目領域へ投光するときと非注目領域に投光するときとで異ならせる。
ところで、反射光を検出する測距装置において、通常の測距を行う状況と、校正を行う状況とが生じることが考えられる。特許文献1の技術では、これらの状況に応じて測距装置を制御することは開示されていない。
開示される目的は、状況に応じた測距制御が可能な測距制御装置、測距制御方法、測距制御プログラム、および測距装置を提供することである。
この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。
開示された測距制御装置のひとつは、プロセッサを有し、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御する測距制御装置であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行部と、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正部と、
を備える。
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行部と、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正部と、
を備える。
開示された測距制御方法のひとつは、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサにより実行される測距制御方法であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセスと、
を含む。
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセスと、
を含む。
開示された測距制御プログラムのひとつは、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサに実行させる命令を含む測距制御プログラムであって、
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセスと、
を含む。
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセスと、
を含む。
開示された測距装置のひとつは、プロセッサを有し、移動体に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを実行するモード実行部と、
校正モードにおける測距結果に基づき校正を実行する校正部と、
を備える。
校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりもスキャン光のスキャン速度を遅くする校正モードを実行するモード実行部と、
校正モードにおける測距結果に基づき校正を実行する校正部と、
を備える。
これらの開示によれば、校正を実行可能な実行条件が成立したと判定された場合に、スキャン光のスキャン速度が遅くされる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、1画素あたりの情報量を通常測距モード時よりも増やすことができる。これにより、より精度の高い測距が実現できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度向上が可能となる。したがって、校正が実行可能な状況下にて校正に適した測距装置の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能な測距制御装置、測距制御方法、および測距制御プログラムが提供され得る。
開示された測距制御装置のひとつは、プロセッサを有し、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御する測距制御装置であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行部と、
校正モードにおける測距装置の測距結果に基づき、校正を実行する校正部と、
を備える。
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行部と、
校正モードにおける測距装置の測距結果に基づき、校正を実行する校正部と、
を備える。
開示された測距制御方法のひとつは、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサにより実行される測距制御方法であって、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセスと、
を含む。
測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行する校正プロセスと、
を含む。
開示された測距制御プログラムのひとつは、移動体に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置を制御するために、プロセッサに実行させる命令を含む測距制御プログラムであって、
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセスと、
を含む。
命令は、
測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセスと、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に測距装置にて実行される通常測距モードよりも反射点までの距離の分解能を高くする校正モードを測距装置に実行させるモード実行プロセスと、
校正モードにおける測距装置の測距結果に基づき校正を実行させる校正プロセスと、
を含む。
開示された測距装置のひとつは、プロセッサを有し、移動体に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりも反射点までの距離の分解能を高くする校正モードを実行するモード実行部と、
校正モードにおける測距結果に基づき、校正を実行する校正部と、
を備える。
校正を実行可能な実行条件が成立しているか否かを判定する判定部と、
実行条件が成立していると判定された場合に、実行条件が成立していないと判定された場合に実行する通常測距モードよりも反射点までの距離の分解能を高くする校正モードを実行するモード実行部と、
校正モードにおける測距結果に基づき、校正を実行する校正部と、
を備える。
これらの開示によれば、校正を実行可能な実行条件が成立したと判定された場合に、反射点までの距離の分解能が高くなる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、測距時の距離精度が向上できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度向上が可能となる。したがって、校正が実行可能な状況下にて校正に適した測距装置の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能な測距制御装置、測距制御方法、および測距制御プログラムが提供され得る。
(第1実施形態)
図1に示すように、本開示の一実施形態による測距制御装置としての画像処理装置100は、移動体である車両Aに搭載される。画像処理装置100は、例えば、後述のLiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)装置1を含む複数の車載センサからの画像情報を取得し、画像認識等の処理を実行する車載ECU(Electronic Control Unit)である。
図1に示すように、本開示の一実施形態による測距制御装置としての画像処理装置100は、移動体である車両Aに搭載される。画像処理装置100は、例えば、後述のLiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)装置1を含む複数の車載センサからの画像情報を取得し、画像認識等の処理を実行する車載ECU(Electronic Control Unit)である。
画像処理装置100は、例えばLAN(Local Area Network)、ワイヤハーネスおよび内部バス等のうち少なくとも一種類を含む車載ネットワーク50を介して、各種情報を取得可能である。車載ネットワーク50から取得される情報には、例えば、ロケータによる位置情報、地図データベースに含まれる地図情報、車両Aの挙動センサからの挙動情報、後述の他センサによる検出情報等が含まれる。挙動センサには、車速センサ、姿勢センサ等が含まれる。
加えて、画像処理装置100は、LiDAR装置1と接続されており、相互に通信可能である。LiDAR装置1は、光の照射に対する反射点からの反射光を検出することで、反射点までの距離を測定する測定装置である。LiDAR装置1は、発光部11、受光部12、ミラーおよび制御回路14を備えている。
発光部11は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光部11は、車両Aの外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。受光部12は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な受光素子により構成されている。受光素子は、二次元方向にアレイ状に複数配列されている。隣接する複数の受光素子の組により、1つの受光画素(以下、画素ともいう)が構成される。なお、1つの受光画素を構成する受光素子の個数は、制御回路14により変更可能である。受光部12の外界のうち、受光部12の画角により決まるセンシング領域から入射する光により、受光素子が露光される。
アクチュエータ13は、発光部11から照射されたレーザ光をLiDAR装置1の出射面へと反射する反射鏡の反射角を制御する。アクチュエータ13が反射鏡の反射角を制御することで、レーザ光がスキャンされる。スキャン方向は、水平方向であってもよく、垂直方向であってもよい。なお、アクチュエータ13は、LiDAR装置1の筐体自体の姿勢角を制御することで、レーザ光をスキャンするものであってもよい。
制御回路14は、発光部11、受光部12およびアクチュエータ13を制御する。制御回路14は、メモリおよびプロセッサを、少なくとも1つずつ含んで構成されるコンピュータである。メモリは、コンピュータにより読み取り可能なプログラムおよびデータを非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。メモリは、プロセッサによって実行される種々のプログラムを格納している。
制御回路14は、受光部12における複数画素の露光およびスキャンを制御するとともに、受光部12からの信号を処理してデータ化する。制御回路14は、発光部11による光照射に対する反射光を受光部12にて検出する反射光検出と、発光部11による光照射の停止中に背景光を受光部12にて検出する背景光検出との2通りの光検出を実行する。
反射光検出において、発光部11から照射されたレーザ光は、センシング領域内の物体にあたり、反射する。この反射した部分がレーザ光の反射点となる。反射点にて反射されたレーザ光(以下、反射光という)は入射面を通して受光部12に入射し、露光する。このとき制御回路14は、受光部12の複数画素をスキャンすることで、視野内の様々な角度の反射光を取得する。これにより、制御回路14は、反射物(対象物)の距離画像を取得する。
詳記すると、制御回路14は、各画素において、一定時間内にスキャンして得られた反射光の強度、またはその強度に基づいて得られた値(以下、反射強度と表記する)を得られた距離ごとに積算する。これにより、制御回路14は、図5等に示すような距離と反射強度のヒストグラムを取得する。制御回路14は、ヒストグラムの各ビンの反射強度に基づいて反射点までの距離を算出する。具体的には、制御回路14は、所定の閾値以上のビンに対して、近似曲線を生成し、当該近似曲線の極値を、その画素における反射点までの距離とする。制御回路14は、全画素について上述の処理を行うことで、画素ごとに距離情報を含んだ距離画像を生成可能である。
一方、背景光検出においては、発光部11の光照射の停止中に、太陽光等の外界の光が物体に反射して、受光部12に露光する。この露光した光を以下では、背景光という。このとき制御回路14は、受光部12の複数画素をスキャンすることで、反射光と同様に、視野内の様々な角度の背景光を取得する。制御回路14は、全画素について上述の処理を行うことで、背景光画像を生成可能である。なお、反射光と背景光のセンシング領域はほぼ同様である。背景光は、外光または外乱光と呼称することも可能である。
なお、本実施形態において、制御回路14は、反射光検出時と背景光検出時とで1画素の大きさを変更する。具体的には、制御回路14は、図2に示すように、背景光検出時における1画素を構成する受光素子の数(α×β個)を、反射光検出時における1画素を構成する受光素子の数(A×B個)よりも少なくする。これにより、距離画像の撮像時よりも背景光画像の撮像時の画素数の方が多くなる(図3参照。「Q≧M、R≧N」である)。すなわち、背景光画像の1画素あたりの角度分解能が距離画像よりも高くなる。
制御回路14は、以上の反射光検出時および背景光検出時において、発光部11のスキャン速度および受光部12の受光周波数を制御可能である。制御回路14は、アクチュエータ13を制御することで、スキャン速度を変更する。
制御回路14は、スキャン速度に応じた測距モードとして、通常測距モードと校正モードとを実行可能である。校正モードは、通常測距モードよりもスキャン速度を遅くした測距モードである。各測距モードの詳細については後述する。
画像処理装置100は、メモリ101およびプロセッサ102を、少なくとも1つずつ含んで構成されるコンピュータである。メモリ101は、コンピュータにより読み取り可能なプログラムおよびデータを非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体である。メモリ101は、後述の測距制御プログラム等、プロセッサ102によって実行される種々のプログラムを格納している。
プロセッサ102は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)およびRISC(Reduced Instruction Set Computer)-CPU等のうち少なくとも一種類を、コアとして含む。プロセッサ102は、メモリ101に記憶された測距制御プログラムに含まれる複数の命令を、実行する。これにより画像処理装置100は、LiDAR装置1が実行する測距モードの制御処理を遂行するための複数の機能部を、構築する。このように画像処理装置100では、メモリ101に格納された測距制御プログラムが複数の命令をプロセッサ102に実行させることで、測距制御のための複数の機能部が構築される。具体的に、画像処理装置100には、図2に示すように、画像取得部110、モード判定部120、モード決定部130および校正部140等の機能部が構築される。
画像取得部110は、LiDAR装置1の制御回路14にて生成された距離画像および背景光画像を取得する。画像取得部110は、取得した各画像について物体認識等の所定の画像処理を実行する。画像取得部110は、取得した各画像または画像処理済みの各画像を、他のECUに送信してもよい。
モード判定部120は、車載ネットワーク50から取得した情報に基づいて、LiDAR装置1の測距モードを通常測距モードと校正モードのどちらにするかを判定する。そのために、モード判定部120は、校正を実行可能な実行条件が成立したか否かを判定する。モード判定部120は、実行条件が成立したと判定した場合に校正モード、不成立であると判定した場合に通常測距モードの実行判定を下す。
例えば、実行条件は、校正モードの実行が許可された校正エリアに車両Aが進入することとされる。ここで、校正エリアとは、校正のために設置されたスペース、乗員が乗降する停留所、駐車場等の停車スペース、交差点等の少なくとも1つを含む。なお、校正エリアに車両Aが進入したかどうかの判定は、例えば、GPS等のGNSS(Global Navigation Satellite System)に基づく車両Aの現在位置に基づき実行されればよい。
モード判定部120は、校正エリアに車両Aが進入したと判定すると、さらに、車両Aが停車したか否かを判定する。モード判定部120は、車両Aの速度情報に基づき停車したか否かを判定すればよい。一例として、モード判定部120は、速度情報が0km/hである状態が所定期間(例えば5秒間)連続した場合に、停車したと判定してもよい。または、モード判定部120は、画像取得部110にて取得された距離画像および背景光画像に基づいて判定を行ってもよい。例えば、直近2時刻で取得した距離画像に基づいて、2画像間の差分を計算し、差異が一定未満であれば停止したと判定してもよい。
モード判定部120は、車両Aが校正エリアに進入し、且つ停車した場合に校正モードの実行判定を下す。
モード決定部130は、モード判定部120にて実行判定に基づき、制御回路14に実行させる測距モードの切り替えを行う。具体的には、モード決定部130は、直前までと異なる測距モードの実行判定が下された場合、測距モードの切替指令を生成し、制御回路14へと送信する。第1実施形態において、モード決定部130は、単にセンシング領域の全範囲について測距モードを切り替える切替指令を生成すればよい。これによりモード決定部130は、いずれかの測距モードをLiDAR装置1に実行させる。モード決定部130は、「モード実行部」の一例である。
校正モードでは、通常測距モードよりもスキャン速度が遅く設定される。例えば、校正モードではスキャン速度が10分の1に設定され、通常測距モードでは10Hzのスキャン周期が、校正モードでは1Hzへと変更される。この場合、図5に示すように、1画素当たりの受光回数は、通常測距モードよりも校正モードの方が多くなる。したがって、ヒストグラムを構成する情報量が、校正モードの方が大きくなる。これにより、検出される反射点までの距離が、真の距離により近くなる。なお、図5においては、点線による複数の矩形が、複数の受光タイミングごとの受光範囲LRを模式的に示している。後述する図7についても同様である。
校正部140は、校正モードが実行される場合に、当該校正モードにおいて取得された距離画像および背景光画像に基づき、LiDAR装置1の校正を実行する。
校正部140は、校正モードにて取得された画像情報を取得する。さらに校正部140は、LiDAR装置以外の他センサにて取得された校正ターゲットCTの特徴点情報を取得する。なお、校正ターゲットCTは、例えば、図4に示すように平面のチェッカーボードである。または、校正ターゲットCTは、他の任意の模様(例えばドットパターン)を付された平面ボードであってもよい。こうした校正ターゲットCTは、予め設けられた校正スペースに設置されている。他センサは、例えば校正スペースに設置された測量機TSである。測量機TSは、トータルステーション等の三次元測量が可能な構成である。測量機TSは、校正ターゲットCTの特徴点を抽出し、その情報を校正部140へと提供する。
校正部140は、LiDAR装置1による各画像に基づき、校正ターゲットCTの特徴点を抽出し、その三次元座標を特定する。詳記すると、校正部140は、解像度が距離画像以上の背景光画像から校正ターゲットCTの特徴点を抽出する。そして、校正部140は、抽出した背景光画像の特徴点の座標に対応する距離画像の座標を計算し、それに対して隣接する画素からそれぞれ距離情報を抽出する。校正部140は、抽出した複数の隣接画素の距離を三次元座標に変換し、得られた三次元座標をバイリニア補間またはバイキュービック補間等により補間することで、特徴点の三次元座標を特定する。
さらに、校正部140は、他センサにて抽出された特徴点の情報を取得する。校正部140は、LiDAR装置1による各特徴点に対応する他センサによる特徴点(対応点)を特定し、それらの対応関係に基づいて、LiDAR装置1の姿勢および位置、すなわち外部パラメータを算出する。算出された外部パラメータは、画像取得部110における画像処理にて利用されてもよいし、他のECUにおける距離画像または背景光画像を用いた処理に利用されてもよい。
次に、機能ブロックの共同により、画像処理装置100が実行する測距制御方法のフローを、図6に従って以下に説明する。なお、後述するフローにおいて「S」とは、プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。
まずS110では、モード判定部120が、車両Aが校正エリアに進入したか否かを判定する。校正エリアに進入したと判定された場合には、S115にて、モード判定部120が、車両Aが停車したか否かを判定する。
S110にて校正エリアに進入していないと判定された場合、またはS115にて車両Aが停車していないと判定された場合には、本フローがS130へと移行する。S130では、モード決定部130が、測距モードを通常測距モードに決定する。具体的には、直前の測距モードが校正モードであった場合、S130では、通常測距モードへの切替指令が送信される。そして、直前の測距モードが通常測距モードであった場合、S130では、測距モードが維持される。
一方で、S115にて車両Aが停車していると判定された場合には、本フローがS140へと移行する。S140では、モード決定部130が、測距モードを校正モードに決定する。具体的には、直前の測距モードが通常測距モードであった場合、S140では、測距モードへの切替指令が送信される。そして、直前の測距モードが校正モードであった場合、S140では、測距モードが維持される。
次に、S150では、画像取得部110が、距離画像および背景光画像を取得する。続くS160では、校正部140が、距離画像および背景光画像に基づき、LiDAR装置1の姿勢および位置を算出する。
なお、上述のS110,S115が「判定プロセス」、S140が「モード実行プロセス」の一例である。また、S160が「校正プロセス」の一例である。
以上の第1実施形態によれば、校正を実行可能な実行条件が成立したと判定された場合に、スキャン光のスキャン速度が遅くする校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、1画素あたりのデータ収集時間が長くなるため、情報量を通常測距モード時よりも増やすことができる。これにより、より精度の高い測距が実現できるため、測距結果を基づき算出する外部パラメータの計算精度や校正の精度を向上することが可能となる。したがって、校正が実行可能な状況下にて校正に適したLiDAR装置1の制御が実行され得る。以上により、状況に応じた測距制御が可能となり得る。さらに、データ収集時間が長くなるため、背景光のデータ量も増加し、ハイダイナミックレンジを広げることが可能となる。故に、キャリブレーションを実施可能な状況が多くなり得る。
また、第1実施形態によれば、校正モードの実行が許可された校正エリアに車両Aが進入した場合に、実行条件が成立していると判定する。これによれば、校正エリアにLiDAR装置1を搭載した車両Aが進入した場合に、確実に校正が実行され得る。
(第2実施形態)
第2実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図7において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第2実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図7において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第2実施形態において、モード決定部130は、通常測距モードと校正モードとで、スキャン速度に加えて距離画像における1画素あたりの距離情報を得るための受光素子の数を変更させる。具体的には、モード決定部130は、通常測距モードの場合よりも、校正モードのスキャン速度を遅くするとともに、1画素を構成する受光素子の数を、小さくする。これにより、校正モードにおける1つの画素(校正画素)の大きさが、通常測距モードにおける1つの画素(通常画素)の大きさが小さくなる。例えば、モード決定部130は、1つの校正画素における1スキャンでの受光回数が、1つの通常画素における1スキャンでの受光回数と同等以上になるように、校正画素の大きさを規定する。
一例として、モード決定部130は、図7に示すように、1画素あたりの受光回数が、校正モードと通常測距モードで同数(図7では3回)になるように校正モード時の受光素子の数を設定している。具体的には、モード決定部130は、通常モードのスキャン速度が10Hz、校正モードのスキャン速度が1Hzである場合に、校正画素の大きさを通常画素の半分としている。これにより、前述したように受光素子の数を小さくすることで、より高い角度分解能の距離画像が取得可能となる。なお、図7における画素内の黒点は、各画素における距離情報を三次元座標に変換する際の注目点を示している。
以上の第2実施形態によれば、校正モードにおいて、受光素子の数を小さくすることで減る1画素あたりの情報量を、スキャン速度を遅くすることにより通常測距モードの1画素と同程度にすることが可能となる。これにより、情報量を維持しつつ、受光素子の数を小さくすることができるため、通常測距モードよりも高い角度分解能の距離画像を取得できる。高い角度分解能の距離画像が得られると、特徴点の三次元座標がより高精度で得られるため、外部パラメータの計算精度や校正の精度を向上することが可能となる。
(第3実施形態)
第3実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図8において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第3実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図8において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第3実施形態において、モード決定部130は、通常測距モードと校正モードとで、反射点までの距離の分解能を変更させる。具体的には、モード決定部130は、校正モードにおいて、受光部12の受光周波数を変更させることにより、ヒストグラムの1ビンが対応する距離の分解能を高くさせる。すなわち、モード決定部130は、校正モードの受光周波数を、通常測距モードの受光周波数よりも大きくする。例えば、モード決定部130は、校正モードにおける分解能が、通常測距モードの3倍となるように受光周波数を調整させる。換言すれば、校正モードにおける1ビンの距離範囲が、通常測距モードの3分の1となる。
このとき、モード決定部130は、校正モードの検出距離を、通常測距モードよりも小さくしてよい。具体的には、モード決定部130は、通常測距モードの検出距離を分解能の倍数の逆数倍したものを、校正モードの検出距離とする。検出距離の制限により、モード決定部130は、校正モードにおける距離画像のデータ量の増大を抑制する。
以上の第3実施形態によれば、校正を実行可能な実行条件が成立したと判定された場合に、反射点までの距離の分解能が高くなる校正モードが実行され、当該校正モードにおける測距結果に基づいて校正が実行される。故に、校正モードにより、測距時の距離精度が向上できるため、測距結果を基づき実施する外部パラメータの計算精度や校正の精度を向上することが可能となる。したがって、校正が実行可能な状況下にて校正に適したLiDAR装置1の制御が実行され得る。以上により、状況に応じて測距装置を制御することが可能となり得る。
なお、モード決定部130は、校正モードにおいて距離の分解能を高くさせることに加えて、スキャン光のスキャン速度を遅くしてもよい。換言すれば、校正モードは、反射点までの距離の分解能を高くすることとスキャン光のスキャン速度を通常測距モードよりも遅くすることの両方を含んでいてもよい。これにより、より正確な校正が可能となり得る。
(第4実施形態)
第4実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図9において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第4実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図9において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第4実施形態において、モード判定部120は、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定する。モード判定部120は、通常測距モードにて取得された画像情報に基づき、校正ターゲットCTが存在するか否かを判定すればよい。例えば、モード判定部120は、距離画像または背景光画像から、予め規定された校正ターゲットCTの識別マーカの有無を、画像処理により判定すればよい。
モード決定部130は、センシング領域のうち、校正ターゲットCTを含む特定範囲について、校正モードでの測距を決定する。例えば、モード決定部130は、検出された識別マーカの位置から想定される方位範囲を、特定範囲とすればよい。第4実施形態において、モード決定部130は、特定範囲に関する情報を、切替指令とともに制御回路14へと送信する。校正部140は、特定範囲における画像情報に基づいて、校正を実行する。
次に、第4実施形態において画像処理装置100が実行する測距制御方法について、図9のフローチャートに従って以下に説明する。
まず、S100では、画像取得部110が通常測距モードにて生成された画像情報を取得する。次に、S120では、モード判定部120が、校正ターゲットCTの検出有無を判定する。校正ターゲットCTを検出しないと判定されると、本フローがS130へと移行する。一方で、校正ターゲットCTを検出したと判定されると、本フローがS145へと移行する。S145では、モード決定部130が、スキャン中に校正ターゲットCTを含む特定範囲についてのみ校正モードの実行を決定する。その後、本フローがS150,S160へと移行する。
以上の第4実施形態によれば、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定される。そして、校正モードによる測距範囲が、校正ターゲットCTを含む測距エリア内の特定範囲に限定される。故に、校正に利用可能な校正ターゲットCTが存在する場合に確実に校正が実行され得、且つ測距範囲の限定によりデータ量が低減され得る。
(第5実施形態)
第5実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図10において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第5実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図10において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第5実施形態において、モード判定部120は、通常測距モードにて取得された画像情報に基づき、許容距離範囲内に規定数以上の反射点が存在するか否かを判定する。ここで、許容距離範囲は、反射点までの距離に関する閾値以下、または当該閾値未満となる距離範囲である。一例として、閾値は30mとすればよい。また、一例として、規定数は全反射点の80%とすればよい。
次に、第5実施形態において画像処理装置100が実行する測距制御方法について、図10のフローチャートに従って以下に説明する。なお、第1実施形態または第2実施形態のフローと同じ符号を付したステップについては、対応する実施形態における説明を援用する。
S100にて画像取得部110が通常測距モードにて生成された画像情報を取得すると、本フローがS125へと移行する。S125では、モード判定部120が、許容距離範囲内に規定数の反射点が存在するか否かを判定する。規定数の反射点が存在しないと判定されると、本フローがS130へと移行する。一方で、規定数の反射点が存在すると判定されると、本フローがS140へと移行し、S150,S160へと続く。
以上の第5実施形態によれば、車両Aからの距離が許容距離範囲内となる反射点の点数が所定数を上回る場合に、実行条件が成立していると判定される。故に、比較的近い距離に校正ターゲットCTが多く存在する状況、すなわち校正に適した状況が検知され、当該状況において確実に校正が実行され得る。
(第6実施形態)
第6実施形態では、第4実施形態における画像処理装置100の変形例について説明する。図11において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第6実施形態では、第4実施形態における画像処理装置100の変形例について説明する。図11において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第6実施形態において、モード判定部120は、予め規定された校正ターゲットCTが測距エリア内に存在する場合に、実行条件が成立していると判定する。モード判定部120は、通常測距モードにて取得された画像情報に基づき、校正ターゲットCTが存在するか否かを判定すればよい。例えば、モード判定部120は、距離画像または背景光画像から、予め規定された校正ターゲットCTの識別マーカの有無を、画像処理により判定すればよい。
モード決定部130は、センシング領域のうち、校正ターゲットCTを含む特定範囲について、校正モードでの測距を決定する。モード決定部130は、校正モードでのスキャン周期(以下、校正周期)が、通常測距モードでのスキャン周期(通常周期)を含む許容周期範囲内に収まるように、特定範囲の大きさおよびスキャン速度の少なくとも1つを設定する。許容周期範囲は、例えば、校正周期が所定の閾値以上または当該閾値を上回る範囲である。この場合、閾値は、通常周期以下の値となる。閾値は、通常周期との差が小さいほど望ましい。
一例として、モード決定部130は、校正周期が通常周期と実質同等となるように設定する。換言すれば、モード決定部130は、校正周期を通常周期と同じスキャン周期に維持する。モード決定部130は、校正モードでのスキャン速度が予め規定されている場合、通常周期とスキャン速度とに基づいて特定範囲の大きさを決定する。例えば通常周期が10Hzで且つスキャン速度が通常モードの10分の1と規定されている場合、モード決定部130は、特定範囲の大きさを、センシング領域の10分の1に設定する。または、モード決定部130は、予め設定された特定範囲の大きさに基づいて、スキャン速度を設定してもよい。
次に、第6実施形態において画像処理装置100が実行する測距制御方法について、図11のフローチャートに従って以下に説明する。
S120にて校正ターゲットCTを検出したと判定されると、本フローがS146へと移行する。S146では、モード決定部130が、校正ターゲットCTを含む特定範囲について、校正周期を通常周期と同じスキャン周期に維持した状態での校正モードの実行を決定する。その後、本フローがS150,S160へと移行する。
以上の第6実施形態によれば、校正モードによる測距範囲が校正ターゲットCTを含む測距エリア内の特定範囲に限定される場合、通常周期を含む許容周期範囲内に収まるように、特定範囲の大きさおよびスキャン速度の少なくとも一方が設定される。故に、校正周期が遅くなることを抑制可能となる。特に、校正周期が通常周期と同等以上となるように設定されることで、校正モードによる測距を通常測距モードによる測距と同等以上の速さで完了可能となり得る。
(第7実施形態)
第7実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図12,13において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第7実施形態では、第1実施形態における画像処理装置100の変形例について説明する。図12,13において第1実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。
第7実施形態において、画像処理装置100は、情報提示系60および通信系70と通信可能に接続されている。
情報提示系60は、車両Aの乗員へ向けた報知情報を提示する車内提示ユニット61を含む。車内提示ユニット61は、乗員の視覚を刺激することで、報知情報を提示してもよい。視覚刺激タイプの情報提示系60は、例えばHUD(Head-Up Display)、MFD(Multi-Function Display)、コンビネーションメータ、ナビゲーションユニット、および発光ユニット等のうち、少なくとも一種類である。車内提示ユニット61は、乗員の聴覚を刺激することで、報知情報を提示してもよい。聴覚刺激タイプの情報提示系60は、例えばスピーカ、ブザー、およびバイブレーションユニット等のうち、少なくとも一種類である。車内提示ユニット61は、乗員の皮膚感覚を刺激することで、報知情報を提示してもよい。皮膚感覚刺激タイプの車内提示ユニット61により刺激される皮膚感覚には、例えば触覚、温度覚、および風覚等のうち、少なくとも一種類が含まれる。皮膚感覚刺激タイプの車内提示ユニット61は、例えばステアリングホイールのバイブレーションユニット、運転席のバイブレーションユニット、ステアリングホイールの反力ユニット、アクセルペダルの反力ユニット、ブレーキペダルの反力ユニット、および空調ユニット等のうち、少なくとも一種類である。
情報提示系60は、車両Aの周辺人物へ向けた報知情報を提示する車外提示ユニット62を含む。車外提示ユニット62は、例えば、視覚刺激タイプのものおよび聴覚刺激タイプのもののうち少なくとも一方を含む。視覚刺激タイプの車外提示ユニット62は、例えば、表示灯、および車外ディスプレイ等の少なくとも一種類である。聴覚刺激タイプの車外提示ユニット62は、例えば、スピーカ、ブザー等のうち少なくとも一種類である。
通信系70は、所定の通信情報を、無線通信により送受信する。例えば、通信系70は、車両Aの外界に存在するV2Xシステムとの間において、通信信号を送受信してもよい。V2Xタイプの通信系70は、例えばDSRC(Dedicated Short Range Communications)通信機、およびセルラV2X(C-V2X)通信機等のうち、少なくとも一種類である。通信系70により、車両Aは、センタCと通信可能となる。センタCは、自動運転可能な車両Aの運行を管制制御するサーバ装置を少なくとも有する構成である。通信系70は、センタC等の外部へと通信情報を送信することで外部に対する通知を行う構成である。
車内提示ユニット61および車外提示ユニット62等の情報提示系60、および通信系70は、それぞれ「通知装置」の一例である。
第7実施形態において、画像処理装置100は、機能部としてさらに通知部150を構築する。通知部150は、校正モードの実行に関連する通知(校正通知)を、車内提示ユニット61、車外提示ユニット62、および通信系70の少なくとも1つに実行させる。校正通知は、例えば、通常測距モードと校正モードとの間で、測距モードの切り替えが実行されることを提示するものとされる。換言すれば、校正通知は、校正モードの開始および校正モードの終了を提示するものとされる。
車内提示ユニット61および車外提示ユニット62に校正通知を実行させる場合、通知部150は、校正モードが実行中であることを示すメッセージおよびアイコン等の表示を、校正モードの実行中に実行させてもよい。または、通知部150は、校正モードが実行中であることを示す表示灯の点灯滅等を校正モードの実行中に実行させてもよい。または、通知部150は、校正モードが実行中であることを示すアナウンスおよび通知音等の出力を校正モードの実行中に実行させてもよい。車内提示ユニット61に校正通知を実行させることで、通知部150は、車両Aの乗員を通知対象とした校正通知を実現する。車外提示ユニット62に校正通知を実行させることで、通知部150は、車両Aの周辺人物を通知対象とした校正通知を実現する。
通信系70に校正通知を実行させる場合、通知部150は、校正モードが実行中であることを示す情報をセンタCへと送信させる。例えば、通知部150は、送信データのパケット内に含まれる現在の測距モードを示すIDを、校正モードを示すIDへと切り替えることで、校正通知を実行させる。これにより、通知部150は、センタCのサーバ装置またはセンタCのオペレータを通知対象とした校正通知を実現する。
次に、第7実施形態において画像処理装置100が実行する測距制御方法について、図13のフローチャートに従って以下に説明する。
S115にて車両Aが停車していると判定された場合、本フローがS139へと移行する。S139では、通知部150が、校正通知を実行させる。すなわち、直前の測距モードが通常測距モードであった場合、通知部150は、校正通知を開始させ、直前の測距モードが校正モードであった場合、通知部150は、校正通知の実行を継続させる。S139の処理を実行すると、本フローがS140へと移行する。
また、S110にて校正エリアに進入していないまたはS115にて車両Aが停車していないと判定された場合には、本フローがS129へと移行する。S129では、通知部150が、校正通知の終了処理を実行させる。すなわち、直前の測距モードが通常測距モードであった場合、通知部150は、校正通知の実行を終了させる。S129の処理を実行すると、本フローがS130へと移行する。以上において、S129およびS139が、「通知プロセス」の一例である。
以上の第7実施形態によれば、校正モードの実行に関連する通知が実行される。故に、LiDAR装置1にて校正モードが実行されることを、車両Aの乗員および周辺人物、オペレータ等の通知対象が把握可能となり得る。また、これにより当該通知対象は、校正モードおよび通常測距モードのうち現在の測距モードを把握可能となり得る。
(他の実施形態)
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
上述の実施形態において、測距制御装置を構成する専用コンピュータは、画像処理装置100であるとした。これに代えて、測距制御装置を構成する専用コンピュータは、LiDAR装置1の制御回路14であってもよい(図14参照)。または、測距制御装置を構成する専用コンピュータは、車両Aに搭載された運転制御ECUであってもよいし、車両Aの走行アクチュエータを個別制御するアクチュエータECUであってもよい。または、画像処理装置100を構成する専用コンピュータは、ロケータECUであってもよいし、ナビゲーションECUであってもよい。または、画像処理装置100を構成する専用コンピュータは、情報表示系の情報表示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。また、測距制御装置を構成する専用コンピュータは、車両Aの外部に設けられたサーバ装置であってもよい。
上述の第1から第7実施形態において、モード判定部120が成立有無を判定する実行条件についてそれぞれ説明した。実施形態の変形例として、モード判定部120は、複数の実行条件のうち少なくとも2つ以上について成立有無を判定してもよい。この場合、モード決定部130は、複数の実行条件のうち少なくとも1つが成立した場合に、校正モードの実行を決定すればよい。または、モード決定部130は、複数の実行条件の少なくとも2つ、または判定された全ての実行条件が成立した場合にのみ校正モードの実行を決定してもよい。
上述の第1実施形態において、モード判定部120は、車両Aが校正エリアに進入し、且つ停車した場合に校正モードの実行判定を下すとした。これに代えて、モード判定部120は、校正エリアに進入したと判定した場合に、車両Aが停車中か否かに関わらず校正モードの実行判定を下してよい。
上述の実施形態において、校正ターゲットCTは、予め設けられた校正スペースに設置されたものであるとした。これに代えて、校正ターゲットCTは、走行環境に存在する特定の地物であってもよい。地物には、例えば、道路標識、道路標示、建造物(柱等)が含まれる。この場合、画像処理装置100は、車載カメラ等の他センサにて検出された校正ターゲットCTの特徴点情報を取得すればよい。または、画像処理装置100は、三次元地図から校正ターゲットCTとしての地物に関する特徴点情報を取得してもよい。
上述の第7実施形態において、通知部150は、校正通知として、校正モードと通常測距モードとの切り替えを示す情報提示を通知させるとしたが、これ以外の情報提示が校正通知に含まれていてもよい。例えば、車外提示ユニット62にて測距モードの切り替えを示す情報提示を実行させる場合、通知部150は、車内提示ユニット61に実行させる校正通知として、周辺人物へ測距モードの切り替えを通知していることを示す情報提示を実行させてもよい。これによって、乗員は、校正モードの実行が周辺人物へと通知されていることを把握可能となる。故に、乗員の校正モード実行に対する不安が低減され得る。
画像処理装置100は、デジタル回路およびアナログ回路のうち少なくとも一方をプロセッサ102として含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、およびCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
画像処理装置100は、1つのコンピュータ、またはデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態における画像処理装置100の提供する機能の一部は、他のECUまたはサーバ装置によって実現されてもよい。
Claims (22)
- プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御する測距制御装置であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行部(130)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正部(140)と、
を備える測距制御装置。 - プロセッサ(102)を有し、移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御する測距制御装置であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行部(130)と、
前記校正モードにおける前記測距装置の測距結果に基づき、前記校正を実行する校正部(140)と、
を備える測距制御装置。 - 前記校正モードは、前記スキャン光のスキャン速度を前記通常測距モードよりも遅くすることを含む請求項2に記載の測距制御装置。
- 前記判定部は、前記校正モードの実行が許可された校正エリアに前記移動体が進入した場合に、前記実行条件が成立していると判定する請求項1から請求項3のいずれか1項に記載の測距制御装置。
- 前記判定部は、予め規定された校正ターゲット(CT)が測距エリア内に存在する場合に、前記実行条件が成立していると判定し、
前記モード実行部は、前記校正モードによる測距範囲を、前記校正ターゲットを含む前記測距エリア内の特定範囲に限定させる請求項1から請求項4のいずれか1項に記載の測距制御装置。 - 前記モード実行部は、前記校正モードにおけるスキャン周期が、前記通常測距モードにおける前記スキャン周期を含む許容周期範囲内に収まるように、前記特定範囲の大きさおよび前記スキャン光のスキャン速度の少なくとも一方を設定する請求項5に記載の測距制御装置。
- 前記判定部は、前記移動体からの距離が許容距離範囲内となる前記反射点の点数が所定数を上回る場合に、前記実行条件が成立していると判定する請求項1から請求項6のいずれか1項に記載の測距制御装置。
- 前記測距装置は、複数の受光素子により前記反射光を検出することで、複数の前記受光素子を含み構成される画素ごとに距離情報を有する、距離画像を取得可能であって、
前記モード実行部は、前記校正モードにおいて1画素あたりの前記距離情報を取得するための前記受光素子の数を前記通常測距モードよりも小さくさせる請求項1から請求項7のいずれか1項に記載の測距制御装置。 - 前記校正モードの実行に関連する通知を通知装置(60,70)に実行させる通知部(150)を、さらに備える請求項1から請求項8のいずれか1項に記載の測距制御装置。
- 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正プロセス(S160)と、
を含む測距制御方法。 - 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)により実行される測距制御方法であって、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定する判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行する校正プロセス(S160)と、
を含む測距制御方法。 - 前記校正モードは、前記スキャン光のスキャン速度を前記通常測距モードよりも遅くすることを含む請求項11に記載の測距制御方法。
- 前記判定プロセスでは、前記校正モードの実行が許可された校正エリアに前記移動体が進入した場合に、前記実行条件が成立していると判定する請求項10から請求項12のいずれか1項に記載の測距制御方法。
- 前記判定プロセスでは、予め規定された校正ターゲット(CT)が測距エリア内に存在する場合に、前記実行条件が成立していると判定し、
前記モード実行プロセスでは、前記校正モードによる測距範囲を、前記校正ターゲットを含む前記測距エリア内の特定範囲に限定させる請求項10から請求項13のいずれか1項に記載の測距制御方法。 - 前記モード実行プロセスでは、前記校正モードにおけるスキャン周期が、前記通常測距モードにおける前記スキャン周期を含む許容周期範囲内に収まるように、前記特定範囲の大きさおよび前記スキャン光のスキャン速度の少なくとも一方を設定する請求項14に記載の測距制御方法。
- 前記判定プロセスでは、前記移動体からの距離が許容距離範囲内となる前記反射点の点数が所定数を上回る場合に、前記実行条件が成立していると判定する請求項10から請求項15のいずれか1項に記載の測距制御方法。
- 前記測距装置は、複数の受光素子により前記反射光を検出することで、複数の前記受光素子を含み構成される画素ごとに距離情報を有する、距離画像を取得可能であって、
前記モード実行プロセスでは、前記校正モードにおいて1画素あたりの前記距離情報を取得するための前記受光素子の数を前記通常測距モードよりも小さくさせる請求項10から請求項16のいずれか1項に記載の測距制御方法。 - 前記校正モードの実行に関連する通知を通知装置(60,70)に実行させる通知プロセス(S129,S139)を、さらに含む請求項10から請求項17のいずれか1項に記載の測距制御方法。
- 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
前記命令は、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行させる校正プロセス(S160)と、
を含む測距制御プログラム。 - 移動体(A)に搭載されてスキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置を制御するために、プロセッサ(102)に実行させる命令を含む測距制御プログラムであって、
前記命令は、
前記測距装置の校正を実行可能な実行条件が成立しているか否かを判定させる判定プロセス(S110,S115;S120;S125)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に前記測距装置にて実行される通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを前記測距装置に実行させるモード実行プロセス(S140;S145;S146)と、
前記校正モードにおける前記測距装置の測距結果に基づき前記校正を実行させる校正プロセス(S160)と、
を含む測距制御プログラム。 - プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に実行する通常測距モードよりも前記スキャン光のスキャン速度を遅くする校正モードを実行するモード実行部(130)と、
前記校正モードにおける測距結果に基づき前記校正を実行する校正部(140)と、
を備える測距装置。 - プロセッサ(102)を有し、移動体(A)に搭載可能に構成され、スキャン光の照射に対する反射点からの反射光を検出することで前記反射点までの距離を測定する測距装置であって、
校正を実行可能な実行条件が成立しているか否かを判定する判定部(120)と、
前記実行条件が成立していると判定された場合に、前記実行条件が成立していないと判定された場合に実行する通常測距モードよりも前記反射点までの距離の分解能を高くする校正モードを実行するモード実行部(130)と、
前記校正モードにおける測距結果に基づき、前記校正を実行する校正部(140)と、
を備える測距装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280021398.XA CN116997817A (zh) | 2021-03-16 | 2022-02-09 | 测距控制装置、测距控制方法、测距控制程序及测距装置 |
US18/455,733 US20230400561A1 (en) | 2021-03-16 | 2023-08-25 | Ranging controller, ranging control method, ranging device, and non-transitory computer readable storage medium |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021042724 | 2021-03-16 | ||
JP2021-042724 | 2021-03-16 | ||
JP2022-005954 | 2022-01-18 | ||
JP2022005954A JP7396379B2 (ja) | 2021-03-16 | 2022-01-18 | 測距制御装置、測距制御方法、測距制御プログラム、および測距装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/455,733 Continuation US20230400561A1 (en) | 2021-03-16 | 2023-08-25 | Ranging controller, ranging control method, ranging device, and non-transitory computer readable storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022196195A1 true WO2022196195A1 (ja) | 2022-09-22 |
Family
ID=83322262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/005112 WO2022196195A1 (ja) | 2021-03-16 | 2022-02-09 | 測距制御装置、測距制御方法、測距制御プログラム、および測距装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230400561A1 (ja) |
WO (1) | WO2022196195A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016516977A (ja) * | 2013-02-21 | 2016-06-09 | アイシス・イノベーション・リミテッドIsis Innovation Limited | 環境の3dモデルの生成 |
US20180284245A1 (en) * | 2017-03-30 | 2018-10-04 | Luminar Technologies, Inc. | Lidar receiver calibration |
JP2020515950A (ja) * | 2017-03-31 | 2020-05-28 | エイ・キューブド・バイ・エアバス・エル・エル・シー | 乗り物センサを較正するためのシステムおよび方法 |
WO2020203657A1 (ja) * | 2019-04-04 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
-
2022
- 2022-02-09 WO PCT/JP2022/005112 patent/WO2022196195A1/ja active Application Filing
-
2023
- 2023-08-25 US US18/455,733 patent/US20230400561A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016516977A (ja) * | 2013-02-21 | 2016-06-09 | アイシス・イノベーション・リミテッドIsis Innovation Limited | 環境の3dモデルの生成 |
US20180284245A1 (en) * | 2017-03-30 | 2018-10-04 | Luminar Technologies, Inc. | Lidar receiver calibration |
JP2020515950A (ja) * | 2017-03-31 | 2020-05-28 | エイ・キューブド・バイ・エアバス・エル・エル・シー | 乗り物センサを較正するためのシステムおよび方法 |
WO2020203657A1 (ja) * | 2019-04-04 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230400561A1 (en) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11450026B2 (en) | Information processing apparatus, information processing method, and mobile object | |
WO2016147547A1 (ja) | 画像生成装置 | |
US11287879B2 (en) | Display control device, display control method, and program for display based on travel conditions | |
US20220036043A1 (en) | Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object | |
CN113646804B (zh) | 物体检测装置 | |
JP2007304033A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
US11535243B2 (en) | Remote parking system | |
JP2010185761A (ja) | ナビゲーションシステム、道路地図表示方法 | |
US20210089020A1 (en) | Remote parking system | |
JP2006279752A (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
JP2007140674A (ja) | 死角情報提供装置 | |
CN113646201A (zh) | 车辆用显示控制装置、车辆用显示控制方法、车辆用显示控制程序 | |
WO2022196195A1 (ja) | 測距制御装置、測距制御方法、測距制御プログラム、および測距装置 | |
JP7396379B2 (ja) | 測距制御装置、測距制御方法、測距制御プログラム、および測距装置 | |
JP2019046147A (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
JP2009230345A (ja) | 車両用物体検知装置 | |
JP6967846B2 (ja) | 物体検出方法及び物体検出装置 | |
CN116997817A (zh) | 测距控制装置、测距控制方法、测距控制程序及测距装置 | |
US11763675B2 (en) | Information processing apparatus and information processing method | |
WO2024195323A1 (ja) | 発光装置、及び測距システム | |
JP7574782B2 (ja) | 制御装置、制御方法、制御プログラム | |
JP2018167834A (ja) | 画像生成装置 | |
WO2023190279A1 (ja) | 測距装置 | |
US20240272285A1 (en) | Light source control device, light source control method, and distance measuring device | |
WO2024203104A1 (ja) | 制御装置、測距装置および制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22770954 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280021398.X Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22770954 Country of ref document: EP Kind code of ref document: A1 |