JP6675448B2 - 車両位置検出方法及び装置 - Google Patents
車両位置検出方法及び装置 Download PDFInfo
- Publication number
- JP6675448B2 JP6675448B2 JP2018146866A JP2018146866A JP6675448B2 JP 6675448 B2 JP6675448 B2 JP 6675448B2 JP 2018146866 A JP2018146866 A JP 2018146866A JP 2018146866 A JP2018146866 A JP 2018146866A JP 6675448 B2 JP6675448 B2 JP 6675448B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- real
- image
- vehicle
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000006243 chemical reaction Methods 0.000 claims description 77
- 230000003287 optical effect Effects 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 28
- 238000010276 construction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角である。
対応するように、前記プリセット角度が前記第1の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第2の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する2次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する2次元座標系であり、
前記した前記現実画像に応じて仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含んでもよい。
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含んでもよい。
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを、含んでもよい。
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記した前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像に車輪を検出することを含んでもよい。
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
前記した変換された現実車輪領域を取得した後に、
変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得することをさらに含んでもよい。
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含んでもよい。
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含んでもよい。
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向に所定の角度だけ回転された視角である。
対応するように、前記プリセット角度が前記第1の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第2の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する2次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する2次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換してもよい。
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である現実装置座標系との間の座標変換関係を構築するための第1の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第2の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第3の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である仮想装置座標系との間の座標変換関係を構築するための第4の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第5の構築サブユニットとを含んでもよい。
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出してもよい。
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含んでもよい。
フュージョンされた実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させることを特徴とする。
図1を参照して、本実施例が提供する車両位置検出方法のフロー模式図であり、当該車両位置検出方法は、以下のステップを含んでいる。
ここで、目標車両の左側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の左側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、左側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該左側前方車両を正確に認識できず、ひいては、当該左側前方車両の位置情報を確定できない。
なお、目標車両の右側前方に車両が走行していると、画像採集装置が固定視角で前方領域を撮像した現実画像について、固定視角は前向きの視角であるので、当該現実画像に目標車両の右側前方領域の物体が含まれるが、撮像の視角によって、当該現実画像は、例えば、車輪のような代表的特徴を捕捉できない又は明瞭に捕捉できないなど、右側前方車両の有効な特徴を捕捉できない可能性があり、これにより、当該右側前方車両を正確に認識できず、ひいては、当該右側前方車両の位置情報を確定できない。
本実施例は、第一実施例におけるステップS102の具体的な実現形態について紹介し、具体的には、どのように目標車両の左側前方車両の位置情報を検出するかについて紹介する。
本実施例では、第1の実施例のステップS102の具体的実現形態について紹介し、具体的には、どのように目標車両の右側前方車両の位置情報を検出するかのことについて紹介する。
図11を参照して、本実施例が提供する車両位置検出装置の構成模式図であり、当該装置は、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニット1101と、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニット1102と、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニット1103とを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向で所定の角度だけ回転された視角である。
それに対応して、前記プリセット角度が前記第1の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第2の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であってもよい。
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する2次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する2次元座標系であり、
前記仮想画像生成ユニット1102は、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換するために用いられてもよい。
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である現実装置座標系との間の座標変換関係を構築するための第1の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第2の構築サブユニットと、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第3の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である仮想装置座標系との間の座標変換関係を構築するための第4の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第5の構築サブユニットとを含む。
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含んでもよい。
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出するために用いられてもよい。
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニット1103は、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含んでもよい。
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含む。
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含んでもよい。
前記プロセッサー及び前記メモリは前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーに実行される場合に前記プロセッサーに上記車両位置検出方法のいずれかの実現方法を実行させる。
Claims (15)
- 車両位置検出方法であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した、現実画像を取得し、
前記現実画像に応じて仮想画像を生成し、前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定する、ことを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角であり、
前記方法は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築することをさらに含み、前記現実平面座標系は、前記固定視角でのイメージング平面に対応する2次元座標系であり、前記仮想平面座標系は、前記プリセット視角でのイメージング平面に対応する2次元座標系であり、
前記現実画像に応じて前記仮想画像を生成することは、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換することを含み、
現実平面座標系と、仮想平面座標系との間の座標変換関係を構築することは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である現実装置座標系との間の座標変換関係を構築し、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築し、
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築し、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である仮想装置座標系との間の座標変換関係を構築し、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築する、ことを含み、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定することは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得し、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得し、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得することを含むことを特徴とする、
方法。 - 前記プリセット角度は第1の角度又は第2の角度であり、第1の視角は前記固定視角が水平方向に反時計回りに前記第1の角度だけ回転された視角であり、第2の視角は前記固定視角が水平方向に時計回りに前記第2の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第1の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第2の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項1に記載の方法。 - 前記方法は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを得ることをさらに含み、
前記仮想画像で車輪を検出することは、
前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを含むことを特徴とする請求項1に記載の方法。 - 前記方法は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得することをさらに含み、
変換された前記現実車輪領域を取得した後に、
変換された前記現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた前記現実車輪領域を取得することをさらに含むことを特徴とする請求項1に記載の方法。 - 現時点での前記現実車輪領域を取得することは、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行い、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得する、ことを含むことを特徴とする請求項4に記載の方法。 - フュージョンされた前記現実車輪領域を取得する後に、
前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得し、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去することをさらに含むことを特徴とする請求項4又は5に記載の方法。 - 車両位置検出装置であって、
目標車両に取り付けられた画像採集装置が前記目標車両の前方領域を撮像した現実画像を取得するための現実画像取得ユニットと、
前記現実画像に応じて仮想画像を生成するための仮想画像生成ユニットと、
前記仮想画像に応じて前記目標車両の側方車両の位置情報を確定するための車両位置確定ユニットとを含み、
前記現実画像は、前記画像採集装置が現時点に固定視角で撮像した画像であり、
前記仮想画像は、現時点で前記画像採集装置のプリセット視角での画像であり、前記プリセット視角は前記固定視角が水平方向にプリセット角度だけ回転された視角であり、
前記装置は、
現実平面座標系と仮想平面座標系との間の座標変換関係を構築するための変換関係構築ユニットをさらに含み、前記現実平面座標系は前記固定視角でのイメージング平面に対応する2次元座標系であり、前記仮想平面座標系は前記プリセット視角でのイメージング平面に対応する2次元座標系であり、
前記仮想画像生成ユニットは、具体的に、前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記現実画像を仮想画像へ変換し、
前記変換関係構築ユニットは、
前記現実平面座標系と、前記画像採集装置が前記固定視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である現実装置座標系との間の座標変換関係を構築するための第1の構築サブユニットと、
前記現実装置座標系と、前記画像採集装置が前記固定視角に対応する場合に構築された世界座標系である現実世界座標系との間の座標変換関係を構築するための第2の構築サブユニットと
前記現実世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に構築された世界座標系である仮想世界座標系との間の座標変換関係を構築するための第3の構築サブユニットと、
前記仮想世界座標系と、前記画像採集装置が前記プリセット視角に対応する場合に前記画像採集装置に対して構築された3次元座標系である仮想装置座標系との間の座標変換関係を構築するための第4の構築サブユニットと、
前記仮想装置座標系と前記仮想平面座標系との間の座標変換関係を構築するための第5の構築サブユニットとを含み、
前記車両位置確定ユニットは、
前記仮想画像で車輪を検出して、仮想車輪領域を取得するための仮想車輪検出サブユニットと、
前記現実平面座標系と前記仮想平面座標系との間の座標変換関係に応じて、前記仮想車輪領域を前記現実平面座標系に変換することで、変換された現実車輪領域を取得するための現実車輪取得サブユニットと、
前記現実平面座標系と前記現実世界座標系との間の座標変換関係に応じて、前記現実車輪領域を前記現実世界座標系に変換することで、前記目標車両の側方車両車輪の位置情報を取得するための車輪位置確定サブユニットとを含むことを特徴とする
装置。 - 前記プリセット角度は第1の角度又は第2の角度であり、第1の視角は前記固定視角が水平方向に反時計回りに前記第1の角度だけ回転された視角であり、第2の視角は前記固定視角が水平方向に時計回りに前記第2の角度だけ回転された視角であり、
対応するように、前記プリセット角度が前記第1の角度であると、前記目標車両の側方車両は前記目標車両の左側車両であり、前記プリセット角度が前記第2の角度であると、前記目標車両の側方車両は前記目標車両の右側車両であることを特徴とする請求項7に記載の装置。 - 前記装置は、
大量の車両サンプル画像中の車輪特徴に対して学習を行うことで、車輪を認識するための車輪認識モデルを取得するための認識モデル作成ユニットをさらに含み、
前記仮想車輪検出サブユニットは、具体的に、前記車輪認識モデルを利用して、前記仮想画像で車輪を検出することを特徴とする請求項8に記載の装置。 - 前記装置は、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うことで、前記現時点での現実車輪領域を取得するためのオプティカルフロー追跡ユニットをさらに含み、
前記車両位置確定ユニットは、
変換された現実車輪領域を取得した後、変換された現実車輪領域とオプティカルフロー追跡された現実車輪領域とをフュージョンすることで、フュージョンされた現実車輪領域を取得するための車輪フュージョンサブユニットをさらに含むことを特徴とする請求項8に記載の装置。 - 前記オプティカルフロー追跡ユニットは、
前記目標車両の側方車両車輪に対してオプティカルフロー追跡を行うためのオプティカルフロー追跡サブユニットと、
前記現時点でのオプティカルフロー追跡画像に対してエッジ補完を行うためのエッジ補完サブユニットと、
補完されたオプティカルフロー追跡画像に応じて、前記側方車両車輪の現実車輪領域を取得するための領域取得サブユニットとを含むことを特徴とする請求項10に記載の装置。 - 前記車両位置確定ユニットは、
フュージョンされた現実車輪領域を取得した後、前記現時点よりも前の一つの歴史時点又は複数の連続歴史時点について、前記歴史時点に対応する最終的現実車輪領域を取得するための歴史車輪取得サブユニットと、
前記歴史時点に対応する最終的現実車輪領域に応じて、前記フュージョンされた現実車輪領域に非車輪領域があるかどうかを判断し、非車輪領域があれば、前記非車輪領域を除去するための領域除去サブユニットとをさらに含むことを特徴とする請求項10又は11に記載の装置。 - プロセッサー、メモリ、システムバスを含む車両位置検出装置であって、
前記プロセッサー及び前記メモリは、前記システムバスを介して互いに接続し、
前記メモリは、コマンドを含む一つ又は複数のプログラムを記憶するためのものであり、前記コマンドが前記プロセッサーによって実行される場合に前記プロセッサーに請求項1〜6のいずれか一項に記載の方法を実行させることを特徴とする車両位置検出装置。 - コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体にコマンドが記憶されており、前記コマンドが端末装置で実行される場合に、前記端末装置に請求項1〜6のいずれか一項に記載の方法を実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。 - コンピュータープログラム製品であって、
前記コンピュータープログラム製品が端末装置で実行される場合に、前記端末装置に請求項1〜6のいずれか一項に記載の方法を実行させることを特徴とするコンピュータープログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810438659.3 | 2018-05-09 | ||
CN201810438659.3A CN108647638B (zh) | 2018-05-09 | 2018-05-09 | 一种车辆位置检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019196164A JP2019196164A (ja) | 2019-11-14 |
JP6675448B2 true JP6675448B2 (ja) | 2020-04-01 |
Family
ID=63047113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018146866A Active JP6675448B2 (ja) | 2018-05-09 | 2018-08-03 | 車両位置検出方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10783657B2 (ja) |
EP (1) | EP3566903B1 (ja) |
JP (1) | JP6675448B2 (ja) |
CN (1) | CN108647638B (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059393A (zh) * | 2019-04-11 | 2019-07-26 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆的仿真测试方法、装置及系统 |
CN111860074B (zh) * | 2019-04-30 | 2024-04-12 | 北京市商汤科技开发有限公司 | 目标对象检测方法及装置、驾驶控制方法及装置 |
CN110363819B (zh) * | 2019-06-25 | 2023-03-03 | 华为技术有限公司 | 智能汽车中图像采集设备标定的方法和相关设备 |
CN110853366B (zh) * | 2019-11-20 | 2021-04-16 | 浙江大华技术股份有限公司 | 一种检测车辆停放位置方法及装置 |
CN111126336B (zh) * | 2019-12-31 | 2023-07-21 | 潍柴动力股份有限公司 | 样本采集方法、装置及设备 |
US20230085455A1 (en) * | 2020-02-20 | 2023-03-16 | Nippon Telegraph And Telephone Corporation | Vehicle condition estimation method, vehicle condition estimation device, and vehicle condition estimation program |
CN111753663B (zh) * | 2020-05-25 | 2023-12-12 | 上海欧菲智能车联科技有限公司 | 目标检测方法及装置 |
CN111898491B (zh) * | 2020-07-15 | 2024-06-04 | 上海高德威智能交通系统有限公司 | 一种车辆逆向行驶的识别方法、装置及电子设备 |
CN112037159B (zh) * | 2020-07-29 | 2023-06-23 | 中天智控科技控股股份有限公司 | 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 |
WO2022033652A1 (en) * | 2020-08-12 | 2022-02-17 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Device for and method of image signal processing in a vehicle |
JP2022048454A (ja) * | 2020-09-15 | 2022-03-28 | マツダ株式会社 | 車両用表示装置 |
CN112389459B (zh) * | 2020-10-16 | 2022-04-12 | 爱驰汽车(上海)有限公司 | 基于全景环视的人机交互方法及装置 |
CN112308899B (zh) * | 2020-11-09 | 2024-05-07 | 北京经纬恒润科技股份有限公司 | 一种挂车角度识别方法及装置 |
CN112686209B (zh) * | 2021-01-25 | 2024-07-02 | 深圳市艾为智能有限公司 | 基于车轮识别的车后盲区监测方法 |
CN113781796B (zh) * | 2021-08-18 | 2023-04-07 | 青岛图灵科技有限公司 | 基于视频虚拟线圈的车流量检测方法及装置 |
CN113538317B (zh) * | 2021-08-24 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
CN113824880B (zh) * | 2021-08-26 | 2023-05-19 | 国网浙江省电力有限公司双创中心 | 一种基于目标检测和uwb定位的车辆跟踪方法 |
CN113534214B (zh) * | 2021-09-09 | 2021-12-21 | 北斗天下卫星导航有限公司 | 一种车辆定位方法及装置 |
CN114399399B (zh) * | 2022-03-25 | 2022-07-12 | 青岛慧拓智能机器有限公司 | 矿区车辆的卸载停靠方法、装置、计算机设备及存储介质 |
CN114705121B (zh) * | 2022-03-29 | 2024-05-14 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
CN116168271A (zh) * | 2023-03-02 | 2023-05-26 | 上海安亭地平线智能交通技术有限公司 | 图像的处理方法、模型的训练方法、装置、设备和介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5666227A (en) | 1994-05-02 | 1997-09-09 | Ben-Ghiath; Yehoshua | Passive panoramic viewing systems |
JP2004157999A (ja) | 2002-10-18 | 2004-06-03 | D Link Corp | 空間画像の画像変換方法及びリアルタイム送信方法 |
FI125167B (en) * | 2013-10-03 | 2015-06-30 | Jc Inertial Oy | Measurement of angular information with inertia unit arranged on wheels |
CN103631698B (zh) * | 2013-12-20 | 2017-04-19 | 中安消技术有限公司 | 一种用于目标跟踪的摄像机ptz控制方法和装置 |
JP6550690B2 (ja) * | 2014-05-15 | 2019-07-31 | 株式会社リコー | 表示装置、車両 |
JP6159905B2 (ja) * | 2015-05-27 | 2017-07-05 | 京セラ株式会社 | 演算装置、カメラ装置、車両及びキャリブレーション方法 |
JP6443236B2 (ja) * | 2015-06-16 | 2018-12-26 | 株式会社Jvcケンウッド | 虚像提示システム、画像投射装置および虚像提示方法 |
CN105488454B (zh) * | 2015-11-17 | 2019-04-23 | 天津工业大学 | 基于单目视觉的前方车辆检测与测距 |
CN106991649A (zh) | 2016-01-20 | 2017-07-28 | 富士通株式会社 | 对摄像装置所捕获的文档图像进行校正的方法和装置 |
CN105711501B (zh) * | 2016-04-19 | 2017-10-31 | 深圳市航盛电子股份有限公司 | 一种基于汽车环视相机的盲区中车辆监测方法及系统 |
KR102493878B1 (ko) * | 2016-06-27 | 2023-01-31 | 모빌아이 비젼 테크놀로지스 엘티디. | 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어 |
CN106203398B (zh) | 2016-07-26 | 2019-08-13 | 东软集团股份有限公司 | 一种检测车道边界的方法、装置和设备 |
CN109690652A (zh) | 2016-09-16 | 2019-04-26 | 索尼公司 | 图像处理设备和方法以及图像处理系统 |
CN107248156A (zh) * | 2017-05-27 | 2017-10-13 | 广州地铁集团有限公司 | 分段点自动提取的踏面轮廓拟合方法 |
CN107577988B (zh) * | 2017-08-03 | 2020-05-26 | 东软集团股份有限公司 | 实现侧方车辆定位的方法、装置及存储介质、程序产品 |
-
2018
- 2018-05-09 CN CN201810438659.3A patent/CN108647638B/zh active Active
- 2018-07-11 EP EP18182955.7A patent/EP3566903B1/en active Active
- 2018-08-03 JP JP2018146866A patent/JP6675448B2/ja active Active
- 2018-08-25 US US16/112,656 patent/US10783657B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108647638A (zh) | 2018-10-12 |
JP2019196164A (ja) | 2019-11-14 |
US10783657B2 (en) | 2020-09-22 |
EP3566903A1 (en) | 2019-11-13 |
EP3566903B1 (en) | 2021-12-01 |
US20190347819A1 (en) | 2019-11-14 |
CN108647638B (zh) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6675448B2 (ja) | 車両位置検出方法及び装置 | |
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
KR102267562B1 (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP6910973B2 (ja) | 車両制御装置及びその制御方法並びに車両制御システム | |
JP6003673B2 (ja) | 3次元位置推定装置、車両制御装置、および3次元位置推定方法 | |
WO2019192145A1 (zh) | 全景图的视野调整方法及装置、存储介质、电子设备 | |
US20140267415A1 (en) | Road marking illuminattion system and method | |
JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
JP2022517940A (ja) | ポットホール検出システム | |
US10896542B2 (en) | Moving body image generation recording display device and program product | |
EP3594902B1 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
JP2008219063A (ja) | 車両周辺監視装置及び方法 | |
KR102056147B1 (ko) | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 | |
JP2019511780A (ja) | 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両 | |
KR20170118077A (ko) | 차량 주변을 왜곡 없이 보여주는 방법 및 장치 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
CN109895697B (zh) | 一种行车辅助提示系统及方法 | |
JP7081098B2 (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
JP7236849B2 (ja) | 外界認識装置 | |
Shan et al. | Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms | |
JP7047291B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP5773334B2 (ja) | オプティカルフロー処理装置及び表示半径マップ生成装置 | |
JP7436331B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6675448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |