JP2008309637A - Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system - Google Patents
Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system Download PDFInfo
- Publication number
- JP2008309637A JP2008309637A JP2007157746A JP2007157746A JP2008309637A JP 2008309637 A JP2008309637 A JP 2008309637A JP 2007157746 A JP2007157746 A JP 2007157746A JP 2007157746 A JP2007157746 A JP 2007157746A JP 2008309637 A JP2008309637 A JP 2008309637A
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- distance
- parallax
- distance information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。 The present invention relates to an obstacle measurement method, an obstacle measurement device, and an obstacle measurement system for measuring a distance to an obstacle.
ステレオ画像による距離計測では、一対の画像の内の基準画像の1つの領域に対し参照画像でパターンが一致する領域を探索し、それら対応点間の視差を算出し、その視差から三角測量の原理により対象物までの距離を算出するが、この場合、従来、領域サイズを固定した相関法で対応点探索を行っている。 In distance measurement using a stereo image, a reference image is searched for an area where the pattern matches in one area of a standard image of a pair of images, a parallax between corresponding points is calculated, and the principle of triangulation is calculated from the parallax. In this case, conventionally, the corresponding point search is performed by a correlation method with a fixed region size.
特許文献1は、2台のカメラで撮像した画像をデジタル化した後、解析対象の個々の部分画像はそれが属すると予想される各距離レンジに対応した照合手段に入力され、各照合手段では、入力画像の解像度を変化させることにより、それぞれの距離レンジで必要十分な空間分解能で距離の照合を行い、各照合手段では、対応する各距離レンジに応じて、入力画像をそれぞれ2-n(n=0,1,2,3)の解像度の画像に変換することで演算量の削減が可能な距離分布検知装置を開示する。すなわち、対象物が属すると予想される距離レンジ毎に照合演算を行う画素数や解像度を変換するまたは領域の大きさを、遠距離では小さく、近距離では大きくなるように変えることで演算量を削減する。
従来、視差算出における対応点探索のためのウィンドウ(領域)サイズは、固定であるか、または画像内エリアで特定の位置で異なるウィンドウサイズを適用しているケースがほとんどであり、画像内の距離情報または予想される距離範囲からウィンドウサイズを設定している例はない。しかし、対象物が近距離の場合、特許文献1のように視差算出における対応点探索のウィンドウサイズを大きくすると、特徴の取り易いエッジ付近において背景とのオクルージョン(隠蔽)の影響が大きくなってしまい、対応点が取れずに距離精度が低下してしまう可能性がある。
Conventionally, the window (area) size for searching for corresponding points in parallax calculation is fixed, or in most cases, a different window size is applied at a specific position in the image area, and the distance in the image There is no example of setting the window size from the information or the expected distance range. However, when the object is a short distance, if the window size of the corresponding point search in the parallax calculation is increased as in
本発明は、上述のような従来技術の問題に鑑み、障害物までの距離に応じてウィンドウサイズを設定することで距離精度の確保と、処理時間の短縮及び回路規模削減とが可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。 In view of the above-described problems of the prior art, the present invention provides an obstacle capable of ensuring distance accuracy, reducing processing time, and reducing circuit scale by setting a window size according to the distance to the obstacle. It aims at providing a measuring method, an obstacle measuring device, and an obstacle measuring system.
上記目的を達成するために、本発明による第1の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、低解像度画像により求めた距離情報に基づいて、高解像度画像における前記視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする。 In order to achieve the above object, a first obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by parallax calculation using a stereo image, and distance information obtained from a low-resolution image. Based on the above, the window size of the corresponding point search for the parallax calculation in the high resolution image is set.
この障害物計測方法によれば、低解像度画像から求めた概略視差(距離情報)に基づいて高解像度画像における障害物までの距離情報算出のための対応点探索のウィンドウサイズを決定する。例えば、対象物が近距離の場合、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなるが、遠距離の場合よりもウィンドウサイズを小さくすることで、背景との区別がし易くなるので距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measurement method, the window size of the corresponding point search for calculating the distance information to the obstacle in the high resolution image is determined based on the approximate parallax (distance information) obtained from the low resolution image. For example, when the object is at a short distance, the influence of the occlusion with the background becomes large near the edge where the feature is easy to take, but it becomes easier to distinguish from the background by making the window size smaller than at the long distance. Therefore, the distance accuracy is improved and reliability can be ensured, and the processing time and circuit scale can be reduced.
上記障害物計測方法において、前記低解像度画像における視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いることが好ましい。また、前記高解像度画像における視差算出の相関演算方法としてPOC法(位相限定相関法)を用いることが好ましい。 In the obstacle measuring method, it is preferable to use the SAD method (difference absolute value sum) or the POC method (phase-only correlation method) as a correlation calculation method for calculating parallax in the low-resolution image. In addition, it is preferable to use a POC method (phase-only correlation method) as a correlation calculation method for calculating parallax in the high-resolution image.
前記低解像度画像により求めた障害物までの距離が近距離である場合、前記ウィンドウサイズを遠距離の場合よりも小さく設定することで、背景との区別がし易くなり、背景とのオクルージョンの影響を抑えることができる。 When the distance to the obstacle determined by the low-resolution image is a short distance, by setting the window size smaller than in the case of a long distance, it becomes easier to distinguish from the background, the influence of occlusion with the background Can be suppressed.
本発明による第2の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする。 A second obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by a parallax calculation using a stereo image, and sets a window size of corresponding point search for the parallax calculation at a lower part of the image. It is characterized by being set smaller than the upper part of the image.
この障害物計測方法によれば、走行中の車載カメラにより前方撮影している場合等においては、画像上部に主に遠距離対象物、画像下部に近距離対象物が存在するので、画像上部の対応点探索のウィンドウサイズよりも画像下部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measurement method, when shooting forward with an in-vehicle camera while traveling, there are mainly long-distance objects at the top of the image and short-distance objects at the bottom of the image. By making the window size at the bottom of the image smaller than the corresponding point search window size, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. Thus, the processing time can be shortened and the circuit scale can be reduced.
本発明による第3の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする。 A third obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by parallax calculation using a stereo image, and a window size for searching for corresponding points for parallax calculation in an image peripheral portion. Is set smaller than the center of the image.
この障害物計測方法によれば、走行中に車載カメラにより前方撮影している場合等において、遠距離対象物は画像中心部に、近距離対象物は画像周辺部に集中するので、画像中心部の対応点探索のウィンドウサイズよりも画像周辺部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measurement method, when shooting forward with a vehicle-mounted camera while traveling, the long-distance objects are concentrated in the image center, and the short-distance objects are concentrated in the image periphery. By making the window size at the periphery of the image smaller than the window size of the corresponding point search, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. In addition, the processing time can be shortened and the circuit scale can be reduced.
上記第2及び第3の障害物計測方法において、一定位置以上の画像上部については前記視差算出の対象としないことが好ましい。一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、不必要な演算を効果的に抑制できる。 In the second and third obstacle measuring methods, it is preferable that the upper part of the image at a certain position or more is not subject to the parallax calculation. An image that does not need to be detected as an obstacle such as a background (mountain, sky, etc.) appears in the upper part of the image above a certain position, but since the parallax is not calculated in the upper part of the image, unnecessary calculations are effectively suppressed. it can.
本発明による第1の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から解像度の異なる少なくとも高解像度画像及び低解像度画像を生成する画像生成部と、前記低解像度画像から視差算出により第1の距離情報を生成する第1の距離情報生成部と、前記高解像度画像から視差算出により第2の距離情報を生成する第2の距離情報生成部と、を備え、前記高解像度画像による前記視差算出のための対応点探索のウィンドウサイズを前記第1の距離情報に基づいて設定することを特徴とする。 A first obstacle measuring apparatus according to the present invention is an obstacle measuring apparatus that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images, and at least different resolutions from the images. An image generation unit that generates a high-resolution image and a low-resolution image, a first distance information generation unit that generates first distance information from the low-resolution image by parallax calculation, and a second by parallax calculation from the high-resolution image A second distance information generation unit that generates the distance information of the corresponding point, and sets a window size of the corresponding point search for the parallax calculation by the high-resolution image based on the first distance information. And
この障害物計測装置によれば、低解像度画像(第1の距離情報)から求めた概略視差(距離情報)に基づいて高解像度画像における障害物までの距離情報算出のための対応点探索のウィンドウサイズを決定することができる。例えば、対象物が近距離の場合、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなるが、遠距離の場合よりもウィンドウサイズを小さくすることで、背景との区別がし易くなるので距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measuring apparatus, a corresponding point search window for calculating distance information to an obstacle in a high resolution image based on the approximate parallax (distance information) obtained from the low resolution image (first distance information). The size can be determined. For example, when the object is at a short distance, the influence of the occlusion with the background becomes large near the edge where the feature is easy to take, but it becomes easier to distinguish from the background by making the window size smaller than at the long distance. Therefore, the distance accuracy is improved and reliability can be ensured, and the processing time and circuit scale can be reduced.
上記障害物計測装置において前記第1の距離情報生成部は、前記視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いることが好ましい。また、前記第2の距離情報生成部は、前記視差算出の相関演算方法としてPOC法(位相限定相関法)を用いることが好ましい。 In the obstacle measuring apparatus, it is preferable that the first distance information generation unit uses an SAD method (sum of absolute differences) or a POC method (phase-only correlation method) as the parallax calculation correlation calculation method. The second distance information generation unit preferably uses a POC method (phase-only correlation method) as a correlation calculation method for the parallax calculation.
本発明による第2の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、前記距離情報の生成のとき画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする。 A second obstacle measurement device according to the present invention is an obstacle measurement device that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images and a distance by parallax calculation from the image. A distance information generation unit that generates information, and when generating the distance information, a window size of the corresponding point search for the parallax calculation in the lower part of the image is set smaller than that in the upper part of the image.
この障害物計測装置によれば、走行中の車載カメラにより前方撮影している場合等においては、画像上部に主に遠距離対象物、画像下部に近距離対象物が存在するので、画像上部の対応点探索のウィンドウサイズよりも画像下部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measuring device, when a forward image is taken with a vehicle-mounted camera while traveling, there are mainly long-distance objects at the top of the image and short-distance objects at the bottom of the image. By making the window size at the bottom of the image smaller than the corresponding point search window size, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. The processing time and circuit scale can be reduced.
本発明による第3の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、前記距離情報の生成のとき画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする。 A third obstacle measuring device according to the present invention is an obstacle measuring device that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images and a distance by parallax calculation from the image. A distance information generation unit that generates information, and when generating the distance information, a window size of the corresponding point search for the parallax calculation in the image peripheral part is set smaller than the image center part .
この障害物計測装置によれば、走行中に車載カメラにより前方撮影している場合等において、遠距離対象物は画像中心部に、近距離対象物は画像周辺部に集中するので、画像中心部の対応点探索のウィンドウサイズよりも画像周辺部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。 According to this obstacle measuring device, when shooting forward with a vehicle-mounted camera while traveling, the long-distance objects are concentrated in the image center, and the short-distance objects are concentrated in the image periphery. By making the window size at the periphery of the image smaller than the window size of the corresponding point search, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. In addition, the processing time can be shortened and the circuit scale can be reduced.
上記障害物計測装置において、前記距離情報生成部は、一定位置以上の画像上部については前記視差算出の対象としないことが好ましい。一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、不必要な演算を効果的に抑制できる。 In the obstacle measuring apparatus, it is preferable that the distance information generation unit does not set the parallax calculation target for the upper part of the image at a certain position or more. An image that does not need to be detected as an obstacle such as a background (mountain, sky, etc.) appears in the upper part of the image above a certain position, but since the parallax is not calculated in the upper part of the image, unnecessary calculations are effectively suppressed. it can.
本発明による障害物計測システムは、上述の第1,第2または第3の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。 The obstacle measurement system according to the present invention includes the above-described first, second, or third obstacle measurement device, a determination unit that determines a danger related to the obstacle based on the measured distance information, and the danger. A warning unit that issues a warning when it is determined.
この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムにおいて距離精度が向上し信頼性を確保でき、演算時間の短縮、回路規模削減を実現できる。 According to this obstacle measurement system, attention is given to danger by warning from the warning section, and it is possible to perform danger avoidance operations, improve distance accuracy and ensure reliability in the obstacle measurement system, calculation time And circuit scale can be reduced.
本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、障害物までの距離に応じて対応点探索のためのウィンドウサイズを設定することで距離精度の確保と、処理時間の短縮及び回路規模削減との両立が可能となる。 According to the obstacle measurement method, the obstacle measurement device, and the obstacle measurement system of the present invention, the distance accuracy is ensured and the processing time is set by setting the window size for searching for corresponding points according to the distance to the obstacle. And shortening the circuit scale can be achieved.
以下、本発明を実施するための最良の形態について図面を用いて説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
〈第1の実施の形態〉
図1は第1の実施の形態による障害物計測装置の概略的構成を示すブロック図である。図2は図1の障害物計測装置における視差算出のための対応点探索を説明するために左画像を示す概略図(a)、右画像を示す概略図(b)及び探索位置と相関値との関係例を概略的に示す図(c)である。
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of an obstacle measuring apparatus according to the first embodiment. FIG. 2 is a schematic diagram (a) showing a left image, a schematic diagram (b) showing a right image, and a search position and a correlation value in order to explain corresponding point search for parallax calculation in the obstacle measuring apparatus of FIG. It is a figure (c) which shows the example of these roughly.
図1に示すように、車両用の障害物計測装置10は、右カメラ11と、左カメラ12と、カメラ11,12からの画像を補正する画像補正部13と、カメラ11,12による画像から複数の解像度の画像を生成する多重解像度画像生成部14と、多重解像度画像生成部14で生成した低解像度画像に基づいて距離情報・距離画像を生成する第1の距離情報生成部15と、同じく高解像度画像に基づいて距離情報・距離画像を生成する第2の距離情報生成部16と、第1の距離情報生成部15で得た距離情報に基づいて第2の距離情報生成部16における視差算出のための対応点探索のウィンドウサイズを設定するウィンドウサイズ設定部17と、を備え、車両に搭載される。
As shown in FIG. 1, the vehicle obstacle measurement device 10 includes a
右カメラ11及び左カメラ12は、それぞれレンズ等の光学系とCCDやCMOSイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する先行車両や歩行者等の障害物の画像情報を電気信号として得る。
Each of the
画像補正部13は、カメラ11,12からの画像についてカメラ11,12のレンズの周辺部に生じるひずみ等を補正する。
The
図2(a)、(b)のように、同一の障害物である先行車両Pについて左カメラ12から得られる左画像(基準画像)と右カメラ11から得られる右画像(参照画像)とが水平方向にずれて撮像面上に表示されるが、これら2つの撮像面における対象物のずれ量が視差である。第1及び第2の距離情報生成部15,16では、先行車両Pの左画像に所定サイズのウィンドウWを設定し、同じく右画像に同じサイズのウィンドウW’を設定し、図2(b)のように2つの画像のウィンドウW,W’において相関の高い領域を探索し、図2(c)のように相関値が最も大きい探索位置を求めることで視差を得ることができる。かかる視差に基づいて障害物までの距離を3次元的に算出し距離画像を生成できる。すなわち、視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。
As shown in FIGS. 2A and 2B, a left image (reference image) obtained from the
第1の距離情報生成部15は、視差演算の方法として差分絶対値和(Sum of Absolute Difference:SAD)による相関法を用いて、低解像度画像から概略視差(距離情報)を得る。なお、第1の距離情報生成部15における視差演算の方法として下記のPOC法を用いてもよい。
The first distance
第2の距離情報生成部16は、視差演算の方法として位相限定相関法(Phase-Only Correlation:POC)を用いて高解像度画像から視差を得る。この場合、ウィンドウサイズ設定部17は高解像度画像における視差算出のための対応点探索のウィンドウサイズを近距離では遠距離よりも小さく設定する。この障害物が近距離であるか否かは、第1の距離情報生成部15で得た概略視差に基づいて判断される。
The second distance
SAD法は、一般的によく用いられている視差計測法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」(情報処理学会 研究報告 CVIM-144-5, pp.33-40, May 2004)や特開2000−283753号公報等を参照できる。 The SAD method is a commonly used parallax measurement method. For example, a paper by Motoki Arai, Kazuhiko Sumi, and Takashi Matsuyama “Optimization of correlation function and sub-pixel estimation method in image block matching” ( Information Processing Society of Japan Research Report CVIM-144-5, pp.33-40, May 2004) and Japanese Patent Application Laid-Open No. 2000-283753 can be referred to.
POC法(位相限定相関法)は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる3次元計測法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、SAD法よりも距離計測の精度が高い。POC法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のDSPによる実現」(計測自動制御学会東北支部 第215回研究集会(2004.5.27)資料番号215-3)等を参照できる。 The POC method (phase-only correlation method) uses phase information obtained by performing Fourier transform on an image signal converted into a digital signal to obtain a phase signal and an amplitude signal, and performing inverse Fourier transform on only the phase signal. Since this is a dimension measurement method and uses only phase components, highly accurate matching is possible, and the accuracy of distance measurement is higher than that of the SAD method. The POC method is, for example, a paper by Yasuhiro Fukuda, Masahide Abe, and Masayuki Kawamata “Realization of video image misregistration using phase-only correlation by DSP” (Tohoku Section of the Society of Instrument and Control Engineers 215th Meeting (2004.5.27 ) You can refer to document number 215-3).
各距離情報生成部15,16は、上述のSAD法、POC法による距離算出のための演算を集積素子等によりハード的に処理できるが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。
Each of the distance
図3は、図1の障害物計測装置10のカメラ11(または12)により撮影したカメラ画像を示す模式図(a)、図3(a)の画像から得た低解像度の距離画像を示す模式図(b)、図3(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(c)、及びウィンドウサイズを距離thを境にして変えることを示すグラフ(d)である。 FIG. 3 is a schematic diagram showing a camera image photographed by the camera 11 (or 12) of the obstacle measuring apparatus 10 of FIG. 1, and a schematic diagram showing a low-resolution distance image obtained from the image of FIG. Schematic diagram (c) showing the window size of the corresponding point search set for each image in FIGS. (B) and (a), and a graph (d) showing changing the window size with distance th as the boundary It is.
図1の障害物計測装置10を搭載した車両が走行中に、図3(a)の画面9のように道路1上の前方の車両2,3を例えばカメラ12で撮影し、車両2,3の各画像について第1の距離情報生成部15で生成された距離情報(図3(b)の距離画像参照)に基づいてウィンドウサイズ設定部17が対応点探索のためのウィンドウサイズを設定する。
While the vehicle equipped with the obstacle measuring device 10 of FIG. 1 is traveling, the
すなわち、例えば、図3(d)のように、第1の距離情報生成部15で得た図3(c)の車両3までの距離が閾値th以上であり遠距離であれば、遠距離の車3に対するウィンドウW3のサイズをNと設定し、また、図3(c)の車両2までの距離が閾値th以下であり近距離であれば、近距離の車2に対するウィンドウW2のサイズをM(<N)と設定する。このようにして、図3(c)のように近距離の車3に対するウィンドウW2のサイズMは、遠距離の場合のウィンドウW3のサイズNよりも小さく設定される。
That is, for example, as shown in FIG. 3D, if the distance to the
次に、図1の障害物計測装置10の全体の動作(ステップS01〜S06)について図4のフローチャートを参照して説明する。 Next, the overall operation (steps S01 to S06) of the obstacle measuring apparatus 10 of FIG. 1 will be described with reference to the flowchart of FIG.
まず、カメラ11,12で撮影した画像、例えば、図3(a)の道路1上を走行している車両2,3の画像が入力すると(S01)、画像補正部13で画像補正してから(S02)、多重解像度画像生成部14で複数の解像度の画像を生成する(S03)。
First, when images captured by the
次に、第1の距離情報生成部15で、上述の複数の解像度の画像の内の低解像度画像に基づいて距離情報(距離画像)を生成し(S04)、この低解像度画像により算出された距離情報に基づいてウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズを設定する(S05)。
Next, the first distance
次に、第2の距離情報生成部16で同じく高解像度画像に基づいて距離情報(距離画像)を生成する(S06)。このときの対応点探索のためのウィンドウサイズは、上記ステップS05で設定されたものである。ステップS06で得た距離情報が図1の障害物計測装置10から出力する。
Next, distance information (distance image) is similarly generated by the second distance
次に、図4のステップS05におけるウィンドウサイズ設定のステップS11〜S13について図5のフローチャートを参照して説明する。 Next, window size setting steps S11 to S13 in step S05 of FIG. 4 will be described with reference to the flowchart of FIG.
第1の距離情報生成部15で低解像度画像に基づいて算出された距離が、例えば、図3(a)の車両3について閾値th以上であり遠距離であると(S11)、図3(d)のようにウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズをNに設定する(S12)。
If the distance calculated based on the low-resolution image by the first distance
また、低解像度画像に基づいて算出された距離が、例えば、図3(a)の車両2について閾値th以下であり近距離であると(S11)、図3(d)のようにウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズをMに設定する(S13)。
If the distance calculated based on the low-resolution image is, for example, the threshold value th or less for the
上述のように、図3(a)の遠距離の車両3については図3(c)のようにウィンドウW3のサイズがN×Nと設定され、また、近距離の車両2についてはウィンドウW2のサイズがM×M(M<N)と設定されてから、図4のステップS06で各ウィンドウサイズで対応点探索を行い距離情報を生成する。
As described above, for the long-
以上のようにして、図1の障害物計測装置10から出力する距離情報を生成することができるが、従来まで、対象物体が近距離であると、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなり、対応点探索が困難となり距離精度が低下していたのに対し、本実施の形態によれば、近距離の物体についての対応点探索のためのウィンドウサイズを遠距離の場合よりも小さく設定することで、背景との区別を取り易くなり、このため、距離精度が向上し信頼性を確保できるとともに、第2の距離情報生成部16における処理時間の短縮及び第2の距離情報生成部16の集積素子の回路規模削減が可能となる。
As described above, the distance information output from the obstacle measuring apparatus 10 of FIG. 1 can be generated. Conventionally, if the target object is a short distance, the occlusion with the background is near the edge where the feature is easy to be taken. However, according to the present embodiment, the window size for searching for corresponding points for short-distance objects is long distance. By setting it smaller, it becomes easier to distinguish from the background. Therefore, the distance accuracy can be improved and the reliability can be ensured, the processing time in the second distance
〈第2の実施の形態〉
図6は第2の実施の形態による障害物計測装置の概略的構成を示すブロック図である。
<Second Embodiment>
FIG. 6 is a block diagram showing a schematic configuration of an obstacle measuring apparatus according to the second embodiment.
図6に示すように、車両用の障害物計測装置20は、右カメラ11と、左カメラ12と、カメラ11,12からの画像を補正する画像補正部13と、カメラ11,12による画像に基づいて距離情報・距離画像を生成する距離情報生成部18と、を備え、車両に搭載される。なお、右カメラ11、左カメラ12、及び画像補正部13は、図1と同様の構成である。
As shown in FIG. 6, the
距離情報生成部18は、図1と同様に、カメラ11,12からの右画像と左画像との水平位置のずれ(視差)に基づいて障害物までの距離を3次元的に算出し距離画像を生成する。なお、距離情報生成部18は、視差演算の方法としてPOC法を用いて、距離情報生成部15,16と同様に、ハード的またはソフト的に処理可能である。
The distance
図7は、図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す模式図(a)及び図7(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(b)である。
FIG. 7 is a schematic diagram showing a camera image taken in front by the camera of the
図6の障害物計測装置20を車両に搭載し、図7(a)のように、道路1上を走行しながら、例えばカメラ12で前方の車両2,3を撮影し、画面9内で車両2,3のカメラ画像を得る。図7(a)の車両2,3の画像により距離情報生成部18で距離情報を生成するとき、画面9の画像下部9a内の車両2を近距離にあるとし、また、画面9の画像上部9b内の車両3を遠距離にあるとする。そして、図7(b)のように、画像下部9a内の車両2について対応点探索のためのウィンドウW2のサイズを画像上部9bの車両3についての対応点探索のウィンドウW3よりも小さく設定する。すなわち、図3(c)、(d)と同様に、画像下部9aではウィンドウW2をサイズMに、画像上部9bではウィンドウW3をサイズN(>M)に設定する。
The
上述のように走行中の車載カメラにより前方撮影している場合においては、画像上部9bに主に遠距離対象物、画像下部9aに近距離対象物が存在するので、画像上部9bの対応点探索のウィンドウW3のサイズよりも画像下部9aのウィンドウW2のサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、距離情報生成部18における処理時間の短縮及び回路規模削減が可能となる。
As described above, in the case of shooting forward with a vehicle-mounted camera while traveling, since there are mainly long-distance objects in the
次に、図6の障害物計測装置20における変形例について図8を参照して説明する。図8は図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す図7(a)と同様の模式図である。
Next, a modification of the
図8のように、画面9内の車両2,3の画像により距離情報生成部18で距離情報を生成するとき、画面9の画像周辺部9c内の車両2を近距離にあるとし、また、画像中心部9d内の車両3を遠距離にあるとし、更に、画像上部9e内の画像は視差算出の対象としない。そして、図7(b)と同様に、画像周辺部9c内の車両2について対応点探索のためのウィンドウW2のサイズを画像中心部9dの車両3についての対応点探索のウィンドウW3よりも小さく設定する。例えば、図3(c)、(d)と同様に、画像周辺部9cではウィンドウW2をサイズMに、画像中心部9dではウィンドウW3をサイズN(>M)に設定する。
As shown in FIG. 8, when the distance
上述のように走行中に車載カメラにより前方撮影している場合においては、遠距離対象物は画像中心部9dに、近距離対象物は画像周辺部9cに集中するので、画像中心部9dの対応点探索のウィンドウW3のサイズよりも画像周辺部9cのウィンドウW2のサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、距離情報生成部18における処理時間の短縮及び回路規模削減が可能となる。
As described above, in the case of shooting forward with the in-vehicle camera while traveling, the long-distance objects are concentrated on the
また、図8の画像上部9eのように、一定位置以上の画像上部について視差算出の対象としないが、一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、距離情報生成部18における不必要な演算を効果的に抑制できる。
Also, unlike the
〈第3の実施の形態〉
図9は第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
<Third Embodiment>
FIG. 9 is a block diagram schematically showing an obstacle measurement system for a vehicle according to a third embodiment.
図9の障害物計測システム30は、図1または図6の障害物計測装置10または20と、障害物計測装置10,20の距離情報生成部16または18からの距離情報に基づいて例えば先行車両2との間の距離が設定距離以上か否かを判定する判定部31と、先行車両2との間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部32と、を備える。
The
図9の障害物計測システム30によれば、先行車両2との間の距離が設定距離以下となり接近した場合、障害物計測装置10,20からの距離情報に基づく警告部32からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、距離精度が向上し信頼性を確保でき、演算時間の短縮、回路規模削減を実現できる。
According to the
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,図6の障害物計測装置10,20または図9の障害物計測システム30は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。
As described above, the best mode for carrying out the present invention has been described. However, the present invention is not limited to these, and various modifications are possible within the scope of the technical idea of the present invention. For example, the
また、図9の障害物計測システム30では、先行車両2との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。
In the
10,20 障害物計測装置
11 右カメラ
12 左カメラ
14 多重解像度画像生成部
15 第1の距離情報生成部
16 第2の距離情報生成部
17 ウィンドウサイズ設定部
9 画面
9a 画像下部
9b 画像上部
9c 画像周辺部
9d 画像中心部
9e 画像上部
30 障害物計測システム
W2,W3 ウィンドウ
DESCRIPTION OF
Claims (14)
低解像度画像により求めた距離情報に基づいて、高解像度画像における前記視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする障害物計測方法。 An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method characterized by setting a window size for searching for corresponding points for parallax calculation in a high-resolution image based on distance information obtained from a low-resolution image.
画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする障害物計測方法。 An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method, wherein a window size for searching for a corresponding point for calculating the parallax in the lower part of the image is set smaller than that in the upper part of the image.
画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする障害物計測方法。 An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method, wherein a window size for searching for corresponding points for calculating parallax in an image peripheral portion is set smaller than that in an image central portion.
画像を取得する複数のカメラと、
前記画像から解像度の異なる少なくとも高解像度画像及び低解像度画像を生成する画像生成部と、
前記低解像度画像から視差算出により第1の距離情報を生成する第1の距離情報生成部と、
前記高解像度画像から視差算出により第2の距離情報を生成する第2の距離情報生成部と、を備え、
前記高解像度画像による前記視差算出のための対応点探索のウィンドウサイズを前記第1の距離情報に基づいて設定することを特徴とする障害物計測装置。 An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
An image generator that generates at least a high-resolution image and a low-resolution image having different resolutions from the image;
A first distance information generation unit that generates first distance information from the low-resolution image by parallax calculation;
A second distance information generation unit that generates second distance information by calculating parallax from the high-resolution image,
An obstacle measuring apparatus, wherein a window size for searching for a corresponding point for calculating the parallax using the high-resolution image is set based on the first distance information.
画像を取得する複数のカメラと、
前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、
前記距離情報の生成のとき画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする障害物計測装置。 An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
A distance information generation unit that generates distance information by calculating parallax from the image,
An obstacle measuring device characterized in that, when generating the distance information, a window size for searching for corresponding points for calculating the parallax at the lower part of the image is set smaller than that at the upper part of the image.
画像を取得する複数のカメラと、
前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、
前記距離情報の生成のとき画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする障害物計測装置。 An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
A distance information generation unit that generates distance information by calculating parallax from the image,
An obstacle measuring device characterized in that, when generating the distance information, a window size for searching for corresponding points for parallax calculation in an image peripheral portion is set smaller than that in an image central portion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157746A JP2008309637A (en) | 2007-06-14 | 2007-06-14 | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157746A JP2008309637A (en) | 2007-06-14 | 2007-06-14 | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008309637A true JP2008309637A (en) | 2008-12-25 |
Family
ID=40237369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007157746A Pending JP2008309637A (en) | 2007-06-14 | 2007-06-14 | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008309637A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013706A (en) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | Stereo image processing device and method |
JP2012002683A (en) * | 2010-06-17 | 2012-01-05 | Fuji Electric Co Ltd | Stereo image processing method and stereo image processing device |
JP2013117969A (en) * | 2011-12-01 | 2013-06-13 | Sony Corp | System and method for generating robust depth map utilizing multiple resolution procedure |
JP2013174494A (en) * | 2012-02-24 | 2013-09-05 | Ricoh Co Ltd | Image processing device, image processing method, and vehicle |
JP2015159397A (en) * | 2014-02-24 | 2015-09-03 | 株式会社リコー | Image processing apparatus, image processing system, and image processing method |
WO2017212992A1 (en) * | 2016-06-08 | 2017-12-14 | 日立オートモティブシステムズ株式会社 | Object distance detection device |
EP3343500A4 (en) * | 2015-08-26 | 2019-12-04 | Sony Interactive Entertainment Inc. | Image processing device and image processing method |
WO2023136050A1 (en) * | 2022-01-14 | 2023-07-20 | パナソニックIpマネジメント株式会社 | Image processing device and image processing method |
WO2024157410A1 (en) * | 2023-01-26 | 2024-08-02 | 日立Astemo株式会社 | Image processing device, imaging device, and image processing method |
EP4443105A1 (en) * | 2023-02-22 | 2024-10-09 | Canon Kabushiki Kaisha | Distance measurement device, movable apparatus, and control method |
-
2007
- 2007-06-14 JP JP2007157746A patent/JP2008309637A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013706A (en) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | Stereo image processing device and method |
JP2012002683A (en) * | 2010-06-17 | 2012-01-05 | Fuji Electric Co Ltd | Stereo image processing method and stereo image processing device |
JP2013117969A (en) * | 2011-12-01 | 2013-06-13 | Sony Corp | System and method for generating robust depth map utilizing multiple resolution procedure |
JP2013174494A (en) * | 2012-02-24 | 2013-09-05 | Ricoh Co Ltd | Image processing device, image processing method, and vehicle |
JP2015159397A (en) * | 2014-02-24 | 2015-09-03 | 株式会社リコー | Image processing apparatus, image processing system, and image processing method |
EP3343500A4 (en) * | 2015-08-26 | 2019-12-04 | Sony Interactive Entertainment Inc. | Image processing device and image processing method |
US10559089B2 (en) | 2015-08-26 | 2020-02-11 | Sony Interactive Entertainment Inc. | Information processing apparatus and information processing method |
JP2017219427A (en) * | 2016-06-08 | 2017-12-14 | 日立オートモティブシステムズ株式会社 | Object distance detection device |
CN109196304A (en) * | 2016-06-08 | 2019-01-11 | 日立汽车系统株式会社 | Object distance detection device |
WO2017212992A1 (en) * | 2016-06-08 | 2017-12-14 | 日立オートモティブシステムズ株式会社 | Object distance detection device |
EP3470780A4 (en) * | 2016-06-08 | 2020-02-26 | Hitachi Automotive Systems, Ltd. | Object distance detection device |
US11029150B2 (en) | 2016-06-08 | 2021-06-08 | Hitachi Automotive Systems, Ltd. | Object distance detection device |
CN109196304B (en) * | 2016-06-08 | 2021-07-30 | 日立汽车系统株式会社 | Object distance detection device |
WO2023136050A1 (en) * | 2022-01-14 | 2023-07-20 | パナソニックIpマネジメント株式会社 | Image processing device and image processing method |
WO2024157410A1 (en) * | 2023-01-26 | 2024-08-02 | 日立Astemo株式会社 | Image processing device, imaging device, and image processing method |
EP4443105A1 (en) * | 2023-02-22 | 2024-10-09 | Canon Kabushiki Kaisha | Distance measurement device, movable apparatus, and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
JP2008298533A (en) | Obstruction measurement method, device, and system | |
JP6565188B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
CN111971682B (en) | Road surface detection device, image display device, obstacle detection device, road surface detection method, image display method, and obstacle detection method | |
JP6417886B2 (en) | Parallax value deriving device, moving body, robot, parallax value production method, and program | |
JP6561512B2 (en) | Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program | |
WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
JP6035774B2 (en) | Image processing apparatus, image processing method, and vehicle | |
JP6337504B2 (en) | Image processing apparatus, moving body, robot, device control method and program | |
JP6589313B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
JP2016152027A (en) | Image processing device, image processing method and program | |
JP6455164B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
JP2009188635A (en) | Vehicle peripheral image processor and vehicle peripheral condition presenting method | |
JP2009092551A (en) | Method, apparatus and system for measuring obstacle | |
JP2015230703A (en) | Object detection device and object detection method | |
JP2019129482A (en) | Image processing device | |
JP2013161190A (en) | Object recognition device | |
JP6519138B2 (en) | PARALLEL VALUE DERIVING DEVICE, MOBILE OBJECT, ROBOT, PARALLEL VALUE PRODUCTION METHOD, AND PROGRAM | |
JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
JP2006072757A (en) | Object detection system | |
JP2006318060A (en) | Apparatus, method, and program for image processing | |
JP4788399B2 (en) | Pedestrian detection method, apparatus, and program | |
JP2006318062A (en) | Image processor, image processing method and image processing program | |
JP2013161187A (en) | Object recognition device |