[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2008309637A - Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system - Google Patents

Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system Download PDF

Info

Publication number
JP2008309637A
JP2008309637A JP2007157746A JP2007157746A JP2008309637A JP 2008309637 A JP2008309637 A JP 2008309637A JP 2007157746 A JP2007157746 A JP 2007157746A JP 2007157746 A JP2007157746 A JP 2007157746A JP 2008309637 A JP2008309637 A JP 2008309637A
Authority
JP
Japan
Prior art keywords
image
obstacle
distance
parallax
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007157746A
Other languages
Japanese (ja)
Inventor
Naoto Toba
直人 鳥羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2007157746A priority Critical patent/JP2008309637A/en
Publication of JP2008309637A publication Critical patent/JP2008309637A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an obstruction measuring method, an obstruction measuring apparatus, and an obstruction measuring system which can ensure distance accuracy, reduce processing time, and reduce a circuit scale by setting a window size in accordance with the distance to an obstruction. <P>SOLUTION: The obstruction measuring method measures the distance to the obstruction by parallax calculation through a stereo image. In the method, on the basis of distance information determined by a low resolution image, a window size for corresponding point search for parallax calculation in a high resolution image is set. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、障害物までの距離を計測する障害物計測方法、障害物計測装置及び障害物計測システムに関する。   The present invention relates to an obstacle measurement method, an obstacle measurement device, and an obstacle measurement system for measuring a distance to an obstacle.

ステレオ画像による距離計測では、一対の画像の内の基準画像の1つの領域に対し参照画像でパターンが一致する領域を探索し、それら対応点間の視差を算出し、その視差から三角測量の原理により対象物までの距離を算出するが、この場合、従来、領域サイズを固定した相関法で対応点探索を行っている。   In distance measurement using a stereo image, a reference image is searched for an area where the pattern matches in one area of a standard image of a pair of images, a parallax between corresponding points is calculated, and the principle of triangulation is calculated from the parallax. In this case, conventionally, the corresponding point search is performed by a correlation method with a fixed region size.

特許文献1は、2台のカメラで撮像した画像をデジタル化した後、解析対象の個々の部分画像はそれが属すると予想される各距離レンジに対応した照合手段に入力され、各照合手段では、入力画像の解像度を変化させることにより、それぞれの距離レンジで必要十分な空間分解能で距離の照合を行い、各照合手段では、対応する各距離レンジに応じて、入力画像をそれぞれ2-n(n=0,1,2,3)の解像度の画像に変換することで演算量の削減が可能な距離分布検知装置を開示する。すなわち、対象物が属すると予想される距離レンジ毎に照合演算を行う画素数や解像度を変換するまたは領域の大きさを、遠距離では小さく、近距離では大きくなるように変えることで演算量を削減する。
特開2001−126065号公報
In Patent Document 1, after digitizing images captured by two cameras, each partial image to be analyzed is input to a matching unit corresponding to each distance range to which the image is expected to belong. By changing the resolution of the input image, the distances are collated with a necessary and sufficient spatial resolution in each distance range, and each collating unit converts the input image to 2 −n (in accordance with each corresponding distance range. Disclosed is a distance distribution detection device capable of reducing the amount of calculation by converting to an image having a resolution of n = 0, 1, 2, 3). That is, the amount of calculation can be reduced by converting the number of pixels and resolution to be collated for each distance range where the object is expected to belong, or changing the size of the area so that it is small at a long distance and large at a short distance. Reduce.
Japanese Patent Laid-Open No. 2001-126065

従来、視差算出における対応点探索のためのウィンドウ(領域)サイズは、固定であるか、または画像内エリアで特定の位置で異なるウィンドウサイズを適用しているケースがほとんどであり、画像内の距離情報または予想される距離範囲からウィンドウサイズを設定している例はない。しかし、対象物が近距離の場合、特許文献1のように視差算出における対応点探索のウィンドウサイズを大きくすると、特徴の取り易いエッジ付近において背景とのオクルージョン(隠蔽)の影響が大きくなってしまい、対応点が取れずに距離精度が低下してしまう可能性がある。   Conventionally, the window (area) size for searching for corresponding points in parallax calculation is fixed, or in most cases, a different window size is applied at a specific position in the image area, and the distance in the image There is no example of setting the window size from the information or the expected distance range. However, when the object is a short distance, if the window size of the corresponding point search in the parallax calculation is increased as in Patent Document 1, the influence of the occlusion (concealment) with the background increases in the vicinity of the edge where the feature can be easily taken. , There is a possibility that the distance accuracy is lowered without taking corresponding points.

本発明は、上述のような従来技術の問題に鑑み、障害物までの距離に応じてウィンドウサイズを設定することで距離精度の確保と、処理時間の短縮及び回路規模削減とが可能な障害物計測方法、障害物計測装置及び障害物計測システムを提供することを目的とする。   In view of the above-described problems of the prior art, the present invention provides an obstacle capable of ensuring distance accuracy, reducing processing time, and reducing circuit scale by setting a window size according to the distance to the obstacle. It aims at providing a measuring method, an obstacle measuring device, and an obstacle measuring system.

上記目的を達成するために、本発明による第1の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、低解像度画像により求めた距離情報に基づいて、高解像度画像における前記視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする。   In order to achieve the above object, a first obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by parallax calculation using a stereo image, and distance information obtained from a low-resolution image. Based on the above, the window size of the corresponding point search for the parallax calculation in the high resolution image is set.

この障害物計測方法によれば、低解像度画像から求めた概略視差(距離情報)に基づいて高解像度画像における障害物までの距離情報算出のための対応点探索のウィンドウサイズを決定する。例えば、対象物が近距離の場合、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなるが、遠距離の場合よりもウィンドウサイズを小さくすることで、背景との区別がし易くなるので距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measurement method, the window size of the corresponding point search for calculating the distance information to the obstacle in the high resolution image is determined based on the approximate parallax (distance information) obtained from the low resolution image. For example, when the object is at a short distance, the influence of the occlusion with the background becomes large near the edge where the feature is easy to take, but it becomes easier to distinguish from the background by making the window size smaller than at the long distance. Therefore, the distance accuracy is improved and reliability can be ensured, and the processing time and circuit scale can be reduced.

上記障害物計測方法において、前記低解像度画像における視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いることが好ましい。また、前記高解像度画像における視差算出の相関演算方法としてPOC法(位相限定相関法)を用いることが好ましい。   In the obstacle measuring method, it is preferable to use the SAD method (difference absolute value sum) or the POC method (phase-only correlation method) as a correlation calculation method for calculating parallax in the low-resolution image. In addition, it is preferable to use a POC method (phase-only correlation method) as a correlation calculation method for calculating parallax in the high-resolution image.

前記低解像度画像により求めた障害物までの距離が近距離である場合、前記ウィンドウサイズを遠距離の場合よりも小さく設定することで、背景との区別がし易くなり、背景とのオクルージョンの影響を抑えることができる。   When the distance to the obstacle determined by the low-resolution image is a short distance, by setting the window size smaller than in the case of a long distance, it becomes easier to distinguish from the background, the influence of occlusion with the background Can be suppressed.

本発明による第2の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする。   A second obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by a parallax calculation using a stereo image, and sets a window size of corresponding point search for the parallax calculation at a lower part of the image. It is characterized by being set smaller than the upper part of the image.

この障害物計測方法によれば、走行中の車載カメラにより前方撮影している場合等においては、画像上部に主に遠距離対象物、画像下部に近距離対象物が存在するので、画像上部の対応点探索のウィンドウサイズよりも画像下部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measurement method, when shooting forward with an in-vehicle camera while traveling, there are mainly long-distance objects at the top of the image and short-distance objects at the bottom of the image. By making the window size at the bottom of the image smaller than the corresponding point search window size, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. Thus, the processing time can be shortened and the circuit scale can be reduced.

本発明による第3の障害物計測方法は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする。   A third obstacle measurement method according to the present invention is an obstacle measurement method for measuring a distance to an obstacle by parallax calculation using a stereo image, and a window size for searching for corresponding points for parallax calculation in an image peripheral portion. Is set smaller than the center of the image.

この障害物計測方法によれば、走行中に車載カメラにより前方撮影している場合等において、遠距離対象物は画像中心部に、近距離対象物は画像周辺部に集中するので、画像中心部の対応点探索のウィンドウサイズよりも画像周辺部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measurement method, when shooting forward with a vehicle-mounted camera while traveling, the long-distance objects are concentrated in the image center, and the short-distance objects are concentrated in the image periphery. By making the window size at the periphery of the image smaller than the window size of the corresponding point search, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. In addition, the processing time can be shortened and the circuit scale can be reduced.

上記第2及び第3の障害物計測方法において、一定位置以上の画像上部については前記視差算出の対象としないことが好ましい。一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、不必要な演算を効果的に抑制できる。   In the second and third obstacle measuring methods, it is preferable that the upper part of the image at a certain position or more is not subject to the parallax calculation. An image that does not need to be detected as an obstacle such as a background (mountain, sky, etc.) appears in the upper part of the image above a certain position, but since the parallax is not calculated in the upper part of the image, unnecessary calculations are effectively suppressed. it can.

本発明による第1の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から解像度の異なる少なくとも高解像度画像及び低解像度画像を生成する画像生成部と、前記低解像度画像から視差算出により第1の距離情報を生成する第1の距離情報生成部と、前記高解像度画像から視差算出により第2の距離情報を生成する第2の距離情報生成部と、を備え、前記高解像度画像による前記視差算出のための対応点探索のウィンドウサイズを前記第1の距離情報に基づいて設定することを特徴とする。   A first obstacle measuring apparatus according to the present invention is an obstacle measuring apparatus that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images, and at least different resolutions from the images. An image generation unit that generates a high-resolution image and a low-resolution image, a first distance information generation unit that generates first distance information from the low-resolution image by parallax calculation, and a second by parallax calculation from the high-resolution image A second distance information generation unit that generates the distance information of the corresponding point, and sets a window size of the corresponding point search for the parallax calculation by the high-resolution image based on the first distance information. And

この障害物計測装置によれば、低解像度画像(第1の距離情報)から求めた概略視差(距離情報)に基づいて高解像度画像における障害物までの距離情報算出のための対応点探索のウィンドウサイズを決定することができる。例えば、対象物が近距離の場合、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなるが、遠距離の場合よりもウィンドウサイズを小さくすることで、背景との区別がし易くなるので距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measuring apparatus, a corresponding point search window for calculating distance information to an obstacle in a high resolution image based on the approximate parallax (distance information) obtained from the low resolution image (first distance information). The size can be determined. For example, when the object is at a short distance, the influence of the occlusion with the background becomes large near the edge where the feature is easy to take, but it becomes easier to distinguish from the background by making the window size smaller than at the long distance. Therefore, the distance accuracy is improved and reliability can be ensured, and the processing time and circuit scale can be reduced.

上記障害物計測装置において前記第1の距離情報生成部は、前記視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いることが好ましい。また、前記第2の距離情報生成部は、前記視差算出の相関演算方法としてPOC法(位相限定相関法)を用いることが好ましい。   In the obstacle measuring apparatus, it is preferable that the first distance information generation unit uses an SAD method (sum of absolute differences) or a POC method (phase-only correlation method) as the parallax calculation correlation calculation method. The second distance information generation unit preferably uses a POC method (phase-only correlation method) as a correlation calculation method for the parallax calculation.

本発明による第2の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、前記距離情報の生成のとき画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする。   A second obstacle measurement device according to the present invention is an obstacle measurement device that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images and a distance by parallax calculation from the image. A distance information generation unit that generates information, and when generating the distance information, a window size of the corresponding point search for the parallax calculation in the lower part of the image is set smaller than that in the upper part of the image.

この障害物計測装置によれば、走行中の車載カメラにより前方撮影している場合等においては、画像上部に主に遠距離対象物、画像下部に近距離対象物が存在するので、画像上部の対応点探索のウィンドウサイズよりも画像下部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measuring device, when a forward image is taken with a vehicle-mounted camera while traveling, there are mainly long-distance objects at the top of the image and short-distance objects at the bottom of the image. By making the window size at the bottom of the image smaller than the corresponding point search window size, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. The processing time and circuit scale can be reduced.

本発明による第3の障害物計測装置は、障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、画像を取得する複数のカメラと、前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、前記距離情報の生成のとき画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする。   A third obstacle measuring device according to the present invention is an obstacle measuring device that measures a distance to an obstacle by parallax calculation using a stereo image, and a plurality of cameras that acquire images and a distance by parallax calculation from the image. A distance information generation unit that generates information, and when generating the distance information, a window size of the corresponding point search for the parallax calculation in the image peripheral part is set smaller than the image center part .

この障害物計測装置によれば、走行中に車載カメラにより前方撮影している場合等において、遠距離対象物は画像中心部に、近距離対象物は画像周辺部に集中するので、画像中心部の対応点探索のウィンドウサイズよりも画像周辺部のウィンドウサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、処理時間の短縮及び回路規模削減が可能となる。   According to this obstacle measuring device, when shooting forward with a vehicle-mounted camera while traveling, the long-distance objects are concentrated in the image center, and the short-distance objects are concentrated in the image periphery. By making the window size at the periphery of the image smaller than the window size of the corresponding point search, it becomes easier to distinguish the object from the background when the object is a short distance, thus improving the distance accuracy and ensuring reliability. In addition, the processing time can be shortened and the circuit scale can be reduced.

上記障害物計測装置において、前記距離情報生成部は、一定位置以上の画像上部については前記視差算出の対象としないことが好ましい。一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、不必要な演算を効果的に抑制できる。   In the obstacle measuring apparatus, it is preferable that the distance information generation unit does not set the parallax calculation target for the upper part of the image at a certain position or more. An image that does not need to be detected as an obstacle such as a background (mountain, sky, etc.) appears in the upper part of the image above a certain position, but since the parallax is not calculated in the upper part of the image, unnecessary calculations are effectively suppressed. it can.

本発明による障害物計測システムは、上述の第1,第2または第3の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする。   The obstacle measurement system according to the present invention includes the above-described first, second, or third obstacle measurement device, a determination unit that determines a danger related to the obstacle based on the measured distance information, and the danger. A warning unit that issues a warning when it is determined.

この障害物計測システムによれば、警告部からの警告により危険に注意が向き、危険回避の操作を行うことができるとともに、障害物計測システムにおいて距離精度が向上し信頼性を確保でき、演算時間の短縮、回路規模削減を実現できる。   According to this obstacle measurement system, attention is given to danger by warning from the warning section, and it is possible to perform danger avoidance operations, improve distance accuracy and ensure reliability in the obstacle measurement system, calculation time And circuit scale can be reduced.

本発明の障害物計測方法、障害物計測装置及び障害物計測システムによれば、障害物までの距離に応じて対応点探索のためのウィンドウサイズを設定することで距離精度の確保と、処理時間の短縮及び回路規模削減との両立が可能となる。   According to the obstacle measurement method, the obstacle measurement device, and the obstacle measurement system of the present invention, the distance accuracy is ensured and the processing time is set by setting the window size for searching for corresponding points according to the distance to the obstacle. And shortening the circuit scale can be achieved.

以下、本発明を実施するための最良の形態について図面を用いて説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

〈第1の実施の形態〉
図1は第1の実施の形態による障害物計測装置の概略的構成を示すブロック図である。図2は図1の障害物計測装置における視差算出のための対応点探索を説明するために左画像を示す概略図(a)、右画像を示す概略図(b)及び探索位置と相関値との関係例を概略的に示す図(c)である。
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of an obstacle measuring apparatus according to the first embodiment. FIG. 2 is a schematic diagram (a) showing a left image, a schematic diagram (b) showing a right image, and a search position and a correlation value in order to explain corresponding point search for parallax calculation in the obstacle measuring apparatus of FIG. It is a figure (c) which shows the example of these roughly.

図1に示すように、車両用の障害物計測装置10は、右カメラ11と、左カメラ12と、カメラ11,12からの画像を補正する画像補正部13と、カメラ11,12による画像から複数の解像度の画像を生成する多重解像度画像生成部14と、多重解像度画像生成部14で生成した低解像度画像に基づいて距離情報・距離画像を生成する第1の距離情報生成部15と、同じく高解像度画像に基づいて距離情報・距離画像を生成する第2の距離情報生成部16と、第1の距離情報生成部15で得た距離情報に基づいて第2の距離情報生成部16における視差算出のための対応点探索のウィンドウサイズを設定するウィンドウサイズ設定部17と、を備え、車両に搭載される。   As shown in FIG. 1, the vehicle obstacle measurement device 10 includes a right camera 11, a left camera 12, an image correction unit 13 that corrects images from the cameras 11 and 12, and images from the cameras 11 and 12. Similarly, a multi-resolution image generation unit 14 that generates images of a plurality of resolutions, a first distance information generation unit 15 that generates distance information / distance images based on the low-resolution image generated by the multi-resolution image generation unit 14, Disparity in the second distance information generation unit 16 based on the distance information obtained by the second distance information generation unit 16 that generates the distance information / distance image based on the high-resolution image and the first distance information generation unit 15 And a window size setting unit 17 that sets a window size of corresponding point search for calculation, and is mounted on the vehicle.

右カメラ11及び左カメラ12は、それぞれレンズ等の光学系とCCDやCMOSイメージセンサ等からなる撮像素子とを備え、車両の前部に所定間隔に配置されてステレオカメラを構成し、車両前方に存在する先行車両や歩行者等の障害物の画像情報を電気信号として得る。   Each of the right camera 11 and the left camera 12 includes an optical system such as a lens and an image pickup device such as a CCD or a CMOS image sensor. The right camera 11 and the left camera 12 are arranged at a predetermined interval in the front part of the vehicle to form a stereo camera, Image information of existing obstacles such as preceding vehicles and pedestrians is obtained as an electrical signal.

画像補正部13は、カメラ11,12からの画像についてカメラ11,12のレンズの周辺部に生じるひずみ等を補正する。   The image correction unit 13 corrects distortion or the like generated in the periphery of the lenses of the cameras 11 and 12 with respect to the images from the cameras 11 and 12.

図2(a)、(b)のように、同一の障害物である先行車両Pについて左カメラ12から得られる左画像(基準画像)と右カメラ11から得られる右画像(参照画像)とが水平方向にずれて撮像面上に表示されるが、これら2つの撮像面における対象物のずれ量が視差である。第1及び第2の距離情報生成部15,16では、先行車両Pの左画像に所定サイズのウィンドウWを設定し、同じく右画像に同じサイズのウィンドウW’を設定し、図2(b)のように2つの画像のウィンドウW,W’において相関の高い領域を探索し、図2(c)のように相関値が最も大きい探索位置を求めることで視差を得ることができる。かかる視差に基づいて障害物までの距離を3次元的に算出し距離画像を生成できる。すなわち、視差と距離とは反比例の関係にあるので、視差を計測することで距離の計測が可能である。   As shown in FIGS. 2A and 2B, a left image (reference image) obtained from the left camera 12 and a right image (reference image) obtained from the right camera 11 for the preceding vehicle P, which is the same obstacle, are obtained. Although the image is displayed on the imaging surface while being shifted in the horizontal direction, the amount of deviation of the object on these two imaging surfaces is parallax. In the first and second distance information generating units 15 and 16, a window W having a predetermined size is set in the left image of the preceding vehicle P, and a window W ′ having the same size is set in the right image, as shown in FIG. As shown in FIG. 2, parallax can be obtained by searching a region having a high correlation in the windows W and W ′ of two images and obtaining a search position having the largest correlation value as shown in FIG. A distance image can be generated by three-dimensionally calculating the distance to the obstacle based on the parallax. That is, since the parallax and the distance are in an inversely proportional relationship, the distance can be measured by measuring the parallax.

第1の距離情報生成部15は、視差演算の方法として差分絶対値和(Sum of Absolute Difference:SAD)による相関法を用いて、低解像度画像から概略視差(距離情報)を得る。なお、第1の距離情報生成部15における視差演算の方法として下記のPOC法を用いてもよい。   The first distance information generation unit 15 obtains approximate parallax (distance information) from the low-resolution image by using a correlation method based on a sum of absolute differences (SAD) as a parallax calculation method. The following POC method may be used as a parallax calculation method in the first distance information generation unit 15.

第2の距離情報生成部16は、視差演算の方法として位相限定相関法(Phase-Only Correlation:POC)を用いて高解像度画像から視差を得る。この場合、ウィンドウサイズ設定部17は高解像度画像における視差算出のための対応点探索のウィンドウサイズを近距離では遠距離よりも小さく設定する。この障害物が近距離であるか否かは、第1の距離情報生成部15で得た概略視差に基づいて判断される。   The second distance information generation unit 16 obtains parallax from a high-resolution image using a phase-only correlation (POC) as a parallax calculation method. In this case, the window size setting unit 17 sets the window size of the corresponding point search for parallax calculation in the high resolution image smaller than the far distance at a short distance. Whether or not the obstacle is a short distance is determined based on the approximate parallax obtained by the first distance information generation unit 15.

SAD法は、一般的によく用いられている視差計測法であり、例えば、新井元基、鷲見和彦、松山隆司による論文「画像のブロックマッチングにおける相関関数とサブピクセルの推定方式の最適化」(情報処理学会 研究報告 CVIM-144-5, pp.33-40, May 2004)や特開2000−283753号公報等を参照できる。   The SAD method is a commonly used parallax measurement method. For example, a paper by Motoki Arai, Kazuhiko Sumi, and Takashi Matsuyama “Optimization of correlation function and sub-pixel estimation method in image block matching” ( Information Processing Society of Japan Research Report CVIM-144-5, pp.33-40, May 2004) and Japanese Patent Application Laid-Open No. 2000-283753 can be referred to.

POC法(位相限定相関法)は、デジタル信号に変換された画像信号をフーリエ変換し、位相信号と振幅信号を得て、位相信号だけを逆フーリエ変換することで得られた位相情報を用いる3次元計測法であり、位相成分のみを使用するため、精度の高いマッチングが可能であり、SAD法よりも距離計測の精度が高い。POC法は、例えば、福田康宏、安部正英、川又政征による論文「位相限定相関を用いた映像の位置ずれ補正のDSPによる実現」(計測自動制御学会東北支部 第215回研究集会(2004.5.27)資料番号215-3)等を参照できる。   The POC method (phase-only correlation method) uses phase information obtained by performing Fourier transform on an image signal converted into a digital signal to obtain a phase signal and an amplitude signal, and performing inverse Fourier transform on only the phase signal. Since this is a dimension measurement method and uses only phase components, highly accurate matching is possible, and the accuracy of distance measurement is higher than that of the SAD method. The POC method is, for example, a paper by Yasuhiro Fukuda, Masahide Abe, and Masayuki Kawamata “Realization of video image misregistration using phase-only correlation by DSP” (Tohoku Section of the Society of Instrument and Control Engineers 215th Meeting (2004.5.27 ) You can refer to document number 215-3).

各距離情報生成部15,16は、上述のSAD法、POC法による距離算出のための演算を集積素子等によりハード的に処理できるが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。   Each of the distance information generation units 15 and 16 can process the calculation for the distance calculation by the above-described SAD method and POC method by hardware using an integrated element or the like, but performs the processing by software by a CPU (Central Processing Unit). It may be. In this case, the CPU executes a predetermined calculation according to a predetermined program.

図3は、図1の障害物計測装置10のカメラ11(または12)により撮影したカメラ画像を示す模式図(a)、図3(a)の画像から得た低解像度の距離画像を示す模式図(b)、図3(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(c)、及びウィンドウサイズを距離thを境にして変えることを示すグラフ(d)である。   FIG. 3 is a schematic diagram showing a camera image photographed by the camera 11 (or 12) of the obstacle measuring apparatus 10 of FIG. 1, and a schematic diagram showing a low-resolution distance image obtained from the image of FIG. Schematic diagram (c) showing the window size of the corresponding point search set for each image in FIGS. (B) and (a), and a graph (d) showing changing the window size with distance th as the boundary It is.

図1の障害物計測装置10を搭載した車両が走行中に、図3(a)の画面9のように道路1上の前方の車両2,3を例えばカメラ12で撮影し、車両2,3の各画像について第1の距離情報生成部15で生成された距離情報(図3(b)の距離画像参照)に基づいてウィンドウサイズ設定部17が対応点探索のためのウィンドウサイズを設定する。   While the vehicle equipped with the obstacle measuring device 10 of FIG. 1 is traveling, the vehicles 2 and 3 ahead on the road 1 are photographed by the camera 12, for example, as shown in the screen 9 of FIG. The window size setting unit 17 sets the window size for the corresponding point search based on the distance information (see the distance image in FIG. 3B) generated by the first distance information generation unit 15 for each of the images.

すなわち、例えば、図3(d)のように、第1の距離情報生成部15で得た図3(c)の車両3までの距離が閾値th以上であり遠距離であれば、遠距離の車3に対するウィンドウW3のサイズをNと設定し、また、図3(c)の車両2までの距離が閾値th以下であり近距離であれば、近距離の車2に対するウィンドウW2のサイズをM(<N)と設定する。このようにして、図3(c)のように近距離の車3に対するウィンドウW2のサイズMは、遠距離の場合のウィンドウW3のサイズNよりも小さく設定される。   That is, for example, as shown in FIG. 3D, if the distance to the vehicle 3 in FIG. If the size of the window W3 with respect to the car 3 is set to N, and the distance to the vehicle 2 in FIG. (<N) is set. In this way, as shown in FIG. 3C, the size M of the window W2 for the vehicle 3 at a short distance is set smaller than the size N of the window W3 at a long distance.

次に、図1の障害物計測装置10の全体の動作(ステップS01〜S06)について図4のフローチャートを参照して説明する。   Next, the overall operation (steps S01 to S06) of the obstacle measuring apparatus 10 of FIG. 1 will be described with reference to the flowchart of FIG.

まず、カメラ11,12で撮影した画像、例えば、図3(a)の道路1上を走行している車両2,3の画像が入力すると(S01)、画像補正部13で画像補正してから(S02)、多重解像度画像生成部14で複数の解像度の画像を生成する(S03)。   First, when images captured by the cameras 11 and 12, for example, images of the vehicles 2 and 3 running on the road 1 in FIG. 3A are input (S01), the image correction unit 13 corrects the images. (S02) The multi-resolution image generation unit 14 generates images of a plurality of resolutions (S03).

次に、第1の距離情報生成部15で、上述の複数の解像度の画像の内の低解像度画像に基づいて距離情報(距離画像)を生成し(S04)、この低解像度画像により算出された距離情報に基づいてウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズを設定する(S05)。   Next, the first distance information generation unit 15 generates distance information (distance image) based on the low-resolution image among the above-described plurality of resolution images (S04), and is calculated from this low-resolution image. Based on the distance information, the window size setting unit 17 sets the window size for the corresponding point search (S05).

次に、第2の距離情報生成部16で同じく高解像度画像に基づいて距離情報(距離画像)を生成する(S06)。このときの対応点探索のためのウィンドウサイズは、上記ステップS05で設定されたものである。ステップS06で得た距離情報が図1の障害物計測装置10から出力する。   Next, distance information (distance image) is similarly generated by the second distance information generation unit 16 based on the high-resolution image (S06). The window size for corresponding point search at this time is set in step S05. The distance information obtained in step S06 is output from the obstacle measuring device 10 in FIG.

次に、図4のステップS05におけるウィンドウサイズ設定のステップS11〜S13について図5のフローチャートを参照して説明する。   Next, window size setting steps S11 to S13 in step S05 of FIG. 4 will be described with reference to the flowchart of FIG.

第1の距離情報生成部15で低解像度画像に基づいて算出された距離が、例えば、図3(a)の車両3について閾値th以上であり遠距離であると(S11)、図3(d)のようにウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズをNに設定する(S12)。   If the distance calculated based on the low-resolution image by the first distance information generation unit 15 is equal to or greater than the threshold th for the vehicle 3 in FIG. 3A, for example (S11), FIG. ), The window size for the corresponding point search is set to N by the window size setting unit 17 (S12).

また、低解像度画像に基づいて算出された距離が、例えば、図3(a)の車両2について閾値th以下であり近距離であると(S11)、図3(d)のようにウィンドウサイズ設定部17で対応点探索のためのウィンドウサイズをMに設定する(S13)。   If the distance calculated based on the low-resolution image is, for example, the threshold value th or less for the vehicle 2 in FIG. 3A and a short distance (S11), the window size setting is performed as shown in FIG. The window size for the corresponding point search is set to M in the unit 17 (S13).

上述のように、図3(a)の遠距離の車両3については図3(c)のようにウィンドウW3のサイズがN×Nと設定され、また、近距離の車両2についてはウィンドウW2のサイズがM×M(M<N)と設定されてから、図4のステップS06で各ウィンドウサイズで対応点探索を行い距離情報を生成する。   As described above, for the long-distance vehicle 3 in FIG. 3A, the size of the window W3 is set to N × N as shown in FIG. 3C, and for the short-distance vehicle 2 the window W2 After the size is set to M × M (M <N), in step S06 in FIG. 4, a corresponding point search is performed with each window size to generate distance information.

以上のようにして、図1の障害物計測装置10から出力する距離情報を生成することができるが、従来まで、対象物体が近距離であると、特徴の取り易いエッジ付近において背景とのオクルージョンの影響が大きくなり、対応点探索が困難となり距離精度が低下していたのに対し、本実施の形態によれば、近距離の物体についての対応点探索のためのウィンドウサイズを遠距離の場合よりも小さく設定することで、背景との区別を取り易くなり、このため、距離精度が向上し信頼性を確保できるとともに、第2の距離情報生成部16における処理時間の短縮及び第2の距離情報生成部16の集積素子の回路規模削減が可能となる。   As described above, the distance information output from the obstacle measuring apparatus 10 of FIG. 1 can be generated. Conventionally, if the target object is a short distance, the occlusion with the background is near the edge where the feature is easy to be taken. However, according to the present embodiment, the window size for searching for corresponding points for short-distance objects is long distance. By setting it smaller, it becomes easier to distinguish from the background. Therefore, the distance accuracy can be improved and the reliability can be ensured, the processing time in the second distance information generation unit 16 can be shortened, and the second distance can be secured. The circuit scale of the integrated element of the information generation unit 16 can be reduced.

〈第2の実施の形態〉
図6は第2の実施の形態による障害物計測装置の概略的構成を示すブロック図である。
<Second Embodiment>
FIG. 6 is a block diagram showing a schematic configuration of an obstacle measuring apparatus according to the second embodiment.

図6に示すように、車両用の障害物計測装置20は、右カメラ11と、左カメラ12と、カメラ11,12からの画像を補正する画像補正部13と、カメラ11,12による画像に基づいて距離情報・距離画像を生成する距離情報生成部18と、を備え、車両に搭載される。なお、右カメラ11、左カメラ12、及び画像補正部13は、図1と同様の構成である。   As shown in FIG. 6, the obstacle measurement device 20 for a vehicle includes a right camera 11, a left camera 12, an image correction unit 13 that corrects images from the cameras 11 and 12, and images by the cameras 11 and 12. A distance information generation unit 18 that generates distance information and a distance image based on the distance information and is mounted on a vehicle. The right camera 11, the left camera 12, and the image correction unit 13 have the same configuration as that in FIG.

距離情報生成部18は、図1と同様に、カメラ11,12からの右画像と左画像との水平位置のずれ(視差)に基づいて障害物までの距離を3次元的に算出し距離画像を生成する。なお、距離情報生成部18は、視差演算の方法としてPOC法を用いて、距離情報生成部15,16と同様に、ハード的またはソフト的に処理可能である。   The distance information generation unit 18 calculates the distance to the obstacle three-dimensionally based on the horizontal position shift (parallax) between the right image and the left image from the cameras 11 and 12 as in FIG. Is generated. Note that the distance information generation unit 18 can be processed in hardware or software in the same manner as the distance information generation units 15 and 16 using the POC method as a parallax calculation method.

図7は、図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す模式図(a)及び図7(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(b)である。   FIG. 7 is a schematic diagram showing a camera image taken in front by the camera of the obstacle measuring device 20 of FIG. 6 and shows a window size of corresponding point search set for each image of FIG. 7A. It is a schematic diagram (b).

図6の障害物計測装置20を車両に搭載し、図7(a)のように、道路1上を走行しながら、例えばカメラ12で前方の車両2,3を撮影し、画面9内で車両2,3のカメラ画像を得る。図7(a)の車両2,3の画像により距離情報生成部18で距離情報を生成するとき、画面9の画像下部9a内の車両2を近距離にあるとし、また、画面9の画像上部9b内の車両3を遠距離にあるとする。そして、図7(b)のように、画像下部9a内の車両2について対応点探索のためのウィンドウW2のサイズを画像上部9bの車両3についての対応点探索のウィンドウW3よりも小さく設定する。すなわち、図3(c)、(d)と同様に、画像下部9aではウィンドウW2をサイズMに、画像上部9bではウィンドウW3をサイズN(>M)に設定する。   The obstacle measuring device 20 shown in FIG. 6 is mounted on a vehicle, and while traveling on the road 1 as shown in FIG. A few camera images are obtained. When the distance information generating unit 18 generates distance information from the images of the vehicles 2 and 3 in FIG. 7A, it is assumed that the vehicle 2 in the image lower part 9a of the screen 9 is at a short distance, and the image upper part of the screen 9 It is assumed that the vehicle 3 in 9b is at a long distance. Then, as shown in FIG. 7B, the size of the window W2 for searching for corresponding points for the vehicle 2 in the lower image portion 9a is set smaller than the window W3 for searching for corresponding points for the vehicle 3 in the upper image portion 9b. That is, similarly to FIGS. 3C and 3D, the window W2 is set to size M in the lower image portion 9a, and the window W3 is set to size N (> M) in the upper image portion 9b.

上述のように走行中の車載カメラにより前方撮影している場合においては、画像上部9bに主に遠距離対象物、画像下部9aに近距離対象物が存在するので、画像上部9bの対応点探索のウィンドウW3のサイズよりも画像下部9aのウィンドウW2のサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、距離情報生成部18における処理時間の短縮及び回路規模削減が可能となる。   As described above, in the case of shooting forward with a vehicle-mounted camera while traveling, since there are mainly long-distance objects in the upper image portion 9b and short-distance objects in the lower image portion 9a, search for corresponding points in the upper image portion 9b. By making the size of the window W2 in the lower part 9a of the image lower than the size of the window W3, it becomes easier to distinguish the object from the background when the object is a short distance, thereby improving the distance accuracy and ensuring reliability. In addition, the processing time in the distance information generator 18 and the circuit scale can be reduced.

次に、図6の障害物計測装置20における変形例について図8を参照して説明する。図8は図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す図7(a)と同様の模式図である。   Next, a modification of the obstacle measuring apparatus 20 in FIG. 6 will be described with reference to FIG. FIG. 8 is a schematic view similar to FIG. 7A showing a camera image taken in front by the camera of the obstacle measuring device 20 of FIG.

図8のように、画面9内の車両2,3の画像により距離情報生成部18で距離情報を生成するとき、画面9の画像周辺部9c内の車両2を近距離にあるとし、また、画像中心部9d内の車両3を遠距離にあるとし、更に、画像上部9e内の画像は視差算出の対象としない。そして、図7(b)と同様に、画像周辺部9c内の車両2について対応点探索のためのウィンドウW2のサイズを画像中心部9dの車両3についての対応点探索のウィンドウW3よりも小さく設定する。例えば、図3(c)、(d)と同様に、画像周辺部9cではウィンドウW2をサイズMに、画像中心部9dではウィンドウW3をサイズN(>M)に設定する。   As shown in FIG. 8, when the distance information generating unit 18 generates the distance information from the images of the vehicles 2 and 3 in the screen 9, it is assumed that the vehicle 2 in the image peripheral part 9c of the screen 9 is at a short distance, It is assumed that the vehicle 3 in the image center part 9d is at a long distance, and further, the image in the image upper part 9e is not subject to parallax calculation. Similarly to FIG. 7B, the size of the window W2 for searching for the corresponding point for the vehicle 2 in the image peripheral portion 9c is set smaller than the window W3 for searching for the corresponding point for the vehicle 3 in the image center portion 9d. To do. For example, as in FIGS. 3C and 3D, the window W2 is set to size M in the image peripheral portion 9c, and the window W3 is set to size N (> M) in the image center portion 9d.

上述のように走行中に車載カメラにより前方撮影している場合においては、遠距離対象物は画像中心部9dに、近距離対象物は画像周辺部9cに集中するので、画像中心部9dの対応点探索のウィンドウW3のサイズよりも画像周辺部9cのウィンドウW2のサイズを小さくすることで、対象物が近距離の場合には背景との区別がし易くなり、このため距離精度が向上し信頼性を確保できるとともに、距離情報生成部18における処理時間の短縮及び回路規模削減が可能となる。   As described above, in the case of shooting forward with the in-vehicle camera while traveling, the long-distance objects are concentrated on the image center portion 9d, and the short-distance objects are concentrated on the image periphery portion 9c. By making the size of the window W2 of the image peripheral portion 9c smaller than the size of the window W3 for point search, it becomes easy to distinguish the object from the background when the object is a short distance, thereby improving distance accuracy and reliability. In addition, the processing time in the distance information generation unit 18 and the circuit scale can be reduced.

また、図8の画像上部9eのように、一定位置以上の画像上部について視差算出の対象としないが、一定位置以上の画像上部には、背景(山、空等)などの障害物として検出する必要の無い映像が写るが、かかる画像上部では視差算出をしないから、距離情報生成部18における不必要な演算を効果的に抑制できる。   Also, unlike the upper image portion 9e in FIG. 8, the upper image portion above a certain position is not subject to parallax calculation, but the upper image portion above a certain position is detected as an obstacle such as a background (mountain, sky, etc.). Although an unnecessary video is shown, parallax calculation is not performed on the upper part of the image, so that unnecessary calculation in the distance information generation unit 18 can be effectively suppressed.

〈第3の実施の形態〉
図9は第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。
<Third Embodiment>
FIG. 9 is a block diagram schematically showing an obstacle measurement system for a vehicle according to a third embodiment.

図9の障害物計測システム30は、図1または図6の障害物計測装置10または20と、障害物計測装置10,20の距離情報生成部16または18からの距離情報に基づいて例えば先行車両2との間の距離が設定距離以上か否かを判定する判定部31と、先行車両2との間の距離が設定距離以下のときに車両の操縦者に警告音や警告音声や警告ランプ等で危険を知らせる警告部32と、を備える。   The obstacle measurement system 30 of FIG. 9 is based on the distance information from the obstacle information measuring unit 10 or 20 of FIG. 1 or FIG. When the distance between the determination unit 31 and the preceding vehicle 2 is equal to or less than the set distance, a warning sound, a warning sound, a warning lamp, etc. And a warning unit 32 for informing the danger.

図9の障害物計測システム30によれば、先行車両2との間の距離が設定距離以下となり接近した場合、障害物計測装置10,20からの距離情報に基づく警告部32からの警告により操縦者は危険に注意が向き、危険回避の操作を行うことができるとともに、距離精度が向上し信頼性を確保でき、演算時間の短縮、回路規模削減を実現できる。   According to the obstacle measurement system 30 in FIG. 9, when the distance to the preceding vehicle 2 is less than the set distance and the vehicle approaches, the operation is performed by a warning from the warning unit 32 based on the distance information from the obstacle measurement devices 10 and 20. The person can pay attention to the danger and can perform the operation of avoiding the danger, and the distance accuracy can be improved and the reliability can be secured, so that the calculation time can be shortened and the circuit scale can be reduced.

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,図6の障害物計測装置10,20または図9の障害物計測システム30は、自動車や電車等の自走車両に搭載して使用可能であるが、これらに限定されず、例えば、ロボット等に搭載してもよいことはもちろんである。   As described above, the best mode for carrying out the present invention has been described. However, the present invention is not limited to these, and various modifications are possible within the scope of the technical idea of the present invention. For example, the obstacle measurement devices 10 and 20 in FIGS. 1 and 6 or the obstacle measurement system 30 in FIG. 9 can be used by being mounted on a self-propelled vehicle such as an automobile or a train, but is not limited thereto. For example, it may of course be mounted on a robot or the like.

また、図9の障害物計測システム30では、先行車両2との間の距離が設定距離以下のとき、警告を発するようにしたが、例えば、自動的に減速するように車両を制御するようにしてもよい。   In the obstacle measurement system 30 of FIG. 9, a warning is issued when the distance to the preceding vehicle 2 is equal to or less than the set distance. For example, the vehicle is controlled so as to automatically decelerate. May be.

第1の実施の形態による障害物計測装置の概略的構成を示すブロック図である。It is a block diagram showing a schematic structure of an obstacle measuring device by a 1st embodiment. 図1の障害物計測装置における視差算出のための対応点探索を説明するために左画像を示す概略図(a)、右画像を示す概略図(b)及び探索位置と相関値との関係例を概略的に示す図(c)である。。Schematic diagram (a) showing a left image, schematic diagram (b) showing a right image, and an example of a relationship between a search position and a correlation value in order to explain corresponding point search for parallax calculation in the obstacle measurement apparatus of FIG. (C) which shows schematically. . 図1の障害物計測装置10のカメラ11(または12)により撮影したカメラ画像を示す模式図(a)、図3(a)の画像から得た低解像度の距離画像を示す模式図(b)、図3(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(c)、及びウィンドウサイズを距離thを境にして変えることを示すグラフ(d)である。FIG. 1A is a schematic diagram showing a camera image taken by the camera 11 (or 12) of the obstacle measuring apparatus 10 in FIG. 1, and FIG. 3B is a schematic diagram showing a low-resolution distance image obtained from the image in FIG. 4A is a schematic diagram showing a corresponding point search window size set for each image in FIG. 3A, and FIG. 4D is a graph showing that the window size is changed with the distance th as a boundary. 図1の障害物計測装置10の全体の動作(ステップS01〜S06)を説明するためのフローチャートである。It is a flowchart for demonstrating the whole operation | movement (step S01-S06) of the obstacle measuring device 10 of FIG. 図4のステップS05におけるウィンドウサイズ設定のステップS11〜S13を説明するためのフローチャートである。It is a flowchart for demonstrating step S11-S13 of the window size setting in step S05 of FIG. 第2の実施の形態による障害物計測装置の概略的構成を示すブロック図である。It is a block diagram which shows schematic structure of the obstacle measuring device by 2nd Embodiment. 図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す模式図(a)及び図7(a)の各画像に対して設定した対応点探索のウィンドウサイズを示す模式図(b)である。Schematic diagram (a) showing a camera image taken in front by the camera of the obstacle measuring apparatus 20 in FIG. 6 and schematic diagram (b) showing the window size of corresponding point search set for each image in FIG. 7 (a). ). 第2の実施の形態の変形例を説明するための図であり、図6の障害物計測装置20のカメラにより前方を撮影したカメラ画像を示す図7(a)と同様の模式図である。It is a figure for demonstrating the modification of 2nd Embodiment, and is a schematic diagram similar to Fig.7 (a) which shows the camera image image | photographed the front with the camera of the obstacle measuring device 20 of FIG. 第3の実施の形態の車両用の障害物計測システムを概略的に示すブロック図である。It is a block diagram which shows roughly the obstacle measuring system for vehicles of 3rd Embodiment.

符号の説明Explanation of symbols

10,20 障害物計測装置
11 右カメラ
12 左カメラ
14 多重解像度画像生成部
15 第1の距離情報生成部
16 第2の距離情報生成部
17 ウィンドウサイズ設定部
9 画面
9a 画像下部
9b 画像上部
9c 画像周辺部
9d 画像中心部
9e 画像上部
30 障害物計測システム
W2,W3 ウィンドウ
DESCRIPTION OF SYMBOLS 10,20 Obstacle measuring device 11 Right camera 12 Left camera 14 Multi-resolution image generation part 15 1st distance information generation part 16 2nd distance information generation part 17 Window size setting part 9 Screen 9a Image lower part 9b Image upper part 9c Image Peripheral part 9d Image center part 9e Upper part of image 30 Obstacle measurement system W2, W3 Window

Claims (14)

障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、
低解像度画像により求めた距離情報に基づいて、高解像度画像における前記視差算出のための対応点探索のウィンドウサイズを設定することを特徴とする障害物計測方法。
An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method characterized by setting a window size for searching for corresponding points for parallax calculation in a high-resolution image based on distance information obtained from a low-resolution image.
前記低解像度画像における視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いる請求項1に記載の障害物計測方法。   The obstacle measuring method according to claim 1, wherein an SAD method (sum of absolute differences) or a POC method (phase-only correlation method) is used as a correlation calculation method for calculating parallax in the low-resolution image. 前記高解像度画像における視差算出の相関演算方法としてPOC法(位相限定相関法)を用いる請求項1または2に記載の障害物計測方法。   The obstacle measurement method according to claim 1, wherein a POC method (phase-only correlation method) is used as a correlation calculation method for calculating parallax in the high-resolution image. 前記低解像度画像により求めた障害物までの距離が近距離である場合、前記ウィンドウサイズを遠距離の場合よりも小さく設定する請求項1,2または3に記載の障害物計測方法。   The obstacle measurement method according to claim 1, 2, or 3, wherein when the distance to the obstacle obtained from the low-resolution image is a short distance, the window size is set smaller than that for a long distance. 障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、
画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする障害物計測方法。
An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method, wherein a window size for searching for a corresponding point for calculating the parallax in the lower part of the image is set smaller than that in the upper part of the image.
障害物までの距離をステレオ画像による視差算出で計測する障害物計測方法であって、
画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする障害物計測方法。
An obstacle measurement method for measuring the distance to an obstacle by calculating parallax using a stereo image,
An obstacle measurement method, wherein a window size for searching for corresponding points for calculating parallax in an image peripheral portion is set smaller than that in an image central portion.
一定位置以上の画像上部については前記視差算出の対象としない請求項5または6に記載の障害物計測方法。   The obstacle measurement method according to claim 5 or 6, wherein an upper part of an image above a certain position is not subject to the parallax calculation. 障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、
画像を取得する複数のカメラと、
前記画像から解像度の異なる少なくとも高解像度画像及び低解像度画像を生成する画像生成部と、
前記低解像度画像から視差算出により第1の距離情報を生成する第1の距離情報生成部と、
前記高解像度画像から視差算出により第2の距離情報を生成する第2の距離情報生成部と、を備え、
前記高解像度画像による前記視差算出のための対応点探索のウィンドウサイズを前記第1の距離情報に基づいて設定することを特徴とする障害物計測装置。
An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
An image generator that generates at least a high-resolution image and a low-resolution image having different resolutions from the image;
A first distance information generation unit that generates first distance information from the low-resolution image by parallax calculation;
A second distance information generation unit that generates second distance information by calculating parallax from the high-resolution image,
An obstacle measuring apparatus, wherein a window size for searching for a corresponding point for calculating the parallax using the high-resolution image is set based on the first distance information.
前記第1の距離情報生成部は、前記視差算出の相関演算方法としてSAD法(差分絶対値和)またはPOC法(位相限定相関法)を用いる請求項8に記載の障害物計測装置。   The obstacle measurement apparatus according to claim 8, wherein the first distance information generation unit uses a SAD method (sum of absolute differences) or a POC method (phase-only correlation method) as the correlation calculation method of the parallax calculation. 前記第2の距離情報生成部は、前記視差算出の相関演算方法としてPOC法(位相限定相関法)を用いる請求項8または9に記載の障害物計測装置。   The obstacle measurement device according to claim 8 or 9, wherein the second distance information generation unit uses a POC method (phase-only correlation method) as a correlation calculation method of the parallax calculation. 障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、
画像を取得する複数のカメラと、
前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、
前記距離情報の生成のとき画像下部における前記視差算出のための対応点探索のウィンドウサイズを画像上部よりも小さく設定することを特徴とする障害物計測装置。
An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
A distance information generation unit that generates distance information by calculating parallax from the image,
An obstacle measuring device characterized in that, when generating the distance information, a window size for searching for corresponding points for calculating the parallax at the lower part of the image is set smaller than that at the upper part of the image.
障害物までの距離をステレオ画像による視差算出で計測する障害物計測装置であって、
画像を取得する複数のカメラと、
前記画像から視差算出により距離情報を生成する距離情報生成部と、を備え、
前記距離情報の生成のとき画像周辺部における前記視差算出のための対応点探索のウィンドウサイズを画像中心部よりも小さく設定することを特徴とする障害物計測装置。
An obstacle measurement device that measures the distance to an obstacle by calculating parallax using a stereo image,
Multiple cameras that capture images,
A distance information generation unit that generates distance information by calculating parallax from the image,
An obstacle measuring device characterized in that, when generating the distance information, a window size for searching for corresponding points for parallax calculation in an image peripheral portion is set smaller than that in an image central portion.
前記距離情報生成部は、一定位置以上の画像上部については前記視差算出の対象としない請求項11または12に記載の障害物計測装置。   The obstacle measurement device according to claim 11 or 12, wherein the distance information generation unit does not subject the upper part of the image above a certain position to the parallax calculation target. 請求項8乃至13のいずれか1項に記載の障害物計測装置と、前記計測された距離情報に基づいて前記障害物に関する危険を判定する判定部と、前記危険と判定されたときに警告を発する警告部と、を備えることを特徴とする障害物計測システム。   An obstacle measurement device according to any one of claims 8 to 13, a determination unit that determines a risk related to the obstacle based on the measured distance information, and a warning when the risk is determined. An obstacle measuring system comprising: a warning unit that emits.
JP2007157746A 2007-06-14 2007-06-14 Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system Pending JP2008309637A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007157746A JP2008309637A (en) 2007-06-14 2007-06-14 Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007157746A JP2008309637A (en) 2007-06-14 2007-06-14 Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system

Publications (1)

Publication Number Publication Date
JP2008309637A true JP2008309637A (en) 2008-12-25

Family

ID=40237369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007157746A Pending JP2008309637A (en) 2007-06-14 2007-06-14 Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system

Country Status (1)

Country Link
JP (1) JP2008309637A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013706A (en) * 2009-06-30 2011-01-20 Hitachi Ltd Stereo image processing device and method
JP2012002683A (en) * 2010-06-17 2012-01-05 Fuji Electric Co Ltd Stereo image processing method and stereo image processing device
JP2013117969A (en) * 2011-12-01 2013-06-13 Sony Corp System and method for generating robust depth map utilizing multiple resolution procedure
JP2013174494A (en) * 2012-02-24 2013-09-05 Ricoh Co Ltd Image processing device, image processing method, and vehicle
JP2015159397A (en) * 2014-02-24 2015-09-03 株式会社リコー Image processing apparatus, image processing system, and image processing method
WO2017212992A1 (en) * 2016-06-08 2017-12-14 日立オートモティブシステムズ株式会社 Object distance detection device
EP3343500A4 (en) * 2015-08-26 2019-12-04 Sony Interactive Entertainment Inc. Image processing device and image processing method
WO2023136050A1 (en) * 2022-01-14 2023-07-20 パナソニックIpマネジメント株式会社 Image processing device and image processing method
WO2024157410A1 (en) * 2023-01-26 2024-08-02 日立Astemo株式会社 Image processing device, imaging device, and image processing method
EP4443105A1 (en) * 2023-02-22 2024-10-09 Canon Kabushiki Kaisha Distance measurement device, movable apparatus, and control method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013706A (en) * 2009-06-30 2011-01-20 Hitachi Ltd Stereo image processing device and method
JP2012002683A (en) * 2010-06-17 2012-01-05 Fuji Electric Co Ltd Stereo image processing method and stereo image processing device
JP2013117969A (en) * 2011-12-01 2013-06-13 Sony Corp System and method for generating robust depth map utilizing multiple resolution procedure
JP2013174494A (en) * 2012-02-24 2013-09-05 Ricoh Co Ltd Image processing device, image processing method, and vehicle
JP2015159397A (en) * 2014-02-24 2015-09-03 株式会社リコー Image processing apparatus, image processing system, and image processing method
EP3343500A4 (en) * 2015-08-26 2019-12-04 Sony Interactive Entertainment Inc. Image processing device and image processing method
US10559089B2 (en) 2015-08-26 2020-02-11 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
JP2017219427A (en) * 2016-06-08 2017-12-14 日立オートモティブシステムズ株式会社 Object distance detection device
CN109196304A (en) * 2016-06-08 2019-01-11 日立汽车系统株式会社 Object distance detection device
WO2017212992A1 (en) * 2016-06-08 2017-12-14 日立オートモティブシステムズ株式会社 Object distance detection device
EP3470780A4 (en) * 2016-06-08 2020-02-26 Hitachi Automotive Systems, Ltd. Object distance detection device
US11029150B2 (en) 2016-06-08 2021-06-08 Hitachi Automotive Systems, Ltd. Object distance detection device
CN109196304B (en) * 2016-06-08 2021-07-30 日立汽车系统株式会社 Object distance detection device
WO2023136050A1 (en) * 2022-01-14 2023-07-20 パナソニックIpマネジメント株式会社 Image processing device and image processing method
WO2024157410A1 (en) * 2023-01-26 2024-08-02 日立Astemo株式会社 Image processing device, imaging device, and image processing method
EP4443105A1 (en) * 2023-02-22 2024-10-09 Canon Kabushiki Kaisha Distance measurement device, movable apparatus, and control method

Similar Documents

Publication Publication Date Title
JP2008309637A (en) Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system
JP2008298533A (en) Obstruction measurement method, device, and system
JP6565188B2 (en) Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program
CN111971682B (en) Road surface detection device, image display device, obstacle detection device, road surface detection method, image display method, and obstacle detection method
JP6417886B2 (en) Parallax value deriving device, moving body, robot, parallax value production method, and program
JP6561512B2 (en) Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program
WO2017138245A1 (en) Image processing device, object recognition device, device control system, and image processing method and program
JP4872769B2 (en) Road surface discrimination device and road surface discrimination method
JP6035774B2 (en) Image processing apparatus, image processing method, and vehicle
JP6337504B2 (en) Image processing apparatus, moving body, robot, device control method and program
JP6589313B2 (en) Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program
JP2016152027A (en) Image processing device, image processing method and program
JP6455164B2 (en) Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program
JP2009188635A (en) Vehicle peripheral image processor and vehicle peripheral condition presenting method
JP2009092551A (en) Method, apparatus and system for measuring obstacle
JP2015230703A (en) Object detection device and object detection method
JP2019129482A (en) Image processing device
JP2013161190A (en) Object recognition device
JP6519138B2 (en) PARALLEL VALUE DERIVING DEVICE, MOBILE OBJECT, ROBOT, PARALLEL VALUE PRODUCTION METHOD, AND PROGRAM
JP2014130429A (en) Photographing device and three-dimensional object area detection program
JP2006072757A (en) Object detection system
JP2006318060A (en) Apparatus, method, and program for image processing
JP4788399B2 (en) Pedestrian detection method, apparatus, and program
JP2006318062A (en) Image processor, image processing method and image processing program
JP2013161187A (en) Object recognition device