[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020036039A1 - ステレオカメラ装置 - Google Patents

ステレオカメラ装置 Download PDF

Info

Publication number
WO2020036039A1
WO2020036039A1 PCT/JP2019/028399 JP2019028399W WO2020036039A1 WO 2020036039 A1 WO2020036039 A1 WO 2020036039A1 JP 2019028399 W JP2019028399 W JP 2019028399W WO 2020036039 A1 WO2020036039 A1 WO 2020036039A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
feature point
road surface
road
Prior art date
Application number
PCT/JP2019/028399
Other languages
English (en)
French (fr)
Inventor
松尾　茂
野中　進一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201980049920.3A priority Critical patent/CN112513573B/zh
Publication of WO2020036039A1 publication Critical patent/WO2020036039A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an in-vehicle stereo camera device that recognizes an obstacle outside a vehicle using a plurality of cameras mounted on the vehicle.
  • the types of cameras include a monocular camera and a stereo camera using a plurality of cameras.
  • the stereo camera can measure a distance to a photographed object by using a parallax of an overlapping area photographed by two cameras arranged at a predetermined interval. For this reason, it is possible to accurately grasp the risk of collision with an object such as the front.
  • the stereo camera obtains the parallax of the images captured by the two cameras, and converts the parallax into a distance.
  • the stereo camera is characterized in that the parallax decreases as the measurement distance increases. Therefore, when detecting an obstacle on a distant road, the difference between the parallax of the road surface and the parallax of the obstacle becomes small, and it becomes difficult to distinguish the noise of the parallax of the road surface from the parallax of the obstacle.
  • Patent Document 1 listed below proposes a method for preventing erroneous calculation of parallax.
  • Patent Document 1 When calculating the disparity, the above-described Patent Document 1 assumes the range of the disparity of the object in the current frame using the disparity of the object calculated in the image of the past frame, and sets the disparity of the object in the current frame to the estimated range. It makes it easy to take a value. However, Patent Literature 1 does not disclose that noise of distant obstacle parallax and road surface parallax is detected separately.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a stereo camera device that distinguishes between parallax of a road surface and parallax of an obstacle, thereby obstructing an object such as a three-dimensional object or a depression on a distant road.
  • An object of the present invention is to provide a stereo camera device capable of detecting (an obstacle on the road) at an early stage.
  • a stereo camera device that recognizes obstacles on the road from images captured by a plurality of cameras mounted on a vehicle, calculates parallax from images of the plurality of cameras, and estimates parallax of a road surface in the images.
  • a feature point on a road surface having a difference is extracted, and when it is determined that a change in parallax between a plurality of frames of the feature point corresponds to a moving distance of the vehicle, the feature point is recognized as a road obstacle.
  • the present invention it is possible to distinguish between the parallax noise of a distant road obstacle and the noise of the road surface parallax, and it is possible to detect a distant road obstacle at an early stage.
  • FIG. 1 is a system configuration diagram of an embodiment of a stereo camera device of the present invention. It is a figure which shows the relationship between the obstacle on the distant road and road surface parallax, (a) is an example of an image when image
  • FIG. 4 is a schematic diagram of a feature point detection process.
  • 9 is a flowchart of feature point extraction processing when the road surface is inclined in the horizontal direction.
  • FIG. 10 is a system configuration diagram of another example of the stereo camera device of the present invention, which is compatible with pitching of a vehicle.
  • 9 is a flowchart of a detection process of a distant road obstacle corresponding to the pitching of the vehicle.
  • FIG. 3 is a configuration diagram of a feature point hardware detection unit suitable for hardware processing. Image example when there is a sign on the road surface.
  • FIG. 1 is a block diagram showing an embodiment of a stereo camera device 10 according to the present invention.
  • the stereo camera device 10 is mounted on a vehicle and is for recognizing obstacles outside the vehicle.
  • the stereo camera device 10 has a built-in electronic circuit mainly composed of a microcomputer including a CPU, a ROM, a RAM, and the like.
  • the photographing unit 20 is connected to two cameras, a right camera 22 and a left camera 21, which are arranged at a predetermined interval.
  • the photographing unit 20 performs luminance correction, noise elimination, and distortion correction of images captured by the left and right cameras 21 and 22.
  • the parallax calculating unit 30 calculates parallax using left and right camera images (images captured by the left and right cameras 21 and 22).
  • the road surface parallax estimating unit 40 estimates the road surface parallax of the traveling lane in which the vehicle equipped with the stereo camera 10 travels.
  • the feature point detection unit 50 detects, from the road surface parallax, a feature point of a portion different from the road surface parallax (a feature point on a road surface having a difference from the road surface estimated parallax in the image).
  • the feature point recording unit 60 records the position and the parallax of the feature point.
  • the position is not a coordinate on the image but a position on the terrain such as an angle and a distance with respect to the traveling direction of the vehicle or a latitude and longitude.
  • the moving distance parallax correction unit estimates and corrects how the parallax recorded by the feature point recording unit 60 changes when the vehicle moves over time. In other words, the vehicle moves as time elapses, and the distance between the feature point and the vehicle approaches due to the movement distance.
  • the detection unit 80 corrects the parallax of the feature points of the image captured earlier by the moving distance parallax correction unit 70, and the parallax of the image captured later. Compare the parallax of the feature point (particularly, the parallax of a part where the image of the feature point matches with an image captured later) and if the difference (comparison value) is within a predetermined range, Since it can be determined that the change in the parallax between the plurality of frames of the feature point corresponds to the moving distance of the vehicle, the feature point is detected as an obstacle on the road. In order for the vehicle to take an avoidance action, the detection result (obstacle detection information) of the detection unit 80 is used for controlling the accelerator, brake, steering, and the like of the vehicle.
  • FIG. 2 illustrates the relationship between distant road obstacles and road surface parallax.
  • FIG. 2A shows a state in which a road obstacle 300 is located far from the road surface 120 between the left lane 200 and the right lane 201 as an image taken by the right camera 22.
  • FIG. 2B is a schematic diagram of a graph showing the relationship between the distance and the road surface parallax. As shown in the figure, the parallax decreases as the distance increases. Therefore, assuming that the obstacle 300 on the road is at a distance of about 100 m, the point (feature point) has a slight change in the road surface parallax. Therefore, it is necessary to detect the distant road obstacle 300 separately from noise.
  • FIG. 3 shows a parallax calculation process of the parallax calculation unit 30.
  • An image 2210 taken by the right camera 22 is used as a reference image, and a reference block image 221 such as 8 ⁇ 8 pixels is defined.
  • the size of the block image is not limited to this example.
  • the reference image 212 having the search width for example, 256 pixels
  • SAD a difference between the reference block image 221 and the reference image 212 is calculated. This difference calculation is called SAD, and calculates the following equation (1).
  • I is an image block (for example, 8 ⁇ 8 pixels) in the reference image 212
  • T is image data of the reference block image 221
  • i, j are coordinates in the image block.
  • the calculation is performed for the search width while shifting the reference position of the reference image 212 by one pixel, and the position 211 where the SAD value becomes the smallest is searched.
  • parallax is obtained for the entire image.
  • the distance Z is obtained from the parallax d by the following equation (2).
  • f the focal length of the right and left cameras 22 and 21
  • B the distance (base line length) between the right camera 22 and the left camera 21
  • a the horizontal size of one pixel of the left camera 21.
  • FIG. 4 shows an operation flow of the stereo camera device 10 for detecting a distant road obstacle 300.
  • an image is taken by the left camera 21 and the right camera 22. This image is used as the first frame image by the photographing unit 20 (S100).
  • the entire parallax of the first frame image is generated by the parallax calculating unit 30 (S110).
  • the road surface parallax is extracted from the parallax, and the road surface parallax estimating unit 40 estimates the road surface parallax in units of one pixel in the Y direction of the image.
  • the parallax of the left lane 200 or the right lane 201 is selected (S120).
  • the feature point detection unit 50 detects feature points on the road surface.
  • FIG. 5A shows an example in which three rows of raster 301, raster 302, and raster 303 are scanned.
  • the road surface parallax of the raster 301 is estimated to be 2.0, looking at the parallax of the raster 301 on the road surface, the parallax of the positions of the feature point 400, the feature point 401, and the feature point 402 is 2.1, Since the estimated road surface disparity is different from 2.0, the position and the disparity value are recorded (S130).
  • an image is photographed by the left camera 21 and the right camera 22, and the photographing unit 20 sets it as a second frame image (S140). It is desirable that the interval between the two frame images is an interval at which the feature points move by one raster or more on the image.
  • the parallax of the entire second frame image is generated by the parallax calculating unit 30 (S150).
  • the feature points recorded in S130 are tracked by the second frame image (by matching processing), and the parallax of the matched part is extracted and analyzed as A. This extraction method will be described with reference to FIG. In the second frame image of FIG. 5B, the time has passed since the image of FIG. 5A was captured, and thus the road obstacle 300 is approaching the vehicle.
  • the road obstacle 300 moves downward in the image.
  • This phenomenon is based on the fact that the image in front of the vehicle is a perspectively projected image.
  • an object approaching the vehicle is far from the vanishing point.
  • the vanishing point is the farthest point on the road surface, and the road surface is farther from the vanishing point (closer to the vehicle) as the image is lower than the vanishing point.
  • the object moves to the bottom of the image in order to move away from the vanishing point of the road.
  • FIG. 5B it is assumed that the position has been moved to the position of the raster 302.
  • the feature point 400 is the same as the road surface parallax, and it is highly likely that the noise was parallax noise.
  • the feature point 401 and the feature point 402 have a disparity of 2.2, and are extracted as a portion having a difference from the road surface estimated disparity 2.1 (S160).
  • the moving distance parallax correction unit 70 calculates the distance that the vehicle has moved between the two frames using the vehicle signal. Since the parallax d and the distance Z have a unique relationship according to the above equation (2), a change amount of the parallax corresponding to the moving distance of the vehicle can be obtained by applying the equation (2).
  • the amount of change in parallax corresponding to the moving distance is added (added) to the parallax of 2.1 between the feature points 401 and 402 extracted in the first frame.
  • the amount of change in parallax with respect to the moving distance of the vehicle can be calculated by a modification of equation (2).
  • the result is set to B (S170).
  • the detection unit 80 compares the A and the B, and determines whether or not the difference is within a predetermined value (S180). If the difference is within a predetermined value, it can be determined that the change in the parallax between the plurality of frames of the feature points 401 and 402 corresponds to the moving distance of the vehicle, so that the feature points 401 and 402 are determined to be road obstacles. (S190).
  • the parallax of the feature point changes in the coordinates and the parallax on the image in accordance with the movement of the vehicle (in other words, the change of the parallax between the plurality of frames of the feature point corresponds to the moving distance of the vehicle. )
  • noise it is extremely rare to change under such conditions, and this method can prevent the noise from being erroneously detected as an obstacle on the road.
  • FIG. 6 shows an example of an image when the road surface 120 is inclined left and right (horizontally).
  • the road surface estimated parallax at both ends on the raster in the road surface is different, and the road surface estimated parallax cannot be defined by one parallax for one raster.
  • FIG. 7 shows a feature point extraction method for that purpose.
  • FIG. 7 is an operation flow of the feature point extraction processing when the road surface 120 is inclined in the horizontal direction. This extraction process is performed by the feature point detection unit 50 (see FIG. 1).
  • the parallax of two points in the left and right lane portions on the same raster of the image is extracted (S200).
  • the number of pixels between the two points is calculated, and the difference between the parallax of the left point (parallax on one end) and the parallax of the right point (parallax on the other end) is calculated. Divide.
  • a change in parallax in the minimum pixel unit of the raster is calculated (S210).
  • the estimated road surface disparity the disparity is calculated for each pixel as disparity of the left point (disparity on one end side) + (result of S210 (the change) ⁇ the number of pixels from the left point) (S220).
  • the road surface estimated parallax is updated in accordance with the scanning in the right direction of the raster, and a road surface portion different from the road surface estimated parallax is extracted as a feature point (S230).
  • the estimated road surface parallax can be calculated in pixel units even if the road surface is inclined left and right, the feature points can be detected with high accuracy.
  • FIG. 8 is a block diagram of another example of the stereo camera device of the present invention corresponding to pitching of a vehicle.
  • FIG. 8 illustrates a case where the vehicle vibrates during shooting of a plurality of frame images and blur occurs in the image.
  • FIG. 3 is a block diagram showing a feature point tracking method.
  • the difference from FIG. 1 is a portion having a feature point image matching unit 90.
  • the feature point image matching unit 90 performs matching processing on the surrounding image of the feature point detected in the first frame image in the second frame image, and specifies the coordinates of the feature point in the second frame image.
  • FIG. 9 illustrates a flow of a process of detecting a road obstacle 300 by the stereo camera device 10 using the feature point image matching unit 90.
  • an image is taken by the left camera 21 and the right camera 22. This image is used as the first frame image by the photographing unit 20 (S300).
  • the entire parallax of the first frame image is generated by the parallax calculating unit 30 (S310).
  • the road surface parallax is extracted from the parallax, and the road surface parallax is estimated by the road surface parallax estimating unit 40 for each pixel in the Y direction of the image (S320).
  • the feature points on the road surface are detected by the feature point detection unit 50, and the parallax values and surrounding images are cut out and recorded (S330).
  • an image is photographed by the left camera 21 and the right camera 22 and the photographing unit 20 sets it as a second frame image (S340).
  • the parallax of the entire second frame image is generated by the parallax calculating unit 30 (S350).
  • the feature point image matching unit 90 performs matching processing between the surrounding image of the feature point extracted in the first frame image and the second frame image, and detects the coordinates of the feature point on the second frame image (S360). .
  • the parallax of the feature point of the second frame image detected in S360 is extracted as A (S370).
  • the moving distance parallax correction unit 70 calculates the distance that the vehicle has moved between the two frames, and adds (adds) the parallax corresponding to the moving distance of the vehicle to the feature points extracted in the first frame image. .
  • the result is set to B (S380).
  • the detection unit 80 compares the A and the B, and determines whether or not the difference is within a predetermined value (S390). If the difference is within a predetermined value, the feature point is determined to be a road obstacle (S400).
  • FIG. 10 illustrates a parallel processing of a function of detecting a feature point (a function of the feature point detection unit 50 of FIG. 1) and a function of generating a parallax on the road surface (a function of the road surface parallax estimation unit 40 of FIG. 1) by hardware.
  • FIG. 2 shows a configuration diagram of a feature point hardware detection unit 51 that enables high-speed processing.
  • the parallax calculating unit 30 calculates parallax for each pixel of the image photographed by the photographing unit 20.
  • the parallax calculating unit 30 includes a one-pixel parallax calculating unit 350 that performs a process of obtaining parallax one pixel at a time, and a coordinate updating unit 351 that generates coordinates for repeating the process for the entire image.
  • the feature point hard detection unit 51 determines whether or not the disparity is a feature point.
  • the feature point hard detection unit 51 includes a left lane coordinate register 360, a right lane coordinate register 362, and a road surface estimated parallax register 364, which are means for storing the estimated parallax of the left and right ends of the road surface and their coordinates, and a calculated road surface. It has comparators 361, 363, 365, and a feature point selection unit 366 which are means for comparing the above parallax with the estimated parallax of the road surface and outputting parallax having a predetermined difference and its coordinates.
  • the X coordinate of the left lane 200 is set and stored by software on a raster basis of the image before the processing is started.
  • the X coordinate of the right lane 201 is set and stored by software on a raster basis of the image before the processing is started.
  • the road surface estimated parallax register 364 the road surface estimated parallax is set and stored by software in raster units of the image. In such a state, the one-pixel parallax calculating unit 350 calculates the parallax in the image.
  • the X coordinate of the image at that time is compared with the X coordinate value of the raster in the left lane coordinate register 360 by the comparator 361, and the comparison result (that is, the coordinate having a predetermined difference) is sent to the feature point selection unit 366.
  • the X coordinate is compared with the X coordinate value of the raster in the right lane coordinate register 362 by the comparator 363, and the comparison result (that is, the coordinate having a predetermined difference) is sent to the feature point selection unit 366.
  • the disparity data is compared with the data of the road surface estimation disparity register 364 by the comparator 365, and the comparison result (that is, the disparity having a predetermined difference) is sent to the feature point selection unit 366.
  • the feature point selection unit 366 determines that the output of the comparator 361 satisfies the register value ⁇ X coordinate, the output of the comparator 363 satisfies the register value ⁇ X coordinate, and the result of the comparator 365 is road surface estimated disparity ⁇ disparity. When the conditions are satisfied, the coordinate values and the parallax data at that time are sent to the feature point recording unit 60.
  • FIG. 11 shows an example of an image when a sign is present on the road surface.
  • matching processing of the left and right camera images is performed as shown in FIG.
  • the texture of the image is necessary, and parallax cannot be calculated for a portion having a small texture such as a road surface, and invalid parallax may be obtained.
  • effective parallax is easily obtained in a portion with a road marking. Therefore, when there is parallax on the road, it may be a road marking as well as an obstacle on the road. If the image 310 of the part where the parallax exists is image-matched with the texture of the road marking to recognize the road marking, the processing area of the image matching is limited, so that the processing speed can be increased.
  • the parallax of the portion of the image 310 can be distinguished from noise.
  • the present embodiment when it is determined that the change in parallax between a plurality of frames of the feature point on the road surface having a difference between the estimated parallax of the road surface in the image and the difference corresponds to the moving distance of the vehicle, Since the feature points are recognized as road obstacles, it is possible to distinguish the noise of the parallax of the distant road obstacle from the noise of the parallax of the road surface, and it is possible to detect the distant road obstacle at an early stage.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described above.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added to the configuration of another embodiment.
  • the above-described configurations, functions, processing units, processing means, and the like may be partially or entirely realized by hardware, for example, by designing an integrated circuit.
  • the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file for realizing each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines are those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines on the product. In fact, it can be considered that almost all components are connected to each other.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本発明は、ステレオカメラ装置において、路面の視差と障害物の視差を区別して、遠方の路上の立体物や陥没などの障害物（路上障害物）をノイズと区別して早期に検知することのできるステレオカメラ装置を提供する。本発明は、路面の視差を推定し、その視差と差分が有る路面上の特徴点を複数フレームで追跡して、前記特徴点の視差の変化が車両の移動距離に相当する視差の変化であるかを分析して、路上障害物を検知する。

Description

ステレオカメラ装置
　本発明は、車両に搭載された複数のカメラを用いて車外の障害物の認識を行う車載用ステレオカメラ装置に関する。
　車両の走行安全性を向上させるために、車両に搭載したセンサで前方等の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。
　車両の前方等を監視するセンサとして、ミリ波レーダ、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔をあけて配備された２つのカメラで撮影された重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、前方等の物体との衝突危険度を的確に把握することができる。
　ステレオカメラは、２つのカメラで撮影された画像の視差を求めて、その視差を距離に変換する。ステレオカメラは、計測距離が遠方になるにつれ、視差が小さくなるという特徴がある。従って、遠方の路上障害物を検知する場合、路面の視差と障害物の視差の差分が小さくなり、路面の視差のノイズと障害物の視差の区別が困難になる。高速道路などの車両が高速走行する道路では、事故防止のために路上障害物を早期に検知する必要がある。そのためには、遠方の路面の視差と障害物の視差を高精度に区別することが要求される。下記特許文献１には、視差の誤計算を防止するための方法が提案されている。
特開２０１４－８５１２０号公報
　上記特許文献１は、視差を計算するときに、過去フレームの画像で計算した物体の視差を用いて現在フレームのその物体の視差の範囲を想定し、現在フレームの物体の視差がその想定範囲の値を取りやすくするものである。しかしながら、上記特許文献１では、遠方の障害物視差と路面視差のノイズを区別して検知することは開示されていない。
　本発明は、上記事情に鑑みてなされたもので、その目的とするところは、ステレオカメラ装置において、路面の視差と障害物の視差を区別して、遠方の路上の立体物や陥没などの障害物（路上障害物）を早期に検知することのできるステレオカメラ装置を提供することにある。
　上記課題を解決するための本発明の特徴は、例えば以下の通りである。すなわち、車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、前記複数のカメラの画像から視差を計算し、前記画像中の路面の推定視差と差分を有する路面上の特徴点を抽出し、前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識する。
　本発明によれば、遠方の路上障害物の視差と路面の視差のノイズを区別することが可能となり、遠方の路上障害物を早期に検知することが可能となる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明のステレオカメラ装置の一実施形態のシステム構成図。 遠方の路上障害物と路面視差の関係を示す図であり、（ａ）は右カメラで撮影したときの画像例、（ｂ）は距離と路面視差の関係を示すグラフの模式図。 視差演算処理の説明図。 遠方の路上障害物の検知処理のフローチャート。 特徴点検出処理の模式図であり、（ａ）は第１フレーム画像（先に撮影した画像）における特徴点検出処理の模式図、（ｂ）は第２フレーム画像（後で撮影した画像）における特徴点検出処理の模式図。 路面が水平方向に傾斜している場合の画像例。 路面が水平方向に傾いている場合の特徴点抽出処理のフローチャート。 車両のピッチングに対応した、本発明のステレオカメラ装置の他例のシステム構成図。 車両のピッチングに対応した遠方の路上障害物の検知処理のフローチャート。 ハードウェア処理に適した特徴点ハード検出部の構成図。 路面上に標示がある場合の画像例。
　以下、図面等を用いて、本発明の実施形態について説明する。
　以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
　図１は、本発明のステレオカメラ装置10の一実施形態のブロック図を示したものである。ステレオカメラ装置10は、車両に搭載され、車外の障害物の認識を行うためのもので、CPU、ROM、RAM等を含むマイクロコンピュータを主体とした電子回路を内蔵しており、主に、撮影部20、視差演算部30、路面視差推定部40、特徴点検出部50、特徴点記録部60、移動距離視差補正部70、検知部80を備えている。
　撮影部20は、所定の間隔をあけて配備された右カメラ22と左カメラ21の２つのカメラに接続される。撮影部20は、左右カメラ21、22が撮影したそれぞれの画像の輝度補正やノイズ除去、歪み補正を行う。視差演算部30は、左右カメラ画像（左右カメラ21、22で撮影した画像）を用いて、視差を計算する。路面視差推定部40は、当該ステレオカメラ10を搭載した車両が走行する走行レーンの路面視差を推定する。特徴点検出部50は、前記路面視差の中から、路面視差とは異なる部分の特徴点（画像中の路面推定視差と差分を有する路面上の特徴点）を検出する。特徴点記録部60は、前記特徴点の位置と視差を記録する。前記位置とは、画像上の座標ではなく、車両の進行方向に対する角度と距離、または緯度経度などの地形上の位置である。移動距離視差補正部70は、時間の経過によって車両が移動した場合に特徴点記録部60が記録した視差がどのように変化するかを推定して補正する。つまり、時間の経過によって車両が移動し、その移動距離によって前記特徴点は車両との距離が近づくため、その距離に応じた視差の変化量を計算して補正する。検知部80は、時間が異なる２つのフレーム画像の前記特徴点について、先に撮影された画像の前記特徴点の視差を移動距離視差補正部70で補正した視差と、後で撮影された画像の前記特徴点の視差
（特に、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差）を比較し、その差分（比較値）が所定の範囲内であれば、前記特徴点の複数フレーム間の視差の変化が車両の移動距離に相当すると判断できるので、前記特徴点を路上障害物として検知する。車両が回避行動をとるために、この検知部80の検知結果（障害物検知情報）は車両のアクセル、ブレーキ、ステアリングなどの制御に使用される。
　図２は、遠方の路上障害物と路面視差の関係を図示したものである。図２（ａ）は左車線200と右車線201の間の路面120の遠方に路上障害物300がある状態を右カメラ22で撮影したときの画像として示している。図２（ｂ）は距離と路面視差の関係を示すグラフの模式図である。図示するように、距離が遠方になるほど視差が小さくなる。従って、路上障害物300が100m程度の遠方にあると仮定すると、その地点（特徴点）は路面視差の変化が僅かである。従って、遠方の路上障害物300をノイズと区別して検知することが必要となる。
　図３は、視差演算部30の視差演算処理を示したものである。右カメラ22が撮影した画像2210を基準画像とし、例えば8x8画素のような基準ブロック画像221を定義する。ブロック画像のサイズはこの例に限るものではない。一方、左カメラ21が撮影した画像2110の中で、前記基準ブロック画像221と同じ縦位置（Y座標）と横位置（X座標）を基準として、探索幅（例えば256画素）の参照画像212を選択する。その後、前記基準ブロック画像221と前記参照画像212との差分を計算する。この差分計算はSADと呼ばれ、次の式（１）の計算を行う。
Figure JPOXMLDOC01-appb-I000001
　但し、Iは前記参照画像212の中の画像ブロック（例：8x8画素）、Tは前記基準ブロック画像221の画像データであり、i,jは画像ブロック内の座標である。１つの視差を算出するために、前記参照画像212の参照位置を１画素ずつずらしながら前記探索幅の分だけ演算を行い、最もSAD値が小さくなる位置211を探索する。
　このようにして、画像全体で視差を求める。この視差dを用いて、三角測量の原理でステレオカメラ装置10までの距離を測定することが出来る。視差dから距離Zは次の式（２）で求められる。
（数２）　Z = (f × B) / (d × a)　・・・・・・・・・・・・・・（２）
　但し、fは右及び左カメラ22、21の焦点距離、Bは右カメラ22と左カメラ21の距離（基線長）、aは左カメラ21の１画素の横方向のサイズである。
　図４は、ステレオカメラ装置10による、遠方の路上障害物300を検知するための動作フローを示したものである。
　まずはじめに、左カメラ21と右カメラ22で画像を撮影する。この画像を撮影部20にて第１フレーム画像とする（S100）。次に、第１フレーム画像の全体の視差を視差演算部30で生成する（S110）。その視差から路面部分の視差を抽出し、画像のY方向の１画素単位で路面の視差を路面視差推定部40で推定する。路面の視差の推定方法としては、例えば路面が水平なら左車線200または右車線201の視差を選択する（S120）。次に、特徴点検出部50で路面上の特徴点を検出する。この部分の処理は図５を用いて説明する。図５（ａ）の第１フレーム画像において、路面の範囲の視差データをラスタ方向（つまり、横方向）にスキャンしながら路面推定視差と差分が有る部分を特徴点として抽出する。図５（ａ）ではラスタ301、ラスタ302、ラスタ303の３行をスキャンする例を示している。ラスタ301の路面視差が2.0と推定されていると仮定したとき、ラスタ301の路面上の視差を見ると、特徴点400、特徴点401、特徴点402の位置の視差が2.1となっており、路面推定視差2.0と異なっているため、これらの位置と視差値を記録する（S130）。
　次に、左カメラ21と右カメラ22で画像を撮影して撮影部20にて第２フレーム画像とする（S140）。２つのフレーム画像の間隔は、特徴点が画像上の１ラスタ以上移動する間隔であることが望ましい。第２フレーム画像の全体の視差を視差演算部30で生成する（S150）。次に、S130で記録した特徴点を第２フレーム画像で（マッチング処理により）追跡し、一致した部分の視差をAとして抽出して分析する。この抽出方法は図５（ｂ）で説明する。図５（ｂ）の第２フレーム画像では、図５（ａ）の画像を撮影した時から時間が経過しているため、路上障害物300が車両に近づいている。そうすると路上障害物300が画像の下方向に移動する。この現象は、車両前方の画像が透視投影された画像になっていることに基づくものである。透視投影では車両に近づく物体は消失点から遠くなる。図５（ａ）、（ｂ）の例では消失点は路面の最遠方であり、消失点よりも画像の下方になるほど消失点から遠い（車両に近い）路面である。路面上の物体が車両に近づくと路面の消失点から遠ざかるために画像の下の方に移動する。この図５（ｂ）の例ではラスタ302の位置に移動したものとする。ラスタ302の路面上の視差を路面推定視差の2.1と比較していくと、特徴点400の部分は路面視差と同じであり、視差のノイズであった可能性が高い。一方、特徴点401と特徴点402は視差が2.2となっており、路面推定視差2.1と差分が有る部分として抽出する（S160）。次に、移動距離視差補正部70において、２つのフレーム間で車両が移動した距離を車両信号を用いて算出する。前記の式（２）により、視差dと距離Zは一意的な関係であるので、この式（２）の応用によりその車両の移動距離に相当する視差の変化量を求めることができる。
　その移動距離に相当する視差の変化量を、第１フレームで抽出した特徴点401と402の視差の2.1に加算（加味）する。車両の移動距離に対する視差の変化量は、式（２）の変形により計算できる。その結果をBとする（S170）。次に、検知部80で、前記Aと前記Bを比較して、その差分が所定値以内であるか否かを判定する（S180）。仮にその差分が所定値以内であれば、前記特徴点401と402の複数フレーム間の視差の変化が車両の移動距離に相当すると判断できるので、前記特徴点401と402を路上障害物と判定する（S190）。
　つまり、以上の方法では、特徴点の視差が車両の移動に合わせて画像上の座標と視差が変化する（換言すれば、特徴点の複数フレーム間の視差の変化が車両の移動距離に相当する）ことで路上障害物であると判定する。ノイズの場合はこのような条件で変化することは極めて稀であり、この方法では、ノイズを間違って路上障害物として検知することを防止できる。
［路面が水平方向に傾斜している場合の処理例］
　図６は、路面120が左右（水平方向）で傾いている場合の画像例を示したものである。路面120が左右に傾きがある場合は、路面内のラスタ上の両端の路面推定視差が異なり、路面推定視差が１つのラスタに１つの視差では定義できない。そのための特徴点の抽出方法を図７で示す。
　図７は、路面120が水平方向に傾いている場合の特徴点抽出処理の動作フローである。
この抽出処理は、特徴点検出部50（図１参照）で処理される。
　まず、画像の同一ラスタ上の左右の車線部分の２点の視差を抽出する（S200）。次に、その２点間の画素数を求め、その左側の点の視差（一端側の視差）と右側の点の視差（他端側の視差）の差分を求め、その結果を前記画素数で割る。これにより、ラスタの最小画素単位の視差の変化分を算出する（S210）。次に、路面推定視差は、左点の視差（一端側の視差）＋（S210の結果（前記変化分）×左点からの画素数）として、画素単位で視差を計算する（S220）。上記の路面推定視差をラスタの右方向のスキャンに合わせて更新し、路面推定視差と異なる路面部分を特徴点として抽出する（S230）。
　以上の方法では、路面が左右に傾いていても路面推定視差を画素単位で算出できるため、高精度に特徴点を検知できる。
［車両のピッチングに対応したステレオカメラ装置の例］
　図８は、車両のピッチングに対応した、本発明のステレオカメラ装置の他例のブロック図を示したものであり、複数フレーム画像の撮影中に車両が振動して画像にブレが発生した場合の特徴点の追跡方法を示すブロック図である。図１との違いは、特徴点画像マッチング部90を持つ部分である。特徴点画像マッチング部90は、第１フレーム画像で検知した特徴点の周囲画像を第２フレーム画像内でマッチング処理を行い、第２フレーム画像内での特徴点の座標を特定する。
　図９は、特徴点画像マッチング部90を用いたステレオカメラ装置10による、路上障害物300の検知処理フローを示したものである。
　まずはじめに、左カメラ21と右カメラ22で画像を撮影する。この画像を撮影部20にて第１フレーム画像とする（S300）。次に、第１フレーム画像の全体の視差を視差演算部30で生成する（S310）。その視差から路面部分の視差を抽出し、画像のY方向の１画素単位で路面の視差を路面視差推定部40で推定する（S320）。次に、特徴点検出部50で路面上の特徴点を検出し、その視差値と周囲画像を切り出して記録する（S330）。
　次に、左カメラ21と右カメラ22で画像を撮影して撮影部20にて第２フレーム画像とする（S340）。第２フレーム画像の全体の視差を視差演算部30で生成する（S350）。次に、特徴点画像マッチング部90において、第１フレーム画像で抽出した特徴点の周囲画像と第２フレーム画像をマッチング処理して、第２フレーム画像上の特徴点の座標を検知する（S360）。次に、S360で検知した第２フレーム画像の特徴点の視差をAとして抽出する（S370）。次に、移動距離視差補正部70において、２つのフレーム間で車両が移動した距離を算出し、その車両の移動距離に相当する視差を第１フレーム画像で抽出した特徴点に加算（加味）する。その結果をBとする（S380）。次に、検知部80で、前記Aと前記Bを比較して、その差分が所定値以内であるか否かを判定する（S390）。仮にその差分が所定値以内であれば、前記特徴点を路上障害物と判定する（S400）。
　つまり、以上の方法では、特徴点部分の画像を複数フレーム間でマッチング処理するため、画像のブレが発生しても特徴点の精緻な追跡が可能となる。
［ハードウェア処理に適した構成例］
　図１０は、特徴点を検出する機能（図１の特徴点検出部50の機能）と路面内の視差を生成する機能（図１の路面視差推定部40の機能）をハードウェアで並列に処理して高速処理が可能となるようにした特徴点ハード検出部51の構成図を示したものである。
　視差演算部30は撮影部20が撮影した画像の各画素について視差を算出する。そのために視差演算部30は、１画素ずつ視差を求める処理を行う１画素視差演算部350と、その処理を画像全体で繰り返すための座標を生成する座標更新部351を持つ。
　一方、特徴点ハード検出部51は、１画素視差演算部350が視差を生成するごとに、その視差が特徴点であるか否かを判定する。そのために特徴点ハード検出部51は、路面の左右両端の推定視差とその座標を記憶する手段である左車線座標レジスタ360、右車線座標レジスタ362、及び路面推定視差レジスタ364と、算出された路面上の視差を路面の推定視差と比較し、所定の差分を持つ視差とその座標を出力する手段である比較器361、363、365、及び特徴点選択部366を持つ。左車線座標レジスタ360は、画像のラスタ単位に左車線200のX座標がソフトウェアによって、処理開始前に設定・記憶される。右車線座標レジスタ362は、画像のラスタ単位に右車線201のX座標がソフトウェアによって、処理開始前に設定・記憶される。路面推定視差レジスタ364は、画像のラスタ単位に路面推定視差がソフトウェアによって設定・記憶される。このような状態で１画素視差演算部350は画像中の視差を演算する。その時の画像のX座標が比較器361で左車線座標レジスタ360の当該ラスタのX座標値と比較され、その比較結果（つまり、所定の差分を持つ座標）が特徴点選択部366に送られる。また同時にX座標が比較器363で右車線座標レジスタ362の当該ラスタのX座標値と比較され、その比較結果（つまり、所定の差分を持つ座標）が特徴点選択部366に送られる。視差データは路面推定視差レジスタ364のデータと比較器365で比較され、その比較結果（つまり、所定の差分を持つ視差）が特徴点選択部366に送られる。特徴点選択部366は、比較器361の出力がレジスタ値≦X座標であること、比較器363の出力がレジスタ値≧X座標であること、比較器365の結果が路面推定視差≠視差であることの条件が揃った時に、その時の座標値と視差データを特徴点記録部60に送る。
　以上の構成により、視差推定と特徴点検出処理を並列に処理するため、高速処理が可能となる。
［路面上に標示がある場合の処理例］
　図１１は、路面上に標示がある場合の画像例を示したものである。ステレオカメラ装置10の視差演算では、図３に示すように左右カメラ画像のマッチング処理を行っている。そのためには画像のテクスチャが必要であり、路面のようにテクスチャが少ない部分は視差が演算できず、無効視差となる場合もある。しかし、路面標示がある部分は有効視差を得やすくなる。そこで、路上に視差が存在する場合は、路上障害物だけでなく、路面標示である可能性もある。その視差が存在する部分の画像310を路面標示のテクスチャと画像マッチングして路上標示の認識を行えば、画像マッチングの処理領域が限定されるので、処理の高速化を図ることができる。
　更に、前記画像310の部分の視差を複数フレーム間で追跡して、車両の移動距離に応じた視差の変化分が確認できれば、前記画像310部分の視差がノイズと区別できる。
　以上で説明したように、本実施形態によれば、画像中の路面の推定視差と差分を有する路面上の特徴点の複数フレーム間の視差の変化が車両の移動距離に相当すると判断した場合、その特徴点を路上障害物と認識するので、遠方の路上障害物の視差と路面の視差のノイズを区別することが可能となり、遠方の路上障害物を早期に検知することが可能となる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
10　ステレオカメラ装置、20　撮影部、21　左カメラ、22　右カメラ、30　視差演算部、40　路面視差推定部、50　特徴点検出部、51　特徴点ハード検出部、60　特徴点記録部、70　移動距離視差補正部、80　検知部、90　特徴点画像マッチング部、120　路面、200　左車線、201　右車線、300　路上障害物、350　１画素視差演算部、351　座標更新部、360　左車線座標レジスタ、361　比較器、362　右車線座標レジスタ、363　比較器、364　路面推定視差レジスタ、365　比較器、366　特徴点選択部

Claims (7)

  1. 　車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、
    　前記複数のカメラの画像から視差を計算し、
    　前記画像中の路面の推定視差と差分を有する路面上の特徴点を抽出し、
    　前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識することを特徴とするステレオカメラ装置。
  2. 　先に撮影した画像の前記特徴点の視差を前記車両の移動距離で補正し、
    　その補正された視差と、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差とを比較し、その差分が所定の範囲内であるときに、前記特徴点を路上障害物と判断することを特徴とする請求項１に記載のステレオカメラ装置。
  3. 　先に撮影した画像の前記特徴点の周囲画像を後で撮影した画像内でマッチング処理して、後で撮影した画像内での前記特徴点の座標を特定することを特徴とする請求項２に記載のステレオカメラ装置。
  4. 　前記画像中の前記路面内のラスタ上の両端の視差が異なる場合、
    　前記ラスタの最小画素単位の視差の変化分を算出し、
    　前記変化分と前記路面内のラスタの一端からの画素数で前記路面の推定視差を算出することを特徴とする請求項１に記載のステレオカメラ装置。
  5. 　前記ステレオカメラ装置は、
    　前記路面の左右両端の推定視差とその座標を記憶する手段と、
    　算出された路面上の視差を前記路面の推定視差と比較し、所定の差分を持つ視差とその座標を出力する手段とを持つことを特徴とする請求項１に記載のステレオカメラ装置。
  6. 　車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、
    　前記複数のカメラの画像から視差を計算する視差演算部と、
    　前記画像中の路面の視差を推定する路面視差推定部と、
    　前記路面の推定視差と差分を有する路面上の特徴点を検出する特徴点検出部と、
    　前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識する検知部と、備えることを特徴とするステレオカメラ装置。
  7. 　前記特徴点の視差を前記車両の移動距離で補正する移動距離視差補正部を更に備え、
    　前記検知部は、先に撮影した画像の前記特徴点の視差を前記移動距離視差補正部で補正した視差と、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差とを比較し、その差分が所定の範囲内であるときに、前記特徴点を路上障害物と判断することを特徴とする請求項６に記載のステレオカメラ装置。
PCT/JP2019/028399 2018-08-13 2019-07-19 ステレオカメラ装置 WO2020036039A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980049920.3A CN112513573B (zh) 2018-08-13 2019-07-19 立体摄像机装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018152525A JP7134780B2 (ja) 2018-08-13 2018-08-13 ステレオカメラ装置
JP2018-152525 2018-08-13

Publications (1)

Publication Number Publication Date
WO2020036039A1 true WO2020036039A1 (ja) 2020-02-20

Family

ID=69525383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028399 WO2020036039A1 (ja) 2018-08-13 2019-07-19 ステレオカメラ装置

Country Status (3)

Country Link
JP (1) JP7134780B2 (ja)
CN (1) CN112513573B (ja)
WO (1) WO2020036039A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264492A1 (ja) * 2021-06-18 2022-12-22 日立Astemo株式会社 外界認識システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1096607A (ja) * 1996-09-25 1998-04-14 Matsushita Electric Ind Co Ltd 物体検出装置および平面推定方法
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
JP2016081108A (ja) * 2014-10-10 2016-05-16 トヨタ自動車株式会社 物体検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP5870273B2 (ja) * 2010-08-03 2016-02-24 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法及びプログラム
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
CN103424105B (zh) * 2012-05-16 2016-02-10 株式会社理光 对象检测方法和装置
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
CN109983468A (zh) * 2016-12-01 2019-07-05 深圳市大疆创新科技有限公司 使用特征点检测和跟踪对象的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1096607A (ja) * 1996-09-25 1998-04-14 Matsushita Electric Ind Co Ltd 物体検出装置および平面推定方法
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム
JP2016081108A (ja) * 2014-10-10 2016-05-16 トヨタ自動車株式会社 物体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264492A1 (ja) * 2021-06-18 2022-12-22 日立Astemo株式会社 外界認識システム

Also Published As

Publication number Publication date
JP7134780B2 (ja) 2022-09-12
JP2020027057A (ja) 2020-02-20
CN112513573B (zh) 2022-06-10
CN112513573A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP6440411B2 (ja) 物体検出装置
US8406472B2 (en) Method and system for processing image data
US9697421B2 (en) Stereoscopic camera apparatus
US8594378B2 (en) 3D object detecting apparatus and 3D object detecting method
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
WO2019167531A1 (ja) ステレオカメラ装置
JP6722084B2 (ja) 物体検出装置
US10235579B2 (en) Vanishing point correction apparatus and method
US8160300B2 (en) Pedestrian detecting apparatus
US11889047B2 (en) Image processing device and image processing method
WO2019065970A1 (ja) 車両用外界認識装置
JP3961584B2 (ja) 区画線検出装置
WO2011016257A1 (ja) 車両用距離算出装置
CN111989541B (zh) 立体摄像机装置
WO2020036039A1 (ja) ステレオカメラ装置
JP2000259997A (ja) 先行車の高さおよび車間距離計測装置
JP6416654B2 (ja) 白線検出装置
CN112400094B (zh) 物体探测装置
CN115943287A (zh) 车辆姿态推断系统及车辆姿态推断方法
JP6048384B2 (ja) 画像判定装置
US11842552B2 (en) Vehicle exterior environment recognition apparatus
US11010625B2 (en) Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19849246

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19849246

Country of ref document: EP

Kind code of ref document: A1