[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013132951A1 - 距離算出装置及び距離算出方法 - Google Patents

距離算出装置及び距離算出方法 Download PDF

Info

Publication number
WO2013132951A1
WO2013132951A1 PCT/JP2013/052977 JP2013052977W WO2013132951A1 WO 2013132951 A1 WO2013132951 A1 WO 2013132951A1 JP 2013052977 W JP2013052977 W JP 2013052977W WO 2013132951 A1 WO2013132951 A1 WO 2013132951A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
estimated
distance calculation
estimated distance
calculation unit
Prior art date
Application number
PCT/JP2013/052977
Other languages
English (en)
French (fr)
Inventor
春樹 的野
寛人 三苫
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP13757353.1A priority Critical patent/EP2824416B1/en
Priority to US14/379,189 priority patent/US20150015673A1/en
Publication of WO2013132951A1 publication Critical patent/WO2013132951A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a distance calculation device and a distance calculation method, for example, a distance calculation device and a distance calculation method applied to an imaging system including a plurality of imaging means.
  • an object detection system that detects an object such as a pedestrian or a vehicle using a plurality of cameras such as a stereo camera has been put into practical use.
  • the object detection system described above calculates the positional deviation (parallax) of the same object on a plurality of images captured at the same time by a plurality of cameras (imaging devices) using, for example, template matching, and is known as the parallax.
  • the object can be detected by calculating the position of the object in the real space using
  • Such an object detection system for a stereo camera that recognizes an object by calculating the distance to the object using a pair of images captured by a plurality of cameras (imaging devices) is a vehicle safety system described above. In addition to the system, it can also be applied to a monitoring system that detects intrusion or abnormality of a suspicious person.
  • a stereo camera target detection system applied to the safety system and the surveillance system is a pair of captured images captured by a plurality of cameras that are captured at a predetermined interval and captured by the plurality of cameras. Is a system that calculates the distance to an object by applying a triangulation technique.
  • the object detection system generally includes at least two imaging devices (cameras) and stereo image processing that applies triangulation processing to at least two captured images output from these imaging devices.
  • This stereo image processing LSI superimposes pixel information contained in a pair of captured images captured by a plurality of cameras and shifts the position where the two captured images coincide with each other.
  • Triangulation processing is executed by performing calculation processing for calculating the quantity (parallax).
  • there is a difference in optical characteristics and signal characteristics for each imaging device so that a shift other than parallax does not occur between a pair of captured images captured by a plurality of cameras. It is necessary to make adjustments so that the distance between the imaging devices is not necessary, or to obtain the distance between the imaging devices in advance.
  • FIG. 7 illustrates the principle of the object detection system using the above-described stereo camera.
  • ⁇ is parallax (the amount of deviation of the position where a pair of captured images match)
  • Z is the distance to the object.
  • the measurement distance, f represents the focal length of the imaging device
  • b represents the base length (distance between the imaging devices), respectively, and the relationship represented by the following equation (1) is established between them.
  • Patent Document 1 discloses a technique for complementing the drawbacks of both the stereo camera and the monocular camera.
  • a three-dimensional coordinate acquisition device disclosed in Patent Document 1 calculates a three-dimensional coordinate of an object from images captured by a monocular camera and a stereo camera, and simply switches or integrates the calculation results of both. It is. Moreover, when integrating both calculation results, it is an apparatus which changes both weight according to the distance from the camera of a target object, a vehicle speed, the number of flows, and precision.
  • the distance to an object in both the monocular camera and the stereo camera is determined.
  • the accuracy of distance measurement to the object can be increased.
  • Patent Document 1 does not mention the weight distribution method described above. Moreover, when the reliability of the captured image of each camera falls, there exists a subject that the precision of the distance measurement with the target calculated from the image imaged with each of the monocular camera and the stereo camera falls.
  • the present invention has been made in view of the above problems, and the object of the present invention is to perform distance measurement below the parallax resolution of a stereo camera, and the reliability of the captured images of each camera is reduced. Even if it is a case, it is providing the distance calculation apparatus and distance calculation method which can measure the relative distance to a target object precisely.
  • a distance calculation device is a distance calculation device of an imaging system including a plurality of imaging devices, and is captured by a single imaging device among the plurality of imaging devices.
  • a first estimated distance calculating unit that calculates an estimated distance to the object based on the image; and an estimated distance to the object based on images captured by at least two of the plurality of imaging devices.
  • a second estimated distance calculation unit, and an output distance calculation unit that calculates an output distance to the object, wherein the output distance calculation unit is calculated by the first estimated distance calculation unit.
  • the second estimated distance calculator calculated based on the estimated distance calculated by the second estimated distance calculator, the second estimated distance calculated by the second estimated distance calculator, and images captured by the at least two imaging devices.
  • the second estimated distance calculated by the second estimated distance calculator Depending on confidence And weight of said first estimated distance between the second estimated distance determined Te, and calculates the output distance based on.
  • the distance calculation method is a distance calculation method for an imaging system including a plurality of imaging devices, and is based on an image captured by a single imaging device among the plurality of imaging devices.
  • An estimated distance to the object is calculated based on images captured by at least two of the plurality of imaging devices, and each estimated distance and the at least two imaging devices are used for imaging.
  • the output distance to the object is calculated based on the weights of the respective estimated distances determined according to the certainty factor calculated based on the obtained image.
  • the distance calculation device and the distance calculation method of the present invention in an imaging system including a plurality of imaging devices, for example, distance measurement below the parallax resolution of a stereo camera can be performed, and the reliability of the captured image of each camera Even if it falls, relative distance to a target object can be measured precisely and stably.
  • FIG. 1 is an overall configuration diagram schematically showing an imaging system to which a first embodiment of a distance calculation apparatus according to the present invention is applied.
  • the internal block diagram which shows the internal structure of the distance calculation apparatus of 1st Embodiment shown in FIG. The figure explaining the distance calculation method to the target object using a monocular camera.
  • the internal block diagram which shows the internal structure of 2nd Embodiment of the distance calculation apparatus which concerns on this invention.
  • the figure which shows an example of the weight table according to the certainty factor used by the output distance calculation part shown in FIG. The figure explaining the principle of the target object detection system using a stereo camera.
  • FIG. 1 schematically shows an imaging system to which a first embodiment of a distance calculation apparatus according to the present invention is applied.
  • the illustrated imaging system 100 mainly includes two cameras (imaging devices) 101 and 102 arranged at a predetermined interval, a camera control device 103 that controls the cameras 101 and 102, and the cameras 101 and 102.
  • a RAM 104 that is a temporary storage area for captured images and the like, a ROM 105 that stores programs and various initial values, and a communication system for notifying a control system such as a brake and the camera recognition state to the user.
  • a certain external IF 106, a distance calculation device 107 that calculates the distance to the object, and a CPU 108 that controls the entire system are provided, each of which can exchange information via a bus 109.
  • the imaging system 100 is configured to be able to measure a distance from an object using a stereo camera by using two cameras 101 and 102.
  • the cameras 101 and 102 are composed of imaging elements such as CCD (Charge Coupled Device Image Sensor) and CMOS (Complementary Metal Oxide Semiconductor) sensors, for example. Are controlled to be the same. In addition, the exposure of the cameras 101 and 102 is controlled to be the same so that the luminance values are the same when searching for corresponding points in the images captured by both the cameras 101 and 102.
  • CCD Charge Coupled Device Image Sensor
  • CMOS Complementary Metal Oxide Semiconductor
  • FIG. 2 shows an internal configuration of the distance calculation device 107 according to the first embodiment shown in FIG.
  • the captured images captured by the cameras 101 and 102 are temporarily stored in the camera image storage units 104a and 104b of the RAM 104, respectively.
  • the illustrated distance calculation device 107 mainly includes a monocular estimated distance calculation unit (first estimated distance calculation unit) 203, a stereo estimated distance calculation unit (second estimated distance calculation unit) 204, and an estimated distance comparison unit 205.
  • the output distance calculation unit 206 and the HALT circuit 207 are provided.
  • the monocular estimated distance calculation unit 203 calculates an estimated distance (first estimated distance) to an object based on image information captured by the camera 101 and stored in the camera image storage unit 104a, and the calculation result is calculated. It transmits to the estimated distance comparison unit 205.
  • the vehicle region is calculated from the image information obtained from the camera image storage unit 104a by pattern matching.
  • the pattern matching is a method of calculating the correlation value of the luminance value of the captured image, and if the luminance value is equal to or greater than a predetermined value, it is determined as “vehicle” and the region is set as “vehicle region”. It is.
  • the vehicle width of the vehicle can be calculated from the image information obtained from the camera image storage unit 104a, and assuming that the imaging direction of the camera and the rear surface of the vehicle are substantially vertical, the vehicle width of the assumed vehicle Thus, the approximate distance from the vehicle to the target vehicle can be easily calculated.
  • FIG. 3 illustrates a method for calculating the distance to the object using the camera 101.
  • W is the vehicle width of the preceding vehicle
  • Z is the distance to the preceding vehicle
  • x is the vehicle width on the imaging surface.
  • F represents the focal length of the camera 101, and since the relationship represented by the following formula (2) is established between them, the distance W to the preceding vehicle can be calculated.
  • the monocular estimated distance calculation unit 203 may not be able to accurately calculate the distance to the preceding vehicle when the imaging direction of the camera, such as a road surface with a gradient or a curve, and the rear surface of the vehicle are not substantially perpendicular. There is.
  • the distance to the preceding vehicle is calculated using the assumed vehicle width or the like, if the vehicle width of the target vehicle is unknown, there is a possibility that an error will occur in the distance to the vehicle. is there.
  • the estimated stereo distance calculation unit 204 shown in FIG. 2 is based on the respective image information captured by the cameras 101 and 102 and stored in the camera image storage units 104a and 104b. Estimated distance) is calculated. Specifically, the corresponding pixel is searched from the image information obtained from the camera image storage units 104a and 104b, the parallax is calculated, the estimated distance to the target is calculated (see FIG. 7), and the calculation result is It transmits to the estimated distance comparison unit 205.
  • a method of searching for corresponding points of images captured by the cameras 101 and 102 in order to calculate parallax for example, a method of calculating a sum of absolute differences (Sum of the Absolute Differences: SAD). Apply a specific part of one image as a template, search for the corresponding position in the image, calculate the sum of the absolute value differences of the luminance values of each pixel, and handle the sum as the highest correlation Position. Thereby, the position shift of one image and the other image can be made parallax.
  • SAD Sum of the Absolute Differences
  • the vertical positions of both images are aligned in advance (referred to as “parallelizing”), and a specific part of one image is set to about 4 ⁇ 4 pixels and the other is Search the image only in the horizontal direction.
  • An image created by performing this process on one entire image is referred to as a “distance image”.
  • a plane having the same distance is searched from the “distance image” group, and the width of the object in the plane seems to be a vehicle. If it is a width, it is searched as “vehicle”. Then, the distance to the vehicle as the object is calculated by calculating the average value of the distances of the plurality of “vehicle” areas detected in this way.
  • the estimated stereo distance calculation unit 204 includes an estimated distance accuracy calculation unit 202, and the estimated distance accuracy calculation unit 202 calculates the degree of dispersion (variance) of the parallax value of the “vehicle” area detected by the above method.
  • the calculation result is output to the output distance calculation unit 206 as the certainty factor (Confidence) of the stereo estimated distance calculation unit 204.
  • the estimated distance accuracy calculation unit 202 calculates the degree of blur of the entire captured image (for example, using the contrast level as a determination index), and uses the calculation result as the certainty factor of the stereo estimated distance calculation unit 204. good.
  • the estimated distance accuracy calculation unit 202 uses the estimated distance to the object calculated by the stereo estimated distance calculation unit 204, and is large when the distance to the object is short, for example, and small when the distance to the object is far. A certain confidence level may be set. In the present embodiment, the certainty factor is normalized from 0 to 100.
  • the calculation results (estimated distances) calculated by the monocular estimated distance calculation unit 203 and the stereo estimated distance calculation unit 204 are the same, both of them are caused by the difference in the calculation method as described above.
  • the calculation results of are not necessarily the same.
  • the estimated distance comparison unit 205 that has received the calculation results from the monocular estimated distance calculation unit 203 and the stereo estimated distance calculation unit 204 described above, and the monocular estimated distance calculation unit 203 determine whether or not the distance measurement is illegal. Both estimated distances calculated by the stereo estimated distance calculation unit 204 are compared. When the difference between the estimated distances of the monocular estimated distance calculation unit 203 and the stereo estimated distance calculation unit 204 is equal to or greater than a predetermined threshold, the abnormality is notified to the HALT circuit 207.
  • the predetermined threshold value is stored in the ROM 105 in advance and is transmitted to the estimated distance comparison unit 205 as necessary.
  • the output distance calculation unit 206 when the difference between the estimation distances of the monocular estimation distance calculation unit 203 and the stereo estimation distance calculation unit 204 is smaller than a predetermined threshold, the monocular estimation distance calculation unit 203 and the stereo estimation distance calculation unit Based on both the estimated distances 204 and the certainty of the stereo estimated distance calculation unit 204 calculated by the estimated distance accuracy calculation unit 202, an output distance (for output to a control system such as a brake, a display system, etc.) Final distance) is calculated. At this time, the output distance is calculated using a weight table corresponding to the certainty factor stored in the ROM 105 in advance.
  • FIG. 4 shows an example of a weight table corresponding to the certainty factor used in the output distance calculation unit 206 shown in FIG.
  • monocular is the weight (usage) of the estimated distance (monocular estimated distance) calculated by the monocular estimated distance calculating unit 203
  • stereo is the estimated distance (stereo estimated distance) calculated by the stereo estimated distance calculating unit 204. Represents the weight of.
  • the output distance calculation unit 206 can calculate the output distance (final distance) based on the following equation (3).
  • the HALT circuit 207 receives an abnormal signal from the estimated distance comparison unit 205, the HALT circuit 207 transmits a stop signal to the output distance calculation unit 206, stops the distance calculation, and stops the system. In addition, the user is notified that the system is not operating normally, and the malfunction is suppressed.
  • FIG. 5 shows the internal configuration of the second embodiment of the distance calculation apparatus according to the present invention.
  • the distance calculation device 107A according to the second embodiment illustrated in FIG. 5 analyzes the camera image captured by each camera with respect to the distance calculation device 107 according to the first embodiment illustrated in FIG.
  • the other points are almost the same as the distance calculation device 107 of the first embodiment. Therefore, the same components as those of the distance calculation device 107 of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the illustrated distance calculation device 107A includes a monocular estimated distance calculation unit (first estimated distance calculation unit) 203A, a stereo estimated distance calculation unit (second estimated distance calculation unit) 204A, an estimated distance comparison unit 205A, and an output.
  • a distance calculation unit 206A and a HALT circuit 207A are provided, and an estimated distance (first first) to an object based on image information captured by the camera 102 (see FIG. 1) and stored in the camera image storage unit 104Ab.
  • (Estimated distance) is calculated by analyzing the image information stored in the monocular estimated distance calculating unit (first estimated distance calculating unit) 208A and each of the camera image storage units 104Aa and 104Ab, and calculating the reliability of each camera image.
  • Reliability calculation units 201Aa and 201Ab are examples of the image information stored in the monocular estimated distance calculating unit 208A and each of the camera image storage units 104Aa and 104Ab.
  • the monocular estimated distance calculation unit 208A executes the same calculation as the monocular estimated distance calculation unit 203 of the first embodiment, and calculates the estimated distance to the object based on the image information stored in the camera image storage unit 104Ab. The calculation result is transmitted to the estimated distance comparison unit 205A.
  • the reliability calculation units 201Aa and 201Ab analyze the contents of the images stored in the camera image storage units 104Aa and 104Ab, respectively, and determine whether or not the distance from each camera image to the object is accurately measured. The reliability is calculated, and the calculation result is transmitted to the estimated distance comparison unit 205A.
  • Various calculation methods can be applied as the reliability calculation method in the reliability calculation units 201Aa and 201Ab described above. For example, when the contrast of an image is calculated and the calculated contrast is low, for example. Is a method of decreasing the reliability and increasing the reliability when the contrast is high. Moreover, it is good also as a reliability of each camera image by detecting a raindrop, mud, etc., and the imaging state of a camera.
  • the estimated distance comparing unit 205A calculates the estimated distance (monocular estimated distance) transmitted from the monocular estimated distance calculating units 203A and 208A, the estimated distance (stereo estimated distance) transmitted from the stereo estimated distance calculating unit 204A, and the reliability calculation. Based on the reliability transmitted from the units 201Aa and 201Ab, the estimated distances calculated by the monocular estimated distance calculating units 203A and 208A and the stereo estimated distance calculating unit 204A are compared. Specifically, the estimated distance comparison unit 205A selects a monocular estimated distance calculation unit that calculates an estimated distance to an object based on a highly reliable camera image, and estimates transmitted from the monocular estimated distance calculation unit The distance is compared with the estimated distance transmitted from the stereo estimated distance calculation unit 204A. Similarly to the first embodiment, when the difference between the estimated distances of the monocular estimated distance calculation unit and the stereo estimated distance calculation unit 204A is equal to or greater than a predetermined threshold, an abnormality is notified to the HALT circuit 207A. To do
  • the estimated distance comparison unit 205A is stored in each of the camera image storage units 104Aa and 104Ab instead of selecting a monocular estimated distance calculation unit that calculates an estimated distance to the object based on a highly reliable camera image.
  • the results of the estimated distances calculated by the monocular estimated distance calculation units 203A and 208A may be merged according to the reliability ratio of each camera image.
  • the output distance calculating unit 206A includes the estimated distances transmitted from the monocular estimated distance calculating units 203A and 208A, The estimated distance transmitted from the estimated stereo distance calculation unit 204A, the certainty factor of the estimated stereo distance calculation unit 204A calculated by the estimated distance accuracy calculation unit 202A, the reliability transmitted from the reliability calculation units 201Aa and 201Ab, Based on the above, an output distance (final distance) for output to a control system such as a brake or a display system is calculated. At that time, the output distance is calculated using a weight table corresponding to the certainty factor stored in the ROM 105A in advance.
  • FIG. 6 shows an example of a weight table corresponding to the certainty factor used in the output distance calculation unit 206A shown in FIG.
  • the monocular 1 is a weight (usage rate) of the estimated distance (monocular estimated distance) calculated by the monocular estimated distance calculating unit 203A
  • the monocular 2 is the estimated distance weight calculated by the monocular estimated distance calculating unit 208A
  • Stereo represents the weight of the estimated distance (stereo estimated distance) calculated by the stereo estimated distance calculation unit 204A.
  • the two estimated distances calculated by the monocular estimated distance calculating units 203A and 208A and the estimated distance calculated by the stereo estimated distance calculating unit 204A are confident.
  • the relative distance to the object is calculated by weighting according to the degree.
  • the weights of the estimated distances calculated by the monocular estimated distance calculation units 203A and 208A are increased, and distance measurement using a monocular camera is mainly performed.
  • the distance to the object can be accurately and stably calculated.
  • the effect of mud and raindrops can be achieved by combining the distance measurement with two monocular cameras. Robustness to the like can be improved.
  • the certainty factor of the stereo estimated distance calculation unit 204A when the certainty factor of the stereo estimated distance calculation unit 204A is high, the weight of the estimated distance calculated by the stereo estimated distance calculation unit 204A is increased, and the distance measurement using a stereo camera is mainly performed.
  • the distance to the object can be calculated precisely and stably.
  • the monocular 1 and the monocular 2 are shown to have the same value for each certainty factor of the stereo estimated distance calculation unit 204A.
  • the reliability of the camera images stored in the camera image storage units 104Aa and 104Ab is shown.
  • the weights of the estimated distances calculated by the monocular estimated distance calculating units 203A and 208A are calculated based on the degrees, and the estimated distances calculated by the monocular estimated distance calculating units 203A and 208A according to the reliability of each camera image are calculated.
  • the weight may be variably set. For example, when one camera is soiled due to mud, raindrops, etc., the reliability of the stereo estimated distance calculation unit 204A is reduced, and the reliability of the camera image captured by the one camera is also reduced. Since the reliability of camera images captured with a clean camera is still maintained, mud and raindrops can be increased by increasing the weight of the estimated monocular distance calculated based on the camera image captured with a clean camera. The robustness against the influence of the above can be further improved.
  • the embodiment using two cameras has been described. However, at least two imaging devices are provided, and distance measurement with an object using a stereo camera is possible. If possible, the radix of the imaging device can be changed as appropriate.
  • the mode in which one or both of the two cameras (imaging devices) constituting the stereo camera are used for the monocular camera has been described.
  • the camera constituting the stereo camera And a monocular camera may be provided separately.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • Imaging System 101, 102 Camera (Imaging Device) 103 Camera control device 104 RAM 104a, 104b Camera image storage unit 105 ROM 106 External IF 107 Distance calculation device 108 CPU 109 Bus 202 Estimated Distance Accuracy Calculation Unit 203 Monocular Estimated Distance Calculation Unit (First Estimated Distance Calculation Unit) 204 Stereo estimated distance calculation unit (second estimated distance calculation unit) 205 Estimated distance comparison unit 206 Output distance calculation unit 207 HALT circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　ステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に計測することができるために、カメラ（１０１）で撮像された画像に基づいて対象物までの推定距離を算出する単眼推定距離算出部（２０３）と、少なくとも２つのカメラ（１０１、１０２）で撮像された画像に基づいて対象物までの推定距離を算出するステレオ推定距離算出部（２０４）と、対象物までの出力距離を算出する出力距離算出部（２０６）と、を備え、出力距離算出部は、単眼推定距離算出部によって算出された推定距離と、ステレオ推定距離算出部によって算出された推定距離と、少なくとも２つのカメラで撮像された画像に基づいて算出されるステレオ推定距離算出部の確信度に応じて決定される双方の推定距離の重みと、に基づいて出力距離を算出する。

Description

距離算出装置及び距離算出方法
　本発明は距離算出装置及び距離算出方法に関し、例えば複数の撮像手段を備えた撮像システムに適用される距離算出装置及び距離算出方法に関する。
　従来から、自動車分野等においては、安全性の向上を目的として様々な安全システムが装備されている。
　近年、そのような安全システムの一つとして、ステレオカメラなどの複数のカメラを用いて歩行者や車両等の対象物を検出する対象物検出システムが実用化されている。
　上記する対象物検出システムは、例えばテンプレートマッチングを用いて複数のカメラ（撮像装置）で同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、前記視差と周知の変換式とを用いて対象物の実空間上の位置を算出することで、対象物を検出することができる。
　このような、複数のカメラ（撮像装置）で撮像された一対の画像を用いて対象物までの距離を算出して対象物の認識を行うステレオカメラの対象物検出システムは、上記する車両の安全システムのほか、不審者の侵入や異常を検知する監視システム等にも適用することができる。
　前記安全システムや監視システムに適用されるステレオカメラの対象物検出システムは、所定の間隔を置いて配置された複数のカメラで対象物を撮像し、その複数のカメラで撮像された一対の撮像画像に対して三角測量技術を適用することによって、対象物までの距離を算出するシステムである。
　具体的には、前記対象物検出システムは、一般に、すくなくとも２台の撮像装置（カメラ）と、これらの撮像装置から出力される少なくとも２つの撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩ（Large Scale Integration）と、を備えており、このステレオ画像処理ＬＳＩは、複数のカメラで撮像された一対の撮像画像に含まれる画素情報を重ね合わせて２つの撮像画像の一致した位置のずれ量（視差）を算出する演算処理を行なうことによって三角測量処理を実行する。なお、このような対象物検出システムにおいては、複数のカメラで撮像された一対の撮像画像の間に視差以外のずれが発生しないように、各々の撮像装置毎に光学特性や信号特性のずれがないように調整したり、撮像装置間の距離等を予め精緻に求めておく必要がある。
　図７は、上記するステレオカメラを用いた対象物検出システムの原理を説明したものであり、図中、δは視差（一対の撮像画像の一致した位置のずれ量）、Ｚは対象物までの計測距離、ｆは撮像装置の焦点距離、ｂは基線長（撮像装置間の距離）をそれぞれ表しており、これらの間には以下の式（１）で示す関係が成立している。
Figure JPOXMLDOC01-appb-M000001
　ところで、ステレオカメラを用いた対象物検出システムにおいては、対象物までの計測距離が大きくなるに従って視差δが小さくなるため、この視差δの算出性能が低下すると対象物までの距離計測の精度が低下するといった問題がある。
　このような問題に対して、特許文献１には、ステレオカメラと単眼カメラの技術を融合して双方の欠点を補完する技術が開示されている。
　特許文献１に開示されている３次元座標取得装置は、単眼カメラとステレオカメラのそれぞれで撮像された画像から対象物の３次元座標を算出し、双方の算出結果を単純に切り替えあるいは統合する装置である。また、双方の算出結果を統合する際には、対象物のカメラからの距離や車速度、フローの数や精度に応じて双方の重みを変更する装置である。
特開２００７－２６３６５７号公報
　特許文献１に開示されている３次元座標取得装置によれば、単眼カメラとステレオカメラのそれぞれで撮像された画像を用いることによって、単眼カメラとステレオカメラの双方の領域における対象物までの距離を計測することができると共に、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出される対象物の３次元座標に対して対象物までの距離や車速度等に応じた重みを付けることによって、対象物までの距離計測の精度を高めることができる。
　しかしながら、特許文献１に開示されている３次元座標取得装置においては、上記する重みの配分方法については言及されていない。また、各々のカメラの撮像画像の信頼度が低下した場合には、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出された対象物との距離計測の精度が低下するといった課題がある。
　本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、ステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に計測することができる距離算出装置及び距離算出方法を提供することにある。
　上記する課題を解決するために、本発明に係る距離算出装置は、複数の撮像装置を備えた撮像システムの距離算出装置であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第１の推定距離算出部と、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第２の推定距離算出部と、前記対象物までの出力距離を算出する出力距離算出部と、を備え、前記出力距離算出部は、前記第１の推定距離算出部によって算出された第１の推定距離と、前記第２の推定距離算出部によって算出された第２の推定距離と、前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される前記第２の推定距離算出部の確信度に応じて決定される前記第１の推定距離と前記第２の推定距離との重みと、に基づいて前記出力距離を算出することを特徴とする。
　また、本発明に係る距離算出方法は、複数の撮像装置を備えた撮像システムの距離算出方法であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出し、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出し、それぞれの推定距離と前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される確信度に応じて決定される前記それぞれの推定距離の重みとに基づいて前記対象物までの出力距離を算出することを特徴とする。
　本発明の距離算出装置及び距離算出方法によれば、複数の撮像装置を備えた撮像システムにおいて、例えばステレオカメラの視差分解能以下の距離計測を行うことができ、各々のカメラの撮像画像の信頼度が低下した場合であっても、対象物までの相対距離を精緻に且つ安定して計測することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示す全体構成図。 図１に示す第１の実施の形態の距離算出装置の内部構成を示す内部構成図。 単眼カメラを用いた対象物までの距離算出方法を説明した図。 図２に示す出力距離算出部で用いられる確信度に応じた重みテーブルの一例を示す図。 本発明に係る距離算出装置の第２の実施の形態の内部構成を示す内部構成図。 図５に示す出力距離算出部で用いられる確信度に応じた重みテーブルの一例を示す図。 ステレオカメラを用いた対象物検出システムの原理を説明した図。
　以下、本発明に係る距離算出装置と距離算出方法の実施の形態を図面を参照して説明する。
［第１の実施の形態］
　図１は、本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示したものである。
　図示する撮像システム１００は、主として、所定の間隔を置いて配置された２台のカメラ（撮像装置）１０１、１０２と、このカメラ１０１、１０２を制御するカメラ制御装置１０３と、カメラ１０１、１０２で撮像された撮像画像等の一時的な記憶領域であるＲＡＭ１０４と、プログラムや各種初期値を格納するＲＯＭ１０５と、ブレーキ等の制御系やユーザに対してカメラの認識状態を通知するための通信手段である外部ＩＦ１０６と、対象物との距離を算出する距離算出装置１０７と、このシステム全体の制御を行うＣＰＵ１０８と、を備えており、それぞれがバス１０９を介して情報を授受できるようになっている。すなわち、この撮像システム１００においては、２台のカメラ１０１、１０２を用いることで、ステレオカメラによる対象物との距離計測が可能な構成となっている。
　なお、前記カメラ１０１、１０２は、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子から構成されており、カメラ制御装置１０３によって各カメラ１０１、１０２の撮像タイミングが同一になるように制御されている。また、双方のカメラ１０１、１０２で撮像された画像における対応する点を探索する際に輝度値が同一となるように、各カメラ１０１、１０２の露光も同一になるように制御されている。
　図２は、図１に示す第１の実施の形態の距離算出装置１０７の内部構成を示したものである。なお、カメラ１０１、１０２で撮像された撮像画像はそれぞれ、ＲＡＭ１０４のカメラ画像保存部１０４ａ、１０４ｂに一時的に保存されている。
　図示する距離算出装置１０７は、主として、単眼推定距離算出部（第１の推定距離算出部）２０３と、ステレオ推定距離算出部（第２の推定距離算出部）２０４と、推定距離比較部２０５と、出力距離算出部２０６と、ＨＡＬＴ回路２０７と、を備えている。
　前記単眼推定距離算出部２０３は、カメラ１０１で撮像されてカメラ画像保存部１０４ａに保存された画像情報に基づいて対象物までの推定距離（第１の推定距離）を算出し、その算出結果を推定距離比較部２０５へ送信する。
　上記する推定距離の算出方法としては、従来知られた種々の算出方法を適用することができるが、その一例として、例えば車両の車幅を用いた算出方法が挙げられる。具体的には、パターンマッチングによって、カメラ画像保存部１０４ａから得られる画像情報から車両の領域（画面上の位置）を算出する。ここで、パターンマッチングとは、撮像された画像の輝度値の相関値を算出し、その輝度値が所定値以上であれば「車両」と判断してその領域を「車両の領域」とする方法である。これにより、カメラ画像保存部１０４ａから得られる画像情報から車両の車幅を算出することができ、カメラの撮像方向と車両の背面とが略垂直であると仮定すると、仮定された車両の車幅等から対象物である車両までのおおよその距離を容易に算出することができる。
　図３は、カメラ１０１を用いた対象物までの距離算出方法を説明したものであり、図中、Ｗは先行車両の車幅、Ｚは先行車両までの距離、ｘは撮像面での車幅、ｆはカメラ１０１の焦点距離をそれぞれ表しており、これらの間には以下の式（２）で示す関係が成立していることから、先行車両までの距離Ｗを算出することができる。
Figure JPOXMLDOC01-appb-M000002
　しかしながら、単眼推定距離算出部２０３は、勾配やカーブのある路面等といったカメラの撮像方向と車両の背面とが略垂直でない場合には、先行車両までの距離を正確に算出することができない可能性がある。また、仮定された車両の車幅等を用いて先行車両までの距離を算出するため、対象物である車両の車幅が未知である場合にはその車両までの距離に誤差が生じる可能性がある。
　そこで、図２で示すステレオ推定距離算出部２０４は、カメラ１０１、１０２で撮像されてカメラ画像保存部１０４ａ、１０４ｂに保存されたそれぞれの画像情報に基づいて対象物までの推定距離（第２の推定距離）を算出する。具体的には、カメラ画像保存部１０４ａ、１０４ｂから得られる画像情報から対応する画素を探索して視差を算出し、対象物までの推定距離を算出して（図７参照）、その算出結果を推定距離比較部２０５へ送信する。
　より具体的には、視差を算出するためにカメラ１０１、１０２で撮像された画像の対応する点を探索する方法として、例えば絶対差の総和（Sum of the Absolute Differences : SAD）を算出する方法を適用し、一方の画像の特定の一部をテンプレートとしてその画像内で対応する位置を探索し、各画素の輝度値の絶対値差分の和を算出し、その総和が最も相関が高いとして対応する位置とする。これにより、一方の画像と他方の画像の位置ずれを視差とすることができる。ここで、ハードウェアで効率的に処理するために、双方の画像の縦位置を予め合わせておき（「平行化する」という。）、一方の画像の特定の一部を4x4画素程度として他方の画像を横方向のみ探索する。この処理を一方の画像全体に行うことで作成された画像を「距離画像」と称する。次いで、このように作成された「距離画像」から対象物である車両を検出するために、「距離画像」群から距離が同一である平面を探索し、その平面における対象物の幅が車両らしい幅である場合には「車両」として探索する。そして、このように検出された複数の「車両」領域の距離の平均値を算出することで対象物である車両までの距離を算出する。
　また、ステレオ推定距離算出部２０４は、推定距離精度算出部２０２を備えており、推定距離精度算出部２０２は、上記方法で検出した「車両」領域の視差値のばらつき度合い（分散）を算出し、その算出結果をステレオ推定距離算出部２０４の確信度（Confidence）として出力距離算出部２０６へ出力する。なお、前記推定距離精度算出部２０２は、撮像された画像全体のボケ度合い（例えば、コントラストの高低を判断指標とする）を算出し、その算出結果をステレオ推定距離算出部２０４の確信度としても良い。また、ハードウェアで効率的に処理するために、前記「距離画像」を4x4画素程度等の固定値で区切って作成すると、車両位置と4x4画素の境界で背景が含まれて対象物までの距離の誤差が生じ易くなる。特に、対象物が遠方に位置する場合には、視差値が小さくなると共に車両の大きさも小さくなることから、対象物までの距離の誤差が更に大きくなると考えられる。そこで、推定距離精度算出部２０２は、ステレオ推定距離算出部２０４で算出した対象物までの推定距離を用い、例えば対象物までの距離が近いときには大きく、対象物までの距離が遠いときには小さくなるような確信度を設定しても良い。なお、本実施の形態において、確信度は０から１００に正規化されている。
　ここで、単眼推定距離算出部２０３とステレオ推定距離算出部２０４とで算出される算出結果（推定距離）は同一であることが望ましいものの、上記するような算出方法の相違等に起因して双方の算出結果は必ずしも同一とは限らない。
　そこで、上記する単眼推定距離算出部２０３とステレオ推定距離算出部２０４から算出結果を受信した推定距離比較部２０５は、距離計測が不正か否かを判断するために、単眼推定距離算出部２０３とステレオ推定距離算出部２０４とによって算出された双方の推定距離を比較する。そして、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の推定距離の差が所定の閾値以上である場合には、ＨＡＬＴ回路２０７に対して異常を通知する。なお、前記所定の閾値は、予めＲＯＭ１０５に保存されており、必要に応じて推定距離比較部２０５へ送信されるようになっている。
　また、出力距離算出部２０６は、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の推定距離の差が所定の閾値よりも小さい場合には、単眼推定距離算出部２０３とステレオ推定距離算出部２０４の双方の推定距離と、推定距離精度算出部２０２によって算出されたステレオ推定距離算出部２０４の確信度と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５に保存された確信度に応じた重みテーブルを用いて出力距離を算出する。
　図４は、図２に示す出力距離算出部２０６で用いられる確信度に応じた重みテーブルの一例を示したものである。図中、単眼は、単眼推定距離算出部２０３によって算出された推定距離（単眼推定距離）の重み（使用率）、ステレオは、ステレオ推定距離算出部２０４によって算出された推定距離（ステレオ推定距離）の重みを表している。
　例えば、ステレオ推定距離算出部２０４の確信度（Confidence）が８０の場合には、出力距離算出部２０６は、以下の式（３）に基づいて出力距離（最終距離）を算出することができる。
Figure JPOXMLDOC01-appb-M000003
　なお、図４で示す確信度の中間値については、その中間値の前後の値から線形的に補完することができる。
　このような構成とすることで、例えば視差値のばらつきや画像全体のボケ等によってステレオ推定距離算出部２０４の距離計測の精度が低下する場合であっても、対象物までの距離に関わらずその距離を安定して精度良く計測することができる。
　なお、単眼距離算出部２０３とステレオ距離算出部２０４の双方の推定距離の差が大きい場合には、カメラのレンズに汚れが付着していたり、悪天候で計測が困難であったり、カメラのセンサに異常が発生している可能性が高い。そこで、ＨＡＬＴ回路２０７は、前記推定距離比較部２０５から異常信号を受信すると、出力距離算出部２０６に対して中止信号を送信し、距離算出を中止して当該システムを停止させる。また、ユーザに対して当該システムが正常に動作していないことを通知して誤動作を抑制する。
［第２の実施の形態］
　図５は、本発明に係る距離算出装置の第２の実施の形態の内部構成を示したものである。図５に示す第２の実施の形態の距離算出装置１０７Ａは、図２に示す第１の実施の形態の距離算出装置１０７に対して、各カメラで撮像されたカメラ画像を解析してカメラ画像の信頼度を算出する点が相違しており、その他の構成は、第１の実施の形態の距離算出装置１０７とほぼ同様である。したがって、第１の実施の形態の距離算出装置１０７と同様の構成については、同様の符号を付してその詳細な説明は省略する。
　図示する距離算出装置１０７Ａは、単眼推定距離算出部（第１の推定距離算出部）２０３Ａと、ステレオ推定距離算出部（第２の推定距離算出部）２０４Ａと、推定距離比較部２０５Ａと、出力距離算出部２０６Ａと、ＨＡＬＴ回路２０７Ａと、を備えると共に、カメラ１０２（図１参照）で撮像されてカメラ画像保存部１０４Ａｂに保存された画像情報に基づいて対象物までの推定距離（第１の推定距離）を算出する単眼推定距離算出部（第１の推定距離算出部）２０８Ａと、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された画像情報を解析して各カメラ画像の信頼度を算出する信頼度算出部２０１Ａａ、２０１Ａｂと、を備えている。
　単眼推定距離算出部２０８Ａは、第１の実施の形態の単眼推定距離算出部２０３と同様の演算を実行し、カメラ画像保存部１０４Ａｂに保存された画像情報に基づいて対象物までの推定距離を算出して、その算出結果を推定距離比較部２０５Ａへ送信する。
　また、信頼度算出部２０１Ａａ、２０１Ａｂは、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された画像の内容をそれぞれ解析し、各カメラ画像から対象物までの距離が精度良く計測されるか否かの信頼度を算出して、その算出結果を推定距離比較部２０５Ａへ送信する。
　上記する信頼度算出部２０１Ａａ、２０１Ａｂにおける信頼度の算出方法としては、種々の算出方法を適用することができるが、その一例として、例えば画像のコントラストを算出し、算出されたコントラストが低い場合には信頼度を小さくし、コントラストが高い場合には信頼度を高くする方法が挙げられる。また、雨滴や泥等を検知してカメラの撮像状態を各カメラ画像の信頼度としても良い。
　推定距離比較部２０５Ａは、単眼推定距離算出部２０３Ａ、２０８Ａから送信された推定距離（単眼推定距離）と、ステレオ推定距離算出部２０４Ａから送信された推定距離（ステレオ推定距離）と、信頼度算出部２０１Ａａ、２０１Ａｂから送信された信頼度と、に基づいて、単眼推定距離算出部２０３Ａ、２０８Ａとステレオ推定距離算出部２０４Ａとによって算出された双方の推定距離を比較する。具体的には、推定距離比較部２０５Ａは、信頼度の高いカメラ画像に基づいて対象物までの推定距離を算出した単眼推定距離算出部を選択し、その単眼推定距離算出部から送信された推定距離とステレオ推定距離算出部２０４Ａから送信された推定距離を比較する。そして、第１の実施の形態と同様に、その単眼推定距離算出部とステレオ推定距離算出部２０４Ａの推定距離の差が所定の閾値以上である場合には、ＨＡＬＴ回路２０７Ａに対して異常を通知する。
　なお、推定距離比較部２０５Ａは、信頼度の高いカメラ画像に基づいて対象物までの推定距離を算出した単眼推定距離算出部を選択する代わりに、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された各カメラ画像の信頼度の比率に応じて、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の結果を融合しても良い。このような構成とすることで、距離計測の際に単眼推定距離算出部２０３Ａ、２０８Ａ同士が頻繁に切り替わって単眼推定距離の算出結果が不安定となることを抑制することができる。
　出力距離算出部２０６Ａは、単眼推定距離算出部とステレオ推定距離算出部の推定距離の差が所定の閾値よりも小さい場合には、単眼推定距離算出部２０３Ａ、２０８Ａから送信された推定距離と、ステレオ推定距離算出部２０４Ａから送信された推定距離と、推定距離精度算出部２０２Ａによって算出されたステレオ推定距離算出部２０４Ａの確信度と、信頼度算出部２０１Ａａ、２０１Ａｂから送信された信頼度と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５Ａに保存された確信度に応じた重みテーブルを用いて出力距離を算出する。
　図６は、図５に示す出力距離算出部２０６Ａで用いられる確信度に応じた重みテーブルの一例を示したものである。図中、単眼１は、単眼推定距離算出部２０３Ａによって算出された推定距離（単眼推定距離）の重み（使用率）、単眼２は、単眼推定距離算出部２０８Ａによって算出された推定距離の重み、ステレオは、ステレオ推定距離算出部２０４Ａによって算出された推定距離（ステレオ推定距離）の重みを表している。
　図示するように、第２の実施の形態においては、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された２つの推定距離と、ステレオ推定距離算出部２０４Ａによって算出された推定距離と、に対して確信度に応じた重み付けを行うことによって、対象物までの相対距離を算出する。
　具体的には、例えばステレオ推定距離算出部２０４Ａの確信度が低い場合には、単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の重みを増加させ、主として単眼カメラによる距離計測を実行することによって、対象物までの距離を精緻に安定して算出することができる。その際、例えば泥や雨滴の影響等によって２台のカメラのうち一方の距離計測の精度が低下した場合であっても、２台の単眼カメラによる距離計測を組み合わせることによって、泥や雨滴の影響等に対するロバスト性を高めることができる。一方で、例えばステレオ推定距離算出部２０４Ａの確信度が高い場合には、ステレオ推定距離算出部２０４Ａによって算出された推定距離の重みを増加させ、主としてステレオカメラによる距離計測を実行することによって、対象物までの距離を精緻に安定して算出することができる。
　また、図示例においては、単眼１と単眼２をステレオ推定距離算出部２０４Ａの確信度毎に同値とする形態について示したが、各カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された各カメラ画像の信頼度に基づいて単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離のそれぞれの重みを算出し、各カメラ画像の信頼度に応じて単眼推定距離算出部２０３Ａ、２０８Ａによって算出された推定距離の重みを可変設定しても良い。例えば泥や雨滴等によって一方のカメラが汚れてしまった場合には、ステレオ推定距離算出部２０４Ａの確信度が低下するとともに、その一方のカメラで撮像されたカメラ画像の信頼度も低下するものの、汚れのないカメラで撮像されたカメラ画像の信頼度は依然として維持されるため、汚れのないカメラで撮像されたカメラ画像に基づいて算出された単眼推定距離の重みを増加させることで、泥や雨滴の影響等に対するロバスト性を更に高めることができる。
　なお、上記する第１、２の実施の形態においては、２台のカメラ（撮像装置）を用いる形態について説明したが、少なくとも２つの撮像装置を有し、ステレオカメラによる対象物との距離計測が可能であれば、撮像装置の基数は適宜変更することができる。
　また、上記する第１、２の実施の形態においては、ステレオカメラを構成する２台のカメラ（撮像装置）の一方若しくは双方を単眼カメラに用いる形態について説明したが、例えばステレオカメラを構成するカメラと単眼カメラをそれぞれ別個に設けても良い。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００　撮像システム
１０１、１０２　カメラ（撮像装置）
１０３　カメラ制御装置
１０４　ＲＡＭ
１０４ａ、１０４ｂ　カメラ画像保存部
１０５　ＲＯＭ
１０６　外部ＩＦ
１０７　距離算出装置
１０８　ＣＰＵ
１０９　バス
２０２　推定距離精度算出部
２０３　単眼推定距離算出部（第１の推定距離算出部）
２０４　ステレオ推定距離算出部（第２の推定距離算出部）
２０５　推定距離比較部
２０６　出力距離算出部
２０７　ＨＡＬＴ回路

Claims (6)

  1. 　複数の撮像装置を備えた撮像システムの距離算出装置であって、
    　前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第１の推定距離算出部と、
    　前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する第２の推定距離算出部と、
    　前記対象物までの出力距離を算出する出力距離算出部と、を備え、
    　前記出力距離算出部は、前記第１の推定距離算出部によって算出された第１の推定距離と、前記第２の推定距離算出部によって算出された第２の推定距離と、前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される前記第２の推定距離算出部の確信度に応じて決定される前記第１の推定距離と前記第２の推定距離との重みと、に基づいて前記出力距離を算出することを特徴とする距離算出装置。
  2. 　前記距離算出装置は、前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出する前記第１の推定距離算出部を複数備えており、
    　前記出力距離算出部は、前記複数の第１の推定距離算出部によって算出された複数の第１の推定距離と、前記第２の推定距離算出部によって算出された第２の推定距離と、前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される前記第２の推定距離算出部の確信度に応じて決定される前記複数の第１の推定距離と前記第２の推定距離との重みと、に基づいて前記出力距離を算出することを特徴とする請求項１に記載の距離算出装置。
  3. 　前記複数の第１の推定距離のそれぞれの重みは同値であることを特徴とする請求項２に記載の距離算出装置。
  4. 　前記複数の第１の推定距離のそれぞれの重みは、各第１の推定距離算出部で用いられる各画像の信頼度に基づいて算出されることを特徴とする請求項２に記載の距離算出装置。
  5. 　前記確信度は、前記少なくとも２つの撮像装置で撮像された画像における対象物の視差値のばらつき度合い、前記少なくとも２つの撮像装置で撮像された画像のボケ度合い、および前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される対象物までの推定距離の少なくともいずれかに基づいて算出されることを特徴とする請求項１から４のいずれか一項に記載の距離算出装置。
  6. 　複数の撮像装置を備えた撮像システムの距離算出方法であって、
    　前記複数の撮像装置のうち単数の撮像装置で撮像された画像に基づいて対象物までの推定距離を算出し、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像に基づいて対象物までの推定距離を算出し、それぞれの推定距離と前記少なくとも２つの撮像装置で撮像された画像に基づいて算出される確信度に応じて決定される前記それぞれの推定距離の重みとに基づいて前記対象物までの出力距離を算出することを特徴とする距離算出方法。
PCT/JP2013/052977 2012-03-09 2013-02-08 距離算出装置及び距離算出方法 WO2013132951A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13757353.1A EP2824416B1 (en) 2012-03-09 2013-02-08 Distance calculation device and distance calculation method
US14/379,189 US20150015673A1 (en) 2012-03-09 2013-02-08 Distance calculator and distance calculation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-052897 2012-03-09
JP2012052897A JP2013186042A (ja) 2012-03-09 2012-03-09 距離算出装置及び距離算出方法

Publications (1)

Publication Number Publication Date
WO2013132951A1 true WO2013132951A1 (ja) 2013-09-12

Family

ID=49116435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/052977 WO2013132951A1 (ja) 2012-03-09 2013-02-08 距離算出装置及び距離算出方法

Country Status (4)

Country Link
US (1) US20150015673A1 (ja)
EP (1) EP2824416B1 (ja)
JP (1) JP2013186042A (ja)
WO (1) WO2013132951A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029905A1 (ja) * 2015-08-19 2017-02-23 国立研究開発法人産業技術総合研究所 単一カメラによる物体の変位と振動の測定方法、装置およびそのプログラム
EP3168750A4 (en) * 2014-07-07 2018-03-07 Hitachi Automotive Systems, Ltd. Information processing system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587930B2 (ja) 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
WO2015068470A1 (ja) * 2013-11-06 2015-05-14 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP6453571B2 (ja) * 2014-07-24 2019-01-16 株式会社Ｓｏｋｅｎ 立体物認識装置
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
TWI641264B (zh) * 2017-03-30 2018-11-11 晶睿通訊股份有限公司 影像處理系統及鏡頭狀態判斷方法
EP3659872B1 (en) 2017-07-24 2023-05-03 Fujitsu Limited Vehicle parking assistance device, vehicle parking assistance program
JP6620175B2 (ja) * 2018-01-19 2019-12-11 本田技研工業株式会社 距離算出装置及び車両制御装置
US12060074B2 (en) 2018-03-30 2024-08-13 Toyota Motor Europe System and method for adjusting external position information of a vehicle
JP7064948B2 (ja) * 2018-05-15 2022-05-11 株式会社日立製作所 自律移動装置及び自律移動システム
JP7306275B2 (ja) * 2020-01-09 2023-07-11 いすゞ自動車株式会社 距離画像生成装置及び距離画像生成方法
JP7337458B2 (ja) * 2020-01-28 2023-09-04 アルパイン株式会社 ３次元位置推定装置および３次元位置推定方法
JP2023131720A (ja) * 2022-03-09 2023-09-22 キヤノン株式会社 電子機器、移動体、距離算出方法、及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2007263657A (ja) 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
JP2008008687A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp 距離測定システム及び距離測定方法
JP2011198378A (ja) * 2011-05-18 2011-10-06 Konica Minolta Holdings Inc 対応点探索装置
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
DE102007031157A1 (de) * 2006-12-15 2008-06-26 Sick Ag Optoelektronischer Sensor sowie Verfahren zur Erfassung und Abstandsbestimmung eines Objekts
US8125379B2 (en) * 2008-04-28 2012-02-28 Trimble Navigation Limited Position measurement results by a surveying device using a tilt sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JP2007263657A (ja) 2006-03-28 2007-10-11 Denso It Laboratory Inc ３次元座標取得装置
JP2008008687A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp 距離測定システム及び距離測定方法
JP2012123296A (ja) * 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
JP2011198378A (ja) * 2011-05-18 2011-10-06 Konica Minolta Holdings Inc 対応点探索装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3168750A4 (en) * 2014-07-07 2018-03-07 Hitachi Automotive Systems, Ltd. Information processing system
US10306207B2 (en) 2014-07-07 2019-05-28 Hitachi Automotive Systems, Ltd. Information processing system
WO2017029905A1 (ja) * 2015-08-19 2017-02-23 国立研究開発法人産業技術総合研究所 単一カメラによる物体の変位と振動の測定方法、装置およびそのプログラム

Also Published As

Publication number Publication date
EP2824416A1 (en) 2015-01-14
JP2013186042A (ja) 2013-09-19
EP2824416A4 (en) 2015-10-21
US20150015673A1 (en) 2015-01-15
EP2824416B1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
JP6138861B2 (ja) 距離算出装置
JP5587930B2 (ja) 距離算出装置及び距離算出方法
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
KR100938195B1 (ko) 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
JP2007263657A (ja) ３次元座標取得装置
WO2014002692A1 (ja) ステレオカメラ
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
US20150156471A1 (en) Method and device for processing stereoscopic data
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP5107154B2 (ja) 運動推定装置
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2014238409A (ja) 距離算出装置及び距離算出方法
JP6602286B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2007037011A (ja) 画像処理装置
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP6577595B2 (ja) 車両用外界認識装置
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
JP7269130B2 (ja) 画像処理装置
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2018151940A (ja) 障害物検出装置および障害物検出方法
WO2024127757A1 (ja) 画像処理装置及び画像処理方法
JP7180739B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP6334773B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757353

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013757353

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14379189

Country of ref document: US