[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2010128640A1 - ステレオ画像取得装置 - Google Patents

ステレオ画像取得装置 Download PDF

Info

Publication number
WO2010128640A1
WO2010128640A1 PCT/JP2010/057561 JP2010057561W WO2010128640A1 WO 2010128640 A1 WO2010128640 A1 WO 2010128640A1 JP 2010057561 W JP2010057561 W JP 2010057561W WO 2010128640 A1 WO2010128640 A1 WO 2010128640A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame rate
reference data
unit
image
camera
Prior art date
Application number
PCT/JP2010/057561
Other languages
English (en)
French (fr)
Inventor
堀田　伸一
墨友　博則
宏 大和
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to JP2011512343A priority Critical patent/JP5652391B2/ja
Priority to US13/318,672 priority patent/US20120044327A1/en
Publication of WO2010128640A1 publication Critical patent/WO2010128640A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereo image acquisition device, and more particularly to a stereo image acquisition device suitable for in-vehicle use.
  • a drive recorder is a device that records images before and after an accident, and can be used to analyze the cause of the accident. For example, by viewing a video recorded at the time of a car-to-car collision, it is possible to determine to some extent whether the vehicle is responsible or responsible for other vehicles.
  • Patent Document 1 discloses a method capable of recording a long-time image and quickly reproducing a desired image by compressing image information and recording it in a randomly accessible recording unit. ing.
  • Patent Document 2 in an operation management device that uses an image of a drive recorder or the like for training of a driver or the like, if the driving data reaches a dangerous level during the reproduction of an accident image or the like, the image reproduction is slow reproduced. It shows how to make it easier to understand the situation at the time of the accident by switching to.
  • Patent Document 3 a three-dimensional object existing in a monitoring area is extracted using a pair of images captured in a time series by a stereo camera, and a three-dimensional movement of the three-dimensional object is calculated to obtain a monitoring area.
  • a method of detecting a moving object within is shown.
  • the purpose of Patent Document 3 is to avoid a collision with a moving object by detecting a moving object in front of the host vehicle, and is mentioned to record an image like the drive recorder described above. Absent.
  • Patent Document 4 in a vehicle traveling state storage device that records an image obtained by an imaging device that captures the periphery of a traveling vehicle, there is an object in a window area provided in the image.
  • the present invention has been made in view of the above circumstances, and can record high-quality stereo images and acquire highly accurate distance information, and does not require expensive storage media or expensive electronic circuits, and is inexpensive stereo.
  • An object is to provide an image acquisition device.
  • the object of the present invention can be achieved by the following configuration.
  • a camera unit having at least two cameras: a standard camera that captures a standard image of a stereo image; and a reference camera that captures a reference image of a stereo image;
  • a recording unit for recording image data captured by the camera unit as saved data;
  • a control unit for controlling the operation of the camera unit and the recording unit,
  • a stereo image acquisition device that is mounted on a vehicle and acquires a stereo image around the vehicle,
  • a frame rate determining unit that determines a frame rate of the stored data to be recorded in the recording unit;
  • a reference data generation unit that generates reference data based on the first frame rate determined by the frame rate determination unit from the reference image captured by the reference camera;
  • Reference data is generated from the reference image captured by the reference camera based on a second frame rate that is the same as or lower than the first frame rate determined by the frame rate determination unit.
  • the frame rate determining unit dynamically determines the second frame rate depending on the situation of the vehicle and the surroundings of the vehicle at the time of imaging by the camera unit
  • the recording unit is A stereo image acquisition apparatus that records the reference data generated by the reference data generation unit and the reference data generated by the reference data generation unit as the stored data.
  • the stereo image acquisition apparatus dynamically determines the second frame rate based on any one of the following conditions or a combination of a plurality of conditions: .
  • the reference data generation unit Based on the second frame rate, the reference data is generated without being compressed or subjected to compression processing at a low compression rate, A second image compressed at a compression rate higher than the compression rate of the reference data using the reference image at a timing synchronized with the first frame rate among the reference images not used for generating the reference data.
  • the recording unit is 3.
  • the stereo image acquisition apparatus according to 1 or 2, wherein the reference data, the reference data, and the second reference data are recorded as the stored data.
  • reference data is generated and recorded from an image captured by the reference camera based on the first frame rate, and is dependent on the situation at the time of imaging of the vehicle and its surroundings from the image captured by the reference camera.
  • a high-quality stereo image can be recorded.
  • a highly accurate distance information can be acquired, and an inexpensive stereo image acquisition device can be provided without requiring an expensive storage medium or an expensive electronic circuit.
  • FIG. 1 shows the configuration of the first embodiment of the stereo image acquisition device according to the present invention.
  • the stereo image acquisition device 1 includes a camera unit 11, a recording unit 13, a control unit 15, a sensor unit 17, a data generation unit 19, and the like.
  • the camera unit 11 includes at least two cameras such as a standard camera 111 and a reference camera 112.
  • the reference camera 111 and the reference camera 112 are arranged apart from each other by a predetermined baseline length D, and distance information can be acquired from a stereo image.
  • the reference image 111 is output from the reference camera 111 and the reference image Ir is output from the reference camera 112 at a predetermined frame rate FR0.
  • the recording unit 13 is composed of, for example, a hard disk or a semiconductor memory, and records reference data Db and reference data Dr, which will be described later, in accordance with a recording control signal RCS from a recording control unit 152, which will be described later. Data Dr2 is also recorded.
  • the control unit 15 includes a camera control unit 151, a recording control unit 152, a frame rate determination unit 153, and the like.
  • Each unit of the control unit 13 may be configured by hardware, or the function thereof may be realized using a microcomputer and software.
  • the camera control unit 151 outputs a camera control signal CCS for synchronizing the imaging operations of the base camera 111 and the reference camera 112.
  • the recording control unit 152 controls the recording operation of the recording unit 13 by outputting a recording control signal RCS according to the frame rate determined by the frame rate determining unit 153 described later.
  • the frame rate determining unit 153 generates and records reference data Db by thinning out the reference image Ib captured by the reference camera 111 at a predetermined frame rate FR0 in synchronization with the camera control signal CCS from the camera control unit 151.
  • the first frame rate FR1 to be determined is determined and output to the data generation unit 19.
  • the frame rate determination unit 153 generates reference data Dr by thinning out the reference image Ir captured by the reference camera 112 at a predetermined frame rate FR0 in synchronization with the camera control signal CCS from the camera control unit 151.
  • the second frame rate FR2 that is the same as the first frame rate FR1 or lower than the first frame rate FR1 for recording is determined and output to the data generation unit 19. A method of determining the first frame rate FR1 and the second frame rate FR2 will be described in detail with reference to FIG.
  • the sensor unit 17 is a sensor such as a vehicle speed sensor 171 that detects the speed of a vehicle (hereinafter referred to as the host vehicle) on which the stereo image acquisition device 1 is mounted, and a steering angle sensor 172 that detects an operation state of the steering wheel of the host vehicle. It is configured.
  • the vehicle speed signal SS that is the output of the vehicle speed sensor 171 and the steering angle signal HS that is the output of the steering angle sensor 172 are input to the frame rate determination unit 153 and reflected in the determination of the second frame rate FR2.
  • an operation state of the steering wheel of the host vehicle may be detected by detecting acceleration in a direction perpendicular to the traveling direction of the host vehicle using an acceleration sensor.
  • the data generation unit 19 includes a standard data generation unit 191 and a reference data generation unit 192. Each part of the data generation part 19 may be comprised with hardware, and you may implement
  • the reference data generation unit 191 generates reference data Db by thinning out the reference image Ib of the reference camera 111 at the first frame rate FR1, and remains uncompressed or is subjected to compression processing at a low compression rate, and is recorded. To the unit 13.
  • the compression process with a low compression rate is preferably a reversible compression process.
  • the reference image Ib thinned out at the first frame rate FR1 is discarded.
  • the reference data generation unit 192 generates the reference data Dr by thinning out the reference image Ir of the reference camera 112 at the second frame rate FR2 and maintaining the uncompressed or low compression rate compression process. And output to the recording unit 13.
  • the compression process with a low compression rate is preferably a reversible compression process.
  • the reference image Ir thinned out at the second frame rate FR2 is discarded or subjected to the following processing as necessary.
  • the reference data generation unit 192 performs high compression on the reference image Ir thinned out at the timing synchronized with the first frame rate FR1 among the reference images Ir thinned out at the second frame rate FR2.
  • the second reference data Dr2 is generated by performing the rate compression process, and is output to the recording unit 13.
  • the compression process with a high compression rate may be an irreversible compression process.
  • the reference image Ir that has not been used to generate the reference data Dr and the second reference data Dr2 is discarded.
  • FIG. 2 is a block diagram showing the configuration of the frame rate determining unit 153.
  • the frame rate determination unit 153 includes a first frame rate determination unit 1531, a second frame rate determination unit 1532, a parallax change amount calculation unit 1533, an optical flow change amount calculation unit 1534, and the like.
  • Each unit of the frame rate determining unit 153 may be configured by hardware, or the function thereof may be realized using a microcomputer and software.
  • the first frame rate determining unit 1531 determines the first frame rate FR1.
  • the second frame rate determining unit 1532 determines the second frame rate FR2.
  • the second frame rate FR2 is determined at the same rate as the first frame rate FR1 or lower than the first frame rate FR1 depending on the situation of the host vehicle and the surroundings of the host vehicle. As circumstances change, they change dynamically.
  • the second frame rate determination unit 1532 receives a vehicle speed signal SS that is an output of the vehicle speed sensor 171 and a steering angle signal HS that is an output of the steering angle sensor 172, which indicate the state of the host vehicle.
  • the base image Ib and the reference image Ir are input to the parallax change amount calculation unit 1533, the parallax change amount calculation unit 1533 calculates the parallax change amount, and the parallax change amount signal Pr is input to the second frame rate determination unit 1532. Entered.
  • the base image Ib and the reference image Ir are input to the optical flow change amount calculation unit 1534, the optical flow change amount calculation unit 1534 calculates the change amount of the optical flow, and the optical flow change amount signal Of is generated in the second frame. This is input to the rate determination unit 1532.
  • the parallax change amount signal Pr and the optical flow change amount signal Of are signals indicating the situation around the host vehicle.
  • the second frame rate determination unit 1532 is based on any one or a combination of a plurality of signals of the vehicle speed signal SS, the steering angle signal HS, the parallax change amount signal Pr, and the optical flow change amount signal Of described above.
  • the second frame rate FR2 is determined and dynamically changed.
  • the parallax is the amount of deviation of the position on the screen between the reference image Ir and the reference image Ir where the same subject exists, and the parallax is proportional to the reciprocal of the distance to the subject. The closer the distance is, the farther the parallax is.
  • the distance to the subject can be calculated from the base line length D between the standard camera 111 and the reference camera 112, the focal lengths of the imaging lenses of the standard camera 111 and the reference camera 112, and the parallax value.
  • the parallax change amount is the temporal change amount of the parallax described above.
  • the parallax change is 0 (zero) or small, there is no change in the distance from the subject or the change is small.
  • the parallax changes in the direction in which the parallax increases the distance to the subject is short, and when the parallax changes in the direction in which the parallax decreases, the distance from the subject is long.
  • the distance to the subject that is, the vehicle, the person in front, the obstacle, etc. does not change or is far away. That is, the possibility of collision with the subject is low.
  • the parallax change in the direction of increasing it means that the distance to the subject is approaching, that is, the danger of collision with the subject is imminent.
  • the parallax change amount signal Pr it is possible to know the change in the distance between the vehicle and the subject without calculating the distance to the subject.
  • the optical flow is a vector indicating how the position of the subject has changed in time in the captured image.
  • the three-dimensional optical flow not only the change in the traveling direction of the vehicle such as the distance to the subject indicated by the above-described amount of change in parallax but also the progression of the vehicle such as an interruption from the side lane, for example. It is also possible to detect changes in the surroundings of the vehicle including changes in the direction perpendicular to the direction, and the changes in the surroundings of the vehicle can be reflected more.
  • the second frame rate determination unit 1532 is one of the four signals, the vehicle speed signal SS, the steering angle signal HS, the parallax change amount signal Pr, and the optical flow change amount signal Of described above. Based on a combination of one or more signals, the second frame rate FR2 is determined and dynamically changed.
  • the host vehicle and the surroundings of the host vehicle are classified into two states, a normal state CS1 and a recording required state CS2, and the second frame rate FR2 is determined in each state.
  • Vehicle speed signal SS Running at a constant speed or acceleration / deceleration within a predetermined range
  • Steering angle signal HS Straight ahead or steering angle within a predetermined range
  • Parallax change amount signal Pr 0 (zero) or smaller, or changing in a direction in which parallax is reduced
  • the second frame rate FR2 is set to 1 ⁇ 2 of 7.5 fps.
  • one frame out of four frames of the reference image Ir captured by the reference camera 112 is used to generate the reference data Dr.
  • the vehicle speed signal SS the vehicle speed signal SS
  • the steering angle signal HS the parallax change amount signal Pr
  • the optical flow change amount signal Of it is also possible to use any one or a combination of four signals. For example, if only the vehicle speed signal SS is used and the vehicle speed signal SS indicates constant speed running or acceleration / deceleration within a predetermined range, it is determined as the normal state CS1, and if it indicates acceleration / deceleration exceeding the predetermined range, recording is required. It can also be determined that the state is CS2.
  • FIG. 3 is a block diagram showing the configuration of the data generation unit 19
  • FIG. 3A shows the configuration of the reference data generation unit 191
  • FIG. 3B shows the configuration of the reference data generation unit 192.
  • the reference data generation unit 191 includes a reference thinning unit 1911, a low compression rate compression unit 1912, and the like. Each unit of the reference data generation unit 191 may be configured by hardware, or the function thereof may be realized using a microcomputer and software.
  • a reference image Ib captured by the reference camera 111 at a predetermined frame rate FR0 (for example, 30 fps) is input to the reference thinning unit 1911.
  • the reference decimation unit 1911 generates a reference decimation image Ib1 by decimation of the reference image Ib according to the first frame rate FR1 (for example, 15 fps) determined by the frame rate determination unit 153.
  • An image of a frame that has not been used to generate the reference thinned image Ib1 is discarded.
  • the reference thinned image Ib1 is subjected to compression processing at a low compression rate by the low compression rate compression unit 1912 and output from the reference data generation unit 191 as reference data Db. Note that the reference thinned image Ib1 may be output as the reference data Db without being subjected to compression processing and remaining uncompressed.
  • the reference data generation unit 192 includes a reference thinning unit 1921, a low compression rate compression unit 1922, a high compression rate compression unit 1923, and the like.
  • Each unit of the reference data generation unit 192 may be configured by hardware, or the function thereof may be realized using a microcomputer and software.
  • the reference image Ir captured by the reference camera 112 at a predetermined frame rate FR0 (for example, 30 fps) is input to the reference thinning unit 1921.
  • the reference decimation unit 1921 decimates the reference image Ir according to the second frame rate FR2 (for example, 7.5 fps) determined by the frame rate determination unit 153, and generates and outputs a first reference decimation image Ir1.
  • the first reference thinned image Ir1 is subjected to compression processing at a low compression rate by the low compression rate compression unit 1922, and is output from the reference data generation unit 192 as reference data Dr. Note that the first reference thinned image Ir1 may be output as reference data Dr without being subjected to compression processing and being uncompressed.
  • the image of the frame synchronized with the first frame rate FR1 (for example, 15 fps) determined by the frame rate determination unit 153 is the second reference decimation image. It is input to the high compression ratio compression unit 1923 as Ir2, subjected to high compression ratio compression processing, and output as second reference data Dr2. Images of frames that are not used to generate the first reference thinned image Ir1 and the second reference thinned image Ir2 are discarded.
  • the generation of the second reference data Dr2 is not essential and may be omitted.
  • the high compression rate compression process performed by the high compression rate compression unit 1923 may be an irreversible compression process.
  • the second reference data Dr2 is generated by using the image of the frame synchronized with the first frame rate FR1 among the images of the frame that was not used for the generation of the first reference thinned image Ir1, thereby increasing the Although it is inferior in accuracy because it is compressed at the compression rate, it is possible to perform a distance calculation using a stereo image using the second reference data Dr2, which can lead to a more accurate analysis of the cause of the accident.
  • the increase in the amount of recording data due to the recording of the second reference data Dr2 is slight because it is compressed at a high compression rate.
  • FIG. 4 is a schematic diagram showing a process of forming the reference data Db and the reference data Dr in the normal state CS1 described above.
  • the first frame rate FR1 is 1/2 of the predetermined frame rate FR0
  • the second frame rate FR2 is 1/2 of the first frame rate FR1 in the normal state CS1.
  • the image indicated by the broken line indicates an image discarded as a result of thinning.
  • the reference image 111 is output from the reference camera 111 at a predetermined frame rate FR0.
  • the reference image Ib is thinned out at the first frame rate FR1, and is recorded in the recording unit 13 as reference data Db without being compressed or subjected to compression processing at a low compression rate.
  • the reference image Ir is output from the reference camera 112 at a predetermined frame rate FR0.
  • the reference image Ir is thinned out at the second frame rate FR2, and is recorded in the recording unit 13 as reference data Dr while being uncompressed or subjected to compression processing at a low compression rate.
  • the standard data Db and the reference data Dr are uncompressed, the standard data Db has a data amount that is 1/2 that of the standard image Ib, and the reference data Dr has a data amount that is 1/4 that of the reference image Ir. Therefore, the recording capacity can be reduced accordingly.
  • a distance calculation using a stereo image can be performed between the corresponding standard data Db and the reference data Dr indicated by bidirectional arrows in the figure.
  • FIG. 5 is a schematic diagram showing a process of forming the standard data Db, the reference data Dr, and the second reference data Dr2 in the normal state CS1 described above.
  • FIG. 5 differs from FIG. 4 in that compression processing with a high compression ratio is applied to the second reference thinned image Ir2 captured at the timing of the first frame rate FR1 among the images thinned out at the second frame rate FR2. This is a point that is recorded in the recording unit 13 as the second reference data Dr2. The other points are the same as in FIG.
  • the second reference data Dr2 is compressed at a high compression rate, the amount of data increases slightly compared to the example of FIG. Also, between the corresponding reference data Db and the second reference data Dr2 indicated by the two-way broken arrows in the figure, the second reference data Dr2 is compressed at a high compression rate, but the accuracy is inferior. Distance calculation using stereo images is possible.
  • FIG. 6 is a schematic diagram showing a process of forming the standard data Db and the reference data Dr in the above-described recording required state CS2. 6 differs from FIG. 4 in that the second frame rate FR2 for recording the reference image Ir of the reference camera 112 as the reference data Dr in the recording unit 13 is the same as the first frame rate FR1, and the reference data Dr is the standard. It is a point recorded at the same density as the data Db. The other points are the same as in FIG.
  • the standard data Db has a data amount that is 1/2 that of the standard image Ib
  • the reference data Dr also has a data amount that is 1/2 that of the reference image Ir.
  • the recording capacity is increased by 1/4 of the reference image Ir, but the capacity is still 1/2 of the original image.
  • a distance calculation using a stereo image can be performed between the corresponding standard data Db and the reference data Dr indicated by bidirectional arrows in the figure.
  • FIG. 7 is a schematic diagram showing a process of forming the reference data Db and the reference data Dr when returning from the normal state CS1 to the normal state CS1 again through the recording required state CS2 described above.
  • the reference data Dr is obtained based on the four signals, which are the vehicle speed signal SS, the steering angle signal HS, the parallax change amount signal Pr, and the optical flow change amount signal Of, which indicate the vehicle and the surroundings of the vehicle.
  • the image captured by the reference camera is thinned out at the first frame rate to generate and record the reference data of the uncompressed or low compression rate, and the reference camera
  • the captured image is uncompressed by thinning out at a second frame rate that is the same as or lower than the first frame rate, which is dynamically determined depending on the situation of the vehicle and its surroundings at the time of imaging.
  • a stereo image acquisition apparatus can be provided.
  • the second frame rate for recording the reference data described above is based on the four signals of the vehicle speed signal, the steering angle signal, the parallax change amount signal, and the optical flow change amount signal indicating the own vehicle and the surrounding conditions of the own vehicle.
  • the second reference data is generated using the image of the frame synchronized with the first frame rate among the images of the frame not used for the generation of the first reference decimation image, so that the image is compressed at a high compression rate.
  • the accuracy is inferior, but only a slight increase in the amount of data can be used to calculate the distance from the stereo image using the second reference data, leading to a more accurate analysis of the cause of the accident. it can.
  • FIG. 8 shows the configuration of the second embodiment of the stereo image acquisition device according to the present invention.
  • the data generation unit 19 of the first embodiment is deleted, and the function of the reference data generation unit 191 of the data generation unit 19 is changed to the reference camera 111 to generate reference data.
  • the function of the unit 192 is added to the reference camera 112.
  • the reference camera 111 and the reference camera 112 of the camera unit 11 output a reference image Ib from the reference camera 111 at a predetermined frame rate FR0 in synchronization with the camera control signal CCS from the camera control unit 151. From 112, a reference image Ir is output.
  • the reference image Ib and the reference image Ir are input to the frame rate determining unit 153, and the first frame rate FR1 and the second frame rate FR2 are determined in the same manner as shown in FIG.
  • the determined first frame rate FR1 is input to the base camera 111 and the reference camera 112, and the second frame rate FR2 is input to the reference camera 112.
  • the reference camera 111 thins out the reference image Ib in accordance with the first frame rate FR1 and outputs it to the recording unit 13 as the reference data Db after being subjected to compression processing with a low compression rate or uncompressed.
  • the reference camera 112 thins out the reference image Ir in accordance with the second frame rate FR2, and outputs it to the recording unit 13 as reference data Dr while being compressed at a low compression rate or uncompressed.
  • the reference camera 112 performs compression processing with a high compression rate on the image of the frame synchronized with the first frame rate FR1 among the images of the frames that are not used for generating the reference data Dr, and the second reference data Dr2.
  • the standard data Db and the reference data Dr are left uncompressed and the second reference data Dr2 is not generated, so that it is not necessary to perform compression processing in the camera.
  • the data generation unit 19 of the first embodiment can be omitted without imposing a heavy load on the camera 111 and the reference camera 112, and the processing speed of the stereo image acquisition device 1 can be increased, the configuration can be simplified, and the device This can contribute to cost reduction.
  • the formation process of the reference data Db and the reference data Dr at this time is the same as in FIG.
  • a camera that captures an image at the first frame rate FR1 instead of the predetermined frame rate FR0 is used as the reference camera 111, and the first camera is not the predetermined frame rate FR0 as the reference camera 112. It is also possible to use a variable frame rate camera that captures images at the two frame rate FR2.
  • the third embodiment in the first or second embodiment, when the vehicle and the surroundings of the vehicle are in the normal state CS1, the reference data Dr and the reference data Dr are recorded in the recording unit 13.
  • the recording of the standard data Db and the reference data Dr is performed in the recording unit 13 only in the recording-required state CS2.
  • FIG. 9 shows the formation process of the standard data Db and the reference data Dr at this time.
  • FIG. 9 is a schematic diagram showing a process of forming the standard data Db and the reference data Dr in the third embodiment of the stereo image acquisition apparatus according to the present invention, and again from the above-described normal state CS1 through the recording required state CS2. A process of forming the standard data Db and the reference data Dr when returning to the normal state CS1 is shown.
  • the reference camera 111 is capturing the reference image Ib at the predetermined frame rate FR0, but the reference data Db is not recorded.
  • the reference camera 112 also captures the reference image Ir at a predetermined frame rate FR0, but does not record the reference data Dr.
  • the vehicle speed signal SS since any one of the four signals, the vehicle speed signal SS, the steering angle signal HS, the parallax change amount signal Pr, and the optical flow change amount signal Of described above, meets the determination condition of the recording state CS2.
  • the normal state CS1 is switched to the recording required state CS2.
  • the reference image Ib is thinned out at the first frame rate FR1 to generate the reference thinned image Ib1, and is recorded as the reference data Db.
  • the reference image Ir is thinned out at the second frame rate FR2, and a first reference thinned image Ir1 is generated and recorded as reference data Dr.
  • the first frame rate FR1 is equal to the second frame rate FR2, and the reference data Dr is recorded at the same high density as the standard data Db.
  • the recording required state CS2 is continued until time t2, during which the reference data Dr is continuously recorded at the same high density as the standard data Db. Therefore, if a rear-end collision or the like occurs, a more accurate analysis of the cause of the accident or the like is performed by performing a distance calculation using a stereo image based on the standard data Db and the reference data Dr recorded at high density. Can do.
  • the reference data Dr is obtained based on the four signals, which are the vehicle speed signal SS, the steering angle signal HS, the parallax change amount signal Pr, and the optical flow change amount signal Of, which indicate the vehicle and the surroundings of the vehicle.
  • the second frame rate FR2 By dynamically determining the second frame rate FR2 to be recorded and recording a stereo image at a high density only when there is a danger of a collision, etc., it can lead to a more accurate analysis of the cause of the accident, etc. If there is no danger, the data recording is not performed, so that the recording time can be extended, the capacity of the recording medium such as a hard disk or a semiconductor memory can be reduced, and the apparatus can be reduced in size and cost.
  • the third embodiment based on the four signals of the vehicle speed signal, the steering angle signal, the parallax change amount signal, and the optical flow change amount signal that indicate the vehicle and the surroundings of the vehicle. Recording stereo images at high density only when there is a danger of a collision can lead to a more accurate analysis of the cause of the accident, etc. Thus, the recording time can be extended, the capacity of a recording medium such as a hard disk or a semiconductor memory can be reduced, and the apparatus can be reduced in size and cost.
  • the reference data generation unit 191 can be omitted.
  • the reference data is generated and recorded based on the first frame rate from the image captured by the reference camera, and the vehicle at the time of imaging is captured from the image captured by the reference camera.
  • the reference data is generated and recorded based on the second frame rate that is the same as the first frame rate or lower than the first frame rate, which is dynamically determined depending on the surrounding conditions and the high quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。

Description

ステレオ画像取得装置
　本発明は、ステレオ画像取得装置に関し、特に車載に適したステレオ画像取得装置に関する。
　近年、自動車業界では、安全性を高める動きが活発化しており、カメラによる画像センサやレーダ等を利用した危険回避システムの導入が進んでいる。よく知られているシステムとしては、画像センサやレーダ等を利用することで自車両周辺の距離情報を取得することで危険回避を行うシステムがある。
　一方、タクシー業界では、ドライブレコーダの導入が進んでいる。ドライブレコーダは、事故が起きた前後の画像を記録する装置で、事故の原因解析に用いることができる。例えば、車同士の衝突事故時に記録された映像を見ることで、自車に責任があるのか、それとも他車に責任があるのかを、ある程度見極めることができる。
　例えば、特許文献１には、画像情報を圧縮してランダムアクセス可能な記録手段に記録することで、長時間の画像を記録できるとともに、所望の画像を迅速に再生することができる方法が示されている。
　さらに、特許文献２には、ドライブレコーダ等の画像を運転者等の研修に利用する運行管理装置において、事故画像等の再生時に、走行データが危険水準に達した場合、画像の再生をスロー再生に切り替えることで事故時の状況を把握しやすくする方法が示されている。
　これらの画像取得において、ステレオ画像を用いて距離情報を取得することは、非常に有効である。例えば、特許文献３には、ステレオカメラで時系列的に撮像した一対の画像を用いて、監視領域内に存在する立体物を抽出し、立体物の３次元的な動きを算出して監視領域内の移動物体を検出する方法が示されている。ただし、特許文献３の目的は、自車の前方の移動物体を検出することで移動物体との衝突を回避することであり、上述したドライブレコーダのように画像を記録することには言及されていない。
　一方、特許文献４には、走行中の車両の周辺を撮像する撮像装置により得られた画像を記録するようにした車両走行状態記憶装置において、画像内に設けたウインドウ領域に対象物がある場合に、ステレオ測定によりウインドウ毎の距離計算を行い、計算された距離を画像上に表示し、画像情報とともに記憶する方法が示されている。
特許第３２５４９４６号公報 特開２００８－６５３６１号公報 特開２００６－１３４０３５号公報 特許第２６０８９９６号公報
　しかしながら、特許文献４の方法では、車両走行状態記憶装置の内部で、ステレオ画像からの距離計算をリアルタイムで常に行う必要があり、高速のマイクロコンピュータやメモリ等の高価な電子回路が必要となる。また、高精度な距離計算を行うためには高画質なステレオ画像が必要であり、それを全て記憶するためには、膨大な容量を持ち、高速記録が可能な高価な記憶媒体が必要である。これらから、車両走行状態記憶装置は非常に高価なものとなる。
　本発明は、上記事情に鑑みてなされたもので、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することを目的とする。
　本発明の目的は、下記構成により達成することができる。
　１．ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
　前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
　前記カメラ部および前記記録部の動作を制御する制御部とを備え、
　車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ画像取得装置において、
　前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
　前記基準カメラで撮像された前記基準画像から、前記フレームレート決定部で決定された第１フレームレートに基づいて基準データを生成する基準データ生成部と、
　前記参照カメラで撮像された前記参照画像から、前記フレームレート決定部で決定された、前記第１フレームレートと同じまたは前記第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成する参照データ生成部とを備え、
　前記フレームレート決定部は、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して、前記第２フレームレートを動的に決定し、
　前記記録部は、
　前記基準データ生成部で生成された前記基準データと、前記参照データ生成部で生成された前記参照データとを、前記保存データとして記録することを特徴とするステレオ画像取得装置。
　２．前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに基づいて、前記第２フレームレートを動的に決定することを特徴とする前記１に記載のステレオ画像取得装置。
条件
　１）前記車両の速度
　２）前記車両のハンドルの操作状況
　３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
　４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
　３．前記参照データ生成部は、
　前記第２フレームレートに基づいて、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して前記参照データを生成するとともに、
　前記参照データの生成に用いられなかった前記参照画像の内で、前記第１フレームレートに同期したタイミングの前記参照画像を用いて、前記参照データの圧縮率よりも高圧縮率で圧縮した第２参照データを生成し、
　前記記録部は、
　前記基準データと、前記参照データと、前記第２参照データとを、前記保存データとして記録することを特徴とする前記１または２に記載のステレオ画像取得装置。
　本発明によれば、基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
ステレオ画像取得装置の第１の実施の形態の構成を示すブロック図である。 フレームレート決定部の構成を示すブロック図である。 データ生成部の構成を示すブロック図である。 通常状態での基準データと参照データとの形成過程を示す模式図である。 通常状態での基準データと参照データおよび第２参照データとの形成過程を示す模式図である。 要記録状態での基準データと参照データとの形成過程を示す模式図である。 通常状態から要記録状態を経て再度通常状態に戻る場合の基準データと参照データとの形成過程を示す模式図である。 ステレオ画像取得装置の第２の実施の形態の構成を示すブロック図である。 ステレオ画像取得装置の第３の実施の形態における、基準データと参照データとの形成過程を示す模式図である。
　以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限らない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
　最初に、本発明におけるステレオ画像取得装置の第１の実施の形態の構成について、図１を用いて説明する、図１は、本発明におけるステレオ画像取得装置の第１の実施の形態の構成を示すブロック図である。
　図１において、ステレオ画像取得装置１は、カメラ部１１、記録部１３、制御部１５、センサ部１７およびデータ生成部１９等で構成されている。
　カメラ部１１は、基準カメラ１１１と参照カメラ１１２との少なくとも２台のカメラ等で構成されている。基準カメラ１１１と参照カメラ１１２とは、所定の基線長Ｄだけ離して配置され、ステレオ画像から距離情報が取得可能となっている。後述するカメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で、基準カメラ１１１からは基準画像Ｉｂが出力され、参照カメラ１１２からは参照画像Ｉｒが出力される。
　記録部１３は、例えばハードディスクや半導体メモリ等で構成され、後述する記録制御部１５２からの記録制御信号ＲＣＳに従って、後述する基準データＤｂと参照データＤｒとを記録し、必要に応じて第２参照データＤｒ２も記録する。
　制御部１５は、カメラ制御部１５１、記録制御部１５２およびフレームレート決定部１５３等で構成されている。制御部１３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
　カメラ制御部１５１は、基準カメラ１１１と参照カメラ１１２との撮像動作を同期させるためのカメラ制御信号ＣＣＳを出力する。
　記録制御部１５２は、後述するフレームレート決定部１５３で決定されるフレームレートに従って記録制御信号ＲＣＳを出力して、記録部１３の記録動作を制御する。
　フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で基準カメラ１１１で撮像された基準画像Ｉｂを間引いて、基準データＤｂを生成して記録するための第１フレームレートＦＲ１を決定して、データ生成部１９に出力する。
　同様に、フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で参照カメラ１１２で撮像された参照画像Ｉｒを間引いて、参照データＤｒを生成して記録するための、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートの第２フレームレートＦＲ２を決定して、データ生成部１９に出力する。第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法は、図２で詳述する。
　センサ部１７は、ステレオ画像取得装置１を搭載した車両（以下、自車と言う）の速度を検知する車速センサ１７１や、自車のハンドルの操作状況を検知する操舵角センサ１７２等のセンサで構成されている。車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳは、フレームレート決定部１５３に入力されて、第２フレームレートＦＲ２の決定に反映される。操舵角センサ１７２の代わりに、加速度センサを用いて、自車の進行方向に垂直な方向の加速度を検出することで、自車のハンドルの操作状況を検知してもよい。
　データ生成部１９は、基準データ生成部１９１および参照データ生成部１９２等で構成される。データ生成部１９の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
　基準データ生成部１９１は、基準カメラ１１１の基準画像Ｉｂを第１フレームレートＦＲ１で間引きして、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して、基準データＤｂを生成し、記録部１３に出力する。低圧縮率の圧縮処理は、可逆圧縮処理であることが望ましい。第１フレームレートＦＲ１で間引かれた基準画像Ｉｂは、廃棄される。
　同様に、参照データ生成部１９２は、参照カメラ１１２の参照画像Ｉｒを第２フレームレートＦＲ２で間引きして、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して、参照データＤｒを生成し、記録部１３に出力する。低圧縮率の圧縮処理は、可逆圧縮処理であることが望ましい。第２フレームレートＦＲ２で間引かれた参照画像Ｉｒは、廃棄されるか、必要に応じて、以下の処理が施される。
　参照データ生成部１９２は、必要に応じて、第２フレームレートＦＲ２で間引かれた参照画像Ｉｒの内で、第１フレームレートＦＲ１に同期したタイミングで間引かれた参照画像Ｉｒを、高圧縮率の圧縮処理を施して第２参照データＤｒ２を生成し、記録部１３に出力する。高圧縮率の圧縮処理は、非可逆圧縮処理であってもよい。参照データＤｒおよび第２参照データＤｒ２の生成に用いられなかった参照画像Ｉｒは、廃棄される。
　次に、第１の実施の形態における、上述したフレームレート決定部１５３での第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法について、図２を用いて説明する。図２は、フレームレート決定部１５３の構成を示すブロック図である。
　図２において、フレームレート決定部１５３は、第１フレームレート決定部１５３１、第２フレームレート決定部１５３２、視差変化量演算部１５３３およびオプティカルフロー変化量演算部１５３４等で構成される。フレームレート決定部１５３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
　第１フレームレート決定部１５３１は、第１フレームレートＦＲ１を決定する。第１フレームレートＦＲ１は、自車および自車の周辺の状況には依存せずに所定の値に決定され、自車および自車の周辺の状況に変化が生じても変更されない。例えば、基準カメラ１１１が、所定のフレームレートＦＲ０＝３０フレーム／秒（以下、ｆｐｓと言う）で撮像を行っているとした場合、第１フレームレートＦＲ１がその１／２の１５ｆｐｓに決定される。これによって、基準カメラ１１１で撮像された基準画像Ｉｂの２フレームに１フレームが基準データＤｂの生成に用いられ、残りの１フレームは廃棄される。
　一方、第２フレームレート決定部１５３２は、第２フレームレートＦＲ２を決定する。第２フレームレートＦＲ２は、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートで、自車および自車の周辺の状況に依存して決定され、自車および自車の周辺の状況に変化が生じると、動的に変更される。
　図２において、第２フレームレート決定部１５３２には、自車の状況を示す、車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳが入力される。
　また、基準画像Ｉｂおよび参照画像Ｉｒが視差変化量演算部１５３３に入力され、視差変化量演算部１５３３で視差の変化量が演算されて、視差変化量信号Ｐｒが第２フレームレート決定部１５３２に入力される。
　同様に、基準画像Ｉｂおよび参照画像Ｉｒがオプティカルフロー変化量演算部１５３４に入力され、オプティカルフロー変化量演算部１５３４でオプティカルフローの変化量が演算されて、オプティカルフロー変化量信号Ｏｆが第２フレームレート決定部１５３２に入力される。視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆは、自車の周辺の状況を示す信号である。
　第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。
　ここで、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆについて説明する。まず、視差変化量信号Ｐｒについて説明する。視差とは、同一の被写体が存在する基準画像Ｉｂ上と参照画像Ｉｒ上との画面上の位置のズレ量のことで、視差は被写体との距離の逆数に比例し、視差が大きいほど被写体との距離が近く、視差が小さいほど遠い。
　基準カメラ１１１と参照カメラ１１２との基線長Ｄ、基準カメラ１１１および参照カメラ１１２の撮像レンズの焦点距離、および視差の値から、被写体までの距離を演算することができる。
　視差変化量とは上述した視差の時間的な変化量で、視差の変化が０（ゼロ）または小さい場合は、被写体との距離に変化がないか変化が小さい。視差が大きくなる方向に変化している場合は被写体との距離が近くなっており、視差が小さくなる方向に変化している場合は被写体との距離が遠くなっている。
　従って、視差の変化が０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化している場合は、被写体、即ち前方の車両や人、障害物等までの距離が変わらない、あるいは遠ざかっている、つまり被写体への衝突の可能性は低いということになる。逆に、視差が大きくなる方向に変化している場合は、被写体までの距離が近づいている、つまり被写体への衝突の危険が迫っているということになる。このように、視差変化量信号Ｐｒを用いることで、被写体までの距離を演算することなく、自車と被写体との距離の変化を知ることができる。
　次に、オプティカルフロー変化量信号Ｏｆについて説明する。オプティカルフローとは、撮像された画像の中で被写体の位置が時間的にどう変化したかを示すベクトルのことを言う。ステレオ画像を用いて前方の車両等の被写体のオプティカルフローを演算することで、３次元オプティカルフローを得ることができ、３次元オプティカルフローの延長線と自車の進行方向とが交差する場合には、衝突の危険性があると判断できる。
　従って、３次元オプティカルフローを用いることで、上述した視差変化量が示す被写体との距離のような自車の進行方向の変化だけでなく、例えば横の車線からの割り込みのような自車の進行方向に垂直な方向の変化を含む自車の周辺の状況の変化についても検出が可能となり、自車の周辺の状況の変化をより反映できる。
　第２フレームレート決定部１５３２に戻って、第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。
　ここでは、自車および自車の周辺の状況を、通常状態ＣＳ１と要記録状態ＣＳ２との２つの状態に分類し、それぞれの状態で第２フレームレートＦＲ２を決定する。
　　（通常状態ＣＳ１）
　車速信号ＳＳ：定速走行あるいは所定範囲内の加減速
　操舵角信号ＨＳ：直進あるいは所定範囲内の操舵角
　視差変化量信号Ｐｒ：０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化
　オプティカルフロー変化量信号Ｏｆ：衝突の危険性なし
　以上の４条件を全て満足している場合には、衝突の危険性は低いと判断し、第２フレームレートＦＲ２を低レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２をその１／２の７．５ｆｐｓに設定する。これによって、参照カメラ１１２で撮像された参照画像Ｉｒの４フレームに１フレームが参照データＤｒの生成に用いられる。
　　（要記録状態ＣＳ２）
　車速信号ＳＳ：所定範囲を越える加減速
　操舵角信号ＨＳ：所定範囲を越える操舵角
　視差変化量信号Ｐｒ：視差が大きくなる方向に変化
　オプティカルフロー変化量信号Ｏｆ：衝突の危険性あり
　以上の４条件の内の１つでも当てはまる場合には、衝突の危険性があると判断し、第２フレームレートＦＲ２を高レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２を第１フレームレートＦＲ１と同じ１５ｆｐｓに設定する。これによって、基準データＤｂと同様に、参照カメラ１１２で撮像された参照画像Ｉｒの２フレームに１フレームが参照データＤｒの生成に用いられる。
　なお、上述した自車および自車の周辺の状況の判定には、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号全てを用いることが望ましいが、４つの信号の何れか１つまたは複数の組み合わせを用いることも可能である。例えば車速信号ＳＳのみを用いて、車速信号ＳＳが定速走行あるいは所定範囲内の加減速を示している場合は通常状態ＣＳ１と判定し、所定範囲を越える加減速を示している場合は要記録状態ＣＳ２と判定することもできる。
　次に、データ生成部１９の、基準データ生成部１９１での基準データＤｂの生成方法、および参照データ生成部１９２での参照データＤｒおよび第２参照データＤｒ２の生成方法について、図３を用いて説明する。図３は、データ生成部１９の構成を示すブロック図で、図３（ａ）は基準データ生成部１９１の構成を示し、図３（ｂ）は参照データ生成部１９２の構成を示す。
　図３（ａ）において、基準データ生成部１９１は、基準間引き部１９１１および低圧縮率圧縮部１９１２等で構成される。基準データ生成部１９１の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
　基準カメラ１１１で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準画像Ｉｂが、基準間引き部１９１１に入力される。基準間引き部１９１１は、フレームレート決定部１５３で決定された第１フレームレートＦＲ１（例えば１５ｆｐｓ）に従って基準画像Ｉｂを間引きして基準間引き画像Ｉｂ１を生成し、出力する。基準間引き画像Ｉｂ１の生成に用いられなかったフレームの画像は廃棄される。
　基準間引き画像Ｉｂ１は、低圧縮率圧縮部１９１２で低圧縮率の圧縮処理が施されて、基準データ生成部１９１から基準データＤｂとして出力される。なお、基準間引き画像Ｉｂ１は、圧縮処理を施さず、非圧縮のままで基準データＤｂとして出力されてもよい。
　図３（ｂ）において、参照データ生成部１９２は、参照間引き部１９２１、低圧縮率圧縮部１９２２および高圧縮率圧縮部１９２３等で構成される。参照データ生成部１９２の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。
　参照カメラ１１２で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された参照画像Ｉｒが、参照間引き部１９２１に入力される。参照間引き部１９２１は、フレームレート決定部１５３で決定された第２フレームレートＦＲ２（例えば７．５ｆｐｓ）に従って参照画像Ｉｒを間引きし、第１参照間引き画像Ｉｒ１を生成し、出力する。
　第１参照間引き画像Ｉｒ１は、低圧縮率圧縮部１９２２で低圧縮率の圧縮処理が施されて、参照データ生成部１９２から参照データＤｒとして出力される。なお、第１参照間引き画像Ｉｒ１は、圧縮処理を施さず、非圧縮のままで参照データＤｒとして出力されてもよい。
　第１参照間引き画像Ｉｒ１の生成に用いられなかったフレームの画像の内、フレームレート決定部１５３で決定された第１フレームレートＦＲ１（例えば１５ｆｐｓ）に同期したフレームの画像は、第２参照間引き画像Ｉｒ２として高圧縮率圧縮部１９２３に入力されて高圧縮率の圧縮処理が施され、第２参照データＤｒ２として出力される。第１参照間引き画像Ｉｒ１および第２参照間引き画像Ｉｒ２の生成に用いられなかったフレームの画像は廃棄される。
　なお、第２参照データＤｒ２の生成は必須ではなく、省略してもよい。また、高圧縮率圧縮部１９２３で施される高圧縮率の圧縮処理は、非可逆圧縮処理であってもよい。
　上述したように、第１参照間引き画像Ｉｒ１の生成に用いられなかったフレームの画像の内で第１フレームレートＦＲ１に同期したフレームの画像を用いて第２参照データＤｒ２を生成することで、高圧縮率で圧縮されているために精度的には劣るが、第２参照データＤｒ２を用いてステレオ画像による距離演算を行うことができ、より精度の高い事故原因の解析等に繋げることができる。第２参照データＤｒ２の記録による記録データ量の増加は、高圧縮率で圧縮されているために、僅かである。
　次に、上述した第１の実施の形態の動作を、図４から図７の、画像ファイルが形成される過程を用いて説明する。図４は、上述した通常状態ＣＳ１での基準データＤｂと参照データＤｒとの形成過程を示す模式図である。
　なお、図４から図７および後述する図９では、図の左から右に示した時間軸ｔに従って、時系列的に撮像が進行しているものとする。また、図４から図７および図９では、第１フレームレートＦＲ１は所定のフレームレートＦＲ０の１／２に、第２フレームレートＦＲ２は、通常状態ＣＳ１では第１フレームレートＦＲ１の１／２に、要記録状態ＣＳ２では第１フレームレートＦＲ１に等しく設定されるものとする。さらに、図４から図７および図９では、破線で示した画像は、間引きの結果、廃棄された画像を示している。
　図４において、基準カメラ１１１からは、所定のフレームレートＦＲ０で基準画像Ｉｂが出力されている。基準画像Ｉｂは、第１フレームレートＦＲ１で間引きされて、非圧縮のままあるいは低圧縮率の圧縮処理が施されて、基準データＤｂとして記録部１３に記録される。
　一方、参照カメラ１１２からは、所定のフレームレートＦＲ０で参照画像Ｉｒが出力されている。参照画像Ｉｒは、第２フレームレートＦＲ２で間引きされて、非圧縮のままあるいは低圧縮率の圧縮処理が施されて、参照データＤｒとして記録部１３に記録される。
　従って、基準データＤｂおよび参照データＤｒがともに非圧縮であるとすると、基準データＤｂは基準画像Ｉｂの１／２のデータ量に、参照データＤｒは参照画像Ｉｒの１／４のデータ量であり、その分、記録容量を少なくできる。また、図に双方向の矢印で示した対応する基準データＤｂと参照データＤｒとの間では、ステレオ画像による距離演算が可能である。
　図５は、上述した通常状態ＣＳ１での基準データＤｂと参照データＤｒおよび第２参照データＤｒ２との形成過程を示す模式図である。図５が図４と異なる点は、第２フレームレートＦＲ２で間引きされた画像の内で、第１フレームレートＦＲ１のタイミングで撮像された第２参照間引き画像Ｉｒ２に、高圧縮率の圧縮処理が施され、第２参照データＤｒ２として記録部１３に記録される点である。その他の点は図４と同じである。
　第２参照データＤｒ２は高圧縮率で圧縮されているために、図４の例に比べてデータ量の増加は僅かである。また、図に双方向の破線矢印で示した対応する基準データＤｂと第２参照データＤｒ２との間では、第２参照データＤｒ２は高圧縮率で圧縮されているために精度的には劣るが、ステレオ画像による距離演算が可能である。
　図６は、上述した要記録状態ＣＳ２での基準データＤｂと参照データＤｒとの形成過程を示す模式図である。図６が図４と異なる点は、参照カメラ１１２の参照画像Ｉｒを参照データＤｒとして記録部１３に記録する第２フレームレートＦＲ２が、第１フレームレートＦＲ１と同じであり、参照データＤｒが基準データＤｂと同じ密度で記録されている点である。その他の点は図４と同じである。
　従って、基準データＤｂおよび参照データＤｒがともに非圧縮であるとすると、基準データＤｂは基準画像Ｉｂの１／２のデータ量に、参照データＤｒも参照画像Ｉｒの１／２のデータ量であり、図４に比べて参照画像Ｉｒの１／４だけ記録容量が大きくなるが、それでも元の画像の１／２の容量で済む。また、図に双方向の矢印で示した対応する基準データＤｂと参照データＤｒとの間では、ステレオ画像による距離演算が可能である。
　図７は、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の基準データＤｂと参照データＤｒとの形成過程を示す模式図である。
　図７において、時間ｔ１のタイミングまでは、図４に示した通常状態ＣＳ１での基準データＤｂと参照データＤｒとの記録が行われている。時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、図４の通常状態ＣＳ１の状態から図６の要記録状態ＣＳ２の状態に切り替わって、参照データＤｒが基準データＤｂと同じ高密度で記録される。
　この状態は時間ｔ２まで継続され、その間は参照データＤｒが基準データＤｂと同じ高密度で記録され続ける。従って、もし追突事故等が発生した場合、高密度で記録された基準データＤｂと参照データＤｒとに基づいてステレオ画像による距離演算を行うことで、より精度の高い事故原因の解析等を行うことができる。
　時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、図６の要記録状態ＣＳ２の状態から、再度図４の通常状態ＣＳ１の状態に戻り、通常状態ＣＳ１での基準データＤｂと参照データＤｒとの記録が行われる。
　上述したように、自車および自車の周辺の状況を示す、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号に基づいて、参照データＤｒを記録する第２フレームレートＦＲ２を動的に決定して、衝突の危険がある場合等にステレオ画像を高密度に記録することで、より精度の高い事故原因の解析等に繋げることができる。
　上述したように、第１の実施の形態によれば、基準カメラで撮像された画像を第１フレームレートで間引きして非圧縮または低圧縮率の基準データを生成して記録し、参照カメラで撮像された画像を、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートで間引きして非圧縮または低圧縮率の参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
　また、上述した参照データを記録する第２フレームレートを、自車および自車の周辺の状況を示す車速信号、操舵角信号、視差変化量信号およびオプティカルフロー変化量信号の４つの信号に基づいて動的に決定して、衝突の危険がある場合等にステレオ画像を高密度に記録することで、より精度の高い事故原因の解析等に繋げることができる。
　さらに、第１参照間引き画像の生成に用いられなかったフレームの画像の内で第１フレームレートに同期したフレームの画像を用いて第２参照データを生成することで、高圧縮率で圧縮されているために精度的には劣るが、僅かなデータ量の増加のみで、第２参照データを用いてステレオ画像による距離演算を行うことができ、より精度の高い事故原因の解析等に繋げることができる。
　なお、第１の実施の形態で、基準カメラ１１１および参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用いれば、あるいは、第１フレームレートＦＲ１＝所定のフレームレートＦＲ０とすれば、少なくとも基準データ生成部１９１の基準間引き部１９１１を省略することができる。
　次に、本発明におけるステレオ画像取得装置の第２の実施の形態の構成について、図８を用いて説明する、図８は、本発明におけるステレオ画像取得装置の第２の実施の形態の構成を示すブロック図である。
　図８において、第２の実施の形態では、第１の実施の形態のデータ生成部１９が削除されており、データ生成部１９の基準データ生成部１９１の機能が基準カメラ１１１に、参照データ生成部１９２の機能が参照カメラ１１２に付加されている。
　カメラ部１１の基準カメラ１１１と参照カメラ１１２とは、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で、基準カメラ１１１からは基準画像Ｉｂが出力され、参照カメラ１１２からは参照画像Ｉｒが出力される。基準画像Ｉｂおよび参照画像Ｉｒはフレームレート決定部１５３に入力され、図２に示したと同様にして第１フレームレートＦＲ１および第２フレームレートＦＲ２が決定される。
　決定された第１フレームレートＦＲ１は基準カメラ１１１および参照カメラ１１２に入力され、第２フレームレートＦＲ２は参照カメラ１１２に入力される。
　基準カメラ１１１は、第１フレームレートＦＲ１に従って基準画像Ｉｂを間引きし、低圧縮率の圧縮処理を施して、あるいは非圧縮のままで、基準データＤｂとして記録部１３に向けて出力する。
　参照カメラ１１２は、第２フレームレートＦＲ２に従って参照画像Ｉｒを間引きし、低圧縮率の圧縮処理を施して、あるいは非圧縮のままで、参照データＤｒとして記録部１３に向けて出力する。また、参照カメラ１１２は、参照データＤｒの生成に用いられなかったフレームの画像の内、第１フレームレートＦＲ１に同期したフレームの画像に高圧縮率の圧縮処理を施して、第２参照データＤｒ２として記録部１３に向けて出力する。その他の動作は第１の実施の形態と同じであるので、説明は省略する。
　特に、第２の実施の形態で、基準データＤｂおよび参照データＤｒを非圧縮のままとし、第２参照データＤｒ２を生成しない構成とすることで、カメラ内で圧縮処理を施す必要がなくなり、基準カメラ１１１および参照カメラ１１２に大きな負荷をかけずに、第１の実施の形態のデータ生成部１９を省略することができ、ステレオ画像取得装置１の処理の高速化、構成の簡略化および装置の低コスト化に寄与することができる。この時の基準データＤｂと参照データＤｒとの形成過程は、図７と同じである。
　なお、第２の実施の形態で、基準カメラ１１１として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用い、参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第２フレームレートＦＲ２で撮像を行うフレームレート可変のカメラを用いることもできる。
　次に、本発明におけるステレオ画像取得装置の第３の実施の形態について説明する。第３の実施の形態では、第１あるいは第２の実施の形態において、自車および自車の周辺の状況が通常状態ＣＳ１にある場合には、基準データＤｂおよび参照データＤｒの記録部１３への記録自体を行わず、要記録状態ＣＳ２の場合のみ、基準データＤｂおよび参照データＤｒの記録部１３への記録を行う。
　この時の基準データＤｂと参照データＤｒとの形成過程を、図９に示す。図９は、本発明におけるステレオ画像取得装置の第３の実施の形態における、基準データＤｂと参照データＤｒとの形成過程を示す模式図で、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の基準データＤｂと参照データＤｒとの形成過程を示す。
　図９において、時間ｔ１のタイミングまでは、上述した通常状態ＣＳ１であり、基準カメラ１１１は所定のフレームレートＦＲ０で基準画像Ｉｂの撮像を行っているが、基準データＤｂの記録は行っていない。同様に、参照カメラ１１２も所定のフレームレートＦＲ０で参照画像Ｉｒの撮像を行っているが、参照データＤｒの記録は行っていない。
　時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、上述した通常状態ＣＳ１の状態から要記録状態ＣＳ２の状態に切り替わる。この状態で、基準画像Ｉｂが第１フレームレートＦＲ１で間引きされて基準間引き画像Ｉｂ１が生成され、基準データＤｂとして記録される。同様に、参照画像Ｉｒが第２フレームレートＦＲ２で間引きされて第１参照間引き画像Ｉｒ１が生成され、参照データＤｒとして記録される。
　図９では、図６と同様に、第１フレームレートＦＲ１と第２フレームレートＦＲ２とが等しく、参照データＤｒが基準データＤｂと同じ高密度で記録される。
　要記録状態ＣＳ２は時間ｔ２まで継続され、その間は参照データＤｒが基準データＤｂと同じ高密度で記録され続ける。従って、もし追突事故等が発生した場合、高密度で記録された基準データＤｂと参照データＤｒとに基づいてステレオ画像による距離演算を行うことで、より精度の高い事故原因の解析等を行うことができる。
　時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、要記録状態ＣＳ２の状態から、再度通常状態ＣＳ１の状態に戻り、基準カメラ１１１も参照カメラ１１２も、撮像は行うが基準データＤｂも参照データＤｒも記録しない状態となる。
　上述したように、自車および自車の周辺の状況を示す、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号に基づいて、参照データＤｒを記録する第２フレームレートＦＲ２を動的に決定して、衝突の危険がある場合等のみにステレオ画像を高密度で記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、危険のない場合にはデータの記録を行わないことで、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。
　上述したように、第３の実施の形態によれば、自車および自車の周辺の状況を示す車速信号、操舵角信号、視差変化量信号およびオプティカルフロー変化量信号の４つの信号に基づいて、衝突の危険がある場合等のみにステレオ画像を高密度で記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、危険のない場合にはデータの記録を行わないことで、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。
　なお、第３の実施の形態で、基準カメラ１１１および参照カメラ１１２として、所定のフレームレートＦＲ０ではなく、第１フレームレートＦＲ１で撮像を行うカメラを用いれば、あるいは、第１フレームレートＦＲ１＝所定のフレームレートＦＲ０とすれば、基準データ生成部１９１を省略することができる。
　以上に述べたように、本発明によれば、基準カメラで撮像された画像から第１フレームレートに基づいて基準データを生成して記録し、参照カメラで撮像された画像から、撮像時における車両およびその周辺の状況に依存して動的に決定される、第１フレームレートと同じまたは第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成して記録することで、高画質なステレオ画像が記録できて高精度な距離情報が取得できるとともに、高価な記憶媒体や高価な電子回路を必要とせず、安価なステレオ画像取得装置を提供することができる。
　なお、本発明に係るステレオ画像取得装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　１　ステレオ画像取得装置
　１１　カメラ部
　１１１　基準カメラ
　１１２　参照カメラ
　１３　記録部
　１５　制御部
　１５１　カメラ制御部
　１５２　記録制御部
　１５３　フレームレート決定部
　１５３１　第１フレームレート決定部
　１５３２　第２フレームレート決定部
　１５３３　視差変化量演算部
　１５３４　オプティカルフロー変化量演算部
　１７　センサ部
　１７１　車速センサ
　１７２　操舵角センサ
　１９　データ生成部
　１９１　基準データ生成部
　１９１１　基準間引き部
　１９１２　低圧縮率圧縮部
　１９２　参照データ生成部
　１９２１　参照間引き部
　１９２２　低圧縮率圧縮部
　１９２３　高圧縮率圧縮部
　ＣＣＳ　カメラ制御信号
　ＣＳ１　通常状態
　ＣＳ２　要記録状態
　Ｄ　基線長
　Ｄｂ　基準データ
　Ｄｒ　参照データ
　Ｄｒ２　第２参照データ
　ＦＲ０　所定のフレームレート
　ＦＲ１　第１フレームレート
　ＦＲ２　第２フレームレート
　ＨＳ　操舵角信号
　Ｉｂ　基準画像
　Ｉｂ１　基準間引き画像
　Ｉｒ　参照画像
　Ｉｒ１　第１参照間引き画像
　Ｉｒ２　第２参照間引き画像
　Ｏｆ　オプティカルフロー変化量信号
　Ｐｒ　視差変化量信号
　ＳＳ　車速信号

Claims (3)

  1. 　ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
    　前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
    　前記カメラ部および前記記録部の動作を制御する制御部とを備え、
    　車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ画像取得装置において、
    　前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
    　前記基準カメラで撮像された前記基準画像から、前記フレームレート決定部で決定された第１フレームレートに基づいて基準データを生成する基準データ生成部と、
    　前記参照カメラで撮像された前記参照画像から、前記フレームレート決定部で決定された、前記第１フレームレートと同じまたは前記第１フレームレートよりも低い第２フレームレートに基づいて参照データを生成する参照データ生成部とを備え、
    　前記フレームレート決定部は、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して、前記第２フレームレートを動的に決定し、
    　前記記録部は、
    　前記基準データ生成部で生成された前記基準データと、前記参照データ生成部で生成された前記参照データとを、前記保存データとして記録することを特徴とするステレオ画像取得装置。
  2. 　前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに基づいて、前記第２フレームレートを動的に決定することを特徴とする請求項１に記載のステレオ画像取得装置。
    条件
    　１）前記車両の速度
    　２）前記車両のハンドルの操作状況
    　３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
    　４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
  3. 　前記参照データ生成部は、
    　前記第２フレームレートに基づいて、非圧縮のままで、あるいは低圧縮率の圧縮処理を施して前記参照データを生成するとともに、
    　前記参照データの生成に用いられなかった前記参照画像の内で、前記第１フレームレートに同期したタイミングの前記参照画像を用いて、前記参照データの圧縮率よりも高圧縮率で圧縮した第２参照データを生成し、
    　前記記録部は、
    　前記基準データと、前記参照データと、前記第２参照データとを、前記保存データとして記録することを特徴とする請求項１または２に記載のステレオ画像取得装置。
PCT/JP2010/057561 2009-05-07 2010-04-28 ステレオ画像取得装置 WO2010128640A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011512343A JP5652391B2 (ja) 2009-05-07 2010-04-28 ステレオ画像取得装置
US13/318,672 US20120044327A1 (en) 2009-05-07 2010-04-28 Device for acquiring stereo image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009112607 2009-05-07
JP2009-112607 2009-05-07

Publications (1)

Publication Number Publication Date
WO2010128640A1 true WO2010128640A1 (ja) 2010-11-11

Family

ID=43050141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057561 WO2010128640A1 (ja) 2009-05-07 2010-04-28 ステレオ画像取得装置

Country Status (3)

Country Link
US (1) US20120044327A1 (ja)
JP (1) JP5652391B2 (ja)
WO (1) WO2010128640A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159142A1 (ja) * 2015-04-03 2016-10-06 日立オートモティブシステムズ株式会社 撮像装置
JP2019193272A (ja) * 2019-05-23 2019-10-31 日立オートモティブシステムズ株式会社 撮像装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US9042655B2 (en) * 2011-06-27 2015-05-26 Konica Minolta, Inc. Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
US9554113B2 (en) * 2013-03-21 2017-01-24 Mediatek Inc. Video frame processing method
US9161020B2 (en) * 2013-04-26 2015-10-13 B12-Vision Co., Ltd. 3D video shooting control system, 3D video shooting control method and program
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
KR102687690B1 (ko) * 2016-08-08 2024-07-23 한화비전 주식회사 영상 처리 장치 및 영상 처리 방법
JP2018169517A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュールおよび撮像装置の制御方法
US10929678B2 (en) 2018-12-07 2021-02-23 Microsoft Technology Licensing, Llc Dynamic control of communication connections for computing devices based on detected events
US11953586B2 (en) 2020-11-17 2024-04-09 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11760281B2 (en) * 2020-11-17 2023-09-19 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11916420B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle sensor operation
US11912235B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle object detection
US11951937B2 (en) 2021-03-12 2024-04-09 Ford Global Technologies, Llc Vehicle power management

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322357A (ja) * 2006-06-05 2007-12-13 Fujitsu Ltd 距離測定プログラム、距離測定装置、距離測定方法
WO2008099918A1 (ja) * 2007-02-16 2008-08-21 Autonetworks Technologies, Ltd. 車載映像通信システム及び車載撮像システム
JP2008234414A (ja) * 2007-03-22 2008-10-02 Equos Research Co Ltd データベース作成装置、及びデータベース作成プログラム
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4474501A (en) * 1982-07-01 1984-10-02 Farrand Optical Co., Inc. Optical simulation of scenic translation
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
CN100566421C (zh) * 2003-06-19 2009-12-02 松下电器产业株式会社 发送装置、图像处理系统及图像处理方法
JP2005286677A (ja) * 2004-03-30 2005-10-13 Olympus Corp 撮像装置
JP2006115470A (ja) * 2004-09-16 2006-04-27 Ntt Docomo Inc 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
JP4537266B2 (ja) * 2005-06-16 2010-09-01 キヤノン株式会社 記録装置及び再生装置
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
KR100834637B1 (ko) * 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
EP2153641B2 (en) * 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP4856612B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322357A (ja) * 2006-06-05 2007-12-13 Fujitsu Ltd 距離測定プログラム、距離測定装置、距離測定方法
WO2008099918A1 (ja) * 2007-02-16 2008-08-21 Autonetworks Technologies, Ltd. 車載映像通信システム及び車載撮像システム
JP2008234414A (ja) * 2007-03-22 2008-10-02 Equos Research Co Ltd データベース作成装置、及びデータベース作成プログラム
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159142A1 (ja) * 2015-04-03 2016-10-06 日立オートモティブシステムズ株式会社 撮像装置
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
JP2019193272A (ja) * 2019-05-23 2019-10-31 日立オートモティブシステムズ株式会社 撮像装置

Also Published As

Publication number Publication date
US20120044327A1 (en) 2012-02-23
JP5652391B2 (ja) 2015-01-14
JPWO2010128640A1 (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5652391B2 (ja) ステレオ画像取得装置
JP4631026B2 (ja) 車載画像記録システム
JP6678306B2 (ja) 速度取締システム
JP5439949B2 (ja) ステレオ測定システムおよび動画再生システム
JP2012038229A (ja) ドライブレコーダー
JP5692894B2 (ja) ドライブレコーダおよびドライブレコーダの映像記録方法
JP2009175848A (ja) ドライブレコーダ装置、ドライブレコード方法、プログラム、及び記録媒体
CN105374086A (zh) 一种行车记录方法
WO2018150888A1 (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
KR100971731B1 (ko) 차량용 영상 저장 시스템에서의 영상 처리 장치 및 방법
KR20100057253A (ko) 차량 주위의 이미지를 기록하는 장치 및 방법
JP2024152819A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
JP5261752B2 (ja) ドライブレコーダ
JP2006295676A (ja) 移動体用撮像装置
JP4622544B2 (ja) 車両の運転支援装置
JP2006318060A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2013211623A (ja) ドライブレコーダ
JP2012075007A (ja) 車載画像記録装置
JP2022136534A (ja) 画像記録装置
KR101666343B1 (ko) 차량의 초음파 센서와 영상 센서의 데이터 통합처리 시스템
JP7274917B2 (ja) 映像再生装置および映像再生方法
JP6933161B2 (ja) 画像処理装置、画像処理方法、プログラム
WO2020021949A1 (ja) 鉄道車両用撮像システム
KR20210060690A (ko) 차량 및 그 후방 영상 제공 방법
KR20170041502A (ko) 초음파 센서와 영상 센서의 데이터 통합처리 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10772159

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011512343

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13318672

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10772159

Country of ref document: EP

Kind code of ref document: A1