JP5158713B2 - Imaging device and in-vehicle camera system - Google Patents
Imaging device and in-vehicle camera system Download PDFInfo
- Publication number
- JP5158713B2 JP5158713B2 JP2008301169A JP2008301169A JP5158713B2 JP 5158713 B2 JP5158713 B2 JP 5158713B2 JP 2008301169 A JP2008301169 A JP 2008301169A JP 2008301169 A JP2008301169 A JP 2008301169A JP 5158713 B2 JP5158713 B2 JP 5158713B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength band
- image
- light
- vehicle
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 49
- 230000003287 optical effect Effects 0.000 claims description 104
- 230000004075 alteration Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 description 18
- 241001282110 Pagrus major Species 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、自動車等の車両に搭載可能な撮像装置および車載カメラシステムに関するものである。 The present invention relates to an imaging device and an in-vehicle camera system that can be mounted on a vehicle such as an automobile.
自動車の前部に搭載されて前方の車両の赤色テールランプを認識するための車載カメラシステム(車載撮像システム)が実用に供されている(たとえば特許文献1参照)。 An in-vehicle camera system (an in-vehicle imaging system) that is mounted on the front of an automobile and recognizes the red tail lamp of a vehicle ahead is in practical use (see, for example, Patent Document 1).
先行技術は車両のテールランプを他の光源から区別するシステムである。
この先行技術では、様々なスペクトル帯域の光線を正確に色で分類することができるように、光学システムにスペクトルフィルタ材料を組み込んで用いる技術が開示されている。
たとえば、代表的なテールランプの赤色を区別するために、赤色スペクトルフィルタ材料と赤外線スペクトルフィルタ材料とを組合せて用いる方法が開示されている。
This prior art discloses a technique in which a spectral filter material is incorporated and used in an optical system so that light in various spectral bands can be accurately classified by color.
For example, a method is disclosed that uses a combination of a red spectral filter material and an infrared spectral filter material to distinguish the red color of a typical tail lamp.
しかしながら、上述した手法では、少なくとも区別したい色の種類分の数のスペクトルフィルタ材料とその光学システムへの組み込みが必要であり、その分コストアップとなってしまう。 However, the above-described method requires at least as many spectral filter materials as the types of colors to be distinguished and their incorporation into the optical system, which increases the cost.
本発明は、フィルタを用いることなく低コストで所望の光波長帯域の対象物を認識することが可能な撮像装置および車載カメラシステムを提供することにある。 An object of the present invention is to provide an imaging device and an in-vehicle camera system that can recognize an object in a desired optical wavelength band at low cost without using a filter.
本発明の第1の観点の撮像装置は、光学系と、前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、前記画像信号に処理を施す画像処理部と、を有し、光学系は、任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、前記撮像素子は、前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、前記画像処理部は、画像のぼけを低減する処理を施した画像信号を生成し、当該生成した画像信号と当該処理を施す前の画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行う。 An image pickup apparatus according to a first aspect of the present invention includes an optical system, an image pickup device that photoelectrically converts an image obtained through the optical system and outputs an image signal, an image processing unit that processes the image signal, And the optical system is formed such that the size of the point image differs depending on the aberration performance between an arbitrary first optical wavelength band and a second optical wavelength band other than the first optical wavelength band, In the imaging device, a light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small out of the first light wavelength band and the second light wavelength band is focused, and the image processing unit includes: By generating an image signal that has been subjected to processing that reduces image blur, and comparing the generated image signal with an image signal that has not been subjected to the processing, an object having a color in the first optical wavelength band and the Discrimination from a subject having a color in the second light wavelength band is performed .
好適には、前記画像処理部は、画像のぼけを低減する処理を効果の程度を変えて施した画像信号を複数生成し、効果の強い前記処理を施した画像信号と効果の弱い前記処理を施した画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行う。 Preferably, the image processing unit generates a plurality of image signals obtained by performing a process for reducing image blur by changing the degree of the effect, and the image signal obtained by performing the process having a strong effect and the process having a weak effect. By comparing the applied image signal, the color object in the first light wavelength band and the color object in the second light wavelength band are identified.
好適には、点像が小さくなる方の光波長帯域の光線が前記撮像素子の受光面に結ぶ点像分布ばらつきの径をφa、他方の光波長帯域の光線が前記撮像素子の受光面に結ぶ点像分布ばらつきの径をφbとしたとき、次の関係式を満足する。
φb ≧ 1.5 * φa
Preferably, the diameter of the point image distribution variation in which the light beam in the light wavelength band with the smaller point image is connected to the light receiving surface of the image sensor is φa, and the light beam in the other light wavelength band is connected to the light receiving surface of the image sensor. When the diameter of the point image distribution variation is φb, the following relational expression is satisfied.
φb ≧ 1.5 * φa
好適には、前記光学系において貼り合わせレンズ部分、または狭間隔の凹凸レンズの組み合わせ部分のアッベ数が、貼り合わせ凹レンズのアッベ数をν1、貼り合わせ凸レンズのアッベ数をν2としたとき以下の関係を満足する。
ν1≧ν2
Preferably, in the optical system, when the Abbe number of the bonded lens portion or the combination portion of the concave and convex lenses having a narrow interval is ν1, the Abbe number of the bonded concave lens is ν1, and the Abbe number of the bonded convex lens is ν2, the following relationship Satisfied.
ν1 ≧ ν2
好適には、前記第1の光波長帯域は略600〜700nmの波長帯域を含む。 Preferably, the first optical wavelength band includes a wavelength band of approximately 600 to 700 nm.
本発明の第2の観点の車載カメラシステムは、車両と、前記車両に配置され、当該車両の前方側を走行する他の車両を撮像可能な撮像装置としてのカメラと、を有し、前記カメラは、光学系と、前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、前記画像信号に処理を施す画像処理部と、を有し、光学系は、任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、前記撮像素子は、前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、前記第1の光波長帯域は略600〜700nmの波長帯域を含み、前記画像処理部は、画像のぼけを低減する処理を施した画像信号を生成し、当該生成した画像信号と当該処理を施す前の画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行い、前記他の車両のテールランプを認識する。 An in-vehicle camera system according to a second aspect of the present invention includes a vehicle and a camera as an imaging device that is disposed in the vehicle and can image another vehicle that travels in front of the vehicle. Has an optical system, an image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal, and an image processing unit that processes the image signal. The first optical wavelength band and the second optical wavelength band other than the first optical wavelength band are formed so that the size of a point image differs depending on the aberration performance, and the imaging element includes the first optical wavelength band A light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small is focused on the band and the second light wavelength band, and the first light wavelength band has a wavelength band of about 600 to 700 nm. The image processing unit performs processing for reducing image blurring. The image signal is generated, and the generated image signal is compared with the image signal before the processing, so that the object having the color in the first light wavelength band and the color in the second light wavelength band are compared. Identification with the subject is performed, and the tail lamp of the other vehicle is recognized.
本発明の第3の観点の車載カメラシステムは、車両と、前記車両に配置され、当該車両の前方側を走行する他の車両を撮像可能な撮像装置としてのカメラと、を有し、前記カメラは、光学系と、前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、前記画像信号に処理を施す画像処理部と、を有し、光学系は、任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって大きさが異なるように形成され、前記撮像素子は、前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、前記第1の光波長帯域は略600〜700nmの波長帯域を含み、前記画像処理部は、画像のぼけを低減する処理を効果の程度を変えて施した画像信号を複数生成し、効果の強い前記処理を施した画像信号と効果の弱い前記処理を施した画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行い、前記他方の車両のテールランプを認識する。 An in-vehicle camera system according to a third aspect of the present invention includes a vehicle, and a camera as an imaging device that is disposed in the vehicle and can image another vehicle that travels in front of the vehicle. Has an optical system, an image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal, and an image processing unit that processes the image signal. The first optical wavelength band and the second optical wavelength band other than the first optical wavelength band are formed to have different sizes depending on the aberration performance, and the imaging element includes the first optical wavelength band and the second optical wavelength band. Of the second optical wavelength band, a light receiving surface is disposed at a position where a light beam in the optical wavelength band where the point image becomes small is focused, and the first optical wavelength band includes a wavelength band of approximately 600 to 700 nm, The image processor effectively performs the process of reducing image blur. By generating a plurality of image signals that have been subjected to a change and comparing the image signal that has been subjected to the processing having a strong effect with the image signal that has been subjected to the processing having a weak effect, the color of the first optical wavelength band The subject is discriminated from the subject having the color of the second light wavelength band, and the tail lamp of the other vehicle is recognized.
本発明によれば、フィルタを用いることなく低コストで所望の光波長帯域の対象物を認識することができる。 According to the present invention, an object in a desired optical wavelength band can be recognized at a low cost without using a filter.
以下、本発明の実施形態を図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の実施形態に係る撮像装置が適用される車載カメラシステムの一例を示す外観図である。
図2は、本実施形態に係る車載カメラシステムの構成例を示すブロック図である。
FIG. 1 is an external view showing an example of an in-vehicle camera system to which an imaging apparatus according to an embodiment of the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of the in-vehicle camera system according to the present embodiment.
本実施形態の車載カメラシステム10は、図1に示すように、車両20、および車両20の前方を走行する他の車両を撮像可能な撮像装置としてのカメラ部30を有する。
カメラ部30は、たとえばルームミラー21のフロントガラス側に配置される。
As shown in FIG. 1, the in-vehicle camera system 10 of the present embodiment includes a
The
車載カメラシステム10は、図2に示すように、光学系11、撮像素子12、信号処理部13、車両信号処理部14、および車両処理系15,16を含んで構成される。
これらの構成要素のうち光学系11、撮像素子12、および信号処理部13によりカメラ部30が形成される。
また、車両信号処理部14、および車両処理系15,16により車両20内のエンジンコントロールユニット(ECU)部40が形成される。
As shown in FIG. 2, the in-vehicle camera system 10 includes an
Among these components, the
The vehicle
本実施形態の車載カメラシステム10においては、光学系11の撮像レンズの収差特性を任意の第1の光波長帯域だけ異ならせて被写体の色によってボケの有無を作りだし、画像処理でボケを低減させたものとの差分(比較)を取ることによって被写体の色による区別を行う。
より具体的には、光学系11の撮像レンズの収差特性を任意の第1の光波長帯域(本実施形態では赤色のテールランプの波長帯域)だけ異ならせ、撮影画像のボケ具合に差が表れるようにして、撮影画像とその画像にエッジ強調の様なボケを低減する処理を施したものとの差分を取ることにより、任意の光波長帯域の色の画像だけを抽出可能となっている。
本実施形態においては、任意の第1の光波長帯域のみの収差を無くしそれ以外の第2の光波長帯域をボケさせる方法と、逆に任意の第1の光波長帯域のみをボケさせそれ以外の第2の光波長帯域の収差をなくす方法を採用することが可能である。
In the in-vehicle camera system 10 of the present embodiment, the aberration characteristic of the imaging lens of the
More specifically, the aberration characteristic of the imaging lens of the
In the present embodiment, the method of eliminating the aberration only in the arbitrary first optical wavelength band and blurring the other second optical wavelength band, and conversely, blurring only the arbitrary first optical wavelength band, and the others It is possible to employ a method of eliminating the aberration in the second optical wavelength band.
光学系11は、撮像レンズ111を含み、任意の第1の光波長帯域λ1とこの第1の光波長帯域λ1以外の第2の光波長帯域λ2とで収差性能によって点像の大きさが異なるように形成されている。
The
撮像素子12は、光学系11を介して得られる像を光電変換し画像信号S12を信号処理部13に出力する。
撮像素子12は、第1の光波長帯域λ1および第2の光波長帯域λ2のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置されている。
The
In the
点像が小さくなる方の光波長帯域の光線が撮像素子12の受光面に結ぶ点像分布ばらつきの径をφa、他方の光波長帯域の光線が撮像素子12の受光面に結ぶ点像分布ばらつきの径をφbとしたとき、次の関係式を満足する。
φb ≧ 1.5 * φa
The diameter of the point image distribution variation in which the light beam in the light wavelength band with the smaller point image is connected to the light receiving surface of the
φb ≧ 1.5 * φa
これによって、物体が点像であっても1.5倍以上のボケ変化があることで、像面では2画素以上にまたがる像となり、撮像素子上での検出が可能となる。 As a result, even if the object is a point image, the blur change of 1.5 times or more results in an image that extends over two pixels on the image plane, and detection on the image sensor is possible.
信号処理部13は、撮像素子12による画像信号S12に対して所定の処理、たとえばエッジ抽出等の処理を行い、そのエッジ情報と画像信号を信号S13として車両信号処理部14に出力する。
信号処理部13は、撮像された画像信号S12から被写体であるたとえば光源体を検出し、検出した光源体のエッジ抽出処理を行う。
信号処理部13は、取り込んだ画像信号S13の閾値判定によりエリアの検出を行い、光源体と他の被写体を切り分ける機能を有する。
また、信号処理部13は、取り込まれた画像信号を基に、露出制御を行う機能を有する。
この露出制御機能は、車両信号処理部14が行うように構成することも可能である。
The
The
The
The
This exposure control function can also be configured to be performed by the vehicle
車両信号処理部14は、信号処理部13の出力信号S13を受けて、画像のぼけを低減する処理を施した画像信号を生成し、生成した画像信号と処理を施す前の画像信号とを比較することによって(差分をとることによって)、第1の光波長帯域λ1の色の被写体と第2の光波長帯域λ2の色の被写体との識別を行う。
The vehicle
あるいは、車両信号処理部14は、信号処理部13の出力信号S13を受けて、画像のぼけを低減する処理を効果の程度を変えて施した画像信号を複数生成し、効果の強い処理を施した画像信号と効果の弱い処理を施した画像信号とを比較することによって、第1の光波長帯域λ1の色の被写体と第2の光波長帯域λ2の色の被写体との識別を行う。
ここで、画像のボケを低減する処理とは、たとえばエッジ強調のような処理をいい、その効果の強弱によって像劣化の度合いを異ならせることができる。
Alternatively, the vehicle
Here, the process of reducing the blur of the image refers to a process such as edge enhancement, for example, and the degree of image degradation can be varied depending on the strength of the effect.
車両信号処理部14は、たとえば信号処理部13からのエッジ信号および画像信号により被写体の判定を行う。
車両信号処理部14は、信号処理部13で検出される被写体であるたとえば光源体に対してエッジのコントラストを判定して光源色を判定する。
The vehicle
The vehicle
本実施形態において、第1の光波長帯域λ1は車両に用いられる赤色のテールランプの光の波長帯域は略600〜700nmである。
第2の光波長領域λ2は、第1の光波長帯域λ1以外の第2の光波長帯域λ2であって、600nmより短いあるいは700nmより長い波長帯域である。
In the present embodiment, the first light wavelength band λ1 is approximately 600 to 700 nm for the light of the red tail lamp used in the vehicle.
Second optical wavelength region .lambda.2 is a first optical wavelength band λ1 other second optical wavelength band .lambda.2, a longer wavelength band shorter or 700nm than 600 nm.
本実施形態の車載カメラシステム10は、車両20の前部に搭載されて前方の車両の赤色テールランプを認識するのに用いられる車載カメラシステムとして構成される。
さらに具体的には、前述したように、撮像レンズ111を有する光学系11と光学系11を通した光を撮像する撮像素子12とを含む。
撮像レンズ111は特色のある色収差を有しており、たとえば撮像レンズ111と撮像素子12とは、撮像レンズ111を通った、波長が600〜700nmの光が、撮像素子12の受光面上で焦点を結ぶように配置されている。
そして、信号処理部13で光源体の検出を行い、車両信号処理部14において撮像素子12で撮像した画像のエッジ強調処理を行った前後の画像を比較して、画像のコントラストが変化していない部分を赤色の物体(光源体)であると認識する。
The in-vehicle camera system 10 of the present embodiment is configured as an in-vehicle camera system that is mounted on the front portion of the vehicle 20 and used to recognize the red tail lamp of the vehicle ahead.
More specifically, as described above, the
The
The
以上の構成によれば、撮像レンズ111として、波長を600〜700nmの範囲で設計されたレンズを使用し、600〜700nmの範囲で適切にピント調整を行うことで、赤色の認識を可能とする車載カメラシステム10として機能する。
また、前記波長の波長ウエイトで設計された撮像レンズでは、赤色の物体のコントラストが高くなる画像をシステムに取り込んだ後に、画像のエッジ強調を行うことで、400nm〜600nmの波長を持った物体のエッジが強調されコントラストが高くなる。
そして、画像処理前後の比較を行うことで、コントラストが変化していない物が赤色であることが認識できる。
According to the above configuration, a lens designed in the wavelength range of 600 to 700 nm is used as the
In addition, in the imaging lens designed with the wavelength weight of the wavelength, an image having a wavelength of 400 nm to 600 nm is obtained by performing edge enhancement of the image after capturing an image in which the contrast of the red object is high in the system. Edges are enhanced and contrast is increased.
Then, by comparing before and after image processing, it can be recognized that an object whose contrast has not changed is red.
本実施形態においては、光学系11は、撮像素子12で撮像した画像が、撮影される物体の波長特性により像劣化(ボケ)が発生し、たとえば600nmより短い波長特性の持つ画像に対して、次のように像劣化を起こすように形成される。
In the present embodiment, the
φ(550) ≧1.5φ(600-700)
φ(600-700):波長600〜700nm領域の点像物体のボケ量
φ(550) :波長550nm以下の領域を含む点像物体のボケ量
φ (550) ≧ 1.5φ (600-700)
φ (600-700): Blur amount of point image object in the wavelength range of 600 to 700nm φ (550): Blur amount of point image object including region of wavelength 550nm or less
これは、物体が発する波長による像劣化(ボケ)量を規定しており、550nm以下の波長特性をもつ物体と、600〜700nmの波長特性を持つ物体を、本実施形態の光学系で撮影したときの像劣化の特性を表している。 This regulates the amount of image degradation (blur) due to the wavelength emitted by the object, and an object having a wavelength characteristic of 550 nm or less and an object having a wavelength characteristic of 600 to 700 nm were photographed with the optical system of this embodiment. It represents the characteristics of the image degradation.
また、本実施形態の車載カメラシステム10は、次のように形成することも可能である。
撮像レンズ111は色収差を有しており、撮像レンズ111と撮像素子12とは、撮像レンズ111を通った波長が400〜550nmの光が、撮像素子12の受光面上で焦点を結ぶように配置される。
画像処理部としての信号処理部13および車両信号処理部14は、撮像素子12で撮像した画像の強いエッジ強調処理と弱いエッジ強調処理とを行って両処理後の画像の差分を検出して、画像の差分が表れていない部分を赤色の物体であると認識する。
Moreover, the vehicle-mounted camera system 10 of this embodiment can also be formed as follows.
The
The
この構成によれば、上記構成とは逆に、撮像レンズの波長ウエイトを400〜550nmの範囲でバランス良く設計されたレンズを使用し、400nm〜550nm程度の可視光領域でピント調整を行うと、赤色(600〜700nm)の領域にある画像は、ピンぼけの状態となる。
その場合、画像をシステムに取り込んだ後に、または、撮像素子12の画像信号出力後の画像信号処理において、強い画像のエッジ強調と弱いエッジ強調を行い、その差分を取ることで600nm〜700nmの波長を持った物体のエッジが強調され差分が表れるが、550nm以下の赤色の波長を持った物体は差分が表れず赤色物体の認識が可能となる。
According to this configuration, on the contrary to the above configuration, using a lens designed with a well-balanced wavelength weight of the imaging lens in the range of 400 to 550 nm, and performing focus adjustment in the visible light region of about 400 nm to 550 nm, An image in the red (600 to 700 nm) region is out of focus.
In that case, after the image is taken into the system or in the image signal processing after the image signal is output from the
車両処理系15は、たとえば夜間走行等において、車両信号処理部14で前方車の赤色テールランプを認識したことが報知されると、アップラインとしていたヘッドランプを通常のダウンライトに自動的に切り替える等の制御を行う。
車両処理系16は、たとえば車両信号処理部14で前方車の赤色テールランプを認識したことが報知されると、自動的に車間距離を測定し、近づきすぎであると認識すると、自動的にスピードを抑制し、また、表示あるいは音声で注意を喚起するような制御を行う。
When the vehicle
For example, when the vehicle
以上、本実施形態に係る車載カメラシステムの構成の特徴について説明した。
以下に、本実施形態に係る車載カメラシステム10の赤色のテールランプを認識する原理について説明する。
In the above, the characteristic of the structure of the vehicle-mounted camera system which concerns on this embodiment was demonstrated.
Below, the principle which recognizes the red tail lamp of the vehicle-mounted camera system 10 which concerns on this embodiment is demonstrated.
図3は、本実施形態の原理を説明するための図であって、色収差の特性を表している。 FIG. 3 is a diagram for explaining the principle of the present embodiment and represents the characteristics of chromatic aberration.
図3において、20Fは前方車を示し、前方車20Fは赤色のテールランプ22Rがカメラ部30で撮像可能となっている。
20Cは対向車を示し、対向車20Cはヘッドランプ22Hがカメラ部30で撮像可能となっている。
赤色(R)、緑色(G)、青色(B)の波長特性を利用し、赤成分のみに色収差が少なくフォーカスするレンズ系111を設計し、その他の色成分は収差が大きくなりボケる。
物点が点像であっても1.5倍以上のボケ変化があることで、像面では2画素以上にまたがる像となり、撮像素子上での検出が可能となる。
そして、本実施形態においては、上述したように、赤領域波長の特徴を持つ物体と、赤領域以外の波長を持つ物体の形状の形状認識を行う。
In FIG. 3, 20 </ b> F indicates a front vehicle, and a red tail lamp 22 </ b> R can be imaged by the
Using the wavelength characteristics of red (R), green (G), and blue (B), a
Even if the object point is a point image, there is a blur change of 1.5 times or more, so that an image extending over two pixels or more on the image plane can be detected, and detection on the image sensor is possible.
In the present embodiment, as described above, shape recognition is performed on the shape of an object having a red region wavelength characteristic and an object having a wavelength other than the red region.
図4は、形状認識手法を説明するための図である。
図4に示すように、中心の出力値と、周辺の出力値の差を認識して形状を判定する。
FIG. 4 is a diagram for explaining the shape recognition method.
As shown in FIG. 4, the shape is determined by recognizing the difference between the central output value and the peripheral output value.
図5は、誘導灯等の認識処理を説明するための図である。
前方車20Fのテールランプ22Rの赤波長と誘導灯50の橙とは、波長特性の差が半値で100nm程度有るため、本実施形態にて赤波長の収差とオレンジ波長を認識が可能となる。
FIG. 5 is a diagram for explaining recognition processing for a guide light or the like.
Since the difference in wavelength characteristics between the red wavelength of the
図6は、光学系の構成例を示す図である。
図7は、波長600nm〜700nmの像劣化(ボケ)の様子を示す図である。
図8は、波長550nm〜700nmの像劣化(ボケ)の様子を示す図である。
FIG. 6 is a diagram illustrating a configuration example of the optical system.
FIG. 7 is a diagram illustrating a state of image deterioration (blur) with a wavelength of 600 nm to 700 nm.
FIG. 8 is a diagram showing a state of image deterioration (blurring) at a wavelength of 550 nm to 700 nm.
たとえば、光学系11は、5枚の撮像レンズ111−1〜111−5により形成されている。
撮像レンズ111−4と111−5は接合レンズとして形成されている。
For example, the
The imaging lenses 111-4 and 111-5 are formed as cemented lenses.
光学系11において貼り合わせレンズ部分、または狭間隔の凹凸レンズの組み合わせ部分、図6の例では、撮像レンズ111−4と111−5は接合レンズのアッベ数が、撮像レンズ111−4の貼り合わせ凹レンズのアッベ数をν1、撮像レンズ111−5の貼り合わせ凸レンズのアッベ数をν2としたとき以下の関係を満足する。
ν1≧ν2
In the
ν1 ≧ ν2
通常の光学系では、このアッベ数の関係が逆となるように形成されるが、本実施形態では、ν1≧ν2なる関係をもたせることで本実施形態における機能を十分に発現することが可能となっている。 In a normal optical system, the Abbe number relationship is formed so as to be reversed. However, in the present embodiment, the relationship of ν1 ≧ ν2 can be provided so that the functions in the present embodiment can be sufficiently expressed. It has become.
図7および図8は、600〜700nm領域の点像物体と、550nm領域を含んだ点像物体の像劣化(ボケ)の様子を表しており、波長領域の違いによるボケの状態の違いを画像によって認識可能である。 FIGS. 7 and 8 show the state of image degradation (blurring) between a point image object in the 600 to 700 nm region and a point image object including the 550 nm region. Can be recognized.
図9は、本実施形態に係る車載カメラシステム10の動作例を説明するためのフローチャートである。
次に、図2の構成による動作を図9のフローチャートに関連付けて説明する。
FIG. 9 is a flowchart for explaining an operation example of the in-vehicle camera system 10 according to the present embodiment.
Next, the operation of the configuration of FIG. 2 will be described with reference to the flowchart of FIG.
カメラの動作が開始された後、所定の処理後、画像取り込みが開始される(ST1)。
光学系11、撮像素子12により取り込まれた画像信号S12を基に信号処理部13により露出制御が行われる(ST2)。
これにより、安定した画像を得られるようになる。
露出制御後に光源体の検出を行う(ST3)。
光源体の検出では、信号処理部13において、取り込んだ画像信号S12の閾値判定にてエリアの検出を行い、光源体と他の被写体を切り分ける。
そして、光源体が検出された場合、信号処理部13において、エッジ検出処理を行い、光源体のエッジを検出する(ST4)。
After the operation of the camera is started, image capture is started after predetermined processing (ST1).
Based on the image signal S12 captured by the
Thereby, a stable image can be obtained.
After the exposure control, the light source body is detected (ST3).
In the detection of the light source body, the
When the light source body is detected, the
次に、車両信号処理部14において、検出された光源体のエッジに対して、エッジのコントラストを判定し、光源色を判定する(ST5)。
光源色が赤色であれば、閾値以上のエッジ出力を持つこととなり、閾値以下であればその他の色の光源体として判定される。
光源体の判定が終了した後は、新たな画像を取り込むために露出制御ルーチンに戻り画像の判定を繰り返し行う(ST6,ST7)。
Next, in the vehicle
If the light source color is red, the edge output is greater than or equal to the threshold value, and if the light source color is less than or equal to the threshold value, it is determined as a light source body of other colors.
After the determination of the light source is completed, the process returns to the exposure control routine to capture a new image and the image determination is repeated (ST6, ST7).
なお、車両信号処理部14から判定結果を受けた車両処理系15は、たとえば夜間走行等において、車両信号処理部14で前方車の赤色テールランプを認識したことが報知されると、アップラインとしていたヘッドランプを通常のダウンライトに自動的に切り替える等の制御を行う。
あるいは、車両処理系16は、たとえば車両信号処理部14で前方車の赤色テールランプを認識したことが報知されると、自動的に車間距離を測定し、近づきすぎであると認識すると、自動的にスピードを抑制し、また、表示あるいは音声で注意を喚起するような制御を行う。
The
Alternatively, for example, when the vehicle
以上説明したように、本実施形態によれば、光学系11と、光学系11を介して得られる像を光電変換し画像信号を出力する撮像素子12と、画像信号に処理を施す信号処理部13および車両信号処理部14と、を有する。
そして、光学系11は、任意の第1の光波長帯域λ1と第1の光波長帯域λ1以外の第2の光波長帯域λ2とで収差性能が異なるように形成され、撮像素子12は、第1の光波長帯域λ1および第2の光波長帯域λ2のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置されている。
これにより、本実施形態では、撮像レンズ111の収差特性を任意の光波長帯域だけ異ならせて被写体の色によってボケの有無を作りだし、画像処理でボケを低減させたものとの差分を取ることによって被写体の色による区別を行うため、コストアップを避けることができる。
すなわち、本実施形態によれば、フィルタを用いることなく低コストで所望の光波長帯域の対象物を認識することが可能な撮像装置および車載カメラシステムを実現することができる。
As described above, according to the present embodiment, the
The
Thus, in the present embodiment, the aberration characteristic of the
That is, according to the present embodiment, it is possible to realize an imaging device and an in-vehicle camera system that can recognize an object in a desired optical wavelength band at a low cost without using a filter.
10・・・車載カメラシステム、11・・・光学系、12・・・撮像素子、13・・・信号処理部、14・・・車両信号処理部、15,16・・・車両処理系、20・・・車両、30・・・カメラ部、40・・・ECU部。 DESCRIPTION OF SYMBOLS 10 ... Car-mounted camera system, 11 ... Optical system, 12 ... Image sensor, 13 ... Signal processing part, 14 ... Vehicle signal processing part, 15, 16 ... Vehicle processing system, 20 ... Vehicle, 30 ... Camera part, 40 ... ECU part.
Claims (7)
前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、
前記画像信号に処理を施す画像処理部と、を有し、
光学系は、
任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、
前記撮像素子は、
前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、
前記画像処理部は、
画像のぼけを低減する処理を施した画像信号を生成し、当該生成した画像信号と当該処理を施す前の画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行う
撮像装置。 Optical system,
An image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal;
An image processing unit for processing the image signal,
The optical system
It is formed so that the size of a point image differs depending on the aberration performance between an arbitrary first optical wavelength band and a second optical wavelength band other than the first optical wavelength band,
The image sensor is
A light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small in the first light wavelength band and the second light wavelength band is focused ,
The image processing unit
By generating an image signal that has been subjected to processing that reduces image blur, and comparing the generated image signal with an image signal that has not been subjected to the processing, an object having a color in the first optical wavelength band and the An imaging apparatus that performs discrimination from a subject having a color in the second light wavelength band .
前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、
前記画像信号に処理を施す画像処理部と、を有し、
光学系は、
任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、
前記撮像素子は、
前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、
前記画像処理部は、
画像のぼけを低減する処理を効果の程度を変えて施した画像信号を複数生成し、効果の強い前記処理を施した画像信号と効果の弱い前記処理を施した画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行う
撮像装置。 Optical system,
An image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal;
An image processing unit for processing the image signal,
The optical system
It is formed so that the size of a point image differs depending on the aberration performance between an arbitrary first optical wavelength band and a second optical wavelength band other than the first optical wavelength band,
The image sensor is
A light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small in the first light wavelength band and the second light wavelength band is focused,
The image processing unit
By comparing the image signal subjected to varying degrees of effect processing to reduce the blur of the image to generate a plurality, and an image signal subjected to strong the processing weak the processing of the image signal and the effect of facilities for effective An imaging device that distinguishes between a subject having a color in the first light wavelength band and a subject having a color in the second light wavelength band.
請求項1または2に記載の撮像装置。
φb ≧ 1.5 * φa The diameter of the point image distribution variation in which the light beam in the light wavelength band with the smaller point image is connected to the light receiving surface of the image sensor is φa, and the point image distribution variation in which the light beam in the other light wavelength band is connected to the light receiving surface of the image sensor. diameter when the φb of imaging apparatus according to claim 1 or 2 to satisfy the following relation.
φb ≧ 1.5 * φa
請求項1から3のいずれか一に記載の撮像装置。
ν1≧ν2 In the optical system, the Abbe number of the bonded lens portion or the combination portion of the concave and convex lenses having a narrow interval satisfies the following relationship when the Abbe number of the cemented concave lens is ν1 and the Abbe number of the cemented convex lens is ν2. Item 4. The imaging device according to any one of Items 1 to 3.
ν1 ≧ ν2
請求項1から4のいずれか一に記載の撮像装置。 The imaging device according to any one of claims 1 to 4, wherein the first optical wavelength band includes a wavelength band of approximately 600 to 700 nm.
前記車両に配置され、当該車両の前方側を走行する他の車両を撮像可能な撮像装置としてのカメラと、を有し、
前記カメラは、
光学系と、
前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、
前記画像信号に処理を施す画像処理部と、を有し、
光学系は、
任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、
前記撮像素子は、
前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、
前記第1の光波長帯域は略600〜700nmの波長帯域を含み、
前記画像処理部は、
画像のぼけを低減する処理を施した画像信号を生成し、当該生成した画像信号と当該処理を施す前の画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行い、前記他の車両のテールランプを認識する
車載カメラシステム。 A vehicle,
A camera as an imaging device that is arranged in the vehicle and capable of imaging other vehicles traveling on the front side of the vehicle;
The camera
Optical system,
An image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal;
An image processing unit for processing the image signal,
The optical system
It is formed so that the size of a point image differs depending on the aberration performance between an arbitrary first optical wavelength band and a second optical wavelength band other than the first optical wavelength band,
The image sensor is
A light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small in the first light wavelength band and the second light wavelength band is focused,
The first optical wavelength band includes a wavelength band of approximately 600 to 700 nm,
The image processing unit
By generating an image signal that has been subjected to processing that reduces image blur, and comparing the generated image signal with an image signal that has not been subjected to the processing, an object having a color in the first optical wavelength band and the An in-vehicle camera system that recognizes a tail lamp of the other vehicle by identifying a subject having a color in the second light wavelength band.
前記車両に配置され、当該車両の前方側を走行する他の車両を撮像可能な撮像装置としてのカメラと、を有し、
前記カメラは、
光学系と、
前記光学系を介して得られる像を光電変換し画像信号を出力する撮像素子と、
前記画像信号に処理を施す画像処理部と、を有し、
光学系は、
任意の第1の光波長帯域と当該第1の光波長帯域以外の第2の光波長帯域とで収差性能によって点像の大きさが異なるように形成され、
前記撮像素子は、
前記第1の光波長帯域および前記第2の光波長帯域のうち、点像が小さくなる光波長帯域の光線が焦点を結ぶ位置に受光面が配置され、
前記第1の光波長帯域は略600〜700nmの波長帯域を含み、
前記画像処理部は、
画像のぼけを低減する処理を効果の程度を変えて施した画像信号を複数生成し、効果の強い前記処理を施した画像信号と効果の弱い前記処理を施した画像信号とを比較することによって、前記第1の光波長帯域の色の被写体と前記第2の光波長帯域の色の被写体との識別を行い、前記他の車両のテールランプを認識する
車載カメラシステム。 A vehicle,
A camera as an imaging device that is arranged in the vehicle and capable of imaging other vehicles traveling on the front side of the vehicle;
The camera
Optical system,
An image sensor that photoelectrically converts an image obtained through the optical system and outputs an image signal;
An image processing unit for processing the image signal,
The optical system
It is formed so that the size of a point image differs depending on the aberration performance between an arbitrary first optical wavelength band and a second optical wavelength band other than the first optical wavelength band,
The image sensor is
A light receiving surface is disposed at a position where a light beam in a light wavelength band in which a point image becomes small in the first light wavelength band and the second light wavelength band is focused,
The first optical wavelength band includes a wavelength band of approximately 600 to 700 nm,
The image processing unit
By generating a plurality of image signals obtained by changing the degree of effect of processing for reducing image blur and comparing the image signal subjected to the processing having a strong effect with the image signal subjected to the processing having a weak effect A vehicle-mounted camera system that identifies a subject having a color in the first light wavelength band and a subject having a color in the second light wavelength band and recognizes a tail lamp of the other vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008301169A JP5158713B2 (en) | 2008-11-26 | 2008-11-26 | Imaging device and in-vehicle camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008301169A JP5158713B2 (en) | 2008-11-26 | 2008-11-26 | Imaging device and in-vehicle camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010130197A JP2010130197A (en) | 2010-06-10 |
JP5158713B2 true JP5158713B2 (en) | 2013-03-06 |
Family
ID=42330286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008301169A Active JP5158713B2 (en) | 2008-11-26 | 2008-11-26 | Imaging device and in-vehicle camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5158713B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015073842A1 (en) * | 2013-11-15 | 2015-05-21 | Gentex Corporation | Imaging system including dynamic compensation for color attenuation for vehicle windscreens |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1856907A2 (en) * | 2005-03-07 | 2007-11-21 | DXO Labs | Method of controlling an action, such as a sharpness modification, using a colour digital image |
JP5012135B2 (en) * | 2007-03-28 | 2012-08-29 | コニカミノルタアドバンストレイヤー株式会社 | Ultra-deep image generator |
-
2008
- 2008-11-26 JP JP2008301169A patent/JP5158713B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010130197A (en) | 2010-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6380843B2 (en) | Object detection apparatus, mobile device control system including the same, and object detection program | |
US10830642B2 (en) | Detection and classification of light sources using a diffraction grating | |
EP1923280B1 (en) | Light-sensitive sensor in the automobile field | |
US10019638B2 (en) | Face image capturing device and driver condition determination device | |
US10848660B2 (en) | Imaging apparatus, imaging module, and control method of imaging apparatus | |
CN110073652B (en) | Image forming apparatus and method of controlling the same | |
CN104618665B (en) | Multiple imager vehicle optical sensor system | |
JP4798945B2 (en) | Imaging device | |
JP5158713B2 (en) | Imaging device and in-vehicle camera system | |
JP5839253B2 (en) | Object detection device and in-vehicle device control device including the same | |
US10999488B2 (en) | Control device, imaging device, and control method | |
US10900770B2 (en) | Distance measuring device, imaging apparatus, moving device, robot device, and recording medium | |
EP3185179A1 (en) | Multiple imager vehicle optical sensor system | |
US10873732B2 (en) | Imaging device, imaging system, and method of controlling imaging device | |
KR20210003856A (en) | Camera with scanning optical path folding elements for automotive or surveillance applications | |
JP5590457B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND ON-VEHICLE DEVICE CONTROL DEVICE | |
US20020126877A1 (en) | Light transmission type image recognition device and image recognition sensor | |
US20160107576A1 (en) | Multiple imager vehicle optical sensor system | |
JP6536946B2 (en) | Imaging device, imaging method, program, and mobile device control system | |
JP2007171807A (en) | Focus detection device and camera | |
JP2003169260A (en) | Visible and infrared imaging unit and system | |
JP2002334986A (en) | Light transmission type image recognition element and image recognition sensor | |
JP2018106001A (en) | Imaging apparatus, on-vehicle camera, and moving body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110317 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5158713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |