JP5440907B2 - Image recognition device and vehicle exterior monitoring device - Google Patents
Image recognition device and vehicle exterior monitoring device Download PDFInfo
- Publication number
- JP5440907B2 JP5440907B2 JP2009130111A JP2009130111A JP5440907B2 JP 5440907 B2 JP5440907 B2 JP 5440907B2 JP 2009130111 A JP2009130111 A JP 2009130111A JP 2009130111 A JP2009130111 A JP 2009130111A JP 5440907 B2 JP5440907 B2 JP 5440907B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- imaging
- unit
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
この発明は、単純な構成で被写体の三次元画像を撮像し、撮像した画像から距離情報を求める画像認識装置とそれを使用した車外監視装置に関するものである。 The present invention relates to an image recognition device that captures a three-dimensional image of a subject with a simple configuration and obtains distance information from the captured image, and an out-of-vehicle monitoring device that uses the image recognition device.
被写体の三次元位置を測定する技術として、従来からステレオカメラが知られている。ステレオカメラは、視点の異なる二つのカメラの撮影画像を解析することにより、被写体の三次元位置情報を演算するものである。ステレオカメラでは、二つのカメラ間の距離(光軸間の距離)を基線長として、被写体の三次元位置情報を、二つのカメラの視点の相違による画像座標の差分である二つのカメラの撮影画像の視差と基線長から容易に演算することができる。このステレオカメラにおいては、二つのカメラに共通して写っている被写体に限って、その三次元位置を演算することができる。 Conventionally, a stereo camera is known as a technique for measuring the three-dimensional position of a subject. The stereo camera calculates the three-dimensional position information of the subject by analyzing the captured images of two cameras with different viewpoints. In a stereo camera, the distance between two cameras (the distance between the optical axes) is the baseline length, and the three-dimensional position information of the subject is taken by the two cameras, which is the difference in image coordinates due to the difference in the viewpoints of the two cameras. Can be easily calculated from the parallax and the baseline length. In this stereo camera, the three-dimensional position can be calculated only for a subject that is shown in common in the two cameras.
このステレオカメラで視差検出を精度良く行うためには、特許文献1に示すように、2台のカメラの位置がずれないように、ステーの両端部にカメラを設置するための実質的に同一の平面に含まれる設置面を設け、この2つの設置面にカメラを設置して2つのカメラの取付精度を向上させている。
In order to perform parallax detection with this stereo camera with high accuracy, as shown in
また、2つのカメラを使用して路面の状況を判別する路面状態判別装置が例えば特許文献2に開示されている。特許文献2に示された路面状態判別装置は、垂直方向の偏光を透過する位置に偏光フィルタを配置し水平偏光画像を撮影するカメラと、水平方向の偏光を透過する位置に偏光フィルタを配置し垂直偏光画像を撮影するカメラとを備え、同一シーンを同時に撮影して得られた水平偏光画像と垂直偏光画像の視差による位置ずれを補正し、補正した水平偏光画像と垂直偏光画像の偏光比から路面の状況を判別している。
Further, for example,
しかしながら2台のカメラを使用すると装置が大型化するとともにコスト高になってしまう。また、特許文献2に示すように2つのカメラで撮像した水平偏光画像と垂直偏光画像の視差による位置ずれを補正していると、処理が複雑になってしまう。
However, if two cameras are used, the apparatus becomes large and the cost increases. Further, as shown in
これに対して2台のカメラを使用しないで路面の状況を判別する路面状態判別装置が例えば特許文献3に開示されている。特許文献3に示された路面湿潤状況検出装置は、路面に向けて水のブリュータス角となるように配置した撮像装置の前面に直線偏光子を設け、路面を撮影するとき直線偏光子をモータにより回転して偏光面を垂直方向と水平方向に切り替えて撮影した垂直偏光画像と水平偏光画像の偏光比を演算し、演算した偏光比の大小から路面状態を判別している。
On the other hand, for example,
特許文献3に開示された路面湿潤状況検出装置は、路面を撮影するにあたって偏光子を回転して偏光面を垂直方向と水平方向に回転しているため、撮像装置を固定した場所に設置するのではなく自動車等の車両に搭載して路面を走行しながら路面状態を判別しようとした場合には、偏光子を回転させる時間のズレによって垂直偏光画像と水平偏光画像が全く異なった場所を撮影することになり、走行しながら路面状態を判別することができないという短所がある。
The road surface wetness state detection device disclosed in
また、偏光子を回転するためのモータや駆動伝達機構が必要であるため、路面湿潤状況検出装置そのものが大型化してしまう。この路面湿潤状況検出装置を例えば自動車に搭載する場合は、ルームミラーに内蔵するかルームミラーの裏面に装着することが望ましいが、路面湿潤状況検出装置が大型化すると、このような装着できないという短所がある。さらにモータや駆動伝達機構の保守点検を定期的に行う必要がある。 In addition, since a motor and a drive transmission mechanism for rotating the polarizer are necessary, the road surface wetness state detection device itself is increased in size. When this road surface wetness detection device is mounted on, for example, an automobile, it is desirable that the road surface wetness detection device is built in the rearview mirror or attached to the rear surface of the rearview mirror. There is. Furthermore, it is necessary to periodically perform maintenance and inspection of the motor and the drive transmission mechanism.
この発明は、このような短所を改善し、単純な構成で被写体の三次元画像を撮像し、撮像した画像から距離情報を求める画像認識装置とそれを使用した車外監視装置を提供することを目的とするものである。 An object of the present invention is to provide an image recognition apparatus that improves such disadvantages, captures a three-dimensional image of a subject with a simple configuration, obtains distance information from the captured image, and an out-of-vehicle monitoring apparatus using the image recognition apparatus. It is what.
この発明の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、入射した光を水平偏光成分と垂直偏光成分の光に分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分と垂直偏光成分の光を入射して水平偏光画像と垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記撮像手段で撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 The image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus converts incident light into light having a horizontal polarization component and a vertical polarization component. The image signal processing apparatus includes: a polarization separating unit that separates the light into a light beam; and an image capturing unit that picks up a horizontally polarized image and a vertically polarized image by entering the light of the horizontally and vertically polarized components separated by the polarization separating unit. , the generate Henhikarihiga image by processing horizontal polarization image and the vertical polarization image captured by the imaging means, from the generated Henhikarihiga image wherein the distance information of the three-dimensional Mel determined.
この発明の第2の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、第1の撮像ユニットと、第1の撮像ユニットに近接して配置した第2の撮像ユニットを有し、前記第1の撮像ユニットは、入射した光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、入射した光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A second image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes a first imaging unit, a first imaging unit, and a first imaging unit. A second image pickup unit arranged close to the image pickup unit, wherein the first image pickup unit separates the light of the horizontal polarization component from the incident light by the polarization separation means; Image pickup means for picking up the horizontally polarized component light and picking up a horizontally polarized image, and the second image pickup unit is a polarization separation means for separating the vertically polarized light component from the incident light, Image pickup means for picking up a vertically polarized image by entering light of a vertically polarized component separated by the polarization separation means, and the image signal processing device includes the first image pickup unit and the second image pickup unit. Captured horizontal polarization image and vertical polarization Processing the image to generate a Henhikarihiga image, the generated Henhikarihiga distance information of the three-dimensional from image and wherein the mel determined.
この発明の第3の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、光分岐手段と第1の撮像ユニットと第2の撮像ユニットを有し、前記光分岐手段は、入射した光を2方向に分岐し、前記第1の撮像ユニットは、前記光分岐手段で分岐した一方の光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、前記光分岐手段で分岐した他方の光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A third image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes an optical branching unit, a first imaging unit, and the like. A second imaging unit, and the light branching unit branches incident light in two directions, and the first imaging unit is configured to generate a horizontal polarization component from one of the lights branched by the light branching unit. A polarization separation unit that separates light; and an imaging unit that captures a horizontally polarized image by entering light of a horizontal polarization component separated by the polarization separation unit, and the second imaging unit includes the light branching unit. Polarization separation means for separating the light of the vertical polarization component from the other light branched in step (b), and imaging means for picking up the vertical polarization image by entering the light of the vertical polarization component separated by the polarization separation means. , The image signal processing device includes: Processing the horizontally polarized image and the vertical polarization image captured by the image unit and the second imaging unit generates Henhikarihiga image, and wherein the distance information of the three-dimensional Mel determined from the generated Henhikarihiga image .
この発明の第4の画像認識装置は、前方の画像を撮像する画像認識装置であって、撮像装置と画像信号処理装置を有し、前記撮像装置は、領域分割フィルタと第1の撮像ユニットと第2の撮像ユニットを有し、前記領域分割フィルタは、入射した光を水平偏光成分の光と垂直偏光成分の光に分離し、2方向に分岐し、前記第1の撮像ユニットは、前記領域分割フィルタで分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、前記第2の撮像ユニットは、前記領域分割フィルタで分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする。 A fourth image recognition apparatus according to the present invention is an image recognition apparatus that captures a front image, and includes an imaging apparatus and an image signal processing apparatus. The imaging apparatus includes an area division filter, a first imaging unit, and the like. A second image pickup unit, wherein the region dividing filter separates the incident light into light of a horizontal polarization component and light of a vertical polarization component, and branches in two directions; Imaging means for capturing a horizontally polarized image by entering the light of the horizontally polarized component separated by the division filter, and the second imaging unit receives the light of the vertically polarized component separated by the region dividing filter. Imaging means for capturing a vertically polarized image, and the image signal processing device processes a horizontally polarized image and a vertically polarized image captured by the first imaging unit and the second imaging unit to obtain a polarization ratio image. to generate the image, generation Distance information of the three-dimensional from Henhikarihiga image was characterized by Mel determined.
前記光分岐手段の前段や領域分割フィルタの前段に撮像光学系を設けると良い。 It is preferable to provide an imaging optical system in the previous stage of the light branching means and the previous stage of the area dividing filter.
この発明の車外監視装置は、前記画像認識装置と中央処理装置及び表示装置を有し、車両に搭載され、前記中央処理装置は前記画像認識装置で撮像した画像や距離情報から道路形状や複数の立体物の三次元位置を高速で検出して前記表示装置に表示することを特徴とする。 A vehicle exterior monitoring device according to the present invention includes the image recognition device, a central processing device, and a display device, and is mounted on a vehicle. The central processing device is configured to detect a road shape and a plurality of information from images and distance information captured by the image recognition device. A three-dimensional position of a three-dimensional object is detected at high speed and displayed on the display device.
この発明の画像認識装置は、1つの撮像装置で入射した光を水平偏光成分の光と垂直偏光成分の光に分離して水平偏光画像と垂直偏光画像を撮像するから、水平偏光画像と垂直偏光画像の視差を非常に小さくすることができる。 The image recognition apparatus according to the present invention separates the light incident by one image pickup device into light of a horizontal polarization component and light of a vertical polarization component, and picks up a horizontal polarization image and a vertical polarization image. The parallax of the image can be made very small.
この撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像又は偏光差分画像を生成し、生成した偏光比画像又は偏光差分画像から三次元の距離情報を有する距離画像を求めるから視差ずれ補正などの処理を不要にして処理の簡略化して三次元の距離情報を得ることができる。 The captured horizontal polarization image and vertical polarization image are processed to generate a polarization ratio image or a polarization difference image, and a distance image having three-dimensional distance information is obtained from the generated polarization ratio image or polarization difference image, so that parallax deviation correction is performed. It is possible to obtain three-dimensional distance information by simplifying the processing without the need for such processing.
また、この発明が画像認識装置を使用した車外監視装置は、三次元の距離情報を認識することにより、自動車や歩行者が接近するかを確認することができ、安全性を向上することができる。 In addition, the vehicle outside monitoring device using the image recognition device according to the present invention can confirm whether a vehicle or a pedestrian approaches by recognizing three-dimensional distance information, and can improve safety. .
図1は、この発明の画像認識装置の構成図である。図に示すように、画像認識装置1は、撮像装置2と画像信号処理装置3を有する。撮像装置2は、第1の撮像ユニット4と、第1の撮像ユニット4に近接して平行に配置した第2の撮像ユニット5を有する。第1の撮像ユニット4は、撮像光学系411と固体撮像ユニット412を有する第1の撮像手段41と、第1の撮像手段41の前段に設けられた直線偏光子42を有する。第2の撮像ユニット5は、撮像光学系511と固体撮像ユニット512を有する第2の撮像手段51と、第2の撮像手段51の前段に設けられた直線偏光子52を有する。第1の撮像ユニット4の直線偏光子42は撮像装置2の前方から入射した光のうち水平偏光成分を透過して第1の撮像手段41に入射する。第1の撮像手段41は入射した水平偏光成分により水平偏光画像を撮像する。第2の撮像ユニット5の直線偏光子52は撮像装置2の前方から入射した光のうち垂直偏光成分を透過して第2の撮像手段51に入射する。第2の撮像手段51は入射した垂直偏光成分により垂直偏光画像を撮像する。
FIG. 1 is a block diagram of an image recognition apparatus according to the present invention. As shown in the figure, the
画像信号処理装置3は、画像処理部6と演算処理部7を有する。画像処理部6は、第1の撮像手段41で撮像した水平偏光画像と第2の撮像手段51で撮像した垂直偏光画像を処理して偏光比画像を生成する。演算処理部7は画像処理部4で生成した偏光比画像から被写体までの三次元の距離を算出する。
The image
この画像認識装置1は、図2に示すように、自動車等の車両8に搭載された車外監視装置9に使用する。車外監視装置9は車両8の進行方向の前方や左右の情報の画像を撮影し、撮影した画像から進行方向に対して左右両側の自動車や歩行者等を認識して確認するものであり、画像認識装置1と中央処理装置10及び表示装置11を有する。画像認識装置1は車両8のルームミラーの後段など運転者の視野を遮らない位置に配置されている。中央処理装置10は画像認識装置1で撮像した画像や距離情報から道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行い、認識された物体が自車両8の障害物となる場合、運転者の前方に設置された表示装置11に表示して運転者に対する警告を行うほかに、図示しないアクチュエータ類を制御する外部装置を接続することにより車体の自動衝突回避制御等が可能となっている。
As shown in FIG. 2, the
この画像認識装置1を有する車外監視装置9で車両8の進行方向の前方の情報の画像を撮影して自動車や歩行者等を認識して確認するときの処理を説明する。
A process when the vehicle outside
画像認識装置1の撮像装置2で車両8の進行方向の前方の撮影を開始すると、第1の撮像ユニット4の直線偏光子42は入射した光のなかで水平偏光成分の光を透過して第1の撮像手段41に入射する。第1の撮像手段41は入射した水平偏光成分により、例えば図3(a)に示すような水平偏光画像43を撮像し、撮像した水平偏光画像43を画像信号処理部3の画像処理部6に出力する。また、第2の撮像ユニット5の直線偏光子52は入射した光のなかで垂直偏光成分の光を透過して第2の撮像手段51に入射する。第2の撮像手段51は入射した垂直偏光成分により、図3(b)に示すような垂直偏光画像53を撮像し、撮像した垂直偏光画像53を画像信号処理部3の画像処理部6に出力する。この第1の撮像手段41と第2の撮像手段51を1つの撮像装置1に近接して配置しているから、第1の撮像手段41と第2の撮像手段51の間隔を近接することができ、水平偏光画像43と垂直偏光画像53の視差を非常に小さくすることができ、視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。なお、図3は650nmの波長のバンドパスフィルタを通して撮影した画像である。
When the
画像処理部6は、入力した水平偏光画像43と垂直偏光画像53を処理して、図4に示す偏光比画像63を生成して演算処理部7に出力する。演算処理部7は入力した偏光比画像63から被写体までの三次元の距離を算出する。
The image processing unit 6 processes the input
この偏光比画像63から距離を算出するとき、水平偏光の輝度をIa(x,y)、垂直偏光の輝度をIb(x,y)とすると、水平偏光画像43と垂直偏光画像53の偏光比P(x,y)は、
P(x,y)=Ib(x,y)/Ia(x,y)
で表せる。
そこで図4に示す偏光比画像63の破線で示した路面領域の距離に対する偏光比P(x,y)の変化を図5に示す。図5に示すように、偏光比P(x,y)は路面領域の三次元の距離と線形な関係にあり、偏光比画像63から三次元の距離を算出することができる。
When calculating the distance from the
P (x, y) = Ib (x, y) / Ia (x, y)
It can be expressed as
Therefore, FIG. 5 shows a change in the polarization ratio P (x, y) with respect to the distance of the road surface region indicated by the broken line in the
この偏光比画像63と算出した三次元の距離情報を中央処理装置10は表示装置11に表示する。車両8の運転者は表示装置11に表示された偏光比画像63と三次元の距離情報を認識することにより、自動車や歩行者が接近するかを確認することができ、安全性を向上することができる。
The
前記説明では、撮像した水平偏光画像43と垂直偏光画像53から偏光比画像63を生成して車両8の前方の情報の三次元の距離情報を算出する場合について説明したが、図6に示すように、水平偏光画像43と垂直偏光画像53から、図6に示すような偏光差分画像73を生成し、生成した偏光度画像73の下記式に示す偏光比P1(x,y)から三次元の距離を算出しても良い。
P1(x,y)={Ib(x,y)−Ia(x,y)}/{Ib(x,y)+Ia(x,y)}
In the above description, the case where the
P1 (x, y) = {Ib (x, y) -Ia (x, y)} / {Ib (x, y) + Ia (x, y)}
また、前記説明では、撮像装置2の第1の撮像ユニット4の第1の撮像手段41に撮像光学系411を設け、第2の撮像ユニット5の第2の撮像手段51に撮像光学系511を設けた場合について説明したが、図7に示すように、撮像装置2aに1又は複数の単レンズを有する撮像光学系12とハーフミラー13を設け、撮像光学系12を第1の撮像ユニット4と第2の撮像ユニット5で共用し、撮像光学系12を透過した前方の情報を示す光をハーフミラー13で直交する2方向の光に分離し、ハーフミラー13を透過した光を第1の撮像ユニット4に入射し、ハーフミラー13で反射した光を第2の撮像ユニット5に入射するようにしても良い。
In the above description, the imaging
この撮像装置2aは、撮像光学系12で集光した光の一部はハーフミラー13を透過して第1の撮像ユニット4に入射して第1の撮像ユニット4で水平偏光画像43を撮像する。また、撮像光学系12で集光した光の一部はハーフミラー13で反射して第2の撮像ユニット5に入射して第2の撮像ユニット5で垂直偏光画像53を撮像する。この撮像した水平偏光画像43と垂直偏光画像53から偏光比画像63や偏光度画像73を生成する。
In this
このように1つの撮像光学系12に入射した光により水平偏光画像43と垂直偏光画像53を撮像することができ、撮像した水平偏光画像43と垂直偏光画像53に視差が生じないため、第1の撮像ユニット4と第2の撮像ユニット5の検出領域が小さくて済み、撮像装置2aの小型化を図るとともに視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。
As described above, the horizontally polarized
また、ハーフミラー13の代わりに、図8の構成図に示すように、水平偏光成分を透過し、垂直偏光成分を反射する偏光ビームスプリッタ14を設けても良い。このように偏光ビームスプリッタ14を設けた撮像装置2bは直線偏光子43と直線偏光子53を使用しないで済み、光学系を簡素化できるとともに光の利用率を向上することができる。
Further, instead of the
前記説明では、撮像装置2,2a,2bに2つ固体撮像ユニット412,512を設けた場合について説明したが、次に1つの固体撮像ユニットで水平偏光画像43と垂直偏光画像53を撮像する撮像装置2cについて説明する。
In the above description, the case where the
撮像装置2cは、図9の分解斜視図に示すように、レンズアレイ21と遮光スペーサ22と偏光フィルタ23とスペーサ24及び固体撮像ユニット25が積層されて形成されている。
As shown in the exploded perspective view of FIG. 9, the
レンズアレイ21は、2つのレンズ211a,211bを有する。この2つのレンズ211a,211bは互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、光軸26a,26bを平行にして同一平面上に配置している。ここでレンズ211a,211bの光軸26a,26bと平行な方向をZ軸、Z軸に垂直な一方向をX軸、Z軸とX軸に垂直な方向をY軸とすると、レンズ211a,211bは、同一のXY平面上に配置されている。遮光スペーサ22は、2つの開口部221a,221bを有し、レンズアレイ21対して被写体側とは反対側に設けられている。2つの開口部221a,221bは光軸26a,26bをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。
The
偏光フィルタ23は、偏光面が90度異なる2つの偏光子領域231a,231bを有し、遮光スペーサ22に対してレンズアレイ21とは反対側に設けられている。2つの偏光子領域231a,231bはそれぞれ光軸26a,26bを中心としてXY平面と平行に設けられている。この偏光子領域231a,231bは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。スペーサ24は、偏光フィルタ23の偏光子領域231a,231bに対応する領域が貫通した開口部241を有する矩形枠状に形成され、偏光フィルタ23に対して遮光スペース22とは反対側に設けられている。固体撮像ユニット25は、画像信号処理装置3を有する基板251上に搭載された2つの固体撮像素子領域252a,252bを有し、スペーサ24に対して偏光フィルタ23とは反対側に設けられている。2つの固体撮像素子領域252a,252bはそれぞれ光軸26a,26bを中心としてXY平面と平行な同一平面上に設けられている。
The
このように撮像装置2cの偏光フィルタ23の偏光子領域231a,231bについて図10の斜視図を参照して説明する。偏光子領域231a,231bは、例えばフォトニック結晶からなる偏光子からなり、図10に示すように、周期的な溝列を形成した透明基板232上に、透明で高屈折率の媒質層233と低屈折率の媒質層234とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層233と低屈折率の媒質層234の各層は、透明基板232の溝列と直交するX方向に周期性を持つが、溝列と平行なY方向には一様であっても良いし、X方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造(フォトニック結晶)は、特開平10−335758号公報などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。
The
このフォトニック結晶からなる偏光子領域231a,231bは、図11(a)の斜視図に示すように、光軸26a,26bと平行なZ軸と、Z軸と直交するXY軸を有する直交座標系において、XY面に平行な1つの基板232の上に2種以上の透明材料をZ軸方向に交互に積層した多層構造体、例えばTa2O5とSiO2の交互多層膜からなり、偏光子領域231a,231bは各膜が凹凸形状を有しており、この凹凸形状はXY面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域231aは、図11(b)に示すように、溝の方向がY軸方向に対して平行であり、偏光子領域231bは溝の方向がX軸方向に対して平行であり、偏光子領域231aと偏光子領域231bで溝の方向が90度異なって形成されている。すなわちXY面に入射される入力光から、偏光子領域231aと偏光子領域231bによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域231aと偏光子領域231bでそれぞれ等量の無偏光成分を透過させるようになっている。
As shown in the perspective view of FIG. 11A, the
この偏光子領域231a,231bの開口面積や透過軸は、はじめに透明基板232に加工する溝パターンの大きさや方向で自由に設計することができる。この溝パターンのパターン形成は、電子ビームリソグラフィやフォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。
The opening areas and transmission axes of the
偏光フィルタ23の偏光子領域231a,231bによりレンズアレイ21のレンズ211a,211bに入射した光を水平偏光成分と垂直偏光成分に分離し、固体撮像ユニット25の2つの固体撮像素子領域252a,252bに入射して固体撮像ユニット25で水平偏光画像と垂直偏光画像を撮像する。
The light incident on the
このように入射した光を偏光フィルタ23で水平偏光成分と垂直偏光成分に分離し、固体撮像ユニット25で水平偏光画像と垂直偏光画像を撮像するから、撮像装置1cの小型化を図ることができるとともに視差ずれ補正などの処理を不要にして処理の簡略化を図ることができる。
Since the incident light is separated into the horizontal polarization component and the vertical polarization component by the
前記説明では偏光フィルタ23の偏光子領域231a,231bを例えばフォトニック結晶で形成した場合について説明したが、偏光子領域231a,231bとしてワイヤグリッド型の偏光子を使用しても良い。このワイヤグリッド型の偏光子とは、細い金属ワイヤを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、1枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、偏光子領域231a,231b毎に透過軸の方向を変化させた構造とすることができる。
In the above description, the case where the
このワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。また、他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向(基板面に斜めの方向)から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部(凹部)では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型偏光子に用いられるワイヤ金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はX線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が100nm程度になるため、電子ビームリソグラフィもしくはX線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。 As a method for manufacturing this wire grid, a thin metal can be left by forming a metal film on a substrate and performing patterning by lithography. As another manufacturing method, a groove is formed on the substrate by lithography, and a metal is formed by vacuum deposition from a direction perpendicular to the direction of the groove and inclined from the normal line of the substrate (a direction oblique to the substrate surface). It can produce by doing. In vacuum deposition, particles flying from the deposition source hardly collide with other molecules or atoms in the middle of the deposition, and the particles travel linearly from the deposition source to the substrate. On the other hand, at the bottom part (concave part) of the groove, the film is shielded by the convex part and hardly formed. Therefore, by controlling the amount of film formation, a metal film can be formed only on the convex portion of the groove formed on the substrate, and a thin metal wire can be produced. The wire metal used in the wire grid polarizer is preferably aluminum or silver, but the same phenomenon can be realized even with other metals such as tungsten. In addition, as lithography, optical lithography, electron beam lithography, X-ray lithography, and the like can be given. However, when an operation with visible light is assumed, the interval between thin lines is about 100 nm, and thus electron beam lithography or X-ray lithography is more preferable. . Also, vacuum deposition is desirable for metal film formation. However, since the directionality of particles incident on the substrate is important, sputtering in a high vacuum atmosphere or collimation sputtering using a collimator is also possible.
1;画像認識装置、2;撮像装置、3;画像信号処理装置、
4;第1の撮像ユニット、5;第2の撮像ユニット、6;画像処理部、
7;演算処理部、8;車両、9;車外監視装置、10;中央処理装置、
11;表示装置、12;撮像光学系、13;ハーフミラー、
14;偏光ビームスプリッタ、23;偏光フィルタ、41;第1の撮像手段、
42;直線偏光子、51;第2の撮像手段、52;直線偏光子、
411,511;撮像光学系、412,512;固体撮像ユニット。
DESCRIPTION OF
4; first imaging unit, 5; second imaging unit, 6; image processing unit,
7; arithmetic processing unit, 8; vehicle, 9; outside monitoring device, 10; central processing unit,
11: Display device, 12: Imaging optical system, 13: Half mirror,
14; polarizing beam splitter, 23; polarizing filter, 41; first imaging means,
42; linear polarizer; 51; second imaging means; 52; linear polarizer;
411, 511; imaging optical system, 412, 512; solid-state imaging unit.
Claims (7)
撮像装置と画像信号処理装置を有し、
前記撮像装置は、入射した光を水平偏光成分と垂直偏光成分の光に分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分と垂直偏光成分の光を入射して水平偏光画像と垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記撮像手段で撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。 An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes: a polarization separation unit that separates incident light into horizontal polarization component light and vertical polarization component light; and a horizontal polarization image obtained by entering the horizontal polarization component light and the vertical polarization component light separated by the polarization separation unit. Imaging means for capturing a vertically polarized image,
The image signal processing apparatus, a feature of the horizontal polarization image and the vertical polarization image processes to generate a Henhikarihiga image, it from the generated Henhikarihiga image mel calculated distance information of the three-dimensional imaged by the imaging unit Image recognition device.
撮像装置と画像信号処理装置を有し、
前記撮像装置は、第1の撮像ユニットと、第1の撮像ユニットに近接して配置した第2の撮像ユニットを有し、
前記第1の撮像ユニットは、入射した光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、入射した光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。 An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a first imaging unit and a second imaging unit arranged in proximity to the first imaging unit,
The first imaging unit captures a horizontally polarized image by injecting a horizontally polarized light separated by the polarization separating means and a polarization separating means for separating horizontally polarized light from the incident light. Means,
The second image pickup unit picks up a vertically polarized image by applying a polarization separating unit that separates light of a vertical polarization component from incident light and light of a vertical polarization component separated by the polarization separation unit. Means,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
撮像装置と画像信号処理装置を有し、
前記撮像装置は、光分岐手段と第1の撮像ユニットと第2の撮像ユニットを有し、
前記光分岐手段は、入射した光を2方向に分岐し、
前記第1の撮像ユニットは、前記光分岐手段で分岐した一方の光のなかから水平偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、前記光分岐手段で分岐した他方の光のなかから垂直偏光成分の光を分離する偏光分離手段と、前記偏光分離手段で分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。 An image recognition device that captures a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a light branching unit, a first imaging unit, and a second imaging unit,
The light branching means branches incident light in two directions,
The first imaging unit is configured to receive a polarization separation unit that separates light of a horizontal polarization component from one of the lights branched by the light branching unit, and light of a horizontal polarization component separated by the polarization separation unit. Imaging means for capturing a horizontally polarized image,
The second imaging unit is configured to receive a polarization separation unit that separates light of a vertical polarization component from the other light branched by the light branching unit, and light of a vertical polarization component separated by the polarization separation unit. Imaging means for capturing a vertically polarized image,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
撮像装置と画像信号処理装置を有し、
前記撮像装置は、領域分割フィルタと第1の撮像ユニットと第2の撮像ユニットを有し、
前記領域分割フィルタは、入射した光を水平偏光成分の光と垂直偏光成分の光に分離し、2方向に分岐し、
前記第1の撮像ユニットは、前記領域分割フィルタで分離した水平偏光成分の光を入射して水平偏光画像を撮像する撮像手段とを有し、
前記第2の撮像ユニットは、前記領域分割フィルタで分離した垂直偏光成分の光を入射して垂直偏光画像を撮像する撮像手段とを有し、
前記画像信号処理装置は、前記第1の撮像ユニットと第2の撮像ユニットとで撮像した水平偏光画像と垂直偏光画像を処理して偏光比画像を生成し、生成した偏光比画像から三次元の距離情報を求めることを特徴とする画像認識装置。 An image recognition apparatus that obtains a distance image by capturing a front image,
Having an imaging device and an image signal processing device;
The imaging apparatus includes a region dividing filter, a first imaging unit, and a second imaging unit,
The region dividing filter separates incident light into light of a horizontal polarization component and light of a vertical polarization component and branches in two directions,
The first imaging unit includes imaging means for capturing a horizontally polarized image by entering light of a horizontally polarized component separated by the region dividing filter,
The second imaging unit includes an imaging unit that captures a vertically polarized image by entering light of a vertically polarized component separated by the region dividing filter,
The image signal processing apparatus processes the first image pickup unit and the horizontal polarization image and the vertical polarization image captured by the second imaging unit generates Henhikarihiga image, resulting from Henhikarihiga image of a three-dimensional it distance information Mel determined image recognition apparatus according to claim.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009130111A JP5440907B2 (en) | 2009-05-29 | 2009-05-29 | Image recognition device and vehicle exterior monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009130111A JP5440907B2 (en) | 2009-05-29 | 2009-05-29 | Image recognition device and vehicle exterior monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010276507A JP2010276507A (en) | 2010-12-09 |
JP5440907B2 true JP5440907B2 (en) | 2014-03-12 |
Family
ID=43423602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009130111A Expired - Fee Related JP5440907B2 (en) | 2009-05-29 | 2009-05-29 | Image recognition device and vehicle exterior monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5440907B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5440927B2 (en) * | 2009-10-19 | 2014-03-12 | 株式会社リコー | Distance camera device |
US9739864B2 (en) | 2012-01-03 | 2017-08-22 | Ascentia Imaging, Inc. | Optical guidance systems and methods using mutually distinct signal-modifying |
EP3693755A1 (en) * | 2013-01-07 | 2020-08-12 | Ascentia Imaging, Inc. | Optical sensor |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3259475B2 (en) * | 1993-10-27 | 2002-02-25 | ミノルタ株式会社 | Distance measuring device |
JP2002213931A (en) * | 2001-01-17 | 2002-07-31 | Fuji Xerox Co Ltd | Instrument and method for measuring three-dimensional shape |
JP2002310896A (en) * | 2001-04-19 | 2002-10-23 | Mitsubishi Heavy Ind Ltd | Road surface condition discriminating device and road surface condition discriminating method |
JP2006058122A (en) * | 2004-08-19 | 2006-03-02 | Nagoya Electric Works Co Ltd | Road surface condition deciding method and its device |
JP4974543B2 (en) * | 2005-08-23 | 2012-07-11 | 株式会社フォトニックラティス | Polarization imaging device |
-
2009
- 2009-05-29 JP JP2009130111A patent/JP5440907B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010276507A (en) | 2010-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5278819B2 (en) | Stereo camera device and vehicle exterior monitoring device using the same | |
JP5440927B2 (en) | Distance camera device | |
JP5610254B2 (en) | Imaging apparatus and road surface state determination method | |
JP5637425B2 (en) | Droplet detection device and in-vehicle monitoring device | |
JP5152655B2 (en) | Imaging device | |
JP5278814B2 (en) | Stereo camera device and vehicle exterior monitoring device | |
JP5429622B2 (en) | Droplet recognition device, raindrop recognition device and automatic wiper device | |
JP5488958B2 (en) | Front monitor camera device and vehicle left and right side confirmation device | |
JP4974543B2 (en) | Polarization imaging device | |
JP5273356B2 (en) | Compound eye image input device and distance measuring device using the same | |
WO2009119370A1 (en) | Imaging device | |
JP6957162B2 (en) | Distance measuring device and moving object | |
WO2014017409A1 (en) | Stereo camera | |
WO2011097163A1 (en) | Three-dimensional imaging system using a single lens system | |
EP2690485B1 (en) | Polarization device, and imaging apparatus using the same | |
JP5440907B2 (en) | Image recognition device and vehicle exterior monitoring device | |
JP2007295113A (en) | Imaging apparatus | |
JP2010271143A (en) | Imaging device, distance measuring device, exterior monitoring device, and imaging method | |
JP2015195489A (en) | Collision preventing system, collision preventing method and computer program | |
JP2016127512A (en) | Imaging apparatus | |
JP2014036298A (en) | Imaging apparatus | |
JP2014003433A (en) | Imaging apparatus | |
JP2008180808A (en) | Stereoscopic imaging apparatus | |
JP2013044893A (en) | Compound-eye imaging device, and distance image acquisition device | |
JP7446455B2 (en) | Location information acquisition system, location information acquisition method, and location information acquisition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5440907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |