JP6202364B2 - Stereo camera and moving object - Google Patents
Stereo camera and moving object Download PDFInfo
- Publication number
- JP6202364B2 JP6202364B2 JP2013053090A JP2013053090A JP6202364B2 JP 6202364 B2 JP6202364 B2 JP 6202364B2 JP 2013053090 A JP2013053090 A JP 2013053090A JP 2013053090 A JP2013053090 A JP 2013053090A JP 6202364 B2 JP6202364 B2 JP 6202364B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- polarization
- stereo camera
- birefringent plate
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、偏光方向が互いに直交する2つの偏光成分の画像をそれぞれ受光して偏光画像を取得する撮像装置を用い1つの被写体から得られた2つの偏光画像からステレオ画像を得るステレオカメラ、及び、該ステレオカメラを搭載する移動体に関するものである。 The present invention, the stereo camera polarization direction to obtain a stereoscopic image from the two polarized images obtained from use physician one object imaging equipment to acquire two polarized images an image of the polarization component each receiving mutually orthogonal And a moving body on which the stereo camera is mounted.
従来、自車両前方の先行車両との車間距離を測定し、その車間距離を維持するための自車速度調整機能を有するACC(Adaptive Cruise Control)等の運転者支援システムが開発されている。先行車両との距離を測定する技術として、視差を有する2つの視差画像を用いて、視差画像間の視差量を求め、その視差量から被写体までの距離の測定を行うステレオカメラが知られている。このステレオカメラとして特許文献1に記載のものが知られている。特許文献1のステレオカメラでは、左右のレンズ群の各光学部材を介して得られた2つの画像を各偏光フィルタに入射させることによって、偏光方向が互いに直交する2つの偏光成分の画像をそれぞれ取得する。同一の被写体からの2つの偏光成分の画像が、撮像部の撮像素子における受光素子の配列に対応して配列されている偏光子領域にそれぞれ入射される。各偏光子領域によって、入射した画像の偏光方向に対応する受光素子に偏光されて。各受光素子で受光した2つの偏光成分の画像から視差画像を生成し、この視差画像に基づいて被写体までの距離を測定している。
2. Description of the Related Art Conventionally, driver assistance systems such as ACC (Adaptive Cruise Control) having an own vehicle speed adjusting function for measuring an inter-vehicle distance with a preceding vehicle ahead of the own vehicle and maintaining the inter-vehicle distance have been developed. As a technique for measuring the distance to the preceding vehicle, a stereo camera is known that calculates the amount of parallax between parallax images using two parallax images having parallax and measures the distance from the parallax amount to the subject. . As this stereo camera, the one described in
上記特許文献1のステレオカメラでは、左右の画像の視差により被写体までの距離を高精度に測定するために、対応する左右の画素どうしが0.1ピクセル精度でほぼ一致させることが必要である。また、距離測定には、チャートなどを撮影してチャートの画像に基づいてレンズの固体差を含んだ歪みや左右の撮像部の位置をキャリブレーションすることが必須となっている。
In the stereo camera disclosed in
しかしながら、上記特許文献1のステレオカメラでは、左右独立のレンズ群の光学部材を用いているので、左右の光学部材に温度差があるだけでも左右の光学部材における歪みの出方が互いに異なる。この結果、左右の撮像部における撮像素子の対応画素に数ピクセルの位置誤差が発生してしまう。また、左右の撮像部間の位置を固定する取付具には通常金属を用いており、金属の線膨張係数は一般にガラスに比べて非常に大きい。この結果、環境温度変化によって、左右の撮像部の取付位置関係は容易にずれてしまい、左右の撮像部における撮像素子において互いに対応する画素に数ピクセルの位置誤差が発生してしまう。左右の画像を完全に重ねることができない。これにより、温度によりレンズの歪みなどが変わった場合左右の対応画素がずれることになる。このような環境温度変化による誤差を修正するので、光学部材の歪みの補正や左右の撮像部の取付位置に対する補正を含むキャリブレーションを随時行う必要があったため、装置自体が高価になるという問題があった。
However, since the stereo camera of
本発明者が先に出願した先願(特願2012−214673)のステレオカメラでは、被写体からの左右の画像を互いに同じ光路で偏光フィルタに導き、偏光フィルタによって互いに直交する偏光成分の2つの画像に偏光させる。この2つの画像を1つの光路に重ね合わせ、重ね合わさった画像を1つのレンズ群の光学部材を介して領域分割フィルタに結像させる。この領域分割フィルタは、撮像素子における受光素子の縦横配列に対応させて各偏光子領域を配列したものである。領域分割フィルタによって、視差を有する2つの画像に分離させ、撮像素子において隣接する受光素子にそれぞれ受光させている。このため、視差を有する2つの画像は1つのレンズ群の光学部材を介して撮像素子に結像されているので、温度変化により光学部材の歪みが変化しても、2つの画像の撮像素子の結像位置がそれぞれ同じようにずれる。温度による光学部材の歪みや撮像手段の取付位置変化が被写体までの距離を演算する測距演算に与える影響は少ない。よって、温度変化に伴う光学部材の歪みの補正や撮像手段の取付位置ずれに対する補正を含むキャリブレーションを行う必要がなくなり、装置自体の高価格化を抑制している。 In the stereo camera of the previous application (Japanese Patent Application No. 2012-214673) filed earlier by the present inventor, the left and right images from the subject are guided to the polarizing filter by the same optical path, and two images of the polarization components orthogonal to each other by the polarizing filter. To be polarized. The two images are superposed on one optical path, and the superposed image is formed on a region dividing filter through an optical member of one lens group. This area division filter is obtained by arranging the polarizer regions in correspondence with the vertical and horizontal arrangements of the light receiving elements in the image sensor. The image is separated into two images having parallax by a region dividing filter, and light is received by adjacent light receiving elements in the image sensor. For this reason, since two images having parallax are formed on the image sensor via the optical member of one lens group, even if the distortion of the optical member changes due to a temperature change, The imaging positions are shifted in the same way. The influence of the distortion of the optical member due to the temperature and the change in the mounting position of the imaging means on the distance measurement calculation for calculating the distance to the subject is small. Therefore, it is not necessary to perform calibration including correction of the distortion of the optical member accompanying the temperature change and correction of the mounting position shift of the imaging means, and the cost of the apparatus itself is suppressed.
しかしながら、上記先願のステレオカメラでは、互いに直交する偏光方向の2つの画像における対応する画素値が互いに一致しなくなるという問題点があった。この場合は、マッチング処理での精度を低下させ、測距精度の低下を招く。具体的には、撮像手段を車両に搭載して自車両前方を撮像するとき、写っているものは、路面に立っている電柱や前方車両などの縦方向や横方向の面が多い。縦方向又は横方向の面からの反射光が多く、撮像素子上の偏光子も縦方向と横方向とした場合には、縦方向または横方向の面が多い被写体の偏光依存性を大きく受け、縦横配列の受光素子にそれぞれ受光されて2つの画像における対応する画素値が互いに一致しなくなる。 However, the stereo camera of the prior application has a problem in that the corresponding pixel values in the two images having the orthogonal polarization directions do not match each other. In this case, the accuracy in the matching process is lowered, and the ranging accuracy is lowered. Specifically, when the imaging means is mounted on a vehicle and the front of the host vehicle is imaged, what is shown is a vertical or horizontal surface such as a utility pole standing on the road surface or a forward vehicle. When there is a lot of reflected light from the surface in the vertical or horizontal direction, and the polarizer on the image sensor is also in the vertical and horizontal directions, it is greatly affected by the polarization dependence of the subject with many vertical or horizontal surfaces, The light receiving elements in the vertical and horizontal arrangement respectively receive the light and corresponding pixel values in the two images do not match each other.
本発明は以上の問題点に鑑みなされたものであり、その目的は以下のとおりである。被写体の縦方向及び横方向の面からの反射光による偏光差の影響を抑制することで、対応位置の画素の輝度を一致させることができ、かつ、測距演算の精度を向上させることができるステレオカメラ、及び該ステレオカメラを搭載する移動体を提供することである。 The present invention has been made in view of the above problems, and the objects thereof are as follows. By suppressing the influence of the polarization difference caused by the reflected light from the vertical and horizontal surfaces of the subject, the luminance of the pixels at the corresponding position can be matched , and the accuracy of the distance measurement calculation can be improved. It is to provide a stereo camera and a moving body equipped with the stereo camera.
上記目的を達成するために、請求項1の発明は、互いに直交する方向に偏光方向が異なる2つの偏光成分の光を1つの光路に重ね合わせる偏光合波部と、2つの偏光成分の光をそれぞれ受光する複数の受光素子が配列された撮像素子を有する撮像部とを備える撮像装置において、前記受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する前記各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタを備え、前記領域分割フィルタの偏光透過角度を前記受光素子の画素の配列方向に対して45度としたことを特徴とするものである。
In order to achieve the above object, the invention of
本発明では、領域分割フィルタの偏光透過角度は撮像部の受光素子の配列方向に対して45度になっているので、上述のようにステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面の偏光を用いて2つの画像を重畳することで、従来のような領域分割フィルタの偏光透過角度が略0度である場合に比べて、被写体の縦方向、横方向の面による偏光依存性を減らすことができる。よって、受光素子で受光した2つの光の輝度の差を略無くすことができ、対応位置の画素の輝度を略一致させることができる、という特有な効果が得られる。 In the present invention, the polarization transmission angle of the area division filter is 45 degrees with respect to the arrangement direction of the light receiving elements of the image pickup unit. Therefore, when the stereo camera is used as an in-vehicle camera as described above, it is oblique to the road surface. By superimposing two images using the polarization of the directional plane, the polarization by the vertical and horizontal planes of the subject compared to the conventional case where the polarization transmission angle of the region dividing filter is approximately 0 degrees. Dependency can be reduced. Therefore, it is possible to substantially eliminate the difference in luminance between the two lights received by the light receiving element, and to obtain a unique effect that the luminance of the pixels at the corresponding positions can be substantially matched.
以下、本発明の撮像装置に係る実施形態の構成について説明する。
図1は光学フィルタ部と撮像部の位置関係の対応を例示する図である。図2は図1の断面図である。両図に示すように、撮像装置1は、撮像部100及び光学フィルタ部200を含んで構成されている。撮像部100は、複数の受光素子を備えた撮像素子101と、該撮像素子101を支持する基板102とを備えている。撮像素子101は、複数の受光素子を縦横の2次元に配列されており、光学フィルタ部200を透過した互いに直交する偏光方向の偏光成分を有するS偏光成分の光とP偏光成分の光とを各受光素子で受光する。なお、撮像素子101には、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などを用いることができる。ここでは撮像素子としてはモノクロのセンサを想定しているが、これに限定されるものでなく、カラーセンサ(例えばRCCC(レッド・クリア・クリア・クリア)配列、ベイヤ(RGB(レッド・グリーン・ブルー))配列など)であってもよい。
The configuration of the embodiment according to the imaging apparatus of the present invention will be described below.
FIG. 1 is a diagram illustrating the correspondence of the positional relationship between the optical filter unit and the imaging unit. FIG. 2 is a cross-sectional view of FIG. As shown in both drawings, the
光学フィルタ部200は、フィルタ基板201、偏光フィルタ層202及び充填層203を含んで構成されている。フィルタ基板201は、撮像レンズ(不図示)を介して光学フィルタ部200に入射する入射光を透過する透明な基板である。このフィルタ基板201は、その材料として、使用帯域(例えば可視光域と赤外域)の光を透過可能な透明材料を用いることができる。透明材料は、例えばガラス、サファイア若しくは水晶、又は、石英ガラス、テンパックスガラス、プラスチック、エンジニアリングプラスチック若しくは合成樹脂などである。フィルタ基板201の撮像素子101側の面には、偏光フィルタ層202が形成されている。偏光フィルタ層202を覆うように、更に充填層203が形成されている。充填層203は、透光性、ガラス接着性、精密性が良好な接着剤を用いてもよい。光学フィルタ部200に入射した光のうち、偏光フィルタ層202を透過した光は、撮像素子101の画素領域に入射する。偏光フィルタ層202には撮像素子101の画素サイズに対応した偏光子が領域分割して形成されている。そして、偏光フィルタ層202は、入射された光をS偏光成分の光とP偏光成分の光とに偏光する。なお、S偏光成分透過領域とP偏光成分透過領域が短冊状のパタンであってもよい。偏光フィルタ層202が形成されている領域ではP偏光成分、S偏光成分の各領域の画像が撮影されるが、これらは後述するとおり差分画像を形成することにより視差画像として各種情報検知に使われる。
The
図3は撮像部の構成を示す断面図である。同図に示す撮像部100は、不図示の基板に、撮像素子101、複屈折板103及び領域分割フィルタ104を備えている。複屈折板103は、複屈折板の偏向方向であるX1に対して、入射する光を互いに直交する偏光方向の偏光成分の光、例えばS偏光成分の光とP偏光成分に分岐(分岐)する。領域分割フィルタ104は、互いに直交する偏光方向のうち、一方の方向の偏光成分の光のみを透過する第1偏光子領域と、他方の方向の偏光成分の光のみを透過する第2偏光子領域とに分割されている。複屈折板103は、例えば水晶や方解石などの部材を用いることができる。なお、複屈折板103において、屈折方向及び分岐する距離であるシフト量は、領域分割フィルタ104の領域分割に対応した屈折方向及びシフト量とすることができる。複屈折板103の屈折方向及びシフト量は、その結晶軸及びその厚み等を適宜変更することで調整できる。また、領域分割フィルタ104は入射された光を選択的に透過し、例えばS偏光成分の光のみを透過するS偏光子領域104sとP偏光成分の光のみを透過するP偏光子領域104pとに分割されている。
FIG. 3 is a cross-sectional view illustrating the configuration of the imaging unit. The
このような構成を有する撮像部100では、同じ位置からの入射光が複屈折板103によってS偏光成分の光とP偏光成分に分岐される。次いで、S偏光子領域104sを透過したS偏光成分の光及びP偏光子領域104pを透過したP偏光成分の光が撮像素子の対応する偏光子領域にそれぞれ受光される。これにより、同じ位置からの入射光に対応するピクセル間の輝度比を演算することで、被写体の平坦な部分のみならず、エッジ部などでも正確な偏光比を得ることができる。
In the
図4は撮像部における動作を説明する概略図である。同図からわかるように、入力画像全体からピクセル単位で、S偏光成分のピクセルを取り出して、出力画像におけるS画像を形成する。一方、入力画像全体からP偏光成分のピクセルを取り出して、出力画像におけるP画像を形成する。 FIG. 4 is a schematic diagram for explaining the operation of the imaging unit. As can be seen from the figure, S-polarized component pixels are extracted from the entire input image in units of pixels to form an S image in the output image. On the other hand, P-polarized component pixels are extracted from the entire input image to form a P image in the output image.
図5は撮像装置の実施例1を示す図である。同図に示す領域分割フィルタ104は、複数の受光素子の格子縞状(図1参照)に対応して複数のS偏光子領域104s及び複数のP偏光子領域104pを配置して構成されている。領域分割フィルタ104は、撮像素子101の画素サイズ(受光素子のサイズ、ピクセル)に対応した複数の偏光子で形成されている。そして、領域分割フィルタ104は、複数のS偏光子領域104s及び複数のP偏光子領域104pを光学軸に対して直交する方向に交互に配置している。つまり、S偏光子領域104s及びP偏光子領域104pが横ストライブ模様に配置している。
FIG. 5 is a diagram illustrating the first embodiment of the imaging apparatus. The
図5(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103ではS偏光成分の光がそのまま透過し、P偏光成分の光が偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。そして、図5(c)に示すように、撮像素子101の受光素子101s、101p毎に、図中破線で囲む領域における入射光を同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみとして受光することができる。具体的には、図5(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。これにより、上述したように、撮像装置は、屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。
As shown in FIGS. 5A and 5B, when the incident light L from the same position is incident on the
図6は撮像装置の実施例1の変形例1を示す図である。同図に示す領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを縦ストライブ模様に配置している例は、図5(a)、(b)、(c)の例と基本的に同様のため説明を省略する。
FIG. 6 is a diagram illustrating a first modification of the first embodiment of the imaging apparatus. The example in which the
図7は撮像装置の実施例1の変形例2を示す図である。同図に示す領域分割フィルタ104は、複数の受光素子の格子縞状(図1参照)に対応して複数のS偏光子領域104s及び複数のP偏光子領域104pを交互に配置して構成されている。領域分割フィルタ104は、複数のS偏光子領域104s及び複数のP偏光子領域104pを光学軸に対して直交する方向に交互に配置している。つまり、S偏光子領域104s及びP偏光子領域104pが市松模様に配置している。
FIG. 7 is a diagram illustrating a second modification of the first embodiment of the imaging apparatus. The
図7(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。そして、図7(c)に示すように、撮像素子101の受光素子101s、101p毎に、図中破線で囲む領域における入射光を同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみとして受光することができる。具体的には、図7(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。
As shown in FIGS. 7A and 7B, first, when incident light L from the same position is incident on the
図8は撮像装置の実施例1の変形例3を示す図である。同図に示す領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを市松模様に配置している例は、図7(a)、(b)、(c)の例と基本的に同様のため説明を省略する。
FIG. 8 is a diagram illustrating a third modification of the first embodiment of the imaging apparatus. An example in which the
次に、撮像素子としてカラーセンサを用いた撮像装置の実施例2について説明する。本実施例では、カラーセンサとして、RCCC(レッド・クリア・クリア・クリア)配列の例を説明する。なお、撮像素子に用いることができるカラーセンサは、RCCC配列に限定されるものではない。すなわち、カラーセンサは、RGB(レッド・グリーン・ブルー)配列、RGBG(レッド・グリーン・ブルー・グリーン)配列及びその他複数の色に対応する配列のものでもよい。クリアピクセル(クリア受光素子)は、カラーフィルタによって感度が低下することに対応して、カラーフィルタを付加しない画素の撮像データを取得するために用いられる。また、RCCC配列は、例えば車載のカメラ用に本実施例の撮像装置を用いた場合に、前方車両のテールランプの赤を区別するためにモノクロセンサにレッド画素のみを付加したものである。 Next, a second embodiment of the image pickup apparatus using a color sensor as the image pickup element will be described. In this embodiment, an example of an RCCC (red / clear / clear / clear) arrangement will be described as a color sensor. Note that the color sensor that can be used for the image sensor is not limited to the RCCC array. That is, the color sensor may have an RGB (red / green / blue) arrangement, an RGBG (red / green / blue / green) arrangement, and an arrangement corresponding to a plurality of other colors. The clear pixel (clear light receiving element) is used for acquiring imaging data of a pixel to which no color filter is added in response to a decrease in sensitivity due to the color filter. Further, the RCCC array is obtained by adding only red pixels to a monochrome sensor in order to distinguish red of the tail lamp of a preceding vehicle when the imaging apparatus of the present embodiment is used for an in-vehicle camera, for example.
図9は撮像装置の実施例2を示す図である。同図に示す領域分割フィルタ104は、S偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。具体的には、本実施例における領域分割フィルタ104は、図9(b)に示すように、カラーセンサのR配列にP偏光子領域104p(図中のP/R)を配置している。領域分割フィルタ104は、カラーセンサの2つのC配列にP偏光子領域104p(図中のP/C)を配置し、1つのC配列にS偏光子領域104s(図中のS/C)を配置している。
FIG. 9 is a diagram illustrating a second embodiment of the imaging apparatus. In the
図9(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図9(c)に示すように、撮像素子101の受光素子101s、101p毎に同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。
As shown in FIGS. 9A and 9B, when the incident light L from the same position is incident on the
先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図9(c)に示すように、撮像素子101の受光素子101s、101p毎に同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。具体的には、図9(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。
First, when the incident light L from the same position is incident on the
図10は撮像装置の実施例2の変形例1を示す図である。同図に示す領域分割フィルタ104の例は、複屈折板103の偏向方向が異なるのみで、図9(a)、(b)、(c)の例と基本的に同様のため説明を省略する。
FIG. 10 is a diagram illustrating a first modification of the second embodiment of the imaging device. The example of the
図11は撮像装置の実施例2の変形例2を示す図である。本変形例の撮像部100は、複屈折板103の入射側に光学的ローパスフィルタとしての複屈折板105、106を備えている。複屈折板105、106は、画像のエリアシングノイズを除去するために用いられる。図11(a)に示すように、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、45度軸がずれた複屈折軸に相当する偏光方向X2(図11(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、135度の複屈折軸に相当する偏光方向X3(図11(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、入射された光Lを4点に分岐し、光学的ローパスフィルタを実現する。そして、複屈折板103を用いて、S偏光成分の光をそのまま透過し、P偏光成分の光を偏光方向X1(図11(b)における屈折方向R)に屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図11(c)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。
FIG. 11 is a diagram illustrating a second modification of the second embodiment of the imaging device. The
図12は撮像装置の実施例2の変形例3を示す図である。同図に示す領域分割フィルタ104の例は、複屈折板103の偏向方向が異なるのみで、図11(a)、(b)、(c)の例と基本的に同様のため説明を省略する。
FIG. 12 is a diagram illustrating a third modification of the second embodiment of the imaging device. The example of the
図13は本発明の一実施形態に係る撮像装置の実施例1を示す図である。本実施例の撮像部100は、カラーセンサとして、RGB(レッド・グリーン・ブルー)配列(ベイヤ配列)を用いる。また、本実施例の撮像部100は、複屈折板103を用いて、撮像素子の受光素子の配列に対して45度の方向に光を偏光する。本実施例の撮像部100は、領域分割フィルタのS偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。また、図13(a)に示すように、本実施例の撮像部100は、複屈折板103の入射側に光学的なローパスフィルタとしての複屈折板105、106を備えている。領域分割フィルタ104は、図13(b)に示すように、カラーセンサとしての撮像素子101のR配列にP偏光子領域104p(図中のP(C)/R)を配置している。領域分割フィルタ104は、カラーセンサとしての撮像素子101の2つのC配列にP偏光子領域104p(図中のP(C)/C)を配置し、1つのC配列にS偏光子領域104s(図中のS(C)/C)を配置している。
FIG. 13 is a diagram illustrating Example 1 of the imaging device according to the embodiment of the present invention. The
図13(a)に示すように、本実施例の撮像部100は、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、複屈折軸に相当する偏光方向X2(図13(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、複屈折軸に相当する偏光方向X3(図13(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、入射された光Lを4点に分岐し、光学的ローパスフィルタを実現する。そして、複屈折板103を用いて、S偏光成分の光をそのまま透過し、P偏光成分の光を偏光方向(屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図13(図13(b)における屈折方向R)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。
As shown in FIG. 13A, in the
以上説明したように、複屈折板103の偏光方向X1を撮像素子の受光素子の配列に対して45度の方向にすることで、図13(b)の屈折方向Rに示すように、隣り合う4ピクセルに光を分散でき、理想的な光学的ローパスフィルタを実現することができる。また、本実施例の撮像装置は、図13(b)の屈折方向Raの矢印元の座標及び屈折方向Raの矢印先の座標の受光素子(ピクセル)で、同一の光路から入射された光のS偏光成分の光及びP偏光成分の光を受光することができる。このため、撮像装置は、屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。
As described above, when the polarization direction X1 of the
図14は本実施形態に係る撮像装置の実施例2を示す図である。図14を用いて、撮像素子としてカラーセンサを用いた撮像装置を説明する。本実施例では、カラーセンサとして、RGB(レッド・グリーン・ブルー)配列(ベイヤ配列)の例を説明する。また、本実施例の撮像部100は、複屈折板103を用いて、撮像素子の受光素子の配列に対して45度の方向に光を偏光する。図14(b)に示すように、本実施例の撮像装置は、領域分割フィルタのS偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。また、図14(a)に示すように、本実施例の撮像装置は、複屈折板103の入射側に光学的ローパスフィルタとしての複屈折板105、106を備えている。領域分割フィルタ104は、カラーセンサのR配列にP偏光子領域104p(図中のP(C)/R)を配置している。領域分割フィルタ104は、カラーセンサの2つのG配列にP偏光子領域104p(図中のP(C)/G)及びS偏光子領域104s(図中のS(C)/G)を配置している。領域分割フィルタ104は、カラーセンサのB配列にP偏光子領域104p(図中のP(C)/B)を配置している。
FIG. 14 is a diagram illustrating Example 2 of the imaging device according to the present embodiment. An imaging apparatus using a color sensor as an imaging element will be described with reference to FIG. In this embodiment, an example of an RGB (red / green / blue) array (Bayer array) will be described as a color sensor. Further, the
図14(a)に示すように、本実施例の撮像装置は、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、複屈折軸に相当する偏光方向X2(図14(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、複屈折軸に相当する偏光方向X3(図14(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、図14(c)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。
As shown in FIG. 14A, in the imaging apparatus of the present embodiment, first, when incident light L is incident on the
以上説明したように、本実施例の撮像装置は、複屈折板の偏光方向を撮像素子の受光素子の配列に対して45度の方向にする。これにより、図14(b)の屈折方向Rに示すように、隣り合う4ピクセルに光を分散でき、理想的な光学的ローパスフィルタを実現することができる。また、撮像装置は、図14(b)の屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子(ピクセル)で、同一の光路から入射された光のS偏光成分の光及びP偏光成分の光を受光することができる。このため、撮像装置は、屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。 As described above, in the imaging apparatus of this embodiment, the polarization direction of the birefringent plate is set to a direction of 45 degrees with respect to the arrangement of the light receiving elements of the imaging element. As a result, as shown in the refraction direction R in FIG. 14B, light can be dispersed to four adjacent pixels, and an ideal optical low-pass filter can be realized. Further, the imaging device is a light receiving element (pixel) having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the refraction direction R in FIG. 14B, and the S polarization component of the light incident from the same optical path. The light and the light of the P-polarized component can be received. Therefore, the imaging apparatus can obtain the polarization ratio and the like by calculating the luminance ratio of the light received by the light receiving element having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the direction of refraction R.
以下、本発明のステレオカメラに係る実施形態の構成について説明する。
図15は本発明の一実施形態に係るステレオカメラの実施例1の構成を示す概略図である。図15(a)、(b)に示すステレオカメラ300は、偏光重畳モジュール301、レンズ302、フィルタ303及び撮像素子304を含んで構成されている。そして、偏光重畳モジュール301は、偏光ビームスプリッタ301−1、偏光フィルタ301−2及びミラー301−3を備えている。図15に示すステレオカメラ300は、偏光ビームスプリッタ301−1と偏光フィルタ301−2を用いて視差を有する2つの光路を合成し、1つのレンズ302を介して1つの撮像素子304で撮像する。つまり、レンズ302の前で完全に2つの光路は合成され、1つのレンズしか通らない。このため、レンズの特性が温度でずれたり、レンズの位置がずれたり、あるいはセンサの位置がずれたりしようが、両方の画像が同じようにずれるだけなので、完全に影響をキャンセルすることができる。これにより、非常に耐環境性のあるステレオカメラを実現できる。また、レンズとセンサが1つで済むため、安価である。更に、撮像素子とレンズとの位置関係がずれた場合にも、左右の画像が同じようにずれるため原理的に影響をキャンセルすることができる。図15のフィルタ303は、画素ごとに偏光子を有するフィルタである。ただし、図15の構成においては、左右の光路において、光路長差が生じており、例えば2つの画像の視差におけるピクセルマッチング処理で生じた光路長差を補填する処理が必要となるため現実的ではない。
The configuration of the embodiment according to the stereo camera of the present invention will be described below.
FIG. 15 is a schematic diagram illustrating a configuration of the stereo camera according to the first embodiment of the present invention. A
図16及び図17は本実施形態に係るステレオカメラの実施例2の構成を示す図である。図17に示すように、ステレオカメラ400は、基板401上に撮像素子402が実装され、撮像素子402上に光学フィルタ403が密着配置している。撮像レンズ404を介して被写体情報を撮影する。撮像レンズ404の前段には、偏光合波部を構成する偏光選択型のクロスプリズム405が配置されている。更に、偏光選択型のクロスプリズム405の側面406、407に近接して三角柱のプリズム408、409が設けられている。
16 and 17 are diagrams showing a configuration of the stereo camera according to the second embodiment of the present embodiment. As shown in FIG. 17, in the
ステレオカメラ400では光学フィルタ403としてP偏光情報とS偏光情報を画素単位で抽出可能な領域分割型偏光フィルタを有している。また、撮像レンズ404の前段に偏光選択型のクロスプリズム405、さらにクロスプリズム405に隣接してプリズム408、409を2個配置している。プリズム408、409は+Z方向からの光をY軸方向に偏光反射する全反射面を有する。偏光選択型のクロスプリズム405は、−Y方向から側面406に入射するS偏光成分の光と、+Y方向から側面407に入射するP偏光成分の光を側面410の方向に偏光反射する。これにより、−Y方向のS偏光画像と、+Y方向のP偏光画像が抽出することが可能である。
The
図15のステレオカメラ300とは異なり、図16及び図17のステレオカメラ400は+Z方向のP偏光画像とS偏光画像を同時撮影することが可能である。また、図17から明らかなように、左右のプリズム408、409の光線有効範囲の間に一定の距離を有するため、P偏光画像とS偏光画像から視差画像を形成することが可能である。このように本実施形態のステレオカメラは被写体までの距離情報が撮影可能なステレオカメラとして構成されている。従来の単一撮像素子と単一レンズを2つ並列配置させたステレオカメラに比べて、撮像レンズと撮像素子が1つで済むため低コスト化が図れる。また、従来のステレオ撮像装置では各レンズ間を支持する筐体の熱膨張などによる基線長の変化の測距誤差が生じる。しかし、本撮像装置では撮像レンズは1つであり、かつ支持部材自体に対応するプリズム自体が金属に対して熱膨張率の小さいため、基線長変化の測距への影響も抑制することが可能である。
Unlike the
本実施形態のステレオカメラを、例えば、図18に示すように移動体としての自動車500の車両前方を確認するものとして使用することが可能である。車両前方確認装置は、自動車500のフロントガラス内側のバックミラー付近に装備されたステレオカメラ501と、ステレオカメラ501からの情報に基づいて、ドライバへの警告や車両の制御を行うための信号処理装置502とを含んで構成されている。ドライバへの警告方法としては、スピーカをつかって音声などにより障害物情報を警告する。また車両制御としては、障害物がある場合は減速させたりする。本実施形態のステレオカメラを用いれば、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。
The stereo camera according to the present embodiment can be used, for example, for confirming the front of a
また、本実施形態のステレオカメラは、左右の眼に異なる画像を映しだすことにより、人間に3次元の画像を表示するテレビと映画投影機などの表示装置とを組み合わせる。この結果、3次元の画像の取得と表示とを行う3次元画像取得・表示システムを構成することができる。人間の眼は左右の画像の回転や、大きさ、上下のずれ、また画質の違いに敏感である。このため、従来の2つのレンズを有するステレオカメラでは、ズーム/フォーカスを変更する際に、左右のレンズを連動させ、光軸や画像サイズ、フォーカスのずれを生じさせないように複雑な操作技術が必要とされていた。それに対して、本発明の構成では、単眼に対して2つの視差を持った映像が入射されるため、単一のレンズのズームやフォーカスを変更すれば、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の2つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。なお、ズームなどの光学系を可変にする場合には、2つのレンズの特性を厳密に補正するのは非常に困難となるため、本発明の構成は特に有用である。 In addition, the stereo camera of the present embodiment combines a television that displays a three-dimensional image to a human and a display device such as a movie projector by projecting different images to the left and right eyes. As a result, a three-dimensional image acquisition / display system that acquires and displays a three-dimensional image can be configured. The human eye is sensitive to left and right image rotation, size, vertical shift, and differences in image quality. For this reason, a conventional stereo camera having two lenses requires a complicated operation technique so that the left and right lenses are interlocked to change the optical axis, image size, and focus when changing the zoom / focus. It was said. On the other hand, in the configuration of the present invention, since an image having two parallaxes is incident on a single eye, if the zoom and focus of a single lens are changed, the same change is reflected in the binocular image. Is done. As a result, it is possible to obtain a natural stereoscopic image that can suppress the optical axis, the image size, and the focus shift caused by having two different optical characteristics for the right eye and the left eye. Note that when the optical system such as zoom is made variable, it is very difficult to strictly correct the characteristics of the two lenses, so the configuration of the present invention is particularly useful.
また、プリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるが、図17の構成のプリズム408、409をミラー411、412に替えた図19に示す実施例の構成でも良い。また、図20に示すように、中央のクロスプリズムに関しても、プリズム形状ではなく、単なるクロス形状の偏光板450−1、450−2の組み合わせ(図20中では偏光選択型クロス板450)としても良い。その場合には、同じくプリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるものの、使用する硝材が少なくて済むため、コストを下げることができる。左右はプリズム、中央部は偏光選択型クロス板という構成でも良い。
Further, since the phenomenon that the angle of incident light becomes shallow due to the refractive index of the prism becomes unusable, the optical layout becomes slightly larger, but the
次に、ステレオカメラの実施例3について説明する。
図21はステレオカメラの実施例3を示す概略図である。図21に示すステレオカメラ400は、偏光選択型のクロスプリズム405の上と下でセンサユニットを設けている。例えば、撮像素子414がカラー、撮像素子402がモノクロとする。あるいは、撮像素子414を高解像度なモノクロ、撮像素子402を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。
Next, a stereo camera according to a third embodiment will be described.
FIG. 21 is a schematic diagram illustrating a third embodiment of the stereo camera. The
次に、ステレオカメラの実施例4ついて説明する。
図22はステレオカメラの実施例4の構成を示す概略図である。図22に示すステレオカメラ400は、雨滴検出機能を持たせたものである。LED赤外光の光源420をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源420からのLED赤外光をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図22の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、1つのPD422と簡単なレンズ(例えば単レンズ)424などを用いる構成でも問題ない。
Next, a fourth embodiment of the stereo camera will be described.
FIG. 22 is a schematic diagram illustrating the configuration of a stereo camera according to the fourth embodiment. A
ここで、ステレオカメラの固定について説明する。
クロスプリズム405とプリズム408、409との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム405とプリズム408、409の間に若干隙間ができる場合がある。その場合には、クロスプリズム405とプリズム408、409との間を保持する保持部材(不図示)で固定するのが良い。保持部材が金属の場合には、その金属はプリズム408、409を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材が短くて済むように、隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。
Here, fixing of the stereo camera will be described.
The
次に、ステレオカメラの実施例5ついて説明する。
図23はステレオカメラの実施例5を示す概略図である。本実施例は、実施例1、2で用いていた、偏光選択型のクロスプリズムや偏光選択型の偏光板を用いずに、PBS(偏光ビームスプリッタ)膜とミラー面(反射面)を用いている。そして、実施例1における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚のPBS膜とミラーとを用いるため、画面中央の欠陥部(隙間)は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Rはミラー面(反射面)433により反射され、更に光RのP偏光の光はPBS膜431で反射される。他方の光Lはミラー面432、434によりそれぞれ反射され、光LのS偏光の光はPBS膜431を透過する。そして、P偏光とS偏光の光が合波され、撮像レンズ404に入射されて撮像素子402に結像する。光L、Rとは互いに同じ光路長差を有する。ここで、PBS膜431としては、多層膜を使ったものでもよく、ワイヤグリッド偏光子を用いたものでもよいが、広範囲な入射角および入射波長に対して、安定した性能を持つワイヤグリッド偏光子を用いることが望ましい。
Next, a fifth embodiment of the stereo camera will be described.
FIG. 23 is a schematic diagram showing a fifth embodiment of the stereo camera. This embodiment uses a PBS (polarization beam splitter) film and a mirror surface (reflection surface) without using the polarization-selective cross prism or the polarization-selective polarizing plate used in the first and second embodiments. Yes. And it is the structure which can solve the subject that the optical path length difference has arisen in the right and left optical path in Example 1. FIG. In the configuration of the present embodiment, the left and right optical path lengths are substantially the same. For this reason, as with a normal stereo camera, parallax can be obtained simply by searching only the pixels in the horizontal direction at the time of parallax calculation. Further, in this configuration, unlike the case of using a cross prism, since one PBS film and a mirror are used, there is no defect (gap) at the center of the screen, and processing for filling the gap described later is not necessary. One light R is reflected by the mirror surface (reflection surface) 433, and P-polarized light of the light R is reflected by the
また、実施例5において光学系を小さく構成するために、画角中央の光線との、PBS膜及びミラー面のなす角度αを45度より大きく設定している。図23(a)は、PBS膜で反射又は透過した光が入射するミラー面のなす角度αを52度に設定した場合である。図23(b)はαを45度に設定した場合である。図23(b)におけるαを45度にした場合では、図23(a)におけるαを52度とした場合と比較して、撮像レンズ404の画角端の光線が図中の左右方向へ大きく飛び出している。大きく飛び出した光線をカバーするため、プリズムの大きさが大きくなっている。つまり、画角中央の光線との、PBS膜及びミラー面のなす角度を45度より大きく設定することで、プリズムの大きさを小さくすることができる。αの上限値は90度となる。ただし、αの上限値が90度である場合には逆に45度の場合よりプリズムの大きさが大きくなるので、最適値はレンズの画角に依存する。更に、図23(a)に示すように光学絞り435をプリズム側寄りに配置していることに対して、図24に示すように光学絞り435を撮像レンズ404の内部に配置している。図23の光学絞り435の配置では、プリズムに対して既に画角に応じて光線が広がりを持つことになり、プリズムの大きさが図23(a)の光学絞り435の配置の場合におけるプリズムより大きくなっている。撮像レンズの光学絞りの位置は、撮像レンズよりプリズム側寄りの前方にある前絞りの位置であることが望ましい。
Further, in order to make the optical system small in the fifth embodiment, the angle α formed by the PBS film and the mirror surface with the light beam at the center of the angle of view is set to be larger than 45 degrees. FIG. 23A shows a case where the angle α formed by the mirror surface on which the light reflected or transmitted by the PBS film enters is set to 52 degrees. FIG. 23B shows a case where α is set to 45 degrees. In the case where α in FIG. 23B is 45 degrees, the light beam at the angle of view of the
図24(c)に示すように、本実施例の撮像装置における領域分割フィルタは、水平垂直の画素の配列に対して45度の方向の偏光透過角度を持たせる。この場合には、このような左右の画像を重畳素子を用いて合波する構成では、合波に用いるPBS膜431など左右の像を合波する偏光合波素子の軸方向も、合わせて撮像素子の画素配列から45度回す必要がある。ステレオカメラでは、左右の対応画素の値が一致している必要があるが、もし画素配列に対して水平垂直方向に偏光子が配置されており、入射光がS偏光とP偏光の偏光比が1でない場合には、対応位置の画素値が偏光比の影響でずれてしまう。このずれはステレオマッチング処理での精度を低下させ、測距精度の低下を招く。そのため、被写体からの光の偏光比が小さいことが望ましい。偏光比が発生する要因としては、カメラに対して垂直の面、また水平の面がフレネル反射の式を見ると分かるように、大きく発生させる。逆に斜めに立っているものに関しては、影響は少ない。また、実環境では、特に車載カメラを考慮した場合には、写っているものは、路面に立っている電柱や前方車両など基本的に縦方向や横方向の面が多い。そのため、路面に対して、斜め方向に関しては、偏光比は小さくなる。基本的にステレオカメラは路面に対して平行に設置する。そのため、本実施形態の構成のように、領域分割フィルタに水平垂直の画素の配列に対して45度の方向の偏光透過角度を持たせることは、左右の画像の視差以外の差を無くし、本発明のステレオカメラの測距精度の向上にも大きく効果を発揮する。
As shown in FIG. 24C, the area dividing filter in the imaging apparatus of the present embodiment has a polarization transmission angle of 45 degrees with respect to the horizontal and vertical pixel arrangement. In this case, in such a configuration in which the left and right images are combined using the superimposing element, the axial direction of the polarization multiplexing element that combines the left and right images such as the
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様1)
受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して受光素子に出射する領域分割フィルタ104を備え、領域分割フィルタ104は、受光素子の画素の配列方向に対して45度の偏光透過角度を有する。これによれば、上記実施形態について説明したように、領域分割フィルタの偏光透過角度は撮像部の受光素子の配列方向に対して45度になっている。上述のようにステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面の偏光を用いて2つの画像を重畳する。これにより、従来のような領域分割フィルタの偏光透過角度が略0度である場合に比べて、被写体の縦方向、横方向の面による偏光依存性を減らすことができる。よって、受光素子で受光した2つの光の輝度の差を略無くすことができ、対応位置の画素の輝度を略一致させることができる。
(態様2)
(態様1)において、領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、領域分割フィルタの偏光透過方向に応じて定める。これによれば、上記実施形態について説明したように、複屈折板は同一の光路から入射された光を分岐する。よって、入射された光を互いに直交した2つの偏光成分の光に分岐することができる。
(態様3)
(態様2)において、複屈折板の前面に光学的ローパスフィルタを設ける。これによれば、上記実施形態について説明したように、同一の光路から入射された光を複数回分岐する。これにより、二重像に分離できる。
(態様4)
(態様3)において、光学的ローパスフィルタは、複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、上記複屈折板とは別の複屈折板とを含んで構成される。これによれば、上記実施形態について説明したように、同一の光路から入射された光を4回分岐する。これにより、それぞれの複屈折板によって二重像にそれぞれ分離できる。よって、入射された光を4点に分岐できる。
(態様5)
(態様2)〜(態様4)のいずれかにおいて、複屈折板の材料は、水晶である。これによれば、上記実施形態について説明したように、屈折方向及びシフト量は厚みや結晶軸を適宜変更することで容易に調整することができる。
(態様6)
(態様2)において、複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものである。これによれば、上記実施形態について説明したように、90度軸が違う2つの複屈折板で縦方向、横方向にそれぞれ1画素づつ入射位置をずらすことができる。そのため、同じ光の位置を取得している画素となり、この画素間の輝度比を演算することで偏光比を得ることができる。
(態様7)
(態様1)において、グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設ける。これによれば、上記実施形態について説明したように、
(態様8)
互いに直交する方向に偏光方向が異なる視差を有する2つの画像の光路を1つに重ね合わせる偏光合波手段と、上記撮像装置を用い少なくとも2つの偏光方向の偏光成分の光を受光して2つの偏光成分の光を視差画像として取得する撮像手段と、重ね合わさった画像を撮像手段に結像させる光学部材と、撮像手段の2つの撮像領域に、重ね合わさった画像を2つの画像に分岐させる領域分割偏光手段とを備える。これによれば、上記実施形態について説明したように、斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。
(態様9)
(態様8)において、撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備える。これによれば、上記実施形態について説明したように、ステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。よって、ステレオカメラにおけるマッチング処理で対応する画素検索の精度を向上させることができ、距離算出手段による距離演算の精度を上げることができる。
(態様10)
(態様8)において、偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のステレオカメラと同様に視差を得ることができる。
(態様11)
(態様8)において、偏光合波手段では、2つの画像の光路における光路長を互いに略同じにする。これによれば、上記実施形態について説明したように、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。
(態様12)
移動体が(態様8)〜(態様11)のいずれかに記載のステレオカメラを搭載する。これによれば、上記実施形態について説明したように、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect 1)
Each polarizer region is arranged with respect to the arrangement of the light receiving elements, and light of each polarization component incident from one optical path is transmitted through each polarizer region corresponding to the polarization component of the light, and light of two polarization components. The
(Aspect 2)
In (Aspect 1), a birefringent plate that branches into light of two polarization components incident from one optical path is provided on the incident side of the region dividing filter, and the refraction direction of the birefringent plate is the polarization transmission direction of the region dividing filter. Determine according to According to this, as described in the above embodiment, the birefringent plate branches light incident from the same optical path. Therefore, the incident light can be branched into two polarized light components orthogonal to each other.
(Aspect 3)
In (Aspect 2 ), an optical low-pass filter is provided in front of the birefringent plate. According to this, as described in the above embodiment, the light incident from the same optical path is branched a plurality of times. Thereby, it is separable into a double image.
(Aspect 4)
In (Aspect 3), the optical low-pass filter includes a birefringent plate and a birefringent plate having a refraction direction of 45 degrees with respect to the refraction direction of the birefringent plate and different from the birefringent plate. Composed. According to this, as described in the above embodiment, the light incident from the same optical path is branched four times. Thereby, it can isolate | separate into a double image by each birefringent plate, respectively. Therefore, the incident light can be branched into four points.
(Aspect 5)
In any one of (Aspect 2 ) to (Aspect 4), the material of the birefringent plate is quartz. According to this, as described in the above embodiment, the refraction direction and the shift amount can be easily adjusted by appropriately changing the thickness and the crystal axis.
(Aspect 6)
In (Aspect 2 ), the birefringent plate is a combination of two birefringent layers whose refraction directions differ from each other by 90 degrees. According to this, as described in the above embodiment, the incident position can be shifted by one pixel in the vertical direction and the horizontal direction by two birefringent plates having different 90-degree axes. For this reason, the pixels acquire the same light position, and the polarization ratio can be obtained by calculating the luminance ratio between the pixels.
(Aspect 7)
In (Aspect 1), a polarization filter that transmits and emits light of two polarization components having different polarization directions in directions orthogonal to each other with respect to the light receiving element corresponding to green is provided. According to this, as described in the above embodiment,
(Aspect 8)
Polarization combining means for superimposing two optical paths of two images having parallaxes having different polarization directions in directions orthogonal to each other, and receiving light of polarization components of at least two polarization directions by using the imaging device, An imaging unit that acquires the light of the polarization component as a parallax image, an optical member that forms the superimposed image on the imaging unit, and a region where the superimposed image is branched into two images. Split polarization means. According to this, as described in the above embodiment, the reflected light from the surface in the oblique direction can be polarized by the imaging unit at 45 degrees from the incident position and received by the light receiving element. As a result, it is possible to receive light of two polarization components having different polarization directions in directions orthogonal to each other of light incident from the same optical path. As a result, the difference in luminance between the two lights received by the light receiving element can be substantially eliminated, and the difference in polarization between the two polarization components that are different from each other in the direction in which the incident light is orthogonal to each other substantially disappears, and the reflected light from the surface in the oblique direction. It becomes difficult to receive the influence of the polarization difference caused by.
(Aspect 9)
In (Aspect 8), two images having parallax are formed by branching the image for each polarization direction from the image captured by the imaging unit, and the distance to the subject is calculated by the parallax between the two formed images. Distance calculation means is provided. According to this, as described in the above embodiment, when a stereo camera is used as an in-vehicle camera, reflected light from a surface oblique to the road surface is polarized at 45 degrees from the incident position on the imaging unit. The light receiving element can receive light. As a result, it is possible to receive light of two polarization components having different polarization directions in directions orthogonal to each other of light incident from the same optical path. As a result, the difference in luminance between the two lights received by the light receiving element can be substantially eliminated, and the difference in polarization between the two polarization components that are different from each other in the direction in which the incident light is orthogonal to each other substantially disappears, and the reflected light from the surface in the oblique direction. It becomes difficult to receive the influence of the polarization difference caused by. Therefore, the accuracy of the corresponding pixel search can be improved by the matching process in the stereo camera, and the accuracy of the distance calculation by the distance calculation means can be increased.
(Aspect 10)
In (Aspect 8), the polarization multiplexing means includes a polarization beam splitter and a mirror. According to this, as described in the above embodiment, the left and right optical path lengths can be made substantially the same with a simple configuration, and parallax can be obtained in the same manner as in a normal stereo camera.
(Aspect 11)
In (Aspect 8), the polarization multiplexing means makes the optical path lengths in the optical paths of the two images substantially the same. According to this, as described in the above embodiment, the parallax can be obtained by simply searching only the pixels in the horizontal direction at the time of the parallax calculation, as in the case of a normal stereo camera.
(Aspect 12)
The moving body includes the stereo camera according to any one of (Aspect 8) to (Aspect 11). According to this, as described in the above embodiment, not only image information in front of the vehicle but also distance information to the preceding vehicle and pedestrian in front of the vehicle can be acquired. It is possible to ensure driving safety, such as giving an early warning.
1 撮像装置
100 撮像部
101 撮像素子
102 基板
103 複屈折板
104 領域分割フィルタ
105 複屈折板
106 複屈折板
107 複屈折板
200 光学フィルタ部
201 フィルタ基板
202 偏光フィルタ層
203 充填層
300 ステレオカメラ
301 偏光重畳モジュール
301−1 偏光ビームスプリッタ
301−2 偏光フィルタ
301−3 ミラー
302 レンズ
303 フィルタ
304 撮像素子
400 ステレオカメラ
401 基板
402 撮像素子
403 光学フィルタ
404 撮像レンズ
405 クロスプリズム
406 側面
407 側面
408 三角柱のプリズム
409 三角柱のプリズム
410 側面
411 ミラー
412 ミラー
413 基板
414 撮像素子
415 光学フィルタ
416 撮像レンズ
420 光源
421 ウインドシールド
422 PD
423 光学フィルタ
424 レンズ
431 偏光ビームスプリッタ膜
432 ミラー面
433 ミラー面
434 ミラー面
435 光学絞り
450 偏光板
450−1 偏光板
450−2 偏光板
500 自動車
501 ステレオカメラ
502 信号処理装置
DESCRIPTION OF
423
Claims (11)
前記領域分割偏光手段は、前記受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する前記各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタを備え、
前記領域分割フィルタの偏光透過角度を、水平垂直に対応する前記受光素子の画素の配列方向に対して45度としたことを特徴とするステレオカメラ。 A polarization multiplexing unit that superimposes optical paths of two images having parallaxes having different polarization directions in directions orthogonal to each other, and an imaging device in which a plurality of light receiving elements that respectively receive light of two polarization components are arranged. An imaging unit having an optical member that forms an image superimposed on the imaging unit by the polarization multiplexing unit, and an area division that branches the superimposed image into two images in the two imaging regions of the imaging unit In a stereo camera comprising polarization means ,
The region dividing polarization unit arranges each polarizer region with respect to the arrangement of the light receiving elements , and transmits light of each polarization component incident from one optical path in each polarizer region corresponding to the polarization component of the light. A region dividing filter that transmits and splits into two polarized light components and emits the light to the light receiving element;
A stereo camera characterized in that a polarization transmission angle of the area dividing filter is 45 degrees with respect to an arrangement direction of pixels of the light receiving elements corresponding to horizontal and vertical .
前記領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、前記領域分割フィルタの偏光透過方向に応じて定めることを特徴とするステレオカメラ。 The stereo camera according to claim 1,
A birefringent plate is provided on the incident side of the region dividing filter to split light of two polarization components incident from one optical path, and the refraction direction of the birefringent plate is determined according to the polarization transmission direction of the region dividing filter. A stereo camera characterized by that.
前記複屈折板の前面に光学的ローパスフィルタを設けることを特徴とするステレオカメラ。 The stereo camera according to claim 2,
A stereo camera characterized in that an optical low-pass filter is provided in front of the birefringent plate.
前記光学的ローパスフィルタは、前記複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、前記複屈折板とは別の複屈折板とを含んで構成されることを特徴とするステレオカメラ。 The stereo camera according to claim 3,
The optical low-pass filter includes the birefringent plate and a birefringent plate having a refractive direction of 45 degrees with respect to the refractive direction of the birefringent plate and different from the birefringent plate. Stereo camera characterized by
前記複屈折板の材料は、水晶であることを特徴とするステレオカメラ。 The stereo camera according to any one of claims 2 to 4,
A stereo camera , wherein the material of the birefringent plate is quartz.
前記複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものであることを特徴とするステレオカメラ。 The stereo camera according to any one of claims 2 to 5 ,
2. The stereo camera according to claim 1, wherein the birefringent plate is a combination of two birefringent layers whose refraction directions are different from each other by 90 degrees.
グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設けることを特徴とするステレオカメラ。 The stereo camera according to any one of claims 1 to 6 ,
A stereo camera comprising a polarization filter that transmits and emits light of two polarization components having different polarization directions in directions orthogonal to each other with respect to a light receiving element corresponding to green .
前記撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備えることを特徴とするステレオカメラ。 In the stereo camera according to any one of 請 Motomeko 1-7,
A distance calculation unit is provided that forms two images having a parallax by branching the image for each polarization direction from the image captured by the imaging unit, and calculates a distance to the subject based on the parallax between the two formed images. A stereo camera characterized by that.
前記偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されていることを特徴とするステレオカメラ。 The stereo camera according to any one of claims 1 to 8 ,
The stereo camera includes a polarization beam splitter and a mirror.
前記偏光合波手段では、2つの画像の光路における光路長を互いに略同じにすることを特徴とするステレオカメラ。 The stereo camera according to any one of claims 1 to 9 ,
A stereo camera characterized in that in the polarization multiplexing means, the optical path lengths in the optical paths of the two images are substantially the same.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053090A JP6202364B2 (en) | 2013-03-15 | 2013-03-15 | Stereo camera and moving object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053090A JP6202364B2 (en) | 2013-03-15 | 2013-03-15 | Stereo camera and moving object |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014178241A JP2014178241A (en) | 2014-09-25 |
JP2014178241A5 JP2014178241A5 (en) | 2017-01-12 |
JP6202364B2 true JP6202364B2 (en) | 2017-09-27 |
Family
ID=51698333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053090A Expired - Fee Related JP6202364B2 (en) | 2013-03-15 | 2013-03-15 | Stereo camera and moving object |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6202364B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017157804A (en) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | Imaging device |
CN108834072B (en) * | 2017-05-03 | 2020-08-11 | 腾讯科技(深圳)有限公司 | Method and device for acquiring movement trajectory |
CN111292537B (en) * | 2018-12-06 | 2023-05-16 | 中国科学院长春光学精密机械与物理研究所 | System and method for license plate recognition at night |
KR20230057109A (en) | 2021-10-21 | 2023-04-28 | 삼성전자주식회사 | Processing method and device of sensing data |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1054960A (en) * | 1996-05-10 | 1998-02-24 | Daishinku Co | Optical low-pass filter |
US7061532B2 (en) * | 2001-03-27 | 2006-06-13 | Hewlett-Packard Development Company, L.P. | Single sensor chip digital stereo camera |
JP5637448B2 (en) * | 2011-01-27 | 2014-12-10 | 株式会社リコー | Polarized imaging device |
JP2013034095A (en) * | 2011-08-02 | 2013-02-14 | Nikon Corp | Imaging apparatus and adapter unit |
JP6146006B2 (en) * | 2012-12-25 | 2017-06-14 | 株式会社リコー | Imaging device and stereo camera |
-
2013
- 2013-03-15 JP JP2013053090A patent/JP6202364B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014178241A (en) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2875315B1 (en) | Stereo camera | |
JP6156724B2 (en) | Stereo camera | |
KR101458287B1 (en) | Ranging camera apparatus | |
CA2811260C (en) | Camera imaging systems and methods | |
JP2014178190A5 (en) | ||
JP4826507B2 (en) | Focus detection apparatus and imaging apparatus | |
WO2005119175A1 (en) | Camera module | |
WO2017155622A1 (en) | Phase detection autofocus using opposing filter masks | |
JP5278814B2 (en) | Stereo camera device and vehicle exterior monitoring device | |
JP6202364B2 (en) | Stereo camera and moving object | |
JP2007295113A (en) | Imaging apparatus | |
JP2008157851A (en) | Camera module | |
JP2014041171A (en) | Polarization device and imaging device | |
JP2014178241A5 (en) | ||
CN110392818B (en) | Distance measuring device, head-mounted display device, portable information terminal, image display device, and periphery monitoring system | |
JP2014003433A (en) | Imaging apparatus | |
JP2014036298A (en) | Imaging apparatus | |
JP5549566B2 (en) | Stereo camera | |
JP6146006B2 (en) | Imaging device and stereo camera | |
KR20100020200A (en) | Stereo vision camera | |
JP2014178494A (en) | Parallax image photographing device | |
JP2007057386A (en) | Inline three-dimensional measuring apparatus and measuring method using one camera | |
JP2014178494A5 (en) | ||
JP2014119654A (en) | Optical filter, cross prism and cross mirror, and imaging apparatus and stereo camera including the optical filter | |
JP2011135414A (en) | Three-dimensional image photographing device, and three-dimensional image photographing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170817 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6202364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |