[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6202364B2 - Stereo camera and moving object - Google Patents

Stereo camera and moving object Download PDF

Info

Publication number
JP6202364B2
JP6202364B2 JP2013053090A JP2013053090A JP6202364B2 JP 6202364 B2 JP6202364 B2 JP 6202364B2 JP 2013053090 A JP2013053090 A JP 2013053090A JP 2013053090 A JP2013053090 A JP 2013053090A JP 6202364 B2 JP6202364 B2 JP 6202364B2
Authority
JP
Japan
Prior art keywords
light
polarization
stereo camera
birefringent plate
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013053090A
Other languages
Japanese (ja)
Other versions
JP2014178241A5 (en
JP2014178241A (en
Inventor
亮介 笠原
亮介 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013053090A priority Critical patent/JP6202364B2/en
Publication of JP2014178241A publication Critical patent/JP2014178241A/en
Publication of JP2014178241A5 publication Critical patent/JP2014178241A5/ja
Application granted granted Critical
Publication of JP6202364B2 publication Critical patent/JP6202364B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、偏光方向が互いに直交する2つの偏光成分の画像をそれぞれ受光して偏光画像を取得する撮像装置を用い1つの被写体から得られた2つの偏光画像からステレオ画像を得るステレオカメラ、及び、該ステレオカメラを搭載する移動体に関するものである。 The present invention, the stereo camera polarization direction to obtain a stereoscopic image from the two polarized images obtained from use physician one object imaging equipment to acquire two polarized images an image of the polarization component each receiving mutually orthogonal And a moving body on which the stereo camera is mounted.

従来、自車両前方の先行車両との車間距離を測定し、その車間距離を維持するための自車速度調整機能を有するACC(Adaptive Cruise Control)等の運転者支援システムが開発されている。先行車両との距離を測定する技術として、視差を有する2つの視差画像を用いて、視差画像間の視差量を求め、その視差量から被写体までの距離の測定を行うステレオカメラが知られている。このステレオカメラとして特許文献1に記載のものが知られている。特許文献1のステレオカメラでは、左右のレンズ群の各光学部材を介して得られた2つの画像を各偏光フィルタに入射させることによって、偏光方向が互いに直交する2つの偏光成分の画像をそれぞれ取得する。同一の被写体からの2つの偏光成分の画像が、撮像部の撮像素子における受光素子の配列に対応して配列されている偏光子領域にそれぞれ入射される。各偏光子領域によって、入射した画像の偏光方向に対応する受光素子に偏光されて。各受光素子で受光した2つの偏光成分の画像から視差画像を生成し、この視差画像に基づいて被写体までの距離を測定している。   2. Description of the Related Art Conventionally, driver assistance systems such as ACC (Adaptive Cruise Control) having an own vehicle speed adjusting function for measuring an inter-vehicle distance with a preceding vehicle ahead of the own vehicle and maintaining the inter-vehicle distance have been developed. As a technique for measuring the distance to the preceding vehicle, a stereo camera is known that calculates the amount of parallax between parallax images using two parallax images having parallax and measures the distance from the parallax amount to the subject. . As this stereo camera, the one described in Patent Document 1 is known. In the stereo camera of Patent Literature 1, two images obtained through the respective optical members of the left and right lens groups are incident on each polarization filter, thereby obtaining images of two polarization components whose polarization directions are orthogonal to each other. To do. Images of two polarization components from the same subject are respectively incident on polarizer regions arranged corresponding to the arrangement of the light receiving elements in the image sensor of the imaging unit. Each polarizer region is polarized to a light receiving element corresponding to the polarization direction of the incident image. A parallax image is generated from images of two polarization components received by each light receiving element, and the distance to the subject is measured based on the parallax image.

上記特許文献1のステレオカメラでは、左右の画像の視差により被写体までの距離を高精度に測定するために、対応する左右の画素どうしが0.1ピクセル精度でほぼ一致させることが必要である。また、距離測定には、チャートなどを撮影してチャートの画像に基づいてレンズの固体差を含んだ歪みや左右の撮像部の位置をキャリブレーションすることが必須となっている。   In the stereo camera disclosed in Patent Document 1, in order to measure the distance to the subject with high accuracy based on the parallax between the left and right images, it is necessary that the corresponding left and right pixels are substantially matched with 0.1 pixel accuracy. For distance measurement, it is indispensable to shoot a chart or the like and calibrate the distortion including the lens individual difference and the positions of the left and right imaging units based on the chart image.

しかしながら、上記特許文献1のステレオカメラでは、左右独立のレンズ群の光学部材を用いているので、左右の光学部材に温度差があるだけでも左右の光学部材における歪みの出方が互いに異なる。この結果、左右の撮像部における撮像素子の対応画素に数ピクセルの位置誤差が発生してしまう。また、左右の撮像部間の位置を固定する取付具には通常金属を用いており、金属の線膨張係数は一般にガラスに比べて非常に大きい。この結果、環境温度変化によって、左右の撮像部の取付位置関係は容易にずれてしまい、左右の撮像部における撮像素子において互いに対応する画素に数ピクセルの位置誤差が発生してしまう。左右の画像を完全に重ねることができない。これにより、温度によりレンズの歪みなどが変わった場合左右の対応画素がずれることになる。このような環境温度変化による誤差を修正するので、光学部材の歪みの補正や左右の撮像部の取付位置に対する補正を含むキャリブレーションを随時行う必要があったため、装置自体が高価になるという問題があった。   However, since the stereo camera of Patent Document 1 uses the optical members of the left and right lens groups, the distortion of the left and right optical members differs from each other even if there is a temperature difference between the left and right optical members. As a result, a positional error of several pixels occurs in the corresponding pixels of the image sensor in the left and right imaging units. Further, metal is usually used for the fixture for fixing the position between the left and right imaging units, and the linear expansion coefficient of metal is generally much larger than that of glass. As a result, due to the environmental temperature change, the mounting position relationship between the left and right imaging units easily shifts, and a positional error of several pixels occurs in pixels corresponding to each other in the imaging elements in the left and right imaging units. The left and right images cannot be completely superimposed. As a result, when the distortion of the lens or the like changes due to the temperature, the corresponding pixels on the left and right sides are shifted. Since the error due to such environmental temperature changes is corrected, it is necessary to perform calibration including correction of distortion of the optical member and correction of the mounting positions of the left and right imaging units at any time. there were.

本発明者が先に出願した先願(特願2012−214673)のステレオカメラでは、被写体からの左右の画像を互いに同じ光路で偏光フィルタに導き、偏光フィルタによって互いに直交する偏光成分の2つの画像に偏光させる。この2つの画像を1つの光路に重ね合わせ、重ね合わさった画像を1つのレンズ群の光学部材を介して領域分割フィルタに結像させる。この領域分割フィルタは、撮像素子における受光素子の縦横配列に対応させて各偏光子領域を配列したものである。領域分割フィルタによって、視差を有する2つの画像に分離させ、撮像素子において隣接する受光素子にそれぞれ受光させている。このため、視差を有する2つの画像は1つのレンズ群の光学部材を介して撮像素子に結像されているので、温度変化により光学部材の歪みが変化しても、2つの画像の撮像素子の結像位置がそれぞれ同じようにずれる。温度による光学部材の歪みや撮像手段の取付位置変化が被写体までの距離を演算する測距演算に与える影響は少ない。よって、温度変化に伴う光学部材の歪みの補正や撮像手段の取付位置ずれに対する補正を含むキャリブレーションを行う必要がなくなり、装置自体の高価格化を抑制している。   In the stereo camera of the previous application (Japanese Patent Application No. 2012-214673) filed earlier by the present inventor, the left and right images from the subject are guided to the polarizing filter by the same optical path, and two images of the polarization components orthogonal to each other by the polarizing filter. To be polarized. The two images are superposed on one optical path, and the superposed image is formed on a region dividing filter through an optical member of one lens group. This area division filter is obtained by arranging the polarizer regions in correspondence with the vertical and horizontal arrangements of the light receiving elements in the image sensor. The image is separated into two images having parallax by a region dividing filter, and light is received by adjacent light receiving elements in the image sensor. For this reason, since two images having parallax are formed on the image sensor via the optical member of one lens group, even if the distortion of the optical member changes due to a temperature change, The imaging positions are shifted in the same way. The influence of the distortion of the optical member due to the temperature and the change in the mounting position of the imaging means on the distance measurement calculation for calculating the distance to the subject is small. Therefore, it is not necessary to perform calibration including correction of the distortion of the optical member accompanying the temperature change and correction of the mounting position shift of the imaging means, and the cost of the apparatus itself is suppressed.

しかしながら、上記先願のステレオカメラでは、互いに直交する偏光方向の2つの画像における対応する画素値が互いに一致しなくなるという問題点があった。この場合は、マッチング処理での精度を低下させ、測距精度の低下を招く。具体的には、撮像手段を車両に搭載して自車両前方を撮像するとき、写っているものは、路面に立っている電柱や前方車両などの縦方向や横方向の面が多い。縦方向又は横方向の面からの反射光が多く、撮像素子上の偏光子も縦方向と横方向とした場合には、縦方向または横方向の面が多い被写体の偏光依存性を大きく受け、縦横配列の受光素子にそれぞれ受光されて2つの画像における対応する画素値が互いに一致しなくなる。   However, the stereo camera of the prior application has a problem in that the corresponding pixel values in the two images having the orthogonal polarization directions do not match each other. In this case, the accuracy in the matching process is lowered, and the ranging accuracy is lowered. Specifically, when the imaging means is mounted on a vehicle and the front of the host vehicle is imaged, what is shown is a vertical or horizontal surface such as a utility pole standing on the road surface or a forward vehicle. When there is a lot of reflected light from the surface in the vertical or horizontal direction, and the polarizer on the image sensor is also in the vertical and horizontal directions, it is greatly affected by the polarization dependence of the subject with many vertical or horizontal surfaces, The light receiving elements in the vertical and horizontal arrangement respectively receive the light and corresponding pixel values in the two images do not match each other.

本発明は以上の問題点に鑑みなされたものであり、その目的は以下のとおりである。被写体の縦方向及び横方向の面からの反射光による偏光差の影響を抑制することで、対応位置の画素の輝度を一致させることができ、かつ、測距演算の精度を向上させることができるステレオカメラ、及び該ステレオカメラを搭載する移動体を提供することである。 The present invention has been made in view of the above problems, and the objects thereof are as follows. By suppressing the influence of the polarization difference caused by the reflected light from the vertical and horizontal surfaces of the subject, the luminance of the pixels at the corresponding position can be matched , and the accuracy of the distance measurement calculation can be improved. It is to provide a stereo camera and a moving body equipped with the stereo camera.

上記目的を達成するために、請求項1の発明は、互いに直交する方向に偏光方向が異なる2つの偏光成分の光を1つの光路に重ね合わせる偏光合波部と、2つの偏光成分の光をそれぞれ受光する複数の受光素子が配列された撮像素子を有する撮像部とを備える撮像装置において、前記受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する前記各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタを備え、前記領域分割フィルタの偏光透過角度を前記受光素子の画素の配列方向に対して45度としたことを特徴とするものである。   In order to achieve the above object, the invention of claim 1 is directed to a polarization multiplexing unit that superimposes two polarization components having different polarization directions in a direction orthogonal to each other on one optical path, and two polarization components. In an imaging device including an imaging unit having an imaging element in which a plurality of light receiving elements each receiving light is arranged, each polarizer region is arranged with respect to the arrangement of the light receiving elements and each polarization component incident from one optical path A polarization splitting angle of the zone splitting filter, comprising a zone splitting filter that transmits light through each of the polarizer regions corresponding to the polarization component of the light, splits the light into two polarization components, and emits the light to the light receiving element; Is 45 degrees with respect to the arrangement direction of the pixels of the light receiving element.

本発明では、領域分割フィルタの偏光透過角度は撮像部の受光素子の配列方向に対して45度になっているので、上述のようにステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面の偏光を用いて2つの画像を重畳することで、従来のような領域分割フィルタの偏光透過角度が略0度である場合に比べて、被写体の縦方向、横方向の面による偏光依存性を減らすことができる。よって、受光素子で受光した2つの光の輝度の差を略無くすことができ、対応位置の画素の輝度を略一致させることができる、という特有な効果が得られる。   In the present invention, the polarization transmission angle of the area division filter is 45 degrees with respect to the arrangement direction of the light receiving elements of the image pickup unit. Therefore, when the stereo camera is used as an in-vehicle camera as described above, it is oblique to the road surface. By superimposing two images using the polarization of the directional plane, the polarization by the vertical and horizontal planes of the subject compared to the conventional case where the polarization transmission angle of the region dividing filter is approximately 0 degrees. Dependency can be reduced. Therefore, it is possible to substantially eliminate the difference in luminance between the two lights received by the light receiving element, and to obtain a unique effect that the luminance of the pixels at the corresponding positions can be substantially matched.

光学フィルタと撮像素子の位置関係の対応を例示する図である。It is a figure which illustrates correspondence of the positional relationship of an optical filter and an image sensor. 光学フィルタと撮像素子の位置関係の断面図である。It is sectional drawing of the positional relationship of an optical filter and an image pick-up element. 撮像部の構成を示す断面図である。It is sectional drawing which shows the structure of an imaging part. 撮像装置における動作を説明する概略図である。It is the schematic explaining the operation | movement in an imaging device. 撮像装置の実施例1を示す図である。It is a figure which shows Example 1 of an imaging device. 撮像装置の実施例1の変形例1を示す図である。It is a figure which shows the modification 1 of Example 1 of an imaging device. 撮像装置の実施例1の変形例2を示す図である。It is a figure which shows the modification 2 of Example 1 of an imaging device. 撮像装置の実施例1の変形例3を示す図である。It is a figure which shows the modification 3 of Example 1 of an imaging device. 撮像装置の実施例2を示す図である。It is a figure which shows Example 2 of an imaging device. 撮像装置の実施例2の変形例1を示す図である。It is a figure which shows the modification 1 of Example 2 of an imaging device. 撮像装置の実施例2の変形例2を示す図である。It is a figure which shows the modification 2 of Example 2 of an imaging device. 撮像装置の実施例2の変形例3を示す図である。It is a figure which shows the modification 3 of Example 2 of an imaging device. 本発明の一実施形態に係る撮像装置の実施例1を示す図である。It is a figure which shows Example 1 of the imaging device which concerns on one Embodiment of this invention. 本実施形態に係る撮像装置の実施例2を示す図である。It is a figure which shows Example 2 of the imaging device which concerns on this embodiment. 本発明の一実施形態に係るステレオカメラの実施例1の構成を示す概略図である。It is the schematic which shows the structure of Example 1 of the stereo camera which concerns on one Embodiment of this invention. 本実施形態に係るステレオカメラの実施例2を示す図である。It is a figure which shows Example 2 of the stereo camera which concerns on this embodiment. 本実施形態に係るステレオカメラの実施例2を示す図である。It is a figure which shows Example 2 of the stereo camera which concerns on this embodiment. ステレオカメラを搭載した移動体を示す概略図である。It is the schematic which shows the mobile body carrying a stereo camera. 本実施形態に係るステレオカメラの実施例2の変形例1を示す図である。It is a figure which shows the modification 1 of Example 2 of the stereo camera which concerns on this embodiment. 本実施形態のステレオカメラの実施例2の変形例2を示す図である。It is a figure which shows the modification 2 of Example 2 of the stereo camera of this embodiment. 本実施形態のステレオカメラの実施例3を示す図である。It is a figure which shows Example 3 of the stereo camera of this embodiment. 本実施形態のステレオカメラの実施例4を示す概略図である。It is the schematic which shows Example 4 of the stereo camera of this embodiment. 本実施形態のステレオカメラの実施例5を示す概略図である。It is the schematic which shows Example 5 of the stereo camera of this embodiment. 本実施形態のステレオカメラの実施例5の変形例を示す概略図である。It is the schematic which shows the modification of Example 5 of the stereo camera of this embodiment.

以下、本発明の撮像装置に係る実施形態の構成について説明する。
図1は光学フィルタ部と撮像部の位置関係の対応を例示する図である。図2は図1の断面図である。両図に示すように、撮像装置1は、撮像部100及び光学フィルタ部200を含んで構成されている。撮像部100は、複数の受光素子を備えた撮像素子101と、該撮像素子101を支持する基板102とを備えている。撮像素子101は、複数の受光素子を縦横の2次元に配列されており、光学フィルタ部200を透過した互いに直交する偏光方向の偏光成分を有するS偏光成分の光とP偏光成分の光とを各受光素子で受光する。なお、撮像素子101には、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などを用いることができる。ここでは撮像素子としてはモノクロのセンサを想定しているが、これに限定されるものでなく、カラーセンサ(例えばRCCC(レッド・クリア・クリア・クリア)配列、ベイヤ(RGB(レッド・グリーン・ブルー))配列など)であってもよい。
The configuration of the embodiment according to the imaging apparatus of the present invention will be described below.
FIG. 1 is a diagram illustrating the correspondence of the positional relationship between the optical filter unit and the imaging unit. FIG. 2 is a cross-sectional view of FIG. As shown in both drawings, the imaging apparatus 1 includes an imaging unit 100 and an optical filter unit 200. The imaging unit 100 includes an imaging element 101 that includes a plurality of light receiving elements, and a substrate 102 that supports the imaging element 101. The image sensor 101 has a plurality of light receiving elements arranged two-dimensionally in the vertical and horizontal directions, and transmits S-polarized component light and P-polarized component light having polarization components in polarization directions orthogonal to each other transmitted through the optical filter unit 200. Light is received by each light receiving element. For example, a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like can be used for the image sensor 101. Here, a monochrome sensor is assumed as the imaging device, but the image sensor is not limited to this. For example, a color sensor (for example, an RCCC (red, clear, clear, clear) array, Bayer (RGB (red, green, blue)) is used. )) Sequence etc.).

光学フィルタ部200は、フィルタ基板201、偏光フィルタ層202及び充填層203を含んで構成されている。フィルタ基板201は、撮像レンズ(不図示)を介して光学フィルタ部200に入射する入射光を透過する透明な基板である。このフィルタ基板201は、その材料として、使用帯域(例えば可視光域と赤外域)の光を透過可能な透明材料を用いることができる。透明材料は、例えばガラス、サファイア若しくは水晶、又は、石英ガラス、テンパックスガラス、プラスチック、エンジニアリングプラスチック若しくは合成樹脂などである。フィルタ基板201の撮像素子101側の面には、偏光フィルタ層202が形成されている。偏光フィルタ層202を覆うように、更に充填層203が形成されている。充填層203は、透光性、ガラス接着性、精密性が良好な接着剤を用いてもよい。光学フィルタ部200に入射した光のうち、偏光フィルタ層202を透過した光は、撮像素子101の画素領域に入射する。偏光フィルタ層202には撮像素子101の画素サイズに対応した偏光子が領域分割して形成されている。そして、偏光フィルタ層202は、入射された光をS偏光成分の光とP偏光成分の光とに偏光する。なお、S偏光成分透過領域とP偏光成分透過領域が短冊状のパタンであってもよい。偏光フィルタ層202が形成されている領域ではP偏光成分、S偏光成分の各領域の画像が撮影されるが、これらは後述するとおり差分画像を形成することにより視差画像として各種情報検知に使われる。   The optical filter unit 200 includes a filter substrate 201, a polarizing filter layer 202, and a filling layer 203. The filter substrate 201 is a transparent substrate that transmits incident light incident on the optical filter unit 200 via an imaging lens (not shown). The filter substrate 201 can be made of a transparent material that can transmit light in a use band (for example, a visible light region and an infrared region). The transparent material is, for example, glass, sapphire or quartz, or quartz glass, Tempax glass, plastic, engineering plastic, or synthetic resin. A polarizing filter layer 202 is formed on the surface of the filter substrate 201 on the image sensor 101 side. A filling layer 203 is further formed so as to cover the polarizing filter layer 202. The filling layer 203 may be formed using an adhesive that has good translucency, glass adhesion, and precision. Of the light incident on the optical filter unit 200, the light transmitted through the polarizing filter layer 202 is incident on the pixel region of the image sensor 101. In the polarizing filter layer 202, a polarizer corresponding to the pixel size of the image sensor 101 is formed by dividing the region. The polarizing filter layer 202 polarizes the incident light into S-polarized component light and P-polarized component light. The S-polarization component transmission region and the P-polarization component transmission region may be strip-shaped patterns. In the region where the polarizing filter layer 202 is formed, images of the P-polarized component and S-polarized component regions are taken, and these are used for various information detection as a parallax image by forming a differential image as will be described later. .

図3は撮像部の構成を示す断面図である。同図に示す撮像部100は、不図示の基板に、撮像素子101、複屈折板103及び領域分割フィルタ104を備えている。複屈折板103は、複屈折板の偏向方向であるX1に対して、入射する光を互いに直交する偏光方向の偏光成分の光、例えばS偏光成分の光とP偏光成分に分岐(分岐)する。領域分割フィルタ104は、互いに直交する偏光方向のうち、一方の方向の偏光成分の光のみを透過する第1偏光子領域と、他方の方向の偏光成分の光のみを透過する第2偏光子領域とに分割されている。複屈折板103は、例えば水晶や方解石などの部材を用いることができる。なお、複屈折板103において、屈折方向及び分岐する距離であるシフト量は、領域分割フィルタ104の領域分割に対応した屈折方向及びシフト量とすることができる。複屈折板103の屈折方向及びシフト量は、その結晶軸及びその厚み等を適宜変更することで調整できる。また、領域分割フィルタ104は入射された光を選択的に透過し、例えばS偏光成分の光のみを透過するS偏光子領域104sとP偏光成分の光のみを透過するP偏光子領域104pとに分割されている。   FIG. 3 is a cross-sectional view illustrating the configuration of the imaging unit. The imaging unit 100 shown in the figure includes an imaging element 101, a birefringent plate 103, and a region dividing filter 104 on a substrate (not shown). The birefringent plate 103 branches (branches) incident light into polarized light components having polarization directions orthogonal to each other, for example, S-polarized light components and P-polarized light components, with respect to X1, which is the deflection direction of the birefringent plate. . The region dividing filter 104 includes a first polarizer region that transmits only light of a polarization component in one direction among polarization directions orthogonal to each other, and a second polarizer region that transmits only light of a polarization component in the other direction. It is divided into and. For the birefringent plate 103, for example, a member such as quartz or calcite can be used. In the birefringent plate 103, the shift amount, which is the refraction direction and the branching distance, can be the refraction direction and the shift amount corresponding to the region division of the region division filter 104. The refraction direction and the shift amount of the birefringent plate 103 can be adjusted by appropriately changing the crystal axis and the thickness thereof. The region dividing filter 104 selectively transmits incident light, for example, an S polarizer region 104s that transmits only S-polarized component light and a P polarizer region 104p that transmits only P-polarized component light. It is divided.

このような構成を有する撮像部100では、同じ位置からの入射光が複屈折板103によってS偏光成分の光とP偏光成分に分岐される。次いで、S偏光子領域104sを透過したS偏光成分の光及びP偏光子領域104pを透過したP偏光成分の光が撮像素子の対応する偏光子領域にそれぞれ受光される。これにより、同じ位置からの入射光に対応するピクセル間の輝度比を演算することで、被写体の平坦な部分のみならず、エッジ部などでも正確な偏光比を得ることができる。   In the imaging unit 100 having such a configuration, incident light from the same position is branched into S-polarized component light and P-polarized component by the birefringent plate 103. Next, the S-polarized component light transmitted through the S-polarizer region 104s and the P-polarized component light transmitted through the P-polarizer region 104p are received by the corresponding polarizer regions of the image sensor. Thus, by calculating the luminance ratio between pixels corresponding to incident light from the same position, an accurate polarization ratio can be obtained not only at a flat portion of the subject but also at an edge portion or the like.

図4は撮像部における動作を説明する概略図である。同図からわかるように、入力画像全体からピクセル単位で、S偏光成分のピクセルを取り出して、出力画像におけるS画像を形成する。一方、入力画像全体からP偏光成分のピクセルを取り出して、出力画像におけるP画像を形成する。   FIG. 4 is a schematic diagram for explaining the operation of the imaging unit. As can be seen from the figure, S-polarized component pixels are extracted from the entire input image in units of pixels to form an S image in the output image. On the other hand, P-polarized component pixels are extracted from the entire input image to form a P image in the output image.

図5は撮像装置の実施例1を示す図である。同図に示す領域分割フィルタ104は、複数の受光素子の格子縞状(図1参照)に対応して複数のS偏光子領域104s及び複数のP偏光子領域104pを配置して構成されている。領域分割フィルタ104は、撮像素子101の画素サイズ(受光素子のサイズ、ピクセル)に対応した複数の偏光子で形成されている。そして、領域分割フィルタ104は、複数のS偏光子領域104s及び複数のP偏光子領域104pを光学軸に対して直交する方向に交互に配置している。つまり、S偏光子領域104s及びP偏光子領域104pが横ストライブ模様に配置している。   FIG. 5 is a diagram illustrating the first embodiment of the imaging apparatus. The region dividing filter 104 shown in the figure is configured by arranging a plurality of S polarizer regions 104s and a plurality of P polarizer regions 104p corresponding to the lattice pattern of a plurality of light receiving elements (see FIG. 1). The area division filter 104 is formed of a plurality of polarizers corresponding to the pixel size of the image sensor 101 (the size of the light receiving element, pixels). In the area division filter 104, a plurality of S polarizer regions 104s and a plurality of P polarizer regions 104p are alternately arranged in a direction orthogonal to the optical axis. That is, the S polarizer region 104s and the P polarizer region 104p are arranged in a horizontal stripe pattern.

図5(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103ではS偏光成分の光がそのまま透過し、P偏光成分の光が偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。そして、図5(c)に示すように、撮像素子101の受光素子101s、101p毎に、図中破線で囲む領域における入射光を同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみとして受光することができる。具体的には、図5(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。これにより、上述したように、撮像装置は、屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。   As shown in FIGS. 5A and 5B, when the incident light L from the same position is incident on the birefringent plate 103, the birefringent plate with respect to X1 which is the deflection direction of the birefringent plate. In 103, the S-polarized component light is transmitted as it is, and the P-polarized component light is refracted and transmitted in the refraction direction R which is the deflection direction. Using the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter 104, only the light of the S-polarized component or the light of the P-polarized component is selected and incident for each light receiving element of the image sensor. And as shown in FIG.5 (c), incident light in the area | region enclosed with a broken line in the figure for every light receiving element 101s and 101p of the image pick-up element 101, or the light of the S polarization component of the light L which injected from the same position, or It can be received only as light of the P-polarized component. Specifically, the light of the S-polarized component and the light of the P-polarized component of the light L incident from the same position are received by the light receiving elements having the coordinates at the arrowhead and the coordinates at the arrowhead in the refraction direction R in FIG. It can receive light. As a result, as described above, the imaging apparatus can obtain the polarization ratio and the like by calculating the luminance ratio of the light received by the light receiving element of the arrow origin coordinate and the arrow destination coordinate in the refraction direction R. .

図6は撮像装置の実施例1の変形例1を示す図である。同図に示す領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを縦ストライブ模様に配置している例は、図5(a)、(b)、(c)の例と基本的に同様のため説明を省略する。   FIG. 6 is a diagram illustrating a first modification of the first embodiment of the imaging apparatus. The example in which the S polarizer region 104s and the P polarizer region 104p of the region dividing filter 104 shown in the same figure are arranged in a vertical stripe pattern is the same as the examples of FIGS. 5A, 5B, and 5C. Therefore, the description is omitted.

図7は撮像装置の実施例1の変形例2を示す図である。同図に示す領域分割フィルタ104は、複数の受光素子の格子縞状(図1参照)に対応して複数のS偏光子領域104s及び複数のP偏光子領域104pを交互に配置して構成されている。領域分割フィルタ104は、複数のS偏光子領域104s及び複数のP偏光子領域104pを光学軸に対して直交する方向に交互に配置している。つまり、S偏光子領域104s及びP偏光子領域104pが市松模様に配置している。   FIG. 7 is a diagram illustrating a second modification of the first embodiment of the imaging apparatus. The area dividing filter 104 shown in the figure is configured by alternately arranging a plurality of S polarizer regions 104s and a plurality of P polarizer regions 104p corresponding to the lattice pattern of a plurality of light receiving elements (see FIG. 1). Yes. In the region dividing filter 104, a plurality of S polarizer regions 104s and a plurality of P polarizer regions 104p are alternately arranged in a direction orthogonal to the optical axis. That is, the S polarizer region 104s and the P polarizer region 104p are arranged in a checkered pattern.

図7(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。そして、図7(c)に示すように、撮像素子101の受光素子101s、101p毎に、図中破線で囲む領域における入射光を同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみとして受光することができる。具体的には、図7(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。   As shown in FIGS. 7A and 7B, first, when incident light L from the same position is incident on the birefringent plate 103, the birefringent plate with respect to X1 which is the deflection direction of the birefringent plate. The light of S polarization component is transmitted as it is through 103, and the light of P polarization component is refracted in the refraction direction R which is the deflection direction and transmitted. Using the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter 104, only the light of the S-polarized component or the light of the P-polarized component is selected and incident for each light receiving element of the image sensor. Then, as shown in FIG. 7C, for each of the light receiving elements 101 s and 101 p of the image sensor 101, the incident light in the region surrounded by the broken line in FIG. It can be received only as light of the P-polarized component. Specifically, the light of the S-polarization component and the P-polarization component of the light L incident from the same position are received by the light receiving elements having the coordinates of the arrowhead and the arrowhead in the refraction direction R in FIG. It can receive light.

図8は撮像装置の実施例1の変形例3を示す図である。同図に示す領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを市松模様に配置している例は、図7(a)、(b)、(c)の例と基本的に同様のため説明を省略する。   FIG. 8 is a diagram illustrating a third modification of the first embodiment of the imaging apparatus. An example in which the S polarizer region 104s and the P polarizer region 104p of the region dividing filter 104 shown in the figure are arranged in a checkered pattern is basically the same as the example of FIGS. 7A, 7B, and 7C. Explanation is omitted for the same reason.

次に、撮像素子としてカラーセンサを用いた撮像装置の実施例2について説明する。本実施例では、カラーセンサとして、RCCC(レッド・クリア・クリア・クリア)配列の例を説明する。なお、撮像素子に用いることができるカラーセンサは、RCCC配列に限定されるものではない。すなわち、カラーセンサは、RGB(レッド・グリーン・ブルー)配列、RGBG(レッド・グリーン・ブルー・グリーン)配列及びその他複数の色に対応する配列のものでもよい。クリアピクセル(クリア受光素子)は、カラーフィルタによって感度が低下することに対応して、カラーフィルタを付加しない画素の撮像データを取得するために用いられる。また、RCCC配列は、例えば車載のカメラ用に本実施例の撮像装置を用いた場合に、前方車両のテールランプの赤を区別するためにモノクロセンサにレッド画素のみを付加したものである。   Next, a second embodiment of the image pickup apparatus using a color sensor as the image pickup element will be described. In this embodiment, an example of an RCCC (red / clear / clear / clear) arrangement will be described as a color sensor. Note that the color sensor that can be used for the image sensor is not limited to the RCCC array. That is, the color sensor may have an RGB (red / green / blue) arrangement, an RGBG (red / green / blue / green) arrangement, and an arrangement corresponding to a plurality of other colors. The clear pixel (clear light receiving element) is used for acquiring imaging data of a pixel to which no color filter is added in response to a decrease in sensitivity due to the color filter. Further, the RCCC array is obtained by adding only red pixels to a monochrome sensor in order to distinguish red of the tail lamp of a preceding vehicle when the imaging apparatus of the present embodiment is used for an in-vehicle camera, for example.

図9は撮像装置の実施例2を示す図である。同図に示す領域分割フィルタ104は、S偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。具体的には、本実施例における領域分割フィルタ104は、図9(b)に示すように、カラーセンサのR配列にP偏光子領域104p(図中のP/R)を配置している。領域分割フィルタ104は、カラーセンサの2つのC配列にP偏光子領域104p(図中のP/C)を配置し、1つのC配列にS偏光子領域104s(図中のS/C)を配置している。   FIG. 9 is a diagram illustrating a second embodiment of the imaging apparatus. In the region dividing filter 104 shown in the figure, the S polarizer region 104s and the P polarizer region 104p are arranged in a patch shape corresponding to the arrangement of the color sensors. Specifically, as shown in FIG. 9B, the area dividing filter 104 in this embodiment has a P polarizer area 104p (P / R in the figure) arranged in the R array of the color sensor. The area dividing filter 104 arranges the P polarizer region 104p (P / C in the figure) in two C arrays of the color sensor, and the S polarizer region 104s (S / C in the figure) in one C array. It is arranged.

図9(a)、(b)に示すように、先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図9(c)に示すように、撮像素子101の受光素子101s、101p毎に同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。   As shown in FIGS. 9A and 9B, when the incident light L from the same position is incident on the birefringent plate 103, the birefringent plate with respect to X1, which is the deflection direction of the birefringent plate. The light of S polarization component is transmitted as it is through 103, and the light of P polarization component is refracted in the refraction direction R which is the deflection direction and transmitted. Using the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter 104, only the light of the S-polarized component or the light of the P-polarized component is selected and incident for each light receiving element of the image sensor. Accordingly, as shown in FIG. 9C, only the light of the S-polarized component or the light of the P-polarized component of the light L incident from the same position is received for each of the light receiving elements 101s and 101p of the image sensor 101. Can do.

先ず、同一位置からの入射光Lが複屈折板103に入射されると、複屈折板の偏向方向であるX1に対して、複屈折板103をS偏光成分の光がそのまま透過し、P偏光成分の光を偏向方向である屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図9(c)に示すように、撮像素子101の受光素子101s、101p毎に同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。具体的には、図9(b)の屈折方向Rの矢印元の座標及び矢印先の座標の受光素子で、同一位置から入射された光LのS偏光成分の光及びP偏光成分の光を受光することができる。   First, when the incident light L from the same position is incident on the birefringent plate 103, the light of the S polarization component is transmitted as it is through the birefringent plate 103 with respect to X1, which is the deflection direction of the birefringent plate, and the P polarized light. The component light is refracted and transmitted in the refraction direction R which is the deflection direction. Using the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter 104, only the light of the S-polarized component or the light of the P-polarized component is selected and incident for each light receiving element of the image sensor. Accordingly, as shown in FIG. 9C, only the light of the S-polarized component or the light of the P-polarized component of the light L incident from the same position is received for each of the light receiving elements 101s and 101p of the image sensor 101. Can do. More specifically, the light of the S-polarization component and the P-polarization component of the light L incident from the same position are received by the light receiving elements at the coordinates of the arrows in the refraction direction R in FIG. It can receive light.

図10は撮像装置の実施例2の変形例1を示す図である。同図に示す領域分割フィルタ104の例は、複屈折板103の偏向方向が異なるのみで、図9(a)、(b)、(c)の例と基本的に同様のため説明を省略する。   FIG. 10 is a diagram illustrating a first modification of the second embodiment of the imaging device. The example of the region dividing filter 104 shown in the figure is basically the same as the example of FIGS. 9A, 9B, and 9C except for the direction of deflection of the birefringent plate 103, and the description thereof is omitted. .

図11は撮像装置の実施例2の変形例2を示す図である。本変形例の撮像部100は、複屈折板103の入射側に光学的ローパスフィルタとしての複屈折板105、106を備えている。複屈折板105、106は、画像のエリアシングノイズを除去するために用いられる。図11(a)に示すように、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、45度軸がずれた複屈折軸に相当する偏光方向X2(図11(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、135度の複屈折軸に相当する偏光方向X3(図11(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、入射された光Lを4点に分岐し、光学的ローパスフィルタを実現する。そして、複屈折板103を用いて、S偏光成分の光をそのまま透過し、P偏光成分の光を偏光方向X1(図11(b)における屈折方向R)に屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図11(c)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。   FIG. 11 is a diagram illustrating a second modification of the second embodiment of the imaging device. The imaging unit 100 according to this modification includes birefringent plates 105 and 106 as optical low-pass filters on the incident side of the birefringent plate 103. The birefringent plates 105 and 106 are used to remove the aliasing noise of the image. As shown in FIG. 11A, first, when the incident light L is incident on the birefringent plates 105 and 106 from the same position, the birefringent plates 105 and 106 cause the light L incident from the same position to be incident on the respective birefringent plates 105 and 106. The light is branched twice according to the deflection directions X2 and X3 of the refracting plate. In other words, the birefringent plate 105 branches the light L incident in the polarization direction X2 (the refraction direction Ra in FIG. 11B) corresponding to the birefringence axis shifted by 45 degrees into a double image. Next, the birefringent plate 106 further branches into a double image in the polarization direction X3 (refractive direction Rb in FIG. 11B) corresponding to the birefringence axis of 135 degrees. Thereby, the incident light L is branched into four points to realize an optical low-pass filter. Then, using the birefringent plate 103, the S-polarized component light is transmitted as it is, and the P-polarized component light is refracted and transmitted in the polarization direction X1 (refractive direction R in FIG. 11B). Using the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter 104, only the light of the S-polarized component or the light of the P-polarized component is selected and incident for each light receiving element of the image sensor. As a result, as shown in FIG. 11C, only the light of the S-polarized component or the light of the P-polarized component of the light L incident from the same position is received for each of the light receiving elements 101s and 101p of the image sensor 101. be able to.

図12は撮像装置の実施例2の変形例3を示す図である。同図に示す領域分割フィルタ104の例は、複屈折板103の偏向方向が異なるのみで、図11(a)、(b)、(c)の例と基本的に同様のため説明を省略する。   FIG. 12 is a diagram illustrating a third modification of the second embodiment of the imaging device. The example of the region division filter 104 shown in the figure is basically the same as the example of FIGS. 11A, 11B, and 11C except for the deflection direction of the birefringent plate 103, and the description thereof is omitted. .

図13は本発明の一実施形態に係る撮像装置の実施例1を示す図である。本実施例の撮像部100は、カラーセンサとして、RGB(レッド・グリーン・ブルー)配列(ベイヤ配列)を用いる。また、本実施例の撮像部100は、複屈折板103を用いて、撮像素子の受光素子の配列に対して45度の方向に光を偏光する。本実施例の撮像部100は、領域分割フィルタのS偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。また、図13(a)に示すように、本実施例の撮像部100は、複屈折板103の入射側に光学的なローパスフィルタとしての複屈折板105、106を備えている。領域分割フィルタ104は、図13(b)に示すように、カラーセンサとしての撮像素子101のR配列にP偏光子領域104p(図中のP(C)/R)を配置している。領域分割フィルタ104は、カラーセンサとしての撮像素子101の2つのC配列にP偏光子領域104p(図中のP(C)/C)を配置し、1つのC配列にS偏光子領域104s(図中のS(C)/C)を配置している。 FIG. 13 is a diagram illustrating Example 1 of the imaging device according to the embodiment of the present invention. The imaging unit 100 of the present embodiment uses an RGB (red, green, blue) array (Bayer array) as a color sensor. Further, the imaging unit 100 of the present embodiment uses the birefringent plate 103 to polarize light in a direction of 45 degrees with respect to the arrangement of the light receiving elements of the imaging element. In the imaging unit 100 according to the present exemplary embodiment, the S-polarizer region 104s and the P-polarizer region 104p of the region dividing filter are arranged in a patch shape corresponding to the arrangement of the color sensors. As shown in FIG. 13A, the imaging unit 100 of the present embodiment includes birefringent plates 105 and 106 as optical low-pass filters on the incident side of the birefringent plate 103. As shown in FIG. 13B, the region dividing filter 104 has a P polarizer region 104p (P (C) / R in the figure) arranged in an R array of the image sensor 101 as a color sensor. The area dividing filter 104 arranges P polarizer regions 104p (P (C) / C in the figure) in two C arrays of the image sensor 101 as a color sensor, and S polarizer regions 104s (in one C array). S (C) / C) in the figure is arranged.

図13(a)に示すように、本実施例の撮像部100は、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、複屈折軸に相当する偏光方向X2(図13(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、複屈折軸に相当する偏光方向X3(図13(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、入射された光Lを4点に分岐し、光学的ローパスフィルタを実現する。そして、複屈折板103を用いて、S偏光成分の光をそのまま透過し、P偏光成分の光を偏光方向(屈折方向Rに屈折して透過する。領域分割フィルタ104のS偏光子領域104s及びP偏光子領域104pを用いて、S偏光成分の光又はP偏光成分の光のみを撮像素子の受光素子毎に選択して入射する。これにより、図13(図13(b)における屈折方向R)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。   As shown in FIG. 13A, in the imaging unit 100 of this embodiment, first, when the incident light L is incident on the birefringent plates 105 and 106 from the same position, the light L incident from the same position is The birefringent plates 105 and 106 are branched twice according to the deflection directions X2 and X3 of the birefringent plates. That is, the birefringent plate 105 branches the light L incident in the polarization direction X2 (the refraction direction Ra in FIG. 13B) corresponding to the birefringence axis into a double image. Next, the birefringent plate 106 further branches into a double image in the polarization direction X3 (the refraction direction Rb in FIG. 13B) corresponding to the birefringence axis. Thereby, the incident light L is branched into four points to realize an optical low-pass filter. Then, using the birefringent plate 103, the light of the S-polarized component is transmitted as it is, and the light of the P-polarized component is refracted and transmitted in the polarization direction (the refraction direction R. The S-polarizer region 104s of the region dividing filter 104 and Using the P polarizer region 104p, only S-polarized component light or P-polarized component light is selected and incident on each light-receiving element of the image sensor, whereby the refraction direction R in FIG. As shown in (), each of the light receiving elements 101s and 101p of the image sensor 101 can receive only the light of the S-polarized component or the light of the P-polarized component of the light L incident from the same position.

以上説明したように、複屈折板103の偏光方向X1を撮像素子の受光素子の配列に対して45度の方向にすることで、図13(b)の屈折方向Rに示すように、隣り合う4ピクセルに光を分散でき、理想的な光学的ローパスフィルタを実現することができる。また、本実施例の撮像装置は、図13(b)の屈折方向Raの矢印元の座標及び屈折方向Raの矢印先の座標の受光素子(ピクセル)で、同一の光路から入射された光のS偏光成分の光及びP偏光成分の光を受光することができる。このため、撮像装置は、屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。   As described above, when the polarization direction X1 of the birefringent plate 103 is set to a direction of 45 degrees with respect to the arrangement of the light receiving elements of the image sensor, they are adjacent to each other as shown in the refraction direction R of FIG. Light can be dispersed into four pixels, and an ideal optical low-pass filter can be realized. Further, the imaging apparatus of the present embodiment is a light receiving element (pixel) having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the refraction direction Ra in FIG. The light of the S polarization component and the light of the P polarization component can be received. Therefore, the imaging apparatus can obtain the polarization ratio and the like by calculating the luminance ratio of the light received by the light receiving element having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the direction of refraction R.

図14は本実施形態に係る撮像装置の実施例2を示す図である。図14を用いて、撮像素子としてカラーセンサを用いた撮像装置を説明する。本実施例では、カラーセンサとして、RGB(レッド・グリーン・ブルー)配列(ベイヤ配列)の例を説明する。また、本実施例の撮像部100は、複屈折板103を用いて、撮像素子の受光素子の配列に対して45度の方向に光を偏光する。図14(b)に示すように、本実施例の撮像装置は、領域分割フィルタのS偏光子領域104s及びP偏光子領域104pをカラーセンサの配列に対応して斑状に配置している。また、図14(a)に示すように、本実施例の撮像装置は、複屈折板103の入射側に光学的ローパスフィルタとしての複屈折板105、106を備えている。領域分割フィルタ104は、カラーセンサのR配列にP偏光子領域104p(図中のP(C)/R)を配置している。領域分割フィルタ104は、カラーセンサの2つのG配列にP偏光子領域104p(図中のP(C)/G)及びS偏光子領域104s(図中のS(C)/G)を配置している。領域分割フィルタ104は、カラーセンサのB配列にP偏光子領域104p(図中のP(C)/B)を配置している。   FIG. 14 is a diagram illustrating Example 2 of the imaging device according to the present embodiment. An imaging apparatus using a color sensor as an imaging element will be described with reference to FIG. In this embodiment, an example of an RGB (red / green / blue) array (Bayer array) will be described as a color sensor. Further, the imaging unit 100 of the present embodiment uses the birefringent plate 103 to polarize light in a direction of 45 degrees with respect to the arrangement of the light receiving elements of the imaging element. As shown in FIG. 14B, in the imaging apparatus of the present embodiment, the S-polarizer region 104s and the P-polarizer region 104p of the area dividing filter are arranged in a patch shape corresponding to the arrangement of the color sensors. As shown in FIG. 14A, the imaging apparatus of the present embodiment includes birefringent plates 105 and 106 as optical low-pass filters on the incident side of the birefringent plate 103. The area dividing filter 104 has a P polarizer area 104p (P (C) / R in the figure) arranged in an R array of the color sensor. The area dividing filter 104 arranges a P polarizer region 104p (P (C) / G in the figure) and an S polarizer region 104s (S (C) / G in the figure) in two G arrays of the color sensor. ing. In the area dividing filter 104, the P polarizer area 104p (P (C) / B in the figure) is arranged in the B array of the color sensor.

図14(a)に示すように、本実施例の撮像装置は、先ず、同一位置から入射光Lが複屈折板105、106に入射されると、同一位置から入射した光Lは、複屈折板105、106によって、各複屈折板の偏向方向X2、X3に従って、2回分岐される。すなわち、複屈折板105は、複屈折軸に相当する偏光方向X2(図14(b)における屈折方向Ra)で入射された光Lを二重像に分岐する。次いで、複屈折板106は、複屈折軸に相当する偏光方向X3(図14(b)における屈折方向Rb)で、さらに二重像に分岐する。これにより、図14(c)に示すように、撮像素子101の受光素子101s、101p毎に、同一の位置から入射された光LのS偏光成分の光又はP偏光成分の光のみを受光することができる。   As shown in FIG. 14A, in the imaging apparatus of the present embodiment, first, when incident light L is incident on the birefringent plates 105 and 106 from the same position, the light L incident from the same position is birefringent. The plates 105 and 106 are branched twice according to the deflection directions X2 and X3 of the birefringent plates. That is, the birefringent plate 105 branches the light L incident in the polarization direction X2 (the refraction direction Ra in FIG. 14B) corresponding to the birefringence axis into a double image. Next, the birefringent plate 106 further branches into a double image in the polarization direction X3 (the refraction direction Rb in FIG. 14B) corresponding to the birefringence axis. As a result, as shown in FIG. 14C, only the light of the S-polarized component or the light of the P-polarized component of the light L incident from the same position is received for each of the light receiving elements 101s and 101p of the imaging device 101. be able to.

以上説明したように、本実施例の撮像装置は、複屈折板の偏光方向を撮像素子の受光素子の配列に対して45度の方向にする。これにより、図14(b)の屈折方向Rに示すように、隣り合う4ピクセルに光を分散でき、理想的な光学的ローパスフィルタを実現することができる。また、撮像装置は、図14(b)の屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子(ピクセル)で、同一の光路から入射された光のS偏光成分の光及びP偏光成分の光を受光することができる。このため、撮像装置は、屈折方向Raの矢印元の座標及び屈折方向Rの矢印先の座標の受光素子で受光した光の輝度比などを算出することで偏光比などを取得することができる。   As described above, in the imaging apparatus of this embodiment, the polarization direction of the birefringent plate is set to a direction of 45 degrees with respect to the arrangement of the light receiving elements of the imaging element. As a result, as shown in the refraction direction R in FIG. 14B, light can be dispersed to four adjacent pixels, and an ideal optical low-pass filter can be realized. Further, the imaging device is a light receiving element (pixel) having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the refraction direction R in FIG. 14B, and the S polarization component of the light incident from the same optical path. The light and the light of the P-polarized component can be received. Therefore, the imaging apparatus can obtain the polarization ratio and the like by calculating the luminance ratio of the light received by the light receiving element having the coordinates of the arrow in the refraction direction Ra and the coordinates of the arrow in the direction of refraction R.

以下、本発明のステレオカメラに係る実施形態の構成について説明する。
図15は本発明の一実施形態に係るステレオカメラの実施例1の構成を示す概略図である。図15(a)、(b)に示すステレオカメラ300は、偏光重畳モジュール301、レンズ302、フィルタ303及び撮像素子304を含んで構成されている。そして、偏光重畳モジュール301は、偏光ビームスプリッタ301−1、偏光フィルタ301−2及びミラー301−3を備えている。図15に示すステレオカメラ300は、偏光ビームスプリッタ301−1と偏光フィルタ301−2を用いて視差を有する2つの光路を合成し、1つのレンズ302を介して1つの撮像素子304で撮像する。つまり、レンズ302の前で完全に2つの光路は合成され、1つのレンズしか通らない。このため、レンズの特性が温度でずれたり、レンズの位置がずれたり、あるいはセンサの位置がずれたりしようが、両方の画像が同じようにずれるだけなので、完全に影響をキャンセルすることができる。これにより、非常に耐環境性のあるステレオカメラを実現できる。また、レンズとセンサが1つで済むため、安価である。更に、撮像素子とレンズとの位置関係がずれた場合にも、左右の画像が同じようにずれるため原理的に影響をキャンセルすることができる。図15のフィルタ303は、画素ごとに偏光子を有するフィルタである。ただし、図15の構成においては、左右の光路において、光路長差が生じており、例えば2つの画像の視差におけるピクセルマッチング処理で生じた光路長差を補填する処理が必要となるため現実的ではない。
The configuration of the embodiment according to the stereo camera of the present invention will be described below.
FIG. 15 is a schematic diagram illustrating a configuration of the stereo camera according to the first embodiment of the present invention. A stereo camera 300 shown in FIGS. 15A and 15B includes a polarization superimposing module 301, a lens 302, a filter 303, and an image sensor 304. The polarization superimposing module 301 includes a polarizing beam splitter 301-1, a polarizing filter 301-2, and a mirror 301-3. A stereo camera 300 shown in FIG. 15 combines two optical paths having parallax using a polarizing beam splitter 301-1 and a polarizing filter 301-2, and captures an image with one imaging element 304 via one lens 302. That is, the two optical paths are completely combined in front of the lens 302 and only one lens passes. For this reason, even if the lens characteristics shift with temperature, the lens position shifts, or the sensor position shifts, both the images are shifted in the same way, so the influence can be completely canceled. As a result, it is possible to realize a stereo camera with extremely high environmental resistance. In addition, it is inexpensive because only one lens and sensor are required. Further, even when the positional relationship between the image sensor and the lens is deviated, since the left and right images are similarly deviated, the influence can be canceled in principle. A filter 303 in FIG. 15 is a filter having a polarizer for each pixel. However, in the configuration of FIG. 15, there is an optical path length difference between the left and right optical paths. For example, a process for compensating for the optical path length difference generated by the pixel matching process in the parallax between two images is necessary. Absent.

図16及び図17は本実施形態に係るステレオカメラの実施例2の構成を示す図である。図17に示すように、ステレオカメラ400は、基板401上に撮像素子402が実装され、撮像素子402上に光学フィルタ403が密着配置している。撮像レンズ404を介して被写体情報を撮影する。撮像レンズ404の前段には、偏光合波部を構成する偏光選択型のクロスプリズム405が配置されている。更に、偏光選択型のクロスプリズム405の側面406、407に近接して三角柱のプリズム408、409が設けられている。   16 and 17 are diagrams showing a configuration of the stereo camera according to the second embodiment of the present embodiment. As shown in FIG. 17, in the stereo camera 400, an image sensor 402 is mounted on a substrate 401, and an optical filter 403 is disposed in close contact with the image sensor 402. Subject information is photographed through the imaging lens 404. In front of the imaging lens 404, a polarization selection type cross prism 405 that constitutes a polarization multiplexing unit is disposed. Further, triangular prisms 408 and 409 are provided in the vicinity of the side surfaces 406 and 407 of the polarization selective cross prism 405.

ステレオカメラ400では光学フィルタ403としてP偏光情報とS偏光情報を画素単位で抽出可能な領域分割型偏光フィルタを有している。また、撮像レンズ404の前段に偏光選択型のクロスプリズム405、さらにクロスプリズム405に隣接してプリズム408、409を2個配置している。プリズム408、409は+Z方向からの光をY軸方向に偏光反射する全反射面を有する。偏光選択型のクロスプリズム405は、−Y方向から側面406に入射するS偏光成分の光と、+Y方向から側面407に入射するP偏光成分の光を側面410の方向に偏光反射する。これにより、−Y方向のS偏光画像と、+Y方向のP偏光画像が抽出することが可能である。   The stereo camera 400 has a region-dividing polarization filter that can extract P-polarization information and S-polarization information in units of pixels as the optical filter 403. In addition, a polarization-selective cross prism 405 is disposed in front of the imaging lens 404, and two prisms 408 and 409 are disposed adjacent to the cross prism 405. The prisms 408 and 409 have total reflection surfaces that reflect and reflect light from the + Z direction in the Y-axis direction. The polarization-selective cross prism 405 polarization-reflects the S-polarized component light incident on the side surface 406 from the −Y direction and the P-polarized component light incident on the side surface 407 from the + Y direction in the direction of the side surface 410. As a result, it is possible to extract an S-polarized image in the −Y direction and a P-polarized image in the + Y direction.

図15のステレオカメラ300とは異なり、図16及び図17のステレオカメラ400は+Z方向のP偏光画像とS偏光画像を同時撮影することが可能である。また、図17から明らかなように、左右のプリズム408、409の光線有効範囲の間に一定の距離を有するため、P偏光画像とS偏光画像から視差画像を形成することが可能である。このように本実施形態のステレオカメラは被写体までの距離情報が撮影可能なステレオカメラとして構成されている。従来の単一撮像素子と単一レンズを2つ並列配置させたステレオカメラに比べて、撮像レンズと撮像素子が1つで済むため低コスト化が図れる。また、従来のステレオ撮像装置では各レンズ間を支持する筐体の熱膨張などによる基線長の変化の測距誤差が生じる。しかし、本撮像装置では撮像レンズは1つであり、かつ支持部材自体に対応するプリズム自体が金属に対して熱膨張率の小さいため、基線長変化の測距への影響も抑制することが可能である。   Unlike the stereo camera 300 of FIG. 15, the stereo camera 400 of FIGS. 16 and 17 can simultaneously capture a P-polarized image and an S-polarized image in the + Z direction. Further, as apparent from FIG. 17, since there is a certain distance between the effective ray ranges of the left and right prisms 408 and 409, a parallax image can be formed from the P-polarized image and the S-polarized image. As described above, the stereo camera of the present embodiment is configured as a stereo camera capable of photographing distance information to the subject. Compared to a conventional stereo camera in which a single image sensor and two single lenses are arranged in parallel, the cost can be reduced because only one image lens and image sensor are required. Further, in the conventional stereo image pickup apparatus, a distance measurement error due to a change in the baseline length due to thermal expansion of a housing supporting between the lenses occurs. However, in this imaging apparatus, there is only one imaging lens, and the prism itself corresponding to the support member itself has a small coefficient of thermal expansion relative to metal, so it is possible to suppress the influence of the change in baseline length on distance measurement. It is.

本実施形態のステレオカメラを、例えば、図18に示すように移動体としての自動車500の車両前方を確認するものとして使用することが可能である。車両前方確認装置は、自動車500のフロントガラス内側のバックミラー付近に装備されたステレオカメラ501と、ステレオカメラ501からの情報に基づいて、ドライバへの警告や車両の制御を行うための信号処理装置502とを含んで構成されている。ドライバへの警告方法としては、スピーカをつかって音声などにより障害物情報を警告する。また車両制御としては、障害物がある場合は減速させたりする。本実施形態のステレオカメラを用いれば、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。   The stereo camera according to the present embodiment can be used, for example, for confirming the front of a vehicle 500 as a moving body as shown in FIG. The vehicle front confirmation device includes a stereo camera 501 installed near the rearview mirror inside the windshield of the automobile 500, and a signal processing device for warning the driver and controlling the vehicle based on information from the stereo camera 501. 502. As a warning method to the driver, the obstacle information is warned by voice or the like using a speaker. As vehicle control, if there is an obstacle, the vehicle is decelerated. If the stereo camera of this embodiment is used, it is possible to acquire not only image information in front of the vehicle but also distance information to the preceding vehicle or pedestrian in front of the vehicle, and if there is an obstacle, an early warning is given to the driver. Thus, driving safety can be ensured.

また、本実施形態のステレオカメラは、左右の眼に異なる画像を映しだすことにより、人間に3次元の画像を表示するテレビと映画投影機などの表示装置とを組み合わせる。この結果、3次元の画像の取得と表示とを行う3次元画像取得・表示システムを構成することができる。人間の眼は左右の画像の回転や、大きさ、上下のずれ、また画質の違いに敏感である。このため、従来の2つのレンズを有するステレオカメラでは、ズーム/フォーカスを変更する際に、左右のレンズを連動させ、光軸や画像サイズ、フォーカスのずれを生じさせないように複雑な操作技術が必要とされていた。それに対して、本発明の構成では、単眼に対して2つの視差を持った映像が入射されるため、単一のレンズのズームやフォーカスを変更すれば、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の2つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。なお、ズームなどの光学系を可変にする場合には、2つのレンズの特性を厳密に補正するのは非常に困難となるため、本発明の構成は特に有用である。   In addition, the stereo camera of the present embodiment combines a television that displays a three-dimensional image to a human and a display device such as a movie projector by projecting different images to the left and right eyes. As a result, a three-dimensional image acquisition / display system that acquires and displays a three-dimensional image can be configured. The human eye is sensitive to left and right image rotation, size, vertical shift, and differences in image quality. For this reason, a conventional stereo camera having two lenses requires a complicated operation technique so that the left and right lenses are interlocked to change the optical axis, image size, and focus when changing the zoom / focus. It was said. On the other hand, in the configuration of the present invention, since an image having two parallaxes is incident on a single eye, if the zoom and focus of a single lens are changed, the same change is reflected in the binocular image. Is done. As a result, it is possible to obtain a natural stereoscopic image that can suppress the optical axis, the image size, and the focus shift caused by having two different optical characteristics for the right eye and the left eye. Note that when the optical system such as zoom is made variable, it is very difficult to strictly correct the characteristics of the two lenses, so the configuration of the present invention is particularly useful.

また、プリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるが、図17の構成のプリズム408、409をミラー411、412に替えた図19に示す実施例の構成でも良い。また、図20に示すように、中央のクロスプリズムに関しても、プリズム形状ではなく、単なるクロス形状の偏光板450−1、450−2の組み合わせ(図20中では偏光選択型クロス板450)としても良い。その場合には、同じくプリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるものの、使用する硝材が少なくて済むため、コストを下げることができる。左右はプリズム、中央部は偏光選択型クロス板という構成でも良い。   Further, since the phenomenon that the angle of incident light becomes shallow due to the refractive index of the prism becomes unusable, the optical layout becomes slightly larger, but the prisms 408 and 409 in the configuration of FIG. 17 are replaced with mirrors 411 and 412 as shown in FIG. The configuration of the embodiment may be used. Further, as shown in FIG. 20, the center cross prism is not a prism shape but a combination of simple cross-shaped polarizing plates 450-1 and 450-2 (in FIG. 20, a polarization selective cross plate 450). good. In that case, the phenomenon that the angle of incident light becomes shallow due to the refractive index of the prism becomes unusable, and the optical layout becomes slightly larger, but less glass material is used, so the cost can be reduced. The left and right prisms may be configured, and the central portion may be a polarization selective cross plate.

次に、ステレオカメラの実施例3について説明する。
図21はステレオカメラの実施例3を示す概略図である。図21に示すステレオカメラ400は、偏光選択型のクロスプリズム405の上と下でセンサユニットを設けている。例えば、撮像素子414がカラー、撮像素子402がモノクロとする。あるいは、撮像素子414を高解像度なモノクロ、撮像素子402を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。
Next, a stereo camera according to a third embodiment will be described.
FIG. 21 is a schematic diagram illustrating a third embodiment of the stereo camera. The stereo camera 400 shown in FIG. 21 is provided with sensor units above and below the polarization-selective cross prism 405. For example, the image sensor 414 is color, and the image sensor 402 is monochrome. Alternatively, the imaging element 414 is a high resolution monochrome, and the imaging element 402 is a low resolution color. In general, assuming that color information does not require higher spatial resolution than luminance information and distance information, high-sensitivity, high-resolution monochrome sensors that can ensure high ranging performance, and color sensors that are less sensitive than monochrome Use in a set called low resolution. As a result, high ranging performance and color information can be obtained simultaneously from a bright scene to a dark scene. Also in this case, calibration is easy because the optical axes coincide on the left and right.

次に、ステレオカメラの実施例4ついて説明する。
図22はステレオカメラの実施例4の構成を示す概略図である。図22に示すステレオカメラ400は、雨滴検出機能を持たせたものである。LED赤外光の光源420をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源420からのLED赤外光をウインドシールド421に投光し、センサ上面に付加した投光波長の光のみを通過させる光学フィルタ423を通じて、その反射光を見ることでウインドシールド421に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図22の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、1つのPD422と簡単なレンズ(例えば単レンズ)424などを用いる構成でも問題ない。
Next, a fourth embodiment of the stereo camera will be described.
FIG. 22 is a schematic diagram illustrating the configuration of a stereo camera according to the fourth embodiment. A stereo camera 400 shown in FIG. 22 has a raindrop detection function. The LED infrared light source 420 is projected onto the windshield 421, and the raindrops adhering to the windshield 421 are observed by viewing the reflected light through the optical filter 423 that passes only the light of the projection wavelength added to the upper surface of the sensor. It is possible to detect. And since the whole surface of a windshield can be utilized as a detection area, raindrop detection with higher sensitivity is attained. Raindrops adhering to the windshield 421 by projecting the LED infrared light from the light source 420 onto the windshield 421 and seeing the reflected light through the optical filter 423 that passes only the light of the projection wavelength added to the upper surface of the sensor. Can be detected. In order to improve the accuracy, it is important that the detection area is large, but by using the upper part of FIG. 22, it is possible to detect the entire screen without interfering with the stereo camera. In addition, as the detection, it is only necessary to see the sum of the amount of reflected light on the entire screen, so that it is not always necessary to use an imaging device for detection, and the resolution of the lens for raindrop detection is not necessary. For this reason, there is no problem even in a configuration using one PD 422 and a simple lens (for example, a single lens) 424.

ここで、ステレオカメラの固定について説明する。
クロスプリズム405とプリズム408、409との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム405とプリズム408、409の間に若干隙間ができる場合がある。その場合には、クロスプリズム405とプリズム408、409との間を保持する保持部材(不図示)で固定するのが良い。保持部材が金属の場合には、その金属はプリズム408、409を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材が短くて済むように、隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。
Here, fixing of the stereo camera will be described.
The cross prism 405 and the prisms 408 and 409 may be fixed with an adhesive. When it is necessary to adjust the angle of the prism in order to match the rays of the left and right images, there may be a slight gap between the cross prism 405 and the prisms 408 and 409. In that case, the cross prism 405 and the prisms 408 and 409 are preferably fixed with a holding member (not shown) that holds the gap. When the holding member is a metal, the metal has a very large coefficient of thermal expansion as compared with the glass mainly constituting the prisms 408 and 409. Therefore, it is preferable that the metal holding member is as small as possible so as to fill the gap so that the metal holding member can be as short as possible. Further, if possible, if the holding member is made of glass having a low coefficient of thermal expansion, the environmental resistance to temperature characteristics is improved.

次に、ステレオカメラの実施例5ついて説明する。
図23はステレオカメラの実施例5を示す概略図である。本実施例は、実施例1、2で用いていた、偏光選択型のクロスプリズムや偏光選択型の偏光板を用いずに、PBS(偏光ビームスプリッタ)膜とミラー面(反射面)を用いている。そして、実施例1における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚のPBS膜とミラーとを用いるため、画面中央の欠陥部(隙間)は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Rはミラー面(反射面)433により反射され、更に光RのP偏光の光はPBS膜431で反射される。他方の光Lはミラー面432、434によりそれぞれ反射され、光LのS偏光の光はPBS膜431を透過する。そして、P偏光とS偏光の光が合波され、撮像レンズ404に入射されて撮像素子402に結像する。光L、Rとは互いに同じ光路長差を有する。ここで、PBS膜431としては、多層膜を使ったものでもよく、ワイヤグリッド偏光子を用いたものでもよいが、広範囲な入射角および入射波長に対して、安定した性能を持つワイヤグリッド偏光子を用いることが望ましい。
Next, a fifth embodiment of the stereo camera will be described.
FIG. 23 is a schematic diagram showing a fifth embodiment of the stereo camera. This embodiment uses a PBS (polarization beam splitter) film and a mirror surface (reflection surface) without using the polarization-selective cross prism or the polarization-selective polarizing plate used in the first and second embodiments. Yes. And it is the structure which can solve the subject that the optical path length difference has arisen in the right and left optical path in Example 1. FIG. In the configuration of the present embodiment, the left and right optical path lengths are substantially the same. For this reason, as with a normal stereo camera, parallax can be obtained simply by searching only the pixels in the horizontal direction at the time of parallax calculation. Further, in this configuration, unlike the case of using a cross prism, since one PBS film and a mirror are used, there is no defect (gap) at the center of the screen, and processing for filling the gap described later is not necessary. One light R is reflected by the mirror surface (reflection surface) 433, and P-polarized light of the light R is reflected by the PBS film 431. The other light L is reflected by the mirror surfaces 432 and 434, and the S-polarized light of the light L passes through the PBS film 431. Then, P-polarized light and S-polarized light are combined and incident on the imaging lens 404 to form an image on the imaging element 402. The lights L and R have the same optical path length difference. Here, the PBS film 431 may be a multilayer film or a wire grid polarizer, but a wire grid polarizer having stable performance with respect to a wide range of incident angles and wavelengths. It is desirable to use

また、実施例5において光学系を小さく構成するために、画角中央の光線との、PBS膜及びミラー面のなす角度αを45度より大きく設定している。図23(a)は、PBS膜で反射又は透過した光が入射するミラー面のなす角度αを52度に設定した場合である。図23(b)はαを45度に設定した場合である。図23(b)におけるαを45度にした場合では、図23(a)におけるαを52度とした場合と比較して、撮像レンズ404の画角端の光線が図中の左右方向へ大きく飛び出している。大きく飛び出した光線をカバーするため、プリズムの大きさが大きくなっている。つまり、画角中央の光線との、PBS膜及びミラー面のなす角度を45度より大きく設定することで、プリズムの大きさを小さくすることができる。αの上限値は90度となる。ただし、αの上限値が90度である場合には逆に45度の場合よりプリズムの大きさが大きくなるので、最適値はレンズの画角に依存する。更に、図23(a)に示すように光学絞り435をプリズム側寄りに配置していることに対して、図24に示すように光学絞り435を撮像レンズ404の内部に配置している。図23の光学絞り435の配置では、プリズムに対して既に画角に応じて光線が広がりを持つことになり、プリズムの大きさが図23(a)の光学絞り435の配置の場合におけるプリズムより大きくなっている。撮像レンズの光学絞りの位置は、撮像レンズよりプリズム側寄りの前方にある前絞りの位置であることが望ましい。   Further, in order to make the optical system small in the fifth embodiment, the angle α formed by the PBS film and the mirror surface with the light beam at the center of the angle of view is set to be larger than 45 degrees. FIG. 23A shows a case where the angle α formed by the mirror surface on which the light reflected or transmitted by the PBS film enters is set to 52 degrees. FIG. 23B shows a case where α is set to 45 degrees. In the case where α in FIG. 23B is 45 degrees, the light beam at the angle of view of the imaging lens 404 is larger in the left-right direction in the figure than in the case where α is 52 degrees in FIG. Jumping out. In order to cover the light beam that has jumped out, the size of the prism is increased. That is, the prism size can be reduced by setting the angle formed by the PBS film and the mirror surface to the light beam at the center of the angle of view to be larger than 45 degrees. The upper limit value of α is 90 degrees. However, when the upper limit value of α is 90 degrees, the prism size is larger than when the angle is 45 degrees, and the optimum value depends on the angle of view of the lens. Furthermore, as shown in FIG. 23A, the optical diaphragm 435 is arranged closer to the prism side, whereas the optical diaphragm 435 is arranged inside the imaging lens 404 as shown in FIG. In the arrangement of the optical aperture 435 in FIG. 23, the light beam already has a spread according to the angle of view with respect to the prism, and the size of the prism is larger than that of the prism in the case of the arrangement of the optical aperture 435 in FIG. It is getting bigger. The position of the optical aperture of the imaging lens is preferably the position of the front aperture located in front of the imaging lens closer to the prism side.

図24(c)に示すように、本実施例の撮像装置における領域分割フィルタは、水平垂直の画素の配列に対して45度の方向の偏光透過角度を持たせる。この場合には、このような左右の画像を重畳素子を用いて合波する構成では、合波に用いるPBS膜431など左右の像を合波する偏光合波素子の軸方向も、合わせて撮像素子の画素配列から45度回す必要がある。ステレオカメラでは、左右の対応画素の値が一致している必要があるが、もし画素配列に対して水平垂直方向に偏光子が配置されており、入射光がS偏光とP偏光の偏光比が1でない場合には、対応位置の画素値が偏光比の影響でずれてしまう。このずれはステレオマッチング処理での精度を低下させ、測距精度の低下を招く。そのため、被写体からの光の偏光比が小さいことが望ましい。偏光比が発生する要因としては、カメラに対して垂直の面、また水平の面がフレネル反射の式を見ると分かるように、大きく発生させる。逆に斜めに立っているものに関しては、影響は少ない。また、実環境では、特に車載カメラを考慮した場合には、写っているものは、路面に立っている電柱や前方車両など基本的に縦方向や横方向の面が多い。そのため、路面に対して、斜め方向に関しては、偏光比は小さくなる。基本的にステレオカメラは路面に対して平行に設置する。そのため、本実施形態の構成のように、領域分割フィルタに水平垂直の画素の配列に対して45度の方向の偏光透過角度を持たせることは、左右の画像の視差以外の差を無くし、本発明のステレオカメラの測距精度の向上にも大きく効果を発揮する。   As shown in FIG. 24C, the area dividing filter in the imaging apparatus of the present embodiment has a polarization transmission angle of 45 degrees with respect to the horizontal and vertical pixel arrangement. In this case, in such a configuration in which the left and right images are combined using the superimposing element, the axial direction of the polarization multiplexing element that combines the left and right images such as the PBS film 431 used for multiplexing is also captured. It is necessary to turn 45 degrees from the pixel arrangement of the element. In a stereo camera, the values of the corresponding pixels on the left and right need to match, but if the polarizer is arranged in the horizontal and vertical directions with respect to the pixel array, the incident light has a polarization ratio of S-polarized light and P-polarized light. If it is not 1, the pixel value at the corresponding position is shifted due to the influence of the polarization ratio. This shift lowers the accuracy in the stereo matching process and causes a decrease in distance measurement accuracy. Therefore, it is desirable that the polarization ratio of light from the subject is small. As a factor for the generation of the polarization ratio, a vertical plane and a horizontal plane with respect to the camera are generated largely as can be seen from the Fresnel reflection formula. On the other hand, there is little impact on things standing diagonally. In an actual environment, especially when an in-vehicle camera is taken into consideration, what is shown is basically a vertical or horizontal surface such as a utility pole standing on the road surface or a vehicle ahead. Therefore, the polarization ratio is small in the oblique direction with respect to the road surface. Basically, stereo cameras are installed parallel to the road surface. Therefore, as in the configuration of the present embodiment, providing the region division filter with a polarization transmission angle in the direction of 45 degrees with respect to the horizontal and vertical pixel arrangement eliminates differences other than the parallax between the left and right images. The present invention is also very effective in improving the ranging accuracy of the stereo camera.

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様1)
受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して受光素子に出射する領域分割フィルタ104を備え、領域分割フィルタ104は、受光素子の画素の配列方向に対して45度の偏光透過角度を有する。これによれば、上記実施形態について説明したように、領域分割フィルタの偏光透過角度は撮像部の受光素子の配列方向に対して45度になっている。上述のようにステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面の偏光を用いて2つの画像を重畳する。これにより、従来のような領域分割フィルタの偏光透過角度が略0度である場合に比べて、被写体の縦方向、横方向の面による偏光依存性を減らすことができる。よって、受光素子で受光した2つの光の輝度の差を略無くすことができ、対応位置の画素の輝度を略一致させることができる。
(態様2)
(態様1)において、領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、領域分割フィルタの偏光透過方向に応じて定める。これによれば、上記実施形態について説明したように、複屈折板は同一の光路から入射された光を分岐する。よって、入射された光を互いに直交した2つの偏光成分の光に分岐することができる。
(態様3)
(態様)において、複屈折板の前面に光学的ローパスフィルタを設ける。これによれば、上記実施形態について説明したように、同一の光路から入射された光を複数回分岐する。これにより、二重像に分離できる。
(態様4)
(態様3)において、光学的ローパスフィルタは、複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、上記複屈折板とは別の複屈折板とを含んで構成される。これによれば、上記実施形態について説明したように、同一の光路から入射された光を4回分岐する。これにより、それぞれの複屈折板によって二重像にそれぞれ分離できる。よって、入射された光を4点に分岐できる。
(態様5)
(態様)〜(態様4)のいずれかにおいて、複屈折板の材料は、水晶である。これによれば、上記実施形態について説明したように、屈折方向及びシフト量は厚みや結晶軸を適宜変更することで容易に調整することができる。
(態様6)
(態様)において、複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものである。これによれば、上記実施形態について説明したように、90度軸が違う2つの複屈折板で縦方向、横方向にそれぞれ1画素づつ入射位置をずらすことができる。そのため、同じ光の位置を取得している画素となり、この画素間の輝度比を演算することで偏光比を得ることができる。
(態様7)
(態様1)において、グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設ける。これによれば、上記実施形態について説明したように、
(態様8)
互いに直交する方向に偏光方向が異なる視差を有する2つの画像の光路を1つに重ね合わせる偏光合波手段と、上記撮像装置を用い少なくとも2つの偏光方向の偏光成分の光を受光して2つの偏光成分の光を視差画像として取得する撮像手段と、重ね合わさった画像を撮像手段に結像させる光学部材と、撮像手段の2つの撮像領域に、重ね合わさった画像を2つの画像に分岐させる領域分割偏光手段とを備える。これによれば、上記実施形態について説明したように、斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。
(態様9)
(態様8)において、撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備える。これによれば、上記実施形態について説明したように、ステレオカメラを車載カメラとして用いた場合、路面に対して斜め方向の面からの反射光を、撮像部に入射位置から45度に偏光させて受光素子に受光させることができる。この結果、同一の光路から入射された光の互いに直交する方向に偏光方向が異なる2つの偏光成分の光を受光できる。これにより、受光素子で受光した2つの光の輝度の差を略無くすことができ、入射光が互いに直交する方向に異なる2つの偏光成分の偏光差が略なくなって斜め方向の面からの反射光によって生じる偏光差の影響を受け難くなる。よって、ステレオカメラにおけるマッチング処理で対応する画素検索の精度を向上させることができ、距離算出手段による距離演算の精度を上げることができる。
(態様10)
(態様8)において、偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のステレオカメラと同様に視差を得ることができる。
(態様11)
(態様8)において、偏光合波手段では、2つの画像の光路における光路長を互いに略同じにする。これによれば、上記実施形態について説明したように、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。
(態様12)
移動体が(態様8)〜(態様11)のいずれかに記載のステレオカメラを搭載する。これによれば、上記実施形態について説明したように、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect 1)
Each polarizer region is arranged with respect to the arrangement of the light receiving elements, and light of each polarization component incident from one optical path is transmitted through each polarizer region corresponding to the polarization component of the light, and light of two polarization components. The region dividing filter 104 is branched into the light receiving element and emitted to the light receiving element. The region dividing filter 104 has a polarization transmission angle of 45 degrees with respect to the arrangement direction of the pixels of the light receiving element. According to this, as described in the above embodiment, the polarization transmission angle of the region dividing filter is 45 degrees with respect to the arrangement direction of the light receiving elements of the imaging unit. As described above, when a stereo camera is used as an in-vehicle camera, two images are superimposed using polarized light in a plane oblique to the road surface. As a result, the polarization dependency due to the vertical and horizontal planes of the subject can be reduced as compared with the conventional case where the polarization transmission angle of the region division filter is approximately 0 degrees. Therefore, the difference in luminance between the two lights received by the light receiving element can be substantially eliminated, and the luminance of the pixels at the corresponding positions can be substantially matched.
(Aspect 2)
In (Aspect 1), a birefringent plate that branches into light of two polarization components incident from one optical path is provided on the incident side of the region dividing filter, and the refraction direction of the birefringent plate is the polarization transmission direction of the region dividing filter. Determine according to According to this, as described in the above embodiment, the birefringent plate branches light incident from the same optical path. Therefore, the incident light can be branched into two polarized light components orthogonal to each other.
(Aspect 3)
In (Aspect 2 ), an optical low-pass filter is provided in front of the birefringent plate. According to this, as described in the above embodiment, the light incident from the same optical path is branched a plurality of times. Thereby, it is separable into a double image.
(Aspect 4)
In (Aspect 3), the optical low-pass filter includes a birefringent plate and a birefringent plate having a refraction direction of 45 degrees with respect to the refraction direction of the birefringent plate and different from the birefringent plate. Composed. According to this, as described in the above embodiment, the light incident from the same optical path is branched four times. Thereby, it can isolate | separate into a double image by each birefringent plate, respectively. Therefore, the incident light can be branched into four points.
(Aspect 5)
In any one of (Aspect 2 ) to (Aspect 4), the material of the birefringent plate is quartz. According to this, as described in the above embodiment, the refraction direction and the shift amount can be easily adjusted by appropriately changing the thickness and the crystal axis.
(Aspect 6)
In (Aspect 2 ), the birefringent plate is a combination of two birefringent layers whose refraction directions differ from each other by 90 degrees. According to this, as described in the above embodiment, the incident position can be shifted by one pixel in the vertical direction and the horizontal direction by two birefringent plates having different 90-degree axes. For this reason, the pixels acquire the same light position, and the polarization ratio can be obtained by calculating the luminance ratio between the pixels.
(Aspect 7)
In (Aspect 1), a polarization filter that transmits and emits light of two polarization components having different polarization directions in directions orthogonal to each other with respect to the light receiving element corresponding to green is provided. According to this, as described in the above embodiment,
(Aspect 8)
Polarization combining means for superimposing two optical paths of two images having parallaxes having different polarization directions in directions orthogonal to each other, and receiving light of polarization components of at least two polarization directions by using the imaging device, An imaging unit that acquires the light of the polarization component as a parallax image, an optical member that forms the superimposed image on the imaging unit, and a region where the superimposed image is branched into two images. Split polarization means. According to this, as described in the above embodiment, the reflected light from the surface in the oblique direction can be polarized by the imaging unit at 45 degrees from the incident position and received by the light receiving element. As a result, it is possible to receive light of two polarization components having different polarization directions in directions orthogonal to each other of light incident from the same optical path. As a result, the difference in luminance between the two lights received by the light receiving element can be substantially eliminated, and the difference in polarization between the two polarization components that are different from each other in the direction in which the incident light is orthogonal to each other substantially disappears, and the reflected light from the surface in the oblique direction. It becomes difficult to receive the influence of the polarization difference caused by.
(Aspect 9)
In (Aspect 8), two images having parallax are formed by branching the image for each polarization direction from the image captured by the imaging unit, and the distance to the subject is calculated by the parallax between the two formed images. Distance calculation means is provided. According to this, as described in the above embodiment, when a stereo camera is used as an in-vehicle camera, reflected light from a surface oblique to the road surface is polarized at 45 degrees from the incident position on the imaging unit. The light receiving element can receive light. As a result, it is possible to receive light of two polarization components having different polarization directions in directions orthogonal to each other of light incident from the same optical path. As a result, the difference in luminance between the two lights received by the light receiving element can be substantially eliminated, and the difference in polarization between the two polarization components that are different from each other in the direction in which the incident light is orthogonal to each other substantially disappears, and the reflected light from the surface in the oblique direction. It becomes difficult to receive the influence of the polarization difference caused by. Therefore, the accuracy of the corresponding pixel search can be improved by the matching process in the stereo camera, and the accuracy of the distance calculation by the distance calculation means can be increased.
(Aspect 10)
In (Aspect 8), the polarization multiplexing means includes a polarization beam splitter and a mirror. According to this, as described in the above embodiment, the left and right optical path lengths can be made substantially the same with a simple configuration, and parallax can be obtained in the same manner as in a normal stereo camera.
(Aspect 11)
In (Aspect 8), the polarization multiplexing means makes the optical path lengths in the optical paths of the two images substantially the same. According to this, as described in the above embodiment, the parallax can be obtained by simply searching only the pixels in the horizontal direction at the time of the parallax calculation, as in the case of a normal stereo camera.
(Aspect 12)
The moving body includes the stereo camera according to any one of (Aspect 8) to (Aspect 11). According to this, as described in the above embodiment, not only image information in front of the vehicle but also distance information to the preceding vehicle and pedestrian in front of the vehicle can be acquired. It is possible to ensure driving safety, such as giving an early warning.

1 撮像装置
100 撮像部
101 撮像素子
102 基板
103 複屈折板
104 領域分割フィルタ
105 複屈折板
106 複屈折板
107 複屈折板
200 光学フィルタ部
201 フィルタ基板
202 偏光フィルタ層
203 充填層
300 ステレオカメラ
301 偏光重畳モジュール
301−1 偏光ビームスプリッタ
301−2 偏光フィルタ
301−3 ミラー
302 レンズ
303 フィルタ
304 撮像素子
400 ステレオカメラ
401 基板
402 撮像素子
403 光学フィルタ
404 撮像レンズ
405 クロスプリズム
406 側面
407 側面
408 三角柱のプリズム
409 三角柱のプリズム
410 側面
411 ミラー
412 ミラー
413 基板
414 撮像素子
415 光学フィルタ
416 撮像レンズ
420 光源
421 ウインドシールド
422 PD
423 光学フィルタ
424 レンズ
431 偏光ビームスプリッタ膜
432 ミラー面
433 ミラー面
434 ミラー面
435 光学絞り
450 偏光板
450−1 偏光板
450−2 偏光板
500 自動車
501 ステレオカメラ
502 信号処理装置
DESCRIPTION OF SYMBOLS 1 Image pick-up device 100 Image pick-up part 101 Image pick-up element 102 Substrate 103 Birefringent plate 104 Area division filter 105 Birefringent plate 106 Birefringent plate 107 Birefringent plate 200 Optical filter part 201 Filter substrate 202 Polarizing filter layer 203 Filling layer 300 Stereo camera 301 Polarization Superimposing module 301-1 Polarizing beam splitter 301-2 Polarizing filter 301-3 Mirror 302 Lens 303 Filter 304 Imaging device 400 Stereo camera 401 Substrate 402 Imaging device 403 Optical filter 404 Imaging lens 405 Cross prism 406 Side surface 407 Side surface 408 Triangular prism 409 Triangular prism 410 Side 411 Mirror 412 Mirror 413 Substrate 414 Imaging element 415 Optical filter 416 Imaging lens 420 Light source 421 Windshield 422 D
423 Optical filter 424 Lens 431 Polarizing beam splitter film 432 Mirror surface 433 Mirror surface 434 Mirror surface 435 Optical diaphragm 450 Polarizing plate 450-1 Polarizing plate 450-2 Polarizing plate 500 Car 501 Stereo camera 502 Signal processing device

特開2010−243463号公報JP 2010-243463 A

Claims (11)

互いに直交する方向に偏光方向が異なる視差を有する2つの画像の光路を1つに重ね合わせる偏光合波手段と、2つの偏光成分の光をそれぞれ受光する複数の受光素子が配列された撮像素子を有する撮像手段と、前記偏光合波手段によって重ね合わさった画像を前記撮像手段に結像させる光学部材と、前記撮像手段の2つの撮像領域に、重ね合わさった画像を2つの画像に分岐させる領域分割偏光手段とを備えるステレオカメラにおいて、
前記領域分割偏光手段は、前記受光素子の配列に対して各偏光子領域を配置するとともに1つの光路から入射する各偏光成分の光を当該光の偏光成分に対応する前記各偏光子領域でそれぞれ透過させて2つの偏光成分の光に分岐して前記受光素子に出射する領域分割フィルタを備え、
前記領域分割フィルタの偏光透過角度を、水平垂直に対応する前記受光素子の画素の配列方向に対して45度としたことを特徴とするステレオカメラ
A polarization multiplexing unit that superimposes optical paths of two images having parallaxes having different polarization directions in directions orthogonal to each other, and an imaging device in which a plurality of light receiving elements that respectively receive light of two polarization components are arranged. An imaging unit having an optical member that forms an image superimposed on the imaging unit by the polarization multiplexing unit, and an area division that branches the superimposed image into two images in the two imaging regions of the imaging unit In a stereo camera comprising polarization means ,
The region dividing polarization unit arranges each polarizer region with respect to the arrangement of the light receiving elements , and transmits light of each polarization component incident from one optical path in each polarizer region corresponding to the polarization component of the light. A region dividing filter that transmits and splits into two polarized light components and emits the light to the light receiving element;
A stereo camera characterized in that a polarization transmission angle of the area dividing filter is 45 degrees with respect to an arrangement direction of pixels of the light receiving elements corresponding to horizontal and vertical .
請求項1記載のステレオカメラにおいて、
前記領域分割フィルタの入射側に1つの光路から入射する2つの偏光成分の光に分岐する複屈折板を設け、該複屈折板の屈折方向は、前記領域分割フィルタの偏光透過方向に応じて定めることを特徴とするステレオカメラ
The stereo camera according to claim 1,
A birefringent plate is provided on the incident side of the region dividing filter to split light of two polarization components incident from one optical path, and the refraction direction of the birefringent plate is determined according to the polarization transmission direction of the region dividing filter. A stereo camera characterized by that.
請求項2記載のステレオカメラにおいて、
前記複屈折板の前面に光学的ローパスフィルタを設けることを特徴とするステレオカメラ
The stereo camera according to claim 2,
A stereo camera characterized in that an optical low-pass filter is provided in front of the birefringent plate.
請求項3記載のステレオカメラにおいて、
前記光学的ローパスフィルタは、前記複屈折板と、当該複屈折板の屈折方向に対して45度の屈折方向を有する、前記複屈折板とは別の複屈折板とを含んで構成されることを特徴とするステレオカメラ
The stereo camera according to claim 3,
The optical low-pass filter includes the birefringent plate and a birefringent plate having a refractive direction of 45 degrees with respect to the refractive direction of the birefringent plate and different from the birefringent plate. Stereo camera characterized by
請求項2〜4のいずれかに記載のステレオカメラにおいて、
前記複屈折板の材料は、水晶であることを特徴とするステレオカメラ
The stereo camera according to any one of claims 2 to 4,
A stereo camera , wherein the material of the birefringent plate is quartz.
請求項2〜5のいずれかに記載のステレオカメラにおいて、
前記複屈折板は、屈折方向が互いに90度異なる2つの複屈折層を組み合わせたものであることを特徴とするステレオカメラ
The stereo camera according to any one of claims 2 to 5 ,
2. The stereo camera according to claim 1, wherein the birefringent plate is a combination of two birefringent layers whose refraction directions are different from each other by 90 degrees.
請求項1〜6のいずれかに記載のステレオカメラにおいて、
グリーンに対応する受光素子に対して互いに直交する方向に偏光方向が異なる2つの偏光成分の光を透過して出射する偏光フィルタを設けることを特徴とするステレオカメラ。
The stereo camera according to any one of claims 1 to 6 ,
A stereo camera comprising a polarization filter that transmits and emits light of two polarization components having different polarization directions in directions orthogonal to each other with respect to a light receiving element corresponding to green .
求項1〜7のいずれかに記載のステレオカメラにおいて、
前記撮像手段によって撮像した画像から、偏光方向ごとに画像を分岐して視差をもった2つの画像を形成し、形成した2つの画像間の視差により被写体までの距離を算出する距離算出手段を備えることを特徴とするステレオカメラ。
In the stereo camera according to any one of Motomeko 1-7,
A distance calculation unit is provided that forms two images having a parallax by branching the image for each polarization direction from the image captured by the imaging unit, and calculates a distance to the subject based on the parallax between the two formed images. A stereo camera characterized by that.
請求項1〜8のいずれかに記載のステレオカメラにおいて、
前記偏光合波手段は、偏光ビームスプリッタ及びミラーを含んで構成されていることを特徴とするステレオカメラ。
The stereo camera according to any one of claims 1 to 8 ,
The stereo camera includes a polarization beam splitter and a mirror.
請求項1〜9のいずれかに記載のステレオカメラにおいて、
前記偏光合波手段では、2つの画像の光路における光路長を互いに略同じにすることを特徴とするステレオカメラ。
The stereo camera according to any one of claims 1 to 9 ,
A stereo camera characterized in that in the polarization multiplexing means, the optical path lengths in the optical paths of the two images are substantially the same.
請求項1〜10のいずれかに記載のステレオカメラを搭載することを特徴する移動体。 Moving body, characterized in that for mounting the stereo camera according to any one of claims 1 to 10.
JP2013053090A 2013-03-15 2013-03-15 Stereo camera and moving object Expired - Fee Related JP6202364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013053090A JP6202364B2 (en) 2013-03-15 2013-03-15 Stereo camera and moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013053090A JP6202364B2 (en) 2013-03-15 2013-03-15 Stereo camera and moving object

Publications (3)

Publication Number Publication Date
JP2014178241A JP2014178241A (en) 2014-09-25
JP2014178241A5 JP2014178241A5 (en) 2017-01-12
JP6202364B2 true JP6202364B2 (en) 2017-09-27

Family

ID=51698333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013053090A Expired - Fee Related JP6202364B2 (en) 2013-03-15 2013-03-15 Stereo camera and moving object

Country Status (1)

Country Link
JP (1) JP6202364B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157804A (en) * 2016-03-04 2017-09-07 キヤノン株式会社 Imaging device
CN108834072B (en) * 2017-05-03 2020-08-11 腾讯科技(深圳)有限公司 Method and device for acquiring movement trajectory
CN111292537B (en) * 2018-12-06 2023-05-16 中国科学院长春光学精密机械与物理研究所 System and method for license plate recognition at night
KR20230057109A (en) 2021-10-21 2023-04-28 삼성전자주식회사 Processing method and device of sensing data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1054960A (en) * 1996-05-10 1998-02-24 Daishinku Co Optical low-pass filter
US7061532B2 (en) * 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
JP5637448B2 (en) * 2011-01-27 2014-12-10 株式会社リコー Polarized imaging device
JP2013034095A (en) * 2011-08-02 2013-02-14 Nikon Corp Imaging apparatus and adapter unit
JP6146006B2 (en) * 2012-12-25 2017-06-14 株式会社リコー Imaging device and stereo camera

Also Published As

Publication number Publication date
JP2014178241A (en) 2014-09-25

Similar Documents

Publication Publication Date Title
EP2875315B1 (en) Stereo camera
JP6156724B2 (en) Stereo camera
KR101458287B1 (en) Ranging camera apparatus
CA2811260C (en) Camera imaging systems and methods
JP2014178190A5 (en)
JP4826507B2 (en) Focus detection apparatus and imaging apparatus
WO2005119175A1 (en) Camera module
WO2017155622A1 (en) Phase detection autofocus using opposing filter masks
JP5278814B2 (en) Stereo camera device and vehicle exterior monitoring device
JP6202364B2 (en) Stereo camera and moving object
JP2007295113A (en) Imaging apparatus
JP2008157851A (en) Camera module
JP2014041171A (en) Polarization device and imaging device
JP2014178241A5 (en)
CN110392818B (en) Distance measuring device, head-mounted display device, portable information terminal, image display device, and periphery monitoring system
JP2014003433A (en) Imaging apparatus
JP2014036298A (en) Imaging apparatus
JP5549566B2 (en) Stereo camera
JP6146006B2 (en) Imaging device and stereo camera
KR20100020200A (en) Stereo vision camera
JP2014178494A (en) Parallax image photographing device
JP2007057386A (en) Inline three-dimensional measuring apparatus and measuring method using one camera
JP2014178494A5 (en)
JP2014119654A (en) Optical filter, cross prism and cross mirror, and imaging apparatus and stereo camera including the optical filter
JP2011135414A (en) Three-dimensional image photographing device, and three-dimensional image photographing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170817

R151 Written notification of patent or utility model registration

Ref document number: 6202364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees