JP4983271B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4983271B2 JP4983271B2 JP2007010230A JP2007010230A JP4983271B2 JP 4983271 B2 JP4983271 B2 JP 4983271B2 JP 2007010230 A JP2007010230 A JP 2007010230A JP 2007010230 A JP2007010230 A JP 2007010230A JP 4983271 B2 JP4983271 B2 JP 4983271B2
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- imaging
- pixels
- image
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 239
- 238000001514 detection method Methods 0.000 claims description 371
- 210000001747 pupil Anatomy 0.000 claims description 75
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 238000009825 accumulation Methods 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 20
- 230000004907 flux Effects 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は撮像装置に関する。 The present invention relates to an imaging apparatus.
瞳分割位相差検出方式の焦点検出用画素を撮影素子の中央部に配列し、この焦点検出用画素列で撮影光学系の焦点検出を行うとともに、焦点検出用画素列の周囲に二次元状に配列した撮像用画素で撮像を行うようにした撮像装置が知られている（例えば、特許文献１参照）。 Focus detection pixels of the pupil division phase difference detection method are arranged in the center of the imaging element, and the focus detection of the imaging optical system is performed with this focus detection pixel array, and two-dimensionally around the focus detection pixel array There is known an imaging apparatus that performs imaging with an array of imaging pixels (see, for example, Patent Document 1).
この出願の発明に関連する先行技術文献としては次のものがある。
しかしながら、上述した従来の撮像装置では、焦点検出用画素位置の画像出力を周囲の撮像用画素の画素出力を用いて補間により求めなけらばならないので、撮影画面内の多くの位置で焦点検出を行うために多くの焦点検出用画素列を配置するほど画像品質が劣化するという問題がある。 However, in the conventional imaging device described above, the image output at the focus detection pixel position must be obtained by interpolation using the pixel output of the surrounding imaging pixels, so that focus detection is performed at many positions in the shooting screen. There is a problem that image quality deteriorates as more focus detection pixel rows are arranged for the purpose.
請求項１の発明による撮像装置は、光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中の、前記光学系による画面上の前記第１焦点検出用画素とは異なる位置に配置された第２焦点検出用画素とを有する第２の撮像素子とを備えたことを特徴とする。
請求項１５の発明による撮像装置は、光学系からの光束を互いに異なる第１方向および第２方向に分割する光束分割手段と、前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中に配置された第２焦点検出用画素とを有する第２の撮像素子と、前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成する画像生成手段とを備えたことを特徴とする。
An image pickup apparatus according to a first aspect of the present invention converts a light beam from the optical system into a first light beam direction and a second light beam direction that are different from each other, and an image of the light beam divided in the first direction into an image signal. A first imaging device having first imaging pixels arranged two-dimensionally and first focus detection pixels arranged in the array of the first imaging pixels; and divided in the second direction. Second imaging pixels arranged in a two-dimensional manner for converting an image of the luminous flux into an image signal, and the first focus detection pixels on the screen by the optical system in the array of the second imaging pixels, And a second imaging element having second focus detection pixels arranged at different positions .
According to a fifteenth aspect of the present invention, there is provided an image pickup apparatus that converts a light beam from an optical system into a first direction and a second direction different from each other, and converts an image of the light beam divided in the first direction into an image signal. A first imaging device having first imaging pixels arranged two-dimensionally and first focus detection pixels arranged in the array of the first imaging pixels; and divided in the second direction. Second imaging device comprising: second imaging pixels arranged in a two-dimensional manner for converting an image of the luminous flux into an image signal; and second focus detection pixels arranged in the array of the second imaging pixels. Image output at the position of the first focus detection pixel of the first image sensor and the second image pickup pixel at the position corresponding to the first focus detection pixel of the second image sensor. further comprising an image generating means for generating on the basis of the output And butterflies.
本発明によれば、撮像用画素中に焦点検出用画素を配列した固体撮像素子において、焦点検出用画素位置の画像データを補間による画質の劣化を防止することができる。 According to the present invention, in a solid-state imaging device in which focus detection pixels are arranged in image pickup pixels, image quality deterioration due to interpolation of image data at the focus detection pixel position can be prevented.
図１は一実施の形態の構成を示す。一実施の形態のデジタルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、マウント部２０４を介して交換レンズ２０２がカメラボディ２０３に装着される。
FIG. 1 shows the configuration of an embodiment. A
交換レンズ２０２はレンズ駆動制御装置２０６、ズーミングレンズ２０８、レンズ２０９、フォーカシングレンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６はマイクロコンピューターとメモリなどの周辺部品から構成され、フォーカシングレンズ２０８と絞り２１１の駆動制御、ズーミングレンズ２０８、フォーカシングレンズ２１０および絞り２１１の状態検出、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信などを行う。
The
一方、カメラボディ２０３はボディ駆動制御装置２１４、液晶表示装置駆動回路２１５、液晶表示素子２１６、メモリカード２１９、撮像素子２２０、２２１、光分割プリズム２２３などを備えている。光分割プリズム２２３は、交換レンズ２０２から到来する光束を反射光束と透過光束に１：１に分割するハーフミラー面２２２を備えている。撮像素子２２０は光分割プリズム２２３を透過した光束を受光する固体撮像素子であり、交換レンズ２０２の予定結像面（撮像面）に配置される。一方、撮像素子２２１は光分割プリズム２２３を反射した光束を受光する固体撮像素子であり、交換レンズ２０２の他の予定結像面（撮像面）に配置される。
On the other hand, the
ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成され、固体撮像素子２２０、２２１からの画像信号の読み出しと補正、レンズ駆動制御装置２１４との通信（レンズ情報の受信、デフォーカス量などのカメラ情報の送信）、交換レンズ２０２の焦点調節状態（デフォーカス量）の検出、およびカメラ全体の動作制御を行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６はマウント部２０４に設けられた電気接点２１３を介して通信を行い、レンズ情報、デフォーカス量、絞り情報などの各種情報の授受を行う。
The body
この一実施の形態のカメラでは、液晶表示素子駆動回路２１５と液晶表示素子２１６によりＥＶＦ（Electric View Finder）を構成し、固体撮像素子２２０、２２１による撮像画像を液晶表示素子２１６に表示して接眼レンズ２１７を介して撮影者に視認させる。なお、撮像画像はメモリカード２１９に記録される。
In the camera according to this embodiment, an EVF (Electric View Finder) is configured by the liquid crystal display
固体撮像素子２２０、２２１には撮像用画素が２次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出用画素列が組み込まれている。交換レンズ２０２を透過して光分割プリズム２２３により分割された光束により固体撮像素子２２０、２２１上に形成された被写体像は、固体撮像素子２２０,２２１により光電変換され、それらの出力はボディ駆動制御装置２１４へ送られる。
The solid-
ボディ駆動制御装置２１４は、焦点検出用画素の出力に基づき焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像画素の出力に基づき生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、画像信号を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を伝達し、絞り開口の大きさを制御させる。
The body
レンズ駆動制御装置２０６は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、ズーミングレンズ２０８、フォーカシングレンズ２１０の位置と、絞り２１１の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。また、レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動するとともに、受信した絞り制御情報に基づいて絞り２１１を不図示のモーター等の駆動源により駆動する。
The lens
図２は固体撮像素子２２０の平面図である。固体撮像素子２２０は、単一の基板上において行方向とそれに直交する方向の列方向に二次元正方配列された撮像用画素および焦点検出用画素から構成される。すなわち、撮像用画素は行方向と列方向に稠密に配列されており、固体撮像素子２２０では画素の稠密配列方向は行方向と列方向になる。図２において、点１００は撮影画面中心（交換レンズ２０２の光軸と固体撮像素子２２０の交点）であり、直線１０１は点１００を通る行方向（水平方向）の直線であり、直線１０２は点１００を通る列方向（垂直方向）の直線である。
FIG. 2 is a plan view of the solid-
直線１０２の上方向が図１に示すＡの方向であり、下方向が図１に示すＢの方向である。直線１０３は点１００を中心に直線１０１を反時計回りに４５度回転した直線であり、直線１０４は点１００を中心に直線１０１を時計回りに４５度回転した直線である。固体撮像素子２２０は直線１０３と直線１０４により４つの区域に分割され、区域１１０と区域１３０は点１００から行方向で右方向および左方向に広がる区域であり、区域１５０と区域１７０は点１００から列方向で上方向および下方向に広がる区域である。
The upward direction of the
点１００を中心とする楕円１０５、１０６において、点１００を含む楕円１０５の内側が画面中心近傍の領域１０７であり、楕円１０５の外側でかつ楕円１０６の内側の領域は中間的な領域１０８であり、楕円１０６の外側の領域は画面周辺の領域１０９である。
In the
図２おいて、小さな長方形で示した領域に焦点検出画素が配列されている。この領域が焦点検出領域（焦点検出エリア）となる。長方形の長手方向が焦点検出画素の配列方向を示しており、焦点検出画素が行方向に配列された領域を黒く塗りつぶした長方形で示している。長方形の長手方向の長さは焦点検出領域の長さ（焦点検出画素の配列画素数）を示しており、領域１２２、１４２は他の領域よりその長さが短く設定されている。焦点検出領域以外には撮像用画素が配列されており、複数の焦点検出領域の間の領域は撮像用画素のみの領域となっている。
In FIG. 2, focus detection pixels are arranged in a region indicated by a small rectangle. This area becomes a focus detection area (focus detection area). The longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the region in which the focus detection pixels are arranged in the row direction is indicated by a black rectangle. The length of the rectangle in the longitudinal direction indicates the length of the focus detection area (the number of pixels in which focus detection pixels are arranged). The
図３は固体撮像素子２２１の平面図である。固体撮像素子２２１は、単一の基板上において行方向とそれに直交する方向の列方向に二次元正方配列された撮像用画素および焦点検出用画素から構成される。すなわち、撮像用画素は行方向と列方向に稠密に配列されており、固体撮像素子２２１では画素の稠密配列方向は行方向と列方向になる。図３において、点１００は撮影画面中心（交換レンズ２０２の光軸と固体撮像素子２２１の交点）であり、直線１０１は点１００を通る行方向（水平方向）の直線であり、直線１０２は点１００を通る列方向（垂直方向）の直線である。
FIG. 3 is a plan view of the solid-
直線１０２の上方向が図１に示すＡの方向であり、下方向が図１に示すＢの方向である。直線１０３は点１００を中心に直線１０１を反時計回りに４５度回転した直線であり、直線１０４は点１００を中心に直線１０１を時計回りに４５度回転した直線である。固体撮像素子２２１は直線１０３と直線１０４により４つの区域に分割され、区域１１０と区域１３０は点１００から行方向で右方向および左方向に広がる区域であり、区域１５０と区域１７０は点１００から列方向で上方向および下方向に広がる区域である。
The upward direction of the
点１００を中心とした楕円１０５、１０６において、点１００を含む楕円１０５の内側が画面中心近傍の領域１０７であり、楕円１０５の外側でかつ楕円１０６の内側の領域は中間的な領域１０８であり、楕円１０６の外側の領域は画面周辺の領域１０９である。
In the
図３おいて、小さな長方形で示した領域に焦点検出画素が配列されている。この領域が焦点検出領域（焦点検出エリア）となる。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が列方向に配列された領域を白抜きにした長方形で示している。長方形の長手方向の長さは焦点検出領域の長さ（焦点検出用画素の配列画素数）を示しており、領域１６２、１８２は他の領域よりその長さが短く設定されている。焦点検出領域以外には撮像用画素が配列されており、複数の焦点検出領域の間の領域は撮像用画素のみの領域となっている。
In FIG. 3, focus detection pixels are arranged in a region indicated by a small rectangle. This area becomes a focus detection area (focus detection area). The longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the region where the focus detection pixels are arranged in the column direction is indicated by a white rectangle. The length of the rectangle in the longitudinal direction indicates the length of the focus detection area (the number of pixels for focus detection pixels), and the
図４は交換レンズの撮影画面の平面図である。上述したように、交換レンズ２０２から到来する光束は、光分割プリズム２２３により透過光束と反射光束に分割される。透過光束により被写体像が結像される交換レンズ２０２の一方の予定結像面には固体撮像素子２２０が配置され、反射光束により被写体像が結像される交換レンズ２０２の他方の予定結像面には固体撮像素子２２１が配置される。したがって、透過光束側の予定結像面と反射光束側の予定結像面とに交換レンズ２０２の撮影画面が存在することになるが、この一実施の形態では二つの固体撮像素子２２０と２２１の撮像画像を合成して一つの画像を生成するので、二つの撮影画面を同一のものとして取り扱う。固体撮像素子２２０の各画素と固体撮像素子２２１の各画素とは一つの撮影画面を介してそれぞれ対応関係にある。
FIG. 4 is a plan view of the imaging screen of the interchangeable lens. As described above, the light beam coming from the
つまり、図４は、図２に示す固体撮像素子２２０の焦点検出領域の配置と、図３に示す固体撮像素子２２１の焦点検出領域の配置とを同一の撮影画面上で表した図である。撮影画面上において、固体撮像素子２２０により設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１により設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０の焦点検出領域における画像データを、固体撮像素子２２１の対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１の焦点検出領域における画像データを固体撮像素子２２０の対応する領域の撮像用画素の画像データで代用可能になる。
That is, FIG. 4 is a diagram showing the arrangement of the focus detection areas of the solid-
点１００に対して水平方向の右にある区域１１０内においては、画面中心近傍領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１１、１１２、１１３と、焦点検出用画素が水平方向に配列された焦点検出領域１２１が配置される。また、画面中間領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１４、１１５、１１６と、焦点検出用画素が水平方向に配列された焦点検出領域１２２が配置される。さらに、画面周辺領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１１７、１１８、１１９が配置され、焦点検出用画素が水平方向に配列された焦点検出領域は配置されない。
In an
点１００に対して水平方向の左にある区域１３０内においては、画面中心近傍領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３１、１３２、１３３と、焦点検出用画素が水平方向に配列された焦点検出領域１４１が配置される。また、画面中間領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３４、１３５、１３６と、焦点検出用画素が水平方向に配列された焦点検出領域１４２が配置される。さらに、画面周辺領域には、焦点検出用画素が垂直方向に配列された焦点検出領域１３７、１３８、１３９が配置され、焦点検出用画素が水平方向に配列された焦点検出領域は配置されない。
In an
点１００に対して垂直方向の上にある区域１５０内においては、画面中心近傍領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５１、１５２、１５３と、焦点検出用画素が垂直方向に配列された焦点検出領域１６１が配置される。また、画面中間領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５４、１５５、１５６と、焦点検出用画素が垂直方向に配列された焦点検出領域１６２が配置される。さらに、画面周辺領域には、焦点検出用画素が水平方向に配列された焦点検出領域１５７、１５８、１５９が配置され、焦点検出用画素が垂直方向に配列された焦点検出領域は配置されない。
In an
点１００に対して垂直方向の下にある区域１７０内においては、画面中心近傍領域には、焦点検出用画素が水平方向に配列された焦点検出領域１７１、１７２、１７３と、焦点検出用画素が垂直方向に配列された焦点検出領域１８１が配置される。また、画面中間領域には、焦点検出用画素が水平方向に配列された焦点検出領域１７４、１７５、１７６と、焦点検出用画素が垂直方向に配列された焦点検出領域１８２が配置される。さらに、画面周辺領域には焦点検出用画素が水平方向に配列された焦点検出領域１７７、１７８、１７９が配置され、焦点検出用画素が垂直方向に配列された焦点検出領域は配置されない。
In an
図５は撮像用画素配列の拡大図である。なお、図５では固体撮像素子２２０、２２１の撮像用画素のみで構成される領域を拡大して示す。撮像用画素は緑画素３１０、赤画素３１１、青画素３１２の３種類の画素からなり、これらの画素がベイヤー配列で２次元配列されている。図８に示すように、撮像用画素（緑画素３１０、赤画素３１１、青画素３１２）は、マイクロレンズ１０、光電変換部１１および不図示の色フィルタからなる。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図１０に示すものとなっている。
FIG. 5 is an enlarged view of the imaging pixel array. In FIG. 5, an area composed of only the imaging pixels of the solid-
図６、図７は焦点検出用画素配列の拡大図である。図６では固体撮像素子２２０の焦点検出用画素が配列された領域を拡大して示し、図７では固体撮像素子２２１の焦点検出用画素が配列された領域を拡大して示す。図６は、図２において焦点検出用画素が行方向に配列された領域（黒く塗りつぶした長方形で示した領域）に対応しており、図７は、図３において焦点検出用画素が列方向に配列された領域（白抜きの長方形で示した領域）に対応している。図６において、焦点検出用画素３２０は行方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３２０の配列の周囲は撮像用画素により取り囲まれている。図７において、焦点検出用画素３３０は列方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３３０の配列の周囲は撮像用画素により取り囲まれている。
6 and 7 are enlarged views of the focus detection pixel array. 6 shows an enlarged region where the focus detection pixels of the solid-
図９に示すように、焦点検出用画素３２０，３３０は、マイクロレンズ１０および一対の光電変換部１２，１３からなる。焦点検出用画素３３０は、焦点検出用画素３２０を９０度回転した構成となっている。焦点検出用画素３２０、３３０には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と赤外カットフィルタ（不図示）の分光特性を総合した分光特性（図１１参照）となり、図１０に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
As shown in FIG. 9, the
撮像用画素の光電変換部１１は、マイクロレンズ１０により所定の絞り開口径（例えばＦ１．０）の光束をすべて受光するような形状に設計される。一方、焦点検出用画素の一対の光電変換部１２、１３は、マイクロレンズ１０により所定の絞り開口径（例えばＦ２．８）の光束をすべて受光するような形状に設計される。
The
図１２は撮像用画素の断面図である。撮像用画素において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。不図示の色フィルタはマイクロレンズ１０と光電変換部１１の中間に配置される
FIG. 12 is a cross-sectional view of the imaging pixel. In the imaging pixel, the
図１３は焦点検出用画素の断面図である。焦点検出用画素において、焦点検出用の光電変換部１２、１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２、１３が前方に投影される。光電変換部１２、１３は半導体回路基板２９上に形成される。
FIG. 13 is a cross-sectional view of a focus detection pixel. In the focus detection pixel, the
図１４はマイクロレンズを用いた瞳分割方式による焦点検出の説明図である。９０は、交換レンズ２０２の予定結像面に配置されたマイクロレンズの前方ｄ０の距離に設定された射出瞳である。なお、距離ｄ０はマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離という。５０，６０はマイクロレンズ、(５２,５３)、(６２,６３)は焦点検出用画素の一対の光電変換部、７２,７３、８２,８３は焦点検出光束、９２はマイクロレンズ５０、６０により投影された光電変換部５２、６２の領域（以下では、測距瞳という）、９３はマイクロレンズ５０、６０により投影された光電変換部５３、６３の領域（測距瞳）である。
FIG. 14 is an explanatory diagram of focus detection by a pupil division method using a microlens.
図１４では、便宜的に光軸上にある焦点検出用画素（マイクロレンズ５０と一対の光電変換部５２、５３からなる）と、隣接する焦点検出用画素（マイクロレンズ６０と一対の光電変換部６２、６３からなる）を模式的に例示しているが、焦点検出用画素が画面周辺の光軸から離れた位置にあった場合においても、一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出用画素の配列方向は、一対の測距瞳の並び方向すなわち一対の光電変換部の並び方向と一致させる。
In FIG. 14, for convenience, focus detection pixels (comprising a
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、マイクロレンズ５０によりその背後に配置された一対の光電変換部５２、５３の形状がマイクロレンズ５０、６０から投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。マイクロレンズ６０によりその背後に配置された一対の光電変換部６２、６３の形状が投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ０にある射出瞳９０上で各焦点検出用画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素の投影方向が決定されている。つまり、一対の測距瞳９２，９３と、一対の光電変換部（５２、５３）およびは一対の光電変換部（６２、６３）は、マイクロレンズ５０，６０を介して共役な関係となっている。
The
光電変換部５２は測距瞳９２を通過し、マイクロレンズ５０に向う焦点検出光束７２によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部５３は測距瞳９３を通過し、マイクロレンズ５０に向う焦点検出光束７３によりマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部６２は測距瞳９２を通過し、マイクロレンズ６０に向う焦点検出光束８２によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。光電変換部６３は測距瞳９３を通過し、マイクロレンズ６０に向う焦点検出光束８３によりマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
The
上記のような焦点検出用画素を直線状に複数個配置し、各画素の一対の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。これらの情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことにより、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
A plurality of focus detection pixels as described above are arranged in a straight line, and the output of a pair of photoelectric conversion units of each pixel is grouped into an output group corresponding to the
なお、上記説明では測距瞳は交換レンズの開口制限要素（絞り開口、レンズ外形、フードなど）によって制限されていない（けられていない）状態として説明を行ったが、交換レンズの開口制限要素によって測距瞳が制限される場合には、焦点検出用画素の光電変換部は制限を受けた測距瞳を通過する光束を焦点検出光束として受光することになる In the above description, the range-finding pupil has been described as being not limited (not broken) by the aperture limiting element (aperture aperture, lens outer shape, hood, etc.) of the interchangeable lens. When the distance measuring pupil is limited by the above, the photoelectric conversion unit of the focus detection pixel receives the light beam passing through the limited distance measuring pupil as the focus detection light beam.
図１５は撮像用画素と射出瞳の関係を説明する図である。なお、図１４に示す要素と同様な要素については説明を省略する。７０はマイクロレンズ、７１は撮像画素の光電変換部、８１は撮像光束、９４はマイクロレンズ７０により投影された光電変換部７１の領域である。図１５では、光軸上にある撮像画素（マイクロレンズ７０と光電変換部７１からなる）を模式的に例示しているが、その他の撮像画素においても光電変換部はそれぞれ領域９４から各マイクロレンズに到来する光束を受光する。
FIG. 15 is a diagram illustrating the relationship between the imaging pixels and the exit pupil. Note that description of elements similar to those illustrated in FIG. 14 is omitted.
マイクロレンズ７０は光学系の予定結像面近傍に配置されており、マイクロレンズ７０によりその背後に配置された光電変換部７１の形状がマイクロレンズ７０から投影距離ｄ０だけ離間した射出瞳９０上に投影され、その投影形状は領域９４を形成する。光電変換部７１は領域９４を通過し、マイクロレンズ７０に向う焦点検出光束８１によりマイクロレンズ７０上に形成される像の強度に対応した信号を出力する。上記のような撮像用画素を２次元状に多数配置することにより、各画素の光電変換部に基づいて画像情報が得られる。
The
図１６、図１７は射出瞳面における測距瞳の正面図である。図１６において、焦点検出用画素３２０から一対の光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳９２２，９３３の外接円は、結像面から見た場合に所定の開口Ｆ値（測距瞳Ｆ値と称する。ここではＦ２．８）となる。破線で示す領域９０１は絞り値Ｆ２．８よりも大きな絞り値（例えばＦ２）に対応した領域を示し、測距瞳９２２，９３３を内部に含んでいる。測距瞳９２２，９３３の並び方向（図では水平方向)における測距瞳９２２、９３３を通過する光束(焦点検出光束)の重心９５２，９５３の間隔は、Ｇとなる。
16 and 17 are front views of the distance measuring pupil on the exit pupil plane. In FIG. 16, the circumscribed circle of the
図１７において、焦点検出用画素３３０から一対の光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳８２２，８３３の外接円は、結像面から見た場合に所定の開口Ｆ値（測距瞳Ｆ値と称する。ここではＦ２．８）となる。破線で示す領域９０１は絞り値Ｆ２．８よりも大きな絞り値（例えばＦ２）に対応した領域を示し、測距瞳８２２，８３３を内部に含んでいる。測距瞳８２２，８２３の並び方向（図では垂直方向)における測距瞳８２２、８３３を通過する光束(焦点検出光束)の重心８５２，８５３の間隔はＧとなる。
In FIG. 17, the circumscribed circle of the
交換レンズの絞り値がＦ２．８よりも小さな絞り値（例えばＦ４）になると測距瞳の一部が遮光され（ケラレ）、交換レンズの射出瞳の位置が測距瞳の位置（ｄ０）と異なる場合は、画面周辺において一対の測距瞳のケラレ方がアンバランスになる。ケラレにより測距瞳の面積の比がアンバランスになると、結果的に一対の測距瞳によって形成される一対の像の強度比がアンバランスになって一致性（同一性）が崩れるため焦点検出精度が低下し、ケラレの程度が大きい場合には焦点検出不能になってしまう。 When the aperture value of the interchangeable lens becomes smaller than F2.8 (for example, F4), part of the distance measuring pupil is shielded (vignetting), and the exit pupil position of the interchangeable lens is the distance pupil position (d0). If they are different, the vignetting of the pair of distance measuring pupils is imbalanced around the screen. If the ratio of the area of the distance measurement pupil becomes unbalanced due to vignetting, the intensity ratio of the pair of images formed by the pair of distance measurement pupils will eventually become unbalanced and the consistency (identity) will be lost. If the accuracy decreases and the degree of vignetting is large, focus detection becomes impossible.
一対の測距瞳の並び方向が水平方向の場合は、画面中心近傍および画面中心に対し上下方向の領域では一対の測距瞳のケラレ方のアンバランス量は少なく、焦点検出精度の維持が可能であるが、画面中心に対し左右方向の周辺領域では一対の測距瞳のケラレ方のアンバランス量が大きくなり、焦点検出精度の維持が困難である。一対の測距瞳の並び方向が垂直方向の場合は、画面中心近傍および画面中心に対し左右方向の領域では一対の測距瞳のケラレ方のアンバランス量は少なく、焦点検出精度の維持が可能であるが、画面中心に対し左上下向の周辺領域では一対の測距瞳のケラレ方のアンバランス量が大きくなり、焦点検出精度の維持が困難である。 When the alignment direction of a pair of distance measurement pupils is horizontal, the amount of vignetting of the pair of distance measurement pupils is small in the vicinity of the screen center and in the vertical direction with respect to the screen center, and the focus detection accuracy can be maintained. However, in the peripheral region in the left-right direction with respect to the center of the screen, the amount of unbalance in the vignetting direction of the pair of distance measuring pupils becomes large, and it is difficult to maintain focus detection accuracy. When the alignment direction of a pair of ranging pupils is vertical, the amount of unbalance in the vignetting direction of the pair of ranging pupils is small in the vicinity of the screen center and in the left-right direction with respect to the screen center, and the focus detection accuracy can be maintained. However, the amount of unbalance in the vignetting direction of the pair of distance measuring pupils is large in the peripheral area in the upper left and lower directions with respect to the center of the screen, and it is difficult to maintain the focus detection accuracy.
以上のように、図４に示す画面中心に対して水平方向に分離した区域１１０および区域１３０では、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の方が、焦点検出用画素３２０を水平方向に配列した焦点検出領域に比較して焦点検出性能を維持し易い。逆に、図４に示す画面中心に対して垂直方向に分離した区域１５０および区域１７０では、焦点検出用画素３２０を水平方向に配列した焦点検出領域の方が、焦点検出用画素３３０を垂直方向に配列した焦点検出領域に比較して焦点検出性能を維持し易い。
As described above, in the
図１８は、図１に示すデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、この撮像動作を開始する。ステップ１１０において、各固体撮像素子２２０、２２１の撮像用画素の画像データに基づいて被写体輝度を検出し、各固体撮像素子２２０、２２１の電荷蓄積時間を決定して独立に電荷蓄積制御を行う。
FIG. 18 is a flowchart showing an imaging operation of the digital still camera (imaging device) shown in FIG. When the camera is turned on in
このとき、例えば、撮影画面中心に対し上下方向の区域１５０と１７０の画像データが最適なレベルになるように固体撮像素子２２０の電荷蓄積時間を決定し、撮影画面中心に対し左右方向の区域１１０と１３０の画像データが最適なレベルになるように固体撮像素子２２１の電荷蓄積時間を決定する。つまり、焦点検出領域が配置される区域の撮像用画素の画像データが最適なレベルになるように各固体撮像素子２２０、２２１の電荷蓄積時間を決定する。また、一方の固体撮像素子２２０に対して、その撮像画像における高輝度領域の撮像用画素の画像データが最適なレベルとなる電荷蓄積時間を決定するとともに、他方の固体撮像素子２２１に対して、その撮像画像における低輝度領域の撮像用画素の画像データが最適なレベルとなる電荷蓄積時間を決定するようにしてもよい。なお、専用の測光素子を設け、被写界を複数の領域に分割して測光するようにしてもよい。
At this time, for example, the charge accumulation time of the solid-
ステップ１２０において、２つの固体撮像素子２２０、２２１から撮像用画素のデータおよび焦点検出用画素のデータを読み出す。続くステップ１３０で撮像用画素のデータを合成し、合成データを電子ビューファインダーに表示させる。データ合成の際には、電荷蓄積時間の相違を考慮して合成する。例えば基準電荷蓄積時間（一方の固体撮像素子の電荷蓄積時間、２つの固体撮像素子の電荷蓄積時間の平均など）での画像データとなるように、２つの固体撮像素子の画像データを補正してから合成する。合成処理は例えば加算平均処理である。一方の固体撮像素子の焦点検出領域における画像データは、他方の固体撮像素子の画像データを上記と同様に補正して使用する。
In step 120, data of the imaging pixels and focus detection pixel data are read from the two solid-
ステップ１４０では、焦点検出用画素列に対応した一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行う。複数の焦点検出領域において像ズレ量を演算し、さらにデフォーカス量を算出する。複数の焦点検出領域において算出されたデフォーカス量に基づき、最終的にひとつのデフォーカス量を求める。例えば複数のデフォーカス量の平均値、あるいは最も近距離の被写体に対応するデフォーカス量などを最終的なデフォーカス量とする。ステップ１５０において合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。
In step 140, an image shift detection calculation process (correlation calculation process) described later is performed based on a pair of image data corresponding to the focus detection pixel array. An image shift amount is calculated in a plurality of focus detection areas, and a defocus amount is further calculated. Based on the defocus amounts calculated in the plurality of focus detection areas, one defocus amount is finally obtained. For example, an average value of a plurality of defocus amounts or a defocus amount corresponding to the closest object is set as the final defocus amount. In
なお、焦点検出不能な場合もこのステップ１６０へ分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近間でスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。
Even when focus detection is impossible, the process branches to step 160, a scan drive command is transmitted to the lens
一方、合焦近傍であると判定された場合はステップ１７０へ進み、不図示のレリーズボタンの操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ１１０へ戻って上述した動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップ１８０へ進み、レンズ駆動制御装置２０６へ絞り制御情報を送信し、交換レンズ２０２の絞り値を撮影絞り値にする。絞り制御が終了した時点で、上記ステップ１１０で検出した被写界輝度に応じて２つの固体撮像素子２２０、２２１の電荷蓄積時間を決定し、独立に電荷蓄積制御を行う。この実施の形態では、画面内の高輝度領域の画像データが最適なレベル（高輝度重視）になるように固体撮像素子２２０の電荷蓄積時間を決定し、画面内の低輝度領域の画像データが最適なレベル（低輝度重視）になるように固体撮像素子２２１の電荷蓄積時間を決定し、２つの固体撮像素子に電荷蓄積を行わせる。
On the other hand, if it is determined that the focus is close, the process proceeds to step 170, where it is determined whether or not a shutter release has been performed by operating a release button (not shown), and if it is determined that the shutter release has not been performed, the process returns to step 110. The above operation is repeated. If it is determined that the shutter release has been performed, the process proceeds to step 180, the aperture control information is transmitted to the lens
ステップ１９０で２つの固体撮像素子２２０、２２１から撮像用画素のデータおよび焦点検出用画素のデータを読み出す。続くステップ２００では低輝度重視の撮像用画素のデータと高輝度重視の撮像用画素のデータを合成し、ダイナミックレンジを拡大した高品質な画像データを生成する。その際一方の固体撮像素子の焦点検出領域における画像データは、他方の固体撮像素子の画像データを補正して使用する。ステップ２１０で画像データをメモリーカード２１９に保存し、ステップ１１０へ戻って上述した動作を繰り返す。
In
図１９は、図１８のステップ１４０における焦点検出演算の詳細を説明するための図である。焦点検出用画素列から出力される一対のデータ列（α１〜αＭ、β１〜βＭ：Ｍはデータ数）に対し、下記（１）式に示すような高周波カットフィルター処理を施し、第１データ列（Ａ１〜ＡＮ）、第２データ列（Ｂ１〜ＢＮ）を生成することによって、データ列から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去する。
Ａｎ＝αｎ＋２×αｎ＋１＋αｎ＋２，
Ｂｎ＝βｎ＋２×βｎ＋１＋βｎ＋２ ・・・（１）
（１）式において、ｎ＝１〜Ｎである。また、α１〜αＭは図１４において測距瞳９２を通る焦点検出光束により形成された像の画像データに相当し、β１〜βＭは測距瞳９３を通る焦点検出光束により形成された像の画像データに相当する。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、この処理を省略することもできる。
FIG. 19 is a diagram for explaining the details of the focus detection calculation in step 140 of FIG. A pair of data strings (α1 to αM, β1 to βM, where M is the number of data) output from the focus detection pixel column is subjected to a high frequency cut filter process as shown in the following equation (1) to obtain a first data string By generating (A1 to AN) and the second data sequence (B1 to BN), noise components and high frequency components that adversely affect the correlation processing are removed from the data sequence.
An = αn + 2 × αn + 1 + αn + 2,
Bn = βn + 2 × βn + 1 + βn + 2 (1)
In the formula (1), n = 1 to N. Further, α1 to αM correspond to image data of an image formed by the focus detection light beam passing through the
データ列Ａｎ、Ｂｎに対し（２）式に示す相関演算を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａｎ−Ｂｎ＋ｋ｜ ・・・（２）
（２）式において、Σ演算はｎについて累積される総和演算である。ｎのとる範囲は、ずらし量ｋに応じてＡｎ、Ｂｎ＋ｋのデータが存在する範囲に限定される。ずらし量ｋは整数であり、データ列のデータ間隔（画素ピッチ）を単位とした相対的シフト量である。（２）式の演算結果は、図１９(ａ)に示すように、一対のデータの相関が高いシフト量（図１９(ａ)ではｋ＝ｋj＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。
The correlation calculation shown in the equation (2) is performed on the data strings An and Bn, and the correlation amount C (k) is calculated.
C (k) = Σ | An−Bn + k | (2)
In equation (2), the Σ operation is a sum operation that is accumulated for n. The range of n is limited to a range in which data of An and Bn + k exists according to the shift amount k. The shift amount k is an integer and is a relative shift amount with the data interval (pixel pitch) of the data string as a unit. As shown in FIG. 19A, the calculation result of the expression (2) shows that the correlation amount C (k) is minimal in the shift amount where the correlation between the pair of data is high (k = kj = 2 in FIG. 19A). (The smaller the value, the higher the degree of correlation).
次に、（３）〜（６）式による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（３），
Ｃ（ｘ）＝ Ｃ（ｋj）-｜Ｄ｜ ・・・（４），
Ｄ＝｛Ｃ(ｋj-１)−Ｃ(ｋj＋１)｝／２ ・・・（５），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj＋１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝ ・・・（６）
（３）式で算出されたずらし量ｘの信頼性があるかどうかは、以下のようにして判定される。図１９(ｂ)に示すように、一対のデータの相関度が低い場合は内挿された相関量の極小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。さらにはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図１９(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ(ｘ)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。
Next, a shift amount x that gives a minimum value C (x) with respect to a continuous correlation amount is obtained using a three-point interpolation method according to equations (3) to (6).
x = kj + D / SLOP (3),
C (x) = C (kj)-| D | (4),
D = {C (kj-1) -C (kj + 1)} / 2 (5),
SLOP = MAX {C (kj + 1) -C (kj), C (kj-1) -C (kj)} (6)
Whether or not the shift amount x calculated by the equation (3) is reliable is determined as follows. As shown in FIG. 19B, when the correlation degree between the pair of data is low, the value of the interpolated minimum value C (x) of the correlation amount becomes large. Therefore, when C (x) is equal to or greater than a predetermined threshold value, it is determined that the calculated shift amount has low reliability, and the calculated shift amount x is canceled. Alternatively, in order to normalize C (x) with the contrast of data, when the value obtained by dividing C (x) by SLOP that is proportional to the contrast is equal to or greater than a predetermined value, the reliability of the calculated shift amount Is determined to be low, and the calculated shift amount x is canceled. Furthermore, when SLOP which is a value proportional to contrast is equal to or smaller than a predetermined value, it is determined that the subject has low contrast and the reliability of the calculated shift amount is low, and the calculated shift amount x is canceled. . As shown in FIG. 19C, when the correlation between the pair of data is low and there is no drop in the correlation amount C (x) between the shift ranges kmin to kmax, the minimum value C (x) is obtained. In such a case, it is determined that the focus cannot be detected.
算出されたずらし量ｘの信頼性があると判定された場合は、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（７）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（７）
（７）式において、ＰＹは検出ピッチ（焦点検出画素のピッチ）であり、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさ（測距瞳重心間隔と測距瞳距離によって決まる）によって決まる変換係数である。
When it is determined that the calculated shift amount x is reliable, the defocus amount DEF of the subject image plane with respect to the planned image formation plane can be obtained by Expression (7).
DEF = KX · PY · x (7)
In equation (7), PY is a detection pitch (pitch of focus detection pixels), and KX is a size of an opening angle of the center of gravity of a light beam passing through a pair of distance measurement pupils (range of distance pupil center of gravity and distance pupil distance). Conversion coefficient determined by
《以上説明した撮像装置の構成の特徴》
以上の説明に基づいて、図４の固体撮像素子の構成すなわち焦点検出領域の配置の特徴を説明する。まず、撮影光束を２つに分割し、分割された各光束を２つの固体撮像素子にて撮像するようにし、各固体撮像素子上に焦点検出用画素を配列することによって焦点検出領域を設定するとともに、撮影画面上において各固体撮像素子の焦点検出領域が互いに重ならないように設定したため、一方の固体撮像素子の焦点検出領域における画素データとして、焦点検出領域に重なっている他方の固体撮像素子の撮像用画素の画像データを使用できるようになり、焦点検出領域における画像データを焦点検出領域の周囲の撮像用画素の画像データから補間する場合に比較して、画像品質が向上する。
<< Characteristics of the configuration of the imaging apparatus described above >>
Based on the above description, the configuration of the solid-state imaging device in FIG. First, the photographing light beam is divided into two, and each of the divided light beams is picked up by two solid-state image sensors, and a focus detection pixel is arranged on each solid-state image sensor to set a focus detection region. At the same time, since the focus detection areas of the respective solid-state image sensors are set so as not to overlap each other on the photographing screen, the pixel data of the focus detection area of one solid-state image sensor is used as the pixel data of the other solid-state image sensor overlapping the focus detection area The image data of the imaging pixels can be used, and the image quality is improved as compared with the case where the image data in the focus detection area is interpolated from the image data of the imaging pixels around the focus detection area.
また、複数の焦点検出領域を備えた２つの固体撮像素子に対して独立に電荷蓄積時間の制御が可能となるため、１つの固体撮像素子に対して一律に電荷蓄積時間を設定した場合に比較して、明暗差の大きな画像においても焦点検出に用いる画像データの出力レベルの飽和や不足の問題が少なくなり、確実に焦点検出ができる。 In addition, since the charge accumulation time can be controlled independently for two solid-state image sensors having a plurality of focus detection areas, the charge accumulation time is uniformly set for one solid-state image sensor. As a result, even in an image having a large difference in brightness, the problem of saturation or deficiency in the output level of image data used for focus detection is reduced, and focus detection can be performed reliably.
さらに、１つの撮像画面に対し２つの固体撮像素子で撮像および焦点検出を行うため、１つの固体撮像素子で撮像および焦点検出を行う場合に比較して、焦点検出領域を撮影画面上で密に配置でき焦点検出性能が向上するとともに、解像度も向上するので画像品質も向上する。 Furthermore, since imaging and focus detection are performed with two solid-state imaging devices for one imaging screen, the focus detection area is denser on the imaging screen than when imaging and focus detection are performed with one solid-state imaging device. It can be arranged and the focus detection performance is improved, and the resolution is also improved, so that the image quality is improved.
区域１１０、１３０、１５０および１７０のそれぞれに、焦点検出用画素３２０を水平方向に配列した焦点検出領域、および焦点検出用画素３３０を垂直方向に配列した焦点検出領域をそれぞれ複数配置することによって、焦点検出対象を画面上において可能な限り多く位置で捕捉できるようにするとともに、像コントラストの方向による焦点検出性能の低下を防止している。
By disposing a plurality of focus detection regions in which the
焦点検出対象が存在する可能性の高い画面中心領域１０７においては、焦点検出用画素３２０および焦点検出用画素３３０、あるいは焦点検出用画素３２０を水平方向に配列した焦点検出領域および焦点検出用画素３３０を垂直方向に配列した焦点検出領域を、中間領域１０８と周辺領域１０９に比較して単位面積あたりの密度を高くして配置することによって、焦点検出性能が効率的に発揮できるように焦点検出用画素３２０と焦点検出用画素３３０を配分している。
In the
画面中心に対して水平方向に分離した区域１１０および区域１３０においては、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数が、焦点検出用画素３２０を水平方向に配列した焦点検出領域の数より多くなるようにするともに、画面中心に対して垂直方向に分離した区域１５０および区域１７０においては、焦点検出用画素３２０を水平方向に配列した焦点検出領域の数が、焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数より多くなるようにすることによって、ケラレに対する焦点検出性能維持を図り、焦点検出用画素数の制限の中で焦点検出性能が効率的に発揮できるように焦点検出用画素３２０と焦点検出用画素３３０を配分している。
In the
画面中心近傍においては焦点検出性能に与えるケラレの影響が少なく、画面中心から離れるにつれてその影響が増大するので、画面中心に対して水平方向の左右にある区域１１０、１３０内においては、画面中心からの距離が大きくなるにつれて、焦点検出用画素３２０および焦点検出用画素３２０を水平方向に配列した焦点検出領域の数を少なくするとともに、単位面積当たりの密度を低くしている。また、焦点検出用画素３３０および焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数および密度との相対比も、画面中心から離れるにつれて小さくなるようにしている。さらに、画面中心に対して垂直方向の上下にある区域１５０、１７０内においては、画面中心からの距離が大きくなるにつれて、焦点検出用画素３３０および焦点検出用画素３３０を垂直方向に配列した焦点検出領域の数を少なくするとともに、単位面積当たりの密度を低くしている。さらにまた、焦点検出用画素３２０および焦点検出用画素３２０を水平方向に配列した焦点検出領域の数および密度との相対比も、画面中心から離れるにつれて小さくなるようにしている。これにより、ケラレに対する焦点検出性能維持を図っている。
In the vicinity of the center of the screen, the influence of vignetting on the focus detection performance is small, and the influence increases as the distance from the center of the screen increases. As the distance becomes larger, the number of focus detection areas in which the
画面中心に対して水平方向の左右にある区域１１０、１３０内においては、周辺領域に焦点検出性能がケラレの影響を受けにくい焦点検出用画素３３０を垂直方向に配列した焦点検出領域のみを配置している。一方、画面中心に対して垂直方向の上下にある区域１５０、１７０内においては、周辺領域に焦点検出性能がケラレの影響を受けにくい焦点検出用画素３２０を水平方向に配列した焦点検出領域のみを配置している。結果的に、複数の焦点検出領域を包括する範囲の水平方向の外周領域においては、焦点検出用画素３３０を垂直方向に配列した焦点検出領域のみが配置され、垂直方向の外周領域においては焦点検出用画素３２０を水平方向に配列した焦点検出領域のみが配置される。これにより、ケラレに対する焦点検出性能維持を図っている。
In the
《その他の実施の形態》
図２０〜図２２は変形例の固体撮像素子２２０Ａ、２２１Ａの撮像画面の平面図である。図２および図３に示す固体撮像素子２２０、２２１では、一方の固体撮像素子２２０に、測距瞳の並び方向が水平方向の焦点検出用画素を水平方向に配列した焦点検出領域を主として画面中心１００の垂直方向に配置し、もう一方の固体撮像素子２２１に、測距瞳の並び方向が垂直方向の焦点検出用画素を垂直方向に配列した焦点検出領域を主として画面中心１００の水平方向に配置した例を示したが、２つの固体撮像素子における焦点検出領域の配分はこのような配置に限られることはなく、良好な焦点検出を行うために異なる配置をとることができる。
<< Other Embodiments >>
20 to 22 are plan views of imaging screens of the solid-state imaging devices 220A and 221A according to modified examples. 2 and 3, the focus detection region in which focus detection pixels in which the alignment direction of the distance measurement pupils is arranged in the horizontal direction is arranged in the horizontal direction in one solid-state
以下では、図２〜図４に示す固体撮像素子２２０、２２１と同様な要素に対しては説明を省略する。図２０に示す固体撮像素子２２０Ａにおいて、小さな長方形で示す領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の上半分に複数の焦点検出領域が配置されている。また、長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を黒く塗りつぶした長方形で示している。図２１に示す固体撮像素子２２１Ａにおいて、小さな長方形で示す領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の下半分に複数の焦点検出領域が配置されている。また、長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を白抜きにした長方形で示している。 Below, description is abbreviate | omitted with respect to the element similar to the solid-state image sensor 220,221 shown in FIGS. In the solid-state imaging device 220A shown in FIG. 20, focus detection pixels are arranged in a region indicated by a small rectangle. This area is a focus detection area (focus detection area), and a plurality of focus detection areas are arranged in the upper half of the photographing screen. Further, the longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the area where the focus detection pixels are arranged is indicated by a black rectangle. In the solid-state imaging device 221A shown in FIG. 21, focus detection pixels are arranged in a region indicated by a small rectangle. This area is a focus detection area (focus detection area), and a plurality of focus detection areas are arranged in the lower half of the photographing screen. Further, the longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the region where the focus detection pixels are arranged is indicated by a white rectangle.
図２２は、図２０に示す固体撮像素子２２０Ａの構成と、図２１に示す固体撮像素子２２１Ａの構成とを同一の撮像画面上で重ね合わせて示す。撮像画面上において固体撮像素子２２０Ａにより設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１Ａにより設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０Ａの焦点検出領域における画像データを、固体撮像素子２２１Ａの対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１Ａの焦点検出領域における画像データを、固体撮像素子２２０Ａの対応する領域の撮像用画素の画像データで代用可能になる。 FIG. 22 shows the configuration of the solid-state imaging device 220A shown in FIG. 20 and the configuration of the solid-state imaging device 221A shown in FIG. 21 on the same imaging screen. On the imaging screen, the focus detection area (black rectangle) set by the solid-state image sensor 220A and the focus detection area (white rectangle) set by the solid-state image sensor 221A are arranged so as not to overlap each other. As a result, the image data in the focus detection area of the solid-state image sensor 220A can be substituted with the image data of the imaging pixels in the corresponding area of the solid-state image sensor 221A, and the image data in the focus detection area of the solid-state image sensor 221A can be replaced. The image data of the imaging pixels in the corresponding area of the solid-state imaging device 220A can be substituted.
この変形例の固体撮像素子２２０Ａ、２２１Ａの構成においては、複数の焦点検出領域が撮影画面の上半分と下半分で独立に電荷蓄積時間の設定ができる。通常の撮影では、上部と下部の明るさが異なるシチュエーション（例えば風景写真で上部に明るい空部分や日向部分となり、下部が日陰部分）が多く、画面上部と下部の電荷蓄積時間を独立に制御することによって、複数の焦点検出領域における焦点検出用画素の出力レベルを適正化でき、飛躍的に焦点検出能力が向上する。 In the configuration of the solid-state imaging devices 220A and 221A of this modification, the charge accumulation time can be set independently for the plurality of focus detection areas in the upper half and the lower half of the shooting screen. In normal shooting, there are many situations where the brightness of the upper and lower parts is different (for example, in landscape photography, the upper part is a bright sky or sunny part, and the lower part is a shaded part), and the charge accumulation time at the top and bottom of the screen is controlled independently. As a result, the output level of the focus detection pixels in the plurality of focus detection areas can be optimized, and the focus detection capability is dramatically improved.
図２３〜図２５は他の変形例の固体撮像素子２２０Ｂ、２２１Ｂの撮像画面の平面図である。図２３に示す固体撮像素子２２０Ｂにおいて、小さな長方形で示した領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の周辺部分に複数の焦点検出領域が配置されている。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を黒く塗りつぶした長方形で示している。一方、図２４に示す固体撮像素子２２１Ｂにおいて、小さな長方形で示した領域に焦点検出用画素が配列されている。この領域が焦点検出領域（焦点検出エリア）であり、撮影画面の中心部分に複数の焦点検出領域が配置されている。長方形の長手方向が焦点検出用画素の配列方向を示しており、焦点検出用画素が配列された領域を白抜きにした長方形で示している。 23 to 25 are plan views of imaging screens of solid-state imaging devices 220B and 221B according to other modified examples. In the solid-state imaging device 220B shown in FIG. 23, focus detection pixels are arranged in a region indicated by a small rectangle. This area is a focus detection area (focus detection area), and a plurality of focus detection areas are arranged in the peripheral portion of the photographing screen. The longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the region in which the focus detection pixels are arranged is indicated by a black rectangle. On the other hand, in the solid-state imaging device 221B shown in FIG. 24, focus detection pixels are arranged in a region indicated by a small rectangle. This area is a focus detection area (focus detection area), and a plurality of focus detection areas are arranged at the center of the photographing screen. The longitudinal direction of the rectangle indicates the arrangement direction of the focus detection pixels, and the region where the focus detection pixels are arranged is indicated by a white rectangle.
図２５は、図２３に示す固体撮像素子２２０Ｂの構成と、図２４に示す固体撮像素子２２１Ｂの構成とを同一の撮像画面上で重ね合わせて示す。撮像画面上において固体撮像素子２２０Ｂにより設定される焦点検出領域（黒塗り長方形）と、固体撮像素子２２１Ｂにより設定される焦点検出領域（白抜き長方形）とは互いに重ならないように配置されている。これにより、固体撮像素子２２０Ｂの焦点検出領域における画像データを、固体撮像素子２２１Ｂの対応する領域の撮像用画素の画像データで代用可能になるとともに、固体撮像素子２２１Ｂの焦点検出領域における画像データを、固体撮像素子２２０Ｂの対応する領域の撮像用画素の画像データで代用可能になる。 FIG. 25 illustrates the configuration of the solid-state imaging device 220B illustrated in FIG. 23 and the configuration of the solid-state imaging device 221B illustrated in FIG. 24 on the same imaging screen. On the imaging screen, the focus detection area (black rectangle) set by the solid-state image sensor 220B and the focus detection area (white rectangle) set by the solid-state image sensor 221B are arranged so as not to overlap each other. As a result, the image data in the focus detection area of the solid-state image sensor 220B can be substituted with the image data of the imaging pixels in the corresponding area of the solid-state image sensor 221B, and the image data in the focus detection area of the solid-state image sensor 221B can be replaced. The image data of the imaging pixels in the corresponding area of the solid-state imaging device 220B can be substituted.
この変形例の固体撮像素子２２０Ｂ、２２１Ｂのような構成においては、複数の焦点検出領域が撮影画面の中心部分と周辺部分で独立に電荷蓄積時間の設定ができる。通常の撮影では、中心部分と周辺部分の明るさが異なるシチュエーション（例えば人物写真で中心部分に明るい人物、周辺部分が暗い背景）が多く、画面中心部分と周辺部分の電荷蓄積時間を独立に制御することによって、複数の焦点検出領域における焦点検出画素の出力レベルを適正化でき、飛躍的に焦点検出能力が向上する。 In the configuration such as the solid-state imaging devices 220B and 221B of this modification, the charge accumulation time can be set independently for the central portion and the peripheral portion of the photographing screen in the plurality of focus detection areas. In normal shooting, there are many situations where the brightness of the central part differs from that of the peripheral part (for example, a portrait of a person with a bright person in the central part and a dark background in the peripheral part). By doing so, the output level of the focus detection pixels in the plurality of focus detection regions can be optimized, and the focus detection capability is dramatically improved.
図２６、図２７は焦点検出用画素配列の拡大図である。図６、図７に示す固体撮像素子おいては、１つの焦点検出用画素が一対の測距瞳に対応する一対の光電変換部を備えているが、１つの焦点検出用画素が一対の測距瞳の片方に対応する一つの光電変換部を備え、隣接する焦点検出用画素が一対の測距瞳のもう一方に対応する一つの光電変換部を備えるようにし、対となった焦点検出用画素を配列することにより焦点検出領域を形成するようにしてもよい。図２６、図２７はこのようにして形成された焦点検出用画素が配列された領域を拡大した図である。図２６は、図２に示す焦点検出用画素が行方向に配列された領域（黒く塗りつぶした長方形で示した領域）に対応しており、図２７は、図２に示す焦点検出用画素が列方向に配列された領域（白抜きの長方形で示した領域）に対応している。 26 and 27 are enlarged views of the focus detection pixel array. In the solid-state imaging device shown in FIGS. 6 and 7, one focus detection pixel includes a pair of photoelectric conversion units corresponding to a pair of distance measurement pupils, but one focus detection pixel includes a pair of measurement sensors. One photoelectric conversion unit corresponding to one of the distance pupils is provided, and adjacent focus detection pixels are provided with one photoelectric conversion unit corresponding to the other of the pair of distance measurement pupils. The focus detection area may be formed by arranging pixels. 26 and 27 are enlarged views of the region where the focus detection pixels formed in this way are arranged. 26 corresponds to a region where the focus detection pixels shown in FIG. 2 are arranged in the row direction (a region indicated by a black rectangle), and FIG. 27 shows the focus detection pixels shown in FIG. This corresponds to a region arranged in the direction (a region indicated by a white rectangle).
図２６において、焦点検出用画素３２１、３２２のペアは行方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３２１、３２２の配列の周囲は撮像用画素により取り囲まれている。一方、図２７において、焦点検出用画素３３１、３３２のペアは列方向に連続的に配列され、焦点検出領域を形成する。焦点検出用画素３３１、３３２の配列の周囲は撮像用画素により取り囲まれている。以上のように、焦点検出用画素が１つの光電変換部を備えるように構成することによって、単位画素の回路構成が撮像用画素の回路構成と同一にできるので、固体撮像素子全体の回路をシンプルに構成することができる。
In FIG. 26, pairs of
図２８は変形例の撮影光路を示す図である。図１ではハーフミラー面２２２を備えた光分割プリズム２２３により交換レンズ２０２から到来する光束が２分割され、別個に設置された固体撮像素子２２０と固体撮像素子２２１上に光束を導いているが、図２８に示すような光学構成により１つの基板２４０上に形成された２つの固体撮像素子２３０，２３１に光束を導くようにすることもできる。交換レンズから到来する光束は、ハーフミラーＭ１により透過光と反射光に分割され、透過光束は全反射ミラーＭ４で反射されて固体撮像素子２３０へ導かれる。ハーフミラーＭ１により反射された光束は、全反射ミラーＭ２とＭ３で反射されて固体撮像素子２３１に導かれる。なお、ハーフミラーＭ１から全反射ミラーＭ４を経て固体撮像素子２３０に至る光路長と、ハーフミラーＭ１から全反射ミラーＭ２、Ｍ３を経て固体撮像素子２３１に至る光路長は等しく設定される。このような構成によれば、固体撮像素子を１つの基板（パッケージ）としてボディに組み込めるので、固体撮像素子間の相対的な位置調整が不要になるとともに、電気系の構成を簡易化することができる。
FIG. 28 is a diagram showing a photographing optical path of a modification. In FIG. 1, the light beam coming from the
《一実施の形態の変形例》
上述した一実施の形態では、２つの固体撮像素子の電荷蓄積時間を独立に制御する例を示したが、電荷蓄積時間を共通に制御し、２つの固体撮像素子の画素出力の増幅度を独立に制御するようにしてもよい。
<< Modification of Embodiment >>
In the above-described embodiment, an example in which the charge accumulation times of the two solid-state imaging devices are independently controlled has been described. However, the charge accumulation times are controlled in common, and the amplification degrees of the pixel outputs of the two solid-state imaging devices are independent. You may make it control to.
上述した一実施の形態では、低輝度重視の撮像用画素のデータと高輝度重視の撮像用画素のデータを合成し、ダイナミックレンジを拡大した高品質な画像データを生成する例を示したが、単純に加算平均して画像データを生成してもよい。 In the above-described embodiment, an example in which data of imaging pixels that emphasize low luminance and data of imaging pixels that emphasize high luminance is combined to generate high-quality image data with an expanded dynamic range. Image data may be generated simply by averaging.
上述した一実施の形態では、ハーフミラーを用いて撮影光路を２分割するとともに、各光路に固体撮像素子を配置していたが、光路を３分割以上に分割し、各光路中にそれぞれ焦点検出画素を備えた固体撮像素子を配置するようにしてもよい。 In the above-described embodiment, the imaging optical path is divided into two using a half mirror, and the solid-state imaging device is disposed in each optical path. However, the optical path is divided into three or more, and focus detection is performed in each optical path. You may make it arrange | position the solid-state image sensor provided with the pixel.
上述した一実施の形態では、ハーフミラーを用いて撮影光路を２分割するとともに、各光路の予定焦点面に固体撮像素子を配置していたが、予定焦点面からずらして固体撮像素子を配置してもよい。例えば、一方の固体撮像素子を予定焦点面より前方に微小距離離れた位置に配置し、もう一方の固体撮像素子を予定焦点面より後方に微小距離離れた位置に配置し、２つの固体撮像素子の撮像用画素の出力のコントラスト評価を行い、２つの固体撮像素子の撮像用画素の出力のコントラスト評価値が等しくなるようにフォーカス制御を行うことによって、固体撮像素子に組み込まれた焦点検出用画素の出力による位相差方式によるオートフォーカスの他にコントラスト方式でもオートフォーカスが可能になる。 In the embodiment described above, the imaging optical path is divided into two using a half mirror, and the solid-state imaging device is arranged on the planned focal plane of each optical path. However, the solid-state imaging device is arranged shifted from the planned focal plane. May be. For example, one solid-state image sensor is arranged at a position that is separated by a minute distance forward from the planned focal plane, and the other solid-state image sensor is arranged at a position that is separated by a minute distance behind the planned focal plane. The focus detection pixels incorporated in the solid-state image sensor are evaluated by performing contrast evaluation of the output of the image-capturing pixels and performing focus control so that the contrast evaluation values of the output of the image-capturing pixels of the two solid-state image sensors are equal. In addition to the autofocus based on the phase difference method based on the output, the autofocus can be performed using the contrast method.
図１に示す一実施の形態の構成では、固体撮像素子２２０，２２１の撮像用画素を緑画素、赤画素、青画素のベイヤー配列とした例を示したが、一方の固体撮像素子の撮像用画素を全て緑画素とし、他方の固体撮像素子の撮像用画素を市松模様に配置された赤画素と青画素とすることによって、合成画像の解像度を２倍にすることができる。
In the configuration of the embodiment shown in FIG. 1, an example in which the imaging pixels of the solid-
図１に示す一実施の形態の構成では、ハーフミラー２２２により波長依存がないように光束を分割しているが、分光ミラーにより光束を分割することもできる。例えば図１０のＧの分光特性の光を透過し、それ以外を反射する分光ミラーを配置し、透過側に配置する固体撮像素子の撮像用画素を全て緑画素とし、反射側に配置する固体撮像素子の撮像用画素を市松模様に配置された赤画素と青画素とすることによって、合成画像の解像度を２倍にすることができる。
In the configuration of the embodiment shown in FIG. 1, the light beam is split by the
図１に示す一実施の形態の構成では、光分割プリズム２２３により光束を分割しているが、薄板ガラスを用いたハーフミラーやペリクルハーフミラーを用いることもできる。
In the configuration of the embodiment shown in FIG. 1, the light beam is split by the
図１に示す一実施の形態の構成において、ハーフミラー２２２を多層膜によって形成してもいいし、偏光ミラー（例えば図１の紙面に平行な偏光成分を反射し、紙面に垂直な偏光成分を透過する）として形成してもよい。
In the configuration of the embodiment shown in FIG. 1, the
図１に示す一実施の形態の構成では、光分割プリズム２２３により透過された光束の予定結像面（撮像面）に固体撮像素子２２０を配置し、光分割プリズム２２３により反射された光束の予定結像面に固体撮像素子２２１を配置した例を示したが、透過側に固体撮像素子２２１を配置し、反射側に固体撮像素子２２０を配置することもできる。
In the configuration of the embodiment shown in FIG. 1, the solid-
図２０〜図２２に示す変形例においては、撮影画面の上半分の焦点検出領域を一方の固体撮像素子上に形成し、下半分の焦点検出領域をもう一方の固体撮像素子上に形成した例を示したが、撮影画面の右半分の焦点検出領域を一方の固体撮像素子上に形成し、左半分の焦点検出領域をもう一方の固体撮像素子上に形成することもできる。 20 to 22, an example in which the upper half focus detection area of the photographing screen is formed on one solid-state image sensor and the lower half focus detection area is formed on the other solid-state image sensor. However, it is also possible to form the focus detection area of the right half of the shooting screen on one solid-state image sensor and form the focus detection area of the left half on the other solid-state image sensor.
図５〜図７に示す固体撮像素子において、撮像用画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）を採用してもよい。 In the solid-state imaging device shown in FIGS. 5 to 7, the example in which the imaging pixel includes a Bayer color filter is shown. However, the configuration and arrangement of the color filter are not limited thereto, and the complementary color filter (green : G, yellow: Ye, magenta: Mg, cyan: Cy) may be employed.
図６、図７に示す固体撮像素子において、焦点検出用画素には色フィルターを設けない例を示したが、撮像用画素と同色の色フィルターのうち一つのフィルター（たとえば緑フィルター）を備えるようにした場合でも、本発明を適用することができる。このようにすれば、画像データの補間において焦点検出用画素の画像データも利用することができるので、画像品質が向上する。 In the solid-state imaging device shown in FIGS. 6 and 7, an example in which a color filter is not provided in the focus detection pixel is shown. However, one of the color filters of the same color as the imaging pixel (for example, a green filter) is provided. Even in this case, the present invention can be applied. In this way, the image data of the focus detection pixels can be used in the interpolation of the image data, so that the image quality is improved.
図６、図７に示す固体撮像素子において、焦点検出用画素が連続して配列された例を示したが、画像品質の劣化を防止するために、焦点検出用画素の間に撮像用画素を挟んで配列するようにしてもよい。固体撮像素子における焦点検出用画素の配列は、図６、図７に示す配列に限定されず、本発明の意図を反映した形でこれ以外の配列にも応用することができる。 In the solid-state imaging device shown in FIGS. 6 and 7, the example in which the focus detection pixels are continuously arranged is shown. However, in order to prevent the image quality from being deteriorated, the image pickup pixels are arranged between the focus detection pixels. You may make it arrange | position between. The arrangement of the focus detection pixels in the solid-state imaging device is not limited to the arrangement shown in FIGS. 6 and 7 and can be applied to other arrangements reflecting the intention of the present invention.
図２〜図４に示す固体撮像素子において、水平線１０１、垂直線１０２に対して４５度傾斜されて画面中心を通る直線１０２および１０３により画面を上下左右の４つの区域に区分し、それぞれの区域において画像品質と焦点検出性能のバランスがとれるように焦点検出用画素を配列しているが、これは撮像用画素および焦点検出用画素を正方配列としたためである。撮像用画素および焦点検出用画素を正方配列以外の配列とすることもできる。例えば撮像用画素および焦点検出用画素を六方稠密配列（ハニカム配列）とした場合には、画素が稠密に配列する方向が３方向（相対角度が６０度）となるので３方向を挟んで画面中心を通る３つの直線（相対的な角度が６０度）の直線により画面を６つの区域に区分でき、それぞれの区域において、ＡＦ性能の維持と画像品質のバランスをとって３つの方向に対して焦点検出画素を配列することが可能である。
In the solid-state imaging device shown in FIGS. 2 to 4, the screen is divided into four areas, upper, lower, left, and right by
本発明はマイクロレンズを用いた瞳分割型位相差検出方式の焦点検出用画素を有する固体撮像素子に限定されず、他の方式の瞳分割型位相差検出方式の焦点検出用画素を有する固体撮像素子に適用が可能である。例えば偏光を利用した瞳分割型位相差検出方式の焦点検出用画素を備えた固体撮像素子にも適用可能である。 The present invention is not limited to a solid-state imaging device having focus detection pixels of a pupil division type phase difference detection method using a microlens, and is a solid state imaging having focus detection pixels of another type of pupil division type phase difference detection method. Applicable to devices. For example, the present invention can also be applied to a solid-state imaging device having focus detection pixels of a pupil division type phase difference detection method using polarized light.
上述した一実施の形態においては、撮影時には２つの固体撮像素子の出力を合成して画像データを合成しているが、一方の固体撮像素子の出力で画像データを生成するようにしてもよい。例えば２つの固体撮像素子の出力を交互に用いて画像データを生成することにより、高速連続撮影を行うことができる。 In the above-described embodiment, the image data is synthesized by synthesizing the outputs of the two solid-state imaging elements at the time of shooting, but the image data may be generated by the output of one of the solid-state imaging elements. For example, high-speed continuous shooting can be performed by generating image data by alternately using outputs of two solid-state imaging devices.
上述した一実施の形態において、固体撮像素子はＣＣＤイメージセンサーであってもいいし、ＣＭＯＳイメージセンサーであってもよい。ＣＭＯＳイメージセンサーを採用した場合には、ローリングシャッター方式で電荷蓄積制御と出力読み出しが行われるので、同一の行または列においては電荷蓄積タイミングが同一となるが、異なる行または列においては電荷蓄積タイミングがずれを生ずる。焦点検出に用いる出力は電荷蓄積タイミングが揃っていないと、移動する被写体に対して焦点検出誤差を生ずる。同一の焦点検出領域に属する焦点検出画素の並び方向は、ローリングシャッターの進行方向に対して垂直な方向に並べると電荷蓄積時間がそろうので、移動被写体に対する焦点検出誤差を生じない。したがって、同じ固体撮像素子内においては複数の焦点検出領域の延在方向（焦点検出画素の並び方向）を揃えるとともに、その方向をローリングシャッターの進行方向と垂直にしておくと良好に焦点検出を行うことができる。 In the above-described embodiment, the solid-state imaging device may be a CCD image sensor or a CMOS image sensor. When a CMOS image sensor is used, charge accumulation control and output readout are performed by a rolling shutter method, so that the charge accumulation timing is the same in the same row or column, but the charge accumulation timing is different in a different row or column. Causes a shift. If the output used for focus detection does not have the same charge accumulation timing, a focus detection error occurs for the moving subject. If the alignment directions of the focus detection pixels belonging to the same focus detection region are aligned in a direction perpendicular to the moving direction of the rolling shutter, the charge accumulation time is aligned, so that a focus detection error for a moving subject does not occur. Therefore, in the same solid-state image pickup device, when the extending directions of the plurality of focus detection regions (alignment direction of the focus detection pixels) are aligned, and the direction is perpendicular to the moving direction of the rolling shutter, the focus detection is performed satisfactorily. be able to.
例えば図２に示す固体撮像素子２２０をＣＭＯＳイメージセンサーで構成した場合、ローリングシャッターの進行方向を垂直方向になるように固体撮像素子を構成すれば、同一の焦点検出領域に属する焦点検出用画素の電荷蓄積タイミングを揃えることができる。また、図３の固体撮像素子２２１をＣＭＯＳイメージセンサーで構成した場合、ローリングシャッターの進行方向を水平方向になるように固体撮像素子を構成すれば、同一の焦点検出領域に属する焦点検出用画素の電荷蓄積タイミングを揃えることができる。
For example, when the solid-
なお、本発明の撮像装置は交換レンズとカメラボディから構成されるデジタルスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラやビデオカメラにも適用できる。また、携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも適用できる。さらに、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。 Note that the imaging apparatus of the present invention is not limited to a digital still camera including an interchangeable lens and a camera body. For example, the present invention can be applied to a digital still camera and a video camera with a lens. It can also be applied to small camera modules and surveillance cameras built into mobile phones. Furthermore, the present invention can be applied to a focus detection device other than a camera, a distance measuring device, and a stereo distance measuring device.
２０２ 交換レンズ
２０６ レンズ駆動制御装置
２１４ ボディ駆動制御装置
２２０、２２０Ａ、２２０Ｂ、２２１、２２１Ａ、２２１Ｂ、２３０、２３１ 固体撮像素子
２２３、Ｍ１〜Ｍ４ 光分割プリズム
３１０、３１１、３１２ 撮像用画素
３２０、３２１、３２２、３３０、３３１、３３２ 焦点検出用画素
202
Claims (15)
前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、
前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中の、前記光学系による画面上の前記第１焦点検出用画素とは異なる位置に配置された第２焦点検出用画素とを有する第２の撮像素子とを備えたことを特徴とする撮像装置。 Light beam splitting means for splitting the light beam from the optical system in different first and second directions;
First imaging pixels arranged in a two-dimensional manner for converting an image of a light beam divided in the first direction into an image signal, and first focus detection pixels arranged in the array of the first imaging pixels A first imaging device having:
Two-dimensionally arranged second imaging pixels for converting an image of the luminous flux divided in the second direction into an image signal, and the optical system in the array of the second imaging pixels on the screen by the optical system An imaging apparatus comprising: a second imaging element having a second focus detection pixel arranged at a position different from the first focus detection pixel.
前記複数の撮像素子の前記撮像用画素の出力に基づいて画像情報を生成する画像生成手段を備え、
前記画像生成手段は、前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成することを特徴とする撮像装置。 The imaging device according to claim 1,
Image generating means for generating image information based on outputs of the imaging pixels of the plurality of imaging elements;
The image generation means outputs the image output at the position of the first focus detection pixel of the first image sensor to the second image of the second image sensor at a position corresponding to the first focus detection pixel. An image pickup apparatus that generates an image based on an output of a pixel for use.
前記第１および第２焦点検出用画素は、前記光学系による画面内の互いに異なる区域に対応する位置に配置されていることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The imaging device according to claim 1, wherein the first and second focus detection pixels are arranged at positions corresponding to different areas in the screen by the optical system.
前記各撮像素子における電荷蓄積動作を独立に制御する蓄積制御手段とを備えることを特徴とする撮像装置。 The imaging device according to claim 2 ,
An image pickup apparatus comprising: an accumulation control unit that independently controls a charge accumulation operation in each of the image sensors.
前記蓄積制御手段は、前記第１および第２の撮像素子ごとに蓄積制御の基準とする像の明るさを異ならせたことを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The image pickup apparatus according to claim 1, wherein the accumulation control unit varies the brightness of an image as a reference for accumulation control for each of the first and second image sensors.
前記蓄積制御手段は、前記光学系による像の明るさが所定値よりも明るい部分の明るさを基準に、前記第１の撮像素子に対する蓄積制御を行うことを特徴とする撮像装置。 The imaging apparatus according to claim 5,
The image pickup apparatus according to claim 1, wherein the accumulation control unit performs accumulation control on the first image sensor based on brightness of a portion where the image brightness by the optical system is brighter than a predetermined value.
前記蓄積制御手段は、前記光学系による像の明るさが所定値よりも暗い部分の明るさを基準に、前記第２の撮像素子に対する蓄積制御を行うことを特徴とする撮像装置。 The imaging apparatus according to claim 5,
The image pickup apparatus according to claim 1, wherein the accumulation control unit performs accumulation control on the second image sensor based on a brightness of a portion where an image brightness by the optical system is darker than a predetermined value.
前記光学系による画面を前記光学系の光軸を中心とした第３方向に沿った第１区域と前記第３方向と直交する第４方向に沿った第２区域に区分した場合に、前記第１の撮像素子は、前記第１区域に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記第２区域に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。 The imaging device according to claim 3.
When the screen of the optical system is divided into a first area along a third direction centered on the optical axis of the optical system and a second area along a fourth direction orthogonal to the third direction, The first image sensor has the first focus detection pixel arranged in a region corresponding to the first area, and the second image sensor has the second focus detection pixel arranged in a region corresponding to the second area. An image pickup apparatus characterized in that is arranged.
前記光学系による画面を上下に分割した第１区域と第２区域に区分した場合に、前記第１の撮像素子は、前記第１区域に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記第２区域に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。 The imaging device according to claim 3.
When the screen by the optical system is divided into a first area and a second area which are divided vertically, the first imaging device arranges the first focus detection pixels in a region corresponding to the first area. The second imaging element has the second focus detection pixel arranged in a region corresponding to the second area.
前記光学系による画面の中央部と周辺部に区分した場合に、前記第１の撮像素子は、前記中央部に相当する領域に前記第１焦点検出用画素を配置し、前記第２の撮像素子は、前記周辺部に相当する領域に前記第２焦点検出用画素を配置したことを特徴とする撮像装置。 The imaging device according to claim 3.
In the case where the screen is divided into a central part and a peripheral part of the screen by the optical system, the first imaging element arranges the first focus detection pixels in a region corresponding to the central part, and the second imaging element. , Wherein the second focus detection pixels are arranged in an area corresponding to the peripheral portion.
前記焦点検出用画素で検出される前記焦点検出信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段を備えたことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 10,
An imaging apparatus comprising: focus detection means for detecting a focus adjustment state of the optical system based on the focus detection signal detected by the focus detection pixel.
前記第１焦点検出用画素は、前記光学系の射出瞳の一対の領域の一方からの光束を受光する第１の光電変換部を有し、前記第２焦点検出用画素は、前記一対の領域の他方からの光束を受光する第２の光電変換部を有し、
前記焦点検出手段は、前記第１および第２の焦点検出用画素の出力を組として前記焦点調節状態を検出することを特徴とする撮像装置。 The imaging device according to claim 11,
The first focus detection pixel includes a first photoelectric conversion unit that receives a light beam from one of a pair of regions of an exit pupil of the optical system, and the second focus detection pixel includes the pair of regions. A second photoelectric conversion unit that receives a light beam from the other side of
The imaging apparatus according to claim 1, wherein the focus detection unit detects the focus adjustment state based on a set of outputs from the first and second focus detection pixels.
前記撮像素子は単一の基板上に形成されることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 12,
The imaging device, wherein the imaging device is formed on a single substrate.
前記各撮像素子はローリングシャッター方式で画素の電荷蓄積が制御されるＣＭＯＳイメージセンサーであり、ローリングシャッター方式により電荷蓄積タイミングが同一となる配列に同一の焦点検出領域を構成する焦点検出用画素を配置することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 13,
Each of the image sensors is a CMOS image sensor in which charge accumulation of pixels is controlled by a rolling shutter method, and focus detection pixels constituting the same focus detection region are arranged in an array having the same charge accumulation timing by the rolling shutter method. An imaging apparatus characterized by:
前記第１方向に分割された光束による像を画像信号に変換する二次元状に配列された第１撮像用画素と、該第１撮像用画素の配列中に配置された第１焦点検出用画素とを有する第１の撮像素子と、
前記第２方向に分割された光束による像を画像信号に変換する二次元状に配列された第２撮像用画素と、該第２撮像用画素の配列中に配置された第２焦点検出用画素とを有する第２の撮像素子と、
前記第１の撮像素子の前記第１焦点検出用画素の位置における画像出力を、前記第２の撮像素子において前記第１焦点検出用画素に対応する位置の前記第２撮像用画素の出力に基づいて生成する画像生成手段とを備えたことを特徴とする撮像装置。 Light beam splitting means for splitting the light beam from the optical system in different first and second directions;
First imaging pixels arranged in a two-dimensional manner for converting an image of a light beam divided in the first direction into an image signal, and first focus detection pixels arranged in the array of the first imaging pixels A first imaging device having:
Second imaging pixels arranged in a two-dimensional manner for converting an image of a light beam divided in the second direction into an image signal, and second focus detection pixels arranged in the array of the second imaging pixels A second imaging device having:
The image output at the position of the first focus detection pixel of the first imaging element is based on the output of the second imaging pixel at the position corresponding to the first focus detection pixel of the second imaging element. An image pickup apparatus comprising: an image generation means for generating the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007010230A JP4983271B2 (en) | 2007-01-19 | 2007-01-19 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007010230A JP4983271B2 (en) | 2007-01-19 | 2007-01-19 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008177903A JP2008177903A (en) | 2008-07-31 |
| JP4983271B2 true JP4983271B2 (en) | 2012-07-25 |
Family
ID=39704583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007010230A Expired - Fee Related JP4983271B2 (en) | 2007-01-19 | 2007-01-19 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4983271B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5434761B2 (en) * | 2010-04-08 | 2014-03-05 | 株式会社ニコン | Imaging device and imaging apparatus |
| JP5929021B2 (en) * | 2011-07-04 | 2016-06-01 | 株式会社ニコン | Focus detection device, imaging device |
| US9473688B2 (en) | 2012-12-20 | 2016-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus comprising a plurality of imaging sensors and image processing units |
| JP2014122957A (en) * | 2012-12-20 | 2014-07-03 | Canon Inc | Imaging device |
| JP6111430B2 (en) * | 2013-05-24 | 2017-04-12 | パナソニックＩｐマネジメント株式会社 | Imaging device |
| US9706116B2 (en) * | 2013-10-31 | 2017-07-11 | Ricoh Co., Ltd. | Plenoptic color imaging system with enhanced resolution |
| JP6584383B2 (en) * | 2016-01-29 | 2019-10-02 | キヤノン株式会社 | Imaging device and imaging apparatus |
| GB2548462B (en) * | 2016-01-29 | 2020-06-17 | Canon Kk | Image sensor and image capturing apparatus |
| CN109196857B (en) | 2016-06-01 | 2020-10-27 | 富士胶片株式会社 | Imaging element and imaging device |
| JP6632582B2 (en) * | 2017-08-25 | 2020-01-22 | キヤノン株式会社 | Imaging device and control method thereof |
| WO2022064659A1 (en) | 2020-09-25 | 2022-03-31 | オリンパス株式会社 | Autofocus system, endoscope system, and control method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01216306A (en) * | 1988-02-24 | 1989-08-30 | Canon Inc | Focus detecting device having image pickup means |
| JPH07333488A (en) * | 1994-06-06 | 1995-12-22 | Nikon Corp | Focus detector |
| JPH11355650A (en) * | 1998-06-09 | 1999-12-24 | Nikon Corp | Image fetching device |
| JP2001086411A (en) * | 1999-09-13 | 2001-03-30 | Matsushita Electric Ind Co Ltd | Solid-state image pickup device |
| JP2002090619A (en) * | 2000-09-18 | 2002-03-27 | Canon Inc | Focus detector |
| JP4708595B2 (en) * | 2001-05-09 | 2011-06-22 | キヤノン株式会社 | Imaging apparatus and camera |
| JP4323781B2 (en) * | 2002-11-27 | 2009-09-02 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP4858179B2 (en) * | 2007-01-19 | 2012-01-18 | 株式会社ニコン | Focus detection apparatus and imaging apparatus |
-
2007
- 2007-01-19 JP JP2007010230A patent/JP4983271B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008177903A (en) | 2008-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4983271B2 (en) | Imaging device | |
| JP4961993B2 (en) | Imaging device, focus detection device, and imaging device | |
| JP5176959B2 (en) | Imaging device and imaging apparatus | |
| JP4807131B2 (en) | Imaging device and imaging apparatus | |
| JP4952060B2 (en) | Imaging device | |
| JP4867552B2 (en) | Imaging device | |
| JP5163068B2 (en) | Imaging device | |
| JP5012495B2 (en) | IMAGING ELEMENT, FOCUS DETECTION DEVICE, FOCUS ADJUSTMENT DEVICE, AND IMAGING DEVICE | |
| JP5157400B2 (en) | Imaging device | |
| JP5045007B2 (en) | Imaging device | |
| JP4826507B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP4992481B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP4867566B2 (en) | Imaging device, focus detection device, and imaging device | |
| JP5619294B2 (en) | Imaging apparatus and focusing parameter value calculation method | |
| JP5133533B2 (en) | Imaging device | |
| JP4858179B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP5211590B2 (en) | Image sensor and focus detection apparatus | |
| WO2016158618A1 (en) | Imaging device | |
| JP5067148B2 (en) | Imaging device, focus detection device, and imaging device | |
| JP5381472B2 (en) | Imaging device | |
| JP6642628B2 (en) | Imaging device and imaging device | |
| JP5332384B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP5338118B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
| JP2018026604A (en) | Imaging device and imaging device system | |
| JP2019195185A (en) | Image pick-up device and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20120124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120306 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4983271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |