JP6610648B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

焦点検出画素群と撮像用の画素を複数有する撮像素子を用いて、電子ビューファインダー用に間引き読み出しをする場合に、焦点検出画素群が間引かれないように読み出す撮像装置がある（例えば、特許文献１を参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−６０５９７号公報

しかしながら、上記撮像装置においては、電荷の蓄積制御が電子ビューファインダー用に設定されているので、焦点の検出に不具合を生じるという課題がある。

本発明の第１の態様においては、撮像装置であって、複数の画素が二次元的に配列された撮像領域を分割した複数の領域ごとに、複数の領域のそれぞれに含まれる画素の蓄積を制御して画素信号を読み出す読み出し部と、画素信号に基づく評価値を演算する演算部と、画素信号を用いて画像を生成する画像生成部と、複数の領域のうち、演算部に画素信号を出力する場合に読み出される領域と、画像生成部に画素信号を出力する場合に読み出される領域とで、読み出し部に異なる蓄積および読み出しを行わせる制御部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。 撮像チップの単位ブロックの配列を説明する図である。 位相差画素なしの単位ブロックの画素配列を説明する図である。 単位ブロックに対応する回路図である。 位相差画素ありの画素配列を説明する図である。 本実施形態に係る撮像装置の構成を示すブロック図である。 信号処理チップの一例としての具体的構成を示すブロック図である。 撮像装置の動作フローを示す。 各単位ブロックにおける蓄積および読み出しのタイミングを示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの単位ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

図２は、撮像チップ１１３の単位ブロック１３１Ａ、１３１Ｂを説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像領域には２０００万個以上もの画素がマトリックス状に配列されている。当該撮像領域が複数の単位ブロック１３１Ａ、１３１Ｂに分割されている。

図２の例においては、単位ブロック１３１Ａおよび単位ブロック１３１Ｂの二種類がある。単位ブロック１３１Ａに含まれる画素は、画像生成用の画素である。一方、単位ブロック１３１Ｂは、画像生成用の画素に加えて、位相差画素１３３を有する。

図２において撮像チップ１１３の撮像領域は、７ブロック×９ブロックの６３ブロックに分割されている。そのうち、単位ブロック１３１Ｂが撮像領域の中心およびその周囲に一つ置きに９個配されて、他の位置に単位ブロック１３１Ａが配されている。ブロックの数はこれに限られず、これ以上でもこれ以下でもよい。また、単位ブロック１３１Ａと単位ブロック１３１Ｂの個数の比率もこれ以上でもこれ以下でもよい。当該単位ブロック１３１Ａ、１３１Ｂが二次元的に配されて上記撮像領域が形成されている。

図３は、位相差画素なしの単位ブロック１３１Ａの画素配列を説明する図である。図３の単位ブロック１３１Ａは、隣接する９画素×１０画素の９０画素を有する。単位ブロック１３１Ａを形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

単位ブロック１３１Ａは、緑色画素Ｇ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を有する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。これら緑色画素Ｇ、青色画素Ｂおよび赤色画素Ｒの画素からの画素信号は画像を生成するのに用いられる。

図４は、単位ブロック１３１Ａに対応する回路図である。ただし、説明を簡略化する目的で、単位ブロック１３１Ａに含まれる画素を４画素×４画素の１６画素に省略して示した。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

図４の単位ブロック１３１Ａの１６画素のそれぞれに対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。また、画素個数分のデコーダ配線３０８を設けることに代えて、行列選択線およびこれに対応したトランジスタを設けて、個々の画素を選択してもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素信号の出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、単位ブロック１３１Ａを形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位ブロック１３１Ａ毎に別個に設けられる。

このように単位ブロック１３１Ａを基準として回路を構成することにより、単位ブロック１３１Ａごとに電荷蓄積時間を制御することができる。換言すると、複数の単位ブロック１３１Ａ同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位ブロック１３１Ａに１回の電荷蓄積を行わせている間に、他方の単位ブロック１３１Ａに何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位ブロック１３１Ａ同士で異なるフレームレートで動画用の各フレームを出力することもできる。また、単位ブロック１３１Ａごとに画素信号の読出しの有無を制御することができる。

図５は、位相差画素ありの単位ブロック１３１Ｂの画素配列を説明する図である。単位ブロック１３１Ｂは、単位ブロック１３１Ａと同様に、隣接する９画素×１０画素の９０画素を有する。図５の単位ブロック１３１Ｂの数は一例であることは、単位ブロック１３１Ａと同様である。また、単位ブロック１３１Ａと単位ブロック１３１Ｂとで画素数が異なっていてもよい。

図５の単位ブロック１３１Ｂは、単位ブロック１３１Ａと同様に、緑色画素Ｇ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を有する。単位ブロック１３１Ｂはさらに、図５における右の半面が遮光されてＰＤ１０４の左半面で受光する位相差画素１３３Ｌと、左の半面が遮光されてＰＤ１０４の右半面で受光する位相差画素１３３Ｒとを有する。図５に示す例において、単位グループ１３１Ｂの中央において、位相差画素１３３Ｌ、１３３Ｒは互いに隣接して３組横に並べて配されている。

これら位相差画素１３３Ｌ、１３３Ｒは、図１におけるカラーフィルタ１０２に代えて、それぞれ図５の右半面、左半面に開口が設けられた遮光層を有する。これにより、位相差画素１３３Ｌには、撮像素子１００に結像する結合光学系の、図５における左側領域からの光束が入射する。一方、位相差画素１３３Ｒには、撮像素子１００に結像する結合光学系の、図５における右側領域からの光束が入射する。よって、上記位相差画素１３３Ｌの群により得られる像と位相差画素１３３Ｒの群により得られる像の位置関係により、合焦状態からのズレの方向およびズレ量が判定される。

複数の単位ブロック１３１Ｂ同士で、異なった電荷蓄積時間、異なった周期による画素信号をそれぞれ出力させることができることは単位ブロック１３１Ａの場合と同様である。さらに、単位ブロック１３１Ａと単位ブロック１３１Ｂとの間でも、異なった電荷蓄積時間、異なった周期による画素信号をそれぞれ出力させることができる。

図６は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６および駆動部５１４を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表して表している。

駆動部５１４は撮影レンズ５２０を駆動する。より具体的には駆動部５１４は撮影レンズ５２０の光学レンズ群を移動させて合焦位置を変更し、また、撮影レンズ５２０内の虹彩絞りを駆動して撮像素子１００へ入射する被写体光束の光量を制御する。

駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。また、操作部５０８はレリーズボタン等により撮像者からの指示を受け付ける。

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

駆動部５０２は、一部または全部が撮像チップ１１３に搭載されてもよいし、一部または全部が信号処理チップ１１１に搭載されてもよい。システム制御部５０１の一部が撮像チップ１１３または信号処理チップ１１１に搭載されてもよい。

図７は、信号処理チップ１１１の一例としての具体的構成を示すブロック図である。信号処理チップ１１１は、駆動部５０２の機能を担う。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４、個別回路部４５０Ａ等と、これらの各制御部を統括制御する駆動制御部４２０とを含む。信号処理チップ１１１は、さらに、駆動制御部４２０と撮像装置５００本体のシステム制御部５０１と間のＩ／Ｆ回路４１８を含む。これらセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４および駆動制御部４２０は、信号処理チップ１１１に対して一つずつ設けられる。

個別回路部４５０Ａ、４５０Ｂは、単位ブロック１３１Ａ、１３１Ｂごとに設けられる。すなわち、単位ブロック１３１Ａ、１３１Ｂの数が例えば合計で６３個であれば、個別回路部４５０Ａ等も一対一で６３個設けられる。これに代えて、個別回路部４５０Ａが複数の単位ブロック１３１Ａの全体に対して一つ、個別回路部４５０Ｂが複数の単位ブロック１３１Ｂの全体に対して一つ設けられてもよい。

個別回路部４５０Ａ、４５０Ｂは、同一の構成を有するので、以下、個別回路部４５０Ａについて説明する。個別回路部４５０Ａは、ＣＤＳ回路４１０、マルチプレクサ４１１、Ａ／Ｄ変換回路４１２、デマルチプレクサ４１３、画素メモリ４１４および演算回路４１５を含む。演算回路４１５は、Ｉ／Ｆ回路４１８を介してシステム制御部５０１との間で信号を送受信する。

個別回路部４５０Ａは対応する単位ブロック１３１Ａの画素が配された領域に重畳した領域に配されていることが好ましい。これにより、各チップを面方向に大きくすることなく、複数の単位ブロック１３１Ａのそれぞれに個別回路部４５０Ａを設けることができる。

駆動制御部４２０は、タイミングメモリ４３０を参照して、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。特に、駆動制御部４２０は、タイミングメモリ４３０において蓄積および読み出しをすべきとされている単位ブロック１３１Ａ等を特定し、当該単位ブロック１３１Ａ等を特定する情報ともに各制御部に制御パラメータを引き渡す。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位ブロック１３１を特定する特定パルスの送出を実行する。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位ブロック１３１Ａ等に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、主にＡ／Ｄ変換回路４１２に対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、ＣＤＳ回路４１０およびマルチプレクサ４１１を経てＡ／Ｄ変換回路４１２に入力される。ＣＤＳ回路４１０は画素信号からノイズを取り除く。

Ａ／Ｄ変換回路４１２は、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

演算回路４１５は、対応する単位ブロック１３１Ａについて、画素メモリ４１４に格納された画素値に基づく評価値を演算し、当該評価値が予め定められた判定条件を満たすか否かを判定する。演算回路４１５は、この判定の結果を、単位ブロック１３１Ａを特定する情報に対応付けて駆動制御部４２０に出力する。

画素メモリ４１４は、少なくとも単位ブロック１３１Ａに含まれる画素数分の画素値を格納できるメモリ空間を有し、画素値を格納する。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素値に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。

信号処理チップ１１１は、フラッシュＲＡＭ等により形成されるタイミングメモリ４３０を有する。タイミングメモリ４３０は、いずれの単位ブロック１３１Ａ等に対して何回の電荷蓄積を繰り返すかについての蓄積回数情報等の制御パラメータを、単位ブロック１３１Ａ等を特定する情報に対応づけて格納する。タイミングメモリ４３０にはさらに、単位ブロック１３１Ａ等を特定する情報に対応づけて、単位ブロック１３１Ａおよび単位ブロック１３１Ｂのいずれの種類であるかを特定する情報を格納している。

図８は、撮像装置５００の動作フローを示す。図８は、例えばスリープモードから操作部５０８への何らかの操作が入力されたことにより開始する。

システム制御部５０１は、絞り、シャッタスピード、ＩＳＯ感度等の撮影条件を設定する（Ｓ１００）。システム制御部５０１は、システム内部のクロックを用いて、スルー画像の読み出しタイミングであるか否かを判断する（Ｓ１０２）。スルー画像は、本撮影の参考にすべく撮像素子１００で撮像される画像をリアルタイムで表示部５０６に表示するものであり、ライブビュー画像と呼ばれることもある。ここでスルー画像の読出しタイミングは、一定時間間隔、例えば３０ｆｐｓに設定される。

スルー画像の読み出しタイミングである場合に（Ｓ１０２：Ｙｅｓ）、システム制御部５０１はスルー画像を読み出すべき旨を駆動制御部４２０に指示する（Ｓ１０４）。駆動制御部４２０は、タイミングメモリ４３０を参照して、単位ブロック１３１Ａ、１３１Ｂに電荷蓄積制御および読み出し制御を行う。

スルー画像の読み出しにおいては、できるだけ多くの単位ブロック１３１Ａ、１３１Ｂから画素信号を得ることが好ましい。例えば、撮像領域に含まれるすべての単位ブロック１３１Ａ、１３１Ｂ、図２に示す例においては６３個の単位ブロック１３１Ａ、１３１Ｂから画素信号を得ることが好ましい。そこで、タイミングメモリ４３０には、スルー画像の読み出しが行われる単位ブロックとして、撮像領域の単位ブロック１３１Ａ、１３１Ｂのすべてを特定する情報が予め格納されている。

駆動制御部４２０は、図３から図７で説明したように、それぞれの単位ブロック１３１Ａ、１３１Ｂに含まれる画素に対して電荷の蓄積および画素信号の読み出しを行い、画素値を画素メモリ４１４に格納する。ただし、単位ブロック１３１Ａ等の内部では間引き読出しをしてもよい。なお電荷の蓄積等の制御パラメータは、スルー画像用としてタイミングメモリ４３０に予め設定されていてもよいし、撮像者により設定された撮影条件に基づいて設定されてもよい。

画像処理部５１１は、画素メモリ４１４に格納された画素値を読み出し、スルー画像の画像データを生成して表示部５０６に表示する（Ｓ１０６）。また、ステップＳ１０２においてスルー画像の読み出しタイミングでない場合は（Ｓ１０２：Ｎｏ）、すでに生成したスルー画像の画像データを表示部５０６に表示し続ける（Ｓ１０６）。

システム制御部５０１は、操作部５０８からレリーズボタンの半押しを検知するまで（Ｓ１０８：Ｎｏ）、上記ステップＳ１０２からＳ１０６を繰り返す。一方、システム制御部５０１は、操作部５０８からレリーズボタンの半押しを検知した場合に（Ｓ１０８：Ｙｅｓ）、駆動制御部４２０の制御により位相差画素１３３から画素信号を読み出す（Ｓ１１０）。なお、レリーズボタンの半押しは、合焦状態を判断する指示の一例である。

ステップＳ１１０において、駆動制御部４２０はタイミングメモリ４３０を参照する。ここでタイミングメモリ４３０には、位相差画素１３３から画素信号を読み出す場合に駆動される単位ブロックとして、位相差画素ありの単位ブロック１３１Ｂを特定する情報が格納されている。よって、駆動制御部４２０は撮像領域のうち単位ブロック１３１Ｂに対して電荷の蓄積および画素信号の読み出しを実行して画素メモリ４１４に格納する。一方、駆動制御部４２０は、単位ブロック１３１Ａに対しては電荷の蓄積および画素信号の読み出しを実行しない。これにより、位相差画素の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数（図２の例では９個）は、スルー画像の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数（図２の例では６３個）よりも少なくなる。

個別回路部４５０Ｂの演算回路４１５は、単位ブロック１３１Ｂの位相差画素１３３の画素信号を画素メモリ４１４から読み出して、合焦点状態を判定する（Ｓ１１２）。この場合に、演算回路４１５は、当該単位ブロック１３１Ｂにおける、位相差画素１３３Ｌの群により得られる像と位相差画素１３３Ｒの群により得られる像の位置関係により、合焦状態からのズレの方向およびズレ量を判定する。

上記判定に基づいて、駆動部５１４が撮影レンズ５２０を駆動して合焦位置を調整する（Ｓ１１４）。

システム制御部５０１は、操作部５０８がレリーズボタンの全押しを検知するまで（Ｓ１１６：Ｎｏ）、上記ステップＳ１０２からＳ１１４を繰り返す。一方、システム制御部５０１は、操作部５０８がレリーズボタンの全押しを検知した場合に（Ｓ１１６：Ｙｅｓ）、駆動制御部４２０の制御により本画像の画素信号を読み出す（Ｓ１１０）。

ここでタイミングメモリ４３０には、本画像の画素信号を読み出す単位ブロックとして、撮像領域の単位ブロック１３１Ａ、１３１Ｂのすべてを特定する情報が予め格納されている。よって、駆動制御部４２０は撮像領域の単位ブロック１３１Ａ、１３１Ｂのすべてに対して電荷の蓄積および画素信号の読み出しを実行する。これにより、本画像の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数は、位相差画素の読み出し時に電荷蓄積等の制御対象となる単位ブロックの数よりも多くなる。また、単位ブロック１３１Ａ等内において、間引き読み出しはしないことが好ましい。なお、単位ブロック１３１Ｂにおける位相差画素１３３に対応する位置の画素値は周囲の画素の画素値に基づいて補間されることが好ましい。

画像処理部５１１は、上記駆動制御部４２０の制御により読み出されて画素メモリ４１４に格納された画素値を読み出し、本画像の画像データを生成して、表示部５０６に表示するとともに記録部５０５に記録する（Ｓ１２０）。以上で動作フローが終了する。

図９は、単位ブロック１３１Ａ、１３１Ｂにおける蓄積および読み出しのタイミングを示す。なお、図９においては説明を簡略化すべく、それぞれのブロック全体での蓄積及び読み出しが一つのパルス状に示されている。

単位ブロック１３１Ａは、上記の通り位相差画素を有さず、スルー画像および本画像の生成に用いられる。図８のステップＳ１０２で説明したように、単位ブロック１３１Ａはスルー画像を生成すべく、一定間隔、例えば３０ｆｐｓで蓄積および読み出しされる。

これに対し、単位ブロック１３１Ｂは、位相差画素を有しており、スルー画像および本画像の生成だけでなく、合焦状態の評価に用いられる。そこで、単位ブロック１３１Ｂは、単位ブロック１３１Ａの上記一定間隔よりも短い間隔で蓄積および読み出しされる。

図９に示す例において単位ブロック１３１Ｂの読み出しの間隔は、単位ブロック１３１Ａの１／３であり、したがってフレームレートは３倍の９０ｆｐｓである。すなわち、単位ブロック１３１Ａがタイミングｔａ１で蓄積等がされてから、次のタイミングｔａ２で蓄積等がされるまでの間に、単位ブロック１３１Ｂは、タイミングｔｂ１、ｔｂ２、ｔｂ３の３回蓄積等がされている。

単位ブロック１３１Ａと単位ブロック１３１Ｂとは、周期に加えて他の制御パラメータが異なっていてもよい。例えば、互いに蓄積時間が違っていてもよい。単位ブロック１３１Ｂは、合焦状態が精度よく判定されるように、単位ブロック１３１Ａよりも蓄積時間を長くしてもよい。

ここで、単位ブロック１３１Ｂにおけるタイミングｔｂ１、ｔｂ４は、単位ブロック１３１Ａのタイミングｔａ１、ｔａ２と同期している。よって、単位ブロック１３１Ｂにおけるタイミングｔｂ１、ｔｂ４で得られた画素値は、単位ブロック１３１Ａの画素値とともにスルー画像を生成するのに用いられてもよい。単位ブロック１３１Ａと単位ブロック１３１Ｂとで蓄積時間が異なる場合には、単位ブロック１３１Ｂにおけるタイミングｔｂ１、ｔｂ４で得られた画素値が蓄積時間の違いに応じて輝度調整され、スルー画像が生成されることが好ましい。これに代えて、単位ブロック１３１Ｂにおいて単位ブロック１３１Ａと同期するタイミングでは、蓄積時間を単位ブロック１３１Ａと同じにしてもよい。

これらに代えて、単位ブロック１３１Ｂにおける位相差画素１３３の読み出しのためのいずれのタイミングも単位ブロック１３１Ａのタイミングとは非同期にしてもよい。この場合に、上記位相差画素１３３の読み出しのタイミングとは別個に、単位ブロック１３１Ａのタイミングと同期させて、単位ブロック１３１Ｂのスルー画像のための蓄積等を行ってもよい。この場合には、単位ブロック１３１Ｂのスルー画像のための制御パラメータは、単位ブロック１３１Ａの制御パラメータに合せることが好ましい。

以上、図１から図９に示す実施形態によれば、少なくともスルー画像および本画像を生成する場合に読み出される単位ブロック１３１Ａと、少なくとも合焦状態を判定する場合に読み出される単位ブロック１３１Ｂに対して、それぞれに適した蓄積および読み出しを行うことができる。特に、合焦状態を判定する場合に読み出される単位ブロック１３１Ｂの蓄積等の周期を、スルー画像を生成する場合に読み出される単位ブロック１３１Ａの蓄積等の周期をより短くすることにより、処理すべきデータ量を小さくしつつ合焦動作を早くすることができる。

スルー画像にいて、一部を拡大して表示する旨がユーザから入力された場合に、上記ステップＳ１０４、Ｓ１０６において、表示されない単位ブロック１３１Ａは、蓄積、読み出し等が行われなくてもよい。その場合であっても、表示の有無にかかわらずステップＳ１１０においては、単位ブロック１３１Ｂは、蓄積、読み出し等が行われ、ステップＳ１１２以降の動作が行われることが好ましい。

図１から図９に示す実施形態においては、単位ブロック１３１Ｂに位相差画素１３３が含まれており、当該位相差画素１３３からの画素値に基づいて合焦動作が実行される。しかしながら、合焦点動作の方式はこれに限られない。

位相差画素１３３を用いる方式に代えて、画像を生成するのに用いられる画素を用いたコントラスト方式により合焦動作を実行してもよい。この場合に、上記図８のステップＳ１１０において、単位ブロック１３１Ｂから画素値が読み出され、当該単位ブロック１３１Ｂ内での空間的な高周波成分に基づいてコントラスト値が算出される。さらに当該コントラスト値が極大値となるように、撮影レンズ５２０が駆動される。なお、この場合には単位ブロック１３１Ｂには位相差画素１３３を設けず、単位ブロック１３１Ａと同一の画素配列にしてもよい。

さらに他の例として、位相差画素１３３を用いる方式とコントラスト方式とを併用してもよい。この場合に、例えば、上記図８のステップＳ１１０において、最初に位相差画素１３３を用いて合焦位置のズレの方向を判定し、その方向へコントラスト方式で合焦位置を調整してもよい。これに代えて、撮像素子１００に入射する被写体像の輝度が閾値よりも高い場合に位相差画素１３３を用い、低い場合にコントラスト方式を用いてもよい。さらに他の例として、上記図８のステップＳ１１０において被写体を認識し、当該被写体が動体である場合に位相差画素１３３を用いて、動体でない場合にコントラスト方式を用いてもよい。

また、コントラスト方式で合焦状態を判定するために読み出した単位ブロック１３１Ｂの画素値は、スルー画像の生成に用いられなくてもよい。これにより、単位ブロック１３１Ｂに対してコントラスト方式に適した蓄積制御をすることができる。この場合には、上記の通りスルー画像の生成のために、単位ブロック１３１Ａに同期して単位ブロック１３１Ｂに対して同じ蓄積制御をして、単位ブロック１３１Ａ、１３１Ｂの両方から画素値を得ることが好ましい。

上記実施形態は、動画を撮像する場合にも適用できる。その場合には、上記スルー画像のための読み出しおよびスルー画像の生成を、動画のための読み出しおよび動画の生成に代えればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１Ａ 単位ブロック、１３１Ｂ 単位ブロック、１３３ 位相差画素、１３３Ｌ 位相差画素、１３３Ｒ 位相差画素、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１０ ＣＤＳ回路、４１１ マルチプレクサ、４１２ Ａ／Ｄ変換回路、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４１８ Ｉ／Ｆ回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、４５０Ａ 個別回路部、４５０Ｂ 個別回路部、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５０８ 操作部、５１１ 画像処理部、５１２ 演算部、５１４ 駆動部、５２０ 撮影レンズ

Claims (11)

1. 光を電荷に変換する第１光電変換部と前記第１光電変換部に接続される第１回路部とを含む、第１方向と前記第１方向と交差する第２方向とに配列された複数の第１画素と、前記第１画素の画素信号の出力を制御する第１制御線と、前記画素信号を出力する第１信号線と、を含む第１撮像領域と、光を電荷に変換する第２光電変換部と前記第２光電変換部に接続される第２回路部とを含む、前記第１方向と前記第２方向とに配列された複数の第２画素と、前記第２画素の画素信号の出力を制御する、前記第１制御線と異なる第２信号線と、前記画素信号を出力する、前記第１信号線と異なる第２信号線と、を含む第２撮像領域と、を有する撮像素子と、
   複数の前記第１画素と複数の前記第２画素とをそれぞれ制御して画素信号を読み出す読み出し部と、
   前記画素信号に基づく評価値を演算する演算部と、
   前記画素信号を用いて画像を生成する画像生成部と、
   前記第１撮像領域と前記第２撮像領域とのうち、前記演算部に画素信号を出力する場合に読み出される撮像領域と、前記画像生成部に画素信号を出力する場合に読み出される撮像領域とで、前記読み出し部に異なる読み出しを行わせる制御部と
   を備える撮像装置。
2. 前記制御部は、前記第１撮像領域と前記第２撮像領域とのうち、前記演算部に画素信号を出力する場合に読み出される撮像領域の数よりも、前記画像生成部に画素信号を出力する場合に読み出される撮像領域の数を多く設定する請求項１に記載の撮像装置。
3. 前記制御部は、前記演算部に画素信号を出力する場合に読み出される撮像領域と、前記画像生成部に画素信号を出力する場合に読み出される撮像領域と、で異なる周期で読み出しを行わせる請求項１または２に記載の撮像装置。
4. 前記制御部は、前記演算部に画素信号を出力する場合に読み出される撮像領域と、前記画像生成部に画素信号を出力する場合に読み出される撮像領域と、で異なる蓄積時間で蓄積を行わせる請求項１から３のいずれか１項に記載の撮像装置。
5. 前記演算部は、合焦状態を判定する前記評価値を演算する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記演算部に画素信号を出力する場合に読み出される撮像領域には、結像光学系の異なる領域を通過した光束を受光する位相差画素が含まれる請求項５に記載の撮像装置。
7. 前記読み出し部および前記演算部は、複数の前記撮像領域ごとに一組ずつ設けられる請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第２撮像領域に、前記第１撮像領域とは異なる撮像条件を設定可能な設定部を備える請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記撮像領域が配された撮像チップと、前記読み出し部、前記演算部、前記制御部および前記画像生成部の少なくとも一部が配された信号処理チップとが積層されている請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮像チップは裏面照射型ＣＭＯＳチップである請求項９に記載の撮像装置。
11. 光を電荷に変換する第１光電変換部と前記第１光電変換部に接続される第１回路部とを含む、第１方向と前記第１方向と交差する第２方向とに配列された複数の第１画素と、前記第１画素の画素信号の出力を制御する第１制御線と、前記画素信号を出力する第１信号線と、を含む第１撮像領域と、光を電荷に変換する第２光電変換部と前記第２光電変換部に接続される第２回路部とを含む、前記第１方向と前記第２方向とに配列された複数の第２画素と、前記第２画素の画素信号の出力を制御する、前記第１制御線と異なる第２信号線と、前記画素信号を出力する、前記第１信号線と異なる第２信号線と、を含む第２撮像領域と、を有する撮像素子と、
    前記第１撮像領域と前記第２撮像領域とのうち、前記画素信号に基づく評価を行う場合に読み出される撮像領域と、前記画素信号を用いて画像を生成する場合に読み出される撮像領域とで、異なる読み出しを行わせる制御部と
    を備える撮像装置。

Images