JP2024159886A - 撮像素子 - Google Patents

Abstract

【課題】撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成すること。
【解決手段】複数の半導体基板は、光を電荷に変換する複数の光電変換部が行方向に並んで配置される第１半導体基板を備える。複数の半導体基板は、複数の光電変換部のうち第１光電変換部と第２光電変換部とでそれぞれ変換された電荷を蓄積する第１蓄積時間と、複数の光電変換部のうち第３光電変換部と第４光電変換部とでそれぞれ変換された電荷を蓄積する第２蓄積時間とが異なる蓄積時間となるように制御する駆動部と、第１光電変換部の電荷に基づく第１信号と第２光電変換部の電荷に基づく第２信号とをデジタル信号に変換する第１変換部と、第３光電変換部の電荷に基づく第３信号と第４光電変換部の電荷に基づく第４信号とをデジタル信号に変換する第２変換部とを有する第２半導体基板とを備える。
【選択図】図３

Description

本発明は、撮像素子に関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。

特開２００６－４９３６１号公報

しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。

本発明の態様では、撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成することを目的とする。

本発明の一態様は、撮像素子である。撮像素子は、光を電荷に変換する第１光電変換部と、光を電荷に変換する第２光電変換部とを有する第１半導体基板を備える。撮像素子は、第１半導体基板と共に積層される半導体基板であって、第１光電変換部で変換された電荷の蓄積を終了するタイミングと、第２光電変換部で変換された電荷の蓄積を終了するタイミングとが異なるタイミングとなるように制御する駆動部を有する第２半導体基板を備える。駆動部は、第１光電変換部で変換された電荷により出力される第１信号と、第２光電変換部で変換された電荷により出力される第２信号とに基づく第１画像データを生成するための第１モードと、第１信号に基づく第２画像データと、第２信号に基づく第３画像データとを生成するための第２モードとを実行する。

本発明の態様によれば、異なる撮像条件が設定された複数の領域に対応する複数の動画を生成することができる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第１実施形態に係る電子機器の構成を示すブロック図である。 表示部における表示画面の一例を示す図である。 画像処理部及びシステム制御部の機能ブロック図である。 各ブロックにおける配列パターンを示す図である。 システム制御部が実行する撮影動作を説明するためのフローチャートである。 配列パターン設定処理を説明するためのフローチャートである。 第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。 画像表示領域におけるライブビュー画像の表示例を示す図である。 画像表示領域における電子ズームの範囲及び位置を示す図である。 画像表示領域におけるサブ画面の範囲及び位置を示す図である。 第２動画モードの実行中の動作を説明するためのフローチャートである。 第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第２実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。

＜第１実施形態＞
図１は、積層型撮像素子の断面図である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Ｐｈｏｔｏｄｉｏｄｅ；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Ｔｈｒｏｕｇｈ－Ｓｉｌｉｃｏｎ Ｖｉａ；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。

図２は、撮像チップの画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップの単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１ごとに別個に設けられる。

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）・アナログ／デジタル（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。

演算回路４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。

上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。

また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。

また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。

また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。

また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。

本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。

また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。

図５は、第１実施形態に係る電子機器の構成を示すブロック図である。図５に示す電子機器１は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図５に示すように、電子機器１は、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。レンズ部１０は、複数のレンズ群から構成された撮像光学系である。このレンズ部１０は、被写体からの光束を撮像部２０へ導く。このレンズ部１０は、電子機器１と一体構成であってもよく、また電子機器１に対して着脱可能な交換式レンズであってもよい。また、このレンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。

撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。

また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおけるブロックの設定を行う。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。

撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部３０は第１画像処理部３０Ａと第２画像処理部３０Ｂとが設けられている。画像処理の負荷が高い場合は、第１画像処理部３０Ａ及び第２画像処理部３０Ｂに対して、それぞれ処理が割り当てられる。そして、第１画像処理部３０Ａ及び第２画像処理部３０Ｂは、それぞれ、割り当てられた処理を並列に実行する。

本実施形態においては、後述するように、システム制御部７０（具体的には、図７に示す分割部７１）は、撮像素子１００の画素領域（撮像領域）１１３Ａを少なくとも第１領域と第２領域とに分割する。また、システム制御部７０（具体的には、図７に示す撮像制御部７２）は、第１領域と第２領域とで異なる撮像条件によって撮像を行うように撮像素子１００を駆動制御する。この場合、例えば、第１画像処理部３０Ａは、第１領域からの信号の画像処理を実行する。また、第２画像処理部３０Ｂは、第２領域からの信号の画像処理を実行する。なお、撮像素子１００の画素領域（撮像領域）１１３Ａは、第１領域と第２領域との２つの領域に分割される場合に限らず、第１領域、第２領域、第３領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第１画像処理部３０Ａと第２画像処理部３０Ｂとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部７０が分割される領域の数や範囲などに基づいて決定してもよい。

画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある（例えば図１１参照）。

画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。

画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部２１が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部２１はすべての画素から画素信号を読み出すが、画像処理部３０又は演算回路４１６は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成されている。この表示部５０は、図５に示すように、表示パネル５１及びタッチパネル５２を有している。表示パネル５１は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。タッチパネル５２は、表示パネル５１の表示画面上に形成されている。このタッチパネル５２は、使用者が画像中の領域の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。また、タッチパネル５２は、使用者が撮影モード、撮像条件、及び画面切替の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。なお、レリーズスイッチの半押し操作が行われることによって、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ）やＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）などの撮影準備が行われる。

記録部６０は、メモリカードなどの２つの記憶媒体（第１記録媒体６１及び第２記録媒体６２）を装着可能な２つのカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体（第１記録媒体６１及び第２記録媒体６２）に画像処理部３０において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第１画像処理部３０Ａと第２画像処理部３０Ｂとは、それぞれ、第１領域からの信号に基づく画像処理と第２領域からの信号に基づく画像処理とを並列に実行する。この場合、第１記録媒体６１は、レリーズスイッチや動画スイッチの操作に応じて、第１領域からの信号に基づく画像データを記憶する。また、第２記録媒体６２は、レリーズスイッチや動画スイッチの操作に応じて、第２領域からの信号に基づく画像データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、電子機器１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０Ａを有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。

また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

図６は、表示部における表示画面の一例を示す図である。図６に示すように、表示部５０の表示パネル５１は、画像表示領域５１０と操作ボタン表示領域５２０とが設けられている。画像表示領域５１０は、撮像部２０で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域５２０は、使用者が撮像条件などを設定するためのメニューを表示する領域である。

操作ボタン表示領域５２０は、画像表示領域５１０の近傍に設けられている。操作ボタン表示領域５２０内には、使用者が撮影モード、撮像条件、及び表示画面を設定するためのメニュー（メニュー画像）が表示される。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン５２１である。使用者が撮像条件を設定するためのメニューは、ＩＳＯ感度のボタン５２２、及びフレームレートのボタン５２３である。使用者が画面の切替を設定するためのメニューは、画面切替のボタン５２４である。以下、撮影モードのボタン５２１、ＩＳＯ感度のボタン５２２、フレームレートのボタン５２３、及び画面切替のボタン５２４のことを、それぞれ、単に、「撮影モード５２１」、「ＩＳＯ感度５２２」、「フレームレート５２３」、及び「画面切替５２４」と記す。

撮影モード５２１は、使用者が撮影モードを設定（選択）する場合に押すボタンである。ＩＳＯ感度５２２は、使用者がＩＳＯ感度（すなわちゲイン）を設定する場合に押すボタンである。フレームレート５２３は、使用者が動画のフレームレートを設定する場合に押すボタンである。画面切替５２４は、使用者が電子ズーム（デジタルズーム）により一部領域の画像を表示画面全体に拡大表示させる場合（図１３、図１４参照）や、サブ画面に画像を表示させる場合（図１４参照）に押すボタンである。

ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、動画モードとして、第１動画モードと、第２動画モードとが設けられている。静止画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の静止画を撮影する撮影モードをいう。この静止画モードは、一般に行われている通常の静止画撮影モードである。

第１動画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の動画を撮影する撮影モードをいう。この第１動画モードは、一般的に行われている通常の動画撮影モードである。第２動画モードとは、分割部７１が画素領域１１３Ａを少なくとも第１領域と第２領域を含む複数の領域に分割し、撮像素子１００が複数の領域のそれぞれにおいて同一被写体の動画を撮影する撮影モードをいう。

タッチパネル５２が画像表示領域５１０及び操作ボタン表示領域５２０上に設けられている。タッチパネル５２において、タッチ領域５１０ａが画像表示領域５１０上に形成されている。タッチ領域５１０ａは、使用者により押された（タッチされた）ことを検出すると、押された位置を示す検出信号をシステム制御部７０に出力する。

また、タッチ領域５２１ａが撮影モード５２１上に重なるように形成されている。また、タッチ領域５２２ａがＩＳＯ感度５２２上に重なるように形成されている。また、タッチ領域５２３ａがフレームレート５２３上に重なるように形成されている。また、タッチ領域５２４ａが画面切替５２４上に重なるように形成されている。各タッチ領域５２１ａ～５２４ａは、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部７０に出力する。

なお、使用者が撮影モード、撮像条件、及び表示画面の切替を選択する場合に、タッチパネル５２の操作に代えて、操作部５５の操作を行うようにしてもよい。

図７は、図５に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、第１画像処理部３０Ａは画像生成部（動画生成部）３１Ａ及び検出部３２Ａを含んでいる。画像生成部３１Ａは、撮像部２０から出力される第１領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施して画像データを生成する。また、検出部３２Ａは、画像生成部３１Ａで生成した画像データから主要被写体を検出する。本実施形態において、検出部３２Ａは、画像生成部３１Ａが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体（移動被写体）を主要被写体として検出する。また、検出部３２Ａは、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部３２Ａは、顔検出に加えて、例えば特開２０１０－１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する。

また、第２画像処理部３０Ｂは画像生成部（動画生成部）３１Ｂを含んでいる。画像生成部３１Ｂは、撮像部２０から出力される第２領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施して画像データを生成する。なお、第２画像処理部３０Ｂは検出部を含んでいないが、検出部を含んでもよい。また、第１画像処理部３０Ａが検出部３２Ａを含まず、第２画像処理部３０Ｂが検出部を含む構成でもよい。本実施形態において、画像生成部３１Ａと画像生成部３１Ｂを総称して画像生成部３１と記すことがある。

また、システム制御部７０は、分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４を含んでいる。分割部７１は、撮像素子１００の画素領域（撮像領域）１１３Ａをブロック単位で複数の領域に分割する。この分割部７１は、画素領域１１３Ａの各ブロックにおける所定の配列パターンに基づいて画素領域１１３Ａを複数の領域に分割する（図８（Ａ）～（Ｄ）参照）。撮像制御部７２は、使用者による撮像条件を設定するためのメニュー（ＩＳＯ感度５２２、フレームレート５２３）のタッチ操作に応じて、分割部７１が分割した複数の領域において異なる撮像条件を設定する。また、撮像制御部７２は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子１００の駆動制御を実行する。また、撮像制御部７２は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、撮像素子１００の駆動制御を実行する。

記録制御部７３は、画像生成部３１により生成された複数の領域における動画データをそれぞれ記録部６０に記録する制御を行う。例えば、記録制御部７３は、画像生成部３１Ａにより生成された第１領域の画像データを第１記録媒体６１に記録し、画像生成部３１Ｂにより生成された第２領域の画像データを第２記録媒体６２に記録する。表示制御部７４は、画像生成部３１によって生成された画像データを表示部５０に出力させ、表示部５０の画像表示領域５１０に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。また、表示制御部７４は、使用者による画面切替５２４の操作に応じて、表示画面の切り替えを行う。例えば、表示制御部７４は、使用者による画面切替５２４の操作に応じて、電子ズームにより一部領域の画像を表示画面全体に拡大表示させ、サブ画面に画像を表示させる。

なお、システム制御部７０において、分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４は、ＣＰＵ７０Ａが制御プログラムに基づいて処理を実行することにより実現される。

次に、分割部７１により設定される各ブロックにおける配列パターンについて説明する。図８は、各ブロックにおける配列パターンを示す図である。ここで、図８（Ａ）は、各ブロックにおける第１配列パターンを示す。また、図８（Ｂ）は、各ブロックにおける第２配列パターンを示す。また、図８（Ｃ）は、各ブロックにおける第３配列パターンを示す。また、図８（Ｄ）は、各ブロックにおける第４配列パターンを示す。

図８（Ａ）に示す第１配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第１配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の列（２ｍ－１）のブロックで構成され、第２領域が偶数の列（２ｍ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数列と偶数列とに分割されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。

図８（Ｂ）に示す第２配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第２配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の行（２ｎ－１）のブロックで構成され、第２領域が偶数の行（２ｎ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数行と偶数行とに分割されている。ｎは正の整数（ｎ＝１，２，３，・・・）である。

図８（Ｃ）に示す第３配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第３配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ－１）における奇数の行（２ｎ－１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとで第１領域が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ－１）のブロックと、奇数の列（２ｍ－１）における偶数の行（２ｎ）のブロックとで第２領域が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。

図８（Ｄ）に示す第４配列パターンは、画素領域１１３Ａが第１領域と第２領域と第３領域とに３分割される配列パターンである。この第４配列パターンでは、画素領域１１３Ａにおいて、第１領域が３の倍数の列から２列前の列（３ｍ－２）のブロックで構成され、第２領域が３の倍数の列から１列前の列（３ｍ－１）のブロックで構成され、第３領域が３の倍数の列（３ｍ）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。

なお、図８において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図８に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。

次に、第１実施形態に係る撮影動作について説明する。図９は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図１０は、設定処理を説明するためのフローチャートである。図９に示す処理において、電子機器１に電源が投入されると、システム制御部７０が撮影動作を開始する。また、図９において示していないが、撮影が開始されると、表示制御部７３は、撮像部２０で撮像されたライブビュー画像を表示パネル５１の画像表示領域５１０に表示するとともに、表示パネル５１の操作ボタン表示領域５２０に各種メニュー５２１～５２４を表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部７２は、低いフレームレートで撮像するように撮像素子１００を駆動制御する。

使用者は、撮影モード５２１をタッチ操作して撮影モードを選択する。分割部７１は、使用者による撮影モード５２１のタッチ操作によって選択された撮影モードを確認する（ステップＳ１）。分割部７１は、使用者により選択された撮影モードが静止画モードであるか否かを判定する（ステップＳ２）。分割部７１は、撮影モードが静止画モードであると判定した場合は、撮影モードを静止画モードに設定する処理を行う（ステップＳ３）。その後、撮像制御部７２は、使用者によりレリーズスイッチの操作（半押し操作に続く、全押し操作）が行われたか否かを判定する（ステップＳ４）。

撮像制御部７２は、レリーズスイッチの操作が行われたと判定した場合は、静止画モードによる撮像を撮像部２０に実行させる（ステップＳ５）。また、ステップＳ５において、記録制御部７３は、撮像部２０が撮像した静止画を記録部６０（第１記録媒体６１又は第１記録媒体６１）に記録するように制御する。さらに、ステップＳ５において、表示制御部７４は、撮像部２０が撮像した静止画を表示パネル５１の画像表示領域５１０に表示するように制御する。なお、静止画モードによる撮像については、通常の静止画撮影と同様であるため、詳しい説明を省略する。

また、分割部７１は、ステップＳ２において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第１動画モードであるか否かを判定する（ステップＳ１０）。分割部７１は、動画モードが第１動画モードであると判定した場合は、撮影モードを第１動画モードに設定する処理を行う（ステップＳ１１）。一方、分割部７１は、動画モードが第１動画モードでないと判定した場合、すなわち、第２動画モードであると判定した場合は、撮影モードを第２動画モードに設定する処理を行う（ステップＳ１２）。

ステップＳ１１又はステップＳ１２の処理において、分割部７１は、図１０に示す設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部３２Ａは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部３２Ａは、顔検出に加えて、画像データに含まれる人体（人物）を主要被写体として検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。

具体的には、分割部７１は、撮影モードが第１動画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。

一方、分割部７１は、撮影モードが第２動画モードであるときは、図８（Ａ）～（Ｄ）のいずれかに示した配列パターンを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域～第３領域）のブロックの位置などを指示する指示信号を出力する。

図１１は、第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１１においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１１に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１１に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１～Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。このとき、分割部は、第１領域と第２領域とが主要被写体Ｏ１～Ｏ３を含むように画素領域１１３Ａの分割を行う。

図１０の説明に戻り、撮像制御部７２は、使用者によるＩＳＯ感度５２２やフレームレート５２３のタッチ操作に応じて、ステップＳ２２で設定した領域（図１１に示す例では、第１領域及び第２領域）ごとの撮像条件を設定する（ステップＳ２３）。具体的には、分割部７１は、使用者によるＩＳＯ感度５２２やフレームレート５２３のタッチ操作に応じた撮像条件（ゲイン、フレームレート）を指示する指示信号を駆動部２１に出力する。

なお、撮像制御部７２は、ゲインの変更に応じて、最適な露出になるようなフレームレートの値を自動的に設定するようにしてもよい。また、撮像制御部７２は、フレームレートの変更に応じて、最適な露出になるようなゲインの値を自動的に設定するようにしてもよい。また、撮像制御部７２は、ゲインやフレームレートの変更に応じて最適な映像補正を行うように、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ（撮像条件）を指示する指示信号を画像処理部３０に出力してもよい。

ステップＳ２３において、使用者により第１領域と第２領域とで異なるフレームレートの設定が行われた場合は、第１記録媒体６１と第２記録媒体６２とで、単位時間あたりに記録されるフレーム数が異なることになる。従って、第１記録媒体６１と第２記録媒体６２とが同じ記録容量である場合は、第１記録媒体６１における第１動画の録画時間と第２記録媒体６２における第２動画の録画時間も異なることになる。すなわち、第１領域のフレームレートが第２領域のフレームレートよりも高い場合は、第１記録媒体６１における第１動画の録画時間が第２記録媒体６２における第２動画の録画時間よりも短くなる。

その後、表示制御部７４は、使用者による画面切替５２４のタッチ操作に応じて、表示画面の設定（切り替え）を行う（ステップＳ２４）。図１２は、画像表示領域におけるライブビュー画像の表示例を示す図である。また、図１３は、画像表示領域における電子ズームの範囲及び位置を示す図である。また、図１４は、画像表示領域におけるサブ画面の範囲及び位置を示す図である。

ステップＳ２４において、使用者が画面切替５２４をタッチ操作していない状態では、図１２に示すようなライブビュー画像（複数の人がサッカーをしている画像）が画像表示領域５１０に表示されている。具体的には、図１２に示すライブビュー画像では、主要被写体として、複数の人物Ｏ１，Ｏ２，Ｏ４～Ｏ７と、サッカーボールＯ３と、ゴールＯ８とが表示されている。

ステップＳ２４において、使用者が画面切替５２４をタッチ操作して電子ズームを選択した場合は、表示制御部７４は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１～Ｏ８を検出する。また、表示制御部７４は、主要被写体Ｏ１～Ｏ８から、人物の主要被写体Ｏ１，Ｏ２，Ｏ４～Ｏ７を検出する。次に、表示制御部７４は、図１３に示すように、画像表示領域５１０のうち、人物の主要被写体Ｏ１，Ｏ２，Ｏ４～Ｏ７が多数集まっている一部領域５１１を抽出する。そして、表示制御部７４は、図１４に示すように、抽出した一部領域５１１のライブビュー画像を画像表示領域５１０全面に拡大して表示させる制御を行う。このとき、撮像制御部７２は、画像表示領域５１０のうち、一部領域５１１以外の領域（ライブビュー画像の表示が行われていない領域）については撮像を実行させないように駆動部２１を制御する。これにより、電子ズームによるライブビュー画像の拡大表示が行われているときの消費電力を抑制することができる。

ステップＳ２４において、使用者が画面切替５２４をタッチ操作してサブ画面（特定領域）５１２の表示を選択した場合は、表示制御部７４は、第１領域又は第２領域におけるライブビュー画像を、図１４に示すサブ画面５１２に表示させる制御を実行する。具体的には、表示制御部７４は、画像表示領域５１０において第１領域のライブビュー画像が表示されているときは、第２領域のライブビュー画像がサブ画面５１２に表示されるように、画像処理部３０に対して第１領域と第２領域のライブビュー画像の合成を指示する。また、表示制御部７４は、画像表示領域５１０において第２領域のライブビュー画像が表示されているときは、第１領域のライブビュー画像がサブ画面５１２に表示されるように、画像処理部３０に対して第１領域と第２領域のライブビュー画像の合成を指示する。そして、表示制御部７４は、画像処理部３０により合成されたライブビュー画像を表示部５０に出力させて、そのライブビュー画像を画像表示領域５１０に表示させる。なお、図１４に示す例では、サブ画面５１２は、画像表示領域５１０の右下の隅に設けられている。

図９の説明に戻り、撮像制御部７２は、使用者により動画スイッチの操作が行われたか否かを判定する（ステップＳ１３）。撮像制御部７２は、動画スイッチの操作が行われたと判定した場合は、動画モード（第１動画モード又は第２動画モード）による撮像を撮像部２０に実行させる（ステップＳ１４）。なお、第１動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。

図１５は、第２動画モードの実行中（ステップＳ１４）の動作を説明するためのフローチャートである。図１５に示す処理において、分割部７１は、使用者によるブロック配列（すなわち領域）の設定操作が行われたか否かを判定する（ステップＳ３１）。また、撮像制御部７２は、使用者による撮像条件の設定操作が行われたか否かを判定する（ステップＳ３１）。本実施形態においては、使用者は、動画撮影の開始前におけるブロック配列や撮像条件の設定（図１０のステップＳ２２，Ｓ２３参照）のほかに、動画撮影の開始後におけるブロック配列や撮像条件の設定を行うことができる。

例えば、使用者が操作部５５を操作して、表示パネル５１に表示された図８（Ａ）～（Ｄ）のいずれかの配列パターンを選択することにより、ブロック配列の設定が行われる。また、例えば、図１０のステップＳ２３と同様に、使用者がＩＳＯ感度５２２やフレームレート５２３をタッチ操作することにより、撮像条件（ゲインやフレームレート）の設定が行われる。

分割部７１は、使用者によるブロック配列の設定操作が行われたと判定した場合は、ブロック配列の再設定を行う（ステップＳ３２）。すなわち、撮像制御部７２は、駆動部２１に対して各領域（第１領域及び第２領域、第１領域～第３領域）のブロックの位置などを指示する指示信号を出力する。また、撮像制御部７２は、使用者による撮像条件の設定操作が行われたと判定した場合は、撮像条件の再設定を行う（ステップＳ３２）。すなわち、撮像制御部７２は、駆動部２１に対して撮像条件（ゲインやフレームレート）を指示する指示信号を出力する。

次に、表示制御部７４は、使用者により電子ズームを選択する操作（すなわち、画面切替５２４のタッチ操作）が行われたか否かを判定する（ステップＳ３３）。表示制御部７４は、電子ズームを選択する操作が行われたと判定した場合は、図１０のステップＳ２４で説明したように、一部領域５１１を画像表示領域５１０全面に拡大表示させる制御を行う（ステップＳ３４）。また、表示制御部７４は、使用者によりサブ画面５１２の表示を選択する操作（すなわち、画面切替５２４のタッチ操作）が行われたか否かを判定する（ステップＳ３５）。表示制御部７４は、サブ画面５１２の表示を選択する操作が行われたと判定した場合は、図１０のステップＳ２４で説明したように、画像表示領域５１０における右下の隅にサブ画面５１２を表示させる制御を行う（ステップＳ３６）。

次に、撮像制御部７２は、ステップＳ２２又はステップＳ３２で設定されたブロック配列、ステップＳ３４で電子ズームにより拡大表示が行われている場合は電子ズームの範囲（すなわち一部領域５１１）、ステップＳ２３又はステップＳ３２で設定された撮像条件において被写体を撮像するように、撮像素子１００を駆動制御する（ステップＳ３７）。そして、記録制御部７３は、撮像素子１００で撮像され、画像処理部３０で画像処理された動画の画像データを記録部６０に記録する（ステップＳ３８）。具体的には、記録制御部７３は、第１領域における第１動画の画像データを第１記録媒体６１に記録する。また、記録制御部７３は、第２領域における第２動画の画像データを第２記録媒体６２に記録する。

ステップＳ３８において、記録制御部７３は、第１領域における第１動画の画像データに対して第２領域の動画の画像データを補間するように、画像処理部３０に指示信号を出力する。また、記録制御部７３は、第２領域における第２動画の画像データに対して第１領域の動画の画像データを補間するように、画像処理部３０に指示信号を出力する。画素領域（撮像領域）１１３Ａが２つの領域（第１領域、第２領域）に分割されると、解像度が半分に低下してしまう。しかし、上記したような処理を行うことにより、領域を分割したことによって生じる欠陥画素の画像データが補間されるので、解像度が低下しないようにすることができる。

また、ステップＳ３８において、表示制御部７４が、第１領域の一部領域５１１の撮像による動画を電子ズームにより画像表示領域５１０に拡大表示している場合に（ステップＳ３４）、記録制御部７３は、第２領域における第２動画を第２記録媒体６２に記録し、第１領域の一部領域５１１の撮像による動画を第１記録媒体６１に記録する。このような構成によれば、画像表示領域５１０に拡大表示されている一部領域５１１の動画だけでなく、画像表示領域５１０に表示されていない動画も記録することができる。

また、ステップＳ３８において、表示制御部７４が、第１領域の一部領域５１１の撮像による動画と、第２動画とのいずれか一方の動画を画像表示領域５１０に表示するとともに、他方の動画をサブ画面５１２に表示している場合に（ステップＳ３７）、記録制御部７３は、一方の動画と他方の動画とを合成した動画（図１４参照）を記録部６０に記録する。このような構成によれば、異なる画角の動画（電子ズームの範囲の動画と画像表示領域５１０全面の動画）を１つの動画として記録することができる。このとき、画像処理部３０は、一方の動画と他方の動画とのフレームレートが異なる場合は、同じフレームレートになるように、フレームの間引き又はフレームの追加を行う。これにより、画角の異なる動画を１つの動画として第１記録媒体６１又は第２記録媒体６２に記録することができる。

図１６は、第２動画モード（ステップＳ３７の撮像）における電荷蓄積のタイミングを示すタイミングチャートである。図１６に示す第２動画モードにおいては、例えば第１領域と第２領域とが設定される。第２動画モードでは、撮像制御部７２は、動画スイッチの操作が行われている間、第１領域に対して動画の撮像を実行するとともに、第２領域に対して動画の撮像を実行するように、駆動部２１に対して指示信号を出力する。図１６において、駆動部２１は、動画スイッチの操作が行われている間、第１領域における各画素について電荷蓄積時間Ｔ１で動画を撮像させる。また、駆動部２１は、動画スイッチの操作が行われている間、第２領域における各画素について電荷蓄積時間Ｔ１よりも長い電荷蓄積時間Ｔ２で動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間Ｔ１で撮像が実行される場合と電荷蓄積時間Ｔ２で撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第１領域の電荷蓄積時間Ｔ１に対応するフレームレートは６０ｆｐｓであり、第２領域の電荷蓄積時間Ｔ２に対応するフレームレートは３０ｆｐｓである。電荷蓄積時間やフレームレートは、ステップＳ２３又はステップＳ３２の撮像条件の設定処理において設定される。

また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において撮像制御部７２から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、撮像制御部７２から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。

また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において撮像制御部７２から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、撮像制御部７２から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。

このように、第１領域のフレームレートが第２領域のフレームレートよりも高くしているので、第１動画における人物の主要被写体の動きが第２動画における人物の主要被写体の動きよりも滑らかになる。

以上に説明したように、第１実施形態では、撮像素子１００を有する撮像部２０と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、第１領域と第２領域とで異なる撮像条件を設定する撮像制御部７２と、第１領域の撮像による第１動画と、第２領域の撮像による第２動画とのそれぞれを生成する動画生成部３１と、を備える。このような構成によれば、異なる撮像条件が設定された複数の領域に対応する複数種類の動画を生成することができる。従って、被写体や撮影状況に応じた複数種類の動画を生成することができ、撮像素子１００を備えた電子機器１の使い勝手が向上する。

また、動画生成部は、同一被写体に対して第１領域の撮像による第１動画と、第２領域の撮像による第２動画とのそれぞれを生成するので、同一被写体に対する複数種類の動画を生成することができる。また、分割部７１は、第１領域の画素数と、第２領域の画素数とを同一にするので、すなわち、第１領域のブロックと第２領域のブロックとが画像表示領域５１０において均等に配置されているので、画像表示領域５１０において解像度のばらつきが生じてしまうことはない。分割部７１は、第１領域を複数の離散的な領域（複数の離散的なブロック）から形成するので、動画において部分的に解像度が低下してしまうことがなくなる。また、分割部７１は、第１領域と、第２領域とを可変に分割するので、被写体の種類などの様々な状況に応じた領域に分割することができる。

撮像制御部７２は、撮像素子１００の第１領域と第２領域との撮像条件として、少なくともフレームレートを異ならせるので、使用者は異なる撮像条件で撮像された複数種類の動画を取得することができる。また、動画生成部３１は、第１画像と第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の動画を取得することができる。

また、動画生成部３１は、第１動画に対して第２領域の動画を補間し、第２動画に対して第１領域の動画を補間する。このような構成によれば、撮像領域１１３Ａを分割したことによって生じる欠陥画素の画像データが補間され、解像度が低下しない。また、動画生成部３１により生成された第１動画と第２動画とをそれぞれ記録部６０に記録する記録制御部７３を備えるので、同時に生成された２種類の動画を記録することができる。

また、動画生成部３１により生成された動画を表示部５０に表示させる表示制御部７４を備えるので、使用者は表示部５０に表示された画像を確認することができる。また、表示制御部７４は、第１領域の一部領域５１１の撮像による動画を表示部５０に拡大表示し、記録制御部７３は、第２動画と、一部領域５１１の撮像による動画とをそれぞれ記録部６０に記録する。このような構成によれば、表示部５０に拡大表示されている一部領域５１１の動画だけでなく、表示部５０に表示されていない表示部５０の全体領域（画像表示領域５１０全面）の動画も記録することができる。

また、表示制御部７４は、第１領域の一部領域５１１の撮像による動画と、第２動画とのいずれか一方の動画を表示部５０に表示するとともに、他方の動画を表示部５０の特定領域（サブ画面５１２）に表示し、記録制御部７３は、一方の動画と他方の動画とを合成した動画（図１４参照）を記録部６０に記録する。このような構成によれば、異なる画角の動画を１つの動画として記録することができる。

また、動画生成部３１で生成した動画から主要被写体を検出する検出部３２Ａを備え、分割部７１は、第１領域と第２領域とが主要被写体を含むように分割を行うので、主要被写体に対して第１領域の第１動画と第２領域の第２動画とを生成することができる。また、撮像素子１００は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子１００を収容するための容積を小さくすることができる。また、システム制御部７０からの指示に基づいて撮像素子１００の駆動制御を行うことができ、システム制御部７０の負担が軽減されるとともに、撮像素子１００の電子機器１への搭載が容易となる。

なお、図５に示す第１実施形態に係る電子機器１において、表示部５０は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、画像処理部３０は２つの画像処理部３０Ａ，３０Ｂを備えていたが、１つの画像処理部だけを備えている構成でもよい。

＜第２実施形態＞
第２実施形態では、上記した第１実施形態における電子機器１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。

図１７は、第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図１７に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７５を備える。なお、撮像装置１Ａのうち、１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。また、第１システム制御部７５は、図７に示す構成のうち、例えば分割部７１、撮像制御部７２、及び記録制御部７３に相当する構成を有している。また、第２システム制御部７６は、図７に示す構成のうち、例えば表示制御部７４に相当する構成のみ有している。

図７に示す構成（分割部７１、撮像制御部７２、記録制御部７３、及び表示制御部７４）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図７に示す構成の一部が第１システム制御部７５に設けられ、図７に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

図１７に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図１７に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。

なお、図１７に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

図８（Ａ）～（Ｃ）では、第１領域の面積と第２領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図８（Ｄ）では、第１領域の面積と第２領域の面積と第３領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数と第３領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積（画素数）が異なるように各ブロックの配列パターンが設定されてもよい。

また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。

また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。

また、上記した第１実施形態において、撮像条件として、ゲイン及びフレームレートが変更可能に構成されているが、これらの少なくとも１つを変更可能であればよい。また、撮像条件が使用者の操作によって設定される場合についてのみ説明したが、主要被写体などに応じて自動的に撮像条件が設定されるようにしてもよい。

また、上記した各実施形態において、ブロックの配列パターンとして、図８（Ａ）～（Ｄ）に例示したが、これらの配列パターンに限られない。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。

また、上記した第１実施形態において、分割部７１は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部７１は、レリーズスイッチ５５ａや動画スイッチ５５ｃの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。

１，１Ｂ…電子機器、１Ａ…撮像装置、２０…撮像部、３０…画像処理部、３１…画像生成部（動画生成部）、３２Ａ…検出部、５０…表示部、５１…表示パネル、５２…タッチパネル、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…分割部、７２…撮像制御部、７３…記録制御部、７４…表示制御部、１００…撮像素子

Claims (1)

1. 光を電荷に変換する第１光電変換部と、光を電荷に変換する第２光電変換部とを有する第１半導体基板と、
   前記第１半導体基板と共に積層される半導体基板であって、前記第１光電変換部で変換された電荷の蓄積を終了するタイミングと、前記第２光電変換部で変換された電荷の蓄積を終了するタイミングとが異なるタイミングとなるように制御する駆動部を有する第２半導体基板と、を備え、
   前記駆動部は、前記第１光電変換部で変換された電荷により出力される第１信号と、前記第２光電変換部で変換された電荷により出力される第２信号とに基づく第１画像データを生成するための第１モードと、前記第１信号に基づく第２画像データと、前記第２信号に基づく第３画像データとを生成するための第２モードとを実行する、撮像素子。
   

Images