JP7433792B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、画像を用いて注目対象の観測や監視を行うために撮像装置が用いられている。このような用途に用いられる撮像装置には、所定の時間間隔でフレーム画像を撮像し記録するものと、前後フレーム間での輝度値の差分から被写体像の変化を検出したことに応じて、撮像と記録を開始するものとが知られている。

特許文献１では、撮影及び記録を行う通常撮影とは異なる駆動モードにおいて、撮像素子の分割ブロック毎に画素加算した出力を用いて被写体像の変化を検出し、検出に係る画像情報に対する情報処理量を減少させて、消費電力を低減する技術を開示している。

また、特許文献２では、撮影中の画像から被写体像の変化を検出し、検出した変化量が所定閾値より小さい場合には画素加算または間引き処理を行うことにより、所望の変化がない場合の画像処理の処理負荷を低減する技術を開示している。

特開２０１８－２２９３５号公報 特開２００６－２１５２６０号公報

特許文献１に開示される固体撮像素子は、被写体像の変化の前後で、複数の画素の信号を加算するモードから、画素の信号を加算せずに１画素単位で出力する通常の撮影モードに移行する。すなわち、当該固体撮像素子は、被写体像の変化後には１画素単位で構成される最も画素信号の多い画像を出力する。このため、出力される画像は（例えば被写体像が近傍に位置するなど）被写体を認識するための画像としては不要に詳細な画像となる場合がある。また、特許文献１に開示される技術では、被写体像の変化の前に消費電力を低減可能であるものの、被写体像の変化の後に消費電力を低減することは考慮されていない。

また、特許文献２に開示される顕微鏡システムでは、被写体像の変化の検出や加算処理は、撮像部（すなわち撮像素子）の外部にある画像処理部や画素数変換部で行われる。すなわち、撮像部からは常に画素信号の多い画像が出力され、撮像部自体の消費電力を低減することについては考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化の検知後の動作において消費電力を低減可能な技術を実現することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、二次元状に配置された複数の画素を有する撮像面を複数の領域に分割した領域ごとの画素信号を取得して、複数の領域のうち被写体像の変化した領域を検知する検知手段と、（ｉ）被写体像の変化した領域の数の検出及び（ｉｉ）前記領域の数と非ゼロの所定の閾値との比較に基づく第１の撮影モード又は第２の撮影モードの１つの選択に応じて、前記撮像面における全撮像領域から第１の解像度の画像信号を出力する前記第１の撮影モード、又は、前記撮像面における全撮像領域から前記第１の解像度よりも低解像度の第２の解像度の画像信号を出力する前記第２の撮影モードのいずれかで撮影を行うように制御する制御手段と、を有する。

本発明によれば、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化の検知後の動作において消費電力を低減可能になる。

本実施形態における撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態における撮像素子の機能構成例を示すブロック図 本実施形態における画素部の構成例を示す図 本実施形態における画素ブロックの構成例を示す図 本実施形態におけるイベント検知部の機能構成例を示すブロック図 本実施形態における撮像面における被写体像の例と、当該被写体像を撮影した場合に画素ブロック毎に出力される画像の例を模式的に示す図 本実施形態における撮像面における被写体像の他の例と、当該被写体像を撮影した場合に画素ブロック毎に出力される画像の他の例を模式的に示す図 本実施形態における撮像面における被写体像の更なる他の例と、当該被写体像を撮影した場合に画素ブロック毎に出力される画像の更なる他の例を模式的に示す図 本実施形態における撮像素子の検知モードにおける動作例を説明するタイミングチャート 本実施形態における撮像素子の４Ｋモードにおける動作例を説明するタイミングチャート 本実施形態における撮像素子のＦｕｌｌＨＤモードにおける動作例を説明するタイミングチャート 本実施形態における撮像素子における撮影モード制御に係る一連の動作を示すフローチャート 本実施形態の撮像素子を積層構造で実現する例を説明する図

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では撮像装置の一例として、被写体像の変化を検知可能な撮像素子を用いて被写体像の変化の検知後に撮影画像を記録可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、被写体像の変化を検知可能な撮像素子を用いて被写体像の変化の検知後に撮影画像を記録可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラの構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮像レンズ１０１は撮影光学系を構成し、被写体からの光を撮像素子２００へ集光する。撮像素子２００は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含み、撮像レンズ１０１を通して入射した光を光電変換する。撮像素子２００は、光電変換した信号を後述するＡＤ変換回路によってアナログ・デジタル変換して、画素単位の画像信号を出力する。また、撮像素子２００は、内部の画素部からの出力値の変化量および変化領域の検知結果に応じて、撮像素子２００自身の駆動制御を選択・変更する制御機能を備える。撮像素子２００は、その動作モードとして、例えば通常撮影モードと検知モードとを含む。

撮像素子２００は、通常撮影モードでは、画素信号を記録用の撮影画像として出力し、他方、検知モードでは、撮像素子２００が被写体の変化検知から撮影モードの選択・変更を行う。詳細は後述するが、この制御機能により、撮像素子２００の内部で被写体の変化を検知し、被写体の変化に応じた好適な撮影モードを制御可能である。撮影モードには、例えば、３８４０画素×２１６０画素で構成される画像信号を出力する４Ｋモードや、１９２０画素×１０８０画素で構成される画像信号を出力するＦｕｌｌＨＤモードが含まれる。

画像処理部１０２は、撮像素子２００から出力される画像信号に対して、フィルタ処理等の各種補正や圧縮等のデジタル画像処理等を行う。また、画像処理部１０２は、４ＫモードやＦｕｌｌＨＤモード等で撮影された画像信号に対して、各モードに応じたリサイズ等の画像処理を行う。

制御部１０３は、例えばＣＰＵ（Central Processing Unit）などの１つ以上のプロセッサを含む。制御部１０３は、後述する記録部１０５に記録されたプログラムをメモリ１０４に展開、実行することにより、画像処理部１０２や表示部１０６等を含むデジタルカメラ１００全体の動作を統括的に制御する。また、制御部１０３は、撮像素子２００の駆動タイミングの制御を行うほか、ユーザからの操作指示によって選択された静止画モード、ＦｕｌｌＨＤモード、４Ｋモード等の撮影モードに応じて、デジタルカメラ１００の駆動制御を行う。本実施形態では、撮像素子２００が被写体の変化検知から撮影モードの選択・変更を行う検知モードを備えているため、制御部１０３は、撮像素子２００の検知モードへの動作許可の制御も行う。

メモリ１０４は、例えばＳＤＲＡＭなどの揮発性メモリである。メモリ１０４は、画像処理部１０２から出力された画像信号、或いは、制御部１０３の処理に必要なデータ等を一時的に記憶する。記録部１０５は、例えば半導体メモリや磁気ディスクなどの不揮発性の記録媒体を含み、画像処理部１０２から出力された画像信号（すなわち撮影画像）を記録し保持する。

表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを含み、撮影画像や記録部１０５から読み出された画像を表示する。また、ユーザがデジタルカメラ１００を操作したり設定したりするための操作画面や設定画面等を表示する。

操作部１０７は、例えば、電源ボタン、シャッターボタン、動画の記録開始、停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチ類を含む。また、操作部１０７は、例えば、メニュー表示ボタン、決定ボタン、その他カーソルキー、タッチパネル等を含む。操作部１０７がユーザからこれらのキーやボタンに対する操作を受け付けると、制御部１０３は当該操作内容に応じてデジタルカメラ１００の各部を制御する。

（撮像素子２００の構成）
次に、図２を参照して、本実施形態に係る撮像素子２００の機能構成例について、より詳細に説明する。撮像素子２００は、複数の画素が行列状（すなわち２次元状）に配置された画素部２２０を備えている。撮像素子２００は、画素部２２０の画素単位で出力される画素信号からなる画像信号や、画素ブロック（画素部２２０の面内を所定態様で分割したブロック）単位で複数画素の信号を加算された画素信号からなる画像信号を出力する機能を有している。

画素部２２０から出力される画素信号は、ＡＤ変換回路２１２により、画素列毎に又は後述する画素ブロック単位としたブロック列毎に、アナログ－デジタル変換される。変換された画素信号は、その後、水平走査回路２１３の駆動により順次、イベント検知部２１４へ転送される。

イベント検知部２１４は、撮像素子２００の駆動モード制御を行うモード制御部２１６の制御信号に応じて、入力された画素信号から所定イベントの検知を行ったり、入力された画素信号をそのまま信号処理部２１５に出力したりする。すなわち、イベント検知部２１４は、画素ブロック単位で入力された画素信号に対して、複数の画素ブロックのうち被写体像が変化したブロックを検知する検知手段として機能する。イベント検知部２１４は、画素信号の変化量を検知結果としてモード制御部２１６へ送信し、さらに画素ブロック単位による画素信号を積算し、積算データとして露光制御部２１７に供給する。また、イベント検知部２１４は、画素単位（すなわち画素列毎）で入力された画素信号に対しては、そのまま画素信号を信号処理部２１５へ出力する。

信号処理部２１５は、イベント検知部２１４から出力された画素信号の前後の少なくともいずれかに、画素信号の変化量や撮像素子２００の撮影モード等を示す付加情報を付加した画像信号を撮像素子２００の外部に出力する。撮像素子２００の外部に出力される画像信号は撮影画像として記録部１０５に記録されうる。

モード制御部２１６は、撮像素子２００内のイベント検知部２１４、又は撮像素子２００外の制御部１０３からの信号を受信し、ＡＤ変換回路２１２、水平走査回路２１３、垂直走査回路２１１の各々に駆動タイミング制御信号を供給する。これにより、モード制御部２１６は、撮像素子２００の撮像モード毎に応じた駆動制御を行う。また、モード制御部２１６は、制御部１０３から撮像素子２００が（その動作モードを）検知モードとして動作する動作許可がなされている場合、撮像素子２００を検知モードとして画素ブロック毎に画素信号を加算する駆動を開始させる。

垂直走査回路２１１は、各行ごとに接続される信号線を介して、画素単位または画素ブロック単位による行選択・駆動を行う。露光制御部２１７は、イベント検知部２１４からの積算データに基づき、撮像素子２００の露光制御として露光時間の算出を行い、モード制御部２１６へ撮像素子２００の露光制御信号を供給する。

（画素部２２０の構成）
更に、図３を参照して、本実施形態における画素部２２０の構成例について説明する。画素部２２０は、画素２３０が行列状（すなわち二次元状）に複数配置されている。またイベント検知の加算単位となる画素ブロック２４０は、図３の例では、例えば２×２の４つの画素２３０を含むように構成されている。なお、本実施形態では、簡略化して、画素ブロック２４０を行列２×２とした画素の配置を例に説明するが、行列数および配置については、これに限られるものではない。

２×２の画素２３０で構成される画素ブロック２４０には、そのブロック単位の行方向に配線された複数の信号線を介して各種制御信号が供給される。すなわち、リセット制御信号ＲＳＴ１，ＲＳＴ２と、行選択制御信号ＳＥＬ１，ＳＥＬ２と、転送制御信号ＴＸ１，ＴＸ２と、加算信号ＡＤＤ１と、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬ１が供給される。図３に示すように、各画素２３０にはリセット制御信号と、行選択制御信号と、転送制御信号が供給される。また、画素ブロックごとに、加算信号と、加算後の信号選択制御信号が供給される。

列方向には、画素列ごとに１つの垂直信号線（例えば垂直信号線４１０－１）が配線される。同じ画素列の各画素２３０からの出力（すなわち画素信号）は垂直信号線４１０を介して、接続先のＡＤ変換回路２１２に入力される。

上述した信号線により選択的に各制御信号の供給が行われることで、撮像素子２００から行単位で順次、それぞれの垂直信号線４１０を介して画素信号が出力される。また、動作モードが通常撮影モードである場合には、画素部２２０の各画素２３０から画素信号が順次出力される。これに対し、動作モードが検知モードである場合には後述する画素ブロック２４０内のＦＤごとの加算スイッチを動作させることで、加算結果が特定の画素から出力される。

次に、図４を参照して、本実施形態における画素２３０の構成について説明する。図４は、画素２３０が４つ配置されている（画素２３０－１～２３０－４）例を示している。画素２３０－１に着目すると、フォトダイオード４０６－１にて発生、蓄積された電荷は、転送制御信号ＴＸ１により転送スイッチ４０５－１を制御してフローティングディフュージョン（以後ＦＤ）４０７－１に転送される。ソースフォロアアンプ４０８－１は、ＦＤ４０７－１に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８－１の出力は、行選択制御信号ＳＥＬ１により行選択スイッチ４０９－１を制御して、垂直信号線４１０－１へ接続される。垂直信号線４１０－１は、垂直信号線４１０－１に接続された定電流源４１１－１と共に構成される。

ＦＤ４０７－１に蓄積されている不要電荷をリセットする場合には、リセット制御信号ＲＳＴ１によりリセットスイッチ４０４－１を制御する。さらにフォトダイオード４０６－１の電荷をリセットする場合には、リセットスイッチ４０４－１と共に、転送制御信号ＴＸ１を制御して転送スイッチ４０５－１を制御することにより、当該リセットを実行する。転送制御信号（例えばＴＸ１）とリセット制御信号（例えばＲＳＴ１）と行選択制御信号（例えばＳＥＬ１）は、垂直走査回路２１１から供給され、各行においてそれぞれの制御信号値を持つ。

撮像素子２００の動作モードが通常撮影モードである場合、各画素２３０においてＦＤ４０７（例えばＦＤ４０７－１）に転送された信号は、各々の画素（例えば２３０－１）ごとに出力される。一方、動作モードが検知モードである場合、加算信号ＡＤＤにより加算スイッチ４１３を制御することにより４つの画素のＦＤ（４０７－１、４０７－２、４０７－３、４０７－４）を短絡することで各画素のＦＤに転送された信号を加算平均する。

その後、加算平均された信号を画素２３０－３から出力するために、加算後の信号選択制御信号ＡＤＤ＿ＳＥＬを制御して、加算した結果を読み出す。このようにして、２×２の画素のＦＤで加算した結果を検知モードにおける出力とする。なお、加算する範囲は２×２に限るものではない。また、信号の加算はＦＤでの加算に限らず、例えば垂直出力線に複数行の画素の出力信号を同時に出力することで加算平均し、水平の加算はＡＤ変換回路の前に加算回路を設けて実施してもよい。

（イベント検知部２１４の構成）
次に、図５を参照して、本実施形態におけるイベント検知部２１４の構成例について説明する。出力切り換え回路２６０は、撮像素子２００の動作モードに応じて画素出力先を撮像素子２００の内部と外部とのいずれかに切り換える回路である。

出力切り換え回路２６０は、モード制御部２１６からの制御信号を受信して、撮像素子２００の動作モードが検知モードである場合、画素信号の出力先を撮像素子２００の内部の積分演算回路２６１として被写体像の変化を検知させる。一方、撮像素子２００の動作モードが通常撮影モードである場合、画素信号の出力先を撮像素子２００より外部として、画素信号をイベント検知部２１４から信号処理部２１５へ出力する。

積分演算回路２６１は、出力切り替え回路２６０からの画素信号の出力を受けて出力値を積算し、露光制御部２１７へ積算データを供給する。また、積分演算回路２６１は、画素ブロック単位による画素出力を保持するメモリ２６２へ出力する。メモリ２６２は、一定の周期で（例えば１フレームごと）取得される画素ブロック単位による画素信号と、当該信号の出力元の撮像素子の面内における行列２次元の分割位置を示す情報とを過去データとして記憶、保持する。

差分検出回路２６３は、同一の分割位置の直近にて読み出された画素ブロック単位による画素信号の信号値と、メモリ２６２にて保持されている過去データの画素信号の信号値とを比較して、差分データを作成する。差分検出回路２６３は、作成した差分データを比較回路２６４に供給する。比較回路２６４は、供給された各差分データと所定の閾値とを比較し、得られた比較結果データを、モード制御部２１６に送信する。

図６（ａ）は、撮影される被写体像の一例を示しており、この例では、撮像面を４×４に分割された各画素ブロックに対して、被写体である家屋が右下の２×２ブロックに位置することを示している。図中の破線は各画素ブロックの領域を示している。以降の説明では、面上の画素ブロックの位置について、左上から００、その右隣を０１、以降右下３３まで、行を左側の数字、列を右側の数字として表して説明する。

図６（ｂ）は、図６（ａ）に示した被写体像に対する、画素部２２０の画素ブロック２４０毎の出力を模式的に表している。図６（ａ）の家屋部分に対応する位置の画素ブロック２２、２３、３２、３３からの出力は、家屋およびその背景から画素加算された出力となる。なお、図６（ａ）に示す例は、家屋に対して背景が明るい場合を示している。したがって、画素ブロック２２、２３の出力は、家屋と背景の占める割合から、画素ブロック３２、３３の出力より高い信号値となる。

図７（ａ）および図８（ａ）は、図６（ａ）と同様に、被写体像の一例を示している。図６と比べて、被写体像の変化として、図８では人物が左下の１つのブロックに加わり、図８（ａ）では人物が左の３つのブロックに加わる例を示している。

図７（ｂ）は、図７（ａ）での被写体像に対する画素ブロック毎の出力を模式的に示し、また、図８（ｂ）は図８（ａ）での被写体像に対する画素ブロック毎の出力を模式的に示している。例えば、図６（ａ）に示す被写体像から図７（ａ）に示す被写体像へと変化した場合を考える。差分検出回路２６３は、メモリ２６２に過去データとして保持された図６（ｂ）に示す画素ブロック単位の画素信号と、直近で読み出された図７（ｂ）に示す画素ブロック単位の画素信号から、画素ブロック毎での同一の分割位置における差分データを算出する。

次に、比較回路２６４は、算出された差分データと所定の閾値とを比較する。すなわち、比較２６３は、算出された差分データと所定の閾値（閾値については後述する）とに基づいて、被写体像の変化が生じたかを判定する。その結果、図７（ａ）および（ｂ）に示す例では、１つの画素ブロック３０の差分データにより被写体像の変化が検知される。

モード制御部２１６では、１つの画素ブロックにおいて被写体像の変化が検知された場合、詳細画像の撮影モードへと駆動制御の変更・選択を行う。例えば、本実施形態では、モード制御部２１６は、撮影モードとして４Ｋモードを選択する。

同様に、図８（ａ）に示す被写体像の変化を検知した場合、図６（ｂ）と図８（ｂ）に示した画素ブロック単位の画素信号に基づき、差分検出回路２６３による差分データから、３つの画素ブロック１０、２０、３０において被写体像の変化が検知される。モード制御部２１６は、２つの画素ブロックを超えて被写体像の変化を検知した場合には、低解像度、省電である撮影モードへと駆動制御の変更・選択を行う。例えば、本実施形態では、モード制御部２１６は、撮影モードとしてＦｕｌｌＨＤモードを選択する。このように、モード制御部２１６は、撮影モードを決定する決定手段として機能する。また、上記決定した撮影モードで撮影を行って、撮影された画像を出力させる制御手段としても機能する。

次に、図９を参照して、検知モードで動作する際の、画素ブロック単位による画素信号の読み出し動作について説明する。

タイミングＴ０において、イベントが検知されて（例えば制御部１０３から撮像素子２００が検知モードとして動作する動作許可がなされる）検知モードが設定されたものとする。垂直走査回路２１１は、加算信号ＡＤＤ、ＡＤＤ＿ＳＥＬをハイレベルにすることで、ブロック単位で加算平均された画素信号が垂直信号線に出力されるようになる。

同じＴ０のタイミングにおいて、垂直走査回路２１１は、リセット制御信号ＲＳＴ１、ＲＳＴ２、転送制御信号ＴＸ１、ＴＸ２をハイレベルに制御する。これにより、加算信号ＡＤＤにより接続状態となったＦＤ４０７－１～４０７－４、およびブロック内の各フォトダイオード４０６－１～４０６－４が電源電位にリセットされる。

タイミングＴ１において、リセット制御信号ＲＳＴ１、ＲＳＴ２、転送制御信号ＴＸ１、ＴＸ２がローレベルに復帰して、１行目のブロック単位の画素に対する露光が開始される。タイミングＴ２において、一定の露光時間経過後、垂直走査回路２１１は、１行目のブロック単位に対応する転送制御信号ＴＸ１、ＴＸ２を、ハイレベルに制御して転送スイッチ４０５－１～４０５－４をオン状態とする。これにより、各フォトダイオード４０６－１～４０６－４に蓄積された電荷をＦＤ（フローティングディフュージョン）に転送する。このようにして、電荷が混合されたブロック単位の露光が終了する。

ＦＤに転送されたブロック単位の電荷は、ソースフォロアアンプ４０８－３にて電圧信号として増幅され、画素出力として垂直出力線より出力される。各垂直出力線に出力された画素出力はＡＤ変換回路にてデジタル信号に変換されることになる。タイミングＴ３以降は、同様に順次ブロック行単位にて露光および読み出しが行われることで、全ブロック行の読み出しが完了する。また全ブロック行の読み出しは、垂直同期信号に従って複数回に亘って実行される。

次に、図１０を参照して、４Ｋモードで動作する際の、画素単位による画素信号の読み出し動作について説明する。

タイミングＴ１０において、イベントが検知されて（例えばイベント検知部２１４において図７（ｂ）に示した被写体像の変化が検知される）撮影モードとして４Ｋモードが設定されたものとする。

垂直走査回路２１１は、１行目の画素行の画素信号を読み出すため、行選択制御信号ＳＥＬ＿１をハイレベルに制御するとともに、リセット制御信号ＲＳＴ１を所定のパルス期間に旦ってハイレベルに制御する。

また、同じＴ１０のタイミングにおいて、垂直走査回路２１１は、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１をハイレベルに制御する。これにより、１行目の画素におけるＦＤ４０７－１、ＦＤ４０７－２およびフォトダイオード４０６－１、４０６－２が電源電位にリセットされる。また、ＦＤ４０７－３はＦＤ４０７－１と、ＦＤ４０７－４はＦＤ４０７－２と各々結線されているため、同様にリセットされる。なお、垂直走査回路２１１は、４Ｋモードではブロック単位で画素信号の読み出しを行わないため、加算信号ＡＤＤ、ＡＤＤ＿ＳＥＬはハイレベルならない。

タイミングＴ１１において、垂直走査回路２１１の制御により、リセット制御信号ＲＳＴ１、転送制御信号ＴＸ１がローレベルに復帰して、１行目の画素行に対する露光が開始される。そして、タイミングＴ１２において、一定の露光時間の経過後、垂直走査回路２１１は、転送制御信号ＴＸ１をハイレベルに制御して転送スイッチ４０５－１、転送スイッチ４０５－２をオン状態とする。これにより、フォトダイオード４０６－１に蓄積された電荷はＦＤ４０７－1とＦＤ４０７－３に、フォトダイオード４０６－２に蓄積された電荷はＦＤ４０７－２とＦＤ４０７－４に転送され、画素単位の露光が終了する。

ＦＤに転送された電荷は、接続先となる各ソースフォロアアンプ４０８－１、４０８－２によって電圧信号として増幅され、画素信号として各列の垂直出力線より出力される。各垂直出力線に出力された画素信号は、各列のＡＤ変換回路にて読み出されることになる。

次のタイミングＴ１４からＴ１７では、２行目の画素における信号読み出し動作が行われる。信号の読み出しは、２行目の画素に対応する行選制御択信号ＳＥＬ＿２、リセット制御信号ＲＳＴ２、転送制御信号ＴＸ２が、１行目の画素における同信号と同様に駆動制御される。これにより、フォトダイオード４０６－３に蓄積された電荷がＦＤ４０７－３と４０７－１に、フォトダイオード４０６－４に蓄積された電荷がＦＤ４０７－４と４０７－２に転送されて、２行目の画素における画素単位の露光が終了する。

ＦＤに転送された電荷は、接続先となる各ソースフォロアアンプ４０８－３および４０８－４にて電圧信号として増幅され、画素信号として各列の垂直出力線より出力される。

以降の画素行については同様に、画素行単位で露光および読み出しが行われ、その後、全行分の読み出しが完了する。また全行の読み出しは、垂直同期信号に従って複数回に亘って実行される。

更に、図１１を参照して、ＦｕｌｌＨＤモードで動作する際の、画素単位による画素信号の読み出し動作について説明する。

本実施形態におけるＦｕｌｌＨＤモードでは、撮像素子２００は、２行の画素毎に加算した画素信号を読み出す。１画素単位で画素信号を読み出す４Ｋモードと比較すると、出力する画素数が少なくなるため解像度は低下する。しかし、読み出し期間およびデータ処理に要する時間が短縮されるため、消費電力の低減を図ることができる。

タイミングＴ２０において、イベントが検知されて（例えばイベント検知部２１４において図８（ｂ）に示した被写体像の変化が検知される）撮影モードとしてＦｕｌｌＨＤモードが設定されたものとする。

垂直走査回路２１１は、ＦｕｌｌＨＤモードとして１行目となる画素２行分に対応するリセット制御信号ＲＳＴ１、ＲＳＴ２、および行選択制御信号ＳＥＬ＿１を所定のパルス期間に旦ってハイレベルに制御する。
また、同じＴ２０のタイミングにおいて、垂直走査回路２１１は、転送制御信号ＴＸ１とＴＸ２をハイレベルに制御する。これにより、ＦｕｌｌＨＤモードとして１行分となる画素２行分のＦＤ４０７－１、ＦＤ４０７－２、ＦＤ４０７－３、ＦＤ４０７－４、およびフォトダイオード４０６－１、４０６－２、４０６－３、４０６－４が電源電位にリセットされる。なお、垂直走査回路２１１は、ＦｕｌｌＨＤモードではブロック単位で画素信号の読み出しを行わないため、加算信号ＡＤＤ、ＡＤＤ＿ＳＥＬはハイレベルにならない。

タイミングＴ２１において、垂直走査回路２１１の制御により、リセット制御信号ＲＳＴ１、ＲＳＴ２、転送制御信号ＴＸ１、ＴＸ２がローレベルに復帰して、ＦｕｌｌＨＤモードの1行目である画素２行分に対する露光が開始される。そして、タイミングＴ２２において、一定の露光時間後、垂直走査回路２１１は、転送制御信号ＴＸ１とＴＸ２をハイレベルに制御して、転送スイッチ４０５－１、転送スイッチ４０５－２、転送スイッチ４０５－３、転送スイッチ４０５－４をオン状態とする。これにより、フォトダイオード４０６－１、４０６－２、４０６－３、４０６－４の各々に蓄積された電荷は各ＦＤに転送され、ＦｕｌｌＨＤモードの１行目である画素２行分に対する露光が終了する。

ＦＤに転送された電荷は、各列単位にて、ソースフォロアアンプ４０８－１および４０８－２によって電圧信号として増幅され、画素信号として各列の垂直出力線より出力される。各垂直出力線に出力された画素信号は、ＡＤ変換回路にて読み出されることになる。タイミングＴ２３以降は、同様にＦｕｌｌＨＤモードとして１行分となる画素２行分単位にて順次露光および読み出しが行われることで、全行の読み出しが完了する。また全行の読み出しは、垂直同期信号に従って複数回に亘って実行される。

（撮像素子における撮影モード制御に係る一連の動作）
次に、図１２を参照して、撮像素子２００における撮影モード制御に係る一連の動作について説明する。本処理において、制御部１０３の動作は、制御部１０３が記録部１０５に格納されたプログラムをメモリ１０４に展開、実行することにより実現される。また、特に言及しない限り、各ステップの動作は撮像素子２００において実行される。

以下の説明では、撮像素子２００のイベント検知部２１４等の各部によって実行される動作をまとめて撮像素子２００による動作として説明する。なお、本処理は、例えば、デジタルカメラ１００の操作部１０７を介して、撮像素子２００の動作モードを検知モードへ変更させるための直接的又は間接的な所定の操作指示を受けた場合に開始される。

Ｓ１２０１において、制御部１０３は、撮像素子２００に対して、検知モードで動作するように制御し、撮像素子２００の動作モードを検知モードに移行させる。撮像素子２００は、制御部１０３から検知モードとして動作する指示を受け付けたことに応じて、撮像素子２００の動作モードを検知モードに設定して、撮像素子２００内の画素ブロック毎に加算された画素信号を出力する。

Ｓ１２０２において、撮像素子２００は、画素部２２０から画素ブロック毎に加算された画素信号を取得する。撮像素子２００は、取得した画素信号をメモリ２６２に一時的に格納する。

Ｓ１２０３において、撮像素子２００は、取得した画素ブロック毎の画素信号が検知モードとしての動作開始から１枚目の画像の信号であるかを判定する。撮像素子２００は、当該画素信号が動作開始から１枚目の画像の信号であると判定した場合、被写体像の変化を検知するための過去データとの差分が得られないため、処理をＳ１２０２に戻す。撮像素子２００は、処理対象の画素信号が動作開始から１枚目の画像の信号でない（この場合過去データが存在する）と判定した場合、Ｓ１２０４に処理を進める。

Ｓ１２０４において、撮像素子２００は、画素ブロック毎の画素信号について、Ｓ１２０２において取得した（ｎ枚目の画像の）画素信号と、メモリ２６２に格納された過去データの（ｎ－１枚目の画像の）画素信号とを比較して、差分データを作成する。このとき、撮像素子２００は、得られた差分データが所定の閾値以上であるか否かを判定したうえで、更に差分データが所定の閾値以上である画素ブロック数をカウントする。

すなわち、撮像素子２００は、イベント（すなわち被写体像の変化）を検知したブロックがあるかを画素ブロックごとに判定し、かつ、イベントを検知したブロック数をカウントする。なお、上述の例では、差分データを判定する所定の閾値が固定である場合を例に説明しているが、当該所定の閾値を被写体の種別、撮影条件、或いはユーザ操作に応じて変更可能にしてもよい。

例えば、被写体の変化として検知すべき対象ではないが監視対象が小刻みに揺れたりして変化するような場合には、上記所定の閾値の値を上昇させて、被写体像の変化の誤検出を低下させる（検出精度を調節する）ことができる。

Ｓ１２０５において、撮像素子２００は、差分データが所定の閾値以上である（すなわちイベントが検知された）画素ブロックの数を判定する。撮像素子２００は、差分データが所定の閾値以上である画素ブロックの数がカウントなし（＝０）であると判定した場合、イベントは検知されていないため、Ｓ１２０２に処理を戻す。この場合、上述したＳ１２０４までの被写体像の変化を検知する動作を繰り返す。一方、撮像素子２００は、カウントが０より大きい場合（すなわちイベントが検知された場合）には、イベントを検知したと判定して、Ｓ１２０６に処理を進める。

Ｓ１２０６において、撮像素子２００は、Ｓ１２０４で得られたカウント数が所定のカウント閾値（例えば２）を超えているか否かを判定する。撮像素子２００は、カウント数が所定のカウント閾値以下であると判定した場合、変化領域範囲は狭く、対象となる被写体像の変化も小さいため、処理をＳ１２０７に進める。一方、撮像素子２００は、カウント数が所定のカウント閾値を超えていると判定した場合、Ｓ１２０８に処理を進める。

なお、Ｓ１２０６の処理の例では、カウント閾値が２である場合を例に説明したが、カウント数は２に限定されるものでなく、撮影条件や、ユーザの意図により変更可能にしてもよい。

Ｓ１２０７において、撮像素子２００は、撮像素子２００の動作モードを検知モードから通常撮影モードに変更したうえで、その撮影モードを、詳細画像を取得可能な撮影モードにする。例えば、画素加算を行わずに１画素単位にて画素信号を読み出す４Ｋモードに移行する。この４Ｋモードは、上述のように、Ｓ１２０９において移行する撮影モード（ＦｕｌｌＨＤモード）で出力する画像よりも、画素数の多い画像を出力する撮影モードである。

Ｓ１２０８において、撮像素子２００は、イベントが検知されたと判定した画素ブロックの分散度を判定する。撮像素子２００は、イベントが検知されたと判定した画素ブロックが面内で離散的である（例えば隣接していないブロックがある）と判定した場合、複数の被写体像が存在するものとして、詳細画像を取得するＳ１２０７へ進む。換言すれば、本ステップでは、撮像素子２００は、変化領域範囲が広く対象被写体が分散しているのか、若しくは被写体像が大であるかを判定し、前者である場合には詳細画像を取得するように撮影モードを制御する。一方、撮像素子２００は、イベントが検知されたと判定した画素ブロックが離散的でないと判定した場合、対象となる被写体像の大きさが大きいものとして、Ｓ１２０９に処理を進める。

Ｓ１２０９では、撮像素子２００は、撮像素子２００の動作モードを検知モードから通常撮影モードに変更したうえで、その撮影モードを、読み出し画素数が４Ｋモードより少なく、低解像度、省電力となるＦｕｌｌＨＤモードにする。撮像素子２００は、画面内の対象被写体の大きさが大きいと判定した場合、被写体がデジタルカメラ近傍に位置する可能性があり、被写体を認識するための画像としては低解像度で十分であると判定することができる。

Ｓ１２１０において、撮像素子２００は、各撮影モードに移行して撮影動作（すなわち撮影した画像を記録部１０５に記録する）を開始する際に、各撮影モードでの画像データをカウントするカウント値ＣＮＴを０にリセットする。Ｓ１２１１において、撮像素子２００は、画像データが取得される度にカウント値ＣＮＴをインクリメントし、更に、Ｓ１２１２において、カウント値ＣＮＴが、予め決められた数（Ｎ）以上であるか否かを判定する。

撮像素子２００は、カウンタ値ＣＮＴがＮ未満であると判定した場合には、処理をＳ１２１１に戻してＳ１２１１以降の処理を繰り返し、撮影モードを継続する。一方、撮像素子２００は、カウンタ値ＣＮＴがＮ以上であると判定した場合には、本一連の処理を終了する。なお、撮像素子２００は、カウンタ値ＣＮＴがＮ以上であると判定した場合に、更に処理を繰り返すために、動作モードを検知モードに戻してもよい。この場合、処理をＳ１２０１に戻す。

以上説明したように、本実施形態では、撮像素子２００は、検知モードにおいて、画素ブロック毎に画素加算された画素信号を用いて被写体像の変化を検知するようにした。このようにすることで、イベント検知までの撮像素子２００の動作消費電力を低減することができる。加えて、撮像素子２００は、検知した被写体像の変化したブロックに基づいて、適切な撮影モードを決定するようにした。

例えば、被写体像の変化を検知したブロックに応じて、詳細な画像の撮影モード、又は低解像度となる画像の撮影モードを選択する。このようにすることで、被写体撮影に対して必要十分な解像度が得られる画素の読み出し方を選択することができ、好適な撮影画像を得ることができるようになる。
また、低解像度の画像が得られるように画素加算を行う撮影モードを選択可能にすることで、撮影モードの選択により消費電力の低減が可能となる。換言すれば、被写体像の変化の検知に応じて撮影を行うように構成される撮像装置において、被写体像の変化の検知後の動作において消費電力を低減可能になる。

なお、上述の例では、ＦｕｌｌＨＤモードは、ＦＤを共有する近接する２行による画素信号加算により出力画素数を低減するものとして説明したが、これに限るものではなく、列方向による画素信号加算や、必要とする解像度の範囲において画素信号加算数を変更してもよい。

また、上述の実施形態を、撮像素子２００の画素群にカラーフィルタ等が配され、色別の画素信号が出力される場合に適用してもよい。この場合、同色の出力画素が配される行または列により同色の画素信号加算を行うようにしてもよい。

更に、画素信号加算によって出力する画素信号の数を減らす以外に、読み出す画素行または列を間引いて読み出すようにしてもよい。加えて、上述の例では、検知モードにおいて、画素加算した画素ブロック毎による画素信号を用いて被写体像の変化を検知する例を説明したが、画素ブロック内の画素を所定間隔で間引いたうえで画素信号加算を行ってもよい。

また、上述の例では、詳細な画像を用いる撮影モードの一例として４Ｋ撮影モードを例に説明し、低解像、省電力となる撮影モードの一例としてＦｕｌｌＨＤモードを例に説明した。しかし、撮影モードはこれに限るものではなく、デジタルカメラ１００に設定可能な撮影モードのうち、画素数の異なる画像を撮影する２以上の撮影モードを選択するようにしてもよい。

更に、上述の例では、被写体像の変化に応じて、解像度、省電力の観点から、撮影モードの選択、切り替えを行ったが、更に、被写体に対する撮影の追従性を加えた優先度により、撮影モードにフレームレートを加えて選択、切り替えをしてもよい。例えば、ＦｕｌｌＨＤモードによる撮影は、被写体像が大でありデジタルカメラの近傍である可能性である。このことから、画面内における移動速度も速い可能性があるものとして、撮像素子２００が撮影のフレームレートをより高く設定して撮影してもよい。この場合には、デジタルカメラにおける電力状況やユーザの任意選択によって、各優先度に対する度合いを変更可能にしてもよい。

（撮像素子を積層構造により実現する例について）
また、上述の撮像素子２００は、図１３（ａ）～（ｃ）に示すような積層構造を有する撮像素子として実現されてもよい。撮像素子２００は、図１３（ｂ）および図１３（ｃ）に示す半導体基板１２０１と、半導体基板１２０２とを含むように構成されてよい。半導体基板１２０１と半導体基板１２０２とは、重畳された状態で封止され、モジュール化（一体化）される。つまり、図１３（ｃ）に示すように、半導体基板１２０１および半導体基板１２０２は、多層構造（積層構造）を形成する。半導体基板１２０１に形成される回路と半導体基板１２０２に形成される回路とは、ビア（ＶＩＡ）等により互いに接続される。

このように、撮像素子２００は、第１の半導体基板１２０１と第２の半導体基板１２０２が多層構造を形成するように一体化されたモジュール（ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップとも称する）であってよい。モジュール内部において第１の半導体基板１２０１と第２の半導体基板１２０２がこのように多層構造を形成することにより、撮像素子２００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子２００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

例えば、上述した撮像素子２００に含まれる各部は、以下のようにそれぞれ第１の半導体基板１２０１と、第２の半導体基板１２０２とのいずれかに形成される。例えば、図１３（ａ）に示すように、第１の半導体基板１２０１には、上述した画素部２２０、垂直走査回路２１１、ＡＤ変換回路２１２、水平走査回路２１３が形成される。また、第２の半導体基板１２０２には、イベント検知部２１４、信号処理部２１５、モード制御部２１６、露光制御部２１７が形成される。なお、図１３に示した配置は一例にすぎず、第１の半導体基板１２０１および第２の半導体基板１２０２への各部の配置は、これらに限定されるものではない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０２…画像処理部、２００…撮像素子、２２０…画素部、２１６…モード制御部、２１４…イベント検知部、２１５…信号処理部

Claims (12)

1. 二次元状に配置された複数の画素を有する撮像面を複数の領域に分割した領域ごとの画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する検知手段と、
   （ｉ）前記被写体像の変化した領域の数の検出及び（ｉｉ）前記領域の数と非ゼロの所定の閾値との比較に基づく第１の撮影モード又は第２の撮影モードの１つの選択に応じて、前記撮像面における全撮像領域から第１の解像度の画像信号を出力する前記第１の撮影モード、又は、前記撮像面における全撮像領域から前記第１の解像度よりも低解像度の第２の解像度の画像信号を出力する前記第２の撮影モードのいずれかで撮影を行うように制御する制御手段と、を有する、ことを特徴とする撮像装置。
2. 前記制御手段は、前記複数の領域のうちの前記被写体像の変化した領域の数が前記非ゼロの所定の閾値以下である場合、前記第１の撮影モードで撮影を行うように制御し、前記複数の領域のうちの前記被写体像の変化した領域の数が前記非ゼロの所定の閾値を超える場合、前記第２の撮影モードで撮影を行うように制御する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体像の変化した領域の数が前記非ゼロの所定の閾値を超えている場合には、前記被写体像の変化した領域のうち隣接しない領域があるかを更に判定し、前記被写体像の変化した領域のうち隣接しない領域がある場合には、前記第１の撮影モードで撮影を行うように制御する、ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１の撮影モードは、画素信号の加算もしくは間引きが行われていない画素信号で構成される画像を出力する撮影モードであり、前記第２の撮影モードは、画素信号の加算もしくは間引きにより画素数が低減された画素信号で構成される画像を出力する撮影モードである、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記検知手段は、前記複数の領域に分割した領域ごとの画素信号を一定の周期で取り出して、当該一定の周期の間の画素信号の変化が所定の変化の閾値を超えたかを判定することにより、前記複数の領域のうち被写体像の変化した領域を検知する、ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記所定の変化の閾値は、前記撮像装置の外部からの指示に応じて変更可能である、ことを特徴とする請求項５に記載の撮像装置。
7. 前記検知手段は、前記撮像面を複数の領域に分割した領域ごとに、各領域の画素数より少ない数の画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記複数の領域に分割した各領域の画素数より少ない数の画素信号は、該領域の画素からの画素信号を加算する、あるいは、該領域の画素の画素信号から所定の画素列又は所定の画素行の画素信号を間引いて得られる、ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 第１の半導体基板と第２の半導体基板とを含む積層構造により形成される撮像素子を有する、ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記第１の半導体基板は、前記二次元状に配置された画素を含み、前記第２の半導体基板は、前記検知手段と前記制御手段とを含む、ことを特徴とする請求項９に記載の撮像装置。
11. さらに、前記撮影された画像を記録する記録手段を有することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
12. 二次元状に配置された複数の画素を有する撮像面を複数の領域に分割した領域ごとの画素信号を取得して、前記複数の領域のうち被写体像の変化した領域を検知する検知工程と、
    （ｉ）前記被写体像の変化した領域の数の検出及び（ｉｉ）前記領域の数と非ゼロの所定の閾値との比較に基づく第１の撮影モード又は第２の撮影モードの１つの選択に応じて、前記撮像面における全撮像領域から第１の解像度の画像信号を出力する前記第１の撮影モード、又は、前記撮像面における全撮像領域から前記第１の解像度よりも低解像度の第２の解像度の画像信号を出力する前記第２の撮影モードのいずれかで撮影を行うように制御する制御工程と、を有する、ことを特徴とする撮像装置の制御方法。

Images