JP2016187072A - イメージセンサ、処理方法、及び、電子機器 - Google Patents

Abstract

【課題】ブルーミングを防止する。
【解決手段】光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、第１の画像及び第２の画像を構成する画素を、画素信号の読み出しを行う読み出し対象画素として、読み出し対象画素について、光電変換素子に蓄積された電荷を排出するシャッタ動作と、画素信号を読み出す読み出し動作とを行い、読み出し対象画素以外の非読み出し対象画素について、シャッタ動作のみを行う。本技術は、例えば、画像を撮影するイメージセンサに適用することができる。
【選択図】図７

Description

本技術は、イメージセンサ、処理方法、及び、電子機器に関し、特に、例えば、ブルーミングを防止することができるようするイメージセンサ、処理方法、及び、電子機器に関する。

例えば、動被写体の高速追尾用の画像と、観賞用の高品位な画像との撮影を交互に行うイメージセンサが提案されている（例えば、特許文献１を参照）。

特開2008-172606号公報

ところで、イメージセンサにおいて、露光時間が異なる２枚の画像を、同時に撮影する場合に、ブルーミングが発生することがある。

本技術は、このような状況に鑑みてなされたものであり、ブルーミングを防止することができるようにするものである。

本技術のイメージセンサ、又は、電子機器は、光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部と、前記画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う制御を行う制御部とを備えるイメージセンサ、又は、そのようなイメージセンサを有する電子機器である。

本技術の処理方法は、光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う処理方法である。

本技術のイメージセンサ、処理方法、及び、電子機器においては、光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、前記読み出し対象画素については、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とが行われ、前記読み出し対象画素以外の非読み出し対象画素については、前記シャッタ動作のみが行われる。

なお、イメージセンサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術によれば、ブルーミングを防止することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 イメージセンサ２の構成例を示すブロック図である。 画素５０の構成例を示す回路図である。 画素５０の動作の例を説明するタイミングチャートである。 ２ストリームモードを説明する図である。 メイン画像及びサブ画像として、異なる画角の画像を撮影する２ストリームモードを説明する図である。 第３の撮影方法を説明する図である。 第３の撮影方法によりメイン画像及びサブ画像を撮影する場合の行制御部４２の処理の例を説明するフローチャートである。 第２の撮影方法によるメイン画像及びサブ画像の撮影の処理を説明するタイミングチャートである。 第３の撮影方法によるメイン画像及びサブ画像の撮影の処理の例を説明するタイミングチャートである。 第３の撮影方法によるメイン画像及びサブ画像の撮影の処理の他の例を説明するタイミングチャートである。 イメージセンサ２を使用する使用例を示す図である。

＜本技術を適用したディジタルカメラの一実施の形態＞

図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。

図１において、ディジタルカメラは、光学系１、イメージセンサ２、メモリ３、信号処理部４、出力部５、及び、制御部６を有する。

光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ２に入射させる。

イメージセンサ２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行って、光学系１からの入射光に対応する画像データを出力する。

メモリ３は、イメージセンサ２が出力する画像データを一時記憶する。

信号処理部４は、メモリ３に記憶された画像データを用いた信号処理としての、例えば、ノイズの除去や、ホワイトバランスの調整の処理、露光や、輝度、フォーカスの調整のための処理等を行い、出力部５に供給する。

出力部５は、信号処理部４からの画像データを出力する。

すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの画像データに対応する画像を、いわゆるスルー画として表示する。

また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの画像データを記録媒体に記録する。

制御部６は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。

以上のように構成されるディジタルカメラでは、イメージセンサ２が、光学系１からの入射光を受光し、その入射光に応じて、画像データを出力する。

イメージセンサ２が出力する画像データは、メモリ３に供給されて記憶される。メモリ３に記憶された画像データについては、信号処理部４による信号処理が施され、その結果得られる画像データは、必要に応じて、出力部５に供給されて出力される。

＜イメージセンサ２の構成例＞

図２は、図１のイメージセンサ２の構成例を示すブロック図である。

イメージセンサ２は、画素アレイ部４１、行制御部４２、列処理部４３、画素駆動線４４、及び、VSL（垂直信号線）４５を有する。画素アレイ部４１ないしVSL４５は、例えば、図示せぬ半導体基板（チップ）上に形成されている。

画素アレイ部４１には、光電変換を行い、画素信号を出力する複数の画素５０が、例えば、行列状に２次元に配置されている。

また、画素アレイ部４１には、複数の画素駆動線４４が、水平方向（画素５０の（水平）ラインの方向）に配線されるとともに、複数のVSL４５が、垂直方向に配線されている。

画素アレイ部４１は、画素駆動線４４を介して供給される制御信号に従って駆動し、画素５０の光電変換によって得られる画素信号を、VSL４５上に出力する。

行制御部４２は、画素駆動線４４に制御信号を供給することにより、画素アレイ部４１を制御する。

列処理部４３には、画素アレイ部４１の画素５０がVSL４５上に出力する画素信号が供給される。

列処理部４３は、例えば、ADC(Analog to Digital Converter)４３Ａを有し、画素アレイ部４１から供給される画素信号のAD変換等の処理を行う。そして、列処理部４３は、画素信号のAD変換等により得られるディジタルの画素データを、画像を構成する画素値として出力する。

なお、列処理部４３では、AD変換の他、CDS(Correlated Double Sampling)等の処理も行われるが、本実施の形態では、説明を簡単にするため、AD変換以外の処理には、言及しない。

列処理部４３が有するADC４３Ａは、例えば、列並列型のADCであり、少なくとも、１ライン（行）の画素５０の画素信号のAD変換を同時に行う。

ここで、本実施の形態では、ADC４３Ａは、例えば、２ライン（の画素５０の画素信号）のAD変換を同時に行うことができるようになっていることとする。

すなわち、ADC４３Ａは、例えば、偶数ラインのある１ラインと、奇数ラインのある１ラインとのAD変換を同時に行うことができる。

なお、ADC４３Ａは、列並列型のADCに限定されるものではない、すなわち、ADC４３Ａとしては、例えば、エリア型のADC（複数のエリアの画素の画素信号のAD変換を並列に行うADC）等の、列並列型のADC以外の方式のADCを採用することができる。

＜画素５０の構成例＞

図３は、図２の画素５０の構成例を示す回路図である。

図３において、画素５０は、PD(Photo Diode)６１、転送トランジスタ６２、FD(Floating Diffusion)６３、リセットトランジスタ６４、増幅トランジスタ６５、及び、選択トランジスタ６６を有する。転送トランジスタ６２、リセットトランジスタ６４、増幅トランジスタ６５、及び、選択トランジスタ６６は、例えば、NMOS(Negative Channel MOS)のFET(Field Effect Transistor)である。

PD６１は、入射光量に応じた電荷量の（光）電荷を発生して内部に蓄積する光電変換素子の一例である。PD６１のアノードは、基準電位(GND)に接続されており、PD６１のカソードは、転送トランジスタ６２のソースに接続されている。

転送トランジスタ６２のドレインは、リセットトランジスタ６４のソース、及び、増幅トランジスタ６５のゲートに接続されている。転送トランジスタ６２のドレイン、リセットトランジスタ６４のソース、及び、増幅トランジスタ６５のゲートの接続点には、FD６３が形成されている。

リセットトランジスタ６４のドレイン、及び、増幅トランジスタ６５のドレインは、所定の電源VDDに接続されている。

増幅トランジスタ６５のソースは、選択トランジスタ６６のドレインに接続されており、選択トランジスタ６６のソースは、VSL４５に接続されている。なお、VSL４５は、増幅トランジスタ６５とともにソースフォロア回路を構成する、図示せぬ定電流源に接続されている。

なお、画素５０としては、複数のPD６１及び転送トランジスタ６２のセットで、FD６３ないし選択トランジスタ６６を共有する共有画素の構成を採用することができる。

以上のように構成される画素５０では、転送トランジスタ６２、リセットトランジスタ６４、及び、選択トランジスタ６６それぞれのゲートは、画素駆動線４４を介して、図２の行制御部４２に接続されている。

そして、転送トランジスタ６２、リセットトランジスタ６４、及び、選択トランジスタ６６のゲートには、行制御部４２から画素駆動線４４を介して、制御信号TRG，RST，SELがそれぞれ供給される。

一方、PD６１は、入射光を光電変換し、その光量に応じた電荷を生成して蓄積する。

転送トランジスタ６２は、行制御部４２から供給される制御信号TRGに従ってオン／オフになり、PD６１からFD６３への電荷の転送をオン／オフする。

すなわち、転送トランジスタ６２は、H（High）レベルの制御信号TRGが供給されると、オンになり、PD６１に蓄積されている電荷を、FD６３に転送する。また、転送トランジスタ６２は、L（Low）レベルの制御信号TRGが供給されると、オフになり、電荷の転送を停止する。

なお、転送トランジスタ６２が、FD６３への電荷の転送を停止している間、PD６１が光電変換した電荷は、PD６１に蓄積される。

FD６３は、コンデンサのごとく、PD６１から転送トランジスタ６２を介して転送されてくる電荷を蓄積することにより、その電荷を電圧に変換する。

リセットトランジスタ６４は、行制御部４２から供給される制御信号RSTに従ってオン／オフになり、FD６３に蓄積されている電荷の排出をオン／オフする。

すなわち、リセットトランジスタ６４は、Hレベルの制御信号RSTが供給されると、オンになり、FD６３を電源VDDにクランプして、FD６３に蓄積されている電荷を排出（リセット）する。また、リセットトランジスタ６４は、Lレベルの制御信号RSTが供給されると、オフになり、FD６３を電気的に浮遊状態にする。

増幅トランジスタ６５は、FD６３に蓄積されている電荷に応じた電圧をバッファ（増幅）し、ソースから出力する。増幅トランジスタ６５のソースから出力される電圧は、画素５０の光電変換により得られた画素信号として、選択トランジスタ６６を介してVSL４５に出力される。

選択トランジスタ６６は、行制御部４２から供給される制御信号SELに従ってオン／オフになり、増幅トランジスタ６５からの画素信号のVSL４５への出力をオン／オフする。

すなわち、選択トランジスタ６６は、Hレベルの制御信号SELが供給されると、オンになり、増幅トランジスタ６５からの画素信号をVSL４５に出力し、Lレベルの制御信号SELが供給されると、オフになり、増幅トランジスタ６５からの画素信号の出力を停止する。

＜画素５０の動作＞

図４は、図３の画素５０の動作の例を説明するタイミングチャートである。

ある１ラインの各画素５０について注目すると、まず、制御信号RSTがHレベルの状態で、制御信号TRGが一時的に（Lレベルから）Hレベルにされる。これにより、PD５１に蓄積された電荷を、転送トランジスタ６２及びリセットトランジスタ６４を介して、電源VDDに排出するシャッタ動作が行われる。

その後、制御信号SELがLレベルからHレベルとされ、制御信号RSTがHレベルからLレベルとされた状態で、制御信号TRGが一時的にHレベルにされる。これにより、シャッタ動作が行われてから、制御信号TRGがHレベルになるまでの時間を露光時間として得られた画素信号を、画素５０から読み出す読み出し動作が行われる。

すなわち、シャッタ動作が行われてから、制御信号TRGがHレベルになるまでの時間を露光時間として、PD６１に蓄積された電荷が、転送トランジスタ６２を介して、FD６３に転送されて蓄積される。FD６３に蓄積された電荷に対応する電圧は、画素信号として、増幅トランジスタ６５及び選択トランジスタ６６を介して、VSL４５上に読み出される（出力される）。

VSL４５上に読み出された画素信号は、ADC４３ＡでAD変換され、画素データとなる。

ここで、上述したように、本実施の形態では、ADC４３Ａは、例えば、２ライン（の画素５０の画素信号）のAD変換を同時に行うことができる。

そのため、イメージセンサ２では、例えば、画素アレイ部４１の上から2i-1番目の第2i-1ラインの各画素５０と、上から2i番目の第2iラインの各画素５０とから、画素信号を読み出し、それらの第2i-1ライン及び第2iライン（の各画素５０の画素信号）のAD変換を、並列に行うことができる。

したがって、イメージセンサ２では、例えば、第１ラインから、順番に、２ラインずつの画素信号を読み出し、その画素信号のAD変換を行って、１枚の画像の画素データを得ることができる。

＜２ストリームモード＞

図５は、２ストリームモードを説明する図である。

２ストリームモードとは、イメージセンサ２で撮影することができる最大画素数の画像から、画素数を間引いた２枚の画像である第１の画像及び第２の画像であって、露光時間が異なる第１の画像及び第２の画像を撮影する撮影モードである。

本実施の形態では、第１の画像として、画素アレイ部４１の画素５０のうちの、例えば、奇数ラインの少なくとも一部のラインの画素５０（の画素データ）で構成される画像を採用する。また、第２の画像として、画素アレイ部４１の画素５０のうちの、奇数ラインの他のラインである偶数ラインの少なくとも一部のラインの画素５０（の画素データ）で構成される画像を採用することとする。

ここで、図５では（後述する図６及び図７でも同様）、説明を簡単にするため、画素アレイ部４１が、第１ラインないし第１２ライン（の画素５０）を有することとする。

また、図５では、第１の画像が、画素アレイ部４１の奇数ライン（の画素５０）で構成され、第２の画像が、画素アレイ部４１の偶数ライン（の画素５０）で構成されている。

すなわち、図５では、第１の画像は、画素アレイ部４１の第１ライン、第３ライン、第５ライン、第７ライン、第９ライン、及び、第１１ラインで構成される。第２の画像は、画素アレイ部４１の第２ライン、第４ライン、第６ライン、第８ライン、第１０ライン、及び、第１２ラインで構成される。

なお、以下では、第１の画像を、メイン画像ともいい、第２の画像をサブ画像ともいう。

図５では、メイン画像とサブ画像とが、同一の画角の画像になっている。

２ストリームモードで撮影するメイン画像及びサブ画像としては、図５に示したように、同一の画角の画像を採用することもできるし、異なる画角の画像を採用することもできる。

図６は、メイン画像及びサブ画像として、異なる画角の画像を撮影する２ストリームモードを説明する図である。

図６では、サブ画像が、メイン画像よりも画角が小さい画像、すなわち、例えば、垂直方向の画角が小さい画像になっている。

具体的には、メイン画像は、図５の場合と同様に、画素アレイ部４１の奇数ラインのすべて（第１ライン、第３ライン、第５ライン、第７ライン、第９ライン、及び、第１１ライン）で構成される。

一方、サブ画像は、画素アレイ部４１の偶数ラインのうちの第４ライン、第６ライン、及び、第８ラインで構成される。

ここで、図６において（後述する図７でも同様）、AM及びASは、メイン画像及びサブ画像の、画素アレイ部４１上の垂直方向の画角を表している。サブ画像の画角ASは、メイン画像の画角AMよりも小さくなっている。

２ストリームモードでは、以上のような画角が異なるメイン画像及びサブ画像を同時に得ることができる。その結果、例えば、画角が大きいメイン画像を、モニタリング用の画像（本筋の画像）として用い、画角が小さいサブ画像を、様々な調整用の画像として用いることができる。

すなわち、サブ画像は、例えば、露光調整や、輝度調整、ホワイトバランス調整、フォーカス調整等の、撮影のための各種の調整に用いることができる。

また、例えば、画角が大きいメイン画像は、静止画の撮影結果として用い、画角が小さいサブ画像は、フレームレートが高い動画の撮影結果として用いることができる。

以上のようなメイン画像及びサブ画像を、イメージセンサ２で撮影して出力する方法としては、以下のような第１の撮影方法が考えられる。

すなわち、画素アレイ部４１の奇数ラインについては、その奇数ラインのすべてが、メイン画像を構成するので、行制御部４２が、奇数ラインのすべてについて、図４で説明したシャッタ動作及び読み出し動作を行う。

一方、画素アレイ部４１の偶数ラインについては、その偶数ラインのうちの第４ライン、第６ライン、及び、第８ラインが、サブ画像を構成するので、行制御部４２が、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインについて、シャッタ動作及び読み出し動作を行う。

また、画素アレイ部４１の偶数ラインについては、その偶数ラインのうちの第２ライン、第１０ライン、及び、第１２ラインは、メイン画像及びサブ画像のうちのいずれも構成しないので、必要がなく、シャッタ動作及び読み出し動作が行われない。

行制御部４２（図２）において、以上のようなシャッタ動作及び読み出し動作の制御を行うことで、２ストリームモードで、画角の大きなメイン画像と、画角の小さなサブ画像とを、同時に撮影することができる。

ところで、第１の撮影方法では、上述のように、シャッタ動作及び読み出し動作が行われないラインが生じる。シャッタ動作及び読み出し動作が行われないラインでは、画素５０において、露光、すなわち、PD６１での光電変換が行われ続け、PD６１から電荷が溢れ出し、隣接するラインに漏れ込むことがある。

すなわち、図６では、シャッタ動作及び読み出し動作が行われない第２ラインの画素５０から電荷が溢れ、その第２ラインに隣接する第１ラインや第３ライン（の画素５０）に漏れ込むことがある。その結果、第１ラインや第３ラインでは、第２ライン（の画素５０）から漏れ込む電荷によって、ブルーミングが発生することがある。

同様に、シャッタ動作及び読み出し動作が行われない第１０ライン及び第１２ラインについても、その第１０ライン又は第１２ラインに隣接する第９ラインや第１１ラインにおいて、ブルーミングが発生することがある。

第１ライン、第３ライン、第９ライン、及び、第１１ラインは、いずれも、メイン画像を構成するので、これらの第１ライン、第３ライン、第９ライン、及び、第１１ラインにブルーミングが発生すると、メイン画像の画質が劣化する。

以上のようなブルーミングを防止する方法としては、例えば、シャッタ動作及び読み出し動作を、メイン画像及びサブ画像のうちの、画角が大きい方の画像に合わせて行う第２の撮影方法がある。

第２の撮影方法では、画素アレイ部４１の第１ラインないし第１２ラインのすべてについて、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が行われる。

第２の撮影方法では、第１の撮影方法で生じるブルーミングを防止することができる。しかしながら、第２の撮影方法では、メイン画像及びサブ画像のいずれも構成しない第２ライン、第１０ライン、及び、第１２ライン（の画素５０の画素信号）のAD変換が行われ、無駄な電力が消費される。

そこで、イメージセンサ２では、２ストリームモードにおいて、第３の撮影方法を採用することができる。

第３の撮影方法では、画素アレイ部４１の画素のうちの、メイン画像及びサブ画像の画素のラインを、画素信号の読み出しを行う読み出し対象ラインとして、読み出し対象ラインについては、シャッタ動作と読み出し動作とが行われ、読み出し対象ライン以外の非読み出し対象ラインについては、シャッタ動作のみが行われる。

図７は、第３の撮影方法を説明する図である。

図７では、図６と同様に、メイン画像は、画素アレイ部４１の奇数ラインのすべて（第１ライン、第３ライン、第５ライン、第７ライン、第９ライン、及び、第１１ライン）で構成される。さらに、サブ画像は、画素アレイ部４１の偶数ラインのうちの第４ライン、第６ライン、及び、第８ラインで構成される。

第３の撮影方法では、画素アレイ部４１の奇数ラインについては、図６の第１の撮影方法と同様に、その奇数ラインのすべてが、メイン画像を構成するので、行制御部４２は、奇数ラインのすべてについて、シャッタ動作及び読み出し動作を行う。

さらに、画素アレイ部４１の偶数ラインについては、第１の撮影方法と同様に、その偶数ラインのうちの第４ライン、第６ライン、及び、第８ラインが、サブ画像を構成するので、行制御部４２は、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインについて、シャッタ動作及び読み出し動作を行う。

また、画素アレイ部４１の偶数ラインのうちの、第２ライン、第１０ライン、及び、第１２ラインは、メイン画像及びサブ画像のうちのいずれも構成しないが、ブルーミングを防止するために、行制御部４２は、シャッタ動作及び読み出し動作のうちの、シャッタ動作のみを行う。

行制御部４２（図２）において、以上のようなシャッタ動作及び読み出し動作の制御を行うことで、２ストリームモードで、画角の大きなメイン画像と、画角の小さなサブ画像とを、同時に撮影することができる。

第３の撮影方法では、画素アレイ部４１の偶数ラインのうちの、メイン画像及びサブ画像のうちのいずれも構成しない第２ライン、第１０ライン、及び、第１２ラインについては、シャッタ動作のみが行われる。

したがって、第２ライン、第１０ライン、及び、第１２ラインでは、画素５０において、PD６１に蓄積された電荷が、シャッタ動作によって排出されるので、PD６１から電荷が溢れ出し、隣接するラインに漏れ込むことにより生じるブルーミングを防止することができる。

すなわち、図６で説明したような、メイン画像を構成する第１ライン、第３ライン、第９ライン、及び、第１１ラインに生じるブルーミングを防止し、これにより、メイン画像の画質が劣化することを防止することができる。

＜行制御部４２の処理＞

図８は、第３の撮影方法によりメイン画像及びサブ画像を撮影する場合の行制御部４２の処理の例を説明するフローチャートである。

画素アレイ部４１の画素のうちの、メイン画像及びサブ画像の画素のラインである読み出し対象ラインについては、行制御部４２は、ステップＳ１１において、シャッタ動作と読み出し動作とを行うように、画素アレイ部４１を制御する。

一方、画素アレイ部４１の画素のラインのうちの、読み出し対象ライン以外のラインである非読み出し対象ラインについては、行制御部４２は、ステップＳ２１において、シャッタ動作及び読み出し動作のうちの、シャッタ動作のみを行うように、画素アレイ部４１を制御する。

なお、シャッタ動作のみを行う非読み出し対象ラインとしては、読み出し対象ラインに隣接する非読み出し対象ラインだけを採用することができる。

＜第２の撮影方法によるメイン画像及びサブ画像の撮影の処理＞

図９は、第２の撮影方法によるメイン画像及びサブ画像の撮影の処理を説明するタイミングチャートである。

なお、図９において（後述する図１０及び図１１でも同様）、xvsは、最速のフレームレートのフレームの先頭のタイミングを表し、xceは、フレームの処理の開始を表すパルスを表す。

図９では、最速のフレームレートが、120fps(frame per second)になっている。そして、メイン画像のフレームレートが、最速のフレームレートの1/2の60fpsになっており、サブ画像のフレームレートが、最速のフレームレートである120fpsになっている。

第２の撮影方法では、画素アレイ部４１の第１ラインないし第１２ラインのすべてについて、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が行われる。

すなわち、最速のフレームレートのフレームを基準フレームともいうこととすると、第２の撮影方法では、画素アレイ部４１の、60fpsのメイン画像を構成する奇数ラインのすべてについて、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が、１基準フレームおきに行われる。

また、画素アレイ部４１の、120fpsのサブ画像を構成する第４ライン、第６ライン、及び、第８ラインを含む偶数ラインのすべてについて、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が、１基準フレームごとに行われる。

画素アレイ部４１の偶数ラインのうちの、第２ライン、第１０ライン、及び、第１２ラインは、120fpsのサブ画像を構成しない。しかしながら、第２の撮影方法では、サブ画像を構成しない第２ライン、第１０ライン、及び、第１２ラインについて、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインと同様に、シャッタ動作の他に、読み出し動作が行われ、読み出し動作によって読み出された画素信号のAD変換が行われる。

以上のように、第２ライン、第１０ライン、及び、第１２ラインは、メイン画像及びサブ画像のいずれも構成しない、いわば不要なラインであるが、第２の撮影方法では、メイン画像を構成するライン、及び、サブ画像を構成するラインのAD変換の他、不要なラインのAD変換も行われる。

その結果、第２の撮影方法では、１基準フレームのサブ画像を得るのに、基準フレームに相当する時間を要する。

＜第３の撮影方法によるメイン画像及びサブ画像の撮影の例＞

図１０は、第３の撮影方法によるメイン画像及びサブ画像の撮影の処理の例を説明するタイミングチャートである。

図１０では、基準フレームのフレームレート（最速のフレームレート）が、図９の場合と同様に、120fpsになっている。さらに、図１０では、図９の場合と同様に、メイン画像のフレームレートが、基準フレームのフレームレートの1/2の60fpsになっており、サブ画像のフレームレートが、基準フレームのフレームレートである120fpsになっている。

第３の撮影方法では、画素アレイ部４１の画素のうちの、メイン画像及びサブ画像の画素のラインを、画素信号の読み出しを行う読み出し対象ラインとして、読み出し対象ラインについては、シャッタ動作と読み出し動作とが行われ、読み出し対象ライン以外の非読み出し対象ラインについては、シャッタ動作のみが行われる。

したがって、第３の撮影方法では、画素アレイ部４１の、60fpsのメイン画像を構成する奇数ラインについては、図９の場合と同様に、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が、１基準フレームおきに行われる。

一方、画素アレイ部４１の偶数ラインのうちの、120fpsのサブ画像を構成する第４ライン、第６ライン、及び、第８ラインについては、シャッタ動作及び読み出し動作、さらには、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が、１基準フレームごとに行われる。

また、画素アレイ部４１の偶数ラインのうちの、メイン画像及びサブ画像のいずれも構成しない第２ライン、第１０ライン、及び、第１２ラインについては、１基準フレームにおいて、シャッタ動作のみが行われ、読み出し動作は行われない。

以上のように、２ライン、第１０ライン、及び、第１２ラインについては、読み出し動作が行われないので、ADC４３ＡでのAD変換も行われない。

したがって、画素アレイ部４１の偶数ラインについては、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインだけのAD変換を行い、そのAD変換の終了後に、AD変換を停止することができる。

その結果、図９の第２の撮影方法の場合に比較して、AD変換を停止することができる分だけ、消費電力を低減することができる。

＜第３の撮影方法によるメイン画像及びサブ画像の撮影の他の例＞

図１１は、第３の撮影方法によるメイン画像及びサブ画像の撮影の処理の他の例を説明するタイミングチャートである。

図１１では、基準フレームのフレームレート（最速のフレームレート）が、図９及び図１０の場合の２倍の240fpsになっている。そして、図１１では、メイン画像のフレームレートが、基準フレームのフレームレートの1/4の60fpsになっており、サブ画像のフレームレートが、基準フレームのフレームレートである240fpsになっている。

図１０で説明したように、第３の撮影方法では、画素アレイ部４１の偶数ラインについては、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインだけのAD変換を行い、そのAD変換の終了後に、AD変換を停止することができる。

図１１では、画素アレイ部４１の偶数ラインについて、図１０でAD変換を停止することができる期間に、AD変換を停止せずに、さらに、サブ画像を構成する第４ライン、第６ライン、及び、第８ラインについて、シャッタ動作及び読み出し動作、及び、読み出し動作によって読み出された画素信号の、ADC４３ＡでのAD変換が行われる。

その結果、サブ画像のフレームレートを、図１０の場合よりも高くすることができる。すなわち、図１１では、サブ画像のフレームレートは、図１０の場合のフレームレートの２倍のフレームレートである240fpsになっている。

以上、画素アレイ部４１のラインを対象に、シャッタ動作と読み出し動作、又は、シャッタ動作のみを行う制御について説明したが、シャッタ動作と読み出し動作、又は、シャッタ動作のみを行う制御は、ラインの他、１画素や、任意の複数の画素を対象に行うことができる。

すなわち、画素アレイ部４１の画素のうちの、メイン画像及びサブ画像を構成する画素を、画素信号の読み出しを行う読み出し対象画素として、読み出し対象画素については、シャッタ動作とみ出し動作とを行い、読み出し対象画素以外の非読み出し対象画素については、シャッタ動作のみを行うことができる。

また、本実施の形態では、メイン画像が、画素アレイ部４１の奇数ライン（の画素）の少なくとも一部で構成され、サブ画像が、画素アレイ部４１の偶数ライン（の画素）の少なくとも一部で構成されることとしたが、メイン画像やサブ画像の構成は、これに限定されるものではない。

すなわち、例えば、メイン画像は、画素アレイ部４１の第１ライン、第２ライン、第４ライン、第５ライン、第７ライン、第８ライン、・・・の少なくとも一部で構成し、サブ画像は、画素アレイ部４１の第３ライン、第６ライン、第９ライン、・・・の少なくとも一部で構成することができる。

さらに、例えば、メイン画像は、画素アレイ部４１のチェック模様状の位置の画素の少なくとも一部で構成し、サブ画像は、残りの位置の画素の少なくとも一部で構成することができる。

＜イメージセンサの使用例＞

図１２は、上述のイメージセンサ２を使用する使用例を示す図である。

上述したイメージセンサ２は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
制御を行う制御部と
を備えるイメージセンサ。
＜２＞
前記第２の画像は、前記第１の画像よりも画角が小さい画像である
＜１＞に記載のイメージセンサ。
＜３＞
前記第２の画像は、前記第１の画像よりも、垂直方向の画角が小さい画像である
＜１＞又は＜２＞に記載のイメージセンサ。
＜４＞
前記制御部は、
前記画素アレイ部の画素のうちの、前記第１の画像及び前記第２の画像の画素のラインを、前記画素信号の読み出しを行う読み出し対象ラインとして、
前記読み出し対象ラインについて、前記シャッタ動作と、前記読み出し動作とを行い、
前記読み出し対象ライン以外の非読み出し対象ラインについて、前記シャッタ動作のみを行う
制御を行う
＜１＞ないし＜３＞のいずれかに記載のイメージセンサ。
＜５＞
前記第１の画像は、前記画素アレイ部の画素の偶数ライン及び奇数ラインのうちの一方のラインで構成され、
前記第２の画像は、前記偶数ライン及び奇数ラインのうちの他方のラインで構成され、前記第１の画像よりも、垂直方向の画角が小さい画像であり、
前記他方のラインについては、前記第２の画像を構成するラインの画素の画素信号のAD(Analog to Digital)変換の終了後に、AD変換を停止するように構成された
＜１＞ないし＜４＞のいずれかに記載のイメージセンサ。
＜６＞
前記第１の画像は、前記画素アレイ部の画素の偶数ライン及び奇数ラインのうちの一方のラインで構成され、
前記第２の画像は、前記偶数ライン及び奇数ラインのうちの他方のラインで構成され、前記第１の画像よりも、垂直方向の画角が小さい画像であり、
前記他方のラインについては、前記第２の画像を構成するラインの画素の画素信号のAD(Analog to Digital)変換の終了後に、さらに、AD変換を行うように構成された
＜１＞ないし＜４＞のいずれかに記載のイメージセンサ。
＜７＞
光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
処理方法。
＜８＞
光を集光する光学系と、
光を受光し、画像を撮影するイメージセンサと
を備え、
前記イメージセンサは、
光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部と、
前記画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
制御を行う制御部と
有する
電子機器。

１ 光学系， ２ イメージセンサ， ３ メモリ， ４ 信号処理部， ５ 出力部， ６ 制御部， ４１ 画素アレイ部， ４２ 行制御部， ４３ 列処理部， ４４ 画素駆動線， ４５ VSL， ５０ 画素， ６１ PD， ６２ 転送トランジスタ， ６３ FD， ６４ リセットトランジスタ， ６５ 増幅トランジスタ， ６６ 選択トランジスタ

Claims (8)

1. 光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部と、
   前記画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
   前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
   前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
   制御を行う制御部と
   を備えるイメージセンサ。
2. 前記第２の画像は、前記第１の画像よりも画角が小さい画像である
   請求項１に記載のイメージセンサ。
3. 前記第２の画像は、前記第１の画像よりも、垂直方向の画角が小さい画像である
   請求項２に記載のイメージセンサ。
4. 前記制御部は、
   前記画素アレイ部の画素のうちの、前記第１の画像及び前記第２の画像の画素のラインを、前記画素信号の読み出しを行う読み出し対象ラインとして、
   前記読み出し対象ラインについて、前記シャッタ動作と、前記読み出し動作とを行い、
   前記読み出し対象ライン以外の非読み出し対象ラインについて、前記シャッタ動作のみを行う
   制御を行う
   請求項３に記載のイメージセンサ。
5. 前記第１の画像は、前記画素アレイ部の画素の偶数ライン及び奇数ラインのうちの一方のラインで構成され、
   前記第２の画像は、前記偶数ライン及び奇数ラインのうちの他方のラインで構成され、前記第１の画像よりも、垂直方向の画角が小さい画像であり、
   前記他方のラインについては、前記第２の画像を構成するラインの画素の画素信号のAD(Analog to Digital)変換の終了後に、AD変換を停止するように構成された
   請求項４に記載のイメージセンサ。
6. 前記第１の画像は、前記画素アレイ部の画素の偶数ライン及び奇数ラインのうちの一方のラインで構成され、
   前記第２の画像は、前記偶数ライン及び奇数ラインのうちの他方のラインで構成され、前記第１の画像よりも、垂直方向の画角が小さい画像であり、
   前記他方のラインについては、前記第２の画像を構成するラインの画素の画素信号のAD(Analog to Digital)変換の終了後に、さらに、AD変換を行うように構成された
   請求項４に記載のイメージセンサ。
7. 光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
   前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
   前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
   処理方法。
8. 光を集光する光学系と、
   光を受光し、画像を撮影するイメージセンサと
   を備え、
   前記イメージセンサは、
   光電変換を行う光電変換素子を有し、画素信号を出力する複数の画素が配列された画素アレイ部と、
   前記画素アレイ部の画素のうちの、所定の画素で構成される第１の画像と、他の所定の画素で構成される第２の画像とを撮影するときに、前記第１の画像及び前記第２の画像を構成する画素を、前記画素信号の読み出しを行う読み出し対象画素として、
   前記読み出し対象画素について、前記光電変換素子に蓄積された電荷を排出するシャッタ動作と、前記画素信号を読み出す読み出し動作とを行い、
   前記読み出し対象画素以外の非読み出し対象画素について、前記シャッタ動作のみを行う
   制御を行う制御部と
   有する
   電子機器。

Images