JP4833213B2 - 撮像データ処理装置、撮像データ処理方法および撮像素子 - Google Patents

Description

本発明は、ＭＯＳ型の固体撮像素子を用いた撮像装置、撮像方法、および、撮像素子に関する。

近年、デジタルカメラやビデオカメラ等のように、映像を撮影し、保存する用途に使用する撮影装置には、撮影対象からの光を電気信号に変える素子として固体撮像素子（イメージセンサ）が用いられている。固体撮像素子は、主にＣＣＤ型撮像素子とＭＯＳ型撮像素子に分けられているが、現在の主流はＣＣＤ型撮像素子である。その理由として、ＣＣＤ型撮像素子はダイナミックレンジが広い、映像の同時性を保ちやすい、等の特徴があることが上げられる。しかし、ＣＣＤ型撮像素子は消費電力が大きい、多種の電源電圧が必要等の短所もあり、今後これらのことが大きく改善されることは難しいと考えられる。

それに対してＭＯＳ型撮像素子は、ＣＣＤ型撮像素子と比べて、ダイナミックレンジが狭く、ノイズに弱い、等の欠点があるが、最近の研究によりこれらの欠点は改善されてきている。さらに、ＣＭＯＳ型撮像素子は、ＣＣＤ型撮像素子が持たない多くの利点、例えば、低消費電力、画素の読み出し順番を自由に設定できる等の利点を持っている。また、製造方法においてもＣＭＯＳ ＬＳＩと同じ製造装置、材料を用いることができるので、現在ＣＭＯＳ ＬＳＩを製造している設備をそのまま使用することができ、製造コストの削減を図れる。このようにＣＭＯＳ型撮像素子は多くの利点を持っており、最近注目されている撮像素子である。

固体撮像素子が、デジタルスチルカメラ、ビデオカメラ、携帯電話などに搭載されて、画像や映像を撮影する際、次のような手順で画像を作成する。
（ａ）ＣＣＤ又はＭＯＳセンサで得られた電気信号を、センサの一番端から１画素ごとに１ライン読み出して、比較的安価なＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等のメモリに一時記憶させる。
（ｂ）１ラインの読み出しと、ＳＤＲＡＭへの書き込みが終了すれば、次に２ライン３ラインと繰り返してゆき、１フレーム分をＳＤＲＡＭに書き込む。
（ｃ）次に、そのＳＤＲＡＭから信号を読み出して、拡大又は縮小等のズーム処理などの信号処理演算を行い、演算後のデータを再びＳＤＲＡＭに一時記憶させる。
（ｄ）その後、ＳＤＲＡＭから上記演算後のデータを読み出して圧縮処理を施して記録に適したＪＰＥＧ等の圧縮データに変換し、それを再びＳＤＲＡＭに一時記憶させる。
（ｅ）そして、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御等により高速にＳＤＲＡＭから上記圧縮データを読み出して外部の半永久保存メモリへ出力する。

近年、デジタルスチルカメラ（ＤＳＣ）で撮影される画像の画素数は増加の一途をたどっており、最近では１，６００万画素以上の解像度を持つデジタルスチルカメラも出現し、比較的廉価なデジタルカメラでも３００万〜５００万画素の解像度を持っている。

一方、ビデオカメラにおいては、１秒間に３０コマから６０コマの画像を撮影して、それを連続して表示することで動画像を出力しているが、１コマの画像はＶＧＡサイズで６４０×４８０＝３０７，２００画素、ハイビジョン（ＨＤ）サイズでも１，９２０×１，０８０＝２，０７３，６００画素の解像度である。

ビデオカメラで用いられる撮像素子は、ＶＧＡサイズの動画を撮影する場合で３０万画素程度の解像度を持ち、かつ、１秒間に３０コマ以上の撮影が可能な素子で十分であるのだが、家庭用ビデオカメラにおいては、ビデオカメラで２００〜３００万画素の静止画を撮影する要望も高いため、高解像度の撮像素子を用いてビデオカメラを構成し、動画撮影時と静止画撮影時で切り替えて画像の撮像を行なう構成となっている。

特開２００２−２５１８１９

動画撮影中は、例えばフレームレートが１／３０秒のときは、１／３０秒以内に１フレームの画素データを読み出さなければならない。しかし、高精細な静止画を構成する数メガピクセルの画素データを１／３０秒以内に読み出すことは困難であった。

本発明にかかる撮像データ処理装置は、２次元配列された画素を有し、各画素から光電変換したアナログデータを出力する撮像部と、前記アナログデータをデジタルデータに変換するＡ／Ｄコンバータと、前記デジタルデータに基づき動画処理を行う動画処理部と、前記デジタルデータに基づき静止画処理を行う静止画処理部と、前記Ａ／Ｄコンバータから動画処理部にデータを送る第１経路と、前記Ａ／Ｄコンバータから静止画処理部にデータを送る第２経路と、前記第２経路に、Ａ／Ｄコンバータで発生したデジタルデータを蓄積するメモリとを備える。

本発明にかかる撮像データ処理装置において、更に、前記第１経路に、Ａ／Ｄコンバータで発生したデジタルデータについて、画素間引きを行う、画素間引き部を備える。

本発明にかかる撮像データ処理装置において、前記Ａ／Ｄコンバータは、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータ（Ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力に接続されるスケーリング処理部を有し、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第Ｎのチャンネル線に接続され、前記撮像部にある画素は、Ｎ画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第Ｎブロックに含まれる画素は、第Ｎチャンネルの線に接続される。

本発明にかかる撮像データ処理装置において、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力は、更にメモリに接続される。

本発明にかかる撮像素子は、２次元配列された画素を有し、各画素から光電変換したアナログデータを出力する撮像部と、前記アナログデータをデジタルデータに変換するＡ／Ｄコンバータと、前記Ａ／Ｄコンバータから、動画処理用としてのデジタルデータを第１出力端に送る第１経路と、前記Ａ／Ｄコンバータから、静止画処理用としてのデジタルデータを第２出力端に送る第２経路と、前記第２経路に、Ａ／Ｄコンバータで発生したデジタルデータを蓄積するメモリとを備えた、単一ＬＳＩチップで構成する。

本発明にかかる撮像素子において、更に、前記第１経路に、Ａ／Ｄコンバータで発生したデジタルデータについて、画素間引きを行う、画素間引き部を備える。

本発明にかかる撮像素子において、前記Ａ／Ｄコンバータは、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータ（Ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力に接続されるスケーリング処理部を有し、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第Ｎのチャンネル線に接続され、前記撮像部にある画素は、Ｎ画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第Ｎブロックに含まれる画素は、第Ｎチャンネルの線に接続される。

本発明にかかる撮像素子において、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力は、更にメモリに接続される。

上記、解決の手段を用いることで、動画撮影中に、動画撮影で得られる１フレームの画像の数倍の解像度を持つ静止画を、動画撮影を停止することなく、撮影することが可能となる。

動画撮影中に動画撮影を停止することなく高精細な静止画を撮影するほかの方法として、画素データの出力レートを上げたり、画素データの出力端子を多数用意したりすることも考えられるが、レートの増加に伴う消費電力の大幅な増加や、ＬＳＩの端子を増やすことによるコスト増、実装が困難になることなどの弊害もある。本発明を用いれば、これらの問題点をすべて解決して動画撮影中に動画撮影を停止することなく高精細な静止画を撮影することが可能となる。

（第１の実施の形態）
図１は、第１の実施の形態の撮像データ処理装置を示す。

撮像データ処理装置は、撮像素子２と、センサコントローラ２０と、動画処理部２２ａと、静止画処理部２２ｂで構成される。

撮像素子２は、光を電荷に変換する撮像部４と、撮像部４から出力された電荷をデジタルデータに変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６で発生したデジタルデータを時間的に間引く画素間引き部８と、Ａ／Ｄコンバータ６で発生したデジタルデータを一時的に蓄積するメモリ１０と、メモリの制御を行うメモリコントローラ１２を有する。
撮像部４は、画素が２次元方向、すなわち直交する２方向（Ｘ方向、Ｙ方向）に配列されており、横１９２０画素、縦１４４０画素、合計２，７６４，８００画素で構成されている。撮像素子２は、単一のＬＳＩチップで構成されるので、イメージセンサーＬＳＩ２とも言う。

イメージセンサーＬＳＩ２には、センサコントローラ２０と、動画処理部２２ａと、静止画処理部２２ｂが接続されている。動画処理部２２ａと、静止画処理部２２ｂは、別々のＬＳＩで設けることもできるし、一体構成のＬＳＩで設けることもできる。動画処理部２２ａでは、例えばＭＰＧＥ等の動画処理が行われ、静止画処理部２２ｂでは、例えばＪＰＥＧ等の静止画処理が行われる。センサコントローラ２０は、撮像開始信号Ｓ１、撮像データ読み出し信号Ｓ２、静止画撮像指示信号Ｓ３、静止画出力指示信号Ｓ４を生成し、これらの信号はイメージセンサーＬＳＩ２に入力される。撮像開始信号Ｓ１、撮像データ読み出し信号Ｓ２は、撮像部２を制御する。すなわち、撮像開始信号Ｓ１が入力されると、撮像部２は光の強さを電気信号に変換し、その電気信号を画素毎に蓄積する。撮像データ読み出し信号Ｓ２が入力されると、撮像部２の画素毎に蓄積された電気信号を撮像部４の外部へ出力する。撮像部から読み出された画素毎の電気信号は、Ａ／Ｄコンバータ６に入力され、デジタル信号に変換される。

図２は、撮像部４内の画素３０の構造と、画素に蓄積された電気信号データが読み出される順番を表したものである。各画素の上には色フィルタが配置されており、原色フィルタがベイヤー配列で配置されている。ベイヤー配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタが図２のように格子状にＲ、Ｇｒ、Ｇｂ、Ｂのように配置されており、カラー画像を撮像する際の一般的な配列である。ここで、Ｇｒは、赤画素と緑画素が含まれるＸ方向の行に存在する緑の画素を示し、Ｇｂは、青画素と赤画素と緑画素が含まれるＸ方向の行に存在する緑の画素を示す。

色フィルタの配列は、原色フィルタのベイヤー配列のほかに、補色フィルタを市松模様状に配置する方法等も一般的であるが、どの色フィルタの配列でも採用は可能である。

撮像部４内の画素から読み出されたデータは、図２の矢印で示す順番でＡ／Ｄコンバータ６に入力され、Ａ／Ｄコンバータ６でデジタル信号に変換される。Ａ／Ｄコンバータ６から出力されたデジタル化された画素データは、この順番のまま画素間引き部８に入力される。画素間引き部８では、同色のとなり合う４画素のうち、左上にある１画素のみを出力し、残りの３画素は間引きデータとして出力をしない。例えば１行目左端の赤（Ｒ）画素を最初の画素として説明すると、最初のＲ画素に対し、これから処理される方向にあり、最も近い３つのＲ画素は、１行目の３番目のＲ画素と、３行目の１番目のＲ画素と、３行目の３番目のＲ画素である。これら３画素と、最初のＲ画素を含めた４画素の内、左上にある１画素、この場合は最初のＲ画素のみのデータを出力し、他の３画素からのデータは、破棄する。これにより、全画素から１／４の画素に間引きが行われる。画素間引き部８により１フレームの画素数は、横９６０、縦７２０画素となり、動画像を作成する上で適切な画素数となる。

なお、画素間引き部８は、全画素から１／４の画素に間引きを行う説明をしたが、他の割合の間引き、例えば、１／９，１／１６，・・・，１／ｎ^２（ｎは正の整数）の画素に間引くことも可能である。更に、広く言えば、画素間引き部８は、１／Ｎ（Ｎは正の整数）の画素に間引くことも可能である。

画素間引き部８から出力されたデータは、撮像データ出力端子１４を通してイメージセンサーＬＳＩ２から出力され、動画処理部２２ａで動画処理が行なわれる。

以上の動作は、動画像の１フレーム期間、例えば１／３０秒以内に行なわれ、撮像データ出力端子１４から出力される動画像が１／３０秒で１つのフレームを形成できる。

このとき、撮像データ出力端子１４からは１秒間に２０，７３６，０００個（２，７６４，８００×３０／４）の画素データが出力される。つまり、撮像データ出力端子１４を通した外部とのインターフェースには２０．８ＭＨｚ程度でよいことがわかる。

また、Ａ／Ｄコンバータ６が出力した信号は、イメージセンサーＬＳＩ内にあるメモリ１０にも送られる。

静止画を捕らえるためのシャッターボタン（図示せず）を押すと、センサコントローラ２０から静止画撮像指示信号Ｓ３のパルスが出力される。イメージセンサーＬＳＩ２に静止画撮像指示信号Ｓ３のパルスが入力されると、メモリコントローラ１２は、Ａ／Ｄコンバータ６からの画素データをメモリ１０に格納するようにメモリを制御し、撮像部４から出力される全ての画素のデータを格納する。

静止画撮像指示信号Ｓ３のパルスが発せられ、撮像部４内にある全ての画素のデータをメモリ１０内に格納したら、静止画出力指示信号Ｓ４のパルスにより、メモリ１０内に格納された１画面分の画素データを読み出す。すなわち、静止画撮像指示信号Ｓ３及び静止画出力指示信号Ｓ４は、メモリ１０の書き込み読み出しを制御する。メモリ１０に格納された画素データは、メモリデータ出力端子１６を通してイメージセンサーＬＳＩ２から出力される。メモリデータ出力端子１６のインターフェースが、撮像データ出力端子１４のインターフェースと同様に、２０．８ＭＨｚで動作すると、１画面分の画素データを出力するのに、０．１３３秒（２，７６４，８００／２０，８００，０００）かかる。

図３にイメージセンサーＬＳＩ２における信号のタイムチャートを示す。１フレーム期間は連続する２つのフレーム間ブランキング信号ＦＢのパルス間隔、例えば１／３０秒であり、その間に１フレーム分の画素データが撮像部４から出力される。撮像データ出力端子１４からは、撮像部から出力された画素データ４画素につき１画素出力される。

撮像データ出力端子１４から動画用の画素データが出力されている期間において、静止画撮像指示信号Ｓ３のパルスが入力されれば、次に最初に現れるフレーム間ブランキング信号ＦＢのパルスにより、メモリ１０に画素データの格納を開始する。すなわち、画素データのメモリ１０への格納は、フレーム間ブランキング信号に同期して行われる。

１フレーム時間内でメモリ１０内に格納された画素データは、静止画出力指示信号Ｓ４が発せられると、メモリ１０内に格納された画素データの出力を開始する。このとき画素データはメモリデータ出力端子１６から出力される。メモリ１０内に格納されたデータは、次のデータが格納されるまで保持されるので、メモリデータ出力端子１６からの画素データの出力は、外部とのインターフェースに応じて自由にタイミングを設定することが可能である。図３のタイムチャートでは、撮像データ出力端子１４と同じ出力レート（２０．８ＭＨｚ）で出力を行なっている例が示されている。
本発明の一つの特徴は、動画処理と、静止画処理を並行して行う撮像データ処理方法において、動画処理のためフレーム毎に同期信号ＦＢを出力し、同期信号ＦＢに同期してＡ／Ｄコンバータからフレーム毎のデジタルデータを出力し、静止画撮影のための静止画撮像指示信号Ｓ３が出力されたときは、静止画撮像指示信号Ｓ３が出力された後に出力される同期信号に同期して、Ａ／Ｄコンバータからデジタルデータがメモリへ送られ蓄積を開始することである。
また、メモリへ送られるデジタルデータは、動画処理部に送られるデジタルデータよりも、画素密度が高いデジタルデータである。

この例では、静止画出力指示信号Ｓ４の発生に応答して、メモリ１０内に格納された画素データを出力したが、１フレーム分の画素データをメモリ内に格納してすぐ、もしくは一定の時間をおいて自動的にメモリデータ出力端子１６から出力を行なうような制御にしてもよい。この場合は、静止画出力指示信号Ｓ４は不要である。また、２ポートＲＡＭなどを使うことで、画素データのメモリ１０への格納が完了する前にメモリ１０内のデータの出力を行なうことも可能である。

以上より明らかなように、イメージセンサーＬＳＩ２内において、Ａ／Ｄ変換された画素データは、画素間引き部８と撮像データ出力端子１４で構成する第１経路Ｌ１を介して、動画データが出力されると共に、Ａ／Ｄ変換された画素データは、メモリ１０とメモリデータ出力端子１６で構成する第２経路Ｌ２を介して、静止画データが出力される。また、メモリ１０への画素データの格納は、画素間引き部８において、画素間引きが実行されている期間であっても良いし、画素間引きが実行されていない期間であっても良い。このようにメモリ１０をイメージセンサーＬＳＩ２内に設けたので、第１経路Ｌ１に画素データが送り出され、動画処理がなされている期間であっても、第２経路Ｌ２にあるメモリ１０に静止画データを格納することができる。
（第２の実施の形態）
図４は、第２の実施の形態の撮像データ処理装置を示す。

撮像データ処理装置は、撮像素子５２と、センサコントローラ７０と、動画処理部７２ａと、静止画処理部７２ｂで構成される。

撮像素子５２は、光を電荷に変換する撮像部５４と、撮像部５４から出力された電荷をデジタルデータに変換する４つのＡ／Ｄコンバータ５６ａ，５６ｂ，５６ｃ，５６ｄと、Ａ／Ｄコンバータ５６ａ，５６ｂ，５６ｃ，５６ｄで発生したデジタルデータを加算する画素値加算部５８と、Ａ／Ｄコンバータ５６ａ，５６ｂ、５６ｃ、５６ｄで発生したデジタルデータを蓄積するメモリ６０と、メモリの制御を行うメモリコントローラ６２を有する。撮像素子５２は、単一のＬＳＩチップで構成されるので、イメージセンサーＬＳＩ５２とも言う。

イメージセンサーＬＳＩ５２には、センサコントローラ７０と、動画処理部７２ａと、静止画処理部７２ｂが接続されている。動画処理部７２ａと、静止画処理部７２ｂは、第１の実施の形態と同様に構成される。センサコントローラ７０も第１の実施の形態と同様に構成される。

撮像開始信号Ｓ１が入力されると、撮像部５４は光の強さを電気信号に変換し、その電気信号を蓄積する。撮像データ読み出し信号Ｓ２が入力されると、撮像部２に蓄積された電気信号を画素毎に撮像部５４の外部へ出力する。撮像部から読み出された画素毎の電気信号は、Ａ／Ｄコンバータ５６ａ，５６ｂ，５６ｃ，５６ｄに入力され、デジタル信号に変換される。

図４のイメージセンサーＬＳＩ５２内にある撮像部５４は、画素読み出しチャネルが４チャネルあり、４画素を同時に読み出すことが可能である。撮像部５４の詳細を図５で示す。

図５において、撮像部５４は画素が２次元方向、すなわち直交する２方向（Ｘ方向、Ｙ方向）に配列されており、第１の実施の形態と同様に、その上に原色の色フィルタがベイヤー配列で配置されている。ここで、Ｘ方向を行と言い、Ｙ方向を列という。

直交する２方向に配列された画素は、２×２の４画素を一つのブロックとして、複数のブロックにまとめられている。従って、ブロックも、直交する２方向（Ｘ方向、Ｙ方向）に配列される。配列されたブロックの内、１行目の奇数番目（１番目、３番目、５番目、・・・）のブロックに含まれる画素は、チャンネル０の線に接続される。１行目の偶数番目（２番目、４番目、６番目、・・・）のブロックに含まれる画素は、チャンネル１の線に接続される。２行目の奇数番目（１番目、３番目、５番目、・・・）のブロックに含まれる画素は、チャンネル２の線に接続される。２行目の偶数番目（２番目、４番目、６番目、・・・）のブロックに含まれる画素は、チャンネル３の線に接続される。すなわち、奇数行の奇数番目のブロックに含まれる画素は、チャンネル０の線に、奇数行の偶数番目のブロックに含まれる画素は、チャンネル１の線に、偶数行の奇数番目のブロックに含まれる画素は、チャンネル２の線に、偶数行の偶数番目のブロックに含まれる画素は、チャンネル３の線に、接続される。

各ブロック内の４画素が読み出される順番は、左上（Ｒ）、右上（Ｇｒ）、左下（Ｇｂ）、右下（Ｂ）の順番、すなわち１行目の左、右、続いて２行目の左、右の順番である。ここで、カッコで示した色は一例であり、これに限る物ではない。また、ブロック単位で言う１行目の１番目と２番目のブロック、２行目の１番目と２番目のブロック、計４つのブロックに含まれる画素データが、並行して、４つのチャンネル０，１，２，３の線を介して読み出される。続いて、１行目の３番目と４番目のブロック、２行目の３番目と４番目のブロック、計４つのブロックに含まれる画素データが、並行して読み出される。このようにして、１行目と２行目のブロックが左端から右端に向かって２つずつ、順番に読み出される。続いて３行目と４行目のブロックが左端から右端に向かって２つずつ、順番に読み出される。

なお、２×２の４画素を一つのブロックとして説明したが、３×３の９画素、４×４の１６画素、・・・、ｎ×ｎのｎ^２画素（ｎは正の整数）を一つのブロックとすることも可能である。更に広く言えば、Ｎ画素（Ｎは正の整数）を一つのブロックとすることも可能である。

次に画素値加算部５８について説明する。

まず、行方向、列方向に隣接する４つのブロックからの画素データは、それぞれブロックに接続された４つのチャンネル０，１，２，３の線を介して、画素値加算部５８に送られる。４つのブロックのそれぞれにおける左上の画素の画素値が画素値加算部５８に送られ、加算される。これらの４つの画素は最も近い同色の４画素である。画素値加算部５８では画素混合が行われるが、これは、単純な加算のみならず、加算された合計値を４で割った平均値を求めたり、加算前に重み付けを行ったりすることも可能である。画素混合が行われた加算値が、動画データとして画像処理部７２ａに送られる。画素値加算部５８は、画素混合を行うので、画素混合部とも言う。続いて、４つのブロックのそれぞれにおける右上の画素からの画素値が画素値加算部５８に送られ、加算され、同様に処理される。更に、４つのブロックのそれぞれにおける左下の画素からの画素値が画素値加算部５８に送られ、加算され、同様に処理される。そして、４つのブロックのそれぞれにおける右下の画素からの画素値が画素値加算部５８に送られ、加算され、同様に処理される。画素加算部５８の代わりに、４つのチャンネル０，１，２，３の内、ひとつのチャンネルを選択するセレクタを用いても良い。画素加算部とセレクタは、いずれも４画素のデータを１画素のデータにまとめるので、いずれもスケーリング処理部という。

次に、メモリ６０について説明する。

各チャネルのＡ／Ｄ変換後の出力はメモリ６０にも加えられる。メモリコントローラ６２が静止画撮像指示信号Ｓ３のパルスを受けると、全ての画素データをメモリ６０に格納する。次に、静止画出力指示信号Ｓ４のパルスを受けると、メモリ６０に格納された１画面の画素データ全てを、メモリデータ出力端子６６から出力し、静止画処理部７２ｂに送る。メモリデータ出力端子６６からの出力は、メモリ６０に画素データが格納された後、一定期間経過後、自動的に行うようにしても良いし、動画処理部７２ａの動画処理の空き時間に行うようにしても良い。

図６に第２の実施の形態のタイムチャートを示す。チャネル０，１，２，３には同じタイミングで画素データが伝送される。撮像データ出力端子６４からは、同じタイミングで得られた画素データを加算して１つのデータにして出力している。

静止画撮像指示信号Ｓ３のパルスを受けた後、第１の実施の形態と同様に、次の新しいフレーム期間が開始した後、４つのＡ／Ｄコンバータからの画素データをメモリに格納し始め、撮像部５４の１画面からの画素データ全てをメモリに格納する。図６では、メモリに入力する画素データ４チャンネル分をシリアルにして撮像部の出力チャネルの４倍のサイクルでメモリに入力しているが、画素データ４チャンネル分をパラレルにして、出力チャネルと同じサイクルで入力することも可能である。

第２の実施の形態を一般的に説明すると、Ａ／Ｄコンバータとして、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ｎ^２Ａ／Ｄコンバータ（ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ｎ^２Ａ／Ｄコンバータの出力にスケーリング処理部５８が接続される。第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ｎ^２Ａ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第ｎ^２のチャンネル線に接続される。また、撮像部にある画素３０は、ｎ^２画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第ｎ^２ブロックに含まれる画素は、第ｎ^２チャンネルの線に接続される。更に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ｎ^２Ａ／Ｄコンバータの出力は、更にメモリに接続される。
更に、第２の実施の形態を広く説明すると、Ａ／Ｄコンバータとして、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータ（Ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力にスケーリング処理部５８が接続される。第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第Ｎのチャンネル線に接続される。また、撮像部にある画素３０は、Ｎ画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第Ｎブロックに含まれる画素は、第Ｎチャンネルの線に接続される。更に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力は、更にメモリに接続される。

以上より明らかなように、イメージセンサーＬＳＩ５２内において、Ａ／Ｄ変換された画素データは、スケーリング処理部である画素加算部５８と撮像データ出力端子６４で構成する第１経路Ｌ１を介して、動画データが出力されると共に、Ａ／Ｄ変換された画素データは、メモリ６０とメモリデータ出力端子６６で構成する第２経路Ｌ２を介して、静止画データが出力される。また、メモリ６０への画素データの格納は、画素加算部５８において、画素加算が実行されている期間であっても良いし、画素加算が実行されていない期間であっても良い。このようにメモリ６０をイメージセンサーＬＳＩ５２内に設けたので、第１経路Ｌ１に画素データが送り出され、動画処理がなされている期間であっても、第２経路Ｌ２にあるメモリ６０に静止画データを格納することができる。

更に、以上より明らかなように、撮像部５４から読み出される画素データは、４つのチャネルから同時に４画素分のデータが読み出され、それらは隣り合う同色の画素データになる。撮像部からの出力は４つのＡ／Ｄコンバータに送られ、画素データはデジタルのデータに変換される。４つのＡ／Ｄコンバータからはそれぞれ同時に画素データが出力される。Ａ／Ｄコンバータの出力は、画素値加算部５８において、同じ時間に得られた隣り合う同色の画素が加算される。画素値加算部５８で加算された画素データは、撮像データ出力端子を通して外部に出力される。こうすることで、全画素読み出しで得られた画素データ全てをイメージセンサＬＳＩ５２から出力することなく、画素加算されたデータを得ることができ、折り返しひずみの少ない画像を得ることができる。また、外部とのインターフェースの周波数も小さくすることができ、回路の設計を容易にし、消費電力を下げることも可能となる。

以上説明した装置を用いることで、動画撮影中に動画から得られる１フレームの画像を間引くことなく、撮像部で撮像したままの画素数の画像データを持つ静止画、上述した実施の形態の説明では４倍の解像度を持つ静止画を、動画撮影を停止することなく、撮影することが可能となる。

本発明は、個体撮像素子に利用可能である。

第１の実施の形態のブロック図である。 第１の実施の形態の撮像部の概略図である。 第１の実施の形態の撮像素子における信号の波形図である。 第２の実施の形態のブロック図である。 第２の実施の形態の撮像部の概略図である。 第２の実施の形態の撮像素子における信号の波形図である。

符号の説明

２，５２：撮像素子
４，５４：撮像部
６，５６ａ，５６ｂ，５６ｃ，５６ｄ：Ａ／Ｄコンバータ
８：画素間引き部
１０，６０：メモリ
１２，６２：メモリコントローラ
２０，７０：センサコントローラ
２２ａ，７２ａ：動画処理部
２２ｂ，７２ｂ：静止画処理部

Claims (8)

1. ２次元配列された画素を有し、各画素から光電変換したアナログデータを出力する撮像部と、
   前記アナログデータをデジタルデータに変換するＡ／Ｄコンバータと、
   前記デジタルデータに基づき動画処理を行う動画処理部と、
   前記デジタルデータに基づき静止画処理を行う静止画処理部と、
   前記Ａ／Ｄコンバータから動画処理部にデータを送る第１経路と、
   前記Ａ／Ｄコンバータから静止画処理部にデータを送る第２経路と、
   前記第２経路に、Ａ／Ｄコンバータで発生したデジタルデータを蓄積するメモリと、
   を備え、
   前記Ａ／Ｄコンバータは、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータ（Ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力に接続されるスケーリング処理部を有し、
   第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第Ｎのチャンネル線に接続され、
   前記撮像部にある画素は、Ｎ画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第Ｎブロックに含まれる画素は、第Ｎチャンネルの線に接続されることを特徴とする撮像データ処理装置。
2. 前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力は、更にメモリに接続されることを特徴とする請求項１記載の撮像データ処理装置。
3. 前記スケーリング処理部は、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力を加算する加算部であることを特徴とする請求項１記載の撮像データ処理装置。
4. 前記スケーリング処理部は、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力の内いずれかを選択するセレクタであることを特徴とする請求項１記載の撮像データ処理装置。
5. ２次元配列された画素を有し、各画素から光電変換したアナログデータを出力する撮像部と、
   前記アナログデータをデジタルデータに変換するＡ／Ｄコンバータと、
   前記Ａ／Ｄコンバータから、動画処理用としてのデジタルデータを第１出力端に送る第１経路と、
   前記Ａ／Ｄコンバータから、静止画処理用としてのデジタルデータを第２出力端に送る第２経路と、
   前記第２経路に、Ａ／Ｄコンバータで発生したデジタルデータを蓄積するメモリと、
   を備え、
   前記Ａ／Ｄコンバータは、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータ（Ｎは正の整数）を含むと共に、第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力に接続されるスケーリング処理部を有し、
   第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの入力は、それぞれ、第１のチャンネル線、第２のチャンネル線、・・・、第Ｎのチャンネル線に接続され、
   前記撮像部にある画素は、Ｎ画素を含む複数のブロックに分けられ、第１ブロックに含まれる画素は、第１チャンネルの線、第２ブロックに含まれる画素は、第２チャンネルの線、・・・、第Ｎブロックに含まれる画素は、第Ｎチャンネルの線に接続されることを特徴とする単一ＬＳＩチップで構成する撮像素子。
6. 前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力は、更にメモリに接続されることを特徴とする請求項５記載の撮像素子。
7. 前記スケーリング処理部は、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力を加算する加算部であることを特徴とする請求項５記載の撮像素子。
8. 前記スケーリング処理部は、前記第１Ａ／Ｄコンバータ、第２Ａ／Ｄコンバータ、・・・、第ＮのＡ／Ｄコンバータの出力の内いずれかを選択するセレクタであることを特徴とする請求項５記載の撮像素子。

Images