JP2010199880A - 撮像装置 - Google Patents

Abstract

【課題】水平走査期間中の特定の期間にバスへの撮像データの転送要求が集中しないようにすることにより、効率的にバスを使用することが可能な撮像装置を提供すること。
【解決手段】撮像素子１０３からの撮像信号を前処理する前処理部１０４は平坦化部２０４を有している。平坦化部２０４は、撮像素子から出力される撮像信号のうちの有効位置に対応した撮像データが水平走査期間の特定の期間に集中してバスＩＦ２０５に入力されないように、Ａ/Ｄ変換部２０３から平坦化部２０４に書き込まれる撮像データの書き込みデータレートに対して、平坦化部２０４からバスＩＦ２０５に読み出される撮像データの読み出しデータレートを遅くする平坦化処理を行う。
【選択図】図２

Description

本発明は、撮像装置に関し、特に撮像装置における撮像信号の出力処理の効率化技術に関する。

近年、撮像装置に搭載される撮像素子の動作速度が高速化してきている。そして、この撮像素子の動作速度の高速化に伴って多数の画像を短時間で撮影可能となっている。このような連写枚数の増大に伴って、撮像素子の後段の画像処理部において処理しなければならない画像の数も増加している。

ここで、撮像素子における撮像から画像処理部における画像処理までの流れについて簡単に説明する。撮像素子から入力される撮像信号はデジタル化等の前処理が前処理部においてなされる。前処理部における前処理によって得られた撮像データは、バスに接続されたバスインターフェース（ＩＦ）内のバッファメモリに逐次保持される。そして、所定の量の撮像データがバッファメモリに保持されると、バスＩＦからバスに対して撮像データの転送要求が発行される。この転送要求を受けてバスから要求承認がなされると、バスＩＦ内のバッファメモリに保持された撮像データが、バスを経由してＤＲＡＭ等の記憶部に書き込まれる。その後、記憶部に記憶された撮像データは、画像処理部によって読み出されて各種の画像処理が施された後、記憶部に書き戻される。記憶部に書き戻された画像は所定の表示部に表示されたり、所定の記録媒体に記録されたりする。

連写された画像を表示部に逐次表示させる一連の処理において、バスは、前処理部から入力される撮像データを最優先に転送するように制御される。前処理部からの撮像データを優先して転送するようにしないと、リアルタイムの表示を行うことはできない。このため、画像処理部等は、前処理部からバスに対して撮像データの転送要求がなされていない期間のみ、バスを介して記憶部とアクセスすることが可能である。

ところで、一般には、撮像素子からの撮像信号は、特許文献１等に開示されているように、水平同期信号に同期して前処理部に順次入力される。ただし、水平走査期間中の一部の期間においては、撮像素子から、表示や記録に有効な撮像信号が入力されないブランキング期間となっている。このブランキング期間中は、前処理部からバスに対して撮像データの転送要求がなされないので、画像処理部等は記憶部とアクセスすることが可能である。

特開２００１−２０３９２５号公報

上述したように、従来の手法では、前処理部からバスへの撮像データの転送要求が水平走査期間の一部の期間に集中する。このため、撮像素子から有効な撮像信号が入力されている期間中においては、前処理部からの撮像データを転送するためにバスが占有されてバスの帯域が圧迫されてしまう。一方、撮像素子から有効な撮像信号が入力されていない期間中においては、画像処理部等がバスを使用できる。しかしながら、バスの帯域には不要な余裕ができてしまう。

以上のように、バスへの撮像データの転送要求が水平走査期間の一部の期間に集中してしまうと、バスの使用効率が低下してしまう。

本発明は、上記の事情に鑑みてなされたもので、水平走査期間中の特定の期間にバスへの撮像データの転送要求が集中しないようにすることにより、効率的にバスを使用することが可能な撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の第一態様の撮像装置は、撮像信号を出力する撮像部と、前記撮像信号を記憶するための第１の記憶部と、前記撮像部から所定量分の撮像信号の出力が行われる水平走査期間内で、前記撮像部から出力された所定量分の撮像信号を時間的に均等に前記第１の記憶部に記憶させる平坦化を行う平坦化部とを具備する。

本発明によれば、水平走査期間中の特定の期間にバスへの撮像データの転送要求が集中しないようにすることにより、効率的にバスを使用することが可能な撮像装置を提供することができる。

本発明の第１の実施形態に係る撮像装置の一例の構成を示す図である。 前処理部の構成を示す図である。 平坦化処理の概念を示す図である。 本発明の第１の実施形態における平坦化部の内部の構成を示す図である。 図４に示す平坦化部の動作を示すタイミングチャートである。 図６（ａ）は読み出しパターンの例を示す図であり、図６（ｂ）は図６（ａ）の読み出しパターンが設定された場合の平坦化部の動作を示す図である。 本発明の第２の実施形態における平坦化部の内部の構成を示す図である。 図７に示す平坦化部の動作を示すタイミングチャートである。 本発明の第３の実施形態における平坦化部の内部の構成を示す図である。 図９に示す平坦化部の動作を示すタイミングチャートである。 本発明の第４の実施形態における撮像素子の構成を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の一例の構成を示す図である。図１に示す撮像装置は、レンズ１０１と、シャッタ絞り１０２と、撮像素子１０３と、前処理部１０４と、バス１０５と、ＤＲＡＭ１０６と、画像処理部１０７と、圧縮伸長処理部１０８と、メモリインターフェース（ＩＦ）１０９と、記録媒体１１０と、表示制御部１１１と、表示部１１２と、マイクロコンピュータ１１３と、操作部１１４と、Ｆｌａｓｈメモリ１１５と、タイミングジェネレータ１１６とを有している。

レンズ１０１は、被写体の光学像を撮像素子１０３に集光させる。シャッタ絞り１０２は、レンズ１０１の近傍に設けられている。このシャッタ絞り１０２は、マイクロコンピュータ１１３の制御に従って、レンズ１０１から撮像素子１０３への光の入射量（撮像素子１０３の露光量）を調節するシャッタ兼用絞りである。勿論、シャッタと絞りとが別体として設けられていても良い。

撮像素子１０３は、フォトダイオード等の光電変換素子が２次元に配されて構成される受光面を有し、レンズ１０１により集光された光を電気信号（撮像信号）に変換して前処理部１０４へ出力する。なお、撮像素子１０３はＣＭＯＳ方式でもＣＣＤ方式でも良い。

ここで、撮像素子１０３は、ＴＧ１１６からの垂直同期信号ＶＤの入力によって１フレーム（若しくは１フィールド）分の撮像信号の出力処理の開始を認識する。そして、垂直同期信号ＶＤの入力後、撮像素子１０３は、ＴＧ１１６から水平同期信号ＨＤが入力される毎に所定量（例えば１ライン分）の撮像信号の出力処理を行う。この際、撮像素子１０３は、ＴＧ１１６からのクロック信号ＣＬＫに同期して１画素ずつ所定量分の撮像信号を出力する。なお、以降の説明において、この所定量の撮像信号の出力処理を行う期間を水平走査期間という。

前処理部１０４は、撮像素子１０３からの撮像信号に対して種々の前処理を施した後、前処理により得られるデジタル信号の撮像信号（以降、撮像データという）を、バス１０５を介してＤＲＡＭ１０６に転送する。前処理部１０４における処理は、ＴＧ１１６からの垂直同期信号ＶＤ、水平同期信号ＨＤ、クロック信号ＣＬＫに同期して行われる。

バス１０５は、撮像装置の内部で発生した各種データを撮像装置内の各ブロックに転送するための転送路である。このバス１０５は、前処理部１０４と、ＤＲＡＭ１０６と、画像処理部１０７と、圧縮伸長処理部１０８と、メモリＩＦ１０９と、表示制御部１１１と、マイクロコンピュータ１１３とに接続されている。バス１０５に対してデータの転送要求がなされた場合に、バス１０５は予め定められた優先度に従ってデータの転送を行う。

第１の記憶部としての機能を有するＤＲＡＭ１０６は、前処理部において得られた撮像データや、画像処理部１０７、圧縮伸長処理部１０８において処理された撮像データ等の各種データを記憶する。

画像処理部１０７は、バス１０５を介してＤＲＡＭ１０６から読み出した撮像データに対し、ホワイトバランス補正処理やノイズ低減処理等の各種の画像処理を施し、処理後の撮像データを、バス１０５を介してＤＲＡＭ１０６に記憶させる。画像処理部１０７における処理は、ＴＧ１１６からの垂直同期信号ＶＤ、水平同期信号ＨＤ、クロック信号ＣＬＫに同期して行われる。

圧縮伸長処理部１０８は、撮像データの記録時には、画像処理部１０７において処理された撮像データを、バス１０５を介してＤＲＡＭ１０６から読み出し、読み出した撮像データを例えばＪＰＥＧ方式に従って圧縮する。さらに、圧縮伸長処理部１０８は、撮像データの再生時には、記録媒体１１０に記録された圧縮済みの撮像データを、バス１０５を介してＤＲＡＭ１０６から読み出し、読み出した撮像データを伸長することも行う。

メモリＩＦ１０９は記録媒体１１０への撮像データの書き込み及び読み出しの制御を行う。記録媒体１１０は、例えば撮像装置に着脱可能なメモリカードからなる記録媒体であり、圧縮伸長処理部１０８において圧縮された撮像データ等が記録される。

表示制御部１１１は、ＤＲＡＭ１０６から撮像データを読み出して映像信号に変換し、変換した映像信号を表示部１１２に出力して表示部１１２における画像の表示を行う。表示部１１２は、例えばＴＦＴ液晶ディスプレイ等であり、表示制御部１１１からの映像信号に基づく画像を表示する。

マイクロコンピュータ１１３は、デジタルカメラ本体の各種シーケンスを統括的に制御する。このマイクロコンピュータ１１３には、操作部１１４、Ｆｌａｓｈメモリ１１５が接続されている。

操作部１１４は、ユーザが図１に示す撮像装置を操作するための各種の操作部材である。ユーザにより操作部１１４の何れかの操作部材が操作されることにより、マイクロコンピュータ１１３は、ユーザの操作に応じた各種シーケンスを実行する。Ｆｌａｓｈメモリ１１５は、撮像装置の動作に必要な各種パラメータを記憶している。また、Ｆｌａｓｈメモリ１１５は、マイクロコンピュータ１１３にて実行する各種プログラムも記憶している。マイクロコンピュータ１１３は、Ｆｌａｓｈメモリ１１５に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１５から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

ＴＧ１１６は、マイクロコンピュータ１１３からの制御信号に従って前処理部１０４、画像処理部１０７の動作タイミングを制御するための信号（垂直同期信号ＶＤ、水平同期信号ＨＤ、クロック信号ＣＬＫ）を生成する。

図２は、前処理部１０４の構成を示す図である。本実施形態における前処理部１０４は、上述した撮像データを生成する処理に加えて、前処理部１０４からバス１０５への撮像データの入力が水平走査期間中の特定の期間に集中しないように均すための処理（以降、平坦化処理という）を行う。

図２に示す前処理部１０４は、処理領域決定部２０１と、アナログ処理部２０２と、アナログ/デジタル（Ａ/Ｄ）変換部２０３と、平坦化部２０４と、バスインターフェース（ＩＦ）２０５とを有している。

処理領域決定部２０１は、クロック信号ＣＬＫをカウントすることにより、撮像素子１０３から入力される撮像信号のうちで前処理すべき撮像信号の位置を決定する。通常、撮像素子からの撮像信号はすべての画素からの撮像信号を表示や記録に使用できるわけではない。例えば、通常、撮像素子には、オプティカルブラックという遮光された画素が設けられている。オプティカルブラックは暗電流成分に相当する撮像信号を出力する画素であり、このオプティカルブラックからの暗電流成分に相当する撮像信号を他の撮像信号から差し引くことで、撮像信号における暗電流ノイズを除去することが可能である。このようなオプティカルブラックの撮像信号は表示や記録には使用されない。また、この他にもレンズ１０１のイメージサークル外の画素等は表示や記録に使用できない。処理領域決定部２０１は、表示や記録に使用される有効な撮像信号の位置を、前処理すべき撮像信号の位置として決定するために設けられている。処理領域決定部２０１によって決定された撮像信号の有効位置を示す信号は、アナログ処理部２０２、Ａ/Ｄ変換部２０３、平坦化部２０４にも入力される。

アナログ処理部２０２は処理領域決定部２０１によって決定された有効位置に対応した撮像信号に対して、相関二重サンプリング（ＣＤＳ）処理、ゲイン制御（ＡＧＣ）処理等のアナログ処理を施す。このアナログ処理部２０２は、クロック信号ＣＬＫに同期して撮像信号に対してのアナログ処理を施す。なお、ＣＤＳ処理は、処理領域決定部２０１を介して入力された撮像信号から、上述のオプティカルブラックからの撮像信号を差し引く処理である。また、ＡＧＣ処理は、Ａ/Ｄ変換部２０３のＡ/Ｄ変換レンジに合わせて撮像信号を増幅する処理である。

Ａ/Ｄ変換部２０３は、処理領域決定部２０１によって決定された有効位置に対応した撮像信号をＡ/Ｄ変換してデジタル信号の撮像データを生成する。このＡ/Ｄ変換部２０３は、クロック信号ＣＬＫに同期して撮像信号に対してのＡ/Ｄ変換処理を施す。

平坦化部２０４は、上述の平坦化処理を施す。この平坦化部２０４における平坦化処理については後述する。

バスＩＦ２０５は、平坦化部２０４から順次入力される有効位置に対応した撮像データを記憶できるバッファメモリを有している。このバッファメモリに撮像データが記憶される毎に、バスＩＦ２０５は、バス１０５に対して撮像データの転送要求を行う。バス１０５によって転送が許可された場合に、バスＩＦ２０５はバス１０５に撮像データを入力する。

次に、平坦化処理について説明する。図３は、平坦化処理の概念を示す図である。上述したように、水平走査期間において撮像素子１０３から前処理部１０４へは例えば１ライン分の撮像信号が順次入力される。そして、この前処理部１０４に入力された撮像信号は、アナログ処理部２０２、Ａ/Ｄ変換部２０３で順次処理され、平坦化部２０４に入力される。

ここで、上述したように、撮像素子１０３からの撮像信号はすべての信号を表示や記録に用いることができる訳ではなく、一部の撮像信号のみを表示や記録に用いることが可能である。この表示や記録に用いることができる有効位置に対応した撮像信号が撮像素子１０３から出力される期間を有効期間とすると、通常、有効期間は、図３に示すように水平走査期間の一部の期間に集中する。この有効期間以外の期間は、表示や記録に用いることができない無効な撮像信号が入力されるか、又は撮像信号が全く入力されない期間である。一般にこの期間はブランキング期間等と呼ばれている。

平坦化処理においては、Ａ/Ｄ変換部２０３から平坦化部２０４（ＳＲＡＭ３０１）への撮像データの書き込み速度（書き込みデータレート）に対して平坦化部２０４（ＳＲＡＭ３０１）からバスＩＦ２０５への撮像データの読み出し速度（読み出しデータレート）を遅くする処理を行うことで、水平走査期間において時間的に均等に、バスＩＦ２０５に撮像データが入力されるようにする。このような処理を行うことで、図３に示すように、ブランキング期間中においてもバスＩＦ２０５に撮像データが入力され、有効期間中にバスＩＦ２０５に入力する撮像データの量が減少する。これによって、有効位置に対応した撮像データがバスＩＦ２０５に入力される期間が水平走査期間の一部の期間に集中することがない。したがって、バスＩＦ２０５によるバス１０５への転送要求の間隔を広げることができる。結果として、バス１０５の帯域を有効に利用することが可能となる。

次に、平坦化部２０４の具体的な構成について説明する。図４は、第１の実施形態における平坦化部２０４の内部の構成を示す図である。図４に示す平坦化部２０４は、ＳＲＡＭ３０１と、書き込み用メモリコントローラ３０２と、読み出し用メモリコントローラ３０３とを有している。

第２の記憶部としての機能を有するＳＲＡＭ３０１は、Ａ/Ｄ変換部２０３において得られた有効位置に対応した撮像データを記憶する。このＳＲＡＭ３０１は、書き込み用メモリコントローラ３０２からのメモリ書き込み信号がイネーブルとなったときに、Ａ/Ｄ変換部２０３からの撮像データが書き込まれ、読み出し用メモリコントローラ３０３からのメモリ読み出し信号がイネーブルとなったときに、書き込まれた撮像データがバスＩＦ２０５によって読み出される。なお、ここでは第２の記憶部としてＳＲＡＭを用いているが、ラインメモリを用いても良い。

書き込み制御部としての機能を有する書き込み用メモリコントローラ３０２は、クロック信号ＣＬＫに同期してメモリ書き込み信号をイネーブル又はディスエーブルとすることにより、ＳＲＡＭ３０１への撮像データの書き込みを制御する。ここで、書き込み用メモリコントローラ３０２は、クロック信号ＣＬＫの１回の入力に対して１回だけＳＲＡＭ３０１に撮像データが書き込まれるように、即ち１クロックにつき１回だけメモリ書き込み信号がイネーブルとなるように、書き込みパターンが設定されている。

読み出し制御部としての機能を有する読み出し用メモリコントローラ３０３は、クロック信号ＣＬＫに同期してメモリ読み出し信号をイネーブル又はディスエーブルとすることにより、ＳＲＡＭ３０１からの撮像データの読み出しを制御する。ここで、本実施形態における読み出し用メモリコントローラ３０３は、読み出しパターンを設定するためのレジスタ３０３ａを有している。この読み出しパターンはマイクロコンピュータ１１３によって変更可能になされている。読み出し用メモリコントローラ３０３は、予めレジスタ３０３ａに設定された読み出しパターンに従って、読み出し信号のイネーブルとディスエーブルの切り替えを行う。ここで、読み出しパターンの設定は、読み出しイネーブルを示す「１」と読み出しディスエーブルを示す「０」とを所定のパターンでレジスタ３０３ａに設定することで行う。この際、読み出しパターンは、クロック信号ＣＬＫの複数回の入力に対して１回だけＳＲＡＭ３０１から撮像データが読み出されるように、即ち複数回のクロック信号ＣＬＫの入力に対して１回だけメモリ読み出し信号がイネーブルとなるように設定する。さらに、この際、有効位置に対応した撮像データの読み出しが次の水平走査期間における撮像データの書き込み開始のタイミングまでには終了するように、読み出しパターンを決定する。

図５は、図４に示す平坦化部の概念的な動作を示すタイミングチャートである。
図５に示すように、撮像素子１０３から出力される撮像信号における有効部分は、水平走査期間内の一部の期間（有効期間）のみである。書き込み用メモリコントローラ３０２は、有効位置に対応した撮像データが１クロックにつき１回だけＳＲＡＭ３０１に書き込まれるようにメモリ書き込み信号のイネーブルとディスエーブルとを切り替える。

一方、読み出し用メモリコントローラ３０３に対しては、複数クロックにつき１回だけＳＲＡＭ３０１から撮像データが読み出されるように読み出しパターンが設定されている。この読み出しパターンに従ってメモリ読み出し信号のイネーブルとディスエーブルとを切り替える。上述したように、有効位置に対応した撮像データの読み出しは、次の水平走査期間における撮像データの書き込み開始のタイミング（図示Ａのタイミング）までには終了させるようにする。

以上のように、第１の実施形態では、図５に示すようにして、平坦化部２０４への撮像データの書き込み速度（書き込みデータレート）に対して平坦化部２０４からの撮像データの読み出し速度（読み出しデータレート）を遅くしている。これにより、バスＩＦ２０５に撮像データが入力される期間を延ばすことが可能である。したがって、バスＩＦ２０５がバス１０５にアクセスする期間が特定の期間に集中することがない。このため、バス１０５の帯域が特定の期間で圧迫されることも、また特定の期間以外でバス１０５の帯域に不要な余裕ができることもない。これによって、バス１０５の使用効率を向上させることが可能である。

平坦化処理についてさらに具体的に説明する。ここで、上述の例では読み出しパターンの設定を、複数回のクロック信号の入力につき１回だけ読み出しが行われるとしている。しかしながら、実際には、複数回のクロック信号の入力につきそれよりも少ない回数だけ読み出しを行うように、且つ有効位置に対応した撮像データの読み出しが次の水平走査期間における撮像データの書き込み開始までには終了するように、読み出しパターンを設定すれば良い。

例えば、読み出し用メモリコントローラ３０３の読み出しパターンを図６（ａ）のように設定しても良い。図６（ａ）の例は、８ビットのレジスタに読み出しパターンを設定する例を示しており、「１」が読み出しイネーブル、「０」が読み出しディスエーブルを示している。なお、図６（ａ）では８ビットのレジスタへの設定例を示しているが、２ビット以上であればレジスタのビット数は制限されない。

図６（ａ）の読み出しパターンでは、図６（ｂ）に示すように、８回のクロック信号の入力に対して５回の読み出しがなされる。これにより、書き込みデータレートに対して読み出しデータレートは５/８倍となる。

図６（ａ）のような読み出しパターンの設定を行うことにより、細やかな読み出しパターンの設定を行うことができ、結果としてバス１０５の帯域を細やかに制御することが可能である。

なお、本実施形態で説明した平坦化処理は、スルー画表示（撮像素子１０３の連写動作によって得られる画像をリアルタイムに表示部１１２に表示させる処理）時や動画撮影時に実施することが特に好適である。一般に、スルー画表示時や動画撮影時においては、静止画撮影時に比べて高解像度の画像が必要ではない。このため、スルー画表示時や動画撮影時においては、撮像素子１０３の一部の画素からの撮像信号を間引いて読み出すことが行われることがある。このような間引きが行われる場合、撮像信号の有効位置は水平走査期間のより一部の期間に集中する。この場合、平坦化処理を行うことにより、バス１０５の使用効率をより向上させることが可能である。例えば、スルー画表示時には、スルー画表示処理以外に顔検出等の他の処理を行うことが多いため、バス１０５の使用効率を向上させることにより、スルー画表示処理ばかりかスルー画表示以外の処理も効率化することが可能となる。さらに、スルー画表示時や動画撮影時のみで平坦化処理を行うようにすれば、ＳＲＡＭ３０１の容量も小さくすることが可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、平坦化処理の変形例である。

図７は、第２の実施形態における平坦化部２０４の内部の構成を示す図である。なお、図７において、図４と同一の構成については図４と同一の参照符号を付している。第２の実施形態においては、書き込み用メモリコントローラ３０２に入力されるクロック信号ＣＬＫ１よりも遅いクロック信号ＣＬＫ２が読み出し用メモリコントローラ３０３に入力される点と、読み出しパターンが固定となっている点が第１の実施形態と異なっている。なお、クロック信号ＣＬＫ１についてはＴＧ１１６からのクロック信号ＣＬＫをそのまま用いれば良い。また、クロック信号ＣＬＫ２については例えばＴＧ１１６からのクロック信号ＣＬＫを分周して生成すれば良い。ここで、クロック信号ＣＬＫ１とクロック信号ＣＬＫ２の速さの関係は、水平走査期間の長さと有効期間の長さとによって決定される。即ち、水平走査期間の長さをＨＤ、有効期間の長さをＶａｌｉｄとした場合、クロック信号ＣＬＫ２の周波数はクロック信号ＣＬＫ１の周波数の（Ｖａｌｉｄ/ＨＤ）未満とする必要がある。

図８は、図５に示す平坦化部の動作を示すタイミングチャートである。
図８に示すように、撮像素子１０３から出力される撮像信号における有効部分は、水平走査期間内の一部の期間（有効期間）のみである。書き込み用メモリコントローラ３０２は、処理領域決定部２０１からの撮像信号の有効位置を示す信号に従って、有効位置に対応した撮像データがクロック信号ＣＬＫ１の１回の入力につき１回だけＳＲＡＭ３０１に書き込まれるようにメモリ書き込み信号のイネーブルとディスエーブルとを切り替える。

一方、読み出し用メモリコントローラ３０３は、処理領域決定部２０１からの撮像信号の有効位置を示す信号に従って、クロック信号ＣＬＫ２の１回の入力につき１回だけＳＲＡＭ３０１から撮像データが読み出されるようにメモリ読み出し信号のイネーブルとディスエーブルとを切り替える。この際も、第１の実施形態と同様に、有効位置に対応した撮像データの読み出しは、次の水平走査期間における撮像データの書き込み開始のタイミングまでには終了するようにする。

ここで、クロック信号ＣＬＫ２は、クロック信号ＣＬＫ１に比べて遅いクロック信号である。したがって、第１の実施形態と同様に、平坦化部２０４への書き込みデータレートに対して平坦化部２０４からの読み出しデータレートを遅くすることができる。これにより、第２の実施形態においても、第１の実施形態と同様に、バス１０５の使用効率を向上させることが可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、第１の実施形態の手法と第２の実施形態の手法とを組み合わせて使用する例である。

図９は、第３の実施形態における平坦化部２０４の内部の構成を示す図である。即ち、第３の実施形態においては、書き込み用メモリコントローラ３０２に入力されるクロック信号ＣＬＫ１と異なる速さを有するクロック信号ＣＬＫ２が読み出し用メモリコントローラ３０３に入力される点が第１及び第２の実施形態と異なる。詳細は後述するが、第３の実施形態においては、クロック信号ＣＬＫ２はクロック信号ＣＬＫ１よりも速いクロック信号であっても遅いクロック信号であっても良い。

また、図９の例ではクロック生成部２０６も設けられている。このクロック生成部２０６はクロック信号ＣＬＫを分周してクロック信号ＣＬＫ１、ＣＬＫ２を生成するものである。このようなクロック生成部２０６の代わりに、クロック信号ＣＬＫ１にＴＧ１１６からのクロック信号ＣＬＫを利用し、クロック信号ＣＬＫ２にバス１０５の動作クロックを利用するような形態としても良い。

図１０は、図９に示す平坦化部の動作を示すタイミングチャートである。なお、図１０の例は、クロック信号ＣＬＫ２にクロック信号ＣＬＫ１よりも速いクロックを用いた場合の例である。

図１０に示すように、撮像素子１０３から出力される撮像信号における有効部分は、水平走査期間内の一部の期間（有効期間）のみである。書き込み用メモリコントローラ３０２は、処理領域決定部２０１からの撮像信号の有効位置を示す信号に従って、有効位置に対応した撮像データがクロック信号ＣＬＫ１の１回の入力につき１回だけＳＲＡＭ３０１に書き込まれるようにメモリ書き込み信号のイネーブルとディスエーブルとを切り替える。

一方、読み出し用メモリコントローラ３０３に対しては、複数回のクロック信号ＣＬＫ２の入力につきそれよりも少ない回だけＳＲＡＭ３０１から撮像データが読み出されるように読み出しパターンが設定されている。この読み出しパターンに従って、読み出し用メモリコントローラ３０３はメモリ読み出し信号のイネーブルとディスエーブルとを切り替える。なお、クロック信号ＣＬＫ２にクロック信号ＣＬＫ１よりも速いクロック信号を用いた場合には、第１の実施形態に比べて、レジスタ３０３ａに設定される読み出しパターンにおける「１（読み出しイネーブル）」に対する「０（読み出しディスエーブル）」の数を多くすれば良い。

ここで、第２の実施形態と異なり、クロック信号ＣＬＫ２はクロック信号ＣＬＫ１に比べて速いクロック信号である。しかしながら、第１の実施形態の手法に従って、撮像データの読み出し回数を減らすことにより、第１の実施形態及び第２の実施形態と同様に、書き込みデータレートに対して読み出しデータレートを遅くすることができる。これにより、第３の実施形態においても、バス１０５の使用効率を向上させることが可能となる。また、第１の実施形態の手法と第２の実施形態とを組み合わせて使用することにより、第１の実施形態の手法と第２の実施形態の手法をそれぞれ単独で使用するよりもバス１０５の帯域をより細やかに制御することが可能である。

なお、上述の例ではクロック信号ＣＬＫ２をクロック信号ＣＬＫ１に比べて速いクロック信号としている。しかしながら、クロック信号ＣＬＫ２をクロック信号ＣＬＫ１に比べて遅いクロック信号としても良い。この場合には、第１の実施形態に比べて、レジスタ３０３ａに設定される読み出しパターンにおける「０（読み出しディスエーブル）」に対する「１（読み出しイネーブル）」の数を多くすれば良い。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。近年、アナログ処理部やＡ/Ｄ変換部等を一体化した撮像素子が提案されている。第４の実施形態は、このようなアナログ処理部やＡ/Ｄ変換部等を一体化した撮像素子にさらに平坦化部を一体化するようにした例である。

図１１は、第４の実施形態における撮像素子１０３の構成を示す図である。図１１に示す撮像素子１０３は、画素部５０１と、水平転送部５０２と、ＳＲＡＭ５０３と、書き込み用メモリコントローラ５０４と、読み出し用メモリコントローラ５０５と、タイミングジェネレータ（ＴＧ）５０６とを有している。そして、図示は省略しているが図１１に示す撮像素子１０３は前処理部１０４を介さずに図１に示すバス１０５に接続されている。

画素部５０１は、フォトダイオード等の光電変換素子が２次元に配されて構成される受光面と、アナログ処理部及びＡ/Ｄ変換部を有する前処理部とが混載されている。この画素部５０１は、ＴＧ５０６からのクロック信号に従って動作する。また、アナログ処理部は、画素部５０１の受光面から得られる撮像信号のうちの有効部分の撮像信号に対してＣＤＳ処理やＡＧＣ処理を行う。Ａ/Ｄ変換部は、アナログ処理部においてアナログ処理がなされた有効位置の撮像信号に対してＡ/Ｄ変換処理を行って撮像データを取得する。

水平転送部５０２は、ＴＧ５０６からのクロック信号に従って画素部５０１から得られる撮像データをＳＲＡＭ５０３に転送する。

ＳＲＡＭ５０３、書き込み用メモリコントローラ５０４、及び読み出し用メモリコントローラ５０５は上述の第１〜第３の実施形態において説明した平坦化部を構成している。即ち、書き込み用メモリコントローラ５０４による水平転送部５０２からＳＲＡＭ５０３への撮像データの書き込みデータレートに対して、読み出し用メモリコントローラ５０５によるＳＲＡＭ５０３からバス１０５への撮像データの読み出しデータレートを遅くすることによって平坦化処理を行う。なお、平坦化処理の具体的な手法については上述の第１〜第３の実施形態において説明した何れの手法も適用できる。したがって、ここでは説明を省略する。

ＴＧ５０６は、画素部５０１内の前処理部、及び画像処理部１０７の動作タイミングを制御するための信号（垂直同期信号ＶＤ、水平同期信号ＨＤ、クロック信号ＣＬＫ）を生成する。そして、ＴＧ５０６は、生成した垂直同期信号ＶＤ、水平同期信号ＨＤ、クロック信号ＣＬＫを画素部５０１、書き込み用メモリコントローラ５０４、読み出し用メモリコントローラ５０５、及び撮像素子１０３の外部の画像処理部１０７に入力する。また、ＴＧ５０６は、上述の処理領域決定部２０１としての機能も有し、画素部５０１から得られる撮像信号における有効位置を決定し、決定した有効位置を示す信号も画素部５０１、書き込み用メモリコントローラ５０４、読み出し用メモリコントローラ５０５、及び画像処理部１０７のそれぞれに入力する。なお、ＴＧ５０６が設けられているため、図１に示すＴＧ１１６は不要である。

以上説明したように、第４の実施形態によれば、撮像素子１０３に平坦化部前処理部が混載された構成であっても平坦化処理を行うことが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０１…レンズ、１０２…シャッタ絞り、１０３…撮像素子、１０４…前処理部、１０５…バス、１０６…ＤＲＡＭ、１０７…画像処理部、１０８…圧縮伸長処理部、１０９…メモリインターフェース（ＩＦ）、１１０…記録媒体、１１１…表示制御部、１１２…表示部、１１３…マイクロコンピュータ、１１４…操作部、１１５…Ｆｌａｓｈメモリ、１１６,５０６…タイミングジェネレータ（ＴＧ）、２０１…処理領域決定部、２０２…アナログ処理部、２０３…アナログ/デジタル（Ａ/Ｄ）変換部、２０４…平坦化部、２０５…バスインターフェース（ＩＦ）、２０６…クロック生成部、５０１…画素部、５０２…水平転送部、３０１,５０３…ＳＲＡＭ、３０２,５０４…書き込み用メモリコントローラ、３０３,５０５…読み出し用メモリコントローラ

Claims (8)

1. 撮像信号を出力する撮像部と、
   前記撮像信号を記憶するための第１の記憶部と、
   前記撮像部から所定量分の撮像信号の出力が行われる水平走査期間内で、前記撮像部から出力された所定量分の撮像信号を時間的に均等に前記第１の記憶部に記憶させる平坦化を行う平坦化部と、
   を具備することを特徴とする撮像装置。
2. 前記平坦化部は、
   前記撮像部から出力された撮像信号を記憶する第２の記憶部と、
   前記撮像部から前記第２の記憶部への前記撮像信号の書き込みを制御する書き込み制御部と、
   前記書き込み制御部による前記撮像部から前記第２の記憶部への前記撮像信号の書き込み速度よりも遅い読み出し速度で前記第２の記憶部から前記第１の記憶部への前記撮像信号の読み出しを制御する読み出し制御部と、
   を有することを特徴とする請求項１に記載の撮像装置。
3. 前記書き込み制御部はクロック信号の１回の入力につき前記撮像信号の書き込みの制御を１回行うとともに、前記読み出し制御部はクロック信号の複数回の入力につき前記撮像信号の読み出しの制御を前記複数回よりも少ない回数だけ行うことを特徴とする請求項２に記載の撮像装置。
4. 前記読み出し制御部は、前記クロック信号の複数回の入力につき前記撮像信号の読み出しの制御を前記複数回よりも少ない回数だけ行うために用いられる読み出しパターンを設定するレジスタを有することを特徴とする請求項３に記載の撮像装置。
5. 前記書き込み制御部に入力されるクロック信号と前記読み出し制御部に入力されるクロック信号は異なる速さのクロック信号であることを特徴とする請求項３に記載の撮像装置。
6. 前記書き込み制御部はクロック信号の１回の入力につき前記撮像信号の書き込みの制御を１回行うとともに、前記読み出し制御部は前記書き込み制御部に入力されるクロック信号よりも遅いクロック信号の１回の入力につき前記撮像信号の読み出しの制御を１回だけ行うことを特徴とする請求項２に記載の撮像装置。
7. 前記平坦化部は、前記撮像部と一体化されていることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
8. 前記平坦化部は、当該撮像装置の動画撮影時又はスルー画表示時に前記平坦化を行うことを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。

Images