JP4418342B2

JP4418342B2 - 画像処理装置及び電子カメラ

Info

Publication number: JP4418342B2
Application number: JP2004299198A
Authority: JP
Inventors: 義信田中; 晃上野; 崇志梁田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-10-13
Filing date: 2004-10-13
Publication date: 2010-02-17
Anticipated expiration: 2024-10-13
Also published as: CN100377574C; US7495692B2; CN1761287A; US20060077261A1; JP2006115116A

Description

本発明は、画像処理装置及び電子カメラに関し、特に電子手ぶれ補正機能を有する画像処理装置及び電子カメラに関する。

電子カメラの中には、デジタルデータとして得られた画像を利用して、手ぶれなどによって生じる画像のぶれを補正する、所謂電子手ぶれ補正機能を有するものが種々提案されている。電子手ぶれ補正においては、手ぶれによる画像の動きを考慮して予め広めに画像を取得しておき、手ぶれによる画像の動き量が検出された後で、広めに取得した画像の一部を切り出して読み出すように制御することで手ぶれが補正された状態の画像を得る。

また、上記のような電子手ぶれ補正機能の考え方を利用して、手ぶれ発生時のＡＦ演算、ＡＥ演算、ＡＷＢ演算を行うカメラが、例えば特許文献１において提案されている。

一般に、デジタル画像を利用してＡＦを行う場合には、撮像素子で得られたアナログの撮像信号をＡＤ変換した後、ＡＦ検出を行うのに好適な所定周波数成分の信号を抽出し、この抽出した信号をデジタル的に累積加算してＡＦ評価データを求め、このＡＦ評価データに基づいてＣＰＵ等の演算部において所定の演算を行い、周知の焦点検出及び焦点制御を行う。

ここで、特許文献１では、電子手ぶれ補正の場合と同様に予め広めに画像を取得しておき、手ぶれ発生時には、図１５（ａ）〜図１５（ｃ）のように画像の一部の領域１０１のみを切り出して読み出すように制御し、読み出した領域１０１内のデータを累積加算してＡＦ評価データを得るようにしている。このような手法により、手ぶれ補正後のデータに基づいてＡＦを行うことができる。

また、図１５（ａ）〜図１５（ｃ）の例では、累積加算を行う領域が１つであるが、複数の領域に対して累積加算を行うようにしても良い。この場合には例えば、図１６（ａ）〜図１６（ｃ）に示すように、領域１０１を更に複数のブロック１０１ａに分割し、分割したブロック毎に累積加算を行うようにする。

更に、ＡＥやＡＷＢの場合には、画像の動きに応じて画像の切り出し領域１０１の位置を変更してから、色成分毎に累積加算を行う。
特許第２６８２１１０号公報

しかしながら、上記特許文献１の手法では、画像の動き量が検出されるまで、ＡＦ制御、ＡＥ制御、ＡＷＢ制御に関する処理に関して何らの処理も行われない。このため、特許文献１の手法では、動き量検出の時間分だけ、手ぶれ発生時におけるＡＦ制御、ＡＥ制御、ＡＷＢ制御の処理時間が遅くなってしまう。

本発明は、上記の事情に鑑みてなされたもので、手ぶれが発生した場合でも、ＡＦ制御、ＡＥ制御、ＡＷＢ制御を高速に行うことができる画像処理装置及びこのような画像処理装置を搭載した電子カメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、撮像して得られた撮像データを入力する入力手段と、上記入力手段によって入力された上記撮像データを所定数のデータ毎に累積加算することで、上記入力手段によって入力された上記撮像データを、焦点検出に係る評価データ、測光に係る評価データ、及び白バランス調整に係る評価データの少なくとも１つの評価データである簡易評価データに変換する簡易評価データ変換手段と、上記簡易評価データ変換手段で変換された上記簡易評価データを記憶する記憶手段と、前回の撮像時に上記入力手段によって入力された撮像データと今回の撮像時に上記入力手段によって入力された撮像データとから、画像の動きを検出する動き検出手段と、上記動き検出手段において検出された上記画像の動きに応じて上記記憶手段に記憶された上記簡易評価データの切り出し領域を設定し、該切り出し領域の簡易評価データを累積加算することで、上記記憶手段に記憶された上記簡易評価データを本評価データに変換する本評価データ変換手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様による電子カメラは、被写体を撮像して撮像データを取得する撮像手段と、
上記撮像手段によって撮像された上記撮像データを所定数のデータ毎に累積加算することで、上記入力手段によって入力された上記撮像データを、焦点検出に係る評価データ、測光に係る評価データ、及び白バランス調整に係る評価データの少なくとも１つの評価データである簡易評価データに変換する簡易評価データ変換手段と、上記簡易評価データ変換手段で変換された上記簡易評価データを記憶する記憶手段と、前回の撮像時に上記入力手段によって入力された撮像データと今回の撮像時に上記入力手段によって入力された撮像データとから、当該電子カメラの手ぶれを検出する手ぶれ検出手段と、上記手ぶれ検出手段において検出された上記電子カメラの手ぶれに応じて上記記憶手段に記憶された上記簡易評価データの切り出し領域を設定し、該切り出し領域の簡易評価データを累積加算することで、上記記憶手段に記憶された上記簡易評価データを本評価データに変換する本評価データ変換手段とを具備することを特徴とする。

これら第１及び第２の態様によれば、撮像データを一旦簡易評価データに変換することにより、ＡＦ制御、ＡＥ制御、ＡＷＢ制御を高速化することができる。

本発明によれば、手ぶれが発生した場合でも、ＡＦ制御、ＡＥ制御、ＡＷＢ制御を高速に行うことができる画像処理装置及びこのような画像処理装置を搭載した電子カメラを提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を搭載した電子カメラの回路構成図である。即ち、図１の電子カメラは、撮像素子（ＣＣＤ）１と、第１のＡＦ演算器２と、第１のＡＥ演算器３と、第１のＡＷＢ演算器４と、プリプロセス回路５と、画像バス６と、ＳＤＲＡＭ７と、動き検出ブロック８と、ＣＰＵバス９と、第２のＡＦ演算器１０と、第２のＡＥ演算器１１と、第２のＡＷＢ演算器１２と、画像処理ブロック１３と、ＣＰＵ１４と、ビデオエンコーダ１５と、ＴＦＴ表示器１６とから構成されている。これらの構成は、ワンチップで構成するようにしても良い。

以下、図１のような構成のカメラの動作を処理データの流れに従って説明する。
図示しない撮影光学系を介して入射した図示しない被写体からの光束は、入力手段及び撮像手段としてのＣＣＤ１に結像される。ＣＣＤ１は被写体光束を光電変換によりアナログの撮像信号に変換し、更に、撮像信号を図示しないＡＤ変換器によってデジタルの撮像データに変換する。ＣＣＤ１で得られた撮像データは、図２に示すように簡易評価データ変換手段としての第１のＡＦ演算器２と、第１のＡＥ演算器３と、第１のＡＷＢ演算器４とに出力されると共に、プリプロセス回路５にも出力される。

第１のＡＦ演算器２は入力された撮像データから輝度（Ｙ）データを抽出し、抽出したＹデータを累積加算して簡易ＡＦ評価データを求める。また、第１のＡＥ演算器３は入力された撮像データを色成分毎に累積加算して簡易ＡＥ評価データを求める。更に、第１のＡＷＢ演算器４は入力された撮像データを色成分毎に累積加算して簡易ＡＷＢ評価データを求める。これらの簡易評価データは、図２に示すように画像バス６に送られ、その後、記憶手段としてのＳＤＲＡＭ７に記憶される。

また、プリプロセス回路５は入力された撮像データに対してノイズ除去や信号増幅等の前処理を行った後、前処理後の撮像データを画像バス６に送る。この前処理後の撮像データはＳＤＲＡＭ７に記憶される。

次に、動き検出ブロック８はＳＤＲＡＭ７に記憶された撮像データに基づいて画像の動き検出を行って、検出された画像の動き情報は、図３のようにしてＣＰＵバス９に送る。ここで、動き検出は、例えば前回の撮像時に得られた撮像データ（ｎ−１フレーム目の撮像データ）と今回の撮像時に得られた撮像データ（ｎフレーム目の撮像データ）とをブロックマッチング演算などの手法によって比較することにより行う。このような比較を行う場合には、ＳＤＲＡＭ７が少なくとも２フレーム分の撮像データを記憶可能な容量を有している必要がある。なお、ジャイロセンサや角速度センサなどを用いて電子カメラの手ぶれを直接検出することで画像の動きを検出するようにしても良い。

ＣＰＵバス９に送られた動き情報は、図４に示すように本評価データ変換手段としての第２のＡＦ演算器１０と、第２のＡＥ演算器１１と、第２のＡＷＢ演算器１２とに送られると共に、画像処理ブロック１３にも送られる。また、ＳＤＲＡＭ７に格納されていた簡易評価データが、第２のＡＦ演算器１０と、第２のＡＥ演算器１１と、第２のＡＷＢ演算器１２のそれぞれに送られる。

第２のＡＦ演算器１０は、入力された動き情報に基づいて簡易ＡＦ評価データを累積加算して本ＡＦ評価データを求める。また、第２のＡＥ演算器１１は、入力された動き情報に基づいて簡易ＡＥ評価データを累積加算して本ＡＥ評価データを求める。更に、第２のＡＷＢ演算器１２は、入力された動き情報に基づいて簡易ＡＷＢ評価データを累積加算して本ＡＷＢ評価データを求める。第２のＡＦ演算器１０、第２のＡＥ演算器１１、第２のＡＷＢ演算器１２で変換されて得られた本評価データは、ＣＰＵバス９を介してＣＰＵ１４に送られる。

ＣＰＵ１４は、第２のＡＦ演算器１０、第２のＡＥ演算器１１、及び第２のＡＷＢ演算器１２のそれぞれから入力された本評価データに基づいて、周知の焦点検出処理、測光処理、及び白バランス調整処理を行う。

また、画像処理ブロック１３は、動き情報に基づいて、ＳＤＲＡＭ７に記憶された撮像データ３０の中から、例えば図５の領域３１や領域３２の撮像データを読み出して、ガンマ補正処理や色補正処理、輝度色差変換処理などの周知の画像処理を行う。即ち、動き量を考慮して撮像データの読み出し位置を制御することにより、手ぶれを補正した状態の画像を得ることができる。なお、上記のような撮像データの読み出し位置制御は読み出し制御手段としてのＣＰＵ１４によって行われる。

画像処理ブロック１３において得られた輝度色差データ（ＹＣデータ）は、画像バス６を介してＳＤＲＡＭ７に再び記憶される。その後、ＳＤＲＡＭ７に記憶されたＹＣデータは、図６に示すようにビデオエンコーダ１５に送られる。ビデオエンコーダ１５は、ＹＣデータをＮＴＳＣなどのビデオ信号に変換し、このビデオ信号に基づいてＴＦＴ表示器１６上に画像表示を行う。

次に、本一実施形態におけるＡＦ、ＡＥ、ＡＷＢについて更に詳しく説明する。

まず、ＡＦについて説明する。図７は、本一実施形態のＡＦ評価データ算出演算の手順について示すフローチャートである。

第１のＡＦ演算器２に撮像データが入力されると、第１のＡＦ演算器２は、入力された撮像データからＹデータを生成する（ステップＳ１）。Ｙデータは例えば撮像データをＹＣ分離することにより得られる。次に、ステップＳ１で得られたＹデータの所定周波数成分をローパスフィルタとハイパスフィルタとを用いて抽出する（ステップＳ２）。次に、Ｙデータを所定データサイズまで累積加算して簡易ＡＦ評価データを生成し（ステップＳ３）、生成した簡易ＡＦ評価データをＳＤＲＡＭ７に記憶させる（ステップＳ３）。ここまでの処理が画像の動き検出と並列して行われる。

画像の動き検出後、第２のＡＦ演算器１０は、ＳＤＲＡＭ７から簡易ＡＦ評価データを読み出し、読み出した簡易ＡＦ評価データを累積加算して本ＡＦ評価データを得る（ステップＳ４）。ここで、本ＡＦ評価データは、画像の動き情報に応じて簡易ＡＦ評価データの所定領域のデータを切り出すように読み出し制御して、その領域内のデータのみを累積加算することで得られる。なお、上記のような撮像データの読み出し位置制御はＣＰＵ１４によって行われる。

図８に示すように、本一実施形態のＡＦでは、画像の動き検出と並列して簡易ＡＦ評価データ４１を求めるようにし、画像の動き検出後に簡易評価データ４１を更に累積加算して本ＡＦ評価データ４２を求めるようにしている。このように本一実施形態によれば、撮像データ４０と本評価データ４２の中間的なデータサイズを有する簡易ＡＦ評価データ４１を画像の動き検出と並列して求めることができる。これにより、画像の動き検出後の処理は、簡易ＡＦ評価データ４１から本ＡＦ評価データ４２を求めるだけになる。この場合には、Ｙデータ抽出などの処理が必要なく、また累積加算の処理量も減少するので、ＡＦにかかる時間を短縮することができる。

図９は、本一実施形態のＡＥ評価データ及びＡＷＢ評価データ算出演算の手順について示すフローチャートである。ここで、ＡＥ評価データ算出演算とＡＷＢ評価データ算出演算とは同一の手順に従って行われるので、ここでは、ＡＥ評価データの算出についてのみ説明する。

第１のＡＥ演算器３に撮像データが入力されると、第１のＡＥ演算器３は入力された撮像データを色成分毎に累積して簡易ＡＥ評価データを生成する（ステップＳ１１）。この処理が第１のＡＥ演算器３において、画像の動き検出と並列して行われる。

画像の動き検出後、第２のＡＥ演算器１１は、ＳＤＲＡＭ７から簡易ＡＥ評価データを読み出し、読み出した簡易ＡＥ評価データを色成分毎に累積加算して本ＡＥ評価データを得る（ステップＳ１２）。この本ＡＥ評価データは、画像の動き情報に応じて簡易ＡＦ評価データ４１の所定領域のデータを切り出すように読み出し制御して、その領域内のデータのみを累積加算する。ここで、ＡＥとＡＷＢとでは本評価データ算出時のデータサイズが異なるものである。

このような手法により、ＡＦの場合と同様にＡＥやＡＷＢについても処理時間を短縮することができる。

本一実施形態において行われる累積加算演算について更に詳しく説明する。ＣＣＤ１において図１０に示す撮像データ４０のうちの一部領域を読み出して、この一部領域内に含まれる撮像データを所定数のデータ毎に累積加算して１つのデータに纏めることで図１１に示す簡易評価データ４１を得る。この簡易評価データ４１がＳＤＲＡＭ７に記憶される。なお、図１１では例として５×５個のデータを１つのデータに累積加算しているが、この数はあくまでも一例であり、変更可能である。

また、ＡＦの場合には単純に隣接している所定数のデータを累積加算すればよいが、ＡＥやＡＷＢの場合には色毎に累積加算を行う。例えば撮像素子の画素配列がベイヤー配列であれば、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に累積加算を行う。

２回目の第２のＡＦ演算器１０は、動き検出ブロック８において検出された画像の動きに基づいて簡易評価データ４１の中の切り出し領域を決定して、決定した切り出し領域の中のデータを更に所定数のデータ毎に累積して本評価データ４２を得る。なお、図１２では例として簡易評価データ４１の単位で３×３個のデータを１つのデータに累積加算している。

図１３（ａ）に従来のＡＦ、ＡＥの処理におけるタイミングチャートを、図１３（ｂ）に本一実施形態のＡＦ、ＡＥの処理におけるタイミングチャートを示す。なお、ＡＷＢはＡＥと同様の処理なのでここでは図示を省略している。図１３（ａ）及び図１３（ｂ）に示すように、簡易評価データから本評価データを得るほうが、撮像データから直接本評価データを得るよりも画像の動き検出後のデータ処理量が少なくなるので、ＡＦやＡＥにかかる処理の時間が短縮される。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、図１２の例では動き検出後のデータの切り出し領域は、簡易評価データにおける１データ単位ずつでしか変更できない。しかしながら、画像の動き情報は簡易評価データに対してではなく元の撮像データに対して算出されるので、簡易評価データから画像を切り出す際には、簡易評価データの１データ単位からずれてしまう場合も考えられる。このような場合には、図１４のように、簡易評価データのデータ単位に対してずれた部分を補間によって求めて、この求めた領域４２のデータを切り出すように読み出し制御して本評価データに変換するようにしても良い。このような手法により、２回目の累積加算時に、より正確な動き情報を反映させることができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像処理装置を搭載した電子カメラの回路構成図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるデータの流れを示した図の第１図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるデータの流れを示した図の第２図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるデータの流れを示した図の第３図である。電子手ぶれ補正の説明図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるデータの流れを示した図の第４図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるＡＦ演算時の処理について示すフローチャートである。ＡＦ時の累積加算処理の概念図である。本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるＡＥ／ＡＷＢ演算時の処理について示すフローチャートである。累積加算処理について詳しく説明するための図の第１図である。累積加算処理について詳しく説明するための図の第２図である。累積加算処理について詳しく説明するための図の第３図である。図１３（ａ）は従来のＡＦ及びＡＥ演算時のタイミングチャートであり、図１３（ｂ）は本発明の一実施形態に係る画像処理装置を搭載した電子カメラにおけるＡＦ及びＡＥ演算時のタイミングチャートである。本発明の一実施形態の変形例について説明するための図である。従来例のＡＦ演算について示す第１の図である。従来例のＡＦ演算について示す第２の図である。

符号の説明

１…撮像素子（ＣＣＤ）、２…第１のＡＦ演算器、３…第１のＡＥ演算器、４…第１のＡＷＢ演算器、５…プリプロセス回路、６…画像バス、７…ＳＤＲＡＭ、８…動き検出ブロック、９…ＣＰＵバス、１０…第２のＡＦ演算器、１１…第２のＡＥ演算器、１２…第２のＡＷＢ演算器、１３…画像処理ブロック、１４…ＣＰＵ、１５…ビデオエンコーダ、１６…ＴＦＴ表示器

Claims

撮像して得られた撮像データを入力する入力手段と、
上記入力手段によって入力された上記撮像データを所定数のデータ毎に累積加算することで、上記入力手段によって入力された上記撮像データを、焦点検出に係る評価データ、測光に係る評価データ、及び白バランス調整に係る評価データの少なくとも１つの評価データである簡易評価データに変換する簡易評価データ変換手段と、
上記簡易評価データ変換手段で変換された上記簡易評価データを記憶する記憶手段と、
前回の撮像時に上記入力手段によって入力された撮像データと今回の撮像時に上記入力手段によって入力された撮像データとから、画像の動きを検出する動き検出手段と、
上記動き検出手段において検出された上記画像の動きに応じて上記記憶手段に記憶された上記簡易評価データの切り出し領域を設定し、該切り出し領域の簡易評価データを累積加算することで、上記記憶手段に記憶された上記簡易評価データを本評価データに変換する本評価データ変換手段と、
を具備することを特徴とする画像処理装置。
上記動き検出手段において検出された上記画像の動きに基づいて、上記記憶手段に記憶された上記簡易評価データの読み出し制御を行う読み出し制御手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
上記撮像データは輝度情報を含むデータであり、
上記焦点検出に係る評価データは、上記輝度情報の一部を累積加算して得られる評価データであることを特徴とする請求項１に記載の画像処理装置。
上記撮像データは複数の色情報を含むデータであり、
上記測光に係る評価データ及び上記白バランス調整に係る評価データは、上記撮像データの一部を色別に累積加算して得られる評価データであることを特徴とする請求項１に記載の画像処理装置。
上記本評価データ変換手段は、上記動き検出手段において検出された上記画像の動きに基づいて上記簡易評価データのデータ単位に対してずれた位置の簡易評価データを補間によって求め、該補間によって求めた簡易評価データを上記本評価データに変換することを特徴とする請求項１に記載の画像処理装置。
上記動き検出手段による上記画像の動きの検出と上記簡易評価データ変換手段による上記簡易評価データへの変換とは、並列的に行われることを特徴とする請求項１に記載の画像処理装置。
少なくとも上記入力手段と、上記簡易評価データ変換手段と、上記記憶手段と、上記動き検出手段と、上記本評価データ変換手段とが同一チップ上に形成されていることを特徴とする請求項１に記載の画像処理装置。
被写体を撮像して撮像データを取得する撮像手段と、
上記撮像手段によって撮像された上記撮像データを所定数のデータ毎に累積加算することで、上記入力手段によって入力された上記撮像データを、焦点検出に係る評価データ、測光に係る評価データ、及び白バランス調整に係る評価データの少なくとも１つの評価データである簡易評価データに変換する簡易評価データ変換手段と、
上記簡易評価データ変換手段で変換された上記簡易評価データを記憶する記憶手段と、
前回の撮像時に上記入力手段によって入力された撮像データと今回の撮像時に上記入力手段によって入力された撮像データとから、当該電子カメラの手ぶれを検出する手ぶれ検出手段と、
上記手ぶれ検出手段において検出された上記電子カメラの手ぶれに応じて上記記憶手段に記憶された上記簡易評価データの切り出し領域を設定し、該切り出し領域の簡易評価データを累積加算することで、上記記憶手段に記憶された上記簡易評価データを本評価データに変換する本評価データ変換手段と、
を具備することを特徴とする電子カメラ。