JP2011015092A - 撮像装置 - Google Patents

Abstract

【課題】複数の記録レートにおける画質の違いを撮影前にユーザが容易に確認でき、また容易に記録レートを設定できるようにする。
【解決手段】撮像装置であって、被写体を撮影して符号化用の画像を生成する撮像手段と、符号化用の画像に直交変換と量子化とを施して量子化画像を生成する量子化画像生成手段と、量子化画像に逆量子化と逆直交変換とを施して、ローカルデコード画像を生成するローカルデコード画像生成手段と、量子化画像を生成する際の量子化ステップを制御するパラメータを設定する設定手段と、表示手段とを備え、設定手段は、符号化用の画像を複数の領域に分割して、量子化ステップが領域毎に異なるようにパラメータを設定し、表示手段は、領域毎に設定されたパラメータを用いて生成された量子化画像から生成されたローカルデコード画像を表示する。
【選択図】図１

Description

本発明は撮像装置に関する。

被写体を撮影し、それにより得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。一般的にデジタルビデオカメラは、撮影前に記録レートをユーザが選択できるようになっている。記録レートを選択することでユーザは、動画像を圧縮符号化する際の圧縮率を設定できる。圧縮率が高い記録レートを選択すると、記録される動画像は低画質になり、圧縮率が低い記録レートを選択すると、記録される動画像は高画質になる。圧縮率が低いと高画質の動画像を得られるが、圧縮後のデータ量が多くなるため、低画質の動画像と比べると、記録できる時間は短くなる。

記録レートを選択できるが、記録レートの違いによる画質の違いは、記録した画像を再生するまで判断できず、記録時に予めユーザが知ることができないという問題があった。この問題に対して、圧縮符号化した画像を表示し、選択した記録レートで得られる画像を示す技術が提案されている（特許文献１を参照）。

特開２００６−３１１３６６号公報

しかしながら、提案技術では、選択された記録レートで符号化した際の圧縮後の画像を１つだけ表示していたので、選択された記録レートでの画質は確認できるものの、記録レートを変えたときの画質の違いを確認することはできなかった。即ち、提案技術では、記録レートごとの画質の違いをユーザが識別するためには、別の記録レートを選択しなおしてから改めて表示させるという操作を繰り返す必要があり、煩雑な操作が必要であった。また、提案技術では複数の記録レートで符号化した際の圧縮後の画像を同時出力できないため、同一画面上での比較表示が行えず、ユーザは記録レートによる画質の違いを直観的に把握するのが困難であった。

本発明は、このような問題点を鑑みたものであり、複数の記録レートにおける画質の違いを撮影前にユーザが容易に確認でき、また容易に記録レートを設定できるようにすることを目的とする。

上述の課題を解決する本発明の撮像装置は、
被写体を撮影して符号化用の画像を生成する撮像手段と、
前記符号化用の画像に直交変換と量子化とを施して量子化画像を生成する量子化画像生成手段と、
前記量子化画像に逆量子化と逆直交変換とを施して、ローカルデコード画像を生成するローカルデコード画像生成手段と、
前記量子化画像を生成する際の量子化ステップを制御するパラメータを設定する設定手段と、
表示手段とを備え、
前記設定手段は、前記符号化用の画像を複数の領域に分割して、前記量子化ステップが領域毎に異なるように前記パラメータを設定し、
前記表示手段は、領域毎に設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像を表示する
ことを特徴とする。

本発明によれば、撮像装置において、複数の記録レートにおける画質の違いを撮影前にユーザが容易に確認でき、また容易に記録レートを設定できる。

実施形態に対応する撮像装置の構成例を示すブロック図。 実施形態に対応する撮像装置の動作例のフローチャート。 記録レート設定時に表示されるローカルデコード画像の例を示す図。 実施形態２に対応する撮像装置の動作例のフローチャート。 実施形態２に対応するローカルデコード画像の例を示す図。 実施形態３に対応する撮像装置の動作例のフローチャート。 実施形態３に対応するローカルデコード画像の例を示す図。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

［実施形態１］
図１は、本発明の実施形態１に係る撮像装置を示している。図１の撮像装置１００は撮像部１０で被写体を撮影して得られた入力画像をＨ．２６４／ＡＶＣ（Advanced Video Coding）方式により符号化し、符号化した画像を記録媒体１１８や伝送路などに出力する装置である。

撮像装置１００において、撮像部１０は、ＣＣＤやＣＭＯＳ等の撮像素子を用いて被写体の撮像を行う。撮像により得られた符号化用の画像は、加算器１０１に後述するマクロブロック単位に入力される。制御部１１６は、ＣＰＵなどであり、制御プログラムを実行することにより撮像装置１００全体の動作を司る。操作部１１５はユーザからの操作入力を受け付け、受け付けた操作入力に従って撮像装置１００の設定が行われる。操作部１１５は、撮影開始ボタン、記録レート設定モード選択ボタン、表示部１１４に表示されたローカルデコード画像から所望の撮影モードに対応する領域を選択するためのカーソル移動用ボタンなどを含む。例えば、ユーザが操作部１１５を用いて選択、決定した記録レートは、制御部１１６に入力され、制御部１１６が、選択された記録レートで符号化するように符号量制御部１０５の符号化パラメータ（量子化パラメータ）を設定する。また、イントラ予測、インター予測に応じて選択部１１３の出力する信号を決めるための制御信号を出力する。

撮像装置１００を用いて符号化する際の動作を説明する。撮像装置１００では、マクロブロック（以下ＭＢ）を構成する水平１６画素、垂直１６画素のデータを符号化単位として符号化を行う。入力されたＭＢデータは、加算器１０１に入力される。ここで、Ｈ．２６４方式の符号化には、大きく２つの符号化方式に分かれる。第一に、同一フレーム内の画像データのみを用いて符号化するイントラ符号化である。第二に、他のフレームとの相関を利用して符号化を行うインター符号化である。イントラ符号化の場合は、加算器１０１には、入力されたＭＢデータと、イントラ予測部１１２で生成された予測画像が入力される。一方インター予測の場合は、動き補償部１１１で生成された予測画像が入力される。加算器１０１は、入力されたＭＢデータと予測画像の差分をとり、直交変換部１０２に出力する。

直交変換部１０２において、直交変換された画像は、量子化部１０３に入力され、符号量制御部１０５から入力される量子化ステップを制御するための量子化パラメータに基づき量子化画像生成が行われる。生成された量子化画像は、エントロピー符号化部１０４、及び逆量子化部１０６にそれぞれ入力される。エントロピー符号化部１０４は、入力された量子化画像を可変長符号化して記録媒体１１８もしくは他の伝送路に出力する。また同時に、符号量制御部１０５に発生した符号量を出力する。符号量制御部１０５は、入力した発生符号量をもとに次の画像の量子化パラメータを決定し、量子化部１０３に出力する。記録媒体１１８は、フラッシュメモリ（登録商標）等の不揮発性の記録媒体であって、撮像装置１００に着脱可能に装着される。

逆量子化部１０６は、量子化部１０３が出力する量子化画像を逆量子化して量子化前の画像データ（直交変換後の画像データ）を復元し、逆直交変換部１０７に出力する。逆直交変換部１０７では、逆直交変換を施し、直交変換前の画像データ（予測画像）を復元する。この画像データは、インター符号化時の参照画像となる画像データで、局部復号画像もしくはローカルデコード画像と呼ばれる。本実施形態では、逆量子化部１０６、逆直交変換部１０７とでローカルデコード画像生成を行っている。このローカルデコード画像をループフィルタ１０９に入力する。ループフィルタ１０９は、ローカルデコード画像に対して、ブロック歪みを除去するデブロッキング処理を施し、フレームメモリ１１０に入力する。ただし、イントラ予測の場合は、デブロッキング処理を施さずにフレームメモリ１１０に入力する。

動き補償部１１１は、インター予測の場合に使用される。入力画像と、フレームメモリ１１０から読み出した参照画像とを用いて、参照画像に対する動きベクトルを検出する。検出した動きベクトルと参照画像を用いてインター予測画像を生成し、選択部１１３に出力する。イントラ予測部１１２は、フレームメモリ１１０に記録された画像データを用いてフレーム内予測処理を行い、イントラ予測画像を生成し、選択部１１３に出力する。選択部１１３は、制御部１１６からの選択信号によって出力する予測画像を選択する。イントラ予測の場合は、イントラ予測部で生成されたイントラ予測画像を、インター予測の場合は、動き補償部１１１で生成されたインター予測画像を加算器１０１に出力する。

続いて、記録レート設定時の動作を説明する。記録レート設定時とは、撮像前にユーザが記録レートを設定する場合をいう。撮像装置１００が有している記録レートは、高画質モード（圧縮率が最も低い記録レート）、標準モード（圧縮率が高画質モードと低画質モードの間である記録レート）、低画質モード（圧縮率が最も高い記録レート）の３つである。なお、ここでは画像全体の解像度、フルＨＤ（１９２０×１０８０画素）であるとする。

操作部１１５を用いて記録レートを設定するモード（以下、記録レート設定モードと呼ぶ）に移ると、撮像装置１００は、前述したように符号化処理を始める。その際、制御部１１６は、エントロピー符号化部１０４の記録媒体１１８もしくは他の伝送路への出力を行わないように設定する。また、記録レート設定モードに移ったことを検知した後、領域計算部１１７を起動させる。領域計算部１１７は、入力されるＭＢ数をカウントする。記録レート数が３つで、水平ＭＢ数が１２０ＭＢ、垂直ＭＢ数が６８ＭＢ（符号化時の画像の大きさは１９２０×１０８８とする）であるので、記録開始から入力されたＭＢ数が３９ＭＢの時は、高画質モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が４０から７９の時は、標準モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が８０から１１９の時は、低画質モードで符号化するように符号量制御部１０５に指示を出す。もちろんＭＢ数が０から３９までを低画質モード、４０から７９までを高画質モード、８０から１１９までを標準モードのようにしても良い。

領域計算部１１７は、ＭＢ数を１１９までカウントした後、カウント数を０にリセットし、垂直走査方向に１段進んだ次のＭＢラインを０からカウントしていく。つまり、水平走査方向のＭＢ数が０から３９まで、かつ垂直走査方向のＭＢ数が０から６７までの画像領域を高画質モードで符号化するように符号量制御部１０５に指示を出す。また同様に、水平走査方向のＭＢ数が４０から７９まで、かつ垂直走査方向のＭＢ数が０から６７までの画像領域を標準モードで符号化するように符号量制御部１０５に指示を出す。さらに水平走査方向のＭＢ数が８０から１１９まで、かつ垂直走査方向のＭＢ数が０から６７までの画像領域を低画質モードで符号化するように符号量制御部１０５に指示を出す。

領域計算部１１７から指示を受けた符号量制御部１０５は、高画質モードの領域では、量子化部１０３に出力する量子化パラメータを低くし（量子化ステップを小さくし）、量子化部１０３による画質劣化を低減させる。逆に低画質モードの領域では、量子化部１０３に出力する量子化パラメータを高く（量子化ステップを大きく）し、量子化部１０３によって多くの情報を削減できるようにする。標準モードの領域では、高画質モードと低画質モードの間の値を持つ量子化パラメータを量子化部１０３に出力する。

量子化部１０３において量子化された画像データは、逆量子化部１０６に入力される。記録レート設定モードではエントロピー符号化部１０４には出力されない。不図示のスイッチを切り替えてエントロピー符号化部１０４には量子化後の画像データが入力されないように制御部１１６が制御する。逆量子化部１０６に入力された後の処理は符号化時と同様の処理を行いフレームメモリ１１０にローカルデコード画像が保持される。

このように記録レート設定モードにおいては、記録媒体１１８には符号化された画像は記録されず、フレームメモリ１１０のローカルデコード画像が表示部１１４に表示される。

図２は撮像装置の電源ＯＮから電源ＯＦＦまでの動作を説明した図であり、特に記録レート設定モードの動作を詳細に説明する図であり、図１の各ブロックの動作タイミングを図２を用いて説明する。

Ｓ２０１では、制御部１１６が記録レート設定モードに入るか否かを判定する。この判定は、ユーザが操作部１１５からの操作入力に基づいて行う。記録レート設定モードＯＮの場合は、Ｓ２０２に移る。記録レート設定モードＯＦＦの場合は、Ｓ２０８に移る。Ｓ２０２では、記録レート設定モードがＯＮになったことをうけ、制御部１１６が領域計算部１１７を起動させる。また不図示のスイッチを切り替えて、エントロピー符号化部１０４に量子化部１０３の出力データが入力されないように設定する。

Ｓ２０３では、各ブロックが動作して符号化処理を行い、表示部１１４にローカルデコード画像を表示する。Ｓ２０３の符号化処理では、エントロピー符号化部１０４には、データが入力されない。よって符号化が行われても記録媒体１１８には何も記録されない。符号化を開始すると、ローカルデコード画像がフレームメモリ１１０に保持され、表示部１１４がローカルデコードを表示する。該ローカルデコード画像は、上述したように領域毎に量子化パラメータが異なった画像であり、表示画像は領域によって画質が異なる。表示部１１４はまた、該ローカルデコード画像を量子化パラメータの異なる領域毎に選択可能に表示する。

Ｓ２０４では、操作部１１５がユーザから画質モードの選択を受け付ける。ユーザは、領域毎に画質が異なるローカルデコード画像を見ながら画質モードを選択する。ユーザが「高画質モード」を選択した場合は、Ｓ２０５に進み、「標準モード」の場合はＳ２０６、「低画質モード」の場合はＳ２０７に進む。Ｓ２０５では、符号量制御部１０５から量子化部１０３に入力する量子化パラメータの値（ＱＰ１）を小さく設定して、高画質モードにて符号化処理を行う。ここで制御部１１６は、符号量制御部１０５に対して「高画質モード」が選択されたことを通知する。

Ｓ２０６では、符号量制御部１０５から量子化部１０３に入力する量子化パラメータの値（ＱＰ２）を標準モードに対応する値に設定して、標準モードにて符号化処理を行う。ここで制御部１１６は、符号量制御部１０５に対して「標準モード」が選択されたことを通知する。Ｓ２０７では、符号量制御部１０５から量子化部１０３に入力する量子化パラメータの値（ＱＰ３）を低画質モードに対応する大きい値に設定して、低画質モードにて符号化処理を行う。ここで制御部１１６は、符号量制御部１０５に対して「低画質モード」が選択されたことを通知する。なお、符号量制御部１０５において、量子化パラメータＱＰ１、ＱＰ２、ＱＰ３の関係は、ＱＰ３＞ＱＰ２＞ＱＰ１となる。

次にＳ２０８では、制御部１１６は撮影開始の指示を受け付けたか否かを判定する。ユーザが操作部１１５の撮影開始ボタンを操作して撮影開始指示を行うと（Ｓ２０８で「ＹＥＳ」）、Ｓ２０９に移行する。Ｓ２０９では、Ｓ２０５からＳ２０７のいずれかにおいて設定された画質モードにおいて撮影を開始し、符号化処理及び記録媒体１１８への記録を行う。このとき行われる符号化処理では、エントロピー符号化部１０４に量子化データが供給され、かつ、記録媒体１１８にもエントロピー符号化結果が保存される。Ｓ２１０において撮影終了の操作が行われるまで符号化及び記録を続ける。

Ｓ２１０において撮影終了が選択された場合は、Ｓ２１１に遷移する。撮影終了が選択されなかった場合はＳ２０９の符号化及び記録を続ける。Ｓ２１１は、撮像装置１００の電源が切られた場合は、撮像装置１００の電源を切り処理を終了する。電源が切られない場合はＳ２０１に戻る。

次に図３を参照して、Ｓ２０３において表示部１１４に表示されるローカルデコード画像の一例を説明する。図３（a）は撮像装置１００が有する撮像素子から出力される符号化前の画像（ＲＡＷ画像データ）の例を示している。図３（ｂ）はＳ２０２で表示部１１４に表示されるローカルデコード画像の例を示している。

図３（ｂ）において、領域３０１は高画質モードで符号化された画像領域を示している。また領域３０２は、標準モードで符号化された画像領域を示している。領域３０３は、低画質モードで符号化された画像領域を示している。このように撮像装置１００が備える画質モード（記録レート）の数に応じて画像を領域分割し、各領域を画質モードに応じたパラメータで符号化して表示することで、記録レートの違いをユーザに容易に伝えることができる。

枠３０４は、撮影モードの選択をユーザから受け付けるための選択受付用カーソルとして機能する。ユーザは操作部１１５により枠３０４を左右に移動させることができる。枠３０４は、領域３０１、領域３０２もしくは領域３０３に重ねて表示される。操作部１１５で左右に操作すると枠３０４が左右に動く。ユーザが操作部１１５を用いて領域を選択すると、そのときに枠３０４が重なっている画像領域に対応する撮影モードが設定される。例えば図３の場合、枠３０４が高画質レートの領域３０１に重なっているので、高画質レートが設定される。次にユーザが撮影ボタンを操作するなどして記録開始操作を行えば、上記で設定した記録レートで符号化及び記録が開始される。

以上の実施形態では、領域計算部１１７が画像を水平走査方向に３分割する場合を記載した。しかしながら、領域分割数は、２分割以上であれば３分割に限定されるものではない。また、分割は厳密に均等である必要はなく、ほぼ同等の面積を有する領域が確保できれば足りる。分割数は、記録レートの種類数に一致していればよい。また、分割方向も水平走査方向に限定されるものではなく、垂直走査方向に分割しても良い。その場合、領域計算部１１７は、水平走査方向のＭＢ数が０から１１９まで、かつ垂直走査方向のＭＢ数が０から２２までの画像領域を高画質モードで符号化するように符号量制御部１０５に指示を出す。また同様に、水平走査方向のＭＢ数が０から１１９まで、かつ垂直走査方向のＭＢ数が２３から４４までの画像領域を標準モードで符号化するように符号量制御部１０５に指示を出す。さらに水平走査方向のＭＢ数が０から１１９まで、かつ垂直走査方向のＭＢ数が４５から６７までの画像領域を低画質モードで符号化するように符号量制御部１０５に指示を出す。

このように本実施形態では、複数の撮影モードで動画撮影が可能な撮像装置１００において、撮影モード毎のローカルデコード画像を１枚の画像に含めてユーザに提供することができる。よって、ユーザは１枚の画像を見ながら、撮影モードに対応する記録レートの違いを容易に判断できるので、煩雑な操作を行わずに撮影モードを選択できる。

［実施形態２］
本実施形態では、一旦ローカルデコード画像の全体を表示し、その後にユーザから拡大操作を受け付けることを可能とする。拡大操作を受け付けると、指定領域のサイズ及び位置に基づいて撮影モード毎の領域を再計算してローカルデコード画像を改めて生成する。

図４を参照して、実施形態２に係る撮像装置１００の動作を説明する。図４は、図２のフローチャートに対して追加される本実施形態に対応する処理を示す。本実施形態ではＳ２０３とＳ２０４との間にＳ４０１からＳ４０３までが実行される。

Ｓ４０１では、制御部１１６が、ユーザ操作によって表示部１１４に表示されたローカルデコード画像から所定の拡大領域の指定を受け付けたか否かを判定する。もし、受け付けた場合は（Ｓ４０１で「ＹＥＳ」）、Ｓ４０２に遷移し、領域を再計算する。一方、拡大機能が起動されない場合は（Ｓ４０１で「ＮＯ」）、Ｓ２０４に移行する。

Ｓ４０２では、制御部１１６が領域計算部１１７を起動すると共に、領域の再計算を行う。この領域の再計算は、Ｓ４０１で受け付けた拡大領域のサイズと位置に基づいて行う。例えば、図５（ａ）に示すように、水平走査方向においてＭＢ数が４５から７４までの３０ＭＢを含む領域が、拡大領域として指定されたとする。このとき、３０ＭＢを３分割して、１０ＭＢずつが各撮影モードのローカルデコード画像に割り当てられる。従って、領域計算部１１７は、一水平走査期間について、０から５４番目までの入力ＭＢを「高画質モード」とし、５５から６４までを「標準モード」とし、６５から１１９までを「低画質モード」とする。このように領域計算部１１７は、拡大領域において各モードのローカルデコード画像が均等に含まれるように、領域を再計算する。ただし、分割には厳密な均等性が求められているわけではない。

Ｓ４０３では、再計算により再分割された領域に従って記録レートを制御して符号化処理を行い、拡大ローカルデコード画像を表示部１１４に表示する。このとき、領域計算部１１７は、Ｓ４０２で再分割された領域に基づいて、符号量制御部１０５へ記録レートの指示を出す。例えば上記の例では、符号化開始から入力されたＭＢ数が０から５４の時は、高画質モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が５５から６４の時は、標準モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が６５から１１９の時は、低画質モードで符号化するように符号量制御部１０５に指示を出す。これにより、高画質モードと低画質モードで符号化された領域はそれぞれ画像の左右４５％を占める。残り画像中央の１０％は標準モードで符号化する。符号量制御部１０５では、当該指示に応じて量子化パラメータを再設定する。

表示部１１４は、新たに生成されたローカルデコード画像のうち、指定領域に対応した画像を拡大ローカルデコード画像として表示する。表示部１１４はフレームメモリ１１０からローカルデコード画像全体を読み出すのではなく、指定領域のみを読み出す。フレームメモリ１１０に保持されているローカルデコード画像のアドレスの管理は制御部１１６が行い、拡大画像の読み出し位置も制御部１１６が計算して読み出しを行う。このとき高画質モードと標準モードと低画質モードが表示される割合が等しくなる。表示部１１４は、読み出したローカルデコード画像を拡大して表示することで、撮影する画像の一部が拡大され、かつ記録レートの違いが分かるように表示される。これにより、より詳細な部分の記録レートの違いをユーザに提示できる。

図５は、拡大機能をＯＮにした場合の表示部１１４に表示される画像を説明する図である。図５（ａ）の画像５１０は符号化用の画像において、記録レートが異なる領域を示している。図３（ｂ）と比較すると、図５（ａ）では領域の再分割により、記録レートが割当てられている領域が異なっていることが分かる。画像は水平走査方向に１２０個のＭＢで構成されているが、０から５４番目までの領域５０１は高画質モード、５５から６４番目までの領域５０２は標準モード、６５から１１９番目までの領域５０３は低画質モードでそれぞれ符号化されている。拡大領域５０４は、４５から７４番目までのＭＢが指定されている。

図５（ｂ）の画像５２０は、拡大領域５０４を表示部１１４で拡大表示した場合の、拡大ローカルデコード画像を示している。領域５０６は高画質モードで符号化された領域、領域５０７は、標準モードで符号化された領域、領域５０８は、低画質モードで符号化された領域である。枠５０５は記録レートを選択するためのカーソルである。

以上の本実施形態によれば、画像の一部を拡大して表示させて画質を確認したい場合に、ユーザが任意に指定した領域について均等に分割された記録レート毎のローカル画像を表示することができる。これにより記録レートの違いをより詳細かつ容易に判断できるので、煩雑な操作を行わずに記録レートを決定することができる。但し、指定領域の分割は厳密に均等である必要はなく、ほぼ同等の面積を有する領域が確保できれば足りる。

なお、以上の実施形態２の説明では、ユーザが任意に拡大領域を指定できることにしたが、拡大領域を予め所定の領域に固定しておき、拡大の有無のみをユーザが選択するようにしても良い。あるいは、画像から特徴抽出処理を行い、特徴領域を含む所定サイズの領域を拡大領域に指定しても良い。特徴抽出処理では、色検出を行い色の変化の大きい領域、或いは、含まれる色数が多い領域を特徴領域としてもよい。また、ハイパスフィルタ処理を行って、広域成分の多く含まれる領域を特徴量域として抽出しても良い。

［実施形態３］
本実施形態では、画像における人間の顔の存在を検出し、顔の位置情報に基づいて、顔が包含されるような拡大領域を設定する。その後、拡大領域のサイズ及び位置に基づいて撮影モード毎の領域を再計算してローカルデコード画像を改めて生成する。

本実施形態に係る撮像装置は、図１に示した構成において点線で示した顔検出部１２０を構成要素として備える点に特徴を有する。顔検出部１２０は、撮像部１０から入力される画像、或いは、いずれかの撮像モードで符号化された画像を用いて顔検出を行い、検出した顔の画像における位置情報を出力する。顔検出アルゴリズムはテンプレートを用いても良いし、或いは、エッジ検出により顔、目尻、目頭、鼻、口の輪郭を検出して顔判定を行って検出しても良い。顔検出自体は公知のアルゴリズムを利用することができるので、詳細な説明は省略する。

顔検出部１２０は、検出した顔の位置情報を領域計算部１１７に出力する。領域計算部１１７は顔の位置情報に基づいて領域計算を行い、ＭＢ数をカウントし、高画質モード、標準モード、低画質モードで符号化する領域を符号量制御部１０５に通知する。ここでは、拡大ローカルデコード画像に顔全体が表示されるように領域を計算する。例えば顔検出部１２０から入力される顔の位置情報を用いて、顔の左端、右端の中に含まれるＭＢ数をまず計算する。つまり顔領域の水平走査方向のＭＢ数をカウントする。該ＭＢ数を記録レート数で分割し、各記録レートで符号化する領域の境界を計算する。計算して得られたＭＢ数をカウントし、上述した領域計算部１１７と同様に、境界までＭＢ数をカウントすれば、符号量制御部１０５に指示を出す。制御部１１６は、顔が拡大して表示されるようにアドレスを計算し、フレームメモリからローカルデコード画像を読み出し、表示部１１４に表示させる。

図６を参照して、実施形態３に係る撮像装置１００の動作を説明する。図６は、図２のフローチャートに対して追加される本実施形態に対応する処理を示す。本実施形態ではＳ２０３とＳ２０４との間にＳ６０１からＳ６０４までが実行される。

Ｓ６０１では、顔検出部１２０が撮影画像から顔領域を検出する。もし、顔が検出された場合には（Ｓ６０１で「ＹＥＳ」）、Ｓ６０２に移行する。Ｓ６０２では、顔検出部１２０が画像における顔位置を計算して顔位置情報を生成する。顔位置情報は、水平走査方向のＭＢ番号により特定される。例えば、顔が４０番目から８７番目までのＭＢ内に含まれる場合は、顔位置情報は（４０，８７）となる。

次にＳ６０３では、制御部１１６が領域計算部１１７を起動すると共に、領域の再計算を行う。この領域の再計算は、Ｓ５０２で生成された顔位置情報に基づいて行う。例えば、図７に示すように、水平走査方向においてＭＢ数が４０から８７までの４８ＭＢを含む領域が、顔領域として指定されたとする。このとき、４８ＭＢを均等に３分割して、１６ＭＢずつが各撮影モードのローカルデコード画像に割り当てられる。ここでは、３分割が可能なＭＢサイズを例に説明しているが、領域の分割は厳密に均等である必要はなく、ほぼ同等の面積を有する領域が確保できれば足りる。領域計算部１１７は、一水平走査期間について、０から５５番目までの入力ＭＢを「高画質モード」とし、５６から７１までを「標準モード」とし、７２から１１９までを「低画質モード」とする。このように領域計算部１１７は、拡大領域において各モードのローカルデコード画像が均等に含まれるように、領域を再計算する。

なお、顔領域が均等に分割できない場合には、領域を拡張しても良い。

Ｓ６０４では、再計算された領域に従って記録レートを制御して符号化処理を行い、拡大ローカルデコード画像を表示部１１４に表示する。このとき、領域計算部１１７は、Ｓ６０３で再計算した領域に基づいて、符号量制御部１０５へ記録レートの指示を出す。例えば上記の例では、符号化開始から入力されたＭＢ数が０から５５の時は、高画質モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が５６から７１の時は、標準モードで符号化するように符号量制御部１０５に指示を出す。ＭＢ数が７２から１１９の時は、低画質モードで符号化するように符号量制御部１０５に指示を出す。

図７は、顔領域が表示部１１４に拡大表示された場合を示す図である。画像７１０は符号化用の画像において、記録レートが異なる領域を示している。画像は水平走査方向に１２０個のＭＢで構成されているが、０から５５番目までの領域７０１は高画質モード、５６から７１番目までの領域７０２は標準モード、７２から１１９番目までの領域７０３は低画質モードでそれぞれ符号化されている。顔検出領域７０４は、４０から８７番目までのＭＢが指定されている。

画像７２０は、顔検出領域７０４を表示部１１４で拡大表示した場合の、拡大ローカルデコード画像を示している。領域７０６は高画質モードで符号化された領域、領域７０７は、標準モードで符号化された領域、領域７０８は、低画質モードで符号化された領域である。枠７０５は記録レートを選択するためのカーソルである。

なお、図７では顔が画像中に１つしか存在しない場合を示したが、仮に画像中に複数の顔がある場合は、顔の大きさ、合焦具合などに基づいていずれか１つ検出して表示する。即ち、検出された顔領域が最も大きいもの、或いは、顔領域において合焦度合いの最も高いものを検出する。合焦度合いの判定方法は公知であるので個々では省略する。なお、ユーザが拡大すべき顔を選択しても良い。例えば、撮影画像において顔が検出された領域を枠で囲んで表示し、ユーザが操作部１１５を用いていずれかの枠を選択して拡大表示を希望する顔を指定することもできる。別の顔について拡大表示を行いたい場合は、同様の選択動作を繰り返して同じように拡大ローカルデコード画像を表示すればよい。また、顔検出部１２０によらず、ユーザ自身が操作部１１５を利用して画像中の顔の位置を指定しても良い。その場合は、ユーザが指定した領域について上記と同様の処理を行えばよい。

本実施形態によれば、記録レートの違い及び画質の劣化を抑えたい顔領域の符号化後の画像をより詳細に容易に判断でき、煩雑な操作を行わずに記録レートを設定することができる。

［その他の実施形態］
実施形態２では、それぞれユーザが拡大領域を指定して拡大ローカルデコード画像を表示する場合、実施形態３では顔検出部１２０により検出された顔領域について拡大ローカルデコード画像を表示する場合を個別に説明した。しかし、これらの拡大ローカルデコード画像の表示処理は統合されても良い。即ち、顔検出部１２０が顔検出を行って顔が検出された場合には顔検出領域を包含する拡大ローカルデコード画像を表示する。その一方で、顔が検出されない場合にはユーザが拡大領域を指定して、拡大ローカルデコード画像を表示することができる。また、顔検出を行うか、ユーザが任意に拡大領域を指定するかをユーザが選択可能とし、ユーザの選択結果に応じて処理を行ってもよい。また実施形態の統合においては、拡大領域をユーザが選択する代わりに、予め決定された領域や特徴抽出処理により決定された特徴領域を拡大領域とする実施形態を統合しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 被写体を撮影して符号化用の画像を生成する撮像手段と、
   前記符号化用の画像に直交変換と量子化とを施して量子化画像を生成する量子化画像生成手段と、
   前記量子化画像に逆量子化と逆直交変換とを施して、ローカルデコード画像を生成するローカルデコード画像生成手段と、
   前記量子化画像を生成する際の量子化ステップを制御するパラメータを設定する設定手段と、
   表示手段とを備え、
   前記設定手段は、前記符号化用の画像を複数の領域に分割して、前記量子化ステップが領域毎に異なるように前記パラメータを設定し、
   前記表示手段は、領域毎に設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像を表示する
   ことを特徴とする撮像装置。
2. 前記表示手段は、前記ローカルデコード画像を前記パラメータの異なる領域毎に選択可能に表示し、
   前記撮像装置は、ユーザから前記ローカルデコード画像におけるいずれかの領域の選択を受け付ける選択受付手段をさらに備え、
   前記設定手段は、前記選択受付手段が選択を受け付けた領域に対応する前記パラメータを設定し、
   前記量子化画像生成手段は、設定された前記パラメータを用いて前記量子化画像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記量子化画像をエントロピー符号化する符号化手段をさらに備え、
   前記選択を受け付けた領域に対応して設定された前記パラメータを利用して前記量子化画像生成手段が生成した前記量子化画像は、前記符号化手段によりエントロピー符号化されて、前記撮像装置に着脱可能に装着される記録媒体に格納され、
   前記選択受付手段により領域の選択を受け付けるために、領域毎に異なるパラメータを用いて前記量子化画像生成手段が生成した前記量子化画像は、前記符号化手段によるエントロピー符号化はされず、かつ、前記記録媒体にも格納されない
   ことを特徴とする請求項２に記載の撮像装置。
4. ユーザからの操作を受け付ける操作手段をさらに備え、
   前記操作手段は、前記表示手段が表示する前記ローカルデコード画像において、拡大する領域の指定を受け付け、
   前記設定手段は、前記拡大する領域として指定された領域が、ほぼ均等に分割されるように前記符号化用の画像を複数の領域に再分割して、前記量子化ステップが領域毎に異なるように前記パラメータを再設定し、
   前記表示手段は、領域毎に再設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像のうち、前記拡大する領域として指定された領域の画像を拡大して表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. ユーザからの操作を受け付ける操作手段をさらに備え、
   前記操作手段は、前記表示手段が表示する前記ローカルデコード画像を拡大表示する指示を受け付け、
   前記設定手段は、拡大表示のための前記ローカルデコード画像における所定の領域が、ほぼ均等に分割されるように前記符号化用の画像を複数の領域に再分割して、前記量子化ステップが領域毎に異なるように前記パラメータを再設定し、
   前記表示手段は、領域毎に再設定されたパラメータを用いて生成された量子化から生成された前記ローカルデコード画像のうち、前記所定の領域の画像を拡大して表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記符号化用の画像に含まれる人間の顔の位置を検出する顔検出手段をさらに備え、
   前記顔検出手段が前記顔の位置を検出した場合に、前記設定手段は、前記顔の位置に従い前記顔を包含する領域がほぼ均等に分割されるように前記符号化用の画像を複数の領域に再分割して、前記量子化ステップが領域毎に異なるように前記パラメータを再設定し、
   前記表示手段は、領域毎に再設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像のうち、前記顔を包含する領域の画像を拡大して表示する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記符号化用の画像に含まれる人間の顔の位置を指定する指定手段をさらに備え、
   前記指定手段により前記顔の位置が指定された場合に、前記設定手段は、前記顔の位置に従い前記顔を包含する領域がほぼ均等に分割されるように前記符号化用の画像を複数の領域に再分割して、前記量子化ステップが領域毎に異なるように前記パラメータを再設定し、
   前記表示手段は、領域毎に再設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像のうち、前記顔を包含する領域の画像を拡大して表示する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記設定手段は、前記符号化用の画像を水平走査方向、又は、垂直走査方向に分割することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 被写体を撮影して符号化用の画像を生成する撮像手段と、
   前記符号化用の画像に直交変換と量子化とを施して量子化画像を生成する量子化画像生成手段と、
   前記量子化画像に逆量子化と逆直交変換とを施して、ローカルデコード画像を生成するローカルデコード画像生成手段と、
   前記量子化画像を生成する際の量子化ステップを制御するパラメータを設定する設定手段と、
   表示手段とを備える撮像装置の制御方法であって、
   前記設定手段が、前記符号化用の画像を複数の領域に分割して、前記量子化ステップが領域毎に異なるように前記パラメータを設定する工程と、
   前記表示手段が、領域毎に設定されたパラメータを用いて生成された量子化画像から生成された前記ローカルデコード画像を表示する工程と
   を備えることを特徴とする撮像装置の制御方法。
10. コンピュータを請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするコンピュータプログラム。