JP2015115903A - 撮像装置、撮像装置の制御方法、コンピュータプログラム - Google Patents

Abstract

【課題】 ブロックサイズが可変の圧縮方式であっても画像変動時の画質向上および符号化効率向上を可能とする。
【解決手段】被写体を撮像して得られた動画像を複数のブロックに分割してブロックごとに符号化する撮像装置であって、動画像を分割するブロックサイズを複数のブロックサイズのうちから決定する決定手段と、決定されたブロックサイズにより動画像を分割する分割手段と、分割されたブロックごとに符号化処理を行う符号化手段とを備え、決定手段は動画像における画像の変動の大きさに応じて、動画像における該撮像装置のユーザの関心領域を分割するためのブロックサイズを該関心領域以外の領域を分割するためのブロックサイズも小さいサイズとする第１のパターンと、動画像を複数のブロックサイズのうち最大のブロックサイズにより分割する第２のパターンとで切り替えて、動画像を分割するブロックサイズを決定する。
【選択図】 図１

Description

本発明は、撮像装置、撮像装置の制御方法、コンピュータプログラムに関する。
に関する。

デジタルビデオカメラやデジタルカメラなどの撮像装置では、ＭＰＥＧ２方式やＨ．２６４方式で動画像を圧縮して記録する方法を利用できるが、近年では、より高効率な圧縮方式、例えばＨＥＶＣ方式などが開発されている。

従来の圧縮方式では、符号化はマクロブロックと呼ばれる画像分割単位で処理され、マクロブロック毎に動き予測や変換処理、量子化処理が行われていた。これに対しＨＥＶＣ方式では、動き予測や変換処理、量子化処理を行うブロックサイズを可変にすることで、符号化効率の更なる向上を実現している。

この符号化効率は、量子化処理で使用される「量子化特性」と呼ばれる量子化パラメータで制御が可能であるが、圧縮率を高く制御すると一般的に画質は劣化する。量子化パラメータはマクロブロック毎に設定可能であり、撮影画像の特定部分の量子化パラメータを可変にすることによって、カメラのズーム動作やパニング動作、チルト動作時等の画像の変動時にも画質向上を実現する方法が特許文献１で提案されている。

特開平９−２１４９６５号公報

しかしながら、上記提案方法は、マクロブロックのサイズが固定された圧縮方式における画質向上方法の提案であって、ブロックサイズが可変の圧縮方式については考慮されていない。

そこで本発明では、ブロックサイズが可変の圧縮方式であっても画像変動時の画質向上および符号化効率向上を可能とする技術を提供することを目的とする。

上記の課題を解決するための本発明は、被写体を撮像して得られた動画像を複数のブロックに分割してブロックごとに符号化する撮像装置であって、
前記動画像を分割するブロックサイズを複数のブロックサイズのうちから決定する決定手段と、
前記決定されたブロックサイズにより前記動画像を分割する分割手段と、
前記分割されたブロックごとに符号化処理を行う符号化手段と
を備え、
前記決定手段は前記動画像における画像の変動の大きさに応じて、前記動画像における該撮像装置のユーザの関心領域を分割するためのブロックサイズを該関心領域以外の領域を分割するためのブロックサイズも小さいサイズとする第１のパターンと、前記動画像を前記複数のブロックサイズのうち最大のブロックサイズにより分割する第２のパターンとで切り替えて、前記動画像を分割するブロックサイズを決定することを特徴とする。

本発明によれば、ブロックサイズが可変の圧縮方式においても、画像変動時に符号化効率を上げながら画質も向上させることができる。

発明の実施形態に対応する撮像装置１００として、（Ａ）は実施形態１に対応し、（Ｂ）は実施形態２に対応する機能構成の一例を示すブロック図。 ＨＥＶＣ方式におけるブロック分割例を説明するための図。 発明の実施形態１に対応する撮像装置１００の動作の一例を示すフローチャート。 発明の実施形態２に対応する撮像装置１００の動作の一例を示すフローチャート。 発明の実施形態１に対応するブロック分割例を説明するための図。 発明の実施形態２に対応するブロック分割例を説明するための図。

以下に説明する発明の実施形態では、符号化ブロック分割方法の決定を、撮影により生成される動画像が変動する速度（変動速度）に応じて行う。

発明の実施形態として、撮像装置としてのデジタルカメラまたはデジタルビデオカメラにおいてズームイン動作やズームアウト動作といったズーム動作を行うことにより生ずる画像の変動に基づいて符号化ブロックの分割方法を決定することができる。以下、当該実施形態を発明の第１の実施形態（実施形態１）として、その内容を添付の図面を参照してより詳細に説明する。

［実施形態１］
まず、図１（Ａ）を参照して本実施形態に対応する撮像装置１００の構成及び動作を説明する。図１（Ａ）は、実施形態１に対応する撮像装置１００の機能構成の一例を示す図である。図１（Ａ）の撮像装置１００において、撮像素子や不図示の表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、撮像装置１００は、デジタルカメラやデジタルビデオカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末など、撮像機能を有する任意の情報処理端末或いは装置とすることができる。

センサ１０１は、ＣＣＤやＣＭＯＳなどの撮像素子であり、撮影レンズ群１００で入射光量や合焦の調節を行い、結像された撮影画像を光電変換して、さらにアナログ・デジタル変換したデジタル信号を出力する。センサ１００の各画素には、R（赤）、G（緑）、B（青）の何れかのカラーフィルタが所定の配列、例えばベイヤー配列やハニカム配列で配置されている。また、高速出力のために、数個の画素を加算して１個の画素として出力画像を縮小する画素加算処理を行ってＲＧＢ画像信号を出力する場合もある。

現像処理部１０２は、センサ１０１からＲＧＢ画像信号を受信し、まずＲＧＢのオフセット調整、ゲイン調整、ガンマ補正処理を行う。ガンマ補正は、センサ１０１やレンズ群１００などの特性を考慮して、ビデオカメラユーザが所望する記録画像を生成するための特性で処理する。ガンマ曲線を調整することによって、ＴＶモニターで表示するための記録画像の生成や、映画フィルムの質感や階調を再現した記録画像の生成が可能である。次にＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換して出力する。また、レンズの歪曲収差の補正処理や、撮像装置１００の防振処理やノイズリダクション処理なども行う。

レンズ制御・ズーム量検出部１０３は、入射光量や合焦の調節制御を行い、また、ズーム倍率の制御を行う。なお、光学式ズームだけでなく、いわゆる画像処理による電子ズームを含めることもできる。ブロックサイズ配置決定部１０４は、レンズ制御・ズーム量検出部１０３からのズーム量情報を元に、符号化ブロックサイズと画面内ブロック分割を決定する。ブロック分割部１０５は、図２（Ａ）に示すように画面を同じ大きさの第一の符号化ブロックに分割し、ブロックサイズ配置決定部１０４の指示に従い、図２（Ｂ）に示すように第一の符号化ブロックをさらに第二の符号化ブロックに分割して画像信号を出力する。ＨＥＶＣでは第一の符号化ブロックをＣｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（ＣＴＵ）、第二の符号化ブロックをＣｏｄｉｎｇ Ｕｎｉｔ（ＣＵ）と呼ぶ。なお、ＨＥＶＣにおいてＣＴＵが取り得るブロックサイズには、６４ｘ６４、３２ｘ３２、１６ｘ１６があり、ＣＵが取り得るブロックサイズには、６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８がある。ＨＥＶＣでは、動き補償処理、イントラ予測処理、直交変換処理、量子化処理、エントロピー符号化処理は、第二の符号化ブロック内で実行される。図２（Ａ）では、６４ｘ６４画素サイズのブロックが３２ｘ３２画素サイズのブロックに４分割されている様子を示している。図２（Ｂ）では、３２ｘ３２画素サイズのブロックが１６ｘ１６画素サイズと８ｘ８画素サイズのブロックに分割されている。

予測部１０６は、ブロック分割１０５から入力された画像信号と、メモリ１０９に格納された後述する符号化済み画像信号から、画面内予測または動き検出を含む画面間予測処理のどちらか最適な予測方式を選択して予測差分信号を生成する。予測処理は、図２（Ｃ）に示すように、第二の符号化ブロックをさらに予測処理に最適なブロックサイズに分割して行う。ＨＥＶＣでは予測処理の単位ブロックをＰｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（ＰＵ）と呼ぶ。例えば、ＣＵのサイズを２Ｎ×２Ｎとした場合、動き補償処理のためには２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ等のサイズを有するブロックパターンが選択される。また、イントラ予測処理の場合、２Ｎ×２Ｎ、Ｎ×Ｎ（Ｎ＝４）のサイズを有するブロックパターンが選択される。図２（Ｃ）では、３２ｘ３２画素サイズのブロックが、８ｘ８、１６ｘ８、４ｘ４の画素サイズのブロックに分割されている。

変換・量子化部１０７は、図２（Ｄ）に示すように、第二の符号化ブロックをさらに変換処理に最適なブロックサイズに分割して直交変換処理及び量子化処理を行う。ＨＥＶＣでは、これらの処理単位のブロックをＴｒａｎｓｆｏｒｍ Ｕｎｉｔ（ＴＵ）と呼ぶ。ＨＥＶＣにおいてＴＵが取り得るブロックサイズには、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４の４種類がある。図２（Ｄ）では、３２ｘ３２画素サイズのブロックが１６ｘ１６、８ｘ８、４ｘ４の画素サイズのブロックに分割されている。直交変換された変換係数は、後述する符号量制御１１１から指示された量子化パラメータで量子化処理され、量子化データをエントロピー符号化１１０と局所復号部１０８に出力する。

局所復号部１０８は、入力された量子化データに対して逆量子化処理、逆直交変換処理を順に行い、予測１０６から入力される予測画像を加算して復号化処理を行う。復号化データは、さらにループフィルタ処理を行い、メモリ１０９に格納する。

エントロピー符号化部１１０は、入力された量子化データに対して符号化パラメータの生起確率を近傍の符号化状態に基づいて動的に更新するＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）と呼ばれる算術符号化手法で二値データに変換する。符号量制御部１１１は、エントロピー符号化後の発生符号量を元に量子化パラメータを生成し、変換・量子化部１０７に供給する。以上の処理部により画像符号化装置が構成されている。

次に、図３のフローチャートを参照して、本実施形態におけるブロックサイズの決定処理を説明する。該フローチャートに対応する処理は、例えば、ブロックサイズ配置決定部１０４として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、撮影が開始されると、Ｓ３０１において、レンズ制御・ズーム量検出部１０３がズーム量情報の値の変化に基づきズーム動作の有無を検出する。ズーム動作中であれば（Ｓ３０１で「ＹＥＳ」）、Ｓ３０２に移行する。一方、ズーム動作していない場合（Ｓ３０１で「ＮＯ」）、Ｓ３０５においてブロックサイズ配置決定部１０４に入力された画像から特徴抽出を行い、画像の特徴に応じたＣＵ分割サイズと配置を決定し、その後、Ｓ３０６に移行する。

Ｓ３０５における処理につき、例えば、高周波成分の多い画像については、ブロックサイズを小さく設定し、高周波成分が少なく平坦な画像についてはブロックサイズを大きく設定することができる。また、使用する光学系との関連で入力画像中の情報欠損領域や光量落ち領域、歪曲の強い領域等が存在する場合、これらの領域についてはブロックサイズを大きく設定して符号量を削減することができる。なお、動きベクトルや量子化パラメータは、ブロックあたりに１つ含まれるので、ブロックサイズを大きくすると、細かく分割した場合と比較して動きベクトルや量子化パラメータの数を削減できるため、符号量を削減することができる。一方、ブロックサイズを細かくすると、各ブロックに適した動きベクトルや量子化幅を設定可能となる。このように、入力画像の特徴に応じた適切なブロックサイズを選択することで、符号化効率が向上し、高画質化した符号化ストリームを生成することができる。

Ｓ３０２からＳ３０４では、ズーム量情報の値の変動に基づくズーム変動速度を所定の閾値と比較してズーム変動速度の「速さ」を判定し、判定結果に応じてＣＵ分割サイズと配置を変更する。一般にズーム動作は、特定画素または特定画像領域を中心として同心円方向に画像を拡大、縮小する動作であって、ズーム中心となる領域がユーザの関心領域となっている。但し、関心領域をユーザが感心のある被写体が撮影されている領域として捉えた場合、ズームの倍率に応じて被写体が画像に占める割合が変化するため、それに応じて関心領域の大きさも変わる。動画像の生成・記録処理においては、関心領域の画像の品質を高く保ち、関心領域以外の周辺領域については画像の品質よりも符号化効率を優先してもよく、当該思想に基づき画像内でブロックサイズの割当を決定できる。しかし、ズーム変動速度によってはユーザが画質を認識しにくい場合があるため、かならずしも上記の基本的なブロック割当パターンを採用しなくてもよい。本実施形態では、この点に着目し、ズーム変動速度に応じて大きなブロックサイズを適応的に割り当てる手法を採用している。

具体的に、ズーム変動速度が該閾値以上で、所定の速度以上となる場合にズーム動作が「速い」と判定でき（Ｓ３０２で「ＹＥＳ」）、Ｓ３０３において、図５（Ａ）の中段に示す図のように、画像全体を最大サイズ（６４ｘ６４画素サイズ）のＣＵで分割する。これは、ズーム動作が速い場合、画像を認識することは難しく、また、品質の良い画像を記録することも困難であり、なるべく符号化効率を高めるためにＣＵサイズを大きく設定するためである。

一方、ズーム変動速度が閾値より小さい場合にズーム動作が「遅い」とできる（Ｓ３０２で「ＮＯ」）。この場合Ｓ３０４において図５（Ｂ）のズーム開始時点の図で示すように画像中心部分を細かいＣＵサイズ、画像周辺を粗いＣＵサイズとなるようブロックサイズ配置決定部１０４とブロック分割部１０５でブロック分割処理を行う。例えば、画像中心部分は最小のＣＵサイズとし、それ以外を残りのＣＵサイズとすることができる。ズーム動作が遅い場合、ユーザは画像を認識をすることが可能である。そして、ズーム中心はユーザにとって意味のある関心領域であるので品質の良い画像を記録すべくブロックサイズを小さくする。その一方、周辺領域はズームインにより撮像範囲から消えていったり、撮像範囲に新たに含まれることになる部分であるが、中心部分と比べると画像が変動する割合も高くユーザにとっては重要度が低いと推定される。そこで、周辺画素で構成される領域については符号化効率を高めるためにＣＵサイズを大き目に設定する。ブロック分割処理の後、Ｓ３０６に移行する。

図５（Ａ）及び（Ｂ）について詳細に説明しておくと、ズームイン又はズームアウトの開始時点、終了時点においてはズーム動作が遅くなるため、画像中心部分を細かいＣＵサイズ、画像周辺を粗いＣＵサイズとなる第１のパターンで分割を行う。そして、ズーム動作継続中のズーム変動速度に応じてそのまま第１のパターンで分割を行うか、或いは、ズーム変動速度が速い場合には全体を最大サイズのＣＵで均一に分割する第２のパターンを採用する。なお、第２のパターンについて、全体を均一に分割するパターンに限定されることなく、例えば周辺を最大サイズで分割し、中心部分を２番目に大きいサイズのブロックで分割する（第３のパターン）ようにしてもよい。

このような第３のパターンは、ズーム動作の速度を判定する際に用いる閾値を細分化して、他のパターンと併用して段階的にパターンを切り替えるために用いてもよい。例えば、ズーム動作速度を３つの速度領域に分類し、最も遅い速度領域に属する場合には第１のパターンを採用する。次に、２番目に遅い（中央の）速度領域に属する場合には、上記第３のパターンを採用することができる。さらに、一番速い速度領域に属する場合には第２のパターンを採用することができる。

また、ＣＵが取り得るサイズは６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８の４種類であるので、第１のパターンにおいては４種類全てを使用して、ズームの中心から周辺に向かってブロックサイズが増加していくようにパターンを設定してもよい。一方、ズーム動作の速度が上昇するに従い、使用するブロックサイズの数をサイズの小さい方から減らしていき、ズーム変動速度を４段階に分けてパターンを設定してもよい。この場合、ズーム変動速度が最も遅い速度領域では４種類全てのブロックサイズを使用する一方、変動速度が上昇するにつれて８ｘ８、１６ｘ１６、３２ｘ３２の順で使用されなくなり、最終的に６４ｘ６４のみとなる。

Ｓ３０６では、分割されたＣＵを元に予測部１０６が予測処理を行う。まずは画面内予測及び動き検出を含む画面間予測処理のうち、いずれか一方の予測方式を選択し、ＰＵサイズを決定する。予測方式の選択基準は、例えば各予測方式における予測誤差がより小さくなる方式とすることができる。画面内予測の場合のＰＵサイズは、ＣＵと同じサイズまたは４分割したサイズである。一方の画面間予測の場合、ＣＵ内部を不均一に矩形分割することによってＣＵ内に異なる動き領域が混在する場合の予測効率を高めることができるので、動きベクトルの探索結果からＰＵサイズを決定する。次に、選択した予測方式とＰＵサイズに基づいて予測差分信号を生成する。

次にＳ３０７において、分割されたＣＵに基づき変換・量子化部１０７で直交変換処理と量子化処理を行う。変換・量子化部１０７は、入力された予測差分信号の局所的な性質に応じて変換符号化効率が高まるようにＴＵサイズを決定する。ＨＥＶＣでは、ＣＵを元にしてＴＵサイズを決めるモードと、ＰＵサイズを元にしてＴＵサイズを決めるモードとがある。変換・量子化部１０７は、選択したＴＵサイズに基づきまずは直交変換処理を行い、変換係数を算出する。次に、変換係数を量子化パラメータに応じて量子化することによって情報量を圧縮する。次にＳ３０８において、エントロピー符号化部１１０がＣＡＢＡＣ手法で符号化データを生成する。以上のＳ３０１からＳ３０８までの処理は、ズーム動作中は繰り返して実行される（Ｓ３０９で「ＮＯ」）。

なお、ズーム動作時のＣＵサイズと分割配置は、図５（Ａ）や（Ｂ）に示すようにズーム動作開始時点と終了時点とで同じでもよいし、図５（Ｃ）や（Ｄ）に示すようにズーム動作開始時点と終了時点とで変更してもよい。

図５（Ｃ）、（Ｄ）に示す例では、ズームイン後又はズームアウト前の分割配置において画像の中心部にサイズの小さいブロックをより多く割り当てている。これは、ズームイン後やズームアウト前はユーザの関心領域が画像の中心部分に拡大表示されることとなるので、拡大された関心領域についてより細かいブロックを割り当てて符号化を行って高品質の画像を提供するためである。一方、ズームイン前又はズームアウト後の分割配置において小さいブロックの割当て数が減少している。これは、ズームイン前やズームアウト後はユーザの関心領域が画像の中心部分に相対的に縮小表示されることとなるので、関心領域が画像全体に占める割合が減った分、関心領域に割り当てられる細かいブロックの数が減り、その周辺画素には符号化効率を考慮してよりサイズ大きいサイズのブロックが割り当てられることとなる。

以上の本実施形態によれば、撮像装置１００でＨＥＶＣ方式により動画像の予測符号化を行って画像記録を行う際に、ズーム動作のズーム変動速度に応じて適応的に符号化ブロック分割パターンを決定することができる。これにより、ズーム動作の制御状況に応じた品質の動画像を生成して画質の向上を図りつつ、同時に符号化効率を向上させることができる。

［実施形態２］
次に発明の第２の実施形態（実施形態２）について説明する。上記実施形態１では、撮影により生成される動画像の変動がズーム動作に基づく場合に、ズーム変動速度に基づき符号化ブロック分割方法を決定した。これに対し本実施形態２では、符号化ブロック分割方法の決定を被写体が動画像内で移動する移動速度に応じて行う場合について説明する。当該被写体の移動は撮像装置１００としてのデジタルカメラまたはデジタルビデオカメラのパニング動作や、チルト動作、或いは被写体自体の移動に基づくものである。以下の本実施形態の説明では、特にパニング動作に基づく被写体の移動を例にして説明する。なお、パニング動作とチルト動作とは動作方向が、水平方向の動作であるパニング動作に対し、チルト動作は垂直動作である点を除けば基本的には同じである。また、被写体自体の移動も、撮像装置１００と被写体との相対的な位置関係の変化という意味でパニング動作やチルト動作と同様である。よって、以下に説明する本実施形態はチルト動作や被写体自体が移動する場合にも適用が可能である。

まず、図１（Ｂ）を参照して本実施形態に対応する撮像装置１００の構成及び動作を説明する。図１（Ｂ）は、実施形態２に対応する撮像装置１００の機能構成の一例を示す図である。実施形態１と異なる機能ブロックはパニング・チルト検出部１１３だけであるので、本実施形態では他の構成ブロックの説明を省略する。図１（Ｂ）の撮像装置１００におけるパニング・チルト検出部１１３は、撮像装置１００の揺れをジャイロセンサ（角速度センサ）などによって検出し、撮像装置１００の振動に基づき水平方向のパニング動作や、垂直方向のチルト動作を検出することができる。

次に、本実施形態の特徴であるブロック構成に関して図４の動作タイミングチャートに従いながら説明する。該フローチャートに対応する処理は、例えば、ブロックサイズ配置決定部１０４として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず撮影が開始されるとＳ４０１において、パニング・チルト検出部１１３がパニング動作の有無とパニング方向を検出する。これは被写体の移動を検出することと実質的に同義である。このとき合わせて、パニング動作におけるパニング変動速度（撮像装置１００の水平方向での移動速度）を測定しておく。なお、当該パニング変動速度は被写体の画像内での移動速度と見なすこともできる。当該パニング動作の有無及び方向の検出方法や変動速度の計測方法は公知の手法を用いればよいので、ここでの詳細な説明は省略する。パニング動作中であれば（Ｓ４０１で「ＹＥＳ」）、Ｓ４０２に移行する。一方、パニング動作していない場合（Ｓ４０１で「ＮＯ」）、Ｓ４０５において、ブロックサイズ配置決定部１０４に入力された画像から特徴抽出を行い、画像の特徴に応じたＣＵ分割サイズと配置を決定する。当該抽出された特徴に応じたブロックサイズの決定処理の内容は、Ｓ３０５におけるものと同様である。その後Ｓ４０６に移行する。

Ｓ４０２からＳ４０４では、パニング変動速度を所定の閾値と比較して、パニング変動速度の「速さ」を判定し、判定結果に応じてＣＵ分割サイズと配置を変更する。一般にパニング動作は、画面全体が水平方向（右方向、または、左方向）に移動する動作であって、新たに画像内に登場する被写体が写っている領域がユーザの関心領域となる。よって、パニングの方向の側、即ち、右方向にパンしている場合には画像の右側の領域、左方向にパンしている場合には画像の左側の領域の画像の品質を高く保ち、逆側の領域については画像の品質よりも符号化効率を優先してもよい。基本的にはこのような思想に基づき、画像内でブロックサイズを割り当てることができる。しかし、パニング変動速度によってはユーザが画質を認識しにくい場合があるため、かならずしも上記の基本的なブロック割当パターンを採用しなくてもよい。本実施形態では、この点に着目し、パニング変動速度に応じて大きなブロックサイズを適応的に割り当てる手法を採用している。

具体的にパニング変動速度が該閾値以上で、所定の速度以上の場合にパニング動作が「速い」と判定でき（Ｓ４０２で「ＹＥＳ」）、Ｓ４０３において図６（Ｃ）で示すように、画像全体を最大サイズ（６４ｘ６４画素サイズ）のＣＵで分割する。これは、パニング動作が速い場合は、画像を認識することは難しく品質の良い画像を記録することも困難であり、なるべく符号化効率を高めるためにＣＵサイズを大きく設定するためである。

一方、パニング変動速度が閾値より小さい場合にパニング動作が「遅い」と判定できる（Ｓ４０２で「ＮＯ」）。この場合Ｓ４０４において、左にパニング動作中であれば図６（Ａ）で示すように画像左側部分を細かいＣＵサイズとし、右側に向かうにつれてＣＵサイズを大きくしていく。そして、画面から消えていく画像右側部分がより粗いＣＵサイズとなるようにブロックサイズ配置決定部１０４とブロック分割部１０５でブロック分割処理を行う。また、右にパニング動作中であれば、Ｓ４０４において図６（Ｂ）で示すように画像右部分を細かいＣＵサイズとし、左側に向かうにつれてＣＵサイズを大きくしていく。そして、画面から消えていく画像左側部分がより粗いＣＵサイズとなるようにブロックサイズ配置決定部１０４とブロック分割部１０５でブロック分割処理を行う。このようにパニング動作では、画面に新たに現れる（入ってくる）被写体像がユーザにとって意味のある関心領域であるので、品質の良い画像を記録すべくブロックサイズを小さくする。その一方、画面から消えていく被写体像はユーザにとっては重要度が高くないので、符号化効率を高めるためにＣＵサイズを大き目に設定する。

図６（Ａ）及び（Ｂ）について更に説明すると、ここでは一例としてＣＵサイズを３段階で変化させているが、ＣＵが取り得るサイズは６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８の４種類であるので４段階に分けてもよい。その場合、例えば右方向にパニングしている場合画像の右側領域を８ｘ８のＣＵサイズで分割し、左側領域に向かうに従ってＣＵサイズを１６ｘ１６、３２ｘ３２、６４ｘ６４と増加させていくことができる。

また、ＣＵサイズを変化させる段階は例えばパニング変動速度に応じて異ならせてもよい。例えば、パニング変動速度が遅い場合には画像の内容をより把握しやすくなるため、ＣＵサイズの変化を滑らかにすべく４種類の全てのサイズを用いてブロック分割を行うことができる。一方、パニング変動速度が速くなって行くに従い画像の内容の把握が難しくなっていくため、使用するＣＵサイズの種類を減らすことができる。その際、より小さいＣＵサイズ（最初は最小の８ｘ８画素サイズ）から省略していき、最終的に最大のサイズ（６４ｘ６４画素サイズ）のみを使うようにしてもよい。これはパニング動作の速度を判定する際に用いる閾値を細分化して、パニング動作速度を複数の速度領域に分類することで実現できる。例えば、閾値を３つ用意して４つの速度領域を設定した場合、速度の遅い順に４種類、３種類、２種類、１種類とすることができる。

以降、Ｓ４０６からＳ４０９までの処理は図３のＳ３０６からＳ３０９までの処理と同様であるので説明を省略する。以上のＳ４０１からＳ４０８までの処理は、パニング動作中は繰り返して実行される（Ｓ４０９で「ＮＯ」）。

なお、本実施形態のＣＵ分割方法は、ビデオカメラがパンやチルト動作により撮像装置１００の移動が検出された場合だけでなく、被写体自体の動きに応じて実行してもよい。例えば、ＨＥＶＣにおける動き補償のために動き検出を行う場合、検出された動きベクトルの大きさを上記のパニング動作の変動速度の大きさと同様に扱うことで上記分割処理を実施することができる。この場合、動きベクトルにより特定される被写体の動きが左方向の場合に図６（Ａ）に示すＣＵ分割パターンを適用することができる。同様に、動きベクトルにより特定される被写体の動きが右方向の場合に図６（Ｂ）に示すＣＵ分割パターンを適用することができる。

以上の本実施形態によれば、撮像装置１００でＨＥＶＣ方式により動画像の予測符号化を行って画像記録を行う際に、パニング動作やチルト動作における変動速度や、被写体の移動速度に応じて適応的に符号化ブロック分割パターンを決定することができる。また、撮像装置１００が斜めの方向に移動した場合であっても、上記と同様にして移動方向に応じて分割ブロックサイズを決定することができる。これにより、撮像装置１００或いは被写体自体が移動する場合であっても画質の向上を図りつつ、同時に符号化効率を向上させることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. 被写体を撮像して得られた動画像を複数のブロックに分割してブロックごとに符号化する撮像装置であって、
   前記動画像を分割するブロックサイズを複数のブロックサイズのうちから決定する決定手段と、
   前記決定されたブロックサイズにより前記動画像を分割する分割手段と、
   前記分割されたブロックごとに符号化処理を行う符号化手段と
   を備え、
   前記決定手段は前記動画像における画像の変動の大きさに応じて、前記動画像における該撮像装置のユーザの関心領域を分割するためのブロックサイズを該関心領域以外の領域を分割するためのブロックサイズも小さいサイズとする第１のパターンと、前記動画像を前記複数のブロックサイズのうち最大のブロックサイズにより分割する第２のパターンとで切り替えて、前記動画像を分割するブロックサイズを決定することを特徴とする撮像装置。
2. 前記画像の変動の大きさは、前記被写体を撮像する際にズーム動作が実行されていた場合、該ズーム動作の変動速度に基づき、
   前記決定手段は、
   前記変動速度が所定の速度以上の場合に前記第２のパターンに基づき前記ブロックサイズを決定し、
   前記変動速度が前記所定の速度より小さい場合に前記第１のパターンに基づき前記ブロックサイズを決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記第１のパターンにおけるブロックサイズを決定する場合に、前記ズーム動作におけるズーム中心を前記関心領域とすることを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は前記第１のパターンにおいて、
   前記関心領域を分割するためのブロックサイズを前記複数のブロックサイズのうち最小のブロックサイズとし、
   前記関心領域以外の領域を分割するためのブロックサイズを、画像の周辺に行くに従って、前記最小のブロックサイズを除く前記複数のブロックサイズの中で、より大きなブロックサイズとすることを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は前記第１のパターンにおいて、
   前記関心領域以外の領域を分割するためのブロックサイズに、前記複数のブロックサイズのうち少なくとも前記最大のブロックサイズが含まれるようにし、
   前記関心領域を分割するためのブロックサイズを、前記複数のブロックサイズのうち前記関心領域以外の領域に割り当てられていないブロックサイズのうち、より大きいブロックサイズとすることを特徴とする請求項３に記載の撮像装置。
6. 前記決定手段は、前記関心領域以外の領域を分割するためのブロックサイズを、画像の周辺に行くに従ってより大きなブロックサイズとすることを特徴とする請求項５に記載の撮像装置。
7. 前記決定手段は前記第１のパターンにおいて、前記変動速度が遅くなるにつれ、前記関心領域を分割するためのブロックサイズを前記複数のブロックサイズの中で、より小さいブロックサイズとすることを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記決定手段は、前記ズーム動作が終了した場合に、前記第１のパターンに基づいて、前記動画像を分割するブロックサイズを決定することを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
9. 前記ズーム動作がズームイン動作である場合、前記決定手段は、前記ズームイン動作の終了時点における前記第１のパターンにおける前記関心領域の大きさを、前記ズームイン動作の開始時点における前記関心領域の大きさよりも大きく設定し、
   前記ズーム動作がズームアウト動作である場合、前記決定手段は、前記ズームアウト動作の開始時点における前記第１のパターンにおける前記関心領域の大きさを、前記ズームアウト動作の終了時点における前記関心領域の大きさよりも大きく設定する
   ことを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
10. 前記画像の変動の大きさは、前記動画像における被写体の移動の速度に基づき、
    前記決定手段は前記第１のパターンにおいて、
    前記被写体の移動速度が所定の速度以上の場合に前記第２のパターンに基づき前記ブロックサイズを決定し、
    前記被写体の移動速度が前記所定の速度より小さい場合に前記第１のパターンに基づき前記ブロックサイズを決定する
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記決定手段は、前記第１のパターンにおけるブロックサイズを決定する場合に、前記動画像において前記被写体の移動方向に基づき被写体が前記動画像に現れる側の領域を前記関心領域とすることを特徴とする請求項１０に記載の撮像装置。
12. 前記決定手段は前記第１のパターンにおいて、
    前記関心領域を分割するためのブロックサイズを前記複数のブロックサイズのうち最小のブロックサイズとし、
    前記関心領域以外の領域を分割するためのブロックサイズを、前記関心領域から離れるに従って、前記最小のブロックサイズを除く前記複数のブロックサイズの中で、より大きなブロックサイズとすることを特徴とする請求項１１に記載の撮像装置。
13. 前記決定手段は前記第１のパターンにおいて、
    前記関心領域以外の領域を分割するためのブロックサイズに、前記複数のブロックサイズのうち少なくとも前記最大のブロックサイズが含まれるようにし、
    前記関心領域を分割するためのブロックサイズを、前記複数のブロックサイズのうち前記関心領域以外の領域に割り当てられていないブロックサイズの中で、より大きいブロックサイズとすることを特徴とする請求項１１に記載の撮像装置。
14. 前記決定手段は、前記関心領域以外の領域におけるブロックサイズを、前記関心領域から離れる従ってより大きなブロックサイズとすることを特徴とする請求項１３に記載の撮像装置。
15. 前記決定手段は、前記被写体の移動速度が遅くなるにつれ、前記関心領域を分割するためのブロックサイズを、前記複数のブロックサイズの中で、より小さいブロックサイズとすることを特徴とする請求項１０乃至１４のいずれか１項に記載の撮像装置。
16. 前記動画像における被写体の移動は、前記撮像装置のパニング動作、前記撮像装置のチルト動作、及び、前記被写体自体の移動のうち少なくともいずれかに基づくことを特徴とする請求項１０乃至１５のいずれか１項に記載の撮像装置。
17. 被写体を撮像して得られた動画像を複数のブロックに分割してブロックごとに符号化する撮像装置の制御方法であって、
    決定手段が、前記動画像を分割するブロックサイズを複数のブロックサイズのうちから決定する決定工程と、
    分割手段が、前記決定されたブロックサイズにより前記動画像を分割する分割工程と、
    符号化手段が、前記分割されたブロックごとに符号化処理を行う符号化工程と
    を備え、
    前記決定工程では、前記動画像における画像の変動の大きさに応じて、前記動画像における該撮像装置のユーザの関心領域を分割するためのブロックサイズを該関心領域以外の領域を分割するためのブロックサイズも小さいサイズとする第１のパターンと、前記動画像を前記複数のブロックサイズのうち最大のブロックサイズにより分割する第２のパターンとで切り替えることにより、前記動画像を分割するブロックサイズを決定することを特徴とする撮像装置の制御方法。
18. コンピュータを請求項１乃至１６のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

Images