JP6465705B2 - 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置 - Google Patents

Description

本発明は、動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置に関する。

特許文献１は、流し撮りにおいて、被写体の移動速度とパンニング速度に差に起因する主被写体のぶれを防止するために、被写体の移動速度とパンニング速度の差を像振れ補正レンズにより補正する方法を提案している。

特開２００６−３１７８４８号公報

特許文献１の方法を適用するには、主被写体の像面上の移動量を任意のフレーム間の動きベクトルを用いて求めることが必要となる。しかしながら、流し撮りを行う主被写体の領域は画面全体に対して占める割合が小さい場合が多く、その動きベクトルを特定することが困難である。特に、主被写体が近い又は速い場合、即ち、パンニング角速度が速い場合は、この問題は顕著となる。なお、この課題は、カメラを左右に振るパンニングだけでなく、カメラを上下に振るチルティングにも当てはまる。

そこで、本発明は、主被写体の動きベクトルの検出を容易にすることが可能な動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置を提供することを例示的な目的とする。

本発明の動きベクトル検出装置は、フレーム画像における複数の領域の動きベクトルの情報に基づいて、該動きベクトルの大きさと度数との関係を示すヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段が作成した前記ヒストグラムにおける度数の閾値を設定する設定手段と、前記ヒストグラムにおいて、前記設定手段が設定した閾値以上の度数を有する前記動きベクトルの大きさの情報に基づいて、動体の動きベクトルを検出する検出手段と、を有し、前記設定手段は、前記フレーム画像を得る際の撮像装置が第１角速度で回転されたときの前記閾値よりも、前記撮像装置が前記第１角速度よりも高い第２角速度で回転されたときの前記閾値を低く設定することを特徴とする。

本発明によれば、主被写体の動きベクトルの検出を容易にすることが可能な動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置を提供することができる。

本発明の実施形態に係る撮像装置の全体構成図である。（実施例１、２） 図１に示す撮像装置が実行する流し撮りアシスト制御を説明するフローチャートである。（実施例１、２） 図２に示すＳ２０３の主被写体角速度の算出方法を説明するための図である。（実施例１、２） 図２に示すＳ２０３の詳細を説明するフローチャートである。（実施例１） 図１に示す動きベクトル検出部におけるベクトル検出領域の例を示す図である。（実施例１、２） 図５に示すベクトル検出枠によって検出されたベクトルのヒストグラムを示す図である。（実施例１） 図２に示すＳ２０３の詳細を説明するフローチャートである。（実施例２） 図７に示すＳ７０１のヒストグラムの例である。（実施例２） 図７に示すＳ７０１のヒストグラムの例である。（実施例２）

図１は、本実施形態に係る撮像装置の構成例を示す図である。本発明の撮像装置は、ノンフレックス一眼レフカメラ（ミラーレスカメラ）であるが、一眼レフカメラであってもよい。また、撮像装置は、光学系を有するレンズ装置（交換レンズ）が撮像装置本体に着脱されるレンズ交換型レンズ交換型だけでなく、レンズ一体型撮像装置であってもよい。また、撮像装置は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話などにも適用可能である。

本実施形態の撮像装置は、交換レンズ（レンズ装置）１００とカメラ本体１２０から構成されている。

交換レンズ１００は、カメラ本体１２０に交換可能に装着され、被写体像を形成する撮像光学系１０１を備える。撮像光学系１０１は、固定レンズ１０２、ズームレンズ（変倍レンズ）１０３、フォーカスレンズ、シフトレンズ（像振れ補正レンズ）１０４、絞りなどからなる。フォーカスレンズは光軸方向に移動されて焦点調節を行う。ズームレンズ（変倍レンズ）は、光軸方向に移動されて焦点距離を変更する。シフトレンズ１０４は、光軸に直交する方向に移動されて像振れを光学的に補正する。なお、「直交する方向」は光軸に直交する成分があれば足り、光軸に斜めに移動されてもよい。絞りは、撮像光学系１０１の射出瞳位置に配置され、光量を調節する。なお、図１は、作図の便宜上、撮像光学系１０１の各レンズを単レンズとして示しているが、実際には一または複数のレンズ群から構成される。

ズームエンコーダ１０５はズームレンズ１０３の位置を検出し、検出信号をレンズシステム制御用マイクロコンピュータ（以下、「レンズ制御手段」という）１１３に出力する。レンズ制御手段１１３は、ズームエンコーダ１０５の検出信号により撮像光学系１０１の焦点距離を得ることができる。

角速度センサ（撮像装置角速度検出手段）１１１は、撮像装置全体の振れを検出し、振れ検出信号をアンプ１１２に出力する。アンプ１１２は、振れ検出信号を増幅してレンズ制御手段１１３に出力する。角速度センサ１１１は、交換レンズ１００とカメラ本体１２０の一方に設けられていれば足りる。

レンズ制御手段１１３は、その他にもフォーカスレンズ制御、絞り制御等なども行う。第１ドライバ１１４は、レンズ制御手段１１３からの制御信号に従って、シフトレンズ１０４を駆動する。第１ドライバ１１４は、シフトレンズ１０４の駆動機構部とともに像振れ補正部を構成する。アンプ１１５は、シフトレンズ１０４の位置センサ１０６の出力を増幅してレンズ制御手段１１３に出力する。

レンズ制御手段１１３は、像振れ補正制御を行う像振れ補正制御手段１１３ａと、流し撮りアシスト用の制御を行う流し撮りアシスト制御手段１１３ｂを備える。

流し撮りは、流し撮りの対象となる主被写体（動体）を追いながら通常よりも遅いシャッター速度で撮影するが、長秒撮影のため露光期間中に主被写体角速度とパンニング角速度とを合わせることが難しい。流し撮りアシスト制御手段１１３ｂは、主被写体角速度とパンニング角速度の差分に基づく主被写体のぶれを補正し、主被写体が静止した画像が得られるようにシフトレンズ１０４の駆動を制御する。なお、本発明では、カメラの回転移動のうちパンニングのみを説明するが、チルティングにも当てはまる。像振れ補正については、例えば横方向と縦方向といった、直交する２軸に関して検出および補正が行われるが、同様の構成により行われるので、以下では１軸分のみ説明する。

カメラ本体１２０は、シャッター１２１、撮像素子１２２、アナログ信号処理回路（ＡＦＥ）１２３、カメラ信号処理回路１２４、タイミングジェネレータ（ＴＧ）１２５、操作手段１３１、カメラ制御手段１３２、第２ドライバ１３３、モータ１３４等を有する。

シャッター１２１は、開閉駆動されて露光を行う。撮像素子１２２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどから構成され、撮像光学系１０１が形成した被写体像を光電変換する。アナログ信号処理回路１２３は、撮像素子１２２の出力する撮像信号を処理して、ＡＦＥ１２３に出力する。ＴＧ１２５は、撮像素子１２２やＡＦＥ１２３の動作タイミングを設定する。

操作手段１３１は、スイッチ、ボタン、ダイヤル、タッチパネル等の入力手段である。操作手段１３１は、電源のＯＮ／ＯＦＦ、Ｓ１、Ｓ２スイッチの切り替え、流し撮りアシストモードの設定、シャッター速度の設定、自動焦点調節（ＡＦ）、マニュアル焦点調節（ＭＦ）の設定、ＡＦにおける焦点検出の対象を定める焦点検出枠の設定等を行える。

カメラシステム制御用マイクロコンピュータ（以下、「カメラ制御手段」という）１３２は、撮像装置全体を制御する。例えば、カメラ制御手段１３２は、シャッター用の第２ドライバ１３３に制御信号を出力し、シャッター駆動用のモータ１３４を駆動制御する。

カメラ制御手段１３２は、レリーズボタンの半押し（Ｓ１スイッチのＯＮ）に応じて、測光センサによる測光結果または撮影者が設定した絞り値に応じた絞りの駆動量を算出し、絞りを駆動させる。また、カメラ制御手段１３２は、レリーズボタンの半押しに応じて、シフトレンズ１０４のロックを解除して駆動可能な状態にし、焦点検出を行わせる。カメラ制御手段１３２は、レリーズボタンの全押し（Ｓ２スイッチのＯN）に応じて、シャッター１２１を駆動し、撮像光学系１０１からの光束を撮像素子１２２に導き、露光（撮影）を行い、シフトレンズ１０４を駆動する。カメラ制御手段１３２は、撮像素子１２２からの出力に基づいてカメラ信号処理回路１２４を制御して画像データ（動画や静止画）を生成させ、メモリカード（記憶媒体）１７１に記録させる。

表示部１７２は、撮影者がカメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル（ＬＣＤ）等から構成される。また、カメラ本体１２０は、不図示の焦点検出手段を備える。焦点検出手段は、例えば、表示部１７２に表示される画像（フレーム画像）に設定された焦点検出枠において焦点検出を行う。焦点検出方法は限定されず、例えば、位相差検出方式やコントラスト検出方式を使用することができる。位相差検出方式では、一対の被写体像の像信号の位相差を検出することによって焦点検出をする。コントラスト検出方式では、撮像光学系１０１が形成する焦点位置と撮像素子１２２の相対位置を変化させながら撮像素子１２２が形成した被写体像のコントラストのピーク位置を検出することによって焦点検出する。

カメラ本体１２０は、交換レンズ１００とのマウント接点部１６１を備える。レンズ制御手段１１３とカメラ制御手段１３２は、マウント接点部１１６および１６１を介して所定のタイミングでシリアル通信を行う。

カメラ信号処理回路１２４は、ＡＦＥ１２３からの画像データに対して現像、撮影モードに応じた色調の調整（ホワイトバランス、γ処理など）等の画像処理を施す。カメラ信号処理回路（信号処理手段）１２４は、動きベクトル検出手段１２４ａを備える。動きベクトル検出手段１２４ａは、少なくとも２枚のフレーム画像を入力し、入力した２枚のフレーム画像に設定された複数の領域のそれぞれの動きベクトルを検出する。動きベクトル検出手段１２４ａの検出信号はカメラ制御手段１３２に出力される。

カメラ制御手段１３２は、設定手段１３２ａ、ヒストグラム作成手段１３２ｂ、被写体角速度算出手段１３２ｃ、被写体検出手段１３２ｄを有する。

ヒストグラム作成手段１３２ｂは、動きベクトル検出手段１２４ａが検出した動きベクトルの情報に基づいて、動きベクトルの大きさと度数との関係を示すヒストグラムを作成する。設定手段１３２ａは、ヒストグラム作成手段１３２ｂが作成したヒストグラムにおける度数の閾値を設定する。被写体検出手段１３２ｄは、ヒストグラムにおいて、設定手段１３２ａが設定した閾値以上の度数を有する動きベクトルの大きさの情報に基づいて、動体の動きベクトルを検出し、これによって、主被写体が存在する画面上の領域を選択する。カメラ制御手段１３２は、設定手段１３２ａ、ヒストグラム作成手段１３２ｂ、被写体検出手段１３２ｄによって動きベクトル検出装置として機能する。

また、主被写体角速度算出手段１３２ｃは、被写体検出手段１３２ｄによって検出された主被写体の動きベクトル、フレーム画像を得る際の撮像装置の焦点距離とパンニング角速度の情報に基づいて動体の角速度（主被写体角速度）を算出する。このため、カメラ制御手段１３２は、動体角速度算出装置としても機能する。

図１のカメラにおいて、操作手段１３１を用いて撮影者がカメラの電源をＯＮすると、その状態変化をカメラ制御手段１３２が検出し、カメラ制御手段１３２は、カメラ本体１２０の各回路への電源供給および初期設定処理を実行する。また、カメラ制御手段１３２は、交換レンズ１００への電源供給が行い、レンズ制御手段１１３は交換レンズ１００内の初期設定を実行する。レンズ制御手段１１３とカメラ制御手段１３２との間で所定のタイミングで通信が始まる。カメラ本体１２０から交換レンズ１００へはカメラの状態、撮影設定等が送信され、交換レンズ１００からカメラ本体１２０へ交換レンズの焦点距離データ、角速度データ等が送信される。

流し撮りアシストモード中には、カメラ本体１２０から交換レンズ１００に対して、流し撮りアシストモードが設定されている情報と、主被写体角速度算出手段１３２ｃが算出した主被写体角速度が送信される。レンズ制御手段１１３は、流し撮りアシストモードが設定されていればシフトレンズ駆動制御を流し撮り制御手段１１３ｂの制御とし、流し撮りアシストモードが設定されていなければ、シフトレンズ駆動制御を像振れ補正制御手段１１３ａの制御とする。

なお、本実施形態では「流し撮りアシストモード」を設定しているが、本発明は当該モードの設定は必須ではない。また、撮影者は、流し撮りにおいてシャッター速度を設定することもできるが、既定のシャッター速度を利用することもできる。

図２は、操作手段１３１によって流し撮りアシストモードが選択された場合の流し撮りアシスト制御に関するフローチャートである。図２において、Ｓ２０１〜Ｓ２０６はカメラ制御手段１３２が実行するフローチャートであり、Ｓ２１１〜Ｓ２１８はレンズ制御手段１１３が実行するフローチャートであり、「Ｓ」はステップ（工程）を表す。図２及び他の図に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能であり、かかるプログラムは非一時的なコンピュータ可読媒体に格納されてもよい。

図２に示すフローチャートは、フレームレート単位で動いている。フレームレートは、単位時間（例えば、１秒）当たりに処理させるフレーム数（静止画像数、コマ数）であり、ｆｐｓという単位で表す。また、Ｓ２２１はレンズ制御手段１１３が角速度センサ１１１から取得する角速度データの割り込み処理を表している。

まず、カメラ制御手段１３２の動作から説明する。Ｓ２０１では、レンズ情報を取得する部分であり、レンズ制御手段１１３との通信により、角速度データ、焦点距離データなどを取得する。Ｓ２０２では、カメラ信号処理回路１２４の動きベクトル検出手段１２４ａからベクトルデータの取得を行う。なお、カメラ制御部１３２が動きベクトル検出手段１２４ａの機能を有してもよい。Ｓ２０３では、Ｓ２０１で取得した角速度データ、および焦点距離データと、Ｓ２０２で取得したベクトルデータに基づいて、主被写体角速度を算出する。主被写体が検出できなかった場合は、主被写体角速度算出結果として０を設定する。Ｓ２０４では、Ｓ２０３で算出された主被写体角速度をレンズ制御手段１１３へと送信する。Ｓ２０５では、Ｓ２０１〜Ｓ２０４の動作をＳ２が押されるまで繰り返し、Ｓ２スイッチがＯＮになると、その情報をレンズ制御手段１１３へ通知する。Ｓ２０６ではベクトルデータ、主被写体角速度などのデータを初期化して、Ｓ２０１に戻る。

次に、レンズ制御手段１１３の動作について説明する。Ｓ２１１では角速度データを、Ｓ２１２では焦点距離データを、それぞれカメラ制御手段１３２へ送信する。Ｓ２１３では、カメラ制御手段１３２から主被写体角速度を受信する。Ｓ２１４では、レンズ制御手段１１３は、Ｓ２スイッチがＯＮになるまで以上の処理を繰り返し、Ｓ２スイッチがＯＮになると、Ｓ２１５以降でシフトレンズ１０４の制御を行う。Ｓ２１５では、主被写体角速度が検出されたかどうかを判定する。主被写角速度が０の時は主被写体が検出されていないので、Ｓ２１６において、通常防振制御を行う。主被写体角速度が検出された場合は、Ｓ２１７において、現在の角速度データとＳ２１３で受信した主被写体角速度の差分を算出し、Ｓ２１８において、Ｓ２１７で算出した差分データからシフトレンズ１０４の駆動命令を出力する。Ｓ２１９では、露光終了が検出されるまで、Ｓ２１６、あるいはＳ２１７およびＳ２１８の動作を繰り返し、露光が終了すると、Ｓ２２０で、シフトレンズ１０４が中心位置（初期位置）に戻るための駆動命令を出力する。

図３は、主被写体角速度の算出方法を説明するための図である。具体的には、図３は、主被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じて撮像素子１２２に結像した被写体像が点Ｃから点Ｄへと移動したことを示す図である。点Ｃと点Ｄとの距離（像面移動量）をν［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、撮像素子１２２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とすると、像面上の主被写体の角速度ω［ｒａｄ／ｓｅｃ］は以下の式で表わされる。

撮像装置をパンニングすると、像面上の主被写体の角速度ωは、次式で示すように、主被写体自身の角速度である主被写体角速度ω_ｓからパンニング角速度ω_ｐを減算したものとなる。

数式（２）から、主被写体角速度ω_ｓは以下のように算出される。

角速度センサ１１１からはパンニング角速度ω_ｐの情報が得られ、像面上の主被写体の角速度ωは、上述した動きベクトル検出装置から得られる。この結果、被写体角速度算出手段１３２ｃは、数式３から主被写体角速度ω_ｓを求めることができる。Ｓ２０４、Ｓ２１３ではこの情報が送受信される。なお、主被写体角速度の算出方法は、これに限定されず、予め指定された値を使用してもよい。Ｓ２１７では、数式（２）からωを算出するのであるが、このときのパンニング角速度ω_ｐは露光中に角速度センサ１１１によって検出された最新の情報を使用する。Ｓ２１８では、差分の角速度を積分してシフトレンズ１０４の移動量を算出する。

カメラ制御手段１３２、レンズ制御手段１１３の以上の動作により流し撮りアシスト機能が実現されることになる。

図４は、実施例１に係るＳ２０３の詳細を示すフローチャートである。まず、Ｓ４０１において、ヒストグラム作成手段１３２ｂは、動きベクトル検出手段１２４ａによる検出結果に基づいてヒストグラムを作成する。

図５は、動きベクトル検出手段１２４ａでのベクトル検出領域の例を示す図である。同図中、５０１は、撮像素子１２２で得られる画像（フレーム画像）であり、表示部１７２は画像５０１を表示することができ、操作手段１３１より不図示の焦点検出枠をここに設定することができる。破線で描かれている枠はベクトル検出枠５０２である。５０３は主被写体である。

図５では、撮像画面上に４０個のベクトル検出枠が設定され、少なくとも２つのフレーム画像間の相関結果が各領域のベクトルデータとして動きベクトル検出手段１２４ａから出力される。動きベクトルの検出には、テンプレートマッチングなど周知の方法を使用することができる。

図６は、全領域で検出された動きベクトルの大きさに基づいて作成されたヒストグラムを示す図である。一般に、ヒストグラムは、縦軸に度数、横軸に階級をとった統計グラフである。本実施例の横軸は、動きベクトルの大きさを画素毎に並べた図である。

図６（Ａ）は、通常の像振れ補正モード時のヒストグラムを示している。通常の像振れ補正モードは背景の振れを止めることが主たる目的になり、動きベクトル検出では、背景に対応したベクトル検出枠の数が多いため、ヒストグラムの度数ピークは高くなり、背景のベクトルの大きさは０近傍に集中する。図６（Ａ）、６０１は、通常の像振れ補正モード時に設定される度数に対する信頼度判定の閾値であり、設定手段１３２ａによって設定される。５０３で示す移動体ベクトルをノイズとして除去するために、閾値は高く設定される。

図６（Ｂ）は、流し撮り時の主被写体の動きが遅い場合のヒストグラムを示している。ここでは、５０３で示す移動体を主被写体として判定する必要があるが、主被写体に対するベクトル検出枠数が少ないため、６０２で示すように、設定手段１３２ａは、信頼度判定の閾値を低く設定する。主被写体の動きが遅い場合は背景も検出されるので、主被写体と背景に対応する部分にピークができるが、主被写体が静止した画像を得ようとしているため、主被写体に対するベクトルが０近傍の値となる。角速度センサ１１１の出力を像面上の移動量に換算した値は、背景のベクトルと等しくなるため、これを利用することで背景ベクトルを分離し、主被写体に対するベクトルだけを選択することが可能となる。

図６（Ｃ）は、流し撮り時の主被写体の動きが速い場合のヒストグラムを示している。被写体の速度が速く、それを追いかけるカメラのパンニング角速度が速い場合は、背景に対するベクトルが検出範囲を超えて検出されなくなる。また、流れによる低コントラストのために、主被写体以外のベクトルがピークを構成しなくなる。また、主被写体として検出されるベクトルにばらつきが増えるため、主被写体に対する度数のピークは低くなる。そこで、設定手段１３２ａは、信頼度判定の閾値６０３で示すように低く設定する。これにより、主被写体以外のベクトルを誤検出することがなくなり、かつ主被写体の検出が可能となる。

図４に戻り、Ｓ４０２では、設定手段１３２ａは、信頼度判定の閾値を流し撮りアシストモード用に設定するが、ここでは、図６（Ｂ）に示す閾値６０２に設定する。

Ｓ４０３では、パンニング角速度に応じて、設定手段１３２ａは、信頼度判定の閾値を再設定する。パンニング角速度が速い場合には、図６（Ｃ）に示す閾値６０３を設定する。パンニング角速度が高ければ高いほどそれに比例して閾値を下げてもよいが、比例的に閾値を変更する必要はなく、段階的や指数関数的に変更してもよい。即ち、設定手段１３２ａは、第１パンニング角速度の第１閾値（例えば、図６（Ｂ）に示す閾値６０２）よりも、第１パンニング角速度よりも高い第２パンニング角速度の第２閾値（例えば、図６（Ｃ）に示す閾値６０３）のほうが低ければ足りる。より一般には、設定手段１３２ａは、フレーム画像を得る際の撮像装置が第１角速度で回転されたときの閾値よりも、撮像装置が第１角速度よりも高い第２角速度で回転されたときの閾値を低く設定すれば足りる。

Ｓ４０４では、変更した閾値を用いて、被写体検出手段１３２ｄは、ヒストグラムから主被写体となるベクトルが検出されているかどうかを判定する。閾値を変更することにより、主被写体が判定しやすくなっているため、ここでは高い確率で主被写体が検出することができる。

主被写体に相当するベクトルが検出された場合、Ｓ４０５では、被写体検出手段１３２ｄは、主被写体に相当するヒストグラムの度数を構成しているベクトルデータを用いて、主被写体に対する最終動きベクトルを算出する。例えば、Ｓ４０５では、動きベクトル検出手段１２４ａで検出された対応する動きベクトル値の平均をとることによって主被写体に対する最終動きベクトルを算出する。

Ｓ４０６では、被写体角速度算出手段１３２ｃは、Ｓ４０５で算出された最終動きベクトルと、レンズ制御手段１１３から受信した現在の角速度データとから主被写体角速度を算出する。

一方、Ｓ４０４において、閾値を変更しても主被写体が検出できなかった場合、例えば、狙っている被写体が小さすぎて主被写体判定が可能な閾値まで達しなかった場合などは、Ｓ４０７において、主被写体角速度を０に設定する。

このようにして取得した主被写体角速度の情報をレンズ制御手段１１３に送信することによって、流し撮りアシスト動作が高い確率で実行されることになる。

以上、実施例１によれば、設定手段１３２ａは、パンニング角速度に応じて信頼度判定の閾値を設定する。具体的には、ヒストグラムにおける第１パンニング角速度の信頼度判定の閾値よりも、第１パンニング角速度よりも高い第２パンニング角速度のそれを低くする。これによって、主被写体の動きベクトルの検出を容易にし、流し撮りアシスト機能を発揮させ易くする。

実施例２では、パンニング角速度に応じてヒストグラムの分割数を少なくする（ビンの幅を広げる、ビンの数を少なくする）ことによって、主被写体の動きベクトルの検出を容易にしている。本実施例では、信頼度判定の閾値は図６（Ｂ）に示す閾値６０２に固定されているものとする。実施例１の図６に示すヒストグラムは、横軸が動きベクトルの大きさを画素単位で示したものである。ヒストグラムの分割数を少なくする（ビンの数を少なくする）とは、例えば、横軸が動きベクトルの大きさを数画素〜数十画素単位で示す場合である。また、本実施例では、ヒストグラム作成手段１３２ｂは、フレーム画像を得る際の撮像装置が第１角速度で回転されたときのビンの数よりも、第１角速度よりも高い第２角速度で回転されたときのビンの数を少なく設定することができる。

図７は、実施例２に係るＳ２０３の詳細を示すフローチャートである。まず、Ｓ６０１では、取得したパンニング角速度に応じてヒストグラムの分割数を設定する。Ｓ６０２では、Ｓ６０１で作成したヒストグラムから主被写体が検出されたかどうかを判定する。

図８（Ａ）は、パンニング角速度が速い場合のヒストグラムを示す図である。図８（Ａ）は、分割数を変更する前後のヒストグラムを示している。実線は分割数を変更する前のヒストグラム、波線は分割数を変更した後のヒストグラム、をそれぞれ表しているが、これは、図８の他の図でも同様である。分割数変更前のヒストグラムでは、主被写体に対応するベクトルが分散してしまい度数が低く、信頼度判定の閾値８０１（または６０２）を超えないため、主被写体が検出されない。一方、分割数を少なくすることで、同じビンの中にある度数が合計されるので度数のピークが閾値７０１を超え、主被写体が検出可能となる。分割数を少なくしたヒストグラムは、０を中心として再配置する。即ち、ヒストグラム作成手段１３２ｂは、動きベクトルの大きさが０の位置が中心となるビンを含むようにビンを設定する。流し撮り中は、主被写体を追いかけようとしているため、主被写体に対する動きベクトルが０近傍になることが予想されるからである。

図８（Ｂ）は、パンニング角速度が速い場合の図８（Ａ）とは別のヒストグラムを示す図である。図８（Ｂ）では、ヒストグラムの分割点が互いに一致しないように（ビンの位置が互いにずれるように）複数の（ここでは、２種類の）ヒストグラムを作成する。同図において、ヒストグラムＡおよびＢは、それぞれ、分割数を変更する前後のヒストグラムを示している。分割点をこのように設定した２種類のヒストグラムを作成することで、度数のピークを検出し易くし、主被写体の検出を容易にしている。この場合、被写体検出手段１３２ｄは、複数のヒストグラムの一つに基づいて主被写体を検出する。

図８（Ｃ）は、パンニング角速度が速い場合の更に別のヒストグラムを示している。主被写体のベクトルは０近傍にあることが予想されるため、０近傍のヒストグラムの分割数は少なくするが、０から離れた部分では分割数を変更しないようにする。そして、０に対してどの範囲まで分割数を少なくするかの判断を、パンニング角速度に応じて変更するようにする。つまり、ヒストグラム作成手段１３２ｂは、撮像装置が第２角速度で回転された場合、動きベクトルの大きさが０の位置を含む第１範囲にあるビンの数を少なく設定し、第１範囲の外側の第２範囲にあるビンの数を少なく設定しない。このようなヒストグラムを作成することで、ベクトル出力に予期せぬノイズ成分が含まれていても、そのノイズの影響を無視することができ、確実に主被写体を判別することができる。

図７に戻り、Ｓ７０３で、被写体検出手段１３２ｄによって主被写体が検出されていればＳ７０４へ進み、Ｓ７０３で主被写体が検出されていなければＳ７０８へ進む。

Ｓ７０４では、カメラ制御手段１３２はＳ７０１で設定した分割数が所定値以上かどうかを判定し、分割数が所定値に満たなかった場合はＳ７０５へ進み、分割数が所定値を満たす場合はＳ７０６へ進む。

Ｓ７０５では、カメラ制御手段１３２は分割設定数に応じて主被写体の動きベクトルを算出する。主被写体を検出するためにヒストグラムの分割数を少なくした場合、ピークを作っているベクトルをすべて利用して主被写体の動きベクトルを算出すると誤差が発生し易くなる。そこで、ヒストグラムの分割数を少なくした場合の、最終的な主被写体の動きベクトルの算出方法を、ヒストグラムの分割数を少なくしなかった場合のそれと変更する。

例えば、焦点検出枠が、撮影者によって表示部１７２において設定されている場合、焦点検出枠近傍のベクトル検出枠で検出されたベクトルに対して重み付けを行う。より具体的には、被写体検出手段１３２ｄは、焦点検出枠から所定範囲にある動きベクトルに重み付けをし、所定範囲外にある動きベクトルと加算して平均することによって主被写体の動きベクトルを検出する。本発明はこの例に限定されず、焦点検出枠から所定範囲にある動きベクトルを平均することによって（所定範囲外にある動きベクトルを用いずに）主被写体の動きベクトルを検出してもよい。これによって、最も有効となるベクトルを選択し、主被写体の動きベクトルをより正確に検出することができる。Ｓ７０７では、上述したように、角速度データ、焦点距離データ等を用いて主被写体角速度を算出する。

図９は、パンニング角速度が遅い（主被写体角速度が遅い）場合のヒストグラムを示す図であり、実線は分割数を変更する前のヒストグラム、波線は分割数を変更した後のヒストグラム、をそれぞれ表している。パンニング角速度が遅い場合は、背景と主被写体、両方の動きベクトルが検出されることになる。図９において、９０１は背景に対応するベクトル、９０２が主被写体に対応するベクトルである。このようにパンニング角速度が遅い場合、ヒストグラムの分割数を少なくすると、９０３に示すように、背景と主被写体が一体となってしまう。一方、９０４は信頼度判定の閾値を示しているが、パンニング角速度が遅いと主被写体に対する動きベクトルは集中するため、スレッシュレベルに達する可能性が高く、ヒストグラムの分割数を少なくする必要がない。

そこで、パンニング角速度が遅い場合は、Ｓ７０１において、ヒストグラムの分割数は所定値以上となっている。この場合は、ヒストグラムの結果は主被写体の動きを十分正確に表しているため、Ｓ７０６では、被写体検出手段１３２ｄは、焦点検出枠に基づいて重み付けなどせずに、対応する動きベクトルを単純平均することによって主被写体の動きベクトルを検出する。Ｓ７０７では、角速度データ、焦点距離データ等を用いて主被写体角速度を算出する。

Ｓ７０８では、主被写体角速度を０に設定する。この場合は、像振れ補正は行われない。

以上、実施例２によれば、ヒストグラム作成手段１３２ｂは、パンニング角速度に応じてヒストグラムの分割数を変更する。具体的には、ヒストグラムにおける第１パンニング角速度の分割数よりも、第１パンニング角速度よりも高い第２パンニング角速度のそれを少なくする。これによって、主被写体の動きベクトルの検出を容易にし、流し撮りアシスト機能を発揮させ易くする。また、実施例２によれば、パンニング角速度に応じて主被写体の動きベクトルの算出方法を変更している。具体的には、第１パンニング角速度における算出方法では、閾値以上の度数に対応する動きベクトルをそのまま使用して（例えば、単純平均して）主被写体の動きベクトルを検出する。一方、第２パンニング角速度における算出方法では、閾値以上の度数に対応する動きベクトルのうち、焦点検出枠近傍の動きベクトルのみを使用するか、重み付けをして焦点検出枠から離れた動きベクトルと加算して平均をとっている。これによって、主被写体の動きベクトルが存在する可能性がより高い領域の結果を表すデータに変換し、そのデータから主被写体の動きベクトルを検出している。

実施例１と２の方法は同時に適用されてもよい。

以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。

本発明の撮像装置は、デジタルカメラ、デジタルビデオカメラ、携帯電話等の撮像装置の用途に適用することができる。

１３２ａ…設定手段、１３２ｂ…ヒストグラム作成手段、１３２ｃ…被写体速度算出手段、１３２ｄ…被写体検出手段

Claims (14)

1. フレーム画像における複数の領域のそれぞれの動きベクトルの情報に基づいて、該動きベクトルの大きさと度数との関係を示すヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段が作成した前記ヒストグラムにおける度数の閾値を設定する設定手段と、
   前記ヒストグラムにおいて、前記設定手段が設定した閾値以上の度数を有する前記動きベクトルの大きさの情報に基づいて、動体の動きベクトルを検出する検出手段と、
   を有し、
   前記設定手段は、前記フレーム画像を得る際の撮像装置が第１角速度で回転されたときの前記閾値よりも、前記撮像装置が前記第１角速度よりも高い第２角速度で回転されたときの前記閾値を低く設定することを特徴とする動きベクトル検出装置。
2. 前記設定手段は、前記撮像装置の角速度が大きいほど前記閾値を小さくすることを特徴とする請求項１に記載の動きベクトル検出装置。
3. フレーム画像における複数の領域の動きベクトルの情報に基づいて、該動きベクトルの大きさと度数との関係を示すヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段が作成した前記ヒストグラムにおいて、閾値以上の度数を有する前記動きベクトルの大きさの情報に基づいて、動体の動きベクトルを検出する検出手段と、
   を有し、
   前記ヒストグラム作成手段は、前記フレーム画像を得る際の撮像装置が第１角速度で回転されたときの前記ヒストグラムにおけるビンの数よりも、前記撮像装置が前記第１角速度よりも高い第２角速度で回転されたときの前記ビンの数を少なく設定することを特徴とする動きベクトル検出装置。
4. 前記ヒストグラム作成手段は、前記撮像装置の角速度が大きいほど前記ビンの数を少なく設定することを特徴とする請求項３に記載の動きベクトル検出装置。
5. 前記ヒストグラム作成手段は、前記動きベクトルの大きさが０の位置が中心となるビンを含むように前記ビンを設定することを特徴とした請求項３または４に記載の動きベクトル検出装置。
6. 前記ヒストグラム作成手段は、ビンの位置が互いにずれている複数のヒストグラムを作成し、
   前記検出手段は、前記複数のヒストグラムの一つに基づいて前記動体の動きベクトルを検出することを特徴とした請求項３または４に記載の動きベクトル検出装置。
7. 前記ヒストグラム作成手段は、前記撮像装置が前記第２角速度で回転された場合、前記動きベクトルの大きさが０の位置を含む第１範囲にある前記ビンの数を少なく設定し、前記第１範囲の外側の第２範囲にあるビンの数を少なく設定しないことを特徴とした請求項４に記載の動きベクトル検出装置。
8. 請求項１乃至７のうちいずれか１項に記載の動きベクトル検出装置と、
   該動きベクトル検出装置によって検出された前記動体の前記動きベクトル、前記フレーム画像を得る際の前記撮像装置の焦点距離、前記フレーム画像を得る際の前記撮像装置の角速度の情報に基づいて前記動体の角速度を算出する算出手段と、
   を有することを特徴とする動体角速度算出装置。
9. 主被写体としての前記動体の角速度を算出する請求項８に記載の動体角速度算出装置を有することを特徴とする撮像装置。
10. 前記検出手段は、前記閾値以上の度数を有する前記動きベクトルを動きベクトルを平均することによって前記動体の動きベクトルを検出することを特徴とする請求項９に記載の撮像装置。
11. 前記フレーム画像に設定された焦点検出枠において焦点検出を行う焦点検出手段を更に有し、
    前記検出手段は、前記焦点検出枠から所定範囲にある動きベクトルに重み付けをし、所定範囲外にある動きベクトルと加算して平均することによって前記動体の動きベクトルを検出することを特徴とする請求項１０に記載の撮像装置。
12. 前記フレーム画像に設定された焦点検出枠において焦点検出を行う焦点検出手段を更に有し、
    前記検出手段は、前記焦点検出枠から所定範囲にある動きベクトルを平均することによって前記動体の動きベクトルを検出することを特徴とする請求項１０に記載の撮像装置。
13. 前記動体角速度算出装置が検出した前記動体の角速度に基づいて、光軸に直交する方向に移動されて像振れを補正する補正レンズを更に有することを特徴とする請求項９に記載の撮像装置。
14. 請求項９乃至１１のうちいずれか１項に記載の撮像装置に交換可能に装着されるレンズ装置であって、
    前記レンズ装置と前記撮像装置の一方は、前記レンズ装置が装着された前記撮像装置の角速度を検出する撮像装置角速度検出手段を有し、
    前記レンズ装置は、
    光軸に直交する方向に移動されて像振れを補正する補正レンズと、
    前記撮像装置の前記動体角速度算出装置が検出した前記動体の角速度と前記撮像装置角速度検出手段が検出した前記撮像装置の角速度の情報に基づいて、前記動体が静止した画像が得られるように前記補正レンズの駆動を制御する制御手段と、
    を有することを特徴とするレンズ装置。