JP4635742B2

JP4635742B2 - 撮像装置および撮像プログラム

Info

Publication number: JP4635742B2
Application number: JP2005186402A
Authority: JP
Inventors: 麻理杉原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-06-27
Filing date: 2005-06-27
Publication date: 2011-02-23
Anticipated expiration: 2025-06-27
Also published as: JP2007006325A

Description

本発明は、撮像装置および撮像プログラムに関する。

動いている被写体の撮影を補助する技術として、被写体の移動を自動的に追尾し、被写体までの距離に応じて撮影レンズの焦点距離を自動的に追従させるオートフォーカス技術が提供されている。
また一方、特許文献１には、撮像素子に捉えられた被写体の像に基づいて、被写体の顔の向きを認識し、被写体の顔の向きが特定の方向(例えば、カメラに対して正面)を向いたときに被写体の撮影を行う技術が開示されている。

更に、特許文献２には、花火のように輝度が変化する被写体について、撮像素子に捉えられた被写体の像に基づいて被写体の輝度の変化を観測し、被写体の輝度が所定の輝度値を超えたときに、被写体の撮影を行う技術が開示されている。
特開２００１−５１３３８号公報特開２００３−１６３８３０号公報

上述したオートフォーカス技術により、被写体にピントが合った状態を維持することは可能となっている。
しかしながら、従来のオートフォーカス技術では、レリーズボタンを押すタイミングは、結局は撮影者に任されている。したがって、レリーズボタンの半押し操作によってフォーカス動作を起動することにより、被写体にピントが合った状態が維持されているとはいっても、被写体が画面のどこにどの程度の大きさで捉えられた状態で撮影されるか、つまり、満足のできる構図で撮影できるか否かは、やはり、撮影者の技量にかかっている。

一方、特許文献１の技術や特許文献２の技術では、撮影タイミングの自動化が図られてはいるものの、自動撮影が可能な被写体は、特許文献１の技術では人物の顔に限られ、特許文献２の技術では花火などに限られている。
したがって、運動会で走っている子供や動物、レース中の車のような幅広い被写体を、良好な構図でしかも適切にピントを合わせて撮影するためには、依然として高度な撮影技術が必要とされるという事実には変わりはなかった。つまり、初心者がこれらの被写体を撮影することは、オートフォーカス技術などの適用の有無にかかわらず、非常に困難であった。

本発明は、適切な構図の画像を取得することが可能な撮像装置および撮像プログラムを提供することを目的とする。

本件開示の第１の撮像装置は、観測手段と、解析手段と、予測手段と、撮影制御手段とを備えて構成される。
本件開示の第１の撮像装置は、撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、前記撮影制御手段は、前記解析手段によって得られた解析結果に基づいて、前記予測手段で得られる撮影タイミングに関する予測精度を推定する精度推定手段と、前記精度推定手段によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも１回の撮影タイミング候補を設定して、撮影処理の実行に供するタイミング設定手段とを備える。

本件開示の第２の撮像装置は、撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、前記観測手段は、前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出する顔抽出手段と、前記顔抽出手段によって抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力する向き判別手段とを備え、前記解析手段は、前記観測手段によって得られる観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力する特徴抽出手段を備え、前記予測手段は、前記特徴抽出手段によって抽出された動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する。

本件開示の第１の撮像プログラムは、撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、前記観測手順によって得られた観測結果に基づいて、前記被写体の動きを解析し、前記解析手順による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、前記予測手順によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、前記撮影を実行する際に、前記解析によって得られた解析結果に基づいて、前記予測された撮影タイミングに関する予測精度を推定し、前記推定によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも１回の撮影タイミング候補を設定して、撮影処理の実行に供する処理をコンピュータに実行させる

本件開示の第２の撮像プログラムは、撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、得られた観測結果に基づいて、前記被写体の動きを解析し、前記被写体の動きの解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、前記被写体の動きを観測する際に、前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出し、抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力し、前記被写体の動きを解析する際に、前記観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力し、前記撮影タイミングを予測する際に、抽出された前記被写体の顔の向きに関する動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する処理をコンピュータに実行させる。

上述したように、本発明にかかわる撮像装置および撮像プログラムによれば、適切な構図の画像を取得することが可能である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる撮像装置の第１の実施形態を示す。
図１に示した撮像処理部２１０において、光学系２１１によってＣＣＤなどの撮像素子２１２上に被写体の像が形成され、この撮像素子２１２の出力信号を信号処理部２１３によって処理することにより、光学系２１１の視野に捉えられた被写体の像を表す画像データが例えば所定の時間間隔で生成され、メモリ２１４に一時的に保持される。また、図１に示した自動焦点制御部２１５は、撮影制御部２２０からの指示に応じて、このメモリ２１４に保持された画像データあるいは測距部(図示せず)による被写体までの距離に関する測定結果に基づいて光学系２１１を操作し、被写体にピントが合った状態を維持する。

また、図１に示した観測処理部２１６は、上述した信号処理部２１３によってメモリ２１４に新たな画像データが書き込まれるごとに、新たな画像データに含まれる被写体の像の位置、すなわち、被写体の像面位置を検出し、検出した像面位置を検出時刻とともに動き解析部２１７に渡す。この動き解析部２１７は、観測処理部２１６から渡された像面位置および検出時刻に基づいて、被写体の像面における移動速度(像面速度)を算出する。

例えば、図２（ａ），（ｂ）に示すような２つの画像データ(以下、フレームＡ、Ｂと称する)からそれぞれにおける被写体の像面位置が得られたときに、動き解析部２１７は、図２（ｅ）に示すように、フレームＡの像面位置とフレームＢの像面位置との差分とそれぞれの検出時刻の差分とから像面速度を求めることができる。また、３以上のフレームについて観測処理部２１６によって観測された像面位置および検出時刻に基づいて、動き解析部２１７によって像面速度および加速度を求めることも可能である。

ここで、被写体の像の位置は、ピントが合わされた被写体の像を抽出することが可能であれば、いかなる被写体についても確実に求めることが可能であるから、上述した像面速度を求める処理は、多種多様な被写体について適用可能である。
このようにして得られた像面速度に基づいて、予測処理部２１８は、被写体の像面位置が標準的なシーンの撮影において最適な位置に到達する時刻を推定し(図２(ｅ)参照)、この時刻を撮影タイミングとして出力して撮影制御部２２０の処理に供する。

なお、撮影対象のシーンによっては、被写体の最適な像面位置が上述した標準的なシーンにおける最適な像面位置とは異なる場合が考えられる。このような場合に対応するために、図１に示した条件テーブル２１９に、様々な撮影シーンに対応して、最適な像面位置の座標値などを判定条件として格納しておき、撮影制御部２２０からの指示に応じて、該当する判定条件を条件テーブル２１９から読み出し、動き解析部２１７によって得られた解析結果とこの判定条件とに基づいて、最適な撮影タイミングを予測することも可能である。

図１に示した撮影制御部２２０において、記録制御部２２３は、上述した予測処理部２１８によって得られた撮影タイミングあるいは操作受付部２２４からの指示に応じて、撮像処理部２１０に、撮影動作の実行を指示し、この撮影動作の実行に応じてメモリ２１４に保持された画像データを読み出して書込処理部２２１に渡し、この画像データを記録媒体２２２に記録する旨を指示する。また、図１に示した操作受付部２２４は、利用者によるレリーズ操作および各種機能に関する設定操作を受け付け、各部への指示を行う。例えば、レリーズボタン(図示せず)の半押しに応じて、操作受付部２２４は、自動焦点制御部２１５に起動指示を送出する。また、撮影対象のシーンの種類に関するシーン設定操作に応じて、操作受付部２２４は、予測処理部２１８に適切な判定条件を示す指示を送出し、一方、レリーズに関する機能設定操作に応じて、手動によるレリーズ操作と上述したようにして得られる撮影タイミングに基づく自動レリーズ機能との一方を有効とする制御を行う。

次に、自動レリーズ機能が有効となっている場合の撮像装置の動作について詳細に説明する。
図３に、撮像装置の動作を表す流れ図を示す。
利用者により、レリーズボタン(図示せず)が半押しされると(図３のステップ３０１)、自動露光動作および自動焦点動作が実行され(図３のステップ３０２)、次いで、図１に示した観測処理部２１６、動き解析部２１７および予測処理部２１８により、上述したようにして、最適な撮影タイミングＴｏを予測する処理が行われ(ステップ３０３)、予測された撮影タイミングＴｏが撮影制御部２２０の記録制御部２２３に渡される。

図４に、記録制御部の詳細構成を示す。
図４に示した記録制御部２２３において、精度算出部２３１は、予測処理部２１８から上述した撮影タイミングＴ_ｏを受け取るとともに、動き解析部２１７から像面速度Ｖ_ｓとともに像面速度Ｖ_ｓの算出に用いられた検出時刻Ｔ_１を受け取り、これらの値を用いて、撮影タイミングＴ_ｏの予測精度Ａ_ｏを求める(図３のステップ３０４)。

このとき、精度算出部２３１は、例えば、像面速度Ｖ_ｓ、撮影タイミングＴ_ｏおよび検出時刻Ｔ_１と、像面速度Ｖ_ｓに関する重み係数Ｗ_ｖと撮影タイミングＴ_ｏと検出時刻Ｔ_１との差分に関する重み係数Ｗ_ｔとを式(１)に代入することにより、像面速度Ｖ_ｓの増大および撮影タイミングＴ_ｏと検出時刻Ｔ_１との差分の増大に応じて単調に減少する値として、予測精度Ａ_ｏを求めることができる。

Ａ_ｏ＝１／(Ｗ_ｔ×(Ｔ_ｏ−Ｔ_１)＋Ｗ_ｖ×Ｖ_ｓ) ・・・（１）
なお、式(１)の分母に像面加速度αに関する項を追加することも可能である。
このようにして得られた予測精度Ａ_ｏは、図４に示した判定処理部２３２において、予め決定された閾値Ａ_ｔと比較される(図３のステップ３０５)。
予測精度Ａ_ｏが閾値Ａ_ｔよりも小さいとされた場合に(ステップ３０５の否定判定)、判定処理部２３２は、予測された撮影タイミングＴ_ｏにおける撮影では必ずしも最適な撮影条件を満たす画像が得られないと判断し、複数の候補画像を撮影する処理を開始する。

この場合に、判定処理部２３２は、まず、予測精度Ａ_ｏの逆数に基づいて適切な候補数Ｎを求めるとともに、像面速度Ｖ_ｓに基づいて適切な撮影間隔Ｔ_ｄを求め(ステップ３０８)、図４に示したタイミング制御部２３３に候補数Ｎおよび撮影間隔Ｔ_ｄを渡して、連続撮影処理の開始を指示する。
これに応じて、タイミング制御部２３３は、タイマ２３４の機能を利用して、撮影タイミングＴｏを中心として候補数Ｎと撮影間隔Ｔ_ｒの積に相当する長さの期間にＮ個の撮影タイミング候補Ｔ_１〜Ｔ_ｎを設定する。そして、これらの撮影タイミング候補Ｔ_１〜Ｔ_ｎで示される時刻が到来するごとに、タイミング制御部２３３により、撮影処理の実行を指示する撮影指示が撮像処理部２１０を宛先として送出され、これに応じて、撮像処理部２１０による撮影処理が行われる(図３のステップ３０９)。

このようにして、Ｎ個の撮影タイミング候補Ｔ_１〜Ｔ_ｎにおける撮影によって得られた候補画像は、図４に示した読出処理部２３５によって順次にメモリ２１４から読み出され、選択処理部２３６に渡され、これらの候補画像の中から最適な撮影条件を満たす画像が選択され、書込処理部２２１による記録媒体２２２への書込処理に供される(ステップ３１０)。

例えば、選択処理部２３６において、Ｎ個の候補画像それぞれから被写体の像を抽出し、それぞれの像面内での位置および大きさなどを解析することにより、各候補画像についてその構図の良否を評価し、最も高い評価結果が得られた候補画像を選択して、書込処理部２２１に渡すことにより、上述した選択処理を実現することができる。
このようにして、予測精度が低い場合に、複数の撮影タイミング候補において、それぞれ候補画像を取得することにより、たとえば、高速で走行する車両や目の前を走り抜ける動物のように、極端に動きの激しい被写体についても、確実に最適な瞬間を捉えた画像を得て、記録媒体２２２に記録することができる。

また、所定の閾値を超える評価結果が得られた候補画像について、利用者の判断を仰ぐことも可能である。例えば、該当する候補画像を液晶画面(図示せず)に表示して利用者の選択を促し、利用者によって指定された候補画像を選択的に書込処理部２２１に渡すこともできる。
一方、予測精度Ａ_ｏが閾値Ａ_ｔよりも大きいとされた場合に(ステップ３０５の肯定判定)、判定処理部２３２は、予測された撮影タイミングＴ_ｏにおける撮影で確実に最適な撮影条件を満たす画像が得られると判断する。この場合に、判定処理部２３２からの指示に応じて、タイミング制御部２３３により、撮影タイミングＴ_ｏにおいて、単一の撮影指示が撮像処理部２１０に送出され、撮像処理部２１０による撮影処理が、この撮影タイミングＴ_ｏにおいて自動的に実行される(ステップ３０６)。この撮影処理によってメモリ２１４に書き込まれた画像データは、読出処理部２３５によって読み出され、そのまま選択処理部２３６を介して書込処理部２２１に渡されて、記録媒体２２２に記録され(ステップ３０８)、自動レリーズ機能を利用した撮影処理が終了する。

このように、本実施形態にかかわる撮像装置を用いれば、利用者の撮影技量にかかわらず、多種多様な被写体を最適な撮影条件で撮影することが可能である。
また、上述したステップ３０５において予測精度Ａ_ｏが閾値Ａ_ｔよりも低いとされた場合であって、予測された撮影タイミングＴ_ｏまでの猶予時間に余裕がある場合に、観測処理部２１６、動き解析部２１７および予測処理部２１８による撮影タイミングの予測処理を再度実行させることも可能である。

このような手順を実行することにより、より高い精度で撮影タイミングを予測することが可能となる。したがって、新たに予測された撮影タイミングについて、再び予測精度を算出し、この予測精度と閾値との比較結果に応じて、撮影タイミングにおける単一の自動レリーズによる撮影あるいは複数の撮影タイミング候補における連続撮影を実行することにより、より確実に良好な構図で被写体を捉えた画像を取得することが期待できる。
（第２の実施形態）
図５に、本発明にかかわる撮像装置の第２の実施形態を示す。

図５に示した観測処理部２１６において、抽出処理部２３７は、撮影制御部２２０から人物を被写体とするシーン設定操作がなされた旨の通知を受けたときに、まず、撮像処理部２１０のメモリ２１４(図１参照)から読み出した画像データから主要な被写体の像を抽出する。
このとき、抽出処理部２３７は、背景以外のピントが合っている全ての像をまず抽出し、これらの像の中から、最も面積の大きい像を主要な被写体の像として選択することにより、主要な被写体の像を抽出することができる。

このようにして抽出処理部２３７によって抽出された主要な被写体の像の部分を示す情報は像面位置検出部２３８による処理に供されるとともに、更に、抽出処理部２３７により、この主要な被写体の像から人物の顔を表す部分の画像データが抽出され、向き判別処理部２３９の処理に供される。
例えば、図６(ａ)〜(ｄ)に示すような画像データが得られた場合に、抽出処理部２３７により、まず、これらの画像データにおいて白抜きで示した被写体の像の部分およびこの部分が画面において占める位置にかかわる情報が像面位置検出部２３８にそれぞれ渡される。これらの情報に基づいて、像面位置検出部２３８により、例えば被写体の像の重心位置を求める処理を行うことにより、図６(ｅ)に符号Ｐａ〜Ｐｄを付して示すように、各画像データに対応する時刻における被写体の像面位置を求めることができる。

また、これらの被写体の像について、抽出処理部２３７により、例えば、画像データによって示される色が一般的な肌色である部分を抽出することにより、顔の部分を表す画像データを選択的に向き判別処理部２３９に渡すことができる。このようにして抽出された顔の部分の画像データについて、向き判別処理部２３９により、目や鼻や口などの位置を検出し、これらの位置関係を調べる処理を行うことにより、図６(ｆ)に符号θａ〜θｄを付して示すように、撮像装置に対する被写体の顔の向きを求めることができる。

このようにして得られた観測結果に基づいて、動き解析部２１７により、例えば、図６(ｅ)に符号Ｐａ、Ｐｂを付して示した像面位置とこれらに対応する検出時刻Ｔａ、Ｔｂから被写体の像面速度Ｖ_ｓが求められるとともに、これらの被写体の像について得られた顔の向き(図６(ｆ)に符号θａ、θｂを付して示した)の差分と上述した検出時刻Ｔａ、Ｔｂの差分とから被写体の顔の回転速度Ｖ_ｒを求められ、得られた像面速度Ｖ_ｓおよび回転速度Ｖ_ｒが予測処理部２１８の処理に供される。

これに応じて、予測処理部２１８により、被写体の位置の変化に基づく撮影タイミングＴ_ｓの予測処理とともに、被写体の向きに関する撮影タイミングＴ_ｒを予測する処理が行われる。また、それぞれの処理で得られた撮影タイミングＴ_ｓ、Ｔ_ｒに基づいて、この予測処理部２１８により、最終的な撮影タイミングＴ_ｏが決定され、撮影制御部２２０の処理に供される。

このとき、予測処理部２１８は、例えば、シーン設定で選択されたシーン種別に応じて、被写体の像面位置と被写体の顔の向きとのどちらを優先すべきかを決定し、該当する撮影タイミングＴ_ｓ(あるいは撮影タイミングＴ_ｒ)を最終的な撮影タイミングＴ_ｏとすることができる。また、図６(ｅ)に示したように、被写体の像面位置の変化が小さい場合などには、被写体の顔の向きの変化に基づいて、図６(ｃ)に示したように、被写体の顔の向きが撮像装置の正面からわずかにずれた向きとなることが予想される撮影タイミングＴ_ｒを最終的な撮影タイミングＴ_ｏとして選択することも可能である。

このようにして予測された撮影タイミングＴ_ｏに基づいて、撮影制御部２２０により、少なくとも１回の撮影処理を実行することにより、被写体の位置だけでなく、被写体の顔の向きを考慮した最適な構図で撮影した画像データを記録媒体２２２(図１参照)に記録して、利用者に提供することができる。
なお、この場合に、上述した観測処理部２１６における被写体の顔の向きに関する観測精度を含めて撮影タイミングの予測精度を評価することにより、被写体の顔を表す画像データの抽出精度や向き判別処理に関する判別精度に応じて、適切な数の候補画像を取得して、最適な画像データの選択処理に供することができる。

例えば、図４に示した精度算出部２３１により、例えば、像面速度Ｖ_ｓ、回転速度Ｖ_ｒ、顔判別処理に関する顔判別精度Ａ_ｆ、撮影タイミングＴ_ｏおよび検出時刻Ｔ_１と、像面速度Ｖ_ｓに関する重み係数Ｗ_ｖと回転速度Ｖ_ｒに関する重み係数Ｗ_ｒと顔判別制度に関する重み係数Ｗ_ｆと撮影タイミングＴ_ｏと検出時刻Ｔ_１との差分に関する重み係数Ｗ_ｔとを式(２)に代入することにより、像面速度Ｖ_ｓあるいは回転速度Ｖ_ｒの増大および撮影タイミングＴ_ｏと検出時刻Ｔ_１との差分の増大に応じて単調に減少し、顔判別精度Ａ_ｆの向上に伴って増大する値として、予測精度Ａ_ｏを求めることができる。

Ａ_ｏ＝Ａ_ｆ×Ｗ_ｆ／(Ｗ_ｔ×(Ｔ_ｏ−Ｔ_１)＋Ｗ_ｖ×Ｖ_ｓ＋Ｗ_ｒ×Ｖ_ｒ) ・・・（２）
ところで、上述した観測処理部２１６、動き解析部２１７、予測処理部２１８および記録制御部２２３によって果たされる各機能は、これらの機能に必要な処理を計算機によって実行させるプログラムを撮像装置に搭載されるマイクロプロセッサに実行させることで実現することができる。したがって、上述した自動レリーズ機能は、新規に製品化される撮像装置のみに限らず、マイクロプロセッサのファームウェアを更新するなどの保守作業によって上述した各部の機能に関するプログラムを追加することにより、既に利用者の手元に渡っている撮像装置に適用することも可能である。

本発明にかかわる撮像装置によれば、利用者の撮影スキルにかかわらず、また、被写体の種類にかかわらず、動きのある被写体が良好な構図で捉えられた瞬間に自動的に撮影を実行することができる。
このような特徴は、一般的な利用者にとってはシャッタチャンスがつかみにくいというディジタルカメラの弱点を一挙に解消することができるので、幅広い層に大きく利用者の裾野を広げたディジタルカメラ分野において、極めて有用な特徴である。

本発明にかかわる撮像装置の第１の実施形態を示す図である。撮影タイミングの予測処理を説明する図である。撮像装置の動作を表す流れ図である。記録制御部の詳細構成を示す図である。本発明にかかわる撮像装置の第２の実施形態を示す図である。撮影タイミングの予測処理を説明する図である。

符号の説明

２１０…撮像処理部、２１１…光学系、２１２…撮像素子、２１３…信号処理部、２１４…メモリ、２１５…自動焦点制御部、２１６…観測処理部、２１７…動き解析部、２１８…予測処理部、２１９…条件テーブル、２２０…撮影制御部、２２１…書込処理部、２２２…記録媒体、２２３…記録制御部、２２４…操作受付部、２２４…操作受付部、２３１…精度算出部、２３２…判定処理部、２３３…タイミング制御部、２３４…タイマ、２３５…読出処理部、２３６…選択処理部、２３７…抽出処理部、２３８…像面位置検出部、２３９…向き判別処理部

Claims

撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、
前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、
前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、
前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、
前記撮影制御手段は、
前記解析手段によって得られた解析結果に基づいて、前記予測手段で得られる撮影タイミングに関する予測精度を推定する精度推定手段と、
前記精度推定手段によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも１回の撮影タイミング候補を設定して、撮影処理の実行に供するタイミング設定手段とを備えた
ことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記タイミング設定手段によって設定された少なくとも１回の撮影タイミング候補において撮影された画像データと前記所望の撮影条件にかかわる判定条件とに基づいて、少なくとも一つの画像データを抽出する抽出手段を備えた
ことを特徴とする撮像装置。
撮像手段に捉えられた被写体の像について、少なくともその位置の変化を観測する観測手段と、
前記観測手段によって得られた観測結果に基づいて、前記被写体の動きを解析する解析手段と、
前記解析手段による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測する予測手段と、
前記予測手段によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行する撮影制御手段とを備え、
前記観測手段は、
前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出する顔抽出手段と、
前記顔抽出手段によって抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力する向き判別手段とを備え、
前記解析手段は、
前記観測手段によって得られる観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力する特徴抽出手段を備え、
前記予測手段は、
前記特徴抽出手段によって抽出された動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する
ことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記予測手段は、設定されたシーンに応じて、被写体の位置と被写体の顔の向きとのいずれかを優先して撮影タイミングを決定する
ことを特徴とする撮像装置。
請求項３および請求項４のいずれか一項に記載の撮像装置において、
前記予測手段は、前記被写体の位置の変化が所定の閾値よりも小さい場合に、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングを撮影タイミングとする
ことを特徴とする撮像装置。
撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、
前記観測手順によって得られた観測結果に基づいて、前記被写体の動きを解析し、
前記解析手順による解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、
前記予測手順によって予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、
前記撮影を実行する際に、
前記解析によって得られた解析結果に基づいて、前記予測された撮影タイミングに関する予測精度を推定し、
前記推定によって得られた予測精度に基づいて、前記撮影タイミングを含む所定の時間において少なくとも１回の撮影タイミング候補を設定して、撮影処理の実行に供する
処理をコンピュータに実行させることを特徴とする撮像プログラム。
撮像手段に捉えられた被写体の像の位置および大きさの変化に基づいて、前記被写体の動きを観測し、
得られた観測結果に基づいて、前記被写体の動きを解析し、
前記被写体の動きの解析結果に基づいて、前記被写体を所望の撮影条件で撮影可能となる撮影タイミングを予測し、
予測された撮影タイミングで前記撮像手段に捉えられた前記被写体の像の撮影処理を実行し、
前記被写体の動きを観測する際に、
前記撮像手段に捉えられた少なくとも一つの被写体の像について、被写体の顔を表す画像データを抽出し、
抽出された画像データを解析して、前記被写体の顔の向きを判別し、判別結果を観測結果の一部として出力し、
前記被写体の動きを解析する際に、
前記観測結果に含まれる前記被写体の顔の向きに関する判別結果に基づいて、前記被写体の顔の向きに関する動きの特徴を抽出し、解析結果の一部として出力し、
前記撮影タイミングを予測する際に、
抽出された前記被写体の顔の向きに関する動きの特徴に基づいて予測される、前記被写体の顔の向きが前記撮影条件にかかわる判定条件を満たすタイミングと、前記被写体の位置が前記撮影条件にかかわる判定条件を満たすことが予測されるタイミングとに基づいて撮影タイミングを決定する
処理をコンピュータに実行させることを特徴とする撮像プログラム。