[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5394296B2 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
JP5394296B2
JP5394296B2 JP2010069315A JP2010069315A JP5394296B2 JP 5394296 B2 JP5394296 B2 JP 5394296B2 JP 2010069315 A JP2010069315 A JP 2010069315A JP 2010069315 A JP2010069315 A JP 2010069315A JP 5394296 B2 JP5394296 B2 JP 5394296B2
Authority
JP
Japan
Prior art keywords
feature point
movement
image data
subject
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010069315A
Other languages
English (en)
Other versions
JP2011205282A (ja
Inventor
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010069315A priority Critical patent/JP5394296B2/ja
Priority to US13/016,280 priority patent/US8736689B2/en
Publication of JP2011205282A publication Critical patent/JP2011205282A/ja
Application granted granted Critical
Publication of JP5394296B2 publication Critical patent/JP5394296B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Description

本発明は、時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する撮像装置、及びその画像処理方法に関する。
撮像装置では、画像データから複数の特徴点を抽出し、他の画像データから各特徴点に対応する対応点を抽出して各特徴点を追跡することにより、時系列的に連続した複数の画像データのそれぞれに写った共通の被写体の動きを判断することが行われている。
例えば、特許文献1には、複数枚の画像から特徴点を抽出し、各特徴点の動きベクトルを演算することによって各画像の切り出し位置を補正し、切り出した各画像の加算平均を算出することによって、画像の像ぶれを補正することが記載されている。また、特許文献2には、撮影画像から複数の特徴点を抽出し、前記撮影画像の以前又は以降に取得された撮影画像から各特徴点に対応する対応点を抽出して各特徴点を追跡することにより、撮影装置が揺動する場合でも撮影装置の撮影位置や姿勢、又は対象物の座標を精度良く計測できるようにすることが記載されている。
特開2007−142507号公報 特開2007−183256号公報
しかしながら、上記のように特徴点を追跡して被写体の動きを判断する方法には、被写体の動きが速い場合に、像流れにともなうコントラストの低下に起因して対応点を求めることができなくなり、動きが判断できなくなってしまうという問題がある。そして、上記特許文献1、2では、被写体の動きが速く、対応点を求めることができない場合の対応について、何ら考慮がなされていない。
本発明は、上記課題を鑑みてなされたものであり、特徴点の追跡を行うことによって、時系列的に連続した複数の画像データのそれぞれに写った共通の被写体の動きを判断する撮像装置において、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断できるようにすることを目的とする。
上記目的を達成するため、本発明は、撮像素子を駆動することによって時系列的に連続した複数の画像データを取得する撮像装置において、前記画像データから複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段が前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡手段と、前記特徴点追跡手段で前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡手段で前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記各画像データのそれぞれに写った共通の被写体の動きが速いか否かを判断する動き判断手段とを備えたことを特徴とする。
前記動き判断手段は、追跡可能な前記特徴点の数が所定値以下である場合に、前記被写体の動きが速いと判断することが好ましい。また、前記動き判断手段は、追跡不可能な前記特徴点の数が所定値以上である場合に、前記被写体の動きが速いと判断する構成でもよい。さらに、前記動き判断手段は、追跡不可能な前記特徴点の数の割合が所定値以上である場合に、前記被写体の動きが速いと判断する構成でもよい。また、前記動き判断手段は、追跡可能な前記特徴点の数の割合が所定値以下である場合に、前記被写体の動きが速いと判断する構成でもよい。
前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適するように撮影の設定を変更する設定変更手段を設けることが好ましい。
前記設定変更手段は、前記撮像素子のシャッタ速度を速くすることによって動体に適した設定に変更することが好ましい。また、前記設定変更手段は、前記撮像素子のフレームレートを上げることによって動体に適した設定に変更する構成でもよい。また、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適した撮影モードを設定する構成でもよい。さらに、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、時系列的に連続した複数の静止画像を取得する連写モードを設定する構成でもよい。
前記動き判断手段は、追跡可能な前記特徴点の移動ベクトルの算出を行い、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数、及び前記移動ベクトルの大きさに基づいて前記被写体の動きが速いか否かを判断することが好ましい。
前記動き判断手段は、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数に応じて、前記被写体の動きが遅いと判断した場合であっても、前記移動ベクトルの大きさが所定値以上である場合には、前記被写体の動きが速いと判断することが好ましい。
前記動き判断手段は、前記移動ベクトルの大きさが所定値以下で、かつ追跡可能な前記特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断することが好ましい。
前記動き判断手段は、追跡可能な前記特徴点、又は追跡不可能な前記特徴点に対し、前記画像データによって示される画像上の位置毎に予め設定された重み付けを行い、前記各特徴点の重みの値を積算することによって重み積算値を算出し、その重み積算値に応じて前記被写体の動きが速いか否かを判断することが好ましい。
被写体像を前記撮像素子に結像させるとともに、焦点の調節が可能な撮影レンズと、合焦速度の異なる複数の方式のAF処理が実行可能なAF制御手段とを備え、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、合焦速度の速い方式のAF処理を設定することが好ましい。
撮影の実行が指示された際に測光値を取得し、その測光値を基にAE処理を行う通常AEモードと、撮影の実行が指示された際にスルー画表示時に取得された測光値をそのまま利用してAE処理を行うスルー画測光値利用AEモードとを有するAE制御手段を備え、前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、前記スルー画測光値利用AEモードを設定することが好ましい。
また、本発明は、時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する画像処理方法において、前記画像データから複数の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップが前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡ステップと、前記特徴点追跡ステップで前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡ステップで前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記被写体の動きが速いか否かを判断する判断ステップとを有することを特徴とする。
本発明では、追跡可能な特徴点の数、又は追跡不可能な特徴点の数に応じて、被写体の動きが速いか否かを判断するので、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断することができる。
デジタルカメラの正面斜視図である。 デジタルカメラの背面図である。 デジタルカメラの電気的構成を概略的に示すブロック図である。 特徴点抽出処理及び特徴点追跡処理の概要を示す説明図である。 デジタルカメラの処理手順を示すフローチャートである。 追跡不可能な特徴点の数が所定値以上か否かの判定を行う例を示すフローチャートである。 追跡不可能な特徴点の数の割合が所定値以上か否かの判定を行う例を示すフローチャートである。 追跡可能な特徴点の数の割合が所定値以下か否かの判定を行う例を示すフローチャートである。 被写体の動きが速いと判断された場合にフレームレートを上げる例を示すフローチャートである。 被写体の動きが速いと判断された場合にスポーツモードに設定する例を示すフローチャートである。 被写体の動きが速いと判断された場合に連写モードに設定する例を示すフローチャートである。 追跡可能な特徴点の数が所定値以下である場合のみに特徴点を更新する例を示すフローチャートである。 追跡可能な特徴点の数が所定値以下である場合のみに特徴点を更新する例を示す説明図である。 追跡可能な特徴点の数が所定値以上である場合に対応点を次回の特徴点にする例を示すフローチャートである。 追跡可能な特徴点の数が所定値以上である場合に対応点を次回の特徴点にする例を示す説明図である。 追跡可能な特徴点の数が所定値以下である場合に移動ベクトルを算出する例を示すフローチャートである。 オクルージョンの発生を検出する例を示すフローチャートである。 オクルージョンが発生した例を示す説明図である。 追跡可能な特徴点の数の判定を先に行ってオクルージョンの発生を検出する例を示すフローチャートである。 追跡不可能な特徴点の重み積算値を算出する例を示すフローチャートである。 被写体の動きに応じてAFの方式を変更する例を示すフローチャートである。 被写体の動きに応じてAEのモードを変更する例を示すフローチャートである。
[第1実施形態]
図1に示すように、デジタルカメラ(撮像装置)2は、略直方体状に形成されたカメラ本体4を有している。カメラ本体4の前面には、撮影レンズ10を保持するレンズ鏡筒11と、撮影実行の際に被写体を照射するフラッシュ発光部12とが設けられている。カメラ本体4の上面には、撮影実行を指示するレリーズボタン14と、電源のON/OFFを切り替える電源ボタン15と、撮影レンズ10をワイド側もしくはテレ側に変倍させるズーム操作を行うためのズームレバー16とが設けられている。
レリーズボタン14は、2段階押しのスイッチとなっている。レリーズボタン14を軽く押す(半押し)と、AF(自動焦点調整)などの各種の撮影準備処理が実施される。この半押しした状態からレリーズボタン14をさらに押し込む(全押し)と、デジタルカメラ2に撮影の実行が指示され、撮影準備処理が施された1画面分の撮像信号が画像データに変換される。
図2に示すように、カメラ本体4の背面には、液晶ディスプレイ20、モード選択ボタン21、メニューボタン22が設けられている。液晶ディスプレイ20は、撮影した画像や撮影待機時のいわゆるスルー画、及び各種のメニュー画面などを表示する。デジタルカメラ2は、静止画像を取得する静止画撮影モード、動画像を取得する動画撮影モード、取得した各画像を液晶ディスプレイ20に再生表示する再生モードなどの複数の動作モードを有している。モード選択ボタン21は、デジタルカメラ2の各動作モードを切り替える際に操作される。デジタルカメラ2の動作モードは、モード選択ボタン21の押下操作に応じて順次切り替えられる。メニューボタン22は、液晶ディスプレイ20に各種のメニュー画面を表示させる際に操作される。
図3に示すように、レンズ鏡筒11には、モータ30が接続されている。モータ30は、ギヤなどの伝達機構を介してレンズ鏡筒11に駆動力を伝えることにより、レンズ鏡筒11の繰り出し/繰り込みを行う。図3では便宜的に図示を簡略化しているが、撮影レンズ10は、複数枚のレンズからなるレンズ群であり、レンズ鏡筒11の繰り出し/繰り込みに応じて各レンズの間隔を変化させることによって倍率を変化させる。また、撮影レンズ10には、倍率を変化させる光学系の他に、開口面積を変化させることによって撮影レンズ10から出射される光の量を調節する絞り機構や、光軸方向に移動することによって撮影レンズ10の焦点を調節するフォーカスレンズが設けられている。
モータ30は、モータドライバ32に接続されている。モータドライバ32は、デジタルカメラ2の全体を統括的に制御するCPU(動き判断手段、設定変更手段、AF制御手段、AE制御手段)34に接続されており、このCPU34からの制御信号に基づいてモータ30に駆動パルスを送信する。モータ30は、この駆動パルスに応じて回転軸を回転駆動する。
撮影レンズ10の背後には、撮影レンズ10によって結像された被写体像を撮像するCCD(撮像素子)36が配置されている。CCD36には、CPU34によって制御されるタイミングジェネレータ(TG)38が接続され、このTG38から入力されるタイミング信号(クロックパルス)により、電子シャッタのシャッタ速度及びフレームレートが決定される。
シャッタ速度とフレームレートとは、それぞれ値の異なる複数の設定が予め容易されている。これらは、メニューボタン22の押下によって液晶ディスプレイ20に表示されるメニュー画面から所定の値を選択することにより、ユーザが任意に設定することができる。CPU34は、これらの設定に応じてTG38を制御し、ユーザが選択したシャッタ速度及びフレームレートでCCD36を駆動させる。
CCD36から出力された撮像信号は、相関二重サンプリング回路(CDS)40に入力され、CCD36の各セルの蓄積電荷量に正確に対応したR、G、Bの撮像信号として出力される。CDS40から出力された撮像信号は、増幅器(AMP)41で増幅され、A/D変換器(A/D)42でデジタルの画像データに変換される。
画像入力コントローラ43は、バス44を介してCPU34に接続され、CPU34の制御命令に応じて、CCD36、CDS40、AMP41、及びA/D42の各部を制御する。A/D42から出力された画像データは、SDRAM45に一時的に記録される。
画像信号処理回路46は、SDRAM45から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度SDRAM45に記録する。YC変換処理回路47は、画像信号処理回路46で各種処理を施された画像データをSDRAM45から読み出し、輝度信号Yと色差信号Cr、Cbとに変換する。
液晶ドライバ48は、画像信号処理回路46、YC変換処理回路47を経た画像データをSDRAM45から読み出し、アナログのコンポジット信号に変換して液晶ディスプレイ20に表示する。これにより、CCD36で撮像された撮像信号がスルー画として液晶ディスプレイ20に表示される。
圧縮伸長処理回路50は、YC変換処理回路47でYC変換された画像データを所定の形式のファイルフォーマットに変換することにより、画像データから静止画像ファイル又は動画像ファイルを生成する。メディアコントローラ51は、メディアスロットに着脱自在に装着されたメモリカード52にアクセスし、生成された静止画像ファイルや動画像ファイルの読み書きを行う。
CPU34には、レリーズボタン14、ズームレバー16、モード選択ボタン21、メニューボタン22といった各種の操作部材が接続されている。これらの各操作部材は、操作を検出し、その検出結果をCPU34に入力する。
また、バス44には、上記の他に、フラッシュ制御部54、AE/AWB検出回路55、AF検出回路56、特徴点抽出部57、及び特徴点追跡部58などが接続されている。フラッシュ制御部54は、CPU34から送信されるフラッシュ発光信号に応じてフラッシュ発光部12を発光させる。
AE/AWB検出回路55は、YC変換処理回路47でYC変換された画像データの輝度信号Yと色差信号Cr、Cbとの積算値を基に、被写体の輝度を表す測光値を算出し、この算出結果をCPU34に送信する。CPU34は、AE/AWB検出回路55から送信された測光値を基に、露出量、及びホワイトバランスの適否を判断し、撮影レンズ10の絞り機構やCCD36などの動作を制御するAE(自動露出調整)を行う。
また、AE/AWB検出回路55は、スルー画として表示される各フレームの画像データが取得される毎に、その画像データに基づく測光値を算出してCPU34に送信する。そして、CPU34は、AE/AWB検出回路55から測光値を取得する毎に、上記AEの処理を実行する。すなわち、このデジタルカメラ2では、液晶ディスプレイ20にスルー画が表示された撮影待機状態において常時AEが実施され、その結果がスルー画に反映される。
また、このデジタルカメラ2は、レリーズボタン14の全押しによって撮影の実行が指示された際に、AE/AWB検出回路55に測光値を算出させ、その測光値を基にAE処理を行った後に撮影を実行する通常AEモードと、レリーズボタン14の全押しによって撮影の実行が指示された際に、直前のスルー画表示時に取得された測光値をそのまま利用してAE処理を行った後に撮影を実行するスルー画測光値利用AEモードとを有している。スルー画測光値利用AEモードでは、測光値の算出にともなうシャッタタイムラグを軽減することができる。これらの各AEモードは、メニューボタン22の押下によって液晶ディスプレイ20に表示されるメニュー画面からユーザが任意に設定することができる。
AF検出回路56は、A/D42でデジタル化された画像データを基に撮影レンズ10の合焦評価値を算出し、その算出結果をCPU34に送信する。CPU34は、レリーズボタン14の半押しにともなう撮影準備処理の際に、AF検出回路56によって算出される合焦評価値に基づいてコントラスト方式のAF処理を行うことにより、撮影レンズ10を合焦させる。
特徴点抽出部57は、CPU34の制御の下、YC変換処理回路47でYC変換された画像データをSDRAM45から読み出し、図4に示すように、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する特徴点抽出処理を行う。特徴点62とは、フレーム画像60の被写体において他の点との区別がし易い点のことであり、例えば、輝度勾配を持ったコーナーなどである。
特徴点抽出部57は、特徴点抽出処理を行った後、抽出した各特徴点62を示す特徴点情報を特徴点追跡部58に入力する。特徴点情報は、例えば、特徴点62となる画素の位置や、当該画素及びその周辺の画素の画素値などから構成される。なお、特徴点抽出部57による特徴点抽出処理には、上記特許文献1、2などに記載された周知の手法を用いればよい。
特徴点追跡部58には、特徴点抽出部57から入力された特徴点情報を記憶する特徴点情報記憶メモリ59が設けられている。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
特徴点追跡部58は、CPU34の制御の下、特徴点情報記憶メモリ59に特徴点情報が記憶された状態で次のフレームの画像データが取得された際に、その次のフレームのYC変換後の画像データをSDRAM45から読み出す。特徴点追跡部58は、画像データを読み出したら、テンプレートマッチングなどの周知の手法を用い、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求めることにより、各特徴点62の移動軌跡を追跡する特徴点追跡処理を行う。そして、特徴点追跡部58は、特徴点追跡処理を行った後、求めた各対応点64を示す対応点情報を生成し、その対応点情報をCPU34に入力する。なお、対応点情報は、特徴点情報と同様に、対応点64となる画素の位置や、当該画素及びその周辺の画素の画素値などから構成される。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部58で対応点64が求められた追跡可能な特徴点62の数を確認し、その数が所定値以下か否かの判定を行う。追跡可能な特徴点62の数は、被写体の動きが速い場合に、像流れにともなうコントラストの低下に起因して減少する傾向にある。そこで、CPU34は、追跡可能な特徴点62の数が所定値以下であると判定した場合に、被写体の動きが速いと判断する。
CPU34は、被写体の動きが速いと判断すると、メニュー画面を介してユーザが設定したシャッタ速度の如何に関わらず、最も速いシャッタ速度を設定し、CCD36のシャッタ速度を速くする。このように、CPU34は、追跡可能な特徴点62の数によって被写体の動きを判断し、その結果に応じて動体に適するように撮影の設定を変更する。
次に、図5に示すフローチャートを参照しながら、上記構成によるデジタルカメラ2の作用について説明する。デジタルカメラ2で撮影を行う場合には、電源ボタン15を押下してデジタルカメラ2の各部を起動させた後、モード選択ボタン21を押下して静止画撮影モード又は動画撮影モードを選択し、デジタルカメラ2を撮影待機状態にする。
デジタルカメラ2が撮影待機状態になると、CPU34によってTG38が制御され、これによってTG38から出力されるタイミング信号によってCCD36が駆動される。この際、CPU34は、メニュー画面を介してユーザが設定したシャッタ速度及びフレームレートに応じてCCD36を駆動させる。CCD36は、TG38からのタイミング信号に応答して撮像を行い、撮影レンズ10によって結像された被写体像に応じた撮像信号を出力する。
CCD36から出力された撮像信号は、CDS40、AMP41、A/D42を経てデジタルの画像データに変換される。そして、このデジタルの画像データは、画像信号処理回路46での各種の画像処理、及びYC変換処理回路47でのYC変換処理が施された後、液晶ドライバ48でアナログのコンポジット信号に変換され、スルー画として液晶ディスプレイ20に表示される。
また、CPU34は、CCD36の駆動によって画像データが取得されると、上記のようにその画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定する。そして、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62、すなわち1つ前のフレームの画像データから抽出された各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部58で対応点64が求められた追跡可能な特徴点62の数が所定値以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が所定値よりも大きい場合、被写体の動きが遅いと判断する。一方、CPU34は、追跡可能な特徴点62の数が所定値以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。このように、追跡可能な特徴点62の数が所定値以下か否かを判定するようにすれば、被写体の動きが速く、対応点を求めることができない場合でも被写体の動きを判断することができる。
CPU34は、追跡可能な特徴点62の数が所定値以下か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。特徴点抽出部57は、前回と同様の手順で各特徴点62の抽出、及び特徴点情報の生成を行い、生成した特徴点情報を特徴点追跡部58に入力する。
特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、特徴点情報記憶メモリ59に記憶された特徴点情報を削除し、特徴点抽出部57からの新たな特徴点情報を記憶させることにより、特徴点情報記憶メモリ59の特徴点情報を更新する。このように、CPU34は、各フレームの画像データ毎に特徴点抽出処理を行うことにより、次のフレームの画像データの特徴点追跡処理に用いられる各特徴点62を順次更新する(図4参照)。
そして、CPU34は、レリーズボタン14の半押しにともなう撮影準備処理の実行の指示や、レリーズボタン14の全押しにともなう撮影実行の指示、あるいはモード選択ボタン21の押下にともなう再生モードへの切り替えの指示などが入力されるまで、上記の処理を繰り返す。
上記実施形態では、追跡可能な特徴点62の数が所定値以下か否かの判定を行い、所定値以下である場合に、被写体の動きが速いと判断するようにしたが、これに限ることなく、図6のフローチャートに示すように、特徴点追跡部58での特徴点追跡処理によって対応点64を求めることができなかった追跡不可能な特徴点62の数が所定値以上か否かの判定を行い、所定値以上である場合に、被写体の動きが速いと判断してもよい。
さらには、図7のフローチャートに示すように、特徴点情報が示す各特徴点62の数、すなわち特徴点抽出処理で抽出された各特徴点62の全体の数に対する追跡不可能な特徴点62の数の割合を求め、その割合が所定値以上か否かの判定を行い、所定値以上である場合に、被写体の動きが速いと判断してもよし、図8のフローチャートに示すように、各特徴点62の全体の数に対する追跡可能な特徴点62の数の割合を求め、その割合が所定値以下か否かの判定を行い、所定値以下である場合に、被写体の動きが速いと判断してもよい。
また、上記実施形態では、被写体の動きが速いと判断された際に、シャッタ速度を速くすることによって動体に適した設定に変更するようにしたが、これに限ることなく、例えば、図8のフローチャートに示すように、被写体の動きが速いと判断された際に、最も高いフレームレートを設定し、CCD36のフレームレートを上げることによって動体に適した設定に変更するようにしてもよい。
なお、上記実施形態では、最も速いシャッタ速度を設定することによってCCD36のシャッタ速度を速くするようにしたが、これに限ることなく、例えば、メニュー画面を介してユーザが設定したシャッタ速度の1つ上の値のシャッタ速度を設定することによってシャッタ速度を速くしてもよい。同様に、上記実施形態では、最も高いフレームレートを設定することによってCCD36のフレームレートを上げるようにしたが、これに限ることなく、例えば、メニュー画面を介してユーザが設定したフレームレートの1つ上の値のフレームレートを設定することによってフレームレートを上げてもよい。このように、シャッタ速度やフレームレートの設定変更の手法は、上記に限定されるものではなく、シャッタ速度を速くしたりフレームレートを上げたりすることができる任意の手法でよい。
また、シャッタ速度やフレームレートの設定は、スルー画には適用することなく、撮影を実行して静止画像ファイルや動画像ファイルを取得する際にのみ適用してもよいし、スルー画にも適用してもよい。
また、動体の撮影に適したスポーツモードをデジタルカメラ2の撮影モードとして設けておき、図9のフローチャートに示すように、被写体の動きが速いと判断された際に、デジタルカメラ2の撮影モードをスポーツモードに設定するようにしてもよい。ここで、スポーツモードとは、CCD36のシャッタ速度や撮影レンズ10の絞り機構などの値を統合的に調節することによって、スポーツシーンなどにおける動きの速い被写体を鮮明に撮影できるようにした撮影モードである。なお、スポーツモードに限ることなく、動体の撮影に適した他の撮影モードを設定してもよい。
さらには、1回の撮影実行指示に応答して静止画撮影を所定の間隔で複数回連続して実行することにより、時系列的に連続した複数の静止画像ファイルを取得する連写モードをデジタルカメラ2の撮影モードとして設けておき、図10のフローチャートに示すように、被写体の動きが速いと判断された際に、デジタルカメラ2の撮影モードを連写モードに設定するようにしてもよい。こうすれば、被写体の動きが速い場合でも、適切なシャッタチャンスを捉えられる可能性が高まり、ユーザの所望するシャッタチャンスでの撮り逃しを防ぐことができる。
また、スポーツモードや連写モードなどの撮影モードを設定した場合には、撮影の実行によって取得された静止画像ファイルや動画像ファイルのタグ領域に、設定した撮影モードの情報をタグ情報として書き込むことが好ましい。こうすれば、被写体の動きが速いと判断されて取得された静止画像ファイルや動画像ファイルを検索したり分類したりする際の目安となり、利便性を高めることができる。さらには、被写体の動きが速いと判断されたこと自体をタグ情報として書き込んでもよい。
[第2実施形態]
次に、図11のフローチャート及び図12の説明図を参照しながら、本発明の第2の実施形態について説明する。なお、各部の構成は、上記第1の実施形態と同様とし、上記第1の実施形態と同じ符号を用いて説明を行う。
上記第1の実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点62の数が1つ以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が2つ以上である場合、被写体の動きが遅いと判断する。一方、CPU34は、追跡可能な特徴点62の数が1つ以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。
CPU34は、追跡可能な特徴点62の数が1つ以下か否かの判定を行い、必要に応じてシャッタ速度を設定した後、追跡可能な特徴点62の数が2つ以下か否かの判定を行う。CPU34は、追跡可能な特徴点62の数が2つ以下であると判定すると、上記第1の実施形態と同様に、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
一方、CPU34は、追跡可能な特徴点62の数が3つ以上であると判定すると、特徴点抽出処理を行わずに、特徴点情報記憶メモリ59に記憶されている特徴点情報を次のフレームの画像データの特徴点追跡処理にそのまま用いるようにする。
このように、追跡可能な特徴点62の数が2つ以下になるまで共通の特徴点62で特徴点追跡処理を行う(図12参照)ようにすれば、特徴点62と対応点64との複数のフレーム間での対応関係がより明確になり、被写体の動きをより正確に判断することができるとともに、各フレームの画像データ毎に特徴点抽出処理を行う場合に比べてCPU34などの処理負荷の低減も図ることができる。
なお、本実施形態では、追跡可能な特徴点62の数が1つ以下か否かの判定、及び追跡可能な特徴点62の数が2つ以下か否かの判定を行ったが、これらの判定における特徴点62の数は、上記に限ることなく、任意の数でよい。
[第3実施形態]
次に、図13のフローチャート及び図14の説明図を参照しながら、本発明の第3の実施形態について説明する。なお、本実施形態は、追跡可能な特徴点62の数が2つ以下か否かの判定を行う部分まで上記第2の実施形態と同様である。従って、この部分までの説明は省略する。
CPU34は、追跡可能な特徴点62の数が2つ以下であると判定すると、上記各実施形態と同様に、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
一方、CPU34は、追跡可能な特徴点62の数が3つ以上であると判定すると、対応点情報を特徴点情報として特徴点追跡部58に入力し、この対応点情報を特徴点情報記憶メモリ59に記憶させることにより、特徴点追跡処理によって求められた各対応点64を、次のフレームの画像データの特徴点追跡処理に用いる各特徴点62とする(図14参照)。
上記第2の実施形態では、特徴点情報記憶メモリ59に記憶されている特徴点情報を次のフレームの画像データの特徴点追跡処理にそのまま用いるようにした。こうすると、特徴点62と対応点64との複数のフレーム間での対応関係を明確にすることができる反面、フレームが進む毎に像流れなどにともなう画像の変化量が蓄積されていき、変化量が徐々に大きくなっていくため、対応点64を求める際の探索範囲から外れる可能性が高くなり、追跡可能な特徴点62の数が減りやすい。
これに対し、本実施形態のように、各対応点64を次のフレームの画像データの特徴点追跡処理に用いる各特徴点62とすれば、隣接するフレーム間の画像の変化量だけで済むため、特徴点62と対応点64との複数のフレーム間での対応関係を明確にしつつ、対応点64を求める際の探索範囲から外れる可能性を低くすることができる。
[第4実施形態]
次に、図15のフローチャートを参照しながら、本発明の第4の実施形態について説明する。上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部58で対応点64が求められた追跡可能な特徴点62の数が所定値以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が所定値以下である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。
一方、CPU34は、追跡可能な特徴点62の数が所定値よりも大きい場合、特徴点追跡部58から特徴点情報記憶メモリ59に記憶された特徴点情報を読み出す。そして、CPU34は、特徴点情報に基づく各特徴点62の位置と、対応点情報に基づく各対応点64の位置とから、追跡可能な各特徴点62の移動ベクトルを算出する。CPU34は、追跡可能な各特徴点62の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。
CPU34は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断する。一方、CPU34は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、追跡可能な特徴点62の数が所定値以下である場合と同様に、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。
CPU34は、追跡可能な特徴点62の数が所定値以下か否かの判定、及び移動ベクトルの大きさが所定値以上か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
このように、追跡可能な各特徴点62の移動ベクトルを算出し、それらの各移動ベクトルの大きさの最大値が所定値以上である場合に、被写体の動きが速いと判断すれば、より正確に被写体の動きを判断することができる。なお、本実施形態では、各移動ベクトルの大きさの最大値が所定値以上であるか否かを判定するようにしたが、これに限ることなく、例えば、各移動ベクトルの平均値を算出し、その平均値が所定値以上であるか否かを判定してもよい。
[第5実施形態]
次に、図16のフローチャート及び図17の説明図を参照しながら、本発明の第5の実施形態について説明する。上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報、及び特徴点情報記憶メモリ59に記憶された特徴点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から特徴点情報と対応点情報とが入力されると、これらの各情報を基に、追跡可能な各特徴点62の移動ベクトルを算出する。そして、CPU34は、追跡可能な各特徴点62の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。
CPU34は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。一方、CPU34は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断する。
CPU34は、被写体の動きが遅いと判断すると、特徴点追跡部58からの対応点情報を基に、追跡可能な特徴点62の数が所定値以下か否かを判定する。そして、CPU34は、追跡可能な特徴点62の数が所定値以下である場合、図17に示すように、特徴点62に対応する部分が他の被写体によって隠されてしまったオクルージョンが発生していると判断する。
CPU34は、オクルージョンが発生していると判断すると、液晶ディスプレイ20にメッセージを表示したり、図示を省略したスピーカから警告音を発したりすることなどにより、ユーザに対してオクルージョンの発生を警告する。
CPU34は、移動ベクトルの大きさが所定値以上か否かの判定を行い、必要に応じてシャッタ速度の設定やオクルージョンの警告を行った後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
このように、移動ベクトルの大きさが所定値以下で被写体の動きが遅いと判断される状況であるにも関わらず、追跡可能な特徴点62の数が所定値以下に減少した場合に、オクルージョンが発生していると判断し、警告を行うようにすれば、ユーザの所望する被写体が隠れた状態で撮影が実行されてしまうことを防ぐことができる。こうした機能は、ユーザがスルー画などを確認することができないセルフタイマ撮影の際に、特に有効である。
また、オクルージョンは、特徴点62に対応する部分を隠していた被写体が移動することにより、解消される場合がある。そこで、セルフタイマ撮影の際にオクルージョンが発生していると判断された場合には、所定のタイマ期間が経過した後にもオクルージョンが解消されるまで、すなわち隠れていた部分の各特徴点62が再度確認されるまで撮影の実行を待ち、オクルージョンが解消された後に撮影を実行するようにしてもよい。
[第6実施形態]
次に、図18のフローチャートを参照しながら、本発明の第6の実施形態について説明する。上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、特徴点追跡部58で対応点64が求められた追跡可能な特徴点62の数が所定値以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が所定値よりも大きい場合、被写体の動きが遅いと判断する。
一方、CPU34は、追跡可能な特徴点62の数が所定値以下である場合、特徴点追跡部58から特徴点情報記憶メモリ59に記憶された特徴点情報を読み出す。そして、CPU34は、特徴点情報に基づく各特徴点62の位置と、対応点情報に基づく各対応点64の位置とから、追跡可能な各特徴点62の移動ベクトルを算出する。CPU34は、追跡可能な各特徴点62の移動ベクトルを算出したら、それらの中から大きさが最大のものを抽出し、その移動ベクトルの大きさが所定値以上か否かを判定する。
CPU34は、移動ベクトルの大きさが所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。一方、CPU34は、移動ベクトルの大きさが所定値以下である場合、被写体の動きが遅いと判断するとともに、オクルージョンが発生していると判断し、液晶ディスプレイ20にメッセージを表示したり、図示を省略したスピーカから警告音を発したりすることなどにより、ユーザに対してオクルージョンの発生を警告する。
CPU34は、追跡可能な特徴点62の数が所定値以下か否かの判定を行い、必要に応じてシャッタ速度の設定やオクルージョンの警告を行った後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
上記第5の実施形態では、移動ベクトルの大きさが所定値以下で、かつ追跡可能な特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断した。これに対し、本実施形態では、追跡可能な特徴点の数が所定値以下で、かつ移動ベクトルの大きさが所定値以下である場合に、オクルージョンが発生していると判断した。このように、追跡可能な特徴点62の数が所定値以下か否かを判定する工程と、移動ベクトルの大きさが所定値以上か否かを判定する工程とを入れ替えても、上記第5の実施形態と同様の効果を得ることができる。
[第7実施形態]
次に、図19のフローチャートを参照しながら、本発明の第7の実施形態について説明する。上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報、及び特徴点情報記憶メモリ59に記憶された特徴点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から特徴点情報と対応点情報とが入力されると、これらの各情報を基に、特徴点追跡部58で対応点64を求めることができなかった追跡不可能な各特徴点62を抽出する。CPU34は、追跡不可能な各特徴点62を抽出したら、それらに対して位置毎に予め設定された重み付けを行う。そして、各特徴点62の重みの値を積算することにより、追跡不可能な各特徴点62の重み積算値を算出する。この際、重みの値は、例えば、フレーム画像60の中央部分を最も大きくし、端に行くに従って徐々に小さくなるように設定すればよい。
CPU34は、追跡不可能な各特徴点62の重み積算値を算出したら、その重み積算値が所定値以上か否かの判定を行う。CPU34は、重み積算値が所定値以下である場合、被写体の動きが遅いと判断する。一方、CPU34は、重み積算値が所定値以上である場合、被写体の動きが速いと判断し、最も速いシャッタ速度を設定してCCD36のシャッタ速度を速くする。
CPU34は、重み積算値が所定値以上か否かの判定を行い、必要に応じてシャッタ速度を設定した後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
上記各実施形態のように、特徴点62の数の減り具合のみで被写体の動きを判断すると、主要な被写体が動いて特徴点62が減るケースだけでなく、背景部分に動きの速い被写体が存在するケースや、背景の一部にオクルージョンが発生したケースなど、撮影に実質的な影響が低いケースでも、被写体の動きが速いと判断されて設定が変更されてしまう。
これに対し、本実施形態では、位置に応じて重みを設定しておき、重みの値の小さい部分の特徴点62が、動きの判断に与える影響を低くなるようにしたので、動きの判断をより適切に行うことができる。なお、重みの値を大きくする位置は、中央部分に限ることなく、例えば、顔検出で検出した顔の近くの重みの値を大きくしたり、自動追尾するターゲットの近くの重みの値を大きくしたりしてもよい。
[第8実施形態]
次に、図20のフローチャートを参照しながら、本発明の第8の実施形態について説明する。ここで、本実施形態では、CCD36が、入射する光の角度に選択性を持たせた複数の位相差検出用の画素を有し、位相差方式のAF処理を行うことができるものとする。さらに、デジタルカメラ2は、位相差方式のAF処理(以下、位相差AFと称す)と、コントラスト方式のAF処理(以下、コントラストAFと称す)とを選択的に切り替えて実行できるものとする。
上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点62の数が所定値以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が所定値以上である場合、被写体の動きが遅いと判断し、精度の高いコントラストAFを設定する。一方、CPU34は、追跡可能な特徴点62の数が所定値以下である場合、被写体の動きが速いと判断し、コントラストAFよりも合焦速度の速い位相差AFを設定する。
CPU34は、追跡可能な特徴点62の数が所定値以下か否かの判定、及びコントラストAF又は位相差AFの設定を行った後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
そして、CPU34は、レリーズボタン14の半押しによって撮影準備処理の実行が指示された際に、上記の処理で設定した方式のAF処理を実行する。こうすれば、被写体の動きが速い場合には、自動的に速度重視のAF処理が行われるようになり、動きの速い被写体であっても、タイミングを逃さず、ピントの合った適切な画像を撮影することができる。
本実施形態では、コントラストAFと位相差AFとを例に説明を行ったが、設定するAF処理の方式は、これらに限定されるものではない。例えば、被写体との距離を測る測距センサをデジタルカメラ2に設け、被写体の動きが遅いと判断された場合には、コントラストAFを設定し、被写体の動きが速いと判断された場合には、前記測距センサを用いたアクティブ方式のAF処理を設定するようにしてもよい。さらには、サーチステップの異なる複数のコントラストAFを用意しておき、被写体の動きが遅いと判断された場合には、サーチステップの細かいコントラストAFを設定し、被写体の動きが速いと判断された場合には、サーチステップの粗いコントラストAFを設定するようにしてもよい。
また、AF処理の方式は、2つに限らず3つ以上用意してもよい。この場合には、被写体の動きが速いと判断された場合に、最も合焦速度の速い方式を設定してもよいし、ユーザが設定した方式の1つ上の合焦速度の方式を設定してもよい。
[第9実施形態]
次に、図21のフローチャートを参照しながら、本発明の第9の実施形態について説明する。上記各実施形態と同様に、CPU34は、CCD36の駆動によって画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データが最初のフレームであるか否かを判定し、最初のフレームである場合には、その画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示する。
特徴点抽出部57は、CPU34から特徴点抽出処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、その画像データによって示されるフレーム画像60から複数の特徴点62を抽出する。特徴点抽出部57は、各特徴点62を抽出したら、それらの各特徴点62を示す特徴点情報を生成し、その特徴点情報を特徴点追跡部58に入力する。特徴点追跡部58は、特徴点抽出部57から特徴点情報が入力されると、その特徴点情報を特徴点情報記憶メモリ59に記憶させる。
CPU34は、CCD36の駆動によって次のフレームの画像データが取得されると、その画像データをスルー画として液晶ディスプレイ20に表示させるとともに、その画像データに対する特徴点追跡処理の実行を特徴点追跡部58に指示する。特徴点追跡部58は、CPU34から特徴点追跡処理の実行が指示されると、YC変換後の画像データをSDRAM45から読み出し、特徴点情報記憶メモリ59に記憶された特徴点情報が示す各特徴点62のそれぞれに対応した対応点64を、当該画像データによって示されるフレーム画像60から求める。特徴点追跡部58は、各対応点64を求めたら、それらの各対応点64を示す対応点情報をCPU34に入力する。
CPU34は、特徴点追跡部58から対応点情報が入力されると、その対応点情報を基に、追跡可能な特徴点62の数が所定値以下か否かを判定する。CPU34は、追跡可能な特徴点62の数が所定値以上である場合、被写体の動きが遅いと判断し、通常AEモードを設定する。一方、CPU34は、追跡可能な特徴点62の数が所定値以下である場合、被写体の動きが速いと判断し、スルー画測光値利用AEモードを設定する。
CPU34は、追跡可能な特徴点62の数が所定値以下か否かの判定、及び各AEモードの設定を行った後、特徴点追跡部58に特徴点追跡処理を行わせた画像データに対する特徴点抽出処理の実行を特徴点抽出部57に指示することにより、特徴点追跡部58の特徴点情報記憶メモリ59に記憶された特徴点情報を更新させる。
そして、CPU34は、レリーズボタン14の全押しによって撮影の実行が指示された際に、上記の処理で設定した方式のAEで撮影を実行する。スルー画測光値利用AEモードでは、シャッタタイムラグを軽減させることができるので、上記のように、被写体の動きが速いと判断される場合にスルー画測光値利用AEモードを設定すれば、ユーザの所望するシャッタチャンスからのシャッタタイムラグに起因するタイミングのずれを防ぎ、タイミングの合った画像を撮影することができる。
上記各実施形態では、スルー画として表示される各フレームの画像データ毎に特徴点抽出処理を行ったが、これに限ることなく、所定の間隔を空けて数フレーム毎に特徴点抽出処理を行ってもよい。
上記各実施形態では、デジタルカメラ2に本発明を適用した例を示したが、本発明はこれに限ることなく、例えば、事前に取得された画像データの被写体の動きをパソコンなどで解析する場合にも適用することができる。
上記各実施形態では、特徴点抽出部57が各特徴点62を抽出した画像データの後に取得された画像データから各特徴点62に対応する対応点64を求めたが、これとは反対に、特徴点抽出部57が各特徴点62を抽出した画像データの前に取得された画像データから各特徴点62に対応する対応点64を求めてもよい。すなわち、特徴点追跡部58が特徴点追跡処理を行う画像データの対象は、特徴点62が抽出された画像データに対して時系列的に前でもよいし、後でもよい。
2 デジタルカメラ(撮像装置)
10 撮影レンズ
34 CPU(動き判断手段、設定変更手段、AF制御手段、AE制御手段)
36 CCD(撮像素子)
57 特徴点抽出部(特徴点抽出手段)
58 特徴点追跡部(特徴点追跡手段)
62 特徴点
64 対応点

Claims (17)

  1. 撮像素子を駆動することによって時系列的に連続した複数の画像データを取得する撮像装置において、
    前記画像データから複数の特徴点を抽出する特徴点抽出手段と、
    前記特徴点抽出手段が前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡手段と、
    前記特徴点追跡手段で前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡手段で前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記各画像データのそれぞれに写った共通の被写体の動きが速いか否かを判断する動き判断手段とを備えたことを特徴とする撮像装置。
  2. 前記動き判断手段は、追跡可能な前記特徴点の数が所定値以下である場合に、前記被写体の動きが速いと判断することを特徴とする請求項1記載の撮像装置。
  3. 前記動き判断手段は、追跡不可能な前記特徴点の数が所定値以上である場合に、前記被写体の動きが速いと判断することを特徴とする請求項1記載の撮像装置。
  4. 前記動き判断手段は、追跡不可能な前記特徴点の数の割合が所定値以上である場合に、前記被写体の動きが速いと判断することを特徴とする請求項1記載の撮像装置。
  5. 前記動き判断手段は、追跡可能な前記特徴点の数の割合が所定値以下である場合に、前記被写体の動きが速いと判断することを特徴とする請求項1記載の撮像装置。
  6. 前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適するように撮影の設定を変更する設定変更手段を設けたことを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 前記設定変更手段は、前記撮像素子のシャッタ速度を速くすることによって動体に適した設定に変更することを特徴とする請求項6記載の撮像装置。
  8. 前記設定変更手段は、前記撮像素子のフレームレートを上げることによって動体に適した設定に変更することを特徴とする請求項6記載の撮像装置。
  9. 前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、動体に適した撮影モードを設定することを特徴とする請求項6記載の撮像装置。
  10. 前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、時系列的に連続した複数の静止画像を取得する連写モードを設定することを特徴とする請求項6記載の撮像装置。
  11. 前記動き判断手段は、追跡可能な前記特徴点の移動ベクトルの算出を行い、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数、及び前記移動ベクトルの大きさに基づいて前記被写体の動きが速いか否かを判断することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 前記動き判断手段は、追跡可能な前記特徴点の数、又は追跡不可能な前記特徴点の数に応じて、前記被写体の動きが遅いと判断した場合であっても、前記移動ベクトルの大きさが所定値以上である場合には、前記被写体の動きが速いと判断することを特徴とする請求項11記載の撮像装置。
  13. 前記動き判断手段は、前記移動ベクトルの大きさが所定値以下で、かつ追跡可能な前記特徴点の数が所定値以下である場合に、オクルージョンが発生していると判断することを特徴とする請求項11記載の撮像装置。
  14. 前記動き判断手段は、追跡可能な前記特徴点、又は追跡不可能な前記特徴点に対し、前記画像データによって示される画像上の位置毎に予め設定された重み付けを行い、前記各特徴点の重みの値を積算することによって重み積算値を算出し、その重み積算値に応じて前記被写体の動きが速いか否かを判断することを特徴とする請求項1記載の撮像装置。
  15. 被写体像を前記撮像素子に結像させるとともに、焦点の調節が可能な撮影レンズと、
    合焦速度の異なる複数の方式のAF処理が実行可能なAF制御手段とを備え、
    前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、合焦速度の速い方式のAF処理を設定することを特徴とする請求項6記載の撮像装置。
  16. 撮影の実行が指示された際に測光値を取得し、その測光値を基にAE処理を行う通常AEモードと、撮影の実行が指示された際にスルー画表示時に取得された測光値をそのまま利用してAE処理を行うスルー画測光値利用AEモードとを有するAE制御手段を備え、
    前記設定変更手段は、前記被写体の動きが速いと前記動き判断手段が判断したことに応じて、前記スルー画測光値利用AEモードを設定することを特徴とする請求項6記載の撮像装置。
  17. 時系列的に連続した複数の画像データを基に、前記各画像データのそれぞれに写った共通の被写体の動きを判断する画像処理方法において、
    前記画像データから複数の特徴点を抽出する特徴点抽出ステップと、
    前記特徴点抽出ステップが前記各特徴点を抽出した前記画像データの前又は後に取得された前記画像データから前記各特徴点に対応する対応点を求めることにより、前記各特徴点の追跡を行う特徴点追跡ステップと、
    前記特徴点追跡ステップで前記対応点が求められた追跡可能な前記特徴点の数、又は前記特徴点追跡ステップで前記対応点を求めることができなかった追跡不可能な前記特徴点の数に応じて、前記被写体の動きが速いか否かを判断する判断ステップとを有することを特徴とする画像処理方法。
JP2010069315A 2010-03-25 2010-03-25 撮像装置及び画像処理方法 Expired - Fee Related JP5394296B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010069315A JP5394296B2 (ja) 2010-03-25 2010-03-25 撮像装置及び画像処理方法
US13/016,280 US8736689B2 (en) 2010-03-25 2011-01-28 Imaging apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010069315A JP5394296B2 (ja) 2010-03-25 2010-03-25 撮像装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2011205282A JP2011205282A (ja) 2011-10-13
JP5394296B2 true JP5394296B2 (ja) 2014-01-22

Family

ID=44656008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010069315A Expired - Fee Related JP5394296B2 (ja) 2010-03-25 2010-03-25 撮像装置及び画像処理方法

Country Status (2)

Country Link
US (1) US8736689B2 (ja)
JP (1) JP5394296B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
KR101710633B1 (ko) * 2011-08-05 2017-02-27 삼성전자주식회사 자동 초점 조절 방법, 자동 초점 조절 장치, 및 이를 포함하는 디지털 촬영장치
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
JP6007523B2 (ja) * 2012-03-09 2016-10-12 富士通株式会社 生成装置、生成プログラムおよび生成方法
US8605189B2 (en) * 2012-05-01 2013-12-10 Xerox Corporation Product identification using mobile device
JP6145822B2 (ja) * 2012-10-12 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置
US20140176774A1 (en) * 2012-12-25 2014-06-26 Samsung Electronics Co., Ltd. Photographing apparatus and method for photographing in an appropriate photographing mode
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
EP2950714A4 (en) 2013-02-01 2017-08-16 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
KR101408118B1 (ko) 2013-04-04 2014-06-17 주식회사 뷰웍스 고속영상 획득 및 조명제어 장치와 그 방법
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
US9123111B2 (en) 2013-08-15 2015-09-01 Xerox Corporation Methods and systems for detecting patch panel ports from an image in which some ports are obscured
JP6835587B2 (ja) * 2014-02-19 2021-02-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用4dイメージングにおける動き適応型可視化
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US20150286869A1 (en) * 2014-04-04 2015-10-08 Peter Ellenby Multi Mode Augmented Reality Search Systems
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US10925579B2 (en) 2014-11-05 2021-02-23 Otsuka Medical Devices Co., Ltd. Systems and methods for real-time tracking of a target tissue using imaging before and during therapy delivery
KR102126370B1 (ko) * 2014-11-24 2020-07-09 한국전자통신연구원 동작 인식 장치 및 방법
JP6518452B2 (ja) * 2015-02-05 2019-05-22 オリンパス株式会社 撮像装置及び撮像方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP3480641A4 (en) * 2016-06-30 2020-02-26 Nikon Corporation CAMERA
JP6892524B2 (ja) * 2017-06-05 2021-06-23 ソニーグループ株式会社 対象追跡に基づくスローモーションビデオキャプチャ
JP2020053774A (ja) * 2018-09-25 2020-04-02 株式会社リコー 撮像装置および画像記録方法
EP3871146A4 (en) 2018-12-10 2021-12-29 Gentex Corporation Scanning apparatus for reducing field of view search space
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法
CN111814590B (zh) * 2020-06-18 2023-09-29 浙江大华技术股份有限公司 人员安全状态监测方法、设备及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9902328A0 (sv) * 1999-06-18 2000-12-19 Ericsson Telefon Ab L M Förfarande och system för att alstra sammanfattad video
US7356164B2 (en) * 2003-05-30 2008-04-08 Lucent Technologies Inc. Method and apparatus for finding feature correspondences between images captured in real-world environments
JP4752459B2 (ja) 2005-11-15 2011-08-17 パナソニック株式会社 撮像装置
JP4665737B2 (ja) * 2005-11-30 2011-04-06 カシオ計算機株式会社 画像処理装置及びプログラム
JP5087264B2 (ja) 2005-12-08 2012-12-05 株式会社トプコン 画像処理装置及びその方法
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
US20080278633A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
JP5061188B2 (ja) * 2007-07-09 2012-10-31 パナソニック株式会社 デジタル一眼レフカメラ
JP4268220B2 (ja) * 2007-08-03 2009-05-27 パナソニック株式会社 撮影装置、撮影方法、およびプログラム
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP5100360B2 (ja) * 2007-12-21 2012-12-19 株式会社トプコン 画像処理装置
JP4756660B2 (ja) * 2008-03-14 2011-08-24 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP5451593B2 (ja) * 2008-06-09 2014-03-26 パナソニック株式会社 撮像装置、撮像方法
JP5107154B2 (ja) * 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
US8462987B2 (en) * 2009-06-23 2013-06-11 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions

Also Published As

Publication number Publication date
US8736689B2 (en) 2014-05-27
US20110234834A1 (en) 2011-09-29
JP2011205282A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
JP5394296B2 (ja) 撮像装置及び画像処理方法
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
US7668451B2 (en) System for and method of taking image
TWI393434B (zh) 攝像裝置及程式儲存記憶媒體
JP4727534B2 (ja) 撮像装置
JP4657960B2 (ja) 撮像方法および装置
WO2013021767A1 (ja) 動体検出装置及び方法
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP2005215373A (ja) 撮像装置
US20080024644A1 (en) System for and method of taking image
CN104246597A (zh) 成像装置、成像方法、记录介质以及程序
JP5409483B2 (ja) 撮像装置
JP2007225897A (ja) 合焦位置決定装置及び方法
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP6427027B2 (ja) 焦点検出装置及びその制御方法、撮像装置、プログラム、並びに記憶媒体
JP2008263478A (ja) 撮像装置
JP5396940B2 (ja) 撮像装置および画像処理装置
JP2007129310A (ja) 撮像装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2004309653A (ja) 撮像装置
JP2007133301A (ja) オートフォーカスカメラ
JP5069076B2 (ja) 撮像装置および連続撮像方法
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP2008028956A (ja) 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP5245644B2 (ja) 露出演算装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131016

R150 Certificate of patent or registration of utility model

Ref document number: 5394296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees