[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5218508B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5218508B2
JP5218508B2 JP2010210983A JP2010210983A JP5218508B2 JP 5218508 B2 JP5218508 B2 JP 5218508B2 JP 2010210983 A JP2010210983 A JP 2010210983A JP 2010210983 A JP2010210983 A JP 2010210983A JP 5218508 B2 JP5218508 B2 JP 5218508B2
Authority
JP
Japan
Prior art keywords
candidates
image
imaging device
instruction signal
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010210983A
Other languages
English (en)
Other versions
JP2011097576A (ja
Inventor
秋彦 高橋
重正 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010210983A priority Critical patent/JP5218508B2/ja
Priority to US12/888,840 priority patent/US20110164147A1/en
Priority to CN2010105083676A priority patent/CN102036015A/zh
Publication of JP2011097576A publication Critical patent/JP2011097576A/ja
Application granted granted Critical
Publication of JP5218508B2 publication Critical patent/JP5218508B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。
ファーストレリーズ以降に所定間隔で撮影された画像を逐次バッファメモリに蓄積し、セカンドレリーズされると、蓄積画像のうちセカンドレリーズ(撮影指示信号)よりも前に撮影されたプレコマ数分の画像と、セカンドレリーズ(撮影指示信号)に対応するコマの画像と、セカンドレリーズ(撮影指示信号)よりも後に撮影されたポストコマ数分の画像とをメモリカードへ保存するカメラが知られている(特許文献1参照)。
特開2001−257976号公報
従来技術では、プレコマ数(撮影指示信号前に取得するフレーム画像数)やプレコマ数とポストコマ数(撮影指示信号後に取得するフレーム画像数)との比率があらかじめ設定される。しかしながら、撮影者にとって適切な値がわからないため、設定するのが困難という問題があった。
本発明による撮像装置は、撮影指示信号を発する指示手段と、所定間隔でフレーム画像を取得する撮像素子と、前記撮像素子で取得された複数のフレーム画像を逐次記憶する記憶手段と、前記記憶手段に記憶された複数のフレーム画像のうち、前記撮影指示信号の発生の前後に取得された複数のフレーム画像を記録媒体に保存する画像の候補とする保存候補決定手段と、前記保存候補決定手段による前記フレーム画像の候補数を所定情報に基づいて自動的に決定する候補数決定手段と、前記保存候補である複数のフレーム画像の中から所定のフレーム画像を選択する操作を受け付ける操作部材とを備え、前記候補数決定手段は、前記撮影指示信号を受けたタイミングと前記所定のフレーム画像が取得されたタイミングとの差を前記所定情報として、前記フレーム画像の候補数を決定することを特徴とする。
本発明による撮像装置では、撮影指示信号前に取得するフレーム画像数および撮影指示信号後に取得するフレーム画像数を適切に設定できる。
本発明の一実施の形態による電子カメラ1の要部構成を説明するブロック図である。 プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。 プリキャプチャー撮影モードにおける処理の流れを説明するフローチャートである。 初期値学習処理の流れを説明するフローチャートである。 第二の実施形態における学習処理の流れを説明するフローチャートである。 Δtの分布および平均値を例示する図である。 変形例4を説明する図である。 特Cを例示する図である。
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による電子カメラ1の要部構成を説明するブロック図である。電子カメラ1は、メインCPU11によって制御される。
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサまたはCMOSイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータにA/D変換する。
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。バッファメモリ31は、A/D変換後の画像信号を一時的に蓄積する。バッファメモリ31は、少なくとも100フレーム分の画像信号を蓄積する容量が確保されている。本実施形態では、撮影指示前(レリーズボタンの全押し操作前)に撮像素子22が所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する際に使用される。プリキャプチャー画像については後述する。
画像処理回路12は、たとえばASICとして構成され、バッファメモリ31から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路14は、撮像画像を液晶モニタ19に表示させるための表示用信号を生成する。
液晶モニタ19は液晶パネルによって構成され、表示画像作成回路14から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路20は、表示画像作成回路14から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
バッファメモリ15は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体30へ記録する前の画像ファイルを記憶したり、記録媒体30から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示後(レリーズボタンの全押し操作後)に撮像素子22が所定のフレームレートで取得するポストキャプチャー画像を一時的に記憶する場合にも使用される。ポストキャプチャー画像については後述する。
フラッシュメモリ16は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ16が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
カードインターフェース(I/F)17はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体30が接続される。カードインターフェース17は、メインCPU11からの指示により、接続された記録媒体30に対するデータの書き込みや、記録媒体30からのデータの読み込みを行う。記録媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
操作部材18は、電子カメラ1の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。半押しスイッチ18aおよび全押しスイッチ18bは、レリーズボタン(不図示)の押下操作に連動して、それぞれがオン信号をメインCPU11へ出力する。半押しスイッチ18aからのオン信号(半押し操作信号)は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ18bからのオン信号(全押し操作信号)は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインCPU11に対して撮影準備の開始を指示する。全押し操作信号は、メインCPU11に対して記録用画像の取得開始を指示する。
<撮影モード>
電子カメラ1は、上記全押し操作信号に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する通常の撮影モードと、上記半押し操作信号を受けると高速シャッタ秒時(たとえば125分の1秒より高速)の静止画像を120フレーム/毎秒(120fps)で連写撮影して複数コマの撮影画像を取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体30へ記録するプリキャプチャー撮影モードとを有する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
<再生モード>
再生モードの電子カメラ1は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ19に再生表示する。
本実施形態は、上記プリキャプチャー撮影モードに特徴を有するので、以下の説明はプリキャプチャー撮影モードを中心に行う。図2は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。
<プリキャプチャー撮影>
図2において、時刻t0に半押し操作信号が入力されると、メインCPU11はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、120フレーム/毎秒(120fps)のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得したプリキャプチャー画像のデータを逐次バッファメモリ31へ記憶する。
本実施形態では、バッファメモリ31の容量のうち所定容量が予めプリキャプチャー撮影のために使用可能に確保されている。メインCPU11は、時刻t0以降にバッファメモリ31内に記憶したフレーム画像(プリキャプチャー画像)のフレーム枚数が所定枚数に達し、記憶済み容量が上記所定容量を上回る場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ31のメモリ容量を所定容量に制限できる。
時刻t1に全押し操作信号が入力されると、メインCPU11はレリーズ処理を開始させる。レリーズ処理では、時刻t1以前に撮像したA枚のフレーム画像(プリキャプチャー画像)と、時刻t1以降に撮像されるB枚のフレーム画像(ポストキャプチャー画像)とを関連づけて、記録媒体30へそれぞれ記録させる。
ここで、Aはプレコマ数に相当し、Bはポストコマ数に相当する。図2における黒い帯は、記録媒体30へ記録されるC=(A+B)枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ31に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
なお、電子カメラ1は、(A+B)枚のフレーム画像を全て記録媒体30へ記録する第1記録方式と、(A+B)枚のフレーム画像のうち、使用者に指定されたフレーム画像のみを記録媒体30へ記録する第2記録方式とが操作部材18からの操作信号に応じて切替え可能に構成されている。本実施形態では、第2記録方式が選択されているものとして説明する。
第2記録方式では、(A+B)枚のフレーム画像を記録媒体30へ記録する前に1フレームずつ、または所定フレーム(たとえば4フレーム)ずつ液晶モニタ19に表示させて、操作部材18からの操作信号によって指示されたフレーム画像のみを記録媒体30へ記録する。第2記録方式の場合の黒い帯は、記録媒体30へ記録する候補となる(A+B)枚のフレーム画像が取得される区間に対応する。
上述したAおよびBの値は、以下のように電子カメラ1が自動設定する。図3は、メインCPU11が実行する処理の流れを説明するフローチャートである。メインCPU11は、プリキャプチャー撮影モードに設定された場合に図3による処理を繰り返す。図3のステップS1において、メインCPU11は半押し操作されたか否かを判定する。メインCPU11は、半押しスイッチ18aからの半押し操作信号が入力された場合にステップS1を肯定判定してステップS2へ進む。メインCPU11は、半押しスイッチ18aからの半押し操作信号が入力されない場合には、ステップS1を否定判定して半押し操作信号を待つ。
ステップS2において、メインCPU11は、上記A、BおよびCに初期値をセットしてステップS3へ進む。ステップS3において、メインCPU11は上記レリーズ待機処理を開始させてステップS4へ進む。ステップS4において、メインCPU11は全押し操作されたか否かを判定する。メインCPU11は、全押しスイッチ18bからの全押し操作信号が入力された場合にステップS4を肯定判定してステップS5へ進む。メインCPU11は、全押しスイッチ18bからの全押し操作信号が入力されない場合には、ステップS4を否定判定してステップS1へ戻る。
ステップS5において、メインCPU11は上記レリーズ処理を開始させてステップS6へ進む。ステップS6において、メインCPU11は、上記AおよびBの値を調節してステップS7へ進む。具体的には、ステップS4を肯定判定する前にバッファメモリ31に蓄積されたフレーム画像(プリキャプチャー画像)に基づいて公知の動きベクトルを求め、該動きベクトルの大きさが小さいほど(A+B)の大きさを小さくするように、A、Bの少なくとも一方を小さくする。これとは反対に、該動きベクトルの大きさが大きいほど(A+B)の大きさを大きくするように、少なくともAを大きくする。
ステップS7において、メインCPU11は、画像取得を終了してステップS8へ進む。ステップS8において、メインCPU11は、(A+B)枚のフレーム画像の中から記録媒体30へ記録する画像を選択するための操作を受け付ける。メインCPU11は、記録するフレーム画像を指示する操作信号が操作部材18から入力された場合にステップS8を肯定判定してステップS9へ進む。メインCPU11は、記録するフレーム画像を指示する操作信号が操作部材18から入力されない場合には、ステップS8を否定判定して選択操作を待つ。
ステップS9において、メインCPU11は、選択されたフレーム画像を記録媒体30へ記録してステップS10へ進む。ステップS10において、メインCPU11は次回のために初期値学習処理を行って図3による処理を終了する。
初期値学習処理は、ステップS8において選択されたコマの取得時刻と全押しスイッチ18bから全押し操作信号が入力された時刻との差Δtに基づいて、初期値Aを見直すものである。初期値学習処理の流れについて、図4のフローチャートを参照して説明する。
図4のステップS91において、メインCPU11は、上記Δt(選択コマの取得時刻と全押し操作信号を受けた時刻との差)を算出してステップS92へ進む。ステップS92において、メインCPU11は、Δtをフラッシュメモリ16に記憶してステップS93へ進む。
ステップS93において、メインCPU11は、フラッシュメモリ16に記憶しているΔtの履歴を用いて公知の統計処理を行ってステップS94へ進む。ステップS94において、メインCPU11は、新Aおよび新Bを算出してステップS95へ進む。具体的には、ステップS93における統計処理結果に基づいてΔtの特異な値を除外し、特異値を除くΔtの平均値Δtmを算出する。そして、平均値Δtmに1.5を掛けた値を学習処理後の初期値Aと改める(新A=1.5×Δtm)。メインCPU11はさらに、新Aを初期値Cから減算した値を初期値Bと改める(新B=初期値C−新A)。
本実施形態では、初期値A、初期値B、および初期値Cがあらかじめ以下のように決められている。一般に、人によるレリーズ操作タイミングは、狙った瞬間より早めにレリーズ操作する傾向を有する人がいる一方で、狙った瞬間より遅れてレリーズ操作する傾向を有する人も存在する。多くの被験者に基づいてデータを集めると、早めに操作する人の操作タイミングは狙った瞬間から0.3秒前までの間、遅めに操作する人の操作タイミングは狙った瞬間から0.4秒後までの間に含まれる確率が高いことがわかった。そこで、撮影指示信号の前に取得されるフレーム枚数Aを撮影指示信号の後に取得されるフレーム枚数Bより多くすることで、狙った瞬間の画像が記録候補に含まれる可能性を高くする。
具体的には、初期値Aを上記0.4秒間に取得されるフレーム数(120fpsの場合48枚)とし、初期値Bを0.3秒間に取得されるフレーム数(120fpsの場合36枚)とし、その和を初期値C(=初期値A+初期値B)とする。
ステップS95において、メインCPU11は、プリキャプチャー画像の一時記憶に使用可能なバッファメモリ31の残容量が所定容量に満たなくなっている場合、すなわち、上記ステップS6で求めた動きベクトルの大きさが所定値以下の場合、ステップS95を肯定判定してステップS96へ進む。一方、メインCPU11は、ステップS6で求めた動きベクトルの大きさが所定値を超えている場合は、ステップS95を否定判定して図4による処理を終了する。ステップS95を否定判定する場合は、初期値Cの値を異ならせることなく図4による処理を終了する。
ステップS96において、メインCPU11は、上記動きベクトルが小さいほどC(=新A+新B)の大きさを初期値Cより小さくするように、新A、新Bの少なくとも一方を小さくして図4による処理を終了する。このように、ステップS95を肯定判定する場合は、初期値Cの値を小さく異ならせて図4による処理を終了する。
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、所定間隔でフレーム画像を取得する撮像素子22と、撮像素子22で取得された複数のフレーム画像を逐次記憶するバッファメモリ31と、撮影指示信号を発し、バッファメモリ31に記憶された複数のフレーム画像のうち、撮影指示信号の発生の前後に取得された複数のフレーム画像を記録媒体30に保存する画像の候補とし、フレーム画像の候補数を所定情報に基づいて自動的に決定するメインCPU11とを備えるようにした。これにより、撮影指示信号前に取得するフレーム画像数および撮影指示信号後に取得するフレーム画像数を適切に設定できるから、バッファメモリ31の使用量を低減し、記録媒体30へ転送/記録に要する時間を短縮できる。
(2)電子カメラ1はさらに、保存候補である複数のフレーム画像の中から所定のフレーム画像を選択する操作を受け付ける操作部材18を備える。この場合に候補数を決定するメインCPU11は、撮影指示信号を受けたタイミングと所定のフレーム画像が取得されたタイミングとの差を所定情報として、フレーム画像の候補数を決定するようにした。たとえば、上記差の大小に応じて候補数を増減させることで、フレーム画像数を適切に設定できる。
(3)上記(2)の場合の保存候補は、撮影指示信号の前に取得されるA枚のフレーム画像と、撮影指示信号以後に取得されるB枚のフレーム画像とで構成される。電子カメラ1はさらに、撮影指示信号を受けたタイミングと所定のフレーム画像が取得されたタイミングとの差の履歴を保存するフラッシュメモリ16をさらに備える。この場合に候補数を決定するメインCPU11は、フラッシュメモリ16に保存されている履歴に基づくタイミング差の平均値に基づいて、撮影指示信号の発生前に取得されるフレーム画像の候補数を決定するようにした。たとえば、上記平均値の大小に応じて候補数を増減させることで、フレーム画像数を適切に設定できる。
(4)上記(3)の場合に候補数を決定するメインCPU11は、撮影指示信号の発生前に取得されるフレーム画像に基づいて撮影シーンを解析し、その解析結果を所定情報として、解析した撮影シーンごとにフレーム画像の候補数を決定するようにした。たとえば、動きがある被写体を撮影する場合には候補数を増加させたり、動きがない場合は候補数を減少させたりすることで、フレーム画像数を適切に設定できる。
(5)保存候補は、撮影指示信号の発生前に取得されるA枚のフレーム画像と、撮影指示信号の発生以後に取得されるB枚のフレーム画像とで構成してもよい。この場合に候補数を決定するメインCPU11は、A枚のフレーム画像に基づいてフレーム間における被写体の動きを求め、当該動きの情報を所定情報として、該動きの大きさが小さいほどA枚およびB枚の和を小さくするように、候補数を減らすので、フレーム画像数を適切に設定できる。
(6)上記(5)の場合に候補数を決定するメインCPU11は、フレーム間における被写体の動きの大きさが大きいほどA枚およびB枚の和を大きくするように、候補数を増やすので、フレーム画像数を適切に設定できる。
(7)上記(6)の場合の候補数を決定するメインCPU11は、フレーム間における被写体の動きの大きさが大きいほどA枚とB枚との和に対するA枚の占める比率を大きくするように、候補数を決定するので、フレーム画像数を適切に設定できる。
(8)上記(5)または(6)の場合の候補数を決定するメインCPU11は、バッファメモリ31の残容量が所定値以下の場合、フレーム間における動きの大きさが小さいほど、さらにA枚およびB枚の和を小さくするように候補数を減らすので、バッファメモリ31の残容量をも考慮してフレーム画像数を適切に設定できる。
(変形例1)
上記第一の実施形態では、プリキャプチャー画像は画像処理前にバッファメモリ31に格納し、ポストキャプチャー画像は画像処理回路12による画像処理後にバッファメモリ15に格納する例を説明した。上述したように、プリキャプチャー画像は古いフレーム画像から順に上書き消去する場合があるので、プリキャプチャー画像を画像処理前に格納しておくと、たとえ上書き消去されても画像処理が無駄にならないからである。しかしながら、画像処理回路12の処理負担が小さく、画像処理回路12の消費電力も気にならない場合には、バッファメモリ31を用いない構成、すなわち、プリキャプチャー画像についてもポストキャプチャー画像と同様に画像処理回路12による画像処理後にバッファメモリ15に格納する構成にしてもよい。
(変形例2)
以上説明した第一の実施形態では、プリキャプチャー撮影のために使用するメモリ(プリキャプチャー画像を格納するバッファメモリ31、ポストキャプチャー画像を格納するバッファメモリ15)の容量に対応する値として、プリキャプチャー画像として取得されるフレーム画像枚数A、およびポストキャプチャー画像として取得されるフレーム画像枚数Bを用いて説明した。この代わりに、メモリ容量そのもので表すようにしてもよい。この場合には、フレーム画像1枚当たりのデータサイズに該フレーム画像の枚数を掛け合わせることにより、必要なメモリ容量が算出される。
(変形例3)
初期値A、BおよびCは、グループごとに分類してもよい。変形例3のメインCPU11は、プリキャプチャー画像またはポストキャプチャー画像に基づいて公知の撮影シーン解析を行うことにより、一連の撮影をポートレート撮影やスポーツシーン撮影などの所定の撮影シーンに分類する。そして、上述したステップS6においてAおよびBの値を調節する処理、および上述したステップS9において初期値学習する処理において、分類した撮影シーンごとに上記A、B、およびCを決定する。たとえば、スポーツシーン撮影においては、スポーツシーンをさらに細かく解析し、球技やトラック競技、カーレースなど様々に分類する。撮影シーンを細かく分類し、分類後の各撮影シーンごとに適切な上記A、B、およびCを決定することで、プレコマ数およびポストコマ数を適切に設定できる。
(第二の実施形態)
第二の実施形態では、ステップS8(図3)において選択されたコマの取得時刻と全押しスイッチ18bから全押し操作信号が入力された時刻との差Δtに基づいて、初期値Cを見直す。第二の実施形態においてメインCPU11が実行する初期値学習処理の流れについて、図5に例示するフローチャートを参照して説明する。図5の処理は、第一の実施形態における図4の処理に代えて行う。
図5のステップS101において、メインCPU11は、上記Δt(選択コマの取得時刻と全押し操作信号を受けた時刻との差)を算出してステップS102へ進む。ステップS102において、メインCPU11は、Δtをフラッシュメモリ16に記憶してステップS103へ進む。
ステップS103において、メインCPU11は、フラッシュメモリ16に記憶しているΔtの履歴を用いて公知の統計処理を行ってステップS104へ進む。ステップS104において、メインCPU11は、以下のように新Cを算出して図5による処理を終了する。
第二の実施形態では、図6に例示するように、フラッシュメモリ16に記憶している全てのΔtの平均値ΔTmを算出する。図6は、Δtの分布および平均値を例示する図である。そして、平均値ΔTmの左側の−3σ、および平均値ΔTmの右側の+3σによって示される範囲を新Cと改める。ここで、以下の式(1)、式(2)に示すように、σはΔtの分布の標準偏差であって、分散(標本分散)σの正の平方根である。
平均値ΔTm=(1/n)Σ(xi) (1)
ただし、i=1,2,…,n
分散σ=(1/n)Σ(xi−ΔTm) (2)
ただし、i=1,2,…,n
新Cは、統計学上、フラッシュメモリ16に記憶しているΔtの99.7%を包含する。メインCPU11は、新Cの値から直近のΔtに基づいて新Aおよび新Bを算出する。たとえば、直近のΔtがΔTmと略一致する場合、新A=新B=新C/2である。新A、新B、新Cは、それぞれ次回のプリキャプチャー撮影処理においてステップS2(図3)で行う初期値セットに用いる。
以上説明した第二の実施形態によれば、選択されたコマの取得時刻と、撮影指示信号が入力された時刻(S2オンのタイミング)との差Δtに基づいて、撮影指示信号の前に取得されるフレーム枚数Aと、撮影指示信号の後に取得されるフレーム枚数Bとの和であるCの値を適切に自動設定できる。また、電子カメラを使用する撮影者の操作タイミングの履歴を反映して設定するので、必要以上のフレーム画像数Cをセットすることがないから、バッファメモリの使用量を低減し、記録媒体30へ転送/記録に要する時間を短縮できる。
(変形例4)
第二の実施形態では、新Cを統計学上でΔtの99.7%を包含する範囲(±3σ)に設定したが、直近に算出されたΔtが±3σに含まれない場合には、当該算出されたΔtを含むように新Cを算出してもよい。図7は、変形例4を説明する図である。図7において、平均値ΔTmの右側の+3σで示される範囲を超えてΔtが算出された場合を例に説明する。この場合のメインCPU11は、平均値ΔTmの左側の−3σの範囲、および平均値ΔTmの右側の|S2オン−ΔTm|の範囲を合わせて新Cと改める。S2オンのタイミングは、撮影指示信号のタイミングである。変形例4によれば、Δtの全ての履歴を考慮して新Cを算出し、次回のプリキャプチャー撮影処理においてステップS2(図3)で行う初期値セットに用いることができる。
(第三の実施形態)
第三の実施形態では、電子カメラがフォーカスロックされている場合における新Cの演算を説明する。フォーカスロックとは、カメラから所定距離を離した被写体にピントが合うようにあらかじめフォーカス調節した状態を保持(ロック)することをいう。第三の実施形態のメインCPU11は、フォーカスロックした状態で全押し操作(図3におけるステップS4)を受け付ける。
一般に、電子カメラがフォーカスロックされていない場合は、ステップS5(図3)においてレリーズ処理を開始させる直前にフォーカシングレンズを駆動してフォーカス調節を行う。これに対して電子カメラがフォーカスロックされている場合は、ステップS5(図3)においてフォーカス調節した状態を保持(ロック)したままでレリーズ処理を行う。
そこで、第三の実施形態のメインCPU11は、フォーカスロックされていない場合とフォーカスロックされている場合とで、ステップS2(図3)で行う初期値セットに用いる値Cを演算する処理を異ならせる。具体的には、フォーカスロックされていない場合のメインCPU11は、上述した第二の実施形態と同様に新A、新B、新Cを算出し、算出した新A、新B、新Cの値をそれぞれ次回のプリキャプチャー撮影処理においてステップS2(図3)で行う初期値セットに用いる。
一方、フォーカスロックされている場合のメインCPU11は、撮影画面においてピント合わせの対象にする領域(フォーカスエリア、またはフォーカスフレームという)に主要被写体が存在するか否かに応じてさらに処理を異ならせる。
フォーカスロックされている場合であって、かつ撮影画面においてフォーカスエリア(またはフォーカスフレーム、以下同様)に主要被写体が存在する場合のメインCPU11は、上述した第二の実施形態と同様に新A、新B、新Cを算出し、算出した新A、新B、新Cの値をそれぞれ次回のプリキャプチャー撮影処理においてステップS2(図3)で行う初期値セットに用いる。
フォーカスロックされている場合であって、かつ撮影画面においてフォーカスエリアに主要被写体が存在しない場合のメインCPU11は、あらかじめ初期値としてフラッシュメモリ16に記憶しておいた特Cを用いる。フォーカスエリアに主要被写体が存在しない場合は、主要被写体がフォーカスエリア外から該フォーカスエリア内へ移動してきたことを撮影者が認識してからレリーズ操作するので、フォーカスエリア内に既に主要被写体が存在することを認識した撮影者がレリーズ操作する場合に比べて、レリーズ操作タイミングが遅れがちになる。多くの被験者に基づいてデータを集めると、ほとんどの被験者が選択したコマの取得時刻は、全押しスイッチ18bから全押し操作信号が入力された時刻より前であることがわかった。
そこで、フォーカスロックされており、かつフォーカスエリアに主要被写体が存在しない場合に用いる特Cは、図8に例示するように、たとえばS2オンタイミング以前に対応する値とする。S2オンタイミングは、撮影指示信号のタイミングである。特Cの全てを撮影指示信号の前に確保するので、図8の例では特C=A(B=0)である。撮影指示信号の前に取得されるフレーム画像を記録候補にすることで、レリーズ操作タイミングが遅れがちになる条件において取得されるプリキャプチャー画像の中に狙った瞬間の画像が含まれる可能性を高くすることができる。
(変形例5)
フォーカスロックされている場合は、撮影画面においてフォーカスエリアに主要被写体が存在するか否かにかかわらず、フォーカスロックされていない場合に用いられるCの値から所定値(たとえば、10msec相当)を差し引いたC’を用いる構成にしてもよい。フォーカスロックされている場合はレリーズ操作後にフォーカシングレンズを駆動しないことから、フォーカシングレンズ駆動に要する時間に相当する上記所定値を差し引いておく。Cの値より小さいC’へ変更することにより、バッファメモリの使用量を低減し、記録媒体30へ転送/記録に要する時間を短縮できる。
(第四の実施形態)
第四の実施形態では、フラッシュメモリ16に記憶しているΔtを所定条件に基づいてグルーピングし、該グルーピングによって得られた複数のグループの中から選んだ所定グループを構成するΔtを用いて、新Cを算出する。メインCPU11は、たとえば、主要被写体の動きを検出し、動きを検出した被写体の移動速度に応じてグルーピングを行う。
<撮影画面内の移動速度>
被写体の移動速度は、たとえば撮影画面内の動きに基づいて算出する。メインCPU11は、キャプチャー画像のうち追尾被写体Tに対応する画像データに基づいて特徴量データを生成し、該特徴量データを含む参照用データを追尾被写体Tを追尾するためのテンプレートマッチング用に用いる。
メインCPU11は、取得時刻が異なる複数フレームの画像データを用いて公知のテン
プレートマッチング処理を施すことにより、先に取得された画像データにおける追尾被写
体Tと類似する領域を、後から取得された画像データから検出(追尾)する。
メインCPU11は、後から取得された画像データにおいて検出した検出領域の位置と、先に取得された画像データにおける追尾被写体Tの位置との相対距離が所定差を超えている場合に、相対距離を示すピクセル数を対比するフレーム画像の取得時刻の差(120fpsの場合は1/120秒)で除算して得られる商を像面移動速度とする。
メインCPU11は、フラッシュメモリ16に記憶するΔtを、上記像面移動速度に応
じてグループ化する。Δtをフラッシュメモリ16に記憶する際に像面移動速度を示すデータと関連づけて記憶しておくことにより、フラッシュメモリ16に記憶しているΔtを像面移動速度に応じてグループ化することができる。
メインCPU11は、図3のプリキャプチャー撮影処理においてステップS1で半押し操作された場合、ステップS2へ進む前にライブビュー画像と呼ばれるモニタ用画像を撮像素子22に取得させる。モニタ用画像は、たとえば、撮像素子22が所定のフレームレート(たとえば、120fps)で撮像する画像のことをいう。メインCPU11は、取得時刻が異なる複数フレームのモニタ用画像データを用いて上記テンプレートマッチング処理を施すことにより、キャプチャー画像を用いる場合と同様に、追尾被写体Tの像面移動速度を求める。
メインCPU11は、プリキャプチャー撮影処理においてステップS2(図3)で行う
初期値セットを行う際に、上記像面移動速度と速度範囲が合致するΔtによって構成されているグループを選ぶ。なお、フラッシュメモリ16に記憶しているΔtは、あらかじめ像面移動速度に基づいて複数のグループにグルーピングされているものとする。メインCPU11は、フラッシュメモリ16に記憶しているΔtのうち、選択したグループを構成するΔtgの平均値ΔTmgを算出する。そして、平均値ΔTmgの±3σによって示される範囲を新Cと改める。その他の処理は上述した第二の実施形態の場合と同様である。
<光軸方向の移動速度>
追尾被写体が電子カメラに対して近づいたり離れたりする場合は、フォーカシングレンズの移動量に基づいて移動速度を算出することもできる。たとえば、フォーカシングレンズの移動量をレンズ移動時間(たとえば1/30秒)で除算して得られる商を光軸方向の移動速度とする。
以上説明した第四の実施形態によれば、フラッシュメモリ16に記憶しているΔtをグルーピングしないでフレーム画像数Cを設定する場合に比べて分散が小さくなる。この分散に基づいて新Cを算出することで新Cの範囲が狭くなり、必要以上のフレーム画像数Cがセットされることがなくなる。これにより、バッファメモリの使用量を低減し、記録媒体30へ転送/記録に要する時間を短縮できる。
(変形例6)
被写体の移動速度に基づいてグルーピングする以外の他の方法によってグルーピングしてもよい。たとえば、撮影画像の撮影時間帯に基づいてグルーピングをしたり、撮影画像が縦位置撮影によるものか横位置撮影によるものかに応じてグルーピングしたり、画像撮影時に上述したフォーカスロックされていたか否かに応じてグルーピングすることもできる。
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
1…電子カメラ
11…メインCPU
12…画像処理回路
15,31…バッファメモリ
16…フラッシュメモリ
18…操作部材
19…液晶モニタ
22…撮像素子
23…撮像回路

Claims (16)

  1. 撮影指示信号を発する指示手段と、
    所定間隔でフレーム画像を取得する撮像素子と、
    前記撮像素子で取得された複数のフレーム画像を逐次記憶する記憶手段と、
    前記記憶手段に記憶された複数のフレーム画像のうち、前記撮影指示信号の発生の前後に取得された複数のフレーム画像を記録媒体に保存する画像の候補とする保存候補決定手段と、
    前記保存候補決定手段による前記フレーム画像の候補数を所定情報に基づいて自動的に決定する候補数決定手段と、
    前記保存候補である複数のフレーム画像の中から所定のフレーム画像を選択する操作を受け付ける操作部材とを備え、
    前記候補数決定手段は、前記撮影指示信号を受けたタイミングと前記所定のフレーム画像が取得されたタイミングとの差を前記所定情報として、前記フレーム画像の候補数を決定することを特徴とする撮像装置。
  2. 請求項に記載の撮像装置において、
    前記保存候補は、前記撮影指示信号の前に取得されるA枚のフレーム画像と、前記撮影指示信号以後に取得されるB枚のフレーム画像とで構成され、
    前記撮影指示信号を受けたタイミングと前記所定のフレーム画像が取得されたタイミングとの差の履歴を保存する保存手段をさらに備え、
    前記候補数決定手段は、前記保存手段に保存されている前記履歴に基づく前記タイミング差の平均値に基づいて、前記撮影指示信号の発生前に取得されるフレーム画像の候補数を決定することを特徴とする撮像装置。
  3. 請求項1または2に記載の撮像装置において、
    前記候補数決定手段は、前記撮影指示信号の発生前に取得されるフレーム画像に基づいて撮影シーンを解析し、その解析結果を前記所定情報として、解析した撮影シーンごとに前記フレーム画像の候補数を決定することを特徴とする撮像装置。
  4. 請求項1乃至3のいずれか一項に記載の撮像装置において、
    前記記憶手段に記憶された複数のフレーム画像を所定フレームずつ表示させる手段をさらに備え、
    前記操作部材は、表示されたフレーム画像の中から所定のフレーム画像を選択する操作を行うことを特徴とする撮像装置。
  5. 請求項に記載の撮像装置において、
    前記候補数決定手段は、前記撮影指示信号の発生前に取得されるフレーム画像の候補数を、前記履歴に基づく前記タイミング差の平均値よりも所定比率大きい数にすることを特徴とする撮像装置。
  6. 請求項に記載の撮像装置において、
    前記候補数決定手段は、前記撮影指示信号の後に取得されるフレーム画像の候補数を、前記撮影指示信号の前に取得されるフレーム画像の候補数より少ない枚数となるように決定することを特徴とする撮像装置。
  7. 請求項1乃至6のいずれか一項に記載の撮像装置において、
    前記撮影指示信号の発生の前に取得されるフレーム画像は、画像処理を施す前に前記記憶手段に記憶されることを特徴とする撮像装置。
  8. 請求項に記載の撮像装置において、
    前記撮影指示信号を受けたタイミングと前記所定のフレーム画像が取得されたタイミングとの差の履歴を保存する保存手段をさらに備え、
    前記候補数決定手段は、前記保存手段に保存されている前記履歴の平均値と分散値とに基づいて前記フレーム画像の候補数を決定することを特徴とする撮像装置。
  9. 請求項に記載の撮像装置において、
    該撮像装置から所定距離を離した被写体にフォーカス調節した状態を保持して行う撮影か否かを判定する判定手段をさらに備え、
    前記候補数決定手段は、前記判定手段による判定結果に応じて前記フレーム画像の候補数を異ならせることを特徴とする撮像装置。
  10. 請求項に記載の撮像装置において、
    前記候補数決定手段は、前記判定手段によって前記フォーカス調節した状態を保持して行う撮影が判定されており、かつフォーカスエリア内に主要被写体が存在しない場合は、前記決定したフレーム画像の候補数に代えてあらかじめ定められた候補数に決定することを特徴とする撮像装置。
  11. 請求項に記載の撮像装置において、
    前記保存手段に保存されている前記履歴をグループに分ける分別手段をさらに備え、
    前記候補数決定手段は、前記分別手段によって分別されたグループを構成する履歴の平均値と分散値とに基づいて前記フレーム画像の候補数を決定することを特徴とする撮像装置。
  12. 請求項11に記載の撮像装置において、
    主要被写体の移動速度を検出する速度検出手段をさらに備え、
    前記分別手段は前記保存手段に保存されている前記履歴を前記移動速度に応じたグループに分別し、
    前記候補数決定手段は、前記移動速度に応じたグループを構成する履歴の平均値と分散値とに基づいて前記フレーム画像の候補数を決定することを特徴とする撮像装置。
  13. 請求項に記載の撮像装置において、
    前記保存候補は、前記撮影指示信号の発生前に取得されるA枚のフレーム画像と、前記撮影指示信号の発生以後に取得されるB枚のフレーム画像とで構成され、
    前記候補数決定手段は、前記A枚のフレーム画像に基づいてフレーム間における被写体の動きを求め、当該動きの情報を前記所定情報として、該動きの大きさが小さいほど前記A枚および前記B枚の和を小さくするように、前記候補数を減らすことを特徴とする撮像装置。
  14. 請求項13に記載の撮像装置において、
    前記候補数決定手段は、前記フレーム間における被写体の動きの大きさが大きいほど前記A枚および前記B枚の和を大きくするように、前記候補数を増やすことを特徴とする撮像装置。
  15. 請求項14に記載の撮像装置において、
    前記候補数決定手段は、前記フレーム間における被写体の動きの大きさが大きいほど前記A枚と前記B枚との和に対する前記A枚の占める比率を大きくするように、前記候補数を決定することを特徴とする撮像装置。
  16. 請求項13または14に記載の撮像装置において、
    前記候補数決定手段は、前記記憶手段の残容量が所定値以下の場合、前記フレーム間における動きの大きさが小さいほど、さらに前記A枚および前記B枚の和を小さくするように、前記候補数を減らすことを特徴とする撮像装置。
JP2010210983A 2009-10-02 2010-09-21 撮像装置 Expired - Fee Related JP5218508B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010210983A JP5218508B2 (ja) 2009-10-02 2010-09-21 撮像装置
US12/888,840 US20110164147A1 (en) 2009-10-02 2010-09-23 Imaging apparatus
CN2010105083676A CN102036015A (zh) 2009-10-02 2010-10-08 摄像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009230303 2009-10-02
JP2009230303 2009-10-02
JP2010210983A JP5218508B2 (ja) 2009-10-02 2010-09-21 撮像装置

Publications (2)

Publication Number Publication Date
JP2011097576A JP2011097576A (ja) 2011-05-12
JP5218508B2 true JP5218508B2 (ja) 2013-06-26

Family

ID=44113950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010210983A Expired - Fee Related JP5218508B2 (ja) 2009-10-02 2010-09-21 撮像装置

Country Status (2)

Country Link
US (1) US20110164147A1 (ja)
JP (1) JP5218508B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818025B2 (en) 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
JP2012161012A (ja) * 2011-02-02 2012-08-23 Canon Inc 動画記録装置
JP5891401B2 (ja) * 2011-02-17 2016-03-23 パナソニックIpマネジメント株式会社 画像編集装置、画像編集方法、およびプログラム
US20120249853A1 (en) * 2011-03-28 2012-10-04 Marc Krolczyk Digital camera for reviewing related images
JP2013058976A (ja) * 2011-09-09 2013-03-28 Ricoh Co Ltd 撮像装置
US9426356B2 (en) * 2013-03-07 2016-08-23 Nokia Technologies Oy Method, apparatus and computer program for selecting images
US10226376B2 (en) 2014-03-19 2019-03-12 Purewick Corporation Apparatus and methods for receiving discharged urine
CN106464845B (zh) 2014-05-15 2020-05-19 科洛普拉斯特公司 用于捕捉并数字地存储伤口、瘘管、或造口部位的图像的方法和装置
JP6470594B2 (ja) * 2015-03-05 2019-02-13 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2017038281A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 撮像装置およびその制御方法
JP6533761B2 (ja) * 2016-05-18 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10376406B2 (en) 2016-07-27 2019-08-13 Purewick Corporation Male urine collection device using wicking material
US20180234660A1 (en) * 2017-02-10 2018-08-16 Nxtgen Technology, Inc. Limited and temporary queuing of video data captured by a portable camera prior to user initiation of video recording commands
EP3823267B1 (en) * 2018-03-11 2023-05-10 Google LLC Static video recognition
US11944740B2 (en) 2018-05-01 2024-04-02 Purewick Corporation Fluid collection devices, related systems, and related methods
CA3098571C (en) 2018-05-01 2023-09-26 Purewick Corporation Fluid collection devices, systems, and methods
US12048643B2 (en) 2020-05-27 2024-07-30 Purewick Corporation Fluid collection assemblies including at least one inflation device and methods and systems of using the same
US12042423B2 (en) 2020-10-07 2024-07-23 Purewick Corporation Fluid collection systems including at least one tensioning element
US12048644B2 (en) 2020-11-03 2024-07-30 Purewick Corporation Apparatus for receiving discharged urine
US12070432B2 (en) 2020-11-11 2024-08-27 Purewick Corporation Urine collection system including a flow meter and related methods
CA3162613A1 (en) 2021-01-19 2022-07-19 Purewick Corporation Variable fit fluid collection devices, systems, and methods
EP4274524B1 (en) 2021-02-26 2024-08-28 Purewick Corporation A male fluid collection device configured as a male urine collection device
US12029677B2 (en) 2021-04-06 2024-07-09 Purewick Corporation Fluid collection devices having a collection bag, and related systems and methods
US11800242B2 (en) 2021-09-15 2023-10-24 Qualcomm Incorporated Low-power fusion for negative shutter lag capture
CN116915978B (zh) * 2023-08-07 2024-07-16 昆易电子科技(上海)有限公司 触发时间确定方法、数据采集系统、车辆以及工控机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570614B1 (en) * 1997-03-14 2003-05-27 Minolta Co., Ltd. Electronic still camera
JP3277840B2 (ja) * 1997-03-14 2002-04-22 ミノルタ株式会社 電子スチルカメラ
JP3883932B2 (ja) * 2002-08-20 2007-02-21 三洋電機株式会社 記録媒体管理装置及びこれを用いたデジタルカメラ
JP2005039353A (ja) * 2003-07-16 2005-02-10 Konica Minolta Opto Inc デジタルカメラ
JP4799849B2 (ja) * 2004-11-11 2011-10-26 富士フイルム株式会社 撮影装置及び撮影処理方法
JP4277837B2 (ja) * 2005-08-03 2009-06-10 ソニー株式会社 撮像装置
JP2007104529A (ja) * 2005-10-07 2007-04-19 Eastman Kodak Co デジタルカメラおよびタイムラグ設定方法
US7948526B2 (en) * 2006-11-14 2011-05-24 Casio Computer Co., Ltd. Imaging apparatus, imaging method and program thereof
JP4862741B2 (ja) * 2007-05-14 2012-01-25 ソニー株式会社 撮像装置、撮像信号処理方法、プログラム
JP2008283629A (ja) * 2007-05-14 2008-11-20 Sony Corp 撮像装置、撮像信号処理方法、プログラム
JP5338373B2 (ja) * 2009-02-24 2013-11-13 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
JP2011097576A (ja) 2011-05-12
US20110164147A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
JP5218508B2 (ja) 撮像装置
JP5589527B2 (ja) 撮像装置および追尾被写体検出方法
CN101419666B (zh) 图像处理装置、图像捕获装置、图像处理方法及记录媒介
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
JP5394296B2 (ja) 撮像装置及び画像処理方法
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
TWI393434B (zh) 攝像裝置及程式儲存記憶媒體
JP5126207B2 (ja) 撮像装置
US20070237513A1 (en) Photographing method and photographing apparatus
WO2010007865A1 (ja) 撮像装置、撮像方法及びプログラム
TWI508548B (zh) 攝像裝置及攝像方法
JP5434038B2 (ja) 撮像装置
JP5289993B2 (ja) 追尾装置および追尾方法
JP5338373B2 (ja) 撮像装置
JP6660236B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP4415879B2 (ja) 撮像装置および撮像方法
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP7444604B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2014007622A (ja) 撮像装置、及びプログラム
JP5380833B2 (ja) 撮像装置、被写体検出方法及びプログラム
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
JP2006039254A (ja) カメラ
JP2018106763A (ja) 撮像装置
JP2011166391A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees