JP4179711B2 - 電子カメラ - Google Patents
電子カメラ Download PDFInfo
- Publication number
- JP4179711B2 JP4179711B2 JP21515399A JP21515399A JP4179711B2 JP 4179711 B2 JP4179711 B2 JP 4179711B2 JP 21515399 A JP21515399 A JP 21515399A JP 21515399 A JP21515399 A JP 21515399A JP 4179711 B2 JP4179711 B2 JP 4179711B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- still image
- still
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連写機能を有する電子カメラに関する。
【０００２】
【従来の技術】
被写体像を撮像光学系により固体撮像素子、例えばＣＣＤ二次元イメージセンサ上に結像して電気信号に変換し、これにより得られた静止画の画像信号を半導体メモリや磁気ディスクのような記録媒体に記録する電子カメラが広く普及しつつある。
【０００３】
また、記録媒体の容量の増大と画像処理速度の向上に伴い、静止画像の撮影のみでなく、時間的に連続した複数の静止画像からなる動画画像を撮影し、再生時にこれを連続して再生表示する、いわゆる連写機能を有する電子カメラも種々製品化されている。
【０００４】
【発明が解決しようとする課題】
動画画像の再生時においては、動画画像を構成する複数の静止画像の中の特定の一枚ないし数枚の画像だけをゆっくり確認したい場合がしばしばある。このような場合、従来の電子カメラでは動画画像の再生状態を連続的な再生から１コマ単位での再生に切り替え、所望の画像が選択されるまでコマ送り操作を行い、所望の画像が表示された時点でコマ送り操作を停止するようにしていた。
【０００５】
しかし、このような方法では動画画像中の任意の画像を選択するのに要する手間がかかるという問題があった。
【０００６】
本発明は、煩雑な操作を必要とすることなく、動画画像中の特定の画像の内容をゆっくりと確認することが可能な電子カメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は動画画像の撮影時に動画画像中の所望の静止画像に対して識別情報を付加し、動画画像の再生時に該識別情報が付加されている静止画像を表示画面の一部を用いて表示するようにしたことを骨子としている。
【０００８】
すなわち、本発明に係る電子カメラは、静止画像の撮影を指示する第１のレリーズ手段と、時間的に連続した複数の静止画像からなる動画画像の撮影の開始および停止を指示する第２のレリーズ手段と、前記第２のレリーズ手段による指示により撮影された動画画像を記録媒体に記録する記録手段と、前記第２のレリーズ手段による指示により動画画像の撮影が行われている状態で前記第１のレリーズ手段による静止画像の撮影が指示された場合に、前記記録媒体に記録される動画画像中の該静止画像の撮影が指示された時点の静止画像に識別情報を付加する記録制御手段と、前記記録媒体に記録されている動画画像の再生表示時に、該動画画像の再生表示と並行して、前記識別情報が付加された静止画像を表示画面の一部を用いて所定時間にわたり再生表示する制御を行う再生制御手段とを具備し、前記再生制御手段は、前記記録媒体に記録されている動画画像中に前記識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像のサイズを異なるように設定し、該設定した複数個の静止画像を並行して再生表示する制御を行うことを特徴とする。
【０００９】
このような構成とすることにより、動画画像を構成する個々の静止画像については、例えばピクチャ・イン・ピクチャ画像の親画像として、また動画画像を構成する複数の静止画像の中で識別情報が付加された静止画像については、ピクチャ・イン・ピクチャ画像の子画像としてそれぞれ表示することによって、撮影時にユーザが特に重要と思われるシーンでは静止画像の撮影指示を行って識別情報を付加しておくだけで、再生時に特別なキー操作などの煩雑な操作を行うことなく、その静止画像の内容をゆっくりと確認することが可能となる。
【００１０】
再生制御手段は、動画画像中に識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像を記録時刻の新しいものほどサイズを大きく設定し、該設定した静止画像を並行して再生表示する制御を行うようにしてもよい。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る電子カメラの構成を示す図である。
【００１２】
被写体光は撮像レンズ１を通過し、さらに絞り２によって光量が制御される。撮像レンズ１はＡＦモータ３により駆動され、絞り２は絞りモータ４により駆動される。ＡＦモータ３および絞りモータ４は、それぞれモータドライバ５および６により駆動される。
【００１３】
撮像レンズ１および絞り２を通過した被写体光は、カラー固体撮像素子であるＣＣＤ二次元カラーイメージセンサ（以下、単にＣＣＤという）７に入射する。これによって、ＣＣＤ７の撮像面上に被写体像が結像される。ＣＣＤ７は、光電変換を行う複数の画素を二次元のマトリクス状に配列して撮像面を構成し、さらに撮像面にカラーフィルタを配置したものであり、ＣＣＤドライバ８によって駆動制御されることにより、撮像面に結像された被写体像に対応した信号電荷を蓄積する。撮像面に蓄積された信号電荷は、画素信号と呼ばれる電気信号としてＣＣＤ７から読み出される。
【００１４】
ＣＣＤ７から読み出された画素信号は、Ａ／Ｄ変換器９によりディジタル信号に変換された後、画像処理部１０、ＡＥ（自動露出）処理部１１、ＡＦ（自動焦点調整）処理部１２およびＡＷＢ（自動ホワイトバランス調整）処理部１３に入力される。画像処理部１０では、画素信号に対して色信号の分離、ＣＤＳ（相関二重サンプリング）その他の処理が施されることにより、所定フォーマットのカラー画像信号が生成される。
【００１５】
ＡＥ処理部１１では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受け、各画素からの画素信号の累積加算を主体とする演算処理を行い、この累積加算値に基づき被写体の明るさに応じたＡＥ評価値（測光値）を求め、このＡＥ評価値に基づいて絞りモータ４を介して絞り２を制御することで光量を制御したり、さらにはＣＣＤドライバ８を介してＣＣＤ７の電荷蓄積時間を制御することにより、自動露出（ＡＥ）処理を行う。
【００１６】
ＡＦ処理部１２では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受けて、例えば１画面分の画素信号の高周波成分をハイパスフィルタにより抽出し、これに対して累積加算等の演算処理を行うことによって高域側の輪郭成分量に対応するＡＦ評価値を算出し、これに基づいてＡＦモータ３を介して撮像レンズ１を光軸方向に制御して自動焦点調整（ＡＦ）処理を行う。
【００１７】
ＡＷＢ処理部１３では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受けて、被写体の色温度によらず白が正しく再現されるように画像処理部１０でのカラー画像信号の生成を制御する、自動ホワイトバランス調整（ＡＷＢ）処理を行う。
【００１８】
画像処理部１０によって生成されたカラー画像信号は、バッファメモリ１４に一時的に記憶される。バッファメモリ１４から読み出されるカラー画像信号は表示処理部１５に導かれ、ここで表示出力に適した形態に変換された後、ＴＦＴ方式などのカラー液晶ディスプレイ（ＬＣＤ）１６に供給され、画像として表示される。
【００１９】
バッファメモリ１４には、さらに圧縮処理部１７および伸長処理部１８が接続される。圧縮処理部１７および伸長処理部１８には、記録再生処理部１９を介して画像データおよび付随するデータを記録するための記録媒体であるメモリカード２０が接続される。メモリカード２０は、例えばカード型フラッシュメモリのような半導体メモリを用いて構成される。記録媒体はメモリカード２０に限られるものではなく、例えばハードディスクやフロッピディスクのような磁気記録媒体等、種々の形態のものを使用できる。
【００２０】
圧縮処理部１７は、バッファメモリ１４に記憶された画像信号を読み出して所定の圧縮方式、例えばＪＰＥＧ方式により圧縮（符号化）処理を行う。圧縮処理部１７で符号化された画像データは、記録再生処理部１９によりメモリカード２０への記録に適した形態とされた後、メモリカード２０に記録される。但し、メモリカード２０には通常の静止画像はＪＰＥＧファイルとして記録されるが、時間的に連続した複数の静止画像である動画画像はモーションＪＰＥＧファイルとして記録される。
【００２１】
メモリカード２０に記録された画像データは、記録再生処理部１９を介して再生され、伸長処理部１８により圧縮処理部１７の圧縮方式と逆の処理で伸長（復号化）処理される。伸長処理された画像信号はバッファメモリ１４に一時記憶され、表示処理部１５を経て液晶ディスプレイ１６で適宜表示出力することが可能である。
【００２２】
システムコントローラ２１は、操作部３０からの指令に基づいて各部を制御するものであり、ＣＰＵを用いて構成される。具体的には、システムコントローラ２１はＣＣＤドライバ８、Ａ／Ｄ変換器９、画像処理部１０、ＡＥ処理部１１、ＡＦ処理部１２、ＡＷＢ処理部１３、バッファメモリ１４、表示処理部１５、圧縮処理部１７、伸長処理部１８および記録再生処理部１９の制御を行う。
【００２３】
操作部３０は、カメラのユーザによる操作に基づいて各種の動作を行わせるための指令信号を発生してシステムコントローラ２１に伝達する。この操作部３０には、特に本発明に関係するものとして、静止画レリーズスイッチ３１、連写レリーズスイッチ３２およびモードスイッチ３３が設けられている。
【００２４】
静止画レリーズスイッチ３１は、静止画像の撮影を指示するためのスイッチである。連写レリーズスイッチ３２は、時間的に連続した複数の静止画像からなる動画画像の撮影の開始および停止を指示するための２段動作のスイッチであり、第１段動作で動画画像の撮影開始、第２段動作で撮影停止を指示する。モードスイッチ３３は、記録（撮影）モードと再生（表示）モードを切り替えるためのスイッチである。
【００２５】
システムコントローラ２１は、連写レリーズスイッチ３２による指示により動画画像の撮影が行われている状態で、静止画レリーズスイッチ３１による静止画像の撮影が指示された場合に、メモリカード２０に記録される動画画像中の対応する静止画像、すなわち静止画像の撮影が指示された瞬間の時点で撮影される静止画像に静止画フラグを付加する記録制御を記録再生処理部１９に対して行う。この静止画フラグは、これが付加された静止画像が独立して表示されるべき静止画像である旨を示す識別情報である。
【００２６】
さらに、システムコントローラ２１は、メモリカード２０に記録されている動画画像の再生表示時に、動画画像の再生表示と並行して、静止画フラグが付加された静止画像を液晶ディスプレイ１６の表示画面の一部を用いて所定時間にわたり再生表示する再生制御を記録再生処理部１９に対して行う。
【００２７】
次に、図２に示すフローチャートを用いて、本実施形態における動画画像の撮影時の動作手順について説明する。なお、これらの動作はシステムコントローラ２１による制御とシステムコントローラ２１自体の処理として実現される。
【００２８】
まず、連写レリーズスイッチ３２の第１段動作がなされたか否か、つまり連写レリーズがオンかどうかを調べ（ステップＡ１）、連写レリーズオンであれば撮影動作を行う（ステップＡ２）。この撮影動作では、ＡＥ処理部１１、ＡＦ処理部１２およびＡＷＢ処理部１３でのＡＦ動作、ＡＥ動作およびＡＷＢ動作が順次実行された後、ＣＣＤ７による撮像、画像処理部１０での画像処理、バッファメモリ１４を介しての圧縮処理部１７での圧縮処理、記録再生処理部１９によるメモリカード２０への動画画像の記録が行われる。圧縮処理部１７の圧縮処理は例えばＪＰＥＧ方式であり、動画画像の撮影時にはメモリカード２０に静止画像がモーションＪＰＥＧファイルとして記録されることになる。
【００２９】
この動画画像撮影時の静止画像の１回の撮影が終わる毎に、ユーザによって静止画レリーズスイッチ３１がオン、つまり静止画レリーズがなされたかどうかを調べ（ステップＡ３）、静止画レリーズがなされた場合は、対応する静止画像、つまり静止画レリーズオンとされた瞬間の時点で撮影された静止画像に静止画フラグＦがセットされる（ステップＡ４）。
【００３０】
次に、連写レリーズスイッチ３２の第２段動作がなされたか否か、つまり連写レリーズがオフかどうかを調べ（ステップＡ５）、連写レリーズがオフでない場合、つまり連写レリーズがオンのままの場合には、ステップＡ６で次の撮影タイミングが到来するまで一定時間（例えば、動画画像の撮影が５コマ／秒とすると０．２秒間）待機した後、ステップＡ２〜Ａ６の動作をステップＡ５で連写レリーズオフとなるまで繰り返す。１回の動画画像撮影中に静止画レリーズが複数回なされることもあり、その場合は静止画レリーズの都度、静止画フラグＦがセットされることになる。
【００３１】
ステップＡ５で連写レリーズオフになると、メモリカード２０に記録されたモーションＪＰＥＧファイルの後処理、例えばファイルヘッダ部の設定等が行われる（ステップＡ７）。このような一連の動画画像撮影処理により、ユーザの希望する静止画像に静止画フラグＦが付加された動画画像の記録が行われる。
【００３２】
図３は、メモリカード２０に動画画像として記録されるモーションＪＰＥＧファイルの一構成例を示している。このモーションＪＰＥＧファイル（拡張子：ｍｊｐ）は、例えば記録開始時刻（年、月、日、時、分、秒）により自動時に付与されるファイル名“９９０３０９１０１００４”を有する。さらに、このモーションＪＰＥＧファイルは“９９０３０９１０１００４−０１”，“９９０３０９１０１００４−０２”，“９９０３０９１０１００４−０３”，…というファイル名のＪＰＥＧ静止画ファイル（拡張子：ｊｐｇ）により構成される。そして、静止画レリーズがなされたＪＰＥＧ静止画ファイルに静止画フラグＦ（Ｆ＝１）が付与される。
【００３３】
次に、図４に示すフローチャートを用いて、上述のようにして記録された動画画像（モーションＪＰＥＧファイル）の再生時の動作手順について説明する。この動作も、システムコントローラ２１による制御とシステムコントローラ２１自体の処理として実現される。
【００３４】
まず、初期設定としてＩ＝０にセットする（ステップＢ１）。ここで、Ｉはピクチャ・イン・ピクチャ（以下、ＰｉｎＰと記載する）画像の再生時に“１”にセットされるフラグである。
【００３５】
この初期設定の後、メモリカード２０に記録されているモーションＪＰＥＧファイルの先頭画像を選択し（ステップＢ２）、選択した静止画像を展開、つまり再生および復号し（ステップＢ３）、表示する（ステップＢ４）。この静止画像の表示は、ステップＢ５で一定時間（例えば０．５秒）経過したと判断されるまで行う。
【００３６】
次に、Ｉ＝１かどうかを調べ（ステップＢ６）、Ｉ＝１であればさらにｊ＝Ｊかどうかを調べる（ステップＢ７）。ここで、ｊはＰｉｎＰ画像の連続表示枚数カウンタの値である。また、ＪはＰｉｎＰ画像の最大連続表示枚数（例えば６枚）であり、時間にして０．５×６＝３秒である。ｊ＝ＪであればＩ，Ｊを０にセットする（ステップＢ８）。
【００３７】
ステップＢ６でＩ＝１でない場合は、ステップＢ９に移る。また、ステップＢ６でＩ＝１であり、ステップＢ７でｊ＝Ｊでない場合も、ステップＢ９に移る。さらに、ステップＢ７でｊ＝Ｊの場合は、Ｉ，Ｊを０にセットした後、ステップＢ９に移る。ステップＢ９では、モーションＪＰＥＧファイルの次の静止画像の有無を調べる（ステップＢ９）。次の画像がない場合は、処理は終了する。ステップＢ９で次の静止画像があれば、その画像を選択し（ステップＢ１０）、引き続きその画像に静止画フラグＦがセットされているかどうか、つまりＦ＝１かどうかを調べる（ステップＢ１１）。
【００３８】
ここで、Ｆ＝１であればステップＢ１０で選択された画像を親画像および子画像としたＰｉｎＰ画像を展開して表示する（ステップＢ１２）。この後、Ｉ，Ｊにそれぞれ１をセットし（ステップＢ１３）、ステップＢ４に戻る。また、Ｆ＝１でない場合は、さらにＩ＝１かどうかを調べ（ステップＢ１４）、Ｉ＝１であればステップＢ１０で選択された画像を親画像、直前のＦ＝１の画像を子画像としたＰｉｎＰ画像を展開して表示する（ステップＢ１５）。この後、ｊを１インクリメントし（ステップＢ１６）、ステップＢ４に戻る。また、ステップＢ４でＩ＝１でなければ、ＰｉｎＰ画像の表示を行わず、ステップＢ１０で選択された画像のみを展開して表示し（ステップＢ１７）、ステップＢ４に戻る。
【００３９】
このように本実施形態では、動画画像の撮影時にユーザによる静止画レリーズ操作により所望の静止画像に識別情報である静止画フラグＦを付加しておき、この動画画像の再生表示時に、図４のステップＢ１５において静止画フラグＦが付加されている静止画像を表示画面の一部（子画面）を用いてＰｉｎＰ画像として所定時間（この例では、ＰｉｎＰ画像の最大連続表示枚数Ｊで定まる例えば３秒間）にわたって再生表示する。
【００４０】
従って、動画画像の撮影時に静止画レリーズ操作を行うだけの極めて簡単な操作によって、再生表示時にユーザが希望する特定の静止画像の内容をゆっくり確認することが可能となり、本発明の所期の目的を達成することができる。
【００４１】
図５は、本実施形態におけるＰｉｎＰ画像の表示例であり、液晶ディスプレイ１６または外部ディスプレイの表示画面５０に、親画像５１と子画像５２が表示される。図４のステップＢ１５では、親画像５１として動画画像の各静止画像が順次表示され、子画像５２として静止画フラグＦが付加された特定の静止画像が表示される。
【００４２】
より具体的には、図５は運動会の徒競走の様子を動画画像として撮影した場合の表示画面の例であり、親画像５１は徒競走の全選手がゴールした直後の画像、子画像５２は例えば撮影者の子供がゴールした瞬間の画像を表している。すなわち、撮影者の子供が参加している徒競走の様子を動画画像として撮影している状況で、撮影者が我が子のゴールした瞬間に静止画レリーズを行ったときの表示画面であり、親画像は５１は動画画像の刻々と変化する静止画像、子画像５２は静止画レリーズにより静止画フラグＦが付加された静止画像である。これは図４のステップＢ１５での表示画面に相当している。
【００４３】
一方、図４のステップＢ１２では、それまで再生表示された静止画像に静止画フラグＦが付加されていないために、親画像としては上記と同じく動画画像の各静止画像が順次表示されるが、子画像も親画像と同じ静止画像が再生表示されることになる。
【００４４】
上記の実施形態では、図５に示したように静止画フラグＦが付加された最新の一つの静止画像のみが子画像５２として表示されるようにしており、動画画像の撮影時に静止画フラグＦが付加された静止画像が複数個存在する場合には、それらの静止画像が子画像５２として順次再生表示される。しかし、本発明における再生表示の形態はこれに限られるものではなく、例えば図６に示すように静止画フラグＦが付加された複数個の静止画像を並行して再生表示するようにしてもよい。
【００４５】
すなわち、図６（ａ）の表示画面６０では、親画像６１として動画画像を構成する各静止画像が再生表示されるが、子画像６２ａ，６２ｂとしては静止画フラグＦが付加された最新の二つの静止画像が再生表示される。図６（ｂ）の表示画面６０は、図６（ａ）とほぼ同様であるが、子画像６２ａ，６２ｂとしては再生表示される複数の静止画像のサイズを例えば時刻の新しい画像ほど大きくなるように異ならせている。
【００４６】
【発明の効果】
以上説明したように、本発明によれば動画画像を構成する複数の静止画像の中で識別情報が付加された静止画像を動画画像の再生表示と並行して表示画面の一部を用いて表示することにより、撮影時にユーザが特に重要と思われるシーンでは静止画レリーズ指示を行って静止画フラグのような識別情報を付加しておくだけで、再生時に特別なキー操作などの煩雑な操作を行うことなく、重要なシーンの静止画像の内容をゆっくりと確認することが可能な電子カメラを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る電子カメラの構成を示すブロック図
【図２】同実施形態における動画画像撮影時の処理手順を示すフローチャート
【図３】同実施形態におけるメモリカードに記録された動画画像であるモーションＪＰＥＧファイルの構成を示す図
【図４】同実施形態における動画画像再生時の処理手順を示すフローチャート
【図５】同実施形態における動画画像および静止画フラグが付与された静止画像の表示画面の例を示す図
【図６】同実施形態における動画画像および静止画フラグが付与された静止画像の表示画面の他の例を示す図
【符号の説明】
１…撮像レンズ
２…絞り
３…ＡＦモータ
４…絞りモータ
５，６…モータドライバ
７…ＣＣＤ（撮像素子）
８…ＣＣＤドライバ
９…Ａ／Ｄ変換器
１０…画像処理部
１１…自動露出処理部
１２…自動焦点調整処理部
１３…自動ホワイトバランス調整処理部
１４…バッファメモリ
１５…表示処理部
１６…液晶ディスプレイ
１７…圧縮処理部
１８…伸長処理部
１９…記録再生処理部（記録手段）
２０…メモリカード
２１…システムコントローラ（記録制御手段、再生制御手段）
３０…操作部
３１…静止画レリーズスイッチ（第１のレリーズ手段）
３２…連写レリーズスイッチ（第２のレリーズ手段）
３３…モードスイッチ
【発明の属する技術分野】
本発明は、連写機能を有する電子カメラに関する。
【０００２】
【従来の技術】
被写体像を撮像光学系により固体撮像素子、例えばＣＣＤ二次元イメージセンサ上に結像して電気信号に変換し、これにより得られた静止画の画像信号を半導体メモリや磁気ディスクのような記録媒体に記録する電子カメラが広く普及しつつある。
【０００３】
また、記録媒体の容量の増大と画像処理速度の向上に伴い、静止画像の撮影のみでなく、時間的に連続した複数の静止画像からなる動画画像を撮影し、再生時にこれを連続して再生表示する、いわゆる連写機能を有する電子カメラも種々製品化されている。
【０００４】
【発明が解決しようとする課題】
動画画像の再生時においては、動画画像を構成する複数の静止画像の中の特定の一枚ないし数枚の画像だけをゆっくり確認したい場合がしばしばある。このような場合、従来の電子カメラでは動画画像の再生状態を連続的な再生から１コマ単位での再生に切り替え、所望の画像が選択されるまでコマ送り操作を行い、所望の画像が表示された時点でコマ送り操作を停止するようにしていた。
【０００５】
しかし、このような方法では動画画像中の任意の画像を選択するのに要する手間がかかるという問題があった。
【０００６】
本発明は、煩雑な操作を必要とすることなく、動画画像中の特定の画像の内容をゆっくりと確認することが可能な電子カメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明は動画画像の撮影時に動画画像中の所望の静止画像に対して識別情報を付加し、動画画像の再生時に該識別情報が付加されている静止画像を表示画面の一部を用いて表示するようにしたことを骨子としている。
【０００８】
すなわち、本発明に係る電子カメラは、静止画像の撮影を指示する第１のレリーズ手段と、時間的に連続した複数の静止画像からなる動画画像の撮影の開始および停止を指示する第２のレリーズ手段と、前記第２のレリーズ手段による指示により撮影された動画画像を記録媒体に記録する記録手段と、前記第２のレリーズ手段による指示により動画画像の撮影が行われている状態で前記第１のレリーズ手段による静止画像の撮影が指示された場合に、前記記録媒体に記録される動画画像中の該静止画像の撮影が指示された時点の静止画像に識別情報を付加する記録制御手段と、前記記録媒体に記録されている動画画像の再生表示時に、該動画画像の再生表示と並行して、前記識別情報が付加された静止画像を表示画面の一部を用いて所定時間にわたり再生表示する制御を行う再生制御手段とを具備し、前記再生制御手段は、前記記録媒体に記録されている動画画像中に前記識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像のサイズを異なるように設定し、該設定した複数個の静止画像を並行して再生表示する制御を行うことを特徴とする。
【０００９】
このような構成とすることにより、動画画像を構成する個々の静止画像については、例えばピクチャ・イン・ピクチャ画像の親画像として、また動画画像を構成する複数の静止画像の中で識別情報が付加された静止画像については、ピクチャ・イン・ピクチャ画像の子画像としてそれぞれ表示することによって、撮影時にユーザが特に重要と思われるシーンでは静止画像の撮影指示を行って識別情報を付加しておくだけで、再生時に特別なキー操作などの煩雑な操作を行うことなく、その静止画像の内容をゆっくりと確認することが可能となる。
【００１０】
再生制御手段は、動画画像中に識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像を記録時刻の新しいものほどサイズを大きく設定し、該設定した静止画像を並行して再生表示する制御を行うようにしてもよい。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る電子カメラの構成を示す図である。
【００１２】
被写体光は撮像レンズ１を通過し、さらに絞り２によって光量が制御される。撮像レンズ１はＡＦモータ３により駆動され、絞り２は絞りモータ４により駆動される。ＡＦモータ３および絞りモータ４は、それぞれモータドライバ５および６により駆動される。
【００１３】
撮像レンズ１および絞り２を通過した被写体光は、カラー固体撮像素子であるＣＣＤ二次元カラーイメージセンサ（以下、単にＣＣＤという）７に入射する。これによって、ＣＣＤ７の撮像面上に被写体像が結像される。ＣＣＤ７は、光電変換を行う複数の画素を二次元のマトリクス状に配列して撮像面を構成し、さらに撮像面にカラーフィルタを配置したものであり、ＣＣＤドライバ８によって駆動制御されることにより、撮像面に結像された被写体像に対応した信号電荷を蓄積する。撮像面に蓄積された信号電荷は、画素信号と呼ばれる電気信号としてＣＣＤ７から読み出される。
【００１４】
ＣＣＤ７から読み出された画素信号は、Ａ／Ｄ変換器９によりディジタル信号に変換された後、画像処理部１０、ＡＥ（自動露出）処理部１１、ＡＦ（自動焦点調整）処理部１２およびＡＷＢ（自動ホワイトバランス調整）処理部１３に入力される。画像処理部１０では、画素信号に対して色信号の分離、ＣＤＳ（相関二重サンプリング）その他の処理が施されることにより、所定フォーマットのカラー画像信号が生成される。
【００１５】
ＡＥ処理部１１では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受け、各画素からの画素信号の累積加算を主体とする演算処理を行い、この累積加算値に基づき被写体の明るさに応じたＡＥ評価値（測光値）を求め、このＡＥ評価値に基づいて絞りモータ４を介して絞り２を制御することで光量を制御したり、さらにはＣＣＤドライバ８を介してＣＣＤ７の電荷蓄積時間を制御することにより、自動露出（ＡＥ）処理を行う。
【００１６】
ＡＦ処理部１２では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受けて、例えば１画面分の画素信号の高周波成分をハイパスフィルタにより抽出し、これに対して累積加算等の演算処理を行うことによって高域側の輪郭成分量に対応するＡＦ評価値を算出し、これに基づいてＡＦモータ３を介して撮像レンズ１を光軸方向に制御して自動焦点調整（ＡＦ）処理を行う。
【００１７】
ＡＷＢ処理部１３では、Ａ／Ｄ変換器９より出力されるディジタル化された画素信号を受けて、被写体の色温度によらず白が正しく再現されるように画像処理部１０でのカラー画像信号の生成を制御する、自動ホワイトバランス調整（ＡＷＢ）処理を行う。
【００１８】
画像処理部１０によって生成されたカラー画像信号は、バッファメモリ１４に一時的に記憶される。バッファメモリ１４から読み出されるカラー画像信号は表示処理部１５に導かれ、ここで表示出力に適した形態に変換された後、ＴＦＴ方式などのカラー液晶ディスプレイ（ＬＣＤ）１６に供給され、画像として表示される。
【００１９】
バッファメモリ１４には、さらに圧縮処理部１７および伸長処理部１８が接続される。圧縮処理部１７および伸長処理部１８には、記録再生処理部１９を介して画像データおよび付随するデータを記録するための記録媒体であるメモリカード２０が接続される。メモリカード２０は、例えばカード型フラッシュメモリのような半導体メモリを用いて構成される。記録媒体はメモリカード２０に限られるものではなく、例えばハードディスクやフロッピディスクのような磁気記録媒体等、種々の形態のものを使用できる。
【００２０】
圧縮処理部１７は、バッファメモリ１４に記憶された画像信号を読み出して所定の圧縮方式、例えばＪＰＥＧ方式により圧縮（符号化）処理を行う。圧縮処理部１７で符号化された画像データは、記録再生処理部１９によりメモリカード２０への記録に適した形態とされた後、メモリカード２０に記録される。但し、メモリカード２０には通常の静止画像はＪＰＥＧファイルとして記録されるが、時間的に連続した複数の静止画像である動画画像はモーションＪＰＥＧファイルとして記録される。
【００２１】
メモリカード２０に記録された画像データは、記録再生処理部１９を介して再生され、伸長処理部１８により圧縮処理部１７の圧縮方式と逆の処理で伸長（復号化）処理される。伸長処理された画像信号はバッファメモリ１４に一時記憶され、表示処理部１５を経て液晶ディスプレイ１６で適宜表示出力することが可能である。
【００２２】
システムコントローラ２１は、操作部３０からの指令に基づいて各部を制御するものであり、ＣＰＵを用いて構成される。具体的には、システムコントローラ２１はＣＣＤドライバ８、Ａ／Ｄ変換器９、画像処理部１０、ＡＥ処理部１１、ＡＦ処理部１２、ＡＷＢ処理部１３、バッファメモリ１４、表示処理部１５、圧縮処理部１７、伸長処理部１８および記録再生処理部１９の制御を行う。
【００２３】
操作部３０は、カメラのユーザによる操作に基づいて各種の動作を行わせるための指令信号を発生してシステムコントローラ２１に伝達する。この操作部３０には、特に本発明に関係するものとして、静止画レリーズスイッチ３１、連写レリーズスイッチ３２およびモードスイッチ３３が設けられている。
【００２４】
静止画レリーズスイッチ３１は、静止画像の撮影を指示するためのスイッチである。連写レリーズスイッチ３２は、時間的に連続した複数の静止画像からなる動画画像の撮影の開始および停止を指示するための２段動作のスイッチであり、第１段動作で動画画像の撮影開始、第２段動作で撮影停止を指示する。モードスイッチ３３は、記録（撮影）モードと再生（表示）モードを切り替えるためのスイッチである。
【００２５】
システムコントローラ２１は、連写レリーズスイッチ３２による指示により動画画像の撮影が行われている状態で、静止画レリーズスイッチ３１による静止画像の撮影が指示された場合に、メモリカード２０に記録される動画画像中の対応する静止画像、すなわち静止画像の撮影が指示された瞬間の時点で撮影される静止画像に静止画フラグを付加する記録制御を記録再生処理部１９に対して行う。この静止画フラグは、これが付加された静止画像が独立して表示されるべき静止画像である旨を示す識別情報である。
【００２６】
さらに、システムコントローラ２１は、メモリカード２０に記録されている動画画像の再生表示時に、動画画像の再生表示と並行して、静止画フラグが付加された静止画像を液晶ディスプレイ１６の表示画面の一部を用いて所定時間にわたり再生表示する再生制御を記録再生処理部１９に対して行う。
【００２７】
次に、図２に示すフローチャートを用いて、本実施形態における動画画像の撮影時の動作手順について説明する。なお、これらの動作はシステムコントローラ２１による制御とシステムコントローラ２１自体の処理として実現される。
【００２８】
まず、連写レリーズスイッチ３２の第１段動作がなされたか否か、つまり連写レリーズがオンかどうかを調べ（ステップＡ１）、連写レリーズオンであれば撮影動作を行う（ステップＡ２）。この撮影動作では、ＡＥ処理部１１、ＡＦ処理部１２およびＡＷＢ処理部１３でのＡＦ動作、ＡＥ動作およびＡＷＢ動作が順次実行された後、ＣＣＤ７による撮像、画像処理部１０での画像処理、バッファメモリ１４を介しての圧縮処理部１７での圧縮処理、記録再生処理部１９によるメモリカード２０への動画画像の記録が行われる。圧縮処理部１７の圧縮処理は例えばＪＰＥＧ方式であり、動画画像の撮影時にはメモリカード２０に静止画像がモーションＪＰＥＧファイルとして記録されることになる。
【００２９】
この動画画像撮影時の静止画像の１回の撮影が終わる毎に、ユーザによって静止画レリーズスイッチ３１がオン、つまり静止画レリーズがなされたかどうかを調べ（ステップＡ３）、静止画レリーズがなされた場合は、対応する静止画像、つまり静止画レリーズオンとされた瞬間の時点で撮影された静止画像に静止画フラグＦがセットされる（ステップＡ４）。
【００３０】
次に、連写レリーズスイッチ３２の第２段動作がなされたか否か、つまり連写レリーズがオフかどうかを調べ（ステップＡ５）、連写レリーズがオフでない場合、つまり連写レリーズがオンのままの場合には、ステップＡ６で次の撮影タイミングが到来するまで一定時間（例えば、動画画像の撮影が５コマ／秒とすると０．２秒間）待機した後、ステップＡ２〜Ａ６の動作をステップＡ５で連写レリーズオフとなるまで繰り返す。１回の動画画像撮影中に静止画レリーズが複数回なされることもあり、その場合は静止画レリーズの都度、静止画フラグＦがセットされることになる。
【００３１】
ステップＡ５で連写レリーズオフになると、メモリカード２０に記録されたモーションＪＰＥＧファイルの後処理、例えばファイルヘッダ部の設定等が行われる（ステップＡ７）。このような一連の動画画像撮影処理により、ユーザの希望する静止画像に静止画フラグＦが付加された動画画像の記録が行われる。
【００３２】
図３は、メモリカード２０に動画画像として記録されるモーションＪＰＥＧファイルの一構成例を示している。このモーションＪＰＥＧファイル（拡張子：ｍｊｐ）は、例えば記録開始時刻（年、月、日、時、分、秒）により自動時に付与されるファイル名“９９０３０９１０１００４”を有する。さらに、このモーションＪＰＥＧファイルは“９９０３０９１０１００４−０１”，“９９０３０９１０１００４−０２”，“９９０３０９１０１００４−０３”，…というファイル名のＪＰＥＧ静止画ファイル（拡張子：ｊｐｇ）により構成される。そして、静止画レリーズがなされたＪＰＥＧ静止画ファイルに静止画フラグＦ（Ｆ＝１）が付与される。
【００３３】
次に、図４に示すフローチャートを用いて、上述のようにして記録された動画画像（モーションＪＰＥＧファイル）の再生時の動作手順について説明する。この動作も、システムコントローラ２１による制御とシステムコントローラ２１自体の処理として実現される。
【００３４】
まず、初期設定としてＩ＝０にセットする（ステップＢ１）。ここで、Ｉはピクチャ・イン・ピクチャ（以下、ＰｉｎＰと記載する）画像の再生時に“１”にセットされるフラグである。
【００３５】
この初期設定の後、メモリカード２０に記録されているモーションＪＰＥＧファイルの先頭画像を選択し（ステップＢ２）、選択した静止画像を展開、つまり再生および復号し（ステップＢ３）、表示する（ステップＢ４）。この静止画像の表示は、ステップＢ５で一定時間（例えば０．５秒）経過したと判断されるまで行う。
【００３６】
次に、Ｉ＝１かどうかを調べ（ステップＢ６）、Ｉ＝１であればさらにｊ＝Ｊかどうかを調べる（ステップＢ７）。ここで、ｊはＰｉｎＰ画像の連続表示枚数カウンタの値である。また、ＪはＰｉｎＰ画像の最大連続表示枚数（例えば６枚）であり、時間にして０．５×６＝３秒である。ｊ＝ＪであればＩ，Ｊを０にセットする（ステップＢ８）。
【００３７】
ステップＢ６でＩ＝１でない場合は、ステップＢ９に移る。また、ステップＢ６でＩ＝１であり、ステップＢ７でｊ＝Ｊでない場合も、ステップＢ９に移る。さらに、ステップＢ７でｊ＝Ｊの場合は、Ｉ，Ｊを０にセットした後、ステップＢ９に移る。ステップＢ９では、モーションＪＰＥＧファイルの次の静止画像の有無を調べる（ステップＢ９）。次の画像がない場合は、処理は終了する。ステップＢ９で次の静止画像があれば、その画像を選択し（ステップＢ１０）、引き続きその画像に静止画フラグＦがセットされているかどうか、つまりＦ＝１かどうかを調べる（ステップＢ１１）。
【００３８】
ここで、Ｆ＝１であればステップＢ１０で選択された画像を親画像および子画像としたＰｉｎＰ画像を展開して表示する（ステップＢ１２）。この後、Ｉ，Ｊにそれぞれ１をセットし（ステップＢ１３）、ステップＢ４に戻る。また、Ｆ＝１でない場合は、さらにＩ＝１かどうかを調べ（ステップＢ１４）、Ｉ＝１であればステップＢ１０で選択された画像を親画像、直前のＦ＝１の画像を子画像としたＰｉｎＰ画像を展開して表示する（ステップＢ１５）。この後、ｊを１インクリメントし（ステップＢ１６）、ステップＢ４に戻る。また、ステップＢ４でＩ＝１でなければ、ＰｉｎＰ画像の表示を行わず、ステップＢ１０で選択された画像のみを展開して表示し（ステップＢ１７）、ステップＢ４に戻る。
【００３９】
このように本実施形態では、動画画像の撮影時にユーザによる静止画レリーズ操作により所望の静止画像に識別情報である静止画フラグＦを付加しておき、この動画画像の再生表示時に、図４のステップＢ１５において静止画フラグＦが付加されている静止画像を表示画面の一部（子画面）を用いてＰｉｎＰ画像として所定時間（この例では、ＰｉｎＰ画像の最大連続表示枚数Ｊで定まる例えば３秒間）にわたって再生表示する。
【００４０】
従って、動画画像の撮影時に静止画レリーズ操作を行うだけの極めて簡単な操作によって、再生表示時にユーザが希望する特定の静止画像の内容をゆっくり確認することが可能となり、本発明の所期の目的を達成することができる。
【００４１】
図５は、本実施形態におけるＰｉｎＰ画像の表示例であり、液晶ディスプレイ１６または外部ディスプレイの表示画面５０に、親画像５１と子画像５２が表示される。図４のステップＢ１５では、親画像５１として動画画像の各静止画像が順次表示され、子画像５２として静止画フラグＦが付加された特定の静止画像が表示される。
【００４２】
より具体的には、図５は運動会の徒競走の様子を動画画像として撮影した場合の表示画面の例であり、親画像５１は徒競走の全選手がゴールした直後の画像、子画像５２は例えば撮影者の子供がゴールした瞬間の画像を表している。すなわち、撮影者の子供が参加している徒競走の様子を動画画像として撮影している状況で、撮影者が我が子のゴールした瞬間に静止画レリーズを行ったときの表示画面であり、親画像は５１は動画画像の刻々と変化する静止画像、子画像５２は静止画レリーズにより静止画フラグＦが付加された静止画像である。これは図４のステップＢ１５での表示画面に相当している。
【００４３】
一方、図４のステップＢ１２では、それまで再生表示された静止画像に静止画フラグＦが付加されていないために、親画像としては上記と同じく動画画像の各静止画像が順次表示されるが、子画像も親画像と同じ静止画像が再生表示されることになる。
【００４４】
上記の実施形態では、図５に示したように静止画フラグＦが付加された最新の一つの静止画像のみが子画像５２として表示されるようにしており、動画画像の撮影時に静止画フラグＦが付加された静止画像が複数個存在する場合には、それらの静止画像が子画像５２として順次再生表示される。しかし、本発明における再生表示の形態はこれに限られるものではなく、例えば図６に示すように静止画フラグＦが付加された複数個の静止画像を並行して再生表示するようにしてもよい。
【００４５】
すなわち、図６（ａ）の表示画面６０では、親画像６１として動画画像を構成する各静止画像が再生表示されるが、子画像６２ａ，６２ｂとしては静止画フラグＦが付加された最新の二つの静止画像が再生表示される。図６（ｂ）の表示画面６０は、図６（ａ）とほぼ同様であるが、子画像６２ａ，６２ｂとしては再生表示される複数の静止画像のサイズを例えば時刻の新しい画像ほど大きくなるように異ならせている。
【００４６】
【発明の効果】
以上説明したように、本発明によれば動画画像を構成する複数の静止画像の中で識別情報が付加された静止画像を動画画像の再生表示と並行して表示画面の一部を用いて表示することにより、撮影時にユーザが特に重要と思われるシーンでは静止画レリーズ指示を行って静止画フラグのような識別情報を付加しておくだけで、再生時に特別なキー操作などの煩雑な操作を行うことなく、重要なシーンの静止画像の内容をゆっくりと確認することが可能な電子カメラを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る電子カメラの構成を示すブロック図
【図２】同実施形態における動画画像撮影時の処理手順を示すフローチャート
【図３】同実施形態におけるメモリカードに記録された動画画像であるモーションＪＰＥＧファイルの構成を示す図
【図４】同実施形態における動画画像再生時の処理手順を示すフローチャート
【図５】同実施形態における動画画像および静止画フラグが付与された静止画像の表示画面の例を示す図
【図６】同実施形態における動画画像および静止画フラグが付与された静止画像の表示画面の他の例を示す図
【符号の説明】
１…撮像レンズ
２…絞り
３…ＡＦモータ
４…絞りモータ
５，６…モータドライバ
７…ＣＣＤ（撮像素子）
８…ＣＣＤドライバ
９…Ａ／Ｄ変換器
１０…画像処理部
１１…自動露出処理部
１２…自動焦点調整処理部
１３…自動ホワイトバランス調整処理部
１４…バッファメモリ
１５…表示処理部
１６…液晶ディスプレイ
１７…圧縮処理部
１８…伸長処理部
１９…記録再生処理部（記録手段）
２０…メモリカード
２１…システムコントローラ（記録制御手段、再生制御手段）
３０…操作部
３１…静止画レリーズスイッチ（第１のレリーズ手段）
３２…連写レリーズスイッチ（第２のレリーズ手段）
３３…モードスイッチ
Claims (2)
- 静止画像の撮影を指示する第１のレリーズ手段と、
時間的に連続した複数の静止画像からなる動画画像の撮影の開始および停止を指示する第２のレリーズ手段と、
前記第２のレリーズ手段による指示により撮影された動画画像を記録媒体に記録する記録手段と、
前記第２のレリーズ手段による指示により動画画像の撮影が行われている状態で前記第１のレリーズ手段による静止画像の撮影が指示された場合に、前記記録媒体に記録される動画画像中の該静止画像の撮影が指示された時点の静止画像に識別情報を付加する記録制御手段と、
前記記録媒体に記録されている動画画像の再生表示時に、該動画画像の再生表示と並行して、前記識別情報が付加された静止画像を表示画面の一部を用いて所定時間にわたり再生表示する制御を行う再生制御手段と、
を具備し、
前記再生制御手段は、前記記録媒体に記録されている動画画像中に前記識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像のサイズを異なるように設定し、該設定した複数個の静止画像を並行して再生表示する制御を行うことを特徴とするカメラ。 - 前記再生制御手段は、前記記録媒体に記録されている動画画像中に前記識別情報が付加された静止画像が複数個存在する場合、これら複数個の静止画像を記録時刻の新しいほど大きいサイズとなるように設定することを特徴とする請求項１記載の電子カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21515399A JP4179711B2 (ja) | 1999-07-29 | 1999-07-29 | 電子カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21515399A JP4179711B2 (ja) | 1999-07-29 | 1999-07-29 | 電子カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001045409A JP2001045409A (ja) | 2001-02-16 |
| JP4179711B2 true JP4179711B2 (ja) | 2008-11-12 |
Family
ID=16667554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21515399A Expired - Fee Related JP4179711B2 (ja) | 1999-07-29 | 1999-07-29 | 電子カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4179711B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003009044A (ja) * | 2001-06-26 | 2003-01-10 | Canon Inc | 記録装置、再生装置及びその方法 |
| US8004574B2 (en) * | 2004-07-21 | 2011-08-23 | Nokia Corporation | Portable electronic devices with picture in picture capability |
| JP5383073B2 (ja) * | 2008-03-31 | 2014-01-08 | キヤノン株式会社 | 編集装置および編集方法 |
| JP5186021B2 (ja) | 2011-05-25 | 2013-04-17 | オリンパスイメージング株式会社 | 撮像装置、画像処理装置、及び撮像方法 |
| KR20130069041A (ko) | 2011-12-16 | 2013-06-26 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
-
1999
- 1999-07-29 JP JP21515399A patent/JP4179711B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001045409A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003008948A (ja) | 電子カメラ及びその画像表示方法並びに画像記録方法 | |
| JP2002218384A (ja) | デジタルカメラ | |
| JP4441882B2 (ja) | 撮影装置、表示制御方法、プログラム | |
| JP2002101329A (ja) | デジタルカメラ、画像再生装置及び方法 | |
| US20090109323A1 (en) | Image pick-up apparatus, image playback apparatus, method of controlling a recording operation, method of controlling a displaying operation, and recording medium | |
| JP4556195B2 (ja) | 撮像装置、動画再生装置及びそのプログラム | |
| JP2000125185A (ja) | 電子カメラ | |
| JP5909997B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| JP2003219341A (ja) | ムービ・スチル・カメラおよびその動作制御方法 | |
| JP4123352B2 (ja) | 動画撮像装置及び動画再生装置 | |
| JP4179711B2 (ja) | 電子カメラ | |
| JP2000295568A (ja) | 電子カメラ | |
| JP2004180151A (ja) | デジタルカメラ | |
| JP2005117369A (ja) | 動画記録装置および動画再生装置並びにデジタルカメラ | |
| JP4467232B2 (ja) | 画像記録装置及び方法 | |
| JP2004207805A (ja) | デジタルスチルカメラ | |
| JP2003069888A (ja) | 多重撮影機能付デジタルカメラ | |
| JP2011223399A (ja) | カメラ | |
| JP4270668B2 (ja) | 電子カメラ | |
| JP2001230958A (ja) | 電子カメラ装置 | |
| JP2001036787A (ja) | 電子カメラ | |
| JP2001045500A (ja) | 電子カメラ | |
| JP2005117370A (ja) | デジタルカメラ | |
| JP2004173029A (ja) | 電子カメラ | |
| JP4952739B2 (ja) | 画像ファイル生成装置および画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080826 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |