[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4993032B2 - Image recording / reproducing apparatus, image recording / reproducing method, and image editing method - Google Patents

Image recording / reproducing apparatus, image recording / reproducing method, and image editing method Download PDF

Info

Publication number
JP4993032B2
JP4993032B2 JP2011248192A JP2011248192A JP4993032B2 JP 4993032 B2 JP4993032 B2 JP 4993032B2 JP 2011248192 A JP2011248192 A JP 2011248192A JP 2011248192 A JP2011248192 A JP 2011248192A JP 4993032 B2 JP4993032 B2 JP 4993032B2
Authority
JP
Japan
Prior art keywords
image
group
image data
time
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2011248192A
Other languages
Japanese (ja)
Other versions
JP2012084222A (en
Inventor
宏 清水
龍志 西村
禎司 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46242916&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4993032(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011248192A priority Critical patent/JP4993032B2/en
Publication of JP2012084222A publication Critical patent/JP2012084222A/en
Application granted granted Critical
Publication of JP4993032B2 publication Critical patent/JP4993032B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は動画像をディジタル符号化して記録する電子式動画像カメラの画像データ管理方法に関する。   The present invention relates to an image data management method for an electronic moving image camera that digitally encodes and records a moving image.

動画像の撮影は、古くは光学式フイルムを用いた8mmムービから、磁気記録式ビデオテープを用いたビデオカメラまで、幅広く用いられてきた。特にVHS−Cカセットや8mmビデオカセットを用いたビデオカメラは、家庭用として大変多く普及している。   In the past, moving images have been widely used, from 8mm movies using optical films to video cameras using magnetic recording video tapes. In particular, video cameras using VHS-C cassettes and 8 mm video cassettes are very popular for home use.

これらの動画像撮影カメラが用いた記録媒体は、テープ状媒体であり、撮影した画像は常に撮影順にテープ上に連続して並ぶ。従って撮影した画像は必ずテープ単位で保管され、鑑賞する際には、テープの先頭から時間順に鑑賞する必要があった。これを解決するために、テープの途中にインデックス信号を打ち、インデックス位置までを早送りして必要な場所を探し出す方式も開発されている。この中で、ビクター社製<ポケットデジタルムービ>DV1は、撮影した画像をディジタル信号としてビデオテープに記録し、その再生操作をパソコンから操作行うことで、テープのある時刻からある時刻までの再生画像を一単位として、この単位を複数定義し、テープに記録された順序以外の任意の順序で画像の再生を行う方式を開発、発売している。しかし、この方式もテープという媒体を使っているため、指定の画像を表示するまでに時間がかかるのに加え、テープ上の画像の管理を、テープ先頭から数えた相対時刻でのみ表記するため、記録した画像の管理が面倒であった。指定した複数の単位の画像を一つの番組状の連続画像として、タイトルをつけて保存することも可能だが、これらの操作は撮影後に、撮影した画像を見ながら行う必要があり、ユーザの行う作業は、決して簡便なものではなかった。   The recording medium used by these moving image photographing cameras is a tape-like medium, and the photographed images are always continuously arranged on the tape in the photographing order. Therefore, the captured images are always stored in units of tape, and when viewing, it was necessary to view them in order of time from the top of the tape. In order to solve this problem, a method has been developed in which an index signal is input in the middle of the tape, and a necessary place is searched by fast-forwarding to the index position. Among them, <Pocket Digital Movie> DV1 manufactured by Victor records recorded images on a video tape as digital signals, and the playback operation is performed from a personal computer, so that playback images from a certain time on the tape to a certain time are performed. As a unit, a plurality of units are defined, and a method for reproducing images in an arbitrary order other than the order recorded on the tape has been developed and released. However, since this method also uses a medium called tape, it takes time to display the specified image, and in addition, management of the image on the tape is expressed only in relative time counted from the beginning of the tape. Management of recorded images was troublesome. It is possible to save multiple specified units of images as a single program-like continuous image with a title, but these operations must be performed while viewing the captured images after shooting. Was never convenient.

本発明は、画像をテープのようなシーケンシャルメディアではなく、各カットの撮影毎に一単位の画像ファイルを生成するような、ハードディスクのようなランダムアクセスが可能なメディアに記録する電子カメラを用いる。そして撮影時に生成された数秒から数十秒単位の多量の画像ファイルを、撮影する時刻範囲や場所等の特定の条件に従って自動的にグループ分けを行い、ユーザがそれぞれの画像ファイルの存在を意識することなく、グループ単位で、そのグループ内の画像ファイルを連続して再生できるようにすることで解決される。   The present invention uses an electronic camera that records images on a randomly accessible medium such as a hard disk, which generates an image file for each cut, rather than a sequential medium such as a tape. A large number of image files of several seconds to several tens of seconds generated at the time of shooting are automatically grouped according to specific conditions such as shooting time range and location, and the user is aware of the existence of each image file. Instead, the problem can be solved by allowing the image files in the group to be reproduced continuously in units of groups.

本発明によれば、ディジタル方式のビデオカメラに於いて、数秒から数十秒の単位で作成される多量の画像ファイルの存在を、利用者が意識することなく、簡単に整理を行うことが出来、ディジタル画像のランダムアクセス性と、ビデオテープ方式で行われた連続的な画像鑑賞の両方のメリットを生かした使いやすい電子式ビデオカメラの画像データ管理方法を提供することが出来る。   According to the present invention, in a digital video camera, the existence of a large amount of image files created in units of several seconds to several tens of seconds can be easily organized without the user being conscious. Therefore, it is possible to provide an easy-to-use image data management method for an electronic video camera that takes advantage of both the random accessibility of digital images and the continuous image viewing performed by the video tape method.

本発明による電子式ビデオカメラのブロック図。1 is a block diagram of an electronic video camera according to the present invention. 本発明による電子式ビデオカメラにより撮影、符号化された画像データのフォーマットの例を示す説明図。Explanatory drawing which shows the example of the format of the image data image | photographed and encoded with the electronic video camera by this invention. 従来のビデオテープを用いたビデオカメラにより撮影を行った動画像のイメージの例を示す説明図。Explanatory drawing which shows the example of the image of the moving image image | photographed with the video camera using the conventional videotape. 本発明による電子式ビデオカメラが撮影した画像データの、HDD上の記録イメージを示した説明図。FIG. 3 is an explanatory diagram showing a recording image on an HDD of image data taken by an electronic video camera according to the present invention. 本発明による電子式ビデオカメラを用いた、画像データの管理方法を示した説明図。Explanatory drawing which showed the management method of image data using the electronic video camera by this invention. 画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第1の実施例の方法を示した説明図。FIG. 3 is an explanatory diagram illustrating a method of the first embodiment in which image data is automatically grouped when image data is grouped. 画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第2の実施例の方法を示した説明図。Explanatory drawing which showed the method of the 2nd Example which performs grouping automatically at the time of imaging | photography when grouping image data. 画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第3の実施例の方法を示した説明図。Explanatory drawing which showed the method of the 3rd Example which groups automatically at the time of imaging | photography in grouping image data. 既に撮影したカットを、簡単にグループ分けするための手段を示した説明図。Explanatory drawing which showed the means for grouping the cut already image | photographed easily. 複数の撮影カットから、ランダムに指定のカットを選び出してグループを生成する方法を示した説明図。Explanatory drawing which showed the method of selecting the designated cut at random from several imaging | photography cuts, and producing | generating a group. 画像の再生時に、グループの選択をする方法を示した説明図。Explanatory drawing which showed the method of selecting a group at the time of reproduction | regeneration of an image. 本発明による画像ファイルのグループ化の具体的な方法を示した説明図。Explanatory drawing which showed the specific method of grouping of the image file by this invention. 画像ファイルの分割と、分割ファイルを用いたグループ分けの方法を示した説明図。Explanatory drawing which showed the method of the division | segmentation using the division | segmentation of an image file and a division | segmentation file. 複数画像ファイルの統合と、その中の部分部分を切り出してグループ分けを行う方法を示した説明図。Explanatory drawing which showed the method of integrating a several image file and cutting out the partial part in it and grouping it.

以下、本発明による電子式ビデオカメラの画像データ管理方法の実施の形態の具体例を図を用いて説明する。
図1は、本発明による電子式ビデオカメラのブロック図である。カメラ部10000では、撮影する被写体からの光10011は、レンズ10012を通してセンサ10010に焦点を結ぶ。センサ10010に入力された被写体の虚像は、電気信号に変換され、信号処理回路10020を通して画像メモリ10030に記録される。これらの動作は動画像の場合、例えば1秒間に60コマの速度で行われ、画像メモリに入った画像データは、逐次圧縮・伸長回路10040で、圧縮符号化された動画像データに変換される。圧縮された動画像データ(以下、画像データとする)は、カメラ10000に装着されたPCMCIAカードタイプのハードディスクドライブ(HDD)10200に保存される。この際、撮影時の日付、時刻及び撮影したファイルの撮影時間はタイマ10051より読み出されて、画像データの付属情報として、共にHDD10200に保存される。これらの動作制御はカメラコントローラ10050が行う。HDD10200に保存されている画像データは、再び圧縮・伸長回路10040により復号され、画像メモリに再び戻された後、ビデオ出力信号10031として、カメラ外部に出力され、TV等でその動画像を鑑賞することが出来る。
圧縮符号化された画像データは、カメラからHDD10200を取り外し、パソコンPC10100に差し込むことで、画像データをPC10100に転送することが出来る。また、HDDカードの差し替えをせずに、I/F10060を経由して、HDD10200に記録された画像データをPC10100に転送することも出来る。さらに、HDD10200を利用せずに、撮影した画像を逐次圧縮しつつI/F10060を用いて直接PCに転送することも出来る。PC10100は、CPU10110を核としたバス10111に、カメラ10000との間を接続するI/F10120、メモリ10130、そして画像データを記憶する記憶媒体10140で構成される。
図2は本発明による電子式ビデオカメラにより撮影、符号化された画像データのフォーマットの例を示す説明図である。図2(a)に記載した、例えば有名な動画像圧縮方式であるMPEG(Moving Picture Experts Group)の場合、画像ファイル20000の先頭に、まずI−PICTURE(Intra−PICTURE)20010という、全画面をあらわす静止画像が存在する。そして、その後に時間軸方向に画像が変化する差分情報20020が続く。これらを一単位とする画像の長さ20030は可変長であり、基本的には予め指定した適当な時間単位で、I−PICTUREを入れることで、差分による誤差の拡大をリセットし、それ以外に極端な画像変化(カメラのパンなど)により差分情報では動画像の符号化の効率が悪くなる場合は、新たなI−PICTUREを入れる。図2(b)はI−PICTURE=Iと、差分データP−PICTURE(Pre−PICTURE)=Pとの関係をさらに詳細に示す説明図である。各Iの左側の縦棒は、動画像データの最小一単位の切れ目を表わし、I20040とP20050を用いて、Pのフレームに相当する全画面情報を補間生成する。そしてさらにそれと、P20051を用いて、次のPのフレームに相当する全画面情報を生成する。従ってこのフォーマットで記述される動画像ファイルは、I−PICTUREの先頭位置を境目として分割が可能である。
図3は従来のビデオテープを用いたビデオカメラにより撮影を行った動画像のイメージの例を示す説明図である。磁気テープを用いたビデオカメラは、撮影した画像の記録は必ず時系列順に並ぶ。時間軸30050に沿って、撮影した画像30000は並んでおり、本図においてそれぞれの四角い箱は、ワンショットの撮影画像(撮影ボタンSTART−STOP単位のカット)を表わすものとする。このビデオテープは信州に登山旅行をしたときのイメージを示し、最初の五つのカットは八方尾根への登山に於いて、登山第1日目に撮影した画像の集合30010を示す。次の、7カットは登山第2日目に撮影した画像の集合30020を示し、次の6カットは、下山後の安曇野近辺の散策時に撮影した画像の集合30030を示し、最後の4カットは帰路のドライブ中に撮影した画像の集合30040を示す。これらのカットは、磁気テープ上で図のようにシーケンシャルに並んでおり、例えばテープが完全に巻き戻されているときに、安曇野散策の場面を見たいときは、テープを早送りして安曇野散策の画像の集合の先頭に再生ポインタを持っていく必要がある。ビデオカメラによっては、この集合の先頭にインデックスを入れることが可能であり、例えば先頭から2番目のインデックスという指定をすることで、安曇野散策の画像を鑑賞することが出来る。しかし、撮影した特定の場面を見るためには、必ずテープの早送りや巻き戻し等の操作を行う必要があり、操作の煩雑さと時間がかかるので、磁気テープを用いて撮影したビデオ画像の鑑賞における問題点である。このため大抵の場合、撮影したビデオ画像は必ず最初から最後まで連続して見るという使い方をすることが多い。
図4は本発明による電子式ビデオカメラが撮影した画像データの、HDD上の記録イメージを示した説明図である。40000は、HDDの内部イメージであり、それぞれの四角い枠は、HDDのデータの読み書きアクセスの単位であるクラスタを示す。ここで図3における集合30010に相当する画像データは、HDDの中で5個所に散らばって記載されている。具体的には40020〜40024までの5箇所であり、HDDの機能上新たなデータは、HDDの中で空いている領域に記載されるため、一つの集合の画像データが連続して書き込まれるとは限らない。しかし、HDDのランダムアクセス性により、これらのデータは基本的にほぼ同じ時間で、どのデータに対してもアクセスを行うことが出来、またその時間も短いので、ユーザから見ると、記録した画像データはいかなる順番で見ても、瞬時に指定の画像データが呼び出されて、鑑賞することが可能になる。
図5は本発明による電子式ビデオカメラを用いた画像データの管理方法を示した説明図である。画像データ50000は、それぞれの四角い枠が撮影した画像データの一つのカットを示し、図上で並んでいる順番は図3と同じであるが、各画像データの実体は図4に示すHDDに記載されているので、本図に於いて横に並んでいる各画像データは、そのどのデータに対しても略同じ時間でアクセスして再生することが出来る。ここで、最初の4個、次の5個、次の5個、そして最後の3個と、画像データの集合をグループ分けする。この分類は図3の説明と同一であるが、ここでは画像データをHDD上で保存しているので、例えば3番目のグループである安曇野散策の画像を鑑賞したいときも、テープの早送りを待つ必要がなく、極めて短時間で安曇野散策のグループの画像を呼び出して鑑賞することが出来る。
さらに本発明で、連続した画像データをまとめたグループの他に、安曇野旅行ダイジェストビデオ50050というグループを定義することが出来る。これは画像データが図4に示すHDDに入っていることにより実現可能なものだが、たくさんある画像データの中から指定したものをランダムな順番で選び出して、それをグループ化して一つの番組として定義することが可能である。
図6は画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第1の実施例の方法を示した説明図である。四角い枠60000は撮影した画像の各カットであり、時刻60040の順に撮影したものである。本実施例では、撮影した各カットの撮影時刻の差に注目して、一定時間以内の間隔で撮影したカットは同一グループに所属させるというアルゴリズムを持つ。例えば撮影のインターバルが30分以上経過した場合、別なグループに所属させるとすると、カット60011とカット60013は、その間の時間60012が30分以内なので、同一のグループであるグループ1(60010)に所属させるが、カット60013と、カット60021の間の時間60050は、30分を越えているので、カット60021を撮影した時点で、グループ2(60020)を新規作成して、カット60021はそのグループに所属させる。同様に30分以上の間隔(60060)があいたカットは、グループ3(60030)を新設し、そこに所属させる。この方法により、利用者が撮影時に撮影する画像を分類する必要なく、自動的にグループ分けを行うことが出来る。
図7は画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第2の実施例の方法を示した説明図である。四角い枠70010は撮影した画像の各カットである。本実施例では、各カットを撮影した場所に注目し、PHS(Personal Handyphone System)の基地局番号を利用して、略同一の場所で撮影したカットは同一グループに所属させるというアルゴリズムを持つ。ここでPHSとは、300m程度の間隔で設置された基地局を利用して、通常の携帯電話に比べて小さな電力で無線電話を利用することが出来るシステムであり、通話時にPHSの所在する場所に近い基地局と接続を行い、この際に基地局固有の番号をPHSは得ることが出来る。システム構成は図示しないが、例えば、図1で、サブノート等の可搬型PCにPHSを接続して、撮影した画像データをそのままPHSにより遠隔地に転送するようなシステムで、PCがPHSから受信した基地局番号を用いてもよく、また、PCの機能を有する電子カメラに、PHSを接続して使用してもよい。ここでPHSの基地局番号から、電子カメラの現在位置を住所や座標で表現する必要はなく、ある特定の基地局の近くに属するということが判断出来ればよい。本図でPHSの基地局番号がA、B、Cの三つの場所で撮影を行ったとする。基地局番号Aの近傍で撮影した画像データは、グループ1(70020)に所属させ、基地局番号Bの近傍で撮影した画像データは、グループ2(70030)に所属させ、そして基地局番号Cの近傍で撮影した画像データは、グループ3(70040)に所属させる。図6と同様に、新たなPHS番号を認識したときに、新規のグループを作成して、そこに撮影した画像データを所属させることで、自動的に場所にリンクした画像データのグループ分けが出来る。場所の検出はGPS(Groval Positioning System)等の位置情報検出方式を用いて行ってもよいが、本発明によるPHSの基地局を用いた方式は、GPSの受信が出来ない地下街等でも使用することが可能となる。ここで、本実施例はPHSを利用する例として説明したが、無線通信機器を用いて、その通信機器の近傍にある基地局のIDを知ることが出来る通信システムであれば、同様な利用が可能である。
図8は画像データをグループ化するにあたり、撮影時に自動的にグループ化を行う、第3の実施例の方法を示した説明図である。図8(a)で、四角い枠80000は撮影した画像の各カットであり、時刻80010の順に撮影したものである。本実施例では、撮影する際にユーザが、新しいグループの定義を行い、撮影したカットは時間順に指定したグループに所属させるというアルゴリズムを持つ。カメラにはオープン−クローズ(OPEN−ClOSE)を指定するスイッチがあり、スイッチをオープンに入れてから、クローズするまでに撮影した複数のカットを、一つのグループに所属させる。具体的には、最初のオープン−クローズの間(80020)に撮影されたカットは、すべてグループ1(80021)に所属し、次のオープン−クローズの間(80030)に撮影されたカットは、すべてグループ2(80031)に所属し、次のオープン−クローズの間(80040)に撮影されたカットは、すべてグループ3(80041)に所属する。ユーザがスイッチを入れて、撮影を開始し、そのグループに所属する撮影が終わったらスイッチを切るという単純な手段で、撮影したカットのグループ分けが行えるため、ユーザの意志を反映し、且つ予めグループ名を選択するという煩雑な手順を踏むことなく、簡便な撮影した画像データの管理が行える。図8(b)は、オープン−クローズスイッチの具体的な形状の例である。電子式ビデオカメラ80050の横にスイッチ80051があり、これがOpen80060、Close80061のいずれかに切り替わることで、スイッチの操作を行う。また、カメラの撮影スイッチ80070の安全カバー80071を用いてこのスイッチを構成すると、カバーを開けたところで新規のグループが作成され、そこでいくつかのカットを撮影して、撮影終了後に例えば他の場所に移動するためにカメラをしまうときに、安全カバーを閉じることで、グループのクローズが行える。また、クローズせずにカメラのメインスイッチを切断した場合には、自動的にグループのクローズ処理が行われる手順が動作されるか、次回にメインスイッチを入れたときに、前回使用していたグループのクローズ処理を行うか、いずれかの方法をとる。さらに、オープンした時点及びクローズした時点の日付、時刻をグループの付属情報として記録し、後の画像の鑑賞等のグループへのアクセスの際、グループを選択するために必要な情報として利用する。
図9は既に撮影したカットを、簡単にグループ分けするための手段を示した説明図である。四角い枠90000は撮影した画像の各カットであり、時刻90010の順に撮影したものである。本実施例では、ユーザが撮影した時間範囲を指定することで、各カットを指定したグループに所属させるというアルゴリズムを持つ。撮影したカットには、タイムスタンプをつけておき、そのカットが生成された時間をいつでも参照できるようにしておく。グループ1は9:00から11:30までの間に撮影されたカットを集めたもので、グループ2は11:30から13:50、グループ3は13:50以降に撮影されたカットを集めたものである。この操作は撮影が終わってからするものであり、カメラの上で行ってもよいし、図1に示したPCに転送した後、PC上で行ってもよい。また、撮影前でも予めスケジュールが分っていれば、事前に時刻範囲を指定したグループを定義して、撮影したカットが自動的にそのグループに所属するような方法も可能である。また、時間帯の指定も、開始時刻及び終了時刻だけではなく、ある時刻以前や、ある時刻以降という指定も可能である。
図10は複数の撮影カットから、ランダムに指定のカットを選び出してグループを生成する方法を示した説明図である。100000は、撮影したすべてのカットを同時に表示するマルチ画面である。各カットの一番最初のI−PICTUREを静止画表示してもよいし、PLAYボタンを押す度に各カットの中のI−PICTUREを次々に表示する形式でもよい。早送りボタンと巻き戻しボタンをこの機能に利用すれば、表示するI−PICTUREを進めたり戻したりという操作も可能である。このように表示した各カットから、ダイジェストとなるカットを選択して、一つのグループを作成することが出来る。この時のカットの選択は、マルチ画面100000上に表示した選択枠100010を、カメラ上に設置した図示しない十字カーソルや左右矢印のカーソル等で移動して、選択するという手順を取ればよい。
図11は、画像の再生時に、グループの選択をする方法を示した説明図である。撮影した画像データはグループに分類され、利用者はグループの選択をするだけで、グループ内の画像データの再生が出来、各画像データファイルの存在を意識する必要はない。図11(a)は、各グループに入っている画像をマルチ画面表示して、その中から指定のグループを選択する方法を示したものである。画面110000には、本図に於いて16画面のマルチ画面で、各グループの先頭に位置する画像の最初のI−PICTUREが静止画表示されている。これを選択枠110010を、図示しない十字カーソルキーや矢印キーで移動し、選択キーで選択することで、グループに登録された画像データを連続再生することが出来る。マルチ画面に表示する画像は、最初のI−PICTUREの静止画表示の他、例えば十字カーソルの上下カーソルで、各グループ内の画像ファイルのI−PICTUREをすべてコマ送りで見せて、左右カーソルで選択枠110010を移動して選択してもよい。図11(b)は、グループの選択を、画像の視認によらず、撮影した日付、時刻から選択する方法を示したものである。画面110020には、グループのリストが表示されており、そのフォーマットは、グループのシーケンシャル番号に、グループが作成もしくはクローズされた日付110021と時刻110022、入っている画像データの総再生時間110023が、分:秒の単位で表示される。図示しないカーソルキーで、選択枠110024を移動して選択ボタンでグループの選択をすることで、指定したグループ内の画像データを自動的に連続再生させることが出来る。
図12は本発明による画像ファイルのグループ化の具体的な方法を示した説明図である。図12(a)で、画像ファイルはFILE0001.MPG(120000)、FILE0002.MPG(120010)、FILE0121.MPG(120020)と、121個のファイルが用意されており、図に示しているのは、各ファイルの属性データイメージである。ファイル名に撮影日、撮影開始時刻に、そのファイルの長さを時間単位で、そしてその他の情報を添付している。これらの情報が画像データ実体に付加されてHDDの中に保存されている。図12(b)は、グループを定義するデータであり、これ自体がファイルであってもよく、カメラのプログラム自体が有するデータであってもよい。グループ1(120030)には、FILE0002.MPG、FILE0014.MPG、FILE0007.MPG、そしてFILE0002.MPGが所属しており、このデータにはそれぞれのアドレス120040が記載されている。このアドレスが示す画像ファイルは、順番が変わっても、重複してもよい。また、アドレスはHDDの中の物理アドレスを直接指し示してもよいが、HDDのファイルシステムを管理する情報に従って、ファイル名で指示する形式でもよい。この場合グループの中のデータは、データが存在する領域のグループの所在地からの相対アドレス及びファイル名だけでよい。
図13は、画像ファイルの分割と、分割ファイルを用いたグループ分けの方法を示した説明図である。例えばMPEGフォーマットの画像ファイルは、図2で示したように、I−PICTUREの単位で分割が可能である。ここでは、撮影した一つの画像ファイルを、I−PICTURの単位でさらに細かいシーンに分割し、それぞれ独立のファイルとして取り扱うことで、より細かいグループ分けが可能となる。元となる画像ファイルFILE0100.MPG(130000)は、そのI−PICTUREで分離される単位で、FILE0101.MPG(130010)、FILE0102.MPG(130020)、FILE0107.MPG(130030)のファイルに分割される。それぞれのファイルは、その属性データとして、撮影日付、時刻、長さ、そして元になるファイル名が記述される。I−PICTUREの単位で画像ファイルを分割することで、実際の画像は、通常の定期的なI−PICTUREの他に、極端なパンを行った後に入っているI−PICTUREによる分割が行えるため、撮影した画像でカメラが極端に振り回された場面を外してグループの生成に利用することが出来、実際には編集作業と同じ効果を得ることが出来る。これらのファイルを用いて生成したグループは、図13(b)におけるグループ1(130040)として表記される。内容は図12(b)と同様であり、詳しい説明は割愛する。ここで、撮影した画像のグループを他の人に見せるためにコピーをする場合、グループ1をコピーすると、自動的にグループ1に属する画像本体(130050)が一緒にコピーされる。その中には、グループ1で定義した画像ファイル本体のみが入っており、分割前の元画像データではない。コピーの際に必要最小限の画像データのみを渡すために、省容量化、守秘を行うことが出来る。
図14は、図13とは逆に複数の画像ファイルの統合と、その中の部分部分を切り出してグループ分けを行う方法を示した説明図である。図14(a)に於いて普通に投影された画像データは、そのカット別にFILE0001.MPG(140000)、FILE0002.MPG(140010)、FILE0121.MPG(140020)と、121個のカットがここでは準備されている。これを統合して、FILE−ALL.MPG(140030)を生成する。この作業は、121個の元となる画像ファイルを、縦に並べて一つのファイルとしたものである。その際、付加情報として、元画像ファイルの先頭位置を示すアドレス情報を、各々の元画像ファイル別に持つ。出来上がった画像ファイル140030は、一つの大きな画像データであるが、その中は複数の画像ファイルに区切ることが出来る。図14(b)にこの画像ファイル140030を用いてグループを構成した例を示す。グループ1(140040)には、画像ファイル140030の中の一部の画像を利用したグループが構成されている。図13の例と同様にこのグループを他の人に見せるためコピーをする場合、グループ1をコピーすると、自動的に画像ファイル140030が一緒にコピーされる。その中には、グループ1で定義した画像ファイル以外の画像データも入っており、コピーした後も、グループ1の編集や、新しいグループを生成したときに、グループ1には属していないが最初に撮影したすべての画像データを利用することが出来る。
Hereinafter, a specific example of an embodiment of an image data management method for an electronic video camera according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an electronic video camera according to the present invention. In the camera unit 10000, light 10011 from the subject to be photographed is focused on the sensor 10010 through the lens 10012. The virtual image of the subject input to the sensor 10010 is converted into an electrical signal and recorded in the image memory 10030 through the signal processing circuit 10020. In the case of a moving image, these operations are performed at a rate of 60 frames per second, for example, and the image data stored in the image memory is converted into compression-encoded moving image data by a sequential compression / decompression circuit 10040. . The compressed moving image data (hereinafter referred to as image data) is stored in a PCMCIA card type hard disk drive (HDD) 10200 mounted on the camera 10000. At this time, the date and time at the time of shooting and the shooting time of the shot file are read from the timer 10051, and are both stored in the HDD 10200 as attached information of the image data. These operation controls are performed by the camera controller 10050. The image data stored in the HDD 10200 is decoded again by the compression / decompression circuit 10040, returned again to the image memory, and then output to the outside of the camera as a video output signal 10031. The moving image is viewed on a TV or the like. I can do it.
The compressed and encoded image data can be transferred to the PC 10100 by removing the HDD 10200 from the camera and inserting it into the personal computer PC 10100. Further, the image data recorded on the HDD 10200 can be transferred to the PC 10100 via the I / F 10060 without replacing the HDD card. Further, without using the HDD 10200, captured images can be directly transferred to a PC using the I / F 10060 while being sequentially compressed. The PC 10100 includes a bus 10111 having a CPU 10110 as a core, an I / F 10120 that connects the camera 10000, a memory 10130, and a storage medium 10140 that stores image data.
FIG. 2 is an explanatory diagram showing an example of the format of image data shot and encoded by the electronic video camera according to the present invention. In the case of MPEG (Moving Picture Experts Group), for example, the famous moving image compression method described in FIG. 2A, first, an entire screen called I-PICTURE (Intra-PICTURE) 20010 is displayed at the top of the image file 20000. There are still images. Then, difference information 20020 in which the image changes in the time axis direction follows. The length 20030 of the image with these as one unit is a variable length. Basically, by inserting I-PICTURE in an appropriate time unit designated in advance, the error expansion due to the difference is reset. If the difference information makes the efficiency of encoding a moving image worse due to an extreme image change (camera pan or the like), a new I-PICTURE is inserted. FIG. 2B is an explanatory diagram showing the relationship between I-PICTURE = I and difference data P-PICTURE (Pre-PICTURE) = P in more detail. A vertical bar on the left side of each I represents a cut of a minimum unit of moving image data, and full-screen information corresponding to P frames is generated by interpolation using I20040 and P20050. Further, using it and P20051, full-screen information corresponding to the next P frame is generated. Therefore, a moving image file described in this format can be divided using the head position of I-PICTURE as a boundary.
FIG. 3 is an explanatory view showing an example of an image of a moving image taken by a video camera using a conventional video tape. In video cameras using magnetic tape, recorded images are always arranged in chronological order. The photographed images 30000 are arranged along the time axis 30050, and in this figure, each square box represents a one-shot photographed image (photograph button START-STOP unit cut). This videotape shows an image of a climbing trip to Shinshu, and the first five cuts show a set 30010 of images taken on the first day of climbing in climbing to Happo-one. The next 7 cuts show a set 30020 of images taken on the second day of mountain climbing, the next 6 cuts show a set 30030 of images taken when walking around Azumino after descent, and the last 4 cuts are the return trips. A set 30040 of images taken during the driving is shown. These cuts are arranged sequentially on the magnetic tape as shown in the figure. For example, when you want to see the scene of Azumino walk when the tape is completely rewound, fast-forward the tape and walk around Azumino. It is necessary to bring the playback pointer to the top of the set of images. Depending on the video camera, it is possible to put an index at the top of this set. For example, by designating the second index from the top, it is possible to view an image of walking around Azumino. However, in order to view a specific scene that has been taken, it is necessary to perform operations such as fast-forwarding and rewinding the tape, which is cumbersome and time-consuming, so in viewing video images taken using magnetic tape. It is a problem. For this reason, in many cases, it is often used that the captured video images are always viewed continuously from the beginning to the end.
FIG. 4 is an explanatory view showing a recorded image on the HDD of image data taken by the electronic video camera according to the present invention. 40000 is an internal image of the HDD, and each square frame indicates a cluster which is a unit of HDD data read / write access. Here, the image data corresponding to the set 30010 in FIG. 3 is described in five locations in the HDD. Specifically, there are five locations from 40020 to 40024, and new data on the function of the HDD is described in an empty area in the HDD. Therefore, when a set of image data is written continuously, Is not limited. However, due to the random accessibility of the HDD, these data can be accessed for almost any data in almost the same time, and since the time is short, the recorded image data is viewed from the user. Regardless of the order, the specified image data is called up instantly and can be viewed.
FIG. 5 is an explanatory view showing a method of managing image data using the electronic video camera according to the present invention. The image data 50000 shows one cut of the image data captured by each square frame, and the order in which they are arranged in the figure is the same as in FIG. 3, but the substance of each image data is described in the HDD shown in FIG. Therefore, the image data arranged side by side in the figure can be accessed and reproduced at substantially the same time for any of the data. Here, the first four, the next five, the next five, and the last three are grouped into sets of image data. This classification is the same as the description in FIG. 3, but here, since the image data is stored on the HDD, for example, when you want to view the third group Azumino walk image, you need to wait for fast-forwarding of the tape There is no, and you can recall and view the images of the Azumino exploration group in a very short time.
Furthermore, in the present invention, a group called Azumino travel digest video 50050 can be defined in addition to a group of continuous image data. This is feasible when the image data is stored in the HDD shown in FIG. 4, but a specified program is selected from a large number of image data in a random order and grouped to define a single program. Is possible.
FIG. 6 is an explanatory diagram showing the method of the first embodiment in which image data is automatically grouped when image data is grouped. A square frame 60000 is each cut of a photographed image and is photographed in order of time 60040. In this embodiment, paying attention to the difference in the shooting time of each shot that has been shot, there is an algorithm in which cuts shot at intervals within a certain time belong to the same group. For example, if the shooting interval has passed 30 minutes or more, and if it is assumed to belong to another group, the cut 60011 and the cut 60013 belong to the same group, group 1 (60010), because the time 60012 between them is within 30 minutes. However, since the time 60050 between the cut 60013 and the cut 60021 exceeds 30 minutes, when the cut 60021 is photographed, a new group 2 (60020) is created and the cut 60021 belongs to that group. Let Similarly, for a cut having an interval (60060) of 30 minutes or more, a group 3 (60030) is newly established and belongs to that group. By this method, it is possible to automatically perform grouping without the need for the user to classify images to be captured at the time of shooting.
FIG. 7 is an explanatory diagram showing a method of the second embodiment in which image data is automatically grouped when image data is grouped. A square frame 70010 is each cut of the captured image. In the present embodiment, attention is paid to the location where each cut is photographed, and an algorithm is employed in which cuts photographed at substantially the same location belong to the same group using a PHS (Personal Handyphone System) base station number. Here, the PHS is a system that uses a base station installed at an interval of about 300 m and can use a wireless telephone with less power than a normal mobile phone. The PHS can obtain a number unique to the base station at this time. Although the system configuration is not shown, for example, in FIG. 1, the PHS is connected to a portable PC such as a subnote, and the captured image data is transferred as it is to a remote place by PHS, and the PC receives from the PHS. The base station number may be used, or a PHS may be connected to an electronic camera having a PC function. Here, from the base station number of PHS, it is not necessary to express the current position of the electronic camera by an address or coordinates, and it is only necessary to be able to determine that it belongs to a specific base station. In this figure, it is assumed that photographing is performed at three locations where the base station numbers of PHS are A, B, and C. Image data taken in the vicinity of base station number A belongs to group 1 (70020), image data taken in the vicinity of base station number B belongs to group 2 (70030), and base station number C Image data photographed in the vicinity belongs to group 3 (70040). As in FIG. 6, when a new PHS number is recognized, a new group is created, and the image data captured there can be assigned to the group, and the image data linked to the location can be automatically grouped. . The location may be detected by using a position information detection method such as GPS (Global Positioning System), but the method using the PHS base station according to the present invention should also be used in an underground city where GPS cannot be received. Is possible. Here, the present embodiment has been described as an example using PHS. However, if the communication system can know the ID of a base station in the vicinity of the communication device using a wireless communication device, the same use can be made. Is possible.
FIG. 8 is an explanatory diagram showing a method of the third embodiment in which image data is automatically grouped when image data is grouped. In FIG. 8A, a square frame 80000 is each cut of a photographed image and is photographed in order of time 80010. In this embodiment, when shooting, the user defines a new group, and the shot that has been shot has an algorithm that belongs to the group specified in time order. The camera has a switch for designating open-close (OPEN-ClOSE), and a plurality of cuts taken from when the switch is opened to when the switch is closed belong to one group. Specifically, all the cuts shot during the first open-close (80020) belong to group 1 (80021), and all the cuts shot during the next open-close (80030) All cuts belonging to the group 2 (80031) and photographed during the next open-close (80040) belong to the group 3 (80041). The user can turn on the switch, start shooting, and when shooting that belongs to the group is finished, switch off the shot by a simple means, reflecting the user's intention and pre-grouping It is possible to easily manage captured image data without going through the complicated procedure of selecting a name. FIG. 8B is an example of a specific shape of the open-close switch. A switch 80051 is provided on the side of the electronic video camera 80050, and the switch is operated by switching to one of Open 80060 and Close 80061. If this switch is configured using the safety cover 80071 of the camera's shooting switch 80070, a new group is created when the cover is opened, and several cuts are shot there. When closing the camera to move, you can close the group by closing the safety cover. Also, if the camera's main switch is disconnected without closing, the procedure for automatically closing the group is performed, or the group that was used the last time when the main switch was turned on next time Either the closing process is performed or one of the methods is taken. Further, the date and time at the time of opening and closing are recorded as group attached information, and used as information necessary for selecting the group when accessing the group such as viewing an image later.
FIG. 9 is an explanatory diagram showing means for easily grouping cuts that have already been taken. A square frame 90000 is each cut of a photographed image and is photographed in order of time 90010. In this embodiment, an algorithm is provided in which each cut belongs to a designated group by designating a time range taken by the user. Time stamps are attached to the shots so that the time when the cuts are generated can be referred to at any time. Group 1 is a collection of cuts taken between 9:00 and 11:30, Group 2 is a collection of cuts taken after 11:30 to 13:50, and Group 3 is taken after 13:50. Is. This operation is performed after the photographing is finished, and may be performed on the camera or may be performed on the PC after being transferred to the PC shown in FIG. In addition, if the schedule is known in advance even before shooting, a group in which a time range is specified in advance is defined, and a shot that has been shot automatically belongs to that group. In addition, the time zone can be specified not only at the start time and the end time but also before a certain time or after a certain time.
FIG. 10 is an explanatory diagram showing a method for generating a group by randomly selecting a designated cut from a plurality of shooting cuts. 100000 is a multi-screen that displays all shots simultaneously. The first I-PICTURE of each cut may be displayed as a still image, or the I-PICTURE in each cut may be displayed one after another when the PLAY button is pressed. If the fast-forward button and the rewind button are used for this function, an operation of advancing or returning the I-PICTURE to be displayed is also possible. From each of the cuts displayed in this way, a cut to be a digest can be selected to create one group. The selection of the cut at this time may be performed by moving the selection frame 100010 displayed on the multi-screen 100000 by using a cross cursor or a left / right arrow cursor (not shown) installed on the camera.
FIG. 11 is an explanatory diagram showing a method of selecting a group during image reproduction. The photographed image data is classified into groups, and the user can reproduce the image data in the group only by selecting the group, and does not need to be aware of the existence of each image data file. FIG. 11A shows a method of displaying images in each group on a multi-screen and selecting a designated group from them. On the screen 110000, the first I-PICTURE of the image located at the head of each group in the multi-screen of 16 screens in this figure is displayed as a still image. By moving the selection frame 110010 with a cross cursor key or an arrow key (not shown) and selecting with the selection key, the image data registered in the group can be continuously reproduced. In addition to the first I-PICTURE still image display, for example, the cross-cursor up / down cursor displays all the I-PICTUREs of the image files in each group, and the image to be displayed on the multi-screen is selected with the left / right cursor. The frame 110010 may be moved and selected. FIG. 11B shows a method of selecting a group based on the date and time when the image was taken, without depending on visual recognition of the image. A list of groups is displayed on the screen 110020. The format is a sequential number of the group, a date 110021 and a time 110022 when the group was created or closed, and a total playback time 110023 of the image data included. : Displayed in seconds. By moving the selection frame 110024 with a cursor key (not shown) and selecting a group with a selection button, the image data in the designated group can be automatically and continuously reproduced.
FIG. 12 is an explanatory diagram showing a specific method of grouping image files according to the present invention. In FIG. 12A, the image file is FILE0001. MPG (120,000), FILE0002. MPG (120010), FILE0121. MPG (120020) and 121 files are prepared, and an attribute data image of each file is shown in the figure. The file name has the shooting date, the shooting start time, the length of the file in hours, and other information attached. These pieces of information are added to the image data entity and stored in the HDD. FIG. 12B shows data defining a group, which itself may be a file, or may be data that the camera program itself has. Group 1 (120030) includes FILE0002. MPG, FILE0014. MPG, FILE0007. MPG, and FILE0002. The MPG belongs, and each address 120040 is described in this data. The image file indicated by this address may be changed in order or duplicated. Further, the address may directly indicate a physical address in the HDD, but may be in a format indicated by a file name in accordance with information for managing the file system of the HDD. In this case, the data in the group need only be the relative address and file name from the group location of the area where the data exists.
FIG. 13 is an explanatory diagram showing image file division and grouping methods using the divided files. For example, an MPEG format image file can be divided in units of I-PICTURE as shown in FIG. Here, by dividing one photographed image file into finer scenes in units of I-PICTURE and handling them as independent files, it becomes possible to perform finer grouping. Original image file FILE0100. MPG (130000) is a unit separated by its I-PICTURE, FILE0101. MPG (130010), FILE0102. MPG (130020), FILE0107. The file is divided into MPG (130030) files. Each file describes the shooting date, time, length, and original file name as attribute data. By dividing an image file in units of I-PICTURE, an actual image can be divided by I-PICTURE included after performing extreme panning in addition to the regular periodic I-PICTURE. The scenes in which the camera is extremely swung can be removed from the captured image and used to generate a group, and in fact, the same effect as the editing work can be obtained. A group generated using these files is represented as group 1 (130040) in FIG. The contents are the same as in FIG. 12B, and a detailed description is omitted. Here, when copying a group of photographed images to show others, when the group 1 is copied, the image main body (130050) belonging to the group 1 is automatically copied together. Among them, only the image file main body defined in the group 1 is included, not the original image data before division. In order to pass only the minimum necessary image data at the time of copying, capacity saving and confidentiality can be performed.
FIG. 14 is an explanatory diagram showing a method of consolidating a plurality of image files and cutting out a partial portion and grouping them, contrary to FIG. The image data normally projected in FIG. 14A is divided into FILE0001. MPG (140000), FILE0002. MPG (140010), FILE0121. MPG (140020) and 121 cuts are prepared here. Integrating this, FILE-ALL. MPG (140030) is generated. In this operation, 121 original image files are arranged vertically to form one file. At this time, as additional information, address information indicating the head position of the original image file is provided for each original image file. The completed image file 140030 is one large image data, which can be divided into a plurality of image files. FIG. 14B shows an example in which a group is configured using the image file 140030. Group 1 (140040) includes a group using a part of images in image file 140030. Similarly to the example of FIG. 13, when copying this group to show it to other people, when the group 1 is copied, the image file 140030 is automatically copied together. It contains image data other than the image file defined in group 1. Even after copying, when editing group 1 or creating a new group, it does not belong to group 1 but first. All captured image data can be used.

10000…カメラ、10040…圧縮・伸長回路、10200…PCMCIA−HDD
カード、20010…I−PICTURE、60000…画像ファイル、60010…グ
ループ、100000…マルチ画面。
10000 ... Camera, 10040 ... Compression / decompression circuit, 10200 ... PCMCIA-HDD
Card, 201010 ... I-PICTURE, 60000 ... Image file, 60010 ... Group, 100,000 ... Multi-screen.

Claims (1)

動画像または静止画像を画像データとして撮影する撮影手段と、
撮影位置に関する情報を検出する検出手段と、
前記撮影位置に応じて複数の画像データをリンクさせて再生グループを作成する再生グループ作成手段と、
前記再生グループ作成手段により作成された複数の再生グループのいずれかが選択できる画面を表示する表示手段と、
複数の再生グループの中から1つの再生グループが選択されると、選択された再生グループに含まれる複数の画像データを連続再生する再生手段と、
を有することを特徴とする画像記録再生装置方法。
Photographing means for photographing a moving image or a still image as image data;
Detection means for detecting information about the shooting position;
Reproduction group creating means for creating a reproduction group by linking a plurality of image data according to the shooting position;
Display means for displaying a screen on which any one of the plurality of reproduction groups created by the reproduction group creation means can be selected;
Reproduction means for continuously reproducing a plurality of image data included in the selected reproduction group when one reproduction group is selected from the plurality of reproduction groups;
An image recording / reproducing apparatus method comprising:
JP2011248192A 2011-11-14 2011-11-14 Image recording / reproducing apparatus, image recording / reproducing method, and image editing method Expired - Lifetime JP4993032B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011248192A JP4993032B2 (en) 2011-11-14 2011-11-14 Image recording / reproducing apparatus, image recording / reproducing method, and image editing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011248192A JP4993032B2 (en) 2011-11-14 2011-11-14 Image recording / reproducing apparatus, image recording / reproducing method, and image editing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009235876A Division JP4900444B2 (en) 2009-10-13 2009-10-13 Image shooting device

Publications (2)

Publication Number Publication Date
JP2012084222A JP2012084222A (en) 2012-04-26
JP4993032B2 true JP4993032B2 (en) 2012-08-08

Family

ID=46242916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011248192A Expired - Lifetime JP4993032B2 (en) 2011-11-14 2011-11-14 Image recording / reproducing apparatus, image recording / reproducing method, and image editing method

Country Status (1)

Country Link
JP (1) JP4993032B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885286B2 (en) * 1987-08-11 1999-04-19 キヤノン株式会社 Playback device
JP3147358B2 (en) * 1990-02-23 2001-03-19 ミノルタ株式会社 Camera that can record location data
JP2635917B2 (en) * 1992-09-11 1997-07-30 株式会社東芝 Electronic still camera

Also Published As

Publication number Publication date
JP2012084222A (en) 2012-04-26

Similar Documents

Publication Publication Date Title
JP3246384B2 (en) Image recording apparatus and image recording method
EP1631083B1 (en) Recording/reproducing system
US8270816B2 (en) Information recording and/or playback apparatus
JP4779921B2 (en) Data processing apparatus, data processing method, and computer program
KR101319544B1 (en) Photographing apparatus for detecting appearance of person and method thereof
TW200829012A (en) Data processor, data processing method and computer program
KR100910449B1 (en) Data recording method
JP3702883B2 (en) Image recording / reproducing apparatus, image recording / reproducing method, and image editing method
JP4719498B2 (en) Playback device
JP4993032B2 (en) Image recording / reproducing apparatus, image recording / reproducing method, and image editing method
JP4900444B2 (en) Image shooting device
CA2503161A1 (en) Information recording device and information recording method
JP3702776B2 (en) Image recording / playback device
JP2007200409A (en) Image pickup device, recording device, and recording method
JP2001189907A (en) Image-reproducing device and image-reproducing method
JP2008305543A (en) Playback device
JP3277931B2 (en) Image recording apparatus and image recording method
EP1870900A1 (en) Apparatus, method, and computer program for processing information
KR100921134B1 (en) Data recording method
JP2005303906A (en) Method and apparatus of detecting frame of photographic movie
JP4297073B2 (en) Image generating apparatus, processing method of these apparatuses, and program causing computer to execute the method
JP2006074406A (en) Edit function-attached video photographing apparatus
JP2005135554A (en) Reproducing device and method
JP2000261744A (en) Method and system for photographing video image for edit with object information acquisition function and storage medium recording program describing this method
JP2003046948A (en) Recording/reproducing apparatus for monitoring image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term