JP6520438B2 - program - Google Patents
program Download PDFInfo
- Publication number
- JP6520438B2 JP6520438B2 JP2015119453A JP2015119453A JP6520438B2 JP 6520438 B2 JP6520438 B2 JP 6520438B2 JP 2015119453 A JP2015119453 A JP 2015119453A JP 2015119453 A JP2015119453 A JP 2015119453A JP 6520438 B2 JP6520438 B2 JP 6520438B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- location information
- storage location
- portable terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、携帯端末においてAR技術により動画を再生するためのサーバ装置、動画データ配信方法、及びプログラムに関する。 The present invention relates to a server device for reproducing moving pictures by AR technology in a portable terminal, a moving picture data distribution method, and a program.
デジタルカメラやスマートフォン等で撮影した画像のデジタルデータを読み込んでプリント出力する画像プリント装置が様々な場所に設置されている。例えば、利用者は、デジタルカメラで撮影した画像データが記憶された記憶媒体を持参し、記憶媒体内の画像データを画像プリント装置に読み込ませる。画像プリント装置は、記憶媒体から読み込んだ画像データの画像を表示し、利用者に提示する。そして、利用者が、プリントする画像を選択し、プリントサイズやプリント枚数を指定すると、画像プリント装置は画像を指定されたサイズでプリント出力する。このような画像プリント装置においては、利用者のニーズが多様化しており、常に新たなサービスが求められている。 Image printing apparatuses that read digital data of an image captured by a digital camera or a smartphone and output the print data are installed in various places. For example, the user brings a storage medium in which image data captured by a digital camera is stored, and causes the image printing apparatus to read the image data in the storage medium. The image printing apparatus displays an image of image data read from a storage medium and presents the image to the user. Then, when the user selects an image to be printed and designates the print size and the number of prints, the image printing apparatus prints out the image in the designated size. In such an image printing apparatus, the needs of users are diversified, and new services are constantly required.
従来、タブレット端末やスマートフォン等の携帯端末で撮影した現実空間の画像上に、仮想物体等の画像を重畳して表示する拡張現実(AR:Augmented Reality)技術が知られている(例えば特許文献1、2参照)。 Conventionally, an augmented reality (AR) technology is known in which an image such as a virtual object is superimposed and displayed on an image of a physical space captured by a portable terminal such as a tablet terminal or a smartphone (for example, Patent Document 1) , 2).
本発明は、上記従来の実状に鑑みてなされたものであり、画像プリント装置から出力されたプリント物を携帯端末で撮影することで、プリント物に動画が重畳して再生されるように携帯端末へ動画データを配信するサーバ装置、動画データ配信方法、及びプログラムを提供することを課題とする。 The present invention has been made in view of the above-described conventional situation, and a portable terminal is configured to reproduce a moving image superimposed on a printed matter by photographing the printed matter output from the image printing apparatus with the portable terminal. It is an object of the present invention to provide a server device for distributing moving image data to a moving image data distribution method, and a program.
本発明の一態様によるサーバ装置は、携帯端末から画像データを受信する第1受信部と、前記画像データを保存する記憶部と、前記画像データの受信に伴い、動画データを保存可能な保存場所情報を、前記画像データの送信元の携帯端末へ送信する第1送信部と、前記画像データ及び前記保存場所情報をコード化したコード画像がプリントされたプリント物から前記コード画像を読み取り、読み取ったコード画像から前記保存場所情報を取得してアクセスしてきた携帯端末から動画データを受信し、前記画像データと紐付けて前記記憶部に保存する第2受信部と、前記動画データの保存後、前記プリント物から前記コード画像を読み取り、読み取ったコード画像から前記保存場所情報を取得してアクセスしてきた携帯端末へ、前記動画データを送信する第2送信部と、を備えるものである。 A server apparatus according to an aspect of the present invention includes a first receiving unit that receives image data from a portable terminal, a storage unit that stores the image data, and a storage location that can store moving image data upon receiving the image data. A first transmission unit for transmitting information to a portable terminal as a transmission source of the image data; and reading the code image from a printed matter on which the image data and a code image obtained by encoding the storage location information are printed A second receiving unit that receives moving image data from a portable terminal that has acquired and accessed the storage location information from a code image, associates the moving image data with the image data, and saves the moving image data in the storage unit; The moving image data is read to a portable terminal that has read the code image from the printed matter and acquired the storage location information from the read code image and accessed Those comprising a second transmission unit that transmits, to.
本発明の一態様によるサーバ装置において、前記第2送信部は、前記携帯端末が前記プリント物から読み取った画像の特徴点と、前記記憶部に保存された画像データの特徴点とが一致した場合に、前記携帯端末へ前記動画データを送信することを特徴とする。 In the server device according to one aspect of the present invention, when the second transmission unit matches the feature point of the image read from the print by the portable terminal and the feature point of the image data stored in the storage unit. And transmitting the moving image data to the mobile terminal.
本発明の一態様によるサーバ装置において、前記第1受信部は前記画像データと共にパスワードを受信し、前記第2受信部は、前記第1受信部が受信したパスワードと、前記動画データの送信元の携帯端末から送信されたパスワードとが一致した場合に、前記動画データを前記記憶部に保存することを特徴とする。 In the server device according to one aspect of the present invention, the first receiving unit receives a password together with the image data, and the second receiving unit is a password received by the first receiving unit and a transmission source of the moving image data. When the password transmitted from the portable terminal matches, the moving image data is stored in the storage unit.
本発明の一態様によるプログラムは、記憶部に記憶されている画像データをサーバ装置へ送信して登録する第1送信部と、前記サーバ装置から動画データを保存可能な保存場所情報を受信する受信部と、前記画像データ及び前記保存場所情報を画像プリント装置へ転送する転送部と、前記画像プリント装置により前記画像データ及び前記保存場所情報をコード化したコード画像がプリントされたプリント物の前記コード画像を、カメラを用いて読み取って、前記保存場所情報を取得する取得部と、前記取得部が取得した保存場所情報に基づいて前記サーバ装置にアクセスし、前記記憶部に記憶されている動画データを前記サーバ装置に送信し、前記画像データに紐付けて登録する第2送信部と、として携帯端末のコンピュータを機能させるものである。 A program according to an aspect of the present invention includes a first transmission unit that transmits and registers image data stored in a storage unit to a server device, and reception that receives storage location information that can store moving image data from the server device. Section, a transfer section for transferring the image data and the storage location information to the image printing apparatus, and the code of the printed matter on which the code image obtained by coding the image data and the storage location information by the image printing apparatus is printed An acquisition unit that reads an image using a camera to acquire the storage location information, and the server device is accessed based on the storage location information acquired by the acquisition unit, and the moving image data stored in the storage unit Are also transmitted to the server device, and the computer of the portable terminal is made to function as a second transmission unit that associates and registers the image data. It is.
本発明の一態様によるプログラムにおいて、前記取得部は、前記カメラを用いて、前記プリント物にプリントされたコード画像を読み取って前記保存場所情報を取得し、前記保存場所情報に基づいて前記サーバ装置にアクセスして前記画像データを取得すると共に、前記カメラを用いて前記プリント物上の画像を取得し、前記携帯端末のコンピュータを、さらに、前記サーバ装置から取得した画像と、前記プリント物上の画像の特徴点を比較する比較部と、特徴点が一致した場合に、前記サーバ装置から前記画像データに対応する動画データを受信し、前記動画データを、前記カメラで撮影している前記プリント物の画像に重畳させて再生する再生部と、として機能させる。 In the program according to one aspect of the present invention, the acquisition unit reads the code image printed on the printed matter using the camera to acquire the storage location information, and the server apparatus based on the storage location information. To obtain the image data, and using the camera to obtain an image on the print, and further obtaining an image of the computer of the portable terminal from the server device, and the print on the print The printed matter in which moving image data corresponding to the image data is received from the server device when the characteristic points coincide with a comparison unit that compares the characteristic points of the image, and the moving image data is captured by the camera Function as a reproduction unit for reproducing the image by superimposing it on the image of.
本発明の一態様によるプログラムは、前記保存場所情報の受信後、所定期間内に前記画像データ及び前記保存場所情報が画像プリント装置へ転送されない場合、又は画像プリント装置へ転送されていない前記画像データ及び前記保存場所情報の数が所定数に達した場合に、未購入のプリント物があることを報知する期限管理部として携帯端末のコンピュータを機能させる。 The program according to one aspect of the present invention is that the image data and the storage location information are not transferred to the image printing apparatus within a predetermined period after the reception of the storage location information, or the image data not transferred to the image printing apparatus And causing the computer of the portable terminal to function as a time limit management unit for notifying that there is an unpurchased print when the number of storage location information reaches a predetermined number.
本発明の一態様による動画データ配信方法は、携帯端末が、画像データをサーバ装置へ送信して登録するステップと、前記サーバ装置が、前記画像データの受信に伴い、動画データを保存可能な保存場所情報を前記携帯端末へ送信するステップと、前記携帯端末が、前記画像データ及び前記保存場所情報を画像プリント装置へ転送するステップと、前記画像プリント装置が、前記保存場所情報をコード化してコード画像を生成し、前記画像データと前記コード画像とを合成した合成画像を印画紙にプリントしてプリント物を出力するステップと、携帯端末が、カメラを用いて、前記プリント物にプリントされたコード画像を読み取って前記保存場所情報を取得し、前記保存場所情報に基づいて前記サーバ装置にアクセスして動画データを送信して登録するステップと、前記動画データの登録後、携帯端末が、カメラを用いて、前記プリント物にプリントされたコード画像を読み取って前記保存場所情報を取得し、前記保存場所情報に基づいて前記サーバ装置にアクセスして前記動画データを取得し、前記動画データを、前記カメラで撮影している前記プリント物の画像に重畳させて再生するステップと、を備えるものである。 A moving image data distribution method according to an aspect of the present invention includes the steps of: a portable terminal transmitting and registering image data to a server device; and the server device storing the moving image data as the image data is received. Transmitting location information to the mobile terminal; transferring the image data and the storage location information to the image printing apparatus; and the image printing apparatus coding the storage location information to obtain a code Generating an image, printing on a printing paper a composite image obtained by combining the image data and the code image, and outputting a printed matter; and a code printed on the printed matter by a portable terminal using a camera The image is read to acquire the storage location information, and the server apparatus is accessed based on the storage location information to transmit the moving image data. And registering the moving image data, the portable terminal uses the camera to read the code image printed on the printed matter to obtain the storage location information, and the storage location information is obtained based on the storage location information. And accessing the server device to acquire the moving image data, and superimposing the moving image data on an image of the print taken by the camera for reproduction.
本発明によれば、画像プリント装置から出力されたプリント物を携帯端末で撮影することで、プリント物に動画が重畳して再生されるように携帯端末へ動画データを配信する。 According to the present invention, by photographing the printed matter output from the image printing apparatus with the portable terminal, the moving picture data is distributed to the portable terminal such that the moving picture is superimposed and reproduced on the printed matter.
以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described based on the drawings.
図1は、本実施形態に係る動画データ配信システムの概略構成図である。図1に示すように、動画データ配信システムは、サーバ装置1、画像プリント装置2、及び携帯端末4(4A、4B、4C)を備える。携帯端末4は、カメラや通信機能を持つスマートフォンやタブレット機器等である。
FIG. 1 is a schematic configuration diagram of a moving image data distribution system according to the present embodiment. As shown in FIG. 1, the moving image data distribution system includes a server device 1, an
携帯端末4Aは、画像データをサーバ装置1に登録する。画像データは、例えば携帯端末4Aのカメラで撮影した画像や、ユーザが作成した画像のデータである。携帯端末4Bは、動画データをサーバ装置1に登録する。動画データは、例えば携帯端末4Bのカメラで撮影した動画や、ユーザが作成した動画のデータである。携帯端末4A、4B、4Cは同じ端末であってもよいし、少なくとも1つが異なる端末でもよい。
The
サーバ装置1は、携帯端末4Aから画像データを受信すると、この画像データに対応する動画データを保存可能な保存場所情報(例えばURL)を携帯端末4Aへ送信する。
When receiving the image data from the
ユーザが、携帯端末4Aから画像データ及び保存場所情報を画像プリント装置2へ転送し、料金を支払うと、画像プリント装置2は保存場所情報をコード化して二次元コードを生成し、二次元コード画像と、携帯端末4Aから受信した画像データの画像とを合成し、合成画像を印画紙にプリントしてプリント物3を出力する。これにより、図2に示すように、画像31及び二次元コード32がプリントされたプリント物3が作成される。
When the user transfers the image data and storage location information from the
ユーザが携帯端末4Bのカメラでプリント物3上の二次元コード32を撮影すると、携帯端末4Bは二次元コード32を読み取って保存場所情報を取得し、サーバ装置1にアクセスする。サーバ装置1は、アクセスしてきた携帯端末4Bに対し、動画データが未だ保存されていないことを通知する。携帯端末4Bは、この通知に基づいて、サーバ装置1に動画データを送信(アップロード)する。サーバ装置1は、保存場所情報に基づいて、携帯端末4Aから受信した画像データと、携帯端末4Bから受信した動画データとを紐付けて保存する。
When the user photographs the two-
動画データの登録後、ユーザが携帯端末4Cのカメラでプリント物3上の二次元コード32を撮影すると、携帯端末4Cは二次元コード32を読み取って保存場所情報を取得し、サーバ装置1にアクセスする。
When the user captures a two-
携帯端末4Cは、サーバ装置1から画像データを取得するとともに、携帯端末4Cのカメラでプリント物3の画像31を撮影するようユーザに指示する。ユーザが携帯端末4Cのカメラで画像31を撮影すると、携帯端末4Cは、撮影された画像31と、サーバ装置1から取得した画像との特徴点を比較して照合する。照合により2つの画像が一致した場合、携帯端末4Cはサーバ装置1から画像31に対応する動画データを取得し、ディスプレイ上で動画を再生する。動画再生には公知のAR技術が用いられ、携帯端末4Cのカメラで撮影しているプリント物3に動画が重畳して再生される。
The
このように、動画データ配信システムでは、ユーザAが携帯端末4(4A)からサーバ装置1に画像データを登録し、サーバ装置1が動画データを保存するための保存場所情報を携帯端末4(4A)に通知する。ユーザAは携帯端末4(4A)から画像プリント装置2へ画像データ及び保存場所情報を転送し、画像31及び二次元コード32がプリントされたプリント物3を購入する。
As described above, in the moving image data distribution system, the user A registers image data from the portable terminal 4 (4A) to the server device 1, and the server device 1 stores storage location information for storing moving image data in the portable terminal 4 (4A Notify on). The user A transfers image data and storage location information from the portable terminal 4 (4 A) to the
画像プリント装置2でプリント物3を購入したユーザA、又はユーザAからプリント物3を譲渡されたユーザBは、携帯端末4(4B)で二次元コード32を読み取り、サーバ装置1にアクセスして、サーバ装置1に動画データを登録する。その後、プリント物3を所有するユーザCは、携帯端末4(4C)で二次元コード32を読み取り、サーバ装置1にアクセスして動画データを受信・再生し、画像31に対応する動画を視聴することができる。
The user A who purchased the printed
これにより、例えば、ユーザAは、プリント物3を、動画を紐付け可能な写真としてユーザBに譲渡することができる。ユーザBは、携帯端末4を用いてプリント物3の二次元コード32からサーバ装置1にアクセスし、動画を登録する。動画登録後は、携帯端末4を用いてプリント物3の二次元コード32からサーバ装置1にアクセスすると、プリント物3の画像31に紐付けられた動画を楽しむことができるようになる。ユーザBは、プリント物3を、動画付きの写真としてユーザCに譲渡することができる。
Thereby, for example, the user A can transfer the
あるいはまた、ユーザAは、プリント物3を、動画を紐付け可能な写真として販売し、ユーザBの購入時に、ユーザBとのツーショット動画などユーザBの所望する特典動画をその場で撮影し、サーバ装置1に登録することができる。
Alternatively, the user A sells the
図3は、携帯端末4のブロック構成図である。携帯端末4は、CPU40、メモリ41、カメラ42、通信部43、及びディスプレイ(タッチパネル)44を備える。図1に示す例では、画像データの登録、動画データの登録、動画の再生をそれぞれ異なる携帯端末4A、4B、4Cで行っていたが、これらの処理は1台の携帯端末4で行うことができる。ここでは、画像データの登録、動画データの登録、及び動画の再生を行う携帯端末4の構成について説明する。
FIG. 3 is a block diagram of the
メモリ41は、画像データ、動画データ、及び動画登録再生アプリ(アプリケーションプログラム)を記憶する。メモリ41は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read-Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable Read-Only Memory)、磁気メモリの少なくとも1つのタイプの記憶媒体を含む。
The
CPU40が動画登録再生アプリを実行することで、図4に示すように、登録部50、転送部60、及び再生部70が実現され、サーバ装置1へのデータ登録、画像プリント装置2へのデータ転送、サーバ装置1からの動画の取得・再生などが行えるようになる。
By the
登録部50は、画像選択部51、動画選択部52、データ送信部53、及び保存場所情報受信部54を有する。
The
画像選択部51は、メモリ41に記憶されている1又は複数の画像データをディスプレイ44にサムネイル表示し、ユーザから、サーバ装置1に登録する画像(プリント物3にプリントされる画像31)の選択を受け付ける。
The
動画選択部52は、メモリ41に記憶されている1又は複数の動画データの選択画面をディスプレイ44に表示し、ユーザから、サーバ装置1に登録する動画の選択を受け付ける。
The moving
データ送信部53(第1送信部)は、通信部43を用いて、ユーザにより選択された画像データをサーバ装置1へ送信する。また、データ送信部53(第2送信部)は、カメラ42を用いてプリント物3にプリントされた二次元コード32から読み取られた保存場所情報を用いて、通信部43を介してサーバ装置1にアクセスし、ユーザにより選択された動画データをサーバ装置1へ送信する。
The data transmission unit 53 (first transmission unit) transmits the image data selected by the user to the server device 1 using the
保存場所情報受信部54は、通信部43を介して、サーバ装置1から、動画データを保存するための保存場所情報を受信する。
The storage location information receiving unit 54 receives storage location information for storing moving image data from the server device 1 via the
転送部60は、通信部43を用いて、データ送信部53がサーバ装置1へ送信した画像データと、保存場所情報受信部54がサーバ装置1から受信した保存場所情報とを画像プリント装置2へ転送する。
The
再生部70は、画像取得部71、特徴点比較部72、及び動画再生部73を有する。
The
画像取得部71は、カメラ42を用いてプリント物3にプリントされた二次元コード32から保存場所情報を読み取り、通信部43を介してサーバ装置1にアクセスし、画像31に対応する画像データを取得する。また、画像取得部71はカメラ42を用いてプリント物3上の画像31を取得する。
The
特徴点比較部72は、サーバ装置1から取得した画像と、カメラ42で撮影したプリント物3の画像31との特徴点を比較する。特徴点が合致した場合、動画再生部73は、サーバ装置1から動画データを受信する。特徴点が不一致の場合、ディスプレイ44に再生不可であることが表示される。
The feature
動画再生部73は、公知のAR技術を用いて、受信した動画データを、カメラ42で撮影しているプリント物3の画像31に重畳させて再生する。例えば、検出した画像31の特徴点を追跡してカメラ42の位置姿勢を推定し、カメラ画像と動画の位置合わせを行う。
The moving
図5はサーバ装置1の構成図である。サーバ装置1は、画像データ受信部11、動画データ受信部12、保存場所情報送信部13、画像データ送信部14、動画データ送信部15、動画配信管理部16、及びデータベース17を備え、例えばコンピュータにより構成される。
FIG. 5 is a block diagram of the server device 1. The server device 1 includes an image
画像データ受信部11は、携帯端末4から画像データを受信し、データベース17に格納する。保存場所情報送信部13は、携帯端末4から画像データを受信すると、この画像データに紐付ける動画データを保存するための保存場所情報を携帯端末4へ送信する。
The image
動画データ受信部12は、携帯端末4が保存場所情報に基づいてサーバ装置1にアクセスし、この保存場所情報に対応する動画データが未だ登録されていない場合、携帯端末4から動画データを受信する。動画データ受信部12は、受信した動画データを、事前に登録されている画像データに紐付けてデータベース17に格納する。
The moving picture
画像データ送信部14は、携帯端末4が動画の再生にあたり保存場所情報に基づいてサーバ装置1にアクセスしてきた場合、この保存場所情報に対応する画像データを携帯端末4へ送信する。
When the
動画データ送信部15は、携帯端末4からの要求に応じて、携帯端末4へ動画データを送信する。携帯端末4へ送信する動画データは、携帯端末4がアクセスしてきた際に用いた保存場所情報に対応したものである。
The moving image
データベース(記憶部)17は、画像データ、動画データ、及び管理情報を保存する。画像データ及び動画データは、携帯端末4から受信したものである。管理情報は、画像データと動画データとの対応関係や、データが登録された日付等の情報を含む。サーバ装置1は、画像データや動画データを登録した携帯端末4の端末情報(個体識別情報等)を取得する端末情報取得部をさらに備え、取得した端末情報を管理情報に含めてもよい。端末情報として、携帯端末4にインストールされている動画登録再生アプリのアプリIDを取得してもよい。これにより、データベース17内の画像データ及び動画データの登録日や登録に使用された携帯端末4の情報を管理することができる。
The database (storage unit) 17 stores image data, moving image data, and management information. The image data and the moving image data are received from the
データベース17は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM、SRAM、ROM、EEPROM、PROM、磁気メモリの少なくとも1つのタイプの記憶媒体を含む。 The database 17 is at least one type of storage of flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory. Includes media.
動画配信管理部16は、携帯端末4から受信した画像データをデータベース17に保存すると、この画像データに対応する動画データの保存先となる保存場所情報を生成し、この保存場所情報を含む管理情報を作成する。携帯端末4による動画データの登録の際、動画配信管理部16は、管理情報を参照し、携帯端末4がアクセスしてきた際の保存場所情報から、対応する画像データを特定し、画像データと携帯端末4から送信された動画データとを紐付ける。また、携帯端末4による動画データの再生の際、動画配信管理部16は、管理情報を参照し、携帯端末4がアクセスしてきた際の保存場所情報から、携帯端末4へ送信する画像データ及び動画データを特定する。
When the video
図6は、画像プリント装置2のブロック構成図である。図6に示すように、画像プリント装置2は、CPU(中央処理部)20、タッチパネル(表示部、操作部)21、課金部22、プリンタ23、通信部24、及びメモリ25を有する。画像プリント装置2は、デジタルカメラ等で撮影した画像データが記憶された記憶媒体から画像データを読み取り、読み取った画像をタッチパネル21に表示し、ユーザから画像の選択、プリントサイズやプリント枚数の指定を受け付け、プリンタ23により画像をプリント出力する機能を備えている。
FIG. 6 is a block diagram of the
課金部22は、投入された貨幣を識別計数し、釣銭を出金する。プリンタ23は、例えば昇華型熱転写方式の高解像度カラープリンタである。 The charging unit 22 identifies and counts the inserted money, and dispenses change. The printer 23 is, for example, a sublimation type thermal transfer high resolution color printer.
メモリ25は、制御プログラム及び販売プログラムを記憶する。メモリ25は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM、SRAM、ROM、EEPROM、PROM、磁気メモリの少なくとも1つのタイプの記憶媒体を含む。
The
CPU20が制御プログラムを実行することで、画像プリント装置2の各部を制御する制御部として機能する。
The
CPU20が販売プログラムを実行することで、図7に示すように、データ受信部26、コード化処理部27、及び画像合成部28が実現され、プリント物3の販売が行えるようになる。
As the
データ受信部26は、タッチパネル21を介してユーザから動画付き写真(動画を登録できる写真)のプリント注文開始指示を受け付けると、通信部24の無線通信機能を利用して、携帯端末4から画像データ及び保存場所情報を受信する。
When
コード化処理部27は、受信した保存場所情報をコード化して二次元コード画像を生成する。画像合成部28は、二次元コード画像を、受信した画像データに合成して合成画像を作成する。合成画像における二次元コード画像の配置場所をユーザが指示できるようにしてもよい。制御部が合成画像をプリンタ23へ転送すると、プリンタ23は、合成画像を印画紙にプリントし、プリント物3を出力する。
The
図8は、本実施形態による画像・動画の登録及び動画再生の処理の流れを示す図である。ここでは、ユーザAが携帯端末4Aを用いて画像をサーバ装置1に登録し、ユーザBが携帯端末4Bを用いて動画をサーバ装置1に登録し、ユーザCが携帯端末4Cを用いて動画を再生する例について説明する。携帯端末4A、4B、4Cは、それぞれ上述の携帯端末4と同様の構成となっている。なお、ユーザA(携帯端末4A)、ユーザB(携帯端末4B)、ユーザC(携帯端末4C)は全てが異なっていてもよく、いずれか1名(1台)が異なっていてもよく、全てが同じであってもよい。
FIG. 8 is a diagram showing a flow of processing of image / moving image registration and moving image reproduction according to the present embodiment. Here, the user A registers an image in the server device 1 using the
ユーザAが、携帯端末4Aを操作し、動画登録再生アプリを実行して、画像登録モードを選択すると、メモリ41内の画像データが選択できるようになる。ユーザAがいずれかの画像データを選択すると(ステップS101)、データ送信部53が、選択された画像データをサーバ装置1へ送信する(ステップS102)。
When the user A operates the
サーバ装置1は、携帯端末4Aから受信した画像データをデータベース17に保存すると共に、動画データを保存するための記憶領域を確保し、この記憶領域を特定するための保存場所情報を携帯端末4Aに通知する(ステップS103)。
The server device 1 stores the image data received from the
ユーザAは、画像プリント装置2を操作し、動画付き写真のプリント注文を開始する。画像プリント装置2の無線通信機能を利用して、サーバ装置1へ送信したものと同じ画像データ、及びサーバ装置1から通知された保存場所情報を、携帯端末4Aから画像プリント装置2へ転送する(ステップS104)。
The user A operates the
ユーザからの料金の支払いを受け付けると、画像プリント装置2は、保存場所情報をコード化して二次元コード画像を生成し、この二次元コード画像と、携帯端末4Aから転送された画像データとを合成して、合成画像を生成する(ステップS105)。
Upon receiving payment from the user,
プリンタ23が、この合成画像を印画紙にプリントして出力する(ステップS106)。これにより、ユーザAは、画像31及び二次元コード32がプリントされたプリント物3を入手することができる(ステップS107)。その後、ユーザAは、動画登録可能なプリント物3を、ユーザBに譲渡する(ステップS108)。
The printer 23 prints this composite image on printing paper and outputs it (step S106). Thereby, the user A can obtain the printed
ユーザBが、携帯端末4Bの動画登録再生アプリを実行し、動画登録モードを選択すると、カメラ42が起動し、ディスプレイ44上に二次元コードの読み取り指示が表示される。カメラ42でプリント物3の二次元コード32を撮影することで、携帯端末4Bは保存場所情報を取得する(ステップS109)。携帯端末4Bが、保存場所情報に基づきサーバ装置1にアクセスすると、サーバ装置1は、携帯端末4Bからアクセスされた際の保存場所情報に対応する動画データが未だ登録されていないことを携帯端末4Bに通知する。
When the user B executes the moving picture registration reproduction application of the
この通知に基づき、携帯端末4Bのメモリ41内の動画データが選択できるようになる。ユーザBがいずれかの動画データを選択すると(ステップS110)、データ送信部53が、選択された動画データをサーバ装置1へ送信する(ステップS111)。サーバ装置1は、携帯端末4Bから受信した動画データを、ステップS102で携帯端末4Aから受信した画像データと紐付けて、データベース17に保存する。その後、ユーザBは、動画付き写真であるプリント物3を、ユーザCに譲渡する(ステップS112)。
Based on this notification, moving image data in the
ユーザCが、携帯端末4Cの動画登録再生アプリを実行し、動画再生モードを選択すると、カメラ42が起動し、ディスプレイ44上に二次元コードの読み取り指示が表示される。カメラ42でプリント物3の二次元コード32を撮影することで、携帯端末4Cは保存場所情報を取得する(ステップS113)。
When the user C executes the moving picture registration reproduction application of the
携帯端末4Cの画像取得部71は、保存場所情報に基づき、通信部43を介してサーバ装置1にアクセスし、画像データを要求する(ステップS114)。サーバ装置1は、管理情報を参照し、携帯端末4Cからアクセスされた際の保存場所情報が示す動画データに対応する画像データを携帯端末4Cへ送信する(ステップS115)。
The
携帯端末4Cがサーバ装置1から画像データを受信すると、ディスプレイ44上に画像31の読み取り指示が表示される。カメラ42でプリント物3の画像31を撮影すると、特徴点比較部72が、サーバ装置1から受信した画像と、カメラ42で撮影した画像31との特徴点を比較する(ステップS116)。特徴点が合致すると、携帯端末4Cはサーバ装置1に対し動画データを要求する(ステップS117)。
When the
サーバ装置1は、ステップS115で携帯端末4Cへ送信した画像データに対応する動画データを携帯端末4Cへ送信する(ステップS118)。携帯端末4Cが動画データを受信すると、動画再生部73が、公知のAR技術を用いて、カメラ42で撮影している画像31に重畳させて動画データを再生する(ステップS119)。
The server device 1 transmits, to the
このように、本実施形態によれば、画像プリント装置2から出力されたプリント物3を携帯端末4で撮影することで、プリント物3に動画が重畳して再生されるように携帯端末4へ動画データを配信することができる。
As described above, according to the present embodiment, by photographing the printed
画像データ及び動画データは、ユーザ自らサーバ装置1に登録できる。また、動画データは、画像プリント装置2でプリント物3を作成・購入した後に登録できる。そのため、画像プリント装置2で作成されるプリント物3は、動画を登録するユーザや登録するタイミングの自由度が高いものとなる。
The image data and the moving image data can be registered in the server device 1 by the user. Also, the moving image data can be registered after the
画像データの登録の際に、動画登録のためのパスワードを設定できるようにしてもよい。画像データ受信部11は、画像データと共にパスワードを受信する。画像データを登録したユーザは、動画登録前のプリント物を他ユーザに譲渡する際にパスワードを伝えておく。サーバ装置1は、アクセスしてきた携帯端末4の端末情報を取得し、画像データを登録した携帯端末4と、動画データを登録する携帯端末4とが異なる場合は、パスワードの入力を求める。動画データを登録する携帯端末4から送信されたパスワードが、画像データ受信部11が受信したパスワードと一致した場合、動画データの登録を受け付ける。これにより、第三者による不正な動画登録を防止できる。
When registering image data, a password for moving image registration may be set. The image
動画登録に制限をかける方法はパスワード入力に限定されず、例えば、GPS情報を用いたものでもよい。GPS情報による制限により、所定の場所以外での動画登録を防止できる。 The method of restricting moving picture registration is not limited to password input, and may be, for example, using GPS information. The restriction by the GPS information can prevent the moving image registration outside the predetermined place.
上記実施形態では1つの画像データに対し1つの動画データを紐付ける例について説明したが、複数の動画データが紐付けられるようにしてもよい。この場合、サーバ装置1の動画配信管理部16は、携帯端末4から画像データを受信すると、1つの画像データに対し、複数の動画データを保存するための記憶領域を確保し、保存場所情報を生成して管理情報を作成する。動画配信管理部16は、管理情報を参照し、保存場所情報に基づいて、1つの画像データ及び複数の動画データを特定することができる。
In the above embodiment, an example in which one moving image data is linked to one image data has been described, but a plurality of moving image data may be linked. In this case, when receiving the image data from the
ユーザから動画データが登録される際に、動画を再生可能な期間や、再生可能な場所(GPS情報)が設定できるようにしてもよい。また、1つの画像データに対し複数の動画データが登録される場合、動画毎に再生期間や再生時刻が設定できるようにしてもよい。 When moving image data is registered from the user, a period in which the moving image can be reproduced or a reproducible position (GPS information) may be set. In addition, when a plurality of moving image data are registered for one image data, the reproduction period and the reproduction time may be set for each moving image.
プリント物3が購入されずに、データだけがサーバ装置1に登録されたままとなることを防止するために、携帯端末4において動画登録再生アプリを実行することで期限管理部が実現されてもよい。例えば、サーバ装置1へ画像データを登録し、保存場所情報を受信した後、一定期間(例えば1ヶ月)以内に画像データ及び保存場所情報が画像プリント装置2へ転送されない場合、すなわちプリント物3の購入が行われていない場合、期限管理部は、携帯端末4のディスプレイ44を用いて、未購入のプリント物3があることを報知したり、サーバ装置1に登録された画像データが消去されることをアラーム表示したりする。
Even if the time limit management unit is realized by executing the moving picture registration reproduction application in the
また、期限管理部は、画像プリント装置2へ転送されていない画像データ及び保存場所情報の数が一定数に達した場合、すなわち未購入のプリント物3の数が一定数に達した場合に、携帯端末4のディスプレイ44を用いて、未購入のプリント物3が溜まっていることを報知したり、サーバ装置1に登録された画像データが消去されることをアラーム表示したりしてもよい。これにより、プリント物3が購入されずに、画像データだけがサーバ装置1に登録されたままとなることを防止し、サーバ装置1の記憶領域を効率良く使用できる。
In addition, when the number of image data and storage location information not transferred to the
サーバ装置1は、動画再生のアクセスがあった場合のデータ保存期間(例えば2年)を定め、この保存期間の終了が近付くと、アクセス実績のある携帯端末4に対し、保存期間の終了が近いことを通知してもよい。サーバ装置1は、携帯端末4から、保存期間の延長や動画データの買い取りを有料で受け付けてもよい。料金の支払いは例えばクレジットカードを使用したオンライン決済で行われる。ユーザが保存期間の延長を選択した場合、サーバ装置1は、登録データの保存期間を延長する。ユーザが動画データの買い取りを選択した場合、サーバ装置1は携帯端末4へ動画データを送信し、この動画データをデータベース17から削除する。これにより、再生されなくなった動画データがサーバ装置1に登録されたままとなることを防止し、サーバ装置1のデータベース17を効率良く使用できる。
The server device 1 defines a data storage period (for example, 2 years) when there is access to playback of a moving image, and when the end of the storage period approaches, the end of the storage period approaches the
サーバ装置1は、携帯端末4の端末情報、携帯端末4にインストールされている動画登録再生アプリのアプリID、アクセス元IPアドレス等を確認して、一定期間内に、同一の携帯端末4から登録(アップロード)される画像データのサイズや数を制限してもよい。
The server device 1 confirms the terminal information of the
携帯端末4は、サーバ装置1へ送信した画像データをコピーし、コピーした画像データを編集不能となるように保持し、画像プリント装置2へ転送することが好ましい。また、画像プリント装置2は、携帯端末4から編集不能の画像データが転送された場合、自装置の編集(スタンプやフレームの追加等)機能を用いた画像編集を行えないように制御する。サーバ装置1への送信後、画像プリント装置2でのプリント前に画像データが編集されると、プリント物3上の編集された画像と、サーバ装置1に保存されている画像とで特徴点が不一致となり得るためである。
The
上記実施形態では、サーバ装置1が携帯端末4へ動画データを保存するための保存場所情報を通知する例について説明したが、サーバ装置1が、画像データの登録に伴い、保存場所情報の一部であるキー情報を携帯端末4へ通知し、携帯端末4がキー情報を用いて保存場所情報を生成してもよい。携帯端末4は、画像プリント装置2へ画像データを転送する際に、キー情報に枝番号を付加して保存場所情報を生成する。携帯端末4は、画像プリント装置2で作成するプリント物3の枚数に応じて、枝番号を変えた複数の保存場所情報を生成し、画像プリント装置2に送信する。これにより、画像プリント装置2からは、画像31が同じで、二次元コード32(保存場所情報)が異なる複数枚のプリント物3を出力することができる。
In the above embodiment, an example in which the server device 1 notifies storage location information for storing moving image data to the
動画の登録時、サーバ装置1は、携帯端末4からアクセスされた際の保存場所情報に含まれるキー情報から画像データを特定し、この画像データに紐付けて動画データを登録する。動画配信管理部16は、携帯端末4が作成した保存場所情報、保存場所情報に含まれるキー情報に対応する画像データ、及び登録された動画データの対応関係を示す管理情報を作成する。
At the time of moving image registration, the server device 1 specifies image data from key information included in storage location information when accessed from the
携帯端末4が、生成した保存場所情報の数をサーバ装置1に通知するようにしてもよい。
The
サーバ装置1に登録した動画データを変更できるようにしてもよい。これにより、ユーザが誤った動画データを登録した場合、正しい動画データに差し替えることができる。 The moving image data registered in the server device 1 may be changed. As a result, when the user registers incorrect moving image data, the moving image data can be replaced with correct one.
上述した実施形態で説明した動画データ配信システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、動画データ配信システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。 At least a part of the moving picture data distribution system described in the above embodiment may be configured by hardware or software. When configured with software, a program for realizing at least a part of the function of the moving image data distribution system may be stored in a recording medium such as a flexible disk or a CD-ROM, and read by a computer for execution. The recording medium is not limited to a removable medium such as a magnetic disk or an optical disk, and may be a fixed recording medium such as a hard disk drive or a memory.
また、動画データ配信システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。 Further, a program for realizing at least a part of the function of the moving image data distribution system may be distributed via a communication line (including wireless communication) such as the Internet. Furthermore, the program may be encrypted, modulated, compressed, or stored in a recording medium via a wired line or a wireless line such as the Internet or may be distributed.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention. In addition, various inventions can be formed by appropriate combinations of a plurality of constituent elements disclosed in the above embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components in different embodiments may be combined as appropriate.
1 サーバ装置
2 画像プリント装置
3 プリント物
4 携帯端末
1
Claims (2)
前記サーバ装置から動画データを保存可能な保存場所情報を受信する受信部と、
前記画像データ及び前記保存場所情報を画像プリント装置へ転送する転送部と、
前記画像プリント装置により前記画像データ及び前記保存場所情報をコード化したコード画像がプリントされたプリント物の前記コード画像を、カメラを用いて読み取って、前記保存場所情報を取得する取得部と、
前記取得部が取得した保存場所情報に基づいて前記サーバ装置にアクセスし、前記記憶部に記憶されている動画データを前記サーバ装置に送信し、前記画像データに紐付けて登録する第2送信部と、
として携帯端末のコンピュータを機能させるためのプログラムであって、
前記取得部は、前記カメラを用いて、前記プリント物にプリントされたコード画像を読み取って前記保存場所情報を取得し、前記保存場所情報に基づいて前記サーバ装置にアクセスして前記画像データを取得すると共に、前記カメラを用いて前記プリント物上の画像を取得し、
前記携帯端末のコンピュータを、さらに、
前記サーバ装置から取得した画像と、前記プリント物上の画像の特徴点を比較する比較部と、
特徴点が一致した場合に、前記サーバ装置から前記画像データに対応する動画データを受信し、前記動画データを、前記カメラで撮影している前記プリント物の画像に重畳させて再生する再生部と、
として機能させるためのプログラム。 A first transmission unit that transmits and registers image data stored in the storage unit to the server apparatus;
A receiving unit that receives storage location information that can store moving image data from the server device;
A transfer unit for transferring the image data and the storage location information to an image printing apparatus;
An acquisition unit which reads the code image of the printed matter on which the image data and the code image obtained by encoding the storage location information are printed by the image printing apparatus using a camera to acquire the storage location information;
A second transmission unit that accesses the server device based on the storage location information acquired by the acquisition unit, transmits the moving image data stored in the storage unit to the server device, and associates the moving image data with the image data; When,
The portable terminal computer a program for functioning as,
The acquisition unit reads the code image printed on the printed matter using the camera to acquire the storage location information, and accesses the server apparatus based on the storage location information to acquire the image data. And using the camera to capture an image on the print,
Furthermore, the computer of the portable terminal
A comparison unit that compares the image acquired from the server device with the feature points of the image on the printed matter;
A reproduction unit that receives moving image data corresponding to the image data from the server device when the feature points match, and superimposes the moving image data on an image of the print taken by the camera and reproduces the image. ,
Program to function as.
前記保存場所情報の受信後、所定期間内に前記画像データ及び前記保存場所情報が画像プリント装置へ転送されない場合、又は画像プリント装置へ転送されていない前記画像データ及び前記保存場所情報の数が所定数に達した場合に、未購入のプリント物があることを報知する期限管理部として携帯端末のコンピュータを機能させるためのプログラム。 In claim 1 , further,
If the image data and the storage location information are not transferred to the image printing apparatus within a predetermined period after receiving the storage location information, or the number of the image data and the storage location information not transferred to the image printing apparatus is predetermined A program for causing a computer of a portable terminal to function as a time limit management unit that notifies that there is an unpurchased printed matter when the number has been reached.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015119453A JP6520438B2 (en) | 2015-06-12 | 2015-06-12 | program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015119453A JP6520438B2 (en) | 2015-06-12 | 2015-06-12 | program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005589A JP2017005589A (en) | 2017-01-05 |
JP6520438B2 true JP6520438B2 (en) | 2019-05-29 |
Family
ID=57754559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015119453A Active JP6520438B2 (en) | 2015-06-12 | 2015-06-12 | program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6520438B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7196638B2 (en) * | 2019-01-28 | 2022-12-27 | 京セラドキュメントソリューションズ株式会社 | image forming device |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1027082A (en) * | 1996-07-09 | 1998-01-27 | Nec Home Electron Ltd | Image display device |
JP2003346019A (en) * | 2002-05-22 | 2003-12-05 | Mitsubishi Electric Information Systems Corp | Article purchase support system and method, and portable information recording medium and sales database used for method thereof |
JP2005352941A (en) * | 2004-06-14 | 2005-12-22 | Masao Yasukawa | Virtual memorial service method for pet |
JP2006013918A (en) * | 2004-06-25 | 2006-01-12 | Fuji Photo Film Co Ltd | Service server |
JP2007006431A (en) * | 2005-06-27 | 2007-01-11 | Onee:Kk | Dynamic image delivery system |
US20080104011A1 (en) * | 2005-06-30 | 2008-05-01 | Takao Shibasaki | Retrieval System and Retrieval Method |
JP2007174227A (en) * | 2005-12-21 | 2007-07-05 | Hcube Co Ltd | Motion picture distribution system through two-dimensional bar code seal |
JP2007193609A (en) * | 2006-01-19 | 2007-08-02 | Fujifilm Corp | Method and apparatus for preparing print data, and print service system |
JP3902786B1 (en) * | 2006-02-14 | 2007-04-11 | 株式会社 システム・プロ | Data distribution server device, data distribution program, and method of uploading and downloading video or image |
WO2008059563A1 (en) * | 2006-11-14 | 2008-05-22 | Noboru Komine | Information providing apparatus, information providing system, and information providing method |
JP5953821B2 (en) * | 2012-03-01 | 2016-07-20 | 大日本印刷株式会社 | Image output system, image output method, image output reception terminal, and program |
JP5998093B2 (en) * | 2013-03-27 | 2016-09-28 | 株式会社野村総合研究所 | Human resource information management system |
JP2014216729A (en) * | 2013-04-24 | 2014-11-17 | 株式会社9view | Motion picture distribution system using cards |
JP2014229083A (en) * | 2013-05-22 | 2014-12-08 | キヤノン株式会社 | Image processor, image processing method and program |
JP2015087998A (en) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | Print controller, program, and printing method |
-
2015
- 2015-06-12 JP JP2015119453A patent/JP6520438B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017005589A (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5669517B2 (en) | Image data selling system, image data selling method, photographing apparatus, and server apparatus | |
JP2001344255A (en) | Method and system for retrieving and accessing digital stored image | |
WO2016121808A1 (en) | Server device, image printing device, and moving-image data delivery system | |
JP4337139B2 (en) | Service server, print service system, and print service method | |
JP6520438B2 (en) | program | |
JP6520254B2 (en) | Movie data reproduction method and program | |
US20030112346A1 (en) | Digital image processing | |
JP6592905B2 (en) | Server apparatus, moving image data distribution method, and program | |
JP6597317B2 (en) | Print production apparatus, server apparatus, and moving image data distribution system | |
JP6435950B2 (en) | Server device, image print device, and moving image data distribution system | |
JP7276032B2 (en) | shooting system | |
JP6520262B2 (en) | How to play video data | |
JP6467945B2 (en) | Server apparatus and image printing apparatus | |
JP6428404B2 (en) | Server apparatus, moving image data reproduction method, and program | |
KR100656219B1 (en) | Digital picture dealing method | |
JP7375336B2 (en) | Shooting control system, shooting control method, and program | |
JP7314603B2 (en) | Relationship setting device, photography device, character content management system, printed matter, relationship setting method, and program | |
JP2017120505A (en) | Printed matter production device, server device, and moving image data distribution system | |
JP6720567B2 (en) | Server device | |
JP2016122893A (en) | Image printing apparatus, system, and method | |
JP2020035489A (en) | Server device | |
JP2020057269A (en) | Photo-book creation system | |
JP2005234975A (en) | Photograph printing order processing system | |
JP6984325B2 (en) | Image management server, image management system and image management method | |
JP7059844B2 (en) | Image management device and image management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6520438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |