[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5085230B2 - 移動体システム - Google Patents

移動体システム Download PDF

Info

Publication number
JP5085230B2
JP5085230B2 JP2007217760A JP2007217760A JP5085230B2 JP 5085230 B2 JP5085230 B2 JP 5085230B2 JP 2007217760 A JP2007217760 A JP 2007217760A JP 2007217760 A JP2007217760 A JP 2007217760A JP 5085230 B2 JP5085230 B2 JP 5085230B2
Authority
JP
Japan
Prior art keywords
marker
information
moving body
moving
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007217760A
Other languages
English (en)
Other versions
JP2009052924A (ja
Inventor
武志 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007217760A priority Critical patent/JP5085230B2/ja
Publication of JP2009052924A publication Critical patent/JP2009052924A/ja
Application granted granted Critical
Publication of JP5085230B2 publication Critical patent/JP5085230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動領域に配置したマーカの情報に基づいて移動体が自己位置を認識して目標地点まで移動する移動体システムに関する。
従来のこの種の移動体システムとして、少なくとも3つのマーカを撮像することによって、移動体の自己位置及び姿勢(向き)を認識し、移動体を誘導するものが知られている(例えば、特許文献1参照)。
マーカの個数を減らした従来のシステムとして、1つのマーカで移動体の自己位置と姿勢を認識するシステムが知られている(例えば、特許文献2参照)。当該システムは、2種類の偏光フィルムで標点を表面に構成したマーカを移動経路中に配置し、移動体からレーザを水平回転照射してマーカをスキャンし、1つのマーカ上に少なくとも3か所設けられた標点を用いて三角測量により移動体の位置と姿勢を認識するものである。しかしながら、上述した従来のシステムでは、1つのマーカ上に3か所以上の標点が必要であるので、マーカを3つ以上必要とするのと実質的に同じである。1つのマーカに偏光方向の違う2種類の偏光フィルムを用いて標点を構成するため、マーカが高コストとなる。また、マーカは、レーザのスキャン面に配置しなければならないという配置位置の制約があるため、壁面のほぼ一定高さに配置する必要があり、例えば、マーカを天井に配置することができない。
上述の従来技術では、位置と姿勢を認識するために、実質的に3つのマーカを同時に撮像する必要がある。なお、マーカを屋内の天井に配置する場合は、床に対して天井が高さ一定で平行であることが既知であれば、同時に撮像する必要があるマーカを2つに減ずることができるが、1つに減ずることはできない。しかし、このような従来のシステムでは、例えば、撮像装置と天井との間隔を十分とることができなければ、十分な広さの撮像範囲を得ることができず、同時に2つのマーカを撮像することが難しい。広い撮像範囲を確保するために撮像装置に広角レンズを使用すると、画像に大きな歪みが発生し、撮像した画像端で十分な精度でマーカを認識することができない。また、狭い範囲に複数個のマーカを配置すると、マーカの配置数が多くなり施工コストが高くなる。
特開2002−132344号公報 特許第3340606号公報
本発明は、上記問題を解決するためになされたもので、視野(撮像範囲)内に1つのマーカを撮像するだけで移動体の自己位置と姿勢(向き)の認識が可能となり、狭い視野しか得られない環境での使用が可能となり、マーカの配置数を減らすことが可能となる移動体システムを提供することを目的とする。
上記目的を達成するために請求項1に記載の発明は、移動体の移動領域に配置されるマーカと、移動体を移動させるための移動手段と、前記移動体に搭載され前記マーカを撮像して撮像情報を取得する撮像手段と、前記マーカの位置情報を記憶した記憶部と、前記マーカの撮像情報とマーカの位置情報とに基づいて自己の位置と姿勢を認識する位置認識手段と、前記位置に基づいて目標地点まで前記移動手段を制御する制御部と、を備えた移動体システムであって、前記マーカは、形状によらずに、視認方向に応じて見える色の色相または濃淡が変化することによって方向を示す特徴情報を外観に備え、前記記憶部は、前記マーカの一部もしくは全部について前記位置情報に加え方向情報を有し、前記位置認識手段は、前記マーカの撮像情報に含まれる前記特徴情報と前記記憶部が有するマーカの方向情報とに基づいて自己の姿勢を認識するものである。
請求項2に記載の発明は、請求項1記載の移動体システムにおいて、前記マーカは、外観により一意的に特定できるものであり、前記位置認識手段は、前記マーカの撮像情報より該マーカを一意的に特定し、位置と姿勢を認識するものである。
請求項に記載の発明は、請求項1または請求項2記載の移動体システムにおいて、前記マーカは、立体的に形成され、視点により視認性が低下するものである。
請求項1に記載の発明によれば、マーカの外観に方向を示す特徴情報を持たせたので、マーカが1つしか撮像できない場合にも、移動体の自己位置と姿勢を認識することができる。従って、狭い視野しか得られない環境でも移動体システムの使用が可能となり、マーカの配置数を減らすことができ、マーカの施工コストを低減することができる。また、マーカが人の視認方向からは目立たない見え方となるように配置されることによって、マーカの配置場所に意匠性を重視する物が配置されている場合でも、当該物の意匠性を損なうことなくマーカを機能させることができる。
請求項2に記載の発明によれば、マーカを外観により一意的に特定できるので、マーカに対する移動体の相対位置だけでなく、移動体の絶対位置を認識することができ、グローバル・ローカライゼーション(大局的自己位置同定)を行うことができる。
請求項に記載の発明によれば、マーカが人の視点から目立たないようにすることができる上に、移動体の撮像手段がモノクロであっても、マーカを認識することができる。
以下、本発明の第1の実施形態に係る移動体システムについて図1乃至図5を参照して説明する。図1及び図2において、移動体システム10は、移動領域に配置されるマーカ11と移動体12からなる。移動体システム10を屋内で使用する場合、例えば、マーカ11は天井20に配置され、移動体12は床21の上を移動する。マーカ11は、方向を示す特徴情報を外観に備えている。移動体12は、カメラからなる撮像手段13と、コンピュータの記憶装置からなる記憶部14と、コンピュータの処理装置などからなる位置認識手段15と、移動体を制御する制御部16と、車輪と駆動用モータからなる移動手段17とを備えている。撮像手段13は、マーカ11を撮像して撮像情報を取得する。記憶部14は、マーカの位置情報141を記憶している。位置認識手段15は、マーカ11の撮像情報を画像処理し、マーカ11の撮像情報とマーカ11の位置情報141とに基づいて移動体の自己位置を認識し、また、撮像情報に含まれるマーカ11の方向を示す特徴情報と記憶部14に記憶されたマーカ11の方向情報142とに基づいて自己の姿勢を認識する。制御部16は、位置認識手段15が認識した自己位置と姿勢に基づいて、移動手段17を制御し、移動体12を目標地点まで移動させる。
次に、マーカ11の構成について図3(a)(b)を参照して説明する。図3(a)は、マーカ11の構成を、図3(b)は、その撮像画像131を示す。マーカ11は、例えば、円形と多角形の形状の組み合わせにより、外観に方向を示す特徴情報を備える。マーカ11の素材は、再帰性反射板が用いられる。再帰性反射板は、光源方向に強く光を反射する性質があり、マーカ11は、移動体12に搭載された投光装置からの投光を受けて明るく撮像される。位置認識手段15は、マーカ11の撮像情報と記憶部14に記憶された画像とのマッチングにより、マーカ11が回転して見えた場合の回転角を算出することで、移動体12の回転を算出して姿勢(向き)を認識する。マーカ11が、仮に単純な円形状など、位置情報だけで方向情報を備えない場合は、位置認識手段15は、マーカ11を認識してもマーカ11の回転を認識することができず、移動体12の回転を算出できない。そのため、従来の移動体システムでは、移動体がマーカを同時に少なくとも2つ撮像して、それぞれのマーカの位置座標と、その見え方、すなわち、画像上での位置座標によって移動体の回転を算出していた。
それに対して、本実施形態では、移動体12がマーカ11を一度に1つ撮像するだけで、移動体12の回転を算出することができる。なお、本実施形態では、マーカ11は、複数形状の組み合せによって外観に方向を示す特徴情報を備えたが、マーカ11の外観は、これに限定されるものではなく、等方的でない形状であれば、単体でもよい。例えば、マーカ11を不等辺三角形などとしてもよいし、文字形状としてもよい。
次に、移動体12の制御について図4を参照して説明する。制御部16が移動手段17を制御し、移動体12が移動する(S401)。移動体12は、目標地点まで移動するために、移動中の自己位置を認識する必要がある。そのため、移動手段の車輪の回転角をセンサで検出し、検出した回転角を積算して移動体の位置の変化を計測することにより自己位置を認識するデッドレコニングが用いられる。位置認識手段15は、移動体12の位置の変化をデッドレコニングによって更新する(S402)。位置認識手段15は、移動体12の位置の変化から自己位置計算を行う(S403)。デッドレコニングによる自己位置認識は、認識した位置に誤差が累積するため、移動体12は、周期的にマーカ認識による自己位置認識を実行して誤差の累積をリセットする必要がある。そのため、位置認識手段15は、例えば、前回のマーカ認識による自己位置認識後の移動体12の移動量に応じて、マーカ認識による自己位置認識を実行するかを判断し(S404)、自己位置認識を行ったときは(S405)、デッドレコニングによる移動体の自己位置情報を自己位置認識の出力と比較して修正する(S406)。自己位置認識をしないときは、ステップS404からS407に進む。その後、移動体12は、目標地点に到達したかを判断し(S407)、目標地点に到達するまで上記のステップS401乃至S406を繰り返して移動する。これにより、移動体12は、自己位置を認識して目標地点まで移動することができる。
上記の自己位置認識(S405)の処理の詳細について図5を参照して説明する。移動体12に搭載された撮像手段13は、マーカ11を撮像する(S501)。位置認識手段15は、撮像情報を画像処理してマーカを認識し(S502)、画像上でのマーカの位置及び向きを算出する(S503)。位置認識手段15は、記憶部14の地図情報を参照し、デッドレコニングによる現在の自己位置情報から撮像されるマーカを1つ特定し(S504)、特定したマーカ11の情報を記憶部14から参照する(S505)。位置認識手段15は、画像上でのマーカ11の位置及び向きと参照したマーカ11の情報を比較して移動体12の自己位置を算出し(S506)、移動体12の自己位置を出力する(S507)。なお、ステップS504及S505は、ステップS502及びS503とは並列的に実行されるフローとしたが、S502及びS503の直後に直列的に実行されるフローとしてもよい。
本実施形態の移動体システム10によれば、上記のように動作するので、移動体12は、一度に1つだけのマーカ11を撮像し、位置認識手段15によりデッドレコニングによる自己位置情報を修正して移動することができる。
次に、本発明の第2の実施形態に係る移動体システムについて説明する。第2の実施形態における移動体の構成は、図1及び図2に示した第1の実施形態と同様である。第1の実施形態においては1種類のマーカが複数用いられるが、第2の実施形態においては、それぞれのマーカを外観により一意的に特定できるように複数種類のマーカが用いられる。図6(a)乃至(c)は、外観が互いに異なる形状の各種マーカ11a、11b、及び11cを示す。従って、位置認識手段15は、画像処理のパターンマッチングにより、これらマーカの撮像情報と記憶部14に記憶しているパターン情報とを比較してマーカを一意的に特定することができる。すなわち、位置認識手段15は、撮像されたマーカをデッドレコニングによる自己位置情報から特定しなくても、マーカの撮像を画像処理してそのマーカを一意的に特定し、自己位置と姿勢を認識することができる。
本実施形態における移動体12の制御は、自己位置認識の処理の他は、第1の実施形態における制御と同様である。自己位置認識の処理フローを図7に示す。同図において、撮像したマーカを特定するステップS704のみが、図5に示した第1の実施形態のステップS504と異なる。本実施形態では、位置認識手段15は、画像処理したマーカの形状から撮像したマーカを一意的に特定する(S704)。これにより、移動体12は、一度に1つのマーカを撮像するだけで、そのマーカを一意的に特定し、マーカに対する相対位置だけでなく、移動領域における大局的な絶対位置を認識でき、グローバル・ローカライゼーション(大局的自己位置同定)ができる。
本実施形態の移動体システムにおいて、マーカのみ上記とは異なる変形例を説明する。本変形例では、複数のマーカのそれぞれを互いに異なる色とし、位置認識手段15は、画像処理により、マーカの撮像情報と記憶している色情報とを比較してマーカを一意的に特定する。自己位置認識の処理フローを図8に示す。同図において撮像したマーカを特定するステップS804のみが上述の図7で示したステップS704と異なる。位置認識手段15は、画像処理したマーカの色から撮像したマーカを一意的に特定する(S804)。これによって、移動体12は、一度に1つのマーカを撮像するだけで、マーカに対する相対位置だけでなく、移動領域における大局的な絶対位置を認識することができる。なお、マーカを形状と色との組み合わせによって一意的に特定できる外観としてもよい。
次に、本発明の第3の実施形態に係る移動体システムについて説明する。上述した本発明の第1の実施形態においては、マーカは形状によって方向を示す特徴情報を外観に備えたが、第3の実施形態においては、マーカは、図示していないが、形状によらず、視認方向に応じて見え方が変化することによって方向を示す特徴情報を外観に備えるものとした。例えば、マーカは、表面にフォログラフィ加工がされ、視認方向によって見える色が異なるものとする。移動体12の位置認識手段15がマーカの撮像情報をカラー解析し、マーカを撮像した方向を認識し、記憶部14に記憶されたマーカの方向情報142と比較することで移動体12の方向を算出する。
このように、視認方向に応じてマーカの色が変化するので、移動体は、撮像したマーカの色からマーカを撮像した方向を認識することができ、移動体の姿勢を認識することができる。また、マーカの配置場所に意匠性を重視する物が配置されている場合でも、人が当該物を見る方向からはマーカが目立たない色となるよう配置することによって、意匠性を損なうことなくマーカを機能させることができる。なお、視認方向による見える色の違いは、色相の違いに限定されるものではなく、色の濃淡の違いでもよい。例えば、マーカの表面をフォログラフィ加工し、マーカを撮像する方向によってモノクロの撮像情報が白から黒まで段階的に変わるように構成してもよく、撮像手段をカラーカメラより低コストなモノクロカメラとすることができる。
次に、本発明の第4の実施形態に係る移動体システムについて説明する。本実施形態では、マーカは立体的に形成され、視点により視認性が低下するものとする。例えば、図9に示すように、マーカ18は、横向きの三角柱の形状に立体的に形成され、その三角柱の第1の側面が天井20に配設され、第2の側面が天井と同じ色の同色面18aに、第3の側面が天井と異なる色の異色面18bに構成されている。このように構成されたマーカ18は、異色面方向Bから同色面方向Aへの視点の違いに応じて視認性が低下し、異色面18bが隠れる方向Aから視認されるのマーカ18は、天井との区別ができない。これによって、マーカ18を人の視点から目立たないように配置することができる。一方、移動体12は、下方からマーカ18を撮像するので、マーカの異色面18bを撮像し、マーカ18を認識することができる。また、このマーカ18は、視点による色の変化を用いず、立体的な形成によって視認性を低下させるので、移動体の撮像手段がモノクロであってもマーカ18を認識できる。なお、マーカ18の立体的な形状は、三角柱に限られず、例えば、台形柱であってもよい。
本実施形態の応用例を図10を参照して説明する。例えば、立体的に形成されたマーカ18が映画館の天井20に配設される。観客は、映画スクリーン24に向かって床23に設置された椅子に座る。マーカ18は、天井と同じ色の同色面18aが観客に対向する側に向く。これにより、観客の視点からはマーカ18は視認性が低く、マーカ18の存在が目立たない。一方、移動体12は、映画スクリーン24直前の下方の床に配置され、マーカ18の天井と異なる色の異色面18bを撮像してマーカ18を認識することができる。
なお、本発明は、上記各実施形態の構成に限られず、発明の要旨を変更しない範囲で種々の変形が可能である。例えば、移動体12の移動手段17は、車輪に限られず、無限軌道であってもよい。また、移動体システム10における移動体12の移動は自律移動に限られず、位置認識手段15と記憶部14を固定局に設けて移動体12との間で無線情報伝送を行って移動体12を遠隔制御してもよい。
本発明の第1の実施形態に係る移動体システムの構成図。 同システムの機能構成図。 (a)は同システムのマーカの正面図、(b)は同マーカを撮像した画像を示す図。 同システムにおける移動体の制御フロー図。 同制御フローにおける自己位置認識のフロー図。 (a)、(b)、(c)はそれぞれ本発明の第2の実施形態に係る移動体システムにおけるマーカの正面図。 同システムにおける自己位置認識のフロー図。 同システムの変形例における自己位置認識のフロー図。 本発明の第4の実施形態に係る移動体システムのマーカの側面図。 同システムの応用例の説明図。
符号の説明
10 移動体システム
11 マーカ
12 移動体
13 撮像手段
14 記憶部
141 マーカの位置情報
142 マーカの方向情報
15 位置認識手段
16 制御部

Claims (3)

  1. 移動体の移動領域に配置されるマーカと、
    移動体を移動させるための移動手段と、
    前記移動体に搭載され前記マーカを撮像して撮像情報を取得する撮像手段と、
    前記マーカの位置情報を記憶した記憶部と、
    前記マーカの撮像情報とマーカの位置情報とに基づいて自己の位置と姿勢を認識する位置認識手段と、
    前記位置に基づいて目標地点まで前記移動手段を制御する制御部と、を備えた移動体システムであって、
    前記マーカは、形状によらずに、視認方向に応じて見える色の色相または濃淡が変化することによって方向を示す特徴情報を外観に備え、
    前記記憶部は、前記マーカの一部もしくは全部について前記位置情報に加え方向情報を有し、
    前記位置認識手段は、前記マーカの撮像情報に含まれる前記特徴情報と前記記憶部が有するマーカの方向情報とに基づいて自己の姿勢を認識することを特徴とする移動体システム。
  2. 前記マーカは、外観により一意的に特定できるものであり、
    前記位置認識手段は、前記マーカの撮像情報より該マーカを一意的に特定し、位置と姿勢を認識することを特徴とする請求項1に記載の移動体システム。
  3. 前記マーカは、立体的に形成され、視点により視認性が低下するものであることを特徴とする請求項1または請求項2に記載の移動体システム。
JP2007217760A 2007-08-24 2007-08-24 移動体システム Expired - Fee Related JP5085230B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007217760A JP5085230B2 (ja) 2007-08-24 2007-08-24 移動体システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007217760A JP5085230B2 (ja) 2007-08-24 2007-08-24 移動体システム

Publications (2)

Publication Number Publication Date
JP2009052924A JP2009052924A (ja) 2009-03-12
JP5085230B2 true JP5085230B2 (ja) 2012-11-28

Family

ID=40504145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007217760A Expired - Fee Related JP5085230B2 (ja) 2007-08-24 2007-08-24 移動体システム

Country Status (1)

Country Link
JP (1) JP5085230B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586967B2 (ja) * 2010-01-20 2014-09-10 株式会社日立製作所 ロボットおよびロボットシステム
JP5218479B2 (ja) 2010-06-10 2013-06-26 株式会社安川電機 移動体システム
JP5879353B2 (ja) * 2010-10-07 2016-03-08 株式会社ソニー・コンピュータエンタテインメント 頭の位置及び向きのトラッキング
JP6925603B2 (ja) * 2016-10-12 2021-08-25 本郷飛行機株式会社 移動体の姿勢制御システム
US10570582B2 (en) 2016-11-23 2020-02-25 Caterpillar Inc. System and method for operating a material-handling machine
JP2018185167A (ja) 2017-04-24 2018-11-22 三菱電機株式会社 飛行制御装置および形状測定装置
JP2019086812A (ja) * 2017-11-01 2019-06-06 株式会社日立産機システム 移動体システム
JP2022523312A (ja) * 2019-01-28 2022-04-22 キューフィールテック (ベイジン) カンパニー,リミティド Vslam方法、コントローラ及び移動可能機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056891B2 (ja) * 2002-01-18 2008-03-05 日本電信電話株式会社 3次元位置・姿勢検出装置、方法、プログラムおよび記録媒体
KR100483548B1 (ko) * 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
JP4972281B2 (ja) * 2004-12-22 2012-07-11 株式会社ミツトヨ 非接触画像測定機の測定方法

Also Published As

Publication number Publication date
JP2009052924A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
JP5085230B2 (ja) 移動体システム
US9915521B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US9911226B2 (en) Method for cleaning or processing a room by means of an autonomously mobile device
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
EP2962284B1 (en) Optical navigation & positioning system
US8842181B2 (en) Camera calibration apparatus
US8705846B2 (en) Position measuring apparatus, position measuring method, image processing apparatus and image processing method
JP4264380B2 (ja) 自己位置同定方法及び該装置
US9776320B2 (en) Measurement and installation data indicating apparatus and measurement and installation data indicating method
EP3170367B1 (en) Stadium lighting aiming system and method
JP6211157B1 (ja) キャリブレーション装置およびキャリブレーション方法
US20110157179A1 (en) Method and system for providing augmented reality based on marker tracking, and computer program product thereof
KR101619838B1 (ko) 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
EP3113145B1 (en) Local location computation device and local location computation method
CN108007456A (zh) 一种室内导航方法、装置及系统
KR20170120010A (ko) 영상 취득 장치 및 그 방법
CN101802738A (zh) 用来检测环境的系统
KR20140056790A (ko) 영상 인식 장치 및 그 방법
US20160366342A1 (en) Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
KR102174729B1 (ko) 랜드마크를 활용한 주행차로 인식 방법 및 시스템
JP2017527812A (ja) 3次元座標の光学測定のための方法および3次元測定デバイスの較正
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP2017528714A (ja) 3次元座標の光学測定のための方法および3次元測定デバイスの制御
JP2012198857A (ja) 接近物体検知装置及び接近物体検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120828

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees