[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4903173B2 - 衝突回避機能を有するロボット - Google Patents

衝突回避機能を有するロボット Download PDF

Info

Publication number
JP4903173B2
JP4903173B2 JP2008072478A JP2008072478A JP4903173B2 JP 4903173 B2 JP4903173 B2 JP 4903173B2 JP 2008072478 A JP2008072478 A JP 2008072478A JP 2008072478 A JP2008072478 A JP 2008072478A JP 4903173 B2 JP4903173 B2 JP 4903173B2
Authority
JP
Japan
Prior art keywords
motion
robot
collision avoidance
control
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008072478A
Other languages
English (en)
Other versions
JP2008238395A (ja
Inventor
ヒサシ・スギウラ
ヘルベルト・ヤンセン
ミヒャエル・ギーンゲル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2008238395A publication Critical patent/JP2008238395A/ja
Application granted granted Critical
Publication of JP4903173B2 publication Critical patent/JP4903173B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39082Collision, real time collision avoidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39088Inhibit movement in one axis if collision danger
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39096Self-collision, internal collison, collision between links of one robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40477Plan path independent from obstacles, then correction for obstacles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40492Model manipulator by spheres for collision avoidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

本発明は、一般的にロボット分野に関するものであって、特に、自律的に動作するロボットであって、自己衝突(auto collision)、すなわち、ロボットの第1の可動セグメント部分と該ロボット自身の第2のセグメントとの間の衝突だけではなく、第3者との衝突を回避するための安全メカニズムを必要とするロボットに関する。
例えば、ロボットのようなエフェクタの軌道が制御される場合、目標状態が定義されなければならない。目標状態は、例えば、ロボットの操作アームによって操縦される対象物によって定義される。一般的に、対象物の位置は、3つのパラメータで描写することができる。対象物の位置以外にも、しばしばカルダン角(Kardan angle)またはオイラー角(Euler angle)で表現される空間的定位を描写することが必要である。
ロボットのエフェクタを動作させるために、軌道は、一般に、制御パラメータスペースの増加分を構成スペース(configuration space)の上にマッピングすることにより生成される。
制御パラメータスペースまたはタスク・スペースは、命令成分のスペースである。制御パラメータスペースは、命令成分で構成される。命令(また、「目標」または「タスク」)成分は、個別の命令ベクトルの成分である。これらの成分は、制御されなければならないもの、例えば、手の位置またはヘッド部の傾斜の有用な描写を定義する。構成スペースは、制御可能な自由度を有する空間である。構成スペースは、制御可能な自由度が割り当てられ得る、ロボットの個別ジョイント及び/またはより複雑な運動学的メカニズムからなることができる。
「ゼロスペース(null space)」は、ジョイントスペースとタスク・スペースとの間の次元の差異を表わす。ゼロスペースは、冗長自由度を含み、ここで動作は、タスク・スペース・モーションに影響を及ぼすことなく、遂行することが可能である。
ゼロスペースに関する定義は、インターネットで探すことができる(http://www−robotics.cs.umass.edu/Research/Glossary/null_space.htmlを参照)。
ゼロスペースは、対応の関数値が0となるようにする線形演算子の独立変数のセットである。冗長自由度システムは、主要なタスクを妨害することなく、運動学的条件のような副次的な目的を処理するために用いることのできる、(局所的な)ゼロスペースを有する。
特に、本発明は、特定の安全メカニズム、つまり、ロボットの衝突回避を目標とする。従来、ロボットの目標は操作者によって与えられ、ロボットは単に、計画された軌道を追従するだけであった。安全メカニズムは、たとえあったとしても、モーションを単純に停止させるような非常停止機構である。しかしながら、最近のロボット、とりわけ、人間型ロボットには、工場のような広い環境での屋外作業が期待されている。ロボットは、動的環境と相互作用しなければならず、ロボットのモーションは、予測することができない。したがって、より一層改善された安全メカニズムが必要となり、このメカニズムが、非常停止機構の代わりに、衝突回避機構と呼ばれる。衝突回避の長所は、ただ安全なだけではない。その上、ロボットの目標到達モーションを停止させる必要がなく、ロボットの作業範囲を拡張させる。
衝突回避における公知の試みは、2つの分野に分類することができる。一方の分野は、障害物を考慮した上で軌道を生成する計画(非リアルタイム)方法である。
James Kuffnerらは、非特許文献1において、人間型ロボットの衝突回避を提案した。この文献は、足の妨害を考慮した歩き方の生成のために、速い衝突検出方法及びリアルタイム計画を提案している。
James Kuffnerらは、非特許文献2において、ランダム探索木(RRTs:Rapidly exploring Random Trees)を用いた、動力学に基づく無衝突計画方法を提案した。しかしながら、これらの方法は、人間型ロボットの場合のように、ロボットの自由度が増加するにつれて算出の時間が増加するため、相互作用モーションに適用するには困難である。
その他方の方法は、反応性(リアルタイム)衝突回避である。これは、現在の位置と目標位置とを連結する線セグメントのように、非常に単純な軌道を修正する。
この方法は、リアルタイムで、衝突程度の大きさに応じて、回避方向、及び目標到達モーションと衝突回避モーションとの間の優先度を切り替える方法を決定しなければならない。例えば、セグメントの間の距離が充分に大きい場合は、目標到達モーションが、衝突回避モーションよりも高い優先度を有さなければならない。
衝突回避が、ゼロスペースの最適化基準を用いることができることは、公知となっている[例えば、非特許文献3さらに非特許文献4を参照]。
James Kuffner et al. "Self-collision detection and prevention for humanoid robots", In proceedings of the IEEE International Conference on Robotics and Automation, 2002 James Kuffner et al. "Dynamically-stable motion planning for humanoid robots", Autonomous Robots, volume 12, pages 105-118, 2002 Michael Gienger, Herbert Janssen, and Christian Goerick; "Task-oriented whole body motion for humanoid robots", In proceedings of the IEEERAS International Conference on Humanoid Robots, 2005 Michael Gienger, Herbert Janssen, and Christian Goerick; "Exploiting task intervals for whole body robot control", In proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2006
本発明の目的は、ロボットのより効果的な衝突回避技法、すなわち、ロボットによるタスク遂行への干渉ができるだけ少ない衝突回避を提案することにある。
一般的に、この目的は、独立請求項の特徴によって達成される。従属請求項は、本発明の主なアイディアをさらに発展させる。
本発明の第1の態様によると、ロボットを制御する方法が提案される。この方法は、
ロボットのモーションに対する目標を規定するステップと、
ロボットが前記目標に到逹するために適切なモーション制御信号を算出するステップと、
少なくとも一つのジョイントを介して互いに連結されたロボットの異なるセグメント、またはロボットのセグメントと他の対象物の最も近いポイントに基づいて衝突回避制御信号を算出するステップと、
重み付けモーション制御信号と重み付け衝突回避制御信号とを結合させるステップと、
結合された重み付け信号によってロボットのモーションを制御するステップと、を備え、
算出された衝突危険がより低くなるほど、モーション制御出力信号の重み付け値が高くなり、算出された衝突危険がより高くなるほど、衝突回避制御出力信号の重み付け値が高くなる。
重み付け値が次第に変更されるにつれ、モーションによる目標到達と衝突回避との間でのなめらかなタスクの切り替えを行うことができる。
モーション制御算出は、衝突回避モーションをゼロスペース内に、そして、目標到達モーションをタスク・スペース内にマッピングするステップを備えていてもよい。このように、衝突回避制御出力信号が0の重み付け値を有して非活性化されても、モーション制御算出は、ゼロスペースにおける衝突回避を考慮する。
衝突回避制御は、衝突回避モーションをタスク・スペース内に、そして、目標到達モーションをゼロスペース内にマッピングする。したがって、モーション制御信号が0の重み付け値を有して非活性化されても、衝突回避制御は、ゼロスペースにおける目標到達に貢献することができ、つまり、この場合、利用可能な冗長自由度が存在する。これは、ロボットの目標到達性能を増進させる。
最も近いポイントの間の距離が、所定の回避閾値距離よりも大きい限り、衝突回避出力信号の重み付け値は、0となる。
本発明の他の態様は、ロボットの制御方法に関し、ロボットのモーション制御は、少なくとも一つのジョイントを介して互いに連結されたロボットの異なるセグメント、またはロボットのセグメントと他の対象物の最も近い2つのポイントを算出し、単に最も近いポイントの間の連結線に沿った次元においてのみ、ロボットの衝突回避動作を制御するために設計された衝突回避モジュールを備えている。衝突回避モーションが単一自由度に制限されるということは、たとえ衝突回避制御が、目標到達タスクではなく、衝突回避タスクに最も高い優先度を割り当てるとしても、衝突回避制御のゼロスペース・モーションが目標到達モーションを考慮に入れるということを増加させる。
本発明の他の態様は、たとえば、ロボットに組み込まれて、演算装置で実行されるとき、上記の方法のうちのいずれか1つを実施する、コンピュータ・プログラムに関する。
本発明のさらに他の態様は、モーション制御ユニットを有するロボットに関し、ここにおけるロボットのモーション制御ユニットは、
少なくとも一つのジョイントを介して互いに連結されたロボットの異なるセグメント、またはロボットのセグメントと他の対象物の最も近い2つのポイントを算出して、出力する距離算出モジュールと、
モーション制御モジュールと、
前記距離算出モジュールからの出力信号が供給される衝突回避モジュールと、
モーション制御モジュールと衝突回避制御モジュールの重み付け出力制御信号を結合する混合制御ユニットと、を備え、
算出された衝突危険がより低くなるほど、モーション制御出力信号の重み付け値が高くなり、算出された衝突危険がより高くなるほど、衝突回避制御出力信号の重み付け値が高くなる。
最後に、本発明は、モーション制御ユニットを有するロボットを提案するが、ここにおけるロボットのモーション制御は、少なくとも一つのジョイントを介して互いに連結されたロボットの異なるセグメント、またはロボットのセグメントと他の対象物の最も近い2つのポイントを算出し、単に最も近いポイントの間の連結線に沿った次元においてのみ、衝突回避作用を制御するように設計されている衝突回避モジュールを備えている。
本発明は、たとえば、二足歩行ロボットのような人間型ロボットにおいて実施することができる。起立している間だけではなく、歩いている間にも試験を行った。ロボットが歩いている間にも、アームは、例えば、他方のアームまたは足セグメントなどのような移動セグメントを回避することができる。
本発明のさらなる特徴、利点及び目的は、添付の図面と共に、本発明の好ましい実施形態に関する以下の詳細な説明を通じて、当業者により明らかになるはずである。
距離算出
衝突回避のために、ジョイントにより分離された物理的なリンクであるセグメント同士の間の距離および最も近いポイントを算出することが必要である。算出時間に対して、人間型ロボットのすべての可能なセグメントの対に対する実際の距離及び最も近いポイントを算出することは、本発明が、ロボットに組み込まれているコンピュータで算出しようとするとき、より複雑である。
このように、本発明は、図1に示されているように、プリミティブ対象物(primitive object)を有する衝突モデルを規定することを提案する。各セグメント(ヘッド部、右側肩など)は、ロボットの形状をカバーするために1つまたはそれ以上の球または球を切る線(SSL:swept−sphere−lines)から構成される。そして、このモデルに基づいて、距離及び最も近いポイントが算出される。
衝突回避
衝突回避の役割は、お互い近くにあるセグメントを、遠ざかるように移動させることである。この移動のための最も有効な方向の1つは、セグメントの最も近いポイントを連結するベクトルに沿って揃えたものである。本発明は、衝突回避制御において、タスク・スペース・モーションのための衝突回避座標システムを規定する。衝突回避座標システムの例が、図2に示されているように規定される。原点は、下方のアームにある最も近いポイントである。yは、最も近いポイントを連結する線に沿って揃えるため、回避方向は、この軸に沿って揃えられる。xは、ヒジから手首の位置に向かうベクトルに沿って揃えられる。z方向は、x軸とy軸の単位ベクトルの外積である。衝突回避は、この座標システムにおいて、セグメントをただy方向にのみ移動させる。
言い換えれば、本発明によると、衝突回避のために、例えば3の自由度の代りにただ1の自由度が用いられる。他の自由度は、ゼロスペースのために、例えば、目標到達モーションのために利用可能である。
図3は、本発明を行うための主な演算ブロックを示している。目標(外部から、あるいはロボット自体によって規定される)は、例えば、全身モーション(WBM:whole body motion)制御ユニット及び衝突回避(CA:collision avoidance)ユニットのようなモーション制御ユニットに供給される。全身モーションは、単なるロボットのモーションに対する一例としてだけ理解されるべきである。
WBMユニットは、第1のジョイント速度ベクトル信号を混合ユニットに出力し、混合ユニットは、この信号をCA制御ユニットからの第2のジョイント速度ベクトル信号と結合する。混合制御ユニットは、結合されたジョイント速度ベクトルを出力し、これに基づいてロボットのモーションが制御される。
さらに、結合されたジョイント速度ベクトルは、少なくとも1つのジョイントを介して互いに連結されたロボットの異なるセグメント、またはロボットのセグメントと他の対象物の最も近い2つのポイントを算出する距離算出ユニットに供給される。距離算出ユニットは、最も近いポイントのデータと距離情報とを、CA制御ユニットに出力する。また、距離算出ユニットは、距離情報をモーション制御ユニットと混合ユニットとに出力する。混合ユニットは、供給された距離情報に基づいて、第1のジョイント速度ベクトルと第の2ジョイント速度ベクトルとの間の混合割合を算出する。
A.ゼロスペース基準を用いた衝突回避制御
一般的に、ロボットのエフェクタの直交座標位置及び方位xは、マニピュレータのジョイント変数qのベクトルの関数として表わすことができる。
x=f(q)
この式は容易に求められが、その逆の問題は難しい。冗長自由度の場合において、一般に、逆マッピングf−1を見つけることは不可能である。解析的に逆関数g(x)を
f(g(x))=x
で構成する代わりに、上記問題は、しばしばf(q)の偏微分導関数を用いて、速度で再公式化される。
Figure 0004903173
冗長自由度の場合、非正方(解析的)ヤコビアンJ(q)の逆は存在しないため、疑似逆(pseudo inverse)を用いる。
衝突回避のために、タスク・スペースが用いられ、ポテンシャル関数(費用関数)を用いる目標への移動のために、ゼロスペースが用いられる。この制御方法において、それぞれのジョイントの速度は、以下のように算出される。
Figure 0004903173
CA(q)は、最も近いポイントの間の衝突防止ヤコビアンである。
caは、ξをゼロスペース内にマッピングする行列である。
Figure 0004903173
は、疑似逆ヤコビアンJca(q)から抽出される行ベクトルであって、図2に示した衝突回避座標システムのy軸にある。
Figure 0004903173
は、仮想の力Fvirtualから誘導される回避速度である。
説明する例において、最も近いセグメントを回避するために、衝突回避は、ただ1つの自由度(ここでは、y方向)の制御を占有する(take over)。Zje衝突回避は、他のDoFsに影響を及ぼすことなく、これは、タスクの遂行(例えば、x及びy方向に係わる目標到達モーション)のために依然として利用可能である。このことは、衝突回避が、それぞれのアームのために1つの自由度を個別に用いることを意味する。
次の式(2)において、Dは、0ではなく、所定の減衰係数である。
Figure 0004903173
最も近いポイントの間の距離dが衝突回避を活性化/非活性化するための閾値距離dよりも短い場合は、仮想の力の値は0より大きく、したがって、回避速度も0より大きい。仮想の力と回避速度は、dとdの間の差に応じて(例えば、線形的に)徐々に増加する。したがって、衝突回避は、最も近いポイントの距離dが所定の閾値dよりも小さくなるとすぐに活性化される。(図2の例において、ロボットの最も近いポイントの間の距離dは、人間型ロボットの右側アームとボディーの前方部との間の距離で表されている。)
caは、ξをゼロスペースにマッピングする行列であって、Iは、恒等行列である。
Figure 0004903173
ポテンシャル関数Ht(r)により、ゼロスペースのための目標が得られる。α(t)を、歩幅となるようにする。
Figure 0004903173
このように、衝突回避は、タスク・スペースにおける衝突回避及びゼロスペースにおける目標到達のために、ジョイントを制御する。
B.全身モーション制御
一方、全身モーション制御は、また次のようなゼロスペース最適化基準を用いた冗長自由度を有するロボットを制御するために用いられる。
Figure 0004903173
行列Nwbmは、任意のジョイント速度ベクトルξwbmをゼロスペース内にマッピングする。ゼロスペースに対して、2つの費用関数を用いることができる。αjc及びαcaを歩幅となるようにする。
Figure 0004903173
第1の費用関数は、任意のジョイント中心ベクト
Figure 0004903173
からの偏差にペナルティを課す。この費用関数は、中立位置に近い任意のジョイントを制御しようとするものである。これと関連して、ジョイント制限回避費用関数が用いられる。
Figure 0004903173
jcは、重み付け行列である。最も容易な場合において、ジョイント中心
Figure 0004903173
を適切に選択する。この費用関数によると、ジョイント限界に近づけないようにすることができる。
第2の費用関数は、衝突回避を実行する。
Figure 0004903173
caは、衝突回避のための重み付け行列である。したがって、全身モーションは、ゼロスペースにおける目標到達及びゼロスペースにおける衝突回避ならびにジョイント制限回避のために、ジョイントを制御する。
C.全身モーション制御と衝突回避の統合
全身モーション制御及び衝突回避制御の出力は、最も近い距離に従ってジョイント速度で混合される。最終のジョイント速度ベクトル
Figure 0004903173
は、以下のとおりである。
Figure 0004903173
Figure 0004903173
は、例えば、全身モーション制御のような、ロボット・コントローラによって算出されたジョイント速度ベクトルである。
Figure 0004903173
は、衝突回避コントローラによって算出されたジョイント速度ベクトルである。
f(d)は、0ないし1の値を有することができ、衝突の危険の程度を、例えば、セグメントの間の最も短い距離の関数で表す、利得係数である。f(d)が1になると、衝突回避が制御を完全に引き取る。f(d)が0になると、ロボット・コントローラが制御を完全に引き取る。f(d)は、以下のように定義される。
Figure 0004903173
は、全身モーション制御がスイッチ・オフされた場合の所定の一定した閾値距離であって、d>dである。
dがdよりも大きい場合は、衝突回避制御は非活性化され、ロボットは、全身モーション制御によって生成された軌道に追従する。しかし、全身モーションによって算出された軌道は、ゼロスペースにおける衝突回避を考慮する。dがdよりも小さい場合は、衝突回避は活性化される。これらの間の割合は、最も近いセグメントである最も短い距離に依存しており、これらの間の優先度を決定する。
衝突回避制御及びロボット制御の両方とも、ゼロスペース最適化基準を用いる。この基準は、タスク・スペースとゼロスペースとからなる。タスク・スペースは、常にゼロスペースよりも高い優先度を有する。ロボット制御は、目標到達モーションをタスク・スペース内に、そして、衝突回避モーションをゼロスペース内にマッピングする。一方、衝突回避制御は、衝突回避モーションをタスク・スペース内に、そして、目標到達モーションをゼロスペース内にマッピングする。
Figure 0004903173
上記式(14)で表わしたように、ロボット制御貢献及び衝突回避制御貢献が、f(d)によって混合される。f(d)が増加すると、衝突回避モーションが、ロボットモーションに対してより一層重要となる。しかしながら、目標到達モーションが、衝突回避制御におけるゼロスペースにコンパイル(compile)されて、f(d)が「1」でなければ、ロボットの制御は、目標への移動のために貢献する。これにより、スムーズなタスク優先度の切り替えが可能となる。
実験の例
ここで、いくつかの実験の例を記述する。衝突回避のための足の動作は不可能であり、そうでなければ、ロボットは、衝突を回避するためにアームを動かさずに、ただ足さえ動けばよいことになるだろう。
1)目標が足動作を伴うボディー内にある。
与えられた目標がボディー内にある。最も短い距離がdよりも短い場合、ロボットは、衝突回避によって下方のアームとボディーとの間に加えられる仮想の力のせいで後退する。一方、ロボットは、モーション制御(8)によって目標に向かって移動するが、衝突回避がアーム・ジョイントを用い、目標がボディー内にあるため、すべてのアーム・ジョイントを用いることができるわけではない。したがって、全身モーションは、使用可能な足の位置を用いることにより、モーションの補正を行う。つまり、ロボットは、仮想の力によって後方に押される。次の実験は、回避のためのアーム・モーションを明確にするため、衝突回避のために足の動作は使用しない。
2)目標が足動作を伴わないボディー内にある。
右アームの目標がボディー内にある。衝突回避が非活性化される場合、下方のアームは、ボディーと衝突する。
衝突回避の結果として、アーム・モーションは、ボディーの側面で止まる。ロボットは、目標に最も近いポイントに向かって移動するようにボディーを移動させ、たとえ目標がボディーの内部にあっても、目標に到逹しようと努力する。これが、全身モーション制御による補償である。
3)アームの目標がそれぞれ内部にある。
右アームの目標が左アームの内部にある。左アームも同様の方式である。
4)ボディーが軌道に侵入する。
現在の位置と目標位置との間の軌道上にボディーが存在する。これが、ロボットが衝突回避を介さずには目標に到逹することができない、典型的な場合である。衝突回避は、腕肢(arm limbs)がボディーまたは足を妨害する際に、仮想の力によって外方へ押す。最も短い距離が回避閾値距離dよりも短い場合、仮想の力が生成される。
5)歩行中における衝突回避
歩き始めたとき、目標は、ロボットの後ろにある。足の位置は動くものの、貢献することはなく、衝突回避は、足動作を使用しないことに注目されたい。
ロボットは、目標が与えられた場合、目標に到逹するために上方を眺める。しかし、ロボットが歩き始める直前には、歩行中の姿勢がほとんど固定されているため、ロボットは傾斜しない。それから、ロボットは停止し、また上方を眺める。
6)視覚(vision)で与えられた目標のトラッキング
最終的に、視覚で与えられた目標のトラッキングのための衝突回避の試験を行った。ロボットは、交差している2つの目標に従う。目標は交差されて、これは、右アームと左アームとが交差することを意味する。
7)適用
距離算出に用いられる衝突モデルは、空間内のどこでも規定することができ、衝突回避は、これを簡単に回避する。
また、空間内における「仮想対象物」を規定することも可能である。これは、ロボット・セグメントの侵入が許容されない領域が規定されてもよいことを意味する。これは、「閉鎖(occlusion)回避」のために用いることができる。ロボットが何かを掴むときの主な問題の1つは、ロボットの手が目標対象物を遮蔽する閉鎖である。本発明によると、仮想の障害物をロボットのヘッド部と目標との間に設計することができ、そのため、ロボットの手は目標に向かって注視線(gaze line)を通過しない。ロボットが対象物に到逹する直前に、仮想対象物が非活性化される。
要約
本発明は、多関節ロボットのハードウェアとその環境を保護する安全メカニズムのための技術に関する。特に、本発明は、動的環境と相互作用するロボットに用いることができる。リアルタイムで予測することは、困難である。以下は、この技術を適用することができるロボットに関するいくつかの例である。
カメラによって与えられた移動目標のトラッキング
ロボットは、予測することのできない移動目標に従わなければならず、同時に自己衝突を回避しなければならない。
両手操作
ロボットは、タスクによって、両方のアームを同時に動かす。それぞれのアームは、個別に目標を有し、時々互いに交差する。
移動する障害物の回避
ロボットは、人間などを回避しなければならない。
衝突回避は、ただ1つの自由度を用いる。一方、目標到達モーションは、
1.衝突回避制御でのゼロスペース
2.ロボット制御でのタスク・スペース
により助長される。
衝突回避モーションが単一自由度に制限されるということは、たとえ衝突回避制御が目標到達タスクではなく、衝突回避タスクに最も高い優先度を割り当てるとしても、衝突回避制御のゼロスペース・モーションが目標到達モーションを考慮に入れるということを増加させる。したがって、目標に向かった動作が、従来技術の方式に比べてより効率的である。
用語解説
エフェクタ(Effector)
産業用ロボットにおいて、エフェクタは、通常、マニピュレータである。人間型ロボットにおいて、エフェクタは、しばしば手の基準ポイント(例えば、指先など)として規定される。また、エフェクタは、特定のポイントまたは特定の方向を眺めるように制御されたヘッド部であってもよい。
タスク座標(Task coordinates)
エフェクタの運動が描写される座標。エフェクタのモーションを描写する多くの方式が存在する。エフェクタの位置の場合、一般的に、位置ベクトルのx成分、y成分、及びz成分が選択される。空間的定位の場合、タスクは、しばしばオイラー角または四元数で描写される。多くの場合、タスクに対する特別な描写が用いられる。
タスク・スペース(Task space)
タスク座標によって表される空間。例えば、x方向、y方向、及びz方向におけるロボットの手の位置が制御される場合、タスク・スペースは3次元を有し、これらの座標によって計測される。
ゼロスペース(Null space)
モーションが、タスク・スペース・モーションに影響を与えない空間。例えば、ロボットが自由度7を有し、タスクベクトルが3次元である手の位置の場合、ゼロスペースは、4次元を有する。システムは、タスクに対して冗長自由度を有する。タスク・モーションに干渉しないアームのすべてのモーションが、ゼロスペース・モーションと呼ばれる。
軌道(Trajectory)
システムのモーションを表わす連続的な経路。軌道は、個別ジョイントの経路、またはタスク座標上において表示された経路を示すことができる。
17個のセグメントを有する人間型ロボットを示す図であって、各セグメントは、1つ以上の球を切る線(sphere−swept−lines)または球から構成されている。 衝突回避座標システムを示す図であって、その座標システムの原点は下方のアームにある最も近いポイントである。yは、最も近いポイントを連結する線に沿って整列される。xは、ヒジから手首の位置に向かうベクトルに沿って整列される。z方向は、x軸とy軸の外積である。 本発明によるロボットの他の制御モジュールを示す図である。 最も近い距離の関数である仮想の力(上側グラフ)を示している。

Claims (9)

  1. ロボットの制御方法であって、
    前記ロボットのモーションに対する目標を規定するステップと、
    前記ロボットが前記目標に到逹するために適切なモーション制御信号を算出するステップと、
    少なくとも一つのジョイントを介して互いに連結された前記ロボットの異なるセグメント、または前記ロボットのセグメントと他の対象物の最も近いポイントに基づいて衝突回避制御信号を算出するステップと、
    重み付けモーション制御信号と重み付け衝突回避制御信号とを結合させるステップと、
    前記結合された重み付け信号によって前記ロボットのモーションを制御するステップと、
    を備え、
    算出された衝突危険がより低くなるほど、モーション制御出力信号の重み付け値が高くなり、算出された衝突危険がより高くなるほど、衝突回避制御出力信号の重み付け値が高くな
    かつ、モーション制御信号の算出においては、衝突回避モーションをゼロスペース内に、目標到達モーションをタスク・スペース内にマップし、衝突回避制御においては、衝突回避モーションをタスク・スペース内に、目標到達モーションをゼロスペース内にマップする、方法
  2. モーションによる目標到達と衝突回避との間でのなめらかなタスクの切り替えを遂行するために、モーション制御出力信号の重み付け値および衝突回避制御出力信号の重み付け値が徐々に変更される、請求項1に記載の方法。
  3. 最も近いポイントの間の距離が、所定の回避閾値距離よりも大きい限り、衝突回避出力信号の重み付け値は0である、請求項1又は2に記載の方法。
  4. 少なくとも一つのジョイントを介して互いに連結された前記ロボットの異なるセグメント、または前記ロボットのセグメントと他の対象物の最も近い2つのポイントを算出し、
    単に最も近いポイントの間の連結線に沿った次元においてのみ、前記ロボットの衝突回避モーションを制御することによって、衝突回避制御を行うステップを備える、請求項1からのいずれか1項に記載の方法。
  5. 前記衝突回避制御のゼロ空間が、モーションによる目標到達に割り当てられる、請求項に記載の方法。
  6. ロボットの制御方法であって、
    少なくとも一つのジョイントを介して互いに連結された前記ロボットの異なるセグメント、または前記ロボットのセグメントと他の対象物の最も近い2つのポイントを算出するステップと、
    単に最も近いポイントの間の連結線に沿った次元においてのみ、前記ロボットの衝突回避モーションを制御するステップと、
    によって衝突回避制御を行うステップと、
    を備え、
    かつ、モーション制御信号の算出においては、衝突回避モーションをゼロスペース内に、目標到達モーションをタスク・スペース内にマップし、衝突回避制御においては、衝突回避モーションをタスク・スペース内に、目標到達モーションをゼロスペース内にマップする、方法
  7. 演算装置で実行されるとき、請求項1乃至6のいずれか1項に記載の方法を実施する、コンピュータ・プログラム。
  8. モーション制御ユニットを有するロボットであって、
    前記ロボットのモーション制御ユニットは、
    少なくとも一つのジョイントを介して互いに連結された前記ロボットの異なるセグメント、または前記ロボットのセグメントと他の対象物の最も近い2つのポイントを算出して、出力する距離算出モジュールと、
    モーション制御モジュールと、
    前記距離算出モジュールからの出力信号が供給される衝突回避モジュールと、
    前記モーション制御モジュールと衝突回避制御モジュールの重み付け出力制御信号を結合する混合制御ユニットと、を備え、
    算出された衝突危険がより低くなるほど、モーション制御出力信号の重み付け値が高くなり、算出された衝突危険がより高くなるほど、衝突回避制御出力信号の重み付け値が高くな
    かつ、モーション制御信号の算出においては、衝突回避モーションをゼロスペース内に、目標到達モーションをタスク・スペース内にマップし、衝突回避制御においては、衝突回避モーションをタスク・スペース内に、目標到達モーションをゼロスペース内にマップする、ロボット。
  9. モーション制御ユニットを有するロボットであって、
    前記ロボットのモーション制御が、
    少なくとも一つのジョイントを介して互いに連結された前記ロボットの異なるセグメント、または前記ロボットのセグメントと他の対象物の最も近い2つのポイントを算出するように、そして
    単に最も近いポイントの間の連結線に沿った次元においてのみ、衝突回避作用を制御するように設計されている衝突回避モジュールを備える、
    かつ、モーション制御信号の算出においては、衝突回避モーションをゼロスペース内に、目標到達モーションをタスク・スペース内にマップし、衝突回避制御においては、衝突回避モーションをタスク・スペース内に、目標到達モーションをゼロスペース内にマップする、ロボット。
JP2008072478A 2007-03-23 2008-03-19 衝突回避機能を有するロボット Expired - Fee Related JP4903173B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07104815.1A EP1972415B1 (en) 2007-03-23 2007-03-23 Robots with collision avoidance functionality
EP07104815.1 2007-03-23

Publications (2)

Publication Number Publication Date
JP2008238395A JP2008238395A (ja) 2008-10-09
JP4903173B2 true JP4903173B2 (ja) 2012-03-28

Family

ID=38537776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008072478A Expired - Fee Related JP4903173B2 (ja) 2007-03-23 2008-03-19 衝突回避機能を有するロボット

Country Status (3)

Country Link
US (1) US8311731B2 (ja)
EP (1) EP1972415B1 (ja)
JP (1) JP4903173B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9517106B2 (en) * 1999-09-17 2016-12-13 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
US8467904B2 (en) * 2005-12-22 2013-06-18 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
EP1972415B1 (en) 2007-03-23 2019-01-02 Honda Research Institute Europe GmbH Robots with collision avoidance functionality
EP1974869A1 (en) * 2007-03-26 2008-10-01 Honda Research Institute Europe GmbH Apparatus and method for generating and controlling the motion of a robot
EP2014425B1 (en) * 2007-07-13 2013-02-20 Honda Research Institute Europe GmbH Method and device for controlling a robot
US8396595B2 (en) * 2007-11-01 2013-03-12 Honda Motor Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
KR101479234B1 (ko) * 2008-09-04 2015-01-06 삼성전자 주식회사 로봇 및 그 제어 방법
KR101667029B1 (ko) * 2009-08-10 2016-10-17 삼성전자 주식회사 로봇의 경로 계획방법 및 장치
WO2011056633A1 (en) 2009-10-27 2011-05-12 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation
US9205887B2 (en) 2010-02-25 2015-12-08 Honda Motor Co., Ltd. Constrained resolved acceleration control
CN103119529B (zh) * 2010-09-21 2016-05-25 丰田自动车株式会社 移动体
JP5480799B2 (ja) * 2010-12-14 2014-04-23 本田技研工業株式会社 移動装置およびロボットならびにこれらの制御システム
JP6262216B2 (ja) * 2012-06-01 2018-01-17 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 零空間を使用して操作アーム間の衝突を回避するためのシステム及び方法
CN107595392B (zh) 2012-06-01 2020-11-27 直观外科手术操作公司 使用零空间回避操纵器臂与患者碰撞
KR102167359B1 (ko) 2012-06-01 2020-10-19 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영공간을 이용한 수술 머니퓰레이터의 명령된 재구성을 위한 시스템 및 방법
CN102902269B (zh) * 2012-09-21 2015-07-01 北京邮电大学 预选择最小距离指标冗余机器人动态避障方法
US9387588B1 (en) 2014-08-25 2016-07-12 Google Inc. Handling gait disturbances with asynchronous timing
US10081098B1 (en) 2014-08-25 2018-09-25 Boston Dynamics, Inc. Generalized coordinate surrogates for integrated estimation and control
US9618937B1 (en) 2014-08-25 2017-04-11 Google Inc. Slip detection using robotic limbs
US9446518B1 (en) * 2014-11-11 2016-09-20 Google Inc. Leg collision avoidance in a robotic device
US9499218B1 (en) 2014-12-30 2016-11-22 Google Inc. Mechanically-timed footsteps for a robotic device
CN107206592B (zh) 2015-01-26 2021-03-26 杜克大学 专用机器人运动规划硬件及其制造和使用方法
DE102015004087B3 (de) * 2015-03-31 2016-12-29 gomtec GmbH Fahrbarer Roboter mit Kollisionserkennung
CN113456238A (zh) * 2015-05-01 2021-10-01 提坦医疗公司 器械碰撞检测与反馈
US9594377B1 (en) * 2015-05-12 2017-03-14 Google Inc. Auto-height swing adjustment
US9586316B1 (en) 2015-09-15 2017-03-07 Google Inc. Determination of robotic step path
CN105459117B (zh) 2016-01-04 2017-05-03 杭州亚美利嘉科技有限公司 控制大量机器人急停的方法及装置
US9925667B1 (en) 2016-01-25 2018-03-27 Boston Dynamics, Inc. Continuous slip recovery
US9789919B1 (en) 2016-03-22 2017-10-17 Google Inc. Mitigating sensor noise in legged robots
EP3537248A1 (en) 2016-06-10 2019-09-11 Duke University Motion planning for autonomous vehicles and reconfigurable motion planning processors
US10766140B2 (en) 2017-04-13 2020-09-08 Battelle Memorial Institute Teach mode collision avoidance system and method for industrial robotic manipulators
JP7024215B2 (ja) * 2017-06-08 2022-02-24 株式会社デンソー 移動体の制御装置及び制御システム
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
PL3769174T3 (pl) 2018-03-21 2022-10-24 Realtime Robotics, Inc. Planowanie przemieszczania robota do różnych środowisk i zadań oraz jego ulepszone działanie
JP7141665B2 (ja) * 2018-08-23 2022-09-26 リアルタイム ロボティクス, インコーポレーテッド ロボットの動作計画に役立つ衝突検出
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10816994B2 (en) 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10803314B2 (en) 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
CN113905855B (zh) 2019-04-17 2023-08-25 实时机器人有限公司 运动规划图生成用户界面、系统、方法和规则
DE102019206012A1 (de) * 2019-04-26 2020-10-29 Kuka Deutschland Gmbh Verfahren und System zum Betreiben eines Roboters
JP7479064B2 (ja) 2019-06-03 2024-05-08 リアルタイム ロボティクス, インコーポレーテッド 動的障害物を有する環境における動作計画を容易にする装置、方法及び物品
EP3993963A4 (en) 2019-08-23 2022-08-24 Realtime Robotics, Inc. MOTION PLANNING FOR ROBOTS TO OPTIMIZE SPEED WHILE RESPECTING ACCELERATION AND JERK LIMITS
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
US11919175B2 (en) 2020-04-15 2024-03-05 Mujin, Inc. Robotic system with collision avoidance mechanism and method of operation thereof
US11292132B2 (en) * 2020-05-26 2022-04-05 Edda Technology, Inc. Robot path planning method with static and dynamic collision avoidance in an uncertain environment
CN112987595A (zh) * 2021-03-06 2021-06-18 亚联美育(海南)教育科技集团有限公司 智能云计算机器人仿真系统软件及其操作方法
CN113070880B (zh) * 2021-03-31 2022-09-09 深圳市优必选科技股份有限公司 运动控制方法、装置、机器人控制设备及可读存储介质
CN116394266B (zh) * 2023-06-08 2023-10-20 国网瑞嘉(天津)智能机器人有限公司 一种机器人自碰撞处理方法、装置、机器人及介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US626569A (en) 1899-06-06 Apparatus for catching waste products from lead
US5737500A (en) * 1992-03-11 1998-04-07 California Institute Of Technology Mobile dexterous siren degree of freedom robot arm with real-time control system
US5347459A (en) * 1993-03-17 1994-09-13 National Research Council Of Canada Real time collision detection
US5835684A (en) * 1994-11-09 1998-11-10 Amada Company, Ltd. Method for planning/controlling robot motion
US6023645A (en) 1997-05-15 2000-02-08 Mitsubishi Denki Kabushiki Kaisha Trajectory control apparatus and trajectory control method for intra-planar multifreedom SCARA type of robot, and computer-readable recording medium with trajectory control program for intra-planar multifreedom SCARA type of robot stored therein
US6181983B1 (en) 1997-06-20 2001-01-30 Deutsches Zentrum f{umlaut over (u)}r Luft-und Raumfahrt e.v. Method of command control for a robot manipulator
US6922034B2 (en) * 2000-11-17 2005-07-26 Honda Giken Kogyo Kabushiki Kaisha Method for designing a robot arm
US6687571B1 (en) * 2001-04-24 2004-02-03 Sandia Corporation Cooperating mobile robots
US6438456B1 (en) * 2001-04-24 2002-08-20 Sandia Corporation Portable control device for networked mobile robots
US6678582B2 (en) * 2002-05-30 2004-01-13 Kuka Roboter Gmbh Method and control device for avoiding collisions between cooperating robots
US7415321B2 (en) * 2002-12-12 2008-08-19 Matsushita Electric Industrial Co., Ltd. Robot controller
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
FR2861857B1 (fr) * 2003-10-29 2006-01-20 Snecma Moteurs Deplacement d'un objet articule virtuel dans un environnement virtuel en evitant les collisions internes entre les elements articules de l'objet articule
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
JP4348276B2 (ja) * 2004-11-02 2009-10-21 本田技研工業株式会社 ロボット制御装置
US20060111881A1 (en) 2004-11-23 2006-05-25 Warren Jackson Specialized processor for solving optimization problems
US7313463B2 (en) * 2005-03-31 2007-12-25 Massachusetts Institute Of Technology Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics
US7859540B2 (en) * 2005-12-22 2010-12-28 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
US8467904B2 (en) * 2005-12-22 2013-06-18 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
EP1972416B1 (en) 2007-03-23 2018-04-25 Honda Research Institute Europe GmbH Robots with occlusion avoidance functionality
EP1972415B1 (en) 2007-03-23 2019-01-02 Honda Research Institute Europe GmbH Robots with collision avoidance functionality
EP1974869A1 (en) * 2007-03-26 2008-10-01 Honda Research Institute Europe GmbH Apparatus and method for generating and controlling the motion of a robot
KR101691939B1 (ko) * 2009-08-10 2017-01-02 삼성전자주식회사 로봇의 경로 계획방법 및 장치

Also Published As

Publication number Publication date
US8311731B2 (en) 2012-11-13
JP2008238395A (ja) 2008-10-09
EP1972415B1 (en) 2019-01-02
US20080234864A1 (en) 2008-09-25
EP1972415A1 (en) 2008-09-24

Similar Documents

Publication Publication Date Title
JP4903173B2 (ja) 衝突回避機能を有するロボット
EP1972416B1 (en) Robots with occlusion avoidance functionality
Flacco et al. A depth space approach to human-robot collision avoidance
KR102026490B1 (ko) 로봇을 제어하기 위한 방법 및 제어수단
Balan et al. Real-time 3D collision avoidance method for safe human and robot coexistence
Dietrich et al. Extensions to reactive self-collision avoidance for torque and position controlled humanoids
Petrič et al. Smooth continuous transition between tasks on a kinematic control level: Obstacle avoidance as a control problem
Luo et al. Real time human motion imitation of anthropomorphic dual arm robot based on Cartesian impedance control
Haddadin et al. Dynamic motion planning for robots in partially unknown environments
Albini et al. Exploiting distributed tactile sensors to drive a robot arm through obstacles
Seto et al. Self-collision avoidance motion control for human robot cooperation system using robe
Leeper et al. Methods for collision-free arm teleoperation in clutter using constraints from 3d sensor data
Mashali et al. Controlling a non-holonomic mobile manipulator in a constrained floor space
Sugiura et al. Real-time self collision avoidance for humanoids by means of nullspace criteria and task intervals
Zhang et al. Sensor-based redundancy resolution for a nonholonomic mobile manipulator
Cabrera et al. Cohaptics: Development of human-robot collaborative system with forearm-worn haptic display to increase safety in future factories
Žlajpah et al. Obstacle avoidance for redundant manipulators as control problem
García et al. Bimanual robot control for surface treatment tasks
Carelli et al. Algorithms for stable control of mobile robots with obstacle avoidance
Chen et al. On-line multi-criteria based collision-free posture generation of redundant manipulator in constrained workspace
Selvaggio et al. Towards a self-collision aware teleoperation framework for compound robots
CN116214495A (zh) 机器人动态运动规划和控制的方法
JP2023075884A (ja) 動的動作計画システム
Oh et al. Remote control for redundant humanoid arm using optimized arm angle
Hung et al. An Intelligent control method for redundant robotic manipulators with output constraints

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110401

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120104

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4903173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees