JP2000153476A - 脚式移動ロボット - Google Patents
脚式移動ロボットInfo
- Publication number
- JP2000153476A JP2000153476A JP11110555A JP11055599A JP2000153476A JP 2000153476 A JP2000153476 A JP 2000153476A JP 11110555 A JP11110555 A JP 11110555A JP 11055599 A JP11055599 A JP 11055599A JP 2000153476 A JP2000153476 A JP 2000153476A
- Authority
- JP
- Japan
- Prior art keywords
- leg
- image data
- positional relationship
- visual sensor
- walking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
- B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
- B62D57/032—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】基体に取り付けた視覚センサを用いて、脚と歩
行に対する干渉物との位置関係を正確に算出することが
できる脚式移動ロボットを提供する。 【解決手段】基体2と複数本の脚部3とからなり、基体
2に取り付けられた視覚センサ7と、視覚センサ7を介
して画像データを取得する画像入力手段と、該画像入力
手段により取得された画像データ8を使用して、歩行に
対する干渉物5と脚部3との位置関係を算出する位置関
係算出手段とを備え、該位置関係算出手段の算出結果か
ら干渉物と脚部との位置関係を把握しながら歩行動作を
行う脚式移動ロボット1おいて、前記位置関係算出手段
は、前記画像入力手段により取得された、脚部3の一部
とロボット1の歩行に対する干渉物5の双方の画像を含
む画像データ8から、脚部3と干渉物5との位置関係を
算出する。
行に対する干渉物との位置関係を正確に算出することが
できる脚式移動ロボットを提供する。 【解決手段】基体2と複数本の脚部3とからなり、基体
2に取り付けられた視覚センサ7と、視覚センサ7を介
して画像データを取得する画像入力手段と、該画像入力
手段により取得された画像データ8を使用して、歩行に
対する干渉物5と脚部3との位置関係を算出する位置関
係算出手段とを備え、該位置関係算出手段の算出結果か
ら干渉物と脚部との位置関係を把握しながら歩行動作を
行う脚式移動ロボット1おいて、前記位置関係算出手段
は、前記画像入力手段により取得された、脚部3の一部
とロボット1の歩行に対する干渉物5の双方の画像を含
む画像データ8から、脚部3と干渉物5との位置関係を
算出する。
Description
【0001】
【発明の属する技術の分野】本発明は、視覚センサを介
して取得された画像データから、脚部と歩行に対する干
渉物との位置関係を認識する脚式移動ロボットに関す
る。
して取得された画像データから、脚部と歩行に対する干
渉物との位置関係を認識する脚式移動ロボットに関す
る。
【0002】
【従来の技術】自律移動型の脚式移動ロボットにおいて
は、CCDカメラ等の視覚センサを備えて、カメラを介
して取得された画像データから歩行方向に存在する歩行
に対する干渉物の位置を認識し、認識した干渉物に対処
しながら歩行を行う必要がある。そして、より広い視野
を確保するため、カメラは脚式移動ロボットの基体の上
部(例えば頭部)に設けられるのが一般的である。
は、CCDカメラ等の視覚センサを備えて、カメラを介
して取得された画像データから歩行方向に存在する歩行
に対する干渉物の位置を認識し、認識した干渉物に対処
しながら歩行を行う必要がある。そして、より広い視野
を確保するため、カメラは脚式移動ロボットの基体の上
部(例えば頭部)に設けられるのが一般的である。
【0003】また、脚式移動ロボットは、車輪式等の他
の形態のロボットでは走行が困難な階段等の干渉物が点
在する3次元空間で活動することが期待されるが、この
ような3次元空間を自由に移動するためには、ロボット
の脚(特に着床部分である足平)と歩行方向に存在する
干渉物との位置を正確に算出する必要がある。
の形態のロボットでは走行が困難な階段等の干渉物が点
在する3次元空間で活動することが期待されるが、この
ような3次元空間を自由に移動するためには、ロボット
の脚(特に着床部分である足平)と歩行方向に存在する
干渉物との位置を正確に算出する必要がある。
【0004】しかし、脚式移動ロボットは脚部の足平か
ら頭部までの間に多数の関節を有する。そのため、ロボ
ットの頭部にカメラを取り付けた場合は、各関節の位置
決め誤差が累積する結果、脚部の足平を基準としたとき
のカメラの位置のばらつきが大きくなる。その結果、カ
メラにより取得された干渉物の画像データから算出され
る干渉物の位置も、基準とした足平に対してばらつくこ
ととなる。したがって、脚部の足平と該干渉物の位置関
係を正確に算出することは難しい。
ら頭部までの間に多数の関節を有する。そのため、ロボ
ットの頭部にカメラを取り付けた場合は、各関節の位置
決め誤差が累積する結果、脚部の足平を基準としたとき
のカメラの位置のばらつきが大きくなる。その結果、カ
メラにより取得された干渉物の画像データから算出され
る干渉物の位置も、基準とした足平に対してばらつくこ
ととなる。したがって、脚部の足平と該干渉物の位置関
係を正確に算出することは難しい。
【0005】そこで、ロボットの基体ではなく、脚部の
足平にカメラを取り付けるようにした脚式移動ロボット
が知られている(実開平5−93778号公報)。足平
に取り付けたカメラによって干渉物の位置を認識する場
合は、ロボットの関節の位置決め誤差の影響を排除でき
るので、足平と干渉物との位置関係を正確に算出するこ
とができる。
足平にカメラを取り付けるようにした脚式移動ロボット
が知られている(実開平5−93778号公報)。足平
に取り付けたカメラによって干渉物の位置を認識する場
合は、ロボットの関節の位置決め誤差の影響を排除でき
るので、足平と干渉物との位置関係を正確に算出するこ
とができる。
【0006】しかし、ロボットの足平にカメラを取り付
けた場合には、カメラの破損や汚れが生じ易く、また、
脚部の重量増によりロボットの歩行性能が悪化するとい
う不都合があった。
けた場合には、カメラの破損や汚れが生じ易く、また、
脚部の重量増によりロボットの歩行性能が悪化するとい
う不都合があった。
【0007】
【発明が解決しようとする課題】本発明は、上記不都合
を解消し、基体に取り付けた視覚センサを用いて、脚部
と歩行に対する干渉物との位置関係を正確に算出するこ
とができる脚式移動ロボットを提供することを目的とす
る。
を解消し、基体に取り付けた視覚センサを用いて、脚部
と歩行に対する干渉物との位置関係を正確に算出するこ
とができる脚式移動ロボットを提供することを目的とす
る。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、基体と複数本の脚部とからなり、基体に
取り付けられた視覚センサと、該視覚センサを介して画
像データを取得する画像入力手段と、該画像入力手段に
より取得された画像データを使用して、歩行に対する干
渉物と脚部との位置関係を算出する位置関係算出手段と
を備え、該位置関係算出手段の算出結果から干渉物と脚
部との位置関係を把握しながら歩行動作を行う脚式移動
ロボットの改良に関する。
め、本発明は、基体と複数本の脚部とからなり、基体に
取り付けられた視覚センサと、該視覚センサを介して画
像データを取得する画像入力手段と、該画像入力手段に
より取得された画像データを使用して、歩行に対する干
渉物と脚部との位置関係を算出する位置関係算出手段と
を備え、該位置関係算出手段の算出結果から干渉物と脚
部との位置関係を把握しながら歩行動作を行う脚式移動
ロボットの改良に関する。
【0009】脚式移動ロボットの脚部の位置(姿勢)
は、該ロボット自身で認識しているため、前記視覚セン
サにより取得された干渉物の画像データから該干渉物の
位置を認識することで、基本的には脚部と該干渉物との
位置関係を算出することが可能である。しかし、脚式移
動ロボットの基体に前記視覚センサを取り付けたときに
は、例えば該ロボットの脚部の足平と干渉物の位置関係
を算出する場合に、足平に対する前記視覚センサの位置
は、足平と該視覚センサの取り付け位置の間に存在する
多数の関節の位置決め誤差が加算されるため、ばらつき
が生じる。その結果、視覚センサにより取得された干渉
物の画像データから算出した該干渉物の位置が足平の位
置に対してばらつくため、足平と干渉物との位置関係を
正確に算出することができない。
は、該ロボット自身で認識しているため、前記視覚セン
サにより取得された干渉物の画像データから該干渉物の
位置を認識することで、基本的には脚部と該干渉物との
位置関係を算出することが可能である。しかし、脚式移
動ロボットの基体に前記視覚センサを取り付けたときに
は、例えば該ロボットの脚部の足平と干渉物の位置関係
を算出する場合に、足平に対する前記視覚センサの位置
は、足平と該視覚センサの取り付け位置の間に存在する
多数の関節の位置決め誤差が加算されるため、ばらつき
が生じる。その結果、視覚センサにより取得された干渉
物の画像データから算出した該干渉物の位置が足平の位
置に対してばらつくため、足平と干渉物との位置関係を
正確に算出することができない。
【0010】そこで、前記位置関係算出手段は、前記画
像入力手段により取得された、前記脚部の一部と前記ロ
ボットの歩行に対する干渉物の双方の画像を含む画像デ
ータから、前記脚部と該干渉物との位置関係を算出する
ことを特徴とする。このように、脚部の一部と干渉物の
双方の画像を含む画像データから、直接両者の相対的な
位置関係を算出することで、関節の位置決め誤差の影響
を排除して、脚部と干渉物の位置関係を正確に算出する
ことができる。
像入力手段により取得された、前記脚部の一部と前記ロ
ボットの歩行に対する干渉物の双方の画像を含む画像デ
ータから、前記脚部と該干渉物との位置関係を算出する
ことを特徴とする。このように、脚部の一部と干渉物の
双方の画像を含む画像データから、直接両者の相対的な
位置関係を算出することで、関節の位置決め誤差の影響
を排除して、脚部と干渉物の位置関係を正確に算出する
ことができる。
【0011】また、ロボットの脚部の一部と干渉物の双
方の画像を含む画像データを、前記視覚センサで同時に
取得するためには、脚部の一部と干渉物が前記視覚セン
サの視野内に入った状態で画像データを取得しなければ
ならない。しかし、脚部の姿勢によっては、脚部の一部
と干渉物とが前記視覚センサの視野内に入らない状態と
なる場合が生じる。例えば、脚部の一部である足平の先
端と干渉物の双方の画像を含む画像データを取得しよう
とした場合には、脚部の膝部分により足平が前記視覚セ
ンサの視野から遮られて、足平と干渉物の双方を前記視
覚センサの視野内に入らない状態となる場合が生じる。
また、脚部の一部である膝部と干渉物の双方の画像を含
む画像データを取得しようとしたときにも、脚部が基体
の後方にあるときには、膝部は前記視覚センサの視野内
に入らない。
方の画像を含む画像データを、前記視覚センサで同時に
取得するためには、脚部の一部と干渉物が前記視覚セン
サの視野内に入った状態で画像データを取得しなければ
ならない。しかし、脚部の姿勢によっては、脚部の一部
と干渉物とが前記視覚センサの視野内に入らない状態と
なる場合が生じる。例えば、脚部の一部である足平の先
端と干渉物の双方の画像を含む画像データを取得しよう
とした場合には、脚部の膝部分により足平が前記視覚セ
ンサの視野から遮られて、足平と干渉物の双方を前記視
覚センサの視野内に入らない状態となる場合が生じる。
また、脚部の一部である膝部と干渉物の双方の画像を含
む画像データを取得しようとしたときにも、脚部が基体
の後方にあるときには、膝部は前記視覚センサの視野内
に入らない。
【0012】そして、このように脚部の一部が前記視覚
センサの視野内に入らない状態で前記画像入力手段によ
り画像データを取得し、該画像データから前記位置関係
算出手段により脚と干渉物との位置関係を算出しようと
しても、該画像データには脚部の一部の画像が存在しな
いため、脚と干渉物との位置関係を算出することができ
ず、無駄な処理時間が費やされるだけである。
センサの視野内に入らない状態で前記画像入力手段によ
り画像データを取得し、該画像データから前記位置関係
算出手段により脚と干渉物との位置関係を算出しようと
しても、該画像データには脚部の一部の画像が存在しな
いため、脚と干渉物との位置関係を算出することができ
ず、無駄な処理時間が費やされるだけである。
【0013】そこで、前記画像入力手段は、前記干渉物
が存在したならば、該干渉物と前記脚部の一部の双方が
前記視覚センサの視野内に入る姿勢に前記脚部がなった
ときに、前記視覚センサによる画像データの取得を行う
画像入力制御手段を設けたことを特徴とする。これによ
り、脚部の一部の画像が含まれる有効な画像データに対
してのみ、前記位置関係算出手段による干渉物との位置
関係を算出する処理が行われるため、無駄な処理時間が
生じることを防止することができる。
が存在したならば、該干渉物と前記脚部の一部の双方が
前記視覚センサの視野内に入る姿勢に前記脚部がなった
ときに、前記視覚センサによる画像データの取得を行う
画像入力制御手段を設けたことを特徴とする。これによ
り、脚部の一部の画像が含まれる有効な画像データに対
してのみ、前記位置関係算出手段による干渉物との位置
関係を算出する処理が行われるため、無駄な処理時間が
生じることを防止することができる。
【0014】また、前記位置関係算出手段による前記脚
部と前記干渉物との位置関係の算出結果に応じて、その
後の歩行動作の内容を変更する歩行動作変更手段を備え
たことを特徴とする。
部と前記干渉物との位置関係の算出結果に応じて、その
後の歩行動作の内容を変更する歩行動作変更手段を備え
たことを特徴とする。
【0015】例えば、前記ロボットが階段を上る歩行を
行う場合は、基本的には階段のステップ幅に応じた一定
の歩幅で歩行を行えばよい。しかし、着床時のスリップ
等により、脚部の着床位置が階段のステップのエッジ側
に偏ったり、階段に対する脚の対峙角度がずれたりする
場合が生じ得る。このような場合に、そのまま一定の歩
幅で歩行を続行すると、脚が階段を踏み外すおそれがあ
る。そこで、前記動作変更手段は、前記位置関係算出に
より算出された脚と干渉物の位置関係に応じて、次の脚
の着床位置が階段のステップの中央になるように歩行動
作を変更したり、階段に対する脚の対峙角度を修正する
ように歩行動作を変更することで、ロボット1の歩行を
安定して行うことができる。
行う場合は、基本的には階段のステップ幅に応じた一定
の歩幅で歩行を行えばよい。しかし、着床時のスリップ
等により、脚部の着床位置が階段のステップのエッジ側
に偏ったり、階段に対する脚の対峙角度がずれたりする
場合が生じ得る。このような場合に、そのまま一定の歩
幅で歩行を続行すると、脚が階段を踏み外すおそれがあ
る。そこで、前記動作変更手段は、前記位置関係算出に
より算出された脚と干渉物の位置関係に応じて、次の脚
の着床位置が階段のステップの中央になるように歩行動
作を変更したり、階段に対する脚の対峙角度を修正する
ように歩行動作を変更することで、ロボット1の歩行を
安定して行うことができる。
【0016】また、歩行動作中に、前記脚部が離床して
から着床するまでの間に、前記位置関係算出手段による
脚部と干渉物との位置関係の算出を、少なくとも1回行
うことを特徴とする。
から着床するまでの間に、前記位置関係算出手段による
脚部と干渉物との位置関係の算出を、少なくとも1回行
うことを特徴とする。
【0017】かかる本発明によれば、歩行動作中に、前
記脚部が離床してから着床するまでの間に、前記位置関
係算出手段による脚部と干渉物との位置関係の算出を必
ず行うことで、歩行動作の監視と修正をより短い周期で
行うことができる。
記脚部が離床してから着床するまでの間に、前記位置関
係算出手段による脚部と干渉物との位置関係の算出を必
ず行うことで、歩行動作の監視と修正をより短い周期で
行うことができる。
【0018】また、前記画像入力手段は、歩行方向の地
形情報を予め保持し、歩行動作中に前記干渉物が前記視
覚センサの視野内に入ると予測される地点に至った時
に、前記視覚センサを介して画像データを取得すること
を特徴とする。
形情報を予め保持し、歩行動作中に前記干渉物が前記視
覚センサの視野内に入ると予測される地点に至った時
に、前記視覚センサを介して画像データを取得すること
を特徴とする。
【0019】かかる本発明によれば、前記干渉物が前記
視覚センサの視野内に入っていないにも拘わらず、前記
画像入力手段により画像データが取得され、前記位置関
係算出手段により無駄な演算処理が行われる可能性を減
少させることができる。
視覚センサの視野内に入っていないにも拘わらず、前記
画像入力手段により画像データが取得され、前記位置関
係算出手段により無駄な演算処理が行われる可能性を減
少させることができる。
【0020】また、前記脚部のうち、前記視覚センサの
視野内に入る部分にマークを付け、前記位置関係算出手
段は、前記画像データから該マークのエッジを抽出する
ことにより、前記脚部の位置を算出することを特徴とす
る。
視野内に入る部分にマークを付け、前記位置関係算出手
段は、前記画像データから該マークのエッジを抽出する
ことにより、前記脚部の位置を算出することを特徴とす
る。
【0021】前記画像データから前記脚部の位置を算出
する方法としては、前記画像データから前記脚部のエッ
ジを抽出する方法が一般的である。しかし、前記脚部の
エッジの抽出精度は前記脚部の色と前記脚部が接地する
面の色との関係や、照明状態の変化等の影響を受けて変
動し易い。そこで、このような影響を受け難い前記マー
クのエッジを抽出して該マークの位置を算出し、該マー
クの位置から前記脚部の位置を算出することで、より精
度良く前記脚部の位置を算出することができる。
する方法としては、前記画像データから前記脚部のエッ
ジを抽出する方法が一般的である。しかし、前記脚部の
エッジの抽出精度は前記脚部の色と前記脚部が接地する
面の色との関係や、照明状態の変化等の影響を受けて変
動し易い。そこで、このような影響を受け難い前記マー
クのエッジを抽出して該マークの位置を算出し、該マー
クの位置から前記脚部の位置を算出することで、より精
度良く前記脚部の位置を算出することができる。
【0022】また、前記視覚センサよりも視野が広い補
助視覚センサを設け、前記画像入力手段は、該補助視覚
センサを介して歩行方向の地形の画像データを入力し
て、該地形の画像データから前記干渉物の存在位置を認
識し、該干渉物が前記視覚センサの視野内に入る地点に
至った時に、前記視覚センサを介して画像データを取得
することを特徴とする。
助視覚センサを設け、前記画像入力手段は、該補助視覚
センサを介して歩行方向の地形の画像データを入力し
て、該地形の画像データから前記干渉物の存在位置を認
識し、該干渉物が前記視覚センサの視野内に入る地点に
至った時に、前記視覚センサを介して画像データを取得
することを特徴とする。
【0023】かかる本発明によれば、前記干渉物が前記
視覚センサの視野内に入っていないにも拘わらず、前記
画像入力手段により画像データが取得され、前記位置関
係算出手段により無駄な演算処理が行われることを防止
することができる。
視覚センサの視野内に入っていないにも拘わらず、前記
画像入力手段により画像データが取得され、前記位置関
係算出手段により無駄な演算処理が行われることを防止
することができる。
【0024】
【発明の実施の形態】本発明の実施の形態の一例につい
て、図1〜図5を参照して説明する。図1は視覚センサ
による画像データの取得方法の説明図、図2は視覚セン
サによる画像データの取得タイミングの説明図、図3は
ロボットの脚部の一部と干渉物との位置関係を算出する
ための構成の説明図、図4はロボットの足平の着床位置
を出力するフローチャート、図5はロボットの脚部に取
付けられた6軸力センサ9の機能説明図である。
て、図1〜図5を参照して説明する。図1は視覚センサ
による画像データの取得方法の説明図、図2は視覚セン
サによる画像データの取得タイミングの説明図、図3は
ロボットの脚部の一部と干渉物との位置関係を算出する
ための構成の説明図、図4はロボットの足平の着床位置
を出力するフローチャート、図5はロボットの脚部に取
付けられた6軸力センサ9の機能説明図である。
【0025】図1を参照して、本実施の形態の脚式移動
ロボット1は、二足歩行型のものであり、基体2と2本
の脚部3とからなる。そして、脚部3の膝関節や足首関
節等の関節の屈曲は図示しないモータ等のアクチュエー
タにより行われるようになっている。また、ロボット1
は、歩行方向に存在する歩行に対する干渉物の位置を認
識するために、頭部6にCCD方式のカメラ7(本発明
の視覚センサに相当する)を備える。
ロボット1は、二足歩行型のものであり、基体2と2本
の脚部3とからなる。そして、脚部3の膝関節や足首関
節等の関節の屈曲は図示しないモータ等のアクチュエー
タにより行われるようになっている。また、ロボット1
は、歩行方向に存在する歩行に対する干渉物の位置を認
識するために、頭部6にCCD方式のカメラ7(本発明
の視覚センサに相当する)を備える。
【0026】脚式移動ロボット1は、図2に示したよう
に、階段5等の3次元の干渉物に対処できる点で、車輪
式等の他の形態のロボットに対して優位性を有する。し
かし、階段の上り下りを行うためには、階段の位置を正
確に把握した上で、足平4(本発明の脚部の一部に相当
する)の離床と着床を行う必要がある。そこで、ロボッ
ト1は、図3に示したように、カメラ7により取得され
た歩行方向の画像データから、干渉物と足平4との位置
関係を算出するための構成を有する。
に、階段5等の3次元の干渉物に対処できる点で、車輪
式等の他の形態のロボットに対して優位性を有する。し
かし、階段の上り下りを行うためには、階段の位置を正
確に把握した上で、足平4(本発明の脚部の一部に相当
する)の離床と着床を行う必要がある。そこで、ロボッ
ト1は、図3に示したように、カメラ7により取得され
た歩行方向の画像データから、干渉物と足平4との位置
関係を算出するための構成を有する。
【0027】図3を参照して、30は、ロボット1の統
括的な作動制御を行うコントローラであり、CPU、R
OM、RAM等からなる。コントローラ30は、ロボッ
ト1の各関節に取り付けられたエンコーダ36により、
各関節の状態(姿勢)を検出してロボット1の姿勢を把
握し、各関節に取付けられたサーボモータ37を作動さ
せることで、ロボット1の姿勢を制御する。
括的な作動制御を行うコントローラであり、CPU、R
OM、RAM等からなる。コントローラ30は、ロボッ
ト1の各関節に取り付けられたエンコーダ36により、
各関節の状態(姿勢)を検出してロボット1の姿勢を把
握し、各関節に取付けられたサーボモータ37を作動さ
せることで、ロボット1の姿勢を制御する。
【0028】また、カメラ7から出力される映像信号
は、画像データ入力部31によりデジタルデータに変換
されて画像メモリ32に保持される。そして、直線成分
抽出部33は、画像メモリ32に保持された画像データ
に対して、エッジ点抽出等の処理を行って、画像データ
中に存在する直線成分を抽出する。コントローラ30に
備えられた位置関係算出手段34は、直線成分抽出部3
3により抽出された直線の座標から、歩行方向に存在す
る干渉物の位置を算出する。
は、画像データ入力部31によりデジタルデータに変換
されて画像メモリ32に保持される。そして、直線成分
抽出部33は、画像メモリ32に保持された画像データ
に対して、エッジ点抽出等の処理を行って、画像データ
中に存在する直線成分を抽出する。コントローラ30に
備えられた位置関係算出手段34は、直線成分抽出部3
3により抽出された直線の座標から、歩行方向に存在す
る干渉物の位置を算出する。
【0029】ここで、コントローラ30は、ロボット1
の各関節の状態を、エンコーダ36の出力により把握し
ている。そのため、位置関係算出手段34は、上述した
ように画像データから干渉物の位置を算出することで、
基本的には、脚部3の足平4と干渉物との位置関係を算
出することができる。しかし、図1を参照して、カメラ
7を頭部6等の基体2の部分に取付けた場合には、足平
4とカメラ7の取り付け部分の間に存在する複数の関節
の位置決め誤差の累積により、足平4を基準としたカメ
ラ7の位置にばらつきが生じる。そのため、カメラ7に
より取得された画像データから算出された階段5(本発
明の干渉物に相当する)の位置も、足平4に対してばら
つき、足平4と階段5の位置関係を正確に算出すること
ができない。
の各関節の状態を、エンコーダ36の出力により把握し
ている。そのため、位置関係算出手段34は、上述した
ように画像データから干渉物の位置を算出することで、
基本的には、脚部3の足平4と干渉物との位置関係を算
出することができる。しかし、図1を参照して、カメラ
7を頭部6等の基体2の部分に取付けた場合には、足平
4とカメラ7の取り付け部分の間に存在する複数の関節
の位置決め誤差の累積により、足平4を基準としたカメ
ラ7の位置にばらつきが生じる。そのため、カメラ7に
より取得された画像データから算出された階段5(本発
明の干渉物に相当する)の位置も、足平4に対してばら
つき、足平4と階段5の位置関係を正確に算出すること
ができない。
【0030】そこで、位置関係算出手段34は、図1に
示したように、足平4の一部の画像aと階段5の画像b
とが含まれる画像データ8から、足平4と階段5の相対
的な位置関係を算出する。このように、足平4と階段5
の相対的な位置関係を同一の画像データから算出する場
合には、上述した足平4を基準とするカメラ7の位置の
ばらつきが相殺されるため、足平4と階段5の位置関係
を正確に算出することができる。
示したように、足平4の一部の画像aと階段5の画像b
とが含まれる画像データ8から、足平4と階段5の相対
的な位置関係を算出する。このように、足平4と階段5
の相対的な位置関係を同一の画像データから算出する場
合には、上述した足平4を基準とするカメラ7の位置の
ばらつきが相殺されるため、足平4と階段5の位置関係
を正確に算出することができる。
【0031】ところで、頭部6にカメラ7を取り付けた
場合には、常時足平4の画像を取得できるとは限らな
い。例えば、図2(a)〜(e)に示したように、ロボ
ット1が階段5を上がるときには、カメラ7と足平4と
の間に膝部分20が位置して、カメラ7の視野内に足平
4が入らない状態となる場合がある。このような状態で
は、カメラ7により画像データを取得しても、足平4の
画像を含まない画像データしか得られない。そのため、
上述した足平4と階段5の相対的な位置関係を同一の画
像データから算出する処理を行うことはできない。
場合には、常時足平4の画像を取得できるとは限らな
い。例えば、図2(a)〜(e)に示したように、ロボ
ット1が階段5を上がるときには、カメラ7と足平4と
の間に膝部分20が位置して、カメラ7の視野内に足平
4が入らない状態となる場合がある。このような状態で
は、カメラ7により画像データを取得しても、足平4の
画像を含まない画像データしか得られない。そのため、
上述した足平4と階段5の相対的な位置関係を同一の画
像データから算出する処理を行うことはできない。
【0032】そして、カメラ7により画像データを取得
してから、位置関係算出手段34により足平4と階段5
の位置関係を算出するまでには、ある程度の時間を要す
る。そのため、このように足平4の画像を含まない画像
データに対して、位置関係算出手段34による処理を行
ってしまうと、無駄な処理時間が費やされることとな
る。そして、この無駄な処理時間のために、足平4と階
段5との双方がカメラ7の視野に入るタイミングで画像
データを取得して処理することができなくなる場合が生
じ得る。
してから、位置関係算出手段34により足平4と階段5
の位置関係を算出するまでには、ある程度の時間を要す
る。そのため、このように足平4の画像を含まない画像
データに対して、位置関係算出手段34による処理を行
ってしまうと、無駄な処理時間が費やされることとな
る。そして、この無駄な処理時間のために、足平4と階
段5との双方がカメラ7の視野に入るタイミングで画像
データを取得して処理することができなくなる場合が生
じ得る。
【0033】そこで、コントローラ30に備えられた画
像入力制御手段35は、エンコーダ36の出力からロボ
ット1の姿勢を把握して、図2(f)〜(h)に示した
ように、足平4と階段5の双方がカメラ7の視野内に入
る姿勢となったときに、画像データ入力部31に対して
カメラ7により画像データを取得することを指示する。
これにより、足平4の画像が含まれる画像データに対し
てのみ、直線抽出部33と位置関係算出手段34による
処理を行うようにすることができ、上述した無駄な処理
が行われることを防止することができる。尚、画像入力
制御手段35と画像データ入力部31と画像メモリ32
とにより、本発明の画像入力手段が構成される。
像入力制御手段35は、エンコーダ36の出力からロボ
ット1の姿勢を把握して、図2(f)〜(h)に示した
ように、足平4と階段5の双方がカメラ7の視野内に入
る姿勢となったときに、画像データ入力部31に対して
カメラ7により画像データを取得することを指示する。
これにより、足平4の画像が含まれる画像データに対し
てのみ、直線抽出部33と位置関係算出手段34による
処理を行うようにすることができ、上述した無駄な処理
が行われることを防止することができる。尚、画像入力
制御手段35と画像データ入力部31と画像メモリ32
とにより、本発明の画像入力手段が構成される。
【0034】図4は、画像入力制御手段35から画像デ
ータ入力部31に対して、画像データの取得指示がなさ
れたときの一連の処理内容を示すフローチャートであ
る。STEP1で処理が開始されると、先ずSTEP2
で、画像処理入力部31はカメラ7から入力した映像信
号をデジタルデータに変換して、画像メモリ32に書き
込む。そしてSTEP3で、直線成分抽出部33が、画
像メモリ32に書き込まれた画像データ中に存在する直
線成分を、エッジ点抽出等の処理を行って抽出する。
ータ入力部31に対して、画像データの取得指示がなさ
れたときの一連の処理内容を示すフローチャートであ
る。STEP1で処理が開始されると、先ずSTEP2
で、画像処理入力部31はカメラ7から入力した映像信
号をデジタルデータに変換して、画像メモリ32に書き
込む。そしてSTEP3で、直線成分抽出部33が、画
像メモリ32に書き込まれた画像データ中に存在する直
線成分を、エッジ点抽出等の処理を行って抽出する。
【0035】続くSTEP4で、位置関係算出手段34
は、直線成分抽出手段33により抽出された直線成分の
座標データから、干渉物の存在の有無を検出し、干渉物
が存在する場合には、足平4と干渉物との位置関係を算
出する。そして、コントローラ30に備えられた歩行動
作変更手段38は、STEP5で、位置関係算出手段に
より算出された足平4に対する干渉物の位置が、ロボッ
ト1の歩行を継続するのに支障があると判断したときに
は、STEP6でロボット1の歩行動作の内容を変更す
る。
は、直線成分抽出手段33により抽出された直線成分の
座標データから、干渉物の存在の有無を検出し、干渉物
が存在する場合には、足平4と干渉物との位置関係を算
出する。そして、コントローラ30に備えられた歩行動
作変更手段38は、STEP5で、位置関係算出手段に
より算出された足平4に対する干渉物の位置が、ロボッ
ト1の歩行を継続するのに支障があると判断したときに
は、STEP6でロボット1の歩行動作の内容を変更す
る。
【0036】具体的には、例えば、所定の歩行シーケン
ス(歩行速度、階段のステップ幅に応じた歩幅等が定め
られている)に従って、ロボット1が階段を上る歩行を
行っているときに、位置関係算出手段34の算出結果か
ら、足平4の着床位置が階段のステップのエッジ側に偏
っていることを認識したときには、歩行動作変更手段3
8は、他方の足平を次に離床・着床する際に、歩幅を若
干大きくするように歩行動作を変更して、STEP7で
階段に対する足平4の着床位置をモータコントローラ
(図示しない)に出力する。そして、モータコントロー
ラにより、脚部のモータが制御されて変更した歩幅での
歩行が行われる。これにより、次の足平4の着床位置が
階段のステップの中央とすることができる。
ス(歩行速度、階段のステップ幅に応じた歩幅等が定め
られている)に従って、ロボット1が階段を上る歩行を
行っているときに、位置関係算出手段34の算出結果か
ら、足平4の着床位置が階段のステップのエッジ側に偏
っていることを認識したときには、歩行動作変更手段3
8は、他方の足平を次に離床・着床する際に、歩幅を若
干大きくするように歩行動作を変更して、STEP7で
階段に対する足平4の着床位置をモータコントローラ
(図示しない)に出力する。そして、モータコントロー
ラにより、脚部のモータが制御されて変更した歩幅での
歩行が行われる。これにより、次の足平4の着床位置が
階段のステップの中央とすることができる。
【0037】このような歩行動作変更手段38による歩
行動作の変更処理により、階段を上る際の歩行動作が、
足平4の着床位置や着床方向に応じて適宜変更、修正さ
れる。そのため、ロボット1による階段の昇降を、ロボ
ット1が階段を踏み外したり、不適切な方向に階段を上
ることを防止して安定した歩行を行うことができる。
尚、階段を下る場合も同様である。
行動作の変更処理により、階段を上る際の歩行動作が、
足平4の着床位置や着床方向に応じて適宜変更、修正さ
れる。そのため、ロボット1による階段の昇降を、ロボ
ット1が階段を踏み外したり、不適切な方向に階段を上
ることを防止して安定した歩行を行うことができる。
尚、階段を下る場合も同様である。
【0038】一方、STEP5で、位置関係算出手段に
より算出された足平4に対する干渉物の位置が、ロボッ
ト1の歩行を継続するのに支障がないと判断したときに
は、歩行動作変更手段38は、歩行内容の修正、変更を
行わず、前記歩行シーケンスに従ってSTEP7で、階
段に対する足平4の着床位置をモータコントローラ(図
示しない)に出力する。
より算出された足平4に対する干渉物の位置が、ロボッ
ト1の歩行を継続するのに支障がないと判断したときに
は、歩行動作変更手段38は、歩行内容の修正、変更を
行わず、前記歩行シーケンスに従ってSTEP7で、階
段に対する足平4の着床位置をモータコントローラ(図
示しない)に出力する。
【0039】尚、本実施の形態の画像入力制御手段35
は、ロボット1の歩行時に各関節のエンコーダ36の出
力からロボット1の姿勢を認識したが、ロボット1の基
体2に鉛直方向に対する傾きを検出する傾斜センサ10
(図1参照)を設け、該傾斜計10の出力を考慮してロ
ボット1の姿勢を認識するようにしてもよく、さらに、
コントローラ30からサーボモータ37への指令値を考
慮してロボット1の姿勢を認識するようにしてもよい。
は、ロボット1の歩行時に各関節のエンコーダ36の出
力からロボット1の姿勢を認識したが、ロボット1の基
体2に鉛直方向に対する傾きを検出する傾斜センサ10
(図1参照)を設け、該傾斜計10の出力を考慮してロ
ボット1の姿勢を認識するようにしてもよく、さらに、
コントローラ30からサーボモータ37への指令値を考
慮してロボット1の姿勢を認識するようにしてもよい。
【0040】また、本実施の形態の画像入力制御手段3
5は、足平4と干渉物の双方がカメラ7の視野に入る姿
勢となったときに、画像入力指令を出すようにしたが、
予め決められた歩行シーケンスに従ってロボット1の歩
行動作を制御するときには、該歩行シーケンス中で、足
平4を干渉物との双方がカメラ7の視野内に入るタイミ
ングも予め把握できる。そのため、該タイミングになっ
たときに、画像入力命令を出すようにしてもよい。
5は、足平4と干渉物の双方がカメラ7の視野に入る姿
勢となったときに、画像入力指令を出すようにしたが、
予め決められた歩行シーケンスに従ってロボット1の歩
行動作を制御するときには、該歩行シーケンス中で、足
平4を干渉物との双方がカメラ7の視野内に入るタイミ
ングも予め把握できる。そのため、該タイミングになっ
たときに、画像入力命令を出すようにしてもよい。
【0041】また、画像入力制御手段35に予め歩行方
向の地形情報を保持しておくことで、画像入力制御手段
35は、ロボット1の歩行動作中に干渉物が視覚センサ
7の視野内に入る地点を予測することができる。そし
て、該地点に至った時に、画像入力制御手段35から画
像入力部31に対して画像データ8の取得を指示するよ
うにすることで、干渉物が視覚センサ7の視野内に入ら
ない状態で画像データ8が取込まれ、直線成分抽出部3
3や位置関係算出手段34によって無駄な処理が行われ
る可能性を低下させることができる。
向の地形情報を保持しておくことで、画像入力制御手段
35は、ロボット1の歩行動作中に干渉物が視覚センサ
7の視野内に入る地点を予測することができる。そし
て、該地点に至った時に、画像入力制御手段35から画
像入力部31に対して画像データ8の取得を指示するよ
うにすることで、干渉物が視覚センサ7の視野内に入ら
ない状態で画像データ8が取込まれ、直線成分抽出部3
3や位置関係算出手段34によって無駄な処理が行われ
る可能性を低下させることができる。
【0042】また、図3を参照して、カメラ7よりも視
野が広いカメラ11(本発明の補助視覚センサに相当す
る)を設け、画像入力制御手段35がカメラ11による
画像データ12からロボット1の歩行方向の干渉物の有
無を認識するようにしてもよい。この場合には、ロボッ
ト1が干渉物がカメラ7の視野内に入る地点に至った時
に、画像入力制御手段35から画像データ入力部31に
対して画像データ8の取得を指示するようにすること
で、干渉物が視覚センサ7の視野内に入らない状態で画
像データ8が取込まれ、直線成分抽出部33や位置関係
算出手段34によって無駄な処理が行われることを防止
することができる。
野が広いカメラ11(本発明の補助視覚センサに相当す
る)を設け、画像入力制御手段35がカメラ11による
画像データ12からロボット1の歩行方向の干渉物の有
無を認識するようにしてもよい。この場合には、ロボッ
ト1が干渉物がカメラ7の視野内に入る地点に至った時
に、画像入力制御手段35から画像データ入力部31に
対して画像データ8の取得を指示するようにすること
で、干渉物が視覚センサ7の視野内に入らない状態で画
像データ8が取込まれ、直線成分抽出部33や位置関係
算出手段34によって無駄な処理が行われることを防止
することができる。
【0043】また、カメラ7に複眼カメラを用い、該複
眼カメラによる立体視によって足平4と干渉物との間の
距離情報を得るようにしても良く、或いは、カメラ7に
ズームレンズを取付けて、足平4と干渉物の双方がカメ
ラ7の視野内に入るように、該ズームレンズの倍率を制
御するようにしてもよい。
眼カメラによる立体視によって足平4と干渉物との間の
距離情報を得るようにしても良く、或いは、カメラ7に
ズームレンズを取付けて、足平4と干渉物の双方がカメ
ラ7の視野内に入るように、該ズームレンズの倍率を制
御するようにしてもよい。
【0044】また、ロボット1の歩行中に、位置関係算
出手段34による足平4と干渉物との位置関係の算出
を、脚部4の離床から着床までの間に、少なくとも一回
行うようにしてもよい。これにより、その後の歩行動作
の修正、変更をより短い間隔で行うことができ、ロボッ
ト1の歩行動作をより安定して行うことができる。
出手段34による足平4と干渉物との位置関係の算出
を、脚部4の離床から着床までの間に、少なくとも一回
行うようにしてもよい。これにより、その後の歩行動作
の修正、変更をより短い間隔で行うことができ、ロボッ
ト1の歩行動作をより安定して行うことができる。
【0045】また、本実施の形態では、画像データ8か
ら直線を抽出することで、足平4と階段5の位置を算出
したが、足平4の色と足平4の接地面の色との関係や、
照明状態等によっては、足平4や階段5のエッジ部分の
直線が精度良く抽出されない場合がある。そこで、図1
を参照して、足平4上にマークmを付けておき、画像デ
ータ8から該マークmのエッジを抽出することで、足平
4の位置を算出してもよい(この場合には、コントロー
ラ30がマークmと足平4のエッジの位置関係を予め認
識している必要がある)。
ら直線を抽出することで、足平4と階段5の位置を算出
したが、足平4の色と足平4の接地面の色との関係や、
照明状態等によっては、足平4や階段5のエッジ部分の
直線が精度良く抽出されない場合がある。そこで、図1
を参照して、足平4上にマークmを付けておき、画像デ
ータ8から該マークmのエッジを抽出することで、足平
4の位置を算出してもよい(この場合には、コントロー
ラ30がマークmと足平4のエッジの位置関係を予め認
識している必要がある)。
【0046】さらに、階段5にも予めマークを付けてお
き、画像データ8から該マークのエッジを抽出すること
で、階段の位置を算出するようにしてもよい(この場合
は、コントローラ30が該マークと階段のエッジの位置
関係を予め認識していることが必要となる)。このよう
に、足平4や階段5に予めマークを付し、該マークのエ
ッジから足平4と階段5の位置関係を算出することで、
上述した足平4の色と足平4の接地面の色との関係に拘
わらず、また、照明状態等の影響を受け難くして、より
精度良く足平4と階段5の位置関係を算出することがで
きる。
き、画像データ8から該マークのエッジを抽出すること
で、階段の位置を算出するようにしてもよい(この場合
は、コントローラ30が該マークと階段のエッジの位置
関係を予め認識していることが必要となる)。このよう
に、足平4や階段5に予めマークを付し、該マークのエ
ッジから足平4と階段5の位置関係を算出することで、
上述した足平4の色と足平4の接地面の色との関係に拘
わらず、また、照明状態等の影響を受け難くして、より
精度良く足平4と階段5の位置関係を算出することがで
きる。
【0047】また、ロボット1が階段を昇降している時
に、カメラ7の故障が生じたり、カメラ7の視野を遮る
物が付着した状況となり、足平4と階段の双方がカメラ
7の視野内に入らない状況となったときには、該状況の
継続度合に応じて歩行を中断したり、或いは、6軸力セ
ンサ9(図1参照)を設け、該6軸力センサ9の出力か
ら足平4と階段の位置関係を把握するようにしてもよ
い。
に、カメラ7の故障が生じたり、カメラ7の視野を遮る
物が付着した状況となり、足平4と階段の双方がカメラ
7の視野内に入らない状況となったときには、該状況の
継続度合に応じて歩行を中断したり、或いは、6軸力セ
ンサ9(図1参照)を設け、該6軸力センサ9の出力か
ら足平4と階段の位置関係を把握するようにしてもよ
い。
【0048】図5を参照して、6軸力センサ9は、足平
4が接地面から受ける抗力に基づくX,Y,Zの各軸方
向の作用力(FX ,FY ,FZ )と、各軸回りのモーメ
ント(MX ,MY ,MZ )を検出するものである。本願
出願人が特開平11−10562号公報に提案した技術
によれば、ロボット1の足平4が階段のエッジに接地し
たときに、足平4を該エッジに沿って左右に傾動させ、
各傾斜姿勢での6軸力センサ9の出力から各傾斜姿勢に
おいて足平4がエッジから受ける抗力の中心の足平4の
足底面上での位置を把握することで、各傾斜姿勢におけ
る該抗力の中心位置に基づいて、階段のエッジに対する
足平4の接地方向と接地位置を把握することができる。
これにより、階段の昇降中にカメラ7の故障が生じた場
合であっても、ロボット1は、階段に対する足平4の接
地位置を修正しながら階段の昇降を続行することができ
る。
4が接地面から受ける抗力に基づくX,Y,Zの各軸方
向の作用力(FX ,FY ,FZ )と、各軸回りのモーメ
ント(MX ,MY ,MZ )を検出するものである。本願
出願人が特開平11−10562号公報に提案した技術
によれば、ロボット1の足平4が階段のエッジに接地し
たときに、足平4を該エッジに沿って左右に傾動させ、
各傾斜姿勢での6軸力センサ9の出力から各傾斜姿勢に
おいて足平4がエッジから受ける抗力の中心の足平4の
足底面上での位置を把握することで、各傾斜姿勢におけ
る該抗力の中心位置に基づいて、階段のエッジに対する
足平4の接地方向と接地位置を把握することができる。
これにより、階段の昇降中にカメラ7の故障が生じた場
合であっても、ロボット1は、階段に対する足平4の接
地位置を修正しながら階段の昇降を続行することができ
る。
【0049】また、本実施の形態では、カメラ7を基体
2の頭部6に取り付けたが、基体2の他の部分、例えば
胸部等に取り付けるようにしてもよい。また、脚部3の
一部として足平4と干渉物の位置関係を算出したが、脚
部3の他の部分、例えば膝部と干渉物の位置関係を算出
するようにしてもよい。
2の頭部6に取り付けたが、基体2の他の部分、例えば
胸部等に取り付けるようにしてもよい。また、脚部3の
一部として足平4と干渉物の位置関係を算出したが、脚
部3の他の部分、例えば膝部と干渉物の位置関係を算出
するようにしてもよい。
【図1】視覚センサによる画像データの取得方法の説明
図。
図。
【図2】視覚センサによる画像データの取得タイミング
の説明図。
の説明図。
【図3】ロボットの脚部の一部と干渉物との位置関係を
算出するための構成の説明図。
算出するための構成の説明図。
【図4】ロボットの足平の着床位置の出力フローチャー
ト。
ト。
【図5】6軸力センサの機能説明図。
1…脚式移動ロボット、2…基部、3…脚部、4…足
平、5…階段 (干渉物)、6…頭部、7…カメラ、8…
画像データ、9…6軸力センサ、10…傾斜センサ、2
0…膝部、30…コントローラ、31…画像データ入力
部、32…画像メモリ、33…直線成分抽出部、34…
位置関係算出手段、35…画像入力制御手段、36…エ
ンコーダ、37…サーボモータ、38…歩行動作変更手
段
平、5…階段 (干渉物)、6…頭部、7…カメラ、8…
画像データ、9…6軸力センサ、10…傾斜センサ、2
0…膝部、30…コントローラ、31…画像データ入力
部、32…画像メモリ、33…直線成分抽出部、34…
位置関係算出手段、35…画像入力制御手段、36…エ
ンコーダ、37…サーボモータ、38…歩行動作変更手
段
Claims (7)
- 【請求項1】基体と複数本の脚部とからなり、基体に取
り付けられた視覚センサと、該視覚センサを介して画像
データを取得する画像入力手段と、該画像入力手段によ
り取得された画像データを使用して、歩行に対する干渉
物と脚部との位置関係を算出する位置関係算出手段とを
備え、該位置関係算出手段の算出結果から干渉物と脚部
との位置関係を把握しながら歩行を行う脚式移動ロボッ
トにおいて、 前記位置関係算出手段は、前記画像入力手段により取得
された、前記脚部の一部と前記ロボットの歩行に対する
干渉物の双方の画像を含む画像データから、前記脚部と
該干渉物との位置関係を算出することを特徴とする脚式
移動ロボット。 - 【請求項2】前記画像入力手段は、前記干渉物が存在し
たならば、該干渉物と前記脚部の一部の双方が前記視覚
センサの視野内に入る姿勢に前記脚部がなったときに、
前記視覚センサを介して画像データを取得することを特
徴とする請求項1記載の脚式移動ロボット。 - 【請求項3】前記位置関係算出手段による前記脚部と前
記干渉物との位置関係の算出結果に応じて、その後の歩
行動作の内容を変更する歩行動作変更手段を備えたこと
を特徴とする請求項1又は2記載の脚式移動ロボット。 - 【請求項4】歩行動作中に、前記脚部が離床してから着
床するまでの間に、前記位置関係算出手段による前記脚
部と前記干渉物との位置関係の算出を、少なくとも1回
行うことを特徴とする請求項3記載の脚式移動ロボッ
ト。 - 【請求項5】前記画像入力手段は、歩行方向の地形情報
を予め保持し、歩行動作中に前記干渉物が前記視覚セン
サの視野内に入ると予測される地点に至った時に、前記
視覚センサを介して画像データを取得することを特徴と
する請求項1又は2記載の脚式移動ロボット。 - 【請求項6】前記脚部のうち、前記視覚センサの視野内
に入る部分にマークを付け、前記位置関係算出手段は、
前記画像データから該マークのエッジを抽出することに
より、前記脚部の位置を算出することを特徴とする請求
項1又は2記載の脚式移動ロボット。 - 【請求項7】前記視覚センサよりも視野が広い補助視覚
センサを設け、前記画像入力手段は、該補助視覚センサ
を介して歩行方向の地形の画像データを入力して、該地
形の画像データから前記干渉物の存在位置を認識し、該
干渉物が前記視覚センサの視野内に入る地点に至った時
に、前記視覚センサを介して画像データを取得すること
を特徴とする請求項1又は2記載の脚式移動ロボット。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11110555A JP2000153476A (ja) | 1998-09-14 | 1999-04-19 | 脚式移動ロボット |
US09/390,630 US6317652B1 (en) | 1998-09-14 | 1999-09-07 | Legged mobile robot |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-260129 | 1998-09-14 | ||
JP26012998 | 1998-09-14 | ||
JP11110555A JP2000153476A (ja) | 1998-09-14 | 1999-04-19 | 脚式移動ロボット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000153476A true JP2000153476A (ja) | 2000-06-06 |
Family
ID=26450161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11110555A Pending JP2000153476A (ja) | 1998-09-14 | 1999-04-19 | 脚式移動ロボット |
Country Status (2)
Country | Link |
---|---|
US (1) | US6317652B1 (ja) |
JP (1) | JP2000153476A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002156226A (ja) * | 2000-11-20 | 2002-05-31 | Honda Motor Co Ltd | 距離測定装置 |
US6534943B1 (en) * | 1999-10-25 | 2003-03-18 | Sony Corporation | Robot device and learning method of robot device |
WO2003090980A1 (fr) * | 2002-04-26 | 2003-11-06 | Honda Giken Kogyo Kabushiki Kaisha | Dispositif d'estimation automatique de position pour robots mobiles montes sur des jambes |
KR100981698B1 (ko) | 2007-03-29 | 2010-09-10 | 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸 | 다리식 이동 로봇 |
JP2011115898A (ja) * | 2009-12-03 | 2011-06-16 | Honda Motor Co Ltd | ロボット |
JP2012177608A (ja) * | 2011-02-25 | 2012-09-13 | Honda Motor Co Ltd | 段差エッジ推定装置 |
JP2013072813A (ja) * | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | 段差部認識装置 |
JP2014100767A (ja) * | 2012-11-20 | 2014-06-05 | Toshiba Corp | 多脚歩行ロボットの段差歩行制御装置及び方法 |
JP2015080832A (ja) * | 2013-10-22 | 2015-04-27 | 本田技研工業株式会社 | 脚式移動ロボットの制御システム |
WO2020110574A1 (ja) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | 制御装置、制御方法及びプログラム |
CN115303383A (zh) * | 2022-06-10 | 2022-11-08 | 北京建筑大学 | 一种基于新型凸轮行走机构的步行机器人 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3443077B2 (ja) | 1999-09-20 | 2003-09-02 | ソニー株式会社 | ロボットの運動パターン生成装置及び運動パターン生成方法、並びにロボット |
JP3615702B2 (ja) * | 1999-11-25 | 2005-02-02 | ソニー株式会社 | 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット |
JP4480843B2 (ja) * | 2000-04-03 | 2010-06-16 | ソニー株式会社 | 脚式移動ロボット及びその制御方法、並びに、脚式移動ロボット用相対移動測定センサ |
JP2001322079A (ja) * | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
JP3634238B2 (ja) * | 2000-05-19 | 2005-03-30 | 本田技研工業株式会社 | 脚式移動ロボットの床形状推定装置 |
JP3726009B2 (ja) * | 2000-05-19 | 2005-12-14 | 本田技研工業株式会社 | 脚式移動ロボットの床形状推定装置 |
JP2002131016A (ja) * | 2000-10-27 | 2002-05-09 | Honda Motor Co Ltd | 距離測定装置、及び距離測定方法 |
JPWO2002040226A1 (ja) * | 2000-11-17 | 2004-03-25 | 本田技研工業株式会社 | 2足歩行ロボット |
JP4252721B2 (ja) * | 2000-11-17 | 2009-04-08 | 本田技研工業株式会社 | 二足歩行ロボット |
US6507773B2 (en) | 2001-06-14 | 2003-01-14 | Sharper Image Corporation | Multi-functional robot with remote and video system |
KR100956521B1 (ko) * | 2002-04-26 | 2010-05-06 | 혼다 기켄 고교 가부시키가이샤 | 다리식 이동 로봇의 제어장치 |
US20040162637A1 (en) | 2002-07-25 | 2004-08-19 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
US20040138780A1 (en) * | 2002-11-15 | 2004-07-15 | Lewis Murray Anthony | Certain principles of biomorphic robots |
US7127326B2 (en) * | 2002-11-15 | 2006-10-24 | Iguana Robotics, Inc. | Certain principles of biomorphic robots including foot placement selection using non-geometric visual properties |
US7238079B2 (en) * | 2003-01-14 | 2007-07-03 | Disney Enterprise, Inc. | Animatronic supported walking system |
US7805220B2 (en) | 2003-03-14 | 2010-09-28 | Sharper Image Acquisition Llc | Robot vacuum with internal mapping system |
US7174830B1 (en) * | 2003-06-05 | 2007-02-13 | Dawei Dong | Robotic cooking system |
US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
DE102004030144B4 (de) * | 2004-06-22 | 2007-09-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Nahbereichsdetektion um eine Robotereinheit |
US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
JP4501601B2 (ja) * | 2004-09-03 | 2010-07-14 | トヨタ自動車株式会社 | 脚式ロボットとその制御方法ならびに歩容データの作成装置と作成方法 |
US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
US7327112B1 (en) | 2006-03-06 | 2008-02-05 | Adrian Gregory Hlynka | Multiple leg tumbling robot |
US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
US20080004749A1 (en) * | 2006-06-30 | 2008-01-03 | Honeywell International, Inc. | System and method for generating instructions for a robot |
JP2008080472A (ja) * | 2006-09-29 | 2008-04-10 | Toshiba Corp | ロボット装置及びその制御方法 |
JP4171510B2 (ja) * | 2006-12-20 | 2008-10-22 | 本田技研工業株式会社 | 移動装置、ならびにその制御システム、制御プログラムおよび監督システム |
JP4143103B2 (ja) * | 2006-12-20 | 2008-09-03 | 本田技研工業株式会社 | 移動装置、ならびにその制御システム、制御プログラムおよび監督システム |
US20080178749A1 (en) * | 2007-01-25 | 2008-07-31 | Stutman Peter S | Remotely controlled system and method for the preparation of a user-defined food product or beverage |
US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
US8406505B2 (en) | 2007-08-30 | 2013-03-26 | Honda Motor Co., Ltd. | Image brightness reduction for legged mobile robot |
CN101491901B (zh) * | 2008-01-24 | 2010-12-01 | 财团法人工业技术研究院 | 工作站 |
JP5104355B2 (ja) * | 2008-02-01 | 2012-12-19 | 富士通株式会社 | ロボット制御装置、ロボット制御方法およびロボット制御プログラム |
US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
US8849680B2 (en) * | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
US8897920B2 (en) | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
US20100292884A1 (en) * | 2009-05-12 | 2010-11-18 | Rogelio Manfred Neumann | Device for Influencing Navigation of an Autonomous Vehicle |
US8384755B2 (en) | 2009-08-26 | 2013-02-26 | Intouch Technologies, Inc. | Portable remote presence robot |
US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
US8244402B2 (en) * | 2009-09-22 | 2012-08-14 | GM Global Technology Operations LLC | Visual perception system and method for a humanoid robot |
JP5284923B2 (ja) * | 2009-10-28 | 2013-09-11 | 本田技研工業株式会社 | 脚式移動ロボットの制御装置 |
KR20110080919A (ko) * | 2010-01-07 | 2011-07-13 | 삼성전자주식회사 | 로봇 |
US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
EP2571660B1 (en) * | 2010-05-20 | 2018-08-15 | iRobot Corporation | Mobile human interface robot |
US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
US10808882B2 (en) | 2010-05-26 | 2020-10-20 | Intouch Technologies, Inc. | Tele-robotic system with a robot face placed on a chair |
US9264664B2 (en) | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
US12093036B2 (en) | 2011-01-21 | 2024-09-17 | Teladoc Health, Inc. | Telerobotic system with a dual application screen presentation |
CN104898652B (zh) | 2011-01-28 | 2018-03-13 | 英塔茨科技公司 | 与一个可移动的远程机器人相互交流 |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
US20140139616A1 (en) | 2012-01-27 | 2014-05-22 | Intouch Technologies, Inc. | Enhanced Diagnostics for a Telepresence Robot |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
US8836751B2 (en) | 2011-11-08 | 2014-09-16 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
US9156159B2 (en) * | 2012-03-08 | 2015-10-13 | Disney Enterprises Inc. | Robot cyclic locomotion using a dynamic object |
JP5959899B2 (ja) * | 2012-03-30 | 2016-08-02 | 本田技研工業株式会社 | 接触状態推定装置 |
US9251313B2 (en) | 2012-04-11 | 2016-02-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
WO2013176760A1 (en) * | 2012-05-22 | 2013-11-28 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
JP2015175664A (ja) * | 2014-03-13 | 2015-10-05 | 三菱重工業株式会社 | 地形判断装置、及び脚式移動ロボット |
EP2933069B1 (en) * | 2014-04-17 | 2019-07-03 | Softbank Robotics Europe | Omnidirectional wheeled humanoid robot based on a linear predictive position and velocity controller |
US9387588B1 (en) | 2014-08-25 | 2016-07-12 | Google Inc. | Handling gait disturbances with asynchronous timing |
JP6417269B2 (ja) * | 2015-04-27 | 2018-11-07 | 本田技研工業株式会社 | 移動体の移動速度推定装置及び移動体の制御装置 |
US9594377B1 (en) * | 2015-05-12 | 2017-03-14 | Google Inc. | Auto-height swing adjustment |
US9925667B1 (en) | 2016-01-25 | 2018-03-27 | Boston Dynamics, Inc. | Continuous slip recovery |
JP6927727B2 (ja) * | 2017-03-29 | 2021-09-01 | 本田技研工業株式会社 | ロボットの制御装置 |
US11862302B2 (en) | 2017-04-24 | 2024-01-02 | Teladoc Health, Inc. | Automated transcription and documentation of tele-health encounters |
US10483007B2 (en) | 2017-07-25 | 2019-11-19 | Intouch Technologies, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
US10617299B2 (en) | 2018-04-27 | 2020-04-14 | Intouch Technologies, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
CN108638018A (zh) * | 2018-05-04 | 2018-10-12 | 宁波科邦华诚技术转移服务有限公司 | 一种自适应行走机器人 |
US11548151B2 (en) | 2019-04-12 | 2023-01-10 | Boston Dynamics, Inc. | Robotically negotiating stairs |
US11599128B2 (en) | 2020-04-22 | 2023-03-07 | Boston Dynamics, Inc. | Perception and fitting for a stair tracker |
US12094195B2 (en) | 2020-04-20 | 2024-09-17 | Boston Dynamics, Inc. | Identifying stairs from footfalls |
US12077229B2 (en) | 2020-04-22 | 2024-09-03 | Boston Dynamics, Inc. | Stair tracking for modeled and perceived terrain |
CN112857314A (zh) * | 2020-12-30 | 2021-05-28 | 惠州学院 | 双模态地形识别方法及硬件系统,及其传感器安装方法 |
CN114684295B (zh) * | 2020-12-31 | 2023-09-05 | 国网智能科技股份有限公司 | 一种足式机器人抬脚步态规划方法、控制器及足式机器人 |
CN114661057B (zh) * | 2022-05-23 | 2022-08-26 | 武汉跨克信息技术有限公司 | 一种智能仿生双足巡检机器人 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8826550D0 (en) * | 1988-11-14 | 1989-05-17 | Smiths Industries Plc | Image processing apparatus and methods |
JPH0593778A (ja) | 1991-09-30 | 1993-04-16 | Nec Corp | 合成開口レーダ装置 |
US5416393A (en) * | 1992-05-20 | 1995-05-16 | Honda Giken Kogyo Kabushiki Kaisha | Legged mobile robot foot structure |
JP3278467B2 (ja) * | 1992-08-18 | 2002-04-30 | 本田技研工業株式会社 | 移動ロボットの制御装置 |
US5986746A (en) * | 1994-02-18 | 1999-11-16 | Imedge Technology Inc. | Topographical object detection system |
JP3621808B2 (ja) | 1997-06-20 | 2005-02-16 | 本田技研工業株式会社 | 脚式移動ロボットの足平接地状態把握装置 |
-
1999
- 1999-04-19 JP JP11110555A patent/JP2000153476A/ja active Pending
- 1999-09-07 US US09/390,630 patent/US6317652B1/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6534943B1 (en) * | 1999-10-25 | 2003-03-18 | Sony Corporation | Robot device and learning method of robot device |
JP2002156226A (ja) * | 2000-11-20 | 2002-05-31 | Honda Motor Co Ltd | 距離測定装置 |
WO2003090980A1 (fr) * | 2002-04-26 | 2003-11-06 | Honda Giken Kogyo Kabushiki Kaisha | Dispositif d'estimation automatique de position pour robots mobiles montes sur des jambes |
US7337040B2 (en) | 2002-04-26 | 2008-02-26 | Honda Giken Kogyo Kabushiki Kaisha | Self-position estimating device for leg type movable robots |
KR100956520B1 (ko) | 2002-04-26 | 2010-05-06 | 혼다 기켄 고교 가부시키가이샤 | 다리식 이동 로봇의 자기위치 추정 장치 |
KR100981698B1 (ko) | 2007-03-29 | 2010-09-10 | 고쿠리츠다이가쿠호진 토쿄고교 다이가꾸 | 다리식 이동 로봇 |
JP2011115898A (ja) * | 2009-12-03 | 2011-06-16 | Honda Motor Co Ltd | ロボット |
JP2012177608A (ja) * | 2011-02-25 | 2012-09-13 | Honda Motor Co Ltd | 段差エッジ推定装置 |
JP2013072813A (ja) * | 2011-09-28 | 2013-04-22 | Honda Motor Co Ltd | 段差部認識装置 |
JP2014100767A (ja) * | 2012-11-20 | 2014-06-05 | Toshiba Corp | 多脚歩行ロボットの段差歩行制御装置及び方法 |
JP2015080832A (ja) * | 2013-10-22 | 2015-04-27 | 本田技研工業株式会社 | 脚式移動ロボットの制御システム |
WO2020110574A1 (ja) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | 制御装置、制御方法及びプログラム |
CN115303383A (zh) * | 2022-06-10 | 2022-11-08 | 北京建筑大学 | 一种基于新型凸轮行走机构的步行机器人 |
CN115303383B (zh) * | 2022-06-10 | 2023-04-07 | 北京建筑大学 | 一种基于新型凸轮行走机构的步行机器人 |
Also Published As
Publication number | Publication date |
---|---|
US6317652B1 (en) | 2001-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000153476A (ja) | 脚式移動ロボット | |
JP3330710B2 (ja) | 移動ロボットの位置検知および制御装置 | |
Nishiwaki et al. | Autonomous navigation of a humanoid robot over unknown rough terrain using a laser range sensor | |
CN113696186B (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
JP3176701B2 (ja) | 移動体の現在位置認識処理装置 | |
EP1975046B1 (en) | Legged locomotion robot | |
US7398136B2 (en) | Biped robot control system | |
JP5213023B2 (ja) | ロボット | |
Taylor et al. | Robust vision-based pose control | |
KR100807449B1 (ko) | 레그식 로봇의 제어 장치 | |
US6177776B1 (en) | Apparatus for recognizing the landed state of foot of legged moving robot | |
NL1020120A1 (nl) | Robotschoonmaker, systeem dat die toepast en werkwijze voor herverbinden met extern oplaadapparaat. | |
KR20120070291A (ko) | 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법 | |
JP4578438B2 (ja) | ロボット装置 | |
JP6892393B2 (ja) | 足接地位置追随装置、その動きを制御する方法、コンピュータ実行可能なプログラム、及びそれを格納したコンピュータ読取可能な非一時的な情報記録媒体 | |
JP2003330539A (ja) | 自律移動ロボットおよびその自律移動方法 | |
JP2003311670A (ja) | ロボットアームの位置制御方法およびロボット装置 | |
WO2004085121A1 (ja) | ロボット装置及びロボット装置の制御方法 | |
Görner et al. | A leg proprioception based 6 DOF odometry for statically stable walking robots | |
KR20170138977A (ko) | 보행 로봇 및 그의 위치 인식과 지도 작성을 동시에 수행하는 방법 | |
JP2003330538A (ja) | 自律移動ロボットおよびその自律移動方法 | |
Cupec et al. | Vision-guided humanoid walking—Concepts and experiments | |
JP2569579Y2 (ja) | 視覚センサを備えた脚式移動ロボット | |
JP2007007803A (ja) | ロボットとその制御方法 | |
CN115136093A (zh) | 信息处理装置、信息处理方法、计算机程序和移动机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |