JP2006003137A - 光学式触覚センサ及び該センサにおける情報取得方法 - Google Patents
光学式触覚センサ及び該センサにおける情報取得方法 Download PDFInfo
- Publication number
- JP2006003137A JP2006003137A JP2004177786A JP2004177786A JP2006003137A JP 2006003137 A JP2006003137 A JP 2006003137A JP 2004177786 A JP2004177786 A JP 2004177786A JP 2004177786 A JP2004177786 A JP 2004177786A JP 2006003137 A JP2006003137 A JP 2006003137A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- elastic body
- force vector
- tactile
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003287 optical effect Effects 0.000 title claims abstract description 46
- 239000003550 marker Substances 0.000 claims abstract description 249
- 239000013598 vector Substances 0.000 claims abstract description 121
- 238000003384 imaging method Methods 0.000 claims abstract description 86
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000012546 transfer Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000010354 integration Effects 0.000 claims description 13
- 230000035807 sensation Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 30
- 230000006399 behavior Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 15
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000004904 shortening Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229920002379 silicone rubber Polymers 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000004945 silicone rubber Substances 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
- G01L1/247—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet using distributed sensing elements, e.g. microcapsules
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
- G01L5/166—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using photoelectric means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
- G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
- G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】
大面積力ベクトル分布計測を可能とする光学式触覚センサを提供する。大面積力ベクトル分布計測を可能とするための情報統合方法を提供する。
【解決手段】
透明弾性体1と該透明弾性体1内に設けた複数のマーカー3,4とから構成された触覚部と、該透明弾性体1の触覚面2に物体5が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する複数の撮像装置6,6とを有する光学式触覚センサにおけるマーカー画像の統合方法である。画像統合方法は、該複数の撮像装置の各撮像装置6によって、各撮像装置6が重複撮影領域11を有するように該透明弾性体1の部分領域を撮影して部分画像を取得するステップと、該重複撮影領域内の同一マーカーが一致するように各撮像装置6で取得された部分画像を統合するステップを有する。
【選択図】
図5
大面積力ベクトル分布計測を可能とする光学式触覚センサを提供する。大面積力ベクトル分布計測を可能とするための情報統合方法を提供する。
【解決手段】
透明弾性体1と該透明弾性体1内に設けた複数のマーカー3,4とから構成された触覚部と、該透明弾性体1の触覚面2に物体5が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する複数の撮像装置6,6とを有する光学式触覚センサにおけるマーカー画像の統合方法である。画像統合方法は、該複数の撮像装置の各撮像装置6によって、各撮像装置6が重複撮影領域11を有するように該透明弾性体1の部分領域を撮影して部分画像を取得するステップと、該重複撮影領域内の同一マーカーが一致するように各撮像装置6で取得された部分画像を統合するステップを有する。
【選択図】
図5
Description
本発明は、光学式触覚センサに係り、好ましくは、比較的大きな領域における力の加わり方を求めることに用いられる触覚センサに関するものである。
触覚センサによって接触面の接触状態を知ることを考える時、接触面の各点にかかる力は大きさと方向を持った3成分のベクトルである。これを図1の座標系でf(x,y)と表すことにする。ただしfはベクトルであるため、実際には各点においてx,y,z3成分を持つ。それぞれの成分を明示的に示す場合にはf(x,y)=[fx(x,y),fy(x,y),fz(x,y)]と表す。力分布が各接触点において3成分を持つことから、触覚センサによって接触面の力分布を再構成するためには少なくとも接触面の各点に対して3自由度以上の情報を得なければならない。
本出願の発明者等は、3次元ベクトル分布の計測が可能な光学式触覚センサを提案している。かかる光学式触覚センサの原理について、図2に基づいて説明する。光学式触覚センサは、透明弾性体とCCDカメラを用いて構成されている。透明弾性体内部に配置された球状マーカーをCCDカメラで撮影することで、弾性体の表面に力が加わった時の弾性体内部の変形情報を計測し、力分布を再構築する。
弾性体表面をxy平面、垂直方向をz軸にとりCCDカメラを用いてz方向から球状マーカーを撮影することにより、力が加わった際の測定点の移動をxy平面方向の移動ベクトルとして計測する。マーカーの変形情報から力ベクトル分布を再構築するため、弾性体内部の異なった深さに赤色球状マーカー、青色球状マーカーを測定点としてそれぞれN×N個配設することで深さの異なった2次元移動ベクトルを2つ求め、それぞれ異なった情報として扱うことで、情報量を増やして力ベクトル分布を求める。
このような光学式触覚センサの用途としては、当初、ヒューマノイド型ロボットにおけるロボットハンドへの適用等が考えられており、光学式触覚センサのアプリケーションとしては、小型の組み込み型センサを中心として研究されていた。しかしながら、このような光学式触覚センサは、3次元力ベクトル分布の計測が可能であると共に、センサ面が弾性体から構成されており、ロボットハンドのみならず、様々な分野におけるアプリケーションが期待される。
その一つとして、光学式触覚センサをいわゆる環境型触覚センサとして用いることが挙げられる。本明細書では、ロボットハンド等に組み込むことで用いられる組み込み型触覚センサに対して、環境に固定して使用するような触覚センサを環境型触覚センサと呼ぶ。しかしながら、環境に固定して使用する環境型触覚センサにおいては、例えば、椅子の座面、ベッド、床面等にセンサを適用することが想定されることから、大面積力分布計測が必要となると考えられ、ロボットハンド等への組み込みを前提としていた従来の小型の光触覚センサをそのまま適用することはできない。
国際公開公報WO02/18893 A1
本発明の目的は、大面積力分布計測を可能とする光学式触覚センサを提供することにある。
本発明の他の目的は、大面積力分布計測を可能とするための情報統合方法を提供することにある。
本発明は、かかる課題を解決するために創案されたものであって、透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する撮像手段とを有する光学式触覚センサにおいて、該撮像手段は複数の撮像装置から構成されていると共に、該複数の撮像装置の各撮像装置は、各撮像装置により取得される各撮影領域が部分的に重複する重複撮影領域を有するように設けてあり、該光学式触覚センサはさらに、該複数の撮像装置によって取得された各マーカー画像を統合する画像統合手段を有し、該画像統合手段は、該重複撮影領域における同一マーカーを一致させるようにして各撮影領域を統合して統合画像を生成するように構成されていることを特徴としている。
一つの好ましい態様では、該触覚部は複数の小面積触覚部を組み合わせることで構成された大面積触覚部である。尚、「大面積」、「小面積」という表現は相対的であるが、本明細書においては、「大面積」とは、ロボットハンドに組み込まれるような触覚部に比べて大きいことを意味し、「小面積」とは、「大面積」に比べて小さいことを意味する。「大面積」としては、椅子の座面、ベッド面、床面等が例示されるが、もちろん、これらよりも小さい面積のものも大面積に含まれる。
さらに好ましくは、触覚センサは、一つの小面積触覚部と該小面積触覚部に対応する一つの撮像手段からなるユニットを有し、該ユニットを複数組み合わせることで構成されている。触覚センサをセンサユニットから構成することで、任意の面積を有する触覚部を用意することができる。
本発明が採用した他の技術手段は、透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する撮像手段とを有する光学式触覚センサを用いたマーカー画像の取得方法であって、該マーカー画像取得方法は、該撮像手段として複数の撮像装置を設け、該複数の撮像装置の各撮像装置によって、各撮像装置が重複撮影領域を有するように該透明弾性体の部分領域を撮影して部分マーカー画像を取得するステップと、該重複撮影領域内の同一マーカーが一致するように各撮像手段で取得された部分マーカー画像を統合して統合マーカー画像を生成するステップを有するものである。
本発明が採用したさらに他の技術手段は、透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する複数の撮像装置とを有する光学式触覚センサにおけるマーカー画像の統合方法であって、該画像統合方法は、該複数の撮像装置の各撮像装置によって、各撮像装置が重複撮影領域を有するように該透明弾性体の部分領域を撮影して部分画像を取得するステップと、該重複撮影領域内の同一マーカーが一致するように各撮像装置で取得された部分画像を統合するステップを有するものである。
触覚部の構成としては、好ましくは、該触覚部は透明弾性体と該弾性体内に設けた複数のマーカー群とから構成されており、各マーカー群はそれぞれ多数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを該撮像手段で撮影することを特徴とする。
また、本発明は、センシング用のマーカーを用いて各撮像手段のキャリブレーションを行うことを含むものである。本発明は複数の撮像装置を有するものであり、撮像手段のキャリブレーションが必要となるが、本発明は必須構成要素としてセンシング用のマーカーを有しており、該マーカーをキャリブレーション用のマーカーに兼用することができる。さらに、本発明には、このような光学式触覚センサを用いた力ベクトル再構成法も含まれる。力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することで、力ベクトルの計算時間を短縮する。
本発明は、複数の撮像手段を用いてマーカーを振る舞いに関する情報を取得するようにしたので、触覚部の面積が大きい場合であっても、良好に対応することができる。したがって、本発明に係るセンサを用いることで、大面積力ベクトル分布計測が可能であり、得られたマーカー情報から大きい面積を有する触覚面に加えられた力を求めることが可能となる。しかも、各撮像手段によって取得された画像情報の統合や各撮像手段のキャリブレーションに、センシング用のマーカーを利用することができ、より少ない構成要素でセンサを構成することができる。
[A]光学式触覚センサの基本構成
本発明に係る光学式触覚センサは、触覚部と撮像手段とを備えており、該触覚部は透明弾性体と該弾性体内に設けた複数のマーカー群とから構成されており、各マーカー群はそれぞれ多数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを該撮像手段で撮影してマーカー画像を取得し、該マーカー画像から得られるマーカーの振る舞いに関する情報を用いて該触覚面に加えられた力を求めるように構成されている。
該有色マーカーの振る舞いを撮影することで、該弾性体に物体が接触した際における該有色マーカーの変位、ひずみ、傾きの少なくとも一つ以上を観測する。接触対象がセンサに接触した時の有色マーカーの情報から、透明弾性体内部のひずみ情報、さらにそこから計算された接触対象の形状や接触界面(弾性体の面、接触対象の面の双方を含む)に働く力の情報を検出するものである。本発明によれば、複数種類の情報を「色分け」というシンプルな方法によって個別に採集でき、光学式で複数種類の触覚情報を同時に得ることができる。そして、本発明によれば、「色分け」によって未知数の数以上の独立の観測値(マーカーの振る舞いに関する情報)を集め、逆問題を安定に解くことによって、力ベクトルを推定して再構築することができる。
有色マーカーは撮像手段、一つの好ましい例ではCCDカメラ、によって撮影され、画像処理される。例えば、マーカーの振る舞いは、撮影されたマーカー画像から求められるマーカーの移動情報として取得され、物体接触時とそれ以前の状態(透明弾性体に外力が作用していない状態)の画像を比較し、マーカーの移動情報(例えば、移動ベクトル)を検出する。あるいは、常時(透明弾性体に外力が作用していない状態)では、マーカーが認識できないような配設態様でマーカーを透明弾性体に埋設しておき、透明弾性体に物体が接触した時に各マーカー存在位置周辺におけるひずみにより生じるマーカーの変位、変形、傾きに応じてマーカーが認識されるように構成し、有色マーカーの見え方等から情報を検出する。あるいは、他の好ましい態様では、マーカー(例えば、階段状の帯状マーカーの場合)の振る舞いは、マーカーの輝度の変化として取得される。
光学式触覚センサには、該撮像手段で取得されたマーカーの振る舞いに関する情報(例えば、触覚面に物体が接触した時の各マーカーの移動情報である移動ベクトル)から触覚面に加えられた力ベクトルないし力ベクトル分布を再構成するための伝達関数が格納されている。伝達関数は、触覚面に加えられた力情報とマーカーの振る舞いに関する情報(例えば、移動ベクトル)とを関連付ける関数である。弾性体の触覚面に物体が接触した際の該有色マーカーを撮影してマーカー画像を取得し、該マーカー画像から、マーカーの振る舞いに関する情報を取得し、取得した情報を伝達関数に入力することで、力ベクトルを出力として求める。伝達関数に入力されるマーカーの振る舞いに関する情報の数は、求めたい力ベクトルの数よりも多い。
伝達関数は、弾性体の形状によっては、弾性体理論から導かれる式に基づいて算出することもできるが、弾性体の触覚面が自由曲面の場合には、伝達関数は、実測あるいはシミュレーションによって作成することが望ましい。実測あるいはシミュレーションによる伝達関数は、触覚面上に配置したサンプル点にx方向、y方向、z方向の所定の力が加えられた時のマーカーの振る舞いに関する情報(例えば、移動ベクトル)から求められる。
図3は本発明に係る光学式触覚センサ装置の原理図であり、センサ装置は、透光性弾性部材からなる透明弾性体1を備えており、透明弾性体1は曲面状の触覚面(センサ面)2を有している。透明弾性体1には、触覚面2に近接して、触覚面2の曲面に沿うようにして多数の有色マーカー3,4が埋設されており、透明弾性体1と有色マーカーとで触覚部を構成している。
有色マーカーは、2つの有色マーカー群から構成されており、2つのマーカー群は触覚面2から異なる深さに夫々埋設されている。一方のマーカー群を構成する有色マーカー3と、他方のマーカー群を構成する有色マーカー4とは互いに異なる色(例えば、一方が赤で、他方が青)を有している。
透明弾性体1の触覚面2に物体5が接触すると、透明弾性体1の内部に設けられた有色マーカー3,4が変位あるいは歪みを起こすように構成されている。センサ装置はさらに、撮像手段としてのカメラ6、及び光源7を備えている。光学式カメラ6は、透明弾性体1を挟むようにして、物体5が接触する側とは反対側(触覚面2から離隔した側)に位置させて配設されており、マーカー3,4の変位、歪みをカメラ6で撮影するようになっている。光源7は、導波管(光ファイバ)を用いて導くものであってもよい。撮像手段であるカメラ6によって取得されたマーカー3,4の画像情報がコンピュータ8に送信されてマーカー画像がコンピュータ8の表示部に表示され、マーカー画像からマーカーの振る舞い(変位、歪、傾き)に関するマーカー情報(例えば、移動情報の一つである移動ベクトル)がコンピュータ8の演算部によって計測される。コンピュータ8の記憶部には前述の伝達関数が格納されており、演算部によって、該伝達関数及び該マーカー情報(例えば、移動情報)を用いて、物体5から触覚面2に作用した力分布を再構築する。
透明弾性体1は好ましくはシリコンゴムから形成されるが、他のゴム類やエラストマー等の他の弾性部材から形成されてもよい。マーカーは、好ましくは、弾性部材から形成され、さらに好ましくは、透明弾性体1と同じ材料から構成され、一つの好ましい態様では、シリコンゴムに色素を加えたものから構成される。マーカーによって弾性体本体の変形が阻害されてはならないので、マーカーも弾性部材(好ましくは、弾性体と同等の弾性定数を有するもの)から形成されていることが好ましい。また、マーカーは、弾性体本体の変形を阻害しない程度に十分に微小なものであれば、マーカーの材質は特に限定されない。また、弾性体の部分がマーカーを構成するものであってもよい。
本発明では、透明弾性体1の中に光学的なマーカーを多数分布させ、弾性体1に物体が接触することによる弾性体1の変形によって、該マーカーに変位、ひずみ、傾きが生じる状況をカメラで撮影することにより、接触対象の情報や接触によって引き起こされた弾性体内部の変位、ひずみの情報を検出する。図3では2つのマーカー群を示したが、マーカー群の数は限定されず、たとえば、触覚面2に沿って3層状に三つのマーカー群を配設してものでもよい。
撮影手段としてのカメラは、ディジタル式カメラ、すなわち画像データを電気信号として出力するカメラであり、一つの好ましい例では、CCDカメラである。本発明に係る撮像手段はCCDカメラに限定されるものではなく、例えばC-MOS式イメージセンサを用いたディジタルカメラでもよい。マーカーとしてRed, Green, Blueの3種類用意したとき、これらを個別に捉えるためには、(1)撮像素子のカラーフィルタで分ける(この場合カメラのRGB出力を見ればそのまま各マーカーを個別に撮影したことになる)という方法と、(2)撮像素子は光の強度のみ捉え、光源としてRed,Green,
Blueを用意する(Redを光らせたときにはRedのマーカーからのみ反射光が有り、他の二種類のマーカーは光を吸収するため,結果的にカメラはRedのマーカーのみ捉える。これを時分割でGreen,Blueに対しても行えば(1)と等価な情報が得られる。)という方法の二つが有る。
Blueを用意する(Redを光らせたときにはRedのマーカーからのみ反射光が有り、他の二種類のマーカーは光を吸収するため,結果的にカメラはRedのマーカーのみ捉える。これを時分割でGreen,Blueに対しても行えば(1)と等価な情報が得られる。)という方法の二つが有る。
[B]環境型触覚センサの構成
本発明に係る環境型触覚センサの実施例を説明する。環境型触覚センサは、複数のセンサユニットから構成されている。図4左図に示すように、センサユニットは、一つの小面積触覚部10と小面積触覚部10を撮影する撮像手段である一つのCCDカメラ6とから構成されている。小面積触覚部10は、前述の基本構成で説明したように、透明弾性体と透明弾性体内部に設けた有色マーカーとから構成され、透明弾性体の触覚面に物体が接触すると、透明弾性体の内部に設けられた有色マーカーが移動し、有色マーカーの移動をCCDカメラ6で撮像するようになっている。そして、図4右図に示すように、複数のセンサユニットを組み合わせることでセンサ面の大面積化を図るものである。小面積触覚部10を、互いに同一面を形成するように、触覚部の端縁同士を当接させて敷き詰めることで大面積触覚部100を形成する。図示ものでは、小面積触覚部10は平面視方形状の形状を有している。小面積触覚部の形状は方形に限定されないが、複数の小面積触覚部を敷き詰める際には、方形状の触覚部が有利である。また、図示ものでは、平面状の触覚面10を備えた小面積触覚部を示したが、触覚面10は平面に限定されず、自由曲面からなる触覚面でもよい。
複数のCCDカメラ6を用いることで、それぞれのカメラによって取得された画像情報を統合する必要がある。図5は、複数台のカメラ画像の統合について説明する図である。このような画像は、例えば、コンピュータ8の表示部に表示される。先ず、複数台のカメラ6によって、各撮影領域が互いに部分的に重複するように小面積触覚部10の画像をそれぞれ取得する。次いで、重複撮影領域11中のマーカーが互いに一致するように各カメラ画像を合成することで画像情報の統合を行う。図5において、黒丸は青色マーカー、白丸は赤色マーカーであって、カメラ1の撮影領域とカメラ2の撮影領域は重複撮影領域11を有している。カメラ1の撮影領域において重複撮影領域11に対応する領域に含まれる青色マーカー及び赤色マーカーと、カメラ2の撮影領域において重複撮影領域11に対応する領域に含まれる青色マーカー及び赤色マーカーとを一致させるようにして、カメラ1によって撮影された部分画像とカメラ2によって撮影された部分画像とを合成する。ここでは、球状のマーカーに基づいて説明したが、後述する他の形状のマーカーを用いても同様に画像を統合することができる。
図4に示す4台のCCDカメラで撮像した画像を図6に示す。各CCDカメラで取得した撮影領域をそれぞれA,B,C,Dとすると、領域Aと領域B、領域Aと領域C、領域Bと領域D、領域Cと領域Dのそれぞれにおいて重複撮影領域11が形成されるように各撮影領域A,B,C,Dを統合する。尚、図6ではマーカーは省略してある。各カメラは、カメラ毎に予め決められた領域におけるマーカーの振る舞いを撮影するように構成されており、該決められた領域は、互いに重複する領域を有している。一つの態様では、各カメラは、それぞれ透明弾性体の所定の部分領域を撮像するように予め設定されており、各カメラによって取得される各所定の部分領域の画像を統合することで、透明弾性体全体の画像を取得できるように構成される。
複数台の撮像手段(CCDカメラ)を用いる場合のカメラのキャリブレーションについて説明する。カメラキャリブレーションは一般に得られた画像に生じているレンズによる歪の補正と世界座標系におけるカメラの位置と向きを求めるために行う。レンズの歪は広角なレンズを用いた際には必ず発生するものであり、カメラの位置・向きは画像情報を用いて決定することが最も正確である。本触覚センサにおいては画像情報と実際の位置との関係を求めることは必要なことであり、カメラキャリブレーションを行う必要がある。通常、複数台のカメラを用いた計測系では次のような手順を踏む必要がある。まず世界座標系に対して既知の位置に間隔の分かっている縞模様や白黒のタイル状模様を配置し、それを撮影する。次に,その撮影画像を用いてレンズ歪がない場合に撮影されるはずの画像とのズレを計算し,レンズ歪とカメラの位置・向きを求める。ここで、同じように複数台のカメラを用いる環境型触覚センサにおいては、前述の「既知の位置に間隔の分かっている縞模様や白黒のタイル状模様」は、既にセンシング用の有色マーカーとして配置され、画像として取得可能な状態となっている。そのため,本来計測系を組む前に行わなければならないカメラキャリブレーションを計測系を組んだ後にいつでも行うことが可能となる。
[C]触覚面に加えられた力ベクトル分布の再構成法
光学式触覚センサによって得られたマーカーの振る舞いに関する情報(例えば、マーカーの移動情報の一つである移動ベクトル)から触覚面に加えられた力ベクトル分布を求めるには、マーカーの振る舞いに関する情報(例えば、移動情報)Mから力情報Fへの変換が必要となる。マーカー情報Mから力情報Fへの変換は、式F=HMによって行なわれる。以下に、マーカー情報から力ベクトル分布を再構成する手法について、図7,8を参照しながら、マーカーの移動ベクトルから力ベクトル分布を求める手法に基づいて説明する。図7と図8とは、図7が平面状の触覚面、図8が自由曲面状の触覚面を示している点を除き、実質的に同じ内容である。ここでは簡単のため二次元断面(図のy軸方向は考えない)について考えるが、一般的な三次元の場合でもアルゴリズムは同一である。
fは接触表面にかかる力ベクトル、m,nはそれぞれBlue, Redの色付けをしたマーカーのCCD素子上での移動ベクトルを表す。適当な離散化によって有限な点数(図7,図8では4点)について考える。前述のように力ベクトルはそれぞれ3成分(x,y,z成分)をもつが、ここでは2成分(x,z成分)を考える。ここでは、説明の便宜上、図のようにx方向成分のみ観測されたとする。
f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]の8成分が求めたい力分布であり、
m=[m(1),m(2),m(3),m(4)], n=[n(1),n(2),n(3),n(4)]が観測される移動ベクトルである。このm,nをまとめてxと書くことにする。
すなわち、x=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]となる。
ここで、点1においてx方向単位力(大きさ1の力)が加えられたときに観察される各マーカーの移動ベクトルm,nをまとめてMx(1)と書く。
すなわち、
Mx(1)=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]
when
f=[1,0,0,0,0,0,0,0]
m=[m(1),m(2),m(3),m(4)], n=[n(1),n(2),n(3),n(4)]が観測される移動ベクトルである。このm,nをまとめてxと書くことにする。
すなわち、x=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]となる。
ここで、点1においてx方向単位力(大きさ1の力)が加えられたときに観察される各マーカーの移動ベクトルm,nをまとめてMx(1)と書く。
すなわち、
Mx(1)=[m(1),m(2),m(3),m(4),n(1),n(2),n(3),n(4)]
when
f=[1,0,0,0,0,0,0,0]
同様に、点1においてz向単位力が加えられたときに観察される各マーカーの移動ベクトルをMz(1)、点2おいてx方向単位力が加えられたときに観察される各マーカーの移動ベクトルをMx(2)等、以下同様に定める。線形弾性体(加えられた力分布と変位の間に線形加算関係が成り立つ弾性体。多くの弾性体はこの性質を満たす)の場合、一般的な力f=[fx(1),fx(2),fx(3),fx(4),fz(1),fz(2),fz(3),fz(4)]が与えられたときに生じる移動ベクトルxは次のように書かれる。
X=Mx(1)*fx(1) + Mz(1)*fz(1) + Mx(2)*fx(2)+…+Mz(4)*fz(4)
X=Mx(1)*fx(1) + Mz(1)*fz(1) + Mx(2)*fx(2)+…+Mz(4)*fz(4)
これを行列形式で書くと、X=H*fとなる。ただしH=[Mx(1);Mx(2);…;Mz(4)]。このHを、力fから変位xに伝達させるための写像と言う意味で伝達関数と呼ぶ。
要素ごとに書くと次のようになる。
ただしHmx(x1,x2)は,座標x=x2の表面に加わったx方向単位力による座標x=x1における、mマーカーがある深さでのx方向変位量を表す。同様に、Hnz(x1,x2)は座標x=x2の表面に加わったz方向単位力による座標x=x1における,nマーカーがある深さでのx方向変位量を表す。
要素ごとに書くと次のようになる。
観測されたxからfを求めるにはHの逆行列をかけてやればよい。すなわち
f=inv(H)*x(式1)である。ただしinvは逆行列(一般には一般化逆行列)を表す。
要素ごとに書くと数2のようになる。
ただしImx(1,1)等はinv(H)の各要素であるが,結局のところfx(1)を計算するためのm(1)の寄与を表す。
f=inv(H)*x(式1)である。ただしinvは逆行列(一般には一般化逆行列)を表す。
要素ごとに書くと数2のようになる。
伝達関数によって定まった行列の逆行列を使うことで未知数を定める場合、未知数の個数を観測されたデータの個数が上回っているか同数である必要がある。この問題を解決するために色分けした2層のマーカー群を用意し、2層のマーカー群の各マーカーの移動を取ることによって独立な観測データ数を8つまで増やしている。
一般的な三次元の場合(この図ではy軸が追加された場合)、一点における力ベクトルは3自由度、マーカーの水平移動ベクトルは2自由度である。もしサンプリング点が同様に4点であったとすると、未知数はf=[fx(1),fy(1),fz(1),fx(2),fy(2),fz(2),fx(3),fy(3),fz(3),fx(4),fy(4),fz(4)]の12個存在するのに対して、観測される値は移動ベクトルm=[mx(1),my(1),mx(2),my(2),mx(3),my(3),mx(4),my(4)]の8個であり、やはり足りない。これを2層に分けて観測することにより16個の観測データを得ることが出来、これにより12個の未知数を同定することになる。以上のようなアルゴリズムを用いて、CCD画像から力ベクトルを推定する。他のマーカーを用いた他の測定方式でも、観測されるデータが異なるだけで、色分けという工夫によって未知数の数より多い独立な観測値(マーカーの振る舞いに関する情報)を集め、逆問題を安定に解くことによって力ベクトルを推定する点では同じである。
[D]力ベクトル分布の再構成に用いる伝達関数
次に、伝達関数(行列H)を求めるための手法を説明する。ある特徴的な形の弾性体(例えば半無限弾性体)においては、表面に加わる力と内部変位の関数として、前述の微小領域で満たすべき関係式を弾性体内部のあらゆる場所で満たすことが出来る関数が数式の形で発見されている。このような形の場合には、この関数にメッシュ状に区切った弾性体表面(触覚面)の座標と内部マーカーの座標を代入すれば行列Hが求まる。
ここで数式の形で発見されているとは、表面応力をf(x1)、内部変位をm(x2,y2)とした場合に、m(x2,y2) = G(f(x1),x2,y2)という形で内部変位を表面応力から求める関数Gが発見されているということである。このとき例えば図7、図8で点1に力が加わったときのマーカー2における変位はm(2,y2)
= G(f(1), 2,y2)によってもとまる。ただしy2はマーカーの深さ(既知)である。
= G(f(1), 2,y2)によってもとまる。ただしy2はマーカーの深さ(既知)である。
弾性体形状によっては、弾性体形状を半無限大弾性体と仮定することによって上述のような数式を用いてH行列を取得できる。しかし、例えば半球のような自由曲面に対して同様に半無限大弾性体の式を当てはめることは困難である。したがって、何らかの別手段で表面応力と内部変位を関連付ける必要がある。
そのために提案する第一の手法は、数値シミュレーションによって表面応力と内部変位を関連付ける手法である。提案するセンサで適用するに際しては、まず表面をメッシュに区切り、各メッシュに単位応力(x方向、y方向、z方向)が加わった際のマーカーの移動量をシミュレーションで計算する。
第二の手法は実際に力を加えることである。自由曲面を有する弾性体の触覚面に、既知の力F1,F2,F3,F4…Fnを加える。加えられたそれぞれの力に対するマーカーの移動ベクトルM1,M2,M3,M4,..Mnを計測し、これを保存する。F1は、F1x、F1y、F1zの3つのベクトルであり、これらの力を加えたときに夫々対応するマーカーの移動ベクトルはM1x,M1y,M1zとなる。既知の力と得られた情報(移動ベクトル)を用いて行列Hを作成する。以下具体的に説明する。
弾性体表面(触覚面)上に多数のサンプル点を離散的に配置する。好ましくは、サンプル点は触覚面の全域をカバーするように配置される。一つの態様では、触覚面上の離散的な多数のサンプル点の配設は、極座標を用いて配設される(平面視同心状に配設される)。他の態様では、サンプル点は平面視格子状に配設される。
各サンプル点において、x方向、y方向、z方向にそれぞれ作用する既知の大きさの力と、かかる力が作用したそれぞれの場合のマーカーの移動ベクトルとを関連付ける情報を取得する。一つの好ましい方法では、各サンプル点にx方向、y方向、z方向の所定の力をそれぞれ加え、その時のマーカーの移動ベクトルをそれぞれ計測して、保存する。サンプル点に加える力ベクトルのx方向、y方向、z方向の取り方は、力ベクトルを用いて、触覚面に加えられる任意の力を表示できるものであれば、その方向は限定されない。
各サンプル点に加える力は既知の力であり、一つの好ましい態様では、一定の大きさの力、例えば100[gf]をそれぞれx方向、y方向、z方向からサンプル点に加えて、それぞれの場合のマーカーの移動ベクトルを計測する。また、各サンプル点に加える力は既知の力であれば、必ずしも同じ大きさの力でなくてもよく、異なる既知の力に基づいてマーカーの移動ベクトルを計測した場合には、後で、マーカーの移動ベクトルの大きさを正規化すればよい。
このようにして、弾性体理論に基づく数式、シミュレーションあるいは実測によって、力情報Fとマーカーの振る舞いに関する情報(例えば、移動情報)Mとを結び付ける伝達関数である行列Hを作成する。光学式触覚センサ装置は記憶手段、演算処理手段を有しており、予め作成された行列Hは記憶手段に格納されている。透明弾性体の触覚面に物体が当接して、触覚面に任意の力が作用した場合に、撮像手段によってマーカー画像を取得する。取得したマーカー画像から演算処理手段によって、マーカー移動ベクトルを計測する。計測されたマーカー移動ベクトルを行列Hに入力して演算処理手段で計算することで、弾性体の触覚面に作用した力ベクトル分布が出力される。
[E]計算時間短縮法
ここで、行列Hの要素数が大きくなると移動情報から力分布を計算する時間が長くなってしまう。これはある点に加えられた力を求める際に、全てのマーカーの移動情報を用いることに起因する。実際に前述のアルゴリズムを適用する場合、H行列が巨大になり、(式1)の行列演算に時間がかかる。一例を挙げればメッシュが100x100であった場合、観測点が10,000点あるためにH行列は10,000 x 10,000という巨大な行列となる。一般にセンサ面をNxNに区切った場合、観測点がNの2乗個あるためにH行列のサイズはNの二乗×Nの二乗となる。すると(式1)の行列演算にはNの4乗の時間がかかることになる。このことは、本発明に係る環境型触覚センサ(大面積触覚部を有する場合が多いと考えられる)においては顕著に表れる。したがって、計算時間を短縮するための手法が必要となる。
提案する手法はH行列の一部を切り出して用いるというものである。上述のように、H行列には全ての格子点に加わる力と全てのマーカーの移動との対応関係が記述されている。しかし現実問題として、例えば力の加わる点とマーカーとの距離が充分離れていれば影響を無視することが出来る。すると例えば図7、図8では、f(1)を計算するには1〜2番目のマーカーのみ、f(2)を計算するには1〜3番目のマーカーのみの移動量を使えばよいと仮定することによって行列のサイズを小さくすることが出来る。この例における新しい行列は以次のようになる。
この式が、距離の離れたところの寄与を無視することにより数4のようになる。
0と置いたところが無視すべき距離の離れた点である。この部分は計算する必要が無いため、より高速に計算することが出来る。この高速化は前述のように格子サイズNが大きくなるほど加速度的に効果が現れる。
これは、力ベクトルを求めたい場所を含むある面積を切り出して使うのと等価である(図10)。図のものでは、触覚面全体の2次元画像において、力ベクトル分布を求めたい場所の近傍領域を設定している。ここで、力ベクトルを求めたい場所の近傍領域を設定する場合に、必ずしも、近傍領域は2次元画像における距離のみに基づいて判断されるものではない。すなわち、力の加わる点とマーカーとの距離は空間距離であって、マーカー群が弾性体内に積層されているような場合には、マーカーが設けられた深さを考慮した方が望ましい場合もある。
触覚面が自由曲面の場合、一概に距離の離れた場所の寄与が小さいとも言い切れない。そこで、計算時間を短縮する他の方法を提案する。まず、実測あるいはシミュレーションによって伝達関数(逆行列)を求める。このような伝達関数の作成法は、既に述べた。例えば、実測に基づく伝達関数の行列の要素を見た時に、行列のある要素が0に近ければ、かかる要素と積算されるマーカーは、ある力ベクトルを求めるのに無視してもよいマーカーであると考えられる。伝達関数で行列のある要素が0に近い部分を自動的に計算から省いて、力ベクトルを計算することができる。例えば、力ベクトルの再構成において無視できる程度の指標を示す閾値を行列要素に対して設定し、該閾値よりも小さい値を有する行列要素の値を0とする。
さらに、計算短縮化方法の改良について説明する。画像のある領域を切り出すという点に関しては、前述の計算時間短縮法と同じである。前述の方法では切り出し領域がありその内部の情報についてのみ扱っていたのに対して、改良手法は切り出し領域外にも計算する力のサンプリング点を用意する。マーカーの移動に関してはあくまで切り出し領域内の情報のみを扱う。これは領域外からの力の影響を考慮してやるためのサンプリング点となる。すなわち、切り出し領域内におけるマーカーの移動は、切り出し領域外に加わる力の影響をある程度受けていると考えられるため、切り出し領域内におけるマーカーの移動情報に基づく力ベクトルの再構成時において、切り出し領域内に作用したであろう力のみならず、切り出し領域外に作用したであろう力をも算出することで、切り出し領域外に作用した力を考慮しつつ、切り出し領域内に作用した力を再構築するものである。
さらに、領域外の力のサンプリング点は切り出し領域から離れるに従い、まばらになっていくように設定する。これは領域から離れれば離れるほど影響は軽微になるため少数のサンプリング点で代表させてもよいと考えたためである。図11に基づいて説明すると、5×5点のサンプリング点に対応する小領域を触覚部の画像において設定する。小領域内にサンプリング点を密に配設する。小領域外にも力のサンプリング点を配置する。小領域外の力のサンプリング点は、小領域から離隔するに従って疎に配置される。図示のものでは、小領域に隣接する部位においては、小領域内と同じ密度でサンプリング点を密に配置し、該小領域から離れるに従い、サンプリング点を疎に配置するようになっている。
そして、小領域内におけるマーカーの移動情報を用いて、小領域内外に配置したサンプリング点における力ベクトルを計算する。計算された力ベクトルのうち、小領域内にある力ベクトルの少なくとも一部の結果のみを最終的な計算結果として採用し、保存する。図11のものでは、5×5の小領域における3×3の力のサンプリング点における力ベクトルを最終的な計算結果として保存する。小領域外におけるサンプリング点及び小領域内における採用されなかったサンプリング点の力ベクトルは捨てる。そして、切り出した小領域を順次ずらして、力ベクトルを取得することで、センサの計測領域全体における力ベクトル分布を取得する。図11では、小領域の一部のサンプリング点における力ベクトルを採用しているが、小領域内の全てのサンプリング点における力ベクトルを採用してもよい。また、図11では、小領域の一部の複数のサンプリング点における力ベクトルを採用しているが、小領域内の一つのサンプリング点における力ベクトルのみを採用してもよい。図11では、5×5点の小領域を示したが、切り出す小領域の大きさは限定されない。この改良手法によると、前述の計算時間短縮法に比べて、計算量は増加してしまう結果になるが、高速化手法適用前に比べると十分な計算時間短縮がある。
改良された手法について、図12乃至図15に基づいて説明する。図12では、改良手法の説明の便宜上、図7、図8に示すものに比べてマーカー点数を増やしてある。マーカー点数を増やしたことにより、対応する数式中の要素数が増加してしまうため、図13において、ある一点の力に対するマーカーnのx、z方向移動についてのみ表記する。数式3における行列inv(H)の要素Imx(1,1), Imx(2,1), Imx(3,1), Imx(4,1),
Imz(1,2), Imz(2,2), Imz(3,2), Imz(4,2)に対応する部分のみを取り出し、マーカー点数を増加させることと等価である。
Imz(1,2), Imz(2,2), Imz(3,2), Imz(4,2)に対応する部分のみを取り出し、マーカー点数を増加させることと等価である。
改良前の高速化手法は求めようとしている力の加わっている点の近傍に存在するマーカーの移動情報のみを用いることであり、図14に示すように、m10〜m14のマーカーの移動情報のみを用いるものである。これに対し、改良後の高速化手法を図で表現すると、図15のようになる。すなわち、力のサンプリング点として、F8のみならず、F2,F5,F9,F11,F14を配置する。そして、計算された力ベクトルにおいて、Fx8、Fz8における力ベクトルのみを採用する。
[F]マーカー群の他の実施例
光学式触覚センサの触覚部は、好ましい態様では、該透明弾性体には、複数のマーカー群が埋設されており、各マーカー群はそれぞれ多数のマーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、さらに、該マーカー群は互いに異なる空間的配列を有している。この異なる空間的配列の例としては、該弾性体の肉厚内で積層状に配設された複数のマーカー群が挙げられる。積層状のマーカー群の具体例では、該マーカー群を構成するマーカーは球状の微細小片であり、各層のマーカー群を構成する球状マーカーは互いに異なる色を有する。他の空間的配列の例では、互いに交差するように配設された複数のマーカー群が挙げられる。さらに他の空間的配列としては、各マーカー群は同じ方向に延出する複数の面の群から構成されており、該面の延出方向および色は、各マーカー群毎で互いに異なるものが挙げられる。有色マーカーの形状は特には限定されないが、好適な例を挙げると球状、円筒状、円柱状、帯片状、平面状の形状が考えられる。
本発明について、一つの好ましい態様である球状マーカーに基づいて説明したが、本発明に用いられるマーカーの形状や配設構成は前述のものに限定されない。他のマーカーの形状および配設構成について図16乃至図19に基づいて説明する。これらのマーカーの詳細については、国際公開公報WO02/18893 A1の記載を参照することができる。また、マーカーの形状や配設態様は、図示のものあるいは前記国際公開公報に記載されたものに限定されるものではない。
図16には、微小断面を有する極細円筒体あるいは極細円柱体からなる色マーカーが示してある。透明弾性体1の厚さ内には、触覚面2から異なる深さにおいて、多数の青色マーカー30を垂直状に配設して構成した青色マーカー群と、多数の赤色マーカー40を垂直状に配設して構成した赤色マーカー群がそれぞれ触覚面2に沿って触覚面2から異なる深さに積層状に配設されている。マーカーは、弾性体に接触する物体とカメラとを結ぶ仮想線に沿って延出している。各マーカーの配設態様は図示のものに限定されず、また、互いに異なる色を有する3つ以上のマーカー群を設けてもよい。
図17上図には、弾性体1内に階段状に配設された傾斜面状の面マーカー300,400が示してある。好ましくは、弾性体1の部分(階段状の界面)がマーカー300,400を形成するが、別体の面マーカーを弾性体1内に埋設してもよい。階段状の界面は2つの同じ方向を持った面群に分けることが出来る。それぞれの群を同一色に着色しておく(一方の界面300が青、他方の界面400が赤)。ある点における2色の輝度の観測によってその点における力ベクトルの水平、垂直成分を情報として含んだ観測値が得られる。これらをセンシングすることによって力ベクトルの面分布を再構成することが出来る。図17上図には、2色の帯状の面マーカーを図示したが、3色を有する面マーカーを用いてもよい。図17下図のように底面に微細な立方体の集まったいわゆるピラミッド構造を用い、同一方向を向いた3組の面群をそれぞれ同一色に着色すれば(例えばRed, Green, Blue)、3色輝度の比率で接触面水平にかかる力の自由度を、3色の合計輝度によって面垂直にかかる力をそれぞれ求めることが出来る。
図18には、弾性体内で、複数の並設された赤色薄肉帯片からなるマーカー群、複数の並設された青色薄肉帯片からなるマーカー群の2つのマーカー群を、それぞれのマーカーが互いに交差(図示のものでは直交)するように配設したものを示している。複数のマーカー群の空間的配設関係はこれに限定されない。また、マーカーを構成する帯片の表裏を異なる色から形成してもよい。図では、帯片マーカーの面部は、観測方向に沿って延出しているが、該帯片マーカーの面部は、観測方向に対して傾斜状に延出するものでもよい。
図19は、複数の平面マーカーを有する触覚部を示している。平面マーカーは常時は隠蔽マーカーによって隠蔽されている。平面マーカーは複数の部位に区画されており、各区画には互いに異なる色が付してあり、各平面マーカーにおける同色を有する区画がマーカー群を構成している。該平面マーカーと該隠蔽マーカーとは、互いに間隔を存して該透明弾性体に設けてあり、該透明弾性体に力が作用しない状態においては該平面マーカーが隠蔽されて観測されない。剪断歪みが生じると、隠蔽マーカーと有色マーカーの位置がずれて、色づくように構成されている。図示のものでは、円形マーカーは、円の中心から三等分されて三つの扇状部に分割されており、それぞれ赤、緑、青に塗り分けられており、発生した色からひずみの方向を知ることが出来る。
本発明は触覚センサに広く適用することができ、好適な例としては、椅子の座面にセンサを用いることによる座っている人間の臀部に加わる圧力分布の計測、ベッドにセンサを用いることによる寝ている人間の圧力分布計測、床面にセンサを用いることによる歩行計測や重心動揺計測等に用いられる。
1 透明弾性体
2 触覚面
3 マーカー
4 マーカー
5 物体
6 撮像手段
7 光源
8 コンピュータ
10 小面積触覚部
100 大面積触覚部
11 重複撮影領域
2 触覚面
3 マーカー
4 マーカー
5 物体
6 撮像手段
7 光源
8 コンピュータ
10 小面積触覚部
100 大面積触覚部
11 重複撮影領域
Claims (17)
- 透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する撮像手段とを有する光学式触覚センサにおいて、
該撮像手段は複数の撮像装置から構成されると共に、該複数の撮像装置の各撮像装置は、各撮像装置により取得される各撮影領域が部分的に重複する重複撮影領域を有するように設けてあり、
該光学式触覚センサはさらに、
該複数の撮像装置によって取得された各マーカー画像を統合する画像統合手段を有し、
該画像統合手段は、該重複撮影領域における同一マーカーを一致させるようにして各撮影領域を統合して統合画像を生成するように構成されていること、
を特徴とする光学式触覚センサ。 - 請求項1において、該光学式触覚センサは、各撮像装置によって取得された画像を表示する画像表示部を含むことを特徴とする光学式触覚センサ。
- 請求項1,2いずれかにおいて、該触覚部は複数の小面積触覚部を組み合わせることで構成された大面積触覚部であることを特徴とする光学式触覚センサ。
- 請求項3において、触覚センサは、一つの小面積触覚部と該小面積触覚部に対応する一つの撮像手段からなるユニットを有し、該ユニットを複数組み合わせることで構成されていることを特徴とする光学式触覚センサ。
- 請求項1乃至4いずれかにおいて、該触覚部は透明弾性体と該弾性体内に設けた複数のマーカー群とから構成されており、各マーカー群はそれぞれ多数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを該撮像手段で撮影することを特徴とする光学式光触覚センサ。
- 透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する撮像手段とを有する光学式触覚センサを用いたマーカー画像の取得方法であって、
該マーカー画像取得方法は、
該撮像手段として複数の撮像装置を設け、該複数の撮像装置の各撮像装置によって、各撮像装置が重複撮影領域を有するように該透明弾性体の部分領域を撮影して部分マーカー画像を取得するステップと、
該重複撮影領域内の同一マーカーが一致するように各撮像手段で取得された部分マーカー画像を統合して統合マーカー画像を生成するステップ、
を有する光学式触覚センサを用いたマーカー情報取得方法。 - 請求項6に記載の方法において、該触覚部は透明弾性体と該弾性体内に設けた複数のマーカー群とから構成されており、各マーカー群はそれぞれ多数の有色マーカーから構成されており、異なるマーカー群を構成するマーカーは群毎で互いに異なる色を有しており、該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを該撮像手段で撮影することを特徴とする光学式光触覚センサを用いたマーカー情報取得方法。
- 請求項6,7いずれかに記載の方法において、該マーカーを用いて各撮像装置のキャリブレーションを行うことを特徴とする光学式光触覚センサを用いたマーカー情報取得方法。
- 透明弾性体と該透明弾性体内に設けた複数のマーカーとから構成された触覚部と、該透明弾性体の触覚面に物体が接触した際のマーカーの振る舞いを撮影してマーカー画像を取得する複数の撮像装置とを有する光学式触覚センサにおけるマーカー画像の統合方法であって、
該画像統合方法は、
該複数の撮像装置の各撮像装置によって、各撮像装置が重複撮影領域を有するように該透明弾性体の部分領域を撮影して部分画像を取得するステップと、
該重複撮影領域内の同一マーカーが一致するように各撮像装置で取得された部分画像を統合するステップ、
を有する光学式触覚センサを用いた画像統合方法。 - 請求項5に記載の光学式触覚センサを用いた力ベクトル再構成法であって、
該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
取得したマーカーの振る舞いに関する情報を伝達関数に入力することで、力ベクトルを出力として得るステップとを有し、
力ベクトルを得るステップは、力ベクトルの算出に寄与度の低いマーカーの振る舞いに関する情報を省いて力ベクトルを算出することを特徴とする力ベクトル再構成法。 - 請求項10において、力ベクトルを得るステップは、力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報のみを用いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
- 請求項11において、該力ベクトルを求めたい位置は、一つあるいは複数のサンプリング点から構成されていることを特徴とする力ベクトル再構築法。
- 請求請12において、
該力ベクトルを求めたい位置の周囲に複数の力のサンプリング点を配置するステップと、
力ベクトルを求めたい位置の近傍のマーカーの振る舞いに関する情報を用いて該力ベクトルを求めたい位置及び該力ベクトルを求めたい位置の周囲の複数の力のサンプリング点に作用した力ベクトルをそれぞれ算出するステップと、
算出された力ベクトルにおいて、該力ベクトルを求めたい位置に作用した力ベクトルのみを採用するステップと、
を有することを特徴とする力ベクトル再構成法。 - 請求項13において、該力ベクトルを求めたい位置の周囲のサンプリング点は、該力ベクトルを求めたい位置にあるサンプリング点から離隔するに従って疎に配置することを特徴とする力ベクトル再構成法。
- 請求項10において、力ベクトルを得るステップは、該伝達関数を構成する行列の要素の中で0に近い要素を省いて力ベクトルを算出するものであることを特徴とする力ベクトル再構成法。
- 請求項5に記載の光学式触覚センサを用いた力ベクトル再構成法であって、
該弾性体の触覚面に物体が接触した際の該有色マーカーの振る舞いを撮影してマーカー画像を取得するステップと、
該マーカー画像から、求めたい力ベクトルの個数よりも多い、マーカーの振る舞いに関する情報を取得するステップと、
該マーカー画像から所定の大きさの小領域を設定し、該小領域内外に複数の力ベクトルのサンプリング点を配置するステップと、
該小領域内のマーカー情報を伝達関数に与えて該複数の力ベクトルのサンプリング点に作用した力ベクトルを算出するステップと、
該小領域内に配置した複数のサンプリング点の少なくとも一部のサンプリング点に作用した力ベクトルを採用するステップと、
を有することを特徴とする力ベクトル再構築法。 - 請求項16において、サンプリング点は該小領域内で密に配置し、該小領域から離隔するに従って疎に配置したことを特徴とする力ベクトル再構築法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004177786A JP2006003137A (ja) | 2004-06-16 | 2004-06-16 | 光学式触覚センサ及び該センサにおける情報取得方法 |
CNA2005800009096A CN1842701A (zh) | 2004-06-16 | 2005-03-03 | 光学式触觉传感器 |
PCT/JP2005/003650 WO2005124305A1 (ja) | 2004-06-16 | 2005-03-03 | 光学式触覚センサ |
KR1020067005120A KR20070036015A (ko) | 2004-06-16 | 2005-03-03 | 광학식 촉각센서 |
RU2006108382/28A RU2371686C2 (ru) | 2004-06-16 | 2005-03-03 | Оптический тактильный датчик |
CA002538040A CA2538040A1 (en) | 2004-06-16 | 2005-03-03 | Optical tactile sensor |
US10/571,370 US7659502B2 (en) | 2004-06-16 | 2005-03-03 | Optical tactile sensor |
EP05719954A EP1757917A4 (en) | 2004-06-16 | 2005-03-03 | OPTICAL TOUCH SENSOR |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004177786A JP2006003137A (ja) | 2004-06-16 | 2004-06-16 | 光学式触覚センサ及び該センサにおける情報取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006003137A true JP2006003137A (ja) | 2006-01-05 |
Family
ID=35509800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004177786A Pending JP2006003137A (ja) | 2004-06-16 | 2004-06-16 | 光学式触覚センサ及び該センサにおける情報取得方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7659502B2 (ja) |
EP (1) | EP1757917A4 (ja) |
JP (1) | JP2006003137A (ja) |
KR (1) | KR20070036015A (ja) |
CN (1) | CN1842701A (ja) |
CA (1) | CA2538040A1 (ja) |
RU (1) | RU2371686C2 (ja) |
WO (1) | WO2005124305A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197078A (ja) * | 2007-02-08 | 2008-08-28 | Nara Institute Of Science & Technology | 触覚センサ及び触覚情報検出方法 |
JP2009123112A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009297347A (ja) * | 2008-06-16 | 2009-12-24 | Juki Corp | ボタン認識機構およびボタン供給装置 |
WO2011065175A1 (ja) * | 2009-11-27 | 2011-06-03 | 国立大学法人京都工芸繊維大学 | 応力計測装置及び応力計測方法 |
JP2015515621A (ja) * | 2012-07-11 | 2015-05-28 | ウトゥク・ビュユクシャヒンUtku BUYUKSAHIN | ロボットおよびデバイス用のマルチポイント高感度触覚センシングモジュール |
JP2018088254A (ja) * | 2016-03-29 | 2018-06-07 | 株式会社齋藤創造研究所 | 入力装置および画像表示システム |
WO2018235214A1 (ja) * | 2017-06-21 | 2018-12-27 | 株式会社齋藤創造研究所 | マニピュレーターおよびロボット |
JP2022543711A (ja) * | 2019-10-10 | 2022-10-13 | 三菱電機株式会社 | エラストマー触覚センサ |
JP2022546642A (ja) * | 2019-10-10 | 2022-11-04 | 三菱電機株式会社 | 触覚センサ |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4621827B2 (ja) * | 2004-03-09 | 2011-01-26 | 財団法人名古屋産業科学研究所 | 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド |
EP4321975A3 (en) * | 2008-06-19 | 2024-06-05 | Massachusetts Institute of Technology | Tactile sensor using elastomeric imaging |
JP5549204B2 (ja) * | 2009-12-01 | 2014-07-16 | セイコーエプソン株式会社 | 光学式位置検出装置、ハンド装置およびタッチパネル |
JP5549203B2 (ja) * | 2009-12-01 | 2014-07-16 | セイコーエプソン株式会社 | 光学式位置検出装置、ハンド装置およびタッチパネル |
WO2011068718A1 (en) | 2009-12-03 | 2011-06-09 | The Procter & Gamble Company | Method for assessment of force properties generated by the fiber tip |
US8069735B1 (en) | 2010-11-10 | 2011-12-06 | Artann Laboratories Inc. | Tactile sensor array for soft tissue elasticity imaging |
KR101371736B1 (ko) * | 2012-08-22 | 2014-03-07 | 현대자동차(주) | 터치스크린의 터치 인식방법 |
KR101979680B1 (ko) | 2012-12-05 | 2019-05-20 | 삼성전자주식회사 | 촉각센서 |
TWI482953B (zh) * | 2012-12-28 | 2015-05-01 | Univ Nat Chiao Tung | 壓力與剪力量測裝置及方法 |
EP3002580B1 (en) * | 2014-09-30 | 2019-09-11 | Sofradim Production | Assessment of shear forces distribution at fixation points of textile-based implants |
FR3034053B1 (fr) * | 2015-03-26 | 2017-03-17 | Continental Automotive France | Systeme de palette tactile mobile ou deformable formant une interface homme-machine adapte sur un volant de vehicule |
EP3304017B1 (en) * | 2015-05-29 | 2021-10-13 | Ablacon Inc. | Elongated medical device suitable for intravascular insertion and optical force sensing assembly for an elongated medical device |
FR3040090B1 (fr) * | 2015-08-13 | 2019-06-14 | Museum National D'histoire Naturelle | Capteur de force |
KR101722065B1 (ko) * | 2015-12-09 | 2017-04-03 | 한국생산기술연구원 | 소재의 접촉감에 대하여 정량적 평가를 하는 에어쿠션을 이용한 접촉감 평가장치 |
DE102016108966B4 (de) * | 2016-05-13 | 2017-11-30 | Technische Universität München | Visuell-haptischer Sensor für 6D-Kraft/Drehmoment |
CN106092382B (zh) * | 2016-07-20 | 2018-09-11 | 山东大学 | 一种基于弹性体三维形变的触觉传感器及检测方法 |
CN106052914A (zh) * | 2016-07-21 | 2016-10-26 | 清华大学 | 一种基于视觉的触觉测量传感器 |
EP3717944A4 (en) * | 2017-11-29 | 2021-08-11 | Cornell University | WAVE GUIDE AND ITS SENSOR |
CN109410229A (zh) * | 2018-08-27 | 2019-03-01 | 南京珂亥韧光电科技有限公司 | 多目标透镜位置以及凹凸面识别的方法 |
US11607816B2 (en) * | 2019-10-25 | 2023-03-21 | Dexterity, Inc. | Detecting robot grasp of very thin object or feature |
US11772262B2 (en) | 2019-10-25 | 2023-10-03 | Dexterity, Inc. | Detecting slippage from robotic grasp |
TWI767264B (zh) * | 2020-06-24 | 2022-06-11 | 財團法人工業技術研究院 | 受壓狀態量測方法及受壓狀態量測系統 |
JP6864401B1 (ja) * | 2020-08-17 | 2021-04-28 | 株式会社SensAI | 触覚センサ |
US11472039B1 (en) * | 2021-04-23 | 2022-10-18 | Toyota Research Institute, Inc. | Deformable sensor with rotatable sensing components for detecting deformation levels |
KR102669803B1 (ko) * | 2022-01-13 | 2024-05-27 | 경북대학교 산학협력단 | 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서 |
US12135254B2 (en) * | 2022-02-04 | 2024-11-05 | Massachusetts Institute Of Technology | Flexible optical tactile sensor |
CN114659679B (zh) * | 2022-04-12 | 2024-09-03 | 深圳市松果体机器人科技有限公司 | 柔性触觉传感器 |
KR20240069210A (ko) * | 2022-11-11 | 2024-05-20 | 삼성전자주식회사 | 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법 |
CN117168661B (zh) * | 2023-06-13 | 2024-03-15 | 九普医疗科技(东莞)有限公司 | 基于机器视觉的智能医疗床垫压力分布监测方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4599908A (en) * | 1985-03-18 | 1986-07-15 | Sheridan Thomas B | Opto-mechanical touch sensor |
JP3523667B2 (ja) | 1993-08-24 | 2004-04-26 | オリンパス株式会社 | 複眼式光学系 |
JPH11108630A (ja) | 1997-09-30 | 1999-04-23 | Shiseido Co Ltd | 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法 |
JPH11118625A (ja) | 1997-10-13 | 1999-04-30 | Toyota Central Res & Dev Lab Inc | 荷重測定装置 |
JP3276621B2 (ja) * | 1999-11-11 | 2002-04-22 | 計測検査株式会社 | トンネルの内部壁面のひび割れ検出方法 |
CA2419252C (en) * | 2000-08-31 | 2011-03-29 | Center For Advanced Science And Technology Incubation, Ltd. | Optical tactile sensor |
-
2004
- 2004-06-16 JP JP2004177786A patent/JP2006003137A/ja active Pending
-
2005
- 2005-03-03 US US10/571,370 patent/US7659502B2/en not_active Expired - Fee Related
- 2005-03-03 CN CNA2005800009096A patent/CN1842701A/zh active Pending
- 2005-03-03 KR KR1020067005120A patent/KR20070036015A/ko not_active Application Discontinuation
- 2005-03-03 WO PCT/JP2005/003650 patent/WO2005124305A1/ja not_active Application Discontinuation
- 2005-03-03 RU RU2006108382/28A patent/RU2371686C2/ru not_active IP Right Cessation
- 2005-03-03 EP EP05719954A patent/EP1757917A4/en not_active Withdrawn
- 2005-03-03 CA CA002538040A patent/CA2538040A1/en not_active Abandoned
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197078A (ja) * | 2007-02-08 | 2008-08-28 | Nara Institute Of Science & Technology | 触覚センサ及び触覚情報検出方法 |
JP2009123112A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像処理装置、画像処理方法 |
JP2009297347A (ja) * | 2008-06-16 | 2009-12-24 | Juki Corp | ボタン認識機構およびボタン供給装置 |
WO2011065175A1 (ja) * | 2009-11-27 | 2011-06-03 | 国立大学法人京都工芸繊維大学 | 応力計測装置及び応力計測方法 |
JPWO2011065175A1 (ja) * | 2009-11-27 | 2013-04-11 | 国立大学法人京都工芸繊維大学 | 応力計測装置及び応力計測方法 |
JP2015515621A (ja) * | 2012-07-11 | 2015-05-28 | ウトゥク・ビュユクシャヒンUtku BUYUKSAHIN | ロボットおよびデバイス用のマルチポイント高感度触覚センシングモジュール |
JP2018088254A (ja) * | 2016-03-29 | 2018-06-07 | 株式会社齋藤創造研究所 | 入力装置および画像表示システム |
WO2018235214A1 (ja) * | 2017-06-21 | 2018-12-27 | 株式会社齋藤創造研究所 | マニピュレーターおよびロボット |
JPWO2018235214A1 (ja) * | 2017-06-21 | 2019-07-04 | 株式会社齋藤創造研究所 | マニピュレーターおよびロボット |
CN110799313A (zh) * | 2017-06-21 | 2020-02-14 | 斋藤创造研究所株式会社 | 机械手和机器人 |
JP2022543711A (ja) * | 2019-10-10 | 2022-10-13 | 三菱電機株式会社 | エラストマー触覚センサ |
JP2022546642A (ja) * | 2019-10-10 | 2022-11-04 | 三菱電機株式会社 | 触覚センサ |
JP7278491B2 (ja) | 2019-10-10 | 2023-05-19 | 三菱電機株式会社 | エラストマー触覚センサ |
JP7278493B2 (ja) | 2019-10-10 | 2023-05-19 | 三菱電機株式会社 | 触覚センサ |
Also Published As
Publication number | Publication date |
---|---|
EP1757917A4 (en) | 2011-01-26 |
US7659502B2 (en) | 2010-02-09 |
RU2006108382A (ru) | 2007-09-27 |
CA2538040A1 (en) | 2005-12-29 |
CN1842701A (zh) | 2006-10-04 |
RU2371686C2 (ru) | 2009-10-27 |
WO2005124305A1 (ja) | 2005-12-29 |
US20080245955A1 (en) | 2008-10-09 |
EP1757917A1 (en) | 2007-02-28 |
KR20070036015A (ko) | 2007-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006003137A (ja) | 光学式触覚センサ及び該センサにおける情報取得方法 | |
JP4206057B2 (ja) | 光学式触覚センサを用いた力ベクトル再構成法 | |
RU2358247C2 (ru) | Оптический тактильный датчик и способ восстановления распределения вектора силы с использованием указанного датчика | |
Si et al. | Taxim: An example-based simulation model for gelsight tactile sensors | |
Lun et al. | Real-time surface shape sensing for soft and flexible structures using fiber Bragg gratings | |
Kamiyama et al. | Evaluation of a vision-based tactile sensor | |
Andrussow et al. | Minsight: A Fingertip‐Sized Vision‐Based Tactile Sensor for Robotic Manipulation | |
JP4708979B2 (ja) | 光学式触覚センサ | |
JP2009285737A (ja) | 入力インタフェース | |
JP2010190770A (ja) | 複合型光学式触覚センサ | |
Kamiyama et al. | A vision-based tactile sensor | |
Zhang et al. | Gelstereo 2.0: An improved gelstereo sensor with multimedium refractive stereo calibration | |
CN110379015B (zh) | 基于卷积神经网络的火焰场快速监测装置及方法 | |
JP7176900B2 (ja) | 変形撮影装置、変形撮影支援装置および変形撮影方法 | |
Li et al. | F-touch sensor for three-axis forces measurement and geometry observation | |
JP2019197037A (ja) | 光学式触覚センサ | |
Fu et al. | ELTac: A vision-based electroluminescent tactile sensing skin for force localization and magnitude estimation | |
Ziolkowski | Remote sensing in laboratory diagnostics of reinforced concrete elements—current development and vision for the future | |
CN118569085A (zh) | 生物体三维温度场数字孪生方法及装置和存储介质 | |
Ren et al. | SymmeTac: Symmetric Color LED Driven Efficient Photometric Stereo Reconstruction Methods for Camera-based Tactile Sensors | |
Alvares | A 3D Strain Measurement System for Soft Material: Application to Material Parameter Estimation | |
CN115357136A (zh) | 一种触觉传感器、图像处理方法及图像处理系统 | |
Kohut et al. | Structure’s damage detection supported by contact and contact-less global methods | |
CN117029707A (zh) | 面向双目视触觉传感器的接触形变三维感知方法及装置 | |
CN118114524A (zh) | 基于逆有限元分析的视触觉传感器三维接触力场测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080610 |