JP7278491B2 - エラストマー触覚センサ - Google Patents

Description

本開示は、触覚感知に関し、より詳細には、外側衝撃面と、剛性表面に可撓性スペーサで取り付けられる下面とを有する弾性変形可能な外皮であるエラストマー触覚センサに関する。下面はピンを含み、各ピンはマークを含み、外側衝撃面に加えられる外力に応じて、外力を特徴付ける力のパターンが判断される。

従来の機械は、製品の組立に用いられるロボット、部品もしくは人間を搬送するロボットまたは自律車両等を含む、製造プロセスに用いられている。例えば、従来のロボットシステムは、電気モータによって制御される、作動自由度を有する剛性リンクからなる剛性外側表面を含む。剛性外側表面または剛性リンクは、予定外の衝撃力にさらされる場合、非常に脆弱であり、場合によっては、他の実質的な衝撃事象の中でもとりわけ、破局的な結果を引き起こし、負担しきれない修理コストがかかる。剛性リンクは、これらの自由度の位置、速度、および／もしくは力（または回転継手の場合には、角度、角速度、および／もしくはトルク）が、継手の各々の動きを調整する上位コントローラによって制御される精密装置である。コントローラは完全に自律的に動作してもよいし、テレロボティクスの場合のように人間のオペレータによって全体的または部分的に手動で制御されてもよい。

しかしながら、剛性リンクの剛性表面など、ロボットの１つ以上の構成要素が予期しない力で衝撃を受けた場合、直接衝撃領域が損傷されるだけでなく、機械構成要素、電子構成要素、ソフトウェア構成要素、ネットワークまたは通信構成要素など、ロボットの他の構成要素も損傷される。従来のロボットを含む従来の機械に対する予期しない衝撃力によるいくつかの結果は、機械／ロボット修理コスト、機械／ロボット修理コストによって影響を受ける他の物体、組立ライン損失生産コスト、および利用可能な場合には新しい修理／交換部品を注文することに起因する時間損失（生産および従業員最大化）などの製造関連プロセスに関連する突然の衝撃コストである。おそらく、最も重要または重大な結果のうちの少なくとも１つは、人の生活に対する損害、または従業員の四肢の喪失を引き起こし得る、安全でない作業環境を作り出すことであり得る。

ロボットシステムは、製造および動作環境を通って移動しながら、または組立作業などの作業を行う間に、それらの環境と物理的に相互作用する。ロボットコントローラは、その環境の知識を得て、予期される事象および予想外の事象に応答することができる。例えば、自律システムに関して、機械視覚装置を用いて物体の位置および向きを特定することができ、精密機器はロボットを特定の場所に向けることができる。しかしながら、機械視覚装置用のアルゴリズムは、視野が妨害される、表面が視界から外れる、または影がある、もしくはコントラストが悪い場合、低速であり、エラーを起こしやすい。

ある距離からの半自律ロボットの制御に関連するいくつかの従来のシステムでは、主に（Ｗｉ－Ｆｉのように、ブルートゥース（登録商標）、ディープスペースネットワークのような）ワイヤレスネットワークまたはテザー接続を用いて、人間のオペレータが、ビデオカメラからの画像を解釈するか、またはロボットを直接観察し、ロボットへのコマンドを可能な限り迅速かつ正確に調整しようとすることができる。しかしながら、この精神集中はオペレータを疲れさせる場合があり、反応時間が遅いことが多い。

迅速な反応システムは、剛性の機械的リンク機構、高品質の位置および力エンコーダ、高速フィードバックコントローラ、および強力かつ重いモータを用いる正確なロボティクスを必要とする。しかしながら、これらの構成要素はコストがかかり、操作性に関する最適なコスト削減を必要とする今日の技術にとって実用的ではない。環境における物体との予期しない衝突からの高い衝撃力は、ロボットまたは物体（作業空間にいる可能性がある人間を含む）のいずれかにとっても壊滅的であり得る。

ＤＣモータは、人間と関連付けられ、人間自体の筋肉によって自然に生成される電気信号で制御する、外部から動力供給される人工肢である、産業用ロボットハンドまたは人工器官を駆動し得る。無負荷のハンドの閉鎖速度は、モータの両端の電圧に正比例し得る。従来の補綴用途では、この制御電圧は、補綴物ユーザの手の開閉の意図を捉えるよう筋肉活性化力に比例した電圧を生成するために補綴物ユーザの残留筋肉の増幅およびフィルタリングされた筋電図記録から生成され得る。しかしながら、義手を一部または未知の剛性物体の周りで閉じる場合、指先を駆動するモータは、指先がそれ以上前進できないときには失速し、高い失速力を引き起こし得る。

同様の制御問題は、ロボット付属物が、付属物との衝突、または付属物と付属物との間での衝突が起こるときに、それら自体を傷つけること、または外部物体を損傷することを防ぐ際に生じ得る。これらの付属物は硬い表面を有し得る。ロボットアクチュエータとの衝突による衝撃力は、衝突面の硬度ならびにロボット付属物および物体の相対速度とともに増大し得る。その時までに、衝突が、アクチュエータの負荷の増加を検出することによって検出され、かなりの損傷が既に発生している可能性がある。そのような衝突の例は、ロボット付属物が、移動中に、その通路に延在する細い槍状の物体に、またはロボットの作業環境および動作環境内で他の同様の形状タイプの物体に、意図せずに衝突することであり得る。これは、特に、カメラの視界の質が悪い、蒸気／ミスト／煙などを生成する機械を備えた作業環境において、現実的な問題である。

従来の自律ロボット用途では、接触を認識する能力は、ロボットが、典型的にはフルパワーで所定の軌道をたどり、物体がロボットアクチュエータを失速させるよう実質的に高い充分な抵抗を呈する場合にのみ停止する場合には、さらに難しいものになり得る。機械視覚および超音波近接センサ手法は、望ましくない衝突を防止するのに役立ち得るが、衝突前に物体を正確に検出するのに高いばらつきがある可能性がある。特に、機械視覚は、カメラが閉塞された場合、または照明が悪い場合、エラーの影響を受ける可能性がある。したがって、安全性および信頼性が大きな懸念事項である用途では、これらの技術はあまり望ましくない可能性がある。

他の従来の触覚センサは、流体充填キャビティおよび／または圧力感知を有する。Shinodaは、公開されたＵＳ２０１０／０２３４９９７（Sandini et al.）において言及され、圧力センサとして用いられるマイクロフォンに伝えられる、変形可能なポリマー内の注意深く成形されたチャネルにおいて生成される空気圧を用いる装置を記載しており、これらの複数のセンサからの差信号を用いて、方向性を有する力およびスリップ振動を抽出する。しかしながら、大部分のロボットの使用は、ノイズの多い工場で生ずる。ノイズはマイクロフォンに結合し、したがって、工業的状況で用いられる場合、力およびスリップに対する誤ったトリガを引き起こす。

いくつかの従来の触覚感知アプローチは、コンプライアンスをあまり与えず、別個の触覚セル間に加えられる接触力に非敏感な傾向があるセンサアレイを有する。これらの感覚セルを複雑な表面上にパターン化することは、困難で費用がかかり、接触感度が最も重要となる領域、例えば縁および継手における接触に対して非敏感な領域をもたらし得る。

従来の触覚センサは、物体の存在および圧力の量、ならびに組み立てを含むロボット用途のためのグリッパ内の物体の位置を特定し得る。しかしながら、従来の触覚センサを含むほとんどの従来の機械またはロボットセンサは、圧力センサのような設計に基づいており、剪断力運動または他の種類の力もしくは圧力を含む他の非常に重要な力を考慮せずに、圧縮力のみを測定する。例えば、剪断センサは、とりわけ、物体の運動を検出するために有用である。また、従来の機械または従来の触覚センサを含む従来のロボットセンサの多くの場合の反応時間は、計算的に遅いこと、環境的側面（すなわち、カメラが閉塞されるか、照明が悪い）の影響を受けること、を含む多くの理由のため、またはテレロボティクスの場合には人間のオペレータのエラーに起因して、十分ではないか、または今日の技術的要求を満たす応答時間を達成することができない。他の理由としては、重要な局部領域である複雑な表面上にセンサをパターン化することができないことが含まれ、いくつかの従来の触覚センサは、多くの他の理由の中でも特に、大きな失速力を引き起こす予定外の接触／衝撃を検出／認識できない。
発明の概要

本開示は、触覚感知に関し、より詳細には、外側衝撃面と、剛性表面に可撓性スペーサで取り付けられる下面とを有する弾性変形可能な外皮であるエラストマー触覚センサに関する。下面はピンを含み、各ピンはマークを含み、外側衝撃面に加えられた外力に応じて、外力を特徴付ける力のパターンが判断される。

本開示のいくつかの実施形態は、属性を有し得る外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを有する弾性変形可能な外皮である触覚センサを含む。各下面ピンまたは隆起部はマークを含み、下面は剛性表面からの可撓性スペーサ上に配置することができる。カメラは、マークの画像を撮像するように位置決めされる。メモリは、事前学習済みのマークの位置のセットの画像データと対応する事前学習済みの力のパターンとのデータを格納する。事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成され得る。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。

下面ピンまたは機械的たわみ増幅ピン、すなわち微小機械的ピン（以下、「ピン」）は、圧力、剪断、およびトルクの下で屈曲する。各ピンは、白色または着色塗料などの少なくとも１つのマーク、マーカ、または基準マーカを担持する。白色マークが暗い背景に対して配置されるとき、これらのマークは、機械視覚アルゴリズムを用いて容易に追跡することができる。外側衝撃面への外力によって引き起こされるたわみの動きとして、外側衝撃面は、圧力、オフセット圧力、剪断力、またはトルク力の下で変形し、それは記録され、単に外側衝撃面のみの変形を測定する従来の触覚センサの感度のレベルと比較して、より高い感度のレベルをもたらす。例えば、外側衝撃面が変形すると、印加されている力は、同じ力を下面に平衡移動し、これによりピンが変位され、マークの変位が開始位置（すなわち、外力が外側衝撃面に加えられていないとき）から最終位置（すなわち、外力が印加された後）に移動する。剪断運動または他の種類の力もしくは圧力を考慮せずに圧縮力のみを記録または測定することが可能な従来の触覚センサとは異なり、本開示は、弾性変形可能な外皮上の剪断力、トルク力、挟む力、広げる力に感度を有する。

実際、実験から認識されるのは、ピンから遠ざかるように延在する１つ以上のレバーアームを含むように（すなわち、ツリー状の形を形成するように）、ピンをカスタマイズまたは修正することができることである。レバーアームの各端部に、さらなる測定可能な力データを提供する追跡可能なマークまたは基準マーカとすることができる白色マークを適用することができる。実験に基づくと、１つ以上のレバーアームをピンに追加する結果、単一のマークのみを有するかまたは１つ以上のレバーアームを伴わないピンのみの感度の倍率のレベルよりも高い感度の倍率のレベル（または測定可能な力のレベル）となる。したがって、１つ以上のレバーアームは、各ピンレベルの感度の倍率、または測定可能な力のレベルを増幅し、弾性変形可能な外皮について、より高い測定可能な感度またはより高い測定可能な力のレベルをもたらす。レバーを有するピンのこれらのタイプの構成が有用であり得る理由のいくつかは、特定の用途に特有の特定の領域が、予想外または予想される衝撃を防ぐために、より高い測定可能なレベルの感度を提供するよう、ピンのグループをその領域に位置決めするようにカスタマイズされ得ることである。

実験から得られた別の認識は、可撓性スペーサの開発である。特に、可撓性スペーサの一端は弾性変形可能な外皮の下面に取り付けられ、可撓性スペーサの他端は剛性表面、すなわち機械、ロボット等の剛性外側表面に取り付けられる。可撓性スペーサは、異なる量の弾性、異なる量の剛性またはこわさ、異なる量の強度を含むカスタマイズされた特性とともに構成することができる。さらに、これらのカスタマイズされた特性を達成するために、異なる種類の材料を用いて、カスタマイズされた可撓性スペーサを形成することができる。もちろん、可撓性スペーサの位置に応じて、カスタマイズされた特性は、異なる長さ、直径、または半径を含むことができる。

剪断運動または他の種類の力もしくは圧力を考慮せずに圧縮力のみを記録または測定することが可能な従来の触覚センサとは異なり、本開示の実施形態は、外側衝撃面に作用し、それのたわみの動きを引き起こす力のパターンを記録および測定するように構成されたエラストマー変形可能外皮を提供する。例えば、記録または測定される力のパターンは、１つ以上のビデオカメラまたはウェブカメラを用いての、圧力、オフセット圧力、剪断力、またはトルク力下での外側衝撃面のたわみの動きを含む。１つ以上のビデオカメラは、非限定的な例として、斜め（０から約２０度）の角度で、または何らかの他の角度で、マークまたは基準マークを観察する。本開示の少なくとも１つの実施形態は、必要な場合、補間を用いて、マークの動きを格納済みまたは事前学習済みのマークたわみのセットにマッチングする機械視覚アルゴリズムを用いて、弾性変形可能な外皮の外側衝撃面上の力のパターンまたは正味の力テンソルを判断することを含む。

より詳細に説明されるように、弾性変形可能な外皮、特に、マークを有するピンおよびレバーアームは、弾性変形可能な外皮の外側衝撃面に加えられる力のパターンの種類に依存し得る、異なる種類の意図された測定可能な感度に従ってカスタマイズされ得る。

この微小レバー歪み利得のために、ビデオカメラによって撮像される画像は、基準マークにおいて大きな動きを有し、これは、かすめ照明によって、または半球状ゲルの代用物を通して、接触面の上面を直接画像化する従来の触覚センサ方法と比較して、かなり良好な信号対ノイズ比を有する。

独立して運動する微小レバーの使用はまた、弾性変形可能な外皮の異なる部分が、劇的に異なる局所歪みおよび力を経験し、報告することを可能にする。例えば、弾性変形可能な外皮の一部は左から右への剪断にあり得、弾性変形可能な外皮の他方の側は右から左への剪断にあり得、微小レバーは連続的なゲル内に捕らえられるのではなく、自由に動くので、センサの特注構成は、この状況を、半球状ゲルがこれらの特定のセットの力に非敏感であろうように、その特定のセットの力に非敏感であるのではなく、表面トルクとして正確に検出することができる。

これらの微小レバーで増幅された基準マークの動きを利用して力信号出力を生成するために、いくつかの実験を行った。考えられるいくつかの態様は、ロボット、車両、または機械が中に位置決めされるキャビティ内の異なる位置に固定カメラを構造的に配置することを含んだ。例えば、固定カメラは、ピンに取り付けられた基準マークの画像を撮像する。画像はコンピュータに送られ、少なくとも１つの実験に従って、安価なウェブカムカメラが、ＵＳＢを介して、Debian Linux（登録商標）ソフトウェアを実行するコンピュータに接続されるが、明らかに、他の実験は、異なる種類のカメラ、カメラ位置、カメラ搭載構成、および他の種類のソフトウェアを含んだ。

コンピュータ上では、画像処理ソフトウェアを用いて、各基準マーカのＸＹ位置を抽出することができる。明らかに、多くの異なるが同様の画像処理ソフトウェア方法が存在するが、好ましい方法は、オープンソースパッケージ「ＯｐｅｎＣＶ」を用いることを含んだ。得られた少なくとも１つの認識は、すべてのマークがカメラの視界にある必要はないことであり、そのすべては特定の用途に依存する、ということである。

次のステップは、ピタゴラス計量（ＸおよびＹの差の二乗の和の平方根）を用いて、ライブラリにおける事前格納済みＸＹセットに対する観察された基準ＸＹ位置の最良マッチを判断することを含んだ。少なくとも１つの驚くべき結果は、この計算が非常に速いことであった。観察されたＸＹ位置の各々を、事前格納済みライブラリ内の予め格納されたすべてのＸＹ位置と比較した。５０個ほどの事前格納済みセットの各々に対する「実行タリー」が、すべての各基準マークが事前格納済みセットの各々において一回だけ表現されるという仮定のもと維持され、各事前格納済みセット実行タリーは、観察されたＸＹ基準位置と任意の所与の事前格納済みセット内の任意の基準の最も近い事前格納済みＸＹ位置との間のピタゴラス距離だけ増分された。いくつかの用途では、我々は、実験中に、どの観察されたＸＹ基準位置がどのＸＹピンに対応するかを追跡する必要がないことを発見し、単に「いくつかの用途では重複または再使用に関して注意を払わなかった、最も近いＸＹ」は極度のコード化の単純さで優れた結果を与える結果となった。

より厳密な用語では、好ましい実施形態の作業におけるピタゴラス計量は、ｋ個の基準ピンを有するキャップについて以下のように記述することができる：
●任意の観察されたＸＹセットについて、ＯＢＳはｋ個のＸＹペアOBS_X[0...k-1], OBS_Y[0...k-1] を含み、
任意の格納されたＸＹ位置セットについて、ＳＴＯはSTO_X[0...j-1],STO_Y[0...j-1] を含み、
関数PDIST(arg1, arg2, arg3, arg4)を用い、この関数は、(arg1－arg2)の二乗＋(arg3－arg4)の二乗の和の平方根（つまり、SQRT ((arg1 - arg2)^2 + (arg3 - arg4)^2として定義され、これはピタゴラス距離式である。

次いで、任意の観察された（ＯＢＳ）ＸＹセットと任意の格納された（ＳＴＯ）セットとの間の好ましい距離値は、以下の通りである：
●Preferred_Distance（好ましい距離値）＝SUM_over_all k (MIN_over_all_j (PDIST (OBS_X[k], STO_X[k], OBS_Y[k], STO_Y[k] )))

上述したように、この実験からの驚くべき結果は、この計算が例外的に速いことであった。１０個の基準マークおよび１００個の事前格納済みライブラリセットでは、１０００個のＸＹペア対ペア比較があり、これは、全部で、２０００個の二乗、１０００個の加算、１０００個の平方根、または約４０００個の浮動小数点演算である。これは、最も安価なマイクロプロセッサがカメラのフレームレートを十分超えて実行するためのプロセス構成に鑑みても、素晴らしい結果を伴う非常に扱いやすい方法であることを意味し、認識された。もちろん、１０個を超えるマークを試験することができるが、この特定の量を実験に用いた。

次のステップは、ピタゴラス距離実行タリーの合計を用いて、事前格納済みＸＹ位置セットのリストを、最低のピタゴラス距離（最良マッチ）から最低のピタゴラス距離（最悪マッチ）まで順に、マッチリストのランク付けされた品質にソートすることを含んだ。

いくつかの用途では、単一の最良マッチは、所望され、センサ処理によって出力される唯一のものである。例えば、「損傷なし衝撃」対「損傷衝撃」対「可能性のある損傷衝撃」対「保守報告衝撃」は、格納されたＸＹ位置セットのいくつかに対するラベルであるかもしれず、したがって、それらはセンサプロセッサによって出力されるであろう。同じラベルを有する複数の格納されたＸＹ位置セットを有することに対する禁止はないことに留意されたい。５個または１０個の「保守報告衝撃」可能性があるかもしれず、用途に基づいて、下流のシステムが正確にどれかを知る必要はないか、または有用でさえないかもしれない。異なるタイプの「保守報告衝撃」または「損傷衝撃」可能性は、特定の構成要素、すなわちスペーサ、ピン、カメラ、カメラファンネル、外側衝撃面、外側衝撃面および下面、属性などに対する保守または損傷であり得る。

他の用途では、何らかの特定の重み付け、逆重み付け、または特定の格納されたＸＹ位置セットが記録されたときに有効であった力の線形結合であるセンサ結果を出力することを選択することに依存し得る。

また、重み付け、逆重み付け、または線形補間において評価されるべき格納されたＸＹセットの数を制限することも妥当であり、典型的には、最良にマッチする（最小のピタゴラス距離）２つまたは３つの格納されたＸＹ位置セットは、１次元問題に対して最良の精度を与え、４つから６つの格納されたＸＹ位置セットは、２次元問題に対して最良の精度を与え、６つから８つの格納されたＸＹ位置セットは、３次元問題に対して最良の精度を与える、などである。実験から認識される本開示の方法は、ユーザの特定の用途のニーズ／要件、すなわち異なる種類の力のパターンまたは単一の力に関する測定可能な感度の種類に高度にカスタマイズ可能であり、その間ずっと、安価なマイクロプロセッサを用いながらカメラフレームレートをかなり超えて実行することを含む、非常に安価な構成要素を用いる。

上述したように、ピンは、あるパターンの力または正味の力テンソルのような測定が困難なものを、測定が容易なものに変換する。すなわち、測定は、自由微小機械式ピン先端または端部の画像の動きに基づいて、より容易になされ、すなわち、ピンの最外端部におけるマークの画像の動きは、ある角度でピン先端を観察する安価なウェブカムなどのカメラによって追跡される。ピン先端は、ピン先端の動きの前、すなわち力が弾性変形可能な外皮の外側衝撃面に加えられる前、ピン先端の動きの間、すなわち力が弾性変形可能な外皮の外側衝撃に加えられる間、およびピン先端の動きが停止した後、すなわち外部から加えられる力が停止した後、カメラによって連続的に見ることができる。

外側衝撃面の属性の異なる組み合わせとピン構成の組み合わせとで実験しながらわかったいくつかの他の態様は、以下の有用な認識をもたらした。すなわち、
Ａ）本開示のピンが対称的な力の下でも実質的に非平行になることを意図的に可能にすることは、後に、ピン先端上の非対称な力、剪断、およびトルクを検出する際の少なくとも１つの重要な態様として、発見された。
Ｂ）本開示の弾性変形可能な外皮のいくつかの構成を、より少ないピン、非限定的な例として、親指サイズのセンサ用の５～１０本の範囲のピンの数で構成すると、実質的な測定可能な力テンソルがもたらされた。１００または２００を超えるなど、ピンの数が多いほど、本開示の目的のいくつかを満足させる測定可能な感度のレベルを提供せず、したがって、本開示のいくつかの実施形態については、はるかにより少ない数のピンを標的とした。
Ｃ）非対称ピン：本開示のいくつかの実施形態は、弾性変形可能な外皮の下側に、非対称的に、より少ない数のピンを意図的に配置または配置する。いくつかのピンは、非対称の外皮のより低い角度において、または弾性変形可能な外皮の縁部において、丸みを帯びたフィレットと弾性変形可能な外皮の平坦面との間に配置された。幾つかの実験結果は、弾性変形可能な外皮の中央に位置するピン、すなわち、縁部上にないピンと比較して、弾性変形可能な外皮の感度の量がより大きいことを示した。加えて、ピンの長さは、互い違いにすることができ、高度に最適化されたセンサの場合、例えば、有限要素モデリング（ＦＥＭ）を用いる場合、ＦＥＭは、いくつかのピンが非対称の（非常に楕円形の、またはさらには飛控え状の）基部を有することを示すことができる。したがって、これは、対称的な力に対しても非平行運動を支援する。
Ｄ）斜めのカメラ角度：Ｚ軸に沿って見る（７５～１００ｍｍ垂直高さを必要とする）代わりに、斜めに見る（通常、１０度程度では、互い違いのピン長で、グリッパ先端の平面と平行に、０度の視角が可能になる）。結果として、これは、力、剪断、およびトルクに対する感度を失うことなく、厚みわずか約１０ｍｍ～２０ｍｍのセンサを用いる機会を提示し、ならびに、緊密空間および緊密空間アセンブリの両方に本開示の弾性変形可能な外皮を用いることを可能にすることが明らかになった。他の恩恵／利点は、センサが、非限定的な例として、ロボット組立て作業中に加えられるべき適切な力テンソルを記録する、人間が着用する「ティーチグローブ」において用いられ得ることである。０度～１０度、１０度～１５度、１０度～２０度および１５度～３０度を含む他のカメラ角度を利用することができることに留意されたい。

要するに、弾性変形可能な外皮の認識された構造的構成のいくつかは、非限定的な例として、（１）外側衝撃面の均一な厚みまたは不均一な厚みなどの寸法厚み；（２）弾性変形可能な外皮の寸法高さおよび深さ；（３）弾性変形可能な外皮の材料の種類および弾性変形可能な外皮を構成する異なる種類の材料の位置；ならびに（５）三次元（３Ｄ）印刷、成形製造プロセスの種類等を含んで、弾性変形可能な外皮がどのように構築／製造されるか、を含むことができる。また、弾性変形可能な外皮の下側に搭載／取り付け／成形されるピンの数は、（実験からわかるように）多くの因子に依存し得、例えば、認識されたのは、所定のレベルの感度、耐久性などを達成する観点から、ピンの数が、ユーザの意図および目標に基づく特定の用途に依存し得ることである。

本開示のいくつかの実施形態で実験され用いられる別の画像処理方法は、有限要素モデル化（ＦＥＭ）方法であり得る。例えば、ピンの動きを含む、カメラの撮像された画像から生成されたデータを処理するために、メタマテリアル設計としてデータを処理するよう、ＦＥＭ法を用いることができる。メタマテリアルは、内部構造が、その物理的特性（電気的、磁気的、機械的、熱的特性）が、それを構成する「実際の」材料のバルク特性、すなわち、負のε、μ、ほぼ任意の光速ｃ、ポアソン比ν、または熱伝導率κと著しく異なる最終物体を生成する物体である。ＦＥＭモデルは、異なる負荷下でエラストマー変形を予測することができる。さらに、エラストマーピンは、表面プロファイルを上昇させ、表面傾斜を画像化しやすいＸＹ運動に変換し、すなわち、ピン先端の低コストウェブカム画像を用いる。さらに、より少ない基準マークを有する弾性変形可能な外皮の構造設計は、単純な画像閾値付けを提供し、フレーム間追跡／曖昧さがない。実際、ＯｐｅｎＣＶを用いて、力マップに変換されるピン先端の動きを追跡することが可能である。これは、計算費用を最小化し、高いフレームレートを維持する。

実験中、逆ＦＥＭは計算上高価であることが証明された。認識されたのは、モデルの学習が実データとともにあるべきであることであった。実験からさらにわかった態様は、１４次元空間におけるユークリッド距離を用いて、状況を、把持位置、角度姿勢、剪断およびトルクとともにラベル付けすることが有益であることが証明されたことである。例えば、計算時間は非常に速く、すなわち、計算コストの量は非常に低いことが証明され、その結果、１つの１ＧＨｚ ｃｐｕ（例えば、Raspberry Pi Zero）上で優れた視覚化を伴うリアルタイムでの処理能力がもたらされた。

場合によっては、実際の力テンソルまたは力のパターンを計算することは不要であり得、正しい画像および不正確な画像の既定のライブラリに対するピン先端位置の単純な比較が、弾性変形可能な外皮への衝撃を判断するのに十分であるか、または既知の歪みのライブラリに対して補間されて、リアルタイムでセンサ上の実際の力テンソルの良好な推定値をもたらす。

本開示の他の実施形態はまた、エラストマー触覚センサに加えられた外力の高感度の感知を提供しながら、単純なコンパクトな触覚センサを、浅いプロファイルとともに、低コスト、低質量で提供するなどの利益を提供することによって、今日の工業的必要性に対処する。これらの利点のいくつかは、本開示のコンパクトな触覚センサが、以前の従来の触覚センサの使用が異なる技術産業にとって高価すぎることがわかった技術において用いられることを可能にする。

実験から得られたいくつかの他の認識は、マークに対するカメラ位置の構成を含んだ。例えば、外側衝撃面への外力によって引き起こされるたわみの動きとして、外側衝撃面は、圧力、オフセット圧力、剪断力、またはトルク力の下で変形し、マークに鑑みて位置する１つ以上のビデオカメラまたはウェブカムは、印加される外力が外側衝撃面に加えられる前、間、および後にマークの動きを記録する。１つ以上のビデオカメラは、非限定的な例として、斜め（0から約２０度）の角度で、または何らかの他の角度でマークを見るように配置することができる。本開示の少なくとも１つの実施形態は、必要な場合、補間を用いて、マークの動きを格納済みのマークたわみにマッチングすることができる機械視覚アルゴリズムを用いて、外側衝撃面上の力のパターンまたは正味の力テンソルを判断することを含む。

実験に基づいて、０から２０度（０～約２０）の間の視野角、すなわち斜角で位置決めされた１つ以上のビデオカメラを有するとき、カメラ構成は、低プロファイルエラストマー触覚センサをもたらしたことが認識された。また、重複する視野を提供するようにカメラを位置決めすることは、外側衝撃面に加えられる力の完全な表現またはパターンを提供することができることも認識された。本開示の低プロファイルエラストマーセンサのいくつかの恩恵および利点は、非限定的な例として、従来の触覚センサのその大きなプロファイルに起因する今日の技術的問題のいくつかに対する解決を提供する。例えば、本発明の低プロファイルエラストマーセンサは、ロボットの技術産業だけでなく、非限定的な例として、人間の皮膚等に関連付けられる補綴用途に関連する用途にも適している。

対照的に、従来のロボットおよび従来の補綴用途は、最小限の触覚を有することを含む、多くの問題があり、これは、物体の一定の予定外の運動および物体の配置位置を含む作業ならびに動作ロボット環境で用いられる従来の特殊化された高精度ロボットにとって問題を生み出す。

特殊化された高精度ロボットを用いることができない理由は、これらの種類の物体の運動および予定外の場所変更の場合に、操作上、迅速な反応時間を組み込むことができないからである。同様に、従来の特殊化された高精度ロボットは、典型的には、ロボットが物体に意図せずに衝突または突き当たったかどうかを知る能力をほとんどまたは全く有さず、それは、被害もしくは人間の安全性の問題を引き起こし得る失速効果をもたらす可能性があるか、またはこれらのタイプのロボットの修理に費用がかかる。従来の特殊化された高精度ロボットのこれらの問題を克服するために、本開示のいくつかの実施形態は、非限定的な例として、ロボット、車両または機械が物体と意図されたまたは意図されない接触を行ったかどうかを迅速な応答時間で検出して、損傷、失速効果などを防止するために用いることができる、圧力、並進、回転、および剪断における充分な力のセットを提供する、堅牢な汎用の弾性変形可能な外皮を提供する。

いくつかの実施形態によるいくつかの弾性変形可能な外皮構成に関して、弾性変形可能な外皮は、弾性変形可能な外皮の下側に配置された複数の微小な機械的ピンを含む。各微小な機械的ピン（以下、「ピン」）は、弾性変形可能な外皮の下側から遠ざかるように外向きに延びることができる。ピンが下面の最も外側の端部に、すなわち下面の中心から離れて位置決めされる場合、マークまたは基準先端マーカ（白色または着色塗料）を有するピンは、空気によってのみ減衰される動きを有する。ピンは、シリコーンゴム、ポリウレタン、熱可塑性エラストマー、天然ゴム、ポリイソプレン、ポリアミド（ナイロン）、ポリエチレン、ポリプロピレンポリビニルクロリド、可塑化光重合アクリル、またはそれらの混合物などのエラストマー材料から作製され得る。エラストマーキャップの外側衝撃面は、変形可能な１つ以上の材料で形成されることができる。非限定的な例として、エラストマーキャップは、シリコーンゴム、ポリウレタン、熱可塑性エラストマー、天然ゴム、ポリイソプレン、ポリ塩化ビニル、可塑化光重合アクリルなどから作製することができ、ピンは、エラストマーキャップと同じ材料から、または異なる材料もしくは材料の組み合わせから作製され得ることが企図される。例えば、ピンはナイロンで作製されるかもしれず、キャップの本体および衝撃面はポリウレタンで作製され、ダブルショット射出成形として作製され得る。ピンは、外側衝撃面と同じ材料から、または異なる材料もしくは材料の組み合わせから作製され得ることが企図される。

上述したように、ピンは、力のパターンまたは正味の力テンソルのような測定が困難なものを、測定が容易なものに変換する。すなわち、測定は、自由微小機械式ピン先端または端部の画像の動きに基づいて、より容易になされ、すなわち、ピンの最外端部におけるマークまたは基準先端マーカの画像の動きは、ある角度でピン先端（またはマークを有するレバー）を観察する安価なウェブカムなどのカメラによって追跡される。ピン先端は、ピン先端の動きの前、すなわち力テンソルが弾性変形可能な外皮の外側衝撃面に加えられる前、ピン先端の動きの間、すなわち力のパターンが弾性変形可能な外皮の外側衝撃面に加えられる間、およびピン先端の動きが停止した後、すなわち外部から加えられる力のパターンが停止した後、カメラによって連続的に見ることができる。
実用的な用途

本開示のいくつかの実施形態は、弾性変形可能な外皮に対して、予期しない衝撃力またはかけられる外力または力のパターンの、高度にカスタマイズ可能な感度感知を提供しながら、弾性変形可能な外皮を、浅いプロファイルとともに、低コスト、低質量で提供することによって衝撃力に対処する、今日の技術的触覚センサの必要性に対処する。

例えば、本開示の弾性変形可能な外皮の（可撓性スペーサを介した剛性表面への）取付け性は、ロボット、車両、または機械の領域を保護するためにカスタマイズされた測定可能なレベルの感度を提供するよう、非常に小さな高感度の局所領域に取り付けることができる。さらに、これらの局所領域は、脆弱な構成要素、継手、または他の損傷を受けやすい局所領域を含むが、それらは、ロボット、車両、または機械を管理するのに費用がかかる実質的な衝撃事象の中でも特に、潜在的な壊滅的な構成要素の故障、まかないきれない修理費用、ダウン生産コストをもたらす衝突力から保護され得る。

本開示のいくつかの実施形態は、人の生活に損害を引き起こし得る、または従業員に四肢の喪失を引き起こしうる、安全でない作業環境を防ぐために、迅速なアクション応答を可能にするよう、迅速な時間で衝撃力を検出することによって、今日の触覚感知産業界のニーズに対応する、カスタマイズされた性能測定可能レベルの感度を提供する。さらに、本開示の実施形態は、これらの自由度での位置、速度、および／もしくは力（もしくは回転する継手の場合には、角度、角速度、および／もしくはトルク）が、または精神集中を介する遠隔操作の場合のそれらが、特定の用途、および衝撃力による損害の防止に重要である場合に、高精度ロボット、車両、および機械のそれらの運動における安全な動作を支援する。

本開示の弾性変形可能な外皮は、従来の触覚センサで経験される高い失速力を防止することができる。例えば、弾性変形可能な外皮は、モータへのフルパワーで規定の軌道を停止または防止する応答をリアルタイムで確認することによって、高い失速力が生じるのを防止する。一方、従来の触覚センサを含むほとんどの従来の機械またはロボットセンサは、剪断運動または他の種類の同様の力もしくは圧力を与えることができず、すなわち剪断センサは、力を失速させる原因の一部となり得る運動を検出する。これらの損傷または故障を防止することは、そのような構成要素の、ロボット、車両または機械の機械的構成要素、電子的構成要素、ソフトウェア構成要素、ネットワークもしくは通信構成要素などとしての操作性を保持および維持することに変換することができる。さらに、本開示の実施形態は、カメラ視覚構成に依存して従来の触覚感知を劣化させ得る、蒸気、ミスト、煙を有する不良作業環境または動作環境の影響を受けにくい。

本開示の実施形態によれば、触覚センサは、属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を備え、各下面ピンまたは隆起部はマークを含み、上記下面は剛性表面からの可撓性スペーサ上に配置される。カメラは、マークの画像を撮像するように位置決めされる。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納する。事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成される。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。

本開示の別の実施形態は、属性を有する外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を提供することを含む触覚感知のための方法である。各下面ピンまたは隆起部は、少なくとも１つのマークを含み、下面は、可撓性スペーサ上に配置され、可撓性スペーサは、装置の剛性表面に取り付けられる。マークの画像を撮像するように構成されたカメラを提供し、カメラから画像を撮像する。撮像された画像において上記マークの変位を検出して、変位された上記マークの位置を得る。事前学習済みのマークの位置のセットの画像データを含むデータを事前学習済みの力のパターンとともに格納するメモリにアクセスし、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。距離関数に基づいて、上記撮像された画像内の上記変位された上記マークの位置を上記画像データの上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとに、品質のマッチ値を得、ユーザが選択した最良マッチング関数を上記品質のマッチ値に適用して、最良品質マッチの事前学習済みの力のパターンを判断する。判断された最良マッチの事前学習済みの力のパターンに基づいて、弾性変形可能な外皮に作用する力のパターンを特定する。上記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含む。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。

本開示の別の実施形態によれば、ロボットを制御するためのシステムは、属性を有する外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を含む。各下面ピンまたは隆起部は、少なくとも１つのマークを含み、下面は、可撓性スペーサ上に配置され、可撓性スペーサは、装置の剛性表面に取り付けられる。カメラは、マークの画像を撮像するように構成される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成される。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。

本開示の別の実施形態は、属性を有する外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を含む、モバイルデバイス用の触覚センサを含む。各下面ピンまたは隆起部はマークを含み、下面は、モバイルデバイスの剛性表面に取り付けられた可撓性スペーサ上に配置される。カメラは、マークの画像を撮像するように位置決めされる。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成される。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンをコントローラに出力して、上記特定された力のパターンに基づいて、上記モバイルデバイスに関連付けられるアクションを開始する。

添付の図面を参照して、ここに開示される実施形態について説明する。示される図面は、必ずしも一定の縮尺ではなく、代わりに、ここに開示される実施形態の原理を例示することに概して強調がおかれる。

本開示のいくつかの実施形態による、ロボット、車両、または機械などの装置の剛性表面に取り付けられる弾性変形可能な外皮の実施形態を示す概略図である。 本開示のいくつかの実施形態による、装置１１、すなわちロボット、車両、または機械の剛性表面に取り付けられる弾性変形可能な外皮８の、図１Ａのカメラ５Ｃの視野を示す概略図である。 本開示のいくつかの実施形態による、カメラ５Ｃである。 本開示のいくつかの実施形態による、マーク３を有するピン２である。 本開示のいくつかの実施形態による、本開示のいくつかの方法およびシステムを実現するために用いられるいくつかの構成要素を示す概略図である。 本開示のいくつかの実施形態による、ロボット、車両または機械などの装置の剛性表面にスペーサを介して取り付けられる弾性変形可能な外皮の別の実施形態を示し、ピンは、用途に特有の１つ以上の圧力、力、またはあるパターンの圧力および力の、ある量のカスタマイズされた測定可能な感度を提供するように戦略的に構造的に配置される、概略図である。 本開示のいくつかの実施形態による、ロボット、車両または機械などの装置の剛性表面にスペーサを介して取り付けられる弾性変形可能な外皮の別の実施形態を示し、外側衝撃面は、用途に特有の１つ以上の圧力、力、またはあるパターンの圧力および力の、ある量のカスタマイズされた測定可能な感度を提供するように戦略的に構造的に配置される隆起部および円錐を含む、概略図である。 本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。 本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。 本開示のいくつかの実施形態による、図２Ａのステップ２２５のメモリに格納されたＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチングを実行するためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、ＸＹ位置の事前格納済みライブラリを生成するためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、画像測定機能を用いるためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、有限要素モデル化（ＦＥＭ）のいくつかのステップを示す流れ図である。 本開示のいくつかの実施形態による、図３ＡのＦＥＭを用いる態様を示す概略図である。 本開示のいくつかの実施形態による、図３ＡのＦＥＭを用いる態様を示す概略図である。 本開示のいくつかの実施形態による、ロボットアセンブリのリンクに沿って弾性変形可能な外皮を用いるためのいくつかの構成要素を示す概略図である。 本開示のいくつかの実施形態による、ロボットのリンクに取り付けられる弾性変形可能な外皮の断面図を示す概略図である。 本開示のいくつかの実施形態による、ロボットの継手に構成された弾性変形可能な外皮を示す概略図である。 本開示のいくつかの実施形態による、ロボットの２つのリンクまたはセグメントの別の継手に構成された弾性変形可能な外皮および継手アダプタ外皮を示す概略図である。 本開示のいくつかの実施形態による、ロボットの剛性表面に取り付けられる弾性変形可能な外皮に関連付けられるピンの重複ビューである、カメラの複数のビューを示す概略図である。 本開示のいくつかの実施形態による、弾性変形可能な外皮を有するグリッパを有するロボットを含む代替ロボットシステムのいくつかの構成要素および様々なサブシステムを示す概略図である。 本開示のいくつかの実施形態による、代替プロセッサを示す概略図である。

上記で特定された図面は、ここに開示されている実施形態を記載しているが、議論に記載するように、他の実施形態も企図される。本開示は、限定ではなく代表として例示的な実施形態を提示する。当業者は、本開示の実施形態の原理の範囲および精神に含まれる多数の他の修正および実施形態を考案することができる。

本開示は、触覚感知に関し、より詳細には、外側衝撃面と、剛性表面に可撓性スペーサが取り付けられる下面とを有する弾性変形可能な外皮であるエラストマー触覚センサに関する。下面はピンを含み、各ピンはマークを含み、外側衝撃面に加えられた外力に応じて、外力を特徴付ける力のパターンが判断される。

図１Ａは、本開示の実施形態による、ロボットまたは機械装置などの構成要素１１を包む弾性変形可能な外皮の実施形態を示す概略図である。エラストマー触覚センサは、外側衝撃面９と、スペーサ７Ａ～７Ｄを介して構成要素１１に取り付けられる下面１０とを有する弾性変形可能な外皮８を含む。下面１０は複数のピン２を含み、各ピン２はマークまたは基準先端マーカ３を含む。あるパターンの力が外側衝撃面９に加えられると、弾性変形可能な外皮８は変形し、ピン２が動かされ、マークまたは基準先端マーカ３は屈曲運動する。例えば、動かされる際のマーカ３は、あるパターンの力によって動かされるが、そのとき、圧力、力、トルク、狭窄、伸張などが外側衝撃面９に加えられ、それがピン２を動かすことに対応し、それがマーカ３を動かす。エラストマー触覚センサは、マーク３に鑑み位置決めされたカメラ５Ａ～５Ｄも含み、動かされたときにマーク３の画像を撮像する。

本開示のいくつかの実施形態に従って、図１Ｂ、図１Ｃおよび図１Ｄ、図１Ｂは、構成要素１１、すなわちロボットまたは機械の剛性表面に取り付けられる弾性変形可能な外皮８の、カメラ５Ｃの視野を示す略図であり、図１Ｃはカメラ５Ｃであり、図１Ｄはマーク３を有するピン２である。図１Ｂのカメラ視野は、弾性変形可能な外皮８の下面１０、ピン２、カメラ５Ａ、５Ｂ、およびスペーサ７Ａ、７Ｂを見るカメラ５Ｃからのものである。

図１Ｅは、本開示のいくつかの実施形態による、本開示のいくつかの方法およびシステムを実現するために用いられるいくつかの構成要素を示す概略図である。本開示の方法およびシステムのいくつかは、隆起表面を有する構成要素に取り付けられるエラストマー触覚センサの一部である弾性変形可能な外皮を含み、すなわち、構成要素はロボット、車両、または機械を含むことができる。センサ制御コンピュータ１１３は、ハードウェアプロセス１２０、制御モジュール１４０、ストレージ１３０、およびメモリ１２２を含み、それらはすべてバス１０６によって接続される。ハードウェアプロセッサは、メモリ１２２および／またはストレージ１３０に格納された命令を実現または実行することができ、特に、事前格納済みＸＹセット１３１は、ハードウェアプロセッサ１２０によってアクセスすることができる。ストレージ１３０は、事前格納済みＸＹセット１３１を格納することができ、ラベルおよび力の値を含むことができる。任意選択で、ラベルおよび力の値を有する事前格納済みＸＹセットは、ストレージ１３０、メモリ１２２のいずれか、またはそれらの両方に格納されてもよく、そのすべては、ユーザによって予め定められた特定の用途に依存する。

バス１０６を介して接続される制御モジュール１４０は、構成要素制御コンピュータ１４２に接続され、構成要素制御コンピュータ１４２は、１４３を介して制御モジュール１４０に通信し返すことができる。例えば、制御モジュール１４０は、センサデータ１８６を介して場面データを処理することができ、それは、センサ制御コンピュータ１１３において実行されるべき判断された方法を実現することができる。

さらに図１Ｂを参照すると、構成要素制御コンピュータ１４２は、構成要素１４４、すなわちロボット、車両、または機械に接続し、構成要素１４４は、１４５を介して構成要素制御コンピュータ１４２に通信し返すことができる。例えば、構成要素制御コンピュータ１４２は、ロボット、車両、または機械を動かすアクションを制御することができ、またはアクションコマンドを生成する支援に関して制御モジュールにデータを送り返すことができる。構成要素制御コンピュータ１４２は、構成要素１４４に、移動または何らかの他のアクションを行うように命令することができる。

さらに、構成要素１４４は、外側衝撃面１４８の歪みに接続され、物理的環境１４６も、外側衝撃面１４８の歪みに接続される。例えば、物理的環境１４６は、外側衝撃面に衝撃を引き起こし得る物体または何かを含む。さらに、外側衝撃面１４８の歪みは、ピンの動きを引き起こす力のパターンまたは正味の力テンソルを形成する外部圧力または力である。ここで、少なくとも１つのビデオカメラ１３３は、マークおよびピン位置の画像を撮影してビデオ画像データを得る。例えば、外側衝撃面１４８の歪みは、図１Ａの外側衝撃面９に加えられる外部圧力、力などによるものであり得る。外部のまたは外部圧力、力などは、本開示の実施形態が図１Ａの外側衝撃面９に外部から印加される力のパターンの各圧力または力について測定可能な感度の量を判断することができる力のパターンとすることができる。

さらに図１Ｂを参照すると、任意選択で、センサ制御コンピュータ１１３は、制御システム１００を、マークおよびピン位置の撮像された画像のビデオカメラ画像データ１３３ならびに他のデータをワイヤレスで受信することができるワイヤレスシステムと接続するネットワーク１５１に、バス１０６を介して、制御システム１００を接続するように適合されたネットワークインターフェースコントローラ１５０を含むことができる。また、任意選択で、バス１０６を介したセンサ制御システムは、遠隔ロボット制御コンピュータ（図示せず）、遠隔ロボット（図示せず）、またはさらに遠隔制御モジュール（図示せず）に無線でデータを送信するために、送信機１６５に接続された送信機インターフェース１６０を含むことができる。さらに、バス１０６を介するセンサ制御システム１１３は、１つ以上の電源１２８に接続される制御インターフェースに接続され得る。制御インターフェースは、アクションコマンドを含むデータを電源または他のデバイスに提供することができる。企図されるのは、電源１２８は、バッテリー、代替電源、１２０ボルト電源、代替エネルギー源（すなわち、太陽、水、風など）の１つまたは組み合わせであり得ることである。さらに、バス１０６を介したセンサ制御コンピュータは、ビデオ画像データまたは他のデータを受信するために、受信機１８５に接続された受信機インターフェース１８０を含むことができる。

図１Ｆは、本開示のいくつかの実施形態による、弾性変形可能な外皮８の別の実施形態を示す概略図であり、下面１０に取り付けられたピン２は、用途に特有の１つ以上の圧力、力、またはあるパターンの圧力および力の、ある量のカスタマイズされた測定可能な感度を提供するように、戦略的に構造的に構成される。

図１Ｇは、弾性変形可能な外皮８の別の実施形態を示す概略図であり、本開示のいくつかの実施形態によれば、外側衝撃面９は、１つ以上の圧力、力、または用途に特有の圧力および力の１つ以上のカスタマイズされた測定可能な感度の量を提供するように戦略的に構造的に構成された隆起９８および円錐９９のパターンまたは非パターンを含む。

図２Ａおよび図２Ｂは、本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。

図２Ａのステップ２１５は、カメラ、ビデオカメラ、またはウェブカムを用いて、開始点から最終終了点まで動いている基準先端マーカの画像を撮像することを含む。例えば、固定カメラは、基準マークを担持する微小レバーピンの画像を撮像する。画像はコンピュータまたはプロセッサに送信され、少なくとも１つの実験に従って、安価なウェブカムカメラが、ＵＳＢを介して、Debian Linuxソフトウェアなどのソフトウェアを実行するコンピュータに接続され得る。しかしながら、明らかに、他の実験は、異なる種類のカメラ、カメラ位置、カメラ搭載構成、および他の種類のソフトウェアを含むことができる。

図２Ａのステップ２２０は、撮像された画像の画像において測定された位置の画像座標を特定することを含む。コンピュータ上では、画像処理ソフトウェアを用いて、弾性変形可能な外皮の下面に位置する各基準マーカのＸＹ位置を抽出することができる。明らかに、多くの異なるが同様の方法が存在するが、好ましい方法は、オープンソースパッケージ「ＯｐｅｎＣＶ」を用いることを含んだ。特定の用途に応じて、すべてのマークがカメラの視界にある必要はないことが認識される。まず、この実験中、色、ウェブカム画像はグレースケール画像にいくらか低減されていたが、これは必須ではなく、任意選択である。

図２Ｂを参照すると、任意選択で、ステップ２２１は、画像を閾値化するために用いられる方法ステップを含むことができる。このとき、黒または白の画素として黒（背景）および白（基準マーク）のみが残る。好ましい閾値化のレベルは、非限定的な例として、０から２５５のスケールで２４５の画素輝度値である。このアプローチは、基準を、黒いフィールドにおいて白い不規則な塊として、センサにおけるノイズまたは布リント汚染からの白い微小斑点とともに、示すようであった。

また、図２Ｂを参照すると、任意選択で、ステップ２２２は、白塊をノイズ除去するために用いられる方法ステップを含むことができ、ＯｐｅｎＣＶ「浸食」演算子による第１のアプローチは、各画素値を、各画素のまわりを中心とする３×３領域内で見出される最低画素値と置き換えた。この浸食アプローチを３回行い、ノイズ画素およびリント汚染を画像から除去した。これは、これらのノイズ特徴が一般に幅が６画素未満であるためであった。

また、図２Ｂを参照すると、任意選択で、ステップ２２３は、ＯｐｅｎＣＶ「拡張」と呼ばれる浸食の逆数によって残りの白塊を再拡張するために用いられる方法ステップを含むことができる。これは、各画素値を、画素を中心とする３×３領域において見出された最も高い画素値と置き換えた。その結果、残りの白塊を、基準マークが存在する領域を中心にして、比較的安定した比較的円形のマスクに拡大した。次いで、このマスク画像をグレースケール画像とともに用いて、グレースケール画像からノイズおよび汚染の本質的にすべてを排除し、なぜならば、処理された浸食／拡張が安定した領域を回復しなかった面積／領域／場所は黒（０）であり、元の画像と論理ＡＮＤされたときに、マーカ検出を速くかつ非常に低いノイズで行う黒い背景を生じるからである。

また、図２Ｂを参照すると、任意選択で、ステップ２２４は、標準的なＯｐｅｎＣＶ塊検出器「Simple Blob Detector」を用いて、微小レバーピンの端部上の基準マークのＸＹ位置であるこれらの塊の中心を見つける方法ステップを含むことができる。

図２Ａを参照すると、ステップ２２５は、撮像された画像における基準マークの相対変位のセットを判断することを含む。例えば、このようなＸＹペアの数は基準マークの数に等しく、小さい（これらの実験ではわずか７つの基準ピンが用いられた）ので、次のステップ２２５は、ＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチングを行うこととすることができる。

ＸＹ位置の事前格納済みライブラリは、多くの実験の過程を通して早期に生成された。実験のこの特定のセットについては、５０未満の事前格納済みＸＹセットが、事前格納済みライブラリデータベース内のメモリに格納される場合に、優れた解像度およびユーザビリティを与える結果となった。もちろん、５０個より多い事前格納済みＸＹセットを事前格納済みライブラリデータベースに格納することができるが、これらの実験セットについては、５０個の事前格納済みＸＹセットは、本開示のいくつかの態様による目標のいくつかに達するのに十分であると思われた。

図２Ａのステップ２３０は、どのように力のパターンを見つけるか、または弾性変形可能な外皮の上面に作用する正味の力テンソルを判断するかのステップを含む。概観として、力のパターンは、基準先端マーカの相対変位のセットを、動かされる基準先端マーカの事前学習済みの相対変位の格納されたセットにマッチングし、次いで、基準先端マーカの事前学習済みの相対変位の格納されたセットに関連付けられる力のパターンを特定することによって、判断することができる。

したがって、図２Ａのステップ２３０は、ピタゴラス計量（ＸおよびＹの差の二乗の和の平方根）を用いる方法ステップで始まって、ライブラリ内の事前格納済みＸＹセットに対する観察された基準ＸＹ位置の最良マッチを判断する。この計算は非常に高速であった。観察されたＸＹ位置の各々を、事前格納済みライブラリ内の事前格納済みのすべてのＸＹ位置と比較した。５０個ほどの事前格納済みセットの各々に対する「実行タリー」が、すべての各基準マークが事前格納済みセットの各々において一回だけ表現されるという仮定のもと維持され、各事前格納済みセット実行タリーは、観察されたＸＹ基準位置と任意の所与の事前格納済みセット内の任意の基準の最も近い事前格納済みＸＹ位置との間のピタゴラス距離だけ増分された。このステップについて実験を行ったが、最初に、個々のマークを経時的に追跡するニーズまたは必要性に対する仮定があった（すなわち、前の行の最も左のマークは、第４の事前格納済みライブラリセットの第４のＸＹ座標に対応する等）。しかしながら、後の実験で、この仮定は完全に不必要な計算であり、精度を失うことなくこれを省略することができることが示された。

さらに図２Ａのステップ２３０を参照すると、この実験からの驚くべき結果は、この計算が例外的に速いことである。１０個の基準マークおよび１００個の事前格納済みライブラリセットでは、１０００個のＸＹペア対ペア比較があり、これは、全部で、２０００個の二乗、１０００個の加算、１０００個の平方根、または約４０００個の浮動小数点演算である。これは、最も安価なマイクロプロセッサがカメラのフレームレートを十分超えて実行するためのプロセス構成に鑑みても、素晴らしい結果を伴う非常に扱いやすい方法であることを意味し、認識された。

図２Ａのステップ２３５は、ピタゴラス距離実行タリーの和を用いて、事前格納済みＸＹ位置セットのリストを、マッチリストのランク付けされた品質にソートする方法ステップを含むことができる。

いくつかの用途では、単一の最良マッチは、所望され、センサ処理によって出力される唯一のものである。例えば、「損傷なし衝撃」対「損傷衝撃」対「可能性のある損傷衝撃」対「保守報告衝撃」は、格納されたＸＹ位置セットのいくつかに対するラベルであるかもしれず、したがって、それらはセンサプロセッサによって出力されるであろう。同じラベルを有する複数の格納されたＸＹ位置セットを有することに対する禁止はないことに留意されたい。５個または１０個の「保守報告衝撃」可能性があるかもしれず、用途に基づいて、下流のシステムが正確にどれかを知る必要はないか、または有用でさえないかもしれない。異なるタイプの「保守報告衝撃」または「損傷衝撃」可能性は、特定の構成要素、すなわちスペーサ、ピン、カメラ、カメラファンネル、外側衝撃面、外側衝撃面および下面、属性などに対する保守または損傷であり得る。

さらに図２Ａのステップ２３０を参照すると、他の用途では、何らかの特定の重み付け、逆重み付け、または特定の格納されたＸＹ位置セットが記録されたときに有効であった力の線形結合であるセンサ結果を出力することを選択することに依存し得る。例えば、１、２、５、および１０ニュートンの下向きの力が記録され、対応する基準ＸＹ位置セットが格納され、次いでセンサが未知の力を受けた場合、ある画像が撮像されるかもしれず、その画像は、ピタゴラス距離を得るために上記のように処理され、次いで、以下のように進行され得る：
ＸＹセットを格納した１ニュートンに対するピタゴラス距離＝３５０
ＸＹセットを格納した２ニュートンに対するピタゴラス距離＝１００
ＸＹセットを格納した５ニュートンに対するピタゴラス距離＝５０
ＸＹセットを格納した１０ニュートンに対するピタゴラス距離＝４００
...これは次いで以下のように計算されるかもしれない：
重みの逆数の和＝1/350 + 1/100 + 1/50 + 1/400 = 0.0353
１ニュートンの重み付けサンプル= 1 * [1/350] / 0.0353 = 0.080
２ニュートンの重み付けサンプル= 2 * [1/100] / 0.0353 = 0.566
５ニュートンの重み付けサンプル= 5 * [1/50] / 0.0353 = 2.832
１０ニュートンの重み付けサンプル= 10 * [1/400] / 0.0353 = 0.708
総重み付け和：4.186
...弾性変形可能な外皮感知表面上の４．１８６ニュートンの示された力を示す。

この同じプロセスは、１、２、５、１０ニュートンの下向きの力、－１０、－５、－２、－１、０、１、２、５および１０ニュートンのＸにおける剪断、－１０、－２、２および１０ニュートンのＹにおける剪断、ならびに－１０、－２、２および１０ニュートンのＺにおけるトルクなどのように、単独または組み合わせて動作する複数の力に拡張することができる。

さらに図２Ａのステップ２３０を参照すると、重み付け、逆重み付け、線形補間において評価されるべき格納されたＸＹセットの数を制限することも妥当であり、典型的には、最良にマッチする（最小のピタゴラス距離）２つまたは３つの格納されたＸＹ位置セットは、１次元問題に対して最良の精度を与え、４つから６つの格納されたＸＹ位置セットは、２次元問題に対して最良の精度を与え、６つから８つの格納されたＸＹ位置セットは、３次元問題に対して最良の精度を与える、などである。お分かりのように、本開示の方法は、ユーザの特定の用途のニーズ／要件に対し、すべて、カメラフレームレートをかなり超えて、実行するのに安価なマイクロプロセッサを用いるとともに、非常に安価な構成要素を用いながら、高度にカスタマイズ可能である。

さらに図２Ａのステップ２３０を参照すると、実験は、あるスケールの弾性変形可能な外皮に対して、３００から１０００の間のメッシュポイント（各々３つの自由度を有する）が、線形有限要素モデルにおいて十分な忠実度のために（および非線形性が可能である場合にはもっと多く）必要であろうことを示した。これは、計算段階が、ビデオカメラのフレームレートで３０００×３０００までの線形方程式系を解くことを含み、これは、現在の従来の触覚センサ技術では全く不可能ではないにしても、確実に計算的に高価であることを意味する。

図２Ｃは、本開示のいくつかの実施形態による、図２Ａのステップ２２５のメモリに格納されたＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチング（図２Ａのステップ２２５）を実行するためのいくつかのステップを示すブロック図である。以下のステップに基づいて、メモリに格納されたＸＹ位置の事前格納済みライブラリに対する、観察されたマークＸＹ位置の、ペアごとのマッチする距離（ＰＢＰＭＤ）を計算する。

図２Ｃのステップ２５１は、現在の格納されたＸＹ位置セットを、上述の格納されたＸＹ位置のセットに設定することを含む。

図２Ｃのステップ２５３は、現在の格納されたＸＹ位置セットに対する観察されたＸＹ位置セットのペアごとのマッチする距離を見つけて、その観察されたＸＹ位置セットの、観察されたＸＹ位置セットに対する、ペアごとのマッチ距離を得るために、以下のルーチンＰＢＰＭＤを実行すること含む。

図２Ｃのステップ２５５は、現在の格納されたＸＹ位置セット対観察されたＸＹ位置セットのＰＢＰＭＤを計算することを含む：

図２Ｃのステップ２５７は、以下を含む：

図２Ｄは、本開示のいくつかの実施形態による、ＸＹ位置の事前格納済みライブラリを生成するためのいくつかのステップを示すブロック図である。ＸＹ位置の事前格納済みライブラリを作成すること２６０は、キャップの外面に圧力、剪断力、トルク、挟む力、または広げる力などの公知の力を加えることを含むステップ２６１を含むことができる。

図２Ｄのステップ２６３は、加えられる力に対して、「ＧＲＩＰ ＯＫ」または「Ｙ ＳＨＥＡＲ＝３０ニュートン」などのラベルを定義することを含む。

図２Ｄのステップ２６５は、キャップの内部のマークの画像を撮像することを含む。

図２Ｄのステップ２６７は、ステップ２２１（閾値）、２２２（浸食）、２２３（拡張）、および２２４（塊検出）と同じ順序で、同じ動作に従って画像を処理して、ＸＹ位置のセットをもたらすことを含む。

図２Ｄのステップ２６９は、ＸＹ位置のセットを、定義されたラベルとともに、メモリに格納されるＸＹ位置セットの事前格納済みライブラリの１つとして格納することを含む。

図２Ｅは、本開示のいくつかの実施形態による、画像測定機能を用いる（２７０）ためのいくつかのステップを示すブロック図である。ステップ２７１は、撮像された画像のうちのある撮像された画像からマークの開始位置を特定するステップを含む。

図２Ｅのステップ２７３は、撮像された画像のうちの他の撮像された画像からマークの最終位置を特定することを含む。

図２Ｅのステップ２７５は、特定されたマークの開始位置を、撮像された画像内の測定された画像座標に関連付けることを含む。

図２Ｅのステップ２７７は、特定されたマークの最終位置を他の撮像された画像における測定された画像座標に関連付けることを含む。

図２Ｅのステップ２７９は、開始位置測定座標から最終位置測定座標までの基準マークの測定された画像座標を比較して、動いている基準マークの相対位置のセットを特定することを含む。

図２Ｅのステップ２８０は、画像プロセッサを用いて、撮像された画像と他の撮像された画像との間の画像座標において測定された各マークの相対位置を変換することを含み、相対位置は、ユークリッド距離として合計され、それによって、撮像された画像と他の撮像された画像との間のマッチ距離を形成する。

図３Ａは、本開示のいくつかの実施形態による、有限要素モデル化（ＦＥＭ）３１０を用いるいくつかのステップを示す流れ図である。ＦＥＭは、エラストマーキャップの上面の弾性変形の感度の尺度は、エラストマーキャップの下面上の複数のピンを用いると、エラストマーキャップの外側衝撃面「のみ」のたわみの動きの測定可能な感度の量と比較した場合に、拡大され、より大きくなることを示すまたは例証するための優れた場である。例えば、ステップ３１５は、内面、外面、リム、微小レバー、およびマークを含むエラストマーキャップのＣＡＤモデルを作成することを含む。

図３Ａのステップ３２０は、ＣＡＤモデルをＦＥＭソフトウェアパッケージに適したメッシュに変換することを含む。

図３Ａのステップ３２５は、典型的にはエラストマーキャップのリムに対応するメッシュの固定部分を規定することを含む。

図３Ａのステップ３３０は、典型的には、キャップに加えられる圧力、剪断、トルク、挟む力、または広げる力に対応する試験力を規定することを含む。

図３Ａのステップ３３５は、キャップを構成する各材料または材料についてヤング率および任意選択で降伏強度を規定することを含む。

図３Ａのステップ３４０は、メッシュ、固定部分、および試験力上でＦＥＭソフトウェアパッケージを実行することを含み、これは、典型的には、各メッシュポイント（１つが各々Ｘ力、Ｙ力、およびＺ力に対する）について３つの同時の力－平衡方程式の解を伴う。

図３Ａのステップ３４５は、ＦＥＭ解の結果を解釈することを含み、これは一般に、試験力を受けたときに各メッシュポイントが経るＸ、Ｙ、およびＺ変位である。

図３Ｂおよび図３Ｃは、本開示のいくつかの実施形態による、図３Ａの有限要素モデリング（ＦＥＭ）を用いる態様を示す概略図である。例えば、図３Ｂは、エラストマーキャップのＣＡＤモデルを示し、細い線のメッシュは、有限要素モデリングに用いられるメッシュを示す。メッシュの各短い線内では、材料の挙動は線形であると仮定される。

図３Ｃは、材料がエラストマーに設定され、ショアデュロメータの硬さが８０Ａ（ハイキングブーツの靴底に用いられるゴムとほぼ等しい）であり、メッシュの固定部分がキャップのリムであり、試験力が最も右側の最前面の微小レバーピンの下で垂直に上向きである、３ＢのＣＡＤモデルのＦＥＭ解の結果を示す。最も右側の最前面の微小レバー先端は大きな動きを有するが、隣接する左側の最前面の微小レバー先端はさらに大きな動きを有することに留意されたい。これは、試験力の応力による、キャップにおける先端部および傾斜歪みによるものである。左側の微小レバーの基部は、右側の微小レバーの基部と比べて、垂直方向の移動がはるかにより少ないが、全体的な動きははるかに大きく、それは大部分は－Ｘ方向である。これは、異なる力の曖昧性除去を可能にする。

図４Ａは、本開示のいくつかの実施形態による、可動ロボットアセンブリ上に展開された弾性変形可能な外皮を用いるためのいくつかの構成要素を示す概略図である。ロボットは、ロボット基部４０５と、軸方向回転継手である関節４１１によってリンクされた１つ以上のリンクまたはセグメント４０７とからなる。複数の弾性変形可能な外皮４０１は、ロボットの各リンクまたはセグメント４０７上の様々な位置に取り付けられる。弾性変形可能な外皮４０１は、関節４１１の動きに干渉することなく関節４１１上に突出する形状であってもよい。

図４Ｂは、本開示のいくつかの実施形態による、可動ロボットのリンクまたはセグメント４０７上に展開された弾性変形可能な外皮４０１の断面図を示す概略図である。リンク４０７および弾性変形可能な外皮４０１の断面図は、ロボットのリンクまたはセグメント４０７の表面上に配置された複数の弾性変形可能な外皮４０１の使用を示し、外部物体との衝撃または衝突中の任意の接触点についての空間情報を提供する。

図４Ｃは、本開示のいくつかの実施形態による、ロボットのリンク４０７の継手４０９に構成された弾性変形可能な外皮４０１を示す概略図である。ロボットリンクまたはセグメント４０７は、ヒンジ関節４１２によって接続され、複数の弾性変形可能な外皮４０１は、関節４１２の運動中にロボットリンクまたはセグメント４０７の相対位置が変化するので、ロボットリンクまたはセグメント４０７間の接触を回避しながら、関節４１２上の適用範囲を維持するように構成される。

図４Ｄは、本開示のいくつかの実施形態による、ロボットの２つのリンクまたはセグメント４０７の別の継手に構成された継手アダプタ外皮４１３を有する弾性変形可能な外皮４１８を示す概略図である。１つ以上のロボットリンク４０７はヒンジ関節４１６によって接続され、複数の弾性変形可能な外皮４１８および継手アダプタ外皮４１３は、関節４１６の運動中にロボットリンクまたはセグメント４０７の相対位置が変化するので、ロボットリンクまたはセグメント４０７間の接触を回避しながら、関節４１６上の適用範囲を維持するように構成される。継手アダプタ外皮４１３は、弾性変形可能な外皮４１８間の領域を覆う追加の継手カバーアダプタ４１９を含む。

図４Ｄは、本開示のいくつかの実施形態による、ロボットの剛性表面に取り付けられる弾性変形可能な外皮に関連付けられるピンの重複ビューであるカメラの複数のビューを示す概略図である。例えば、カメラ４１７Ａ～４１７Ｄは重複するビューを有し、カメラ４１７Ａはカメラ４１７Ｂのカメラビュー４１９Ｂと重なるカメラビュー４１９Ａを有し、カメラ４１７Ｃはカメラ４１７Ｄのカメラビュー４１９Ｄと重なるカメラビュー４１９Ｃを有する。重複ビューは、ロボットの２つのリンク間の継手の動きについて、または他の態様について、画像データが収集されることを保証することとともに、より多くの画像データ情報を提供することができる。
実験

独立して運動する微小レバーの使用はまた、弾性変形可能な外皮の異なる部分が、劇的に異なる局所歪みおよび力を経験し、報告することを可能にする。例えば、弾性変形可能な外皮の一部は左から右への剪断にあり得、弾性変形可能な外皮の他方の側は右から左への剪断にあり得、微小レバーは連続的なゲル内に捕らえられるのではなく、自由に動くので、弾性変形可能な外皮の特注構成は、この状況を、半球状ゲルがこれらの特定のセットの力に非敏感であろうように、その特定のセットの力に非敏感（つまり連続するゲル）であるのではなく、表面トルクとして正確に検出することができる。

これらの微小レバーで増幅された基準マークの動きを利用して力信号出力を生成するために、いくつかの実験を行った。考えられるいくつかの態様は、構成要素、ロボット、車両、または機械が中に位置決めされるキャビティ内の異なる位置に固定カメラを構造的に配置することを含む。

実験に基づいて、０から２０度（０～約２０）の間の視野角、すなわち斜角で位置決めされた１つ以上のビデオカメラを有するとき、この１つ以上のビデオカメラ構成は、低プロファイルの、感度の高いエラストマー触覚センサをもたらした。本開示の低プロファイルエラストマーセンサのいくつかの利益および利点は、非限定的な例として、大きなプロファイルを有する従来の触覚センサの今日の技術的問題のいくつかに対する解決を提供する。例えば、本開示の低プロファイルエラストマーセンサは、ロボット産業だけでなく、非限定的な例として、車両産業および機械産業に関連する用途にも適している。

感度、耐久性、および作製される能力のレベルに基づいて弾性変形可能な外皮を設計および構造化する方法を判断するために、多くの試験を行った。例えば、公開文献を介して見直されたセンサは、GelSight センサであった。このセンサは、片面に可撓性の不透明なコーティングを有する透明なゲルの厚いブロックを使用した。ブロックのコーティングされた側を表面に押し付け、歪んだ塗料を、いくつかの異なる角度のかすめ照明下で照明しながら垂直に観察した。わかったことは、このセンサが、表面上で上向きに衝突するテクスチャ（バー）を見つけることができたことである。しかしながら、このGelSightセンサは、非常に低いレベルの損傷力閾値を有し、ボイドまたはピンホールには有用ではないようであった。多くの発見されたなかの別の欠点は、このGelSightセンサが、カメラが動作するのに約１００ｍｍのＺ軸クリアランスを必要としたことである。カメラのそのような大きなクリアランスに起因して、このセンサは、低プロファイル構成を確かに有することができず、任意のタイプの低プロファイル用途ではなく、テクスチャ加工された表面のロボット検査に、より適しているようであった。さらに、低レベルの力損傷閾値および表面摩耗は、このGelSightセンサを多くの用途に適さないものとした。

広範な実験、ならびに感度、耐久性、製造コスト、および他の要因の所望のレベルに基づいて、本開示のいくつかの実施形態を設計および構築するための多くの認識が得られた。いくつかの実施形態についてのこれらの認識のうちのいくつかは、ピンが下側から遠ざかるように延在するように弾性変形可能な外皮の下側を延在することを含んだ。この構成は、外力テンソルによるピンの変形量を記録するように変形できるようにするために、ある強度レベルを満たすが、ある変形性レベルも満たすピンを設計する必要があることを含んだ。特に、ピンのいくつかの構成は、特に、ピンを他のピンと平行に維持しないように設計された。例えば、公開文献からオプティカルフロー分析による実験上でわかったが、ピンは、実験的な弾性変形可能な外皮において平行に配置された。ピンは、あるレベルの強さ、すなわち、適用される外力が加えられたときにピンの形状異常に影響を及ぼすレベルの強さを示した。この実験的な弾性変形可能な外皮は、許容可能な測定可能なレベルの垂直力をもたらした。しかしながら、この同じ実験的な弾性変形可能な外皮構成は、ピン先端の垂直（ｚ軸）カメラを用いて得られた画像の動きに基づいて、許容可能なレベルの測定可能な剪断力およびトルク感知／力を提供することができなかった。この実験構成からわかったのは、少なくとも本開示の測定可能な感度目標の所望のレベルを考慮して、測定可能な力テンソルを達成するために、ピン強度のレベルが、ピン変形性のレベルを制限するよう高すぎてはならないことである。また、この実験からわかったのは、ピンの強度レベルが高すぎることと組み合わせてピンを実質的に平行に保つことは、ピンの形状異常に影響を及ぼす結果となり、これは、剪断（ＸおよびＹ圧力）に敏感ではなく、Ｘ、ＹおよびＺにおけるトルクに敏感ではなく、ならびにＸおよびＹにおける挟む力に敏感でない実験ピン構成をもたらしたことである。

エラストマー弾性変形可能な外皮の下側に搭載／取り付け／成形されるピンの数は、（実験からわかるように）多くの因子に依存し得、例えば、認識されたことは、ピンの数は、所定のレベルの感度、耐久性などを達成する観点から、ユーザの意図および目標に基づく特定の用途に依存し得ることである。

例えば、エラストマーの弾性変形可能な外皮の外側衝撃面に加えられる、適用された外力、すなわち完全な力テンソル（垂直の「Ｚ」圧力、中心およびオフセットの両方の横方向の「Ｘ」および「Ｙ」剪断、ならびにピッチ、ヨー、およびロールにおけるトルク）は、すべて、エラストマー触覚センサによって感知することができる。本開示の単純でコンパクトな触覚センサ設計は、ロボット補綴用途、コンピュータ用途、人間に安全な協調ロボット安全センサ、機械用途、および自動車関連用途とともに用いることができる。さらに、本開示のいくつかの実施形態の高解像度触覚センサは、高密度小型コンピュータ製品などの正確な制御デバイス、高感度ロボット弾性変形可能な外皮感知にも有用である。

カメラからのピンの動きの画像から生成されたデータを処理するために、有限要素モデリング（ＦＥＭ）を用いて、弾性変形可能な外皮のデータをメタマテリアル設計として処理することができる。メタマテリアルは、内部構造が、その物理的特性（電気的、磁気的、機械的、熱的特性）が、それを構成する「実際の」材料のバルク特性、すなわち、負のε、μ、ほぼ任意の光速ｃ、ポアソン比ν、または熱伝導率κと著しく異なる最終物体を生成する物体である。ＦＥＭモデルは、異なる負荷下でエラストマー変形を予測することができる。さらに、エラストマーピンは、表面プロファイルを上昇させ、表面傾斜を画像化しやすいＸＹ運動に変換し、すなわち、ピン先端の低コストウェブカム画像を用いる。さらに、より少ない基準マークを有する弾性変形可能な外皮の構造設計は、単純な画像閾値付けを提供し、フレーム間追跡／曖昧さがない。実際、ＯｐｅｎＣＶを用いて、力マップに変換されるピン先端の動きを追跡することが可能である。これは、計算費用を最小化し、高いフレームレートを維持する。

実験中、逆ＦＥＭは計算上高価であることが証明された。認識されたのは、モデルの学習が実データとともにあるべきであることであった。実験からさらにわかった態様は、１４次元空間におけるユークリッド距離を用いて、状況を、把持位置、角度姿勢、剪断およびトルクとともにラベル付けすることが有益であることが証明されたことである。例えば、計算時間は非常に速く、すなわち、計算コストの量は非常に低いことが証明され、その結果、１つの１ＧＨｚ ｃｐｕ（例えば、Raspberry Pi Zero）上で優れた視覚化を伴うリアルタイムでの処理能力がもたらされた。

本開示の実施形態を利用することができるいくつかの技術は、ＦＥＭ、微小機械エラストマーアセンブリの３Ｄ印刷、小さな（５．５ｍｍ直径）ウェブカムを含む。ウェブカムは、安価に、すなわち２０ドル以下で購入することができる。実施形態は、衝撃の検証を提供するロボット保護外皮にも用いることができる。

ＦＥＭおよび３Ｄ印刷を用いるいくつかの他の利点は、弾性変形可能な外皮の設計および製造が多くの属性を有することを可能にすることができる。例えば、いくつかの属性は、弾性変形可能な外皮に所望の量の感度もしくは損傷閾値を与えるか、またはそれを特定の量の力の方向に与えることを含み得る。ここで、弾性変形可能な外皮、ピン高さ、ピン位置、および取り付け構成における非対称性は、異なる力方向間の区別を可能にする。さらに、弾性変形可能な外皮の低プロファイルは、触覚センサがロボット、車両および機械の両方上で用いられることを可能にし、それによって、実行されているタスクについて正しい力テンソルを捕捉することを可能にする。場合によっては、実際の力テンソルを計算することは不要であり得、正しい画像および不正確な画像の既定のライブラリに対するピン先端位置の単純な比較が、衝撃または衝突の種類を判断するのに十分であるか、または既知の歪みのライブラリに対して補間されて、リアルタイムでセンサ上の実際の力テンソルの良好な推定値をもたらす。

本開示の他の実施形態はまた、エラストマー触覚センサに加えられた外力の高感度の感知を提供しながら、単純なコンパクトな触覚センサを、浅いプロファイルとともに、低コスト、低質量で提供するなどの利益を提供することによって、今日の工業的必要性に対処する。これらの利点のいくつかは、本開示のコンパクトな触覚センサが、以前の従来の使用が異なる技術産業にとって費用がかかりすぎることがわかった技術において用いられることを可能にする。

図５Ａは、本開示のいくつかの実施形態による、弾性変形可能な外皮を有するグリッパを有するロボットを含む代替ロボットシステムのいくつかの構成要素および様々なサブシステムを示す概略図である。例えば、図５Ａは、本開示のいくつかの実施形態による、ロボット５８２に接続されるセンサ制御コンピュータ５７０を含むことができる。センサ制御コンピュータ５７０は、格納されたソフトウェア５７４と、ラベルおよび表面力値を含む事前学習済みのＸＹセットデータベースとを含むメモリ５７２に接続されるハードウェアプロセッサ５７７を含むことができる。ハードウェアプロセッサ５７７は、メモリ５７２に格納された命令を実現または実行することができる。プロセッサ５７７は、ロボット制御コンピュータ５８０に接続される制御モジュール５７８に接続される。ロボット制御コンピュータ５８０は、５７９を介して制御モジュールに通信し返すことができる。ロボット制御コンピュータ５８０はロボット５８２に接続され、ロボット５８２はロボット制御コンピュータ５８０に接続し返される。

さらに図５Ａを参照すると、ロボット５８２は、外側衝撃面５８５の歪みに接続され、物理的環境５８４は、外側衝撃面５８５の歪みに接続される。物理的環境５８４は、物体を含む入力を提供する。さらに、外側衝撃面５８５の歪みは、ピンの動きを引き起こす力のパターンまたは正味の力テンソルを形成する外部圧力または力であることができる。ここで、少なくとも１つのビデオカメラ５６９は、マークおよびピン位置の画像を撮影してビデオ画像データを得る。例えば、外側衝撃面５８５の歪みは、図１Ａの外側衝撃面１６に加えられる外部圧力、力などによるものであり得る。外部のまたは外部圧力、力などは、本開示の実施形態が図１Ａの外側衝撃面１６に外部から印加される力のパターンの各圧力または力について測定可能な感度の量を判断することができる力のパターンとすることができる。

さらに図５Ａを参照すると、任意選択で、他のデータを、他のセンサから、ハードウェアプロセッサ５７７に、得ることができる。例えば、他のデータは、環境データ、履歴データ、またはロボットアクションの実施に関連するデータを含むことができる。

図５Ｂは、本開示の実施形態による、方法およびシステムのいくつかの技法を実現するために用いることができるコンピューティングデバイス５００を非限定的な例として示す概略図である。コンピューティングデバイスまたはデバイス５００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表す。

コンピューティングデバイス５００は、すべてバス５５６に接続された、電源５５４、プロセッサ５４０、メモリ５１２、記憶装置５５８を含むことができる。また、バス５５６には、高速インターフェース、低速インターフェース、高速拡張ポート、および低速接続ポートが接続され得る。加えて、バス５５６には低速拡張ポートが接続されている。特定の用途に応じて、非限定的な例によって、共通のマザーボード上に搭載され得る様々なコンポーネント構成が企図される。さらに、入力インターフェース５０８は、バス５５６を介して外部受信機５３８および出力インターフェース５０９に接続され得る。受信機５４６は、バス５５６を介して外部送信機５３９および送信機５４７に接続され得る。また、バス５５６には、外部メモリ５０６、外部センサ５０４、マシン５０２、および環境が接続され得る。また、バス５５６には、１つ以上の外部入出力装置５４１が接続され得る。ネットワークインターフェースコントローラ（ＮＩＣ）５３４は、バス５５６を介してネットワーク５３６に接続するように適合され得、とりわけ、データまたは他のデータは、コンピュータデバイス５００の外部のサードパーティ表示装置、サードパーティ撮像装置、および／またはサードパーティ印刷装置上でレンダリングされ得る。

メモリ５１２は、コンピュータデバイス５００によって実行可能な命令、履歴データ、ならびに本開示の方法およびシステムによって利用できる任意のデータを格納することができることが企図される。メモリ５１２は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含み得る。メモリ５１２は、１つ以上の揮発性メモリユニット、および／または１つ以上の不揮発性メモリユニットとすることができる。メモリ５１２はまた、磁気または光ディスクなどの別の形態のコンピュータ可読媒体であり得る。

さらに図５Ｂを参照すると、記憶装置５５８は、コンピュータデバイス５００によって用いられる補助データおよび／またはソフトウェアモジュールを格納するように適合され得る。例えば、記憶装置５５８は、本開示に関して上述したように、履歴データおよび他の関連データを格納することができる。追加的または代替的に、記憶装置５５８は、本開示に関して上述したデータと同様の履歴データを格納することができる。記憶装置５５８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組合せを含むことができる。さらに、記憶装置５５８は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなどのコンピュータ可読媒体、フラッシュメモリもしくは他の同様の固体メモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどを含み得る。命令は、情報担体に格納することができる。命令は、１つ以上の処理装置（たとえば、プロセッサ５４０）によって実行されると、上述の方法などの１つ以上の方法を実行する。

システムは、バス５５６を介して、任意選択で、システムを表示装置５４８およびキーボード５５３に接続するように適合された表示インターフェースまたはユーザインターフェース（ＨＭＩ）５５７にリンクされることができ、表示装置５４８は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含むことができる。

さらに図５Ｂを参照して、コンピュータデバイス５００は、プリンタインタ－フェース５５９に適合されたユーザ入力インタ－フェース５５７を含むことができ、プリンタインタ－フェース５５９も、バス５５６を介して接続されることができ、印刷装置（図示せず）に接続するように適合されることができ、印刷装置は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商業プリンタ、熱プリンタ、ＵＶプリンタ、または色素昇華プリンタを含み得る。

高速インターフェースは、コンピューティングデバイス５００のための帯域幅集中型動作を管理する一方、低速インターフェースは、より低い帯域幅集中型動作を管理する。このような機能の割り当ては一例にすぎない。いくつかの実現例では、高速インターフェースは、メモリ５１２、ユーザインターフェース（ＨＭＩ）５５７、（例えば、グラフィックプロセッサまたはアクセラレータを介して）キーボード５５３およびディスプレイ５４８、ならびにバス５５６を介して様々な拡張カード（図示せず）を受け入れることができる高速拡張ポートに結合され得る。実現例では、低速インタ－フェースは、バス５５６を介して記憶装置５５８および低速拡張ポートに結合される。様々な通信ポート（例えば、ＵＳＢ、ブルートゥース、イーサネット（登録商標）、ワイヤレスイーサネット（登録商標））を含み得る低速拡張ポート５１５は、１つまたは複数の入力／出力装置５４１、および他のデバイス、キーボード５５３、ポインティングデバイス（図示せず）、スキャナ（図示せず）、またはスイッチもしくはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合され得る。

さらに図５Ｂを参照すると、コンピューティングデバイス５００は、図に示されるように、いくつかの異なる形態で実現され得る。例えば、標準サーバとして、またはそのようなサーバのグループにおいて複数回実現されてもよい。加えて、ラップトップコンピュータなどのパーソナルコンピュータにおいて実現することもできる。また、ラックサーバシステムの一部として実現されてもよい。代替的に、コンピューティングデバイス５００からのコンポーネントは、モバイルデバイス（図示せず）内の他のコンポーネントと組み合わされてもよい。そのようなデバイスの各々は、コンピューティングデバイスおよびモバイルコンピューティングデバイスのうちの１つまたは複数を含み得、システム全体が、互いに通信する複数のコンピューティングデバイスから構成され得る。
特徴

本開示の別の実施形態によれば、方法、触覚センサは、属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を備え、各下面ピンまたは隆起部はマークを含み、上記下面は剛性表面からの可撓性スペーサ上に配置される。カメラは、マークの画像を撮像するように位置決めされる。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納する。事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成される。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。ここで、上記実施形態の変形例を構成するものとして、以下の態様が企図される。

本開示の態様によれば、上記属性は、少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンのうちの１つまたは組み合わせを含み、ユーザが測定可能な特定用途の力に従って、上記力のパターンの、ユーザの好む測定可能な感度を提供するよう、上記下面ピン、隆起部、またはそれらの両方と組み合わせて構造化および構成される。本態様の少なくとも１つの利点は、触覚センサにさらなる量の感度を追加することである。

別の態様では、上記属性は、ユーザが測定可能な特定用途の力に従って、上記エラストマー触覚センサを横切る上記外側衝撃面に対する測定可能な垂直力の量を検出することを含む、上記力のパターンにおけるユーザが好む増加および均一な測定可能な感度を提供する粗いテクスチャの少なくとも１つの領域を含むように構造化および構成されることを含み得る。別の態様では、上記属性は、ユーザが測定可能な特定用途の力に従って、上記エラストマー触覚センサを横切る上記外側衝撃面に対する測定可能な垂直力の量を検出することを含む、上記力のパターンにおけるユーザが好む増加および均一な測定可能な感度を提供する粗いテクスチャの少なくとも１つの領域を含むように構造化および構成されることであり得る。別の態様では、上記属性は、円錐形状突起、対称突起、もしくは非対称突起の１つまたは組み合わせを含むように構造化および構成され、ユーザが測定可能な特定用途の力に従って、上記触覚センサを横切る上記外側衝撃面に対する測定可能な面内力、剪断力、およびトルク力の量を検出することを含む、上記力のパターンの測定可能な感度におけるユーザが好む増加を提供することを含み得る。別の態様では、上記属性は、ユーザが測定可能な特定用途の力に従って、力のパターンの測定可能な力またはトルクに対するユーザの好む測定可能な感度の軸に対して垂直に位置決めされた隆起状突起の少なくとも１つの領域を含むように構造化および構成されることを含む。一態様は、属性は、ユーザが測定可能な力に特有の用途に従って、力のパターンの、ユーザの好む測定可能な感度を提供する、好ましい測定可能な感度の軸に対して垂直に位置決めされた、粗いテクスチャ、円錐形状突起、対称突起、非対称突起、隆起状突起のうちの１つまたは組み合わせのカスタマイズされたパターンを含む。

さらに別の態様では、力が上記外側衝撃面に加えられると、上記外側衝撃面は弾性変形し、上記下面ピン、隆起部、またはそれらの両方を屈曲運動させ、上記マークを変位させる。さらに、ある態様では、変位された上記マークの位置と上記事前学習済みのマークの位置のセットとを比較するために用いられる上記距離関数は、ユークリッド距離関数に基づく。上記事前学習済みのマークの位置の最良マッチのセットは、上記ユーザが選択したマッチング関数を用いて判断され、上記マッチング関数は、（１）上記距離関数による最良品質のマッチ、（２）上記距離関数を介する最良品質のマッチ値におけるユーザが選択した数の間の所定の加重平均、または（３）すべての品質のマッチした値の所定の加重和を含む。

さらに別の態様は、各力のパターンが、外側衝撃面に対して垂直な力のセット、トルク力、および剪断力を含み、上記弾性変形可能な外皮に作用する上記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含む。別の態様は、上記外側衝撃面は、上記外側衝撃面に力が加わらない非変形状態と、上記外側衝撃面に力が加わったときの弾性変形状態との間で変化し、上記弾性変形状態は、上記外側衝撃面を弾性変形させ、上記下面ピン、隆起部またはそれらの両方を屈曲運動させ、上記マークを変位させ、上記画像プロセッサは、上記非変形状態と上記弾性変形状態との間の上記下面ピン、隆起部、またはそれらの両方の相対変位を評価することによって、上記撮像された画像における上記マークの変位を比較する。

さらに別の態様は、上記可撓性スペーサは、上記下面および上記剛性表面に取り付けられ、上記剛性表面は、ロボット、車両、または機械の外側表面である。さらに、一態様は、上記特定された力のパターンは、上記アクションが上記ロボット、上記車両、または上記機械に関連するように、上記特定されたパターンに基づいて上記アクションを実行する外部コントローラに出力され、上記アクションは、（Ａ）上記ロボット、上記車両もしくは上記機械の運動；（Ｂ）上記ロボットのグリッパの開閉に関連するアクション、ロボット位置を維持することに関連するアクション、上記ロボットの上記グリッパによって物体を持ち上げることもしくは解放することに関連するアクションなど、上記ロボット、上記車両、もしくは上記機械に関連付けられる少なくとも１つの装置もしくは要素の運動の１つまたは組み合わせを含む。上記アクションは、上記ロボット、上記車両、または上記機械の運動を遅くするかまたは停止することである。さらに、上記弾性変形可能な外皮および上記可撓性スペーサは一体構造であり、上記弾性変形可能な外皮は穿孔、スロット、または通気状開口部を含む。

本開示の別の実施形態は、属性を有する外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を提供することを含む触覚感知のための方法である。各下面ピンまたは隆起部は、少なくとも１つのマークを含み、下面は、可撓性スペーサ上に配置され、可撓性スペーサは、装置の剛性表面に取り付けられる。マークの画像を撮像するように構成されたカメラを提供し、カメラから画像を撮像する。撮像された画像において上記マークの変位を検出して、変位された上記マークの位置を得る。事前学習済みのマークの位置のセットの画像データを含むデータを事前学習済みの力のパターンとともに格納するメモリにアクセスし、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。距離関数に基づいて、上記撮像された画像内の上記変位された上記マークの位置を上記画像データの上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとに、品質のマッチ値を得、ユーザが選択した最良マッチング関数を上記品質のマッチ値に適用して、最良品質マッチの事前学習済みの力のパターンを判断する。判断された最良マッチの事前学習済みの力のパターンに基づいて、弾性変形可能な外皮に作用する力のパターンを特定する。上記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含む。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。ここで、上記実施形態の変形例を構成するものとして、以下の態様が企図される。

本開示の態様によれば、上記ユーザが選択した最良マッチング関数を用いて上記最良品質マッチの事前学習済みの力のパターンを判断することは、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを判断するために、上記ユーザが選択した最良マッチング関数を上記品質のマッチ値に適用することを含み、上記装置は、ロボットを含む機械であり、上記ロボットの制御運動は、上記弾性変形可能な外皮に作用する上記特定された力のパターンに応答して開始される。

本開示の別の実施形態によれば、ロボットを制御するためのシステムは、属性を有する外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を含む。各下面ピンまたは隆起部は、少なくとも１つのマークを含み、下面は、可撓性スペーサ上に配置され、可撓性スペーサは、装置の剛性表面に取り付けられる。カメラは、マークの画像を撮像するように構成される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの変位を検出するように構成される。上記撮像された画像における上記変位した上記マークの位置を、距離関数に基づいて、上記事前学習済みのマークの位置のセットと比較して、上記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。上記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、上記弾性変形可能な外皮に作用する力のパターンを特定する。上記特定された力のパターンを出力して、上記特定されたパターンに基づくアクションを開始する。ここで、上記実施形態の変形例を構成するものとして、以下の態様が企図される。

ある態様では、上記ユーザが選択した最良マッチング関数を用いて上記最良品質マッチの事前学習済みの力のパターンを判断することは、上記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを判断するために、上記ユーザが選択した最良マッチング関数を上記品質のマッチ値に適用することを含み、上記装置は、ロボットを含む機械であり、上記ロボットの制御運動は、上記弾性変形可能な外皮に作用する上記特定された力のパターンに応答して開始される。

以下のこれらの態様は、上記のデバイス、方法、およびシステムのいずれかに組み込むことができる。例えば、一態様は、カメラが、基準マークの画像を撮像するために基準マークを照明する照明源を含むことであり得る。別の態様は、カメラが、基準マークの同じ視角または異なる視角で互いから離間した複数のカメラと置換されることであり、複数のカメラは、各マークの変位を判断するよう画像を撮像するために、力が外側衝撃面に加えられる前の静止位置、および力が外側衝撃面に加えられた後の最終位置で、すべての基準マークの画像を撮像することができる。

別の態様は、マークが、シリコーンゴム、ポリウレタン、プラスチゾル、熱可塑性エラストマー、天然ゴム、ポリイソプレン、ポリ塩化ビニル、またはそれらの混合物を含む材料からなる基準マークまたは基準マーカであることである。マークはショアａ硬度５～９０の硬度を含む。さらに、一態様は、マークのセット内の各マークの相対変位が、撮像された画像の開始位置から撮像された画像の最終位置までの測定された画像座標に基づいて判断されることであり得る。ある態様では、事前学習済みのマークの位置の各セットは、上面に力が加えられていない静止状態における測定された画像座標に基づく各基準マークのデータと、上面に力が加えられた後の静止状態における測定された画像座標に基づく各基準マークのデータとを含むことができる。

いくつかの従来の機械視覚および超音波近接センサ手法は、望ましくない衝突を防止するのに役立ち得るが、衝突前に物体を正確に検出するのに高いばらつきがある可能性がある。従来の機械視覚システムは、カメラが閉塞された場合、または照明が悪い場合、エラーを被る。したがって、安全性および信頼性が大きな懸念事項であるそのような用途では、これら従来の技術はあまり望ましくない可能性がある。しかしながら、本開示の弾性変形可能な外皮は、そのような従来の問題に影響を受けやすくないことによって、これらの従来の触覚センサ問題（すなわち、表面が視界から外れているか、または影があるか、コントラストが悪いかもしくは照明が悪い）を克服する。また、操作者の精神集中が時間とともに疲労する従来のテレロボティックスに関して、弾性変形可能な外皮の本開示は、テレロボティックスおよび人間の操作者の必要性を排除することによって、そのような問題を克服する。
定義

［００１］本開示の態様によれば、実験に基づいて、以下の定義が確立されているが、それらは、もちろん、各表現または用語の完全な定義ではない。ここで、与えられる定義は、実験からの学習に基づいて単なる例として提供され、他の解釈、定義、および他の態様が関連し得る。しかしながら、提示される語句または用語の少なくとも単なる基本的なプレビューのために、そのような定義が提供されている。

［００２］テンソル：数学では、テンソルは、いくつかの異なる方法で定義され得るベクトル空間およびその二重空間に関連する代数的オブジェクトであり、いくつかの異なる態様で、しばしば、スカラー、ある点における正接ベクトル、ある点における余接ベクトル（二重ベクトル）、またはベクトル空間から得られたベクトル空間への多線形マップで定義され得る。（一般相対性理論が無関係である物理学および工学用途においてしばしば用いられる）ユークリッドベクトルおよびスカラーは最も単純なテンソルである。テンソルはどのような基礎とも無関係に定義されるが、物理学の文献はしばしば、それらを、特定の座標系に関連する基礎におけるそれらの成分によって指す。

［００３］有限要素モデル化（ＦＥＭ）：本開示のいくつかの実施形態によれば、ＦＥＭは、全ドメインの、より単純な部分への細分化であり得、いくつかの利点、即ち、（Ａ）複雑な幾何学的形状の正確な表現；（Ｂ）非類似材料特性の包含；（Ｃ）全体の解の簡単な表現；（Ｄ）局所的効果の捕捉、を有する。

［００４］本方法の検定は、（１）問題のドメインをサブドメインの集まりに分割し、各サブドメインは元の問題に対する要素方程式のセットによって表され、その後、（２）要素方程式のすべてのセットを、最終計算のための大域的方程式系に系統的に再結合することを含むことができる。大域的方程式系は、公知の解法を有し、元の問題の初期値から計算して数値回答を得ることができる。

［００５］さらにＦＥＭを参照すると、上記の第１のステップにおいて、要素方程式は、調べられるべき元の複素方程式を局所的に近似する単純な方程式であり、元の方程式はしばしば部分微分方程式（ＰＤＥ）である。このプロセスにおける近似を説明するために、ガレルキン法の特別なケースとして、ＦＥＭが一般に導入される。このプロセスは、数学的言語では、残差関数と重み関数との内積の積分を構築し、その積分を０に設定することである。簡単に言えば、ある手順は、試行関数をＰＤＥに当てはめることによって近似の誤差を最小化する。残差は試行関数による誤差であり、重み関数は残差を射影する多項式近似関数である。このプロセスは、ＰＤＥからすべての空間導関数を排除し、したがって、定常状態問題のための代数方程式のセット、および過渡問題のための通常の微分方程式のセットで、ＰＤＥを局所的に近似する。

［００６］これらの方程式セットは要素方程式である。それらは、基底のＰＤＥが線形である場合は線形であり、逆もまた同様である。定常状態問題において生じる代数方程式セットは、数値線形代数法を用いて解かれ、一方、過渡問題において生じる通常の微分方程式セットは、オイラー法またはルンゲ・クッタ法などの標準的な技術を用いて数値積分によって解かれる。

［００７］さらにＦＥＭを参照すると、上記のステップ（２）において、大域的方程式系が、サブドメインの局所ノードからドメインの大域ノードへの座標の変換を通じて要素方程式から生成される。この空間変換は、参照座標系に関係して適用されるような適切な配向調整を含む。このプロセスは、サブドメインから生成された座標データを用いてＦＥＭソフトウェアによって実行されることが多い。
実験

実験中、感度のレベルおよび耐久性に基づいて弾性変形可能な外皮をどのように設計および構造化するかを判断するために、多くの試験を行った。いくつかの実験的試験は、アームモータトルクセンサ、接触後検証センサ、手首力センサ、モータ位置およびトルクセンサ、ならびに接触歪みゲージを用いて行った。

例えば、アームモータトルクセンサは、ロボットに慣性力、摩擦力、重力を示した。少なくとも１つのわかった態様は、ロボット上の慣性力、摩擦力、および重力は、通常、適切な機械的組み立て中に実際に受ける力を完全に支配することである。接触後検証実験から、ロボットが動作を行った後、ロボットが機械視覚ステーションまで動作的に移動して、ロボットの運動を確認することがわかった。機械視覚ステーションは、運動を検証する機械視覚システムを有し、何らかの修正が必要とされる場合には、運動完了後に修正が行われる。しかしながら、本発明者らは、ロボットが移動した後に運動を検出すると、他の機械、資産、および人間にとって安全でない環境を作り出すとともにロボットに損傷をもたらしたことを認識した。実験結果に基づいて、この方法および類似の方法は、本開示の目的のコスト、安全性および許容可能な技術的解決策のレベルを満たすことができなかった。

手首力センサを用いた実験から、これらの手首力センサは非常に粗いように見えることがわかった。例えば、手首力センサは、以前の経験からの逸脱が注目されるまで、オフセット運動も運動失敗も捕捉するようには見えず、試験された多くの運動または組立て作業では、逸脱は、手首力センサに及ぼす慣性、重力、およびセンサノイズの影響より小さい。改めて、他の実験された試験で言及したように、これらの方法または類似の方法は、本開示の目的のコスト、安全性および許容可能な技術的解決策のレベルを満たすことができなかった。

動き歪みゲージセンサを用いた実験からわかったのは、これらのセンサが歪みゲージを装置に統合し、装置力だけが登録され、それは「Ｚ」圧力だけを感知することと等価であると思われたことである。しかしながら、これらのセンサは、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、または挟む剪断力Ｙなどの他の力を感知することを可能にできなかった。

実験された別のセンサは、GelSightセンサを含んだ。このセンサは、片面に可撓性の不透明なコーティングを有する透明なゲルの厚いブロックを使用した。ブロックのコーティングされた側を表面に押し付け、歪んだ塗料を、いくつかの異なる角度のかすめ照明下で照明しながら垂直に観察した。わかったことは、このセンサが、表面上で上向きに衝突するテクスチャ（バー）を見つけることができたことである。しかしながら、このGelSightセンサは、センサが非常に低いレベルの損傷力閾値を有し、ボイドまたはピンホールには有用ではないようであった。多くの発見されたなかの別の欠点は、このセンサは、カメラが動作するのに約１００ｍｍのＺ軸クリアランスを必要としたことである。カメラのためのそのような大きなクリアランス空間に起因して、このセンサは、低プロファイル構成を確かに有することができず、弾性変形可能な外皮に関連するセンサのような、任意のタイプの低プロファイル用途ではなく、テクスチャ加工された表面のロボット検査に、より適しているようであった。さらに、低レベルの力損傷閾値および表面摩耗は、このセンサをロボットアセンブリに適さないものとした。

異なるタイプのセンサ実験試験からわかったいくつかの態様は、ロボットは輸送および組立てに用いられるが、適切な輸送および組立ては、ロボットが常に同じ位置および向きで正確に運動を操作することに依存することである。ロボットによる運動ミスは、人間に対する安全性、ロボットの損傷に関連するコスト、または他の機械もしくは物体の損傷に関連するコストなどにつながる。別の例として、ロボットの動きが正しい場合であっても、物体または人間がロボットの経路に意図せずに進入する場合、または物体もしくは人間をロボットの経路に進入させる何らかの予定外の事象が起こる場合、実験からわかったのは、ロボットが予定外の事象にも関わらず運動を強行しようとすることになり、人間を傷つけ、ロボットに損傷を与え、または、ロボットの経路内の任意の物体を損傷する。上記の実験による知見を考慮すると、多くの他の要素の中でも特に、本開示所望の感度のレベル、耐久性、製造コストを満たすために、実験されたセンサを修正またはさらに開発することはできず、したがって、それらはさらに分析または試験されなかった。

広範な実験、ならびに感度、耐久性、製造コスト、および他の要素の所望のレベルに基づいて、本開示の実施形態を設計および構築するための多くの認識が得られた。いくつかの実施形態のこれらの認識のうちのいくつかは、ピンが、弾性変形可能な外皮の下面または下側上を、下面から遠ざかるように延在するように、延在することを含む。この構成は、外力テンソルによるピンの変形量を記録するように変形できるようにするために、ある強度レベルを満たすが、ある変形性レベルも満たすピンを設計する必要があることを含んだ。特に、ピンのいくつかの構成は、特に、ピンを他のピンと平行に維持しないように設計された。例えば、オプティカルフロー分析による実験からわかったが、ピンは、実験的な弾性変形可能な外皮に平行に配置された。ピンは、あるレベルの強さ、すなわち、適用される外力が加えられたときにピンの形状異常に影響を及ぼすレベルの強さを示した。この実験的な弾性変形可能な外皮は、許容可能な測定可能なレベルの垂直力をもたらした。しかしながら、この同じ実験的な弾性変形可能な外皮構成は、ピン先端の垂直（ｚ軸）カメラを用いて得られた画像の動きに基づいて、許容可能なレベルの測定可能な剪断力およびトルク感知／力を提供することができなかった。この実験構成からわかったのは、少なくとも本開示の測定可能な感度目標の所望のレベルを考慮して、測定可能な力のパターンまたは正味の力テンソルを達成するために、ピン強度のレベルが、ピン変形性のレベルを制限するよう高すぎてはならないことである。また、この実験からわかったのは、ピンの強度レベルが高すぎることと組み合わせてピンを実質的に平行に保つことは、ピンの形状異常に影響を及ぼす結果となり、これは、剪断（ＸおよびＹ圧力）に敏感ではなく、Ｘ、ＹおよびＺにおけるトルクに敏感ではなく、ならびにＸおよびＹにおける挟む力に敏感でない実験ピン構成をもたらしたことである。
実施形態

以下の説明は、例示的な実施形態のみを提供するものであり、本開示の範囲、適用可能性、または構成を制限することを意図していない。むしろ、例示的な実施形態の以下の記載は、当業者に、１つ以上の例示的な実施形態を実現することに対する実施可能な記載を提供するであろう。企図されるのは、特許請求の範囲に記載されるように開示される主題の精神および範囲から逸脱することなく、要素の機能および構成において行われ得るさまざまな変更である。

実施形態の完全な理解を与えるために、具体的な詳細が以下の記載において与えられる。しかしながら、当業者によって理解されることは、実施形態がこれらの具体的な詳細なしで実施され得ることであり得る。例えば、開示された主題におけるシステム、プロセス、および他の要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図形式でコンポーネントとして示され得る。他の例では、周知のプロセス、構造、および技法は、実施形態を不明瞭にすることを回避するために、不必要な詳細なしで示され得る。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示した。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明され得る。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列にまたは同時に実行することができる。加えて、動作の順序を入れ替えてもよい。プロセスは、その動作が完了したときに終了され得るが、論じられていない、または図に含まれていない追加のステップを有し得る。さらに、任意の特に説明されるプロセスにおけるすべての動作が、すべての実施形態において起こり得るわけではない。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数またはメイン関数への関数の復帰に対応することができる。

さらに、開示される主題の実施形態は、少なくとも部分的に、手動または自動のいずれかで実現され得る。手動または自動実現例は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せの使用を通じて実行され得るか、または少なくとも支援され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するプログラムコードまたはコードセグメントは、機械可読媒体に記憶され得る。プロセッサが必要なタスクを実行してもよい。

さらに、本開示の実施形態および本明細書で説明される機能動作は、デジタル電子回路、有形に具現化されるコンピュータソフトウェアまたはファームウェア、本明細書で開示される構造およびそれらの構造的均等物を含むコンピュータハードウェア、またはそれらの１つ以上の組合せにおいて実現され得る。さらに、本開示のいくつかの実施形態は、１つ以上のコンピュータプログラム、すなわち、データ処理装置によって実行するために、またはデータ処理装置による実行のために、またはデータ処理装置の動作を制御するために、有形の非一時的プログラム担体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実現され得る。さらに、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために適切な受信装置への送信のために情報を符号化するよう生成される機械生成された電気、光、または電磁信号上に符号化することができる。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらの１つ以上の組合せとすることができる。

本開示の実施形態によれば、用語「データ処理装置」は、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、およびマシンを包含することができる。装置は、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。本装置はまた、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組合せを構成するコードを含むことができる。

コンピュータプログラム（これらは、プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも呼ばれ、または記載され得る）は、コンパイルされたもしくは解釈された言語、または宣言型言語もしくは手続き型言語を含む任意の形態のプログラミング言語で記述することができ、独立型プログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして含む任意の形態で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、対応する必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えばマークアップ言語ドキュメントに格納された１つ以上のスクリプト、問題のプログラム専用の単一のファイル、または複数の協調ファイル、例えば１つ以上のモジュール、サブプログラムもしくはコードの一部を格納するファイルに格納することができる。コンピュータプログラムは、１つのコンピュータ上、または１つのサイトに位置するか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。コンピュータプログラムの実行に適したコンピュータは、一例として、汎用マイクロプロセッサもしくは専用マイクロプロセッサもしくはその両方、または任意の他の種類の中央処理ユニットを含み、例えばそれらに基づくことができる。一般に、中央処理ユニットは、読み取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するための中央処理ユニット、ならびに命令およびデータを格納するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを格納するための１つ以上の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むか、またはそれらからデータを受信するか、もしくはそれらにデータを転送するか、もしくはその両方を行うように動作可能に結合されることにもなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、数例を挙げると、別のデバイス、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯型記憶装置、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。

ユーザとの対話を提供するために、本明細書で説明される主題の実施形態は、ユーザに情報を表示する表示装置、例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ、ならびにキーボードおよびポインティングデバイス、例えばマウスまたはトラックボールを有するコンピュータ上で実現され得、これにより、ユーザは、コンピュータに入力を提供することができる。他の種類のデバイスも、ユーザとの相互作用を提供するために用いることができ；例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ；ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信され得る。さらに、コンピュータは、ユーザによって用いられるデバイスにドキュメントを送信し、デバイスからドキュメントを受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

本明細書で説明する主題の実施形態は、例えばデータサーバとしてバックエンドコンポーネントを含む、または例えばアプリケーションサーバなどのミドルウェアコンポーネントを含む、またはフロントエンドコンポーネント、例えばユーザが本明細書に記載される主題の実現例と対話できるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ、または１つもしくは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せを含む計算システムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークによって相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、例えばインターネットを含む。

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに遠隔であり、一般に、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

本開示は特定の好ましい実施形態を参照して説明されたが、本開示の精神および範囲内でさまざまな他の適合および変更を行うことができることを理解されたい。したがって、本開示の真の精神および範囲内に入るそのようなすべての変形および修正を包含することは、特許請求の範囲の態様である。

Claims (20)

1. 触覚センサであって、
   属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を備え、各下面ピンまたは隆起部はマークを含み、前記下面は剛性表面からの可撓性スペーサ上に配置され、前記触覚センサはさらに、
   前記マークの画像を撮像するように位置決めされたカメラと、
   事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを備え、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記触覚センサはさらに、
   前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
   撮像された画像において前記マークの変位を検出し、
   前記撮像された画像における前記変位した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
   前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算し、
   前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な外皮に作用する力のパターンを特定し、
   前記特定された力のパターンを出力して、前記特定されたパターンに基づくアクションを開始するよう構成される、触覚センサ。
2. 前記画像プロセッサは、画像計測機能を用いて、前記撮像された画像の画像における測定された位置の画像座標を特定することで、前記撮像された画像における各マークの前記位置を変換する、請求項１に記載の触覚センサ。
3. 前記検出される各マークの位置は、前記マークの前記検出される位置と前記事前学習済みのマークの位置とのユークリッド距離として加算されることにより、前記マークの前記撮像された画像と前記マークの前記事前学習済みの画像とのマッチ距離が形成される、請求項２に記載の触覚センサ。
4. 前記属性は、少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンのうちの１つまたは組み合わせを含み、ユーザが測定可能な特定用途の力に従って、前記力のパターンにおけるユーザの好む測定可能な感度を提供するよう、前記下面ピン、隆起部、またはそれらの両方と組み合わせて構造化および構成される、請求項１に記載の触覚センサ。
5. 前記属性は、ユーザが測定可能な特定用途の力に従って、前記触覚センサを横切る前記外側衝撃面に対する測定可能な垂直力の量を検出することを含む、前記力のパターンにおけるユーザが好む増加および均一な測定可能な感度を提供する粗いテクスチャ、滑らかなテクスチャ、またはそれらの両方の少なくとも１つの領域を含むように構造化および構成される、請求項１に記載の触覚センサ。
6. 前記属性は、円錐形状突起、対称突起、もしくは非対称突起の１つまたは組み合わせを含むように構造化および構成され、ユーザが測定可能な特定用途の力に従って、前記触覚センサを横切る前記外側衝撃面に対する測定可能な面内力、剪断力、およびトルク力の量を検出することを含む、前記力のパターンの測定可能な感度におけるユーザが好む増加を提供する、請求項１に記載の触覚センサ。
7. 前記属性は、ユーザが測定可能な特定用途の力に従って、前記力のパターンの測定可能な力またはトルクに対するユーザの好む測定可能な感度の軸に対して垂直に位置決めされた隆起状突起の少なくとも１つの領域を含むように構造化および構成される、請求項１に記載の触覚センサ。
8. 力が前記外側衝撃面に加えられると、前記外側衝撃面は弾性変形し、前記下面ピン、隆起部、またはそれらの両方を屈曲運動させ、前記マークを変位させる、請求項１に記載の触覚センサ。
9. 前記事前学習済みのマークの位置の前記最良マッチのセットは、前記ユーザが選択したマッチング関数を用いて判断され、前記マッチング関数は、（１）前記距離関数による最良品質のマッチ、（２）前記距離関数を介する最良品質のマッチ値におけるユーザが選択した数の間の所定の加重平均、または（３）すべての品質のマッチした値の所定の加重和を含み、前記マークの前記検出された位置と前記事前学習済みのマークの位置のセットとを比較するために用いられる前記距離関数は、ユークリッド距離関数に基づく、請求項１に記載の触覚センサ。
10. 前記弾性変形可能な外皮に作用する前記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向剪断力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、広げる横方向力Ｘ、広げる横方向力Ｙ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含む、請求項１に記載の触覚センサ。
11. 前記外側衝撃面は、前記外側衝撃面に力が加わらないときの非変形状態と、前記外側衝撃面に力が加わったときの弾性変形状態との間で変化し、前記弾性変形状態は、前記外側衝撃面を弾性変形させ、前記下面ピン、隆起部またはそれらの両方を屈曲運動させ、前記マークを変位させ、前記画像プロセッサは、前記非変形状態と前記弾性変形状態との間の前記下面ピン、隆起部、またはそれらの両方の相対変位を評価することによって、前記撮像された画像における前記マークの変位を比較する、請求項１に記載の触覚センサ。
12. 前記可撓性スペーサは、前記下面および前記剛性表面に取り付けられ、前記剛性表面は、ロボット、車両、または機械の外側表面である、請求項１に記載の触覚センサ。
13. 前記特定された力のパターンは、前記アクションが前記ロボット、前記車両、または前記機械に関連するように、前記特定されたパターンに基づいて前記アクションを実行する外部コントローラに出力され、前記アクションは、（Ａ）前記ロボット、前記車両もしくは前記機械の運動；（Ｂ）前記ロボットのグリッパの開閉に関連するアクション、ロボット位置を維持することに関連するアクション、前記ロボットの前記グリッパによって物体を持ち上げることもしくは解放することに関連するアクションである、前記ロボット、前記車両、もしくは前記機械に関連付けられる少なくとも１つの装置もしくは要素の運動の１つまたは組み合わせを含む、請求項１２に記載の触覚センサ。
14. 前記アクションは、前記ロボット、前記車両、または前記機械の運動を遅くするかまたは停止することである、請求項１３に記載の触覚センサ。
15. 前記弾性変形可能な外皮および前記可撓性スペーサは一体構造であり、前記弾性変形可能な外皮は穿孔、スロット、または通気状開口部を含む、請求項１に記載の触覚センサ。
16. 触覚感知のための方法であって、
    属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を設けることを含み、各下面ピンまたは隆起部は少なくとも１つのマークを含み、前記下面は可撓性スペーサ上に配置され、前記可撓性スペーサは装置の剛性表面に取り付けられ、前記方法はさらに、
    前記マークの画像を撮像するように構成されたカメラを設けることと、
    前記カメラから画像を撮像することと、
    撮像された画像において前記マークの変位を検出して、変位された前記マークの位置を得ることと、
    事前学習済みのマークの位置のセットの画像データを含むデータを事前学習済みの力のパターンとともに格納するメモリにアクセスすることとを含み、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記方法はさらに、
    距離関数に基づいて、前記撮像された画像内の前記変位された前記マークの位置を前記画像データの前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとに、品質のマッチ値を得、ユーザが選択した最良マッチング関数を前記品質のマッチ値に適用して、最良品質マッチの事前学習済みの力のパターンを判断することと、
    前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な外皮に作用する力のパターンを特定することとを含み、前記弾性変形可能な外皮に作用する前記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向剪断力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、広げる横方向力Ｘ、広げる横方向力Ｙ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含み、前記方法はさらに、
    前記特定された力のパターンを出力して、前記特定されたパターンに基づくアクションを開始することを含む、触覚感知のための方法。
17. 前記ユーザが選択した最良マッチング関数を用いて前記最良品質マッチの事前学習済みの力のパターンを判断することは、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを判断するために、前記ユーザが選択した最良マッチング関数を前記品質のマッチ値に適用することを含み、前記装置は、ロボットを含む機械であり、前記ロボットの制御運動は、前記弾性変形可能な外皮に作用する前記特定された力のパターンに応答して開始される、請求項１６に記載の方法。
18. ロボットを制御するシステムであって、
    属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を備え、各下面ピンまたは隆起部は少なくとも１つのマークを含み、前記下面は可撓性スペーサ上に配置され、前記可撓性スペーサは装置の剛性表面に取り付けられ、前記システムはさらに、
    前記マークの画像を撮像するように構成されたカメラと、
    事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを備え、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記システムはさらに、
    前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
    撮像された画像において前記マークの変位を検出し、
    前記撮像された画像における前記変位した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
    前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算し、
    前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な外皮に作用する力のパターンを特定し、
    前記特定された力のパターンを出力して、前記特定されたパターンに基づくアクションを開始するよう構成される、システム。
19. 前記ユーザが選択した最良マッチング関数を用いて前記最良品質マッチの事前学習済みの力のパターンを判断することは、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを判断するために、前記ユーザが選択した最良マッチング関数を前記品質のマッチ値に適用することを含み、前記装置は、ロボットを含む機械であり、前記ロボットの制御運動は、前記弾性変形可能な外皮に作用する前記特定された力のパターンに応答して開始される、請求項１７に記載の方法。
20. モバイルデバイス用のエラストマー触覚センサであって、
    属性を有する外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む弾性変形可能な外皮を備え、各下面ピンまたは隆起部はマークを含み、前記下面は前記モバイルデバイスの剛性表面に取り付けられる可撓性スペーサ上に配置され、前記エラストマー触覚センサはさらに、
    前記マークの画像を撮像するように位置決めされたカメラと、
    事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを備え、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記エラストマー触覚センサはさらに、
    前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
    撮像された画像において前記マークの変位を検出し、
    前記撮像された画像における前記変位した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
    前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算し、
    前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な外皮に作用する力のパターンを特定し、
    前記特定された力のパターンをコントローラに出力して、前記特定された力のパターンに基づいて、前記モバイルデバイスに関連付けられるアクションを開始するよう構成される、モバイルデバイス用のエラストマー触覚センサ。

Images