JP4460528B2 - 識別対象識別装置およびそれを備えたロボット - Google Patents
識別対象識別装置およびそれを備えたロボット Download PDFInfo
- Publication number
- JP4460528B2 JP4460528B2 JP2005352879A JP2005352879A JP4460528B2 JP 4460528 B2 JP4460528 B2 JP 4460528B2 JP 2005352879 A JP2005352879 A JP 2005352879A JP 2005352879 A JP2005352879 A JP 2005352879A JP 4460528 B2 JP4460528 B2 JP 4460528B2
- Authority
- JP
- Japan
- Prior art keywords
- identification
- unit
- information
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 135
- 238000000034 method Methods 0.000 claims description 48
- 230000004807 localization Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 description 58
- 238000007689 inspection Methods 0.000 description 35
- 238000001514 detection method Methods 0.000 description 32
- 230000005540 biological transmission Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 28
- 239000000872 buffer Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 230000005684 electric field Effects 0.000 description 21
- 238000007726 management method Methods 0.000 description 21
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 101001081590 Homo sapiens DNA-binding protein inhibitor ID-1 Proteins 0.000 description 8
- 102000049143 human ID1 Human genes 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Description
また、請求項1に記載の発明によれば、画像対応識別手段は、所定の確度を以って識別対象を識別し、確度算出手段は、読取手段で読み取られた識別情報の確度を算出するので、識別対象決定手段は、定量的に識別対象を識別することができる。
また、請求項1に記載の発明によれば、1つの識別対象に対して、順位付けされた複数の識別情報を考慮するので、画像処理手段で複数の識別対象の画像情報が抽出された場合に、それぞれの識別対象を正確に識別することができる。
また、請求項1に記載の発明によれば、1つの識別対象に対して、読取手段で読み取られた識別情報が複数記憶されているときに、各識別情報に対応する画像情報を取得するので、画像処理手段で抽出された画像情報と比較照合すべき適切な画像情報を効率よく取得できる。
また、請求項1に記載の発明によれば、読み取られたすべての識別情報をグループ化して識別情報に対応する画像情報をグループごとに比較照合するので、仮に、識別対象情報記憶手段から取得された情報に、読取誤差が含まれていたとしても、その影響を除去することができる。
<識別対象識別システムAの構成>
はじめに、本発明の参考例の形態に係る識別対象識別装置を備える識別対象識別システムAの全体構成について図1を参照して説明する。
図1は、本発明の参考例の形態に係る識別対象識別システムAのシステム構成図である。この識別対象識別システムAは、ロボットR(識別対象識別装置)の周辺領域に存在する識別対象D、例えばRFIDタグT(無線タグ)を装着した人物を、ロボットRのカメラ(図2参照)で撮像した画像情報と、RFIDタグTに記憶された人物を識別する識別番号(識別情報)とに基づいて、識別対象Dを識別するものである。
管理用コンピュータ3は、基地局1、ロボット専用ネットワーク2を介してロボットRの移動・発話などの各種制御を行うと共に、ロボットRに対して必要な情報を提供するものである。ここで、必要な情報とは、識別対象Dの氏名や顔画像データの特徴パラメータ、ロボットRの周辺の地図(ローカル地図データ)、会話用データなどがこれに相当し、これらの情報は、当該管理用コンピュータ3に設けられた記憶手段(図示せず)に記憶されている。
端末5は、ネットワーク4を介して管理用コンピュータ3に接続し、当該管理用コンピュータ3の記憶手段(図示せず)に、RFIDタグTに関する情報及び当該RFIDタグTを装着した人物(識別対象D)に関する情報などを登録する、若しくは登録されたこれらの情報を修正するものである。
そしてRFIDタグTとは、例えばICタグがこれに相当するが、本参考例の形態で使用するRFIDタグTの詳細は後記する。
[ロボットR]
ロボットRは、図1に示すように、頭部R1、腕部R2、脚部R3を有した自律移動型の2足歩行ロボットである。頭部R1、腕部R2、脚部R3は、それぞれアクチュエータにより駆動され、自律移動制御部50(図2参照)により2足歩行の制御がなされる。この2足歩行についての詳細は、例えば特開2001−62760号公報に開示されている。なお、ロボットRの腕部R2の掌には図示しない圧力センサが設けられており、ロボットRは、手を開いた状態で掌に所定の押圧力を検出したときに手指を所定の角度に曲げて軽く握った状態に保持し、この軽く握った状態で所定の引張力を検出したときに手を開いて手指を元の角度に復元する。
カメラC,Cは、映像をデジタルデータとして取り込むことができるものであり、例えばカラーCCD(Charge-Coupled Device)カメラが使用される。カメラC,Cは、左右に平行に並んで配置され、撮影した画像は画像処理部10に出力される。このカメラC,Cと、スピーカS及びマイクMCは、いずれも頭部R1の内部に配設される。
画像処理部10(画像処理手段)は、カメラC,Cが撮影した画像を処理して、撮影された画像からロボットRの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部10は、ステレオ処理部11a、移動体抽出部11b、及び顔認識部11cを含んで構成される。
ステレオ処理部11aは、左右のカメラC,Cが撮影した2枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像及び元の画像を移動体抽出部11bに出力する。なお、この視差は、ロボットRから撮影された物体までの距離を表すものである。
移動体の抽出をするために、移動体抽出部11bは、過去の数フレーム(コマ)の画像を記憶しており、最も新しいフレーム(画像)と、過去のフレーム(画像)を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラC,Cから所定の距離範囲内で、移動量の多い画素がある場合に、その位置に人物がいると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部11cへ移動体の画像を出力する。
この顔認識部11cは、例えば、撮影された物体との距離データに基づいて顔推定領域を拡大して基準画像を生成し、この基準画像に基づいて円形エッジとなる画素から左右の瞳候補を検出して、検出した瞳候補画像に正規化処理を加えた正規化画像をベクトル(参照用ベクトル)で表し、この参照用ベクトルに基づいて、いわゆる固有顔手法を利用して、正しい左右の瞳を求めて好適な顔領域(顔画像データ)を決定する。
音声処理部20は、音声合成部(音声合成手段)21aと、音声認識部(音声認識手段)21bと、音源定位部(音源定位抽出手段)21cとを有する。
音声合成部(音声合成手段)21aは、制御部40が決定し、出力してきた発話行動の指令に基づき、文字情報から音声データを生成し、スピーカSに音声を出力する部分である。音声データの生成には、予め記憶している文字情報と音声データとの対応関係を利用する。
音声認識部(音声認識手段)21bは、マイクMCから音声データが入力され、予め記憶している音声データと文字情報との対応関係に基づき、音声データから文字情報を生成し、制御部40に出力するものである。
音源定位部(音源定位抽出手段)21cは、マイクMC,MC間の音圧差および音の到達時間差に基づいて音源位置(ロボットRが認識する平面状の位置)を特定し、制御部40に出力するものである。音源位置は、例えば、ロボットRの立っている方向(z軸方向)周りの回転角θzで表される。
記憶部30は、管理用コンピュータ3から送信された必要な情報(識別対象Dの氏名およびあらかじめ撮像された固有顔画像データの特徴量、ローカル地図データ、会話用データなど)と、ロボットRが識別した識別対象Dの識別番号(識別情報)や位置情報とを記憶するものである。なお、記憶部30は、識別対象情報記憶手段に相当する。
制御部40は、画像処理部10、音声処理部20、記憶部30、自律移動制御部50、無線通信部60、及び対象検知部70を統括制御するものであり、詳細は後記するが、識別対象Dを識別するための制御を行う。
自律移動制御部50は、頭部制御部51a、腕部制御部51b、脚部制御部51cを有する。
頭部制御部51aは、制御部40の指示に従い頭部R1を駆動し、腕部制御部51bは、制御部40の指示に従い腕部R2を駆動し、脚部制御部51cは、制御部40の指示に従い脚部R3を駆動する。
また、ジャイロセンサSR1、及びGPS受信器SR2が検出したデータは、制御部40に出力され、ロボットRの行動を決定するために利用されると共に、制御部40から無線通信部60を介して管理用コンピュータ3に送信される。
無線通信部60は、管理用コンピュータ3とデータの送受信を行う通信装置である。無線通信部60は、公衆回線通信装置61a及び無線通信装置61bを有する。
公衆回線通信装置61aは、携帯電話回線やPHS(Personal Handyphone System)回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置61bは、IEEE802.11b規格に準拠するワイヤレスLANなどの、近距離無線通信による無線通信手段である。
無線通信部60は、管理用コンピュータ3からの接続要求に従い、公衆回線通信装置61a又は無線通信装置61bを選択して管理用コンピュータ3とデータ通信を行う。
対象検知部(読取手段、検知手段)70は、ロボットRの周囲にRFIDタグTを設けた識別対象Dが存在するか否かを検知すると共に、識別対象D(RFIDタグT)の存在が検知された場合、識別対象D(RFIDタグT)が、ロボットRを基準として、どの方向に、そしてどの位離れた位置(タグ位置)に存在するのかを特定し、このタグ位置と後記するロボットRの姿勢データとに基づく位置(RFID位置)を特定すると共に、RFIDタグTに記憶された識別番号(識別情報)を読み取るものである。
制御手段80は、後記する電波送受信手段90から無線送信される検索信号と、後記する発光手段100から赤外光として出力される方向検査信号を生成すると共に、検索信号を受信したRFIDタグTから送信された受信報告信号を基に、タグ位置を特定するものである。ここで、検索信号とは、ロボットRの周囲に識別対象Dが存在するか否かを検知するための信号であり、方向検査信号とは、識別対象DがロボットRを基準としてどの方向に位置するのかを検知するための信号である。また、受信報告信号とは、RFIDタグTが、少なくとも検索信号を受信したことを示す信号である。
このデータ処理部81の信号生成部81aは、所定時間毎に、若しくはロボットRの制御部40から電波の発信を命令する信号(発信命令信号)が入力されるたびに、記憶手段110を参照して、対象検知部70が設けられたロボットRに固有の識別番号(以下、ロボットIDという)を取得する。
そして、信号生成部81aは、当該ロボットIDと、受信報告要求信号とを含んで構成される検索信号を生成する。
ここで、受信報告要求信号とは、検索信号を受信した識別対象D(RFIDタグT)に対して、当該検索信号を受信した旨を示す信号(受信報告信号)を生成するように要求する信号である。
方向検査信号は、発光手段100に設けられた発光部(LED1〜LED8)の総てについて、個別に生成されるものであり、前記したロボットIDと、発光部を特定する識別子(発光部ID)を含んで構成される。
なお、この方向検査信号は、後記する復号化部84から入力される受信報告信号に発光要求信号が含まれている場合にも生成される。
例えば、ロボットIDが「02」であり、発光部(LED1〜LED8)の発光部IDが「L1〜L8」である場合、発光部LED1について生成される方向検査信号は、ロボットID=「02」と、発光部ID=「L1」とを含み、発光部LED2について生成される方向検査信号は、ロボットID=「02」と、発光部ID=「L2」とを含むことになる。
尚、このデータ処理部81の位置特定部81bは、検索信号を受信したRFIDタグTから送信された受信報告信号をもとに、タグ位置を特定するものであるが、その際にこの位置特定部81bで行われる処理は、制御手段80に含まれる復号化部84と電界強度検出部85における処理と共に、後記する。
暗号化部82は、入力された信号を暗号化した後、出力するものである。そして、暗号化部82は、検索信号の暗号化により得られた検索信号(暗号化検索信号)を、後記する電波送受信手段90に出力する。
これにより、暗号化検索信号は、変調されたのち、電波送受信手段90から無線送信されることになる。
よって、図3に示すように、発光手段100には合計8つの発光部が設けられているので、暗号化部82には、合計8つの方向検査信号がデータ処理部81から入力される。
その結果、合計8つの暗号化方向検査信号がこの暗号化部82において生成され、時分割部83に出力されることになる。
時分割部83は、発光手段100の各発光部(LED1〜LED8)の発光順序と、発光タイミングを設定するものである。
具体的には、暗号化部82から暗号化方向検査信号が入力されると、時分割部83は、各発光部(LED1〜LED8)の発光順序及び発光タイミングを決定し、決定した発光順序及び発光タイミングで、暗号化方向検査信号を発光手段100に出力する。
したがって、時分割部83は、暗号化方向検査信号が入力されると、暗号化方向検査信号に含まれる発光部IDを確認し、発光部IDにより特定される発光部に隣接する変調部に向けて、決められた順序及びタイミングで、暗号化方向検査信号を出力する。
例えば、発光部(LED1〜LED8)の発光部IDが「L1〜L8」で規定される場合、時分割部83は、発光部IDが「L1」である暗号化方向検査信号を、発光部LED1に隣接する変調部に出力し、発光部IDが「L2」である暗号化方向検査信号を、発光部LED2に隣接する変調部に出力することになる。
発光手段100は、ロボットRを基準として当該ロボットRの周囲において予め設定された探索域に向けて光を照射するものである。
変調部は、時分割部83から入力された暗号化方向検査信号を、所定の変調方式で変調し、変調信号とするものである。
発光部は、変調信号を赤外線信号(赤外光)として、予め決められた探索域に向けて照射するものである。
言い換えると、ロボットRを中心として、ほぼ扇形の探索域(第1領域〜第8領域)がロボットRを取り囲むように複数設定されており、ロボットRは、これら扇形の探索域で囲まれた領域のほぼ中心に位置している。
ここで、この問題を解決する方法の一つとして、探索域の数を多くするという方法が考えられる。しかし、必ずしも全周の探索域の数を増やす必要はなく、前方のみの探索域を増やして、前方側の位置特定を細かくできるようにすることで、識別対象Dの位置する方向にロボットRの視線の方向を向けることができる。また、こうすることにより、発光部の数を少なく構築できる。
これにより、識別対象Dが人であり、かつロボットRのカメラC,Cで人の顔の撮像を行う場合に、ロボットRの正面側における識別対象Dの位置特定をより正確に行って、ロボットRの移動制御やカメラC,Cの画角の調整に反映させることができるので、ロボットRのカメラC,Cを、識別対象Dである人の顔の正面にきちんと位置させることが可能となる。
そこで、本参考例の形態では、隣接する探索域に対して赤外光が連続して照射されることによる干渉が生じないように、前記した制御手段80の時分割部83において、暗号化方向検査信号を出力する順序とタイミングを調整しているのである。なお、赤外光が照射される高さ方向の範囲は、人と人とが向かい合って話をする場合の平均的な距離(対人距離)において、子供から大人までその存在を検知できる範囲に設定されている。
(電波送受信手段90)
電波送受信手段90は、ロボットRの周辺領域に向けて電波を発信すると共に、当該電波を受信したRFIDタグTから送信された受信報告信号を受信するものである。この電波送受信手段90は、変調部91と、復調部92と、送受信アンテナ93とから構成される。
復調部92は、RFIDタグTから無線送信された変調信号を、送受信アンテナ93を介して受信し、受信した変調信号の復調により、受信報告信号(実際には、暗号化受信報告信号)を取得するものである。この復調部92は、取得した受信報告信号を、制御手段80の復号化部84と電界強度検出部85に出力する。
復号化部84は、暗号化された受信報告信号である暗号化受信報告信号を復号化して、受信報告信号を取得し、取得した受信報告信号を、データ処理部81に出力するものである。本参考例の形態の場合、受信報告信号には、発光部IDとロボットIDと識別番号(RFID識別番号)とが少なくとも含まれているので、復号化部84は、これらをデータ処理部81に出力することになる。なお、受信報告信号に発光要求信号が含まれていた場合、この発光要求信号もまたデータ処理部81に出力されることになる。
電界強度検出部85は、RFIDタグTから送信された変調信号を電波送受信手段90が受信した際に、当該変調信号の強度を求めるものである。
具体的には、電界強度検出部85は、電波送受信手段90の復調部92から入力された、暗号化受信報告信号の電力を検波し、この検波された電力の平均値を電界強度として求め、この求めた電界強度をデータ処理部81に出力する。
データ処理部81の位置特定部81bは、タグ位置を特定すると共に、特定したタグ位置と、ロボットRの姿勢データとに基づいて、RFID位置を生成するものである。
具体的には、RFIDタグTから送信された変調信号を電波送受信手段90において受信した際の当該変調信号の電界強度から、ロボットRから識別対象D(RFIDタグT)までの距離を求める。さらに、位置特定部81bは、受信報告信号に含まれる発光部IDを参照して、識別対象D(RFIDタグT)が受信した光が、どの発光部から発光されたのかを特定し、特定された発光部の発光方向を、すなわち当該発光部に対応する探索域の方向を識別対象D(RFIDタグT)の存在する方向とみなし、タグ位置を特定するものである。
なお、位置特定部81bは、制御部40から取得するロボットRの姿勢データの履歴を記憶する図示しない記憶手段を有し、これにより、タグ位置が特定されるまでのタイムラグによりロボットRの姿勢が変化した場合に、特定したタグ位置に含まれる時刻情報に基づいて、過去の姿勢データを検索して、現在のタグ位置と結びつけることにより、正確なRFID位置とすることができる。
また、受信報告信号に発光要求信号が含まれている場合、信号生成部81aは方向検査信号を生成し、暗号化部82に出力する。これにより、発光手段100の各発光部から赤外線信号が発光されることになる。
ここで、対象検知部70が検知するRFIDタグTについて図5を参照して説明する。図5は、RFIDタグの構成を示すブロック図である。
RFIDタグTは、ロボットRから送信された電波と、照射された光とを受信し、これらを受信したことを示す受信報告信号を、ロボットRに送信するものである。本参考例の形態では、RFIDタグTが取り付けられた人が識別対象Dであるので、ロボットRから送信された電波と照射された光は、このRFIDタグTにおいて受信される。
図5に示すように、このRFIDタグTは、電波送受信手段140と、光受信手段150と、受信報告信号生成手段160と、記憶手段170とを備えて構成される。
電波送受信手段140は、ロボットRから無線送信された変調信号を受信すると共に、後記する受信報告信号生成手段160において生成された受信報告信号を、変調した後、ロボットRに向けて無線送信するものである。この電波送受信手段140は、送受信アンテナ141と、復調部142と、変調部143とを含んで構成される。
変調部143は、後記する受信報告信号生成手段160の暗号化部163から入力された暗号化後の受信報告信号(暗号化受信報告信号)を変調して変調信号を生成すると共に、当該変調信号を、送受信アンテナ141を介して、無線送信するものである。
光受信手段150は、ロボットRから照射された赤外光を受光するものである。この光受信手段150は、受光部151と、光復調部152とから構成される。
受光部151は、ロボットRから照射された赤外光(赤外線信号)を直接受光するものである。
光復調部152は、受光部151において受光した赤外線信号を復調して、方向検査信号(実際には、暗号化方向検査信号)を取得するものである。
受信報告信号生成手段160は、ロボットRから発信された検索信号を電波送受信手段140で受信した場合、この検索信号に含まれる受信報告要求信号に従って、ロボットRから発信された検索信号を受信したことを示す信号(受信報告信号)を生成するものである。図5に示すように、この受信報告信号生成手段160は、復号化部161と、データ処理部162と、暗号化部163とを含んで構成される。
ここで、本参考例の形態の場合、検索信号には、検索信号を発信したロボットRを特定する識別子であるロボットIDと、当該電波を受信したRFIDタグTに対し、所定の処理を命ずる受信報告要求信号とが含まれている。
また、方向検査信号には、方向検査信号を発信したロボットを特定する識別子であるロボットIDと、方向検査信号を発信した発光部を特定する発光部IDとが含まれている。
次に、図2に示したロボットRの制御部40の詳細な構成を図6を参照して説明する。図6は、制御部の詳細を示すブロック図である。図6に示すように、制御部40は、姿勢データ生成部41と、人物識別部(画像対応識別手段)43と、オブジェクトデータ統合部45と、行動パターン部47と、タスク処理部49とを備えている。
姿勢データ生成部41は、自律移動制御部50からロボットRの頭部R1および脚部R3の動きデータを入力し、この動きデータに基づいて、ロボットRの重心に対するカメラCの相対位置と、ステージ座標系(ロボットRの歩行するステージ上の座標系)でのロボットRの位置とを示す姿勢データを生成し、オブジェクトデータ統合部45に入力するものである。この姿勢データ生成部41は、ロボットRの体内時計としての制御カウント(以下、単にカウント)を生成し、画像処理部10、音声処理部20、対象検知部70、および制御部40内のオブジェクトデータ統合部45に供給する。
人物識別部(画像対応識別手段)43は、顔認識部11cから、顔画像データから求められた特徴パラメータを入力し、この特徴パラメータと、無線通信部60を介して管理用コンピュータから取得して記憶部30に記憶した固有顔画像データの特徴パラメータとに基づいて、カメラCで撮像した人物を所定の確度で識別し、オブジェクトデータ統合部45に出力するものである。
オブジェクトデータ統合部45は、詳細は後記するが、姿勢データ生成部41、人物識別部43、対象検知部70および音源定位部21cからの入力データに基づいて、識別対象D(オブジェクト)に関する識別データ(オブジェクトデータ)を統合した統合識別データを生成すると共に、この統合識別データを記憶部30に出力するものである。これにより、記憶部30には、後記するように、オブジェクトデータをオブジェクト別かつ時刻別に記録したデータであるオブジェクトマップ31が生成される。このオブジェクトマップ31は、時刻別(カウント別)の所定枚数の表(カード)の形式で記憶される。
行動パターン部47は、ロボットRの予め定められた行動(行動パターン)を実行するためのプログラムを格納すると共に、この行動パターンを実行するときに、記憶部30のオブジェクトマップ31を参照して、行動パターンに反映するものである。
行動パターンの例としては、歩行中に人物や障害物(オブジェクト)に遭遇したときにオブジェクトの1m手前で立ち止まる、立ち止まってから10秒後に腕部R2を所定位置まで上げる、腕部R2の図示しない圧力センサに入力があれば物を掴む動作をするなど場面や状況に応じたものが用意されている。なお、図では、この行動パターン部47は1つだけだが行動パターン別に複数設けられている。
タスク処理部49は、無線通信部60を介して管理用コンピュータ3から送られてくる指令(タスク)に基づいて、目的地までの経路を探索すると共に、行動パターン部47を制御して行動パターンを所定の順序に組み合わせるものである。なお、タスク処理部49は、無線通信部60を介して管理用コンピュータ3から送られてくる作業領域の地図情報であるローカル地図データ32を記憶部30に格納し、経路探索に利用する。
次に、オブジェクトデータ統合部45の詳細な構成を図7を参照して説明する。図7は、オブジェクトデータ統合部の詳細を示すブロック図である。図7に示すように、オブジェクトデータ統合部45は、統合制御部200と、バッファ300とを備えている。統合制御部200は、記憶部30に記憶されるオブジェクトマップ31を生成するものであり、このオブジェクトマップ31の生成過程で生じるデータである仮マップを一時記憶領域であるバッファ300に蓄積管理するために、入力判定部201と、登録制御部202と、位置補正処理部203と、寿命処理部204と、統合処理部(識別対象決定手段)205と、書込制御部206とを備えている。
登録制御部202は、統合制御部200にオブジェクトデータが入力したときに、入力データをバッファ300に記憶される仮マップに登録するものであり、人物データ登録制御部211と、RFID識別データ登録制御部212と、音源識別データ登録制御部213と、確度算出部(確度算出手段)214とを備えている。
RFID識別データ登録制御部212は、統合制御部200に入力したオブジェクトデータがRFID識別データ(RFID位置、RFID識別番号など)のときに仮マップに登録する制御を行うと共に、確度算出部214とデータの送受信を行うものである。
音源識別データ登録制御部213は、統合制御部200に入力したオブジェクトデータが音源識別データ(音源位置など)のときに仮マップに登録する制御を行うと共に、確度算出部214とデータの送受信を行うものである。なお、登録制御部202の各制御部211〜213が行うオブジェクトデータの登録制御の詳細は後記する。
寿命処理部204は、バッファ300に記憶される仮マップにおけるオブジェクトデータの寿命を設定し、寿命の尽きたオブジェクトデータを仮マップから削除するものである。この寿命処理部204は、人物データ、RFID識別データおよび音源識別データのそれぞれに固有の寿命を設定する。なお、予め設定した寿命を基に仮マップからの削除を行うようにしてもよい。
次に、図8を参照して、記憶部30に記憶されるオブジェクトマップ31の構成を説明する。図8は、オブジェクトマップを説明するための説明図である。
オブジェクトマップ31は、時刻別に分類された複数の時刻別データ801(以下、カード801という)を備えている。このカード801には、それぞれ、カウント(時刻情報)と、姿勢データおよびカメラ姿勢と、表803が付されている。姿勢データは、例えば顔の位置(x,y,z)と顔の向き(θx,θy,θz)で表され、カメラ姿勢は、例えばパン、チルト、ロールの各軸周りの回転角度(pan,tilt,role)で表される。また、この表803では、列に識別すべき対象(オブジェクト)が配され、行に、このオブジェクトを特徴付ける複数の項目が配されており、オブジェクト別に(列ごとに)レコードが蓄積されている。以下に、各項目の詳細を説明する。
ボディ位置805は、画像処理部10から出力される位置座標データであり、ロボットRが認識している座標平面における人物(オブジェクト)の重心位置座標(x,y)で表される。
速度806は、画像処理部10から出力される速度データであり、ロボットRが認識している座標平面における人物(オブジェクト)の移動速度(Vx,Vy)で表される。
人物確度808は、人物ID807の確度を示すものであり、人物識別部43で算出される類似度に基づいて完全一致を100%として定められている。なお、人物確度808として類似度をそのまま用いてもよい。
人物ライフカウント809は、人物ID807に登録されたデータのオブジェクトマップ31上での経過時間(年齢)を表している。
RFID位置811は、対象検知部70から出力される位置データであり、ロボットRの周囲におけるタグ(オブジェクト)までの距離および方向で定まる領域で表される。
RFID確度812は、RFID識別番号810のデータ(識別番号)の確度を示すものであり、確度算出部214で前記した(1)式により算出される。
RFIDライフカウント813は、RFID識別番号810に登録されたデータ(識別番号)のオブジェクトマップ31上での経過時間(年齢)を表している。
音源確度815は、音源位置814のデータの確度を示すものであり、確度算出部214で算出される。なお、音源位置814および音源確度815に代えて、人物(オブジェクト)が発声しているかどうかを示すフラグを立てるようにしてもよい。
音源ライフカウント816は、音源位置814に登録されたデータ(位置座標)のオブジェクトマップ31上での経過時間(年齢)を表している。
TOTAL_ID818は、人物ID807とRFID識別番号810に基づいて統合処理部205で決定されたオブジェクトの識別番号である。
TOTAL_確度819は、人物確度808とRFID確度812とに基づいて統合処理部205で決定されたオブジェクトの識別番号の確度を示すものである。なお、統合処理部205は、音源確度815をも考慮してTOTAL_確度819を決定するようにしてもよい。
次に、識別対象識別システムAにおいて行われる処理について説明する。
[対象検知部70の動作]
はじめに、ロボットRの対象検知部70で行われる処理について説明する(適宜図3および図5参照)。
対象検知部70の制御手段80は、所定時間間隔毎に、記憶手段110に記憶されたロボットIDと、受信報告要求信号とを含んで構成される検索信号を生成すると共に、ロボットIDと発光部IDとを含んで構成される方向検査信号(赤外線信号)を発光部毎に個別に生成する。そして、電波送受信手段90は、暗号化された検索信号を所定の変調方式で変調して変調信号とした後、無線送信する。また、発光手段100は、ロボットRの周囲に設けられた各探索域に対し、時分割部83で決定された順序かつタイミングで、赤外光(暗号化され変調された検索信号)を照射する。
次に、オブジェクトデータ統合部45の動作を図9(適宜図6および図7参照)を参照して説明する。図9は、オブジェクトデータ統合部の全体の動作を示すフローチャートである。
まず、オブジェクトデータ統合部45は、姿勢データ生成部41から姿勢データと制御カウントを取得する(ステップS1)。なお、姿勢データおよび制御カウントは後記する統合識別データ登録処理(ステップS5)で利用される。
オブジェクトデータ統合部45は、入力判定部201によって、人物識別部43から人物データが入力したかどうかを判定する(ステップS2)。
次に、前記したステップS9の人物データ登録処理を図10(適宜図7および図8参照)を参照して説明する。図10は、人物データ登録処理の動作を示すフローチャートである。まず、人物データ登録制御部211は、制御変数iを0に設定すると共に、入力した人物データにおけるオブジェクト数nを設定する(ステップS21)。そして、人物データ登録制御部211は、iがn未満かどうかを判定し(ステップS22)、iがn以上ならば(ステップS22:No)、処理を終了する。一方、iがn未満の場合(ステップS22:Yes)には、入力した人物データに添付されたカウントに基づいて、バッファ300の仮マップの中から最もカウントが近いカードを選択する(ステップS23)。そして、人物データ登録制御部211は、このカードから、入力したi番目の人物データに対応するオブジェクトを検索する(ステップS24)。
次に、前記したステップS10のRFID識別データ登録処理を図11を参照して説明する。図11は、RFID識別データ登録処理の動作を示すフローチャートである。まず、RFID識別データ登録制御部212は、入力したRFID識別データに添付されたカウントに基づいて、バッファ300の仮マップの中から最もカウントが近いカードを選択する(ステップS41)。そして、RFID識別データ登録制御部212は、このカードから、入力したRFID識別データに対応するオブジェクトを検索する(ステップS42)。
確度算出部214によって、前記した(1)式に基づいて、識別番号の確度を示すRFID確度を算出する(ステップS44)。そして、RFID識別データ登録制御部212は、選択したカードにおいて、入力したRFID識別データと算出したRFID確度とにより更新登録する(ステップS45)。このとき、RFID識別番号810、RFID位置811、RFID確度812の各データが更新される。そして、RFID識別データ登録制御部212は、登録されたオブジェクトのRFIDライフカウント813をリセット(0に設定)し(ステップS46)、登録したRFID識別データを、選択したカードよりもカウントの大きなカードにおける、このオブジェクトに関するレコードに反映する(ステップS47)。
前記したステップS11の音源識別データ登録処理は、制御対象の主体と取り扱うデータの種類が異なる点を除いて、図11を参照して説明したステップS10のRFID識別データ登録処理と同様であるので、説明を省略する。なお、ステップS44およびS45に相当する音源確度の算出処理は、音源位置とボディ位置とに基づいて行われる。
次に、前記したステップS5の統合識別データ登録処理を図12を参照して説明する。図12は、統合識別データ登録処理の動作を示すフローチャートである。
まず、オブジェクトデータ統合部45は、位置補正処理部203によって、制御変数iを0に設定すると共に、Mを最大オブジェクト数(オブジェクトマップ31の表の列数)に設定する(ステップS61)。そして、位置補正処理部203は、iがM未満かどうかを判定し(ステップS62)、iがM以上ならば(ステップS62:No)、処理を終了し、iがM未満の場合(ステップS62:Yes)には、さらにi番目のオブジェクトについて入力データがあるかどうかを判定する(ステップS63)。入力データが無い場合、後記するステップS73へ進み、入力データがある場合、入力した姿勢データに基づいて、バッファ300上の仮マップの最新のカードにおいて、i番目のオブジェクトのボディ位置805および速度806を補正する(ステップS64)。なお、このときRFID位置811、RFID確度812、音源位置814、音源確度815を補正するようにしてもよい。
さらに、人物ID807と、RFID識別番号810とが異なり、かつ、これらの確度が同一の場合、例えば人物ID807を優先する。この場合、RFIDタグTの読み取り誤りや装着ミスによる誤りを除去できる。なお、RFID識別番号810を優先した場合、カメラCの視野外や夜間における画像データの誤りを除去できる。
ステップS71に続いて、オブジェクトデータ統合部45は、統合処理部205によって、i番目のオブジェクトの統合識別データと、(i−k)番目(k=1,2,…,i−1)のオブジェクトの統合識別データとを比較し、同一ならば(i−k)番目のオブジェクトをi番目のオブジェクトに統合する(ステップS72)。これにより、例えば、実際には1つであるオブジェクトが人物識別(画像処理)によって2つのオブジェクトと認識されているような場合にオブジェクト識別の精度を向上させることができる。
ステップS72に続いて、オブジェクトデータ統合部45は、位置補正処理部203によって、制御変数iを+1歩進させて(ステップS73)、ステップS62に戻る。
識別対象識別システムAが、例えばオフィス内の依頼者から、同じオフィス内の目的者への物品の配達に応用された場合を例に挙げて、ロボットRの動作について説明する。
一方、端末5の操作者は、端末5から、依頼者および目的者の氏名と配達コマンドを入力すると、管理用コンピュータ3は、図示しない記憶手段から、依頼者の識別番号および位置情報(オフィス内での座席位置)と、目的者の識別番号および位置情報(オフィス内での座席位置)と、ローカル地図データ(オフィス内での地図)と、依頼者および目的者の顔画像データの特徴パラメータとを読み出して、ロボットRに送信する。
なお、タスク処理部49は、ロボットRの移動に際しては、ローカル地図データ32を参照し、障害物を回避する行動パターンを実行させることにより、ロボットRに最短距離での移動を可能とさせることができる。
次に、図14乃至図19を参照して、本発明の第1の実施形態に係る識別対象識別装置について説明する。第1の実施形態に係る識別対象識別装置は、制御部40のオブジェクトデータ統合部45で作成したオブジェクトマップ31を利用して撮像された識別対象Dを識別するものである。参照する図面において、図14は、第1の実施形態に係る識別対象識別装置の人物識別部の構成を示すブロック図である。なお、第1の実施形態では、ロボットRの自律移動制御部50以外の構成要素で本発明の第1の実施形態に係る識別対象識別装置が構成されている。ロボットRにおいて、参考例の形態と同一の構成には同一の参照番号を付与する。
記憶部(識別対象情報記憶手段)30は、オブジェクトマップ31Aと、ローカル地図データ32と、顔DB(顔データベース)33とを記憶している。
ここで、オブジェクトマップ31Aについて図15および図16を参照して説明する。図15は、第1の実施形態に係るロボットのカメラの視野を説明するための説明図であり、図16は、第1の実施形態に係るオブジェクトマップを説明するための説明図である。
図16に示すように、オブジェクトマップ31Aは、図8に示したオブジェクトマップ31と同様なものであり、時刻別に分類された複数の時刻別データ1601(以下、カード1601という)を備えている。このカード1601には、カウント(時刻情報)と、姿勢データおよびカメラ姿勢と、RFIDデータ1602と、RFIDデータライフカウント1603と、表が付されている。
RFIDデータ1602は、ロボットRの周囲に存在するRFIDタグTに記録されたRFID識別番号(RFID識別データ)である。ロボットRの周囲に、図15に示すような4つのオブジェクト1503が存在する場合には、「3,5,10,12」が格納される。
RFIDデータが「5」の場合には、RFIDデータライフカウントは「4」である。
これらは、それぞれ、ID(RFID識別番号)が「3」のRFIDタグTから、データが入力されたこと、および、IDが「5」のRFIDタグTからデータが入力されてから、カウントが「4」進んだことを示している。
顔位置1604,1605は、顔認識部11cから出力される位置座標データであり、カメラ画面上での顔の位置座標(x,y)で表される。
顔ID:顔確度1606は、人物識別部43Aから出力されるデータと、オブジェクトナンバに対するその確度とを示すものである。このうち、顔IDは、人物(オブジェクト)の顔の固有画像データを格納した顔DB33(図14参照)の識別番号で表される。また、顔確度は、人物識別部43Aで算出される類似度に基づいて完全一致を100%として定められている。なお、顔確度として、類似度をそのまま用いてもよい。また、顔確度として、DFFC(Distance From Face Class)値を用いてもよい。この場合には、DFFC値が小さいほど、当該オブジェクトナンバに対する顔IDの確からしさが高くなる。
RFID識別番号:RFID確度1607は、顔ID:顔確度1606と同様にして、1つのオブジェクト(またはオブジェクトナンバ)に対して複数のレコードを候補として格納できるように構成されている。
human ID確度1609は、顔確度とRFID確度とに基づいて統合処理部205で決定されたオブジェクトの識別番号の確度を示すものである。
人物識別部(画像対応識別手段)43Aは、顔認識部11cから出力される顔位置に関する位置情報とオブジェクトマップ31Aとに基づいて、顔認識部11cから出力される画像データと比較すべき固有顔画像データを記憶部30において検索するものである。この人物識別部43Aは、図14に示すように、固有顔画像データ取得部(画像情報取得手段)431と、RFID識別番号取得部(読取識別情報取得手段)432と、グループ作成部(グループ作成手段)433と、撮影顔画像候補識別部(撮像画像候補識別手段)434とを備える。
次に、第1の実施形態に係る識別対象識別装置の動作を説明する。第1の実施形態に係る識別対象識別装置の動作は、人物識別部43Aの動作を除いて、参考例の形態に係る識別対象識別装置の動作と同一である。以下、人物識別部43Aの動作について図17乃至図19を参照(適宜図14乃至図16参照)して説明する。図17は、図14に示した人物識別部の動作を示すフローチャートであり、図18は、人物識別部の動作の説明図であって、(a)は人物識別部の取得データ、(b)はグループの一例をそれぞれ示している。また、図19は、人物識別部の算出する顔確度の一例を示す説明図である。
また、本発明に係る識別対象識別装置では、識別対象は人物(人間)のほかに、他のロボットや物体であってもよく、また、それらが移動可能であってもよい。
また、本発明に係る識別対象識別装置は、自律二足歩行ロボット以外にも、例えば自動車などの種々の移動体への応用も可能である。この場合には、例えば移動体に接近してきた人物が所有者(運転者)かどうか判別し、所有者の場合にドアを自動的に開けるようにしてもよい。
C カメラ
D 識別対象
R ロボット(識別対象識別装置)
T RFIDタグ
1 基地局
2 ロボット専用ネットワーク
3 管理用コンピュータ
4 ネットワーク
5 端末
10 画像処理部
20 音声処理部
21c 音源定位部(音源定位抽出手段)
30 記憶部(識別対象情報記憶手段)
33 顔DB
40 制御部
41 姿勢データ生成部
43,43A 人物識別部(画像対応識別手段)
431 固有顔画像データ取得部(画像情報取得手段)
432 RFID識別番号取得部(読取識別情報取得手段)
433 グループ作成部(グループ作成手段)
434 撮影顔画像候補識別部(撮像画像候補識別手段)
45 オブジェクトデータ統合部
47 行動パターン部
49 タスク処理部
50 自律移動制御部
60 無線通信部
70 対象検知部
80 制御手段
90 電波送受信手段
100 発光手段
110 記憶手段
140 電波送受信手段
150 受光手段
160 受信報告信号生成手段
170 記憶手段
200 統合制御部
201 入力判定部
202 登録制御部
203 位置補正処理部
204 寿命処理部
205 統合処理部(識別対象決定手段)
206 書込制御部
211 人物データ登録制御部
212 RFID識別データ登録制御部
213 音源識別データ登録制御部
214 確度算出部(確度算出手段)
300 バッファ
Claims (5)
- 少なくともカメラと外部に存在する識別対象に設けた無線タグとにより識別対象を識別する識別対象識別装置であって、
前記無線タグに記憶された識別情報を読み取る読取手段と、
前記カメラによって撮像された前記識別対象の画像情報を抽出すると共に前記画像情報から前記識別対象の位置情報を算出する画像処理手段と、
前記画像処理手段で抽出された画像情報と前記識別対象の固有の画像情報とを比較照合することにより、前記固有の画像情報に対応付けられた識別情報を取得し、前記取得した識別情報に順位付けをして、前記順位付けをした識別情報の確度を算出する画像対応識別手段と、
前記読取手段で読み取られた識別情報の確度を算出する確度算出手段と、
少なくとも前記画像対応識別手段が取得し順位付けした識別情報およびその確度と前記読取手段で読み取られた識別情報およびその確度とに基づいて、前記識別対象に対する統合識別情報を決定すると共にその確度を算出する識別対象決定手段と、
前記画像処理手段で算出された識別対象の位置情報と、前記画像対応識別手段が取得し順位付けした識別情報およびその確度と、前記読取手段で読み取られた識別情報およびその確度と、前記統合識別情報およびその確度とを、時刻別かつ前記識別対象別に記録したデータであるオブジェクトマップを記憶する識別対象情報記憶手段と、
前記識別対象を特定する識別情報に対応付けられた画像情報を格納する1以上のデータベースと、を備え、
前記識別対象決定手段は、1つの識別対象に対して前記画像対応識別手段で取得された識別情報と、前記読取手段で読み取られた識別情報とが異なる場合には、前記画像対応識別手段で算出された確度と、前記確度算出手段で算出された確度とのうち確度の値が大きい方の識別情報を前記統合識別情報として決定し、一方、前記画像対応識別手段で取得された識別情報と、前記読取手段で読み取られた識別情報とが同じである場合には、当該識別情報を前記統合識別情報として決定し、前記決定した統合識別情報を前記オブジェクトマップに格納し、
前記画像対応識別手段は、
前記識別対象の固有の画像情報として、前記1以上のデータベースから画像情報を取得する画像情報取得手段と、
この画像情報取得手段で取得された1以上の画像情報と、前記画像処理手段で抽出された画像情報とを比較照合し、この比較照合結果に基づいて、前記取得した1以上の画像情報に対応付けられた識別情報に順位付けをして、前記順位付けをした識別情報を前記撮像された識別対象の識別情報の候補として取得する撮像画像候補識別手段と、
前記画像処理手段で抽出された画像情報から特定される識別対象の位置情報に基づいて、前記オブジェクトマップにおいて当該位置情報が取得された時刻に記録されている識別対象と前記位置情報とを対応付けると共に、前記オブジェクトマップから、前記時刻において記録されている前記読取手段で読み取られた識別情報を1以上取得する読取識別情報取得手段と、
前記オブジェクトマップを参照して、前記読取識別情報取得手段で取得した識別情報を、前記画像処理手段で抽出された画像情報から特定される識別対象の識別情報から成る第1のグループと、前記第1のグループ以外の識別情報から成る第2のグループとに分けるグループ作成手段と、を備え、
前記画像情報取得手段は、前記グループ作成手段で分けられたグループに属する識別情報ごとに、前記グループに属する識別情報に対応付けられた画像情報を、前記識別対象の固有の画像情報として前記データベースからそれぞれ取得し、
前記撮像画像候補識別手段は、前記画像情報取得手段で取得された画像情報と、前記画像処理手段で抽出された画像情報とを、前記グループ作成手段で分けられたグループごとに比較照合することを特徴とする識別対象識別装置。 - 前記識別対象の発する音声から音源位置を抽出する音源定位抽出手段と、
前記オブジェクトマップの生成過程で生じるデータを一時記憶領域から削除する寿命処理手段と、をさらに備え、
前記オブジェクトマップは、さらに、前記音源定位抽出手段で抽出された音源位置を、時刻別かつ前記識別対象別に記録したデータであり、
前記寿命処理手段は、
前記読取手段で読み取られた識別情報についての前記オブジェクトマップ上での経過時間が前記オブジェクトマップ上での寿命以下の場合、前記音源定位抽出手段で抽出された音源位置についての前記オブジェクトマップ上での経過時間が前記音源位置の前記オブジェクトマップ上での予め定められた寿命よりも大きいか否かを判定し、
前記識別対象決定手段は、前記寿命処理手段により前記音源位置についての前記オブジェクトマップ上での経過時間が前記音源位置の寿命以下であると判定された場合、前記統合識別情報を生成することを特徴とする請求項1に記載の識別対象識別装置。 - 請求項1または請求項2に記載の識別対象識別装置を備え、外部からの指令に基づいて所定の行動を行うと共に、前記識別対象識別装置で識別された識別情報で特定される識別対象に応じて、自律的に前記行動を制御可能であることを特徴とするロボット。
- 前記指令の内容は、物品の配達を依頼する依頼者の識別情報および位置情報と、配達先である目的者の識別情報および位置情報を含み、
前記所定の行動は、前記依頼者を探索して識別し、識別した依頼者から前記物品を受け取り、前記目的者を探索して識別し、識別した目的者に受け取った物品を渡す行動であることを特徴とする請求項3に記載のロボット。 - 前記依頼者または前記目的者を識別したときに、前記依頼者および前記目的者にそれぞれ固有の会話用データに基づく音声を出力する音声合成手段と、
人物の音声を認識する音声認識手段と、
をさらに備えることを特徴とする請求項4に記載のロボット。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005352879A JP4460528B2 (ja) | 2004-12-14 | 2005-12-07 | 識別対象識別装置およびそれを備えたロボット |
US11/301,114 US7769203B2 (en) | 2004-12-14 | 2005-12-13 | Target object detection apparatus and robot provided with the same |
EP05027372A EP1672456B1 (en) | 2004-12-14 | 2005-12-14 | Target object detection apparatus and robot provided with the same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004362064 | 2004-12-14 | ||
JP2005352879A JP4460528B2 (ja) | 2004-12-14 | 2005-12-07 | 識別対象識別装置およびそれを備えたロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006192563A JP2006192563A (ja) | 2006-07-27 |
JP4460528B2 true JP4460528B2 (ja) | 2010-05-12 |
Family
ID=36000860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005352879A Expired - Fee Related JP4460528B2 (ja) | 2004-12-14 | 2005-12-07 | 識別対象識別装置およびそれを備えたロボット |
Country Status (3)
Country | Link |
---|---|
US (1) | US7769203B2 (ja) |
EP (1) | EP1672456B1 (ja) |
JP (1) | JP4460528B2 (ja) |
Families Citing this family (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9769354B2 (en) | 2005-03-24 | 2017-09-19 | Kofax, Inc. | Systems and methods of processing scanned data |
US7668797B2 (en) * | 2006-04-07 | 2010-02-23 | Gary Kuvich | Active semiotic system for image and video understanding by robots and unmanned vehicles, methods and apparatus |
JP2007326307A (ja) * | 2006-06-08 | 2007-12-20 | Brother Ind Ltd | タグラベル作成装置 |
US8180486B2 (en) | 2006-10-02 | 2012-05-15 | Honda Motor Co., Ltd. | Mobile robot and controller for same |
US7658694B2 (en) * | 2007-04-30 | 2010-02-09 | Nike, Inc. | Adaptive training system |
JP5010985B2 (ja) * | 2007-05-30 | 2012-08-29 | 株式会社日立製作所 | センサノード |
JP4949134B2 (ja) * | 2007-06-18 | 2012-06-06 | 富士フイルム株式会社 | カメラ位置認識システム |
JP4364266B2 (ja) | 2007-08-01 | 2009-11-11 | 株式会社東芝 | 画像処理装置およびプログラム |
JP2010539623A (ja) * | 2007-09-19 | 2010-12-16 | パナソニック株式会社 | 位置情報を使用して画像内のオブジェクトを識別するシステムおよび方法 |
KR100920457B1 (ko) * | 2007-11-14 | 2009-10-08 | 한국생산기술연구원 | 로봇의 물체인식방법 및 물체인식시스템 |
JP4560078B2 (ja) | 2007-12-06 | 2010-10-13 | 本田技研工業株式会社 | コミュニケーションロボット |
JP4516592B2 (ja) | 2007-12-06 | 2010-08-04 | 本田技研工業株式会社 | 移動型ロボット |
US20100114372A1 (en) * | 2008-10-30 | 2010-05-06 | Intellibot Robotics Llc | Method of cleaning a surface using an automatic cleaning device |
KR101553522B1 (ko) * | 2008-12-29 | 2015-09-16 | 삼성전자 주식회사 | 로봇 및 그 제어 방법 |
US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
US9576272B2 (en) | 2009-02-10 | 2017-02-21 | Kofax, Inc. | Systems, methods and computer program products for determining document validity |
JP5319433B2 (ja) * | 2009-07-16 | 2013-10-16 | エンパイア テクノロジー ディベロップメント エルエルシー | 撮影システム、移動体、撮影制御方法 |
ES2358139B1 (es) * | 2009-10-21 | 2012-02-09 | Thecorpora, S.L. | Robot social. |
US8635015B2 (en) * | 2009-12-17 | 2014-01-21 | Deere & Company | Enhanced visual landmark for localization |
US8224516B2 (en) * | 2009-12-17 | 2012-07-17 | Deere & Company | System and method for area coverage using sector decomposition |
US20110153338A1 (en) * | 2009-12-17 | 2011-06-23 | Noel Wayne Anderson | System and method for deploying portable landmarks |
CN102200578B (zh) * | 2010-03-25 | 2013-09-04 | 日电(中国)有限公司 | 数据关联设备和方法 |
ITTO20110839A1 (it) * | 2011-09-20 | 2013-03-21 | Sisvel Technology Srl | Metodo per la ricostruzione della pianta di un ambiente circostante un dispositivo wireless e dispositivo wireless che implementa tale metodo |
US8761933B2 (en) * | 2011-08-02 | 2014-06-24 | Microsoft Corporation | Finding a called party |
US9747287B1 (en) * | 2011-08-10 | 2017-08-29 | Nutanix, Inc. | Method and system for managing metadata for a virtualization environment |
US8863124B1 (en) | 2011-08-10 | 2014-10-14 | Nutanix, Inc. | Architecture for managing I/O and storage for a virtualization environment |
US8549518B1 (en) | 2011-08-10 | 2013-10-01 | Nutanix, Inc. | Method and system for implementing a maintenanece service for managing I/O and storage for virtualization environment |
US9652265B1 (en) | 2011-08-10 | 2017-05-16 | Nutanix, Inc. | Architecture for managing I/O and storage for a virtualization environment with multiple hypervisor types |
US9009106B1 (en) | 2011-08-10 | 2015-04-14 | Nutanix, Inc. | Method and system for implementing writable snapshots in a virtualized storage environment |
US8850130B1 (en) | 2011-08-10 | 2014-09-30 | Nutanix, Inc. | Metadata for managing I/O and storage for a virtualization |
US8601473B1 (en) | 2011-08-10 | 2013-12-03 | Nutanix, Inc. | Architecture for managing I/O and storage for a virtualization environment |
US9649531B2 (en) * | 2011-08-22 | 2017-05-16 | Allied Power Products, Inc. | Mobile practice dummy |
JP2013111737A (ja) * | 2011-12-01 | 2013-06-10 | Sony Corp | ロボット装置及びその制御方法、並びにコンピューター・プログラム |
US9165188B2 (en) | 2012-01-12 | 2015-10-20 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
KR20130096539A (ko) * | 2012-02-22 | 2013-08-30 | 한국전자통신연구원 | 자율 이동장치 및 그 제어 방법 |
US8837788B2 (en) * | 2012-06-04 | 2014-09-16 | J. Stephen Hudgins | Disruption of facial recognition system |
JP5978027B2 (ja) * | 2012-06-28 | 2016-08-24 | 本田技研工業株式会社 | 移動ロボットの制御装置 |
US9772866B1 (en) | 2012-07-17 | 2017-09-26 | Nutanix, Inc. | Architecture for implementing a virtualization environment and appliance |
EP2689650B1 (en) * | 2012-07-27 | 2014-09-10 | Honda Research Institute Europe GmbH | Trainable autonomous lawn mower |
US9208536B2 (en) * | 2013-09-27 | 2015-12-08 | Kofax, Inc. | Systems and methods for three dimensional geometric reconstruction of captured image data |
US9355312B2 (en) | 2013-03-13 | 2016-05-31 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
US20140316841A1 (en) | 2013-04-23 | 2014-10-23 | Kofax, Inc. | Location-based workflows and services |
US20140327520A1 (en) * | 2013-05-02 | 2014-11-06 | Infineon Technologies Ag | Radio identification arrangement and method for indicating the position of a physical object |
DE202014011407U1 (de) | 2013-05-03 | 2020-04-20 | Kofax, Inc. | Systeme zum Erkennen und Klassifizieren von Objekten in durch Mobilgeräte aufgenommenen Videos |
US9310800B1 (en) * | 2013-07-30 | 2016-04-12 | The Boeing Company | Robotic platform evaluation system |
US9386235B2 (en) | 2013-11-15 | 2016-07-05 | Kofax, Inc. | Systems and methods for generating composite images of long documents using mobile video data |
JP6476831B2 (ja) * | 2013-12-26 | 2019-03-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
US10198758B2 (en) * | 2014-03-28 | 2019-02-05 | Ecovacs Robotics, Inc. | Guide robot for shopping guiding system and method |
US9342884B2 (en) * | 2014-05-28 | 2016-05-17 | Cox Enterprises, Inc. | Systems and methods of monitoring waste |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
JP6068429B2 (ja) * | 2014-12-25 | 2017-01-25 | ファナック株式会社 | ロボット識別システム |
CN105844202A (zh) * | 2015-01-12 | 2016-08-10 | 芋头科技(杭州)有限公司 | 一种影像识别系统及方法 |
US9914218B2 (en) * | 2015-01-30 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and apparatuses for responding to a detected event by a robot |
US9934437B1 (en) * | 2015-04-06 | 2018-04-03 | Hrl Laboratories, Llc | System and method for real-time collision detection |
DE102015208445A1 (de) * | 2015-05-06 | 2016-11-10 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | System zur Abholung und Ablieferung von Objekten |
US10467465B2 (en) | 2015-07-20 | 2019-11-05 | Kofax, Inc. | Range and/or polarity-based thresholding for improved data extraction |
US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
US10592729B2 (en) * | 2016-01-21 | 2020-03-17 | Samsung Electronics Co., Ltd. | Face detection method and apparatus |
US10467103B1 (en) | 2016-03-25 | 2019-11-05 | Nutanix, Inc. | Efficient change block training |
US9779296B1 (en) | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
US10011016B1 (en) | 2016-05-11 | 2018-07-03 | X Development Llc | Surface markers and methods for use |
JP6844135B2 (ja) * | 2016-07-05 | 2021-03-17 | 富士ゼロックス株式会社 | 移動ロボットおよび移動制御システム |
GB2565315B (en) * | 2017-08-09 | 2022-05-04 | Emotech Ltd | Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers |
US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
JP2019139570A (ja) * | 2018-02-13 | 2019-08-22 | 株式会社東芝 | 判別装置、判別方法およびプログラム |
CN108406848A (zh) * | 2018-03-14 | 2018-08-17 | 安徽果力智能科技有限公司 | 一种基于场景分析的智能机器人及其运动控制方法 |
KR102228866B1 (ko) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
US10909336B2 (en) * | 2018-11-27 | 2021-02-02 | Kindred Systems Inc. | Systems and methods for singulation of an object immersed in a volume containing a plurality of objects |
CN109960264A (zh) * | 2019-03-28 | 2019-07-02 | 潍柴动力股份有限公司 | 一种目标识别方法及系统 |
US11102572B2 (en) * | 2019-03-29 | 2021-08-24 | Asahi Kasei Kabushiki Kaisha | Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium |
US11109586B2 (en) * | 2019-11-13 | 2021-09-07 | Bird Control Group, Bv | System and methods for automated wildlife detection, monitoring and control |
CN111174765B (zh) * | 2020-02-24 | 2021-08-13 | 北京航天飞行控制中心 | 基于视觉引导的行星车目标探测控制方法及装置 |
CA3117643A1 (en) * | 2020-05-12 | 2021-11-12 | Soremartec S.A. | Operating device |
KR20220083100A (ko) * | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 로봇 및 그 제어 방법 |
KR20230030366A (ko) * | 2021-08-25 | 2023-03-06 | 삼성전자주식회사 | 로봇 및 그 제어 방법 |
CN114217617B (zh) * | 2021-12-14 | 2024-04-19 | 北京云迹科技股份有限公司 | 机器人的控制方法及装置 |
CN114526724B (zh) * | 2022-02-18 | 2023-11-24 | 山东新一代信息产业技术研究院有限公司 | 一种用于巡检机器人的定位方法及设备 |
CN115963825B (zh) * | 2022-12-23 | 2024-03-26 | 美的集团(上海)有限公司 | 智能设备及其控制方法和装置、计算机程序产品 |
KR102669060B1 (ko) * | 2023-05-08 | 2024-05-29 | (주)로보케어 | 추적 대상의 위치를 추정하는 방법 및 장치 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761538A (ja) * | 1993-12-13 | 1995-03-07 | Tokyo Electron Ltd | 物品搬送及び処理方法 |
US5819008A (en) * | 1995-10-18 | 1998-10-06 | Rikagaku Kenkyusho | Mobile robot sensor system |
US6038333A (en) * | 1998-03-16 | 2000-03-14 | Hewlett-Packard Company | Person identifier and management system |
US7693745B1 (en) * | 1999-10-27 | 2010-04-06 | Keba Ag | Asynchronous item transfer facility, system and method |
JP2001157985A (ja) | 1999-11-30 | 2001-06-12 | Sony Corp | 使用者識別装置、使用者識別方法、及びロボット装置 |
US6608563B2 (en) * | 2000-01-26 | 2003-08-19 | Creative Kingdoms, Llc | System for automated photo capture and retrieval |
JP4694701B2 (ja) | 2001-01-15 | 2011-06-08 | 繁 安藤 | 情報検索方法、情報検索装置およびロボットの動作制御装置 |
US7076441B2 (en) * | 2001-05-03 | 2006-07-11 | International Business Machines Corporation | Identification and tracking of persons using RFID-tagged items in store environments |
CN1304177C (zh) | 2001-10-22 | 2007-03-14 | 索尼公司 | 机器人装置及其控制方法 |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
JP2003340762A (ja) | 2002-05-24 | 2003-12-02 | Mitsubishi Heavy Ind Ltd | ロボットおよびロボットシステム |
JP2004160630A (ja) | 2002-09-27 | 2004-06-10 | Sony Corp | ロボット装置及びその制御方法 |
JP4024683B2 (ja) | 2003-01-15 | 2007-12-19 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
JP2004299025A (ja) * | 2003-04-01 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム |
US7362210B2 (en) * | 2003-09-05 | 2008-04-22 | Honeywell International Inc. | System and method for gate access control |
JP2005199373A (ja) * | 2004-01-14 | 2005-07-28 | Toshiba Corp | コミュニケーション装置及びコミュニケーション方法 |
JP4477921B2 (ja) | 2004-03-31 | 2010-06-09 | 本田技研工業株式会社 | 移動ロボット |
-
2005
- 2005-12-07 JP JP2005352879A patent/JP4460528B2/ja not_active Expired - Fee Related
- 2005-12-13 US US11/301,114 patent/US7769203B2/en not_active Expired - Fee Related
- 2005-12-14 EP EP05027372A patent/EP1672456B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1672456A3 (en) | 2011-06-29 |
US20060126918A1 (en) | 2006-06-15 |
EP1672456A2 (en) | 2006-06-21 |
EP1672456B1 (en) | 2012-04-18 |
US7769203B2 (en) | 2010-08-03 |
JP2006192563A (ja) | 2006-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4460528B2 (ja) | 識別対象識別装置およびそれを備えたロボット | |
CN100369487C (zh) | 物体检测装置、物体检测服务器以及物体检测方法 | |
US8090193B2 (en) | Mobile robot | |
EP1796079B1 (en) | Mobile robot equipped with an interface apparatus for communicating with a wireless tag | |
JP4630146B2 (ja) | 位置管理システムおよび位置管理プログラム | |
US10424320B2 (en) | Voice detection, apparatus, voice detection method, and non-transitory computer-readable storage medium | |
US7269480B2 (en) | Mobile robot | |
JP4560078B2 (ja) | コミュニケーションロボット | |
JP4787813B2 (ja) | 検知対象検知システム | |
CN105979442B (zh) | 噪声抑制方法、装置和可移动设备 | |
US20040190754A1 (en) | Image transmission system for a mobile robot | |
US20040190753A1 (en) | Image transmission system for a mobile robot | |
CN106292657A (zh) | 可移动机器人及其巡逻路径设置方法 | |
US10922998B2 (en) | System and method for assisting and guiding a visually impaired person | |
CN108062098A (zh) | 智能机器人的地图构建方法和系统 | |
JP6934709B2 (ja) | 捜し物ロボット | |
US20230161356A1 (en) | Method of updating map in fusion slam and robot implementing same | |
Manjari et al. | CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment | |
CN112528699B (zh) | 用于获得场景中的设备或其用户的标识信息的方法和系统 | |
CN112581630B (zh) | 一种用户交互方法和系统 | |
JP4111959B2 (ja) | 距離計測システム | |
JP4214075B2 (ja) | 検知対象検知システム | |
Yang | Machine Vision Navigation System for Visually Impaired People | |
CN114726996A (zh) | 用于建立空间位置与成像位置之间的映射的方法和系统 | |
Rathinam et al. | Electronic Travelling Kit for Navigation of Visually Challenged Individuals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20091224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4460528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |