CN112770876A - 信息处理装置、控制方法和程序 - Google Patents
信息处理装置、控制方法和程序 Download PDFInfo
- Publication number
- CN112770876A CN112770876A CN201980064044.1A CN201980064044A CN112770876A CN 112770876 A CN112770876 A CN 112770876A CN 201980064044 A CN201980064044 A CN 201980064044A CN 112770876 A CN112770876 A CN 112770876A
- Authority
- CN
- China
- Prior art keywords
- transfer
- target person
- manipulator
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 12
- 238000012546 transfer Methods 0.000 claims description 248
- 230000008859 change Effects 0.000 claims description 63
- 230000008451 emotion Effects 0.000 claims description 48
- 238000010801 machine learning Methods 0.000 claims description 32
- 230000005484 gravity Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 230000010399 physical interaction Effects 0.000 description 61
- 230000009471 action Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 14
- 230000010391 action planning Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 210000000707 wrist Anatomy 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 210000001145 finger joint Anatomy 0.000 description 6
- 210000003010 carpal bone Anatomy 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000021663 Female sexual arousal disease Diseases 0.000 description 2
- 208000006262 Psychological Sexual Dysfunctions Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004095 humeral head Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000001562 sternum Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229920002379 silicone rubber Polymers 0.000 description 1
- 239000004945 silicone rubber Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/082—Grasping-force detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
Abstract
本发明的目的是允许对象被平稳地传递。信息处理装置包括控制单元(12,11),该控制单元控制操纵器,使得当将对象传递给接收者时,由操纵器夹持的对象保持连续的移动速度。
Description
技术领域
本公开涉及信息处理装置、控制方法及程序。
背景技术
近年来,已经积极地开发了用于在家庭、护理机构、商店等中与人类进行交互的机器人。人类与机器人之间的交互包括例如会话、对象的传递等。
引用列表
专利文献
专利文献1:JP 2013-111737 A
发明内容
技术问题
此处,在对象的传递中,需要根据作为要传递的目标的对象或作为传递目标的人的行为、状况等的精细控制,以实现对象的平稳传递。
因此,本公开提出了使得能够平稳传递对象的信息处理装置、控制方法和程序。
问题的解决方案
为了解决上述问题,根据本公开的一个方面的信息处理装置包括:控制单元,其控制操纵器,使得当将由操纵器夹持的对象传递给传递目标人时,该对象的移动速度保持连续性。
(动作)根据依据本公开的实施方式的信息处理装置,对操纵器进行控制,使得当将对象传递给传递目标人时,保持对象在传递方向上的移动速度的连续性。因此,可以减少对象在传递方向上的位移的突然变化,并且因此变得可以平稳地传递对象。
附图说明
图1是用于描述根据实施方式的将对象从自主机器人递给传递目标人的操作的示意图。
图2是示出实施方式中的最佳传递操作的示例的曲线图。
图3是示出实施方式中的非最佳传递操作的示例的曲线图。
图4是示出根据实施方式的自主机器人的示意性配置示例的框图。
图5是示出根据实施方式的手部的配置示例的外观图。
图6是示出从图5的方向A2观察手部的情况的配置示例的外观图。
图7是示出根据实施方式的用于执行自主机器人的传递操作的功能部件的示例的框图。
图8是示出根据实施方式的机器学习过程中的输入/输出信息的示例的示意图。
图9是示出根据实施方式的示意性操作示例的流程图。
图10是示出根据实施方式的第一示例的传递操作的流程图。
图11是示出根据实施方式的第二示例的传递操作的流程图。
图12是示出根据实施方式的第三示例的传递操作的流程图。
图13是示出根据实施方式的第四示例的传递操作的流程图。
图14是用于描述根据实施方式的夹持操作与释放操作之间的混合(blend)的图。
图15是用于描述根据实施方式的修改例的夹持操作与释放操作之间的混合的图。
图16是示出根据实施方式的使用视觉传感器配置的滑动传感器(slip sensor)的示例的示意图。
图17是示出图16所示的变形部的示例的图。
图18是用于描述根据实施方式的由视觉传感器检测到的初始滑动的图(部分1)。
图19是用于描述根据实施方式的由视觉传感器检测到的初始滑动的图(部分2)。
图20是用于描述根据实施方式的由视觉传感器检测到的初始滑动的图(部分3)。
图21是示出根据实施方式的使用压力分布传感器配置的滑动传感器的示例的示意图。
图22是用于描述根据实施方式的由压力分布传感器检测到的初始滑动的图(部分1)。
图23是用于描述根据实施方式的由压力分布传感器检测到的初始滑动的图(部分2)。
图24是示出根据实施方式的系统配置的示例的框图。
具体实施方式
在下文中,将参照附图详细描述本公开的实施方式。注意,在以下实施方式中的每个实施方式中,相同的部分将由相同的附图标记表示,并且将省略其重复描述。
此外,将按以下项目顺序描述本公开。
1.实施方式
1.1自主机器人的概述
1.2关于对象的传递操作
1.3自主机器人的示意性配置
1.4手部的配置
1.5自主机器人的功能部件
1.6关于传递动作的机器学习
1.7操作示例
1.8传递操作的具体示例
1.8.1第一示例
1.8.2第二示例
1.8.3第三示例
1.8.4第四示例
1.9关于夹持操作与释放操作之间的混合
1.9.1修改例
1.10关于初始滑动的测量
1.10.1视觉传感器
1.10.2压力分布传感器
1.11.系统配置
1.12作用/效果
1.实施方式
在下文中,将参照附图详细描述根据本公开的实施方式的信息处理装置、控制方法和程序。在本实施方式中,将通过示例的方式描述信息处理装置、控制方法和程序,其使得在诸如机器人手、人形机器人、宠物机器人等的具有臂(也被称为“操纵器”)的自主机器人与人之间交换未知对象的物理交互能够平稳地执行。
1.1自主机器人的概述
图1是用于描述根据本实施方式的将对象从自主机器人递给人(在下文中,被称为“传递目标人”)的操作的示意图。如图1所示,自主机器人1是例如包括头部41、身体部42、托架部(carriage portion)43以及操纵器44L和44R的人形机器人。身体部42和托架部43构成例如可以在地板P1等上移动的移动体。
除了诸如轮、履带等的行进机构之外,托架部43还容纳例如行进马达、电池、控制单元等。然而,行进机构不限于轮、履带等,并且可以是包括两个或更多个腿等的行走机构等。此外,自主机器人1不限于人形机器人,并且可以采用诸如仅操纵器、配备有操纵器的自主移动体等的具有至少一个臂部的各种机器人,作为自主机器人1。
操纵器44L和44R(下文中,在不相互区分操纵器44L和44R的情况下,它们的附图标记仅是44)中的每一个均包括:上臂部441,其附接至与身体部42的肩对应的位置;前臂部442,其在与操纵器44的肘对应的位置处附接至上臂部441;以及手部443,其在与操纵器44的腕对应的位置处附接至前臂部442。上臂部441和前臂部442构成例如操纵器44中的臂部。与操纵器44的肩、肘、腕对应的每个关节设置有例如用于使操纵器44像人的臂那样移动的驱动单元、关节机构等。作为驱动单元,例如,可以使用电磁马达、液压致动器、气动致动器等。
此外,手部443还设置有手指部,作为用于夹持对象的机构。注意,在以下描述中将例示手部443具有两个手指的情况,但是手部443的手指的数量不限于此,并且可以进行各种修改,例如,三个手指、四个手指、五个手指等。此外,还可以将使用卡住转移(jammingtransition)的手、使用通过气压控制进行的抽吸的手等用作手部443。
1.2关于对象的传递操作
在这样的自主机器人1中,在将由手部443夹持的对象B1递给传递目标人的手H1的情况下,优选的是,在传递操作的执行时段期间,对象B1在传递方向A1上的位移是连续的,例如,线性的,如图2所示。另一方面,如图3所示,在传递操作的执行时段期间对象B1在传递方向A1上的位移包括突然变化的情况下,很有可能不能将对象B1从手部443成功传递至传递目标人的手H1,使得会发生对象B1掉落或对象B1的内容物溢出的事件。
人与自主机器人之间的对象的传递操作包括自主机器人夹持对象的夹持操作、自主机器人释放对象的释放操作以及人接收对象的接收操作,并且自主机器人1在将对象传递给人时,通过释放操作来释放通过夹持操作夹持的对象。即,在将夹持的对象传递给人时,自主机器人1改变夹持操作与释放操作之间的混合比(blend ratio),以逐渐增加释放操作的比例,并且最终释放对象。
此处,例如,由自主机器人执行的释放操作不具有预定模式,并且最佳释放操作对于每个对象或每个传递目标人而不同。例如,最佳释放操作在传递盛放有热水的茶杯的情况与传递网球的情况之间是不同的。
这是因为对象B1在传递方向A1上的每单位时间的移动量根据由传递目标人在接收操作中施加至对象B1的外力的大小而改变,但是移动量的这种变化根据对象B1所特有的特性(例如,静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度、湿度等)的差异而不同。
为此,自主机器人的设计者难以预先针对具有不同特性的所有对象计划最佳释放操作。类似地,设计者难以预先针对传递目标人的行为、状况等彼此不同的所有情况计划最佳释放操作。
此处,在本实施方式中,将利用具体示例来描述在作为要传递的目标的对象未知的环境中或在传递目标人的行为、状况等未知的环境(例如,人与自主机器人共存的家庭、护理机构、商店等)、即、不可能预先创建最佳释放操作的模型的环境中、实现人与自主机器人之间的高质量物理交互(具体地,对象的传递)的配置和操作。
例如,在本实施方式中,通过利用来自安装在自主机器人1上的各种传感器的信息,可以根据要传递的对象B1或传递目标人的行为、状况等来执行最佳传递操作。
注意,在本说明书中,最佳传递操作可以是例如在传递对象时传递方向上的滑动量的变化率保持连续性(例如,参见图2)。然而,最佳传递操作不限于此,并且可以将其中传递目标人可以在没有应力的情况下从自主机器人1接收对象的各种传递操作限定为最佳传递操作。
另一方面,不适当的传递操作例如可以是导致诸如以下事件的操作:当传递目标人从自主机器人1接收对象时生成超过必要程度的大力的事件,当传递目标人从自主机器人1接收到对象时生成引起对象的变形、损坏、内容物的跳出等的力的事件,等等。
此外,不适当的传递操作可以包括以下操作,在该操作中,传递目标人通过花费比释放操作所需的时间更多的时间来停止接收对象,或者因此使得对象掉落或对象内容物的跳出。
在执行这样不适当的传递操作的情况下,在自主机器人1中生成大于必要程度的外力或干扰,并且对象在传递方向上的滑动量的变化率变得不连续(例如,参见图3)。此外,在执行不适当的传递操作的情况下,对象在传递方向上的滑动量的变化率是间歇性的,这也使得对象在传递方向上的滑动量的变化率是不连续的。
因此,在本实施方式中,例如,执行使用手部443的夹持力的变化率、由安装在手部443上的各种传感器检测到的信息等作为输入以及使用对象B1在传递方向A1上的移动速度的连续性作为输出进行的机器学习。因此,可以根据对象B1的特性(静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度、湿度等)和传递目标人的行为、状况等来实现对对象B1的平稳传递。
此外,在本实施方式中,例如,测量由手部443夹持的对象B1的滑动量或初始滑动量的变化,并且当该变化包括与重力方向不同的方向上的分量、例如与重力相反的方向、与由于重力而引起的转矩相反的方向或传递方向A1(例如,传递目标人的手H1的位置方向)上的分量时,开始释放操作。因此,可以在传递操作的初始阶段开始释放操作,并且因此可以将施加至对象B1的负荷或手部443的夹持力的波动抑制到最小,使得变得可以更平稳地传递对象B1。
此外,在本实施方式中,为了进一步提高物理交互的质量,除以上之外,从图像输入信息、语音输入信息等获得的传递目标人的存在、情绪变化等可以被添加到机器学习的输入或输出。
例如,可以在使用图像处理的结果或来自距离测量传感器的信息确认传递目标人的存在或手H1的存在之后开始释放操作。因此,可以避免错误地开始释放操作,并且因此变得可以更安全且可靠地执行对象B1的传递。注意,可以使用例如语音输入/输出信息等以及图像处理的结果或来自距离测量传感器的信息,来确认传递目标人的存在。此外,在使用语音输入/输出信息等识别传递目标人要夹持对象的意图或传递目标人在释放操作期间的情绪变化之后,可以执行对释放操作的开始或操作继续的确定。
此外,例如,通过在执行释放操作期间连续地测量对象B1在传递方向A1上的滑动量的变化,可以控制释放操作,使得对象B1在传递方向A1上的移动速度的连续性被保持。因此,可以减少对象B1在传递方向A1上的位移的突然变化,并且因此变得可以更平稳地传递对象B1。
此外,例如,在执行释放操作期间,可以连续地测量对象B1在重力方向上的滑动量或初始滑动量。因此,变得可以减少对象B1的错误掉落或对象B1在手部443内的不自然的竖直位移。
注意,在本说明书中,传递方向A1例如被限定为在识别传递目标人的手H1的位置、姿势和形状之后将无名指的掌骨的上端与腕骨彼此连接的线上的腕骨的方向。此外,也可以将传递方向A1限定为在识别传递目标人的手H1和躯干的位置和形状之后将腕骨的中心与胸骨的中心彼此连接的线上的胸骨方向。替选地,也可以将传递方向A1限定为在识别传递目标人的手H1和躯干的位置和形状之后将腕骨的中心与肱骨头的中心彼此连接的线上的肱骨头方向。然而,传递方向A1的限定不限于以上,并且可以进行各种修改。
此外,根据本实施方式的释放操作可以包括手部443的夹持力控制、操纵器44中的臂部的操作控制(下文中被称为“臂操作控制”)、自主机器人1的全身操作控制等。手部443的夹持力控制、操纵器44中的臂部的臂操作控制、自主机器人1的全身操作控制等以一定的混合比相互混合,但是在本实施方式中,限定了用于评估混合比的评估函数,并且为了获得评估函数的最佳解决方案,利用使用施加至手部443的夹持力的变化率、由安装在手部443上的各种传感器检测到的信息等作为输入以及使用对象B1在传递方向A1上的移动速度的连续性作为输出的上述机器学习。
注意,在本说明书中,夹持力控制可以是控制当在手部443中生成的用以夹持对象B1的夹持力减小以释放时单位时间内的力的变化量。
此外,臂操作控制可以是改变夹持对象B1并将对象B1布置在目标坐标空间中的臂部的姿势以在传递方向A1上移动对象B1的位置,或者可以是控制此时每单位时间的变化量。通过这样的臂操作控制,变得可以减小当在已检测到释放操作的开始时的时间点处已从手部443立即释放对象B1时、在对象B1中生成的传递方向A1上的惯性力。
此外,机器人的全身操作控制可以是改变夹持对象B1并将对象B1布置在目标坐标空间中的自主机器人1的位置和姿势以在传递方向A1上移动对象B1的位置,或者可以是控制此时每单位时间的位置的变化量。
1.3自主机器人的示意性配置
接下来,将参照附图详细描述根据本实施方式的自主机器人1的示意性配置。图4是示出根据本实施方式的自主机器人的示意性配置示例的框图。如图4所示,自主机器人1包括例如控制单元10以及作为自主机器人1的电源的电池18,该控制单元10通过经由内部总线17将中央处理单元(CPU)12、动态随机存取存储器(DRAM)13、闪速只读存储器(ROM)14、个人计算机(PC)卡接口(I/F)15、无线通信单元16和信号处理电路11彼此连接来形成。
此外,自主机器人1包括可移动单元26以及用于驱动可移动单元26的致动器27,可移动单元26例如是操纵器44的关节部分、身体部42的关节部分((颈关节、腰关节等)、轮、履带等,该致动器27作为用于实现诸如移动、肢体动作等的操作的可移动机构。
此外,自主机器人1包括用于检测自主机器人1的移动的方向或加速度的惯性测量单元(IMU)20以及检测致动器27的驱动量的编码器(或电位计)28,作为用于获取诸如移动距离、移动速度、移动方向、姿势等的信息的传感器(在下文中被称为“内部传感器”)。注意,除了IMU 20和编码器28之外,加速度传感器、角速度传感器等也可以用作内部传感器。
此外,自主机器人1包括捕获外部状况的图像的摄像装置19以及测量相对于自主机器人1到特定方向上存在的对象的距离的飞行时间(ToF)传感器21,作为获取诸如自动机器人1周围的地形、到自主机器人1周围存在的对象的距离或方向等信息的传感器(在下文中被称为“外部传感器”)。注意,除了摄像装置19和ToF传感器21之外,光检测和测距或激光成像检测和测距(LIDAR)传感器、全球定位系统(GPS)传感器、磁传感器、诸如蓝牙(注册商标)或Wi-Fi(注册商标)的无线通信单元16中的无线电波强度测量单元(在下文中,被称为“无线电波强度传感器”)等也可以用作外部传感器。
此外,自主机器人1可以设置有用于检测从外部接收到的物理压力的触摸传感器22、用于收集外部声音的麦克风23、用于向周围输出语音等的扬声器24、用于向用户等显示各种信息的显示单元25等。
此外,自主机器人1的可移动单元26包括6轴力传感器501、3轴力传感器502、滑动传感器503、距离测量传感器504、3轴传感器261、1轴传感器262、3轴传感器263、1轴传感器264、2轴传感器265和3轴传感器266,作为用于控制对象B1的传递的传感器。
6轴力传感器501例如附接至操纵器44的腕部分,并且检测施加至腕部分的力和力矩的大小和方向。
3轴力传感器502附接至例如手部443中的每个指关节,并且检测施加至指关节的力或力矩的大小和方向。
滑动传感器503附接至例如手部443的与要夹持的对象B1接触的部分,诸如手掌、指腹等,并且检测对象B1和与对象B1接触的部分之间的剪切滑动(shear slip)的大小(滑动量)和方向。此外,滑动传感器503可以检测在对象B1和与对象B1接触的部分之间生成的初始滑动的大小(初始滑动量)和方向。作为滑动传感器503,例如,可以使用观察附接至手部443的与对象B1接触的部分并具有预定形状的粘弹性体的变形的视觉传感器、测量压力的二维分布的压力分布传感器等。
距离测量传感器504附接至例如操纵器44中的可以观察被手部443夹持的对象B1的部位,例如腕、手掌、手背、指尖等,并且测量手部443与对象B1之间的距离。
3轴传感器261例如附接至肩部分,并且检测上臂部441相对于身体部42的横滚角、俯仰角和偏航角。
1轴传感器262例如附接至肘部分,并且检测前臂部442相对于上臂部441的俯仰角。
3轴传感器263附接至例如腕部分,并且检测手部443相对于前臂部442的横滚角,俯仰角和偏航角。
1轴传感器264附接至例如手部443的每个指关节,并且检测每个关节的俯仰角。
2轴传感器265例如附接至托架部43与身体部42之间的关节部分,并且检测身体部42相对于托架部43的横滚角和俯仰角。
3轴传感器266附接至例如颈部分,并且检测头部41相对于身体部42的横滚角、俯仰角和偏航角。
在如上所述的配置中,诸如IMU 20、触摸传感器22、ToF传感器21、麦克风23、扬声器24、编码器(或电位计)28等的各种传感器、显示单元25、致动器27、摄像装置19和电池18连接至控制单元10的信号处理电路11。
信号处理电路14顺序地获取从上述各种传感器提供的传感器数据或图像数据和语音数据,并且经由内部总线17将这些数据顺序地存储在DRAM 13中的预定位置处。此外,信号处理电路11与此一起顺序地获取表示从电池18供应的电池剩余量的电池剩余量数据,并且将电池剩余量数据存储在DRAM 13中的预定位置处。
以这种方式存储在DRAM 13中的每个传感器数据、图像数据、语音数据和电池剩余量数据在CPU 12执行自主机器人1的操作控制时被使用,并且在需要时,经由无线通信单元16被发送至外部服务器等。注意,无线通信单元16可以是用于除了Bluetooth(注册商标)、Wi-Fi(注册商标)等之外、经由诸如无线局域网(LAN)、移动通信网络等的预定网络与外部服务器等进行通信的通信单元。
CPU 12例如,在向自主机器人1供电的初始阶段,经由PC卡I/F 15或直接读取存储在加载在PC卡槽(未示出)中的存储卡30或闪速ROM 14中的控制程序,并且将该控制程序存储在DRAM 13中。
此外,CPU 12基于如上所述的那样从信号处理电路11顺序地存储在DRAM 13中的每个传感器数据、图像数据、语音数据以及电池剩余量数据,来确定自主机器人1及其周围的状况、是否存在来自用户的指示或动作等。
此外,CPU 12可以使用存储在DRAM 13等中的地图数据或经由无线通信单元16从外部服务器等获取的地图数据以及各种信息,来执行自身位置估计或各种操作。
然后,CPU 12基于上述确定结果、估计的自身位置、存储在DRAM 13中的控制程序等来确定后续动作,并且通过基于后续动作的确定结果来驱动需要的致动器27,来除了对象B1的传递操作之外执行各种动作,例如移动、肢体动作等。
此时,如果需要,CPU 12生成语音数据,并且经由信号处理电路11将语音数据作为语音信号提供给扬声器24,以将基于语音信号的语音输出到外部或使显示单元25显示各种信息。
以这种方式,自主机器人1被配置成能够根据自主机器人1及其周围的状况、来自用户的指令和动作来自主地做出动作。
1.4手部的配置
接下来,将参照附图详细描述根据本实施方式的自主机器人1的手部443的配置。注意,在本说明书中,为了简单起见,例示了手部443具有两个手指的情况。图5是示出根据本实施方式的手部的配置示例的外观图。此外,图6是示出从图5的方向A2观看手部的情况的配置示例的外观图。
如图5和图6所示,手部443包括例如与手掌和手背对应的基部4431以及两个手指部4432a和4432b(在下文中,在不彼此区分手指部4432a和4432b的情况下,它们的附图标记均为4432)。基部4431经由例如与腕对应的关节机构444附接至前臂部442。
如上所述,与腕对应的关节机构444设置有检测被施加至腕部分的力和力矩的大小和方向的6轴力传感器501以及检测手部443相对于前臂部442的横滚角、俯仰角和偏航角的3轴传感器263。
每个手指部4432包括:经由对应于指关节(第三关节)的关节机构4433附接至基部4431的基础关节部4434;以及经由对应于指关节(第一关节)的关节机构4435附接至基础关节部4434的远端关节部4436。例如,这两个手指部4432a和4432被附接至基部4431,使得这两个手指部的与指腹对应的表面彼此面对。
与每个手指部4432的每个指关节对应的关节机构4433和4435设置有检测被施加至每个指关节的力或力矩的大小和方向的3轴力传感器502以及检测每个关节的俯仰角的1轴传感器264。
此外,在夹持对象B1时手指部4432的与对象B1接触的部分(例如,远端关节部4436的与指腹对应的部分)设置有滑动传感器503。此外,基部4431的与手掌对应的表面、即、在手指部4432折叠时面向附接至远端关节部4436的滑动传感器503的表面设置有作为距离测量传感器504的ToF传感器504a。此外,基部4431的与手背对应的部分设置有作为距离测量传感器504的、能够调整其横滚角、俯仰角和偏航角的摄像装置504b。
1.5自主机器人的功能部件
接下来,将参照附图详细描述根据本实施方式的用于执行自主机器人1的传递操作的功能部件。图7是示出根据本实施方式的用于执行自主机器人的传递操作的功能部件的示例的框图。注意,除了图7所示的功能部件中的物理交互执行单元55和学习信息存储单元54之外的部件可以通过例如由图4所示的CPU 12执行存储在闪速ROM 14或存储卡中的预定程序或者经由无线通信单元16下载的程序来实现。此外,物理交互执行单元55可以由例如图4所示的CPU 12、信号处理电路11、可移动单元26和致动器27来实现。此外,学习信息存储单元54可以由例如图4所示的闪速ROM 14或存储卡30来实现。
如图7所示,自主机器人1包括传递目标人识别单元51、对象识别单元52、传递动作计划单元53、学习信息存储单元54、物理交互执行单元55、夹持信息获取单元56、响应时间测量单元57、情绪映射生成单元58和传递动作评估单元59,作为用于与传递目标人执行对象B1的传递操作的功能部件。此外,例如,在自主机器人1中包括的传感器中的摄像装置19、麦克风23、6轴力传感器501、3轴力传感器502、滑动传感器503和距离测量传感器504构成传感器组50,用于获取在执行传递操作中使用的各种信息。
传递目标人识别单元51通过分析例如由摄像装置19获取的图像数据或从麦克风23输入的语音数据,来识别传递目标人和/或传递目标人的手H1的存在、传递目标人接收对象B1的意图或传递目标人的行为、状况等(下文中被称为“传递目标人的姿势”),并且将识别结果输入至传递动作计划单元53。此外,传递目标人识别单元51通过在由稍后描述的物理交互执行单元55执行的释放操作的过程中分析由摄像装置19获取的图像数据或从麦克风23输入的语音数据,来检测在释放操作的过程中传递目标人的情绪变化,例如由于热情、冷淡、定时失配等引起的诸如中断或放弃接收操作的情绪变化,并且将检测结果输入至情绪映射生成单元58。
对象识别单元52基于例如由摄像装置19获取的图像数据的分析结果、从6轴力传感器501、3轴力传感器502和滑动传感器503等输入的传感器数据,来识别或估计对象B1的位置或对象B1的特性,例如,静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度、湿度等,并且将识别或估计结果输入至传递动作计划单元53。
学习信息存储单元54例如存储通过对在过去执行的传递操作进行机器学习而构造的经学习的模型、由传递动作计划单元53计划的传递动作计划及其评估结果等。注意,通过对在过去执行的传递操作进行机器学习来构造经学习的模型的部件例如可以被布置在自主机器人1中,或者可以被布置在经由预定网络连接至自主机器人1的服务器上。
传递动作计划单元53根据从传递目标人识别单元51输入的传递目标人的识别结果和从对象识别单元52输入的对象B1的识别或估计结果,基于存储在学习信息存储单元54中的经学习的模型、在过去计划的传递动作计划及其评估结果等,来创建用于将对象B1传递给传递目标人的传递动作计划。例如,创建的传递动作计划可以包括从桌子、地板等提升对象B1或从人等接收对象B1的操作以及将对象B1传递给传递目标人的操作。
物理交互执行单元55通过执行由传递动作计划单元53创建的传递动作计划,来执行将对象B1传递给传递目标人的物理交互(传递动作)。
夹持信息获取单元56根据例如由滑动传感器503检测到的滑动量或初始滑动量或者由距离测量传感器504检测到的滑动量中的、与重力相反的方向、与由于重力而引起的转矩相反的方向或传递目标人的手H1的位置方向上的分量,来检测传递目标人已开始接收操作的定时,以确定由物理交互执行单元55进行的释放操作的开始定时,并且将检测到的定时输入至物理交互执行单元55。
此外,在例如物理交互执行单元55在执行释放操作的时段期间,夹持信息获取单元56将由滑动传感器503和/或距离测量传感器504检测到的对象B1在传递方向A1上的滑动量连续输入至物理交互执行单元55,以确保在物理交互执行单元55在执行释放操作的时段期间对象B1在传递方向A1上的移动速度的连续性。
此外,在例如物理交互执行单元55在执行释放操作的时段期间,夹持信息获取单元56将由滑动传感器503和/或距离测量传感器504检测到的对象B1在重力方向上的滑动量连续输入至物理交互执行单元55,以减少在物理交互执行单元55在执行释放操作的时段期间对象B1的掉落或不自然的竖直移动。|
此外,夹持信息获取单元56将例如在由物理交互执行单元55在执行释放操作的时段期间由设置在手部443上的各种传感器检测到的信息、例如诸如由3轴力传感器502检测到的夹持力、由滑动传感器503检测到的滑动量和/或初始滑动量的信息等输入至机器学习单元(未示出),作为传递操作的机器学习中的输入。此外,夹持信息获取单元56将例如在物理交互执行单元55在执行释放操作的时段期间由距离测量传感器504检测到的到对象B1的距离输入至机器学习单元(未示出),作为传递操作的机器学习中的输出。
响应时间测量单元57测量例如从自主机器人1开始释放操作以减小手部443的夹持力起直到对象B1在传递方向A1上的移动速度增大的时间(响应时间),并且将测量的响应时间输入至物理交互执行单元55。
情绪映射生成单元58例如基于在物理交互执行单元55在执行释放操作的时段期间从传递目标人识别单元51输入的关于传递目标人的情绪变化的信息,来生成其中映射了在执行释放操作期间传递目标人沿时间轴的情绪变化的情绪映射,并且将所生成的情绪映射输入至传递动作评估单元59。注意,映射的情绪不仅可以包括例如诸如热情、冷淡、定时失配等的负面情绪,而且还可以包括诸如指示传递目标人可以舒适地接收对象的情绪等的正面情绪。
传递动作评估单元59基于从情绪映射生成单元58输入的情绪映射,来评估由传递动作计划单元53计划的传递动作计划,并且将评估结果与传递动作计划一起输入到学习信息存储单元54中。
1.6关于传递动作的机器学习
此处,将描述传递动作的机器学习。图8是示出机器学习过程中的输入/输出信息的示例的示意图。如图8所示,在本实施方式中的传递动作的机器学习过程中,向输入层给予由设置在手部443上的各种传感器检测到的信息或从这些信息获得的信息,例如,诸如由3轴力传感器502检测到的夹持力或夹持力的变化率、由滑动传感器503检测到的滑动量和/或初始滑动量或滑动量和/或初始滑动量的变化率等的信息,向输出层给予关于对象B1在传递方向A1上的移动速度的连续性的信息,并且获得将每个层的节点(也被称为“神经元”)60从输入层经由隐藏层到输出层彼此连接的每个边缘61的权重。因此,创建了对于传递操作最佳的经学习的模型。注意,如上所述,也可以将传递目标人的情绪用于机器学习的输入或输出。
注意,在机器学习中,例如,随着对象B1在传递方向A1上的移动速度的连续性变高,设置正面奖励。另一方面,随着对象B1在传递方向A1上的移动速度的连续性变低,也就是说,随着对象B1在传递方向A1上的每单位时间的移动量变得更加不连续,设置负面奖励。
此外,在机器学习中,可以基于传递目标人在物理交互执行单元55在执行释放操作的时段期间的情绪和/或情绪变化来设置奖励。例如,在物理交互执行单元55在执行释放操作的时段期间从传递目标人识别出负面情绪的情况下,可以设置负面奖励,而在物理交互执行单元55在执行释放操作的时段期间从传递目标人识别出正面情绪的情况下,可以设置正面奖励。可以基于例如由情绪映射生成单元58生成的情绪映射,来确定传递目标人的情绪是负面情绪还是正面情绪。
1.7操作示例
接下来,将参照附图详细描述根据本实施方式的自主机器人1的操作示例。图9是示出根据本实施方式的示意性操作示例的流程图。如图9所示,在本操作中,首先,对象识别单元52通过分析由摄像装置19获取的图像数据,来识别例如作为要传递的目标的对象B1的位置、形状尺寸等(步骤S101)。随后,物理交互执行单元55基于由对象识别单元52识别的对象B1的位置、形状尺寸等来夹持对象B1(步骤S102)。
接下来,当物理交互执行单元55提升对象B1时,对象识别单元52基于由操纵器44的各种传感器(6轴力传感器501、3轴力传感器502、滑动传感器503等)检测到的传感器数据,来计算通过提升对象B1引起的负荷(步骤S103),并且基于计算的负荷来识别或估计对象B1的特性,例如,静摩擦系数、动摩擦系数、质量、刚度、强度、温度、湿度等(步骤S104)。
接下来,传递目标人识别单元51通过分析例如由摄像装置19获取的图像数据或从麦克风23输入的语音数据来识别传递目标人的位置(步骤S105)。随后,传递动作计划单元53创建从由传递目标人识别单元51识别的传递目标人的位置到确定的对象B1的传递场所的移动计划(步骤S106)。然后,物理交互执行单元55根据由传递动作计划单元53创建的移动计划使自主机器人1移动到传递场所(步骤S107)。
接下来,传递目标人识别单元51通过分析例如由摄像装置19获取的图像数据来识别传递目标人的手H1的位置(步骤S108)。随后,传递动作计划单元53创建从由传递目标人识别单元51识别的传递目标人的手H1的位置到确定的自主机器人1的传递姿势的姿势控制计划(步骤S109)。然后,物理交互执行单元55根据由传递动作计划单元53创建的姿势控制计划来控制自主机器人1的姿势(步骤S110)。注意,自主机器人1的姿势控制可以包括例如操纵器44的式样控制、身体部42和头部41的倾斜控制等。此外,在步骤S108中,除了传递目标人的手H1的位置之外,还可以识别传递目标人的手H1的行为、状况等。
接下来,传递动作计划单元53根据由对象识别单元52识别或估计的对象B1的特性以及由传递目标人识别单元51识别的传递目标人的手H1的位置、行为、状况等,基于存储在学习信息存储单元54中的经学习的模型、在过去计划的传递动作计划及其评估结果等,来创建用于将对象B1传递给传递目标人的传递操作计划(步骤S111)。随后,物理交互执行单元55根据由传递动作计划单元53创建的传递操作计划,来执行将对象B1传递给传递目标人的传递动作(步骤S112)。此后,本操作结束。
1.8传递操作的具体示例
接下来,将利用一些示例来描述在图9的步骤S112中示出的传递操作。
1.8.1第一示例
首先,将描述根据第一示例的传递操作。图10是示出根据本实施方式的第一示例的传递操作的流程图。注意,在第一示例中,例示了物理交互执行单元55仅利用夹持力控制来执行释放操作的情况。
如图10所示,在根据第一示例的释放操作中,首先,夹持信息获取单元56确定例如由滑动传感器503检测到的滑动量U或初始滑动量u或由距离测量传感器504检测到的滑动量U中的、与重力相反的方向、与由于重力而引起的转矩相反的方向或传递目标人的手H1的位置方向(在下文中,这些方向被称为“特定方向”)上的分量是否已变得大于零(步骤S121)。即,确定由传递目标人进行的接收操作是否已经开始。在特定方向上的滑动量U或初始滑动量u为零或更小(在步骤S121中为“否”)的情况下,即,在由传递目标人进行的接收操作尚未开始的情况下,本操作返回到步骤S121,并且等待由传递目标人进行的接收操作的开始。
另一方面,在特定方向上的滑动量U或初始滑动量u已变得大于零(在步骤S121中为“是”)的情况下,即,在由传递目标人进行的接收操作已开始的情况下,夹持信息获取单元56通过分析例如由距离测量传感器504中的摄像装置504b获取的图像数据来指定传递方向A1(步骤S122)。基于在特定方向上的滑动量U或初始滑动量u已变得大于零的事实,将指定的传递方向A1与释放操作的开始触发一起从夹持信息获取单元56输入至物理交互执行单元55。响应于此,物理交互执行单元55开始在传递方向A1上的对象B1的释放操作(步骤S123)。
当以这种方式开始释放操作时,物理交互执行单元55然后执行手部443的夹持力控制(步骤S124)。具体地,物理交互执行单元55控制在手部443中生成的用以夹持对象B1的夹持力F减小以释放时的单位时间内的力的变化量。
此外,在物理交互执行单元55开始释放操作之后,夹持信息获取单元56通过连续地测量对象B1在传递方向A1上的滑动量的变化来测量对象B1在传递方向A1上的移动速度(步骤S125)。所测量的对象B1在传递方向A1上的移动速度被输入至物理交互执行单元55,并且被用于物理交互执行单元55中的夹持力控制。即,物理交互执行单元55控制在手部443中生成的夹持力的每单位时间的减小量,使得对象B1在传递方向A1上的移动速度保持连续性(反馈控制)。
此后,物理交互执行单元55确定在手部443中生成的夹持力F是否已达到零(步骤S126),在夹持力F已达到零(在步骤S126中为“是”)的情况下完成释放操作(步骤S127),并且结束本传递操作。
另一方面,当夹持力F尚未达到零(在步骤S126中为“否”)时,本操作返回到步骤S124,并且重复地执行随后的操作,直到夹持力F达到零。
这样,通过采用其中物理交互执行单元55基于由滑动传感器503检测到的滑动量U或初始滑动量u或由距离测量传感器504检测到的滑动量U中的特定方向上的分量已变得大于零(在步骤S121中为“是”)的事实开始释放操作(步骤S123)的配置,变得可以在传递操作的初始阶段开始释放操作。因此,变得可以将施加至对象B1的负荷或手部443的夹持力的波动抑制到最小,并且因此变得可以更平稳地传递对象B1。
此外,通过在物理交互执行单元55开始释放操作之后连续地测量对象B1在传递方向A1上的滑动量的变化(步骤S125),并且基于所测量的对象B在传递方向A1上的滑动量的变化控制在手部443中生成的夹持力F在单位时间内的减小量,可以减少对象B1在传递方向A1上的位移的突然变化。因此,变得可以更平稳地传递对象B1,并且变得可以减少对象B1的错误掉落或对象B1在手部443中的不自然的竖直位移。
注意,在物理交互执行单元55在步骤S123中开始释放操作之后,物理交互执行单元55可以例如基于由响应时间测量单元57测量的响应时间,在对象B1在传递方向A1上的移动速度在一定时间或更长时间内没有增加的情况下停止或结束释放操作。
此外,在本实施方式中已经例示了手部443具有两个手指的情况,但是例如,在手部443具有三个或更多个手指的情况下,在夹持力控制中,可以从除将对象B1夹在其间的两个手指部之外的手指部起逐渐减小夹持力。因此,降低对象B1会掉落的风险,使得变得可以更稳定地执行传递操作。
1.8.2第二示例
接下来,将描述根据第二示例的传递操作。图11是示出根据本实施方式的第二示例的传递操作的流程图。在第二示例中,例示了物理交互执行单元55通过以基于经学习的模型指定的混合比将夹持力控制和臂操作控制彼此混合来执行释放操作的情况。
如图11所示,在根据第二示例的传递操作中,例如,在与参照图9描述的根据第一示例的传递操作的流程类似的流程中,将图9的步骤S124替换为步骤S224。
在步骤S224中,物理交互执行单元55执行以基于经学习的模型指定的混合比相互混合的手部443的夹持力控制和臂部的臂操作控制。具体地,物理交互执行单元55控制(夹持力控制)在手部443中生成的用以夹持对象B1的夹持力F减小以释放时的单位时间内的力的变化量,并且通过改变夹持对象B1以及将对象B1布置在目标坐标空间中的臂部的姿势,来控制当对象B1的位置在传递方向A1上移动时的每单位时间的位置变化量。此时,以上面提及的混合比将每单位时间的夹持力F的减小量和臂部的姿势的变化量相互混合,使得对象B1在传递方向A1上的移动速度保持连续性。
1.8.3第三示例
接下来,将描述根据第三示例的传递操作。图12是示出根据本实施方式的第三示例的传递操作的流程图。在第三示例中,例示了物理交互执行单元55通过以基于经学习的模型指定的混合比将夹持力控制、臂操作控制和全身操作控制相互混合来执行释放操作的情况。
如图12所示,在根据第三示例的传递操作中,例如,在与参照图9描述的根据第一示例的传递操作的流程类似的流程中,将图9的步骤S124替换为步骤S324。
在步骤S324中,物理交互执行单元55执行以基于经学习的模型指定的混合比相互混合的手部443的夹持力控制、臂部的臂操作控制以及自主机器人1的全身操作控制。具体地,物理交互执行单元55控制(夹持力控制)在手部443中生成的用以夹持对象B1的夹持力F减小以释放时的单位时间内的力的变化量,通过改变夹持对象B1以及将对象B1布置在目标坐标空间中的臂部的姿势来控制在对象B1的位置在传递方向A1上移动时的每单位时间的位置变化量,并且通过改变夹持对象B1并将对象B1布置在目标坐标空间中的自主机器人1的位置和姿势,使对象B1的位置在传递方向A1移动。此时,以上面提及的混合比将每单位时间的夹持力F的减小量、臂部的姿势的变化量以及自主机器人1的位置和姿势的变化量相互混合,使得对象B1在传递方向A1上的移动速度保持连续性。
1.8.4第四示例
接下来,将描述根据第四示例的传递操作。图13是示出根据本实施方式的第四示例的传递操作的流程图。在第四示例中,例如,除了第三示例中所示的传递操作之外,还例示了物理交互执行单元55根据传递目标人的情绪变化停止或结束释放操作的情况。注意,在本说明书中,第三示例被用作基础,但是第四示例不限于此,并且第一示例或第二示例也可以被用作基础。
如图13所示,在根据第四示例的传递操作中,例如,在与参照图12描述的根据第三示例的传递操作的流程类似的流程中,在步骤S324与步骤S125之间添加步骤S401至S403。
在步骤S401中,传递目标人识别单元51通过分析例如由摄像装置19获取的图像数据或从麦克风23输入的语音数据来检测传递目标人的情绪变化。关于检测到的传递目标人的情绪变化的信息例如可以被输入至情绪映射生成单元58,作为机器学习的输入或输出。
接下来,在步骤S402中,传递目标人识别单元51确定检测到的改变的情绪是否是特定情绪。特定情绪可以是例如负面情绪,其导致由传递目标人对传递操作的中断或放弃。在未检测到特定情绪(在步骤S402中为“否”)的情况下,本操作进行至步骤S125。另一方面,在检测到特定情绪(在步骤S402为“是”)的情况下,物理交互执行单元55停止或结束释放操作(步骤S403),并且然后返回至步骤S121。注意,停止释放操作的指令可以直接从传递目标人识别单元51输入至物理交互执行单元55,或者可以经由情绪映射生成单元58从传递目标人识别单元51输入至物理交互执行单元55。
如上所述,在物理交互执行单元55在步骤S123中开始释放操作之后,传递目标人识别单元51可以通过分析来自摄像装置19的图像数据或来自麦克风23的语音数据来检测传递目标人的情绪变化,并且可以被配置成使得在检测到的情绪是导致传递操作的中断或放弃的特定情绪的情况下,中断由物理交互执行单元55进行的释放操作。因此,当传递目标人中断或放弃接收操作时,变得可以使物理交互执行单元55快速停止或结束释放操作,并且因此变得可以减少对象B1的掉落、内容的跳出等。
1.9关于夹持操作与释放操作之间的混合
接下来,将参照附图详细描述夹持操作与释放操作之间的混合。图14是用于描述根据本实施方式的夹持操作与释放操作之间的混合的图。注意,在图14中,例示了物理交互执行单元55通过以基于经学习的模型指定的混合比将夹持力控制、臂操作控制和全身操作控制相互混合来执行释放操作的情况(第三示例)。
如图14所示,自主机器人1在将被夹持的对象传递给传递目标人时,将夹持操作71和释放操作72以混合比76相互混合(相加),并且基于混合结果(73)来执行夹持力控制74。在自主机器人1释放对象B1的过程中,混合比76减小,使得自主机器人1最终释放对象B1。
可以基于根据例如在物理交互执行单元55执行释放操作之后、由操纵器44的各种传感器(6轴力传感器501、3轴力传感器502、滑动传感器503等)检测到的传感器数据(夹持力F、旋转力矩F等)计算(75)负荷的结果而获得混合比76。
以这种方式获得的混合比也用作臂操作控制77中的参数。基于在物理交互执行单元55执行释放操作之后由操纵器44的各种传感器(6轴力传感器501、3轴力传感器502,滑动传感器503等)检测到的传感器数据(夹持力F、旋转力矩F等)和混合比76来确定臂操作控制77的控制量,并且然后确定全身操作控制78的控制量,以支持臂操作控制77。
1.9.1修改例
图15是用于描述根据本实施方式的修改例的夹持操作与释放操作之间的混合的图。如图15所示,除了传感器数据(夹持力F、旋转力矩F等)之外,可以基于由响应时间测量单元57测量的响应时间T或由传递目标人识别单元51检测到的传递目标人的情绪变化,来获得混合比76。因此,变得可以例如在传递目标人感到不舒服的情况下,调整混合比76,以更礼貌地或更快速地释放对象B1。
1.10关于初始滑动的测量
接下来,将利用具体示例描述初始滑动的测量。
1.10.1视觉传感器
首先,将描述视觉传感器用作用于测量初始滑动的传感器(对应于滑动传感器503)的情况。图16是示出使用视觉传感器配置的滑动传感器的示例的示意图。
如图16所示,使用视觉传感器83配置的滑动传感器503A包括设置在自主机器人1的壳体81的一部分中的变形部82以及从壳体81的内部观察变形部82的变形的视觉传感器83。
如图17所示,变形部82由例如硅橡胶等的粘弹性体821形成。粘弹性体821设置有例如以二维网格图案布置的多个标记822。当相对于具有这样的结构的变形部82向如图17所示的区域R1施加压力时,区域R1中的标记822引起变形或位置偏差。因此,滑动传感器503A可以通过利用视觉传感器83观察引起变形或位置偏差的标记822的区域,来指定压力被施加至哪个区域,即哪个区域与对象B1接触。
此外,例如,当将外力施加至与变形部82接触的对象B1时,作为对象B1实际上开始相对于变形部82滑动之前的阶段,发生初始滑动。初始滑动是在接触区域的中央部分中不发生滑动的状态下在周边部分中发生滑动的现象。
例如,如图18至图20所示,当在图中的右方向上的外力施加至与整个变形部82接触的对象B1时,初始滑动823从变形部82的左侧发生(参见图18),滑动的区域逐渐扩大(参见图18至图20),并且最终在整个变形部82中检测到滑动。
因此,在使用利用视觉传感器83配置的滑动传感器503A的情况下,变得可以将手部443夹持并提升对象B1的状态设置为基准,通过滑动传感器503A根据该状态检测与重力相反的方向、与由于重力而引起的转矩相反的方向或传递目标人的手H1的位置方向上的初始滑动,并且将检测到初始滑动的定时设置为传递目标人开始接收操作的定时。
1.10.2压力分布传感器
此外,压力分布传感器也可以用作用于测量初始滑动的传感器(对应于滑动传感器503)。图21是示出使用压力分布传感器配置的滑动传感器的示例的示意图。
如图21所示,在使用压力分布传感器91配置的滑动传感器503B中,与对象B1接触的表面变形。因此,如图22所示,在使对象B1与滑动传感器503B接触的情况下,在接触区域R2的中央部分中检测到的压力变为最高。注意,在图22和图23中,假设接触区域R2中的颜色的密度指示压力的高度。
当在该状态下施加图中的右方向上的外力时,接触区域R2中的具有最高压力的区域不会移动,而是其周边区域在图中的右方向上偏移,如图23所示的那样。
因此,在使用利用压力分布传感器91配置的滑动传感器503B的情况下,变得可以将手部443夹持并提升对象B1的状态设置为基准,通过滑动传感器503B根据该状态检测与重力相反的方向、与由于重力而引起的转矩相反的方向或传递目标人的手H1的位置方向上的初始滑动,并且将检测到初始滑动的定时设置为传递目标人开始接收操作的定时。
1.11系统配置
如图24所示,例如,根据本实施方式的自主机器人1可以经由预定网络3连接至服务器2,如图24所示的那样。例如,服务器2可以是包括多个服务器的服务器组,例如云服务器等。作为网络3,例如,可以采用诸如因特网、LAN、移动通信网络等的各种网络。
在这样的系统配置中,上述机器学习单元可以被布置在每个自主机器人1中或者可以被布置在服务器2中。注意,优选的是,由机器学习单元进行的机器学习的结果(例如,经学习的模型)可以由经由预定网络3彼此连接的多个自主机器人1共享,而不管机器学习单元是布置在每个自主机器人1中还是布置在服务器2中。
可以使用通用计算机或处理器(CPU)或者可以使用通用计算图形处理单元(GPGPU)、大型个人计算机(PC)、现场可编程门阵列(FPGA)等,作为实现机器学习单元的装置。
1.12作用/效果
如上所述,根据本实施方式,通过在执行释放操作期间连续地测量对象B1在传递方向A1上的滑动量的变化,来控制释放操作,以使得保持对象B1在传递方向A1上的移动速度的连续性。因此,可以减小对象B1在传递方向A1上的位移的突然变化,并且因此变得可以平稳地传递对象B1。
此外,在本实施方式中,执行使用手部443的夹持力的变化率、由安装在手部443上的各种传感器检测到的信息等作为输入以及使用对象B1在传递方向A1上的移动速度的连续性作为输出的机器学习。因此,可以根据对象B1的特性(静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度、湿度等)和传递目标人的行为、状况等来实现对象B1的更平稳的传递。
此外,在本实施方式中,例如,测量被手部443夹持的对象B1的滑动量或初始滑动量的变化,并且当变化的方向具有与重力相反的方向、与由于重力而引起的转矩相反的方向或传递目标人的手H1的位置方向上的分量时,开始释放操作。因此,可以在传递操作的初始阶段开始释放操作,并且因此可以将施加至对象B1的负荷或手部443的夹持力的波动抑制到最小,使得变得可以更平稳地传递对象B1。
此外,在本实施方式中,在执行释放操作期间,连续地测量对象B1在重力方向上的滑动量或初始滑动量。因此,变得可以减少对象B1的错误掉落或对象B1在手部443中的不自然的竖直位移。
此外,在本实施方式中,从图像输入信息、语音输入信息等获得的传递目标人的存在、情绪变化等被添加到机器学习的输入和/或输出。因此,可以实现物理交互的质量的进一步改善。
此外,在本实施方式中,可以在使用图像处理的结果或来自距离测量传感器的信息确认传递目标人的存在或手H1的存在之后开始释放操作。因此,可以避免错误地开始释放操作,并且因此变得可以更安全且更可靠地执行对象B1的传递。注意,可以使用例如语音输入/输出信息等以及图像处理的结果或来自距离测量传感器的信息来确认传递目标人的存在。此外,在使用语音输入/输出信息等识别到传递目标人要夹持对象的意图或传递目标人在释放操作期间的情绪变化之后,变得可以执行对释放操作的开始或操作继续的确定。
注意,在上述实施方式中已经例示了对象B1被一个操纵器44夹持并被传递给传递目标人的情况,但是本公开不限于此。例如,上述实施方式可以应用于使用操纵器44R和44L两者来夹持对象B1并且将对象B1传递给传递目标人的情况,等等。
此外,上述实施方式还可以应用于多个自主机器人1以及一个自主机器人1相互协作地提升对象B1并且将对象B1传递给一个或更多个传递目标人的情况。
此外,上述实施方式还可以应用于从目标人接收对象B1的情况。
在上文中已经描述了本公开的实施方式,但是本公开的技术范围不限于上述每个实施方式,并且可以在不脱离本公开的要旨的情况下进行各种修改。此外,跨不同实施方式和修改例的部件可以适当地彼此组合。
此外,在本说明书中描述的每个实施方式中的效果仅是示例并且不受限制,并且可以提供其他效果。
注意,本技术还可以具有以下配置。
(1)
一种信息处理装置,包括控制单元,其控制操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
(2)
根据(1)所述的信息处理装置,其中,所述控制单元控制所述操纵器的每单位时间的夹持力的变化量,以使得所述对象在传递方向上的移动速度保持连续性。
(3)
根据(1)所述的信息处理装置,
其中,所述操纵器包括臂部和夹持所述对象的手部,所述手部附接至所述臂部的一端,并且
所述控制单元控制所述手部的每单位时间的夹持力的变化量,并且控制所述臂部的每单位时间的姿势的变化量,以使得所述对象在传递方向上的移动速度保持连续性。
(4)
根据(1)至(3)中任一项所述的信息处理装置,
其中,所述操纵器附接至可移动的移动体,并且
所述控制单元控制所述操纵器并且控制所述移动体的移动,以使得所述对象的移动速度保持连续性。
(5)
根据(1)至(4)中任一项所述的信息处理装置,还包括:
第一检测单元,其检测所述对象在所述对象与所述操纵器接触的部分处的滑动量,
其中,所述控制单元基于由所述第一检测单元检测到的滑动量来控制所述操纵器,以使得所述对象的移动速度保持连续性。
(6)
根据(1)至(5)中任一项所述的信息处理装置,还包括:
第二检测单元,其检测所述对象在所述对象与所述操纵器接触的部分处的滑动量或初始滑动量,
其中,在由所述第二检测单元检测到的滑动量或初始滑动量的变化包含与重力方向不同的方向上的分量的情况下,所述控制单元使所述操纵器开始将所述对象传递给所述传递目标人的操作。
(7)
根据(6)所述的信息处理装置,其中,与重力方向不同的所述方向是与重力相反的方向、与由于重力而引起的转矩相反的方向或到所述传递目标人的传递方向。
(8)
根据(1)至(7)中任一项所述的信息处理装置,还包括:
第三检测单元,其检测所述对象在所述对象与所述操纵器接触的部分处的重力方向上的滑动量或初始滑动量,
其中,所述控制单元基于由所述第三检测单元检测到的重力方向上的滑动量或初始滑动量来控制所述操纵器。
(9)
根据(1)至(8)中任一项所述的信息处理装置,还包括:
目标人识别单元,其识别在将所述对象传递给所述传递目标人的操作期间的所述传递目标人的情绪,
其中,所述控制单元基于由所述目标人识别单元检测到的所述传递目标人的情绪的变化,停止或结束将所述对象传递给所述传递目标人的操作。
(10)
根据(9)所述的信息处理装置,其中,所述目标人识别单元基于通过捕获所述传递目标人的图像获得的图像数据和通过收集由所述传递目标人发出的语音获得的语音数据中的至少一者,来识别所述传递目标人的情绪。
(11)
根据(1)至(10)中任一项所述的信息处理装置,还包括:
计划单元,其计划要由所述操纵器执行以将所述对象传递给所述传递目标人的传递操作,
其中,所述控制单元根据由所述计划单元计划的传递操作控制所述操纵器,以使得所述对象的移动速度保持连续性。
(12)
根据(11)所述的信息处理装置,还包括:
对象识别单元,其识别或估计所述对象的特性,
其中,所述计划单元基于由所述对象识别单元识别或估计的所述对象的特性来计划所述传递操作。
(13)
根据(12)所述的信息处理装置,其中,所述对象的特性包括静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度和湿度中的至少一者。
(14)
根据(11)至(13)中任一项所述的信息处理装置,其中,所述计划单元根据经学习的模型来计划所述传递操作。
(15)
根据(14)所述的信息处理装置,其中,所述经学习的模型是通过使用夹持所述对象的所述操纵器的夹持力的变化率作为输入以及使用所述对象在传递方向上的移动速度的连续性作为输出进行的机器学习而创建的模型。
(16)
根据(15)所述的信息处理装置,其中,所述机器学习是如下机器学习,在该机器学习中,随着所述对象在所述传递方向上的移动速度的连续性变高,设置正面奖励,并且随着所述对象在所述传递方向上的移动速度的连续性变低,设置负面奖励。
(17)
根据(5)所述的信息处理装置,其中,所述第一检测单元包括粘弹性体、视觉传感器、压力分布传感器和距离测量传感器中的至少一者。
(18)
根据(6)或(7)所述的信息处理装置,其中,所述第二检测单元包括粘弹性体和视觉传感器或压力分布传感器。
(19)
一种控制方法,所述控制方法控制操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
(20)
一种用于使控制操纵器的计算机运行的程序,
所述程序使得所述计算机执行以下操作:控制所述操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
附图标记列表
1 自主机器人
2 服务器
3 网络
10 控制单元
11 信号处理电路
12 CPU
13 DRAM
14 闪速ROM
15 PC卡I/F
16 无线通信单元
17 内部总线
18 电池
19 摄像装置
20 IMU
21 ToF传感器
22 触摸传感器
23 麦克风
24 扬声器
25 显示单元
26 可移动单元
261 3轴传感器(肩)
262 1轴传感器(肘)
263 3轴传感器(腕)
264 1轴传感器(指关节)
265 2轴传感器(腰)
266 3轴传感器(颈)
27 致动器
28 编码器(电位计)
30 存储卡
41 头部
42 身体部
43 托架部
44,44L,44R 操纵器
441 上臂部
442 前臂部
443 手部
444 关节机构
4431 基部
4432,4432a,4432b 手指部
4433,4435 关节机构
4434 基础关节部
4436 远端关节部
50 传感器组
501 6轴力传感器
502 3轴力传感器
503,503A,503B 滑动传感器
504 距离测量传感器
504a ToF传感器
504b 摄像装置
51 传递目标人识别单元
52 对象识别单元
53 传递动作计划单元
54 学习信息存储单元
55 物理交互执行单元
56 夹持信息获取单元
57 响应时间测量单元
58 情绪映射生成单元
59 传递动作评估单元
60 节点(神经元)
61 边缘
71 夹持操作
72 释放操作
73 α×夹持操作+(1-α)×释放操作
74 夹持力控制
75 负荷计算
76 混合比
77 臂操作控制
78 全身操作控制
81 壳体
82 变形部
83 视觉传感器
821 粘弹性体
822 标记
823 初始滑动
91 压力分布传感器
A1 传递方向
B1 对象
H1 手
P1 地板
R1 区域
R2 接触区域
Claims (20)
1.一种信息处理装置,包括控制单元,所述控制单元控制操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
2.根据权利要求1所述的信息处理装置,其中,所述控制单元控制所述操纵器的每单位时间的夹持力的变化量,以使得所述对象在传递方向上的移动速度保持连续性。
3.根据权利要求1所述的信息处理装置,
其中,所述操纵器包括臂部和夹持所述对象的手部,所述手部附接至所述臂部的一端,并且
所述控制单元控制所述手部的每单位时间的夹持力的变化量,并且控制所述臂部的每单位时间的姿势的变化量,以使得所述对象在传递方向上的移动速度保持连续性。
4.根据权利要求1所述的信息处理装置,
其中,所述操纵器附接至能够移动的移动体,并且
所述控制单元控制所述操纵器并且控制所述移动体的移动,以使得所述对象的移动速度保持连续性。
5.根据权利要求1所述的信息处理装置,还包括:
第一检测单元,检测所述对象在所述对象与所述操纵器接触的部分处的滑动量,
其中,所述控制单元基于由所述第一检测单元检测到的滑动量来控制所述操纵器,以使得所述对象的移动速度保持连续性。
6.根据权利要求1所述的信息处理装置,还包括:
第二检测单元,检测所述对象在所述对象与所述操纵器接触的部分处的滑动量或初始滑动量,
其中,在由所述第二检测单元检测到的滑动量或初始滑动量的变化包含与重力方向不同的方向上的分量的情况下,所述控制单元使所述操纵器开始将所述对象传递给所述传递目标人的操作。
7.根据权利要求6所述的信息处理装置,其中,与重力方向不同的方向是与重力相反的方向、与由于重力而引起的转矩相反的方向或到所述传递目标人的传递方向。
8.根据权利要求1所述的信息处理装置,还包括:
第三检测单元,检测所述对象在所述对象与所述操纵器接触的部分处的重力方向上的滑动量或初始滑动量,
其中,所述控制单元基于由所述第三检测单元检测到的重力方向上的滑动量或初始滑动量来控制所述操纵器。
9.根据权利要求1所述的信息处理装置,还包括:
目标人识别单元,识别在将所述对象传递给所述传递目标人的操作期间的所述传递目标人的情绪,
其中,所述控制单元基于由所述目标人识别单元检测到的所述传递目标人的情绪的变化,停止或结束将所述对象传递给所述传递目标人的操作。
10.根据权利要求9所述的信息处理装置,其中,所述目标人识别单元基于通过捕获所述传递目标人的图像获得的图像数据和通过收集由所述传递目标人发出的语音获得的语音数据中的至少一者,来识别所述传递目标人的情绪。
11.根据权利要求1所述的信息处理装置,还包括:
计划单元,计划要由所述操纵器执行以将所述对象传递给所述传递目标人的传递操作,
其中,所述控制单元根据由所述计划单元计划的传递操作控制所述操纵器,以使得所述对象的移动速度保持连续性。
12.根据权利要求11所述的信息处理装置,还包括:
对象识别单元,识别或估计所述对象的特性,
其中,所述计划单元基于由所述对象识别单元识别或估计的所述对象的特性来计划所述传递操作。
13.根据权利要求12所述的信息处理装置,其中,所述对象的特性包括静摩擦系数、动摩擦系数、质量、形状尺寸、刚度、强度、温度和湿度中的至少一者。
14.根据权利要求11所述的信息处理装置,其中,所述计划单元根据经学习的模型来计划所述传递操作。
15.根据权利要求14所述的信息处理装置,其中,所述经学习的模型是通过使用夹持所述对象的所述操纵器的夹持力的变化率作为输入以及使用所述对象在传递方向上的移动速度的连续性作为输出进行的机器学习而创建的模型。
16.根据权利要求15所述的信息处理装置,其中,所述机器学习是如下机器学习,在该机器学习中,随着所述对象在所述传递方向上的移动速度的连续性变高,设置正面奖励,并且随着所述对象在所述传递方向上的移动速度的连续性变低,设置负面奖励。
17.根据权利要求5所述的信息处理装置,其中,所述第一检测单元包括粘弹性体、视觉传感器、压力分布传感器和距离测量传感器中的至少一者。
18.根据权利要求6所述的信息处理装置,其中,所述第二检测单元包括粘弹性体和视觉传感器或压力分布传感器。
19.一种控制方法,所述控制方法控制操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
20.一种用于使控制操纵器的计算机运行的程序,
所述程序使得所述计算机执行以下操作:控制所述操纵器,以使得当将由所述操纵器夹持的对象传递给传递目标人时,所述对象的移动速度保持连续性。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018190285 | 2018-10-05 | ||
JP2018-190285 | 2018-10-05 | ||
PCT/JP2019/035825 WO2020071080A1 (ja) | 2018-10-05 | 2019-09-12 | 情報処理装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112770876A true CN112770876A (zh) | 2021-05-07 |
Family
ID=70055156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980064044.1A Pending CN112770876A (zh) | 2018-10-05 | 2019-09-12 | 信息处理装置、控制方法和程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12128560B2 (zh) |
EP (1) | EP3862148A4 (zh) |
JP (1) | JP7318655B2 (zh) |
KR (1) | KR102716734B1 (zh) |
CN (1) | CN112770876A (zh) |
WO (1) | WO2020071080A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115635482A (zh) * | 2022-10-18 | 2023-01-24 | 深圳市人工智能与机器人研究院 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021049597A (ja) * | 2019-09-24 | 2021-04-01 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
KR20220115945A (ko) * | 2019-12-16 | 2022-08-19 | 고쿠리츠다이가쿠호진 도호쿠다이가쿠 | 파지 장치, 제어 방법 및 프로그램 |
JP7458818B2 (ja) * | 2020-02-21 | 2024-04-01 | キヤノン株式会社 | ロボット装置、インタフェース装置、制御装置、エンドエフェクタ、制御方法、ロボット装置を用いた物品の製造方法、プログラム及び記録媒体 |
GB2592411B (en) * | 2020-02-27 | 2022-08-17 | Dyson Technology Ltd | Force sensing device |
WO2021200743A1 (ja) * | 2020-04-02 | 2021-10-07 | ファナック株式会社 | ロボットの教示位置を修正するための装置、教示装置、ロボットシステム、教示位置修正方法、及びコンピュータプログラム |
US20240100695A1 (en) * | 2020-11-10 | 2024-03-28 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
DE102021108906A1 (de) * | 2021-04-09 | 2022-10-13 | Linde Material Handling Gmbh | Mobiler Kommissionierroboter |
WO2023076694A1 (en) * | 2021-11-01 | 2023-05-04 | Alpha Reactor Corporation | Robotic assistance device using reduction of cognitive load of a user |
WO2024053204A1 (ja) * | 2022-09-09 | 2024-03-14 | 東京ロボティクス株式会社 | モバイルマニピュレータ及びその制御方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101239467A (zh) * | 2007-02-06 | 2008-08-13 | 发那科株式会社 | 机器人控制装置 |
CN205058045U (zh) * | 2015-10-26 | 2016-03-02 | 众德迪克科技(北京)有限公司 | 一种带有视觉伺服系统的机器人 |
CN107639634A (zh) * | 2016-07-20 | 2018-01-30 | 佳能株式会社 | 机器人设备、机器人控制方法和记录介质 |
CN108248845A (zh) * | 2018-01-31 | 2018-07-06 | 湖南大学 | 一种基于动态重心补偿的旋翼飞行机械臂系统及算法 |
CN108297068A (zh) * | 2018-04-11 | 2018-07-20 | 南京理工大学 | 一种基于力反馈主从控制的带电作业机器人专用工具更换方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7443115B2 (en) * | 2002-10-29 | 2008-10-28 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for robot handling control |
CN1984756B (zh) * | 2004-07-13 | 2011-12-07 | 松下电器产业株式会社 | 物品保持系统、机器人以及机器人控制方法 |
JP4718987B2 (ja) * | 2005-12-12 | 2011-07-06 | 本田技研工業株式会社 | インターフェース装置およびそれを備えた移動ロボット |
JP4456561B2 (ja) * | 2005-12-12 | 2010-04-28 | 本田技研工業株式会社 | 自律移動ロボット |
JP5013270B2 (ja) * | 2006-02-02 | 2012-08-29 | 株式会社安川電機 | ロボットシステム |
JP2009012132A (ja) * | 2007-07-05 | 2009-01-22 | Denso Wave Inc | 多関節型ロボットおよびワーク受け渡し方法 |
KR101358477B1 (ko) * | 2008-04-02 | 2014-02-05 | 아이로보트 코퍼레이션 | 로보틱스 시스템 |
KR101687626B1 (ko) * | 2010-01-06 | 2016-12-21 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
JP2013111737A (ja) | 2011-12-01 | 2013-06-10 | Sony Corp | ロボット装置及びその制御方法、並びにコンピューター・プログラム |
JP2013184273A (ja) * | 2012-03-09 | 2013-09-19 | Sony Corp | ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム |
US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
KR101820241B1 (ko) * | 2016-02-29 | 2018-01-18 | 울산대학교 산학협력단 | 그리퍼를 이용한 물체의 움직임 추정 장치 및 그 방법 |
JP6726388B2 (ja) * | 2016-03-16 | 2020-07-22 | 富士ゼロックス株式会社 | ロボット制御システム |
US10682774B2 (en) * | 2017-12-12 | 2020-06-16 | X Development Llc | Sensorized robotic gripping device |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
US10471591B1 (en) * | 2018-06-01 | 2019-11-12 | X Development Llc | Object hand-over between robot and actor |
JP6916157B2 (ja) * | 2018-10-23 | 2021-08-11 | ファナック株式会社 | 人と協働作業を行うロボットシステム、及びロボット制御方法 |
-
2019
- 2019-09-12 US US17/279,990 patent/US12128560B2/en active Active
- 2019-09-12 JP JP2020550247A patent/JP7318655B2/ja active Active
- 2019-09-12 KR KR1020217007107A patent/KR102716734B1/ko active IP Right Grant
- 2019-09-12 EP EP19869651.0A patent/EP3862148A4/en active Pending
- 2019-09-12 WO PCT/JP2019/035825 patent/WO2020071080A1/ja active Application Filing
- 2019-09-12 CN CN201980064044.1A patent/CN112770876A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101239467A (zh) * | 2007-02-06 | 2008-08-13 | 发那科株式会社 | 机器人控制装置 |
CN205058045U (zh) * | 2015-10-26 | 2016-03-02 | 众德迪克科技(北京)有限公司 | 一种带有视觉伺服系统的机器人 |
CN107639634A (zh) * | 2016-07-20 | 2018-01-30 | 佳能株式会社 | 机器人设备、机器人控制方法和记录介质 |
CN108248845A (zh) * | 2018-01-31 | 2018-07-06 | 湖南大学 | 一种基于动态重心补偿的旋翼飞行机械臂系统及算法 |
CN108297068A (zh) * | 2018-04-11 | 2018-07-20 | 南京理工大学 | 一种基于力反馈主从控制的带电作业机器人专用工具更换方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115635482A (zh) * | 2022-10-18 | 2023-01-24 | 深圳市人工智能与机器人研究院 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
CN115635482B (zh) * | 2022-10-18 | 2024-01-30 | 深圳市人工智能与机器人研究院 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
Also Published As
Publication number | Publication date |
---|---|
US12128560B2 (en) | 2024-10-29 |
KR20210069041A (ko) | 2021-06-10 |
KR102716734B1 (ko) | 2024-10-15 |
JP7318655B2 (ja) | 2023-08-01 |
EP3862148A4 (en) | 2021-12-22 |
EP3862148A1 (en) | 2021-08-11 |
WO2020071080A1 (ja) | 2020-04-09 |
JPWO2020071080A1 (ja) | 2021-09-02 |
US20210394362A1 (en) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112770876A (zh) | 信息处理装置、控制方法和程序 | |
Wang et al. | Controlling object hand-over in human–robot collaboration via natural wearable sensing | |
Asfour et al. | Armar-6: A collaborative humanoid robot for industrial environments | |
CN109434832B (zh) | 机械学习装置及方法、机器人系统 | |
Santaera et al. | Low-cost, fast and accurate reconstruction of robotic and human postures via IMU measurements | |
US20170348858A1 (en) | Multiaxial motion control device and method, in particular control device and method for a robot arm | |
Bright | Supernumerary robotic limbs for human augmentation in overhead assembly tasks | |
Kazemi et al. | Human-inspired force compliant grasping primitives | |
Felip et al. | Manipulation primitives: A paradigm for abstraction and execution of grasping and manipulation tasks | |
WO2022039058A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Liu et al. | Intention Recognition in Physical Human‐Robot Interaction Based on Radial Basis Function Neural Network | |
Falck et al. | DE VITO: A dual-arm, high degree-of-freedom, lightweight, inexpensive, passive upper-limb exoskeleton for robot teleoperation | |
Parga et al. | Tele-manipulation of robot arm with smartphone | |
Mazhitov et al. | Human–robot handover with prior-to-pass soft/rigid object classification via tactile glove | |
US20220355490A1 (en) | Control device, control method, and program | |
Chen et al. | Human-aided robotic grasping | |
Rasch et al. | Understanding movements of hand-over between two persons to improve humanoid robot systems | |
WO2022102403A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Ateş et al. | Human-robot cooperative lifting using IMUs and human gestures | |
Haschke | Grasping and manipulation of unknown objects based on visual and tactile feedback | |
Ciobanu et al. | Robot telemanipulation system | |
CN110877335A (zh) | 一种基于混合滤波器自适应无标记机械臂轨迹跟踪方法 | |
Zou et al. | Multimodal Learning‐Based Proactive Human Handover Intention Prediction Using Wearable Data Gloves and Augmented Reality | |
US20240300097A1 (en) | System and Method for Controlling a Robotic Manipulator | |
US20240181647A1 (en) | Systems, methods, and control modules for controlling end effectors of robot systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |