CN111152243A - 控制系统 - Google Patents
控制系统 Download PDFInfo
- Publication number
- CN111152243A CN111152243A CN201911070548.2A CN201911070548A CN111152243A CN 111152243 A CN111152243 A CN 111152243A CN 201911070548 A CN201911070548 A CN 201911070548A CN 111152243 A CN111152243 A CN 111152243A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- machine
- robot
- image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 136
- 238000012937 correction Methods 0.000 claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000004438 eyesight Effects 0.000 description 74
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000003754 machining Methods 0.000 description 3
- 230000004382 visual function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种控制系统，能够检测机械的动作控制用的对象物的检测位置或校正量是否不正确。控制系统具备摄像装置和控制装置，控制装置具有：位置变换部，其从由摄像装置拍摄到的图像中检测对象物，将检测到的图像坐标系上或传感器坐标系上的对象物的检测位置变换为机械坐标系上的对象物的检测位置；动作控制部，其基于机械坐标系上的对象物的检测位置来控制机械的动作；检测范围计算部，其基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围，来计算机械坐标系上的检测范围；以及位置判定部，其判定机械坐标系上的对象物的检测位置是否位于机械坐标系上的检测范围内。
Description
技术领域
本发明涉及一种用于控制机械的动作的控制系统，该机械用于针对对象物进行规定的作业。
背景技术
例如在机器人系统(控制系统)中，使机器人(机械)具有视觉功能，并通过该视觉功能来识别工件(对象物)的位置，从而进行工件的处理、加工等作业。该视觉功能是通过由在机器人的手附近安装的视觉传感器(摄像装置)、设置于机器人的周边的视觉传感器对工件进行拍摄来实现的。在这样的机器人系统中，能够根据拍摄到的图像来检测工件，并对机器人的动作进行控制使得机器人针对检测到的工件的位置进行作业。
在这样的机器人系统中，例如，使用用于将图像上的工件的位置变换为从机器人观察的工件的位置的校准数据，来将检测到的工件的位置(图像上的坐标系的位置、或从视觉传感器观察的传感器坐标系的位置)变换为从机器人观察的工件的位置(机器人坐标系的位置)(例如参照专利文献1和非专利文献1)。由此，能够对机器人的动作进行校正(控制)，使得机器人针对检测到的工件的位置(检测位置)进行作业。
作为这样的校正，存在绝对位置校正和相对位置校正，其中，在绝对位置校正中，使机器人的臂前端部移动至工件的检测位置，在相对位置校正中，使用预先设定的基准位置与工件的检测位置之差(校正量)来使机器人的动作偏移(offset)。
现有技术文献
专利文献
专利文献1：日本专利第2889011号公报
非专利文献
非专利文献1：ROGER Y.TSAI,“An Efficient and Accurate CameraCalibration Technique for 3D Machine Vision”,PROCEEDINGS OF IEEE CONFERENCEON COMPUTER VISION AND PATTERN RECOGNITION,1986,pages 364-374(“用于3D机器视觉的高效且准确的摄像机校准技术”，关于计算机视觉和模式识别的IEEE会议的会议记录,1986,第364-374页)
发明内容
发明要解决的问题
但是，有时机器人(机械)的动作校正(动作控制)用的工件(对象物)的检测位置或校正量会因来自外部的攻击、设定的错误、软件的故障等原因而成为不正确的检测位置或校正量。于是，对机器人(机械)的动作进行不正确的校正(控制)，有时对人或外围设备造成危害。
本发明的目的在于提供一种能够检测机械的动作控制用的对象物的检测位置或校正量是否不正确的控制系统。
用于解决问题的方案
(1)本发明所涉及的控制系统(例如，后述的机器人系统1)用于控制针对对象物(例如后述的工件W)进行规定的作业的机械(例如后述的机器人2)的动作，所述控制系统具备：摄像装置(例如后述的视觉传感器4)，其拍摄所述对象物；以及控制装置(例如后述的控制装置10、即后述的视觉传感器控制装置20和机器人控制装置30)，其控制所述摄像装置和所述机械的动作，所述控制装置具有：位置变换部(例如后述的位置变换部23)，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系所述机械的坐标系；动作控制部(例如后述的动作控制部31)，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；检测范围计算部(例如后述的检测范围计算部24)，其基于所述图像坐标系上或所述传感器坐标系上的图像内的预先决定的检测范围，来计算所述机械坐标系上的检测范围；以及位置判定部(例如后述的位置判定部25)，其判定所述机械坐标系上的所述对象物的检测位置或以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置是否位于所述机械坐标系上的检测范围内。
(2)本发明所涉及的另一控制系统(例如后述的机器人系统1)用于控制针对对象物(例如后述的工件W)进行规定的作业的机械(例如后述的机器人2)的动作，所述控制系统具备：摄像装置(例如后述的视觉传感器4)，其拍摄所述对象物；以及控制装置(例如后述的控制装置10、即后述的视觉传感器控制装置20和机器人控制装置30)，其控制所述摄像装置和所述机械的动作，所述控制装置具有：位置变换部(例如后述的位置变换部23)，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系所述机械的坐标系；动作控制部(例如后述的动作控制部31)，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；位置重新变换部(例如后述的位置变换部23)，其将由所述位置变换部变换得到的所述机械坐标系上的所述对象物的检测位置或将以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置重新变换为所述传感器坐标系上的所述对象物的检测位置或校正位置；以及位置判定部(例如后述的位置判定部25)，其判定由所述位置重新变换部重新变换得到的所述传感器坐标系上的所述对象物的检测位置或校正位置是否位于所述传感器坐标系上的图像内的预先决定的检测范围内。
(3)本发明所涉及的又一控制系统(例如后述的机器人系统1)用于控制针对对象物(例如后述的工件W)进行规定的作业的机械(例如后述的机器人2)的动作，所述控制系统具备：摄像装置(例如后述的视觉传感器4)，其拍摄所述对象物；以及控制装置(例如后述的控制装置10、即后述的视觉传感器控制装置20和机器人控制装置30)，其控制所述摄像装置和所述机械的动作，所述控制装置具有：位置变换部(例如后述的位置变换部23)，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系所述机械的坐标系；动作控制部(例如后述的动作控制部31)，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；位置重新变换部(例如后述的位置变换部23)，其将由所述位置变换部变换得到的所述机械坐标系上的所述对象物的检测位置或将以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置重新变换为所述图像坐标系上的所述对象物的检测位置或校正位置；以及位置判定部(例如后述的位置判定部25)，其判定由所述位置重新变换部重新变换得到的所述图像坐标系上的所述对象物的检测位置或校正位置是否位于所述图像坐标系上的图像内的预先决定的检测范围内。
(4)也可以是，在(1)至(3)中的任一项所述的控制系统中，所述控制装置还具备通知控制部(例如后述的通知控制部32)，在由所述位置判定部判定为所述对象物的检测位置或所述校正位置不位于所述检测范围内的情况下，所述通知控制部向外部通知在所述动作控制部中使用的所述机械坐标系上的所述对象物的检测位置或所述校正量不正确。
(5)也可以是，在(1)至(3)中的任一项所述的控制系统中，所述控制装置还具备停止控制部(例如后述的停止控制部33)，在由所述位置判定部判定为所述对象物的检测位置或所述校正位置不位于所述检测范围内的情况下，所述停止控制部使所述机械的动作停止。
发明的效果
根据本发明，能够提供一种能够检测机械的动作控制用的对象物的检测位置或校正量是否不正确的控制系统。
附图说明
图1是表示第一实施方式所涉及的机器人系统的结构的图。
图2是表示第一实施方式所涉及的机器人系统中的控制装置、即视觉传感器控制装置和机器人控制装置的结构的图。
图3是用于说明恰当的检测范围的求解方法的一例的图。
图4是用于说明图像内的预先决定的检测范围的一例的图。
图5是表示第二实施方式所涉及的机器人系统的结构的图。
图6是用于说明工件的在机器人坐标系上的检测位置的求解方法的一例的图。
附图标记说明
1：机器人系统(控制系统)；2：机器人(机械)；3：臂；4：视觉传感器(摄像装置)；10：控制装置；20：视觉传感器控制装置；21：存储部；22：图像处理部；23：位置变换部(位置重新变换部)；24：检测范围计算部；25：位置判定部；30：机器人控制装置；31：动作控制部；32：通知控制部；33：停止控制部；W：工件(对象物)。
具体实施方式
以下，参照附图来对本发明的实施方式的一例进行说明。此外，在各附图中，对相同或相当的部分标注相同的附图标记。
(第一实施方式)
图1是表示第一实施方式所涉及的机器人系统的结构的图。图1所示的机器人系统(控制系统)1具备机器人(机械)2、视觉传感器(摄像装置)4、由视觉传感器控制装置20和机器人控制装置30构成的控制装置10。机器人系统1例如是基于由视觉传感器4拍摄到的工件(对象物)W的图像来识别工件W的位置并进行工件W的处理或加工等规定的作业的系统。
在机器人2的臂3的前端部安装有手或工具。机器人2通过机器人控制装置30的控制来进行工件W的处理或加工等规定的作业。另外，在机器人2的臂3的前端部安装有视觉传感器4。
视觉传感器4通过视觉传感器控制装置20的控制来拍摄工件W。此外，本实施方式中，作为摄像装置的一例列举了视觉传感器，但不限定于此。例如，可以使用普通的照相机，也可以使用能够进行三维测量的立体照相机等，来代替视觉传感器。
视觉传感器控制装置20控制视觉传感器4。另外，视觉传感器控制装置20根据由视觉传感器4拍摄到的工件W的图像来检测工件W的位置和姿势。
机器人控制装置30执行机器人的动作程序，来控制机器人2的动作。此时，机器人控制装置30校正机器人2的动作，使得机器人2针对由视觉传感器控制装置20检测到的工件W的位置进行规定的作业。
另外，机器人控制装置30控制机器人2的位置和姿势，以在视觉传感器4进行拍摄时控制视觉传感器4的位置和姿势。这样，在机器人系统1中，将工件W的位置和姿势设为固定，控制视觉传感器4的位置和姿势，由此来控制工件W与视觉传感器4的相对位置。
以下，详细地说明控制装置10、即视觉传感器控制装置20和机器人控制装置30。
图2是表示第一实施方式所涉及的机器人系统1中的控制装置10、即视觉传感器控制装置20和机器人控制装置30的结构的图。视觉传感器控制装置20具备存储部21和图像处理部22，图像处理部22具备位置变换部23、检测范围计算部24以及位置判定部25。机器人控制装置30具备动作控制部31、通知控制部32以及停止控制部33。此外，位置变换部23、检测范围计算部24、位置判定部25、通知控制部32以及停止控制部33在控制装置10内构成即可，也可以在视觉传感器控制装置20和机器人控制装置30中的任一个中构成。
视觉传感器控制装置20中的存储部21例如为EEPROM等可重写的存储器。
视觉传感器控制装置20中的图像处理部22以及机器人控制装置30例如由DSP(Digital Signal Processor：数字信号处理器)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等运算处理器构成。视觉传感器控制装置20中的图像处理部22以及机器人控制装置30的各种功能例如通过执行存储部中保存的规定的软件(程序、应用)来实现。视觉传感器控制装置20中的图像处理部22以及机器人控制装置30的各种功能可以通过硬件与软件的协作来实现，也可以只通过硬件(电子电路)来实现。
存储部21存储将工件W的像进行了模型化得到的模型图案，例如表示工件W的像的特征的模型图案。另外，存储部21存储视觉传感器4的校准数据，例如用于将图像坐标系上的二维位置变换为三维坐标中的值或将三维坐标中的值变换为图像坐标系上的二维位置的校准数据。关于校准数据的形式以及用于求出校准数据的方法，提出了各种方式，可以使用任意的方式(例如参照非专利文献1等)。
位置变换部23从由视觉传感器4拍摄到的图像中检测工件W。位置变换部23基于存储部21中存储的模型图案及校准数据、拍摄时的机器人2的臂3的前端部的位置(即视觉传感器4的位置)，来将图像坐标系(二维)上的工件W的检测位置或传感器坐标系(三维)上的工件W的检测位置变换为机器人坐标系(三维)上的工件W的检测位置。图像坐标系是在图像上定义的坐标系(二维)，传感器坐标系是从视觉传感器4观察的坐标系(三维)。机器人坐标系(机械坐标系)是从机器人2观察的坐标系(三维)。
动作控制部31控制并校正机器人2的动作，使得机器人2针对机器人坐标系上的工件W的检测位置进行规定的作业。作为这样的校正，存在绝对位置校正和相对位置校正。在绝对位置校正中，动作控制部31基于机器人坐标系上的工件W的检测位置来对机器人2的臂3的前端部的移动进行校正。另一方面，在相对位置校正中，预先决定作为基准的工件W的位置(基准位置)。动作控制部31计算机器人坐标系上的工件W的基准位置与机器人坐标系上的工件W的检测位置之差来作为校正量，对预先示教的机器人2的动作施加该校正量，来对机器人2的臂3的前端部的移动进行校正。
在此，有时机器人2的动作校正(动作控制)用的工件W的检测位置或校正量会因来自外部的攻击、设定的错误、软件的故障等原因而成为不正确的检测位置或校正量。于是，对机器人的动作进行不正确的校正(控制)，有时对人或外围设备造成危害。
因此，在本实施方式中，确认在动作控制部31中使用的机器人坐标系上的工件W的检测位置或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置在物理上是否为恰当的位置。如果是由视觉传感器4拍摄到的工件W，则工件W的检测位置或校正位置不会位于摄像范围外。因此，在机器人坐标系中检查(check)工件W的检测位置或校正位置是否位于摄像范围内，如果工件W的检测位置或校正位置位于范围外，则不使机器人2移动至该检测位置或校正位置。具体地说，本实施方式的控制装置10具备检测范围计算部24、位置判定部25、通知控制部32以及停止控制部33。
检测范围计算部24基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围以及拍摄时的机器人2的臂3的前端部的位置(即视觉传感器4的位置)，来计算机器人坐标系上的恰当的检测范围。图像内的预先决定的检测范围可以为整个图像，也可以为图像的一部分。
图3是用于说明恰当的检测范围的求解方法的一例的图。在图3中，示出了图像内的预先决定的检测范围为矩形的情况下的一例。
在此，当求出校准数据时，在被提供了机器人坐标系中的三维点(注视点)时，能够计算出该三维点的在视觉传感器的图像上的像的位置、即图像坐标系中的二维点。另外，在被提供了某注视点的像即图像坐标系中的二维点时，能够计算出机器人坐标系中的视线(穿过注视点和视觉传感器的焦点的三维直线)。
首先，检测范围计算部24获取图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围的四角的位置。接着，检测范围计算部24基于获取到的检测范围的四角的位置以及拍摄时的机器人2的臂3的前端部的位置(即视觉传感器4的位置)，来求出将各位置设为视觉传感器4的注视点时的在机器人坐标系上的视觉传感器4的视线。接着，检测范围计算部24求出将相邻的视线之间连结的四个边界面。接着，检测范围计算部24将四个边界面的内侧设为机器人坐标系上的恰当的检测范围。
这样的范围是下侧敞开的无限范围。因此，也可以将这样的范围以预先决定的平面为边界面来设为下侧封闭的有限范围。例如，可以在机器人坐标系中将地面定义为平面，并将该平面设为下侧的边界面。
此外，检测范围不限定为矩形。例如，在检测范围为圆形的情况下，仅有四个注视点是不够的，可以进一步细化地设置注视点以及边界面。(实际上存在透镜失真等影响，因此准确来说将视线之间单纯地连结是不正确的。为了更准确地求出检测范围，以更细致的单位来设定注视点即可。)
并且，如果已知工件在某个平面上只以二维的方式进行移动，则由该平面上的边界面切割得到的内侧的区域为恰当的检测范围。
位置判定部25例如在机器人即将进行动作之前，判定机器人坐标系上的工件W的检测位置是否位于恰当的范围内。例如，在动作控制部31进行绝对位置校正的情况下，位置判定部25检查检测位置本身是否位于恰当的范围内即可。另一方面，在动作控制部31进行相对位置校正的情况下，可以检查检测位置本身，也可以检查对基准位置施加了校正量后的值是否位于恰当的范围内。
具体地说，位置判定部25判定机器人坐标系上的工件W的检测位置是否位于机器人坐标系上的检测范围内。或者，位置判定部25判定以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置是否位于机器人坐标系上的检测范围内。
当机器人坐标系上的工件W的检测位置或校正位置不位于恰当的检测范围内的情况下，通知控制部32向用户通知在动作控制部31中使用的机器人坐标系上的工件W的检测位置或校正量不正确。通知控制部32例如使用显示器等显示装置来进行通知。
当机器人坐标系上的工件W的检测位置或校正位置不位于恰当的检测范围内的情况下，由于在动作控制部31中使用的机器人坐标系上的工件W的检测位置或校正量不正确，因此停止控制部33使机器人2的动作停止。
接着，对由机器人系统1中的控制装置10即视觉传感器控制装置20和机器人控制装置30进行的工件检测位置判定动作来进行说明。
首先，视觉传感器控制装置20使机器人2的臂3的前端部移动，使得工件W进入视觉传感器4的摄像范围，通过视觉传感器4来拍摄工件W。此时，视觉传感器控制装置20事先记录拍摄时的机器人2的臂3的前端部的位置。
接着，视觉传感器控制装置20中的图像处理部22使用公知的图像处理等来从拍摄到的图像中的预先决定的检测范围中检测工件W。由此，图像处理部22获取图像坐标系上或传感器坐标系上的工件W的位置和姿势。
接着，视觉传感器控制装置20中的位置变换部23使用存储部21中存储的模型图案及校准数据以及拍摄时的机器人2的臂3的前端部的位置(即视觉传感器4的位置)，来将图像坐标系上或传感器坐标系上的工件W的检测位置变换为机器人坐标系上的工件W的检测位置。
接着，视觉传感器控制装置20中的检测范围计算部24如上述以及图3所述的那样，基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围以及拍摄时的机器人2的臂3的前端部的位置(即视觉传感器4的位置)，来计算机器人坐标系上的恰当的检测范围。
在即将使机器人动作之前，视觉传感器控制装置20中的位置判定部25判定在机器人控制装置30中的动作控制部31中使用的机器人坐标系上的工件W的检测位置是否位于恰当的检测范围内。例如，在动作控制部31进行绝对位置校正的情况下，位置判定部25判定机器人坐标系上的工件W的检测位置是否位于机器人坐标系上的检测范围内。另一方面，在动作控制部31进行相对位置校正的情况下，位置判定部25判定以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置是否位于机器人坐标系上的检测范围内。
当机器人坐标系上的工件W的检测位置或校正位置位于恰当的检测范围内的情况下，开始机器人2的动作。此时，机器人控制装置30中的动作控制部31控制并校正机器人2的动作，使得机器人2针对机器人坐标系上的工件W的检测位置进行规定的作业。在绝对位置校正中，动作控制部31基于机器人坐标系上的工件W的检测位置来校正机器人2的臂3的前端部的移动。另一方面，在相对位置校正中，动作控制部31计算机器人坐标系上的工件W的基准位置与机器人坐标系上的工件W的检测位置之差来作为校正量，对预先示教的机器人2的动作施加该校正量，来对机器人2的臂3的前端部的移动进行校正。
另一方面，当机器人坐标系上的工件W的检测位置或校正位置不位于恰当的检测范围内的情况下，机器人控制装置30中的通知控制部32向用户通知在动作控制部31中使用的机器人坐标系上的工件W的检测位置或校正量不正确。由此，能够促使用户注意。
另外，机器人控制装置30中的停止控制部33停止机器人2的动作。
如以上说明的那样，本实施方式的机器人系统1具备：检测范围计算部24，其基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围，来计算机器人坐标系上的检测范围；以及位置判定部25，其判定机器人坐标系上的工件W的检测位置或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置是否位于机器人坐标系上的检测范围内。由此，根据本实施方式的机器人系统1，在通过位置判定部25判定为机器人坐标系上的工件W的检测位置或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置不位于机器人坐标系上的检测范围内的情况下，能够检测到机器人2的动作校正(动作控制)用的工件W的检测位置或校正量不正确。
另外，本实施方式的机器人系统1具备通知控制部32，在通过位置判定部25判定为工件W的检测位置或校正位置不位于检测范围内的情况下，该通知控制部32向外部通知在动作控制部31中使用的机器人坐标系上的工件W的检测位置或校正量不正确。由此，根据本实施方式的机器人系统1，无论由于何种原因而导致机器人的动作校正(动作控制)用的工件W的检测位置或校正量变为不正确的检测位置或校正量，都能够将机器人2的移动量抑制为最小限度。其结果是，能够抑制对机器人2的动作进行不正确的校正(控制)，从而能够抑制对人或外围设备造成危害。
另外，本实施方式的机器人系统1具备停止控制部33，在通过位置判定部25判定为工件W的检测位置或校正位置不位于检测范围内的情况下，该停止控制部33使机器人2的动作停止。由此，根据本实施方式的机器人系统1，在由于某种原因而导致机器人的动作校正(动作控制)用的工件W的检测位置或校正量变为不正确的检测位置或校正量的情况下，能够抑制机器人2的动作。其结果是，能够抑制对人或外围设备造成危害。
(变形例1)
在第一实施方式中，在机器人坐标系中进行工件W的检测位置是否位于恰当的范围内的判定，但也可以在传感器坐标系中进行工件W的检测位置是否位于恰当的范围内的判定。
在变形例1的机器人系统1中，在第一实施方式的机器人系统1中，视觉传感器控制装置20中的位置变换部23和位置判定部25的功能及动作不同。另外，在变形例1的机器人系统1中，也可以不具备视觉传感器控制装置20中的检测范围计算部24。
位置变换部23作为位置重新变换部来发挥功能，将变换后的机器人坐标系上的工件W的检测位置或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置，重新变换为传感器坐标系上的工件W的检测位置或校正位置。
位置判定部25判定重新变换得到的传感器坐标系上的工件W的检测位置或校正位置是否位于传感器坐标系上的图像内的预先决定的检测范围内。
在此，在如上述那样当图像内的预先决定的检测范围为圆形等复杂的形状的情况下，由检测范围计算部24进行的机器人坐标系上的检测范围的计算变得复杂。另外，如图4所示，有时在图像内对不检测的范围进行遮挡(mask)。在这种情况下，图像内的预先决定的检测范围也会成为复杂的形状，由检测范围计算部24进行的机器人坐标系上的检测范围的计算也变得复杂。
关于这一点，根据变形例1的机器人系统1，不需要由检测范围计算部24进行的机器人坐标系上的检测范围的复杂的计算。
(变形例2)
另外，也可以在图像坐标系中进行工件W的检测位置是否位于恰当的范围内的判定。
在变形例2的机器人系统1中，在第一实施方式的机器人系统1中，视觉传感器控制装置20中的位置变换部23和位置判定部25的功能及动作不同。另外，在变形例2的机器人系统1中，也可以不具备视觉传感器控制装置20中的检测范围计算部24。
位置变换部23作为位置重新变换部来发挥功能，将变换后的机器人坐标系上的工件W的检测位置或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置重新变换为图像坐标系上的工件W的检测位置或校正位置。
位置判定部25判定重新变换得到的图像坐标系上的工件W的检测位置或校正位置是否位于图像坐标系上的图像内的预先决定的检测范围内。
在该变形例2的机器人系统1中，也不需要由检测范围计算部24进行的机器人坐标系上的检测范围的复杂的计算。
(第二实施方式)
在第一实施方式中，举例示出了一个视觉传感器4被安装在机器人2的臂3的前端部来进行移动的方式。在第二实施方式中，举例示出固定设置有两个视觉传感器4的方式。
图5是表示第二实施方式所涉及的机器人系统1的结构的图。图5所示的机器人系统1与图1所示的机器人系统1相比，在具备两个视觉传感器4且这些视觉传感器4被固定设置这方面不同。
在工件W大到无法被容纳在一个视觉传感器4的视野内的情况下，通过各视觉传感器4来检测工件W的端部的特征，例如将检测到的两个部位的中点设为整个工件W的检测位置。例如，如图6所示，位置变换部23针对每个视觉传感器4来从拍摄到的图像中检测工件W的端部，将检测到的图像坐标系上或传感器坐标系上的工件W的端部的检测部位变换为机器人坐标系上的工件W的端部的检测部位。位置变换部23将机器人坐标系上的工件W的端部的检测部位的中点设为机器人坐标系上的工件W的检测位置。
此时，无法如第一实施方式那样将图像内的预先决定的检测范围或摄像范围的内侧设为恰当的检测范围。在这种情况下，如图6所示，通过与第一实施方式同样的方法求出各视觉传感器4的恰当的检测范围，在各个恰当的检测范围内检测到各检测部位时，求出以上述方式求出的工件W的中点(检测位置)能够在怎样的范围内移动，将该范围设为整个工件W的检测位置的恰当的检测范围。
换句话说，例如在通过各视觉传感器4来检测长条形状的工件W的两端部并将其中点等设为检测位置的情况下，合成得到的检测位置可能会处于图像的范围外。但是，这是处于图像的范围外不会成为问题的情况，需要进行其它的检查。在这种情况下，合成得到的检测位置会进入将两个摄像范围连结的区域内，也能够进行这样的检查。
例如，检测范围计算部24基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围，针对每个视觉传感器4来计算机器人坐标系上的检测范围。
位置判定部25判定机器人坐标系上的工件W的检测位置(中点)或以机器人坐标系上的工件W的基准位置和校正量为基础的校正位置是否位于将机器人坐标系上的两个检测范围连结的区域内。
根据该第二实施方式的机器人系统1，即使在工件W大到无法被容纳在一个视觉传感器4的视野内的情况下，也能够检测机器人2的动作校正用的工件W的检测位置或校正量是否不正确。
以上，说明了本发明的实施方式，但本发明不限定于上述的实施方式，能够进行各种变更及变形。例如，在上述的第二实施方式中，举例示出了固定设置有两个视觉传感器4的机器人系统1，但机器人系统也可以是固定设置有三个以上视觉传感器的方式。即使在这种情况下也是，针对每个视觉传感器，位置变换部从拍摄到的图像中检测工件的端部，将检测到的图像坐标系上或传感器坐标系上的工件的端部的检测部位变换为机器人坐标系上的工件的端部的检测部位，将机器人坐标系上的工件的端部的检测部位的重心设为机器人坐标系上的工件的检测位置即可。
另外，检测范围计算部针对每个视觉传感器基于图像坐标系上或传感器坐标系上的图像内的预先决定的检测范围来计算机器人坐标系上的检测范围。然后，位置判定部判定机器人坐标系上的工件的检测位置(重心)或以机器人坐标系上的工件的基准位置和校正量为基础的校正位置是否位于将机器人坐标系上的多个检测范围连结的区域内即可。
另外，在上述的实施方式中，举例示出了对机器人的动作进行控制的机器人系统。但是，本发明不限定于此，能够应用于用于控制针对对象物进行规定的作业的各种机械(机器人、机床等)的动作的各种控制系统。
Claims (5)
1.一种控制系统，用于控制针对对象物进行规定的作业的机械的动作，所述控制系统具备：
摄像装置，其拍摄所述对象物；以及
控制装置，其控制所述摄像装置和所述机械的动作，
所述控制装置具有：
位置变换部，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系为所述机械的坐标系；
动作控制部，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；
检测范围计算部，其基于所述图像坐标系上或所述传感器坐标系上的图像内的预先决定的检测范围，来计算所述机械坐标系上的检测范围；以及
位置判定部，其判定所述机械坐标系上的所述对象物的检测位置或以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置是否位于所述机械坐标系上的检测范围内。
2.一种控制系统，用于控制针对对象物进行规定的作业的机械的动作，所述控制系统具备：
摄像装置，其拍摄所述对象物；以及
控制装置，其控制所述摄像装置和所述机械的动作，
所述控制装置具有：
位置变换部，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系为所述机械的坐标系；
动作控制部，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；
位置重新变换部，其将由所述位置变换部变换得到的所述机械坐标系上的所述对象物的检测位置或将以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置重新变换为所述传感器坐标系上的所述对象物的检测位置或校正位置；以及
位置判定部，其判定由所述位置重新变换部重新变换得到的所述传感器坐标系上的所述对象物的检测位置或校正位置是否位于所述传感器坐标系上的图像内的预先决定的检测范围内。
3.一种控制系统，用于控制针对对象物进行规定的作业的机械的动作，所述控制系统具备：
摄像装置，其拍摄所述对象物；以及
控制装置，其控制所述摄像装置和所述机械的动作，
所述控制装置具有：
位置变换部，其从由所述摄像装置拍摄到的图像中检测所述对象物，将检测到的图像坐标系上或传感器坐标系上的所述对象物的检测位置变换为机械坐标系上的所述对象物的检测位置，其中，所述图像坐标系为所述图像的坐标系，所述传感器坐标系为所述摄像装置的坐标系，所述机械坐标系为所述机械的坐标系；
动作控制部，其基于所述机械坐标系上的所述对象物的检测位置，或基于以所述机械坐标系上的所述对象物的检测位置与所述机械坐标系上的所述对象物的预先决定的基准位置之差为基础的校正量，来控制所述机械的动作，使得所述机械针对所述机械坐标系上的所述对象物的检测位置进行所述规定的作业；
位置重新变换部，其将由所述位置变换部变换得到的所述机械坐标系上的所述对象物的检测位置或将以所述机械坐标系上的所述对象物的基准位置和所述校正量为基础的校正位置重新变换为所述图像坐标系上的所述对象物的检测位置或校正位置；以及
位置判定部，其判定由所述位置重新变换部重新变换得到的所述图像坐标系上的所述对象物的检测位置或校正位置是否位于所述图像坐标系上的图像内的预先决定的检测范围内。
4.根据权利要求1至3中的任一项所述的控制系统，其特征在于，
所述控制装置还具备通知控制部，在由所述位置判定部判定为所述对象物的检测位置或所述校正位置不位于所述检测范围内的情况下，所述通知控制部向外部通知在所述动作控制部中使用的所述机械坐标系上的所述对象物的检测位置或所述校正量不正确。
5.根据权利要求1至3中的任一项所述的控制系统，其特征在于，
所述控制装置还具备停止控制部，在由所述位置判定部判定为所述对象物的检测位置或所述校正位置不位于所述检测范围内的情况下，所述停止控制部使所述机械的动作停止。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018210687A JP6871220B2 (ja) | 2018-11-08 | 2018-11-08 | 制御システム |
| JP2018-210687 | 2018-11-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111152243A true CN111152243A (zh) | 2020-05-15 |
| CN111152243B CN111152243B (zh) | 2024-02-06 |
Family
ID=70469120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911070548.2A Active CN111152243B (zh) | 2018-11-08 | 2019-11-05 | 控制系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11241797B2 (zh) |
| JP (1) | JP6871220B2 (zh) |
| CN (1) | CN111152243B (zh) |
| DE (1) | DE102019215237A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
| JP7135495B2 (ja) * | 2018-06-26 | 2022-09-13 | セイコーエプソン株式会社 | 三次元計測装置、制御装置およびロボットシステム |
| JP2021003201A (ja) * | 2019-06-25 | 2021-01-14 | ソニー株式会社 | 手術顕微鏡システム、制御装置及び制御方法 |
| CN114945450B (zh) * | 2020-01-14 | 2024-10-01 | 发那科株式会社 | 机器人系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5319443A (en) * | 1991-03-07 | 1994-06-07 | Fanuc Ltd | Detected position correcting method |
| CN1792573A (zh) * | 2004-12-21 | 2006-06-28 | 发那科株式会社 | 机器人控制装置 |
| JP2008183690A (ja) * | 2007-01-31 | 2008-08-14 | Nachi Fujikoshi Corp | ロボット制御装置及びロボット制御システム |
| JP2012016769A (ja) * | 2010-07-07 | 2012-01-26 | Ihi Corp | 視覚センサのマウント装置と方法 |
| US20130274921A1 (en) * | 2012-04-12 | 2013-10-17 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| CN104260112A (zh) * | 2014-09-18 | 2015-01-07 | 西安航天精密机电研究所 | 一种机器人手眼定位方法 |
| CN104511900A (zh) * | 2013-09-26 | 2015-04-15 | 佳能株式会社 | 机器人校准装置及校准方法、机器人装置及其控制方法 |
| US20160059419A1 (en) * | 2014-09-03 | 2016-03-03 | Canon Kabushiki Kaisha | Robot apparatus and method for controlling robot apparatus |
| CN105729467A (zh) * | 2014-12-25 | 2016-07-06 | 株式会社其恩斯 | 图像处理设备、图像处理系统、图像处理方法和计算机程序 |
| JP2018001332A (ja) * | 2016-06-30 | 2018-01-11 | セイコーエプソン株式会社 | ロボット、制御装置、及びロボットシステム |
| CN107891414A (zh) * | 2016-10-04 | 2018-04-10 | 发那科株式会社 | 机器人系统 |
| JP2018094648A (ja) * | 2016-12-09 | 2018-06-21 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| CN108297095A (zh) * | 2017-01-12 | 2018-07-20 | 发那科株式会社 | 校准装置、校准方法以及计算机能够读取的介质 |
| CN108453701A (zh) * | 2017-02-09 | 2018-08-28 | 佳能株式会社 | 控制机器人的方法、示教机器人的方法和机器人系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011140077A (ja) * | 2010-01-06 | 2011-07-21 | Honda Motor Co Ltd | 加工システム及び加工方法 |
| JP5382621B2 (ja) * | 2010-06-03 | 2014-01-08 | 株式会社安川電機 | 移載装置 |
| WO2012104897A1 (ja) * | 2011-01-31 | 2012-08-09 | トヨタ自動車株式会社 | 安全制御装置および安全制御方法 |
| JP6222898B2 (ja) * | 2012-07-03 | 2017-11-01 | キヤノン株式会社 | ３次元計測装置及びロボット装置 |
| JP5911934B2 (ja) * | 2014-09-18 | 2016-04-27 | ファナック株式会社 | 輪郭線計測装置およびロボットシステム |
-
2018
- 2018-11-08 JP JP2018210687A patent/JP6871220B2/ja active Active
-
2019
- 2019-09-19 US US16/576,503 patent/US11241797B2/en active Active
- 2019-10-02 DE DE102019215237.6A patent/DE102019215237A1/de active Pending
- 2019-11-05 CN CN201911070548.2A patent/CN111152243B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5319443A (en) * | 1991-03-07 | 1994-06-07 | Fanuc Ltd | Detected position correcting method |
| CN1792573A (zh) * | 2004-12-21 | 2006-06-28 | 发那科株式会社 | 机器人控制装置 |
| JP2008183690A (ja) * | 2007-01-31 | 2008-08-14 | Nachi Fujikoshi Corp | ロボット制御装置及びロボット制御システム |
| JP2012016769A (ja) * | 2010-07-07 | 2012-01-26 | Ihi Corp | 視覚センサのマウント装置と方法 |
| US20130274921A1 (en) * | 2012-04-12 | 2013-10-17 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| CN103372862A (zh) * | 2012-04-12 | 2013-10-30 | 精工爱普生株式会社 | 机器人系统及其校准方法、机器人、校准装置及数码相机 |
| CN104511900A (zh) * | 2013-09-26 | 2015-04-15 | 佳能株式会社 | 机器人校准装置及校准方法、机器人装置及其控制方法 |
| US20160059419A1 (en) * | 2014-09-03 | 2016-03-03 | Canon Kabushiki Kaisha | Robot apparatus and method for controlling robot apparatus |
| CN104260112A (zh) * | 2014-09-18 | 2015-01-07 | 西安航天精密机电研究所 | 一种机器人手眼定位方法 |
| CN105729467A (zh) * | 2014-12-25 | 2016-07-06 | 株式会社其恩斯 | 图像处理设备、图像处理系统、图像处理方法和计算机程序 |
| JP2018001332A (ja) * | 2016-06-30 | 2018-01-11 | セイコーエプソン株式会社 | ロボット、制御装置、及びロボットシステム |
| CN107891414A (zh) * | 2016-10-04 | 2018-04-10 | 发那科株式会社 | 机器人系统 |
| JP2018094648A (ja) * | 2016-12-09 | 2018-06-21 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| CN108297095A (zh) * | 2017-01-12 | 2018-07-20 | 发那科株式会社 | 校准装置、校准方法以及计算机能够读取的介质 |
| CN108453701A (zh) * | 2017-02-09 | 2018-08-28 | 佳能株式会社 | 控制机器人的方法、示教机器人的方法和机器人系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6871220B2 (ja) | 2021-05-12 |
| CN111152243B (zh) | 2024-02-06 |
| DE102019215237A1 (de) | 2020-05-14 |
| US11241797B2 (en) | 2022-02-08 |
| JP2020075327A (ja) | 2020-05-21 |
| US20200147805A1 (en) | 2020-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11911914B2 (en) | System and method for automatic hand-eye calibration of vision system for robot motion | |
| CN111152243B (zh) | 控制系统 | |
| US11565427B2 (en) | Robot system | |
| EP2416113B1 (en) | Position and orientation measurement apparatus and position and orientation measurement method | |
| CN112276936B (zh) | 三维数据生成装置以及机器人控制系统 | |
| US9586321B2 (en) | Robot, control method of robot, and control device of robot | |
| US9630322B2 (en) | Information processing apparatus, method therefor, measurement apparatus, and working apparatus for estimating a position/orientation of a three-dimensional object based on relative motion | |
| US11625842B2 (en) | Image processing apparatus and image processing method | |
| JP6677522B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
| US20100262290A1 (en) | Data matching apparatus, data matching method and mobile robot | |
| CN114945450B (zh) | 机器人系统 | |
| US11691237B2 (en) | Machine control device | |
| US11698434B2 (en) | Machine control device | |
| US20230281857A1 (en) | Detection device and detection method | |
| WO2021145304A1 (ja) | 画像処理システム | |
| JP2006224291A (ja) | ロボットシステム | |
| JP7389237B2 (ja) | 座標系設定システム及び位置姿勢計測システム | |
| CN117957097A (zh) | 位置姿势测量系统 | |
| JP2021133458A (ja) | ３次元計測装置および３次元計測システム | |
| JP2020059064A (ja) | ロボットツールセンターポジションのずれ検出装置及び検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |