[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019130429A1 - ピッキング対象物把持情報登録システム - Google Patents

ピッキング対象物把持情報登録システム Download PDF

Info

Publication number
WO2019130429A1
WO2019130429A1 PCT/JP2017/046661 JP2017046661W WO2019130429A1 WO 2019130429 A1 WO2019130429 A1 WO 2019130429A1 JP 2017046661 W JP2017046661 W JP 2017046661W WO 2019130429 A1 WO2019130429 A1 WO 2019130429A1
Authority
WO
WIPO (PCT)
Prior art keywords
picking
see
gripping
dimensional
dimensional point
Prior art date
Application number
PCT/JP2017/046661
Other languages
English (en)
French (fr)
Inventor
克英 鈴木
朋弘 仲道
徐 剛
勉 石田
Original Assignee
Kyoto Robotics株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto Robotics株式会社 filed Critical Kyoto Robotics株式会社
Priority to PCT/JP2017/046661 priority Critical patent/WO2019130429A1/ja
Priority to JP2019561433A priority patent/JP6940186B2/ja
Publication of WO2019130429A1 publication Critical patent/WO2019130429A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a picking target object gripping information registration system.
  • the three-dimensional shape of the objects to be picked must be made into a database beforehand.
  • the number of kinds of objects to be picked is several thousand to hundreds of thousands.
  • an object of the present invention is to provide a picking target object gripping information registration system capable of realizing automation at a distribution site in view of the above problems.
  • the first generation means for example, a diagram for generating three-dimensional point cloud information of the picking target (for example, picking target 2 shown in FIG. 1) Camera 5 shown in 1), Second generation means (for example, the camera 5 shown in FIG. 1) for generating a two-dimensional image of the picking object (for example, the picking object 2 shown in FIG. 1); Three-dimensional point cloud information generated by the first generation unit (for example, the camera 5 shown in FIG. 1) and a two-dimensional image generated by the second generation unit (for example the camera 5 shown in FIG. 1) Hypothesis area means (eg, step S2 shown in FIG. 3) which hypothesizes the area of the picking object (eg, picking object 2 shown in FIG.
  • Step S4) A memory for storing the gripping position and gripping method in which the picking object (for example, picking object 2 shown in FIG. 1) is successfully grasped as a result of verification by the verification means (for example, step S4 shown in FIG. 3) And means (for example, a picking target related information registration database 66 shown in FIG. 1).
  • the first generation means and the second generation means may be different or identical.
  • the picking object in the picking target object gripping information registration system according to claim 1, as a result of verification by the verification means (for example, step S4 shown in FIG. 3), the picking object
  • the second generating means for example, the camera 5 shown in FIG. 1 again generates the three-dimensional point cloud information and the second Based on the two-dimensional image generated by the generating means (for example, the camera 5 shown in FIG. 1), the area of the picking object (for example, the picking object 2 shown in FIG. 1)
  • determining means e.g., step S8 shown in FIG. 3) for determining whether or not it is necessary to make a hypothesis in step S2) shown in FIG.
  • the storage means for example, picking object related information registration database 66 shown in FIG. 1
  • the gripping position and gripping method which failed in gripping the picking object are also stored. It is characterized by
  • the three-dimensional point cloud information generated by the first generation means (for example, the camera 5 shown in FIG. 1) and the second generation means (for example the camera 5 shown in FIG. 1) Based on the generated two-dimensional image, the area of the picking target (for example, picking target 2 shown in FIG. 1) is hypothesized area means (for example, step S2 shown in FIG. 3) and then hypothesized picking target Assuming the picking target (for example, picking target 2 shown in FIG. 1) based on the area of picking target 2 shown in FIG. 1, the assumed picking target (for example, FIG. 1)
  • the gripping position and gripping method of the picking object 2) are hypothesized by the hypothetical gripping means (for example, step S3 shown in FIG.
  • the method is verified by a verification means (for example, step S4 shown in FIG. 3) using a robot (for example, robot 3 shown in FIG. 1), and the picking object (eg, picking object 2 shown in FIG. 1) Since it becomes possible to automatically perform the process of storing the gripping position and gripping method that has succeeded in gripping in storage means (for example, picking target object related information registration database 66 shown in FIG. 1), as in the prior art, It is not necessary to store the three-dimensional shape of the picking target in advance in storage means (for example, picking target related information registration database 66 shown in FIG. 1). Further, since the verification result that has been successfully stored is stored in the storage means (for example, picking target object related information registration database 66 shown in FIG. 1), it can be used as master data at the time of actual operation. Thereby, automation at the distribution site can be realized.
  • a verification means for example, step S4 shown in FIG. 3
  • the picking object eg, picking object 2 shown in FIG.
  • the picking object for example, picking object 2 shown in FIG. 1
  • the three-dimensional point group information generated by the first generation means for example, the camera 5 shown in FIG. 1
  • the two-dimensional information generated by the second generation means for example the camera 5 shown in FIG.
  • the determination means for example, step S2 shown in FIG. 3 is necessary to hypothesize the area of the picking object (for example, the picking object 2 shown in FIG. 1). For example, since the determination is made in step S8) shown in FIG.
  • the correct gripping position and gripping method can be stored in storage means (for example, picking object related information registration database 66 shown in FIG. 1). .
  • storage means for example, picking object related information registration database 66 shown in FIG. 1).
  • an accurate gripping position and gripping method can be used as master data.
  • the storage means for example, picking target object related information registration database 66 shown in FIG. 1 is verified by the verification means (for example, step S4 shown in FIG. 3). Since the gripping position / gripping method in which gripping of the picking object (for example, picking object 2 shown in FIG. 1) fails is also stored, the failed gripping position / gripping method, the successful gripping position / gripping method is a fixed amount Once stored, machine learning can be performed.
  • FIG. 1 is a schematic overall view of a picking target object gripping information registration system according to an embodiment of the present invention. It is a figure which shows the table stored in the picking target object relevant-information registration database which concerns on the embodiment. It is a flowchart figure which shows the control procedure at the time of registering information in the picking target object pertinent information registration database concerning the embodiment.
  • A is a perspective view of a picking object of a horizontally long rectangular thick plate in which three-dimensional point group information is represented,
  • (b) is three-dimensional coordinates in the X direction, Y direction, and Z direction
  • C is a plan two-dimensional image of the picking object shown in (a) and (b), and (d) is shown in (c).
  • (A) is a planar two-dimensional image in which noise is present in the planar two-dimensional image shown in FIG. 4 (c), and (b) is a region of a picking object using the planar two-dimensional image shown in (a)
  • (A-1) is a perspective view of a triangular pyramid shaped picking object
  • (a-2) is a two-dimensional image of a triangular pyramid shaped picking object
  • (b-1) is (a-2)
  • (b-2) is a third order in which three-dimensional coordinates in the X direction, Y direction, and Z direction are expressed.
  • (C-1) is a part of a planar two-dimensional image of a triangular pyramid-like picking object shown in (a-2). Is a plane two-dimensional image extracted differently from (b-1), and (c-2) represents three-dimensional point group information representing three-dimensional coordinates in the X, Y, and Z directions. It is the perspective view which extracted a part of picked object to be different from (b-2).
  • (A) to (d) are diagrams showing a list of gripping positions and gripping methods hypothesized based on the area of the hypothesized picking object.
  • the picking target object gripping information registration system 1 includes a picking target object 2 (four containers are illustrated in the drawing) and a robot 3 for picking the picking target object 2.
  • the robot control device 4 for controlling the robot 3, a plurality of three-dimensional point cloud information indicating the three-dimensional coordinates of the picking target 2, and a plurality of three (three in the figure shown) capable of acquiring a two-dimensional image of the picking target 2. It comprises the camera 5 of the example) and the registration device 6 in which the information necessary for picking the picking object 2 is registered.
  • the robot 3 is attached to a base 30 fixed to an installation surface such as a floor or a wall, a robot arm 31 whose base end is rotatably connected to the base 30, and a tip of the robot arm 31
  • a robot hand 32 capable of gripping the object 2 by suction, sandwiching, supporting or the like is provided.
  • the robot hand 32 is provided with a grip sensor for measuring whether or not the picking object 2 is gripped, and a weight sensor for measuring the weight of the picking object 2 when gripping the picking object 2 is provided.
  • the measurement information of the grip sensor and / or the weight sensor is output to the registration device 6.
  • the robot control device 4 controls the operation of the robot 3 based on the data output from the registration device 6.
  • the registration device 6 includes a CPU 60, an input unit 61 capable of externally inputting predetermined data to the registration device 6 through a mouse, a keyboard, a touch panel, etc., and an output unit capable of outputting the predetermined data outside the registration device 6 62, a ROM 63 comprising a writable flash ROM or the like storing a predetermined program, etc., a RAM 64 functioning as a work area or a buffer memory, a display unit 65 comprising an LCD (Liquid Crystal Display), etc.
  • a picking object related information registration database 66 in which information necessary for picking 2 is stored.
  • a table TBL shown in FIG. 2 is stored. That is, the contents (see TB1a) of picking object 2 (see FIG. 1) are stored in table TBL, and furthermore, three-dimensional point cloud information (see TB1 b) of the contents of the picking object is stored, Furthermore, a two-dimensional image (see TB1 c) of each content of the picking target is stored, and further, a gripping position (see TB1 d) and a gripping method (refer to TB1 e) of each content of the picking target are stored. Further, verification results (see TB1f) of the gripping position (see TB1d) and the gripping method (see TB1e) are stored.
  • the contents (see TB1a to TB1f) stored in the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) in more detail are the table TBL (see FIG. 2)
  • the method of storing the information will be specifically described with reference to FIGS. 3 to 7 as well.
  • the operator instructs the activation of the program stored in the ROM 63 shown in FIG. 1 using the input unit 61 of the registration device 6 shown in FIG.
  • the CPU 60 (see FIG. 1) of the registration device 6 performs the process as shown in FIG.
  • description will be made with reference to FIG.
  • the processing content of the program shown in FIG. 3 is merely an example, and the present invention is not limited to this.
  • the CPU 60 acquires three-dimensional point group information indicating three-dimensional coordinates of the picking target 2 acquired by the camera 5 and a two-dimensional image of the picking target 2 (step S1). More specifically, when the three-dimensional point group information indicating the three-dimensional coordinates of the picking target 2 acquired by the camera 5 and the two-dimensional image of the picking target 2 are output from the camera 5, the output picking The three-dimensional point cloud information indicating the three-dimensional coordinates of the object 2 and the two-dimensional image of the picking object 2 are input into the registration device 6 through the input unit 61 (see FIG. 1) of the registration device 6. In response to this, the CPU 60 (see FIG. 1) acquires three-dimensional point group information indicating three-dimensional coordinates of the picking target 2 acquired by the camera 5 and a two-dimensional image of the picking target 2 (step S1). More specifically, when the three-dimensional point group information indicating the three-dimensional coordinates of the picking target 2 acquired by the camera 5 and the two-dimensional image of the picking target 2 are output from the camera 5, the output picking The three-dimensional point
  • the picking object related information registration database 66 (see FIG. 1) Registered in the item (see TB1 b) of the three-dimensional point cloud information of the table TBL (see FIG. 2), and the two-dimensional image of the picking object 2 is stored in the picking object related information registration database 66 (see FIG. 1) It registers in the item (see TB1 c) of the two-dimensional image of the table TBL (see FIG. 2). That is, to specifically illustrate, the three-dimensional coordinates (X n1 , Y n1 , Z n1 ) (n 1 11 integer) of the picking target object (container A) acquired by the camera 5 is the table TBL (FIG.
  • the two-dimensional image (two-dimensional image Ba, two-dimensional image Bb) of the picking object (container B) registered and acquired by the camera 5 is an item (see TB1 c) of the two-dimensional image of the table TBL (see FIG. 2) Will be registered.
  • the angle in the X direction of the three-dimensional point group information of the picking object (container A) (exemplified by ⁇ X n1 in FIG. 2)
  • the angle of the Y direction of the three-dimensional point group information of the picking object (container A) in Figure 2 illustrates a .phi.Y n1)
  • the picking object Z-direction angle of the three-dimensional point group data of the container a)
  • the CPU 60 stores the three-dimensional point cloud information item (see TB1 b) of the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) 3D point group information and the 2D image stored in the 2D image item (see TB1c) of the table TBL (see FIG. 2) are read out, and based on the 3D point group information and the 2D image Then, the area (segmentation) of picking object 2 (see FIG. 1) is hypothesized (step S2). That is, to illustrate specifically, the content (container A) registered in the picking target object (see TB1a) of the table TBL (see FIG. 2) is as shown in FIG.
  • the upper picking object 2A is the upper picking object 2Aa, and the lower picking is performed.
  • the object 2A will be described as the lower picking object 2Ab.
  • the three-dimensional point group TGA acquired by the camera 5 includes two picking objects 2A (upper picking objects).
  • the object 2Aa, the lower picking object 2Ab) is represented throughout.
  • These three-dimensional point groups TGA are, as shown in FIG. 4B, three-dimensional point group information of three-dimensional coordinates (table TBL (see FIG. 2)) represented in the X direction, Y direction, and Z direction.
  • the hypothesis of the area (segmentation) of picking object 2 can not always be correct. That is, as shown in FIG. 5A, when noise N is present in the two-dimensional image acquired by the camera 5 (registered in the two-dimensional image (see TB1 c) in the table TBL (see FIG. 2) The contents of the two-dimensional image Ab) and the CPU 60 (see FIG. 1) determine that the noise N portion is an edge portion, and as shown in FIG. 5B, the upper picking target is It may be determined that the object 2Aa is divided into the first upper picking target 2Aa1 and the second upper picking target 2Aa2. Thereby, as shown in FIG.
  • the first upper picking target object 2Aa1 and the first upper picking target object 2Aa1 are originally supposed to be hypothesized based on the area (segmentation) of the upper picking target object 2Aa and the lower picking target object 2Ab. It may be hypothesized that there is a region (segmentation) of the two upper picking objects 2Aa2 and the lower picking objects 2Ab.
  • the content (container B) registered in the picking target object (see TB1a) of the table TBL (see FIG. 2) is a triangular pyramid shaped picking target object 2B as shown in FIG. 6 (a-1).
  • the left picking object 2B is taken as the left picking object 2Ba
  • the center side picking object 2B is at the center side Picking object 2Bb
  • right picking object 2C is described as right picking object 2Bc
  • shadow K occurs between left picking object 2Ba and center side picking object 2B
  • center side picking object A shadow K may occur between the object 2Bb and the right picking object 2Bc.
  • the CPU 60 see FIG.
  • the CPU 60 has three picking objects 2B (left picking object 2Ba, center side picking object 2Bb, right picking shown in FIG. 6 (a-2)) acquired by the camera 5.
  • the three-dimensional shape for hypothesizing the correct area is not registered in the table TBL shown in FIG. 2 in advance, and the area of picking object 2 (see FIG. 1) ( After hypothesising (segmentation), the validity of the hypothesis is verified.
  • the CPU 60 estimates the picking object 2 (refer to FIG. 1) based on the area (segmentation) of the picking object 2 (refer to FIG. 1) hypothesized in step S2.
  • the gripping position and gripping method of the picked object 2 (see FIG. 1) are hypothesized (step S3). Specifically, when the CPU 60 (see FIG. 1) hypothesizes the area (segmentation) of the upper picking target 2Aa and the lower picking target 2Ab shown in FIG.
  • the upper picking target The shape and position of 2Aa are three-dimensional coordinates (X n1 ) registered in the three-dimensional point group information item (see TB1 b) of the X direction, Y direction, and Z direction (table TBL (see FIG. 2)).
  • X n1 three-dimensional coordinates registered in the three-dimensional point group information item (see TB1 b) of the X direction, Y direction, and Z direction (table TBL (see FIG. 2)).
  • Y n1 , Z n1 ) (n 1 ) 1 integer) can be estimated by analyzing the value of the three-dimensional point group TGA by the CPU 60 (see FIG. 1).
  • the shape and position of the upper picking target 2Aa can be estimated in this way, the position of the center of gravity of the upper picking target 2Aa can also be estimated by the CPU 60 (see FIG. 1).
  • the virtual shape of the upper picking object 2Aa can be estimated by the CPU 60 (see FIG. 1). That is, in the case of the two-dimensional image Aa as an example of contents registered in the two-dimensional image (see the table TBL (see TB2) in the two-dimensional image (see the table TBL (see FIG. 2)) as shown in FIG. Assuming that the origin O of 5 is on the left side in the figure, the two-dimensional image shown in FIG.
  • the 4C is not inclined with respect to the origin O of the camera 5 (in this case, the inclination 0).
  • the inclination angle ⁇ ⁇ ⁇ ⁇ with respect to the origin O can be estimated by the CPU 60 (see FIG. 1).
  • the inclination of the estimated shape of the upper picking object 2Aa can be estimated by the CPU 60 (see FIG. 1).
  • three-dimensional coordinates in the X direction, Y direction, and Z direction (table TBL (see FIG. 2)) based on the estimated inclination.
  • a three-dimensional point group TGA represented by three-dimensional coordinates (X n1 , Y n1 , Z n1 ) (n 1 11 integer) registered in the item (see TB1 b) of three-dimensional point group information
  • the slope can also be estimated. That is, the angle in the X direction of the three-dimensional point group information of the picking object (container A) (exemplified as .phi.X n1 in FIG. 2), the angle in the Y direction of the three-dimensional point group information of the picking object (container A) in Figure 2, illustrates a .phi.Y n1), the picking object (Z-direction angle of the three-dimensional point group data of the container a) (Fig.
  • the CPU 60 hypothesizes various gripping positions and gripping methods and generates a list Do. Specifically, as shown in FIG. 7 (a), a list of hypothesis numbers (in the illustration, 1... And an illustration (see L1a)) is generated, and a gripping position (in the illustration, A list of the center of gravity of the upper picking object shown in FIG. 4 and an example (see L1 b) is generated, and a gripping method corresponding to the hypothesis number (in the drawing, adsorption from the upper surface normal direction, and so on) Generate a list of L1 c))).
  • a list of hypothesis numbers in the illustration, 1... And an illustration (see L1a)
  • a gripping position in the illustration, A list of the center of gravity of the upper picking object shown in FIG. 4 and an example (see L1 b) is generated, and a gripping method corresponding to the hypothesis number (in the drawing, adsorption from the upper surface normal direction, and so on) Generate a list of L1 c)
  • FIG. 5 (b) it is hypothesized that there is a region (segmentation) of the first upper picking target 2Aa1, the second upper picking target 2Aa2, and the lower picking target 2Ab.
  • the same processing as described above is performed to estimate the shapes, positions, center-of-gravity positions, and orientations of the first upper picking target object 2Aa1 and the second upper picking target object 2Aa2.
  • Reference) hypothesizes various gripping positions and gripping methods and generates a list. Specifically, as shown in FIG. 7 (b), a list of hypothesis numbers (in the figure, 1, 2, 3... And an illustration (see L2a)) is generated, and a gripping position corresponding to the hypothesis number is generated.
  • the CPU 60 hypothesizes various gripping positions and gripping methods and generates a list. Specifically, as shown in FIG. 7 (c), a list of hypothesis numbers (in the drawing, 1, 2... And an illustration (see L3a)) is generated, and the gripping position (in the illustration) Then, a list of the center of gravity of the left picking target shown in FIG. 6 (b-2), the center of gravity of the left picking target shown in FIG.
  • the CPU 60 hypothesizes various gripping positions and gripping methods, and generates a list. Specifically, as shown in FIG. 7 (d), a list of hypothesis numbers (in the drawing, 1, 2... And an illustration (see L4a)) is generated, and the gripping position (in the illustration) Then, a list of the center of gravity of the left picking target shown in FIG. 6 (c-2), the bottom of the left picking target shown in FIG.
  • the CPU 60 first verifies the gripping position and gripping method of the picking target 2 (see FIG. 1) hypothesized in the step S3.
  • FIG. 7B for example, a list shown in FIG. 7B is generated.
  • the holding position and holding method of the hypothesized picking target 2 (see FIG. 1) corresponding to the first hypothesis number of the list generated as shown.
  • the gripping position corresponding to the hypothesis number “1” see L2a “the center of gravity of ⁇ of the upper picking object shown in FIG.
  • the gripping method “suction from the upper surface normal direction” (see L2c)
  • the command value is output to the robot control device 4 via the output unit 62 (see FIG. 1).
  • the robot control device 4 controls the robot 3 (see FIG. 1) based on the indicated value, and thereby, the picking target object with the robot hand 32 (see FIG. 1) of the robot 3 (see FIG. 1). Hold 2 (see FIG. 1).
  • the gripping sensor provided on the robot hand 32 detects whether or not the picking target 2 (see FIG. 1) is gripped, and the detection result is registered in the registration device 6 (see FIG. 1). ) (Step S4).
  • the CPU 60 analyzes the detection result Check whether the gripping is successful (step S5). If gripping is not successful (step S5: NO), the CPU 60 (see FIG. 1) hypothesized corresponding to the first hypothesis number of the list generated as shown in FIG. 7 (a) to (d) above. It is registered in the table TBL (see FIG. 2) that the gripping result of the gripping position / gripping method of the picking object 2 (see FIG. 1) is “failure”. That is, the gripping position (for example, "the center of gravity of the upper picking object shown in FIG. 5" (see L2b) shown in FIG.
  • the CPU 60 confirms whether or not there is a hypothesis number to be verified next in the list generated as shown in FIGS. 7A to 7D (step S6). If there is a hypothesis to be verified next (for example, if the list shown in FIG. 7B is generated, hypothesis number "1" is a failure, so the next hypothesis number "2") (step S6: YES) Then, in order to verify the hypothesis, the process returns to step S4, and if the list to be verified (for example, the list shown in FIG. 7B is generated), the grasp corresponding to hypothesis number "2" (see L2a) The robot hand 32 of the robot 3 (see FIG. 1) based on the position “center of gravity of the upper picking object shown in FIG. 5” (see L2 b) and the gripping method “suction from upper surface normal direction” (see L2 c) The picking object 2 (see FIG. 1) is gripped by the (see FIG. 1).
  • steps S4 to S6 are repeated until the hypothesis number corresponding to the gripping position and gripping method in which gripping is successful is found.
  • step S6 if there is no hypothesis to be verified in the generated list (step S6: NO), the CPU 60 (see FIG. 1) urges readjustment of the camera 5, the robot 3, etc. A warning is displayed on the display unit 65 (see FIG. 1) (step S7), and the process ends.
  • step S5 if gripping is successful (step S5: YES), the CPU 60 (see FIG. 1) corresponds to the successful hypothesis number among the lists generated as shown in FIG. 7 (a) to (d) above. It is registered in the table TBL (see FIG. 2) that the gripping result of the gripping position and gripping method of the hypothesized picking target 2 (see FIG. 1) is “success”. That is, the grip position (TB1 d) of the table TBL (see FIG. 2) and the grip position (for example, “the center of gravity of ⁇ + ⁇ of the upper picking target shown in FIG. 5 (b)” (see L2b) shown in FIG.
  • the gripping method for example, “suction from the upper surface normal direction” (see L2c) shown in FIG. 7B) is registered in the gripping method (TB1e) of the table TBL (see FIG. 2).
  • the gripping position / gripping method is “success”. Note that the gripping position and gripping method registered as “successful” will be used as master data at the time of actual operation.
  • the CPU 60 determines again whether the area (segmentation) of the picking target 2 (see FIG. 1) needs to be hypothesized (step S8).
  • a successful gripping position for example, "the center of gravity of ⁇ + ⁇ of the upper picking target shown in Fig. 5 (b) shown in Fig. 2 (see TB1 d)
  • ⁇ gripping method for example, Fig. 5 (b) Is displayed on the display unit 65 (see FIG. 1), and the operator is asked to select whether this content is acceptable or not.
  • the operator is urged to visually confirm that a plurality of picking objects 2 (see FIG. 1) are not gripped but a single picking object 2 (see FIG. 1) is gripped.
  • the weight sensor provided on the robot hand 32 detects the weight of the picking object 2 (see FIG. 1) being held, and the detected weight is registered in the registration device 6 (FIG. 1).
  • the CPU 60 confirms whether the weight matches the weight of the picking target 2 (see FIG. 1) stored in advance in the ROM 63 (see FIG. 1).
  • step S8: NO If it is not necessary to hypothesize the area (segmentation) of picking object 2 (see FIG. 1) again, that is, the worker chooses that this content is good, or a single picking object 2 (see FIG. 1) ) Is gripped or the weights match (step S8: NO), the process is ended.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • step S8 YES
  • the process returns to step S2, and the area (segmentation) of the picking target 2 (see FIG. 1) is again performed.
  • make a hypothesis If it is necessary to hypothesize the area (segmentation) of picking object 2 (see FIG. 1) again, CPU 60 (see FIG. 1) checks the verification result (see TB1 f) of table TBL (see FIG. 2). The content in which the gripping position / gripping method is registered as “success” is changed as “failure”.
  • the contents shown in TB1a to TB1f shown in FIG. 2 are displayed in the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) by performing the processing as described above. It will be stored.
  • the area (segmentation) of picking object 2 after the area (segmentation) of picking object 2 (see FIG. 1) is hypothesized, the area (segmentation) of the hypothesized picking object 2 (see FIG. 1) It is possible to automatically perform the process of hypothesizing the gripping position and gripping method, verifying the validity, and registering the verification result in the picking object related information registration database 66 (see FIG. 1). It is not necessary to register the three-dimensional shapes of all picking objects in the picking object related information registration database 66 (see FIG. 1) in advance as in the prior art. Further, since the verification result of success is registered in the picking target related information registration database 66 (see FIG. 1), it can be used as master data at the time of actual operation. As a result, automation at a distribution site can be realized.
  • a failed gripping position / gripping method and a successful gripping position / gripping method are registered in a fixed amount in the table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1), This is because machine learning can be performed.
  • machine learning is divided into a process of learning a region (segmentation) of the picking target object 2 (see FIG. 1) and a process of learning a gripping position and gripping method.
  • a process of learning the area (segmentation) of picking object 2 (see FIG. 1)
  • three-dimensional points of table TBL stored in picking object related information registration database 66 (see FIG. 1)
  • the CPU 60 Using three-dimensional point group information registered in the group information item (see TB1 b) and a two-dimensional image registered in the two-dimensional image item (see TB1 c) of the table TBL (see FIG. 2)
  • the CPU 60 see FIG.
  • the CPU 60 uses the known supervised learning program stored in the ROM 63 (see FIG. 1) to select the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Display area (segmentation) list of reference).
  • the teacher data use the success case of the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) or use the display unit 65 (see FIG. 1) What a worker selected from the area
  • the CPU 60 uses the known supervised learning program stored in the ROM 63 (see FIG. 1) to select the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Display the gripping position and gripping method list (see).
  • the teacher data use the success case of the table TBL (see FIG. 2) stored in the picking object related information registration database 66 (see FIG. 1) or use the display unit 65 (see FIG. 1) What is selected by the operator from the grip position / gripping method list of the picking target 2 (see FIG. 1) to be displayed may be used.
  • the CPU 60 when using reinforcement learning as machine learning, is a table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1) as "reward”.
  • Reward “1” is given to “Success” registered in the verification result item (see TB1f) in Table TBL (see FIG. 2) stored in the picking target object related information registration database 66 (see FIG. 1).
  • Reward “0” is given to “failure” registered in the verification result item (see TB1f).
  • the CPU 60 places “action” in the item (see TB1 d) of the gripping position of the table TBL (see FIG.
  • the CPU 60 uses the well-known reinforcement learning program stored in the ROM 63 (see FIG. 1) to display the picking object 2 (see FIG. 1) on the display unit 65 (see FIG. 1). Each time, the combination of the grasping position and the grasping method in which the predetermined evaluation was made is displayed.
  • the machine learning as described above can be performed if the failed gripping position / gripping method and the successful gripping position / gripping method are registered by a fixed amount, the failed gripping position / gripping method It is preferable to register.
  • the picking target object 2 exemplified in the present embodiment is merely an example, and any item can be applied as long as it is an article to be handled at a distribution site.
  • the example which can acquire the three-dimensional point-group information which shows the three-dimensional coordinate of the picking object 2 and the two-dimensional image of the picking object 2 with the camera 5 was shown, it does not restrict to it.
  • 5 is a mere imaging function
  • the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1) generates three-dimensional point cloud information indicating three-dimensional coordinates of the picking object 2.
  • a two-dimensional image may be generated.
  • three-dimensional point group information indicating the three-dimensional coordinates of the picking object 2 is generated by one of the camera 5 and the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1).
  • a two-dimensional image of the picking object 2 may be generated by the CPU 60 (see FIG. 1) of the registration device 6 (see FIG. 1).
  • the present invention is not limited thereto, and the camera 5 may be incorporated in the robot 3.
  • the robot control device 4 and the registration device 6 are separately provided, the robot control device 4 and the registration device 6 may be integrated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

物流現場における自動化を実現することができるピッキングシステムを提供することを目的としている。 カメラにて生成された三次元点群情報と二次元画像に基づき、ピッキング対象物の領域を仮説する仮説領域手段(ステップS2)と、 仮説領域手段(ステップS2)にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段(ステップS3)と、 仮説把持手段(ステップS3)にて仮説した把持位置・把持方法を、ロボットを用いて検証する検証手段(ステップS4)と、 検証手段(ステップS4)にて検証した結果、ピッキング対象物の把持に成功した把持位置・把持方法を登録するピッキング対象物関連情報登録データベースと、を備えている。

Description

ピッキング対象物把持情報登録システム
 本発明は、ピッキング対象物把持情報登録システムに関する。
 従来、製造現場などで、画像処理技術を用いた様々な自動化技術が利用されている。このような技術として、たとえば、画像処理により対象物の位置情報を認識し、認識した位置情報に基づいてロボットハンドを用いて対象物を把持し移動させる技術が知られている(例えば、特許文献1)。
特開2010-69542号公報
 ところで、昨今、通販等の大量の商品を扱う物流現場において、人的削減や時間短縮を目的として、上記のような技術を用いて自動化が図れないか否かの実験が行われている。
 しかしながら、上記のような技術を用いるにあたって、ピッキング対象物の三次元形状を予めデータベース化しなければならないところ、物流現場においては、ピッキング対象物の種類が、数千~数十万件という膨大な数に上り、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題があった。
 そこで、上記のような技術を用いて多種の商品を扱うシステムにおいて、ピッキング対象物の形状・姿勢を自動で推定・認識するとともに、推定・認識の結果に基づいて適切な把持位置・把持方法を自動設定する方法が求められている。
 しかしながら、上記のような自動設定する方法は未だ実現できておらず、もって、物流現場においては、未だ自動化が実現できていないという問題があった。
 そこで、本発明は、上記問題に鑑み、物流現場における自動化を実現することができるピッキング対象物把持情報登録システムを提供することを目的としている。
 上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
 請求項1の発明に係るピッキング対象物把持情報登録システムによれば、ピッキング対象物(例えば、図1に示すピッキング対象物2)の三次元点群情報を生成する第1生成手段(例えば、図1に示すカメラ5)と、
 前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の二次元画像を生成する第2生成手段(例えば、図1に示すカメラ5)と、
 前記第1生成手段(例えば、図1に示すカメラ5)にて生成された三次元点群情報と前記第2生成手段(例えば、図1に示すカメラ5)にて生成された二次元画像に基づき、前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の領域を仮説する仮説領域手段(例えば、図3に示すステップS2)と、
 前記仮説領域手段(例えば、図3に示すステップS2)にて仮説したピッキング対象物(例えば、図1に示すピッキング対象物2)の領域に基づいて、ピッキング対象物(例えば、図1に示すピッキング対象物2)を想定し、該想定したピッキング対象物(例えば、図1に示すピッキング対象物2)の把持位置・把持方法を仮説する仮説把持手段(例えば、図3に示すステップS3)と、
 前記仮説把持手段(例えば、図3に示すステップS3)にて仮説した前記把持位置・把持方法を、ロボット(例えば、図1に示すロボット3)を用いて検証する検証手段(例えば、図3に示すステップS4)と、
 前記検証手段(例えば、図3に示すステップS4)にて検証した結果、前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に成功した前記把持位置・把持方法を記憶する記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)と、を備えてなることを特徴としている。なお、第1生成手段と、第2生成手段は、異なっても良いし、同一でも良い。
 また、請求項2の発明によれば、上記請求項1に記載のピッキング対象物把持情報登録システムにおいて、前記検証手段(例えば、図3に示すステップS4)にて検証した結果、前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に成功した際、再度、前記第1生成手段(例えば、図1に示すカメラ5)にて生成された三次元点群情報と前記第2生成手段(例えば、図1に示すカメラ5)にて生成された二次元画像に基づき、前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の領域を仮説領域手段(例えば、図3に示すステップS2)にて仮説させる必要があるか否かの判定を行う判定手段(例えば、図3に示すステップS8)と、をさらに備えてなることを特徴としている。
 さらに、請求項3の発明によれば、上記請求項1に記載のピッキング対象物把持情報登録システムにおいて、前記記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)は、前記検証手段(例えば、図3に示すステップS4)にて検証した結果、前記ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に失敗した前記把持位置・把持方法も記憶してなることを特徴としている。
 次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
 請求項1に係る発明によれば、第1生成手段(例えば、図1に示すカメラ5)にて生成された三次元点群情報と第2生成手段(例えば、図1に示すカメラ5)にて生成された二次元画像に基づき、ピッキング対象物(例えば、図1に示すピッキング対象物2)の領域を仮説領域手段(例えば、図3に示すステップS2)仮説した後、仮説したピッキング対象物(例えば、図1に示すピッキング対象物2)の領域に基づいて、ピッキング対象物(例えば、図1に示すピッキング対象物2)を想定し、該想定したピッキング対象物(例えば、図1に示すピッキング対象物2)の把持位置・把持方法を仮説把持手段(例えば、図3に示すステップS3)にて仮説し、仮説把持手段(例えば、図3に示すステップS3)にて仮説した把持位置・把持方法を、ロボット(例えば、図1に示すロボット3)を用いて検証手段(例えば、図3に示すステップS4)にて検証し、ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に成功した把持位置・把持方法を記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)に記憶する工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予め記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)に記憶しておく必要がなくなる。さらに、成功した検証結果を記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)に記憶しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができる。
 また、請求項2に係る発明によれば、検証手段(例えば、図3に示すステップS4)にて検証した結果、ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に成功した際、再度、第1生成手段(例えば、図1に示すカメラ5)にて生成された三次元点群情報と第2生成手段(例えば、図1に示すカメラ5)にて生成された二次元画像に基づき、ピッキング対象物(例えば、図1に示すピッキング対象物2)の領域を仮説領域手段(例えば、図3に示すステップS2)にて仮説させる必要があるか否かを、判定手段(例えば、図3に示すステップS8)にて判定させているから、正確な把持位置・把持方法を、記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)に記憶することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用できることとなる。
 さらに、請求項3に係る発明によれば、記憶手段(例えば、図1に示すピッキング対象物関連情報登録データベース66)は、検証手段(例えば、図3に示すステップS4)にて検証した結果、ピッキング対象物(例えば、図1に示すピッキング対象物2)の把持に失敗した把持位置・把持方法も記憶しているから、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量記憶されれば、機械学習を実施することができる。
本発明の一実施形態に係るピッキング対象物把持情報登録システムの概略全体図である。 同実施形態に係るピッキング対象物関連情報登録データベースに格納されているテーブルを示す図である。 同実施形態に係るピッキング対象物関連情報登録データベースに情報を登録する際の制御手順を示すフローチャート図である。 (a)は、三次元点群情報が表わされた横長矩形状厚板のピッキング対象物の斜視図、(b)は、X方向,Y方向,Z方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の斜視図、(c)は、(a),(b)に示すピッキング対象物の平面二次元画像、(d)は、(c)に示す平面二次元画像が傾いている場合の平面二次元画像を示す図である。 (a)は、図4(c)に示す平面二次元画像にノイズが存在している平面二次元画像、(b)は、(a)に示す平面二次元画像を用いてピッキング対象物の領域を推定した状態を示す図である。 (a-1)は、三角錐状のピッキング対象物の斜視図、(a-2)は、三角錐状のピッキング対象物の平面二次元画像、(b-1)は、(a-2)に示す三角錐状のピッキング対象物の平面二次元画像の一部を抽出した平面二次元画像、(b-2)は、X方向,Y方向,Z方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を抽出した斜視図、(c-1)は、(a-2)に示す三角錐状のピッキング対象物の平面二次元画像の一部を(b-1)とは異なるように抽出した平面二次元画像、(c-2)は、X方向,Y方向,Z方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を(b-2)とは異なるように抽出した斜視図である。 (a)~(d)は、仮説したピッキング対象物の領域に基づいて仮説した把持位置・把持方法のリストを示す図である。
 以下、本発明に係るピッキング対象物把持情報登録システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。
 図1に示すように、ピッキング対象物把持情報登録システム1は、ピッキング対象であるピッキング対象物2(図示では4本の容器を例示している)と、このピッキング対象物2をピッキングするロボット3と、このロボット3を制御するロボット制御装置4と、ピッキング対象物2の三次元座標を示す三次元点群情報とピッキング対象物2の二次元画像を取得できる複数台(図示では、3台を例示)のカメラ5と、ピッキング対象物2をピッキングする際に必要な情報が登録される登録装置6と、で構成されている。
 ロボット3は、床や壁等の設置面に固定される土台30と、土台30に対して基端が回転可能に連結されているロボットアーム部31と、ロボットアーム部31の先端に取り付けられ、ピッキング対象物2を吸着・挟み込み・支持等によって把持することができるロボットハンド32とを備えている。なお、このロボットハンド32には、ピッキング対象物2を把持した否かを計測する把持センサが設けられ、ピッキング対象物2を把持した際の当該ピッキング対象物2の重量を計測する重量センサが設けられており、把持センサ及び/又は重量センサの計測情報は、登録装置6に出力される。
 一方、ロボット制御装置4は、登録装置6より出力されるデータに基づきロボット3の稼動を制御するものである。
 登録装置6は、CPU60と、マウスやキーボード、タッチパネル等にて外部から所定データを登録装置6に入力することができる入力部61と、登録装置6外に所定データを出力することができる出力部62と、所定のプログラム等を格納した書込み可能なフラッシュROM等からなるROM63と、作業領域やバッファメモリ等として機能するRAM64と、LCD(Liquid Crystal Display)等からなる表示部65と、ピッキング対象物2をピッキングする際に必要な情報が格納されているピッキング対象物関連情報登録データベース66と、で構成されている。
 ところで、ピッキング対象物関連情報登録データベース66には、図2に示すテーブルTBLが格納されている。すなわち、テーブルTBLには、ピッキング対象物2(図1参照)の内容(TB1a参照)が格納され、さらに、そのピッキング対象物の内容それぞれの三次元点群情報(TB1b参照)が格納され、そしてさらに、そのピッキング対象物の内容それぞれの二次元画像(TB1c参照)が格納され、またさらに、そのピッキング対象物の内容それぞれの把持位置(TB1d参照),把持方法(TB1e参照)が格納され、またさらに、その把持位置(TB1d参照),把持方法(TB1e参照)それぞれの検証結果(TB1f参照)が格納されている。
 ここで、より詳しくピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)に格納されている内容(TB1a~TB1f参照)をテーブルTBL(図2参照)に格納する方法を、図3~図7も参照して具体的に説明する。
 上記のような方法を行うにあたっては、作業者が、図1に示す登録装置6の入力部61を用いて、図1に示すROM63内に格納されているプログラムの起動を指示する。これにより、登録装置6のCPU60(図1参照)は、図3に示すような処理を行う。以下、図3を参照して説明する。なお、図3に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。
 まず、CPU60(図1参照)は、カメラ5にて取得されたピッキング対象物2の三次元座標を示す三次元点群情報とピッキング対象物2の二次元画像を取得する(ステップS1)。より詳しく説明すると、カメラ5にて取得されたピッキング対象物2の三次元座標を示す三次元点群情報とピッキング対象物2の二次元画像がカメラ5より出力されると、その出力されたピッキング対象物2の三次元座標を示す三次元点群情報とピッキング対象物2の二次元画像は、登録装置6の入力部61(図1参照)を介して登録装置6内に入力される。これを受けて、CPU60(図1参照)は、その入力されたピッキング対象物2の三次元座標を示す三次元点群情報をピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録し、ピッキング対象物2の二次元画像をピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の二次元画像の項目(TB1c参照)に登録する。すなわち、具体的に例示すると、カメラ5にて取得されたピッキング対象物(容器A)の三次元座標(Xn1,Yn1,Zn1)(n≧1の整数)がテーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録され、カメラ5にて取得されたピッキング対象物(容器B)の三次元座標(Xn2,Yn2,Zn2)(n≧1の整数)がテーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されることとなる。さらに、カメラ5にて取得されたピッキング対象物(容器A)の二次元画像(二次元画像Aa,二次元画像Ab)がテーブルTBL(図2参照)の二次元画像の項目(TB1c参照)に登録され、カメラ5にて取得されたピッキング対象物(容器B)の二次元画像(二次元画像Ba,二次元画像Bb)がテーブルTBL(図2参照)の二次元画像の項目(TB1c参照)に登録されることとなる。なお、ピッキング対象物(容器A)の三次元点群情報のX方向の角度(図2では、φXn1と例示),ピッキング対象物(容器A)の三次元点群情報のY方向の角度(図2では、φYn1と例示),ピッキング対象物(容器A)の三次元点群情報のZ方向の角度(図2では、φZn1と例示)、ピッキング対象物(容器B)の三次元点群情報のX方向の角度(図2では、φXn2と例示),ピッキング対象物(容器B)の三次元点群情報のY方向の角度(図2では、φYn2と例示),ピッキング対象物(容器B)の三次元点群情報のZ方向の角度(図2では、φZn2と例示)は、この時点では、まだ、テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されていない。なお、テーブルTBL(図2参照)のピッキング対象物(TB1a参照)に登録されている内容(図2では、容器A,容器Bと例示)は、作業者が、図1に示す登録装置6の入力部61を用いて、登録しておけばよい。
 次いで、CPU60(図1参照)は、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に格納されている三次元点群情報と、テーブルTBL(図2参照)の二次元画像の項目(TB1c参照)に格納されている二次元画像とを読み出し、三次元点群情報と二次元画像とに基づいて、ピッキング対象物2(図1参照)の領域(セグメンテーション)を仮説する(ステップS2)。すなわち、具体的に例示すると、テーブルTBL(図2参照)のピッキング対象物(TB1a参照)に登録されている内容(容器A)が、図4(a)に示すような、横長矩形状厚板のピッキング対象物2Aであって、2個のピッキング対象物2Aが上下に重なり合っている場合(説明の都合上、以下では、上側のピッキング対象物2Aを上側ピッキング対象物2Aaとし、下側のピッキング対象物2Aを下側ピッキング対象物2Abとして説明する)、図4(a)に示すように、カメラ5にて取得される三次元点群TGAは、2個のピッキング対象物2A(上側ピッキング対象物2Aa,下側ピッキング対象物2Ab)の全体に亘って表わされる。そして、これら三次元点群TGAは、それぞれ、図4(b)に示すように、X方向,Y方向,Z方向で表わされる三次元座標(テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元座標(Xn1,Yn1,Zn1)(n≧1の整数))にて表わすことができる。また、カメラ5にて取得される2個のピッキング対象物2A(上側ピッキング対象物2Aa,下側ピッキング対象物2Ab)の二次元画像(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Aaと例示)は、図4(c)に示すように、2個のピッキング対象物2A(上側ピッキング対象物2Aa,下側ピッキング対象物2Ab)が重なり合っている状態にて表わされる。しかして、CPU60(図1参照)は、このX方向,Y方向,Z方向の三次元座標で表される三次元点群TGAによって、距離情報を算出し、そして、X方向,Y方向,Z方向の三次元座標で表される三次元点群TGAと二次元画像を用いて、2個のピッキング対象物2Aのエッジ情報を算出し、もって、これら算出した情報から、上側ピッキング対象物2Aa、下側ピッキング対象物2Abを判定する。これにより、上側ピッキング対象物2Aa、下側ピッキング対象物2Abの領域(セグメンテーション)が仮説できることとなる。
 しかしながら、ピッキング対象物2(図1参照)の領域(セグメンテーション)の仮説はこのように必ずしも正しくできるとは限らない。すなわち、カメラ5にて取得される二次元画像に、図5(a)に示すように、ノイズNが存在していた場合(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Abと例示)、CPU60(図1参照)は、このノイズN部分がエッジ部分だと判断し、もって、図5(b)に示すように、上側ピッキング対象物2Aaが第1の上側ピッキング対象物2Aa1と、第2の上側ピッキング対象物2Aa2とに分かれたものであると判定する可能性がある。これにより、本来は、図4に示すように、上側ピッキング対象物2Aa、下側ピッキング対象物2Abの領域(セグメンテーション)で仮説されるにも係らず、第1の上側ピッキング対象物2Aa1と、第2の上側ピッキング対象物2Aa2と、下側ピッキング対象物2Abとの領域(セグメンテーション)があるものとして仮説される可能性がある。
 一方、テーブルTBL(図2参照)のピッキング対象物(TB1a参照)に登録されている内容(容器B)が、図6(a-1)に示すような、三角錐状のピッキング対象物2Bであって、3個のピッキング対象物2Bが横並びになっている場合(説明の都合上、以下では、左側のピッキング対象物2Bを左側ピッキング対象物2Baとし、中央側のピッキング対象物2Bを中央側ピッキング対象物2Bbとし、右側のピッキング対象物2Cを右側ピッキング対象物2Bcとして説明する)、左側ピッキング対象物2Baと中央側のピッキング対象物2Bとの間に影Kが発生し、中央側ピッキング対象物2Bbと右側ピッキング対象物2Bcとの間に影Kが発生する可能性がある。この際、CPU60(図1参照)は、影Kの影響で、左側のピッキング対象物2Bを左側ピッキング対象物2Baと、中央側ピッキング対象物2Bbと、右側ピッキング対象物2Bcとの領域(セグメンテーション)をまとめて仮説出来ない場合、図6(a-2)に示す、カメラ5にて取得される3個のピッキング対象物2B(左側ピッキング対象物2Ba、中央側ピッキング対象物2Bb、右側ピッキング対象物2Bc)の二次元画像のうち、明瞭な個所で、且つ、連続性が認められる部分で構成された、図6(b-1)に示す二次元画像(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Baと例示)を抽出し、さらに、図6(b-2)に示す、左側ピッキング対象物2Baの全体に亘って表わされるX方向,Y方向,Z方向の三次元座標(テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元座標(Xn2,Yn2,Zn2)(n≧1の整数))で表わされる三次元点群TGBを抽出する可能性がある。そして、CPU60(図1参照)は、この抽出した二次元画像と三次元点群TGBを用いて、左側ピッキング対象物2Baを判定する。これにより、左側ピッキング対象物2Baの領域(セグメンテーション)が仮説されることとなる。
 一方、CPU60(図1参照)は、図6(a-2)に示す、カメラ5にて取得される3個のピッキング対象物2B(左側ピッキング対象物2Ba、中央側ピッキング対象物2Bb、右側ピッキング対象物2Bc)の二次元画像のうち、不連続性が強い部分を排除した構成、図6(c-1)に示す二次元画像(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Bbと例示)を抽出し、さらに、図6(c-2)に示す、左側ピッキング対象物2Baの全体に亘って表わされるX方向,Y方向,Z方向の三次元座標(テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元座標(Xn2,Yn2,Zn2)(n≧1の整数))で表わされる三次元点群TGBを抽出する可能性がある。そして、CPU60(図1参照)は、この抽出した二次元画像と三次元点群TGBを用いて、左側ピッキング対象物2Baを判定する。これにより、左側ピッキング対象物2Baの領域(セグメンテーション)が仮説されることとなる。
 ところで、図5,図6に示すようなケースの場合、図2に示すテーブルTBLに、正しい領域(セグメンテーション)を仮説するための三次元形状を予め登録しておけば、正しい領域(セグメンテーション)を仮説することができる。しかしながら、このような三次元形状を登録しようとしても、ピッキング対象物の種類が、数千~数十万件という膨大な数に上ることから、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題がある。
 そこで、本実施形態においては、図2に示すテーブルTBLに、正しい領域(セグメンテーション)を仮説するための三次元形状を予め登録することはせず、ピッキング対象物2(図1参照)の領域(セグメンテーション)を仮説した後、その仮説の妥当性を検証している。
 すなわち、CPU60(図1参照)は、上記ステップS2にて仮説したピッキング対象物2(図1参照)の領域(セグメンテーション)に基づいて、ピッキング対象物2(図1参照)を推定し、その推定したピッキング対象物2(図1参照)の把持位置・把持方法を仮説する(ステップS3)。具体的に例示すると、CPU60(図1参照)が、上記ステップS2にて、図4に示す上側ピッキング対象物2Aa、下側ピッキング対象物2Abの領域(セグメンテーション)を仮説した際、上側ピッキング対象物2Aaの形状と位置は、X方向,Y方向,Z方向の三次元座標(テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元座標(Xn1,Yn1,Zn1)(n≧1の整数))で表わされる三次元点群TGAの値をCPU60(図1参照)にて解析することにより、推定することができる。しかして、このように上側ピッキング対象物2Aaの形状と位置を推定することができれば、上側ピッキング対象物2Aaの重心位置もCPU60(図1参照)にて推定することができる。
 また、二次元画像(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Aaと例示)を用いれば、上側ピッキング対象物2Aaの仮想形状の傾き(姿勢)をCPU60(図1参照)にて推定することができる。すなわち、図4(c)に示すような二次元画像(テーブルTBL(図2参照)の二次元画像(TB1c参照)に登録されている内容としては、二次元画像Aaと例示)の場合、カメラ5の原点Oを図示左側と仮定した際、図4(c)に示す二次元画像は、カメラ5の原点Oに対して傾いていない(この場合は、傾き0)が、図4(d)に示すように、傾いている場合、原点Oに対する傾き角ΘをCPU60(図1参照)にて推定することができる。これにより、上側ピッキング対象物2Aaの推定形状の傾きをCPU60(図1参照)にて推定できることとなる。しかるに、このように上側ピッキング対象物2Aaの推定形状の傾きを推定することができれば、その推定した傾きに基づいて、X方向,Y方向,Z方向の三次元座標(テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元座標(Xn1,Yn1,Zn1)(n≧1の整数))で表わされる三次元点群TGA、それぞれの傾きも推定することができることとなる。すなわち、ピッキング対象物(容器A)の三次元点群情報のX方向の角度(図2では、φXn1と例示),ピッキング対象物(容器A)の三次元点群情報のY方向の角度(図2では、φYn1と例示),ピッキング対象物(容器A)の三次元点群情報のZ方向の角度(図2では、φZn1と例示)が推定できることとなる。これにより、上側ピッキング対象物2Aaの推定形状の姿勢を推定することができることとなる。なお、このように推定されたピッキング対象物(容器A)の三次元点群情報のX方向の角度(図2では、φXn1と例示),ピッキング対象物(容器A)の三次元点群情報のY方向の角度(図2では、φYn1と例示),ピッキング対象物(容器A)の三次元点群情報のZ方向の角度(図2では、φZn1と例示)は、テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されることとなる。
 しかして、このように、上側ピッキング対象物2Aaの形状・位置・重心位置・姿勢を推定することができれば、CPU60(図1参照)は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図7(a)に示すように、仮説番号(図示では、1・・・と例示(L1a参照))のリストを生成し、その仮説番号に対応した把持位置(図示では、図4に示す上側ピッキング対象物の重心・・・と例示(L1b参照))のリストを生成し、その仮説番号に対応した把持方法(図示では、上面法線方向から吸着・・・と例示(L1c参照))のリストを生成する。
 かくして、図5(b)に示すように、第1の上側ピッキング対象物2Aa1と、第2の上側ピッキング対象物2Aa2と、下側ピッキング対象物2Abとの領域(セグメンテーション)があるものとして仮説された場合においても、上記と同様の処理を行い、第1の上側ピッキング対象物2Aa1と、第2の上側ピッキング対象物2Aa2の形状・位置・重心位置・姿勢を推定した上で、CPU60(図1参照)は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図7(b)に示すように、仮説番号(図示では、1,2,3・・・と例示(L2a参照))のリストを生成し、その仮説番号に対応した把持位置(図示では、図5(b)に示す上側ピッキング対象物のαの重心,図5(b)に示す上側ピッキング対象物のβの重心,図5(b)に示す上側ピッキング対象物のα+βの重心,・・・と例示(L2b参照))のリストを生成し、その仮説番号に対応した把持方法(図示では、上面法線方向から吸着,上面法線方向から吸着,上面法線方向から吸着・・・と例示(L2c参照))のリストを生成する。なお、このように推定されたピッキング対象物(容器A)の三次元点群情報のX方向の角度(図2では、φXn1と例示),ピッキング対象物(容器A)の三次元点群情報のY方向の角度(図2では、φYn1と例示),ピッキング対象物(容器A)の三次元点群情報のZ方向の角度(図2では、φZn1と例示)は、テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されることとなる。
 さらに、図6(b-2)に示すように、左側ピッキング対象物2Baの領域(セグメンテーション)が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物2Baの形状・位置・重心位置・姿勢を推定した上で、CPU60(図1参照)は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図7(c)に示すように、仮説番号(図示では、1,2・・・と例示(L3a参照))のリストを生成し、その仮説番号に対応した把持位置(図示では、図6(b-2)に示す左側ピッキング対象物の重心,図6(b-2)に示す左側ピッキング対象物の重心・・・と例示(L3b参照))のリストを生成し、その仮説番号に対応した把持方法(図示では、左斜面法線方向から吸着,両側から挟みこみ・・・と例示(L3c参照))のリストを生成する。なお、このように推定されたピッキング対象物(容器B)の三次元点群情報のX方向の角度(図2では、φXn2と例示),ピッキング対象物(容器B)の三次元点群情報のY方向の角度(図2では、φYn2と例示),ピッキング対象物(容器B)の三次元点群情報のZ方向の角度(図2では、φZn2と例示)は、テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されることとなる。
 そしてさらに、図6(c-2)に示すように、左側ピッキング対象物2Baの領域(セグメンテーション)が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物2Baの形状・位置・重心位置・姿勢を推定した上で、CPU60(図1参照)は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図7(d)に示すように、仮説番号(図示では、1,2・・・と例示(L4a参照))のリストを生成し、その仮説番号に対応した把持位置(図示では、図6(c-2)に示す左側ピッキング対象物の重心,図6(c-2)に示す左側ピッキング対象物の底面・・・と例示(L4b参照))のリストを生成し、その仮説番号に対応した把持方法(図示では、左斜面法線方向から吸着,底面から水平に持ち上げる・・・と例示(L4c参照))のリストを生成する。なお、このように推定されたピッキング対象物(容器B)の三次元点群情報のX方向の角度(図2では、φXn2と例示),ピッキング対象物(容器B)の三次元点群情報のY方向の角度(図2では、φYn2と例示),ピッキング対象物(容器B)の三次元点群情報のZ方向の角度(図2では、φZn2と例示)は、テーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されることとなる。
 次いで、CPU60(図1参照)は、上記ステップS3にて仮説したピッキング対象物2(図1参照)の把持位置・把持方法を検証すべく、まずは、上記図7(a)~(d)に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物2(図1参照)の把持位置・把持方法を指示値(例えば、図7(b)に示すリストが生成された場合、仮説番号「1」(L2a参照)に対応した把持位置「図5に示す上側ピッキング対象物のαの重心」(L2b参照)、把持方法「上面法線方向から吸着」(L2c参照)を指示値)として、出力部62(図1参照)を介してロボット制御装置4に出力する。これにより、ロボット制御装置4は、その指示値に基づいて、ロボット3(図1参照)を制御し、もって、ロボット3(図1参照)のロボットハンド32(図1参照)にてピッキング対象物2(図1参照)を把持させる。これにより、ロボットハンド32(図1参照)に設けられている把持センサは、ピッキング対象物2(図1参照)を把持したか否かを検出し、この検出結果を登録装置6(図1参照)に出力する(ステップS4)。
 次いで、CPU60(図1参照)は、把持センサから出力された検出結果が登録装置6の入力部61(図1参照)を介して登録装置6内に入力されると、その検出結果を解析し、把持に成功したか否かを確認する(ステップS5)。把持に成功していなければ(ステップS5:NO)、CPU60(図1参照)は、上記図7(a)~(d)に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物2(図1参照)の把持位置・把持方法の把持結果が「失敗」である旨を、テーブルTBL(図2参照)に登録する。すなわち、テーブルTBL(図2参照)の把持位置(TB1d)に把持位置(例えば、図7(b)に示す「図5に示す上側ピッキング対象物のαの重心」(L2b参照))を登録し、テーブルTBL(図2参照)の把持方法(TB1e)に把持方法(例えば、図7(b)に示す「上面法線方向から吸着」(L2c参照))を登録し、テーブルTBL(図2参照)の検証結果(TB1f参照)に、その把持位置・把持方法は「失敗」である旨を登録する。
 次いで、CPU60(図1参照)は、図7(a)~(d)に示すように生成されたリストに、次に検証すべき仮説番号があるか否かを確認する(ステップS6)。次に検証すべき仮説があれば(例えば、図7(b)に示すリストが生成された場合、仮説番号「1」が失敗だったため、次の仮説番号「2」)(ステップS6:YES)、その仮説を検証すべく、ステップS4の処理に戻り、その検証すべき仮説(例えば、図7(b)に示すリストが生成された場合、仮説番号「2」(L2a参照)に対応した把持位置「図5に示す上側ピッキング対象物のβの重心」(L2b参照)、把持方法「上面法線方向から吸着」(L2c参照))に基づいて、ロボット3(図1参照)のロボットハンド32(図1参照)にピッキング対象物2(図1参照)を把持させる。
 しかして、このように、把持が成功する把持位置・把持方法に対応する仮説番号が見つかるまで、ステップS4~ステップS6の処理を繰り返し行う。
 かくして、このような処理を繰り返した結果、生成したリストの中に検証すべき仮説がなくなれば(ステップS6:NO)、CPU60(図1参照)は、カメラ5やロボット3等の再調整を促す警告を表示部65(図1参照)に表示させ(ステップS7)、処理を終える。
 一方、把持に成功していれば(ステップS5:YES)、CPU60(図1参照)は、上記図7(a)~(d)に示すように生成されたリストのうち成功した仮説番号に対応した仮説したピッキング対象物2(図1参照)の把持位置・把持方法の把持結果が「成功」である旨を、テーブルTBL(図2参照)に登録する。すなわち、テーブルTBL(図2参照)の把持位置(TB1d)に把持位置(例えば、図7(b)に示す「図5(b)に示す上側ピッキング対象物のα+βの重心」(L2b参照))を登録し、テーブルTBL(図2参照)の把持方法(TB1e)に把持方法(例えば、図7(b)に示す「上面法線方向から吸着」(L2c参照))を登録し、テーブルTBL(図2参照)の検証結果(TB1f参照)に、その把持位置・把持方法は「成功」である旨を登録する。なお、この「成功」で登録された把持位置・把持方法が、実際の稼働時にマスターデータとして使用されることとなる。
 次いで、CPU60(図1参照)は、ピッキング対象物2(図1参照)の領域(セグメンテーション)を、再度、仮説する必要があるかの判定を行う(ステップS8)。具体的には、成功した把持位置(例えば、図2に示す「図5(b)に示す上側ピッキング対象物のα+βの重心」(TB1d参照))・把持方法(例えば、「図5(b)に示す上面法線方向から吸着」(TB1e参照))を表示部65(図1参照)に表示し、作業者にこの内容で良いか否かの選択を求める。又は、複数個のピッキング対象物2(図1参照)が把持されず、単数個のピッキング対象物2(図1参照)が把持されていることを目視確認するよう、作業者に促す。或いは、ロボットハンド32(図1参照)に設けられている重量センサにて、把持しているピッキング対象物2(図1参照)の重量を検出し、その検出した重量が登録装置6(図1参照)のROM63(図1参照)内に予め格納されているピッキング対象物2(図1参照)の重量と一致しているかを、CPU60(図1参照)にて確認を行う。
 ピッキング対象物2(図1参照)の領域(セグメンテーション)を、再度、仮説する必要がなければ、すなわち、作業者がこの内容で良いと選択、又は、単数個のピッキング対象物2(図1参照)が把持されている、或いは、重量が一致していれば(ステップS8:NO)、処理を終える。
 一方、ピッキング対象物2(図1参照)の領域(セグメンテーション)を、再度、仮説する必要があれば、すなわち、作業者がこの内容で良くないと選択、又は、複数個のピッキング対象物2(図1参照)が把持されている、或いは、重量が一致していなければ(ステップS8:YES)、ステップS2の処理に戻り、再度、ピッキング対象物2(図1参照)の領域(セグメンテーション)の仮説を行う。なお、ピッキング対象物2(図1参照)の領域(セグメンテーション)を、再度、仮説する必要がある場合、CPU60(図1参照)は、テーブルTBL(図2参照)の検証結果(TB1f参照)に、その把持位置・把持方法は「成功」である旨を登録した内容を、「失敗」として登録の変更を行う。
 しかして、このように、例え、把持に成功したとしても、ピッキング対象物2(図1参照)の領域(セグメンテーション)を、再度、仮説する必要があるか否かの判定を行うことにより、正確な把持位置・把持方法を、テーブル(図2参照)に登録することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用されることとなる。
 かくして、上記のような処理を行うことにより、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)に、図2に示すTB1a~TB1fに示す内容が格納されることとなる。
 しかして、以上説明した本実施形態によれば、ピッキング対象物2(図1参照)の領域(セグメンテーション)を仮説した後、その仮説したピッキング対象物2(図1参照)の領域(セグメンテーション)の把持位置・把持方法を仮説し、その妥当性を検証し、その検証結果を、ピッキング対象物関連情報登録データベース66(図1参照)に登録するという工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予めピッキング対象物関連情報登録データベース66(図1参照)に登録しておく必要がなくなる。さらに、成功した検証結果をピッキング対象物関連情報登録データベース66(図1参照)に登録しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができることとなる。
 なお、本実施形態においては、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の検証結果の項目(TB1f参照)に「失敗」を登録する例を示したが、失敗した把持位置・把持方法を登録しなくとも良い。
 しかしながら、失敗した把持位置・把持方法は、登録しておいた方が好ましい。ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)に、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、機械学習を実施することができるためである。
 すなわち、機械学習として、教師あり学習を用いる場合、ピッキング対象物2(図1参照)の領域(セグメンテーション)を学習するプロセスと、把持位置・把持方法を学習するプロセスに分けて機械学習を行う。ピッキング対象物2(図1参照)の領域(セグメンテーション)を学習するプロセスにおいては、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の三次元点群情報の項目(TB1b参照)に登録されている三次元点群情報と、テーブルTBL(図2参照)の二次元画像の項目(TB1c参照)に登録されている二次元画像とを用いて、CPU60(図1参照)は、エッジ、線のつながり、輪郭、深さ方向の距離等の特徴量を算出し、その算出した特徴量を入力層に入力する。これにより、CPU60(図1参照)は、ROM63(図1参照)に記憶されている周知の教師あり学習プログラムを使用して、表示部65(図1参照)に、ピッキング対象物2(図1参照)の領域(セグメンテーション)リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の成功事例を用いるか、又は、表示部65(図1参照)に表示されるピッキング対象物2(図1参照)の領域(セグメンテーション)リストの中から作業者が選択したものを用いればよい。
 次に、把持位置・把持方法を学習するプロセスにおいては、ピッキング対象物2(図1参照)の領域(セグメンテーション)を学習するプロセスにおいて生成されたピッキング対象物2(図1参照)の領域(セグメンテーション)リストを入力層に入力する。これにより、CPU60(図1参照)は、ROM63(図1参照)に記憶されている周知の教師あり学習プログラムを使用して、表示部65(図1参照)に、ピッキング対象物2(図1参照)の把持位置・把持方法リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の成功事例を用いるか、又は、表示部65(図1参照)に表示されるピッキング対象物2(図1参照)の把持位置・把持方法リストの中から作業者が選択したものを用いれば良い。
 かくして、このようにして、教師あり学習を用いた機械学習を行うことができる。
 一方、機械学習として、強化学習を用いる場合、CPU60(図1参照)は、「報酬」として、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の検証結果の項目(TB1f参照)に登録されている「成功」に対して報酬「1」を与え、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の検証結果の項目(TB1f参照)に登録されている「失敗」に対して報酬「0」を与える。そして、CPU60(図1参照)は、「行動」を、ピッキング対象物関連情報登録データベース66(図1参照)に格納されているテーブルTBL(図2参照)の把持位置の項目(TB1d参照)に登録されている把持位置、テーブルTBL(図2参照)の把持方法の項目(TB1e参照)に登録されている把持方法の組み合わせとする。これにより、CPU60(図1参照)は、ROM63(図1参照)に記憶されている周知の強化学習プログラムを使用して、表示部65(図1参照)に、ピッキング対象物2(図1参照)毎に、所定の評価がされた把持位置・把持方法の組み合わせを表示する。
 かくして、このようにして、強化学習を用いた機械学習を行うことができる。
 しかして、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、上記のような機械学習を実施することができることとなるため、失敗した把持位置・把持方法を登録しておいた方が好ましい。
 ところで、本実施形態にて例示したピッキング対象物2は、あくまで一例であり、物流現場において取り扱う物品であればどのようなものにも適用可能である。
 また、本実施形態においては、ピッキング対象物2の三次元座標を示す三次元点群情報とピッキング対象物2の二次元画像をカメラ5にて取得できる例を示したが、それに限らず、カメラ5は単なる撮像機能だけにし、登録装置6(図1参照)のCPU60(図1参照)にて、ピッキング対象物2の三次元座標を示す三次元点群情報を生成し、ピッキング対象物2の二次元画像を生成するようにしても良い。またさらに、カメラ5,登録装置6(図1参照)のCPU60(図1参照)の何れか一方で、ピッキング対象物2の三次元座標を示す三次元点群情報を生成し、他方のカメラ5又は登録装置6(図1参照)のCPU60(図1参照)にてピッキング対象物2の二次元画像を生成するようにしても良い。
 一方、本実施形態においては、カメラ5を別に設ける例を示したが、それに限らず、カメラ5をロボット3に組み込むようにしても良い。また、ロボット制御装置4と登録装置6とを別々に設ける例を示したが、ロボット制御装置4と登録装置6を一体化しても良い。
 なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。
1     ピッキング対象物把持情報登録システム
2     ピッキング対象物
3     ロボット
4     ロボット制御装置
5     カメラ(第1生成手段、第2生成手段)
6     登録装置
60    CPU
66    ピッキング対象物関連情報登録データベース(記憶手段)
TBL   テーブル

Claims (3)

  1.  ピッキング対象物の三次元点群データを生成する第1生成手段と、
     前記ピッキング対象物の二次元画像を生成する第2生成手段と、
     前記第1生成手段にて生成された三次元点群情報と前記第2生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説する仮説領域手段と、
     前記仮説領域手段にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段と、
     前記仮説把持手段にて仮説した前記把持位置・把持方法を、ロボットを用いて検証する検証手段と、
     前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した前記把持位置・把持方法を記憶する記憶手段と、を備えてなるピッキング対象物把持情報登録システム。
  2.  前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した際、再度、前記第1生成手段にて生成された三次元点群情報と前記第2生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説領域手段にて仮説させる必要があるか否かの判定を行う判定手段と、をさらに備えてなる請求項1に記載のピッキング対象物把持情報登録システム。
  3.  前記記憶手段は、前記検証手段にて検証した結果、前記ピッキング対象物の把持に失敗した前記把持位置・把持方法も記憶してなる請求項1に記載のピッキング対象物把持情報登録システム。
PCT/JP2017/046661 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム WO2019130429A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム
JP2019561433A JP6940186B2 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Publications (1)

Publication Number Publication Date
WO2019130429A1 true WO2019130429A1 (ja) 2019-07-04

Family

ID=67066775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046661 WO2019130429A1 (ja) 2017-12-26 2017-12-26 ピッキング対象物把持情報登録システム

Country Status (2)

Country Link
JP (1) JP6940186B2 (ja)
WO (1) WO2019130429A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233992A1 (ja) * 2022-06-01 2023-12-07 パナソニックIpマネジメント株式会社 非定形物の画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088735A1 (ja) * 2006-02-02 2007-08-09 Kabushiki Kaisha Yaskawa Denki ロボットシステム
JP2015112654A (ja) * 2013-12-10 2015-06-22 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5458274B2 (ja) * 2009-02-09 2014-04-02 本田技研工業株式会社 把持位置計算装置及び把持位置計算方法
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5983506B2 (ja) * 2013-04-04 2016-08-31 トヨタ自動車株式会社 把持対象物の把持パターン検出方法およびロボット
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP6357785B2 (ja) * 2014-02-04 2018-07-18 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088735A1 (ja) * 2006-02-02 2007-08-09 Kabushiki Kaisha Yaskawa Denki ロボットシステム
JP2015112654A (ja) * 2013-12-10 2015-06-22 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2017185578A (ja) * 2016-04-05 2017-10-12 株式会社リコー 物体把持装置及び把持制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233992A1 (ja) * 2022-06-01 2023-12-07 パナソニックIpマネジメント株式会社 非定形物の画像処理方法

Also Published As

Publication number Publication date
JP6940186B2 (ja) 2021-09-22
JPWO2019130429A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP6415291B2 (ja) 情報処理装置、情報処理方法、プログラム
US11511421B2 (en) Object recognition processing apparatus and method, and object picking apparatus and method
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP6415026B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP6298035B2 (ja) モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP6744709B2 (ja) 情報処理装置、情報処理方法
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN107851181B (zh) 用于控制机器人和/或自主无人驾驶运输系统的方法
JP2017136677A (ja) 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
JP6632656B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP2015114722A (ja) 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
US10688665B2 (en) Robot system, and control method
CN115989117A (zh) 用于物体检测的系统和方法
JP5983506B2 (ja) 把持対象物の把持パターン検出方法およびロボット
WO2019130429A1 (ja) ピッキング対象物把持情報登録システム
JP7117126B2 (ja) ピッキング装置及びその方法
De Gregorio et al. Robotfusion: Grasping with a robotic manipulator via multi-view reconstruction
JP7237496B2 (ja) ピッキングシステム、情報処理装置及び情報処理プログラム
JP2020049651A (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936728

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019561433

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17936728

Country of ref document: EP

Kind code of ref document: A1