DE102022205883A1

DE102022205883A1 - Increasing grab rate

Info

Publication number: DE102022205883A1
Application number: DE102022205883.6A
Authority: DE
Inventors: Manuel Kaspar; Jonas Schwinn
Original assignee: KUKA Deutschland GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2022-06-09
Filing date: 2022-06-09
Publication date: 2023-12-14
Also published as: WO2023237323A1

Abstract

Verfahren zum Greifen mit 6 Freiheitsgraden, insbesondere zum Greifen, und Ablegen, mit Hilfe eines Greifsystems, wobei das Greifsystem wenigstens eine fixierte Tiefenkamera und wenigstens eine Greifvorrichtung umfasst, und wobei das Verfahren ein Erfassen von Bilddaten einer Szene mit der wenigstens einen Tiefenkamera; ein Ermitteln eines Tiefenbilds anhand der Bilddaten; ein Ermitteln einer 6D Pose des mindestens einen bekannten Objekts anhand des Tiefenbilds; ein Ermitteln einerCAD-Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts; und ein Ermitteln einer Greifwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation, umfasst.Method for gripping with 6 degrees of freedom, in particular for gripping and placing, with the aid of a gripping system, wherein the gripping system comprises at least one fixed depth camera and at least one gripping device, and wherein the method includes acquiring image data of a scene with the at least one depth camera; determining a depth image based on the image data; determining a 6D pose of the at least one known object based on the depth image; determining a CAD object representation based on the determined 6D pose of the at least one known object and known CAD data of the at least one known object; and determining a gripping probability based on the depth image and the CAD object representation.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Greifen mit 6 Freiheitsgraden, ein System, sowie ein Computerprogramm bzw. Computerprogrammprodukt.The present invention relates to a method for gripping with 6 degrees of freedom, a system, and a computer program or computer program product.

Das Greifen und Ablegung von bekannten Objekten ist eines der bekannteren Probleme in der Robotik. Meist bestehen bekannte Lösungen für das Aussuchen von Griffen aus drei Komponenten. In den meisten Fällen aus einem Visionsystem, mit Hilfe dessen die Pose von zu greifenden Objekten im Raum bestimmt werden kann. Dem Visionsystem werden hierfür üblicherweise die geometrischen Eigenschaften des Objekts übergeben, beispielsweise als CAD (englisch: „computer-aided design“; rechnerunterstütztes Konstruieren)-Modell. Ausgehend vom Visionsystem kann ein Modell errechnet werden, das eine oder mehrere Posen von Instanzen des gesuchten Objekts im Raum ausgibt, üblicherweise bei Systemen, bei denen das Visionsystem an einem greifenden Roboter angebracht ist.Grabbing and placing familiar objects is one of the more well-known problems in robotics. Well-known solutions for selecting handles usually consist of three components. In most cases from a vision system that can be used to determine the pose of objects to be grasped in space. For this purpose, the geometric properties of the object are usually transferred to the vision system, for example as a CAD (computer-aided design) model. Starting from the vision system, a model can be calculated that outputs one or more poses of instances of the searched object in space, usually in systems in which the vision system is attached to a grasping robot.

Ferner wird üblicherweise eine Methode zur Greifpunktbestimmung (englisch: „graspsampling“) die für gegebene Greifer und Robotereigenschaften einen Griff oder mehrere Griffe pro Objekt vorschlägt angewandt. Hierbei handelt es sich meistens um eigens programmierte Heuristiken, die geometrische Eigenschaften der Objekte berücksichtigen. Es können aber auch datengetriebene Verfahren zum Einsatz kommen. Ferner kann eine Methode zur Evaluierung der vorgeschlagenen Griffe eingesetzt werden, um den Griff mit der höchsten Greifwahrscheinlichkeit auszuwählen.Furthermore, a method for determining the grip point (English: “graspsampling”) is usually used, which suggests one grip or several grips per object for given grippers and robot properties. These are usually specially programmed heuristics that take the geometric properties of the objects into account. However, data-driven methods can also be used. Furthermore, a method can be used to evaluate the proposed grips in order to select the grip with the highest probability of grasping.

Es kann vorkommen, dass es insbesondere bei fixierten Kameras, insbesondere bei Kameras, die nicht am (beweglichen) Greifer angebracht sind, keine oder nicht ausreichende Tiefeninformation gibt, die für der Berechnung eines Griffs verwendet werden kann.It can happen that there is no or insufficient depth information that can be used to calculate a grip, especially with fixed cameras, especially with cameras that are not attached to the (movable) gripper.

Ferner kann eine Anbringung einer Kamera, insbesondere einer Tiefenkamera, am Roboter oftmals aus Platz- oder Sicherheitsgründen nicht möglich sein.Furthermore, it may often not be possible to attach a camera, in particular a depth camera, to the robot for reasons of space or safety.

Aufgabe der vorliegenden Erfindung ist es daher eine Greifrate zu verbessern, vorzugsweise obigem Problem abzuhelfen.The object of the present invention is therefore to improve a gripping rate, preferably to remedy the above problem.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Anspruch 11 stellt ein System zum Betreiben und/oder Überwachen einer Maschine, insbesondere einer mehrachsigen Maschine unter Schutz und/oder eines Roboters. Anspruch 12 stellt ein Computerprogramm bzw. ein Computerprogrammprodukt unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.This task is solved by a method with the features of claim 1. Claim 11 provides a system for operating and/or monitoring a machine, in particular a multi-axis machine under protection and/or a robot. Claim 12 protects a computer program or a computer program product. The subclaims relate to advantageous further training.

Nach einer Ausführung der vorliegenden Erfindung wird ein Verfahren zum Greifen mit 6 Freiheitsgraden, insbesondere mit Hilfe eines Greifsystems, bereitgestellt. Das (Greif)System umfasst wenigstens eine fixierte Tiefenkamera und wenigstens eine Greifvorrichtung. Das Verfahren umfasst dabei in einer Ausführung das Erfassen von Bilddaten einer Szene mit der wenigstens einen Tiefenkamera. Ferner umfasst das Verfahren in einer Ausführung das Ermitteln eines Tiefenbilds anhand der Bilddaten. Weiterhin umfasst das Verfahren in einer Ausführung das Ermitteln einer 6D Pose von mindestens einem bekannten Objekt anhand des Tiefenbilds. Das mindestens eine bekannte Objekt ist dabei in einer Ausführung ein vom Greifsystem zu greifendes Objekt. Ferner umfasst das Verfahren in einer Ausführung das Ermitteln einer CAD-Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts, insbesondere zusätzlich basierend auf dem Tiefenbild und/oder einem Farbbild, insbesondere sofern ein Farbbild zur Verfügung steht, insbesondere wenn die Tiefenkamera dazu eingerichtet ist, ein Farbbild, insbesondere Bilddaten mit Farbinformation zu erfassen bzw. diese in den Bilddaten umfasst ist. Weiterhin umfasst das Verfahren in einer Ausführung das Ermitteln einer Griffwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation.According to one embodiment of the present invention, a method for gripping with 6 degrees of freedom, in particular with the aid of a gripping system, is provided. The (grip) system includes at least one fixed depth camera and at least one gripping device. In one embodiment, the method includes capturing image data of a scene with the at least one depth camera. Furthermore, in one embodiment, the method includes determining a depth image based on the image data. Furthermore, in one embodiment, the method includes determining a 6D pose of at least one known object based on the depth image. In one embodiment, the at least one known object is an object to be gripped by the gripping system. Furthermore, in one embodiment, the method includes determining a CAD object representation based on the determined 6D pose of the at least one known object and known CAD data of the at least one known object, in particular additionally based on the depth image and/or a color image, in particular if a color image is available, in particular if the depth camera is set up to capture a color image, in particular image data with color information, or this is included in the image data. Furthermore, in one embodiment, the method includes determining a grip probability based on the depth image and the CAD object representation.

Ein „Ermitteln einer CAD-Objekt Repräsentation“ soll hierin insbesondere als Einsetzen, insbesondere Ersetzen, eines CAD-Objekts an die Stelle eines anhand des Tiefenbilds erkannten (bekannten) Objekts, insbesondere mit der erkannten Pose. Das Ermitteln umfasst in einer Ausführung das Generieren einer 3D-geometrischen Modellierung des mindestens einen erkannten Objekts, insbesondere aller (anhand des Tiefenbilds) erkannten Objekte und basiert insbesondere zusätzlich auf dem Tiefenbild. Eine CAD-Objekt Repräsentation kann in einer Ausführung Kantenmodelle, Flächenmodelle, Volumenmodelle oder dergleichen, insbesondere eine Kombination von insbesondere gleichen und/oder verschiedenen Modellarten (Kantenmodelle, Flächenmodelle, Volumenmodelle oder dergleichen) aufweisen.“Determining a CAD object representation” is intended here in particular to mean inserting, in particular replacing, a CAD object in the place of a (known) object recognized on the basis of the depth image, in particular with the recognized pose. In one embodiment, the determination includes generating a 3D geometric modeling of the at least one recognized object, in particular all recognized objects (based on the depth image), and is in particular additionally based on the depth image. In one embodiment, a CAD object representation can have edge models, surface models, volume models or the like, in particular a combination of, in particular, the same and/or different model types (edge models, surface models, volume models or the like).

„Erkannt“ ist hierin vorzugsweise als „sofern erkannt“ zu verstehen. In einer Ausführung wird unter CAD-Objekt Repräsentation vorzugsweise (bildbasiertes) Meshing verstanden. Eine „CAD-Objekt Repräsentation“ wie hierin verwendet, ist insbesondere als (virtuelles) Polygonnetz, als (virtuelles) Kantenmodell, (virtuelles) Flächen- und/oder Volumenmodell oder dergleichen zu verstehen. Die CAD-Objekt Repräsentation soll insbesondere als Tiefenbild mit CAD-Objekt(en) verstanden werden, insbesondere als Tiefenbild mit CAD-Mesh.“Recognized” is preferably understood here as “if recognized”. In one embodiment, CAD object representation is preferably understood to mean (image-based) meshing. A “CAD object representation” as used herein is to be understood in particular as a (virtual) polygon network, as a (virtual) edge model, (virtual) surface and/or volume model or the like. The CAD Object representation should be understood in particular as a depth image with CAD object(s), in particular as a depth image with CAD mesh.

Eine Greifvorrichtung kann in einer Ausführung eine robotische Vorrichtung sein. Ferner kann in einer Ausführung eine Greifvorrichtung hierin vorzugsweise als Roboter mit Endeffektor, insbesondere Greifer verstanden werden. In einer Ausführung ist der Greifer zur Werkstückhandhabung ausgelegt und arbeitet insbesondere mechanisch, vakuum-basiert, magnetisch und/oder adhäsiv. Ein Werkstück, insbesondere ein zu greifendes Objekt, kann in einer Ausführung insbesondere über Kraftschluss, Stoffschluss und/oder Formschluss von der Greifvorrichtung, insbesondere vom Endeffektor, manipuliert werden.In one embodiment, a gripping device can be a robotic device. Furthermore, in one embodiment, a gripping device can preferably be understood herein as a robot with an end effector, in particular a gripper. In one embodiment, the gripper is designed for workpiece handling and works in particular mechanically, vacuum-based, magnetically and/or adhesively. In one embodiment, a workpiece, in particular an object to be gripped, can be manipulated by the gripping device, in particular by the end effector, in particular via frictional connection, material connection and/or positive connection.

„Fixierte Tiefenkamera“ soll hierin vorzugsweise als eine an einer Position festgemachte, bzw. positionsfeste Tiefenkamera verstanden werden. In einer Ausführung ist die Tiefenkamera nicht an einem Roboter oder der beweglichen Greifvorrichtung befestigt. Die Tiefenkamera kann in einer Ausführung an einer Position angebracht sein, von der aus sie eine Szene, insbesondere eine Szene mit einer Ansammlung von zu greifenden Objekten, aufnehmen, bzw. erfassen kann.“Fixed depth camera” should preferably be understood here as a depth camera that is fixed to a position or has a fixed position. In one embodiment, the depth camera is not attached to a robot or the movable gripping device. In one embodiment, the depth camera can be attached to a position from which it can record or capture a scene, in particular a scene with a collection of objects to be grasped.

Eine „Greifwahrscheinlichkeit“ soll hierin vorzugsweise als Wahrscheinlichkeit eines Erfolgs (oder Misserfolgs) des Griffs verstanden werden. Die Greifwahrscheinlichkeit kann in einer Ausführung eine Zahl zwischen Null und eins sein, wobei insbesondere Null und Eins inbegriffen sein können.A “grab probability” should preferably be understood herein as the probability of success (or failure) of the grasp. In one embodiment, the gripping probability can be a number between zero and one, which in particular can include zero and one.

Das Verfahren bezieht sich nicht auf rein planare Griffe. In anderen Worten bezieht sich das Verfahren nicht auf vertikale Griffe mit Freiheitsgraden, insbesondere drei Freiheitsgraden, in zwei Richtungen, beispielsweise x und y und einer Rotation, beispielsweise um z.The procedure does not apply to purely planar handles. In other words, the method does not relate to vertical handles with degrees of freedom, in particular three degrees of freedom, in two directions, for example x and y, and rotation, for example about z.

Vorteilhafterweise kann das Verfahren in einer Ausführung mit der gerenderten CAD-Objekt Repräsentation basierend auf den CAD-Daten insbesondere einen CAD-Abgleich (englisch: „CAD-matching") durchführen, bzw. in das Ermitteln der Greifwahrscheinlichkeit mit einbeziehen. So kann in einer Ausführung bei großen Winkeln, insbesondere bei Winkeln einer Perspektive einer Greifpose auf das zu greifende Objekt von mehr als 45° zur Sichtachse der Tiefenkamera, eine Greifpose (überhaupt) erkannt und entsprechend eine Greifwahrscheinlichkeit ermittelt werden, selbst wenn für das zu greifende Objekt nur wenig Tiefeninformationen vorhanden sind, bzw. das Tiefenbild aus der Perspektive der Greifpose nur wenig Informationen, insbesondere weniger als 30% einer Tiefeninformation im Vergleich mit einer Tiefeninformation bei der die Tiefenkamera (zumindest im Wesentlichen) deckungsgleich und richtungsgleich zur Perspektivenachse der Greifpose ist, aufweist. Insbesondere kann hierdurch ermöglicht werden, dass eine Taktzeit beim Ermitteln einer Greifwahrscheinlichkeit und insbesondere beim Greifen erhöht werden kann. Ferner kann durch das Verfahren in einer Ausführung der erfolgversprechendste Griff ausgewählt werden, bzw. entschieden werden, ob überhaupt gegriffen werden kann.Advantageously, in an embodiment with the rendered CAD object representation, the method can in particular carry out a CAD comparison (English: "CAD matching") based on the CAD data, or include it in the determination of the gripping probability Execution at large angles, in particular at angles of a perspective of a gripping pose on the object to be gripped of more than 45 ° to the visual axis of the depth camera, a gripping pose can be recognized (at all) and a gripping probability can be determined accordingly, even if there is only little depth information for the object to be gripped are present, or the depth image from the perspective of the gripping pose has only little information, in particular less than 30% of depth information in comparison with depth information in which the depth camera is (at least essentially) congruent and in the same direction to the perspective axis of the gripping pose. In particular, can This makes it possible to increase a cycle time when determining a gripping probability and in particular when gripping. Furthermore, the method can be used in one embodiment to select the most promising grip or to decide whether it is possible to grip at all.

Nach einer Ausführungsform kann das Verfahren ferner das Ermitteln eines Farbbilds basierend auf den CAD-Daten umfassen. Insbesondere kann das Verfahren ferner das Ermitteln von Texturen und/oder Schatten umfassen. Dabei kann das Ermitteln des Farbbilds, bzw. der Texturen und/oder Schatten in einer Ausführung mittels ray tracing durchgeführt werden. Farbbild kann sich hierin in einer Ausführung vorzugsweise auch auf ein Graubild (mit Abstufungen von Grautönen) beziehen. Die weitere Beschreibung an Ausführungen oder Beispielen mit Farbbildern soll nicht als einschränkend verstanden werden.According to one embodiment, the method may further comprise determining a color image based on the CAD data. In particular, the method can further include determining textures and/or shadows. The determination of the color image, or the textures and/or shadows, can be carried out in one embodiment using ray tracing. In one embodiment, color image can preferably also refer to a gray image (with gradations of gray tones). The further description of embodiments or examples with color images should not be construed as limiting.

Nach einer Ausführungsform ist die Tiefenkamera eine RGB-Tiefenkamera, insbesondere eine Tiefenkamera, die Farbinformation aufnehmen bzw. bereitstellen kann. „RGB“ ist hierin nicht als einschränkend auf einen Farbraum mit rot, grün und blau (RGB) zu verstehen. In anderen Worten kann eine RGB-Tiefenkamera in einer Ausführung zusätzlich zu den Tiefeninformationen auch Farbinformationen erfassen. Diese Farbinformationen können insbesondere zum Ermitteln eines Farbbilds verwendet werden. In einer Ausführung kann das ermittelte Farbbild Texturen und/oder Schatten umfassen.According to one embodiment, the depth camera is an RGB depth camera, in particular a depth camera that can record or provide color information. “RGB” is not intended herein to be limited to a color space including red, green and blue (RGB). In other words, an RGB depth camera in one embodiment can also capture color information in addition to depth information. This color information can be used in particular to determine a color image. In one embodiment, the determined color image may include textures and/or shadows.

Nach einer Ausführungsform kann das Verfahren ferner umfassen: Ermitteln eines Farbbilds, wenn die wenigstens eine Tiefenkamera eine RGB-Tiefenkamera ist, basierend auf den Bilddaten, insbesondere Ermitteln von Texturen und/oder Schatten im Farbbild. In einer Ausführung kann das Ermitteln eines Tiefenbilds zusätzlich auf dem Farbbild basieren. Hierdurch kann in einer Ausführung vorteilhafterweise mehr Information genutzt werden, um ein Tiefenbild zu ermitteln, insbesondere ein verbessertes und/oder detailreich(er)es Tiefenbild ermittelt werden. In einer Ausführung kann eine Greifwahrscheinlichkeit zusätzlich basierend auf dem Farbbild ermittelt werden. Vorteilhafterweise kann das Farbbild in einer Ausführung zusätzliche Informationen bezüglich der Griffpose, bzw. zu einem Erfolg der Greifposition (Greifwahrscheinlichkeit) liefern. Dadurch kann in einer Ausführung ermöglicht werden, dass ein Erfolg eines Griffes genauer und/oder besser, insbesondere mit höherer Präzision ermittelt werden kann. Hierdurch kann in einer Ausführung erreicht werden, dass der vom Verfahren zu ermittelnde und/oder zu steuernde Greifprozess robuster wird.According to one embodiment, the method may further comprise: determining a color image if the at least one depth camera is an RGB depth camera based on the image data, in particular determining textures and/or shadows in the color image. In one embodiment, determining a depth image can additionally be based on the color image. In this way, in one embodiment, more information can advantageously be used to determine a depth image, in particular an improved and/or more detailed depth image can be determined. In one embodiment, a gripping probability can additionally be determined based on the color image. Advantageously, in one embodiment, the color image can provide additional information regarding the grip pose or the success of the grip position (grab probability). In one embodiment, this makes it possible for the success of a grip to be determined more precisely and/or better, in particular with greater precision. In this way, it can be achieved in one embodiment that the method is to be determined The gripping process to be controlled and/or controlled becomes more robust.

Nach einer Ausführungsform kann das Ermitteln der Greifwahrscheinlichkeit umfassen, dass das Tiefenbild und das Tiefenbild mit der CAD-Objekt Repräsentation, insbesondere auch das Farbbild in einen Tensor gestapelt (gestackt; von englisch: „to stack“) werden, insbesondere auf eine Weise, dass alle Bilder die gleiche Höhe und Breite aufweisen. Ferner sind in einer Ausführung fünf Kanäle umfasst, insbesondere 2 Tiefenkanäle und 3 Farbkanäle. Alternativ kann das Tiefenbild und das Tiefenbild mit CAD-Objekt Repräsentation in nur einem Bild mit nur einem Tiefenkanal gerendert werden.According to one embodiment, determining the gripping probability may include stacking the depth image and the depth image with the CAD object representation, in particular also the color image, into a tensor (stacked; from English: “to stack”), in particular in such a way that all images have the same height and width. Furthermore, in one embodiment five channels are included, in particular 2 depth channels and 3 color channels. Alternatively, the depth image and the depth image with CAD object representation can be rendered in just one image with just one depth channel.

Nach einer Ausführungsform kann das Ermitteln des Tiefenbilds, das Ermitteln der CAD-Objekt Repräsentation und/oder das Ermitteln des Farbbilds aus einer Perspektive wenigstens einer vorbestimmten Greifpose der Greifvorrichtung am zu greifenden Objekt erfolgen. Insbesondere können vorbestimmte Greifposen üblicherweise mittels bekannter Verfahren, vorzugsweise mittels grasp sampling, in einem dem Verfahren vorgelagerten Schritt ermittelt werden. Vorteilhafterweise steht in einer Ausführung für ein zu greifendes Objekt wenigstens eine vorbestimmte Greifpose zur Verfügung, bzw. ist wenigstens eine vorbestimmte Greifpose für das zu greifende Objekt hinterlegt. Hierdurch kann in einer Ausführung ermöglicht werden, dass eine Greifpose in der Szene, insbesondere im Tiefenbild und/oder der gerenderten CAD-Objekt Repräsentation und/oder dem Farbbild erkannt werden kann und aus der Perspektive der wenigstens einen vorbestimmten Greifpose eine Greifwahrscheinlichkeit für die Greifpose bestimmbar, bzw. ermittelbar ist. In anderen Worten kann mit dem Tiefenbild und/oder der gerenderten CAD-Objekt Repräsentation und/oder dem Farbbild eine Repräsentation des Griffes ermittelt werden, aus der (mittels des Verfahrens) eine Greifwahrscheinlichkeit für den Griff ermittelt werden kann. Vorteilhafterweise kann hierdurch insbesondere der erfolgversprechendste Griff ausgewählt werden, bzw. entschieden werden, ob überhaupt gegriffen werden kann.According to one embodiment, the determination of the depth image, the determination of the CAD object representation and/or the determination of the color image can take place from a perspective of at least one predetermined gripping pose of the gripping device on the object to be gripped. In particular, predetermined gripping poses can usually be determined using known methods, preferably using grasp sampling, in a step preceding the method. Advantageously, in one embodiment, at least one predetermined gripping pose is available for an object to be gripped, or at least one predetermined gripping pose is stored for the object to be gripped. In one embodiment, this makes it possible for a gripping pose to be recognized in the scene, in particular in the depth image and/or the rendered CAD object representation and/or the color image, and for a gripping probability for the gripping pose to be determined from the perspective of the at least one predetermined gripping pose , or can be determined. In other words, a representation of the handle can be determined using the depth image and/or the rendered CAD object representation and/or the color image, from which a grasping probability for the handle can be determined (by means of the method). Advantageously, in particular the most promising grip can be selected or a decision can be made as to whether gripping can be carried out at all.

Eine „Perspektive der Greifpose“ soll hierin vorzugsweise als eine Richtung verstanden werden, die sich auf insbesondere eine Längsachse der Greifvorrichtung beziehen kann und/oder insbesondere auf eine Längsachse des Endeffektors der Greifvorrichtung oder auf eine Mittelachse, bzw. Längsachse einer Komponente des Systems zum Greifen, insbesondere des Systems zum Greifen und Ablegen.A “perspective of the gripping pose” should preferably be understood herein as a direction that can relate in particular to a longitudinal axis of the gripping device and/or in particular to a longitudinal axis of the end effector of the gripping device or to a central axis or longitudinal axis of a component of the system for gripping , especially the system for grabbing and placing.

Beim Greifen mit sechs Freiheitsgraden entspricht die Perspektive der wenigstens einen vorbestimmten Greifpose der Greifvorrichtung üblicherweise nicht der Kameraperspektive der wenigstens einen Tiefenkamera. Daher resultiert üblicherweise, dass für eine von der Sichtachse der Tiefenkamera abweichende Perspektive üblicherweise weniger Tiefeninformation in den Bilddaten, in anderen Worten, weniger Punkte mit Tiefeninformation in einer Punktewolke vorhanden sind, als wenn eine Perspektive der Greifpose mit der Sichtachse der Tiefenkamera (zumindest im Wesentlichen) übereinstimmt. Vorteilhafterweise kann in einer Ausführung mit dem Ermitteln der CAD-Objekt Repräsentation und/oder dem Ermitteln des Farbbilds, insbesondere Ermitteln des Farbbilds basierend auf CAD-Daten, Tiefeninformation „gewonnen“ werden, die ein Ermitteln einer Greifwahrscheinlichkeit ermöglichen kann, selbst wenn für das zu greifende Objekt nur wenig Tiefeninformation im Tiefenbild aus der Perspektive der Greifpose vorhanden ist.When gripping with six degrees of freedom, the perspective of the at least one predetermined gripping pose of the gripping device usually does not correspond to the camera perspective of the at least one depth camera. This usually results in that for a perspective that deviates from the visual axis of the depth camera, there is usually less depth information in the image data, in other words, fewer points with depth information in a point cloud than if a perspective of the gripping pose corresponds to the visual axis of the depth camera (at least essentially ) matches. Advantageously, in one embodiment, by determining the CAD object representation and/or determining the color image, in particular determining the color image based on CAD data, depth information can be “obtained”, which can enable a grasp probability to be determined, even if for that grasping object there is only little depth information in the depth image from the perspective of the grasping pose.

Nach einer Ausführungsform kann das Verfahren ferner ein randomisiertes Auswählen von Objekten, die insbesondere nicht die wenigstens eine vorbestimmte Greifpose betreffen, umfassen. In einer Ausführung kann das Verfahren ein randomisiertes Auswählen von (stark) verdeckten Objekten, die insbesondere nicht die wenigstens eine vorbestimmte Greifpose betreffen, umfassen. Für die randomisiert ausgewählten Objekte kann das Verfahren in einer Ausführung umfassen, dass für diese randomisiert ausgewählten Objekte keine CAD-Objekt Repräsentation ermittelt wird. Dies kann in einer Ausführung für ein Training eines Algorithmus des maschinellen Lernens eingesetzt werden, der ein erfindungsgemäßes Verfahren (zumindest teilweise) ausführt oder ausführen kann. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass Trainingsdaten für einen Algorithmus des maschinellen Lernens erzeugt werden können, insbesondere für ein künstliches neuronales Netzwerk (englisch: „artificial neuronal network“). Hierdurch kann in einer Ausführung ein Algorithmus, der das Verfahren (zumindest teilweise) ausführt besser trainiert werden. Insbesondere kann hierdurch in einer Ausführung vorteilhafterweise das Verfahren beschleunigt werden.According to one embodiment, the method may further comprise a randomized selection of objects that in particular do not relate to the at least one predetermined gripping pose. In one embodiment, the method may include a randomized selection of (heavily) obscured objects, which in particular do not relate to the at least one predetermined gripping pose. For the randomly selected objects, in one embodiment the method can include no CAD object representation being determined for these randomly selected objects. This can be used in one embodiment for training a machine learning algorithm that executes or can execute a method according to the invention (at least partially). Advantageously, in one embodiment, this makes it possible to generate training data for a machine learning algorithm, in particular for an artificial neural network. This allows an algorithm that (at least partially) executes the method to be better trained in one execution. In particular, in one embodiment the method can advantageously be accelerated.

Nach einer Ausführungsform kann das Verfahren ferner das Greifen des zu greifenden Objekts umfassen, insbesondere das Greifen des zu greifenden Objekts mit der höchsten Greifwahrscheinlichkeit, weiter insbesondere das Greifen und Ablegen des Objekts, insbesondere des Objekts mit der höchsten Greifwahrscheinlichkeit, umfassen. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass das zu greifende Objekt, insbesondere das Objekt mit der höchsten Greifwahrscheinlichkeit, effizient und/oder effizienter ausgewählt werden kann und insbesondere ein Prozess des Greifsystems beschleunigt und/oder verbessert werden kann. Vorteilhafterweise kann das Verfahren in einer Ausführung eine Entscheidung für ein zu greifendes Objekt beschleunigen und hierdurch insbesondere eine Effizient einer Greifreihenfolge bei den zu greifenden Objekten optimieren.According to one embodiment, the method may further comprise gripping the object to be gripped, in particular gripping the object to be gripped with the highest probability of gripping, further in particular comprising gripping and placing the object, in particular the object with the highest probability of gripping. Advantageously, in one embodiment, this makes it possible for the object to be gripped, in particular the object with the highest probability of gripping, to be selected efficiently and/or more efficiently and in particular for a process of the gripping system to be accelerated and/or improved. Advantageously, the method can in one embodiment, accelerate a decision for an object to be gripped and thereby in particular optimize the efficiency of a gripping sequence for the objects to be gripped.

Nach einer Ausführungsform kann das Erfassen der Bilddaten (zeitlich) zwischen dem Greifen eines ersten (zu greifenden) Objekts und dem Greifen eines zweiten (zu greifenden) Objekts, insbesondere innerhalb der Szene, ausgeführt werden. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass ein zu greifendes Objekt, insbesondere innerhalb der Szene, insbesondere in einem (zeitlichen) Verfahrensabschnitt ermittelt werden kann, in dem die Szene nicht von einem Greifsystem, bzw. dessen Greifvorrichtung verdeckt wird und/oder dass ein Prozess des Greifsystems effizienter und/oder schneller abläuft.According to one embodiment, the acquisition of the image data can be carried out (in time) between the gripping of a first object (to be gripped) and the gripping of a second object (to be gripped), in particular within the scene. Advantageously, in one embodiment, this makes it possible for an object to be gripped, in particular within the scene, to be determined, in particular in a (temporal) process section in which the scene is not covered by a gripping system or its gripping device and/or that a process of the gripping system runs more efficiently and/or faster.

Nach einer Ausführungsform kann das Erfassen der Bilddaten während eines Ablegens des gegriffenen Objekts ausgeführt werden. Insbesondere kann das Verfahren während eines Ablegens des gegriffenen Objekts ausgeführt werden. Vorteilhafterweise kann in einer Ausführung hierdurch ermöglicht werden, dass Taktzeit (des Greifsystems) eingespart wird und/oder werden kann.According to one embodiment, the acquisition of the image data can be carried out while the grasped object is being placed down. In particular, the method can be carried out while the grasped object is being placed down. Advantageously, in one embodiment, this makes it possible for cycle time (of the gripping system) to be and/or be saved.

Nach einer Ausführungsform kann das Ermitteln einer Greifwahrscheinlichkeit ferner auf bekannten, insbesondere tabellarischen, Daten des Greifsystems, der Greifvorrichtung und/oder des zu greifenden Objekts basieren. Hierdurch kann in einer Ausführung ermöglicht werden, dass Daten, insbesondere Daten, die nicht durch die wenigstens eine Tiefenkamera erfasst werden, mit in das Ermitteln einer Greifwahrscheinlichkeit eingebracht werden und/oder eingebracht werden können. Diese tabellarischen Daten können in einer Ausführung Informationen zu wenigstens einer Greifpose, einer Greifellipse, insbesondere deren Größe, und insbesondere andere zur Verfügung stehenden Informationen umfassen. Vorteilhafterweise kann hierdurch ermöglicht werden, dass eine Greifwahrscheinlichkeit genauer und/oder besser ermittelt werden kann, als insbesondere ohne (bekannte) Daten. Ferner kann in einer Ausführung hierdurch ermöglicht werden, dass ein Greifprozess des Greifsystems insbesondere schneller und/oder genauer durchgeführt werden kann.According to one embodiment, the determination of a gripping probability can further be based on known, in particular tabular, data of the gripping system, the gripping device and/or the object to be gripped. In one embodiment, this makes it possible for data, in particular data that is not captured by the at least one depth camera, to be and/or able to be incorporated into the determination of a gripping probability. In one embodiment, this tabular data can include information about at least one gripping pose, a gripping ellipse, in particular its size, and in particular other available information. This advantageously makes it possible for a gripping probability to be determined more precisely and/or better than, in particular, without (known) data. Furthermore, in one embodiment, this makes it possible for a gripping process of the gripping system to be carried out in particular faster and/or more precisely.

In einer Ausführungsform kann das Verfahren das Ermitteln von Bildem aus der Perspektive der wenigstens einen Greiferkomponente umfassen. Die Bilder aus der Perspektive der wenigstens einen Greiferkomponente können in einer Ausführung aus der Punktewolke der Tiefeninformation (Bilddaten), insbesondere aus dem Tiefenbild, und/oder der CAD-Objekt Repräsentation ermittelt, bzw. gerendert werden. Hierdurch kann insbesondere ermöglicht werden, insbesondere in Kombination mit dem Tiefenbild und/oder der CAD-Objekt Repräsentation und/oder dem Farbbild, dass eine Oberflächenstruktur an der Greifposition genauer und/oder besser beurteilt werden kann.In one embodiment, the method may include obtaining images from the perspective of the at least one gripper component. In one embodiment, the images from the perspective of the at least one gripper component can be determined or rendered from the point cloud of the depth information (image data), in particular from the depth image, and/or the CAD object representation. This makes it possible, in particular in combination with the depth image and/or the CAD object representation and/or the color image, for a surface structure at the gripping position to be assessed more precisely and/or better.

Eine Greiferkomponente soll hierin vorzugsweise als einer der, insbesondere mechanischen, Teile des Greifsystems verstanden werden, die für das Greifen von Objekten verwendet werden oder verwendet werden können. In anderen Worten kann die Greiferkomponente vorzugsweise als eines der Wirkelement oder als das wenigstens eine Wirkelement des Endeffektors der Greifvorrichtung verstanden werden. A gripper component should preferably be understood herein as one of the, in particular mechanical, parts of the gripping system that are used or can be used for gripping objects. In other words, the gripper component can preferably be understood as one of the active elements or as the at least one active element of the end effector of the gripping device.

Nach einer Ausführungsform kann das Ermitteln einer Greifwahrscheinlichkeit ferner auf einem Tiefenbild und/oder einer CAD-Objekt Repräsentation aus Perspektive (wenigstens) einer Greiferkomponente basieren. Hierdurch kann insbesondere ermöglicht werden, dass Hindernisse, die insbesondere die Greifellipse der Greifvorrichtung des Greifsystems, insbesondere die (Greifellipse der) Greiferkomponente bei einem (potentiellen) Greifvorgang behindern könnten, erkannt werden (können) und insbesondere in das Ermitteln einer Greifwahrscheinlichkeit einfließen (können).According to one embodiment, determining a gripping probability can further be based on a depth image and/or a CAD object representation from the perspective of (at least) one gripper component. This makes it possible, in particular, for obstacles that could impede, in particular, the gripping ellipse of the gripping device of the gripping system, in particular the (gripper ellipse of the) gripper component during a (potential) gripping process, to be recognized and, in particular, to be incorporated into the determination of a gripping probability. .

Nach einer Ausführungsformkann das Verfahren, insbesondere das Ermitteln einer Greifwahrscheinlichkeit, durch einen Algorithmus des maschinellen Lernens, insbesondere durch ein künstliches neuronales Netz, durchgeführt werden. Hierdurch kann in einer Ausführung ermöglicht werden, dass das Verfahren und/oder insbesondere das Ermitteln einer Greifwahrscheinlichkeit, vorgeschlagene, insbesondere vorbestimmte Griffe (zu einer Greifpose) mit höherer Präzision bewerten kann.According to one embodiment, the method, in particular the determination of a gripping probability, can be carried out by a machine learning algorithm, in particular by an artificial neural network. This makes it possible in one embodiment that the method and/or in particular the determination of a gripping probability can evaluate proposed, in particular predetermined, grips (for a gripping pose) with higher precision.

Nach einer Ausführungsform kann das Verfahren ferner umfassen, dass eine Greifwahrscheinlichkeit für ein zu greifende Objekt niedriger bewertet wird, wenn für die Greifpose wenig Tiefeninformation vorhanden ist, als eine Greifwahrscheinlichkeit für ein zu greifendes Objekt bei dem viel Tiefinformation vorhanden ist. „Wenig Tiefeninformation“ soll hierin als weniger als 40% Tiefeninformation aus der Perspektive der Greifpose verstanden werden, insbesondere weniger als 30% Tiefeninformation, weniger als 25% Tiefeninformation weniger als 20% Tiefeninformation, weniger als 15% Tiefeninformation oder weniger als 10% Tiefeninformation aus der Perspektive der Greifpose, im Vergleich zu einer Greifpose, deren Perspektive mit einer Sichtachse der Tiefenkamera übereinstimmt. „Viel Tiefeninformation“ soll hierin als mehr als 25% Tiefeninformation, insbesondere mehr als 40% Tiefeninformation, mehr als 50% Tiefeninformation, mehr als 75% Tiefeninformation, oder mehr als 80% Tiefeninformation verstanden werden im Vergleich zu einer Greifpose, deren Perspektive mit einer Sichtachse der Tiefenkamera übereinstimmt, oder insbesondere im Vergleich zu einem zu greifenden Objekt aus der Perspektive der Greifpose mit wenig Tiefeninformation. Insbesondere können zu greifende Objekte mit wenig Tiefeninformation von einer Ermittlung der Greifwahrscheinlichkeit ausgeschlossen werden. Vorteilhafterweise kann hierdurch ermöglicht werden, dass das Verfahren effizienter durchgeführt werden kann, weil insbesondere beim Ermitteln der Greifwahrscheinlichkeit für weniger Kandidaten eine Greifwahrscheinlichkeit ermittelt werden muss.According to one embodiment, the method may further include that a gripping probability for an object to be gripped is evaluated lower if there is little depth information for the gripping pose than a gripping probability for an object to be gripped in which a lot of depth information is present. “Little depth information” is to be understood herein as less than 40% depth information from the perspective of the grasping pose, in particular less than 30% depth information, less than 25% depth information, less than 20% depth information, less than 15% depth information or less than 10% depth information the perspective of the grasping pose, compared to a grasping pose whose perspective coincides with a visual axis of the depth camera. “A lot of depth information” is to be understood herein as more than 25% depth information, in particular more than 40% depth information, more than 50% depth information, more than 75% depth information, or more than 80% depth information are compared to a grasping pose whose perspective corresponds to a visual axis of the depth camera, or in particular compared to an object to be grasped from the perspective of the grasping pose with little depth information. In particular, objects to be grasped with little depth information can be excluded from determining the grasping probability. This advantageously makes it possible for the method to be carried out more efficiently because, in particular when determining the gripping probability, a gripping probability has to be determined for fewer candidates.

In einer Ausführung wird das Verfahren von einem voll faltenden neuronalen Netzwerk (englisch: „Fully Convolutional Neural Network“) ausgeführt. Hierdurch kann insbesondere ermöglicht werden, dass insbesondere größere Eingangsbilder (Tiefenbild, CAD-Objekt Repräsentations-Bild, Farbbild) verwendet werden können, als im Vergleich mit neuronalen Netzwerken, die nicht als fully convolutional neural network aufgebaut sind. In einer Ausführung kann durch ein fully convolutional network ermöglicht werden, dass Bilder schneller bewertet werden (können), als insbesondere ohne neuronales Netzwerk. Weiter vorteilhafterweise können in einer Ausführung mit einem fully convolutional neural network möglichst viele Griffe bewertet und gleichzeitig eine hohe Taktzeit gewährleistet werden.In one embodiment, the method is carried out by a fully convolutional neural network. This makes it possible in particular to use larger input images (depth image, CAD object representation image, color image) than in comparison with neural networks that are not constructed as a fully convolutional neural network. In one embodiment, a fully convolutional network can enable images to be evaluated more quickly than, in particular, without a neural network. Further advantageously, in an embodiment with a fully convolutional neural network, as many handles as possible can be evaluated and at the same time a high cycle time can be guaranteed.

Nach einer Ausführungsform der vorliegenden Erfindung wird ein System zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine, insbesondere eines Roboters, bereitgestellt. Das Greifsystem weist in einer Ausführung eine Greifvorrichtung, insbesondere eine mehrachsige Greifvorrichtung auf. Ferner weist das Greifsystem in einer Ausführung wenigstens eine fixierte Tiefenkamera auf. Das System ist in einer Ausführung zur Durchführung eines Verfahrens wie in Ausführungsformen oben beschrieben, eingerichtet und/oder weist auf:

Mittel zum Ermitteln eines Tiefenbilds anhand der Bilddaten;
Mittel zum Ermitteln einer 6D Pose des mindestens einen bekannten Objekts anhand des Tiefenbilds;
Mittel zum Ermitteln einer CAD-Objekt Repräsentation basierend auf der ermittelten 6D Pose des mindestens einen bekannten Objekts und bekannter CAD-Daten des mindestens einen bekannten Objekts;
Mittel zum Ermitteln einer Greifwahrscheinlichkeit basierend auf dem Tiefenbild und der CAD-Objekt Repräsentation.

According to one embodiment of the present invention, a system for operating and/or monitoring gripping, in particular gripping and placing, of a multi-axis machine, in particular a robot, is provided. In one embodiment, the gripping system has a gripping device, in particular a multi-axis gripping device. Furthermore, in one embodiment, the gripping system has at least one fixed depth camera. In one embodiment, the system is set up to carry out a method as described in the embodiments above and/or has:

Means for determining a depth image based on the image data;
Means for determining a 6D pose of the at least one known object based on the depth image;
Means for determining a CAD object representation based on the determined 6D pose of the at least one known object and known CAD data of the at least one known object;
Means for determining a gripping probability based on the depth image and the CAD object representation.

In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Ermitteln eines Farbbilds basierend auf den Bilddaten, insbesondere Mittel zum Ermitteln von Texturen und/oder Schatten im Farbbild, wobei Mittel zum Ermitteln einer Greifwahrscheinlichkeit zusätzlich dazu eingerichtet sind, eine Greifwahrscheinlichkeit basierend auf dem Farbbild zu ermitteln.In one embodiment, the system or its means has: means for determining a color image based on the image data, in particular means for determining textures and/or shadows in the color image, wherein means for determining a gripping probability are additionally set up to determine a gripping probability based on from the color image.

In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum randomisierten Auswählen von Objekten, insbesondere Auswählen von verdeckten Objekten, die nicht die wenigstens eine vorbestimmte Greifpose betreffen, wobei für die randomisiert ausgewählten Objekte keine CAD-Objekt Repräsentation ermittelt wirdIn one embodiment, the system or its means has: means for randomly selecting objects, in particular selecting hidden objects that do not relate to the at least one predetermined gripping pose, with no CAD object representation being determined for the randomly selected objects

In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Greifen des Objekts mit der höchsten Greifwahrscheinlichkeit, insbesondere Greifen und Ablegen des Objekts mit der höchsten Greifwahrscheinlichkeit. Insbesondere kann das Mittel zum Greifen und insbesondere Ablegen eine Greifvorrichtung sein.In one embodiment, the system or its means has: Means for gripping the object with the highest probability of gripping, in particular gripping and placing the object with the highest probability of gripping. In particular, the means for gripping and in particular depositing can be a gripping device.

In einer Ausführungsform weist das System bzw. seine Mittel auf: Mittel zum Ermitteln einer Greifwahrscheinlichkeit, wobei die Greifwahrscheinlichkeit ferner auf einem Tiefenbild und/oder einer CAD-Objekt Repräsentation aus Perspektive einer Greiferkomponente basiert.In one embodiment, the system or its means has: Means for determining a gripping probability, wherein the gripping probability is further based on a depth image and/or a CAD object representation from the perspective of a gripper component.

Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die Maschine betreiben bzw. überwachen kann.A system and/or a means in the sense of the present invention can be designed in terms of hardware and/or software technology, in particular at least one processing unit, in particular a microprocessor unit, preferably connected to a memory and/or bus system with data or signals, in particular digital processing unit ( CPU), graphics card (GPU) or the like, and/or one or more programs or program modules. The processing unit can be designed to process commands that are implemented as a program stored in a memory system, to detect input signals from a data bus and/or to deliver output signals to a data bus. A storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media. The program can be designed in such a way that it embodies or is able to carry out the methods described here, so that the processing unit can carry out the steps of such methods and can therefore in particular operate or monitor the machine.

Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.In one embodiment, a computer program product can be a storage medium, in particular a computer-readable and/or non-volatile storage medium Storing a program or instructions or with a program stored thereon or with instructions stored thereon, in particular be. In one embodiment, executing this program or these instructions by a system or a controller, in particular a computer or an arrangement of several computers, causes the system or the controller, in particular the computer or computers, to implement a method described here or to carry out one or more of its steps, or the program or the instructions are set up for this purpose.

In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch die Steuerung bzw. ihr(e) Mittel.In one embodiment, one or more, in particular all, steps of the method are carried out completely or partially automatically, in particular by the control or its means.

In einer Ausführung weist das System den Roboter auf.In one embodiment, the system has the robot.

Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

1: ein System zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine nach einer Ausführung der vorliegenden Erfindung;
2: eine Szene mit schematisch dargestellter Tiefeninformation aus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung;
3 eine Szene mit schematisch dargestellter CAD-Objekt Repräsentationaus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung;
4 eine Szene mit schematisch dargestelltem Farbbild aus der Perspektive der Greifpose nach einer Ausführung der vorliegenden Erfindung;
5 schematisch eine Darstellung eines Algorithmus des maschinellen Lernens nach einer Ausführung der vorliegenden Erfindung; und
6 schematisch ein Verfahren nach einer Ausführung der vorliegenden Erfindung.

Further advantages and features result from the subclaims and the exemplary embodiments. This shows, partly schematized:

1 : a system for operating and/or monitoring gripping, in particular gripping and placing, of a multi-axis machine according to an embodiment of the present invention;
2 : a scene with depth information shown schematically from the perspective of the grasping pose according to an embodiment of the present invention;
3 a scene with a schematically illustrated CAD object representation from the perspective of the grasping pose according to an embodiment of the present invention;
4 a scene with a schematically illustrated color image from the perspective of the grasping pose according to an embodiment of the present invention;
5 schematically a representation of a machine learning algorithm according to an embodiment of the present invention; and
6 schematically a method according to an embodiment of the present invention.

1 zeigt ein System 1 zum Betreiben und/oder Überwachen eines Greifens, insbesondere eines Greifens und Ablegens, einer mehrachsigen Maschine 2, die in der schematischen Darstellung von 1 als Roboter 2 dargestellt ist. Der Roboter 2 umfasst eine Greifvorrichtung 3. Ferner ist eine fixierte Tiefenkamera 4 schematisch dargestellt. Die Tiefenkamera 4 „beobachtet“ eine Szene, die mehrere zu greifende Objekte 5 umfasst. Das System 1 ist dazu ausgelegt anhand der von der Tiefenkamera 4 erfassten Bilddaten der Szene 10 eine Greifwahrscheinlichkeit für wenigstens eines der zu greifenden Objekte 5 zu ermitteln. 1 shows a system 1 for operating and/or monitoring gripping, in particular gripping and placing, of a multi-axis machine 2, which is shown in the schematic representation of 1 is shown as robot 2. The robot 2 includes a gripping device 3. Furthermore, a fixed depth camera 4 is shown schematically. The depth camera 4 “observes” a scene that includes several objects 5 to be grasped. The system 1 is designed to determine a gripping probability for at least one of the objects 5 to be gripped based on the image data of the scene 10 captured by the depth camera 4.

Das System 1 kann dann mithilfe der Greifvorrichtung 3 das zu greifende Objekt 5 mit einer Greifpose anfahren und insbesondere das zu greifende Objekt 5 greifen, für das mit einer Griffevaluierung anhand den von der Tiefenkamera 4 erfassten Bilddaten eine hohe (im Vergleich zu den anderen zu greifenden Objekten 5), insbesondere die höchste, Greifwahrscheinlichkeit auf Basis des Tiefenbilds und der CAD-Objekt Repräsentation (und des Farbbilds) ermittelt wurde.The system 1 can then use the gripping device 3 to approach the object 5 to be gripped with a gripping pose and in particular to grip the object 5 to be gripped, for which a high (compared to the other to be gripped) is achieved using a grip evaluation based on the image data recorded by the depth camera 4 Objects 5), in particular the highest, grasping probability was determined based on the depth image and the CAD object representation (and the color image).

Ergänzend oder alternativ kann, wenn ein zu greifendes Objekt 5 ausgewählt wurde, insbesondere anhand seiner Greifwahrscheinlichkeit, der Roboter 2 eine Greifpose anfahren und das zu greifende Objekt 5 greifen. Im Anschluss kann der Roboter 2 das gegriffene Objekt manipulieren und insbesondere an einem vorbestimmten Ort ablegen oder randomisiert aus vorbestimmten Orten auswählen und das gegriffene Objekt ablegen.Additionally or alternatively, if an object 5 to be gripped has been selected, in particular based on its probability of gripping, the robot 2 can move to a gripping pose and grab the object 5 to be gripped. The robot 2 can then manipulate the gripped object and, in particular, place it at a predetermined location or randomly select from predetermined locations and place the gripped object.

2 zeigt schematisch eine Szene 30 mit schematisch dargestellter Tiefeninformation aus der Perspektive der Greifpose eines zu greifenden Objekts 5. Tiefeninformation, die aus Bilddaten einer Tiefenkamera 4 ermittelt werden kann, ist, wie schematisch dargestellt aus Perspektive einer Greifpose üblicherweise unvollständig und/oder (zumindest teilweise) nicht vorhanden. Für das zu greifende Objekt 5 kann damit anhand des Tiefenbilds 30 nicht oder nur schwer ermittelt werden, ob eine Greifpose vom Greifsystem 1 anfahrbar ist und eine Greifvorrichtung 3 den Griff ausführen kann. Die Greifposition 20 für die eine vorbestimmte Greifpose, insbesondere mittels grasp sampling ermittelt wurde, ist in 2 als bedingt zugänglich dargestellt. Beim Ermitteln der Greifwahrscheinlichkeit werden insbesondere die (vorbekannten) Daten zur Greifvorrichtung 3 mit einbezogen, so dass ermittelt werden kann, ob ein Griff an der Greifposition 20 möglich ist, bedingt möglich ist oder nicht möglich ist. 2 schematically shows a scene 30 with schematically represented depth information from the perspective of the gripping pose of an object 5 to be gripped. Depth information that can be determined from image data of a depth camera 4 is, as shown schematically from the perspective of a gripping pose, usually incomplete and/or (at least partially) unavailable. For the object 5 to be gripped, it is not possible or difficult to determine on the basis of the depth image 30 whether a gripping pose can be approached by the gripping system 1 and whether a gripping device 3 can carry out the grip. The gripping position 20 for which a predetermined gripping pose was determined, in particular by means of grasp sampling, is in 2 presented as conditionally accessible. When determining the gripping probability, in particular the (previously known) data for the gripping device 3 are included, so that it can be determined whether a grip at the gripping position 20 is possible, is conditionally possible or is not possible.

In 3 ist schematisch eine Szene mit CAD-Objekt Repräsentation, bzw. CAD-Objekt Repräsentationen für die zu greifenden Objekte 5 aus der Perspektive der Greifpose dargestellt. Für die entsprechende Darstellung wurde das Tiefenbild 30 verwendet, um eine 6D Pose der zu greifenden Objekte 5 zu ermitteln. Mit dieser Information zur Pose der zu greifenden Objekte 5 können dann CAD-Objekt Repräsentationen zu bzw. mit den vorhandene CAD Daten von den zu greifenden Objekten 5 in die Szene 31 gerendert werden. Dabei kann die Greifposition 20 insbesondere genauer dargestellt werden und das Ermitteln einer Greifwahrscheinlichkeit auf Basis des Tiefenbilds und der CAD-Objekt Repräsentation(en) erfolgen. Auf diese Weise kann (besser) entschieden werden, ob ein Griff an der Greifposition 20 möglich ist, bedingt möglich ist oder nicht möglich ist.In 3 a scene with CAD object representation, or CAD object representations for the objects to be gripped 5 is shown schematically from the perspective of the gripping pose. For the corresponding representation, the depth image 30 was used to determine a 6D pose of the objects 5 to be grasped. With this information about the pose of the objects 5 to be grasped, CAD object representations can then be rendered into the scene 31 for or with the existing CAD data from the objects 5 to be grasped. In this case, the gripping position 20 can be represented in particular more precisely and the determination of a gripping point can be achieved probability based on the depth image and the CAD object representation(s). In this way it can be decided (better) whether a grip at the gripping position 20 is possible, is conditionally possible or is not possible.

In 4 ist schematisch eine Szene mit Farbbild aus der Perspektive der Greifpose des zu greifenden Objekts 5 dargestellt. Aus dem Tiefenbilds 30, das in 2 beispielhaft dargestellt ist. Kann eine 6D Pose ermittelt werden und insbesondere wie in 3 dargestellt eine Szene mit CAD-Objekt Repräsentation(en) 31 gerendert werden. Mit der zusätzlichen Information, die insbesondere von RGB-Tiefenkamera, erfasst werden kann, kann ein Farbbild 32, insbesondere basierend auf der CAD-Objekt Repräsentation 31, ermittelt werden, das (zusätzliche) Informationen zu Farben des zu greifenden Objekts 5 umfasst. Anhand der ersten Farbinformation 41, der zweiten Farbinformation 42, der dritten Farbinformation 43 und/oder der vierten Farbinformation 44 kann eine Oberflächenbeschaffenheit des zu greifenden Objekts 5, insbesondere an der Greifposition 20, ermittelt werden. Diese Information kann einerseits aus der Farbinformation 41, 42, 43, 44 ermittelt werden. Mit der Farbinformation 41, 42, 43, 44 des Farbbilds lassen sich auch Schatten darstellen und/oder Rückschlüsse auf (verschiedene) Materialien des zu greifenden Objekts 5 ermitteln. Alternativ oder ergänzend kann eine Oberflächenbeschaffenheit des zu greifenden Objekts 5 aus zusätzlichen Informationen (Daten) ermittelt werden, die insbesondere nicht von der RGB-Tiefenkamera 4 erfasst werden können. Anhand der (zusätzlichen) Information des Tiefenbilds 32 kann dann in Kombination mit dem Tiefenbild und der CAD-Objekt Repräsentation eine Greifwahrscheinlichkeit ermittelt werden.In 4 A scene with a color image is shown schematically from the perspective of the gripping pose of the object 5 to be gripped. From depth image 30, which is in 2 is shown as an example. Can a 6D pose be determined and in particular as in 3 A scene is shown with CAD object representation(s) 31 to be rendered. With the additional information, which can be captured in particular by the RGB depth camera, a color image 32, in particular based on the CAD object representation 31, can be determined, which includes (additional) information about colors of the object 5 to be gripped. Based on the first color information 41, the second color information 42, the third color information 43 and/or the fourth color information 44, a surface quality of the object 5 to be gripped, in particular at the gripping position 20, can be determined. On the one hand, this information can be determined from the color information 41, 42, 43, 44. With the color information 41, 42, 43, 44 of the color image, shadows can also be displayed and/or conclusions about (different) materials of the object 5 to be grasped can be determined. Alternatively or additionally, a surface quality of the object 5 to be gripped can be determined from additional information (data), which in particular cannot be captured by the RGB depth camera 4. A gripping probability can then be determined based on the (additional) information of the depth image 32 in combination with the depth image and the CAD object representation.

5 zeigt schematisch eine Darstellung eines Algorithmus des maschinellen Lernens 50. Das Netz zeigt hier beispielhaft drei Eingänge für ein Tiefenbild, ein mit CAD-Objekt Repräsentation(en) gerendertes Bild und ein Farbbild. Diese Bilder werden vom Algorithmus, der ein künstliches neuronales Netz, wie beispielhaft dargestellt, sein kann, verarbeitet und ein Ergebnis in der Form einer Greifwahrscheinlichkeit für das zu greifende Objekt 5 ermittelt. 5 shows schematically a representation of a machine learning algorithm 50. The network shows here as an example three inputs for a depth image, an image rendered with CAD object representation(s) and a color image. These images are processed by the algorithm, which can be an artificial neural network, as shown by way of example, and a result in the form of a grasping probability for the object 5 to be grasped is determined.

6 zeigt schematisch ein Verfahren zum Greifen 60, das die Schritte S100 bis S108 umfasst. Das Verfahren 60 umfasst einen Schritt des Erfassens von Bilddaten einer Szene S100, sowie das Ermitteln eines Tiefenbilds anhand der Bilddaten S102. Ferner umfasst das Verfahren 60 das Ermitteln einer 6D Pose des mindestens einen bekannten Objekts 5 anhand des Tiefenbilds S104. Weiterhin umfasst das Verfahren 60 das Ermitteln einer CAD-Objekt Repräsentation S106, basierend auf der ermittelten 6D Pose des zu greifenden Objekts 5 und bekannter CAD Daten des bekannten Objekts 5. In Schritt S108 wird eine Greifwahrscheinlichkeit für das Greifen des zu greifenden Objekts 5 ermittelt, basierend auf dem in Schritt S102 ermittelten Tiefenbild und dem in Schritt S106 ermittelten CAD-Objekt Repräsentation. Anhand der in S108 ermittelten Greifwahrscheinlichkeit kann entschieden werden, ob das zu greifende Objekt vom Greifsystem, insbesondere der Greifvorrichtung des Greifsystems gegriffen werden soll, oder ob ein anderes zu greifendes Objekt existiert, das eine höhere Greifwahrscheinlichkeit aufweist. Anschließend kann das System insbesondere dazu veranlasst werden, das zu greifende Objekt mit insbesondere der höchsten Greifwahrscheinlichkeit zu greifen. Das gegriffene Objekt kann dann an einer dafür vorgesehenen oder randomisierten Position, insbesondere in einem Ablegebereich abgelegt werden. 6 schematically shows a method for gripping 60, which includes steps S100 to S108. The method 60 includes a step of acquiring image data of a scene S100, as well as determining a depth image based on the image data S102. Furthermore, the method 60 includes determining a 6D pose of the at least one known object 5 based on the depth image S104. Furthermore, the method 60 includes determining a CAD object representation S106, based on the determined 6D pose of the object 5 to be gripped and known CAD data of the known object 5. In step S108, a gripping probability for gripping the object 5 to be gripped is determined, based on the depth image determined in step S102 and the CAD object representation determined in step S106. Based on the gripping probability determined in S108, a decision can be made as to whether the object to be gripped should be gripped by the gripping system, in particular the gripping device of the gripping system, or whether another object to be gripped exists that has a higher gripping probability. The system can then be caused, in particular, to grip the object to be gripped with, in particular, the highest probability of gripping. The grasped object can then be placed in a designated or randomized position, in particular in a storage area.

Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.Although exemplary embodiments have been explained in the preceding description, it should be noted that a variety of modifications are possible. It should also be noted that the exemplary statements are merely examples and are not intended to limit the scope of protection, applications and structure in any way. Rather, the preceding description provides the person skilled in the art with a guideline for the implementation of at least one exemplary embodiment, whereby various changes, in particular with regard to the function and arrangement of the components described, can be made without leaving the scope of protection, as it appears the claims and combinations of features equivalent to them.

BezugszeichenlisteReference symbol list

11: Systemsystem
22: mehrachsige Maschine, insbesondere Robotermulti-axis machine, especially robot
33: GreifvorrichtungGripping device
44: fixierte Tiefenkamerafixed depth camera
55: zu greifendes Objektobject to be grasped
1010: Szenescene
2020: GreifpositionGripping position
3030: Tiefenbild aus Perspektive der GreifposeDepth image from the grasping pose perspective
3131: CAD-Objekt Repräsentation aus Perspektive der GreifposeCAD object representation from the perspective of the gripping pose
3232: Farbbild aus Perspektive der GreifposeColor image from the perspective of the grasping pose
4141: erste Farbinformationfirst color information
4242: zweite Farbinformationsecond color information
4343: dritte Farbinformationthird color information
4444: vierte Farbinformationfourth color information
5050: Algorithmus des maschinellen LernensMachine learning algorithm
6060: Verfahren zum GreifenProcedure for grasping
S100S100: Erfassen von Bilddaten einer SzeneCapturing image data of a scene
S102S102: Ermitteln eines TiefenbildsObtaining a depth image
S104S104: Ermitteln einer 6D PoseDetermining a 6D pose
S106S106: Ermitteln einer CAD-Objekt RepräsentationDetermining a CAD object representation
S108S108: Ermitteln einer GreifwahrscheinlichkeitDetermining a grab probability

Claims

Method (60) for gripping with 6 degrees of freedom, in particular for gripping and placing, with the aid of a gripping system (1), the gripping system (1) comprising at least one fixed depth camera (4) and at least one gripping device (3), the method ( 60) includes: - Acquiring (S100) image data of a scene with the at least one depth camera (4); - Determining (S102) a depth image (30) based on the image data; - Determining (S104) a 6D pose of the at least one known object based on the depth image (30); - Determining (S106) a CAD object representation (31) based on the determined 6D pose of the at least one known object (5) and known CAD data of the at least one known object (5); - Determining (S108) a gripping probability based on the depth image (30) and the CAD object representation (31).

Method (60) according to the preceding claim, wherein the determination of the CAD object representation (31) is additionally based on the depth image (30).

Method (60) according to one of the preceding claims, characterized in that the method (60) further comprises: determining, if the at least one depth camera (4) is an RGB depth camera, a color image (32) based on the image data, in particular determining of textures and/or shadows in the color image (32), wherein the determination (S102) of a depth image is additionally based on the color image (32), or wherein a gripping probability is additionally determined based on the color image (32).

Method (60) according to the preceding claim, characterized in that determining the depth image (30), determining the CAD object representation (31) and / or determining the color image (32) from a perspective of at least one predetermined gripping pose of the gripping device on the object to be grasped.

Method (60) according to one of the preceding claims, characterized in that the method (60) further comprises: gripping the object with the highest gripping probability, in particular gripping and placing the object with the highest gripping probability.

Method (60) according to one of the preceding claims, characterized in that the acquisition of the image data is carried out between the gripping of a first object and the gripping of a second object.

Method (60) according to one of the preceding claims, characterized in that the acquisition of the image data is carried out during storage.

Method (60) according to one of the preceding claims, characterized in that the determination of a gripping probability is further based on known, in particular tabular, data of the gripping system, the gripping device and/or the object to be gripped.

Method (60) according to one of the preceding claims, characterized in that the determination of a gripping probability is further based on a depth image (30) and/or a CAD object representation (31) from the perspective of a gripper component.

Method (60) according to one of the preceding claims, characterized in that the determination of a gripping probability is carried out by a machine learning algorithm, in particular by an artificial neural network.

System (1) for operating and/or monitoring gripping, in particular gripping and placing, of a multi-axis machine (2), in particular a robot (2), comprising a gripping device (3), in particular a multi-axis gripping device (3), and at least a fixed depth camera (4), the gripping system (1) being set up to carry out a method (60) according to one of the preceding claims.

Computer program or computer program product, wherein the computer program or computer program product, in particular stored on a computer-readable and/or non-volatile storage medium, contains instructions which, when executed by one or more more computers or a system (1). Claim 11 cause the computer or computers or the system (1) to carry out a method (60) according to one of the Claims 1 until 10 to carry out.