DE102022202569B3 - Checking a given path of a robot - Google Patents
Checking a given path of a robot Download PDFInfo
- Publication number
- DE102022202569B3 DE102022202569B3 DE102022202569.5A DE102022202569A DE102022202569B3 DE 102022202569 B3 DE102022202569 B3 DE 102022202569B3 DE 102022202569 A DE102022202569 A DE 102022202569A DE 102022202569 B3 DE102022202569 B3 DE 102022202569B3
- Authority
- DE
- Germany
- Prior art keywords
- robot
- path
- section
- environment
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012800 visualization Methods 0.000 claims abstract description 34
- 230000003190 augmentative effect Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 claims 1
- 238000011161 development Methods 0.000 description 25
- 230000018109 developmental process Effects 0.000 description 25
- 238000012360 testing method Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40298—Manipulator on vehicle, wheels, mobile
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40479—Use graphic display, layout of robot path, obstacles to indicate interference
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
Ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters (1) umfasst die Schritte: Ermitteln (S20) oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells; Ermitteln (S30) eines Abstands zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell für verschiedene Abschnitte der Bahn; und Visualisieren (S40) einer virtuellen Repräsentation der Bahn mithilfe einer Visualisierungsvorrichtung (2; 3) in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben wird, wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.A method for checking a specified path of a robot (1) comprises the steps: determining (S20) or providing a computer-implemented three-dimensional environment model; determining (S30) a distance between a computer-implemented model of the robot and the environment model for different sections of the path; and Visualizing (S40) a virtual representation of the path using a visualization device (2; 3) in an augmented reality for checking the path, with this visualization for a section of the path a warning being issued if the distance determined for this section in a predetermined warning range, and an all-clear is issued for a section of the track if the distance determined for this section is within a predetermined all-clear range.
Description
Die vorliegende Erfindung betrifft ein Verfahren und System zum Prüfen einer vorgegebenen Bahn eines Roboters sowie ein Computerprogramm bzw. Computerprogrammprodukt zur Durchführung des Verfahrens.The present invention relates to a method and system for checking a specified path of a robot and a computer program or computer program product for carrying out the method.
Roboterbahnen können insbesondere mithilfe einer simulierten Umgebung und/oder durch Einlernen („Teachen“), insbesondere von Bahnpunkten, vorgegeben werden.Robot trajectories can be specified in particular with the aid of a simulated environment and/or by learning (“teaching”), in particular of trajectory points.
Insbesondere zur Inbetriebnahme soll vorzugsweise vorab geprüft werden, ob ein realer Roboter beim Abfahren einer vorgegebenen Bahn mit seiner realen Umgebung kollidieren könnte oder würde, die sich von der simulierten Umgebung oder der realen Umgebung, wie sie beim Einlernen war, unterscheiden kann.In particular for start-up, it should preferably be checked in advance whether a real robot could or would collide with its real environment, which can differ from the simulated environment or the real environment as it was during teaching, when traveling along a specified path.
Die
Die
Die
Die
Aufgabe der vorliegenden Erfindung ist es, den Betrieb von Robotern, insbesondere (durch) das Prüfen vorgegebener Bahnen, zu verbessern.The object of the present invention is to improve the operation of robots, in particular (by) checking predetermined paths.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 12, 13 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens. unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.This object is achieved by a method having the features of
Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Prüfen einer vorgegebenen Bahn eines Roboters („Roboterbahn“) die Schritte:
- - Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- - Ermitteln einer konvexen Hülle für wenigstens einen Abschnitt der Bahn;
- - Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodel; und
- - Visualisieren einer virtuellen Repräsentation der konvexen Hülle der Bahn mithilfe einer Visualisierungsvorrichtung in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge existiert für einen, insbesondere diesen, Abschnitt der Bahn (stattdessen) eine Entwarnung ausgegeben wird, wenn keine Schnittmenge existiert.
- - determining or providing a computer-implemented three-dimensional environment model;
- - determining a convex hull for at least a portion of the trajectory;
- - determining an intersection of the convex hull with the environment model; and
- - Visualizing a virtual representation of the convex hull of the trajectory using a visualization device in an augmented reality for examining the trajectory, with this visualization for a section of the trajectory issuing a warning if at least one intersection exists for one, in particular this, section of the trajectory (instead) an all-clear is issued if no intersection exists.
Dadurch kann in einer Ausführung eine Prüfperson die vorgegebene Bahn zuverlässig(er) und/oder rasch(er) auf die Gefahr möglicher Kollisionen mit der realen Umgebung hin (über)prüfen. In einer Ausführung wird die Bahn, vorzugsweise durch die bzw. eine Prüfperson, mithilfe bzw. auf Basis der visualisierten virtuellen Repräsentation und der ausgegebenen Warnung und/oder Entwarnung geprüft, in einer Weiterbildung werden ein oder mehrere Abschnitte der konvexen Hülle der Bahn, für den bzw. die (jeweils) eine Warnung ausgegeben wird, speziell, insbesondere eingehend(er), genau(er) und/oder gesondert geprüft, insbesondere auf mögliche Kollisionen des Roboters mit der Umgebung, und die Bahn, insbesondere wenigstens diese(r) Abschnitt(e), gegebenenfalls modifiziert.As a result, in one embodiment, a test person can follow the specified path (more) reliably and/or quickly (more) at the risk of possible collisions check (over) against the real environment. In one embodiment, the web is checked, preferably by the or an examiner, using or on the basis of the visualized virtual representation and the issued warning and/or all-clear signal or which (in each case) a warning is issued, specifically, in particular in more detail, more precisely and/or separately checked, in particular for possible collisions of the robot with the environment, and the path, in particular at least this (r) section (e), optionally modified.
Der Roboter weist in einer Ausführung einen Roboterarm mit drei oder mehr, vorzugsweise wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenken, in einer Weiterbildung Drehgelenken, die bewegliche Glieder des Roboters miteinander verbinden und durch Antriebe, insbesondere Motoren, des Roboters beweglich sind, und/oder eine mobile, insbesondere mithilfe wenigstens eines Antriebs, insbesondere Motors, des Roboters, verfahrbare Basis auf. Für solche Roboter ist die Erfindung, insbesondere aufgrund der damit möglichen komplexen Bahnen, besonders vorteilhaft. In einer Ausführung bildet ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.In one embodiment, the robot has a robot arm with three or more, preferably at least six, in one embodiment at least seven joints, in a further development swivel joints which connect the movable members of the robot to one another and can be moved by drives, in particular motors, of the robot, and /or a mobile base that can be moved, in particular using at least one drive, in particular a motor, of the robot. The invention is particularly advantageous for such robots, in particular because of the complex paths that are possible with it. In one embodiment, a robot-guided tool or workpiece forms a (distal) movable member of the robot within the meaning of the present invention, or the model of the robot (also) has a model of a robot-guided tool or workpiece.
Die Bahn ist in einer Ausführung programmtechnisch bzw. durch ein Arbeitsprogramm vorgegeben und ist, insbesondere wird, in einer Weiterbildung mithilfe einer simulierten Umgebung und/oder durch Einlernen bzw. Teachen, insbesondere von Bahnpunkten, vorgegeben.In one embodiment, the path is programmed or specified by a work program and is, in particular, specified in a further development with the aid of a simulated environment and/or by learning or teaching, in particular of path points.
Das dreidimensionale Umgebungsmodell umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die eine bzw. mehrere dreidimensionale(n) Kontur(en) bzw. Geometrie(n) einer realen Umgebung des Roboters, insbesondere einer Roboterzelle, Fertigungs- oder Lagerhalle oder dergleichen, angeben bzw. beschreiben.In one embodiment, the three-dimensional environment model comprises, in particular, permanently or temporarily stored data that contains one or more three-dimensional contour(s) or geometry(s) of a real environment of the robot, in particular a robot cell, production hall or warehouse or the like , indicate or describe.
Das Modell des Roboters umfasst in einer Ausführung, insbesondere dauerhaft oder temporär abgespeicherte Daten, die die dreidimensionale(n) Kontur(en) bzw. Geometrie(n) des (realen) Roboters, insbesondere eines oder mehrerer seiner beweglichen Glieder angeben bzw. beschreiben. Wie vorstehend erwähnt, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein (distales) bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung bzw. weist das Modell des Roboters (auch) ein Modell eines robotergeführten Werkzeugs oder Werkstücks auf.In one embodiment, the model of the robot comprises, in particular, permanently or temporarily stored data which specify or describe the three-dimensional contour(s) or geometry(s) of the (real) robot, in particular one or more of its movable members. As mentioned above, in one embodiment a robot-guided tool or workpiece forms a (distal) movable member of the robot within the meaning of the present invention or the model of the robot (also) has a model of a robot-guided tool or workpiece.
Ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, kann aus einem (Bahn)Punkt bestehen bzw. ein (Bahn)Punkt sein, für den eine Schnittmenge der konvexen Hülle ermittelt wird.A section of the track for which a warning or all-clear is issued can consist of a (track) point or be a (track) point for which an intersection of the convex hull is determined.
Eine konvexe Hülle ist hierin vorzugsweise als die, insbesondere kleinste, konvexe Menge, die wenigstens einen Teil des Roboters, insbesondere wenigstens einen Teil des einen oder der mehreren seiner beweglichen Glieder, in einer Pose umfasst, die wenigstens einem (Bahn)Punkt zugeordnet ist bzw. sein kann, zu verstehen. Umfasst der Abschnitt der Bahn zwei oder mehr (Bahn)Punkte, dann ist die konvexe Hülle vorzugsweise derart zu verstehen, dass die, insbesondere kleinste, konvexe Menge wenigstens einen Teil des Roboters, insbesondere wenigstens einen Teil des einen oder der mehreren seiner beweglichen Glieder in den Posen umfasst, die den zwei oder mehr (Bahn)Punkten des Bahnabschnitts zugeordnet sind.A convex hull is defined herein as the, in particular the smallest, convex set that encompasses at least part of the robot, in particular at least part of the one or more of its movable members, in a pose that is assigned to at least one (orbit) point or .can be to understand. If the section of the path comprises two or more (path) points, then the convex shell is preferably to be understood in such a way that the, in particular the smallest, convex quantity covers at least a part of the robot, in particular at least a part of one or more of its movable members in comprises the poses associated with the two or more (track)points of the track section.
In einer Ausführung erstreckt sich ein Abschnitt der Bahn, für den eine Warnung bzw. Entwarnung ausgegeben wird, ein- oder beidseitig über einen (Bahn)Punkt hinaus bzw. weist mehrere (Bahn)Punkte auf, er kann dabei kontinuierlich oder diskret sein, insbesondere eine kontinuierliche oder diskrete Punktefolge.In one embodiment, a section of the track for which a warning or all-clear is issued extends beyond a (track) point on one or both sides or has several (track) points; it can be continuous or discrete, in particular a continuous or discrete sequence of points.
In einer Ausführung wird zum Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell für einen mehrere Punkte aufweisenden Abschnitt ermittelt, ob wenigstens ein Teil der konvexen Hülle und wenigstens ein Teil des Umgebungsmodells einen gemeinsamen Punkt, eine gemeinsame Fläche teilen und/oder gemeinsam ein Volumen einnehmen und in einer Weiterbildung der Teil der konvexen Hülle des mehrere Punkte aufweisende Abschnitts entsprechend eingefärbt. Dadurch kann in einer Ausführung die Prüfung rasch(er) durchgeführt werden.In one embodiment, to determine an intersection of the convex hull with the environment model for a section having multiple points, it is determined whether at least a part of the convex hull and at least a part of the environment model share a common point, a common area and/or a common volume and in a further development the part of the convex hull of the section having a plurality of points is colored accordingly. As a result, the test can be carried out (more) quickly in one embodiment.
In einer Ausführung wird zum Ermitteln einer Schnittmenge für einen mehrere (Bahn)Punkte aufweisenden Abschnitt, insbesondere einen kontinuierlichen Abschnitt, ein minimaler Abstand bzw. der Abstand zu dem umgebungsmodellnächsten Punkt als Abstand dieses Abschnitts ermittelt. Wenn sich der Abstand in einer Weiterbildung innerhalb eines vorbestimmten und/oder vorgegebenen Bereichs befindet, kann der Abschnitt, insbesondere der Abschnitt der konvexen Hülle entsprechend eingefärbt werden. Dadurch kann in einer Ausführung die Prüfung präzise(r) durchgeführt werden.In one embodiment, to determine an intersection for a section having a plurality of (path) points, in particular a continuous section, a minimum distance or the distance to the point closest to the environment model is determined as the distance of this section. If, in a further development, the distance is within a predetermined and/or specified range, the section, in particular the section of the convex envelope, can be colored accordingly. As a result, the test can be carried out more precisely in one embodiment.
In einer Weiterbildung wird ein Abschnitt, insbesondere ein aus einem oder mehreren Punkten bestehender, Abschnitt, insbesondere der Abschnitt der Bahn, der Abschnitt der konvexen Hülle und/oder der Abschnitt des wenigstens einen Teils bzw. des wenigstens einen Glieds des Roboters, entsprechend bzw. in Abhängigkeit von dem ermittelten Abstand eingefärbt, wenn sich der Abstand innerhalb eines vorbestimmten Bereichs befindet. Hierdurch kann in einer Ausführung die Präzision der Prüfung verbessert werden. Beispielsweise wird Abschnitt, insbesondere also ein einen einzelnen Punkt oder ein mehrere Punkte aufweisender Abschnitt, rot eingefärbt, um eine Warnung auszugeben, und/oder grün eingefärbt, um eine Entwarnung auszugeben. Gleichermaßen kann die Färbung auch mehrstufig und/oder anders diskretisiert sein, beispielsweise in {rot, gelb, grün} oder dergleichen, insbesondere mit anderen Farben und/oder feiner diskretisiert, oder sich kontinuierlich mit dem maßgeblichen, insbesondere kleinsten, Abstand ändern, beispielsweise von rot für (zu) kleine Abstände hin zu grün für (ausreichend) große Abstände oder dergleichen.In a further development, a section, in particular a section consisting of one or more points, in particular the section of the path, the section of the convex envelope and/or the section of the at least one part or of the at least one limb of the robot, is correspondingly or colored depending on the determined distance if the distance is within a predetermined range. In this way, the precision of the check can be improved in one embodiment. For example, a section, in particular a section having a single point or a plurality of points, is colored red to issue a warning and/or colored green to issue an all-clear. Equally, the coloring can also be multi-level and/or discretized differently, for example in {red, yellow, green} or the like, in particular with other colors and/or more finely discretized, or change continuously with the relevant, in particular smallest, distance, for example from red for (too) small distances to green for (sufficiently) large distances or the like.
In einer Ausführung umfasst das Verfahren den Schritt:
- - Erfassen von Daten einer realen Umgebung des Roboters mithilfe einer, in einer Ausführung mobilen, in einer Weiterbildung, insbesondere von einer Person, tragbaren, Erfassungsvorrichtung;
- - Acquisition of data from a real environment of the robot using a mobile embodiment, in a further development, in particular by a person, wearable acquisition device;
Dadurch kann in einer Ausführung eine reale Umgebung des Roboters vorteilhaft bei der Prüfung berücksichtigt und so die Gefahr einer Kollision mit dieser besonders zuverlässig geprüft werden.As a result, in one embodiment, a real environment of the robot can advantageously be taken into account during the check, and the risk of a collision with it can thus be checked in a particularly reliable manner.
In einer Ausführung ist die Erfassungsvorrichtung an der Visualisierungsvorrichtung, in einer Weiterbildung integriert oder lösbar, angeordnet. Dadurch kann in einer Ausführung vorteilhaft das Umgebungsmodell in situ bzw. zeitnah vor dem Visualisieren ermittelt werden und damit besonders aktuell und dadurch die Prüfung besonders zuverlässig bzw. aussagefähig sein.In one embodiment, the detection device is arranged on the visualization device, integrated or detachable in a further development. As a result, in one embodiment, the environment model can advantageously be determined in situ or promptly before the visualization and can therefore be particularly up-to-date and the check can therefore be particularly reliable and meaningful.
In einer Ausführung wird die Erfassungsvorrichtung zum Erfassen der Daten relativ zu der realen Umgebung translatorisch und/oder rotatorisch bewegt. Dadurch kann in einer Ausführung ein größerer Bereich der Umgebung und/oder die Umgebung präzise(r) erfasst werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein.In one embodiment, the acquisition device is moved in translation and/or rotation relative to the real environment in order to acquire the data. As a result, in one embodiment, a larger area of the environment and/or the environment can be recorded (more) precisely and the test can thus be particularly reliable and meaningful.
In einer Ausführung weist die Erfassungsvorrichtung einen oder mehrere berührungslos messende Abstandsmesser auf, in einer Weiterbildung einen oder mehrere Radar-Abstandsmesser, einen oder mehrere Ultraschall-Abstandsmesser und/oder einen oder mehrere Lidar-Abstandsmesser. Hierdurch kann in einer Ausführung das Umgebungsmodell präzise(r) erfasst werden und so die Prüfung besonders zuverlässig bzw. aussagefähig sein. Dabei sind Lidar-Abstandsmesser besonders vorteilhaft, da diese kompakt bauen und präzise messen.In one embodiment, the detection device has one or more contactless measuring distance meters, in a development one or more radar distance meters, one or more ultrasonic distance meters and/or one or more lidar distance meters. As a result, in one embodiment, the environment model can be recorded (more) precisely and the test can thus be particularly reliable and informative. Lidar distance meters are particularly advantageous because they are compact and measure precisely.
Zusätzlich oder alternativ weist die Erfassungsvorrichtung in einer Ausführung einen oder mehrere Kameras, in einer Weiterbildung ein 3D-Kamerasystem, welches in einer Ausführung wenigstens zwei bzw. Stereokameras, ein Triangulationssystem, bei dem wenigstens eine Lichtquelle ein definiertes Muster auf die Umgebung abbildet und wenigstens eine Kamera dieses Muster, vorzugsweise aus einem anderen Blickwinkel, aufnimmt, wenigstens eine TOF-Kamera, wenigstens eine Interferometrie-Kamera, wenigstens eine Lichtfeldkamera oder dergleichen aufweist, und/oder eine Bildauswertung auf. Hierdurch kann in einer Ausführung das Umgebungsmodell rasch(er) erfasst werden und so die Prüfung besonders rasch durchgeführt und/oder eine größere Umgebung berücksichtigt werden.Additionally or alternatively, in one embodiment, the detection device has one or more cameras, in a further development a 3D camera system, which in one embodiment has at least two or stereo cameras, a triangulation system in which at least one light source maps a defined pattern onto the environment and at least one Camera picks up this pattern, preferably from a different angle, has at least one TOF camera, at least one interferometry camera, at least one light field camera or the like, and/or an image evaluation. In this way, in one embodiment, the environment model can be recorded (more) quickly and the check can thus be carried out particularly quickly and/or a larger environment can be taken into account.
Alternativ oder besonders bevorzugt zusätzlich zur Ermittlung auf Basis erfassten Daten der realen Umgebung wird das Umgebungsmodell in einer Ausführung auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, der Umgebung ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Umgebungsmodell rasch(er) und/oder präzise(r) ermittelt werden.As an alternative or particularly preferably in addition to the determination on the basis of recorded data of the real environment, the environment model is determined in one embodiment on the basis of specified target data, CAD data in a further development of the environment. In one embodiment, by taking such data into account, the environment model can be determined (more) quickly and/or more precisely.
In einer Ausführung wird das Modell des Roboters auf Basis vorgegebener Soll-Daten, in einer Weiterbildung auf Basis der vorgegebenen Bahn des Roboters und/oder auf Basis von CAD-Daten des Roboters, und/oder einer Vermessung des Roboters ermittelt. Durch die Berücksichtigung solcher Daten kann in einer Ausführung das Modell des Roboters rasch(er) und/oder präzise(r) ermittelt werden. In einer Ausführung weist das Modell des Roboters für die verschiedenen Abschnitte, insbesondere Punkte, der Bahn jeweils eine durch die vorgegebene Bahn vorgegebene Pose der Roboterglieder zueinander und/oder einem umgebungsfesten Bezugssystem, auf bzw. gibt eine solche an. Eine Pose bzw. Lage im Sinne der vorliegenden Erfindung umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung. In einer Ausführung beruht das Ermitteln der konvexen Hülle auf diskreten oder kontinuierlich, insbesondere auf interpolierten diskreten, Posen des Robotermodells, insbesondere werden in einer Weiterbildung die zeitlich diskreten Posen des Roboters, insbesondere eines sich mit dem Roboter oder eines sich unabhängig vom Roboter bewegendes Robotermodells, zum Ermitteln einer konvexen Hülle über die (Bahn)Punkte des Abschnitts der Bahn und/oder über die Zeit verwendet.In one embodiment, the model of the robot is determined on the basis of specified target data, in a further development on the basis of the robot's specified path and/or on the basis of CAD data of the robot, and/or a measurement of the robot. In one embodiment, by taking such data into account, the model of the robot can be determined (more) quickly and/or more precisely. In one embodiment, the model of the robot has or specifies a pose of the robot limbs relative to one another and/or a reference system fixed in the environment for the various sections, in particular points, of the path. In one embodiment, a pose or attitude within the meaning of the present invention comprises a one-, two- or three-dimensional position and/or a one-, two- or three-dimensional orientation. In one embodiment, the determination of the convex hull is based on discrete or continuous, in particular on interpolated discrete, poses of the robot model gig robot model moved by the robot, used to determine a convex hull over the (orbit) points of the section of the trajectory and/or over time.
Wie vorstehend erläutert, bildet in einer Ausführung ein robotergeführtes Werkzeug oder Werkstück ein bewegliches Glied des Roboters im Sinne der vorliegenden Erfindung. Entsprechend weist in einer Ausführung das Modell des Roboters ein computerimplementiertes Modell eines robotergeführten Werkzeugs oder Werkstücks als bewegliches Glied des Roboters auf. Dadurch kann in einer Ausführung vorteilhaft die Gefahr einer Kollision eines robotergeführten Werkzeugs oder Werkstücks mit der Umgebung geprüft werden, insbesondere einer Kollision einer konvexen Hülle, die die konvexe Hülle robotergeführten Werkzeugs oder Werkstücks umfasst. Entsprechend wird in einer Ausführung das Modell des Roboters auf Basis vorgegebener Soll-Daten, in einer Weiterbildung CAD-Daten, des Werkzeugs oder Werkstücks, und/oder einer Vermessung des Werkzeugs oder Werkstücks ermittelt.As explained above, in one embodiment a robotic tool or workpiece forms a movable member of the robot according to the present invention. Accordingly, in one embodiment, the model of the robot includes a computer-implemented model of a robotic tool or workpiece as the robot's moveable member. As a result, in one embodiment, the risk of a robot-guided tool or workpiece colliding with the environment can advantageously be checked, in particular a collision of a convex shell that encompasses the convex shell of the robot-guided tool or workpiece. Accordingly, in one embodiment, the model of the robot is determined on the basis of specified target data, in a further development CAD data of the tool or workpiece and/or a measurement of the tool or workpiece.
In einer Ausführung weist das Umgebungsmodell ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem realem Umgebungshindernis, insbesondere also zu mehreren realen Umgebungshindernissen jeweils wenigstens Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem realem Umgebungshindernis, auf. Zusätzlich oder alternativ weist in einer Ausführung das Modell des Roboters ein oder mehrere Geometrieprimitive in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu einem Glied des Robotes, insbesondere also zu mehreren Gliedern des Roboters, vorzugsweise wenigstens einem Endeffektor, jeweils wenigstens Geometrieprimitiv in einer vorgegebenen Relation, insbesondere räumlichen Lage, zu diesem Roboterglied, auf. Dadurch können in einer Ausführung die Existenz einer Schnittmenge rasch(er) ermittelt werden. Ein Geometrieprimitiv im Sinne der vorliegenden Erfindung ist in einer Ausführung ein Polyeder, insbesondere Prisma, insbesondere Quader, oder ein Zylinder, Kegel, Ellipsoid, insbesondere eine Kugel, oder dergleichen. Dadurch können in einer Ausführung die Existenz einer Schnittmenge besonders rasch ermittelt werden.In one embodiment, the environment model has one or more geometry primitives in a predetermined relation, in particular spatial position, to a real environmental obstacle, in particular to a number of real environmental obstacles. Additionally or alternatively, in one embodiment, the model of the robot has one or more geometry primitives in a predetermined relation, in particular spatial position, to a limb of the robot, in particular to several limbs of the robot, preferably at least one end effector, each having at least geometry primitives in a predetermined relation , In particular spatial position to this robot member on. As a result, in one embodiment, the existence of an intersection can be determined (more) quickly. In one embodiment, a geometry primitive within the meaning of the present invention is a polyhedron, in particular a prism, in particular a cuboid, or a cylinder, cone, ellipsoid, in particular a sphere, or the like. As a result, in one embodiment, the existence of an intersection can be determined particularly quickly.
In einer Ausführung wird das Umgebungsmodell mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Merkmalen, insbesondere Punkten, besonders bevorzugt einer mithilfe der Erfassungsvorrichtung erfassten Punktewolke, ermittelt, in einer Weiterbildung mithilfe eines oder mehrerer Gitter und/oder einer oder mehrerer Approximationsflächen, insbesondere ebener Approximationsflächen und/oder ein- oder mehrfach gekrümmter Approximationsflächen, wobei solche Gitter bzw. Approximationsflächen in einer Ausführung durch Ausgleichs-, insbesondere Inter- bzw. Extrapolations-, Glättungs- und/oder andere Fittingfunktionen von mithilfe der Erfassungsvorrichtung erfassten Punkten ermittelt werden, insbesondere kann das Umgebungsmodell diese Approximation aufweisen. Durch eine solche Approximation kann die Umgebung in einer Ausführung jeweils besonders vorteilhaft, insbesondere rasch und/oder präzise, modelliert werden.In one embodiment, the environment model is determined using at least one approximation of features detected using the detection device, in particular points, particularly preferably a cloud of points detected using the detection device, in a further development using one or more grids and/or one or more approximation surfaces, in particular flat approximation surfaces and/or approximation surfaces curved one or more times, such grids or approximation surfaces being determined in one embodiment by compensation, in particular interpolation or extrapolation, smoothing and/or other fitting functions of points detected using the detection device Environment model have this approximation. Such an approximation allows the environment to be modeled particularly advantageously in one embodiment, in particular quickly and/or precisely.
In einer Ausführung wird das Umgebungsmodell auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters ermittelt. In einer Weiterbildung wird dabei der gegebenenfalls bei der Erfassung von Daten der realen Umgebung des Roboters mithilfe der Erfassungsvorrichtung miterfasste Roboter wenigstens teilweise eliminiert bzw. ausgeblendet. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert werden.In one embodiment, the environment model is determined on the basis of the robot, in particular with the aid of data recorded by the robot, in particular the detection device, and/or on the basis of the model of the robot. In a further development, the robot that may also be detected when data of the real environment of the robot is detected using the detection device is at least partially eliminated or hidden. As a result, the environment model can be improved in one embodiment.
In einer Ausführung wird das Umgebungsmodell auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson ermittelt. In einer Weiterbildung wird dabei ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell nicht berücksichtigt, in einer Weiterbildung bereits nicht mithilfe der Erfassungsvorrichtung erfasst, und/oder nur ein durch die Prüfperson ausgewählter Umgebungsbereich durch das Umgebungsmodell berücksichtigt, in einer Weiterbildung nur dieser Umgebungsbereich mithilfe der Erfassungsvorrichtung erfasst. Dadurch kann in einer Ausführung das Umgebungsmodell verbessert und/oder rasch(er) ermittelt werden.In one embodiment, the environment model is determined by a test person on the basis of a selection of an environment area. In a further development, a surrounding area selected by the test person is not taken into account by the surrounding model, in a further development it is already not recorded using the detection device, and/or only a surrounding area selected by the test person is taken into account by the surrounding model, in a further development only this surrounding area using the Detection device detected. As a result, in one embodiment, the environment model can be improved and/or determined(er) more quickly.
In einer Ausführung wird die Schnittmenge zwischen der konvexen Hülle, insbesondere des Modells des Roboters, und dem Umgebungsmodell für einen oder mehrere der verschiedenen Abschnitte der Bahn jeweils auf Basis einer Schnittmenge zwischen
- - einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters, in einer Ausführung eines robotergeführten Werkzeugs oder Werkstücks, die die konvexe Hülle umfasst bzw. aufweist,
- - einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglichen Glieder des Roboters, in einer Ausführung entsprechend inklusive eines robotergeführten Werkzeugs oder Werkstücks, die die konvexe Hülle umfasst bzw. aufweist,
- - einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder
- - einer imaginären Hülle eines ausgewählten Teilbereichs dieser Umgebung bzw. Hülle
- - an imaginary shell of a selected movable member of the robot, in one embodiment of a robotic tool or workpiece, comprising the convex shell,
- - an imaginary shell of several, in one embodiment all, movable limbs of the robot, in one embodiment including a robot-guided tool or workpiece, which encompasses or has the convex shell,
- - an imaginary shell of the entire environment of the robot described by the environment model or
- - An imaginary shell of a selected portion of this environment or shell
Eine solche imaginäre Hülle ist in einer Ausführung wenigstens teilweise durch das Modell des Roboters bzw. Umgebungsmodell, in einer Ausführung ein oder mehrere der Geometrieprimitive des Robotermodells und/oder ein oder mehrere der Geometrieprimitive des Umgebungsmodells und/oder die Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten, mithilfe der das Umgebungsmodell ermittelt wird bzw. die das Umgebungsmodell aufweist, bestimmt, kann insbesondere wenigstens teilweise durch Oberflächen, Ecken, Kanten, Knoten, Koordinatenlinien oder dergleichen der Geometrieprimitive bzw. der Approximation, insbesondere des bzw. der Gitter(s) bzw. der Approximationsfläche(n) gebildet sein, und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem Roboter(glied) bzw. einer Oberfläche der Umgebung bzw. des Umgebungsbereichs und/oder einen vorgegebenen, insbesondere mittleren, minimalen und/oder maximalen, Abstand zu dem bzw. den Geometrieprimitiv(en), Gitter(n) bzw. Approximationsfläche(n) aufweisen bzw. entsprechend definiert bzw. vorgegeben sein bzw. werden. Eine imaginäre Hülle kann insbesondere kontinuierlich oder auch diskret sein. Somit kann beispielsweise die Schnittmenge zwischen Ecken, Kanten und/oder Flächen eines Geometrieprimitives des Robotermodells und einem Gitter oder einer Approximationsfläche des Umgebungsmodells zum Ermitteln einer Schnittmenge zwischen der konvexen Hülle basierend auf der imaginären Hülle des Modell des Roboters und dem Umgebungsmodell verwendet werden.In one embodiment, such an imaginary shell is at least partially formed by the model of the robot or environment model, in one embodiment one or more of the geometry primitives of the robot model and/or one or more of the geometry primitives of the environment model and/or the approximation of points detected using the detection device , with the help of which the environment model is determined or which the environment model has, can be determined at least partially by surfaces, corners, edges, nodes, coordinate lines or the like of the geometry primitives or the approximation, in particular of the grid(s) or the approximation surface(s) and/or a predetermined, in particular average, minimum and/or maximum distance to the robot (limb) or a surface of the environment or the environmental area and/or a predetermined, in particular average, minimum and/or maximum distance to the geometry primitive(s), grid(s) or approximation surface(s) or be or will be correspondingly defined or specified. An imaginary shell can in particular be continuous or also discrete. Thus, for example, the intersection between corners, edges and/or surfaces of a geometry primitive of the robot model and a grid or an approximation surface of the environment model can be used to determine an intersection between the convex hull based on the imaginary hull of the model of the robot and the environment model.
Indem die Schnittmenge einer imaginären Hülle, die insbesondere von der konvexen Hülle beabstandet ist, eines ausgewählten beweglichen Glieds des Roboters bzw. eines ausgewählten Teilbereichs der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Ermittlung rasch(er) durchgeführt, insbesondere auf prima facie relevante Bereich beschränkt werden.By determining the intersection of an imaginary hull, which is spaced in particular from the convex hull, of a selected movable member of the robot or of a selected portion of the entire environment of the robot described by the environment model, the determination can be carried out (more) quickly in one embodiment , in particular to be limited to prima facie relevant areas.
Indem die Schnittmenge einer imaginären Hülle mehrerer, in einer Ausführung aller, beweglicher Glieder des Roboters bzw. der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters ermittelt wird, kann in einer Ausführung die Prüfung zuverlässig(er) durchgeführt werden, insbesondere können auch mehrere verschiedene Kollisionsmöglichkeiten berücksichtigt werden.By determining the intersection of an imaginary envelope of several, in one embodiment all, movable parts of the robot or the entire environment of the robot described by the environment model, the test can be carried out (more) reliably in one embodiment, in particular several different collision possibilities can also be carried out are taken into account.
In einer Ausführung ist die Visualisierungsvorrichtung eine mobile, insbesondere (durch eine Person, vorzugsweise mit einer Hand) tragbare, Visualisierungsvorrichtung, in einer Ausführung weist sie ein Handgerät, vorzugsweise ein Handheld, Tablet, Smartphone, Laptop oder dergleichen, und/oder eine Brille, insbesondere A(ugmented)R(eality)- oder (Virtual)R(eality)Brille, auf. Dadurch kann in einer Ausführung die Prüfung in situ bzw. vor Ort durchgeführt und damit verbessert werden. In einer Ausführung ist die Visualisierungsvorrichtung (hard- und/oder softwaretechnisch) zum Steuern des Roboters eingerichtet bzw. wird (auch) hierzu verwendet. Dadurch kann in einer Ausführung eine Inbetriebnahme rasch(er) und/oder sicher(er) durchgeführt werden.In one embodiment, the visualization device is a mobile visualization device, in particular one that can be carried (by a person, preferably with one hand), in one embodiment it has a hand-held device, preferably a handheld device, tablet, smartphone, laptop or the like, and/or glasses, in particular A(ugmented)R(eality) or (Virtual)R(eality) glasses. As a result, in one embodiment, the test can be carried out in situ or on site and thus improved. In one embodiment, the visualization device is set up (in terms of hardware and/or software) to control the robot or is (also) used for this purpose. As a result, in one embodiment, commissioning can be carried out (more) quickly and/or more safely.
In einer Ausführung weist die (visualisierte) virtuelle Repräsentation der konvexen Hülle der Bahn einen, in einer Ausführung kontinuierlichen, Weg eines roboterfesten Referenzpunkts, vorzugsweise eines Endeffektors des Roboters, und/oder eine Darstellung von einem oder mehreren, insbesondere allen, beweglichen Gliedern des Roboters auf, in einer Ausführung mittels bzw. durch Geometrieprimitive des Modells des Roboters. Die Darstellung des bzw. der Glieder des Roboters ändert sich in einer Ausführung während der Visualisierung entsprechend der vorgegebenen Bahn, entsprechend kann die virtuelle Repräsentation insbesondere eine virtuelle Simulation des Roboters bzw. Darstellung der Bewegung, insbesondere mittels der konvexen Hülle, eines oder mehrerer seiner Glieder beim Abfahren der Bahn aufweisen.In one embodiment, the (visualized) virtual representation of the convex hull of the path has a path, in one embodiment continuous, path of a robot-fixed reference point, preferably an end effector of the robot, and/or a representation of one or more, in particular all, movable limbs of the robot on, in one embodiment, by means of or through geometry primitives of the model of the robot. In one embodiment, the representation of the limb(s) of the robot changes during the visualization according to the specified path; exhibit when departing the train.
Durch die Visualisierung des Wegs, insbesondere der Hülle des Wegs als Volumen der Bewegung entlang des Wegs, kann in einer Ausführung die Prüfung rasch(er) und/oder zuverlässig(er) durchgeführt werden, insbesondere eine Prüfperson die Bahn einfach(er), intuitiv(er) und/oder rasch(er) prüfen bzw. beurteilen. In einer Ausführung umfasst das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, des entsprechenden Bahn- bzw. Wegabschnitts entsprechend der hierfür ermittelten Existenz einer Schnittmenge, wobei das Vorhandensein oder das Fehlen einer Schnittmenge unterschiedliche Hervorhebungen, vorzugsweise Farben bzw. Beleuchtungen, zugordnet sein können, beispielsweise das Vorhandensein einer Schnittmenge die Farbe Rot und das Fehlen einer Schnittmenge die Farbe Grün, oder auch einer ermittelten Schnittmenge die Farbe Rot, kleineren Abständen (insbesondere der imaginären oder konvexen Hülle) im Entwarnbereich die Farbe Gelb und größeren Abständen im Entwarnbereich die Farbe Grün, oder auch eine Farbe, die sich mit dem ermittelten Abstand der imaginären oder konvexen Hülle von einem Umgebungsmodell kontinuierlich oder in mehreren diskreten Stufen ändert, und/oder Bahn- bzw. Wegabschnitte mit Schnittmengen und/oder Abständen im Warnbereich leuchtend und Bahn- bzw. Wegabschnitte mit Abständen, insbesondere ohne Schnittmengen, im Entwarnbereich nicht-leuchtend dargestellt werden bzw. sich die Beleuchtung mit den Abständen ändert.By visualizing the path, in particular the envelope of the path as a volume of the movement along the path, the test can be carried out (more) quickly and/or reliably in one embodiment, in particular a test person can easily (more) intuitively follow the path (er) and/or quickly (er) check or assess. In one embodiment, the issuing of a warning or all-clear includes the highlighting, preferably coloring and/or lighting, of the corresponding track or path section according to the existence of an intersection determined for this purpose, with the presence or absence of an intersection being highlighted in different ways, preferably colors or Illumination, can be assigned, for example the presence of an intersection the color red and the absence of an intersection the color green, or a determined intersection the color red, smaller distances (in particular the imaginary or convex hull) in the The color yellow in the all-clear area and larger distances in the all-clear area the color green, or a color that changes continuously or in several discrete stages with the determined distance of the imaginary or convex hull from an environment model, and/or track or path sections with intersections and/or distances in the warning area are illuminated and track or path sections with distances, in particular without intersections, are displayed as non-illuminated in the all-clear area or the lighting changes with the distances.
Zusätzlich oder alternativ kann das Ausgeben einer Warnung bzw. Entwarnung das Hervorheben, vorzugsweise Einfärben und/oder Beleuchten, der Darstellung von einem oder mehreren, insbesondere allen, beweglichen Glieder des Roboters entsprechend des für den jeweiligen Abschnitt ermittelten Abstands der imaginären oder konvexen Hülle vom Umgebungsmodell umfassen, wobei verschiedenen Abständen unterschiedliche Hervorhebungen, vorzugsweise Farben und/oder Beleuchtungen, zugeordnet sein können wie vorstehend beschrieben. Beispielsweise wird die Darstellung für bzw. längs Abschnitte(n) mit (zu) geringen Abständen rot und für bzw. längs Abschnitte(n) mit (ausreichend) großen Abständen grün eingefärbt, gleichermaßen kann sich die Farbe der Darstellung mit dem ermittelten Abstand kontinuierlich oder in mehreren diskreten Stufen ändern, und/oder die Darstellung für Abstände im Warnbereich leuchtend und im Entwarnbereich nicht-leuchtend dargestellt werden bzw. sich deren Beleuchtung mit den Abständen ändert.Additionally or alternatively, issuing a warning or all-clear can highlight, preferably color and/or illuminate, the representation of one or more, in particular all, movable limbs of the robot according to the distance of the imaginary or convex hull from the environment model determined for the respective section include, different distances different emphasis, preferably colors and / or lighting, can be assigned as described above. For example, the display is colored red for or along sections with (too) small distances and green for or along sections with (sufficiently) large distances change in several discrete stages, and/or the display for distances in the warning area is displayed in a luminous manner and in the all-clear area is displayed in a non-illuminated manner, or the illumination of which changes with the distances.
Durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, des Wegs kann in einer Ausführung eine Prüfperson die Bahn rasch(er) prüfen bzw. beurteilen, durch die Hervorhebung, insbesondere Färbung und/oder Beleuchtung, der Darstellung des bzw. der Roboterglieder intuitiv(er), vereinfacht und/oder ihre Erkennbarkeit verbessert werden.By highlighting, in particular coloring and/or lighting, the path, in one embodiment, a test person can check or assess the path (more) quickly, by highlighting, in particular coloring and/or lighting, the representation of the robot limb(s) intuitively ( er), simplified and/or their recognizability improved.
In einer Ausführung wird für das Visualisieren der imaginären oder konvexen Hülle eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt oder eine Schnittmenge existiert, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt oder keine Schnittmenge existiert. Beispielsweise kann, wie an anderer Stelle erläutert, für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts, insbesondere mehrerer roboterfester Referenzpunkt, weiter insbesondere roboterfester Referenzpunkt(e), der/die in der imaginären oder konvexen Hülle umfasst ist/sind, aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, und für das Visualisieren dieses Abschnitts der Bahn eine hiervon verschiedene zweite virtuelle Repräsentation verwendet werden, die einen grün gefärbten Wegabschnitt des roboterfesten Referenzpunkts, insbesondere mehrerer roboterfester Referenzpunkte, weiter insbesondere roboterfester Referenzpunkt(e), der/die in der imaginären oder konvexen Hülle umfasst ist/sind, aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt.In one embodiment, a first virtual representation is used for visualizing the imaginary or convex hull of a section of the web if the distance determined for this section is in the warning range or an intersection exists, and a different second representation is used for visualizing this section of the web virtual representation used if the distance determined for this section is in the all-clear range or no intersection exists. For example, as explained elsewhere, a first virtual representation can be used to visualize a section of the path, which shows a red-colored path section of a robot-fixed reference point, in particular several robot-fixed reference points, more particularly robot-fixed reference point(s), which/the imaginary or convex envelope is/are included, if the distance determined for this section is in the warning range, and a second virtual representation different from this is used for visualizing this section of the path, which has a green-colored path section of the robot-fixed reference point, in particular several robot-fixed reference points, further in particular robot-fixed reference point(s), which is/are included in the imaginary or convex hull, if the distance determined for this section is in the all-clear range.
In einer Weiterbildung wird für das Visualisieren der imaginären oder konvexen Hülle eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Warnbereichs liegt oder eine Schnittmenge existiert, und für das Visualisieren dieses Abschnitts der Bahn eine andere erste virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, insbesondere keine Schnittmenge existiert. Zusätzlich oder alternativ wird in einer Weiterbildung für das Visualisieren eines Abschnitts der Bahn eine zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem Teil des Entwarnbereichs liegt, und für das Visualisieren dieses Abschnitts der Bahn eine andere zweite virtuelle Repräsentation verwendet, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt.In a further development, a first virtual representation is used for visualizing the imaginary or convex envelope of a section of the path if the distance determined for this section lies in part of the warning area or an intersection exists, and a different one is used for visualizing this section of the path first virtual representation is used if the distance determined for this section is in another part of the warning area, in particular if there is no intersection. Additionally or alternatively, in one development, a second virtual representation is used to visualize a section of the track if the distance determined for this section is in part of the all-clear range, and a different second virtual representation is used to visualize this section of the track if the distance determined for this section is in a different part of the all-clear zone.
Beispielsweise kann für das Visualisieren eines Abschnitts der Bahn eine erste virtuelle Repräsentation verwendet werden, die einen dicken und/oder rot gefärbten Wegabschnitt eines roboterfesten Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Warnbereich liegt, eine andere erste virtuelle Repräsentation verwendet werden, die einen dünneren und/oder orange gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand größer ist, aber noch in dem Warnbereich liegt, eine zweite virtuelle Repräsentation verwendet werden, die einen dicken und/oder gelb gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diesen Abschnitt ermittelte Abstand in dem Entwarnbereich liegt, und eine andere zweite virtuelle Repräsentation verwendet werden, die einen dünneren und/oder grün gefärbten Wegabschnitt des Referenzpunkts aufweist, wenn der für diese Abschnitt ermittelte Abstand in dem Warnbereich liegt, aber größer ist. Das Visualisieren mittels eines roboterfesten Referenzpunkt, insbesondere mittels mehrerer roboterfester Referenzpunkte, weiter insbesondere aller roboterfester Referenzpunkte, kann in einer Ausführung das Visualisieren der konvexen Hülle ergeben; in einer Weiterbildung mit von den roboterfesten Referenzpunkten in normaler Richtung beabstandeten Punkten, die imaginäre Hülle ergeben.For example, a first virtual representation can be used for visualizing a section of the path, which has a thick and/or red-colored path section of a robot-fixed reference point, if the distance determined for this section is in the warning area, a different first virtual representation can be used, which has a thinner and/or orange-colored path section of the reference point if the distance determined for this section is greater but still within the warning range, a second virtual representation can be used which has a thick and/or yellow-colored path section of the reference point, if the distance determined for this section is in the all-clear range, and another second virtual representation is used that has a thinner and/or green-colored path section of the reference point if the distance determined for this section is in the warning range, but is larger. The visualization by means of a robot-fixed reference point, in particular by means of several robot-fixed reference points, further in particular all robot-fixed reference points, can in one embodiment, result in visualizing the convex hull; in a development with points spaced apart from the robot-fixed reference points in the normal direction, which result in an imaginary envelope.
Hierdurch kann in einer Ausführung die imaginäre oder die konvexe Hülle auf eine Weise visualisiert werden, die es insbesondere der Prüfperson erlaubt eine vorgegebene Bahn schnell(er) zu prüfen.In this way, in one embodiment, the imaginary or the convex hull can be visualized in a way that allows the test person in particular to test a given path (more) quickly.
Ferner kann in einer Weiterbildung das Visualisieren der imaginären oder der konvexen Hülle eine transparente bzw. halbtransparente Darstellung in der augmentierten Realität umfassen. Hierdurch kann in einer Ausführung eine Schnittmenge schnell(er) erfasst werden, insbesondere von der Prüfperson.Furthermore, in a development, the visualization of the imaginary or the convex envelope can include a transparent or semi-transparent representation in the augmented reality. As a result, in one embodiment, an intersection can be detected (more) quickly, in particular by the test person.
Die oben genannten Farben, Beleuchtungen bzw. Stilarten, Transparenz und Einteilungen sind natürlich nur exemplarisch, wobei eine Vielzahl anderen Diskretisierungen und/oder Warnungen bzw. Entwarnungen möglich sind.The colors, lighting or styles, transparency and divisions mentioned above are of course only examples, with a large number of other discretizations and/or warnings or all-clears being possible.
In einer Ausführung werden beim Visualisieren der virtuellen Repräsentation der imaginären Hülle oder der konvexen Hülle der Bahn ein oder mehrere Parameter der Bahn ausgegeben, in einer Ausführung eine Geschwindigkeit und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für wenigstens einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt oder Pose, der Bahn und/oder wenigstens ein Parameter, beispielsweise eine Geschwindigkeit, für einen beim Visualisieren gerade bzw. aktuell simuliert ab- bzw. angefahrenen Abschnitt, insbesondere Punkt oder Pose, der Bahn.In one embodiment, when visualizing the virtual representation of the imaginary shell or the convex shell of the path, one or more parameters of the path are output, in one embodiment a speed and/or at least one parameter, for example a speed, for at least one test person, in particular by one test person , selected section, in particular point or pose, of the trajectory and/or at least one parameter, for example a speed, for a section, in particular point or pose, of the trajectory that has just been or is currently simulated and approached during visualization.
Zusätzlich oder alternativ wird beim Visualisieren in einer Ausführung ein Wert des ermittelten Abstands der imaginären Hülle oder der konvexen Hülle vom Umgebungsmodell für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen, insbesondere von einer Prüfperson, ausgewählten Abschnitt, insbesondere Punkt, der Bahn und/oder für einen beim Visualisieren gerade bzw. aktuell simuliert abgefahrenen Abschnitt, insbesondere simuliert angefahrenen Punkt, der Bahn, ausgegeben.Additionally or alternatively, in one embodiment, during visualization, a value of the determined distance of the imaginary hull or the convex hull from the environment model for at least one section of the path, in particular a global minimum distance and/or a distance for a section selected, in particular by a test person, is used , in particular a point on the path and/or for a section of the path that has just been or currently simulated traveled during visualization, in particular a point that has been approached in a simulated manner, of the path.
Die Ausgabe eines Parameters und/oder eines Abstandswertes erfolgt in einer Ausführung numerisch, akustisch und/oder symbolisch. Beispielsweise kann eine Fahrtrichtung durch einen Pfeil ausgegeben werden, eine TCP-Geschwindigkeit durch eine entsprechende Zahlenangabe, ein Abstandswert symbolisch durch eine entsprechende Linie, insbesondere Bemaßungslinie mit, beispielsweise durch Pfeile, Querstriche oder dergleichen, symbolisierten Enden, und/oder numerisch durch eine entsprechende Zahlenangabe. Die Ausgabe eines Parameters kann in einer Ausführung außerhalb der imaginären Hülle oder der konvexen Hülle visualisiert sein bzw. werden.In one embodiment, a parameter and/or a distance value is output numerically, acoustically and/or symbolically. For example, a direction of travel can be output by an arrow, a TCP speed by a corresponding number, a distance value symbolically by a corresponding line, in particular a dimension line with ends symbolized by arrows, dashes or the like, and/or numerically by a corresponding number . In one embodiment, the output of a parameter can be visualized outside the imaginary envelope or the convex envelope.
Durch eines oder mehrere der vorstehend genannten Merkmale kann in einer Ausführung eine Prüfperson die Bahn rasch(er) und/oder zuverlässig(er) prüfen bzw. beurteilen.In one embodiment, one or more of the features mentioned above enable an inspector to inspect or assess the web (more) quickly and/or more reliably.
Je nach Ergebnis der Prüfung wird die Bahn in einer Ausführung modifiziert, in einer Weiterbildung durch (Ein- bzw. Vorgaben durch) die Prüfperson oder auch automatisch. Dann kann ein hier beschriebenes Verfahren für die bzw. mit der modifizierte(n) Bahn erneut durchgeführt werden, um in analoger Weise diese modifizierte Bahn zu prüfen, wobei dabei in einer Weiterbildung erneut Daten der realen Umgebung erfasst und das Umgebungsmodell auf Basis dieser Daten erneut ermittelt wird, was vorteilhaft Veränderungen der realen Umgebung berücksichtigen kann, in einer anderen Weiterbildung stattdessen das zuvor verwendete Umgebungsmodell weiterverwendet bzw. (erneut) bereitgestellt wird, was vorteilhaft Aufwand und Zeitbedarf reduzieren kann.Depending on the result of the test, the track is modified in one version, in a further development by (input or specifications by) the test person or also automatically. A method described here for or with the modified path can then be carried out again in order to check this modified path in an analogous manner, with data of the real environment being recorded again in a further development and the environment model based on this data again is determined, which can advantageously take into account changes in the real environment, in another development the previously used environment model is used or provided (again) instead, which can advantageously reduce the effort and time required.
Die Erfindung kann mit besonderem Vorteil beim bzw. zum Inbetriebnehmen des Roboters zum Abfahren der vorgegebenen Bahn durchgeführt werden, da hier besonders vorteilhaft die Sicherheit erhöht und/oder Aufwand und/oder Zeit reduziert werden kann, sie ist jedoch nicht hierauf beschränkt.The invention can be carried out with particular advantage when or for starting up the robot for traversing the specified path, since safety is particularly advantageously increased here and/or effort and/or time can be reduced, but it is not limited to this.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
- - Mittel zum Ermitteln oder Bereitstellen eines computerimplementierten dreidimensionalen Umgebungsmodells;
- - Mittel zum Ermitteln einer konvexen Hülle für wenigstens einen Abschnitt der Bahn;
- - Mittel zum Ermitteln einer Schnittmenge der konvexen Hülle mit dem Umgebungsmodell , insbesondere für verschiedene Abschnitte der Bahn; und
- - eine Visualisierungsvorrichtung zum Visualisieren einer virtuellen Repräsentation der konvexen Hülle der Bahn in einer augmentierten Realität zum Prüfen der Bahn, wobei bei dieser Visualisierung für einen Abschnitt der Bahn eine Warnung ausgegeben wird, wenn wenigstens eine Schnittmenge für diesen Abschnitt der Bahn existiert, insbesondere der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Warnbereich liegt. Zusätzlich oder alternativ kann in einer Ausführung für einen Abschnitt der Bahn eine Entwarnung ausgegeben werden, für diesen Abschnitt der Bahn keine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt.
- - Means for determining or providing a computer-implemented three-dimensional environment model;
- - means for determining a convex hull for at least a portion of the trajectory;
- - Means for determining an intersection of the convex hull with the environment model, in particular for different sections of the path; and
- - A visualization device for visualizing a virtual representation of the convex hull of the trajectory in an augmented reality for checking the trajectory, wherein a warning is issued in this visualization for a section of the trajectory if at least one intersection for this section of the Bahn exists, in particular the distance determined for this section is in a predetermined warning range. Additionally or alternatively, in one embodiment, an all-clear can be issued for a section of the path if there is no intersection for this section of the path, in particular if the distance determined for this section lies in a predetermined all-clear range.
In einer Ausführung weist das System bzw. sein(e) Mittel auf:
- eine, insbesondere mobile, insbesondere tragbare, Erfassungsvorrichtung zum Erfassen von Daten einer realen Umgebung des Roboters und Mittel zum Ermitteln des Umgebungsmodells auf Basis dieser erfassten Daten, insbesondere mithilfe wenigstens einer Approximation von mithilfe der Erfassungsvorrichtung erfassten Punkten; und/oder
- wenigstens einen berührungslos messenden Abstandsmesser, insbesondere wenigstens einen Lidar-, Radar- oder Ultraschall-Abstandsmesser, und/oder wenigstens eine Kamera, insbesondere ein 3D-Kamerasystem, und/oder eine Bildauswertung; und/oder
- Mittel zum Ermitteln des Umgebungsmodells auf Basis vorgegebener Soll-Daten, insbesondere CAD-Daten, der Umgebung und/oder auf Basis des Roboters, insbesondere mithilfe einer, insbesondere der, Erfassungsvorrichtung erfassten Daten des Roboters, und/oder auf Basis des Modells des Roboters und/oder auf Basis einer Auswahl eines Umgebungsbereichs durch eine Prüfperson; und/oder
- Mittel zum Ermitteln des Modells des Roboters auf Basis vorgegebener Soll-Daten, insbesondere der vorgegebenen Bahn des Roboters und/oder CAD-Daten des Roboters, und/oder einer Vermessung des Roboters;
- Mittel zum Ermitteln einer Schnittmenge der konvexen Hülle (und/oder der imaginären Hülle) zwischen dem Modell des Roboters und dem Umgebungsmodell für wenigstens einen der verschiedenen Abschnitte der Bahn auf Basis einer Schnittmenge zwischen einer imaginären Hülle eines ausgewählten beweglichen Glieds des Roboters oder einer imaginären Hülle mehrerer, insbesondere aller, beweglichen Glieder des Roboters und einer imaginären Hülle der gesamten durch das Umgebungsmodell beschriebenen Umgebung des Roboters oder eines ausgewählten Teilbereichs hiervon; und/oder
- Mittel zum Verwenden einer ersten virtuellen Repräsentation für die Visualisieren der konvexen oder imaginären Hülle eines Abschnitts der Bahn, wenn für diesen Abschnitt eine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand der konvexen Hülle oder der imaginären Hülle in dem Warnbereich, insbesondere einem Teil des Warnbereichs, liegt, und einer hiervon verschiedenen zweiten virtuellen Repräsentation, wenn für diesen Abschnitt keine Schnittmenge, insbesondere wenn der für diesen Abschnitt ermittelte Abstand der konvexen Hülle oder der imaginären Hülle in dem Entwarnbereich, insbesondere einem Teil des Entwarnbereichs, liegt, insbesondere einer anderen ersten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Warnbereichs liegt, und/oder einer anderen zweiten virtuellen Repräsentation, wenn der für diesen Abschnitt ermittelte Abstand in einem anderen Teil des Entwarnbereichs liegt; und/oder
- Mittel zum Ausgeben wenigstens eines Parameters der Bahn, insbesondere einer Geschwindigkeit und/oder für wenigstens einen ausgewählten Abschnitt der Bahn und/oder für einen visualisierten, insbesondere beim Visualisieren simuliert ab- bzw. angefahrenen, Abschnitt, insbesondere Punkt oder Pose, der Bahn, und/oder eines Werts des ermittelten Abstands für wenigstens einen Abschnitt der Bahn, insbesondere eines global minimalen Abstands und/oder eines Abstands für einen ausgewählten Abschnitt der Bahn und/oder für einen visualisierten, insbesondere beim Visualisieren simuliert ab- bzw. angefahrenen, Abschnitt, insbesondere Punkt oder Pose, der Bahn, beim Visualisieren der virtuellen Repräsentation der Bahn, insbesondere numerisch, akustisch und/oder symbolisch.
- a, in particular mobile, in particular portable, acquisition device for acquiring data of a real environment of the robot and means for determining the environment model on the basis of this acquired data, in particular with the aid of at least one approximation of points acquired using the acquisition device; and or
- at least one distance meter that measures without contact, in particular at least one lidar, radar or ultrasonic distance meter, and/or at least one camera, in particular a 3D camera system, and/or an image evaluation; and or
- Means for determining the environment model on the basis of specified target data, in particular CAD data, of the environment and/or on the basis of the robot, in particular using data of the robot recorded, in particular by the detection device, and/or on the basis of the model of the robot and /or based on a selection of a surrounding area by a test person; and or
- Means for determining the model of the robot on the basis of specified target data, in particular the specified path of the robot and/or CAD data of the robot, and/or a measurement of the robot;
- means for determining an intersection of the convex hull (and/or the imaginary hull) between the model of the robot and the environment model for at least one of the different portions of the trajectory based on an intersection between an imaginary hull of a selected movable member of the robot and an imaginary hull several, in particular all, movable limbs of the robot and an imaginary shell of the entire environment of the robot described by the environment model or a selected sub-area thereof; and or
- Means for using a first virtual representation for visualizing the convex or imaginary hull of a section of the web if an intersection exists for this section, in particular if the distance of the convex hull or the imaginary hull determined for this section is in the warning area, in particular a part of the warning area, and a second virtual representation that differs therefrom if there is no intersection for this section, in particular if the distance of the convex hull or the imaginary hull determined for this section lies in the all-clear area, in particular a part of the all-clear area, in particular another first virtual representation if the distance determined for this section is in another part of the warning area, and/or another second virtual representation if the distance determined for this section is in another part of the all-clear area; and or
- Means for outputting at least one parameter of the trajectory, in particular a speed and/or for at least one selected section of the trajectory and/or for a visualized section, in particular a point or pose, of the trajectory, in particular a point or pose, that has been visualized and simulated during visualization /or a value of the determined distance for at least one section of the path, in particular a global minimum distance and/or a distance for a selected section of the path and/or for a visualized section, in particular a section that has been simulated or approached during visualization Point or pose of the web when visualizing the virtual representation of the web, in particular numerically, acoustically and/or symbolically.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die virtuelle Repräsentation der Bahn visualisieren bzw. die Warnung bzw. Entwarnung ausgeben kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.A system and/or a means within the meaning of the present invention can be designed in terms of hardware and/or software, in particular at least one, in particular digital, processing unit, in particular microprocessor unit ( CPU), graphics card (GPU) or the like, and / or have one or more programs or program modules. The processing unit can be designed to process commands that are implemented as a program stored in a memory system, to acquire input signals from a data bus and/or to output output signals to a data bus. A storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media. The program may be designed to embody or embody the methods described herein is able to lead, so that the processing unit can execute the steps of such a method and thus in particular can visualize the virtual representation of the path or issue the warning or all-clear. In one embodiment, a computer program product can have, in particular, be a, in particular, computer-readable and/or non-volatile storage medium for storing a program or instructions or with a program or with instructions stored thereon. In one embodiment, execution of this program or these instructions by a system or controller, in particular a computer or an arrangement of multiple computers, causes the system or controller, in particular the computer or computers, to perform a method described here or one or more of its steps, or the program or the instructions are set up to do so.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.In one embodiment, one or more, in particular all, steps of the method are carried out fully or partially automatically, in particular by the system or its means.
In einer Ausführung weist das System den Roboter auf. In einer Ausführung ist bzw. wird der Warnbereich so bzw. derart vorgegeben, dass bei diesem eine Kollision zwischen Roboter und Umgebung vorliegt oder wahrscheinlich(er) ist, und/oder der Entwarnbereich so bzw. derart vorgegeben, dass bei diesem keine Kollision zwischen Roboter und Umgebung vorliegt oder wenig(er) wahrscheinlich ist.In one implementation, the system includes the robot. In one embodiment, the warning area is or is specified in such a way that there is or is likely to be a collision between the robot and the environment, and/or the all-clear area is or is specified in such a way that there is no collision between the robot and surroundings is present or less likely.
In einer Ausführung weist das Verfahren den Schritt auf:
- - Abfahren der geprüften Bahn mit dem Roboter.
- - Traversing the tested path with the robot.
Dadurch kann die Bahn in einer Ausführung vorteilhaft mit dem realen Roboter überprüft werden, wobei das Abfahren nach dem Prüfen in der augmentierten Realität vorteilhafterweise die Sicherheit beim Abfahren mit dem Roboter erhöht.As a result, in one embodiment, the path can advantageously be checked with the real robot, with the following the checking in the augmented reality advantageously increasing the safety when following the path with the robot.
Entsprechend weist in einer Ausführung das System bzw. sein(e) Mittel auf:
- - Mittel zum Abfahren der geprüften Bahn mit dem Roboter.
- - Means for traversing the tested path with the robot.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
-
1 : ein System zum Prüfen einer vorgegebenen Bahn eines Roboters nach einer Ausführung der vorliegenden Erfindung; und -
2 : eine konvexe Hülle eines Abschnitts einer Bahn eines Roboters nach einer Ausführung der vorliegenden Erfindung; und -
3 : ein Verfahren zum Prüfen der vorgegebenen Bahn des Roboters nach einer Ausführung der vorliegenden Erfindung.
-
1 : a system for checking a predetermined trajectory of a robot according to an embodiment of the present invention; and -
2 : a convex hull of a portion of a trajectory of a robot according to an embodiment of the present invention; and -
3 : a method for checking the predetermined trajectory of the robot according to an embodiment of the present invention.
In einem Schritt S10 (vgl.
In einem Schritt S30 werden für verschiedene Abschnitte, in einer Ausführung Punkte, der konvexen Hülle, insbesondere der imaginären Hülle, der Bahn jeweils eine Schnittmenge zwischen einem computerimplementierten Modell des Roboters und dem Umgebungsmodell ermittelt, wobei die Bahn beispielsweise mithilfe einer simulierten Umgebung oder durch Einlernen bzw. Teachen vorgegeben wurde.In a step S30, an intersection between a computer-implemented model of the robot and the environment model is determined for various sections, in one embodiment points, of the convex hull, in particular the imaginary hull, of the path, the path being determined, for example, using a simulated environment or by teaching or teaching was specified.
Beispielsweise kann das Robotermodell Geometrieprimitive in Form von Quadern, Zylindern oder dergleichen aufweisen, die jeweils einem der beweglichen Glieder des Roboters zugeordnet sind und deren Pose bzw. Lage sich entsprechend des jeweiligen Abschnitts bzw. Bahnpunkts bzw. beim simulierten Abfahren der Bahn durch den Roboter entsprechend ändert. Das Umgebungsmodell kann beispielsweise ein Gitter oder eine Approximationsfläche aufweisen, das bzw. die eine beim Erfassen der realen Umgebung erfasste Punktewolke approximiert. Als Abstand zwischen Roboter- und Umgebungsmodell wird dann beispielsweise der minimale Abstand zwischen all diesen Geometrieprimitiven und dem Gitter bzw. der Approximationsfläche ermittelt. Als Schnittmenge zwischen Roboter- und Umgebungsmodell wird dann beispielsweise eine Überschneidung zwischen all diesen Geometrieprimitiven und dem Gitter bzw. der Approximationsfläche ermittelt, bzw. Punkte, insbesondere Volumina, die gleichzeitig von Robotermodell und Umgebungsmodell eingenommen werden.For example, the robot model may have geometry primitives in the form of cuboids, cylinders, or the like, each associated with one of the movable limbs of the robot and whose pose or position changes accordingly according to the respective section or path point or when the robot is traversing the path in a simulated manner. The environment model can have a grid or an approximation surface, for example, which approximates a cloud of points captured when capturing the real environment. The minimum distance between all these geometry primitives and the grid or the approximation surface, for example, is then determined as the distance between the robot and the environment model. For example, an intersection between all these geometry primitives and the grid or the approximation surface, or points, in particular volumes, which are occupied by the robot model and the environment model at the same time, is then determined as the intersection between the robot and the environment model.
In einem Schritt S40 wird eine virtuelle Repräsentation der konvexen Hülle der Bahn mithilfe der Visualisierungsvorrichtung 2 bzw. 3 in einer augmentierten Realität zum Prüfen der Bahn visualisiert, beispielsweise eine Hülle um die beim simulierten Abfahren der Bahn eingenommenen Posen des Roboters bzw. seines Modells (über die Zeit), wobei die Hülle eine konvexe Hülle sein kann bzw. ist oder wobei die Hülle eine imaginäre Hülle sein kann bzw. ist, die insbesondere von der konvexen Hülle beabstandet ist.In a step S40, a virtual representation of the convex envelope of the path is visualized with the aid of the
Bei dieser Visualisierung wird für einen Abschnitt der Bahn eine Warnung ausgegeben, wenn für diesen Abschnitt eine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand zwischen der konvexen Hülle, insbesondere der imaginären Hülle, und dem Umgebungsmodell in einem vorgegebenen Warnbereich liegt, und für einen Abschnitt der Bahn eine Entwarnung ausgegeben, wenn für diesen Abschnitt keine Schnittmenge existiert, insbesondere wenn der für diesen Abschnitt ermittelte Abstand in einem vorgegebenen Entwarnbereich liegt, beispielsweise in vorstehend beschriebener Weise mittels Hervorheben von entsprechenden Abschnitten oder dergleichen.With this visualization, a warning is issued for a section of the trajectory if an intersection exists for this section, in particular if the distance between the convex hull, in particular the imaginary hull, and the environment model determined for this section is in a predetermined warning range, and for a section of the track is given an all-clear if there is no intersection for this section, in particular if the distance determined for this section is in a predetermined all-clear range, for example in the manner described above by highlighting corresponding sections or the like.
Mithilfe dieser visualisierten virtuellen Repräsentation und der ausgegebenen Warnungen bzw. Entwarnungen kann die Prüfperson 4 in Schritt S40 prüfen, ob die Gefahr einer Kollision des Roboters 1 mit der Umgebung beim Abfahren der vorgegebenen Bahn vorliegt bzw. wie groß diese ist.With the help of this visualized virtual representation and the issued warnings or all-clears, the
Dabei kann sie sich vorteilhaft auf die Abschnitte beschränken bzw. konzentrieren, für die eine Warnung ausgegeben wird, und diese genaue(er) prüfen und die Bahn gegebenenfalls, insbesondere in solchen Abschnitten, in einem Schritt S50 modifizieren, woraufhin die Schritte S30, S40 und gegebenenfalls S50 erneut durchgeführt werden können.In doing so, it can advantageously limit or concentrate on the sections for which a warning is issued and examine them more closely and modify the path if necessary, particularly in such sections, in a step S50, whereupon steps S30, S40 and if necessary, S50 can be carried out again.
Die geprüfte Bahn kann in einem Schritt S60 mit dem realen Roboter abgefahren werden.In a step S60, the tested path can be traversed with the real robot.
BezugszeichenlisteReference List
- 11
- Roboterrobot
- 22
- AR-BrilleAR glasses
- 33
- Tablettablet
- 44
- Prüfpersonexaminer
- 5A; 5B5A; 5B
- Erfassungsvorrichtungdetection device
- 66
- UmgebungVicinity
- 77
- konvexe Hülleconvex hull
- 88th
- imaginäre Hülleimaginary shell
- TCPTCP
- Tool Center PointTool center point
Claims (13)
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022202569.5A DE102022202569B3 (en) | 2022-03-15 | 2022-03-15 | Checking a given path of a robot |
| EP23711437.6A EP4493361A1 (en) | 2022-03-15 | 2023-03-13 | Ascertaining at least one border for operating a robot |
| PCT/EP2023/056358 WO2023174876A1 (en) | 2022-03-15 | 2023-03-13 | Checking a predefined path of a robot |
| EP23711435.0A EP4494105A1 (en) | 2022-03-15 | 2023-03-13 | Checking a safety configuration of a robot |
| EP23711436.8A EP4493360A1 (en) | 2022-03-15 | 2023-03-13 | Checking a predefined path of a robot |
| PCT/EP2023/056354 WO2023174872A1 (en) | 2022-03-15 | 2023-03-13 | Checking a safety configuration of a robot |
| PCT/EP2023/056356 WO2023174874A1 (en) | 2022-03-15 | 2023-03-13 | Ascertaining at least one border for operating a robot |
| EP23711438.4A EP4493362A1 (en) | 2022-03-15 | 2023-03-13 | Planning a path of a robot |
| PCT/EP2023/056357 WO2023174875A1 (en) | 2022-03-15 | 2023-03-13 | Planning a path of a robot |
| EP23711439.2A EP4494106A1 (en) | 2022-03-15 | 2023-03-13 | Checking a predefined path of a robot |
| CN202380040246.9A CN119212831A (en) | 2022-03-15 | 2023-03-13 | Identify at least one boundary within which the robot operates |
| PCT/EP2023/056355 WO2023174873A1 (en) | 2022-03-15 | 2023-03-13 | Checking a predefined path of a robot |
| CN202380040247.3A CN119233879A (en) | 2022-03-15 | 2023-03-13 | Checking a preset trajectory of a robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022202569.5A DE102022202569B3 (en) | 2022-03-15 | 2022-03-15 | Checking a given path of a robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102022202569B3 true DE102022202569B3 (en) | 2023-06-29 |
Family
ID=86693351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102022202569.5A Active DE102022202569B3 (en) | 2022-03-15 | 2022-03-15 | Checking a given path of a robot |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102022202569B3 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023118992B3 (en) | 2023-07-18 | 2024-08-29 | Hochschule Bielefeld, Körperschaft des Öffentlichen Rechts | System and method for inputting virtual objects in three dimensions using augmented reality to determine the movement space for robots |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10128015A1 (en) | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Use of an augmented reality system for improving software based virtual planning of an altered production line for use in manufacturing vehicle components, which allows the virtual plan to be overlaid on the existing plan |
| EP3142799B1 (en) | 2014-05-12 | 2018-07-04 | PSA Automobiles SA | Realtime visualisation of coating process |
| DE102017001131B4 (en) | 2017-02-07 | 2018-11-22 | Kuka Roboter Gmbh | Method and system for operating a robot |
| DE102018109463B3 (en) | 2018-04-19 | 2019-09-19 | Yuanda Robotics Gmbh | Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device |
| DE112019003204T5 (en) | 2018-06-26 | 2021-03-11 | Fanuc America Corporation | VISUALIZATION AND MODIFICATION OF WORKING EDGE AREAS USING EXTENDED REALITY |
| DE102020201375B3 (en) | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Method for checking a safety area of a robot |
-
2022
- 2022-03-15 DE DE102022202569.5A patent/DE102022202569B3/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10128015A1 (en) | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Use of an augmented reality system for improving software based virtual planning of an altered production line for use in manufacturing vehicle components, which allows the virtual plan to be overlaid on the existing plan |
| EP3142799B1 (en) | 2014-05-12 | 2018-07-04 | PSA Automobiles SA | Realtime visualisation of coating process |
| DE102017001131B4 (en) | 2017-02-07 | 2018-11-22 | Kuka Roboter Gmbh | Method and system for operating a robot |
| DE102018109463B3 (en) | 2018-04-19 | 2019-09-19 | Yuanda Robotics Gmbh | Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device |
| DE112019003204T5 (en) | 2018-06-26 | 2021-03-11 | Fanuc America Corporation | VISUALIZATION AND MODIFICATION OF WORKING EDGE AREAS USING EXTENDED REALITY |
| DE102020201375B3 (en) | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Method for checking a safety area of a robot |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102023118992B3 (en) | 2023-07-18 | 2024-08-29 | Hochschule Bielefeld, Körperschaft des Öffentlichen Rechts | System and method for inputting virtual objects in three dimensions using augmented reality to determine the movement space for robots |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1447770B1 (en) | Method and apparatus for visualization of computer-based information | |
| DE102019002898B4 (en) | robot simulation device | |
| DE102016209576B4 (en) | Motion control for a mobile medical device | |
| DE102013112516B4 (en) | Teaching point program selection process for robot simulator | |
| DE112019003204T5 (en) | VISUALIZATION AND MODIFICATION OF WORKING EDGE AREAS USING EXTENDED REALITY | |
| DE102020201375B3 (en) | Method for checking a safety area of a robot | |
| EP3578321B1 (en) | Method for use with a machine for generating an augmented reality display environment | |
| DE102012207269A1 (en) | Method for operating driverless transport vehicle, involves automatically moving driverless transport vehicle along real track based on virtual track and determining current position of vehicle with respect to virtual map | |
| DE112014000700T5 (en) | Interferenzprüfgerät | |
| DORF | INTERNATIONAL ENCYCLOPEDIA OF ROaOT'~ S | |
| DE102014118001A1 (en) | Method for simulating the motion of a manipulator | |
| WO2022101178A1 (en) | Apparatus and method for measuring, inspecting or processing objects | |
| DE102022202569B3 (en) | Checking a given path of a robot | |
| DE102020206403A1 (en) | Configuring, executing and / or analyzing an application of a mobile and / or collaborative robot | |
| EP3882856A1 (en) | Method and device for determining a pose | |
| EP4494106A1 (en) | Checking a predefined path of a robot | |
| DE102022202563B3 (en) | Planning a trajectory of a robot | |
| DE102022202571B3 (en) | Checking a given path of a robot | |
| DE102022202564B4 (en) | Checking a robot's safety configuration | |
| DE102019125075A1 (en) | Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment | |
| DE102022202562B4 (en) | Determining at least one limit for operating a robot | |
| DE4015644A1 (en) | Determining tool centre points on multiaxis manipulator - transforming coordinates of reference point between two Cartesian systems centred on pedestal and hand | |
| DE102023118992B3 (en) | System and method for inputting virtual objects in three dimensions using augmented reality to determine the movement space for robots | |
| DE102024104183B3 (en) | METHOD FOR OPERATING A ROBOT | |
| DE102005014979B4 (en) | Method and arrangement for planning production facilities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |