WO2020074722A1 - Verfahren und robotersystem zur eingabe eines arbeitsbereichs - Google Patents
Verfahren und robotersystem zur eingabe eines arbeitsbereichs Download PDFInfo
- Publication number
- WO2020074722A1 WO2020074722A1 PCT/EP2019/077635 EP2019077635W WO2020074722A1 WO 2020074722 A1 WO2020074722 A1 WO 2020074722A1 EP 2019077635 W EP2019077635 W EP 2019077635W WO 2020074722 A1 WO2020074722 A1 WO 2020074722A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- laser
- robot system
- points
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Definitions
- the invention is based on a system or method for entering a work area for a mobile robot according to the type of the independent claims.
- Laser pointer used, which projects target positions for the mobile robots on the floor.
- DE 10 2016 224 693 A1 relates to a portable hand-held control device for remote control of a manipulator, the portable hand-held control device having an optical radiation source for generating a bundled light beam, and the bundled light beam being set up to couple the portable hand-held control device to a manipulator.
- Other aspects of the invention relate to a portable hand-held device with a
- Jogwheel a sensor for detecting a bundled light beam from a portable handheld operating device
- a coupling display means for visualizing the coupling state of a portable handheld operating device with a manipulator
- a system for coupling a portable handheld device with a manipulator and a method for coupling a portable handheld device with a manipulator.
- An optoelectronic sensor for monitoring and optical detection of a flat or voluminous protective area has a receiving unit for receiving received light beams from the protected area and generating received signals as a function of the received light, and a control and evaluation unit for generating a switching state "Object in the protected area" corresponding object detection signal depending on the
- At least one light transmitter is provided with which the switching state “object in the protected area” can be visually recognized in the protected area, the light transmitter for displaying the switching state being a visible one
- DE 10 2008 054 863 A1 discloses a method for controlling a robot on the basis of light marks, in which a light mark is generated by means of a light source, a camera system detecting the light mark, keying the light mark with less than or equal to half the refresh rate of the camera system light / dark, and is recognized by evaluating the images captured by the camera system.
- AT 512 350 B1 relates to a computer system which comprises a data processing system and a freely movable input device which contains at least one position change sensor, from which information can be sent to the data processing system.
- Data processing system can be detected by using a light-sensitive sensor
- position-sensitive input surface is in data connection and the input device emits a light beam, the impact of which on the input surface can be detected thereby.
- US 2008/0 063 400 A1 discloses a system and method for controlling a remote vehicle comprises a manual control with a laser generator for generating a laser beam.
- the hand control can be manipulated to align and trigger the laser beam to determine a target for the distant vehicle.
- the distant vehicle detects a reflection of the laser beam and moves towards the desired target.
- the Manual control enables one-handed operation of the remote vehicle and one or more of its payloads.
- TROUVAIN Boris A .; describes an approach for the integration of a direct multimodal human-robot interaction with a laser pointer and speech into an experimental multi-robot control station.
- SCHNEIDER Frank E .;
- WILDERMUTH Dennis. Integrating a multimodal human-robot interaction method into a multi-robot control station. In: Proceedings 10th IEEE International Workshop on Robot and Human Interactive Communication. ROMAN 2001 (Cat. No. 01TH8591). IEEE, 2001.
- the robot system according to the invention for entering a work area in a
- Monitoring area with the features of independent claim 1 has the advantage that it has an evaluation unit for determining a polygon chain determining the working area from laser points that are entered by a user with a laser pointer and that with a first camera from a first angle and one second camera can be recognized from a second angle. Because with the first camera and the second camera, which is connected to a mobile robot, a larger monitoring area can be monitored, in which the work area can be entered.
- the method according to the invention for entering a work area for a mobile robot with the method steps of independent claim 2 also has the advantage that a projection from a laser beam into a three-dimensional coordinate space
- Point set is determined in the three-dimensional coordinate space, and from the
- a polygon chain for determining the work area is determined and evaluated. This is because a user can conveniently enter the work area by drawing with the laser pointer in a monitoring area.
- occupancy probabilities of the monitoring area for navigation planning. It is also advantageous if an evaluation of the occupancy probabilities of the monitoring area results in the work area in a prohibition zone or a permission zone, so that limits of its movement area are defined for the mobile robot.
- control point is determined from the laser points in order to determine the work area, the control point being a change in a
- Probability of occupancy of the work area This is because an entry with a laser pointer can be used to define a prohibition zone or permission zone, which are evaluated to determine the work area.
- the method according to the invention uses a plane model when projecting into the three-dimensional coordinate space. Because this simplifies the calculation of the projection.
- the first image and / or the second image contains depth information. Because position calculations of the laser points are thus improved.
- the method according to the invention performs a grouping of points from the point set when determining the polygon chain. This is because incorrectly recognized or incorrectly entered laser points can be removed for determining the polygon chain.
- the method according to the invention performs a thinning of points from the point set when determining the polygon chain. This is because spatially redundant points can be sorted out for determining the polygon chain.
- the method according to the invention uses a subset of points from the point set when determining the polygon chain. Because this enables the polygon chain to be calculated quickly.
- Fig. 1 is a schematic view of an embodiment of an inventive
- Fig. 3 is an exemplary illustration of a method step of the invention
- FIG. 1 shows an embodiment of a robot system according to the invention.
- the robot system 15 for entering a work area 4 in one
- Monitoring area 14 has a laser pointer 2, a first camera 6, a mobile robot 9 with a second camera 10, a first image analysis unit 7, a second
- Image analysis unit 11 a first interface 8 for communication, a second interface 12 for communication and an evaluation unit 13.
- the laser pointer 2 is designed as an input unit for the input of laser points 3 by a user 1.
- the user 1 holds the laser pointer 2 as an input unit for the robot system 15 in one hand and illuminates laser points 3 on a floor of the monitoring area 14.
- the user 1 uses the laser pointer 2 to draw the laser points 3 on the floor, the user 1 indicates the limits of the Work area 4 in the robot system 15.
- the user 1 can also enter a control point with the laser pointer 2, which determines on which side of the boundary the work area 4 is located.
- the first camera 6 takes a first image of the monitoring area 14 from a first point of view.
- the first camera 6 is stationary on a wall and takes the first image from a view from above.
- the first camera 6 is connected to a first one
- Image analysis unit 7 for recognizing the laser points 3 in the first image.
- Image analysis unit 7 is connected to first interface 8 for communication, for example via a radio link, in robot system 15.
- first camera 6 is an RGB camera for color image recording or an RGBD camera for combined color image and depth image recording.
- the mobile robot 9 has the second camera 10, the second image analysis unit 11, the second interface 12 and the evaluation unit 13.
- the second camera 10 is designed to record a second image of the monitoring area 14 from a second point of view.
- the second image analysis unit 11 is designed to detect the laser points 3 in the second image and is connected to the second camera 10.
- the second interface 12 is connected to the second image analysis unit 11 and the evaluation unit 13.
- the second interface 12 is designed for communication in the robot system 15 , for example via a radio connection.
- the evaluation unit 13 is designed to determine a polygon chain 5 which determines the working area 4 from the detected laser points 3.
- the second camera 10 is an RGB camera for color image recording or an RGBD camera for combined color image and depth image recording. 2 shows a method 20 according to the invention for entering a work area for a mobile robot in a monitoring area.
- the method 20 has six method steps 21, 22, 23, 24, 25, 26.
- a first image from a first view and a second image from a second view are continuously captured.
- laser spots 3 are recognized in the first image and / or the second image.
- Method step 23 is transformed from laser points 3 into a projection
- the first image and / or the second image contains gray values, color values and / or depth values.
- the projection of the projection For example, for the projection
- a polygon chain 5 is determined from the point set.
- a grouping or clustering is carried out with points from the point set, in which points are filtered out which are not assigned to a group with many points.
- the DBSCAN algorithm is carried out for grouping.
- thinning of points from the set of points is carried out. For example, locally adjacent points are replaced by a point that is formed from their mean values.
- the polygon chain 5 is formed as follows. Starting from a starting point, a Connected to an end point that results from the set of points so that it is closest to the start point. The end point is then the next, current start point and a connection is drawn to a next, current end point, which in turn results from the number of points, is closest to the current start point and has not yet been assigned to polygon chain 5. This end point becomes the next, current starting point and the drawing of connections continues accordingly until all points have been taken into account for the formation of the polygon chain 5.
- the polygon chain 5 can be open or closed, for example.
- the polygon chain 5 is used to determine the
- a grid with cells with occupancy probabilities is created for the monitoring area 14. Entries for a cell of the grid can indicate whether the cell is free, occupied, or with a certain probability is occupied or free.
- the closed polygon chain 5 can determine an outer boundary of the working area 4 if the occupancy probabilities of the cells which are delimited by the polygon chain 5 and lie within the polygon chain 5 are marked as free and the occupancy probabilities of the cells which lie outside the polygon chain 5 , are marked as occupied.
- An area within the polygon chain 5 is thus specified as a permission zone and an area outside the polygon chain as a prohibition zone, so that the working area 4 is defined as the area lying within the polygon chain 5.
- the mobile robot 5 would only be allowed to move within the work area 4 when performing a task.
- the area within the polygon chain 5 could be occupied with the occupancy and be marked free outside, so that the monitoring area 14 without the area within the polygon chain 5 is defined as the work area 4.
- a control point is determined from the laser points 3, which causes a change in an occupancy probability of the work area 4.
- the checkpoint can use its position to indicate whether an area in which the checkpoint is located is marked as a prohibition zone or as a permission zone, and thus, if necessary, cause a change in the work area 4 in that the permission zone and the prohibition zone could be exchanged.
- FIG. 3 illustrates an example of the fifth method step 25.
- a set of points recognized from laser points and projected into a three-dimensional coordinate space serves as Initial set 30. After clustering and filtering the initial set 30, there is a reduced point set 31. Performing a thinning on the reduced point set 31 leads to a thinned point set 32. A polygonal line 33 is generated from the thinned point set 32.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Robotersystem (15) zur Eingabe eines Arbeitsbereichs (4) in einem Überwachungsbereich (14), wobei das Robotersystem (15) als eine Eingabeeinheit einen Laserpointer (2) zur Eingabe von Laserpunkten (3) durch einen Benutzer (1) aufweist, wobei das Robotersystem (15) eine erste Kamera (6) zur Aufnahme eines ersten Bilds des Überwachungsbereichs (14) aus einem ersten Blickwinkel aufweist, wobei das Robotersystem (15) eine mobile Robotereinheit (9) mit einer zweiten Kamera (10) zur Aufnahme eines zweiten Bilds des Überwachungsbereichs (14) aus einem zweiten Blickwinkel aufweist, wobei das Robotersystem (15) eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten (3) in dem ersten Bild und in dem zweiten Bild oder eine erste Bildanalyseeinheit (7) zur Erkennung von Laserpunkten in dem ersten Bild und eine zweite Bildanalyseeinheit (11) zur Erkennung von Laserpunkten in dem zweiten Bild aufweist, dadurch gekennzeichnet, dass das Robotersystem (15) eine Auswerteeinheit (13) zur Ermittlung einer den Arbeitsbereich bestimmenden Polygonkette (5, 33) aus den erkannten Laserpunkten (3) aufweist.
Description
Beschreibung
Titel
Verfahren und Robotersystem zur Eingabe eines Arbeitsbereichs
Die Erfindung geht aus von einem System oder Verfahren zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter nach Gattung der unabhängigen Ansprüche.
Aus der DE10215167C1 ist bereits eine Anordnung zur Kommandierung eines semiautonomen Systems in einem Arbeitsfeld bekannt. Dabei dient eine Kamera zur Überwachung des
Arbeitsfelds und ein Laserpointer zur Markierung von Objektpunkten im Arbeitsfeld.
Aus der US4887223 ist ein System zum Materialtransport bekannt, das mobile Roboter steuert. Dabei wertet ein visuelles Navigationssystem für die Steuerung der mobilen Roboter Bilder aus, welche mittels über den mobilen Robotern angebrachten Kameras aufgenommen werden.
Aus der Veröffentlichung„Optical Guidance System für Multiple Mobile Robots ' (Proceedings of the 2001 1EEE International Conference on Robotics & Automation, Seoul, Korea, 2001 IEEE) ist bereits ein optisches Leitsystem für mobile Roboter bekannt. Dabei wird ein
Laserpointer eingesetzt, der Zielpositionen für die mobilen Roboter auf den Boden projiziert.
Aus der Veröffentlichung„This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer” (Arxiv preprint arxiv: 1708.06274, 2017) ist bereits ein Verfahren bekannt, bei dem ein Arbeitsbereich für einen mobilen Roboter durch einen Laserpointer eingegeben wird.
DE 10 2016 224 693 Al betrifft ein tragbares Handbediengerät, zum Fernsteuern eines Manipulators, wobei das tragbare Handbediengerät eine optische Strahlenquelle zur Erzeugung eines gebündelten Lichtstrahls aufweist und wobei der gebündelte Lichtstrahl zum Koppeln des tragbaren Handbediengeräts mit einem Manipulator eingerichtet ist. Andere Aspekte der Erfindung betreffen ein tragbares Handbediengerät mit einem
Jogwheel, einen Sensor zum Erfassen eines gebündelten Lichtstrahls eines tragbaren Handbediengeräts, ein Kopplungsanzeigemittel zur Visualisierung des Kopplungszustands eines tragbaren Handbediengeräts mit einem Manipulator, ein System zum Koppeln eines
tragbaren Handbediengeräts mit einem Manipulator und ein Verfahren zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator.
Ein optoelektronischer Sensor gemäß DE 20 2009 012 589 Ul zur Überwachung und optischen Erfassung eines flächigen oder volumenförmigen Schutzbereichs weist eine Empfangseinheit zum Empfang von Empfangslichtstrahlen aus dem Schutzbereich und Erzeugung von Empfangssignalen in Abhängigkeit vom Empfangslicht auf sowie eine Steuer- und Auswerteeinheit zur Erzeugung eines einem Schaltzustand„Objekt im Schutzbereich” entsprechenden Objektfeststellungssignals in Abhängigkeit der
Empfangssignale. Erfindungsgemäß ist wenigstens ein Lichtsender vorgesehen, mit dem der Schaltzustand„Objekt im Schutzbereich” im Schutzbereich visuell erkennbar darstellbar ist, wobei der Lichtsender zur Schaltzustandsanzeige einen sichtbaren
Sendelichtstrahl in der Richtung, in der das Objekt liegt, aussendet.
DE 10 2008 054 863 Al offenbart ein Verfahren zur Steuerung eines Roboters anhand von Lichtmarken, bei dem mittels einer Lichtquelle eine Lichtmarke erzeugt wird, wobei ein Kamerasystem die Lichtmarke erfasst, die Lichtmarke mit kleiner oder gleich der halben Bildwiederholfrequenz des Kamerasystems Hell/Dunkel getastet und durch Auswertung der vom Kamerasystem erfassten Bilder erkannt wird.
AT 512 350 Bl betrifft eine Computeranlage, welche eine Datenverarbeitungsanlage und ein frei bewegliches Eingabegerät umfasst, das mindestens einen Positionsänderungssensor enthält, von welchem Informationen an die Datenverarbeitungsanlage sendbar sind.
Informationen über die absolute Position des Eingabegerätes sind durch die
Datenverarbeitungsanlage erfassbar, indem diese mit einer lichtempfindlichen
positionssensitiven Eingabefläche in Datenverbindung ist und das Eingabegerät einen Lichtstrahl aussendet, dessen Auftreffort an der Eingabefläche durch diese detektierbar ist.
US 2008 / 0 063 400 Al offenbart ein System und Verfahren zum Steuern eines entfernten Fahrzeugs umfasst eine Handsteuerung mit einem Lasergenerator zum Erzeugen eines Laserstrahls. Die Handsteuerung ist manipulierbar, um den Laserstrahl auszurichten und auszulösen, um ein Ziel für das entfernte Fahrzeug zu bestimmen. Das entfernte Fahrzeug erfasst eine Reflexion des Laserstrahls und bewegt sich auf das gewünschte Ziel zu. Die
Handsteuerung ermöglicht die Einhandbedienung des entfernten Fahrzeugs und einer oder mehrerer seiner Nutzlasten.
Einen Ansatz für die Integration einer direkten multimodalen Mensch-Roboter- Interaktion mit einem Laserpointer und Sprache in eine experimentelle Multi-Roboter- Steuerungsstation beschreibt TROUVAIN, Boris A.; SCHNEIDER, Frank E.;
WILDERMUTH, Dennis. Integrating a multimodal human-robot interaction method into a multi-robot control Station. In: Proceedings 10th IEEE International Workshop on Robot and Human Interactive Communication. ROMAN 2001 (Cat. No. 01TH8591). IEEE, 2001.
S. 468-472.
Das erfindungsgemäße Robotersystem zur Eingabe eines Arbeitsbereichs in einem
Überwachungsbereich mit den Merkmalen des unabhängigen Anspruchs 1 hat demgegenüber den Vorteil, dass es eine Auswerteeinheit zur Ermittlung einer den Arbeitsbereich bestimmenden Polygonkette aus Laserpunkten aufweist, die durch einen Benutzer mit einem Laserpointer eingegeben werden und die in mit einer ersten Kamera aus einem ersten Blickwinkel und einer zweiten Kamera aus einem zweiten Blickwinkel aufgenommenen Bildern erkannt werden. Denn mit der ersten Kamera und der zweiten Kamera, die mit einem mobilen Roboter verbunden ist, kann ein größerer Überwachungsbereich überwacht werden, in dem der Arbeitsbereich eingegeben werden kann.
Das erfindungsgemäße Verfahren zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter mit den Verfahrensschritten des unabhängigen Anspruchs 2 hat zudem den Vorteil, dass aus Laserpunkten durch eine Projektion in einen dreidimensionalen Koordinatenraum eine
Punktmenge in dem dreidimensionalen Koordinatenraum ermittelt wird, und aus der
Punktmenge eine Polygonkette zur Bestimmung des Arbeitsbereichs ermittelt und ausgewertet wird. Denn so kann ein Benutzer den Arbeitsbereich komfortabel durch Einzeichnen mit dem Laserpointer in einem Überwachungsbereich eingeben.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte
Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegebenen Vorrichtung möglich.
Es ist vorteilhaft, wenn das erfindungsgemäße Verfahren für den Überwachungsbereich
Belegungswahrscheinlichkeiten festlegt. Denn somit kann der mobile Roboter die
Belegungswahrscheinlichkeiten des Überwachungsbereichs zur Navigationsplanung verwenden.
Ferner ist es vorteilhaft, wenn eine Auswertung der Belegungswahrscheinlichkeiten des Überwachungsbereichs in eine Verbotszone oder eine Erlaubniszone den Arbeitsbereich ergeben, damit für den mobilen Roboter Grenzen seines Bewegungsgebiets festgelegt werden.
Zudem ist es vorteilhaft, wenn zur Bestimmung des Arbeitsbereichs ein Kontrollpunkt aus den Laserpunkten ermittelt wird, wobei der Kontrollpunkt eine Änderung einer
Belegungswahrscheinlichkeit des Arbeitsbereichs herbeiführt. Denn so können über eine Eingabe mit einem Laserpointer eine Verbotszone oder Erlaubniszone festgelegt werden, welche zur Ermittlung des Arbeitsbereichs ausgewertet werden.
Ferner ist es vorteilhaft, wenn das erfindungsgemäße Verfahren bei der Projektion in den dreidimensionalen Koordinatenraum ein Ebenenmodell verwendet. Denn somit wird die Berechnung der Projektion vereinfacht.
Ferner ist es vorteilhaft, wenn bei dem erfindungsgemäßen Verfahren, das fortlaufend ein erstes Bild und ein zweites Bild erfasst, das erste Bild und/oder das zweite Bild Tiefeninformationen enthält. Denn somit werden Positionsberechnungen der Laserpunkte verbessert.
Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Gruppierung von Punkten aus der Punktmenge durchführt. Denn somit können falsch erkannte oder falsch eingegebene Laserpunkte für die Ermittlung der Polygonkette herausgenommen werden.
Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Ausdünnung von Punkten aus der Punktmenge durchführt. Denn somit können räumlich redundante Punkte für die Ermittlung der Polygonkette aussortiert werden.
Besonders vorteilhaft ist es, wenn das erfindungsgemäße Verfahren bei der Ermittlung der Polygonkette eine Untermenge von Punkten aus der Punktmenge verwendet. Denn somit kann eine schnelle Berechnung der Polygonkette erfolgen.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der
nachfolgenden Beschreibung näher erläutert.
Es zeigen
Fig. 1 eine schematische Ansicht einer Ausführungsform eines erfindungsgemäßen
Robotersystems,
Fig. 2 ein erfindungsgemäßes Verfahren, und
Fig. 3 eine beispielhafte Illustration eines Verfahrens Schritts des erfindungsgemäßen
Verfahrens.
In der Fig. 1 ist eine Ausführungsform eines erfindungsgemäßen Robotersystems dargestellt.
Das erfindungsgemäße Robotersystem 15 zur Eingabe eines Arbeitsbereichs 4 in einem
Überwachungsbereich 14 weist einen Laserpointer 2, eine erste Kamera 6, einen mobilen Roboter 9 mit einer zweiten Kamera 10, eine erste Bildanalyseeinheit 7, eine zweite
Bildanalyseeinheit 1 1, eine erste Schnittstelle 8 zur Kommunikation, eine zweite Schnittstelle 12 zur Kommunikation und eine Auswerteeinheit 13 auf. Der Laserpointer 2 ist als Eingabeeinheit zur Eingabe von Laserpunkten 3 durch einen Benutzer 1 ausgelegt.
Der Benutzer 1 hält den Laserpointer 2 als Eingabeeinheit für das Robotersystem 15 in einer Hand und leuchtet Laserpunkte 3 auf einen Boden des Überwachungsbereichs 14. lndem der Benutzer 1 mit dem Laserpointer 2 die Laserpunkte 3 auf dem Boden zeichnet, gibt der Benutzer 1 die Grenzen des Arbeitsbereichs 4 in das Robotersystem 15 ein. Der Benutzer 1 kann weiterhin einen Kontrollpunkt mit dem Laserpointer 2 eingeben, der festlegt, auf welcher Seiten der Grenze der Arbeitsbereich 4 liegt.
Die erste Kamera 6 nimmt ein erstes Bild des Überwachungsbereichs 14 aus einem ersten Blickwinkel auf. Die erste Kamera 6 ist stationär an einer Wand angebracht und nimmt das erste Bild aus einer Ansicht von oben auf. Die erste Kamera 6 ist verbunden mit einer ersten
Bildanalyseeinheit 7 zur Erkennung der Laserpunkte 3 in dem ersten Bild. Die
Bildanalyseeinheit 7 ist verbunden mit der ersten Schnittstelle 8 zur Kommunikation, beispielsweise über eine Funkverbindung, im Robotersystem 15. Beispielsweise ist die erste Kamera 6 eine RGB-Kamera zur Farbbildaufnahme oder eine RGBD-Kamera zur kombinierten Farbbild- und Tiefenbildaufnahme.
Der mobile Roboter 9 weist die zweite Kamera 10, die zweite Bildanalyseeinheit 11, die zweite Schnittstelle 12 und die Auswerteeinheit 13 auf. Die zweite Kamera 10 ist zur Aufnahme eines zweiten Bilds des Überwachungsbereichs 14 aus einem zweiten Blickwinkel ausgelegt. Die
zweite Bildanalyseeinheit 1 1 ist zur Erkennung der Laserpunkte 3 in dem zweiten Bild ausgelegt und verbunden mit der zweiten Kamera 10. Die zweite Schnittstelle 12 ist verbunden mit der zweiten Bildanalyseeinheit 11 und der Auswerteeinheit 13. Die zweite Schnittstelle 12 ist zur Kommunikation im Robotersystem 15 ausgelegt, beispielsweise über eine Funkverbindung. Die Auswerteeinheit 13 ist ausgelegt zur Ermittlung einer den Arbeitsbereich 4 bestimmenden Polygonkette 5 aus den erkannten Laserpunkten 3. Beispielsweise ist die zweite Kamera 10 eine RGB-Kamera zur Farbbildaufnahme oder eine RGBD-Kamera zur kombinierten Farbbild- und Tiefenbildaufnahme. ln der Fig. 2 ist ein erfindungsgemäßes Verfahren 20 zur Eingabe eines Arbeitsbereichs für einen mobilen Roboter in einem Überwachungsbereich dargestellt. Das Verfahren 20 weist sechs Verfahrensschritte 21 , 22, 23, 24, 25, 26 auf.
Im ersten Verfahrensschritt 21 wird fortlaufend ein erstes Bild aus einer ersten Ansicht und ein zweites Bild aus einer zweiten Ansicht erfasst. Im zweiten Verfahrensschritt 22 werden Laserpunkte 3 in dem ersten Bild und/oder dem zweiten Bild erkannt. Im dritten
Verfahrensschritt 23 wird aus den Laserpunkten 3 durch eine Projektion in einen
dreidimensionalen Koordinatenraum eine Punktmenge in dem dreidimensionalen
Koordinatenraum ermittelt. Beispielsweise enthält das erste Bild und/oder das zweite Bild Grauwerte, Farbwerte und/oder Tiefenwerte. Beispielsweise wird für die Projektion ein
Ebenenmodell verwendet.
Im vierten Verfahrensschritt 24 wird aus der Punktmenge eine Polygonkette 5 ermittelt.
Beispielsweise wird in dem vierten Verfahrensschritt 24 mit Punkten aus der Punktmenge eine Gruppierung oder ein Clustering durchgeführt, bei dem Punkte herausgefiltert werden, die keiner Gruppe mit vielen Punkten zugewiesen werden. Beispielsweise wird zur Gruppierung der DBSCAN -Algorithmus durchgeführt.
Beispielsweise wird in dem vierten Verfahrensschritt 24 eine Ausdünnung oder ein Thinning von Punkten aus der Punktmenge durchgeführt. Beispielsweise werden lokal benachbarte Punkte durch einen Punkt ersetzt, der aus deren Mittelwerten gebildet wird.
Beispielsweise wird in dem vierten Verfahrensschritt 24 aus der Punktmenge oder einer
Untermenge der Punktmenge, die sich aus der Gruppierung und Filterung oder der Ausdünnung ergibt, die Polygonkette 5 wie folgt gebildet. Ausgehend von einem Startpunkt wird eine
Verbindung zu einem Endpunkt gezogen, der sich dahingehend aus der Punktmenge ergibt, dass er dem Startpunkt am nächsten liegt. Der Endpunkt ist dann der nächste, aktuelle Startpunkt und es wird eine Verbindung zu einem nächsten, aktuellen Endpunkt gezogen, der sich wiederum aus der Punktmenge ergibt, dem aktuellen Startpunkt am nächsten liegt und der noch nicht der Polygonkette 5 zugeordnet wurde. Dieser Endpunkt wird der nächste, aktuelle Startpunkt und das Ziehen von Verbindungen läuft entsprechend weiter, bis zur Bildung der Polygonkette 5 alle Punkte berücksichtigt wurden. Die Polygonkette 5 kann beispielsweise offen oder geschlossen sein. ln einem fünften Verfahrensschritt 25 wird die Polygonkette 5 zur Bestimmung des
Arbeitsbereichs 4 ausgewertet. Beispielsweise wird für den Überwachungsbereich 14 ein Gitter mit Zellen mit Belegungswahrscheinlichkeiten erstellt. Dabei können Einträge für eine Zelle des Gitters angeben, ob die Zelle als frei, belegt oder mit einer gewissen Wahrscheinlichkeit belegt bzw. frei ist. Beispielsweise kann die geschlossene Polygonkette 5 eine äußere Grenze des Arbeitsbereichs 4 bestimmen, wenn die Belegungswahrscheinlichkeiten der Zellen, welche durch die Polygonkette 5 eingegrenzt sind und innerhalb der Polygonkette 5 liegen, als frei gekennzeichnet sind und die Belegungswahrscheinlichkeiten der Zellen, die außerhalb der Polygonkette 5 liegen, als belegt gekennzeichnet sind. Damit ist ein Bereich innerhalb der Polygonkette 5 als eine Erlaubniszone und ein Bereich außerhalb der Polygonkette als eine Verbotszone angegeben, so dass der Arbeitsbereich 4 als der innerhalb der Polygonkette 5 liegende Bereich festgelegt wird. Der mobile Roboter 5 würde sich bei der Durchführung einer Aufgabe nur innerhalb des Arbeitsbereich 4 bewegen dürfen. Für ein anderes Beispiel könnte der Bereich innerhalb der Polygonkette 5 mit der Belegungswahrscheinlich belegt und außerhalb mit frei gekennzeichnet sein, so dass als der Arbeitsbereich 4 der Überwachungsbereich 14 ohne den Bereich innerhalb der Polygonkette 5 festgelegt wird. ln einem sechsten Verfahrensschritt 26 wird ein Kontrollpunkt aus den Laserpunkten 3 ermittelt, der eine Änderung einer Belegungswahrscheinlichkeit des Arbeitsbereichs 4 herbeiführt.
Beispielsweise kann der Kontrollpunkt über seine Position angeben, ob ein Bereich, in dem der Kontrollpunkt liegt, als Verbotszone oder als Erlaubniszone gekennzeichnet wird, und somit gegebenenfalls eine Änderung des Arbeitsbereichs 4 bewirken, indem Erlaubniszone und Verbotszone ausgetauscht werden könnten.
Fig. 3 illustriert ein Beispiel des fünften Verfahrensschritts 25. Eine aus Laserpunkten erkannte und in einen dreidimensionalen Koordinatenraum projizierte Punktmenge dient als
Ausgangsmenge 30. Nach einem Clustering und einer Filterung der Ausgangsmenge 30 liegt eine reduzierte Punktmenge 31 vor. Eine Durchführung eines Thinning auf der reduzierten Punktmenge 31 führt zu einer ausgedünnten Punktmenge 32. Aus der ausgedünnten Punktmenge 32 wird ein Polygonzug 33 generiert.
Claims
Ansprüche
1. Robotersystem (15) zur Eingabe eines Arbeitsbereichs (4) in einem Überwachungsbereich
(14),
wobei das Robotersystem (15) als eine Eingabeeinheit einen Laserpointer (2) zur Eingabe von mehreren Laserpunkten (3) zum Markieren des Arbeitsbereichs (4) durch einen Benutzer (1) aufweist,
wobei das Robotersystem (15) eine erste Kamera (6) zur Aufnahme eines ersten Bilds des Überwachungsbereichs (14) aus einem ersten Blickwinkel aufweist,
wobei das Robotersystem (15) eine mobile Robotereinheit (9) mit einer zweiten Kamera ( 10) zur Aufnahme eines zweiten Bilds des Überwachungsbereichs (14) aus einem zweiten Blickwinkel aufweist,
wobei die genauen Positionen der beiden Kameras (6, 10) im Raum dem
Robotersystem (15) bekannt sind, die beiden Bilder die gleichen Laserpunkte (3) vom Laserpointer (2) aufnehmen und
wobei das Robotersystem (15) eine erste Bildanalyseeinheit (7) zur Erkennung von
Laserpunkten (3) in dem ersten Bild und in dem zweiten Bild oder eine erste
Bildanalyseeinheit (7) zur Erkennung von Laserpunkten in dem ersten Bild und eine zweite Bildanalyseeinheit (1 1 ) zur Erkennung von Laserpunkten in dem zweiten Bild aufweist, dadurch gekennzeichnet, dass das Robotersystem (15) eine Auswerteeinheit (13) zur Ermittlung (24) einer Punktmenge (30) in einem dreidimensionalen Koordinatenraum durch Projektion der erkannten Laserpunkte (3) in den Koordinatenraum und
Auswertung (25) einer den Arbeitsbereich bestimmenden Polygonkette (5, 33) aus der Punktmenge (30) aufweist.
2. Verfahren (20) zur Eingabe eines von einem Benutzer (1) mit einem Laserpointer (2) durch mehrere Laserpunkte (3) markierten Arbeitsbereichs (4) für einen mobilen Roboter (9) in einem Überwachungsbereich (14),
wobei fortlaufend ein erstes Bild aus einer dem Roboter (9) bekannten ersten Ansicht und ein zweites Bild aus einer dem Roboter (9) bekannten zweiten Ansicht erfasst wird (21 ), wobei die gleichen Laserpunkte (3) in dem ersten Bild und dem zweiten Bild erkannt werden (22),
wobei aus den Laserpunkten (3) durch eine Projektion in einen dreidimensionalen
Koordinatenraum eine Punktmenge (30) in dem dreidimensionalen Koordinatenraum ermittelt wird (23),
dadurch gekennzeichnet, dass aus der Punktmenge (30) eine Polygonkette (5, 33) zur Bestimmung des Arbeitsbereiches (4) ausgewertet wird (25).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Überwachungsbereich (14) mit Belegungswahrscheinlichkeiten versehen wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Auswertung der
Belegungswahrscheinlichkeiten in eine Verbotszone oder eine Erlaubniszone den
Arbeitsbereich (4) ergeben.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zur Bestimmung des
Arbeitsbereichs (4) ein Kontrollpunkt aus den Laserpunkten (3) ermittelt wird, wobei der Kontrollpunkt eine Änderung einer Belegungswahrscheinlichkeit des Arbeitsbereichs (4) herbeifuhrt.
6. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Projektion in den
dreidimensionalen Koordinatenraum ein Ebenenmodell verwendet wird.
7. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das erste Bild oder das zweite Bild Tiefeninformationen enthält.
8. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Ermittlung der
Polygonkette (5, 33) eine Gruppierung von Punkten aus der Punktmenge (30) erfolgt.
9. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei der Ermittlung der
Polygonkette (5, 33) eine Ausdünnung von Punkten aus der Punktmenge (30) erfolgt.
10. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Polygonkette (5, 33) aus einer Untermenge der Punktmenge (30) ermittelt wird.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980066721.3A CN112789570B (zh) | 2018-10-12 | 2019-10-11 | 用于输入工作区域的方法和机器人系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018125266.8A DE102018125266B3 (de) | 2018-10-12 | 2018-10-12 | Verfahren und Robotersystem zur Eingabe eines Arbeitsbereichs |
DE102018125266.8 | 2018-10-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020074722A1 true WO2020074722A1 (de) | 2020-04-16 |
Family
ID=68242675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2019/077635 WO2020074722A1 (de) | 2018-10-12 | 2019-10-11 | Verfahren und robotersystem zur eingabe eines arbeitsbereichs |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN112789570B (de) |
DE (1) | DE102018125266B3 (de) |
WO (1) | WO2020074722A1 (de) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019126903B3 (de) * | 2019-10-07 | 2020-09-24 | Fachhochschule Bielefeld | Verfahren und Robotersystem zur Eingabe eines Arbeitsbereichs |
US20230356737A1 (en) * | 2022-05-09 | 2023-11-09 | Continental Autonomous Mobility US, LLC | User-assisted drive-able area detection |
DE102022205884B4 (de) | 2022-06-09 | 2024-01-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | System und Verfahren zur Aufnahme von Elementen eines Werkstücks mittels eines Zeigegerätes |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4887223A (en) | 1985-08-30 | 1989-12-12 | Texas Instruments Incorporated | Visual navigation system for a mobile robot having capabilities of regenerating of hidden images |
DE10215167C1 (de) | 2002-04-05 | 2003-06-18 | Daimler Chrysler Ag | Anordnung und Laserpointer zur Kommandierung eines semiautonomen Systems |
US20080063400A1 (en) | 2006-05-12 | 2008-03-13 | Irobot Corporation | Method and Device for Controlling a Remote Vehicle |
DE102008054863A1 (de) | 2008-12-18 | 2010-07-01 | Ifm Electronic Gmbh | System zur Steuerung eines Roboters anhand von Lichtmarken |
DE202009012589U1 (de) | 2009-09-16 | 2011-02-03 | Sick Ag | Optoelektronischer Sensor |
EP3084538A1 (de) * | 2013-12-19 | 2016-10-26 | Aktiebolaget Electrolux | Robotische reinigungsvorrichtung mit umgebungsaufzeichnungsfunktion |
AT512350B1 (de) | 2011-12-20 | 2017-06-15 | Isiqiri Interface Tech Gmbh | Computeranlage und steuerungsverfahren dafür |
DE102016224693A1 (de) | 2016-12-12 | 2018-06-14 | Kuka Roboter Gmbh | Vorrichtungen und Verfahren zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator |
DE102017203055A1 (de) * | 2017-02-24 | 2018-08-30 | Robert Bosch Gmbh | Verfahren zu einer Erfassung zumindest eines Arbeitsbereichs eines autonomen Arbeitsgeräts |
DE102017104428A1 (de) * | 2017-03-02 | 2018-09-06 | RobArt GmbH | Verfahren zur Steuerung eines autonomen, mobilen Roboters |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251784B (zh) * | 2008-04-03 | 2010-06-30 | 上海交通大学 | 激光笔指示与光点轨迹识别方法 |
CN204790564U (zh) * | 2015-06-23 | 2015-11-18 | 现代富博(天津)智能装备科技有限公司 | 一种自主行走轨迹线的划定装置 |
CN105955255B (zh) * | 2016-04-26 | 2020-05-26 | 联想(北京)有限公司 | 一种控制方法、装置、控制器及控制系统 |
-
2018
- 2018-10-12 DE DE102018125266.8A patent/DE102018125266B3/de active Active
-
2019
- 2019-10-11 WO PCT/EP2019/077635 patent/WO2020074722A1/de active Application Filing
- 2019-10-11 CN CN201980066721.3A patent/CN112789570B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4887223A (en) | 1985-08-30 | 1989-12-12 | Texas Instruments Incorporated | Visual navigation system for a mobile robot having capabilities of regenerating of hidden images |
DE10215167C1 (de) | 2002-04-05 | 2003-06-18 | Daimler Chrysler Ag | Anordnung und Laserpointer zur Kommandierung eines semiautonomen Systems |
US20080063400A1 (en) | 2006-05-12 | 2008-03-13 | Irobot Corporation | Method and Device for Controlling a Remote Vehicle |
DE102008054863A1 (de) | 2008-12-18 | 2010-07-01 | Ifm Electronic Gmbh | System zur Steuerung eines Roboters anhand von Lichtmarken |
DE202009012589U1 (de) | 2009-09-16 | 2011-02-03 | Sick Ag | Optoelektronischer Sensor |
AT512350B1 (de) | 2011-12-20 | 2017-06-15 | Isiqiri Interface Tech Gmbh | Computeranlage und steuerungsverfahren dafür |
EP3084538A1 (de) * | 2013-12-19 | 2016-10-26 | Aktiebolaget Electrolux | Robotische reinigungsvorrichtung mit umgebungsaufzeichnungsfunktion |
DE102016224693A1 (de) | 2016-12-12 | 2018-06-14 | Kuka Roboter Gmbh | Vorrichtungen und Verfahren zum Koppeln eines tragbaren Handbediengeräts mit einem Manipulator |
DE102017203055A1 (de) * | 2017-02-24 | 2018-08-30 | Robert Bosch Gmbh | Verfahren zu einer Erfassung zumindest eines Arbeitsbereichs eines autonomen Arbeitsgeräts |
DE102017104428A1 (de) * | 2017-03-02 | 2018-09-06 | RobArt GmbH | Verfahren zur Steuerung eines autonomen, mobilen Roboters |
Non-Patent Citations (4)
Title |
---|
"Proceedings of the 2001 IEEE International Conference on Robotics & Automation", 2001, IEEE, article "Optical Guidance System für Multiple Mobile Robots" |
"This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer", ARXIV PREPRINT ARXIV: 1708.06274, 2017 |
DENNIS SPRUTE ET AL: "This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer", 2019 THIRD IEEE INTERNATIONAL CONFERENCE ON ROBOTIC COMPUTING (IRC), 21 August 2017 (2017-08-21), pages 403 - 408, XP055642090, ISBN: 978-1-5386-9245-5, DOI: 10.1109/IRC.2019.00074 * |
TROUVAIN, BORIS A.SCHNEIDER, FRANK E.WILDERMUTH, DENNIS.: "Proceedings lOth IEEE International Workshop on Robot and Human Interactive Communication. ROMAN 2001 (Cat. No. OITH8591)", 2001, IEEE, article "Integrating a multimodal human-robot interaction method into a multi-robot control station", pages: 468 - 472 |
Also Published As
Publication number | Publication date |
---|---|
DE102018125266B3 (de) | 2019-11-28 |
CN112789570B (zh) | 2024-08-27 |
CN112789570A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017128543B4 (de) | Störbereich-einstellvorrichtung für einen mobilen roboter | |
DE102006048163B4 (de) | Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung | |
DE102017120614B4 (de) | Robotersystem mit einem Programmierhandgerät, das mit einer Robotersteuerung kommuniziert | |
DE102016122678B4 (de) | Werkstückpositions-/-Stellungsberechnungssystem und Handhabungssystem | |
DE112017008358B3 (de) | Visionsbasiertes Robotersteuerungssystem | |
WO2020074722A1 (de) | Verfahren und robotersystem zur eingabe eines arbeitsbereichs | |
DE112017002639T5 (de) | Robotersteuerungsvorrichtung | |
DE10164278A1 (de) | Reinigungsroboter, Reinigungsrobotersystem und Verfahren zu deren Steuerung | |
DE102019122760A1 (de) | Selbstfahrende mobile roboter, die mensch-roboter-interaktionen verwenden | |
EP3324362B1 (de) | Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems | |
DE102018116065A1 (de) | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Servicegerätes | |
DE102017118383A1 (de) | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes | |
DE102010007025A1 (de) | Verfahren und Vorrichtung zur Überwachung eines Manipulatorraumes | |
DE102019212452A1 (de) | Interferenzvermeidungsvorrichtung und Robotersystem | |
DE10215885A1 (de) | Automatische Prozesskontrolle | |
DE102017108194A1 (de) | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Fahrzeugs | |
WO2019096479A1 (de) | Verfahren und mittel zum betreiben einer roboteranordnung | |
EP3664973B1 (de) | Handhabungsanordnung mit einer handhabungseinrichtung zur durchführung mindestens eines arbeitsschritts sowie verfahren und computerprogramm | |
EP1915239B1 (de) | Verfahren zum erzeugen eines umgebungsbildes | |
WO2003078112A2 (de) | Automatische prozesskontrolle | |
DE102019126903B3 (de) | Verfahren und Robotersystem zur Eingabe eines Arbeitsbereichs | |
DE202017004902U1 (de) | Datentechnische Vorrichtung zur Organisation von Arbeitsabläufen bei dem die Zusammenarbeit von Menschen und Maschinen bei optimaler Schutzwirkung der beteiligten Menschen intralogistisch gesteuert wird | |
EP3428759B1 (de) | Verfahren zum betrieb eines sich selbsttätig fortbewegenden servicegerätes | |
DE102020103903A1 (de) | Verfahren zum Bereitstellen einer Handlungsempfehlung als Reaktion auf einen vermeintlichen Schaden eines Kraftfahrzeugs, Telematikeinrichtung, und Servervorrichtung | |
DE202020106491U1 (de) | Visualisieren eines Schutzfeldes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19787219 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19787219 Country of ref document: EP Kind code of ref document: A1 |