[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP2047403A1 - Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung - Google Patents

Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung

Info

Publication number
EP2047403A1
EP2047403A1 EP07786429A EP07786429A EP2047403A1 EP 2047403 A1 EP2047403 A1 EP 2047403A1 EP 07786429 A EP07786429 A EP 07786429A EP 07786429 A EP07786429 A EP 07786429A EP 2047403 A1 EP2047403 A1 EP 2047403A1
Authority
EP
European Patent Office
Prior art keywords
geometric elements
sub
regular geometric
arrangement
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP07786429A
Other languages
English (en)
French (fr)
Inventor
Martin Stotz
Ira Effenberger
Markus HÜTTEL
Thomas Dunker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP2047403A1 publication Critical patent/EP2047403A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Definitions

  • the invention relates to a method for the automatic detection of three-dimensional objects and a device for the treatment of individual objects which are present in a complex environment.
  • the task is to determine the spatial position of any objects oriented in space, such as workpieces or components.
  • the position of the objects is unknown and their position and orientation in space must be determined, for example, to be able to determine suitable gripping positions for a robot.
  • Included in the problem is always the demand for an extensive automation of object recognition and orientation.
  • An aggravation of the problem arises from other objects in the vicinity of the objects to be gripped.
  • a common case in practice are, for example, workpieces stored in boxes which are present as completely disordered bulk material or in any packing order. Each individual object is surrounded by a multitude of other objects.
  • the object to be recognized must be segmented from the background, i. all points of the point cloud that do not belong to the object must be separated from the points that belong to the object.
  • photogrammetric methods such as "3D Robot Vision” from ISRA VISION SYSTEMS AG are used, although it is necessary for features to be present on the objects that make it possible to use photogrammetric methods
  • photogrammetric methods For example, you might want to use CAD models to generate a large number of images from different views that represent the model, but you need 4000 to 12,000 images be taught, which is associated with a great deal of computing power, time and storage space.
  • the object of the present invention is therefore to provide a method which allows the detection and orientation of objects and a treatment of the objects, without special features must be attached to the objects and without that a detailed CAD model of the recognizable Object must exist.
  • the invention relates to objects characterized by regular geometric elements, e.g. Layers, cylinders or cones describe or at least partially can be described by rule geometric elements and can be identified by this.
  • regular geometric elements e.g. Layers, cylinders or cones describe or at least partially can be described by rule geometric elements and can be identified by this.
  • the scene in which the objects must be recognized is digitized by means of an appropriate detection system.
  • a detection system for example, a 2.5D or 3D data acquisition unit, such as light section, fringe projection or time of flight (ToF) in question.
  • These systems provide depth images or point clouds.
  • 3D data In the following, such data will always be referred to as 3D data.
  • the corresponding evaluation can be done with a computer system.
  • geometric elements are understood to mean those elements whose shape or geometry is closed
  • Formulas is writable, i. for example, by parametric or implicit formulas.
  • 3D object recognition and position determination in space are realized on the basis of an automated recognition of individual rule geometric elements while observing certain geometric conditions, as far as the shape and position parameters of the individual objects are concerned.
  • the method according to the invention serves to manipulate and / or measure, more generally to treat, at least one object present in a limited area in an arrangement that can be described by one or more regular geometric elements that are related to one another, preferably in a specific and / or known relationship is and whose position and position can be described by arrangement parameters.
  • the arrangement parameters may include or be, for example, coordinates, rotation angles, tangency, orthogonality, parallelism, and / or angles to objects.
  • the dimensions of the objects can also be described therein.
  • the treatment may, for example, consist of gripping, moving, and even changing the object itself.
  • the object can also be reshaped.
  • the object is only too measured.
  • the limited area is essentially given by the area of influence of the treatment device. However, it can also consist, for example, in a box in which the objects to be treated, selected or to be measured are accommodated.
  • the object to be treated must first be selected.
  • the selection first means the determination of an object among the several, for which then subsequently data are determined, which describe the shape and the position of the object.
  • the recording of data describing the object and its location is also counted here for the selection of the object.
  • the first step it is necessary to record data that maps the arrangement of the objects.
  • data may be taken from the entire limited area or from a part of this area. They are preferably three-dimensional data describing the objects for each point of the room.
  • the 3D measurement data are recorded using a corresponding 3D sensor. Any sensor that generates dense 3D point clouds can be used here.
  • regular geometric elements can now be fitted into the three-dimensional data, by means of which the object to be selected can be described.
  • individual regular geometric elements are automatically fitted using a best-fit method, thereby providing a first segmentation. taken.
  • this substep one also contains the shape, position, rotation and / or arrangement parameters of the individual rule geometric elements and / or the respective 3D points associated with the element.
  • a regular geometric element can now be selected as the starting element in the regular geometric elements fitted in the first sub-step.
  • the arrangement parameters of this rule-geometric element can be determined automatically or are known. It is therefore possible to select a starting element in the regions of the geometrical single elements which have already been pre-segmented by the first sub-step.
  • the object to be selected is then combined as a whole into all or part of those regular geometric elements which describe the object to be selected and / or of which in the optional first to third
  • the arrangement parameters of the object to be selected are determined by the rule geometrical elements describing the object or the rule geometry elements selected in the third step, taking into account the relationships of the corresponding rule geometric elements in the object to be selected in the three-dimensional Data to be fitted.
  • the object to be found From the object to be found, it may be known or ascertained which rule geometric elements belong to the object and in which spatial relationship they stand with one another. Based on this information, the appropriate conditions for the combined fit can be generated.
  • the fitting of the entire object to be selected can thus be carried out taking into account the geometric constraints which result from the information about the geometric elements belonging to the object and their position relative to one another. In doing so, the object "combined" from the individual geometric elements is fitted as a whole selected object to be selected and achieved a better quality fitting result. As a result, a sufficiently accurate position and LübeStimmung of the workpiece can be achieved.
  • This treatment device may be a gripper, a suction device for aspirating an object or else another device for changing or detecting the object.
  • a device for the examination of objects is also possible.
  • the method can be varied or extended in various ways.
  • a start segment of the 3D measurement data is first set and divided become. This determination can be made, for example, using height information or, if present, pre-segmentation in the depth image. Height information and a depth image can, for example, be derived from the three-dimensional data or recorded with a suitable sensor.
  • the optional first sub-step of the method can be further accelerated by performing a curvature analysis in the 3D data before the best fit. At each point, the curvature is approximated and then subdivided into regions of different curvature as pre-segmentation. Now in the pre-segmented parts a Besteinpassung individual Regelgeometrischer elements performed.
  • individual rule-geometric elements are assigned to the object to be selected by using information about which rule-geometric elements belong to the object and in which spatial relationship they relate to one another.
  • these geometric conditions that is to say the arrangement parameters (for example with respect to the shape and position of the geometric elements present in the object to be found)
  • the selection of the starting element in the optional second sub-step can be supported by the use of additional information, which can result, for example, from preprocessing using depth images.
  • the method according to the invention can be carried out on a system which has a 2.5D or 3D data acquisition unit, such as light section, fringe projection or Time of Flight (ToF), which receives the parts from one or more views and digitally available.
  • the system may include a computer on which the evaluation method is implemented.
  • a system is described with which disordered parts, which consist of several regular geometric elements, can be identified in their position and with which for these gripping points can be determined.
  • Such parts may be, for example, castings, such as scaffold supports.
  • the following evaluation procedure is implemented.
  • the 3D data is divided into different regions and a start region selected.
  • the individual geometric objects are automatically adjusted, for example for a frame holder, cylinders and planes.
  • a found rule geometric element is selected as a starting element, for example the topmost, ie the most accessible one.
  • an environment searches for further geometric objects belonging to the object, that is to say in the case of a framework holder for surrounding cylinders and planes.
  • the type and number of the control geometry near the starting element are initially used as cutting criteria. individual elements.
  • geometric constraints are determined in advance based on the geometry of the object to be detected so that the position of the object can be determined from different views.
  • these geometric conditions may refer, for example, to three planes that must be perpendicular to each other or to cylinders of the same radius and parallel axes that are perpendicular to the ground plane.
  • the determination of the geometric constraints is automatically based on an existing CAD model or by an object is scanned in advance and using this scan data, an automatic determination of the geometric conditions between individual rule geometric elements. It is successively determined which and how many elements are necessary in order to be able to unambiguously determine the position of the object to be recognized.
  • the starting element is selected using depth image information.
  • depth image information e.g. Pre-segmentation with a region-wide method in combination with height information will be helpful.
  • the 3D measurement a curvature analysis. For each point, the curvature is calculated approximately and then areas with similar curvature are summarized and absegmentiert. Only in the pre-segmented data in this way, the automatic Besteinpassung individual Cannabisgeometrischer elements. This speeds up the process and prevents excessive expansion of the individual control geometric elements.
  • the further procedure corresponds to that described in the first example.
  • the application possibilities of the method according to the invention range from gripping disordered objects to 3D scene analysis to metrological applications (for example, shape and position testing), which are summarized here among other applications under the term of treatment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Erkennung von dreidimensionalen Objekten, welche durch regelgeometrische Elemente beschreibbar sind, sowie eine Vorrichtung zur Behandlung solcher Objekte, wobei die Objekte in einer komplexen Umgebung vorliegen können. Dass Verfahren ist dadurch gekennzeichnet, dass die Anordnungsparameter des zu erkennenden Objektes dadurch bestimmt werden, dass zumindest ein Teil der das zu erkennende Objekt beschreibenden regelgeometrische Elemente unter Berücksichtigung der Beziehungen der regelgeometrischen Elemente im Objekt gemeinsam in durch einen 3D- Sensor aufgenommene Daten von den Objekten eingepasst wird.

Description

Verfahren zur automatisierten 3D-Objekterkennung und
Lagebestimmung
Die Erfindung betrifft ein Verfahren zur automati- sehen Erkennung von dreidimensionalen Objekten sowie eine Vorrichtung zur Behandlung von einzelnen Objekten, die in einer komplexen Umgebung vorliegen.
In vielen Bereichen der Technik, wie z.B. in der Au- tomatisierungstechnik, besteht die Aufgabe, die räumliche Lage von beliebig im Raum orientierten Objekten wie z.B. Werkstücken oder Bauteilen zu bestimmen. Die Lage der Objekte ist unbekannt und es muss ihre Position und Orientierung im Raum bestimmt werden, um beispielsweise geeignete Greifpositionen für einen Roboter ermitteln zu können. In der Problemstellung enthalten ist immer die Forderung nach einer weitgehenden Automatisierung der Objekterkennung und Lagebestimmung. Eine Erschwerung des Problems entsteht durch weitere Objekte in der Umgebung der zu greifenden Objekte. Ein in der Praxis häufiger Fall sind z.B. in Kisten aufbewahrte Werkstücke, die als vollkommen ungeordne- tes Schüttgut oder in beliebiger Packordnung vorliegen. Hierbei ist jedes einzelne Objekt von einer Vielzahl anderer Objekte umgeben.
Das zugrunde liegende technische Problem der Erfin- düng gliedert sich in folgende Teilaspekte:
• Das zu erkennende Objekt muss vom Hintergrund absegmentiert werden, d.h. alle Punkte der Punktwolke, die nicht zum Objekt gehören, müs- sen von den Punkten, die zum Objekt gehören, getrennt werden. Im Beispiel von ungeordneten Teilen in Kisten muss unter den vielen (gleichen) Teilen erst ein überhaupt zum Greifen in Frage kommendes, d.h. voraussichtlich frei zu- gängliches, Objekt gefunden werden.
• Die exakte Lage im Raum des Objektes muss mit Ihren Parametern, wie Position und Richtung, bestimmt werden. Im Fall von zu greifenden Teilen kann daraus dann die Greifposition bestimmt werden.
Nach dem Stand der Technik werden hierzu beispielsweise photogrammetrische Methoden, wie „3D Robot Vision" von ISRA VISION SYSTEMS AG verwendet. Hierbei ist es allerdings notwendig, dass auf den Objekten Merkmale vorhanden sind, die es erlauben, photogrammetrische Verfahren anzuwenden. Es ist darüber hinaus bekannt, beispielsweise aus CAD-Modellen eine große Anzahl von Bildern aus ver- schiedenen Ansichten, die das Modell abbilden, zu generieren. Hierbei müssen jedoch 4000 bis 12000 Bilder eingelernt werden, was mit einem großen Aufwand an Rechenleistung, Zeit und Speicherplatz verbunden ist.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, welches die Erkennung und Lagebestimmung von Objekten und eine Behandlung der Objekte ermöglicht, ohne dass auf den Objekten besondere Merkmale angebracht sein müssen und ohne, dass ein detailliertes CAD-Modell von dem zu erkennenden Objekt existieren muss.
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und die Vorrichtung mit den Merkmalen des Anspruchs 18 gelöst. Vorteilhafte Wei- terbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung sind in den jeweiligen abhängigen Ansprüchen gegeben.
Detaillierte Beschreibung der Erfindung
Die Erfindung bezieht sich auf Objekte, die sich durch regelgeometrische Elemente wie z.B. Ebenen, Zylinder oder Kegel beschreiben lassen oder die sich zumindest teilweise durch regelgeometrische Elemente beschreiben lassen und anhand dieser identifiziert werden können.
Um die Erkennungsprozedur durchführen zu können, wird die Szene, in der die Objekte erkannt werden müssen, mit Hilfe eines geeigneten Erfassungssystems digitalisiert. Als Erfassungssystem kommt zum Beispiel eine 2,5D- oder 3D-Datenerfassungseinheit , wie z.B. Lichtschnitt, Streifenprojektion oder Time of Flight (ToF) in Frage. Diese Systeme liefern Tiefenbilder bzw. Punktwolken. Im Folgenden werden solche Daten immer als 3D-Daten bezeichnet. Die entsprechende Auswertung kann mit einem Rechnersystem durchgeführt werden.
Im Folgenden wird das erfindungsgemäße Verfahren zur Erkennung und Lagebestimmung beliebig komplexer Ob- jekte, die nicht nur aus einem regelgeometrischen E- lement bestehen müssen, sondern aus verschiedenen regelgeometrischen und freigeformten Bereichen aufgebaut sein können, beschrieben. Unter „regelgeometrischen" Elementen werden solche Elemente verstanden, deren Form bzw. deren Geometrie durch geschlossene
Formeln beschreibbar ist, d.h. zum Beispiel durch parametrische oder implizite Formeln. Im erfindungsgemäßen Verfahren wird auf Basis einer automatisierten Erkennung einzelner regelgeometrischer Elemente unter Einhaltung bestimmter geometrischer Bedingungen, was die Form- und Lageparameter der einzelnen Objekte betrifft, eine 3D-Objekterkennung und Lagebestimmung im Raum realisiert.
Das erfindungsgemäße Verfahren dient dem Manipulieren und/oder Vermessen, allgemeiner dem Behandeln, von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, das durch ein oder mehrere in Beziehung, vorzugsweise in bestimmter und/oder bekannter Beziehung, zueinander stehende regelgeometrische Elemente beschreibbar ist und dessen Lage und Position durch Anordnungsparameter beschreibbar ist. Die Anordnungsparameter können zum Beispiel Koordinaten, Drehwinkel, Tangentialität , Or- thogonalität , Parallelität und/oder Winkel zu Objekten enthalten oder sein. Auch die Abmessungen der Objekte können darin beschrieben werden. Das Behandeln kann beispielsweise in einem Greifen, im Bewegen, a- ber auch im Verändern des Objektes selbst bestehen. So kann das Objekt beispielsweise auch umgeformt werden. Erfindungsgemäß ist aber auch, das Objekt nur zu vermessen. Der begrenzte Bereich ist hierbei im Wesentlichen durch den Einflussbereich der Behandlungs- vorrichtung gegeben. Er kann aber beispielsweise auch in einer Kiste bestehen, in welcher die zu behandeln- den, auszuwählenden oder zu vermessenden Objekte untergebracht sind.
Erfindungsgemäß muss nun zunächst das zu behandelnde Objekt ausgewählt werden. Beim Vorliegen von mehreren Objekten im begrenzten Bereich bedeutet das Auswählen zunächst die Bestimmung eines Objektes unter den mehreren, für welches dann anschließend Daten bestimmt werden, die die Form und die Lage des Objektes beschreiben. Die Aufnahme von das Objekt und seine Lage beschreibenden Daten wird hier auch zur Auswahl des Objektes gezählt .
Im ersten Schritt ist es hierbei notwendig, Daten aufzunehmen, welche die Anordnung der Objekte abbilden. Solche Daten können vom gesamten begrenzten Bereich oder von einem Teil dieses Bereichs aufgenommen werden. Sie sind vorzugsweise dreidimensionale Daten, welche die Objekte für jeden Punkt des Raumes be- schreiben. Die 3D-Messdaten werden unter Einsatz eines entsprechenden 3D-Sensors aufgenommen. Hierbei kann jeglicher Sensor verwendet werden, der dichte 3D-Punktwolken erzeugt.
In einem optionalen ersten Teilschritt können nun regelgeometrische Elemente in die dreidimensionalen Daten eingepasst werden, durch welche das auszuwählende Objekt beschreibbar ist. Vorzugsweise werden in den 3D-Messdaten einzelne regelgeometrische Elemente un- ter Verwendung eines Best-Fit-Verfahrens automatisch eingepasst und dadurch eine erste Segmentierung vor- genommen. Als Ergebnis dieses Teilschritts enthält man auch die Form-, Positions-, Rotations- und/oder Anordnungsparameter der einzelnen regelgeometrischen Elemente und/oder die jeweils zum Element zugehörigen 3D-Punkte.
In einem (optionalen) zweiten Teilschritt, welcher auf den optionalen ersten Teilschritt folgt, kann nun in den im ersten Teilschritt eingepassten regelgeo- metrischen Elementen ein regelgeometrisches Element als Startelement ausgewählt werden. Die Anordnungsparameter dieses regelgeometrischen Elementes können automatisch bestimmt werden oder sind bekannt. Es kann also in den bereits durch den ersten Teilschritt vorsegmentierten Bereichen regelgeometrischer Einzelelemente ein Startelement ausgewählt werden.
Es können nun optional regelgeometrische Elemente in der Nähe des Startelementes ausgewählt werden, die zu dem auszuwählenden Objekt gehören könnten. Dadurch kann das Verfahren beschleunigt werden. Durch diese regelgeometrischen Elemente, lässt sich zumindest ein Teil des auszuwählenden Objektes darstellen. Bei dieser Suche nach weiteren Elementen in der Umgebung des Startelements, die zum zu findenden Objekt gehören könnten, werden u.a. zunächst Kriterien wie Anzahl und Typ der jeweiligen Elemente überprüft. Weiterhin kann gegebenenfalls anhand der im ersten Teilschritt ermittelten Form- und/oder Lageparameter analysiert werden, welche einzelnen regelgeometrischen Elemente zum zu findenden Objekt gehören können.
In einem (optionalen) dritten Teilschritt, welcher auf den optionalen zweiten Teilschritt folgt, kann dann anhand der Beziehung der regelgeometrischen Elemente zueinander im auszuwählenden Objekt entschieden werden, welche der im ersten Teilschritt oder gegebenenfalls bei der Auswahl in der Nähe der Startteilmenge gefundenen regelgeometrischen Elemente Bestandteil desselben Objekts sind, wie das Startelement.
Im zweiten Schritt wird dann das auszuwählende Objekt als Ganzes in alle oder einen Teil jener regelgeometrischen Elemente kombiniert eingepasst, welche das auszuwählende Objekt beschreiben und/oder von welchen in den optionalen ersten bis dritten
Teilschritten gefunden wurde, dass sie Bestandteil desselben Objektes sind. Hierzu werden die Anordnungsparameter des auszuwählenden Objektes, wie zum Beispiel seine Lage und seine Orientierung, dadurch bestimmt, dass die das Objekt beschreibenden regelgeometrischen Elemente oder die im dritten Teilschritt ausgewählten regelgeometrischen Elemente gemeinsam unter Berücksichtigung der Beziehungen der entsprechenden regelgeometrischen Elemente im auszuwählenden Objekt in die dreidimensionalen Daten eingepasst werden.
Von dem zu findenden Objekt kann bekannt sein oder ermittelt werden, welche regelgeometrischen Elemente zum Objekt gehören und in welcher räumlichen Beziehung diese untereinander stehen. Anhand dieser Informationen können die entsprechenden Bedingungen für die kombinierte Einpassung generiert werden. Die Einpassung des gesamten auszuwählenden Objektes kann al- so unter Berücksichtigung der geometrischen Nebenbedingungen durchgeführt werden, welche sich aus der Information über die zum Objekt gehörenden regelgeometrischen Elemente und ihrer Lage zueinander ergeben. Es wird dabei das aus den einzelnen regelgeometrischen Elementen „kombinierte" Objekt als Ganzes eingepasst. Auf diese Weise wird das auszuwählende Objekt endgültig identifiziert und ein qualitativ besseres Einpassungsergebnis erzielt. Hierdurch kann eine ausreichend genaue Positions- und LagebeStimmung des Werkstücks erreicht werden.
Es liegen im Anschluss an die oben beschriebene Auswahl des Objektes Daten vor, welche das ausgewählte Objekt beschreiben. Diese Daten können, wie beschrieben, Anordnungsparamter wie Lage- und Positionsparameter und/oder die Form des Objektes enthalten. Anhand dieser Daten kann nun eine Behandlungsvorrichtung gesteuert werden. Diese Behandlungsvorrichtung kann ein Greifer, eine Saugvorrichtung zum Ansaugen eines Objektes oder auch eine andere Vorrichtung zum Verändern oder Erfassen des Objektes sein. Auch eine Vorrichtung zur Untersuchung von Objekten ist möglich.
Erfindungsgemäß kann das Verfahren auf verschiedene Weise variiert oder erweitert werden.
In einer bevorzugten Ausführungsform kann zur Beschleunigung des optionalen ersten Teilschritts des oben beschriebenen Verfahrens, in welchem regelgeo- metrische Elemente in die dreidimensionalen Daten eingepasst werden, d.h. wo eine Besteinpassung der einzelnen regelgeometrischen Elemente vorgenommen wird, zunächst ein Startsegment der 3D-Messdaten festgelegt und abgeteilt werden. Diese Festlegung kann beispielsweise unter Verwendung von Höheninformationen oder, falls vorhanden, einer Vorsegmentierung im Tiefenbild erfolgen. Höheninformationen und ein Tiefenbild lassen sich beispielsweise aus den dreidimensionalen Daten ableiten oder mit einem ge- eigneten Sensor aufnehmen. Der optionale erste Teilschritt des Verfahrens lässt sich weiterhin dadurch beschleunigen, dass vor der Besteinpassung eine Krümmungsanalyse in den 3D-Daten durchgeführt wird. In jedem Punkt wird die Krümmung näherungsweise ermittelt und anschließend eine Unterteilung in Bereiche verschiedener Krümmung als Vorsegmentierung durchgeführt. Nun wird in den vorsegmentierten Teilen eine Besteinpassung einzelner regelgeometrischer Elemente durchgeführt.
Wie beschrieben, werden einzelne regelgeometrische Elemente dem auszuwählenden Objekt dadurch zugeordnet, dass Informationen darüber hinzugezogen werden, welche regelgeometrischen Elemente zum Objekt gehören und in welcher räumlichen Beziehung diese untereinander stehen. Erfindungsgemäß können diese geometrischen Bedingungen, also die Anordnungsparameter (z.B. bezüglich Form und Lage der im zu findenden Objekt vorhandenen regelgeometrischen Elemente) , automatisch ermittelt werden. Dies ist beispielsweise anhand eines CAD-Modells möglich, aus welchem für die Erkennung und Lagebestimmung charakteristische Merkmale ermittelt werden, die eine eindeutige Lagebestimmung des Objektes im Raum erlauben, unabhängig davon, wie das Objekt in dem abgegrenzten Bereich (z.B. der Kiste oder im Raum) liegt.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die Auswahl des Startelementes im optionalen zweiten Teilschritt durch die Verwendung zusätzlicher Informationen unterstützt werden, die beispielsweise aus einer Vorverarbeitung unter Verwendung von Tiefenbildern resultieren können.
Generell gilt, dass das erfindungsgemäße Verfahren auf einem System ausgeführt werden kann, welches eine 2,5D- oder 3D-Datenerfassungseinheit, z.B. Licht- schnitt, Streifenprojektion oder Time of Flight (ToF) , enthält, welche die Teile aus einer oder mehreren Ansichten aufnimmt und digital zur Verfügung stellt. Darüber hinaus kann das System einen Rechner aufweisen, auf welchem das Auswertungsverfahren implementiert ist.
Im Folgenden werden das erfindungsgemäße Verfahren und seine Implementierung in einer Manipulationsvorrichtung anhand einiger Beispiele beschrieben.
Als erstes Beispiel wird ein System beschrieben, mit welchem ungeordnete Teile, die aus mehreren regelgeo- metrischen Elementen bestehen, in ihrer Lage identifiziert werden können und mit welchem für diese Greifpunkte bestimmt werden können. Solche Teile können beispielsweise Gussteile wie Gerüsthalter sein. Es wird folgendes Auswerteverfahren umgesetzt.
Zunächst werden die 3D-Daten in verschiedene Regionen unterteilt und eine Startregion ausgewählt. In der Startregion werden nun die einzelnen regelgeometrischen Objekte automatisch eingepasst, für einen Ge- rüsthalter beispielsweise Zylinder und Ebenen. Als Ergebnis erhält man die Form- und Lageparameter der einzelnen regelgeometrischen Elemente. Es wird nun ein gefundenes regelgeometrisches Element als Startelement ausgewählt, beispielsweise das am weitesten oben liegende, also am besten zugängliche. Ausgehend von diesem Element wird in einer Umgebung nach zum Objekt gehörigen weiteren regelgeometrischen Objekten gesucht, also im Fall eines Gerüsthalters nach umliegenden Zylindern und Ebenen. Dabei dienen als schnei- Ie Kriterien zunächst z.B. der Typ und die Anzahl der in der Nähe des Startelements liegenden regelgeome- trischen Einzelelemente. Sind auf diese Weise mögliche zum Objekt gehörige regelgeometrische Einzelelemente gefunden worden, wird anhand der Form- und Lageparameter die ObjektZugehörigkeit genauer bestimmt. Schließlich wird in die zu den einzelnen regelgeometrischen Elementen gehörenden Punkte eine Besteinpassung unter Einhaltung geometrischer Nebenbedingungen durchgeführt, um die Lage im Raum möglichst gut ermitteln zu können. Die geometrischen Nebenbedingungen werden anhand der Geometrie des zu erkennenden Objekts vorab so festgelegt, dass die Lage des Objekts dadurch auch aus verschiedenen Ansichten bestimmt werden kann. Für den Gerüsthalter können diese geometrischen Bedingungen sich beispielsweise auf drei Ebenen beziehen, die zueinander senkrecht stehen müssen oder auf Zylinder mit gleichem Radius und parallelen Achsen, die senkrecht zur Grundebene liegen.
In einem zweiten Beispiel ist derselbe Ablauf vorge- sehen, allerdings erfolgt die Festlegung der geometrischen Nebenbedingungen automatisch anhand eines vorhandenen CAD-Modells oder indem ein Objekt vorab gescannt wird und anhand dieser Scan-Daten eine automatische Festlegung der geometrischen Bedingungen zwischen einzelnen regelgeometrischen Elementen erfolgt. Es wird sukzessive ermittelt, welche und wie viele Elemente notwendig sind, um die Lage des zu erkennenden Objekts eindeutig bestimmen zu können.
In einem weiteren Beispiel wird das Startelement mit Hilfe von Tiefenbildinformationen ausgewählt. Hier kann z.B. eine Vorsegmentierung mit einem Regiongro- wing-Verfahren in Kombination mit der Höheninformation hilfreich sein.
Weiterhin kann zunächst im Startsegment der 3D-Mess- daten eine KrümmungsanaIyse durchgeführt werden. Für jeden Punkt wird näherungsweise die Krümmung berechnet und es werden dann Bereiche mit ähnlicher Krümmung zusammengefasst und absegmentiert. Erst in den auf diese Weise vorsegmentierten Daten erfolgt die automatische Besteinpassung einzelner regelgeometrischer Elemente. Dadurch wird das Verfahren beschleunigt und eine zu große Ausdehnung der einzelnen regelgeometrischen Elemente verhindert. Der weitere Ab- lauf entspricht dem im ersten Beispiel beschriebenen.
Die Anwendungsmöglichkeiten des erfindungsgemäßen Verfahrens reichen vom Greifen von ungeordneten Objekten über die 3D-Szenenanalyse bis hin zu messtech- nischen Anwendungen (z.B. Form- und Lageprüfung), welche hier neben anderen Anwendungen unter dem Begriff des Behandeins zusammengefasst sind.

Claims

Patentansprüche
1. Verfahren zum Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung angeordneten Objekt, das durch ein oder mehrere in Beziehung zueinander stehende regelgeometrische Elemente beschreibbar ist, und dessen Lage und
Position durch Anordnungsparameter beschreibbar ist,
dadurch gekennzeichnet, dass
zunächst ein Objekt ausgewählt wird, indem zumindest die folgenden zwei Schritte ausgeführt werden, wobei
im ersten Schritt dreidimensionale Daten, welche die Anordnung der Objekte abbilden, von einem Teil des Bereichs oder dem ganzen Bereich aufgenommen werden und
im zweiten Schritt die Anordnungsparameter des auszuwählenden Objektes dadurch bestimmt werden, dass zumindest ein Teil der das auszuwählende Objekt beschreibenden regelgeometrischen Elemente als eine Repräsentation des auszuwählenden Objektes gemeinsam unter Berücksichtigung der im auszuwählenden Objekt vorliegenden Beziehung der entsprechenden regelgeometrischen Elemente in die dreidimensionalen Daten eingepasst werden
und dass im Anschluss an die Auswahl des Objek- tes eine Behandlungsvorrichtung anhand der das ausgewählte Objekt beschreibenden Anordnungsparameter gesteuert wird.
2. Verfahren nach dem vorhergehenden Anspruch, da- durch gekennzeichnet, dass nach dem ersten und vor dem zweiten Schritt der Teil der das auszuwählende Objekt beschreibenden regelgeometri- schen Elemente, welcher im zweiten Schritt in die dreidimensionalen Daten eingepasst wird, als die Repräsentation des auszuwählenden Objektes durch zumindest die folgenden drei Teilschritte ausgewählt wird, wobei
im ersten Teilschritt regelgeometrische Elemente in die im ersten Schritt aufgenommenen dreidimensionalen Daten eingepasst werden,
im zweiten Teilschritt eines der im ersten Teilschritt eingepassten regelgeometrischen Elemente als Startelement ausgewählt wird, und
im dritten Teilschritt anhand der im auszuwählenden Objekt vorliegenden Beziehung der regel- geometrischen Elemente zueinander jene der im ersten Teilschritt eingepassten regelgeometrischen Elemente als Repräsentation des auszuwählenden Objektes ausgewählt werden, welche Bestandteil desselben Objektes sein können wie das Startelement .
3. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass zwischen dem zweiten Teilschritt und dem dritten Teilschritt regelgeometrische Elemente aus den im ersten Teil- schritt eingepassten regelgeometrischen Elemen- ten ausgewählt werden, welche in der Nähe des Startelementes liegen.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die dreidimensionalen Daten mit Hilfe eines Lichtschnittverfahrens, einer Streifenprojektion und/oder einem Time-Of-Flight-Sensor aufgenommen werden.
5. Verfahren nach einem der Ansprüche 2 bis 4, da- durch gekennzeichnet, dass im ersten Teilschritt die regelgeometrischen Elemente mittels eines Best-Fit-Verfahrens in die dreidimensionalen Daten eingepasst werden.
6. Verfahren nach einem der Ansprüche 2 bis 5, da- durch gekennzeichnet, dass im ersten Teilschritt
Form-, Positions-, Lage- , Rotations- und/oder Anordnungsparameter der regelgeometrischen Elemente mittels eines Best-Fit-Verfahrens bestimmt werden.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass im ersten Teilschritt das Einpassen der regelgeometrischen Elemente durch Krümmungsdaten der Oberfläche unterstützt wird.
8. Verfahren nach einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass im zweiten Teilschritt das Startelement anhand von zusätzlicher Information über das auszuwählende Objekt oder mit Hilfe von Tiefenbildern der Anordnung der Objekte ausgewählt wird.
9. Verfahren nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, dass im dritten Teil- schritt die regelgeometrischen Elemente, welche Bestandteil desselben Objektes sein können wie das Startelement, anhand der Anzahl, des Typs, der Form, anhand von Anordnungsparametern und/oder anhand von Lageparametern der regelgeometrischen Elemente ausgewählt werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beziehungen der regelgeometrischen Elemente zueinander im auszuwählenden Objekt automatisch bestimmt werden.
11. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Beziehungen der regelgeometrischen Elemente zueinander im auszu- wählenden Objekt anhand eines CAD-Modells bestimmt werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beziehungen der regelgeometrischen Elemente zueinander durch Anordnungsparameter ausgedrückt werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Einpassung im zweiten Schritt mittels eines Best-Fit- Verfahrens erfolgt.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem zweiten Schritt aus den im zweiten Schritt bestimmten Anordnungsparametern des auszuwählenden Objektes Informationen abgeleitet werden, anhand derer die Behandlungsvorrichtung gesteuert wird.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Behand- lungsvorrichtung das ausgewählte Objekt greift, umformt, bedruckt, vermisst, analysiert, überprüft und/oder seine Lage erfasst.
16. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass die Behandlungsvorrichtung der Greifarm eines Roboters ist.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Greifarm mit einer Ansaugvorrichtung ausgestattet ist.
18. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Greifarm das auszuwählende Objekt im Anschluss an die Auswahl greift und/oder ansaugt.
19. Vorrichtung, geeignet zum bearbeiten von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, das durch ein o- der mehrere in Beziehung zueinander stehende regelgeometrische Elemente beschreibbar ist,
gekennzeichnet durch
ein Auswahlmittel zum Auswählen eines Objektes, wobei das Auswahlmittel aufweist:
1) eine Aufnahmevorrichtung, geeignet zur Aufnahme dreidimensionaler Daten von einem Teil des Bereichs oder dem ganzen Bereich, welche die Anordnung der Objekte abbilden,
2) eine Bestimmungsvorrichtung, geeignet zur Bestimmung der Anordnungsparameter des auszuwählenden Objektes dadurch, dass zumindest ein Teil der das auszuwählende Objekt beschreibenden regelgeometrischen Elemente als eine Repräsentation des auszuwählenden Objektes gemeinsam unter Berücksichtigung der im auszuwählenden Objekt vorliegenden Beziehung der entsprechenden regel- geometrischen Elemente in die dreidimensionalen Daten eingepasst werden
und einer aufgrund der das ausgewählte Objekt beschreibenden Anordnungsparamter steuerbaren
Behandlungsvorrichtung .
20. Vorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass sie weiter aufweist :
eine Einpassungsvorrichtung, geeignet zur Einpassung regelgeometrischer Elemente in die durch die Aufnahmevorrichtung aufgenommenen dreidimensionalen Daten,
eine erste Auswahlvorrichtung, geeignet zur Aus-
I wähl eines der durch die Einpassungsvorrichtung eingepassten regelgeometrischen Elemente als Startelement,
eine zweite Auswahlvorrichtung, geeignet um anhand der im auszuwählenden Objekt vorliegenden Beziehung der regelgeometrischen Elemente zueinander jene der durch die Einpassungsvorrichtung eingepassten regelgeometrischen Elemente als
Repräsentation des auszuwählenden Objektes auszuwählen, welche Bestandteil desselben Objektes sein können wie das Startelement,
21. Vorrichtung nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 18 ausgebildet ist.
EP07786429A 2006-08-03 2007-07-30 Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung Ceased EP2047403A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006036346A DE102006036346B4 (de) 2006-08-03 2006-08-03 Verfahren zur automatisierten 3-D-Objekterkennung und Lagebestimmung
PCT/EP2007/006728 WO2008014960A1 (de) 2006-08-03 2007-07-30 Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung

Publications (1)

Publication Number Publication Date
EP2047403A1 true EP2047403A1 (de) 2009-04-15

Family

ID=38606438

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07786429A Ceased EP2047403A1 (de) 2006-08-03 2007-07-30 Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung

Country Status (3)

Country Link
EP (1) EP2047403A1 (de)
DE (1) DE102006036346B4 (de)
WO (1) WO2008014960A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2385483A1 (de) 2010-05-07 2011-11-09 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in 3D-Szenen mittels Deskriptoren von Punktpaaren und die generalsierte und der veralgemeinerter Hough Transformation
EP2720171A1 (de) 2012-10-12 2014-04-16 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in multimodalen Szenen

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008020579B4 (de) 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102009009569B4 (de) * 2009-02-19 2019-12-19 Daimler Ag Verfahren zum Ermitteln einer Teilfläche eines Bauteils
DE102011100919A1 (de) * 2011-05-09 2012-11-15 Lufthansa Technik Ag Verfahren zur automatisierten Detektion von Einzelteilen einer komplexen differenziellen Struktur
US9233469B2 (en) 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
DE102014005181A1 (de) 2014-04-03 2015-10-08 Astrium Gmbh Positions- und Lagebestimmung von Objekten
DE102015100983A1 (de) * 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
DE102021210903A1 (de) 2021-09-29 2023-03-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FAUGERAS O D ET AL: "THE REPRESENTATION, RECOGNITION, AND LOCATING OF 3-D OBJECTS", INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, SAGE SCIENCE PRESS, THOUSAND OAKS, US, vol. 5, no. 3, 1 September 1986 (1986-09-01), pages 27 - 52, XP008018683, ISSN: 0278-3649 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2385483A1 (de) 2010-05-07 2011-11-09 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in 3D-Szenen mittels Deskriptoren von Punktpaaren und die generalsierte und der veralgemeinerter Hough Transformation
EP2720171A1 (de) 2012-10-12 2014-04-16 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in multimodalen Szenen

Also Published As

Publication number Publication date
DE102006036346B4 (de) 2010-12-30
DE102006036346A1 (de) 2008-02-07
WO2008014960A1 (de) 2008-02-07

Similar Documents

Publication Publication Date Title
WO2008014960A1 (de) Verfahren zur automatisierten 3d-objekterkennung und lagebestimmung
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE60308413T2 (de) Verfahren und vorrichtung zum bearbeiten und analysieren von digitalen gelände daten.
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE19936364A1 (de) Verfahren zur Identifizierung und Lokalisierung von Marken in einem 3D-Volumendatensatz
EP2019283A2 (de) Verfahren und Vorrichtung zur Vermessung von Ist-Messdaten eines Bauteils
DE19633693C1 (de) Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
DE69829091T2 (de) Messungsgerät
EP2058765A1 (de) Verfahren und Vorrichtung zum Texturieren eines Objektes eines virtuellen dreidimensionalen geometrischen Modells
DE102021103726A1 (de) Messparameter-Optimierungsverfahren und -Vorrichtung sowie Computersteuerprogramm
EP4089363B1 (de) Verfahren und vorrichtung zum erzeugen eines prüfplans für die prüfung eines messobjekts, verfahren und vorrichtung zum prüfen eines messobjekts und sowie computerprogrammprodukt
DE102016201741A1 (de) Verfahren zur Höhenerkennung
WO2009046781A1 (de) Verfahren und vorrichtung zur erfassung von informationen eines werkzeugs
EP1098268A2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102011103510A1 (de) Verfahren zum Erstellen einer dreidimensionalen Repräsentation einer Objektanordnung
DE102015220031A1 (de) Verfahren zur Konfidenzabschätzung für optisch-visuelle Posenbestimmung
DE102006036345B4 (de) Verfahren und Vorrichtung zur Lagebestimmung von Objekten im dreidimensionalen Raum
DE102008020579B4 (de) Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
DE102006005990A1 (de) Werkstückvermessung für 3-D Lageerkennung in mehreren Multi-Roboter-Stationen
DE112015006181T5 (de) Ladungsträgerstrahlvorrichtung, Ausrichtungsverfahren für die L.adungsträgerstrahlvorrichtung, Ausrichtungsprogramm und Speichermedium
DE102009007024A1 (de) Verfahren und Vorrichtung zum Vereinzeln von Bauteilen
DE102008049859B4 (de) Verfahren und Prüfsystem zur optischen Prüfung einer Kontur eines Prüfobjekts
DE102017122627B4 (de) Optisches Messsystem und Messverfahren
DE102019220364A1 (de) Kalibriereinrichtung und Verfahren zum Kalibrieren einer Vorrichtung
DE102019110185A1 (de) Verfahren und System zum Registrieren eines Konstruktionsdatenmodells in einem Raum

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090102

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

RIN1 Information on inventor provided before grant (corrected)

Inventor name: DUNKER, THOMAS

Inventor name: HUETTEL, MARKUS

Inventor name: EFFENBERGER, IRA

Inventor name: STOTZ, MARTIN

17Q First examination report despatched

Effective date: 20090921

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20110111