[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE3689644T2 - Verfahren und Gerät zur Berechnung der Position und der Orientierung durch Kombination von Merkmalen von Teilgestalten. - Google Patents

Verfahren und Gerät zur Berechnung der Position und der Orientierung durch Kombination von Merkmalen von Teilgestalten.

Info

Publication number
DE3689644T2
DE3689644T2 DE3689644T DE3689644T DE3689644T2 DE 3689644 T2 DE3689644 T2 DE 3689644T2 DE 3689644 T DE3689644 T DE 3689644T DE 3689644 T DE3689644 T DE 3689644T DE 3689644 T2 DE3689644 T2 DE 3689644T2
Authority
DE
Germany
Prior art keywords
image
characteristic
orientation
target object
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE3689644T
Other languages
English (en)
Other versions
DE3689644D1 (de
Inventor
Seiji Hata
Yoshie Nishida
Masao Tsuji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of DE3689644D1 publication Critical patent/DE3689644D1/de
Publication of DE3689644T2 publication Critical patent/DE3689644T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

    Hintergrund der Erfindung: Feld der Erfindung:
  • Die Erfindung bezieht sich auf ein Verfahren sowie eine Vorrichtung zur Bilderkennung zur Errechnung der Position und der Lage eines Zielgegenstandes und insbesondere auf ein Verfahren und eine Vorrichtung zur Berechnung der Position und der Ausrichtung eines vollständigen Zielgegenstandes einschließlich seiner Teilformen durch Berechnung linearer Gleichungen, des Schwerpunkts usw. solcher Teilformen.
  • Beschreibung des Standes der Technik:
  • In der bisher entwickelten Technologie zur Erkennung von Einzelteilen ist eine in der JP-A-59-154574 offenbarte Mustererkennungsvorrichtung bekannt. Gemäß diesem Stand der Technik wird das Muster eines Zielgegenstands dadurch erkannt, daß zuerst dessen gesamter Umriß erfaßt wird, und nachdem dessen Eigenschaftsparameter wie Schwerpunkt, Hauptachse usw. berechnet wurden, der Übereinstimmungsgrad zwischen dem Muster des Zielgegenstandes und einem aus einem Verzeichnis ausgewählten Muster in einem Zustand bestimmt wird, in dem die zwei Muster so gesetzt sind, daß deren jeweiligen Hauptachsen zusammenfallen. In Fällen aber, in denen der zu erkennende Zielgegenstand eine gedruckte Schaltungsplatine oder ähnliches mit darauf angebrachten elektronischen Bauelementen ist, dessen Abbild extrem kompliziert ist oder dessen äußere Abmessungen groß sind, treten Schwierigkeiten auf, beispielsweise daß nicht sofort ein eindeutiges Abbild des Zielgegenstands gewonnen werden kann oder daß dessen Form nicht gleichzeitig ermittelt werden kann. Die Eigenschaftsparameter können also nicht ohne weiteres schnell berechnet werden, so daß deshalb im täglichen Betrieb ein zuverlässiges Erkennen des Zielgegenstandes nicht möglich ist.
  • Zwischenzeitlich wurde in der JP-A-58-62503 eine Erfindung offenbart, dergemäß die gesteuerte Positionierung eines Bauteils aufgrund dessen Fläche in einem Fenster, das in einen Teil des Bildes gesetzt wird, durchgeführt wird. Da aber die Positionierung im obigen Beispiel lediglich unter Verwendung des Flächenparameters durchgeführt wird, kann eine präzise Positionierung nicht erreicht werden.
  • In der US-A-4 435 837 ist ein System offenbart, mit dem die gesamte Form eines flachen Zielgegenstandes in einem Beobachtungsfeld automatisch abgetastet wird, die Erkennung der gesamten Form wird durch die Identifizierung zumindest eines Moments (beispielsweise des ersten Moments, der Fläche, des zweiten Moments, Trägheitsprodukte oder ein höheres Moment) durchgeführt, und der Schwerpunkt und der Neigungswinkel einer Hauptachse werden berechnet. Daraus ergibt sich, daß lediglich Merkmalsparameter der gesamten Form des Zielgegenstandes verwendet werden.
  • In US-A-4 630 225 wird darüber hinaus ein System offenbart, mit dem aus Bilddaten mehrere charakteristische Punkte eines Zielgegenstandes erfaßt werden, die Abstände von zumindest zwei charakteristischen Punkten des Zielgegenstandes von anderen charakteristischen Punkten ermittelt werden, zumindest zwei charakteristische Punkte identifiziert werden, indem die Daten, die sich auf die Abstände der zumindest zwei charakteristischen Punkte von anderen charakteristischen Punkten beziehen, überprüft werden in bezug auf gespeicherte Daten, die sich auf die Abstände zwischen jedem der mehreren charakteristischen Punkte und anderen charakteristischen Punkten beziehen, wobei schließlich die Ausrichtung des Zielgegenstandes auf der Grundlage einer Richtung durch zumindest die zwei identifizierten charakteristischen Punkte bestimmt wird.
  • Schließlich ist in "IEEE Computer Society Conference on Pattern Recognition and Image Processing", 6.-8. August 1979, Seiten 101-108, ein Verfahren zum automatischen Ausrichten von IC-Chips sowie zur Verdrahtung offenbart, mit dem die Positionen von zwei Verdrahtungskontaktflächen ermittelt werden können, um aus diesen bekannten Positionen die Positionen der anderen Verdrahtungsanschlußflächen abschätzen zu können. Die Position und/oder der Winkel des gesamten IC-Chips wird bzw. werden aber nicht aus der Position der Verdrahtungskontaktflächen berechnet, sondern unabhängig hiervon aus der äußeren Form des Chips (Maskierungsrahmen). Zur Verarbeitung der Konfiguration wird keine polygonale Annäherung vorgesehen.
  • Allgemein kann gesagt werden, daß es im Stand der Technik üblich war, einen Zielgegenstand aktiv gesteuert so abzulegen, daß seine vorbestimmte Referenzposition und Ausrichtung beibehalten wird. Wenn die Position und die Ausrichtung richtig erkannt sind, wird im Einzelfall die Korrelation zwischen ihnen und den Referenzwerten definiert, so daß durch Korrektur der Referenzposition und Ausrichtung entsprechend dieser Korrelation der Zielgegenstand richtig gesteuert werden kann. Demnach kann die richtige Steuerung des Zielgegenstandes hinreichend genau dadurch erreicht werden, daß die gegenwärtige Position und Ausrichtung genau erkannt werden.
  • Zusammenfassung der Erfindung:
  • Aufgabe der Erfindung ist es, eine Vorrichtung und ein Verfahren anzugeben, die dazu ausgelegt sind, die Position und die Ausrichtung eines Zielgegenstandes nicht aus seiner gesamten Form, sondern aus charakteristischen Teilformen zu berechnen.
  • Eine andere Aufgabe der Erfindung ist es, eine Vorrichtung und ein Verfahren anzugeben, mit dem es möglich ist, die Position und die Ausrichtung eines vollständigen Zielgegenstandes einfach und schnell zu ermitteln, selbst wenn der Zielgegenstand große Abmessungen hat oder sein Abbild kompliziert ist,
  • Diese Aufgaben werden mittels des im Anspruch 1 definierten Verfahrens und mittels der im Anspruch 6 definierten Vorrichtung gelöst; vorteilhafte Weiterentwicklungen der Erfindung sind in den jeweiligen Unteransprüchen definiert.
  • Allgemein ausgedrückt ist die Erfindung so entworfen, daß die momentane Position und Ausrichtung des Zielgegenstands auf der Grundlage zweier gegebener Punkte oder eines gegebenen Punktes und eines gegebenen linearen Gleichung oder zweier gegebener linearer Gleichungen des Zielgegenstandes berechnet werden. Wenn die Position und die Ausrichtung eines Zielobjekts zufällig verteilt werden, jedoch innerhalb eines gewissen Bereiches liegen, kann demnach die näherungsweise Position beliebig vorbestimmter Teilformen auch vor der Bildverarbeitung ermittelt werden, so daß es möglich ist, die Position und die Ausrichtung des gesamten Zielgegenstandes aus der Kombination der ausgewählten Teilformen zu erfassen, um die kennzeichnenden Parameter, wie beispielsweise Schwerpunkt oder die lineare Gleichung, durch Bildverarbeitung zu berechnen.
  • Kurze Beschreibung der Zeichnungen:
  • Fig. 1 zeigt ein robotergestütztes, automatisches Montagesystem, auf das die vorliegende Erfindung angewendet werden kann;
  • Fig. 2 ist ein Blockdiagramm, das die Hardware-Konfiguration eines Bildprozessors im System der Fig. 1 zeigt;
  • Fig. 3 zeigt, wie für Teilformen erfindungsgemäß Fenster gesetzt werden;
  • Fig. 4 zeigt beispielhafte polygonale Näherungen von Teilformen, die aus den Fenstern gewonnen werden, wobei (a) ein gesamtes Bild zeigt und (b) das Abbild einer Trägerkante, das durch eine polygonale Annäherung dargestellt ist,
  • Fig. 5 und 6 zeigen jeweils grafisch, wie aus einer in den Fig. 4 (a) und (b) gewonnenen segmentierten Kontur ein charakteristischer Parameter abgeleitet wird;
  • Fig. 7 (a) bis (c) zeigen schematisch das erfindungsgemäße Verfahren zur Berechnung einer Position und einer Ausrichtung;
  • Fig. 8 ist das Flußdiagramm eines beispielhaften erfindungsgemäßen Berechnungsvorganges für die Position und die Ausrichtung, wobei (a) die Erstellung eines Verzeichnisses darstellt und (b) den Erkennungsvorgang;
  • Fig. 9 zeigt bezugnehmend auf die Erfindung vier grundlegende Muster von charakteristischen Formen; und
  • Fig. 10 stellt zur Erläuterung der Erfindung Kombinationen von Charakteristika von Teilformen dar.
  • Beschreibung der bevorzugten Ausführungsformen:
  • Zunächst wird ein robotergestütztes automatisches Montagesystem erläutert, auf das die vorliegende Erfindung angewendet werden kann. Fig. 1 zeigt den beispielhaften Aufbau eines solchen Systems. Wie dargestellt, wird ein auf dem Förderband 1 zufallsbestimmt transportiertes Chassis 2 durch eine TV-Kamera 3 aufgenommen, und das gesamte Bild oder ein Teilbild des Chassis 2 wird an einen Bildprozessor 4 übertragen, in dem aus dem eingegebenen Bild die Position und die Ausrichtung des Chassis berechnet und an den Montageroboter 5 ausgegeben werden. Der Roboter 5 nimmt dann ein Bauteil aus einem Bauteilzuführmagazin 6 und fügt es dem Chassis 2 an, während in Übereinstimmung mit den vom Bildprozessor 4 empfangenen Informationen die Position und Ausrichtung des Teils auf Referenzwerte hin korrigiert werden. Im allgemeinen befindet sich das Chassis 2 in einer in zwei Dimensionen wahlfreien Position und Ausrichtung auf dem Förderband 1, und um es dem Roboter 5 zu ermöglichen, jedes Bauteil exakt in das Chassis 2 einzufügen, müssen die Referenzpositions- und -ausrichtungsdaten auf der Grundlage der Abweichung des Chassis 2, die aus dem eingegebenen Bild berechnet wird, korrigiert werden.
  • Das Blockdiagramm in Fig. 2 zeigt den Hardwareaufbau des Bildprozessors 4. Das von der TV-Kamera 2 eingegebene Bild wird einer Video-Eingabe/Ausgabeeinheit 23 zugeführt und dann zur Segmentierung in einer Videoverarbeitungseinheit binär kodiert, hierbei wird das Bild in schwarze und weiße Regionen geteilt. Das folgende Verarbeitungsprogramm wurde vorher auf einer Floppy Disk 27 erstellt. Das so erstellt Programm auf der Floppy Disk 27 wird in einem Speicher 20 wie etwa einem Magnetblasenspeicher über eine Floppy-Disk- Schnittstelle 21 gespeichert, ebenso werden Verzeichnisdaten im Speicher 20 gespeichert. Dann werden die im Speicher 20 gespeicherten Verarbeitungsprogramm - und -verzeichnisdaten an einen Speicher einer Zentraleinheit (CPU) nach Maßgabe eines Befehls vom Roboter 5 und eines Befehls von der Konsole 26 über eine serielle Eingabe/Ausgabe-Schnittstelle 25 übertragen, hierbei wird der in Fig. 8 dargestellte Vorgang ausgeführt.
  • Fig. 3 zeigt einige exemplarische Muster von Teilformen. In dem durch die TV-Kamera 3 gewonnenen Bild 7 wird wie dargestellt ein Teilbereich des auf dem Chassis 2 angebrachten Trägers als ein Abbild 8 erfaßt, das ein Steckerabbild 9, Lochabbild 10, Trägerkantenabbildungen 11, 12 usw. beinhaltet, die zu ermitteln und als Teilformen zu verarbeiten sind. Für den Fall, daß die Position und die Ausrichtung des zufallsbestimmt abgelegten Chassis 2 nicht stark von der Referenzposition und Ausrichtung abweichen, können die Teilformen aus dem vorgesetzten Fenstern 13 bis 16 zufriedenstellend entnommen werden. Die so entnommenen Teilformen werden unterteilt in solche, die das gesamte Charakteristikum darstellen, wie beispielsweise das Lochabbild 10, und solche, die ein Teilcharakteristikum darstellen, wie etwa das Steckerabbild 9 und die Trägerkantenabbilder 11, 12.
  • Fig. 4 (a) und (b) zeigen beispielhaft entnommene Teilformen. Im Beispiel (a) wird ein Lochabbild (10), das ein vollständiges Charakteristikum darstellt, zur polygonalen Annäherung segmentiert, wodurch man die Koordinaten einer Abfolge von Punkten (mit Kreisen gekennzeichnet) als Daten erhält. Ebenso wird im Beispiel (b) das Trägerkantenabbild 11, das ein Teilcharakteristikum und den Fensterrahmen 15 darstellt, zur polygonalen Annäherung segmentiert, und mit einem anderen Fenster 18, das in die innere Fläche, jedoch ohne den Rahmen des Fensters 15 gesetzt wird, wird lediglich die zu entnehmende Teilform durch eine Abfolge von Segmenten angenähert, wodurch man die Koordinaten einer Abfolge von Punkten (durch Kreise gekennzeichnet) als Daten erhält.
  • Fig. 5 und 6 zeigen grafisch, wie aus der segmentierten Kontur, die jeweils in den Fig. 4 (a) und (b) gewonnenen wurde, ein charakteristischer Parameter entnommen wird. In dem Beispiel, in dem wie in Fig. 4 (a) gezeigt die gesamte charakteristische Form entnommen werden kann, wird der Schwerpunkt G berechnet. Aus den primären Momenten Mx, My und der Fläche S des gesamten Polygons, das mit einem in Fig. 5 gezeigten Einheitstrapezoid [TxP1, P2], [TyP1, P2] und eine Punktfolge P = {P1 (x1, y1), P2 (x2, y2) . . . . . , P (x7, y7)} (wobei P8 (x8, y8) = P1 (x1, y1)) definiert ist, werden die x-Koordinate xg und die y-Koordinate yg des Schwerpunkts G wie folgt berechnet:
  • wobei sich Mx und My jeweils auf die x-Achse und die Y-Achse beziehen.
  • In einem anderen Beispiel aus Fig. 4 (b), das eine Segmentenabfolge zeigt, die durch Herausnahme des Rahmenbereiches aus dem Fenster 18 und teilweises Entnehmen der charakteristischen Form wie in Fig. 6 gezeichnet wurde, wird die Punktfolge zu einer geraden Linie hin angenähert mittels des Verfahrens der kleinsten Quadrate, um eine lineare Gleichung y = ax + b (x = a'y + b') zu berechnen. In diesem Fall werden die Koeffizienten a und b mit der Punktfolge L = {L1 (x1, y1), L2 (x2, y2) . . . . L4 (x4, y4)} wie folgt berechnet:
  • wobei x&supmin;¹, xT jeweils eine inverse Matrix und eine transponierte Matrix von x sind.
  • Bezugnehmend auf die Fig. 7 (a) bis (c) wird nun das Verfahren zur Berechnung der Position und Ausrichtung auf der Grundlage der charakteristischen Parameter, die in der beschriebenen Weise gewonnen werden, beschrieben. Da die gewonnenen charakteristischen Parameter Schwerpunkte oder gerade Linien sind, ergeben sich die Kombinationen (a) Schwerpunkt und Schwerpunkt; (b) Schwerpunkt und gerade Linie; und (c) gerade Linie und gerade Linie. Nachfolgend wird das Verfahren zur Berechnung der Position und der Orientierung bezugnehmend auf die einzelnen Kombinationen beschrieben. Grundsätzlich liegen die Abweichungen von der Referenzposition und Referenzausrichtung in x-Richtung, y- Richtung und in Drehrichtung in der x-y-Ebene.
  • Beispiel (a): die Position einer Teilform und damit die Positionsabweichungen in x- und y-Richtung können aus dem Schwerpunkt G1 (x&sub1;g, y&sub1;g) in bezug auf den charakteristisch geformten Teil berechnet werden, während der Abweichungswinkel R in Drehrichtung wie folgt aus G1 (x&sub1;g, y&sub1;g) und G2 (x&sub2;g, y&sub1;g) berechnet wird:
  • R = tan&supmin;¹ (y1-y2/x1-x2) (7)
  • wobei G2 der Schwerpunkt bezüglich eines anderen charakteristisch geformten Bereichs ist.
  • Beispiel (b): die Positionsabweichung wird wie im vorherigen Beispiel (a) aus dem Schwerpunkt G3 (x&sub3;g, y&sub3;g) berechnet, danach wird der Abweichungswinkel e in Drehrichtung wie folgt aus dem Schwerpunkt G3 und dem Schnittpunkt Y1 (x', y') einer geraden Linie (y= ax + b) und einer sich zu ihr rechtwinklig erstreckenden Gerade durch den Schwerpunkt G3 berechnet.
  • R = tan&supmin;¹ (y'-y3g/x' -x3g) (8)
  • Beispiel (c): die Position wird aus einem Schnittpunkt J2 (x'', y''), einer geraden Linie (y= ax + b) und einer anderen geraden Linie (y= ax + b) berechnet, der Abweichungswinkel e in Drehrichtung wird aus der Steigung a (oder a'') der geraden Linie berechnet.
  • R = tan&supmin;¹ a oder tan&supmin;¹ a'' (9)
  • Fig. 8 ist das Flußdiagramm eines beispielhaften Berechnungsvorgangs für die Position und die Ausrichtung, wie er entsprechend dem in Fig. 7 (a) bis (c) dargestellten Verfahren durchgeführt wird. In diesem Vorgang werden die Position und die Ausrichtung von eingegebenen Daten erkannt, indem die Abweichung der eingegegebenen Daten im Vergleich zu Referenzdaten berechnet wird. Der gesamte Vorgang ist unterteilt in (a) Erstellen eines Verzeichnisses, das als Grunddatensammlung dient und (b) einen Erkennungsvorgang zur Berechnung der Abweichung durch Vergleich mit den Verzeichnisdaten.
  • Zunächst wird (a) die Erstellung des Verzeichnisses beschrieben, es ist ein On-line-Vorgang, über beispielsweise eine Konsole 26 werden die Kameranummer und eine Stufennummer zur Bewahrung der Daten zur Umwandlung der Koordinaten eines visuellen Systems und eines Robotersystems eingegeben. Im nächsten Schritt wird auf der Grundlage der Kameranummer und der Stufennummer, wie sie in S1 festgelegt wurden, über TV-Kamera 3 ein Bild eingegeben [S2]. Beispielsweise bezüglich des in Fig. 3 dargestellten eingegebenen Bildes werden die Koordinaten eines Punkts oben rechts und eines Punkts unten links im Viereck, das die charakteristischen Formen aus Fig. 4(a) und (b) enthält, festgelegt, und es wird ein Fenster (z. B. 13 in Fig. 3) zur Festlegung des Verarbeitungsbereichs gesetzt und eingespeichert [S31]. Dann wird die Kontur der charakteristischen Form innerhalb des eingespeicherten Fensters entnommen [S32] und anschließend durch die entnehmbaren charakteristischen Parameter klassifiziert [S33]. Der charakteristische Parameter wie Schwerpunkt oder lineare Gleichung, der für jede klassifizierte charakteristische Form festgelegt ist, wird entnommen und als ein Wert bezogen auf das gespeicherte Fenster (13 in Fig. 13) gespeichert [S34]. Wie schon erwähnt, werden die Schritte S31 bis S34 für jedes Fenster durchgeführt [S3]. Dieser Schritt S3 für jedes Fenster wird bezüglich der Gesamtheit der charakteristischen Formen, die für die Erkennung der Position und der Ausrichtung im soeben eingegebenen Bildelement notwendig sind, ausgeführt. Wenn auf einer anderen Stufe eine beliebige andere charakteristische Form verwendet wird, werden die entsprechende Kameranummer und Stufennummer bestimmt [S1] und, nachdem das Bild eingegeben wurde [S2), wird der Vorgang innerhalb des Fensters ausgeführt [S3]. Im Anschluß an die Entnahme der charakteristischen Parameter durch die obigen Schritte für alle zu verwendenden charakteristischen Formen werden Fenster, die die zu kombinierenden charakteristischen Formen enthalten, bestimmt [S4], und es werden Verzeichnisdaten wie Kameranummer, Fenstergröße und Strichposition zu entnehmender charakteristischer Parameter, Wert dieses Parameters, zu kombinierende Fenster usw. im Speicher 20 eingespeichert [S5].
  • Es wird nun genau die Klassifizierung der charakteristischen Formen beschrieben. Der zu berechnende charakteristische Parameter ist im allgemeinen durch eine lineare Gleichung dargestellt, die in Form einer geraden Linie den Schwerpunkt, der für die gesamte charakteristische Form und für ein Teilcharakteristikum ermittelt wurde, entnimmt. Für verschiedene charakteristische Formen jedoch, für die der Schwerpunkt aus deren Gesamtheit gewonnen werden kann, gibt es einige, in denen ein sekundäres Moment berechnet werden kann, um die Beurteilung der Position und der Ausrichtung durch einen einzigen charakteristischen Parameter zu ermöglichen. Außerdem kann beim Berechnen einer linearen Gleichung der Fall auftreten, daß zwei gerade Linien, die in einem speziellen Modus einen Haken bilden, gleichzeitig erhalten werden. In diesem Fall können die Position und die Ausrichtung durch zwei gerade Linien, die in einer partiellen Form enthalten sind, berechnet werden, und der Schnittpunkt dieser zwei geraden Linien kann unmittelbar berechnet werden. Bei der Berechnung der Position und der Ausrichtung ist der Schnittpunkt genauso wie der Schwerpunkt außerordentlich wichtig. Fig. 9 stellt vier Muster von charakteristischen Formen dar, die dadurch klassifiziert wurden, daß der Fall betrachtet wurde, für den spezielle charakteristische Parameter gewonnen werden können, wie Schwerpunkt und sekundäres Moment oder zwei gerade Linien und Schnittpunkt. Entsprechend dieser Klassifikation werden die charakteristischen Formen eingeteilt in: (1) ein Muster, für das aus der gesamten charakteristischen Form lediglich ein Schwerpunkt berechnet werden kann; (2) ein Muster, für das aus der gesamten charakteristischen Form ein Schwerpunkt und ein sekundäres Moment berechnet werden können; (3) ein Muster, für das eine gerade Linie berechnet werden kann; und (4) ein Muster, für das zwei nicht parallele gerade Linien oder zwei solche Linien und deren Schnittpunkt berechnet werden können. Im letzten Muster kann eine sehr genaue Beurteilung erreicht werden, wenn die zwei geraden Linien ausreichend lang sind, Stabilität ist jedoch nicht gewährleistet, wenn die Linien kurz sind, so daß eine einzige Beurteilung nicht empfehlenswert ist.
  • Bezugnehmend auf Fig. 8 (b) wird nun der in Verbindung mit dem Roboter 5 durchgeführte Erkennungsvorgang beschrieben. Zunächst wird der Bildprozessor 4 durch den Roboter 5 dazu veranlaßt, Betriebsbefehle auszuführen [S6]. Die bestimmte Kameranummer und Stufennummer werden bildmäßig in den Bildprozessor 4 nach Maßgabe solcher Instruktionen eingegeben [S7). Dann wird das Fenster, das bei der Erstellung des Verzeichnisses gespeichert wurde, im Hinblick auf das die zu verwendenden charakteristischen Formen enthaltende Fenster gesetzt, und anschließend wird die Entnahme der charakteristischen Formen im Fenster [S81) und die Entnahme der charakteristischen Parameter [S82) in der gleichen Weise wie auch bei der Erstellung des Verzeichnisses durchgeführt. Im Erkennungsprozeß werden die entnommenen Daten außerdem auf der Grundlage des Flächenwerts usw. dahingehend überprüft, ob sie das Zielmuster sind oder nicht, und für den Fall, daß das Ergebnis dieser Überprüfung OK ist, werden die entnommenen Daten als Erkennungsdaten gespeichert [S84]. Ist das Ergebnis nicht OK, wird der Vorgang mit dem Schritt für das nächste Fenster fortgesetzt. Wenn es zu verwendende charakteristische Formen gibt, die auf einer anderen Bildebene liegen, werden deren Abbilder eingegeben, so daß die charakteristischen Parameter bezüglich aller charakteristischen Formen entnommen werden [S8]. Immer wenn entsprechend den Daten im Verzeichnis die Fenster kombiniert werden [S9], wird die Abweichung oder der Unterschied von den Verzeichnisdaten durch das Verfahren, das bezugnehmend auf die Fig. 7 (a) bis (c) erwähnt wurde, berechnet (S10). Schließlich wird die im vorangegangenen Schritt ermittelte Abweichung in ein Roboterkoordinatensystem umgewandelt und der entstehende Wert an den Roboter 5 übertragen, oder die Abweichung wird überprüft, um festzustellen, ob sie innerhalb des zulässigen Bereichs liegt oder nicht, danach wird das Ergebnis an den Roboter 5 übertragen (S11).
  • Bezugnehmend auf Fig. 10 wird zuletzt das Berechnungsverfahren für die Position und die Ausrichtung auf der Grundlage einer Kombination der charakteristischen Parameter nachfolgend beschrieben. Fig. 10 zeigt, wie eine Position und eine Ausrichtung anhand einer Kombination der in Fig. 8 dargestellten charakteristischen Formen berechnet wird. Zwischen allen vier Mustern sind beliebige Kombinationen möglich. In einer Kombination beispielsweise, bei der für zwei gerade Linien zwei Schnittpunkte gewonnen werden, kann die Position und die Ausrichtung in der gleichen Weise berechnet werden wie für die Kombination, in der zwei Schwerpunkte ermittelt werden. Auch in anderen Fällen können die Position und die Ausrichtung des gesamten Zielgegenstandes auf der Grundlage zweier charakteristischer Teilformen berechnet werden.
  • Wie soeben erwähnt ist angesichts der Tatsache, daß die Positionskorrelationen zwischen Teilformen eines gesamten Zielgegenstandes vorher festgelegt sind, die vorliegende Erfindung so ausgelegt, daß die genaue Erkennung der Position und der Ausrichtung des gesamten Zielgegenstandes aus einer oder mehrerer seiner Teilformen durchgeführt wird. Wenn demzufolge der Zielgegenstand große Abmessungen hat oder sein Abbild kompliziert ist, ergeben sich auch dann noch bei der genauen Erkennung der Position und der Ausrichtung des gesamten Zielgegenstandes brauchbare Ergebnisse.

Claims (7)

1. Verfahren zur Berechnung der Position und der Ausrichtung eines Zielgegenstandes, mit den Schritten - Eingabe zumindest eines zweidimensionalen Bildes zumindest eines Bereichs des Zielgegenstandes (S7), - Entnahme des Abbildes einer Teilform (S81) aus dem eingegebenen Bild entsprechend einem gespeicherten Fenster zur Festlegung eines abgeteilten Verarbeitungsbereichs innerhalb des eingegebenen Bildes, im Vorgang des Erstellens eines Verzeichnisses (S31) - Segmentieren der Kontur einer Teilform im entnommenen Bild für die polygonale Annäherung, wodurch Koordinatendaten einer Abfolge von Punkten erhalten werden (S32 S81), - Einteilen der entnommenen Teilform in ein Muster, das eine vollständige charakteristische Form darstellt oder ein Muster, das eine charakteristische Form teilweise darstellt, im Vorgang des Erstellens eines Verzeichnisses (S33) - Berechnung eines charakteristischen Parameters aus den Koordinatendaten entsprechend jeder klassifizierten charakteristischen Form, der bezugnehmend auf das gespeicherte Fenster (S82) gespeichert wird, also Berechnung des Schwerpunkts als ein charakteristischer Parameter bezüglich eines Musters, das zur Entnahme der gesamten charakteristischen Form geeignet ist, oder der Berechnung einer linearen Gleichung als charakteristischer Parameter für die Muster, die zur Entnahme eines Teils der charakteristischen Form geeignet sind, - Wiederholen der Abfolge der Schritte des Entnehmens des Segmentierens und des Berechnens, wobei die Fenster nacheinander gewählt werden (S83) und - Berechnen der Position des Zielgegenstandes aus dem Schwerpunkt und der Ausrichtung des Zielgegenstands aus einer Kombination eines Schwerpunkts und dem Schnittpunkt einer geraden Linie aus einer linearen Gleichung und einer sich zu ihr rechtwinkelig erstreckenden, durch den Schwerpunkt verlaufenden Geraden, entsprechend Verzeichnisdaten, die die Kombinationen von Fenstern festlegen (S84).
2. Verfahren nach Anspruch 1, dadurch gegekennzeichnet, daß wenn zwei Schwerpunkte als charakteristische Parameter miteinander kombiniert werden, die Position des Zielgegenstands aus einem der Schwerpunkte berechnet wird und die Ausrichtung des Zielgegenstands aus den beiden Schwerpunkten berechnet wird.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß wenn zwei lineare Gleichungen als charakteristische Parameter miteinander kombiniert werden, die Position des Zielgegenstands aus dem Schnittpunkt der zwei geraden Linien aus den zwei linearen Gleichungen berechnet wird und die Ausrichtung des Zielgegenstands aus der Steigung einer der beiden geraden Linien berechnet wird.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die entnommenen charakteristischen Formen eingeteilt werden in Muster, für die aus der gesamten charakteristischen Form lediglich ein Schwerpunkt gewonnen werden kann, Muster, für die aus der gesamten charakteristischen Form ein Schwerpunkt und ein sekundäres Moment gewonnen werden können, Muster, für die eine lineare Gleichung gewonnen werden kann und Muster, für die zwei nicht parallele gerade Linien oder deren Schnittpunkt gewonnen werden können und
daß ein charakteristischer Parameter in bezug auf jedes der vier Muster berechnet wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Position und die Ausrichtung des Zielgegenstands entsprechend einer beliebigen Kombination der vier Muster berechnet werden,
6. Vorrichtung zur Berechnung der Position und der Ausrichtung mit - einer TV-Kamera (3) zur Angabe zumindest eines Bildes entsprechend zumindest einem Bereich eines Zielgegenstands, dessen Position und dessen Ausrichtung zu berechnen sind, - einem Bildprozessor (4) zum Entnehmen des Bildes einer Teilform aus dem Bild entsprechend einem Fenster, das während des Vorgangs des Erstellens eines Verzeichnisses für einen Teil des Bildes vorher gesetzt wurde, dann Segmentieren der Kontur der charakteristischen Form im entnommenen Bild zur polygonalen Annäherung, wodurch Koordinatendaten einer Punktfolge gewonnen werden, dann Berechnen eines charakteristischen Parameters aus den Koordinatendaten entsprechend jeder klassifizierten charakteristischen Form, die in bezug auf das vorher gesetzte Fenster gespeichert ist, dann Wiederholen der Abfolge des Entnehmens, Segmentierens und Berechnens, wobei die Fenster nacheinander gewählt werden, und Berechnen der Position und der Ausrichtung des gesamten Zielgegenstands durch beliebiges Kombinieren der charakteristischen Parameter entsprechend Verzeichnisdaten, die die Kombinationen von Fenstern festlegen, und - eine Einrichtung (5) zur Beeinflussung des Zielgegenstands (2), indem auf der Grundlage der berechneten Positions- und Ausrichtungsinformation die Referenzpositions- und- ausrichtungsdaten korrigiert werden.
7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß der Bildprozessor (4) eine Bildeingabeeinrichtung (23) aufweist, die das Bild von der TV-Kamera (3) empfängt, eine Bildvorverarbeitungseinrichtung (24) zur Unterteilung des eingegebenen Bildes in Bereiche, eine Speichereinrichtung (20) zum Speichern eines Verarbeitungsprogramms sowie von Verzeichnisdaten und eine Verarbeitungseinrichtung (22) zur Ausführung nacheinanderfolgender Schritte entsprechend dem Verarbeitungsprogramm.
DE3689644T 1985-10-11 1986-10-10 Verfahren und Gerät zur Berechnung der Position und der Orientierung durch Kombination von Merkmalen von Teilgestalten. Expired - Lifetime DE3689644T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP60224857A JPH0679325B2 (ja) 1985-10-11 1985-10-11 位置姿勢判定方法

Publications (2)

Publication Number Publication Date
DE3689644D1 DE3689644D1 (de) 1994-03-24
DE3689644T2 true DE3689644T2 (de) 1994-06-16

Family

ID=16820253

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3689644T Expired - Lifetime DE3689644T2 (de) 1985-10-11 1986-10-10 Verfahren und Gerät zur Berechnung der Position und der Orientierung durch Kombination von Merkmalen von Teilgestalten.

Country Status (4)

Country Link
US (1) US4803735A (de)
EP (1) EP0218259B1 (de)
JP (1) JPH0679325B2 (de)
DE (1) DE3689644T2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19713521B4 (de) * 1997-04-02 2004-09-23 Festo Ag & Co Vorrichtung zur Erkennung falsch orientierter und/oder von einem vorgegebenen Muster abweichender Teile

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5189707A (en) * 1985-10-11 1993-02-23 Hitachi, Ltd. Method of loading surface mounted device and an apparatus therefor
JP2874752B2 (ja) * 1987-07-13 1999-03-24 松下電工株式会社 画像処理の位置検出方法
CA1318977C (en) * 1987-07-22 1993-06-08 Kazuhito Hori Image recognition system
JPH01166271A (ja) * 1987-12-23 1989-06-30 Daihatsu Motor Co Ltd ワークの特徴点位置認識装置
JPH0672770B2 (ja) * 1988-02-01 1994-09-14 豊田工機株式会社 ロボットの物体認識装置
JPH07104943B2 (ja) * 1988-02-29 1995-11-13 株式会社日立製作所 物体認識装置
JP2523780B2 (ja) * 1988-04-28 1996-08-14 松下電器産業株式会社 部品装着機における部品認識方法
EP0341944A3 (de) * 1988-05-10 1991-06-26 Gec Plessey Telecommunications Limited Verfahren und Vorrichtungen zur Positionserfassung
JPH041505A (ja) * 1990-04-18 1992-01-07 Matsushita Electric Ind Co Ltd ワークの3次元位置計測方法とワークの捕捉方法
JPH041869A (ja) * 1990-04-19 1992-01-07 Nippon Sheet Glass Co Ltd 画像照合方法
US5146099A (en) * 1990-06-27 1992-09-08 Mitsubishi Denki Kabushiki Kaisha Apparatus for measuring amount of positional deviation of a recording sheet
JPH04343178A (ja) * 1991-05-20 1992-11-30 Sony Corp 画像処理装置
US5548667A (en) * 1991-05-24 1996-08-20 Sony Corporation Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data
IT1258006B (it) * 1992-01-13 1996-02-20 Gd Spa Sistema e metodo per il prelievo automatico di oggetti
JPH05204992A (ja) * 1992-01-27 1993-08-13 Fanuc Ltd 検索ウインドゥ設定方式
JPH0628473A (ja) * 1992-04-13 1994-02-04 Ezel Inc Icの傾き検出方法
GB2276446B (en) * 1993-03-26 1996-07-03 Honda Motor Co Ltd Method of measuring the position of a hole
JP2704933B2 (ja) * 1993-12-10 1998-01-26 松下電工株式会社 画像処理の位置検出方法
AUPN310095A0 (en) * 1995-05-22 1995-06-15 Canon Kabushiki Kaisha Image detection system
US5825913A (en) * 1995-07-18 1998-10-20 Cognex Corporation System for finding the orientation of a wafer
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6118893A (en) * 1997-07-16 2000-09-12 Cognex Corporation Analysis of an image of a pattern of discrete objects
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
JP3764364B2 (ja) * 2000-10-31 2006-04-05 株式会社東芝 画像特徴点検出方法、画像処理方法、及びプログラム
JP2003083712A (ja) * 2001-09-10 2003-03-19 Denso Corp ハニカム構造体の位置認識方法
JP4019790B2 (ja) 2002-05-23 2007-12-12 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
US7203355B2 (en) * 2002-12-24 2007-04-10 Orbotech Ltd. Automatic optical inspection system and method
US20050111735A1 (en) * 2003-11-21 2005-05-26 International Business Machines Corporation Video based handwriting recognition system and method
US7639861B2 (en) * 2005-09-14 2009-12-29 Cognex Technology And Investment Corporation Method and apparatus for backlighting a wafer during alignment
US8162584B2 (en) * 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
US8139231B2 (en) * 2008-05-01 2012-03-20 Cognex Corporation Machine vision technique for manufacturing semiconductor wafers
US8570516B2 (en) * 2008-09-12 2013-10-29 Cognex Corporation Infrared direct illumination machine vision technique for semiconductor processing equipment
US8189194B2 (en) * 2008-09-12 2012-05-29 Cognex Corporation Direct illumination machine vision technique for processing semiconductor wafers
CN102292771A (zh) * 2009-02-10 2011-12-21 富士通株式会社 库装置以及库装置的控制方法
IT1395814B1 (it) * 2009-10-12 2012-10-26 Gallucci Apparato per il taglio e/o l'incisione di articoli comprendenti una superficie piana su cui sono riprodotti disegni e/o scritte e metodo per attuare l'apparato
FR2957905B1 (fr) * 2010-03-29 2012-04-06 Otor Sa Procede et dispositif de transfert de decoupes pour boites d'emballage
US8755925B2 (en) 2011-11-18 2014-06-17 Nike, Inc. Automated identification and assembly of shoe parts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
US8958901B2 (en) 2011-11-18 2015-02-17 Nike, Inc. Automated manufacturing of shoe parts
US9451810B2 (en) * 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
JP5918622B2 (ja) * 2012-05-11 2016-05-18 ヤマハ発動機株式会社 部品または基板の作業装置および部品実装装置
CN108313778B (zh) * 2017-01-16 2020-01-14 泰科电子(上海)有限公司 膜片供应系统和方法
CN107292055B (zh) * 2017-07-12 2020-08-04 深圳市一博科技股份有限公司 一种通过建立数学几何模型来辅助pcb设计方法
CN107369203B (zh) * 2017-07-14 2020-04-28 北京航空航天大学 室内三维场景自适应构建方法及装置
EP3676058B1 (de) * 2017-09-01 2021-11-24 NV Bekaert SA Greifer für spulen
DE102018100462A1 (de) 2018-01-10 2019-07-11 B. Braun Avitum Ag Vorrichtung und Verfahren zur Bestimmung einer Aufnahmekapazität eines Sauerstoffabsorbers

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5923467B2 (ja) * 1979-04-16 1984-06-02 株式会社日立製作所 位置検出方法
US4435837A (en) * 1981-03-05 1984-03-06 President And Fellows Of Harvard College Pattern recognition and orientation system
US4566126A (en) * 1982-04-30 1986-01-21 Fuji Electric Company, Ltd. Pattern discriminator
JPS58217085A (ja) * 1982-06-11 1983-12-16 Fujitsu Ltd パタ−ン認識方式
JPS5959397A (ja) * 1982-09-29 1984-04-05 オムロン株式会社 特徴点のラベリング装置
US4611292A (en) * 1982-10-06 1986-09-09 Hitachi, Ltd. Robot vision system
JPS6064589A (ja) * 1983-09-19 1985-04-13 Matsushita Electric Ind Co Ltd 画像位置検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19713521B4 (de) * 1997-04-02 2004-09-23 Festo Ag & Co Vorrichtung zur Erkennung falsch orientierter und/oder von einem vorgegebenen Muster abweichender Teile

Also Published As

Publication number Publication date
JPS6286471A (ja) 1987-04-20
EP0218259B1 (de) 1994-02-16
EP0218259A3 (en) 1990-04-18
US4803735A (en) 1989-02-07
JPH0679325B2 (ja) 1994-10-05
DE3689644D1 (de) 1994-03-24
EP0218259A2 (de) 1987-04-15

Similar Documents

Publication Publication Date Title
DE3689644T2 (de) Verfahren und Gerät zur Berechnung der Position und der Orientierung durch Kombination von Merkmalen von Teilgestalten.
DE69309352T2 (de) Verfahren zur Überprüfung der Neigung eines Gehäuses eines integrierten Schaltkreises
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE68925091T2 (de) Verfahren und Vorrichtung zur Einschätzung des Fahrweges
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE60307967T2 (de) Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes
DE2952443A1 (de) Verfahren und vorrichtung zum ermitteln der lage eines gegenstandes
DE102019124810A1 (de) Bildverarbeitungsgerät und Bildverarbeitungsverfahren
EP3316181A1 (de) Verfahren zum erkennen von objekten in einem lager und flurförderzeug mit einer einrichtung zum erkennen von objekten in einem lager
EP0033978B1 (de) Verfahren und Schattungsanordnung zur Gewinnung von Klassifizierungsmerkmalen für die automatisierte Zeichenerkennung
DE102018102833A1 (de) Positionskontrollsystem, positionserkennungsvorrichtung und steuerprogramm
DE112010002677T5 (de) Verfahren und vorrichtung zum bestimmen einer formübereinstimmung in drei dimensionen
DE102018222796A1 (de) Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
DE102020120887A1 (de) Verfahren zum erfassen einer einhängeposition eines auflagestegs und flachbettwerkzeugmaschine
DE10297595T5 (de) Verfahren zum automatischen Definieren eines Teilemodells
DE102020209080A1 (de) Bildverarbeitungssystem
EP3770804A1 (de) Flurförderzeug mit einer objekterkennung
DE102019216321A1 (de) Bildverarbeitungsvorrichtung
EP3582140B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
DE112021003715T5 (de) Detektionsvorrichtung und Detektionsverfahren
DE112021001443T5 (de) Bildverarbeitungsvorrichtung, arbeitsanweisungserstellungssystem und arbeitsanweisungserstellungsverfahren
DE68927662T2 (de) Verfahren zur Feststellung der Lage eines Objektmusters in einem Bild
WO2000003311A2 (de) Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur

Legal Events

Date Code Title Description
8364 No opposition during term of opposition