DE4236813C2 - Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände oder Teile - Google Patents

Description

Die Erfindung betrifft ein Hochgeschwindigkeits- Greifsystem für übereinanderliegende Gegenstände oder Teile. Insbesondere betrifft die vorliegende Erfindung ein Hochgeschwindigkeits-Greifsystem, mit dem übereinanderlie­ gende, aufeinandergestapelte oder angehäufte Gegenstände oder Teile, welche sich innerhalb eines Behälters befinden, nacheinander ergriffen werden können.

Es ist bekannt, zum nacheinander Ergreifen einer Mehr­ zahl von Gegenständen oder Teilen Grauskala-Daten Variabler Dichte auf der Grundlage eines Videosignales zu erzeugen, wobei das Videosignal mittels einer Bildeingabekamera er­ zeugt wird. Nachfolgend werden die Daten differenziert, um die Kammlinie von Randbilddaten zu erhalten, um eine Grenz­ linie zu extrahieren, um daraus ein Liniensegmentbild zu erhalten. Weiterhin wird eine Musteranpassung zwischen die­ sem Liniensegmentbild und einem Vergleichsmodell entspre­ chend der Formgebung eines Gegenstandes oder Teiles be­ wirkt, um das oberste Teil aus der Vielzahl von Teilen zu erkennen und zu ergreifen. Allerdings sind für gewöhnlich Teile oder Gegenstände übereinander innerhalb eines Aufnah­ mebehälters oder dergleichen angeordnet oder gestapelt, so daß jedes der gestapelten oder aufgehäuften Teile gegenüber der horizontalen Ebene mehr oder weniger stark geneigt oder verkippt ist. In diesem Fall bestehen Schwierigkeiten eines der Teile auf der Grundlage des Vergleichsmodelles zu er­ kennen und zu ergreifen, da das Vergleichsmodell unter der Annahme gebildet wird, daß das oberste Teil gegenüber der Horizontalen nicht gekippt oder geneigt ist.

Aus R. B. KELLEY et al.: "Three Vision Algorithmus for Aquiring Workpieces from Bins", Proceedings of the IEEE, Bd. 71, Nr. 7, Juli 1983, Seiten 803 bis 820 ist ein Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegen­ stände oder Teile bekannt, wobei die Teile mittels elektro­ nischer Bildverarbeitung erkannt werden, so daß sie von ei­ ner Mehrzahl von Greifern eines Roboters ergriffen werden können, wobei das Greifsystem Einrichtungen zum Bestimmen verschiedener Formabschnitte der Werkstücke und Befehlsein­ richtungen zum Auswählen und Positionieren eines Greifers aus der Mehrzahl von Greifern entsprechend der Werkstück­ form an einer bestimmten Position, um das Werkstück zu greifen, aufweist.

Aus W. HÄTTICH: "Erkennung und Positionsbestimmung überlappender Werkstücke zur Steuerung von Handhabungsgerä­ ten beim Zugriff auf ungeordnete Teile", FhG-Berichte 1/2- 81, Seiten 4-7 ist ein Hochgeschwindigkeits-Greifsystem für übereinanderliegende Gegenstände oder Teile bekannt, wobei die Teile mittels elektronischer Bildverarbeitung erkannt werden, so daß sie von Greifern eines Roboters ergriffen werden können, wobei das Greifsystem Einrichtungen zum Speichern einer Mehrzahl von Vergleichsmodellen, welche vorab auf der Grundlage von Daten festgesetzt werden, wel­ che eine Formgebung des Werkstücks spezifizieren, um das Halten des Werkstücks zu ermöglichen, aufweist.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Hochgeschwindigkeits-Greifsystem für übereinanderlie­ gende Gegenstände zu schaffen, welches in der Lage ist, übereinander gestapelte oder aufgehäufte Gegenstände mit hoher Geschwindigkeit zu erkennen und zu ergreifen.

Die Lösung dieser Aufgabe erfolgt erfindungsgemäß durch die in Anspruch 1, 5 bzw. 6 angegebenen Merkmale.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den jeweiligen abhängigen Ansprüchen.

Weitere Einzelheiten, Aspekte und Vorteile der vorlie­ genden Erfindung ergeben sich aus der nachfolgenden Be­ schreibung unter Bezugnahme auf die Zeichnung.

Es zeigt:

Fig. 1 die Gesamtansicht eines Hochgeschwindigkeits-Greif­ systems gemäß einer ersten Ausführungsform der vor­ liegenden Erfindung;

Fig. 2 ein Blockdiagramm zu Veranschaulichung des Aufbaus eines wesentlichen Teiles aus dem System gemäß Fig. 1;

Fig. 3 ein Flußdiagramm zur Veranschaulichung eines Pro­ zeßablaufes in einer zentralen Datenverarbeitungs­ einheit in dem System gemäß Fig. 2;

Fig. 4 Darstellungen von Lagezuständen von Gegenständen oder Teilen innerhalb eines Behälters;

Fig. 5 die wesentlichen Schritte der Greifvorgänge von übereinander gestapelten oder aufgehäuften Teilen unterschiedlichster Formgebung;

Fig. 6 die Gesamtansicht eines Hochgeschwindigkeits-Greif­ systems gemäß einer zweiten Ausführungsform der vor­ liegenden Erfindung;

Fig. 7 eine Ansicht ähnlich der von Fig. 2 für das System von Fig. 6;

Fig. 8 ein Flußdiagramm zur Veranschaulichung des Prozeßab­ laufes in einer zentralen Datenverarbeitungseinheit in dem System von Fig. 6;

Fig. 9A und 9B Darstellungen zur Beschreibung von Rechenver­ fahren für die Mitten eines Kreises und einer El­ lipse in der zweiten Ausführungsform;

Fig. 10 eine Darstellung zur Beschreibung von Arbeitsstel­ lungen welche Greifen erlauben bzw. nicht erlauben;

Fig. 11 eine graphische Darstellung zur Beschreibung der Wahrscheinlichkeit eines erfolgreichen Greifvorgan­ ges relativ zum Neigungswinkel eines Gegenstandes oder Teiles;

Fig. 12A und 12B Darstellungen zur Beschreibung von Zyklus­ zeiten bei der Erkennung eines Kreises bzw. einer Ellipse;

Fig. 13 die Gesamtansicht eines Hochgeschwindigkeits-Greif­ systems gemäß einer dritten Ausführungsform der vor­ liegenden Erfindung;

Fig. 14 eine Ansicht ähnlich der von Fig. 2 oder Fig. 7 für das System gemäß Fig. 13;

Fig. 15 bis 17 Flußdiagramme zur Darstellung des Prozeßab­ laufes in einer zentralen Verarbeitungseinheit im System von Fig. 13;

Fig. 18 die grundlegenden Schritte von Greifvorgängen für gestapelte oder aufeinandergehäufte Teile unter­ schiedlichster Formgebung;

Fig. 19A und 19B Darstellungen zur Beschreibung der Schritte und der nötigen Zeiten für den Fall des Ergreifens eines Teiles aus einer Mehrzahl von aufeinanderge­ häuften Teilen;

Fig. 20A bis 20C Darstellungen zur Beschreibung anderer La­ gekorrekturverfahren von einem Teil, welches von aufeinandergestapelten Teilen weg ergriffen wird;

Fig. 21 ein Blockdiagramm zur Darstellung des Aufbaues eines wesentlichen Teiles eines Hochgeschwindigkeits- Greifsystems gemäß einer vierten Ausführungsform der vorliegenden Erfindung;

Fig. 22 und 23 Flußdiagramme zur Veranschaulichung eines Prozeßablaufes, der in einer zentralen Verarbei­ tungseinheit in dem System von Fig. 21 erfolgt;

Fig. 24 eine Draufsicht auf ein Werkstück oder einen Gegen­ stand mit einer aufgedruckten Markierung darauf; und

Fig. 25 Darstellungen von Anordnungen von Gegenständen, wel­ che das Ergreifen ermöglichen bzw. nicht ermögli­ chen.

Unter Bezug auf die Fig. 1 und 2 erfolgt nachfolgend eine Beschreibung einer ersten Ausführungsform der vorliegenden Erfindung. Gemäß Fig. 1 umfaßt das erfindungsgemäße Hochge­ schwindigkeits-Greifsystem 100 im wesentlichen eine Bildein­ gabekamera 10, eine Objekterkennungsvorrichtung 20, einen Greifroboter 30 mit einer Hand 40, welche an ihrem Endab­ schnitt einen Finger aufweist, mit dem ein Gegenstand oder Werkstück W greifbar ist und Austauschhänden 41, 42 und 43. Die Austauschhände 41 bis 43 sind bei Bedarf an dem Greifro­ boter 30 abhängig von bestimmten Abschnitten der Werkstücke W anordenbar. Beispielsweise dient die am Greifroboter 30 von Fig. 1 angeordnete Hand 40 dazu, ein Werkstück W an ei­ nem bestimmten Abschnitt einfacher Formgebung, beispiels­ weise an einem kreisförmigen Loch in dem Werkstück W zu er­ greifen, die Hand 41 ist zum Halten eines Werkstückes W an deren äußerer Form, die Hand 42 ist zum Halten eines Werk­ stückes W dadurch, daß in eine Bohrung des Werkstückes W eingegriffen und verhakt wird und die Hand 43 ist zum Halten eines Werkstückes W durch Ansaugen an einem flachen Ab­ schnitt des Werkstückes W. Auf einem Arbeitstisch ist ein Behälter T angeordnet, in welchem sich eine Mehrzahl der Werkstücke W in einem übereinandergestapelten oder aufge­ häuften Zustand befindet.

Gemäß Fig. 2 ist die Bildeingabekamera 10 oberhalb des Be­ hälters T mit den Werkstücken oder Teilen W darin angeordnet und weiterhin ist eine Beleuchtungsvorrichtung L vorgesehen, mit der die Werkstücke W gleichmäßig aus einer Position oberhalb der Mitte des Behälters T beleuchtbar sind. Die Ob­ jekterkennungsvorrichtung 20 umfaßt eine zentrale Verarbei­ tungseinheit (CPU) 21 zur Durchführung von Datenverarbei­ tungsabläufen wie beispielsweise Vergleichen und Entscheiden und eine Bildverarbeitungseinheit 22 zur Durchführung von Datenverarbeitungsvorgängen wie beispielsweise Verarbeiten eines Videosignales von der Bildeingabekamera 10, um die Grenzlinie eines zu erkennenden Gegenstandes zu detektieren, um Liniensegmente zu extrahieren, welche die Grenzlinie bil­ den oder um kombinierte Rand- oder Kantenbilder zu erhalten. Weiterhin befindet sich in der Bilderkennungsvorrichtung 20 eine Speichereinheit 23, in der Daten eines Vergleichsmodel­ les und Daten bezüglich der Werkstücke gespeichert sind, so­ wie eine Beleuchtungssteuereinheit 24.

Die Bildverarbeitungseinheit 22 umfaßt einen Bildeingabeab­ schnitt 221 zum Einlesen eines Videosignales von der Kamera 10, um Grauskalen-Pegel zu digitalisieren zur Erzeugung von Grauskalen-Bilddaten, einen Kanten-Erkennungsabschnitt 222 zum Erhalten eines Helligkeitsgradienten von den Grauskalen- Bilddaten mittels einer Differentialberechnung, um Kanten- Bilddaten zu erzeugen, welche die Kanten eines Objektbildes anzeigen und einen Segment-Extraktionsabschnitt 223 zum Auf­ finden der Grenzlinie auf der Grundlage der Kanten-Bildda­ ten, um die bildenden Liniensegmente der Grenzlinie zu ex­ trahieren, um Daten zu erzeugen, welche die Lagen der bil­ denden Liniensegmente anzeigen. Die Speichereinheit 23 weist weiterhin ein RAM und andere Speichervorrichtungen auf mit einem Vergleichsmodell-Speicherbereich 231, der als Ver­ gleichsmodell-Speichereinrichtung dient, in welcher eine Mehrzahl von Vergleichsmodellen vorab auf der Grundlage von Daten abgespeichert ist, welche eine bestimmte Formgebung spezifizieren. Weiterhin weist die Speichereinheit 23 einen Handinformations-Speicherbereich 232 auf, der als Handinfor­ mations-Speichereinrichtung dient, in der eine Mehrzahl von Handinformationen gespeichert ist, um es zu ermöglichen, daß die Mehrzahl von bestimmten Abschnitten an den Werkstücken ergriffen werden können und einen Erkennungsergebnis- Speicherbereich 233 zur Speicherung der Vergleichsergebnisse des Liniensegmentbildes entsprechend einer Anzahl von Werk­ stücken innerhalb des Behälters T.

Unter Bezug auf das Flußdiagramm von Fig. 3 erfolgt nachfol­ gend eine Beschreibung des Prozeßablaufes in der Objekt-Er­ kennungsvorrichtung 20 nach der Eingabe des Videosignales einer Anzahl von Werkstücken W von der Bildeingabekamera 10 und der Extraktion der bildenden Liniensegmente. Hier wird für den Fall, daß Kammlinien eines parallelen geraden Zap­ fens vorliegen, der als Zustand 1 in Fig. 4 durch die Strichlierung hervorgehoben ist, dieser spezielle Bereich anhand eines Vergleichsmodells (1) überprüft, wobei das Ver­ gleichsmodell sich ausdrücken läßt als "Liniensegmente par­ allel zueinander und in gleicher Länge". In dem Fall, daß die Kammlinien eines parallelen Zapfens oder Bolzens so vor­ liegen, wie sie in Fig. 4 als Zustand 2 durch die Strichlie­ rung hervorgehoben sind, wird dieser spezielle Bereich oder Abschnitt des Werkstückes anhand eines Vergleichsmodells (2) überprüft, welches sich ausdrücken läßt als "Liniensegmente parallel zueinander aber in unterschiedlicher Länge". In dem Fall, daß ein kreisförmiges Loch vorliegt, welches in Fig. 4 als Zustand 3 durch die Strichlierung hervorgehoben ist, wird dieser spezielle Bereich anhand eines Vergleichsmodells (3) überprüft, welches sich als "Kreis" ausdrücken läßt.

Zunächst wird die Beleuchtungsvorrichtung L durch die Be­ leuchtungssteuereinheit 24 eingeschaltet und das von der Bildeingabekamera 10 stammende Videosignal wird in den Bild­ eingabeabschnitt 221 der Bildverarbeitungseinheit 22 einge­ geben. Der Bildeingabeabschnitt 221 tastet das Videosignal ab und setzt es in ein digitales Signal um, um ein Grauska­ labild zu erzeugen. Die Grauskala-Bilddaten werden dem Kan­ ten-Erkennungsabschnitt 222 eingegeben, dort differenziert und ein Kantenbild erzeugt. Diese Kantenbild-Daten werden dem Segment-Extraktionsabschnitt 223 eingegeben, um die Grenzlinie des Objektes durch Auffinden der Kammlinien zu extrahieren. Die Grenzlinie wird weiterhin durch eine ab­ geknickte Linie, einen Kreis oder dergleichen angenähert, um ein Liniensegment-Bild zu erhalten.

Gemäß Fig. 3 wird in einem Schritt 100 von der CPU 21 das Liniensegment-Bild von der Bildverarbeitungseinheit 22 ein­ gegeben. In einem Schritt 102 wird eine serielle Linienseg­ ment-Gruppe von dem eingegebenen Liniensegment-Bild extra­ hiert und es erfolgt eine Suche anhand des Vergleichsmodells (1) nach dem speziellen Abschnitt oder Bereich des Werk­ stückes W "Liniensegments parallel (Abstand m1) und gleiche Länge (ℓ1)". Hier erfolgt beispielsweise die Suche anhand einer Mehrzahl von Vergleichsmodellen in der Reihenfolge ei­ ner abnehmenden Häufigkeitsrate von Zuständen innerhalb des Behälters T gemäß Fig. 4. Wenn weiterhin die Greiferfolg- Wahrscheinlichkeit von jedem Lagezustand vorab bekannt ist, kann es auch vorteilhaft sein, die Suche anhand der Ver­ gleichsmodelle in der Reihenfolge einer abnehmenden Greifer­ folgs-Wahrscheinlichkeit durchzuführen.

Nachfolgend wird ein Schritt 104 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche anhand des Ver­ gleichsmodells (1) gefunden worden ist. Wenn die Antwort im Schritt 104 bejahend ist, folgt ein Schritt 106, wo Informa­ tionen hinsichtlich der Position (Koordinatenlage mit Rich­ tung) des speziellen Abschnittes des Werkstückes W gesucht mit dem Vergleichsmodell (1) und der Hand (Handnummer), wel­ che in der Lage ist, diesen speziellen Bereich zu halten dem Greifroboter 30 zugeführt werden. Wenn die Antwort im Schritt 104 negativ ist, folgt ein Schritt 108, um eine se­ rielle Liniensegment-Gruppe von dem eingegebenen Linienseg­ ment-Bild zu extrahieren, um eine Suche auf der Grundlage des Vergleichsmodells (2) durchzuführen entsprechend dem speziellen oder bestimmten Abschnitt des Werkstückes W "Li­ niensegmente parallel (Distanz m2) mit unterschiedlichen Längen (ℓ2, ℓ3)".

Nach dem Schritt 108 wird ein Schritt 110 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche an­ hand des Vergleichsmodells (2) gefunden worden ist. Wenn die Antwort im Schritt 110 bejahend ist, wird ein Schritt 112 zugeführt, wo Informationen hinsichtlich der Position des speziellen Abschnittes des Werkstückes W gesucht durch das Vergleichsmodell (2) und der Hand, die in der Läge ist, die­ sen speziellen Abschnitt zu greifen dem Greifroboter 30 zu­ geführt werden. Wenn andererseits die Antwort im Schritt 110 negativ ist, folgt ein Schritt 114, um eine serielle Linien­ segment-Gruppe von dem eingegebenen Liniensegment-Bild zu extrahieren, um eine Suche auf der Grundlage des Vergleichs­ modells (3) durchzuführen, welches dem speziellen Abschnitt des Werkstückes W "Kreis (c)" entspricht.

Obgleich hier die Vergleichsmodelle (1), (2) und (3) in den oben erwähnten Schritten 102, 108 und 114 auf der Grundlage von Daten vorabbestimmt sind, welche die Konfigurationen spezifizieren, wenn die speziellen Abschnitte oder Bereiche des Werkstückes W die Grundposition einnehmen, kann der Übereinstimmungsbereich beim Vergleich vergrößert werden durch Verwendung des Grenzwinkels bei dem das Werkstück W noch gegriffen und gehalten werden kann, wenn das Werkstück W einen geneigten oder verkippten Zustand einnimmt.

Nachfolgend wird ein Schritt 116 durchgeführt, wo überprüft wird, ob das Zielwerkstück W durch die Suche anhand des Ver­ gleichsmodells (3) gefunden worden ist. Wenn die Antwort im Schritt 116 bejahend ist, folgt ein Schritt 118, wo Informa­ tionen hinsichtlich der Position des speziellen Abschnittes des Werkstückes W gesucht durch das Vergleichsmodell (3) und der Hand, die in der Lage ist, diesen speziellen Abschnitt zu greifen dem Greifroboter 30 zugeführt werden. Wenn ande­ rerseits die Antwort im Schritt 116 negativ ist, folgt ein Schritt 120, in dem ein Anregungsbefehl ausgegeben wird, der eine entsprechende Vorrichtung ansteuert, mit der der Behälter T gerüttelt oder geschüttelt wird, um die Lagezustände der Werkstücke W zum Zeitpunkt des nächsten Eingebens des Liniensegmentbildes zu ändern, um die Wahrscheinlichkeit zu erhöhen, daß die Suche durch die Vergleichsmodelle möglich bzw. erfolgreich wird.

Danach folgt ein Schritt 122, wo die Anzahl der Anregungen gezählt wird. Dieser Zählzustand wird anfangs auf 0 gesetzt und immer dann erhöht, wenn die Suche anhand der gesamten Vergleichsmodelle ohne Erfolg endet. In einem Schritt 124 wird überprüft, ob der Zählzustand C ≧ 3 ist. Dies bedeutet, daß in dem Fall, in dem die Zustände oder Lagen der Werk­ stücke W ungeachtet von drei Rüttel- oder Schüttelvorgängen sich nicht ändern, so daß drei Suchvorgänge mit allen Ver­ gleichsmodellen ohne Erfolg enden, entschieden wird, daß die Werkstücke W innerhalb des Behälters T nicht mehr vorhanden sind oder die vorhandenen Lagezustände der verbleibenden Werkstücke W so schlecht sind, daß sie für eine weitere Su­ che nicht geeignet sind. Hierdurch wird das Programm been­ det.

Die Schritte 102, 108 und 114 sind hierbei als Erkennungs­ vorrichtungen für einen speziellen Abschnitt, die Schritte 104, 110 und 116 als Bestimmungsvorrichtungen für eine Posi­ tion und die Schritte 106, 112 und 118 als Befehlsvorrich­ tungen zu verstehen.

Durch Durchführung des oben beschriebenen Programmablaufes wird ein Teil, der anhand einer Mehrzahl von Vergleichsmo­ dellen erkannt worden ist, welche in Übereinstimmung mit ei­ ner Mehrzahl von speziellen Abschnitten dieses Teiles gebil­ det sind durch den Greifroboter 30 mit einer der Hände 40 bis 43 ergriffen. Somit können die Greifvorgänge, welche durch die Mehrzahl von Händen entsprechend der Mehrzahl von Abschnitten des Teiles bewirkt werden, die Greiferfolgs- Wahrscheinlichkeit extrem verbessern. Obgleich in der oben beschriebenen Ausführungsform die Hände des Greifroboters den Vergleichsmodellen zur Suche des speziellen Abschnittes des Teiles eins zu eins entsprechen ist es nicht immer not­ wendig, eine Mehrzahl von Händen bereitzuhalten. Wenn bei­ spielsweise die Teile durch die gleiche Hand ergriffen wer­ den können, selbst wenn die speziellen Abschnitte oder Be­ reiche der Teile sich voneinander unterscheiden, beispiels­ weise dann, wenn die speziellen Abschnitte flach ausgebildet sind und sich nur in ihrer Breite unterscheiden ist es nicht nötig, eine Mehrzahl von Händen bereitzustellen. Obgleich weiterhin in der oben beschriebenen Ausführungsform ein Kreis oder ein paralleler Abschnitt als die Mehrzahl von speziellen Abschnitten des Werkstückes oder Teiles ausge­ wählt worden ist, ist es genausogut möglich, ein Langloch, eine gerade Linie, einen Bogen, eine Kante oder andere Ab­ schnitte oder Bereiche als die jeweiligen speziellen Ab­ schnitte auszuwählen. Zusätzlich ist es möglich oder vor­ teilhaft, eine Stanzmarke, eine aufgedruckte Markierung oder dergleichen als speziellen Abschnitt auszuwählen. In diesem Fall kann ein Abschnitt der äußeren Formgebung als Halteab­ schnitt oder Halteposition ausgewählt werden.

Fig. 5 zeigt die grundlegenden Schritte für den Hochge­ schwindigkeits-Greifvorgang von übereinandergestapelten oder aufgeschütteten Teilen mit einer Anzahl von unterschiedli­ chen Formgebungen.

Obgleich weiterhin in der oben beschriebenen Ausführungsform der Greifvorgang auf der Annahme durchgeführt wird, daß ein Teil einige spezielle zu haltende Abschnitte hat, ist das System auch in dem Fall anwendbar, in dem unterschiedliche Arten von Teilen gemischt innerhalb des Behälters vorliegen. In diesem Fall ist es möglich, wenn der spezielle Abschnitt eines jeden Teiles eingegrenzt und erkannt worden ist, die Teile durch Hände sicher zu halten, welche für die jeweili­ gen speziellen Bereiche oder Abschnitte geeignet sind. Obgleich weiterhin die zu haltenden Gegenstände bei der be­ schriebenen Ausführungsform übereinandergestapelte oder auf­ geschüttete Gegenstände sind, ist die vorliegende Erfindung auch anwendbar bei einem Teil, welches frei auf einer Ebene liegt, bei unterschiedlichen Teilen, die ineinandergeschüt­ tet sind und bei Teilen, welche getrennt innerhalb eines Be­ hälters angeordnet sind, der in einzelne Fächer oder Ab­ schnitte unterteilt ist.

Wie beschrieben speichert bei der vorliegenden Erfindung das Hochgeschwindigkeits-Greifsystem eine Mehrzahl von Ver­ gleichsmodellen, welche vorherbestimmt sind auf der Grund­ lage von Daten, welche die Formgebungen spezifizieren, wenn eine Mehrzahl von speziellen Abschnitten einfache Formgebung haben, um es Halteteilen zu erlauben, die speziellen Ab­ schnitte zu greifen und speichert weiterhin Informationen für eine Mehrzahl von Händen eines Roboters, der die Mehr­ zahl von speziellen Abschnitten halten kann, so daß ein Ab­ schnitt eines zweidimensionalen Bildes mit der Mehrzahl von Vergleichsmodellen verglichen wird und erkannt wird als ei­ ner aus der Mehrzahl von speziellen Abschnitten, um die Lage oder Position des erkannten oder detektierten speziellen Ab­ schnittes zu bestimmen und eine aus der Mehrzahl von Händen auszuwählen und bezüglich der bestimmten Position des spe­ ziellen Abschnittes anzuordnen, um diesen speziellen Ab­ schnitt zu greifen. Wenn somit wenigstens einer aus der Mehrzahl von speziellen Abschnitten des Teiles W mit den Vergleichsmodellen verglichen und erkannt wird, kann die Hand des Roboters, die zum Halten des speziellen Abschnittes geeignet ist ausgewählt werden und gegenüber dem erkannten speziellen Bereich angeordnet werden, um das Teil zu ergrei­ fen. Der Vergleich mit den Vergleichsmodellen entsprechend der Mehrzahl von speziellen Abschnitten des Teiles kann die Wahrscheinlichkeit verbessern, daß die speziellen Abschnitte erkannt werden. Da weiterhin Greifinformationen, wie die Po­ sition entsprechend dem erkannten speziellen Abschnitt des Teiles und die auszuwählende Hand dem Roboter zugeführt wer­ den, ist es möglich, die Greiferfolgs-Wahrscheinlichkeit des Teiles erheblich zu verbessern.

Eine zweite Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezug auf die Fig. 7 und 6 beschrieben. Fig. 6 zeigt die gesamte Anordnung der zweiten Ausführungs­ form eines erfindungsgemäßen Hochgeschwindigkeits-Greifsy­ stemes und Fig. 7 zeigt die Anordnung eines wesentlichen Ab­ schnittes des Systems von Fig. 6, wobei Teile entsprechend Teilen von Fig. 1 und 2 mit gleichen Bezugszeichen versehen sind und eine nochmalige Beschreibung hiervon nicht erfolgt. In den Fig. 6 und 7 umfaßt das Hochgeschwindigkeits- Greifsystem 100 im wesentlichen die Bildeingabekamera 10, die Objekterkennungsvorrichtung 20 und den Greifroboter 30. Die Objekterkennungsvorrichtung 20 umfaßt die zentrale Ver­ arbeitungseinheit (CPU) 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und die Beleuchtungssteuereinheit 24. Die Bildverarbeitungseinheit 22 umfaßt den Bildeingabeab­ schnitt 221, den Kanten-Erkennungsabschnitt 222 und den Seg­ ment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist aus RAMs oder dergleichen aufgebaut und beinhaltet wenig­ stens den einen Vergleichsmodell-Speicherbereich 231, der als Vergleichsmodell-Speichereinrichtung dient und ein Ver­ gleichsmodell beinhaltet, welches vorab auf der Basis von Daten festgesetzt wird, welche die Formgebung spezifizieren, wenn ein spezieller Abschnitt des Werkstückes W die Grund­ stellung einnimmt. Die Speichereinheit 23 umfaßt weiterhin einen Vergleichsgrenzwert-Speicherbereich 234, der als Ver­ gleichsgrenzwert-Speichereinrichtung dient und einen Ver­ gleichsgrenzwert beinhaltet, der den Nichtübereinstimmungs- Erlaubnisbereich zwischen dem speziellen Abschnitt und dem Vergleichsmodell anzeigt, sowie den Erkennungsergebnis- Speicherbereich 233, der das Vergleichsergebnis eines Lini­ ensegmentbildes entsprechend einer Anzahl von aufeinanderge­ stapelten Werkstücken W innerhalb des Behälters T speichert.

Bei dieser zweiten Ausführungsform werden das Vergleichsmo­ dell und der Vergleichsgrenzwert (Schwellenwert) gespei­ chert, wobei das Vergleichsmodell vorab auf der Grundlage von Daten festgesetzt wird, die eine Formgebung spezifizie­ ren, wenn ein einfach geformter spezieller Abschnitt oder Bereich des Werkstückes oder Teiles die Grundposition oder Grundlage einnimmt und der Vergleichsgrenzwert zeigt einen erlaubten Nichtübereinstimmungsbereich zwischen dem speziel­ len Abschnitt und dem Vergleichsmodell an. Weiterhin wird ein Abschnitt, der innerhalb des durch den Vergleichsgrenz­ wert bestimmten Nichtübereinstimmungsbereich liegt und der von dem zweidimensionalen Bild erkannt wird unter Vergleich mit dem Vergleichsmodell als spezieller Abschnitt detektiert und die Lage dieses detektierten speziellen Abschnittes wird bestimmt und eine Befehlsfolge wird dem Roboter 30 übermit­ telt, so daß die Hand an der Position angeordnet wird, an der der spezielle Abschnitt ergriffen werden kann.

Unter Bezug auf das Flußdiagramm von Fig. 8 erfolgt nun eine Beschreibung des Prozeßablaufes in der Objekterkennungsvor­ richtung 20 der zweiten Ausführungsform nach der Eingabe des Videosignales einer Anzahl von aufeinandergestapelten oder übereinandergeschütteten Werkstücken W von der Bildeinga­ bekamera 10 und der Extraktion der bildenden Liniensegmente für den Fall, für den beispielsweise ein Kreis als speziel­ ler Abschnitt aus den unterschiedlichen bildenden Linienseg­ menten ausgewählt wird und mit einem Vergleichsmodell "Kreis" verglichen wird.

Zuerst wird die Beleuchtungsvorrichtung L von der Beleuch­ tungssteuereinheit 24 eingeschaltet und das Videosignal von der Bildeingabekamera 10 wird dem Bildeingabeabschnitt 221 in der Bildverarbeitungseinheit 22 eingegeben. Der Bildein­ gabeabschnitt 221 tastet das Videosignal ab und setzt es in ein digitales Signal um, um ein Grauskalenbild zu erzeugen. Die Grauskalen-Bilddaten werden dem Kanten-Erkennungsabschnitt 222 eingegeben um dort differenziert zu werden, um ein Kantenbild zu erzeugen. Diese Kantenbilddaten werden dem Segment-Extraktionsabschnitt 223 eingegeben, um die Grenzli­ nie des Objektes oder Gegenstandes durch Suchen der Kammli­ nien zu extrahieren. Die Grenzlinie wird weiterhin durch eine geknickte Linie, einen Kreis oder dergleichen angenä­ hert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 200 gibt die CPU 21 das Liniensegmentbild von der Bildverarbeitungseinheit 22 ein. In einem Schritt 202 wird eine serielle Liniensegmentgruppe des eingegebenen Liniensegmentbildes in einem Speicherbereich A der CPU 21 gespeichert. Dann wird ein Schritt 204 durchgeführt, wo überprüft wird, ob der Speicherbereich A leer ist, d. h., ob die serielle Liniensegment-Gruppe, welche das Vergleichsob­ jekt ist, innerhalb des Speicherbereiches A verbleibt. Bei dem ersten Ablaufzyklus ist der Speicherbereich A in dem Fall nicht leer, in dem die serielle Liniensegment-Gruppe erfolgreich von dem eingegebenen Liniensegment-Bild extra­ hiert wurde und das Programm geht zu einem Schritt 206. In dem Schritt 206 werden n Sätze von zwei Segmenten aus der seriellen Liniensegment-Gruppe innerhalb des Speicherberei­ ches A ausgewählt, um die Schnitte Gi (i = 1, 2, . . ., n) der vertikalen halbierenden Schnittlinien hiervon zu berechnen. Die Fig. 9A und 9B zeigen Rechenverfahren für die Mittel­ punkte eines Kreises und einer Ellipse. Wie in Fig. 9A dar­ gestellt, sind, wenn die serielle Liniensegment-Gruppe nahe an einem Kreis ist, die Koordinaten der Schnittpunkte der vertikalen halbierenden Schnittlinien der n Sätze von zwei Liniensegmenten (ℓ1 und ℓ2, ℓ3 und ℓ4, ℓ5 und ℓ6, . . .) im wesentlichen zusammenfallend und gleich G0. Wenn anderer­ seits die serielle Liniensegment-Gruppe eine Ellipse bildet, wie in Fig. 9B dargestellt, fallen die Koordinaten der Schnittpunkte der vertikalen halbierenden Schnittlinien der n Sätze von zwei Liniensegmenten (ℓ1 und ℓ2, ℓ3 und ℓ4, ℓ5 und ℓ6, . . .) nicht zusammen und bilden G1, G2, G3, . . ., Gn.

Gemäß Fig. 8 wird dann ein Schritt 208 durchgeführt, wo überprüft wird, ob alle maximalen Distanzwerte zwischen be­ liebigen zwei Schnittpunkten Gi (i = 1, 2, . . ., n) aus dem Schritt 206 in einem bestimmten Toleranzbereich (zulässigen Bereich) δ1 liegen, der ein erster Vergleichsgrenzwert für das Vergleichsmodell ist. Genauer gesagt, die serielle Lini­ ensegment-Gruppe wird im wesentlichen daraufhin überprüft, ob sie einen Kreis bildet. Im Falle von Fig. 9B ist der oben erwähnte Toleranzbereich δ1 der innere Bereich (gestrichelte Bereich) eines Kreises, der durch eine gestrichelte Linie angedeutet ist und stellt die Vergleichsgrenzwerte dar, wel­ che den Vergleich relativ zu dem Vergleichsmodell in dem Fall erlauben, daß ein kreisförmiges Loch innerhalb eines bestimmten Bereiches des Werkstückes W zur Horizontalen ge­ neigt ist und eine Ellipse bildet. Wenn im Schritt 208 alle Schnittpunkte Gi (i = 1, 2, . . ., n) innerhalb der Toleranz δ1 liegen, folgt ein Schritt 210, wo der Durchschnittswert (G1, G2, . . ., Gn)/n der Schnittpunkte Gi (i = 1, 2, . . ., n) berech­ net wird, um die Mittenkoordinate Gm zu erhalten.

Danach wird ein Schritt 212 durchgeführt, wo der Mittelwert der Distanzen zwischen der Mittenkoordinate Gm aus dem Schritt 210 und den entsprechenden Liniensegmenten ausge­ wählt im Schritt 206 berechnet wird, um einen Radius r_m zu erhalten. Es folgt ein Schritt 214, wo überprüft wird, ob die Abweichung |r_m - r_o| relativ zu dem Radius r_o des Krei­ ses des Vergleichsmodelles gespeichert in dem Vergleichsmo­ dell-Speicherbereich 231 der Speichereinheit 23 innerhalb einer bestimmten Toleranz δ2 liegt.

Fig. 10 zeigt die Lagen von Werkstücken W wo eine Entschei­ dung gemacht wird, ob das Greifen möglich ist oder nicht. Genauer, wenn der Werkstückneigungswinkel θ2 ist, wie in (b) von Fig. 10 dargestellt, kann des Werkstück W durch die Hand 40 des Roboters 30 nicht ergriffen werden. Wenn andererseits der Werkstückneigungswinkel kleiner als θ1 ist, wie in (a) von Fig. 10 dargestellt ist, kann das Werkstück W ergriffen werden. Dieser Werkstückneigungswinkel θ1 wird als Grenzwert für den speziellen Abschnitt des Werkstückes W gesetzt. Ein zweiter Vergleichsgrenzwert des Vergleichsmodelles basierend auf dem Neigungsgrenzwert θ1 innerhalb dem das Halten bzw. Greifen des speziellen Abschnittes, d. h. des kreisförmigen Loches im Werkstück W möglich ist, ist die Toleranz δ2. Wird ein Sicherheitsfaktor mit berücksichtigt wird der Grenzwert θ1 auf einen Winkel festgesetzt, der etwas kleiner ist als der Werkstückneigungswinkel θ, bei dem die Greiferfolgs- Wahrscheinlichkeit 100% beträgt. Wie in Fig. 11 dargestellt, kann die Greiferfolgs-Wahrscheinlichkeit des speziellen Ab­ schnittes des Werkstückes bezüglich des Werkstückneigungs­ winkels θ experimentell ermittelt werden. Wie aus Fig. 11 hervorgeht, wächst die Anzahl der erkannten Werkstücke W, wenn der Werkstückneigungswinkel θ auf ungefähr 50° an­ wächst. Wenn andererseits der Werkstückneigungswinkel θ 35° übersteigt, nimmt die Greiferfolgs-Wahrscheinlichkeit all­ mählich von 100% ab. Dies bedeutet, daß gegenüber einem her­ kömmlichen Werkstück-Greifbereich, der ein kleiner Bereich mit dem Werkstückneigungswinkel θ von unterhalb 10° ist, so daß der bestimmte Bereich im wesentlichen als Kreis erkannt wird, es bei der vorliegenden Erfindung möglich ist, den Ob­ jektgreifbereich auf ungefähr 35° zu erhöhen, wo eine El­ lipse noch als Kreis erkannt wird.

Zurück zu Fig. 8. Wenn im Schritt 214 die Bedingung |r_m - r_o| < δ2 erfüllt ist, folgt ein Schritt 216, um die im Schritt 210 erhaltene Zentralkoordinate Gm dem Greifroboter 30 zu übertragen, da entschieden wurde, daß ein Vergleichserfolg vorliegt, wonach das Programm beendet wird. Wenn anderer­ seits die Entscheidung im Schritt 208 oder 214 "nein" ist, folgt ein Schritt 218, um die Liniensegmentdaten aus dem Speicherbereich A zu löschen, wonach zum Schritt 204 zurück­ gekehrt wird, um einen ähnlichen Prozeß durchzuführen. Wenn weiterhin im Schritt 204 entschieden wird, daß die serielle Liniensegment-Gruppe weg ist, so daß der Speicherbereich A leer wird, wird das Programm beendet. In diesem Programm wirken die Schritte 206 und 208 als Detektionsvorrichtungen für den speziellen Bereich, die Schritte 210 bis 214 wirken als Lagebestimmungsvorrichtungen und der Schritt 216 wirkt als Befehlsvorrichtung.

Durch Ablaufenlassen des oben beschriebenen Programmes wird ein Werkstück W von der Hand 40 des Roboters 30 auf der Grundlage der Zentralkoordinate Gm ergriffen, welche anfangs übereinstimmend mit dem speziellen Bereich oder Abschnitt des Werkstückes erkannt wurde. Hierbei ist es ebenfalls vor­ teilhaft, daß - als unterschiedliche Greifmethode - die Mit­ tenkoordinate Gm des speziellen Bereiches unter Heranziehung der kleinsten Neigungslage, die geeignet ist für den Greif­ vorgang aus einer Mehrzahl von speziellen Bereichen aus dem gesamten zweidimensionalen, von der Kamera 10 eingegebenen Bild berechnet und dem Roboter übertragen wird. Selbst wenn eine lange Zeit nötig ist zur Erkennung des speziellen Be­ reiches ist es in diesem Fall möglich, die Greiferfolgs- Wahrscheinlichkeit weiter zu verbessern.

Die Fig. 12A und 12B zeigen die Bestätigungsergebnisse der Zykluszeiten bei der Erkennung eines Kreises bzw. einer El­ lipse. Fig. 12A zeigt die nötige Zeit in Sekunden pro jeder Kreiserkennung und Fig. 12B zeigt die nötige Zeit in Sekun­ den für die Ellipsenerkennung. Da das Hochgeschwindigkeits- Greifsystem gemäß dieser Ausführungsform die Ellipsenerken­ nung durchführt, die es erlaubt, eine Ellipse als Kreis zu erkennen, kann die für den Greifvorgang nötige Zeit auf 2,2 bis 3,8 Sekunden (3 Sekunden im Durchschnitt) reduziert wer­ den gegenüber einer herkömmlichen Kreiserkennung, welche 2,7 bis 9 Sekunden (4,8 Sekunden im Durchschnitt) benötigt. Wie weiterhin aus den zeichnerischen Darstellungen hervorgeht, ist es möglich, Variationen der nötigen Zeit erheblich zu verringern.

Obgleich in der obigen Ausführungsform Teile mit Löchern, deren Formgebung kreisförmig sind ergriffen werden, ist es gleichermaßen möglich, unterschiedliche Teile zu ergreifen, beispielsweise Teile mit parallelen Abschnitten und Teile mit Bolzen oder Zapfen durch einen ähnlichen Ablauf, wo ein­ fach geformte Abschnitte eingegrenzt und als spezielle Ab­ schnitte oder Bereiche erkannt werden. Obgleich das zu er­ greifende Teil in der beschriebenen Ausführungsform mit an­ deren Teilen im Stapel oder als Schüttgut beschrieben wur­ den, ist diese Ausführungsform gleichermaßen geeignet, ein Teil zu greifen, welches frei auf einer Ebene liegt, oder unterschiedliche gemischte Teile oder Teile zu greifen, wel­ che voneinander getrennt in einem Behälter mit Trennwänden angeordnet sind.

Unter Bezug auf die Fig. 13 und 14 erfolgt nachfolgend eine Beschreibung eines Hochgeschwindigkeits-Greifsystems gemäß einer dritten Ausführungsform der vorliegenden Erfin­ dung. Fig. 13 zeigt den gesamten Aufbau und Fig. 14 zeigt den Aufbau eines wesentlichen Teiles des Systems, wobei Teile, welche Teilen in den Fig. 6 und 7 entsprechen, mit den gleichen Bezugszeichen versehen sind und eine nochmalige Beschreibung nicht erfolgt. In Fig. 13 und 14 ist zusätzlich zu der Bildeingabekamera 10 zur Aufnahme eines Bildes von aufeinandergestapelten Werkstücken W innerhalb des Behälters T von der Oberseite des Werkstückstapels her eine weitere Bildeingabekamera 11 vorgesehen, welche ein Bild eines ein­ zelnen Werkstückes W aufnimmt, das von der Hand 40 des Robo­ ters 30 ergriffen worden ist, wobei die Unterseite des er­ griffenen Werkstückes W betrachtet wird. Wenn hierbei die Bildeingabekamera 10 zusätzlich so ausgelegt werden kann, daß sie ein Bild des Werkstückes W aufnimmt, wenn dieses von der Hand 40 des Roboters 30 (Taktzeit) ergriffen worden ist, ist es möglich auch nur eine Bildeingabekamera zu verwenden. Die Beleuchtungsvorrichtung L ist so angeordnet, daß sie die Werkstücke W gleichmäßig beleuchtet, wobei die Beleuchtung so ist, daß auch das einzelne Werkstück W gleichmäßig be­ leuchtet wird, wenn dieses von der Bildeingabekamera L abge­ tastet wird.

Die Objekterkennungsvorrichtung 20 weist die CPU 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und Be­ leuchtungssteuereinheit 24 auf. Die Bildverarbeitungseinheit 22 umfaßt den Bildeingabeabschnitt 221, den Kanten-Erken­ nungsabschnitt 222 und den Segment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist mit RAMs oder dergleichen aufge­ baut und umfaßt wenigstens den Vergleichsmodell-Speicherbe­ reich 231, der als Vergleichsmodell-Speichereinrichtung wirkt, um ein Vergleichsmodell zu speichern, welches vorab auf der Basis von Daten festgesetzt worden ist, welche die Formgebung spezifizieren, wenn ein spezieller Bereich oder Abschnitt eines Werkstückes W die Grundlage einnimmt. Die Speichereinheit 23 umfaßt weiterhin einen Lagevergleichsmo­ dell-Speicherbereich 235, der als Lagevergleichsmodell-Spei­ chereinrichtung dient, um ein Lagevergleichsmodell zu spei­ chern, welches vorab auf der Grundlage von Daten festgesetzt worden ist, welche die Formgebung spezifizieren, wenn das Werkstück W eine bestimmte Lage einnimmt. Weiterhin vorgese­ hen ist der Erkennungsergebnis-Speicherbereich 233, der das Vergleichsergebnis eines Liniensegment-Bildes entsprechend einer Anzahl von aufeinandergestapelten Werkstücken W inner­ halb des Behälters T speichert. Unter Bezug auf die Flußdia­ gramme der Fig. 15 und 17, welche den Verarbeitungsablauf der Objekterkennungsvorrichtungen 20 zeigen und des Flußdia­ grammes von Fig. 16, welches einen Prozeßablauf einer Steuereinheit auf seiten des Roboters 30 zeigt, wird nach­ folgend die Arbeitsweise dieses Systems beschrieben. Die Be­ schreibung erfolgt hierbei anhand des Falles, daß ein Kreis als spezieller Abschnitt oder Bereich aus verschiedenen bil­ denden Liniensegmenten ausgewählt wird und mit einem Ver­ gleichsmodell "Kreis" verglichen wird nach dem Eingeben des Videosignales einer Anzahl von aufeinanderliegenden Werkstücken W von der Bildeingabekamera 10 und der Extraktion von bildenden Liniensegmenten und weiterhin unter der An­ nahme des Falles, daß ein Videosignal eines einzelnen Werk­ stückes W, welches von der Hand 40 des Roboters 30 gehalten wird von der Bildeingabekamera 11 eingegeben wird, um bil­ dende Liniensegmente zu extrahieren, um die Lage des Werk­ stückes W zu korrigieren.

Zunächst wird in die Objekterkennungsvorrichtung 20 in Ant­ wort auf das Einschalten der Beleuchtungsvorrichtung L über die Beleuchtungssteuereinheit 24 ein Videosignal von aufein­ anderliegenden Werkstücken W innerhalb des Behälters T, er­ halten von der Bildeingabekamera 10, dem Bildeingabeab­ schnitt 221 eingegeben, dort abgetastet und in ein digitales Signal umgesetzt, um ein Grauskalenbild zu erzeugen. Die Grauskalendaten werden in den Kanten-Erkennungsabschnitt 222 eingegeben, und dort differenziert, um ein Kantenbild zu er­ zeugen. Dieses Kantenbild wird dem Segment-Extraktionsab­ schnitt 223 eingegeben, um die Kammlinie zu suchen, um die Grenzlinie des Objektes zu extrahieren. Weiterhin wird die Grenzlinie durch eine gekrümmte Linie, einen Kreis oder der­ gleichen angenähert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 300 im Ablauf gemäß Fig. 15 gibt die CPU 21 das in der Bildverarbeitungseinheit 22 erhaltene Linienseg­ mentbild ein. Dann wird ein Schritt 302 durchgeführt, um eine serielle Liniensegment-Gruppe von dem eingegebenen Li­ niensegmentbild zu extrahieren, so daß die extrahierte seri­ elle Liniensegment-Gruppe durch das Vergleichsmodell "Kreis" entsprechend dem speziellen Abschnitt des Werkstückes W ge­ sucht werden kann. Hierbei wird das Vergleichsmodell "Kreis" vorab auf der Basis von Daten gesetzt, welche die Formgebung spezifizieren, wenn das Werkstück W die Grundlage oder Grundstellung einnimmt, wobei der Vergleichsübereinstim­ mungsbereich durch den erlaubten Grenzwinkel oder derglei­ chen vergrößert wird, der es erlaubt, daß das Werkstück W von der Hand 40 des Roboters 30 gehalten wird, so daß die Suche auch dann durchgeführt wird, wenn das Werkstück W ge­ genüber der Horizontalen verkippt ist. Nachfolgend wird ein Schritt 304 durchgeführt, wo der Übereinstimmungsgrad zwi­ schen dem Vergleichsmodell "Kreis" verwendet für die Suche im Schritt 302 und dem speziellen Abschnitt oder Bereich des Werkstückes W, nach dem gesucht wird berechnet wird. Für den Fall, daß die Suche mit dem Vergleichsmodell "Kreis" durch­ geführt wird, ist, da ein Kreis als Ellipse erkannt wird, wenn das Werkstück W verkippt ist, dieser Übereinstimmungs­ grad durch das Verhältnis von Hauptachse und Nebenachse der Ellipse ausgedrückt.

Danach wird ein Schritt 306 durchgeführt, wo überprüft wird, ob ein spezieller Abschnitt eines Werkstückes W vorliegt, dessen Übereinstimmungsgrad gößer ist als ein Wert a. Dieser Wert a ist als der oben erwähnte noch erlaubte Grenzwert oder dergleichen bestimmt. Wenn eine Anzahl spezieller Be­ reiche von Werkstücken W erkannt wird, von denen jeder die oben erwähnte Beziehung erfüllt, wird derjenige spezielle Abschnitt ausgewählt, der den größten Übereinstimmungsgrad hat. Wenn die Antwort im Schritt 306 bejahend ist, folgt ein Schritt 308, um die Lageinformation dem Greifroboter 30 zu­ zuführen. Wenn andererseits die Antwort im Schritt 306 verneinend ist, wird ein Schritt 310 durchgeführt, um an eine Erregervorrichtung einen entsprechenden Befehl auszuge­ ben, um die Lagezustände der gestapelten Werkstücke W zur Zeit des nächsten Eingebens des Liniensegmentbildes zu än­ dern, um die Erkennungswahrscheinlichkeit spezieller Berei­ che von Werkstücken W zu erhöhen, welche mittels der Ver­ gleichsmodelle gesucht werden.

Nachdem die Lageinformation des oben erwähnten Werkstückes W von der Steuereinheit des Roboters 30 empfangen wird, wird gemäß Schritt 400 in Fig. 16 die Hand 40 des Roboters 30 auf der Grundlage dieser Lageinformation, welche dem speziellen Bereich oder Abschnitt des Werkstückes W zugehörig ist aus­ gerichtet. Dann wird ein Schritt 402 durchgeführt, um die Höhe der Hand 40 bezüglich des speziellen Abschnittes des Werkstückes W mittels eines Distanzsensors zu messen, der nahe der Hand 40 angeordnet ist. Dieser Distanzsensor ist in Fig. 13 mit dem Bezugszeichen 41 versehen. Es folgt ein Schritt 404, um den speziellen Abschnitt des Werkstückes W durch die Hand 40 des Roboters 30 zu halten, um das Werk­ stück W anzuheben. Es folgt ein Schritt 406, wo entschieden wird, ob das Werkstück W tatsächlich gehalten ist. Diese Entscheidung kann dadurch getroffen werden, daß der Bewe­ gungsbetrag eines Spitzenbereiches der Hand 40 mittels eines Grenzschalters, einer magnetischen Skala oder dergleichen detektiert wird. Wenn das Werkstück W gehalten wird, was im Schritt 406 detektiert wird, folgt ein Schritt 408, um das Werkstück W, welches von der Hand 40 des Roboters 30 gehal­ ten wird hoch in eine Bildaufnahmeposition oberhalb der Ka­ mera 11 zu bewegen, wonach der Programmablauf beendet wird.

Wenn von der Objekterkennungsvorrichtung 20 ein Signal emp­ fangen wird, welches die Tatsache anzeigt, daß das Werkstück W in die Bildaufnahmeposition der Kamera 11 hochbewegt wird, schaltet die Beleuchtungssteuereinheit 24 die Beleuchtungs­ vorrichtung L ein und ein Videosignal entsprechend dem ein­ zelnen Werkstück W von der Bildeingabekamera 11 wird dem Bildeingabeabschnitt 221 zugeführt. Im Bildeingabeabschnitt 221 wird das Videosignal abgetastet und in ein digitales Si­ gnal umgesetzt, um ein Grauskalenbild zu erzeugen. Die Grauskalenbilddaten werden dem Kanten-Erkennungsabschnitt 222 eingegeben und dort differenziert, um ein Kantenbild zu erzeugen. Die Kantenbilddaten werden dem Segment-Extrakti­ onsabschnitt 223 eingegeben, um nach der Kammlinie zu su­ chen, um die Grenzlinie des Objektes zu extrahieren. Weiter­ hin wird dann diese Grenzlinie durch eine gekrümmte Linie, einen Kreis oder dergleichen angenähert, um ein Linienseg­ mentbild zu erhalten.

In einem Schritt 500 in Fig. 17 gibt die CPU 21 das von der Bildverarbeitungseinheit 22 erhaltene Liniensegmentbild ein. Dann wird ein Schritt 502 durchgeführt, um einen Vergleich zwischen dem eingegebenen Liniensegmentbild und einem Lage- Vergleichsmodell durchzuführen, um die Lage des Werkstückes W zu erkennen. Hierbei wird das Werkstück W von der Hand 40 des Roboters 30 gehalten, so daß ein kreisförmiges Loch, d. h. der spezielle Abschnitt oder Bereich des Werkstückes W gehalten wird, um eine Lage aufgrund des einen Freiheitsgra­ des einzunehmen. Demzufolge wird im Schritt 502 zur Lageer­ kennung des Werkstückes W das Lagevergleichsmodell gedreht, um mit dem Liniensegmentbild des Werkstückes W übereinzu­ stimmen.

Nachfolgend wird ein Schritt 504 durchgeführt, um einen La­ gekorrekturbetrag zu berechnen, der eine Abweichung in der Drehrichtung und im Winkel des Schrittes 502 ist, gefolgt von einem Schritt 506, um den im Schritt 504 im berechneten Lagekorrekturbetrag dem Roboter 30 zuzuführen, wonach das Programm beendet wird.

Hierbei wirken die Schritte 302 und 304 als Erkennungsvor­ richtungen für den speziellen Abschnitt, der Schritt 306 wirkt als Lagebestimmungsvorrichtung, der Schritt 308 wirkt als Greifbefehlsvorrichtung, die Schritte 502 und 504 wirken als Berechnungsvorrichtungen für den Korrekturbetrag und der Schritt 506 wirkt als Lagekorrektur-Befehlsvorrichtung.

Fig. 18 zeigt die grundlegenden Schritte von Greifvorgängen für übereinandergestapelte oder aufeinandergeschüttete Teile unterschiedlichster Formgebung. Obgleich in der oben be­ schriebenen Ausführungsform Teile ergriffen werden, welche kreisförmige Löcher oder Bohrungen aufweisen, ist es genau­ sogut möglich, andere Teile zu ergreifen, beispielsweise Teile mit parallelen Abschnitten und Teile mit Bolzen oder Zapfen, wobei ähnliche Abläufe durchgeführt werden, d. h. einfach geformte Abschnitte eingegrenzt und als spezielle Abschnitte erkannt werden. Obgleich weiterhin das zu ergrei­ fende und zu haltende Objekt bei der beschriebenen Ausfüh­ rungsform von einem Stapel aufeinanderliegender Teile abge­ hoben wurde, ist es genausogut möglich, ein einzelnes Teil zu greifen, welches frei auf einer Ebene liegt, oder unter­ schiedliche untereinandergemischte Teile zu ergreifen oder Teile zu ergreifen, welche separat in einem Behälter in von­ einander getrennten Abteilungen oder Kammern angeordnet sind.

Die Fig. 19A und 19B zeigen die Schritte und die notwen­ digen Zeiten zum Erkennen und Ergreifen eines Teiles aus ei­ ner Mehrzahl von aufeinanderliegenden oder aufeinandergesta­ pelten Teilen. Fig. 19A zeigt den Fall der Verwendung eines Vergleichsmodells gemäß einer bekannten Technik und Fig. 19B zeigt den Fall der Verwendung des Vergleichsmodells und des Lagevergleichsmodells gemäß der vorliegenden Erfindung. In den Vergleichsschritten wird, wenn das Vergleichsmodell "Kreis" entsprechend einem speziellen Abschnitt eines Teiles mit einfacher Formgebung ist, die Wahrscheinlichkeit der Er­ kennung des speziellen Bereiches hoch, so daß die nötige Zeit für den Vergleich extrem kurz wird. Weiterhin wird bei der herkömmlichen Technik nach dem Vergleichsschritt die Hand des Greifroboters unmittelbar ausgerichtet, so daß das Teil von der Hand ergriffen wird. Bei der vorliegenden Er­ findung wird, nachdem das Teil von der Hand des Greifrobo­ ters ergriffen worden ist die Lagekorrektur nötig auf der Grundlage des Lagevergleichsmodells. Die bei der vorliegen­ den Erfindung notwendigen Schritte erhöhen sich hierdurch, wobei jedoch der Lagevergleich für ein ergriffenes Teil in extrem kurzer Zeit durchgeführt werden kann, wodurch die Zeit für das Ergreifen und die Lagekorrektur nicht so lange dauert wie bei einer herkömmlichen Technik. Bei der vorlie­ genden Erfindung ist es somit möglich, die Greiferfolgs- Wahrscheinlichkeit für ein Teil, welches aus einer Vielzahl von Teilen ergriffen wird extrem zu erhöhen und weiterhin ist es möglich, die hierzu nötige Zeit im Vergleich mit her­ kömmlichen Techniken beachtlich zu verkürzen.

Die Fig. 20A bis 20C zeigen andere Verfahren zum Ergrei­ fen eines Teiles aus einem Stapel oder Haufen von Teilen, um die Lagekorrektur durchzuführen. Fig. 20A zeigt einen Kor­ rekturvorgang mittels einer Führung, wobei ein Teil, dessen spezieller Abschnitt ergriffen wird auf einer bestimmten Führung angeordnet wird, um seine Ausrichtung festzulegen. Fig. 20B zeigt einen Korrekturvorgang unter Verwendung des Massenschwerpunktes, wobei die Richtung eines Teiles, dessen spezieller Bereich (hier: kreisförmige Bohrung) ergriffen wird durch das Eigengewicht bestimmt wird. Fig. 20C zeigt eine Neigungskorrektur mittels einer parallelen Hand, wo die Ausrichtung eines Teiles von der Hand bestimmt wird, welche sich in Parallelrichtung bewegt, wenn der spezielle Bereich ergriffen wird. Bei den erwähnten Verfahren wird der spe­ zielle Abschnitt oder Bereich des Werkstückes W mittels der Bildeingabekamera 10 eingegrenzt und erkannt und in dem Zu­ stand, wo dieser spezielle Bereich ergriffen wird (Bohrung im Falle von Fig. 20B und rechteckförmige Ausnehmung im Falle von Fig. 20C) wird die Lageerkennung von der Bildein­ gabekamera 11 durchgeführt und die Lagekorrektur wird durch­ geführt.

Hierbei kann der Fall vorliegen, daß die Lagekorrektur me­ chanisch anstelle der Bildverarbeitung mit der Kamera 11 nach dem Greifvorgang durchgeführt werden kann. Genauer, wenn die Formgebung des Werkstückes W Lagekorrekturen gemäß den Fig. 20A bis 20C erlaubt, ist es nicht immer nötig, den Prozeßschritt durchzuführen, mit dem die Bildverarbei­ tung mit der Kamera 11 durchgeführt wird, um die Lagekorrek­ tur nach dem Ergreifen des speziellen Bereiches durchzufüh­ ren. In diesem Fall wird die Bildverarbeitung über die Ka­ mera 11 nur zur Bestätigung verwendet, ob die mechanisch und somit selbständig erfolgende Lagekorrektur korrekt erfolgt ist. Auch hierzu wird das Lagevergleichsmodell verwendet.

Bei der beschriebenen Ausführungsform wird somit ein Bereich eines zweidimensionalen Bildes von aufeinandergestapelten oder aufeinanderliegenden Teilen, der durch einen Vergleich mit einem Vergleichsmodell als spezieller Bereich detektiert wird herangezogen, um die Lage des detektierten speziellen Bereiches zu bestimmen, um den Roboter mit einem Greifbefehl zu versorgen, wodurch die Hand des Roboters an der Stelle des speziellen Abschnittes angeordnet wird, um diesen spe­ ziellen Abschnitt zu ergreifen. Weiterhin wird das zweidi­ mensionale Bild des ergriffenen einzelnen Teiles oder Werk­ stückes mit einem Lagevergleichsmodell verglichen, um den Lagekorrekturbetrag zu berechnen, der die Abweichung zwi­ schen der Lage oder Ausrichtung des ergriffenen Teiles und des Lagevergleichsmodelles ist, so daß die Lage des Teiles auf der Grundlage des berechneten Lagekorrekturbetrages kor­ rigiert wird.

Durch Durchführung des Vergleiches an dem Vergleichsmodell entsprechend dem speziellen Abschnitt des Teiles mit einfa­ cher Formgebung wird die Zeit, die für den Vergleich nötig ist extrem kurz und die Erkennungswahrscheinlichkeit für den speziellen Teil wird extrem hoch. Da weiterhin der spezielle Bereich sofort durch die Hand des Roboters ergriffen wird, ist es möglich, die Greiferfolgs-Wahrscheinlichkeit beacht­ lich zu erhöhen. Da zusätzlich das Teil ergriffen wird und die Lage des ergriffenen Teiles in einem bestimmten Zustand korrigiert wird, sind bei der Hochgeschwindigkeits-Greifvor­ richtung für gestapelte Teile gemäß dieser Ausführungsform der vorliegenden Erfindung - obgleich die Verarbeitungszeit zum Ergreifen eines Teiles die Summe der Zeit zum Greifen des speziellen Bereiches oder Abschnittes des Teiles und der Zeit zum Einnehmen einer bestimmten Position nach dem Er­ greifen ist - die jeweiligen Zeiten kurz, so daß im Vergleich zu einer herkömmlichen Technik die gesamte Verarbei­ tungszeit erheblich verkürzt werden kann.

Unter Bezug auf Fig. 21 erfolgt nachfolgend eine Beschrei­ bung eines Hochgeschwindigkeits-Greifsystems gemäß einer vierten Ausführungsform der vorliegenden Erfindung. Der Ge­ samtaufbau dieser Ausführungsform entspricht im wesentlichen demjenigen der zweiten Ausführungsform von Fig. 6. Fig. 21 zeigt die Anordnung eines wesentlichen Abschnittes der vier­ ten Ausführungsform, wobei Teile entsprechend Teilen aus den Fig. 2 oder 7 oder 14 mit den gleichen Bezugszeichen ver­ sehen sind und eine nochmalige Beschreibung hiervon nicht erfolgt.

Gemäß Fig. 21 umfaßt die Erkennungsvorrichtung 20 die CPU 21, die Bildverarbeitungseinheit 22, die Speichereinheit 23 und Beleuchtungssteuereinheit 24. Die Bildverarbeitungsein­ heit 22 beinhaltet den Bildeingabeabschnitt 221, den Kanten- Erkennungsabschnitt 222 und den Segment-Extraktionsabschnitt 223. Die Speichereinheit 23 ist aus RAMs oder dergleichen aufgebaut und beinhaltet den wenigstens einen Vergleichsmo­ dell-Speicherbereich 231, der als Vergleichsmodell-Speicher­ einrichtung dient, um ein Vergleichsmodell zu speichern, welches vorab auf der Basis von Daten festgesetzt wird, wel­ che die Formgebung spezifizieren, wenn ein spezieller Be­ reich oder Abschnitt des Werkstückes W die Grund- oder Aus­ gangsstellung einnimmt. Die Speichereinheit 23 beinhaltet weiterhin einen Greifabschnitt-Speicherbereich 236, der als Speichervorrichtung für einen Greifabschnitt dient, um einen Greifabschnitt zu speichern, der ganz klar eine quantitative relative Lagebeziehung zu einem speziellen Abschnitt hat. Weiterhin ist der Erkennungsergebnis-Speicherbereich 233 vorgesehen, der das Vergleichsergebnis eines Liniensegment­ bildes entsprechend einer Anzahl von aufeinandergestapelten Teilen W innerhalb des Behälters T speichert.

Nachfolgend wird die Arbeitsweise dieses Systems unter Bezug auf die Flußdiagramme der Fig. 22 und 23 unter der An­ nahme beschrieben, daß ein Markierungsabschnitt, beispiels­ weise eine aufgedruckte Markierung auf dem Werkstück W als spezieller Abschnitt mit einfacher Formgebung verwendet wird, um eine visuelle Erkennung aus unterschiedlichen bil­ denden Liniensegmenten, welche selektiv mit einem Ver­ gleichsmodell "Markierung" verglichen werden zu ermöglichen, nachdem ein Videosignal einer Anzahl von aufeinanderliegen­ den Werkstücken W von der Bildeingabekamera 10 erfolgt ist und die Extraktion der bildenden Liniensegmente hiervon durchgeführt wurde. Gemäß Fig. 24 ist auf einem plattenför­ migen Werkstück W eine Markierung vorgesehen bestehend aus einem Kreis und einer vertikalen Linie, deren eines Ende sich bis zur Außenseite des Kreises hin erstreckt. Dies be­ deutet, daß das Vergleichsmodell "Markierung" so angeordnet ist, daß die Ausrichtung des Werkstückes W bestätigt werden kann, es also möglich ist zu bestätigen, ob das Werkstück W nach oben, unten, rechts oder links verschoben ist. Es nicht vorteilhaft, als Markierung einen Kreis alleine zu verwen­ den, da hierdurch die Bestätigung der Werkstückausrichtung nicht möglich ist.

In Antwort auf das Einschalten der Beleuchtungsquelle L mit der Beleuchtungssteuereinheit 24 wird ein von der Kamera 10 erhaltenes Videosignal dem Bildeingabeabschnitt 221 eingege­ ben, um das Videosignal dort abzutasten und in ein digitales Signal umzusetzen, um ein Grauskalenbild zu erzeugen. Die Grauskalendaten werden dem Kanten-Erkennungsabschnitt 222 eingegeben und dort differenziert, um ein Kantenbild zu er­ zeugen. Die Kantenbilddaten werden dem Segment-Extraktions­ abschnitt 223 eingegeben, um die Rammlinie zu suchen, um die Grenzlinie des Objektes zu extrahieren. Die Grenzlinie wird dann durch eine gekrümmte Linie, einen Kreis oder derglei­ chen angenähert, um ein Liniensegmentbild zu erhalten.

In einem Schritt 600 von Fig. 22 gibt die CPU 21 das von der Bildverarbeitungseinheit 22 erhaltene Liniensegmentbild ein. Dann wird ein Schritt 602 durchgeführt, um einen Suchprozeß auf der Grundlage des Vergleichsmodells "Markierung" ent­ sprechend dem Markierungsbereich M auf dem Werkstück W durchzuführen. Beim Ablauf des Schrittes 602 wird in einem Unterprogramm gemäß Fig. 23 in einem Schritt 700 eine seri­ elle Liniensegment-Gruppe des eingegebenen Liniensegmentbil­ des in einem Speicherbereich A der CPU 21 gespeichert. Dann wird ein Schritt 702 durchgeführt, wo überprüft wird, ob der Speicherbereich A leer ist, d. h., ob die serielle Linien­ segment-Gruppe, d. h. das Vergleichsobjekt innerhalb des Speicherbereiches A verbleibt. Beim ersten Ablaufzyklus geht der Ablauf zu einem Schritt 704 weiter, da der Speicherbe­ reich A in dem Fall nicht leer ist, in dem die serielle Li­ niensegment-Gruppe sukzessive extrahiert wird. Im Schritt 704 werden n Sätze von zwei Liniensegmenten aus der seriel­ len Liniensegment-Gruppe innerhalb des Speicherbereiches A ausgewählt, um die Schnittpunkte Gi (i = 1, 2, . . ., n) der vertikalen Mittenschnittlinien hiervon zu berechnen. Wie in Fig. 9A dargestellt, sind, wenn die serielle Liniensegment- Gruppe einem Kreis sehr ähnlich ist, die Koordinaten der Schnittpunkte der vertikalen Mittenschnittlinien der n Sätze von zwei Liniensegmenten (ℓ1 und ℓ2, ℓ3 und ℓ4, ℓ5 und ℓ6, . . .) im wesentlichen zusammenfallend bei G0. Wenn anderer­ seits die serielle Liniensegment-Gruppe eine Ellipse bildet, sind die Koordinaten der Schnittpunkte der vertikalen Mit­ tenschnittlinien der n Sätze von zwei Liniensegmenten (ℓ1 und ℓ2, ℓ3 und ℓ4, ℓ5 und ℓ6, . . .) nicht miteinander zusam­ menfallend und liegen bei G1, G2, G3, . . ., Gn.

Gemäß Fig. 23 wird dann ein Schritt 706 durchgeführt, um zu überprüfen, ob alle maximalen Distanzwerte zwischen zwei be­ liebigen Punkten der Schnitte Gi (i = 1, 2, . . ., n) aus dem Schritt 704 in einem bestimmten Toleranzbereich δ1 für das Vergleichsmodell liegen. Dies bedeutet, daß die serielle Liniensegment-Gruppe daraufhin überprüft wird, ob sie im we­ sentlichen einen Kreis bildet. Im Falle von Fig. 9B ist die oben erwähnte Toleranz δ1 der schraffierte Bereich des Krei­ ses, der durch die gestrichelte Linie dargestellt ist und ist ein Anzeigekriterium des Vergleichsgrenzwertes, der den Vergleich relativ zum Vergleichsmodell in dem Fall erlaubt, daß ein kreisförmiges Loch, welches der spezielle Abschnitt des Werkstückes W ist, relativ zur Horizontalen verkippt ist und sich als Ellipse darstellt. Wenn im Schritt 706 alle Schnittpunkte Gi (i = 1, 2, . . ., n) innerhalb der Toleranz δ1 liegen, folgt ein Schritt 708, um den Durchschnitt (G1, G2, . . ., Gn)/n der Schnittpunkte Gi (i = 1, 2, . . ., n) zu be­ rechnen, um die Mittenkoordinate Gm zu erhalten.

Danach wird ein Schritt 710 durchgeführt, um den Mittel- oder Durchschnittswert der Distanzen zwischen der Mittenko­ ordinate Gm aus dem Schritt 708 und den jeweiligen Linien­ segmenten ausgewählt im Schritt 704 zu berechnen, um einen Radius r_m zu erhalten. Es folgt ein Schritt 712 zum Überprü­ fen, ob die Abweichung |r_m - r_o| relativ zu dem Radius r_o des Kreises des Vergleichsmodells "Markierung" aus dem Ver­ gleichsmodell-Speicherbereich 231 der Speichereinheit 23 in einer vorherbestimmten Toleranz δ2 liegt.

Fig. 25 zeigt die Ausrichtungen von Werkstücken, wobei eine Entscheidung gemacht wird, ob der Greifvorgang zweckmäßig ist oder nicht. Genauer, wenn der Werkstückneigungswinkel θ2 beträgt, wie in (b) von Fig. 25 dargestellt, kann das Werk­ stück W durch die Hand 40 des Greifroboters 30 nicht ergrif­ fen werden. Wenn andererseits der Werkstückneigungswinkel unterhalb von θ1 liegt, wie in (a) von Fig. 25 dargestellt, kann das Werkstück W ergriffen werden. Dieser Werkstücknei­ gungswinkel θ1 wird als Grenzwinkel für den speziellen Ab­ schnitt des Werkstückes W festgesetzt. Ein Vergleichsgrenz­ wert für das Vergleichsmodell basierend auf dem Neigungs­ grenzwinkel θ1 bei dem es noch möglich ist, einen parallelen Endoberflächenabschnitt zu halten, d. h. den zu ergreifenden Abschnitt des Werkstückes W ist die Toleranz δ2. Wird ein Sicherheitsfaktor berücksichtigt, wird der Grenzwinkel θ1 auf einen Winkelwert festgesetzt, der etwas kleiner ist als der Werkstückneigungswinkel θ, so daß die Greiferfolgs-Wahr­ scheinlichkeit 100% beträgt. Die Greiferfolgs-Wahrschein­ lichkeit des zu ergreifenden Abschnittes des Werkstückes W bezüglich des Werkstückneigungswinkels θ läßt sich experi­ mentell ermitteln.

Wenn die Entscheidung im Schritt 706 und im Schritt 712 nein ist, geht der Ablauf zu einem Schritt 714, um die Linienseg­ mentdaten aus dem Speicherbereich A zu löschen, wonach zum Schritt 702 zurückgekehrt wird, um den gleichen Prozeßablauf erneut zu beginnen.

Wenn im Schritt 702 die serielle Liniensegment-Gruppe weg ist, so daß der Speicherbereich A leer wird, geht der Ablauf zu einem Schritt 604 (Fig. 22). Im Schritt 604 wird über­ prüft, ob ein Markierungsabschnitt M vorliegt, der der spe­ zielle Abschnitt des Werkstückes W ist. Wenn der Markie­ rungsabschnitt M, der die Bedingung |r_m - r_o| < δ2 erfüllt, im Schritt 712 erhalten ist, geht der Ablauf zu einem Schritt 606. Hier wird in dem Fall, daß eine Anzahl von Mar­ kierungsabschnitten M, welche die oben erwähnte Beziehung erfüllen, erkannt werden, der Markierungsabschnitt M ausge­ wählt, der den kleinsten Wert |r_m - r_o| hat.

Der Schritt 606 ist zum Berechnen der relativen Lagekoordi­ naten des zu ergreifenden Abschnittes auf der Grundlage der Mittenkoordinate Gm eines Kreises oder einer Ellipse des er­ kannten Markierungsabschnittes M. Wie in Fig. 24 darge­ stellt, entspricht der zu ergreifende Abschnitt den Lagen P1 und P2 der parallelen Endoberflächen, welche durch Distanzen L1 und L2 von der Mittenkoordinate Gm des Markierungsab­ schnittes M entfernt sind, wenn das Werkstück W eine horizontale Lage einnimmt. Die dem Greifroboter 30 zu übertra­ gende Lageinformation ist die Greifrichtung für die Hand 40, welche die Richtung der vertikalen Linie in dem Kreis oder der Ellipse, erzeugt durch Erkennung des Markierungsab­ schnittes M und die Greif-Mittenkoordinate ist. Die Mitten­ koordinate in der Bildebene wird in die Mittenkoordinate im echten Raum umgewandelt und dem Greifroboter 30 übertragen.

Wie beschrieben ist die Distanz von der Mittenkoordinate Gm des Markierungsabschnittes M (wobei die Markierung einen Kreis und eine vertikale Linie umfaßt, dessen eines Ende sich zur Außenseite des Kreises erstreckt) zu der einen Re­ lativlage P1 des von der Hand 40 des Roboters 30 zu ergrei­ fenden Abschnittes L1 und die Distanz zu der anderen Rela­ tivlage P2 ist L2 und diese quantitative relative Lagebezie­ hung ist in dem Greifabschnitt-Speicherbereich 236 der Spei­ chereinheit 23 gespeichert. Somit ist die Greifmittenposi­ tion die Position, welche um den Betrag |(L1 - L2)/2| × COSθ von der Mittenkoordinate Gm des Markierungsabschnittes M in der Richtung entfernt ist, in der die vertikale Linie von dem Kreis oder der Ellipse des Markierungsabschnittes M vor­ ragt. Der oben erwähnte Werkstückneigungswinkel θ wird er­ halten auf der Basis der Länge der Nebenachse der Ellipse oder des Kreises des Markierungsabschnittes M. Genauer, wenn die Hauptachse und die Nebenachsen des Markierungsabschnit­ tes M zueinander gleiche Länge haben (Kreis) ist θ gleich 0°. Wenn andererseits die Hauptachse und die Nebenachsen sich in ihrer Länge voneinander unterscheiden (Ellipse) wird θ mit der nachfolgenden Gleichung ermittelt:

θ = COS^-1{(Länge der Nebenachse)/(Länge der Hauptachse)}.

Danach wird ein Schritt 608 durchgeführt, um die Lageinfor­ mation des zu greifenden Abschnittes des Werkstückes W zu übertragen.

Wenn andererseits im Schritt 604 das Nichtvorhandensein des Markierungsabschnittes M entschieden wird, wird ein Schritt 610 durchgeführt, um ein Erregersignal auszugeben, um den Behälter T mittels einer entsprechenden Vorrichtung zu rüt­ teln oder zu schütteln, um die Lagen der Werkstücke W zum Zeitpunkt des nächsten Eingebens eines Bildes zu ändern, um die auf dem Vergleichsmodell basierende Suchwahrscheinlich­ keit zu verbessern. Dann wird ein Schritt 612 durchgeführt, um die Anzahl der Rüttel- oder Schüttelvorgänge zu zählen. Dieser Zählwert wird zum Programmbeginn auf 0 gesetzt und inkrementiert wann immer ein Suchvorgang anhand des Ver­ gleichsmodells mit einem Fehlversuch endet. In einem nach­ folgenden Schritt 614 wird überprüft, ob der Zählbetrag C ≧ 3 ist. Dies bedeutet, daß, wenn der Lagezustand der Werk­ stücke W ungeachtet von drei Rüttelvorgängen unverändert ist, so daß drei Suchvorgänge mit dem Vergleichsmodell mit einem Fehler enden eine Entscheidung gemacht wird, daß Werk­ stücke W innerhalb des Behälters T nicht mehr vorhanden sind oder die vorliegenden Lagen der Werkstücke W so schlecht sind, daß sie nicht mehr geeignet sind eine weitere Suche durchzuführen, so daß das Programm beendet wird.

Die Schritte 602 und 604 wirken hierbei als Erkennungsvor­ richtungen für einen speziellen Abschnitt, der Schritt 606 dient als Vorrichtung zur Lagebestimmung und der Schritt 608 dient als Befehlsvorrichtung.

Auf der Grundlage des oben beschriebenen Programmablaufs kann der zu ergreifende Abschnitt entsprechend dem Markie­ rungsbereich M des Werkstückes W von der parallel bewegli­ chen Hand 40 des Greifroboters 30 ergriffen werden. Somit wird bei dem Hochgeschwindigkeits-Greifsystem gemäß dieser Ausführungsform, da der Vergleichsvorgang an einem speziel­ len Abschnitt des Werkstückes W, der visuelle Erkennung er­ laubt, durchgeführt wird, die Zeit für den Vergleich extrem kurz. Da weiterhin das Greifen an einem zu ergreifenden Abschnitt, der leicht zu halten ist und klar die quantitative relative Lagebeziehung zu dem speziellen Abschnitt hat, er­ folgt, wird die Greiferfolgs-Wahrscheinlichkeit hoch. Da weiterhin der spezielle Abschnitt von dem zu greifenden Ab­ schnitt unterschiedlich ist, ist es möglich, das Werkstück W auch dann zu ergreifen, wenn der spezielle Abschnitt klein ist und es schwierig wäre, ihn mit der Hand 40 des Roboters 30 zu greifen.

Obgleich weiterhin die zu greifenden Objekte oder Gegen­ stände bei der beschriebenen vierten Ausführungsform aufein­ anderliegende oder aufeinandergestapelte Teile sind, ist diese vierte Ausführungsform gleichermaßen gut anwendbar bei einem einzelnen Teil, welches individuell auf einer Ebene liegt, bei unterschiedlich geformten ineinandergeschütteten Teilen und bei Teilen, die separat in einem Behälter liegen, der in einzelne Fächer unterteilt ist.

Claims (8)

1. Hochgeschwindigkeits-Greifsystem für übereinanderlie­ gende Gegenstände oder Teile zum Erzielen von Grenz­ linien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von den Grenzlinien entsprechenden Liniensegmenten aus den Grenzlinien zu extrahieren, um die Teile auf der Grundlage der Liniensegmente derart zu erkennen, daß die Teile von einer Mehrzahl von Händen eines Ro­ boters ergriffen werden können, wobei das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver­ gleichsmodellen, welche vorab auf der Grundlage von Daten festgelegt werden, welche eine Formgebung spe­ zifizieren, wenn eine Mehrzahl von vorbestimmten Ab­ schnitten der Teile jeweils vorbestimmte Positionen einnehmen, wobei die Mehrzahl von Vergleichsmodellen derart angeordnet ist, daß sie der Mehrzahl der vor­ bestimmten Abschnitte entsprechen, um die Mehrzahl der vorbestimmten Abschnitte in dem zweidimensionalen Bild zu erkennen, wobei jeder der Mehrzahl der vorbe­ stimmten Abschnitte eine einfache Form aufweist, um das Halten des Teils zu ermöglichen;
Einrichtungen zum Speichern von Handinformationen für die Mehrzahl von Händen, von denen jede das Halten von jedem der Mehrzahl der vorbestimmten Abschnitte zuläßt;
Einrichtungen zum Erfassen eines vorbestimmten Ab­ schnitts, die aus der Mehrzahl von vorbestimmten Ab­ schnitten einen Bereich des zweidimensionalen Bilds erfassen, der durch einen Vergleich mit der Mehrzahl von Vergleichsmodellen erkannt wird;
Einrichtungen zum Bestimmen einer Lage des vorbe­ stimmten Abschnitts, der von den Einrichtungen zum Erfassen des vorbestimmten Abschnitts erfaßt wird; und
Befehlseinrichtungen zum Auswählen und Positionieren einer Hand aus der Mehrzahl von Händen entsprechend dem vorbestimmten Abschnitt an der vorbestimmten Po­ sition, um den vorbestimmten Abschnitt zu greifen, wobei
eines der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgelegt wird, welche eine Kreisform spezifizieren, wenn der vorbestimmte Ab­ schnitt die vorbestimmte Position einnimmt.

2. Greifsystem nach Anspruch 1, gekennzeichnet durch Einrichtungen zum Ändern des Lagezustands der aufein­ anderliegenden Teile, wenn der vorbestimmte Abschnitt in dem zweidimensionalen Bild bei dem Vergleich mit der Mehrzahl von Vergleichsmodellen von den Einrich­ tungen zum Erfassen des vorbestimmten Abschnitts nicht erkannt wird.

3. Greifsystem nach Anspruch 1 oder 2, dadurch gekenn­ zeichnet, daß eines aus der Mehrzahl von Vergleichs­ modellen auf der Grundlage von Daten festgelegt wird, welche eine Formgebung spezifizieren, die Linienseg­ mente beinhaltet, die parallel zueinander verlaufen und miteinander die gleiche Länge aufweisen, wenn der vorbestimmte Abschnitt die vorbestimmte Position ein­ nimmt.

4. Greifsystem nach Anspruch 1 oder 2, dadurch gekenn­ zeichnet, daß eines aus der Mehrzahl von Vergleichs­ modellen auf der Grundlage von Daten festgelegt wird, welche eine Formgebung spezifizieren, die Linienseg­ mente beinhalten, die parallel zueinander verlaufen und voneinander unterschiedliche Länge aufweisen, wenn der vorbestimmte Abschnitt die vorbestimmte Po­ sition einnimmt.

5. Hochgeschwindigkeits-Greifsystem für übereinanderlie­ gende Gegenstände oder Teile zum Erzielen von Grenz­ linien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von den Grenzlinien entsprechenden Liniensegmenten aus den Grenzlinien zu extrahieren, um die Teile auf der Grundlage der Liniensegmente derart zu erkennen, daß die Teile von einer Hand eines Roboters ergriffen werden können, wobei das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver­ gleichsmodellen, welche vorab auf der Grundlage von Daten festgelegt werden, welche eine Formgebung spe­ zifizieren, wenn eine Mehrzahl von vorbestimmten Ab­ schnitten der Teile jeweils vorbestimmte Positionen einnehmen, wobei die Mehrzahl von Vergleichsmodellen derart angeordnet ist, daß sie der Mehrzahl der vor­ bestimmten Abschnitte entsprechen, um die Mehrzahl der vorbestimmten Abschnitte in dem zweidimensionalen Bild zu erkennen, wobei jeder der Mehrzahl der vorbe­ stimmten Abschnitte eine einfache Form aufweist, um das Halten des Teils zu ermöglichen;
Einrichtungen zum Speichern eines Vergleichsgrenzwerts, der vorab auf der Grundlage eines Neigungs­ grenzwinkels des vorbestimmten Abschnitts relativ zu der vorbestimmten Position festgelegt wird und der einen Bereich anzeigt, der das Halten des vorbestimm­ ten Abschnitts durch die Hand zuläßt und der einen zulässigen Nichtübereinstimmungsbereich zwischen dem vorbestimmten Abschnitt und dem Vergleichsmodell an­ zeigt;
Einrichtungen zum Erfassen des vorbestimmten Ab­ schnitts, die als den vorbestimmten Abschnitt einen Bereich in dem zweidimensionalen Bild erfassen, der sich innerhalb des Nichtübereinstimmungsbereichs be­ findet, der durch den Vergleichsgrenzwert bestimmt wird, und der anhand des Vergleichsmodells erkannt wird;
Einrichtungen zum Bestimmen einer Lage des erfaßten vorbestimmten Abschnitts; und
Befehlseinrichtungen zum Positionieren der Hand an der bestimmten Position des erfaßten vorbestimmten Abschnitts, um den vorbestimmten Abschnitt zu grei­ fen, wobei
eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgelegt wird, welche eine Kreisform spezifizieren, wenn der vorbestimmte Ab­ schnitt die vorbestimmte Position einnimmt, wobei der Vergleichsgrenzwert, der in den Einrichtungen zum Speichern eines Vergleichsgrenzwerts gespeichert ist, ein Wert ist, der auf der Grundlage einer Differenz zwischen einem Radius der Kreisform, wenn der vorbe­ stimmte Abschnitt die vorbestimmte Position einnimmt, und einem Radius einer im wesentlichen kreisförmigen Formgebung erzielt wird, wenn der vorbestimmte Abschnitt eine geneigte Lage einnimmt.

6. Hochgeschwindigkeits-Greifsystem für übereinanderlie­ gende Gegenstände oder Teile zum Erzielen von Grenz­ linien übereinanderliegender Gegenstände oder Teile von einem zweidimensionalen Bild, um eine Mehrzahl von den Grenzlinien entsprechenden Liniensegmenten aus den Grenzlinien zu extrahieren, um die Teile auf der Grundlage der Liniensegmente derart zu erkennen, daß die Teile von einer Hand eines Roboters ergriffen werden können, wobei das Greifsystem aufweist:
Einrichtungen zum Speichern einer Mehrzahl von Ver­ gleichsmodellen, welche vorab auf der Grundlage von Daten festgelegt werden, welche eine Formgebung spe­ zifizieren, wenn ein vorbestimmter Abschnitt des Teils eine vorbestimmte Position einnimmt, wobei das Vergleichsmodell derart angeordnet ist, daß es dem vorbestimmten Abschnitt entspricht, um den vorbe­ stimmten Abschnitt in dem zweidimensionalen Bild zu erkennen, wobei der vorbestimmte Abschnitt eine ein­ fache Form aufweist, um eine visuelle Erkennung zu ermöglichen;
Einrichtungen zum Speichern eines Lagevergleichsmo­ dells, welches vorab auf der Grundlage von Daten festgelegt wird, welche eine Formgebung spezifizie­ ren, wenn das Teil eine bestimmte Position einnimmt, wobei das Lagevergleichsmodell dazu dient, eine Lage des vorbestimmten Abschnitts auf der Grundlage der Erkennung des vorbestimmten Abschnitts zu spezifizie­ ren;
Einrichtungen zum Erfassen des vorbestimmten Ab­ schnitts, die als den vorbestimmten Abschnitt einen Bereich in dem zweidimensionalen Bild erfassen, der durch einen Vergleich mit dem Vergleichsmodell er­ kannt wird;
Einrichtungen zum Bestimmen einer Lage des erfaßten vorbestimmten Abschnitts;
Befehlseinrichtungen zum Positionieren der Hand an der bestimmten Position, um das Teil zu ergreifen;
Einrichtungen zum Berechnen eines Lagekorrekturbe­ trags, der eine Abweichung zwischen einer Lage des Teils, welches durch einen Vergleich zwischen einer Mehrzahl von Liniensegmenten aufgenommen wird, die aus Grenzlinien eines zweidimensionalen Bilds eines einzelnen Teils extrahiert werden, und dem Lagever­ gleichsmodell anzeigt, wobei dies in dem Fall durch­ geführt wird, in dem das einzelne Teil durch Halten des vorbestimmten Abschnitts durch die Hand ergriffen wird; und
Befehlseinrichtungen zum Korrigieren der Lage des Teils auf der Grundlage des berechneten Lagekorrek­ turbetrags.

7. Greifsystem nach Anspruch 6, dadurch gekennzeichnet, daß eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgelegt wird, welche eine kreisförmige Formgebung spezifizieren, wenn der vor­ bestimmte Abschnitt die vorbestimmte Position ein­ nimmt, wobei als Reaktion auf einen Korrekturbefehl von den Befehlseinrichtungen für die Lagekorrektur eine Lagekorrektur durch Bewegung des Massenschwer­ punkts des Gewichts des Teils durchgeführt wird, wenn das Teil ergriffen wird.

8. Greifsystem nach Anspruch 6, dadurch gekennzeichnet, daß eines aus der Mehrzahl von Vergleichsmodellen auf der Grundlage von Daten festgelegt wird, welche eine Formgebung spezifizieren, die Liniensegmente beinhal­ tet, die zueinander parallel verlaufen und miteinan­ der die gleiche Länge aufweisen, wenn der vorbe­ stimmte Abschnitt die vorbestimmte Position einnimmt, wobei als Reaktion auf einen Korrekturbefehl von den Befehlseinrichtungen für die Lagekorrektur eine Lage­ korrektur durch Bewegungen der Hand durchgeführt wird, wenn das Teil ergriffen wird.