-
1. Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein Erkennungsverfahren und eine Erkennungsvorrichtung zum Erkennen einer dreidimensionalen Position eines Objekts in einem System, das einen Roboter und eine Bildaufnahmeeinheit umfasst, die benachbart zu einem distalen Ende des Roboters gelagert ist.
-
2. Beschreibung des Standes der Technik
-
Zum genauen Durchführen eines Arbeitsvorgangs, wie beispielsweise des Beförderns oder Verarbeitens eines Werkstücks unter Verwendung eines Roboters, ist es erforderlich, die Position, an der sich das Werkstück befindet, genau zu erkennen. So ist es in den letzten Jahren weit verbreitet, die Position des Werkstücks, insbesondere die dreidimensionale Position des Werkstücks, unter Verwendung einer Kamera oder dergleichen visuell zu erkennen.
-
In dem registrierten
Japanischen Patent Nr. 3859371 , der
Japanischen Patent-Auslegeschrift Nr. 2012-192473 und der
Japanischen Patent-Auslegeschrift Nr. 2004-90183 ist das Bestimmen einer dreidimensionalen Position eines Werkstücks oder dergleichen mit mehreren Kameras offenbart. Ferner ist in den
Japanischen Patent-Auslegeschriften Nr. 2014-34075 und
2009-241247 das Bestimmen einer dreidimensionalen Position eines Werkstücks unter Verwendung einer Kamera, die mehrere Linsen umfasst, offenbart.
-
In den vorhergehend angeführten herkömmlichen Techniken besteht indes ein Problem, dass aufgrund der Verwendung von mehreren Kameras oder mehreren Linsen die Struktur kompliziert wird und die Kosten dementsprechend steigen.
-
Ferner ist in einer Stereokamera das Verbinden eines Stereopaares von Bildern miteinander überaus teuer. Wenn die Qualität der Verbindung des Stereopaares von Bildern gering ist, nimmt auch die Zuverlässigkeit der Stereokamera ab.
-
Die vorliegende Erfindung wurde im Hinblick auf die vorhergehend genannten Umstände gemacht und eine Aufgabe der Erfindung besteht darin, ein Erkennungsverfahren zum Erkennen einer dreidimensionalen Position eines Objekts, wobei die Zuverlässigkeit erhöht und die Kosten verringert werden, ohne dass mehrere Kameras oder mehrere Linsen verwendet werden, und eine Erkennungsvorrichtung zum Durchführen eines solchen Verfahrens bereitzustellen.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Zum Erreichen der vorhergehenden Aufgabe wird gemäß einer ersten Ausführungsform der vorliegenden Erfindung ein Erkennungsverfahren zum Erkennen einer dreidimensionalen Position eines Objekts ein einem System bereitgestellt, das einen Roboter und eine Bildaufnahmeeinheit umfasst, die benachbart zu einem distalen Ende des Roboters gelagert ist, wobei das Erkennungsverfahren die folgenden Schritte umfasst: Aufnehmen eines ersten Bildes und eines zweiten Bildes durch die Bildaufnahmeeinheit, während der Roboter sich bewegt; Speichern erster Positions/Ausrichtungsinformationen des Roboters, wenn das erste Bild aufgenommen wird; Speichern zweiter Positions/Ausrichtungsinformationen des Roboters, wenn das zweite Bild aufgenommen wird; Erkennen des Objekts von dem ersten Bild und Speichern erster Positionsinformationen des Objekts in einem Bildaufnahmeeinheit-Koordinatensystem; Erkennen des Objekts von dem zweiten Bild und Speichern zweiter Positionsinformationen des Roboters in dem Bildaufnahmeeinheit-Koordinatensystem; Berechnen erster Sichtlinieninformationen des Objekts in einem Roboterkoordinatensystem unter Verwendung der ersten Positions/Ausrichtungsinformationen des Roboters und der ersten Positionsinformationen des Objekts und Berechnen zweiter Sichtlinieninformationen des Objekts in dem Roboterkoordinatensystem unter Verwendung der zweiten Positions/Ausrichtungsinformationen des Roboters und der zweiten Positionsinformationen des Objekts; und Erkennen einer dreidimensionalen Position des Objekts basierend auf einem Schnittpunkt der ersten Sichtlinieninformationen und der zweiten Sichtlinieninformationen.
-
Gemäß einer zweiten Ausführungsform umfasst das Erkennungsverfahren der ersten Ausführungsform ferner die folgenden Schritte: Erkennen von einem oder mehreren Merkmalspunkten in dem zweiten Bild, die einen oder mehrere in dem ersten Bild erkannte Merkmalspunkte umfassen; Berechnen jedes Abstands zwischen dem einen oder den mehreren Merkmalspunkten in dem ersten Bild und dem einen oder den mehreren Merkmalspunkten in dem zweiten Bild; und Bestimmen des Merkmalspunkts, für den der Abstand der kürzeste ist, als das Objekt.
-
Gemäß einer dritten Ausführungsform wird in dem Erkennungsverfahren der ersten oder zweiten Ausführungsform ein Scheinwerferlicht auf das Objekt projiziert.
-
Gemäß einer vierten Ausführungsform umfasst das Erkennungsverfahren der ersten oder zweiten Ausführungsform ferner die folgenden Schritte: Erkennen von mindestens drei Merkmalspunkten, die sich in dem ersten Bild befinden, in dem zweiten Bild; Berechnen der ersten Sichtlinieninformationen und der zweiten Sichtlinieninformationen, wobei jeder von den mindestens drei Merkmalspunkten das Objekt ist; und Erkennen einer dreidimensionalen Position von jedem der mindestens drei Merkmalspunkte basierend auf jedem Schnittpunkt der berechneten ersten Sichtlinieninformationen und zweiten Sichtlinieninformationen, und dadurch Erkennen einer dreidimensionalen Position/Ausrichtung eines Werkstücks, die die mindestens drei Merkmalspunkte umfasst.
-
Gemäß einer fünften Ausführungsform wird eine Erkennungsvorrichtung zum Erkennen einer dreidimensionalen Position eines Objekts in einem System bereitgestellt, das einen Roboter und eine Bildaufnahmeeinheit umfasst, die benachbart zu einem distalen Ende des Roboters gelagert ist, wobei die Erkennungsvorrichtung Folgendes umfasst: eine Bildspeichereinheit, die ein erstes Bild und ein zweites Bild speichert, das durch die Bildaufnahmeeinheit aufgenommen wird, während der Roboter sich bewegt; eine Positions/Ausrichtungsinformationsspeichereinheit, die erste Positions/Ausrichtungsinformationen des Roboters, wenn das erste Bild aufgenommen wird, und zweite Positions/Ausrichtungsinformationen des Roboters speichert, wenn das zweite Bild aufgenommen wird; eine Positionsinformationsspeichereinheit, die ein Objekt von dem ersten Bild erkennt und erste Positionsinformationen des Objekts in einem Bildaufnahmeeinheit-Koordinatensystem speichert, und das Objekt von dem zweiten Bild erkennt und zweite Positionsinformationen des Objekts in dem Bildaufnahmeeinheit-Koordinatensystem speichert; eine Sichtlinieninformationsberechnungseinheit, die erste Sichtlinieninformationen des Objekts in einem Roboterkoordinatensystem unter Verwendung der ersten Positions/Ausrichtungsinformationen des Roboters und der ersten Positionsinformationen des Objekts berechnet und zweite Sichtlinieninformationen des Objekts in dem Roboterkoordinatensystem unter Verwendung der zweiten Positions/Ausrichtungsinformationen des Roboters und der zweiten Positionsinformationen des Objekts berechnet; und eine Einheit zum Erkennen einer dreidimensionalen Position, die eine dreidimensionale Position des Objekts basierend auf einem Schnittpunkt der ersten Sichtlinieninformationen und der zweiten Sichtlinieninformationen erkennt.
-
Gemäß einer sechsten Ausführungsform umfasst die Erkennungsvorrichtung der fünften Ausführungsform ferner Folgendes: eine Merkmalspunkt-Erkennungseinheit, die in dem zweiten Bild einen oder mehrere Merkmalspunkte erkennt, die sich in dem ersten Bild befinden; eine Abstandsberechnungseinheit, die jeden Abstand zwischen dem einen oder den mehreren Merkmalspunkten in dem ersten Bild und dem einen oder den mehreren Merkmalspunkten in dem zweiten Bild berechnet; und eine Objektbestimmungseinheit, die den Merkmalspunkt, für den der Abstand der kürzeste ist, als das Objekt bestimmt.
-
Gemäß einer siebten Ausführungsform umfasst die Erkennungsvorrichtung der fünften oder sechsten Ausführungsform ferner einen Projektor, der ein Scheinwerferlicht auf das Objekt projiziert.
-
Gemäß einer achten Ausführungsform umfasst die Erkennungsvorrichtung der fünften oder sechsten Ausführungsform ferner eine Merkmalspunkt-Erkennungseinheit, die in dem zweiten Bild mindestens drei Merkmalspunkte erkennt, die sich in dem ersten Bild befinden, wobei die Sichtlinien-Berechnungseinheit die ersten Sichtlinieninformationen und die zweiten Sichtlinieninformationen berechnet, wobei jeder von den mindestens drei Merkmalspunkten das Objekt ist, und wobei die Einheit zur Erkennung der dreidimensionalen Position einen dreidimensionalen Punkt von jedem der mindestens drei Merkmalspunkte basierend auf jedem Schnittpunkt der berechneten ersten Sichtlinieninformationen und zweiten Sichtlinieninformationen erkennt, wodurch eine dreidimensionale Position/Ausrichtung eines Werkstücks erkannt wird, die die mindestens drei Merkmalspunkte umfasst.
-
Diese Aufgaben, Merkmale und Vorteile sowie andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung gehen aus einer detaillierten Beschreibung von Ausführungsbeispielen der vorliegenden Erfindung hervor, die in den begleitenden Zeichnungen veranschaulicht sind.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist eine schematische Ansicht eines Systems, das eine Erkennungsvorrichtung umfasst, die auf der vorliegenden Erfindung basiert;
-
2 ist ein Ablaufdiagramm, das den Betrieb der Erkennungsvorrichtung veranschaulicht, die in 1 veranschaulicht ist;
-
3 ist eine Ansicht, die einen Roboter und Bilder veranschaulicht, die mit der Bewegung des Roboters verbunden sind;
-
4A ist eine erste Ansicht, die den Roboter und das verbundene Bild veranschaulicht;
-
4B ist eine zweite Ansicht, die den Roboter und das verbundene Bild veranschaulicht;
-
4C ist eine dritte Ansicht, die den Roboter und das verbundene Bild veranschaulicht; und
-
4D ist eine vierte Ansicht, die den Roboter und das verbundene Bild veranschaulicht.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Ausführungsformen der vorliegenden Erfindung werden nun unter Bezugnahme auf die begleitenden Zeichnungen beschrieben. Über die Zeichnungen hinweg sind ähnlichen Elementen gleiche Bezugszeichen zugewiesen. Der Maßstab der Zeichnungen wurde auf zweckmäßige Art und Weise verändert, um das Verständnis zu erleichtern.
-
1 ist eine schematische Ansicht eines Systems, das eine Erkennungsvorrichtung umfasst, die auf der vorliegenden Erfindung basiert. Wie in 1 veranschaulicht, umfasst das System 1 einen Roboter 10 und eine Steuervorrichtung 20, die den Roboter 10 steuert. Obgleich der Roboter 10, der in 1 veranschaulicht ist, ein vertikal gelenkiger Roboter ist, kann irgendein anderer Typ von Roboter eingesetzt werden. Ferner ist eine Kamera 30 an einem distalen Ende des Roboters 10 gelagert. Eine Position/Ausrichtung der Kamera 30 wird in Abhängigkeit von dem Roboter 10 bestimmt. Anstatt der Kamera 30 kann irgendein anderer Typ von Bildaufnahmeeinheit verwendet werden.
-
Ferner ist in 1 ein Projektor 35 veranschaulicht, der ausgestaltet ist, um ein Scheinwerferlicht auf ein Objekt W zu projizieren. Die Kamera 30 kann unter Verwendung des Projektors 35 ein deutliches Bild erkennen. So kann eine Bildverarbeitungseinheit 31, die in der Folge beschrieben wird, die Bildverarbeitung eines aufgenommenen Bildes auf zufriedenstellende Art und Weise durchführen. Sie kann derart ausgestaltet sein, dass die Position/Ausrichtung des Projektors 35 durch die Steuervorrichtung 20 gesteuert wird. Währenddessen kann der Projektor 35 auf dem Roboter 10 angebracht sein.
-
Die Steuervorrichtung 20, die ein digitaler Computer sein kann, steuert den Roboter 10, während sie gleichzeitig als eine Erkennungsvorrichtung dient, die eine dreidimensionale Position des Objekts W erkennt. Wie in 1 veranschaulicht, umfasst die Steuervorrichtung 20 eine Bildspeichereinheit 21, die ein erstes Bild und ein zweites Bild speichert, die durch die Kamera 30 aufgenommen werden, während der Roboter 10 sich bewegt.
-
Zusätzlich umfasst die Steuervorrichtung 20 eine Positions/Ausrichtungsinformationsspeichereinheit 22, die erste Positions/Ausrichtungsinformationen des Roboters 10, wenn das erste Bild aufgenommen wird, und zweite Positions/Ausrichtungsinformationen des Roboters 10 speichert, wenn das zweite Bild aufgenommen wird, und eine Positionsinformationsspeichereinheit 23, die das Objekt W von dem ersten Bild erkennt und erste Positionsinformationen des Objekts W in einem Bildaufnahmeeinheit-Koordinatensystem speichert und das Objekt W von dem zweiten Bild erkennt und zweite Positionsinformationen des Objekts W in dem Bildaufnahmeeinheit-Koordinatensystem speichert. Ferner umfasst die Steuervorrichtung 20 eine Bildverarbeitungseinheit 31, die das erste Bild und das zweite Bild verarbeitet und ein Objekt und/oder einen Merkmalspunkt erkennt.
-
Ferner umfasst die Steuervorrichtung 20 eine Sichtlinieninformationsberechnungseinheit 24, die erste Sichtlinieninformationen des Objekts W in einem Roboterkoordinatensystem unter Verwendung erster Positions/Ausrichtungsinformationen des Roboters 10 und erster Positionsinformationen des Objekts W berechnet und zweite Sichtlinieninformationen des Objekts W in dem Roboterkoordinatensystem unter Verwendung zweiter Positions/Ausrichtungsinformationen des Roboters 10 und zweiter Positionsinformationen des Objekts W berechnet, und eine Einheit zur Erkennung der dreidimensionalen Position 25, die eine dreidimensionale Position des Objekts W basierend auf einem Schnittpunkt der ersten Sichtlinieninformationen und der zweiten Sichtlinieninformationen erkennt.
-
Die Sichtlinieninformationseinheit 24 kann die ersten Sichtlinieninformationen beziehungsweise die zweiten Sichtlinieninformationen berechnen, wobei jeder von den mindestens drei Merkmalspunkten das Objekt ist. Ferner kann die Einheit zur Erkennung der dreidimensionalen Position 25 eine dreidimensionale Position von jedem der mindestens drei Merkmalspunkte basierend auf dem Schnittpunkt der berechneten ersten Sichtlinieninformationen und zweiten Sichtlinieninformationen erkennen und dadurch eine dreidimensionale Position/Ausrichtung eines Werkstücks berechnen, die die mindestens drei Merkmalspunkte umfasst.
-
Ferner umfasst die Steuervorrichtung 20 eine Bewegungsrichtungsbestimmungseinheit 26, die die Bewegungsrichtung bestimmt, in die die Kamera 30 sich über die Bewegung des Roboters 10 bewegt, eine Merkmalspunkt-Erkennungseinheit 27, die in dem zweiten Bild einen oder mehrere Merkmalspunkte erkennt, die sich in dem ersten Bild befinden, eine Abstandsberechnungseinheit 28, die jeden Abstand zwischen einem oder mehreren Merkmalspunkten in dem ersten Bild und einem oder mehreren Merkmalspunkten in dem zweiten Bild berechnet, und eine Objektbestimmungseinheit 29, die einen Merkmalspunkt, für den der vorhergehende Abstand der kürzeste ist, als das Objekt bestimmt.
-
2 ist ein Ablaufdiagramm, das den Betrieb der Erkennungsvorrichtung veranschaulicht, die in 1 bildlich veranschaulicht ist, und 3 ist eine Ansicht, die den Roboter und Bilder veranschaulicht, die mit der Bewegung des Roboters verbunden sind. Unter Bezugnahme auf 2 und 3 wird nun die Beschreibung des Betriebs der Erkennungsvorrichtung, die auf der vorliegenden Erfindung basiert, vorgenommen. Der Roboter 10 bewegt sich gemäß einem vorbestimmten Programm und die Kamera 30 nimmt das Objekt W periodisch und kontinuierlich auf. Das Objekt W kann zum Beispiel der Mittelpunkt einer Öffnung eines Werkstücks oder ein Eckabschnitt des Werkstücks sein.
-
Bei Schritt S11 in 2 nimmt die Kamera 30 ein erstes Bild V1 des Objekts W auf, während der Roboter 10 sich bewegt. Auf der rechten Seite von 3 ist das erste Bild V1 bildlich dargestellt. Das aufgenommene erste Bild V1 wird in der Bildspeichereinheit 21 gespeichert. Anschließend werden im Schritt S12 die ersten Positions/Ausrichtungsinformationen PR1 des Roboters 10, wenn das erste Bild V1 aufgenommen wird, in der Positions/Ausrichtungsinformationsspeichereinheit 22 gespeichert.
-
Anschließend wird bei Schritt S13 eine Bestimmung vorgenommen, ob das Objekt W in dem ersten Bild V1 vorhanden ist. In 3 ist das Objekt W links von dem ersten Bild V1 in dem Bildaufnahmeeinheit-Koordinatensystem bildlich dargestellt. In einem solchen Fall schreitet das Verfahren zu Schritt S14 fort und die ersten Positionsinformationen PW1 des Objekts W in dem ersten Bild V1 werden in der Positionsinformationsspeichereinheit 23 gespeichert. Währenddessen kehrt das Verfahren, wenn das Objekt W nicht in dem ersten Bild V1 vorhanden ist, zum Schritt S11 zurück.
-
Anschließend nimmt im Schritt S15 die Kamera 30 ein zweites Bild V2 des Objekts W auf. Auf der linken Seite von 3 ist das zweite Bild V2 bildlich dargestellt. Das zweite Bild V2 unterscheidet sich von dem ersten Bild V1, da der Roboter 10 sich sogar weiter bewegt, nachdem das erste Bild V1 aufgenommen wurde. Das aufgenommene zweite Bild V2 wird in der Bildspeichereinheit 21 gespeichert. Anschließend werden im Schritt S16 die zweiten Positions/Ausrichtungsinformationen PR2 des Roboters 10, wenn das zweite Bild V2 aufgenommen wird, in der Positions/Ausrichtungsinformationsspeichereinheit 22 gespeichert. Wie vorhergehend erwähnt, unterscheiden sich, da der Roboter 10 sich bewegt, die zweiten Positions/Ausrichtungsinformationen PR2 von den ersten Positions/Ausrichtungsinformationen PR1.
-
In 3 ist das Objekt W rechts vom zweiten Bild V2 in dem Bildaufnahmeeinheit-Koordinatensystem bildlich dargestellt. Die zweiten Positionsinformationen PW2 des Objekts W im zweiten Bild V2 werden in der Positionsinformationsspeichereinheit 23 gespeichert (Schritt S17). Wie in 3 ersichtlich, wird die Position des Objekts W im zweiten Bild V2 in Bezug zur Position des Objekts W im ersten Bild V1 nach rechts bewegt. Mit anderen Worten, befindet sich in diesem Fall das Objekt W sogar dann im Gesichtsfeld der Kamera 30, wenn die Kamera 30 sich bewegt.
-
Anschließend berechnet im Schritt S18 die Sichtlinien-Informationsberechnungseinheit 24 erste Sichtlinieninformationen L1 basierend auf den ersten Positions/Ausrichtungsinformationen PR1 des Roboters 10 und den ersten Positionsinformationen PW1 des Objekts W. Auf ähnliche Weise berechnet die Sichtlinien-Informationsberechnungseinheit 24 zweite Sichtlinieninformationen L2 basierend auf den zweiten Positions/Ausrichtungsinformationen PR2 des Roboters 10 und den zweiten Positionsinformationen PW2 des Objekts W. Wie aus 3 ersichtlich, stellen die ersten und die zweiten Sichtlinieninformationen L1 und L2 Sichtlinien dar, die sich jeweils von der Kamera 30 zum Objekt W erstrecken. Die ersten und die zweiten Sichtlinieninformationen L1 und L2 sind in dem ersten Bild V1 beziehungsweise dem zweiten Bild V2 von 3 durch Kreuzmarkierungen dargestellt.
-
Anschließend erkennt bei Schritt S19 die dreidimensionale Einheit zur Erkennung der dreidimensionalen Position 25 eine dreidimensionale Position des Objekts W basierend auf einem Schnittpunkt oder einem ungefähren Schnittpunkt der ersten und der zweiten Sichtlinieninformationen L1 und L2. Auf diese Weise werden gemäß der vorliegenden Erfindung die zwei Bilder V1 und V2, die aufgenommen werden, während bewirkt wird, dass der Roboter 10 sich bewegt, derart verwendet, dass eine dreidimensionale Position des Objekts W erkannt werden kann, ohne wie in der herkömmlichen Technik mehrere Kameras oder mehrere Linsen zu verwenden. So ist es gemäß der vorliegenden Erfindung möglich, die Kosten zu minimieren, während die Gesamtausgestaltung des Systems 1 vereinfacht wird.
-
Ferner werden in der vorliegenden Erfindung das erste Bild V1 und das zweite Bild V2 durch ein gemeinsames Objekt W, wie zum Beispiel der Mittelpunkt einer Öffnung oder ein Eckabschnitt, miteinander verbunden. So können das erste Bild V1 und das zweite Bild V2 basierend auf dem gemeinsamen Objekt W positiv als ein Stereopaar verbunden werden. Sie kann derart ausgestaltet sein, dass die Verbindung durch die Bildspeicherungseinheit 21 durchgeführt wird.
-
Ferner kann in der vorliegenden Erfindung, da die Verbindung basierend auf dem Objekt W durchgeführt wird, die Verbindung der Bilder sogar dann kontinuierlich und aufeinanderfolgend durchgeführt werden, während der Roboter 10 sich mit einer hohen Geschwindigkeit bewegt. Mit anderen Worten, es ist nicht notwendig, die Verbindung der Bilder nach der Bewegungshandhabung des Roboters 10 durchzuführen. Ferner kann, da die Verbindung eines Stereopaares einfach und positiv durchgeführt werden kann, die Zuverlässigkeit im Vergleich zur herkömmlichen Technik erhöht werden.
-
4A bis 4D sind Ansichten, die den Roboter und die verbundenen Bilder veranschaulichen. In diesen Figuren sind der Roboter 10, der sich kontinuierlich bewegt, und Bilder veranschaulicht, die in Folge an der Position/Ausrichtung des Roboters 10 in jeder von 4A bis 4D aufgenommen werden. Ferner sind auf der rechten Seite jeder Figur die aufgenommenen Bilder teilweise und in einem vergrößerten Maßstab veranschaulicht.
-
Es sei angenommen, dass das durch die Kamera 30 des Roboters 10 in der 4A veranschaulichten Position/Ausrichtung aufgenommene Bild das vorhergehend erwähnte erste Bild V1 ist und dass das durch die Kamera 30 des Roboters 10 in der in 4B veranschaulichten Position/Ausrichtung aufgenommene Bild das vorhergehend genannte zweite Bild V2 ist. Ferner sind in 4B und 4C die Zustände, die auftreten, während der Roboter 10 sich vom Zustand von 4A zum Zustand von 4D bewegt, aufeinanderfolgend veranschaulicht. Es sei ebenso angenommen, dass das in 4B bildlich dargestellte Bild ein Bild V1' ist und dass das in 4C bildlich dargestellte Bild ein Bild V'' ist.
-
In 4A bis 4D befinden sich mehrere Merkmalspunkte W an vorbestimmten Positionen. Jedes der aufgenommenen Bilder V1, V1', V1'' und V2 umfasst einige der mehreren Merkmalspunkte W.
-
Es sei angenommen, dass einer von einigen Merkmalspunkten W, die in dem ersten Bild V1 von 4A enthalten sind, ein Objekt Wa ist. Wie in 4A bis 4D veranschaulicht, wird, wenn der Roboter 10 bewirkt, dass die Kamera 30 sich nach links bewegt, die Bildaufnahmeposition des Bildes auch entsprechend nach links bewegt. So ist das Objekt Wa, das in 4B veranschaulicht ist, von der Position Wa' beabstandet, die dem Objekt Wa in 4A entspricht. Ebenso ist das Objekt Wa, das in 4C veranschaulicht ist, von der Position Wa'' beabstandet, die dem Objekt Wa in 4B entspricht. Ebenso ist das Objekt Wa, das in 4D veranschaulicht ist, von der Position Wa''' beabstandet, die dem Objekt Wa in 4C entspricht.
-
Auf diese Weise wird, wenn ein oder mehrere Bilder V1', V1'' zwischen dem ersten Bild V1 und dem zweiten Bild V2 aufgenommen werden, in den zwei aufeinanderfolgenden Bildern der Abstand zwischen der Objektposition Wa'' in dem Bild V1' und jedem Merkmalspunkt in dem Bild V1'' berechnet und es wird der kürzeste der Abstände als das Objekt Wa bestimmt. Zum Beispiel sind der Abstand D1, der in 4B bildlich dargestellt ist, der Abstand D2, der in 4C bildlich dargestellt ist, und der Abstand D3, der in 4D bildlich dargestellt ist, die kürzesten Abstände, die das Objekt Wa bestimmen. Diese Berechnungsverarbeitung kann durch die Abstandberechnungseinheit 28 durchgeführt werden.
-
Da das einzelne Objekt Wa zwischen dem ersten Bild V1 und dem zweiten Bild V2 unter Verwendung anderer aufeinanderfolgender Bilder V1', V1'', ..., verfolgt wird, kann die Verbindung zwischen den mehreren Bildern einfach und positiv durchgeführt werden.
-
Die Objektbestimmungseinheit 29 kann den Merkmalspunkt W3, für den der Abstand zur Position W0 der kürzeste ist, als das Objekt bestimmen. In einem solchen Fall kann, sogar, wenn der Roboter 10 sich mit einer hohen Geschwindigkeit bewegt, die dreidimensionale Position des Objekts bestimmt werden, während die Bildverbindung einfach durchgeführt wird.
-
Mit Bezug auf 4A und 4B wurde beschrieben, dass eine Berechnung des Abstands zwischen der Position W0 und jedem der Merkmalspunkte W1 bis W3 in dem zweiten Bild V2 vorgenommen wird. Wie vorhergehend beschrieben, ist die Position W0 die Position, die mit dem Merkmalspunkt W1 am vorhergehenden Bildaufnahmezeitpunkt verbunden ist.
-
In dieser Hinsicht kann er derart ausgestaltet sein, dass die Position W0', die mit dem Merkmalspunkt W2 am vorhergehenden Bildaufnahmezeitpunkt verbunden ist, bestimmt wird und die Abstandsberechnungseinheit 28 die Distanz zwischen der Position W0' und jedem der Merkmalspunkte W1 bis W3 im zweiten Bild V2 berechnet. Dies gilt auch für den anderen Merkmalspunkt W3 usw. Mit anderen Worten, die Abstandsberechnungseinheit 28 kann jeden der Abstände zwischen den mehreren Merkmalspunkten in dem ersten Bild V1 zum vorhergehenden Bildaufnahmezeitpunkt und den mehreren Merkmalspunkten im zweiten Bild V2 berechnen.
-
Die Objektbestimmungseinheit 29 bestimmt den Merkmalspunkt, der den kürzesten Abstand aufweist, oder den Merkmalspunkt, der den Abstand aufweist, der von diesen Abständen am kürzesten ist, als das Objekt. Es versteht sich, dass ein zweckmäßigeres Objekt bestimmt werden kann, indem die Abstände für alle Merkmalspunkte in dem Bild berücksichtigt werden, wie vorhergehend beschrieben.
-
Unter den Werkstücken, die mehrere Merkmalspunkte aufweisen, befindet sich ein Werkstück, von dem die dreidimensionale Position/Ausrichtung unter Verwendung der dreidimensionalen Position von mindestens drei Merkmalspunkten bestimmt wird. Beim Bestimmen der dreidimensionalen Position/Ausrichtung eines solchen Werkstücks erkennt die Merkmalspunkt-Erkennungseinheit 27 anfangs im zweiten Bild V2 mindestens drei Merkmalspunkte, die sich in dem ersten Bild V1 befinden.
-
Die Sichtlinieninformationsberechnungseinheit 24 berechnet die ersten Sichtlinieninformationen und die zweiten Sichtlinieninformationen, wobei jeder von den mindestens drei Merkmalspunkten das Objekt ist. Ferner erkennt die Einheit zur Erkennung der dreidimensionalen Position 25 die dreidimensionale Position von jedem der mindestens drei Merkmalspunkte basierend auf dem Schnittpunkt der berechneten ersten Sichtlinieninformationen und zweiten Sichtlinieninformationen. Auf diese Weise kann die Einheit zur Erkennung der dreidimensionalen Position 25 die dreidimensionale Position/Ausrichtung des Werkstücks erkennen.
-
VORTEIL DER ERFINDUNG
-
In der ersten und fünften Ausführungsform wird, da zwei aufgenommene Bilder verwendet werden, während der Roboter bewegt wird, die Verwendung mehrerer Bildaufnahmeeinheiten oder mehrerer Linsen beseitigt. So ist es möglich, Kosten zu sparen, während die Gesamtausgestaltung des Systems vereinfacht wird.
-
Ferner werden das erste Bild und das zweite Bild durch ein gemeinsames Objekt, wie zum Beispiel eine Öffnung oder ein Eckabschnitt, miteinander verbunden. Infolgedessen werden das erste Bild und das zweite Bild positiv als ein Stereopaar miteinander verbunden. Ferner ist es, da die Verbindung basierend auf dem Objekt durchgeführt wird, möglich, die Verbindung der Bilder sogar dann kontinuierlich und aufeinanderfolgend durchzuführen, wenn der Roboter sich mit einer hohen Geschwindigkeit bewegt. So ist es nicht notwendig, die Verbindung der Bilder nach der Bewegungshandhabung des Roboters durchzuführen. Ferner kann die Verbindung eines Stereopaares derart einfach und positiv durchgeführt werden, dass die Zuverlässigkeit im Vergleich zur herkömmlichen Technik erhöht werden kann.
-
In der zweiten und sechsten Ausführungsform kann die dreidimensionale Position des Objekts während des Durchführens der Verbindung der Bilder sogar dann einfach durchgeführt werden, wenn der Roboter sich mit hoher Geschwindigkeit bewegt, da der Merkmalspunkt, der den kürzesten Abstand aufweist, als das Objekt verwendet wird.
-
In der dritten und siebten Ausführungsform kann ein deutliches Bild erhalten werden, derart, dass die Bildverarbeitung auf zufriedenstellende Art und Weise durchgeführt werden kann.
-
In der vierten und achten Ausführungsform kann die dreidimensionale Position/Ausrichtung des Werkstücks durch die dreidimensionale Position der drei Merkmalspunkte erkannt werden, die das Werkstück aufweist.
-
Obgleich die vorliegende Erfindung unter Bezugnahme auf Ausführungsbeispiele davon beschrieben wurde, wird der Fachmann verstehen, dass die vorhergehend beschriebenen Änderungen wie auch verschiedene andere Änderungen, Weglassungen und Ergänzungen möglich sind, ohne den Schutzbereich der vorliegenden Erfindung zu verlassen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 3859371 [0003]
- JP 2012-192473 [0003]
- JP 2004-90183 [0003]
- JP 2014-34075 [0003]
- JP 2009-241247 [0003]