-
Gebiet der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem und auf ein Bildverarbeitungsverfahren.
-
Stand der Technik
-
Es sind Systeme bekannt, die dazu ausgebildet sind, einen visuellen Sensor an einem beweglichen Teil eines Industrieroboters oder einer sonstigen Industriemaschine anzubringen und eine Sichtprüfung, eine Positionserkennung und dergleichen eines Werkstücks durch Bildverarbeitung durchzuführen (siehe zum Beispiel PTL 1). Um einen visuellen Sensor an einem beweglichen Teil eines Industrieroboters oder dergleichen anzubringen und eine Positionserkennung und dergleichen eines Werkstücks durchzuführen, ist es erforderlich, eine relative Positionsbeziehung eines Koordinatensystems des visuellen Sensors mit einem Standardkoordinatensystem zu ermitteln, das für den Industrieroboter oder dergleichen festgelegt ist, d. h., eine Kalibrierung des visuellen Sensors. Auf dem entsprechenden Gebiet sind verschiedene Techniken als Technologien zur Kalibrierung eines visuellen Sensors bekannt (z. B. PTL 2 bis 5).
-
In einem Robotersystem, wie oben beschrieben, müssen Einstellungen durchgeführt werden, um eine Kamera auf eine Prüfungszielposition zu fokussieren. In einem solchen Fall wird der Abstand zwischen einem Zielobjekt und der Kamera im Allgemeinen dadurch eingestellt, dass ein Benutzer eine Einstellung durch Drehen eines Fokussierrings der Kamera durchführt oder der Benutzer den Roboter durch Betätigen eines Programmierhandgeräts bewegt. Demgegenüber beschreibt PTL 5, dass „ein Bildverarbeitungssystem SYS eine Normallinie V in Bezug auf einen festgelegten Messpunkt Wp auf einem bestimmten Werkstück W gemäß einem Platzierungszustand des Werkstücks W bestimmt und die Position und die Lage einer zweidimensionalen Kamera 310 so variiert, dass die bestimmte Normallinie V mit der optischen Achse der zweidimensionalen Kamera 310 übereinstimmt (S1). Durch Variieren des Abstands zwischen der zweidimensionalen Kamera 310 und dem Messpunkt Wp so, dass die bestimmte Normallinie V mit der optischen Achse der zweidimensionalen Kamera 310 übereinstimmt, fokussiert das Bildverarbeitungssystem SYS die zweidimensionale Kamera 310 auf den Messpunkt Wp.“ (Zusammenfassung).
-
Liste der Anführungen
-
Patentliteratur
-
- [PTL 1] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2018-91774 A
- [PTL 2] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2014-128845 A
- [PTL 3] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. H8-210816 A
- [PTL 4] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2018-192569 A
- [PTL 5] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2018-194542 A
-
Übersicht
-
Technische Aufgabe
-
Während PTL 5 eine Konfiguration zum Durchführen eines Fokussierens durch Einstellen des Abstands zwischen einer Kamera und einem spezifischen Werkstück beschreibt, erfordert die Konfiguration in PTL 5 eine komplexe Verarbeitung wie zum Beispiel eine Verarbeitung zum Angeben der Form des Werkstücks, eine Verarbeitung zum Bestimmen des Platzierungszustands des Werkstücks und eine Verarbeitung zum Ermitteln einer Normallinie des Werkstücks sowie Einstellungen für die Verarbeitung. Ferner kann das Werkstück verschiedene Formen aufweisen, und daher wird eine Gewinnung von Platzierungsinformationen des Werkstücks, eine Gewinnung einer Normallinie und/oder eine Berechnung eines Fokussierungsgrades möglicherweise nicht korrekt durchgeführt.
-
Technische Lösung
-
Ein Aspekt der vorliegenden Offenbarung bezieht sich auf ein Bildverarbeitungssystem, das beinhaltet: eine Industriemaschine; einen visuellen Sensor; ein visuelles Muster zum Bestimmen einer relativen Positionsbeziehung zwischen dem visuellen Sensor und dem visuellen Muster, das an einem Erkennungszielpunkt platziert ist; eine Bildverarbeitungseinheit, die dazu ausgebildet ist, eine relative Positionsbeziehung zwischen dem visuellen Sensor und dem visuellen Muster aus einem durch den visuellen Sensor erfassten Bild des visuellen Musters zu bestimmen; und eine Fokussierungsvorgangs-Steuereinheit, die dazu ausgebildet ist zu bewirken, dass der visuelle Sensor auf das visuelle Muster fokussiert, indem sie bewirkt, dass der visuelle Sensor ein Bild des visuellen Musters erfasst, während sie eine relative Position zwischen dem visuellen Sensor und dem visuellen Muster in einer vorgegebenen Richtung mit dem visuellen Muster als Grundlage auf der bestimmten relativen Positionsbeziehung beruhend ändert, und einen Fokussierungsgrad des visuellen Musters in einem Zustand ermittelt, in dem das visuelle Muster in einem Sichtfeld des visuellen Sensors erfasst ist.
-
Ein weiterer Aspekt der vorliegenden Offenbarung bezieht sich auf ein Bildverarbeitungsverfahren, das beinhaltet: Bestimmen einer relativen Positionsbeziehung zwischen einem visuellen Sensor und einem visuellen Muster, das an einem Erkennungszielpunkt platziert ist, aus einem durch den visuellen Sensor erfassten Bild des visuellen Musters; und Bewirken, dass der visuelle Sensor auf das visuelle Muster fokussiert, durch Bewirken, dass der visuelle Sensor ein Bild des visuellen Musters erfasst, während eine relative Position zwischen dem visuellen Sensor und dem visuellen Muster in einer vorgegebenen Richtung mit dem visuellen Muster als Grundlage auf der bestimmten relativen Positionsbeziehung beruhend geändert wird, und Ermitteln eines Fokussierungsgrades des visuellen Musters in einem Zustand, in dem das visuelle Muster in einem Sichtfeld des visuellen Sensors erfasst ist.
-
Vorteilhafte Wirkungen der Erfindung
-
Ein Platzieren eines visuellen Musters an einem Erkennungszielpunkt ermöglicht es einem visuellen Sensor, automatisch auf den Punkt zu fokussieren, an dem das visuelle Muster platziert ist.
-
Die Aufgabe, die Merkmale und die Vorteile und sonstige Aufgaben, Merkmale und Vorteile werden aus der ausführlichen Beschreibung von typischen Ausführungsformen der vorliegenden Erfindung, die in den beigefügten Zeichnungen dargestellt sind, besser ersichtlich.
-
Figurenliste
-
- 1 ist eine graphische Darstellung, die eine Vorrichtungskonfiguration eines Robotersystems (eines Bildverarbeitungssystems) gemäß einer Ausführungsform darstellt.
- 2 ist eine graphische Darstellung, die schematische Hardware-Konfigurationen einer Steuervorrichtung eines visuellen Sensors und einer Robotersteuervorrichtung darstellt.
- 3 ist eine graphische Darstellung von Funktionsblöcken, die funktionale Konfigurationen der Steuervorrichtung des visuellen Sensors und der Robotersteuervorrichtung darstellt.
- 4 ist eine Draufsicht auf eine Kalibriervorrichtung.
- 5 ist ein Ablaufplan, der einen Fokussierungsvorgang darstellt.
- 6 ist eine graphische Darstellung, die ein Beispiel für Bilddaten eines durch eine Kamera erfassten Kennzeichens darstellt.
-
Beschreibung der Ausführungsformen
-
Als Nächstes wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben. In den referenzierten Zeichnungen sind ähnliche Komponenten oder Funktionsteile mit ähnlichen Zeichen versehen. Zum leichteren Verständnis verwenden die Zeichnungen gegebenenfalls unterschiedliche Maßstäbe. Ferner ist eine in einer Zeichnung dargestellte Konfiguration ein Beispiel für eine Umsetzung der vorliegenden Erfindung, und die vorliegende Erfindung ist nicht auf die dargestellte Konfiguration beschränkt.
-
1 ist eine graphische Darstellung, die eine Vorrichtungskonfiguration eines Robotersystems 100 gemäß einer Ausführungsform darstellt. Wie in 1 dargestellt, beinhaltet das Robotersystem 100 einen Industrieroboter (der im Folgenden als Roboter bezeichnet wird) 10 als Industriemaschine, eine Robotersteuervorrichtung 50, die den Roboter 10 steuert, einen visuellen Sensor 70 und eine Steuervorrichtung 20 eines visuellen Sensors, die den visuellen Sensor 70 steuert. Bei dem Robotersystem 100 handelt es sich um ein System zum Erkennen der Position eines Werkstücks auf Grundlage eines durch den visuellen Sensor 70 erfassten Bildes des Werkstücks und zum Ausführen von vorgegebenen Aufgaben wie zum Beispiel einer Prüfung, einer Handhabung und einer Bearbeitung des Werkstücks. Wenngleich es sich bei dem Roboter 10 in dem Beispiel in 1 um einen Vertikal-Knickarmroboter handelt, kann ein anderer Robotertyp verwendet werden.
-
Die Steuervorrichtung 20 des visuellen Sensors und die Robotersteuervorrichtung 50 sind durch eine Datenübertragungs-Schnittstelle verbunden und können verschiedene Typen von Informationen austauschen.
-
Ein Werkzeug 31 als Endeffektor ist an der Spitzenfläche eines Flansches 11 einer Armspitze des Roboters 10 angebracht. Bei dem Werkzeug 31 handelt es sich zum Beispiel um eine Hand zum Greifen eines Werkstücks. Der Roboter 10 führt eine vorgegebene Aufgabe wie zum Beispiel eine Handhabung eines Werkstücks gemäß einer Steuerung durch die Robotersteuervorrichtung 50 aus. Der visuelle Sensor 70 ist an einem Stützteil des Werkzeugs 31 (d. h., einem vorgegebenen beweglichen Teil des Roboters 10) angebracht.
-
Der visuelle Sensor 70 wird durch die Steuervorrichtung 20 des visuellen Sensors gesteuert und erfasst ein Bild eines Bilderfassungsziels wie zum Beispiel eines Werkstücks. Eine gewöhnliche zweidimensionale Kamera kann als visueller Sensor 70 verwendet werden, oder ein dreidimensionaler Sensor wie zum Beispiel eine Stereokamera kann verwendet werden. Der visuelle Sensor 70 beinhaltet einen Bildsensor (wie zum Beispiel ein CCD oder einen CMOS), der ein Subjektbild empfängt und eine photoelektrische Umwandlung an dem Bild durchführt, eine optische Linse, die das Subjektbild auf den Bildsensor kondensiert, und dergleichen. Der visuelle Sensor 70 überträgt erfasste Bilddaten an die Steuervorrichtung 20 des visuellen Sensors. Es ist zu beachten, dass 1 ein durch den visuellen Sensor 70 erfasstes Bild M1 einer Kalibriervorrichtung J in einem in 1 dargestellten Zustand darstellt.
-
2 ist eine graphische Darstellung, die schematische Hardware-Konfigurationen der Steuervorrichtung 20 des visuellen Sensors und der Robotersteuervorrichtung 50 darstellt. Die Steuervorrichtung 20 des visuellen Sensors kann als gewöhnlicher Computer ausgebildet sein, in dem ein Prozessor 21 mit einem Speicher 22 (einschließlich eines ROM, eines RAM, eines nichtflüchtigen Speichers und dergleichen), einer Eingabe-/Ausgabe-Schnittstelle 23 zur Datenübertragung mit einer externen Vorrichtung und dergleichen durch einen Bus verbunden ist, wie in 2 dargestellt. Die Robotersteuervorrichtung 50 kann als gewöhnlicher Computer ausgebildet sein, in dem ein Prozessor 51 mit einem Speicher 52 (einschließlich eines ROM, eines RAM, eines nichtflüchtigen Speichers und dergleichen), einer Eingabe-/Ausgabe-Schnittstelle 53 zur Datenübertragung mit einer externen Vorrichtung, einer Bedieneinheit 54, die verschiedene Bedienschalter und dergleichen beinhaltet, und dergleichen durch einen Bus verbunden ist. Die Robotersteuervorrichtung 50 kann ferner mit einer Einlernvorrichtung (wie zum Beispiel einem Programmierhandgerät) zum Durchführen eines Einlernens des Roboters 10 verbunden sein. Wenngleich bei der vorliegenden Ausführungsform eine Vorrichtungskonfiguration dargestellt wird, bei der die Steuervorrichtung 20 des visuellen Sensors und die Robotersteuervorrichtung 50 getrennte Vorrichtungen sind, können die Steuervorrichtung 20 des visuellen Sensors und die Robotersteuervorrichtung 50 so ausgebildet sein, dass sie dieselbe Vorrichtung sind. Beispielsweise können Funktionen der Steuervorrichtung 20 des visuellen Sensors in die Robotersteuervorrichtung 50 integriert sein.
-
Ein Roboterkoordinatensystem C1 ist für den Roboter 10 festgelegt. Das Roboterkoordinatensystem C1 ist ein Steuerkoordinatensystem zum Steuern eines Betriebs jedes beweglichen Elements in dem Roboter 10 und ist in einem dreidimensionalen Raum fixiert. Wenngleich bei der vorliegenden Ausführungsform als Beispiel angenommen wird, dass der Ursprung des Roboterkoordinatensystems C1 in der Mitte eines Basisteils des Roboters 10 festgelegt ist, kann das Roboterkoordinatensystem C1 so festgelegt sein, dass es eine andere Position und eine andere Lage aufweist.
-
Ein Flanschkoordinatensystem C2 ist an der Spitzenfläche des Flansches 11 festgelegt. Bei dem Flanschkoordinatensystem C2 handelt es sich um ein Steuerkoordinatensystem zum Steuern der Position und der Lage des Flansches 11 in dem Roboterkoordinatensystem C1. Wenngleich bei der vorliegenden Ausführungsform als Beispiel angenommen wird, dass der Ursprung des Flanschkoordinatensystems C2 in der Mitte der Spitzenfläche des Flansches 11 platziert ist und eine z-Achse des Systems so festgelegt ist, dass sie mit der Mittelachse des Flansches 11 übereinstimmt, kann das Flanschkoordinatensystem C2 so festgelegt sein, dass es eine andere Position und eine andere Lage aufweist. Wenn ein Handgelenk (das Werkzeug 31) des Roboters 10 bewegt wird, legt die Robotersteuervorrichtung 50 (der Prozessor 51) das Flanschkoordinatensystem C2 in dem Roboterkoordinatensystem C1 fest und steuert einen Servomotor jedes Gelenks in dem Roboter 10 so, dass der Flansch 11 in der durch das festgelegte Flanschkoordinatensystem C2 angegebenen Position und Lage platziert wird. Auf diese Weise kann die Robotersteuervorrichtung 50 den Flansch 11 (das Werkzeug 31) in einer beliebigen Position und einer beliebigen Lage in dem Roboterkoordinatensystem C1 positionieren.
-
Ein Sensorkoordinatensystem C3 ist für den visuellen Sensor 70 festgelegt. Das Sensorkoordinatensystem C3 ist ein Koordinatensystem zum Definieren von Koordinaten jedes Bildpunktes in durch den visuellen Sensor 70 erfassten Bilddaten und ist in Bezug auf den visuellen Sensor 70 so festgelegt, dass der Ursprung des Systems in der Mitte einer Lichtempfangsfläche (oder einer optischen Linse) des Bildsensors in dem visuellen Sensor 70 platziert ist, eine x-Achse und eine y-Achse des Systems parallel zu einer seitlichen Richtung und einer Längsrichtung des Bildsensors platziert sind und die z-Achse des Systems mit der Sichtlinie (der optischen Achse) des visuellen Sensors 70 übereinstimmt.
-
Wie im Folgenden ausführlich beschrieben wird, ist das Robotersystem 100 als Bildverarbeitungssystem ausgebildet, das einen Fokussierungsvorgang durch Bewegen des visuellen Sensors 70 in einer vorgegebenen Richtung in Bezug auf ein visuelles Muster zum Bestimmen einer relativen Positionsbeziehung zwischen dem visuellen Sensor 70 und dem visuellen Muster, das an einem Erkennungszielpunkt des visuellen Sensors 70 platziert ist, durch Erfassen eines Bildes des visuellen Musters durchführt. Gemäß der vorliegenden Ausführungsform handelt es sich bei dem Erkennungszielpunkt des visuellen Sensors 70 um die obere Fläche einer Basis 60, auf der ein Werkstück angebracht ist, und ist das visuelle Muster auf einer Kalibriervorrichtung J ausgebildet. Das visuelle Muster muss lediglich eine visuell erkennbare Form wie zum Beispiel ein Muster unter Verwendung von Farbe oder einer gravierten Markierung (einer Unebenheit) aufweisen. Das visuelle Muster kann direkt an der Erkennungszielposition (der oberen Fläche der Basis 60) ausgebildet sein. Zu einem visuellen Muster zählen hierin verschiedene visuelle Darstellungen wie zum Beispiel ein Muster, eine Markierung, ein Kennzeichen, ein Identifizierungszeichen und ein Symbol. Ein Verwenden des visuellen Musters bei einer Gewinnung einer relativen Positionsbeziehung mit dem visuellen Sensor 70 ermöglicht eine hochpräzise Gewinnung einer relativen Positionsbeziehung. Im Besonderen kann die Präzision im Vergleich mit einer Konfiguration, bei der eine relative Positionsbeziehung zwischen einer Kamera und einem spezifischen Werkstück wie in der oben erwähnten PTL 5 ermittelt wird, verbessert werden.
-
Die folgende Beschreibung konzentriert sich auf eine Funktion des Robotersystems 100 als ein solches Bildverarbeitungssystem.
-
3 ist eine graphische Darstellung von Funktionsblöcken, die funktionale Konfigurationen der Steuervorrichtung 20 des visuellen Sensors und der Robotersteuervorrichtung 50 darstellt, wenn die Aufmerksamkeit auf die Funktion des Robotersystems 100 als Bildverarbeitungssystem gerichtet ist. Wie in 3 dargestellt, beinhaltet die Steuervorrichtung 20 des visuellen Sensors eine Bildverarbeitungseinheit 202, die eine Bildverarbeitung an einem durch den visuellen Sensor 70 erfassten Eingabebild 201 durchführt, und eine Kalibrierungsdaten-Speichereinheit 204, die Kalibrierungsdaten speichert, die eine relative Position des visuellen Sensors 70 (des Sensorkoordinatensystems C3) in Bezug auf ein Standardkoordinatensystem (das Roboterkoordinatensystem C1 oder das Flanschkoordinatensystem C2), das für den Roboter 10 festgelegt ist, bestimmen.
-
Als Funktion zum Vorsehen einer Handhabung eines Werkstücks und dergleichen weist die Bildverarbeitungseinheit 202 zum Beispiel eine Funktion zum Erkennen eines Werkstücks aus einem Eingabebild mithilfe eines Modellmusters und zum Erkennen der Position und der Lage des Werkstücks auf. Ferner beinhaltet die Bildverarbeitungseinheit 202 gemäß der vorliegenden Ausführungsform eine Fokussierungsgrad-Berechnungseinheit 203, die einen Fokussierungsgrad eines in einem erfassten Bild erfassten Zielobjekts berechnet.
-
Die Kalibrierungsdaten-Speichereinheit 204 speichert Kalibrierungsdaten des visuellen Sensors 70. Bei der Kalibrierungsdaten-Speichereinheit 204 handelt es sich zum Beispiel um einen nichtflüchtigen Speicher (wie etwa einen EEPROM). Die Kalibrierungsdaten des visuellen Sensors 70 beinhalten interne Parameter und einen externen Parameter des visuellen Sensors 70 (der Kamera). Zu den internen Parametern zählen optische Daten wie zum Beispiel eine Linsenverzerrung und eine Brennweite. Bei dem externen Parameter handelt es sich um die Position des visuellen Sensors 70 mit einer vorgegebenen Bezugsposition (wie zum Beispiel der Position des Flansches 11) als Grundlage.
-
Eine geometrische Transformationscharakteristik innerhalb der Kamera und eine geometrische Beziehung zwischen einem dreidimensionalen Raum, in dem ein Objekt vorhanden ist, und einer zweidimensionalen Bildebene werden mithilfe der Kalibrierungsdaten ermittelt, und darüber hinaus können die dreidimensionalen räumlichen Positionen des visuellen Sensors 70 und der Kalibriervorrichtung J eindeutig aus einer Charakteristik der Kalibriervorrichtung J und einem durch den visuellen Sensor 70 erfassten Bild der Kalibriervorrichtung J bestimmt werden. Mit anderen Worten, die Position und die Lage der Kalibriervorrichtung mit der Position des visuellen Sensors 70 als Grundlage können aus Informationen über die Kalibriervorrichtung J in einem mithilfe des kalibrierten visuellen Sensors 70 erfassten Bildes ermittelt werden.
-
4 ist eine Draufsicht auf die Kalibriervorrichtung J. Als Kalibriervorrichtung J können verschiedene auf dem entsprechenden Gebiet bekannte Kalibriervorrichtungen verwendet werden, die ermöglichen, dass die Position und die Lage einer Kalibriervorrichtung aus einem durch den visuellen Sensor 70 erfassten Bild mit der Position des visuellen Sensors 70 als Grundlage zu ermitteln sind. Bei der Kalibriervorrichtung J in 4 handelt es sich um eine Vorrichtung, die eine Gewinnung von zur Kalibrierung des visuellen Sensors 70 benötigten Informationen durch Erfassen eines Bildes eines auf einer Ebene platzierten Punktmusters durch den visuellen Sensor 70 ermöglicht und die folgenden drei Anforderungen erfüllt: (1) Ein Gitterpunktabstand des Punktmusters ist bekannt, (2) es ist eine bestimmte Anzahl von Gitterpunkten oder mehr vorhanden, und (3) ein Gitterpunkt, dem jeder Gitterpunkt entspricht, ist eindeutig bestimmbar. Ohne auf eine Vorrichtung beschränkt zu sein, bei der eine Charakteristik wie zum Beispiel ein vorgegebenes Punktmuster auf einer zweidimensionalen Ebene platziert ist, wie in 4 dargestellt, kann es sich bei der Kalibriervorrichtung J um eine Vorrichtung handeln, bei der eine Charakteristik auf einem dreidimensionalen Festkörper platziert ist und die nur eine Gewinnung von dreidimensionalen Positionsinformationen einschließlich Positionsinformationen in einer Höhenrichtung (der Richtung eines Pfeils 91 in 1) zusätzlich zu zweidimensionalen Positionsinformationen (der x-Richtung und der y-Richtung) ermöglichen muss. Ferner kann die Kalibriervorrichtung J dieselbe Vorrichtung sein, die verwendet wird, wenn die Kalibrierungsdaten des visuellen Sensors 70 gewonnen werden, oder kann eine andere sein. Es ist zu beachten, dass die internen Parameter der oben erwähnten Kalibrierungsdaten verwendet werden, um die Position und die Lage eines Punktmusters mit der Position des visuellen Sensors 70 als Grundlage aus einem durch den visuellen Sensor 70 erfassten Bild des Punktmusters zu berechnen. Wenngleich bei der vorliegenden Ausführungsform die Kalibriervorrichtung J, die das Punktmuster beinhaltet, wie in 4 dargestellt, als Zielobjekt zum Ermitteln der Position und der Lage des Zielobjekts von einer Bilderfassungsvorrichtung aus betrachtet verwendet wird, kann stattdessen ein beliebiger Zielobjekttyp verwendet werden, der ermöglicht, dass die Position und die Lage des Zielobjekts von der Bilderfassungsvorrichtung (dem visuellen Sensor 70) aus betrachtet ermittelt wird.
-
Die Kalibriervorrichtung J gemäß der vorliegenden Ausführungsform ist an einem Zielort angebracht, auf den der visuelle Sensor 70 fokussiert (d. h., die obere Fläche der Basis 60).
-
Wie in 3 dargestellt, beinhaltet die Robotersteuervorrichtung 50 eine Betriebssteuereinheit 501, die einen Betrieb des Roboters 10 gemäß einem Betriebsprogramm steuert. Ferner beinhaltet die Robotersteuervorrichtung 50 gemäß der vorliegenden Ausführungsform eine Fokussierungsvorgangs-Steuereinheit 502, die eine Steuerung eines Bewegens des Roboters 10 auf Grundlage eines durch die Fokussierungsgrad-Berechnungseinheit 203 berechneten Fokussierungsgrades und eines Bewegens des visuellen Sensors 70 in eine fokussierte Position durchführt.
-
Es ist zu beachten, dass ein Funktionsblock in der Steuervorrichtung 20 des visuellen Sensors oder der Robotersteuervorrichtung 50, die in 3 dargestellt sind, durch Ausführen verschiedener Typen von in dem Speicher gespeicherter Software durch den Prozessor (die CPU) in der Steuervorrichtung 20 des visuellen Sensors oder der Robotersteuervorrichtung 50 vorgesehen sein können oder durch eine Konfiguration vorgesehen sein können, die hauptsächlich auf Hardware wie zum Beispiel einer anwendungsspezifischen integrierten Schaltung (application specific integrated circuit, ASIC) beruht.
-
5 ist ein Ablaufplan, der einen Ablauf eines Fokussierungsvorgangs (eines Bildverarbeitungsverfahrens) durch die Fokussierungsvorgangs-Steuereinheit darstellt. Es wird angenommen, dass Kalibrierungsdaten des visuellen Sensors 70 zuvor in der Kalibrierungsdaten-Speichereinheit 204 gespeichert werden. Der Fokussierungsvorgang in 5 wird unter Steuerung durch den Prozessor 51 in der Robotersteuervorrichtung 50 ausgeführt.
-
Zuerst berechnet und gewinnt die Fokussierungsvorgangs-Steuereinheit 502 eine Positionsbeziehung zwischen der Kalibriervorrichtung J und dem visuellen Sensor 70 auf Grundlage eines durch den visuellen Sensor 70 erfassten Bildes der Kalibriervorrichtung J. In diesem Fall verwendet die Fokussierungsvorgangs-Steuereinheit 502 die in der Kalibrierungsdaten-Speichereinheit J gespeicherten Kalibrierungsdaten.
-
Mithilfe der in Schritt S1 gewonnenen relativen Positionsbeziehung zwischen dem visuellen Sensor 70 und der Kalibriervorrichtung J erfasst die Fokussierungsvorgangs-Steuereinheit 502 ein Bild der Kalibriervorrichtung J, während sie den visuellen Sensor 70 so bewegt, dass die optische Achse des visuellen Sensors 70 parallel zu der normalen Richtung der oberen Fläche der Kalibriervorrichtung J (der Richtung des Pfeils 91 in 1) verläuft (Schritt S2). Zu diesem Zeitpunkt bewirkt die Fokussierungsvorgangs-Steuereinheit 502, dass die Fokussierungsgrad-Berechnungseinheit 203 einen Fokussierungsgrad eines Bildes eines in dem Bild erfassten Zielobjekts (d. h., von Punkten der Kalibriervorrichtung J) berechnet (Schritt S3).
-
Anschließend bestimmt die Fokussierungsvorgangs-Steuereinheit 502 durch Vergleichen des durch die Fokussierungsgrad-Berechnungseinheit 203 berechneten Fokussierungsgrades mit einem Bezugswert (Fokussierungsgrad-Bezugswert) als Wert, wenn der Fokussierungsgrad der Punkte der Kalibriervorrichtung J am höchsten ist, ob der in Schritt S3 gewonnene Fokussierungsgrad der höchste Fokussierungsgrad ist (Schritt S4). Der hier verwendete Bezugswert (Fokussierungsgrad-Bezugswert) kann zuvor durch die Robotersteuervorrichtung 50 (Fokussierungsvorgangs-Steuereinheit 502) gespeichert werden; oder die Fokussierungsvorgangs-Steuereinheit 502 kann zum Beispiel einen Vorgang zum Bewegen des visuellen Sensors 70 in einem vorgegebenen Bewegungsbereich und zum Festlegen des höchsten Fokussierungsgrades als Fokussierungsgrad-Bezugswert durchführen. Wenn der Fokussierungsgrad nicht als am höchsten bestimmt wird (S4: NEIN), setzt die Fokussierungsvorgangs-Steuereinheit 502 die Verarbeitung zum Überprüfen des Fokussierungsgrades während des Bewegens des visuellen Sensors 70 fort (Schritte S2 bis S4). Wenn der Fokussierungsgrad als am höchsten bestimmt wird (S4: JA), zeichnet die Fokussierungsvorgangs-Steuereinheit 502 die Position des visuellen Sensors 70, wenn der Fokussierungsgrad am höchsten ist (fokussierte Position), als Bilderfassungsposition auf (Schritt S5).
-
Die Fokussierungsgrad-Berechnungseinheit 203 kann verschiedene auf dem entsprechenden Gebiet bekannte Berechnungstechniken wie zum Beispiel ein Phasendifferenz-Erkennungsverfahren und ein Kontrasterkennungsverfahren als Technik zum Berechnen eines Fokussierungsgrades einsetzen. Als Beispiel kann die Fokussierungsgrad-Berechnungseinheit 203, wenn bestimmt wird, dass eine Zuverlässigkeit eines durch ein Phasendifferenz-Erkennungsverfahren erkannten Fokussierungsgrades gering ist, eine Technik zum Auswählen eines Bildpunktbereichs, in dem das Phasendifferenz-Erkennungsverfahren verwendet wird, auf Grundlage eines Erkennungsergebnisses durch ein Kontrasterkennungsverfahren und zum Berechnen eines Fokussierungsgrades durch das Phasendifferenz-Erkennungsverfahren mithilfe eines Signals in dem ausgewählten Bildpunktbereich verwenden, wie in der ungeprüften japanischen Patentveröffentlichung (Kokai) Nr. 2013-29803 A beschrieben. Die Fokussierungsgrad-Berechnungseinheit 203 kann zur Berechnung eines Fokussierungsgrades verwendete Daten von einem Funktionselement zur Berechnung einer Fokussierung in dem visuellen Sensor 70 gewinnen.
-
Ein vorgegebener Betriebsbereich, in dem der visuelle Sensor 70 bei der Verarbeitung in den Schritten S2 bis S4 bewegt wird, kann auf Grundlage eines Einstellbereichs der Brennweite der Kamera bestimmt werden. Der Roboter 10 kann zum Beispiel so gesteuert werden, dass er den visuellen Sensor 70 innerhalb eines Bereichs eines Bilderfassungsabstands bewegt, der auf Grundlage eines Fokussierungsbereichs eines Fokussierrings in dem visuellen Sensor 70 bestimmt wird. Da die Positionsbeziehung zwischen dem visuellen Sensor 70 und der Kalibriervorrichtung J durch Schritt S1 bekannt ist, wird eine solche Bewegungssteuerung des visuellen Sensors 70 ermöglicht.
-
Die in Schritt S5 aufgezeichnete Bilderfassungsposition wird als Bilderfassungsposition zum Positionieren des visuellen Sensors 70 verwendet, wenn eine vorgegebene Aufgabe wie zum Beispiel eine Sichtprüfung eines auf der oberen Fläche der Basis 60 platzierten Werkstücks ausgeführt wird. Auf diese Weise ermöglicht der Fokussierungsvorgang in 5 ein automatisches Positionieren des visuellen Sensors 70 an einer Position, an der der Sensor auf eine Position fokussiert, an der die Kalibriervorrichtung J angebracht ist. Mit anderen Worten, das Fokussieren des visuellen Sensors 70 kann automatisch und effizient durchgeführt werden.
-
Als Beispiel dafür, dass eine Kalibrierung des visuellen Sensors 70 zuvor durchgeführt wird (d. h., für einen Fall, in dem die Steuervorrichtung 20 des visuellen Sensors zuvor Kalibrierungsdaten hält), ist oben beschrieben worden; wenn jedoch keine Kalibrierung des visuellen Sensors 70 durchgeführt wird (d. h., in einem Fall, in dem die Steuervorrichtung 20 des visuellen Sensors keine Kalibrierungsdaten hält), können die Robotersteuervorrichtung 50 und die Steuervorrichtung 20 des visuellen Sensors Kalibrierungsdaten mithilfe verschiedener auf dem entsprechenden Gebiet bekannter Kalibrierungstechniken (wie zum Beispiel in den oben erwähnten PTL 2 bis 5) gewinnen.
-
Wie oben beschrieben, wird die Kalibriervorrichtung J in dem Fokussierungssteuerungsvorgang in 5 gemäß der vorliegenden Ausführungsform verwendet, und daher kann eine Kalibrierung an dem Punkt mithilfe der Kalibriervorrichtung J leicht durchgeführt werden, wenn der Fokussierungssteuerungsvorgang in 5 durchgeführt wird. Wenngleich ein Verfahren zum Kalibrieren einer Kamera selbst eine allgemeine bekannte Technik ist und daher dessen Beschreibung weggelassen wird, wird ein solches Verfahren zum Beispiel in „An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision" durch Roger Y. Tsai (CVPR, S. 364 bis 374, 1986 IEEE) ausführlich beschrieben. Als spezifisches Mittel kann eine Kamera kalibriert werden, indem bewirkt wird, dass eine Vorrichtung wie zum Beispiel die in 4 dargestellte Kalibriervorrichtung J (eine Punktmusterplatte, auf der Punkte in einer bekannten geometrischen Platzierung ausgebildet sind) die optische Achse der Kamera rechtwinklig schneidet und eine Messung an den Positionen von zwei bekannten Punkten durchgeführt wird.
-
Es wird ein Beispiel für eine Bildverarbeitungstechnik zum Bestimmen der Lage des Sensorkoordinatensystems C3 mit einem für den Roboter 10 festgelegten Standardkoordinatensystem (dem Roboterkoordinatensystem C1 oder dem Flanschkoordinatensystem C2) als Grundlage beschrieben. Die Fokussierungsvorgangs-Steuereinheit 502 kann dazu ausgebildet sein, ferner für eine solche Funktion zuständig zu sein. Die Lage des Sensorkoordinatensystems C3 in Bezug auf das für den Roboter 10 festgelegte Standardkoordinatensystem durch die hier beschriebene Technik bekanntzumachen, ermöglicht, dass die optische Achse des visuellen Sensors 70 bei dem oben erwähnten Fokussierungsvorgang in eine vorgegebene Richtung (wie zum Beispiel eine normale Richtung) in Bezug auf die Kalibriervorrichtung J gerichtet wird.
-
In diesem Beispiel werden Daten der Lage des visuellen Sensors 70 in dem Standardkoordinatensystem auf Grundlage von Bilddaten eines durch den visuellen Sensor 70 erfassten Kennzeichens ID gewonnen. 6 stellt ein Beispiel für das Kennzeichen ID dar. Das Kennzeichen ID ist an einer Erkennungszielposition (der oberen Fläche der Basis 60) vorgesehen und besteht aus einer Kreislinie C und Geraden D und E orthogonal zueinander. Das Kennzeichen ID muss zum Beispiel lediglich eine visuell erkennbare Form wie etwa ein auf der oberen Fläche der Basis 60 ausgebildetes Muster unter Verwendung von Farbe oder einer gravierten Markierung (einer Unebenheit) aufweisen.
-
Die Robotersteuervorrichtung 50 (die Fokussierungsvorgangs-Steuereinheit 502) ermittelt die Lage des Sensorkoordinatensystems C3 mit dem für den Roboter 10 festgelegten Standardkoordinatensystem als Grundlage gemäß den folgenden Prozeduren.
-
(A1) In einem Zustand, in dem der visuelle Sensor 70 durch die Robotersteuervorrichtung 50 in einer Ausgangsposition PSo und einer Ausgangslage OR0 platziert ist, wird ein Bild des Kennzeichens ID so erfasst und werden Bilddaten JD0 des Kennzeichens ID so gewonnen, dass das Kennzeichen ID in das Sichtfeld des visuellen Sensors 70 eintritt. Es wird angenommen, dass ein Bild (JDn), wie in 6 dargestellt, gewonnen wird.
-
(A2) Die Bildverarbeitungseinheit 202 gewinnt Koordinaten (xn, yn) einer Überschneidung F aus einem Bild des in dem Bild JDn erfassten Kennzeichens ID als Position des Kennzeichens ID und gewinnt den Flächenbereich eines Kreises C als Größe ISn (Einheit: Bildpunkte) des Kennzeichens ID. Die Bildverarbeitungseinheit 202 gewinnt eine Größe RS (Einheit: mm) des Kennzeichens ID in einem realen Raum, eine Brennweite FD der optischen Linse des visuellen Sensors 70, eine Größe SS (Einheit: mm/Bildpunkt) des Bildsensors als zuvor gespeicherte Daten.
-
(A3) Die Bildverarbeitungseinheit 202 gewinnt einen Vektor (Xn, Yn, Zn) mithilfe der gewonnenen Koordinaten (xn, yn), der gewonnenen Größe ISn, der gewonnenen Größe RS, der gewonnenen Brennweite FD und der gewonnenen Größe SS. Es ist zu beachten, dass Xn aus einer Gleichung Xn = xn × ISn × SS/RS ermittelt werden kann. Yn kann aus einer Gleichung Yn = yn × ISn × SS/RS ermittelt werden. Zn kann aus einer Gleichung Zn = ISn × SS × FD/RS ermittelt werden. Bei dem Vektor (Xn, Yn, Zn) handelt es sich um einen Vektor von dem visuellen Sensor 70 (d. h., dem Ursprung des Sensorkoordinatensystems C3) zu dem Kennzeichen ID (im Besonderen der Überschneidung F), wenn die Bilddaten JDn erfasst werden und Daten sind, die eine relative Position (oder Koordinaten in dem Sensorkoordinatensystem C3) des Kennzeichens ID in Bezug auf den visuellen Sensor 70 angeben.
-
(A4) In ähnlicher Weise gewinnt die Bildverarbeitungseinheit 202 aus einem Bild JD1 des Kennzeichens ID, das an einer Position PS1 erfasst worden ist, die durch Versetzen des visuellen Sensors 70 von der Ausgangsposition um einen vorgegebenen Abstand δx in der Richtung der x-Achse des Flanschkoordinatensystems und in der Lage OR0 gewonnen worden ist, einen Vektor von dem visuellen Sensor 70 zu dem Kennzeichen ID, wenn die Bilddaten JD1 erfasst werden.
-
(A5) In ähnlicher Weise gewinnt die Bildverarbeitungseinheit 202 aus einem Bild JD2 des Kennzeichens ID, das an einer Position PS2 erfasst worden ist, die durch Versetzen des visuellen Sensors 70 von der Ausgangsposition um einen vorgegebenen Abstand δy in der Richtung der y-Achse des Flanschkoordinatensystems und in der Lage OR0 gewonnen worden ist, einen Vektor von dem visuellen Sensor 70 zu dem Kennzeichen ID, wenn die Bilddaten JD2 erfasst werden.
-
(A6) In ähnlicher Weise gewinnt die Bildverarbeitungseinheit 202 aus einem Bild JD3 des Kennzeichens ID, das an einer Position PS3 erfasst worden ist, die durch Versetzen des visuellen Sensors 70 von der Ausgangsposition um einen vorgegebenen Abstand δz in der Richtung der z-Achse des Flanschkoordinatensystems und in der Lage OR0 gewonnen worden ist, einen Vektor von dem visuellen Sensor 70 zu dem Kennzeichen ID, wenn die Bilddaten JD3 erfasst werden.
-
(A7) Aus den oben beschriebenen Daten gewinnt die Bildverarbeitungseinheit 202 eine Drehmatrix, die eine Lage (W, P, R) des visuellen Sensors 70 (des Sensorkoordinatensystems C3) in dem Flanschkoordinatensystem C2 darstellt, durch die folgende Gleichung (1).
[Math 1]
-
Die Robotersteuervorrichtung 50 (die Fokussierungsvorgangs-Steuereinheit 502) kann ferner dazu ausgebildet sein, die Position des Sensorkoordinatensystems C3 mit dem für den Roboter 10 festgelegten Standardkoordinatensystem als Grundlage zu ermitteln. Prozeduren des Vorgangs in diesem Fall werden im Folgenden beschrieben.
-
(B1) Die Robotersteuervorrichtung 50 legt zuerst ein Bezugskoordinatensystem C4 in dem Flanschkoordinatensystem C2 in der Ausgangsposition PS0 und der Ausgangslage OR0 fest. Die Robotersteuervorrichtung 50 gemäß der vorliegenden Ausführungsform legt das Bezugskoordinatensystem C4 in dem Flanschkoordinatensystem C2 so fest, dass der Ursprung des Bezugskoordinatensystems C4 an dem Ursprung des Flanschkoordinatensystems C2 platziert ist und die Lage (die Richtung jeder Achse) des Bezugskoordinatensystems C4 mit der durch die zuvor erwähnte Prozedur gewonnenen Lage (W, P, R) übereinstimmt. Dementsprechend verlaufen die Richtungen der x-Achse, der y-Achse und der z-Achse des Bezugskoordinatensystems C4 parallel zu der x-Achse, der y-Achse bzw. der z-Achse des Sensorkoordinatensystems C3.
-
(B2) Als Nächstes betreibt die Robotersteuervorrichtung 50 den Roboter 10 und platziert den visuellen Sensor 70 (d. h., den Flansch 11) in einer Position PS4 und einer Lage OR1 durch Drehen des visuellen Sensors 70 um die z-Achse des Bezugskoordinatensystems C4 aus der Ausgangsposition PS0 und der Ausgangslage OR0 durch eine Lageveränderung θ1 (erste Lageveränderung).
-
(B3) Die Bildverarbeitungseinheit 202 betreibt den visuellen Sensor 70 und erfasst ein Bild des Kennzeichens ID und gewinnt relative Positionsdaten (X4, Y4, Z4) des Kennzeichens ID in Bezug auf den visuellen Sensor 70 zu diesem Zeitpunkt durch eine Technik, die derjenigen zum Ermitteln der oben erwähnten Lage ähnelt.
-
(B4) Als Nächstes betreibt die Robotersteuervorrichtung 50 den Roboter 10 und platziert den visuellen Sensor 70 in einer Position PS5 und einer Lage OR2 durch Drehen des visuellen Sensors 70 um die x-Achse oder die y-Achse (d. h., eine Achse orthogonal zu der Richtung der Sichtlinie) des Bezugskoordinatensystems C4 aus der Ausgangsposition PS0 und der Ausgangslage OR0 durch eine Lageveränderung θ2 (erste Lageveränderung).
-
(B5) Die Bildverarbeitungseinheit 202 betreibt den visuellen Sensor 70 und erfasst ein Bild des Kennzeichens ID und gewinnt relative Positionsdaten (X5, Y5, Z5) des Kennzeichens ID in Bezug auf den visuellen Sensor 70 zu diesem Zeitpunkt durch eine Technik, die derjenigen zum Ermitteln der oben erwähnten Lage ähnelt.
-
Wenn ein Vektor von dem Ursprung des Bezugskoordinatensystems C4 in dem Flanschkoordinatensystem C2 (dem Ursprung des MIF-Koordinatensystems C2 gemäß der vorliegenden Ausführungsform) zu dem Ursprung des Sensorkoordinatensystems C3, dessen Position unbekannt ist, durch (ΔX
1, ΔY
1, ΔZ
1) bezeichnet wird, gelten die folgenden Gleichungen (2) und (3).
[Math. 2]
[Math. 3]
-
Durch Lösen der oben erwähnten Gleichungen (2) und (3) kann die Robotersteuervorrichtung 50 den Vektor (ΔX1, ΔY1, ΔZ1) von dem Ursprung des Bezugskoordinatensystems C4 in dem Flanschkoordinatensystem C2 zu dem Ursprung des unbekannten Sensorkoordinatensystems C3 schätzen.
-
Wie oben beschrieben, handelt es sich bei dem Kennzeichen ID um ein visuelles Muster, das eine Bestimmung einer relativen Positionsbeziehung zwischen dem visuellen Sensor 70 und dem Kennzeichen ID ermöglicht, und daher kann das Kennzeichen ID anstelle der in dem oben erwähnten Fokussierungsvorgang verwendeten Kalibriervorrichtung J verwendet werden.
-
Wie oben beschrieben, kann gemäß der vorliegenden Ausführungsform ein Platzieren eines visuellen Musters an einem Erkennungszielpunkt bewirken, dass der visuelle Sensor automatisch auf einen Punkt fokussiert, an dem das visuelle Muster platziert ist. Mit anderen Worten, das Fokussieren des visuellen Sensors kann automatisch und effizient durchgeführt werden.
-
Wenngleich die vorliegende Erfindung oben mithilfe der typischen Ausführungsformen beschrieben worden ist, ist Fachleuten ersichtlich, dass Änderungen und verschiedene sonstige Änderungen, Auslassungen oder Ergänzungen an den oben erwähnten Ausführungsformen vorgenommen werden können, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
-
Die bei der oben erwähnten Ausführungsform beschriebene Konfiguration ist auf einen Fokussierungsvorgang bei verschiedenen Industriemaschinen anwendbar, die mit einem visuellen Sensor an einem beweglichen Teil ausgestattet sind.
-
Wenngleich es sich bei dem in 1 dargestellten Vorrichtungskonfigurationsbeispiel um ein Konfigurationsbeispiel handelt, in dem der visuelle Sensor an dem Roboter angebracht ist und die Kalibriervorrichtung an einer festen Position platziert ist, kann eine Konfiguration eingesetzt werden, bei der der visuelle Sensor als feststehende Kamera in einem Arbeitsbereich fixiert ist und die Kalibriervorrichtung (das visuelle Muster) an dem Werkzeug des Roboters angebracht ist. Eine Konfiguration von Funktionsblöcken ähnlich der in 3 dargestellten Konfiguration von Funktionsblöcken kann in diesem Fall ebenfalls angewendet werden. In diesem Fall bewirkt die Fokussierungsvorgangs-Steuereinheit 502, dass der visuelle Sensor auf die Kalibriervorrichtung (das visuelle Muster) fokussiert, indem sie bewirkt, dass der visuelle Sensor ein Bild des visuellen Musters erfasst, während sie das visuelle Muster in Bezug auf den visuellen Sensor (während sie die relative Position zwischen dem visuellen Sensor und dem visuellen Muster in einer vorgegebenen Richtung mit dem visuellen Muster als Grundlage ändert) auf Grundlage der bestimmten relativen Positionsbeziehung bewegt und einen Fokussierungsgrad des visuellen Musters in einem Zustand ermittelt, in dem das visuelle Muster in dem Sichtfeld des visuellen Sensors erfasst ist.
-
Die Platzierung der Funktionsblöcke in der Steuervorrichtung 20 des visuellen Sensors und der Robotersteuervorrichtung 50 in der in 2 dargestellten graphischen Darstellung von Funktionsblöcken ist ein Beispiel, und verschiedene modifizierte Beispiele können als Platzierung der Funktionsblöcke eingesetzt werden. Beispielsweise kann mindestens ein Teil der Funktionen als Bildverarbeitungseinheit 202 auf der Seite der Robotersteuervorrichtung 50 platziert sein.
-
Wenngleich eine fokussierte Position durch Vergleichen eines Fokussierungsgrades mit einem Fokussierungsgrad-Bezugswert und Bestimmen, ob die beiden übereinstimmen (Schritt S4), in dem in 5 dargestellten Fokussierungsvorgang bestimmt wird, kann eine fokussierte Position durch Bewegen der Kamera in einem vorgegebenen Betriebsbereich und Suchen nach einer Position, an der ein Höchstwert eines Fokussierungsgrades gewonnen wird, anstelle einer solchen Konfiguration gewonnen werden.
-
Ein Programm zum Ausführen von verschiedenen Typen einer Verarbeitung einschließlich des Fokussierungsvorgangs gemäß der oben erwähnten Ausführungsform kann in verschiedenen durch einen Computer lesbaren Aufzeichnungsmedien (wie zum Beispiel Halbleiterspeichern einschließlich eines ROM, eines EEPROM und eines Flash-Speichers, eines Magnetaufzeichnungsmediums und optischen Platten einschließlich einer CD-ROM und einer DVD-ROM) aufgezeichnet sein.
-
Bezugszeichenliste
-
- 10
- Roboter
- 11
- Flansch
- 20
- Steuervorrichtung des visuellen Sensors
- 21
- Prozessor
- 22
- Speicher
- 23
- Eingabe-/Ausgabe-Schnittstelle
- 31
- Werkzeug
- 50
- Robotersteuervorrichtung
- 51
- Prozessor
- 52
- Speicher
- 53
- Eingabe-/Ausgabe-Schnittstelle
- 54
- Bedieneinheit
- 60
- Basis
- 70
- visueller Sensor
- 100
- Robotersystem
- 201
- Eingabebild
- 202
- Bildverarbeitungseinheit
- 203
- Fokussierungsgrad-Berechnungseinheit
- 204
- Kalibrierungsdaten-Speichereinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 201891774 A [0003]
- JP 2014128845 A [0003]
- JP H8210816 A [0003]
- JP 2018192569 A [0003]
- JP 2018194542 A [0003]
-
Zitierte Nicht-Patentliteratur
-
- An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision“ durch Roger Y. Tsai (CVPR, S. 364 bis 374, 1986 [0036]