DE112021000384T5

DE112021000384T5 - Lerndatensatz-Erzeugungsvorrichtung undLerndatensatz-Erzeugungsverfahren

Info

Publication number: DE112021000384T5
Application number: DE112021000384.4T
Authority: DE
Inventors: Toshiyuki Ando
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-02-19
Filing date: 2021-02-17
Publication date: 2022-10-20
Also published as: JP7364778B2; US20230005250A1; WO2021166939A1; CN115103741A; JPWO2021166939A1

Abstract

Es wird eine Lerndatensatz-Erzeugungsvorrichtung 1 bereitgestellt, die Folgendes umfasst: einen Speicher, der dreidimensionale CAD-Daten eines Werkstücks W und eines Behälters X speichert; und einen oder mehrere Prozessoren einschließlich Hardware, wobei der eine oder die mehreren Prozessoren dazu ausgelegt sind, die in dem Speicher gespeicherten dreidimensionalen CAD-Daten des Werkstücks W und des Behälters X zu verwenden, um in einem dreidimensionalen virtuellen Raum mehrere Abbildungsobjekte zu erzeugen, in denen mehrere der Werkstücke W in unterschiedlichen Formen in Masse in dem Behälter X geladen sind, mehrere virtuelle Abstandsbilder zu erfassen, indem jedes der erzeugten Abbildungsobjekte mittels einer in dem dreidimensionalen virtuellen Raum angeordneten virtuellen Maschine für dreidimensionale Messungen vermessen wird, mindestens eine Lehrposition für jedes der erfassten virtuellen Abstandsbilder zu akzeptieren und einen Lerndatensatz zu erzeugen, indem die akzeptierte Lehrposition jedem der virtuellen Abstandsbilder zugeordnet wird.

Description

{Technisches Gebiet}
Die vorliegende Offenbarung betrifft eine Lerndatensatz-Erzeugungsvorrichtung und ein Lerndatensatz-Erzeugungsverfahren.
{Stand der Technik}
Es gibt ein bekanntes Verfahren zum Erzeugen eines beim maschinellen Lernen zu verwendenden Datensatzes durch Erfassen von Abstandsbildern mehrerer Werkstücke mittels einer Maschine für dreidimensionale Messungen und durch Speichern von Lehrdaten, die die erfassten Abstandsbilder umfassen, in Verbindung mit einer Kennzeichnungskarte, die eine Lehrposition angibt (siehe beispielsweise Patentliteratur 1).
Das Verfahren in Patentliteratur 1 wird zum Beispiel zum Erzeugen eines Lernmodells verwendet, das eine Entnahmeposition schätzt, wenn mehrere Werkstücke, die in Masse in einem Behälter geladen sind, einzeln mit einer an einem Roboter angebrachten Hand entnommen werden. Zur Erzeugung eines hochpräzisen gelernten Modells muss eine große Anzahl von Datensätzen erstellt werden. Mit anderen Worten müssen bei jeder Erzeugung eines Datensatzes die mehreren Werkstücke in einer anderen Form in Masse geladen und Abstandsbilder mittels der Maschine für dreidimensionale Messungen erfasst werden.
{Liste bekannter Schriften}
{Patentliteratur}
{PTL 1} Ungeprüfte Japanische Patentanmeldung, Veröffentlichungsnr. 2019-58960
{Kurzdarstellung der Erfindung}
{Technisches Problem}
Da jedes durch einen Roboter gehandhabte Werkstück ein großes Gewicht aufweist, nimmt das Durchführen des Arbeitsvorgangs des Massenladens mehrerer Werkstücke in anderer Form bei jeder Erzeugung jedes Datensatzes viel Zeit und Arbeit in Anspruch. Daher ist es wünschenswert, dass ein Lerndatensatz erzeugt wird, ohne den Arbeitsvorgang des Massenladens tatsächlicher Werkstücke erneut durchzuführen.
{Lösung des Problems}
Ein Aspekt der vorliegenden Offenbarung ist eine Lerndatensatz-Erzeugungsvorrichtung, die Folgendes umfasst: einen Speicher, der dreidimensionale CAD-Daten eines Werkstücks und eines Behälters speichert; und einen oder mehrere Prozessoren einschließlich Hardware, wobei der eine oder die mehreren Prozessoren dazu ausgelegt sind, die in dem Speicher gespeicherten dreidimensionalen CAD-Daten des Werkstücks und des Behälters zu verwenden, um in einem dreidimensionalen virtuellen Raum mehrere Abbildungsobjekte zu erzeugen, in denen mehrere der Werkstücke in unterschiedlichen Formen in Masse in dem Behälter geladen sind, mehrere virtuelle Abstandsbilder zu erfassen, indem jedes der erzeugten Abbildungsobjekte mittels einer in dem dreidimensionalen virtuellen Raum angeordneten virtuellen Maschine für dreidimensionale Messungen vermessen wird, mindestens eine Lehrposition für jedes der erfassten virtuellen Abstandsbilder zu akzeptieren und einen Lerndatensatz zu erzeugen, indem die akzeptierte Lehrposition jedem der virtuellen Abstandsbilder zugeordnet wird.
Figurenliste

{1} 1 ist ein Gesamtkonfigurationsdiagramm, das ein Robotersystem zeigt, das eine Lerndatensatz-Erzeugungsvorrichtung und ein Lerndatensatz-Erzeugungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung verwendet.
{2} 2 ist ein Blockdiagramm, das die Lerndatensatz-Erzeugungsvorrichtung in 1 zeigt.
{3} 3 ist ein Flussdiagramm zur Erläuterung des Lerndatensatz-Erzeugungsverfahrens unter Verwendung der Lerndatensatz-Erzeugungsvorrichtung in 2.
{4} 4 ist ein Flussdiagramm zur Erläuterung einer Modifikation des Lerndatensatz-Erzeugungsverfahrens in 3.

{Beschreibung der Ausführungsform}
Im Folgenden werden eine Lerndatensatz-Erzeugungsvorrichtung 1 und ein Lerndatensatz-Erzeugungsverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.
Wie in 1 gezeigt, wird die Lerndatensatz-Erzeugungsvorrichtung 1 gemäß dieser Ausführungsform auf ein Robotersystem 100 angewendet, das Folgendes umfasst: einen Roboter 110 mit einer Hand 111 an seinem distalen Ende; und eine Maschine 120 für dreidimensionale Messungen, die in Bezug auf den Roboter 110 präzise positioniert ist und die einen vertikal darunter liegenden Messbereich aufweist.
Dieses Robotersystem 100 verwendet ein gelerntes Modell, das eine Entnahmeposition für den Roboter 110 zum einzelnen Entnehmen von Werkstücken W aus einem Behälter X, der innerhalb des Messbereichs der Maschine 120 für dreidimensionale Messungen angeordnet ist und in dem eine große Anzahl von Werkstücken W in einem Massenladezustand aufgenommen sind, schätzt.
Die Lerndatensatz-Erzeugungsvorrichtung 1 gemäß dieser Ausführungsform ist eine Vorrichtung, die eine große Anzahl von Lerndatensätzen erzeugt, die zum Erzeugen des gelernten Modells zu verwenden sind.
Wie in 2 gezeigt, ist die Lerndatensatz-Erzeugungsvorrichtung 1 ein Computer mit einem Speicher 2, einem Prozessor 3, einem Monitor 4 und einer Tastatur und einer Maus, die als Eingabevorrichtung 5 dienen. Der Speicher 2 speichert dreidimensionale CAD-Daten der tatsächlich zu handhabenden Werkstücke W und dreidimensionale CAD-Daten des tatsächlich zu verwendenden Behälters X.
Der Prozessor 3 erzeugt mehrere virtuelle Abbildungsobjekte, in denen die mehreren Werkstücke W, die aus den dreidimensionalen CAD-Daten bestehen, in unterschiedlichen Formen in Masse in dem Behälter X geladen sind, der aus den in dem Speicher 2 gespeicherten dreidimensionalen CAD-Daten besteht. Durch zufälliges Ändern der Positionen und Ausrichtungen der Werkstücke W, die aus den dreidimensionalen CAD-Daten bestehen, ist es möglich, in kurzer Zeit auf einfache Weise mehrere virtuelle Abbildungsobjekte zu erzeugen, in denen die Werkstücke W in verschiedenen Formen in Masse geladen sind.
Der Prozessor 3 platziert jedes der erzeugten Abbildungsobjekte, die aus den dreidimensionalen CAD-Daten bestehen, in einem dreidimensionalen virtuellen Raum und erfasst unter Verwendung eines öffentlich bekannten Verfahrens Abstandsbilder der jeweiligen Abbildungsobjekte mittels einer in demselben dreidimensionalen virtuellen Raum installierten virtuellen Maschine für dreidimensionale Messungen.
Bei jeder Erfassung eines Abstandsbilds zeigt der Prozessor 3 das erfasste Abstandsbild auf dem Monitor 4 an und gestattet einem Benutzer, ein Werkstück W auszuwählen, das durch den Roboter 110 entnommen werden kann.
Mit anderen Worten bestimmt der Benutzer, der das auf dem Monitor 4 angezeigte Abstandsbild visuell bestätigt hat, ein Werkstück W, das entnommen werden kann, mittels der Maus oder der Tastatur, die als Eingabevorrichtung 5 dient. Dadurch akzeptiert der Prozessor 3 die Positionen (zum Beispiel die Schwerpunktpositionen) eines oder mehrerer durch den Benutzer bestimmter Werkstücke W als eine oder mehrere Lehrpositionen für den Roboter 110 zur Entnahme dieser Werkstücke W.
Dann ordnet der Prozessor 3 die akzeptierten Lehrpositionen dem zuvor erfassten Abstandsbild zu, wodurch ein Lerndatensatz erzeugt wird, und speichert den Lerndatensatz in dem Speicher 2. Durch Wiederholen der gleichen Verarbeitung für jedes der Abbildungsobjekte ist es möglich, in kurzer Zeit auf einfache Weise eine große Anzahl von Lerndatensätzen zu erzeugen.
Im Folgenden wird das Lerndatensatz-Erzeugungsverfahren unter Verwendung der so konfigurierten Lerndatensatz-Erzeugungsvorrichtung 1 gemäß dieser Ausführungsform beschrieben.
Zuerst werden ein dreidimensionales Modell eines virtuellen Roboters und einer virtuellen Maschine für dreidimensionale Messungen derart in einem durch den Prozessor 3 definierten dreidimensionalen virtuellen Raum installiert, dass die Positionsbeziehung zwischen ihnen mit der Positionsbeziehung zwischen dem Roboter 110 und der Maschine 120 für dreidimensionale Messungen, die in dem dreidimensionalen realen Raum installiert sind, übereinstimmt.
Zudem werden dreidimensionale CAD-Daten von tatsächlich zu handhabenden Werkstücken W und dreidimensionale CAD-Daten eines Behälters X zum Aufnehmen der Werkstücke W in einem Massenladezustand im Voraus in dem Speicher 2 gespeichert.
Als Nächstes werden, wie in 3 gezeigt, Massenladeparameter eingestellt (Schritt S1). Die Parameter sind beispielsweise die Anzahl von in dem Behälter X aufzunehmenden Werkstücken W und die Positionen und Ausrichtungen mehrerer auf einer Bodenfläche des Behälters X anzuordnender Werkstücke W.
Dann werden die mehreren Werkstücke W, die aus den dreidimensionalen CAD-Daten bestehen, unter Verwendung der eingestellten Parameter in einem Massenladezustand in dem Behälter X, der aus den dreidimensionalen CAD-Daten besteht, aufgenommen. Dadurch wird ein virtuelles Abbildungsobjekt erzeugt, das aus den dreidimensionalen CAD-Daten besteht, in dem die mehreren Werkstücke W in einem Massenladezustand in dem Behälter X untergebracht sind (virtuelles Abbildungsobjekt) (Schritt S2).
Das erzeugte virtuelle Abbildungsobjekt, das aus den dreidimensionalen CAD-Daten besteht, wird mittels der in dem dreidimensionalen virtuellen Raum angeordneten virtuellen Maschine für dreidimensionale Messungen vermessen und ein Abstandsbild des virtuellen Abbildungsobjekts (virtuelles Abstandsbild) wird erfasst (Schritt S3).
Dann wird das erfasste Abstandsbild auf dem Monitor 4 angezeigt (Schritt S4), und in Bezug auf das angezeigte Abstandsbild wird ein Benutzer aufgefordert, ein Werkstück W zu bestimmen, das entnommen werden kann (Schritt S5). Dadurch wird die Schwerpunktposition des bestimmten Werkstücks W als Lehrposition akzeptiert.
Es wird ermittelt, ob die Bestimmung von Werkstücken W, die entnommen werden können, abgeschlossen ist oder nicht (Schritt S6), und falls die Bestimmung nicht abgeschlossen ist, wird die Bestimmung eines Werkstücks W in Schritt S5 wiederholt. Falls die Bestimmung abgeschlossen ist, werden dem Abstandsbild eine oder mehrere akzeptierte Lehrpositionen zugeordnet, wodurch ein Lerndatensatz erzeugt wird (Schritt S7). Falls ein Lerndatensatz für ein Abbildungsobjekt erzeugt wurde, wird der Benutzer aufgefordert, einzugeben, ob die Erzeugung beendet werden soll oder nicht (Schritt S8), und falls die Erzeugung nicht beendet ist, werden die Parameter geändert (Schritt S9) und der Prozess ab Schritt S2 wird wiederholt.
Bei dieser Konfiguration besteht ein Vorteil darin, dass es möglich ist, in kurzer Zeit einfach Lerndatensätze für eine große Anzahl von Abbildungsobjekten zu erzeugen, in denen die mehreren Werkstücke W in dem Behälter X in einem Zustand aufgenommen sind, in dem die Werkstücke W in unterschiedlichen Formen in Masse geladen sind. Mit anderen Worten muss der Benutzer keine tatsächlichen schweren Werkstücke W handhaben, um die Werkstücke W bei jeder Erzeugung eines Lerndatensatzes in einer anderen Form in Masse zu laden, und somit ist es möglich, die Belastung für den Benutzer zu reduzieren und auch die zur Erzeugung von Lerndatensätzen erforderliche Zeit zu reduzieren.
Darüber hinaus lässt sich als Ergebnis des Durchführens von maschinellem Lernen unter Verwendung der großen Anzahl erzeugter Lerndatensätze ein hochpräzises gelerntes Modell erzeugen.
Falls ein Werkstück W mittels des Roboters 110 aus dem Behälter X entnommen wird, erfasst die in dem dreidimensionalen realen Raum angeordnete Maschine 120 für dreidimensionale Messungen ein Abstandsbild des Behälters X, der in dem Messbereich der Maschine 120 für dreidimensionale Messungen angeordnet ist und in dem tatsächliche Werkstücke W in einem Massenladezustand aufgenommen sind. Dann ist es als Ergebnis des Eingebens des erfassten Abstandsbilds in ein gelerntes Modell möglich, eine Entnahmeposition mindestens eines Werkstücks W zu schätzen, das durch den Roboter 110 entnommen werden kann.
Es sei angemerkt, dass diese Ausführungsform unter der Annahme beschrieben wurde, dass die Positionsbeziehung zwischen der virtuellen Maschine für dreidimensionale Messungen und dem Behälter X, die in dem dreidimensionalen virtuellen Raum angeordnet sind, genau mit der Positionsbeziehung zwischen der Maschine 120 für dreidimensionale Messungen und dem Behälter X, die in dem dreidimensionalen realen Raum angeordnet sind, übereinstimmt. Es ist jedoch schwierig, den Behälter X in Bezug auf die Maschine 120 für dreidimensionale Messungen in dem dreidimensionalen realen Raum genau zu positionieren.
Dementsprechend wird, wie in 4 gezeigt, die Maschine 120 für dreidimensionale Messungen vor der Erzeugung eines Lerndatensatzes in dem dreidimensionalen realen Raum fixiert, und der Behälter X wird innerhalb des Messbereichs der Maschine für dreidimensionale Messungen angeordnet 120, um ein tatsächliches Abstandsbild des Behälters X (tatsächliches Abstandsbild) zu erfassen (Schritt S10). Die relative Position zwischen der Maschine 120 für dreidimensionale Messungen und dem Behälter X (tatsächliche relative Position) wird aus dem erfassten tatsächlichen Abstandsbild des Behälters X berechnet (Schritt S11).
Dann wird die virtuelle Maschine für dreidimensionale Messungen und/oder der Behälter X in dem dreidimensionalen virtuellen Raum bewegt. Dadurch wird die relative Position zwischen der virtuellen Maschine für dreidimensionale Messungen und dem Behälter X (virtuelle relative Position) mit der tatsächlichen relativen Position zwischen der Maschine 120 für dreidimensionale Messungen und dem Behälter X in dem dreidimensionalen realen Raum abgeglichen (Schritt S12), und der Prozess fährt mit Schritt S1 fort.
Indem eine solche Verarbeitung vor der Erzeugung eines Lerndatensatzes durchgeführt wird, ist es möglich, das virtuelle Abstandsbild, das auf dem Monitor 4 angezeigt wird, um dem Benutzer zu gestatten, ein Werkstück W zu bestimmen, das entnommen werden kann, an das mittels der tatsächlichen Maschine 120 für dreidimensionale Messungen erfasste tatsächliche Abstandsbild anzunähern. Daher besteht ein Vorteil darin, dass es möglich ist, die Genauigkeit einer dem virtuellen Abstandsbild zugeordneten Lehrposition zu verbessern und einen Lerndatensatz zu erzeugen, der in der Lage ist, die Genauigkeit einer auf Grundlage des tatsächlichen Abstandsbilds geschätzten Entnahmeposition zu verbessern.
Bezugszeichenliste

1: Lerndatensatz-Erzeugungsvorrichtung
2: Speicher
3: Prozessor
120: Maschine für dreidimensionale Messungen
X: Behälter
W: Werkstück

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201958960 [0004]

Claims

Lerndatensatz-Erzeugungsvorrichtung, die Folgendes umfasst: einen Speicher, der dreidimensionale CAD-Daten eines Werkstücks und eines Behälters speichert; und einen oder mehrere Prozessoren, die Hardware umfassen, wobei der eine oder die mehreren Prozessoren zu Folgendem ausgelegt sind: Verwenden der in dem Speicher gespeicherten dreidimensionalen CAD-Daten des Werkstücks und des Behälters, um in einem dreidimensionalen virtuellen Raum mehrere Abbildungsobjekte zu erzeugen, in denen mehrere der Werkstücke in unterschiedlichen Formen in Masse in dem Behälter geladen sind, Erfassen mehrerer virtueller Abstandsbilder, indem jedes der erzeugten Abbildungsobjekte mittels einer in dem dreidimensionalen virtuellen Raum angeordneten virtuellen Maschine für dreidimensionale Messungen vermessen wird, Akzeptieren mindestens einer Lehrposition für jedes der erfassten virtuellen Abstandsbilder, und Erzeugen eines Lerndatensatzes, indem die akzeptierte Lehrposition jedem der virtuellen Abstandsbilder zugeordnet wird.
Lerndatensatz-Erzeugungsvorrichtung nach Anspruch 1, wobei der eine oder die mehreren Prozessoren ferner ausgelegt sind zum Verwenden eines Abstandsbilds des Behälters in einem dreidimensionalen realen Raum, das mittels einer in dem dreidimensionalen realen Raum installierten Maschine für dreidimensionale Messungen erfasst wird, um die Position der virtuellen Maschine für dreidimensionale Messungen relativ zu dem Behälter in dem dreidimensionalen virtuellen Raum auf eine Position einzustellen, die mit der Anordnung der Maschine für dreidimensionale Messungen relativ zu dem Behälter übereinstimmt.
Lerndatensatz-Erzeugungsverfahren, das Folgendes umfasst: Verwenden von dreidimensionalen CAD-Daten eines Werkstücks und eines Behälters, um in einem dreidimensionalen virtuellen Raum mehrere Abbildungsobjekte zu erzeugen, in denen mehrere der Werkstücke in unterschiedlichen Formen in Masse in dem Behälter geladen sind; Erfassen mehrerer virtueller Abstandsbilder, indem jedes der erzeugten Abbildungsobjekte mittels einer in dem dreidimensionalen virtuellen Raum angeordneten virtuellen Maschine für dreidimensionale Messungen vermessen wird, Akzeptieren mindestens einer Lehrposition für jedes der erfassten virtuellen Abstandsbilder, und Erzeugen eines Lerndatensatzes, indem die akzeptierte Lehrposition jedem der virtuellen Abstandsbilder zugeordnet wird.
Lerndatensatz-Erzeugungsverfahren nach Anspruch 3, ferner umfassend Verwenden eines Abstandsbilds des Behälters in einem dreidimensionalen realen Raum, das mittels einer in dem dreidimensionalen realen Raum installierten Maschine für dreidimensionale Messungen erfasst wird, um die Position der virtuellen Maschine für dreidimensionale Messungen relativ zu dem Behälter in dem dreidimensionalen virtuellen Raum auf eine Position einzustellen, die mit der Anordnung der Maschine für dreidimensionale Messungen relativ zu dem Behälter übereinstimmt.