DE112020000142T5

DE112020000142T5 - System mit einer Arbeitsmaschine, computerimplementiertes Verfahren, Verfahren zur Erzeugung eines gelernten Positionsschätzmodells, und Lerndaten

Info

Publication number: DE112020000142T5
Application number: DE112020000142.3T
Authority: DE
Inventors: Nobuyoshi YAMANAKA; Toshiaki Kumagai; Kensuke Fujii
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-01-29
Filing date: 2020-01-23
Publication date: 2021-07-29
Also published as: US20220049477A1; US12024863B2; JP2020122283A; KR102590855B1; KR20210075157A; CN113167054A; JP7316052B2; WO2020158557A1; CN113167054B

Abstract

Es wird ein System bereitgestellt, das eine Arbeitsmaschine enthält, die einen Arbeitsmaschinen-Hauptkörper, ein am Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät, ein zum Betätigen des Arbeitsgeräts betriebenes Betätigungselement und einen Computer (102A) umfasst. Der Computer (102A) enthält ein gelerntes Positionsschätzmodell (80B) zum Bestimmen der Position eines Abschnitts des Arbeitsgeräts, der ein Ziel der Positionsschätzung ist. Der Computer (102A) erhält einen Betätigungsbefehlswert, der das Arbeitsgerät veranlasst, eine Bewegung als Reaktion auf eine Betätigung des Betätigungselements auszuführen, verwendet das gelernte Positionsschätzmodell (80B), um aus dem Betätigungsbefehlswert einen Versetzungsbetrag des Ziels der Positionsschätzung von einer Referenzposition zu schätzen, und gibt eine geschätzte Position aus, die eine Position des Ziels der Positionsschätzung ist, die aus der Referenzposition und dem Versetzungsbetrag geschätzt wird.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein System mit einer Arbeitsmaschine, ein computerimplementiertes Verfahren, ein Verfahren zur Erstellung eines gelernten Positionsschätzmodells und Lerndaten.
Stand der Technik
Hinsichtlich eines Hydraulikbaggers offenbart die PTL 1 die Anbringung eines Auslegerwinkelsensors an einem Auslegerbolzen, eines Löffelstielwinkelsensors an einem Löffelstielbolzen und eines Löffelwinkelsensors an einer Löffelverbindung, um Werte zu erfassen, die wiederum zur Berechnung der Position der Zahnspitze eines Löffels verwendet werden.
Zitationsliste
Patentliteratur
PTL 1: Japanische Patentveröffentlichung Nr. 2017-71982
Zusammenfassung der Erfindung
Technisches Problem
Die im obigen Dokument beschriebene Konfiguration erfordert die Anbringung eines Winkelsensors an jeweils einer Achse des Auslegers, des Löffelstiels und des Löffels, um die Stellung eines Arbeitsgeräts zu bestimmen, wodurch eine erhöhte Anzahl von Komponenten benötigt wird.
Hierin wird ein System offenbart, das eine Arbeitsmaschine, ein computerimplementiertes Verfahren, ein Verfahren zur Erstellung eines gelernten Positionsschätzmodells, und Lerndaten zur Bestimmung der Position eines Arbeitsgeräts umfasst.
Lösung des Problems
Gemäß einem Aspekt der vorliegenden Erfindung wird ein System mit einer Arbeitsmaschine bereitgestellt, das Folgendes umfasst: einen Arbeitsmaschinen-Hauptkörper; ein an dem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät; ein Betätigungselement, das zum Betätigen des Arbeitsgeräts betrieben wird; und einen Computer. Der Computer verfügt über ein trainiertes Positionsschätzmodell, um eine Position eines Ziels der Positionsschätzung zu bestimmen, bei dem es sich um einen Teil des Arbeitsgeräts handelt, der einer Positionsschätzung unterzogen werden soll. Der Computer erhält einen Betätigungsbefehlswert, der das Arbeitsgerät veranlasst, eine Bewegung in Reaktion auf eine Betätigung des Betätigungselements auszuführen, verwendet das gelernte Positionsschätzmodell, um aus dem Betätigungsbefehlswert einen Versetzungsbetrag des Ziels der Positionsschätzung von einer Referenzposition zu schätzen, und gibt eine erste geschätzte Position aus, die eine Position des Ziels der Positionsschätzung ist, die aus der Referenzposition und dem Versetzungsbetrag geschätzt wird.
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren bereitgestellt. Das Verfahren umfasst die folgenden Schritte. In einem ersten Schritt wird ein Betätigungsbefehlswert erhalten, der bewirkt, dass ein Arbeitsgerät, das an einem Arbeitsmaschinen-Hauptkörper vorgesehen ist, eine Bewegung ausführt. In einem zweiten Schritt wird unter Verwendung eines gelernten Positionsschätzmodells zur Bestimmung einer Position des Arbeitsgeräts eine geschätzte Position erhalten, die eine aus dem Betätigungsbefehlswert geschätzte Position des Arbeitsgeräts ist.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Erzeugung eines gelernten Positionsschätzmodells bereitgestellt. Das Verfahren umfasst die folgenden Schritte. In einem ersten Schritt werden Lerndaten erhalten. Die Lerndaten umfassen: einen Betätigungsbefehlswert, der ein an einem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät veranlasst, eine Bewegung auszuführen; und einen Versetzungsbetrag des Arbeitsgeräts von einer Referenzposition, der erhalten wird, wenn der Betätigungsbefehlswert erfasst wird. In einem zweiten Schritt wird das Positionsschätzmodell unter Verwendung der Lerndaten trainiert.
Gemäß einem Aspekt der vorliegenden Erfindung werden Lerndaten bereitgestellt, die zum Trainieren eines Positionsschätzmodells verwendet werden, das zur Bestimmung einer Position eines Arbeitsgeräts verwendet wird. Die Lerndaten umfassen: einen Betätigungsbefehlswert, der ein an einem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät veranlasst, eine Bewegung auszuführen; und einen Versetzungsbetrag des Arbeitsgeräts von einer Referenzposition, der erhalten wird, wenn der Betätigungsbefehlswert erfasst wird.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Erzeugung eines gelernten Positionsschätzmodells bereitgestellt. Das Verfahren umfasst die folgenden Schritte. In einem ersten Schritt wird ein Betätigungsbefehlswert erhalten, der ein an einem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät veranlasst, eine Bewegung auszuführen. In einem zweiten Schritt wird ein trainiertes Positionsschätzmodell verwendet, um eine geschätzte Position zu erhalten, die eine aus dem Betätigungsbefehlswert geschätzte Position des Arbeitsgerätes ist. Ein dritter Schritt umfasst das Trainieren eines weiteren Positionsschätzmodells unter Verwendung von Lemdaten, die den Betätigungsbefehlswert und die geschätzte Position enthalten.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung kann eine Position eines Arbeitsgerätes genau ermittelt werden.
Figurenliste

1 ist eine Außenansicht eines Hydraulikbaggers gemäß einer Ausführungsform.
2 ist eine Seitenansicht eines Arbeitsgeräts zur Veranschaulichung eines Auslegerwinkels, eines Löffelstielwinkels und eines Löffelwinkels.
3 ist eine schematische Draufsicht auf den in 1 gezeigten Hydraulikbagger.
4 ist ein Blockdiagramm, das eine schematische Konfiguration eines Systems mit dem Hydraulikbagger zeigt.
5 ist ein schematisches Diagramm, das eine Konfiguration eines Computers zeigt.
6 ist ein Funktionsblockdiagramm, das allgemein eine innere Struktur des Computers vor der Auslieferung zeigt.
7 ist ein Flussdiagramm eines Verfahrens zur Erzeugung eines ersten gelernten Positionsschätzmodells.
8 ist ein schematisches Diagramm, das ein Verfahren zum Trainieren des ersten Positionsschätzmodells zeigt.
9 ist ein Flussdiagramm eines Verfahrens zur Erzeugung eines zweiten gelernten Positionsschätzmodells.
10 ist ein schematisches Diagramm, das ein Verfahren zum Trainieren des zweiten Positionsschätzmodells zeigt.
11 ist ein Funktionsblockdiagramm, das allgemein eine innere Struktur des Computers im Auslieferungszustand zeigt.
12 ist ein Flussdiagramm eines Prozesses, der vom Computer ausgeführt wird, um eine relative Position eines Arbeitsgeräts nach der Auslieferung aus einem Werk zu schätzen.
13 ist ein schematisches Diagramm, das einen Prozess zur Schätzung einer relativen Position des Arbeitsgeräts aus einem erfassten Bild unter Verwendung eines gelernten Positionsschätzmodells zeigt.
14 ist ein schematisches Diagramm, das ein Verfahren zur Schätzung einer relativen Position des Arbeitsgeräts aus einem erfassten Bild und einem Betätigungsbefehlswert unter Verwendung eines gelernten Positionsschätzmodells zeigt.
15 ist ein schematisches Diagramm, das ein modifiziertes Beispiel bezüglich des Lernens eines Positionsschätzmodells zeigt.
16 ist ein Flussdiagramm eines Prozesses zur Erzeugung eines Wissensdestillationsmodells.

Beschreibung der Ausführungsformen
Im Folgenden wird eine Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben. In der folgenden Beschreibung werden identische Bauteile identisch gekennzeichnet. Ihre Namen und Funktionen sind ebenfalls gleich. Entsprechend werden sie nicht wiederholt beschrieben.
In der Ausführungsform wird zunächst eine Konfiguration eines Hydraulikbaggers beschrieben, die ein Beispiel für eine Arbeitsmaschine ist, auf die die Idee der vorliegenden Erfindung anwendbar ist. 1 zeigt ein Erscheinungsbild eines Hydraulikbaggers 100 gemäß einer Ausfü hrungsform.
Wie in 1 dargestellt, umfasst der Hydraulikbagger 100 einen Hauptkörper 1 und ein hydraulisch betriebenes Arbeitsgerät 2. Der Hauptkörper 1 umfasst einen Oberwagen 3 und einen Unterwagen 5. Der Unterwagen 5 umfasst ein Paar von Raupenketten 5Cr. Der Hydraulikbagger 100 fährt, wenn sich die Raupenketten 5Cr drehen. Der Unterwagen 5 kann Räder (Reifen) haben.
Der Oberwagen 3 ist auf dem Unterwagen 5 angeordnet und wird von dem Unterwagen 5 getragen. Der Oberwagen 3 kann sich um eine Drehachse RX in Bezug auf den Unterwagen 5 drehen. Der Oberwagen 3 hat eine Kabine 4. Ein Insasse (oder Fahrer) des Hydraulikbaggers 100 steigt in Kabine 4 ein und bedient den Hydraulikbagger 100. Die Kabine 4 ist mit einem Fahrersitz 4S ausgestattet, auf dem der Fahrer sitzt. Der Fahrer kann den Hydraulikbagger 100 von der Kabine 4 aus bedienen. Der Fahrer in der Kabine 4 kann das Arbeitsgerät 2 bedienen, den Oberwagen 3 bedienen, um ihn in Bezug auf den Unterwagen 5 zu drehen, und den Unterwagen 5 bedienen, um den Hydraulikbagger 100 zu bewegen.
Der Oberwagen 3 hat einen Motorraum 9, in dem ein Motor und ein Gegengewicht in einem hinteren Abschnitt des Oberwagens 3 untergebracht sind. Im Motorraum 9 sind ein Motor, eine Hydraulikpumpe usw. angeordnet (nicht dargestellt).
Der Oberwagen 3 ist mit einem Handlauf 29 vor dem Motorraum 9 versehen. Der Handlauf 29 ist mit einer Antenne 21 versehen. Die Antenne 21 ist zum Beispiel eine Antenne für GNS-Systeme (Global Navigation Satellite Systems, GNSS). Die Antenne 21 hat eine erste Antenne 21A und eine zweite Antenne 21B, die auf dem Oberwagen 3 vorgesehen und in
Das Arbeitsgerät 2 wird von dem Oberwagen 3 getragen. Das Arbeitsgerät 2 hat einen Ausleger 6, einen Löffelstiel 7 und einen Löffel 8. Der Ausleger 6 ist schwenkbar mit dem Oberwagen 3 verbunden. Der Löffelstiel 7 ist schwenkbar mit dem Ausleger 6 verbunden, und der Löffel 8 ist schwenkbar mit dem Löffelstiel 7 verbunden. Der Löffel 8 hat eine Vielzahl von Zähnen. Der Löffel 8 hat einen distalen Abschnitt, der als Zahnspitze 8a bezeichnet wird.
Der Ausleger 6 hat einen proximalen Abschnitt, der über einen Auslegerstift 13 mit dem Oberwagen 3 gekoppelt ist. Der Löffelstiel 7 hat einen proximalen Abschnitt, der über einen Löffelstiftbolzen 14 mit einem distalen Endabschnitt des Auslegers 6 verbunden ist. Der Löffel 8 ist über einen Löffelbolzen 15 mit einem distalen Abschnitt des Löffelstiels 7 verbunden. Der Löffel 8 ist ein Beispiel für einen Aufsatz, der abnehmbar an der Spitze des Arbeitsgeräts 2 befestigt ist. Je nach Art der Arbeit wird der Aufsatz durch einen Brecher, einen Greifer, ein Hebemagnet oder ähnliches ersetzt.
Der Hydraulikbagger 100 besteht aus einer Vielzahl von Komponenten, deren Lagebeziehung in der vorliegenden Ausführungsform beschrieben wird, wobei das Arbeitsgerät 2 als Referenz dient.
Der Ausleger 6 des Arbeitsgeräts 2 schwenkt in Bezug auf den Oberwagen 3 um den Auslegerstift 13, der am proximalen Endabschnitt des Auslegers 6 vorgesehen ist. Wenn sich ein bestimmter Abschnitt des Auslegers 6, der in Bezug auf den Oberwagen 3 schwenkt, z.B. ein distaler Endabschnitt des Auslegers 6, bewegt, bildet er eine bogenförmige Ortskurve. Eine den Bogen einschließende Ebene wird als Arbeitsebene P festgelegt. Wenn der Hydraulikbagger 100 in der Draufsicht betrachtet wird, wird die Arbeitsebene P als Gerade dargestellt. Die Gerade verläuft in einer Richtung, die eine Vorwärts/Rückwärts-Richtung des Hauptkörpers 1 des Hydraulikbaggers 100 oder des Oberwagens 3 ist, und wird im Folgenden auch einfach als Vorwärts/Rückwärts-Richtung bezeichnet. Eine s Rechts-/Linksrichtung (oder Fahrzeugbreitenrichtung) des Hauptkörpers 1 des Hydraulikbaggers 100 oder eine Rechts-/Linksrichtung des Oberwagens 3 verläuft in der Draufsicht orthogonal zur Längsrichtung und wird im Folgenden auch einfach als die Rechts-/Linksrichtung bezeichnet.
Eine Seite, auf der das Arbeitsgerät 2 aus dem Hauptkörper 1 des Hydraulikbaggers 100 in der Längsrichtung herausragt, ist die Vorwärtsrichtung, und eine der Vorwärtsrichtung entgegengesetzte Richtung ist die Rückwärtsrichtung. Eine rechte Seite und eine linke Seite der seitlichen Richtung, wenn man nach vorne zeigt, ist die rechte Richtung bzw. die linke Richtung.
Die Vorwärts-/Rückwärtsrichtung bezieht sich auf die Vorwärts-/Rückwärtsrichtung eines Fahrers, der auf dem Fahrersitz in der Kabine 4 sitzt. Eine Richtung, in der der am Fahrersitz sitzende Fahrer nach vorne zeigt, wird als Vorwärtsrichtung definiert, und eine Richtung hinter dem Fahrer, der am Fahrersitz sitzt, wird als Rückwärtsrichtung definiert. Die Rechts-/Linksrichtung bezieht sich auf eine Rechts-/Linksrichtung des Fahrers, der auf dem Fahrersitz sitzt. Eine rechte Seite und eine linke Seite, sind als die rechte Richtung bzw. die linke Richtung definiert, wenn der Bediener, der am Fahrersitz sitzt, nach vorne gewandt ist.
Der Ausleger 6 ist um den Auslegerbolzen 13 schwenkbar. Der Löffelstiel 7 ist um den Löffelstiftbolzen 14 schwenkbar. Der Löffel 8 ist um den Löffelbolzen 15 schwenkbar. Der Löffelstiel 7 und der Löffel 8 sind jeweils ein bewegliches Element, das auf der Seite des distalen Endes von Ausleger 6 beweglich ist. Der Auslegerbolzen 13, der Löffelstiftbolzen 14 und der Löffelbolzen 15 erstrecken sich in einer Richtung senkrecht zur Arbeitsebene P, d.h. in Rechts-/Linksrichtung. Die Arbeitsebene P ist orthogonal zu mindestens einer (in der Ausführungsform alle drei) der Achsen, die als Mittelpunkte dienen, um die sich der Ausleger 6, der Löffelstiel 7 und der Löffel 8 drehen.
Wie oben dargelegt wurde, schwenkt der Ausleger 6 auf der Arbeitsebene P in Bezug auf den Oberwagen 3. In ähnlicher Weise schwenkt der Löffelstiel 7 auf der Arbeitsebene P in Bezug auf den Ausleger 6, und der Löffel 8 schwenkt auf der Arbeitsebene P in Bezug auf den Löffelstiel 7. Das Arbeitsgerät 2 der Ausführungsform wird in seiner Gesamtheit auf der Arbeitsebene P betrieben. Die Zahnspitze 8a des Löffels 8 bewegt sich auf der Arbeitsebene P. Die Arbeitsebene P ist eine vertikale Ebene, die einen Bereich einschließt, in dem das Arbeitsgerät 2 beweglich ist. Die Arbeitsebene P schneidet jeweils den Ausleger 6, den Löffelstiel 7 und den Löffel 8. Die Arbeitsebene P kann in der Mitte des Auslegers 6, des Löffelstiels 7 und des Löffels 8 in Rechts-/Linksrichtung eingestellt werden.
Wie in 1 dargestellt, wird in der vorliegenden Spezifikation eine X-Achse in horizontaler Richtung auf der Arbeitsebene P und eine Y-Achse in vertikaler Richtung nach oben auf der Arbeitsebene P eingestellt.
Das Arbeitsgerät 2 hat einen Auslegerzylinder 10, einen Löffelstielzylinder 11 und einen Löffelzylinder 12. Der Auslegerzylinder 10 treibt den Ausleger 6 an, der Löffelstielzylinder 11 treibt den Löffelstiel 7 an. Der Löffelzylinder 12 treibt den Löffel 8 an. Der Auslegerzylinder 10, der Löffelstielzylinder 11 und der Löffelzylinder 12 sind jeweils ein Hydraulikzylinder, der mit Hydrauliköl angetrieben wird.
Das Arbeitsgerät 2 hat ein Löffelgelenk. Das Löffelgelenk hat ein erstes Verbindungselement 16 und ein zweites Verbindungselement 17. Die Spitzen des ersten G Verbindungselements 16 und des zweiten Verbindungselements 17 sind über einen oberen Bolzen 19 des Löffelzylinders relativ drehbar miteinander verbunden. Der obere Bolzen 19 des Löffelzylinders ist mit einer Spitze des Löffelzylinders 12 verbunden. Daher sind das erste Verbindungselement 16 und das zweite Verbindungselement 17 mit Bolzen am Löffelzylinder 12 befestigt.
Das erste Verbindungselement 16 hat ein proximales Ende, das über einen ersten Verbindungsstift 18 in der Nähe des Löffelbolzens 15, der sich am distalen Abschnitt des Löffelstiels 7 befindet, drehbar mit dem Löffelstiel 7 verbunden ist. Das erste Verbindungselement 16 ist mit dem Löffelstiel 7 verstiftet. Das zweite Verbindungselement 17 hat ein proximales Ende, das über einen zweiten Verbindungsstift 20 drehbar mit einer Halterung am Fuß von Löffel 8 verbunden ist. Das zweite Verbindungselement 17 ist mit dem Löffel 8 verstiftet.
Der Hydraulikbagger 100 hat eine Abbildungsvorrichtung 50. Die Abbildungsvorrichtung 50 in der Ausführungsform ist eine monokulare Kamera.
Die Abbildungsvorrichtung 50 ist am Oberwagen 3 angebracht. Die Abbildungsvorrichtung 50 ist an der Kabine 4 angebracht. Die Abbildungsvorrichtung 50 ist in der Kabine 4 angebracht. Die Abbildungsvorrichtung 50 ist in der Nähe des oberen Endes einer linken vorderen Säule der Kabine 4 angebracht. Die Abbildungsvorrichtung 50 ist in einem Innenraum von Kabine 4 in der Nähe der linken vorderen Säule an einer vom Arbeitsgerät 2 in Rechts-/Linksrichtung entfernten Stelle angebracht. Die Abbildungsvorrichtung 50 ist in Rechts-/Linksrichtung von der Arbeitsebene P des Arbeitsgeräts 2 entfernt angeordnet. Die Abbildungsvorrichtung 50 ist links von der Arbeitsebene P angeordnet.
2 ist eine Seitenansicht des Arbeitsgeräts 2 zur Veranschaulichung eines Auslegerwinkels θb, eines Löffelstielwinkels θa und eines Löffelwinkels θk.
Wie in 2 dargestellt, ist ein Winkel, der in einer Seitenansicht durch eine durch den Auslegerstift 13 und den Löffelstiftbolzen 14 verlaufende Gerade und eine in einer Aufwärts-/Abwärtsrichtung verlaufende Gerade gebildet wird, als Auslegerwinkel θb definiert. Der Auslegerwinkel θb ist ein Winkel des Auslegers 6 in Bezug auf den Oberwagen 3.
Ein Winkel, der in einer Seitenansicht durch eine durch den Auslegerstift 13 und den Löffelstiftbolzen 14 verlaufende Gerade und eine durch den Löffelstiftbolzen 14 und den Löffelbolzen 15 verlaufende Gerade gebildet wird, ist als Löffelstielwinkel θa definiert. Der Löffelstielwinkel θa ist ein Winkel des Löffelstiels 7 in Bezug auf den Ausleger 6.
Ein Winkel, der in einer Seitenansicht durch eine Gerade, die durch den Löffelstiftbolzen 14 und den Löffelbolzen 15 verläuft, und eine Gerade, die durch den Löffelbolzen 15 und Zahnspitze 8a verläuft, ist als Löffelwinkel θk definiert. Der Löffelwinkel θk ist ein Winkel des Löffels 8 in Bezug auf den Löffelstiel 7.
Eine Stellung des Arbeitsgeräts 2 auf der Arbeitsebene P wird durch eine Kombination aus Auslegerwinkel θb, Löffelstielwinkel θa und Löffelwinkel θk bestimmt. Zum Beispiel wird eine Position, oder XY-Koordinaten, auf der Arbeitsebene P des ersten Gelenkbolzens 18, der sich am distalen Abschnitt des Löffelstiels 7 befindet, durch eine Kombination aus Auslegerwinkel θb und Löffelstielwinkel θa bestimmt. Eine Position, oder XY-Koordinaten, auf der Betriebsebene P des oberen Bolzens 19 des Löffelzylinders, der sich während des Betriebs der Löffel 8 verschiebt, wird durch eine Kombination aus Auslegerwinkel θb, Löffelstielwinkel θa und Löffelwinkel θk bestimmt.
3 ist eine schematische Draufsicht des in 1 gezeigten Hydraulikbaggers 100. 3 zeigt schematisch das Arbeitsgerät 2, den Oberwagen 3, die Kabine 4 und die Abbildungsvorrichtung 50, die unter Bezugnahme auf 1 beschrieben sind. Die Arbeitsebene P in 3 ist in der Figur als eine in vertikaler Richtung verlaufende Gerade dargestellt und durch eine doppelgestrichelte Kettenlinie gekennzeichnet. Eine optische Achse AX, die in 3 durch eine Punkt-Strich-Linie dargestellt ist, ist eine optische Achse der Abbildungsvorrichtung 50. Die optische Achse AX und die Betriebsebene P verlaufen nicht parallel. Die optische Achse AX verläuft in einer Richtung, die gegenüber der Richtung geneigt ist, in der sich die Betriebsebene P erstreckt. Die optische Achse AX schneidet die Betriebsebene P.
Die Abbildungsvorrichtung 50 wird so an einer Stelle angebracht, dass die Arbeitsebene des Arbeitsgeräts 2 in einer schrägen Richtung betrachtet werden kann. Die Abbildungsvorrichtung 50 erfasst ein Bild des Arbeitsgeräts 2 in einem Winkel von mehr als 0° in Bezug auf die Arbeitsebene P. Das Arbeitsgerät 2 und die Abbildungsvorrichtung 50 sind beide am Oberwagen 3 angebracht, und selbst wenn der Hydraulikbagger 100 fährt oder sich dreht, hat die Abbildungsvorrichtung 50 eine unveränderte Positionsbeziehung in Bezug auf die Arbeitsebene P. Eine Position, an der die Abbildungsvorrichtung 50 in Bezug auf die Arbeitsebene P angebracht ist, ist für jeden Hydraulikbaggertyp 100 vorgegeben.
Die Abbildungsvorrichtung 50 nimmt ein Bild des Arbeitsgeräts 2 auf. Die Abbildungsvorrichtung 50 nimmt ein Bild der Arbeitsebene P des Arbeitsgeräts 2 auf. Die Abbildungsvorrichtung 50 nimmt ein Bild des Arbeitsgeräts 2 auf, das sich auf der Arbeitsebene P bewegt. Das von der Abbildungsvorrichtung 50 aufgenommene Bild umfasst mindestens einen Abschnitt des Arbeitsgeräts 2.
4 ist ein Blockdiagramm, das eine schematische Konfiguration des Systems zeigt, das den Hydraulikbagger 100 aufweist. Das System gemäß der Ausführungsform ist ein System zur Bestimmung einer relativen Position des Arbeitsgeräts 2 relativ zum Arbeitsmaschinen-Hauptkörper (Hauptkörper 1). Das System gemäß der Ausführungsform umfasst den Hydraulikbagger 100 als Beispiel für die unter Bezugnahme auf die 1 bis 3 beschriebene Arbeitsmaschine und eine in 4 dargestellte Steuervorrichtung 200. Die Steuervorrichtung 200 kann im Hydraulikbagger 100 montiert sein.
Die Steuervorrichtung 200 umfasst eine Antenne 21, eine globale Koordinatenberechnungseinheit 23, eine IMU (Inertial Measurement Unit) 24, eine Bedienungsvorrichtung 25, ein Wegeventil 34, einen Drucksensor 36 und einen Computer 102A.
Die Antenne 21 gibt an die globale Koordinatenberechnungseinheit 23 ein Signal aus, das einer empfangenen Funkwelle (einer GNSS-Funkwelle) entspricht. Die globale Koordinatenberechnungseinheit 23 ermittelt in einem globalen Koordinatensystem eine Position der Antenne 21 im eingebauten Zustand. Das globale Koordinatensystem ist ein dreidimensionales Koordinatensystem, das auf einer in einem Arbeitsbereich eingeführten Referenzposition basiert. Die Referenzposition kann die Position der Spitze eines im Arbeitsbereich gesetzten Referenzpfostens sein.
Die IMU 24 ist am Oberwagen 3 vorgesehen. In diesem Beispiel ist die IMU 24 unter der Kabine 4 angeordnet. Der Oberwagen 3 ist mit einem Rahmen mit hoher Steifigkeit unter der Kabine 4 versehen. Die IMU 24 ist auf dem Rahmen angeordnet. IMU 24 kann seitlich (auf einer rechten oder linken Seite) der Drehachse RX des Oberwagens 3 angeordnet sein. Die IMU 24 misst die Beschleunigung des Oberwagens 3 in Vorwärts-/Rückwärtsrichtung, in Rechts-/Linksrichtung und in Aufwärts-/Abwärtsrichtung sowie die Winkelgeschwindigkeit des Oberwagens 3 um die Vorwärts-/Rückwärtsrichtung, die Rechts-/Linksrichtung und die Aufwärts-/Abwärtsrichtung.
Die Bedienungsvorrichtung 25 ist in der Kabine 4 angeordnet. Ein Bediener bedient die Bedienungsvorrichtung 25. Die Bedienungsvorrichtung 25 empfängt eine Betätigung durch den Bediener, um das Arbeitsgerät 2 anzutreiben. Die Bedienungsvorrichtung 25 empfängt einen vom Bediener ausgeführten Vorgang zum Drehen des Oberwagens 3. Die Bedienungsvorrichtung 25 gibt ein Betriebssignal aus, das einem vom Bediener ausgeführten Betrieb entspricht. In diesem Beispiel ist die Bedienungsvorrichtung 25 eine Bedienungsvorrichtung in einem hydraulischen Steuerungssystem.
Die Steuervorrichtung 200 ist so konfiguriert, dass das von der Hydraulikpumpe 33 bei ihrem Antrieb durch den Motor 31 abgegebene Hydrauliköl über das Wegeventil 34 in Reaktion auf eine Betätigung der Bedienungsvorrichtung 25 durch den Bediener einer Vielzahl von Typen von hydraulischen Stellgliedern 40 zugeführt wird. Der Betrieb des Arbeitsgeräts 2, die Drehung der Oberwagen 3 und der Fahrbetrieb des Fahrgeräts 5 werden durch die Steuerung des Hydraulikdrucks gesteuert, der dem hydraulischen Stellglied 40 zugeführt und von diesem ausgegeben wird. Das hydraulische Stellglied 40 umfasst den Auslegerzylinder 10, den Löffelstielzylinder 11 und den Löffelzylinder 12, die in 1 dargestellt sind, sowie einen Schwenkmotor (nicht dargestellt).
Der Motor 31 ist ein Dieselmotor. Die Menge des in den Motor 31 eingespritzten Kraftstoffs wird vom Computer 102A gesteuert, um die Leistung des Motors 31 zu regeln.
Die Hydraulikpumpe 33 ist mit dem Motor 31 gekoppelt. Die Hydraulikpumpe 33 wird angetrieben, wenn die Drehantriebskraft des Motors 31 auf die Hydraulikpumpe 33 übertragen wird. Bei der Hydraulikpumpe 33 handelt es sich um eine Hydraulik-Verstellpumpe, die eine Taumelscheibe mit einem veränderten Kippwinkel zur Änderung der Verdrängung aufweist. Die Hydraulikpumpe 33 fördert Hydrauliköl, das seinerseits durch ein Reduzierventil auf einen vorbestimmten Druck reduziert und so dem Wegeventil 34 zugeführt wird.
Das Wegeventil 34 ist ein Schieberventil, das einen stangenförmigen Schieber bewegt, um eine Richtung zu schalten, in die das Hydrauliköl fließt. Wenn sich der Schieber in axialer Richtung bewegt, wird die Menge des Hydrauliköls reguliert, die dem hydraulischen Aktuator 40 zugeführt wird. Das Wegeventil 34 ist mit einem Schieberhubsensor ausgestattet, um eine Strecke zu erfassen, um die sich der Schieber bewegt (d. h. einen Schieberhub).
In diesem Beispiel wird das Öl, das dem hydraulischen Stellglied 40 zugeführt wird, um das hydraulische Stellglied 40 zu betätigen, als Hydrauliköl bezeichnet. Das Öl, das dem Wegeventil 34 zugeführt wird, um das Wegeventil 34 zu betätigen, wird als Steueröl bezeichnet. Der Druck des Steueröls wird als hydraulischer Steuerdruck bezeichnet.
Die Hydraulikpumpe 33 kann sowohl Hydrauliköl als auch Steueröl fördern. Zum Beispiel kann ein Teil des von der Hydraulikpumpe 33 geförderten Hydrauliköls durch ein Reduzierventil druckgemindert werden, und das so druckgeminderte Hydrauliköl kann als Steueröl verwendet werden. Die Hydraulikpumpe 33 kann eine Hydraulikpumpe zur Förderung von Hydrauliköl (eine Haupthydraulikpumpe) und eine Hydraulikpumpe zur Förderung von Steueröl (eine Steuerhydraulikpumpe) separat enthalten.
Die Bedienungsvorrichtung 25 hat einen ersten Steuerhebel 25R und einen zweiten Steuerhebel 25L. Der erste Steuerhebel 25R ist z. B. auf der rechten Seite des Bedienersitzes 4S angeordnet. Der zweite Bedienhebel 25L ist z. B. auf der linken Seite des Bedienersitzes 4S angeordnet. Für den ersten und zweiten Steuerhebel 25R und 25L entsprechen Vorwärts-, Rückwärts-, Links- und Rechtsbewegungen den Bewegungen entlang zweier Achsen.
Der Ausleger 6 und der Löffel 8 werden über den ersten Steuerhebel 25R gesteuert. Die Betätigung des ersten Steuerhebels 25R in Vorwärts-/Rückwärtsrichtung entspricht der Betätigung des Auslegers 6, und als Reaktion auf die Betätigung in Vorwärts-/Rückwärtsrichtung wird eine Aufwärtsbewegung des Auslegers 6 und eine Abwärtsbewegung des Auslegers 6 ausgeführt. Die Betätigung des ersten Steuerhebels 25R in der Rechts/Links-Richtung entspricht der Betätigung des Löffels 8, und als Reaktion auf die Betätigung in der Rechts/Links-Richtung wird die Bewegung des Löffels 8 in der Aufwärts/Abwärts-Richtung ausgeführt.
Der Löffelstiel 7 und der Oberwagen 3 werden über den zweiten Steuerhebel 25L gesteuert. Die Betätigung des zweiten Steuerhebels 25L in Vorwärts-/Rückwärtsrichtung entspricht der Betätigung des Löffelstiels 7, und als Reaktion auf die Betätigung in Vorwärts-/Rückwärtsrichtung wird eine Bewegung des Löffelstiels 7 in Aufwärts-/Abwärtsrichtung ausgeführt. Die Betätigung des zweiten Steuerhebels 25L in Rechts-/Links-Richtung entspricht der Drehung des Oberwagens 3, und als Reaktion auf die Betätigung in Rechts-/Links-Richtung wird eine Bewegung des Oberwagens 3 im Uhrzeigersinn/gegen den Uhrzeigersinn ausgeführt.
In diesem Beispiel wird die Aufwärtsbewegung des Auslegers 6 auch als Aufwärtsbewegung und die Abwärtsbewegung des Auslegers 6 auch als Abwärtsbewegung bezeichnet. Bewegungen des Löffelstiels 7 in Aufwärts- und Abwärtsrichtung werden auch als Schüttbewegung bzw. Aushubbewegung bezeichnet. Bewegungen des Löffels 8 in Aufwärts-/Abwärtsrichtung werden auch als Schüttbewegung bzw. Aushubbewegung bezeichnet.
Die Betätigung des ersten Steuerhebels 25R in die Rechts-/Links-Richtung kann der Betätigung des Auslegers 6 entsprechen, und die Betätigung des ersten Steuerhebels 25R in die Vorwärts-/Rückwärtsrichtung kann der Betätigung des Löffels 8 entsprechen. Die Betätigung des zweiten Steuerhebels 25L in die Vorwärts-/Rückwärtsrichtung kann der Betätigung des Oberwagens 3 entsprechen, und die Betätigung des zweiten Steuerhebels 25L in die Rechts-/Links-Richtung kann der Betätigung des Löffelstiels 7 entsprechen.
Der erste und zweite Steuerhebel 25R und 25L entsprechen in der Ausführungsform einem Bedienelement.
Das von der Hydraulikpumpe 33 geförderte und durch das Reduzierventil druckgeminderte Steueröl wird dem Bedienungsvorrichtung 25 zugeführt.
Die Bedienungsvorrichtung 25 und das Wegeventil 34 sind über einen Steuerölkanal 450 miteinander verbunden. Der hydraulische Steuerdruck wird in Abhängigkeit von der Betätigung der Bedienungsvorrichtung 25 geregelt. Bei Betätigung der Bedienungsvorrichtung 25 wird der der Betätigung der Bedienungsvorrichtung 25 entsprechende hydraulische Steuerdruck über den Steuerölkanal 450 dem Wegeventil 34 zugeführt. So wird das Wegeventil 34 gesteuert, um zu regeln, in welche Richtung das Hydrauliköl, das dem Auslegerzylinder 10, dem Löffelstielzylinder 11 und dem Löffelzylinder 12 zugeführt wird, fließt, und um die Durchflussmenge des Hydrauliköls zu regeln, um so die Bewegung des Auslegers 6, des Löffelstiels 7 und des Löffels 8 in Aufwärts-/Abwärtsrichtung zu ermöglichen.
Der Steuerölkanal 450 ist mit einem Drucksensor 36 versehen. Der Drucksensor 36 misst den hydraulischen Steuerdruck. Ein Ergebnis der Erfassung durch den Drucksensor 36 wird an den Computer 102A ausgegeben. Der hydraulische Steuerdruck (PPC-Druck), der durch den Betrieb der Bedienungsvorrichtung 25 geregelt und vom Drucksensor 36 erfasst wird, entspricht in der Ausführungsform dem Betätigungsbefehlswert.
Obwohl in 4 vereinfacht dargestellt, ist eine Vielzahl von Steuerölkanälen 450, die den Betätigungen des ersten und zweiten Steuerhebels 25R und 25L in Vorwärts-, Rückwärts-, Rechts- und Linksrichtung entsprechen, vorgesehen, um die Bedienungsvorrichtung 25 und das Wegeventil 34 miteinander zu verbinden. Der Drucksensor 36 ist für jeden der mehreren Steuerölkanäle 450 angeordnet. Wenn beispielsweise der Löffel 8 bewegt wird, unterscheidet sich der Drucksensor 36, der einen Anstieg des hydraulischen Steuerdrucks erfasst, wenn der Löffel 8 zur Schütt- bzw. Kippbewegung veranlasst wird, von dem Drucksensor 36, der einen Anstieg des hydraulischen Steuerdrucks erfasst, wenn der Löffel 8 zur Aushubbewegung veranlasst wird. Wie stark der hydraulische Steuerdruck erhöht wird, hängt davon ab, in welchem Winkel der Steuerhebel aus der Neutralstellung gekippt wird. Auf diese Weise kann die Art und Weise, wie die Bedienungsvorrichtung 25 betrieben wird, basierend auf dem Ergebnis der Erfassung des hydraulischen Steuerdrucks durch jeden Drucksensor 36 bestimmt werden.
5 ist eine schematische Darstellung, die eine Konfiguration eines Computers 102A zeigt. Der Computer 102A kann gemäß der Ausführungsform ausschließlich für das System ausgelegt sein, oder es kann sich um einen Allzweck-PC (Personal Computer) handeln. Der Computer 102A hat einen Prozessor 103, ein Speichergerät 104, eine Kommunikationsschnittstelle 105 und eine E/A-Schnittstelle 106. Der Prozessor 103 ist z.B. eine CPU (Central Processing Unit).
Die Speichereinheit 104 umfasst ein Medium, das Informationen wie gespeicherte Programme und Daten speichert, die von Prozessor 103 lesbar sind. Das Speichergerät 104 enthält einen Systemspeicher, wie z.B. einen RAM-Speicher (Random Access Memory) oder einen ROM-Speicher (Read Only Memory), und eine Hilfsspeichervorrichtung. Die Hilfsspeichervorrichtung kann ein magnetisches Aufzeichnungsmedium, wie eine Festplatte, ein optisches Aufzeichnungsmedium, wie eine CD (Compact Disc) und eine DVD (Digital Versatile Disc), oder ein Halbleiterspeicher, wie ein Flash-Speicher, sein. Das Speichergerät 104 kann in den Computer 102A eingebaut werden. Das Speichergerät 104 kann ein externes Aufzeichnungsmedium 109 enthalten, das abnehmbar mit dem Computer 102A verbunden ist. Das externe Aufzeichnungsmedium 109 kann eine CD-ROM sein.
Die Kommunikationsschnittstelle 105 ist z.B. ein verdrahtetes LAN-Modul (Local Area Network) oder ein drahtloses LAN-Modul und ist eine Schnittstelle zur Durchführung von Kommunikationen über ein Kommunikationsnetzwerk. Die E/A-Schnittstelle 106 ist z.B. ein USB-Anschluss (Universal Serial Bus) und ist eine Schnittstelle zum Anschluss an ein externes Gerät.
Der Computer 102A ist über die E/A-Schnittstelle 106 mit dem Eingabegerät 107 und dem Ausgabegerät 108 verbunden. Das Eingabegerät 107 ist ein Gerät, mit dem ein Benutzer Eingaben an Computer 102A vornehmen kann. Das Eingabegerät 107 enthält eine Zeigervorrichtung, wie z.B. eine Maus oder einen Trackball. Das Eingabegerät 107 kann ein Gerät, wie z.B. eine Tastatur zur Eingabe von Text enthalten. Das Ausgabegerät 108 umfasst z.B. einen Bildschirm.
6 ist ein Funktionsblockdiagramm, das allgemein eine innere Struktur des Computers 102A vor der Auslieferung zeigt. Der in 6 gezeigte Prozessor 103 und die Speichervorrichtung 104 bilden einen Teil der in 5 gezeigten Konfiguration des Computers 102A.
Der Prozessor 103 enthält eine Bildverarbeitungseinheit 61 und eine Arbeitsgerätepositionsschätzungseinheit 65. Die Bildverarbeitungseinheit 61 empfängt von einer Abbildungsvorrichtung (einer Kamera) 50 eine Eingabe eines erfassten Bildes, das von der Abbildungsvorrichtung 50 aufgenommen wurde. Die Bildverarbeitungseinheit 61 unterzieht das empfangene, erfasste Bild einer Bildverarbeitung.
Die Speichervorrichtung 104 speichert ein gelerntes Positionsschätzmodell 80A (ein erstes Positionsschätzmodell) und ein gelerntes Positionsschätzmodell 80B (ein zweites Positionsschätzmodell). Die Positionsschätzmodelle 80A und 80B sind künstliche Intelligenzmodelle zur Bestimmung einer relativen Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1. Der Computer 102A verwendet das künstliche Intelligenzpositionsschätzmodell, um die relative Position des Arbeitsgeräts 2 zu schätzen. Die Positionsschätzmodelle 80A und 80B enthalten ein neuronales Netz. Die Positionsschätzmodelle 80A und 80B umfassen z. B. ein tiefes neuronales Netzwerk, wie z. B. ein Gefaltetes Neuronales Netzwerk (CNN; convolutional neural network).
Das Modell in der Ausführungsform kann in Hardware, in auf Hardware ausführbarer Software, in Firmware oder in einer Kombination davon implementiert sein. Das Modell kann Programme, Algorithmen und Daten enthalten, die vom Prozessor 103 ausgeführt werden. Die Funktionstüchtigkeit des Modells kann von einem einzelnen Modul oder über mehrere Module verteilt ausgeführt werden. Das Modell kann über eine Vielzahl von Computern verteilt sein.
Das Positionsschätzmodell 80A ist so konfiguriert, dass es eine relative Position des Arbeitsgeräts 2 aus einem erfassten Bild bestimmt. Die Arbeitsgerätepositionsschätzungseinheit 65 verwendet das Positionsschätzmodell 80A, um eine relative Position des Arbeitsgeräts 2 aus einem erfassten Bild zu schätzen und eine geschätzte Position zu erhalten. Genauer gesagt liest die Arbeitsgerätepositionsschätzungseinheit 65 das Positionsschätzmodell 80A aus der Speichervorrichtung 104 und gibt das erfasste Bild in das Positionsschätzmodell 80A ein, um eine Ausgabe eines Ergebnisses der Schätzung des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk zu erhalten. Eine geschätzte Position des Arbeitsgeräts 2, die aus einem erfassten Bild erhalten wird, entspricht in dieser Ausführungsform einer zweiten geschätzten Position.
Die Arbeitsgerätepositionsschätzungseinheit 65 gibt auch die Genauigkeit eines Schätzungsergebnisses aus, d. h. mit welcher Wahrscheinlichkeit in % der aktuelle Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk auf der Grundlage eines erfassten Bildes geschätzt werden kann. Wenn das aufgenommene Bild klar ist und den Ausleger 6, den Löffelstiel 7 und den Löffel 8 eindeutig erfasst, hat das Ergebnis der Schätzung eine höhere Genauigkeit. Wenn eine Störung vorliegt, z. B. wenn ein Teil des Arbeitsgeräts 2 im Boden vergraben ist, ein Bild gegen das Licht aufgenommen wurde oder die Kabine 4 ein verschmutztes Fenster hat, und das aufgenommene Bild kein klares Bild des Auslegers 6, des Löffelstiels 7 und des Löffels 8 erfasst, wird die Position dieses unklaren Teils mit geringerer Genauigkeit geschätzt.
Der Prozessor 103 enthält außerdem eine Arbeitsgeräteversetzungsschätzeinheit 71 und eine Einheit zur Schätzung der Arbeitsgeräteposition 75.
Die Arbeitsgeräteversetzungsschätzeinheit 71 empfängt vom Drucksensor 36 eine Eingabe des hydraulischen Steuerdrucks, der vom Drucksensor 36 erfasst wird. Das Positionsschätzmodell 80B ist so konfiguriert, dass es aus dem hydraulischen Steuerdruck einen Versetzungsbetrag des Arbeitsgeräts 2 bestimmt. Unter Verwendung des Positionsschätzmodells 80B bestimmt die Arbeitsgeräteversetzungsschätzeinheit 71 aus dem empfangenen hydraulischen Steuerdruck, wie die Bedienungsvorrichtung 25 betrieben wird.
Genauer gesagt liest die Arbeitsgeräteversetzungsschätzeinheit 71 das Positionsschätzmodell 80B aus der Speichervorrichtung 104 und gibt den hydraulischen Steuerdruck in das Positionsschätzmodell 80B ein, um zu bestimmen, wie die Bedienungsvorrichtung 25 betrieben wird. Basierend auf einer Zeitspanne, die verstrichen ist, seit ein Prozess zum Bestimmen, wie die Bedienungsvorrichtung 25 betrieben wird, unmittelbar zuvor ausgeführt wurde, und wie die Bedienungsvorrichtung 25 betrieben wurde, wie durch den unmittelbar zuvor ausgeführten Prozess bestimmt, und wie die Bedienungsvorrichtung 25 betrieben wird, wie durch den gegenwärtig ausgeführten Prozess bestimmt, erhält die Arbeitsgeräteversetzungsschätzeinheit 71 eine Ausgabe eines geschätzten Versetzungsbetrags des Arbeitsgeräts 2, der angibt, wie viel das Arbeitsgerät 2 zwischen einem Zeitpunkt, zu dem der Prozess unmittelbar zuvor ausgeführt wurde, und dem gegenwärtigen Zeitpunkt bewegt wurde.
Die Arbeitsgerätepositionsschätzungseinheit 75 schätzt die aktuelle Position des Arbeitsgeräts 2. Insbesondere liest die Arbeitsgerätepositionsschätzungseinheit 75 aus der Speichervorrichtung 104 eine Referenzposition für das Arbeitsgerät 2 und einen Zeitpunkt, zu dem sich das Arbeitsgerät 2 schätzungsweise an der Referenzposition befindet. Die Arbeitsgerätepositions-Schätzeinheit 75 schätzt einen Versetzungsbetrag des Arbeitsgeräts 2 von der Referenzposition, indem sie von dem Zeitpunkt, zu dem sich das Arbeitsgerät 2 schätzungsweise an der Referenzposition befindet, ein Ergebnis der Schätzung eines Betrags der Verschiebung des Arbeitsgeräts 2 addiert, das von der Arbeitsgeräteversetzungsschätzeinheit 71 ausgegeben wird. Dann erhält die Arbeitsgerätepositionsschätzeinheit 75 eine Ausgabe einer geschätzten aktuellen Position des Arbeitsgerätes 2, die aus der Referenzposition für das Arbeitsgerät 2 und dem Versetzungsbetrag des Arbeitsgerätes 2 von der Referenzposition geschätzt wird. Die geschätzte Position des Arbeitsgeräts 2, die aus der Referenzposition für das Arbeitsgerät 2 und dem Versetzungsbetrag des Arbeitsgeräts 2 von der Referenzposition erhalten wird, entspricht in dieser Ausführungsform einer ersten geschätzten Position.
Die Referenzposition für das Arbeitsgerät 2 kann beispielsweise eine Position des Arbeitsgeräts 2 sein, wie sie durch das Positionsschätzmodell 80A geschätzt wird, die angenommen wird, unmittelbar bevor die Genauigkeit der Schätzung beim Schätzen einer Position des Arbeitsgeräts 2 aus einem erfassten Bild durch das Positionsschätzmodell 80A unter einen vorbestimmten Wert fällt.
Von dem Ausleger 6, dem Löffelstiel 7 und dem Löffel 8, die das Arbeitsgerät 2 bilden, wird ein Teil, der der Positionsschätzung unter Verwendung des Positionsschätzmodells 80B zu unterziehen ist, als Ziel der Positionsschätzung bezeichnet. Wenn das Arbeitsgerät 2 beispielsweise Boden aushebt und der Löffel 8 eine Zahnspitze 8a hat, die im Boden vergraben und nicht mehr in einem aufgenommenen Bild zu sehen sind, setzt der Computer 102A den Löffel 8 als Ziel der Positionsschätzung.
Wenn das Ziel der Positionsschätzung der Löffel 8 ist, bestimmt die Arbeitsgeräteversetzungsschätzeinheit 71 aus dem hydraulischen Steuerdruck einen Neigungswinkel des ersten Steuerhebels 25R aus der neutralen Position in der Rechts-/Linksrichtung, um den Löffel 8 zu veranlassen, die Kippbewegung oder die Aushubbewegung auszuführen. Basierend auf einer Zeitspanne, die verstrichen ist, seit ein Prozess zum Bestimmen eines Neigungswinkels des ersten Steuerhebels 25R unmittelbar zuvor ausgeführt wurde, und einem Neigungswinkel des ersten Steuerhebels 25R, wie er durch den unmittelbar zuvor ausgeführten Prozess bestimmt wurde, und einem Neigungswinkel des ersten Steuerhebels 25R, wie er durch den gegenwärtig ausgeführten Prozess bestimmt wird, erhält die Arbeitsgeräteversetzungsschätzeinheit 71 eine Ausgabe eines Ergebnisses der Schätzung eines Änderungsbetrags des Löffelwinkels θk zwischen einem Zeitpunkt, zu dem der Prozess unmittelbar zuvor ausgeführt wurde, und dem gegenwärtigen Zeitpunkt. Die Arbeitsgerätepositionsschätzungseinheit 75 addiert den Betrag der Änderung des Löffelwinkels θk von dem Löffelwinkel θk an der Referenzposition zu dem Löffelwinkel θk an der Referenzposition und gibt eine geschätzte Position aus, die ein geschätzter Löffelwinkel θk ist, der die aktuelle Position des Löffels 8 angibt.
Wenn das Ziel der Positionsschätzung der Löffel 8 ist und der Auslegerwinkel θb und der Löffelstielwinkel θa, die die Positionen der Teile des Arbeitsgeräts 2 angeben, die nicht das Ziel der Positionsschätzung sind (in diesem Fall die Positionen des Auslegers 6 und des Löffelstiels 7), aus einem erfassten Bild durch das Positionsschätzmodell 80A mit hoher Genauigkeit geschätzt werden können, kann eine geschätzte Position des Arbeitsgeräts 2 aus dem Auslegerwinkel θb und dem Löffelstielwinkel θa, die durch das Positionsschätzmodell 80A geschätzt werden, und dem Löffelwinkel θk, der durch das Positionsschätzmodell 80B geschätzt wird, erhalten werden.
Wenn das Ziel der Positionsschätzung der Löffel 8 ist, können der Auslegerwinkel θb und der Löffelstielwinkel θa, die die Positionen der Teile des Arbeitsgeräts 2 angeben, die nicht das Ziel der Positionsschätzung sind (in diesem Fall die Positionen des Auslegers 6 und des Löffelstiels 7), ferner durch das Positionsschätzmodell 80B geschätzt werden.
Der Hydraulikbagger 100 umfasst vor der Auslieferung außerdem einen Encoder 51. Der Encoder 51 betrifft im Allgemeinen einen Auslegerwinkelsensor, der am Auslegerbolzen 13 befestigt ist, einen Löffelwinkelsensor, der am Löffelbolzen befestigt ist, und einen Löffelwinkelsensor, der am Löffelgelenk befestigt ist. Anstelle des Encoders 51 kann ein Potentiometer am Arbeitsgerät 2 angebracht werden, um einen Winkel zu messen. Ein Hubsensor, der den Hub des Hydraulikzylinders erfasst, kann angebracht werden, um einen Betrag der Bewegung des Hydraulikzylinders in einen Winkel umzuwandeln.
Der Prozessor 103 umfasst eine Winkelumwandlungseinheit 62, eine Fehlererkennungseinheit 66 und eine Positionsschätzmodell-Aktualisierungseinheit 67. Die Winkelumwandlungseinheit 62 empfängt ein elektrisches Signal vom Encoder 51 und wandelt das elektrische Signal in den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk um. Der Encoder 51 erhält ein elektrisches Signal zu einem Zeitpunkt, zu dem das Abbildungsvorrichtung 50 ein Bild erfasst, und gibt das elektrische Signal an die Winkelumwandlungseinheit 62 aus. Die Winkelumwandlungseinheit 62 ordnet den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk zu, die gemessen werden, wenn die Abbildungsvorrichtung 50 das Bild erfasst, und erhält so die Winkel.
Die Fehlererkennungseinheit 66 vergleicht ein Ergebnis einer Schätzung des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk durch die Arbeitsgerät-Positionsschätzeinheit 65 mit einem Ergebnis einer Messung des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk, die durch die Winkelumwandlungseinheit 62 erhalten wurde. Die Fehlererkennungseinheit 66 berechnet einen Fehler des Ergebnisses der Schätzung in Bezug auf die wahren Werte des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk.
Der Prozessor 103 weist eine Positionsschätzmodell-Aktualisierungseinheit 67 auf. Die Positionsschätzmodell-Aktualisierungseinheit 67 aktualisiert das Positionsschätzmodell 80A auf der Grundlage des Fehlers des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk, wie von der Fehlererkennungseinheit 66 berechnet. Auf diese Weise wird das Positionsschätzmodell 80A trainiert. Ein Bild des Arbeitsgeräts 2, das von der Abbildungsvorrichtung 50 aufgenommen wurde, und der Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk, die bei der Aufnahme des Bildes erhalten wurden und in der Winkelumwandlungseinheit 62 berechnet wurden, bilden die Daten für das Training des Positionsschätzmodells 80A. Das Positionsschätzmodell 80A wird in einem Werk gelernt, bevor der Hydraulikbagger 100 ausgeliefert wird.
Der Prozessor 103 enthält eine Winkeländerungsberechnungseinheit 72. Die Winkeländerungs-Berechnungseinheit 72 ermittelt die Beträge der Änderungen des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk auf der Grundlage des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk, die von der Winkelumwandlungseinheit 62 erhalten werden, und eines Zeitpunkts, zu dem die Winkel von der Winkelumwandlungseinheit 62 erhalten werden. Die Winkeländerungsberechnungseinheit 72 ermittelt die aktuelle Position des Arbeitsgeräts 2 aus dem Auslegerwinkel θb, dem Löffelstielwinkel θa und dem Löffelwinkel θk des Arbeitsgeräts 2 an der Referenzposition und den Beträgen der Änderungen des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk.
Der Prozessor 103 enthält eine Fehlererkennungseinheit 76. Die Fehlererkennungseinheit 76 vergleicht ein Ergebnis der Schätzung der Position des Arbeitsgeräts 2 durch die Arbeitsgerätepositionsschätzungseinheit 75 mit der aktuellen Position des Arbeitsgeräts 2, wie sie von der Winkeländerungsberechnungseinheit 72 erhalten wird. Die Fehlererkennungseinheit 76 berechnet einen Fehler des Ergebnisses der Schätzung in Bezug auf die wahren Werte des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk.
Der Prozessor 103 enthält eine Positionsschätzmodellaktualisierungseinheit 77. Die Positionsschätzmodellaktualisierungseinheit 77 aktualisiert das Positionsschätzmodell 80B basierend auf den Fehlern des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk, die von der Fehlererkennungseinheit 66 berechnet wurden. Auf diese Weise wird das Positionsschätzmodell 80B trainiert. Der Betätigungsbefehlswert, der das Arbeitsgerät veranlasst, eine Bewegung basierend auf dem Betrieb der Bedienungsvorrichtung 25 auszuführen, wie er durch den vom Drucksensor 36 erfassten hydraulischen Steuerdruck dargestellt wird, und der Versetzungsbetrag des Arbeitsgeräts 2 von der Referenzposition bei der Erfassung des Betätigungsbefehlswerts, wie er von der Winkeländerungsberechnungseinheit 72 berechnet wird, konfigurieren Lerndaten für das Training des Positionsschätzmodells 80B. Das Positionsschätzmodell 80B wird vor der Auslieferung des Hydraulikbaggers 100 in einem Werk trainiert.
7 ist ein Flussdiagramm eines Verfahrens zur Erzeugung eines ersten Positionsschätzmodells, das trainiert wird. 8 ist ein schematisches Diagramm zur Veranschaulichung eines Prozesses zum Trainieren des ersten Positionsschätzmodells. Obwohl es einige Überschneidungen mit dem unter Bezugnahme auf 6 beschriebenen Inhalt gibt, wird im Folgenden unter Bezugnahme auf 7 und 8 ein Verfahren zum Trainieren des Positionsschätzmodells 80A (das erste Positionsschätzmodell) zum Schätzen einer Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 beschrieben.
Wie in 7 dargestellt, wird zunächst in Schritt S101 ein aufgenommenes Bild erhalten. Der Computer 102A, genauer gesagt die Bildverarbeitungsvorrichtung 61, erhält von der Abbildungsvorrichtung (oder einer Kamera) 50 ein von der Abbildungsvorrichtung 50 erfasstes Bild. Das erfasste Bild wird mit einem Zeitstempel versehen, so dass bestimmt werden kann, wann das Bild erfasst wurde. Die Bildverarbeitungsvorrichtung 61 kann in Echtzeit ein von der Abbildungsvorrichtung 50 erfasstes Bild erhalten. Die Bildverarbeitungsvorrichtung 61 kann ein von der Abbildungsvorrichtung 50 erfasstes Bild zu einer vorgeschriebenen Zeit oder immer dann, wenn eine vorgeschriebene Zeitspanne verstrichen ist, erhalten. Die Bildverarbeitungseinheit 61 führt am erfassten Bild eine Bildverarbeitung durch und speichert das so verarbeitete Bild in dem Speichergerät 104.
Anschließend werden in Schritt S102 die Winkelmessdaten ermittelt. Der Computer 102A, genauer gesagt die Winkelumwandlungseinheit 62, erhält vom Encoder 51 den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk, die vom Encoder 51 erfasst wurden. Die so erhaltenen Winkeldaten werden einem erfassten Bild zugeordnet. Die Messdaten, die zu einem Zeitpunkt erfasst werden, zu dem ein Bild aufgenommen wird, werden diesem aufgenommenen Bild zugeordnet (oder für dieses Bild gekennzeichnet). Wie in 8 gezeigt, werden Lerndaten 61A, 61B, 61C,... erstellt, die ein aufgenommenes Bild und einen Winkel des Arbeitsgeräts 2 enthalten, der bei der Aufnahme des Bildes ermittelt wurde. Die Lerndaten 61A, 61B, 61C, ... konfigurieren einen Lerndatensatz für das Training des Positionsschätzmodells 80A.
Die Lerndaten umfassen eine Vielzahl von aufgenommenen Bildern des Arbeitsgeräts 2 in verschiedenen Haltungen bzw. Stellungen, wie in 8 dargestellt. Die Lerndaten können eine Vielzahl von Bildern des Arbeitsgeräts 2 umfassen, die in derselben Stellung in verschiedenen Umgebungen wie Tag, Gegenlicht und Nacht aufgenommen wurden.
Anschließend wird in Schritt S103 eine relative Position des Arbeitsgeräts 2 ausgegeben. Der Computer 102A, genauer gesagt die Arbeitsgerätepositionsschätzeinheit 65, liest das Positionsschätzmodell 80A aus der Speichervorrichtung 104. Das Positionsschätzmodell 80A enthält ein in 8 gezeigtes neuronales Netz. Das neuronale Netz enthält eine Eingabeschicht 81A, eine Zwischenschicht (oder eine versteckte Schicht) 82A und eine Ausgabeschicht 83A. Jede Schicht 81A, 82A, 83A hat ein oder mehrere Neuronen. Die Anzahl der Neuronen in jeder Schicht 81A, 82A, 83A kann nach Bedarf eingestellt werden.
Die Neuronen unmittelbar benachbarter Schichten sind miteinander verbunden, und für jede Verbindung wird ein Gewicht (ein Verbindungsgewicht) festgelegt. Die Anzahl der Verbindungen von Neuronen kann entsprechend eingestellt werden. Für jedes Neuron wird ein Schwellenwert festgelegt, und ein Ausgabewert jedes Neurons wird dadurch bestimmt, ob die Summe der Produkte aus einem Eingabewert für jedes Neuron und einem Gewicht den Schwellenwert überschreitet.
Das Positionsschätzmodell 80A wird trainiert, um eine relative Position des Arbeitsgeräts 2 aus einem erfassten Bild zu bestimmen. Durch das Lernen wird ein Parameter für das Positionsschätzmodell 80A erhalten, und der Parameter wird in der Speichervorrichtung 104 gespeichert. Der Parameter umfasst beispielsweise die Anzahl der Schichten des neuronalen Netzwerks, die Anzahl der Neuronen in jeder Schicht, eine Beziehung zwischen Neuronen mit Konnektivität, ein Gewicht, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und einen Schwellenwert für jedes Neuron.
Die Arbeitsgerätepositionsschätzeinheit 65 gibt ein von der Abbildungsvorrichtung 50 aufgenommenes Bild in die Eingabeschicht 81A ein. Die Ausgabeschicht 83A gibt eine Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 aus, genauer gesagt einen Wert, der den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk angibt. Beispielsweise verwendet der Computer 102A das erfasste Bild als Eingabe für die Eingabeschicht 81A, um einen Berechnungsprozess für eine Vorwärtspropagation durch das neuronale Netzwerk des Positionsschätzmodells 80A durchzuführen. Als Ergebnis erhält der Computer 102A eine geschätzte relative Position des Arbeitsgeräts 2 als einen Wert, der von der Ausgabeschicht 83A des neuronalen Netzwerks ausgegeben wird.
Dem Schritt S102 muss kein Schritt S103 folgen. Der Schritt S102 und der Schritt S103 können gleichzeitig ausgeführt werden, oder der Schritt S103 kann dem Schritt S102 vorausgehen.
Anschließend wird in Schritt S104 eine Differenz zwischen der geschätzten Position des in Schritt S103 ausgegebenen Arbeitsgeräts 2 und den in Schritt S102 erhaltenen Messdaten der Winkel des Arbeitsgerätes 2 berechnet. Der Computer 102A, genauer gesagt die Fehlererkennungseinheit 66, vergleicht die aus dem erfassten Bild und der Ausgabe der Ausgabeschicht 83A des Positionsschätzmodells 80A geschätzte relative Position des Arbeitsgeräts 2 mit der gemessenen relativen Position des Arbeitsgeräts 2, wie sie in der Winkelumwandlungseinheit 62 erhalten wurde, um einen Fehler des geschätzten Werts in Bezug auf den wahren Wert der relativen Position des Arbeitsgeräts 2 zu berechnen.
Der Computer 102A trainiert das Positionsschätzmodell 80A unter Verwendung eines erfassten Bildes als Eingabedaten und einer relativen Position des Arbeitsgeräts 2, die gemessen wird, wenn das Bild als Lehrerdaten erfasst wird. Aus dem berechneten Fehler des Ausgabewertes berechnet der Computer 102A durch Rückpropagierung einen Fehler eines Gewichts, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und einen Fehler des Schwellenwertes jedes Neurons.
Anschließend wird in Schritt S105 das Positionsschätzmodell 80A aktualisiert. Der Computer 102A, genauer gesagt, die Positionsschätzmodell-Aktualisierungseinheit 67, aktualisiert Parameter des Positionsschätzmodells 80A, wie z.B. ein Gewicht, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und den Schwellenwert jedes Neurons, auf der Grundlage des Fehlers des geschätzten Wertes in Bezug auf den wahren Wert der relativen Position des Arbeitsgeräts 2, wie in der Fehlererkennungseinheit 66 berechnet, so dass ein Wert, der näher am wahren Wert liegt, ausgegeben werden kann, wenn dasselbe erfasste Bild in die Eingabeschicht 81A eingegeben wird. Die aktualisierten Parameter des Positionsschätzmodells 80A werden in dem Speichergerät 104 gespeichert.
Bei der nächsten Schätzung einer relativen Position des Arbeitsgeräts 2 wird ein erfasstes Bild in das aktualisierte Positionsschätzmodell 80A eingegeben und ein Ergebnis der Schätzung der relativen Position des Arbeitsgeräts 2 erhalten. Der Computer 102A wiederholt Schritt S101 bis Schritt S105, bis das Ergebnis der Schätzung der relativen Position des Arbeitsgeräts 2, das vom Positionsschätzmodell 80A ausgegeben wird, mit der gemessenen relativen Position des Arbeitsgeräts 2 übereinstimmt. Die Parameter des Positionsschätzmodells 80A werden somit optimiert und somit gelernt.
Sobald das Positionsschätzmodell 80A ausreichend gelernt ist und als Ergebnis ein ausreichend genaues Schätzungsergebnis ausgibt, beendet der Computer 102A das Lernen des Positionsschätzmodells 80A. Damit ist das Positionsschätzmodell 80A gelernt worden. Dann endet der Prozess (Ende).
9 ist ein Flussdiagramm eines Verfahrens zum Erzeugen eines zweiten Positionsschätzmodells, das gelernt wird. 10 ist ein schematisches Diagramm, das einen Prozess zum Lernen des zweiten Positionsschätzmodells zeigt. Obwohl es einige Überschneidungen mit dem gibt, was unter Bezugnahme auf 6 beschrieben ist, wird ein Verfahren zum Trainieren des Positionsschätzmodells 80B (das zweite Positionsschätzmodell) zum Schätzen einer relativen Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 nun im Folgenden unter Bezugnahme auf 9 und 10 beschrieben.
Wie in 9 gezeigt, wird zunächst in Schritt S111 eine Referenzposition für das Arbeitsgerät 2 festgelegt. Beim Erhalten eines Ausgabewerts, der den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk aus einem erfassten Bild durch das Positionsschätzmodell 80A anzeigt, erhält der Computer 102A auch die Genauigkeit eines Ergebnisses der Schätzung, d. h. mit welcher Wahrscheinlichkeit in % der aktuelle Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk basierend auf dem erfassten Bild geschätzt werden kann. Die Referenzposition für das Arbeitsgerät 2 kann z. B. eine Position des Arbeitsgeräts 2 sein, wie sie durch das Positionsschätzmodell 80A geschätzt wird, die angenommen wird, unmittelbar bevor die Genauigkeit der Schätzung beim Schätzen einer Position des Arbeitsgeräts 2 aus einem erfassten Bild durch das Positionsschätzmodell 80A unter einen vorbestimmten Wert fällt.
Ein Schwellenwert für die Genauigkeit der Schätzung durch das Positionsschätzmodell 80A beim Einstellen einer Referenzposition für das Arbeitsgerät 2 kann auf 70 % oder mehr, z. B. 75 % oder mehr, 80 % oder mehr, 85 % oder mehr oder 90 % oder mehr eingestellt werden.
Anschließend werden in Schritt S112 hydraulische Steuerdruckdaten erhalten. Der Computer 102A erhält vom Drucksensor 36 einen Wert des vom Drucksensor 36 erfassten hydraulischen Steuerdrucks. Der Computer 102A kann den vom Drucksensor 36 erfassten hydraulischen Steuerdruck in Echtzeit erhalten. Der Computer 102A kann den hydraulischen Steuerdruck von Drucksensor 36 zu einer vorbestimmten Zeit oder immer dann erhalten, wenn eine vorbestimmte Zeitspanne verstrichen ist. Der Computer 102A speichert den erhaltenen hydraulischen Steuerdruck in der Speichervorrichtung 104.
Anschließend werden in Schritt S113 die Winkelmessdaten ermittelt. Der Computer 102A, genauer gesagt die Winkelumwandlungseinheit 62, erhält vom Encoder 51 den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk, die vom Encoder 51 erfasst werden. Die so erhaltenen Winkeldaten werden dem hydraulischen Steuerdruck zugeordnet. Winkelmessdaten, die zu einem Zeitpunkt erhalten werden, zu dem der hydraulische Steuerdruck erhalten wird, werden diesem hydraulischen Steuerdruck zugeordnet (oder für diesen gekennzeichnet).
Wie in 10 gezeigt, werden Lerndaten 71A, 71B, 71C, ... erstellt, die eine Bewegungsrichtung des Arbeitsgeräts 2 (z. B. die Kipp- oder Aushubbewegung des Löffels 8) und den vom Drucksensor 36 erfassten hydraulischen Steuerdruck sowie eine Position des Arbeitsgeräts 2 zu einem Zeitpunkt enthalten, zu dem der hydraulische Steuerdruck erfasst wird (z. B. der Löffelwinkel θk). Die Lerndaten 71A, 71B, 71C, ... konfigurieren einen Lerndatensatz für das Training des Positionsschätzmodells 80B.
Anschließend wird in Schritt S114 ein Betrag der Winkeländerung des Arbeitsgeräts 2 berechnet. Der Computer 102A, genauer gesagt die Winkeländerungsberechnungseinheit 72, berechnet einen Versetzungsbetrag des Arbeitsgeräts 2 (z. B. einen Betrag der Änderung des Löffelwinkels θk) aus zwei Lerndaten 71A, 71B, 71C, ..., die zu verschiedenen Zeitpunkten erstellt wurden. Der Computer 102A erhält auch die Variation des hydraulischen Steuerdrucks, die zu diesem Zeitpunkt erzeugt wurde.
Anschließend wird in Schritt S115 ein Versetzungsbetrag des Arbeitsgeräts 2 geschätzt.
Der Computer 102A, genauer gesagt die Arbeitsgeräteversetzungsschätzeinheit 71, liest das Positionsschätzmodell 80B aus der Speichervorrichtung 104. Das Positionsschätzmodell 80B enthält das in 10 gezeigte neuronale Netz. Das neuronale Netzwerk enthält eine Eingabeschicht 81B, eine Zwischenschicht (oder eine versteckte Schicht) 82B und eine Ausgabeschicht 83B. Jede Schicht 81B, 82B, 83B hat ein oder mehrere Neuronen. Die Anzahl der Neuronen in jeder der Schichten 81B, 82B, 83B kann nach Bedarf eingestellt werden.
Neuronen in benachbarten Schichten werden miteinander verbunden, und für jede Verbindung wird ein Gewicht (ein synaptisches Gewicht) festgelegt. Wie viele Neuronen verbunden sind, kann nach Bedarf eingestellt werden. Für jedes Neuron wird ein Schwellenwert festgelegt, und ein Ausgabewert jedes Neurons wird in Abhängigkeit davon bestimmt, ob eine Summe der Produkte aus einem in jedes Neuron eingegebenen Wert und einem Gewicht den Schwellenwert überschreitet.
Das Positionsschätzmodell 80B wird gelernt, um einen Versetzungsbetrag des Arbeitsgeräts 2 aus dem hydraulischen Steuerdruck zu bestimmen. Die Parameter für das Positionsschätzmodell 80B werden durch Lernen ermittelt und in der Speichervorrichtung 104 gespeichert. Die Parameter für das Positionsschätzmodell 80B umfassen beispielsweise die Anzahl der Schichten des neuronalen Netzes, die Anzahl der Neuronen in jeder Schicht, eine Beziehung zwischen Neuronen in der Konnektivität, ein Gewicht, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und einen Schwellenwert für jedes Neuron.
Die Arbeitsgeräteversetzungsschätzeinheit 71 gibt den vom Drucksensor 36 erfassten hydraulischen Steuerdruck in die Eingabeschicht 81B ein. Die Ausgabeschicht 83B gibt einen Ausgabewert aus, der den Versetzungsbetrag des Arbeitsgeräts 2 angibt, genauer gesagt, den Betrag der Änderung des Löffelwinkels θk. Der Computer 102A verwendet beispielsweise den hydraulischen Steuerdruck als Eingabe für die Eingabeschicht 81 B, um die Vorwärtspropagation des neuronalen Netzes des Positionsschätzmodells 80B zu berechnen. Auf diese Weise erhält der Computer 102A einen geschätzten Versetzungsbetrag des Arbeitsgeräts 2 als Ausgangswert, der vom neuronalen Netzwerk an der Ausgabeschicht 83B ausgegeben wird.
Zusätzlich zu dem hydraulischen Steuerdruck zum Erfassen der Kipp- oder Aushubbewegung des Löffels 8 können der hydraulische Steuerdruck zum Erfassen der Aufwärts- oder Abwärtsbewegung des Auslegers 6 und der hydraulische Steuerdruck zum Erfassen der Kipp- oder Aushubbewegung des Löffelstiels 7 in die Eingabeschicht 81B eingegeben werden. Der von der Ausgabeschicht 83B ausgegebene Ausgabewert kann zusätzlich zu einem Änderungsbetrag des Löffelwinkels θk auch Änderungsbeträge des Auslegerwinkels θb und des Löffelstielwinkels θa enthalten. Die Daten, die in die Eingabeschicht 81B eingegeben werden, können die Drehzahl des Motors 31, das Hubvolumen der Hydraulikpumpe 33 und ähnliches zusätzlich zum hydraulischen Steuerdruck enthalten, und die Genauigkeit der Schätzung des Versetzungsbetrags des Arbeitsgeräts 2 kann durch diese zusätzlichen Eingabedaten verbessert werden.
Anschließend wird in Schritt S116 eine Position des Arbeitsgeräts 2 geschätzt. Der Computer 102A, genauer gesagt die Arbeitsgerätepositions-Schätzeinheit 75, addiert das Ergebnis der Schätzung des Betrags der Verschiebung des Arbeitsgeräts 2 zwischen einem Zeitpunkt, zu dem eine Referenzposition für das Arbeitsgerät 2 in Schritt S111 festgelegt wird, und dem aktuellen Zeitpunkt zur Referenzposition, um eine Ausgabe einer geschätzten aktuellen Position des Arbeitsgeräts 2 zu erhalten.
Auf die Schritte S113 und S114 können die Schritte S115 und S116 nicht folgen. Die Schritte S113 und S114 und die Schritte S115 und S116 können gleichzeitig ausgeführt werden, oder die Schritte S113 und S114 können nach den Schritten S115 und S116 ausgeführt werden.
Anschließend wird in Schritt S117 eine Differenz zwischen dem in Schritt S114 berechneten Versetzungsbetrag des Arbeitsgerätes 2 und dem in Schritt S115 ausgegebenen geschätzten Versetzungsbetrag des Arbeitsgerätes 2 berechnet. Der Computer 102A, genauer gesagt, die Fehlererkennungseinheit 76 vergleicht den geschätzten Versetzungsbetrag des Arbeitsgeräts 2, der aus dem hydraulischen Steuerdruck oder ähnlichem geschätzt und vom Positionsschätzmodell 80B auf der Ausgabeschicht 83B ausgegeben wird, mit dem Betrag der Winkeländerung des Arbeitsgeräts 2, der von der Winkeländerungsberechnungseinheit 72 erhalten wird, um einen Fehler eines geschätzten Werts in Bezug auf einen wahren Wert eines Betrags der Verschiebung des Arbeitsgeräts 2 zu berechnen.
Der Computer 102A trainiert das Positionsschätzmodell 80B unter Verwendung des hydraulischen Steuerdrucks oder dergleichen als Eingabedaten und als Lerndaten einen Versetzungsbetrag, um den das Arbeitsgerät 2 zwischen dem Zeitpunkt, zu dem die Referenzposition festgelegt wird, und dem Zeitpunkt, zu dem der hydraulische Steuerdruck erfasst wird, in seiner Position verändert wird. Aus einem berechneten Fehler eines Ausgabewerts berechnet der Computer 102A durch Rückwärtsfortpflanzung ein Gewicht, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und einen jeweiligen Fehler des Schwellenwerts für jedes Neuron.
Anschließend, in Schritt S118, wird das Positionsschätzmodell 80B aktualisiert. Der Computer 102A, genauer gesagt, die Positionsschätzmodellaktualisierungseinheit 77 aktualisiert die Parameter des Positionsschätzmodells 80B, wie z. B. ein Gewicht, das auf eine Verbindung zwischen jedem Neuron und einem anderen Neuron angewendet wird, und den Schwellenwert für jedes Neuron, basierend auf dem Fehler des geschätzten Wertes in Bezug auf den wahren Wert des Betrags der Verschiebung des Arbeitsgeräts 2, wie von der Fehlererkennungseinheit 76 berechnet. Und sobald das gleiche erfasste Bild in die Eingabeschicht 81B eingegeben wird, kann ein Ausgabewert ausgegeben werden, der näher am wahren Wert liegt. Das Positionsschätzmodell 80B hat einen aktualisierten Parameter, der in der Speichervorrichtung 104 gespeichert ist.
Wenn der Versetzungsbetrag des Arbeitsgeräts 2 anschließend geschätzt wird, wird der hydraulische Steuerdruck in das aktualisierte Positionsschätzmodell 80B eingegeben, um eine Ausgabe eines Ergebnisses der Schätzung des Betrags der Verschiebung des Arbeitsgeräts 2 zu erhalten. Der Computer 102A wiederholt die Schritte S111 bis S118, bis das Ergebnis der Schätzung des Betrags der Verschiebung des Arbeitsgeräts 2, das vom Positionsschätzmodell 80B ausgegeben wird, mit dem Ergebnis der Messung des Betrags der Verschiebung des Arbeitsgeräts 2 übereinstimmt. Auf diese Weise werden die Parameter des Positionsschätzmodells 80B optimiert und es wird somit trainiert.
Sobald das Positionsschätzmodell 80B ausreichend trainiert wurde und als Ergebnis ein ausreichend genaues Schätzungsergebnis ausgibt, beendet der Computer 102A das Training des Positionsschätzmodells 80B. Das gelernte Positionsschätzmodell 80B ist damit erstellt. Dann wird der Prozess beendet (END).
Es können Anfangswerte für eine Vielzahl von Parametern der Positionsschätzmodelle 80A, 80B durch eine Mustervorlage bereitgestellt werden. Alternativ können die Anfangswerte für die Parameter auch manuell durch menschliche Eingaben bereitgestellt werden. Wenn die Positionsschätzmodelle 80A, 80B neu gelernt werden, kann der Computer 102A die Anfangswerte für die Parameter auf der Grundlage von Werten vorbereiten, die im Speichergerät 104 als die Parameter der neu zu lernenden Positionsschätzmodelle 80A, 80B gespeichert sind.
11 ist ein Blockdiagramm, das im Allgemeinen eine innere Struktur des Computers 102B zeigt, der von einem Werk ausgeliefert wird. Der Encoder 51 wird vorübergehend am Arbeitsgerät 2 angebracht, um die Positionsschätzmodelle 80A, 80B vor der Auslieferung zu lernen, und wird vom Arbeitsgerät 2 entfernt, sobald die Positionsschätzmodelle 80A, 80B abgeschlossen sind. Der vom Werk ausgelieferte Hydraulikbagger 100 enthält keinen Encoder 51. Der vom Werk ausgelieferte Hydraulikbagger 100 enthält nur die Abbildungsvorrichtung 50, den Drucksensor 36 und den Computer 102B (Prozessor 103 und Speichergerät 104) aus der in 6 gezeigten Systemkonfiguration.
12 ist ein Flussdiagramm eines Prozesses, der von Computer 102B ausgeführt wird, um eine relative Position des Arbeitsgeräts 2 nach der Auslieferung vom Werk abzuschätzen.
13 ist ein schematisches Diagramm, das ein Verfahren zur Schätzung einer relativen Position des Arbeitsgeräts 2 aus einem erfassten Bild unter Verwendung des Positionsschätzmodells 80A darstellt, das so gelernt wurde, dass es die relative Position des Arbeitsgeräts 2 aus dem erfassten Bild bestimmt. 14 ist ein schematisches Diagramm, das ein Verfahren zum Schätzen einer relativen Position des Arbeitsgeräts 2 aus einem erfassten Bild und einem Betätigungsbefehlswert durch ein trainiertes Positionsschätzmodell 80A und ein trainiertes Positionsschätzmodell 80B zeigt, um eine relative Position des Arbeitsgeräts 2 aus dem hydraulischen Steuerdruck zu erhalten. Unter Bezugnahme auf die 11 bis 14 wird im Folgenden ein Verfahren zum Schätzen einer relativen Position des Arbeitsgeräts 2 aus einem erfassten Bild, das an einem Einsatzort nach der Auslieferung aus einem Werk erhalten wurde, und dem hydraulischen Steuerdruck beschrieben.
Zunächst wird in Schritt S201 ein aufgenommenes Bild erhalten. Der Computer 102B, genauer gesagt, die Bildverarbeitungsvorrichtung 61 erhält von der Abbildungsvorrichtung (einer Kamera) 50 ein Bild 63 (siehe 13), das von der Abbildungsvorrichtung 50 aufgenommen wurde.
Anschließend wird in Schritt S202 eine relative Position des Arbeitsgeräts 2 ausgegeben. Der Computer 102B, genauer gesagt, die Arbeitsgerätepositionsschätzungseinheit 65 liest das Positionsschätzmodell 80A und den optimalen Wert eines gelernten Parameters aus dem Speichergerät 104, um das gelernte Positionsschätzmodell 80A zu erhalten. Die Arbeitsgerät-Positionsschätzeinheit 65 verwendet das Bild 63, das von der Abbildungsvorrichtung 50 erfasst wurde, als Dateneingabe für das gelernte Positionsschätzmodell 80A. Die Arbeitsgerät-Positionsschätzeinheit 65 gibt das erfasste Bild 63 in jedes Neuron ein, das in der Eingabeschicht 81A des gelernten Positionsschätzmodells 80A enthalten ist. Das gelernte Positionsschätzmodell 80A gibt von der Ausgabeschicht 83A eine geschätzte Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 aus, genauer gesagt, einen Winkelausgangswert 78, der den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk angibt (siehe 13).
Anschließend wird in Schritt S203 bestimmt, ob der Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk, die in Schritt S202 ausgegeben wurden, eine Genauigkeit aufweisen, die gleich oder größer als ein Schwellenwert ist. Wenn festgestellt wird, dass der Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk alle eine Genauigkeit aufweisen, die gleich oder größer als der Schwellenwert ist, und somit alle mit hoher Genauigkeit geschätzt werden, wird festgestellt, dass der Auslegerwinkel θb, der Löffelstielwinkel θa und der Löffelwinkel θk, die in Schritt S202 ausgegeben werden, eine relative Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 für den aktuellen Zeitpunkt bestimmen.
Wie im aufgenommenen Bild 63 von 13 gezeigt, wenn das Arbeitsgerät 2 den Ausleger 6, den Löffelstiel 7 und den Löffel 8 enthält, die alle eindeutig im aufgenommenen Bild 63 erfasst sind, kann das Positionsschätzmodell 80A verwendet werden, um einen Ausgang des Winkelausgangswertes 78 mit hoher Genauigkeit zu erhalten. In diesem Fall wird in Schritt S203 eine Bestimmung mit JA vorgenommen, und die Steuerung fährt mit Schritt S204 fort, um die Referenzposition zu aktualisieren. Der Computer 102B aktualisiert den Winkelausgangswert 78, der in Schritt S202 ausgegeben wird, als eine Referenzposition, die in einem nachfolgenden Prozess verwendet wird, und speichert in der Speichervorrichtung 104 die aktualisierte Referenzposition und einen Zeitpunkt, zu dem der Winkelausgangswert 78 in Schritt S202 ausgegeben wird.
Im Gegensatz dazu kann, wie in 14 gezeigt, bei der Durchführung von Aushubarbeiten mit dem Arbeitsgerät 2 oder ähnlichem der Löffel 8 im Boden vergraben sein und nicht eindeutig im aufgenommenen Bild 63 erfasst werden. Wie durch einen temporären Winkelausgabewert 78T angezeigt, gibt es einen Fall, in dem zwar festgestellt wird, dass der Auslegerwinkel θb und der Löffelstielwinkel θa mit hoher Genauigkeit geschätzt werden, der Löffelwinkel θk jedoch eine geringe Genauigkeit hat, die unter einem Schwellenwert liegt. In einem solchen Fall ist es nicht unbedingt sinnvoll, den Löffelwinkel θk, der durch das Positionsschätzmodell 80A geschätzt wird, so zu verwenden, wie er ist.
Wenn im Prozessablauf von 12 einer oder mehrere Winkel des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk, die vom Positionsschätzmodell 80A ausgegeben werden, eine Genauigkeit aufweisen, die unter dem Schwellenwert liegt, wird in Schritt S203 eine Bestimmung mit NEIN vorgenommen. In diesem Fall fährt die Steuerung mit Schritt S205 fort, um hydraulische Steuerdruckdaten zu erhalten. Der Computer 102B erhält vom Drucksensor 36 hydraulische Steuerdruckdaten 73, die vom Drucksensor 36 erfasst werden (siehe 14). Wie in 14 gezeigt, umfassen die hydraulischen Steuerdruckdaten 73 eine Bewegungsrichtung eines Ziels der Positionsschätzung (in diesem Beispiel die Schaufel 8) und den vom Drucksensor 36 erfassten hydraulischen Steuerdruck, der der Bewegungsrichtung entspricht.
Anschließend wird in Schritt S206 ein Versetzungsbetrag des Arbeitsgeräts 2 geschätzt. Computer 102B, genauer gesagt, die Arbeitsgeräteversetzungsschätzeinheit 71 liest das Positionsschätzmodell 80B und einen optimalen Wert eines trainierten Parameters aus der Speichervorrichtung 104, um ein trainiertes Positionsschätzmodell 80B zu erhalten. Die Arbeitsgeräteversetzungsschätzeinheit 71 gibt hydraulische Steuerdruckdaten 73 in jedes Neuron ein, das in der Eingabeschicht 81B des gelernten Positionsschätzmodells 80B enthalten ist. Von der Ausgabeschicht 83B des gelernten Positionsschätzmodells 80B wird ein geschätzter Versetzungsbetrag des Arbeitsgeräts 2 ausgegeben, insbesondere ein Betrag der Änderung des Winkels eines Ziels der Positionsschätzung oder des Löffels 8 (d. h. ein Betrag der Änderung des Löffelwinkels θk).
Anschließend wird in Schritt S207 eine Position des Arbeitsgeräts 2 geschätzt. Der Computer 102B, genauer gesagt die Arbeitsgerätepositionsschätzungseinheit 75, liest eine Referenzposition für das Arbeitsgerät 2 aus der Speichervorrichtung 104. Die Arbeitsgerätepositions-Schätzeinheit 75 schätzt die aktuelle Position des Arbeitsgeräts 2, indem sie zu der Referenzposition für das Arbeitsgerät 2 einen Versetzungsbetrag des Arbeitsgeräts 2 von einem Zeitpunkt an addiert, zu dem die Referenzposition in Schritt S204 aktualisiert wird. Auf diese Weise wird eine Position eines Ziels der Positionsschätzung (in diesem Beispiel der Löffel 8) (d. h. der Löffelwinkel θk) geschätzt. Dann wird, wie in 14 gezeigt, der Winkelausgabewert 78 einschließlich des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk ausgegeben.
Schließlich erzeugt der Computer 102B in Schritt S208 Verwaltungsdaten, die eine relative Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 enthalten. Der Computer 102B speichert die Verwaltungsdaten in der Speichervorrichtung 104. Dann wird der Prozess beendet (Ende).
Wie oben beschrieben, enthält der Computer 102B in dem System gemäß der Ausführungsform ein trainiertes Positionsschätzmodell 80B zur Bestimmung einer Position eines Ziels der Positionsschätzung. Wie in den 12 und 14 gezeigt, erhält der Computer 102B hydraulische Steuerdruckdaten 73 als einen Betätigungsbefehlswert, der das Arbeitsgerät 2 veranlasst, sich basierend auf der Betätigung des ersten und zweiten Steuerhebels 25R und 25L zu bewegen. Der Computer 102B verwendet ein trainiertes Positionsschätzmodell 80B, um aus den hydraulischen Steuerdruckdaten 73 den Versetzungsbetrag des Arbeitsgeräts 2 zu schätzen. Der Computer 102B gibt außerdem eine geschätzte Position eines Ziels der Positionsschätzung aus, die aus einer Referenzposition für das Arbeitsgerät 2 und einem Betrag seiner Verschiebung von der Referenzposition geschätzt wird.
Auf diese Weise kann eine Stellung des Arbeitsgeräts 2 unter Verwendung des künstlichen Intelligenzmodells 80B zur Positionsschätzung geschätzt werden, das zur Schätzung einer Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 geeignet ist. Auf diese Weise kann die Stellung des Arbeitsgeräts 2 durch den Computer 102B unter Verwendung künstlicher Intelligenz einfach und genau bestimmt werden.
Da die Stellung des Arbeitsgeräts 2 aus den hydraulischen Steuerdruckdaten 73 geschätzt werden kann, kann auf einen Sensor zur Erfassung des Auslegerwinkels θb, des Löffelstielwinkels θa und des Löffelwinkels θk verzichtet werden. Da der Sensor nicht vorhanden ist, hat auch seine Haltbarkeit keinen Einfluss auf den Betrieb des Hydraulikbaggers 100. Dadurch kann mit einer einfachen, kostengünstigen und sehr zuverlässigen Konfiguration die aktuelle Stellung des Arbeitsgeräts 2 bestimmt werden, ähnlich wie beim herkömmlichen Hydraulikbagger 100.
15 ist ein schematisches Diagramm, das eine beispielhafte Modifikation bezüglich des Trainings der Positionsschätzmodelle 80A und 80B zeigt. In der Beschreibung zu den 6 bis 10 wurde ein Beispiel beschrieben, bei dem die Positionsschätzmodelle 80A und 80B vor der Auslieferung des Hydraulikbaggers 100 aus einem Werk trainiert werden. Die Lerndaten für das Training der Positionsschätzmodelle 80A und 80B können von einer Vielzahl von Hydraulikbaggern 100 gesammelt werden.
15 zeigt einen ersten Hydraulikbagger 100 (einen Hydraulikbagger 100A), einen zweiten Hydraulikbagger 100 (einen Hydraulikbagger 100B), einen dritten Hydraulikbagger 100 (einen Hydraulikbagger 100C) und einen vierten Hydraulikbagger 100 (einen Hydraulikbagger 100D), die vom Modell her gleich sind. Die Hydraulikbagger 100A, 100B, 100C enthalten die Abbildungsvorrichtung 50 und den Encoder 51. Die Hydraulikbagger 100A, 100B, 100C wurden von einem Werk ausgeliefert und befinden sich derzeit jeweils an einem Einsatzort.
Der Computer 102A erhält ein Bild, das von jedem der Hydraulikbagger 100A, 100B, 100C mit der Abbildungsvorrichtung 50 erfasst wurde. Der Computer 102A erhält außerdem von jedem der Hydraulikbagger 100A, 100B, 100C in Verbindung mit dem aufgenommenen Bild den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk, die bei der Aufnahme des Bildes gemessen wurden. Der Computer 102A verwendet das aufgenommene Bild und die gleichzeitig erhaltenen Winkel des Arbeitsgeräts 2, um das Positionsschätzmodell 80A so zu trainieren, dass eine aus dem aufgenommenen Bild geschätzte relative Position des Arbeitsgeräts 2 erhalten werden kann.
Der Computer 102A erhält von jedem der Hydraulikbagger 100A, 100B und 100C den vom Drucksensor 36 erfassten hydraulischen Steuerdruck. Der Computer 102A erhält außerdem von jedem der Hydraulikbagger 100A, 100B und 100C den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk, die zu einem Zeitpunkt gemessen werden, zu dem der hydraulische Steuerdruck erfasst wird, und der Computer 102A verknüpft die Winkel mit dem hydraulischen Steuerdruck. Der Computer 102A verwendet den hydraulischen Steuerdruck und den Winkel des Arbeitsgeräts 2, die zur gleichen Zeit ermittelt werden, um das Positionsschätzmodell 80B zu trainieren, so dass eine geschätzte relative Position des Arbeitsgeräts 2 aus dem hydraulischen Steuerdruck bestimmt werden kann.
Der Computer 102A kann ein erfasstes Bild und Messdaten der Winkel des Arbeitsgeräts 2 von jedem der Hydraulikbagger 100A, 100B, 100C über die Kommunikationsschnittstelle 105 erhalten (siehe 5). Alternativ kann der Computer 102A ein erfasstes Bild und Messdaten der Winkel des Arbeitsgeräts 2 von jedem Hydraulikbagger 100A, 100B, 100C über ein externes Aufzeichnungsmedium 109 erhalten.
Der Computer 102A kann sich am gleichen Arbeitsplatz wie die Hydraulikbagger 100A, 100B, 100C befinden. Alternativ kann der Computer 102A auch an einem entfernten Ort, wie z.B. einem Verwaltungszentrum, aufgestellt werden. Die Hydraulikbagger 100A, 100B, 100C können sich am gleichen oder an verschiedenen Einsatzorten befinden.
Die gelernten Positionsschätzmodelle 80A, 80B werden jedem Hydraulikbagger 100A, 100B, 100C über die Kommunikationsschnittstelle 105, ein externes Aufzeichnungsmedium 109 oder ähnliches zur Verfügung gestellt. Jeder Hydraulikbagger 100A, 100B, 100C wird somit mit dem gelernten Positionsschätzmodellen 80A, 80B versorgt.
Wenn die Positionsschätzmodelle 80A, 80B bereits in jedem Hydraulikbagger 100A, 100B, 100C gespeichert sind, werden die gespeicherten Positionsschätzmodelle 80A, 80B überschrieben. Die Positionsschätzmodelle 80A, 80B können periodisch überschrieben werden, indem, wie oben beschrieben, periodisch Lerndaten gesammelt und die Positionsschätzmodelle 80A, 80B trainiert werden. Immer, wenn bei den Positionsschätzmodellen 80A, 80B ein Parameter aktualisiert wird, wird der neueste, aktualisierte Wert in der Speichervorrichtung 104 gespeichert.
Die gelernten Positionsschätzmodelle 80A, 80B werden auch dem Hydraulikbagger 100D zur Verfügung gestellt. Die Positionsschätzmodelle 80A, 80B werden sowohl für Hydraulikbagger 100A, 100B, 100C, die Lerndaten liefern, als auch für Hydraulikbagger 100D, der keine Lerndaten liefert, zur Verfügung gestellt. Der Hydraulikbagger 100D kann sich an demselben Einsatzort wie einer der Hydraulikbagger 100A, 100B, 100C oder an einem anderen Einsatzort als die Hydraulikbagger 100A, 100B, 100C befinden. Der Hydraulikbagger 100D kann sich vor der Auslieferung aus einem Werk befinden.
Die oben beschriebenen Positionsschätzmodelle 80A, 80B sind nicht auf ein Modell beschränkt, das durch maschinelles Lernen unter Verwendung von Lerndaten 61A, 61B, 61C, ... und Lerndaten 71A, 71B, 71C, ... gelernt wurde, und können ein Modell sein, das unter Verwendung des gelernten Modells erzeugt wurde. Zum Beispiel können die Positionsschätzmodelle 80A, 80B ein anderes trainiertes Modell (ein Wissensdestillationsmodell) sein, das auf der Grundlage eines Ergebnisses trainiert wurde, das durch wiederholte Eingabe/Ausgabe von Daten in/aus einem gelernten Modell erhalten wurde. 16 ist ein Flussdiagramm eines Prozesses zur Erzeugung eines Wissensdestillationsmodells.
Wie in 16 gezeigt, werden zunächst in Schritt 301 ein erfasstes Bild und hydraulische Steuerdruckdaten erhalten. Der Computer 102A, genauer gesagt die Bildverarbeitungseinheit 61, erhält von der Abbildungsvorrichtung (einer Kamera) 50 ein Bild 63 (siehe 13), das von der Abbildungsvorrichtung 50 aufgenommen wurde. Der Computer 102A erhält vom Drucksensor 36 Daten 73 des vom Drucksensor 36 erfassten hydraulischen Steuerdrucks (siehe 14).
Anschließend verwendet der Computer 102A in Schritt S302 die gelernten Positionsschätzmodelle 80A, 80B, um eine geschätzte Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 zu erhalten. In Schritt S303 gibt der Computer 102A die geschätzte relative Position des Arbeitsgeräts 2 aus.
Der Computer 102A, genauer gesagt, die Arbeitsgerätpositionsschätzeinheit 65 liest das gelernte Positionsschätzmodell 80A aus der Speichervorrichtung 104. Die Arbeitsimplementierungs-Positionsschätzungseinheit 65 gibt das von der Abbildungsvorrichtung 50 erfasste Bild 63 in die Eingabeschicht 81A des gelernten Positionsschätzmodells 80A ein. Das gelernte Positionsschätzmodell 80A gibt von der Ausgabeschicht 83A ein Ergebnis einer Schätzung einer Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 aus, genauer gesagt einen Winkelausgangswert 78 (siehe 11), der den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk angibt.
Der Computer 102A, genauer gesagt die Arbeitsgeräteversetzungsschätzeinheit 71, liest das gelernte Positionsschätzmodell 80B aus der Speichervorrichtung 104. Die Arbeitsgeräteversetzungsschätzeinheit 71 gibt den vom Drucksensor 36 erfassten hydraulischen Steuerdruck in die Eingabeschicht 81B des gelernten Positionsschätzmodells 80B ein. Das gelernte Positionsschätzmodell 80B gibt auf der Ausgabeschicht 83B ein Ergebnis der Schätzung eines Versetzungsbetrags des Arbeitsgeräts 2 aus, insbesondere eines Versetzungsbetrags eines Ziels der Positionsschätzung (z. B. des Löffels 8) (z. B. eines Änderungsbetrags des Löffelwinkels θk).
Anschließend speichert der Computer 102A in Schritt S304 das in Schritt S301 erhaltene Bild und den hydraulischen Steuerdruck sowie das in Schritt S303 ausgegebene Ergebnis der Schätzung der relativen Position des Arbeitsgeräts 2 als Lerndaten in der Speichervorrichtung 104.
Anschließend verwendet der Computer 102A in Schritt S305 das gelernte Modell, um ein anderes Positionsschätzmodell zu lernen. Der Computer 102A gibt ein erfasstes Bild und einen hydraulischen Steuerdruck in eine Eingabeschicht des anderen Positionsschätzmodells ein. Der Computer 102A gibt von einer Ausgabeschicht des anderen Positionsschätzmodells einen Ausgabewert aus, der ein Ergebnis einer Schätzung einer Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 anzeigt, genauer gesagt den Auslegerwinkel θb, den Löffelstielwinkel θa und den Löffelwinkel θk. In Schritt S303 wird eine Differenz zwischen der relativen Position des Arbeitsgeräts 2, die von dem anderen Positionsschätzmodell ausgegeben wird, und der relativen Position des Arbeitsgeräts 2, die von den gelernten Positionsschätzmodellen 80A, 80B ausgegeben wird, berechnet. Basierend auf dieser Differenz aktualisiert der Computer 102A die Parameter des anderen Positionsschätzmodells. Auf diese Weise wird das andere Positionsschätzmodell trainiert.
Schließlich werden in Schritt S306 die aktualisierten Parameter des anderen Positionsschätzmodells als trainierte Parameter auf der Speichervorrichtung 104 gespeichert. Dann wird der Prozess beendet (Ende).
Auf diese Weise kann ein erfasstes Bild des Arbeitsgeräts 2 und des hydraulischen Steuergeräts dafür, die durch ein gelerntes Positionsschätzmodell geschätzt wurde, als Lerndaten verwendet werden, um ein anderes Positionsschätzmodell zu trainieren (oder ein Wissensdestillationsmodell zu erhalten), und der Computer 102A kann das andere Positionsschätzmodell, das einfacher als das gelernte Positionsschätzmodell ist, verwenden, um eine Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 zu schätzen. Dadurch kann die Belastung für den Computer 102A für die Schätzung der relativen Position von Arbeitsgerät 2 verringert werden. Der Computer 102A kann das andere Positionsschätzmodell lernen, indem er von einem anderen Computer erzeugte Lerndaten verwendet.
In der obigen Ausführungsform umfassen die Positionsschätzmodelle 80A, 80B ein neuronales Netz. Sie ist jedoch nicht darauf beschränkt und die Positionsschätzmodelle 80A, 80B können ein Modell sein, wie z.B. eine Supportvektormaschine, die in der Lage ist, eine Position des Arbeitsgeräts 2 relativ zum Hauptkörper 1 aus einem erfassten Bild des Arbeitsgeräts 2 durch maschinelles Lernen genau zu schätzen.
In der oben beschriebenen Ausführungsform werden eine Position des Auslegers 6 und die des Löffelstiels 7 aus einem erfassten Bild durch ein trainiertes Positionsschätzmodell 80A geschätzt und eine Position des Löffels 8 wird beispielhaft aus dem hydraulischen Steuerdruck durch ein trainiertes Positionsschätzmodell 80B geschätzt. Das gelernte Positionsschätzmodell 80B ist in ähnlicher Weise auch für die Schätzung der Position eines anderen Anbaugeräts als des Löffels 8 anwendbar. Wenn der Löffel 8 in einem aufgenommenen Bild eindeutig erfasst ist und ihre Position anhand des aufgenommenen Bildes genau geschätzt werden kann, während ein anderer Teil des Arbeitsgeräts 2 als der Löffel 8, d. h. der Ausleger 6 oder der Löffelstiel 7, in dem aufgenommenen Bild unklar ist, kann die Position des Auslegers 6 oder des Löffelstiels 7 anhand des hydraulischen Steuerdrucks geschätzt werden.
Der Versetzungsbetrag des Arbeitsgeräts 2 von einer Referenzposition kann an einem Ende eines Hubs des Hydraulikzylinders kalibriert werden. Wenn das Ziel der Positionsschätzung beispielsweise der Löffel 8 ist, kann der Löffelwinkel θk, wenn der Löffelzylinder 12 eine maximale Hublänge hat, und wenn der Löffelzylinder 12 eine minimale Hublänge hat, zuvor in der Speichervorrichtung 104 gespeichert werden. Durch Vergleichen eines geschätzten Löffelwinkels θk mit dem Löffelwinkel θk, der in der Speichervorrichtung 104 gespeichert ist, wenn sich der Löffelzylinder 12 bewegt, um das Ende des Hubs zu erreichen, kann der geschätzte Löffelwinkel θk kalibriert werden, um die Genauigkeit der Schätzung eines Versetzungsbetrags des Arbeitsgeräts 2 zu verbessern.
Während die Bedienungsvorrichtung 25 in der obigen Ausführungsform eine Bedienungsvorrichtung vom Steuerhydrauliktyp ist, kann die Bedienungsvorrichtung 25 eine elektrische Bedienungsvorrichtung sein. Zum Beispiel kann die Bedienungsvorrichtung 25 ein Betätigungselement, wie einen elektrischen Hebel, und einen Betätigungsbetragssensor, wie ein Potentiometer als Winkelmesser, der elektrisch einen Betrag der Neigung des Betätigungselements erfasst, umfassen. Der Betätigungsbetragssensor erfasst die Neigung und gibt die entsprechenden Daten an den Computer 102A aus. Ein Steuerölkanal 450 ist vorgesehen, um die Hydraulikpumpe 33 und das Wegeventil 34 unter Umgehung der Bedienungsvorrichtung 25 miteinander zu verbinden, und der Steuerölkanal 450 ist mit einem Steuerventil zur Steuerung des hydraulischen Steuerdrucks versehen. Basierend auf den Daten der Erfassung durch den Betätigungsbetragssensor gibt der Computer 102A ein Steuersignal zur Ansteuerung des Steuerventils aus. Basierend auf dem hydraulischen Steuerdruck, der durch das Steuerventil geregelt wird, wird das Wegeventil 34 gesteuert, um auf diese Weise eine Menge an Hydrauliköl zu regulieren, die dem hydraulischen Stellglied 40 zugeführt wird. In diesem Fall entsprechen die Daten der Erfassung durch den Betätigungsbetragssensor einem Betätigungsbefehlswert, der das Arbeitsgerät 2 veranlasst, eine Bewegung basierend auf der Betätigung des Betätigungselements auszuführen.
Die Arbeitsmaschine, auf die die Idee der vorliegenden Erfindung anwendbar ist, ist nicht auf einen Hydraulikbagger beschränkt und kann eine Arbeitsmaschine mit einem Arbeitsgerät, wie z.B. ein Bulldozer, eine Bodenhobelmaschine oder ein Radlader, sein.
Die vorliegenden offenbarten Ausführungsformen sind in jeder Hinsicht als veranschaulichend und nicht einschränkend zu erachten. Der Umfang der vorliegenden Erfindung wird nicht durch die obige Beschreibung, sondern durch den Umfang der Ansprüche definiert und soll eine den Begriffen der Ansprüche äquivalente Bedeutung sowie alle Änderungen innerhalb des Umfangs umfassen.
Bezugszeichenliste

1: Kabine,
2: Arbeitsgerät,
3: Oberwagen,
4: Hauptkörper,
4S: Fahrersitz,
5: Fahrvorrichtung,
6: Ausleger,
7: Löffelstiel,
8: Löffel,
8a: Zahnspitze,
10: Auslegerzylinder,
11: Löffelstielzylinder,
12: Löffelzylinder,
13: Auslegerbolzen,
14: Löffelstielbolzen,
15: Löffelbolzen,
16: erstes Verbindungsglied,
17: zweites Verbindungsglied,
18: erster Gelenkbolzen,
19: oberer Löffelzylinderbolzen,
20: zweiter Gelenkbolzen,
21: Antenne,
23: globale Koordinationsberechnungseinheit,
25: Bedienungsvorrichtung,
25L: zweiter Steuerhebel,
25R: erster Steuerhebel,
31: Motor,
33: Hydraulikpumpe,
34: Wegeventil,
36: Drucksensor,
40: hydraulischer Aktuator,
50: Abbildungsvorrichtung,
51: Encoder,
61: Bildverarbeitungseinheit,
61A, 61B, 61C, 71A, 71B, 71C: Lerndaten,
62: Winkelumwandlungseinheit,
63: erfasstes Bild,
65, 75: Arbeitsgerätpositionsschätzeinheit,
66, 76: Fehlererkennungseinheit,
67, 77: Positionsschätzmodell-Aktualisierungseinheit,
71: Arbeitsgeräteversetzungsschätzeinheit,
72: Winkeländerungsberechnungseinheit,
73: hydraulische Steuerdruckdaten,
78: Winkelausgangs-wert,
78T: temporärer Winkelausgangswert,
80A und 80B: Positionsschätzmodell,
81A und 81B: Eingabeschicht,
82A und 82B: Zwischenschicht,
83A und 83B: Ausgabeschicht,
100, 100A, 100B, 100C, 100D: Hydraulikbagger,
102A und 102B: Computer,
103: Prozessor,
104: Speichervorrichtung,
105: Kommunikationsschnittstelle,
106: E/A-Schnittstelle,
107: Eingabegerät,
108: Ausgabegerät,
109: externes Speichermedium,
200: Steuergerät,
450: Steuerölkanal.

Claims

System mit einer Arbeitsmaschine, umfassend: einen Arbeitsmaschinen-Hauptkörper; ein Arbeitsgerät, das an dem Arbeitsmaschinen-Hauptkörper angebracht ist; ein Betätigungselement, das zum Betätigen des Arbeitsgeräts betätigt wird; und einen Computer, wobei der Computer ein trainiertes Positionsschätzmodell enthält, um eine Position eines Ziels der Positionsschätzung zu bestimmen, das ein Teil des Arbeitsgeräts ist, das einer Positionsschätzung unterworfen werden soll, und der Computer einen Betätigungsbefehlswert erhält, der das Arbeitsgerät veranlasst, eine Bewegung in Reaktion auf eine Betätigung des Betätigungselements auszuführen, das gelernte Positionsschätzmodell verwendet, um aus dem Betätigungsbefehlswert einen Versetzungsbetrag des Ziels der Positionsschätzung von einer Referenzposition zu schätzen, und eine erste geschätzte Position ausgibt, die eine Position des Ziels der Positionsschätzung ist, die aus der Referenzposition und dem Versetzungsbetrag geschätzt wird.
System nach Anspruch 1, wobei das gelernte Positionsschätzmodell einen Lernprozess unter Verwendung eines Lerndatensatzes durchläuft, so dass, wenn der Betätigungsbefehlswert empfangen wird, das gelernte Positionsschätzmodell den Versetzungsbetrag des Ziels der Positionsschätzung von der Referenzposition schätzt und die erste geschätzte Position ausgibt, die die Position des Ziels der Positionsschätzung ist, die aus der Referenzposition und dem Versetzungsbetrag geschätzt wird.
System nach Anspruch 1, wobei das gelernte Positionsschätzmodell durch einen Lernprozess unter Verwendung eines Lerndatensatzes erzeugt wird, der eine Vielzahl von Lerndaten enthält, die jeweils den Versetzungsbetrag des Ziels der Positionsschätzung von der Referenzposition in Bezug auf den Betätigungsbefehlswert kennzeichnen.
System nach einem der Ansprüche 1 bis 3, wobei der Computer das gelernte Positionsschätzmodell verwendet, um ferner eine Position eines Teils des Arbeitsgeräts zu schätzen, der nicht das Ziel der Positionsschätzung ist.
System nach Anspruch 4, wobei der Computer ferner die Position des Teils, der nicht das Ziel der Positionsschätzung ist, aus dem Betätigungsbefehlswert schätzt.
System nach Anspruch 4, wobei das Arbeitsgerät einen mit dem Arbeitsmaschinen-Hauptkörper gekoppelten Ausleger, einen mit dem Ausleger gekoppelten Löffel und einen mit dem Löffelstiel gekoppelten Löffel aufweist, das Ziel der Positionsschätzung der Löffel ist, und der andere Teil als das Ziel der Positionsschätzung der Löffelstiel oder der Ausleger ist.
System nach einem der Ansprüche 1 bis 3, das ferner eine Abbildungsvorrichtung umfasst, die ein Bild des Arbeitsgeräts erfasst, wobei der Computer ferner über ein anderes trainiertes Positionsschätzmodell verfügt, um die Position des Ziels der Positionsschätzung zu bestimmen, ein erfasstes Bild des Arbeitsgeräts erhält, das von der Abbildungsvorrichtung erfasst wird, das andere gelernte Positionsschätzmodell verwendet, um eine zweite geschätzte Position auszugeben, die eine Position des Ziels der Positionsschätzung ist, die aus dem erfassten Bild geschätzt wird, und der Computer das andere gelernte Positionsschätzmodell verwendet, um die Genauigkeit der Schätzung bei der Bestimmung der zweiten geschätzten Position aus dem erfassten Bild zu erfassen, und wenn die Genauigkeit geringer als ein vorbestimmter Wert ist, der Computer das gelernte Positionsschätzmodell verwendet, um die erste geschätzte Position aus dem Betätigungsbefehlswert zu schätzen.
System nach Anspruch 7, wobei die Referenzposition die zweite geschätzte Position des Ziels der Positionsschätzung ist, die angenommen wird, unmittelbar bevor die Genauigkeit der Schätzung bei der Bestimmung der zweiten geschätzten Position aus dem erfassten Bild unter einen vorgegebenen Wert fällt.
System nach Anspruch 7, wobei der Computer das andere gelernte Positionsschätzmodell verwendet, um ferner eine Position eines Teils des Arbeitsgeräts, der nicht das Ziel der Positionsschätzung ist, aus dem aufgenommenen Bild zu schätzen.
System nach einem der Ansprüche 1 bis 3, ferner mit einem Hydraulikzylinder zum Betätigen des Arbeitsgeräts, wobei der Computer den Versetzungsbetrag an einem Ende eines Hubs des Hydraulikzylinders kalibriert.
System nach einem der Ansprüche 1 bis 3, wobei eine Position des Arbeitsgeräts eine relative Position des Arbeitsgeräts relativ zum Arbeitsmaschinen-Hauptkörper ist.
Computerimplementiertes Verfahren, das Folgendes umfasst: Erhalten eines Betätigungsbefehlswerts, der bewirkt, dass ein an einem Arbeitsmaschinen-Hauptkörper vorgesehenes Arbeitsgerät eine Bewegung ausführt; und Verwenden eines gelernten Positionsschätzmodells zum Bestimmen einer Position des Arbeitsgerätes, Erhalten einer geschätzten Position, die eine aus dem Betätigungsbefehlswert geschätzte Position des Arbeitsgerätes ist.
Verfahren zum Erzeugen eines gelernten Positionsschätzmodells, das umfasst: Erhalten von Lerndaten, die enthalten: einen Betätigungsbefehlswert, der bewirkt, dass ein an einem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät eine Bewegung ausführt; und einen Versetzungsbetrag des Arbeitsgeräts von einer Referenzposition, der erhalten wird, wenn der Betätigungsbefehlswert erfasst wird; und Trainieren des Positionsschätzmodells unter Verwendung der Lerndaten.
Verfahren nach Anspruch 13, wobei das Training umfasst: Verwenden des Positionsschätzmodells, um einen geschätzten Versetzungsbetrag zu erhalten, der ein Versetzungsbetrag des Arbeitsgeräts von der aus dem Betätigungsbefehlswert geschätzten Referenzposition ist; Berechnen eines Fehlers des geschätzten Versetzungsbetrags in Bezug auf den Versetzungsbetrag; und Aktualisieren des Positionsschätzmodells basierend auf dem Fehler.
Lerndaten, die verwendet werden, um ein Positionsschätzmodell zu trainieren, das verwendet wird, um eine Position eines Arbeitsgeräts zu bestimmen, wobei die Lerndaten umfassen: einen Betätigungsbefehlswert, der bewirkt, dass ein an einem Arbeitsmaschinen-Hauptkörper angebrachtes Arbeitsgerät eine Bewegung ausführt; und einen Versetzungsbetrag des Arbeitsgeräts von einer Referenzposition, wenn der Betätigungsbefehlswert erfasst wird.
Lerndaten nach Anspruch 15, wobei der Versetzungsbetrag einen Versetzungsbetrag von der Referenzposition eines Ziels der Positionsschätzung umfasst, das ein Teil des Arbeitsgeräts ist, das der Positionsschätzung unterzogen werden soll.
Lerndaten nach Anspruch 16, wobei der Versetzungsbetrag ferner einen Versetzungsbetrag eines Teils des Arbeitsgeräts, der nicht das Ziel der Positionsschätzung ist, von der Referenzposition umfasst.
Verfahren zum Erzeugen eines gelernten Positionsschätzmodells, umfassend: Erhalten eines Betätigungsbefehlswertes, der bewirkt, dass ein an einem Arbeitsmaschinen-Hauptkörper vorgesehenes Arbeitsgerät eine Bewegung ausführt; Verwenden eines gelernten Positionsschätzmodells, um eine geschätzte Position zu erhalten, die eine aus dem Betätigungsbefehlswert geschätzte Position des Arbeitsgeräts ist; und Trainieren eines anderen Positionsschätzmodells als das gelernte Positionsschätzmodell unter Verwendung von Lerndaten, die den Betätigungsbefehlswert und die geschätzte Position enthalten.