DE102014218749A1

DE102014218749A1 - Unterstützung eines Bedieners einer Arbeitsmaschine mittels eines unbemannten Flugobjektes

Info

Publication number: DE102014218749A1
Application number: DE102014218749.4A
Authority: DE
Inventors: Daniel Adam
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2016-03-24

Abstract

Die Erfindung offenbart ein Verfahren und eine Unterstützungsvorrichtung zum Unterstützen eines Betriebes einer Arbeitsmaschine, aufweisend die folgenden Schritte: – Erzeugen von Bilddaten eines Endeffektors und/oder eines von dem Endeffektor manipulierten Objektes mittels einer Kamera eines unbemannten Flugobjektes; – Übermitteln der Bilddaten an eine Anzeigeeinrichtung, die an der Arbeitsmaschine angeordnet ist; – Erfassen der Position und/oder der Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes; und – Steuern des unbemannten Flugobjektes und/oder der Kamera in Abhängigkeit der erfassten Position des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes derart, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten Objektes erzeugt.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Unterstützungsvorrichtung, die einen Bediener einer Arbeitsmaschine mittels eines unbemannten Flugobjektes unterstützen.
Auf Baustellen werden Kräne, Bagger, Betonpumpen und andere Arbeitsmaschinen eingesetzt, um Objekte zu bewegen oder Erdbewegungen durchzuführen. Bei einigen Tätigkeiten ist ein Aktionsradius eines Endeffektors und/oder eines mittels des Endeffektors der Arbeitsmaschine bewegten Objektes nicht ausreichend für den Bediener der Maschine einsehbar. Um dieses Problem zu beheben, werden im Stand der Technik schwenkbare bzw. bewegliche Kabinen vorgeschlagen. Ferner werden im Stand der Technik ein Einweiser verwendet, der dem Bediener mittels Handzeichen und/oder einer Sprechfunkverbindung Anweisungen erteilt, wie der Endeffektor der Maschine zu bewegen ist.
Die Lösungen des Standes der Technik sind nicht zufriedenstellend, da durch den Einweiser zusätzliche Aufwände entstehen sowie lange Reaktionszeiten vorhanden sein können und/oder eine unklare Umgebungssituation entstehen kann. Ferner muss sich der Einweiser eventuell in einem Gefahrenbereich aufhalten. Ferner können schlechte ergonomisch Arbeitsbedingungen für den Bediener der Arbeitsmaschine entstehen, beispielsweise aufgrund der Kommunikation mit dem Einweiser und einem ungünstigen Betrachtungswinkel auf den Endeffektor und/oder das das zu manipulierende Objekt. Ferner kann die Sicht auf den Endeffektor und/oder auf das zu manipulierende Objekt durch die Maschine selbst oder ein anderes Objekt erschwert werden, beispielsweise wenn ein Kran ein Objekt in ein Gebäude heben oder senken soll oder ein Bagger Aushubarbeiten an einer steilen Kante ausführen soll.
Die DE 10 2011 006 333 A1 offenbart ein fliegendes Trägersystem für eine Gleisbaustelle.
Die DE 10 2008 058 481 A1 beschreibt, dass unbemannte Drohnen Maschinenpositionsdaten ermitteln und Temperaturdaten aufnehmen.
Die EP 2 465 582 A2 schlägt das Positionieren einer Leiter an einem brennenden Haus mittels einer Drohne vor.
Die KR 1020110134076 A schlägt vor, dreidimensionale räumliche Information mittels einer Drohne mit einem GPS-Sensor zu erfassen.
Die WO 2010/026268 A1 beschreibt das Erfassen der tatsächlichen Abmessungen eines Geländes, beispielsweise bei Bau- und Wartungsarbeiten.
Die Erfindung stellt sich zur Aufgabe, eine Vorrichtung und ein Verfahren zum Unterstützen eines Bedieners einer Arbeitsmaschine zu schaffen.
Die Aufgabe der Erfindung wird durch eine Unterstützungsvorrichtung nach Anspruch 1, eine Arbeitsmaschine nach Anspruch 6, ein Verfahren nach Anspruch 8 und Computerprogrammprodukt nach Anspruch 9 gelöst. Die Unteransprüche beanspruchen bevorzugte Ausführungsformen.
Die erfindungsgemäße Unterstützungsvorrichtung für eine Arbeitsmaschine weist ein unbemanntes Flugobjekt mit einer Kamera und einer Sendeeinrichtung auf, wobei die Sendeeinrichtung dazu ausgebildet ist, mit der Kamera aufgenommene Bilddaten zu senden. Die Unterstützungsvorrichtung weist ferner eine Empfangseinrichtung auf, die dazu ausgebildet ist, an der Arbeitsmaschine angebracht zu werden und die von der Sendeeinrichtung gesendeten Bilddaten zu empfangen. Die Unterstützungsvorrichtung weist ferner eine Anzeigeeinrichtung auf, die dazu ausgebildet ist, an der Arbeitsmaschine angebracht zu werden und die von der Empfangseinrichtung empfangenen Bilddaten anzuzeigen. Eine Steuerungseinrichtung der Unterstützungseinrichtung ist dazu ausgebildet, das unbemannte Flugobjekt und/oder die Kamera in Abhängigkeit einer erfassten Position und/oder einer erfassten Orientierung eines Endeffektors der Arbeitsmaschine und/oder eines von dem Endeffektor manipulierten Objektes derart zu steuern, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten Objektes erzeugt. Der Endeffektor und/oder das vom Endeffektor manipulierte Objekt können sich an einem Ort befinden, der von einem Bediener der Arbeitsmaschine nicht einsehbar ist.
Die Unterstützungsvorrichtung kann ferner eine Erfassungseinrichtung aufweisen, die dazu ausgebildet ist, die Position und/oder die Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes zu erfassen.
Dadurch kann sichergestellt werden, dass das unbemannte Flugobjekt und/oder die Kamera und/oder das unbemannte Flugobjekt derart orientiert werden und/oder derart positioniert werden, dass der Endeffektor und/oder das von dem Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera bleibt.
Die Erfindung hat den Vorteil, dass der Bediener der Arbeitsmaschine den Endeffektor und/oder das vom Endeffektor manipulierte Objekt permanent auf der Anzeigeeinrichtung beobachten kann. Dadurch wird einerseits die Sicherheit erhöht, weil sich kein Einweiser in einem Gefahrenbereich aufhalten muss und der Bediener der Arbeitsmaschine die Position des Endeffektors und/oder die Position des vom Endeffektor manipulierten Objektes sowie der jeweiligen relevanten Umgebung permanent beobachten kann. Ferner wird die Ergonomie erhöht, weil der Bediener während des Betätigens der Bedienelemente nicht mit einem Einweiser kommunizieren muss. Ferner wird die Ergonomie erhöht, weil der Bediener seine Position nicht verändern muss, um den Endeffektor und/oder das davon manipulierte Objekt zu sehen. Schließlich werden die Kosten gesenkt, da kein Einweiser mehr erforderlich ist.
Die Steuerungseinrichtung kann die Position des unbemannten Flugobjektes, die Orientierung des unbemannten Flugobjektes, die Position der Kamera des unbemannten Flugobjektes und/oder die Orientierung der Kamera des unbemannten Flugobjektes in Abhängigkeit der erfassten Position und/oder der erfassten Orientierung so verändern, dass die Kamera Bilddaten des sich bewegenden Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten und sich bewegenden Objektes erzeugt.
Die Anzeigeeinrichtung kann derart angeordnet sein, dass der Bediener der Arbeitsmaschine die von der Kamera des unbemannten Flugobjektes aufgenommenen Bilddaten erkennen kann.
Die Unterstützungsvorrichtung kann eine Bedieneinrichtung aufweisen, die die Steuerungseinrichtung anweisen kann, den Endeffektor im Gesichtsfeld der Kamera unabhängig von der Position des Endeffektors zu halten. Die Bedieneinrichtung kann die Steuerungseinrichtung anweisen, das vom Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera unabhängig von der Position des Objektes zu halten. Die Bedieneinrichtung kann die Position des unbemannten Flugobjektes manuell verändern. Die Bedieneinrichtung kann dazu ausgebildet sein, mehrere Positionen zu definieren, die das unbemannte Flugobjekt sukzessive anfliegt. Diese Positionen können kritische Arbeitsorte der Arbeitsmaschine sein, beispielsweise Orte, die der Bediener nicht einsehen kann. Die Bedieneinrichtung kann das unbemannte Flugobjekt anweisen, eine bestimmte Position stationär einzunehmen.
Die Erfindung betrifft auch eine Arbeitsmaschine mit der zuvor beschriebenen Unterstützungsvorrichtung.
Die Arbeitsmaschine kann eine Baumaschine, beispielsweise ein Bagger, ein Kran oder eine Betonpumpe, sein.
Ein erfindungsgemäßes Verfahren zum Unterstützen eines Betriebes einer Arbeitsmaschine umfasst den Schritt des Erzeugens von Bilddaten eines Endeffektors und/oder eines von dem Endeffektor manipulierten Objektes mittels einer Kamera eines unbemannten Flugobjektes und das Übermitteln der Bilddaten an eine Anzeigeeinrichtung, die an der Arbeitsmaschine angeordnet ist. Die Position und/oder die Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes wird erfasst. Das unbemannte Flugobjekt und/oder die Kamera werden in Abhängigkeit der erfassten Position des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes derart gesteuert, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor manipulierten Objektes erzeugt. Sobald sich der Endeffektor und/oder das vom Endeffektor manipulierte Objekt bewegen, werden die Orientierung und/oder die Position der Kamera und/oder des unbemannten Flugobjektes derart verändert, dass der Endeffektor und/oder das vom Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera verbleiben. Folglich kann ein Bediener der Arbeitsmaschine den Endeffektor und/oder das vom Endeffektor manipulierte Objekt beobachten, während es durch die Arbeitsmaschine manipulierten wird, und zwar ohne dass ein direkter Sichtkontakt erforderlich ist.
Die Erfindung betrifft auch ein Computerprogrammprodukt, das, wenn es in einen Computer mit einem Prozessor und einem Speicher geladen ist und von diesem ausgeführt wird, die Schritte des zuvor beschriebenen Verfahrens ausführt.
Die Erfindung wird nun mittels nicht beschränkender Ausführungsformen unter Bezugnahme auf die beigefügten Figuren beschrieben, wobei
1 eine Anwendung der Erfindung bei einem Kran zeigt; und
2 eine Anwendung der Erfindung bei einem Bagger zeigt.
1 zeigt einen Kran 2 an dessen Arm 8 mittels einer Rolle ein Seil 6 mit einem Haken 7 verläuft, an dem über ein weiteres Seil 5 eine Last 4 gehalten wird. Die Last 4 wurde von einem Anhänger eines Lastwagens 10 angehoben und soll mittels des Krans 2 im Inneren 12 eines Gebäudes abgesetzt werden. Der Bediener des Krans 2 hat keine Möglichkeit, in das Innere 12 des Gebäudes zu blicken. Der Erfinder der vorliegenden Erfindung schlägt vor, ein unbemanntes Fluggerät 14 mit einer Kamera 16 einzusetzen, und die von der Kamera 16 aufgenommenen Bilddaten auf einer Anzeigeeinrichtung 20 anzuzeigen. Eine Sendeeinrichtung 18 sendet die von der Kamera 16 aufgenommenen Bilddaten an eine Empfangseinrichtung 22 im Kran 2. Die Empfangseinrichtung 22 leitet die empfangenen Bilddaten zur Visualisierung an die Anzeigeeinrichtung 20 weiter. Eine Erfassungseinrichtung 24 erfasst die Position des Hakens 7 und/oder der Last 4, beispielsweise mittels der abgewickelten Länge des Seils 6 und des Winkels und der aktuellen Länge des Arms 8. Die erfasste Position wird an eine Steuerungseinrichtung 25 übergeben. Die Steuerungseinrichtung sendet über eine Positionssendeeinrichtung 32 an die Positionempfangseinrichtung 28 des unbemannten Flugobjektes 14 Positionsdaten und/oder Orientierungsdaten, die die Sollposition und/oder die Sollorientierung der Kamera 16 und/oder die Sollposition und/oder die Sollorientierung des unbemannten Flugobjektes 14 anzeigen. Ein Antrieb 30 wird aufgrund der Sollpositionsdaten und/oder Sollorientierungsdaten derart angesteuert, dass das unbemannte Flugobjekt 14 in Richtung der Sollposition und/oder Sollorientierung bewegt wird.
Sobald der Haken 7 und/oder das Objekt 4 bewegt werden, wird dies durch die Erfassungseinrichtung 22 erfasst, wodurch eine neue Sollposition und/oder eine neue Sollorientierung ermittelt werden, die an das unbemannte Flugobjekt 14 übergeben wird, damit die Kamera 16 und/oder das unbemannte Flugobjekt 14 die neue Sollposition und/oder Sollorientierung einnehmen. Es auch möglich, die Position des Endeffektors, d. h. des Hakens 7 und des vom Endeffektor manipulierten Objektes 4 mittels Bildverarbeitungsmittel aus den Bilddaten der Kamera zu berechnen. Dabei kann die Position des unbemannten Flugobjektes 14 mittels eines satellitengestützten Positionierungssystems oder eines Positionssensors, der auf der Arbeitsmaschine 2 angeordnet ist, ermittelt werden.
Mittels der Bedieneinrichtung 26 kann der Bediener der Arbeitsmaschine 2 die Steuerungseinrichtung 25 anweisen, das unbemannte Flugobjekt 14 und/oder die Kamera 16 so anzusteuern, dass sich der Endeffektor 7 und/oder das davon manipulierte Objekt 4 unabhängig von deren Position und Orientierung im Gesichtsfeld der Kamera 16 befinden und auf der Anzeigeeinrichtung 20 angezeigt werden. Ferner kann der Bediener mittels der Bedieneinrichtung 26 die Steuerungseinrichtung 25 anweisen, eine bestimmte Position stationär einzunehmen. Ferner kann der Bediener mittels der Bedieneinrichtung 26 die Position und/oder Orientierung des unbemannten Flugobjektes und/oder der Kamera manuell verändern. Ferner kann der Bediener mittels der Bedieneinrichtung die Steuerungseinrichtung 25 anweisen, mehrere Positionen sukzessive und zyklisch anzufliegen, die beispielsweise kritische (nicht oder schlecht einsehbare) Punkte bei einem Arbeitsgang sind.
2 zeigt die Anwendung der vorliegenden Erfindung bei einem Bagger 102 mit einer Mehrzahl beweglicher Arme 103 und einem Endeffektor 104, der durch eine Schaufel gebildet wird. Der Bagger 102 gräbt mittels der Schaufel 104 einen Graben in das Erdreich 106, der so tief ist, dass er für den Bediener nicht einsehbar ist. Die vorstehende Beschreibung der 1 zur Arbeitsweise des unbemannten Flugobjektes 14 und der in der Arbeitsmaschine angeordneten Komponenten gelten sinngemäß auch für die in 2 gezeigte Anwendung, so dass auf die Beschreibung der 1 verwiesen wird, um im Sinne der Prägnanz unnötige Wiederholungen zu vermeiden.
Die vorliegende Erfindung ist dahingehend vorteilhaft, dass die Ergonomie für den Bediener der Arbeitsmaschine erhöht wird, sowie die Sicherheit erhöht wird, weil kein Einweiser erforderlich ist und die Kosten somit auch reduziert werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011006333 A1 [0004]
DE 102008058481 A1 [0005]
EP 2465582 A2 [0006]
KR 1020110134076 A [0007]
WO 2010/026268 A1 [0008]

Claims

Unterstützungsvorrichtung für eine Arbeitsmaschine (2; 102), aufweisend – ein unbemanntes Flugobjekt (14) mit einer Kamera (16) und einer Sendeeinrichtung (18), wobei die Sendeeinrichtung (18) dazu ausgebildet ist, mit der Kamera (16) aufgenommene Bilddaten zu senden; – eine Empfangseinrichtung (22), die dazu ausgebildet ist, an der Arbeitsmaschine (2; 102) angebracht zu werden und die von der Sendeeinrichtung (18) gesendeten Bilddaten zu empfangen; – eine Anzeigeeinrichtung (20), die dazu ausgebildet ist, an der Arbeitsmaschine (2; 102) angebracht zu werden und die von der Empfangseinrichtung (22) empfangenen Bilddaten anzuzeigen; und – eine Steuerungseinrichtung (25), die dazu ausgebildet ist, das unbemannte Flugobjekt (14) und/oder die Kamera (16) in Abhängigkeit einer erfassten Position und/oder einer erfassten Orientierung eines Endeffektors (7; 104) der Arbeitsmaschine und/oder eines von dem Endeffektor (7) manipulierten Objektes (4) derart zu steuern, dass die Kamera (16) Bilddaten des Endeffektors (7; 104) der Arbeitsmaschine (2; 102) und/oder des von dem Endeffektor (7) manipulierten Objektes (4) erzeugt.
Unterstützungsvorrichtung nach Anspruch 1, gekennzeichnet durch eine Erfassungseinrichtung (24), die dazu ausgebildet ist, die Position und/oder die Orientierung des Endeffektors (7; 104) der Arbeitsmaschine (2; 102) und/oder des vom Endeffektor (7) der Arbeitsmaschine (2; 102) manipulierten Objektes zu erfassen.
Unterstützungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuerungseinrichtung dazu ausgebildet ist, – die Position des unbemannten Flugobjektes (14), – die Orientierung des unbemannten Flugobjektes (14), – die Position der Kamera (16) des unbemannten Flugobjektes (14) und/oder – die Orientierung der Kamera (16) des unbemannten Flugobjektes (14) in Abhängigkeit der erfassten Position und/oder Orientierung so zu verändern, dass die Kamera (16) Bilddaten des sich bewegenden Endeffektors (7; 104) der Arbeitsmaschine (2; 102) und/oder des von dem Endeffektor (7) manipulierten und sich bewegenden Objektes (4) erzeugt.
Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (20) derart angeordnet ist, der Bediener der Arbeitsmaschine (2; 102) die von der Kamera (16) des unbemannten Flugobjektes (14) aufgenommenen Bilddaten erkennen kann.
Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch eine Bedieneinrichtung (26), die dazu ausgebildet ist, – die Steuerungseinrichtung (25) anzuweisen, den Endeffektor (7; 104) im Gesichtsfeld der Kamera (16) unabhängig von der Position des Endeffektors (7; 104) zu halten; – die Steuerungseinrichtung (25) anzuweisen, das vom Endeffektor (7) manipulierte Objekt (4) im Gesichtsfeld der Kamera (16) unabhängig von der Position des Objektes (4) zu halten; – die Position und/oder die Orientierung des unbemannte Flugobjektes (14) und/oder der Kamera (16) manuell zu verändern; – mehrere Positionen zu definieren, die das unbemannte Flugobjekt (14) sukzessive anfliegt; und/oder – das unbemannte Flugobjekt (14) anzuweisen, eine bestimmte Position stationär einzunehmen.
Arbeitsmaschine (2; 102) mit der Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 5.
Arbeitsmaschine (2; 102) nach Anspruch 5, dadurch gekennzeichnet, dass die Arbeitsmaschine – eine beliebige Baumaschine; – ein Bagger (102); – ein Kran (2); oder – eine Betonpumpe ist.
Verfahren zum Unterstützen eines Betriebes einer Arbeitsmaschine (2; 102), aufweisend die folgenden Schritte: – Erzeugen von Bilddaten eines Endeffektors (7; 104) und/oder eines von dem Endeffektor (7) manipulierten Objektes mittels einer Kamera (16) eines unbemannten Flugobjektes (14); – Übermitteln der Bilddaten an eine Anzeigeeinrichtung (20), die an der Arbeitsmaschine (2; 102) angeordnet ist; – Erfassen der Position und/oder der Orientierung des Endeffektors (7; 104) der Arbeitsmaschine (2; 102) und/oder des vom Endeffektor (7) der Arbeitsmaschine (2) manipulierten Objektes (4); und – Steuern des unbemannten Flugobjektes (14) und/oder der Kamera (16) in Abhängigkeit der erfassten Position des Endeffektors (7; 104) der Arbeitsmaschine und/oder des vom Endeffektor (7) der Arbeitsmaschine (2) manipulierten Objektes (4) derart, dass die Kamera (16) Bilddaten des Endeffektors (7; 104) der Arbeitsmaschine (2; 102) und/oder des von dem Endeffektor (7) manipulierten Objektes (4) erzeugt.
Computerprogrammprodukt, das, wenn es von einem Computer mit einem Prozessor und einem Speicher ausgeführt wird, die Schritte des Verfahrens nach Anspruch 8 ausführt.