DE102018207706A1

DE102018207706A1 - Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera

Info

Publication number: DE102018207706A1
Application number: DE102018207706.1A
Authority: DE
Inventors: Michael G. Kean
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2017-09-01
Filing date: 2018-05-17
Publication date: 2019-03-07
Also published as: BR102018007740B1; BR102018007740A2; US20190073762A1; US10262411B2

Abstract

Ein Verfahren zum Erfassen eines Defekts in einer Oberfläche einer Infrastruktur beinhaltet das Bereitstellen einer Arbeitsmaschine mit einer Steuerung, mehreren Sensoren, einschließlich eines Trägheitsnavigationssystems (IMU) und eines globalen Positionierungssensors (GPS) und einer Kamera, die in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist. Die Kamera nimmt ein erstes Bild der Oberfläche an einer ersten Stelle auf und Informationen werden mit dem IMU und dem GPS an der ersten Stelle gesammelt. Das Verfahren beinhaltet das Verknüpfen des ersten Bildes mit den an der ersten Stelle gesammelten Informationen und das Speichern des ersten Bildes und den an der ersten Stelle in einer Datenbank gesammelten Informationen.

Description

GEBIET DER OFFENBARUNG
Die vorliegende Offenbarung betrifft eine Arbeitsmaschine und insbesondere ein Verfahren zum Durchführen einer Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera.
HINTERGRUND
Baumaschinen, wie etwa ein Planierfahrzeug, können verwendet werden, um eine Oberfläche zu verdichten. Weitere Arbeitsmaschinen können verwendet werden, um Straßen mit Schlaglöchern, Rissen oder anderen Defekten zu reparieren. Herkömmliche Verfahren zum Reparieren von Straßen sind reaktiv, d. h. ein Schlagloch oder ein Riss wird erkannt und dann später repariert. Dies ist größtenteils auf die herkömmliche Ausrüstung in diesem Bereich und deren Beschränkungen zurückzuführen.
Gemäß der vorliegenden Offenbarung wird ein System und Verfahren zum Überwinden der Hindernisse von herkömmlicher Ausrüstung bereitgestellt. Dabei können eine oder mehrere Ausführungsformen bereitgestellt werden, um selektiv eine Umgebung oder einen Standort abzutasten, an denen ein Arbeitsvorgang, eine Wartung oder ein Reparaturvorgang durchgeführt werden kann oder im Voraus vor der eigentlichen durchzuführenden Arbeit erforderlich ist.
KURZDARSTELLUNG
In einer Ausführungsform der vorliegenden Offenbarung beinhaltet eine Arbeitsmaschine zum Verfahren einer Oberfläche, um Defekte darin zu erfassen, ein Fahrgestell; mehrere Bodeneingriffsmechanismen, die mit dem Fahrgestell gekoppelt sind und dieses tragen; eine Steuerung zum Steuern der Maschine; mehrere Sensoren, die mit dem Fahrgestell gekoppelt sind, wobei die mehreren Sensoren mindestens ein Trägheitsnavigationssystem (IMU, Inertial Measurement Unit) und einen mit der Steuerung elektrisch gekoppelten globalen Positionierungssensor umfassen; eine Kamera, die mit dem Fahrgestell gekoppelt ist und in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist, wobei die Kamera konfiguriert ist, um mehrere Bilder der Oberfläche aufzunehmen, wenn sich die Maschine entlang derselben bewegt; eine Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist, wobei die Datenbank konfiguriert ist, um Bilder und Daten zu empfangen, die jedem Bild zugeordnet sind; wobei, wenn sich die Arbeitsmaschine entlang der Oberfläche bewegt, die Kamera ein erstes Bild und ein zweites Bild aufnimmt und die Steuerung einen ersten Datensatz empfängt, wenn das erste Bild aufgenommen wird, und einen zweiten Datensatz empfängt, wenn das zweite Bild aufgenommen wird, wobei jeder Datensatz einen Standort, eine Geschwindigkeit und eine Ausrichtung der Maschine beinhaltet; wobei ferner das erste Bild, der erste Datensatz, das zweite Bild und der zweite Datensatz an die Datenbank zum Erfassen eines Defekts in der Oberfläche übertragen werden.
In einem Beispiel dieser Ausführungsform ist mindestens eine zweite Kamera mit dem Fahrgestell gekoppelt und im Wesentlichen senkrecht zur Oberfläche ausgerichtet, wobei die Kameras um einen vordefinierten Abstand voneinander beabstandet sind. In einem zweiten Beispiel verknüpft die Steuerung das erste Bild funktionell mit dem ersten Datensatz und der Oberflächenrauheit an der ersten Stelle und das zweite Bild funktionell mit dem zweiten Datensatz und der Oberflächenrauheit an der zweiten Stelle . In einem dritten Beispiel ist mindestens eine Lichtquelle mit dem Fahrgestell gekoppelt und so ausgerichtet, um Licht auf die Oberfläche zu projizieren, wo die Kamera die mehreren Bilder aufnimmt.
In einer weiteren Ausführungsform der vorliegenden Offenbarung beinhaltet ein Verfahren zum Erfassen eines Defekts in einer Oberfläche einer Infrastruktur das Bereitstellen einer Arbeitsmaschine mit einer Steuerung, mehreren Sensoren, einschließlich eines Trägheitsnavigationssystems (IMU) und eines globalen Positionierungssensors (GPS) und einer Kamera, die in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist; das Bereitstellen einer Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist; das Aufnehmen eines ersten Bildes der Oberfläche mit der Kamera an einer ersten Stelle; das Sammeln von Informationen mit dem IMU und dem GPS an der ersten Stelle, wobei die Information mindestens eine Position, Geschwindigkeit und eine Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des ersten Bildes mit den an der ersten Stelle gesammelten Informationen; und das Speichern des ersten Bildes und der Informationen, die an der ersten Stelle in der Datenbank gesammelt wurden.
In einem Beispiel der Ausführungsform beinhaltet das Verfahren das Messen einer Oberflächenrauheit der Oberfläche mit dem IMU an der ersten Stelle. In einem zweiten Beispiel beinhaltet das Verfahren das Bestimmen einer statistischen Sicherheit mit dem IMU, die dem ersten Bild zugeordnet ist und das Übermitteln der statistischen Sicherheit an die Steuerung. In einem dritten Beispiel beinhaltet das Verfahren das Ablehnen des Bildes, wenn die statistische Sicherheit unterhalb eines Schwellenwerts liegt. In einem vierten Beispiel beinhaltet das Verfahren das Steuern der Arbeitsmaschine, um zu der ersten Stelle zurückzukehren und ein weiteres Bild aufzunehmen, um das erste Bild nach dem Ablehnungsschritt zu ersetzen. In einem fünften Beispiel beinhaltet das Verfahren das Steuern der Arbeitsmaschine zu einer zweiten Stelle der Oberfläche; das Aufnehmen eines zweiten Bildes der Oberfläche mit der Kamera an der zweiten Stelle; das Sammeln von Informationen mit dem IMU und dem GPS an der zweiten Stelle, wobei die Information mindestens eine Position, Geschwindigkeit und eine Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des zweiten Bildes mit den an der zweiten Stelle gesammelten Informationen; und das Speichern des zweiten Bildes und der Informationen, die an der zweiten Stelle in der Datenbank gesammelt wurden.
In einem sechsten Beispiel der Ausführungsform beinhaltet das Verfahren das Bestimmen, ob eine Überlappung zwischen dem ersten Bild und dem zweiten Bild vorliegt; das Ablehnen des zweiten Bildes, wenn keine Überlappung vorliegt; und das Erzeugen einer Disparitätskarte zwischen dem ersten Bild und dem zweiten Bild, wenn eine Überlappung vorliegt. In einem siebten Beispiel beinhaltet das Verfahren das Erstellen von Punktwolkendaten basierend auf der Disparitätskarte; das Projizieren der Punktwolkendaten auf ein Oberflächenraster, das aus Basisliniendaten gebildet ist, die einer mangelfreien Oberfläche zugeordnet sind; das Bestimmen einer Differenz zwischen den Punktwolkendaten und dem Oberflächenraster; und das Erfassen eines Defekts in der Oberfläche basierend auf der Differenz. In einem achten Beispiel beinhaltet das Verfahren das Bestimmen von gerasterten und kombinierten Oberflächendaten von der ersten Stelle und der zweiten Stelle der Oberfläche; das Bestimmen, ob zwischen jedem Rasterpunkt, der in den zwei Datensätzen gebildet wird, eine Oberflächenänderung auftritt; und das Durchführen einer Korrekturmaßnahme, wenn die Oberflächenänderung auf einen Defekt der Oberfläche hinweist.
In einem neunten Beispiel der Ausführungsform beinhaltet das Bestimmen, ob ein Oberflächenänderungsschritt vorliegt, das Durchführen eines logischen Tests basierend auf einer Differenzvolumen- oder Formänderung umfasst. In einem zehnten Beispiel beinhaltet das Verfahren das Vergleichen der Oberflächenänderung mit einem Schwellenwert; und das Übertragen einer Warnung, die einen Defekt in der Oberfläche anzeigt, der repariert werden muss. In einem elften Beispiel beinhaltet der Vergleichsschritt das Vergleichen der Oberflächenänderung mit einem Schwellenwert; und das Übertragen einer Warnung, die einen Defekt in der Oberfläche anzeigt, der repariert werden muss. In einem weiteren Beispiel beinhaltet der Ausführungsschritt das Erstellen einer korrigierten Entwurfsdatei zum Reparieren eines Defekts in der Oberfläche; und das Übertragen der korrigierten Entwurfsdatei an eine dritte Partei zum Planen der Reparatur oder zum Durchführen der Reparatur beim Empfang.
In einer weiteren Ausführungsform dieser Offenbarung beinhaltet ein Verfahren zum Erstellen eines Fahrweges einer Arbeitsmaschine zum Aufrechterhalten der Verdichtung einer Fahrbahnoberfläche das Bereitstellen einer Arbeitsmaschine mit einer Steuerung, mehreren Sensoren, einschließlich eines Trägheitsnavigationssystems (IMU) und eines globalen Positionierungssensors (GPS) und einer Kamera, die in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist; das Bereitstellen einer Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist; das Aufnehmen eines ersten Bildes der Oberfläche mit der Kamera an einer ersten Stelle und eines zweiten Bildes der Oberfläche an einer zweiten Stelle; das Sammeln eines ersten Datensatzes mit dem IMU und dem GPS an der ersten Stelle und eines zweiten Datensatzes an der zweiten Stelle, wobei jeder Datensatz mindestens eine Position, eine Geschwindigkeit und eine Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des ersten Bildes mit den an der ersten Stelle gesammelten Informationen und des zweiten Bildes mit den an der zweiten Stelle gesammelten Informationen; das Speichern des ersten Bildes und der Informationen, die an der ersten Stelle in der Datenbank gesammelt wurden; das Erzeugen einer Disparitätskarte aus dem ersten Bild, dem zweiten Bild und den Informationen, die an der ersten und zweiten Stelle gesammelt wurden; das Erstellen von ersten gerasterten und kombinierten Oberflächendaten basierend auf dem ersten Bild und dem ersten Datensatz und von zweiten gerasterten und kombinierten Oberflächendaten basierend auf dem zweiten Bild und dem zweiten Datensatz; das Berechnen der Verdichtung zwischen der Oberfläche an der ersten Stelle und der Oberfläche an der zweiten Stelle; und das Erstellen eines Fahrweges, um eine gewünschte Verdichtung der Oberfläche an und zwischen der ersten und der zweiten Stelle zu erreichen.
In einem Beispiel dieser Ausführungsform beinhaltet das Verfahren das Erstellen einer Verdichtungskarte basierend auf einem Ergebnis des Berechnungsverdichtungsschrittes. In einem weiteren Beispiel beinhaltet das Verfahren das Erzeugen einer Überlagerung der Oberfläche mit dem Fahrweg; und das Anzeigen der Verdichtungskarte mit dem Fahrweg auf einem Bildschirm in einer Kabine der zweiten Arbeitsmaschine.
Figurenliste
Die vorstehend genannten Aspekte der vorliegenden Offenbarung und die Art und Weise, diese zu erreichen, werden offensichtlicher und die Offenbarung selbst wird unter Bezugnahme auf die folgende Beschreibung der Ausführungsformen der Offenbarung in Verbindung mit den beigefügten Zeichnungen besser verstanden werden, wobei:

1 eine Seitenansicht einer Arbeitsmaschine, wie etwa eines Planierfahrzeugs, ist;
2 ein Teilsteuersystem einer Arbeitsmaschine ist;
3 eine schematische Darstellung eines Datenerfassungssystems auf einer Arbeitsmaschine ist;
4 ein Ablaufdiagramm eines Verfahrens zum Verarbeiten von aufeinanderfolgenden Bildern unter Verwendung einer Stereobildkamera auf einer Arbeitsmaschine ist;
5 ein Ablaufdiagramm einer Ausführungsform eines Verfahrens zum Durchführen eines Vergleichs ist, der an einer kombinierten und gerasterten Oberfläche durchgeführt wird;
6 ein Ablaufdiagramm einer Ausführungsform eines Verfahrens zum Vergleichen einer Oberfläche unter Verwendung eines Umgebungsabtastsystems ist; und
7 ein Ablaufdiagramm einer weiteren Ausführungsform eines Verfahrens zum Vergleichen einer Oberfläche ist.

Entsprechende Bezugszeichen werden verwendet, um entsprechende Teile in den verschiedenen Ansichten anzuzeigen.
AUSFÜHRLICHE BESCHREIBUNG
Zum Zweck der Förderung des Verständnisses der Prinzipien der vorliegenden Offenbarung wird jetzt auf die hierin beschriebenen und in den Zeichnungen dargestellten Ausführungsformen Bezug genommen und eine spezifische Sprache wird zur Beschreibung derselben verwendet. Es versteht sich jedoch, dass dadurch keine Beschränkung des Umfangs der vorliegenden Offenbarung beabsichtigt ist, und dass solche Abänderungen und weiteren Modifikationen in den veranschaulichten Vorrichtungen und Verfahren und solche weiteren Anwendungen der Prinzipien der vorliegenden Offenbarung, wie sie darin veranschaulicht sind, berücksichtigt werden, wie sie üblicherweise von Fachleuten auf dem Gebiet verstanden würden, auf die sich die vorliegende Offenbarung bezieht.
Unter Bezugnahme auf 1 wird eine Arbeitsmaschine 100 gezeigt. In einer Ausführungsform kann die Arbeitsmaschine 100 ein Planierfahrzeug sein. Diese Offenbarung ist jedoch nicht auf eine derartige Maschine beschränkt. Vielmehr können die Erkenntnisse dieser Offenbarung für jede Arbeitsmaschine anwendbar sein, einschließlich, jedoch nicht beschränkt auf einen Bagger, Traktor, Muldenkipper usw. Ferner kann die Arbeitsmaschine eine beliebige landwirtschaftliche, Bau-, Forst-, Industrie-, Automatik-, Halbautomatik-, manuelle oder eine andere Art von Maschine oder Fahrzeug sein.
Die Arbeitsmaschine 100 in 1 beinhaltet ein Fahrgestell 102 oder einen Rahmen, der mit einem vorderen Radsatz 114 und einem hinteren Radsatz 116 gekoppelt ist. Obwohl die Maschine 100 in dieser veranschaulichten Ausführungsform Räder beinhaltet, können andere Maschinentypen Schienen oder andere bekannte Bodeneingriffsmechanismen beinhalten. Mit dem Fahrgestell 102 kann auch eine Kabine 104 gekoppelt sein, die einen hinteren Abschnitt 106 und einen vorderen Abschnitt 108 aufweist. Die Kabine 104 kann auch einen Innenbereich definieren, in dem ein Benutzer oder Bediener die Arbeitsmaschine 100 mit mehreren Steuerungen 110 steuern kann.
In einem Aspekt der vorliegenden Offenbarung können die mehreren Steuerungen durch den Benutzer oder Bediener gehandhabt werden, um den Ort eines Arbeitsgeräts 112, wie etwa einer Klinge oder eines Streichblechs, zu steuern. Weitere Arbeitsgeräte können eine Klinge, ein Messer oder andere Schneidwerkzeuge, Eimer usw. beinhalten. Die mehreren Steuerungen 110 können Schalter, Hebel, Druckknöpfe, Joysticks, ein Lenkrad, Drehschalter oder einen beliebigen anderen bekannten Steuermechanismus beinhalten. In der veranschaulichten Ausführungsform von 1 kann das Arbeitsgerät 112 relativ zu der Arbeitsmaschine durch mehrere Stellglieder 122, die zwischen dem Arbeitsgerät 112 und dem Fahrgestell 102 gekoppelt sind, versetzbar sein. Diese Offenbarung ist jedoch nicht auf eine derartige Ausführungsform beschränkt. Diese Offenbarung ist gleichermaßen auf jede Art von Arbeitsgerät anwendbar, das Teil einer Arbeitsmaschine sein kann und eine Steuerung durch den Benutzer erfordert.
Unter Bezugnahme nun auf 2 wird eine Ausführungsform eines Steuersystems 200 für eine Arbeitsmaschine oder ein Fahrzeug gezeigt. Das System 200 kann eine Arbeitsmaschine 202 beinhalten, die einen Rahmen oder ein Fahrgestell aufweist, der von einem vorderen Paar von Bodeneingriffsmechanismen 206 und einem hinteren Paar von Bodeneingriffsmechanismen 208 getragen wird. Die Bodeneingriffsmechanismen können Räder, Schienen oder eine beliebige andere bekannte Art eines Bodeneingriffsmechanismus beinhalten.
Eine Steuerung 204, wie etwa eine Fahrzeugsteuerung, kann die Arbeitsmaschine 202 und deren Betrieb funktionell steuern. Die Steuerung 204 kann mehrere Eingänge und Ausgänge zum Empfangen und Übertragen von Daten und Informationen beinhalten. Wie gezeigt, kann die Steuerung 204 drahtlos über ein drahtloses Kommunikationsnetzwerk 238 kommunizieren, wie etwa über WLan. Die Steuerung 204 kann auch über drahtgebundene Kommunikationsleitungen (nicht gezeigt) kommunizieren. Zusätzlich kann die Steuerung 204 eine Speichereinheit beinhalten, die in der Lage ist, einen oder mehrere Algorithmen, Programme, einen Satz von Anweisungen usw. zu speichern, um einen Steuerprozess auszuführen. Ein Prozessor der Steuerung 204 kann den Steuerprozess zum Ausführen einer gewünschten Funktion durchführen.
Die Arbeitsmaschine 202 oder das Fahrzeug kann eine Kabine oder eine Bedienerstation (nicht gezeigt) mit Bedienersteuerungen 210 zum Steuern der Maschine beinhalten. Die Bedienersteuerungen 210 können, wie gezeigt, mit der Steuerung 204 kommunizieren. Der Bediener möchte möglicherweise ein Arbeitsgerät 212 bedienen und steuern. Das Arbeitsgerät 212 kann ein Eimer, eine Klinge, ein Eimer, eine Sprühvorrichtung, ein Messer oder eine beliebige andere Art von Arbeitsgerät sein. Eine Arbeitsgerätsteuerung 214 kann optional zum Steuern des Arbeitsgeräts 212 vorgesehen sein. Die Arbeitsgerätsteuerung 214 kann mit den Bedienersteuerungen 210 und zumindest in einigen Fällen mit der Hauptsteuerung 204 in Verbindung stehen.
Die Arbeitsmaschine 202 kann auch ein Energiesystem 216 beinhalten, das in der Lage ist, Energie zu erzeugen, um die Maschine in einer gewünschten Richtung anzutreiben. Das Energiesystem 216 kann einen Motor, ein Getriebe oder eine beliebige andere Art einer Energiesystemkomponente beinhalten. Das Energiesystem 216 kann ferner mit der Steuerung 204 kommunizieren. Alternativ kann das Energiesystem 216 eine eigene Steuerung, wie etwa ein Motorsteuermodul, ein Getriebesteuermodul usw., beinhalten. In jedem Fall kann das Energiesystem 216 mit der Steuerung 204 über eine Kommunikationsverbindung, wie etwa einen Controller-Area-Network-(„CAN“-)Bus, kommunizieren. Weitere Kommunikationsverbindungen sind ebenfalls möglich.
Die Steuerung 204 kann elektrisch mit mehreren Sensoren gekoppelt sein. In 2 steht die Steuerung 204 beispielsweise in Verbindung mit einem globalen Positionierungssensor 218, der zur Navigation der Arbeitsmaschine verwendet werden kann. Eine Trägheitsnavigationssystem 220 oder ein IMU kann auch in elektrischer Kommunikation mit der Steuerung 204 stehen. Das IMU 220 kann eine Kombination aus Beschleunigungsmessern und Gyroskopen verwenden, um Trägheitsdaten der Maschine oder des Fahrzeugs zu bestimmen. Weitere Sensoren können Geschwindigkeitssensoren beinhalten, wie etwa in 2 gezeigt. Ein erster Drehzahlsensor 222 und ein zweiter Drehzahlsensor 224 können die Drehzahl des vorderen Paars von Bodeneingriffsmechanismen 206 erfassen. Ein dritter Drehzahlsensor 226 und ein vierter Drehzahlsensor 228 können die Drehzahl des hinteren Paars von Bodeneingriffsmechanismen 206 erfassen. Jeder Drehzahlsensor kann elektrisch mit der Steuerung 204 gekoppelt sein, um die Geschwindigkeit jedes Bodeneingriffsmechanismus zu kommunizieren. Es können auch weitere Drehzahlsensoren vorgesehen sein, wie etwa zum Erfassen der Fahrzeuggeschwindigkeit. Die Ausführungsform von 2 kann zusätzliche Sensoren beinhalten, die über das hinausgehen, was gezeigt ist, und somit soll 2 den Umfang dieser Offenbarung nicht beschränken.
Die veranschaulichte Ausführungsform von 2 stellt eine Arbeitsmaschine, ein Fahrzeug oder einen Roboter dar, die zum Durchführen einer Umgebungsabtastung der Infrastruktur, wie etwa einer Straße, einer Brücke, einem Gebäude, einem Kabel usw., in der Lage sind. Herkömmliches Abtasten von Infrastrukturschäden oder -verschleiß wurde mittels Antennentopographieabtastung durchgeführt. Dieses Abtasten erfordert erhebliche Energieressourcen und ist nicht in der Lage, die Qualität der Infrastruktur zu überprüfen, insbesondere, wenn kleine Risse oder das Abnutzen von Drähten oder Kabeln auftreten. Mit anderen Worten besteht ein größerer Bedarf an einer Maschine oder einem Roboter, der in der Lage ist, ein langsameres kontinuierliches Abtastverfahren durchzuführen, um Verschleiß oder Defekte besser zu erfassen, die sich in der Infrastruktur entwickeln. Eine Arbeitsmaschine, ein Fahrzeug oder ein Roboter mit einem oder mehreren Bodeneingriffsmechanismen kann sich selbst tragen, wenn er sich entlang einer Oberfläche bewegt, was gegenüber herkömmlichen Antennentopographie-Kartierungsverfahren vorteilhaft ist.
Um die Beschränkungen der Antennentopographie zu überwinden, kann die Arbeitsmaschine 202 von 2 einen oder mehrere Trägheitssensoren (z. B. IMUs) beinhalten, die sowohl die zum Erkennen der Oberflächenqualität als auch zum Bereitstellen der visuellen Bilder von Defekten in der Oberfläche oder Infrastruktur in der Lage sind. Die Bilder können von einer oder mehreren Kameras aufgenommen werden, die mit der Arbeitsmaschine gekoppelt sind. In 2 ist eine erste Kamera 230 in Richtung der Vorderseite der Maschine zwischen dem Paar vorderer Bodeneingriffsmechanismen 206 angeordnet. Eine zweite Kamera 232 ist in der Nähe der Mitte der Maschine 202 positioniert und eine dritte Kamera 234 ist in Richtung der Rückseite der Maschine zwischen dem Paar hinterer Bodeneingriffsmechanismen 208 positioniert. Obwohl in der Ausführungsform von 2 drei Kameras dargestellt sind, ist es möglich, dass in weiteren Ausführungsformen nur eine einzelne Kamera verwendet wird. Ferner kann eine beliebige Anzahl an Kameras verwendet und mit der Arbeitsmaschine gekoppelt werden, um eine Infrastruktur abzutasten. Wie ebenfalls gezeigt, können die Lichter 236 auch in der Nähe der Kameras gekoppelt sein, um Licht auf die abgetastete Oberfläche zu projizieren, um die Qualität der aufgenommenen Bilder zu verbessern. Jede Art von Licht kann verwendet werden, und während drei Lichter in 2 gezeigt sind, kann eine beliebige Anzahl von an der Maschine angekoppelten Lichtern vorhanden sein.
Wenn die Kamera oder die Kameras an ihrem Platz sind, kann jede so ausgerichtet sein, dass sie senkrecht zu der Infrastrukturoberfläche ist. Wenn Bilder von der/den Kamera(s) aufgenommen werden, können Oberflächenrauheitsmessungen, die von den Trägheitssensoren vorgenommen werden, die sich an der Maschine befinden, mit den Bildern, die im Laufe der Zeit aufgenommen werden, verknüpft werden. Dies wird nachfolgend detaillierter beschrieben.
Unter Bezugnahme auf 3 wird ein Beispiel eines Datenerfassungssystems gezeigt. Hier werden nicht alle in 2 identifizierten Merkmale gezeigt. Stattdessen kann das Datenerfassungssystem 300 Sensoren beinhalten, wie etwa mindestens ein Trägheitsnavigationssystem (IMU) 302, eine Kamera 304, einen GPS-Empfänger 314 und Rad- oder Bodeneingriffsmechanismus-Sensoren 316. Jeder dieser Sensoren kann mit einer Steuerung zum Ausführen einer oder mehrerer Funktionen kommunizieren. Das Datenerfassungssystem kann ferner ein Telematik-Gateway 308, wie etwa das von John Deere Electronic Solutions eingeführte modulare Telematik-Gateway 4G (MTG 4G LTE), beinhalten. Das MTG 4G LTE ist eine mobile Kommunikations- und Verarbeitungsplattform, die sich für fortschrittliche Telematik-Anwendungen, wie etwa Maschinenzustandsüberwachung, fortschrittliche Logistik, Maschinensteuerung, Over-the-Air-Programmierung und Ferndiagnose, eignet.
Wie zuvor beschrieben, kann das IMU 302 Winkelgeschwindigkeiten und Beschleunigungen vorsehen und der GPS-Empfänger 314 kann einen Standort oder eine Position der Maschine, einschließlich ihrer aktuellen Breite, Länge, Höhe und ihres Kurses, vorsehen. Basierend auf den Winkelgeschwindigkeiten und Beschleunigungen von dem IMU 302 und der Breite, Länge, Höhe und Richtung von dem GPS-Empfänger 314 ist eine Steuerung (z. B. Steuerung 204) in der Lage, eine Lokalisierungs- und Navigationsroutine 306 durchzuführen. In einigen Fällen ist der GPS-Empfänger ein optionales Merkmal und die Lokalisierung und Navigation können ohne den Empfänger durchgeführt werden. Das IMU 302 kann beispielsweise verwendet werden, um den Standort, die Ausrichtung und eine statistische Sicherheit zu bestimmen, da diese Messungen genau sind. In einer weiteren Ausführungsform kann das System 300 zusätzliche Informationen zur Navigation oder Lokalisierung, einschließlich GPS, Odometrie und visueller Odometrie, beinhalten. Eine visuelle Odometrieberechnung 320 kann beispielsweise von der Steuerung als Teil des Systems 300 durchgeführt werden. Die optionalen Komponenten können einen Teil der Lokalisierungs- und Navigationsroutine 306 von 3 bilden, die die Sicherheit der Navigationsdaten im Vergleich zu dem allein durch das IMU 302 bestimmten Vertrauen weiter erhöhen kann.
Das IMU 302 kann auch eine Messung der Oberflächenrauheit 318, wie in 3 gezeigt, durchführen. Das IMU 302 kann die Spitzenbeschleunigung, die Durchschnittsbeschleunigung, die Standardabweichung der Beschleunigung, die spektrale Leistungsdichte (PSD, Power Spectral Density) der Beschleunigung und dergleichen erfassen, die verwendet werden können, um zu bestimmen, wann eine Infrastrukturoberfläche repariert werden muss. Darüber hinaus kann diese Information ferner von der Steuerung verwendet werden, um die von der Kamera 304 aufgenommenen Bilder zu vergleichen, um zu verifizieren, ob die Bilder gültig sind. Die Höhe der Kamera von der Oberfläche kann, basierend darauf, wie sie mit der Maschine oder dem Roboter gekoppelt ist, entweder bestimmt werden oder bekannt sein. In jedem Fall kann die Kamera 304 Bilder aufnehmen, die dann durch die Steuerung mit den von dem IMU und anderen Sensoren erfassten Messdaten verknüpft werden. Die Bilder und Daten können ferner drahtlos durch das Telematik-Gateway oder eine andere Steuerung zu einer Datenbank 310 übertragen werden, die Felddaten speichert. Die Datenbank 310 kann sich auf der Maschine oder in anderen Fällen an einem entfernten Standort befinden.
Das Steuersystem 300 von 3 verwendet das IMU 302 und die Kamera 304, um ein Umgebungsabtastverfahren durchzuführen. In einigen Fällen kann ein vordefinierter Pfad festgelegt werden, dem die Maschine folgen soll. In einigen Fällen ist die Maschine ein autonomer Roboter, der so gesteuert wird, dass er Teile der Infrastruktur, wie etwa eine Straße oder Brücke, überwacht oder abtastet. Sensoren, einschließlich des IMU 302, werden verwendet, um den Pfad in einigen Fällen zu bestimmen. Ein Steuermodul kann verwendet werden, um die Umgebung zu überwachen und zu steuern, wie die Maschine der Infrastruktur folgen oder entlang dieser fahren wird.
Auf einem nicht vordefinierten Pfad beinhaltet das System 300 Sensoren und andere Informationen zur selbstständigen Navigation, wenn die Maschine einem GPS-Pfad nicht folgt (d. h. GPS-Koordinaten, um das Fahrzeug auf einer Fahrbahn zu halten). Das System beinhaltet ferner das IMU und weitere Sensoren zum Lokalisieren der Maschine und zum Koordinieren oder Verknüpfen der Position mit Bildern, die von der Kamera 304 aufgenommen wurden. Wenn also zwei oder mehr Kameras 304 vorhanden sind, kann es notwendig sein, den Abstand zwischen Kameras, die Höhe oder den Abstand der Kameras von der darunter liegenden Oberfläche, wie häufig die Abtastungen oder Bilder gemacht werden (d. h. die Trennung zwischen Bildern), wie viel Überlappung zwischen aufeinanderfolgenden Bildern besteht und wann die Bilder aufgenommen werden, zu bestimmen oder zu kennen.
Ein Vermessungsplan 312 kann ferner als Teil des Systems 300 vorgesehen sein. Der Vermessungsplan 312 kann einen befohlenen Pfad oder einen vordefinierten Pfad an das Telematik-Gateway 308 oder die Steuerung übermitteln, um die Bewegung der Maschine zu steuern. Dies erreicht mindestens einen Teil einer Fahrzeugsteuerung 322, wie in 3 gezeigt. Die Maschine kann manuell von einem Maschinenbediener gesteuert werden oder, wie hierin beschrieben, unter Verwendung der Navigationsdaten gesteuert werden.
In 4 ist eine Ausführungsform eines Steuerverfahrens zum Extrahieren von Punktwolkendaten aus den in der Felddaten-Datenbank 310 gesammelten und gespeicherten Felddaten veranschaulicht. Dieses Steuerverfahren kann an der Arbeitsmaschine durchgeführt werden oder alternativ von der Maschine ausgeführt werden. In jedem Fall kann die Felddaten-Datenbank mehrere Bilder beinhalten, die während des Abtastverfahrens aufgenommen und in der Datenbank 310 gespeichert werden. In 4 können erste Bilddaten 404 und zweite Bilddaten 406 miteinander verglichen werden. Alle Bilddaten können Informationen, wie etwa eine Position des Roboters oder der Maschine zum Zeitpunkt der Aufnahme des Bildes, die Geschwindigkeit des Roboters oder der Maschine zu diesem Zeitpunkt, die Ausrichtung des Roboters oder der Maschine, eine statistische Sicherheit der in den Bilddaten enthaltenen Informationen, die von dem IMU 302 oder der Lokalisierungs- und Navigationseinheit 306 bestimmt werden und das tatsächliche aufgenommene Bild, beinhalten.
Bei diesem Verfahren werden aufeinanderfolgende Bilder miteinander verglichen, und somit werden in 4 die Bilddaten X mit den Bilddaten X+1 verglichen. Der Steuerprozess kann einen oder mehrere Blöcke oder Schritte beinhalten, die von einer Steuerung oder weiteren Steuermitteln zum Extrahieren von Punktwolkendaten ausgeführt werden. Es wird die Position und Ausrichtung des Roboters oder der Arbeitsmaschine relativ zu dem Zeitpunkt, an dem ein Bild zu beiden Zeitpunkten aufgenommen wird, verwendet, um die Bilder zusammenzubringen oder zu verbinden, um eine Punktwolke zu erhalten. Um dies zu tun, und in einem ersten Block, kann die Steuerung oder können Steuermittel zuerst bestimmen, ob die statistische Sicherheit in den zwei Datenbildem hoch ist. Dies kann das Vergleichen der statistischen Sicherheit beider Datensätze mit einem Schwellenwert der statistischen Sicherheit beinhalten. Wenn die statistische Sicherheit niedrig ist und den Schwellenwert nicht erfüllt, kann der Steuerprozess mit Block 426 fortfahren, wobei bestimmt wird, dass die Daten ungültig oder beschädigt sind.
In einem Beispiel dieses Verfahrens kann die Felddaten-Datenbank 402 oder der Bildverarbeitungsalgorithmus, die zum Ausführen des Steuerverfahrens verwendet werden können, die Fähigkeit aufweisen, kleinere Korrekturen an Bilddaten durchzuführen oder in einigen Fällen Bilddaten abzulehnen, wenn Informationen, wie etwa die Position, die Ausrichtung und die Geschwindigkeit, unbekannt sind. Wenn beispielsweise der Roboter oder die Maschine auf eine Fahrbahnunebenheit trifft, kann dies die Bilddaten derart beeinflussen, dass die statistische Sicherheit niedrig ist. In einem weiteren Beispiel verfolgt eine Steuerung (z. B. die Steuerung 204) die Roboterposition und deren Ausrichtung und ein Sicherheitsfilter kann verwendet werden, um eine statistische Sicherheit in der Position und der Ausrichtung vorzusehen. In einigen Fällen, insbesondere wenn ein Teil des Steuerprozesses, wie etwa der Block 408, an dem Roboter oder der Maschine durchgeführt wird und die statistische Sicherheit für ein gegebenes Bild niedrig ist, kann die Maschine oder der Roboter das Bild sichern und erneut aufnehmen.
Wenn die statistische Sicherheit den Schwellenwert in Block 408 erfüllt, fährt der Steuerprozess mit Block 410 fort, in dem eine Grundlinienausrichtung und eine relative Ausrichtung der Maschine oder des Roboters berechnet werden. Diese Berechnungen werden dann verglichen, und in Block 412 wird bestimmt, ob die Bilder ausreichend ausgerichtet sind. Mit anderen Worten wird in diesem Block eine Bestimmung durchgeführt, ob die Bilder nahe genug beieinander liegen, d. h., ob es eine Überlappung zwischen Bildern gibt, um diese mit den anderen Daten zu verknüpfen. Wenn dies nicht zutrifft, fährt der Steuerprozess aufgrund eines ungültigen Paars von Bildern mit Block 426 fort. Wenn dies nicht zutrifft, kann der Steuerprozess mit Block 414 fortfahren, in dem eine Bestimmung vorgenommen wird, ob eine akzeptable Grundlinie eingerichtet ist. Wenn die Grundlinie in Block 414 akzeptabel ist, kann der Steuerprozess mit Block 416 fortfahren, in dem eine Disparitätskarte erzeugt wird. Wenn dies nicht zutrifft, dann fährt der Prozess, wie oben beschrieben, mit Block 426 fort.
Für einen Stereosichtsteuerprozess, wie etwa den in 4 dargestellten, nehmen die eine oder mehreren Kameras 304 die Bilder auf, um eine Überlappung zu erzeugen. Die Bilder können in Block 416 überlagert werden, und der Abstand kann verwendet werden, um eine Tiefe jedes Pixels zu bestimmen. Die Steuerung oder ein Server (d. h. Steuermittel) können die Bilder sortieren. Wenn sich etwas in der Nähe der Kamera befindet, kann dies durch einen kleineren Abstand erfasst werden, während etwas, das weiter von der Kamera entfernt ist, eine andere Tiefe des Pixels erfassen kann. Sobald die Bilder X und X+1 überlagert sind, kann der Prozessor der Steuerung oder Servers die Disparitätskarte in jedem Fall in Block 416 erzeugen. Die Disparitätskarte in Block 416 kann verwendet werden, um in Block 418 Tiefeninformationen vorzusehen und Punktwolkendaten zu erzeugen. In Block 420 kann eine Ausreißerfilterung verwendet werden, um Daten ohne Qualität zu entfernen. Die Daten mit der besseren Qualität können mit Solldaten oder den vorherigen Bilddaten verglichen werden, um mögliche Defekte in der Infrastruktur zu erfassen.
Die Oberflächenrasterung kann in Block 422 gemäß bekannten Verfahren durchgeführt werden, und gemessene Oberflächendaten können mit konzipierten oder nominalen Oberflächendaten verglichen werden. Diese Daten können in Block 424 in einer gemessenen Oberflächendatenbank gespeichert werden. Mit den neuen Punktwolkendaten, die basierend auf neuen Bilddaten erzeugt werden, können die Punktwolkendaten in Block 422 auf ein Oberflächenraster projiziert werden. Auf diese Weise können Abstände zwischen den neuen Punktwolkendaten und den nominalen Rasterdaten verglichen werden. Die Abstände zwischen den beiden Rastern, d. h. die XYZ-Koordinaten der gemessenen Punktwolkendaten im Vergleich zu den XYZ-Koordinaten der nominalen Oberflächen, werden verwendet, um mögliche Defekte zu erfassen.
Unter Bezugnahme auf 5 ist ein weiteres Steuerverfahren dargestellt. Hier verwendet das Steuerverfahren 500 die Daten, die in der gemessenen Oberflächendatenbank 424 von 4 gesammelt wurden, und führt einen Vergleich auf kombinierten und gerasterten Oberflächen durch. Dieses Verfahren kann beispielsweise auf einer Fahrbahnoberfläche oder einer anderen gleichmäßig durchquerten Oberfläche gut durchgeführt werden. Zu Beginn erhalten ein Prozessor oder Server oder andere Steuermittel Informationen von der gemessenen Oberflächendatenbank in einem ersten Block oder Schritt 502. Die Information kann gerasterte und kombinierte Oberflächendaten von einer ersten Vermessung, X, in Block 504 und von einer zweiten Vermessung, Y, in Block 506 beinhalten. Die Oberflächenänderung zwischen den zwei Oberflächendatensätzen wird in Block 508 durchgeführt. Für jeden Rasterpunkt im Raum werden die Oberflächen verglichen, um eine Höhenänderung oder eine Differenz zwischen den beiden Vermessungsdurchläufen zu bestimmen. In einigen Fällen kann einer der zwei Vermessungsdurchläufe Referenzdaten sein, mit denen die anderen Vermessungsdaten verglichen werden.
Der Vergleichsblock oder -schritt durchläuft einen oder mehrere logische Tests, um zu bestimmen, ob sich die Oberflächen ausreichend unterscheiden, sodass eine Korrekturmaßnahme durchgeführt werden muss. Ein Satz logischer Tests integriert das Volumen zwischen den Oberflächen. Dies ist in den Blöcken 510, 512 und 514 gezeigt. Diese logischen Tests können für Fälle verwendet werden, in denen erwartet wird, dass sich die gesamte Oberfläche im Raum als eine Einheit bewegt, wenn sie sich abnutzt. Dies kann beispielsweise der Fall sein, wenn eine gleichmäßig befahrene Oberfläche verdichtet wird oder wenn eine Planiermaschine oder eine Raupenkette eine Oberfläche abgestuft und eine gewünschte Materialtiefe entfernt hat. In der dargestellten Ausführungsform von 5 wird in Block 510 ein Nahbereichsdifferentialvolumentest durchgeführt, in Block 512 ein Mittelbereichsdifferentialvolumentest durchgeführt, und in Block 514 ein Weitbereichsdifferentialvolumentest durchgeführt. Jeder dieser Tests kann unabhängig voneinander ausgeführt werden oder sich gegenseitig ausschließen. Alternativ kann jeder dieser Tests zusammen ausgeführt werden. Die Differenz zwischen den Tests kann die Oberflächengröße sein, die von der Maschine abgetastet wurde, und die Datenmenge, die in der Datenbank für eine gegebene Vermessung gesammelt und gespeichert wurden.
Ein zweiter Test oder Testsatz ist in den Blöcken 516, 518 und 520 gezeigt. In diesen Blöcken werden logische Tests ausgeführt, um die Änderung der Form der abgetasteten Oberfläche zu vergleichen. Dies kann nützlich sein, wenn man Schlaglöcher, Risse aufgrund von Wurzeln oder Betonausdehnung, Reifenspuren in unbefestigten Straßen oder andere ähnliche Fälle betrachtet. Hier wird der Defekt oder die Änderung der Form in einem kleineren Bereich der Straße oder der vermessenen Oberfläche gebildet, anders als bei der Änderung der gesamten Oberfläche, die oben beschrieben wurde. Ähnlich zu den vorherigen logischen Tests, bei denen eine Änderung des Volumens erfasst wurde, kann die Änderung der Form der logischen Tests der Blöcke 516, 518 und 520 über große Bereiche und Abstände oder kleine Bereiche und Abstände durchgeführt werden.
In jedem der Blöcke 510-520 kann ein Schwellenwert für jeden gegebenen logischen Test vordefiniert sein. Der in Block 510 gespeicherte Schwellenwert kann sich beispielsweise von dem in Block 512 gespeicherten Schwellenwert basierend auf der Größe des Bereichs oder dem Abstand der erhobenen Daten unterscheiden. Dasselbe kann für die anderen Blöcke 514, 516, 518 und 520 gelten. In jedem Fall können die in Block 508 gesammelten Oberflächenänderungsdaten mit der entsprechenden Differenzvolumenschwelle in Block 510, 512 oder 514 oder mit der entsprechenden Formänderungsschwelle in Block 516, 518 oder 520 verglichen werden. Wenn die Oberflächenänderung den in Block 522 bestimmten Schwellenwert nicht überschreitet, fährt der Steuerprozess 500 mit Block 528 fort und es wird nichts unternommen.
Wenn andererseits die Oberflächenänderung den Schwellenwert in Block 522 überschreitet, wird eine Bestimmung vorgenommen, ob die Differenz zwischen der Oberflächenänderung und dem Schwellenwert klein oder groß ist. Dies kann eine separate Bestimmung sein, um zu erfassen, ob die Differenz zwischen der Oberflächenänderung und dem Schwellenwert größer als ein Schwellensatz ist (z. B. 5 % oder 10 %). Wenn die Differenz kleiner als der Schwellensatz ist, kann in Block 526 eine Warnung oder eine Kennzeichnung, basierend darauf, welcher logische Test fehlgeschlagen ist, ausgelöst werden. Falls die Differenz größer als der Schwellensatz ist, dann kann die Datenbank diesen Abschnitt der Oberfläche zur Überprüfung in Block 524 markieren. Die relevanten Bilder von den zwei Oberflächen können auch wie erforderlich markiert werden. Infolgedessen ermöglicht dies, dass das System robust genug für unerwartete Oberflächenmerkmale ist, indem es die menschliche Analyse entsprechend anfordert. Wenn beispielsweise ein überfahrenes Tier oder Blätter auf der Fahrbahnoberfläche vorhanden sind, kann das System in der Lage sein, eine Änderung der Form der Oberfläche zu erfassen, kann jedoch nicht bestimmen, woraus die Änderung der Form resultiert, und daher kann eine menschliche Analyse für eine weitere Überprüfung angefordert werden.
Ähnlich wie in 5 kann ein autonomer Roboter oder eine autonome Maschine verwendet werden, um eine Oberfläche auf einer Straße, einem Gebäude oder einer Brücke zu verfolgen oder abzutasten. Wenn ein autonomer Roboter verwendet wird, kann der Roboter zusätzliche Merkmale beinhalten, um zu ermöglichen, dass er entlang einer Oberfläche eines Gebäudes oder einer Brücke hochklettert, um diese nach Rissen oder anderen Defekten abzutasten. In einigen Fällen kann der Roboter dazu verwendet werden, um Kabel oder Schaltungen abzutasten, um abgenutzte Drähte an dem Kabel zu erfassen. In anderen Fällen kann der Roboter einen fehlenden Niet oder abblätternde Farbe erfassen. Der Roboter kann eine Datenbank beinhalten, die nominale Daten oder Referenzdaten für eine gegebene Oberfläche speichert. Eine normale Oberfläche kann beispielsweise als solche in der Datenbank gespeichert und klassifiziert werden. Die Referenzdaten können spezifisch für den Oberflächentyp sein, die abgetastet wird (d. h. eine Fahrbahnoberfläche, eine Brücke usw.). Der Roboter kann eine Datenbank oder einen Prozessor mit einem Algorithmus beinhalten, der in der Lage ist, Daten von einer Abtastung und von Kameras aufgenommene Bilder zu verwenden, um zu bestimmen, ob ein Defekt vorliegt. Der Oberflächenänderungsalgorithmus von 5 kann beispielsweise von dem autonomen Roboter durchgeführt werden, wenn er sich entlang der Oberfläche bewegt, die er abtastet.
Der Roboter kann auch in der Lage sein, die Infrastruktur zu verfolgen, Defekte zu kategorisieren, während er den Abtastvorgang durchführt, und ferner den Schweregrad der Defekte zu erfassen oder zu kategorisieren. Mit diesen Daten wird eine Datenbank mit Informationen erstellt, um zu verfolgen, wo Wartungs- oder Reparaturarbeiten erforderlich sind und wie dringend das Durchführen der Wartungs- oder Reparaturarbeiten erforderlich ist. Wenn dies dringend nötig und der Defekt schwerwiegend ist, kann der Roboter eine drahtlose Kommunikationsfähigkeit beinhalten, um eine Warnung an einen entfernten Ort (z. B. einen Bediener einer Kreisplaniermaschine) der Infrastruktur und eine Art der erforderlichen Reparatur zu übertragen. Dies kann beispielsweise der Fall sein, wenn auf einer Kreisstraße ein schwerer Riss oder ein Schlagloch erkannt wird, und der Roboter den Bediener der Kreisplaniermaschine sofort über den Defekt informiert. Darüber hinaus kann, wenn die Referenzfahrbahnoberfläche in dem Roboter gespeichert ist, eine dreidimensionale (3D)-Entwurfsdatei für eine autonome oder Neigungssteuerplaniermaschine erstellt werden, sodass der Bediener die Abtastung durchführen kann, den Defekt in der Oberfläche erfassen kann und sofort weiß, wie man den Defekt korrigiert oder repariert. In einigen Fällen kann der Roboter eine Arbeitsmaschine sein, die in der Lage ist, die Reparatur durchzuführen.
Ein weiteres Beispiel hierfür ist in 6 gezeigt, wo ein Steuerprozess gezeigt wird, das in der Lage ist, Reparaturen automatisch auszulösen, wenn Oberflächen ausreichend unterschiedlich sind (anstatt einfach eine Kennzeichnung für eine Reparatur zu setzen). In diesem Steuerprozess 600 können mehrere Blöcke oder Schritte ausgeführt werden. Mehrere dieser Blöcke oder Schritte können denen des Steuerprozesses 500 von 5 ähnlich sein. Beispielsweise beinhaltet ein erster Block 602 das Erhalten von Oberflächeninformationen von einer gemessenen Oberflächendatenbank 602, die einen ersten Datensatz von der Vermessung X in Block 604 und einen Datenreferenzsatz für eine Entwurfsoberfläche in Block 606 beinhaltet. Der Datenreferenzsatz kann für eine ideale Oberflächenqualität sein.
Ein Oberflächenkombinierungsverfahren kann in Block 608 ausgeführt und in der Datenbank gespeichert werden. Ferner können eine Steuerung, ein Server, eine Datenbank oder andere Steuermittel die Daten der Vermessung X nach dem Kombinierungsverfahren vergleichen, um einen Oberflächenänderungsvergleich in Block 610 auszuführen. Der Oberflächenänderungsvergleich 610 kann ähnlich dem Oberflächenänderungsblock 508 in 5 sein. Für jeden Rasterpunkt im Raum werden die Oberflächendaten der Vermessung X verglichen, um eine Höhenänderung oder eine Differenz zwischen den Daten der Vermessung X und den Referenzdaten zu bestimmen.
Der Vergleichsblock oder -schritt durchläuft einen oder mehrere logische Tests, um zu bestimmen, ob sich die Oberflächen ausreichend unterscheiden, sodass eine Korrekturmaßnahme durchgeführt werden muss. Ein Satz logischer Tests integriert das Volumen zwischen den Oberflächen. Dies ist in den Blöcken 612, 614 und 616 gezeigt. Diese logischen Tests können für Fälle verwendet werden, in denen erwartet wird, dass sich die gesamte Oberfläche im Raum als eine Einheit bewegt, wenn sie sich abnutzt. Dies kann beispielsweise der Fall sein, wenn eine gleichmäßig befahrene Oberfläche verdichtet wird oder wenn eine Planiermaschine oder eine Raupenkette eine Oberfläche abgestuft und eine gewünschte Materialtiefe entfernt hat. In der dargestellten Ausführungsform von 6 wird in Block 612 ein Nahbereichsdifferentialvolumentest durchgeführt, in Block 614 ein Mittelbereichsdifferentialvolumentest durchgeführt, und in Block 616 ein Weitbereichsdifferentialvolumentest durchgeführt. Jeder dieser Tests kann unabhängig voneinander ausgeführt werden oder sich gegenseitig ausschließen. Alternativ kann jeder dieser Tests zusammen ausgeführt werden. Die Differenz zwischen den Tests kann die Größe der Untergruppe der Oberfläche sein, die von der Maschine abgetastet wurde, und die Datenmenge, die in der Datenbank für eine gegebene Vermessung gesammelt und gespeichert wurden. Wenn beispielsweise 30 Meter einer Fahrbahnoberfläche abgetastet werden und bestimmt wird, dass die mittleren 27 Meter der Oberfläche im Vergleich zu den Endpunkten 5 mm tiefer liegen, kann dies eine Reparatur gemäß der zuvor beschriebenen Ausführungsform auslösen. Wenn andererseits eine Strecke von 1,6 km einer Fahrbahnoberfläche abgetastet wird und bestimmt wird, dass die mittleren 1,2 km 5 mm tiefer liegen, löst dies möglicherweise keine Reparatur aus. Die Schwellenwerte können entsprechend eingestellt werden.
Ein zweiter Test oder Testsatz ist in den Blöcken 618, 620 und 622 gezeigt. In diesen Blöcken werden logische Tests ausgeführt, um die Änderung der Form der abgetasteten Oberfläche zu vergleichen. Dies kann nützlich sein, wenn man Schlaglöcher, Risse aufgrund von Wurzeln oder Betonausdehnung, Reifenspuren in unbefestigten Straßen oder andere ähnliche Fälle betrachtet. Hier wird der Defekt oder die Änderung der Form in einem kleineren Bereich der Straße oder der vermessenen Oberfläche gebildet, anders als bei der Änderung der gesamten Oberfläche, die oben beschrieben wurde. Ähnlich zu den vorherigen logischen Tests, bei denen eine Änderung des Volumens erfasst wurde, kann die Änderung der Form der logischen Tests der Blöcke 618, 620 und 622 über große Bereiche und Abstände oder kleine Bereiche und Abstände durchgeführt werden.
In jedem der Blöcke 612-622 kann ein Schwellenwert für jeden gegebenen logischen Test vordefiniert sein. Der in Block 612 gespeicherte Schwellenwert kann sich beispielsweise von dem in Block 614 gespeicherten Schwellenwert basierend auf der Größe des Bereichs oder dem Abstand der erhobenen Daten unterscheiden. Dasselbe kann für die anderen Blöcke 616, 618, 620 und 622 gelten. In jedem Fall können die in Block 610 gesammelten Oberflächenänderungsdaten mit der entsprechenden Differenzvolumenschwelle in Block 612, 614 oder 616 oder mit der entsprechenden Formänderungsschwelle in Block 618, 620 oder 622 verglichen werden. Wenn die Oberflächenänderung den in Block 624 bestimmten Schwellenwert nicht überschreitet, fährt der Steuerprozess 600 mit Block 634 fort und es wird nichts unternommen.
Wenn andererseits die Oberflächenänderung den Schwellenwert in Block 624 überschreitet, können Reparaturen automatisch ausgelöst werden. In dieser Ausführungsform löst eine Differenz in den Oberflächen ein automatisiertes Unterprogramm in Block 626 aus. Dieses Unterprogramm oder dieser Algorithmus isoliert den Bereich, in dem die Oberflächen unterschiedlich sind, verschiebt eine gewünschte Oberfläche vertikal im Raum, um einen neuen nominalen Ort der reparierten Oberfläche zu erzeugen, und glättet dann die Kanten der nominell reparierten Oberfläche, um sie mit der existierenden Oberfläche zu verbinden, die in Block 628 nicht repariert werden muss. Mit anderen Worten kann dieses Unterprogramm oder dieser Algorithmus erkennen, welcher Abschnitt einer Oberfläche akzeptabel ist und welcher Abschnitt repariert werden muss, und kann dann mit Korrekturmaßnahmen beginnen.
Die korrigierte Entwurfsdatei kann an eine Arbeitsmaschine gesendet werden, z. B. ein Planierfahrzeug oder ein Raupenfahrzeug, und der Bediener wird zum Fahren der Strecke so markiert, dass die Maschine in der Lage ist, die Oberfläche gemäß der korrigierten Entwurfsdatei zu reparieren. Jede Reparatur, die von der Arbeitsmaschine ausgeführt wird, erfolgt über den Block 632 als Teil einer Korrekturmaßnahme, die durchgeführt wird, um die Oberfläche zu reparieren. Alternativ kann die Korrekturmaßnahme in Block 632 darin bestehen, ein Ereignis in einem Arbeitsplan auszulösen, um die Oberfläche zu reparieren, anstatt die Reparaturanweisungen direkt an die Arbeitsmaschine und den Bediener zu senden. In einer weiteren Ausführungsform kann dem Bediener mit einer Neigungssteuermaschine eine Stelle der Fahrbahn oder der Oberfläche, die repariert werden muss, gesendet werden, wobei der Bediener die Maschine dann zur Fahrbahn fährt und die Maschine automatisch die Reparatur durchführt.
Eine weitere Variation eines Steuerverfahrens für einen Oberflächenvergleich ist in 7 gezeigt. In dieser Ausführungsform beinhaltet der Steuerprozess 700 mehrere Blöcke oder Schritte, die ausgeführt werden können, um beispielsweise eine konsistente Verdichtung über einer Baustelle aufrechtzuerhalten. Einige der Blöcke oder Schritte sind ähnlich denen der 5 und 6. Die Vermessungsdaten können beispielsweise von einer gemessenen Oberflächendatenbank in Block 702 erhalten werden, die einen ersten Vermessungsdurchlauf X in Block 704 und einen zweiten Vermessungsdurchlauf Y in Block 706 beinhalten. Die zwei Vermessungsdurchläufe können getrennte, aber aufeinanderfolgend durchgeführte Vermessungsdurchläufe gewesen sein. In den Blöcken 704 und 706 werden Rasteroberflächendaten für beide Abtastdurchläufe erhalten. In einem Beispiel können die Oberflächendaten der Vermessung Y Referenzdaten sein. Diese Daten können auch gerasterte und kombinierte Oberflächendaten eines Referenzvermessungsdurchlaufs oder eines tatsächlichen Vermessungsdurchlaufs sein.
In Block 710 können die Daten der gerasterten Oberfläche von der Vermessung X in Block 710 einem Oberflächenkombinierungsverfahren unterzogen werden, und gerasterte und kombinierte Oberflächendaten von der Vermessung X können in der gemessenen Oberflächendatenbank gespeichert werden. Das Oberflächenkombinierungsverfahren in Block 710 kann ein beliebiges bekanntes oder herkömmliches Verfahren sein. Alternativ kann das Verfahren für eine gegebene Oberfläche oder Infrastruktur, die abgetastet wird, angepasst werden. Das Kombinieren von Bildern oder Fotos wird beispielsweise als das Verfahren zum Kombinieren von zwei oder mehreren Bildern mit überlappenden Sichtfeldern bezeichnet, um ein segmentiertes Bild zu erzeugen. Es können Software und Kombinierungsalgorithmen verwendet werden, um das Kombinierungsverfahren durchzuführen. Dies kann beispielsweise ein Algorithmus sein, der durch eine Steuerung, einen Server, eine Datenbanksteuerung oder ein beliebiges weiteres Steuermittel vordefiniert und ausgeführt wird. In einigen Fällen kann der Algorithmus eine Mittelung von Rasterpunkten ausführen, die sich zwischen zwei Stereodatensätzen überlappen. Alternativ kann dieser Referenzpunkte identifizieren und die Daten überlappen, um anzupassen, wie aufeinanderfolgende Stereodatensätze mit einer kontinuierlichen Oberfläche übereinstimmen.
In Block 708 kann ein Oberflächenänderungsverfahren ausgeführt werden, um eine Differenz zwischen den zwei Datensätzen oder alternativ die Oberflächendaten der Vermessung X im Vergleich zu den Referenzdaten zu bestimmen. In jedem Fall werden die gemessenen Oberflächen miteinander verglichen und durch einen separaten Algorithmus in Block 712 zur Berechnungsverdichtung geleitet. Die Verdichtung kann als die Differenz zwischen der konzipierten Oberfläche definiert werden, die ursprünglich gebaut oder konstruiert wurde, und der aktuellen Oberfläche nach der Verwendung (d. h. nachdem sie von Schwermaschinen, Maschinen und anderen Verkehrsmitteln befahren wurde). Ein Server oder andere Steuermittel können für den Einsatzort in Block 714 eine Verdichtungskarte berechnen und die Karte an eine oder mehrere Maschinen oder Wartungsstationen übertragen, die sich vor Ort befinden. In Block 716 kann die Verdichtungskarte beispielsweise an ein ADT-Telematik-Gateway gesendet werden. In Kombination mit der Verdichtungskarte können GPS-Navigationsdaten in Block 720 zusammen mit einem gewünschten Arbeitsweg 722 übertragen werden. Die Karte mit den Navigationsdaten kann einen geänderten Pfad beinhalten, um eine optimale Verdichtung durch den Einsatzort in Block 718 zu erreichen. Dieser veränderte Pfad kann erreichen, dass Bereiche mit geringerer Verdichtung verdichtet werden oder zu durchquerende Bereiche mit höherer Verdichtung vermieden werden.
Wenn die Maschine in Block 724 zum Ausführen der Verdichtung automatisch angetrieben wird (z. B. ohne oder mit wenig Eingabe von einem Bediener), kann die Maschine in Block 730 automatisch den gewünschten Pfad durchqueren und das gewünschte Verdichtungsverfahren durchführen. Alternativ kann, wenn die Maschine manuell angetrieben wird, eine Verdichtungskarte und ein gewünschter Fahrweg dem Bediener in Block 726 auf einer Anzeige angezeigt werden, die sich in der Kabine der Maschine (z. B. einem ADT-Nutzfahrzeug) befindet. Der gewünschte Pfad kann in Block 728 über die Verdichtungskarte überlagert werden.
Das vorgenannte Verdichtungsverfahren kann mit einem Nutzfahrzeug oder einer anderen Baumaschine durchgeführt werden, die in der Lage ist, ein Verdichtungsverfahren auszuführen. Weitere Schwerlast- oder Industriemaschinen können auch dazu verwendet werden, um das gleiche Verfahren durchzuführen. Eine oder mehrere Kameras können mit diesen Maschinen gekoppelt sein, um ein oder mehrere der in der vorliegenden Offenbarung beschriebenen Verfahren durchzuführen.
In einer weiteren Ausführungsform kann es möglich sein, eine Drohne oder eine andere Vorrichtung mit einer daran gekoppelten Kamera zu verwenden, um die Bilder zu Zwecken der Verdichtungsmessung und der Befehls- oder Oberflächenerneuerung aufzunehmen. Die Bilder können elektrisch an einen Server oder eine Datenbank übermittelt werden, und wenn ein Defekt erkannt wird, kann eine Arbeitsmaschine, wie etwa ein Planierfahrzeug, verwendet werden, um den Defekt zu reparieren.
Während beispielhafte Ausführungsformen, die die Prinzipien der vorliegenden Offenbarung beinhalten, hierin beschrieben wurden, ist die vorliegende Offenbarung nicht auf solche Ausführungsformen beschränkt. Stattdessen soll diese Anmeldung jegliche Variationen, Verwendungen oder Anpassungen der Offenbarung unter Verwendung ihrer allgemeinen Prinzipien abdecken. Ferner soll diese Anmeldung solche Abweichungen von der vorliegenden Offenbarung abdecken, wie sie in der bekannten oder üblichen Praxis auf dem Fachgebiet, auf das sich diese Offenbarung bezieht, enthalten sind.

Claims

Eine Arbeitsmaschine zum Verfahren einer Oberfläche, um Defekte darin zu erfassen, umfassend: ein Fahrgestell; mehrere Bodeneingriffsmechanismen, die mit dem Fahrgestell gekoppelt sind und dieses tragen; eine Steuerung zum Steuern der Maschine; mehrere Sensoren, die mit dem Fahrgestell gekoppelt sind, wobei die mehreren Sensoren mindestens ein Trägheitsnavigationssystem (IMU, Inertial Measurement Unit) und einen mit der Steuerung elektrisch gekoppelten globalen Positionierungssensor umfassen; eine Kamera, die mit dem Fahrgestell gekoppelt ist und in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist, wobei die Kamera konfiguriert ist, um mehrere Bilder der Oberfläche aufzunehmen, wenn sich die Maschine entlang derselben bewegt; eine Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist, wobei die Datenbank konfiguriert ist, um Bilder und Daten zu empfangen, die jedem Bild zugeordnet sind; wobei, wenn sich die Arbeitsmaschine entlang der Oberfläche bewegt, die Kamera ein erstes Bild und ein zweites Bild aufnimmt und die Steuerung einen ersten Datensatz empfängt, wenn das erste Bild aufgenommen wird, und einen zweiten Datensatz empfängt, wenn das zweite Bild aufgenommen wird, wobei jeder Datensatz einen Standort, eine Geschwindigkeit und eine Ausrichtung der Maschine beinhaltet; wobei ferner das erste Bild, der erste Datensatz, das zweite Bild und der zweite Datensatz an die Datenbank zum Erfassen eines Defekts in der Oberfläche übertragen werden.
Die Arbeitsmaschine nach Anspruch 1, die ferner mindestens eine zweite Kamera umfasst, die mit dem Fahrgestell gekoppelt und im Wesentlichen senkrecht zur Oberfläche ausgerichtet ist, wobei die Kameras um einen vordefinierten Abstand voneinander beabstandet sind.
Die Arbeitsmaschine nach Anspruch 1, wobei die Steuerung das erste Bild mit dem ersten Datensatz und der Oberflächenrauheit an der ersten Stelle funktionell verknüpft und das zweite Bild mit dem zweiten Datensatz und der Oberflächenrauheit an der zweiten Stelle funktionell verknüpft.
Die Arbeitsmaschine nach Anspruch 1, ferner umfassend mindestens eine Lichtquelle, die mit dem Fahrgestell gekoppelt ist und so ausgerichtet ist, um Licht auf die Oberfläche zu projizieren, wo die Kamera die mehreren Bilder aufnimmt.
Ein Verfahren zum Erfassen eines Defekts in einer Oberfläche einer Infrastruktur, umfassend: das Bereitstellen einer Arbeitsmaschine mit einer Steuerung, mehreren Sensoren, einschließlich eines Trägheitsnavigationssystems (IMU) und eines globalen Positionierungssensors (GPS) und einer Kamera, die in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist; das Bereitstellen einer Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist; das Aufnehmen eines ersten Bildes der Oberfläche mit der Kamera an einer ersten Stelle; das Sammeln von Informationen mit dem IMU und dem GPS an der ersten Stelle, wobei die Information mindestens eine Position, Geschwindigkeit und Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des ersten Bildes mit den an der ersten Stelle gesammelten Informationen; und das Speichern des ersten Bildes und der Informationen, die an der ersten Stelle in der Datenbank gesammelt wurden.
Das Verfahren nach Anspruch 5, ferner umfassend das Messen einer Oberflächenrauheit der Oberfläche mit dem IMU an der ersten Stelle.
Das Verfahren nach Anspruch 5, ferner umfassend das Bestimmen einer statistischen Sicherheit mit dem IMU, die dem ersten Bild zugeordnet ist und das Übermitteln der statistischen Sicherheit an die Steuerung.
Das Verfahren nach Anspruch 7, ferner umfassend das Ablehnen des Bildes, wenn die statistische Sicherheit unterhalb eines Schwellenwerts liegt.
Das Verfahren nach Anspruch 8, ferner umfassend das Steuern der Arbeitsmaschine, um zu der ersten Stelle zurückzukehren und ein weiteres Bild aufzunehmen, um das erste Bild nach dem Ablehnungsschritt zu ersetzen.
Das Verfahren nach Anspruch 5, ferner umfassend: das Steuern der Arbeitsmaschine zu einer zweiten Stelle der Oberfläche; das Aufnehmen eines zweiten Bildes der Oberfläche mit der Kamera an der zweiten Stelle; das Sammeln von Informationen mit dem IMU und dem GPS an der zweiten Stelle, wobei die Information mindestens eine Position, Geschwindigkeit und eine Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des zweiten Bildes mit den an der zweiten Stelle gesammelten Informationen; und das Speichern des zweiten Bildes und der Informationen, die an der zweiten Stelle in der Datenbank gesammelt wurden.
Das Verfahren nach Anspruch 6, ferner umfassend: das Bestimmen, ob eine Überlappung zwischen dem ersten Bild und dem zweiten Bild vorliegt; das Ablehnen des zweiten Bildes, wenn keine Überlappung vorliegt; und das Erzeugen einer Disparitätskarte zwischen dem ersten Bild und dem zweiten Bild, wenn eine Überlappung vorliegt.
Das Verfahren nach Anspruch 11, ferner umfassend: das Erstellen von Punktwolkendaten basierend auf der Disparitätskarte; das Projizieren der Punktwolkendaten auf ein Oberflächenraster, das aus Basisliniendaten gebildet ist, die einer mangelfreien Oberfläche zugeordnet sind; das Bestimmen einer Differenz zwischen den Punktwolkendaten und dem Oberflächenraster; und das Erfassen eines Defekts in der Oberfläche basierend auf der Differenz.
Das Verfahren nach Anspruch 10, ferner umfassend: das Bestimmen von gerasterten und kombinierten Oberflächendaten von der ersten Stelle und der zweiten Stelle der Oberfläche; das Bestimmen, ob zwischen jedem Rasterpunkt, der in den zwei Datensätzen gebildet wird, eine Oberflächenänderung auftritt; und das Durchführen einer Korrekturmaßnahme, wenn die Oberflächenänderung auf einen Defekt der Oberfläche hinweist.
Das Verfahren nach Anspruch 13, wobei das Bestimmen, ob ein Oberflächenänderungsschritt vorliegt, das Durchführen eines logischen Tests basierend auf einer Differenzvolumen- oder Formänderung umfasst.
Das Verfahren nach Anspruch 14, ferner umfassend: das Vergleichen der Oberflächenänderung mit einem Schwellenwert; und das Übertragen einer Warnung, die einen Defekt in der Oberfläche anzeigt, der repariert werden muss.
Das Verfahren nach Anspruch 15, wobei der Vergleichsschritt umfasst: das Vergleichen der Oberflächenänderung mit einem ersten Schwellenwert, um zu erfassen, ob eine Differenz dazwischen Korrekturmaßnahmen erfordert; und das Vergleichen der Differenz mit einem zweiten Schwellenwert, um die Art von Korrekturmaßnahmen zu bestimmen, die erforderlich sind, um den Defekt zu reparieren.
Das Verfahren nach Anspruch 13, wobei der Ausführungsschritt umfasst: das Erstellen einer korrigierten Entwurfsdatei zum Reparieren eines Defekts in der Oberfläche; und das Übertragen der korrigierten Entwurfsdatei an eine dritte Partei zum Planen der Reparatur oder zum Durchführen der Reparatur beim Empfang.
Ein Verfahren zum Erstellen eines Fahrweges einer Arbeitsmaschine zum Aufrechterhalten der Verdichtung einer Arbeitsoberfläche, umfassend: das Bereitstellen einer Arbeitsmaschine mit einer Steuerung, mehreren Sensoren, einschließlich eines Trägheitsnavigationssystems (IMU) und eines globalen Positionierungssensors (GPS) und einer Kamera, die in einer Richtung im Wesentlichen senkrecht zu der Oberfläche ausgerichtet ist; das Bereitstellen einer Datenbank, die in elektrischer Kommunikation mit der Steuerung angeordnet ist; das Aufnehmen eines ersten Bildes der Oberfläche mit der Kamera an einer ersten Stelle und eines zweiten Bildes der Oberfläche an einer zweiten Stelle; das Sammeln eines ersten Datensatzes mit dem IMU und dem GPS an der ersten Stelle und eines zweiten Datensatzes an der zweiten Stelle, wobei jeder Datensatz mindestens eine Position, eine Geschwindigkeit und eine Ausrichtung der Arbeitsmaschine umfasst; das Verknüpfen des ersten Bildes mit den an der ersten Stelle gesammelten Informationen und des zweiten Bildes mit den an der zweiten Stelle gesammelten Informationen; das Speichern des ersten Bildes und der Informationen, die an der ersten Stelle in der Datenbank gesammelt wurden; das Erzeugen einer Disparitätskarte aus dem ersten Bild, dem zweiten Bild und den Informationen, die an der ersten und zweiten Stelle gesammelt wurden; das Erstellen von ersten gerasterten und kombinierten Oberflächendaten basierend auf dem ersten Bild und dem ersten Datensatz und von zweiten gerasterten und kombinierten Oberflächendaten basierend auf dem zweiten Bild und dem zweiten Datensatz; das Berechnen der Verdichtung zwischen der Oberfläche an der ersten Stelle und der Oberfläche an der zweiten Stelle; und das Erstellen eines Fahrweges, um eine gewünschte Verdichtung der Oberfläche an und zwischen der ersten und der zweiten Stelle zu erreichen.
Das Verfahren nach Anspruch 18, ferner umfassend das Erstellen einer Verdichtungskarte basierend auf einem Ergebnis des Berechnungsverdichtungsschrittes.
Das Verfahren nach Anspruch 19, ferner umfassend: das Erzeugen einer Überlagerung der Oberfläche mit dem Fahrweg; das Kommunizieren der Verdichtungskarte an eine zweite Arbeitsmaschine, die in der Lage ist, die gewünschte Verdichtung durchzuführen; und das Anzeigen der Verdichtungskarte mit dem Fahrweg auf einem Bildschirm in einer Kabine der zweiten Arbeitsmaschine.