DE202022105719U1

DE202022105719U1 - Semantische Anpassung von Zustellpunken eines unbemannten Luftfahrzeugs

Info

Publication number: DE202022105719U1
Application number: DE202022105719.2U
Authority: DE
Original assignee: Wing Aviation LLC
Current assignee: Wing Aviation LLC
Priority date: 2022-03-31
Filing date: 2022-10-11
Publication date: 2023-03-16
Anticipated expiration: 2032-10-12
Also published as: AU2022252796A1; US20230312091A1; AU2022252796B2

Abstract

Unbemanntes Luftfahrzeug (UAV), umfassend:
einen Sensor; und
ein Steuersystem, das konfiguriert ist zum:
Erfassen, durch den Sensor an dem UAV, eines Bilds eines Zustellorts;
Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert;
Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort, wobei das Abstand-zu-Hindernis-Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort anzeigt;
Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone; und
Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.

Description

HINTERGRUND
Ein unbemanntes Fahrzeug, das auch als ein autonomes Fahrzeug bezeichnet werden kann, ist ein Fahrzeug, dass sich ohne einen physisch anwesenden menschlichen Bediener fortbewegen kann. Ein unbemanntes Fahrzeug kann in einem Fernsteuerungsmodus, in einem autonomen Modus oder in einem teilweise autonomen Modus betrieben werden.
Wenn ein unbemanntes Fahrzeug in einem Fernsteuerungsmodus betrieben wird, kann ein an einem entfernten Standort befindlicher Pilot oder Fahrer das unbemannte Fahrzeug über Befehle steuern, die über eine drahtlose Verbindung an das unbemannte Fahrzeug gesendet werden. Wenn das unbemannte Fahrzeug im autonomen Modus betrieben wird, bewegt sich das unbemannte Fahrzeug normalerweise basierend auf vorprogrammierten Navigationswegpunkten, dynamischen Automatisierungssystemen oder einer Kombination davon. Ferner können einige unbemannte Fahrzeuge sowohl in einem Fernsteuerungsmodus als auch in einem autonomen Modus betrieben werden, und in einigen Fällen sogar gleichzeitig. So kann ein entfernter Pilot oder Fahrer die Navigation beispielsweise einem autonomen System überlassen wollen, während er manuell eine andere Aufgabe durchführt, wie z. B. die Bedienung eines mechanischen Systems zum Aufnehmen von Objekten, als ein Beispiel.
Es existieren verschiedene Typen von unbemannten Fahrzeugen für verschiedene Umgebungen. So gibt es beispielsweise unbemannte Fahrzeuge für einen Betrieb in der Luft, am Boden, unter Wasser und im Weltraum. Beispiele beinhalten u. a. Quadcopter und Heckstarter-UAVs. Es gibt auch unbemannte Fahrzeuge für einen Hybridbetrieb, bei denen ein Betrieb in mehreren Umgebungen möglich ist. Zu Beispielen für hybride unbemannte Fahrzeuge gehören ein Amphibienfahrzeug, das sowohl an Land als auch auf dem Wasser betrieben werden kann, oder ein Wasserflugzeug, das sowohl auf Wasser als auch an Land landen kann. Weitere Beispiele sind ebenfalls möglich.
KURZDARSTELLUNG
Die hierin offenbarten Beispiele beinhalten Verfahren zum leichten Versetzen von Zustellpunkten, um Kollisionen zu vermeiden, die durch eine Zustellung auf und/oder in unmittelbarer Nähe zu verschiedenen Hindernissen verursacht werden. Ein UAV kann ein Segmentierungsbild basierend auf einem Bild eines Zustellorts derart ermitteln, dass das Segmentierungsbild mit Hindernissen assoziierte Pixelbereiche definiert. Basierend auf dem Segmentierungsbild kann das UAV ein Abstand-zu-Hindernis-Bild ermitteln, wobei jedes Pixel in dem Abstand-zu-Hindernis-Bild einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich darstellt, der mit einer semantischen Hindernisklassifizierung assoziiert ist. Das UAV kann basierend auf dem Abstand-zu-Hindernis-Bild einen leicht versetzten Zustellpunkt auswählen und sich über dem leicht versetzten Zustellpunkt positionieren, um eine Traglast zuzustellen.
In einem ersten Aspekt beinhaltet ein Verfahren ein Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts. Das Verfahren beinhaltet ferner ein Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds. Das Segmentierungsbild segmentiert den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen. Das Verfahren beinhaltet ferner ein Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort. Das Abstand-zu-Hindernis-Bild umfasst eine Vielzahl von Pixeln, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort angibt. Zusätzlich beinhaltet das Verfahren ein Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone. Das Verfahren beinhaltet außerdem ein Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.
In einem zweiten Aspekt umfasst ein unbemanntes Luftfahrzeug (UAV) einen Sensor und ein Steuersystem. Das Steuersystem ist so konfiguriert, dass es, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), ein Bild eines Zustellorts erfasst. Das Steuersystem ist ferner konfiguriert, basierend auf dem Bild des Zustellorts ein Segmentierungsbild zu ermitteln. Das Segmentierungsbild segmentiert den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen. Das Steuersystem ist ferner konfiguriert, basierend auf dem Segmentierungsbild ein Abstand-zu-Hindernis-Bild einer Zustellzone an dem Zustellort zu ermitteln. Das Abstand-zu-Hindernis-Bild umfasst eine Vielzahl von Pixeln, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort angibt. Zusätzlich ist das Steuersystem konfiguriert, basierend auf dem Abstand-zu-Hindernis-Bild einen Zustellpunkt in der Zustellzone auszuwählen. Das Steuersystem ist außerdem konfiguriert, das UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast zu positionieren.
In einem dritten Aspekt umfasst ein nichtflüchtiges computerlesbares Medium Programmanweisungen, die durch einen oder mehrere Prozessoren ausführbar sind, um Operationen durchzuführen, die das Erfassen, durch einen Sensor eines unbemannten Luftfahrzeugs (UAV), eines Bilds eines Zustellorts umfassen. Die Operationen beinhalten ferner ein Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds. Das Segmentierungsbild segmentiert den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen. Die Operationen beinhaltet außerdem ein Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort. Das Abstand-zu-Hindernis-Bild umfasst eine Vielzahl von Pixeln, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort angibt. Zusätzlich beinhalten die Operationen ein Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone. Die Operationen beinhalten außerdem ein Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.
Diese sowie andere Aspekte, Vorteile und Alternativen werden für Durchschnittsfachleute auf dem Gebiet durch Lesen der folgenden ausführlichen Beschreibung unter Bezugnahme, soweit angemessen, auf die begleitenden Zeichnungen ersichtlich. Es versteht sich ferner, dass die Beschreibung, die in diesem Kurzdarstellungsabschnitt und an anderer Stelle in diesem Dokument bereitgestellt wird, den beanspruchten Gegenstand beispielhaft und nicht einschränkend veranschaulichen soll.
Figurenliste

1A ist eine vereinfachte Darstellung eines unbemannten Luftfahrzeugs, in Übereinstimmung mit beispielhaften Ausführungsformen, gemäß beispielhaften Ausführungsformen.
1B ist eine vereinfachte Darstellung eines unbemannten Luftfahrzeugs, in Übereinstimmung mit beispielhaften Ausführungsformen, gemäß beispielhaften Ausführungsformen.
1C ist eine vereinfachte Darstellung eines unbemannten Luftfahrzeugs, in Übereinstimmung mit beispielhaften Ausführungsformen, gemäß beispielhaften Ausführungsformen.
1D ist eine vereinfachte Darstellung eines unbemannten Luftfahrzeugs, in Übereinstimmung mit beispielhaften Ausführungsformen, gemäß beispielhaften Ausführungsformen.
1E ist eine vereinfachte Darstellung eines unbemannten Luftfahrzeugs, in Übereinstimmung mit beispielhaften Ausführungsformen, gemäß beispielhaften Ausführungsformen.
2 ist ein vereinfachtes Blockdiagramm, das Komponenten eines unbemannten Luftfahrzeugs gemäß beispielhaften Ausführungsformen darstellt.
3 ist ein vereinfachtes Blockdiagramm, das ein UAV-System gemäß beispielhaften Ausführungsformen darstellt.
4 ist ein Diagramm, das Trainings- und Inferenzphasen eines Maschinenlernmodells gemäß beispielhaften Ausführungsformen darstellt.
5 stellt ein UAV, das ein Bild eines Zustellorts erfasst, gemäß beispielhaften Ausführungsformen dar.
6 stellt ein Bild und ein Segmentierungsbild gemäß beispielhaften Ausführungsformen dar.
7 stellt einen anfänglichen Zustellpunkt und einen leicht versetzten Zustellpunkt gemäß beispielhaften Ausführungsformen dar.
8 stellt eine nicht versetzte Bewegungsbahn und eine leicht versetzte Bewegungsbahn gemäß beispielhaften Ausführungsformen dar.
9 stellt eine absinkende Bewegungsbahn und eine aufsteigende Bewegungsbahn gemäß beispielhaften Ausführungsformen dar.
10 stellt Bilder von Hindernis-Pixelbereichen gemäß beispielhaften Ausführungsformen dar.
11 ist ein Blockdiagramm eines Verfahrens gemäß beispielhaften Ausführungsformen.
12 ist ein Blockdiagramm eines Verfahrens gemäß beispielhaften Ausführungsformen.
13 ist ein Blockdiagramm eines Verfahrens gemäß beispielhaften Ausführungsformen.
14 ist ein Diagramm von Versuchsergebnissen gemäß beispielhaften Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Es werden hierin exemplarische Verfahren und Systeme beschrieben. Es versteht sich, dass das Wort „exemplarisch“ hierin im Sinne von „als Beispiel, Instanz oder Veranschaulichung dienend“ verwendet wird. Jede Implementierung oder jedes Merkmal, die/das hierin als „exemplarisch“ oder „veranschaulichend“ beschrieben wird, ist nicht zwangsläufig als bevorzugt oder vorteilhaft gegenüber anderen Implementierungen oder Merkmalen zu verstehen. In den Figuren identifizieren gleiche Symbole normalerweise gleiche Komponenten, sofern der Kontext nichts anderes angibt. Die hierin beschriebenen beispielhaften Implementierungen sind nicht als Einschränkung zu verstehen. Es versteht sich, dass die Aspekte der vorliegenden Offenbarung, wie sie im Allgemeinen hierin beschrieben und in den Figuren dargestellt sind, in vielen verschiedenen unterschiedlichen Konfigurationen angeordnet, ausgetauscht, kombiniert, getrennt und konzipiert werden können, die alle hierin vorgesehen sind.
I. Überblick
Eine beispielhafte Verwendung von UAVs kann darin bestehen, verschiedene Artikel an Kunden auszuliefern. Beispielsweise kann ein UAV damit beauftragt werden, eine Traglast, die einen Artikel enthält, von einem Standort abzuholen und die Traglast an den Wohnort eines Kunden, ein gewerbliches Gebäude oder einen anderen Standort auszuliefern. Ein potenzielles Problem, das bei diesem Zustellvorgang auftreten könnte, ist die Ermittlung eines geeigneten Zustellpunkts zur sicheren Zustellung der Traglast. Ein anfänglicher Zustellpunkt, der sich neben dem Haus des Kunden oder eines gewerblichen Gebäudes oder anderweitig an einer Adresse befindet, könnte, neben anderen Beispielen, durch verschiedene Hindernisse, wie z. B. Bäume, Straßen, Gehwege, Autos, versperrt sein. Die Zustellung der Traglast in der Nähe eines dieser Hindernisse könnte das UAV, die Traglast, den Inhalt der Traglast und/oder das Hindernis beschädigen.
Daher kann es bei der Zustellung der Traglast durch das UAV wichtig sein, sicherzustellen, dass die Traglast an einem Zustellpunkt abgesetzt wird, der Aktivitäten in der Umgebung nicht stört, z. B., dass die Traglast an einem Zustellpunkt abgesetzt wird, der vergleichsweise hindernisfrei ist. So könnte das UAV beispielsweise derart navigieren, dass es das Paket eines Kunden neben der Garageneinfahrt des Kunden absetzt, anstatt auf dem Gehweg neben dem Haus des Kunden, wenn der Gehweg des Kunden durch einen Baum versperrt ist. Als weiteres Beispiel könnte sich das Haus des Kunden in einem Wald befinden, und das UAV könnte festlegen, die Zustellung aufgrund aller dieser Hindernisse in der Umgebung abzubrechen.
Es werden hierin Verfahren zum Beurteilen und/oder Anpassen von Zustellpunkten offenbart, um Kollisionen zu vermeiden, die durch eine Zustellung auf und/oder in unmittelbarer Nähe zu verschiedenen Hindernissen verursacht werden. In einigen Beispielen kann das UAV den Versuch einer Zustellung zu einem anfänglichen Zustellpunkt unternehmen. Nach dem Navigieren zu diesem anfänglichen Zustellpunkt kann das UAV, etwa anhand eines Bilds, das unter Nutzung eines Sensors an dem UAV erfasst wird, erkennen, dass sich der anfängliche Zustellpunkt ziemlich nah an einem oder mehreren Hindernissen befindet. In Reaktion auf diese Ermittlung könnte das UAV einen leicht versetzten Zustellpunkt innerhalb einer bestimmten Entfernung von dem anfänglichen Zustellpunkt ermitteln, wobei der leicht versetzte Zustellpunkt weiter von dem nächsten Hindernis entfernt ist als der anfängliche Zustellpunkt von seinem nächsten Hindernis. Das UAV könnte so beurteilen, ob dieser leicht versetzte Zustellpunkt ein geeigneter Punkt ist, um die Traglast zuzustellen. Wenn der leicht versetzte Zustellpunkt ein geeigneter Punkt zum Zustellen der Traglast ist, könnte das UAV die Traglast an dem leicht versetzten Zustellpunkt anstelle des anfänglichen Zustellpunkts zustellen.
In einigen Beispielen kann das Ermitteln des anfänglichen Zustellpunkts ein Ermitteln eines Segmentierungsbilds basierend auf einem von dem UAV erfassten Zustellortbild beinhalten. Das Segmentierungsbild kann einen oder mehrere Pixelbereiche darstellen, die in verschiedene semantische Klassifizierungen eingeteilt sind. Beispielsweise könnte das Segmentierungsbild Bereiche des Bilds darstellen, die, neben anderen semantischen Klassifizierungen, als repräsentativ für Vegetation, ein Gebäude, eine Straße, ein Fahrzeug, einen Gehweg oder einen Rasen sind. Diese semantischen Klassifizierungen können auch als Hindernis oder kein Hindernis kategorisiert werden. Beispielsweise können Gebäude, Vegetation, Straßen und Fahrzeuge alle als Hindernisse kategorisiert werden, während Rasen und Gehwege als keine Hindernisse kategorisiert werden können.
Basierend auf dem Segmentierungsbild könnte das UAV ein Abstand-zu-Hindernis-Bild ermitteln, um das Ermitteln eines leicht versetzten Zustellpunkts zu erleichtern. Das Abstand-zu-Hindernis-Bild könnte einen oder mehrere Pixel beinhalten, und jedes Pixel könnte einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellen, die ein Hindernis an dem Zustellort angibt. Beispielsweise könnte das UAV, für einen Punkt in dem Segmentierungsbild, den Abstand von diesem Punkt in dem Segmentierungsbild zu jedem der Pixelbereiche mit einer semantischen Klassifizierung eines Hindernisses in dem Segmentierungsbild berechnen. Das UAV könnte diese Abstände vergleichen, um den kleinsten Abstand zu einem Hindernis zu ermitteln, der als der durch dieses Pixel repräsentierte Abstand eingestuft werden kann.
Ferner kann das UAV nur das Abstand-zu-Hindernis-Bild für einen Bereich innerhalb einer Zustellzone an dem Zustellort ermitteln. Beispielsweise kann die Zustellzone einen Radius von zwei Metern um den anfänglichen Zustellpunkt herum aufweisen, und das UAV kann lediglich das Abstand-zu-Hindernis-Bild für den Bereich innerhalb dieses Radius von zwei Metern ermitteln. Das Ermitteln des Abstand-zu-Hindernis-Bilds für lediglich einen Teil des Bilds kann Rechenraum und Zeit sparen, da ein Bild mehrere hundert Pixel und mehrere Bereiche, die als Hindernisse angegeben sind, aufweisen könnte. Das Berechnen des Abstands für jedes Pixel zu jedem Hindernis könnte außerdem entfallen, da es bevorzugt sein kann, dass das UAV eine Traglast niemals zu weit weg (z. B. über zwei Meter hinaus) von dem vorgesehenen Zustellpunkt zustellt.
Nach dem Ermitteln des Abstand-zu-Hindernis-Bilds für einen Bereich könnte das UAV einen Zustellpunkt in der Zustellzone auswählen. In einigen Beispielen könnte dieser ausgewählte Zustellpunkt ein Zustellpunkt in der Zustellzone sein, der den weitesten Abstand von einem Hindernis hat, z. B. ein Zustellpunkt an dem Zustellort, der mit einem Pixel assoziiert ist, das den größten Abstand von dem nächstgelegenen Hindernis aufweist. In einigen Beispielen kann die Höhe eines Hindernisses beim Auswählen eines Zustellpunkts ebenfalls berücksichtigt werden. Beispielsweise kann das UAV einen Zustellpunkt auswählen, der am weitesten von dem höchsten Hindernis entfernt ist. Ferner könnte das UAV, in einigen Beispielen, einen leicht versetzten Zustellpunkt in der Zustellzone basierend darauf auswählen, dass der leicht versetzte Zustellpunkt den kleinsten Abstand von dem anfänglichen Zustellpunkt entfernt ist und gleichzeitig ein Freiraumkriterium erfüllt. Beispielsweise können die Freiraumkriterien eine Anforderung dahingehend angeben, dass der leicht versetzte Zustellpunkt zumindest einen Schwellenabstand entfernt von dem nächstgelegenen Hindernis ist. Beim Auswählen eines Zustellpunkts können auch andere Faktoren berücksichtigt werden, einschließlich eines Priorisierens der Vermeidung von Bereichen mit einer bestimmten Klassifizierung (z. B. Straßen, wo Traglasten Unfälle verursachen oder beschädigt werden könnten).
Nach dem Auswählen des Zustellpunkts könnte sich das UAV zur Zustellung der Traglast selbstständig über dem Zustellpunkt in der Zustellzone positionieren. Wie erwähnt, könnte dieser Zustellpunkt ein leicht versetzter Zustellpunkt sein, der sich nahe dem anfänglichen Zustellpunkt befindet.
In einigen Beispielen könnte das UAV einer absinkenden Bewegungsbahn folgen, um sich von einer Positionierung über dem anfänglichen Zustellpunkt hin zu einer Positionierung über dem leicht versetzten Zustellpunkt zu positionieren. Beispielsweise könnte das UAV ein Absinken aus einer ersten Höhe über dem anfänglichen Zustellpunkt beginnen, und das UAV könnte das Absinken in einer zweiten, geringeren Höhe über dem leicht versetzten Zustellpunkt stoppen. In einigen Beispielen könnte das UAV nach dem Navigieren über den leicht versetzten Zustellpunkt vertikal weiter absinken, um die Traglast zuzustellen.
Nach Zustellung der Traglast an dem leicht versetzten Zustellpunkt könnte das UAV durch Navigieren durch eine aufsteigende Bewegungsbahn zu dem anfänglichen Zustellpunkt zurück navigieren. Und zwar könnte das UAV von einer dritten Höhe über dem leicht versetzten Zustellpunkt zu einer vierten, höheren Höhe über dem anfänglichen Zustellpunkt navigieren. Das Navigieren über den anfänglichen Zustellpunkt vor Verlassen des Zustellorts kann dem UAV ein sicheres Verlassen des Zustellorts ermöglichen. Genauer gesagt kann das UAV, nach dem Navigieren zurück über den anfänglichen Zustellort, vertikal über einen Bereich hinweg aufsteigen, der von dem UAV bereits durchquert wurde, um den Zustellort zu verlassen.
In einigen Beispielen ist die aufsteigende Bewegungsbahn, der das UAV folgt, um von über dem leicht versetzten Zustellpunkt zu über dem anfänglichen Zustellpunkt zu navigieren, eine Bewegungsbahn, die sich von der anfänglich verfolgten absinkenden Bewegungsbahn unterscheidet. Genauer gesagt könnte sich die vierte Höhe der aufsteigenden Bewegungsbahn von der ersten Höhe der absinkenden Bewegungsbahn unterscheiden, und/oder die dritte Höhe der aufsteigenden Bewegungsbahn könnte sich von der zweiten Höhe der absinkenden Bewegungsbahn unterscheiden.
Ein potenzielles Problem, das sich beim Navigieren der aufsteigenden Bewegungsbahn von über dem leicht versetzten Zustellpunkt befindlich zurück zu über dem anfänglichen Zustellpunkt befindlich ergeben könnte, besteht darin, dass das UAV auf dem Weg zurück nach oben mit einem Hindernis kollidieren könnte. Beispielsweise könnte das UAV einer absinkenden Bewegungsbahn folgen, die gerade so einen Baum vermeidet. Wenn das UAV der gleichen Bewegungsbahn folgt, um aufzusteigen, könnte das UAV möglicherweise mit dem Baum kollidieren, wenn Ungenauigkeiten oder Fremdfaktoren vorliegen (z. B. könnte das UAV nicht in der Lage sein, der genauen Bewegungsbahn exakt zu folgen, und den Baum schneiden, oder Wind könnte die Baumzweige näher an das UAV drücken). Es kann daher vorteilhaft sein, dass die aufsteigende Bewegungsbahn einen Bereich oberhalb der absinkenden Bewegungsbahn durchläuft, z. B., dass die vierte Höhe der aufsteigenden Bewegungsbahn, neben anderen Beispielen, höher ist als die erste Höhe der absinkenden Bewegungsbahn.
Ferner könnte das UAV, in einigen Beispielen, ein Halteseil beinhalten, das die Traglast auf den Boden absenkt, um eine Zustellung abzuschließen. Das Halteseil kann zumindest für einen Teil der aufsteigenden Bewegungsbahn noch teilweise ausgefahren werden. Ein Einziehen des Halteseils, während das UAV von dem Zustellort abfliegt, kann die Gesamtzeit, die das UAV benötigt, um einen Artikel zuzustellen, verringern. Ein Problem, das dadurch entstehen könnte, dass das UAV mit einem teilweise ausgefahrenen Halteseil navigiert, besteht jedoch darin, dass das Halteseil unkontrolliert schwingen könnte, was zu Kollisionen mit verschiedenen Hindernissen führen könnte. Um Hindernisse zu vermeiden und/oder ein Schwingen des Halteseils zu reduzieren, könnte das UAV daher mit einer langsameren horizontalen Geschwindigkeit durch die aufsteigende Bewegungsbahn als durch die absinkende Bewegungsbahn navigieren.
Ein weiteres Problem, das während der Zustellung der Traglast auftreten könnte, besteht darin, dass der Bereich um den Zustellpunkt herum zu viele Hindernisse aufweisen kann, um die Traglast sicher zuzustellen. Daher könnte das UAV, in einigen Beispielen, einen oder mehrere Zustellpunkte auswerten, um zu ermitteln, ob die Traglast zugestellt werden soll oder ob die Zustellung abgebrochen werden soll.
Beispielsweise könnte das UAV sowohl den anfänglichen Zustellpunkt als auch den leicht versetzten Zustellpunkt, oder einen von beiden, auswerten. In einigen Beispielen könnte das UAV, wenn die Umgebung des anfänglichen Zustellpunkts zu viele Hindernisse aufweist, die Zustellung abbrechen, anstatt einen leicht versetzten Zustellpunkt zu ermitteln. In weiteren Beispielen könnte das UAV, wenn das UAV einen leicht versetzten Zustellpunkt ermittelt, anschließend die Umgebung des leicht versetzten Zustellpunkts auswerten. Weist die Umgebung des leicht versetzten Zustellpunkts zu viele Hindernisse auf, so könnte das UAV die Zustellung abbrechen. Die Umgebung kann ein vordefinierter Bereich um den Zustellpunkt herum sein (z. B. innerhalb von zwei Metern des Zustellpunkts in allen seitlichen Richtungen). In einigen Beispielen kann der Abbruchvorgang durch ein separates Softwaremodul ausgeführt werden, das als zusätzliche vorsorgliche Überprüfung für das Softwaremodul dient, das den leicht versetzten Zustellpunkt ermittelt hat.
Um die Umgebung eines Zustellpunkts zu bewerten, um zu ermitteln, ob die Zustellung der Traglast abgebrochen werden soll, könnte das UAV ein Segmentierungsbild ermitteln oder das gleiche Segmentierungsbild verwenden, das zum Ermitteln des leicht versetzten Zustellpunkts verwendet wurde. Wie erwähnt, könnte das Segmentierungsbild auf einem Bild eines Zustellorts basieren und den Zustellort in einen oder mehrere Pixelbereiche mit entsprechenden semantischen Klassifizierungen segmentieren. Jede semantische Klassifizierung könnte mit einem Hindernis assoziiert sein oder nicht einem Hindernis assoziiert sein.
Das UAV könnte jedes Pixel innerhalb der Umgebung des Zustellpunkts auswerten und einen Prozentsatz von Pixeln in der Umgebung mit einer entsprechenden semantischen Klassifizierung ermitteln, die ein Hindernis anzeigt, und das UAV könnte ermitteln, ob dieser Prozentsatz von Pixeln über einem Schwellenprozentsatz liegt. Beispielsweise könnte sich der Zustellpunkt in einem bewaldeten Gebiet befinden, und das UAV könnte ermitteln, dass der Prozentsatz von Hindernispixeln innerhalb der Umgebung des Zustellpunkts mit einer entsprechenden semantischen Klassifizierung, die ein Hindernis anzeigt, 90 % beträgt. Der Schwellenprozentsatz zum Abbruch der Zustellung könnte 60 % betragen. Basierend auf dem ermittelten Prozentsatz von Hindernispixeln von 90 %, was mehr als 60 % sind, könnte das UAV ermitteln, dass es schwierig sein kann, die Traglast sicher zuzustellen, ohne mit einem Hindernis zu kollidieren, und die Zustellung der Traglast abbrechen. Als weiteres Beispiel könnte das UAV, wenn sich der Zustellpunkt in einem neuen Vorstadtwohngebiet mit wenigen gewachsenen Bäumen und anderen Hindernissen befindet, ermitteln, dass der Prozentsatz von Hindernispixeln in der Umgebung dieses Zustellpunkts 20 % beträgt. Basierend auf diesem ermittelten Prozentsatz von Hindernispixeln von 20 %, was weniger als 60 % sind, könnte das UAV zuverlässig ermitteln, dass die Traglast sicher zugestellt werden könnte, und den Zustellvorgang fortsetzen.
In einigen Beispielen kann der Schwellenprozentsatz basierend auf verschiedenen Faktoren angepasst werden, einschließlich beispielsweise der Abmessungen der Traglast. Wenn die Traglast beispielsweise groß ist, könnte das UAV den ermittelten Prozentsatz von Hindernispixeln mit einem niedrigeren Schwellenprozentsatz vergleichen, um weniger Hindernisse in der Umgebung des Zustellorts zuzulassen. Wenn die Traglast gering ist, könnte das UAV den ermittelten Prozentsatz von Hindernispixeln mit einem höheren Schwellenprozentsatz vergleichen, um mehr Hindernisse in der Umgebung des Zustellorts zu ermöglichen und die Wahrscheinlichkeit einer erfolgreichen Zustellung der Traglast zu erhöhen.
II. Beispielhafte unbemannte Fahrzeuge
Die Begriffe „unbemanntes Luftfahrzeug“ und „UAV“ beziehen sich hierin auf ein autonomes oder halbautonomes Fahrzeug, das in der Lage ist, einige Funktionen ohne einen physisch anwesenden menschlichen Piloten durchzuführen.
Ein UAV kann verschiedene Formen annehmen. Beispielsweise kann ein UAV, neben anderen Möglichkeiten, die Form eines Starrflügelflugzeugs, eines Gleitflugzeugs, eines Heckstarterflugzeugs, eines Düsenflugzeugs, eines Mantelpropellerflugzeugs, eines Leichter-als-Luft-Luftschiffs, wie z. B. ein Kleinluftschiff oder ein lenkbarer Ballon, eines Drehflüglers, wie z. B. ein Hubschrauber oder Multicopter, und/oder eines Ornithopters annehmen. Ferner können auch die Begriffe „Drohne“, „unbemanntes Luftfahrzeugsystem“ (UAVS) oder „unbemanntes Luftsystem“ (UAS) verwendet werden, um sich auf ein UAV zu beziehen.
1A ist eine isometrische Ansicht eines beispielhaften UAV 100. Das UAV 100 beinhaltet einen Flügel 102, Ausleger 104 und einen Rumpf 106. Die Flügel 102 können stationär sein und einen Auftrieb basierend auf der Flügelform und der Vorwärtsfluggeschwindigkeit des UAV erzeugen. Die zwei Flügel 102 können beispielsweise einen tragflächenförmigen Querschnitt aufweisen, um eine auf das UAV 100 wirkende aerodynamische Kraft zu erzeugen. In einigen Ausführungsformen kann der Flügel 102 horizontale Antriebseinheiten 108 tragen, und die Ausleger 104 können vertikale Antriebseinheiten 110 tragen. Im Betrieb kann Energie für die Antriebseinheiten von einem Batteriefach 112 des Rumpfs 106 bereitgestellt werden. In einigen Ausführungsformen beinhaltet der Rumpf 106 außerdem ein Avionikfach 114, ein zusätzliches Batteriefach (nicht dargestellt) und/oder eine Liefereinheit (nicht dargestellt, z. B. ein Windensystem) zur Handhabung der Traglast. In einigen Ausführungsformen ist der Rumpf 106 modular, und zwei oder mehr Fächer (z. B. Batteriefach 112, Avionikfach 114, andere Traglast- und Lieferfächer) sind voneinander lösbar und aneinander befestigbar (z. B. mechanisch, magnetisch oder anderweitig), um zumindest einen Teil des Rumpfs 106 zusammenhängend zu bilden.
In einigen Ausführungsformen enden die Ausleger 104 in Seitenrudern 116 zur verbesserten Giersteuerung von UAV 100. Ferner können die Flügel 102 in Flügelspitzen 117 für eine verbesserte Steuerung eines Auftriebs des UAV enden.
In der dargestellten Konfiguration beinhaltet das UAV 100 einen strukturellen Rahmen. Der strukturelle Rahmen kann als „struktureller H-Rahmen“ oder „H-Rahmen“ (nicht dargestellt) des UAV bezeichnet werden. Der H-Rahmen kann, innerhalb der Flügel 102, einen Flügelholm (nicht dargestellt) und, innerhalb der Ausleger 104, Auslegerträger (nicht dargestellt) beinhalten. In einigen Ausführungsformen können der Flügelholm und die Auslegerträger aus Kohlefaser, Hartkunststoff, Aluminium, Leichtmetalllegierungen oder anderen Materialien hergestellt sein. Der Flügelholm und die Auslegerträger können mit Klemmen verbunden sein. Der Flügelholm kann vorgebohrte Löcher für horizontale Antriebseinheiten 108 beinhalten, und die Auslegerträger können vorgebohrte Löcher für vertikale Antriebseinheiten 110 beinhalten.
In einigen Ausführungsformen kann der Rumpf 106 entfernbar an dem H-Rahmen angebracht sein (z. B. durch Klemmen an dem Flügelholm angebracht, die mit Nuten, Vorsprüngen oder anderen Merkmalen konfiguriert sind, die mit entsprechenden H-Rahmen-Merkmalen zusammenzupassen usw.). In anderen Ausführungsformen kann der Rumpf 106 in ähnlicher Weise entfernbar an den Flügeln 102 angebracht sein. Die abnehmbare Anbringung des Rumpfs 106 kann die Qualität und/oder Modularität des UAV 100 verbessern. Zum Beispiel können elektrische/mechanische Komponenten und/oder Subsysteme des Rumpfs 106 getrennt von und vor einer Anbringung an dem H-Rahmen geprüft werden. Ebenso können Leiterplatten (PCBs) 118 getrennt von und vor Anbringung an den Auslegerträgern getestet werden, wodurch defekte Teile/Unterbaugruppen vor der Fertigstellung des UAV beseitigt werden. So können Komponenten des Rumpfs 106 (z. B. Avionik, Batterieeinheit, Liefereinheiten, ein zusätzliches Batteriefach usw.) beispielsweise elektrisch geprüft werden, bevor der Rumpf 106 an dem H-Rahmen montiert wird. Ferner können auch die Motoren und die Elektronik der PCBs 118 vor der Endmontage elektrisch geprüft werden. Im Allgemeinen senkt die frühzeitige Identifizierung im Montageprozess der defekten Teile und Unterbaugruppen den Gesamtaufwand und die Lieferzeit des UAV. Des Weiteren können verschiedene Typen/Modelle des Rumpfs 106 an dem H-Rahmen angebracht werden, wodurch die Modularität des Designs verbessert wird. Diese Modularität erlaubt es, diese verschiedenen Teile des UAV 100 ohne wesentliche Überholung des Herstellungsprozesses zu nachzurüsten.
In einigen Ausführungsformen können eine Flügelschale und Auslegerschalen durch Klebeelemente (z. B. Klebeband, doppelseitiges Klebeband, Klebstoff usw.) an dem H-Rahmen angebracht werden. Somit können anstelle eines auf den H-Rahmen aufgespritzten monolithischen Körpers mehrere Schalen an dem H-Rahmen angebracht werden. In einigen Ausführungsformen führt das Vorhandensein der mehreren Schalten zu einer Reduzierung der durch den Wärmeausdehnungskoeffizienten des strukturellen Rahmens des UAV induzierten Spannungen. Dadurch kann das UAV eine bessere Maßgenauigkeit und/oder verbesserte Zuverlässigkeit aufweisen.
Darüber hinaus kann, zumindest in einigen Ausführungsformen, der gleiche H-Rahmen verwendet werden, wobei die Flügelschale und/oder Auslegerschalen eine unterschiedliche Größe und/oder Ausgestaltung aufweisen, wodurch die Modularität und Vielseitigkeit des UAV-Designs verbessert wird. Die Flügelschale und/oder die Auslegerschalen können aus vergleichsweise leichten Polymeren (z. B. geschlossenzelligem Schaumstoff) hergestellt werden, die von den härteren, aber vergleichsweise dünnen Kunststoffhäuten bedeckt sind.
Die Leistungs- und/oder Steuersignale von dem Rumpf 106 können über Kabel, die durch den Rumpf 106, die Flügel 102 und die Ausleger 104 verlaufen, zu den PCBs 118 geleitet werden. Das UAV 100 weist in der dargestellten Ausführungsform vier PCBs auf, wobei jedoch auch eine andere Anzahl von PCBs möglich ist. Beispielsweise kann das UAV 100 zwei PCBs, eine pro Ausleger, beinhalten. Die PCBs tragen elektronische Komponenten 119, die beispielsweise Leistungswandler, Steuerungen, Speicher, passive Komponenten usw. beinhalten. Im Betrieb sind die Antriebseinheiten 108 und 110 des UAV 100 elektrisch mit den PCBs verbunden.
Es sind viele Variationen des veranschaulichten UAV möglich. Zum Beispiel können UAVs mit starrem Flügel mehr oder weniger Rotoreinheiten (vertikal oder horizontal) beinhalten und/oder einen Mantelpropeller oder mehrere Mantelpropeller zum Antrieb verwenden. Ferner sind auch UAVs mit mehr Flügeln (z. B. eine „X-Flügel“-Konfiguration mit vier Flügeln) möglich. Obwohl 1 zwei Flügel 102, zwei Ausleger 104, zwei horizontale Antriebseinheiten 108 und sechs vertikale Antriebseinheiten 110 pro Ausleger 104 darstellt, versteht sich, dass andere Varianten von UAV 100 mit mehr oder weniger dieser Komponenten implementiert werden können. Zum Beispiel kann das UAV 100 vier Flügel 102, vier Ausleger 104 und mehr oder weniger Antriebseinheiten (horizontal oder vertikal) beinhalten.
1B zeigt in gleicher Weise ein weiteres Beispiel eines UAV 120 mit starrem Flügel. Das UAV 120 mit starrem Flügel beinhaltet einen Rumpf 122, zwei Flügel 124 mit einem tragflächenförmigen Querschnitt zur Bereitstellung eines Auftriebs für das UAV 120, ein Seitenleitwerk 126 (oder eine Flosse) zum Stabilisieren der Gierung des Flugzeugs (Drehung nach links oder rechts), ein Höhenleitwerk 128 (auch als Höhenruder oder Heckflügel bezeichnet) zum Stabilisieren des Nickens (Neigung nach oben oder unten), ein Fahrwerk 130 und eine Antriebseinheit 132, die einen Motor, eine Welle und einen Propeller beinhalten kann.
1C zeigt ein Beispiel eines UAV 140 mit einem Propeller in einer Druckpropellerkonfiguration. Der Begriff „Druckpropeller“ bezieht sich auf die Tatsache, dass eine Antriebseinheit 142 an der Rückseite des UAV angebracht ist und das Fahrzeug nach vorne „drückt“, im Gegensatz zu der an der Vorderseite des UAV angebrachten Antriebseinheit. Ähnlich der für 1A und 1B bereitgestellten Beschreibung stellt 1C gemeinsame Strukturen dar, die in einem Druckpropellerflugzeug verwendet werden, das einen Rumpf 144, zwei Flügel 146, Seitenleitwerke 148 und die Antriebseinheit 142 beinhaltet, die einen Motor, eine Welle und einen Propeller beinhalten kann.
1D zeigt ein Beispiel für ein Heckstarter-UAV 160. In dem dargestellten Beispiel weist das Heckstarter-UAV 160 starre Flügel 162 auf, um einen Auftrieb bereitzustellen und es dem UAV 160 zu ermöglichen, horizontal zu gleiten (z. B. entlang der x-Achse, in einer Position, die ungefähr senkrecht zu der in 1D dargestellten Position ist). Die starren Flügel 162 erlauben es dem Heckstarter-UAV 160 jedoch auch, von selbst vertikal abzuheben und zu landen.
Beispielsweise kann das Heckstarter-UAV 160, an einem Startplatz, vertikal (wie dargestellt) positioniert werden, wobei seine Flossen 164 und/oder Flügel 162 auf dem Boden aufliegen und das UAV 160 in der vertikalen Position stabilisieren. Das Heckstarter-UAV 160 kann dann durch Betreiben seiner Propeller 166 abheben, um einen Aufwärtsschub (z. B. einen Schub, der im Allgemeinen entlang der y-Achse verläuft) zu erzeugen. Sobald es sich in einer geeigneten Höhe befindet, kann das Heckstarter-UAV 160 seine Klappen 168 verwenden, um sich in eine horizontale Position auszurichten, sodass sein Rumpf 170 näher an der x-Achse als an der y-Achse ausgerichtet ist. Wenn es horizontal positioniert ist, können die Propeller 166 Vorwärtsschub bereitstellen, sodass das Heckstarter-UAV 160 in ähnlicher Weise wie ein typisches Flugzeug fliegen kann.
Es sind viele Variationen der veranschaulichten UAVs mit starrem Flügel möglich. Zum Beispiel können UAVs mit starrem Flügel mehr oder weniger Propeller aufweisen, und/oder können einen Mantelpropeller oder mehrere Mantelpropeller zum Antrieb verwenden. Ferner sind auch UAVs mit mehr Flügeln (z. B. eine „X-Flügel“-Konfiguration mit vier Flügeln), mit weniger Flügeln oder sogar mit gar keinen Flügeln möglich.
Wie zuvor erwähnt, können einige Ausführungsformen zusätzlich zu oder alternativ zu UAVs mit starrem Flügel andere Arten von UAVs beinhalten. 1E zeigt beispielsweise ein Beispiel eines Drehflüglers, der allgemein als ein Multicopter 180 bezeichnet wird. Der Multicopter 180 kann auch als ein Quadrocopter bezeichnet werden, da er vier Rotoren 182 beinhaltet. Es versteht sich, dass es sich bei den beispielhaften Ausführungsformen um einen Drehflügler mit mehr oder weniger Rotoren als der Multicopter 180 handeln kann. Beispielsweise weist ein Hubschrauber normalerweise zwei Rotoren auf. Andere Beispiele mit drei oder mehr Rotoren sind ebenfalls möglich. Der Begriff „Multicopter“ bezieht sich hierin dabei auf einen beliebigen Drehflügler mit mehr als zwei Rotoren, und der Begriff „Hubschrauber“ bezieht sich auf Drehflügler mit zwei Rotoren.
Unter detaillierterer Bezugnahme auf den Multicopter 180 sorgen die vier Rotoren 182 für den Antrieb und die Manövrierfähigkeit des Multicopters 180. Insbesondere beinhaltet jeder Rotor 182 Blätter, die an einem Motor 184 angebracht sind. Derart konfiguriert können die Rotoren 182 dem Multicopter 180 ermöglichen, vertikal zu starten und zu landen, in eine beliebige Richtung zu manövrieren und/oder zu schweben. Ferner kann die Neigung der Blätter als eine Gruppe und/oder differenziell angepasst werden und kann es dem Multicopter 180 ermöglichen, seinen Nick-, Roll- und Gierwinkel und/oder seine Höhe zu steuern.
Es versteht sich, dass Bezugnahmen hierin auf ein „unbemanntes“ Luftfahrzeug oder UAV gleichermaßen für autonome und halbautonome Luftfahrzeuge gelten können. Bei einer autonomen Implementierung ist die gesamte Funktionalität des Luftfahrzeugs automatisiert, z. B. vorprogrammiert oder über eine Echtzeitcomputerfunktionalität gesteuert, die auf Eingaben von verschiedenen Sensoren und/oder vorbestimmte Informationen reagiert. Bei einer halbautonomen Implementierung können einige Funktionen eines Luftfahrzeugs von einem menschlichen Bediener gesteuert werden, während andere Funktionen autonom ausgeführt werden. Ferner kann ein UAV, in einigen Ausführungsformen, so konfiguriert sein, dass es einem entfernten Bediener ermöglicht, Funktionen zu übernehmen, die ansonsten autonom durch das UAV gesteuert werden können. Ferner kann eine bestimmte Art von Funktion auf einer Abstraktionsebene ferngesteuert und auf einer anderen Abstraktionsebene autonom durchgeführt werden. Zum Beispiel kann ein entfernter Bediener Navigationsentscheidungen von hohem Rang für ein UAV steuern, wie z. B. durch Spezifizieren, dass sich das UAV von einem Standort zu einem anderen bewegen soll (z. B. von einem Warenlager in einem Vorstadtgebiet zu einer Lieferadresse in einer nahegelegenen Stadt), während das Navigationssystem des UAV autonom feinkörnigere Navigationsentscheidungen steuert, wie z. B. die spezifische Route, die zwischen den beiden Standorten zu nehmen ist, spezifische Flugsteuerungen, um die Route zu erreichen und Hindernisse während des Navigierens der Route zu vermeiden und so weiter.
Allgemeiner versteht sich, dass die hierin beschriebenen beispielhaften UAVs nicht einschränkend sein sollen. Beispielhafte Ausführungsformen können sich auf eine beliebige Art von unbemanntem Luftfahrzeug beziehen, innerhalb desselben implementiert sein oder in Form von einem solchen ausgeführt sein.
III. Exemplarische UAV-Komponenten
2 ist ein vereinfachtes Blockdiagramm, das Komponenten eines UAV 200 gemäß einer beispielhaften Ausführungsform darstellt. Das UAV 200 kann die Form von einem der UAVs 100, 120, 140, 160 und 180, die unter Bezugnahme auf 1A-1E beschrieben sind, aufweisen. Das UAV 200 kann aber auch andere Formen aufweisen.
Das UAV 200 kann verschiedene Arten von Sensoren beinhalten und kann ein Computersystem beinhalten, das konfiguriert ist, die hierin beschriebene Funktionalität bereitzustellen. In der dargestellten Ausführungsform beinhalten die Sensoren von UAV 200 eine Inertialmesseinheit (IMU) 202, Ultraschallsensor(en) 204 und ein GPS 206, neben anderen möglichen Sensoren und Sensorsystemen.
In der dargestellten Ausführungsform beinhaltet das UAV 200 außerdem einen oder mehrere Prozessoren 208. Bei einem Prozessor 208 kann es sich um einen Universalprozessor oder einen Spezialprozessor (z. B. digitale Signalprozessoren, anwendungsspezifische integrierte Schaltungen usw.) handeln. Der eine oder die mehreren Prozessoren 208 können konfiguriert sein, computerlesbare Programmanweisungen 212 auszuführen, die in dem Datenspeicher 210 gespeichert sind und ausführbar sind, um die hierin beschriebene Funktionalität eines UAV bereitzustellen.
Der Datenspeicher 210 kann ein oder mehrere computerlesbare Speichermedien beinhalten oder in Form dieser vorliegen, die zumindest ein Prozessor 208 lesen oder darauf zugreifen kann. Das eine oder die mehreren computerlesbaren Speichermedien können flüchtige und/oder nichtflüchtige Speicherkomponenten, wie z. B. optische, magnetische, organische oder sonstige Speicher oder Plattenspeicher, beinhalten, die ganz oder teilweise in zumindest einem von dem einen oder den mehreren Prozessoren 208 integriert sein können. In einigen Ausführungsformen kann der Datenspeicher 210 unter Nutzung einer einzelnen physischen Vorrichtung (z. B. einem optischen, magnetischen, organischen oder sonstigen Speicher oder einer Plattenspeichereinheit) implementiert sein, während der Datenspeicher 210, in anderen Ausführungsformen, unter Nutzung von zwei oder mehr physischen Vorrichtungen implementiert sein kann.
Wie erwähnt, kann der Datenspeicher 210 computerlesbare Programmanweisungen 212 und möglicherweise zusätzliche Daten, wie z. B. Diagnosedaten des UAV 200, beinhalten. Daher kann der Datenspeicher 210 Programmanweisungen 212 beinhalten, um einige oder alle der hierin beschriebenen UAV-Funktionalitäten durchzuführen oder zu erleichtern. In der dargestellten Ausführungsform beinhalten die Programmanweisungen 212 zum Beispiel ein Navigationsmodul 214 und ein Halteseil-Steuerungsmodul 216.
i. A. Sensoren
In einer exemplarischen Ausführungsform kann IMU 202 sowohl einen Beschleunigungsmesser als auch ein Gyroskop beinhalten, die zusammen verwendet werden können, um eine Ausrichtung des UAV 200 zu ermitteln. Insbesondere kann der Beschleunigungsmesser die Ausrichtung des Fahrzeugs in Bezug auf die Erde messen, während das Gyroskop die Drehgeschwindigkeit um eine Achse misst. IMUs sind im Handel in kostengünstigen, energiesparenden Paketen erhältlich. Beispielsweise kann eine IMU 202 in Form eines miniaturisierten MicroElectroMechanical System (MEMS) oder NanoElectroMechanical System (NEMS) vorliegen oder ein solches beinhalten. Es können auch andere Arten von IMUs eingesetzt werden.
Eine IMU 202 kann zusätzlich zu Beschleunigungsmessern und Gyroskopen weitere Sensoren beinhalten, die dazu beitragen können, die Position besser zu ermitteln und/oder die Autonomie des UAV 200 zu erhöhen. Zwei Beispiele für solche Sensoren sind Magnetometer und Drucksensoren. In einigen Ausführungsformen kann ein UAV ein energiesparendes, digitales 3-Achsen-Magnetometer beinhalten, das verwendet werden kann, um einen ausrichtungsunabhängigen elektronischen Kompass für genaue Kursinformationen zu realisieren. Es können aber auch andere Magnetometertypen verwendet werden. Weitere Beispiele sind ebenfalls möglich. Ferner ist zu beachten, dass ein UAV einige oder alle der zuvor beschriebenen Trägheitssensoren als von einer IMU separate Komponenten beinhalten könnte.
Das UAV 200 kann auch einen Drucksensor oder ein Barometer umfassen, die verwendet werden können, um die Höhe des UAV 200 zu ermitteln. Alternativ können andere Sensoren, wie z. B. Schallhöhenmesser oder Radarhöhenmesser, verwendet werden, um eine Höhenangabe bereitzustellen, was dazu beitragen kann, die Genauigkeit einer IMU zu verbessern und/oder Drift einer IMU zu verhindern.
In einem weiteren Aspekt kann das UAV 200 einen oder mehrere Sensoren beinhalten, die es dem UAV ermöglichen, Objekte in der Umgebung zu erfassen. In der veranschaulichten Ausführungsform beinhaltet das UAV 200 beispielsweise Ultraschallsensor(en) 204. Ultraschallsensor(en) 204 kann/können die Entfernung zu einem Objekt durch Erzeugen von Schallwellen und Ermitteln des Zeitintervalls zwischen der Übertragung der Welle und dem Empfangen des entsprechenden Echos von einem Objekt ermitteln. Eine typische Anwendung eines Ultraschallsensors für unbemannte Fahrzeuge oder IMUs sind die Höhensteuerung und die Hindernisvermeidung von untergeordnetem Rang. Ein Ultraschallsensor kann auch für Fahrzeuge verwendet werden, die in einer bestimmten Höhe schweben müssen oder in der Lage sein müssen, Hindernisse zu erkennen. Andere Systeme können verwendet werden, um in der Nähe befindliche Objekte zu ermitteln, deren Vorhandensein zu erfassen und/oder die Entfernung zu diesen zu ermitteln, wie z. B., neben anderen Möglichkeiten, ein LiDAR-System (Light Detection and Ranging), ein LADAR-System (Laser Detection and Ranging) und/oder ein FLIR-System (Forward-looking Infrared).
In einigen Ausführungsformen kann das UAV 200 auch ein oder mehrere Bildgebungssystem(e) beinhalten. Zum Beispiel können eine oder mehrere Standbild- und/oder Videokameras von UAV 200 verwendet werden, um Bilddaten aus der Umgebung des UAV zu erfassen. Als konkretes Beispiel können bei unbemannten Fahrzeugen CCD(Charge-Coupled Device)-Kameras oder CMOS(Complementary Metal-Oxide-Semiconductor)-Kameras eingesetzt werden. Solche Bildsensor(en) haben zahlreiche Anwendungsmöglichkeiten, wie z. B. Hindernisvermeidung, Lokalisierungstechniken, Bodenverfolgung für eine genauere Navigation (z. B. durch Anwendung optischer Flusstechniken auf Bilder), Videofeedback und/oder Bilderkennung und -verarbeitung, neben anderen Möglichkeiten.
Das UAV 200 kann auch einen GPS-Empfänger 206 beinhalten. Der GPS-Empfänger 206 kann konfiguriert sein, Daten bereitzustellen, die für bekannte GPS-Systeme typisch sind, wie z. B. die GPS-Koordinaten des UAV 200. Solche GPS-Daten können von dem UAV 200 für verschiedene Funktionen genutzt werden. Daher kann das UAV seinen GPS-Empfänger 206 verwenden, um es bei einer Navigation zum Standort des Anrufers zu unterstützen, wie er zumindest teilweise durch die GPS-Koordinaten angegeben wird, die von dessen Mobilgerät bereitgestellt werden. Weitere Beispiele sind ebenfalls möglich.
i. B. Navigation und Standortbestimmung
Das Navigationsmodul 214 kann Funktionalität bereitstellen, die es dem UAV 200 ermöglicht, sich z. B. in seiner Umgebung zu bewegen und einen gewünschten Standort zu erreichen. Dazu kann das Navigationsmodul 214 die Höhe und/oder Flugrichtung durch Steuerung der mechanischen Merkmale des UAV steuern, die den Flug beeinflussen (z. B. sein(e) Seitenruder, Höhenruder, Querruder und/oder die Geschwindigkeit seines/seiner Propeller).
Um das UAV 200 zu einem Zielort zu navigieren, kann das Navigationsmodul 214 verschiedene Navigationstechniken implementieren, wie z. B. eine kartenbasierte Navigation und eine lokalisierungsbasierte Navigation. Bei einer kartenbasierten Navigation kann dem UAV 200 eine Karte seiner Umgebung zur Verfügung gestellt werden, die dann verwendet werden kann, um zu einem bestimmten Standort auf der Karte zu navigieren. Bei der lokalisierungsbasierten Navigation kann das UAV 200 in der Lage sein, unter Nutzung der Lokalisierung in einer unbekannten Umgebung zu navigieren. Die lokalisierungsbasierte Navigation kann beinhalten, dass das UAV 200 seine eigene Karte seiner Umgebung erstellt und seine Position auf der Karte und/oder die Position von Objekten in der Umgebung berechnet. Wenn sich ein UAV 200 beispielsweise in seiner Umgebung bewegt, kann das UAV 200 eine Lokalisierung kontinuierlich verwenden, um seine Karte der Umgebung zu aktualisieren. Dieser kontinuierliche Kartierungsprozess kann als SLAM (Simultaneous Localization and Mapping) bezeichnet werden. Es können auch andere Navigationstechniken genutzt werden.
In einigen Ausführungsformen kann das Navigationsmodul 214 unter Nutzung einer Technik navigieren, die auf Wegpunkten beruht. Wegpunkte sind insbesondere Koordinatensätze, die Punkte im physischen Raum identifizieren. Beispielsweise kann ein Luftnavigationswegpunkt durch einen bestimmten Breitengrad, Längengrad und eine Höhe definiert sein. Dementsprechend kann das Navigationsmodul 214 veranlassen, dass sich UAV 200 von Wegpunkt zu Wegpunkt bewegt, um sich letztendlich zu einem endgültigen Zielort (z. B. einem endgültigen Wegpunkt in einer Sequenz von Wegpunkten) zu bewegen.
In einem weiteren Aspekt können das Navigationsmodul 214 und/oder andere Komponenten und Systeme des UAV 200 für eine „Lokalisierung“ konfiguriert sein, um genauer zu dem Standort eines Zielorts zu navigieren. Insbesondere kann es in bestimmten Situationen wünschenswert sein, dass sich ein UAV innerhalb eines Schwellenabstands von dem Zielort befindet, an dem eine Traglast 228 von einem UAV zugestellt wird (z. B. innerhalb weniger Fuß des angestrebten Zielorts). Dazu kann ein UAV einen zweistufigen Ansatz verwenden, bei dem es eine allgemeinere Standortbestimmungstechnik verwendet, um zu einem allgemeinen Bereich zu navigieren, der mit dem Zielort assoziiert ist, und anschließend eine verfeinerte Standortbestimmungstechnik verwendet, um den Zielort innerhalb des allgemeinen Bereichs zu identifizieren und/oder zu diesem zu navigieren.
Beispielsweise kann das UAV 200 zu dem allgemeinen Bereich eines angestrebten Zielorts, an dem eine Traglast 228 zugestellt werden soll, unter Nutzung von Wegpunkten und/oder einer kartenbasierten Navigation navigieren. Das UAV kann dann in einen Modus übergehen, in dem es einen Lokalisierungsprozess verwendet, um einen bestimmten Standort zu lokalisieren und sich zu diesem zu bewegen. Wenn das UAV 200 eine Traglast beispielsweise zu einem Haus eines Benutzers zustellen soll, muss sich das UAV 200 im Wesentlichen nahe dem Zielort befinden, um eine Zustellung der Traglast in unerwünschten Bereichen (z. B. auf einem Dach, in einem Pool, auf einem Nachbargrundstück usw.) zu vermeiden. Ein GPS-Signal kann dem UAV 200 dabei jedoch nur bedingt helfen (z. B. innerhalb eines Blocks des Wohnorts des Benutzers). Anschließend kann eine genauere Standortbestimmungstechnik verwendet werden, um den spezifischen Zielort zu finden.
Verschiedene Arten von Standortbestimmungstechniken können verwendet werden, um eine Lokalisierung des Zielzustellorts zu bewerkstelligen, sobald das UAV 200 zu dem allgemeinen Bereich des Zielzustellorts navigiert hat. Das UAV 200 kann zum Beispiel mit einem oder mehreren Sensorsystemen ausgestattet sein, wie z. B., unter anderem, Ultraschallsensoren 204, Infrarotsensoren (nicht dargestellt) und/oder anderen Sensoren, die Eingaben bereitstellen können, die das Navigationsmodul 214 verwendet, um autonom oder halbautonom zu dem spezifischen Zielort zu navigieren.
Als weiteres Beispiel kann das UAV 200, sobald das UAV 200 den allgemeinen Bereich des Zielzustellorts (oder den eines sich bewegenden Individuums, wie z. B. eine Person oder deren Mobilgerät) erreicht, in einen „Fly-by-Wire“-Modus umschalten, in dem es zumindest teilweise von einem entfernten Bediener gesteuert wird, der das UAV 200 zu dem spezifischen Zielort navigieren kann. Zu diesem Zweck können Sensordaten von dem UAV 200 an den entfernten Bediener gesendet werden, um diesem beim Navigieren des UAV 200 zu dem spezifischen Standort zu unterstützen.
Als noch ein weiteres Beispiel kann das UAV 200 ein Modul beinhalten, das in der Lage ist, einen Passanten mittels eines Signals zur Unterstützung beim Erreichen des spezifischen Zielzustellorts zu bitten; beispielsweise kann das UAV 200, neben anderen Möglichkeiten, eine visuelle Nachricht anzeigen, die eine solche Unterstützung in einer grafischen Anzeige anfordert, eine Audionachricht oder einen Ton über Lautsprecher abspielen, um die Notwendigkeit einer solchen Unterstützung anzuzeigen. Eine solche visuelle oder auditive Nachricht könnte anzeigen, dass Unterstützung für eine Zustellung des UAV 200 zu einer bestimmten Person oder einem bestimmten Standort erforderlich ist, und sie könnte unter anderem Informationen bereitstellen, um den Passanten bei der Zustellung des UAV 200 zu der Person oder dem Standort zu unterstützen (z. B. eine Beschreibung oder ein Bild der Person oder des Standortes und/oder den Namen der Person oder des Standortes). Eine solche Funktion kann in einem Szenario nützlich sein, in dem das UAV keine sensorischen Funktionen oder andere Standortbestimmungstechniken verwenden kann, um den spezifischen Zielort zu erreichen. Diese Funktion ist jedoch nicht auf derartige Szenarien beschränkt.
In einigen Ausführungsformen kann das UAV 200, sobald das UAV 200 den allgemeinen Bereich eines Zielzustellorts erreicht, eine Bake von einem entfernten Gerät eines Benutzers (z. B. dem Mobiltelefon des Benutzers) verwenden, um die Person zu lokalisieren. Eine solche Bake kann verschiedene Formen aufweisen. Als ein Beispiel wird das Szenario betrachtet, in dem ein entferntes Gerät, wie z. B. das Mobiltelefon einer Person, die eine UAV-Zustellung angefordert hat, in der Lage ist, Richtungssignale auszusenden (z. B. über ein HF-Signal, ein Lichtsignal und/oder ein Audiosignal). In diesem Szenario kann das UAV 200 so konfiguriert sein, dass es über eine „Ursprungsbestimmung“ solcher Richtungssignale navigiert - mit anderen Worten, indem es ermittelt, wo das Signal am stärksten ist, und dementsprechend navigiert. Als weiteres Beispiel kann ein Mobilgerät eine Frequenz aussenden, entweder im menschlichen Bereich oder außerhalb des menschlichen Bereichs, und das UAV 200 kann nach dieser Frequenz suchen und dementsprechend navigieren. Als ein verwandtes Beispiel könnte das UAV 200, wenn das UAV 200 nach Sprachbefehlen sucht, gesprochene Aussagen verwenden, wie z. B. „Ich bin hier drüben!", um den spezifischen Standort der Person aufzufinden, die die Zustellung einer Traglast anfordert.
In einer alternativen Anordnung kann ein Navigationsmodul auf einem entfernten Computergerät implementiert sein, das drahtlos mit dem UAV 200 kommuniziert. Das entfernte Computergerät kann Daten, die den Betriebszustand des UAV 200 angeben, Sensordaten von dem UAV 200, die es ihm ermöglichen, die Umgebungsbedingungen, die das UAV 200 erfährt, und/oder Standortinformationen für das UAV 200 empfangen. Mit solchen Informationen ausgestattet, kann das entfernte Computergerät Breiten- und/oder Richtungsanpassungen ermitteln, die von dem UAV 200 vorgenommen werden sollten, und/oder ermitteln, inwiefern das UAV 200 seine mechanischen Merkmale (z. B. sein(e) Seitenruder, Höhenruder, Querruder und/oder die Geschwindigkeit seines/seiner Propeller) anpassen sollte, um solche Bewegungen herbeizuführen. Das entfernte Computersystem kann solche Anpassungen dann an das UAV 200 übermitteln, sodass es sich auf die ermittelte Weise bewegen kann.
i. C. Kommunikationssysteme
In einem weiteren Aspekt beinhaltet das UAV 200 ein oder mehrere Kommunikationssysteme 218. Die Kommunikationssysteme 218 können eine oder mehrere drahtlose Schnittstellen und/oder eine oder mehrere drahtgebundene Schnittstellen beinhalten, die es dem UAV 200 ermöglichen, über ein oder mehrere Netzwerke zu kommunizieren. Solche drahtlosen Schnittstellen können eine Kommunikation unter einem oder mehreren Drahtloskommunikationsprotokollen, wie z. B. Bluetooth, WLAN (z. B. ein IEEE 802. 11-Protokoll), Long-Term Evolution (LTE), WiMAX (z. B. ein IEEE 802.16-Standard), ein RFID(Radio-Frequency ID)-Protokoll, Nahfeldkommunikation (NFC) und/oder andere Drahtloskommunikationsprotokolle, bereitstellen. Derartige drahtgebundene Schnittstellen können eine Ethernet-Schnittstelle, eine USB(Universal Serial Bus)-Schnittstelle oder eine ähnliche Schnittstelle zum Kommunizieren über ein Kabel, verdrillte Drähte, ein Koaxialkabel, eine optische Verbindung, einen Lichtwellenleiter oder eine sonstige physische Verbindung mit einem drahtgebundenen Netzwerk beinhalten.
In einigen Ausführungsformen kann ein UAV 200 Kommunikationssysteme 218 beinhalten, die sowohl eine Kurzstreckenkommunikation als auch eine Langstreckenkommunikation ermöglichen. Das UAV 200 kann beispielsweise für Kurzstreckenkommunikationen unter Nutzung von Bluetooth und für Langstreckenkommunikationen unter einem CDMA-Protokoll konfiguriert sein. In einer solchen Ausführungsform kann das UAV 200 konfiguriert sein, als ein „Hotspot“ zu funktionieren; oder mit anderen Worten als ein Gateway oder Proxy zwischen einem entfernten Unterstützungsgerät und einem oder mehreren Datennetzwerken, wie z. B. einem Mobilfunknetz und/oder dem Internet. Derart konfiguriert, kann das UAV 200 Datenkommunikationen ermöglichen, die das entfernte Unterstützungsgerät anderenfalls nicht selbst ausführen könnte.
Das UAV 200 kann zum Beispiel eine WLAN-Verbindung zu einem entfernten Gerät bereitstellen und als ein Proxy oder Gateway zu einem Datennetz eines Mobilfunkanbieters dienen, mit dem sich das UAV zum Beispiel unter einem LTE- oder einem 3G-Protokoll verbinden könnte. Das UAV 200 könnte unter anderem auch ein als Proxy oder Gateway für ein Stratosphärenballonnetzwerk, ein Satellitennetzwerk oder eine Kombination dieser Netzwerke dienen, auf die ein entferntes Gerät anderenfalls nicht zugreifen könnte.
i. D. Stromversorgungssysteme
In einem weiteren Aspekt kann das UAV 200 Stromversorgungssystem(e) 220 beinhalten. Das Stromversorgungssystem 220 kann eine oder mehrere Batterien zum Bereitstellen von Strom für das UAV 200 beinhalten. In einem Beispiel können die eine oder die mehreren Batterien wiederaufladbar sein und jede Batterie kann über eine drahtgebundene Verbindung zwischen der Batterie und einer Stromversorgung und/oder über ein drahtloses Ladesystem, wie z. B. ein induktives Ladesystem, das ein externes zeitveränderliches Magnetfeld an eine interne Batterie anlegt, aufgeladen werden.
i. E. Traglastzustellung
Das UAV 200 kann verschiedene Systeme und Konfigurationen verwenden, um eine Traglast 228 zu transportieren und zuzustellen. In einigen Implementierungen kann die Traglast 228 eines gegebenen UAV 200 die Form eines „Pakets“ beinhalten oder annehmen, das zum Transportieren verschiedener Waren zu einem Zielzustellort ausgebildet ist. Das UAV 200 kann beispielsweise ein Fach beinhalten, in dem ein Artikel oder Artikel transportiert werden können. Ein solches Paket kann ein oder mehrere Lebensmittel, gekaufte Waren, medizinische Artikel oder beliebige andere Objekte beinhalten, die eine Größe und ein Gewicht aufweisen, die geeignet sind, um durch das UAV zwischen zwei Standorten transportiert zu werden. In anderen Ausführungsformen kann eine Traglast 228 einfach der eine oder die mehreren Artikel sein, die zugestellt werden (z. B. ohne jegliche Verpackung, die die Artikel aufnimmt).
In einigen Ausführungsformen kann die Traglast 228 an dem UAV angebracht sein und sich während eines Teils oder des gesamten Flugs durch das UAV im Wesentlichen außerhalb des UAV befinden. Das Paket kann während eines Flugs zu einem Zielort beispielsweise über ein Halteseil oder anderweitig unter dem UAV angebracht sein. In einigen Ausführungsformen kann das Paket verschiedene Merkmale beinhalten, die seinen Inhalt vor der Umgebung schützen, den aerodynamischen Widerstand auf das System reduzieren und eine Verlagerung des Inhalts des Pakets während des UAV-Flugs verhindern. In anderen Ausführungsformen kann das Paket ein Standard-Versandpaket sein, das nicht speziell auf einen UAV-Flug zugeschnitten ist.
Um die Traglast zuzustellen, kann das UAV ein Windensystem 221 beinhalten, das durch das Halteseil-Steuerungsmodul 216 gesteuert wird, um die Traglast 228 auf den Boden abzusenken, während das UAV oberhalb davon schwebt. Wie in 2 dargestellt, kann das Windensystem 221 ein Halteseil 224 beinhalten, und das Halteseil 224 kann mit der Traglast 228 durch einen Traglast-Rückholer 226 gekoppelt sein. Das Halteseil 224 kann auf eine Spule gewickelt sein, die mit einem Motor 222 des UAV gekoppelt ist. Der Motor 222 kann die Form eines Gleichstrommotors (z. B. eines Servomotors) annehmen, der aktiv durch einen Drehzahlregler gesteuert werden kann. Das Halteseil-Steuerungsmodul 216 kann den Drehzahlregler so steuern, das der Motor 222 veranlasst wird, die Spule zu drehen, wodurch das Halteseil 224 abgewickelt oder eingezogen wird und der Traglast-Rückholer 226 abgesenkt oder angehoben wird. In der Praxis kann der Drehzahlregler eine gewünschte Betriebsgeschwindigkeit (z. B. eine gewünschte Drehzahl) für die Spule ausgeben, die der Geschwindigkeit entsprechen kann, mit der das Halteseil 224 und die Traglast 228 zum Boden hin abgesenkt werden sollen. Der Motor 222 kann die Spule dann so drehen, dass sie die gewünschte Betriebsgeschwindigkeit beibehält.
Um den Motor 222 über den Drehzahlregler zu steuern, kann das Halteseil-Steuerungsmodul 216 Daten von einem Geschwindigkeitssensor (z. B. einem Codierer) empfangen, der konfiguriert ist, eine mechanische Position in ein repräsentatives analoges oder digitales Signal umzuwandeln. Insbesondere kann der Geschwindigkeitssensor einen Drehgeber beinhalten, der, neben anderen Möglichkeiten, Informationen betreffend der Drehposition (und/oder Drehbewegung) einer Welle des Motors oder der mit dem Motor gekoppelten Spule bereitstellen kann. Darüber hinaus kann der Geschwindigkeitssensor unter anderem die Form eines Absolutwertgebers und/oder eines Inkrementalgebers aufweisen. Demnach kann in einer beispielhaften Implementierung, wenn der Motor 222 eine Drehung der Spule bewirkt, ein Drehgeber verwendet werden, um diese Drehung zu messen. Dabei kann der Drehgeber unter anderem verwendet werden, um eine Drehposition in ein analoges oder digitales elektronisches Signal umzuwandeln, das von dem Halteseil-Steuerungsmodul 216 verwendet wird, um den Grad der Drehung der Spule ausgehend von einem festen Referenzwinkel zu ermitteln, und/oder in ein analoges oder digitales elektronisches Signal, das eine neue Drehposition repräsentiert. Weitere Beispiele sind ebenfalls möglich.
Basierend auf den Daten von dem Geschwindigkeitssensor kann das Halteseil-Steuerungsmodul 216 eine Drehzahl des Motors 222 und/oder der Spule ermitteln und den Motor 222 ansprechend steuern (z. B. durch Erhöhen oder Verringern eines elektrischen Stroms, der dem Motor 222 zugeführt wird), um zu bewirken, dass die Drehzahl des Motors 222 mit einer gewünschten Drehzahl übereinstimmt. Beim Anpassen des Motorstroms kann die Größe der Stromanpassung auf einer Proportional-Integral-Derivat(PID)-Berechnung unter Nutzung der ermittelten und gewünschten Geschwindigkeiten des Motors 222 basieren. Die Größe der Stromanpassung kann beispielsweise auf einer aktuellen Differenz, einer vergangenen Differenz (basierend auf dem akkumulierten Fehler im Verlauf der Zeit) und einer zukünftigen Differenz (basierend auf den aktuellen Änderungsraten) zwischen den ermittelten und gewünschten Geschwindigkeiten der Spule basieren.
In einigen Ausführungsformen kann das Halteseil-Steuerungsmodul 216 die Rate variieren, mit der das Halteseil 224 und die Traglast 228 auf den Boden abgesenkt werden. Beispielsweise kann der Drehzahlregler die gewünschte Betriebsgeschwindigkeit gemäß einem variablen Bereitstellungsratenprofil und/oder in Reaktion auf andere Faktoren ändern, um die Geschwindigkeit zu ändern, mit der die Traglast 228 zum Boden hin absinkt. Dazu kann das Halteseil-Steuerungsmodul 216 einen Bremsbetrag oder einen Reibungsbetrag anpassen, der auf das Halteseil 224 aufgebracht wird. Um beispielsweise die Halteseilbereitstellungsrate zu variieren, kann das UAV 200 Reibbeläge beinhalten, die einen variablen Druck auf das Halteseil 224 ausüben können. Als weiteres Beispiel kann das UAV 200 ein motorisiertes Bremssystem beinhalten, das die Geschwindigkeit variiert, mit der die Spule das Halteseil 224 ausgibt. Ein solches Bremssystem kann die Form eines elektromechanischen Systems aufweisen, bei dem der Motor 222 so betrieben wird, dass er die Geschwindigkeit, mit der die Spule die Schnur 224 ausgibt, verlangsamt. Ferner kann der Motor 222 den Betrag variieren, um den er die Geschwindigkeit (z. B. die Drehzahl) der Spule anpasst, und kann somit die Bereitstellungsrate des Halteseils 224 variieren. Weitere Beispiele sind ebenfalls möglich.
In einigen Ausführungsformen kann das Halteseil-Steuerungsmodul 216 konfiguriert sein, den Motorstrom, der dem Motor 222 zugeführt wird, auf einen maximalen Wert zu begrenzen. Wenn der Motorstrom derart begrenzt wird, kann es zu Situationen kommen, in denen der Motor 222 nicht mit dem gewünschten Betrieb arbeiten kann, der durch den Drehzahlregler angegeben wird. So kann es, wie nachfolgend ausführlicher beschrieben, Situationen geben, in denen der Drehzahlregler eine gewünschte Betriebsgeschwindigkeit spezifiziert, mit der der Motor 222 das Halteseil 224 in Richtung des UAV 200 erneut einziehen sollte, jedoch kann der Motorstrom begrenzt sein, sodass eine ausreichend große nach unten gerichtete Kraft auf das Halteseil 224 der Einziehkraft des Motors 222 entgegenwirken würde und stattdessen ein Abwickeln des Halteseils 224 veranlassen würde. Und wie nachfolgend ferner beschrieben, kann eine Grenze für den Motorstrom in Abhängigkeit von einem Betriebszustand des UAV 200 auferlegt und/oder verändert werden.
In einigen Ausführungsformen kann das Halteseil-Steuerungsmodul 216 konfiguriert sein, einen Status des Halteseils 224 und/oder der Traglast 228 basierend auf der Strommenge zu ermitteln, die dem Motor 222 zugeführt wird. Wenn beispielsweise eine nach unten gerichtete Kraft auf das Halteseil 224 ausgeübt wird (z. B. wenn die Traglast 228 an dem Halteseil 224 angebracht ist oder wenn das Halteseil 224 beim Einziehen in Richtung des UAV 200 an einem Objekt hängenbleibt), muss das Halteseil-Steuerungsmodul 216 den Motorstrom womöglich erhöhen, um zu bewirken, dass die ermittelte Drehgeschwindigkeit des Motors 222 und/oder der Spule mit der gewünschten Geschwindigkeit übereinstimmt. Auf ähnliche Weise, wenn die nach unten gerichtete Kraft von dem Halteseil 224 entfernt wird (z. B. bei Zustellung der Traglast 228 oder Loslösung eines verfangenen Halteseils), muss das Halteseil-Steuerungsmodul 216 den Motorstrom womöglich verringern, um zu bewirken, dass die ermittelte Drehgeschwindigkeit des Motors 222 und/oder der Spule mit der gewünschten Geschwindigkeit übereinstimmt. Daher kann das Halteseil-Steuerungsmodul 216 konfiguriert sein, den Strom, der dem Motor 222 zugeführt wird, zu überwachen. Zum Beispiel könnte das Halteseil-Steuerungsmodul 216 den Motorstrom basierend auf Sensordaten ermitteln, die von einem Stromsensor des Motors oder einem Stromsensor des Stromversorgungssystems 220 empfangen werden. In jedem Fall wird basierend auf dem Strom, der dem Motor 222 zugeführt wird, ermittelt, ob die Traglast 228 an dem Halteseil 224 angebracht ist, ob jemand oder etwas an dem Halteseil 224 zieht, und/oder ob der Traglast-Rückholer 226 nach Einziehen des Halteseils 224 gegen das UAV 200 drückt. Andere Beispiele sind ebenfalls möglich.
Während der Zustellung der Traglast 228 kann der Traglast-Rückholer 226 konfiguriert sein, die Traglast 228 zu sichern, während sie von dem UAV durch das Halteseil 224 abgesenkt wird, und kann ferner konfiguriert sein, die Traglast 228 bei Erreichen der Bodenhöhe freizugeben. Der Traglast-Rückholer 226 kann dann durch Aufwickeln des Halteseils 224 unter Nutzung des Motors 222 in das UAV zurückgezogen werden.
In einigen Implementierungen kann die Traglast 228 passiv freigegeben werden, sobald sie auf den Boden abgesenkt ist. Ein passiver Freigabemechanismus kann beispielsweise einen oder mehrere Schwenkarme beinhalten, die dafür ausgelegt sind, in ein Gehäuse einzufahren und sich aus diesem heraus zu erstrecken. Ein verlängerter Schwenkarm kann einen Haken bilden, an dem die Traglast 228 angebracht werden kann. Beim Absenken des Freigabemechanismus und der Traglast 228 auf den Boden über ein Halteseil können eine auf den Freigabemechanismus wirkende Schwerkraft sowie eine nach unten gerichtete Trägheitskraft dazu führen, dass sich die Traglast 228 von dem Haken löst, sodass der Freigabemechanismus nach oben in Richtung des UAV angehoben werden kann. Der Freigabemechanismus kann ferner einen Federmechanismus umfassen, der den Schwenkarm vorspannt, um sich in das Gehäuse zurückzuziehen, wenn keine anderen externen Kräfte auf den Schwenkarm wirken. Beispielsweise kann eine Feder eine Kraft auf den Schwenkarm ausüben, die den Schwenkarm in Richtung des Gehäuses drückt oder zieht, sodass der Schwenkarm in das Gehäuse einfährt, sobald das Gewicht der Traglast 228 den Schwenkarm nicht mehr dazu zwingt, sich aus dem Gehäuse heraus zu erstrecken. Das Einziehen des Schwenkarms in das Gehäuse kann die Wahrscheinlichkeit verringern, dass sich der Freigabemechanismus an der Traglast 228 oder anderen in der Nähe befindlichen Objekten verhakt, wenn der Freigabemechanismus nach Zustellung der Traglast 228 in Richtung des UAV angehoben wird.
Aktive Traglastfreigabemechanismen sind ebenfalls möglich. Beispielsweise können Sensoren, wie z. B. ein Höhenmesser auf Basis barometrischen Drucks und/oder Beschleunigungsmesser dazu beitragen, die Position des Freigabemechanismus (und der Traglast) relativ zum Boden zu erkennen. Daten von den Sensoren können über eine drahtlose Verbindung zurück an das UAV und/oder ein Steuersystem übermittelt werden und zur Unterstützung des Ermittelns dienen, wann der Freigabemechanismus die Bodenhöhe erreicht hat (z. B. durch Erkennen einer für einen Bodenaufprall charakteristischen Messung mit dem Beschleunigungsmesser). In anderen Beispielen kann das UAV basierend auf einem Gewichtssensor, der eine geringe nach unten gerichtete Schwellenkraft auf das Halteseil erkennt, und/oder basierend auf einer geringen Schwellenmessung einer von der Winde beim Absenken der Traglast aufgenommenen Leistung, ermitteln, dass die Traglast den Boden erreicht hat.
Andere Systeme und Techniken zum Zustellen einer Traglast sind zusätzlich oder alternativ zu einem Zustellungssystem mit Halteseil ebenfalls möglich. Ein UAV 200 könnte beispielsweise ein Airbag-Abwurfsystem oder ein Fallschirm-Abwurfsystem beinhalten. Alternativ könnte ein UAV 200, das eine Traglast trägt, einfach an einem Zustellort auf dem Boden landen. Weitere Beispiele sind ebenfalls möglich.
IV. Exemplarische UAV-Bereitstellungssysteme
UAV-Systeme können implementiert werden, um verschiedene UAV-bezogene Dienste bereitzustellen. Insbesondere können UAVs an einer Anzahl an unterschiedlichen Startplätzen bereitgestellt sein, die in Verbindung mit regionalen und/oder zentralen Steuerungssystemen stehen können. Ein solches verteiltes UAV-System kann es ermöglichen, UAVs schnell einzusetzen, um Dienste über ein großes geografisches Gebiet hinweg bereitzustellen (z. B. eines, das wesentlich größer ist als die Flugreichweite eines einzelnen UAV). So können UAVs, die in der Lage sind, Traglasten zu tragen, beispielsweise an einer Anzahl an Startplätzen über einen großen geografischen Bereich hinweg (möglicherweise sogar über ein ganzes Land oder sogar weltweit) verteilt werden, um auf Anfrage einen Transport von verschiedenen Artikeln zu Standorten in dem geografischen Bereich bereitzustellen. 3 ist ein vereinfachtes Blockdiagramm, das ein verteiltes UAV-System 300 gemäß einer beispielhaften Ausführungsform darstellt.
In dem veranschaulichenden UAV-System 300 kann ein Zugriffssystem 302 eine Interaktion mit, Kontrolle von und/oder Nutzung von einem Netzwerk von UAVs 304 ermöglichen. In einigen Ausführungsformen kann ein Zugriffssystem 302 ein Computersystem sein, das eine durch den Menschen kontrollierte Entsendung von UAVs 304 ermöglicht. Daher kann das Steuersystem eine Benutzerschnittstelle beinhalten oder anderweitig bereitstellen, über die ein Benutzer auf die UAVs 304 zugreifen und/oder diese steuern kann.
In einigen Ausführungsformen kann die Entsendung der UAVs 304 zusätzlich oder alternativ über einen oder mehrere automatisierte Prozesse erfolgen. Das Zugriffssystem 302 kann beispielsweise eines der UAVs 304 entsenden, um eine Traglast zu einem Zielort zu transportieren, und das UAV kann autonom zu dem Zielort navigieren, indem verschiedene Bordsensoren, wie z. B. ein GPS-Empfänger und/oder andere verschiedene Navigationssensoren, verwendet werden.
Ferner kann das Zugriffssystem 302 einen Fernbetrieb eines UAV bereitstellen. Das Zugriffssystem 302 kann es einem Bediener beispielsweise ermöglichen, den Flug eines UAV über seine Benutzerschnittstelle zu steuern. Als ein spezifisches Beispiel kann ein Bediener das Zugriffssystem 302 verwenden, um ein UAV 304 zu einem Zielort zu entsenden. Das UAV 304 kann dann autonom zu dem allgemeinen Gebiet des Zielorts navigieren. An dieser Stelle kann der Bediener das Zugriffssystem 302 verwenden, um die Kontrolle über das UAV 304 zu übernehmen und das UAV zum Zielort zu navigieren (z. B. zu einer bestimmten Person, zu der eine Traglast transportiert wird). Andere Beispiele für einen Fernbetrieb eines UAV sind ebenfalls möglich.
In einer exemplarischen Ausführungsform können die UAVs 304 verschiedene Formen annehmen. Zum Beispiel kann jedes der UAVs 304 ein UAV wie z. B. solche, die in 1A-1E dargestellt sind, sein. Das UAV-System 300 kann jedoch auch andere Arten von UAVs verwenden, ohne vom Umfang der Erfindung abzuweichen. In einigen Implementierungen können alle UAVs 304 die gleiche oder eine ähnliche Konfiguration aufweisen. In anderen Implementierungen können die UAVs 304 jedoch eine Anzahl an verschiedenen Arten von UAVs beinhalten. Die UAVs 304 können zum Beispiel eine Anzahl an Arten von UAVs beinhalten, wobei jede Art von UAV für eine andere Art oder Arten von Traglastzustellfähigkeiten konfiguriert ist.
Das UAV-System 300 kann ferner ein entferntes Gerät 306 beinhalten, das verschiedene Formen annehmen kann. Im Allgemeinen kann das entfernte Gerät 306 ein beliebiges Gerät sein, über das eine direkte oder indirekte Anforderung zum Entsenden eines UAV erfolgen kann. (Zu beachten ist, dass eine indirekte Anfrage eine beliebige Kommunikation beinhalten kann, die durch Entsenden eines UAV beantwortet werden kann, wie z. B. das Anfordern einer Paketzustellung). In einer exemplarischen Ausführungsform kann das entfernte Gerät 306 ein Mobiltelefon, ein Tablet-Computer, ein Laptop-Computer, ein Personal-Computer oder ein beliebiges netzwerkverbundenes Computergerät sein. Ferner kann das entfernte Gerät 306, in einigen Fällen, kein Computergerät sein. Als ein Beispiel kann ein Standardtelefon, das eine Kommunikation über einen simplen alten Telefondienst (POTS) ermöglicht, als das entfernte Gerät 306 dienen. Es sind auch andere Arten von entfernten Geräten möglich.
Ferner kann das entfernte Gerät 306 konfiguriert sein, mit dem Zugriffssystem 302 über einen oder mehrere Arten von Kommunikationsnetzwerk(en) 308 zu kommunizieren. Das entfernte Gerät 306 kann mit dem Zugriffssystem 302 (oder einem menschlichen Bediener des Zugriffssystems 302) zum Beispiel durch Kommunikation über ein POTS-Netzwerk, ein Mobilfunknetzwerk und/oder ein Datennetzwerk, wie z. B. das Internet, kommunizieren. Es können auch andere Arten von Netzwerken eingesetzt werden.
In einigen Ausführungsformen kann das entfernte Gerät 306 konfiguriert sein, einem Benutzer zu ermöglichen, eine Zustellung von einem oder mehreren Artikeln an einen gewünschten Standort anzufordern. Beispielsweise könnte ein Benutzer die UAV-Zustellung eines Pakets zu seinem Haus über sein Mobiltelefon, Tablet oder Laptop anfordern. Als weiteres Beispiel könnte ein Benutzer eine dynamische Lieferung an den Standort anfordern, an dem er sich zum Zeitpunkt der Zustellung befindet. Um eine solche dynamische Zustellung bereitzustellen, kann das UAV-System 300 Standortinformationen (z. B. GPS-Koordinaten usw.) vom Mobiltelefon des Benutzers oder einem beliebigen anderen Gerät an der Person des Benutzers empfangen, sodass ein UAV zum Standort des Benutzers (wie er durch dessen Mobiltelefon angegeben wird) navigieren kann.
In einer exemplarischen Anordnung kann das zentrale Entsendungssystem 310 ein Server oder eine Gruppe von Servern sein, der bzw. die konfiguriert ist bzw. sind, Entsendungsnachrichtenanforderungen und/oder Entsendungsanweisungen von dem Zugriffssystem 302 zu empfangen. Solche Entsendungsnachrichten können das zentrale Entsendungssystem 310 anfordern oder anweisen, die Bereitstellung von UAVs zu verschiedenen Zielorten zu koordinieren. Das zentrale Entsendungssystem 310 kann ferner konfiguriert sein, solche Anforderungen oder Anweisungen an ein oder mehrere lokale Entsendungssysteme 312 weiterzuleiten. Um eine solche Funktionalität bereitzustellen, kann das zentrale Entsendungssystem 310 mit dem Zugriffssystem 302 über ein Datennetzwerk, wie z. B. das Internet oder ein privates Netzwerk, das für Kommunikationen zwischen Zugriffssystemen und automatisierten Entsendungssystemen eingerichtet ist, kommunizieren.
In der dargestellten Konfiguration kann das zentrale Entsendungssystem 310 konfiguriert sein, die Entsendung von UAVs 304 ausgehend von einer Anzahl an unterschiedlichen lokalen Entsendungssystemen 312 zu koordinieren. Daher kann das zentrale Entsendungssystem 310 verfolgen, welche UAVs 304 sich an welchen lokalen Entsendungssystemen 312 befinden, welche UAVs 304 zur Zeit für eine Bereitstellung verfügbar sind, und/oder für welche Dienste oder Operationen jedes der UAVs 304 konfiguriert ist (für den Fall, dass eine UAV-Flotte mehrere Arten von UAVs beinhaltet, die für verschiedene Dienste und/oder Operationen konfiguriert sind). Zusätzlich oder alternativ kann jedes lokale Entsendungssystem 312 konfiguriert sein, zu verfolgen, welche der assoziierten UAVs 304 zur Zeit für die Bereitstellung verfügbar sind und/oder sich aktuell inmitten des Artikeltransports befinden.
In einigen Fällen, wenn das zentrale Entsendungssystem 310 eine Anforderung für einen UAV-bezogenen Dienst (z. B. Transport eines Artikels) von dem Zugriffssystem 302 empfängt, kann das zentrale Entsendungssystem 310 ein spezifisches UAV 304 zur Entsendung auswählen. Das zentrale Entsendungssystem 310 kann das lokale Entsendungssystem 312, das mit dem ausgewählten UAV assoziiert ist, dementsprechend anweisen, um das ausgewählte UAV zu entsenden. Das lokale Entsendungssystem 312 kann dann sein assoziiertes Bereitstellungssystem 314 betreiben, um das ausgewählte UAV zu starten. In anderen Fällen kann das zentrale Entsendungssystem 310 eine Anforderung für einen UAV-bezogenen Dienst an ein lokales Entsendungssystem 312 weiterleiten, das sich in der Nähe des Standorts befindet, an dem die Unterstützung angefordert wird, und die Auswahl eines bestimmten UAV 304 dem lokalen Entsendungssystem 312 überlassen.
In einer beispielhaften Konfiguration kann das lokale Entsendungssystem 312 als ein Computersystem an demselben Standort wie das/die Bereitstellungssystem(e) 314, das/die es steuert, implementiert werden. Das lokale Entsendungssystem 312 kann zum Beispiel durch ein Computersystem implementiert werden, das in einem Gebäude installiert ist, wie z. B. einem Lager, wo sich auch das/die Bereitstellungssystem(e) 314 und UAV(s) 304, die mit dem bestimmten lokalen Entsendungssystem 312 assoziiert sind, befinden. In anderen Ausführungsformen kann das lokale Entsendungssystem 312 an einem Standort implementiert werden, der entfernt von seinem/seinen assoziierten Bereitstellungssystem(en) 314 und UAV(s) 304 ist.
Es sind zahlreiche Variationen und Alternativen der dargestellten Konfiguration des UAV-Systems 300 möglich. In einigen Ausführungsformen könnte ein Benutzer des entfernten Geräts 306 beispielsweise eine Zustellung eines Pakets direkt von dem zentralen Entsendungssystem 310 anfordern. Dazu kann eine Anwendung auf dem entfernten Gerät 306 implementiert werden, die es dem Benutzer ermöglicht, Informationen bezüglich einer angeforderten Zustellung bereitzustellen und eine Datennachricht zu erzeugen und zu senden, um anzufordern, dass das UAV-System 300 die Zustellung ermöglicht. In einer solchen Ausführungsform kann das zentrale Entsendungssystem 310 eine automatisierte Funktionalität beinhalten, um Anforderungen zu bearbeiten, die von einer solchen Anwendung erzeugt werden, solche Anforderungen auswerten und sich gegebenenfalls mit einem geeigneten lokalen Entsendungssystem 312 koordinieren, um ein UAV einzusetzen.
Ferner können einige oder alle Funktionalitäten, die hierin dem zentralen Entsendungssystem 310, dem/den lokalen Entsendungssystem(en) 312, dem Zugriffssystem 302 und/oder dem/den Bereitstellungssystem(en) 314 zugewiesen sind, in einem einzigen System kombiniert, in einem komplexeren System implementiert und/oder zwischen dem zentralen Entsendungssystem 310, dem/den lokalen Entsendungssystem(en) 312, dem Zugriffssystem 302 und/oder dem/den Bereitstellungssystem(en) 314 auf verschiedene Weise verteilt werden.
Während jedes lokale Entsendungssystem 312 ferner als zwei assoziierte Bereitstellungssysteme 314 aufweisend dargestellt ist, kann ein gegebenes lokales Entsendungssystem 312 alternativ mehr oder weniger assoziierte Bereitstellungssysteme 314 aufweisen. In ähnlicher Weise kann, während das zentrale Entsendungssystem 310 als in Kommunikation mit zwei lokalen Entsendungssystemen 312 stehend dargestellt ist, das zentrale Entsendungssystem 310 alternativ in Kommunikation mit mehr oder weniger lokalen Entsendungssystemen 312 stehen.
In einem weiteren Aspekt können die Bereitstellungssysteme 314 verschiedene Formen annehmen. Im Allgemeinen können die Bereitstellungssysteme 314 die Form von Systemen zum physischen Starten eines oder mehrerer der UAVs 304 annehmen oder diese beinhalten. Solche Startsysteme können Funktionen beinhalten, die einen automatisierten UAV-Start bereitstellen, und/oder Funktionen, die einen vom Menschen unterstützten UAV-Start ermöglichen. Ferner können die Bereitstellungssysteme 314 jeweils so konfiguriert sein, dass sie ein bestimmtes UAV 304 starten oder mehrere UAVs 304 starten.
Die Bereitstellungssysteme 314 können ferner so konfiguriert sein, dass sie zusätzliche Funktionen bereitstellen, einschließlich beispielsweise diagnosebezogene Funktionen, wie z. B. ein Verifizieren der Systemfunktionalität des UAV, ein Verifizieren der Funktionalität von Vorrichtungen, die in einem UAV untergebracht sind (z. B. eine Traglastzustellvorrichtung), und/oder Wartungsgeräte oder andere Elemente, die in dem UAV untergebracht sind (z. B. durch Überwachen eines Status einer Traglast, wie Temperatur, Gewicht usw.).
In einigen Ausführungsformen können die Bereitstellungssysteme 314 und ihre entsprechenden UAVs 304 (und möglicherweise assoziierte lokale Entsendungssysteme 312) strategisch über ein Gebiet, wie z. B. eine Stadt, verteilt sein. Die Bereitstellungssysteme 314 können zum Beispiel so strategisch verteilt werden, dass sich jedes Bereitstellungssystem 314 in der Nähe eines oder mehrerer Traglastabholorte (z. B. in der Nähe eines Restaurants, eines Geschäfts oder eines Lagers) befindet. Die Bereitstellungssysteme 314 (und möglicherweise die lokalen Entsendungssysteme 312) können jedoch auf andere Weise verteilt werden, je nach der speziellen Implementierung. Als ein weiteres Beispiel können Kioske, die es Benutzern ermöglichen, Pakete über UAVs zu transportieren, an verschiedenen Standorten eingerichtet werden. Solche Kioske können UAV-Startsysteme umfassen und es einem Benutzer ermöglichen, sein Paket zum Aufladen auf ein UAV bereitzustellen und, neben anderen Möglichkeiten, für UAV-Zustelldienste zu bezahlen. Weitere Beispiele sind ebenfalls möglich.
In einem weiteren Aspekt kann das UAV-System 300 eine Benutzerkontodatenbank 316 beinhalten oder Zugriff darauf haben. Die Benutzerkontodatenbank 316 kann Daten für eine Anzahl an Benutzerkonten beinhalten, die jeweils mit einer oder mehreren Personen assoziiert sind. Für ein bestimmtes Benutzerkonto kann die Benutzerkontodatenbank 316 Daten beinhalten, die mit einer Bereitstellung von UAV-bezogenen Diensten in Zusammenhang stehen oder dafür nützlich sind. Normalerweise werden die mit jedem Benutzerkonto assoziierten Benutzerdaten optional durch einen assoziierten Benutzer bereitgestellt und/oder mit Zustimmung des assoziierten Benutzers erfasst.
Ferner kann es, in einigen Ausführungsformen, erforderlich sein, dass eine sich eine Person für ein Benutzerkonto bei dem UAV-System 300 registriert, wenn sie durch UAVs 304 von dem UAV-System 300 mit UAV-bezogenen Diensten versorgt werden wollen. Daher kann die Benutzerkontodatenbank 316 Berechtigungsinformationen für ein bestimmtes Benutzerkonto (z. B. einen Benutzernamen und ein Passwort) und/oder andere Informationen beinhalten, die verwendet werden können, um den Zugriff auf ein Benutzerkonto zu autorisieren.
In einigen Ausführungsformen kann eine Person eines oder mehrere ihrer Geräte mit ihrem Benutzerkonto assoziieren, sodass sie auf die Dienste des UAV-Systems 300 zugreifen kann. Wenn eine Person beispielsweise ein assoziiertes Mobiltelefon verwendet, z. B. um einen Anruf an einen Betreiber des Zugriffssystems 302 zu tätigen oder eine Nachricht, die einen UAV-bezogenen Dienst anfordert, an ein Entsendungssystem zu senden, kann das Telefon über eine eindeutige Geräteidentifikationsnummer identifiziert werden und der Anruf oder die Nachricht kann dann dem assoziierten Benutzerkonto zugeordnet werden. Weitere Beispiele sind ebenfalls möglich.
V. Maschinenlernmodelle zur Erzeugung von Inferenzen/Vorhersagen
Ein UAV kann konfiguriert sein, ein oder mehrere Maschinenlernmodelle zu verwenden, um Wahrnehmung, Lokalisierung, Navigation und/oder andere UAV-Operationen zu erleichtern. 4 zeigt ein Diagramm 400, das eine Trainingsphase 402 und eine Inferenzphase 404 eines trainierten Maschinenlernmodells 432 gemäß beispielhaften Ausführungsformen darstellt. Einige Maschinenlerntechniken beinhalten das Trainieren eines oder mehrerer Maschinenlernalgorithmen an einem Eingabesatz von Trainingsdaten zur Erkennung von Mustern in den Trainingsdaten und Bereitstellung von Ausgabeinferenzen und/oder -vorhersagen über (Muster in den) Trainingsdaten. Der resultierende trainierte Maschinenlernalgorithmus kann als ein trainiertes Maschinenlernmodell bezeichnet werden. 4 zeigt beispielsweise die Trainingsphase 402, in der ein oder mehrere Maschinenlernalgorithmen 420 mit Trainingsdaten 410 trainiert werden, um zu einem trainierten Maschinenlernmodell 432 zu werden. Anschließend kann das trainierte Maschinenlemmodell 432, während der Inferenzphase 404, Eingabedaten 430 und eine oder mehrere Inferenz-/Vorhersageanforderungen 440 empfangen (möglicherweise als Teil der Eingabedaten 430) und in Reaktion darauf eine oder mehrere Inferenzen und/oder Vorhersagen 450 als eine Ausgabe bereitstellen.
Daher können trainierte Maschinenlernmodelle 432 ein oder mehrere Modelle eines oder mehrerer Maschinenlernalgorithmen 420 beinhalten. Die Maschinenlernalgorithmen 420 können Folgendes beinhalten, sind aber nicht darauf beschränkt: ein künstliches neuronales Netzwerk (z. B. ein hierin beschriebenes faltendes neuronales Netzwerk, ein rekurrentes neuronales Netzwerk, ein Bayes'sches Netzwerk, ein Hidden-Markov-Modell, einen Markov-Entscheidungsprozess, eine logistische Regressionsfunktion, eine Unterstützungsvektormaschine, einen geeigneten statistischen Maschinenlernalgorithmus und/oder ein heuristisches Maschinenlemsystem). Ein Maschinenlernalgorithmus 420 kann überwacht oder nicht überwacht sein und eine beliebige geeignete Kombination von Online- und Offline-Lernen implementieren.
In einigen Beispielen können die Maschinenlernalgorithmen 420 und/oder trainierten Maschinenlernmodelle 432 unter Nutzung von geräteinternen Coprozessoren, wie z. B. Grafikverarbeitungseinheiten (GPUs), Tensorverarbeitungseinheiten (TPUs), digitalen Signalprozessoren (DSPs) und/oder anwendungsspezifischen integrierten Schaltungen (ASICs) beschleunigt werden. Solche geräteinternen Coprozessoren können verwendet werden, um den Maschinenlernalgorithmus 420 und/oder das trainierte Maschinenlernmodell 432 zu beschleunigen. In einigen Beispielen können trainierte Maschinenlernmodelle 432 so trainiert, angesiedelt und ausgeführt werden, dass sie Inferenzen über ein bestimmtes UAV oder ein anderes Computergerät bereitstellen, und/oder auf andere Weise Inferenzen für das bestimmte UAV oder das andere Computergerät vornehmen.
Während der Trainingsphase 402 können die Maschinenlernalgorithmen 420 trainiert werden, indem zumindest Trainingsdaten 410 als Trainingseingabe unter Nutzung von nicht überwachten, überwachten, halbüberwachten und/oder bestärkenden Lerntechniken bereitgestellt werden. Nicht überwachtes Lernen beinhaltet ein Bereitstellen eines Teils (oder aller) der Trainingsdaten 410 für den Maschinenlernalgorithmus 420, und der Maschinenlernalgorithmus 420 ermittelt eine oder mehrere Ausgabeinferenzen basierend auf dem bereitgestellten Teil (oder allen) der Trainingsdaten 410. Überwachtes Lernen beinhaltet ein Bereitstellen eines Teils der Trainingsdaten 410 für den Maschinenlernalgorithmus 420, wobei der Maschinenlernalgorithmus 420 eine oder mehrere Ausgabeinferenzen basierend auf dem bereitgestellten Teil der Trainingsdaten 410 ermittelt, und die Ausgabeinferenzen werden entweder akzeptiert oder basierend auf korrekten Ergebnissen, die mit Trainingsdaten 410 assoziiert sind, korrigiert. In einigen Beispielen kann das überwachte Lernen der Maschinenlernalgorithmen 420 durch einen Satz von Regeln und/oder einen Satz von Kennzeichnungen für die Trainingseingabe geregelt werden, und der Satz von Regeln und/oder der Satz von Kennzeichnungen kann verwendet werden, um Inferenzen der Maschinenlernalgorithmen 420 zu korrigieren. Das überwachte Lernen von Maschinenlernalgorithmen 420 kann Trainingsdaten 410 beinhalten, die durch menschliche Bediener und/oder einen vertrauenswürdigen Datensatz bereitgestellt werden, der in einigen Beispielen von Dritten bereitgestellt werden kann.
Das halbüberwachte Lernen beinhaltet, dass korrekte Ergebnisse für einen Teil, aber nicht alle, der Trainingsdaten 410 vorliegen. Während des halbüberwachten Lernens wird überwachtes Lernen für einen Teil der Trainingsdaten 410 mit korrekten Ergebnissen verwendet, und unüberwachtes Lernen wird für einen Teil der Trainingsdaten 410 mit nicht korrekten Ergebnissen verwendet. Bestärkendes Lernen beinhaltet, dass Maschinenlernalgorithmen 420 ein Belohnungssignal bezüglich einer vorherigen Inferenz empfangen, wobei das Belohnungssignal ein numerischer Wert sein kann. Während des bestärkenden Lernens können Maschinenlernalgorithmen 420 eine Inferenz ausgeben und als Reaktion ein Belohnungssignal empfangen, wobei die Maschinenlernalgorithmen 420 konfiguriert sind, zu versuchen, den numerischen Wert des Belohnungssignals zu maximieren. In einigen Beispielen verwendet das bestärkende Lernen auch eine Wertefunktion, die einen numerischen Wert bereitstellt, der eine erwartete Summe der numerischen Werte darstellt, die durch das Belohnungssignal über die Zeit bereitgestellt werden. In einigen Beispielen können Maschinenlernalgorithmen 420 und/oder trainierte Maschinenlernmodelle 432 unter Nutzung anderer Maschinenlerntechniken trainiert werden, einschließlich, aber nicht beschränkt auf, inkrementelles Lernen und Lehrplanlernen.
In einigen Beispielen können Maschinenlernalgorithmen 420 und/oder trainierte Maschinenlernmodelle 432 Transferlerntechniken verwenden. Transfertechniken können beispielsweise trainierte Maschinenlernmodelle 432 beinhalten, die mit einem Datensatz vortrainiert sind und zusätzlich unter Nutzung von Trainingsdaten 410 trainiert werden. Insbesondere können Maschinenlernalgorithmen 420 mit Daten von einem oder mehreren Computergeräten vortrainiert werden und ein resultierendes trainiertes Maschinenlernmodell einem UAV bereitgestellt werden, wobei das UAV dazu bestimmt ist, das trainierte Maschinenlernmodell während der Inferenzphase 404 auszuführen. Anschließend, während der Trainingsphase 402, kann das vortrainierte Maschinenlernmodell zusätzlich unter Nutzung von Trainingsdaten 410 trainiert werden, wobei Trainingsdaten 410 von dem UAV abgeleitet werden können. Dieses weitere Trainieren der Maschinenlernalgorithmen 420 und/oder des vortrainierten Maschinenlernmodells unter Nutzung von Trainingsdaten 410 der eigenen Daten des UAV kann entweder unter Nutzung von überwachtem oder nicht überwachtem Lernen durchgeführt werden. Sobald die Maschinenlernalgorithmen 420 und/oder das vortrainierte Maschinenlernmodell zumindest mit den Trainingsdaten 410 trainiert wurden, kann die Trainingsphase 402 abgeschlossen werden. Das trainierte resultierende Maschinenlernmodell kann als zumindest eines von den trainierten Maschinenlernmodellen 432 verwendet werden.
Insbesondere können, sobald die Trainingsphase 402 abgeschlossen ist, kann das trainierte Maschinenlernmodell 432 einem UAV bereitgestellt werden, wenn es nicht bereits auf dem UAV vorhanden ist. Die Inferenzphase 404 kann beginnen, nachdem trainierte Maschinenlernmodelle 432 dem UAV bereitgestellt wurden.
Während der Inferenzphase 404 können trainierte Maschinenlernmodelle 432 Eingabedaten 430 empfangen und eine oder mehrere entsprechende Inferenzen und/oder Vorhersagen 450 über Eingabedaten 430 erzeugen und ausgeben. Daher können die Eingabedaten 430 als eine Eingabe für trainierte Maschinenlernmodelle 432 verwendet werden, um entsprechende Inferenzen und/oder Vorhersagen 450 für ein UAV bereitzustellen. Die trainierten Maschinenlernmodelle 432 können Inferenzen und/oder Vorhersagen 450 beispielsweise in Reaktion auf eine oder mehrere Inferenz-/Vorhersageanforderungen 440 erzeugen. Eingabedaten 430 können Daten von einem ersten UAV, das trainierte Maschinenlernmodelle 432 ausführt, und/oder Eingabedaten von einem oder mehreren anderen UAVs beinhalten.
In einigen Beispielen können die Eingabedaten 430 eine Sammlung von Bildern beinhalten, die von einer oder mehreren Quellen bereitgestellt werden. Die Sammlung von Bildern kann Standbilder, Videoframes, Bilder, die sich auf einem UAV befinden, und/oder andere Bilder beinhalten. In einigen Beispielen können die Eingabedaten 430 ein oder mehrere zweidimensionale (2D) Bilder beinhalten, die von einer auf den Boden gerichteten Kamera an einem UAV erfasst werden und eine Umgebung des UAV repräsentieren. Die Bilder der Umgebung können, neben anderen Möglichkeiten, ein Gelände unterhalb des UAV beinhalten, wenn das UAV von einem Startort zu einem Zielort navigiert. Die Bilder der Umgebung können auch eine Zustellzone beinhalten, zu der das UAV eine Traglast zustellen soll. Andere Arten von Eingabedaten sind ebenfalls möglich.
Inferenzen und/oder Vorhersagen 450 können Ausgabebilder, Ausgabezwischenbilder, numerische Werte und/oder andere Ausgabedaten beinhalten, die von trainierten Maschinenlernmodellen 432 erzeugt werden, die mit Eingabedaten 430 (und Trainingsdaten 410) arbeiten. In einigen Beispielen können trainierte Maschinenlernmodelle 432 Ausgabeinferenzen und/oder -vorhersagen 450 als Eingabefeedback 460 verwenden. Trainierte Maschinenlernmodelle 432 können auch auf vergangene Inferenzen als Eingaben zur Erzeugung neuer Inferenzen zurückgreifen.
In einigen Beispielen kann ein Ausgabebild, das in Inferenzen und/oder Vorhersagen 450 beinhaltet ist, ein semantisches Segmentierungsbild sein, das hierin auch als ein semantisches Bild oder ein Segmentierungsbild bezeichnet wird. Das semantische Segmentierungsbild kann semantische Kennzeichnungen beinhalten, die hierin auch als semantische Klassifizierungen bezeichnet sein können. Die semantischen Kennzeichnungen können aus einem vorbestimmten Satz von Kennzeichnungen ausgewählt werden. In einigen Beispielen kann der Satz von Kennzeichnungen beinhalten, die Gebäude, Straßen, Vegetation, Fahrzeuge, Fahrbahnen, Rasen und Gehwege darstellen. In weiteren Beispielen können stattdessen oder ebenfalls auch andere Kennzeichnungen in einem Satz von semantischen Kennzeichnungen beinhaltet sein.
In weiteren Beispielen kann ein Ausgabebild, das innerhalb der Inferenzen und/oder Vorhersagen 450 beinhaltet ist, ein Tiefenbild sein. Jedes Pixel des Tiefenbilds kann eine Tiefe oder einen Abstand des Pixels zu einer Bildgebungsvorrichtung, die das Bild erfasst hat, darstellen. In Beispielen, in denen die Kamera eine 2D-Kamera ist, kann das durch ein Maschinenlernmodell erzeugte Tiefenbild als ein monokulares Tiefenbild bezeichnet werden.
Ausgabebilder, die in Inferenzen und/oder Vorhersagen 450 beinhaltet sind, können von einem UAV verwendet werden, um UAV-Lokalisierungs-, Navigations-, Traglastzustellungs- und/oder andere Bereitstellungsvorgänge zu erleichtern. In weiteren Beispielen können Inferenzen und/oder Vorhersagen 450 andere Arten von Ausgabedaten beinhalten, die verwendet werden können, um stattdessen oder ebenso gut die gleichen oder unterschiedliche UAV-Bereitstellungsvorgänge zu ermöglichen.
VI. Datenerfassung und -verarbeitung zur semantischen Analyse
In einigen Beispielen kann ein UAV zu einem Zustellort navigieren und verifizieren, dass ein anfänglicher Zustellpunkt am Zustellort weiterhin ein optimaler Punkt für die Zustellung der Traglast ist. In einigen Beispielen kann, wenn das UAV Veränderungen des Zustellorts erkennt (z. B. ein überwachsener Baum, der den anfänglichen Zustellpunkt versperrt oder sich in unmittelbarer Nähe davon befindet), das UAV den Zustellpunkt leicht versetzen und/oder die Zustellung der Traglast abbrechen. Beim Navigieren zu dem Zustellort könnte das UAV ein oder mehrere Bilder des Zustellorts erfassen, um das Ermitteln und Evaluieren von Zustellpunkten zu erleichtern.
5 stellt ein UAV 500, das ein Bild eines Zustellorts 510 erfasst, gemäß beispielhaften Ausführungsformen dar. Das UAV 500 kann eine Konfiguration aufweisen, die denen der zuvor erläuterten beispielhaften UAVs, z. B. UAV 100, ähnlich ist. In einigen Beispielen kann das UAV 500 einen Sensor 502 beinhalten, der eine Kamera (z. B. eine 2D-RGB-Kamera) sein kann, die nach unten weist. Neben anderen Verwendungszwecken kann das UAV 500 den Sensor 502 so steuern, dass er Bilder der Umgebung erfasst, um zu ermitteln, wohin es navigieren soll, um Hindernisse zu vermeiden. Diese Bilder können repräsentativ für den Standort unterhalb des UAV sein.
Ferner kann UAV 500 andere Sensoranordnungen beinhalten, z. B. Tiefensensoranordnungen. In einigen Beispielen könnten diese Tiefensensoranordnungen zwei oder mehr Kameras beinhalten, die zusammenwirken, um eine Tiefenwahrnehmung zu ermöglichen. Tiefensensoranordnungen könnten auch einen einzigen Tiefensensor, z. B. einen LIDAR-Sensor, beinhalten. Diese Sensoranordnungen könnten dazu beitragen, neben anderen Informationen weitere Informationen über den Zustellort, einschließlich der Höhe zu vermeidender Hindernisse, bereitzustellen.
In dem durch 5 dargestellten Beispiel beinhaltet der Zustellort 510 neben anderen Elementen ein Gebäude 512, Bäume 514 und eine Bodenfläche 516. Einige der Elemente des Zustellorts 510, z. B. das Gebäude 512 und die Bäume 514, können Hindernisse sein, die beim Zustellen einer Traglast vermieden werden müssen, während andere Elemente des Zustellorts 510, z. B. die Bodenfläche 516, angemessene Standorte zum Zustellen einer Traglast sein können.
6 stellt ein Bild 600 und ein Segmentierungsbild 650 gemäß beispielhaften Ausführungsformen dar. Das UAV 500 kann das Bild 600 von dem Zustellort 510 erfasst haben. In einigen Beispielen kann das Bild 600 ein 2D-Bild sein, das von einem Sensor 502 von UAV 500 erfasst wird. Das Bild 600 beinhaltet verschiedene Elemente des Zustellorts 510, z. B. Element 602, das ein Gebäude 512 darstellt, Element 604, das Bäume 514 darstellt, und Element 612, das die Bodenfläche 516 darstellt.
Um zu ermitteln, welche Elemente aus Bild 600 Hindernisse sind, kann das UAV 500 das erfasste Bild 600 in ein trainiertes Maschinenlernmodell eingeben, um ein Segmentierungsbild 650 zu erhalten, das semantische Klassifizierungen beinhalten kann. Wie erwähnt, können diese semantischen Klassifizierungen Pixel oder Pixelbereiche innerhalb des Bilds beschreiben, z. B., neben anderen semantischen Klassifizierungen, als Bäume, Straßen oder Gehwege.
Das Segmentierungsbild 650 kann beispielsweise das Element 602 in einen Gebäudepixelbereich 652, das Element 604 in einen Baumpixelbereich 654, das Element 606 in einen Fahrzeugpixelbereich 656, das Element 614 in einen Gehwegpixelbereich 664, das Element 610 in einen Einfahrtpixelbereich 660 und das Element 612 in einen Bodenpixelbereich 662 klassifizieren. Jede dieser Segmentierungsklassifizierungen kann ein Hindernis anzeigen oder kein Hindernis anzeigen. So können beispielsweise die Pixelbereiche, die eine Segmentierungsklassifizierung von Gebäude, Baum und Fahrzeug (z. B. Gebäudepixelbereich 652, Baumpixelbereich 654 und Fahrzeugpixelbereich 656) aufweisen, alle Hindernisse anzeigen und daher zu vermeidende Pixelbereiche anzeigen. Andere Pixelbereiche, die eine Segmentierungsklassifizierung aufweisen, die kein Hindernis anzeigt, z. B. der Einfahrtpixelbereich 660, der Bodenpixelbereich 662 und der Gehwegpixelbereich 664, können Pixelbereiche anzeigen, in denen das UAV die Traglast zustellen kann.
VII. Leichte semantische Versetzung
7 stellt einen anfänglichen Zustellpunkt und einen leicht versetzten Zustellpunkt gemäß beispielhaften Ausführungsformen dar. 7 stellt das Segmentierungsbild 700 des Zustellorts dar, und das Segmentierungsbild 700 beinhaltet den anfänglichen Zustellpunkt 704. Basierend auf dem Segmentierungsbild könnte das UAV ein Abstand-zu-Hindernis-Bild ermitteln, um das Ermitteln eines leicht versetzten Zustellpunkts, der zur Zustellung der Traglast vorzuziehen ist, zu ermöglichen. Wie zuvor erwähnt, könnte das Abstand-zu-Hindernis-Bild einen oder mehrere Pixel beinhalten, und jedes Pixel könnte einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellen, die ein Hindernis an dem Zustellort anzeigt.
Beispielsweise könnte das UAV den Abstand von dem anfänglichen Zustellpunkt 704 zu jedem der Pixelbereiche mit einer semantischen Klassifizierung berechnen, die ein Hindernis anzeigt, und den kleinsten Abstand zu einem Hindernis ermitteln. Dieser Abstand kann als der durch dieses Pixel repräsentierte Abstand bezeichnet werden. Für den anfänglichen Zustellpunkt 704 könnte das UAV einen Abstand von dem anfänglichen Zustellpunkt 704 zu dem Gebäudepixelbereich 712, einen Abstand von dem anfänglichen Zustellpunkt 704 zu dem Baumpixelbereich 714 und einen Abstand von dem anfänglichen Zustellpunkt 704 zu dem Fahrzeugpixelbereich 716 berechnen. Das Ermitteln dieser Abstände kann ein Ermitteln von 2D-Messungen seitlicher Abstände umfassen. Das UAV könnte jeden der ermittelten Abstände vergleichen, ermitteln, dass der Abstand von dem anfänglichen Zustellpunkt 704 zu dem Fahrzeugpixelbereich 716 die kleinste von allen ermittelten Abständen ist, und diesen Abstand als den Abstand ausweisen, der durch das Pixel an dem anfänglichen Zustellpunkt 704 des Abstand-zu-Hindernis-Bilds dargestellt wird.
In einigen Beispielen kann das UAV nur das Abstand-zu-Hindernis-Bild für einen Bereich innerhalb einer Zustellzone an dem Zustellort ermitteln. Die Zustellzone kann ein Bereich des Segmentierungsbilds sein, der einem Bereich an dem Zustellort innerhalb eines Schwellenabstands von dem Zustellpunkt entspricht. So kann der anfängliche Zustellpunkt 704 beispielsweise mit der Zustellzone 702 assoziiert sein, die ein Bereich innerhalb von zwei Metern des Zustellpunkts 704 in allen seitlichen Richtungen sein kann. Der anfängliche Zustellpunkt 704 kann sich somit zwangsläufig in der Mitte der Zustellzone 702 befinden. In einigen Beispielen kann das UAV die Zustellzone basierend auf einem Winkel anpassen, in dem das Bild erfasst wurde, z. B. wenn das UAV das Bild in einem Winkel von 30 Grad erfasst hat, kann das UAV eine Zustellzone verwenden, die eine ovale Form aufweist, damit der Winkel von 30 Grad berücksichtigt wird. Das Ermitteln des Abstand-zu-Hindernis-Bilds für lediglich einen Teil des Bilds kann Rechenraum und Zeit sparen, da ein Bild mehrere hundert Pixel und mehrere Bereiche, die als Hindernisse angegeben sind, aufweisen könnte. Das Berechnen des Abstands für jedes Pixel in dem Bild könnte außerdem entfallen, da es bevorzugt sein kann, dass das UAV die Traglast niemals zu weit weg von dem vorgesehenen Zustellpunkt, z. B. dem anfänglichen Zustellpunkt 704, zustellt.
Obwohl das Abstand-zu-Hindernis-Bild womöglich nur für die anfängliche Zustellzone 704 ermittelt wird, kann das nächstgelegene Hindernis eines gegebenen Pixels in der anfänglichen Zustellzone 704 außerhalb der anfänglichen Zustellzone 704 liegen. Wenn sich der Fahrzeugpixelbereich 716 beispielsweise nicht in dem Bild befand, kann der nächstgelegene Pixelbereich für den anfänglichen Zustellpunkt 704 der Baumpixelbereich 714 sein. Das UAV kann das Pixel, das dem anfänglichen Zustellpunkt 704 in dem Abstand-zu-Hindernis-Bild entspricht, somit als den Abstand zwischen dem anfänglichen Zustellpunkt 704 und dem Baumpixelbereich 714 ausweisen.
Basierend auf dem Abstand-zu-Hindernis-Bild kann das UAV einen Zustellpunkt in der Zustellzone auswählen. So kann das UAV beispielsweise basierend auf Segmentierungsbild 700 einen leicht versetzten Zustellpunkt 724 zum Zustellen der Traglast auswählen. In einigen Beispielen kann das UAV den Zustellpunkt basierend auf einer Höhe auswählen (z. B. einen Zustellpunkt auswählen, der am weitesten von dem höchsten Hindernis entfernt ist), basierend auf bestimmten Klassifizierungen (z. B. einen Zustellbereich auswählen, der am weitesten von Pixelbereichen mit semantischer Klassifizierung von Straßen entfernt ist, das Traglasten Unfälle verursachen oder beschädigt werden könnten), und/oder basierend auf dem Zustellpunkt, der den größten Abstand von einem Pixelbereich mit einer semantischen Klassifizierung aufweist, die ein Hindernis anzeigt.
In weiteren Beispielen kann der Zustellpunkt 724 auch basierend auf einem dreidimensionalen (3D) Bild eines Zustellorts ausgewählt werden. In einigen dieser Beispiele kann das UAV ein erfasstes Bild in ein trainiertes Maschinenlernmodell eingeben, um das 3D-Bild zu erhalten. Das 3D-Bild kann Tiefenmessungen beinhalten, und diese Tiefenmessungen können verwendet werden, um den Zustellpunkt auszuwählen. Beispielsweise kann das UAV einen leicht versetzten Zustellpunkt basierend darauf auswählen, dass der Zustellpunkt zumindest einen Schwellenabstand entfernt von dem höchsten Hindernis und/oder beliebigen Hindernissen mit mehr als einer bestimmten Höhe ist.
Das Auswählen des Zustellpunkts in der Zustellzone kann auch ein Ermitteln eines ersten Werts in einer ersten Richtung und eines zweiten Werts in einer zweiten Richtung beinhalten, wobei der erste und der zweite Wert den leicht versetzten Zustellpunkt in Bezug auf eine aktuelle Position des UAV darstellen. Das UAV kann beispielsweise eine aktuelle Position des anfänglichen Zustellpunkt 704 aufweisen. Das UAV kann einen leicht versetzten Zustellpunkt 724 unter Nutzung eines ersten Werts in einer ersten Richtung und eines zweiten Werts in einer zweiten Richtung darstellen, z. B. liegt dieser leicht versetzte Zustellpunkt 724 1,5 Meter nördlich und 1,3 Meter östlich von dem anfänglichen Zustellpunkt 704 und dem aktuellen Standort des UAV. Basierend auf diesen Werten und Richtungen kann das UAV dann zu dem angepassten Zustellpunkt navigieren.
In weiteren Beispielen kann das UAV ein Tiefenbild unter Nutzung eines oder mehrerer Sensoren erfassen oder ein Tiefenbild basierend auf einem durch das UAV erfassten Bild ermitteln. Das Tiefenbild kann Tiefenmessungen beinhalten, und das UAV kann das Tiefenbild verwenden, um die horizontale Positionierung des UAV von dem Zustellpunkt während eines Absinkens des UAV anzupassen. Wenn das UAV beispielsweise erkennt, dass es sich in der Nähe eines hohen Hindernisses (z. B. eines Baums) befindet, kann das UAV seine horizontale Position so anpassen, dass es weiter von dem hohen Hindernis entfernt ist.
In einigen Beispielen kann das UAV, vor Ermitteln des Abstand-zu-Hindernis-Bilds und vor Auswählen eines leicht versetzten Zustellpunkts, zunächst ermitteln, ob ein Ermitteln eines leicht versetzten Zustellpunkts erforderlich ist. Ist der anfängliche Zustellpunkt beispielsweise weit genug von Hindernissen entfernt, ist es womöglich nicht erforderlich, einen leicht versetzten Zustellpunkt zu ermitteln. Daher kann das UAV zuerst ermitteln, dass der anfängliche Zustellpunkt weniger als einen Schwellenabstand entfernt von dem nächstgelegenen Hindernis (oder dem höchsten Hindernis, dem Hindernis mit einer bestimmten Klassifizierung oder einer Kombination davon) ist. Und in Reaktion auf das Ermitteln, dass der anfängliche Zustellpunkt weniger als der Schwellenabstand von dem Hindernis entfernt ist (z. B. dass ein leichtes Versetzen des Zustellpunkts die Zustellung der Traglast verbessern kann), kann das UAV das Abstand-zu-Hindernis-Bild ermitteln, um ein Auswählen eines leicht versetzten Zustellpunkts zu ermöglichen. Ist der anfängliche Zustellpunkt weiter als der Schwellenabstand von dem nächstgelegenen Hindernis entfernt, so kann das UAV stattdessen den anfänglichen Zustellpunkt als den leicht versetzten Zustellpunkt in der Zustellzone auswählen.
In einigen Beispielen kann das UAV den leicht versetzten Zustellpunkt 724 unter Nutzung von zwei oder mehr Bildern, die von dem Zustellort erfasst wurden, ermitteln. Zum Beispiel kann das UAV, während es über dem anfänglichen Zustellpunkt 704 schwebt, periodisch Bilder des Zustellorts erfassen. Zusätzlich oder alternativ kann das UAV periodisch Bilder des Zustellorts erfassen, während es über dem anfänglichen Zustellpunkt 704 absinkt. Und basierend auf diesen zwei oder mehr erfassten Bildern des Zustellorts kann das UAV zwei oder mehr Segmentierungsbilder und zwei oder mehr Abstand-zu-Hindernis-Bilder ermitteln. Das UAV kann dann diese Abstand-zu-Hindernis-Bilder dann als Grundlage zum Ermitteln eines angepassten Zustellpunkts verwenden.
Das Erfassen von zwei oder mehr Bildern, die als Grundlage für das Ermitteln eines leicht versetzten Zustellpunkts verwendet werden sollen, kann besonders bei Zustellorten mit schwankender Aktivität nützlich sein. Befindet sich der Zustellpunkt beispielsweise auf einem Gehweg, kann das Erfassen von zwei oder mehr Bildern Bewegung auf dem Gehweg anzeigen. Basierend auf dem Erkennen von Bewegung (z. B. Varianz in den Segmentierungsbildern und/oder Varianz in den Abstand-zu-Hindernis-Bildern) kann das UAV einen leicht versetzten Zustellpunkt basierend darauf ermitteln, dass sich der leicht versetzte Zustellpunkt nicht in der Nähe des Bereichs mit der erkannten Bewegung befindet.
Ferner kann das UAV zwei oder mehr Bilder erfassen, um die Konfidenz hinsichtlich des leicht versetzen Zustellpunkts zu erhöhen und zu verifizieren, dass der leicht versetzte Zustellpunkt folgerichtig ein Zustellpunkt ist, an dem die Zustellung der Traglast abgeschlossen werden kann. Wenn das UAV den gleichen leicht versetzten Zustellpunkt oder leicht versetzte Zustellpunkte innerhalb eines allgemeinen Bereichs über die zwei oder mehr erfassten Bilder ermittelt, kann der leicht versetzte Zustellpunkt ein Zustellpunkt sein, an dem das UAV die Traglast sicher zustellen kann.
VIII. Leicht versetzte/Nicht versetzte Bewegungsbahnen
8 stellt eine nicht versetzte Bewegungsbahn 802 und eine leicht versetzte Bewegungsbahn 850 gemäß beispielhaften Ausführungsformen dar. Die nicht versetzte Bewegungsbahn 802 kann die Bewegungsbahn sein, der das UAV folgt, wenn der anfängliche Zustellpunkt nicht versetzt ist. Das UAV kann sich zum Zustellpunkt navigieren und direkt nach unten zum Boden oder auf eine bestimmte Höhe über dem Boden absenken, bevor die Traglast zugestellt wird. In einigen Beispielen kann sich die nicht versetzte Bewegungsbahn 802 jedoch in unmittelbarer Nähe zu einem oder mehreren Hindernissen befinden. Beispielsweise kann das UAV 800 während seines Absenkens durch einen Punkt 804 der nicht versetzten Bewegungsbahn navigieren, und das UAV 800 kann sich an dem Punkt 804 der nicht versetzten Bewegungsbahn gefährlich nahe zu Bäumen 810 befinden. Wenn das UAV über die nicht versetzte Bewegungsbahn 804 absinkt, um die Traglast an dem Zustellpunkt zuzustellen, kann die Traglast ferner auf einem Fahrzeug 812 zugestellt werden, das womöglich kein optimaler Standort für die Zustellung einer Traglast ist.
Die leicht versetzte Bewegungsbahn 850 kann eine optimalere Bewegungsbahn zum Navigieren des UAV für eine Zustellung der Traglast sein. Die leicht versetzte Bewegungsbahn 850 kann unter Nutzung des zuvor offenbarten Prozesses ermittelt werden. Und zwar kann das UAV 800 so navigieren, dass es sich über einem anfänglichen Zustellpunkt befindet und auf eine bestimmte Höhe absinkt, bevor es ein oder mehrere Bilder erfasst, um einen leicht versetzten Zustellpunkt zu ermitteln. Die leicht versetzte Bewegungsbahn 850 kann eine absinkende Bewegungsbahn 852 und eine aufsteigende Bewegungsbahn 854 beinhalten.
Das UAV kann der absinkenden Bewegungsbahn 852 folgen, um die Traglast zuzustellen, und das UAV kann der aufsteigenden Bewegungsbahn 854 folgen, um nach Zustellung der Traglast in eine höhere Höhe zurückzukehren. Um Kollisionen mit Hindernissen zu vermeiden, kann die aufsteigende Bewegungsbahn 854 einen Bereich durchqueren, der hinsichtlich seiner Höhe höher liegt als die absinkende Bewegungsbahn 852.
Die absinkende Bewegungsbahn 852 kann beispielsweise an einem ersten Punkt 870 in einer ersten Höhe über dem anfänglichen Zustellpunkt beginnen. Anschließend kann das UAV 800 zu einem zweiten Punkt 872 in einer zweiten Höhe über dem leicht versetzten Zustellpunkt absinken. Der zweite Punkt 872 kann sich in einer niedrigeren Höhe als der ersten Höhe befinden. Anschließend kann das UAV 800 weiter über den leicht versetzten Zustellpunkt absinken, um die Traglast zuzustellen. Mit der leicht versetzten Bewegungsbahn 850 bewegt sich das UAV 800 womöglich nicht mehr so nah an Bäumen 860 entlang wie bei der nicht versetzten Bewegungsbahn 802. Außerdem kann das UAV 800 in der Lage sein, die Traglast über Boden 862 anstatt über einem Fahrzeug 812 zuzustellen. Nachdem das UAV 800 die Traglast zugestellt hat, kann es zurück zu dem zweiten Punkt 872 aufsteigen. An dem zweiten Punkt 872 kann das UAV 800 durch die aufsteigende Bewegungsbahn 854 navigieren, um zu einem dritten Punkt 874 zu gelangen. Der dritte Punkt 874 kann über dem anfänglichen Zustellpunkt positioniert sein und kann sich in einer höheren Höhe als der zweite Punkt 872 befinden. In einigen Beispielen, wie z. B. in 8 dargestellt, kann sich der dritte Punkt 874 ebenfalls in einer höheren Höhe als der erste Punkt 870 befinden.
Die aufsteigende Bewegungsbahn 854, der das UAV 800 folgen kann, um von über dem leicht versetzten Zustellpunkt zu über dem anfänglichen Zustellpunkt zu navigieren, kann eine Bewegungsbahn sein, die sich von der anfänglich verfolgten absinkenden Bewegungsbahn unterscheidet. Diese unterschiedlichen Bewegungsbahnen können ein Lösen eines potenziellen Problems ermöglichen, bei dem das UAV beim Aufsteigen mit einem Hindernis kollidieren könnte. Beispielsweise könnte das UAV 800 einer absinkenden Bewegungsbahn folgen, die einen Baum gerade so vermeidet. Wenn das UAV 800 der gleichen Bewegungsbahn folgt, um aufzusteigen, könnte das UAV potenziell mit dem Baum kollidieren, wenn Ungenauigkeiten oder Fremdfaktoren vorliegen. Es könnte daher vorteilhaft sein, dass die aufsteigende Bewegungsbahn einen Bereich durchläuft, der sich von der absinkenden Bewegungsbahn 852 unterscheidet (z. B. darüber liegt).
9 stellt eine absinkende Bewegungsbahn 910 und eine aufsteigende Bewegungsbahn 920 gemäß beispielhaften Ausführungsformen dar. Die absinkende Bewegungsbahn 910 beginnt an einem ersten Punkt 912 und endet an einem zweiten Punkt 914, und die aufsteigende Bewegungsbahn 920 beginnt an einem dritten Punkt 922 und endet an einem vierten Punkt 924. Das UAV kann die absinkende Bewegungsbahn 910 und die aufsteigende Bewegungsbahn 920 basierend auf der Wahrscheinlichkeit eines Kollidierens mit verschiedenen Hindernissen ermitteln. Die absinkende Bewegungsbahn 910 kann eine horizontale Absinkgeschwindigkeit und eine vertikale Absinkgeschwindigkeit beinhalten, und die aufsteigende Bewegungsbahn 920 kann eine horizontale Aufstiegsgeschwindigkeit und eine vertikale Aufstiegsgeschwindigkeit beinhalten.
Jeder von dem ersten Punkt 912 und dem zweiten Punkt 914 der absinkenden Bewegungsbahn 910 und jeder von dem dritten Punkt 922 und vierten Punkt 924 der aufsteigenden Bewegungsbahn 920 kann sich in verschiedenen Höhen in der Umgebung befinden, um die Wahrscheinlichkeit eines Kollidierens mit verschiedenen Objekten zu verringern. In einigen Beispielen können die Höhen basierend auf dem Abstand des Punkts zur Bodenhöhe gemessen werden. Der dritte Punkt 914 kann sich beispielsweise in eine Höhe 934 befinden.
Wie zuvor erwähnt, kann das UAV 900 in einer ersten Höhe über dem anfänglichen Zustellpunkt 950 an dem Zustellort zu dem ersten Punkt 912 navigieren. Das Navigieren zu dem ersten Punkt 912 kann ein Navigieren des UAV 900 ausgehend von einem Startort (z. B. von einem Lager, einem zentralen Standort von UAVs, einem vorherigen Zustellort usw.), ein Positionieren des UAV über dem anfänglichen Zustellpunkt 950 und ein Absinken über den anfänglichen Zustellpunkt 950, z. B. über Bewegungsbahn 902, bis auf die erste Höhe umfassen.
Nach dem Navigieren zu dem ersten Punkt 912 kann das UAV 900 den leicht versetzten Zustellpunkt 934 ermitteln, möglicherweise in Reaktion auf ein Ermitteln, dass der anfängliche Zustellpunkt 950 durch ein Hindernis behindert wird oder anderweitig kein günstiger Standort zum Zustellen der Traglast mehr ist. Um einen leicht versetzten Zustellpunkt 934 zu ermitteln, kann das UAV ein oder mehrere Bilder des Zustellorts erfassen, während es über dem anfänglichen Zustellpunkt 950 schwebt, oder während es auf die erste Höhe über dem anfänglichen Zustellpunkts 950 absinkt. Das UAV kann einen leicht versetzten Zustellort 960 basierend auf dem erfassten Bild bestimmen, möglicherweise unter Nutzung des zuvor erläuterten Verfahrens zum Ermitteln eines Segmentierungsbilds und eines Abstand-zu-Hindernis-Bilds der Zustellzone. Es können auch andere Verfahren zum Ermitteln eines alternativen Zustellpunkts verwendet werden.
Basierend auf dem leicht versetzten Zustellpunkt 960 kann UAV 900 durch eine absinkende Bewegungsbahn navigieren, um das UAV von dem ersten Punkt 912 zu dem zweiten Punkt 914 zu bewegen. Der zweite Punkt 914 kann sich in einer zweiten Höhe über dem leicht versetzten Zustellpunkt 960 befinden und kann sich in einer niedrigeren Höhe befinden als der erste Punkt 912. Das Absinken beim Navigieren zu dem leicht versetzten Zustellpunkt 960 kann zu einem schnelleren Abschluss der Zustellaufgabe bei gleichzeitigem Vermeiden von Kollisionen mit Hindernissen führen.
Das UAV 900 kann die Traglast an dem zweiten Punkt 914 zustellen oder über dem leicht versetzten Zustellpunkt 960 weiter absinken, um die Traglast zuzustellen. Insbesondere kann das UAV 900 über dem leicht versetzten Zustellpunkt 960 schweben und ein Halteseil zum oder in die Nähe des Bodens ausfahren, um die Traglast zuzustellen. Alternativ kann das UAV 900 über dem leicht versetzten Zustellpunkt 960 weiter absinken, bevor es das Halteseil ausfährt, um die Traglast zuzustellen. In einigen Beispielen kann UAV 900 das Halteseil auch während der absinkenden Bewegungsbahn 910 ausfahren.
Nachdem das UAV 900 die Traglast zugestellt hat, kann es über die Bewegungsbahn 906 aufsteigen, um zu dem dritten Punkt 922 zu gelangen. Der dritte Punkt 922 kann sich in einer dritten Höhe über dem leicht versetzten Zustellpunkt 960 befinden. In einigen Beispielen kann das UAV 900 das Halteseil zumindest teilweise einziehen, während es über die Bewegungsbahn 906 aufsteigt.
Nach dem Eintreffen an dem dritten Punkt 922 kann sich das UAV 900 durch die aufsteigende Bewegungsbahn 920 ausgehend von dem dritten Punkt 922 und endend an dem vierten Punkt 924 bewegen. Der vierte Punkt 924 kann sich in einer vierten Höhe über dem anfänglichen Zustellpunkt 950 befinden, und der vierte Punkt 924 kann sich in einer höheren Höhe als der dritte Punkt 922 befinden. Ein Navigieren zu über dem anfänglichen Zustellpunkt vor dem Verlassen des Zustellorts kann die Wahrscheinlichkeit verringert, dass das UAV 900 mit einem Hindernis kollidiert. Da das UAV 900 möglicherweise keinen Sensor aufweist und/oder verwendet, der die Umgebung über dem UAV 900 erfasst, kann sich ein Hindernis möglicherweise über dem leicht versetzten Zustellpunkt 960 befinden, und das UAV 900 kann womöglich nicht in der Lage sein, die Anwesenheit eines solchen Hindernisses zu erkennen. Das UAV 900 kann zum Beispiel einen leicht versetzten Zustellpunkt 960 ermitteln, nachdem es auf eine Höhe navigiert hat, die unterhalb einer Auskragung eines Gebäudes liegt. Das UAV 900 kann daher versäumen, die Auskragung beim Ermitteln des leicht versetzten Zustellpunkts 960 zu berücksichtigen, und einen leicht versetzten Zustellpunkt 960 ermitteln, der sich unterhalb der Auskragung befindet. Wenn das UAV 900 nicht zurück zu dem anfänglichen Zustellpunkt 950 navigiert, kann UAV 900 mit der Auskragung kollidieren. Daher kann das Navigieren von dem dritten Punkt 922 oberhalb des leicht versetzten Zustellpunkts 960 zu dem vierten Punkt 924 oberhalb des anfänglichen Zustellpunkts 950 zu erfolgreicheren UAV-Zustellungen führen, das die Wahrscheinlichkeit verringert wird, von oben mit unerkannten Hindernissen zu kollidieren.
In einigen Beispielen kann das Halteseil von UAV 900 während zumindest eines Teils der ansteigenden Bewegungsbahn 920 zumindest teilweise ausgefahren sein, und das UAV 900 kann das Halteseil während eines Navigierens der aufsteigenden Bewegungsbahn 920 einziehen. Wie zuvor erwähnt, kann das Einziehen des Halteseils, während das UAV von dem Zustellort abfliegt, die Gesamtzeit, die das UAV benötigt, um einen Artikel zuzustellen, verringern, doch das Halteseil kann unkontrolliert schwingen, was Kollisionen mit verschiedenen Hindernissen verursachen kann. Daher könnte das UAV, um Hindernisse zu vermeiden, mit einer langsameren horizontalen Geschwindigkeit durch die aufsteigende Bewegungsbahn 920 als die absinkende Bewegungsbahn 910 navigieren, insbesondere in Fällen, in denen das Halteseil des UAV 900 während zumindest eines Teils der aufsteigenden Bewegungsbahn teilweise ausgefahren ist.
Ferner sind auch Variationen der Höhen des ersten Punkts 912, des zweiten Punkts 914, des dritten Punkts 922 und des vierten Punkts 924 möglich. Der vierte Punkt 924 kann sich beispielsweise in einer vierten Höhe befinden, und diese vierte Höhe kann höher als die erste Höhe des ersten Punkts 912 der absinkenden Bewegungsbahn sein, wie in 9 dargestellt. Dass sich der vierte Punkt 924 in einer höheren Höhe als der erste Punkt 912 befindet, kann die Vermeidung von Hindernissen in unmittelbarer Nähe zu dem ersten Punkt 912 erleichtern. Und dass sich der vierte Punkt 924 in einer höheren Höhe als der erste Punkt 912 befindet, kann besonders dann nützlich sein, wenn das UAV ermittelt, dass es ein Hindernis in unmittelbarer Nähe zu dem ersten Punkt 912 gibt, möglicherweise basierend auf dem Bild des Zustellorts, das erfasst wurde, um einen leicht versetzten Zustellpunkt 960 zu ermitteln, oder auf anderen Sensordaten, die die Höhe jedes Elements an dem Zustellort erfassen.
In einigen Beispielen kann der zweite Punkt 914 der absinkenden Bewegungsbahn 910 auf der gleichen Höhe wie der dritte Punkt 922 der aufsteigenden Bewegungsbahn 920 liegen. Diese Bewegungsbahn ist in 8 dargestellt, wobei der zweite Punkt 914 und der dritte Punkt 922 etwa äquivalente Punkte sind, da beide Punkte über dem leicht versetzten Zustellpunkt und in gleicher Höhe liegen. Das UAV 900 kann nach dem Zustellen der Traglast somit bis zum selben Punkt aufsteigen, an dem es ein Absinken abgeschlossen hat. Dass der zweite Punkt 914 auf der gleichen Höhe des dritten Punkts 922 liegt, kann die Minimierung von Kollisionen insbesondere in Umgebungen mit Auskragungen erleichtern, und insbesondere in Fällen, in denen der leicht versetzte Zustellpunkt 960 nahe an einer tief gelegenen Auskragung liegt. Da das UAV 900 an dem leicht versetzten Zustellpunkt 960 nicht über eine bestimmte Höhe hinaus navigiert, kann das UAV 900 jegliche Hindernisse vermeiden, die über dem leicht versetzten Zustellpunkt 960 liegen.
Ferner kann der dritte Punkt 922 der aufsteigenden Bewegungsbahn 920 in einer höheren Höhe liegen als der erste Punkt 912 der absinkenden Bewegungsbahn 910. Mit anderen Worten kann das UAV 900, nach Zustellen der Traglast, über dem leicht versetzten Zustellpunkt auf eine Höhe steigen, die höher ist als die des ersten Punkts 912, bevor es die aufsteigende Bewegungsbahn durchquert. Dass sich der dritte Punkt 922 in einer höheren Höhe als der erste Punkt 912 befindet, kann die Vermeidung von Hindernissen in unmittelbarer Nähe zu der absinkenden Bewegungsbahn 910, wie z. B. Bäume 904, erleichtern.
In einigen Beispielen kann der erste Punkt 912 eine gleiche Höhe wie der vierte Punkt 924 der aufsteigenden Bewegungsbahn 920 aufweisen. Mit anderen Worten kann das UAV 900 mit dem Durchqueren der absinkenden Bewegungsbahn 910 an derselben Position und Höhe beginnen, an der es eine Durchquerung der aufsteigenden Bewegungsbahn 920 abgeschlossen hat. Dass sich der vierte Punkt 926 in der gleichen Höhe und Position wie der erste Punkt 912 befindet, kann die Vermeidung von Hindernissen erleichtern, insbesondere in Umgebungen mit tief gelegenen Auskragungen. Wenn sich eine Auskragung beispielsweise über einem leicht versetzten Zustellpunkt 960 in der gleichen Höhe wie der erste Punkt 912 befindet, kann das Vorliegen des vierten Punkts 924 in der gleichen Höhe wie der erste Punkt 912 dazu beitragen, dieses Hindernis zu vermeiden.
In einigen Beispielen kann der dritte Punkt 922 eine höhere Höhe als der zweite Punkt 914 aufweisen. Mit anderen Worten kann das UAV 900, nach Zustellen der Traglast, über dem leicht versetzten Zustellpunkt auf eine Höhe steigen, die höher ist als die des zweiten Punkts 914, bevor es die aufsteigende Bewegungsbahn durchquert. Dass sich der dritte Punkt 922 in der gleichen Höhe und Position wie der zweite Punkt 914 befindet, kann die Vermeidung von Hindernissen erleichtern, insbesondere in Umgebungen, in denen sich der leicht versetzte Zustellpunkt 960 und/oder die absinkende Bewegungsbahn 910 in der Nähe eines hohen Hindernisses befinden.
Ferner können, wie zuvor erwähnt, der anfängliche Zustellpunkt 950 und der leicht versetzte Zustellpunkt 960 zumindest einen vordefinierten Abstand voneinander entfernt sein. Wenn der anfängliche Zustellpunkt 950 und der leicht versetzte Zustellpunkt 960 mehr als einen vordefinierten Abstand voneinander entfernt sind, kann der leicht versetzte Zustellpunkt zu weit von dem gewünschten Zustellort entfernt sein, um nützlich zu sein. In einigen Beispielen kann es auch nützlich sein, wenn der anfängliche Zustellpunkt 950 und der leicht versetzte Zustellpunkt 960 mehr als einen Schwellenabstand voneinander entfernt sind. Genauer gesagt ist, wenn der anfängliche Zustellpunkt 950 und der leicht versetzte Zustellpunkt 960 weniger als einen vordefinierten Abstand voneinander entfernt sind, ein leichtes Versetzen zur Zustellung der Traglast womöglich nicht erforderlich.
In einigen Beispielen kann das UAV ermitteln, dass der anfängliche Zustellpunkt 950 ein nicht zustellbarer Zustellpunkt ist, an den die Traglast nicht erfolgreich zugestellt werden kann, und dass der leicht versetzte Zustellpunkt 960 ein zustellbarer Zustellpunkt ist, an den die Traglast erfolgreich zugestellt werden kann. Wenn das UAV 900, in 9, zum Beispiel direkt zu dem anfänglichen Zustellpunkt 950 absinken würde, indem es der Bewegungsbahn 940 folgt, kann das UAV 900 entweder mit den Bäumen 904 oder mit einem Fahrzeug über dem anfänglichen Zustellpunkt 950 kollidieren. Durch leichtes Versetzen des Zustellpunkts auf den leicht versetzten Zustellpunkt 960 kann das UAV 900 die Traglast jedoch erfolgreich am Boden zustellen.
Ferner kann der anfängliche Zustellpunkt 950 ein vordefinierter Zustellpunkt sein. Zum Beispiel kann ein Computersystem (z. B. ein Server) den anfänglichen Zustellpunkt 950 speichern und/oder ermitteln und den anfänglichen Zustellpunkt 950 in Reaktion auf ein Empfangen einer Anforderung von dem UAV 900 nach einem Zustellpunkt an dem Zustellort an das UAV 900 senden. Zusätzlich oder alternativ kann das UAV 900 den anfänglichen Zustellpunkt 950 als einen vordefinierten Zustellpunkt speichern und den vordefinierten Zustellpunkt aus dem Speicher abrufen, wenn es mit der Zustellung der Traglast an den Zustellort beauftragt wird.
Zusätzlich oder alternativ können eine oder mehrere Höhen des ersten Punkts 912, des zweiten Punkts 914, des dritten Punkts 922 und des vierten Punkts 924 eine oder mehrere vordefinierte Höhen sein. Die erste Höhe des ersten Punkts 912 kann beispielsweise eine vordefinierte Höhe sein (z. B. 25 Meter über der Oberfläche des Zustellorts und/oder dem Boden), und das UAV 900 kann die erste Höhe aus einem Speicher des UAV 900 oder aus einem Speicher eines anderen Computergeräts (z. B. eines Servers) abrufen. Insbesondere kann das UAV 900 eine Anforderung an ein Computergerät für die erste Höhe an dem Zustellort senden und eine Antwort vom Computergerät empfangen, die die erste Höhe angibt.
In einigen Beispielen kann das Ermitteln des anfänglichen Zustellpunkts 950 auf einem Bild des Zustellorts basieren. Das UAV 900 kann beispielsweise historische Daten verwenden, um ein Bild des Zustellorts zu ermitteln, und/oder ein erfasstes Bild des Zustellorts aus dem Speicher abrufen. Und das UAV 900 kann den anfänglichen Zustellpunkt 950 basierend auf diesem ermittelten und/oder abgerufenen Bild des Zustellorts ermitteln.
Wie zuvor beschrieben, kann das Ermitteln des leicht versetzten Zustellpunkts 960 auch auf einem von dem Zustellort erfassten Bild basieren. Zum Beispiel kann das UAV 900 eine nach unten weisende Kamera beinhalten. Das UAV 900 kann so navigieren, dass es über dem anfänglichen Zustellpunkt 950 befindet, und kann die nach unten weisende Kamera verwenden, um ein Bild des Zustellorts zu erfassen. Basierend auf dem erfassten Bild kann das UAV 900 ein Segmentierungsbild und ein Abstand-zu-Hindernis-Bild basierend auf dem Segmentierungsbild ermitteln. Das Segmentierungsbild kann basierend auf einem Anwenden eines vortrainierten Maschinenlernmodells auf zumindest einen Teil des erfassten Bilds des Zustellorts ermittelt werden. Basierend auf dem Abstand-zu-Hindernis-Bild kann UAV 900 ermitteln, dass der leicht versetzte Zustellpunkt 960 derjenige ist, der am weitesten von Hindernissen entfernt ist und/oder an dem eine Zustellung der Traglast die größte Erfolgswahrscheinlichkeit hat.
IX. Semantischer Abbruch
In einigen Beispielen kann der Bereich um einen Zustellpunkt herum zu stark mit Hindernissen gefüllt sein, um die Traglast zuverlässig und sicher innerhalb eines angemessenen Abstands von dem vorgesehenen Zustellpunkt zuzustellen. Daher könnte das UAV einen oder mehrere Zustellpunkte evaluieren, um zu ermitteln, ob die Traglast zugestellt werden oder die Zustellung abgebrochen werden soll. In einigen Beispielen, wenn das UAV entscheidet, die Zustellung der Traglast abzubrechen, kann das UAV zu einem anderen Zeitpunkt zu dem Zustellort zurückkehren, um den Zustellpunkt zu evaluieren, etwa dann, wenn für die Aktivität am Zustellort basierend auf historischen Daten vorhergesagt wird, niedriger zu sein.
Um einen oder mehrere Zustellpunkte zu evaluieren, um zu ermitteln, ob die Traglast zugestellt oder die Zustellung abgebrochen werden soll, kann das UAV ein Segmentierungsbild unter Nutzung des zuvor erläuterten Verfahrens ermitteln. Genauer gesagt kann das UAV ein Bild des Zustellorts unter Nutzung eines Sensors erfassen, z. B. kann das UAV das erfasste Bild 600 aus 6 erfassen, und möglicherweise nach Absinken auf eine vordefinierte Höhe (z. B. in einer ersten Höhe, die dem ersten Punkt 912 aus 9 entspricht). In einigen Beispielen kann das UAV das Bild des Zustellorts unter Nutzung eines nach unten weisenden Sensors, z. B. einer Kamera, erfassen. Das erfasste Bild kann repräsentativ für den Zustellort unter dem UAV sein. Und basierend auf dem erfassten Bild 600 kann das UAV ein Segmentierungsbild ermitteln, dass das Bild des Zustellorts in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert. In einigen Beispielen kann das UAV die semantischen Klassifizierungen aus einem vorbestimmten Satz von semantischen Klassifizierungen auswählen, der zumindest semantische Klassifizierungen beinhaltet, die Vegetation, Gebäuden und Straßen entsprechen.
Basierend auf dem Segmentierungsbild kann das UAV einen Prozentsatz von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts an einem Zustellort ermitteln, wobei jedes Hindernispixel eine semantische Klassifizierung aufweist, die ein Hindernis an dem Zustellort anzeigt. Als Veranschaulichung zeigt 10 das Bild 1000 und das Bild 1050, die Hindernispixelbereiche gemäß beispielhaften Ausführungsformen darstellen. Das Bild 1000 enthält den anfänglichen Zustellpunkt 1002. Die Umgebung 1004 ist ein Bereich innerhalb eines bestimmten Abstands von Zustellpunkt 1002 (z. B. 2 Meter). Ferner enthält das Bild 1050 einen leicht versetzten Zustellpunkt 1052. Die Umgebung 1054 ist ein Bereich innerhalb eines bestimmten Abstands von Zustellpunkt 1052 (z. B. 2 Meter).
Um zu ermitteln, ob eine Traglast sicher an dem anfänglichen Zustellpunkt 1002 und/oder an dem leicht versetzten Zustellpunkt 1052 zugestellt werden kann, kann das UAV einen Prozentsatz von Hindernispixeln in jeder Umgebung ermitteln. Das UAV kann bestimmte semantische Klassifizierungen von Pixelbereichen als Hindernisse ausweisen. Als Hindernisse können beispielsweise Pixelbereiche angesehen werden, die unter anderem als Fahrzeuge, Vegetation, Gebäude, Wohnorte und verwandte Bezeichnungen ausgewiesen sind. Pixelbereiche, die als Gehwege, Einfahrten, andere verwandte Bezeichnungen usw. ausgewiesen sind, können hingegen als nicht hinderlich angesehen werden.
Daher kann das UAV in Bezug auf den anfänglichen Zustellpunkt 1002 und die Umgebung 1004 ermitteln, dass es sich bei dem Bereich 1006 unter anderen Bereichen in Bild 1000 um Hindernisse handelt, und ermitteln, dass 40 % der Pixel innerhalb der Umgebung 1004 des anfänglichen Zustellpunkts 1002 Hindernispixel sind. Insbesondere kann das UAV, um den Prozentsatz von Hindernispixeln zu ermitteln, innerhalb der Umgebung 1004 die Anzahl von Pixeln ermitteln, die einem Pixelbereich mit einer semantischen Klassifizierung entsprechen, die ein Hindernis anzeigt, z. B. Bereich 1006. Das UAV kann diese Anzahl von Pixeln, die einem Pixelbereich entsprechen, durch die Gesamtzahl von Pixeln innerhalb der Umgebung 1004 teilen, um den Prozentsatz von Hindernispixeln innerhalb der Umgebung 1004 des Zustellpunkts 1002 zu erhalten.
Um zu ermitteln, ob die Zustellung an dem anfänglichen Zustellpunkt 1002 abgebrochen werden sollte, kann das UAV den Prozentsatz von Hindernispixeln innerhalb der Umgebung 1004 mit einem Schwellenprozentsatz vergleichen. Wenn der Schwellenprozentsatz beispielsweise 30 % beträgt, kann das UAV ermitteln, dass der Prozentsatz von Hindernispixeln innerhalb der Umgebung 1004 (z. B. ermittelt als 40 %) den Schwellenprozentsatz von 30 % übersteigt. Basierend auf dieser Ermittlung, dass der Prozentsatz von Hindernispixeln über einem Schwellenprozentsatz liegt, kann das UAV die Zustellung der Traglast an den Zustellpunkt 1002 abbrechen. In einigen Beispielen kann das UAV versuchen, die Traglast zu einem späteren Zeitpunkt zuzustellen, etwa dann, wenn die Umgebung 1004 weniger Hindernisse enthält.
Ähnliche Verfahren können auf andere Zustellpunkte angewendet werden, um zu beurteilen, ob die Umgebung sicher zum Zustellen einer Traglast ist. Zum Beispiel kann das UAV in Bezug auf den leicht versetzten Zustellpunkt 1052 und die Umgebung 1054 ermitteln, dass es sich bei Bereich 1056 unter anderen Bereichen in Bild 1050 um Hindernisse handelt. Basierend auf dieser Ermittlung kann das UAV berechnen, dass 5 % der Pixel innerhalb der Umgebung 1054 Hindernispixel sind. Das UAV kann den Prozentsatz von Hindernispixeln innerhalb der Umgebung 1054 um den leicht versetzten Zustellpunkt 1052 dann mit dem Schwellenprozentsatz von 30 % vergleichen. Und das UAV kann ermitteln, dass der Prozentsatz von Hindernispixeln innerhalb der Umgebung 1054 von 5 % den Schwellenprozentsatz von 30 % nicht überschreitet, und das UAV kann ermitteln, mit dem Prozess des Zustellens der Traglast fortzufahren.
In einigen Beispielen kann das UAV diese Bewertung eines Bereichs, der den Zustellpunkt umgibt, verwenden, um zu ermitteln, ob der Zustellpunkt leicht versetzt werden soll oder ob die Zustellung der Traglast abgebrochen werden soll. Wenn der Schwellenprozentsatz beispielsweise 60 % beträgt, kann das UAV ermitteln, dass der Prozentsatz von Hindernispixeln innerhalb der Umgebung 1004 den Schwellenprozentsatz nicht übersteigt, und das UAV kann einen leicht versetzten Zustellpunkt 1052 als den Punkt ermitteln, an dem die Traglast zugestellt werden soll.
Ferner kann das UAV diese Bewertung eines Bereichs, der einen Zustellpunkt umgibt, verwenden, um zu ermitteln, ob das UAV einen geeigneten leicht versetzten Zustellpunkt ermittelt hat. Zum Beispiel kann das UAV den Prozentsatz von Hindernispixeln innerhalb der Umgebung 1054 berechnen, um zu bewerten, ob der leicht versetzte Zustellpunkt 1052 ein Zustellpunkt ist, an dem eine Zustellung der Traglast erfolgreich abgeschlossen werden kann. Wenn der Prozentsatz von Hindernispixeln innerhalb der Umgebung 1054 den Schwellenprozentsatz überschreitet, kann das UAV die Zustellung der Traglast abbrechen oder zu dem vorherigen Zustellpunkt, z. B. Zustellpunkt 1002, zurückkehren.
In einigen Beispielen kann der Zustellpunkt an dem Zustellort durch ein Zustellpunkt-Auswahlmodul ermittelt werden (z. B. den zuvor erläuterten Prozess zum Ermitteln eines leicht versetzten Zustellorts). Ferner kann das Ermitteln, die Zustellung abzubrechen, auf einem über dem beabsichtigten Zustellpunkt aufgenommenen Bild basieren. Daher kann ein Abbrechen der Zustellung der Traglast (oder ein Nicht-Abbrechen der Zustellung der Traglast) nach dem Ermitteln des Zustellpunkts und nach dem Navigieren zu dem Zustellpunkt erfolgen.
Ferner kann dieser Prozess des Ermittelns eines leicht versetzten Zustellpunkts auf dem Abstand des anfänglichen Zustellpunkts von einem Hindernis basieren. Insbesondere kann das Ermitteln eines Zustellpunkts an dem Zustellort ein Ermitteln beinhalten, dass der anfängliche Zustellpunkt innerhalb eines Schwellenabstands eines Hindernisses liegt. Der Prozess des Ermittelns des Zustellpunkts an dem Zustellort kann ferner ein Auswählen eines leicht versetzten Zustellpunkts beinhalten, der zumindest den Schwellenabstand entfernt von dem anfänglichen Zustellpunkt ist, möglicherweise in Reaktion auf ein Ermitteln, dass der anfängliche Zustellpunkt innerhalb des Schwellenabstands eines Hindernisses liegt.
Das UAV kann diesen Prozess des Ermittelns, ob der Zustellvorgang des UAV abgebrochen werden soll, als Teil eines Sinkvorgangs des UAV durchführen, und ein Abbrechen des Zustellvorgangs kann zu einem Abbrechen des Sinkvorgangs des UAV führen. Insbesondere kann sich das UAV im Prozess des Absinkens über einen Zustellpunkt befinden, während es diesen Prozess der Beurteilung, ob der Zustellvorgang abgebrochen werden soll, durchführt. Wenn das UAV ermittelt, dass der Prozentsatz von Hindernispixeln einen Schwellenprozentsatz überschreitet, kann das UAV das Absinken stoppen und den Sinkvorgang abbrechen.
In einigen Beispielen kann die Beurteilung des Ermittelns, ob der Zustellvorgang abgebrochen werden soll, auf mehreren Bildern des Zustellorts basieren, die möglicherweise während des Absinkens des UAV und möglicherweise periodisch während des Sinkvorgangs oder während der Navigation des UAV an dem Zustellpunkt erfasst wurden. Das UAV kann ein Segmentierungsbild für jedes der mehreren Bilder ermitteln, und das UAV kann basierend auf den mehreren Segmentierungsbildern ermitteln, ob die Zustellung der Traglast abgebrochen werden soll.
Das UAV kann zum Beispiel mehrere Prozentsätze von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts ermitteln, und das UAV kann ermitteln, dass eine Gesamtanzahl der mehreren Prozentsätze von zusätzlichen Hindernispixeln über einem Schwellenprozentsatz liegt. Und basierend darauf, dass die Gesamtanzahl größer als eine Schwellenanzahl ist, kann das UAV ermitteln, die Zustellung der Traglast abzubrechen. Als ein spezifischeres Beispiel kann das UAV drei Bilder des Zustellorts erfassen, und das UAV kann ermitteln, dass der Prozentsatz von Hindernispixeln jeweils 75 %, 60 % bzw. 30 % beträgt. Die Gesamtanzahl der Prozentsätze von Hindernispixeln, die oberhalb eines Schwellenprozentsatzes von 50 % liegen, ist zwei. Die Schwellenanzahl kann eins sein. Da die Gesamtanzahl von zwei größer ist als die Schwellenanzahl von eins, kann das UAV die Zustellung der Traglast abbrechen.
Andere Verfahren zum Ermitteln, ob die Zustellung der Traglast basierend auf mehreren Segmentierungsbildern abgebrochen werden soll, sind ebenfalls möglich. Das UAV kann zum Beispiel Prozentsätze von Hindernispixeln für jedes der mehreren Segmentierungsbilder ermitteln, und das UAV kann einen Durchschnitt dieser ermittelten Prozentsätze ermitteln. Basierend darauf, dass der durchschnittliche Prozentsatz größer ist als ein durchschnittlicher Schwellenprozentsatz, kann das UAV den Zustellvorgang des UAV abbrechen. Als weiteres Beispiel kann das UAV auch ein Unsicherheitsmaß basierend auf den Prozentsätzen von Hindernispixeln jedes der mehreren Bilder ermitteln. Die Unsicherheitsmetrik kann ein statistisches Maß für die Unsicherheit sein, wie z. B. die Standardabweichung der ermittelten Prozentsätze von Hindernispixeln. Das Abbrechen des Zustellvorgangs kann darauf basieren, dass die Unsicherheitsmetrik größer als ein Schwellenunsicherheitsmaß ist.
In einigen Beispielen kann das UAV ein geneigtes Bild des Zustellorts erfassen, und das UAV kann den Prozentsatz von Hindernispixeln innerhalb der Umgebung des Zustellpunkts an dem Zustellort basierend auf dem geneigten Bild des Zustellorts ermitteln. Wenn das UAV das Bild beispielsweise unter einem Winkel von 30 Grad erfasst hat, kann das UAV die Umgebung des Zustellpunkts ovalförmig anpassen, um den Winkel von 30 Grad zu berücksichtigen, und das UAV kann den Prozentsatz von Hindernispixeln innerhalb dieser Umgebung des Zustellpunkts ermitteln.
Ferner kann das Bild des Zustellorts ein 2D-Bild sein, und das UAV kann ein 3D-Bild aus dem 2D-Bild unter Nutzung des zuvor erwähnten Prozesses ermitteln. Das Ermitteln des Prozentsatzes von Hindernispixeln innerhalb der Umgebung des Zustellpunkts kann auf dem Segmentierungsbild sowie dem 3D-Bild, zusammen oder getrennt, basieren.
Zusätzlich oder alternativ kann das UAV einen Tiefensensor beinhalten, und das UAV kann ein Tiefenbild des Zustellorts unter Nutzung des Tiefensensors erfassen. Das Ermitteln des Prozentsatzes von Hindernispixeln in der Umgebung des Zustellpunkts an dem Zustellort kann ferner auf dem Tiefenbild basieren. Beispielsweise können Pixelbereiche mit semantischen Klassifizierungen, die ein Hindernis anzeigen, ignoriert werden, wenn die Pixelbereiche unterhalb einer bestimmten Höhe liegen.
In einigen Beispielen kann der Zustellvorgang darin bestehen, eine Traglast mit einer oder mehreren Abmessungen zuzustellen, und der Schwellenprozentsatz kann auf der einen oder den mehreren Abmessungen der Traglast basieren. Wenn die Abmessungen der Traglast beispielsweise groß sind, kann das UAV einen geringeren Schwellenprozentsatz ermitteln, sodass in der Umgebung des Zustellpunkts weniger Hindernisse vorhanden sein müssen, um ein Abbrechen des Zustellvorgangs auszulösen. Wenn die Abmessungen der Traglast gering sind, kann das UAV einen höheren Schwellenprozentsatz ermitteln, sodass in der Umgebung des Zustellpunkts mehr Hindernisse vorhanden sein müssen, um ein Abbrechen des Zustellvorgangs auszulösen.
X. Beispielhafte Verfahren
11, 12 und 13 sind jeweils Blockdiagramme der Verfahren 1100, 1200 und 1300 gemäß beispielhaften Ausführungsformen. In einigen Beispielen können beliebige oder alle der Verfahren 1100, 1200 und 1300 aus 11, 12 und 13 jeweils durch ein Steuersystem ausgeführt werden. In weiteren Beispielen können die Verfahren 1100, 1200 und 1300 durch einen oder mehrere Prozessoren durchgeführt werden, die Programmanweisungen ausführen, die in einem Datenspeicher gespeichert sind. Die Ausführung der Verfahren 1100, 1200 und 1300 kann ein UAV beinhalten, wie z. B. das in Bezug auf 1-2 dargestellte und beschriebene UAV. Bei der Durchführung der Verfahren 1100, 1200 und 1300 können auch andere UAVs eingesetzt werden. In weiteren Beispielen können einige oder alle der Blöcke der Verfahren 1100, 1200 und 1300 durch ein von dem UAV entferntes Steuersystem ausgeführt werden. In noch weiteren Beispielen können verschiedene Blöcke der Verfahren 1100, 1200 und 1300 durch verschiedene Steuersysteme ausgeführt werden, die sich auf und/oder entfernt von einem UAV befinden.
Wie erwähnt, ist 11 ein Blockdiagramm des Verfahrens 1100 gemäß beispielhaften Ausführungsformen.
Bei Block 1102 beinhaltet das Verfahren 1100 ein Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts.
Bei Block 1104 beinhaltet das Verfahren 1100 ein Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert.
Bei Block 1106 beinhaltet das Verfahren 1100 ein Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort, wobei das Abstand-zu-Hindernis-Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort anzeigt.
Bei Block 1108 beinhaltet das Verfahren 1100 ein Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone.
Bei Block 1110 beinhaltet das Verfahren 1100 ein Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.
In einigen Beispielen ist der Zustellpunkt ein zweiter Zustellpunkt, und das Verfahren 1100 umfasst ferner ein Navigieren, durch das UAV, über einen ersten Zustellpunkt in der Zustellzone und, nach dem Navigieren über den ersten Zustellpunkt, ein Absinken auf eine Höhe über dem ersten Zustellpunkt, wobei das Positionieren des UAV über dem zweiten Zustellpunkt in der Zustellzone nach dem Absinken auf die Höhe über dem ersten Zustellpunkt durchgeführt wird.
In einigen Beispielen ist der Zustellpunkt ein zweiter Zustellpunkt, wobei die Zustellzone eine Umgebung um einen ersten Zustellpunkt an dem Zustellort ist.
Ferner könnte das Verfahren 1100 ein Ermitteln eines ersten Abstands von dem ersten Zustellpunkt zu einem ersten nächstgelegen Pixelbereich und ein Ermitteln, dass der erste Abstand niedriger als ein Schwellenwert ist, umfassen, wobei das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort in Reaktion auf das Ermitteln erfolgt, dass der erste Abstand kleiner als der Schwellenwert ist.
In einigen Beispielen beinhaltet das Auswählen des Zustellpunkts in der Zustellzone ein Ermitteln, basierend auf dem Abstand-zu-Hindernis-Bild der Zustellzone an dem Zustellort, eines jeweiligen Abstands zwischen einem zentralen Zustellpunkt der Zustellzone und einem jeweiligen nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung, die ein Hindernis an dem Zustellort anzeigt. Das Auswählen des Zustellpunkts in der Zustellzone umfasst ferner ein Ermitteln, dass der jeweilige Abstand größer als ein Schwellenabstand ist, und, in Reaktion auf das Ermitteln, dass der jeweilige Abstand größer als der Schwellenabstand ist, ein Auswählen des zentralen Zustellpunkts als den Zustellpunkt in der Zustellzone.
In einigen Beispielen umfasst das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort ein Ermitteln eines Pixels der Zustellzone, ein Ermitteln eines entsprechenden nächstgelegenen Pixelbereichs mit einer semantischen Klassifizierung, die ein Hindernis für das Pixel der Zustellzone anzeigt, wobei der entsprechende nächstgelegene Pixelbereich außerhalb der Zustellzone liegt.
In einigen Beispielen ist das Bild des Zustellorts ein 2D-Bild, wobei das Verfahren 1100 ferner ein Ermitteln, basierend auf dem 2D-Bild, eines 3D-Tiefenbilds des Zustellorts umfasst, wobei das Auswählen des Zustellpunkts ferner auf dem 3D-Tiefenbild basiert.
In einigen Beispielen basiert das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt, der einen weitesten Abstand von jedem Hindernis, das anhand des Segmentierungsbilds ermittelt wird, aufweist. Zusätzlich oder alternativ basiert das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt, der einen weitesten Abstand von einem höchsten Hindernis, das anhand des Segmentierungsbilds ermittelt wird, aufweist. Ebenfalls zusätzlich oder alternativ basiert das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt, der einen weitesten Abstand von Hindernissen mit einer bestimmten Klassifizierung, die anhand des Segmentierungsbilds ermittelt wird, aufweist.
In einigen Beispielen ist das Bild des Zustellorts ein 2D-Bild, wobei das Ermitteln des Segmentierungsbilds auf einem Anwenden eines vortrainierten Maschinenlernmodells auf das Bild basiert.
In einigen Beispielen umfasst das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort ein Ermitteln einer 2D-Messung seitlicher Abstände.
In einigen Beispielen umfasst das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone, für jedes jeweilige Pixel des Segmentierungsbilds innerhalb der Zustellzone, ferner ein Ermitteln eines Satzes von Abständen zwischen dem jeweiligen Pixel der Zustellzone und einem oder mehreren Pixelbereichen mit einer semantischen Klassifizierung, die ein Hindernis an dem Zustellort anzeigt, ein Auswählen eines niedrigsten Abstandswerts aus dem Satz von Abständen, und ein Einstellen eines jeweiligen Abstands an dem jeweiligen Pixel auf den niedrigsten Abstandswert.
In einigen Beispielen beinhaltet das Verfahren 1100 ferner ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts und ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder. Das Verfahren 1100 beinhaltet außerdem ein Ermitteln, basierend auf dem einen oder den mehreren Segmentierungsbildern, eines oder mehrerer zusätzlicher Abstand-zu-Hindernis-Bilder der Zustellzone an dem Zustellort, und ein Auswählen, basierend auf dem einen oder den mehreren zusätzlichen Abstand-zu-Hindernis-Bildern, eines oder mehrerer Zustellpunkte in der Zustellzone. Das Verfahren 1100 beinhaltet ferner ein Ermitteln, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte innerhalb eines bestimmten Bereichs befinden, der den Zustellpunkt umgibt, wobei das Positionieren des UAV über dem Zustellpunkt in Reaktion auf das Ermitteln erfolgt, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte innerhalb des bestimmten Bereichs befinden, der den Zustellpunkt umgibt.
In einigen Beispielen beinhaltet das Verfahren 1100 ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts und ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder. Das Verfahren 1100 beinhaltet außerdem ein Ermitteln, basierend auf dem einen oder den mehreren Segmentierungsbildern, eines oder mehrerer zusätzlicher Abstand-zu-Hindernis-Bilder der Zustellzone an dem Zustellort, und ein Auswählen, basierend auf dem einen oder den mehreren zusätzlichen Abstand-zu-Hindernis-Bildern, eines oder mehrerer Zustellpunkte in der Zustellzone. Ferner beinhaltet das Verfahren 1100 ein Ermitteln, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte nicht innerhalb eines bestimmten Bereichs befinden, der den Zustellpunkt umgibt, und, in Reaktion auf das Ermitteln, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte nicht innerhalb des bestimmten Bereichs befinden, der den Zustellpunkt umgibt, ein Abbrechen der Zustellung der Traglast.
In einigen Beispielen umfasst das Auswählen des Zustellpunkts in der Zustellzone ein Ermitteln eines ersten Werts in einer ersten Richtung und eines zweiten Werts in einer zweiten Richtung relativ zu dem UAV, wobei der erste Wert in der ersten Richtung und der zweite Wert in der zweiten Richtung den Zustellpunkt in Bezug auf eine aktuelle Position des UAV darstellen.
In einigen Beispielen umfasst das UAV ferner einen Tiefensensor, wobei das Verfahren 1100 ferner ein Erfassen eines Tiefenbilds des Zustellorts und ein Anpassen der horizontalen Positionierung des UAV ausgehend von dem Zustellpunkt während des UAV-Absinkens basierend auf dem Tiefenbild beinhaltet.
In einigen Beispielen ist der Sensor eine Kamera, wobei die Kamera nach unten weist, und wobei das von der Kamera erfasste Bild den Standort unter dem UAV darstellt.
Wie erwähnt, ist 12 ein Blockdiagramm des Verfahrens 1200 gemäß beispielhaften Ausführungsformen.
Bei Block 1202 beinhaltet das Verfahren 1200 ein Navigieren, durch ein unbemanntes Luftfahrzeug (UAV), auf eine erste Höhe über einem ersten Zustellpunkt an einem Zustellort.
Bei Block 1204 beinhaltet das Verfahren 1200 ein Ermitteln, durch das UAV, eines zweiten Zustellpunkts an dem Zustellort.
Bei Block 1206 beinhaltet das Verfahren 1200 ein Navigieren, durch das UAV, durch eine absinkende Bewegungsbahn, um das UAV von der ersten Höhe über dem ersten Zustellpunkt in eine zweite Höhe über dem zweiten Zustellpunkt an dem Zustellort zu bewegen, wobei die zweite Höhe niedriger als die erste Höhe ist.
Bei Block 1208 beinhaltet das Verfahren 1200 ein Zustellen, durch das UAV, einer Traglast zu dem zweiten Zustellpunkt an dem Zustellort.
Bei Block 1210 beinhaltet das Verfahren 1200, nach Zustellen der Traglast, ein Navigieren, durch das UAV, durch eine aufsteigende Bewegungsbahn, um das UAV von einer dritten Höhe über dem zweiten Zustellpunkt in eine vierte Höhe über dem ersten Zustellpunkt zu bewegen, wobei die vierte Höhe höher als die dritte Höhe ist.
In einigen Beispielen umfasst die absinkende Bewegungsbahn eine horizontale Absinkgeschwindigkeit und eine vertikale Absinkgeschwindigkeit, die aufsteigende Bewegungsbahn umfasst eine horizontale Aufstiegsgeschwindigkeit und eine vertikale Aufstiegsgeschwindigkeit, und die horizontale Absinkgeschwindigkeit ist größer als die horizontale Aufstiegsgeschwindigkeit.
In einigen Beispielen beinhaltet das UAV ein Halteseil, und das Halteseil wird während zumindest eines Teils der aufsteigenden Bewegungsbahn zumindest teilweise ausgefahren.
In einigen Beispielen beinhaltet das Verfahren 1200, nach Zustellen der Traglast und vor Navigieren durch die aufsteigende Bewegungsbahn, ein Aufsteigen, durch das UAV, in die dritte Höhe.
In einigen Beispielen ist die vierte Höhe der aufsteigenden Bewegungsbahn höher als die erste Höhe der absinkenden Bewegungsbahn. Zusätzlich oder alternativ ist die zweite Höhe der absinkenden Bewegungsbahn gleich der dritten Höhe der aufsteigenden Bewegungsbahn. Ebenfalls zusätzlich oder alternativ ist die dritte Höhe der aufsteigenden Bewegungsbahn höher als die erste Höhe der absinkenden Bewegungsbahn. Wiederum zusätzlich oder alternativ ist die erste Höhe der absinkenden Bewegungsbahn gleich der vierten Höhe der aufsteigenden Bewegungsbahn. Zusätzlich oder alternativ ist die dritte Höhe höher als die zweite Höhe.
In einigen Beispielen sind der erste und der zweite Zustellpunkt zumindest einen vordefinierten Abstand voneinander entfernt.
Ferner wird, in einigen Beispielen, ermittelt, dass der erste Zustellpunkt ein nicht zustellbarer Zustellpunkt ist, an den die Traglast nicht erfolgreich zugestellt werden kann, und es wird ermittelt, dass der zweite Zustellpunkt ein zustellbarer Zustellpunkt ist, an den die Traglast erfolgreich zugestellt werden kann.
In einigen Beispielen beinhaltet das Verfahren 1200 ein Zugreifen, aus einem Speicher, auf einen vordefinierten Zustellpunkt für den Zustellort, wobei der vordefinierte Zustellpunkt der erste Zustellpunkt ist.
In einigen Beispielen beinhaltet das Verfahren 1200 ein Zugreifen, aus einem Speicher, auf zumindest eine vordefinierte Höhe, wobei die zumindest eine vordefinierte Höhe zumindest eine von der ersten Höhe, der zweiten Höhe, der dritten Höhe oder der vierten Höhe ist.
In einigen Beispielen beinhaltet das Verfahren 1200 das Erfassen eines Bilds des Zustellorts und ein Ermitteln des ersten Zustellpunkts an dem Zustellort basierend auf dem Bild des Zustellorts.
In einigen Beispielen beinhaltet das Verfahren 1200 ein Erfassen eines Bilds des Zustellorts und ein Ermitteln des zweiten Zustellpunkts an dem Zustellort auf dem Bild an dem Zustellort basiert.
In einigen Beispielen umfasst das Ermitteln des zweiten Zustellpunkts ein Anwenden eines Maschinenlernmodells auf zumindest ein Teilbild des Zustellorts.
In einigen Beispielen umfasst das UAV ferner ein Halteseil zur Zustellung der Traglast, wobei das Verfahren 1200 ferner das Veranlassen des UAV beinhaltet, durch zumindest einen Teil der aufsteigenden Bewegungsbahn zu navigieren, während das Halteseil zumindest teilweise ausgefahren ist.
In einigen Beispielen umfasst das UAV ferner eine nach unten weisende Kamera, wobei das Verfahren 1200 ferner ein Erfassen, unter Nutzung der nach unten weisenden Kamera, eines Bilds an dem Zustellort, und ein Ermitteln des zweiten Zustellpunkts basierend auf dem Bild an dem Zustellort beinhaltet.
Wie erwähnt, ist 13 ein Blockdiagramm des Verfahrens 1300 gemäß beispielhaften Ausführungsformen.
Bei Block 1302 beinhaltet das Verfahren 1300 ein Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts.
Bei Block 1304 beinhaltet das Verfahren 1300 ein Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert.
Bei Block 1306 beinhaltet das Verfahren 1300 ein Ermitteln, basierend auf dem Segmentierungsbild, eines Prozentsatzes von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts an dem Zustellort, wobei jedes Hindernispixel eine semantische Klassifizierung aufweist, die ein Hindernis an dem Zustellort anzeigt.
Bei Block 1308 beinhaltet das Verfahren 1300, basierend darauf, dass der Prozentsatz der Hindernispixel über einem Schwellenprozentsatz liegt, ein Abbrechen eines Zustellvorgangs des UAV.
In einigen Beispielen beinhaltet das Verfahren 1300 ein Ermitteln, durch ein Zustellpunktauswahlmodul, des Zustellpunkts an dem Zustellort und ein Navigieren, durch das UAV, zu dem Zustellpunkt, wobei das Abbrechen des Zustellvorgangs des UAV nach dem Ermitteln des Zustellpunkts am Zustellort und nach dem Navigieren zum Zustellpunkt durchgeführt wird.
Ferner umfasst das Ermitteln des Zustellpunkts am Zustellort, in einigen Beispielen, ein Ermitteln eines anfänglichen Zustellpunkts, ein Ermitteln, dass der anfängliche Zustellpunkt innerhalb eines Schwellenabstands eines Hindernisses liegt, und ein Auswählen eines angepassten Zustellpunkts, der zumindest den Schwellenabstand von dem anfänglichen Zustellpunkt entfernt ist, wobei der angepasste Zustellpunkt der Zustellpunkt am Zustellort ist.
In einigen Beispielen wird das Verfahren 1300 während eines Sinkvorgangs des UAV durchgeführt, wobei das Abbrechen des Zustellvorgangs des UAV den Sinkvorgang des UAV abbricht.
In einigen Beispielen beinhaltet das Verfahren 1300 ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts und ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder. Verfahren 1300 beinhaltet ferner ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Segmentierungsbildern, eines oder mehrerer zusätzlicher Prozentsätze von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts am Zustellort. Ferner beinhaltet das Verfahren 1300 auch ein Ermitteln einer Gesamtanzahl des einen oder der mehreren Prozentsätze zusätzlicher Hindernispixel und des Prozentsatzes von Hindernispixeln, die über einem Schwellenprozentsatz liegen, und ein Ermitteln, dass die Gesamtanzahl größer als eine Schwellenanzahl ist, wobei das Abbrechen des Zustellvorgangs des UAV ferner auf dem Ermitteln basiert, dass die Gesamtanzahl größer als die Schwellenanzahl ist.
In einigen Beispielen beinhaltet das Verfahren 1300 ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts und ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder. Ferner beinhaltet das Verfahren 1300 ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Segmentierungsbildern, eines oder mehrerer zusätzlicher Prozentsätze von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts am Zustellort. Verfahren 1300 beinhaltet ferner ein Ermitteln eines durchschnittlichen Prozentsatzes des einen oder der mehreren Prozentsätze von Hindernispixeln und des Prozentsatzes von Hindernispixeln, und ein Ermitteln, dass der durchschnittliche Prozentsatz größer als ein durchschnittlicher Schwellenprozentsatz ist, wobei das Abbrechen des Zustellvorgangs des UAV ferner auf dem Ermitteln basiert, dass der durchschnittliche Prozentsatz größer als der durchschnittliche Schwellenprozentsatz ist.
In einigen Beispielen beinhaltet das Verfahren 1300 ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts und ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder. Verfahren 1300 umfasst ferner ein Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Segmentierungsbildern, eines oder mehrerer zusätzlicher Prozentsätze von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts am Zustellort und ein Ermitteln eines Unsicherheitsmaßes basierend auf dem einen oder mehreren zusätzlichen Prozentsätzen von Hindernispixeln und dem Prozentsatz von Hindernispixeln, wobei das Abbrechen des Zustellvorgangs des UAV ferner auf dem Ermitteln basiert, dass das Unsicherheitsmaß größer als ein Schwellenunsicherheitsmaß ist.
In einigen Beispielen beinhaltet das Verfahren 1300 ferner ein Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts in einem festgelegten Zeitintervall, wobei das Abbrechen des Zustellvorgangs des UAVs ferner auf dem einen oder den mehreren zusätzlichen Bildern basiert.
In einigen Beispielen beinhaltet das Verfahren 1300 ferner ein Absinken des UAV auf eine vorbestimmte Höhe über dem Zustellort, wobei das Erfassen des Bilds des Zustellorts nach dem Absinken auf die vorbestimmte Höhe durchgeführt wird.
In einigen Beispielen ist der Zustellpunkt ein Punkt, über dem das UAV schwebt, wenn es das Bild des Zustellorts erfasst.
In einigen Beispielen umfasst das Erfassen des Bilds des Zustellorts ein Erfassen eines geneigten Bilds des Zustellorts, und das Ermitteln eines Prozentsatzes von Hindernispixeln innerhalb der Umgebung eines Zustellpunkts an dem Zustellort basiert auf dem geneigten Bild des Zustellorts.
In einigen Beispielen ist das Bild des Zustellorts ein 2D-Bild, und das Verfahren 1300 beinhaltet ferner ein Ermitteln, basierend auf dem 2D-Bild, eines 3D-Tiefenbilds des Zustellorts, wobei das Ermitteln des Prozentsatzes von Hindernispixeln innerhalb der Umgebung des Zustellpunkts an dem Zustellort ferner auf dem 3D-Tiefenbild basiert.
In einigen Beispielen ist das Bild des Zustellorts ein 2D-Bild, wobei das Ermitteln des Segmentierungsbilds auf einem Anwenden eines vortrainierten Maschinenlernmodells auf das Bild basiert.
In einigen Beispielen besteht der Zustellvorgang darin, eine Traglast mit einer oder mehreren Abmessungen zuzustellen, wobei das Verfahren 1300 ferner ein Ermitteln des Schwellenprozentsatzes basierend auf der einen oder den mehreren Abmessungen der Traglast beinhaltet.
In einigen Beispielen weist der Sensor an dem UAV nach unten, und die Stelle, an der das Bild des Zustellorts von dem Sensor erfasst wird, stellt den Zustellort unter dem UAV dar.
In einigen Beispielen werden die semantischen Klassifizierungen aus einem vorbestimmten Satz von semantischen Klassifizierungen ausgewählt, wobei der vorbestimmte Satz von semantischen Klassifizierungen zumindest semantische Klassifizierungen beinhaltet, die Vegetation, Gebäuden und Straßen entsprechen.
In einigen Beispielen ist der Sensor eine nach unten weisende Kamera, die an dem UAV angebracht ist, wobei das Bild des Zustellorts, das von der nach unten weisenden Kamera erfasst wird, den Zustellort unter dem UAV darstellt.
In einigen Beispielen beinhaltet das UAV ferner einen Tiefensensor, und das Verfahren 1300 beinhaltet ferner ein Erfassen eines Tiefenbilds des Zustellorts, wobei das Ermitteln des Prozentsatzes von Hindernispixeln innerhalb der Umgebung des Zustellpunkts an dem Zustellort ferner auf dem Tiefenbild basiert.
XI. Experimentelle Ergebnisse
14 stellt ein Diagramm 1400 experimenteller Ergebnisse gemäß beispielhaften Ausführungsformen dar. Das Diagramm 1400 experimenteller Ergebnisse zeigt den Effekt eines leichten Versatzes auf den Abstand von dem Zustellpunkt zu dem/der nächstgelegenen Hindernis/Straße innerhalb von einem Meter. Wie dargestellt, wird für die meisten Missionen eine positive Abstandsänderung beobachtet, die anzeigt, dass sich der leicht versetzte Zustellpunkt weiter entfernt von Hindernissen und anderen ungünstigen Landeelementen an dem Zustellort (z. B. Straßen) befand. Da die leicht versetzten Zustellpunkte im Allgemeinen weiter entfernt von Hindernissen und anderen ungünstigen Landeelementen an dem Zustellort sind, kann das UAV in der Lage sein, Traglasten in einem höheren Prozentsatz von Zustellvorgängen/Missionen erfolgreich zuzustellen. Ferner kann diese Verbesserung eine Reduktion der Anzahl an Unfällen und/oder Kollisionen während Zustellvorgängen/Missionen aufgrund dessen ermöglichen, dass der leicht versetzte Zustellpunkt weiter von Hindernissen und/oder anderen ungünstigen Landeelementen entfernt ist.
XII. Schlussfolgerung
Die vorliegende Offenbarung soll nicht in Bezug auf die in dieser Anmeldung beschriebenen besonderen Ausführungsformen beschränkt werden, die als Veranschaulichungen verschiedener Aspekte bestimmt sind. Es können zahlreiche Modifikationen und Variationen vorgenommen werden, ohne vom Grundgedanken und Schutzumfang der Erfindung abzuweichen, wie Fachleuten ersichtlich sein wird. Zusätzlich zu den hierin aufgeführten werden Fachleuten funktional äquivalente Verfahren und Vorrichtungen innerhalb des Umfangs der Offenbarung anhand der vorstehenden Beschreibung ersichtlich. Derartige Modifikationen und Variationen sollen in den Schutzumfang der beigefügten Ansprüche fallen.
Die vorstehende ausführliche Beschreibung beschreibt verschiedene Merkmale und Funktionen der offenbarten Systeme, Geräte und Verfahren unter Bezugnahme auf die zugehörigen Zeichnungen. In den Figuren identifizieren gleiche Symbole normalerweise gleiche Komponenten, sofern der Kontext nichts anderes angibt. Die hierin und in den Figuren beschriebenen exemplarischen Ausführungsformen sind nicht als Einschränkung zu verstehen. Andere Ausführungsformen können verwendet werden, und andere Änderungen können vorgenommen werden, ohne vom Erfindungsgedanken oder Umfang des hierin dargestellten Gegenstands abzuweichen. Es versteht sich natürlich, dass die Aspekte der vorliegenden Offenbarung, wie sie im Allgemeinen hierin beschrieben und in den Figuren dargestellt sind, in vielen verschiedenen unterschiedlichen Konfigurationen angeordnet, ausgetauscht, kombiniert, getrennt und konzipiert werden können, von denen hierin alle explizit vorgesehen sind.
Ein Block, der eine Verarbeitung von Informationen darstellt, kann Schaltungen entsprechen, die zur Durchführung der spezifischen logischen Funktionen eines hier beschriebenen Verfahrens oder einer Technik konfiguriert sein können. Alternativ oder zusätzlich kann ein Block, der eine Verarbeitung von Informationen darstellt, einem Modul, einem Segment oder einem Teil eines Programmcodes (einschließlich zugehöriger Daten) entsprechen. Der Programmcode kann eine oder mehrere durch einen Prozessor ausführbare Anweisungen zur Implementierung spezifischer logischer Funktionen oder Aktionen in dem Verfahren oder der Technik beinhalten. Der Programmcode und/oder die zugehörigen Daten können auf jeder Art von computerlesbarem Medium, wie z. B. einem Speichergerät, das ein Laufwerk oder eine Festplatte beinhaltet, oder auf einem anderen Speichermedium gespeichert werden.
Das computerlesbare Medium kann auch nichtflüchtige computerlesbare Medien, wie z. B. computerlesbare Medien, die Daten für kurze Zeiträume speichern, wie beispielsweise Registerspeicher, Prozessor-Zwischenspeicher und Direktzugriffsspeicher (RAM), beinhalten. Die computerlesbaren Medien können auch nichtflüchtige computerlesbare Medien beinhalten, die Programmcode und/oder Daten für längere Zeiträume speichern, wie z. B. einen sekundären oder persistenten Langzeitspeicher, wie beispielsweise Nur-Lese-Speicher (ROM), optische oder magnetische Datenträger Compact-Disc-Nur-Lese-Speicher (CD-ROM). Bei den computerlesbaren Medien kann es sich außerdem um beliebige andere flüchtige oder nichtflüchtige Speichersysteme handeln. Ein computerlesbares Medium kann beispielsweise als computerlesbares Speichermedium oder als ein physisches Speichergerät betrachtet werden.
Darüber hinaus kann ein Block, der eine oder mehrere Informationsübermittlungen darstellt, Informationsübermittlungen zwischen Software- oder Hardwaremodulen in demselben physischen Gerät entsprechen. Es können jedoch auch andere Informationsübermittlungen zwischen Softwaremodulen oder Hardwaremodulen in verschiedenen physischen Geräten erfolgen.
Die bestimmten in den Figuren dargestellten Anordnungen sollten nicht als Einschränkung angesehen werden. Es versteht sich, dass andere Ausführungsformen mehr oder weniger der jeweiligen Elemente, die in einer gegebenen Figur dargestellt sind, beinhalten können. Ferner können einige der dargestellten Elemente kombiniert oder weggelassen werden. Weiterhin kann eine beispielhafte Ausführungsform Elemente beinhalten, die in den Figuren nicht dargestellt sind.
Obgleich hierin verschiedene Aspekte und Ausführungsformen offenbart wurden, werden Fachleuten auch andere Aspekte und Ausführungsformen ersichtlich. Die verschiedenen hierin offenbarten Aspekte und Ausführungsformen dienen der Veranschaulichung und sind nicht als einschränkend zu verstehen, wobei der wahre Umfang durch die folgenden Ansprüche angegeben wird.
Bezugszeichenliste

2

200

UAV

202

IMU

204

Ultraschallsensor(en)

206

GPS-Empfänger

208

Prozessor(en)

210

Datenspeicher

212

Programmanweisungen

214

Navigationsmodul

216

Halteseil-Steuerungsmodul

218

Kommunikationssystem(e)

220

Stromversorgungssystem(e)

221

Windensystem

222

Motor

224

Halteseil

226

Traglastkopplungsvorrichtung

228

Traglast
3

302

Zugriffssystem

304

UAV

306

Entferntes Gerät

308

Kommunikationsnetzwerk(e)

310

Zentrales Entsendungssystem

312

Lokales Entsendungssystem

314

Bereitstellungssystem

316

Zentrales Entsendungssystem
4

402

Trainingsphase

404

Inferenzphase

410

Trainingsdaten

420

Maschinenlernalgorithmus

430

Eingabedaten

432

Trainiertes Maschinenlernmodell(e)

440

Inferenz/Vorhersageanforderung(en)

450

Inferenz(en) und/oder Vorhersage(n)

460

Feedback
9

950

Anfänglicher Zustellpunkt

960

Leicht versetzter Zustellpunkt
11

1102

Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts

1104

Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert

1106

Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort, wobei das Abstand-zu-Hindernis-Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort anzeigt

1108

Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone

1110

Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung der Traglast
12

1202

Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts

1204

Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert

1206

Ermitteln, basierend auf dem Segmentierungsbild, eines Prozentsatzes von Hindernispixeln innerhalb einer Umgebung eines Zustellpunkts an dem Zustellort ermitteln, wobei jedes Hindernispixel eine semantische Klassifizierung aufweist, die ein Hindernis an dem Zustellort anzeigt

1208

Basierend darauf, dass der Prozentsatz der Hindernispixel über einem Schwellenprozentsatz liegt, Abbrechen eines Zustellvorgangs des UAV
13

1302

Navigieren, durch ein unbemanntes Luftfahrzeug (UAV), auf eine erste Höhe über einem ersten Zustellpunkt an einem Zustellort

1304

Ermitteln, durch das UAV, eines zweiten Zustellpunkts an dem Zustellort

1306

Navigieren, durch das UAV, durch eine absinkende Bewegungsbahn, um das UAV von der ersten Höhe über dem ersten Zustellpunkt in eine zweite Höhe über dem zweiten Zustellpunkt an dem Zustellort zu bewegen, wobei die zweite Höhe niedriger als die erste Höhe ist

1308

Zustellen, durch das UAV, der Traglast an den zweiten Zustellpunkt an dem Zustellort

1310

Nach Zustellen der Traglast, Navigieren, durch das UAV, durch eine aufsteigende Bewegungsbahn, um das UAV von einer dritten Höhe über dem zweiten Zustellpunkt in eine vierte Höhe über dem ersten Zustellpunkt zu bewegen, wobei die vierte Höhe höher als die dritte Höhe ist

Claims

Unbemanntes Luftfahrzeug (UAV), umfassend: einen Sensor; und ein Steuersystem, das konfiguriert ist zum: Erfassen, durch den Sensor an dem UAV, eines Bilds eines Zustellorts; Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert; Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort, wobei das Abstand-zu-Hindernis-Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort anzeigt; Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone; und Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.
UAV nach Anspruch 1, das ferner einen Tiefensensor umfasst, wobei das Steuersystem ferner konfiguriert ist zum: Erfassen eines Tiefenbilds des Zustellorts, und Anpassen der horizontalen Positionierung des UAV ausgehend von dem Zustellpunkt während des UAV-Absinkens basierend auf dem Tiefenbild.
UAV nach einem der vorhergehenden Ansprüche, wobei der Sensor eine Kamera ist, wobei die Kamera nach unten weist, und wobei das von der Kamera erfasste Bild den Standort unter dem UAV darstellt.
UAV nach einem der vorhergehenden Ansprüche, wobei der Zustellpunkt ein zweiter Zustellpunkt ist, wobei das Steuersystem ferner konfiguriert ist zum: Navigieren über einen ersten Zustellpunkt in der Zustellzone; nach dem Navigieren über den ersten Zustellpunkt, Absinken auf eine Höhe über dem ersten Zustellpunkt, wobei das Positionieren des UAV über dem zweiten Zustellpunkt in der Zustellzone nach dem Absinken auf die Höhe über dem ersten Zustellpunkt durchgeführt wird.
UAV nach einem der vorhergehenden Ansprüche, wobei der Zustellpunkt ein zweiter Zustellpunkt ist, wobei die Zustellzone eine Umgebung um einen ersten Zustellpunkt an dem Zustellort ist.
UAV nach Anspruch 5, wobei das Steuersystem ferner konfiguriert ist zum: Ermitteln eines ersten Abstands von dem ersten Zustellpunkt zu einem nächstgelegenen Pixelbereich; und Ermitteln, dass der erste Abstand kleiner als ein Schwellenwert ist, wobei das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort in Reaktion auf das Ermitteln erfolgt, dass der erste Abstand kleiner als der Schwellenwert ist.
UAV nach einem der vorhergehenden Ansprüche, wobei das Auswählen des Zustellpunkts in der Zustellzone Folgendes umfasst: Ermitteln, basierend auf dem Abstand-zu-Hindernis-Bild der Zustellzone an dem Zustellort, eines jeweiligen Abstands zwischen einem zentralen Zustellpunkt der Zustellzone und einem jeweiligen nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung, die ein Hindernis an dem Zustellort anzeigt; Ermitteln, dass der jeweilige Abstand größer als ein Schwellenabstand ist; und in Reaktion auf das Ermitteln, dass der jeweilige Abstand größer als der Schwellenabstand ist, Auswählen des zentralen Zustellpunkts als den Zustellpunkt in der Zustellzone.
UAV nach einem der vorhergehenden Ansprüche, wobei das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort für ein Pixel der Zustellzone Folgendes umfasst: Ermitteln eines entsprechenden nächstgelegenen Pixelbereichs mit einer semantischen Klassifizierung, die ein Hindernis für das Pixel der Zustellzone anzeigt, wobei der entsprechende nächstgelegene Pixelbereich außerhalb der Zustellzone liegt.
UAV nach einem der vorhergehenden Ansprüche, wobei das Bild des Zustellorts ein 2-dimensionales (2D) Bild ist, wobei das Steuersystem ferner konfiguriert ist zum: Ermitteln, basierend auf dem 2D-Bild, eines 3-dimensionalen (3D) Tiefenbilds des Zustellorts, wobei das Auswählen des Zustellpunkts ferner auf dem 3D-Tiefenbild basiert.
UAV nach einem der vorhergehenden Ansprüche, wobei das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt basiert, der einen weitesten Abstand von einem beliebigen Hindernis, das anhand des Segmentierungsbilds ermittelt wird, aufweist.
UAV nach einem der vorhergehenden Ansprüche, wobei das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt basiert, der einen weitesten Abstand von einem höchsten Hindernis, das anhand des Segmentierungsbilds ermittelt wird, aufweist.
UAV nach einem der vorhergehenden Ansprüche, wobei das Auswählen des Zustellpunkts in der Zustellzone auf dem Zustellpunkt basiert, der einen weitesten Abstand von Hindernissen mit einer bestimmten Klassifizierung, die anhand des Segmentierungsbilds ermittelt werden, aufweist.
UAV nach einem der vorhergehenden Ansprüche, wobei das Bild des Zustellorts ein 2D-Bild ist, wobei das Ermitteln des Segmentierungsbilds auf einem Anwenden eines vortrainierten Maschinenlernmodells auf das Bild basiert.
UAV nach einem der vorhergehenden Ansprüche, wobei das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone an dem Zustellort ein Ermitteln einer 2D-Messung seitlicher Abstände umfasst.
UAV nach einem der vorhergehenden Ansprüche, wobei das Ermitteln des Abstand-zu-Hindernis-Bilds der Zustellzone für jedes jeweilige Pixel des Segmentierungsbilds innerhalb der Zustellzone Folgendes umfasst: Ermitteln eines Satzes von Abständen zwischen dem jeweiligen Pixel der Zustellzone und einem oder mehreren Pixelbereichen mit einer semantischen Klassifizierung, die ein Hindernis an dem Zustellort anzeigt; Auswählen eines niedrigsten Abstandswerts aus dem Satz von Abständen; und Einstellen eines jeweiligen Abstands an dem jeweiligen Pixel als den niedrigsten Abstandswert.
UAV nach einem der vorhergehenden Ansprüche, wobei das Steuersystem ferner konfiguriert ist zum: Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts; Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder; Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Segmentierungsbildern, eines oder mehrere Abstand-zu-Hindernis-Bilder der Zustellzone an dem Zustellort; Auswählen, basierend auf dem einen oder den mehreren zusätzlichen Abstand-zu-Hindernis-Bildern, eines oder mehrere zusätzlicher Zustellpunkte in der Zustellzone; und Ermitteln, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte innerhalb eines bestimmten Bereichs befinden, der den Zustellpunkt umgibt, wobei das Positionieren des UAV über dem Zustellpunkt in Reaktion auf das Ermitteln erfolgt, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte innerhalb des bestimmten Bereichs befinden, der den Zustellpunkt umgibt.
UAV nach einem der vorhergehenden Ansprüche, wobei das Steuersystem ferner konfiguriert ist zum: Erfassen eines oder mehrerer zusätzlicher Bilder des Zustellorts; Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Bildern des Zustellorts, eines oder mehrerer zusätzlicher Segmentierungsbilder; Ermitteln, basierend auf dem einen oder den mehreren zusätzlichen Segmentierungsbildern, eines oder mehrere Abstand-zu-Hindernis-Bilder der Zustellzone an dem Zustellort; Auswählen, basierend auf dem einen oder den mehreren zusätzlichen Abstand-zu-Hindernis-Bildern, eines oder mehrere zusätzlicher Zustellpunkte in der Zustellzone; Ermitteln, dass der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte sich nicht innerhalb eines bestimmten Bereichs befinden, der den Zustellpunkt umgibt; und in Reaktion auf das Ermitteln, dass sich der Zustellpunkt und der eine oder die mehreren zusätzlichen Zustellpunkte nicht innerhalb eines bestimmten Bereichs befinden, der den Zustellpunkt umgibt, Abbrechen der Zustellung der Traglast.
UAV nach einem der vorhergehenden Ansprüche, wobei das Auswählen des Zustellpunkts in der Zustellzone Folgendes umfasst: Ermitteln eines ersten Werts in einer ersten Richtung und eines zweiten Werts in einer zweiten Richtung relativ zu dem UAV, wobei der erste Wert in der ersten Richtung und der zweite Wert in der zweiten Richtung den Zustellpunkt in Bezug auf eine aktuelle Position des UAV darstellen.
Nichtflüchtiges computerlesbares Medium, das Programmanweisungen umfasst, die durch einen oder mehrere Prozessoren ausführbar sind, um Operationen durchzuführen, wobei die Operationen Folgendes umfassen: Erfassen, durch einen Sensor an einem unbemannten Luftfahrzeug (UAV), eines Bilds eines Zustellorts; Ermitteln, basierend auf dem Bild des Zustellorts, eines Segmentierungsbilds, wobei das Segmentierungsbild den Zustellort in eine Vielzahl von Pixelbereichen mit entsprechenden semantischen Klassifizierungen segmentiert; Ermitteln, basierend auf dem Segmentierungsbild, eines Abstand-zu-Hindernis-Bilds einer Zustellzone an dem Zustellort, wobei das Abstand-zu-Hindernis-Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel einen Abstand in dem Segmentierungsbild von einem nächstgelegenen Pixelbereich mit einer semantischen Klassifizierung darstellt, die ein Hindernis an dem Zustellort anzeigt; Auswählen, basierend auf dem Abstand-zu-Hindernis-Bild, eines Zustellpunkts in der Zustellzone; und Positionieren des UAV über dem Zustellpunkt in der Zustellzone zur Zustellung einer Traglast.