-
[Technisches Gebiet]
-
Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die ein Bild eines Bereiches um ein Fahrzeug anzeigt, und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm, das es einer Steuerungsvorrichtung erlaubt, als Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung zu dienen.
-
[Stand der Technik]
-
Es ist eine Technik bekannt, gemäß der Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, wiederholt aufgenommen werden und die aufgenommenen Bilder in Vogelperspektivenbilder umgewandelt werden, die Bilder sind, die erscheinen, als ob auf die aufgenommenen Bilder von oberhalb des Fahrzeugs heruntergesehen wird, um die Vogelperspektivenbilder auf einer Anzeige anzuzeigen.
-
Eine Technik, die die obige Technik verwendet, ist bekannt, gemäß der ein zusammengesetztes Vogelperspektivenbild aus einem Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, und einem Vogelperspektivenbild, das aus einem vergangenen aufgenommenen Bild erhalten wird, auf einer Anzeige angezeigt wird, um einen Bildanzeigebereich um das Fahrzeug zu vergrößern (siehe beispielsweise Patentliteraturen 1 und 2).
-
In der Patentliteratur 1 wird das Vogelperspektivenbild, das aus dem aufgenommenen Bild erhalten wird, in einem Historienbereich eines Speichers gespeichert. Dann werden ein Lenkwinkel, eine Fahrzeuggeschwindigkeit und Ähnliches erhalten, um eine Bewegung eines Fahrzeugs zu berechnen. Dann wird das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, entgegengesetzt zu der berechneten Bewegung des Fahrzeugs bewegt. Dann werden das Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, und das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild zu erzeugen und das zusammengesetzte Vogelperspektivenbild auf einer Anzeige anzuzeigen.
-
Ein Prozess wird wiederholt, bei dem das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, in Abhängigkeit von der Bewegung des Fahrzeugs bewegt wird und das Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, dem Vogelperspektivenbild überlagert wird, das in dem Historienbereich gespeichert ist. Da das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, das Fahrzeug in Abhängigkeit von der Bewegung des Fahrzeugs umgibt, wird der Abschnitt, in dem das zusammengesetzte Vogelperspektivenbild um das Fahrzeug vorhanden ist, erweitert.
-
[Zitierungsliste]
-
[Patentliteratur]
-
- Patentliteratur 1: JP 2013-246 493 A
- Patentliteratur 2: JP 2002-373 327 A
-
[Zusammenfassung der Erfindung]
-
[Technisches Problem]
-
Im Folgenden wird der Speicher, der den Historienbereich enthält, als Historienspeicher bezeichnet. Dieser Historienspeicher kann zusätzlich zu dem Historienbereich einen Bereich enthalten, in dem Bilder, die von einer Kamera aufgenommen werden, gespeichert werden.
-
Die Patentliteratur 1 beschreibt nicht, ob sämtliche Vogelperspektivenbilder, die aus dem aufgenommenen Bild erhalten werden, oder einige der Vogelperspektivenbilder in dem Historienspeicher gespeichert werden. Wenn der gesamte Bereich des aufgenommenen Bildes in ein Vogelperspektivenbild umgewandelt wird und das gesamte erhaltene Vogelperspektivenbild in dem Historienspeicher gespeichert wird, kann das zu speichernde Bild eine große Größe aufweisen. Somit wird die Zeit für den Speicherprozess lang und die Speichergröße, die für den Speicherbereich benötigt wird, wird ebenfalls groß. Außerdem wird die Bildqualität des Abschnitts um das Vogelperspektivenbild niedrig.
-
Außerdem kann der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert werden. Wenn der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert wird, ist, wenn das Vogelperspektivenbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von der Fahrt des Fahrzeugs bewegt wird, der Stoßfänger oder die Anhängerkupplung an einer Stelle vorhanden, die von dem Fahrzeug entfernt ist.
-
Wenn das zu speichernde Bild kleiner gemacht wird, kann die Zeit, die für den Speicherprozess benötigt wird, verkürzt werden. Wenn jedoch das zu speichernde Bild kleiner gemacht wird, entsteht eine Lücke zwischen einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T gespeichert wird, und einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T + 1 gespeichert wird. Als Ergebnis kann in einem Bereich in dem Historienbild, das in dem Historienspeicher gespeichert wird, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, ein Abschnitt, der keine Bilder aufweist, erzeugt werden.
-
[Lösung für das Problem]
-
Eine Ausführungsform schafft eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm, die verhindern können, dass ein Teil eines Bereiches, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, in einem Historienbild, das in einem Historienspeicher gespeichert ist, entfernt wird, und die eine Verarbeitungszeit zum Speichern eines Bildes verkürzen und die Größe eines Speichers zum Speichern des Bildes verkleinern können.
-
Eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt, der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt, der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erhalten werden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt, der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der kein Bild des Fahrzeugs aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher speichert; einen Historienverschiebungsabschnitt, der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt, der einen derzeitigen Bildabschnitt, der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt kombiniert, der durch Extrahieren eines Historienbereiches, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, um ein zusammengesetztes Vogelperspektivenbild um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt, der das zusammengesetzte Vogelperspektivenbild, das durch den Bildkombinationsabschnitt erzeugt wird, an eine Anzeige ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes wird auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung des minimalen Rechtecks weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.
-
[Kurze Beschreibung der Zeichnungen]
-
1 ist ein Diagramm, das die Gesamtkonfiguration eines Fahrzeugumgebungsbildanzeigesystems zeigt;
-
2 ist ein Diagramm, das ein zusammengesetztes Vogelperspektivenbild darstellt, das auf einer Anzeige angezeigt wird;
-
3 ist ein Flussdiagramm, das einen Prozess darstellt, der von einer Steuerung durchgeführt wird;
-
4 ist ein Flussdiagramm, das einen Prozess eines Schrittes S3 in 3 im Detail zeigt;
-
5 ist ein Diagramm, das ein hinteres aufgenommenes Bild darstellt, das von einer hinteren Kamera aufgenommen wird;
-
6 ist ein Diagramm, das ein hinteres derzeitiges Bild darstellt, das durch eine Vogelperspektivenumwandlung des hinteren aufgenommenen Bildes erhalten wird;
-
7 ist ein Diagramm, das die Position und die Größe eines Extraktionsbereiches, der als ein Historienbild extrahiert wird, darstellt.
-
[Beschreibung der Ausführungsformen]
-
Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
-
(Gesamtkonfiguration)
-
Das in 1 gezeigte Fahrzeugumgebungsbildanzeigesystem 1 ist in bzw. an einem Fahrzeug 2 installiert und enthält eine vordere Kamera 10, eine hintere Kamera 20, eine Anzeige 30, einen Bildspeicher 41, einen Erkennungsspeicher 42, einen Historienspeicher 43 und eine Steuerung 50.
-
Die vordere Kamera 10 ist an dem vorderen Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des vorderen Endes des Fahrzeugs 2 bis zu dem Vorderteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der vorderen Kamera 10 aufgenommen wird, als vorderes aufgenommenes Bild bezeichnet.
-
Die hintere Kamera 20 ist an dem hinteren Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des hinteren Endes des Fahrzeugs 2 bis zu Hinterteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der hinteren Kamera 20 aufgenommen wird, als hinteres aufgenommenes Bild 70 bezeichnet (siehe 5). Als vordere Kamera 10 und hintere Kamera 20 werden beispielsweise Kameras verwendet, die eine Fischaugenlinse enthalten. Die Bereiche in Bezug auf das Fahrzeug 2, von denen die vordere Kamera 10 und die hintere Kamera 20 Bilder aufnehmen, werden im Voraus in der Steuerung 50 gespeichert.
-
Die Anzeige 30 zeigt ein zusammengesetztes Vogelperspektivenbild 31 und eine Fahrzeugfigur 32, die das Fahrzeug zeigt, an, wie es in 2 dargestellt ist. Die Fahrzeugfigur 32 zeigt das Fahrzeug 2 und wird im Voraus in einem bestimmten Speicher gespeichert. Die Fahrzeugfigur 32 wird in der Mitte des zusammengesetzten Vogelperspektivenbildes 31 angezeigt, womit ersichtlich wird, dass das zusammengesetzte Vogelperspektivenbild 31 ein Bild um das Fahrzeug ist.
-
Der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 sind wiederbeschreibbare Speicher. Man beachte, dass diese drei physikalisch unterschiedliche Speicher sein können. Alternativ können der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 durch verschiedene Adressbereiche eines Speichers ausgebildet werden.
-
Der Bildspeicher 41 speichert ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des vorderen aufgenommenen Bildes, das von der vorderen Kamera 10 aufgenommen wurde, erhalten wird, und ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des hinteren aufgenommenen Bildes 70, das von der hinteren Kamera 20 aufgenommen wurde, erhalten wird. Im Folgenden wird das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, als ein derzeitiges Bild bezeichnet, um das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, von dem Vogelperspektivenbild zu unterscheiden, das in dem Historienspeicher 43 gespeichert wird. Außerdem wird von den derzeitigen Bildern das Bild, das durch Umwandeln des vorderen aufgenommenen Bildes erhalten wird, als ein vorderes derzeitiges Bild bezeichnet, und das Bild, das durch Umwandeln des hinteren aufgenommenen Bildes 70 erhalten wird, wird als ein hinteres derzeitiges Bild 72 bezeichnet (siehe 6).
-
Der Erkennungsspeicher 42 speichert ein Erkennungsbild, das durch Extrahieren eines vorbestimmten Bereiches aus dem Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert ist, erhalten wird. Der Historienspeicher 43 speichert ein Historienbild. Das Historienbild ist ein Bild, das durch Kombinieren eines Teils des Erkennungsbildes, der aus dem Erkennungsbild extrahiert wird, mit einem Historienbild, das im Voraus bzw. zuvor in dem Historienspeicher 43 gespeichert wurde, erhalten wird. In dem Historienbild, das zuvor in dem Historienspeicher 43 gespeichert wurde, werden relative Koordinaten, die auf das Fahrzeug 2 zentriert sind, aufeinanderfolgend in Abhängigkeit von der Fahrt des Fahrzeugs 2 verschoben.
-
Die Steuerung 50 entspricht einer Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung. Die Steuerung 50 ist ein Computer, der eine CPU, einen ROM, einen RAM und Ähnliches enthält. Die CPU (Computer) führt ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm aus, das in einem nichtflüchtigen Aufzeichnungsmedium (computerlesbares Aufzeichnungsmedium) wie beispielsweise dem ROM gespeichert ist, während sie eine zeitweilige Speicherfunktion des RAM verwendet. Dadurch dient die Steuerung 50 als ein Vogelperspektivenumwandlungsabschnitt 51, ein Speicherprozessabschnitt 52, ein Fahrstreckenschätzabschnitt 53, ein Lenkwinkelschätzabschnitt 54, ein Fahrgrößenberechnungsabschnitt 55, ein Historienverschiebungsabschnitt 56, ein Bildkombinationsabschnitt 57 und ein Bildausgabeabschnitt 58. Wenn diese Funktionen ausgeführt werden, wird ein Verfahren entsprechend dem Programm durchgeführt.
-
Diese Funktionen werden mit Bezug auf das Flussdiagramm der 3 beschrieben. Man beachte, dass einige oder sämtliche Funktionen, die von der Steuerung 50 ausgeführt werden, durch Hardware unter Verwendung von einem oder mehreren ICs oder Ähnlichem ausgebildet sein kann.
-
(Funktionen der Steuerung 50)
-
3 ist ein Flussdiagramm von Prozessen, die von der Steuerung 50 durchgeführt werden. Die Steuerung 50 führt die Prozesse, die in 3 gezeigt sind, periodisch durch, wenn sie ein Anweisungssignal empfängt, das die Anzeige 30 anweist, das zusammengesetzte Vogelperspektivenbild 31 anzuzeigen. Das Anweisungssignal wird beispielsweise durch Schaltbetrieb eines Nutzers ausgegeben. Außerdem wird das Anweisungssignal auch ausgegeben, wenn die Schaltposition auf eine Rückwärtsposition eingestellt wird.
-
Die Schritte S1 und S2 sind Prozesse, die von dem Vogelperspektivenumwandlungsabschnitt 51 durchgeführt werden. Der Schritt S1 entspricht einem Erlangungsabschnitt. Der Vogelperspektivenumwandlungsabschnitt 51 erlangt ein vorderes aufgenommenes Bild von der vorderen Kamera 10. Außerdem erlangt der Vogelperspektivenumwandlungsabschnitt 51 ein hinteres aufgenommenes Bild 70 von der hinteren Kamera 20.
-
In Schritt S2 führt der Vogelperspektivenumwandlungsabschnitt 51 eine Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70, die in Schritt S1 erlangt wurden, durch und speichert das vordere derzeitige Bild und das hintere derzeitige Bild 70, die durch die Vogelperspektivenumwandlung erhalten wurden, in dem Bildspeicher 41. Man beachte, dass, wenn das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 im Voraus bzw. zuvor in dem Bildspeicher 41 gespeichert wurden, der Vogelperspektivenumwandlungsabschnitt 51 das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 löscht und nur das letzte vordere derzeitige Bild und hintere derzeitige Bild 72 in den Bildspeicher 41 speichert.
-
Durch die Vogelperspektivenumwandlung werden das vordere aufgenommene Bild und das hintere aufgenommene Bild 70 in Bilder umgewandelt, die durch Abwärtsbetrachten des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 von oberhalb des Fahrzeugs 2 erhalten werden. Die Umwandlungsgleichung, die für die Vogelperspektivenumwandlung verwendet wird, wird in einem Speicher wie beispielsweise dem ROM der Steuerung 50 gespeichert. Die Umwandlungsgleichung ist eine bekannte Gleichung, die beispielsweise in der Patentliteratur 2 beschrieben ist.
-
Der Bereich, der der Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 unterzogen wird, ist ein vorbestimmter Bereich, der einen Erkennungsbildextraktionsbereich 62, der später beschrieben wird, und Teile des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 enthält. Da der Bereich, der aus dem Erkennungsbildextraktionsbereich 62 zu extrahieren ist, im Voraus in dem vorderen aufgenommenen Bild und dem hinteren aufgenommenen Bild 70 bestimmt wird, kann der Bereich, der der Vogelperspektivenumwandlung unterzogen wird, auch im Voraus eingestellt bzw. festgelegt werden.
-
5 ist ein Diagramm, das das hintere aufgenommene Bild 70 darstellt. 6 zeigt konzeptionell das hintere derzeitige Bild 72, das in Schritt S2 durch die Vogelperspektivenumwandlung des Bildes, das in 5 gezeigt ist, erhalten wird. Da das hintere aufgenommene Bild 70 größer ist, wenn der Abstand zu dem Fahrzeug 2 kürzer ist, wird der Abstand zwischen zwei Parkrahmenlinien 61 in dem Bild größer, wenn der Abstand zu dem Fahrzeug 2 kürzer wird, das heißt zu der unteren Seite in 5 hin. Im Gegensatz dazu sind, wie es in 6 gezeigt ist, in dem hinteren derzeitigen Bild 72, das ein Vogelperspektivenbild ist, die beiden Parkrahmenlinien 61 parallel zueinander.
-
In Schritt S3 wird eine Historienverschiebungsberechnung durchgeführt. Diese Historienverschiebungsberechnung verschiebt relative Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist. Die Historienverschiebungsberechnung ist in 4 im Detail gezeigt.
-
In 4 erlangt der Fahrstreckenschätzabschnitt 53 in Schritt S31 Fahrzeugsignale. Die Fahrzeugsignale sind insbesondere ein Fahrzeuggeschwindigkeitssignal und ein Lenkwinkelsignal. Diese Signale werden über ein fahrzeugeigenes LAN erhalten. Das Fahrzeuggeschwindigkeitssignal wird von einem Fahrzeuggeschwindigkeitssensor erlangt, und das Lenkwinkelsignal wird von einem Lenkwinkelsensor erlangt. Man beachte, dass statt des Lenkwinkelsignals ein Gierratensignal erlangt werden kann.
-
Schritt S32 ist ein Prozess, der von dem Fahrstreckenschätzabschnitt 53 durchgeführt wird. In diesem Schritt S32 berechnet der Fahrstreckenschätzabschnitt 53 eine Fahrstrecke des Fahrzeugs 2 von dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem Schritt S32 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage einer Fahrzeuggeschwindigkeit, die durch das Fahrzeuggeschwindigkeitssignal angegeben wird, das in Schritt S31 erhalten wurde, und der seit dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, verstrichenen Zeit.
-
Schritt S33 ist ein Prozess, der von dem Lenkwinkelschätzabschnitt 54 durchgeführt wird. In diesem Schritt S33 schätzt der Lenkwinkelschätzabschnitt 54 einen derzeitigen Lenkwinkel des Fahrzeugs 2 auf der Grundlage des Lenkwinkelsignals, das in Schritt S31 erhalten wurde.
-
Die Schritte S34 und S35 sind Prozesse, die von dem Fahrzeugfahrgrößenberechnungsabschnitt 55 durchgeführt werden. In Schritt S34 erlangt der Fahrzeugfahrgrößenberechnungsabschnitt 55 ein Schaltpositionssignal von einem Schaltpositionssensor. In Schritt S35 berechnet der Fahrzeugfahrgrößenberechnungsabschnitt 55 eine Fahrzeugfahrgröße des Fahrzeugs 2 von dem Zeitpunkt, zu dem der Schritt S35 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem der Schritt S35 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage der Fahrstrecke und des Lenkwinkels, die in den Schritten S32 und S33 geschätzt wurden, und des Schaltpositionssignals, das in Schritt S34 erlangt wurde. Diese Fahrgröße enthält die Fahrtrichtung bei der Position des Fahrzeugs 2 des letzten Mals und ist ein Wert, durch den relative Koordinaten in Bezug auf die Position des Fahrzeugs 2 des letzten Mals bestimmt werden.
-
Schritt S36 ist ein Prozess, der von dem Historienverschiebungsabschnitt 56 durchgeführt wird. In diesem Schritt S35 verschiebt der Historienverschiebungsabschnitt 56 die relativen Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Richtung entgegengesetzt zu der Fahrrichtung des Fahrzeugs 2 um die Fahrzeugfahrgröße, die in Schritt S35 berechnet wurde.
-
Die Beschreibung kehrt zu 3 zurück. Schritt S4 ist ein Prozess, der von dem Speicherprozessabschnitt 52 durchgeführt wird. Der Speicherprozessabschnitt 52 extrahiert ein Erkennungsbild aus dem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, und speichert das Erkennungsbild in dem Erkennungsspeicher 42. Da, wie es oben beschrieben wurde, das vordere derzeitige Bild und das hintere derzeitige Bild 72 als derzeitige Bilder gespeichert werden, extrahiert der Speicherprozessabschnitt 52 Erkennungsbilder aus den jeweiligen derzeitigen Bildern.
-
Das Erkennungsbild weist eine Größe auf, die das Historienbild enthält, und der Bereich (im Folgenden als Erkennungsbildextraktionsbereich bezeichnet), der aus dem derzeitigen Bild extrahiert wird, wird im Voraus eingestellt. 6 stellt den Erkennungsbildextraktionsbereich 62 dar. Das Erkennungsbild wird von einem Erkennungsprozessabschnitt 3 verwendet.
-
Der Erkennungsprozessabschnitt 3 führt einen Bilderkennungsprozess wie beispielsweise einen Weißlinienerkennungsprozess hinsichtlich des Erkennungsbildes durch. Entsprechend dem Weißlinienerkennungsprozess werden beispielsweise die Parkrahmenlinien 61 erkannt. Die erkannten Parkrahmenlinien 61 werden außerdem zur automatischen Parkregelung oder Ähnlichem verwendet.
-
Schritt S5 ist ein Prozess, der ebenfalls von dem Speicherprozessabschnitt 52 durchgeführt wird. In diesem Schritt S5 extrahiert der Speicherprozessabschnitt 52 ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, und speichert das Historienbild in dem Historienspeicher 43. Erkennungsbilder werden jeweils aus dem vorderen derzeitigen Bild und dem hinteren derzeitigen Bild 72 extrahiert und in dem Erkennungsspeicher 42 gespeichert. In Schritt S5 extrahiert der Speicherprozessabschnitt 52 jeweilige Historienbilder aus dem Erkennungsbild, das aus dem vorderen derzeitigen Bild extrahiert wurde, und dem Erkennungsbild, das aus dem hinteren derzeitigen Bild 72 extrahiert wurde.
-
Die Prozesse, die in 3 gezeigt sind, werden wiederholt durchgeführt. Wenn die Prozesse, die in 3 gezeigt sind, das zweite Mal oder danach durchgeführt werden, wurde ein Historienbild, das in der Vergangenheit erhalten wurde, bereits in den Historienspeicher 43 gespeichert, und die relativen Koordinaten des Historienbildes, das in der Vergangenheit erhalten wurde, wurden in der Historienverschiebungsberechnung in Schritt S3 um die Fahrgröße des Fahrzeugs 2 verschoben. Das Historienbild, das in diesem Schritt S5 neu in dem Historienspeicher 43 gespeichert wird, wird dem Historienbild überlagert, das bereits in dem Historienspeicher 43 gespeichert ist. Das Historienbild, das durch die Überlagerung erhalten wird, wird im Folgenden als ein zusammengesetztes Historienbild bezeichnet. Wenn ein zusammengesetztes Historienbild erzeugt wird, wird, wenn ein Historienbild neu zu speichern ist und ein Historienbild, das bereits gespeichert wurde, an denselben relativen Koordinaten vorhanden sind, das Historienbild, das bereits gespeichert wurde, durch das Historienbild, das neu zu speichern ist, überschrieben.
-
6 zeigt einen Historienbildextraktionsbereich (im Folgenden einfach als Extraktionsbereich bezeichnet) 63, der als ein Historienbild extrahiert wurde. Außerdem zeigt 6 einen Fahrzeugbereich 64. Der Fahrzeugbereich 64 ist eine Figur zum Darstellen des Bereiches des Fahrzeugs 2 in Bezug auf das hintere derzeitige Bild 72.
-
In 6 sind der Extraktionsbereich 63 und der Fahrzeugbereich 64 nicht überlagert. Somit ist ersichtlich, dass der Extraktionsbereich 63 ein Bereich ist, der kein Bild eines Teils des Fahrzeugs 2 wie beispielsweise eines Stoßfängers oder einer Anhängerkupplung aufweist.
-
Außerdem weist der Extraktionsbereich 63 eine rechteckige Gestalt auf und weist lange Seiten, die parallel zu der Breitenrichtung des Fahrzeugs 2 sind, und kurze Seiten auf, die parallel zu der Vorne-hinten-Richtung des Fahrzeugs 2 sind. Die Größe des Extraktionsbereiches 63 wird derart festgelegt, dass ein Teil des zusammengesetzten Historienbildes nicht entfernt wird, wenn die relativen Koordinaten des Historienbildes aufeinanderfolgend verschoben werden und ein neues Historienbild in dem Historienspeicher 43 gespeichert wird. Der Historienspeicher 43 wird später genauer beschrieben.
-
Die Schritte S6 bis S8 sind Prozesse, die von dem Bildkombinationsabschnitt 57 durchgeführt werden. In Schritt S6 erlangt der Bildkombinationsabschnitt 57 eine Fahrzeugebenengröße bzw. Fahrzeugflächengröße. Die Fahrzeugebenengröße enthält eine Fahrzeuglänge und eine Fahrzeugbreite und wird im Voraus in einem vorbestimmten Speicher gespeichert. In Schritt S7 erlangt der Bildkombinationsabschnitt 57 einen Historienbildabschnitt 33 (siehe 2), der für ein Ausgangsbild von dem zusammengesetzten Historienbild, das in dem Historienspeicher 43 gespeichert ist, verwendet wird. Der Historienbildabschnitt 33 ist ein Abschnitt, der zwischen einem vorderen derzeitigen Bildabschnitt 34 und einem hinteren derzeitigen Bildabschnitt 35 angeordnet ist. Da der Historienbildabschnitt 33 ein Bereich ist, dessen Bild nicht in dem derzeitigen Bild enthalten ist, wird das Historienbild verwendet.
-
In Schritt S8 extrahiert der Bildkombinationsabschnitt 57 einen vorderen derzeitigen Bildbereich aus dem vorderen derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um den vorderen derzeitigen Bildabschnitt 34, der in 2 gezeigt ist, zu erlangen, und extrahiert einen hinteren derzeitigen Bildbereich aus dem hinteren derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um den hinteren derzeitigen Bildabschnitt 35, der in 2 gezeigt ist, zu erlangen. Die Bereiche des vorderen derzeitigen Bildbereiches und des hinteren derzeitigen Bildbereiches werden im Voraus eingestellt. Außerdem kombiniert der Bildkombinationsabschnitt 57 in Schritt S8 den vorderen derzeitigen Bildabschnitt 34 und den hinteren derzeitigen Bildabschnitt 35 mit dem Historienbildabschnitt 33, der in Schritt S7 erlangt wurde, um das zusammengesetzte Vogelperspektivenbild 31 zu erzeugen. Schritt S9 ist ein Prozess, der von dem Bildausgabeabschnitt 58 durchgeführt wird. Der Bildausgabeabschnitt 58 gibt das zusammengesetzte Vogelperspektivenbild 31, das in Schritt S8 erzeugt wurde, als ein Ausgangsbild an die Anzeige 30 aus.
-
(Darstellung des Extraktionsbereiches 63)
-
Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 ein Bereich, der extrahiert wird, um ein zusammengesetztes Historienbild zu erzeugen. Das zusammengesetzte Historienbild ist ein Bild zum Extrahieren des Historienbildabschnitts 33. Der Abschnitt, der dem Historienbildabschnitt 33 des zusammengesetzten Historienbildes entspricht, bewegt sich in Abhängigkeit von der Fahrt des Fahrzeugs 2. Somit werden die Position und die Größe des Extraktionsbereiches 63 derart eingestellt, dass ein Teil des Historienbildabschnitts 33 in dem zusammengesetzten Historienbild nicht entfernt wird.
-
7 ist ein Diagramm, das die Position und die Größe des Extraktionsbereiches 63 darstellt. In 7 verläuft eine Drehachslinie 80 durch die Achse der Hinterräder des Fahrzeugs 2 und verläuft durch das Zentrum der Drehung, wenn sich das Fahrzeug 2 mit dem minimalen Drehradius dreht. Ein Historienbereich 81 ist ein Bereich, der als der Historienbildabschnitt 33 aus dem zusammengesetzten Historienbild extrahiert wird. Der Historienbereich 81 ist ein Rechteck, dessen Position und Größe mit Bezug auf das Fahrzeug 2 bestimmt werden.
-
Ein rechter innerer Umfangskreisbogen 82 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 im Uhrzeigersinn mit dem minimalen Drehradius bewegt. Ein linker innerer Umfangskreisbogen 83 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt.
-
Der Abstand L zwischen einer fahrzeugseitigen Seite 63a, die eine Seite auf der Fahrzeugseite ist, die in zwei Seiten enthalten ist, die in der Fahrzeugbreitenrichtung parallel zueinander sind, in dem Extraktionsbereich 63, der eine rechteckige Gestalt aufweist, und dem vorderen Ende des Fahrzeugs 2 wird durch den Abbildungsbereich der hinteren Kamera 20 bestimmt. Wenn die fahrzeugseitige Seite 63a nicht den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, kann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, ein Abschnitt, der keine zusammengesetzten Historienbilder an rechten und linken Kanten aufweist, in dem Historienbereich 81 erzeugt werden. Mit anderen Worten, wenn die fahrzeugseitige Seite 63a den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, werden sogar dann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, kein Abschnitte, die keine zusammengesetzten Historienbilder aufweisen, in den rechten und linken Richtungen des Historienbereiches 81 erzeugt.
-
Somit wird die fahrzeugseitige Seite 63a des Extraktionsbereiches 63 derart eingestellt, dass der Abstand zu dem vorderen Ende des Fahrzeugs 2 gleich L ist, die fahrzeugseitige Seite 63a parallel zu der Breitenrichtung des Fahrzeugs 2 ist, ein Ende der fahrzeugseitigen Seite 63a auf dem rechten inneren Umfangskreisbogen 82 vorhanden ist und das andere Ende der fahrzeugseitigen Seite 63a auf dem linken inneren Umfangskreisbogen 83 vorhanden ist.
-
Außerdem wird in dem Extraktionsbereich 63 die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung, die parallel zu der Fahrzeug-vorne-hinten-Richtung ist, auf der Grundlage einer Fahrzeuggeschwindigkeit (m/s) und einer Speicherperiode (s) eines Historienbildes bestimmt. Das heißt, die Länge, die durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode erhalten wird, wird als eine Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung definiert.
-
Man beachte, dass Historienbilder in dem Historienspeicher 43 jedes Mal gespeichert werden, wenn die vordere Kamera 10 und die hintere Kamera 20 ein vorderes aufgenommenes Bild und ein hinteres aufgenommenes Bild aufnehmen. Somit gibt „Fahrzeuggeschwindigkeit x Speicherperiode“ eine Bewegungsstrecke des Historienbereiches 81 an, die durch die Fahrt des Fahrzeugs 2 von dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.
-
Das Rechteck, das wie oben beschrieben bestimmt wird, entspricht einem minimalen Rechteck. Der Extraktionsbereich 63 kann ein Bereich sein, der von dem minimalen Rechteck umgeben ist. Unter Berücksichtigung eines Fehlers und Ähnlichem kann der Extraktionsbereich 63 jedoch ein Bereich sein, der das minimale Rechteck enthält und größer als das minimale Rechteck ist.
-
Auch wenn 7 den Extraktionsbereich 63 zum Extrahieren eines Historienbildes aus dem hinteren derzeitigen Bild 72 darstellt, wird der Extraktionsbereich zum Extrahieren eines Historienbildes aus dem vorderen derzeitigen Bild ebenfalls gemäß demselben Konzept eingestellt.
-
(Wirkungen der Ausführungsform)
-
In der oben beschriebenen Ausführungsform ist das Historienbild, das durch den Speicherprozessabschnitt 52 (S4, S5) extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, das kein Bild des Fahrzeugs 2 aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt 56 (S36) das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs 2 bewegt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug 2 entfernt ist.
-
Außerdem ist das Historienbild, das aus einem Bild extrahiert wird, das durch den Speicherprozessabschnitt 52 in dem Erkennungsspeicher 42 gespeichert wird (S4, S5), und in dem Speicher 43 gespeichert wird, ein Bild, aus dem der Extraktionsbereich 63 extrahiert wird, der auf der Grundlage des minimalen Rechteckes bestimmt wird.
-
Wie es mit Bezug auf 7 beschrieben wurde, ist, wenn der Extraktionsbereich 63 derselbe wie das minimale Rechteck ist, ein Ende der fahrzeugseitigen Seite 63a des Extraktionsbereiches 63 auf dem inneren Umfangskreis einer Bewegungsspur des Historienbereiches 81 vorhanden, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs 2 mit dem minimalen Drehradius bewegt. Außerdem ist das andere Ende der fahrzeugseitigen Seite 63a auf dem inneren Umfangskreis einer Bewegungsspur des Historienbereiches 81 vorhanden, der sich aufgrund einer Drehung gegen den Uhrzeigersinn des Fahrzeugs 2 mit dem minimalen Drehradius bewegt. Der Extraktionsbereich 63 ist derselbe wie das minimale Rechteck oder enthält das minimale Rechteck und ist größer als das minimale Rechteck.
-
Somit wird durch Extrahieren des Extraktionsbereiches 63 als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug 2 am weitesten in der Richtung nach rechts und links fährt und sich der Historienbereich 81 aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich 81 erzeugt wird.
-
Wenn der Extraktionsbereich 63 derselbe wie das minimale Rechteck ist, wird außerdem die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung des Extraktionsbereiches 63 durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode des Historienbildes erhalten. Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 derselbe wie das minimale Rechteck oder enthält das minimale Rechteck und ist größer als das minimale Rechteck.
-
Wenn somit der Extraktionsbereich 63 als Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird sogar dann, wenn das Fahrzeug 2 in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.
-
Dementsprechend wird verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-rechts-links-Richtung und in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.
-
Da das Historienbild, das durch den Speicherprozessabschnitt 52 aus dem Erkennungsspeicher 42 extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die Speichergröße des Historienspeichers 43 klein sein, und es kann die Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.
-
Außerdem extrahiert der Speicherprozessabschnitt 52 zunächst ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um das Erkennungsbild in dem Erkennungsspeicher 42 zu speichern (S4), und extrahiert ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert wurde, um das Historienbild in dem Historienspeicher 43 zu speichern. Dementsprechend kann ein Bild, das aus dem derzeitigen Bild extrahiert wird, zur Erkennung und zum Anzeigen eines zusammengesetzten Vogelperspektivenbildes verwendet werden.
-
Außerdem wird der Bereich, der der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 (S2) unterzogen wird, derart bestimmt, dass er den Erkennungsbildextraktionsbereich 62 enthält und ein Teil des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 ist. Somit erhöht sich die Verarbeitungsgeschwindigkeit und der benötigte Speicherbereich des Bildspeichers 41 kann im Vergleich zu einem Fall kleiner sein, in dem der gesamte Bereich des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 der Vogelperspektivenumwandlung unterzogen wird.
-
Oben wurde eine Ausführungsform der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung ist jedoch nicht auf die oben beschriebene Ausführungsform beschränkt, und es sind die folgenden Modifikationen innerhalb des technischen Bereiches der vorliegenden Erfindung enthalten. Zusätzlich zu dem Folgenden kann die vorliegende Erfindung außerdem mit verschiedenen Änderungen innerhalb eines Bereiches, der von der Erfindung nicht abweicht, implementiert werden.
-
<Erste Modifikation>
-
In der obigen Ausführungsform wird beispielsweise ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, extrahiert und in dem Erkennungsspeicher 42 gespeichert, und es wird ein Historienbild aus dem Erkennungsspeicher 42 extrahiert. Das heißt, ein Bild, das aus einem derzeitigen Bild extrahiert wird, wird über den Erkennungsspeicher 42 in dem Historienspeicher 43 gespeichert. Es kann jedoch ein Historienbild aus einem derzeitigen Bild extrahiert und in dem Historienspeicher 43 gespeichert werden.
-
<Zweite Modifikation>
-
In der obigen Ausführungsform sind die vordere Kamera 10 und die hintere Kamera 20 vorhanden. Es kann jedoch auch nur eine der Kameras vorhanden sein.
-
<Dritte Modifikation>
-
In der obigen Ausführungsform wird ein derzeitiges Bild in dem Bildspeicher 41 gespeichert und ein Erkennungsbild wird aus dem Bildspeicher 41 extrahiert. Der Bildspeicher 41 muss jedoch nicht vorhanden sein, und es können ein Erkennungsbild und ein Historienbild aus dem Bild extrahiert werden, das der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 unterzogen wurde, um diese direkt in dem Erkennungsspeicher 42 und dem Historienspeicher 43 zu speichern.
-
<Vierte Modifikation>
-
Das Fahrzeug 2 der obigen Ausführungsform enthält den Erkennungsspeicher 42 und den Erkennungsprozessabschnitt 3. Wenn jedoch der Bilderkennungsprozess nicht durchgeführt werden muss, können bzw. müssen der Erkennungsspeicher 42 und der Erkennungsprozessabschnitt 3 auch nicht im dem Fahrzeug 2 enthalten sein.
-
<Fünfte Modifikation>
-
Der Bildspeicher 41 oder der Erkennungsspeicher 42 können als Historienspeicher 43 verwendet werden. Das heißt, es kann ein Teil des Bildspeichers 41 oder des Erkennungsspeichers 42 als Historienspeicher 43 verwendet werden.
-
<Sechste Modifikation>
-
In der obigen Ausführungsform wird ein Historienbild aus einem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, extrahiert und in dem Historienspeicher 43 gespeichert. Wenn jedoch das Erkennungsbild kleiner als das Historienbild ist, kann im Gegensatz zu der Ausführungsform das Historienbild zunächst in dem Historienspeicher 43 gespeichert werden, und das Erkennungsbild kann aus dem Historienspeicher 43 extrahiert und in dem Erkennungsspeicher 42 gespeichert werden.
-
Wie es oben beschrieben wurde, kann durch Extrahieren eines Erkennungsbildes aus dem Historienspeicher 43 die Zeit für den Erkennungsprozess verkürzt werden, da das Erkennungsbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Historienbild, das größer als das Erkennungsbild ist, direkt als Erkennungsbild verwendet werden kann.
-
Man beachte, dass, wenn wie in dem Fall der Ausführungsform ein Historienbild aus dem Erkennungsspeicher 42 extrahiert wird, das Historienbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Erkennungsbild, das größer als das Historienbild ist, direkt als das Erkennungsbild verwendet wird. Somit kann eine Verarbeitungszeit zum Erzeugen eines zusammengesetzten Historienbildes verkürzt werden.
-
Die Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.
-
Das Fahrzeugumgebungsbildanzeigesteuerungsprogramm der Ausführungsform ist auf einem computerlesbaren Aufzeichnungsmedium gespeichert und ermöglicht es einem Computer, als Folgendes zu dienen: ein Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; ein Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; ein Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; ein Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; ein Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und ein Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.
-
Gemäß den obigen Ausführungsformen ist das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, der kein Bild des Fahrzeugs aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs verschiebt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug getrennt ist.
-
Außerdem wird das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, auf der Grundlage des minimalen Rechtecks bestimmt. Die Seite des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt.
-
Somit wird durch Extrahieren des Bereiches, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug am weitesten in der Richtung nach rechts und links fährt und der Historienbild sich aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich erzeugt wird.
-
Außerdem ist eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.
-
Wenn der Bereich, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird somit sogar dann, wenn das Fahrzeug in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich erzeugt wird. Dementsprechend wird verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in dem Historienbereich erzeugt wird.
-
Da das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die benötigte Speichergröße des Historienspeichers klein sein und es kann eine Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeugumgebungsbildanzeigesystem
- 2
- Fahrzeug
- 3
- Erkennungsprozessabschnitt
- 10
- vordere Kamera
- 20
- hintere Kamera
- 30
- Anzeige
- 31
- zusammengesetztes Vogelperspektivenbild
- 32
- Fahrzeugfigur
- 33
- Historienbildabschnitt
- 34
- vorderer derzeitiger Bildabschnitt
- 35
- hinterer derzeitiger Bildabschnitt
- 41
- Bildspeicher
- 42
- Erkennungsspeicher
- 43
- Historienspeicher
- 50
- Steuerung
- 51
- Vogelperspektivenumwandlungsabschnitt
- 52
- Speicherprozessabschnitt
- 53
- Fahrstreckenschätzabschnitt
- 54
- Lenkwinkelschätzabschnitt
- 55
- Fahrzeugfahrgrößenberechnungsabschnitt
- 56
- Historienverschiebungsabschnitt
- 57
- Bildkombinationsabschnitt
- 58
- Bildausgabeabschnitt
- 61
- Parkrahmenlinie
- 62
- Erkennungsbildextraktionsbereich
- 63
- Extraktionsbereich
- 63a
- fahrzeugseitige Seite
- 63b
- Seite der Fahrzeug-vorne-hinten-Richtung
- 64
- Fahrzeugbereich
- 70
- hinteres aufgenommenes Bild
- 72
- hinteres derzeitiges Bild
- 80
- Drehachslinie
- 81
- Historienbereich
- 82
- rechter innerer Umfangskreis
- 83
- linker innerer Umfangskreis