-
Die vorliegende Erfindung betrifft eine in ein Fahrzeug eingebaute Hinderniserkennungsvorrichtung (wobei das Fahrzeug, in welches die Hinderniserkennungsvorrichtung eingebaut ist, nachfolgend als „Eigenfahrzeug“ oder „Eigenfahrzeug“ bezeichnet wird), wobei mit dieser Hinderniserkennungsvorrichtung Hindernisse auf der Grundlage des Bildinhalts aufgenommener Bilder in einem Bereich vorderhalb des Fahrzeugs erkannt werden.
-
Es ist eine Technologie bekannt, bei der Bilder, die als Daten einer elektronischen Kamera in einem Fahrzeug aufgenommen worden sind, verarbeitet werden können, um das Vorhandensein eines vorausfahrenden Fahrzeugs oder eines festen Hindernisses vorderhalb des Eigenfahrzeugs zu erkennen. Eine solche Vorrichtung kann auch zur Erkennung der Fahrspur verwendet werden, auf der sich das Eigenfahrzeug bewegt, indem Fahrbahnmarkierungen auf der Straßenoberfläche erkannt werden. Es ist auch eine Technologie bekannt, bei der Informationen betreffend die Positionen von Hindernissen (beispielsweise anderen Fahrzeugen) und betreffend den Fahrbahnzustand (d. h. zum Beispiel Kurvenkrümmung, Neigung etc.) durch eine Kommunikation mit anderen Fahrzeugen erlangt werden können (nachfolgend als „Zwischenfahrzeugkommunikation“ bezeichnet) oder durch eine Kommunikation mit Anlagen entlang der Straße, entlang der sich das Eigenfahrzeug bewegt und welche derartige Informationen erzeugen und senden (nachfolgend als „Straße/Fahrzeug-Kommunikation“ bezeichnet).
-
Eine derart erlangte Information kann zur Definition eines Bereichs beschränkter Größe innerhalb eines aufgenommenen Bildes verwendet werden, das von der Kamera des Eigenfahrzeugs erhalten wird (d. h. als ein Bereich, in welchem wahrscheinlich Objekte enthalten sind, die zu erkennen sind). Durch Anwendung einer Bildverarbeitung auf einen solchen beschränkten Bereich kann die Erkennungsgenauigkeit erhöht werden und die Prozesslast verringert werden. Die obige Technologie ist beispielsweise in der
JP H08 - 167 092 A und der
JP 2007-34477 A beschrieben.
-
Eine solche Technologie ermöglicht jedoch nur eine Verringerung der benötigten Menge an Bildverarbeitung und eine Zunahme der Erkennungsverlässlichkeit von Hindernissen oder Fahrbahnmarkierungen auf einer Straßenoberfläche etc., sowie eine Erhöhung der Erkennungsgeschwindigkeit. Um jedoch ein Fahrzeug zu steuern, so dass Zusammenstöße mit vorausfahrenden Fahrzeugen etc. verhindert sind und um Sicherheit für den Fall zu bieten, dass ein Zusammenstoß auftritt, ist es notwendig, eine präzise Echtzeitdistanz und Information hinsichtlich der Relativlage oder Relativposition zu Hindernissen zu erlangen, die vorderhalb des Eigenfahrzeugs liegen. Bislang war es notwendig, einige separate Vorrichtungen zu verwenden, beispielsweise eine Radarvorrichtung, um eine solche präzise Messung von Positionen und Distanzen zu haben.
-
Ein weiteres Problem ist, dass, wenn es eine Fahrbahnneigung (Steigung oder Gefälle) der Straße vorderhalb des Eigenfahrzeugs gibt, dann es schwierig wird, Hindernisse basierend auf dem Inhalt aufgenommener Bilder korrekt zu identifizieren (d. h. gefährliche Hindernisse von anderen Gegenständen zu unterscheiden). 4(a) der beigefügten Zeichnungen soll dies näher erläutern. Eine Straßen- oder Fahrbahnoberfläche 10 habe einen horizontalen Abschnitt, an den sich eine Steigung 11 anschließt, wobei sich eine Fahrbahnoberflächenlackierung 13 (z. B. eine Fahrspurmarkierung) auf dieser Steigungsstrecke 11 befindet. Man kann aus 4(b) erkennen, dass, wenn ein die Markierung 13 enthaltendes Bild entlang der Richtung aufgenommen wird, die durch den Pfeil dargestellt ist, d. h. durch eine Kamera eines Fahrzeugs auf dem Straßenabschnitt 10, es nicht möglich ist, zu bestimmen, ob ein Bereich in dem Bild, wo die Markierung 13 dargestellt ist, tatsächlich ein solches zweidimensionales Objekt wiedergibt oder ein dreidimensionales Bild 14 (d. h. ein tatsächliches Hindernis). Auf ähnliche Weise hat gemäß 4(c) die Straßenoberfläche einen Gefälleabschnitt 12, auf welchem sich ein tatsächliches Hindernis 15 (dreidimensionales Objekt) befindet, wie dargestellt. In diesem Fall ist es gemäß 4(d) nicht möglich, basierend auf einer Bildverarbeitung zu bestimmen, ob ein Bereich im Bild, wo das Hindernis 15 vorhanden ist, tatsächlich ein solches dreidimensionales Objekt darstellt oder ein ungefährliches Objekt 16, beispielsweise eine Fahrbahnmarkierung. Man erkannt hieraus, dass, wenn eine Hinderniserkennung alleine aufgrund von Formen und Positionen von Bereichen innerhalb eines aufgenommenen Bilds durchgeführt wird, dann eine zuverlässige Unterscheidung zwischen tatsächlichen Hindernissen und Straßenmarkierungen oder dergleichen nicht möglich ist.
-
- eine in ein Fahrzeug eingebaute elektronische Kamera, welche ein Bild einer externen Ansicht vorderhalb des Fahrzeugs aufzunehmen vermag, und
- eine Bildverarbeitungsschaltung, welche von der Kamera erzeugte Daten zu verarbeiten vermag, die das Bild ausdrücken, um Objekte zu erkennen, die vorderhalb des Fahrzeugs liegende Hindernisse bilden können; wobei
- die Hinderniserkennungsvorrichtung aufweist:
- einen Speicher mit Bildparameterinformationen hierin gespeichert, welche spezifisch für die Kamera sind;
- eine Informationserzeugungsschaltung, welche Größenabmessungsinformationen zu ermitteln vermag, welche eine Größenabmessung eines von der Bildverarbeitungsschaltung erkannten Objekts, gemessen in einer Bildebene der Kamera, ausdrücken; und
- eine Informationserlangungsschaltung, die über die Kommunikationsschaltung eine tatsächlich Größenabmessungsinformation zu erlangen vermag, die eine tatsächliche Größenabmessung eines bestimmten Hindernisses vorderhalb des Fahrzeugs ausdrückt.
-
Die
US 2007/0 021 904 A1 offenbart eine Beziehung zwischen einer mit einer Kamera aufgezeichneten Breite und einer tatsächlichen Breite. Ferner wird darin offenbart, insbesondere Daten betreffend die Größe der Fahrzeuge durch Fahrzeug-zu Fahrzeug-Kommunikationseinrichtungen zu übertragen.
-
Eine weite relevante Druckschrift ist mit der
JP H11-203 458 A bekannt.
-
Aufgabe der vorliegenden Erfindung ist es, die obigen Mängel zu beseitigen und eine Hinderniserkennungsvorrichtung zum Einbau in ein Fahrzeug zu schaffen, bei der verbesserte Genauigkeit bei der Erkennung der Lagebeziehung oder Positionsbeziehung zwischen besagtem Fahrzeug und einem Hindernis erreicht werden kann. Dazu wird eine Straßen/Fahrzeug-Information verwendet, die von einer straßenseitigen oder fahrbahnseitigen Vorrichtung kommt und/oder eine Zwischenfahrzeuginformation, die von einem vorausfahrenden Fahrzeug (durch Fahrzeug/Fahrzeug-Kommunikation) kommt.
-
Es wird eine Hinderniserkennungsvorrichtung der genannten Art geschaffen, mit der eine zuverlässige Unterscheidung zwischen erkannten Objekten, die die Gefahr eines Zusammenstoßes darstellen, und erkannten Objekten (z. B. zweidimensionalen Fahrbahnmarkierungen etc.), welche keine derartige Gefahr darstellen, erzielt werden kann.
-
Die Lösung der Aufgabe erfolgt durch die Merkmale des Anspruchs 1.
-
Gemäß einem ersten Aspekt ermöglicht die vorliegende Erfindung die genaue Berechnung der Distanz zu einem bestimmten Hindernis, beispielsweise einem vorausfahrenden Fahrzeug, welches vorderhalb des Fahrzeugs befindlich ist, in welchem die Hinderniserkennungsvorrichtung eingebaut ist. Insbesondere umfasst die Hinderniserkennungsvorrichtung eine elektronische Kamera (z. B. eine Videokamera), die zur Bildaufnahme in der Szenerie vorderhalb des Fahrzeugs angeordnet ist und eine Bildverarbeitungsschaltung, welche von der Kamera erzeugte Daten verarbeiten kann, welche jedes aufgenommene Bild ausdrücken, um Objekte zu erkennen, die vorderhalb des Fahrzeugs liegende Hindernisse bilden können. Die Vorrichtung umfasst auch einen Speicher (z. B. ein ROM), in welchem vorab Bildparameterinformationen speziell für die Kamera gespeichert sind (beispielsweise Brennweite und Lage des Auslöschungspunkts in der Bildebene). Die Hinderniserkennungsvorrichtung weist weiterhin eine Kommunikationsschaltung, eine Informationserzeugungsschaltung, eine Informationserlangungsschaltung und optional eine Distanzberechnungsschaltung auf.
-
Die Kommunikationsschaltung führt eine Fahrzeug/Fahrzeug-Kommunikation mit einem vorausfahrenden Fahrzeug durch, um Größeninformation betreffend das vorausfahrende Fahrzeug zu empfangen und/oder eine Straße/Fahrzeug-Kommunikation mit einer am Straßen- oder Fahrbahnrand eingebauten Vorrichtung, die Informationen betreffend Positionen, Formen etc. feste Hindernisse seitens der Straße oder Fahrbahn senden, sowie von Positionen und Formen von Bereichen, welche besondere Aufmerksamkeit erfordern, wie beispielsweise Fußgängerüberwege. Die Informationserzeugungsschaltung erlangt aufgenommene Bildgrößeninformationen, welche eine Größendimension (z. B. Breite) eines Objekts ausdrücken, das von der Bildverarbeitungsschaltung erkannt wurde, wobei der Größenwert als in der Bildebene der Kamera gemessen vorliegt. Die Informationserlangungsschaltung dient zum Erlangen von Informationen (mittels der Kommunikationsschaltung), welche eine tatsächliche Größenabmessung eines bestimmten Hindernisses vorderhalb des Fahrzeugs ausdrücken. Die Distanzberechnungsschaltung berechnet genau die Distanz oder den Abstand vom Fahrzeug zu dem bestimmten Hindernis, wobei die Berechnung basierend auf dem Größenabmessungswert durchgeführt wird, wie wir in einem aufgenommenen Bild gemessen wird, sowie dem momentanen Größenabmessungswert und der Bildparameterinformation.
-
Wenn das bestimmte Hindernis ein vorausfahrendes Fahrzeug ist, kann die Größenabmessung als der Abstand zwischen zwei Heckleuchten eines vorausfahrenden Fahrzeugs bestimmt werden.
-
Die Informationserlangungsschaltung kann so ausgelegt sein, dass sie zusammen mit der tatsächlichen Größendimensionsinformation eine Höhe über Grund-Information betreffend das bestimmte Hindernis erlangt, wobei die Höhe über Grund-Information die tatsächliche Höhe eines Zielobjekts (z. B. des Heckleuchtenpaars) über der Fahrbahnoberfläche ausdrückt. In diesem Fall weist die Hinderniserkennungsvorrichtung auch eine Höhe über Grund-Differenzberechnungsschaltung auf, um einen Höhe über Grund-Differenzwert für das bestimmte Hindernis zu berechnen. Hierbei ist die „Höhe über Grund-Differenz“ die Höhendifferenz zwischen der Fahrbahnoberfläche, auf der sich das Eigenfahrzeug befindet und der Fahrbahnoberfläche, auf der sich das bestimmte Hindernis befindet. Die Berechnung erfolgt basierend auf der oben genannten berechneten genauen Distanz des bestimmten Hindernisses, der Höhe über Grund-Information von der Informationserlangungsschaltung und der Bildparameterinformation.
-
Da es somit möglich wird, korrekt die Höhe über Grund-Differenz zwischen der Fahrbahnoberfläche, auf der sich das Eigenfahrzeug bewegt und der Fahrbahnoberfläche zu erhalten, die in einer bestimmten Distanz vorderhalb des Eigenfahrzeugs liegt, wird es möglich, die Vorrichtung mit einer Unterscheidungsschaltung auszustatten, um zu beurteilen, ob in einem aufgenommenen Bild erkannte Objekte (d. h. als separate Bereiche innerhalb des Bilds) tatsächlich Hindernisse mit wesentlicher Höhenbildung oder beispielsweise zweidimensionale Markierungen sind, die sich auf der Fahrbahnoberfläche befinden. Somit kann das oben unter Bezug auf die 4(a) bis 4(d) beschriebene Problem wirksam beseitigt werden.
-
Von einem anderen Aspekt her betrachtet kann die Informationserlangungsschaltung so ausgestaltet sein, dass sie auch Positionsinformation betreffend ein bestimmtes Hindernis erlangt, beispielsweise durch die Fahrzeug/Fahrzeug-Kommunikation oder die Straße/Fahrzeug-Kommunikation wie oben beschrieben. In diesem Fall kann die Bildverarbeitungsschaltung so ausgelegt sein, dass sie einen bestimmten Bereich innerhalb eines aufgenommenen Bilds als einen Bildverarbeitungsbereich begrenzt, und basierend auf der Positionsinformation und eine Objekterkennung durch Verarbeitung von Daten entsprechend dem Bildverarbeitungsbereich durchführt. Damit kann die Bildverarbeitungsbelastung verringert werden.
-
Mit dem Gegenstand der vorliegenden Erfindung ist eine genaue und zuverlässige Erkennung der Distanz zu einem gefährlichen Hindernis, beispielsweise bei einem vorausfahrenden Fahrzeug erlangbar, ohne dass die Verwendung einer Radarerkennung oder anderer Arten genauer Distanzerkennungsvorrichtungen notwendig ist. Zusätzlich kann eine zuverlässige Unterscheidung zwischen gefährlichen Hindernissen und nicht gefährlichen erkannten Hindernissen (beispielsweise Fahrbahnmarkierungen) erlangt werden, indem die berechnete Differenz in der Höhenlage zwischen der Fahrbahnoberfläche, auf der sich das Eigenfahrzeug befindet und einem Teil der Fahrbahnoberfläche in einem bestimmten Abstand vorderhalb des Fahrzeugs verwendet wird. Da weiterhin erkannte Objekte, welche keine Zusammenstoßgefahr in sich bergen, aus der Betrachtung beseitigt werden können, kann eine unnötige Datenverarbeitung an aufgenommenen Bildern verringert werden.
-
Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden Beschreibung anhand der Zeichnung.
-
Es zeigt:
- 1 ein Blockdiagramm des Gesamtaufbaus einer Ausführungsform einer Hinderniserkennungsvorrichtung zum Einbau in ein Fahrzeug;
- 2 ein Flussdiagramm einer Hinderniserkennungsverarbeitung, die von einem Bildverarbeitungs- und Berechnungsabschnitt der Ausführungsform durchgeführt wird;
- 3(a), 3(b) jeweils Darstellungen zur Veranschaulichung von Grundüberlegungen, die verwendet werden, um genaue Distanzwerte und Höhe über Grund-Werte eines vorausfahrenden Fahrzeugs bei der Ausführungsform zu berechnen; und
- 4(a) bis 4(d) schematische Darstellungen zur Erläuterung von Problemen, die bei einer Hinderniserkennung auftreten, wenn es eine Höhendifferenz zwischen einer Fahrbahnoberfläche, auf der eine Hinderniserkennungsvorrichtung liegt und einer Fahrbahnoberfläche vorhanden ist, auf der sich ein erkanntes Objekt befindet.
-
Bevor eine konkrete Ausgestaltung einer Ausführungsform einer Hinderniserkennungsvorrichtung beschrieben wird, sollen die Grundprinzipien, die von dieser Vorrichtung angewendet werden, dargelegt werden.
-
Bezug nehmend auf das Beispiel von
3(a) sei eine Größenabmessung (z. B. Breite) eines erkannten Objekts, gemessen als ein von der Kamera einer fahrzeugseitigen Hinderniserkennungsvorrichtung aufgenommenes Bild, als Ls bezeichnet. Genauer gesagt, wenn Ls als eine Anzahl von Bildelementen in einem Bild gemessen wird, wird die äquivalente Anzahl von Pixeln des Kamerabildsensors mit der Pixelgröße multipliziert, um den Wert von Ls zu erhalten. Die entsprechende tatsächliche Größenabmessung des Zielobjekts (z. B. über die Fahrzeug/Fahrzeug-Kommunikation erhalten) wird mit Lt bezeichnet. Die Brennweite der Kamera wird mit f bezeichnet (d. h. ein Wert, der als Bildparameter von der Hinderniserkennungsvorrichtung gespeichert ist). Die Distanz von der Kamera zum Zielobjekt (d. h. die Distanz vom Eigenfahrzeug zum Zielobjekt) ist mit D bezeichnet, welche unter Verwendung folgender Gleichung (1) berechnet wird:
-
Durch Erlangen einer Information, die tatsächliche Größenabmessungen eines bestimmten Hindernisses ausdrückt, beispielsweise durch Fahrzeug/Fahrzeug-Kommunikation und durch Verwenden dieser Information zusammen mit entsprechenden Größendimensionsinformationen aus einem aufgenommen Bild wird es möglich, den Abstand D vom Eigenfahrzeug zum Hindernis genau zu erhalten, ohne dass eine separate Vorrichtung für eine genaue Distanzmessung nötig ist, beispielsweise eine Radarvorrichtung.
-
Wenn das erkannte Hindernis ein vorausfahrendes Fahrzeug ist, ist die Größenabmessung bevorzugt der Abstand zwischen zwei Hecklampen dieses Fahrzeugs.
-
Die erlangte Information betreffend ein bestimmtes Hindernis, beispielsweise ein vorausfahrendes Fahrzeug, enthält bevorzugt auch die Höhe (Höhe über der Boden oder Fahrbahnoberfläche) eines Zielobjekts in dem bestimmten Hindernis, d. h., wenn das Zielobjekt ein Paar von Hecklampen eines vorausfahrenden Fahrzeugs ist, ist der Höhenwert die Höhe der Hecklampen über Grund. In diesem Fall wird es möglich, genau die Grundhöhendifferenz zwischen dem Eigenfahrzeug und einem vorderhalb dieses Fahrzeugs liegenden Hindernisses zu berechnen.
-
Genauer gesagt, und wie in
3(b) dargestellt, ist unter der Annahme, dass die Distanz D zu einem bestimmten Hindernis unter Verwendung obiger Gleichung (1) genau berechnet worden ist, dann die Höhe über Grund der Kamera des Eigenfahrzeugs mit Hs bezeichnet, die tatsächliche Höhe über Grund eines Zielobjekts an dem bestimmten Hindernis als Ht bezeichnet (z. B. aus einer Fahrzeug/Fahrzeug-Information erlangt) und die Zielobjekthöhe, gemessen in der Bildebene der Kamera als Hs bezeichnet (d. h. wie Ls weiter oben gemessen) und schließlich sei f die Kamerabrennweite. Die Grundhöhendifferenz Hr kann dann aus folgender Gleichung (2) berechnet werden:
-
Hs wird als die vertikale Distanz zwischen dem Zielobjekt und einer horizontalen Linie in der Bildebene gemessen, die durch den Auslöschungspunkt des Bildes verläuft.
-
Der Begriff „Auslöschungspunkt“ bezeichnet eine Position in der Bildebene, an der gerade Linien, die sich begrenzungsfrei vorderhalb der Kamera ausdehnen, als auf einem einzelnen Punkt konvergieren erscheinen. Im Beispiel der 3(a) und 3(b) und der Berechnung gemäß Gleichung (2) wird angenommen, dass die optische Achse der Kamera parallel zur Fahrbahnoberfläche verläuft, auf der sich das Eigenfahrzeug befindet, d. h. entlang einer Linie 50 ausgerichtet ist, die durch den Auslöschungspunkt verläuft.
-
Durch Berechnen einer solchen Höhe über Grund-Differenzinformation kann die Hinderniserkennungsvorrichtung so ausgelegt werden, dass sie zwischen einem Objekt unterscheidet, das in einem aufgenommenen Bild erkannt wird und keine Zusammenstoßgefahr darstellt, beispielsweise eine Markierung, die sich auf der Fahrbahnoberfläche befindet (siehe 4(a)) und ein Objekt, das eine derartige Gefahr darstellt, beispielsweise gemäß 4(c).
-
Der allgemeine Aufbau einer Ausführungsform einer derartigen in ein Fahrzeug einbaubaren Hinderniserkennungsvorrichtung 1 ist in Blockdiagrammform in 1 gezeigt. Die Hinderniserkennungsvorrichtung 1 enthält Sensoren 3 zum Erlangen von Umgebungsinformationen, Sensoren 4 zum Erlangen von Fahrinformationen, einen Kommunikationsabschnitt 5,einen Bildverarbeitungs- und Berechnungsabschnitt 6 und einen Mitteilungsabschnitt 7. Die Sensoren 3 zur Erlangung von Umgebungsinformationen dienen zur Informationsaufnahme betreffend die äußere Umgebung des Eigenfahrzeugs und beinhalten eine nach vorne gerichtete Kamera 3(a) (d. h. eine elektronische Kamera in Form einer Videokamera oder dergleichen), die so ausgelegt und ausgerichtet ist, dass sie aufeinanderfolgende Bilder der Szenerie vorderhalb des Eigenfahrzeuges als entsprechende Sätze von digitalen Daten aufnimmt. Die Sensoren 4 zum Erlangen von Fahrtinformationen erlangen Informationen betreffend die Fahrbedingungen oder Fahrzustände des Eigenfahrzeugs, einschließlich wenigstens die momentane Position dieses Fahrzeugs und beinhalten beispielsweise Fahrzeuggeschwindigkeitssensor, Gierratensensor, Lenkwinkelsensor, GPS-Empfänger (Global Positioning System) etc. Der Kommunikationsabschnitt 5 umfasst verschiedene Arten von Kommunikationsvorrichtungen für eine drahtlose Kommunikation mit Fahrzeugen, welche dem Orts- oder Eigenfahrzeug folgen oder vorausfahren (Fahrzeug/Fahrzeug-Kommunikation) und fahrbahnseitige Vorrichtungen, welche ortsfest entlang der Fahrbahn oder Straße eingebaut sein können, entlang der das Eigenfahrzeug fährt (Straße/Fahrzeug-Kommunikation).
-
Der Bildverarbeitungs-Berechnungsabschnitt 6 führt eine Bildverarbeitung an erkannten Hindernissen vorderhalb des Eigenfahrzeugs durch und führt Berechnungen zur Erzeugung von Informationen durch, welche solche Hindernisse betreffen, und zwar basierend auf Umgebungsbedingungsinformationen von den Sensoren 3 für die Umgebungsinformationen, von Fahrzustandsinformationen von den Sensoren 4 für Fahrinformationen und von extern erhaltenen Informationen von dem Kommunikationsabschnitt 5 (einschließlich wenigstens einer Fahrzeug/Fahrzeug-Information, die über eine Kommunikation mit einem vorausfahrenden Fahrzeug erhalten wird). Der Mitteilungsabschnitt 7 überträgt die aufgenommenen Bilder und die Verarbeitungsergebnisse von dem Bildverarbeitungs-Berechnungsabschnitt 6 an andere Ausstattungen im Fahrzeug (nicht gezeigt) zur Verwendung bei der Fahrzeugsteuerung, der Erzeugung von Warnanzeigen und zu Bildanzeigezwecken.
-
Kommunikationsabschnitt
-
Der Kommunikationsabschnitt 5 führt eine Fahrzeug/Fahrzeug-Kommunikation mit einem vorausfahrenden Fahrzeug durch, um Informationen (z. B. Position, Größe, Höhe über Grund) betreffend das vorausfahrende Fahrzeug zum empfangen, welche vor diesem Fahrzeug gesendet werden. Der Kommunikationsabschnitt 5 führt auch eine Fahrzeug/Fahrzeug-Kommunikation zur Übertragung ähnlicher Daten betreffend das Eigenfahrzeug an ein nachfolgendes Fahrzeug durch. Die so übertragenen Informationen beinhalten zumindest die Lage des sendenden Fahrzeugs und fahrzeugspezifische Informationen wie Abstand zwischen den Hecklampen und Höheninformation (z. B. Höhe über Grund der Hecklampen) des sendenden Fahrzeugs und können auch den Typ oder die Form des Fahrzeugs enthalten (z. B. Lkw, Pkw etc.).
-
Der Kommunikationsabschnitt 5 vermag auch eine Straße/Fahrzeug-Information von einer beliebigen straßen- oder fahrbahnseitigen Vorrichtung zu empfangen, welche benachbart der Straße liegt, auf der sich das Fahrzeug bewegt und welche eine solche Information überträgt. Die so erhaltene Straße/Fahrzeug-Information kann feste Hindernisse betreffen oder kann Bereiche betreffen, welche besondere Aufmerksamkeit vom Fahrzeugfahrer fordern und welche nachfolgend auch „Vorsichtbereiche“ genannt werden. Ein Beispiel hiervon sind Fußgängerüberwege (wo es „bewegliche Hindernisse“ geben kann, also Fußgänger oder Radfahrer). Die erhaltene Information kann aus Lage, Größe (z. B. Abmessung), Form etc. eines solchen festen Hindernisses oder Vorsichtbereichs bestehen.
-
Der Mitteilungsabschnitt 7 vermag die Verarbeitungsergebnisse, erhalten von dem Bildverarbeitungs- und Berechnungsabschnitt 6 und aufgenommene Bilder an andere Ausstattungen des Fahrzeugs zu übertragen, welche beispielsweise sichtbare oder hörbare Warnungen an den Fahrzeugfahrer basierend auf den Verarbeitungsergebnissen ausgeben.
-
Der Bildverarbeitungs- und Berechnungsabschnitt 6 dieser Ausführungsform ist ein Mikrocomputer, basierend auf einer CPU 6a, einem ROM 6b und RAM 6c, zusammen mit einem A/D-Wandler, einem digitalen Signalprozessor etc. (nicht dargestellt). Das ROM 6b hat wenigstens ein Steuerprogramm zur Durchführung einer Verarbeitung durch die CPU 6 gespeichert, sowie Informationen, die spezifisch für das Eigenfahrzeug sind (d. h. die oben erwähnte Fahrzeug/Fahrzeug-Information, die vom Kommunikationsabschnitt 5 einem nachfolgenden Fahrzeug übertragen wird) und Bildparameter. Die Bildparameterinformation umfasst zumindest die Brennweite der Vorwärtssichtkamera 3a, die Höhe über Grund der Kamera 3a und die Lage des Auslöschungspunkts innerhalb der Bildebene.
-
Die CPU 6 führt eine Prozessabfolge zur Erkennung eines tatsächlichen Hindernisses und fahrbahnoberflächenseitigen Markierungen etc. basierend auf einem aufgenommen Bild durch, das von der Kamera 3a erhalten wird, sowie eine extern erlangte Information, wenn diese zur Verfügung steht, wie nachfolgend noch unter Bezugnahme auf das Flussdiagramm von 2 beschrieben wird.
-
Verarbeitung
-
Zuerst (Schritt S110) wird das aufgenommen Bild (d. h. eine Folge digitaler Werte, welche jeweilige Bildelemente ausdrücken) analysiert, um in entsprechende Bereiche unterteilt zu werden, von denen angenommen wird, dass sie jeweilige Objekte wiedergeben, von denen einige tatsächliche Hindernisse sein können, die vorderhalb des Eigenfahrzeugs liegen. Eine bekannte Art von Bildverarbeitung wird dann an das Bild angelegt, um jeweilige Abstandswerte entsprechend dieser Bildbereiche (erkannte Objekte) abzuschätzen. Diese geschätzten Distanz- oder Abstandswerte Werden nachfolgend als „Grobdistanzen“ bezeichnet.
-
Nachfolgend (Schritt S120) wird eine Entscheidung gemacht, ob eine Fahrzeug/Fahrzeug-Information von dem Kommunikationsabschnitt 5 neu von einem vorausfahrenden Fahrzeug erlangt oder erhalten worden ist. Wenn dies der Fall ist, geht der Ablauf zum Schritt S130, wohingegen, wenn keine Fahrzeug/Fahrzeug-Information empfangen worden ist, Schritt S180 durchgeführt wird.
-
In Schritt S130 wird ein Bereich begrenzter Erstreckung innerhalb des aufgenommenen Bilds definiert, der ein Bereich sein soll, an welchem eine detaillierte Verarbeitung angewendet wird. Dieser Bereich begrenzter Erstreckung wird basierend auf den Inhalt der empfangenen Fahrzeug/Fahrzeug-Information bestimmt, d. h. der Information, welche anzeigt, dass es ein Zielobjekt bestehend aus einem vorausfahrenden Fahrzeug gibt und eine Information betreffend dieses Fahrzeugs, einschließlich seiner momentanen Position. Nachfolgend wird im Schritt S140 ein Bereich, der das vorausfahrende Fahrzeug darstellt, aus dem Bereich begrenzter Erstreckung extrahiert, der in dem aufgenommenen Bild definiert ist. Genauer gesagt, wenn die empfangene Fahrzeug/Fahrzeug-Information eine Information enthält, welche die Form des vorausfahrenden Fahrzeugs ausdrückt, wird eine Schablone oder Vorlage entsprechend dieser Form erzeugt und eine Schablonenanpassung wird durchgeführt, um das vorausfahrende Fahrzeug aus dem aufgenommenen Bild zu extrahieren.
-
Unter der Annahme, dass ein Paar von Hecklampen des vorausfahrenden Fahrzeugs als ein Zielobjekt zu erkennen ist, wie oben beschrieben, und dass die empfangene Fahrzeug/Fahrzeug-Information die tatsächliche Distanz Lt zwischen diesen Hecklampen und die tatsächliche Höhe über Grund Ht der Hecklampen spezifiziert, wie oben gemäß der 3(a) und 3(b) beschrieben, wird die offensichtliche oder augenscheinliche Zielobjektgrößenabmessung Ls (Abstand zwischen den Hecklampen) und die offensichtliche oder augenscheinliche Objekthöhe Hs (Höhe über Grund der Hecklampen), wie in dem aufgenommen Bild gemessen, entsprechend erhalten, und zwar basierend auf dem Inhalt des oben erwähnten begrenzten Bearbeitungsbereichs innerhalb des aufgenommenen Bilds. Der Wert von Hs wird in Bezug zu der Auslöschpunktposition in der Bildebene erhalten, wie oben unter Bezug auf 3(b) beschrieben.
-
Nachfolgend werden in Schritt S150 die Abmessung Ls aus Schritt S140 und die Brennweite f (ausgelesen aus dem ROM 6b als Bildparameter) verwendet, um die Distanz D zum vorausfahrenden Fahrzeug zu berechnen. Dieser derart berechnete Abstand D wird als präziser Abstand oder präzise Distanz bezeichnet.
-
Es wird ein Schritt S160 durchgeführt, wo basierend auf dem Höhenwert Hs aus Schritt S140, der präzisen Distanz D aus Schritt S150, der tatsächlichen Höhe über Grund Ht der Hecklampen des vorausfahrenden Fahrzeugs (aus der Fahrzeug/Fahrzeug-Information), der Brennweite f (von ROM 6b) und der obigen Höhe über Grund Hc der Kamera 3a (ebenfalls als Bildparameter aus dem ROM 6b ausgelesen) unter Verwendung der obigen Gleichung (2) die Höhe über Grund-Differenz Hr berechnet wird, d. h. die Höhendifferenz zwischen der Fahrbahnoberfläche, auf der sich das Eigenfahrzeug befindet und der Fahrbahnoberfläche, auf der sich das vorausfahrende Fahrzeug befindet (siehe obige Beschreibung von 3(b)).
-
Die Verarbeitungsabfolge der Schritte S130 bis S160 wird jedes Mal dann durchgeführt, wenn eine Fahrzeug/Fahrzeug-Information erlangt wird, d. h. wird aufeinanderfolgend für jedes von einem oder mehreren Fahrzeugen durchgeführt, welche momentan vorderhalb des Eigenfahrzeugs fahren und welche jeweils eine Fahrzeug/Fahrzeug-Information übertragen.
-
Nachfolgend wird in Schritt S170 basierend auf dem Höhe über Grund-Differenzbetrag Hr aus Schritt S160 und den Werten der Grobdistanz, die jeweils für unterschiedliche Objekte in S110 erhalten wurden (d. h. als jeweilige Bildbereiche erkannt wurden) die jeweiligen Höhe über Grund-Werte für diejenigen erkannten Hindernisse berechnet, welche innerhalb des Bearbeitungsbereichs oder Verarbeitungsbereichs liegen, der im Schritt S140 bestimmt wurde. Die erkannten Objekte werden somit ermittelt, um zwischen denjenigen zu unterscheiden, die unterhalb eines bestimmten Schwellenwertes der Höhe über Grund liegen und somit keine tatsächlichen Hindernisse sind (z. B. Fahrbahnmarkierungen etc. auf der Fahrbahnoberfläche) und Objekten, die oberhalb des Schwellenwerts der Höhe liegen und somit eine Gefahr (Zusammenstoßgefahr) bilden.
-
Nachfolgend wird im Schritt S180 eine Entscheidung gemacht, ob die Straße/Fahrzeug-Kommunikation eine neue Straße/Fahrzeug-Information erlangt oder erhalten worden ist. Wenn eine solche Information erlangt worden ist, wird Schritt S190 durchgeführt, während ansonsten der Schritt zu S210 weitergeht. Die Straße/Fahrzeug-Information kann die Lagen, Abmessungen etc. von einem oder mehreren festen Hindernissen und/oder einem oder mehrerer Vorsichtsbereiche, beispielsweise Fußgängerüberwege spezifizieren. Im Schritt S190 wird ein Bereich begrenzter Erstreckung innerhalb des aufgenommenen Bildes als Bearbeitungsbereich definiert. Dies erfolgt basierend auf den Inhalt der empfangenen Straße/Fahrzeug-Information, d. h. basierend auf Position und Größe eines festen Hindernisses oder Vorsichtsbereichs, wie in der empfangenen Information eingegeben.
-
Nachfolgend werden in Schritt S200 jegliche Objekte entsprechend festen Hindernissen, die innerhalb des Bearbeitungsbereichs liegen, der in Schritt S190 bestimmt wurde, oder jegliche Objekte entsprechend beweglichen Hindernissen (z. B. Fußgänger, Fahrradfahrer) innerhalb eines jeden Vorsichtbereichs (beispielsweise Fußgängerüberweg) innerhalb des Verarbeitungsbereichs aus dem Bild extrahiert. Dies erfolgt durch Anlegen oder Anwenden einer Schablonenanpassung an das Bild unter Verwendung von Schablonen, welche gemäß dem Inhalt der Straße/Fahrzeug-Information gewählt werden. Die Position der Größe jeglicher fester und/oder beweglicher Hindernisse innerhalb des Verarbeitungsbereichs werden somit erhalten.
-
Wenn beispielsweise die Straße/Fahrzeug-Information einen Fußgängerüberweg anzeigt, werden Schablonen entsprechend von Fußgängern und Fahrradfahrern (d. h. beweglichen Hindernissen, von denen es eine hohe Wahrscheinlichkeit gibt, dass sie sich innerhalb eines derartigen Vorsicht- oder Gefahrenbereichs befinden) zur Verwendung ausgewählt.
-
Der Ablauf der Schritte S190 bis S200 wird aufeinanderfolgend für jedes der entsprechenden festen Hindernisse und jeden der Vorsichtsbereiche durchgeführt, welche in der empfangenen Straße/Fahrzeug-Information spezifiziert sind.
-
In Schritt S210 erfolgt eine Bildverarbeitung, um aus dem verbleibenden Bildbereich außerhalb der Verarbeitungsbereiche, der in den Schritten S130 und S190 bestimmt wurde, jegliche Objekte zur Extrahierung, die Fahrzeugen und/oder festen Hindernissen entsprechen. Schließlich werden im Schritt S220 die erhaltenen Erkennungsergebnisse dem Mitteilungsabschnitt 7 mitgeteilt.
-
Übertragen auf die beigefügten Ansprüche entspricht die Verarbeitung im obigen Schritt S140 einer Funktion, die von einer Informationserzeugungsschaltung gemäß den Ansprüchen durchgeführt wird; die Verarbeitung von Schritt S150 entspricht einer Funktion, die von einer Distanzberechnungsschaltung durchgeführt wird; die Verarbeitung von Schritt S160 entspricht einer Funktion, die von einer Höhe über Grund-Differenzberechnungsschaltung durchgeführt wird; und die Verarbeitung von Schritt S170 entspricht einer Funktion, die von einer Unterscheidungsschaltung durchgeführt wird. Es versteht sich, dass, obgleich die obige Ausführungsform diese Funktionen aufgrund einer Durchführung eines Steuerprogramms durch einen Mikrocomputer durchgeführt werden, es gleichermaßen möglich ist, wenigstens einen Teil dieser Funktionen durch eine entsprechend ausgelegte Hardwareschaltung umzusetzen.
-
Erhaltene Ergebnisse
-
Wie oben beschrieben, verwendet die Hinderniserkennungsvorrichtung 1 die Gleichung (1) zur Berechnung der präzisen Distanz D zwischen dem Orts- oder Eigenfahrzeug und einem vorausfahrenden Fahrzeug basierend auf einer Fahrzeug/Fahrzeug-Information, die vom vorausfahrenden Fahrzeug übertragen oder gesendet wird (insbesondere tatsächliche Größenabmessung Lt des vorausfahrenden Fahrzeugs, z. B. Abstand zwischen den Hecklampen), dem entsprechenden Größenabmessungswert Ls, wie er in dem aufgenommenen Bild von der Kamera 3a gemessen wird und der Brennweite f der Kamera 3a (als Bildparameter gespeichert). Eine derartig präzise Messung des Abstand zu einem vorausfahrenden Fahrzeug erfolgt somit ohne die Notwendigkeit einer eigenen Distanzmessvorrichtung, beispielsweise einer Radarvorrichtung.
-
Da weiterhin die Hinderniserkennungsvorrichtung 1 den Größenabmessungswert Lt als Abstand zwischen den Heckleuchten eines vorausfahrenden Fahrzeugs erhalten kann, kann eine genaue Messung des Abstands D auch während der Nacht erreicht werden.
-
Weiterhin kann die Hinderniserkennungsvorrichtung 1 die Höhe über Grund-Differenz Hr zwischen der Fahrbahnoberfläche, auf der sich das eigene Fahrzeug befindet und der Fahrbahnoberfläche, auf der ein vorausfahrendes Fahrzeug fährt unter Verwendung der obigen Gleichung (2) basierend auf der tatsächlichen Höhe Ht über Grund des vorausfahrenden Fahrzeugs (oder der obigen Höhe über Grund der Fahrzeughecklampen), übertragen von der Fahrzeug/Fahrzeug-Information vom vorausfahrenden Fahrzeug, dem entsprechenden Höhenwert Hs, wie er in dem aufgenommenen Bild von der Kamera 3a gemessen wird und der Brennweite f und der obigen Höhe Hs über Grund der Kamera 3a (als jeweilige Bildparameter gespeichert) und den exakten oder präzisen Abstand D zum vorausfahrenden Fahrzeug (berechnet unter Verwendung der Gleichung (1)) genau berechnen.
-
Basierend auf dieser Höhe über Grund-Differenz Hr kann die Hinderniserkennungsvorrichtung 1 jeweilige Objekte, die in einem aufgenommenen Bild erscheinen (d. h. erkannte Objekte, von denen einige Hindernisse sind oder sein können) als Objekte, welche keine Gefahr darstellen (z. B. Fahrbahnmarkierungen) und dreidimensionale Objekte unterscheiden, die tatsächliche Hindernisse sind, d. h. eine Zusammenstoßgefahr bilden können.
-
Somit kann eine erhöhte Zuverlässigkeit bei der Fahrzeugsteuerung basierend auf Ergebnissen einer derartigen Erkennung externer Objekte erreicht werden oder bei der Bereitstellung von Warnungen für den Fahrzeugfahrer basierend auf derartigen Erkennungsergebnissen. Zusätzlich wird es möglich, unnötige Bearbeitungen betreffend dieser erkannten Objekte wegzulassen, welche keine Gefahr darstellen, so dass die Gesamtbearbeitungslast verringert werden kann.
-
Eine in ein Fahrzeug einbaubare Hinderniserkennungsvorrichtung umfasst insoweit zusammenfassend eine Kamera und verarbeitet sich ergebende Bilddaten, um Objekte als mögliche Hindernisse zu erkennen. Ein Größenwert, beispielsweise der Abstand von zwei Hecklampen, gesendet von einem vorausfahrenden Fahrzeug, und ein entsprechender Größenwert, wie er in einem von der Kamera aufgenommen Bild gemessen wird, werden verwendet, um den Abstand zu dem vorausfahrenden Fahrzeug zu berechnen. Dieser Wert wird zusammen mit dem Höhenwert, der von dem vorausfahrenden Fahrzeug gesendet wird und einem entsprechenden Höhenwert, der in dem aufgenommenen Bild gemessen wird, verwendet, eine relative Höhendifferenz zwischen den Fahrzeugen zu berechnen, welche dann wiederum verwendet wird, um zwischen erkannten Objekten zu unterscheiden, welche tatsächliche Hindernisse darstellen und Objekten, welche keine Hindernisse sind, beispielsweise Fahrbahnmarkierungen.
-
Es sei festzuhalten, dass die Erfindung natürlich nicht auf die Verwendung eines Paars von Hecklampen eines vorausfahrenden Fahrzeugs als ein Zielobjekt bei der präzisen Distanzberechnung beschränkt ist, wie oben beschrieben. Es wäre gleichermaßen möglich, einen Abstand zwischen zwei beliebigen anderen, sichtlich unterscheidbaren Teilen eines vorausfahrenden Fahrzeugs oder eines anderen Objekts zu verwenden, d. h. Teile, welche in einem aufgenommenen Bild aufscheinen und sich in einer ausreichenden Höhe über der Fahrbahnoberfläche befinden.
-
Andere Ausführungsformen
-
Es sei weiterhin festzuhalten, dass die vorliegende Erfindung nicht auf die obige Ausführungsform beschränkt ist, sondern dass eine Vielzahl von anderen Ausführungsformen gleichermaßen möglich ist.
-
Beispielsweise werden bei obiger Ausführungsform Werte des präzisen Abstands D und der Höhe über Grund-Differenz Hr für ein vorausfahrendes Fahrzeug basierend auf einer Fahrzeug/Fahrzeug-Information bestimmt, welche von diesem Fahrzeug erhalten wird. Es wäre jedoch gleichermaßen möglich, die erfindungsgemäße Vorrichtung so auszulegen, dass der präzise Abstand D zu einem festen Hindernis (und falls nötig die Höhe über Grund-Differenz Hr bezüglich dem festen Hindernis) basierend auf einer Straße/Fahrzeug-Information zum Bestimmen (d. h. Lage, tatsächlichen Wert einer Größenabmessung, Höhe über Grund etc. des festen Hindernisses zu spezifizieren), wobei die Straße/Fahrzeug-Information von einer straßenseitigen Vorrichtung übertragen oder gesendet wird.