DE102005013920B4

DE102005013920B4 - Frontsicht-Überwachungsvorrichtung

Info

Publication number: DE102005013920B4
Application number: DE102005013920A
Authority: DE
Inventors: Takahiro Maemura; Masahiro Ikeyama; Emrullah Durucan
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2004-03-26
Filing date: 2005-03-24
Publication date: 2007-12-13
Anticipated expiration: 2025-03-25
Also published as: US20050225636A1; CN1673679A; DE102005013920A1; CN100471263C; US7190282B2

Abstract

Frontsicht-Überwachungsvorrichtung, die aufweist:
eine Bildaufnahmeeinrichtung (3), die an einer Frontpartie eines Fahrzeugs (2) zur Aufnahme eines Seitensichtbildes bezüglich des Fahrzeugs (2) vorgesehen ist;
eine Einrichtung (11) zur Berechnung eines optischen Flußvektors auf der Grundlage des Bildes;
eine Einrichtung (52) zur Detektion eines sich nähernden Objekts auf der Grundlage eines optischen Flußvektors, der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs (2) in dem Bild aufweist, wobei der Vektor in den optischen Flußvektoren enthalten ist, die durch die Einrichtung (11) zur Berechnung eines optischen Flußvektors berechnet werden, und;
eine Meldeeinrichtung (5) zur Anzeige des Bildes und ferner zur Meldung der Tatsache der Detektion des sich nähernden Objekts, dadurch gekennzeichnet, daß sie ferner eine Wenderichtungsdetektionseinrichtung (7) zur Detektion einer Wenderichtung des Fahrzeugs (2) aufweist,
wobei die Einrichtung (52) zur Detektion eines sich nähernden Objekts ein sich näherndes Objekt auf der Grundlage eines optischen Flußvektors detektiert, der in...

Description

Die vorliegende Erfindung betrifft eine Frontsicht-Überwachungsvorrichtung, die dazu bestimmt ist, ein Aufnahmebild anzuzeigen, das durch eine Frontsichtkamera(s) aufgenommen wird, und ferner optische Flußvektoren aus dem Aufnahmebild zu extrahieren.
Bisher ist eine Technik entwickelt worden, in der sich eine Bildaufnahmekamera an einem Front- (vorderen End-)Abschnitt eines Fahrzeugs befindet, um ein Seitensichtbild (rechts- und/oder linksseitiges Bild von seitlichen Bereichen) aufzunehmen, und jedes Aufnahmebild (sogenanntes Frontsichtbild) wird auf einer Überwachungsvorrichtung oder dergleichen zur Ergänzung der nicht unterstützten Sicht des Insassen angezeigt. Im allgemeinen wird in einer solchen Technik eine Überwachungsvorrichtung, die dazu bestimmt ist, ein Aufnahmebild anzuzeigen, auch als ein im Fahrzeug eingebauter Monitor verwendet, der dazu bestimmt ist, ein Fernsehbild, ein Fahrzeugnavigationsbild (Bildschirmanzeige mit Fahrzeugnavigationssystem) oder dergleichen anzuzeigen, und es wird ein Fernsehbild oder ein Navigationsbild darauf angezeigt, wenn ein Fahrzeug fährt, während die Anzeigeumschaltung auf ein Frontsichtbild automatisch stattfindet, wenn sich das Fahrzeug einer Kreuzung oder einer T-Einmündung nähert und zu einem zeitweiligen Halt kommt.
Zusätzlich offenbart das japanische Patent JP 3287817 B2 eine Fahrzeugkameravorrichtung, die an einem Frontabschnitt eines Fahrzeugs angebracht ist, um ein Seitensichtbild aufzunehmen, das auf einer Überwachungsvorrichtung (Anzeigeeinheit) im Inneren des Fahrzeugs angezeigt werden soll, wobei die Vorrichtung entsprechend einer Geschwindigkeit oder Verzögerung des Fahrzeugs vor dem Halt des Fahrzeugs oder bevor das Fahrzeug eine Fahrt mit einer vorbestimmten niedrigen Geschwindigkeit erreicht, automatisch eingeschaltet wird. Diese Anordnung ermöglicht es, daß die Vorrichtung eingeschaltet wird, um vor einem zeitweiligen Halt des Fahrzeugs ein seitliches Aufnahmebild von einem Frontabschnitt auf eine Anzeige zu bringen, zum Beispiel, wenn sich das Fahrzeug einer Kreuzung nähert und der Fahrer die seitlichen Sicherheitsbedingungen bestätigt, was es zuläßt, daß der Fahrer die schnellen und reibungslosen Sicherheitsbestätigungen mit Leichtigkeit im voraus durchführt. Andererseits bleibt die Vorrichtung in einem Fall ausgeschaltet, in dem sich das Fahrzeug infolge einer Verkehrsstauung in einem Zustand einer langsamen Fahrt befindet, was die Störung eines Fernsehbildes, eines Navigationsbildes oder dergleichen verhindern kann.
Überdies ist bezüglich eines Aufnahmebildes, das durch eine solche Überwachungsvorrichtung aufgenommen werden soll, eine Technik entwickelt worden, die zur Detektion eines beweglichen Objekts, das im Aufnahmebild vorhanden ist, durch Verwendung eines optischen Flusses dient. In diesem Fall bedeutet der optische Fluß ein zweidimensionales Geschwindigkeitsvektorfeld auf einem Bild, d.h. ein scheinbares Geschwindigkeitsfeld eines sich bewegenden Körpers in einem sich bewegenden Bild. In einer solchen Technik wird zum Beispiel ein Punkt, der als dasselbe Objekt erkennbar ist, als ein Merkmalspunkt zwischen zwei aufeinanderfolgenden Bildern eingestellt (durch Rechenoperationen detektiert), die in einer vorbestimmten Zeitspanne aufgenommen werden, so daß eine Bewegung (Bewegungsrichtung und Bewegungsentfernung) dieses Merkmalspunktes als ein Vektor berechnet wird (dieser Vektor ist ein optischer Flußvektor und wird gleichsam einfach als Flußvektor bezeichnet, und manchmal wird er als ein optischer Fluß bezeichnet). Überdies werden dann, wenn der Merkmalspunkt und der Flußvektor über den gesamten Bereich im Aufnahmebild berechnet werden, die Informationen, wie die Position eines beweglichen Objekts und die Bewegungsrichtung im Bild erkennbar.
Ferner offenbart das japanische Patent JP 3398934 B2 eine Technik zur Durchführung einer Rechenoperation zur Berechnung eines optischen Flusses eines Aufnahmebildes in einer Fahrzeugfahrtrichtung (Vorwärtsrichtung, die eine Bewegungsrichtung des Fahrzeugs ist) mit der Ausnahme eines Bereichs, der einer Szene außerhalb einer Straße im Bild entspricht. Konkret wird die Berechnung des optischen Flusses bezüglich nur eines Bereichs vorgenommen, der einen unteren Abschnitt umfaßt, der von geraden Linien umgeben ist, die von einem Unendlich-Punkt auf einem Bild zu beiden unteren Eckabschnitten auf einem Bildschirm und einem Randabschnitt des Unendlich-Punkts gezogen werden. Dies kann den Rechendurchsatz reduzieren und die Verarbeitungszeit für eine Erhöhung der Geschwindigkeit verkürzen, im Vergleich mit einem Fall der Berechnung eines optischen Flusses über den gesamten Bereich des Bildes hinweg.
Unterdessen erscheint zur Erkennung eines beweglichen Objekts, wie eines Fahrzeugs, das sich dem eigenen Fahrzeug nähert, auf der Grundlage eins Frontsichtbildes, das in einem seitlichen Gesichtsfeld bezüglich des Fahrzeugs aufgenommen wird, indem ein optischer Fluß verwendet wird, wenn sich das Fahrzeug in einem Anhaltezustand befindet, kein Flußvektor an einem Objekt (zum Beispiel, dem Hintergrundabschnitt in einem Bild, wie Gebäuden, Straßenbäumen), das die Relativposition bezüglich des Fahrzeugs nicht verändert, während nur an einem Körper ein Flußvektor erzeugt wird und sich entwickelt, der sich tatsächlich bewegt. Dies bedeutet, daß das bewegliche Objekt an der Stelle der Entwicklung des Flußvektors vorhanden ist, was folglich die genaue Detektion des beweglichen Objekts auf der Grundlage des Vorhandenseins oder Fehlens des Flußvektors ermöglicht.
Jedoch ist im allgemeinen eine Situation, die ein Frontsichtbild erfordert, ein Fall der Einfahrt in unübersichtliche Kreuzungen oder T-Einmündungen, und in dieser Situation bewegt der Fahrzeugführer in den meisten Fällen das Fahrzeug langsam vorwärts, während er das Frontsichtbild zur seitlichen Sicherheitsbestätigung betrachtet.
Folglich bewegt sich in einem Zustand, wo sich das Fahrzeug in Bewegung befindet, der Winkel (Zusammensetzung) des Frontsichtbildes selbst, wodurch ein Problem geschaffen wird, daß sich selbst an einem Objekt, wie einem Gebäude oder Straßenbaum ein Flußvektor entwickelt, das den Hintergrund im Bild bildet und das sich nicht tatsächlich bewegt, und folglich wird der Hintergrund als ein bewegliches Objekt detektiert. Überdies wird eine Schwierigkeit bei der Extraktion/Detektion nur eines beweglichen Objekts, das sich dem eigenen Fahrzeug nähert, aus einem Bild angetroffen, das in einer Situation aufgenommen wird, in der sich der Winkel selbst verändert.
Zusätzlich bewegt sich in einem Fall des Voranbringens eines Fahrzeugs in einem Zustand, wo ein Lenkrad gedreht ist, das gesamte Frontsichtbild entsprechend eines Wenderadius oder einer Wendegeschwindigkeit des Fahrzeugs. Das heißt, es ist ein Problem darin vorhanden, daß sich infolge der Bewegung der Bildaufnahmekamera selbst am gesamten Bild ein Flußvektor entwickelt, was bewirkt, daß ein optischer Fluß, der sich infolge der Bewegung des eigenen Fahrzeugs entwickelt, und ein optischer Fluß, der durch ein tatsächliches bewegliches Objekt erzeugt wird, in einem gemischten Zustand detektiert werden, so daß eine Schwierigkeit bei der getrennten Extraktion (Detektion) dieser optischen Flüsse angetroffen wird.
Zur Lösung dieses Problems offenbart zum Beispiel das japanische Patent JP 3239521 B2 eine Technik zum Berechnen eines scheinbaren optischen Flusses, der durch eine Bewegung des eigenen Fahrzeugs erzeugt wird, in einer Vorrichtung zur Erkennung eines beweglichen Objekts, die dazu bestimmt ist, einen optischen Fluß auf der Grundlage eines Frontsichtbildes relativ zu einem Fahrzeug zu berechnen. In dieser Technik wird der scheinbare optische Fluß auf der Grundlage von Daten über eine Bewegungsrichtung des eigenen Fahrzeugs und einer Entfernung zu einem Objekt berechnet, das mit der Extraktion des optischen Flusses zusammenhängt. Und in der Technik wird ein bewegliches Objekt detektiert, indem der Einfluß der Bewegung des Fahrzeugs auf den optischen Fluß kompensiert wird.
Jedoch erfordert es diese Technik, daß nicht nur die Bewegungsrichtungsdaten, wie die Fahrzeugbewegungsgeschwindigkeit und die Giergeschwindigkeit (engl. yaw rate), sondern auch die Entfernung zu einem Objekt zur Berechnung des scheinbaren optischen Flusses detektiert werden, d.h. des optischen Flusses, der sich infolge der Bewegung des eigenen Fahrzeugs entwickelt, was zu einer komplizierten Anordnung und komplizierten Rechenoperationen führt.
Überdies wird zum Beispiel bezüglich eines Aufnahmebildes, das durch eine Kamera aufgenommen wird, die dazu bestimmt ist, Bilder vom vorderen oder hinteren Gesichtsfeld aufzunehmen, da eine scheinbare Geschwindigkeit eines Objekts, das als ein bewegliches Objekt detektiert werden soll, als eine Differenz (Relativgeschwindigkeit) zwischen einer Bewegungsgeschwindigkeit des eigenen Fahrzeugs und einer Bewegungsgeschwindigkeit des Objekts berechnet wird, die Bildaufnahme bei einer Bewegungsgeschwindigkeit vorgenommen, die niedriger als die tatsächliche Bewegungsgeschwindigkeit des Objekts ist, und in den meisten Fällen wird die Größe des optischen Flusses des Objekts, der aus dem Aufnahmebild extrahiert wird, verhältnismäßig klein.
Andererseits ist im Fall einer Frontsichtkamera, die dazu bestimmt ist, Bilder in einem seitlichen Gesichtsfeld bezüglich eines Fahrzeugs aufzunehmen, ein Objekt der Bildaufnahme üblicherweise ein gewöhnliches fahrendes Fahrzeug oder dergleichen in einem Zustand, wo sich das eigene Fahrzeug in einem Anhalte- oder langsamen Bewegungszustand befindet. Aus diesem Grund wird die Bildaufnahme bei einer Bewegungsgeschwindigkeit gemacht, die fast gleich der tatsächlichen Bewegungsgeschwindigkeit des Objekts ist (das heißt, da die Bewegungsgeschwindigkeit des eigenen Fahrzeugs niedrig ist, wird die scheinbare Bewegungsgeschwindigkeit des Objekts auf dem Aufnahmebild nicht merklich niedrig), was häufig die Extraktion eines verhältnismäßig großen optischen Flusses bewirkt, so daß der Rechen durchsatz bei der Rechenoperation für den optischen Fluß zunimmt. Folglich erfordert die präzise auf einem optischen Fluß beruhende Erkennung eines beweglichen Objekts wie eines Fahrzeugs, das sich dem eigenen Fahrzeug nähert, in einem Frontsichtbild den Einsatz einer Rechenverarbeitungseinheit mit einer hohen Verarbeitungsfähigkeit (Durchsatz), was zu einer Zunahme der Vorrichtungskosten als ganzes führt. Folglich umfaßt zur Detektion eines beweglichen Objekts aus einem Aufnahmebild, das durch eine Frontsichtkamera auf der Grundlage eines optischen Flusses aufgenommen wird, eine Lösung des herkömmlichen Problems die Reduzierung der Rechenoperationen.
DE 101 02 884 A1 , DE 101 08 646 A1 und DE 43 32 612 C2 offenbaren eine Überwachungseinrichtung während ein Kraftfahrzeug geradeaus fährt.
Die vorliegende Erfindung ist im Hinblick darauf entwickelt worden, dieses Problem zu beseitigen, und es ist daher eine Aufgabe der Erfindung, eine Frontsicht-Überwachungsvorrichtung bereitzustellen, die zur Detektion eines sich nähernden Objekts, das an einer seitlichen Position relativ zu einem Frontabschnitt eines Fahrzeugs vorhanden ist, mit einem hohen Grad an Genauigkeit imstande ist, indem sie eine einfache Logik zur Meldung einer Information über das sich nähernde Objekt an Insassen verwendet.
Die Aufgabe wird durch die in den Ansprüchen 1 bis 6 aufgeführten Merkmale gelöst.
Zu diesem Zweck wird gemäß eines Aspekts der vorliegenden Erfindung eine Frontsicht-Überwachungsvorrichtung bereitgestellt, die aufweist: eine Bildaufnahmeeinrichtung, die an einer Frontpartie eines Fahrzeugs zur Aufnahme eines Seitensichtbilds bezüglich des Fahrzeugs vorgese hen ist, eine Einrichtung zur Berechnung eines optischen Flußvektors zur Berechnung eines optischen Flußvektors auf der Grundlage des Bildes, eine Einrichtung zur Detektion eines sich nähernden Objekts zur Detektion eines sich nähernden Objekts auf der Grundlage eines optischen Flußvektors, der eine Vektorkomponente längs (oder auf der Seite) einer Bewegungsrichtung des Fahrzeugs in dem Bild aufweist, wobei der Vektor in den optischen Flußvektoren enthalten ist, die durch die Einrichtung zur Berechnung eines optischen Flußvektors berechnet werden, und eine Meldeeinrichtung zur Anzeige des Bildes und ferner zur Meldung der Tatsache der Detektion des sich nähernden Objekts.
Die Frontsicht-Überwachungsvorrichtung gemäß der Erfindung weist ferner eine Wenderichtungsdetektionseinrichtung zur Detektion einer Wenderichtung des Fahrzeugs auf, wobei die Einrichtung zur Detektion eines sich nähernden Objekts ein sich näherndes Objekt auf der Grundlage eines optischen Flußvektors detektiert, der in einem seitlichen Bereich längs einer Wendeaußenrichtung des Fahrzeugs vorhanden ist, die durch die Wenderichtungsdetektionseinrichtung detektiert wird, und der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs in dem Bild aufweist, wobei der Vektor in den optischen Flußvektoren enthalten ist, die durch die Einrichtung zur Berechnung eines optischen Flußvektors bei einer Wendung des Fahrzeugs berechnet werden, und die Einrichtung zur Detektion eines sich nähernden Objekts nicht auf einen optischen Flußvektor, der in einem seitlichen Bereich längs einer Wendeinnenrichtung des Fahrzeugs vorhanden ist, die durch die Wenderichtungsdetektionseinrichtung de tektiert wird, zur Detektion des sich nähernden Objekts Bezug nimmt.
Diese Anordnung ermöglicht eine leichte Erkennung eines Objekts, das sich dem eigenen Fahrzeug aus einer seitlichen Richtung nähert, und läßt ferner die Reduzierung des Rechendurchsatzes für den optischen Fluß zu. Überdies kann dies verhindern, daß die Bewegung eines Hintergrundbildes eines Aufnahmebildes mit einem sich dem eigenen Fahrzeug nähernden Objekt verwechselt wird, selbst wenn sich das eigene Fahrzeug mit einer niedrigen Geschwindigkeit bewegt, und ermöglicht ferner eine präzise Detektion eines beweglichen Objekts, wodurch folglich die Verbesserung der Detektionsgenauigkeit erzielt wird. Daher wird die Fehlübermittlung des sich dem eigenen Fahrzeug nähernden Objekts reduzierbar.
Erfindungsgemäß kann die Korrektur eines optischen Flußvektors bei einer Wendung des Fahrzeugs durch eine Berechnung auf der Grundlage eines optischen Flußvektors vereinfacht werden, der in einem seitlichen Bereich längs der Wendeaußenrichtung vorhanden ist, in dem ein sich näherndes Objekt deutlich detektiert wird. Überdies kann die irrtümliche Erkennung reduziert werden, und die Genauigkeit der Detektion eines sich nähernden Objekts kann verbessert werden, da nicht auf die Flußvektoren in einem seitlichen Bereich längs einer Wendeinnenrichtung Bezug genommen wird, in dem ein sich näherndes Objekt nicht deutlich detektiert wird.
Vorzugsweise nimmt die Melde- (oder Alarm)-Einrichtung die Umschaltung zwischen mehreren Meldebetriebsarten gemäß der Größe eines optischen Flußvektors vor, der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs aufweist, und meldet die Tatsache der Detektion des sich nähernden Objekts während sie das Bild anzeigt, oder die Meldeeinrichtung nimmt die Umschaltung zwischen mehreren Meldebetriebsarten entsprechend der Anzahl optischer Flußvektoren vor, die eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs aufweisen, und meldet die Tatsache der Detektion des sich nähernden Objekts, während sie das Bild anzeigt.
Mit dieser Anordnung ermöglicht die Umschaltung zwischen mehreren Meldebetriebsarten gemäß der Größe des optischen Flußvektors oder der Anzahl der optischen Flüsse eine Entscheidung über ein Maß einer Gefahrensituation, die mit dem sich dem eigenen Fahrzeug nähernden Objekt verbunden ist, was eine effektive Meldung erzielt, die dem Maß einer Gefahrensituation entspricht, wodurch die Sicherheit verbessert wird.
Vorzugsweise ist die Bildaufnahmeeinrichtung dazu bestimmt, Seitensichtbilder des rechtsseitigen Bereichs und linksseitigen Bereichs bezüglich des Fahrzeugs aufzunehmen, ist die Einrichtung zur Berechnung eines optischen Flußvektors dazu bestimmt, einen optischen Flußvektor auf der Grundlage jedes der Seitenbereichssichtbilder bezüglich des Fahrzeugs zu berechnen, die durch die Bildaufnahmeeinrichtung aufgenommen werden, und ist die Einrichtung zur Detektion eines sich nähernden Objekts dazu bestimmt, das sich nähernde Objekt auf der Grundlage eines optischen Flußvektors, der eine nach rechts gerichtete Vektorkomponente aufweist, wobei der Vektor in den optischen Flußvektor in dem linksseitigen Bereich enthalten ist, der durch die Einrichtung zur Berechnung eines optischen Flußvektors berechnet wird, und auf der Grundlage eines optischen Flußvektors zu detektieren, der eine nach links gerichtete Vektorkomponente aufweist, wobei der Vektor in dem optischen Flußvektor in dem rechtsseitigen Bereich enthalten ist, der durch die Einrichtung zur Berechnung eines optischen Flußvektors berechnet wird.
Diese Anordnung ermöglicht eine leichte Detektion des sich dem eigenen Fahrzeug nähernden Objekts im rechtsseitigen Bereich und linksseitigen Bereich, und läßt es ferner zu, daß das sich dem eigenen Fahrzeug nähernde Objekt mit hoher Genauigkeit detektiert wird, indem eine einfache Steuerlogik verwendet wird.
Zusätzlich weist die Frontsicht-Überwachungsvorrichtung ferner vorzugsweise eine Fahrzeuggeschwindigkeitsdetektionseinrichtung zur Detektion einer Geschwindigkeit des Fahrzeugs auf, und die Einrichtung zur Detektion eines sich nähernden Objekts setzt die Detektion des sich nähernden Objekts aus, wenn die Fahrzeuggeschwindigkeit einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird.
Diese Anordnung kann die irrtümliche Erkennung und irrtümliche Meldung eines sich nähernden Objekts infolge der Bewegung mit einer hohen Geschwindigkeit des eigenen Fahrzeugs reduzieren. Infolgedessen wird die Genauigkeit der Detektion des sich nähernden Objekts beruhend auf einem optischen Fluß verbesserbar.
Desweiteren weist die Frontsicht-Überwachungsvorrichtung vorzugsweise ferner eine Lenkwinkeldetektionseinrichtung zur Detektion eines Lenkwinkels des Fahrzeugs auf, und die Einrichtung zur Detektion eines sich nähernden Objekts setzt die Detektion des sich nähernden Objekts aus, wenn der Lenkwinkel einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird.
Diese Anordnung kann die irrtümliche Erkennung und irrtümliche Meldung eines sich nähernden Ob jekts infolge der Bewegung mit einem großen Lenkwinkel reduzieren. Infolgedessen wird die Genauigkeit der Detektion des sich nähernden Objekts beruhend auf einem optischen Fluß verbesserbar.
Noch dazu meldet die Meldeeinrichtung vorzugsweise die Tatsache der Aussetzung (Anhaltens) der Detektion des sich nähernden Objekts in der Einrichtung zur Detektion eines sich nähernden Objekts.
Die Meldung über die Aussetzung der Detektion eines sich nähernden Objekts zur Verhinderung der irrtümlichen Erkennung kann an einen oder mehrere Insassen vorgenommen werden, um den Insassen zu veranlassen, dem sich nähernden Objekt Aufmerksamkeit zu schenken, wodurch die Sicherheit weiter erhöht wird.
Die Erfindung wird durch bevorzugte Ausführungsformen und die Zeichnungen weiter beschrieben. Es zeigen:
1 eine veranschaulichende Ansicht, die eine Anordnung eines Fahrzeugs zeigt, das mit einer Frontsicht-Überwachungsvorrichtung gemäß einer ersten Ausführungsform ausgestattet ist;
2 eine veranschaulichende Ansicht, die den Inhalt eines Anzeigebildschirms als ein Beispiel einer Monitoranzeige in der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform zeigt;
3A eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform nützlich ist, und ist eine veranschaulichende Ansicht, die Flußvektoren zeigt, die sich entwickeln, wenn sich das Fahrzeug in einem Anhaltezustand befindet;
3B eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform nützlich ist, und ist eine veranschaulichende Ansicht, die Flußvektoren zeigt, die sich entwickeln, wenn ein Fahrzeug eine Vorwärtsbewegung macht;
3C eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform nützlich ist, und ist eine veranschaulichende Ansicht, die einen Richtungsbereich von Flußvektoren für die Extraktion von nur einem sich nähernden Objekt zeigt;
3D eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung nützlich ist, und ist eine veranschaulichende Ansicht, die Flußvektoren zeigt, die sich entwickeln, wenn ein Fahrzeug eine Wendung nach rechts macht;
3E eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung nützlich ist, und ist eine veranschaulichende Ansicht, die Wendeflußvekto ren zeigt, die eingestellt werden sollen, wenn ein Fahrzeug eine Wendung nach rechts macht;
3F eine Illustration, die zur Erläuterung der Rechenoperationen in einer Einrichtung zur Detektion eines sich nähernden Objekts der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung nützlich ist, und ist eine veranschaulichende Ansicht, die Korrekturflußvektoren zeigt, die berechnet werden sollen, wenn ein Fahrzeug eine Wendung nach rechts macht;
4 einen Ablaufplan, der zur Erläuterung der Steuerung in der Frontsicht-Überwachungsvorrichtung gemäß der ersten Ausführungsform nützlich ist;
5 eine veranschaulichende Draufsicht, die einen Bildaufnahmebereich einer Frontsichtkamera der Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
6 eine veranschaulichende Ansicht, die eine Anordnung eines Fahrzeugs zeigt, das mit einer Frontsicht-Überwachungsvorrichtung gemäß einer zweiten Ausführungsform ausgestattet ist;
7 einen Ablaufplan, der zur Erläuterung der Steuerung in der Frontsicht-Überwachungsvorrichtung gemäß der zweiten Ausführungsform nützlich ist;
8 eine veranschaulichende Ansicht, die eine Anordnung eines Fahrzeugs zeigt, das mit einer Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ausgestattet ist; und
9 einen Ablaufplan, der zur Erläuterung der Steuerung in der Frontsicht-Überwachungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung nützlich ist
[Erste Ausführungsform]
Zuallererst wird im folgenden eine Beschreibung einer Frontsicht-Überwachungsvorrichtung gemäß einer ersten Ausführungsform gegeben.
1 zeigt ein Fahrzeug 2, das mit einer Frontsicht-Überwachungsvorrichtung 1 ausgestattet ist. Das Fahrzeug 2 ist versehen mit: Frontsichtkameras (engl. nose view cameras) (Bildaufnahmeeinrichtung) 3, die jeweils zur Aufnahme eines Bildes (Seitensichtsbild) von jedem der relativ zum Fahrzeug 2 rechts- und linksseitigen seitlichen Bereiche dienen, einem Fahrzeuggeschwindigkeitssensor 4 (Fahrzeuggeschwindigkeitsdetektionseinrichtung) zur Detektion eines Signals, das für eine Bewegungsgeschwindigkeit des Fahrzeugs 2 kennzeichnend ist, einem Frontkameraschalter 6, der als ein Schalter für einen Betrieb jeder der Frontsichtkameras 3 dient, einem Lenkwinkelsensor 7 (Lenkwinkeldetektionseinrichtung) zur Detektion eines Signals, das für einen Lenkwinkel eines Lenkrads (oder Lenkwinkel (engl. rudder angle) eines gesteuerten Rads) kennzeichnend ist, das durch einen Insassen betätigt wird, einer elektronischen Steuereinheit (ECU) 10 und einem Monitor (Meldeeinrichtung) 5 zur Anzeige eines Bildes, das durch jede der Frontsichtkameras 3 aufgenommen wird.
Die Frontsichtkameras 3 sind an rechts- und linksseitigen Endabschnitten eines Front- (vorderen End-)Abschnitts des Fahrzeugs 2 in einem gepaarten Zustand vorgesehen und sind imstande, gleichzeitig Bildaufnahmen (Seitensichtbilder) der rechts- und linksseitigen Bereiche (seitliches Gesichtsfeld) bezüglich des Fahrzeugs 2 aufzunehmen.
Der Monitor 5 ist dazu bestimmt, die rechts- und linksseitigen Bilder anzuzeigen, die durch die Frontsichtkameras 3 aufgenommen werden. In dieser Ausführungsform, wie in 2 gezeigt, wird ein relativ zum Fahrzeug 2 rechtsseitiges Bild auf einem rechten Halbbereich eines Monitorbildschirms angezeigt, und gleichzeitig wird ein relativ dazu linksseitiges Bild auf einem linken Halbbereich des Monitorbildschirms angezeigt. Folglich kann der Insasse gleichzeitig die relativ zum Fahrzeug 2 rechts- und linksseitigen Bilder bestätigen.
In dieser Ausführungsform sind, wie in 5 gezeigt, die Bereiche, die durch die rechten und linken Frontsichtkameras 3 aufgenommen werden, rechts- und linksseitige Bereiche in die Fahrzeugbreitenrichtungen des Fahrzeugs 2, und die Frontsichtkameras 3 sind auf geringfügig vordere Positionen bezüglich Richtungen senkrecht zur Bewegungsrichtung des Fahrzeugs 2 gerichtet. Daher wird in einem relativ zum Fahrzeug 2 linksseitigen Bild die Bewegungsrichtung des Fahrzeugs 2 eine rechte Richtung im Bild, während in einem rechtsseitigen Bild dessen Bewegungsrichtung eine linke Richtung im Bild wird. Überdies wird, wie in 2 gezeigt, im linksseitigen Bild ein Fahrzeug 41, das sich dem Fahrzeug 2 auf einer Straße vor dem Fahrzeug 2 nähert, so angezeigt, daß es sich vergrößert, während es sich nach rechts im Bild bewegt, während im rechtsseitigen Bild das Fahrzeug 42, das sich dem Fahrzeug 2 auf der Straße vor dem Fahrzeug 2 nähert, so angezeigt wird, daß es sich vergrößert, während es sich darauf nach links bewegt.
Der Fahrzeuggeschwindigkeitssensor 4 ist dazu bestimmt, eine Information über eine Drehzahl eines Rades zu detektieren und um sie ferner in die ECU 10 einzugeben. Ebenso detektiert der Lenkwinkelsensor 7 eine Information über einen Lenkwinkel des Lenkrads, das durch den Insassen betätigt wird, und gibt sie ferner in die ECU 10 ein. Die ECU 10 ist dazu bestimmt, eine Bewegungsgeschwindigkeit V des Fahrzeugs 2 als eine Funktion der eingegebenen Drehzahlinformation des Rades zu berechnen und ferner einen Lenkwinkel θ des gesteuerten Rades auf der Grundlage der Lenkwinkelinformation zu berechnen.
Der Frontkameraschalter 6 dient zur Ausführung der Umschaltung zwischen dem Ein/Aus des Betriebs der Frontsichtkameras 3, und wenn die Frontkameraschalter 6 in den Aus-Zustand gebracht werden, werden die Frontsichtkameras 3 in einen Nicht-Betriebszustand versetzt. Überdies werden in einem Zustand, wo der Frontkameraschalter 6 in den Ein-Zustand gebracht wird, die Frontsichtkameras 3 in Betrieb genommen, wenn eine vorbestimmte Bedingung (Frontsichtkamera-Betriebsbedingung) zutrifft.
Die Frontsichtkamera-Betriebsbedingung bedeutet, daß zum Beispiel die Bewegungsgeschwindigkeit V des Fahrzeugs 2, die in der ECU 10 berechnet wird, niedriger als eine vorbestimmte Geschwindigkeit V₀ ist (Geschwindigkeit, die einem merklich niedrigen Geschwindigkeitszustand entspricht, zum Beispiel 5 km/h), die im voraus festgelegt wird, und der Lenkwinkel (engl. rudder angle) θ des gesteuerten Rades kleiner als ein vorbestimmter Winkel θ₀ ist, der im voraus festgelegt wird (das heißt, der Steuerzustand des Lenkrads ist nahe dem neutralen Zustand).
Obwohl in diesem Zusammenhang der Monitor 5 das Aufnahmebild anzeigt, wenn die Frontsichtkameras 3 in Betrieb sind, dient er als ein gewöhnlicher im Fahrzeug eingebauter Monitor, um ein anderes Bild anzuzeigen, wie ein Fernseh bild oder ein Fahrzeugnavigationsbild, wenn die Frontsichtkameras 3 nicht in Betrieb sind.
Insbesondere in einem Fall, in dem während einer normalen Fahrt sich der Frontkameraschalter 6 in einem An-Zustand befindet, in einen Zustand, wo kontinuierlich Fernsehbilder oder Fahrzeugnavigationsbilder angezeigt werden, werden dann, wenn das Fahrzeug 2 in eine Kreuzung oder T-Einmündung einfährt, automatisch die Frontsichtkameras 3 zu der Zeit in Betrieb genommen, zu der die Fahrzeuggeschwindigkeit in einem Zustand unter die vorbestimmte Geschwindigkeit V₀ fällt, wo der Lenkwinkel θ kleiner als der vorbestimmte Winkel θ₀ ist, so daß die rechts- und linksseitigen Bilder auf dem Monitor 5 angezeigt werden. Mit anderen Worten findet die Umschaltung von einem Fernsehbild oder Fahrzeugnavigationsbild auf die rechts- und linksseitigen Bilder automatisch ohne Absicht des Insassen statt. Überdies werden dann, wenn der Lenkwinkel θ gleich oder größer als der vorbestimmte Winkel θ₀ ist oder wenn die Bewegungsgeschwindigkeit V gleich oder höher als die vorbestimmte Geschwindigkeit V₀ ist, die Frontsichtkameras 3 nicht in Betrieb genommen und der Monitor 5 dient kontinuierlich als ein gewöhnlicher im Fahrzeug eingebauter Monitor, um ein Fernsehbild oder Fahrzeugnavigationsbild anzuzeigen.
Die Werte der vorbestimmten Geschwindigkeit V₀ und des vorbestimmten Winkels θ₀ werden in Hinblick auf die Größen der Flußvektoren in einem Hintergrundabschnitt eines Aufnahmebildes eingestellt, das durch die Frontsichtkameras 3 aufgenommen wird, die später erwähnt werden.
Überdies ist es in einem Fall, in dem der Frontkameraschalter 6 in den Aus-Zustand versetzt wird, möglich, den Betrieb der Frontsichtkameras 3 selbst dann zu verhindern, wenn die obenerwähnte Frontsichtkamera-Betriebsbedingung erfüllt wird.
Die ECU 10 berechnet einen optischen Fluß in jeden von rechts- und linksseitigen Aufnahmebildern, die durch die Frontsichtkameras 3 aufgenommen werden, zur Detektion eines beweglichen (sich bewegenden) Objekts, das sich dem eigenen Fahrzeug 2 nähert. Die ECU 10 besteht aus einer Einheit 11 zur Berechnung eines optischen Flusses (Einrichtung zur Berechnung eines optischen Flußvektors) zur Berechnung eines optischen Flusses eines Aufnahmebildes, einer Einheit 12 zur Detektion eines sich nähernden Objekts (Einrichtung zur Detektion eines sich nähernden Objekts) zur Detektion eines Objekts, das sich dem eigenen Fahrzeug nähert, auf der Grundlage des optischen Flußvektors, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird, und einer Ausgabeeinheit 13 zur Ausgabe dieser Berechnungs- und Detektionsergebnisse. In der folgenden Beschreibung wird jeder der optischen Flußvektoren einfach als „Flußvektor" bezeichnet, und eine Menge dieser Flußvektoren wird als ein „optischer Fluß" bezeichnet.
Die Einheit 11 zur Berechnung eines optischen Flusses ist dazu bestimmt, einzeln die optischen Flüsse der rechts- und linksseitigen Bilder zu berechnen, die durch die Frontsichtkameras 3 aufgenommen werden, und eine Einheit 11A zur Berechnung eines optischen Flusses des linksseitigen Bereichs berechnet den optischen Fluß des linksseitigen Bildes (das heißt, ein Bild im linken Halbbereich in 2), während eine Einheit 11B zur Berechnung eines optischen Flusses des rechtsseitigen Bereichs den optischen Fluß des rechtsseitigen Bildes berechnet (das heißt, ein Bild im rechten Halbbereich in 2). Für die Berechnung der optischen Flüsse wird ein Verfahren eingesetzt, in dem Punkte, die demselben Objekt entsprechen, als ein Merkmalspunkt zwischen zwei aufeinanderfolgenden Bildern der Bilder berechnet werden (durch Rechenoperationen detektiert werden), die durch die Frontsichtkameras 3 aufgenommen werden, zur Berechnung einer Bewegungsrichtung des Merkmalspunkts und dessen Bewegungsentfernung als Flußvektoren. Überdies werden die Flußvektoren im gesamten Bereich des Aufnahmebildes berechnet, so daß die Information, wie die Position und Be wegungsrichtung eines beweglichen Objekts im Bild erkennbar sind.
Die Einheit 12 zur Detektion eines sich nähernden Objekts ist dazu bestimmt, ein Objekt, das sich dem Fahrzeug 2 nähert, auf der Grundlage der Flußvektoren zu detektieren, die in der Einheit 11 zur Berechnung eines optischen Flusses berechnet werden. Konkret wird in den rechts- und linksseitigen Bildern das sich dem eigenen Fahrzeug 2 nähernde Objekt auf der Grundlage eines Flußvektors detektiert, der einen Gradienten oder Neigung längs (bezüglich) einer Bewegungsrichtung des Fahrzeugs 2 aufweist. Zum Beispiel wird im Fall des linksseitigen Bildes ein Flußvektor, der eine nach rechts gerichtete Vektorkomponente aufweist, aus dem Bild extrahiert, und im Fall des rechtsseitigen Bildes wird ein Flußvektor, der eine nach links gerichtete Vektorkomponente aufweist, aus dem Bild extrahiert. Überdies wird eine Entscheidung getroffen, daß der extrahierte Flußvektor ein Flußvektor ist, der durch ein Objekt erzeugt wird, das sich dem Fahrzeug 2 nähert (d.h. von beweglichen Objekten, die Flußvektoren aufweisen, ein Objekt, das sich dem eigenen Fahrzeug 2 nähert), wodurch die Erkennung des sich nähernden Objekts vorgenommen wird.
Das heißt, obwohl Schwierigkeiten beim Treffen einer Entscheidung hinsichtlich dessen angetroffen werden, ob sich ein bewegliches Objekt dem eigenen Fahrzeug 2 nähert oder nicht, indem das bewegliche Objekt nur durch die Verwendung eines optischen Flusses erkannt wird, extrahiert und wählt in dieser Ausführungsform die Einheit 12 zur Detektion eines sich nähernden Objekts aus den beweglichen Objekten, die durch die Einheit 11 zur Berechnung eines optischen Flusses erkannt werden, einen Flußvektor eines Objekts, das sich dem eigenen Fahrzeug 2 nähert, auf der Grundlage eines Bereiches, wo es vorhanden ist, und einer Richtung desselben aus und erkennt es. Dadurch erkennt die Einheit 12 zur Detektion eines sich nähernden Objekts das bewegliche Objekt, das gefährlich sein kann, das sich dem eigenen Fahrzeug 2 nähert.
Überdies dient die Ausgabeeinheit 13, wenn die Einheit 12 zur Detektion eines sich nähernden Objekts ein sich dem eigenen Fahrzeug 2 näherndes Objekt detektiert hat, zur Anzeige der Tatsache der Detektion des sich nähernden Objekts auf dem Monitor 5 und ferner zu dessen Meldung an den Insassen mittels eines Tons oder einer Sprache oder dergleichen. In diesem Fall nimmt die Ausgabeeinheit 13 die Umschaltung zwischen mehreren Meldebetriebsarten auf der Grundlage der Größe und Anzahl der Flußvektoren vor, die durch die Einheit 12 zur Detektion eines sich nähernden Objekts extrahiert werden und einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 aufweisen. Außerdem nimmt die Ausgabeeinheit 13 die Anzeige eines Bildes und die Meldung der Detektion eines sich nähernden Objekts vor.
Das heißt, hinsichtlich der Größe eines Flußvektors, der einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 aufweist, gibt es, wenn dieser Flußvektor groß ist, eine große Möglichkeit einer Gefahr für das eigene Fahrzeug 2, selbst wenn das sich nähernde Objekt, das diesen Flußvektor entwickelt, sich in einer Entfernung vom eigenen Fahrzeug 2 befindet, weil es sich dem eigenen Fahrzeug 2 mit einer hohen Geschwindigkeit nähert. Andererseits gibt es selbst dann, wenn sich das bewegliche Objekt dem eigenen Fahrzeug 2 nicht mit einer hohen Geschwindigkeit nähert, wenn es nahe dem eigenen Fahrzeug vorhanden ist, immer noch eine große Möglichkeit, daß das bewegliche Objekt gefährlich ist. Auch in diesem Fall wird der Flußvektor groß, der einen Gradienten bezüglich der Bewegungsrichtung des Fahrzeugs 2 aufweist.
Daher wird das Maß einer Gefahr des sich nähernden Objekts bezüglich des Fahrzeugs 2 so erfaßt, daß sie mit einer Zunahme der Größe der Flußvektors zunimmt, der einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 aufweist, und folglich wird die Umschaltung zwischen mehreren Meldebetriebsarten entsprechend des Grades einer Gefahrensituation vorgenommen, und die Anzeige auf dem Bildschirm und die Meldung werden ausgeführt.
Ebenso nimmt dann, wenn viele Objekte vorhanden sind, die sich dem eigenen Fahrzeug 2 nähern, oder wenn ein sich näherndes Objekt nahe dem Fahrzeug 2 vorhanden ist, die Anzahl der Flußvektoren zu, die jeweils einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 aufweisen. Daher wird angenommen, daß die Gefahrenstufe des sich dem Fahrzeug 2 nähernden Objekts mit einer Zunahme der Anzahl der Flußvektoren erhöht wird, und folglich wird die Umschaltung zwischen mehreren Meldebetriebsarten entsprechend des Grades einer Gefahrensituation vorgenommen, und die Anzeige und die Meldung werden ausgeführt.
In dieser Ausführungsform weist die Ausgabeeinheit 13 mehrere Meldebetriebsarten auf, die eine „Meldebetriebsart niedriger Gefahr" und eine „Meldebetriebsart hoher Gefahr" umfassen, und nimmt die Umschaltung zwischen diesen Meldebetriebsarten auf der Grundlage der Größe und der Anzahl von Flußvektoren eines sich nähernden Objekts vor, das durch die Einheit 12 zur Detektion eines sich nähernden Objekts detektiert wird.
Das heißt, wenn die Größe eines extrahierten Flußvektors, der einen Gradienten längs einer Bewegungsrichtung des Fahrzeugs 2 aufweist, einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird, oder wenn die Anzahl extrahierter Flußvektoren, die einen Gradienten bezüglich einer Bewegungsrichtung des Fahrzeugs 2 aufweisen, eine vorbestimmte Anzahl überschreitet, die im voraus festgelegt wird, wird die Ausgabeeinheit 13 in die „Meldebetriebsart hoher Gefahr" versetzt. In den anderen Fällen stellt sie die „Meldebetriebsart niedriger Gefahr" ein.
In der „Meldebetriebsart niedriger Gefahr" zeigt die Ausgabeeinheit 13 einen der Flußvektoren, die durch ein sich näherndes Objekt erzeugt werden, durch die Verwendung eines Pfeiles auf dem Bildschirm an, und meldet die Tatsache der Detektion des sich nähernden Objekts durch die Verwendung von Sprache (meldet zum Beispiel „Warnung vor einem Objekt in der Nähe" oder dergleichen) Zusätzlich zeigt die Ausgabeeinheit 13 in der „Meldebetriebsart hoher Gefahr" deutlich (zum Beispiel durch Änderungen der Helligkeit oder des Farbtons) einen Bereich auf dem Bildschirm an, der dem sich nähernden Objekt entspricht, das durch die Einheit 12 zur Detektion eines sich nähernden Objekts detektiert wird. Ferner zeigt die Ausgabeeinheit 13 alle Flußvektoren des sich nähernden Objekts durch die Verwendung von Pfeilen an und meldet die Tatsache des hohen Grades einer Gefahrensituation durch Sprache an den Insassen (meldet zum Beispiel „Warnung vor einem sich nähernden Fahrzeug" oder dergleichen).
Wenn übrigens die Frontsichtkamera-Betriebsbedingung nicht zutrifft (V ≥ V₀ oder θ ≥ θ₀), meldet die Ausgabeeinheit 13 auch diese Tatsache an den Insassen.
Die Frontsicht-Überwachungsvorrichtung 1 gemäß dieser Ausführungsform ist so eingerichtet und führt die folgende Steuerung gemäß eines Ablaufplans der 3 aus. Dieser Arbeitsablauf findet zu jeder Zeit in der ECU 10 in einem vorbestimmten Zyklus statt (zum Beispiel einem Zyklus, der mit dem Bildaufnahmezyklus der Frontsichtkameras 3 synchronisiert ist).
Im Arbeitsablauf werden die Schritte A10 bis A30 als vorbereitende Schritte zur Berechnung eines optischen Flusses ausgeführt, und sie dienen zum Treffen einer Entscheidung hinsichtlich dessen, ob jede der Frontsichtkameras 3 sich in Betrieb befindet oder nicht.
Zuerst wird im Schritt A10 eine Entscheidung hinsichtlich dessen getroffen, ob der Frontkameraschalter 6 in den An-Zustand versetzt ist oder nicht. Wenn dem so ist, bewegt sich der Arbeitsablauf zum Schritt A20 vorwärts. Wenn er sich in einem Aus-Zustand befindet, geht der Arbeitsablauf zu Ende. Anschließend wird im Schritt A20 eine Entscheidung hinsichtlich dessen getroffen, ob die Bewegungsgeschwindigkeit V des Fahrzeugs niedriger als die vorbestimmte Geschwindigkeit V₀ ist oder nicht. Wenn V < V₀, fährt der Arbeitsablauf mit dem Schritt A30 fort. Wenn andererseits V V₀, geht der Arbeitsablauf zu Ende. Im Schritt A30, wird ei ne Entscheidung hinsichtlich dessen getroffen, ob der Lenkwinkel θ des gesteuerten Rads (Lenkwinkel des Lenkrads) kleiner als der vorbestimmte Winkel θ₀ ist oder nicht. Wenn θ < θ₀, geht der Arbeitsablauf zu einem Schritt A40. Wenn andererseits θ ≥ θ₀, geht der Arbeitsablauf zu Ende.
Das heißt, wenn jede der Frontsichtkameras 3 sich in einem Nicht-Betriebszustand befindet, endet der Arbeitsablauf, ohne zu den Schritten vorwärts zu gehen, die dem Schritt A40 folgen. Mit anderen Worten bewegt sich der Arbeitsablauf nur dann zu den Schritten vorwärts, die dem Schritt A40 folgen, wenn die Frontsichtkamera 3 in Betrieb genommen wird.
Im Schritt A40 berechnet die Einheit 11 zur Berechnung eines optischen Flusses einzeln Merkmalspunkte in den rechts- und linksseitigen Bildern, die durch die Frontsichtkameras 3 aufgenommen werden, und berechnet in einem Schritt A50 Flußvektoren hinsichtlich aller Merkmalspunkte. Das heißt, in diesem Fall wird ein bewegliches Objekt in jedem der rechts- und linksseitigen Bilder erkannt.
Anschließend daran trifft in einem Schritt A60 die Einheit 12 zur Detektion eines sich nähernden Objekts eine Entscheidung darüber, ob jeder von allen Flußvektoren, die im Schritt A50 berechnet werden, eine Vektorkomponente längs (oder auf der Seite) einer Bewegungsrichtung des Fahrzeugs 2 aufweist oder nicht. Bezüglich des Flußvektors auf dem relativ zum Fahrzeug 2 linksseitigen Bild wird eine Entscheidung hinsichtlich dessen getroffen, ob er eine nach rechts gerichtete Vektorkomponente im Bild aufweist oder nicht, und bezüglich des Flußvektors auf dem relativ dazu rechtsseitigen Bild wird eine Entscheidung darüber getroffen, ob er eine nach links gerichtete Vektorkomponente im Bild aufweist oder nicht. Das heißt, in diesem Fall wird von den beweglichen Objekten, die im Schritt A50 erkannt werden, das bewegliche Objekt (sich nähernde Objekt), das sich dem Fahrzeug 2 nähert, in einem Zustand erkannt, in dem es von den anderen Objekten getrennt ist.
Unterdessen bedeutet dies im Fall keiner Detektion eines Flußvektors, der eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 aufweist, das Fehlen eines sich nähernden Objekts, und folglich geht der Arbeitsablauf zu Ende. Wenn andererseits der obenerwähnte Flußvektor detektiert wird, geht der Arbeitsablauf zu einem Schritt A70 weiter.
Im Schritt A70 zeigt die Ausgabeeinheit 13 die Tatsache der Erkennung des sich nähernden Objekts auf dem Monitor 5 an und meldet sie durch Sprache an den Insassen. In diesem Fall wird für die Meldung an den Insassen in der Ausgabeeinheit 13 die Meldebetriebsart gemäß der Größe und Anzahl der Flußvektoren umgeschaltet, die im Schritt A60 detektiert werden, die eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 aufweisen.
In einem Fall, in dem von den Flußvektoren des sich nähernden Objekts, die im Schritt A60 detektiert werden, ein Flußvektor vorhanden ist, der eine Größe aufweist, die größer als ein vorbestimmter Wert ist, der im voraus festgelegt wird, oder wenn die Anzahl der Flußvektoren des sich nähernden Objekts einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird, wird die Ausgabeeinheit 13 in eine „Meldebetriebsart hoher Gefahr" versetzt, um deutlich einen Bereich auf dem Bildschirm anzuzeigen, der dem sich nähernden Objekt entspricht, und zeigt alle Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, durch die Verwendung von Pfeilen auf dem Bildschirm an und meldet die Tatsache einer Situation hoher Gefahr durch Sprache an den Insassen.
Überdies wird in einem Fall, in dem es von den Flußvektoren des sich nähernden Objekts, die im Schritt A60 detektiert werden, keinen Flußvektor gibt, der eine Größe aufweist, die größer als der vorbestimmte Wert ist, der im voraus festgelegt wird, und wenn die Anzahl der detektierten Flußvektoren des sich näherndes Objekts die vorbestimmte Anzahl nicht erreicht, die im voraus festgelegt wird, die Ausgabeeinheit 13 in die „Meldebetriebsart niedriger Gefahr" versetzt, um einen der Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, durch die Verwendung eines Pfeiles auf dem Bildschirm anzuzeigen, und meldet die Tatsache der Detektion des sich nähernden Objekts durch Sprache an den Insassen.
Die oben beschriebene Steuerung stellt die folgenden konkreten Effekte bereit.
In einem Fall, in dem das Fahrzeug 2 an einer T-Einmündung, die in 5 gezeigt wird, versucht, in eine Hauptverkehrsader weiter zu fahren, während die seitlichen Sicherheitsbedingungen bestätigt werden, werden dann, wenn der Frontkameraschalter 6 des Fahrzeugs 2 zu einem An-Zustand betätigt wird, wenn das Fahrzeug 2 die Bewegungsgeschwindigkeit vor der Hauptverkehrsader reduziert, so daß sie niedriger als die vorbestimmte Geschwindigkeit V₀ wird, die Frontsichtkameras 3 automatisch in Betrieb genommen, um die rechts- und linksseitigen Bilder auf dem Monitor 5 anzuzeigen. Dies ermöglicht es, daß die rechts- und linksseitigen Bilder automatisch auf dem Monitor 5 angezeigt werden, ohne daß es notwendig ist, daß der Insasse der Umschaltung des Bildes auf dem Monitor 5 Beachtung schenkt. Überdies startet in der ECU 10 als Reaktion auf den Betrieb der Frontsichtkameras 3 die Berechnung eines optischen Flusses im Aufnahmebild.
Ferner entwickelt sich in einem Fall, in dem das Fahrzeug 2 an einer Position anhält, die in 5 gezeigt wird, da die Positionen der Frontsichtkameras 3 sich in festen Zuständen befinden, wie in 3A gezeigt, kein Flußvektor in Hintergrundabschnitten (die Hintergrundabschnitte der Fahrzeuge 41 und 42 in den Bildern sind; in diesem Fall Straßen, Gebäude, Schutzgeländer und der Himmel, die sich nicht bewegen) in den Aufnahmebildern, während sich nur die Flußvektoren entwickeln, (die durch schwarze Pfeile in 3A angezeigt werden) die durch die Fahrzeuge 41 und 42 erzeugt werden, die Objekte sind, die sich dem Fahrzeug 2 nähern. Zu dieser Zeit entwickelt das Fahrzeug 41 bezüglich der Richtungen der Flußvektoren, die die Fahrzeuge 41 und 42 betreffen, eine nach rechts gerichtete Vektorkomponente im linksseitigen Bild, das heißt, es bildet einen Gradienten bezüglich der Bewegungsrichtung des Fahrzeugs 2 im Bild. Andererseits entwickelt das Fahrzeug 42 eine nach links gerichtete Vektorkomponente im rechtsseitigen Bild und bildet einen Gradienten bezüglich der Bewegungsrichtung des Fahrzeugs 2 im Bild.
Daher kann die Einheit 12 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42 als sich nähernde Objekte auf der Grundlage der Flußvektoren detektieren, die jeweils einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 in den rechts- und linksseitigen Bildern aufweisen.
Zusätzlich erscheinen in einem Fall, in dem das Fahrzeug 2 mit einer niedrigen Geschwindigkeit (Bewegungsgeschwindigkeit: V < V₀) an der Position fährt (kriecht), die in 5 gezeigt wird, das heißt, wenn der Insasse das Fahrzeug 2 langsam vorwärts bewegt, während die seitlichen Sicherheitsbedingungen bestätigt werden, wie in 3B gezeigt, infolge der Bewegungen der Aufnahmepositionen der Frontsichtkameras 3 auch in Hintergrundabschnitten in den Aufnahmebildern Flußvektoren (die durch Umrißpfeile in 3B angezeigt werden). Überdies entwickeln sich die Flußvektoren, die durch das Fahrzeug 41 und 42 erzeugt werden, als Flußvektoren (die durch schwarze Pfeile in 3B angezeigt werden), die die Summe der Flußvektoren, die erscheinen werden, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet (d.h. der Flußvektoren, die durch die schwarzen Pfeile in 3A angezeigt werden), und der Flußvektoren der Hintergrundabschnitte (d.h. der Flußvektoren, die durch die Umrißpfeile angezeigt werden) sind, die infolge der Bewegungen der Positionen der Frontsichtkameras 3 auftreten. Die Flußvektoren der Hintergrundabschnitte entwickeln sich als Flußvektoren, die einen Gradienten in eine zur Bewegungsrichtung des Fahrzeugs 2 im Bild entgegengesetzte Richtung aufweisen, wenn sich das Fahrzeug 2 vorwärts bewegt.
Obwohl sich folglich die Größe und Richtung der Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, verändern (verformen), tritt dann, wenn sich das Fahrzeug 2 langsam vorwärts bewegt, wenn sich das Fahrzeug 2 langsam mit einer niedrigen Geschwindigkeit bewegt, keine große Variation auf, und folglich erscheint ein Gradient längs der Bewegungsrichtung des Fahrzeugs 2 im Bild. Überdies tritt selbst dann, wenn von den Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, der Gradient bezüglich der Fahrzeugbewegungsrichtung gleich dem Flußvektor des Hintergrundabschnitts wird, da die Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, auch Vektoren in Vergrößerungsrichtungen im Bild enthalten, d.h. in vertikale Richtungen im Bild, infolge der Annäherung des Fahrzeugs 2 die Gegenwirkung auf die Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, nicht auf.
Zu dieser Zeit sind, wie in 3C gezeigt, die Richtungen der Flußvektoren infolge der Fahrzeuge 41 und 42 Vektorrichtungen, die jeweils einen Gradienten längs der Bewegungsrichtung des Fahrzeugs 2 aufweisen, das heißt, eine Richtung einer nach rechts gerichteten Vektorkomponente im linksseitigen Bereich und eine Richtung einer nach links gerichteten Vektorkomponente im rechtsseitigen Bereich. Mit anderen Worten ist es im linksseitigen Bereich ein Flußvektor mit einer Richtung in einem Bereich im Uhrzeigersinn von 180 Grad bezüglich einer vertikalen Richtung (von der 0-Uhr-Richtung zur 6-Uhr-Richtung), und im rechtsseitigen Bereich ist es ein Flußvektor mit einer Richtung in einem Bereich gegen den Uhrzeigersinn von 180 Grad bezüglich einer vertikalen Richtung (von der 6-Uhr-Richtung zur 12-Uhr-Richtung).
Außerdem kann die Einheit 12 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42 als sich nähernde Objekte auf der Grundlage der Flußvektoren detektieren, die jeweils einen Gradienten längs der Fahrzeugbewegungsrichtung in den rechts- und linksseitigen Bildern aufweisen. Daher gibt die Ausgabeeinheit 13 der ECU 10 die Tatsache der Detektion der sich nähernde Objekte an den Monitor 5 aus, um den Insassen zu warnen.
Desweiteren nimmt die Ausgabeeinheit 13 die Umschaltung der Meldebetriebsart entsprechend einer Gefahrenstufe des sich nähernden Objekts für das eigene Fahrzeug 2 vor, was die effektive Meldung der Gefahrenstufe für den Insassen ermöglicht und die Sicherheit erhöht.
In einem Fall übrigens, in dem sich das Fahrzeug 2 schnell vorwärts bewegt, wird es aufgrund einer Zunahme des Flußvektors, der dem Hintergrundabschnitt entspricht, der sich infolge der Bewegung der Position der Frontsichtkameras 3 entwickelt, in Betracht gezogen, daß bezüglich der Richtungen der Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, ein Gradient in Bezug auf die Bewegungsrichtung des Fahrzeugs 2 im Bild verschwindet. Jedoch ist in dieser Ausführungsform, da der Betrieb der Frontsichtkameras 3 ausgesetzt wird, wenn die Bewegungsgeschwindigkeit V des Fahrzeugs 2 gleich oder höher als die vorbestimmte Geschwindigkeit V₀ ist, die irrtümliche Erkennung eines sich nähernden Objekts verhinderbar. Da ebenfalls der Betrieb der Frontsichtkameras 3 unterbrochen wird, wenn der Lenkwinkel θ des Fahrzeugs 2 gleich oder größer als der vorbestimmte Winkel θ₀ ist, ist die irrtümliche Erkennung eines sich nähernden Objekts infolge der Wendebewegung vermeidbar. Folglich kann dies die Genauigkeit der Detektion eines sich nähernden Objekts beruhend auf dem optischen Fluß verbessern.
Zusätzlich meldet selbst im Fall der Aussetzung des Betriebs der Frontsichtkameras 3 die Ausgabeeinheit 13 diese Tatsache an den Insassen, was den Insassen warnen und die Sicherheit erhöhen kann.
Obwohl die Werte der vorbestimmten Geschwindigkeit V₀ und des vorbestimmten Winkels θ₀ gemäß der Art und Weise der Implementierung beliebig eingestellt werden können, wird dann, wenn sich das Fahrzeug 2 bewegt, wenn die Bewegungsgeschwindigkeit V und dessen Lenkwinkel θ zunehmen, der obenerwähnte Flußvektor des Hintergrundabschnitts größer.
Folglich tritt bei der Detektion eines Objekts, das sich mit einer hohen Geschwindigkeit nähert, selbst dann kein Problem auf, wenn die vorbestimte Geschwindigkeit V₀ und der vorbestimmte Winkel θ₀ auf hohe Werte eingestellt sind.
Andererseits ist es für die Detektion eines Objekts, das sich mit einer niedrigen Geschwindigkeit nähert, wünschenswert, daß sich das Fahrzeug 2 in einem Anhaltezustand befindet. In einem Fall jedoch, in dem sich das Fahrzeug 2 in der Bewegung befindet, können durch Verwendung einer Differenz des Richtungsmaßes oder der Richtwirkung zwischen den Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, die die sich nähernden Objekte sind, die sich auf einer allgemeinen öffentlichen Straße bewegen, und den Flußvektoren, die sich im Zusammenhang mit dem Hintergrundabschnitt (das heißt, durch die obenerwähnte Logik) entwickeln, die Fahrzeuge 41 und 42, die sich nähernde Objekte sind, in einem Zustand erkannt werden, der vom Hintergrundabschnitt unterschieden wird.
Wie oben beschrieben, ist mit der Frontsicht-Überwachungsvorrichtung selbst dann, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet, und selbst im Fall einer Fahrt mit niedriger Geschwindigkeit (V < V₀), oder selbst in einem Zustand, wo der Lenkwinkel kleiner als ein vorbestimmter Winkel ist (θ < θ₀), ein sich näherndes Objekt in seitlichen Bereichen relativ zu einem Fahrzeug leicht zuverlässig erkennbar, und es kann verhindert werden; daß die Bewegung eines Hintergrundbildes mit einem sich nähernden Objekt verwechselt wird, wodurch die Genauigkeit der Detektion eines sich nähernden Objekts verbessert wird. Überdies ist aus beweglichen Objekten, die auf der Grundlage eines optischen Flusses erkannt werden sollen, ein sich näherndes Objekt, das für das eigene Fahrzeug 2 gefährlich ist, mit einer einfachen Anordnung erkennbar, und der Rechendurchsatz der ECU 10, der zur Erkennung eines sich nähernden Objekts benötigt wird, ist reduzierbar. Zudem kann die Meldung, die gemäß einer Gefahrenstufe gemacht werden soll, die Sicherheit verbessern.
[Zweite Ausführungsform]
Ferner wird im folgenden eine Beschreibung einer Frontsicht-Überwachungsvorrichtung gemäß einer Ausführungsform gegeben. Dieselben Teile wie jene in der ersten Ausführungsform werden mit denselben Bezugsziffern markiert, und deren Beschreibung wird zur Kürze weggelassen.
6 zeigt ein Fahrzeug 2, das mit dieser Frontsicht-Überwachungsvorrichtung 21 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung ausgestattet ist. Das Fahrzeug 2 ist versehen mit: Frontsichtkameras (Bildaufnahmeeinrichtungen) 3, die jeweils zur Aufnahme eines Bildes von jedem der relativ zum Fahrzeug 2 rechts- und linksseitigen seitlichen Bereiche dienen, einem Fahrzeuggeschwindigkeitssensor 4 (Einrichtung zur Detektion des dem Wendezustand entsprechenden Werts) zur Detektion eines Signals, das für eine Bewegungsgeschwindigkeit des Fahrzeugs 2 kennzeichnend ist, einem Frontkameraschalter 6, der als ein Schalter für einen Betrieb jeder der Frontsichtkameras 3 dient, einem Lenkwinkelsensor 7 (Wenderichtungsdetektionseinrichtung/Einrichtung zur Detektion des dem Wendezustand entsprechenden Werts) zur Detektion eines Signals, das für einen Lenkwinkel eines Lenkrads (oder Lenkwinkel eines gesteuerten Rads) kennzeichnend ist, das durch einen Insassen betätigt wird, einer elektronischen Steuereinheit (ECU) 10 und einem Monitor (Meldeeinrichtung) 5 zur Anzeige eines Bildes, das durch jede der Frontsichtkameras 3 aufgenommen wird.
In der zweiten Ausführungsform ist die ECU 10 gestaltet, um auf der Grundlage des Vorzeichens des Lenkwinkels (engl. rudder angle) θ des gesteuerten Rades eine Entscheidung hinsichtlich dessen zu treffen, ob die Wenderichtung des Fahrzeugs 2 eine Richtung nach rechts oder eine Richtung nach links ist. Zum Beispiel wird unter Bezugnahme auf den neutralen Zustand, wo das Lenkrad nicht verstellt ist, der Lenkwinkel θ im Fall der Wendung nach rechts positiv, während er für die Wendung nach links negativ wird.
Zusätzlich besteht die ECU 10 aus einer Einheit 11 zur Berechnung eines optischen Flusses (Einrichtung zur Berechnung eines optischen Flußvektors), die dazu bestimmt ist, einen optischen Flußvektor(en) in einem Aufnahmebild zu berechnen, und mit einer Flußvektorkorrektureinheit 15 (Einrichtung zur Korrektur eines optisches Flußvektors) ausgestattet ist, einer Wendeflußvektor-Einstelleinheit 14 (Einrichtung zur Einstellung eines optischen Wendeflußvektors), die dazu bestimmt ist, einen optischen Wendeflußvektor(en) zu berechnen, der sich infolge einer Wendung des Fahrzeugs 2 entwickelt, einer Einheit 32 zur Detektion eines sich nähernden Objekts (Einrichtung zur Detektion eines sich nähernden Objekts), die dazu bestimmt ist, ein sich dem eigenen Fahrzeug näherndes Objekt auf der Grundlage eines optischen Flußvektors(en) zu detektieren, der in der Flußvektorkorrektureinheit 15 korrigiert wird, und einer Ausgabeeinheit 13, die dazu bestimmt ist, diese Berechnungs-/Detektionsergebnisse auszugeben.
Die Wendeflußvektor-Einstelleinheit 14 ist dazu bestimmt, einen Wendeflußvektor (optischen Wendeflußvektor), der sich infolge einer Wendung des Fahrzeugs 2 in jedem der rechts- und linksseitigen Bilder relativ zum Fahrzeug 2 entwickelt, auf der Grundlage der Wenderichtung des Fahrzeugs 2, die aus dem Vorzeichen des Lenkwinkels θ des gesteuerten Rads entschieden wird, einer Bewegungsgeschwindigkeit des Fahrzeugs 2 und des Lenkwinkels θ des gesteuerten Rads des Fahrzeugs 2 einzustellen. Der Wendeflußvektor, der in diesem Fall eingestellt werden soll, ist ein Flußvektor, der sich infolge der Bewegung des gesamten Aufnahmebildes jeder der Frontsichtkameras 3 infolge der Wendung des Fahrzeugs 2 entwickelt, und er entspricht zum Beispiel, wie in 3E gezeigt, jedem der Flußvektoren, (die durch Umrißpfeile angezeigt werden) die von einem Hintergrundabschnitt des Bildes herrühren.
Erstens wird im Aufnahmebild, das durch jede der Frontsichtkameras 3 aufgenommen wird, der Wendeflußvektor, der in diesem Fall eingestellt werden soll, nur bezüglich eines Merkmalspunktes eingestellt, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird.
Zweitens wird die Richtung des Wendeflußvektors auf eine Richtung nach außen relativ zu einer Wenderichtung des Fahrzeugs 2 eingestellt [in diesem Fall, eine horizontale Richtung (Querab-Richtung) im Bild]. Da sich zum Beispiel das Fahrzeug 2 nach rechts wendet, wenn das Vorzeichen des Lenkwinkels θ positiv ist, wird die Richtung des Wendeflußvektors auf eine Richtung nach links (linke horizontale Richtung) im Aufnahmebild eingestellt. Da sich überdies das Fahrzeug 2 nach links wendet, wenn das Vorzeichen des Lenkwinkels θ negativ ist, wird die Richtung des Wendeflußvektors auf eine Richtung nach rechts (rechte horizontale Richtung) im Aufnahmebild eingestellt.
Zusätzlich wird die Größe des Wendeflußvektors auf der Grundlage einer Wendegeschwindigkeit (Wendewinkelgeschwindigkeit) des Fahrzeugs, die aus einer Bewegungsgeschwindigkeit V berechnet wird, und eines Lenkwinkels θ bezüglich jedes des linksseitigen Bereichs und des rechtsseitigen Bereichs in einem Aufnahmebild eindeutig eingestellt, das durch die Frontsichtkameras 3 aufgenommen wird. Zum Beispiel werden im linksseitigen Bereich des Aufnahmebildes alle Flußvektoren eines Hintergrundabschnitts, die sich infolge einer Wendung des Fahrzeugs 2 entwickeln, als Vektoren eingestellt, die dieselben Größen aufweisen, und die Größe des Vektors wird so eingestellt, daß die eineindeutige Entsprechung bezüglich der Wendegeschwindigkeit des Fahrzeugs 2 hergestellt wird.
Das heißt, die genaue Berechnung eines Flußvektors eines Hintergrundabschnitts (Wendeflußvektor), der infolge einer Wendung des Fahrzeugs 2 auftritt, erfordert die Detektion eines Abstandes bis zu jedem der statischen Objekte, die den Hintergrund bilden, und eines Winkels, der bezüglich einer Bildaufnahmerichtung der Frontsichtkameras 3 besteht, und ferner die Berechnung eines Wendeflußvektors jedes der statischen Objekte. Jedoch kann in dieser Ausführungsform der Wendeflußvektor mit der obenerwähnten einfa chen Logik eingestellt werden. Daher kann in dieser Ausführungsform die Wendeflußvektor-Einstelleinheit 14 zusammen alle Wendeflußvektoren eines Abschnitts, der dem Hintergrund entspricht, bezüglich aller links- und rechtsseitigen Bereiche eines Aufnahmebildes einstellen, wenn nur der Lenkwinkel θ des Fahrzeugs 2 und dessen Bewegungsgeschwindigkeit V eingegeben werden.
Die Flußvektorkorrektureinheit 15 subtrahiert den Wendeflußvektor, der in der Wendeflußvektor-Einstelleinheit 14 berechnet wird, vom optischen Flußvektor des Aufnahmebildes, um einen korrigierten Flußvektor zu berechnen und einzustellen (in der folgenden Beschreibung wird der Flußvektor, der als Ergebnis der Korrektur in der Flußvektorkorrektureinheit 15 berechnet wird, als ein „korrigierter Flußvektor" bezeichnet). Das heißt, dies stellt eine Funktion bereit, um aus dem optischen Fluß, der aus dem Aufnahmebild extrahiert wird, das durch die Frontsichtkameras 3 aufgenommen wird, einen Wendeflußvektor zu entfernen, der einem Hintergrundabschnitt entspricht.
Die Einheit 32 zur Detektion eines sich nähernden Objekts ist dazu bestimmt, ein Objekt, das sich dem Fahrzeug 2 nähert, auf der Grundlage eines korrigierten Flußvektors zu detektieren, der in der Flußvektorkorrektureinheit 15 eingestellt wird. Konkret wird ein sich dem eigenen Fahrzeug 2 näherndes Objekt auf der Grundlage eines Flußvektors detektiert, der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs 2 aufweist. Zum Beispiel wird in einem linksseitigen Bild ein korrigierter Flußvektor extrahiert, der eine nach rechts gerichtete Vektorkomponente im Bild aufweist, während in einem rechtsseitigen Bild ein korrigierter Flußvektor extrahiert wird, der eine nach links gerichtete Vektorkomponente darin aufweist. Überdies wird eine Entscheidung getroffen, daß die extrahierten korrigierten Flußvektoren Flußvektoren sind, die durch ein Objekt erzeugt werden, das sich dem Fahrzeug 2 nähert (das heißt, von allen beweglichen Objekten, die Flußvektoren im Aufnahmebild aufweisen, ein Objekt, das sich dem eigenen Fahrzeug nähert, mit der Ausnahme eines Hintergrundabschnitts), wodurch das sich nähernde Objekt erkannt wird.
Mit anderen Worten, obwohl die Einheit 12 zur Detektion eines sich nähernden Objekts in der ersten Ausführungsform eine Funktion aufweist, ein sich näherndes Objekt zu detektieren, indem sie direkt einen optischen Fluß verwendet, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird, weist die Einheit 32 zur Detektion eines sich nähernden Objekts in dieser zweiten Ausführungsform eine Funktion auf, ein sich näherndes Objekt zu detektieren, indem sie einen korrigierten optischen Fluß anstelle des optischen Flusses selbst verwendet, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird.
Zusätzlich wird in dieser zweiten Ausführungsform zum Zweck, einen Einstellfehler in der Wendeflußvektor-Einstelleinheit 14 aufzufangen, die dazu bestimmt ist, einen Wendeflußvektor einzustellen, anstatt daß alle der korrigierten Flußvektoren, die durch die obenerwähnte Logik detektiert werden, Flußvektoren sind, die durch ein Objekt erzeugt werden, das sich dem eigenen Fahrzeug nähert, entschieden, daß die Flußvektoren, deren Größe einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird, Flußvektoren sind, die von dem Objekt herrühren, das sich dem eigenen Fahrzeug 2 nähert.
Die Frontsicht-Überwachungsvorrichtung 21, die so gemäß der zweiten Ausführungsform eingerichtet ist, führt die folgende Steuerung gemäß eines Ablaufplans aus, der in 7 gezeigt wird.
Im Arbeitsablauf werden die Schritte B10 bis B30 als vorbereitende Schritte zur Berechnung eines optischen Flusses ausgeführt, und sie dienen zum Treffen einer Entscheidung hinsichtlich dessen, ob jede der Frontsichtkameras 3 sich in Betrieb befindet oder nicht.
Zuerst wird im Schritt B10 eine Entscheidung hinsichtlich dessen getroffen, ob der Frontkameraschalter 6 in den An-Zustand versetzt ist oder nicht. Wenn dem so ist, bewegt sich der Arbeitsablauf zum Schritt B20 vorwärts. Wenn er sich in einem Aus-Zustand befindet, geht der Arbeitsablauf zu Ende. Anschließend wird im Schritt B20 eine Entscheidung hinsichtlich dessen getroffen, ob die Bewegungsgeschwindigkeit V des Fahrzeugs niedriger als die vorbestimmte Geschwindigkeit V₀ ist oder nicht. Wenn V < V₀, fährt der Arbeitsablauf mit dem Schritt B30 fort. Wenn andererseits V V₀, geht der Arbeitsablauf zu Ende. Im Schritt B30, wird eine Entscheidung hinsichtlich dessen getroffen, ob der Lenkwinkel θ des gesteuerten Rads kleiner als der vorbestimmte Winkel θ₀ ist oder nicht. Wenn θ < θ₀, geht der Arbeitsablauf zu einem Schritt B40. Wenn andererseits θ ≥ θ₀, geht der Arbeitsablauf zu Ende.
Das heißt, wenn jede der Frontsichtkameras 3 sich in einem Nicht-Betriebszustand befindet, endet der Arbeitsablauf, ohne zu den Schritten vorwärts zu gehen, die dem Schritt B40 folgen. Mit anderen Worten bewegt sich der Arbeitsablauf nur dann zu den Schritten vorwärts, die dem Schritt B40 folgen, wenn die Frontsichtkamera 3 in Betrieb genommen wird.
Im Schritt B40 berechnet die Einheit 11 zur Berechnung eines optischen Flusses einzeln Merkmalspunkte in den rechts- und linksseitigen Bildern, die durch die Frontsichtkameras 3 aufgenommen werden, und berechnet in einem Schritt B50 Flußvektoren hinsichtlich aller Merkmalspunkte. Das heißt, in diesem Fall wird ein bewegliches Objekt in jedem der rechts- und linksseitigen Bilder erkannt.
Anschließend daran stellt die Wendeflußvektor-Einstelleinheit 14 in einem Schritt B60 einen Wendeflußvektor auf der Grundlage des Lenkwinkels θ des gesteuerten Rads und der Bewegungsgeschwindigkeit V ein. Der Wendeflußvektor, der in diesem Fall eingestellt werden soll, ist auf den Flußvektor um den Merkmalspunkt begrenzt, der im Schritt B50 berechnet wird. Überdies subtrahiert in einem Schritt B70 die Flußvektorkorrektureinheit 15 den Wendeflußvektor, der im Schritt B60 eingestellt wird, von dem Flußvektor, der im Schritt B50 berechnet wird, um den kor rigierten Flußvektor zu berechnen. Das heißt, in diesem Fall werden die korrigierten Flußvektoren hinsichtlich aller Merkmalspunkte berechnet, die im Schritt B50 berechnet werden.
Dann trifft in einem Schritt B80 die Einheit 32 zur Detektion eines sich nähernden Objekts eine Entscheidung hinsichtlich dessen, ob jeder von allen korrigierten Flußvektoren, die im Schritt B70 berechnet werden, eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs 2 aufweist oder nicht. Bezüglich des korrigierten Flußvektors im Bild auf der linken Seite des Fahrzeugs 2 wird eine Entscheidung darüber getroffen, ob er eine Vektorkomponente in eine Richtung nach rechts im Bild aufweist oder nicht, und bezüglich des korrigierten Flußvektors im Bild auf der rechten Seite des Fahrzeugs 2 wird eine Entscheidung drüber getroffen, ob er eine Vektorkomponente in eine Richtung nach links im Bild aufweist oder nicht. Das heißt, in diesem Fall wird von den beweglichen Objekten, die im Schritt B40 erkannt werden, ein bewegliches Objekt (sich näherndes Objekt), das sich dem Fahrzeug 2 nähert, in einem Zustand erkannt, der von anderen unterschieden wird.
Wenn es zu dieser Zeit keine Detektion eines korrigierten Flußvektors gibt, der eine Vektorkomponente in eine Bewegungsrichtung des Fahrzeugs 2 aufweist (oder wenn die Größe des detektierten korrigierten Flußvektors kleiner als ein vorbestimmter Wert ist), gibt es das Fehlen des sich nähernden Objekts (oder das Objekt nähert sich nicht, da die Größe des Vektors, der durch das Objekt erzeugt wird, immer noch in einem Bereich des Detektionsfehlers bleibt), und folglich geht der Arbeitsablauf zu Ende. Andererseits geht im Fall der Detektion des obenerwähnten Flußvektors (und wenn der detektierte korrigierte Flußvektor gleich oder größer als der vorbestimmte Wert ist), der Arbeitsablauf zu einem Schritt B90.
Im Schritt B90 zeigt die Ausgabeeinheit 13 die Tatsache der Erkennung des sich nähernden Objekts auf dem Monitor 5 an und meldet sie durch einen Ton oder Sprache an den In sassen. In diesem Fall wird für die Meldung aus der Ausgabeeinheit 13 an den Insassen die Umschaltung zwischen den Meldebetriebsarten gemäß der Größe und Anzahl der korrigierten Flußvektoren vorgenommen, die im Schritt B70 detektiert werden und jeweils eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs 2 aufweisen.
In einem Fall, in dem von den korrigierten Flußvektoren am sich nähernden Objekt, die im Schritt B60 detektiert werden, ein korrigierter Flußvektor detektiert wird, der eine Größe aufweist, die größer als eine vorbestimmte Größe ist, die im voraus festgelegt wird, oder wenn die Anzahl der korrigierten Flußvektoren, die durch das sich nähernden Objekt erzeugt werden, eine vorbestimmte Anzahl überschreitet, die im voraus festgelegt wird, wird die Ausgabeeinheit 13 in eine „Meldebetriebsart hoher Gefahr" versetzt und zeigt deutlich einen Bereich, der dem sich nähernden Objekt entspricht, auf dem Bildschirm an, und zeigt alle korrigierten Flußvektoren, die von dem sich nähernden Objekt herrühren, auf dem Bildschirm durch die Verwendung von Pfeilen an und meldet die Tatsache des hohen Grades einer Gefahrensituation durch einen Ton oder Sprache an den Insassen. Dann geht dieser Arbeitsablauf zu Ende.
Andererseits wird in einem Fall, in dem von den korrigierten Flußvektoren am sich nähernden Objekt, die im Schritt B60 detektiert werden, es keinen korrigierten Flußvektor gibt, der eine Größe aufweist, die größer als die vorbestimmte Größe ist, die im voraus festgelegt wird, und wenn die Anzahl der korrigierten Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, die vorbestimmte Anzahl nicht erreicht, die im voraus festgelegt wird, die Ausgabeeinheit 13 in eine „Meldebetriebsart niedriger Gefahr" versetzt, um einen der korrigierten Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, auf dem Bildschirm durch Verwendung eines Pfeiles anzuzeigen und die Tatsache der Detektion des sich nähernden Objekts durch einen Ton oder Sprache an den Insassen zu melden. Dann geht dieser Arbeitsablauf zu Ende.
Die oben beschriebene Steuerung stellt die folgenden konkreten Effekte bereit.
In einem Fall, in dem das Fahrzeug 2 an einer T-Einmündung, die in 5 gezeigt wird, versucht, in eine Hauptverkehrsader weiter zu fahren, während die seitlichen Sicherheitsbedingungen bestätigt werden, werden dann, wenn der Frontkameraschalter 6 des Fahrzeugs 2 zu einem An-Zustand betätigt wird, wenn das Fahrzeug 2 die Bewegungsgeschwindigkeit vor der Hauptverkehrsader reduziert, so daß sie niedriger als die vorbestimmte Geschwindigkeit V₀ wird, die Frontsichtkameras 3 automatisch in Betrieb genommen, um die rechts- und linksseitigen Bilder auf dem Monitor 5 anzuzeigen. Dies ermöglicht es, daß die rechts- und linksseitigen Bilder automatisch auf dem Monitor 5 angezeigt werden, ohne daß es notwendig ist, daß der Insasse der Umschaltung des Bildes auf dem Monitor 5 Beachtung schenkt. Überdies startet in der ECU 10 als Reaktion auf den Betrieb der Frontsichtkameras 3 die Berechnung eines optischen Flusses im Aufnahmebild.
[Anhaltezustand]
In einem Fall, in dem das Fahrzeug 2 an einer Position anhält in einer neutralen Wendebedingung, die in 5 gezeigt wird, sind, wie in 3A gezeigt, die Positionen der Frontsichtkameras 3 fest, und folglich erscheint kein Flußvektor im Hintergrundabschnitt (Hintergrundabschnitt der Fahrzeuge 41 und 42 im Bild; in diesem Fall Straßen, Gebäude, Schutzgeländer und der Himmel, die sich nicht bewegen) in den Aufnahmebildern, während sich nur die Flußvektoren entwickeln, (die durch schwarze Pfeile in 3A angezeigt werden) die durch die Fahrzeuge 41 und 42 erzeugt werden, die Objekte sind, die sich dem Fahrzeug 2 nähern. Zu dieser Zeit wird, da die Wendegeschwindigkeit, die auf der Grundlage des Lenkwinkels θ und der Bewegungsgeschwindigkeit V berechnet werden soll, Null wird und das Fahrzeug 2 nicht wendet, die Größe des Wendeflußvektors auf Null eingestellt, und der Flußvektor, der von jedem der Fahrzeuge 41 und 42 herrührt, die Objekte sind, die sich dem Fahr zeug 2 nähern, wird ein unangetasteter korrigierter Flußvektor.
In diesem Fall entwickelt das Fahrzeug 41 bezüglich der Richtung des korrigierten Flußvektors (Flußvektor, der von jedem der Fahrzeuge 41 und 42 herrührt), eine nach rechts gerichtete Vektorkomponente im linksseitigen Bild, das heißt es bildet eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild. Andererseits entwickelt das Fahrzeug 42 eine nach links gerichtete Vektorkomponente im rechtsseitigen Bildschirm und bildet eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild.
Daher kann die Einheit 32 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42 auf der Grundlage der Flußvektoren detektieren, die Vektorkomponenten längs der Bewegungsrichtung des Fahrzeugs 2 in den rechts- und linksseitigen Bildern aufweisen.
[Wendebedingung]
Überdies entwickeln sich in einem Fall, in dem sich das Fahrzeug 2 von der in 5 gezeigten Position mit einer niedrigen Geschwindigkeit (Bewegungsgeschwindigkeit V < V₀) nach rechts wendet, das heißt, wenn der Insasse das Fahrzeug 2 in eine beabsichtigte Richtung nach rechts steuert, während die seitliche Sicherheitsbedingung bestätigt wird und das Fahrzeug 2 langsam vorwärts bewegt wird, wie in 3D gezeigt, infolge der Bewegungen der Bildaufnahmepositionen der Frontsichtkameras 3 selbst in einem Hintergrundabschnitt eines Aufnahmebildes Flußvektoren (die in 3D durch Umrißpfeile angezeigt werden). Überdies entwickeln sich die Flußvektoren, (die durch die schwarzen Pfeile in 3D angezeigt werden) die von den Fahrzeugen 41 und 42 herrühren, als die Summe der Flußvektoren (d.h. der Flußvektoren, die durch die schwarzen Pfeile in 3A) angezeigt werden, die sich entwickeln werden, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet, und der Flußvektoren (der Flußvektoren, die darin durch die Umrißpfeile angezeigt werden), die infolge der Positionsbewegungen der Frontsichtkameras 3 durch den Hintergrundab schnitt erzeugt werden. Zudem erscheinen die Flußvektoren auf dem Hintergrundabschnitt als Flußvektoren, die jeweils eine Vektorkomponente in eine Richtung nach links relativ zum Fahrzeug im Bild aufweisen.
Zu dieser Zeit stellt die Wendeflußvektor-Einstelleinheit 14, da das Fahrzeug 2 nach rechts wendet, die Richtung des Wendeflußvektors auf eine Richtung nach links im Bild ein und stellt die Größe des Wendeflußvektors in einer eineindeutigen Entsprechung bezüglich der rechts- und linksseitigen Bereiche des Aufnahmebildes auf der Grundlage einer Wendegeschwindigkeit ein, die aus dem Lenkwinkel θ und der Bewegungsgeschwindigkeit V berechnet wird (siehe weiße Pfeile in 3E). Überdies subtrahiert die Flußvektorkorrektureinheit 15 die in 3E gezeigten Wendeflußvektoren von den in 3D gezeigten Flußvektoren, wodurch folglich korrigierte Flußvektoren berechnet werden, die in 3F gezeigt werden.
Zu dieser Zeit sind, wie in 3F gezeigt, die Richtungen der korrigierten Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, die Richtungen von Vektoren, die eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs 2 im Bild aufweisen: im linksseitigen Bereich eine Richtung, in der eine nach rechts gerichtete Vektorkomponente liegt, während im rechtsseitigen Bereich eine Richtung, in der eine nach links gerichtete Vektorkomponente liegt. Mit anderen Worten, bedeutet er im linksseitigen Bereich einen Flußvektor in eine Richtung in einem Bereich im Uhrzeigersinn von 180 Grad bezüglich der vertikalen Richtung, während er einen Flußvektor in eine Richtung in einem Bereich gegen den Uhrzeigersinn von 180 Grad bezüglich der vertikalen Richtung bezeichnet.
Daher kann die Einheit 32 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42, die sich nähernde Objekte sind, auf der Grundlage der Flußvektoren detektieren, die jeweils eine Vektorkomponente längs oder auf der Seite der Bewegungsrichtung des Fahrzeugs aufweisen. Überdies gibt die Ausgabeeinheit 13 der ECU 10 die Tatsache der Detektion der sich nähernden Objekte auf dem Monitor 5 aus und warnt den Insassen davor.
Zusätzlich nimmt die Ausgabeeinheit 13 die Umschaltung zwischen den Meldebetriebsarten entsprechend eines Maßes einer Gefahr eines sich dem eigenen Fahrzeug 2 nähernden Objekts vor, was die effektive Meldung der Gefahrensituation an den Insassen ermöglicht und die Verbesserung der Sicherheit erzielt.
In diesem Zusammenhang, da ein Flußvektor eines Hintergrundabschnitts zunimmt, der sich infolge einer Positionsbewegung der Frontsichtkameras 3 entwickelt, wenn sich das Fahrzeug 2 übermäßig und schnell vorwärts bewegt, obwohl es erwartet werden kann, daß sich keine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 in die Richtung eines Flußvektors entwickelt, der von jedem der Fahrzeuge 41 und 42 im Bild herrührt, ist in dieser Ausführungsform der Betrieb des Frontsichtkameras 3 so gestaltet, daß er ausgesetzt wird, wenn die Bewegungsgeschwindigkeit V des Fahrzeugs 2 die vorbestimmte Geschwindigkeit V₀ (0 < V₀) überschreitet, so daß die irrtümliche Erkennung eines sich nähernden Objekts verhinderbar wird. Ebenso findet die irrtümliche Erkennung eines sich nähernden Objekt infolge einer Wendebewegung nicht statt, da der Betrieb der Frontsichtkameras 3 dazu bestimmt ist, ausgesetzt zu werden, wenn der Lenkwinkel θ des Fahrzeugs 2 den vorbestimmten Winkel θ₀ (0 < θ₀) überschreitet. Dies verbessert folglich die Genauigkeit der Detektion eines sich nähernden Objekts beruhend auf dem optischen Fluß.
Überdies meldet die Ausgabeeinheit 13 selbst dann, wenn der Betrieb der Frontsichtkameras 3 aufgrund keiner Erfüllung der Frontsichtkamera-Betriebsbedingung angehalten wird, diese Tatsache an den Insassen, um den Insassen davor zu warnen, was die Sicherheit erhöhen kann.
Obwohl die Werte der vorbestimmten Geschwindigkeit V₀ und des vorbestimmten Winkels θ₀ gemäß der Art und Weise der Implementierung beliebig eingestellt werden können, wird dann, wenn das Fahrzeug 2 wendet, wenn die Bewegungsge schwindigkeit V und dessen Lenkwinkel θ zunehmen, der obenerwähnte Flußvektor des Hintergrundabschnitts größer. Folglich tritt bei der Detektion eines Objekts, das sich mit einer hohen Geschwindigkeit nähert, kein Problem auf, selbst wenn die vorbestimmte Geschwindigkeit V₀ und der vorbestimmte Winkel θ₀ auf hohe Werte eingestellt sind. Andererseits ist es für die Detektion eines Objekts, das sich mit einer niedrigen Geschwindigkeit nähert, wünschenswert, daß sich das Fahrzeug 2 in einem Anhaltezustand befindet. In einem Fall jedoch, in dem sich das Fahrzeug 2 in der Bewegung befindet, können durch Verwendung einer Differenz des Richtungsmaßes zwischen den Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, die sich nähernde Objekte sind, die sich auf einer allgemeinen öffentlichen Straße bewegen, und den Flußvektoren, die sich im Zusammenhang mit dem Hintergrundabschnitt (das heißt, durch die obenerwähnte Logik) entwickeln, die Fahrzeuge 41 und 42, die sich nähernde Objekte sind, in einem Zustand erkannt werden, der vom Hintergrundabschnitt unterschieden wird.
Wie oben beschrieben, kann mit der Frontsicht-Überwachungsvorrichtung 21 gemäß der zweiten Ausführungsform der vorliegenden Erfindung selbst dann, wenn sich das Fahrzeug 2 in der Wendung befindet, ein Wendeflußvektor, der sich infolge der Wendung des Fahrzeugs 2 entwickelt, auf der Grundlage einer Wenderichtung und eines Wendezustands des Fahrzeugs 2 eingestellt werden, wodurch die Korrekturberechnungen, die mit der Wendung des eigenen Fahrzeugs 2 zusammenhängen, d.h. die Rechenoperationen in der Wendeflußvektor-Einstelleinheit 14 vereinfacht werden. Zusätzlich wird die Richtung dieses Wendeflußvektors in eine Richtung nach außen relativ zur Wenderichtung eingestellt und dessen Größe wird auf der Grundlage eines Parameters (Lenkwinkel θ und Bewegungsgeschwindigkeit V) eindeutig eingestellt, der dem Wendezustand entspricht, was die Rechenoperationen vereinfachen und den Rechendurchsatz reduzieren kann.
Zusätzlich kann ein sich näherndes Objekt in seitlichen Bereichen bei der Wendung des Fahrzeugs leicht und zuverlässig durch die Verwendung der obenerwähnten Logik erkannt werden, und es ist verhinderbar, daß die Bewegung eines Hintergrundabschnitts mit einem sich nähernden Objekt verwechselt wird, wodurch die Verbesserung der Genauigkeit der Detektion des sich nähernden Objekts erzielt wird. Desweiteren ist von beweglichen Objekten, die auf der Grundlage eines optischen Flusses erkannt werden sollen, ein sich näherndes Objekt, das für das eigene Fahrzeug 2 gefährlich ist, mit einer einfachen Anordnung erkennbar, und der Rechendurchsatz der ECU 10 für die Erkennung eines sich nähernden Objekts ist weiter reduzierbar. Noch dazu ist die Sicherheit mittels der Meldung gemäß eines Grades einer Gefahrensituation verbesserbar.
Übrigens ist die vorliegende Erfindung bezüglich eines Wendeflußvektor-Einstellverfahrens in der Wendeflußvektor-Einstelleinheit 14 nicht auf dieses Einstellverfahren beschränkt, obwohl in der oben beschriebenen zweiten Ausführungsform die Richtung des Wendeflußvektors auf eine Richtung nach außen relativ zur einer Wenderichtung des Fahrzeugs 2 (in diesem Fall, eine Querab-Richtung nach rechts im Bild) eingestellt wird und die Größe des Wendeflußvektors auf einen Wert beruhend auf der Wendegeschwindigkeit (Wendewinkelgeschwindigkeit) eingestellt wird. Zum Beispiel ist es auch geeignet, daß die Richtung des Wendeflußvektors entsprechend des Maßes der Wendegeschwindigkeit des Fahrzeugs 2 korrigiert wird, oder daß eine vorbestimmte Verstärkung entsprechend der Position eines Merkmalspunktes in einem Aufnahmebild im voraus festgelegt wird, so daß ein Wert, der durch Multiplikation der Größe eines Vektors, der auf der Grundlage der Wendegeschwindigkeit des Fahrzeugs 2 eingestellt wird, mit der vorbestimmten Verstärkung erhalten wird, als ein Wendeflußvektor eingestellt wird.
Zusätzlich gibt es keine Notwendigkeit, obwohl in der oben beschriebenen zweiten Ausführungsform in den rechts- und linksseitigen Bereichen eines Aufnahmebildes Wendefluß vektoren mit derselben Größe eingestellt werden, immer alle diese Größen der Wendeflußvektoren, die in der Wendeflußvektor-Einstelleinheit 14 eingestellt werden sollen, bezüglich der rechts- und linksseitigen Bereiche des Aufnahmebildes auf dieselben Werte einzustellen, und es ist auch geeignet, daß sie zum Beispiel auf der Grundlage einer Fahrzeugwendegeschwindigkeit (Wendewinkelgeschwindigkeit), die aus der Bewegungsgeschwindigkeit V und dem Lenkwinkel θ berechnet wird, entsprechend einer Position auf dem Aufnahmebild eingestellt werden.
Obwohl desweiteren in der oben beschriebenen zweiten Ausführungsform eine Bewegungsgeschwindigkeit V des Fahrzeugs 2 und ein Lenkwinkel θ eines gesteuerten Rads als ein Parameter verwendet werden, der einem Wendezustand des Fahrzeugs 2 entspricht, ist es auch akzeptabel, daß zum Beispiel eine Wendewinkelgeschwindigkeit des Fahrzeugs 2 als der Parameter verwendet wird, der dessen Wendezustand entspricht. In diesem Fall ist ein Winkelgeschwindigkeitssensor oder eine Kreiselvorrichtung (engl. gyro device) vorgesehen, die zur Detektion einer Winkelgeschwindigkeit des Fahrzeugs 2 dient. Überdies können diese Parameter nach Wahl des Fahrzeuginsassen eingestellt werden.
Wie oben erwähnt, kann ein Einstellverfahren beruhend auf einem Parameter(n), der einer Wenderichtung des Fahrzeugs 2 und seinem Wendezustand entspricht, nach Wahl festgelegt werden.
Obwohl ferner in der vorhergehenden zweiten Ausführungsform die Einheit 32 zur Detektion eines sich nähernden Objekts dazu bestimmt ist, ein sich näherndes Objekt auf der Grundlage korrigierter Flußvektoren der Vektorkomponenten längs einer Bewegungsrichtung des Fahrzeugs 2 im Bild zu detektieren, ist es auch möglich, ein sich näherndes Objekt durch Verwendung einer anderen Logik zu detektieren. Das Verfahren zur Detektion eines sich nähernden Objekts kann auch nach Wahl durchgeführt werden.
[Dritte Ausführungsform der vorliegenden Erfindung]
Ferner wird im folgenden eine Beschreibung einer Frontsicht-Überwachungsvorrichtung 31 gemäß einer Ausführungsform der vorliegenden Erfindung gegeben. Dieselben Teile wie jene in der ersten und zweiten Ausführungsform werden mit denselben Bezugsziffern markiert, und deren Beschreibung wird zur Einfachheit weggelassen.
8 zeigt ein Fahrzeug 2, das mit dieser Frontsicht-Überwachungsvorrichtung 31 ausgestattet ist. Das Fahrzeug 2 ist versehen mit: Frontsichtkameras (Bildaufnahmeeinrichtung) 3, die jeweils zur Aufnahme eines Bildes von jedem der relativ zum Fahrzeug 2 rechts- und linksseitigen seitlichen Bereiche dienen, einem Fahrzeuggeschwindigkeitssensor 4 zur Detektion eines Signals, das für eine Bewegungsgeschwindigkeit des Fahrzeugs 2 kennzeichnend ist, einem Frontkameraschalter 6, der als ein Schalter für einen Betrieb jeder der Frontsichtkameras 3 dient, einem Lenkwinkelsensor (Wenderichtungsdetektionseinrichtung) 7 zur Detektion eines Signals, das für einen Lenkwinkel eines Lenkrads (oder Lenkwinkel eines gesteuerten Rads) kennzeichnend ist, das durch einen Insassen betätigt wird, einer elektronischen Steuereinheit (ECU) 10 und einem Monitor (Meldeeinrichtung) 5 zur Anzeige eines Bildes, das durch jede der Frontsichtkameras 3 aufgenommen wird.
Die ECU 10 ist dazu bestimmt, einen optischen Fluß in jedem der rechts- und linksseitigen Aufnahmebilder, die durch die Frontsichtkameras 3 aufgenommen werden, zur Detektion eines beweglichen Objekts zu berechnen, das sich dem eigenen Fahrzeug nähert, und besteht aus einer Einheit 11 zur Berechnung eines optischen Flusses (Einrichtung zur Berechnung eines optischen Flußvektors), die dazu bestimmt ist, einen optischen Flußvektor(en) in einem Aufnahmebild zu berechnen, einer Einheit 52 zur Detektion eines sich nähernden Objekts (Einrichtung zur Detektion eines sich nähernden Objekts), die dazu bestimmt ist, ein sich dem eigenen Fahrzeug näherndes Objekt auf der Grundlage des optischen Flußvektors(en) zu detektieren, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird, und einer Ausgabeeinheit 13, die dazu bestimmt ist, diese Berechnungs-/Detektionsergebnisse auszugeben.
Die Einheit 52 zur Detektion eines sich nähernden Objekts ist dazu bestimmt, ein Objekt, das sich dem Fahrzeug 2 nähert, auf der Grundlage von Flußvektoren zu detektieren, die in der Einheit 11 zur Berechnung eines optischen Flusses berechnet werden. Jedoch ist in diesem Fall die Einheit 52 zur Detektion eines sich nähernden Objekts dazu bestimmt, das sich nähernde Objekt zu detektieren, indem es nur auf die Flußvektoren in den seitlichen Bereichen bezüglich einer Richtung nach außen relativ zu einer Wenderichtung des Fahrzeugs 2 Bezug nimmt, die durch einen Lenkwinkelsensor detektiert wird.
Konkret wird erstens in einem Fall, in dem der Lenkwinkel θ des Fahrzeugs 2 positiv ist und größer als ein Bezugswert θ₁ ist (θ₁ < θ₀), der im voraus festgelegt wird (das heißt, wenn die Wendegeschwindigkeit nach rechts etwas hoch ist), die Detektion eines sich nähernden Objekts auf der Grundlage eines Flußvektors(en) in einem linksseitigen Bereich relativ zum Fahrzeug 2 vorgenommen. Das heißt, im Bild des linksseitigen Bereichs wird ein Flußvektor extrahiert, der eine nach rechts gerichtete Vektorkomponente aufweist, und es wird entschieden, daß der extrahierte Flußvektor ein Flußvektor ist, der durch ein Objekt erzeugt wird, das sich dem Fahrzeug 2 nähert (das heißt, von den beweglichen Objekten, die jeweils einen Flußvektor aufweisen, ein Objekt, das sich dem eigenen Fahrzeug 2 nähert), wodurch folglich das sich nähernde Objekt erkannt wird. Zu dieser Zeit wird nicht auf den Flußvektor im relativ zum Fahrzeug 2 rechtsseitigen Bereich Bezug genommen. Das heißt, die Detektion eines sich nähernden Objekts wird nicht bezüglich des rechtsseitigen Bereichs vorgenommen.
Wenn andererseits der Lenkwinkel (engl. rudder angle) θ negativ ist und kleiner als ein Bezugswert –θ₁ ist (das heißt, wenn die Wendegeschwindigkeit nach links etwas hoch ist), wird die Detektion eines sich nähernden Objekts auf der Grundlage eines Flußvektors im relativ zum Fahrzeug 2 rechtsseitigen Bereich vorgenommen. Das heißt, im Bild des rechtsseitigen Bereichs wird ein Flußvektor mit einer nach links gerichteten Vektorkomponente extrahiert, und es wird entschieden, daß der extrahierte Flußvektor ein Flußvektor ist, der durch ein Objekt erzeugt wird, das sich dem Fahrzeug 2 nähert, wodurch folglich das sich nähernde Objekt erkannt wird. Zu dieser Zeit wird nicht auf den Flußvektor im relativ zum Fahrzeug 2 linksseitigen Bereich Bezug genommen. Das heißt, die Detektion eines sich nähernden Objekts wird nicht bezüglich des linksseitigen Bereichs getroffen.
Überdies wird in einem Fall, in dem der Lenkwinkel θ des Fahrzeugs 2 unter dem Bezugswert θ₁ liegt (das heißt, wenn die Wendegeschwindigkeit niedrig ist), die Detektion eines sich nähernden Objekts auf der Grundlage von Flußvektoren in relativ zum Fahrzeug 2 rechts- und linksseitigen Bereichen vorgenommen.
Der Grund, daß die Einheit 52 zur Detektion eines sich nähernden Objekts so eingerichtet ist, ist wie folgt. Das heißt, in einem Fall, in dem es in Betracht gezogen wird, daß ein bewegliches Objekt, wie ein Fahrzeug, das sich dem eigenen Fahrzeug 2 nähert, aus einem Frontsichtbild erkannt wird, das bezüglich der relativ zum Fahrzeug 2 rechts- und linksseitigen Bereiche aufgenommen wird, indem ein optischer Fluß verwendet wird, da sich unter der Voraussetzung, daß sich das eigene Fahrzeug 2 in einem Anhaltezustand befindet, kein Flußvektor für ein Objekt entwickelt, dessen Verhältnisposition sich relativ zum eigenen Fahrzeug 2 nicht ändert, ist ein bewegliches Objekt an einer Position vorhanden, wo ein Flußvektor erscheint, so daß das bewegliche Objekt zuverlässig auf der Grundlage des Vorhandenseins oder Fehlens eines Flußvektors detektierbar ist.
Wenn sich jedoch das Fahrzeug in einer Wendung befindet, bewegt sich hinsichtlich des Frontsichtbildes, das bezüglich seitlicher Bereiche aufgenommen wird, der Winkel (Zusammensetzung) selbst zusammen in eine zur Wenderichtung entgegengesetzte Richtung. Wenn sich das Fahrzeug 2 zum Beispiel nach rechts wendet, wie in 3D gezeigt, bewegen sich beide rechts- und linksseitige Bilder, die durch die Frontsichtkameras 3 aufgenommen werden, nach links, und die Flußvektoren nach links (Flußvektoren, die von der Wendung des Fahrzeugs 2 herrühren, d.h. die Flußvektoren, die durch weiße Pfeile in 3D angezeigt werden) werden über den ganzen Bildschirm detektiert. Daher werden in einem Fall, in dem ein bewegliches Objekt, wie ein Fahrzeug, das sich dem Fahrzeug 2 nähert, tatsächlich im linksseitigen Bild relativ zum Fahrzeug 2 vorhanden ist, die Flußvektoren, (die durch schwarze Pfeile im linksseitigen Bild in 3D angezeigt werden) die von dem sich nähernden Objekt herrühren, und die Flußvektoren, (die durch weiße Pfeile im linksseitigen Bild in 3D angezeigt werden) die durch die Wendung des Fahrzeugs 2 erzeugt werden, getrennt erkennbar, indem eine Differenz des Richtungsmaßes (engl. directivity) zwischen den Vektoren zur Kenntnis genommen wird. Jedoch sind im relativ zum Fahrzeug 2 rechtsseitigen Bild die Flußvektoren, (die durch schwarze Pfeile im rechtsseitigen Bild in 3D angezeigt werden) die von dem sich nähernden Objekt herrühren, und die Flußvektoren, (die durch weiße Pfeile im rechtsseitigen Bild in 3D angezeigt werden), die durch die Wendung des Fahrzeugs 2 erzeugt werden, in ihrer Vektorrichtung zueinander ähnlich, und folglich trifft man auf Schwierigkeiten, sie getrennt zu erkennen. Überdies nimmt der Flußvektor, der durch die Wendung des Fahrzeugs 2 erzeugt wird, mit einer Zunahme des Wendelenkwinkels (oder zum Beispiel der Wendegeschwindigkeit und anderer) des Fahrzeugs zu, so daß die Ähnlichkeit der Richtung dazwischen höher wird, was es weiter schwierig macht, sie getrennt zu erkennen.
Aus diesem Grund nimmt gemäß dieser dritten Ausführungsform in einem Fall, in dem des Fahrzeug 2 wendet und die Wendegeschwindigkeit etwas hoch ist, die Einheit 52 zur Detektion eines sich nähernden Objekts nur auf die Flußvektoren in den seitlichen Bereichen bezüglich einer Richtung nach außen relativ zur Wenderichtung zur Detektion eines sich nähernden Objekts Bezug, so daß die Flußvektoren, die durch das sich nähernde Fahrzeug erzeugt werden, und die Flußvektoren, die von der Wendung des Fahrzeugs 2 herrühren, auf der Grundlage der Differenz des Vektorrichtungsmaßes unterscheidend erkannt werden können, wodurch die irrtümliche Erkennung reduziert wird.
Die Frontsicht-Überwachungsvorrichtung 31 gemäß der dritten Ausführungsform ist so eingerichtet und führt die folgende Steuerung gemäß eines Ablaufplans aus, der in 9 gezeigt wird.
Im Arbeitsablauf werden die Schritte C10 bis C30 als vorbereitende Schritte zur Berechnung eines optischen Flusses ausgeführt, und sie dienen zum Treffen einer Entscheidung hinsichtlich dessen, ob jede der Frontsichtkameras 3 sich in Betrieb befindet oder nicht.
Zuerst wird im Schritt C10 eine Entscheidung hinsichtlich dessen getroffen, ob der Frontkameraschalter 6 in den An-Zustand versetzt ist oder nicht. Wenn dem so ist, bewegt sich der Arbeitsablauf zum Schritt C20 vorwärts. Wenn er sich in einem Aus-Zustand befindet, geht der Arbeitsablauf zu Ende. Anschließend wird im Schritt C20 eine Entscheidung hinsichtlich dessen getroffen, ob die Bewegungsgeschwindigkeit V des Fahrzeugs niedriger als die vorbestimmte Geschwindigkeit V₀ ist oder nicht. Wenn V < V₀, fährt der Arbeitsablauf mit dem Schritt C30 fort. Wenn andererseits V V₀, geht der Arbeitsablauf zu Ende. Im Schritt C30, wird eine Entscheidung hinsichtlich dessen getroffen, ob der Lenkwinkel θ des gesteuerten Rads kleiner als der vorbestimmte Winkel θ₀ ist oder nicht. Wenn θ < θ₀, geht der Arbeitsablauf zu einem Schritt C40. Wenn andererseits θ ≥ θ₀, geht der Arbeitsablauf zu Ende.
Das heißt, wenn sich jede der Frontsichtkameras 3 in einem Nicht-Betriebszustand befindet, endet der Arbeitsablauf, ohne zu den Schritten vorwärts zu gehen, die dem Schritt C40 folgen. Mit anderen Worten bewegt sich der Arbeitsablauf nur dann zu den Schritten vorwärts, die dem Schritt C40 folgen, wenn die Frontsichtkamera 3 in Betrieb genommen wird.
Im Schritt C40 berechnet die Einheit 11 zur Berechnung eines optischen Flusses einzeln Merkmalspunkte in den rechts- und linksseitigen Bildern, die durch die Frontsichtkameras 3 aufgenommen werden, und berechnet in einem Schritt C50 Flußvektoren hinsichtlich aller Merkmalspunkte. Das heißt, in diesem Fall wird ein bewegliches Objekt in jedem der rechts- und linksseitigen Bilder erkannt.
Anschließend daran wird im Schritt C60 eine Entscheidung hinsichtlich dessen getroffen, ob der Lenkwinkel θ kleiner als ein Bezugswert θ₁ (0 < θ₁ < θ₀) ist oder nicht, der auf einen Wert eingestellt ist, der kleiner als ein vorbestimmter Wert θ₀ ist. Das heißt, es wird in diesem Fall auf der Grundlage des Wertes des Lenkwinkels θ eine Entscheidung über einen Grad der Ähnlichkeit zwischen einem Flußvektor, der durch eine Wendung des Fahrzeugs 2 erzeugt wird, und einem Flußvektor getroffen, der von einem sich nähernden Fahrzeug herrührt.
Im Fall von |θ| < θ₁ wird eine Entscheidung getroffen, daß der Lenkwinkel klein ist, und der Arbeitsablauf bewegt sich zu einem Schritt C70 vorwärts, wo die Einheit 52 zur Detektion eines sich nähernden Objekts einen Flußvektor in den rechts- und linksseitigen Bildern extrahiert, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird, dem sich dann ein Schritt C110 anschließt. Überdies wird in einem anderen Fall als |θ| < θ₁ eine Entscheidung getroffen, daß der Lenkwinkel in einem gewissen Maß bezüglich einer der Richtungen nach rechts und nach links größer ist, dem sich dann ein Entscheidungsschritt C80 anschließt.
Der Schritt C80 dient zum Treffen einer Entscheidung hinsichtlich dessen, ob der Lenkwinkel θ gleich oder größer als der Bezugswinkel θ₁ ist oder nicht. Wenn θ ≥ θ₁, wird eine Entscheidung getroffen, daß der Lenkwinkel in einem gewissen Maß in eine Richtung nach rechts größer ist (das heißt, das Fahrzeug 2 befindet sich in einem großen Wendezustand nach rechts), und der Arbeitsablauf fährt mit Schritt C90 fort, wo die Einheit 52 zur Detektion eines sich nähernden Objekts nur einen Flußvektor(en) im linksseitigen Bild aus den Flußvektoren in den Bildern extrahiert, die in der Einheit 11 zur Berechnung eines optischen Flusses berechnet werden, dem sich der Schritt C110 anschließt. Andererseits ergibt sich im Fall von θ < θ₁ in Hinblick auf die Bedingungen der Schritte C30, C60 und C80 θ ≥ –θ₁, und folglich wird eine Entscheidung als ein etwas großer Lenkwinkel in eine Richtung nach links getroffen (das heißt, das Fahrzeug 2 befindet sich in einem großen Wendezustand nach links), und der Arbeitsablauf geht zu einem Schritt C100, wo die Einheit 52 zur Detektion eines sich nähernden Objekts nur einen Flußvektor(en) im rechtsseitigen Bild aus den Flußvektoren in den Bildern extrahiert, der in der Einheit 11 zur Berechnung eines optischen Flusses berechnet wird, dem sich der Schritt C110 anschließt.
Im Schritt C110 wird eine Entscheidung hinsichtlich dessen getroffen, ob der Flußvektor, der in den Schritten C70, C90 oder C100 extrahiert wird, eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs 2 aufweist oder nicht. Bezüglich des Flußvektors im relativ zum Fahrzeug 2 linksseitigen Bild wird eine Entscheidung darüber getroffen, ob er eine nach rechts gerichtete Vektorkomponente im Bild aufweist oder nicht, während bezüglich des Flußvektors im relativ zum Fahrzeug 2 rechtsseitgen Bild eine Entscheidung darüber getroffen wird, ob er eine nach links gerichtete Vektorkomponente im Bild aufweist oder nicht. Das heißt, in diesem Fall wird von den beweglichen Objekten, die im Schritt C50 erkannt werden, ein bewegliches Objekt (sich näherndes Objekt), das sich dem Fahrzeug 2 nähert, in einem Zustand erkannt, die von anderen unterschieden wird.
Wenn keine Detektion eines Flußvektors gemacht wird, der eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 aufweist, gibt es das Fehlen eines sich nähern den Objekts und folglich geht dieser Arbeitsablauf zu Ende. Andererseits bewegt sich der Arbeitsablauf im Fall der Detektion des obenerwähnten Flußvektors zu einem Schritt C120 vorwärts.
Im Schritt C120 zeigt die Ausgabeeinheit 13 die Tatsache der Erkennung des sich nähernden Objekts auf dem Monitor 5 an und meldet sie durch einen Ton oder Sprache an den Insassen. In diesem Fall wird für die Meldung von der Ausgabeeinheit 13 an den Insassen die Umschaltung zwischen Meldebetriebsarten auf der Grundlage der Größe und Anzahl der Flußvektoren vorgenommen, die eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs aufweisen, die im Schritt C110 detektiert werden.
Von den Flußvektoren, die von dem sich nähernden Objekt herrühren, die im Schritt C110 detektiert werden, wird ein Flußvektor detektiert, dessen Größe größer als eine vorbestimmte Größe ist, die im voraus festgelegt wird, oder wenn die Anzahl der Flußvektoren, die von dem sich nähernden Objekt herrühren, eine vorbestimmte Anzahl überschreitet, die im voraus festgelegt wird, wird die Ausgabeeinheit 13 in eine „Meldebetriebsart hoher Gefahr" versetzt, um deutlich einen Bereich, der dem sich nähernden Objekt entspricht, auf dem Bildschirm anzuzeigen, und um alle Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, auf dem Bildschirm durch die Verwendung von Pfeilen anzuzeigen und ferner die Tatsache einer Situation hoher Gefahr durch einen Ton oder Sprache an den Insassen zu melden.
Andererseits wird in einem Fall, in dem es von den Flußvektoren des sich nähernden Objekts, die im Schritt C110 detektiert werden, keinen Flußvektor gibt, der eine Größe aufweist, die größer als der vorbestimmte Wert ist, der im voraus festgelegt wird, und wenn die Anzahl der detektierten Flußvektoren des sich nähernden Objekts die vorbestimmte Anzahl nicht erreicht, die im voraus festgelegt wird, die Ausgabeeinheit 13 in die „Meldebetriebsart niedriger Gefahr" versetzt, um einen der Flußvektoren, die durch das sich nähernde Objekt erzeugt werden, durch die Verwendung eines Pfeiles auf dem Bildschirm anzuzeigen, und meldet die Tatsache der Detektion des sich nähernden Objekts durch einen Ton oder Sprache an den Insassen.
Die oben beschriebene Steuerung stellt die folgenden konkreten Effekte bereit.
In einem Fall, in dem das Fahrzeug 2 an einer T-Einmündung, die in 5 gezeigt wird, versucht, in eine Hauptverkehrsader weiter zu fahren, während die seitlichen Sicherheitsbedingungen bestätigt werden, werden dann, wenn der Frontkameraschalter 6 des Fahrzeugs 2 zu einem An-Zustand betätigt wird, wenn das Fahrzeug 2 die Bewegungsgeschwindigkeit vor der Hauptverkehrsader reduziert, so daß sie niedriger als die vorbestimmte Geschwindigkeit V₀ wird, die Frontsichtkameras 3 automatisch in Betrieb genommen, um die rechts- und linksseitigen Bilder auf dem Monitor 5 anzuzeigen. Dies ermöglicht es, daß die rechts- und linksseitigen Bilder automatisch auf dem Monitor 5 angezeigt werden, ohne daß es notwendig ist, daß der Insasse der Umschaltung des Bildes auf dem Monitor 5 Beachtung schenkt. Überdies startet in der ECU 10 als Reaktion auf den Betrieb der Frontsichtkameras 3 die Berechnung eines optischen Flusses im Aufnahmebild.
[Anhaltezustand]
In einem Fall, in dem das Fahrzeug 2 an einer Position anhält, die in 5 gezeigt wird, sind, wie in 3A gezeigt, die Positionen der Frontsichtkameras 3 fest, und folglich erscheint kein Flußvektor im Hintergrundabschnitt (Hintergrundabschnitt der Fahrzeuge 41 und 42 im Bild; in diesem Fall Straßen, Gebäude, Schutzgeländer und der Himmel, die sich nicht bewegen) in den Aufnahmebildern, während sich nur die Flußvektoren entwickeln, (die durch schwarze Pfeile in 3A angezeigt werden) die durch die Fahrzeuge 41 und 42 erzeugt werden, die Objekte sind, die sich dem Fahrzeug 2 nähern. Zu dieser Zeit liefert das Fahrzeug 41 bezüglich der Richtungen der Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, eine nach rechts gerichtete Vektorkomponente im linksseitigen Bild, das heißt, es zeigt eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild. Andererseits liefert das Fahrzeug 42 eine nach links gerichtete Vektorkomponente im rechtsseitigen Bild und zeigt eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild.
Daher kann die Einheit 12 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42, die sich nähernde Objekte sind, auf der Grundlage der Flußvektoren detektieren, die jeweils eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 in den rechts- und linksseitigen Bildern aufweisen.
[Vorwärtsbewegungsbedingung]
Zusätzlich erscheinen in einem Fall, in dem sich das Fahrzeug 2 mit einer niedrigen Geschwindigkeit (Bewegungsgeschwindigkeit V < V₀) an der Position vorwärts bewegt, die in 5 gezeigt wird, das heißt, wenn der Insasse das Fahrzeug 2 langsam vorwärts bewegt, während die seitlichen Sicherheitsbedingungen bestätigt werden, wie in 3B gezeigt, infolge der Bewegungen der Aufnahmepositionen der Frontsichtkameras 3 auch in Hintergrundabschnitten in den Aufnahmebildern Flußvektoren (die durch Umrißpfeile in 3B angezeigt werden). Überdies entwickeln sich die Flußvektoren, die durch das Fahrzeug 41 und 42 erzeugt werden, als Flußvektoren (die durch schwarze Pfeile in 3B angezeigt werden), die die Summe der Flußvektoren (d.h. der Flußvektoren, die durch die schwarzen Pfeile in 3B angezeigt werden), die erscheinen werden, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet, und der Flußvektoren (d.h. der Flußvektoren, die durch die Umrißpfeile angezeigt werden) der Hintergrundabschnitte sind, die infolge der Bewegungen der Positionen der Frontsichtkameras 3 auftreten. Die Flußvektoren der Hintergrundabschnitte entwickeln sich als Flußvektoren, die eine Vektorkomponente in eine zur Bewegungsrichtung des Fahrzeugs 2 im Bild entgegengesetzte Richtung aufweisen, wenn sich das Fahrzeug 2 vorwärts bewegt.
Obwohl sich folglich die Größe und Richtung der Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, verändern (verformen), tritt dann, wenn sich das Fahrzeug 2 langsam vorwärts bewegt, wenn sich das Fahrzeug 2 langsam mit einer niedrigen Geschwindigkeit bewegt, keine große Variation auf, und folglich erscheint eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild. Überdies tritt selbst dann, wenn von den Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, die Vektorkomponente bezüglich der Fahrzeugbewegungsrichtung gleich dem Flußvektor des Hintergrundabschnitts wird, da die Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, auch Vektoren in Vergrößerungsrichtungen im Bild enthalten, d.h. in vertikale Richtungen im Bild, infolge der Annäherung des Fahrzeugs 2, die Gegenwirkung auf die Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, nicht auf.
Zu dieser Zeit sind, wie in 3C gezeigt, die Richtungen der Flußvektoren infolge der Fahrzeuge 41 und 42 Vektorrichtungen, in denen eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 vorhanden ist, das heißt, eine Richtung einer nach rechts gerichteten Vektorkomponente im linksseitigen Bereich und eine Richtung einer nach links gerichteten Vektorkomponente im rechtsseitigen Bereich. Mit anderen Worten ist es im linksseitigen Bereich ein Flußvektor mit einer Richtung in einem Bereich im Uhrzeigersinn von 180 Grad bezüglich einer vertikalen Richtung, und im rechtsseitigen Bereich ist es ein Flußvektor mit einer Richtung in einem Bereich gegen den Uhrzeigersinn von 180 Grad bezüglich einer vertikalen Richtung.
Außerdem kann die Einheit 12 zur Detektion eines sich nähernden Objekts die Fahrzeuge 41 und 42 als sich nähernde Objekte auf der Grundlage der Flußvektoren detektieren, die jeweils eine Vektorkomponente längs der Fahrzeugbewegungsrichtung in den rechts- und linksseitigen Bildern aufweisen. Daher gibt die Ausgabeeinheit 13 der ECU 10 die Tatsache der Detektion der sich nähernde Objekte an den Monitor 5 aus, um den Insassen zu warnen.
Desweiteren nimmt die Ausgabeeinheit 13 die Umschaltung der Meldebetriebsart entsprechend einer Gefahrenstufe des sich nähernden Objekts für das eigene Fahrzeug 2 vor, was die effektive Meldung der Gefahrenstufe für den Insassen ermöglicht und die Sicherheit erhöht.
In einem Fall übrigens, in dem sich das Fahrzeug 2 schnell vorwärts bewegt, wird es aufgrund einer Zunahme des Flußvektors, der dem Hintergrundabschnitt entspricht, der sich infolge der Bewegung der Position der Frontsichtkameras 3 entwickelt, in Betracht gezogen, daß bezüglich der Richtungen der Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, eine Vektorkomponente längs der Bewegungsrichtung des Fahrzeugs 2 im Bild verschwindet. Jedoch ist in dieser Ausführungsform, da der Betrieb der Frontsichtkameras 3 ausgesetzt wird, wenn die Bewegungsgeschwindigkeit V des Fahrzeugs 2 gleich oder höher als die vorbestimmte Geschwindigkeit V₀ ist, die irrtümliche Erkennung eines sich nähernden Objekts verhinderbar. Da ebenfalls der Betrieb der Frontsichtkameras 3 unterbrochen wird, wenn der Lenkwinkel θ des Fahrzeugs 2 gleich oder größer als der vorbestimmte Winkel θ₀ ist, ist die irrtümliche Erkennung eines sich nähernden Objekts infolge der Wendebewegung vermeidbar. Folglich kann dies die Genauigkeit der Detektion eines sich nähernden Objekts beruhend auf dem optischen Fluß verbessern.
Zusätzlich meldet selbst im Fall der Aussetzung des Betriebs der Frontsichtkameras 3 die Ausgabeeinheit 13 diese Tatsache an den Insassen, was den Insassen warnen und die Sicherheit erhöhen kann.
Obwohl die Werte der vorbestimmten Geschwindigkeit V₀ und des vorbestimmten Winkels θ₀ gemäß der Art und Weise der Implementierung beliebig eingestellt werden können, wird dann, wenn sich das Fahrzeug 2 bewegt, wenn die Bewegungsgeschwindigkeit V und dessen Lenkwinkel θ zunehmen, der obenerwähnte Flußvektor des Hintergrundabschnitts größer. Folglich tritt bei der Detektion eines Objekts, das sich mit einer hohen Geschwindigkeit nähert, kein Problem auf, selbst wenn die vorbestimmte Geschwindigkeit V₀ und der vorbestimmte Winkel θ₀ auf hohe Werte eingestellt sind. Andererseits ist es für die Detektion eines Objekts, das sich mit einer niedrigen Geschwindigkeit nähert, wünschenswert, daß sich das Fahrzeug 2 in einem Anhaltezustand befindet. In einem Fall jedoch, in dem sich das Fahrzeug 2 in der Bewegung befindet, können durch Verwendung einer Differenz des Richtungsmaßes zwischen den Flußvektoren, die von den Fahrzeugen 41 und 42 herrühren, die sich nähernde Objekte sind, die sich auf einer allgemeinen öffentlichen Straße bewegen, und den Flußvektoren, die sich im Zusammenhang mit dem Hintergrundabschnitt (das heißt, durch die obenerwähnte Logik) entwickeln, die Fahrzeuge 41 und 42, die sich nähernde Objekte sind, in einem Zustand erkannt werden, der vom Hintergrundabschnitt unterschieden wird.
[Wendebedingung]
Überdies entwickeln sich in einem Fall, in dem sich das Fahrzeug 2 von der in 5 gezeigten Position mit einer niedrigen Geschwindigkeit (Bewegungsgeschwindigkeit V < V₀) nach rechts wendet, das heißt, wenn der Insasse das Fahrzeug 2 in eine beabsichtigte Richtung nach rechts steuert, während die seitliche sichere Bedingung bestätigt wird und das Fahrzeug 2 langsam vorwärts bewegt wird, wie in 3D gezeigt, infolge der Bewegungen der Bildaufnahmepositionen der Frontsichtkameras 3 selbst in einem Hintergrundabschnitt eines Aufnahmebildes Flußvektoren (die in 3D durch Umrißpfeile angezeigt werden). Überdies entwickeln sich die Flußvektoren, (die durch die schwarzen Pfeile in 3D angezeigt werden) die von den Fahrzeugen 41 und 42 herrühren, als die Summe der Flußvektoren (d.h. der Flußvektoren, die durch die schwarzen Pfeile in 3A) angezeigt werden, die sich entwickeln werden, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet, und der Flußvektoren (der Flußvektoren, die darin durch die Umrißpfeile angezeigt werden), die infolge der Positionsbewegungen der Frontsichtkameras 3 durch den Hintergrundabschnitt erzeugt werden. Zudem erscheinen die Flußvektoren auf dem Hinter grundabschnitt als Flußvektoren, die jeweils eine Vektorkomponente in eine Richtung nach links relativ zum Fahrzeug im Bild aufweisen.
In diesem Fall wählt die Einheit 52 zur Detektion eines sich nähernden Objekts einen Flußvektor(en), auf den Bezug genommen werden soll, auf der Grundlage des Wertes des Lenkwinkels des Fahrzeugs 2 aus. Das heißt, im Fall einer Wendung nach rechts mit einem Lenkwinkel θ ≥ θ₀ werden Flußvektoren aus dem linksseitigen Bereich extrahiert, um ein sich näherndes Objekt daraus zu detektieren. In diesem Fall wird von den Flußvektoren, die in 3D gezeigt werden, ein Flußvektor, der eine nach rechts gerichtete Vektorkomponente aufweist, aus dem linksseitigen Bereich des Bildes extrahiert, und es wird eine Entscheidung getroffen, daß der extrahierte Flußvektor ein Flußvektor ist, der durch ein Objekt erzeugt wird, das sich dem Fahrzeug nähert (d.h. von den beweglichen Objekten, die die Flußvektoren aufweisen, ein Objekt, das sich dem eigenen Fahrzeug 2 nähert), wodurch folglich das sich nähernde Objekt erkannt wird. Daher ist das sich nähernde Fahrzeug 41 präzise detektierbar.
Überdies wird nicht auf Flußvektoren im Bild im rechtsseitigen Bereich Bezug genommen. Daher kann verhindert werden, daß Flußvektoren, (die durch weiße Pfeile im rechtsseitigen Bild der 3B angezeigt werden) die von einer Wendung des Fahrzeugs 2 herrühren, mit den Flußvektoren verwechselt werden, (die durch schwarze Pfeile im rechtsseitigen Bild der 3B angezeigt werden) die durch das sich nähernde Fahrzeug erzeugt werden, und die Rechenoperation, die zur Detektion des sich nähernden Fahrzeugs benötigt wird, ist auf die Hälfte reduzierbar.
Überdies trifft dies auch auf einen Fall einer Wendung nach links mit einem Lenkwinkel θ ≤ –θ₁ zu, und die Einheit 52 zur Detektion eines sich nähernden Objekts extrahiert Flußvektoren aus dem linksseitigen Bereich und detektiert ein sich näherndes Objekt daraus. In diesem Fall werden die Flußvektoren, die jeweils eine nach links gerichtete Vektorkomponente aufweisen, im rechtsseitigen Bereichsbild ex extrahiert, und es wird eine Entscheidung getroffen, daß die extrahierten Vektoren Flußvektoren sind, die durch das sich nähernde Objekt erzeugt werden, das sich dem Fahrzeug 2 nähert, wodurch folglich das sich nähernde Objekt erkannt wird. Daher wird die genaue Detektion des sich nähernden Fahrzeugs 41 machbar. Zudem wird nicht auf die Flußvektoren im linksseitigen Bereichsbild Bezug genommen, die irrtümliche Erkennung ist verhinderbar und der Rechendurchsatz ist auf die Hälfte reduzierbar.
Wie oben beschrieben, ist mit der Frontsicht-Überwachungsvorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung die irrtümliche Erkennung reduzierbar, indem nur auf die optischen Flußvektoren bezug genommen wird, die in einer Richtung vorhanden sind, was die zuverlässige Detektion eines Objekts ermöglicht, das sich dem eigenen Fahrzeug nähert, und die Detektionsrate eines sich nähernden Objekts ist verbesserbar. Überdies ist selbst dann, wenn sich das Fahrzeug 2 in einem Anhaltezustand befindet, und selbst im Fall einer Fahrt mit niedriger Geschwindigkeit (V < V₀), oder selbst in einem Zustand, wo der Lenkwinkel kleiner als ein vorbestimmter Winkel ist (θ < θ₀), ein sich näherndes Objekt in seitlichen Bereichen relativ zu einem Fahrzeug leicht und zuverlässig erkennbar, und es kann verhindert werden, daß die Bewegung eines Hintergrundbildes mit einem sich nähernden Objekt verwechselt wird, wodurch die Genauigkeit der Detektion eines sich nähernden Objekts verbessert wird. Überdies ist aus beweglichen Objekten, die auf der Grundlage eines optischen Flusses erkannt werden sollen, ein sich näherndes Objekt, das für das eigene Fahrzeug 2 gefährlich ist, mit einer einfachen Anordnung erkennbar, und der Rechendurchsatz der ECU 10, der zur Erkennung eines sich nähernden Objekts benötigt wird, ist reduzierbar. Zudem kann die Meldung, die gemäß einer Gefahrenstufe gemacht werden soll, die Sicherheit verbessern.
Obwohl die Beschreibung der ersten bis dritten Ausführungsformen der vorliegenden Erfindung oben gegeben worden ist, sollte verstanden werden, daß die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist, und daß es beabsichtigt wird, alle Änderungen und Modifikationen der Ausführungsformen der Erfindung hierin abzudecken, die keine Abweichungen vom Geist und Rahmen der Erfindung bilden.
Obwohl zum Beispiel in den oben beschriebenen Ausführungsformen die Frontsichtkameras 3, die als Bildaufnahmeeinrichtung dienen, an rechten und linken Endabschnitten eines Frontabschnitts des Fahrzeugs 2 vorgesehen sind, ist es auch akzeptabel, daß die Frontsichtkamera 3 nur an einem von ihnen vorgesehen ist, oder daß die rechts- und linksseitigen Bereiche relativ zum Fahrzeug gleichzeitig aufgenommen werden, indem eine Weitwinkelkamera mit einem weiten Bildaufnahmebereich verwendet wird.
Zusätzlich ist es außerdem geeignet, daß der Bildaufnahmebereich der Frontsichtkamera 3 entsprechend eines Winkels horizontal eingestellt wird, der zwischen einer Bewegungsrichtung des Fahrzeugs 2 und einer Richtung einer Hauptverkehrsader besteht, in die das Fahrzeug 2 versucht weiterzufahren, oder daß der Bildaufnahmebereich der Frontsichtkamera 3 vertikal entsprechend einer Neigung einer Fahrstraße eingestellt wird.
Desweiteren werden in den oben beschriebenen Ausführungsformen die vorbestimmte Geschwindigkeit V₀ und der vorbestimmte Winkel θ₀ gemäß der Größe eines Flußvektors eines beweglichen Objekts beliebig eingestellt, das erkannt werden soll. Unterdessen ist zum Beispiel bezüglich eines beweglichen Objekts, das sich bewegt, während es einen Flußvektor aufweist, dessen Größe größer als der Flußvektor eines Hintergrundabschnitts ist, der sich infolge der Positionsbewegung des Fahrzeugs 2 (Frontsichtkamera 3) entwickelt, selbst wenn die Bewegungsgeschwindigkeit V des Fahrzeugs 2 höher als die vorbestimmte Geschwindigkeit V₀ ist, dessen Erkennung mit der obenerwähnten Anordnung machbar.
Überdies kann in den oben beschriebenen Ausführungsformen das Meldeverfahren der Ausgabeeinheit 13 beliebig fest gelegt werden, und es ist zum Beispiel auch möglich, wenn ein sich näherndes Objekt in einem Bild auf dem Monitor 5 deutlich angezeigt wird, daß ein sich näherndes Objekt in einen vergrößerten Zustand in einem Bild angezeigt wird, oder es ist auch geeignet, daß die Meldung an den Insassen vorgenommen wird, indem eine Bremsvorrichtung des Fahrzeugs 2 in Betrieb genommen wird.
Darüberhinaus ist es auch geeignet, daß mehrere Meldebetriebsarten, die jeweils einem Grad einer Gefahr entsprechen, in einer mehrstufigen Weise umgeschaltet werden. Zum Beispiel wird die Anzahl der Meldebetriebsarten, die auf der Grundlage der Größe und Anzahl der Flußvektoren umgeschaltet werden sollen, die von einem sich nähernden Objekt herrühren, die durch die Einheit 12 zur Detektion eines sich nähernden Objekts detektiert werden, weiter erhöht, so daß die Grade der Möglichkeit der Gefahr des sich dem eigenen Fahrzeug nähernden Objekts in einer mehrstufigen Weise eingestellt werden, die eine feinere Meldung ausführt, wodurch folglich die Sicherheit erhöht und die Zuverlässigkeit einer Vorrichtung selbst verbessert wird, die mit der Entscheidung über eine Gefahr verbunden ist.

Claims

Frontsicht-Überwachungsvorrichtung, die aufweist: eine Bildaufnahmeeinrichtung (3), die an einer Frontpartie eines Fahrzeugs (2) zur Aufnahme eines Seitensichtbildes bezüglich des Fahrzeugs (2) vorgesehen ist; eine Einrichtung (11) zur Berechnung eines optischen Flußvektors auf der Grundlage des Bildes; eine Einrichtung (52) zur Detektion eines sich nähernden Objekts auf der Grundlage eines optischen Flußvektors, der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs (2) in dem Bild aufweist, wobei der Vektor in den optischen Flußvektoren enthalten ist, die durch die Einrichtung (11) zur Berechnung eines optischen Flußvektors berechnet werden, und; eine Meldeeinrichtung (5) zur Anzeige des Bildes und ferner zur Meldung der Tatsache der Detektion des sich nähernden Objekts, dadurch gekennzeichnet, daß sie ferner eine Wenderichtungsdetektionseinrichtung (7) zur Detektion einer Wenderichtung des Fahrzeugs (2) aufweist, wobei die Einrichtung (52) zur Detektion eines sich nähernden Objekts ein sich näherndes Objekt auf der Grundlage eines optischen Flußvektors detektiert, der in einem seitlichen Bereich längs einer Wendeaußenrichtung des Fahrzeugs (2) vorhanden ist, die durch die Wenderichtungsdetektionseinrichtung (7) detektiert wird, und der eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs (2) in dem Bild aufweist, wobei der Vektor in den optischen Flußvektoren enthalten ist, die durch die Einrichtung (11) zur Berechnung eines optischen Flußvektors bei einer Wendung des Fahrzeugs (2) berechnet werden, und die Einrichtung (52) zur Detektion eines sich nähernden Objekts nicht auf einen optischen Flußvektor, der in einem seitlichen Bereich längs einer Wendeinnenrichtung des Fahrzeugs (2) vorhanden ist, die durch die Wenderichtungsdetektionseinrichtung (7) detektiert wird, zur Detektion des sich nähernden Objekts Bezug nimmt.
Frontsicht-Überwachungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Meldeeinrichtung (5) die Umschaltung zwischen mehreren Meldebetriebsarten gemäß der Größe oder Anzahl optischer Flußvektoren vornimmt, die jeweils eine Vektorkomponente längs einer Bewegungsrichtung des Fahrzeugs (2) aufweisen, und die Tatsache der Detektion des sich nähernden Objekts meldet, während sie das Bild anzeigt, wobei der Vektor in der Einrichtung (11) zur Berechnung eines optischen Flußvektors berechnet wird.
Frontsicht-Überwachungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Bildaufnahmeeinrichtung (3) dazu bestimmt ist, Seitensichtbilder des rechtsseitigen Bereichs und linksseitigen Bereichs bezüglich des Fahrzeugs (2) aufzunehmen, die Einrichtung (11) zur Berechnung eines optischen Flußvektors dazu bestimmt ist, einen optischen Flußvektor auf der Grundlage jedes der Seitensichtbilder des rechtsseitigen Bereichs und linksseitigen Bereichs bezüglich des Fahrzeugs (2) zu berechnen, die durch die Bildaufnahmeeinrichtung (3) aufgenommen werden, und die Einrichtung (12) zur Detektion eines sich nähernden Objekts dazu bestimmt ist, das sich nähernde Objekt auf der Grundlage eines optischen Flußvektors, der eine nach rechts gerichtete Vektorkomponente aufweist, wobei der Vektor in den optischen Flußvektoren in dem linksseitigen Bereich enthalten ist, die durch die Einrichtung (11) zur Berechnung eines optischen Flußvektors berechnet werden, und auf der Grundlage eines optischen Flußvektors zu detektieren, der eine nach links gerichtete Vektorkomponente aufweist, wobei der Vektor in den optischen Flußvektoren in dem rechtsseitigen Bereich enthalten ist, die durch die Einrichtung (11) zur Berechnung eines optischen Flußvektors berechnet werden.
Frontsicht-Überwachungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß sie ferner eine Fahrzeuggeschwindigkeitsdetektionseinrichtung (4) zur Detektion einer Geschwindigkeit des Fahrzeugs (2) aufweist, wobei die Einrichtung (12) zur Detektion eines sich nähernden Objekts die Detektion des sich nähernden Objekts aussetzt, wenn die Fahrzeuggeschwindigkeit einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird.
Frontsicht-Überwachungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß sie ferner eine Lenkwinkeldetektionseinrichtung zur Detektion eines Lenkwinkels des Fahrzeugs (2) aufweist, wobei die Einrichtung (12) zur Detektion eines sich nähernden Objekts die Detektion des sich nähernden Objekts aussetzt, wenn der Lenkwinkel einen vorbestimmten Wert überschreitet, der im voraus festgelegt wird.
Frontsicht-Überwachungsvorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß die Meldeeinrichtung (5) die Tatsache der Aussetzung der Detektion des sich nähernden Objekts in der Einrichtung (12) zur Detektion eines sich nähernden Objekts meldet.