[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE112008003486T5 - Bewegungszustand-Schätzvorrichtung - Google Patents

Bewegungszustand-Schätzvorrichtung Download PDF

Info

Publication number
DE112008003486T5
DE112008003486T5 DE112008003486T DE112008003486T DE112008003486T5 DE 112008003486 T5 DE112008003486 T5 DE 112008003486T5 DE 112008003486 T DE112008003486 T DE 112008003486T DE 112008003486 T DE112008003486 T DE 112008003486T DE 112008003486 T5 DE112008003486 T5 DE 112008003486T5
Authority
DE
Germany
Prior art keywords
point
candidate
moving body
identification
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112008003486T
Other languages
English (en)
Other versions
DE112008003486B4 (de
Inventor
Naohide Toyota-shi Uchida
Tatsuya Toyota-shi Shiraishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE112008003486T5 publication Critical patent/DE112008003486T5/de
Application granted granted Critical
Publication of DE112008003486B4 publication Critical patent/DE112008003486B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Bewegungszustand-Schätzvorrichtung mit:
einem Kennzeichnungspunkt-Kandidaten-Extrahierteil, der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bild,
einem Positionsverhältnis-Gewinnungsteil, der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper,
einem Kennzeichnungspunkt-Auswählteil, der eingerichtet ist, um auf Basis des Positionsverhältnisses einen Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auszuwählen,
einem Entsprechungspunkt-Extrahierteil, der eingerichtet ist, um in einem von dem Bildgebungssensor zu einem zweiten Zeitpunkt aufgenommenen Bild einen zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunkt zu extrahieren, und
einem Bewegungszustand-Schätzteil, der eingerichtet ist, um auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes einen Bewegungszustand des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt zu schätzen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Bewegungszustand-Schätzvorrichtung, welche einen Bewegungszustand eines mit einem Bildsensor ausgerüsteten sich bewegenden Körpers auf Basis von von dem Bildgebungssensor aufgenommenen Bildern schätzt.
  • STAND DER TECHNIK
  • Üblicherweise ist eine Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper, welche durch Verwenden einer monokularen Kamera eine Position und eine Orientierung eines Zielfahrzeugs schätzt, bekannt (siehe Patentdokument 1).
  • Diese Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper extrahiert zu einem ersten Zeitpunkt, während sich das Zielfahrzeug bewegt, aus einem von der an das Zielfahrzeug montierten monokularen Kamera aufgenommenen Bild vier oder mehr Kennzeichnungspunkte auf einer Straßenoberfläche. Dann extrahiert die Vorrichtung, während sie die Kennzeichnungspunkte verfolgt, aus einem von der monokularen Kamera zu einem zweiten Zeitpunkt aufgenommenen Bild einen Punkt, welcher zu jedem dieser Kennzeichnungspunkte auf einer Straßenoberfläche korrespondiert. Dann leitet die Vorrichtung auf Basis der zweidimensionalen Koordinaten der Kennzeichnungspunkte und der zweidimensionalen Koordinaten der korrespondierenden Punkte eine Homographie her, so dass die Vorrichtung die relative Abweichung zwischen der Position und der Orientierung der monokularen Kamera zum ersten Zeitpunkt und der Position und der Orientierung der monokularen Kamera zum zweiten Zeitpunkt herleitet.
  • Folglich kann diese Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper die Position und die Orientierung des mit der monokularen Kamera ausgerüsteten Fahrzeugs schätzen.
    • [Patentdokument 1] Japanische Patent-Offenlegungsschrift Nr. 2004-198211 .
  • OFFENBARUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
  • Obwohl Patentdokument 1 beschreibt, dass die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper vier oder mehr Kennzeichnungspunkte aus einer weißen Linie, einer Bodenwelle, einer Höhendifferenz oder einem Muster auf der von der monokularen Kamera aufgenommenen Straßenoberfläche extrahiert, beschreibt dieses jedoch nicht, wie die Kennzeichnungspunkte zu selektieren sind. Demgemäß kann die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper in Bezug auf Distanz oder Richtung vorbelastete Kennzeichnungspunkte extrahieren und somit die Schätzgenauigkeit für die Position und die Orientierung des Zielfahrzeugs reduzieren.
  • Die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper kann ferner einen Punkt auf einem sich bewegenden Körper, wie beispielsweise von der monokularen Kamera aufgenommene andere Fahrzeuge, als einen Kennzeichnungspunkt extrahieren und damit die Schätzgenauigkeit für die Position und die Orientierung des Zielfahrzeugs reduzieren.
  • Im Hinblick auf die oben genannten Probleme ist es ein Ziel der vorliegenden Erfindung, eine Bewegungszustand-Schätzvorrichtung bereitzustellen, welche eine genauere Schätzung eines Bewegungszustands eines sich bewegenden Körpers auf Basis von von einem an dem sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bildern erzielt.
  • PROBLEMLÖSUNGSMITTEL
  • Zum Erreichen des obigen Ziels weist eine Bewegungszustand-Schätzvorrichtung gemäß einer ersten Ausführungsform der Erfindung auf: einen Kennzeichnungspunkt-Kandidaten-Extrahierteil, der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bild, einen Positionsverhältnis-Gewinnungsteil, der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper, einen Kennzeichnungspunkt-Auswählteil, der eingerichtet ist zum auf Basis des Positionsverhältnisses des Kennzeichnungspunkt-Kandidaten Auswählen eines Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt, einen Entsprechungspunkt-Extrahierteil, der eingerichtet ist zum in einem von dem Bildgebungssensor zu einem zweiten Zeitpunkt aufgenommenen Bild Extrahieren eines zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunktes, und einen Bewegungszustand-Schätzteil, der eingerichtet ist zum auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes Schätzen eines Bewegungszustandes des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt.
  • Gemäß einer zweiten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß der ersten Ausführungsform der Erfindung bereitgestellt, wobei das Positionsverhältnis aufweist: eine Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem sich bewegenden Körper, eine wie von dem sich bewegenden Körper aus gesehene Richtung der aktuellen Position des Kennzeichnungspunkt-Kandidaten oder eine Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper.
  • Gemäß einer dritten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß der ersten oder der zweiten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Bestimmen, ob der Kennzeichnungspunkt-Kandidat stationär ist oder nicht, und zum Auswählen des Kennzeichnungspunktes aus stationären Kennzeichnungspunkt-Kandidaten.
  • Gemäß einer vierten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß einer von der ersten, der zweiten und der dritten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass eine Distanzdifferenz zwischen einer aktuellen Position jedes Kennzeichnungspunktes und dem sich bewegenden Körper größer als oder gleich wie ein vorbestimmter Wert ist.
  • Gemäß einer fünften Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß einer von der ersten, der zweiten, der dritten und der vierten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass Winkel zwischen wie von dem sich bewegenden Körper aus gesehenen Richtungen von aktuellen Positionen jedes Kennzeichnungspunktes größer als oder gleich wie ein vorbestimmter Wert sind.
  • Hierin steht „ein Kennzeichnungspunkt” für einen Koordinatenpunkt (ein Pixel) in einem Bild zur Verwendung bei der Erzeugung einer Homographie, das heißt, einen Koordinatenpunkt (ein Pixel), der aus einem Kennzeichnungspunkt-Kandidaten unter bestimmten Bedingungen ausgewählt ist. Beispielsweise definiert das Koordinatensystem ein Pixel an einer unteren linken Ecke eines von einem Bildgebungssensor aufgenommenen Bildes als seinen Ursprung (0, 0), wohingegen es ein Pixel, welches direkt rechts des Ursprungs ist, als die Koordinate (1, 0) und ein Pixel, welches direkt über dem Ursprung ist, als die Koordinate (0, 1) definiert.
  • „Ein Kennzeichnungspunkt-Kandidat” steht für einen Koordinatenpunkt (ein Pixel), welcher ein Kennzeichnungspunkt sein kann, das heißt, ein extrahierbares Pixel aus einem Bild unter bestimmten Bedingungen, zum Beispiel ein Pixel, dessen Luminanzdifferenz in Bezug auf das benachbarte Pixel größer als oder gleich wie ein vorbestimmter Wert ist, oder ein zentrales Pixel einer Pixelgruppe, deren Luminanzmuster mit einem vorbestimmten Luminanzmuster übereinstimmt usw.
  • „Ein Entsprechungspunkt” steht für einen Koordinatenpunkt (ein Pixel) in einem anderen Bild als dem Bild, in welchem der ausgewählte Kennzeichnungspunkt existiert, wobei der Koordinatenpunkt in einem fotographischen Motiv enthalten ist, das durch einen Koordinatenpunkt (ein Pixel) gekennzeichnet ist, der als ein Kennzeichnungspunkt in dem Bild, in dem der ausgewählte Kennzeichnungspunkt existiert, ausgewählt ist. Beispielsweise wird ein Entsprechungspunkt aus dem anderen Bild extrahiert durch Abgleichen eines Luminanzmusters einer Pixelgruppe in dem anderen Bild, in dem der Entsprechungspunkt existiert, mit einem Luminanzmuster einer Pixelgruppe in dem Bild, in dem der ausgewählte Kennzeichnungspunkt existiert, zum Beispiel in dessen Zentrum. Das Luminanzmuster kann ein auf anderen Eigenschaften basierendes Muster sein, wie beispielsweise ein Farbmuster.
  • „Ein Positionsverhältnis” steht für Information bezüglich einer Relativposition zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten, welcher ein Kennzeichnungspunkt sein kann, und einem sich bewegenden Körper, der mit einem Bildgebungssensor ausgerüstet ist, welcher ein Bild aufgenommen hat. Beispielsweise kann die Information enthalten: eine Distanz zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten, welcher ein Kennzeichnungspunkt sein kann, und einem Zielfahrzeug, eine Richtung einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten wie von einem Zielfahrzeug aus gesehen, eine Relativgeschwindigkeit einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf ein Zielfahrzeug usw.
  • WIRKUNG DER ERFINDUNG
  • Gemäß den obigen Mitteln ist es für die vorliegende Erfindung möglich, eine Bewegungszustand-Schätzvorrichtung bereitzustellen, welche eine genauere Schätzung eines Bewegungszustandes eines sich bewegenden Körpers auf Basis von von einem an den sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bildern erzielt.
  • KURZBESCHREIBUNG DER FIGUREN
  • 1 ist ein Diagramm, in dem eine Ausführungsform der Bewegungszustand-Schätzvorrichtung gemäß der vorliegenden Erfindung dargestellt ist.
  • 2A ist eine erste Darstellung eines Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
  • 2B ist eine zweite Darstellung des Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
  • 2C ist eine dritte Darstellung des Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
  • 3 ist ein Ablaufdiagramm, in dem ein Ablauf eines Bewegungszustand-Schätzverfahrens dargestellt ist.
  • 1
    Steuervorrichtung
    2
    Bildgebungssensor
    3
    Distanzmesssensor
    4
    Fahrzeuggeschwindigkeitssensor
    5
    Lenkwinkelsensor
    6
    Anzeigevorrichtung
    7
    Audioausgabevorrichtung
    10
    Kennzeichnungspunkt-Kandidaten-Extrahierteil
    11
    Positionsverhältnis-Gewinnungsteil
    12
    Kennzeichnungspunkt-Auswählteil
    13
    Entsprechungspunkt-Extrahierteil
    14
    Bewegungszustand-Schätzteil
    100
    Bewegungszustand-Schätzvorrichtung
    D1–D3
    räumliche Distanz
    α, β
    Winkel zwischen aktuellen Positionen
    P1
    erster Kennzeichnungspunkt
    P2
    zweiter Kennzeichnungspunkt
    P3
    dritter Kennzeichnungspunkt
    V1
    Zielfahrzeug
    V2
    geparktes Fahrzeug
    V3
    sich bewegendes Fahrzeug
  • BESTE ART ZUM AUSFÜHREN DER ERFINDUNG
  • Unter Bezugnahme auf die Figuren wird nachstehend die Beschreibung der besten Art zum Ausführen der vorliegenden Erfindung gegeben.
  • [Ausführungsformen]
  • 1 ist ein Diagramm, in dem eine Ausführungsform der Bewegungszustand-Schätzvorrichtung gemäß der vorliegenden Erfindung dargestellt ist. Die Bewegungszustand-Schätzvorrichtung 100 ist eine fahrzeugeigene Vorrichtung, welche einen Bewegungszustand, wie beispielsweise eine Translation oder eine Rotation eines Fahrzeugs, schätzt. Die Bewegungszustand-Schätzvorrichtung 100 weist eine Steuervorrichtung 1 auf, welche über ein Fahrzeug-LAN, wie beispielsweise CAN (Gesteuertes-Feldbus-Netzwerk) oder andere, mit einem Bildgebungssensor 2, einem Distanzmesssensor 3, einen Fahrzeuggeschwindigkeitssensor 4, einem Lenkwinkelsensor 5, einer Anzeigevorrichtung 6 und einer Audioausgabevorrichtung 7 verbunden ist.
  • Die Steuervorrichtung 1 ist ein Computer, welcher eine CPU (zentrale Verarbeitungseinheit), ein RAM (Direktzugriffspeicher), ein ROM (Nur-Lese-Speicher) usw. aufweist. Beispielsweise können Programme, die einem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10, einem Positionsverhältnis-Gewinnungsteil 11, einem Kennzeichnungspunkt-Auswählteil 12, einem Entsprechungspunkt-Extrahierteil 13 und einem Bewegungszustand-Schätzteil 14 entsprechen, jeweils in dem ROM gespeichert sein und die CPU führt ein jedem Teil entsprechendes Verfahren aus.
  • Der Bildgebungssensor 2 ist ein Sensor zum Aufnehmen eines Bildes rund um ein Fahrzeug. Beispielsweise kann der Bildgebungssensor 2 eine Kamera mit einer Bildabtastvorrichtung sein, wie beispielsweise einem CCD (ladungsgekoppeltes Bauelement), einem CMOS (Komplementär-Metalloxid-Halbleiter) oder anderen. Der Bildgebungssensor 2 kann ferner eine nachtfotographietaugliche Infrarotkamera oder eine Stereokamera sein, die in der Lage ist, eine Distanz zu einem fotographischen Motiv zu messen.
  • Gemäß einem Beispiel kann der Bildgebungssensor 2 in der Nähe eines Rückspiegels in einem Fahrzeuginneren und mit fester Bildgebungsrichtung platziert sein und gibt an die Steuervorrichtung 1 mit einem vorgegebenen Zeitintervall aufgenommene Bilder aus.
  • Der Distanzmesssensor 3 ist ein Sensor zum Gewinnen von Information bezüglich einer Relativposition zwischen einem Objekt rund um ein Zielfahrzeug und dem Zielfahrzeug. Beispielsweise kann der Distanzmesssensor 3 ein Millimeterwellensensor, ein Radar-Laser-Sensor, ein Ultraschallsensor oder ein anderer Sensor sein, welcher fest in der Nähe eines Frontgrills oder eines vorderen Stoßfängers des Zielfahrzeugs montiert sein kann. Der Distanzmesssensor 3 emittiert eine Radiowelle, Licht oder eine Ultraschallwelle in Richtung zur Umgebung des Zielfahrzeugs hin, berechnet die Distanz zwischen einem Objekt rund um das Zielfahrzeug und dem Zielfahrzeug oder die Relativgeschwindigkeit des Objektes rund um das Zielfahrzeug auf Basis der Zeit zum Empfang von dessen Reflexionswelle oder der auf dem Doppler-Effekt basierenden Frequenzdifferenz der Reflexionswelle und gibt dann den berechneten Wert an die Steuervorrichtung 1 aus.
  • Der Fahrzeuggeschwindigkeitssensor 4 ist ein Sensor zum Messen einer Geschwindigkeit eines Zielfahrzeugs. Beispielsweise kann der Fahrzeuggeschwindigkeitssensor 4 die Variation in einem Magnetfeld, das durch einen an jedem Rad des Zielfahrzeugs angebrachten und damit rotierenden Magneten erzeugt wird, mittels eines MR-(Magnetwiderstand)Elements als magnetischen Widerstand auslesen. Dann erfasst der Fahrzeuggeschwindigkeitssensor 4 den magnetischen Widerstand als ein Impulssignal, das proportional zur Drehzahl jedes Rades ist, so dass er die Drehzahl jedes Rades und damit die Geschwindigkeit des Fahrzeugs erfasst, und gibt dann den erfassten Wert an die Steuervorrichtung 1 aus.
  • Der Lenkwinkelsensor 5 ist ein Sensor zum Messen eines Drehwinkels einer Lenkwelle bezogen auf einen Lenkwinkel eines Rades des Zielfahrzeugs. Beispielsweise kann der Lenkwinkelsensor 5 mittels eines MR-Elementes einen magnetischen Widerstand eines in die Lenkwelle eingebetteten Magneten auslesen, einen Drehwinkel der Lenkwelle erfassen und dann den erfassten Wert an die Steuervorrichtung 1 ausgeben.
  • Die Anzeigevorrichtung 6 ist eine Vorrichtung zum Anzeigen einer Vielzahl von Informationen. Beispielsweise kann die Anzeigevorrichtung 6 eine Flüssigkristallanzeige sein, welche von dem Bildgebungssensor 2 aufgenommene Bilder oder eine Vielzahl von Textnachrichten anzeigt.
  • Die Audioausgabevorrichtung 7 ist eine Vorrichtung zur Audioausgabe einer Vielzahl von Informationen. Beispielsweise kann die Audioausgabevorrichtung 7 ein fahrzeugeigener Lautsprecher sein, welcher einen akustischen Alarm oder eine Audiounterstützung audiomäßig ausgibt.
  • Das Nächste ist eine Erläuterung jedes Teils in der Steuervorrichtung 1.
  • Der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 ist ein Teil zum Extrahieren von Kennzeichnungspunkt-Kandidaten. Gemäß einem Beispiel kann der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 eine Bildverarbeitungstechnik, wie beispielsweise eine Graustufenverarbeitung, eine Digitalisierungsverarbeitung, eine Kantenerkennungsverarbeitung usw. auf ein von dem Bildgebungssensor 2 aufgenommenes Bild einer Ansicht rund um ein Zielfahrzeug anwenden und dann Kennzeichnungspunkt-Kandidaten extrahieren.
  • Gemäß einem Beispiel kann der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 beispielsweise ein Pixel, dessen Luminanzdifferenz in Bezug auf ein benachbartes Pixel größer als oder gleich wie ein vorbestimmter Wert ist, oder ein zentrales Pixel einer Pixelgruppe, deren Luminanzmuster mit einem vorbestimmten Luminanzmuster übereinstimmt, usw. als einen Kennzeichnungspunkt-Kandidaten extrahieren und dann die Position (Koordinatenwert) des Kennzeichnungspunkt-Kandidaten (das heißt des extrahierten Pixels) in dem RAM speichern.
  • Der Positionsverhältnis-Gewinnungsteil 11 ist ein Teil zum Gewinnen eines relativen Positionsverhältnisses zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten und einer aktuellen Position des Zielfahrzeugs. Gemäß einem Beispiel erlangt der Positionsverhältnis-Gewinnungsteil 11 auf Basis einer Ausgabe des Distanzmesssensors 3 eine Distanz zwischen einer aktuellen Position eines von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 extrahierten Kennzeichnungspunkt-Kandidaten und dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) (nachstehend „eine räumliche Distanz” genannt), eine wie von dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) gesehene von einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) definierte Richtung (nachstehend „eine aktuelle Richtung” genannt), eine Geschwindigkeit einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) (nachstehend „eine Relativgeschwindigkeit” genannt) oder anderes.
  • Der Positionsverhältnis-Gewinnungsteil 11 speichert die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit, die für jeden Kennzeichnungspunkt-Kandidaten erlangt wurden, in dem RAM in Relation zu dem von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 gespeicherten Koordinatenwert jedes Kennzeichnungspunkt-Kandidaten.
  • Der Kennzeichnungspunkt-Auswählteil 12 ist ein Teil zum Auswählen eines Kennzeichnungspunktes aus (einem) Kennzeichnungspunkt-Kandidaten. Gemäß einem Beispiel schließt auf Basis der durch den Positionsverhältnis-Gewinnungsteil 11 erlangten Relativgeschwindigkeit der aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) der Kennzeichnungspunkt-Auswählteil 12 einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper (zum Beispiel einem Fußgänger oder einem sich bewegenden Fahrzeug usw.) befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus und wählt einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem stationären Körper (zum Beispiel einer Straßenkennzeichnung, einem Verkehrszeichen, einer Leitplanke, einer Verkehrsampel oder einem geparkten Fahrzeug usw.) befindet, als einen in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus.
  • Der Grund dafür besteht darin, dass das Auswählen eines Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten es schwierig macht, die Verlagerung des Kennzeichnungspunktes von der Verlagerung des Zielfahrzeugs zu unterscheiden, was die Schätzgenauigkeit für den Bewegungszustand des Zielfahrzeugs reduzieren würde.
  • Auf Basis der räumlichen Distanz, welche zum Beispiel die Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) ist, wählt der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen räumliche Distanz die kleinste unter den Kennzeichnungspunkt-Kandidaten ist, als einen ersten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten aus. Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 als den ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten auswählen, dessen räumliche Distanz die größte unter den Kennzeichnungspunkt-Kandidaten ist.
  • Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 auf Basis der aktuellen Richtung, welche die wie vom Distanzmesssensor 3 (das heißt dem Zielfahrzeug) gesehene von der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) definierte Richtung ist, als den ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten auswählen, dessen aktuelle Richtung in Bezug auf eine vorbestimmte Richtung die nächste an einem vorbestimmten Winkel ist und größer als oder gleich wie der vorbestimmte Winkel (zum Beispiel 0 Grad wie in dem Fall, in dem der Winkel beginnend in einer Vorwärtsrichtung des Zielfahrzeugs als 0 Grad im Uhrzeigersinn zunimmt) ist.
  • Auf Basis der räumlichen Distanz des ersten Kennzeichnungspunktes und der räumlichen Distanzen anderer Kennzeichnungspunkt-Kandidaten wählt der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen Differenz zwischen seiner räumlichen Distanz und der räumlichen Distanz des ersten Kennzeichnungspunktes die kleinste unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie ein vorbestimmter Wert ist, als einen zweiten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten aus.
  • Der Kennzeichnungspunkt-Auswählteil 12 setzt die Auswahl von Kennzeichnungspunkten, wie beispielsweise einem dritten Kennzeichnungspunkt, einem vierten Kennzeichnungspunkt, einem fünften Kennzeichnungspunkt usw., fort, bis der Kennzeichnungspunkt-Auswählteil 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Erzeugen einer Homographie auswählt.
  • Auf Basis der aktuellen Richtung des ersten Kennzeichnungspunktes und der aktuellen Richtung anderer Kennzeichnungspunkt-Kandidaten kann der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen Winkel zwischen seiner aktuellen Richtung und der aktuellen Richtung des ersten Kennzeichnungspunktes die kleinste unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie ein vorbestimmter Wert ist, als den zweiten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten auswählen.
  • In der gleichen Weise, in der der Kennzeichnungspunkt-Auswählteil 12 den zweiten Kennzeichnungspunkt auswählt, wählt der Kennzeichnungspunkt-Auswählteil 12 gleichfalls den dritten Kennzeichnungspunkt, den vierten Kennzeichnungspunkt, den fünften Kennzeichnungspunkt usw. aus und setzt die Auswahl der Kennzeichnungspunkte fort, bis der Kennzeichnungspunkt-Auswählteil 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Erzeugen einer Homographie auswählt.
  • Der Kennzeichnungspunkt-Auswählteil 12 kann als einen Kennzeichnungspunkt einen Kennzeichnungspunkt-Kandidaten auswählen, für den sowohl seine räumliche Distanz als auch seine aktuelle Richtung die jeweiligen vorbestimmten Bedingungen erfüllen. Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 das von dem Bildgebungssensor 2 aufgenommene Bild in eine Mehrzahl von kleinen Abschnitten unterteilen und in jedem kleinen Abschnitt eine vorbestimmte Anzahl von Kennzeichnungspunkten aus Kennzeichnungspunkt-Kandidaten auswählen.
  • Die 2A, 2B und 2C sind jeweils eine Darstellung eines Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten. 2A erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten (”X”-Markierungen in 2A) an anderen Fahrzeugen V2 und V3 extrahiert, die Relativgeschwindigkeit der aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf das Zielfahrzeug V1 erlangt und, während sie den Kennzeichnungspunkt-Kandidaten C1 des sich bewegenden Fahrzeugs V3 als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten ausschließt, den Kennzeichnungspunkt-Kandidaten C2 des geparkten Fahrzeugs V2 als den in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten auswählt.
  • 2B erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten (”X”-Markierungen in 2B) an Leitplanken extrahiert, die räumlichen Distanzen zwischen dem Zielfahrzeug V1 und jedem Kennzeichnungspunkt-Kandidaten erlangt, als den ersten Kennzeichnungspunkt P1 den Kennzeichnungspunkt-Kandidaten auswählt, dessen räumliche Distanz die kleinste unter den Kennzeichnungspunkt-Kandidaten ist, und dann den zweiten Kennzeichnungspunkt P2 so auswählt, dass die Differenz zwischen der räumlichen Distanz D1 des ersten Kennzeichnungspunktes P1 und der räumlichen Distanz D2 des zweiten Kennzeichnungspunktes P2 größer als oder gleich wie ein vorbestimmter Wert ist, und den dritten Kennzeichnungspunkt P3 so auswählt, dass die Differenz zwischen der räumlichen Distanz D2 des zweiten Kennzeichnungspunktes P2 und der räumlichen Distanz D3 des dritten Kennzeichnungspunktes P3 größer als oder gleich wie der vorbestimmte Wert ist. Es wird angenommen, dass der vierte Kennzeichnungspunkt (in 2B nicht gezeigt) oder spätere in gleicher Weise ausgewählt werden.
  • 2C erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten (”X”-Markierungen in 2C) auf Straßenkennzeichnungen (Fahrspurlinien) extrahiert, die aktuelle Richtung jedes Kennzeichnungspunkt-Kandidaten (das heißt die wie von dem Zielfahrzeug V1 aus gesehene durch eine aktuelle Position des Kennzeichnungspunkt-Kandidaten in Bezug auf das Zielfahrzeug V1 definierte Richtung) erlangt, als den ersten Kennzeichnungspunkt P1 den Kennzeichnungspunkt-Kandidaten auswählt, dessen aktuelle Richtung relativ zu einer Vorwärtsrichtung des Zielfahrzeugs die nächste zu 0 Grad unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie 0 Grad ist, und dann den zweiten Kennzeichnungspunkt P2 so auswählt, dass der Winkel α zwischen der aktuellen Richtung des ersten Kennzeichnungspunktes P1 und der aktuellen Richtung des zweiten Kennzeichnungspunktes P2 größer als oder gleich wie ein vorbestimmter Wert ist, und den dritten Kennzeichnungspunkt P3 so auswählt, dass der Winkel β zwischen der aktuellen Richtung des zweiten Kennzeichnungspunktes P2 und der aktuellen Richtung des dritten Kennzeichnungspunktes P3 größer als oder gleich wie ein vorbestimmter Wert ist. Es wird angenommen, dass der vierte Kennzeichnungspunkt (in 2C nicht gezeigt) oder spätere auf gleiche Weise ausgewählt werden.
  • Der Kennzeichnungspunkt-Auswählteil 12 wählt eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Berechnen einer Homographie aus. Der Kennzeichnungspunkt-Auswählteil 12 speichert für jeden Kennzeichnungspunkt das Luminanzmuster der Pixelgruppe (5×5 Pixel zum Beispiel), in welcher der Kennzeichnungspunkt existiert, in dem RAM, so dass wie hierin nachstehend beschrieben werden wird der Entsprechungspunkt-Extrahierteil 13 durch Verwendung eines Musterabgleichverfahrens einen zu dem Kennzeichnungspunkt korrespondierenden Punkt aus einem späteren Bild extrahieren kann.
  • Der Entsprechungspunkt-Extrahierteil 13 ist ein Teil zum Extrahieren eines Entsprechungspunktes. Gemäß einem Beispiel extrahiert der Entsprechungspunkt-Extrahierteil 13, durch Verwenden eines Musterabgleichverfahrens, mittels Abgleichens eines Luminanzmusters in dem späteren Bild (hierin nachstehend „das zweite Bild” genannt, wobei das zweite Bild ein Bild ist, das von dem Bildgebungssensor 2 aufgenommen wurde, nachdem ein vorbestimmtes Zeitintervall seitdem das erste Bild aufgenommen wurde vergangen ist), welches sich von dem Bild unterscheidet, das von dem Bildgebungssensor 2 aufgenommen wurde und das von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 zum Extrahieren der Kennzeichnungspunkt-Kandidaten verwendet wurde (hierein nachstehend „das erste Bild” genannt), wobei das auf den Kennzeichnungspunkt bezogene Luminanzmuster durch den Kennzeichnungspunkt-Auswählteil 12 in dem RAM gespeichert wurde, einen Entsprechungspunkt für jeden von dem Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunkt.
  • Gemäß einem Beispiel kann der Entsprechungspunkt-Extrahierteil 13 den Bereich in dem Bild, welcher dem Musterabgleichverfahren zu unterziehen ist, beschränken, beispielsweise durch grobes Abschätzen eines Bewegungszustandes des Fahrzeugs auf Basis der Ausgaben des Fahrzeuggeschwindigkeitssensors 4 und des Lenkwinkelsensors 5. Dies dient der Verbesserung der Effizienz des Musterabgleichverfahrens.
  • Der Entsprechungspunkt-Extrahierteil 13 extrahiert einen Entsprechungspunkt (ein Entsprechungspunkt korrespondiert zu einem Kennzeichnungspunkt und wird hierin „ein primärer Entsprechungspunkt” genannt, um ihn von einem später genannten sekundären Entsprechungspunkt zu unterscheiden), und der Entsprechungspunkt-Extrahierteil 13 speichert das Luminanzmuster der Pixelgruppe (5×5 Pixel zum Beispiel), in welcher der primäre Entsprechungspunkt existiert, in dem RAM, so dass der Entsprechungspunkt-Extrahierteil 13 durch Verwendung eines Musterabgleichverfahrens einen nachfolgenden Entsprechungspunkt (den sekundären Entsprechungspunkt), welcher zu dem primären Entsprechungspunkt korrespondiert, aus noch einem späteren Bild extrahieren kann.
  • Durch der Reihe nach Verfolgen eines Kennzeichnungspunktes gemäß einer Reihenfolge von zum Beispiel einem Kennzeichnungspunkt, einem primären Entsprechungspunkt, einem sekundären Entsprechungspunkt, einem tertiären Entsprechungspunkt usw. kann die Bewegungszustand-Schätzvorrichtung 100 beginnend zu der Zeit, zu der die Bewegungszustand-Schätzvorrichtung 100 das für die Auswahl des Kennzeichnungspunktes verwendete Bild erlangt, kontinuierlich den Bewegungszustand des Zielfahrzeugs schätzen.
  • Der Bewegungszustand-Schätzteil 14 ist ein Teil zum Schätzen eines Bewegungszustandes eines Zielfahrzeugs. Gemäß einem Beispiel erzeugt der Bewegungszustand-Schätzteil 14 durch Verwenden der zweidimensionalen Koordinate des durch den Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunktes und der zweidimensionalen Koordinate des durch den Entsprechungspunkt-Extrahierteil 13 extrahierten Entsprechungspunktes eine Homographie. Der Bewegungszustand-Schätzteil 14 schätzt eine von dem Zielfahrzeug während einer Zeitspanne von dem Zeitpunkt, zu dem der Bildgebungssensor 2 das erste Bild aufgenommen hat, das von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 für die Extraktion des Kennzeichnungspunktes verwendet wurde, bis zu dem Zeitpunkt, zu dem der Bildgebungssensor 2 das zweite Bild aufgenommen hat, das von dem Entsprechungspunkt-Extrahierteil 13 für die Extraktion des Entsprechungspunktes verwendet wurde, durchgeführte Translation oder Rotation.
  • Durch Initiieren einer Schätzung eines Bewegungszustandes eines Zielfahrzeugs, wenn die Steuervorrichtung 1 auf Basis einer Ausgabe des Distanzmesssensors 3 ein Hindernis (zum Beispiel einen Bordstein, eine Betonblockwand oder anderes) innerhalb eines vorbestimmten Bereichs von dem Zielfahrzeug aus erfasst, kann die Steuervorrichtung 1, sogar wenn das Hindernis von dem Bildbereich des Bildgebungssensors 2 abweicht, wenn das Zielfahrzeug nach links oder nach rechts schwenkt, auf Basis des geschätzten Bewegungszustandes des Zielfahrzeugs beispielsweise bestimmen, ob es eine Möglichkeit gibt, dass das Zielfahrzeug in Kontakt mit dem Hindernis kommen kann.
  • Falls die Steuervorrichtung 1 bestimmt, dass es eine hohe Wahrscheinlichkeit gibt, dass das Zielfahrzeug mit einem Hindernis in Kontakt kommen wird, fordert die Steuervorrichtung 1 die Aufmerksamkeit eines Fahrers an, indem sie bewirkt, dass die Anzeigevorrichtung 6 eine Warnnachricht anzeigt, oder indem sie bewirkt, dass die Audioausgabevorrichtung 7 einen Warnton ausgibt.
  • Auf Basis des geschätzten Bewegungszustandes des Zielfahrzeuges kann die Steuervorrichtung 1 bewirken, dass die Anzeigevorrichtung 6 ein Quasi-Bild anzeigt, welches das Positionsverhältnis zwischen dem Zielfahrzeug und dem Hindernis repräsentiert, und kann das Fahren des Zielfahrzeugs unterstützen, so dass ein Kontakt mit dem Hindernis vermieden wird.
  • Unter Bezugnahme auf 3 wird das Verfahren, mittels dessen die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Zielfahrzeugs schätzt (hierin nachstehend „das Bewegungszustand-Schätzverfahren” genannt) detailliert erläutert. 3 ist ein Ablaufdiagramm, in dem der Ablauf des Bewegungszustand-Schätzverfahrens erläutert wird. Die Steuervorrichtung 1 der Bewegungszustand-Schätzvorrichtung 100 führt das Bewegungszustand-Schätzverfahren wiederholt aus, beispielsweise nachdem der Blinker betätigt wurde, bis das Fahrzeug die Links/Rechts-Kurve vollendet.
  • Alternativ kann die Bewegungszustand-Schätzvorrichtung 100 das Bewegungszustand-Schätzverfahren wiederholt in einem Fall ausführen, in dem die Bewegungszustand-Schätzvorrichtung 100 die Situation erfasst, dass es eine hohe Wahrscheinlichkeit gibt, dass das Zielfahrzeug in Kontakt mit einem Hindernis kommen kann, wie beispielsweise wenn die Geschwindigkeit des Zielfahrzeugs geringer als ein vorbestimmter Wert ist oder wenn die Schaltposition auf eine ”R(Rückwärtsgang)”-Position eingestellt ist oder anderes.
  • Zuerst erlangt die Steuervorrichtung 1 die von dem Bildgebungssensor 2 zu einem Zeitpunkt T1 aufgenommenen Bilddaten (Schritt S1) und wendet dann durch Verwenden des Kennzeichnungspunkt-Kandidaten-Extrahierteils 10 eine Bildverarbeitung auf die Bilddaten an, so dass Kennzeichnungspunkt-Kandidaten extrahiert werden, wobei ein extrahiertes Pixel eines ist, dessen Luminanzdifferenz in Bezug auf ein benachbartes Pixel größer als oder gleich wie ein vorbestimmter Wert ist (Schritt S2).
  • Als Nächstes erlangt die Steuervorrichtung 1 durch Verwenden des Positionsverhältnis-Gewinnungsteils 11 und basierend auf dem Ausgabewert des Distanzmesssensors 3 das Positionsverhältnis zwischen der aktuellen Position jedes Kennzeichnungspunkt-Kandidaten und der Position des Distanzmesssensors 3 (Schritt S3). Die Steuervorrichtung 1 speichert das Positionsverhältnis (das heißt die Relativgeschwindigkeit, die räumliche Distanz und die aktuelle Richtung) jedes Kennzeichnungspunkt-Kandidaten in Relation zu dem Koordinatenwert des Kennzeichnungspunkt-Kandidaten in dem RAM.
  • Als Nächstes bestimmt die Steuervorrichtung 1 durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 und basierend auf der durch den Positionsverhältnis-Gewinnungsteil 11 erlangten aktuellen Position des Kennzeichnungspunkt-Kandidaten, der durch den Fahrzeuggeschwindigkeitssensor 4 ausgegebenen Geschwindigkeit des Zielfahrzeugs und dem durch den Lenkwinkelsensor 5 ausgegebenen Lenkwinkel (Fahrrichtung) des Zielfahrzeugs für jeden Kennzeichnungspunkt-Kandidaten, ob die aktuelle Position des Kennzeichnungspunkt-Kandidaten stationär bleibt oder in Bewegung ist. Durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 schließt die Steuervorrichtung 1 einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus, wohingegen sie einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem stationären Körper befindet, als einen in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten beibehält (Schritt S4).
  • Als Nächstes wählt die Steuervorrichtung 1 durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 als einen ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten aus, dessen räumliche Distanz die kleinste unter den durch den Positionsverhältnis-Gewinnungsteil 11 erlangten räumlichen Distanzen der Kennzeichnungspunkt-Kandidaten ist (Schritt S5).
  • Als Nächstes wählt die Steuervorrichtung 1, nach Setzen der räumlichen Distanz der aktuellen Position des ersten Kennzeichnungspunktes als Basis, durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 der Reihe nach andere Kennzeichnungspunkte aus, so dass die Differenz zwischen jeder räumlichen Distanz größer als oder gleich wie ein vorbestimmter Wert ist (Schritt S6).
  • Die Steuervorrichtung 1 wählt durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Berechnen einer Homographie aus und speichert für jeden ausgewählten Kennzeichnungspunkt das Luminanzmuster der Pixelgruppe (5×5 Pixel zum Beispiel), in der der Kennzeichnungspunkt existiert, in dem RAM ab, so dass ein Entsprechungspunkt, welcher zu dem Kennzeichnungspunkt korrespondiert, aus einem nachfolgend aufgenommenen Bild extrahiert werden kann (Schritt S7).
  • Als Nächstes erlangt die Steuervorrichtung 1 von dem Bildgebungssensor 2 zu einem Zeitpunkt T2 (der Zeitpunkt T2 ist später als der Zeitpunkt T1) aufgenommene Bilddaten (Schritt S8). Dann wendet die Steuervorrichtung 1 durch Verwenden des Entsprechungspunkt-Extrahierteils 13 die gleiche Bildverarbeitung wie in Schritt S1 auf die zum Zeitpunkt T2 aufgenommenen Bilddaten an und beschränkt in Bezug auf das für jeden Kennzeichnungspunkt gespeicherte Luminanzmuster und auf Basis der Ausgaben des Fahrzeuggeschwindigkeitssensors 4 und des Lenkwinkelsensors 5 den Bereich in dem Bild, welcher einem Musterabgleichverfahren zu unterziehen ist (Schritt S9). Dies dient zum Verbessern der Effizienz des Musterabgleichverfahrens. Zusätzlich kann der Entsprechungspunkt-Extrahierteil 13 den Bereich in dem Bild, welcher dem Musterabgleichverfahren zu unterziehen ist, auf Basis der Koordinate jedes Kennzeichnungspunktes beschränken oder kann das Musterabgleichverfahren ohne Beschränkung des Bereichs in dem Bild durchführen.
  • Als Nächstes führt die Steuervorrichtung 1 durch Verwenden des Entsprechungspunkt-Extrahierteils 13 und mittels Abgleichens des Luminanzmusters in dem beschränkten Bereich mit dem jeweiligen Luminanzmuster des Kennzeichnungspunktes das Musterabgleichverfahren für jeden beschränkten Bereich des Bildes durch und extrahiert das zentrale Pixel des übereinstimmenden Luminanzmusters als den Punkt, welcher zu dem Kennzeichnungspunkt korrespondiert (das heißt den „Entsprechungspunkt”) (Schritt S10).
  • Als Letztes berechnet die Steuervorrichtung 1 durch Verwenden des Bewegungszustand-Schätzteils 14 und auf Basis der zweidimensionalen Koordinate des jeweiligen durch den Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunktes und der zweidimensionalen Koordinate des jeweiligen durch den Entsprechungspunkt-Extrahierteil 13 extrahierten Entsprechungspunktes eine Homographie. Dann schätzt die Steuervorrichtung 1 den Zustand von von dem Zielfahrzeug zwischen dem Zeitpunkt T1 und dem Zeitpunkt T2 durchgeführter Translation und Rotation (Schritt S11). Dann beendet die Steuervorrichtung 1 dieses Bewegungszustand-Schätzverfahren.
  • Auf diese Weise wählt die Bewegungszustand-Schätzvorrichtung 100, während sie die Ausgabe des Bildgebungssensors 2 und die Ausgabe des Distanzmesssensors 3 kombiniert, Kennzeichnungspunkte aus, deren aktuelle Positionen in Bezug auf Distanz und Richtung nicht vorbelastet sind, und berechnet eine Homographie, die auf den Koordinaten jener Kennzeichnungspunkte und den Koordinaten der Entsprechungspunkte, welche zu diesen Kennzeichnungspunkten korrespondieren, basiert. Somit kann die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Bildgebungssensors 2 und daher den Bewegungszustand des Zielfahrzeugs mit hohem Genauigkeitsgrad schätzen.
  • Dies ist deshalb so, weil, wenn es eine Vorbelastung in den aktuellen Positionen der Kennzeichnungspunkte gibt, die Bewegungszustand-Schätzvorrichtung 100 leicht durch Störungen beeinflusst wird, welche beim Auswählen jener Kennzeichnungspunkte eingemischt werden und welche von der Vibration des Zielfahrzeugs oder des fotographischen Motivs, dem Fehler in der Bildverarbeitung oder anderem resultieren, und weil die Bewegungszustand-Schätzvorrichtung 100 den Effekt jener Störungen durch Verteilen der aktuellen Positionen der Kennzeichnungspunkte in Bezug auf Distanz und Richtung lindern kann.
  • [Zusätzliche Erklärung]
  • Obwohl die vorliegende Erfindung im Obigen unter Bezugnahme auf bevorzugte Ausführungsformen beschrieben wurde, ist die vorliegende Erfindung nicht derart zu beschränken, und die oben beschriebenen Ausführungsformen können diversen Modifikationen und Substitutionen unterliegen, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
  • Bei den obigen Ausführungsformen kann beispielsweise, obwohl die Bewegungszustand-Schätzvorrichtung die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten auf Basis der Ausgabe des Distanzmesssensors 3 erlangt, die Bewegungszustand-Schätzvorrichtung 100 die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten auf Basis der Ausgabe einer Stereokamera erlangen, die in der Lage ist, eine Distanz zu einem fotographischen Motiv zu messen. In solch einem Fall kann die Bewegungszustand-Schätzvorrichtung 100 den Distanzmesssensor 3 weglassen.
  • Zusätzlich kann bei den obigen Ausführungsformen, obwohl die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Fahrzeugs schätzt, diese den Bewegungszustand anderer sich bewegender Körper schätzen, wie beispielsweise eines Industrieroboters, eines Schiffes, eines Motorrades, eines Flugzeuges usw. In solch einem Fall kann die Bewegungszustand-Schätzvorrichtung 100 zusätzlich zum Bewegungszustand in der ebenen Fläche von vorne nach hinten und von Seite zu Seite den Bewegungszustand in vertikaler Richtung schätzen.
  • Ferner kann bei den obigen Ausführungsformen, obwohl der Entsprechungspunkt-Extrahierteil 13 das Musterabgleichverfahren zum Extrahieren des Punktes, welcher zu dem Kennzeichnungspunkt korrespondiert (das heißt dem „Entsprechungspunkt”), der Entsprechungspunkt-Extrahierteil jede andere Technik verwenden, sofern sie den Entsprechungspunkt extrahieren kann. Beispielsweise kann der Entsprechungspunkt-Extrahierteil 13 den Entsprechungspunkt mit einer Optischer-Fluss-Technik extrahieren.
  • Die vorliegende Anmeldung beansprucht die Priorität aus der am 25. Dezember 2007 eingereichten japanischen Patentanmeldung Nr. 2007-332275 , welche durch Bezugnahme hierin aufgenommen wird.
  • ZUSAMMENFASSUNG
  • Bewegungszustand-Schätzvorrichtung (100) mit einem Kennzeichnungspunkt-Kandidaten-Extrahierteil (10), der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor (2) aufgenommenen Bild, einem Positionsverhältnis-Gewinnungsteil (11), der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper, einem Kennzeichnungspunkt-Auswählteil (12), der eingerichtet ist zum Auswählen eines Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auf Basis des Positionsverhältnisses des Kennzeichnungspunkt-Kandidaten, einem Entsprechungspunkt-Extrahierteil (13), der eingerichtet ist zum in einem von dem Bildgebungssensor (2) zu einem zweiten Zeitpunkt aufgenommenen Bild Extrahieren eines zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunktes, und einem Bewegungszustand-Schätzteil, der eingerichtet ist zum auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes Schätzen eines Bewegungszustandes des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 2004-198211 [0004]
    • - JP 2007-332275 [0076]

Claims (5)

  1. Bewegungszustand-Schätzvorrichtung mit: einem Kennzeichnungspunkt-Kandidaten-Extrahierteil, der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bild, einem Positionsverhältnis-Gewinnungsteil, der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper, einem Kennzeichnungspunkt-Auswählteil, der eingerichtet ist, um auf Basis des Positionsverhältnisses einen Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auszuwählen, einem Entsprechungspunkt-Extrahierteil, der eingerichtet ist, um in einem von dem Bildgebungssensor zu einem zweiten Zeitpunkt aufgenommenen Bild einen zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunkt zu extrahieren, und einem Bewegungszustand-Schätzteil, der eingerichtet ist, um auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes einen Bewegungszustand des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt zu schätzen.
  2. Bewegungszustand-Schätzvorrichtung gemäß Anspruch 1, wobei das Positionsverhältnis eine Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem sich bewegenden Körper, eine wie von dem sich bewegenden Körper aus gesehene Richtung der aktuellen Position des Kennzeichnungspunkt-Kandidaten oder eine Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper aufweist.
  3. Bewegungszustand-Schätzvorrichtung gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Bestimmen, ob der Kennzeichnungspunkt-Kandidat stationär ist oder nicht, und zum Auswählen des Kennzeichnungspunktes aus stationären Kennzeichnungspunkt-Kandidaten.
  4. Bewegungszustand-Schätzvorrichtung gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass eine Distanzdifferenz zwischen einer aktuellen Position jedes Kennzeichnungspunktes und dem sich bewegenden Körper größer als oder gleich wie ein vorbestimmter Wert ist.
  5. Bewegungszustand-Schätzvorrichtung gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass Winkel zwischen wie von dem sich bewegenden Körper aus gesehenen Richtungen von aktuellen Positionen jedes Kennzeichnungspunktes größer als oder gleich wie ein vorbestimmter Wert sind.
DE112008003486.9T 2007-12-25 2008-12-24 Bewegungszustand-Schätzvorrichtung Expired - Fee Related DE112008003486B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007332275A JP4337929B2 (ja) 2007-12-25 2007-12-25 移動状態推定装置
JP2007-332275 2007-12-25
PCT/JP2008/073375 WO2009081920A1 (ja) 2007-12-25 2008-12-24 移動状態推定装置

Publications (2)

Publication Number Publication Date
DE112008003486T5 true DE112008003486T5 (de) 2010-12-30
DE112008003486B4 DE112008003486B4 (de) 2017-06-22

Family

ID=40801220

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112008004291.8T Active DE112008004291B4 (de) 2007-12-25 2008-12-24 Bewegungszustand-Schätzvorrichtung
DE112008003486.9T Expired - Fee Related DE112008003486B4 (de) 2007-12-25 2008-12-24 Bewegungszustand-Schätzvorrichtung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE112008004291.8T Active DE112008004291B4 (de) 2007-12-25 2008-12-24 Bewegungszustand-Schätzvorrichtung

Country Status (5)

Country Link
US (1) US8559674B2 (de)
JP (1) JP4337929B2 (de)
CN (1) CN101910781B (de)
DE (2) DE112008004291B4 (de)
WO (1) WO2009081920A1 (de)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691281B2 (en) * 2010-03-24 2017-06-27 Telenav, Inc. Navigation system with image assisted navigation mechanism and method of operation thereof
JP5182594B2 (ja) * 2010-03-31 2013-04-17 アイシン・エィ・ダブリュ株式会社 画像処理システム
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US9020187B2 (en) 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
DE102011109491A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
JP5727356B2 (ja) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 物体検知装置
EP2701093B1 (de) * 2012-08-20 2016-06-22 Honda Research Institute Europe GmbH Abtastsystem und Verfahren zur Erkennung sich bewegender Objekte
US9227563B2 (en) * 2012-09-14 2016-01-05 Bendix Commercial Vehicle Systems Llc Backward movement indicator apparatus for a vehicle
WO2014101219A1 (zh) * 2012-12-31 2014-07-03 青岛海信信芯科技有限公司 一种动作识别方法及电视机
JP6683605B2 (ja) * 2013-10-07 2020-04-22 アップル インコーポレイテッドApple Inc. 車両の少なくとも1つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6234349B2 (ja) 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9802539B2 (en) 2015-04-01 2017-10-31 Robert Bosch Gmbh Distance and direction estimation of a target point from a vehicle using monocular video camera
US10241581B2 (en) 2015-04-30 2019-03-26 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN105004336A (zh) * 2015-07-10 2015-10-28 中国科学院深圳先进技术研究院 一种机器人的定位方法
JP2017034444A (ja) 2015-07-31 2017-02-09 オリンパス株式会社 撮像装置および撮像方法
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105353379B (zh) * 2015-11-30 2017-10-20 燕山大学 一种多移动体的防碰撞测距权利分配方法
JP6564713B2 (ja) 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
KR102528004B1 (ko) * 2016-07-25 2023-05-02 현대모비스 주식회사 어라운드 뷰 생성 장치 및 그 방법
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
WO2020137313A1 (ja) * 2018-12-28 2020-07-02 パナソニックIpマネジメント株式会社 位置測定装置
US10949886B2 (en) * 2019-03-12 2021-03-16 Xevo Inc. System and method for providing content to a user based on a predicted route identified from audio or images
JP7227112B2 (ja) * 2019-09-27 2023-02-21 日立Astemo株式会社 物体検出装置、走行制御システム、および走行制御方法
US12020457B2 (en) * 2021-11-26 2024-06-25 Toyota Jidosha Kabushiki Kaisha Vehicle imaging system and vehicle imaging method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007332275A (ja) 2006-06-15 2007-12-27 Dainippon Printing Co Ltd 液晶組成物、カラーフィルタおよび液晶表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP3784761B2 (ja) * 2002-09-24 2006-06-14 日信工業株式会社 車両用前後加速度センサの異常判定装置
JP2006350897A (ja) * 2005-06-20 2006-12-28 Toyota Central Res & Dev Lab Inc 運動計測装置
JP4670709B2 (ja) * 2006-03-31 2011-04-13 株式会社デンソー 車両用衝突検知システム
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2007332275A (ja) 2006-06-15 2007-12-27 Dainippon Printing Co Ltd 液晶組成物、カラーフィルタおよび液晶表示装置

Also Published As

Publication number Publication date
US8559674B2 (en) 2013-10-15
US20100226544A1 (en) 2010-09-09
DE112008004291B4 (de) 2023-12-07
CN101910781A (zh) 2010-12-08
CN101910781B (zh) 2012-02-22
DE112008003486B4 (de) 2017-06-22
JP4337929B2 (ja) 2009-09-30
JP2009156611A (ja) 2009-07-16
WO2009081920A1 (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
DE112008003486B4 (de) Bewegungszustand-Schätzvorrichtung
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102015105248B4 (de) Verfahren und System zum Erzeugen eines Bildes der Umgebung eines Gelenkfahrzeugs
DE102005026875B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
DE112009001727B4 (de) Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses
DE112014006255B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
DE102016210254A9 (de) Fahrzeugortung an kreuzungen anhand von visuellen anhaltspunkte, stationären objekten und durch gps
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE10108646A1 (de) Gefahrenentscheidungsvorrichtung für ein Kraftfahrzeug und Umgebungsüberwachungsvorrichtung für dasselbe
DE102007011616A1 (de) Fahrzeugumgebung-Überwachungsgerät
EP2478510A1 (de) Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102012112104A1 (de) Verfahren und vorrichtung zur befahrbarkeitsanalyse
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
DE102015115012A1 (de) Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102012221563A1 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
DE102019104352A1 (de) Kupplungsunterstützungssystem mit schätzung der anhängerhöhe und identifizierung des kupplungskopplers
DE112015002593T5 (de) Fahrzeugmontierte bildverarbeitungsvorrichtung
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
DE102017128531A1 (de) Displayeinrichtung für ein Fahrzeug
EP1944212B1 (de) Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8125 Change of the main classification

Ipc: G06T 7/20 AFI20081224BHDE

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R008 Case pending at federal patent court
R082 Change of representative

Representative=s name: WINTER, BRANDL - PARTNERSCHAFT MBB, PATENTANWA, DE

Representative=s name: WINTER, BRANDL, FUERNISS, HUEBNER, ROESS, KAIS, DE

R019 Grant decision by federal patent court
R130 Divisional application to

Ref document number: 112008004291

Country of ref document: DE

R020 Patent grant now final
R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee