DE69624614T2

DE69624614T2 - Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung

Info

Publication number: DE69624614T2
Application number: DE69624614T
Authority: DE
Inventors: Katsumasa Onda
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1995-04-21
Filing date: 1996-04-11
Publication date: 2003-07-03
Anticipated expiration: 2016-04-12
Also published as: US6125198A; EP0738872A2; EP0738872B1; JP3539788B2; JPH08294143A; US5867591A; DE69624614D1; CA2174590C; EP0738872A3; CA2174590A1

Description

Diese Erfindung bezieht sich allgemein auf ein Verfahren zum Abgleichen von Stereobildern und ein Verfahren zum Feststellen einer Disparität zwischen diesen Bildern, welches hauptsächlich auf dem industriellen Feld von Stereokameras zum Feststellen einer Positionsinformation im Bildaufnahmeraum basierend auf Stereobildern, einer Volumenkompression aller Stereobilder (d. h. dreidimensionalen Videobilder), Anzeigesteuerung dieser Stereobilder und für die Extraktion des optischen Flusses von Bewegtbildern und so weiter verwendet wird.
Allgemein bekannte herkömmliche Verfahren zum Abgleichen von Stereobildern und Feststellen einer Disparität zwischen diesen Bildern werden im folgenden mit Verweis auf eine sogenannten Stereobildmeßtechnologie erläutert, bei der die Positions- oder Distanzinformation im Bildaufnahmeraum erhalten werden kann, indem der Abgleich zwischen zwei Bildern (Stereobildern) durchgeführt und eine Disparität zwischen diesen Bildern festgestellt wird.
Die europäische Patentanmeldung Nr. EP 0686942 offenbart ein Verfahren zum Stereoabgleichen und Bestimmen der Disparität von Stereobildern mit einem möglichst geringen Umfang an Berechnungen und ein Verfahren zum Messen der Disparität, das einen Abgleichfehler absorbieren kann, der auftreten kann, worin zwei rechte und linke Bilder durch zwei Abbildungsvorrichtungen in der Abbildungsphase erhalten werden.
Fig. 1 ist eine Ansicht, die das Prinzip einer typischen Stereobildmessung veranschaulicht. In Fig. 1 repräsentiert eine dreidimensionale Koordinate, die allgemein durch Variablen x, y und z definiert ist, den realen Raum. Eine zweidimensionale Koordinate, die allgemein durch Variablen X und Y definiert ist, repräsentiert die Bildebene (d. h. eine Bildaufnahmeebene einer Kamera). Vorgesehen ist ein Paar zweidimensionaler Koordinaten für ein Paar Kameras 23R und 23L. Eine Position auf der Bildebene der rechten Kamera 23R kann durch Variablen XR und YR auf einer zweidimensionalen Koordinate ausgedrückt werden. Eine Position auf der Bildebene der linken Kamera 23L kann durch Variablen XL und YL auf der anderen zweidimensionalen Koordinate ausgedrückt werden.
Achsen XL und XR sind zur Achse x parallel, während Achsen YL und YR zur Achse y parallel sind. Eine Achse z ist parallel zu den optischen Achsen der beiden Kameras 23R und 23L. Der Ursprung der Koordinate (x, y, z) im realen Raum fällt mit einem Mittelpunkt zwischen den Projektionszentren der rechten und linken Kamera 23R und 23L zusammen. Auf die Distanz zwischen den Projektionszentren wird im allgemeinen als eine durch 2a bezeichnete Basislänge verwiesen. Eine durch f bezeichnete Distanz ist eine Fokaldistanz zwischen jedem Projektionszentrum und dessen Bildebene.
Nun wird angenommen, dass ein Punkt p im realen Raum bei einem PR(XR, YR) auf der rechten Bildebene und zur gleichen Zeit einen Punkt PL (XL, YL) auf der linken Bildebene projiziert wird. Gemäß der Stereobildmessung werden PR und PL auf jeweiligen Bildebenen (durch Durchführen des Abgleichs von Stereobildern) bestimmt, und die Koordinate (x, y, z) im realen Raum, die den Punkt p repräsentiert, wird auf der Basis des Prinzips der trigonometrischen Vermessung erhalten.
YR und YL haben in diesem Fall identische Werte, weil zwei optische Achsen der Kameras 23R und 23L auf der gleichen Ebene vorhanden sind und die X-Achsen der Kameras 23R und 23L zur Achse x parallel sind. Die Beziehung zwischen den Koordinatenwerten XR, YR, XR, YR und den Koordinatenwerten x, y, z im realen Raum wird durch die folgende Gleichung ausgedrückt.
oder
wo d die Disparität (zwischen Stereobildern) repräsentiert.
d = XL-XR (Gl. 3)
Da "a" ein positiver Wert ist (a > 0), wird aus der obigen Gleichung 2 die folgende Beziehung abgeleitet
XL > XR und YL = YR (Gl. 4)
Aus der oben angegebenen Beziehung versteht man, dass ein spezifischer Punkt auf einer Bildebene einen Abgleichpunkt auf der anderen Bildebene entlang der gleichen Scanlinie hat, die als epipolare Linie innerhalb des durch XL > XR definierten Bereichs dient. Dementsprechend kann der Abgleichpunkt entsprechend einem spezifischen Punkt einer Bildebene auf der anderen Bildebene gefunden werden, indem die Ähnlichkeit von Bildern in jeder Mikrofläche entlang der Linie mit der Möglichkeit, den Abgleichpunkt festzustellen, geprüft wird.
Einige Verfahren zur Auswertung der Ähnlichkeit werden im folgenden erläutert. Fig. 2 zeigt ein herkömmliches Verfahren zum Feststellen eines Wertes der gegenseitigen Korrelation zwischen zwei Bildern, das beispielsweise in "Image Processing Handbook" (Shokodo Publishing Co. Ltd) von Morio ONOUE et al. offenbart ist.
Zunächst wird einem Pixel 2403, das irgendwo auf dem linken Bild 2401 vorhanden ist, eine Bezeichnung gegeben. Als nächstes wird ein zu diesem Pixel 2403 passendes Pixel entlang der Ebene des rechten Bildes 2402 gefunden. Mit anderen Worten wird der Abgleichpunkt bestimmt. Konkreter wird eine quadratische Mikrofläche 2404 (auf die im folgenden als Mikrofläche verwiesen wird) auf dem linken Bild 2401 so festgelegt, dass sie eine Größe hat, die n x m Pixeln entspricht, die ausreichen, um das bezeichnete Pixel 2403 bei ihrer Mitte einzubeziehen. Nun wird angenommen, dass IL(i, j) die Helligkeit jedes Punktes (Pixel) innerhalb der Mikrofläche 2404 repräsentiert.
Auf der anderen Seite wird eine quadratische Mikrofläche 2405 auf dem rechten Bild 2402 als eine Mikrofläche bezeichnet, deren Mitte auf einem die Bedingung von Gleichung 4 erfüllenden Pixel liegt. Die Mikrofläche 2405 hat eine n · m Pixel entsprechende Größe. Es wird angenommen, dass IR(i, j) die Helligkeit jedes Punktes (Pixel) innerhalb der Mikrofläche 2405 repräsentiert.
Überdies wird angenommen, dass uL, uR, σR2 und σR2 Durchschnitte und Varianzen der Helligkeit in den Mikroflächen 2404 und 2405 repräsentieren. Der Wert einer gegenseitigen Korrelation dieser Mikroflächen kann durch die folgende Gleichung gegeben sein.
Der Wert "c", der durch die Gleichung 5 definiert ist, wird entlang der geraden Linie (epipolaren Linie) mit der Möglichkeit, einen passenden bzw. Abgleichpunkt festzustellen, berechnet. Der Punkt, an dem der Wert "c" maximiert ist, wird dann als der festzustellende passende bzw. Abgleichpunkt identifiziert. Gemäß diesem Verfahren wird es möglich, den Abgleichpunkt mit der einem Pixel identischen Größe zu bestimmen. Falls der Abgleichpunkt einmal gefunden ist, kann die Disparität "d" unter Verwendung der Gleichung 3 basierend auf den Koordinatenwerten sofort erhalten werden, die einen so gefundenen Abgleichpunkt repräsentieren.
Dieses herkömmliche Verfahren ist jedoch insofern nachteilig, als ein großer Umfang an Berechnungen erforderlich sein wird, um alle Abgleichpunkte erforderlicher Pixel vollständig zu erhalten, da sogar eine Einzelsuche zum Finden nur eines Abgleichpunktes eine bestimmten Pixel erfordert, dass die oben beschriebenen komplizierten Berechnungen bezüglich des gesamten Bereichs mit der Möglichkeit, den Abgleichpunkt festzustellen, wiederholt durchgeführt werden.
Die Berechnungen, um die Korrelation zu erhalten, können durch Reduzieren der Größe der Mikrofläche beschleunigt werden, obgleich die Stabilität in der Feststellung des Abgleichpunktes aufgrund einer Erhöhung einer Bildverzerrung und von Rauschen verschlechtert werden wird. Im Gegensatz dazu erhöht ein Vergrößern der Größe der Mikrofläche nicht nur die Berechnungszeit, sondern verschlechtert die Genauigkeit in der Feststellung eines Abgleichpunktes wegen der Änderung von Korrelationswerten, die in unerwünschter Weise moderiert werden. Somit ist es erforderlich, die Größe der Mikrofläche angemessen festzulegen, indem die Eigenschaften des zu bearbeitenden Bildes berücksichtigt werden.
Wie aus Gleichung 3 ersichtlich ist, liegen ferner die Charakteristiken des oben beschriebenen herkömmlichen Verfahrens darin, dass die Bestimmung der Disparität direkt das Ergebnis eines Stereobild-Abgleichs widerspiegelt. Ein etwaiger fehlerhafter Abgleich wird daher einen Fehler in der Messung der Disparität "d" bewirken. Kurz gesagt führt ein Fehler im Abgleich von Stereobildern zu einem Fehler in der Disparitätsmessung.
Auf diese Weise ist das Verfahren zum Bestimmen eines Abgleichpunktes bezüglich jedes Pixel insofern nachteilig, als der Berechnungsumfang riesig wird. Um dieses Problem zu lösen, ist eine der vorgeschlagenen Technologien ein Verfahren zum Teilen oder Zerlegen des Bildes in mehrere Blöcke, die jeweils eine vorbestimmte Größe haben, und Bestimmen des Abgleichsbereichs basierend auf den zerlegten Blöcken. Beispielsweise offenbart "Driving Aid System based on Three-Dimensional Image Recognition Technology" von Jitsuyoshi et al., in the Pre-publishing 924, Seiten 169-172 des Automotive Vehicle Technical Institute Scientific Lecture Meeting, im Oktober 1992, solch ein Verfahren zum Suchen des Abgleichsbereichs basierend auf dem Vergleich zwischen den Blöcken rechter und linker Bilder.
Fig. 3 ist eine Ansicht, die das herkömmliche Verfahren zum Durchführen des Abgleichs von Stereobildern zwischen quadratischen Mikroflächen (Blöcken) veranschaulicht. Das linke Bild 2501, das als ein Referenzbild dient, wird in mehrere Blöcke so zerlegt, dass jeder Block (2503) eine n · m Pixel äquivalente Größe hat. Um die Disparität zu erhalten, wird jeder Abgleichbereich bezüglich jedes Blocks auf dem linken Bild 2501 entlang der Ebene des rechten Bildes abgesucht. Folgende Gleichung ist eine Ähnlichkeitsauswertung, die zum Bestimmen des Abgleichbereichs verwendet wird.
C = Σ Li - Ri (Gl. 6)
worin Li eine Luminanz des i-ten Pixels im linken Block 2503 repräsentiert, während Ri eine Luminanz des i-ten Pixels im rechten Block 2504 repräsentiert.
Diese Auswertung ist nicht so kompliziert, wenn sie mit der Berechnung von Gleichung 5 verglichen wird, welche die Berechnungen zum Subtrahieren der Durchschnittswerte einschließt. Der Umfang der Hardware ist wegen für die Auswertung einer zweidimensionalen Ähnlichkeit verwendeter Zeilenspeicher jedoch noch groß. Überdies wird die erforderliche Gesamtverarbeitungszeit aufgrund zu vieler Zugriffe auf die Speicher ziemlich lang sein.
Eine Verwendung des Luminanzwertes für die Ähnlichkeitsauswertung wird außerdem die Hardwarekosten erhöhen, weil die Vorverarbeitung zusätzlich erforderlich ist, um die Empfindlichkeitsdifferenz zwischen rechter und linker Kamera einzustellen und die Schattierungskorrektur vor Ausführen einer Verarbeitung zum Abgleichen von Stereobildern durchzuführen.
Eine im Bildaufnahmeraum existierende gerade Linie kann als in ihren Gradienten verschiedene gerade Linien 2603 und 2604 in Blöcken 2605 und 2606 des rechten und linken Bildes 2601 und 2602 abgebildet werden, wie in Fig. 4 gezeigt ist. In einem solchen Fall kann eine genaue Bestimmung der Abgleichbereiche scheitern.
Im Gegensatz dazu können zwei verschiedene Linien als identische Linien in Blöcken 2703 und 2704 auf dem linken und rechten Bild 2701 und 2702 wie in Fig. 5 gezeigt abgebildet werden. Daher wird ein Vergleichen der Pixel zwischen nur zwei Blöcken 2703 und 2704 ein Problem hervorrufen, dass der Abgleich von Stereobildern fehlerhaft durchgeführt werden kann und die nachfolgende Messung einer Disparität scheitern wird.
Gemäß den oben beschriebenen Disparitätsmessverfahren ist die Einheit zum Messen jeder Disparität mindestens ein Pixel wegen Bilddaten digitaler Daten, die mit einer bestimmten Frequenz abgetastet werden. Es ist jedoch möglich, die Messung einer Disparität genauer durchzuführen.
Fig. 6 ist eine Ansicht, die ein herkömmliches Disparitätsmessverfahren veranschaulicht, das im Stande ist, eine Disparität in einer Genauigkeit auf der Ebene von Subpixel festzustellen. Fig. 6 zeigt eine Spitzenposition, die im Ähnlichkeitsauswertungswert C (Ordinate) gefunden wurde, wenn die Gleichung 6 entlang dem Suchbereich in jedem Block berechnet wird.
Die Messung der Disparität auf der Ebene von Subpixel wird durchgeführt, indem Ähnlichkeitsauswertungen Ci, Ci - 1, Ci + 1 entsprechend bestimmten Disparitäten di, di - 1, di + 1 (im Inkrement eines Pixel) verwendet werden, die vor und nach der Spitzenposition existieren. Konkreter wird eine erste gerade Linie 2801 als eine Linie erhalten, die beide Punkte (d1 - 1, Ci - 1) und (di, Ci) kreuzt. Eine zweite gerade Linie 2802 wird als eine Linie erhalten, die einen Punkt (di + 1, Ci + 1)kreuzt und einen zur Linie 2801 symmetrischen Gradienten aufweist (d. h. im Absolutwert identisch ist, aber mit entgegengesetztem Vorzeichen). Ein Punkt 2803 wird dann als ein Schnittpunkt von zwei geraden Linien 2801 und 2802 erhalten. Eine einem so erhaltenen Schnittpunkt 2803 entsprechende Disparität ds wird schließlich als eine Disparität auf der Ebene von Subpixel im betreffenden Block erhalten.
Wie aus der vorhergehenden Beschreibung ersichtlich ist, leiden die oben beschriebenen herkömmlichen Stereobild-Abgleichsverfahren und Verfahren zum Feststellen von Disparitäten allgemein an einer Erhöhung der Hardwarekosten und Verlängerung der Verarbeitungszeit aufgrund von arithmetischen Berechnungen mit vier Regeln (engl. four rules' artithmeic calculations) der Gleichungen 5 und 6, die für die Ähnlichkeitsauswertung im Stereobild-Abgleich erforderlich sind.
Eine Durchführung der Ähnlichkeitsauswertung basierend auf zweidimensionalen Feldern verlangt überdies notwendigerweise das Vorsehen von Zeilenspeichern als Hardware, was möglicherweise häufige Zugriffe auf die Speicher erfordert, was eine weitere Erhöhung der Hardwarekosten und Verlängerung der Verarbeitungszeit zur Folge hat.
Ferner erhöht eine Ausnutzung des Vergleichs einer Luminanzdifferenz zwischen rechtem und linkem Bild sicher noch die Hardwarekosten wegen der Addition von Vorverarbeitungskomponenten, die bei der Einstellung der Empfindlichkeit und Schattierungskorrektur zwischen rechter und linker Kamera verwendet werden, die vor Ausführen des Stereobild- Abgleichs durchgeführt werden.
Eine Verwendung eines einzigen Blocks als die Einheit zum Bestimmen der Disparität, der eine identische Größe wie ein zweidimensionales Fenster hat, das als die Einheit für den Abgleich dient, wird ferner noch ein Problem hervorrufen, dass ein in der Abgleichphase basierend auf dem zweidimensionalen Fenster auftretender etwaiger Fehler direkt einen nachteiligen Effekt auf die Feststellung einer Disparität des entsprechenden Blocks zur Folge haben wird. Kurz gesagt gibt es kein Mittel, um den Fehler, der in der Abgleichphase auftritt, zu absorbieren oder zu korrigieren.
Eine Bestimmung jedes Abgleichbereichs unter Verwendung nur der Pixel, die in einem Block vorhanden sind (= zweidimensionales Fenster), wird überdies wahrscheinlich das Scheitern bei der Feststellung eines wahren Abgleichbereichs zur Folge haben.
Dementsprechend ist im Hinblick auf die oben beschriebenen Probleme, auf die man im Stand der Technik trifft, eine Hauptaufgabe der vorliegenden Erfindung, ein Verfahren zum Abgleichen von Stereobildern und zum Feststellen einer Disparität zwischen diesen Bildern mit einem geringen Umfang an Berechnungen, kompaktem Hardwareaufbau, schneller Verarbeitung, hoher Zuverlässigkeit und ausgezeichneter Genauigkeit zu schaffen.
Um diese und andere verwandte Aufgaben zu lösen, sieht ein erster Gesichtspunkt der vorliegenden Erfindung ein neuartiges und ausgezeichnetes Verfahren zum Abgleichen von Stereobildern vor, das die Schritte aufweist, bei denen: ein erstes und zweites Bild (IL und IR) eingegeben werden; die Bilder IL und IR in mehrere Frequenzkomponentenbilder FL1, FL2, FL3, ----, FLk, FLk + 1, ----, FLn bzw. mehrere Frequenzkomponentenbilder FR1, FR2, FR3, ---, FRk, FRk + 1, FRn entwickelt werden; eine sekundäre differentielle Verarbeitung auf jedes der Frequenzkomponentenbilder angewendet wird; jedes Frequenzkomponentenbild nach Anwenden der sekundären differentiellen Verarbeitung Pixel für Pixel in ternäre Werte umgewandelt wird, wodurch ternärwertige Frequenzkomponentenbilder TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn und ternärwertige Frequenzkomponentenbilder TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn erhalten werden; und eine Abgleichoperation zwischen dem ersten und zweiten Bild auf der Basis der ternärwertigen Frequenzkomponentenbilder durchgeführt wird.
Ein zweiter Gesichtspunkt der vorliegenden Erfindung sieht ein Verfahren zum Abgleichen von Stereobildern vor, das die Schritte aufweist, bei denen: ein erstes und zweites Bild IL und IR eingegeben werden; die Bilder IL und IR in mehrere Frequenzkomponentenbilder FL1, FL2, FL3, ---, FLk, FLk + 1, ---, FLn bzw. mehrere Frequenzkomponentenbilder FR1, FR2, FR3, ---, FRk, FR + 1, ---, FRn entwickelt werden; eine sekundäre differentielle Verarbeitung auf jedes der Frequenzkomponentenbilder angewendet wird; jedes Frequenzkomponentenbild, nachdem die sekundäre differentielle Verarbeitung angewendet ist, Pixel für Pixel in ternäre Werte umgewandelt wird, indem eine positive Schwelle TH1 (> 0) und eine negative Schwelle TH2(< 0) auf solche Weise verwendet werden, dass ein Pixel, das größer als TH1 ist, als "p" bezeichnet wird, ein Pixel in einem Bereich zwischen TH1 und TH2 als "z" bezeichnet wird, und ein kleineres Pixel als TH2 als "m" bezeichnet wird, wodurch ternärwertige Frequenzkomponentenbilder TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn und ternärwertige Frequenzkomponentenbilder TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn erhalten werden; und eine Abgleichoperation zwischen dem ersten und zweiten Bild auf der Basis der ternärwertigen Frequenzkomponentenbilder durchgeführt wird.
Ein dritter Gesichtspunkt der vorliegenden Erfindung liefert ein Verfahren zum Abgleichen von Stereobildern, das die Schritte aufweist, bei denen: ein erstes und zweites Bild IL und IR eingegebenen werden; die Bilder IL und IR in mehrere Frequenzkomponentenbilder FL1, FL2, FL3, ---, FLk, FLk + 1, ---, FLn bzw. mehrere Frequenzkomponentenbilder FR1, FR2, FR3, ---, FRk, FRk + 1, ---, FRn entwickelt werden; eine sekundäre differentielle Verarbeitung auf jedes der Frequenzkomponentenbilder angewendet wird; jedes Frequenzkomponentenbild, nachdem die sekundäre differentielle Verarbeitung angewendet ist, Pixel für Pixel auf solche Weise in ternäre Werte umgewandelt wird, dass ein nicht auf einen Nulldurchgangspunkt bezogenes Pixel als "z" bezeichnet wird, ein auf einen Nulldurchgangspunkt bezogenes und einen positiven Gradienten aufweisendes Pixel als "p" bezeichnet wird, und ein einen Nulldurchgangspunkt bezogenes und einen negativen Gradienten aufweisendes Pixel als "m" bezeichnet wird, wodurch ternärwertige Frequenzkomponentenbilder TL1, TL2, TL3, ---TLk, TLk + 1, ---, TLn und ternärwertige Frequenzkomponentenbilder TR1, TR2, TR3, ,---, TRk, TRk + 1, ---, TRn erhalten werden; und eine Abgleichoperation zwischen dem ersten und zweiten Bild basierend auf den ternärwertigen Frequenzkomponentenbildern durchgeführt wird.
Ein vierter Gesichtspunkt der vorliegenden Erfindung liefert ein Verfahren zum Abgleichen von Stereobildern, das die Schritte aufweist, bei denen: ein erstes und zweites Bild IL und IR eingegebenen werden; die Bilder IL und IR in mehrere Frequenzkomponentenbilder FL1, FL2, FL3, ---, FLk, FLk + 1, ---, FLn bzw. mehrere Frequenzkomponentenbilder FR1, FR2, FR3, ---, FRk, FRk + 1, ---, FRn umgewandelt werden; eine sekundäre differentielle Verarbeitung auf jedes der Frequenzkomponentenbilder angewendet wird; jedes Niederfrequenzkomponentenbild der Frequenzkomponentenbilder, nachdem die sekundäre differentielle Verarbeitung angewendet ist, Pixel für Pixel in ternäre Werte umgewandelt wird, indem eine positive Schwelle TH1 (> 0) und eine negative Schwelle TH2 (< 0) auf solche Weise verwendet werden, dass ein größeres Pixel als TH1 als "p" bezeichnet wird, ein Pixel in einem Bereich zwischen TH1 und TH2 als "z" bezeichnet wird und ein kleineres Pixel als TH2 als "m" bezeichnet wird, und jedes Hochfrequenzkomponentenbild der Frequenzkomponentenbilder, nachdem die sekundäre differentielle Verarbeitung angewendet ist, Pixel für Pixel auf solche Weise in ternäre Werte umgewandelt wird, dass ein nicht auf einen Nulldurchgangspunkt bezogenes Pixel als "z" bezeichnet wird, ein auf einen Nulldurchgangspunkt bezogenes und einen positiven Gradienten aufweisendes Pixel als "p" bezeichnet wird und ein auf einen Nulldurchgangspunkt bezogenes und einen negativen Gradienten aufweisendes Pixel als "m" bezeichnet wird, wodurch ternärwertige Frequenzkomponentenbilder TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn und ternärwertige Frequenzkomponentenbilder TR1, TR2, TR3,,---, TRk, TRk + 1, ---, TRn erhalten werden; und eine Abgleichoperation zwischen dem ersten und zweiten Bild basierend auf den ternärwertigen Frequenzkomponentenbildern durchgeführt wird.
Gemäß den Merkmalen bevorzugter Ausführungsformen der vorliegenden Erfindung wird das erste Bild IL als ein Referenzbild für die Abgleichoperation bezeichnet, wird ein eindimensionales Fenster, das N Pixel darin umschließen kann, auf dem ternärwertigen Frequenzkomponentenbild des ersten Bildes IL festgelegt und wird ein Abgleichbereich mit dem gleichen Ternärwertmuster wie die N Pixel in dem eindimensionalen Fenster aus dem ternärwertigen Frequenzkomponentenbild des zweiten Bildes IR gesucht.
Gemäß den Merkmalen der bevorzugten Ausführungsformen der vorliegenden Erfindung wird eines der ersten und zweiten Bilder IL und IR als Referenzbild für die Abgleichoperation bezeichnet, werden mehrere eindimensionale Fenster auf der gesamten Oberfläche des ternärwertigen Frequenzkomponentenbildes des Referenzbildes durch eine Scanoperation entlang einer epipolaren Linie festgelegt, so dass die eindimensionalen Fenster in den gleichen Intervallen N/2 sukzessiv überlappt sind, wenn jedes der eindimensionalen Fenster eine N Pixel äquivalente Größe hat, und die Abgleichoperation wird bezüglich jedes der eindimensionalen Fenster ausgeführt.
Gemäß den Merkmalen der bevorzugten Ausführungsformen der vorliegenden Erfindung werden Pixel in einem eindimensionalen Fenster eines ternärwertigen Frequenzkomponentenbildes TLk des ersten Bildes IL 1 : 1 mit Pixel in einem bezeichneten Bereich eines ternärwertigen Frequenzkomponentenbildes TRk des zweiten Bildes IR verglichen, wenn die ternärwertigen Frequenzkomponentenbilder TLk und TRk in ihren Frequenzkomponenten identisch sind, wobei ein Auswertungsergebnis "P" erhalten wird, wenn entsprechende zwei Pixel beide "p" oder "m" sind, während ein Auswertungsergebnis "Z" erhalten wird, wenn die entsprechenden zwei Pixel beide "z" sind, und eine Ähnlichkeit zwischen zwei ternärwertigen Frequenzkomponentenbilder TRk und TLk wird durch Verwenden der folgenden Gleichung ausgewertet.
Eall = Σβk(PN)k + Σγk(ZN)k
worin n PN die gesamte Zahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, ZN die Gesamtzahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren.
Gemäß den Merkmalen der bevorzugten Ausführungsformen der vorliegenden Erfindung werden Pixel in einem eindimensionalen Fenster eines ternärwertigen Frequenzkomponentenbildes TLk des ersten Bildes IL 1 : 1 mit Pixel in einem bezeichneten Bereich eines ternärwertigen Frequenzkomponentenbildes TRk des zweiten Bildes IR verglichen, wenn die ternärwertigen Frequenzkomponentenbilder TLk und TRk in ihren Frequenzkomponenten identisch sind, worin ein Auswertungsergebnis "P" erhalten wird, wenn entsprechende zwei Pixel beide "p" oder "m" sind, während ein Auswertungsergebnis "Z" erhalten wird, wenn die entsprechenden zwei Pixel beide "z" sind, und eine Ähnlichkeit zwischen zwei ternärwertigen Frequenzkomponentenbildern TLk und TRk wird durch Verwenden der folgenden Gleichung ausgewertet:
Eall = Σβk(PN)k + Σγk(ZN)k
worin PN eine Gesamtzahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, ZN eine Gesamtzahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren, und ein Abgleichergebnis in der Abgleichoperation wird nur validiert, wenn Σβk(PN)k größer als eine vorbestimmte Schwelle TH3(> 0) ist.
Ein fünfter Gesichtspunkt der vorliegenden Erfindung schafft ferner ein neuartiges und ausgezeichnetes Verfahren zum Feststellen einer Disparität zwischen Stereobildern mit den Schritten, bei denen: Pixel in einem Mikrobereich, der durch ein auf einem Referenzbild festgelegtes eindimensionales Fenster definiert ist, mit Pixel in einem bezeichneten Mikrobereich auf einem Nicht-Referenzbild verglichen werden; und eine Ähnlichkeit zwischen zwei Mikrobereichen wird unter Verwendung der folgenden Gleichung ausgewertet:
Eall = Σβk(PN)k + Σγk(ZN)k
worin PN eine Gesamtzahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, während ZN eine Gesamtzahl Pixel mit einem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren; ein erster Bereich mit einer höchsten Ähnlichkeit und zweiter Bereich mit einer zweithöchsten Ähnlichkeit gesucht werden; eine erste Kandidatendisparität als eine Disparität entsprechend dem ersten Bereich und eine zweite Kandidatendisparität als eine dem zweiten Bereich entsprechende Disparität spezifiziert werden; und eine gültige Disparität zwischen den Stereobildern auf der Basis der ersten und zweiten Kandidatendisparitäten bestimmt wird.
Ein sechster Gesichtspunkt der vorliegenden Erfindung liefert überdies ein Verfahren zum Feststellen einer Disparität zwischen Stereobildern, das die Schritte aufweist, bei denen: jedes von ersten und zweiten Bildern IL und IR in mehrere Blöcke geteilt wird, die jeweils eine Größe M · L Pixel aufweisen; ternärwertige Frequenzkomponentenbilder der Bilder IL und IR abgeglichen werden; Pixel in einem Mikrobereich, der durch ein auf dem ersten Bild IL festgelegtes eindimensionales Fenster definiert ist, mit Pixel in einem bezeichneten Mikrobereich auf dem zweiten Bild IR verglichen werden; eine Ähnlichkeit zwischen zwei Mikrobereichen unter Verwendung der folgenden Gleichung ausgewertet wird;
Eall = Σβk(PN)k + Σγk(ZN)k
worin PN eine Gesamtzahl Pixel mit einem Auswertungsergebnis "P" repräsentiert, während ZN eine Gesamtzahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren; ein erster Bereich mit einer höchsten Ähnlichkeit und ein zweiter Bereich mit einer zweithöchsten Ähnlichkeit in einem betreffenden Block gesucht werden; eine erste Kandidatendisparität als eine dem ersten Bereich entsprechende Disparität und eine zweite Kandidatendisparität als eine dem zweiten Bereich entsprechende Disparität spezifiziert werden; ein Histogramm basierend auf den ersten und zweiten Kandidatendisparitäten erzeugt wird; und eine gültige Disparität des betreffenden Blocks als eine einer Spitzenposition des Histogramms entsprechende Disparität bestimmt wird.
Gemäß den Merkmalen der bevorzugten Ausführungsformen der vorliegenden Erfindung wird in dem oben beschriebenen Verfahren zum Feststellen einer Disparität das erste Bild IL als ein Referenzbild bezeichnet, wird ein eindimensionales Fenster, das darin N Pixel umfassen kann, auf dem ternärwertigen Frequenzkomponentenbild des ersten Bildes IL festgelegt, und ein Abgleichbereich mit dem gleichen Ternärwertmuster wie die N Pixel in dem eindimensionalen Fenster wird aus dem ternärwertigen Frequenzkomponentenbild des zweiten Bildes IR gesucht. Alternativ dazu wird eines der ersten und zweiten Bilder IL und IR als Referenzbild bezeichnet, werden mehrere eindimensionale Fenster auf der gesamten Oberfläche des ternärwertigen Frequenzkomponentenbildes des Referenzbildes durch eine Scan-Operation entlang einer epipolaren Linie festgelegt, so dass die eindimensionalen Fenster in den gleichen Intervallen N/2 sukzessiv überlappt sind, wenn jedes der eindimensionalen Fenster eine N Pixel äquivalente Größe hat, und eine Abgleichoperation wird bezüglich jedes der eindimensionalen Fenster ausgeführt.
Gemäß den Merkmalen der bevorzugten Ausführungsformen wird die gültige Disparität als eine Parität auf der Ebene von Subpixel entsprechend einem Schnittpunkt einer ersten geraden Linie, die zwei Punkte (di - 1, hi - 1), (di, hi) kreuzt, und einer einen Punkt (di + 1, hi + 1) kreuzenden zweiten geraden Linie mit einem zur ersten geraden Linie symmetrischen Gradienten berechnet, worin di - 1, di, di + 1 Disparitäten nahe der Spitzenposition des Histogramms repräsentieren und hi - 1, h1, hi + 1 die Zahl eines Auftretens bzw. Häufigkeiten der Disparitäten di - 1, di bzw. di + 1 repräsentieren.
Die obigen und anderen Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung ersichtlicher werden, die in Verbindung mit den beiliegenden Zeichnungen gelesen werden soll, von denen:
Fig. 1 eine Ansicht ist, die das Prinzip der Stereobildmessung veranschaulicht;
Fig. 2 eine Ansicht ist, die ein herkömmliches Verfahren zum Prüfen eines Wertes einer gegenseitigen Korrelation zwischen zwei Bildern veranschaulicht;
Fig. 3 eine Ansicht ist, die ein herkömmliches Verfahren zum Abgleichen von Stereobildern basierend auf dem Vergleich quadratischer Mikrobereiche (Blöcke) von zwei Bildern veranschaulicht;
Fig. 4 eine Ansicht ist, die in Problem in einem herkömmlichen Verfahren veranschaulicht;
Fig. 5 eine Ansicht ist, die ein anderes Problem in einem herkömmlichen Verfahren veranschaulicht;
Fig. 6 eine Ansicht ist, die eine Feststellung einer Disparität auf einer Ebene von Subpixel gemäß einem herkömmlichen Verfahren zum Feststellen einer Disparität veranschaulicht;
Fig. 7 ein Flussdiagramm ist, das sequentielle Prozesse zum Ausführen einer ersten Ausführungsform der vorliegenden Erfindung zeigt, die die Aufnahme von Stereobildern durch die Bestimmung einer Disparität abdeckt;
Fig. 8 eine Ansicht ist, die ein Monochrombild veranschaulicht, das in der Erklärung eines Verfahrens einer Ausführungsform zum Abgleichen von Stereobildern und zum Feststellen einer Disparität zwischen diesen Bildern gemäß der vorliegenden Erfindung verwendet wird;
Fig. 9 ein Blockdiagramm ist, das eine Anordnung einer ersten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B) von Fig. 7 realisiert;
Fig. 10A, 10B, 10C und 10D graphische Darstellungen sind, die Beispiele verschiedener Frequenzkomponentenbilder zeigen, die als Ergebnis der in Fig. 9, 23 und 27 gezeigten Verarbeitung einer Merkmalextraktionsphase erhalten wurden;
Fig. 11 ein Blockdiagramm ist, das eine Anordnung einer zweiten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B) von Fig. 7 veranschaulicht;
Fig. 12 eine Ansicht ist, die ein Verfahren zum Transformieren oder Quantisieren der Frequenzkomponentenbilder in ternäre Werte veranschaulicht, die in der ersten und dritten Ausführungsform der vorliegenden Erfindung verwendet werden;
Fig. 13 eine Ansicht ist, die ein Verfahren zum Teilen eines Bildes in mehrere Blöcke veranschaulicht, die jeweils als die Einheit zum Bestimmen einer Disparität dienen, gemäß der vorliegenden Erfindung;
Fig. 14 eine Ansicht ist, die ein Scan-Verfahren eines eindimensionalen Fensters veranschaulicht, das als die Einheit zum Abgleichen von Stereobildern in der vorliegenden Erfindung dient;
Fig. 15 eine Ansicht ist, die die Beziehung zwischen dem als die Einheit zum Abgleichen von Stereobildern dienenden eindimensionalen Fenster und einem als die Einheit zum Bestimmen einer Disparität dienenden Block in der vorliegenden Erfindung veranschaulicht;
Fig. 16 eine Ansicht ist, die ein Verfahren zum Bestimmen eines Disparitätskandidaten basierend auf der Suche mit einem eindimensionalen Fenster der vorliegenden Erfindung veranschaulicht;
Fig. 17 eine Ansicht ist, die ein Verfahren zum Auswerten einer Ähnlichkeit, basierend auf der Suche mit einem eindimensionalen Fenster, der vorliegenden Erfindung veranschaulicht;
Fig. 18 eine Ansicht ist, die ein Beispiel eines Speicherbereichs veranschaulicht, der zum vorübergehenden Speichern von Kandidatendisparitäten verwendet wird, welche in Bezug auf jedes eindimensionale Fenster gemäß der vorliegenden Erfindung bestimmt werden;
Fig. 19 eine Ansicht ist, die ein Verfahren gemäß der vorliegenden Erfindung veranschaulicht, um ein Histogramm in Bezug auf Blöcke basierend auf Kandidatendisparitäten zu erzeugen, die in dem Speicherbereich in Bezug auf eindimensionale Fenster vorübergehend gespeichert werden;
Fig. 20 eine graphische Darstellung ist, die ein Beispiel des in jedem Block erzeugten Histogramms gemäß der vorliegenden Erfindung zeigt;
Fig. 21 eine graphische Darstellung ist, die ein Verfahren der vorliegenden Erfindung zeigt, um eine Disparität mit der Genauigkeit einer Ebene von Subpixel basierend auf dem in Bezug auf Blöcke erzeugten Histogramm zu messen;
Fig. 22 ein Flussdiagramm ist, das sequentielle Prozesse zum Ausführen einer zweiten Ausführungsform der vorliegenden Erfindung zeigt, die die Aufnahme von Stereobildern durch die Bestimmung einer Disparität abdeckt;
Fig. 23 ein Blockdiagramm ist, das eine Anordnung einer dritten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B') von Fig. 22 gemäß der zweiten Ausführungsform realisiert;
Fig. 24 ein Blockdiagramm ist, das eine Anordnung einer vierten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B') von Fig. 22 gemäß der zweiten Ausführungsform realisiert;
Fig. 25 eine Ansicht ist, die ein Verfahren zum Transformieren oder Quantisieren der Frequenzkomponentenbilder in ternäre Werte veranschaulicht, die in der zweiten und dritten Ausführungsform der vorliegenden Erfindung verwendet werden;
Fig. 26 ein Flussdiagramm ist, das sequentielle Prozesse zum Ausführen einer dritten Ausführungsform der vorliegenden Erfindung zeigt, die die Aufnahme von Stereobildern durch die Bestimmung einer Disparität abdeckt;
Fig. 27 ein Blockdiagramm ist, das eine Anordnung einer fünften Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B") von Fig. 26 gemäß der dritten Ausführungsform realisiert; und
Fig. 28 ein Blockdiagramm ist, das eine Anordnung einer sechsten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B") von Fig. 26 gemäß der dritten Ausführungsform realisiert.
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden im folgenden mit Verweis auf die beiliegenden Zeichnungen ausführlicher erläutert. Identische Teile sind in allen Ansichten durch die gleiche Referenzziffer bezeichnet.
Ein Verfahren zum Abgleichen von Stereobildern und ein Verfahren zum Feststellen einer Disparität zwischen diesen Bildern werden im folgenden gemäß der vorliegenden Erfindung erläutert.

Erste Ausführungsform

Eine erste Ausführungsform wird basierend auf einer Stereobildmessung unter Verwendung des Verfahrens zum Abgleichen von Stereobildern und Feststellen einer Disparität zwischen den Bildern gemäß der vorliegenden Erfindung erläutert.
Fig. 7 ist ein Flussdiagramm, das sequentielle Prozesse zum Ausführen der ersten Ausführungsform der vorliegenden Erfindung zeigt, die die Stereobildaufnahmephase bis zur Disparitätsbestimmungsphase abdeckt. In der Bildaufnahmephase (A) werden durch zwei, rechte und linke, Bildaufnahmeeinrichtungen in Schritten S101 und S102 zwei Bilder, rechts und links, aufgenommen. Die in der Bildaufnahmephase (A) erhaltenen rechten und linken Bilder werden dann in der nächsten Merkmalextraktionsphase (B) in Schritten S103 und S104 jeweils einer Merkmalextraktion unterzogen. In der nachfolgenden Abgleichphase (C) werden danach die extrahierten Merkmale der rechten und linken Bilder in Schritt S105 verglichen, um zu prüfen, ob sie zusammenpassen.
In der Abgleichphase (C) wird konkreter ein eindimensionales Fenster festgelegt, wird dieses eindimensionale Fenster entlang; einer Referenz- Bildebene (rechte oder linke Bildebene) gemäß einer vorbestimmten Scan- Regel verschoben, um Fenster sukzessiv festzulegen, die jeweils als die Einheit zum Abgleichen von Stereobildern dienen, und eine Abgleichoperation wird durchgeführt, indem die Bildmerkmale innerhalb eines Fensters und entsprechende Bildmerkmale auf dem anderen (die andere der rechten und linken Bildebene) verglichen werden.
In der Phase (D) zur Bestimmung einer Disparität wird die Referenz- Bildmerkmalsebene in mehrere Blöcke zerlegt oder geteilt, die jeweils eine vorbestimmte Größe haben, wird ein Histogramm in jedem Block aus Disparitäten erzeugt, die durch die Abgleichoperation basierend auf eindimensionalen Fenstern, die Pixel eines bestimmten Blocks einbeziehen, erhalten wurden, und eine spezifische Disparität, die gerade der Spitze eines so erhaltenen Histogramms entspricht, wird als eine den betreffenden Block repräsentierende gültige Disparität in Schritt S106 identifiziert. Die in diesen Phasen (A) bis (D) durchgeführte Verarbeitung wird im folgenden ausführlicher beschrieben.

A: BILDAUFNAHMEPHASE

Obwohl es verschiedene Verfahren zum Anordnen der Stereokameras gibt, ordnet diese Ausführungsform ein Paar rechte und linke Kameras in einer parallelen Anordnungen an, in der zwei Kameras an vorbestimmten rechten und linken Positionen in der horizontalen Richtung liegen, so dass sie parallele optische Achsen aufweisen. Die Parallelanordnung rechts und links, die mit Verweis auf Fig. 1 erläutert wurde, zeigt ein ideales Anordnungsmodell, das in dieser Ausführungsform auch übernommen werden soll. In der Praxis wird es jedoch unmöglich sein, die ideale Anordnung von Stereokameras perfekt aufzubauen, ohne etwaige Versetzungen hervorzurufen. In dieser Hinsicht ist es wichtig, dass das Verfahren zum Abgleichen von Stereobildern und das Verfahren zum Feststellen einer Disparität zwischen diesen Bildern flexibel sein sollte, um solche Versetzungen zu erlauben.
In der folgenden Erläuterung werden die in der Bildaufnahmephase (A) erhaltenen rechten und linken Bilder als Monochrombilder mit einer vorbestimmten Größe von 768 (H) · 480(V) erklärt. Selbstverständlich sind die in der vorliegenden Erfindung behandelten Bilder nicht auf die offenbarten Monochrombilder beschränkt. Die in der Bildaufnahmephase erhaltenen rechten und linken Bilder sind wie folgt definiert:
Linkes Bild: IL(x, y)
Rechtes Bild: IR(x, y)
worin 1 ≤ x ≤ 768, 1 ≤ y ≤ 480, 0 ≤ IL(x, y) ≤ 255, und 0 ≤ IR(x, y) ≤ 255.
Wie in dem Monochrombild von Fig. 8 gezeigt ist, repräsentiert "x" einen horizontalen Index des Bildes, während "y" einen vertikalen Index (d. h. eine Zeilennummer) des Bildes repräsentiert. Die Pixelnummer wird von links nach rechts durch "x" ausgedrückt, während die Zeilennummer von oben nach unten durch "y" ausgedrückt wird.
Beim Durchführen des Stereobild-Abgleichs wird eines von zwei Bildern als ein Referenzbild bezeichnet, und ein einem spezifischen Bereich dieses Referenzbildes entsprechender Abgleichbereich wird aus dem anderen Bild gesucht. Das linke Bild, das in dieser Ausführungsform als das Referenzbild dient, wird in zahlreiche Blöcke zerlegt, die jeweils eine Größe von M · L Pixel aufweisen, wie in Fig. 13 gezeigt ist. Als ein praktisches Beispiel hat jeder Block eine Größe von 16 · 16 Pixel (M = L = 16). In diesem Fall wird das linke Bild in insgesamt 48 Pixel in der horizontalen Richtung und insgesamt 30 Pixel in der vertikalen Richtung geteilt, was insgesamt 1440 Blöcke erzeugt. Im folgenden wird jeder Block durch die folgenden Identifizierungsdaten BL(X, Y) unterschieden.
Block ID: BL(X, Y), wobei 1 ≤ X ≤ 48, 1 ≤ Y ≤ 30 sind.

B: MERKMALEXTRAKTIONSPHASE

Die beiden Bilder, das rechte Bild IR und das linke Bild IL, die in der Bildaufnahmephase (A) erhalten wurden, werden in der Merkmalextraktionsphase (B) in mehrere Frequenzkomponentenbilder entwickelt.
IL: L1, L2, L3, ---, Lk, Lk +1, ---, Ln
IR: R1, R2, R3, ---, Rk, Rk + 1, ---, Rn
Auf jedes Frequenzkomponentenbild wird die sekundäre differentielle Verarbeitung angewendet. Danach wird jedes Bild Pixel für Pixel in ternäre Werte umgewandelt, wobei somit die folgenden ternärwertigen Frequenzkomponentenbilder erhalten werden.
TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn
TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn
Die oben beschriebene Operation macht es möglich, Ränder in verschiedenen Auflösungen zu extrahieren. Die Hauptaufgabe, um die oben beschriebene Operation auszuführen, lautet wie folgt.
Grundsätzlich empfängt jede Randposition keinen aus einer Empfindlichkeitsdifferenz oder Schattenbildung abgeleiteten nachteiligen Effekt. Durch Nutzen dieser vorzuziehenden Eigenschaft wird es möglich, den Stereobild-Abgleich genau durchzuführen, ohne irgendeine Vorverarbeitung, wie z. B. eine Korrektur von Empfindlichkeitsdifferenzen der Kameras oder eine Schattierungskorrektur, durchzuführen. Das Vorsehen einer Ternärwert-Verarbeitung macht es möglich, die Ähnlichkeitsauswertung durch Verwendung einer kompakten Hardwareanordnung durchzuführen.
Die zweite Aufgabe lautet wie folgt.
Niederfrequenzränder sind robust gegen Rauschen, sind aber in ihren Positionen ungenau. Auf der anderen Seite sind Hochfrequenzränder in ihren Positionen genau, obgleich sie eine Tendenz haben, durch Rauschen nachteilig beeinflusst zu werden. Durch Nutzen dieser Eigenschaften wird es möglich, einen robusten und genauen Stereobild-Abgleich zu realisieren.
Als nächstes wird eine Ternärwert-Verarbeitung erläutert. Fig. 12 ist eine Ansicht, die ein Verfahren zum Transformieren oder Quantisieren der Frequenzkomponentenbilder in ternäre Werte veranschaulicht, die in der ersten und dritten Ausführungsform der vorliegenden Erfindung verwendet werden. Wie in Fig. 12 gezeigt ist, sind eine positive Schwelle TH1 (> 0) und eine negative Schwelle TH2 (< 0) vorgesehen, um alle Frequenzkomponentenbilder in drei Werte zu klassifizieren. Zum Beispiel werden ternäre Werte jeweiligen Pixel wie folgt gegeben.
Geringer als TH2 --- -1
Nicht kleiner als TH2 aber kleiner als TH1 --- 0
Nicht kleiner als TH1 --- 1
Die oben beschriebene Ternärwert-Verarbeitung macht es möglich, die Bilder an ihren Rändern 1 oder -1 zu quantisieren, insbesondere in der Umgebung von (positiven und negativen) Spitzenpositionen, ansonsten werden die Bilder durch 0 ausgedrückt. Diese Ternärwert-Verarbeitung ist dadurch gekennzeichnet, dass ihre Schaltung einfach angeordnet und verhältnismäßig robust gegen Rauschen sein kann. Falls irgendeine Empfindlichkeitsdifferenz zwischen rechten und linken Bildern IR und IL existiert, gibt es jedoch die Möglichkeit, dass einige Bilder nahe der Schwelle aufgrund eines Quantisierungsfehlers eine fehlerhafte Rand-Positionsinformation hervorrufen können.
Fig. 9 ist ein Blockdiagramm, das die Anordnung einer ersten Vorrichtung zeigt, die die Verarbeitung der Merkmalextraktionsphase (B) von Fig. 7 realisiert. Das linke Bild IL (oder rechte Bild IR), das in der Merkmalextraktionsphase (B) empfangen wurde, ist das linke Bild IL (oder rechte Bild IR); das in der Bildaufnahmephase (A) erhalten wurde, die auf fc (Hz) bandbegrenzt ist. Das Eingabebild IL wird durch mehrere Tiefpassfilter (LPFk, k = 1, 2, 3, ---,) und Hochpassfilter (HPFk, k = 1, 2, 3, ---, n), die wie in der Zeichnung gezeigt kombiniert sind, in mehrere Bandsignale mit verschiedenen Frequenzkomponenten (d. h. Frequenzkomponentenbilder FLK, k = 1, 2, 3, ---, n) entwickelt. Jedes Bandsignal wird dann durch die nachfolgende Ternärwert-Verarbeitung (F) in einen ternären Wert (d. h. ternärwertiges Frequenzkomponentenbild TLk, k = 1, 2, 3, ---, n) quantisiert. Das oben beschriebene HPFk ist ein Hochpassiilter mit einer sekundären differentiellen Funktion. Fig. 10A, 10B, 10C und 10D sind graphische Darstellungen, die Beispiele verschiedener Frequenzkomponentenbilder FLk (k = 1, 2, 3, ---), d. h. Beispiele von Bandteilungen zeigen, die als Folge der Entwicklung unter Verwendung der im Blockdiagramm von Fig. 9 gezeigten Schaltung erhalten wurden.
Jedes dieser mehreren ternärwertigen Frequenzkomponentenbilder TLk, die so erhalten wurden, zeigt eine Randposition, die jedes Frequenzkomponentenbild betrifft. Jede Randposition wird in der nachfolgenden Abgleichphase (C) für das Abgleichen rechter und linker Bilder verwendet. Bezüglich der Festlegungen wird angemerkt, dass die Zahl von Frequenzkomponentenbildern FLk oder die Breite jedes Frequenzbandes bestimmt werden sollte, indem die erforderliche Leistung und der zulässige Kostenrahmen berücksichtigt werden.
Fig. 11 ist ein Blockdiagramm, das die Anordnung einer zweiten Vorrichtung zeigt, die die Verarbeitung der Merkmalextraktionsphase (B) von Fig. 7 realisiert. Die Laplace-Gauß-Funktion ( ²G), die die Basis für "σ" eines Laplace-Gauß-Filters bildet, wird gebildet, indem ein zweites Differential einer Gaußschen Funktion genommen wird. In einem eindimensionalen Fall gilt:
In einem zweidimensionalen Fall gilt:
worin r² = i² + j² ist und σ² die Varianz einer Gauß-Funktion repräsentiert.
Eine Faltung dieser Funktion und des Bildes zu erhalten (Laplace-Gauß- Filter) ist einer Glättung des Bildes durch das Gauß-Filter (LPF) und einem Erhalt eines zweiten Differentials (Laplace, HPF) äquivalent.
Andern des Wertes σ macht es möglich, Ränder in mehreren Auflösungen (Skalen) zu extrahieren, was auf Bildverarbeitungstechnologien in breitem Maße anwendbar ist.
Mit dem oben beschriebenen Verfahren wird das Bild in mehrere Frequenzkomponentenbilder entwickelt, die dann in ternärwertige Frequenzkomponentenbilder wie folgt quantisiert werden.
Linkes ternärwertiges Frequenzkomponentenbild:
TL1 (x, y), TL2 (x, y), TL3 (x, y), ---
Rechtes ternärwertiges Frequenzkomponentenbild:
TR1 (x, y), TR2 (x, y), TR3 (x, y), ---
worin 1 ≤ x ≤ 768, 1 ≤ y ≤ 480 gelten,
-1 ≤ TL1 (x, y), TL2 (x, y), TL3 (x, y), --------- ≤ 1, und
-1 ≤ TR1(x, y), TR2(x, y), TR3(x, y), --------- ≤ 1 (Gl.10)
gelten.
Die so erhaltenen rechten und linken ternärwertigen Frequenzkomponentenbilder werden an die nachfolgende Abgleichphase (C) geschickt und verwendet, um den Abgleich von Stereobildern zu prüfen.

C: ABGLEICHPHASE

In der Abgleichphase wird ein Abgleich rechter und linker Bilder unter Verwendung mehrere ternärwertiger Frequenzkomponentenbilder durchgeführt, die durch eine Ternärwert-Verarbeitung in der Merkmalextraktionsphase (B) erhalten wurden. Eines von zwei Stereobildern wird in dieser Abgleichoperation als Referenzbild bezeichnet, und ein Abgleichbereich eines spezifischen Bereichs des Referenzbildes wird aus dem anderen Bild gesucht.
Wie in der Bildaufnahmephase (A) erläutert wurde, bezeichnet diese Ausführungsform das linke Bild als das Referenzbild. Wie das linke Bild, das als das Referenzbild dient, welches in zahlreiche Blöcke zerlegt ist, die jeweils die gleiche Größe von M · L Pixel haben, wie in Fig. 13 gezeigt ist, wird jedes der linken ternärwertigen Frequenzkomponentenbilder TLk, wie in Fig. 14 gezeigt, in zahlreiche Blöcke zerlegt. Im folgenden werden Blockidentifizierungsdaten BLk (X, Y) zum Unterscheiden des linken ternärwertigen Frequenzkomponentenbildes TLk verwendet.
Block-ID: BLk (X, Y), wo 1 ≤ X ≤ 48, 1 ≤ Y ≤ 30
Die Abgleichoperation dieser Ausführungsform wird nur entlang der ungeradzahligen Zeilen ausgeführt. Auf eine Scanlinie wird als eine Ziel- Scanlinie im folgenden verwiesen, wenn sie ein Objekt der Abgleichoperation ist. Alle auf die geradzahligen Zeilen bezogenen Informationen werden in der Abgleichphase und der nachfolgenden überhaupt nicht verwendet.
Wie in Fig. 14 gezeigt ist, ist zum Durchführen einer Fenster-Abtastung entlang einer betreffenden ungeradzahligen Zeile (d. h. entlang einer von Ziel-Scanzeilen) des linken ternärwertigen Frequenzkomponentenbildes TLk (x, y) zunächst ein eindimensionales Fenster mit einer Größe 1 · 16 Pixel (d. h. L = 1, M = 16) vorgesehen. Jeder Strich (engl. stroke) der Abtastung eines eindimensionalen Fensters umfasst 8 Pixel, was genau eine halbe (M/2) Fenstergröße (16 Pixel) ist. Mit anderen Worten wird das oben beschriebene Fenster in der x-Richtung um einen Betrag verschoben, der seiner Hälfte identisch ist, um die Fenster-Abtastung auszuführen, indem die durch das Fenster eingenommene Fläche sukzessiv überlappt wird. Diese Abtast- bzw. Scan-Operation liefert insgesamt 95 Fenster, die entlang einer Ziel-Scanlinie sukzessiv überlappt sind.
Ein Abgleich-Kandidatenbereich entsprechend jedem der eindimensionalen Fenster, die so vorgesehen sind, wird aus dem rechten ternärwertigen Frequenzkomponentenbild TRk(x, y) gesucht. Jedes der eindimensionalen Fenster wird durch Identifizierungsdaten WNk(i, y) spezifiziert.
Fenster-ID: WNk (I, J), worin 1 ≤ I ≤ 95 und 1 ≤ J ≤ 240 sind.
Wie in Fig. 15 gezeigt ist, beinhaltet ein Block BLk (X, Y) komplett insgesamt 8 eindimensionale Fenster 901, die im allgemeinen unter Verwendung der Blockindizes X und Y durch die folgende Gleichung ausgedrückt werden.
WNk(I, J) = WNk(2X - 1, 8(Y - 1) + u), worin 1 ≤ u ≤ 8 ist (Gl. 11)
Unterdessen gibt es insgesamt 8 eindimensionale Fenster 902, die jeweils 8 (M/2) Pixel eines Blocks BLk(X, Y) und 8 (M/2) Pixel eines Blocks BLk(X - 1, Y) überbrücken. Diese eindimensionalen Fenster werden im allgemeinen durch die folgende Gleichung ausgedrückt.
WNk(I, J) = WNk(2X - 2, 8(Y - 1) + u), worin 1 ≤ u ≤ 8 ist (Gl. 12)
Andererseits gibt es insgesamt 8 eindimensionale Fenster, die jeweils 8 (M/2) Pixel eines Blocks BLk(X, Y) und 8 (M/2) Pixel eines Blocks BLk(X + 1, Y) überbrücken. Diese eindimensionalen Fenster werden im allgemeinen durch die folgende Gleichung ausgedrückt.
WNk(I, J) = WNk(2X, 8(Y - 1) + u), worin 1 ≤ u ≤ 8 ist (Gl. 13)
Wie aus der vorhergehenden Beschreibung ersichtlich ist, ist diese Ausführungsform durch eindimensionale Fenster gekennzeichnet, die jeweils als die Einheit für die Abgleichoperation dienen. Der Zweck einer Verwendung solcher eindimensionaler Fenster ist, die Größe der Hardware im Vergleich zum herkömmlichen zweidimensionalen Fenster zu reduzieren und als Folge einer Reduzierung von Zugriffen auf die Speicher auch die Verarbeitungszeit zu reduzieren.
Diese Ausführungsform ist überdies dadurch gekennzeichnet, dass eindimensionale Fenster in einer überlappten Weise in den gleichen Intervallen von 8 (M/2) Pixel sukzessiv angeordnet werden. Der Zweck einer Übernahme solch einer Überlappungs-Anordnung ist, die Zuverlässigkeit jeder Abgleichoperation zu steigern, indem zusätzlicher Gebrauch von benachbarten Pixel in dem Fall erlaubt wird, dass der Abgleichbereich basierend nur auf den Pixel in einem gegebenen Block nicht eindeutig bestimmt werden kann, wenn die Disparität des Blocks bestimmt wird.
Als nächstes wird ein Verfahren zum Bestimmen eines Abgleichbereichs von jedem der so vorgesehenen eindimensionalen Fenster erläutert. Wie in Fig. 16 gezeigt ist, wird ein Abgleichbereich jedes eindimensionalen Fensters, der auf dem linken ternärwertigen Frequenzkomponentenbild TLk festgelegt ist, aus dem rechten ternärwertigen Frequenzkomponentenbild TRk gesucht.
Bei der Suche wird die vorher beschriebene Gleichung 8 verwendet, um die Ähnlichkeit zwischen rechten und linken ternärwertigen Frequenzkomponentenbildern TLk und TRk auszuwerten, die in den bezeichneten eindimensionalen Fenstern enthalten sind. Bezüglich jedes der eindimensionalen Fenster wird ein Bereich mit der höchsten Ähnlichkeit als eine Primärkandidatendisparität (disp1) spezifiziert, und ein Bereich mit der zweithöchsten Ähnlichkeit wird als eine Sekundärkandidatendisparität (disp2) spezifiziert.
Diese Primär- und Sekundärkandidatendisparitäten, die in der oben beschriebenen Abgleichoperation basierend auf eindimensionalen Fenstern erhalten werden, sind nur Kandidaten und nicht die endgültige Disparität.
Die endgültige Disparität jedes Blocks wird in der nachfolgenden Disparitätsbestimmungsphase (D) basierend auf diesen Primär- und Sekundärkandidatendisparitäten bestimmt.
Als nächstes wird mit Verweis auf Fig. 17 ein Verfahren zum Auswerten einer Ähnlichkeit ausführlicher beschrieben. Bei der Auswertung einer Ähnlichkeit werden alle 16 Pixel in einem gegebenen eindimensionalen Fenster auf dem linken ternärwertigen Frequenzkomponentenbild TLk mit nachfolgenden 16 Pixel verglichen, die in der horizontalen Richtung innerhalb einer vorbestimmten Zone auf dem rechten ternärwertigen Frequenzkomponentenbild TRk in einem Array angeordnet sind, wobei diese vorbestimmte Zone die Möglichkeit zum Feststellen eines Abgleichbereichs bietet.
Konkreter wird die Ähnlichkeit zwischen entsprechenden zwei Pixel unter Verwendung der folgenden Codes ausgewertet:
Beide Pixel mit Wert 0: Z
Beide Pixel mit Wert 1: P
Beide Pixel mit Wert -1: P
Andere Fälle: 0
Die Codieroperation zum Auswerten der Ähnlichkeit (d. h. Auswertung zwischen entsprechenden Pixel) wird bezüglich aller 16 Pixel in dem gegebenen eindimensionalen Fenster ausgeführt. Auf diese Weise wird auf alle ternärwertigen Frequenzkomponentenbilder TLk und TRk die Auswertung einer Ähnlichkeit angewendet, wobei schließlich das Gesamtergebnis einer Auswertung der Ähnlichkeit wie folgt erhalten wird:
Eall = Σβk(PN)k + Σγk(ZN)k (Gl. 14)
worin PN eine gesamte Zahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, ZN eine gesamte Zahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtsfaktoren repräsentieren.
Ein großer Wert im Gesamtergebnis Ea11 einer Ähnlichkeitsauswertung gibt an, dass die Ähnlichkeit hoch ist. Obgleich in der Gleichung 14 "k" aufeinanderfolgende ganze Zahlen 1, 2, ---, n repräsentiert, ist es möglich, einige von ihnen zu verwenden. Außerdem drückt der erste Ausdruck auf der rechten Seite der Gleichung 14 die Zahl von miteinander übereinstimmenden Pixel bezüglich der als Abgleichmerkmale dienenden Randpunkte aus. Man ist der Ansicht, dass diese Zahl die Zuverlässigkeit des Ergebnisses einer Abgleichoperation widerspiegelt. Je größer diese Zahl ist, desto höher ist die Zuverlässigkeit. Je kleiner diese Zahl ist, desto geringer ist die Zuverlässigkeit.
Falls der erste Ausdruck auf der rechten Seite im Ergebnis einer Ähnlichkeitsauswertung basierend auf der Primärkandidatendisparität kleiner als eine vorbestimmte Schwelle TH3 ist, sollte dementsprechend diese Kandidatendisparität auf Null gesetzt oder für ungültig erklärt werden, um etwaige fehlerhafte Abgleichoperationen zu eliminieren.
Zahlreiche Primärkandidatendisparitäten (disp 1) und Sekundärkandidatendisparitäten (disp2) werden als Ergebnis der auf einem eindimensionalen Fenster basierenden Abtastung erhalten, das in Strichen von 8 (M/2) Pixel in einer überlappten Art und Weise entlang der ungeradzahligen Zeile des linken Bildes sukzessiv verschoben wird. Die Primärkandidatendisparitäten (disp1) und Sekundärkandidatendisparitäten (disp2), die so erhalten werden, werden in den vorbestimmten Bereichen eines Speichers gespeichert, der in Fig. 18 gezeigt ist. Obgleich Fig. 18 die Speicherbereiche in einer Beziehung 1 : 1 zu den Bilddaten zeigt, wird besonders erwähnt, dass freie Bereiche im Speicher eliminiert werden können.

D: DISPARITÄTSBESTIMMUNGSPHASE

Inder Disparitätsbestimmung wird schließlich in jedem der Blöcke (insgesamt 1440 Blöcke) basierend auf den Primärkandidatendisparitäten (disp1) und den Sekundärkandidatendisparitäten (disp2), die bezüglich jedes eindimensionalen Fensters bestimmt wurden, eine Disparität bestimmt.
Ein Verfahren zum Bestimmen einer Disparität jedes Blocks wird mit Verweis auf Fig. 19 erläutert, die erklärt, wie die Disparität eines Blocks BL(X, Y) bestimmt wird. Um eine Disparität eines Blocks BL(X, Y) zu bestimmen, wird basierend auf insgesamt 24 Sätzen von Primärkandidatendisparitäten (disp1) und Sekundärkandidatendisparitäten (disp2), die in dem durch eine gestrichelte Linie in Fig. 19 eingekreisten Bereich vorhanden sind, ein Histogramm erzeugt, wobei die Tatsache berücksichtigt wird, dass all diese ausgewählten Primär- und Sekundärkandidatendisparitäten durch die Abgleichoperation der spezifischen eindimensionalen Fenster mit jeweils mindestens 8 Pixel erhalten werden, die im Bereich des Blocks BL(X, Y) vorhanden sind. Fig. 20 ist eine graphische Darstellung, die ein Beispiel des Histogramms von Disparitäten zeigt, das basierend auf den Primär- und Sekundärkandidatendisparitäten erzeugt wurde.
Eine Disparität mit der größten Zahl eines Auftretens bzw. Häufigkeit wird dann schließlich als die Disparität des Blocks BL(X, Y) bestimmt.
Kehrt man zum zweiten Beispiel der Verfahren nach dem Stand der Technik zurück, ist der charakteristische Punkt, dass, nachdem das Bild in mehrere Blöcke zerlegt ist, die Ähnlichkeitsauswertung für den Abgleich in jedem Block unter Verwendung nur der in diesem betreffenden Block vorhandenen Pixel unabhängig durchgeführt wurde. Daher bestand die Möglichkeit, dass aufgrund des zufälligen Vorhandenseins ähnlicher, aber verschiedener mehrerer Bereiche ein Fehlabgleich verursacht wurde. Der Fehlabgleich war auch eine direkte Ursache für das Scheitern bei der Feststellung einer Disparität für jeden Block.
Gemäß dem Verfahren zum Feststellen einer Disparität der vorliegenden Erfindung sind jedoch diese Probleme vollständig gelöst. Das heißt, die vorliegende Erfindung ist dadurch gekennzeichnet, dass ein Histogramm in jedem Block unter Verwendung der Abgleichdaten erzeugt wird, die sich aus dem Festlegen mehrerer eindimensionaler Fenster ergeben, die sukzessiv überlappt sind, und die Disparität des betreffenden Blocks BL(X, Y) dann bestimmt wird, indem die Spitzenposition im Histogramm festgestellt wird. Selbst wenn in der bezüglich jedes der eindimensionalen Fenster durchgeführten Abgleichoperation ein fehlerhafter Abgleich entstehen kann (d. h. selbst wenn eine fehlerhafte Kandidatendisparität versehentlich festgestellt wird), ist daher die vorliegende Erfindung ausreichend flexibel, um einen solchen Fehler zu absorbieren oder zu korrigieren.
Als ein besonders guter Effekt einer Verwendung überlappter eindimensionaler Fenster wird es überdies möglich, die Pixel, die außerhalb des betreffenden Blocks vorhanden sind, bei der Bestimmung einer Disparität ergänzend zu verwenden. Dies wird das Scheitern bei der Feststellung einer Disparität sicher verhindern, selbst wenn ähnliche, aber verschiedene Bereiche versehentlich gemessen werden.
Bei dieser Art eines Verfahrens zum Feststellen einer Disparität wird allgemein das Bild als Digitaldaten erhalten, die mit einer vorbestimmten Frequenz abgetastet wurden. Daher ist die messbare minimale Einheit auf ein Pixel begrenzt. Falls eine hohe Genauigkeit bei der Disparitätsmessung streng gefordert ist, steht die folgende Messung auf der Ebene von Subpixel zur Verfügung.
Das Verfahren einer Messung auf der Ebene von Subpixel wird mit Verweis auf Fig. 21 erläutert. Fig. 21 zeigt ein Histogramm, das in einem bestimmten Block gemäß dem vorher bestimmten Verfahren erzeugt wurde, und zeigt insbesondere die Verteilung der Zahl eines Auftretens bzw. Häufigkeit in der Umgebung einer spezifischen Disparität entsprechend einer Spitzenposition. Die Messung einer Disparität auf der Ebene von Subpixel wird durchgeführt, indem die Häufigkeit hi, hi - 1, hi + 1 entsprechend den bezeichneten Disparitäten di, di - 1, di + 1 (im Inkrement eines Pixel) verwendet wird, die vor und nach einer Spitzenposition ds vorhanden sind.
Konkreter wird eine erste gerade Linie 1501 als eine Linie erhalten, die beide Punkte (di - 1, hi - 1) und (di, hi) kreuzt. Eine zweite gerade Linie 1502 wird als eine Linie erhalten, die einen Punkt (di + 1, hi + 1) kreuzt und einen zur Linie 1501 symmetrischen Gradienten aufweist (d. h. im Absolutwert identisch, im Vorzeichen aber entgegengesetzt ist). Ein Punkt 1503 wird dann als Schnittpunkt der beiden geraden Linie 1501 und 1502 erhalten. Eine dem so erhaltenen Schnittpunkt 1503 entsprechende Disparität ds wird schließlich als eine Disparität auf einer Ebene von Subpixel des betreffenden Blocks erhalten.
Die oben beschriebene Messung einer Disparität auf der Ebene von Subpixel verwendet das durch die Häufigkeit erzeugte Histogramm; dementsprechend ist dieses Verfahren von dem Verfahren nach dem Stand der Technik wesentlich verschieden, welches grundsätzlich die aus Gleichung 6 abgeleiteten Ähnlichkeitsauswertungen C verwendet.

Zweite Ausführungsform

Eine zweite Ausführungsform wird basierend auf einer Stereobildmessung unter Verwendung des Verfahrens zum Abgleichen von Stereobildern und Feststellen einer Disparität zwischen den Bildern gemäß der vorliegenden Erfindung erläutert.
Fig. 22 ist ein Flussdiagramm, das sequentielle Prozesse zum Ausführen der zweiten Ausführungsform der vorliegenden Erfindung zeigt, die die Stereobildaufnahmephase bis zur Disparitätsbestimmungsphase abdecken. In der Bildaufnahmephase (A) werden durch zwei rechte und linke Bildaufnahmeeinrichtungen in Schritten S1601 und S1602 zwei rechte und linke Bilder aufgenommen. Die in der Bildaufnahmephase (A) durchgeführte Verarbeitung ist zu derjenigen der ersten Ausführungsform identisch. Die rechten und linken Bilder, die in der Bildaufnahmephase (A) erhalten wurden, werden dann in der nächsten Merkmalextraktionsphase (B') in Schritten S1603 und S1604 jeweils einer Merkmalextraktion unterzogen. In der nachfolgenden Abgleichphase (C) werden danach die extrahierten Merkmale der rechten und linken Bilder in Schritt S1605 verglichen, um zu prüfen, ob sie zueinander passen. In einer Disparitätsbestimmungsphase (D) wird überdies eine Disparität in jedem Block bestimmt (Schritt S1606). Die in der Abgleichphase (C) und der Disparitätsbestimmungsphase (D) durchgeführte Verarbeitung ist zu denjenigen der ersten Ausführungsform identisch.
Im folgenden wird nur der Abschnitt ausführlicher erläutert, der von der ersten Ausführungsform verschieden ist, d. h. die Verarbeitung einer Merkmalextraktionsphase (B').

B': MERKMALEXTRAKTIONSPHASE

Die in der Bildaufnahmephase (A) erhaltenen zwei Bilder, das rechte Bild IR und das linke Bild IL, werden in der Merkmalextraktionsphase (B') in mehrere Frequenzkomponentenbilder entwickelt.
IL: L1, L2, L3, ---, Lk, Lk + 1, ---, Ln
IR: R1, R2, R3, ---m Rk, Rk + 1, ---, Rn
Auf jedes Frequenzkomponentenbild wird die sekundäre differentielle Verarbeitung angewendet. Danach wird jedes Bild Pixel für Pixel in ternäre Werte umgewandelt, wobei somit die folgenden ternärwertigen Frequenzkomponentenbilder erhalten werden.
TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn
TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn
Der Verarbeitungsablauf und seine Zwecke sind mit denjenigen der Merkmalextraktraktionsphase (B) der ersten Ausführungsform identisch.
Als nächstes wird der von der ersten Ausführungsform verschiedene wesentliche Abschnitt, d. h. eine Ternärwert-Verarbeitung, erklärt.
Fig. 25 ist eine Ansicht, die ein Verfahren zum Transformieren oder Quantisieren der Frequenzkomponentenbilder in ternäre Werte veranschaulicht, das in der zweiten Ausführungsform der vorliegenden Erfindung verwendet wird. Wie in Fig. 25 gezeigt ist, werden alle Frequenzkomponentenbilder in drei Werte klassifiziert, indem beurteilt wird, ob das Pixel eines betreffenden Bildes auf einen Nulldurchgangspunkt bezogen ist oder ob das Vorzeichen seines Gradienten positiv oder negativ ist, wenn es dem Nulldurchgangspunkt entspricht. Zum Beispiel werden den jeweiligen Pixel wie folgt ternäre Werte verliehen.
Vom Nulldurchgangspunkt verschieden --- 0
Nulldurchgangspunkt und positiver Gradient --- 1
Nulldurchgangspunkt und negativer Gradient --- -1
Die oben beschriebene Ternärwert-Verarbeitung macht es möglich, die Bilder an ihren Ränder, d. h. insbesondere den Wendepunkten (= Nulldurchgangspunkte), in 1 oder -1 zu quantisieren; ansonsten werden die Bilder durch 0 ausgedrückt. Diese Ternärwert-Verarbeitung (G) ist in der genauen Feststellung von Randpositionen und auch der Robustheit gegen eine Empfindlichkeitsdifferenz zwischen rechten und linken Bildern vergleichbar mit der oder besser als die Ternärwert-Verarbeitung (F) der ersten Ausführungsform, obgleich sie ein wenig labil gegen Rauschen ist.
Fig. 23 ist ein Blockdiagramm, das die Anordnung einer dritten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B') in Fig. 22 realisiert. Ein in der Merkmalextraktionsphase (B') empfangenes linkes Bild ist das Bild, das in der Bildaufnahmephase (A) erhalten wurde, welche auf fc (Hz) bandbegrenzt ist. Das Eingabebild IL wird in mehrere Bandsignale mit verschiedenen Frequenzkomponenten (d. h. Frequenzkomponentenbilder FLk, k = 1, 2, 3, ---, n) durch mehrere Tiefpassfilter (LPFk, k = 1, 2, 3, ---) und Hochpaßfilter (HPFk, k = 1, 2, 3, ---n) entwickelt, die wie in der Zeichnung dargestellt kombiniert sind. Diese Verarbeitung ist zu derjenigen der ersten Ausführungsform identisch. Die entwickelten Frequenzkomponentenbilder FLk werden durch die oben beschriebene Ternärwert-Verarbeitung (G) in ternärwertige Daten (d. h. ternärwertige Frequenzkomponentenbilder TLk, k = 1, 2, 3, ---, n) umgewandelt oder quantisiert.
Jedes dieser so erhaltenen mehreren ternärwertigen Frequenzkomponentenbilder TLk zeigt eine in jedem Frequenzkomponentenbild enthaltene Randposition. Jede Randposition wird für den Abgleich rechter und linker Bilder in der nachfolgenden Abgleichphase (C) verwendet. Im Hinblick auf die Festlegungen wird besonders erwähnt, dass in der gleichen Weise wie in der ersten Ausführungsform die Zahl von Frequenzkomponentenbildern FLk oder die Breite jedes Frequenzbandes bestimmt werden sollte, indem die erforderliche Leistung und der zulässige Kostenrahmen berücksichtigt werden.
Fig. 24 ist ein Blockdiagramm, das die Anordnung einer vierten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B') von Fig. 22 realisiert. Diese vierte Vorrichtung ist mit Ausnahme der Ternärwert-Verarbeitung (G) mit der zweiten Vorrichtung der ersten Ausführungsform identisch, die in Fig. 11 dargestellt ist.
Auf diese Weise wird das Bild in mehrere Frequenzkomponentenbilder FLk entwickelt, die dann durch eine Ternärwert-Verarbeitung in ternärwertige Frequenzkomponentenbilder TLk umgewandelt werden. Anschließend werden ternärwertige Frequenzkomponentenbilder TLk zur nachfolgenden Abgleichphase (C) geschickt, um die Stereobild-Abgleichoperation basierend auf eindimensionalen Fenstern durchzuführen. Eine Disparität jedes Blocks wird schließlich auch in der Disparitätsbestimmungsphase (D) bestimmt.

Dritte Ausführungsform

Eine dritte Ausführungsform wird basierend auf einer Stereobildmessung unter Verwendung des Verfahrens zum Abgleichen von Stereobildern und Feststellen einer Disparität zwischen den Bildern gemäß der vorliegenden Erfindung erläutert.
Fig. 26 ist ein Flussdiagramm, das sequentielle Prozesse zum Ausführen der dritten Ausführungsform der vorliegenden Erfindung zeigt, die die Stereobild-Aufnahmephase bis zur Disparitätsbestimmungsphase abdecken. In der Bildaufnahmephase (A) werden in Schritten S2001 und S2002 durch zwei rechte und linke Bildaufnahmeeinrichtungen zwei rechte und Linke Bilder aufgenommen. Die in der Bildaufnahmephase (A) durchgeführte Verarbeitung ist zu denjenigen der ersten und zweiten Ausführungsform identisch. Die rechten und linken Bilder, die in der Bildaufnahmephase (A) erhalten wurden, werden dann in der nächsten Merkmalextraktionsphase (B") in Schritten S2003 und S2004 jeweils einer Merkmalextraktion unterzogen. In der nachfolgenden Abgleichphase (C) werden danach die extrahierten Merkmale der rechten und linken Bilder in Schritt S2005 verglichen, um zu prüfen, wie sie zueinander passen. In einer Disparitätsbestimmungsphase (D) wird überdies eine Disparität in jedem Block bestimmt (Schritt S2006). Die in der Abgleichphase (C) und der Disparitätsbestimmungsphase (D) durchgeführte Verarbeitung ist denjenigen der ersten Ausführungsformen identisch.
Im folgenden wird nur der Abschnitt ausführlicher erläutert, der von der ersten Ausführungsform verschieden ist, d. h. die Verarbeitung einer Merkmalextraktionsphase (B").

B": MERKMALEXTRAKTIONSPHASE

Die in der Bildaufnahmephase (A) erhaltenen zwei Bilder, das rechte Bild IR und das linke Bild IL, werden in der Merkmalextraktionsphase (B") in mehrere Frequenzkomponentenbilder entwickelt.
IL: L1, L2, L3, ---, Lk, Lk + 1, ---, Ln
IR: R1, R2, R3, ---, Rk, Rk + 1, ---, Rn
Auf jedes Frequenzkomponentenbild wird die sekundäre differentielle Verarbeitung angewendet. Danach wird jedes Bild Pixel für Pixel in ternäre Werte umgewandelt, wobei somit die folgenden ternärwertigen Frequenzkomponentenbilder erhalten werden.
TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn
TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn
Der Verarbeitungsablauf und seine Zwecke sind mit denjenigen der Merkmalextraktionsphasen (B), (B') der ersten und zweiten Ausführungsform identisch.
Als nächstes wird der von der ersten und zweiten Ausführungsform verschiedene wesentliche Abschnitt, d. h. eine Ternärwert-Verarbeitung erläutert. Die Ternärwert-Verarbeitung der dritten Ausführungsform ist dadurch gekennzeichnet, dass die Niederfrequenzkomponentenbilder durch die vorher beschriebene Ternärwert-Verarbeitung (F) der ersten Verarbeitungsform verarbeitet werden, während die Hochfrequenzbilder durch die oben beschriebene Ternärwert-Verarbeitung (G) der zweiten Ausführungsform verarbeitet werden.
Die Hochfrequenzkomponentenbilder haben genaue Information bezüglich der Randpositionen, wenn sie mit den Niederfrequenzkomponentenbildern verglichen werden. Um diese genauen Informationen effektiv zu nutzen, wird die Nulldurchgangspunkt-Klassifizierung zum Umwandeln von Hochfrequenzkomponentenbildern in ternäre Werte verwendet. Die durch die Ternärwert-Verarbeitung (G) erhaltene Randinformation neigt jedoch dazu, aufgrund von Rauschen fehlerhafte Randinformationen zu enthalten. Im Gegensatz dazu werden die Niederfrequenzkomponentenbilder in ternäre Werte umgewandelt, indem die Schwellenklassifizierung verwendet wird, da Niederfrequenzkomponentenbilder keine so genaue Information zum Darstellen der Randpositionen sind. Die durch die Ternärwert-Verarbeitung (F) erhaltene Randinformation enthält selten von Rauschen abgeleitete fehlerhafte Randinformationen.
Fig. 27 ist ein Blockdiagramm, das die Anordnung einer fünften Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B") von Fig. 26 realisiert. Ein in der Merkmalextraktionsphase (B") empfangenes linkes Bild IL ist das Bild, das in der Bildaufnahmephase (A) erhalten wurde, die auf fc (Hz) bandbegrenzt ist. Das Eingabebild IL wird durch mehrere Tiefpassfilter (LPFk, k = 1, 2, 3, ---) und Hochpassfilter (HPDk, k = 1, 2, 3, ---, n), die wie in der Zeichnung gezeigt kombiniert sind, in mehrere Bandsignale mit verschiedenen Frequenzkomponenten (d. h. Frequenzkomponentenbilder FLk, k = 1, 2, 3, ---, n) entwickelt. Diese Verarbeitung ist mit derjenigen der ersten und zweiten Ausführungsform identisch. Die Niederfrequenzkomponentenbilder der entwickelten Frequenzkomponentenbilder FLk werden durch die Ternärwert-Verarbeitung (F), die in der ersten Ausführungsform erläutert wurde, in ternärwertige Daten umgewandelt oder quantisiert. Auf der anderen Seite werden die Hochfrequenzkomponentenbilder der entwickelten Frequenzkomponentenbilder FLk durch die Ternärwert-Verarbeitung (G), die in der zweiten Ausführungsform erläutert wurde, in ternärwertige Daten umgewandelt oder quantisiert. Folglich werden ternärwertige Frequenzkomponentenbilder TLk (k = 1, 2, 3, ---, n) erhalten.
Jedes dieser so erhaltenen mehreren ternärwertigen Frequenzkomponentenbilder TLk zeigt eine in jedem Frequenzkomponentenbild enthaltene Randposition auf. Jede Randposition wird für den Abgleich rechter und linker Bilder in der nachfolgenden Abgleichphase (C) verwendet. Bezüglich der Feststellungen wird besonders erwähnt, dass die Zahl von Frequenzkomponentenbildern FLk oder die Breite jedes Frequenzbandes sowie eine Auswahl zwischen der Ternärwert-Verarbeitung (F) und der Ternärwert- Verarbeitung (G) bestimmt werden sollte, indem die erforderliche Leistung und der zulässige Kostenrahmen berücksichtigt werden.
Fig. 28 ist ein Blockdiagramm, das die Anordnung einer sechsten Vorrichtung zeigt, die die Verarbeitung einer Merkmalextraktionsphase (B") von Fig. 26 realisiert. Diese sechste Vorrichtung ist mit der zweiten und vierten Vorrichtung der ersten und zweiten Ausführungsform, die in Fig. 11 und 24 dargestellt sind, mit Ausnahme des Abschnitts der Ternärwert- Verarbeitung identisch.
Auf diese Weise wird das Bild in mehrere Frequenzkomponentenbilder FLk entwickelt, die dann durch eine Ternärwert-Verarbeitung in ternärwärtige Frequenzkomponentenbilder TLk umgewandelt werden. Anschließend werden ternärwertige Frequenzkomponentenbilder TLk an die nachfolgende Abgleichphase (C) geschickt, um basierend auf eindimensionalen Fenstern die Stereobild-Abgleichoperation durchzuführen. Eine Disparität jedes Blocks wird schließlich auch in der Disparitätsbestimmungsphase (D).

Verschiedenes

Wie aus dem vorhergehenden ersichtlich ist, wird das Verfahren der vorliegenden Erfindung zum Abgleichen von Stereobildern und Feststellen einer Disparität zwischen den Bildern auf der Basis des Stereobild- Meßsystems erläutert, das in die oben beschriebene erste, zweite und dritte Ausführungsform eingebettet ist. Obgleich die Ausführungsformen der vorliegenden Erfindung die Stereokameras verwenden, die in Richtung rechts und links parallel zueinander angeordnet sind, ist selbstverständlich die Anordnung von Stereokameras nicht auf die offenbarte begrenzt.
Obgleich die Ausführungsformen der vorliegenden Erfindung nur die ungeradzahligen Zeilen für die Abtast- bzw. Scanoperation nutzen, wird ferner der gleiche Effekt erhalten, indem nur die Ziel-Scanzeilen der geradzahligen Zeilen verwendet werden. Falls alle Zeilen für die Scan-Operation verwendet werden, wird die Zuverlässigkeit der Messung einer Disparität gesteigert, obgleich das Verarbeitungsvolumen verdoppelt wird.
Außerdem übernehmen die Ausführungsformen der vorliegenden Erfindung eine Fenstergröße von 1 · 16 (M = 16) Pixel, die sich in der horizontalen Richtung erstrecken, und eine Blockgröße von 16 · 16 (M = L = 16) Pixel. Selbstverständlich können praktische Werte für M und L flexibel geändert werden.
Wie in der vorhergehenden Beschreibung erläutert wurde, liefert die vorliegende Erfindung ein neuartiges und ausgezeichnetes Verfahren zum Abgleichen von Stereobildern und Feststellen einer Disparität dieser Bilder, das einen kleinen Berechnungsumfang aufweist, kompakt und billig in der Hardware-Anordnung, schnell in der Verarbeitung und zuverlässig und genau in der Leistung des Stereobild-Abgleichs und der Feststellung einer Disparität ist.
Dementsprechend kann die vorliegende Erfindung z. B. auf verschiedene industrielle Überwachungssysteme angewendet werden, wie z. B. eine Überwachungseinrichtung für Hindernisse an einem Schienenübergang oder eine Überwachungseinrichtung gegen Eindringlinge in einem Gebäude, indem deren Fähigkeit, basierend auf sukzessiv abgetasteten Stereobildern immer eine Disparität zu messen und die Änderung der Disparität festzustellen, genutzt wird.
Die vorliegenden Ausführungsformen, wie sie beschrieben wurden, sollen daher nur veranschaulichend und nicht beschränkend sein, da der Umfang der Erfindung eher durch die beigefügten Ansprüche als durch die ihnen vorangehende Beschreibung definiert ist.

Claims

1. Verfahren zum Abgleichen von Stereobildern, aufweisend die Schritte, bei denen:

ein erstes und zweites Bild (IL und IR) eingegeben werden;

das erste und zweite Bild (IL und IR) in eine erste Mehrzahl Frequenzkomponentenbilder (FL1, FL2, FL3, ----, FLk, FLk + 1, ----, FLn) bzw. eine zweite Mehrzahl Frequenzkomponentenbilder (FR1, FR2, FR3, ---, FRk, FRk + 1, FRn) entwickelt werden;

eine sekundäre differentielle Verarbeitung auf jedes der Frequenzkomponentenbilder angewendet wird;

jedes Frequenzkomponentenbild nach Anwenden der sekundären differentiellen Verarbeitung Pixel für Pixel in ternäre Werte umgewandelt wird, wodurch erste ternärwertige Frequenzkomponentenbilder (TL1, TL2, TL3, ---, TLk, TLk + 1, ---, TLn) und sekundäre ternärwertige Frequenzkomponentenbilder (TR1, TR2, TR3, ---, TRk, TRk + 1, ---, TRn) erhalten werden; und

eine Abgleichoperation zwischen dem ersten und zweiten Bild auf der Basis der ersten und zweiten ternärwertigen Frequenzkomponentenbilder durchgeführt wird.

2. Verfahren nach Anspruch 1, worin jedes Frequenzkomponentenbild in ternäre Werte umgewandelt wird, indem eine positive Schwelle (TH1) und eine negative Schwelle (TH2) auf solche Weise verwendet werden, dass ein Pixel, das größer als die positive Schwelle (TH1) ist, als "p" bezeichnet wird, ein Pixel in einem Bereich zwischen der positiven und der negativen Schwelle (TH1 und TH2) als "z" bezeichnet wird und ein Pixel, das kleiner als die negative Schwelle (TH2) ist, als "m" bezeichnet wird.

3. Verfahren nach Anspruch 1, worin jedes Frequenzkomponentenbild auf solche Weise in ternäre Werte umgewandelt wird, dass ein nicht auf einen Nulldurchgangspunkt bezogenes Pixel als "z" bezeichnet wird, auf einen Nulldurchgangspunkt bezogenes und einen positiven Gradienten aufweisendes Pixel als "p" bezeichnet wird und ein auf einen Nulldurchgangspunkt bezogenes und einen negativen Gradienten aufweisendes Pixel als "m" bezeichnet wird.

4. Verfahren nach Anspruch 1, worin jedes Niederfrequenzkomponentenbild der Frequenzkomponentenbilder unter Verwendung einer positiven Schwelle (TH1) und einer negativen Schwelle (TH2) auf solche Weise in ternäre Pixelwerte umgewandelt wird, dass ein Pixel, das größer als die positive Schwelle (TH1) ist, als "p" bezeichnet wird, ein Pixel in einem Bereich zwischen der positiven und der negativen Schwelle (TH1 und TH2) als "z" bezeichnet wird und ein Pixel, das kleiner als die negative Schwelle (TH2) ist, als "m" bezeichnet wird, während jedes Hochfrequenzkomponentenbild der Frequenzkomponentenbilder auf solche Weise in ternäre Werte umgewandelt wird, dass ein nicht auf einen Nulldurchgangspunkt bezogenes Pixel als "z" bezeichnet wird, ein auf einen Nulldurchgangspunkt bezogenes und einen positiven Gradienten aufweisendes Pixel mit "p" bezeichnet wird und ein auf einen Nulldurchgangspunkt bezogenes und einen negativen Gradienten aufweisendes Pixel als "m" bezeichnet wird.

5. Verfahren nach einem der Ansprüche 1 bis 4,

worin Pixel in einem eindimensionalen Fenster eines ersten ternärwertigen Frequenzkomponentenbildes (TLk) des ersten Bildes (IL) Eins-zu-Eins mit Pixeln in einem bezeichneten Bereich eines zweiten ternärwertigen Frequenzkomponentenbildes (TRk) des zweiten Bildes (IR) verglichen werden, wenn das erste und zweite ternärwertige Frequenzkomponentenbild (TLk und TRk) in ihren Frequenzkomponenten identisch sind, worin

ein Auswertungsergebnis "P" erhalten wird, wenn entsprechende zwei Pixel beide "p" oder "m" sind, während ein Auswertungsergebnis "Z" erhalten wird, wenn die entsprechenden beiden Pixel beide "z" sind, und die Ähnlichkeit zwischen dem ersten und zweiten ternärwertigen Frequenzkomponentenbild (TLk und TRk) durch Verwenden der folgenden Gleichung:

Eall = Σβk(PN)k + Σγk(ZN)k

ausgewertet wird, worin PN die gesamte Zahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, ZN die Gesamtzahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren.

6. Verfahren nach einem der Ansprüche 1 bis 4,

ein Auswertungsergebnis "P" erhalten wird, wenn entsprechende zwei Pixel beide "p" oder "m" sind, während ein Auswertungsergebnis "Z" erhalten wird, wenn die entsprechenden beiden Pixel beide "z" sind, und die Ähnlichkeit zwischen dem ersten und dem zweiten ternärwertigen Frequenzkomponentenbild (TLk und TRk) durch Verwenden der folgenden Gleichung:

Eall = Σβ(PN)k + Σγk(ZN)k

ausgewertet wird, worin PN die gesamte Zahl Pixel mit dem Auswertungsergebnis "P" repräsentiert, ZN die Gesamtzahl Pixel mit dem Auswertungsergebnis "Z" repräsentiert und βk und γk Gewichtungsfaktoren repräsentieren, und

ein Abgleichergebnis in der Abgleichoperation nur validiert wird, wenn Σβk (PN)k größer als eine vorbestimmte positive Schwelle (TH3) ist.

7. Verfahren nach Anspruch 5 oder Anspruch 6, ferner aufweisend die Schritte, bei denen:

ein erster Bereich mit der höchsten Ähnlichkeit und ein zweiter Bereich mit der zweithöchsten Ähnlichkeit gesucht werden;

eine erste Kandidatendisparität als die dem ersten Bereich entsprechende Disparität und eine zweite Kandidatendisparität als die dem zweiten Bereich entsprechende Disparität spezifiziert werden; und

eine gültige Disparität zwischen den Stereobildern auf der Basis der ersten und zweiten Kandidatendisparität bestimmt wird.

8. Verfahren nach Anspruch 7, worin die gültige Disparität durch die Schritte bestimmt wird, bei denen:

ein Histogramm auf der Basis der ersten und zweiten Kandidatendisparität erzeugt wird; und

die gültige Disparität des betreffenden Blocks als eine einer Spitzenposition des Histogramms entsprechende Disparität bestimmt wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, worin das erste Bild (IL) als ein Referenzbild bezeichnet wird, ein eindimensionales Fenster, welches N Pixel darin einschließen kann, auf dem ternärwertigen Frequenzkomponentenbild des ersten Bildes (IL) festgelegt wird und ein Abgleichbereich mit dem gleichen Ternärwertmuster wie die N Pixel im eindimensionalen Fenster aus dem ternärwertigen Frequenzkomponentenbild des zweiten Bildes (IR) gesucht wird.

10. Verfahren nach einem der Ansprüche 1 bis 8, worin eines des ersten und zweiten Bildes (IL und IR) als ein Referenzbild bezeichnet wird, mehrere eindimensionale Fenster auf der gesamten Oberfläche des ternärwertigen Frequenzkomponentenbildes des Referenzbildes durch eine Scanoperation entlang einer epipolaren Linie festgelegt werden, so dass die eindimensionalen Fenster in den gleichen Intervallen N/2 sukzessiv überlappt werden, wenn jedes der eindimensionalen Fenster eine N Pixel äquivalente Größe aufweist, und bezüglich jedes der eindimensionalen Fenster eine Abgleichoperation ausgeführt wird.

11. Verfahren nach Anspruch 8, worin die gültige Disparität als eine Teilpixelpegelparität entsprechend einem Schnittpunkt einer zwei Punkte [di - 1, hi - 1], [di, hi] kreuzenden ersten geraden Linie und einer einen Punkt [di + 1, Hi + 1] kreuzenden zweiten geraden Linie mit einem zur ersten Linie symmetrischen Gradienten berechnet wird, wobei di - 1, di, di + 1 Disparitäten nahe der Spitzenposition des Histogramms repräsentieren und hi - 1, hi, hi + 1 die Zahl eines Auftretens der Disparitäten di - 1, di bzw. di + 1 repräsentieren.