-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die
vorliegende Erfindung betrifft allgemein ein Stereokamerasystem
und ein Verfahren zum Einstellen der Abweichung einer optischen
Achse einer Stereokamera.
-
Stand der
Technik
-
Als
ein dreidimensionales Meßverfahren
auf der Basis von Bildern ist eine Bildverarbeitung bekannt, die
auf einem sogenannten Stereoverfahren zur Ableitung einer Korrelation
zwischen einem Paar von Bildern basiert, die durch Aufnehmen eines
Objekts aus verschiedenen Positionen mit zwei Kameras (einer Stereokamera)
erhalten werden, um eine Entfernung durch eine Parallaxe für dasselbe
Objekt auf der Basis des Triangulationsprinzips unter Nutzung von
Kameraparametern wie etwa der Anbringposition und der Brennweite
der Stereokamera abzuleiten. Dieses Prinzip ist in US-A-6 118 475
veranschaulicht.
-
Bei
dieser Bildverarbeitung auf der Basis des Stereoverfahrens werden
zwei von der Stereokamera erhaltene Bildsignale sequentiell so verschoben,
daß sie
einander überlagert
werden, um eine Position abzuleiten, in der die beiden Bildsignale
miteinander koinzident sind. Es ist daher erwünscht, daß zwischen den beiden Bildsignalen
außer
der Parallaxe keine Abweichungen vorhanden sind, weshalb die optische
Positionierung der Stereokamera wichtig ist.
-
Die
JP-OS 5-157557 zeigt, daß ein
Halteelement zum Verbinden und Halten eines Paars von Videokameras
folgendes hat: Parallelitätseinstelleinrichtungen
zum Einstellen der Anordnung von Bildelementen bzw. Pixeln eines
Bildwandlers von einer der Videokameras derart, daß sie zu
der Anordnung von Pixeln eines Bildwandlers der anderen Videokamera
parallel sind, und ein Einstellelement für die optische Achse zum Einstellen
der optischen Achse von einer von den Videokameras so, daß sie parallel
zu der optischen Achse der anderen Videokamera ist, so daß die Korrelation
zwischen den beiden Kameras mechanisch eingestellt und gehalten
wird.
-
Aber
selbst dann, wenn die Stereokamera einmal festgelegt wurde, kann
eine Abweichung der Stereokamera leicht durch eine langsame Änderung
bewirkt werden. Bisher muß,
wenn eine solche Abweichung erfolgt, die Stereokamera mechanisch
neu eingestellt werden. Es ist also nicht nur notwendig, den komplizierten
Vorgang auszuführen,
sondern es dauert auch lang, die Stereokamera neu einzustellen,
so daß durch
die mechanische Einstellung die erforderliche Präzision begrenzt ist.
-
Zur
Lösung
dieses Problems zeigt die JP-Patentanmeldung 9-117268, die auf die
Anmelderin übertragen
ist, eine Technik zum elektrischen Einstellen der optischen Position
einer Stereokamera ohne die Notwendigkeit irgendwelcher mechanischen
Einstellvorgänge.
Diese Technik kann die optische Position einer Stereokamera präzise auf
einen Wert einstellen, der durch mechanisches Einstellen der optischen
Position der Stereokamera nur schwer zu erreichen ist, und kann
nach der Einstellung die auf eine langsame Änderung zurückgehende Abweichung ohne weiteres
neu einstellen.
-
Da
jedoch die in der JP-Patentanmeldung 9-117268 angegebene Technik
dazu bestimmt ist, ein Bild eines speziellen Einstellmusters mittels
einer Stereokamera aufzunehmen, um die optische Position der Stereokamera
zu korrigieren, muß der
Betrieb der Stereokamera in einem Bildverarbeitungsfeld periodisch
angehalten werden, um die optische Position der Stereokamera einzustellen,
so daß Wartungsmaßnahmen
erforderlich sind.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Es
ist daher eine Aufgabe der vorliegenden Erfindung, die vorstehenden
Probleme zu beseitigen und ein Einstellsystem für eine Stereokamera und ein
Verfahren anzugeben, das fähig
ist, die auf Alterung basierende Abweichung der optischen Achse
einer Stereokamera automatisch einzustellen, während gleichzeitig der Betriebszustand
derselben von Beginn an aufrechterhalten wird, wobei es möglich ist,
die Beeinflussung der Entfernungsgenauigkeit zu ignorieren.
-
Zur
Lösung
der genannten und weiterer Aufgaben wird gemäß einem Aspekt der vorliegenden
Erfindung ein Einstellsystem für
eine Stereokamera gemäß der Definition
in Anspruch 1 bereitgestellt zum Einstellen einer optischen Achse
einer Stereokamera, die eine erste und eine zweite Kamera hat, die
in regelmäßigen Abständen angeordnet
sind, wobei das Einstellsystem folgendes aufweist: Bildeinstelleinrichtungen,
um ein von der zweiten Kamera aufgenommenes Bild durch eine Translationskorrektur
und eine Rotationskorrektur geometrisch umzuwandeln und ein von
der ersten Kamera aufgenommenes Bild durch eine Rotationskorrektur geometrisch
umzuwandeln; und eine Korrekturoperationseinrichtung zum Berechnen
einer Differenz zwischen entsprechenden Positionen der von der ersten
und der zweiten Kamera aufgenommenen Bilder auf der Basis von Entfernungsdaten,
die durch Stereoverarbeitung des Paars von von der ersten und der
zweiten Kamera aufgenommenen Bildern erhalten sind, und zum Vorgeben
eines Umwandlungswerts für
die Bildumwandlung, um so die Differenz zu beseitigen.
-
Die
Korrekturoperationseinrichtung kann die Differenz auf der Basis
von zwei entfernten Bereichen, die im wesentlichen gleich weit entfernt
sind, und eines nahen Bereichs berechnen. Die Korrekturoperationseinrichtung
kann einen Bereich, der den Bereichen entsprechende Bereiche aufweist,
in dem von der zweiten Kamera aufgenommenen Bild auf der Basis von
Entfernungsdaten der entfernten Bereiche des von der ersten Kamera
aufgenommenen Bilds definieren und den definierten Bereich absuchen,
um die entfernten Bereiche des von der zweiten Kamera aufgenommenen
Bilds abzuleiten. Die Bildeinstelleinrichtungen können das
von der zweiten Kamera aufgenommene Bild durch eine horizontale
Translationskorrektur und eine vertikale Translationskorrektur geometrisch
umwandeln, und die Korrekturoperationseinrichtung kann folgendes berechnen:
einen Umwandlungswert für
die auf der horizontalen Translationskorrektur für das von der zweiten Kamera
aufgenommene Bild basierende Bildumwandlung auf der Basis einer
Abweichung zwischen den Positionen der Bereiche der von der ersten
und der zweiten Kamera aufgenommenen Bilder, sowie Entfernungen der
Bereiche. Die Korrekturoperationseinrichtung kann den Umwandlungswert
für die
Bildumwandlung auf der Basis eines Paars von von der ersten und
der zweiten Kamera aufgenommenen Bildern einer Landschaft vorgeben.
-
Gemäß einem
anderen Aspekt der vorliegenden Erfindung wird ein Einstellverfahren
für eine
Stereokamera gemäß der Definition
in Anspruch 6 angegeben zum Einstellen einer optischen Achse einer
Stereokamera, die eine erste und eine zweite Kamera hat, die in
regelmäßigen Abständen vorgesehen
sind, wobei das Verfahren die folgenden Schritte aufweist: Berechnen
einer Differenz zwischen entsprechenden Positionen von von der ersten
und der zweiten Kamera aufgenommenen Bildern auf der Basis von Entfernungs daten,
die durch Stereoverarbeitung des Paars von von der ersten und der
zweiten Kamera aufgenommenen Bildern erhalten sind; Einstellen eines
Translationskorrekturwerts und eines Rotationskorrekturwerts für die zweite
Kamera, um die berechnete Differenz zu entfernen; und geometrisches
Umwandeln des von der zweiten Kamera aufgenommenen Bilds durch eine
Translationskorrektur und eine Rotationskorrektur auf der Basis
des eingestellten Korrekturwerts und des eingestellten Rotationskorrekturwerts
für die
zweite Kamera.
-
Das
Einstellverfahren für
eine Stereokamera kann ferner die folgenden Schritte aufweisen:
Einstellen eines Rotationskorrekturwerts für die erste Kamera, um die
berechnete Differenz zu entfernen; und geometrisches Umwandeln des
von der ersten Kamera aufgenommenen Bilds durch eine Rotationskorrektur
auf den eingestellten Rotationskorrekturwert für die erste Kamera.
-
Gemäß der vorliegenden
Erfindung wird also auf der Basis der Entfernungsdaten, die durch
Verarbeitung eines Paars von Bildern einer Landschaft, die von einer
Stereokamera aufgenommen sind, erhalten sind, eine Differenz zwischen
jeweiligen Positionen von von der ersten und der zweiten Kamera
aufgenommenen Bildern berechnet. Dann werden ein Bildumwandlungswert
für eine
Rotationskorrektur in dem von der ersten Kamera aufgenommenen Bild
und Bildumwandlungswerte für
eine Translationskorrektur und eine Rotationskorrektur in horizontaler
und vertikaler Richtung in dem von der zweiten Kamera aufgenommenen
Bild vorgegeben, um die Differenz zu entfernen. Dann werden die
von der ersten und der zweiten Kamera aufgenommenen Bilder geometrisch
umgewandelt, um die alterungsbedingte Abweichung der optischen Achse
der Stereokamera automatisch zu korrigieren.
-
Da
also die alterungsbedingte Abweichung der optischen Achse der Stereokamera
automatisch eingestellt wird, während
gleichzeitig ihr Anfangs-Betriebszustand aufrechterhalten wird,
wobei es möglich
ist, die Beeinflussung der Genauigkeit der Entfernungsmessung zu
ignorieren, ist es möglich,
die Stereokamera jederzeit in einem präzise eingestellten Zustand
zu verwenden, und es ist nicht erforderlich, den Betrieb der Stereokamera
im Feld zu unterbrechen wie bei der zum Aufnehmen eines Bilds eines
bestimmten Einstellmusters angewandten Technik, um die optische
Position der Stereokamera einzustellen, so daß sich sehr große Vorteile
dadurch ergeben, daß es
möglich
ist, Wartungsfreiheit zu erzielen.
-
Die
Differenz zwischen den jeweiligen Positionen wird bevorzugt auf
der Basis von zwei entfernten Bereichen, die im wesentlichen in
gleicher Entfernung angeordnet sind, und eines nahen Bereichs berechnet.
Es ist somit möglich,
gleichzeitig Korrekturen für
relative Positionen der jeweiligen Bilder und eine Korrektur dahingehend
auszuführen,
daß die
horizontale Linie der ersten Kamera zu der Grundlinie der Stereokamera
parallel wird.
-
Außerdem können die
Positionen der entfernten Bereiche des von der zweiten Kamera aufgenommenen
Bilds dadurch erhalten werden, daß Entfernungsdaten zu den Positionen
der entfernten Bereiche des von der ersten Kamera aufgenommenen
Bilds hinzuaddiert werden, ein Bereich, der entsprechende Bereiche
aufweist, in dem von der zweiten Kamera aufgenommenen Bild definiert
wird, und der definierte Bereich abgesucht wird. Die horizontale
Translationskorrektur für
das von der zweiten Kamera aufgenommene Bild kann berechnet werden
auf der Basis der Abweichungen der Positionen der jeweiligen Bereiche
in den von der ersten und der zweiten Kamera aufgenommenen Bildern
und der Entfernungen in den jeweiligen Bereichen.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
Eine
bevorzugte Ausführungsform
der vorliegenden Erfindung ergibt sich aus der nachfolgenden genauen
Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen.
-
Die
Zeichnungen zeigen in:
-
1 ein
Blockbild einer bevorzugten Ausführungsform
eines Einstellsystems für
eine Stereokamera gemäß der vorliegenden
Erfindung;
-
2 ein
Blockbild, das ein Detail eines Bildeinstellteils (einer Affintransformationsschaltung)
von 1 zeigt;
-
3A und 3B schematische
Darstellungen, die die Gesamtkonstruktionen eines Einstellsystems
für eine
Stereokamera gemäß der vorliegenden
Erfindung zeigen;
-
4 ein
Impulsdiagramm, das den Bildeinfangzeitpunkt und den Affintransformationszeitpunkt
in dem Bildeinstellteil von 1 zeigt;
-
5 ein
Ablaufdiagramm einer Bildkorrekturroutine in einer Korrekturoperationseinrichtung
von 1;
-
6 ein
Schema zur Erläuterung
von entsprechenden Bereichen zwischen einem Referenzbild und einem
Vergleichsbild;
-
7 ein
Schema zur Erläuterung
eines Rotationswinkels bei der Affintransformation eines Vergleichsbilds;
-
8 ein
Schema zur Erläuterung
der Abweichung einer Horizontallinie einer Hauptkamera von einer Grundlinie;
und
-
9 ein
Schema zur Erläuterung
eines von der Seite betrachteten Kamerasystems.
-
GENAUE BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Unter
Bezugnahme auf die beigefügten
Zeichnungen wird nachstehend die bevorzugte Ausführungsform der vorliegenden
Erfindung beschrieben. Die 1 bis 9 zeigen
die bevorzugte Ausführungsform
der vorliegenden Erfindung.
-
Zuerst
wird unter Bezugnahme auf die 3A und 3B die
Gesamtkonstruktion der bevorzugten Ausführungsform der Erfindung beschrieben.
Dabei sind die 3A und 3B eine
Draufsicht bzw. eine Seitenansicht einer Stereokamera. In den 3A und 3B weist
eine Stereokamera 1 zwei miteinander synchronisierte Kameras 2 und 3 auf.
Jede der Kameras 2 und 3 weist einen Bildwandler
wie etwa einen CCD-Bildwandler darin auf, der fähig ist, die Belichtungszeit
zu ändern.
Die eine Kamera (erste Kamera) 2 dient als Hauptkamera
für die
Aufnahme eines Referenzbilds zur Stereoverarbeitung, und die andere
Kamera (zweite Kamera) 3 dient als Unterkamera für die Aufnahme
eines Vergleichsbilds zur Stereoverarbeitung. Diese Kameras 2 und 3 sind
in regelmäßigen Abständen an
einer Halterung 4 vorgesehen.
-
Zwei
von den Kameras 2 und 3 aufgenommene Bilder werden über eine
Bildeingabeeinheit 10 in eine Stereoverarbeitungseinheit 40 eingegeben.
In der Stereoverarbeitungseinheit 40 wird die Übereinstimmung der
beiden Bilder miteinander durch den Stereo abgleich geschätzt, um
eine dreidimensionale Position eines Objekts zu berechnen, ein Bild
des Objekts zu erkennen usw. In diesem Fall sind die beiden Kameras 2 und 3 so
eingestellt, daß sie
an der Halterung 4 fest angebracht sind, so daß ihre optischen
Achsen in der Anfangs- bzw. Herstellungsphase parallel zueinander
sind. Es besteht jedoch die Möglichkeit,
daß beim
normalen Gebrauch Abweichungen der optischen Achsen verursacht werden
und auf lange Sicht die Genauigkeit der Entfernungsmessung schlechter
wird, so daß Fehler
letztlich nicht ignoriert werden können.
-
Daher
hat die zwischen den Kameras 2, 3 und der Stereoverarbeitungseinheit 40 vorgesehene Bildeingabeeinheit 10 die
Funktion, die optischen Positionen der Kameras 2 und 3 durch
eine Bildkorrektur einzustellen, um die Abweichungen der von den
Kameras 2 und 3 aufgenommenen Bilder automatisch
zu korrigieren und die optischen Achsen der Kameras 2 und 3 präzise und äquivalent
einzustellen, und zwar bereits in einer Phase, in der die Abweichungen
der optischen Achsen der Kameras 2 und 3 gering
sind, d. h. in einer frühen
Phase, in der während
des Stereoabgleichs in der Stereoverarbeitungseinheit 40 die
Fehlausfluchtung gering ist.
-
Unter
Bezugnahme auf 1 werden nachstehend die Einzelheiten
der Bildeingabeeinheit 10 von 3 beschrieben.
-
Wie 1 zeigt,
weist die Bildeingabeeinheit 10 folgendes auf: eine Bildeingabeeinrichtung 10a zur Eingabe
eines aufgenommenen Bilds; eine Bildeinstelleinrichtung 10b zur
Durchführung
einer geometrischen Umwandlung wie etwa einer Rotation und Parallelverlagerung
des Bilds; und eine Korrekturoperationseinrichtung 10c zum
Berechnen eines Umwandlungswerts für das Bild.
-
Die
Bildeingabeeinrichtung 10a hat Analogschnittstellen 11 und 12 zum
Einstellen von von den Kameras 2 und 3 ausgegebenen
Analogbildern an nachgeschaltete Eingabebereiche sowie A/D-Wandler 13 und 14 zum
Umwandeln der Analogbilder in Digitalbilder, die eine vorbestimmte
Helligkeit und Abstufung (z. B. eine Grauskala mit 256 Abstufungen)
haben.
-
Die
Bildeinstelleinrichtung 10b hat Eingabebildspeicher 15 und 16 zum
vorübergehenden
Speichern der digitalisierten Bilder sowie Affintransformationsschaltkreise 17 und 18 zur
Durchführung
einer geometrischen Umwandlung wie etwa Rotation und Parallel verlagerung
der in den Eingabebildspeichern 15 und 16 gespeicherten
Digitalbilder, um die geometrisch umgewandelten Bilder an die Stereoverarbeitungseinheit 40 auszugeben.
-
Die
Affintransformationsschaltkreise 17 und 18 führen Korrekturen
aus, wenn entsprechende Punkte der von den Kameras 2 und 3 aufgenommenen
Bilder sich infolge der Abweichungen der optischen Achsen ausgehend
von den Originalpositionen geometrisch verlagern. Als repräsentatives
Beispiel eines der Affintransformationsschaltkreise 17 und 18 ist
der innere Aufbau des Affintransformationsschaltkreises 17 in 2 gezeigt.
-
Der
Affintransformationsschaltkreis 17 weist auf: eine Bildspeicherdatenschnittstelle 20 zum
Einschreiben von Daten in den Eingabebildspeicher 15 und
zum Lesen von Daten aus dem Eingabebildspeicher 15; eine
Bildspeicheradreßschnittselle 21 zum
Adressieren des Eingabebildspeichers 15; einen Eingabebildeinschreibadressenerzeugungs-Schaltkreis 22 zum
Erzeugen einer Adresse, wenn die von dem A/D-Wandler 13 ausgegebenen
Bilddaten in den Eingabebildspeicher 15 geschrieben werden;
einen Umkehraffintransformations-Leseadreßerzeugungsschaltkreis 23 zum
Erzeugen einer Adresse, die zum Lesen der Bilddaten aus dem Eingabebildspeicher 15 dient,
um das Bild durch die Umkehraffintransformation geometrisch umzuwandeln;
und einen Interpolationsoperationsschaltkreis 24 zum Durchführen der
linearen Interpolation von Daten, die durch die Umkehraffintransformation
ausgelesen wurden, um umgewandelte Bilddaten auszugeben.
-
Dabei
sind bei der geometrischen Umwandlung des Bilds unter Verwendung
der Affintransformationsschaltkreise 17 und 18 das
ursprüngliche
Bild vor der Umwandlung und das umgewandelte Bild Digitalbilder, in
denen Pixel in Form eines Gitters angeordnet sind, und die Konzentrationswerte
der Pixel in dem umgewandelten Bild sind durch die Konzentrationswerte
der entsprechenden Pixelpositionen gegeben, die durch die Umkehraffintransformation
des ursprünglichen
Bilds gewonnen sind. Die durch die Umkehraffintransformation gewonnenen
entsprechenden Pixelpositionen sind nicht allgemein ganzzahlige
Pixelpositionen, so daß die
Pixel in dem umgewandelten Bild keinen Pixeln in dem ursprünglichen
Bild entsprechen. Daher führt
der Interpolationsoperationsschaltkreis 24 die lineare
Interpolation unter Verwendung der Konzentrationswerte von vier umgebenden
Pixeln aus, um die Konzentrationswerte der Pixel an dem umgewandelten
Bild möglichst
eng abzuleiten.
-
Wenn,
wie 4 zeigt, von den Kameras 2 und 3 ausgegebene
Bildsignale, z. B. Bildsignale wie etwa NTSC-Bildsignale, die von
den Kameras 2 und 3 synchron mit einem Zeilensynchronsignal
und einem Rahmensynchronsignal ausgegeben werden, in einer Abtastperiode
eines Feldsignals abgetastet werden, wandeln die Affintransformationsschaltkreise 17 und 18 das
abgetastete Bild in dem nächsten
Feldintervall um.
-
Das
heißt,
das Verstärkungsoffset
usw. der von den Kameras 2 und 3 ausgegebenen
Bildsignale wird auf die Eingabebereiche der A/D-Wandler 13 und 14 mittels
der Analogschnittstellen 11 und 12 eingestellt.
Die von den A/D-Wandlern 13 und 14 umgewandelten
Digitalbilddaten werden in den Eingabebildspeichern 15 und 16 entsprechend
den Adressen gespeichert, die von den Eingabebildschreibadreßerzeugungs-Schaltkreisen 22 und 22 der
Affintransformationsschaltkreise 17 und 18 erzeugt
werden. Im nächsten
Feldintervall werden die Konzentrationsdaten an Adressen, die von
den Umkehraffintransformations-Leseadreßerzeugungsschaltkreisen 23 und 23 der
Affintransformationsschaltkreise 17 und 18 erzeugt
werden, aus den Eingabebildspeichern 15 und 16 gelesen.
Dann werden die Interpolationsoperationen der Konzentrationsdaten
mittels der Interpolationsoperationsschaltkreise 24 und 24 der
Affintransformationsschaltkreise 17 und 18 ausgeführt, um die
umgewandelten Bilder an die Stereoverarbeitungseinheit 40 auszugeben.
-
Die
Korrekturwerte für
die Änderungen
der optischen Achsen der Kameras 2 und 3, d. h.
die Bildumwandlungswerte in den Affintransformationsschaltkreisen 17 und 18,
können
aus Koordinatendaten eines von einem aufgenommenen Bild ausgehend
gemessenen Koinzidenzpunkts erhalten werden, der durch Aufnehmen
eines speziellen Einstellmusters erhalten ist, das in einer bekannten
Entfernung (einer Entfernung, durch die eine Parallaxe invers berechnet
werden kann) angeordnet ist. Gemäß der vorliegenden
Erfindung werden jedoch, während
ein Bild einer normalen Landschaft aufgenommen wird, um die normale
Operation für
die Stereobildverarbeitung ohne die Notwendigkeit von speziellen
Einstellmustern auszuführen,
die Korrekturwerte durch die Korrekturoperationseinrichtung 10c bearbeitet,
um den Affintransformationsschaltkreisen 17 und 18 als
die Bildumwandlungswerte zugeführt
zu werden, um automatisch eine Einstellung vorzunehmen.
-
Die
Korrekturoperationseinrichtung 10c weist einen Computer
auf, der eine CPU 31, Bildspeicher 32 und 33 usw.
hat. Die Korrekturoperationseinrichtung 10c ist mit den
A/D-Wandlern 13 und 14 der Bildeingabeeinheit 10 über die
Bildspeicher 32 und 33 und mit der Stereoverarbeitungseinheit 40 verbunden.
Es ist zu beachten, daß die
Korrekturoperationseinrichtung 10c Teil der Stereoverarbeitungseinheit 40 sein
kann und die Korrekturverarbeitung als Hintergrundaufgabe der Stereobildverarbeitung
durchführen
kann.
-
Unter
Bezugnahme auf das Ablaufdiagramm von 5 wird nachstehend
die Bildkorrektur beschrieben, die von der Bildeinstelleinrichtung 10b und
der Korrekturoperationseinrichtung 10c ausgeführt wird.
-
5 ist
eine Bildkorrekturroutine, die von der CPU 31 der Korrekturoperationseinrichtung 10c jeweils in
einer vorbestimmten Periode ausgeführt wird. In dieser Routine
werden in Schritt S100 die Resultate eines Gruppenfilters, die erhalten
werden, wenn von den Kameras 2 und 3 aufgenommene
Bilder einer Landschaft verarbeitet werden, um dreidimensionale
Objektdaten aus einem Entfernungsbild zu extrahieren, aus der Stereoverarbeitungseinheit 40 ausgelesen,
und einige kleine Bereiche für
die Operation von Korrekturwerten werden in das von der Hauptkamera 2 aufgenommene
Bild, d. h. in ein Referenzbild, gesetzt.
-
Beispielsweise
sei angenommen, daß jeder
der kleinen Bereiche ein Bereich von 16 × 16 Pixeln ist, von denen
die Hälfte
oder mehr entsprechende Entfernungsbilddaten aufweisen. Als die
kleinen Bereiche werden drei Bereiche ausgewählt, die zwei entfernte Bereiche
in einer langen Entfernung von ungefähr 50 bis 60 m und einen nahen
Bereich in einer kleinen Entfernung von bis zu ungefähr 5 m umfassen.
Die beiden entfernten Bereiche sind so voneinander entfernt, daß sie im
wesentlichen die gleichen Entfernungsdaten haben. Ferner ist das
Gruppenfilter ein Softwarefilter zum Detektieren einer Gruppe, die
eine Bildabweichung ähnlich
derjenigen von umgebenden Pixeln hat, um auf wirksame Weise Störungen zu
entfernen, die in dem Entfernungsbild enthalten sind. Ein solches
Gruppenfilter ist in der JP-Patentanmeldung 9-86877 angegeben, die
auf die Anmelderin übertragen
ist und hier summarisch eingeführt
wird.
-
Dann
geht die Routine zu Schritt S110, in dem Entfernungsdaten (Abweichung)
zu den Positionen der jeweiligen Bereiche des in Schritt S100 vorgegebenen
Referenzbilds hinzuaddiert werden, um einen Bereich zum Absuchen
der entsprechenden Bereiche in dem von der Unterkamera 3 aufgenommenen
Bild, d. h. in dem Vergleichsbild, zu definieren. Dann wird in Schritt
S120 dieser Bereich abgesucht, um die Positionen der Bereiche mit einer
Auflösung
von einem Pixel oder weniger (z. B. einer Auflösung von 1/10 Pixel) durch
die Sub-Pixelverarbeitung abzuleiten.
-
Als
Resultat werden in einem Koordinatensystem gemäß 6, in dem
der Ursprung in einer linken oberen Ecke eines Bilds angeordnet
ist und X- und Y-Koordinaten in Horizontal- und Vertikalrichtung
angeordnet sind, die Positionskoordinaten (Xc1, Yc1) und (Xc2, Yc2)
von zwei entfernten Bereichen #1C und #2C und die Positionskoordinate
(Xc3, Yc3) von einem nahen Bereich #3C des Vergleichsbilds für die Positionskoordinaten
(Xr1, Yr1) und (Xr2, Yr2) von zwei entfernten Bereichen #1R und
#2R und die Positionskoordinate (Xr3, Yr3) von einem nahen Bereich
#3R des Referenzbilds abgeleitet.
-
Anschließend wird
in Schritt S130 eine Differenz zwischen den Y-Komponenten der Positionskoordinaten
von einem von den zwei entfernten Bereichen auf der Referenzbildseite
und dem entsprechenden entfernten Bereich auf der Vergleichsbildseite,
z. B. eine Differenz (Yr1 – Yc1)
zwischen den Y-Komponenten der Positionskoordinate (Xr1, Yr1) des
linken entfernten Bereichs #1R auf der Referenzbildseite und der
Positionskoordinate (Xc1, Yc1) des entsprechenden linken entfernten
Bereichs #1C auf der Vergleichsbildseite in 6, abgeleitet
und dem Vorgabewert des Affintransformationsschaltkreises 18 auf
der Vergleichsbildseite als ein Y-Richtungs-Translationskorrekturwert,
d. h. als ein Bildtranslations-Umwandlungswert in Y-Richtungen,
hinzuaddiert, um das Bild (das Vergleichsbild) der Unterkamera 3 in
Y-Richtungen parallel zu verschieben.
-
Dann
geht die Routine zu Schritt S140, in dem ein X-Richtungs-Translationskorrekturwert
für das
Vergleichsbild abgeleitet wird, um zu dem Vorgabewert des Affintransformationsschaltkreises 18 auf
der Vergleichsbildseite hinzuaddiert zu werden, um das Bild der
Unterkamera 3 in X-Richtungen parallel zu verlagern. Dieser
X-Richtungs-Translationskorrekturwert
kann durch eine Abweichung Z0 zwischen den Referenz- und Vergleichsbildern
im Unendlichen gegeben sein. Die Abweichung Z0 im Unendlichen kann
durch die nachstehende Gleichung (1) dargestellt werden unter Verwendung
einer Entfernung d1 zu dem entfernten Bereich, einer Entfernung
d3 zu dem nahen Bereich, einer Abweichung Z1 zwischen dem Referenz-
und dem Vergleichsbild in dem entfernten Bereich und einer Abweichung
Z3 zwischen dem Referenz- und dem Vergleichsbild im nahen Bereich.
Es wird also davon ausgegangen, daß –Z0 ein Translationswext des
Vergleichsbilds in Querrichtungen (X-Richtungen) ist. Z0 = (d3·Z3 – d1·Z1)/(d1 – d3) (1)
-
Ursprünglich brauchen
an den entsprechenden Punkten der Referenz- und der Vergleichsbilder
nur X-Koordinaten in Horizontalrichtungen verschieden zu sein, um
eine Parallaxe zu detektieren, und Y-Koordinaten müssen die
gleichen sein. Daher werden in dem vorstehenden Schritt S130 die
Positionen der Y-Koordinaten von einem der beiden entfernten Bereiche
in den Referenz- und Vergleichsbildern dazu gebracht, miteinander
koinzident zu sein, und in dem obigen Schritt S140 wird die Position
der X-Koordinate in dem Referenzbild auf eine Position eingestellt,
an der die ursprüngliche
Parallaxe detektiert werden soll.
-
Dann
wird in Schritt S150 das Vergleichsbild gedreht, so daß die Position
der Y-Koordinate des anderen Bereichs des Vergleichsbilds mit derjenigen
des Referenzbilds koinzident ist. Wie 7 zeigt,
wird dabei das Vergleichsbild um die Positionskoordinate (Xr1, Yr1)
des linken entfernten Bereichs #1R des Referenzbilds gedreht, so
daß der
Y-Koordinatenwert Yc2 des rechten entfernten Bereichs #2C des Vergleichsbilds
mit dem Y-Koordinatenwert Yr2 des rechten entfernten Bereichs #2R
des Referenzbilds koinzident ist. Wenn die Koordinate (Xc2, Yc2)
durch einen Rotationswinkel θ um
die Koordinate (Xr1, Yr1) gedreht wird, kann eine Koordinate (Xc2', Yc2') nach der Rotation
durch die folgende Gleichung (2) dargestellt werden.
-
-
Wenn
der Y-Koordinatenwert Yc2' des
Bereichs #2C des Vergleichsbilds nach der Rotation mit dem Y-Koordinatenwert
Yr2 des Bereichs #2R des Referenzbilds koinzident ist und die obige
Gleichung (2) in bezug nur auf Y-Komponenten neu geordnet wird unter
der Annahme, daß Yc2' = Yr2, dann kann
die nachstehende Gleichung (3) erhalten werden. Yr2 – Yr1 = (Xc2 – Xr1)·sinθ + (Yc2 – Yr1)·cosθ (3)
-
Wenn
ferner Yr2 – Yr1
= A, Xc2 – Xr1
= B, Yc2 – Yr1
= C und cosθ = ±(1 – sin2θ)1/2 für
die obige Gleichung (3) substituiert werden, um die Gleichung (3)
in bezug auf sinθ zu
lösen,
dann kann die nachstehende Gleichung (4) erhalten werden. sinθ = (A·B ± C·(B2 +
C2 – A2)1/2)/(B2 + C2) (4)
-
Wenn
Yr2 = Yc2 und Y = C, d. h. wenn der Y-Koordinatenwert des rechten
entfernten Bereichs #2R des Referenzbilds mit dem Y-Koordinatenwert
des rechten entfernten Bereichs #2C des Vergleichsbilds koinzident
gewesen ist, ist die obige Gleichung (4) gleich 0, da eine Rotation
nicht erforderlich ist. In diesem Fall ist aus der nachstehenden
Gleichung (5) ersichtlich, daß das
Vorzeichen des zweiten Terms des Zählers der vorstehenden Gleichung
(4) negativ sein muß. sinθ = B·(A ± C)/(B2 +
C2) = 0 (5)
-
Der
Rotationswinkel θ kann
also durch die nachstehende Gleichung (6) abgeleitet werden. Dieser
Rotationswinkel θ wird
dem Vorgabewert des Affintransformationsschaltkreises 18 auf
der Vergleichsbildseite als ein Bildrotationsumwandlungswert um
die Koordinate (Xr1, Yr1) hinzuaddiert, um das Bild (das Vergleichsbild) der
Unterkamera 3 zu drehen. θ =
sin–1(A·B – C·(B2 + C2 – A2)1/2)/(B2 + C2) (6)
-
Durch
diese Rotation des Vergleichsbilds wird auch der nahe Bereich #3C
des Vergleichsbilds gedreht. Wenn die Grundlinien der Kameras 2 und 3 nicht
parallel zu der Horizontallinie der Hauptkamera 2 sind, so
daß die
Horizontallinie der Hauptkamera 2 um einen Winkel ϕ in
bezug auf die Grundlinien geneigt ist, wie 8 zeigt,
besteht eine Differenz ΔYm – ΔYs zwischen
dem Y-Koordinatenwert Yr3 des nahen Bereichs #3R des Referenzbilds
und dem Y-Koordinatenwert Yc3 des nahen Bereichs #3C des Vergleichsbilds
nach der Rotation, wie 9 zeigt.
-
Daher
wird in dem nächsten
Schritt S160 die Rotation um die Koordinate (Xr1, Yr1) um den Drehwinkel ϕ auf
der Referenzbildseite zu dem Vorgabewert hinzuaddiert, um die Differenz ΔYm – ΔYs zu entfernen.
Wie aus 8 deutlich zu sehen ist, kann
der Drehwinkel ϕ aus der Grundlänge B der Kameras 2 und 3 und
einer Abweichung ΔY
zwischen den Mittelpunkten des Referenz- und des Vergleichsbilds
in einer Brennebene abgeleitet werden. Die Abweichung ΔY kann unter
Nutzung des Brennpunkts f, der Entfernung d1 zu dem entfernten Bereich,
der Entfernung d3 zu dem nahen Bereich und der Differenz ΔYm – ΔYs auf der
Grundlage der geometrischen Beziehung bei Betrachtung des Kamerasystems
von der Seite, wie in 9 gezeigt ist, abgeleitet werden.
-
Somit
kann die Abweichung ΔY
durch die nachstehende Gleichung (7) abgeleitet werden unter Nutzung
der Differenz ΔYm – ΔYs zwischen
der Abweichung ΔYm
des nahen Bereichs von dem Mittelpunkt des Referenzbilds, das auf
der CCD-Oberfläche
(der Bildaufnahmeoberfläche)
gebildet ist, und der Abweichung ΔYs
des nahen Bereichs von dem Mittelpunkt des Vergleichsbilds, das
auf der CCD-Oberfläche
gebildet ist. Aus der Abweichung ΔY
und der Grundlänge
B kann der Drehwinkel ϕ schließlich durch die nachstehende Gleichung
(8) abgeleitet werden. ΔY = (ΔYm – ΔYs)·d1·d3/(·(d1 – d3)) (7) ϕ = tan–1(ΔY/B) = tan–1((ΔYm – ΔYs)·d1·d3)/(B·f·(d1 – d3)) (8)
-
Wenn
die Vergleichs- und Referenzbilder auf die vorstehende Weise gedreht
werden, geht die Routine von dem obigen Schritt S160 zu Schritt
S170, in dem geprüft
wird, ob die Drehwinkel θ und ϕ ausreichend
klein sind, um innerhalb eines zulässigen Bereichs von Werten
zu liegen. Wenn die Drehwinkel θ und ϕ die
zulässigen
Werte nicht erreicht haben, springt die Routine zu Schritt S120
zurück,
in dem die Position des entsprechenden Bereichs des Vergleichsbilds
erneut durch die Sub-Pixel-Verarbeitung bestimmt wird. Dann wird
der gleiche Prozeß wiederholt,
und wenn die Drehwinkel θ und ϕ ausreichend
klein unterhalb des zulässigen
Werts sind, endet die Routine.
-
Somit
können
die Abweichungen der optischen Achsen der Kameras 2 und 3,
die im Normalgebrauch allmählich
hervorgerufen werden, automatisch korrigiert werden, während gleichzeitig
der Betriebszustand im Feld aufrechterhalten wird.
-
Es
wurde zwar die derzeit bevorzugte Ausführungsform der vorliegenden
Erfindung gezeigt und beschrieben, es versteht sich jedoch, daß diese
Offenbarung nur dem Zweck der Veranschaulichung dient und verschiedene Änderungen
und Modifikationen vorgenommen werden können, ohne vom Umfang der Erfindung
gemäß der Definition
in den beigefügten
Ansprüchen
abzuweichen.