DE102013108070A1

DE102013108070A1 - Bildkalibrierung und Entzerrung einer Weitwinkelkamera

Info

Publication number: DE102013108070A1
Application number: DE102013108070.7A
Authority: DE
Inventors: Wende Zhang; Jinsong Wang; Bakhtiar Brian Litkouhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-09-25
Filing date: 2013-07-29
Publication date: 2015-02-05
Also published as: US20140085409A1; DE102013108070A9

Abstract

Ein System und ein Verfahren zum Bereitstellen einer Kalibrierung und eines Entzerrens für Ultraweitwinkelkameras. Das Verfahren umfasst ein Schätzen intrinsischer Parameter wie die Brennweite der Kamera und eines Bildzentrums der Kamera unter Verwendung mehrfacher Messungen der Objektpunkte nahe der optischen Achse und eines Visierlochkameramodells. Das Verfahren umfasst weiterhin ein Schätzen der Verzerrungsparameter der Kamera unter Verwendung eines Winkelverzerrungsmodells, das eine Winkelbeziehung zwischen einem zugehörigen optischen Strahl, der einen Objektpunkt in einem Objektraum passiert, und einem Bildpunkt auf einer Bildebene definiert, der ein Bild des Objektpunktes auf dem zugehörigen optischen Strahl ist. Das Verfahren kann einen Parameteroptimierungsprozess umfassen, um die Parameterschätzung zu verfeinern.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorzug des Prioritätsdatums der U.S. Provisional Patent Application, Seriennummer 61/705,534, mit dem Titel „Wide FOV Camera Image Calibration and De-Warping” (Bildkalibrierung und Entzerrung einer Weitwinkelkamera), die am 25. September 2012 eingereicht wurde.
HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Diese Erfindung betrifft im Allgemeinen ein System und Verfahren zum Kalibrieren und Entzerren einer Weitwinkel-(FOV-)Kamera und insbesondere ein System und ein Verfahren zum Kalibrieren und Entzerren einer Ultraweitwinkel-(Ultraweit-FOV-) Fahrzeugkamera, wobei das Verfahren als erstes eine Brennweite der Kamera und ein optisches Zentrum der Kamerabildebene schätzt und dann Verzerrungsparameter unter Verwendung eines Schätzmodells einer winkligen Verzerrung identifiziert.
2. Diskussion des Standes der Technik
Moderne Fahrzeuge haben im Allgemeinen eine oder mehrere Kameras, die eine Sicherheitsassistenz (back-up assistance) bereitstellen, Bilder des Fahrzeugfahrers aufnehmen, um die Fahrerschläfrigkeit oder Fahreraufmerksamkeit zu bestimmen, Bilder der Straße bereitstellen während das Fahrzeug fährt zum Zwecke der Kollisionsvermeidung, Strukturerkennung bereitstellen, wie Straßenschilder, usw. Für solche Anwendungen, bei denen Graphiken auf die Kamerabilder überlagert werden, ist es kritisch, die Position und Richtung der Kamera in Bezug auf das Fahrzeug genau zu kalibrieren. Eine Kamerakalibrierung betrifft typischerweise das Bestimmen eines Satzes von Parametern, die Kamerabildkoordinaten in Beziehung zu Fahrzeugkoordinaten und umgekehrt setzen. Einige Kameraparameter, wie die Kamerabrennweite, das optische Zentrum, etc. sind stabil, während andere Parameter, wie Kameraausrichtung und Position, es nicht sind. Die Höhe der Kamera hängt zum Beispiel von der Beladung des Fahrzeugs ab, welche sich von Zeit zu Zeit ändern wird. Diese Änderung kann verursachen, dass Überlagerungsgraphiken der Fahrzeugtrajektorien auf dem Kamerabild ungenau sind.
Gegenwärtige Sicherungsheckkameras an Fahrzeugen sind typischerweise Weitwinkelkameras (wide FOV cameras), zum Beispiel mit einem Weitwinkel (FOV) von 135°. Weitwinkelkameras stellen üblicherweise gekrümmte Bilder zur Verfügung, welche Bildverzerrungen rund um die Ränder des Bildes verursachen. Unterschiedliche Näherungen sind in der Technik bekannt, um eine Verzerrungskorrektur für Bilder dieser Kameratypen bereitzustellen, die ein Verwenden eines Modells einschließen, das auf einer Visierlochkamera und auf Modellen basiert, die eine radiale Verzerrung durch Definieren radialer Parameter korrigieren.
In der Technik wurde vorgeschlagen, ein Rundumsicht-Kamerasystem auf einem Fahrzeug bereitzustellen, das eine Frontkamera, eine Heckkamera und linke und rechte Seitenkameras einschließt, wobei das Kamerasystem eine Sicht von oben nach unten des Fahrzeugs und der umgebenden Bereiche unter Verwendung der Bilder von den Kameras erzeugt, und wobei die Bilder in den Ecken des Fahrzeugs einander überlappen. Die Ansicht von oben nach unten kann für den Fahrzeugfahrer angezeigt werden, um zu sehen, was das Fahrzeug zur Sicherheit, zum Parken etc. umgibt. Weiterhin können zukünftige Fahrzeuge keine Rückspiegel aufweisen, sondern, anstelle dessen, digitale Bilder, die durch die Rundumsicht-Kameras bereitgestellt werden.
Um eine Rundumsicht vollständig rund um das Fahrzeug mit einer minimalen Anzahl von Kameras bereitzustellen, werden verfügbare Weitwinkelkameras, die einen Weitwinkel von 135° aufweisen, nicht das gewünschte Abdeckungsniveau aufweisen, und deshalb müssen die Kameras Ultraweitwinkelkameras sein, die einen 180° oder größeren Weitwinkel aufweisen. Diese Arten der Ultraweitwinkelkameras werden manchmal auch als Fischaugenkameras bezeichnet, weil ihr Bild signifikant gekrümmt oder verzerrt ist. Um für die Fahrzeugsicherheit und die Rundumsichtanwendungen effektiv zu sein, ist es erforderlich, die Verzerrungen in den Bildern zu korrigieren.
ZUSAMMENFASSUNG DER ERFINDUNG
Im Einklang mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Bereitstellen eines Kalibrierens und Entzerrens für Ultraweitwinkelkameras offenbart. Das Verfahren umfasst ein Schätzen intrinsischer Parameter wie die Brennweite der Kamera und eines Bildzentrums der Kamera unter Verwendung mehrfacher Messungen der Objektpunkte nahe der optischen Achse und eines Visierlochkameramodells. Das Verfahren umfasst weiterhin ein Schätzen der Verzerrungsparameter der Kamera unter Verwendung eines Winkelverzerrungsmodells, das eine Winkelbeziehung zwischen einem zugehörigen optischen Strahl, der einen Objektpunkt in einem Objektraum passiert, und einen Bildpunkt auf einer Bildebene definiert, die ein Bild des Objektpunktes auf dem zugehörigen optischen Strahl ist. Das Verfahren kann einen Parameteroptimierungsprozess umfassen, um die Parameterschätzung zu verfeinern.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den beigefügten Patentansprüchen in Verbindung mit den beigefügten Figuren deutlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Darstellung eines Fahrzeugs, das ein Rundumsicht-Kamerasystem umfasst, das mehrere Kameras aufweist;
2 ist eine Darstellung eines Visierlochkameramodells;
3 ist eine Darstellung eines Kamerakorrekturmodells für eine schwache radiale Verzerrung;
4 ist eine Darstellung eines Kamerakorrekturmodells für eine starke radiale Verzerrung;
5 ist eine Darstellung für ein Winkelverzerrungs-Kameramodell;
6 ist eine Darstellung eines Kamerasystems für ein Schätzen einer Brennweite und eines optischen Zentrums für eine Kamera;
7 ist eine Darstellung, die zeigt, wie ein optisches Zentrum einer Kamerabildebene unter Verwendung des Kamerasystems, das in 6 gezeigt wird, bestimmt wird;
8 ist eine Darstellung, die zeigt, wie eine Kamerabrennweite unter Verwendung des Kamerasystems, das in 6 gezeigt wird, geschätzt wird;
9 ist eine Darstellung eines Kamerasystems zum Bestimmen einer Winkelverzerrungsschätzung;
10 ist eine Frontansicht des Kamerasystems, das in 9 gezeigt wird, welche den radialen Verzerrungsmessvorgang illustriert;
11 ist eine Darstellung einer ersten Kamerarotationsachse;
12 ist eine Darstellung einer zweiten Kamerarotationsachse; und
13 ist eine Darstellung einer kombinierten Kamerarotationsachse.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Die folgende Diskussion der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zum Kalibrieren und Entzerren einer Kamera gerichtet ist, ist rein beispielhafter Natur und in keiner Weise dazu gedacht, die Erfindung oder ihre Anwendungen oder Verwendungen einzuschränken. Die vorliegende Erfindung weist zum Beispiel eine Anwendung zum Kalibrieren und Entzerren einer Fahrzeugkamera auf. Jedoch, wie von Fachleuten anerkannt werden wird, kann die vorliegende Erfindung eine Anwendung zum Korrigieren von Verzerrungen in anderen Kameras aufweisen.
1 ist eine Darstellung eines Fahrzeugs 10, das ein Rundumsicht-Kamerasystem einschließt, welches eine Frontsichtkamera 12, eine Hecksichtkamera 14, eine Rechtsseitensicht-Kamera 16 und eine Linksseitensicht-Kamera 18 aufweist. Die Kameras 12–18 können beliebige Kameras sein, die für die Zwecke, die hierin beschrieben werden, geeignet sind, wobei viele von diesen in der Automobiltechnik bekannt sind, die in der Lage sind, Licht oder andere Strahlung zu empfangen, und die die Lichtenergie in elektrische Signale in einem Pixelformat unter Verwendung von zum Beispiel ladungsgekoppelten Bauteilen (CCD, charged coupled devices) zu konvertieren. Die Kameras 12–18 erzeugen Rahmen von Bilddaten mit einer bestimmten Datenrahmenrate, die für eine nachfolgende Bearbeitung gespeichert werden kann. Die Kameras 12–18 können innerhalb oder auf irgendeiner geeigneten Struktur montiert sein, die Teil des Fahrzeugs 10 ist, wie Stoßstangen, Verkleidung, Gitter, Seitenspiegel, Türflügel etc., wie von Fachleuten gut verstanden und anerkannt werden würde. In einer nicht begrenzenden Ausführungsform sind die Seitenkameras 16 und 18 unter den Seitenspiegeln montiert und nach unten gerichtet. Bilddaten der Kameras 12–18 werden an einen Prozessor 20 gesendet, der die Bilddaten verarbeitet, um Bilder zu erzeugen, die auf einer Fahrzeuganzeige 22 dargestellt werden können. Wie oben erwähnt, ist es zum Beispiel in der Technik bekannt, eine von oben nach unten gerichtete Ansicht eines Fahrzeugs bereitzustellen, welche Bilder in der Nähe und auf allen Seiten des Fahrzeugs bereitstellt.
Die vorliegende Erfindung schlägt einen effizienten und effektiven Kamerakalibierungs- und Entzerrungsprozess für Ultraweitwinkelkameras vor, der eine einfache Zweischritt-Näherung anwendet und geringe Kalibrierungsfehler bietet unter Verwendung direkter Messungen der radialen Verzerrungen für die Kalibrierung und einer besseren Modellierungsnäherung für eine radiale Verzerrungskorrektur. Die vorgeschlagene Kalibrierungsnäherung stellt eine effektive Rundumsicht und dynamische Rückspiegelsichtfunktionen mit einer verstärkten Entzerrungsbearbeitung und einem dynamischen Führungslinienüberlagerungsmerkmal für Ultraweitwinkelkameras bereit. Die hierin verwendete Kamerakalibrierung bezieht sich auf ein Schätzen einer Anzahl von Kameraparametern, die sowohl intrinsische als auch extrinsische Parameter einschließen. Die intrinsischen Parameter umfassen Brennweite, optisches Zentrum, radiale Verzerrungsparameter etc., und die extrinsischen Parameter schließen die Kameraposition und Kameraausrichtung etc., ein.
In der Technik sind Modelle zum Kartographieren von Objekten im Weltraum zu einer Bildsensorebene einer Kamera bekannt, um ein Bild zu erzeugen. Ein Modell, das in der Technik bekannt ist, wird als ein Visierlochkameramodell bezeichnet, das zum Modellieren des Bildes für Schmalwinkelkameras, die weniger als 20° aufweisen, effektiv ist, wobei das Modell das Objekt, das in der Bildsensorebene der Kamera abzubilden ist, projiziert. Das Visierlochkameramodell wird definiert als:
2 ist eine Darstellung 30 für ein Visierlochkameramodell und zeigt eine zweidimensionale Kamerabildebene 32, die durch die Koordinaten u, ν definiert ist, und einen dreidimensionalen Objektraum 34, der durch die Weltkoordinaten x, y und z definiert ist. Der Abstand von einem Brennpunkt C zu der Bildebene 32 ist die Brennweite f der Kamera und wird durch Brennweitenanteile f_u und f_ν definiert. Eine senkrechte Linie von dem Punkt C zu dem Hauptpunkt der Bildebene 32 definiert das Bildzentrum der Ebene 32, das durch u₀, ν₀ gekennzeichnet ist. In der Darstellung 30 wird ein Objektpunkt M in dem Objektraum 34 zu der Bildebene 32 beim Punkt m kartographiert, wobei die Koordinaten des Bildpunktes m u_c, ν_c sind.
Die Gleichung (1) schließt die Parameter ein, die zum Bereitstellen des Kartographierens eines Punktes M in dem Objektraum 34 zu einem Punkt m in der Bildebene 32 verwendet werden. Insbesondere intrinsische Parameter schließen f_u, f_ν, u_c, ν_c und ϒ ein, und extrinsische Parameter schließen eine 3 × 3 Matrix R für die Kamerarotation und einen 3 × 1 Translationsvektor t von der Bildebene 32 zu dem Objektraum 34 ein. Der Parameter ϒ repräsentiert eine Verbundenheit der zwei Bildachsen, was typischerweise vernachlässigbar ist und oft auf Null gesetzt wird. Eine detaillierte Diskussion, wie die intrinsischen und extrinsischen Parameter berechnet werden, wird unten bereitgestellt.
Weil das Visierlochkameramodell auf einem Punkt in der Bildebene 32 basiert, schließt das Modell keine Parameter zur Korrektur von radialer Verzerrung ein, nämlich einer Krümmung des Bildes, und somit ist das Lochkameramodell nur effektiv für Nahwinkelkameras. Für Weitwinkelkameras, welche Krümmungen des Bildes aufweisen, ist das Visierlochkameramodell allein typischerweise nicht geeignet.
3 ist eine Darstellung 40 für ein radiales Verzerrungskorrekturmodell, das unten in Gleichung (2) gezeigt wird, auf das manchmal auch als Brown-Conrady-Modell Bezug genommen wird, das eine Korrektur für schwache radiale Verzerrung für Objekte bereitstellt, die auf einer Bildebene 42 von einem Objektraum 44 abgebildet werden. Die Brennweite f der Kamera ist der Abstand zwischen dem Punkt 46 und dem Zentrum der Bildebene 42 entlang der Linie 48 senkrecht zu der Bildebene 42. In der Darstellung 40 repräsentiert eine Bildposition r₀ an dem Schnittpunkt der Line 50 und der Bildebene 42 einen virtuellen Bildpunkt m₀ des Objektpunktes M, wenn ein Visierlochkameramodell verwendet wird. Da jedoch das Kamerabild eine radiale Verzerrung aufweist, liegt der reale Bildpunkt m in der Position r_d, welches der Schnittpunkt der Linie 48 mit der Bildebene 42 ist. Die Werte r₀ und r_d sind keine Punkte, sondern der radiale Abstand von dem Bildzentrum u₀, v₀ zu den Bildpunkten m₀ und m. r_d = r₀(1 + k₁·r 2 / 0 + k₂·r 4 / 0 + k₃·r 6 / 0 + ...) (2)
Der Punkt r₀ wird unter Verwendung des Visierlochmodells, das oben erörtert wurde, und welches die erwähnten intrinsischen und extrinsischen Parameter einschließt, bestimmt. Die Modellgleichung (2) ist ein Polynom gerader Ordnung, welche den Punkt r₀ zu dem Punkt r_d in der Bildebene 42 konvertiert, wobei k die Parameter sind, die bestimmt werden müssen, um die Korrektur bereitzustellen, und wobei die Anzahl der Parameter k den Grad der Korrekturgenauigkeit definiert. Der Kalibrierungsprozess wird in der Laborumgebung für die spezielle Kamera, welche die Parameter k bestimmt, durchgeführt. Somit schließt zusätzlich zu den intrinsischen und extrinsischen Parametern für das Visierlochkameramodell das Modell der Gleichung (2) die zusätzlichen Parameter k ein, um die radiale Verzerrung zu bestimmen.
Die Korrektur der schwachen radialen Verzerrung, die durch die Modellgleichung (2) bereitgestellt wird, ist typischerweise für Weitwinkelkameras, wie den Kameras mit 135° Weitwinkel, effektiv. Für Ultraweitwinkelkameras, nämlich mit einem Weitwinkel von 180°, ist die radiale Verzerrung jedoch zu stark, um für die Modellgleichung (2) effektiv zu sein. Mit anderen Worten, wenn der Weitwinkel der Kamera einen bestimmten Wert übersteigt, zum Beispiel 140°–150°, geht der Wert r₀ gegen unendlich, wenn der Winkel θ sich 90° nähert. Für Ultraweitwinkelkameras wurde ein Korrekturmodell für starke radiale Verzerrung, das in Gleichung (3) gezeigt wird, in der Technik vorgeschlagen, um eine Korrektur für starke radiale Verzerrung bereitzustellen.
4 ist eine Darstellung 52 für ein Korrekturmodell einer starken Verzerrung, das unten in Gleichung (3) gezeigt wird, wobei die Gleichung (3) ein Polynom ungerader Ordnung ist und eine Technik für ein Bereitstellen einer radialen Korrektur des Punktes r₀ zu dem Punkt r_d in der Bildebene 42 einschließt. Wie oben ist die Bildebene durch die Koordinaten u, ν gekennzeichnet, und der Objektraum ist durch die Weltkoordinaten x, y, z gekennzeichnet. Ferner ist θ die optische Achse. In der Darstellung 52 ist der Punkt p' der virtuelle Bildpunkt des Objektpunktes M unter Verwendung des Visierlochkameramodells, wobei sein radialer Abstand r₀ gegen unendlich gehen kann, wenn θ sich 90° nähert. Der Punkt p in dem radialen Abstand r ist das wahre Bild des Punktes M, welcher die radiale Verzerrung aufweist, die durch die Gleichung (3) modelliert werden kann.
Die Werte p der Gleichung (3) sind die Parameter, die bestimmt werden. Somit wird der zugehörige Winkel θ verwendet, um die Verzerrungskorrektur basierend auf den berechneten Parametern während des Kalibrierungsprozesses bereitzustellen. r_d = p₁·θ₀ + p₂·θ 3 / 0 + p₃·θ 5 / 0 + ... (3)
Auch sind unterschiedliche Techniken im Stand der Technik bekannt, um die Schätzung der Parameter k für die Modellgleichung (2) oder die Parameter p für die Modellgleichung (3) bereitzustellen. In einer Ausführungsform wird zum Beispiel ein Schachbrettmuster verwendet und mehrfache Bilder der Muster aufgenommen, wobei jeder Punkt in den Mustern zwischen benachbarten Quadraten identifiziert wird. Jeder der Punkte und der Quadrate in dem Schachbrettmuster wird markiert und die Position von jedem Punkt wird sowohl in der Bildebene als auch in dem Objektraum in Weltkoordinaten identifiziert. Jeder der Punkte in dem Schachbrettmuster wird für all die mehrfachen Bilder basierend auf der Position derartiger Punkte identifiziert, und die Kalibrierung der Kamera wird erhalten.
Obgleich die Modellgleichung (3) gezeigt hat, dass sie effektiv für Ultraweitwinkelkameras ist, um eine radiale Verzerrung zu korrigieren, können Verbesserungen durchgeführt werden, um eine schnellere Kalibrierung mit weniger Kalibrierungsfehlern bereitzustellen.
Wie oben erwähnt, schlägt die vorliegende Erfindung vor, eine Verzerrungskorrektur für eine Ultraweitwinkelkamera basierend auf einer Winkelverzerrung anstelle einer radialen Verzerrung bereitzustellen. Gleichung (4) unten ist eine Wiederherstellung der Modellgleichung (3), die eine radiale Verzerrung r zeigt. Gleichung (5) ist ein neues Modell zum Bestimmen eines Verzerrungswinkels ϑ, wie hierin erörtert, und ist ein vollständiges Polynom. Die Beziehung zwischen der radialen Verzerrung r und dem Verzerrungswinkel ϑ wird durch die Gleichung (6) gegeben. Die radiale Verzerrung r wird aus den Bildpunkten p (u_d, ν_d) berechnet und wird zu dem Verzerrungswinkel ϑ unter Verwendung der Gleichung (6) konvertiert, wobei die Gleichung (6) die gradlinige Projektion unter Verwendung des Visierlochmodells ist. r = h(θ) = p₁·θ + p₂·θ³ + p₃·θ⁵ + ... (4) ϑ = g(θ) = P₁·θ + p₂·θ² + p₃·θ⁵ + ... (5) tan(ϑ) = r/f (6)
5 ist eine Darstellung 60 für die Modellgleichung (5), die eine Beziehung zwischen dem Verzerrungswinkel ϑ und der radialen Verzerrung r zeigt. Die Darstellung 60 zeigt eine Bildebene 62, die ein Bildzentrum 64 aufweist, wobei die Bildebene 62 eine Brennweite f an dem Punkt 66 hat. Eine Punktlichtquelle 68 in dem Objektraum definiert eine Linie 70 durch den Brennpunkt f am Punkt 66. Eine Punktlichtquelle 68 in dem Objektraum definiert eine Linie durch den Brennpunkt 66 zu dem Bildzentrum 64 in der Bildebene 62. Die Punktlichtquelle 68 wird zu anderen Positionen bewegt, die durch die Positionen 72 repräsentiert werden, wenn die Kamera gedreht wird, um andere zugehörige Winkel bereitzustellen, wie hierin erörtert, insbesondere die Linien 74, die durch den Brennpunkt 66 gehen, relativ zu der Linie 70, definieren die Winkel θ₁, θ₂ und θ₃. Die Linien 76 von dem Fokuspunkt 66 zu den verzerrten Bildpunkten bei r₁, r₂ und r₃ in der Bildebene 62 definieren die Verzerrungswinkel ϑ₁, ϑ₂ und ϑ₃. Die Winkel ϑ₁, ϑ₂ und ϑ₃ zwischen der Linie 70 und den verzerrten Bildpunkten bei r₁, r₂ und r₃ stellen die Winkelverzerrung, wie sie durch die Modellgleichung (5) illustriert wird, bereit. Wenn somit die Bildbrennweite f und das Bildzentrum 64 bekannt sind, weist die radiale Verzerrung r und der Verzerrungswinkel ϑ eine eins-zu-eins Korrespondenz auf und kann berechnet werden. Somit basiert die Darstellung 60 auf: ϑ = f ' / distort(θ₀) (7)
Wie es unten im Detail erörtert wird, schlägt die vorliegende Erfindung mindestens eine Zweischrittnäherung für die Kalibrierung einer Kamera unter Verwendung einer Winkelverzerrung vor und stellt eine Bildentzerrung bereit. Der erste Schritt umfasst ein Schätzen der Brennweite und des Bildzentrums einer Bildebene für eine spezielle Kamera und danach ein Identifizieren der Winkelverzerrungsparameter p unter Verwendung des Winkelverzerrungsmodells der Gleichung (5).
6 ist eine Seitenansicht des Kamerasystems 80, das in einer Laborumgebung verwendet wird, um die Brennweite und das Bildzentrum einer Bildebene für eine Kamera 82 zu bestimmen. Die Kamera 82 wird auf einem Kamerastativ 84 montiert, das seinerseits gleitbar auf einem linearen Objekttisch 86 montiert ist, wobei die Position der Kamera 82 auf dem Objekttisch 86 durch einen Maßstab 88 auf dem Objekttisch 86 bestimmt werden kann. Der Objekttisch 86 ist relativ zu einem Zielstativ 90, an welchem ein Schachbrettziel 92, relativ zu der Kamera 82 montiert ist, positioniert. Ein kleiner Bereich 96 auf dem Ziel 92 rund um eine optische Achse 94 der Kamera 82 wird definiert, wobei eines der Quadrate 98 innerhalb des Schachbrettziels 92 innerhalb des Bereichs 96 isoliert ist. Da der Bereich 96 klein ist und einen schmalen Winkel (narrow FOV) relativ zu der optischen Achse 94 bereitstellt, kann das Visierlochkameramodell angewandt werden, um die Parameter, die effektiv zum Bestimmen der Brennweite und des Bildzentrums auf der Bildebene der Kamera 82 sind, zu bestimmen. Es ist anzumerken, dass die beschriebene Schätzung nur vier Punkte nahe der optischen Achsenpunkte für die Brennweite und die Bildzentrums-Parametermessungen verwendet. Weiterhin wird angenommen, dass die optische Achse der Kamera parallel zu der Bewegungsrichtung des linearen Objekttischs und senkrecht zu dem Ziel 92 durch Bereitstellen einer präzisen Montage ist. Die Punkte nahe der optischen Achse weisen eine geringe Verzerrung auf.
7 ist eine Darstellung 110 des Visierlochkameramodells und umfasst eine Bildebene 112 und eine Zielebene 114, wobei das Quadrat 98 in dem Ziel 92 in der Zielebene 114 gezeigt wird. Jede der Ecken des Quadrats 98, die nahe der optischen Achse 94 ist und die durch 11, 12, 21 und 22 repräsentiert werden, wird zu der Bildebene 112 unter Verwendung des Visierlochkameramodells durch den Brennpunkt 116 kartographiert. Deshalb stellt die Entfernung von dem Bild des Quadrates 98 in der Bildebene 112 zu dem Punkt 116 einen Brennpunkt für dieses Bild bereit, wobei die Werte X_c, Y_c den extrinsischen Zentrumspunkt des Objektraums auf dem Schachbrett definieren.
Um genau die Brennweiten- und Bildzentrumsabschätzungsparameter bereitzustellen, werden mehrere Bilder des Quadrates 98 aufgenommen, wobei die Kamera 82 entlang des Objekttisches 86 bewegt wird, um die zusätzlichen Bilder bereitzustellen. 8 ist eine Darstellung 120, die mehrere Bildebenen 122 und 124 zeigt, wenn die Kamera 82 auf dem Objekttisch 86 bewegt wird. Der Brennpunkt 126 der Bildebene 122 wird gezeigt und eine der Ecken des Quadrates 98 am Punkt 128 wird gezeigt. Der Wert 1₀ ist der Abstand von dem Brennpunkt 126 zu dem Zentrumspunkt X_c, Y_c des Objektraums.
Wie erwähnt können die intrinsischen Parameter f_u, f_ν, u_c, ν_c und die extrinsischen Parameter einschließlich der Rotationsmatrix R und des Translationsvektors t in irgendeiner geeigneten Weise in Übereinstimmung mit der hier geführten Diskussion erhalten werden. Geeignete Beispiele schließen das Anwenden einer maximalen Wahrscheinlichkeitsschätzung oder einer Schätzung der kleinsten Quadrate mit ein. Der Prozess der Schätzung der kleinsten Quadrate wird in den Gleichungen (8) – (10) illustriert, wobei die Werte in diesen Gleichungen in der hier geführten Diskussion und in den Figuren gefunden werden können.
Sobald die Brennweiten- und Bildzentrumsparameter identifiziert sind, ist der nächste Schritt, die Verzerrung zu identifizieren. Um dies zu tun, wird die Kamera 82 auf einem um zwei Winkel drehbaren Objekttisch montiert. 9 ist eine Seitenansicht und 10 ist eine Frontansicht eines optischen Systems 130 zum Kalibrieren der Kamera 82. Die Kamera 82 wird auf einem ersten drehbaren Objekttisch 132 entlang einer optischen Achse 134 montiert, wobei der Objekttisch 132 eine Winkelmessskala 136 einschließt. Der Objekttisch 132 wird auf einen zweiten drehbaren Objekttisch 138 montiert, der die Kamera 82 in eine senkrechte Richtung entlang der optischen Achse 140 dreht, wobei die zwei optischen Achsen 134 und 140 sich im Zentrum der Kamera 82, wie gezeigt, kreuzen. Der zweite drehbare Objekttisch 138 umfasst auch eine Winkelmessskala 146. Eine Lichtpunktquelle 148, wie eine LED, ist in das System 130 eingeschlossen, um den Punkt M zu repräsentieren.
Der zugehörige Winkel θ wird von zwei direkt gemessen Rotationswinkeln unter Verwendung des Systems 130 berechnet. Die rotierbaren Objekttische 132 und 138 werden auf verschiedene Winkel bei jeder Messung eingestellt, wobei der Objekttisch 132 eine Messung eines Rotationswinkels α und der Objekttisch 116 eine Messung eines Rotationswinkels β auf den Skalen 136 und 146 bereitstellt. Die Winkel α und β werden zu einer einzigen Winkelmessung, wie unten erörtert, konvertiert, die durch θ₁, θ₂ und θ₃ repräsentiert werden, wie in (5) gezeigt. Der Winkel θ ist der Winkel relativ zu der Punktquelle 148 und dem Punkt in den Weltkoordinaten x, y, z und der Winkel ϑ ist der korrespondierende verzerrte Winkel in den Bildkoordinaten.
11 ist eine Darstellung 150 eines Koordinatensystems für den ersten rotierenden Objekttisch 132 in Weltkoordinaten x_c, y_c, z_c, wobei die Achsen x 1 / c , y 1 / c , z 1 / c die Positionen des Objekttisches 132 sind, wenn die Kamera 82 zu einem ersten Messpunkt, der durch den Winkel α repräsentiert wird, gedreht wird.
12 ist eine Darstellung 160 von überlappenden drei Koordinatensystemen, die ein drittes Koordinatensystem x 2 / c , y 2 / c , z 2 / c einschließen, welche die Rotation des zweiten rotierenden Objekttischs 138 für die Messung des Rotationswinkels β zeigen.
13 ist eine Darstellung 170 des Winkels θ₀ für die Kombination der Winkel α und β wie sie durch die Gleichung (11) identifiziert werden. θ₀ = arccos(1·cos(β)·cos(α)) (11)
Der radiale Abstand r_d wird von dem Bildpunkt u, v der Punktquelle für eine Reihe von Messbildern unter Verwendung der unten stehenden Gleichungen (12)–(16) berechnet. Der Verzerrungswinkel ϑ für jeden Abstand r_d wird unter Verwendung des Visierlochkameramodells und der Gleichungen (6) und (7) bestimmt. Sobald eine Anzahl von Verzerrungswinkeln ϑ und zugehörigen Winkeln θ_o für die verschiedenen Messungen erhalten sind, kann die Anzahl der Winkelverzerrungsparameter p₁, p₂, p₃, ... unter Verwendung numerischer Analysemethoden und der Gleichung (5) gelöst werden.
S = f_u/f_ν (13) f = f_ν (14) φ = arctan(s·(ν – ν_c)/(u – u_c)) (15) θ_d = arctan(r_d/f) (16)
Sobald die experimentellen Verfahren, die oben zum Schätzen der Brennweite und des Bildzentrums der Kamera diskutiert wurden und zum Schätzen der Verzerrungsparameter vollendet sind, kann es erwünscht sein, eine Parameteroptimierung in einer Offline-Berechnung bereitzustellen. Eine Parameteroptimierung ist optional abhängig davon, ob die Parameterschätzungsgenauigkeit, die gewünscht wurde, erreicht ist, wobei die Parameterschätzungsgenauigkeit für einige Anwendungen vor der Parameteroptimierung ausreichend sein kann. Wenn die Parameteroptimierung gefordert wird, werden Offline-Berechnungen durchgeführt, welche die geschätzten Parameter für all die Punkte auf dem Schachbrettziel 92 verwenden, um die geschätzte Brennweite und das Bildzentrum sowie das Schätzen der Ungenauigkeiten des Kameramontierens zu verfeinern, wie ein Drehen von der angenommenen Orientierung senkrecht zu dem Ziel. Die geschätzten Verzerrungsparameter werden dann unter Verwendung des verfeinerten Bildzentrums und der Brennweite verfeinert. Die Parameterverfeinerung wird durch Minimieren einer objektiven Funktion implementiert, wie eine Punkt-Reprojektions-Fehlerfunktion. Diese Schritte können dann iterativ wiederholt werden, bis die Parameter konvergieren, die Gegenfunktion einen Schwellwert erreicht oder die Iterationszeiten einen vorbestimmten Wert erreichen.
Wie von Fachleuten verstanden wird, können die verschiedenen und unterschiedlichen Prozesse, die hierin diskutiert sind, um die Erfindung zu beschreiben, sich auch auf Verarbeitungen beziehen, die durch einen Computer, einen Prozessor oder einem anderen elektronischen Rechengerät durchgeführt werden, die unter Verwendung elektronischer Phänomene Daten handhaben und/oder transformieren. Diese Computer oder elektronischen Geräte können unterschiedliche flüchtige und/oder nicht flüchtige Speicher verwenden, einschließlich nicht transistorartiger computerlesbarer Medien mit einem Ausführungsprogramm, das darin gespeichert ist und das unterschiedliche Codes oder ausführbare Instruktionen umfasst, die in der Lage sind, durch die Computer oder Prozessoren durchgeführt zu werden, wobei die Speicher und/oder computerlesbaren Medien alle Formen und Typen der Speicher und anderer computerlesbarer Medien einschließen können.
Die vorhergehende Diskussion zeigt und beschreibt rein exemplarische Ausführungsbeispiele der vorliegenden Erfindung. Ein Fachmann kann leicht aus der Diskussion und an den beigefügten Figuren und Patentansprüchen erkennen, dass zahlreiche Änderungen, Modifikationen und Variationen gemacht werden können, ohne dabei den Geist und den Bereich der Erfindung zu verlassen, wie er mit den folgenden Patentansprüchen definiert ist.

Claims

Verfahren zum Kalibrieren und Entzerren einer Kamera, wobei das Verfahren umfasst: – Schätzen einer Brennweite der Kamera; – Schätzen eines Bildzentrums einer Bildebene der Kamera; – Bereitstellen eines Winkelverzerrungsmodells, das eine Winkelbeziehung zwischen einem zugeordneten optischen Strahl, der durch einen Objektpunkt in einem Objektraum passiert, und einem Bildpunkt auf der Bildebene, die ein Bild des Objektpunktes auf dem zugehörigen optischen Strahl ist; und – Schätzen von Verzerrungsparametern in dem Verzerrungsmodell.
Verfahren nach Anspruch 1, das weiterhin ein Optimieren der geschätzten Parameter umfasst, um die Parameterschätzung zu verfeinern.
Verfahren nach Anspruch 2, wobei das Optimieren der geschätzten Parameter umfasst ein Verwenden der zugehörigen Schätzungen der Brennweite und des Bildzentrums der Kamera und die Verzerrungsparameter für mehrere Punkte auf einem Ziel, um die Schätzung der Brennweite und des Bildzentrums und eine Kamerapositionsschätzung zu verfeinern, und Verwenden der verfeinerten Brennweite- und Bildzentrumsschätzung, um das Schätzen der Verzerrungsparameter zu verfeinern, und wobei das Verfeinern der Schätzungen der Brennweite, des Bildzentrums, der Kameraposition und der Verzerrungsparameter, bis ein vorbestimmter Wert erreicht ist, iterativ durchgeführt wird.
Verfahren nach Anspruch 1, wobei ein Schätzen einer Brennweite und eines Bildzentrums auf einer Bildebene der Kamera ein Montieren der Kamera auf einem translatorischen Objekttisch unter Bewegen der Kamera entlang des Objekttischs zu unterschiedlichen Positionen, Montieren eines Schachbrettziels als ein Zielobjekttisch, der relativ zu dem translatorischen Objekttisch positioniert ist, ein Definieren eines Zielbereichs auf dem Ziel rund um eine optische Achse der Kamera, das Quadrate in dem Schachbrettziel einschließt und Verwenden des Visierlochkameramodells und der Positionen der Ecken der Quadrate in Bildern, die auf unterschiedlichen Positionen entlang des Objekttisches erhalten werden, um die Brennweite und das Bildzentrum zu bestimmen, umfasst.
Verfahren nach Anspruch 4, das weiterhin ein Bestimmen von extrinsischen Parametern der Kamera umfasst.
Verfahren nach Anspruch 5, wobei die extrinsischen Parameter der Kamera eine Rotationsmatrix der Kamera und einen Translationsvektor der Kamera in Ausdrücken der Objektraumkoordinaten einschließt.
Verfahren nach Anspruch 6, wobei der Translationsvektor unter Verwendung eines Vektors von einem Kameraaperturpunkt zu einem Zentrumspunkt des Objektraums bestimmt wird.
Verfahren nach Anspruch 6, wobei die Rotationsmatrix und der Translationsvektor durch das Visierlochkameramodell bestimmt werden.
Verfahren nach Anspruch 4, wobei der Zielbereich das Visierlochkameramodell und eine perspektivische geradlinige Projektionsbedingung erfüllt.
Verfahren nach Anspruch 1, wobei das Schätzen der Verzerrungsparameter umfasst, ein Montieren der Kamera auf einem zwei Achsen rotierenden Objekttisch, der die Kamera in zwei rechtwinklig rotierenden Richtungen dreht, und ein Berechnen eines kombinierten Winkels basierend auf der Kombination der zwei Rotationswinkel.