DE102006055758A1

DE102006055758A1 - Verfahren zur Kalibrierung von Kameras und Projektoren

Info

Publication number: DE102006055758A1
Application number: DE102006055758A
Authority: DE
Inventors: Sebastian Gesemann; Falk Dr. Klinge
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV; Vitro Laser GmbH
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV; Vitro Laser Assets UG
Priority date: 2006-11-25
Filing date: 2006-11-25
Publication date: 2008-05-29
Anticipated expiration: 2026-11-26
Also published as: DE102006055758B4

Abstract

Zur Kalibrierung einer Kamera wird ein bekanntes ebenes Schachbrettmuster mit der Kamera in mehreren Relativstellungen zu der Kamera abgebildet. In den Abbildern des Schachbrettmusters werden Lagen von Kreuzungspunkten von Kanten anhand von Lagen von Sattelpunkten der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters verfolgt. Dabei ist mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert, die eine Kodierung der Orientierung und der Lage des Kreuzungspunkts innerhalb des Schachbrettmusters umfasst.

Description

TECHNISCHES GEBIET DER ERFINDUNG
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1 und ein Verfahren zur Kalibrierung eines Projektors mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 2.
Messdaten von optischen Messsystemen wie z. B. Bilder können nur sinnvoll interpretiert werden, wenn die Konfiguration des jeweiligen Messsystems bekannt ist. Die Konfiguration eines optischen Messsystems wird durch Lage, Orientierung sowie weitere intrinsische Parameter von optischen Komponenten wie digitalen Kameras und Projektoren definiert. Die Aufgabe der Kalibrierung ist es, die zur Auswertung der Messdaten benötigten Parameter der Konfiguration zu bestimmen.
Unterschieden wird zwischen der geometrischen Kalibrierung und der radiometrischen Kalibrierung. Die geometrische Kalibrierung liefert als Ergebnis Parameter eines Abbildungsmodells, mit dessen Hilfe es möglich wird, dreidimensionale Punkte im Raum zweidimensionalen Koordinaten in der Bildebene zuzuordnen und umgekehrt. Das Ergebnis einer radiometrischen Kalibrierung ist die so genannte Transferfunktion. Diese gibt an, wie verschiedene Lichtintensitäten von einfallendem Licht auf Pixelwerte abgebildet werden und umgekehrt.
Eine gute geometrische Kalibrierung ist für viele verschiedene Messverfahren erforderlich. Anhand der durch einer geometrischen Kalibrierung ermittelten Zuordnung zwischen dreidimensionalen Raumkoordinaten und zweidimensionalen Bildkoordinaten ist es möglich, Abstand, Form und Bewegung von Objekten und Punkten zu ermitteln, die durch mindestens zwei Kameras beobachtet wurden.
In der Luft- und Raumfahrt werden viele solcher Methoden eingesetzt, z. B. um die Bewegung von Partikeln in einer Strömung oder eine Verformung eines Testobjekts unter verschiedenen Einflüssen messen zu können. Je nach Anwendung gibt es unterschiedliche Anforderungen an die Qualität der Kalibrierung.
Die vorliegende Erfindung betrifft allein die geometrische Kalibrierung von Kameras, insbesondere von Digitalkameras, und von Projektoren, die zur Auswertung von Messergebnissen diverser Verfahren erforderlich ist. Dabei wird in der folgenden Beschreibung teilweise nur auf die geometrische Kalibrierung von Kameras Bezug genommen. Soweit hierbei nichts anderes angegeben ist, gilt das Entsprechende aber auch für die geometrische Kalibrierung von Projektoren mit Hilfe mindestens einer zuvor ihrerseits geometrisch kalibrierten Kamera.
STAND DER TECHNIK
Photogrammetrische Verfahren zur Bestimmung von Abbildungsmodellparametern einer Kamera, zu denen auch die vorliegende Erfindung zählt, arbeiten sämtlich nach einem übereinstimmenden Grundprinzip. Ein Kalibrierungsobjekt mit bekannter Geometrie wird in den Bildbereich der Kamera gehalten und aufgenommen. Mehrere Teilprobleme sind dabei für die Bestimmung der Abbildungsmodellparameter zu lösen. Zuerst müssen Punkte des Kalibrierobjekts in den von der zu kalibrierenden Kamera aufgenommenen Abbildern erkannt werden. Die Punkte des Kalibrierobjekts müssen dabei eindeutig identifiziert werden. Als Nächstes müssen die Pixelkoordinaten dieser Punkte gemessen werden, um pro Kamera und Abbild eine Punktkorrespondenzliste zu erzeugen. Die Punktkorrespondenzlisten stellen eine Verbindung zwischen den bekannten Raumkoordinaten der Punkte des Kalibrierungsobjekts und deren gemessene Pixelkoordinaten her. Im letzten Schritt werden diese Punktkorrespondenzlisten dazu verwendet, die eigentlichen Abbildungsparameter der Kamera zu berechnen.
Ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1 ist aus D. Chen, G. Zhang: A New Sub-Pixel Detector for X-Corners in Camera Calibration targets, School of Instruments Science and Photoelectric Engineering. Bejing University of Aeronautics and Astronautics (2005) bekannt. Bei dem bekannten Verfahren wird zunächst eine Groblage der Kreuzungspunkte der Kanten in Pixelkoordinaten mit Pixelgenauigkeit bestimmt, bevor durch die Ermittlung der Lage der Sattelpunkte der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters die Lagen der Kreuzungspunkte der Kanten des Schachbrettmusters mit Subpixelgenauigkeit bestimmt werden. Das Bestimmen zunächst nur von Groblagen der Kreuzungspunkte mit Pixelgenauigkeit hat den Zweck, die aufwändige subpixelgenaue Bestimmung auf die Bereiche der Sattelpunkte zu fokussieren und damit Rechenaufwand einzusparen. Die Bestimmung der Groblagen mit Pixelgenauigkeit erfolgt durch Anwendung eines Operators basierend auf einer Hessian-Matrix. Alternativ wird die Anwendung eines Harris-Detektors für die Bestimmung der Groblagen mit Pixelgenauigkeit angesprochen. In den Abbildern des Schachbrettmusters, in denen die Lage der Kreuzungspunkte der Kanten anhand der Lagen der Sattelpunkte der Helligkeitsintensitätsverteilung bestimmt werden, ist das Schachbrettmuster jeweils einschließlich seiner äußeren Begrenzung zu sehen, wodurch es möglich ist, jeden Sattelpunkt einem bestimmten Kreuzungspunkt von Kanten innerhalb des Schachbrettmusters zuzuordnen. Dies ist für die Zuordnung der Lagen der Kreuzungspunkte in den Abbildern des Schachbrettmusters zu Raumkoordinaten, d. h. der Erstellung der so genannten Punktkorrespondenzlisten erforderlich. Diesbezüglich Details werden von D. Chen und G. Zhang jedoch nicht offenbart.
Ein Verfahren zur geometrischen Kalibrierung einer Kamera ist aus J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997) bekannt. Dieses Verfahren ist mehrschrittig und basiert auf einem DLT (direct linear transform)-Ansatz. Das Kalibrierungsobjekt ist ein aus mehreren Ebenen mit Punktegittern zusammengesetztes dreidimensionales Objekt, wobei jede Ebene durch eine Orientierung eines ebene Kreispunkte aufweisenden Punktegitters gegenüber der Kamera repräsentiert wird. Nach der Bestimmung der Mittelpunkte der Kreispunkte in den Abbildern des Punktegitters wird die DLT für eine anfängliche Abschätzung der Parameter durchgeführt. Danach wird eine nicht-lineare Optimierung der Parameter einschließlich von Parametern für radiale und tangentiale Linsenverzerrungen vorgenommen. Heikkila und Silven waren sich bewusst, dass die Ellipsenmittelpunkte aufgrund von perspektivischer Verzerrung nicht den Bildern der Mittelpunkte der Kreispunkte entsprechen. Daher werden in der dritten Stufe die gemessenen Pixelkoordinaten anhand der bisher bekannten Parameter korrigiert. Anschließend wird die nicht-lineare Optimierung noch mal an den korrigierten Pixelkoordinaten vorgenommen.
Ein zur Detektion von Geraden in einem Bild häufig eingesetztes Werkzeug ist die Hough-Transformation. Die Hough-Transformation wurde nach ihrem Erfinder Paul V.C. Hough benannt, der dieses Verfahren in den sechziger Jahren für die Erkennung von komplexen Strukturen entwickelte. Die Erkennung von Geraden ist der einfachste Spezialfall der Hough-Transformation. Geraden lassen sich durch zwei Größen parametrisieren, den Abstand zum Ursprung – im Zusammenhang der Kalibrierung von Kameras oder von Projektoren mit Hilfe von Kameras praktischerweise die Bildmitte – und einem Winkel, der die Orientierung der Geraden angibt. Für diesen Parameterraum wird ein diskretes Akkumulatorfeld angelegt. Für jeden Pixel des ursprünglichen Bildes werden alle möglichen Parameter einer Geraden berechnet, die durch diesen Pixel verlaufen. Zu den Zellen des Akkumulatorfeldes der entsprechenden Geraden wird die Helligkeit des Pixels addiert. Dadurch entstehen im Akkumulatorfeld an den Stellen Helligkeitsspitzen, die im Bild befindenden Geraden entsprechen. Der Prozess der Hough-Transformation ist offensichtlich zeitaufwändig. Eine einfache Maßnahme zu seiner Beschleunigung besteht darin, nur Pixel im Ursprungsbild zu betrachten, deren Helligkeitswert einen Schwellwert überschreitet.
Die bislang bekannten Verfahren zur geometrischen Kalibrierung einer Kamera leiden darunter, dass sie praktisch nicht automatisierbar sind. Häufig führen bereits Beleuchtungsunterschiede bei dem im Rahmen der Kalibrierung mit der Kamera abgebildeten Muster zu Ungenauigkeiten der Kalibrierung. Wenn nicht das gesamte Muster in seinen Abbildern zu sehen ist, ist eine Zuordnung von Punkten in den Abbildern zu Raumkoordinaten entweder gar nicht mehr oder nur noch mit manuellem Eingriff möglich.
AUFGABE DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, Verfahren mit den Merkmalen der Oberbegriffe der Patentansprüche 1 und 2 aufzuzeigen, die eine möglichst sichere und damit automatisierbare Kalibrierung von optischen Messsysteme zur Erstellung einer eindeutigen und genauen Zuordnung von Raumkoordinaten zu Pixelkoordinaten für jede Kamera bzw. jeden Projektor erlauben.
LÖSUNG
Die Aufgabe der Erfindung wird durch ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des unabhängigen Patentanspruchs 1 und durch ein Verfahren zur Kalibrierung eines Projektors mit den Merkmalen des unabhängigen Patentanspruchs 2 gelöst. Bevorzugte Ausführungsformen dieser beiden Verfahren sind in den abhängigen Patentansprüchen 3 bis 11 beschrieben. Der abhängige Patentanspruch 12 betrifft eine bevorzugte Ausführungsform des neuen Verfahrens zur Kalibrierung einer Kamera, während der neue Patentanspruch 13 eine bevorzugte Ausführungsform des neuen Verfahrens zur Kollidierung eines Projektors beschreibt.
BESCHREIBUNG DER ERFINDUNG
Bei den neuen Verfahren sowohl zur Kalibrierung einer Kamera als auch eines Projektors, wobei im Weiteren das Verfahren zur Kalibrierung einer Kamera auch als repräsentativ für das Verfahren zur Kalibrierung eines Projektors näher beschrieben wird, ist mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert, die eine Kodierung der Orientierung und der Lage der Kreuzungspunkts innerhalb des Schachbrettmusters umfasst. Diese Kodierung ermöglicht eine Zuordnung der Kreuzungspunkte der Abbilder des Schachbrettmusters zu den damit definierten Raumpunkten unabhängig davon, ob die äußeren Begrenzungen des Schachbrettmusters, d. h. das jeweils vollständige Schachbrettmuster in seinen Abbildern zu sehen ist oder nicht. Dadurch, dass die Positionsangabe sowohl die Orientierung als auch die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters angibt, können immer auch die Lagen der benachbarten und damit letztlich aller Kreuzungspunkte innerhalb des Schachbrettmusters bestimmt werden; und die Kreuzungspunkte können in allen Bereichen der Abbilder des Schachbrettmusters vorgesehen und ausgewertet werden, so dass der Gesamte Abbildungsbereich der jeweiligen Kamera Berücksichtigung findet. Indem die Positionsangabe durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbar ist, ist damit ein Weg gegeben, jeden Kreuzungspunkt in einem Abbild des Schachbrettmusters automatisch einem Kreuzungspunkt des Schachbrettmusters selbst und damit einer Raumlage zuzuordnen.
Die Positionsangabe kann konkret zweiteilig aufgebaut sein, wobei ein Teil den jeweiligen Kreuzungspunkt und seine Orientierung innerhalb des Schachbrettmusters bezeichnet und ein anderer Teil die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters z. B. in Form von Flächenkoordinaten bezeichnet. In jedem Fall weist die Positionsangabe den zweiten Teil auf. Die Funktion des ersten Teils kann bezüglich der Bezeichnung, d.h. Festlegung des jeweiligen Kreuzungspunkts, auf den sich die Positionsangabe bezieht, auch durch den zweiten Teil erfüllt werden und bezüglich der Orientierung innerhalb des Schachbrettmusters durch benachbarte Positionsangaben. Durch den Abgleich von Positionsangaben zu mehreren Kreuzungspunkten, die die Lagen der markierten Kreuzungspunkte innerhalb des Schachbrettmusters bezeichnet, lässt sich auch dann die Orientierung der Kreuzungspunkte innerhalb des Schachbrettmusters bestimmen, wenn diese nicht in jeder Positionsangabe enthalten ist. Bei der vorliegenden Erfindung ist es aber bevorzugt, wenn jede einzelne Positionsangabe eine eigene Kodierung der Orientierung des jeweiligen Kreuzungspunkts aufweist, die unabhängig von den Positionsangaben zu anderen Kreuzungspunkten auswertbar ist.
Ganz konkret kann die Positionsangabe durch helle Punkte in dunklen Schachbrettfeldern und/oder durch dunkle Punkte in hellen Schachbrettfeldern binär kodiert sein. Dabei ist vorgesehen, je Schachbrettfeld jeweils nur einen oder keinen hellen bzw. dunklen Punkt für die Kodierung zu verwenden. Helle Punkte in dunklen Schachbrettfeldern bzw. dunkle Punkte in hellen Schachbrettfeldern stellen einen maximalen Kontrast für ein Lesen der Positionsangabe durch Bildverarbeitung bereit.
Die binäre Kodierung der Positionsangabe erlaubt es, die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters in binären Zahlen zu kodieren. Dabei kann auch eine Flächenkoordinate durch eine einzige binäre Zahl kodiert sein. Die Bezeichnung des jeweiligen Kreuzungspunkts selbst und seine Orientierung in dem Schachbrettmuster können durch jedes binäre Muster erfolgen, das seinerseits eine eindeutige Orientierung aufweist. Dies bedeutet, dass es dem Muster an jeder Rotationssymmetrie fehlen muss. Vorzugsweise ist es auch nicht punktsymmetrisch, weil dann auch eine Spiegelung des abgebildeten Schachbrettmusters erkannt werden kann.
Wie bereits im Zusammenhang damit angedeutet wurde, dass die Orientierung eines Kreuzungspunkts auch aus Positionsangaben zu anderen Kreuzungspunkten ableitbar ist, können bei der Erfindung auch mehrere Kreuzungspunkte mit Positionsangaben versehen sein. Es ist sogar bevorzugt, wenn über die gesamte Fläche des Schachbrettmusters verteilt Kreuzungspunkte mit Positionsangaben versehen sind. Besonders bevorzugt ist es, wenn ein zweidimensionales Raster von Kreuzungspunkten in dem Schachbrettmuster mit den Positionsangaben versehen ist.
Das Schachbrettmuster selbst ist bei den neuen Verfahren ein regelmäßiges Schachbrettmuster mit einheitlicher Größe der hellen und dunklen Felder und damit bekanntem Abstand seiner Kanten in beiden Richtungen, das ohne Sichtbarkeit seiner äußeren Begrenzungen und ohne die erfindungsgemäßen Positionsangaben keinerlei absolute Orientierung innerhalb eines Ausschnitts des Schachbrettmusters erlaubt.
Auch bei der vorliegenden Erfindung ist es bevorzugt, wenn zunächst Groblagen der Kreuzungspunkte der Kanten ermittelt werden, die dann als Aufpunkte für eine subpixelgenaue Bestimmung der Lage der zugehörigen Sattelpunkte der Helligkeitsintensitätsverteilung verwendet werden.
Für die Ermittlung der Groblagen der Kreuzungspunkte der Kanten ist es bevorzugt, die einzelnen Abbilder des Schachbrettmusters mit einem Kantenoperator zu bearbeiten und anschließend in der Mitte des jeweiligen Abbilds eine Hough-Transformation durchzuführen. Diese zweischrittige Vorgehensweise mit einer Beschränkung der Hough-Transformation auf den Mittelpunkt des jeweiligen Abbilds führt mit vergleichsweise geringem Aufwand zu sicheren Vorgabewerten für die anschließende subpixelgenaue Bestimmung der Sattelpunkte der Helligkeitsintensitätsverteilung. Durch die Beschränkung der Hough-Transformation auf den Bereich der Mitte des jeweiligen Abbilds machen sich Störeffekte aus den Randbereichen des jeweiligen Abbilds im Ergebnis der Hough-Transformation nicht bemerkbar. Die Bestimmung der Groblagen der Kreuzungspunkte in der Mitte des jeweiligen Abbilds ist aber ausreichend, um hieraus direkt oder nach subpixelgenauer Bestimmung der Lagen der Sattelpunkte der Helligkeitsintensitätsverteilung auch auf die Groblagen benachbarter Kreuzungspunkte zu extrapolieren.
Die Erstellung von Punktkorrespondenzlisten, in dem den Lagen der Kreuzungspunkte in den Abbildern des Schachbrettmusters Raumkoordinaten zugeordnet werden, kann bei der vorliegenden Erfindung mit hoher Zuverlässigkeit vollautomatisch erfolgen. Hieran schließt sich dann die Auswertung der Punktkorrespondenzlisten an, um die Abbildungsparameter und die Position der Kamera oder die Projektionsparameter und die Position des Projektors zu bestimmten. Als günstige und gut automatisierbare Vorgehensweise hat sich dabei die Anwendung des Verfahrens von Heikkila und Silven, aber ohne Berücksichtigung der tangentialen Verzerrung herausgestellt. Der Aufpunkt und die Richtung der Raumkoordinaten können bei dem neuen Verfahren in ansich bekannter Weise durch einen Punkt im Messraum und eine diesen Punkt einschließende Ebene vorgegeben werden.
Bei einem besonders bevorzugten erfindungsgemäßen Verfahren zur Kamerakalibrierung werden mindestens zwei fest zueinander ausgerichtete Kameras gleichzeitig kalibriert, wobei die Orientierungsänderung des Schachbrettmusters, die aus seinen Abbildern ermittelt werden, gegeneinander abgeglichen werden. Bei räumlichen optischen Messsystemen sind sowieso mehrere Kameras zu kalibrieren, wobei es letztlich auch auf die Orientierung der Kameras relativ zueinander ankommt. Diese Kalibrierung kann im Rahmen des erfindungsgemäßen Verfahrens dadurch stark beschleunigt werden, dass berücksichtigt wird, dass sämtliche Orientierungsänderungen des Schachbrettmusters sich zwar nicht identisch auf seine Abbildungen mit den einzelnen Kameras auswirken, diese Auswirkungen aber korreliert sind. Konkret reicht es bei einem Abgleich zwischen den Kameras beispielsweise für die Kalibrierung von zwei stereoskopisch angeordneten Kameras aus, ein Schachbrettmuster in nur zwei unterschiedlichen Orientierungen gegenüber den beiden Kameras aufzunehmen.
Umgekehrt kann auch die Kalibrierung eines Projektors beschleunigt werden, wenn das auf den Schirm projizierte Schachbrettmuster mit mindestens zwei fest zueinander ausgerichteten Kameras abgebildet wird, wobei die Orientierungsänderung des Schirms, die aus den Abbildern des Schachbrettmusters ermittelt werden, gegeneinander abgeglichen werden.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibungseinleitung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Weitere Merkmale sind den Zeichnungen – insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung – zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.
KURZBESCHREIBUNG DER FIGUREN
Die Erfindung wird im Folgenden anhand eines konkreten Ausführungsbeispiels näher erläutert und beschrieben.
1 zeigt ein Schachbrettmuster zur Verwendung bei den erfindungsgemäßen Verfahren.
2 zeigt die Helligkeitsintensitätsverteilung im Bereich eines Kreuzungspunkts von Kanten des Schachbrettmusters gemäß 1.
3 zeigt ein schräg aufgenommenes Abbild des Schachbrettmusters gemäß 1 nach Anwendung eines Kantenoperators und unter Hervorhebung eines mittleren Kreisausschnittes.
4 zeigt das Ergebnis einer Hough-Transformation innerhalb des Kreisausschnittes gemäß 3 mit markierten Intensitätsspitzen, die für je drei Geraden eine Orientierung mit kleinstem Abstand zur Bildmitte stehen.
5 zeigt ein 3 entsprechendes, schräg aufgenommenes Abbild des Schachbrettmusters gemäß 1 mit den gemäß 4 detektierten mittleren Geraden; und
6 zeigt ein Beispiel einer binär kodierten Positionsangabe zu einem Kreuzungspunkt in dem Schachbrettmuster gemäß 1.
FIGURENBESCHREIBUNG
Der bei der im Folgenden beschriebenen Ausführungsform eines Verfahrens zur Kalibrierung einer Kamera verwendete Subpixel-Detektor für die Kreuzungspunkte der Kanten des Schachbrettmusters ist in D. Chen, G. Zhang: A New Sub-Pixel Detector for X-Corners in Camera Calibration targets. School of Instruments Science and Photoelectric Engineering. Bejing University of Aeronautics and Astronautics (2005) offenbart. Das zur Auswertung der Punktkorrespondenzlisten verwendete Verfahren wird von Z. Zhang: Flexible Camera Calibration By Viewing a Plane From Unknown Orientations. International Conference an Computer Vision (ICCV'99), Seiten 666-673, September (1999) beschrieben. Das dabei hier verwendete Kameramodell von Heikkila und Silven ist in J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction. Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997) zu finden.
Als Kalibrierungsobjekt wird bei den erfindungsgemäßen Verfahren ein Schachbrettmuster gemäß 1 eingesetzt, das in verschiedenen Relativstellungen abgebildet wird. Dabei wird ausgenutzt, dass die Kreuzungspunkte der Kanten eines Schachbrettmusters, die so genannten "X-Corners", in jedem Abbild des Schachbrettmusters Sattelpunkte der Helligkeitsintensitätsverteilung sind. Wird die Helligkeitsintensitätsverteilung eines Abbilds aufgrund einer streng monotonen Transferfunktion verändert, bleiben die X- und Y-Positionen solcher Sattelpunkte konstant. Die Lagen der Sattelpunkte können also genau bestimmt werden, ohne die Transferfunktion einer Kamera kennen zu müssen. Unabhängig von der Abbildungsgröße der Felder des Schachbrettmusters sieht die Umgebung eines seiner Sattelpunkte immer gleich aus, siehe 2. Nur die Orientierungen der Kanten kann sich durch eine perspektivische Abbildung verändern. Die Sattelpunkteigenschaft und damit deren Position bleiben aber erhalten.
Die Detektierung markanter Punkte eines Kalibrierungsobjekts sollte nach Möglichkeit ohne große Benutzerinteraktion funktionieren. Wenn beispielsweise ein Mehrkamerasystem mit 9 oder mehr Kameras kalibriert werden soll und pro Kamera fünf Kalibrierungsbilder anfallen, wäre es bereits sehr zeitaufwändig, in jedem Bild manuell per Mausklick einen Referenzpunkt und die Orientierung der X- und Y-Achse anzugeben. Diese Informationen sind aber erforderlich, da gemessene Pixelkoordinaten allein nicht für die Bestimmung extrinsischer Kameraparameter ausreichen. Für jeden erkannten Merkmalspunkt brauchen die photogrammetrischen Kalibrierungsverfahren auch dessen 3D-Koordinate im Weltkoordinatensystem. Um die Notwendigkeit einer Benutzerinteraktion bei der Erkennung des bei den erfindungsgemäßen Verfahren als Kalibrierungsobjekt verwendeten Schachbrettmusters und der Zuordnung von Raumkoordinaten zu Pixelkoordinaten zu beseitigen, müssen die Orientierung des Schachbrettmusters sowie ein Referenzpunkt automatisch bestimmbar sein. Außerdem ist es wünschenswert, das Kalibrierungsobjekt zu Gunsten einer hohen Genauigkeit bildfüllend aufzunehmen, so dass auch Punktmerkmale im Außenbereich zur Berechnung der Abbildungsparameter herangezogen werden können. Dies schließt aber eine Markierung des Musters am Rand für eine eindeutige Zuordnung der Merkmale aus, da diese möglicherweise nicht sichtbar ist. Zur eindeutigen Markierung bestimmter Punkte wird durch die vorliegende Erfindung ein binäres Kodierungsmuster bereitgestellt, das bereits in 1 zu erkennen ist und anhand von 6 unten weiter erläutert werden wird.
Eine Kante trennt helle von dunklen Bildbereichen. Durch einen Kantenoperator wird jedem Pixel eines Bilds ein neuer Helligkeitswert durch den Betrag des Gradienten der ursprünglichen Helligkeitsintensitätsverteilung zugeordnet. Dadurch werden Pixel, die sich in der Nähe von Kanten befinden, auf einen hohen Helligkeitswert gesetzt und andere auf niedrige Helligkeitswerte. Bedient man sich eines solchen Kantenoperators wird aus dem mit einer Kamera abgebildeten Schachbrettmuster ein Kantenbild mit einem Liniengitter gewonnen (siehe 3), in dem die Kodierungsmuster erhalten bleiben.
Mit Hilfe einer Hough-Transformation ist es möglich, Lagen und Orientierungen von Geraden in einem Bild zu erkennen, indem Intensitätsspitzen des "Hough-Bildes" gesucht werden. Eine Anwendung der Hough-Transformation auf ein vollständiges Bild gemäß 3 ist allerdings aus mehreren Gründen unpraktisch:

– Linien, die eine große Entfernung zum Bildmittelpunkt aufweisen, werden durch die radiale Linsenverzerrung gekrümmt. Die Erkennung solcher Linien über eine Hough-Transformation zur Erkennung von Geraden ist schwierig, da durch die Krümmung keine klare Intensitätsspitze im Hough-Bild mehr entsteht.
– Wenn der Bereich, in dem das Kalibrierungsmuster zu sehen ist, nicht kreisrund ist, sind die Linien unterschiedlicher Orientierung unterschiedlich lang. Dies beeinflusst die Spitzenhöhen im Hough-Bild unterschiedlich, so dass es schwieriger wird, einen geeigneten Spitzenschwellwert zu bestimmen.
– Die Anwendung einer Hough-Transformation auf volle hochauflösende Bilder ist zeitintensiv.

Aus diesen Gründen wird die Hough-Transformation hier nur auf einen kreisförmigen mittleren Ausschnitt des Kantenbilds angewandt (siehe den hellen Bereich in 3). Die Hough-Transformation lässt sich weiter beschleunigen, indem nur Pixel des Ursprungsbilds berücksichtigt werden, deren Wert einen bestimmten Schwellwert überschreitet. Die restlichen Pixel hätten nur einen geringen Einfluss auf das Ergebnis. Konkret werden die Pixelwerte des Kantenbilds zu Anfang der Hough-Transformation normalisiert. Ein dazu verwendeter Schwellwert von 1/16 wurde bei der Hough-Transformation experimentell daraus ermittelt, dass die inneren Bereiche der Felder im Wesentlichen ignoriert werden. Der Kreisradius r in Pixel der Fläche, deren Hough-Transformation berechnet wird, hängt wie folgt von der Bildbreite w und Bildhöhe h ab: r = min(w, h)/4.
Nachdem die Hough-Transformation durchgeführt wurde, werden die Pixelwerte des Hough-Bilds (siehe 4) wieder normalisiert, so dass der kleinste Wert auf 0 und der größte Wert auf 1 abgebildet wird. Um die Spitzen im Hough-Bild h_x _, _y finden zu können, werden zunächst all die Pixelkoordinaten (u, v) als Kandidaten für lokale Maxima gesucht, für die folgende zwei Bedingungen gelten: sign(hu,v – hu+1,v) + sign(hu,v – hu-1,v) > 0 sign(hu,v – hu,v+1) + sign(hu,v – hu,v-1) > 0
Für jede Pixelkoordinate, die diese Bedingungen erfüllt, werden der Wert und eine subpixelgenaue Position des lokalen Maximums bestimmt, indem die Koeffizienten a, b, c, d eines elliptischen Paraboloiden ermittelt werden, der den Bildausschnitt der 5 umliegenden Pixel (h_u,v, h_u-1,v, h_u+1,v, h_u,v-1, h_u,v+1) durch f(x, y) = hu,v + a(x – u) + b(x – u)2 + c(y – v) + d(y – v)2 (I)beschreibt und dessen Extremstelle (s, t) zu s = u – a/2b t = v – c/2dbestimmt werden kann. Der Wert der Extremstelle kann durch Einsetzten von s und t in die Gleichung (I) berechnet werden. Überschreitet dieser Wert einen Schwellwert – die aktuelle Implementierung verwendet einen Schwellwert von 5/16 – so werden die Stelle und der Wert des Extremums in einer Liste gespeichert. Nachdem all diese lokalen Extrems bestimmt worden sind, werden diese in Abhängigkeit ihres Wertes absteigend sortiert. Der Reihe nach wird jedes Extremum einer von drei Gruppen zugeordnet: Zwei Gruppen für zwei mögliche Orientierungen (horizontale und vertikale Kanten des Schachbrettmusters werden isoliert, diese liegen jeweils auf einer Geraden im Hough-Raum) und eine Gruppe für unerwünschte erkannte Extrems, deren Abstand zu beiden bisher ermittelten Geraden im Hough-Raum zu hoch ist. Nach der Gruppierung lassen sich für jede Kantenorientierung im Schachbrettmuster drei Geraden ermitteln, die am nächsten an der Bildmitte liegen (siehe 5). Die äußeren zwei der drei Geraden jeder Orientierung lassen sich miteinander schneiden, wodurch 4 Kreuzungspunkte anfallen, die 2 × 2-Felder einschließen. Diese vier Kreuzungspunkte werden an die nächste Stufe der Bilderkennung weitergegeben.
In der nächsten Stufe der Bilderkennung, der Bestimmung der Koordinaten der Kreuzungspunkte, werden anhand der Koordinaten der vier Kreuzungspunkte, die die 2 × 2-Felder des Schachbretts umschließen, die restlichen Kreuzungspunkte ermittelt. Zunächst werden aus den vier Punktkoordinaten die Koordinaten der restlichen 5 Kreuzungspunkte berechnet, die zusammen mit den eingegebenen vier Kreuzungspunkten alle Kreuzungspunktkoordinaten der 2 × 2-Felder beschreiben. Anschließend wird für diese neun Kreuzungspunkte eine Subpixeloptimierung durchgeführt.
Für die Subpixeloptimierung, d. h. die Lagebestimmung mit besserer Genauigkeit als dem Pixelabstand der jeweiligen Kamera, wird ausgenutzt, dass die Kreuzungspunkte Sattelpunkte der Bildfunktion sind, die mit einem so genannten "X-Corner-Operator" zu finden sind, welcher durch S = rxxryy – rxy 2 gegeben ist. r_xx und r_yy dabei für die zweifache Ableitung nach x beziehungsweise y und r_xy für die Ableitung der Bildfunktion nach x und anschließend nach y. Ein sehr kleiner Wert – üblicherweise kleiner als 0 – deutet auf einen möglichen Kreuzungspunkt hin. Im Diskreten ist eine Ableitung durch die Faltung mit der Impulsantwort eines Differentiators möglich. Um den Einfluss des Bildrauschens auf die Genauigkeit der bestimmten Pixelkoordinaten zu reduzieren, wird ein Gauß-förmiger Tiefpassfilter verwendet. Tiefpass und Differenzierung sind beide als Faltung auffassbar. Weil außerdem die Faltungsoperation kommutativ und assoziativ ist, spielt es keine Rolle, ob zuerst der Tiefpassfilter angewendet wird und anschließend ein Differentiator oder ob das Originalbild mit einer Impulsantwort gefaltet wird, die das Ergebnis einer Faltung aus Tiefpass mit Differenzierung ist. Wird ein Gauß-förmiger Tiefpassfilter benutzt, bietet sich die zweite Variante an, da direkt die partiellen Ableitungen der Gaußschen Glockenkurve berechnet werden können. Dieser Ansatz macht das Design eines Differentiators unnötig. Nach Anwendung des Operators können Kandidaten für mögliche Kreuzungspunkte des Schachbrettmusters durch Aufsuchen von lokalen Minima bestimmt werden. Für die subpixelgenaue Bestimmung des gesuchten Punktes in der näheren Umgebung eines Kandidaten wird das durch den Tiefpass geglättete Bild durch eine abgebrochene Taylor-Reihe mit dem Kandidaten als Entwicklungspunkt (x₀, y₀) bis zu Termen zweiter Ordnung bestimmt:
Hierbei ist r der Wert der Bildfunktion an der Stelle (x₀, y₀), r_x und r_y sind die partiellen Ableitungen erster Ordnung und r_xx, r_xy, r_yy die partiellen Ableitungen zweiter Ordnung an derselben Stelle. Gesucht ist nun eine Korrektur (s, t) der bisher bekannten Koordinaten des Kreuzungspunkts, die zu einer hohen Subpixelgenauigkeit führen soll. Eine notwendige Bedingung für einen Sattelpunkt ist, dass die Ableitung in alle Richtungen 0 ergeben muss. Dies führt zu folgendem Gleichungssystem:
Nach Lösen dieses Gleichungssystems ist die subpixelgenaue Position der Kreuzungspunkte des Schachbrettmusters durch (x₀ + s, y₀ + t) gegeben.
Die Punktkoordinaten der Kreuzungspunkte werden in einer Datenstruktur abgelegt, die einem zweidimensionalen Array ähnlich ist. Dabei entspricht die Adressierung dieser Punkte im Allgemeinen noch nicht dem wirklichen durch das Muster aus weißen und schwarzen Punkten bestimmten Koordinatensystem. Für die Ermittlung der restlichen Pixelkoordinaten von Kreuzungspunkten spielt dies allerdings keine Rolle.
Aufgrund etwaiger möglichen Linsenverzeichnungen werden die Koordinaten neuer möglicher Kreuzungspunkte anhand lokaler Nachbarn extrapoliert, so dass der zu berechnende Punkt und die Nachbarn alle auf einer Geraden liegen, beziehungsweise ohne Beachtung von Linsenverzeichnung liegen müssten. Es wird angenommen, dass in der lokalen Umgebung eine perspektivische Abbildung ohne Linsenverzeichnung stattfindet. Nun wird auch deutlich, warum anfangs ein 3 × 3-Punktegitter aus neun Kreuzungspunkten ermittelt wurde. Ausgehend von drei dieser Kreuzungspunkte in einer Zeile oder Spalte können die Koordinaten möglicher umliegender Kreuzungspunkte bestimmt werden. Iterativ werden dadurch und durch eine anschließende Subpixeloptimierung (wie vorstehend) die benachbarten Punkte bestimmt und in die Datenstruktur aufgenommen. Aber nicht an jeder Stelle, wo ein Kreuzungspunkt vermutet wird, liegt tatsächlich einer. Ein Grund dafür kann sein, dass das Kalibrierungsmuster nicht das komplette Blickfeld füllt und der Rand des Musters im Bild sichtbar ist.
Zur Vermeidung der Bestimmung von nur vermeintlichen Kreuzungspunkten werden nach der Bestimmung der subpixelgenauen Position eines X-Corners zwei weitere Parameter für jeden Kreuzungspunktkandidaten berechnet, die sein lokale Umgebung beschreiben. Aus bereits bekannten und positiv überprüften Kreuzungspunkten sind die Orientierungen der erwarteten Kanten bekannt, die sich im neuen Kreuzungspunkt schneiden müssten. Zu jeder der zwei erwarteten Kanten wird nun ein Normalvektor berechnet (Vektor mit Länge 1, der senkrecht zur Richtung der Kante verläuft). Mit bekannter Orientierung der Kanten und Position des vermeintlichen Kreuzungspunkts sollte sich die lokale Umgebung der Intensitätsfunktion approximativ als Linearkombinationen folgender zwei Basisfunktionen B1(p, c) = 1 B2(p, c) = t((p – c)Tn1)t((p – c)Tn2)darstellen lassen, wobei die Funktion t durch
gegeben ist. Diese Funktion beschreibt eine geglättete Kante im Eindimensionalen.
Der Vektor p steht für die Koordinate des Pixels, dessen Intensität berechnet werden soll und c für die Position des Kreuzungspunktes. n₁ und n₂ sind die Normalvektoren der erwarteten Kanten. Es werden nun die Gewichte der beiden Basisfunktionen o (Versatz, mittlere Helligkeit) und a (Amplitude) ermittelt, so dass die gewichtete Summe der Fehlerquadrate
minimiert ist. W gibt hier eine Gewichtsfunktion an, die jedem Pixel in der lokalen Umgebung von c ein positives Gewicht zuordnet. I(p) gibt die tatsächliche Intensität des Pixels an der Stelle p an. Ob es sich bei dem vermeintlichen neuen Kreuzungspunkt c um einen echten Nachbarn eines schon bekannten Kreuzungspunkts t handelt, lässt sich nun über einen Vergleich der Parameter o und a beider Kreuzungspunkte überprüfen. Zu erwarten ist, dass oc ≈ ot oc ≈ –at gilt. Der Vorzeichenwechsel des Parameters a von einem Kreuzungspunkt zu einem seiner vier Nachbarn liegt in der Natur des Schachbrettmusters. Gibt es zu starke Abweichungen dieser Bedingungen, so deutet das darauf hin, dass es sich um einen falsch erkannten Kreuzungspunkt handelt. Es wäre auch möglich, zusätzlich den Betrag des mittleren Fehlerquadrats als Kriterium zu betrachten. Die aktuelle Implementierung benutzt nur die Abfrage
um zu entscheiden, ob der aktuelle Punkt als Kreuzungspunkt akzeptiert wird.
Jetzt schließt sich das Auslesen und Dekodieren des Punktemusters an. In 6 ist der mittlere Ausschnitt des Kalibrierungsmusters zu sehen. Um jeden Kreuzungspunkt mit Koordinate (8a, 6b) (a, b ∊ {–22, –21, –20,..., 22}) sind schwarze und weiße Punkte in einem rechteckigen Bereich (6 × 4 Felder mit dem Kreuzungspunkt in der Mitte) zu sehen. Die schwarzen Punkte dienen ausschließlich der Orientierung (die die schwarzen Punkte in 6 umgebenden Ringe dienen nur der Hervorhebung der Punkte und sind kein Bestandteil des tatsächlichen Schachbrettmusters). Es sind immer drei schwarze Punkte, und ihre Anordnung relativ zu dem mittleren Kreuzungspunkt ist immer die gleiche. Anhand dieser Punkte kann festgestellt werden, in welche Richtung die X- beziehungsweise Y-Achse hinzeigt. Diese Information ist auch nötig, um die absolute Koordinate des mittleren Kreuzungspunktes eindeutig bestimmen zu können, welche über die weißen Punkte kodiert ist. Im diesem rechteckigen Bereich aus 6 × 4 Feldern gibt es 12 schwarze Felder, deren Zentren nun schwarz (Bit mit Wert 0) oder weiß (Bit mit Wert 1) seien können. Durch bekannte Position der schwarzen Punkte ist die Nummerierung der 12 schwarzen Felder mit möglichen weißen Punkten eindeutig. Das Bit mit der Nummer 11 ist dabei immer so gesetzt, dass die Anzahl der weißen Punkte ungerade ist und dient zur Erkennung von Fehlern bei der Bestimmung der Bits. Die Bits b_i mit 0 ≤ i ≤ 10 sind durch
bestimmt. Der Menge der zulässigen Werte von a und b wurde so gewählt, dass die Zahl c nie negativ wird, sich durch 11 Bits darstellen lässt und die Werte von a und b wieder eindeutig aus c bestimmt werden können.
Bei dem durch 6 gegebenen Beispiel ist c = 22 + 24 + 25 + 26 + 27 + 28 + 29 = 1012und es folgt für a und b:
Der mittlere Kreuzungspunkt besitzt also die Koordinate (0, 0) und ist damit Ursprung des Koordinatensystems. Üblicherweise wird diesem Kreuzungspunkt eine feste Raumkoordinate im Weltkoordinatensystem zugeordnet, indem er beispielsweise an einen bestimmten Punkt eines Messaufbaus gehalten wird. Ebenso kann eine feste Orientierung im Weltkoordinatensystem vorgegeben werden, indem das Schachbrettmuster einmal definiert gegenüber einer bestimmten Ebene eines solchen Messaufbaus ausgerichtet wird.
Wurde ein Gitter aus Kreuzungspunkten ermittelt, lassen sich auch die Pixelkoordinaten von Zentren der Felder bestimmen. Anhand des Vorzeichens des im vorherigen Abschnitt beschriebenen und bisher ermittelten Gewichts "a" jedes Kreuzungspunktes ist auch bekannt, welche anliegenden Felder schwarz und welche weiß sein müssen. Ein weißer Punkt in einem schwarzen Feld kann ebenso wie ein schwarzer Punkt in einem weißen Feld erkannt werden, wenn die Graustufe des Feldmittelpunktes ermittelt wird und mit einem Schwellwert verglichen wird. In der aktuellen Implementierung ist dieser Schwellwert das Mittel aus den Gewichten "o" der umliegenden Kreuzungspunkten, die den mittleren Grauwert des Musters an der Stelle angeben.
Es folgt eine Suche nach schwarzen Punkten auf weißen Feldern bei der Mustererkennung. Sind drei schwarze Punkte gefunden worden, die zu einer Kodierung gehören, ist die tatsächliche Orientierung der Kalibrierungsebene bekannt, da anhand der schwarzen Punkte beliebige Rotationen und sogar eine Spiegelung erkannt werden kann. Eine Spiegelung entsteht entweder, wenn die Kamera das Muster über einen Spiegel beobachtet oder das Muster nur von hinten gesehen wird. Damit steht auch die Nummerierung der schwarzen Felder mit möglichen weißen Punkten eindeutig fest, so dass die binär kodierte Zahl rekonstruiert werden kann. Aus der Information über die Orientierung des Musters und der durch die Zahl beschriebenen absoluten Koordinate ist schließlich die Beziehung zwischen der bisher benutzten Adressierung der Kreuzungspunkte in der Datenstruktur und den tatsächlichen Koordinaten bekannt. Eine Punktkorrespondenzliste (Liste von Punktpaaren Weltkoordinate und normalisierte Bildkoordinate) wie sie photogrammetrischen Kalibrierungsverfahren benötigen, kann nun berechnet werden. Normalisierte Bildkoordinaten (–1/–1 für die linke obere Ecke und +1/+1 für die rechte untere Ecke des Bildes) sind unabhängig von der Auflösung des digitalen Bildes und werden für alle Bildkoordinaten verwendet, die während der Kalibrierung anfallen.
Auf die direkte Verwendung von Pixelkoordinaten in den Punktkorrespondenzen wird hier verzichtet. Stattdessen werden normalisierte Bildkoordinaten benutzt, wobei die Koordinate (–1; –1) der linken oberen Ecke des Bildes und (1; 1) der rechten unteren Ecke des Bildes entspricht. Dies führt dazu, dass die Abbildungsmodellparameter unabhängig von der Bildauflösung werden. Je nach verwendetem Verfahren zur Auswertung der Punktkorrespondenzlisten kann die Benutzung von normalisierten Bildkoordinaten außerdem zu einer Verbesserung der numerischen Kondition zu lösender Gleichungssysteme führen.
Ist die Information, welche Bildkoordinaten zu bekannten Raumkoordinaten gehören, gegeben, kann diese dazu benutzt werden, die Abbildungsparameter der jeweiligen Kamera anhand eines Modells der Kamera zu bestimmen.
Das hier verwendete Kameramodell ist eine Vereinfachung des Modells, wie es von Heikkila und Silven beschrieben wird. Auf die Modellierung einer tangentialen Linsenverzeichnung wurde jedoch aus zwei Gründen verzichtet. Ein kompliziertes Linsenmodell erschwert die Invertierung der Abbildungsvorschrift (Backprojection) und stellt mit hoher Wahrscheinlichkeit keinen Genauigkeitsgewinn bei der Bestimmung der Parameter dar. Vielmehr ist es weit überwiegend wahrscheinlich, dass ein Großteil der Verzerrung durch einen radialen Teil dominiert wird. Die Modellierung von anderen Verzerrungseffekten würde weiterhin zu numerischen Instabilitäten führen und wäre im Vergleich zu anderen Fehlerquellen wie fehlerhaft gemessenen Pixelkoordinaten sowie Imperfektionen des Kalibrierungsmusters unbedeutend.
Im folgenden werden die einzelnen Schritte erklärt, wie das verwendete Kameramodell anhand seiner Parameter einen Punkt (x_w, y_w, z_w)^T (Weltkoordinaten) in Pixelkoordinaten (u, v)^T transformiert. Zunächst werden die Weltkoordinaten anhand einer 3 × 3-Rotationsmatrix R und eines Translationsvektors t in Kamerakoordinaten umgerechnet:
Die projektive Abbildung auf eine zweidimensionale Ebene parallel zur X/Y-Ebene mit "Brennweite" 1 liefert: s = xc/zc) w = yc/zc
Die konstante Brennweite ist in keinerlei Hinsicht eine Einschränkung. Eine variable Brennweite skaliert nur die Koordinaten (s, w). Die Skalierung kann und sollte zusammen mit einer möglichen Scherung und Verschiebung nach der Berechnung der Radialverzerrung erledigt werden, weil all diese Schritte die Lage und Orientierung des Pixel-Abtastgitters modellieren. Als nächstes wird der Effekt der radialen Linsenverzerrung berechnet. An dieser Stelle lohnt es sich, in Betracht zu ziehen, was nach einer Kalibrierung mit den ermittelten Parametern passieren soll. Möchte man eher bekannte Punkte im Weltkoordinatensystem auf die Bildebene abbilden oder eher zu Punkten der Bildebene die Sichtgerade berechnen?
Ersteres wird erleichtert, wenn die Linsenverzerrung auf folgende Art und Weise modelliert wird:
Die zweite Zeile erlaubt durch einfaches Einsetzten von s und w (denunverzerrten Koordinaten) das Berechnen von sd und wd anhand der Parameter κ₁ und κ₂. Leider lässt sich diese Operation nicht einfach invertieren, weil der Skalierungsfaktor vom Quadrat der Länge des unbekannten Vektors abhängt. Als Näherung lässt sich jedoch folgendes berechnen:
Diese Näherung kann nun iterativ mit dem Newton-Verfahren verbessert werden. Schon nach wenigen Iterationen sollte sich ein Punkt (s, w)^T ergeben, der eingesetzt in obiger Gleichung bis auf die Maschinengenauigkeit wieder den ursprünglichen Punkt (s_d, wd)^T liefert.
Die aktuelle Implementierung des Kameramodells benutzt mit den Standardeinstellungen die obige Variante ("fast forward mapping"), da bei der nicht-linearen Optimierung zu bekannten Punkten im Raum immer die Pixelkoordinate berechnet werden muss. Dies kann jedoch umgeschaltet werden ("fast backward mapping"), wobei die Beziehung von (s, w)^T und (s_d, w_d)^T einfach umgekehrt wird. Zu beachten ist, dass diese Änderung das Modell der Linsenverzerrung betrifft. Die Parameter der Linsenverzerrung sind zwischen den 2 Modellvarianten nicht kompatibel.
Es fehlt nun noch die Beziehung von (s_d, w_d)^T zu den verwendeten Koordinaten im System des Bilds (u, v)^T. Diese sieht wie folgt aus:
Mit α, β und γ kann die Skalierung sowie lineare Verzerrung (Scherung, ungleichmäßige Skalierung) modelliert werden. Der Hauptpunkt (u₀, v₀)^T (Principal Point) ist der Punkt in der Bildebene, der dem Projektionszentrum am nächsten ist. Das ganze Modell wird also durch folgende Größen parametrisiert: die extrinsischen Parameter, die Rotationsmatrix R und den Translationsvektor t, sowie die sieben intrinsischen Parameter κ₁, κ₂, α, β, γ, u₀ und v₀.
Das verwendete Koordinatensystem ist rechtsorientiert und lehnt sich an die in der Computergrafik übliche Adressierung von Pixelkoordinaten eines digitalen Bildes an. Der positive Teil der X-Achse der Bildebene zeigt nach rechts und der positive Teil der Y-Achse nach unten. Folglich zeigt der positive Teil der Z-Achse des Kamerakoordinatensystems in die Blickrichtung der Kamera.
Statt Pixelkoordinaten werden bei der Kalibrierung normalisierte Koordinaten genutzt, die unabhängig von der tatsächlichen Bildauflösung sind. Für die linke obere Ecke des Bildes wird die Koordinate (–1, –1) verwendet und für die rechte untere Ecke die Koordinate (1, 1). Daraus folgt, dass sich die tatsächliche Brennweite über
berechnen lässt. Vernachlässigt man den Einfluss von Scherung und Linsenverzerrung auf das Sichtfeld, lassen sich die Sichtfeldwinkel mit Hilfe der ermittelten Koeffizienten α und β unabhängig von der Bildauflösung bestimmen:
Zhang betrachtet nur einzelne Kameras. Eine Kalibrierungsebene wird mehrfach in den Bildbereich der jeweiligen Kamera gehalten. Dabei wird die Orientierung der Ebene zwischen den Aufnahmen verändert, um genügend unabhängige Bedingungen für die intrinsischen Parameter zu erhalten. Der Lösungsansatz von Zhang bedeutet für den Anwender einen relativ geringen Aufwand, da nur eine ebene Kalibrierungsplatte angefertigt werden muss und die Ebene nahezu beliebig bewegt werden darf. Es ist keine bekannte Kippung oder Translation erforderlich. Dennoch wurde Zhangs Kameramodell durch das vorher beschriebene Modell ersetzt. Der Unterschied zu Zhangs Modell liegt darin, dass Zhang die radiale Linsenverzerrung als allerletzten Schritt nach einer möglichen Scherung oder ungleichmäßigen Skalierung betrachtet. Da eine Scherung oder ungleichmäßige Skalierung aber das Gitter der Pixelabtastpunkte beschreibt und die radiale Verzerrung das Objektiv betrifft, sollte zunächst eine Abbildung unter Berücksichtigung der radialen Verzerrung auf die Bildebene und erst später die affinlineare Abbildung stattfinden, die das Gitter der Pixelabtastpunkte beschreibt. Die initiale Schätzung der Abbildungsparameter, die Zhang durchführt, lässt sich aber problemlos auf das vorher beschriebene Kameramodell übertragen, da die Linsenverzeichnung bei diesem Schritt sowieso vernachlässigt wird.
Für die nicht-lineare Optimierung muss eine geeignete Parametrisierung der Rotationsmatrix eingesetzt werden. Statt der Parametrisierung der Rotationsmatrix durch einen "Rodrigues-Vektor", der die Rotationsachse durch seine Richtung und den Rotationswinkel durch seine Länge beschreibt, wurde der Einfachheit halber die Rotationsmatrix durch das Produkt der in der Initialisierung ermittelten Rotationsmatrix R₀ und einer zweiten "korrigierenden" Rotationsmatrix R_k ausgedrückt. Die Matrix R_k wird durch drei Winkel parametrisiert, die vor Beginn der nicht-linearen Optimierung jeweils auf null gesetzt werden. Da zu erwarten ist, dass sich die im ersten Schritt ermittelte Rotationsmatrix nicht stark von der optimalen Matrix unterscheidet, werden die drei Korrekturwinkel nahe bei null sein. Obwohl dieser Ansatz die Parametrisierung einer Rotationsmatrix durch ihre Euler-Winkel nutzt und diese für ihre Singularitäten bekannt ist, wurde durch die Produktdarstellung aus Annäherung und Korrektur dafür gesorgt, dass sich die optimalen Winkel nicht in der Nähe einer Singularität aufhalten. Außerdem entfällt bei diesem Ansatz eine komplizierte Bestimmung der Startparameter für die nicht-lineare Optimierung.
Der Levenberg-Marquardt-Algorithmus wurde für die nicht-lineare Optimierung genutzt. Die für den Algorithmus erforderliche Berechnung der Jacobi-Matrix der Fehlerfunktion wird der Einfachheit wegen durch eine Vorwärtsdifferenz numerisch approximiert.
Besondere Vorteile bietet das neue Verfahren bei der Kalibrierung mehrerer Kameras. Die Veränderung der Lage und Orientierung der Kalibrierungsebene ist zunächst unbekannt. Anhand der Kalibrierungsergebnisse für die extrinsischen Parameter jedes Bildes lässt sich diese "Bewegung" der Kalibrierungsebene aber berechnen (relative Drehung und Translation der Ebene). Sie ist also auch Ergebnis der Kalibrierung. Wenn mehrere Kameras zu kalibrieren sind, die sich zueinander nicht bewegen und gleichzeitig Bilder der Kalibrierungsebene aufnehmen, beobachten sie die gleiche Bewegung der Ebene nur aus einer anderen Perspektive. Damit ergeben sich weitere Bedingungen, die die extrinsischen Parameter der Kameras in Verbindung bringen. Die Kameraposition und Orientierung der Kamera X muss, im Koordinatensystem der Kamera Y ausgedrückt, über alle Zeitpunkte konstant sein, da sich die Kameras nicht zueinander bewegt haben.
Ein Projektor besitzt genauso wie eine Kamera ein Linsensystem (Projektionszentrum) und eine Bildebene und lässt sich ebenso durch ein Modell mit Parametern beschreiben, wie es bei Kameras der Fall ist. Allerdings nehmen Projektoren keine Bilder auf, vielmehr projizieren sie das Bild der Bildebene auf die Umgebung. Um einen Projektor mit dem hier vorgestellten Ansatz kalibrieren zu können, werden wieder Punktkorrespondenzlisten benötigt, die Pixelkoordinaten mit Weltkoordinaten in Verbindung bringen. Projiziert der Projektor das Schachbrettmuster auf eine Ebene, so müssen die Raumkoordinaten der Punktmerkmale auf der Ebene in Erfahrung gebracht werden. Es gibt mehrere Möglichkeiten, wie dieses Problem im Rahmen der vorliegenden Erfindung gelöst werden kann. Hat man bereits zwei kalibrierte Kameras können diese die Ebene mit dem projizierten Muster beobachten. Anhand der Pixelkoordinaten der Punktmerkmale in den von den Kameras aufgenommenen Bildern können die 3D-Koordinaten der Punkte rekonstruiert werden ("Stereo Vision").
Für diese Vorgehensweise sind jedoch zwei Kameras notwendig. Bei vielen Messverfahren, die eine Kalibrierung des Projektors voraussetzen, gibt es allerdings nur eine Kamera. Es ist also wünschenswert, einen Projektor mit nur einer Kamera kalibrieren zu können. Wird die Projektion des Musters mit nur einer Kamera beobachtet, können die Raumkoordinaten der Kreuzungspunkte nur berechnet werden, wenn bekannt ist, wie die Ebene im Raum liegt, auf der das Muster projiziert wird. Dies kann durch folgende Maßnahmen erreicht werden:

1. Große helle Ebene im Bereich des Interesses fixieren
2. Das Schachbrettmuster mit dem Projektor auf die Ebene projizieren und mit der Kamera aufnehmen
3. Schachbrettobjekt auf die helle Ebene legen beziehungsweise hängen, so dass das Muster parallel zur Ebene liegt und die "Parallelverschiebung" bekannt ist
4. Bild des Schachbrettmusters aufnehmen

Wenn dies mehrfach mit unterschiedlichen Orientierungen der Ebenen durchgeführt wird, lässt sich die Kamera anhand der Bilder der Kalibrierungsebene kalibrieren. Für die anderen Bilder lassen sich zumindest Punktkorrespondenzlisten ermitteln, die Projektor-Pixelkoordinaten mit Kamera-Pixelkoordinaten in Verbindung bringen. Anhand der Parameter der kalibrierten Kamera, der bekannten Z-Verschiebung und dieser Zuordnungen können die Raumkoordinaten der projizierten Merkmale ermittelt werden, so dass die Kalibrierung des Projektors durchgeführbar ist.

Claims

Verfahren zur Kalibrierung einer Kamera, wobei ein bekanntes ebenes Schachbrettmuster mit der Kamera in mehreren Relativstellungen zu der Kamera abgebildet wird und wobei in den Abbildern des Schachbrettmusters Lagen von Kreuzungspunkten von Kanten anhand von Lagen von Sattelpunkten der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters verfolgt werden, dadurch gekennzeichnet, dass mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert ist, die eine Kodierung der Orientierung und der Lage des Kreuzungspunkts innerhalb des Schachbrettmusters umfasst.
Verfahren zur Kalibrierung eines Projektors, wobei mit dem Projektor ein bekanntes Schachbrettmuster auf einen ebenen Schirm projiziert wird, wobei mit mindestens einer gegenüber dem Projektor fest ausgerichteten kalibrierten Kamera das projizierte Schachbrettmuster in mehreren Relativstellungen des Schirms zu dem Projektor und der Kamera abgebildet wird und wobei in den Abbildern des Schachbrettmusters Lagen von Kreuzungspunkten von Kanten anhand von Lagen von Sattelpunkten der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters verfolgt werden, dadurch gekennzeichnet, dass mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert ist, die eine Kodierung der Orientierung und der Lage des Kreuzungspunkts innerhalb des Schachbrettmusters umfasst.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Positionsangabe einen Teil aufweist, der den jeweiligen Kreuzungspunkt und seine Orientierung innerhalb des Schachbrettmusters bezeichnet, und einen Teil, der die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters bezeichnet.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Positionsangabe durch helle Punkte in dunklen Schachbrettfeldern und/oder durch dunkle Punkte in hellen Schachbrettfeldern binär kodiert ist.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters in einer binären Zahl kodiert ist.
Verfahren einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein zweidimensionales Raster von Kreuzungspunkten in dem Schachbrettmuster mit den Positionsangaben versehen ist.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Schachbrettmuster ein regelmäßiges Schachbrettmuster ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zunächst Groblagen der Kreuzungspunkte der Kanten ermittelt werden, die als Aufpunkte für eine subpixelgenaue Bestimmung der Lage der zugehörigen Sattelpunkte der Helligkeitsintensitätsverteilung verwendet werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass für die Ermittlung der Groblagen der Kreuzungspunkte der Kanten, die Abbilder des Schachbrettmusters mit einem Kantenoperator bearbeitet werden und anschließend in der Mitte des jeweiligen Abbilds eine Hough-Transformation durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass Punktkorrespondenzlisten erstellt werden, indem den Lagen der Kreuzungspunkte in den Abbildern des Schachbrettmusters Raumkoordinaten zugeordnet werden.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass aus den Punktkorrespondenzlisten die Abbildungsparameter und die Position der Kamera oder die Projektionsparameter und die Position des Projektors basierend auf dem Verfahren von Heikkila und Silven, aber ohne Berücksichtigung der tangentialen Verzerrung bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mindestens zwei fest zueinander ausgerichtete Kameras gleichzeitig kalibriert werden, wobei die Orientierungsänderungen des Schachbrettmusters, die aus seinen Abbildern ermittelt werden, gegeneinander abgeglichen werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das auf den Schirm projizierte Schachbrettmuster mit mindestens zwei fest zueinander ausgerichteten Kameras abgebildet wird, wobei die Orientierungsänderungen des Schirms, die aus den Abbildern des Schachbrettmusters ermittelt werden, gegeneinander abgeglichen werden.