DE69607631T2

DE69607631T2 - Methode und verfahren zum automatischen und elektronischen einfügen von reklameschildern in einem videobild

Info

Publication number: DE69607631T2
Application number: DE69607631T
Authority: DE
Inventors: Avi Sharir; Michael Tamir; Itzhak Wilf
Original assignee: Orad Hi Tec Systems Ltd
Current assignee: Orad Hi Tec Systems Ltd
Priority date: 1995-09-08
Filing date: 1996-09-09
Publication date: 2000-07-27
Anticipated expiration: 2016-09-10
Also published as: TR199800395T1; CN1143525C; EP1056281B1; DE69635558T2; DE69635558D1; CN1122402C; DE69612666D1; EP0848883A1; CA2231376C; MX9801848A; GB9601101D0; JP3644688B2; EP0848884A1; US6208386B1; ATE200948T1; CA2231374A1; US6292227B1; WO1997009823A1; JPH11514510A; ES2157456T3

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum automatischen Ersetzen von Plakatflächen in einem Videobild.
Die vorliegende Erfindung hat ihre Verwendung insbesondere beim elektronischen Ersetzen von Plakatflächen in einem Stadion oder an einem anderen Veranstaltungsort, sie kann aber auch verwendet werden, um exakte Daten betreffend die Kameraorientierung für andere Zwecke bereitzustellen.
In früheren Systemen ist vorgeschlagen worden, Plakatflächen in einem Stadion, die von einem Betrachter am Fernsehen betrachtet werden, elektronisch zu ersetzen. Die Plakatflächen in dem Stadion werden mit einer Fernsehkamera ins Fernsehen gebracht, und die Flächen werden elektronisch geändert, so daß der Fernsehbetrachter zu Hause eine andere Fläche als der Zuschauer im Stadion oder an dem anderen Veranstaltungsort sieht.
Die bekannten Systeme, so wie beispielsweise dasjenige, das in der US 5 266 933 beschrieben ist, offenbaren eine Vorrichtung und ein Verfahren zum elektronischen Ändern von Videobildern. Die Vorrichtung und das Verfahren, die in diesem US-Patent und auch in dem US-Patent 5 353 392 offenbart sind, lösen, während sie theoretisch das Ersetzen von Plakatflächen ermöglichen, nicht die vielen praktischen Probleme, die in realen Umgebungen auftreten. Die meisten dieser Probleme beziehen sich auf die Erkennungs- und Ersetzungsprozesse.
Das Aufbauen ausschließlich auf Mustererkennungstechniken, die nur das Videosignal verwenden, um Plakatflächen für das Ersetzen zu identifizieren und lokalisieren, führt erhebliche Probleme ein, die den praktischen Wert eines solchen Systems beeinträchtigen.
Es ist klar, daß jegliches Mustererkennungsschema, einschließlich jener, die in der US 5 264 933 und der US 5 353 392 beschrieben sind, auf sinnvollen sichtbaren Merkmalen in dem Bild aufbauen muß, die mit vordefinierten Beschreibungen verglichen werden können. Solche Merkmale sollten innerhalb der Plakatfläche oder in ihrer Nähe angeordnet sein.
In realistischen Situationen kann sich die Sichtbarkeit dieser Merkmale ändern, kontinuierlich oder anders von praktisch Null bis zu einer Schwellwertsichtbarkeit, die es dem Mustererkennungsschema erlaubt, ordnungsgemäß zu arbeiten. Diese Anderungen können in der Richtung von anwachsender oder abnehmender Sichtbarkeit auftreten.
Solche Situationen schließen ein:
* eine Beschleunigung oder Abbremsung der Kamerabewegung, die ein großes Maß an Bewegungsunschärfe einführt.
* Eine exzessive Vergrößerung oder Verkleinerung der Plakatfläche.
* Eine exzessive Verdeckung durch Spieler.
* Ein Eintreten in ein oder Verlassen eines Blickfeld(s) einer Kamera durch jegliche Kombination von Schwenk-, Kipp- und Vergrößerungsänderungsoperationen.
* Jegliche Kombination der oben erwähnten Mechanismen.
Deshalb ist in praktischen Situationen ein kontinuierliches Ersetzen der Plakatflächen nicht möglich. Selbst wenn ein unterbrochenes Ersetzen erlaubt wäre, würde es eine Verzögerung von mindestens einigen Sekunden erfordern, um zu entscheiden, ob das resultierende Ersatzintervall akzeptabel ist oder nicht. Eine solche Verzögerung ist üblicherweise bei der Liveübertragung von Sportereignissen nicht zulässig.
Das Ersetzen arbiträrer Plakatflächen führt weitere Probleme ein. Ein saumloses Ersetzen erfordert es, die Vordergrundobjekte, welche die Plakatfläche verdecken, zu identifizieren, um das Ersetzen an Orten der Verdeckung zu verhindern. Vordergrundobjekte bestehen hauptsächlich aus Spielern, aber auch aus dem Ball und anderen Objekten. Jetzt angenommen, daß ein Spieler mit einem roten Hemd einen Teil eines ähnlich roten Bereichs einer Plakatfläche verdeckt. Dann kann kein Farbkontrast verwendet werden, um die Verdeckung störungsfrei zu identifizieren. Weiterhin können, da der Spieler kein starres Objekt ist, Bewegungs- oder Forminformationen nicht ausreichend genau verwendet werden, um ein perfektes Ersetzen zu garantieren.
Ein anderes Problem, welches in praktischen Situationen auftreten kann, ist die Auflösung der Plakatflächenidentität. Angenommen, daß zwei identische Plakatflächen an zwei unterschiedlichen Orten in der Arena angeordnet sind. Wenn dann unterschiedliche Ersatzplakatflächen zu jeder dieser physikalischen Plakatflächen zugeordnet sind, muß man in der Lage sein, zu sagen, welche welche ist. Dies kann sich als extrem schwierig herausstellen, insbesondere wenn keine unzweideutigen Merkmale sichtbar sind.
Die Erfindung beschreibt ein robustes System für den Plakatflächenersatz, das auf einigen oder allen der folgenden Schlüsselelemente basiert:
* Physikalische Plakatflächen, die in geeigneter Weise gefärbt sind, um eine effiziente Detektion von Verdeckungen durch Chroma-Key-Techniken zu ermöglichen.
* Farbvariationen oder ein Muster innerhalb der physikalischen Plakatfläche, um die Leistungsfähigkeit der Bildverarbeitungsmethoden weiter zu verbessern.
* Schwenk-, Kipp-, Zoom- und Fokussensoren, die an der Kamera angebracht sind, welche es nach einer geeigneten Setup- Prozedur ermöglichen, die Anwesenheit und den Ort von Plakatflächen in jedem gegebenen Videofeld abzuschätzen.
* Bildverarbeitungsverfahren und deren Ausführung, die es ermöglichen, die Abschätzungen der Sensoren zu verfeinern.
Die vorliegende Erfindung hat es daher zum ersten Ziel, eine physikalische Plakatfläche bereitzustellen, die eine Chroma-Key- Oberfläche aufweist und weiterhin Mittel, die es ermöglichen, eine elektronische Ersatzplakatfläche für die Chroma-Key-Fläche zu substituieren.
Die vorliegende Erfindung stellt deshalb eine Vorrichtung zum automatischen Ersetzen einer Plakatfläche in einem Videobild mit einer Videokamera zum Betrachten der Plakatfläche bereit, die dadurch gekennzeichnet ist, daß die Plakatfläche eine Chroma- Key-Oberfläche aufweist und daß die Vorrichtung weiterhin eine Chroma-Key-Einheit umfaßt, die dazu dient, mindestens eine Chroma-Key-Farbe zu detektieren, und bei der die Chroma-Key- Farbe einstellbar ist, damit sie mit der Farbe der Chroma-Key- Oberfläche übereinstimmt.
Die vorliegende Erfindung stellt auch ein Verfahren und eine Vorrichtung bereit, die die Identifikation des Orts einer Plakatfläche oder eines anderen statischen Objekts in einem Stadion oder an einem anderen Veranstaltungsort unter jeglichen Wetterbedingungen und bei jeder Schwenkgeschwindigkeit der Kamera und bei jeder anderen Veränderung der Kameraparameter erlaubt.
Die vorliegende Erfindung stellt deshalb eine Vorrichtung zum automatischen elektronischen Ersetzen einer Plakatfläche in einem Videobild mit einer automatischen Kameraorientierungsmeßvorrichtung bereit, die Bewegungsmeßmittel umfaßt, welche dazu dienen, das Gesichtsfeld (GSF) der Kamera relativ zu einer bekannten Referenzposition zu messen.
Die vorliegende Erfindung stellt vorzugsweise auch eine Vorrichtung zum automatischen elektronischen Ersetzen einer Plakatfläche in einem Videobild bereit, die Bildverarbeitungsmittel zum Verarbeiten der Videosignale, welche von der Fernsehkamera erzeugt werden, wobei die Verarbeitungsmittel Kalibriermittel zum periodischen automatischen Kalibrieren der Bewegungsmeßmittel umfassen, und eine Vorrichtung umfaßt, bei der die Bewegungsmeßmittel Mittel zum Messen der Verschwenkung, Verkippung, Vergrößerung oder des Fokus der Kamera relativ zu bekannten Referenzpositionen umfassen.
Die vorliegende Erfindung wendet somit eine dynamische Neukalibrierung an, um verbleibende Sensorfehler oder Aberrationen innerhalb eines nicht perfekten Modells und eine Sensordrift mit der Zeit zu korrigieren. So ist es gemäß der vorliegenden Erfindung möglich, weniger stabile Sensoren zu verwenden, und die Vorrichtung und das Verfahren gemäß der vorliegenden Erfindung können eine Bewegung der Kameraposition ausgleichen. Der Bildkorrekturprozeß für die Kalibrierung der Sensoren beseitigt durch automatische Neukalibrierung unter Bezugnahme auf das Videobild die Notwendigkeit, die Sensoren durch mechanische Mittel stabil zu gehalten.
In die anfängliche Setup-Prozedur können Korrekturen für die Kalibrierung bezüglich solcher Plakatflächen einbezogen werden, die beispielsweise nicht im Zentrum des Gesichtsfelds angeordnet sind; beispielsweise kann eine Plakatfläche, die sich in der oberen linken Ecke des Schirms befindet, um beispielsweise 3 Pixel justiert werden, um Aberrationen bei der Kamera zu berücksichtigen.
Probleme, die bei Systemen nach dem Stand der Technik auftreten, bestehen erstens, wenn die Plakatfläche entweder im wesentlichen oder vollständig verdeckt ist, oder zweitens, wenn sie durch ein Objekt, wie beispielsweise einen Spieler, derselben Farbe wie das tatsächliche Zeichen auf der Plakatfläche verdeckt wird.
Dies kann erstens, wie oben erläutert, zur Nichterkennung der Plakatfläche und zweitens zu Schwierigkeiten beim befriedigenden Ersetzen der Plakatfläche führen.
In dem ersten Fall kann die reale Plakatfläche in dem Videobild bereits ersetzt worden sein, wenn aber die Kamera ihre Vergrößerung für eine Nahaufnahme ändert oder wenn eine andere Kamera für die Neuaufnahme verwendet wird, kann der Anschluß verlorengehen, weil sich nur ein sehr kleiner Bereich der Plakatfläche im Blick befindet. Im zweiten Fall kann der Spieler ein Trikot aufweisen, das von derselben Farbe wie die Plakatfläche ist. Die Systeme nach dem Stand der Technik schlagen vor, die Plakatfläche von dem Spieler auf der Basis der Bewegung zu unterscheiden, falls die Farben gleich sind, und die "sich bewegenden" Pixel zu analysieren, um die Verdeckung zu bestimmen. Dies ist in der Theorie vernünftig, scheitert aber in der Praxis, da sich nicht alle Spieler zur gleichen Zeit bewegen. So ist, falls sich eine Anzahl von Spielern vor der Plakatfläche bewegt und ein Spieler stehenbleibt, nachdem sich die anderen weiterbewegt haben, die Elektronik nicht in der Lage, aufgrund der Bewegung zu unterscheiden. Da Farben durch Flutlichtbeleuchtung, Schatten, Unterschiede in der Reflektivität und unterschiedliche Beleuchtungsbedingungen für einen Vordergrundspieler und eine Hintergrundplakatfläche verzeichnet werden, wird es Fälle in der Praxis geben, in denen das System scheitert. In solchen Fällen kann entweder die originale Plakatfläche wieder auf dem Videobild erscheinen, oder die Ersatzplakatfläche wird nicht korrekt verdeckt.
Es ist erneut möglich, eine Verzögerung in die Videoübertragung einzuführen, um es der elektronischen Signalverarbeitung zu ermöglichen, genauer zu sein, aber dies löst nicht die praktischen Probleme, wenn sich eine Mehrzahl von Spielern in unterschiedlichen Richtungen bewegt, um die Plakatfläche zu verdecken. Die notwendige Verzögerung wird als unakzeptabel angesehen und wird in keinem Fall alle der obigen Probleme lösen.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung wird vorgeschlagen, die realen Plakatflächen durch Chroma- Key-Tafeln oder durch sich abhebende Bereiche zu ersetzen, die Chroma-Key-Tafeln ausbilden.
Chroma-Key ist im wesentlichen eine Verdeckungstechnik, die es beispielsweise einem Nachrichtensprecher erlaubt, vor einer Chroma-Key-Fläche zu stehen und sich vor dieser zu bewegen, die üblicherweise blau oder in einer anderen geeigneten Farbe gefärbt ist. Der Nachrichtensprecher (Vordergrund) wird von der Chroma-Key-Fläche (Hintergrund) durch Farbdifferenzierung unterschieden und kann sich so vor dem Ersatzhintergrund mit normaler Verdeckung von Vordergrund und Hintergrund bewegen. Diese Technik ist in Fernsehstudiosystemen sehr gut bekannt und in zahlreichen US-Patenten beschrieben, einschließlich US 2 974 190 und 4 200 890.
Das US-Patent Nr. 5 353 392 offenbart ein elektronisches Ersatzplakatflächensystem, bei dem eine reale Plakatfläche in einem Videobild durch eine virtuelle oder elektronische Plakatfläche ersetzt wird. Verdeckende Hindernisse, die zwischen der Videokamera und der Plakatfläche angeordnet sind, werden durch fehlende Relation zu der Farbe oder der Leuchtdichte der Plakatfläche identifiziert.
Die PCT WO 94/05118 offenbart ein virtuelles Studiosystem, das eine Hintergrund-Chroma-Key-Tafel verwendet. Die Tafel weist ein gleichmäßiges Muster von zwei Chroma-Key-Farben mit unterschiedlichem Farbton und/oder Helligkeit auf, die es ermöglichen, die Position der Kamera relativ zu der Hintergrund-Chroma-Key-Tafel zu ermitteln, vorausgesetzt, daß die anfängliche Kameraposition bekannt ist.
Bei der vorliegenden Erfindung werden die Plakatflächen durch Chroma-Key-Tafeln oder durch sich abhebende Bereiche ersetzt, die Chroma-Key-Tafeln ausbilden.
In dem Stand der Technik wird jedoch nur ein Chroma-Key-Bereich identifiziert, und dieser Bereich ist korrekt beleuchtet. Bei der vorliegenden Erfindung können verschiedene Plakatflächen an verschiedenen Orten innerhalb eines Stadions angeordnet sein, und die vorliegende Erfindung ermöglicht es, elektronische Plakatflächen für die verschiedenen Plakatflächen zu substituieren.
Außerdem ist in einer virtuellen Feststudioanwendung die Kamera typischerweise 2 bis 10 m von dem Vordergrund entfernt, und üblicherweise wird das gesamte Gesichtsfeld ersetzt. Im Vergleich dazu kann eine Plakatfläche mehrere hundert Meter von der Kamera entfernt sein, und deshalb ist ein System zum Ersetzen, welches Sensoren verwendet, viel anfälliger gegenüber Sensorfehlern:
* Aufgrund der großen Brennweiten, weil sich dieselbe Sensorgenauigkeit in größere geometrische Registrierfehler umsetzt. Einen Drehimpulsgeber mit 81.000 Impulsen pro Umdrehung angenommen, dann beträgt die Winkelpräzision 0,004 rad oder 75 mikro-rad. Die Wiederholbarkeit ist zweimal so schlecht. Angenommen eine Aufnahmeentfernung von 100 m mit einem Gesichtsfeld von 4 m, dann beträgt das GSF 40 milli-rad. Der Fehler übersetzt sich in 768 · 150/20000 = 2,88 Pixel.
* Da das Gesichtsfeld viele stationäre Objekte (einschließlich Plakatflächen) umfaßt, die nicht ersetzt werden, wird der menschliche Betrachter gegenüber dem Erkennen von Fehlern viel empfindlicher sein, Zusätzliche Fehler können von einer Linsenverzerrung, einer Drehachse, die nicht durch den Brennpunkt verläuft, einen Rollwinkel ungleich Null usw. herrühren.
Chroma-Key ist ursprünglich eine Technik für Studios, wo die Beleuchtung sorgfältig ausgelegt und überwacht wird und wo die Steuerungen des Chroma-Keyers sorgfältig für die spezifische Anordnung der Blauschirmfarbe und der Beleuchtung eingestellt wird.
Bei einem Sportereignis können die Bedingungen in hohem Maße nicht-ideal sein und einige Modifikationen des Chroma-Key- Algorithmus erfordern. Insbesondere sollten die Keyer-Parameter in Abhängigkeit von Änderungen in der Beleuchtung über die Arena an die spezifischen Plakatflächen angepaßt werden, die ersetzt werden. Entsprechend wird bei der vorliegenden Erfindung vorgeschlagen, Chroma-Key-Tafeln zu verwenden und diese in dem Videobild durch die Ersatzplakatflächen zu ersetzen.
Da es für eine perfekte Verdeckung notwendig ist, daß Spieler oder andere verdeckende Objekte von unterschiedlicher Farbe als die Chroma-Key-Tafel sind, wird es in einer weiteren bevorzugten Ausführungsform vorgeschlagen, Chroma-Key-Tafeln bereitzustellen, bei denen die Farbe der Tafel geändert werden kann, beispielsweise durch Verwenden einer drehbaren Plakatflächenkonstruktion, die im Stand der Technik bekannt ist. Eine Seite könnte beispielsweise blau und die andere grün sein. Grün kann in einer Sportumgebung bevorzugt sein, da Spieler nicht dazu neigen, grün zu tragen, weil dies nicht mit der Hintergrundsportfläche konstrastieren würde.
In einer weiteren bevorzugten Ausführungsform und insbesondere wenn eine Mehrzahl von Plakatflächen ersetzt werden muß, wird eine gemusterte Chroma-Key-Oberfläche verwendet. Das Muster kann von jeder geeigneten Form sein, aber es wird vorzugsweise ausgewählt, um für die Größe und Form der Plakatfläche oder eine Reihe von Plakatflächen geeignet zu sein und auch für die angenommenen Videobedingungen. So wird, wenn eine Plakatfläche nur aus einer großen Entfernung betrachtet werden kann, ein anderes Muster ausgewählt werden als für eine Plakatfläche, die in einer Nahaufnahme zu betrachten ist.
Das Muster kann unterschiedliche Farben aufweisen oder kann von unterschiedlicher Schattierung derselben Farbe sein. Das Muster kann vertikale und horizontale Linien aufweisen oder kann ein dekoratives Muster aufweisen, eine wahrnehmbare Werbung, ein Firmenlogo oder anderen geeigneten Text, was ästethisch eher akzeptabel ist.
Die Verwendung eines Musters erlaubt eine weitergehende Auflösung der Position der Kamera und kann die Bewegung der Kamera aus einer festen Position erlauben.
Die Kameraorientierungsdaten können zusammen mit dem Videosignal übertragen werden und werden die Position der Plakatfläche bei jeglichen Wetter-, Beleuchtungs- oder Verdeckungsbedingungen identifizieren. Keine Referenz für irgendein Merkmal innerhalb des Sportveranstaltungsorts ist erforderlich, um die Position der Plakatfläche zu identifizieren.
Die Kamerasensoren können auf wenige Pixel oder physikalisch ausgedrückt auf etwa 1 cm auf eine Entfernung von etwa 100 m genau sein, wodurch sie das genaue Ersetzen jeglicher Plakatfläche ermöglichen. Die Neukalibrierung kann kontinuierlich oder nur periodisch durchgeführt werden, insbesondere falls beim Setup eine anfängliche Einstellung der Kalibrierung der Plakatflächen als nicht im Zentrum des GSF festgestellt wird.
Durch Verwendung der Chroma-Key-Techniken gibt es kein Erfordernis, irgendwelche Verdeckungsdaten zu übertragen, da diese leicht an einem Empfänger eingesetzt werden können und die Verdeckung leicht in üblicher Weise eingesetzt werden kann.
Wenn jedoch die Flächen, die solche Bereiche von Chroma-Key- Farbe umfassen, die sich als Chroma-Key-Flächen abzeichnen und die im Folgenden als Plakatflächen bezeichnet werden, an unterschiedlichen Orten in dem Stadion befinden, werden sie variierenden und unterschiedlichen Beleuchtungsbedingungen ausgesetzt sein.
Das Problem, welches die Erfinder realisiert haben, ist, daß ein Chroma-Keyer eingestellt wird, um eine bestimmte Chroma-Key- Farbe zu detektieren, und daß sich unter unterschiedlichen Beleuchtungsbedingungen die Farbe einer Plakatfläche (definiert als Bereiche umfassend, in die Plakatflächen einzusetzen sind) ändern wird. So wird die Vorrichtung nicht in der Lage sein, die verschiedenen Plakatflächen, die rund herum in dem Stadion angeordnet sind, genau zu identifizieren.
Die vorliegende Erfindung stellt deshalb auch eine Vorrichtung zum automatischen Ersetzen einer Plakatfläche, wie sie in Anspruch 1 beansprucht ist, bereit.
Ein weiteres Problem, welches die Erfinder realisiert haben, ist, daß dann, wenn eine Mehrzahl von unterschiedlichen Chroma- Key-Farben an einen entfernten Empfänger übertragen werden, um substituierte Plakatflächen an einem lokalen Verteilerzentrum bereitzustellen, die Chroma-Key-Ausrüstung an einem solchen Zentrum ebenfalls mit einer selektiven Chroma-Key-Kartierung ausgestattet sein muß. Dies kompliziert wesentlich die lokale Empfangsvorrichtung, und es ist ein Ziel der vorliegenden Erfindung, dieses Problem zu überwinden.
Die vorliegende Erfindung stellt deshalb in einer bevorzugten Ausführungsform eine Vorrichtung bereit, die weiterhin Mittel zum Übermitteln eines perfekten Hintergrundfarbe-Key-Signals für jede zu ersetzende Plakatfläche umfaßt.
Die vorliegende Erfindung stellt in einer bevorzugten Ausführungsform weiterhin eine Vorrichtung bereit, die weiterhin Mittel zum Übermitteln der Koordinaten jeder zu substituierenden Plakatfläche umfaßt, und eine Vorrichtung, die weiterhin eine Empfangsvorrichtung zum Empfang der Plakatflächenkoordinaten und der perfekten Hintergrund-Chroma-Key-Farbe und Mittel zum Bereitstellen eines kombinierten Videobilds umfaßt, das Abdeckungen in den Koordinatenbereichen einschließt, die durch die perfekte Hintergrund-Chroma-Key-Farbe identifiziert sind.
In einer bevorzugten Anordnung innerhalb eines Stadions oder eines anderen Sportveranstaltungsorts werden reale Plakatflächen mit normalem Werbematerial an einer Seite des Stadions angeordnet sein, um von einer ersten Mehrzahl von Kameras betrachtet zu werden, und Chroma-Key-Plakatflächen werden auf einer anderen oder der gegenüberliegenden Seite angeordnet sein, um von einer zweiten Mehrzahl von Kameras betrachtet zu werden. So kann z. B. die Heimatnation die normalen Plakatflächen betrachten, während das internationale Fernsehpublikum nur die substituierten Flächen sieht.
Die vorliegende Erfindung stellt auch ein Verfahren zum automatischen Ersetzen von Plakatflächen in einem Sportstadion bereit, wie es in Anspruch 10 beansprucht ist.
In einer bevorzugten Ausführungsform weist der Schritt des Analysierens der Größe und der Position der Chroma-Key- Plakatfläche, die zu ersetzen ist, einen weiteren Schritt des Analysierens einer Mehrzahl von Videoabtastzeilen auf, um eine Feinabstimmungsinformation bezüglich der exakten Größe, Perspektive und Position der zu ersetzenden Plakatfläche bereitzustellen.
In einer weiteren bevorzugten Ausführungsform kann die zu ersetzende Chroma-Key-Plakatfläche von einer blauen oder grünen Schattierung sein, aufgrund der Tatsache, daß diese Farben selten bei menschlicher Haut und menschlichen Haaren gefunden werden.
In einer noch weiteren bevorzugten Ausführungsform ist die Chroma-Key-Plakatfläche zum Zweck des Erleichterns des oben erwähnten Feinabstimmungsprozesses mit einem Muster geeigneter Form gemustert. Der Schritt des Analysierens der Größe und Position der Plakatfläche weist die Analyse des Musters auf, um die exakte Position der Plakatfläche festzustellen. In einer weiteren Ausführungsform wird die Korrektur der sensorbasierten Vorhersage durch die Analyse des Musters durch eine Gütezahl (Genauigkeitsabschätzung) für die Analyse gesteuert, die automatisch berechnet wird.
In einer weiteren Ausführungsform umfaßt der Schritt des elektronischen Ersetzens der Plakatfläche in dem aktuellen Video halbbild durch das Ersetzen der Plakatfläche den Schritt des Überlagerns verdeckender Objekte durch Verwendung der Chroma- Key-Techniken.
In einer weiteren bevorzugten Ausführungsform kann die zu ersetzende Plakatfläche gewechselt werden, um zum Zweck des Bereitstellens eines guten Kontrasts zwischen den Plakatflächen und den Spielern am besten zu den Farben und Schattierungen von Farben auf den Spielertrikots zu passen. Zum Beispiel kann dann, wenn diese Trikots Schattierungen von blau enthalten, eine grüne Plakatfläche gewählt werden.
Die Hintergrundfarbe kann zwischen blau, grün und rot gewählt werden. Damit der Chroma-Keyer alle Bildparameter, die notwendig sind, um eine richtige Bildzusammensetzung durchzuführen, berechnen kann, erfordert das System eine Probe der Hintergrundfarbe als Referenz. Dieser Schritt kann automatisch ausgeführt werden, indem das Bild abgetastet und die reinste und hellste Farbe detektiert wird. Fortschrittliche Chroma-Keyer ermöglichen es dem Benutzer, den abgetasteten Bereich manuell zu wählen.
In einer weiteren bevorzugten Ausführungsform wird die Chroma- Key-Vorrichtung eine Mehrzahl von Setup-Bedingungen aufweisen, von denen jede einem anderen Bereich des Stadions entspricht. Die Kameraschwenk-, -kipp- und -zoominformationen werden es erlauben, die entsprechenden Setup-Bedingungen zu laden.
In einer weiteren Ausführungsform werden die Feineinstellungsinformationen verwendet werden, um Driftfehler der Sensoren zu kompensieren. In praktischen Situationen wird der Sensorfehler einen signifikanten Anteil aufweisen, der sich auf zeitlichen Frequenzen befindet, die viel kleiner als die Videohalbbildrate sind. So können diese Sensor-induzierten Fehler zuverlässig aus guten Videohalbbildern abgeschätzt und von nachfolgenden Messungen abgezogen werden.
Die vorliegende Erfindung stellt auch eine Vorrichtung zum Durchführen des Verfahrens zum automatischen elektronischen Ersetzen der Plakatfläche bereit, wie es voranstehend spezifiziert wurde.
Ausführungsformen der vorliegenden Erfindung werden jetzt in Form von Beispielen mit Bezugnahme auf die beigefügten Zeichnungen beschrieben werden, in denen:
Fig. 1 ein Stadion oder einen anderen Veranstaltungsort zeigt, das bzw. der die Vorrichtung gemäß der vorliegenden Erfindung illustriert;
Fig. 2 das Videobild des Stadions zeigt, wie es von der Kamera in einer ersten Position gesehen wird;
Fig. 3 ein Stadion mit Plakatflächen in mehreren unterschiedlichen Positionen illustriert;
Fig. 4 eine vergrößerte Kameraaufnahme einer Plakatfläche illustriert, die das Problem mit Systemen nach dem Stand der Technik illustriert;
Fig. 5 eine gemusterte Chroma-Key-Plakatfläche zur Verwendung bei der vorliegenden Erfindung zeigt;
Fig. 6 in Form eines Blockdiagramms die Schaltung zeigt, die der Kameraanordnung gemäß Fig. 1 für das Übertragen von Videodaten und Kameraorientierungsdaten zugeordnet ist;
Fig. 7 in Form eines Blockdiagramms die Empfangsschaltung für das Zusammenwirken mit der Übertragungsschaltung gemäß Fig. 6 zeigt;
Fig. 8 ein Flußdiagramm zu der Betriebsweise der Schaltung gemäß Fig. 7 zeigt;
Fig. 9 eine Anordnung für einen Plakatflächen-Setup-Datenspeicher zeigt;
Fig. 10 eine Anordnung für Plakatflächen-Setup-Daten zeigt;
Fig. 11 ein Flußdiagramm für die Berechnung einer perspektivischen Transformation zeigt;
Fig. 12 eine Anordnung für einen Speicher für kameraintrinsische Parameter zeigt;
Fig. 13 Gleichungen für die dynamische Neukalibrierung zeigt;
Fig. 14 ein Flußdiagramm zur dynamischen Neukalibrierung zeigt;
Fig. 15 den Prozeß der Neukalibrierung zeigt;
Fig. 16 die Probleme illustriert, die sich bei Anordnung der Plakatflächen an unterschiedlichen Orten innerhalb eines Stadions mit unterschiedlichen Beleuchtungsbedingungen ergeben;
Fig. 17 einen Graph von minimalen und maximalen Niveaus von U und V zeigt, der die Betriebsweise eines Chroma-Keyers illustriert;
Fig. 18 eine Plakatfläche mit einem verdeckenden Objekt zeigt, das das Prinzip der Einstellung der Chroma-Key-Farbe für eine Plakatfläche illustriert;
Fig. 19 einen beispielhaften entfernten Empfänger zum Empfang von Plakatflächenkoordinatendaten und perfekter Chroma-Key-Farbe zeigt, wobei Verdeckungen durch Chroma-Key-Techniken bewirkt werden;
Fig. 20 eine alternative Anordnung für den Plakatflächen- Setup-Datenspeicher zeigt, der eine alternative Ausführungsform illustriert;
Fig. 21 ein Flußdiagramm für eine dynamische Setup-Prozedur für einen Kameraschwenk zur Verwendung mit dem Plakatflächen-Setup-Datenspeicher gemäß Fig. 20 zeigt; und
Fig. 22 ein Flußdiagramm für eine dynamische Setup-Prozedur für das Kamerakippen zur Verwendung mit dem Plakatflächen-Setup-Datenspeicher gemäß Fig. 20 zeigt.
Unter Bezugnahme jetzt auf die Fig. 1 bis 4 wird jetzt das Prinzip der vorliegenden Erfindung erläutert.
In einem Stadion oder an einem anderen Veranstaltungsort 10 sind Plakatflächen 14, 16, 18 an der Seite eines Felds angebracht, welches durch Markierungen 12 wiedergegeben wird. Diese Plakatflächen sind sichtbar durch eine Kamera 20. Plakatflächen 15, 17, 19 zur Betrachtung durch eine weitere Kamera 21 können auf der anderen Seite des Stadions vorhanden sein. Die Tribünen- /Sitzplätze des Stadions sind zeichnerisch durch Linien 11 ange deutet.
In einem bevorzugten Beispiel kann die Kamera 21 eine normale Fernsehvideokamera sein und überträgt ihr Ausgangsvideosignal direkt auf eine erste Zuleitung, die die lokale Population bedienen kann. Obwohl wir auf die Kamera 20 oder 21 Bezug nehmen, ist klar zu verstehen, daß eine Mehrzahl von Kameras auf jeder Seite des Stadions vorhanden sein könnte, die unterschiedliche Blicke bereitstellen.
In einer bevorzugten Ausführungsform wird die Kamera 21 die Flächen 15, 17, 19 ins Fernsehen bringen, die an die lokale Population in einer ungeänderten Weise übertragen werden.
Die Kamera 20 wird in dieser bevorzugten Ausführungsform eine Einspeisung für ein internationales Publikum übertragen. Die Kamera 20 ist mit Orientierungserkennmitteln ausgestattet, die vorzugsweise eines oder mehrere der folgenden Mittel aufweisen:
Schwenkmeßmittel 24;
Kippmeßmittel 25;
Zoommeßmittel 26; und
Fokusmeßmittel 28.
Geeignete Sensoren können den Virtual Reality Encoder von RADAMEC EPO, Bridge Road, Chertsey, Surrey KT16 8LJ, England, aufweisen.
Abhängig von der erlaubten Mobilität der Kamera kann nur ein, können mehrere oder alle diese Mittel erforderlich sein. Wenn z. B. die Kamera 20 fest hinsichtlich des Verschwenkens, des Kippens und des Fokus ist und nur ihre Vergrößerung ändern kann, wie in dem Fall einiger ferngesteuerter unbemannter Kameras, braucht nur der Vergrößerungsparameter gemessen zu werden.
Die meisten Kameras in Sportstadien können ihre Vergrößerung ändern, kippen und verschwenken, und es wird angenommen, daß diese Parameter für jede Kamera gemessen werden, wie jetzt erklärt wird. Der Fokus wird als fest angenommen, aber in entsprechender Weise könnte dieser Parameter hinzugefügt werden, falls dies erforderlich ist.
Fig. 2 zeigt das Videobild, wie es von einem Betrachter gesehen wird und insbesondere von dem Bediener der Ausrüstung. Die Kamera 20 wird gezoomt, geschwenkt und/oder verkippt, um die Plakatfläche 14 in einer geeigneten Position und in einer vernünftigen Größe zu "zentrieren". Mit Bezugnahme auf Fig. 7 wird dann an einem Empfänger jede Plakatfläche betrachtet, und ihre Position wird vorzugsweise unter Verwendung eines Touch Screens 700 oder einer Keyboard Mouse 702 und durch Markieren der vier Ecken markiert. Die Positionen werden in einem Speicher 704 gespeichert.
Für Plakatflächen höher in dem Stadion, so wie beispielsweise 30 (Fig. 3), kann ein Korrekturfaktor für die Kamera gespeichert werden, der von der Kippstellung der Kamera abhängig ist.
Jede Plakatflächenposition wird in einem Speicher 704 zusammen mit den Kameraparameterinformationen an der Referenzposition für die Kamera 20 gespeichert, die aus den Kameraparameterinformationen erhalten werden, welche zu dem Zeitpunkt passen, an dem die Plakatflächenposition gespeichert wird.
Die folgenden Prozeduren werden vorzugsweise für jede der Kameras und für jede der Zielplakatflächen wiederholt:
1.) Richte die Kamera auf das Ziel, um einen stabilen unverdeckten Blick auf das Ziel zu erhalten. Stelle den Zoom ein, um einen großen Blick des Ziels zu erhalten, wobei das gesamte Ziel innerhalb des Gesichtsfelds bleibt.
2.) Betätige eine Aufnahmeeinrichtung, während sich die Kamera nicht bewegt, um ein Bild des Ziels zu erfassen sowie die entsprechenden Auslesewerte der Sensoren.
3.) Markiere die Ecken des Ziels auf dem Videobild.
Vorzugsweise wird ein Eckendetektor verwendet, um die Ecken des Ziels mit Sub-Pixelgenauigkeit zu erfassen.
Diese Kamerainformationen werden (Fig. 6) von den Sensoren erhalten, die an der Kamera angebracht sind, und die Kamerabewegung wird auf eine erste bzw. feste Referenzposition für jeden Parameter bezogen. Die Bewegungen der Kamera werden festgestellt, und die Signale werden in einen Kombiniererschaltkreis 34 und dann in einen Übertragungszwischenspeicher 36 eingegeben, von dem die kombinierten Video- und Positionsdatensignale übertragen werden.
Während des Setups empfängt der Empfängerzwischenspeicher 706 an dem Empfänger (Fig. 7) die Signale und gibt diese auf einen Aufteiler 708. Das Videosignal wird gespeichert und in einem geeigneten Speicher 710 verzögert, und die Kameraparameterdaten werden extrahiert und in einem Speicher 712 gespeichert.
Bei dem Setup wird das Bildschirmgerät 700 verwendet, um jede Plakatfläche zu markieren, die ein Ersetzen erfordern kann. Die Kamera 20 wird verschwenkt usw., um jede Plakatfläche in eine geeignete Position auf dem Schirm zu bewegen, und ihre Position wird in dem Plakatflächenspeicher 704 zusammen mit den Kameraparametern aufgezeichnet, die von dem Speicher 712 über einen Prozessor 714 erhalten werden.
Ein Ersatzplakatflächenspeicher 716 speichert eine Mehrzahl von Ersatzplakatflächen, und diese sind auswählbar, um in der Lage zu sein, die Originalplakatfläche zu ersetzen.
Die Ersatzplakatfläche wird im Betrieb in einem Kombinierer 718 in das Videosignal eingesetzt, um ein modifiziertes Ausgangsvideosignal 720 bereitzustellen.
Die Setup-Prozedur kann auch Plakatflächenorte und Kameraparameter für mehrere Kameras identifizieren, indem eine Kameraidentität von einer Quelle 30 (Fig. 6) gespeichert wird.
So wird der Plakatflächenpositionsspeicher 704 separate Listen von Plakatflächendaten für jede Kamera speichern.
Der Betrieb des Systems wird jetzt unter Bezugnahme auf eine einzige Plakatfläche und eine einzige Kamera 20 beschrieben werden.
Mit Bezug auf Fig. 4 wird angenommen, daß die Plakatfläche 14 in vergrößerter Form auf der linken Seite des Schirms in das Gesichtsfeld eintritt, während die Kamera 20 nach einem Zoomen aus der Fig. 3 - Position verschwenkt wird.
Die Kameraorientierungsdaten werden durchgehend von dem Empfänger empfangen werden, und der Prozessor 714 wird durchgehend auf einer Pixel-zu-Pixel-Basis das Videobild mit der bekannten Plakatflächenposition, die in dem Speicher 704 gespeichert ist, abstimmen. Sobald die Plakatfläche in dem Videobild erscheint, werden die Pixel, die die Plakatfläche wiedergeben, identifiziert werden und die Ersatzplakatflächenpixel, die diesen Pixeln entsprechen, werden in dem Kombinierer 718 substituiert werden. Die Verzögerung wird minimal sein, da die Identifikation der Pixel durch einen Adressenkorrelationsprozeß erfolgt, der geradezu instantan erfolgt.
Nach einem Zeitraum können die Kamerasensoren driften, und in diesem Fall mag die Ersatzplakatfläche nicht exakt in Überdeckung mit dem Original sein. Dies mag nur um ein oder zwei Pixel der Fall und mag für den Betrachter nicht erkennbar sein. Um dies zu korrigieren, sind zwei Lösungen möglich. Zuerst kann die Plakatflächenposition manuell zu einer geeigneten Zeit periodisch neu abgespeichert werden, z. B. wenn eine Kamera nicht aktiv ist. Dies erfordert die Mitarbeit des Bedieners.
Als zweites kann auf einer Pixel-zu-Pixel-Basis ein Vergleich der Plakatfläche mit einer original gespeicherten Plakatfläche und eine Abstimmung der Referenzkameraparameter kann in dem Plakatflächenpositionsspeicher 704 durchgeführt werden. Dieser Prozeß kann entweder in festliegenden Intervallen oder, wenn der Prozessor 714 einen ausreichenden Zeitschlitz aufweist, automatisch ausgeführt werden.
Die wesentlichen Schritte eines bevorzugten Neukalibrierungsprozesses sind, das aktuelle Videobild unter Verwendung der Kameradaten perspektivisch zu transformieren, um ein abgeschätztes transformiertes Modell bereitzustellen. Dann wird ein gespeichertes Bild der Plakatfläche mit dem transformierten Modell verglichen, um ein Restvideohalbbild bereitzustellen. Die Restverzerrung zwischen dem transformierten Modell und dem Restvideohalbbild wird aufgelöst, um Aktualisierungsinformationen für das Aktualisieren der abgeschätzten Transformation bereitzustellen und um so einen Kalibrierungskorrekturfaktor für das Neukalibrieren der Position von jeder Plakatfläche in dem Speicher in Abstimmung mit den Kameraerfaßinformationen bereitzustellen.
Das Ersetzen jeder Plakatfläche wird durch Verwendung des Prozessors 714 (Fig. 7) und der verschieden Parameter- und Plakatflächenspeicher unter Verwendung geeigneter Softwareprogramme erreicht, wie sie jetzt detaillierter beschrieben werden.
Fig. 8 beschreibt den kompletten Prozeß, der es erlaubt, die Position jeder Plakatfläche in dem Gesichtsfeld der Kamera zu bestimmen und den entsprechenden Teil der Plakatfläche in einen Einzelbildzwischenspeicher einzubringen. Da das Einbringen und das spätere Zusammensetzen des Graphikzwischenspeichers mit dem Videozwischenspeicher mittels Chroma-Key im Stand der Technik bekannt sind, werden wir uns auf die Bestimmung der Plakatflächenposition unter Bezugnahme sowohl auf Fig. 6 als auch Fig. 7 konzentrieren.
Am Anfang jedes Videohalbbilds, werden die Verschwenkungs-, Verkippungs-, Zoom- und Fokussensoren (24, 25, 26) ausgelesen 800. Diese Werte, kombiniert mit Plakatflächendaten aus dem Plakatflächen-Setup-Datenspeicher 704 und Kameradaten aus dem Speicher 712 für kameraintrinsische Parameter, ermöglichen die Detektion und Erkennung von allen Plakatflächen in dem GSF der Kamera, unabhängig von dem Videosignal. Die Verarbeitung von Fig. 1 besteht aus einer Schleife für alle Plakatflächen (m) 802, 804. Für jede Plakatfläche werden die Setup-Daten von dem Plakatflächen-Setup-Datenspeicher 704 eingeholt 806 und mit kameraintrinsischen Parametern verwendet 808, um die perspektivische Transformation 810 von der Plakatfläche m zu dem aktuellen Halbbild zu berechnen. Die Ersatzplakatflächeninformationen werden dann in einem Datenblockzwischenspeicher gespeichert (812).
Fig. 9 beschreibt den Plakatflächen-Setup-Datenspeicher 900, der aus separaten Aufzeichnungen 902...904 für jede Plakatfläche in der Arena besteht. Eine solche Aufzeichnung besteht aus einem statischen Bild 906, das unter vorteilhaften Bedingungen aufgenommen wurde, und den entsprechenden statischen Setup-Daten 908. Die Aufzeichnung besteht auch aus dynamischen Setup-Daten 910, die unter Verwendung von Bildverarbeitungsmitteln in einem Prozeß berechnet werden, der als dynamische Neukalibrierung bekannt ist, welcher oben kurz beschrieben wurde und unter Bezugnahme auf Fig. 11 weiter beschrieben werden wird. Eine alternative Prozedur, die eine statische und dynamische Kalibrierung erbringt, wird unter Bezugnahme auf die Fig. 20, 21 und 22 beschrieben werden.
Fig. 10 beschreibt die Setup-Daten (entweder statisch oder dynamisch) 1000 für eine einzelne Plakatfläche. Sie bestehen aus den Sensorlesewerten 1002 zum Setup-Zeitpunkt, den Plakatflächenviereckeckenkoordinaten 1004 und dem Zeitcode des Setup- Moments 1006.
Das Verfahren der dynamischen Neukalibrierung kann wie folgt beschrieben werden:
Aufgrund von Sensordrift und -ungenauigkeiten, einer festen Kalibrierungstabelle und anderen praktischen Gründen ist es unmöglich, den exakten Ort von allen sichtbaren Plakatflächen zu einem gegebenen Zeitpunkt vorherzusagen. Bei vielen Videohalbbildern kann die Sichtbarkeit einer Plakatfläche aber so sein, daß eine exakte geometrische Positionskorrektur durchgeführt werden kann. Da diese Position sowohl zeitlich als auch räumlich näher an den nachfolgenden Videohalbbildern liegt, ist es bevorzugt, durch Vorhersagen der Plakatflächenposition relativ zu ihren Sensorauslesewerten und ihren exakten Quadratkoordinaten auf diesem "Glücksschuß" aufzubauen. Angenommen beispielsweise eine Plakatfläche, die das Gesichtsfeld aufgrund eines Kameraschwenks verläßt. Ein erfolgter Glücksschuß, während sie noch voll sichtbar, erlaubt das nahtlose Verfolgen der Plakatfläche nur durch Sensoren, wenn ihre Sichtbarkeit die Anwendung von keinerlei Bildverarbeitungsmitteln erlaubt.
Fig. 11 stellt das Flußdiagramm 1100 für die Berechnung der perspektivischen Transformation dar. Eine Setup-Datenauswahllogik 1102 wählt entweder die statischen 1103 oder die dynamischen 1105 Setup-Daten aus dem oben beschriebenen Setup- Datenspeicher 806 aus. Diese Setup-Daten werden zusammen mit kameraintrinsischen Parametern verwendet, um unabhängig von dem Videosignal eine sensorbasierte Vorhersage der pespektivischen Transformation zu berechnen 1104.
Dann wird eine dynamische Neukalibrierung 1106, die auf Bildverarbeitungsmitteln basiert, auf die Vorhersage angewendet. Sie verwendet das Videosignal 1108 und das Chroma-Key-Signal 1110 sowie das Plakatflächenmodellbild 1112 aus dem Setup-Datenspeicher 806 (Fig. 8). Basierend auf einem Qualitätsfaktor, der von den Bildverarbeitungsmitteln erhalten wird, wird entweder die sensorbasierte 1118 oder die korrigierte 1116 Transformation ausgegeben. Falls die abgeschätzte Qualität der geometrischen Korrektur hoch ist, dann werden die dynamischen Setup-Daten aktualisiert 1114.
Die Fig. 12, 13, 14 beschreiben die sensorbasierte Vorhersage von Plakatflächenkoordinaten in dem Videohalbbild. Solch eine Vorhersage verwendet die Auslesewerte der Sensoren sowie die kameraintrinsischen Parameter. Diese Parameter sind in Fig. 12 beschrieben und müssen für eine dichte Abtastung des (Zoom, Fokus)-Raums tabuliert werden. Die Bedeutung dieser Parameter wird aus Fig. 13 deutlich, auf die jetzt Bezug genommen wird.
Der Satz von Meßwerten, die durch die Verschwenkungs-, Verkippungs-, Zoom- und Fokussensoren geliefert werden, möge durch den Vektor (S, K, Z, F) wiedergegeben werden. Der Kippwinkel wird als relativ zum Horizont angesetzt.
Nehme einen Objektpunkt an, dessen Bild sich in zu einer Setup- Zeitpunkt bei den Bildzwischenspeicherkoordinaten (xs, ys) befindet. Der Sensormeßwertevektor zu diesem Zeitpunkt sei (Ss, Ks, Zs, Fs).
Zu einem anderen Zeitpunkt, dem Vorhersagezeitpunkt, sei der Sensormeßwertevektor (Sp, Kp, Zp, Fp). Es ist erforderlich, den Ort des Objektpunkts in Bildzwischenspeicherkoordinaten (möglichst aus dem aktuellen Bildzwischenspeicher) (xp, yp) vorherzusagen.
Um diese Prozedur zu ermöglichen, definieren wir die Setup- Rotationsmatrix wie bei 600 gezeigt, und die Vorhersagerotationsmatrix wird wie bei 602 gezeigt definiert.
Dann ergibt sich die perspektivische Transformationsmatrix zwischen den zwei Bildebenenkoordinatensystemen wie bei 604 und 1402 (Fig. 14) gezeigt.
RSP ist eine 3*3 Matrix mit Reihen- und Spaltenindizes, die von 0 bis 2 reichen. RSP[i] [j] bezeichnet den Eintrag in Reihe i, Spalte j in der Matrix. So ergibt sich bei gegebenen Setup- Bildebenenkoordinaten des Objetpunkts (us, vs) der vorhergesagte Ort des Objektpunkts in Bildebenenkoordinaten wie bei 606, 1404 gezeigt zu (up, vp).
Die Koordinatentransformation von der Bildebene zum Bildzwischenspeicher wird wie bei 608, 1406 gezeigt erreicht. Die Aberrationskompensation wird wie bei 608, 1406 (Fig. 14) gezeigt erreicht, um vorhergesagte Zwischenbildspeicherplakatflächenkoordinaten und perspektivische Transformationsdaten bereitzustellen.
Ein effektiver Weg, um diese Parameter für ein bestimmtes (Zoom, Fokus)-Paar zu erhalten ist beschrieben in [J. Weng et al., Calibration of stereo cameras using a non-linear distortion model, IEEE 10th Intl. Conf. Pattern Recognition (1990), Seiten 246-253]. Die Bildverarbeitungsmittel für eine geometrische Korrektur, die auch den Prozeß der Neukalibrierung erlauben, werden jetzt unter Bezugnahme auf Fig. 15 beschrieben.
Die Bildverarbeitungsmittel für die geometrische Korrektur der sensorbasierten Vorhersage basieren auf dem Differentialverfahren für Bewegungsabschätzung [C. Cafforio und F. Roca, The differential method for motion estimation, in: T. S. Huang, Herausgeber, Image sequence processing and dynamic scene analysis, Springer, Berlin, 1983, Seiten 104-124]. C sei das aktuelle Videohalbbild und M das statische Plakatfläche-Setup- Bild, das perspektivisch gemäß der sensorbasierten Vorhersage transformiert wurde. Hier gehen wir nur von Helligkeitsbildern aus. Idealerweise sind M und C innerhalb des Rahmens des Plakatflächenvierecks identisch. Tatsächliche Differenzen können umfassen:
* Verdeckungen, die bei C aber nicht bei M vorliegen.
* geometrische Fehler aufgrund von Fehlern der Sensoren und der intrinsischen Kameraparameter.
* Beleuchtungsänderungen.
Unter momentaner Vernachlässigung jeglicher Differenzen, die nicht von geometrischen Fehlern herrühren, nehmen wir einen Punkt (x, y) innerhalb des Rahmens des Plakatfächenvierecks an. (p, q) sei der lokale geometrische Fehler, so daß wir für das Helligkeitssignal des entsprechenden Bilds schreiben können:
M(x + p, y + q) = C(x, y)
Unter der Annahme, daß der Fehler klein ist, kann man eine Tailor-Reihenentwicklung vornehmen:
M(x + p, y + q) = M(x, Y) + p (dM)/(dx) + q (dW)/(dy) + (Glieder zweiter Ordnung)
Unter Vernachlässigung der Glieder zweiter Ordnung und unter Bezeichnung der räumlichen Ableitungen
dM/dx = H
dM/dy = V
erhalten wir
C(x, y) - M(x, y) = pH + qV
Wenn wir weiterhin die Differenzen C(x, y) - M(x, y) mit D bezeichnen, erhalten wir
D = pH + qV
Die obige Gleichung hält lokal. Für eine globale Plakatflächenlösung und kleine Fehlerannahme können wir das perspektivische Modell verwenden [G. Adiv, Determining Three-Dimensional Motion and Structure from Optical Flow Generated by several moving objects, IEEE Trans. Pattern Analysis and Machine intelligence, 7, Seiten 384 bis 401, 1985].
p(x, y) = (a&sub1;x + a&sub2;y + a&sub3;)/(a&sub1;x + a&sub8;y + 1)
q(x, y) = (a&sub4;x + a&sub5;y + a&sub6;)/(a&sub1;x + a&sub8;y + 1)
Die Koeffizienten a&sub1;, ..., a&sub8; werden durch Minimieren des folgenden Ausdrucks berechnet:
D(x, y) - p(x, y)H(x, y) - q(x, y)V(x, y)²
Jetzt wird die Matrix der perspektivischen Transformation (basierend auf der Vorhersage der Sensoren) multipliziert mit:
Die erhaltene Matrix kann als die aktualisierte Vorhersage der Plakatflächenperspektive angesehen werden.
In einer tatsächlichen Umgebung können die folgenden Überlegungen anwendbar sein.
* Verdeckungen können erhebliche Probleme bei dieser Formulierung verursachen, da dann, wenn Pixel von verdeckenden und sich bewegenden Objekten an der Minimierung des obigen Ausdrucks teilhaben, sie die Lösung erheblich beeinträchtigen können. Vorzugsweise werden solche Pixel durch Verwendung von Chroma-Key-Tafeln von der Verarbeitung ausgenommen. Vorzugsweise wird eine Key-Signalausgabe eines Chroma-Keyers verwendet, um diese Pixel zu verwerfen.
* Beleuchtungsvariationen können durch Vorverarbeiten des aktuellen Videohalbbilds unter Verwendung von Histogrammanpassungstechniken minmiert werden.
* Der Vorhersagekorrekturprozeß mag 2-3 Iterationen erfordern, um zu konvergieren.
* Rauschimmunität und Konvergenz können beide durch Vorglätten der Bilder verbessert werden.
So sind die Plakatflächen 14 usw. gemäß der vorliegenden Erfindung Chroma-Key-Flächen, und Verdeckung erfolgt durch Farbdiskriminierung unter Verwendung der normalen Chroma-Key- Techniken. Diese Techniken werden unter der Voraussetzung, daß die Spieler nicht irgendeine Farbe tragen, die dieselbe ist wie die Oberfläche, eine perfekte Verdeckung ermöglichen. Dies mag nicht immer möglich sein, und es wird gemäß einer speziellen Ausführungsform der vorliegenden Erfindung vorgeschlagen, Oberflächen zu verwenden, die gedreht oder anderweitig in eine zweite oder dritte Farbe geändert werden können. Zum Beispiel können diese drei Farben blau, grün und rot sein, die ausgewählt werden, wenn die Farben der Spielertrikots bekannt sind.
Alternativ muß dann, wenn es erforderlich ist, eine Plakatfläche in einem Bereich des Spielfelds oder einem Umgebungsbereich anzuzeigen, ein Bereich so ausgewählt werden, daß er von einer bekannten Farbe ist, die dann in dem Chroma-Keyer als eine Chroma-Key-Farbe gespeichert werden kann.
In einer bevorzugten Ausführungsform kann die Chroma-Key- Vorrichtung die ULTIMATTE-7 Digitalvideobildzusammensetzungseinrichtung von ULTIMATTE Corp., 20554 Plummer St., Chatsworth, CA 91311, USA aufweisen.
Die Hintergrundfarbe kann aus blau, grün und rot ausgewählt werden. Damit der Chroma-Keyer alle Parameter berechnet, die notwendig sind, um eine ordnungsgemäße Bildzusammensetzung durchzuführen, erfordert das System eine Probe der Hintergrundfarbe als Referenz. Dieser Schritt kann durch Abtasten des Bilds und Detektieren der reinsten und hellsten Farbe automatisch durchgeführt werden. Fortschrittliche Chroma-Keyer ermöglichen es dem Verwender, einen abzutastenden Bereich manuell auszuwählen.
In einer speziellen Ausführungsform wird vorgeschlagen, eine gemusterte Chroma-Key-Tafel zu verwenden. Die Kalibrierung der Kamerasensoren kann dann einfach durch Vergleich des Musters auf einer Pixel-zu-Pixel-Basis durchgeführt werden. Das Muster auf der Plakatflächentafel sollte vorzugsweise kritische Dimensionen aufweisen, die kleiner als die erwarteten Sensorfehler (projiziert auf Weltkoordinaten) sind.
Zusammengefaßt kann das obige System selbst unter extrem schlechten Witterungsbedingungen betrieben werden, da die elektronische Verarbeitungsschaltung genau weiß, wo jede Plakatfläche angeordnet ist und nicht auf irgendeine Analyse des Videobilds vertraut, um Plakatfläche zu detektieren. In dem Fall, daß das Videobild so verzerrt ist, daß eine Neukalibrierung nicht mit vernünftiger Sicherheit durchgeführt werden kann, können die Originalkameraparametereinstellungen weiterhin verwendet werden, da das betrachtete Videobild von schlechter Qualität sein wird und so der Betrachter einen Fehler von ein oder zwei Pixel in der Positionierung der Ersatzplakatfläche, die in einer entsprechenden Qualität anzuzeigen ist, die zu der schlechten Qualität des Videobilds paßt, nicht bemerken wird.
In einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung ist das angegangene Problem dasjenige von Plakatflächen, die in unterschiedlichen Positionen in einem Stadion angeordnet sind, wie es in Fig. 6 gezeigt ist.
Unter solchen Bedingungen wird sich die Beleuchtung der Plakatflächen 1, 3 und 5 aufgrund der Anordnung der Lampen 7, 9 und 13 unterscheiden. Außerdem kann sich diese Beleuchtung zu jeder Zeit während des Spiels ändern.
Falls solche Plakatflächen Chroma-Key-Flächen von ein und derselben Farbe sind, dann werden die Plakatflächen aufgrund der unterschiedlichen Beleuchtungsbedingungen mit leicht unterschiedlichen Farben erscheinen.
Eine feste Einstellung einer allgemeinen Hintergrundfarbe mag in eine teilweise Objekt-Hintergrund-Separation durch den Chroma- Keyer resultieren.
Bei der vorliegenden Erfindung wird vorgeschlagen, eine räumliche Adaptierung der Hintergrundfarbkarte bereitzustellen, so daß der Chroma-Keyer jede Plakatfläche korrekt erkennen kann. Dies kann durch Speichern einer räumlichen Karte in einem Speicher 704 (Fig. 7) erreicht werden, die Informationen bezüglich der Farbe jeder Chroma-Key-Fläche bereitstellt.
So wird der Chroma-Keyer die Farbe an jedem Videoort mit einer spezifischen Farbe vergleichen, die der Plakatfläche an dem Ort zugeordnet ist.
In einer bevorzugten Ausführungsform können die Orte der Plakatflächen identifiziert werden, indem ein etwas vergrößerter Kasten, der die Plakatfläche umgibt, "gemalt" wird, um den Ort zu identifizieren. Solche Kästen sind in Fig. 6 durch gestrichelte Linien 1', 3' und 5" identifiziert.
Das System wird die Hintergrundfarben über die Zeit verfolgen und daraufhin kontinuierlich aktualisieren, um eine korrekte Identifikation sicherzustellen, nachdem es einmal korrekt eingerichtet wurde.
Die Betriebsweise des Systems ist wie folgt.
Zunächst bezugnehmend auf Fig. 17 werden minimale und maximale Niveaus für U und V festgelegt. Diese sollten weit genug sein, um alle Plakatflächen einzuschließen, die vernünftig beleuchtet sind.
Dann kann für jede Plakatfläche, wenn sich die Beleuchtungsbedingungen ändern, eine Einstellung ihrer gespeicherten Werte vorgenommen werden, wie in Fig. 18 gezeigt ist, die eine Verdeckung der Plakatfläche 1 durch ein Objekt 13 annimmt. Ein innerer Kasten 1" wird definiert, um sicherzustellen, daß nur Pixel innerhalb von 1 berücksichtigt werden. Die meisten verdeckenden Pixel können verworfen werden, weil diese von einer unterschiedlichen Farbe sein werden. Dann werden alle Pixel (YuV) innerhalb des GSF und des Plakatflächenvierecks 1" vermessen, und es wird ein Zuschlag zu dem Mittelwert (der der Hintergrundfarbmittelwert UV über die Plakatfläche ist) gemacht, falls:
Umin ≤ U ≥ Umax
oder Vmin ≤ V ≥ max
Die Erfinder haben ein weiteres Problem erkannt, das sich aus der Verwendung von Chroma-Key-Plakatflächen in einem Stadion ergibt. Aufgrund der unterschiedlichen Beleuchtung, wie sie oben beschrieben ist, wird jede Plakatfläche auf dem Videobild in einer etwas unterschiedlichen Farbe erscheinen. Um korrekte Verdeckungsinformationen zu übermitteln, ist es notwendig, eine Verdeckungskarte für jede Plakatfläche zu übermitteln.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung wird es vorgeschlagen, für jede Plakatfläche eine perfekte Hintergrundfarbe zu übermitteln und es dann einem Chroma-Keyer in jeder Empfangsstation zu erlauben, die verdeckten Bereiche durch normale Chroma-Key-Prozeduren einzuführen.
Angenommen jetzt die Plakatflächenanordnung, wie sie in Fig. 16 gezeigt ist. Jede Plakatfläche 1, 3 und 5 wird wegen ihrer unterschiedlichen Beleuchtungsbedingungen so erscheinen, als sei sie von einer anderen Farbe, selbst wenn diese Farbe innerhalb der Maximal- und Minimalgrenzen liegt, wie sie in Fig. 17 dargestellt sind.
Gemäß dieser bevorzugten Ausführungsform der vorliegenden Erfindung wird die Übertragungsvorrichtung (siehe Fig. 6) eine perfekte Chroma-Key-Farbe innerhalb des Bereichs der Plakatfläche übertragen, und sie wird auch die Koordinaten des Vierecks übertragen, das von der Plakatfläche gebildet wird.
Auf diese Weise braucht die empfangene Station nur die Viereckkoordinaten der Plakatfläche zu dekodieren/extrahieren und dann innerhalb dieses Vierecks jene Pixel durch die Ersatzplakatfläche zu ersetzen, die die perfekte Chroma-Key-Farbe haben. Jene Pixel, die nicht die perfekte Chroma-Key-Farbe haben, werden nicht ersetzt.
Gemäß diesem System ist es nicht notwendig, daß der Chroma-Keyer an der entfernten Empfangsstation in der Lage ist, unterschiedliche Plakatflächen zu erkennen, um unterschiedliche Chroma-Key- Werte für jede Plakatfläche aufzuweisen. Es ist auch nicht notwendig, irgendwelche Verdeckungsinformationen zu übertragen, da die Verdeckung durch den Chroma-Keyer an jedem entfernten Ort relativ einfach sein wird.
Bezugnehmend auf Fig. 7 kennt der Plakatflächenpositions- und -hintergrundfarbenspeicher 704 die Position jeder Plakatfläche, und eine Steuerausgabe 7042 von dem Speicher wird in Kombination mit der Videoausgabe 7102 verwendet, um Eingaben für einen Hintergrundfarbprozessor 7044 bereitzustellen, der die Farbe der Plakatfläche innerhalb der Koordinaten, die von dem Speicher 704 bereitgestellt werden, ändern kann. Die Ausgabe des Prozessors 7044 wird verwendet, um einen Hintergrundfarbspeicher 7046 zu steuern, der die Farbe der Plakatfläche innerhalb der erforderlichen Koordinaten ändert und die Koordinaten auch an den Videoausgang 720 für den entfernten Empfänger bereitstellen kann. Diese können mit einem Standardvideodatenübertragungssystem übertragen werden.
Ein beispielhafter entfernter Empfänger ist in Fig. 19 gezeigt. Videodaten werden an einem Empfängerzwischenspeicher 1900 empfangen, aufgespalten und verzögert 1902, 1904.
Ein Plakatflächenkoordinatenspeicher 1906 speichert die übermittelten Plakatflächenkoordinaten und stellt in Kombination mit einem Graphikengenerator 1908 und einem Ersatzplakatflächenbildspeicher 1910 ein Ausgangssignal an einen Kombinierer- /Chroma-Keyer 1912 bereit, um die gewünschte, verdeckte Plakatfläche auf dem Schirm zu erzeugen.
Unter Bezugnahme jetzt auf die Fig. 20 bis 22 werden in einer weiteren Ausführungsform die Setup-Daten, die in dem Speicher 704 gespeichert sind, vor jeglichem Ereignis modifiziert, das ins Fernsehen gebracht wird.
Die Modifikation umfaßt das Hinzufügen von dynamischen Setup- Daten sowie von statischen Bild- und statischen Setup-Daten, die in Fig. 9 gezeigt sind.
Die zusätzlichen Daten können anstelle der dynamischen Neukalibrierungs-Setup-Daten 910 verwendet werden, die in Fig. 9 gezeigt sind, oder sie könnten zusätzlich verwendet werden.
In einer bevorzugten Ausführungsform wird angenommen, daß die zusätzlichen Daten anstelle der dynamischen Neukalibrierungsprozedur verwendet werden, und dies wird jetzt beschrieben.
Als Einführung werden die Probleme diskutiert, die mit dem Ersetzen von Plakatflächen durch virtuelle Plakatflächen verbunden sind. Dasselbe Problem ist das Identifizieren der Position, Größe und Perspektive der Original-Plakatfläche und dann ihr Ersetzen durch die virtuelle bzw. Ersatzplakatfläche.
In einer statischen Kamerasituation gibt es kein tatsächliches Problem, nachdem die Original-Koordinaten einmal aufgezeichnet worden sind, vorausgesetzt, daß die Kamerasensoren nicht wesentlich über der Zeit driften.
Die Erfinder haben jedoch herausgefunden, daß während eines schnellen Schwenkens oder Kippens der Kamera die Koordinanten 908 der Ersatzplakatfläche, wie sie in dem Speicher 900 aufgezeichnet sind, nicht mit der aktuellen Position der Plakatfläche in dem Stadion oder Veranstaltungsort zusammenfallen. Dies liegt daran, daß die Kamerasensoren ein Maß an Hysterese zeigen. Dieses kann durch den dynamischen Neukalibrierungsprozeß kompensiert werden, der bereits beschrieben wurde, aber dies mag unter gewissen Umständen wie während eines schnellen Verschwenkens mit wesentlicher Verdeckung der Zielplakatfläche nicht praktikabel sein.
Die Hysterese könnte möglicherweise durch einen einfachen prozentualen Fehler berücksichtigt werden, der in die Bewegung der Kamera eingebaut wird, aber dies erzeugt keine sehr guten Ergebnisse, weil es weder den Kamerawinkel bezüglich jeder Plakatfläche einbezieht, noch die Variabilität bei den Kameraparametersensoren mit dem Winkel berücksichtigt.
Bei der vorliegenden Erfindung speichert der Plakatflächen- Setup-Datenspeicher 900 deshalb in einer alternativen Ausführungsform zusätzlich zu den statischen Plakatflächen-Setup-Daten Daten für jede Plakatfläche für jede Kamera mindestens bezüglich eines Links-Rechts-Schwenks 2002, eines Rechts-Links-Schwenks 2004, eines Auf-Ab-Kippens 2008 und eines Ab-Auf-Kippens 2006 ab. Diese Daten werden wie jetzt hier unter Bezugnahme auf die Fig. 20 bis 22 beschrieben wird, erhalten und gespeichert.
Fig. 20 zeigt den Speicher 900, der modifiziert ist, um zusätzlich zu den statischen Bilddaten für die Plakatflächen 1 bis M und den statischen Setup-Daten für die Plakatflächen 1 bis M vier weitere Sätze von Daten für jede Plakatfläche 1 bis M bereitzustellen, und diese Datensätze werden vervielfältigt, um diese Daten für jede Kamera bereitzustellen.
Für jede Kamera wird die Position jeder Plakatfläche aufgezeichnet, wobei die Kamera von links nach rechts 2002 und von rechts nach links 2004 schwenkt. Die Schwenkgeschwindigkeit kann ausgewählt werden als die Normalgeschwindigkeit für das ins Fernsehen gebrachte Ereignis. So könnte sie für ein Pferderennen niedrig sein, für ein Motorrennen aber höher sein. Die Position jeder Plakatfläche wird dann mit der Kamera aufgezeichnet, die aufwärts 2006 und dann abwärts 2008 über jede Plakatfläche verkippt wird.
Für jede Messung werden der Zoom und der Fokus der Kamera vorzugsweise auf ein bekanntes Niveau festgelegt, bei dem die analysierte Plakatfläche sich in einem vernünftigen Blick bei vernünftiger Vergrößerung befindet. Der Zoom und der Fokus könnten z. B. gleich demjenigen während des Gewinnens der statischen Setup-Daten für jede Plakatfläche sein, so daß ein direkter Vergleich mit den statischen Setup-Daten vorgenommen werden kann. In diesem Fall mag nur eine Fehlerkorrekturzahl aufgezeichnet werden müssen.
Vorzugsweise wird eine Schwenk- oder Kippgeschwindigkeit nicht zu groß gewählt, weil bei sehr hohen Geschwindigkeiten die Plakatflächen in jedem Fall verschmieren und deshalb die Genauigkeit des Ersetzens kein Thema ist. Diese Prozedur wird für jede Plakatfläche und für jede Kamera durchgeführt, und die Daten werden dann während des Ereignisses verwendet, um die Position jeder Plakatfläche zu korrigieren, während die Kamera verschwenkt oder verkippt wird.
Es ist zu sehen, daß jede Plakatfläche von jeder Kamera unter einem unterschiedlichen Winkel betrachtet wird und daß außerdem die Ausgabe jedes der Sensoren an jeder Kamera abhängig von dem Winkel variieren kann, durch den die Kamera gedreht werden muß, um die Plakatfläche zu betrachten. Durch Aufzeichnen der statischen Daten und der Daten, die sich auf das Schwenken und Kippen in beiden Richtungen beziehen, wird die Ersatzplakatfläche genau in der exakten Position der originalen bzw. realen Plakatfläche sowohl für statische Aufnahmen als auch dann positioniert, wenn sich die Kamera bewegt.
Eine dynamische Neukalibrierung während des Ereignisses, wie sie zuvor beschrieben wurde, wird sicherstellen, daß außer während sehr schneller Kamerabewegungen mit großer Verdeckung die Ersatzplakatfläche korrekt positioniert wird, aber die Verwendung von statischen und dynamischen Setup-Daten wird dies ebenfalls sicherstellen, solange die Kamerasensoren nicht wesentlich während eines Ereignisses driften. Vorausgesetzt, daß die Kamerasensoren von vernünftiger Qualität bezüglich des Gesichtspunkts der Drift sind, können sie so von wechselnder Qualität bezüglich der Genauigkeit während des Schwenkens und Kippens sein. Durch sorgfältige Auswahl der Kamerasensoren sind sehr genau Sensoren deshalb nicht erforderlich, weil jegliche Variation bezüglich der Kamerabewegung durch die Abspeicherung der dynamischen Setup-Daten kompensiert wird.
Die Daten werden erhalten, wie unter Bezugnahme auf die Fig. 21 und 22 wie folgt beschrieben wird.
Nachdem die statischen Daten, die sich auf jedes Plakatflächenbild beziehen, und ihre statischen Setup-Daten (906, 908, Fig. 9) erhalten worden sind, wird die Sequenz 2100 gestartet, und die Kamera wird von dem Bediener mit einer gewünschten Geschwindigkeit relativ zu der normalen Schwenkgeschwindigkeit verschwenkt 2102.
Die Sensoren geben die Richtung des Schwenks an 2106, und abhängig von der Richtung werden die dynamischen Daten in dem Speicher 2002 oder 2004 in dem Schritt 2106 bzw. 2108 durch Auswahl dieses Speichers gespeichert. Die Sequenz sowohl für den L-R- als auch den R-L-Speicher 2002 bzw. 2004 ist ähnlich und wird für den L-R-Speicher beschrieben werden, aber unter Verwendung der Bezugszeichen für beide Speicher.
Während die Kamera L-R-schwenkt, wird jede Plakatfläche anhand von Daten identifiziert, die in dem Speicher 906 gespeichert sind, Schritt 2110; 2112. Das System fragt, ob die Plakatfläche zuvor dynamisch aufgezeichnet wurde, Schritt 2114, 2116, und falls ja, kehrt es zum Start der Sequenz zurück und wiederholt die Schritte 2104 bis 2110, bis es eine Plakatfläche findet, die noch nicht dynamisch abgetastet wurde. Sobald eine neue Plakatfläche gefunden worden ist, wird die Position (werden die Koordinaten) der Plakatfläche während des Schwenkens aufgezeichnet und in Schritt 2118, 2110 mit den statischen Plakatflächenparametern verglichen, die zuvor gespeichert wurden (908). Ein jeglicher Fehler wird berechnet (Schritt 2122, 2124), und die Fehler werden in dem L-R- und dem R-L-Schwenkspeicher 2126, 2128 für die Plakatfläche gespeichert. Das System fragt, ob alle Plakatflächen, die in dem Speicher 908 aufgezeichnet sind, dynamisch sowohl für L-R als auch für R-L abgetastet worden sind (Schritte 2130, 2132). Falls nicht, wird die Sequenz fortgesetzt, bis die letzte Plakatfläche dynamisch abgetastet worden ist, und dann wird das Programm beendet 2134, 2136.
Eine entsprechende Programmsequenz, die in Fig. 22 gezeigt ist, wird für das Kippen jeder Kamera bereitgestellt. Offensichtlich kann, falls die Kameras entweder nicht kippen dürfen oder unwahrscheinlich nennenswert verkippt werden, diese Sequenz und die Aufzeichnung der Daten in Speichern 2006 und 2008 überflüssig sein.
Die Sequenz wird gestartet 2200, und jede Kamera wird der Reihe nach verkippt 2202, und die Richtung der Verkippung wird durch Kamerasensoren 2204 bestimmt. Abhängig davon, ob die Kamera abwärts oder aufwärts gekippt wird, werden dynamische Setup- Daten in Speichern 2006 oder 2008 in Schritten 2206, 2208 gespeichert. Beide Sequenzen sind ähnlich, und nur die Sequenz des Verkippens der Kamera nach unten wird beschrieben werden unter Bezugnahme dann auf beide Sequenzen.
Jede Plakatfläche wird anhand der statischen Bilddaten und, insbesondere wenn alle realen Plakatflächen gleich sind, auch anhand der Kameraparameter identifiziert 2210, 2212. Das Programm fragt die Plakatflächendaten ab, Schritt 2214, 2216, um zu schauen, ob die Plakatfläche bereits abgefragt worden ist. Falls ja, dann startet das Programm neu, falls aber nicht, werden die Koordinatendaten der Plakatfläche während des Verkippens mit den statischen Daten verglichen, Schritt 2218, 2220. Der Fehler, falls vorhanden, wird berechnet, Schritt 2122, 2124, und in den Speichern 2006, 2008 (Fig. 20) gespeichert, Schritt 2226, 2228.
Das Programm fragt dann die Speicher 2006, 2008 ab, um zu schauen, ob alle Plakatflächen bezüglich von Kippfehlern sowohl aufwärts (Schritt 2230) als auch abwärts (Schritt 2232) dynamisch abgefragt worden sind, und falls ja, ändert es das Programm, Schritt 2234, 2236. Falls nicht, läuft das Programm durch Fortsetzen an dem Start der Sequenz weiter, bis alle Flächen abgefragt worden sind.
Normalerweise erfordern es der Kamerazoom und -fokus nicht, denselben Typ von dynamischen Setup-Daten zu speichern. Wenn jedoch spezielle Kameraaberrationen bekannt sind, dann können diese durch Verwendung von entsprechenden dynamischen Setup- Daten kompensiert werden.
Die dynamischen Daten, die in den Speichern 2002 bis 2008 gespeichert sind, können anstelle oder in Verbindung mit den dynamischen Neukalibrierungsdaten verwendet werden, die, wie unter Bezugnahme auf Fig. 9 beschrieben wurde, erhalten werden. Üblicherweise werden jedoch die dynamischen Setup-Daten die Notwendigkeit einer Neukalibrierung während der meisten Arten von Ereignissen vermeiden.
Während der Verwendung weiß das System durch Einlesen der Kamerasensoren, ob die Plakatfläche in einer statischen Weise betrachtet wird oder ob L-R oder R-L darüber geschwenkt wird oder ob aufwärts oder abwärts darüber gekippt wird. In solchen Fällen wird die Position der Plakatfläche von dem statischen Datenspeicher übernommen, und dann, wenn ein Verschwenken oder Verkippen auftritt, werden die notwendigen Fehlerkorrekturen angewandt. Nachdem die Kamerabewegung ausläuft, wird zu den statischen Plakatflächenparametern zurückgekehrt.

Claims

1. Vorrichtung zum automatischen Ersetzen einer Plakatfläche (14) in einem Videobild, mit einer Videokamera (20) zum Betrachten der Plakatfläche, dadurch gekennzeichnet, daß die Plakatfläche eine Chroma-Key-Oberfläche aufweist und daß die Vorrichtung weiterhin eine Chroma-Key-Einheit (704, 7044, 7046) umfaßt, die dazu dient, mindestens eine Chroma-Key-Farbe der Chroma-Key- Oberfläche der Plakatfläche zu detektieren, und bei der die Referenzfarbe der Chroma-Key-Einheit einstellbar ist, damit sie mit der Farbe der Chroma-Key-Oberfläche übereinstimmt, wodurch die Chroma-Key-Einheit in die Lage versetzt wird, die Plakatfläche korrekt zu identifizieren und die Chroma-Key-Oberfläche der Plakatfläche in einem Videobild korrekt durch eine virtuelle Werbung mit korrekter Verdeckung durch jegliche Vordergrundobjekte zu ersetzen.

2. Vorrichtung wie in Anspruch 1 beansprucht, wobei die Vorrichtung weiterhin einen Plakatflächenkartenspeicher (704) für das Aufzeichnen der Position einer Mehrzahl von Plakatflächen und für das Aufzeichnen der Chroma-Key-Farbe jeder Plakatfläche (14, 16, 18) aufweist, die zu ersetzen ist, um derart eine Chroma-Key-Farbkarte für ein Stadion bereitzustellen.

3. Vorrichtung wie in Anspruch 2 beansprucht, wobei die Vorrichtung weiterhin Mittel (7044, 7046) zum automatischen Einstellen der Chroma-Key-Farbkarte in Abhängigkeit von Variationen bei den Beleuchtungsbedingungen in dem Stadion aufweist.

4. Vorrichtung wie in einem der Ansprüche 1 bis 3 beansprucht, wobei die Kamera ein automatisches Kameraorientierungsmeßmittel (24, 25, 26, 28) umfaßt, das Bewegungsmeßmittel umfaßt, welche dazu dienen, das Gesichtsfeld (GSF) der Kamera relativ zu einer bekannten Referenzposition zu messen.

5. Vorrichtung wie in Anspruch 4 beansprucht, die Bildverarbeitungsmittel zum Verarbeiten von Videosignalen umfaßt, die von der Kamera erzeugt werden, wobei die Bildverarbeitungsmittel (714) Kalibriermittel zum periodischen automatischen Kalibrieren der Bewegungsmeßmittel umfaßt.

6. Vorrichtung wie in einem der Ansprüche 1 bis 5 beansprucht, die weiterhin Mittel (716, 718) zum Übermitteln eines perfekten Hintergrundfarbe-Key-Signals für jede zu ersetzende Plakatfläche aufweist.

7. Vorrichtung wie in Anspruch 6 beansprucht, die weiterhin Mittel (700, 702, 704) zum Übermitteln der Koordinaten jeder zu substituierenden Plakatfläche aufweist.

8. Vorrichtung wie in Anspruch 7 beansprucht, die weiterhin eine Empfangseinrichtung (1900) zum Empfang der Plakatflächenkoordinaten und der perfekten Hintergrund-Chroma-Key-Farbe umfaßt und die Mittel zum Bereitstellen eines kombinierten Videobilds umfaßt, das Abdeckungen in den Koordinatenbereichen einschließt, die durch die perfekte Hintergrund-Chroma-Key-Farbe identifiziert sind.

9. Vorrichtung wie in Anspruch 2 beansprucht, die weiterhin einen dynamischen Plakatflächenspeicher (2002) zum Aufzeichnen jeglicher Änderungen in der gemessenen Position der Plakatfläche, wenn die Kamera geschwenkt oder gekippt wird, umfaßt.

10. Verfahren zum automatischen elektronischen Ersetzen von Plakatflächen in einem Sportstadion, wobei die Plakatflächen Chroma-Key-Oberflächen in einem Videobild aufweisen, mit den Schritten:

i. Identifizieren eines ersten spezifischen Bereichs, der einer Plakatfläche in dem Videobild entspricht, wobei der spezifische Bereich eine definierte erste Chroma-Key-Farbe der Chroma-Key-Oberfläche der ersten Plakatfläche aufweist;

ii. Aufzeichnen der ersten Farbe des ersten spezifischen Bereichs in einem Chroma-Key-Farbspeicher;

iii. Identifizieren einer ersten elektronischen Ersatzplakatfläche für die Substitution in den ersten spezifizierten Bereich; und

iv. Einfügen der ersten Ersatzplakatfläche in das Videobild durch Chroma-Key-Techniken, wobei das Einfügen den Schritt des Abdeckens jener Teile des ersten spezifischen Bereichs umfaßt, die in dem Videobild durch ein abdeckendes Objekt abgedeckt sind.

11. Verfahren wie in Anspruch 10 beansprucht, mit den Schritten:

i. Identifizieren weiterer spezifischer Bereiche in dem Videobild, wobei jeder weitere spezifische Bereich eine weitere Plakatfläche mit einer zugehörigen Chroma-Key-Farbe aufweist;

ii. Aufzeichnen der Farbe aller spezifischen Bereiche in einem Chroma-Key-Farbspeicher zusammen mit Informationen betreffend die Position jedes der spezifischen Bereiche;

iii. Identifizieren von Ersatzplakatflächen für die Substitution in jeden der spezifizierten Bereiche; und

iv. Einfügen der Substitutplakatflächen an den jeweils korrekten Orten mit Abdeckungen durch abdeckende Objekte.

12. Verfahren wie in Anspruch 10 beansprucht, das die Schritte umfaßt:

Aktualisieren der aufgezeichneten Chroma-Key-Farben für jeden spezifischen Bereich in geeigneten Zeitintervallen, um Beleuchtungsänderungen in einem Stadion zu kompensieren.

13. Verfahren wie in Anspruch 11 oder 12 beansprucht, das weiterhin die Schritte umfaßt:

i. Übermitteln von Daten, die die spezifischen Bereiche identifizieren und Ort und Größe jeder einer Mehrzahl von Plakatflächen enthalten, zusammen mit Videobildinformationen;

ii. Übermitteln einer perfekten Chroma-Key-Farbe für jeden spezifischen Bereich, der als eine Plakatfläche identifiziert ist;

iii. Empfangen der Daten, die jede einer Mehrzahl von zu ersetzenden Plakatflächen identifizieren, und der perfekten Chroma-Key-Farbinformationen für die spezifischen Bereiche in einem Empfänger;

iv. Vergleich der perfekten Chroma-Key-Farbe mit einer vorgewählten passenden perfekten Chroma-Key Farbe in einer Chroma-Key-Einrichtung in dem Empfänger;

v. Substitution einer Mehrzahl von Plakatflächen, die lokal an dem Empfänger ausgewählt werden, in die spezifischen Bereiche, die für jede Plakatfläche identifiziert sind; und

vi. Einsetzen von abdeckenden Objekten durch Chroma-Key- Techniken für jede Plakatfläche unter Verwendung eines Chroma- Keyers, bei dem die Chroma-Key-Farbe eingestellt ist, um die perfekte Chroma-Key-Farbe zu detektieren.