DE102018110338B4

DE102018110338B4 - Bildverarbeitungssystem, vorrichtung und steuerverfahren

Info

Publication number: DE102018110338B4
Application number: DE102018110338.7A
Authority: DE
Inventors: Yuri Yoshimura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-05-12
Filing date: 2018-04-30
Publication date: 2024-11-07
Anticipated expiration: 2038-05-01
Also published as: GB2567268B; US10979631B2; JP7121470B2; GB201807660D0; GB2567268A; US20180332218A1; JP2018195883A; DE102018110338A1

Abstract

Bildverarbeitungsvorrichtung zur Steuerung zumindest einer einer Vielzahl von Bildaufnahmevorrichtungen, wobei die Vielzahl von Bildaufnahmevorrichtungen zur Aufnahme einer Vielzahl von Bildern zur Erzeugung eines virtuellen Blickwinkelbildes angeordnet ist, wobei die Bildverarbeitungsvorrichtung umfasst:eine Bestimmungseinrichtung zur Bestimmung einer interessierenden Region in zumindest einem durch die zumindest eine Bildaufnahmevorrichtung aufgenommenen Bild; undeine Steuereinrichtung zur Steuerung der zumindest einen Bildaufnahmevorrichtung zur Aufnahme eines anderen Bildes bei einer angepassten Bildqualität beruhend auf der durch die Bestimmungseinrichtung bestimmten interessierenden Region.

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung oder ein Bildverarbeitungssystem, das eine Vielzahl von Kameras zur Aufnahme eines Objekts aus einer Vielzahl von Positionen enthält.
HINTERGRUND
In den letzten Jahren hat ein Verfahren zur Durchführung einer synchronisierten oder synchronen Aufnahme einer Vielzahl von Mehrfach-Blickwinkelbildern unter Verwendung einer Vielzahl von Kameras, die an verschiedenen Positionen platziert sind, und Erzeugung eines virtuellen Blickwinkelinhalts unter Verwendung der Vielzahl von Blickwinkelbildern, die durch die Aufnahme erhalten werden, Beachtung erfahren. Unter Verwendung dieses Verfahrens zur Erzeugung des virtuellen Blickwinkelinhalts (eines Inhalts mit virtuellem oder variablem Blickwinkel) aus der Vielzahl von Blickwinkelbildern (das heißt, Bildern, die aus einer Vielzahl verschiedener Positionen oder Blickwinkeln aufgenommen werden), können beispielsweise herausragende Szenen eines Fußball- oder Basketballspiels aufgenommen und aus verschiedenen Winkeln betrachtet werden. Dies kann einem Benutzer ein natürlicheres oder realistischeres Gefühl verglichen mit Einzel-Blickwinkelbildern vermitteln. Die Erzeugung und das Durchblättern des virtuellen Blickwinkelinhalts beruhend auf der Vielzahl von Blickwinkelbildern kann durch Erfassen von durch die Vielzahl von Kameras aufgenommenen Bildern an einer Bildverarbeitungseinheit, wie einem Server, und Veranlassen der Bildverarbeitungseinheit zur Ausführung einer Verarbeitung, wie einer 3D-Modellerzeugung und eines Renderingvorgangs, und Senden der verarbeiteten Bilder zu einem Benutzerendgerät implementiert sein.
Die Japanische Patentoffenlegung JP 2004 - 200989 A (die nachstehend als Literatur 1 bezeichnet wird) offenbart ein Verfahren zur Erfassung einer Bewegung eines aufzunehmenden Objekts und Anpassung einer Aufnahmebildrate (das heißt, einer Bildrate, mit der das Objekt aufgenommen wird) und einer Anzeigeauflösung des angezeigten Bildes gemäß der erfassten Bewegung des aufzunehmenden Objekts.
Beim Durchblättern eines virtuellen Blickwinkelinhalts, der beispielsweise eine/einen herausragende Szene/herausragenden Ausschnitt, wie eine Torszene/einen Torausschnitt, enthält, kann ein feineres Bild (das heißt, ein Bild mit mehr Einzelheiten und/oder ein Bild mit höherer Auflösung) eines bestimmten Bereichs, wie eines Bereichs um das Tor, den Ball oder den Spieler, der das Tor schießt, erwünscht sein. Bei der Erzeugung eines feineren virtuellen Blickwinkelinhalts des bestimmten Bereichs eines aufgenommenen Bildes muss eine Kamera zur Aufnahme des bestimmten Bereichs ein Bild mit hoher Bildqualität aufnehmen. Wenn aber eine Anordnung zur einfachen Steigerung/Verringerung der Bildqualität gemäß einer Bewegung eines aufzunehmenden Objekts, wie sie in der Literatur 1 beschrieben ist, bei einem Bildverarbeitungssystem mit einer Vielzahl von Kameras angewendet wird, werden die Bildqualitäten der Vielzahl von Kameras alle gleichförmig geändert. Wenn die Bewegung groß ist, werden die Bildqualitäten der Vielzahl von Kameras daher alle gleichförmig erhöht, und ein Bildverarbeitungsserver kann dann überlastet werden. Wenn die Bewegung klein ist, werden die Bildqualitäten der Vielzahl von Kameras dagegen alle gleichförmig verringert, der Durchsatz des Servers bleibt teilweise ungenutzt, und die Bildqualität kann unnötig geringer sein.
DE 10 2015 216 907 A1 offenbart eine Vorrichtung in einem Fahrzeug mit einer Anzeigevorrichtung, welche einem Fahrer in dem Fahrzeug gegebenenfalls bearbeitete Bilder von mindestens einer in dem Fahrzeug angeordneten, rückwärtsgerichteten Kamera darstellt, und einer Steuerung, wobei die Steuerung ausgelegt ist, eine Auswahl und gegebenenfalls Bildbearbeitungsschritte für die darzustellenden Bilder so zu steuern, dass angepasst an eine aktuelle Fahrsituation bei einer Vorwärtsfahrt ein Fernbereich hinter dem Fahrzeug in der Anzeigevorrichtung gezeigt wird und bei einer Rückwärtsfahrt ein Nahbereich hinter dem Fahrzeug in der Anzeigevorrichtung gezeigt wird.
DE 601 06 997 T2 offenbart ein Steuergerät, das bestimmt, ob ein Bild, das durch Zusammenführen mehrerer gleichzeitig aufgenommener Bilder erzeugt wird, auf einer Anzeigeeinrichtung eine gleichbleibende Bildqualität aufweist. Wenn nicht, werden die in jeder Bildaufnahmevorrichtung eingestellten Bildqualitätsparameter so gesteuert, dass die Bildqualität des zusammengeführten Bildes konsistent ist. Daher kann das zusammengeführte Bild mit Sicherheit eine gleichbleibende Bildqualität aufweisen. Eine Signalverarbeitungseinrichtung erkennt basierend auf Positionen von Knoten und Attributen von Kameras eine Verbindung, die angibt, welcher Knoten mit welcher Kamera mit welchem Attribut verbunden ist. Die Signalverarbeitungseinrichtung speichert im Voraus jede detektierbare Verbindung und eine Vielzahl von Bildverarbeitungsprogrammen, die jeweils der Verbindung entsprechen, und wählt eines der Bildverarbeitungsprogramme aus, das der detektierten Verbindung entspricht, und führt es aus.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Gemäß Ausgestaltungen der vorliegenden Erfindung sind eine Vorrichtung, ein System, ein Verfahren und ein Programm bereitgestellt, wie es in den beiliegenden Patentansprüchen dargelegt ist. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann ein Bildverarbeitungssystem oder eine Bildverarbeitungsvorrichtung zur Erzeugung eines virtuellen Blickwinkelbildes beruhend auf aufgenommenen Bildern von einer Vielzahl von Kameras eine höhere Bildqualität für einen Bereich bereitstellen.
Weitere Merkmale, Ausgestaltungen und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen (unter Bezugnahme auf die beiliegenden Zeichnungen) ersichtlich. Die nachstehend beschriebenen Ausführungsbeispiele der vorliegenden Erfindung können jeweils allein oder als Kombination einer Vielzahl der Ausführungsbeispiele implementiert sein. Es können auch Merkmale von verschiedenen Ausführungsbeispielen bei Bedarf kombiniert werden, oder wenn die Kombination von Elementen oder Merkmalen aus individuellen Ausführungsbeispielen in einem einzelnen Ausführungsbeispiel von Vorteil ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 zeigt ein Blockschaltbild eines Beispiels der Ausgestaltung eines Bildverarbeitungssystems;
2 zeigt ein Blockschaltbild eines Beispiels einer Funktionsausgestaltung einer Kameraadaptereinrichtung;
3 zeigt ein Blockschaltbild eines Beispiels einer Funktionsausgestaltung einer Steuerstation gemäß dem ersten Ausführungsbeispiel;
4 zeigt ein Ablaufdiagramm einer Bildratenanpassungsverarbeitung gemäß dem ersten Ausführungsbeispiel;
5 zeigt eine Darstellung zur Beschreibung von Blickpunktgruppen gemäß dem ersten Ausführungsbeispiel;
6 zeigt ein Blockschaltbild eines Beispiels einer Funktionsausgestaltung einer Steuerstation gemäß dem zweiten Ausführungsbeispiel;
7 zeigt ein Ablaufdiagramm einer Bildratenanpassungsverarbeitung gemäß dem zweiten Ausführungsbeispiel;
8 zeigt eine Darstellung zur Beschreibung von Blickpunktgruppen gemäß dem zweiten Ausführungsbeispiel;
9 zeigt ein Blockschaltbild eines Beispiels einer Funktionsausgestaltung einer Steuerstation gemäß dem dritten Ausführungsbeispiel; und
10 zeigt ein Ablaufdiagramm einer Bildratenanpassungsverarbeitung gemäß dem dritten Ausführungsbeispiel.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben.
<Erstes Ausführungsbeispiel>
(Bildverarbeitungssystem)
Nachstehend wird ein Bildverarbeitungssystem gemäß einem Ausführungsbeispiel unter Bezugnahme auf das Blockschaltbild in 1 beschrieben, das eine Systemausgestaltung darstellt, wobei das Bildverarbeitungssystem eine Bildaufnahme und eine Tonerfassung (Tonaufzeichnung) unter Verwendung einer Vielzahl von Kameras und Mikrophonen durchführt, die an einem Ort oder in einer Einrichtung, wie einer Arena (Stadion) oder einer Konzerthalle, platziert sind. Selbstverständlich kann das gleiche Bildverarbeitungssystem gemäß einem anderen Ausführungsbeispiel der Erfindung an einem beliebigen Ort verwendet werden, solange das System zumindest einen Sensor zur Aufnahme eines Bildes oder Erfassung/Aufzeichnung von Ton umfasst (beispielsweise zumindest eine Bildaufnahmevorrichtung und optional zumindest eine Tonerfassungs-/-aufzeichnungsvorrichtung). Ein Bildverarbeitungssystem 100 umfasst Sensorsysteme 110a bis 110z, einen Bildberechnungsserver 200, eine Steuereinrichtung 300, einen Schalt-Hub 180 und ein Endbenutzergerät 190.
Die Steuereinrichtung 300 umfasst eine Steuerstation 310 und eine virtuelle Kamerabedien-UI (Benutzerschnittstelle) 330. Die Steuerstation 310 führt eine Steuerung von Betriebszuständen und eine Parametereinstellsteuerung für die jeweiligen, das Bildverarbeitungssystem 100 bildenden Blöcke, über Netzwerke 310a bis 310c, 180a, 180b und 170a bis 170y durch. Jedes Netzwerk kann ein GbE (Gigabit Ethernet) oder 10 GbE sein, bei dem es sich um dem IEEE-Standard entsprechendes Ethernet® handelt, oder kann durch Kombination von Interconnect Infiniband, Industrial Ethernet und dergleichen gebildet sein. Das Netzwerk ist nicht auf diese Möglichkeiten beschränkt, und kann ein Netzwerk eines anderen Typs sein, der eine Kommunikation ermöglicht.
Zuerst wird ein Vorgang einer Übertragung von 26 Sätzen von Bildern und Tönen, die durch die Sensorsysteme 110a bis 110z erhalten werden, vom Sensorsystem (beispielsweise 110z) zu dem Bildberechnungsserver 200 beschrieben. Bei dem Bildverarbeitungssystem 100 gemäß dem ersten Ausführungsbeispiel sind die Sensorsysteme 110a bis 110z über eine Daisy-Chain verbunden.
Bei diesem Ausführungsbeispiel werden die 26 Sensorsysteme 110a bis 110z ohne Unterscheidung als Sensorsystem 110 beschrieben, wenn nichts anderes speziell ausgesagt ist. Gleichermaßen werden Einrichtungen in jedem Sensorsystem 110 ohne Unterscheidung als Mikrophon 111, Kamera 112, Panoramakopf (Orientierungs- oder Positionsanpassungseinheit) 113, externer Sensor 114 und Kameraadaptereinrichtung 120 beschrieben, wenn nichts anderes speziell ausgesagt ist. Es wird angemerkt, dass bei diesem Ausführungsbeispiel die Anzahl von Sensorsystemen 26 beträgt. Die Anzahl von Sensorsystemen ist aber lediglich ein Beispiel, und ist nicht darauf beschränkt. Es wird angemerkt, dass bei diesem Ausführungsbeispiel ein Ausdruck „Bild“ sowohl das Konzept eines Bewegtbildes als auch das Konzept eines Stehbildes umfasst, wenn nichts anderes speziell ausgesagt ist. Das heißt, das Bildverarbeitungssystem 100 gemäß diesem Ausführungsbeispiel kann sowohl ein Stehbild als auch ein Bewegtbild verarbeiten. Bei diesem Ausführungsbeispiel wird hauptsächlich ein Beispiel beschrieben, bei dem ein virtueller Blickwinkelinhalt, der durch das Bildverarbeitungssystem 100 bereitgestellt wird, sowohl ein virtuelles Blickwinkelbild als auch einen virtuellen Blickwinkelton enthält. Die vorliegende Erfindung ist aber nicht darauf beschränkt. Der virtuelle Blickwinkelinhalt muss beispielsweise keinen Ton enthalten, das heißt, gemäß einem anderen Ausführungsbeispiel werden für den virtuellen Blickwinkelinhalt lediglich Bilder aufgenommen und verarbeitet. Außerdem kann der in dem virtuellen Blickwinkelinhalt enthaltene Ton beispielsweise ein durch ein Mikrophon erfasster Ton sein, das dem virtuellen Blickwinkel am nächsten ist. Zur Erleichterung der Beschreibung wird bei diesem Ausführungsbeispiel die Beschreibung eines Tons teilweise weggelassen. Grundsätzlich werden Bild und Ton zusammen verarbeitet, wenn beides verfügbar ist.
Jedes der Sensorsysteme 110a bis 110z enthält jeweils eine von Einzelkameras 112a bis 112z. Das heißt, das Bildverarbeitungssystem 100 enthält eine Vielzahl von Kameras zur Aufnahme eines Objekts von einer Vielzahl von Positionen (das heißt, einer Vielzahl von Winkeln, Orientierungen oder Richtungen und optional verschiedenen Entfernungen vom Objekt). Die Vielzahl von Sensorsystemen 110 ist miteinander über eine Daisy-Chain verbunden. Diese Verbindungsform hat den Effekt der Reduzierung der Anzahl von Verbindungskabeln und erspart Arbeit bei einem Verdrahtungsvorgang, wenn sich die Bilddatenkapazität zusammen mit einer Erhöhung einer Auflösung eines aufgenommenen Bildes auf 4K oder 8K und einer Erhöhung der Bildrate verringert. Es wird angemerkt, dass die vorliegende Erfindung nicht darauf beschränkt ist. Als Verbindungsform (Netzwerkkonfiguration oder Netzwerktopologie) können die Sensorsysteme 110a bis 110z beispielsweise mit dem Schalt-Hub 180 zur Bildung eines Sternnetzwerks verbunden werden, bei dem ein Senden/Empfangen von Daten unter den Sensorsystemen 110 über den Schalt-Hub 180 durchgeführt wird.
1 zeigt eine Ausgestaltung, bei der alle Sensorsysteme 110a bis 110z zur Bildung einer Daisy-Chain kaskadenförmig verbunden sind. Die vorliegende Erfindung ist allerdings nicht darauf beschränkt. Die Vielzahl von Sensorsystemen 110 kann beispielsweise in Gruppen unterteilt werden, und die Sensorsysteme 110 können in jeder unterteilten Gruppe über eine Daisy-Chain verbunden sein. Die Kameraadaptereinrichtung 120 am Ende einer Teileinheit kann mit dem Schalt-Hub zur Eingabe eines Bildes in den Bildberechnungsserver 200 verbunden sein. Diese Ausgestaltung ist insbesondere in einem Stadion effektiv. Beispielsweise kann ein Fall betrachtet werden, bei dem ein Stadion eine Vielzahl von Geschossen aufweist, und sich das Sensorsystem 110 in jedem Geschoss befindet (das heißt, angewendet, positioniert, fixiert oder installiert ist). In diesem Fall können Bilder von den angeordneten Sensorsystemen 110 in jedem Geschoss oder jedem Halbrund des Stadions in den Bildberechnungsserver 200 eingegeben werden. Selbst an einem Ort, an dem eine Verdrahtung zur Verbindung aller Sensorsysteme 110 über eine Daisy-Chain schwierig ist, kann die Platzierung auf diese Weise vereinfacht werden und das System vielfältig einsetzbar gemacht werden.
Die Steuerung einer im Bildberechnungsserver 200 durchgeführten Bildverarbeitung wird in Abhängigkeit davon umgeschaltet (das heißt, geeignet angepasst oder modifiziert), ob eine Kameraadaptereinrichtung 120 oder zwei oder mehr Kameraadaptereinrichtungen 120 über eine Daisy-Chain zur Eingabe von Bildern in den Bildberechnungsserver 200 verbunden sind. Das heißt, die Steuerung wird in Abhängigkeit davon umgeschaltet, ob das Sensorsystem 110 in eine Vielzahl von Gruppen unterteilt ist oder nicht. Wenn eine Kameraadaptereinrichtung 120 Bilder in den Bildberechnungsserver 200 eingibt, wird ein Rundumbild der Arena erzeugt, während Bilder über die Daisy-Chain-Verbindung übertragen werden. Daher sind die Zeitvorgaben, dass Rundumbilddaten vollständig in dem Bildberechnungsserver 200 erfasst werden, synchronisiert. Das heißt, die Zeitvorgaben einer Aufnahme der Daten (beispielsweise Aufnehmen des Bildes oder Erfassen/Aufzeichnen des Tons) sind synchronisiert, wenn die Sensorsysteme 110 nicht in Gruppen eingeteilt sind.
Wenn aber eine Vielzahl von Kameraadaptereinrichtungen 120 Bilder in den Bildberechnungsserver 200 eingibt (die Sensorsysteme 110 sind in Gruppen unterteilt), kann sich die Verzögerung zwischen den Wegen (Routen) von Daisy-Chains verändern. Daher muss eine Bildverarbeitung an einer nachfolgenden Stufe ausgeführt werden, während eine Erfassung/Aufnahme von Daten (beispielsweise Bilddaten oder Tondaten) durch eine Synchronisation oder eine Synchronsteuerung zur Errichtung einer Synchronisation nach der vollständigen Erfassung (das heißt, dem vollständigen Empfang) der Rundumdaten im Bildberechnungsserver 200 überprüft wird.
Das Sensorsystem 110a umfasst ein Mikrophon 111a, die Kamera 112a, einen Panoramakopf 113a, einen externen Sensor 114a und eine Kameraadaptereinrichtung 120a. Es wird angemerkt, dass das Sensorsystem 110a nicht darauf beschränkt ist. Das Sensorsystem 110a muss lediglich zumindest eine Kameraadaptereinrichtung 120a und eine Kamera 112a oder ein Mikrophon 111a umfassen. Das Sensorsystem 110a kann beispielsweise durch eine Kameraadaptereinrichtung 120a und eine Vielzahl von Kameras 112a gebildet sein, oder kann durch eine Kamera 112a und eine Vielzahl von Kameraadaptereinrichtungen 120a gebildet sein. Das heißt, die Vielzahl von Kameras 112 und die Vielzahl von Kameraadaptereinrichtungen 120 im Bildverarbeitungssystem 100 haben eine N-zu-M (N und M sind ganze Zahlen größer gleich 1) -Entsprechung. Das Sensorsystem 110a kann vom Mikrophon 111a, der Kamera 112a, dem Panoramakopf 113a und der Kameraadaptereinrichtung 120a verschiedene Einrichtungen enthalten. Die Kamera 112 und die Kameraadaptereinrichtung 120 können integriert sein. Zumindest einige Funktionen der Kameraadaptereinrichtung 120 können an einem Front-End-Server 230 durchgeführt werden. Bei diesem Ausführungsbeispiel weisen die Sensorsysteme 110b bis 110z die gleiche Ausgestaltung wie das Sensorsystem 110a auf. Allerdings müssen nicht alle Sensorsysteme 110 die gleiche Ausgestaltung wie das Sensorsystem 110a aufweisen, und können verschiedene Ausgestaltungen haben.
Ein durch das Mikrophon 111a erfasster Ton und ein durch die Kamera 112a aufgenommenes Bild werden einer Bildverarbeitung (die nachstehend beschrieben wird) durch die Kameraadaptereinrichtung 120a unterzogen und dann über die Daisy-Chain 170a zu einer Kameraadaptereinrichtung 120b des Sensorsystems 110b übertragen. Das Sensorsystem 110b erfasst gleichermaßen den Ton und nimmt ein Bild auf und führt eine Bildverarbeitung (durch eine Kameraadaptereinrichtung 120b) durch und sendet dann den verarbeiteten erfassten Ton und das verarbeitete aufgenommene Bild zusammen mit dem Bild und dem Ton, die vom Sensorsystem 110a erhalten werden, zum Sensorsystem 110c. Durch Fortsetzen dieses Vorgangs werden die Bilder und Töne, die durch die Sensorsysteme 110a bis 110z erhalten werden, verarbeitet und dann vom Sensorsystem 110z über das Netzwerk 180b zum Schalt-Hub 180 übertragen, und dann vom Schalt-Hub 180 zum Bildberechnungsserver 200 übertragen.
Es wird angemerkt, dass bei diesem Ausführungsbeispiel die Kamera 112 von der Kameraadaptereinrichtung 120 separat vorgesehen ist. Allerdings können die Kamera und die Kameraadaptereinrichtung in einem einzelnen Gehäuse integriert sein. In diesem Fall kann das Mikrophon 111 im Gehäuse der integrierten Kamera 112/Kameraadaptereinrichtung 120 aufgenommen sein, oder kann mit der Außenseite des Gehäuses der Kamera 112/Kameraadaptereinrichtung 120 verbunden sein.
Als Nächstes werden Ausgestaltung und Betrieb des Bildberechnungsservers 200 (beispielsweise eines Bildverarbeitungsservers) beschrieben. Der Bildberechnungsserver 200 gemäß diesem Ausführungsbeispiel verarbeitet vom Sensorsystem 110z erhaltene Daten. Der Bildberechnungsserver 200 umfasst den Front-End-Server (beispielsweise eine Darstellungsschicht) 230, eine Datenbank 250, einen Back-End-Server (beispielsweise eine Datenzugangsschicht) 270 und einen Zeitserver 290.
Der Zeitserver 290 weist eine Funktion eines Verteilens eines Zeit- und Synchronisationssignals auf, und verteilt ein Zeit- und Synchronisationssignal über den Schalt-Hub 180 zu den Sensorsystemen 110a bis 110z. Beim Empfang des Zeit- und Synchronisationssignals führen die Kameraadaptereinrichtungen 120a bis 120z eine Bildrahmensynchronisation durch Genlocking (Generatorverriegelung) der Kameras 112a bis 112z beruhend auf dem Zeit- und Synchronisationssignal durch. Das heißt, der Zeitserver 290 synchronisiert die Aufnahmezeitvorgaben der Vielzahl von Kameras 112. Diese Synchronisation der Aufnahmezeitvorgaben bedeutet, dass das Bildverarbeitungssystem 100 ein virtuelles Blickwinkelbild beruhend auf der Vielzahl von mit derselben Zeitvorgabe aufgenommenen Bildern erzeugen kann, wodurch eine Verringerung der Qualität des virtuellen Blickwinkelbildes unterdrückt werden kann, die durch eine Verschiebung von (das heißt, asynchrone) Aufnahmezeitvorgaben verursacht wird. Es wird angemerkt, dass bei diesem Ausführungsbeispiel der Zeitserver 290 die Zeitsynchronisation der Vielzahl von Kameras 112 verwaltet (steuert). Die vorliegende Erfindung ist allerdings nicht darauf beschränkt, und die Kameras 112 oder Kameraadaptereinrichtungen 120 können eine Verarbeitung für die Zeitsynchronisation unabhängig durchführen.
Der Front-End-Server 230 rekonstruiert ein segmentiertes Übertragungspaket von Bildern und Tönen, das vom Sensorsystem 110z erhalten wird, und wandelt das Datenformat um. Der Front-End-Server 230 schreibt die rekonstruierten Daten gemäß einem Kameraidentifizierer, Datentyp und einer Rahmennummer in die Datenbank 250. Der Back-End-Server 270 erzeugt ein virtuelles Blickwinkelbild aus durch die Vielzahl von Kameras aufgenommenen Bildern. Das heißt, der Back-End-Server 270 nimmt eine Blickwinkelbestimmung von der virtuellen Kamerabedien-UI 330 entgegen, liest entsprechende Bild- und Tondaten aus der Datenbank 250 beruhend auf dem entgegengenommenen Blickwinkel aus, und führt eine Renderingverarbeitung durch, wodurch er ein virtuelles Blickwinkelbild erzeugt.
Es wird angemerkt, dass die Ausgestaltung des Bildberechnungsservers 200 nicht auf die vorstehend beschriebene beschränkt ist. Beispielsweise können zumindest zwei Elemente aus den folgenden in einer einzelnen Einheit/einem einzelnen Gehäuse integriert sein: der Front-End-Server 230, die Datenbank 250 und der Back-End-Server 270. Außerdem kann/können der Front-End-Server 230 und/oder die Datenbank 250 und/oder der Back-End-Server 270 eine Vielzahl von Einrichtungen enthalten. Eine von den vorstehend beschriebenen Einrichtungen verschiedene Einrichtung kann an einer beliebigen Position im Bildberechnungsserver 200 enthalten sein. Ferner können zumindest manche der Funktionen des Bildberechnungsservers 200 an dem Endbenutzergerät 190 und/oder der virtuellen Kamerabedien-UI 330 durchgeführt werden.
Das gerenderte virtuelle Blickwinkelbild wird vom Back-End-Server 270 zu dem Endbenutzergerät 190 übertragen und angezeigt. Der Benutzer, der das Endbenutzergerät 190 bedient, kann entsprechend der Blickwinkelbestimmung verschiedene Bilder durchstöbern und den Ton anhören. Wie vorstehend beschrieben, erzeugt der Back-End-Server 270 einen virtuellen Blickwinkelinhalt beruhend auf den Bildern (der Vielzahl von Blickwinkelbildern), die durch die Vielzahl von Kameras 112 aufgenommen werden, und Blickwinkelinformationen. Das heißt, der Back-End-Server 270 erzeugt einen virtuellen Blickwinkelinhalt beruhend auf Bilddaten einer vorbestimmten Region (was nachstehend beschrieben wird), die durch die Vielzahl von Kameraadaptereinrichtungen 120 aus den durch die Vielzahl von Kameras 112 aufgenommenen Bildern extrahiert wird, und dem durch die Benutzerbedienung (beispielsweise eine Benutzereingabe) festgelegten Blickwinkel. Dann stellt der Back-End-Server 270 dem Endbenutzergerät 190 den erzeugten virtuellen Blickwinkelinhalt bereit. Die Extraktion (beispielsweise Erfassung/Bestimmung) der vorbestimmten Region durch die Kameraadaptereinrichtung 120 wird später näher beschrieben.
Der virtuelle Blickwinkelinhalt gemäß diesem Ausführungsbeispiel ist ein Inhalt mit einem virtuellen Blickwinkelbild als Bild, das erhalten wird, wenn ein Objekt von einem virtuellen Blickwinkel aufgenommen wird. Das heißt, das virtuelle Blickwinkelbild kann als Bild bezeichnet werden, das eine Sicht (beispielsweise einen Blick) von einem festgelegten Blickwinkel (das heißt, einer festgelegten oder ausgewählten Position) darstellt. Der virtuelle Blickwinkel kann durch den Benutzer festgelegt oder beruhend auf einem Ergebnis einer Bildanalyse oder dergleichen automatisch festgelegt werden. Das heißt, Beispiele eines virtuellen Blickwinkelbildes enthalten: ein beliebiges Blickwinkelbild, das einem Blickwinkel entspricht, der durch den Benutzer beliebig festgelegt wird, ein Bild, das einem Blickwinkel entspricht, der durch den Benutzer aus einer Vielzahl von Kandidaten festgelegt wird, oder ein Bild, das einem Blickwinkel entspricht, der durch die Einrichtung automatisch festgelegt wird.
Es wird angemerkt, dass bei diesem Ausführungsbeispiel hauptsächlich ein Beispiel beschrieben wird, bei dem ein virtueller Blickwinkelinhalt Tondaten (Audiodaten) enthält. Es müssen aber nicht immer Tondaten enthalten sein.
Der Back-End-Server 270 (codiert oder komprimiert) das virtuelle Blickwinkelbild unter Verwendung eines Standardverfahrens, wie H.264 oder HEVC, und sendet das codierte/komprimierte virtuelle Blickwinkelbild dann unter Verwendung eines Streaming-Verfahrens, wie des MPEG-DASH-Protokolls zu dem Endbenutzergerät 190. Alternativ dazu sendet der Back-End-Server 270 das virtuelle Blickwinkelbild ohne die Komprimierung, das heißt, in einem nicht komprimierten (das heißt, unkomprimierten) Zustand, zu dem Endbenutzergerät 190. Das Endbenutzergerät 190 ist beispielsweise ein Smartphone oder ein Tablet in dem erstgenannten Fall, in dem die Codierung/Komprimierung durchgeführt wird, und das Endbenutzergerät 190 ist eine Anzeigeeinrichtung, die ein nicht komprimiertes Bild anzeigen kann, im zweitgenannten Fall, in dem die Codierung/Komprimierung nicht durchgeführt wird. Der Back-End-Server 270 kann das Bildformat gemäß der Art des Endbenutzergeräts 190 (und ob eine Codierung/Komprimierung zu verwenden ist) umschalten (das heißt, anpassen oder ändern). Das Bildübertragungsprotokoll ist nicht auf MPEG-DASH beschränkt. Beispielsweise ist HLS (HTTP Live Streaming) oder ein anderes Übertragungsverfahren anwendbar.
Wie vorstehend beschrieben umfasst das Bildverarbeitungssystem 100 drei Funktionsbereiche, das heißt, einen Bilderfassungsbereich (oder Bildaufnahmebereich), einen Datenspeicherbereich und einen Bilderzeugungsbereich. Das heißt, der Bilderfassungsbereich umfasst Funktionen, die durch die Sensorsysteme 110a bis 110z bedient werden. Der Datenspeicherbereich umfasst Funktionen, die durch die Datenbank 250, den Front-End-Server 230 und den Back-End-Server 270 bedient werden. Der Bilderzeugungsbereich umfasst Funktionen, die durch die virtuelle Kamerabedien-UI 330, das Endbenutzergerät 190 und den Back-End-Server 270 bedient werden.
Es wird angemerkt, dass die Funktionsbereichsausgestaltung nicht darauf beschränkt ist. Beispielsweise kann die virtuelle Kamerabedien-UI 330 auch Bilder direkt von den Sensorsystemen 110a bis 110z erhalten. Bei diesem Ausführungsbeispiel wird allerdings nicht das Verfahren zum direkten Erhalten von Bildern von den Sensorsystemen 110a bis 110z, sondern das Verfahren angewendet, bei dem die Datenzwischenspeicherfunktion ausgestaltet ist. Das heißt, der Front-End-Server 230 wandelt durch die Sensorsysteme 110a bis 110z erzeugte Bilddaten und, wenn erfasst/enthalten, Tondaten und Metainformationen dieser Daten in ein gemeinsames Schema und einen Datentyp der Datenbank 250 um. Selbst wenn die Kameras 112 der Sensorsysteme 110a bis 110z in Kameras eines anderen Modells geändert werden, können demnach alle Unterschiede aus dieser Kameraänderung am Front-End-Server 230 kompensiert werden, und die Daten können in der Datenbank 250 registriert werden. Dies kann das Bedenken verringern, dass die virtuelle Kamerabedien-UI 330 in einem Fall nicht richtig arbeitet, in dem die Kameras 112 durch Kameras eines anderen Modells ausgetauscht sind.
Die virtuelle Kamerabedien-UI 330 ist außerdem derart eingerichtet, dass sie nicht direkt, sondern über den Back-End-Server 270 auf die Datenbank 250 zugreift. Eine mit der Bilderzeugungsverarbeitung verbundene gemeinsame Verarbeitung wird durch den Back-End-Server 270 durchgeführt, und der andere Teil (das heißt, die mit der Bilderzeugungsverarbeitung verbundene, nicht gemeinsame Verarbeitung) der mit der Bedien-UI verbundenen Anwendung wird durch die virtuelle Kamerabedien-UI 330 durchgeführt. Bei der Entwicklung der virtuellen Kamerabedien-UI 330 kann sich der Entwickler daher auf die Entwicklung einer UI-Bedieneinrichtung oder von Funktionsanforderungen einer UI konzentrieren, die ein zu erzeugendes virtuelles Blickwinkelbild handhabt. Der Back-End-Server 270 kann außerdem eine mit der Bilderzeugungsverarbeitung verbundene gemeinsame Verarbeitung entsprechend einer Anfrage der virtuellen Kamerabedien-UI 330 auch hinzufügen oder löschen. Dies ermöglicht eine flexible Bewältigung einer Anfrage der virtuellen Kamerabedien-UI 330.
In dem Bildverarbeitungssystem 100 erzeugt der Back-End-Server 270 somit ein virtuelles Blickwinkelbild beruhend auf Bilddaten, die auf einer Aufnahme durch die Vielzahl von Kameras 112 beruhen, die zur Aufnahme eines Bildes eines Objekts aus der Vielzahl von Richtungen/Positionen konfiguriert sind. Das heißt, das Bildverarbeitungssystem 100 gemäß diesem Ausführungsbeispiel ist nicht auf die vorstehend beschriebene physische Ausgestaltung (Topologie) beschränkt, und kann eine logische Ausgestaltung (eine andere Topologie) aufweisen, solange das System Bilder (und wenn möglich Ton) von einer Vielzahl von Richtungen/Positionen aufnehmen (erfassen) und die aufgenommenen Bilder (und wenn möglich den erfassten Ton) zur Erzeugung eines virtuellen Blickwinkelbildes verarbeiten kann.
(Kameraadaptereinrichtung)
Die Funktionsblöcke der Kameraadaptereinrichtung (einer Bildverarbeitungsvorrichtung) 120 gemäß diesem Ausführungsbeispiel werden unter Bezugnahme auf 2 beschrieben. Die Kameraadaptereinrichtung 120 umfasst einen Netzwerkadapter 121, eine Übertragungseinheit 122, eine Bildverarbeitungseinheit 123 und eine externe Vorrichtungssteuereinheit 124.
Der Netzwerkadapter 121 führt eine Zeitsynchronisation mit einer anderen Kameraadaptereinrichtung 120, dem Front-End-Server 230, dem Zeitserver 290 und der Steuerstation 310 über die Daisy-Chain 170, ein Netzwerk 291 und das Netzwerk 310a durch, wodurch er eine Datenkommunikation ausführt/durchführt.
Die Übertragungseinheit 122 weist eine Funktion einer Steuerung einer Datenübertragung zu dem Schalt-Hub 180 oder dergleichen über den Netzwerkadapter 121 auf. Insbesondere umfasst die Übertragungseinheit 122: eine Funktion eines Durchführens einer vorbestimmten Kompression (Codierung)/Dekompression (Decodierung) für über den Netzwerkadapter 121 zu sendende/empfangende Daten, eine Funktion eines Bestimmens eines Routens von Sendedaten und Ausführens des Sendens und eine Funktion eines Erzeugens einer Nachricht, die zu den Daten hinzuzufügen ist, die zu/von der anderen Kameraadaptereinrichtung 120, dem Front-End-Server 230 und der Steuerstation 310 zu senden/empfangen sind, oder eine Funktion eines Ausführens einer vorbestimmten Verarbeitung beruhend auf einer empfangenen Nachricht.
Die empfangene Nachricht enthält beispielsweise Bilddaten oder Tondaten und Metainformationen dieser Daten. Die Metainformationen umfassen gemäß diesem Ausführungsbeispiel einen Zeitcode (das heißt, einen Zeitstempel) oder eine Sequenznummer, die erhalten wird, wenn ein Bild aufgenommen oder Ton abgetastet/erfasst wird (das heißt, Zeitdaten, die angeben, wann ein Bild aufgenommen wurde oder Ton erfasst/abgetastet wurde), einen Datentyp und einen Identifizierer, der jede individuelle Kamera 112 bzw. jedes individuelle Mikrophon 111 identifiziert.
Die Bildverarbeitungseinheit 123 weist eine Funktion eines Verarbeitens von durch die Kamera 112 aufgenommenen Bilddaten und von der anderen Kameraadaptereinrichtung 120 empfangenen Bilddaten unter der Steuerung der externen Vorrichtungssteuereinheit 124 auf. Die vorstehend beschriebene Extraktion (beispielsweise Erfassung/Bestimmung) der vorbestimmten Region durch die Kameraadaptereinrichtung 120 als einer von Bildverarbeitungsprozessen wird näher beschrieben.
Die Bildverarbeitungseinheit 123 weist eine Funktion eines Einstellens eines Bildes als Vordergrundbild auf, das als Ergebnis einer Objekterfassung aus einem durch die Kamera 112 aufgenommenen Bild erhalten wird, und somit einer Trennung des aufgenommenen Bildes in das Vordergrundbild (mit dem darin aufgenommenen erfassten Objekt) und ein Hintergrundbild. Die vorbestimmte Region ist beispielsweise das Vordergrundbild, das als Ergebnis der Objekterfassung in dem aufgenommenen Bild erhalten wird. Es wird angemerkt, dass das Objekt beispielsweise eine Person oder ein beliebiges interessierendes Objekt ist. Das Objekt kann eine bestimmte Person (ein Spieler, ein Trainer und/oder ein Schiedsrichter) oder ein Objekt, wie ein Ball oder Tor mit einem vorbestimmten Bildmuster sein. Ein bewegter Körper kann auch als Objekt erfasst werden.
Wenn ein Vordergrundbild, das ein wichtiges Objekt (beispielsweise ein interessierendes Objekt), wie eine Person, enthält, und ein Hintergrundbild, das ein derartiges Objekt nicht enthält, getrennt (das heißt bestimmt/erfasst/unterschieden) und verarbeitet werden, kann die Qualität eines Bildabschnitts in dem Bild, wobei der Bildabschnitt dem wichtigen Objekt in einem durch das Bildverarbeitungssystem 100 erzeugten virtuellen Blickwinkelbild (beispielsweise dem Vordergrundbild) entspricht, individuell angepasst (beispielsweise verbessert) werden. Wenn die Trennung des Vordergrundbildes und des Hintergrundbildes durch jede der Vielzahl von Kameraadaptereinrichtungen 120 durchgeführt wird, kann außerdem die Arbeitsbelastung für diese Trennung im Bildverarbeitungssystem 100, das die Vielzahl von Kameras 112 enthält, verteilt werden. Es wird angemerkt, dass die vorbestimmte Region (das heißt, die vorbestimmte Region, deren Bildqualität angepasst werden soll) nicht auf das Vordergrundbild beschränkt ist, und beispielsweise das Hintergrundbild sein kann. Die Bildverarbeitungseinheit 123 weist eine Funktion einer Berechnung einer Vordergrundbelegung (das heißt, eines Verhältnisses von Vordergrundbildfläche zu Hintergrundbildfläche) in dem aufgenommenen Bild (einem Bild vor der Trennung in das Vordergrundbild und das Hintergrundbild) auf. Die Bildverarbeitungseinheit 123 weist auch eine Funktion einer Erkennung (das heißt, Bestimmung/Zählung) der Anzahl wichtiger Objekte aus einem Bild auf. Ferner weist die Bildverarbeitungseinheit 123 eine Funktion einer Erkennung (das heißt, Identifizierung) eines bestimmten Objekts aus dem aufgenommenen Bild auf.
Unter Verwendung des durch die vorstehend beschriebene Bildverarbeitung (das heißt, des Trennprozesses) getrennten Vordergrundbildes und eines von der anderen Kameraadaptereinrichtung 120 empfangenen Vordergrundbildes weist die Bildverarbeitungseinheit 123 beispielsweise eine Funktion einer Erzeugung von Bildinformationen bezüglich eines 3D-Modells (beispielsweise Tiefendaten) unter Verwendung des Prinzips einer Stereokamera und eine Funktion einer Durchführung verschiedener Kalibrierungen oder Anpassungen auf, die für die Bildverarbeitung erforderlich sind.
Die externe Vorrichtungssteuereinheit 124 weist eine Funktion einer Steuerung einer mit der Kameraadaptereinrichtung 120 verbundenen Vorrichtung auf. Insbesondere weist die externe Vorrichtungssteuereinheit 124 auf: eine Funktion einer Durchführung einer Verbindung mit (beispielsweise einer Kommunikation mit) dem Erfassungssystem 110 (beispielsweise der Kamera 112), beispielsweise zur Steuerung der Kamera 112 zum Erhalten eines aufgenommenen Bildes, Bereitstellung eines Synchronisationssignals und Durchführung einer Zeiteinstellung, eine Funktion einer Durchführung einer Verbindung mit dem Erfassungssystem 110 (beispielsweise dem Mikrophon 111), beispielsweise zur Steuerung des Mikrophons 111 zum Starten und Stoppen einer Tonerfassung und Erhalten erfasster Tondaten und eine Funktion einer Durchführung einer Verbindung mit dem Panoramakopf 113, beispielsweise zur Steuerung des Schwenkens/Kippens des Panoramakopfes 113 und zum Erhalten von Zustands-/Statusinformationen (beispielsweise Informationen bezüglich der Orientierung oder Position) des Panoramakopfes 113.
Die externe Vorrichtungssteuereinheit 124 weist eine Funktion einer Durchführung einer Verbindung mit dem externen Sensor 114 zum Erhalten von durch den externen Sensor 114 erfassten Sensorinformationen auf. Wird beispielsweise ein Kreiselsensor als externer Sensor 114 verwendet, kann die externe Vorrichtungssteuereinheit 124 Informationen erhalten, die eine Vibration der Kamera 112 darstellen, und Bilddaten erzeugen, die einer elektronischen Antivibrationsverarbeitung unterzogen wurden. Der externe Sensor 114 kann ein Temperaturerfassungssensor, ein GPS-Sensor, ein Hilfsbildsensor, der von der Kamera 112 verschieden ist, oder dergleichen sein.
(Steuerstation 310)
Die Funktionsausgestaltung der Steuerstation 310 gemäß diesem Ausführungsbeispiel wird unter Bezugnahme auf 3 beschrieben. Die Steuerstation 310 ist beispielsweise eine Computereinrichtung mit einer CPU und einem Speicher. Jede in 3 gezeigte Funktionseinheit kann implementiert werden, wenn die CPU ein im Speicher gespeichertes Programm ausführt. Einige oder alle der Funktionseinheiten können durch dedizierte Hardwarekomponenten implementiert sein. Es wird angemerkt, dass 3 Abschnitte unter den Funktionsblöcken der Steuerstation 310 zeigt, die mit der Steuerung von Abbildungsparametern und Übertragung für die Kameraadaptereinrichtung 120 verbunden sind. Die Abbildungsparameter enthalten beispielsweise eine Bildrate und eine Auflösung der Kamera 112, wenn sie ein Bild aufnimmt. Die Steuerstation 310 weist außerdem Funktionen zur Steuerung des Front-End-Servers 230, der Datenbank 250 und des Back-End-Servers 270 und zum Speichern/Zugreifen auf verschiedene Arten von Informationen auf, die für die Steuerverarbeitung erforderlich sind. Diese Funktionen sind allerdings in 3 nicht veranschaulicht. Eine Kameraadaptereinrichtungssteuereinheit 710, eine Benutzereingabeannahmeeinheit 720, eine Objektinformationsspeichereinheit 730, eine Vorrichtungsinformationsspeichereinheit 740 und eine Anfrageinformationsspeichereinheit 750 der Steuerstation 310 werden nachstehend beschrieben.
Zuerst werden die Funktionsblöcke der Kameraadaptereinrichtungssteuereinheit 710 beschrieben. Eine Kommunikationssteuereinheit 711 empfängt über den Schalt-Hub 180 Informationen von der Kameraadaptereinrichtung 120, die beim Aufnehmen eines Bildes erhalten werden. Die Kommunikationssteuereinheit 711 weist eine Funktion zum Empfangen von Informationen von einer Sendeinformationserzeugungseinheit 715, die durch die Kameraadaptereinrichtung 120 zur Steuerung einer mit ihr verbundenen externen Vorrichtung (wie der Kamera 112, des Mikrophons 111, des Panoramakopfes 113 oder des externen Sensors) zu verwenden sind, und zum Senden der Informationen zu der Kameraadaptereinrichtung 120 auf.
Eine Belegungszähleinheit 712 zählt die Belegungen (Vordergrundbelegungsdaten) von Vordergrundbildern, die von der Vielzahl von Kameraadaptereinrichtungen 120 im Bildverarbeitungssystem 100 empfangen werden. Eine Abbildungsparametererzeugungseinheit 713 erzeugt beruhend auf den gezählten Belegungen Abbildungsparameter (beispielsweise eine Bildrate, eine Auflösung und dergleichen), die für die Kameraadaptereinrichtung 120 zur Steuerung der mit ihr verbundenen Kamera 112 erforderlich sind. Eine Übertragungssteuerinformationserzeugungseinheit 714 erzeugt beruhend auf den gezählten Belegungen Übertragungssteuerinformationen (beispielsweise eine Übertragungskompressionsrate und dergleichen), die für die Kameraadaptereinrichtung 120 zur Steuerung der Übertragung erforderlich sind. Die Übertragungsinformationserzeugungseinheit 715 empfängt die Teile von Informationen, die durch die Abbildungsparametererzeugungseinheit 713 und die Übertragungssteuerinformationserzeugungseinheit 714 erzeugt werden, und bestimmt, ob eine Änderung/Anpassung der Steuerung für jede Kameraadaptereinrichtung 120 erforderlich ist. Dann erzeugt die Übertragungsinformationserzeugungseinheit 715 Sendeinformationen (das heißt, zu sendende Informationen, die Abbildungsparameter und Informationen für eine Übertragung/Kommunikation, wie Übertragungssteuerinformationen) zur Übertragung zu der Kameraadaptereinrichtung 120, für die bestimmt ist, dass es erforderlich ist, ihre Steuerung zu ändern (beispielsweise über geänderte Abbildungsparameter oder Übertragungssteuerinformationen). Die Kameraadaptereinrichtungssteuereinheit 710 steuert eine Aufnahmeeinstellung der Kamera 112 und eine Übertragungseinstellung der Übertragungseinheit 122 durch Senden der Übertragungsinformationen zu der erforderlichen Kameraadaptereinrichtung 120 über die Kommunikationssteuereinheit 711.
Die Benutzereingabeannahmeeinheit 720 weist eine Funktion einer Annahme einer Benutzereingabe hinsichtlich Informationen über ein aufzunehmendes Objekt, Vorrichtungsinformationen und/oder Aufnahmevorgangsanfrageinformationen auf, die für die Aufnahme eines das Objekt enthaltenden Bildes erforderlich sein können. Die Informationen des aufzunehmenden Objekts, die Vorrichtungsinformationen und/oder die Aufnahmevorgangsanfrageinformationen, die durch die Benutzereingabeannahmeeinheit 720 angenommen wurden, werden jeweils in der Objektinformationsspeichereinheit 730, der Vorrichtungsinformationsspeichereinheit 740 und der Anfrageinformationsspeichereinheit 750 gespeichert. Die Objektinformationsspeichereinheit 730, die Vorrichtungsinformationsspeichereinheit 740 und die Anfrageinformationsspeichereinheit 750 kommunizieren bei Bedarf mit Funktionsblöcken (nicht gezeigt) zur Steuerung der Kameraadaptereinrichtungssteuereinheit 710, des Front-End-Servers 230, der Datenbank 250 und des Back-End-Servers 270.
Gemäß einem Ausführungsbeispiel sind die Informationen des aufzunehmenden Objekts eine Form und Ausgestaltungsinformationen hinsichtlich einer Person, eines Objekts, einer Einrichtung, einer Schallquelle und einer Beleuchtung in einem Aufnahmebereich (das heißt, einem Bereich einer Ansicht, der im aufgenommenen Bild enthalten sein soll). Die Vorrichtungsinformationen geben Informationen hinsichtlich eines Modellnamens, Spezifizierungen, charakteristischer Werte und/oder Ausgestaltung/Konfiguration, die eine Bildaufnahmevorrichtung, wie eine Kamera, einen Panoramakopf, ein Objektiv und Mikrophon betreffen, eine Informationsvorrichtung, wie ein LAN, einen PC, einen Server und ein Kabel, und ein Übertragungsfahrzeug an. Die Aufnahmevorgangsanfrageinformationen sind Anfrageinformationen hinsichtlich der Steuerwerte und Steuerverfahren für verschiedene Vorrichtungen, die durch den Benutzer vor oder während der Aufnahme eines Bildes angefordert werden. Allerdings müssen nicht immer alle Informationsteile eingegeben werden. Diese Informationsteile können unabhängig von der Benutzereingabe automatisch (beispielsweise von einem Speicher oder einem Server über ein Netzwerk) erhalten werden.
(Anpassung von Abbildungsparametern und der Übertragung in der Kameraadaptereinrichtungssteuereinheit 710)
Bei diesem Ausführungsbeispiel wird nachstehend eine Verarbeitung der Kameraadaptereinrichtungssteuereinheit 710 vom Zählen von Vordergrundbelegungen bis zur Übertragung von Übertragungsinformationen unter Bezugnahme auf ein in 4 gezeigtes Ablaufdiagramm beschrieben. Bei diesem Ausführungsbeispiel verteilt die Steuerstation 310 beruhend auf Vordergrundbelegungen eine Gesamtdatenmenge zu der Vielzahl von Kameras, die von der Vielzahl von Kameras zu dem Bildberechnungsserver 200 gesendet wird, der ein virtuelles Blickwinkelbild erzeugt, wodurch die Übertragungsdatenmenge jeder Kamera bestimmt wird. Da die Datenmenge beruhend auf den Vordergrundbelegungen auf die Vielzahl von Kameras verteilt wird, können die Übertragungsdatenmengen der Kameras ungleichmäßig werden. Die Steuerstation 310 steuert eine Aufnahmeeinstellung und/oder Übertragungseinstellung jeder der Vielzahl von Kameras beruhend auf der bestimmten Übertragungsdatenmenge. Dieses Ausführungsbeispiel beschreibt ein Beispiel zur Steuerung einer Übertragungsdatenmenge beruhend auf der Bildrate. Das Beispiel wird nachstehend näher beschrieben.
Die Kameraadaptereinrichtung 120 berechnet eine Vordergrundbelegung, das heißt, die Bildelementbelegung eines Vordergrundbildes in einem Bild (das heißt, ein Verhältnis von Vordergrundbildfläche zu Hintergrundbildfläche in dem Bild) vor der Trennung des durch die Kamera 112 erhaltenen Bildes (Schritt S401). Zu diesem Zeitpunkt kann die Belegung insbesondere lediglich eines interessierenden Objekts, wie eines Spielers oder Balls im Vordergrundbild, berechnet werden.
Die Belegungszähleinheit 712 empfängt Vordergrundbelegungen von allen Kameraadaptereinrichtungen 120 im Bildverarbeitungssystem 100 und zählt sie zur Berechnung des Vordergrundbelegungsverhältnisses zwischen der Vielzahl von Kameras 112 (Schritt S402). Beruhend auf dem berechneten Vordergrundbelegungsverhältnis berechnet die Abbildungsparametererzeugungseinheit 713 eine nachfolgende Aufnahmebildrate für jede Kamera (Schritt S403). Insbesondere wird für eine Kamera mit höherem Vordergrundbelegungsverhältnis eine höhere Bildrate bestimmt. Allerdings wird die Bildrate jeder Kamera derart bestimmt (und jeder Kamera zugeordnet), dass eine über alle Daisy-Chains im Bildberechnungsserver 200 erfasste Bilddatenmenge kleiner oder gleich einer durch den Bildberechnungsserver 200 verarbeitbaren maximalen Datenmenge ist, und vorzugsweise so nahe als möglich an der maximalen Datenmenge liegt.
Beispielsweise wird angenommen, dass die Gesamtanzahl an Kameras drei ist, das heißt, Kameras 112a bis 112c, und deren Vordergrundbelegungsverhältnis A : B : C ist. Zu dieser Zeit wird eine Standardbildrate Fa der Kamera 112a erhalten durch: $Fa = (D \times A / (A + B + C)) / Ea$
wobei D eine erlaubte maximale Datenmenge pro Sekunde im Bildberechnungsserver 200 darstellt, und Ea eine Datenmenge (Auflösung) pro Rahmen der Kamera 112a darstellt. Es wird angenommen, dass Fa einen Standardwert darstellt, und eine der Kamera 112a tatsächlich zugeordnete Bildrate Fa' ein ganzzahliger Wert ist, der kleiner oder gleich dem Standardwert Fa ist, und in der Kamera 112a steuerbar und einstellbar ist.
Zu diesem Zeitpunkt wird auf einen steuerbaren und einstellbaren Wert der Kamera 112a Bezug genommen, der in der Vorrichtungsinformationsspeichereinheit 740 gespeichert ist. Ist Fa # Fa', lässt die Kamera 112a eine tatsächlich verwendbare Datenmenge von (Fa - Fa') × Ea liegen. Bei der Berechnung der Bildrate einer anderen Kamera 112b oder 112c kann (Fa - Fa') × Ea hinzugefügt werden. Wenn die Bildrate der Kamera mit einer niedrigeren Vordergrundbelegung bevorzugt berechnet wird, ist es daher möglich, einer Kamera mit einer höheren Vordergrundbelegung eine noch höhere Bildrate zuzuweisen. Durch Bereitstellen des unteren Grenzwerts einer Bildrate und bevorzugtes Zuordnen einer Bildrate größer oder gleich dem unteren Grenzwert zu einer Kamera mit einer niedrigeren Vordergrundbelegung kann alternativ die niedrigste/minimale Bildqualität sichergestellt werden.
Die Übertragungsinformationserzeugungseinheit 715 bestätigt, ob die so bestimmte Bildrate von der aktuellen Bildrate der Kamera 112 verschieden ist (Schritt S404). Ist die Bildrate von dem aktuellen Wert verschieden, erzeugt die Übertragungsinformationserzeugungseinheit 715 Steuerinformationen, die zu der entsprechenden Kameraadaptereinrichtung 120 zu übertragen sind (Schritt S405), und überträgt sie zu der entsprechenden Kameraadaptereinrichtung 120 (Schritt S406). Das heißt, unter der Vielzahl von Kameras wird lediglich eine Kamera über die Änderung benachrichtigt, in der eine Änderung in ihrer Aufnahmeeinstellung und/oder Übertragungseinstellung geschehen muss. Es wird angemerkt, dass vorstehend ein Beispiel einer Änderung der Bildrate beschrieben wurde. Die Erfindung ist aber nicht darauf beschränkt. Beispielsweise kann eine Einstellung einer Auflösung oder eine Einstellung einer Kompressionsrate für die Kamera geändert werden. Alternativ kann eine Kombination aus zwei oder mehr Dingen aus Bildrate, Auflösung und Kompressionsrate geändert werden.
Es wird angemerkt, dass die Einstellung der Abbildungsparameter (Aufnahmeeinstellungen-Einstellprozess) und/oder die mit der Übertragung verbundene Anpassung (Übertragungseinstellungen-Einstellprozess) für jede Kamera 112 durchgeführt wird. Die Erfindung ist aber nicht darauf beschränkt. Die Vielzahl von Kameras 112 kann in Kameragruppen eingeteilt werden, die jeweils eine oder mehrere Kameras enthalten, und die Aufnahmeeinstellung und/oder die mit der Übertragung verbundene Anpassung kann für jede Kameragruppe durchgeführt werden. Ist beispielsweise eine Vielzahl von Blickpunktgruppen im Bildverarbeitungssystem 100 vorhanden, können Abbildungsparameter und die mit der Übertragung verbundene Anpassung für jede Blickpunktgruppe angepasst werden. Jede Blickpunktgruppe gibt eine Kameragruppe an, die eine oder mehrere Kameras 112 enthält, die derart platziert sind, dass die optischen Achsen auf denselben Blickpunkt gerichtet sind, das heißt, eine Kameragruppe, die Kameras mit einem gemeinsamen Blickpunkt unter der Vielzahl von Kameras enthält. Es wird angemerkt, dass jede Blickpunktgruppe eine Kameragruppe angeben kann, die eine oder mehrere Kameras 112 enthält, die derart platziert sind, dass die optischen Achsen auf dieselbe Region gerichtet sind (das heißt, deren Sichtlinien zur Aufnahme von Bildern sich in derselben Region/Position treffen). Alternativ dazu kann jede Blickpunktgruppe eine Kameragruppe angeben, die eine oder mehrere Kameras 112 enthält, deren Aufnahmebereiche derart eingestellt sind, dass durch sie die gemeinsame Region aufgenommen werden kann.
5 zeigt ein Beispiel, wenn zwei Blickpunkte 502, das heißt Blickpunkte 502A und 502B eingestellt sind, und neun Kameras (112a bis 112i) platziert sind. Vier Kameras (112a, 112c, 112e und 112g) sind auf den Blickpunkt 502A gerichtet und gehören zu einer Blickpunktgruppe 501A. Die verbleibenden fünf Kameras (112b, 112d, 112f, 112h und 112i) sind auf den Blickpunkt 502B gerichtet und gehören zu einer Blickpunktgruppe 501B. Jeder durch gestrichelte Linien angegebene Bereich A und B stellt einen Umriss eines gemeinsamen Aufnahmebereichs der zur jeweiligen Blickpunktgruppe gehörenden Kameras dar. Beispielsweise werden Daten zur Erzeugung eines virtuellen Blickwinkelbildes eines im Bereich A vorhandenen Objekts von den vier zur Blickpunktgruppe 501A gehörenden Kameras (112a, 112c, 112e und 112g) erhalten. Wenn die Kameras 112 gemäß den Blickpunkten gruppiert sind, ist den Kameras jeder Blickpunktgruppe ein Aufnahmebereich zur Erzeugung eines virtuellen Blickwinkelbildes gemein. Einige repräsentative Kameras 112 können aus der Vielzahl von Kameras 112 ausgewählt werden, die zu der jeweiligen Blickpunktgruppe gehören, um Vordergrundbelegungen zu berechnen, und die vorstehend beschriebene Bildratenanpassung kann beruhend auf dem Berechnungsergebnis für jede Blickpunktgruppe durchgeführt werden (wobei die Berechnung auf Vordergrundbelegungen der repräsentativen Kameras beruht). Dies kann den Berechnungsaufwand verringern, bis die Kameraadaptereinrichtungssteuereinheit 710 eine geeignete Anpassung bestimmt.
In diesem Fall kann das Bildverarbeitungssystem 100 die Anzahl von Objekten in Schritt S402 berechnen, die in jeder Blickpunktgruppe aufgenommen werden können, und eine Bildratenanpassung beruhend auf der berechneten Anzahl für jede Blickpunktgruppe durchführen. Das Bildverarbeitungssystem 100 stellt insbesondere eine höhere Bildrate für eine Blickpunktgruppe mit einer größeren Anzahl von Objekten ein, die aufgenommen werden können (oder mit einer größeren Anzahl von interessierenden Objekten). Dies ermöglicht dem Bildverarbeitungssystem 100 die Erhöhung (Steigerung) der Bildqualität eines virtuellen Blickwinkelbildes, das aus Bildern erzeugt wird, die durch Kameras in der Blickpunktgruppe mit einer größeren Anzahl der Objekte aufgenommen werden. Das Bildverarbeitungssystem 100 kann in Schritt S402 eine Blickpunktgruppe mit einem bestimmten Objekt (beispielsweise einem Ball oder einer bestimmten Person) oder einen Blickpunkt nahe dem bestimmten Objekt bestimmen, und eine Bildratenanpassung gemäß dem Bestimmungsergebnis durchführen. Das Bildverarbeitungssystem 100 stellt insbesondere für eine Blickpunktgruppe mit dem bestimmten Objekt oder einen Blickpunkt näher an dem bestimmten Objekt eine höhere Bildrate ein. Dies ermöglicht dem Bildverarbeitungssystem 100 eine Erhöhung der Bildqualität eines virtuellen Blickwinkelbildes, das beruhend auf Bildern erzeugt wird, die in der Blickpunktgruppe aufgenommen werden, in der das interessierende Objekt wahrscheinlicher aufzunehmen ist.
Wie vorstehend beschrieben, wird in dem ersten Ausführungsbeispiel eine Übertragungsdatenmenge beruhend auf Vordergrundbelegungen ungleichmäßig auf Kameras oder Kameragruppen verteilt (das heißt, unterschiedlich zugeordnet), und Bildraten werden angepasst. Während die (Gesamt-)Übertragungsdatenmenge auf eine vorbestimmte Menge gedrückt (oder auf einer vorbestimmten Menge gehalten) wird, ist es möglich, ein feineres virtuelles Blickwinkelbild mit höherer Qualität eines Orts/einer Position zu erzeugen, wo die Vordergrundbelegung höher ist, das heißt, eines Orts, an dem mehr interessierende Objekte (beispielsweise Spieler und dergleichen), die Aufmerksamkeit erhalten, in dem Bild enthalten sind. Somit ist es möglich, ein feineres virtuelles Blickwinkelbild mit höherer Qualität zu erhalten, das beruhend auf den Bildern erzeugt wird, die durch eine Kamera (Kameras) in der Blickpunktgruppe aufgenommen werden, in der (mehr) Objekte aufgenommen werden können, die die Aufmerksamkeit haben. Wenn Bildraten für Vordergrundbelegungen nicht derart eingestellt werden, dass sie ein vorbestimmtes festes Proportionsverhältnis haben, und beruhend auf dem Zählergebnis aller Kameras im Bildverarbeitungssystem berechnet werden, ist es möglich, eine Bildqualität zu erzielen, die erhalten wird, indem eine vollständige Ausnutzung der Kapazität des Bildberechnungsservers gemacht wird, ohne eine freie Übertragungsdatenmenge zu belassen. Es wird angemerkt, dass der Grund, warum die Bildraten nicht auf den Datenmengen der Vordergrundbilder sondern beruhend auf den Belegungen berechnet werden, darin besteht, dass selbst dann, wenn die Auflösung unter den Kameras verschieden ist, es möglich ist, Mengen der Vordergrundbilder zu vergleichen, ohne die verschiedenen Auflösungen berücksichtigen zu müssen.
Die Bestimmung der Bildraten wurde als Anpassung der Übertragungsdatenmenge und der Abbildungsparameter beschrieben. Die Erfindung ist aber nicht darauf beschränkt. Beispielsweise kann eine Verteilung der von den Kameraadaptereinrichtungen 120 zu dem Bildberechnungsserver 200 übertragenen Datenmenge durch Anpassen der Auflösungen und Übertragungskompressionsraten beruhend auf den Vordergrundbelegungen angepasst werden. Wenn es beispielsweise eine Kamera gibt, die kein Vordergrundbild erhält, wenn beispielsweise Spieler in einem Abschnitt eines Feldes konzentriert sind, und lediglich ein Hintergrundbild bei einem Feldereignis aufgenommen wird, muss eine Übertragung von dieser Kamera nicht durchgeführt werden. Es kann auch eine Vielzahl der verschiedenen Anpassungsvorgänge kombiniert werden. Die Kameragruppe ist nicht auf die Blickpunktgruppe beschränkt und kann beruhend auf einer beliebigen Messung/einem beliebigen Parameter erzeugt werden, die/der sich darauf bezieht, wohin die Kameras gerichtet sind, beispielsweise durch Gruppieren von Kameras, deren Aufnahmerichtungen in einen vorbestimmten Bereich unter der Vielzahl von Kameras fallen.
<Zweites Ausführungsbeispiel>
Das zweite Ausführungsbeispiel wird unter Bezugnahme auf die 6, 7 und 8 beschrieben. Bei dem ersten Ausführungsbeispiel wird eine Aufnahmeeinstellung und/oder Übertragungseinstellung jeder Kamera beruhend auf der Vordergrundbelegung bestimmt, die aus dem aufgenommenen Bild bestimmt wird, wodurch beispielsweise die Bildrate, Auflösung und Übertragungskompressionsrate gesteuert werden. Bei dem zweiten Ausführungsbeispiel wird die Aufnahmeeinstellung und/oder Übertragungseinstellung jeder Kamera beruhend auf von einem Mikrophon 111 erhaltenen Tondaten bestimmt. Das heißt, bei dem zweiten Ausführungsbeispiel wird eine Tonerfassung an einer Vielzahl von Orten in einem Aufnahmeraum einer Vielzahl von Kameras durchgeführt, und eine (ungleichmäßige) Verteilung einer Übertragungsdatenmenge wird für die Vielzahl von Kameras beruhend auf einer Schallverteilung im Aufnahmeraum bestimmt, die beruhend auf erfassten Tondaten erhalten wird. Es wird angemerkt, dass das zweite Ausführungsbeispiel einen Fall beschreibt, in dem eine Vielzahl von Blickpunktgruppen (Kameragruppen) vorhanden ist. Allerdings ist selbstverständlich, dass die Erfindung nicht darauf beschränkt ist, solange entsprechende Tondaten für das aufgenommene Bild erfasst werden können, um eine entsprechende Kamera oder Kameraadaptereinrichtung beruhend darauf anzupassen.
6 zeigt ein schematisches Blockschaltbild einer Steuerstation 310 gemäß dem zweiten Ausführungsbeispiel. 7 zeigt ein Ablaufdiagramm einer Anpassungssteuerung von Abbildungsparametern und einer Übertragung, die durch eine Kameraadaptereinrichtungssteuereinheit 710 für eine Kameraadaptereinrichtung 120 gemäß dem zweiten Ausführungsbeispiel durchgeführt wird. Es wird angemerkt, dass die gleichen Bezugszeichen und Symbole wie im ersten Ausführungsbeispiel Funktionsblöcke, Verarbeitungsschritte und dergleichen mit den gleichen Aufgaben bezeichnen. 8 zeigt eine schematische Darstellung eines Bildverarbeitungssystems 100 mit zwei Blickpunktgruppen (502A und 502B), ähnlich wie 5.
Im zweiten Ausführungsbeispiel erhalten Kameraadaptereinrichtungen 120a bis 120i (8) jeweils Teile von Informationen über (das heißt, hinsichtlich) die (der) Intensitäten und Richtungen von durch verbundene Mikrophone 111a bis 111i (8) erfassten Tönen (Schritt S701 in 7). Es wird angemerkt, dass auch eine Frequenzanalyse für die erfassten Töne durchgeführt werden kann, und dann die Informationen über die Schallintensität und -richtung lediglich einer bestimmten Stimme oder eines bestimmten Instruments erhalten werden können.
Eine Schallintensitätsverhältnisberechnungseinheit 811 empfängt Teile von Tonerfassungsinformationen von allen Kameraadaptereinrichtungen 120a bis 120i (8) im Bildverarbeitungssystem 100, führt eine Kombinationsverarbeitung durch und berechnet/bestimmt eine räumliche Schallintensitätsverteilung um ein aufzunehmendes interessierendes Objekt oder nahe einem aufzunehmenden interessierenden Objekt (Schritt S702). Beispielsweise wird für einen räumlichen Bereich auf einer Bühne oder dergleichen die Intensität eines Tons, der an jedem Ort erzeugt wird, dreidimensional erfasst/bestimmt. Insbesondere wird eine Schallintensitätsverteilung dreidimensional aufgenommen/erfasst/bestimmt, indem beispielsweise ein Richtmikrophon oder Stereomikrophon als Mikrophon 111 verwendet wird. Als Nächstes fügt die Schallintensitätsverhältnisberechnungseinheit 811 Schallintensitäten hinzu, die in jedem der in 8 gezeigten Bereiche A und B erzeugt werden, und berechnet ein Schallintensitätsverhältnis zwischen den Bereichen oder Regionen, die darin enthalten sind (Schritt S703). Beruhend auf dem Schallintensitätsverhältnis zwischen den Bereichen berechnet eine Abbildungsparametererzeugungseinheit 713 eine Bildrate für jede Blickpunktgruppe (Schritt S704). Eine Bildrate kann beispielsweise unter Verwendung von vorstehender Gleichung (1) berechnet werden (A : B : C stellt ein Schallintensitätsverhältnis dar). Die nachfolgende Verarbeitung (Schritte S404 bis S406) ist die gleiche wie im ersten Ausführungsbeispiel.
Es wird angemerkt, dass das zweite Ausführungsbeispiel einen Fall beschreibt, in dem Mikrophone 111 jeweils mit der Vielzahl von Kameraadaptereinrichtungen 120 verbunden sind. Ein System, in dem ein Mikrophon 111 separat (weg) von der Kameraadaptereinrichtung 120 positioniert ist, kann zum dreidimensionalen Aufnehmen/Erfassen einer Schallintensitätsverteilung im Aufnahmeraum gebildet/konfiguriert werden.
Wie vorstehend beschrieben, werden im zweiten Ausführungsbeispiel die Bildrate, Auflösung und Übertragungskompressionsrate für jede Kamera beruhend auf der Schallintensitätsverteilung angepasst. Selbst wenn kein großer Unterschied der Vordergrundbelegung zwischen den Kameras erzeugt wird, sich aber ein interessierendes Objekt ändert, ist es im zweiten Ausführungsbeispiel somit möglich, ein feineres virtuelles Blickwinkelbild in einem interessierenden Aufnahmebereich zu erzeugen. Dieses Ausführungsbeispiel ist beispielsweise effektiv, wenn in einem Stück die Bildqualität zu erhöhen ist, indem mehr Gewicht/Priorität auf einen Abschnitt um einen Schauspieler gelegt wird, der spricht (Bestimmen der Bildrate, Auflösung und Übertragungskompressionsrate derart, dass eine Übertragungsdatenmenge groß wird), während viele Schauspieler im Vordergrund auf einer Bühne sind. Alternativ dazu ist dieses Ausführungsbeispiel effektiv, wenn in einem Orchester die Bildqualität zu erhöhen ist, indem mehr Gewicht auf einen Hauptakteur einer Darbietung gelegt wird, während im Vordergrund immer feststehend viele Akteure vorhanden sind. Gemäß einem Ausführungsbeispiel kann das hier beschriebene zweite Ausführungsbeispiel die Steuerstation 310 des ersten Ausführungsbeispiels enthalten (das die Belegungszähleinheit 712 enthält, um eine Bestimmung beruhend auf den Vordergrundbelegungen durchzuführen), wobei zusätzliche Merkmale enthalten sind, um die Bestimmung beruhend auf der Tonverteilung zu ermöglichen. Bei einem derartigen Ausführungsbeispiel können die Bestimmungsergebnisse beruhend auf beiden (oder lediglich auf einer) Bestimmungsvariablen berücksichtigt werden, wenn die Kamera oder die Kameraadaptereinrichtung gesteuert wird. Selbstverständlich kann gemäß einem Ausführungsbeispiel ein auf die Audioqualität bezogener Parameter, wie eine Bitrate oder Audiodatenübertragungskompressionsrate, für am Mikrophon 111 erfassten Ton nahe dem interessierenden Objekt beruhend auf der bestimmten/erfassten Schallintensitätsverteilung angepasst werden.
<Drittes Ausführungsbeispiel>
Das dritte Ausführungsbeispiel wird unter Bezugnahme auf die 9 und 10 beschrieben. Im dritten Ausführungsbeispiel wird eine (ungleichmäßige) Verteilung einer Übertragungsdatenmenge auf eine Vielzahl von Kameras beruhend auf externen Sensordaten bestimmt, die auf einem externen Sensor 114 beruhen, die Teile von Positionsinformationen, die räumliche Positionen von Objekten angeben, und die Aufnahmeeinstellung und/oder Übertragungseinstellung jeder Kamera wird bestimmt. Im dritten Ausführungsbeispiel wird auch ein Fall wie im zweiten Ausführungsbeispiel beschrieben, in dem eine Vielzahl von Blickpunktgruppen vorhanden ist. Allerdings ist selbstverständlich, dass die Erfindung nicht darauf beschränkt ist, solange entsprechende externe Sensordaten für das aufgenommene Bild erfasst werden können, um eine entsprechende Kamera oder Kameraadaptereinrichtung beruhend darauf anzupassen. 9 zeigt ein schematisches Blockschaltbild einer Steuerstation 310 gemäß dem dritten Ausführungsbeispiel. 10 zeigt ein Ablaufdiagramm einer Anpassungssteuerung von Abbildungsparametern und einer Übertragung, die durch die Steuerstation 310 für eine Kameraadaptereinrichtung 120 gemäß dem dritten Ausführungsbeispiel durchgeführt wird. Es wird angemerkt, dass die gleichen Bezugszeichen und Symbole wie im ersten und zweiten Ausführungsbeispiel Funktionsblöcke, Sequenzen und dergleichen mit den gleichen Aufgaben bezeichnen.
Im dritten Ausführungsbeispiel ist jedes interessierende Objekt (beispielsweise ein Spieler, ein Trainer oder ein Ball) mit einer GPS-Übertragungseinheit 911 versehen. Eine GPS-Empfangseinheit 912 empfängt Teile von Positionsinformationen der interessierenden Objekte von den GPS-Übertragungseinheiten 911 (Schritt S901). Eine Integriereinheit 913 integriert die Teile von Positionsinformationen aller Objekte, die durch die GPS-Empfangseinheit 912 empfangen werden, und Aufnahmerauminformationen (beispielsweise Feldrauminformationen oder eine Koordinate im Aufnahmeraum), die von einer Objektinformationsspeichereinheit 730 erhalten werden, und erfasst/bestimmt die Positionen der Objekte, wie der Spieler auf dem Feld (Schritt 902). Dann zählt eine Verteilungsverhältnisberechnungseinheit 914 die Anzahl von Objekten in jedem der Bereiche der Blickpunktgruppe beruhend auf den in Schritt S902 erfassten/bestimmten Positionen und berechnet das Verhältnis zwischen der Anzahl an Objekten in den Bereichen (Schritt S903), das heißt, einen Anteil der Gesamtanzahl von Objekten für jeden Bereich. Beruhend auf dem Objektverteilungsverhältnis unter den Bereichen berechnet eine Abbildungsparametererzeugungseinheit 713 eine Bildrate für jede Blickpunktgruppe (Schritt S904). Eine Bildrate kann beispielsweise unter Verwendung von Gleichung (1) berechnet werden (A : B : C stellt das Verhältnis zwischen der Anzahl von Objekten dar). Die folgende Verarbeitung (Schritte S404 bis S406) ist die gleiche wie im ersten Ausführungsbeispiel.
Wie vorstehend beschrieben, wird durch Anpassen der Auflösung und Übertragung zusätzlich zur Bildrate jeder Kamera unter Verwendung von GPS beruhend auf dem Objektverteilungsverhältnis (das heißt, Verhältnis zwischen der Anzahl von Objekten in den Bereichen) die Berechnung einer Vordergrundbelegung unnötig, und die Verteilung interessierender Objekte kann direkter erfasst/bestimmt werden. Selbst wenn beispielsweise eine Kamera und eine Vielzahl von Objekten aus Versehen linear angeordnet sind und viele Objekte in einem Aufnahmebereich vorhanden sind, aber die Objekte einander überlappen, wenn sie von einer Kamera aus betrachtet werden, und somit ein niedriger Wert als Vordergrundbelegung berechnet wird, ist es möglich, die Verteilung der Objekte genau zu erfassen/zu bestimmen. Ferner können die Positionen eines bestimmten Spielers und des Balls unter den Objekten unter Verwendung individueller Identifikationen von GPS erfasst/bestimmt werden, ohne dass sie beruhend auf einem Bild individuell identifiziert werden müssen. Abbildungsparameter und die Übertragung können durch Beaufschlagen von mehr Gewicht/Priorität für einen Bereich mit diesen interessierenden Objekten leicht angepasst werden. Selbstverständlich kann gemäß einem Ausführungsbeispiel das hier beschriebene dritte Ausführungsbeispiel die Steuerstation 310 des ersten Ausführungsbeispiels (die die Belegungszähleinheit 712 für eine Bestimmung beruhend auf den Vordergrundbelegungen enthält) oder des zweiten Ausführungsbeispiels (die die Schallintensitätsverhältnisberechnungseinheit 811 zur Bestimmung beruhend auf der Schallintensitätsverteilung enthält) mit zusätzlichen darin enthaltenen Merkmalen sein, um die Bestimmung beruhend auf den externen Sensordaten (beispielsweise GPS-Daten) zu ermöglichen. Bei einem derartigen Ausführungsbeispiel können die Bestimmungsergebnisse beruhend auf allen drei, beiden oder lediglich einer Bestimmungsvariablen berücksichtigt werden, wenn die Kamera oder die Kameraadaptereinrichtung gesteuert wird.
Das erste bis dritte Ausführungsbeispiel beschreiben die Ausgestaltung der Erfassung/Bestimmung der Verteilung interessierender Objekte unter Verwendung der Vordergrundbelegungen, Schallintensitäten und von GPS und Steuerung von Aufnahmeeinstellung und/oder Übertragungseinstellung jeder Kamera (jeder Kameragruppe) beruhend darauf. Alternativ dazu kann ein dynamischer Änderungsbetrag, der bei einem Bild erzeugt wird, das durch die Kamera 112 erhalten wird, aus dem Bild erfasst werden, und einem Bereich kann mehr Gewicht/Priorität zugeordnet werden, wo der Änderungsbetrag groß ist, beispielsweise einem Bereich, wo ein Spieler sich erheblich/heftig bewegt, wodurch die Aufnahmeeinstellung und/oder Übertragungseinstellung beruhend darauf angepasst wird/werden. Eine Infrarotkamera oder ein anderer Temperaturerfassungssensor kann als externer Sensor 114 verwendet werden, der mit der Kameraadaptereinrichtung verbunden ist, um durch ein Objekt erzeugte Wärme zu erfassen und eine Verteilung einer Wärme-/Infrarotsignatur des aufzunehmenden Objekts zu erfassen/zu bestimmen, wodurch die Aufnahmeeinstellung und/oder Übertragungseinstellung beruhend auf der Wärme-/Infrarotsignaturverteilung gesteuert wird.
Anstelle der Bestimmung des Gewichts/der Priorität beruhend auf einem automatischen Erfassungsergebnis, wie vorstehend beschrieben, kann eine Verteilung einer Übertragungsdatenmenge auf die jeweiligen Kameras (Kameragruppen) ferner gemäß einer Anfrage vom Benutzer zur Steuerung der Aufnahmeeinstellung und/oder Übertragungseinstellung bestimmt werden. Wenn der Benutzer beispielsweise einen Ort wählt, an dem ein feineres virtuelles Blickwinkelbild in Echtzeit während der Aufnahme angefordert wird, wird einer Kamera (Kameragruppe), die den ausgewählten Ort aufnimmt, eine größere Übertragungsdatenmenge zugeordnet/zugewiesen, wodurch die Aufnahmeeinstellung und Übertragungseinstellung angepasst werden. Es wird angemerkt, dass der Benutzer beispielsweise ein Benutzer ist, der das Bildverarbeitungssystem bedient, ein Benutzer ist, der versucht, ein virtuelles Blickwinkelbild zu erzeugen, oder ein Benutzer ist, der das erzeugte virtuelle Blickwinkelbild betrachtet.
Eine Änderung des Gewichts (der zugeordneten Priorität) jedes Bereichs mit der Zeit kann programmiert und in die Steuerstation 310 eingegeben werden, wodurch die vorstehend beschriebene Anpassung dementsprechend durchgeführt wird. Dies kann in einem Fall effektiv sein, in dem Bewegungen von Objekten vorab bestimmt oder vorhergesagt werden können, wie bei einem Stück, bei Eistanzen oder bei Synchronschwimmen. Die Prioritätsstufen der Kameragruppen können des Weiteren vorab bestimmt werden, und die Übertragungsdatenmenge jeder Kamera kann derart bestimmt werden, dass die Übertragungsdatenmenge einer Kamera, die zu einer Kameragruppe mit einer höheren Prioritätsstufe gehört, größer als die einer Kamera ist, die zu einer Kameragruppe mit einer niedrigeren Prioritätsstufe gehört. Das heißt, die Verteilung einer Datenmenge auf die Kameragruppen kann durch das im ersten Ausführungsbeispiel (Gleichung (1)) beschriebene Verfahren unter Verwendung des Verhältnisses der Prioritätsstufen der jeweiligen Kameragruppen bestimmt werden.
Einige der vorstehend beschriebenen Gewichts-/Prioritätsanpassungsverfahren (die Verfahren der Anpassung der Übertragungsdatenmengen der Bereiche) können kombiniert werden. Bei einem Sportereignis kann das Verfahren beispielsweise gemäß einem Zeitplan umgeschaltet oder modifiziert werden. Beispielsweise kann eine Anpassung beruhend auf den Schallintensitäten bei einer Eröffnungszeremonie durchgeführt werden, wo es mehr interessierende Töne gibt, und beruhend auf den Vordergrundbelegungen während des Wettkampfs/Spiels, wenn es sichtbarere Änderungen in den interessierenden Objekten geben kann. Alternativ können einige automatische Objekterfassungsverfahren gleichzeitig verwendet werden.
Anstelle der vorstehend beschriebenen Gruppierung beruhend auf den Blickpunkten können die vorstehend beschriebenen Anpassungen für jede Kameragruppe durchgeführt werden, die durch eine andere Gruppierungsregel gebildet ist. Kann beispielsweise vorab oder sofort die zu erzeugende Richtung eines virtuellen Blickwinkels bestimmt werden, können Kameras gruppiert werden, die Bilder aus der Richtung des Blickwinkels erhalten, und die Anpassung kann so durchgeführt werden, dass Abbildungsparametern und der Übertragung dementsprechend mehr Gewicht/Priorität zugeordnet wird. Alternativ können unter Berücksichtigung von Sonnenstrahlung oder Beleuchtungszuständen Kameras in einem Folgelicht oder Hintergrundbeleuchtungszustand zusammen gruppiert werden. Ist die Frequenz, mit der Regentropfen auf ein Kameraobjektiv fallen, unter den Platzierungsorten von Kameras gemäß der Intensität des Regens unterschiedlich, können Kameras gemäß den Frequenzen, mit der die Regentropfen auf das Kameraobjektiv treffen, gruppiert werden, und eine Bildrate kann für die höhere Frequenz erhöht werden, wodurch die Beseitigung von Bildrauschen aufgrund von Regentropfen leicht gemacht wird.
Die Gruppierungsregel kann während der Aufnahme umgeschaltet/angepasst werden. Kameras können beispielsweise beruhend auf Blickpunkten normal gruppiert sein, und wenn eine Anfrage ausgegeben wird, kann die Gruppierungsregel auf die vorstehend beschriebene umgeschaltet werden, die auf der Richtung des virtuellen Blickwinkels beruht. Durch Umschalten der vorstehend beschriebenen auf Sonnenstrahlung beruhenden Gruppierungsregel in die auf Regen beruhende Gruppierungsregel gemäß einer Wetteränderung kann ein optimales Anpassungsverfahren unter Berücksichtigung des Wetters angewendet werden.
Bei jedem der vorstehenden Ausführungsbeispiele führt die Steuerstation 310 kollektiv Prozesse von der Verarbeitung der Erfassung/Bestimmung der Verteilung der Objekte bis zur Aufnahmeeinstellung/Übertragungseinstellung jeder Kamera oder Kameragruppe aus. Die Erfindung ist aber nicht darauf beschränkt. Beispielsweise können einige oder alle Prozesse durch die Kameraadaptereinrichtung 120, den Front-End-Server 230, die Datenbank 250 oder den Back-End-Server 270 durchgeführt werden.
Gemäß den vorstehend beschriebenen Ausführungsbeispielen ist es bei dem Bildverarbeitungssystem 100 mit der Vielzahl von Kameras 112 möglich, eine Aufnahmesteuerung zum Erhalten eines virtuellen Blickwinkelbildes verbesserter Bildqualität für einen beliebigen (oder variablen) Aufnahmebereich durchzuführen, während die Bildverarbeitungskapazität des Systems voll ausgenutzt wird.
Weitere Ausführungsbeispiele
Ein Ausführungsbeispiel (Ausführungsbeispiele) der vorliegenden Erfindung kann (können) auch durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (beispielsweise ein oder mehrere Programme), die auf einem Speichermedium aufgezeichnet sind (das vollständiger auch als „(nichtflüchtiges) computerlesbares Speichermedium“ bezeichnet werden kann), um die Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder der einen oder mehrere Schaltungen (beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren beispielsweise durch Auslesen und Ausführen der computerausführbaren Anweisungen aus dem Speichermedium zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele und/oder Steuern der einen oder mehreren Schaltungen zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann beispielsweise eine Festplatte und/oder einen Speicher mit wahlfreiem Zugriff (RAM) und/oder einen Nur-Lese-Speicher (ROM) und/oder einen Speicher verteilter Rechensysteme und/oder eine optische Scheibe (wie eine Compact Disc (CD), Digital Versatile Disc (DVD) oder Blueray-Disc (BD)™) und/oder eine Flashspeichereinrichtung und/oder eine Speicherkarte und dergleichen enthalten.
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Der Fachmann erkennt, dass verschiedene Änderungen und Modifikationen gemacht werden können, ohne vom Schutzbereich der Erfindung abzuweichen, wie er in den beiliegenden Patentansprüchen definiert ist. Alle in dieser Beschreibung (einschließlich der beiliegenden Patentansprüche, der Zusammenfassung und der Zeichnungen) offenbarten Merkmale und/oder alle Schritte jedes so offenbarten Verfahrens oder Prozesses können in beliebiger Kombination kombiniert werden, außer Kombinationen, in denen zumindest einige dieser Merkmale und/oder Schritte einander ausschließen. Jedes in dieser Beschreibung (einschließlich der beiliegenden Patentansprüche, der Zusammenfassung und der Zeichnungen) offenbarte Merkmal kann durch alternative Merkmale ersetzt werden, die demselben äquivalenten oder ähnlichen Zweck dienen, wenn nichts anderes ausdrücklich ausgesagt ist. Wenn also nichts anderes ausdrücklich ausgesagt ist, ist jedes offenbarte Merkmal nur ein Beispiel einer allgemeinen Reihe äquivalenter oder ähnlicher Merkmale.

Claims

Bildverarbeitungsvorrichtung zur Steuerung zumindest einer einer Vielzahl von Bildaufnahmevorrichtungen, wobei die Vielzahl von Bildaufnahmevorrichtungen zur Aufnahme einer Vielzahl von Bildern zur Erzeugung eines virtuellen Blickwinkelbildes angeordnet ist, wobei die Bildverarbeitungsvorrichtung umfasst: eine Bestimmungseinrichtung zur Bestimmung einer interessierenden Region in zumindest einem durch die zumindest eine Bildaufnahmevorrichtung aufgenommenen Bild; und eine Steuereinrichtung zur Steuerung der zumindest einen Bildaufnahmevorrichtung zur Aufnahme eines anderen Bildes bei einer angepassten Bildqualität beruhend auf der durch die Bestimmungseinrichtung bestimmten interessierenden Region.
Vorrichtung nach Anspruch 1, wobei die interessierende Region ein Objekt enthält, das ein sich bewegender Körper ist, und wenn ein Verhältnis eines Bereichs der interessierenden Region in dem zumindest einen durch die zumindest eine Bildaufnahmevorrichtung aufgenommenen Bild zum gesamten Bereich des zumindest einen Bildes größer ist als das eines durch andere Bildaufnahmevorrichtungen unter der Vielzahl von Bildaufnahmevorrichtungen aufgenommenen anderen Bildes, die Steuereinrichtung zur Durchführung einer Steuerung eingerichtet ist, so dass die Bildqualität des zumindest einen durch die zumindest eine Bildaufnahmevorrichtung aufzunehmenden Bildes höher ist als die des durch die andere Bildaufnahmeeinrichtung aufzunehmenden anderen Bildes.
Vorrichtung nach Anspruch 1 oder 2, wobei die Bestimmungseinrichtung die interessierende Region beruhend auf Positionsinformationen eines Objekts, einer Quelle eines Tons oder einer Erfassungseinrichtung von Ton in dem zumindest einen Bild bestimmt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die durch die Steuereinrichtung durchgeführte Steuerung eine Anpassung einer Bildrate umfasst, mit der die zumindest eine Bildaufnahmevorrichtung das zumindest eine Bild aufnimmt.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die durch die Steuereinrichtung durchgeführte Steuerung eine Anpassung einer Auflösung oder einer Datenmenge des zumindest einen durch die zumindest eine Bildaufnahmevorrichtung aufzunehmenden Bildes umfasst.
Bildverarbeitungssystem mit: einer Vielzahl von Bildaufnahmevorrichtungen, die zur Aufnahme einer Vielzahl von Bildern zur Erzeugung eines virtuellen Blickwinkelbildes angeordnet sind; und der Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungsvorrichtung zum Empfangen und Verarbeiten von zumindest einem Bild von zumindest einer, aber nicht allen, einer Vielzahl von Bildaufnahmevorrichtungen eingerichtet ist.
System nach Anspruch 6, wobei die Vielzahl von Bildaufnahmevorrichtungen über eine Daisy-Chain kommunizieren kann, so dass Daten hinsichtlich einer bestimmten interessierenden Region einer früheren Bildaufnahmevorrichtung in der Daisy-Chain entlang der Daisy-Chain weitergeleitet werden.
System nach Anspruch 6 oder 7, ferner mit einer Synchronisationseinrichtung zum Synchronisieren der aufgenommenen Vielzahl von Bildern.
Verfahren zur Steuerung einer Bildverarbeitungsvorrichtung zur Steuerung zumindest einer einer Vielzahl von Bildaufnahmevorrichtungen, wobei die Vielzahl von Bildaufnahmevorrichtungen zur Aufnahme einer Vielzahl von Bildern zur Erzeugung eines virtuellen Blickwinkelbildes angeordnet ist, wobei das Verfahren umfasst: Bestimmen einer interessierenden Region in zumindest einem durch die zumindest eine Bildaufnahmevorrichtung aufgenommenen Bild; und Steuern der zumindest einen Bildaufnahmevorrichtung zur Aufnahme eines anderen Bildes bei einer angepassten Bildqualität beruhend auf der durch den Bestimmungsschritt bestimmten interessierenden Region.
Computerprogramm, das bei Ausführung durch eine Bildverarbeitungsvorrichtung die Bildverarbeitungsvorrichtung zur Durchführung eines Verfahrens nach Anspruch 9 veranlasst.