[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022529417A - 画像取得投影システム、該システムの使用及び画像取得投影挿入方法 - Google Patents

画像取得投影システム、該システムの使用及び画像取得投影挿入方法 Download PDF

Info

Publication number
JP2022529417A
JP2022529417A JP2021560355A JP2021560355A JP2022529417A JP 2022529417 A JP2022529417 A JP 2022529417A JP 2021560355 A JP2021560355 A JP 2021560355A JP 2021560355 A JP2021560355 A JP 2021560355A JP 2022529417 A JP2022529417 A JP 2022529417A
Authority
JP
Japan
Prior art keywords
image acquisition
projection system
image
acquisition projection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2021560355A
Other languages
English (en)
Inventor
アラバール，アレクサンドル タデウ ダ コスタ マルケス
フィリオ，ロドルフォ バルセロス ザビエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GLOBO COMUNICACAO E PARTICIPACOES SA
Original Assignee
GLOBO COMUNICACAO E PARTICIPACOES SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GLOBO COMUNICACAO E PARTICIPACOES SA filed Critical GLOBO COMUNICACAO E PARTICIPACOES SA
Publication of JP2022529417A publication Critical patent/JP2022529417A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

Figure 2022529417000001
【課題手段】本発明は、現実の場所と一部が仮想的な土地・建物を再現するパネルとを含む一体的なスタジオにおいて使用し、外部から得られる画像を用いてその画像を見せることによって、現実の部分と仮想的な部分との画像を作り出す画像を取得し投影するシステム及び方法に関する。
【選択図】図３

Description

本発明は、テレビ制作の分野に関し、より具体的には画像を取得し投影するためのシステム及び方法、並びにこれをテレビスタジオにおいて使用し、その画像を仮想的な投影により拡張することに関する。
現在、テレビや映画の市場では、スタジオの一部を物理的に構築し、他の部分をグラフィックスで形成する場面拡張（シーンエクステンション）技術が用いられている。
場面拡張を実現するための最近の主な手法としては、クロマキーによるものと、プロジェクションスクリーンを使用するものの二つが挙げられる。
クロマキーを用いた場面の拡張は、現在最もよく用いられている技術の一つである。この場合、場面は背面や壁で構成され、通常は緑又は青の均一な色である。家具が追加されていてもよいし、なくてもよい。壁の画像を入れ替える処理は、コンピュータプログラムで行われる。このようにして、色調上カメラを通して見るすべてのものは、画像やビデオ、仮想的なグラフィックスに置き換えられる。
米国特許第６２０１５７９号明細書には、仮想スタジオで対象物の位置検出を行う装置が記載されている。この装置は、対象物に発光装置を配置して、標準的なクロマキー背面すなわち背景と組み合わせて装置を使用することで、テレビカメラの正確な位置を取得したり、あるいは装置単独で他の対象物や人物の位置を取得している。
一方、国際公開第１９９７／０２８６５４号には、ブルースクリーンの前で撮影された被写体の仮想的な影を生成するビデオシステムが記載されている。仮想的な影は、仮想的な光源として配置された第二のカメラを用いて生成される。このシステムは、クロマキーカラーシステムを使用している。
プロジェクションスクリーンを用いる場面拡張は、簡単で容易に適用できる技術ではあるものの、かなりの制約がある。この場合、スタジオ内にいる司会者の後ろに配置されたパネルやスクリーンが、画像やビデオ、仮想的なグラフィックスとなる。しかしながら、この技術ではカメラの動きが制限され、動きが大きくなるとパネルの境界部分が見えてしまい、画像の合成が損なわれてしまう。この技術は、使用が静止状態や動きの少ないものに制限される。
本発明は、現実の画像に統合された仮想的画像を、リアルタイムで実行可能なシステムを提供するものである。
ＬＥＤのパネルを用いた場面拡張を示す図である。
ガラス背面等の舞台背景要素及びＬＥＤパネルの斜視図を示す図である。
スタジオの上から見た図と、パネル及び舞台背景要素の形状を示す図である。
グラフィックサーバによってビデオに挿入されるインフォグラフィックスとアニメ化したバーチャルキャラクターを示す図である。
スタジオの物理的なレイアウトをパネルの基準点と共に示す図である。
非対称錐台投影技術の実施態様を示す図である。
非対称錐台投影の歪みを示す図である。
本発明は、上述したスタジオの大きさ及びカメラの動きの問題を解決し、より完全でロバストなアプローチを提供する。テレビの視聴者が、どれが現実のもので、どれが仮想的なものか認識できないような最終画像を配信すると共に、すべてをリアルタイムに実行する、すなわち生放送も可能とする。
このような解決策の提供により、ＬＥＤ画面と、現実の環境を見渡せるガラス背面と、モーショントラッキングセンサを有するカメラと、画面に表示される画像を制御するソフトウェアとを用いて、場面拡張のコンセプトを通じたスタジオにおける空間の見栄えが向上される。
ＬＥＤ大型画面
ＬＥＤ画面は、横方向に、フロアに対して垂直に配置され、背面ウィンドウに対して１２０°の角度をなすよう角度が付けられている。なお、この角度は変化させることができるものの、９０°を超える角度とする。
ＬＥＤ技術は、他の既存技術よりも高解像度であることから採用されている。この解像度は、画素数のみならず、各色の輝度に関しても高くなっている。照明の明るさが現実の環境に影響を与えるため、各色の輝度は特に重要な要素である。この効果は、司会者が仮想環境に挿入されているような見え方に貢献する。
ガラス背面
背面は、現実の環境にスタジオを挿入する効果を高めるために重要である。
ガラス背面を通じて見える画像に対して補完的な画像を撮影する二つの固定カメラが、ガラス背面の近傍で、ＬＥＤサイドパネルの背部に隠れて配置されている。これらの補完画像は、サーバに送信される。サーバは、スタジオカメラの投影として歪められ、サイドパネル上で表示させるよう転送する。スタジオのカメラを通じて見ると、パネル上の画像がガラス背面を通して見える視野を拡大している。なお、カメラとは異なる他の視点で見た場合は、歪んで見え、状況は異なっている。
モーションセンサを有するカメラ
モーションセンサを有する二つのカメラが、スタジオ内に配置される。二つのカメラは、動き追尾機能だけでなく、レンズの調整（ズームやフォーカス）機能も有する。取得されたデータは、グラフィックサーバに送信されて分析される。グラフィックサーバは、ガラス背面近傍の固定カメラで取得された画像を、スタジオ内に配置されるカメラの投影に応じて画面に表示させるように変形する。
センサやトラッキングトラッキングシステムは、この技術分野においてよく知られている。ソフトウェアは、ＬＥＤ画面上に投影するグラフィックを生成し提供するために用いられる。本発明の実施形態では、壁、天井、及びフロアのＬＥＤパネルで形成される完全に仮想的なスタジオを合成することができる。なお「仮想的な挿入」とは、画像に挿入されるあらゆるコンピュータグラフィックス、例えば印、文字、物体、人物、一般的なグラフィックス要素と理解される。
物理的なスタジオは、ガラスのフロントウォール全体と、他の不透明な壁で構成される。他の不透明な壁は、透明に見えるよう機能する。求められる効果は、１８０°（パノラマ）のスタジオを再現することである。このため側壁は、ガラス又は見えないものとする必要がある。
物理的なスタジオは、任意の寸法とすることができる。この場合、ＬＥＤパネルはそれぞれの両サイドに、約３０°の角度を付けて配置される。パネルは、ガラスと壁と間に形成される直角三角形の斜辺であり、約３０°の角度は壁とパネルとの間の角度である。
パネルを傾斜させることで、カメラで撮影する際に、ＬＥＤの発光角度に起因する画像の収差を防ぐことができる。傾斜がないと、画面全体が全反射で暗く見えてしまう。またパネルを傾斜させることで、パネルと壁の間に隠れたスペースを形成し、広角レンズ（１７０°）を装着したスタティックカメラをガラスに固定して、外周部のプロセスを撮影することができる（スティッチングと呼ばれる）。
ＬＥＤパネルで形成されたフロアは、グラフィックを変更して画像を表示したり、現実の床そのものを構築することもできる。
ガラスにフィルタ及びフィルムを貼り付けることで、ガラスの輝度レベルを、ＬＥＤで生成される画像と、ガラスのフロントウォールを通じて見える画像とが、同様に見えるように適したものとできる。
なお、スタジオ内部のアセンブリには、カメラトラッキング用のセンサを有するクレーンが使用されている。
最終的な効果を得るためのプロセスは、以下の工程を有する。
広角レンズを有する一又は二以上の固定カメラを用いて、場面に対して補完的な画像を取得する。
これらのカメラの画像は、二つのカメラ間の共通の領域を重ねる単一像を生成するスティッチング処理と呼ばれるプロセスを経て、パノラマ画像を作成する。
パノラマ画像をグラフィック・コンピューティング・システムに送信し、現実の画像に重ねて連係させるよう、離れた位置でスケールを調整された仮想平面として投影させる。
カメラ・レンズトラッキングセンサを追加することで、カメラをそのカメラの固有・外因データをグラフィック・コンピューティング・システムにリアルタイムに送信する。
各カメラは、上述の情報をすべて受信するグラフィック・コンピューティング・システムを必要とする。
各グラフィック・コンピューティング・システムは、ＬＥＤパネルに投影されるパノラマ画像の投影歪みを計算すると共に、常に現在のカメラの視点を計算する。このようにして、ＬＥＤの画像をウィンドウの現実の画像と合成する。
すべてのビデオ信号は、ビデオが遅延なく正しい順序で表示されるよう、テレビシステムが遅延を計算して調整する必要がある。
グラフィック・コンピューティング・システムは、テクニカルセンタに設置されたサーバにインストールされており、イーサネット等の接続を介してカメラ・レンズトラッキングデータを受信する。
スタジオは、二つのＬＥＤサイドパネルと、任意選択的にフロアのＬＥＤパネルと、背面のガラスウィンドウで構成できる。
サイドパネルはフロアに対して垂直であり、背面ウィンドウに対して１２０°の角度に傾斜されている（適切に機能させるため、その角度は９０°を超える必要がある）。
それぞれのサイドパネルの背部には、画角が１８０°に近い一以上の広角レンズを有する一以上の固定カメラが、ガラスウィンドウを通してスタジオの外側に向けて配置される。これらのカメラで撮影されるビデオは、それぞれプロセッサに入力され、対応するサイドパネルに送信される。このプロセッサは、パネルのバックカメラからのビデオに加えて、スタジオのメインカメラから位置・レンズデータを受信する。
他の実施態様において、外部の画像を取得する固定カメラを一のみ使用することもできる。
他の実施態様において、固定カメラが一以上の広角レンズを有してもよい。
投影変形プロセスは、非対称錐台投影技術で行われる。非対称錐台投影技術は、利用可能な既知の技術であり、当該技術分野において既知のリアルタイム・グラフィック計算のすべてのソフトウェアやプログラミングフレームワークで利用可能であり、実装されている。
また非対称錐台変形は、市販のソフトウェアでも実装されており、以下に説明する機能によって表現される。
システムが、スタジオに関するカメラの位置データを受信すると、つまりスタジオ内のカメラを特定すると、仮想カメラが生成される。仮想カメラは、スタジオのカメラと同じ特性を備え、リアルタイムでレンズ・カメラ・位置が調整される。これらのデータは複製され、二つの仮想システムに同時に提供される。第一システム（システム１）は、ＬＥＤ画面に適合させる変形に関するすべての処理を行う。第二システム（システム２）は、拡張現実の要素を適用する。
ＬＥＤパネルに画像を表示するには処理時間を要する。仮想的な挿入を担うシステム２は必然的に遅延するため、システム２がスタジオ画像を取得して仮想的な挿入を生成する前に、システム１はＬＥＤ上にガラスに対して補完的な画像を投影しておく必要がある。エイリアシングと呼ばれる遅延は、一定ではなく、最大３フレーム分に及ぶこともある。
投影歪みや他の機能の計算を可能にするために、テクニカルセンタに設置されシステムがインストールされたサーバに、カメラ・レンズトラッキングデータが、例えばイーサネットや他の互換性のある手段を通じて入力され、またビデオが、例えばビデオケーブルを通じて入力される。システムはモジュールに分割されている。一のモジュールでは、パノラマ画像の投影歪みが、市販のソフトウェアであるシステムの一部によって計算される。他のモジュールでは、スタジオに挿入される３Ｄ要素が、ここで詳述しないシステムによって生成される。
仮想的なウィンドウの見え方は、ガラスを通して見える現実の画像と、ＬＥＤパネルによるスタジオの補完との間に、時間的整合性があることによって保証される。上述した効果は、流動的にグラフィックを介在させることにより、物理的な空間よりもはるかに大きな現実の場面の見え方を提供できる。
上述した本発明の本来の企図及び新規な概念の範囲を逸脱することなく、種々の変形及び変更を行うことができる。例示した特定の実施態様は限定する目的でなく、そのような限定があると推論されるべきでないことは理解されよう。本開示は、そのようなあらゆる変形を含むことを意図しており、それらは本発明の範囲内にある。
本発明は、テレビ制作の分野に関し、より具体的には画像を取得し投影するためのシステム及び方法、並びにこれをテレビスタジオにおいて使用し、その画像を仮想的な投影により拡張することに関する。
現在、テレビや映画の市場では、スタジオの一部を物理的に構築し、他の部分をグラフィックスで形成する場面拡張（シーンエクステンション）技術が用いられている。
場面拡張を実現するための最近の主な手法としては、クロマキーによるものと、プロジェクションスクリーンを使用するものの二つが挙げられる。
クロマキーを用いた場面の拡張は、現在最もよく用いられている技術の一つである。この場合、場面は背面や壁で構成され、通常は緑又は青の均一な色である。家具が追加されていてもよいし、なくてもよい。壁の画像を入れ替える処理は、コンピュータプログラムで行われる。このようにして、色調上カメラを通して見るすべてのものは、画像やビデオ、仮想的なグラフィックスに置き換えられる。
米国特許第６２０１５７９号明細書（特許文献１）には、仮想スタジオで対象物の位置検出を行う装置が記載されている。この装置は、対象物に発光装置を配置して、標準的なクロマキー背面すなわち背景と組み合わせて装置を使用することで、テレビカメラの正確な位置を取得したり、あるいは装置単独で他の対象物や人物の位置を取得している。
一方、国際公開第１９９７／０２８６５４号（特許文献２）には、ブルースクリーンの前で撮影された被写体の仮想的な影を生成するビデオシステムが記載されている。仮想的な影は、仮想的な光源として配置された第二のカメラを用いて生成される。このシステムは、クロマキーカラーシステムを使用している。
プロジェクションスクリーンを用いる場面拡張は、簡単で容易に適用できる技術ではあるものの、かなりの制約がある。この場合、スタジオ内にいる司会者の後ろに配置されたパネルやスクリーンが、画像やビデオ、仮想的なグラフィックスとなる。しかしながら、この技術ではカメラの動きが制限され、動きが大きくなるとパネルの境界部分が見えてしまい、画像の合成が損なわれてしまう。この技術は、使用が静止状態や動きの少ないものに制限される。
米国特許第６２０１５７９号明細書 国際公開第１９９７／０２８６５４号
本発明は、現実の画像に統合された仮想的画像を、リアルタイムで実行可能なシステムを提供するものである。
ＬＥＤのパネルを用いた場面拡張を示す図である。 ガラス背面等の舞台背景要素及びＬＥＤパネルの斜視図を示す図である。 スタジオの上から見た図と、パネル及び舞台背景要素の形状を示す図である。 グラフィックサーバによってビデオに挿入されるインフォグラフィックスとアニメ化したバーチャルキャラクターを示す図である。 スタジオの物理的なレイアウトをパネルの基準点と共に示す図である。 非対称錐台投影技術の実施態様を示す図である。 非対称錐台投影の歪みを示す図である。
本発明は、上述したスタジオの大きさ及びカメラの動きの問題を解決し、より完全でロバストなアプローチを提供する。テレビの視聴者が、どれが現実のもので、どれが仮想的なものか認識できないような最終画像を配信すると共に、すべてをリアルタイムに実行する、すなわち生放送も可能とする。
このような解決策の提供により、ＬＥＤ画面と、現実の環境を見渡せるガラス背面と、モーショントラッキングセンサを有するカメラと、画面に表示される画像を制御するソフトウェアとを用いて、場面拡張のコンセプトを通じたスタジオにおける空間の見栄えが向上される。
（ＬＥＤ大型画面）
ＬＥＤ画面は、横方向に、フロアに対して垂直に配置され、背面ウィンドウに対して１２０°の角度をなすよう角度が付けられている。なお、この角度は変化させることができるものの、９０°を超える角度とする。
ＬＥＤ技術は、他の既存技術よりも高解像度であることから採用されている。この解像度は、画素数のみならず、各色の輝度に関しても高くなっている。照明の明るさが現実の環境に影響を与えるため、各色の輝度は特に重要な要素である。この効果は、司会者が仮想環境に挿入されているような見え方に貢献する。
（ガラス背面）
背面は、現実の環境にスタジオを挿入する効果を高めるために重要である。
ガラス背面を通じて見える画像に対して補完的な画像を撮影する二つの固定カメラが、ガラス背面の近傍で、ＬＥＤサイドパネルの背部に隠れて配置されている。これらの補完画像は、サーバに送信される。サーバは、スタジオカメラの投影として歪められ、サイドパネル上で表示させるよう転送する。スタジオのカメラを通じて見ると、パネル上の画像がガラス背面を通して見える視野を拡大している。なお、カメラとは異なる他の視点で見た場合は、歪んで見え、状況は異なっている。
（モーションセンサを有するカメラ）
モーションセンサを有する二つのカメラが、スタジオ内に配置される。二つのカメラは、動き追尾機能だけでなく、レンズの調整（ズームやフォーカス）機能も有する。取得されたデータは、グラフィックサーバに送信されて分析される。グラフィックサーバは、ガラス背面近傍の固定カメラで取得された画像を、スタジオ内に配置されるカメラの投影に応じて画面に表示させるように変形する。
センサやトラッキングトラッキングシステムは、この技術分野においてよく知られている。ソフトウェアは、ＬＥＤ画面上に投影するグラフィックを生成し提供するために用いられる。本発明の実施形態では、壁、天井、及びフロアのＬＥＤパネルで形成される完全に仮想的なスタジオを合成することができる。なお「仮想的な挿入」とは、画像に挿入されるあらゆるコンピュータグラフィックス、例えば印、文字、物体、人物、一般的なグラフィックス要素と理解される。
物理的なスタジオは、ガラスのフロントウォール全体と、他の不透明な壁で構成される。他の不透明な壁は、透明に見えるよう機能する。求められる効果は、１８０°（パノラマ）のスタジオを再現することである。このため側壁は、ガラス又は見えないものとする必要がある。
物理的なスタジオは、任意の寸法とすることができる。この場合、ＬＥＤパネルはそれぞれの両サイドに、約３０°の角度を付けて配置される。パネルは、ガラスと壁と間に形成される直角三角形の斜辺であり、約３０°の角度は壁とパネルとの間の角度である。
パネルを傾斜させることで、カメラで撮影する際に、ＬＥＤの発光角度に起因する画像の収差を防ぐことができる。傾斜がないと、画面全体が全反射で暗く見えてしまう。またパネルを傾斜させることで、パネルと壁の間に隠れたスペースを形成し、広角レンズ（１７０°）を装着したスタティックカメラをガラスに固定して、外周部のプロセスを撮影することができる（スティッチングと呼ばれる）。
ＬＥＤパネルで形成されたフロアは、グラフィックを変更して画像を表示したり、現実の床そのものを構築することもできる。
ガラスにフィルタ及びフィルムを貼り付けることで、ガラスの輝度レベルを、ＬＥＤで生成される画像と、ガラスのフロントウォールを通じて見える画像とが、同様に見えるように適したものとできる。
なお、スタジオ内部のアセンブリには、カメラトラッキング用のセンサを有するクレーンが使用されている。
グラフィック・コンピューティング・システムが、テクニカルセンタに設置されたサーバにインストールされて用いられ、、イーサネット等の接続を介してカメラ・レンズトラッキングデータを受信する。
最終的な効果を得るためのプロセスは、以下の工程を有する。
広角レンズを有する一又は二以上の固定カメラを用いて、場面に対して補完的な画像を取得する。
これらのカメラの画像は、二つのカメラ間の共通の領域を重ねる単一像を生成するスティッチング処理と呼ばれるプロセスを経て、パノラマ画像を作成する。
パノラマ画像をグラフィック・コンピューティング・システムに送信し、現実の画像に重ねて連係させるよう、離れた位置でスケールを調整された仮想平面として投影させる。
カメラ・レンズトラッキングセンサを追加することで、カメラをそのカメラの固有・外因データをグラフィック・コンピューティング・システムにリアルタイムに送信する。
各カメラは、上述の情報をすべて受信するグラフィック・コンピューティング・システムを必要とする。
各グラフィック・コンピューティング・システムは、ＬＥＤパネルに投影されるパノラマ画像の投影歪みを計算すると共に、常に現在のカメラの視点を計算する。このようにして、ＬＥＤの画像をウィンドウの現実の画像と合成する。
すべてのビデオ信号は、ビデオが遅延なく正しい順序で表示されるよう、テレビシステムが遅延を計算して調整する必要がある。
グラフィック・コンピューティング・システムは、テクニカルセンタに設置されたサーバにインストールされており、イーサネット等の接続を介してカメラ・レンズトラッキングデータを受信する。
スタジオは、二つのＬＥＤサイドパネルと、任意選択的にフロアのＬＥＤパネルと、背面のガラスウィンドウで構成できる。
サイドパネルはフロアに対して垂直であり、背面ウィンドウに対して１２０°の角度に傾斜されている（適切に機能させるため、その角度は９０°を超える必要がある）。
それぞれのサイドパネルの背部には、画角が１８０°に近い一以上の広角レンズを有する一以上の固定カメラが、ガラスウィンドウを通してスタジオの外側に向けて配置される。これらのカメラで撮影されるビデオは、それぞれプロセッサに入力され、対応するサイドパネルに送信される。このプロセッサは、パネルのバックカメラからのビデオに加えて、スタジオのメインカメラから位置・レンズデータを受信する。
他の実施態様において、外部の画像を取得する固定カメラを一のみ使用することもできる。
他の実施態様において、固定カメラが一以上の広角レンズを有してもよい。
投影変形プロセスは、非対称錐台投影技術で行われる。非対称錐台投影技術は、利用可能な既知の技術であり、当該技術分野において既知のリアルタイム・グラフィック計算のすべてのソフトウェアやプログラミングフレームワークで利用可能であり、実装されている。
また非対称錐台変形は、市販のソフトウェアでも実装されており、以下に説明する機能によって表現される。
システムが、スタジオに関するカメラの位置データを受信すると、つまりスタジオ内のカメラを特定すると、仮想カメラが生成される。仮想カメラは、スタジオのカメラと同じ特性を備え、リアルタイムでレンズ・カメラ・位置が調整される。これらのデータは複製され、二つの仮想システムに同時に提供される。第一システム（システム１）は、ＬＥＤ画面に適合させる変形に関するすべての処理を行う。第二システム（システム２）は、拡張現実の要素を適用する。
ＬＥＤパネルに画像を表示するには処理時間を要する。仮想的な挿入を担うシステム２は必然的に遅延するため、システム２がスタジオ画像を取得して仮想的な挿入を生成する前に、システム１はＬＥＤ上にガラスに対して補完的な画像を投影しておく必要がある。エイリアシングと呼ばれる遅延は、一定ではなく、最大３フレーム分に及ぶこともある。
投影歪みや他の機能の計算を可能にするために、テクニカルセンタに設置されシステムがインストールされたサーバに、カメラ・レンズトラッキングデータが、例えばイーサネットや他の互換性のある手段を通じて入力され、またビデオが、例えばビデオケーブルを通じて入力される。システムはモジュールに分割されている。一のモジュールでは、パノラマ画像の投影歪みが、市販のソフトウェアであるシステムの一部によって計算される。他のモジュールでは、スタジオに挿入される３Ｄ要素が、ここで詳述しないシステムによって生成される。
仮想的なウィンドウの見え方は、ガラスを通して見える現実の画像と、ＬＥＤパネルによるスタジオの補完との間に、時間的整合性があることによって保証される。上述した効果は、流動的にグラフィックを介在させることにより、物理的な空間よりもはるかに大きな現実の場面の見え方を提供できる。
上述した本発明の本来の企図及び新規な概念の範囲を逸脱することなく、種々の変形及び変更を行うことができる。例示した特定の実施態様は限定する目的でなく、そのような限定があると推論されるべきでないことは理解されよう。本開示は、そのようなあらゆる変形を含むことを意図しており、それらは本発明の範囲内にある。

Claims (21)

  1. ＬＥＤパネルと、
    現実の環境を見渡せるガラス背面と、
    モーショントラッキングセンサを有するカメラと、
    画像取得固定カメラと、
    これらを連動させるソフトウェアと、
    を備える画像取得投影システム。
  2. 請求項１に記載の画像取得投影システムであって、
    前記ＬＥＤパネルは、前記ガラス背面に対して横方向に、フロアに対して垂直に配置され、背面のウィンドウに対して角度を付けて配置されている画像取得投影システム。
  3. 請求項２に記載の画像取得投影システムであって、
    前記ＬＥＤパネルは、９０°を超える、好ましくは１２０°を超える角度をなす画像取得投影システム。
  4. 請求項１に記載の画像取得投影システムであって、
    前記ＬＥＤパネルは、約３０°回転する画像取得投影システム。
  5. 請求項１に記載の画像取得投影システムであって、さらに、
    前記ＬＥＤサイドパネルの背部に、一以上の固定カメラを備える画像取得投影システム。
  6. 請求項５に記載の画像取得投影システムであって、
    前記固定カメラは、補完的な画像をサーバに送信し、該サーバはモーションセンサを有する前記カメラの視点に応じて画像を歪め、前記ＬＥＤサイドパネルで表示させるために転送する画像取得投影システム。
  7. 請求項５に記載の画像取得投影システムであって、
    前記固定カメラは、スタジオ内に配置される前記モーションセンサを有するカメラの視点に応じて、歪んだ画像を撮影し、ＬＥＤ画面に表示させる画像取得投影システム。
  8. 請求項５に記載の画像取得投影システムであって、
    前記固定カメラは、好ましくは、内部のシーンを補完する画像を取得する広角レンズを有する画像取得投影システム。
  9. 請求項５に記載の画像取得投影システムであって、
    前記外部の固定カメラの画像は、スティッチング処理を受け、二つのカメラ間の共通の領域を重ねる単一像を生成する画像取得投影システム。
  10. 請求項５に記載の画像取得投影システムであって、
    前記固定カメラは、グラフィック・コンピューティング・システムに送信されるパノラマ画像を生成し、該グラフィック・コンピューティング・システムは、該画像を現実の画像に重ねて連係させるよう、離れた位置でスケールを調整された仮想平面投影させる画像取得投影システム。
  11. 請求項１に記載の画像取得投影システムであって、さらに、
    スタジオ内に配置された、モーションセンサを有する二以上のカメラを備える画像取得投影システム。
  12. 請求項１１に記載の画像取得投影システムであって、
    前記モーションセンサを有するカメラは、動きを追跡し、該動きに応じてレンズの調整を促すことが可能な画像取得投影システム。
  13. 請求項１１に記載の画像取得投影システムであって、
    前記モーションセンサを有するカメラが、グラフィックサーバに送信され分析される情報を取得する画像取得投影システム。
  14. 請求項１１に記載の画像取得投影システムであって、
    グラフィック・コンピューティング・システムが、前記モーションセンサ及びレンズを有するカメラからトラッキングデータを、接続を介して受信する画像取得投影システム。
  15. 請求項１１に記載の画像取得投影システムであって、
    前記モーションセンサを有するカメラがさらに、カメラ・レンズトラッキングセンサを備える画像取得投影システム。
  16. 上述の請求項の内いずれか一に記載の画像取得投影システムであって、
    各グラフィック・コンピューティング・システムが、パノラマ画像の投影歪を計算する画像取得投影システム。
  17. 上述の請求項の内いずれか一に記載の画像取得投影システムであって、
    遅延を計算するテレビシステムによってビデオ信号が調整されて、遅延なく正しい順序で表示される画像取得投影システム。
  18. 上述の請求項の内いずれか一に記載の画像取得投影システムの使用であって、
    物理的なスタジオで行われる使用。
  19. 請求項１８に記載の画像取得投影システムの使用であって、
    前記スタジオは、フロントウォール全体がガラスであり、他の壁は不透明である使用。
  20. 請求項１８に記載の画像取得投影システムの使用であって、
    全ガラスのフロントウォールには、ＬＥＤで生成された画像と、前記ガラスフロントウォールを通して受ける画像とのバランスを取るフィルタ及びフィルムが貼り付けられている使用。
  21. 請求項１～１７に記載のシステムを用いる画像取得投影方法であって、
    広角レンズを有する一又は二以上の固定カメラで、現実のシーンを補完する画像を取得する工程と、
    パノラマ画像をグラフィック・コンピューティング・システムに送信し、現実の画像に重ねて連係させるよう、離れた位置でスケールを調整された仮想平面に投影させる工程と、
    カメラ・レンズトラッキングセンサを追加することで、カメラを固有・外因データを前記グラフィック・コンピューティング・システムにリアルタイムに送信するよう用いる工程と、
    前記グラフィック・コンピューティング・システムで、パノラマ画像の投影歪みを計算する工程と、
    遅延時間を計算するテレビシステムで、ビデオ信号を調整する工程と、
    ビデオを遅延なく正しい順序で表示する工程と、
    を含む方法。
JP2021560355A 2019-03-29 2020-02-07 画像取得投影システム、該システムの使用及び画像取得投影挿入方法 Ceased JP2022529417A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
BR1020190064650 2019-03-29
BR102019006465-0A BR102019006465A2 (pt) 2019-03-29 2019-03-29 Sistema e método de captação e projeção de imagem, e, uso do sistema.
PCT/BR2020/000006 WO2020198823A1 (pt) 2019-03-29 2020-02-07 Sistema e método de captação e projeção de imagem, e, uso do sistema

Publications (1)

Publication Number Publication Date
JP2022529417A true JP2022529417A (ja) 2022-06-22

Family

ID=72664365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021560355A Ceased JP2022529417A (ja) 2019-03-29 2020-02-07 画像取得投影システム、該システムの使用及び画像取得投影挿入方法

Country Status (9)

Country Link
US (1) US12101573B2 (ja)
EP (1) EP3952267A4 (ja)
JP (1) JP2022529417A (ja)
KR (1) KR102743306B1 (ja)
CN (1) CN113692734A (ja)
BR (1) BR102019006465A2 (ja)
CA (1) CA3134758A1 (ja)
MX (1) MX2021011873A (ja)
WO (1) WO2020198823A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210266427A1 (en) * 2020-02-25 2021-08-26 Michael Kidakarn Chair and chroma key photography backdrop assembly thereof
JP7683907B2 (ja) * 2020-12-25 2025-05-27 ｇｏｒａｋｕ株式会社 バーチャルスタジオシステム
JPWO2023090038A1 (ja) * 2021-11-17 2023-05-25
WO2023094872A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
DE102022131909B3 (de) 2022-12-01 2024-03-28 Gero Steffen Mobiles Bildaufnahmestudio

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69736638T2 (de) * 1996-02-01 2007-10-04 Vi[Z]Rt.Ltd Farbstanzen-Studiosystem
US5886747A (en) * 1996-02-01 1999-03-23 Rt-Set Prompting guide for chroma keying
GB9702636D0 (en) * 1997-02-01 1997-04-02 Orad Hi Tech Systems Limited Virtual studio position sensing system
US6191812B1 (en) * 1997-04-01 2001-02-20 Rt-Set Ltd. Method of providing background patterns for camera tracking
GB2329292A (en) * 1997-09-12 1999-03-17 Orad Hi Tec Systems Ltd Camera position sensing system
JPH11134821A (ja) 1997-10-31 1999-05-21 Fujitsu Ltd 記憶装置
US6752498B2 (en) * 2001-05-14 2004-06-22 Eastman Kodak Company Adaptive autostereoscopic display system
US7468778B2 (en) 2002-03-15 2008-12-23 British Broadcasting Corp Virtual studio system
US20030224333A1 (en) * 2002-05-31 2003-12-04 Jan Vastvedt Suspended Motion system simulation theater
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP2006047610A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp 画像投影装置および画像投影システム
US20080246759A1 (en) * 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
KR101235273B1 (ko) * 2005-07-07 2013-02-20 삼성전자주식회사 다수의 투명한 플렉시블 디스플레이 패널을 이용한 체적형3차원 디스플레이 시스템
CN1731832A (zh) * 2005-08-04 2006-02-08 西安宏源视讯设备有限责任公司 虚拟演播室系统中前景景深识别装置及方法
US20070098368A1 (en) * 2005-11-02 2007-05-03 Thomas Carley Mobile recording studio system
US7596896B2 (en) * 2006-02-01 2009-10-06 Dimensional Communications, Inc. Three-dimensional forming display system
WO2010004563A1 (en) * 2008-07-10 2010-01-14 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
GB0821996D0 (en) 2008-12-02 2009-01-07 Musion Ip Ltd Mobile studio
GB0910117D0 (en) * 2008-07-14 2009-07-29 Holicom Film Ltd Method and system for filming
US7938540B2 (en) * 2008-07-21 2011-05-10 Disney Enterprises, Inc. Autostereoscopic projection system
US8587682B2 (en) * 2010-02-12 2013-11-19 Nvidia Corporation Display system, method, and computer program product for capturing images using multiple integrated image sensors
EP2408191A1 (en) * 2010-07-16 2012-01-18 MediaScreen Bildkommunikation GmbH A staging system and a method for providing television viewers with a moving perspective effect
US8646917B2 (en) * 2011-01-20 2014-02-11 Disney Enterprises, Inc. Three dimensional display with multiplane image display elements
KR101270780B1 (ko) * 2011-02-14 2013-06-07 김영대 가상 강의실 강의 방법 및 장치
WO2013006170A1 (en) * 2011-07-06 2013-01-10 Hewlett-Packard Development Company, L.P. Telepresence portal system
CN202608633U (zh) * 2012-03-31 2012-12-19 刘辉 移动式led投影系统
KR101367260B1 (ko) * 2012-06-19 2014-02-25 김영대 강의자가 강의 중에 강의 화면을 구성할 수 있는 가상 강의실 강의 장치
US8857994B2 (en) * 2012-10-30 2014-10-14 Disney Enterprises, Inc. Transparent display with dynamic mask
US9921425B2 (en) * 2013-04-05 2018-03-20 Jiansheng Wang Switchable projection panel
KR101433751B1 (ko) * 2013-06-21 2014-08-27 한국과학기술원 투명 디스플레이 장치를 이용한 양면 인터랙션 장치
US9639987B2 (en) * 2013-06-27 2017-05-02 Canon Information And Imaging Solutions, Inc. Devices, systems, and methods for generating proxy models for an enhanced scene
US9219910B2 (en) * 2013-07-25 2015-12-22 Disney Enterprises, Inc. Volumetric display system blending two light types to provide a new display medium
CN203658722U (zh) * 2013-11-22 2014-06-18 苏州巨像科技有限公司 全透明玻璃幕墙显示投影系统
US20160343166A1 (en) * 2013-12-24 2016-11-24 Teamlab Inc. Image-capturing system for combining subject and three-dimensional virtual space in real time
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
US10375382B2 (en) * 2014-09-15 2019-08-06 Dmitry Gorilovsky System comprising multiple digital cameras viewing a large scene
US10841535B2 (en) * 2014-09-25 2020-11-17 Steve H. McNelley Configured transparent communication terminals
US9615054B1 (en) * 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices
US9819907B2 (en) * 2014-09-25 2017-11-14 Steve H. McNelley Communication stage and related systems
US9930290B2 (en) * 2014-09-25 2018-03-27 Steve H. McNelley Communication stage and integrated systems
US10298877B2 (en) * 2014-09-25 2019-05-21 Steve H. McNelley Communication stage and display systems
KR101593136B1 (ko) * 2014-10-17 2016-02-11 주식회사 재미 Led 유리보드 기반 동영상 강의 시스템
CN204889366U (zh) * 2015-07-15 2015-12-23 黑油(北京)展览有限公司 360度全息展示柜
EP3346315B1 (en) * 2015-09-04 2021-11-03 Tovis Co. Ltd. Three-dimensional image device for providing improved sense of immersion and game device using same
KR102583929B1 (ko) * 2017-02-24 2023-10-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN207082314U (zh) * 2017-08-21 2018-03-09 珠海兴业应用材料科技有限公司 智能多媒体玻璃外墙投影系统
CN108134890B (zh) * 2018-02-05 2023-12-19 广东佳码影视传媒有限公司 一种虚拟演播装置
WO2020023669A1 (en) * 2018-07-25 2020-01-30 Light Field Lab, Inc. Light field display system based amusement park attraction

Also Published As

Publication number Publication date
WO2020198823A1 (pt) 2020-10-08
KR20210142722A (ko) 2021-11-25
MX2021011873A (es) 2022-01-04
EP3952267A1 (en) 2022-02-09
CN113692734A (zh) 2021-11-23
BR102019006465A2 (pt) 2020-10-13
US12101573B2 (en) 2024-09-24
CA3134758A1 (en) 2020-10-08
EP3952267A4 (en) 2022-11-30
KR102743306B1 (ko) 2024-12-16
US20220150386A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP2022529417A (ja) 画像取得投影システム、該システムの使用及び画像取得投影挿入方法
US10880582B2 (en) Three-dimensional telepresence system
US8045060B2 (en) Asynchronous camera/projector system for video segmentation
JP7007348B2 (ja) 画像処理装置
Grau et al. A combined studio production system for 3-D capturing of live action and immersive actor feedback
US7071897B2 (en) Immersive augmentation for display systems
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
US20070247518A1 (en) System and method for video processing and display
US11615755B1 (en) Increasing resolution and luminance of a display
US11388378B2 (en) Image processing apparatus, image processing method and projection system
US20240362845A1 (en) Method and apparatus for rendering interaction picture, device, storage medium, and program product
JP2009141508A (ja) テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体
JP2021015417A (ja) 画像処理装置、画像配信システム、および画像処理方法
CN111684793A (zh) 图像处理装置、图像处理方法、程序以及投影系统
JP3387856B2 (ja) 画像処理方法、画像処理装置および記憶媒体
Yang et al. Geometrically correct imagery for teleconferencing
US20210125339A1 (en) Method and device for segmenting image, and storage medium
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
CN202872950U (zh) Led显示模组、led电视及led电视系统
CN115514921A (zh) 一种多机位led显示拍摄方法、系统、装置及存储介质
US20200103669A1 (en) Mirror-based scene cameras
Soomro et al. Decoupling of real and digital content in projection-based augmented reality systems using time multiplexed image capture
US20240112446A1 (en) Image processing device, image processing method, projector device
Bimber et al. Digital illumination for augmented studios
Grogorick et al. Icg real-time stereo dome projection system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211115

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20211115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20241030