JP6781847B2 - 画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するシステム - Google Patents

Description

本発明は、画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するシステムに関する。

仮想オブジェクトを現実のシーン(拡張現実とも呼ばれる)に円滑に統合するためには、解決すべき2つの問題があることが知られている。一方ではカメラ座標系とシーン座標系との間の変換が決定されなければならず、他方では通常は背景に表示される仮想オブジェクトのオクルージョンが通常は前景にある実オブジェクトによって決定されなければならない。

アプリケーション領域「テレビジョン送信」または「放送」では、好ましくは非機械的に、すなわちマーカまたはセンサを追加的に使用することなく、前述の2つの問題を解決することに関心がある。これは、より短い組立時間を可能にし、全体として組立てられる現場での放送システムの複雑さを低減する。特に生放送では、装置の大部分が使用現場に運ばれ、その後、組み立てられ、分解されなければならない。

変換問題を解決するために、一方では「符号化ヘッド」(例えば、vinten.comから)などのハードウェアベースのソリューションがあり、他方ではソフトウェアベースの視覚的に動作するソリューションがある。両方の解は、現在のカメラ画像におけるカメラ座標ｘにおいて３Ｄ空間における仮想オブジェクトの３Ｄ座標Ｘをマッピングすることを可能にするマッピングｘ＝Ｍ（Ｘ）を提供する。

従来知られているセグメンテーション方法は、特定の背景色(例えば、クロマキーイングまたは赤外線キーイングの場合)など、いわゆるキーイング命令を必要とする。しかしながら、これらの機械的解決策は、キーイング命令が送信サイトにインストールされなければならないので、上述の欠点を有する。

本発明の目的は、上記の欠点を回避することである。

この目的を解決するために、画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するためのシステムが提案される。このシステムは、少なくとも１つの画像記録装置と、前記画像記録装置に接続されており、前記画像記録装置の２次元座標系と表示装置の２次元座標系との間の変換を決定し、画像内の前景オブジェクトを介して少なくとも背景オブジェクトのオクルージョンを決定するためにセグメンテーションを実行するように構成された少なくとも１つの分析モジュールと、前記分析モジュールに接続された少なくとも１つの制御モジュールと、表示情報、特にビデオクリップを表示するように構成された少なくとも１つの表示装置とを備え、前記画像記録装置は、前記表示装置に表示された表示情報を記録するように構成されており、前記分析モジュールは、前記セグメンテーションに関する品質データを識別し、それを前記制御モジュールに送信するように構成され、前記制御モジュールは、前記品質データに基づいて前記表示装置に表示される表示情報を調整するように構成されている。

セグメンテーションに関する品質データを考慮することによって、前景と背景とが互いに十分なコントラストを有するかどうかに関する情報を得ることが可能である。コントラストが十分でない場合には、前記表示情報を調整することができ、その結果、前景が変化していない場合には高コントラストの背景を生成することができる。

前記システムは、前記制御モジュール及び前記表示装置に接続されたデータベースをさらに備えることができ、前記データベースは、前記表示装置に表示されるべき表示情報のシーケンスを次々に格納するように構成される。前記データベースは、例えば、メディアサーバの一部とすることができる。前記メディアサーバは、再生されるべき表示情報、例えば、ビデオクリップを前記表示装置に送信する。

これに関連して、前記制御モジュールは、記録された表示情報のシーケンスを変更するように構成されることが好ましい。言い換えれば、前記制御モジュールは、前記メディアサーバに、特定の表示情報を前記表示装置に出力又は表示するように命令することができる。前記制御モジュールの手段によって最適な制御を達成するためには、前記メディアサーバーから前記表示装置に出力される表示情報(ビデオクリップ)は、前記制御モジュールに送信されることもできる。

前記分析モジュールは、セグメンテーション中にエネルギー関数を適用して最小化するように構成することができる。前記エネルギー関数は、前景オブジェクトおよび背景オブジェクトの確率分布および／または画素単位の確率分布に基づいている。前景及び背景へのセグメンテーション（セミオクルージョン又はぼかしのような中間値が可能)はＹで示される。

ここではキーイング命令を必要としないが、任意の背景オブジェクト及び前景オブジェクトを分離することができるセグメンテーション方法が使用される。このプロセスでは、最小化されるべきエネルギー関数Ｅ（Ｙ）が定義される。Ｅ（Ｙ）は、オクルージョンが正しく決定された確率の負の対数に対応することができる。凸最適化の方法は、各個々の画像点を考慮に入れて、エネルギーを効率的かつ最適に最小化すること、すなわち、対応する確率を最大化することを可能にする。しかしながら、エネルギー関数Ｅ（Ｙ）を最小にするためには、背景および前景の外観のアプリオリな知識が、特に確率分布Ｆ（前景）及びＢ（背景）又は画素単位の分布ｆ_ｉ及びｂ_ｉの形で必要とされる。ここで、ｉは、特定の画像点／画素を指定する。

このアプリオリな知識は、明るさの変化や外観の変化により更新される必要がある。これにより、ドリフト（モデルの現実からの逸脱）が生じる。セグメンテーションに関する品質データが制御モジュールに送信され、制御モジュールが品質データに基づいて表示情報を調整する上述のフィードバックメカニズムにより、前記ドリフト問題を解決することができる。したがって、これにより、性能が向上した現在のセグメンテーション方法の使用が可能になる。フィードバックは、特に、例えば多くのスポーツイベントにおけるバナー広告のために存在するので、表示装置、好ましくはＬＥＤシステムを介して行われる。

前記制御モジュールは、前記シーケンスの残りの表示情報について、画像記録装置の前景の予想確率分布と背景の予想確率分布とが最も異なる表示情報を決定するようにさらに構成することができる。

前記制御モジュールは、それぞれの画像記録装置の確率マッピングを計算するように構成することもでき、前記確率マッピングは前記表示装置が残りの表示情報のいずれか１つを表示する場合に、前記それぞれの画像記録装置の画像にどの確率分布が存在するかを記述する。

前記制御モジュールは、前記表示装置の座標系におけるｄと前記画像記録装置の座標系におけるｘとの間の時間変化する２Ｄ−２Ｄマッピングｘ＝Ｆ（ｄ）に基づいて前記確率マッピングを決定するようにさらに構成され得る。この２Ｄ−２ＤマッピングＦは、例えば、ｘ＝Ｍ（Ｘ）を適用することによって決定することができる。ここで、Ｘは、表示点ｄの物理的位置Ｘである。

前記制御モジュールは、前記表示装置と前記それぞれの画像記録装置との間の放射較正に基づいて、前記確率マッピングを決定するように構成することができる。

前記表示装置には、前記表示装置の座標系と前記画像記録装置の座標系との間の２Ｄ−２Ｄ変換Ｆを容易にするために、前記画像記録装置によって検出可能な複数の任意に設計された較正マークを配置することができる。そのような較正マークを定期的に組み立てたり分解したりする必要がないようにするために、前記表示装置は、そのような較正マークを永続的に有することができる。前記較正マークは、記録装置とディスプレイとの間の放射較正が可能であるように設計することもできる。

前記制御モジュールは、較正情報を表示情報のシーケンスに挿入するようにさらに構成することができ、表示装置は、較正情報を表示するように構成される。このプロセスでは、較正情報が少なくとも１つのモノクロ画像を含むことができ、その画像は少なくとも１つまたは正確に1つのフレームの表示持続時間を有し、前記画像は好ましくは前景オブジェクトに対して高いコントラストを有する色を有する。１つの較正情報が１フレームの期間だけモノクロ画像として表示装置上に表示される場合、較正情報は、肉眼で表示装置の視聴者には見えない。しかしながら、前記表示装置に表示される較正情報は、前記画像記録装置によって記録され、その結果、それぞれのフレームは背景がどの色を有するかがこのフレームについて知られているように、前景オブジェクトおよび背景オブジェクトの知識を更新するために使用することができる。

前述の問題は、画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化する方法によっても解決され、以下のステップを含む。

少なくとも１つの画像記録装置によって少なくとも１つの画像を検出し、前記画像記録装置の２次元座標系と前記表示装置の２次元座標系との間の変換を計算し、画像内の前景オブジェクトを介して少なくとも背景オブジェクトのオクルージョンを決定するためにセグメンテーションを実行し、表示情報、特にビデオクリップを表示装置に表示し、前記表示装置に表示される表示情報は前記画像記録装置によって記録され、セグメンテーション中に、セグメンテーションに関する品質データが識別され、前記表示装置に表示される表示情報が品質データに基づいて調整される。

この方法は、前記システムについて上述した特徴に対応するさらなる任意選択のステップを含むことができる。したがって、本方法のさらなる任意の態様は、これらの特徴から直接導出することができる。

以下の本文では、本発明を、添付の図面を参照して例示的かつ非限定的に説明する。

図１は、本明細書に提示されるシステムの概略図を示す。

コントラストを動的に最大化するためのシステム１０は、複数の画像記録装置Ｃ１、Ｃ２、Ｃｋ（Ｃ２の下の３つの黒いドットによって示される）と、複数の分析モジュールＡ１、Ａ２、Ａｋ（Ａ２の下の３つの黒いドットによって示される）とを備える。分析モジュールＡ１、Ａ２は、各カメラＣ１、Ｃ２に割り当てられる。

カメラＣ１、Ｃ２、Ｃｋは、適切なデータＳ１ｋをそれぞれの分析モジュールＡ１、Ａ２、Ａｋに渡す。分析モジュールＡ１、Ａ２、Ａｋは、（１）それぞれのカメラＣ１、Ｃ２、Ｃｋの画像座標系におけるＬの表示座標系における２Ｄ座標間の現在の２Ｄ−２ＤマッピングＦ１、Ｆ２、Ｆｋと、（２）画像点単位のオクルージョンとを決定する。データＳ１ｋは、分析モジュールに応じて、純粋に光学的であるが、ステップセンサ、加速度センサなどからのセンサデータを含むことができる。マッピングＦｋは、手動で又は自動較正手順で較正されていてもよい。

分析モジュールＡ１、Ａ２、Ａｋの出力データＳ２ｋは、オクルージョンに関するメタデータと同様に、特定のマッピングＦｋを記述する。これらの出力データは、制御モジュールＫに伝送される。

セグメンテーションを強化するためのメタ情報は、制御モジュールＫから分析モジュールＡｋへの他の方向（矢印ＴＣＰによって示される）に流れる。

さらに、制御モジュールＫは、ネットワークを介して、表示情報（ビデオクリップ）が格納されているデータベースＤに接続され、表示情報（ビデオクリップ）はＬＥＤシステムＬ上に表示することができる。制御モジュールは特に、ビデオクリップデータベースＤを有するメディアサーバ上のネットワークを介したアクセスを制御する。メディアサーバは、再生されるべきビデオクリップ又は表示情報ＺをＬＥＤシステムＬに送信する。

制御モジュールＫは、例えばＨＤＭＩ、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、又はＴＣＰ上のＳＤＩを介して、画像トランスポートプロトコルＢＰを介して、ある表示情報又はビデオクリップＺを表示装置Ｌに出力するようにメディアサーバに命令するように構成され、制御のために、現在出力されているビデオ画像は、ＢＰを介して再びＫに戻される。

特に、制御モジュールＫが、表示装置Ｌに表示されるべきビデオ素材（表示情報）と、カメラＣ１、Ｃ２へのフィードバックを有する制御ループとを選択する設定に留意されたい。通常、ビデオ素材（ビデオクリップ）は、特定のスポーツにおける試合のようなイベントの放送中に、適応の可能性なしに再生されるプレイリストにおいてアプリオリに編成される。

この場合、制御モジュールＫは、好ましくは良好なセグメンテーション結果を得るために、残りの表示情報又はビデオクリップＺのシーケンスＲを動的に調整するように構成される。

この目的のために、セグメンテーションの品質（品質データ）に関するメトリックがメタデータＳ２ｋにおいて送信され、例えば、セグメンテーションエネルギーＥｋ（Ｌ）は、最小化の後に得られる。このエネルギーが１つ以上のカメラＣ１、Ｃ２、Ｃｋにおいて許容可能なレベルを超える場合、ビデオクリップの残りのシーケンスのビデオクリップ順序は、動的に調整される。冒頭で既に述べたように、キーイング命令を必要とせず、任意の背景オブジェクト及び前景オブジェクトを分離することができるセグメンテーション方法が使用される。このプロセスでは、最小化されるべきエネルギー関数Ｅ（Ｙ）が定義される。Ｅ（Ｙ）は、オクルージョンが正しく決定された確率の負の対数に対応することができる。凸最適化の方法は各個々の画像点を考慮に入れて、エネルギーを効率的かつ最適に最小化すること、すなわち、対応する確率を最大化することを可能にする。しかし、エネルギー関数Ｅ（Ｙ）を最小にするためには、特に確率分布Ｆ（前景）及びＢ（背景）、又は画素単位の分布ｆ_ｉ及びｂ_ｉの形で、背景及び前景の外観の事前知識が必要である。

以下の式において、１は分析モジュールを示し、ここで、残りのエネルギーＥｋ（Ｙｋ）は最大であり、すなわち、セグメンテーションは、おそらく正しくないか、またはほとんど不確実である。これは、前景と背景との間のコントラストが悪いことを示している。

１= arg_k max Ek(Yk)

したがって、画像Ｇ１（Ｚ）は、例えば、選択されたカメラＣ１について決定され、これは、ＬＥＤシステムＬが表示情報またはビデオクリップＺを再生するとき、どの確率分布が（どのピクセルに）Ｃ１のカメラ画像に存在するかを記述する。Ｇ１は、ＬＥＤシステムＬからカメラＣ１への２Ｄ−２ＤマッピングＦ１と、ＬＥＤシステムＬからカメラＣ１への放射較正の背景情報とを考慮する。

シーケンス内に残っている全ての潜在的なビデオクリップＺｍ（表示情報）に対して、マッピングＧ１（Ｚｍ）が決定される。そのクリップＺｎは次に再生され、カメラＣ１の前景の確率分布Ｆ１とカメラＣ１の背景の予想確率分布Ｇ１とが最も異なる。

n = arg_m max d(F1, G1(Zm))

前景分布と背景分布との比較のためのメトリックｄは例えば、カルバック・ライブラー情報量（Kullback-Leibler divergence）である。

本明細書に記載されるシステム１０及びこれに関連する方法ステップは定期的に、すなわち、不正確な知識のために残りのエネルギーＥｋが増加するときに、各カメラ画像における前景及び背景の外観の知識を更新し、したがって、ドリフト（モデルの現実からの逸脱）を積極的に防止することを可能にする。

本明細書に記載の表示装置Ｌは、例えば、広告バナーの形態のＬＥＤシステムとすることができる。ＬＥＤシステムＬは内部に制御ボックスを有し、この制御ボックスは、画像トランスポートプロトコル、例えばＨＤＭＩ等を介して、適切に準備されたビデオ信号を受信する。さらに、ＬＥＤシステムは複数のいわゆるキャビネットを有し、キャビネットはそれぞれ、画像全体の小さな部分を構成することができ、制御ボックスに接続される。このプロセスでは、制御ボックスがオリジナルビデオの画像セクションを各キャビネットに渡す。簡単にするために、ＬＥＤシステムはＬＥＤシステムの構造を著しく柔軟に設計することができること、例えば、長方形のレイアウトを選択する必要がないことを除いて、通常のスクリーンに対応すると仮定することができる。

本明細書に記載のシステム１０は同日に同出願人によって出願された「拡張画像を生成するためのテレビジョン放送システム」と題する出願に記載されているように、上位テレビジョン放送システムの一部であってもよいことに留意されたい。本明細書に記載された制御モジュールは、制御モジュール１８に記載されたシステムに含まれることができる。本明細書に記載される表示装置は、本明細書に記載されるＬＥＤシステム２０に含まれ得る。

Claims (17)

1. 画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化するためのシステムであって、少なくとも１つの画像記録装置（Ｃ１、Ｃ２）と、前記画像記録装置（Ｃ１、Ｃ２）に接続されており、前記画像記録装置（Ｃ１、Ｃ２）の２次元座標系と表示装置（Ｌ）の２次元座標系との間の変換を決定し、画像内の前景オブジェクトを介して少なくとも背景オブジェクトのオクルージョンを決定するためにセグメンテーションを実行するように構成された少なくとも１つの分析モジュール（Ａ１、Ａ２）と、前記分析モジュール（Ａ１、Ａ２）に接続された少なくとも１つの制御モジュール（Ｋ）と、ビデオクリップを含む表示情報を表示するように構成された少なくとも１つの表示装置（Ｌ）とを備え、前記画像記録装置（Ｃ１、Ｃ２）は、前記表示装置（Ｌ）に表示された表示情報を記録するように構成されており、前記分析モジュール（Ａ１、Ａ２）は、前記セグメンテーションに関する品質データを識別し、それを前記制御モジュール（Ｋ）に送信するように構成され、前記制御モジュール（Ｋ）は、前記品質データに基づいて前記表示装置（Ｌ）に表示される表示情報を調整するように構成されており、
   前記制御モジュール（Ｋ）及び前記表示装置（Ｌ）に接続されたデータベース（Ｄ）をさらに備え、前記データベース（Ｄ）は、前記表示装置（Ｌ）に表示されるべき表示情報のシーケンスを次々に格納するように構成されており、
   前記制御モジュール（Ｋ）は、前記シーケンスの残りの表示情報に対して、前記画像記録装置の前記前景の予想確率分布と前記背景の予想確率分布とが最も異なる表示情報を決定するように構成されていることを特徴とする、システム。
2. 前記制御モジュール（Ｋ）は、前記表示情報の格納されたシーケンスを変更するように構成されていることを特徴とする、請求項１に記載のシステム。
3. 前記制御モジュール（Ｋ）は、それぞれの画像記録装置（Ｃ１、Ｃ２）について確率マッピングを計算するように構成され、前記確率マッピングは、前記表示装置（Ｌ）が残りの表示情報のいずれか1つを表示する場合に、前記それぞれの画像記録装置（Ｃ１、Ｃ２）の画像にどの確率分布が存在するかを記述することを特徴とする、請求項１に記載のシステム。
4. 前記制御モジュール（Ｋ）は、前記表示装置の座標系と前記画像記録装置（Ｃ１、Ｃ２）の座標系との間の変換に基づいて前記確率マッピングを決定するように構成されることを特徴とする、請求項３に記載のシステム。
5. 前記制御モジュール（Ｋ）は、前記表示装置（Ｌ）と前記それぞれの前記画像記録装置（Ｃ１、Ｃ２）との間の放射較正に基づいて前記確率マッピングを決定するように構成されることを特徴とする、請求項４に記載のシステム。
6. 前記表示装置（Ｌ）の座標系と前記画像記録装置（Ｃ１、Ｃ２）の座標系との間の変換を容易にするために、前記画像記録装置（Ｃ１、Ｃ２）によって検出可能な複数の較正マークが前記表示装置（Ｌ）上に配置されることを特徴とする、請求項４に記載のシステム。
7. 前記制御モジュールは、前記一連の表示情報に較正情報を挿入するように構成され、前記表示装置は、前記較正情報を表示するように構成されることを特徴とする、請求項１に記載のシステム。
8. 前記較正情報は、少なくとも1つの単一のモノクロ画像を含み、前記画像は少なくとも1つ又は正確に1つのフレームの表示持続時間を有し、前記画像は、好ましくは前景オブジェクトに対して高いコントラストを有する色を有することを特徴とする、請求項７に記載のシステム。
9. 前記分析モジュール（Ａ１、Ａ２）は、セグメンテーション中にエネルギー関数を適用して最小化するように構成され、前記エネルギー関数は、前景オブジェクトと背景オブジェクトの確率分布および／または画素単位の確率分布に基づいている、請求項１に記載のシステム。
10. 前記制御モジュール（Ｋ）は、前記シーケンスの残りの表示情報に対して、前記画像記録装置の前記前景の予想確率分布と前記背景の予想確率分布とが最も異なる表示情報を決定するように構成されていることを特徴とする、請求項９に記載のシステム。
11. 前記制御モジュール（Ｋ）は、それぞれの画像記録装置（Ｃ１、Ｃ２）について確率マッピングを計算するように構成され、前記確率マッピングは、前記表示装置（Ｌ）が残りの表示情報のいずれか1つを表示する場合に、前記それぞれの画像記録装置（Ｃ１、Ｃ２）の画像にどの確率分布が存在するかを記述することを特徴とする、請求項１０に記載のシステム。
12. 前記制御モジュール（Ｋ）は、前記表示装置の座標系と前記画像記録装置（Ｃ１、Ｃ２）の座標系との間の変換に基づいて前記確率マッピングを決定するように構成されることを特徴とする、請求項１１に記載のシステム。
13. 前記制御モジュール（Ｋ）は、前記表示装置（Ｌ）と前記それぞれの前記画像記録装置（Ｃ１、Ｃ２）との間の放射較正に基づいて前記確率マッピングを決定するように構成されることを特徴とする、請求項１２に記載のシステム。
14. 前記表示装置（Ｌ）の座標系と前記画像記録装置（Ｃ１、Ｃ２）の座標系との間の変換を容易にするために、前記画像記録装置（Ｃ１、Ｃ２）によって検出可能な複数の較正マークが前記表示装置（Ｌ）上に配置されることを特徴とする、請求項１２に記載のシステム。
15. 前記制御モジュールは、前記一連の表示情報に較正情報を挿入するように構成され、前記表示装置は、前記較正情報を表示するように構成されることを特徴とする、請求項１０に記載のシステム。
16. 前記較正情報は、少なくとも1つの単一のモノクロ画像を含み、前記画像は少なくとも1つ又は正確に1つのフレームの表示持続時間を有し、前記画像は、好ましくは前景オブジェクトに対して高いコントラストを有する色を有することを特徴とする、請求項１５に記載のシステム。
17. 画像及び／又は画像シーケンスにおける前景と背景との間のコントラストを動的に最大化する方法であって、
    少なくとも１つの画像記録装置によって少なくとも１つの画像を検出し、前記画像記録装置の２次元座標系と前記表示装置の２次元座標系との間の変換を計算し、画像内の前景オブジェクトを介して少なくとも背景オブジェクトのオクルージョンを決定するためにセグメンテーションを実行し、ビデオクリップを含む表示情報を表示装置に表示し、前記表示装置に表示される表示情報は前記画像記録装置によって記録され、セグメンテーション中に、セグメンテーションに関する品質データが識別され、前記表示装置に表示される表示情報が品質データに基づいて調整され、前記表示装置（Ｌ）に表示されるべき表示情報の格納されたシーケンスを次々に提供し、前記シーケンスの残りの表示情報に対して、前記画像記録装置の前記前景の予想確率分布と前記背景の予想確率分布とが最も異なる表示情報を決定する方法。