JP2009510877A - 顔検出を利用したストリーミングビデオにおける顔アノテーション - Google Patents

Abstract

本発明は、ビデオデータにおいて、その場で顔を検出しアノテーション付けするためのシステム５、１５及び方法に関する。アノテーション付け２９は、ビデオの画素内容を修正することにより実行され、それによりファイルのタイプ、プロトコル及び規格とは独立なものとなる。本発明はまた、検出された顔を記憶装置からの既知の顔と比較することによりリアルタイムな顔認識を実行することができ、それによりアノテーションは顔に関連する人物情報３８を含むことができる。本発明は、伝送チャネルのいずれの端において適用されても良く、ビデオ会議、インターネット教室等において特に適用可能である。

Description

本発明は、ストリーミングビデオに関する。特に、本発明はビデオデータにおける顔の検出及び認識に関する。

ストリーミングビデオの品質はしばしば、特に画像が何人かの人物を含み１人の人物にズームされていない場合に、ビデオに出現する人物の顔を認識することを困難にする。このことは、例えばビデオ会議を実行する際に不利となる。なぜなら、観測者は、音声を認識しない限りは誰が発話しているのかを決定することができないからである。

国際特許出願公開WO04/051981は、ビデオマテリアルにおける人間の顔を検出し、該検出された顔の画像を抽出し、これら画像をメタデータとしてビデオに供給することが可能なビデオカメラ装置を開示している。該メタデータは、ビデオの内容を迅速に確立するために利用されることができる。

本発明の目的は、ストリーミングビデオにおけるリアルタイムな顔検出を実行し、検出された顔に関するアノテーション付け（annotation）により該ストリーミングビデオを修正するためのシステム及び方法を提供することにある。

本発明の他の目的は、ストリーミングビデオにおける検出された顔のリアルタイムな顔認識を実行し、認識された顔に関するアノテーション付けにより該ストリーミングビデオを修正するためのシステム及び方法を提供することにある。

第１の態様において、本発明は、ストリーミングビデオのリアルタイムな顔へのアノテーション付けのためのシステムであって、前記システムは、
ストリーミングビデオ源と、
前記ストリーミングビデオ源からストリーミングビデオを受信するように動作可能に接続され、前記ストリーミングビデオにおける顔の候補を保持する領域のリアルタイムな検出を実行するように構成された顔検出コンポーネントと、
前記ストリーミングビデオと前記顔検出コンポーネントからの顔領域の候補の位置とを受信するように動作可能に接続されたアノテータ（annotator）であって、少なくとも１つの顔領域の候補に関連する前記ストリーミングビデオにおける画素内容を修正するように構成されたアノテータと、
前記アノテータから顔にアノテーションを付された（face-annotated）ストリーミングビデオを受信するように動作可能に接続された出力部と、
を有するシステムを提供する。

ストリーミングは、連続的な大量のデータで、或る点から別の点へとデータを送信する技術であり、一般にインターネット及びその他のネットワークにおいて利用される。ストリーミングビデオは、ネットワークを圧縮された形態で送信され、到着時にビューアによって表示される、「動画」のシーケンスである。ストリーミングビデオを用いると、ネットワークユーザは、ビデオを見る又は音声を聴くまでに大きなファイルをダウンロードするのを待つ必要がない。その代わり、メディアは連続的なストリームで送信され、到着時に再生される。送信側のユーザは、ビデオカメラと、記録されたデータを圧縮し該データを送信のために加工するエンコーダとを必要とする。受信側のユーザは、ビデオデータを伸張しディスプレイに送信する及びオーディオデータを伸張しスピーカに送信する特殊なプログラムである、プレイヤを必要とする。主なストリーミングビデオ及びストリーミングメディア技術は、RealNetwork社のRealSystem G2、Microsoft Windows（登録商標） Media Technologies（NetShow（登録商標） Service及びTheater Serverを含む）及びＶＤＯを含む。圧縮及び伸張を行うプログラムは、コーデック（codec）とも呼ばれる。一般に、ストリーミングビデオは、接続のデータレートに制限されるが（例えばＩＳＤＮ接続の場合は１２８ｋｂｐｓまで）、非常に高速な接続については、利用可能なソフトウェア及び適用されるプロトコルが上限を決める。本明細書においては、ストリーミングビデオは、以下をカバーする。
−サーバ→クライアント：予め記録されたビデオファイルの連続的な伝送（例えばｗｗｗからのビデオの視聴）
−クライアント←→クライアント：２つのユーザ間のライブ記録されたビデオデータの一方向又は双方向伝送（例えばビデオ会議、ビデオチャット）
−サーバ／クライアント→複数のクライアント：ライブ放送伝送（この場合、ビデオ信号が複数の受信器に送信される（マルチキャスト））（例えばインターネットニュースチャネル、３以上のユーザによるビデオ会議、インターネット教室）

また、ビデオ信号は、該ビデオ信号の処理がリアルタイム又はその場で（on-the-fly）行われる場合には常にストリーミング送信される。例えば、ビデオカメラとエンコーダの出力部との間、又はデコーダとディスプレイとの間の信号経路における信号もまた、本文脈においてはストリーミングビデオとみなされる。

顔検出は、画像又は画像のストリームにおいて、顔領域の候補（人間の顔又はそれに似た特徴の画像を保持する領域を意味する）を見出すための処理である。顔領域の候補（顔位置とも呼ばれる）は、人間の顔に似た特徴が検出された領域である。好ましくは、顔領域の候補は、フレーム番号、及び検出された顔の周囲の長方形における対角の角を形成する２つの画素座標により表される。顔検出がリアルタイムとなるように、顔検出は、コンポーネント（典型的にはコンピュータプロセッサ又はＡＳＩＣ）が画像又はビデオデータを受信する、その場で実行される。先行技術は、リアルタイムの顔検出手法の幾つかの説明を提供しており、斯かる既知の手法が、本発明により教示されるように適用されても良い。

顔検出は、ディジタル画像において顔に似た特徴を探すことにより実行されることができる。ビデオにおける各場面、カット又は動きは多くのフレームの間継続するため、顔が或る画像フレームにおいて検出された場合、該顔は幾つかの後続するフレームについてもビデオ中に見出されることが予期される。また、ビデオ信号中の画像フレームは一般に人物又はカメラが動くよりもかなり高速に変化するため、或る画像フレームにおける或る位置において検出された顔は、幾つかの後続するフレームにおいて略同じ位置に見出され得ると予期される。これらの理由のため、幾つかの選択された画像フレームにおいてのみ（例えば１０個、５０個又は１００個の画像フレーム毎に）顔検出が実行されることが有利となり得る。代替として、顔検出が実行されるフレームは、他のパラメータを用いて選択される（例えば、場面におけるカット又はシフトのような全体的な変化が検出されるたびに、１つのフレームが選択される）。それ故、好適な実施例においては、
前記ストリーミングビデオ源は、画像フレームを有する圧縮されていないストリーミングビデオを供給するように構成され、
前記顔検出コンポーネントは更に、前記ストリーミングビデオの選択された画像フレームに対してのみ検出を実行するように構成される。

好適な実装においては、第１の態様によるシステムはまた、該システムによって既に知られた、ビデオにおける顔を認識することができる。これにより該システムは、人物に関する情報を用いて、顔の背後においてビデオにアノテーション付けすることができる。本実装においては、本システムは更に、
１以上の顔を識別するデータ及び関連するアノテーション情報を保持する記憶装置と、
前記顔検出コンポーネントからの顔領域の候補を受信し前記記憶装置にアクセスするように動作可能に接続され、前記記憶装置における顔の候補のリアルタイムな識別を実行するように構成された顔認識コンポーネントと、
を更に有し、
前記アノテータは更に、
顔の候補が識別されたという情報と、
前記顔認識コンポーネント又は前記記憶装置からのいずれかの識別された顔の候補についてのアノテーション情報と、
を受信するように動作可能に接続され、前記アノテータは更に、前記ストリーミングビデオにおける画素内容の修正において、識別された顔の候補に関連するアノテーション情報を含ませるように構成される。

顔認識は、与えられた顔の画像を既知の人物の顔の画像（又は該顔の一意な特徴を表すデータ）と照合し、これらの顔が同一の人物に属するものか否かを決定するための処理である。本発明においては、与えられる顔の画像は、顔検出処理により識別された顔領域の候補である。顔認識がリアルタイムとなるように、顔認識は、コンポーネント（典型的にはコンピュータプロセッサ又はＡＳＩＣ）が画像又はビデオデータを受信する、その場で実行される。顔認識処理は、既知の人物の顔の例を利用する。該データは典型的には、顔認識処理のためにアクセス可能なメモリ又は記憶装置に保存される。リアルタイム処理は該保存されたデータへの高速なアクセスを必要とし、記録装置は好適にはＲＡＭ（Random Access Memory）のような高速にアクセス可能なタイプのものである。

照合を実行する際、該認識処理は、保存された顔と与えられた顔との特定の特徴間の対応を決定する。先行技術は、リアルタイムの顔認識手法の幾つかの説明を提供しており、斯かる既知の手法が、本発明により教示されるように適用されても良い。

本文脈においては、アノテータにより実行される修正又はアノテーション付けは、注釈、コメント、グラフィック特徴、改善された解像度、又はその他の顔に関する情報をストリーミングビデオの視聴者に伝達する顔領域の候補のマーキングである。アノテーション付けの幾つかの例は、本発明の詳細な説明において与えられる。従って、顔にアノテーションを付されたストリーミングビデオは、ビデオに出現する少なくとも１つの顔に関するアノテーションを一部が含むストリーミングビデオである。

識別された顔は、顔に関連するアノテーションとして与えられ得る情報を提供するアノテーション情報（例えば名前、肩書き、会社、人物の位置、顔の前に黒線を描画することにより顔を匿名にすることのような顔の好適な修正）に関連付けられても良い。

顔の背後にある人物の識別情報に必ずしもリンクされなくても良い他のアノテーション情報は、変化する場所においても区別され得るようにするための各顔にリンクされたアイコン又はグラフィクス、現在発話している人物に属する顔のインジケータ、娯楽目的のための顔の修正（例えば眼鏡や偽の髪を追加すること）を含む。

第１の態様によるシステムは、前述したように、ストリーミングビデオ伝送のいずれの側に配置されても良い。それ故、ストリーミングビデオ源は、ディジタルビデオを記録するためのディジタルビデオカメラを有しても良く、ストリーミングビデオを生成しても良い。代替として、ストリーミングビデオ源は、ストリーミングビデオを受信及びデコードするための受信器及びデコーダを有しても良い。同様に、出力部が、顔にアノテーションを付されたストリーミングビデオをエンコード及び送信するためのエンコーダ及び送信器を有しても良い。代替として、出力部が、出力端子から顔にアノテーションを付されたストリーミングビデオを受信し、該ビデオをエンドユーザに対して表示するように動作可能に接続されたディスプレイを有しても良い。

第２の態様においては、本発明は、第１の態様によるシステムにより実行される方法のような、ストリーミングビデオの顔アノテーション（face-annotation）を作成するための方法を提供する。該第２の態様の方法は、
ストリーミングビデオを受信するステップと、
前記ストリーミングビデオにおける顔の候補を保持する領域を検出するためのリアルタイムな顔検出処理を実行するステップと、
少なくとも１つの顔領域の候補に関連する前記ストリーミングビデオにおける画素内容を修正することにより、前記ストリーミングビデオにアノテーション付けするステップと、
を有する。

第１の態様のシステムに関連して与えられた説明は、一般に第２の態様の方法にも当てはまる。それ故、ストリーミングビデオが、画像フレームから成る圧縮されていないストリーミングビデオを有すること、及び顔検出処理が該ストリーミングビデオの選択された画像フレームのみに対して実行されることが、好適となり得る。

顔認識をも実行するため、本方法は好ましくは、
１以上の顔を識別するデータを供給するステップと、
前記データにおける顔の候補のリアルタイムな識別を実行するためのリアルタイムな顔認識処理を実行するステップと、
前記ストリーミングビデオにおける画素内容の修正において、識別された顔の候補に関連するアノテーション情報を含ませるステップと、
を有しても良い。

本発明の基本的な概念は、ビデオ信号における顔をその場で検出し、ビデオ信号自体を修正することによりこれら顔にアノテーション付けすることである。即ち、表示されるストリーミングビデオにおける画素内容が変更される。このことは、単にアノテーションに類似する情報を持つメタデータを添付又は同封することとは対照的である。このことは、ビデオの伝送において利用されるいずれのファイルフォーマット、通信プロトコル又は他の規格に対して独立であるという利点を持つ。アノテーション付けはその場で実行されるため、本発明はビデオ会議、討論からの伝送、パネルディスカッション等のようなライブ伝送において特に適用可能である。

添付図面を参照しながら、例としてのみ、本発明の実施例が以下に説明される。

図１は、顔にアノテーションを付された信号１８の標準的な伝送チャネル８を通した受信器９への送信の前に、記録されたストリーミングビデオ信号４が送信側２においてどのように顔アノテーション付けされるかを、模式的に示す。送信側２は、ビデオ会議における一方の団体であっても良く、入力部１はストリーミングビデオ信号４を記録及び生成するディジタルビデオカメラであっても良い。入力部はまた単に、システム５の一部を形成しないメモリから又はカメラからの信号を受信しても良い。伝送チャネル８は、例えばＩＳＤＮ（Integrated Services Digital Network）接続を用いた電話線のような、適用可能なフォーマットを用いたいずれのデータ伝送線であっても良い。顔にアノテーションを付されたストリーミングビデオを受信する他端においては、受信側９はビデオ会議の他方の団体であっても良い。

ストリーミングビデオのリアルタイムの顔アノテーション付けのためのシステム５は、入力部１において信号４を受信し、該信号をアノテータ１４及び顔検出コンポーネント１０の双方に配信する。顔検出コンポーネント１０は、顔検出ソフトウェアモジュールの顔検出アルゴリズムを実行するプロセッサであっても良い。該コンポーネントは、信号４の画像フレームから、人間の顔に類似する領域を探し、顔領域の候補としていずれの斯かる領域をも識別する。顔領域の候補は次いで、アノテータ１４及び顔認識コンポーネント１２に対して利用可能とされる。顔検出コンポーネント１０は例えば、顔領域の候補から成る画像を生成及び供給しても良いし、又は単にストリーミングビデオ信号４における顔領域の候補の位置及びサイズを示すデータを供給しても良い。

画像における顔の検出は、既存の技術を利用して実行されても良い。例えば以下のような、種々の既存の顔検出コンポーネントの例が知られており利用可能である：
−顔検出及び顔追跡を実行するウェブカメラ、
−顔優先の自動フォーカスカメラ、又は
−ディジタル画像の後処理において赤目補正、人物像トリミング、肌色の調節等を可能とする重要な顔要素を自動的に識別する顔検出ソフトウェア。

アノテータ１４が信号４及び顔領域の候補を受信すると、該アノテータは信号４を修正する。該修正において該アノテータは、アノテーション付けがストリーミングビデオ信号の組み込まれた部分となるように画像フレームにおける画素を変更する。その結果の顔にアノテーションを付されたストリーミングビデオ信号１８は、出力部１７によって伝送チャネル８に供給される。受信側９が信号１８を観測するときには、顔アノテーションはビデオの分離不可能な部分となっており、元来的に記録されたコンテンツであるように見える。顔領域の候補にのみ基づく（即ち顔認識のない）アノテーション付けは、一般に、人物の特定に関連する情報ではない。その代わり、アノテーションは例えば顔領域の候補における解像度を改善するもの、又は現在の発話者を示すグラフィクスであり得る（各人物がマイクロフォンを装着しても良く、その場合には現在の発話者を特定することが容易である）。

顔認識コンポーネント１２は、顔領域の候補を、既に利用可能な顔データと比較して、顔領域の候補に合致する顔を特定する。アノテータ１４が顔領域の候補のみに基づいてビデオ信号にアノテーション付けしても良いため、顔認識コンポーネント１２は任意である。顔認識コンポーネント１２にとってアクセス可能なデータベースは、既知の人物の顔の画像、又は肌、顔及び目の色、目、耳及び眉毛間の距離、頭部の高さ及び幅等のような顔を識別するデータを保持しても良い。合致が得られた場合、顔認識コンポーネント１２はアノテータ１４に通知し、ことによると顔の高解像度画像、人物の名前及び肩書きのような特定情報、ストリーミングビデオ４における対応する領域をどのようにアノテーション付けするかの指示等のような更なるアノテーション情報を供給する。顔認識コンポーネント１２は、顔検出ソフトウェアモジュールの顔検出アルゴリズムを実行するプロセッサであっても良い。

ストリーミングビデオの顔領域の候補における顔の認識は、既存の技術を利用して実行されても良い。これら技術の例は、以下の参照文献において記載されている：
−Beyond Eigenfaces: Probabilistic Matching for Face Recognition Moghaddam B., Wahid W. & Pentland A. International Conference on Automatic Face & Gesture Recognition, Nara, Japan, April 1998
- Probabilistic Visual Learning for Object Representation Moghaddam B. & Pentland A. Pattern Analysis and Machine Intelligence, PAMI-19 (7), pp. 696-710, July 1997
- A Bayesian Similarity Measure for Direct Image Matching Moghaddam B., Nastar C. & Pentland A. International Conference on Pattern Recognition, Vienna, Austria, August 1996
- Bayesian Face Recognition Using Deformable Intensity Surfaces Moghaddam B., Nastar C. & Pentland A.IEEE Conf. on Computer Vision & Pattern Recognition, San Francisco, Calif., June 1996
- Active Face Tracking and Pose Estimation in an Interactive Room
Darrell T., Moghaddam B. & Pentland A. IEEE Conf. on Computer Vision & Pattern Recognition, San Francisco, Calif., June 1996
- Generalized Image Matching: Statistical Learning of Physically-Based
Deformations Nastar C., Moghaddam B. & Pentland A. Fourth European Conference on Computer Vision, Cambridge, UK, April 1996
- Probabilistic Visual Learning for Object Detection Moghaddam B. & Pentland A. International Conference on Computer Vision, Cambridge, Mass., June 1995
- A Subspace Method for Maximum Likelihood Target Detection Moghaddam B. & Pentland A. International Conference on Image Processing, Washington D.C., October 1995
- An Automatic System for Model-Based Coding of Faces Moghaddam B. & Pentland A.IEEE Data Compression Conference, Snowbird, Utah, March 1995
- View-Based and Modular Eigenspaces for Face Recognition Pentland A., Moghaddam B. & Starner T. IEEE Conf. on Computer Vision & Pattern Recognition, Seattle, Wash., July 1994

図２は、顔にアノテーションを付されたストリーミングビデオ１８をエンドユーザに対して表示する前に、受信されたストリーミングビデオ信号４が受信側９においてどのようにアノテーション付けされるかを、模式的に示す。ストリーミングビデオのリアルタイムな顔アノテーション付けのためのシステム１５の性能及び構成要素は、図１のシステム５のものと類似している。しかしながら図２においては、システム１５は、伝送チャネル８を通して入力部１において、送信側２から信号４を受信する。入力部１は、ストリーミングビデオ信号４を伸張するプレイヤであっても良い。送信側２は、ストリーミングビデオ信号４を生成及び送信することが可能ないずれかの利用可能な技術によって、ストリーミングビデオ信号４を生成及び送信している。また、顔にアノテーションを付されたビデオ信号１８はネットワークによって伝送されるのではなく、出力部１７がストリーミングビデオをユーザに対して提示するディスプレイであっても良い。出力部１７はまた、顔にアノテーションを付されたビデオを、保存のためメモリに送信しても良いし、又はシステム１５の一部を形成しないディスプレイに送信しても良い。

図１及び２に関連して説明されたシステム５及び１５はまた、ストリーミングビデオ信号４及び１８と共に記録及び再生されるが、アノテーション付けされていない、ストリーミングオーディオ信号６に対処しても良い。各人物はシステムに対する個別のマイクロフォン入力を持っても良く、それにより、どのマイクロフォンが最も大きな信号をピックアップしたかにより、現在の発話者が決定される。オーディオ信号６はまた、システム５及び１５の音声認識器又は位置特定器１６により利用されても良く、ビデオにおいて現在発話している人物を識別又は位置特定する際に利用されても良い。

図３は、ストリーミングビデオのリアルタイムの顔アノテーション付けのためのシステム５及び１５の種々のコンポーネントを有する、ハードウェアモジュール２０を示す。モジュール２０は例えば、パーソナルコンピュータ、ハンドヘルド型コンピュータ、モバイル電話、ビデオレコーダ、ビデオ会議装置、テレビジョンセット、セットトップボックス、衛星受信器等の一部であっても良い。モジュール２０は、ビデオを生成又は受信することが可能な入力部１と、モジュールのタイプに対応するビデオを送信又は表示することが可能な出力部１７とを持ち、送信側に配置されたシステム５としても、又は受信側に配置されたシステム１５としても動作する。

一実施例において、モジュール２０は、データフローを取り扱うバス２１、例えばＣＰＵ（central processing unit）のようなプロセッサ２２、例えばＲＡＭのような内部高速アクセスメモリ２３、及び例えば磁気ドライブのような不揮発性メモリ２４を持つ。モジュール２０は、本発明による顔検出、顔認識及びアノテーション付けのためのソフトウェアコンポーネントを保持及び実行しても良い。同様に、メモリ２３及び２４は、認識されるべき顔に対応するデータ、及び関連するアノテーション情報を保持しても良い。

図４は、２つの団体（一方が２５乃至２７、他方が３７）間のライブのビデオ会議を示す。ここで、人物２５乃至２７は、ストリーミングビデオをシステム５に送信するディジタルビデオカメラ２８により記録される。本システムは、人物２５乃至２７の顔に対応するビデオにおける顔領域の候補を決定し、これら候補を保存された既知の顔と比較する。本システムは、そのうちの１人即ち人物２５を、会議の主催者であるMs. M. Donaldsonと特定する。それ故システム５は、結果のストリーミングビデオ３２を、Ms. Donaldsonの頭部の周囲のフレーム２９によって修正する。代替として本システムは、認識された声の人物に関連する顔を認識することにより、現在発話している人物を特定しても良い。カメラ２８に内蔵されたマイクロフォンを用いて、システム５は、Ms. Donaldsonの音声を認識し、該音声を認識された顔と関連付け、ストリーミングビデオ３２においてフレーム２９によってMs. Donaldsonを発話者として示す。代替実施例においては、システム５は、残りの領域における解像度の代わりに、特定された発話者の顔領域の候補における解像度を改善し、それにより必要とされる帯域幅を増大させない。

ビデオ会議の他方においては、標準的な構成がユーザ３７のストリーミングビデオを記録し、ユーザ２５乃至２７へと送信する。システム１５によりストリーミングビデオを受信することにより、入力される標準的なストリーミングビデオは、ユーザ２５乃至２７に対する表示の前に顔アノテーション付けされ得る。ここで、システム１５は、人物３７の顔を記憶された個人の顔として識別し、人物３７に対して名前及び肩書きタグ３８を付加することにより信号を修正する。

他の実施例においては、本発明によるシステム及び方法は、欧州議会のような会議又は議会において適用される。ここでは数百の潜在的な発話者が参加し、注釈者又は字幕製作者にとって個人を追跡し続けることが困難であり得る。全ての参加者の写真を記憶装置に保持することにより、本発明は現在カメラの観測範囲内にいる人物を追跡し続けることができる。

送信部に配置された、ストリーミングビデオのリアルタイムな顔アノテーション付けのためのシステムを模式的に示す。 受信部に配置された、ストリーミングビデオのリアルタイムな顔アノテーション付けのためのシステムを模式的に示す。 リアルタイムな顔アノテーション付けのためのシステムの一実施例のハードウェアモジュールを示す模式的な図である。 リアルタイムな顔アノテーション付けのためのシステムを利用するビデオ会議を示す模式的な図である。

Claims (10)

1. ストリーミングビデオのリアルタイムな顔へのアノテーション付けのためのシステムであって、前記システムは、
   ストリーミングビデオ源と、
   前記ストリーミングビデオ源からストリーミングビデオを受信するように動作可能に接続され、前記ストリーミングビデオにおける顔の候補を保持する領域のリアルタイムな検出を実行するように構成された顔検出コンポーネントと、
   前記ストリーミングビデオと前記顔検出コンポーネントからの顔領域の候補の位置とを受信するように動作可能に接続されたアノテータであって、少なくとも１つの顔領域の候補に関連する前記ストリーミングビデオにおける画素内容を修正するように構成されたアノテータと、
   前記アノテータから顔にアノテーションを付されたストリーミングビデオを受信するように動作可能に接続された出力部と、
   を有するシステム。
2. 前記ストリーミングビデオ源は、画像フレームを有する圧縮されていないストリーミングビデオを供給するように構成され、
   前記顔検出コンポーネントは更に、前記ストリーミングビデオの選択された画像フレームに対してのみ検出を実行するように構成された、請求項１に記載のシステム。
3. １以上の顔を識別するデータ及び関連するアノテーション情報を保持する記憶装置と、
   前記顔検出コンポーネントからの顔領域の候補を受信し前記記憶装置にアクセスするように動作可能に接続され、前記記憶装置における顔の候補のリアルタイムな識別を実行するように構成された顔認識コンポーネントと、
   を更に有し、
   前記アノテータは更に、
   顔の候補が識別されたという情報と、
   前記顔認識コンポーネント又は前記記憶装置からのいずれかの識別された顔の候補についてのアノテーション情報と、
   を受信するように動作可能に接続され、前記アノテータは更に、前記ストリーミングビデオにおける画素内容の修正において、識別された顔の候補に関連するアノテーション情報を含ませるように構成された、請求項１又は２に記載のシステム。
4. 前記ストリーミングビデオ源は、ディジタルビデオを記録し前記ストリーミングビデオを生成するためのディジタルビデオカメラを有する、請求項１乃至３のいずれか一項に記載のシステム。
5. 前記出力部は、前記顔にアノテーションを付されたストリーミングビデオをエンコード及び送信するためのエンコーダ及び送信器を有する、請求項１乃至４のいずれか一項に記載のシステム。
6. 前記出力部は、出力端子から前記顔にアノテーションを付されたストリーミングビデオを受信し、該ストリーミングビデオをエンドユーザに対して表示するように動作可能に接続されたディスプレイを有する、請求項１又は２に記載のシステム。
7. 前記ストリーミングビデオ源は、ストリーミングビデオを受信及びデコードするための受信器及びデコーダを有する、請求項１、２、３又は５のいずれか一項に記載のシステム。
8. ストリーミングビデオの顔アノテーションを作成するための方法であって、
   ストリーミングビデオを受信するステップと、
   前記ストリーミングビデオにおける顔の候補を保持する領域を検出するためのリアルタイムな顔検出処理を実行するステップと、
   少なくとも１つの顔領域の候補に関連する前記ストリーミングビデオにおける画素内容を修正することにより、前記ストリーミングビデオにアノテーション付けするステップと、
   を有する方法。
9. １以上の顔を識別するデータを供給するステップと、
   前記データにおける顔の候補のリアルタイムな識別を実行するためのリアルタイムな顔認識処理を実行するステップと、
   前記ストリーミングビデオにおける画素内容の修正において、識別された顔の候補に関連するアノテーション情報を含ませるステップと、
   を更に有する、請求項８に記載の方法。
10. 前記ストリーミングビデオは、画像フレームから成る圧縮されていないストリーミングビデオを有し、前記顔検出処理は、前記ストリーミングビデオの選択された画像フレームに対してのみ実行される、請求項８又は９に記載の方法。

Images