JP2014139734A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】コンテンツ内におけるオブジェクト間の相関度をより正確に取得することができる。
【解決手段】顔グループ化部は、映像コンテンツ内に登場する顔画像を検出し、検出した顔画像を人物毎にグループ化し、人物毎のグループ化情報を、動画像ファイルとともに、人物間相関度取得部に供給する。人物間相関度取得部は、顔グループ化部によりグループ化された人物間の相関度を算出する。その際、複数の人物が同時に出現する頻度だけでなく、複数の人物が時間的に遷移して登場する頻度も求められ、求められた頻度などから人物間の相関度データが取得される。本開示は、例えば、動画像コンテンツにおける人物の相関図の表示を制御する情報処理装置に適用することができる。
【選択図】図１

Description

本開示は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツ内におけるオブジェクト間の相関度をより正確に取得することができるようにした情報処理装置および方法、並びにプログラムに関する。

特許文献１には、複数の静止画や動画から人物相関図を取得する従来技術の１つが記載されている。特許文献１に記載の技術においては、画像から顔が抽出され、同時に写っている頻度などから人物間の相関度が算出されて、人物相関図が取得される。

また、複数の静止画や動画から指定した単一、複数人物が登場する画像、区間のみを抽出しダイジェスト動画を作成する技術が、特許文献２や特許文献３に記載されている。

さらに、特許文献４には、複数人物間の相関を用いて個人識別の性能向上を図る技術が記載されている。

特表２０１１−１３３９８８号公報 特開２０１１−８２９１５号公報 特開２０１１−７０２７７号公報 特開２００８−１２９６８２号公報

しかしながら、特許文献１乃至特許文献４には、複数の人物が画面内に同時に登場せずに、複数のカメラで個々に撮影され時間的に交互に登場するような場合については、複数の人物が同時に写ってないことから、その複数の人物間の相関度が低いと判定されてしまっていた。

本開示は、このような状況に鑑みてなされたものであり、コンテンツ内におけるオブジェクト間の相関度をより正確に取得することができるものである。

本開示の一側面の情報処理装置は、コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部とを備える。

前記相関度算出部は、オブジェクト毎に出現区間を求める出現区間取得部と、前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが同時に出現する頻度から相関度を求める同時出現相関度算出部と、前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが時間的に遷移して出現する頻度から相関度を算出する遷移出現相関度算出部とを備えることができる。

前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図におけるオブジェクト間の関係度を示すリンクの幅の表示を制御することができる。

前記同時出現相関度算出部は、前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、オブジェクト毎の重要度も算出し、前記表示制御部は、前記同時出現相関度算出部により算出されたオブジェクト毎の重要度に基づいて、前記オブジェクト間相関図におけるオブジェクトを示すオブジェクト画像の大きさの表示を制御することができる。

前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図の動画表示を制御することができる。

前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図のタイムライン上への表示を制御することができる。

前記表示制御部により表示が制御されたオブジェクト相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンからなるコンテンツのダイジェストを作成するダイジェスト作成部をさらに備えることができる。

前記表示制御部により表示が制御されたオブジェクト間相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンにカット点を挿入するカット点挿入部をさらに備えることができる。

前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度を記憶する人物間相関度データベースをさらに備えることができる。

オブジェクト名を入力する入力部と、前記入力部により入力されたオブジェクト名に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とをさらに備え、前記表示制御部は、前記検索部により検索されたオブジェクトを中心とするオブジェクト間相関図の表示を制御することができる。

前記オブジェクト間相関図の設定を入力する入力部と、前記入力部により入力されたオブジェクト間相関図の設定に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とをさらに備えることができる。

画像内に登場する全ての顔を検出し、検出した顔に対して、前記人物相関度データベースを用いて類似度が大きい人物を追加していくことで、候補人物リストを取得する候補人物取得部と、前記候補人物取得部により取得された候補人物リストを用いて、人物を決定する人物決定部とをさらに備えることができる。

前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度を評価値として、人物を決定することができる。

前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度と人物毎の類似度とを組み合わせた値を評価値として、人物を決定することができる。

前記オブジェクトの一部は、顔画像であり、前記オブジェクトは、人物である。

本開示の一側面の情報処理方法は、情報処理装置が、コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行い、グループ化が行われたオブジェクト間の相関度を算出し、算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する。

本開示の一側面のプログラムは、コンピュータを、コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部として機能させる。

本開示の一側面においては、コンテンツからオブジェクトの一部が検出され、オブジェクト毎のグループ化が行われ、グループ化が行われたオブジェクト間の相関度が算出される。そして、算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示が制御される。

本開示によれば、コンテンツ内におけるオブジェクト間の相関度をより正確に取得することができる。

本技術を適用した情報処理装置の構成例を示すブロック図である。 情報処理装置の人物間相関度取得表示処理を説明するフローチャートである。 顔グループ化処理を説明するフローチャートである。 人物間相関度取得部の構成例を示すブロック図である。 映像ファイルにおける人物の出現区間の例を示す図である。 人物間相関度取得処理を説明するフローチャートである。 同時出現区間取得処理を説明するフローチャートである。 遷移出現区間取得処理を説明するフローチャートである。 遷移頻度取得処理を説明するフローチャートである。 人物間相関図の例を示す図である。 人物間相関図の他の例を示す図である。 人物間相関図のさらに他の例を示す図である。 人物間相関図の他の例を示す図である。 人物間相関図表示処理を説明するフローチャートである。 本技術を適用した情報処理装置の他の構成例を示すブロック図である。 個人識別処理を説明するフローチャートである。 人物決定処理の例を説明する図である。 人物決定処理の他の例を説明する図である。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態（情報処理装置）
２．実施の形態（表示例）
３．実施の形態（変形例）

＜１．実施の形態（情報処理装置）＞
[本技術の情報処理装置の構成]
図１は、本技術を適用した情報処理装置の構成例を示す図である。

図１の情報処理装置１１は、映像コンテンツ内に登場する人物間の相関関係を取得し、人物相関図の提示を行う。また、情報処理装置１１は、検索キーに人物名や人物相関図を用いて映像コンテンツの検索を行ったり、取得した相関関係を用いて個人識別を行ったりする。情報処理装置１１は、例えば、パーソナルコンピュータなどで構成される。

なお、本技術は、これから説明する人物間の相関に限らず、人物とオブジェクト間の相関や、オブジェクト間の相関にも適用することができる。

図１の例において、情報処理装置１１は、画像データ入力部２１、顔グループ化部２２、人物間相関度取得部２３、人物間相関度データベース２４、表示制御部２５、操作入力部２６、および表示部２７を含むように構成されている。さらに、情報処理装置１１は、検索部２８およびダイジェスト作成部２９を含むように構成されている。

画像データ入力部２１は、図示せぬコンテンツアーカイブなどから映像コンテンツのデータを入力し、入力した映像コンテンツのデータ（動画像ファイル）を、顔グループ化部２２に供給する。

顔グループ化部２２は、映像コンテンツ内に登場する顔画像を検出し、検出した顔画像を人物毎にグループ化し、人物毎のグループ化情報を、動画像ファイルとともに、人物間相関度取得部２３に供給する。

人物間相関度取得部２３は、顔グループ化部２２によりグループ化された人物間の相関度を算出し、算出した人物間の相関度を、表示制御部２５に供給する。また、人物間相関度取得部２３は、算出した人物間の相関度を、動画像ファイルとともに、人物間相関度データベース２４に供給する。

人物間相関度データベース２４は、人物間相関度取得部２３からの人物間の相関度データと動画像ファイルとを紐付けして記憶する。

人物間の相関度データは、例えば、動画像ファイルに関する情報、登場（出現）する人物毎の情報、および２人の人物間に関する情報で構成される。

動画像ファイルに関する情報は、例えば、動画像ファイル名や動画像ファイル内の時間範囲などからなる。登場する人物毎の情報は、例えば、登場する人物毎の重要度、登場する人物毎の登場フレームと顔の位置および大きさ、登場する人物毎の人名、登場する人物毎の顔画像特徴量、登場する人物毎の音声特徴量などからなる。２人の人物間に関する情報は、例えば、２人の人物間の相関度および２人の人物が登場する時間範囲などからなる。

表示制御部２５は、人物間相関度取得部２３や検索部２８からの人物間の相関度データなどに基づいて、人物間の相関度を表した人物間相関図を生成し、生成した人物間相関図を、表示部２７に表示させる。人物間相関図は、例えば、映像コンテンツ内の人物関係が一目でわかるように、少なくとも１人の人物を示す顔画像と、人物が複数の場合に、人物間の関係性を表すライン（リンク）とが組み合わせて構成されている。

操作入力部２６は、例えば、マウス、キーボードや、表示部２７に積層されるタッチパネルなどで構成され、ユーザの操作に対応する信号を、表示制御部２５に供給する。例えば、人物間相関図における人物やリンクの選択信号などが表示制御部２５を介して、ダイジェスト作成部２９などに供給される。また、例えば、映像コンテンツ検索を行う際の人物名は、表示制御部２５を介して、検索部２８などに供給される。

表示部２７は、例えば、LCD（Liquid Crystal Display）などで構成されており、表示制御部２５からの人物相関図を表示する。

検索部２８は、表示制御部２５から、人物名などが供給されると、供給された人物を中心とした人物間相関図の表示のため、人物間相関度データベース２４を検索して、相関度データを取得する。検索部２８は、全相関度データに記載されている全人物の顔画像特徴量などを利用して、顔グループ化を行い、各人物の重要度および人物間の相関度を取得する。検索部２８は、取得した各人物の重要度および人物間の相関度を表示制御部２５に供給する。

ダイジェスト作成部２９は、操作入力部２６からの人物間相関図における人物やリンクの選択信号に応じて、ダイジェスト作成やカット点の挿入などを行う。

[情報処理装置の動作]
次に、図２のフローチャートを参照して、情報処理装置１１の人物間相関度取得表示処理について説明する。

画像データ入力部２１は、図示せぬアーカイブなどから映像コンテンツのデータを入力し、入力した映像コンテンツのデータを、顔グループ化部２２に供給する。

これに対応して、顔グループ化部２２は、ステップＳ１１において、顔グループ化処理を行う。なお、顔グループ化処理については、図３を参照して後述される。

ステップＳ１１の処理により、映像コンテンツ内に登場する顔画像が検出され、検出された顔画像が人物毎にグループ化され、人物毎のグループ化情報が、映像コンテンツのデータとともに、人物間相関度取得部２３に供給される。

ステップＳ１２において、人物間相関度取得部２３は、人物相関度取得処理を行う。この人物相関度取得処理については、図６を参照して後述される。

ステップＳ１２の処理により、顔グループ化部２２によりグループ化された人物間の相関度が算出され、算出された人物間の相関度が、映像コンテンツのデータとともに、人物間相関度データベース２４に供給される。

これに対応して、ステップＳ１３において、人物間相関度データベース２４は、人物間の相関度データを、映像コンテンツのデータと紐付けして登録する。

一方、人物間相関度取得部２３により算出された人物間の相関度データは、映像コンテンツのデータとともに、表示制御部２５に供給される。

表示制御部２５は、ステップＳ１４において、人物間の相関を表す人物間相関図の表示を行う。すなわち、表示制御部２５は、人物間相関度取得部２３からの人物間の相関度データに基づいて、人物間相関図を生成し、生成した人物間相関図を、表示部２７に表示させる。

以上のようにして人物間相関図の表示が制御されるので、動画像ファイル内の人物関係を一目で把握することができる。

[顔グループ化処理の例]
次に、図３のフローチャートを参照して、図２のステップＳ１１における顔グループ化処理について説明する。なお、この処理は、動画像の先頭フレームから任意時間間隔で動画像全体に対して行われる。

顔グループ化部２２は、ステップＳ３１において、顔画像が検出されたか否かを判定する。ステップＳ３１において顔画像が検出されたと判定された場合、処理は、ステップＳ３２に進む。

ステップＳ３２において、顔グループ化部２２は、現在のグループ数が０より多いか否かを判定する。ステップＳ３２において、現在のグループ数が１以上あると判定された場合、処理は、ステップＳ３３に進む。

ステップＳ３３において、顔グループ化部２２は、グループ毎に類似度評価を行う。すなわち、顔グループ化部２２は、既存のグループに登録されている顔画像と、いま検出された顔画像との類似度を評価する。

ステップＳ３４において、顔グループ化部２２は、各グループの中で求めた最も大きい類似度（最大類似度）が閾値より大きいか否かを判定する。ステップＳ３４において、最大類似度が閾値より大きいと判定された場合、処理は、ステップＳ３５に進む。

ステップＳ３５において、顔グループ化部２２は、その最大類似度であるグループに、検出された顔画像を追加する。すなわち、顔グループ化部２２は、検出された顔画像が、最大類似度が求まったグループに登録されている顔と同一人物の顔であるとして、検出された顔画像を、そのグループのメンバーとして追加する。

一方、ステップＳ３２において、現在のグループ数が０であると判定された場合、処理は、ステップＳ３６に進む。また、ステップＳ３４において、最大類似度が閾値以下であると判定された場合も、検出された顔画像が、どのグループの顔とも別人であるとして、ステップＳ３６に進む。ステップＳ３６において、顔グループ化部２２は、新たな顔グループを生成し、検出された顔画像をメンバーとして追加する。

ステップＳ３１において、顔画像が検出されていないと判定された場合、処理は、ステップＳ３７に進む。ステップＳ３７において、顔グループ化部２２は、動画像を構成する全てのフレームについて終了したか否かを判定する。

ステップＳ３７において、全てのフレームについて終了していないと判定された場合、処理は、ステップＳ３１に戻り、任意時間間隔のフレームで、それ以降の処理が繰り返される。ステップＳ３７において、全てのフレームについて終了したと判定された場合、顔グループ化処理は終了され、処理は、図２のステップＳ１１に戻る。

なお、顔グループ化の処理は、図３を参照して説明した処理に限定されず、グループ化できればどのような方法を用いてもよい。また、この顔グループ化処理において、図１５以降を参照して後述される個人識別機能を用いて、各グループに対応する人物名を割り当てるようにしてもよい。

さらに、上記説明においては、任意時間間隔のフレームで処理を行う例を説明したが、フレーム単位であってもよい。

[人物間相関度取得部の構成例]
図４は、図１の人物間相関度取得部の構成例を示す図である。

図４の例においては、人物間相関度取得部２３は、出現区間取得部５１、同時出現区間取得部５２、および遷移出現区間取得部５３を含むように構成されている。

出現区間取得部５１は、動画像ファイルから、顔グループ化部２２によりグループ化された顔グループ毎に出現区間を求め、求めた出現区間情報を、同時出現区間取得部５２および遷移出現区間取得部５３に供給する。

同時出現区間取得部５２は、出現区間取得部５１により求められた顔グループ毎の出現区間に基づいて、複数の人物（顔グループ）が同時に出現する頻度を求め、求められた頻度から人物間の相関度データを取得する。また、同時出現区間取得部５２は、出現区間取得部５１により求められた顔グループ毎の出現区間に基づいて、顔グループ毎の重要度データも取得する。

遷移出現区間取得部５３は、複数の人物が時間的に遷移して登場する頻度を求め、求められた頻度などから人物間の相関度データを取得する。なお、時間的に遷移して登場する場面とは、２人の人物の対談シーンのように、２人の顔が交互に登場する場面、例えば、２つのカメラでそれぞれ１人の話者を撮影し、話し手が変わるとカメラが切り替わるような場面などを意味している。

同時出現区間取得部５２により取得された人物間の相関度データおよび重要度データ、並びに、遷移出現区間取得部５３により取得された人物間の相関度データは、動画像ファイルとともに、人物間相関度データベース２４および表示制御部２５に供給される。

[出現区間の例]
図５は、映像ファイルにおける人物の出現区間の例を示す図である。

人物ａは、映像ファイルにおいて、タイミングt0乃至t1の区間S0、タイミングt1乃至t2の区間S1、タイミングt3乃至t4の区間S3、タイミングt6乃至t7の区間S6、およびタイミングt8乃至t9の区間S8で出現している。

人物ｂは、映像ファイルにおいて、タイミングt0乃至t1の区間S0、およびタイミングt4乃至t5の区間S4で出現している。

人物ｃは、映像ファイルにおいて、タイミングt4乃至t5の区間S4、タイミングt5乃至t6の区間S5、タイミングt7乃至t8の区間S8、およびタイミングt9乃至t10の区間S9で出現している。

以上のような出現区間において、人物ａと人物ｂが同時に出現する区間である同時出現区間は、区間S0であり、人物ｂと人物ｃとの同時出現区間は、区間S4である。

一方、人物ａと人物ｃとが交互に出現する区間である遷移出現区間は、区間S3乃至S9である。

[人物間相関度取得処理の例]
次に、図６のフローチャートを参照して、図２のステップＳ１２における人物間相関度取得処理について説明する。

ステップＳ５１において、出現区間取得部５１は、動画像ファイルから、顔グループ化部２２によりグループ化された顔グループ（すなわち、人物）毎に出現区間を取得する。

ステップＳ５２において、出現区間取得部５１は、各出現区間の開始位置、終了位置で、区間を分割する。出現区間取得部５１は、開始位置および終了位置を含む出現区間の情報を、同時出現区間取得部５２および遷移出現区間取得部５３に供給する。

ステップＳ５３において、同時出現区間取得部５２は、同時出現区間取得処理を行う。この同時出現区間取得処理は、図７を参照して後述するが、ステップＳ５３の処理により、人物毎の重要度データ、および同時出現区間における相関度データが取得され、取得されたデータが、人物間相関度データベース２４および表示制御部２５に供給される。

ステップＳ５４において、遷移出現区間取得部５３は、遷移出現区間取得処理を行う。この遷移出現区間取得処理は、図８を参照して後述するが、ステップＳ５４の処理により、遷移出現区間における相関度データが取得され、取得されたデータが、人物間相関度データベース２４および表示制御部２５に供給される。

ステップＳ５４の後、人物間相関度取得処理は終了され、処理は、図２のステップＳ１２に戻る。

[同時出現区間取得処理の例]
次に、図７のフローチャートを参照して、図６のステップＳ５３における同時出現区間取得処理について説明する。この処理においては、図５における先頭区間S0から順に対象区間として顔が出現するかが判定される。

ステップＳ７１において、同時出現区間取得部５２は、対象区間における顔の数が０より多いか否かを判定する。ステップＳ７１において、顔の数が１以上であると判定された場合、処理は、ステップＳ７２に進む。

ステップＳ７２において、同時出現区間取得部５２は、顔（人物）毎の重要度データを取得する。ここで、重要度データとして、対象区間の長さ、対象区間内における顔の大きさ、出現位置の平均値、同時に登場する人物数の平均値などが取得される。

ステップＳ７３において、同時出現区間取得部５２は、同一区間に別の人物が存在するか否かを判定する。ステップＳ７３において、同一区間に別の人物が存在すると判定された場合、処理は、ステップＳ７４に進む。

ステップＳ７４において、同時出現区間取得部５２は、顔組み合わせ毎の相関度データを取得する。すなわち、ステップＳ７４においては、人物間の相関度データとして、対象区間の長さ、両者の顔の大きさの比率、両者の顔の距離、同時に登場する人物数それぞれの平均値が取得される。

ステップＳ７１において、顔の数が０であると判定された場合、ステップＳ７２乃至Ｓ７４はスキップされ、処理は、ステップＳ７５に進む。また、ステップＳ７３において同一区間に別の人物が存在しないと判定された場合、ステップＳ７４はスキップされ、処理は、ステップＳ７５に進む。

ステップＳ７５において、同時出現区間取得部５２は、全区間終了したか否かを判定する。ステップＳ７５において、全区間終了していないと判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６において、同時出現区間取得部５２は、対象区間を、次の区間に更新し、処理は、ステップＳ７１に戻り、更新された区間について、それ以降の処理が繰り返される。

以上のようにして、複数の人物が同時に登場する頻度等から相関度データが取得され、さらに、人物毎の登場頻度などから重要度データが取得される。

[人物間相関度取得処理の例]
次に、図８のフローチャートを参照して、図６のステップＳ５４における遷移出現区間取得処理について説明する。

ステップＳ９１において、遷移出現区間取得部５３は、顔グループＡに、顔グループ群内の１グループを設定する。

ステップＳ９２において、遷移出現区間取得部５３は、顔グループＢに、顔グループＡに設定された顔グループ以外の顔グループを設定する。

ステップＳ９３において、遷移出現区間取得部５３は、指定グループ間遷移頻度取得処理を行う。この指定グループ間遷移頻度取得処理については、図９を参照して後述される。ステップＳ９３の処理により、顔グループＡと顔グループＢの間における遷移頻度に基づく、相関度データが取得される。

ステップＳ９４において、遷移出現区間取得部５３は、顔グループＢについての処理が終了したか否かを判定する。ステップＳ９４において、顔グループＢについての処理が終了していないと判定された場合、処理は、ステップＳ９２に戻り、他の顔グループが、顔グループＢに設定され、それ以降の処理が繰り返される。

顔グループＢに、顔グループＡに設定された顔グループ以外のすべての顔グループを設定しての処理が終了した場合、処理は、ステップＳ９５に進む。

ステップＳ９５において、遷移出現区間取得部５３は、顔グループＡについての処理が終了したか否かを判定する。ステップＳ９５において、顔グループＡについての処理が終了していないと判定された場合、処理は、ステップＳ９１に戻り、他の顔グループが、顔グループＡに設定され、それ以降の処理が繰り返される。

顔グループＡに、すべての顔グループを設定しての処理が終了した場合、遷移出現区間取得処理は終了され、処理は、図６のステップＳ５４に戻る。

[遷移頻度取得処理の例]
次に、図９のフローチャートを参照して、図８のステップＳ９３の遷移頻度取得処理について説明する。

遷移出現区間取得部５３は、ステップＳ１１１において、先頭区間（例えば、図５の区間S0）に移動する。ステップＳ１１２において、遷移出現区間取得部５３は、顔グループＡ登場フラグ＝０，顔グループＢ登場フラグ＝０とする。

ステップＳ１１３において、遷移出現区間取得部５３は、対象区間において、顔グループＡおよびＢが両方とも登場したか否かを判定する。ステップＳ１１３において、顔グループＡおよびＢが両方とも登場していないと判定された場合、処理は、ステップＳ１１４に進む。

ステップＳ１１４において、遷移出現区間取得部５３は、対象区間が、顔グループＡが登場している区間であるか否かを判定する。ステップＳ１１４において、対象区間が、顔グループＡが登場している区間であると判定された場合、処理は、ステップＳ１１５に進む。ステップＳ１１５において、遷移出現区間取得部５３は、顔グループＡ登場フラグを１とする。

ステップＳ１１４において、対象区間が、顔グループＡが登場している区間ではないと判定された場合、処理は、ステップＳ１１６に進む。ステップＳ１１６において、遷移出現区間取得部５３は、対象区間が、顔グループＢが登場している区間であるか否かを判定する。ステップＳ１１６において、対象区間が、顔グループＢが登場している区間であると判定された場合、処理は、ステップＳ１１７に進む。ステップＳ１１７において、遷移出現区間取得部５３は、顔グループＢ登場フラグを１とし、処理は、ステップＳ１１８に進む。

ステップＳ１１８において、遷移出現区間取得部５３は、開始区間が未設定であるか否かを判定する。ステップＳ１１８において、開始区間が未設定であると判定された場合、処理は、ステップＳ１１９に進む。ステップＳ１１９において、遷移出現区間取得部５３は、開始区間を設定する。すなわち、対象区間が開始区間として設定され、処理は、ステップＳ１２４に進む。

ステップＳ１１８において、開始区間が未設定ではない、すなわち、設定されていると判定された場合、処理は、ステップＳ１２４に進む。

また、ステップＳ１１６において、対象区間が、顔グループＢが登場している区間ではないと判定された場合、処理は、ステップＳ１２０に進む。ステップＳ１２０において、遷移出現区間取得部５３は、顔グループＡ，Ｂ登場フラグが両方とも１であるか否かを判定する。ステップＳ１２０において、顔グループＡ，Ｂ登場フラグが両方とも１であると判定された場合、処理は、ステップＳ１２１に進む。

ステップＳ１２１において、遷移出現区間取得部５３は、終了区間を設定する。すなわち、対象区間のひとつ前の区間が終了区間として設定される。

ステップＳ１２２において、遷移出現区間取得部５３は、開始、終了区間の間の相関度データを取得する。すなわち、ステップＳ１２２においては、２人の人物間の相関度データとして、開始区間乃至終了区間の長さ、両者の顔の大きさの比率、両者の顔の位置関係、同時に登場する人物数それぞれの平均値などが取得され、処理は、ステップＳ１２３に進む。

また、ステップＳ１２０において、遷移出現区間取得部５３は、顔グループＡ，Ｂ登場フラグが両方とも１ではないと判定された場合、処理は、ステップＳ１２３に進む。ステップＳ１２３において、遷移出現区間取得部５３は、顔グループＡ，Ｂ登場フラグを両方とも０にして、処理は、ステップＳ１２４に進む。

ステップＳ１２４において、遷移出現区間取得部５３は、対象区間が、映像ファイルの最終区間であるか否かを判定する。ステップＳ１２４において、最終区間であると判定された場合、図９の遷移頻度取得処理は終了し、図８のステップＳ９３に戻る。

ステップＳ１２４において、最終区間ではないと判定された場合、処理は、ステップＳ１２５に進む。ステップＳ１２５において、遷移出現区間取得部５３は、対象区間を更新し、すなわち、対象区間を、次の区間に移動させて、処理は、ステップＳ１１３に戻り、それ以降の処理が繰り返される。

以上のようにして、複数の人物が時間的に遷移して登場する頻度などから、相関度データが取得される。

＜２．実施の形態（表示例）＞
[人物間相関図の表示例]
図１０は、上述したようにして取得された人物間の相関度データに基づいて生成され、表示される人物間相関図の例を示す図である。

図１０の例においては、人物間相関図１０１が示されている。人物間相関図１０１には、図５に示した人物ａの顔画像Ａ、人物ｂの顔画像Ｂ、人物ｃの顔画像Ｃが表示されている。これらの顔画像Ａ乃至Ｃは、顔グループ化部２２により取得された各顔グループの代表の顔画像である。図１０の例において、顔画像Ｃは、顔画像Ｂよりも大きく、顔画像Ａよりも小さく表されている。

これらの顔画像Ａ乃至Ｃの大きさは、出現頻度などに応じて変わるようになっている。すなわち、これらの顔画像Ａ乃至Ｃの大きさは、同時出現区間取得部５２により取得された人物毎の重要度を示すデータに基づいて決定される。例えば、顔画像Ａ乃至Ｃの大きさは、動画像の全長に対する対象顔の登場時間の割合や、これに加えて、登場時の顔の大きさ、顔の位置（どれだけ真ん中にあるかなど）、同時登場する人物数などに応じた値などから決定するようにしてもよい。さらに、登場時の顔の向きや、話をしている時間の長さなどの情報も用いるようにしてもよい。

また、人物間相関図１０１において、顔画像Ａ乃至Ｃの各顔画像の間には、人物間の関係を表すライン（以下、このラインのことを、リンクと称する）ａｂ、ｂｃ、ｃａが表示されている。これらのリンクの幅は、同時に登場する頻度などに応じて変わるようになっている。すなわち、顔画像Ａと顔画像Ｂとの間に表示されるリンクａｂは、普通のリンク幅で表わされている。顔画像Ｂと顔画像Ｃとの間に表示されるリンクｂｃは、リンクａｂよりも細いリンク幅で表わされている。顔画像Ｃと顔画像Ａとの間に表示されているリンクｃａは、リンクａｂよりも太いリンク幅で表わされている。

これらのリンク幅の太さは、同時出現区間取得部５２および遷移出現区間取得部５３により取得された人物間の相関度データに基づいて決定される。例えば、リンク幅の太さは、動画像の全長に対する２人の人物の登場時間の割合や、これに加えて登場時の顔の大きさ、顔の位置、同時に登場する人物数などに応じた値などから決定するようにしてもよい。

以上のような人物間相関図を表示することで、動画像内の人物関係や重要人物を一目で把握することができる。

[人物間相関図の他の表示例]
図１１は、人物間相関図の他の例を示す図である。

図１０の人物相関図１０１は、動画像内の人物相関を１つに代表させて表示したものであったが、図１１の人物間相関図１０２−１乃至１０２−３は、動画像内の時間推移と共に人物相関がどのように変わるかをわかりやすくするために動画像表示されている。なお、人物間相関図１０２−１乃至１０２−３において、リンクａｂ、リンクｂｃ、およびリンクｃａについては、図１０を参照して上述した太さで表わされているが、リンクも、時間推移と共に相関度が変わることで、その太さも変わるようにしてもよい。

例えば、ある時刻における人物間の相関を表すものとして、人物間相関図１０２−１が表示される。人物ａと人物ｂしか動画像内に出現しないので、人物間相関図１０２−１には、人物ａに対応する顔画像Ａと、人物ｂに対応する顔画像Ｂと、それらの関係性を示すリンクａｂだけが表示されている。

ある時刻から所定の時間間隔だけ後においては、その時刻における人物間の相関を表すものとして、人物間相関図１０２−１が、人物間相関図１０２−２が遷移される。人物ａ乃至人物ｃが動画像内に出現するので、人物間相関図１０２−２には、人物ａに対応する顔画像Ａ、人物ｂに対応する顔画像Ｂ、および人物ｃに対応する顔画像Ｃと、それらの関係性を示すリンクａｂ、リンクｂｃ、およびリンクｃａが表示されている。

さらに、ある時刻から所定の時間間隔の２倍だけ後においては、その時刻における人物間の相関を表すものとして、人物間相関図１０２−２が、人物間相関図１０２−３に遷移される。人物ａと人物ｃしか動画像内に出現しないので、人物間相関図１０２−３には、人物ａに対応する顔画像Ａと、人物ｃに対応する顔画像Ｃと、それらの関係性を示すリンクｃａだけが表示されている。

なお、この場合、同時出現区間取得部５２および遷移出現区間取得部５３において、任意の時間間隔毎の人物間の相関度を取得すればよい。

また、動画像内の時間推移ではなく、例えば、ユーザが所有する複数の動画像の撮影時刻、あるいは、放送時刻に基づいて、時間別の人物間相関度を求めることもできる。この場合は、動画像毎に人物間相関度を求めるのではなく、複数の動画像から１つの人物間相関度を求めることになる。

以上のような人物間相関図を表示することで、動画像内の時間推移と共に人物相関がどのように変わるかがわかりやすくなる。

図１１の例においては、人物間相関の時間遷移を動画像表示させる例を説明したが、図１２に示されるように、人物間相関の時間遷移をタイムライン表示させることも可能である。

[人物間相関図の他の表示例]
図１２は、人物間相関図の他の例を示す図である。

図１２の例においては、人物間相関の時間遷移をタイムライン表示させた人物間相関図１１１が示されている。すなわち、図１２の人物間相関図１１１においては、図５を参照して上述した場合における人物毎の登場区間がタイムライン上にマーキング(ハッチング)されており、同時登場する人物の顔画像が、そのマーキング領域（ハッチング領域）上に表示されている。

なお、図１２の例における同時登場とは、画面内に同時に登場（出現）する場合だけでなく、時間遷移で登場する場合も含まれている。このように時間遷移で登場する場合も含める際には、図１２においては同時に登場する区間と同様に表示させているが、視認性を向上させるために、同時登場（出現）区間と遷移登場区間とでマーキングの色や、顔画像の色などを変えて表示させてもよい。

具体的には、人物間相関図１１１においては、上から順に、人物ａに対応する顔画像Ａが左端に表示されており、その右側に、人物ａの登場区間がマーキング(ハッチング)されて表示されている。次に、人物ｂに対応する顔画像Ｂが左端に表示されており、その右側に、人物ｂの登場区間がマーキング(ハッチング)されて表示されている。最後に、人物ｃに対応する顔画像Ｃが左端に表示されており、その右側に、人物ｃの登場区間がマーキング(ハッチング)されて表示されている。

タイミングt0乃至t1の区間S0においては、人物ａと人物ｂとが同時出現しているが、その前後の区間には遷移出現はない。したがって、区間S0においては、人物ａの登場区間を示すハッチング領域上に、人物ｂの顔画像Ｂが表示されており、人物ｂの登場区間を示すハッチング領域上に、人物ａの顔画像Ａが表示されている。

タイミングt1乃至t2の区間S1においては、人物ａしか出現しておらず、その前後の区間には遷移出現はない。したがって、区間S1においては、人物ａの登場区間を示すハッチング領域だけ表示されている。

タイミングt2乃至t3の区間S2においては、人物は出現しておらず、その前後の区間には、遷移出現もない。したがって、区間S2においては、何も表示されていない。

タイミングt3乃至t4の区間S3においては、人物ａしか出現していないが、その後の区間に人物ｂと人物ｃの遷移出現がある。したがって、区間S3においては、人物ａの登場区間を示すハッチング領域上に、人物ｂの顔画像Ｂと人物ｃの顔画像Ｃが表示されている。

タイミングt4乃至t5の区間S4においては、人物ｂと人物ｃが出現しているが、その前の区間に人物ａの遷移出現がある。したがって、区間S4においては、人物ｂの登場区間を示すハッチング領域上に、人物ａの顔画像Ａ（遷移）と人物ｃの顔画像Ｃ（同時）が表示されている。また、区間S4においては、人物ｃの登場区間を示すハッチング領域上に、人物ａの顔画像Ａ（遷移）と人物ｂの顔画像Ｂ（同時）が表示されている。

タイミングt5乃至t6の区間S5においては、人物ｃが出現しているが、その後の区間に人物ａの遷移出現がある。したがって、区間S5においては、人物ｃの登場区間を示すハッチング領域上に、人物ａの顔画像Ａ（遷移）が表示されている。

タイミングt6乃至t7の区間S6においては、人物ａが出現しているが、その前後の区間に人物ｃの遷移出現がある。したがって、区間S6においては、人物ａの登場区間を示すハッチング領域上に、人物ｃの顔画像Ｃ（遷移）が表示されている。

タイミングt7乃至t8の区間S7においては、人物ｃが出現しているが、その前後の区間に人物ａの遷移出現がある。したがって、区間S7においては、人物ａの登場区間を示すハッチング領域上に、人物ａの顔画像Ａ（遷移）が表示されている。

タイミングt8乃至t9の区間S8においては、人物ａが出現しているが、その前後の区間に人物ｃの遷移出現がある。したがって、区間S8においては、人物ａの登場区間を示すハッチング領域上に、人物ｃの顔画像Ｃ（遷移）が表示されている。

タイミングt9乃至t10の区間S9においては、人物ｃが出現しているが、その前後の区間に人物ａの遷移出現がある。したがって、区間S9においては、人物ａの登場区間を示すハッチング領域上に、人物ａの顔画像Ａ（遷移）が表示されている。

以上のように、人物間相関の時間推移をタイムライン表示するだけでもよいが、人物毎の登場区間をタイムライン上にマーキングし、さらに、同時登場する人物の顔画像を表示することで、誰と一緒に写っているところかがわかりやすくなる。

[人物間相関図の他の表示例]
図１３は、人物間相関図のさらに他の例を示す図である。

図１３の例においては、人物間相関の時間遷移をタイムライン表示させた人物間相関図１２１が示されている。すなわち、図１３の人物間相関図１２１においては、図５を参照して上述した場合における人物および人物の組み合わせ毎の登場区間がタイムライン上にマーキングされて表示されている。

具体的には、人物間相関図１２１においては、上から順に、人物ａの顔画像Ａが左端に表示されており、その右側に人物ａの登場区間がマーキング(ハッチング)されて表示されている。次に、人物ａの顔画像Ａと人物ｂの顔画像Ｂが左端に表示されており、その右側に人物ａと人物ｂの組み合わせの登場区間がマーキング(ハッチング)されて表示されている。最後に、人物ａの顔画像Ａと人物ｃの顔画像Ｃが左端に表示されており、その右側に人物ａと人物ｃの組み合わせの登場区間がマーキング(ハッチング)されて表示されている。

タイミングt0乃至t1の区間S0およびt3乃至t4の区間S3においては、人物ａと人物ｂとが同時出現しているため、人物ａの顔画像Ａおよび人物ｂの顔画像Ｂの右側の区間S0および区間S4がハッチングされている。タイミングt1乃至t2の区間S1においては、人物ａだけが出現しているため、人物ａの顔画像Ａの右側の区間S1がハッチングされている。

しかしながら、図１３の例の場合、図５に示すタイムライン上に人物ａと人物ｃとか同時出現していないので、人物ａの顔画像Ａと人物ｃの顔画像Ｃの右側のどの区間もハッチングされていない。

以上のように、人物毎のタイムラインだけでなく、人物の組み合わせ毎にタイムラインを用意して、その組み合わせで登場する時間帯をマーキングするようにしたので、人物間相関を把握しやすくなる。

なお、他の人物間相関図の例としては、例えば、指定人物を年代別に分けて、年代別人物間相関図を用いることも可能である。これにより、時間経過とともに変わる人間関係を認識しやすい人物間相関図を提供することが可能となる。

また、登場する顔の数に応じて、タイムラインの高さを変えるとともに、その時間帯に同時に登場する人物の顔画像を表示させるようにしてもよい。

＜３．実施の形態（変形例）＞
[ダイジェスト生成、カット機能]
例えば、表示部２７に表示される人物間相関図１０１において、ユーザが、操作入力部２６を操作することで、顔画像Ａ乃至顔画像Ｃのいずれかを選択する。この選択に対応して、ダイジェスト作成部２９は、選択した人物のみが登場したシーンだけからなるダイジェストを生成し、再生を行うようにしてもよい。

あるいは、人物間相関図１０１において、ユーザが、操作入力部２６を操作することで、顔画像Ａ乃至Ｃの各顔画像の間の関係を表すリンクａｂ、ｂｃ、およびｃａのいずれかを選択する。この選択に対応して、ダイジェスト作成部２９は、選択したリンクが示す複数の人物のみが登場したシーンだけからなるダイジェストを生成し、再生を行うようにしてもよい。

なお、上記説明したダイジェスト生成と同様に、選択した人物または複数人物のみがシーンにカット点を入れて、編集などに再利用しやすい形にすることも可能である。

[映像コンテンツ検索における人物間相関図表示処理]
次に、図１４のフローチャートを参照して、情報処理装置１１の映像コンテンツ検索における人物間相関図表示処理について説明する。図１４の例においては、人物名をキーとした映像コンテンツ検索の際に、人物名が入力されると、その人物を中心とする人物間相関図を表示する例について説明する。

例えば、ユーザが操作入力部２６を操作して、人名を入力する。入力された人名は、表示制御部２５を介して、検索部２８に供給される。これに対応して、検索部２８は、ステップＳ１４１において、人物間相関度データベース２４から相関度データを取得する。ここで、相関度データを取得する範囲は、ユーザが所有する全ての動画像であってもよいし、撮影時期や撮影場所で制限することも可能である。

検索部２８は、ステップＳ１４２において、全相関度データに記載されている全人物の顔画像特徴量などを利用して、顔グループ化を行い、ステップＳ１４３において、各人物の重要度および人物間の相関度を取得する。検索部２８は、取得した各人物の重要度および人物間の相関度を表示制御部２５に供給する。

表示制御部２５は、ステップＳ１４４において、取得した各人物の重要度および人物間の相関度に基づいて、キーとして入力された人名（人物）を中心とする人物間相関図を生成し、生成した人物間相関図を、表示部２７に表示させる。

なお、以上の処理は、人名が入力される度に行う必要はなく、事前に行っておき、その結果を用いるようにしてもよい。

また、以上のように表示された人物間相関図において、その人物が選択されると、その人物が単独で登場しているシーンを検索するようにすることもできる。また、人物間相関図において、人物間の関係を示すリンクまたは複数の顔画像が選択されると、そのリンクの両端の人物や選択された複数の人物が共に登場しているシーンを検索するようにすることもできる。このようにすることで、検索の絞り込みを容易にすることができる。

さらに、図１４の例においては、人名をキーとして入力する例を説明したが、その代わりに、ユーザが作成した人物間相関図をキーとして検索するようにしてもよい。すなわち、情報処理装置１１において、人物相関図における顔画像の選択、選択した各顔の大きさ、人物間の関係を示すリンクの幅を設定することができるように構成する。そして、ユーザが作成した人物間相関図における設定された各顔の大きさやリンク幅を、各人物の重要度、各人物間の相関度に変換し、類似するコンテンツを検索するようにしてもよい。

また、人物名をキーとして映像コンテンツの検索を行った結果を提示する際に、映像内におけるその人物の重要度、もしくは複数の人物名をキーとした場合は、各人物の重要度およびそれら人物間の相関度の高い順に検索結果を提示するようにしてもよい。

[個人識別に利用する場合の構成例]
人物間相関度データベース２４に登録されている人物間相関度を個人識別に利用することも可能である。図１５は、この場合の情報処理装置１１の構成例を示す図である。

図１５の例において、情報処理装置１１は、画像データ入力部２１、人物間相関度データベース２４、候補人物取得部２２１、個人識別用辞書データベース２２２、および人物決定部２２３を含むように構成されている。

情報処理装置１１は、画像データ入力部２１および人物間相関度データベース２４を備える点は、図１の情報処理装置１１と共通している。情報処理装置１１は、顔グループ化部２２、人物間相関度取得部２３、表示制御部２５、操作入力部２６、および表示部２７が除去された点が、図１の情報処理装置１１と異なっている。また、情報処理装置１１は、候補人物取得部２２１、個人識別用辞書データベース２２２、および人物決定部２２３が追加された点が、図１の情報処理装置１１と異なっている。

すなわち、画像データ入力部２１は、入力された画像データを、候補人物取得部２２１に供給する。候補人物取得部２２１は、画像内の人物毎に、個人識別用辞書データベース２２２内で類似性が高い人物のリストを取得し、取得したリストを、人物決定部２２３に供給する。

個人識別用辞書データベース２２２は、個人識別のために多数の人名と顔画像特徴量の組を登録している。

人物決定部２２３は、候補人物取得部２２１からのリストと、人物間相関度データベース２４の相関度を用いて、人物を決定する。

[個人識別処理の例]
次に、図１６のフローチャートを参照して、個人識別処理について説明する。例えば、画像データ入力部２１により、入力された画像データが、候補人物取得部２２１に供給されると、この個人識別処理が開始される。

候補人物取得部２２１は、ステップＳ２１１において、候補人物取得処理を行う。すなわち、候補人物取得部２２１は、画像の指定のフレーム内に登場する全ての顔を検出し、検出した各顔に対して、個人識別用辞書データベース２２２を用いて、個人を特定する処理を行う。候補人物取得部２２１は、入力画像内の各顔に対して、個人識別用辞書データベース２２２内の全人物の顔画像特徴量との類似度を評価し、類似度が閾値より大きい場合は、各顔の候補人物としてリストに追加する。候補人物取得部２２１は、取得したリストを、人物決定部２２３に供給する。

人物決定部２２３は、ステップＳ２１２において、候補人物取得部２２１により取得された各顔のリストに基づいて、それぞれ人物を決定する処理を行う。この処理について、図１７を参照して説明する。

図１７の例においては、画面内に２つの顔が登場する場合の例が示されている。

顔(画像)Ａの候補者が人物１と人物５の２人であることを示すリストと、顔（画像）Ｂの候補者が人物３、人物２、人物６の３人であることを示すリストとが、候補人物取得部２２１で取得される。

人物決定部２２３は、人物間相関度データベース２４から顔Ａと顔Ｂとのそれぞれの候補者間の相関度を取得する。なお、このとき取得される相関度は、同時出現区間取得部５２により取得されたものであることが望ましい。

図１７の例においては、顔Ａが人物１で顔Ｂが人物３である場合の候補者間の相関度は、0.1であり、顔Ａが人物５で顔Ｂが人物３である場合の候補者間の相関度は、0.0である。顔Ａが人物１で顔Ｂが人物２である場合の候補者間の相関度は、0.2であり、顔Ａが人物５で顔Ｂが人物２である場合の候補者間の相関度は、0.0である。顔Ａが人物１で顔Ｂが人物６である場合の候補者間の相関度は、0.8であり、顔Ａが人物５で顔Ｂが人物６である場合の候補者間の相関度は、0.3である。

この場合、人物１と人物６での組み合わせが最も相関度が高くなるので、人物決定部２２３は、顔Ａが人物１で、顔Ｂが人物６であると決定する。人物決定部２２３は、このように、最終的な人物は、それぞれの組み合わせの中から最も相関度の大きい組み合わせを選択するように決定する。

また、図１８に示されるように、組み合わせの決定には、人物毎の類似度を各組み合わせの相関度に乗じた値を用いてもよい。

図１８の例においては、顔Ａが人物１で顔Ｂが人物３である場合の候補者間の相関度は、0.1であり、人物１の類似度が0.9で、人物３の類似度が0.7である。したがって、顔Ａが人物１で顔Ｂが人物３である場合の評価値は、0.1に、0.9と0.7とを乗じた値である0.063となる。顔Ａが人物５で顔Ｂが人物３である場合の候補者間の相関度は、0.1であり、人物５の類似度が0.6で、人物３の類似度が0.7である。したがって、顔Ａが人物１で顔Ｂが人物３である場合の評価値は、0.0に、0.7と0.6とを乗じた値である0.0となる。

顔Ａが人物１で顔Ｂが人物２である場合の候補者間の相関度は、0.2であり、人物１の類似度が0.9で、人物２の類似度が0.6である。したがって、顔Ａが人物１で顔Ｂが人物２である場合の評価値は、0.2に、0.9と0.6とを乗じた値である0.108となる。顔Ａが人物５で顔Ｂが人物２である場合の候補者間の相関度は、0.0であり、人物５の類似度が0.6で、人物２の類似度が0.6である。したがって、顔Ａが人物１で顔Ｂが人物２である場合の評価値は、0.0に、0.6と0.6とを乗じた値である0.0となる。

顔Ａが人物１で顔Ｂが人物６である場合の候補者間の相関度は、0.8であり、人物１の類似度が0.9で、人物６の類似度が0.5である。したがって、顔Ａが人物１で顔Ｂが人物６である場合の評価値は、0.8に、0.9と0.5とを乗じた値である0.36となる。顔Ａが人物５で顔Ｂが人物６である場合の候補者間の相関度は、0.3であり、人物５の類似度が0.6で、人物６の類似度が0.8である。したがって、顔Ａが人物１で顔Ｂが人物６である場合の評価値は、0.3に、0.6と0.8とを乗じた値である0.09となる。

人物決定部２２３は、このようにして、評価値を全組み合わせに対して求め、これらの評価値の最も高い組み合わせを選択するように決定する。図１８の例の場合、人物１と人物６での組み合わせが最も評価値が高くなるので、人物決定部２２３は、顔Ａが人物１で、顔Ｂが人物６であると決定する。

なお、図１８の例においては、相関度に類似度を乗算する例を説明したが、相関度に類似度を組み合わせた評価値であれば、その組み合わせの計算は、乗算に限らない。

以上のように、個人識別に相関度を用いることにより、もっとも類似した人物を割り当てるため、偶然の一致による間違いが発生することがあった従来と比較して、個人識別の性能を向上させることができる。

以上のごとく、本技術によれば、複数の人物が画面内に同時に登場せずに、複数のカメラで個々に撮影され時間的に交互に登場するような場合においても、正しく人物間の相関度を取得することができる。さらに、それをもとに作成する人物間相関図は、コンテンツ内の人物の相関度をより正確に表したものとなる。したがって、コンテンツの内容理解の容易化を図ることができる。

例えば、特開２００７−２８１６８０号公報においては、動画内に登場する人物の顔と登場区間を分かりやすくするための表示がなされることが記載されているが、この技術では、人物毎の登場区間はわかりやすくなるだけであった。これに対して、本技術によれば、人物間相関図が表示されるので、人物間の関係性を容易に理解することができる。

また、本技術によれば、単一動画像内の時間帯別や複数動画像の撮影時期別それぞれで指定人物を中心とする人物間相関図を表示することができるため、時間推移と共に変わる人間関係を容易に理解することができる。

さらに、本技術によれば、映像検索時のキー入力の補助として、人物間相関図を用いることで、操作性の向上を図ることができる。また、人物相関関係を用いることによって、検索結果表示の順番制御による検索精度向上を図ることができる。

また、本技術によれば、個人識別に人物相関情報を用いることで、個人識別の性能向上を図ることができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。

コンピュータ３００において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロホンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、
前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、
前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部と
を備える情報処理装置。
（２） 前記相関度算出部は、
オブジェクト毎に出現区間を求める出現区間取得部と、
前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが同時に出現する頻度から相関度を求める同時出現相関度算出部と、
前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが時間的に遷移して出現する頻度から相関度を算出する遷移出現相関度算出部と
を備える前記（１）に記載の情報処理装置。
（３） 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図におけるオブジェクト間の関係度を示すリンクの幅の表示を制御する
前記（１）または（２）に記載の情報処理装置。
（４） 前記同時出現相関度算出部は、前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、オブジェクト毎の重要度も算出し、
前記表示制御部は、前記同時出現相関度算出部により算出されたオブジェクト毎の重要度に基づいて、前記オブジェクト間相関図におけるオブジェクトを示すオブジェクト画像の大きさの表示を制御する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図の動画表示を制御する
前記（１）または（２）に記載の情報処理装置。
（６） 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図のタイムライン上への表示を制御する
前記（１）または（２）に記載の情報処理装置。
（７） 前記表示制御部により表示が制御されたオブジェクト相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンからなるコンテンツのダイジェストを作成するダイジェスト作成部を
さらに備える前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記表示制御部により表示が制御されたオブジェクト間相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンにカット点を挿入するカット点挿入部をさらに備える
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（９） 前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度を記憶する人物間相関度データベースを
さらに備える前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） オブジェクト名を入力する入力部と、
前記入力部により入力されたオブジェクト名に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とを
さらに備え、
前記表示制御部は、前記検索部により検索されたオブジェクトを中心とするオブジェクト間相関図の表示を制御する
前記（９）に記載の情報処理装置。
（１１） 前記オブジェクト間相関図の設定を入力する入力部と、
前記入力部により入力されたオブジェクト間相関図の設定に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とを
さらに備える前記（９）に記載の情報処理装置。
（１２） 画像内に登場する全ての顔を検出し、検出した顔に対して、前記人物相関度データベースを用いて類似度が大きい人物を追加していくことで、候補人物リストを取得する候補人物取得部と、
前記候補人物取得部により取得された候補人物リストを用いて、人物を決定する人物決定部と
をさらに備える前記（９）に記載の情報処理装置。
（１３） 前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度を評価値として、人物を決定する
前記（１２）に記載の情報処理装置。
（１４） 前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度と人物毎の類似度とを組み合わせた値を評価値として、人物を決定する
前記（１２）に記載の情報処理装置。
（１５） 前記オブジェクトの一部は、顔画像であり、前記オブジェクトは、人物である
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 情報処理装置が、
コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行い、
グループ化が行われたオブジェクト間の相関度を算出し、
算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する
情報処理方法。
（１７） コンピュータを、
コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、
前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、
前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部と
して機能させるプログラム。

１１ 情報処理装置， ２１ 画像データ入力部， ２２ 顔グループ化部， ２３ 人物間相関度取得部， ２４ 人物間相関度データベース， ２５ 表示制御部， ２６ 操作入力部， ２７ 表示部， ２８ 検索部， ２９ ダイジェスト作成部， ５１ 出現区間取得部， ５２ 同時出現区間取得部， ５３ 遷移出現区間取得部， １０１，１０２−１乃至１０２−３，１１１,１２１ 人物間相関図， ２２１ 候補人物取得部， ２２２ 個人識別用辞書データベース， ２２３ 人物決定部

Claims (17)

1. コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、
   前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、
   前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部と
   を備える情報処理装置。
2. 前記相関度算出部は、
   オブジェクト毎に出現区間を求める出現区間取得部と、
   前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが同時に出現する頻度から相関度を求める同時出現相関度算出部と、
   前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、複数のオブジェクトが時間的に遷移して出現する頻度から相関度を算出する遷移出現相関度算出部と
   を備える請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図におけるオブジェクト間の関係度を示すリンクの幅の表示を制御する
   請求項２に記載の情報処理装置。
4. 前記同時出現相関度算出部は、前記出現区間取得部により取得されたオブジェクト毎の出現区間に基づいて、オブジェクト毎の重要度も算出し、
   前記表示制御部は、前記同時出現相関度算出部により算出されたオブジェクト毎の重要度に基づいて、前記オブジェクト間相関図におけるオブジェクトを示すオブジェクト画像の大きさの表示を制御する
   請求項２に記載の情報処理装置。
5. 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図の動画表示を制御する
   請求項２に記載の情報処理装置。
6. 前記表示制御部は、前記同時出現相関度算出部および前記遷移出現相関度算出部により所定の時間間隔毎に算出されたオブジェクト間の相関度に基づいて、前記オブジェクト間相関図のタイムライン上への表示を制御する
   請求項２に記載の情報処理装置。
7. 前記表示制御部により表示が制御されたオブジェクト相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンからなるコンテンツのダイジェストを作成するダイジェスト作成部を
   さらに備える請求項２に記載の情報処理装置。
8. 前記表示制御部により表示が制御されたオブジェクト間相関図におけるオブジェクト画像またはオブジェクト間の関係度を示すリンクの選択に応じて、選択されたオブジェクト画像または選択されたリンクで接続される複数オブジェクトが出現するシーンにカット点を挿入するカット点挿入部を
   さらに備える請求項２に記載の情報処理装置。
9. 前記同時出現相関度算出部および前記遷移出現相関度算出部により算出されたオブジェクト間の相関度を記憶する人物間相関度データベースを
   さらに備える請求項２に記載の情報処理装置。
10. オブジェクト名を入力する入力部と、
    前記入力部により入力されたオブジェクト名に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とを
    さらに備え、
    前記表示制御部は、前記検索部により検索されたオブジェクトを中心とするオブジェクト間相関図の表示を制御する
    請求項９に記載の情報処理装置。
11. 前記オブジェクト間相関図の設定を入力する入力部と、
    前記入力部により入力されたオブジェクト間相関図の設定に対応するオブジェクトの相関度を前記人物相関度データベースから検索する検索部とを
    さらに備える請求項９に記載の情報処理装置。
12. 画像内に登場する全ての顔を検出し、検出した顔に対して、前記人物相関度データベースを用いて類似度が大きい人物を追加していくことで、候補人物リストを取得する候補人物取得部と、
    前記候補人物取得部により取得された候補人物リストを用いて、人物を決定する人物決定部と
    をさらに備える請求項９に記載の情報処理装置。
13. 前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度を評価値として、人物を決定する
    請求項１２に記載の情報処理装置。
14. 前記人物決定部は、前記候補人物取得部により取得された候補人物リストの相関度と人物毎の類似度とを組み合わせた値を評価値として、人物を決定する
    請求項１２に記載の情報処理装置。
15. 前記オブジェクトの一部は、顔画像であり、前記オブジェクトは、人物である
    請求項２に記載の情報処理装置。
16. 情報処理装置が、
    コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行い、
    グループ化が行われたオブジェクト間の相関度を算出し、
    算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する
    情報処理方法。
17. コンピュータを、
    コンテンツからオブジェクトの一部を検出し、オブジェクト毎のグループ化を行うグループ化部と、
    前記グループ化部によりグループ化が行われたオブジェクト間の相関度を算出する相関度算出部と、
    前記相関度算出部により算出されたオブジェクト間の相関度に基づいて、オブジェクト間の相関を表すオブジェクト間相関図の表示を制御する表示制御部と
    して機能させるプログラム。

Images