JP2011123657A - 情報収集システム及び方法 - Google Patents

Abstract

【課題】顔画像を登録処理を行うことなく、カメラで撮影された人物の家族構成を精度良く推定し、家族構成に応じたコンテンツを配信する。
【解決手段】顔検出部２２は、カメラ１３の撮影画像から、人間の顔を検出して、顔画像ファイルを作成し、顔認識部２３は、認識を行い、カメラ１３で撮影されているのがどの人物であるかを判定し、年齢判定部２５はその人物の年齢判定を行い、性別判定部２６はその人物の性別判定を行う。家族構成推定部３３は、カメラ１３で撮影された人物の年齢と性別とから、親子関係となる人物の年齢層差から親子関係を仮定し、兄弟姉妹関係となる人物の年齢層差から子供世代の兄弟姉妹関係を確定し、男性と女性との一対となる人物の性別から、夫婦関係を確定することで、家族構成を推定する。この家族構成に応じて、コンテンツサーバから配信するコマーシャルを決定する。
【選択図】図２

Description

本発明は、視聴者の家族構成を収集するのに用いて好適な情報収集システム及び方法に関する。

近年、ディジタル放送やブロードバンド回線などの通信技術が発達し、このような通信技術に基づいて動画などのコンテンツをリアルタイム又はオンデマンドに配信する放送事業が本格的な成長段階に差し掛かっている。

地上波を利用した従来のテレビジョン放送は、一方向の放送であるため、コマーシャルを配信する際、すべての視聴者に同一のコマーシャルを配信している。これに対して、インターネット放送事業では、リアルタイムかつオンデマンドなコンテンツ配信が可能であり、テレビジョン放送を視聴している人の年齢や性別、趣味や嗜好等に応じて、広告効率の高いコマーシャルを配信することが可能である。例えば、特許文献１には、地上波や衛星やケーブル等を媒体とした放送で、画像認識処理によってユーザを特定し、特定されたユーザの嗜好情報に基づき番組を提示することを可能にする番組選択装置が記載されている。

また、テレビジョン放送のコンテンツの中には、不適切な番組やコマーシャルで、子供に見せたくないものもある。インターネット放送事業では、例えば特許文献２に示されているように、テレビジョン視聴者を顔認識によって特定し、特定された人物の視聴履歴情報に基づきテレビジョンの視聴制限の必要性を判定して、必要な視聴制限を行うことが可能である。

また、カメラで撮影した画像から顔検出を行い、年齢や性別を推定するための技術としては、例えば、非特許文献１に示されるようなものが提案されている。
さらに、特許文献３には、「虹彩・網膜認証」「顔認証」システムを搭載し、テレビジョンを視聴しているユーザがどういう人物であるか、テレビジョン画面にユーザの目・顔が向いていて実際にテレビジョンを視聴しているかといった情報を放送局側にフィードバックできるようなテレビジョン受信機及び視聴情報収集機器が示されている。

特開２００６−３１１１２１号公報 特開２００８−１８２３９２号公報 特開２００８−２７８３０２号公報

インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｏｋｉ．ｃｏｍ／ｊｐ／ｆｓｅ／＞

上述のように、インターネット放送事業では、テレビジョン放送の視聴者の年齢や性別、趣味や嗜好に応じて、コマーシャル等のコンテンツを配信することが可能である。ところが、従来では、視聴者を個人という単位で捉えており、家族という単位で視聴者を捉えてコンテンツの配信が行われていない。視聴者を家族という単位で捉え、家族構成に応じたコンテンツの配信が行えれば、より効率的にコンテンツ配信を行える。

例えば、２５歳の女性に対して旅行というジャンルのコマーシャルを配信する場合、独身女性なら、ハイセンスでラグジュアリーなホテルの人気が高く、一方、同じ２５歳の女性でも、小さい子供がいる場合には、子供用の施設の整っているホテルを望んでいることが考えられる。したがって、同じ年齢、性別の人物でも、家族構成によって、レコメンドする広告は異なってくる。

また、同じ人物に対するコマーシャルであっても、その人物が個人でテレビジョンを見ているときと、家族全体でテレビジョンを見ているときとでは、レコメンドするコマーシャルは異なってくる。例えば、その家族の父が一人でテレビジョンを見ている場合には、個人で楽しむゴルフのコマーシャル等が有効であるが、家族でテレビジョンを見ている場合には、レジャーランド等の家族全体で楽しむ場所のコマーシャルが有効になる。

視聴者の家族構成は、視聴者の情報を予め放送事業者に登録しておけば、この登録情報から簡単に知ることができる。しかしながら、全ての視聴者の情報を集めて登録することは難しい。
そこで、本願出願人は、テレビジョン受信機の前にカメラを設け、このカメラで視聴者を撮影し、この撮影画像から視聴者の年齢や性別を推定して、家族構成を推測することを検討している。カメラの撮影画像から視聴者の年齢を推定するには、例えば、非特許文献１に示されているようなものを用いることができる。

しかしながら、カメラの撮影画像から視聴者の年齢を推定して、家族構成を推定するためには、以下のような解決しなければならない課題がある。
先ず、従来の顔認識では、周囲の環境やカメラの撮影画像によっては、認識精度が著しく低下するという課題がある。すなわち、精度の高い顔認識を行うためには、テレビジョン受信機の前に設けられたカメラに向かって視聴者の顔が真っ直ぐに向けられており、また、視聴者の顔がある程度大きく撮影されている必要がある。また、周囲が暗かったり、明る過ぎたりすると、高い精度で顔認識を行うことはできない。家族を構成する人物がカメラの前に立ち、周囲環境の条件を整えて、顔画像を撮影して登録するようにすれば、顔画像の解析は簡単に行える。しかしながら、この場合には、視聴者に顔画像を登録させる処理が必要になる。

次に、家族を構成する人物だけを抽出して家族構成推定を行わないと、家族構成推定結果が誤りになるという課題がある。すなわち、カメラの前にいるのは、常に家族を構成する人物であるとは限らない。来客が訪問し、カメラの前にいる可能性もある。したがって、家族構成推定を行う場合には、カメラで撮影された人物から、来客を除いて、家族構成推定を行う必要がある。しかしながら、カメラの撮影画像から得られる情報からでは、直接、来客がどうかは判定できない。

さらに、複雑な家族構成を考慮しなければならないという課題がある。すなわち、家族を構成する人数は、様々である。３世代家族や、おじ、おばとの同居等、家族構成には様々の形態がある。したがって、様々な人数や家族形態を考慮して、家族構成推定を行う必要がある。

上述の課題を鑑み、本発明は、顔画像を登録処理を行うことなく、カメラで撮影された人物の家族構成を精度良く推定できる情報収集システム及び方法を提供することを目的とする。

上述した課題を解決するために、本発明は、人物の顔が撮影された顔画像に基づいて、人物の年齢と性別とを判定する顔認識システムから出力される判定結果が入力される情報収集システムであって、定められた家庭内の複数の人物の顔画像を撮影するカメラと、カメラによって撮影された顔画像に基づいて、顔認識システムによって判定され出力される判定結果が記憶される顔データベースと、判定結果が示す年齢及び性別に応じて家庭内の家族構成の関係を辿り家族構成を判定する家族構成推定手段とを備えることを特徴とする。

また、本発明は、家族構成推定手段が、顔データベースに記憶された判定結果によって示される複数の人物の年齢層差および性別に基づいて人物間の親子関係および兄弟姉妹関係を判定し、年齢層差および性別に基づいて、男性と女性との一対となる人物の夫婦関係を判定することを特徴とする。

また、本発明は、家族構成推定手段が、複数の人物の外出パターンを判定し、外出パターンと、カメラによって人物が撮影された時間帯とに基づいて人物が来客であるか否かを判定し、家族構成を判定する際に、来客であると判定された人物を除外することを特徴とする。

また、本発明は、カメラによって撮影された顔画像に基づく顔認識の難易度を判定する認識難易度判定手段を有し、家族構成推定手段が、家族構成を判定する際に、認識難易度判定手段により判定された難易度が所定値以上であり顔認識が困難であると判定された顔画像を除外することを特徴とする。

また、本発明は、認識難易度判定手段が、カメラで撮影された顔画像の属性により、認識難易度を判定することを特徴とする。

また、本発明は、情報収集システムが、定められた複数のコンテンツのうちコンテンツ要求に応じたコンテンツを配信するコンテンツサーバと、コンテンツを受信して表示するテレビジョン受信機とに接続され、家族構成推定手段によって判定された家族構成と、カメラによって撮影された顔画像とに基づいて、テレビジョン受信機に送信するコンテンツを判定し、判定したコンテンツのコンテンツ要求をコンテンツサーバに送信するレコメンド処理部を備えることを特徴とする。

また、本発明は、撮影された人物の顔画像に基づいて、人物の年齢と性別とを判定する顔認識システムから出力される判定結果が記憶される顔データベースを備える情報収集システムの情報収集方法であって、カメラが、定められた家庭内の複数の人物の顔画像を撮影するステップと、顔認識システムが、カメラによって撮影された顔画像に基づいて判定結果を出力するステップと、家族構成推定手段が、判定結果が示す年齢及び性別に応じて家庭内の家族構成の関係を辿り家族構成を判定するステップとを備えることを特徴とする。

本発明によれば、カメラで撮影された人物の顔認識を行い、顔認識された人物の年齢や性別から、兄弟姉妹関係、夫婦関係、親子関係等の家族構成の関係を辿り、その人物の家族構成の推定を行うようにしている。これにより、顔認識の際に参照する顔画像をあらかじめ視聴者に登録することなく、複雑な家族構成の場合でも、高い精度で、家族構成を推定できる。

また、本発明によれば、コンテンツ配信システムにおいて、カメラで撮影された人物の顔認識を行い、顔認識された人物の年齢や性別から、家族構成を推定することで、実際にコンテンツを視聴している人の年齢や性別、家族構成、嗜好に応じて、その視聴者に適したコマーシャル等のコンテンツを配信することができる。

本発明の第１の実施形態のネットワーク放送システムを示すブロック図である。 本発明の第１の実施形態における家族構成推定システムの機能構成を示すブロック図である。 本発明の第１の実施形態における家族構成推定システムにおける認識難易度の判定の説明図である。 本発明の第１の実施形態における家族構成推定システムにおける顔データベースの説明図である。 本発明の第１の実施形態における家族構成推定システムの処理を示すフローチャートである。 本発明の第１の実施形態における家族構成の推定処理の概要を示すフローチャートである。 本発明の第１の実施形態における来客判定処理の在宅・外出時間のパターンの説明図である。 本発明の第１の実施形態における来客判定処理での在宅・外出時間のパターンの説明図である。 本発明の第１の実施形態における来客判定処理で来客確率を判定するためのグラフである。 本発明の第１の実施形態における来客判定処理を示すフローチャートである。 本発明の第１の実施形態における顔認識ログの説明図である。 本発明の第１の実施形態における家族指数テーブルの説明図である。 本発明の第１の実施形態における家族構成の推定処理の概要を示すフローチャートである。 本発明の第１の実施形態における家族構成の推定処理での親子関係を仮定する処理の説明に用いるフローチャートである。 本発明の第１の実施形態における家族構成の推定処理での子供世代の兄弟姉妹関係を確定する処理を示すフローチャートである。 本発明の第１の実施形態における家族構成の推定処理での親子関係及び夫婦関係を確定する処理を示すフローチャートである。 本発明の第１の実施形態における家族構成の推定処理での未確定の人物を確定する処理を示すフローチャートである。 本発明の第１の実施形態における家族関係の説明図である。 本発明の第１の実施形態における家族構成データベースの説明図である。 本発明の第１の実施形態における家族関係の推定処理の説明図である。 本発明の第１の実施形態におけるレコメンド基礎データベースの説明図である。 本発明の第１の実施形態における視聴者パターンリストの説明図である。 本発明の第１の実施形態におけるレコメンドリストの説明図である。 本発明の第１の実施形態におけるレコメンド処理部での処理を示すシーケンス図である。 本発明の第２の実施形態のネットワーク放送システムを示すブロック図である。 本発明の第２の実施形態におけるパーソナルコンピュータの構成を示すブロック図である。 本発明の第２の実施形態におけるＰＣ操作履歴データベースの説明図である。 本発明の第２の実施形態における嗜好データの説明図である。 本発明の第３の実施形態における家族構成推定システムの構成を示すブロック図である。 本発明の第３の実施形態での処理の説明に用いるフローチャートである。 本発明の第４の実施形態のネットワーク放送システムを示すブロック図である。 本発明の第４の実施形態におけるカメラ配置の説明図である。

以下、本発明の実施の形態について図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態のネットワーク放送システムを示すものである。このネットワーク放送システムは、コンテンツプロバイダ１のコンテンツサーバ５から通信ネットワーク３を介してネットワーク通信でテレビジョン放送を行うものである。通信ネットワーク３は、双方向のネットワーク例えばインターネットである。

各家庭２には、テレビジョン受信機１１が設置されている。このテレビジョン受信機１１はネットワーク対応のテレビジョン受信機で、家庭２内のコンテンツの受信端末となるものである。テレビジョン受信機１１は、ホームネットワーク４に接続されている。ホームネットワーク４は、家庭内の機器を接続するネットワークである。このホームネットワーク４には、テレビジョン受信機１１の他、パーソナルコンピュータ１２等、種々の機器を接続することができる。
通信ネットワーク３とホームネットワーク４との間には、ホームゲートウェイ６が設けられている。ホームゲートウェイ６は、通信ネットワーク３とホームネットワーク４との間で、ルータ、プロトコル変換、ファイアウォールなどの機能を提供している。

本発明の第１の実施形態においては、テレビジョン受信機１１にカメラ１３が設置されている。また、ホームゲートウェイ６に、家族構成推定システム２０が設けられている。
コンテンツプロバイダ１のコンテンツサーバ５からは、通信ネットワーク３を介して、テレビジョン放送が配信される。このテレビジョン放送は、通信ネットワーク３、ホームゲートウェイ６、ホームネットワーク４を介して、テレビジョン受信機１１に送られる。テレビジョン受信機１１には、コンテンツサーバ５から配信されてきたコンテンツ（映像、動画）が映し出される。

また、カメラ１３では、テレビジョン受信機１１を見ている人物の画像が撮影される。このカメラ１３の撮影画像がホームネットワーク４を介してホームゲートウェイ６に送られる。ホームゲートウェイ６の家族構成推定システム２０により、このカメラ１３で撮影した動画像から、テレビジョン受信機１１を見ている人物が判定されると共に、視聴者の年齢や性別から、家族構成が推測される。コンテンツサーバ５からテレビジョン受信機１１にコマーシャルのコンテンツを配信する際には、家族構成推定システム２０で推定された家族構成の情報を用いて、家族構成に応じたコマーシャルを配信させることができる。

次に、本発明の第１の実施形態における家族構成推定システム２０について説明する。家族構成推定システム２０は、カメラ１３の撮影画像から顔画像を検出し、この顔画像から、顔認識を行い、人物を判定し、その人の年齢や性別を推定し、これに基づいて、家庭２の家族構成推定を行うものである。

カメラ１３で撮影した動画像から、視聴者の年齢を推定して、家族構成を推定する場合、精度の高い顔認識を行うためには、テレビジョン受信機１１の前に設けられたカメラ１３に向かって視聴者の顔が真っ直ぐに向けられており、また、視聴者の顔がある程度大きく撮影されている必要がある。また、周囲が暗かったり、明る過ぎたりすると、高い精度で顔認識を行うことはできない。
そこで、本発明の第１の実施形態における家族構成推定システム２０では、顔画像の属性から、顔認識の認識難易度を判定し、認識しにくい顔データを除外することで、顔認識の精度の向上を図るようにしている。ここで、顔画像の属性とは、例えば、顔の向き、明るさ、顔の大きさ等である。

また、カメラ１３の前にいるのは、常に家族を構成する人物であるとは限らない。来客が訪問し、カメラ１３の前にいる可能性もある。家族構成推定を行う場合には、カメラ１３で撮影された人物から、来客を除いて、家族構成推定を行う必要がある。
そこで、本発明の第１の実施形態における家族構成推定システム２０では、統計的手法を用いて、カメラ１３の前にいるのが来客かどうかを判定し、カメラ１３で撮影された人物から、来客を除いて、家族構成推定を行うようにしている。

また、家族を構成する人数は、様々である。したがって、様々な人数や家族形態を考慮して、家族構成推定を行う必要がある。
そこで、本発明の第１の実施形態における家族構成推定システム２０では、顔認識された人物の年齢や性別から、論理的手法により、兄弟姉妹関係、夫婦関係、親子関係等の家族構成の関係を辿り、その人物の家族構成の推定を行うようにしている。これにより、複雑な家族構成の場合でも、高い精度で、家族構成を推定できる。

図２は、本発明の第１の実施形態における家族構成推定システム２０の機能構成を示すブロック図である。図２に示すように、家族構成推定システム２０は、顔認識システム２１を含んでいる。顔認識システム２１は、カメラの撮影画像から顔検出を行い、表情や、年齢、性別を推定するものである。顔認識システム２１としては、例えば、非特許文献１に示されるようなものを用いることができる。

顔認識システム２１は、顔検出部２２と、顔認識部２３と、表情判定部２４と、年齢判定部２５と、性別判定部２６と、顔向き判定部２７と、明るさ判定部２８と、顔の大きさ判定部２９と、顔データベース３０と、ログ３１とを有している。
顔検出部２２は、カメラ１３の撮影画像から、人間の顔を検出して、顔画像ファイルを作成する。

顔認識部２３は、顔検出部２２からの顔画像ファイルに基づき、顔認識を行う。顔認識部２３に対して、表情判定部２４と、年齢判定部２５と、性別判定部２６と、顔向き判定部２７と、明るさ判定部２８と、顔の大きさ判定部２９と、顔データベース３０と、ログ３１とが設けられる。
顔認識部２３は、顔検出部２２から顔画像ファイルが送られると、認識を行い、カメラ１３で撮影されているのがどの人物であるかを判定する。表情判定部２４は、カメラ１３で撮影されている人物の表情判定を行う。年齢判定部２５は、カメラ１３で撮影されている人物の年齢判定を行う。性別判定部２６は、カメラ１３で撮影されている人物の性別判定を行う。

また、顔認識部２３で顔認識を行う際に、顔向き判定部２７で顔の向きが判定され、明るさ判定部２８で周囲の明るさが判定され、顔の大きさ判定部２９でカメラ１３の撮影画像中の顔の大きさが判定される。これらの判定結果は認識難易度判定部３２に送られる。認識難易度判定部３２は、顔向き判定部２７、明るさ判定部２８、顔の大きさ判定部２９からの判定出力を基に、顔認識の認識難易度を判定する。本実施形態では、このように顔の向き、明るさ、大きさに基づいて認識難易度を判定する例を説明するが、顔画像において認識難易度の判定基準となるこの他の属性を判定し、判定出力に基づいて認識難易度の判定を行なうようにしても良い。

認識難易度判定部３２は、例えば、顔の向きが横向きの場合には、認識しにくいと判定する。また、認識難易度判定部３２は、周囲が暗い場合や明る過ぎる場合には、認識しにくいと判定する。また、認識難易度判定部３２は、顔画像が小さい場合や大きすぎる場合には、認識しにくいと判定する。認識難易度判定部３２の判定結果は、顔データベース３０に送られる。

具体的な認識難易度の設定としては、認識難易度判定部３２は、例えば、以下の条件を満たした時、一定以上の認識し易いさがあると判定する。
・正面向きを０度とし、左向きを−、右向きを＋として角度表示した場合、顔の向きが±１０度以内である。
・明るさを０〜１００で表したとき、明るさが６０以上９０以下の範囲である。
・顔を覆う正方形の一辺をピクセル値で表示した場合、顔の大きさが６０以上２００ピクセル以下である。

また、認識難易度を判定するためには、図３に示すように、顔の向き、明るさ、顔の大きさ等の顔画像の属性に対して、得点を設定して処理するようにしても良い。すなわち、認識難易度判定部３２は、顔の向きについては、図３（Ａ）に示すように、０度なら１０点、＋５度又は−５度なら８点、＋１０度又は−１０度なら３点に設定する。明るさについては、図３（Ｂ）に示すように、６０〜７０なら６点、７０〜８０なら１０点、８０〜９０なら３点に設定する。顔の大きさについては、図３（Ｃ）に示すように、６０〜７０ピクセルなら４点、８０〜１２０ピクセルなら８点、１２０〜１６０なら１０点、１６０〜２００ピクセルなら３点に設定する。そして、認識難易度判定部３２は、例えば、顔の向き、明るさ、顔の大きさの得点の合計を計算し、その合計値がある得点以上なら、一定以上の認識し易さがあると判定する。また、単純な合計値ではなく、顔の向きを、明るさや顔の大きさよりも優先して評価するようにしても良い。その他、評価の方法は、種々考えられる。

図２において、顔データベース３０には、図４に示すように、個人番号、顔画像ファイル名、顔の向き、明るさ、顔の大きさ等からなる顔データが蓄積される。ログ３１には、顔認識を行った時刻と、個人番号とが対応して蓄積される。
家族構成推定部３３は、顔認識部２３での認証結果と、顔データベース３０の蓄積データと、ログ３１の蓄積データを用いて、家族構成を推定する。家族構成推定部３３により推定された家族構成のデータは、家族構成データベース３４に送られて保存される。

レコメンド処理部３５は、レコメンドするコマーシャルの処理を行うものである。レコメンド処理部３５には、時間データ発生部３６からの時間データ、天気データベース３７からの天気データ、レコメンド基礎データベース３８からのレコメンド基礎データ、嗜好データベース３９からの嗜好データと共に、顔認識システム２１で認識された顔認識データ、家族構成データベース３４からの家族構成データが送られる。

コンテンツサーバインタフェース部４０は、通信ネットワーク３とホームネットワーク４との間のインタフェース機能を持つ。また、このコンテンツサーバインタフェース部４０は、コンテンツサーバ５とのインタフェース機能も持つ。

図５は、図２に示す家族構成推定システム２０の処理を示すフローチャートである。図５において、顔検出部２２は、テレビジョン受信機１１に設置したカメラ１３が撮影した動画より顔を検出し、顔画像ファイルを作成する（ステップＳ１）。顔検出部２２で顔画像ファイルを作成すると、顔認識部２３は、顔検出部が作成した顔画像ファイルを利用して顔の認識処理を行い、認識した顔が顔データとして顔データベース３０に登録されているか否かを判定する（ステップＳ２）。

ステップＳ２で、認識した顔が顔データとして顔データベース３０に登録されていないと判定されると、顔向き判定部２７、明るさ判定部２８、顔の大きさ判定部２９は、顔画像の顔向き、明るさ、顔の大きさを調べ、認識難易度判定部３２へ通知する（ステップＳ３）。認識難易度判定部３２は、顔の向き、明るさ、顔の大きさにより、顔画像の認識難易度を調べ、一定以上の認識し易さか否かを判定する（ステップＳ４）。

ステップＳ４で、認識難易度判定部３２が一定値よりも認識し難いと判定した場合には、ステップＳ１に処理を戻す。ステップＳ４で、認識難易度判定部３２が一定値よりも認識し易いと判定した場合には、認識難易度判定部３２は、顔データベース３０のテーブルに、顔画像ファイル名、顔の向き、明るさ、顔の大きさを書き込み、顔データとして登録する（ステップＳ５）。

ステップＳ２で、認識した顔が顔データとして顔データベース３０に登録されていると判定されると、顔向き判定部２７、明るさ判定部２８、顔の大きさ判定部２９は、顔画像の顔向き、明るさ、顔の大きさを調べ、認識難易度判定部３２へ通知する（ステップＳ６）。認識難易度判定部３２は、顔の向き、明るさ、顔の大きさにより、検出した顔画像と既に登録済みの顔画像との認識難易度を比較し、登録済みの顔画像よりも認識し易いか否かを判定する（ステップＳ７）。そして、登録済みの顔画像よりも認識し易いと判定した場合、認識難易度判定部３２は、検出した顔データを登録済みの顔データと入れ替え、顔データベース３０のテーブルを更新する（ステップＳ８）。

ステップＳ５で、顔認識部２３は、顔データを登録し、又は、ステップＳ８で、顔データを更新したら、顔認識部２３は、誰の顔を何時何分に検出したか等をログ３１を書き込む（ステップＳ９）。そして、一定期間（例えば1週間程度）経過したかどうかを判定し、一定期間経過していなければ、ステップＳ１に処理を戻す。

以上の処理を繰り返していくことで、顔データベース３０には、検出した顔データの顔画像ファイル名、顔の向き、明るさ、顔の大きさが蓄積され、ログ３１には、誰の顔を何時何分に検出したかが蓄積されていく。
ステップＳ１０で、一定期間（例えば1週間程度）経過したと判定されると、家族構成推定部３３は、ログ３１を解析し、顔データとして登録された人物がカメラに映っている時間帯や滞在時間を考慮し、来客か否かを判断する（ステップＳ１１）。次に、家族構成推定部３３は、顔認識部２３へ家族の年齢・性別の判定を依頼し、判定結果を受信する（ステップＳ１２）。家族構成推定部３３は、家族の年齢・性別をもとにして、家族構成を推定し、家族構成データを作成する（ステップＳ１３）。

次に、家族構成推定部３３での家族構成の推定処理について更に詳述する。図６は、家族構成推定部３３での家族構成の推定処理の概要を示すフローチャートである。図６に示すように、家族構成推定部３３での処理は、統計的手法により来客推定を行う処理（ステップＳ５１（図５におけるステップＳ１１に対応））と、来客を除いた人物の中から、年齢や性別により、家族構成を推定する処理（ステップＳ５２（図５におけるステップＳ１３に対応））とに分かれる。

なお、これらの処理に入る前処理として、本発明の第１の実施形態では、認識難易度判定部３２において、顔の向き、明るさ、顔の大きさにより、一定以上の認識し易さかどうかを判定し、一定値の認識し易さに到達しない場合のデータは除外している。したがって、顔認識、年齢判定、性別判定結果は、信頼性が高いものとなっている。

先ず、ステップＳ５１の来客推定処理について説明する。家族には、在宅・外出時間のパターンがある。例えば、勤務している人物なら、朝、家を出て勤務先に行き、夜、勤務先から帰宅すると仮定する。子供なら、朝、家を出て学校に行き、夕方、学校から帰宅すると仮定する。専業主婦なら、一日中、家の中にいると仮定する。これが、家族の在宅・外出時間のパターンである。また、来客が存在する時間帯は、この家族の在宅・外出時間のパターンに関連している。例えば、子供の友達なら、子供が学校から帰ってくる夕方に、来客が集中する。また、来客は、家族に比べて、滞在時間は短時間である。このような家族の在宅・外出時間のパターンや、来客の存在時間のパターンに基づいて、統計的手法により、カメラで撮影した画像から認識された人物が来客かどうかを推定し、判定する。

例えば、家族の在宅・外出時間については、アンケート調査等による解析結果から、図７及び図８に示すように、パターンＰ１〜Ｐ３の３種類のパターンがあることが分かったとする。図７は、パターンＰ１からＰ３と家族形態との対応関係を示すものであり、図８（Ａ）〜図８（Ｃ）は、各パターンで来客が存在する可能性の高い時間帯を示すものである。

図７に示すように、パターンＰ１は、父母が共に就労しているか又は片親で就労しており、学校に行っている児童や学生がいない家庭のパターンである。図８（Ａ）に示すように、このようなパターンＰ１の場合には、平日では、朝から夜まで、家族を構成する全ての人物は勤務先におり、不在である。そして、来客のある時間帯Ｔ１は、平日では、夜勤務先から帰ったから後の時間となる。また、来客頻度は少ない。

図７に示すように、パターンＰ２は、学校に行っている児童や学生がおり、父母が共に就労しているか又は片親で就労している家庭のパターンである。このようなパターンＰ２の場合には、図８（Ｂ）に示すように、平日では、子供は朝から夕方まで学校に行っており、朝から夜まで父母は勤務先におり、その間、不在になる。そして、来客のある時間帯Ｔ２は、平日では、子供が帰ってから後の時間となる。また、子供の年齢層が上がるほど、遅くの時間まで来客が存在する可能性がある。

図７に示すように、パターンＰ３は、専業主婦や、老人、未就学児がいるような、パターンＰ１やＰ２には当てはまらない任意の組み合わせの場合である。このようなパターンＰ３の場合には、図８（Ｃ）に示すように、特定の在宅、外出のパターンはない。また、来客のある時間帯Ｔ３は、昼間の広い時間帯に亘る。

このような家族の在宅・外出時間のパターンの解析から、来客確率を求めることができる。図９は、来客の確率を判定するための３次元グラフである。この例は、図７及び図８におけるパターンＰ２の場合のグラフを示している。図９において、Ｘ軸は滞在時間を示し、Ｙ軸は検出開始時刻を示し、Ｚ軸は来客である確率を示している。

図９のグラフによれば、滞在時刻が１５時頃に、来客である確率のピークがある。滞在時刻が６時から１０時、又は、１９時以降の場合には、来客である可能性は低くなる。滞在時刻が１５時頃でも、その滞在時間が６０分を越えるような場合には、来客である確率は低くなる。来客の確率を判定するための３次元グラフでは、他のパターンの場合についても同様にして作成できる。

図９に示すような来客確率のグラフが作成できれば、これを用いて、来客推定を行うことができる。図１０は、来客判定処理を示すフローチャートである。
図１０において、来客判定処理では、家族構成推定部３３は、家族の在宅・外出時間のパターンがパターンＰ１〜Ｐ３のどのパターンであるかを判定する（ステップＳ１０１）。パターンの判定は、例えば、以下のようにして行うことができる。

抽出した顔認識ログ（図１１参照）の情報により、各曜日の０時から２４時まで１時間毎の顔認識回数をカウントし、各時間帯の顔認識回数を表す表を作成する。顔認識ログには、図１１に示すように、個人を識別する個人番号と、顔認識された時刻とが格納されている。

例えば、勤務時間帯である１０：００〜１７：００に顔認識回数０の日が、５日程度あればパターンＰ１と判断できる。そのうち、１０：００〜１７：００に顔認識回数が０でない日（曜日）が休日、それ以外の日（曜日）を出勤日と判断できる。学校にいる時間帯である１０：００〜１５：００に顔認識回数が０であり、かつ勤務時間帯である１５：００〜１７：００に顔認識回数が０でない日が５日程度あれば、パターンＰ２と判断できる。そのうち、１０：００〜１５：００に顔認識回数が０でない日（曜日）が休日、それ以外の日（曜日）を登校日と判断できる。これらのいずれにも該当しない場合には、パターンＰ３と判断できる。パターンＰ３では、平日でも在宅のため、休日か否かの判断は不要である。

ステップＳ１０１で、パターンが判定できたら、家族構成推定部３３は、顔認識ログを参照し（ステップＳ１０２）、認識した時刻の来客確率が予め定められた閾値よりも低いかどうかを判定する（ステップＳ１０３）。来客確率の閾値は、図９に示したグラフに基づいて取得できる。

ステップＳ１０３で、顔認識された時刻が来客確率の高い時刻であれば、家族構成推定部３３は、滞在時間が定められた閾値を超えて長いかどうかを判定する（ステップＳ１０４）。ステップＳ１０３で、顔認識された時刻が来客確率の高い時刻であり、ステップＳ１０４で、滞在時間が短いと判定された場合には、来客である確率が高い。この場合には、家族構成推定部３３は、ログ３１の情報の終了か否かを判定し（ステップＳ１０５）、ログの終了でなければ、ステップＳ１０２に戻る。

ステップＳ１０３で、顔認識された時刻が来客確率が低い時刻なら、家族である確率が高い。また、ステップＳ１０３で、顔認識された時刻が来客確率の高い時刻であると判定された場合でも、ステップＳ１０４で、滞在時間が長いと判定された場合には、家族である確率が高い。この場合には、家族構成推定部３３は、家族指数テーブル（図１２参照）の家族指数を加算して（ステップＳ１０６）、ログ３１の情報の終了か否かを判定し（ステップＳ１０５）、ログ終了でなければ、ステップＳ１０２に戻る。

ステップＳ１０５で、ログ３１の情報の終了になったと判定されたら、家族指数テーブル（図１２）から、一定値未満の家族指数の人を来客と判定して（ステップＳ１０７）、処理を終了する。
以上のように、家族構成推定部３３では、統計的手法を用いて、カメラ１３の前にいるのが来客かどうかを判定することができる。

次に、図６におけるステップＳ５２の家族構成を推定する処理について説明する。家族構成を推定する処理では、年齢や性別により、家族を構成する人物の兄弟姉妹関係、夫婦関係、親子関係等の家族構成の関係を辿り、家族構成を推定している。家族を構成する人物について、兄弟姉妹関係、夫婦関係、親子関係を論理的に解析すると、以下のようになる。

兄弟姉妹関係の論理的解析
（ａ）．兄弟姉妹関係となる人物の年齢層差は、０又は１０である（但し、年齢層は、０歳代の年齢層（０歳〜９歳）、１０歳代の年齢層（１０歳〜１９歳）、２０歳代の年齢層（２０歳〜２９歳）、…、のように、１０歳毎の年齢層である）。
多くの場合、兄弟姉妹は、２〜５歳の年齢差であるが、１０歳以上離れている場合もある。よって、年齢層差は０又は１０である。希に、２０歳以上の年の差の兄弟姉妹も存在するが、それは例外とする。

（ｂ）．一家族に存在する兄弟姉妹関係の集合数は、０又は１である。
多くの場合、同一の父母の子供であるので、兄弟姉妹関係の集合数は１である。夫婦だけで、子供がいない場合には、兄弟姉妹関係の集合数は０になる。
（ｃ）．兄弟姉妹関係と夫婦関係とは同時には成立しない。
兄弟姉妹が夫婦になることはないので、兄弟姉妹関係と夫婦関係とは同時に成立しない。

（ｄ）．ある人物と兄弟姉妹となる人物の兄弟姉妹となる人物は、その人物にとっても、兄弟姉妹となる人物である。
例えば、長男、次男、三男の兄弟の場合、長男と次男とが兄弟で、次男と三男が兄弟なら、長男と三男は兄弟である。
（ｅ）．一家族で兄弟姉妹関係がある場合には、その兄弟姉妹関係となる人物に対して、親子関係となる人物が必ず存在する。
一般的に、子供だけの家族は希であり、子供がいれば、その親がいる。

夫婦関係の論理的解析
（ｆ）．夫婦関係となる人物の年齢層差は、０、１０、又は２０である（但し、年齢層は、０歳代の年齢層（０歳〜９歳）、１０歳代の年齢層（１０歳〜１９歳）、２０歳代の年齢層（２０歳〜２９歳）、…、のように、１０歳毎の年齢層である）。
一般的に、夫婦の年齢差は、２０歳以下である。希に、３０歳以上の年の差の夫婦も存在するが、それは例外とする。
（ｇ）．夫婦関係となる人物の年齢層は、２０歳代以上である（但し、年齢層は、０歳代の年齢層（０歳〜９歳）、１０歳代の年齢層（１０歳〜１９歳）、２０歳代の年齢層（２０歳〜２９歳）、…、のように、１０歳毎の年齢層である）。
希に、１０代の夫婦もあるが、それは例外とする。

（ｈ）．一家族に存在する夫婦関係の数は、０，１，又は２である。
１家族で一組の夫婦であるが、祖父母や、おじ、おばの夫婦と同居している場合がある。

（ｉ）．夫婦関係と兄弟姉妹関係とは同時に成立しない。
夫婦関係になっている人物同士が兄弟姉妹の関係になることはない。
（ｊ）．夫婦関係は、必ず、男性と女性との一対となる人物から構成される。
一般的に、夫婦のうちのどちらかは男性で、どちらかは女性である。

親子関係の論理的解析
（ｋ）．親子関係となる人物の年齢層差は、２０，３０，４０の何れかである（但し、年齢層は、０歳代の年齢層（０歳〜９歳）、１０歳代の年齢層（１０歳〜１９歳）、２０歳代の年齢層（２０歳〜２９歳）、…、のように、１０歳毎の年齢層である）
一般的に、親子の年齢差は、２０歳以上である。希に、年齢差が２０歳未満の親子もあるが、それは例外とする。
（ｌ）．親子関係は、親となる人物の集合と、子となる人物の集合の一対となる集合とから構成される。
親は、母と父との集合である。子供は、兄弟姉妹の集合となる。両親とその子供は対になる。

（ｍ）．親の集合は、夫婦関係をなす人物を要素とする集合である、又は、片親のみを要素とする集合である。
両親は夫婦関係である。また、片親の場合もある。
（ｎ）．子の集合は、兄弟姉妹関係をなす人物を要素とする集合、又は、一人の子供のみを要素とする集合である。
子供は、男だけの兄弟か、女だけの姉妹か、男と女の兄弟姉妹か、一人の男若しくは女である。

なお、以上に説明した論理的解析は、一般的に考えられるもので、全ての家族について網羅するものではない。現実的には、家族形態は、更に多種に渡る。この例では、家族形態に応じてコンテンツを提供するような場合に十分な論理が挙げられているが、更に、多数の家族形態に対応するような論理を考察するようにしても良い。

次に、上述の論理解析を基に、年齢や性別から、家族を構成する人物の兄弟姉妹関係、夫婦関係、親子関係等の家族構成の関係を辿り、家族構成を推定する処理（図６におけるステップＳ５２）について説明する。

ステップＳ５２の家族構成の推定処理は、図１３に示すように、更に、親子関係を仮定する処理（ステップＳ２０１）と、子供世代の兄弟姉妹関係を確定する処理（ステップＳ２０２）と、親子関係及び夫婦関係を確定する処理（ステップＳ２０３）と、その他の関係を確定する処理（ステップＳ２０４）に分けられる。

図１４は、ステップＳ２０１の親子関係を仮定する処理を示すものである。この処理では、上述の（ｋ）で示した、「親子関係となる人物の年齢層差は、２０，３０，４０の何れかである」という論理に基づいて、親子関係を仮定している。
図１４において、家族構成推定部３３は、家族構成データベース３４（図１９参照）から家族を構成する人物のデータを個人番号の順に抽出し（ステップＳ３０１）、その人物の年齢層に２０歳を加えた数以上の年齢層の人物がいるかどうかを判定する（ステップＳ３０２）。その人物の年齢層に２０歳を加えた数以上の年齢層の人物がいる場合には、家族構成推定部３３は、その人物を親であると仮定する（ステップＳ３０３）。子から親への関係を仮定できたら、その反対に、親から子への関係を仮定する（ステップＳ３０４）。そして、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ３０５）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ３０６）、ステップＳ３０１に戻る。

ステップＳ３０２で、その人物の年齢層に２０歳を加えた数以上の年齢層の人物がいない場合には、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ３０５）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ３０６）、ステップＳ３０１に戻る。

ステップＳ３０１〜ステップＳ３０６の処理を繰り返すことで、年齢層に２０歳を加えた数以上の年齢層の人物が親として仮定される。ステップＳ３０５で、その家庭の全ての人物についての処理が終了したら、家族構成推定部３３は、ステップＳ２０１の親子関係を仮定する処理は終了し、ステップＳ２０２の子供の世代の兄弟姉妹関係を確定する処理に入る。

図１５は、図１３におけるステップＳ２０２の子供世代の兄弟姉妹関係を確定する処理を示すフローチャートである。この処理では、上述の（ａ）で示した、「兄弟姉妹関係となる人物の年齢層差は、０又は１０である」という論理に基づいて、兄弟姉妹関係を確定している。また、２０歳代未満の人物を対象とすることで、その家庭で子供世代の兄弟姉妹関係を確定している。

図１５において、家族構成推定部３３は、家族構成データベース３４（図１９参照）から家族を構成する人物のデータを個人番号順に抽出し（ステップＳ４０１）、その人物の年齢層が０歳代又は１０歳代かどうかを判定する（ステップＳ４０２）。ステップＳ４０２で、その人物の年齢層が０歳代又は１０歳代でなければ、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ４０３）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ４０４）、ステップＳ４０１に戻る。

ステップＳ４０２で、その人物が０歳代又は１０歳代なら、家族構成推定部３３は、その人物と年齢層の差が０又は１０の年齢層の人物がいるかどうかを判定する（ステップＳ４０５）。ステップＳ４０５で、年齢層の差が０又は１０の年齢層の人物がいる場合には、その人物を兄弟姉妹であると確定し（ステップＳ４０６）、兄弟姉妹の関係を確定できたら、その反対に、兄弟姉妹関係を確定する（ステップＳ４０７）。ここでは、兄弟姉妹関係にあると確定した人物のうち、年齢がより上である人物が男性であれば兄、女性であれば姉とする。また、年齢がより下である人物が男性であれば弟、女性であれば妹とする。そして、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ４０３）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ４０４）、ステップＳ４０１に戻る。

ステップＳ４０５で、年齢層の差が０又は１０の年齢層の人物がいない場合には、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ４０３）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ４０４）、ステップＳ４０１に戻る。

ステップＳ４０１〜ステップＳ４０７の処理を繰り返すことで、年齢層の差が０又は１０の人物が子供世代での兄弟姉妹として確定される。ステップＳ４０３で、その家庭の全ての人物についての処理が終了したら、家族構成推定部３３は、ステップＳ２０２の子供世代の兄弟姉妹関係を確定する処理は終了し、ステップＳ２０３の親子関係及び夫婦関係を確定する処理に入る。

図１６は、図１３におけるステップＳ２０３の親子関係及び夫婦関係を確定する処理を示すフローチャートである。この処理では、上述の（ｉ）で示した、「親子関係は、親となる人物の集合と、子となる人物の集合の一対となる集合とから構成される」という論理に基づいて、親子関係を確定し、上述の（ｊ）で示した、「夫婦関係は、必ず、男性と女性との一対となる人物から構成される」という論理に基づいて、夫婦関係を確定している。

図１６において、家族構成推定部３３は、家族構成データベース３４（図１９参照）から家族を構成する人物のデータを個人番号順に抽出し（ステップＳ５０１）、その人物が兄弟姉妹として確定しているかどうかを判定する（ステップＳ５０２）。ステップＳ５０２で、その人物が兄弟姉妹として確定していなければ、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ５０３）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ５０４）、ステップＳ５０１に戻る。

ステップＳ５０２で、その人物が兄弟姉妹として確定しているなら、家族構成推定部３３は、他の兄弟姉妹と共通する父母候補の中から最も若い男女を父母として子と親の関係を確定する（ステップＳ５０５）。子と親の関係が確定できたら、その反対に、親と子関係を確定する（ステップＳ５０６）。そして、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ５０３）、その家族の全ての人物について処理を行っていなければ、次の個人番号の人物に進み（ステップＳ５０４）、ステップＳ５０１に戻る。

ステップＳ５０１〜ステップＳ５０６の処理を繰り返すことで、子供と親との親子関係が確定される。ステップＳ５０３で、その家庭の全ての人物についての親子関係が確定したら、家族構成推定部３３は、確定した父母について、夫婦関係を確定し（ステップＳ５０７）、親子関係及び夫婦関係を確定する。親子関係及び夫婦関係を確定する処理（ステップＳ２０３）を終了すると、家族構成推定部３３は、その他の関係を確定する処理（ステップＳ２０４）に入る。

図１３におけるステップＳ２０４のその他の関係を確定する処理は、上述の処理では確定できなかった人物についての家族構成を推定するものである。上述の処理では確定できなかった人物の例として、ここでは、おじ、おばを確定する処理について説明する。
図１７は、未確定の人物をおじ、おばとして処理するためのフローチャートである。図１７において、家族構成推定部３３は、家族構成データベース３４（図１９参照）から家族を構成する人物のデータを個人番号の順に抽出し（ステップＳ６０１）、その人物が夫婦関係の確定した人物かどうかを判定する（ステップＳ６０２）。ステップＳ６０２で、その人物が夫婦関係の確定した人物でなければ、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ６０３）、その家族の全ての人物について処理を行っていなければ、家族構成推定部３３は、次の個人番号の人物に進み（ステップＳ６０４）、ステップＳ６０１に戻る。

ステップＳ６０２で、その人物が夫婦関係の確定した人物なら、家族構成推定部３３は、未確定の人物はその人物の兄弟（その人物の子供にとっておじ、おば）であると確定する（ステップＳ６０５）。そして、家族構成推定部３３は、その家庭の全ての家族について処理を行ったかどうかを判定し（ステップＳ６０３）、その家族の全ての人物について処理を行っていなければ、次の人物に進み（ステップＳ６０４）、ステップＳ６０１に戻る。
なお、ここでは、未確定の人物をその人物の兄弟（その人物の子供にとっておじ、おば）としているが、これは一例である。上述の（ａ）〜（ｎ）で示した論理等に基づいて、更に、家族関係を推定することが可能である。

図１３〜図１７に示したような処理により、家族関係が推定できることについて、例を挙げて説明する。先ず、図１８に示すような、父３９歳、母３６歳、姉（長女）９歳、弟（長男）７歳の４人家族を例に挙げて説明する。
このような家族構成の場合には、カメラ１３の撮影画像から、顔認識部２３で顔認識が行われた結果、図１９（Ａ）に示すように、４人の人物のデータが家族構成データベース３４に登録される。また、図１９（Ｂ）に示すように、家族構成データベース３４の個人番号「０００１」は父の撮影画像、個人番号「０００２」は母の撮影画像、個人番号「０００３」は姉の撮影画像、個人番号「０００４」は弟の撮影画像であるとする。また、年齢判定部２５及び性別判定部２６により、父は「３０歳代」、「男」、母は「３０歳代」、「女」、姉は「０歳代」、「女」、弟は「０歳代」、「男」と判定されたとする。なお、初期状態では、図１９（Ａ）に示すように、続柄の項目は、全て「未確定」になっている。

図１９（Ａ）に示したような家族構成データの場合には、図１３〜図１７に示した処理により、以下のように、家族関係が推定される。
先ず、図１４に示した親子関係の仮定処理では、ステップＳ３０１〜ステップＳ３０６の処理を繰り返すことで、年齢層に２０歳を加えた数以上の年齢層の人物が親として仮定される。図２０（Ａ）は、ステップＳ３０１〜ステップＳ３０６の処理を繰り返すことで仮定された親子関係を示すものである。なお、図２０（Ａ）〜図２０（Ｃ）は、左側欄の人物から見た上側欄の人物の関係（上側欄の人物から見た左側欄の人物との関係）を示している。図においては女性である人物の年齢層の下に下線を付している。ステップＳ３０１〜ステップＳ３０６の処理を繰り返すと、０歳代の姉と０歳代の弟のところで、年齢層に２０歳を加えた数以上となる人物が判定でき、これにより、父と母とを仮定することができる。そして、その反対の関係で、父から見て子供が仮定でき、母から見て子供が仮定できる。

次に、図１５に示した子供世代の兄弟姉妹関係を確定する処理では、ステップＳ４０１〜ステップＳ４０７の処理を繰り返すことで、図２０（Ｂ）に示すように、年齢層の差が０又は１０の人物が姉及び弟として確定される。
次に、図１６に示した親子関係及び夫婦関係を確定する処理では、ステップＳ５０１〜ステップＳ５０６の処理を繰り返すことで、親子関係が確定され、ステップＳ５０７で、夫婦関係が確定される。これにより、図２０（Ｃ）に示すように、父と母との夫婦関係が確定する。
以上のような処理により、家族を構成する人物の関係が確定する。これにより、１９（Ｂ）に示すように、各人物の続柄の項目に、確定した続柄が記述される。

次に、図２におけるレコメンド処理部３５について説明する。前述したように、レコメンド処理部３５は、時間データ、天気データ、基礎データ、嗜好データと共に、顔認識データ、家族構成データを基に、レコメンドするコマーシャルの選択処理を行っている。
時間データは現在の年月日、時分秒の情報である。天気データは、晴れ、曇り、雨等、現在の天候の情報である。

レコメンド基礎データは、各種のデータとコマーシャル番号とを対応させたデータである。図２１は、レコメンド基礎データベース３８の一例である。この例では、家族の人数、子供の人数、年齢、性別、季節、時間帯、天気、ジャンル、詳細ジャンルに応じて、コマーシャル番号が決められる。レコメンド基礎データは、システム提供者がコンテンツプロバイダ１と連携してコンテンツサーバ５上に作成することにより、自動的に家族構成推定システム２０へ配信される。

また、レコメンド処理部３５には、システム提供者により、視聴者パターンリスト及びレコメンドリストが内部的に作成されている。図２２は視聴者パターンリストの一例を示し、図２３はレコメンドリストの一例である。
図２２に示す視聴者パターンリストの例では、母親が一人でテレビジョン受信機を見ている場合を視聴者パターンａとし、家族全員でテレビジョン受信機を見ている場合を視聴者パターンｂとし、その他を視聴者パターンｃとしている。図２３に示すレコメンドリストの例では、視聴者パターンａなら、すなわち、母親が一人でテレビジョン受信機を見ている場合には、ジャンルが買い物なら、子供に似合いそうな服をレコメンドし、ジャンルが料理なら、子供が居る家族に良さそうな夕食の献立をレコメンドする。視聴者パターンｂなら、すなわち、家族全員でテレビジョン受信機を見ている場合には、ジャンルが旅行なら、子供がいる家族に適した旅行プランをレコメンドし、家族構成に応じた宿泊代の見積もり金額を提示する。ジャンルが行楽なら、子供が遊べそうな遊園地をレコメンドする。ジャンルが料理なら、子供が食べられそうな料理を出すおいしい店をレコメンドする。

図２４は、レコメンド処理部３５での処理を示すシーケンス図である。図２４において、顔認識システム２１がカメラ１３の撮影画像を受け取り、カメラ１３に映っている人物が誰の画像かを特定すると、レコメンド処理部３５は、顔認識部２３が特定した個人番号を受け取り、家族構成データベース３４（図１９（Ｂ）参照）の家族構成データを参照して、カメラ１３に映っているのが家族のうちの誰なのかを特定する（ステップＳ７０１）。

次に、レコメンド処理部３５は、視聴者の状況が視聴者のパターンリストのどのパターンに該当するかを判断し、レコメンドリストの該当パターンのレコメンド内容・ジャンル・詳細ジャンルを抽出する（ステップＳ７０２）。
次に、レコメンド処理部３５は、家族構成データベース３４の家族構成データを参照して、家族の人数・子供の人数・各人の年齢／性別を取得する（ステップＳ７０３）。
次に、レコメンド処理部３５は、時間データ発生部３６の時間データを参照して、現在時刻を取得し季節及び時間帯を判断する（ステップＳ７０４）。

次に、レコメンド処理部３５は、天気データベース３７の天気データを参照して、今日の天気情報を取得する（ステップＳ７０５）。
次に、レコメンド処理部３５は、レコメンド内容に応じて、家族の人数・子供の人数・年齢・性別・季節・時間帯・天気・ジャンル・詳細ジャンルの各パラメータに必要に応じてデータを設定し、これらをキーにしてレコメンド基礎データベース３８（図２１参照）よりコマーシャル番号を抽出する（ステップＳ７０６）。

次に、レコメンド処理部３５は、抽出したコマーシャル番号が含まれるコンテンツ要求を、コンテンツサーバインタフェース部４０を介してコンテンツサーバ５へ送信する（ステップＳ７０７、ステップＳ７０８）。
コンテンツサーバ５は、受信したコマーシャル番号に該当するコマーシャル映像をコンテンツデータベース７より取得して、家族構成推定システム２０のコンテンツサーバインタフェース部４０へ送信する（ステップＳ７０９）。
コンテンツサーバインタフェース部４０は、受信したコマーシャル映像をテレビジョン受信機４へ送信する（ステップＳ７１０）。

以上説明した本発明の第１の実施形態によれば、顔認識システム２１を利用して、現在カメラ１３に映っているのは誰かを調べ、映っているのが誰かにより、コマーシャルの内容を変えることができる。
例えば、図１８に示した父３９歳、母３６歳、姉（長女）９歳、弟（長男）７歳の４人家族の構成例の場合には、以下のようにコマーシャルの内容を変えることが考えられる。

母親が一人でテレビジョンを見ている時には、９歳の女の子又は７歳の男の子に似合いそうな服のコマーシャルを配信し、小さい子供が２人いる４人家族に良さそうな夕食の献立をレコメンドするコマーシャルを配信する。また、家族が全員、テレビジョンを見ている時には、大人２人、子供２人の４人家族に適した旅行プランをレコメンドするコマーシャルを配信する。その際、宿泊代の見積金額まで提示可能というメリットがある。あるいは、９歳及び７歳の子供２人が遊べそうな遊園地をレコメンドするコマーシャルを配信したり、９歳及び７歳の子供２人が食べられそうな料理を出すおいしい店をレコメンドするコマーシャルを配信する。

また、本発明の第１の実施形態によれば、時間データ発生部３６と天気データベース３７とが設けられている。これにより、上述の家族構成と共に、月日（季節）や時間帯、天気等も考慮してコマーシャルの内容を変えることができる。
すなわち、例えば、春なので、９歳の女の子又は7歳の男の子に似合いそうな夏服のコマーシャルを配信する。あるいは、夕食の時間帯なので、夕食の献立をレコメンドするコマーシャルは控える。寒い日が続いているので、大人２人、子供２人の４人家族に適したなべ料理をレコメンドする。

以上説明したように、本発明の第１の実施形態では、顔認識の際に参照する顔画像をあらかじめ人が登録することなく、カメラで撮影された画像から、家族構成を推定し、家族構成を考慮して、顔認識システムによって認識した視聴者の状況に応じたコマーシャルを配信することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図２５は、本発明の第２の実施形態を示すものである。図２５において、前述の図１に示した第１の実施形態と同一の部分については、同一の番号を付して、その説明を省略する。図２５に示すように、本発明の第２の実施形態においては、ホームネットワーク４に接続されたパーソナルコンピュータ１２に対してカメラ１４が設けられている。このカメラ１４により、パーソナルコンピュータ１２を使用している人物の顔が撮影され、このカメラ１４の撮影画像から、その人物の顔が認識される。そして、パーソナルコンピュータ１２の使用履歴から、その人物の嗜好データベースが形成される。

図２６は、本発明の第２の実施形態におけるパーソナルコンピュータ１２の機能ブロック図を示すものである。図２６に示すように、パーソナルコンピュータ１２は、顔認識システム５１と、ＰＣ操作履歴作成部５２と、ＰＣ操作検出部５３と、ＰＣ操作履歴データベース５４と、嗜好データ解析部５５と、嗜好データベース５６とを有している。

図２６において、カメラ１４の撮影画像が顔認識システム５１に送られる。顔認識システム５１は、カメラの撮影画像から顔認識を行うもので、顔認識システム５１としては、例えば、非特許文献１に示されるようなものを用いることができる。顔認識システム５１により、カメラ１４の撮影画像から顔認識を行うことで、パーソナルコンピュータ１２の使用者が判定される。顔認識システム５１で特定されたパーソナルコンピュータ１２の使用者の情報は、ＰＣ操作履歴作成部５２に送られる。

また、ＰＣ操作検出部５３により、パーソナルコンピュータ１２の操作が検出される。このＰＣ操作検出部５３の操作検出情報がＰＣ操作履歴作成部５２に送られる。
ＰＣ操作履歴作成部５２は、顔認識システム５１で特定されたパーソナルコンピュータ１２の使用者の情報と、ＰＣ操作検出部５３で検出されたパーソナルコンピュータ１２の操作情報とから、ＰＣ操作履歴のデータを作成して、ＰＣ操作履歴データベース５４に登録する。
ＰＣ操作履歴データベース５４には、図２７に示すように、パーソナルコンピュータ１２の操作内容と、操作時刻と、顔認識システム５１で特定されたパーソナルコンピュータ１２の使用者の情報とが関連して蓄積される。

嗜好データ解析部５５は、ＰＣ操作履歴データベース５４のＰＣ操作履歴のデータに基づいて、各パーソナルコンピュータ１２を操作した各人物毎に、嗜好データを解析し、嗜好データベース５６に蓄積する。すなわち、嗜好データ解析部５５は、ＰＣ操作履歴データベース５４より個人（個人番号）毎のＰＣ操作履歴を時刻順に抽出する。そして、嗜好データ解析部５５は、検索サイトへのアクセスが実行された時のログを抽出し、また、アクセス時刻以降でその時刻近辺において、検索キーワードが入力された時のログを抽出し、また、その中から検索キーワードを抽出する。そして、嗜好データ解析部５５は、抽出した検索キーワードを頻度順にソートして嗜好データを作成する。これにより、図２８に示すような嗜好データが生成される。この嗜好データは、図２に示した家族構成推定システム２０に送られ、家族構成推定システム２０の嗜好データベース３９に送られる。

以上説明したように、本発明の第２の実施形態では、顔認識システム５１でパーソナルコンピュータ１２の使用者を判定し、また、ＰＣ操作検出部５３でパーソナルコンピュータ１２の操作情報を検出し、パーソナルコンピュータ１２の使用履歴から、各パーソナルコンピュータ１２を操作した各人物毎に、嗜好データを解析し、嗜好データとしている。これにより、各人物の嗜好に基づいて、コマーシャルを配信することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。この第３の実施形態では、テレビジョン放送のコンテンツの中には、不適切な番組やコマーシャルで、子供に見せたくないものを、視聴制限できるようにしたものである。
図２９は、本発明の第３の実施形態の家族構成推定システムの構成を示すものである。なお、図２９において、前述の図２に示した第１の実施形態と同一の部分については、同一の番号を付して、その説明を省略する。

本発明の第３の実施形態における家族構成推定システム２０では、カメラ１３の撮影画像から、年齢判定部２５により、視聴者の年齢を判定している。そして、レコメンド処理部３５に対して年齢制限部６１が設けられており、年齢制限部６１により、不適切な番組やコマーシャルの視聴制限が行われる。

図３０は、本発明の第３の実施形態のフローチャートである。図３０において、顔認識システム２１は、テレビジョン受信機１１に設置したカメラ１３が撮影した動画を受け取り、年齢判定部２５は、カメラ１３に映っている人の年齢を判定する（ステップＳ８０１）。
レコメンド処理部３５の年齢制限部６１は、顔認識システム２１が判定した年齢を受け取り、カメラ１３に映っているのが子供だけか、あるいは映っている人の中に子供が含まれるかを判定する（ステップＳ８０２）。カメラ１３に子供が映っていなければ、年齢制限部６１は処理を終了する。

ステップＳ８０２で、カメラ１３に映っているのが子供だけか、あるいは映っている人の中に子供が含まれていれば、レコメンド処理部３５は、視聴者が子供だけであること、あるいは視聴者の中に子供が含まれることをコンテンツサーバインタフェース部４０へ通知する（ステップＳ８０３）。

コンテンツサーバインタフェース部４０は、視聴者が子供だけであること、あるいは視聴者の中に子供が含まれることをコンテンツサーバ５へ通知する（ステップＳ８０４）。コンテンツサーバ５は、子供向けでない不適切なコンテンツを配信しないように、配信制限を行う（ステップＳ８０５）。
以上説明したように、本発明の第３の実施形態では、カメラ１３の撮影画像から、視聴者の年齢を判定することで、子供に対して不適切な番組やコマーシャルの視聴制限を行うことができる。

＜第４の実施形態＞
図３１は、本発明の第４の実施形態を示すものである。図３１において、前述の図１に示した第１の実施形態と同一の部分については、同一の番号を付して、その説明を省略する。この第３の実施形態では、図３１に示すように、玄関１８に、カメラ１５及び１６が設置される。

図３２に示すように、このカメラ１５及び１６は、１台は内向きに、もう１台は外向きに設置されている。カメラ１５及びカメラ１６の撮影画像は、家族構成推定システム２０の顔認識システム２１に送られる。顔認識システム２１により、カメラ１５及び１６で撮影される画像から、顔認識が行われる。

この第４の実施形態では、カメラ１５及び１６により、玄関１８を通る人物が撮影され、このカメラ１５及び１６の撮影画像から、玄関１８を通った人物が誰かが判定できる。そして、カメラ１５及び１６は、１台は内向きに、もう１台は外向きに設置されている。このため、カメラ１５及び１６の画像から、その人物が家の外に出たか、家の中に入ったかを判定できる。

つまり、図３２において、カメラ１６に顔が映っていれば、その人物は外出したと判定できる。また、カメラ１５に顔が映っていれば、その人物は帰宅した判定できる。
この第４の実施形態では、家族構成推定システム２０の顔認識システム２１は、玄関１８付近に設置した２台のカメラ１５及び１６が撮影した動画より、誰の顔を何時何分に検出したかのログを残す。そして、家族構成推定システム２０の顔認識システム２１は、ログを解析し、外出と帰宅を判断して、家族の誰が在宅か不在かを把握する。

また、この第４の実施形態では、レコメンド処理部３５は、ログ解析により家族の誰が在宅か不在かの情報を取得する。そして、レコメンド処理部３５は、視聴者の状況だけでなく、家族の誰が在宅か不在かも考慮して、視聴者のパターンリストから適切なパターンを選択する。
本発明の第４の実施形態では、家族の誰が在宅か不在かを把握し、家族の誰が在宅か不在かに応じて、コマーシャルを配信することができる。

例えば、図１８に示した、父３９歳、母３６歳、姉（長女）９歳、弟（長男）７歳の４人家族の例で説明する。この場合、例えば、父親は家にいるがテレビジョンは見ていない状態で、母親と子供２人がテレビジョンを見ている時でも、大人２人、子供２人の４人家族に適した旅行プランをレコメンドするコマーシャルを配信する。父親が家におらず、母親と子供２人がテレビジョンを見ている時には、９歳の女の子又は７歳の男の子に似合いそうな服のコマーシャルを配信する。
なお、上述の説明では、カメラを２台設置する例を示したが、カメラを１台だけ設置して、移動の方向を画像認識によって判断し、外出か帰宅かを検出する方法でも良い。

以上説明したように、本発明の実施形態によれば、顔の向き、明るさ、顔の大きさ等から、顔認識の認識難易度を判定し、認識しにくい顔データを除外することで、顔認識の精度の向上を図ることができる。また、本発明の実施形態によれば、統計的手法を用いて、カメラ１３の前にいるのが来客かどうかを判定し、カメラ１３で撮影された人物から、来客を除いて、家族構成推定を行うことができる。また、本発明の実施形態によれば、顔認識された人物の年齢や性別から、論理的手法により、兄弟姉妹関係、夫婦関係、親子関係等の家族構成の関係を辿り、その人物の家族構成の推定を行うようにしている。これにより、顔認識の際に参照する顔画像をあらかじめ視聴者に登録させることなく、複雑な家族構成の場合でも、高い精度で、家族構成を推定できる。

また、本発明の実施形態によれば、実際にテレビジョンを視聴している人の年齢や性別、家族構成、嗜好を把握して、その人に適したコマーシャルを配信することができる。また、テレビジョンの視聴者が子供だけ、あるいは視聴者の中に子供が含まれる場合には、子供向けでない不適切なコンテンツを配信しないようにできる。また、コマーシャルを実際に視聴してもらったかどうかやコマーシャルを何人視聴していたか、何歳の人が視聴していたか、男性か女性か、笑顔度はどの程度だったか、どのような家族構成か等の詳細情報を収集することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、顔認識システムを利用し、コマーシャルを何人視聴していたか、視聴者の推定年齢、性別、視聴時の表情、どのような家族構成か等の詳細情報を収集し、コンテンツプロバイダ１へフィードバックし、広告効果の分析を行うことができる。

また、カメラ１３に映っている人を視聴者として判定する際に、顔の向きがカメラに対して正面向きになっているか否かで視聴していたか否かを判断して、本当にテレビジョンを視聴しているかどうかを判定するようにしてもよい。その場合には、テレビジョンの前にいたが、コマーシャルを視聴していなかった人数まで把握できるので、より詳細な情報を収集可能となる。また、コマーシャルを流していた時の笑顔度等の表情を把握することにより、そのコマーシャルの気に入り度合いを推定することも可能である。コマーシャルを流している最中の顔検出数の変化を調べることにより、例えば、「コマーシャルを流している最中にいなくなった」ということを把握することができる。

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより家族構成の判定等の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１：コンテンツプロバイダ
２：家庭
３：通信ネットワーク
４：ホームネットワーク
５：コンテンツサーバ
６：ホームゲートウェイ
７：コンテンツデータベース
１１：テレビジョン受信機
１２：パーソナルコンピュータ
１３〜１６：カメラ
１８：玄関
２０：家族構成推定システム
２１：顔認識システム
２２：顔検出部
２３：顔認識部
２４：表情判定部
２５：年齢判定部
２６：性別判定部
２７：顔向き判定部
２８：明るさ判定部
２９：顔の大きさ判定部
３０：顔データベース
３１：ログ
３２：認識難易度判定部
３３：家族構成推定部
３４：家族構成データベース
３５：レコメンド処理部
３６：時間データ発生部
３７：天気データベース
３８：レコメンド基礎データベース
３９：嗜好データベース
４０：コンテンツサーバインタフェース部
５１：顔認識システム
５２：操作履歴作成部
５３：操作検出部
５４：操作履歴データベース
５５：嗜好データ解析部
５６：嗜好データベース
６１：年齢制限部

Claims (7)

1. 人物の顔が撮影された顔画像に基づいて、前記人物の年齢と性別とを判定する顔認識システムから出力される判定結果が入力される情報収集システムであって、
   定められた家庭内の複数の人物の顔画像を撮影するカメラと、
   前記カメラによって撮影された前記顔画像に基づいて、前記顔認識システムによって判定され出力される前記判定結果が記憶される顔データベースと、
   前記判定結果が示す年齢及び性別に応じて前記家庭内の家族構成の関係を辿り家族構成を判定する家族構成推定手段と
   を備えることを特徴とする情報収集システム。
2. 前記家族構成推定手段は、前記顔データベースに記憶された前記判定結果によって示される前記複数の人物の年齢層差および性別に基づいて前記人物間の親子関係および兄弟姉妹関係を判定し、前記年齢層差および前記性別に基づいて、男性と女性との一対となる人物の夫婦関係を判定する
   ことを特徴とする請求項１に記載の情報収集システム。
3. 前記家族構成推定手段は、前記複数の人物の外出パターンを判定し、当該外出パターンと、前記カメラによって人物が撮影された時間帯とに基づいて当該人物が来客であるか否かを判定し、前記家族構成を判定する際に、来客であると判定された前記人物を除外する
   ことを特徴とする請求項１又は２に記載の情報収集システム。
4. 前記カメラによって撮影された前記顔画像に基づく顔認識の難易度を判定する認識難易度判定手段を有し、
   前記家族構成推定手段は、前記家族構成を判定する際に、前記認識難易度判定手段により判定された前記難易度が所定値以上であり顔認識が困難であると判定された前記顔画像を除外する
   ことを特徴とする請求項１から３の何れかに記載の情報収集システム。
5. 前記認識難易度判定手段は、前記カメラで撮影された顔画像の属性により、前記認識難易度を判定する
   ことを特徴とする請求項４に記載の情報収集システム。
6. 前記情報収集システムは、定められた複数のコンテンツのうちコンテンツ要求に応じたコンテンツを配信するコンテンツサーバと、前記コンテンツを受信して表示するテレビジョン受信機とに接続され、
   前記家族構成推定手段によって判定された前記家族構成と、前記カメラによって撮影された前記顔画像とに基づいて、前記テレビジョン受信機に送信する前記コンテンツを判定し、判定した当該コンテンツのコンテンツ要求を前記コンテンツサーバに送信するレコメンド処理部
   を備えることを特徴とする請求項１から５の何れかに記載の情報収集システム。
7. 撮影された人物の顔画像に基づいて、前記人物の年齢と性別とを判定する顔認識システムから出力される判定結果が記憶される顔データベースを備える情報収集システムの情報収集方法であって、
   カメラが、定められた家庭内の複数の人物の顔画像を撮影するステップと、
   前記顔認識システムが、前記カメラによって撮影された前記顔画像に基づいて前記判定結果を出力するステップと、
   家族構成推定手段が、前記判定結果が示す年齢及び性別に応じて前記家庭内の家族構成の関係を辿り家族構成を判定するステップと
   を備えることを特徴とする情報収集方法。

Images