JP2007235581A - テレビジョン受信装置 - Google Patents

Abstract

【課題】信頼性を考慮した視聴者の確認結果に基づき視聴者の為の動作の制御をする。
【解決手段】テレビジョン受信装置１００では、画像入力部２２７より視聴者の画像データを入力すると、特徴量抽出部２０３にて顔特徴量を抽出し、エリア分割部２１７、サイズ検出部２１９および角度検出部２２１により顔の位置、サイズ、傾き角度を検出する。認証部２０５は、抽出した顔特徴量に基づき本人確認をし、顔の位置、サイズ、傾き角度に基づき当該確認結果の信頼度を算出する。本人確認に成功し、かつ信頼度が高い時には、コンテンツ検索部２０９とコンテンツ出力部２１１により当該視聴者のためのコンテンツがメモリから読み出されて出力される。
【選択図】図１０

Description

本発明はテレビジョン受信装置に関し、特に、視聴者を認識して、認識結果に応じて動作が制御されるテレビジョン受信装置に関する。

カメラを備えて、カメラで撮像された被写体（視聴者）を確認して確認結果に応じたコンテンツを表示するサービスを有するテレビジョン受信装置が提供されている。しかし、表示されるコンテンツは、視聴者に固有のコンテンツである場合が多いから、誤確認されて全くの第３者にコンテンツが許可なく表示されてしまうという惧れがあり、また、誤確認された視聴者は全く関係のないコンテンツが表示されるので、再度、確認してもらうなど使い勝手に優れない。

このような課題を解消するための技術として、特許文献１では、視聴場所から個人を特定して認識精度を向上させている。

また、特許文献２では、複数の顔画像から見え方の変化をモデル化して、モデルとの照合精度の向上が記載されている。

また、特許文献３では、多種類の確認システムを組み合わせて用いることで個人の識別精度を向上させている。

また、特許文献４では、顔が所定の方向を向いたことを検出したときに、撮影動作を行なうようにしている。

また、特許文献５では、撮影された顔画像と、登録されている画像とを比較して、差分を検出して出力するものが開示されている。
特開平０７−２２２２０８号公報 特開２００１−３０７０９６号公報 特開平０７−０９５６２５号公報 特開２００３−２２４７６１号公報 特開２００４−１０４４２６号公報

上述したいずれの特許文献でも、確認または識別の精度を向上させてはいるが、その確認結果または識別結果と、その信頼性とを考慮した技術は提案していない。したがって、上述した課題を確実に解消するために、コンテンツ表示など視聴者に独自の制御は、信頼性の高い認識結果に基づいたものとなるような技術の提供が望まれていた。

それゆえにこの発明の目的は、信頼性を考慮した視聴者の確認結果に基づき視聴者に独自の動作の制御を行なうテレビジョン受信装置を提供することである。

この発明のある局面に従うと、テレビジョン受信装置は、視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、視聴者の撮像により生成された画像データを取得する画像取得手段と、前記画像取得手段により前記画像データが取得されると、前記特徴量記憶部に格納されている顔特徴量と前記画像取得手段により取得された画像データとに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量を用いて、前記認証手段の確認結果の信頼度を検出する信頼度検出手段と、前記認証手段による確認の結果と前記信頼度検出手段により検出された信頼度とに応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備える。

信頼度検出手段は、視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量に関する統計データを算出する統計算出手段を含む。認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量と、統計算出手段により算出されている前記統計データとに基づき、前記信頼度を検出する。

視聴者の体勢を示す特徴量は、視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含み、前記相対位置に応じた特徴量は、前記画像データから検出した視聴者の顔画像の位置であり、前記視聴者の体勢を示す特徴量は、視聴者の姿勢に応じた特徴量を含み、前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズと、前記画像データから検出した視聴者の顔画像の傾き角度を含む。

統計算出手段は、視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量の群の、前記特徴量により規定される特徴空間における位置を前記統計データとして算出する。

信頼度検出手段は、統計データが特徴量の群の前記特徴空間における位置と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量の前記特徴空間における位置との距離を前記信頼度として算出する距離算出手段を含む。テレビジョン受信装置は、信頼度検出手段が検出した信頼度を所定基準と比較して高いか否かを判定する信頼度判定手段をさらに備える。

制御手段は、前記信頼度判定手段により高いと判定された場合に前記認証手段による確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する。

テレビジョン受信装置は、外部から発信された制御信号を受信する受信手段をさらに備え、認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認し、認証手段は、取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する。

この発明の他の局面に従うと、テレビジョン受信装置は、視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、視聴者の撮像により生成された画像データを取得する画像取得手段と、前記画像取得手段により前記画像データが取得されると、前記特徴量記憶部に格納されている顔特徴量と前記画像取得手段により取得された画像データとに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量を用いて、前記認証手段の確認結果の信頼度を検出する信頼度検出手段と、前記認証手段による確認の結果と前記信頼度検出手段により検出された信頼度とに応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備える。

好ましくは、信頼度検出手段は、視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量に関する統計データを算出する統計算出手段を含み、認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量と、前記統計算出手段により算出されている前記統計データとに基づき、前記信頼度を検出する。

好ましくは、視聴者の体勢を示す特徴量は、視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含む。

好ましくは、相対位置に応じた特徴量は、前記画像データから検出した視聴者の顔画像の位置である。

好ましくは、視聴者の体勢を示す特徴量は、視聴者の姿勢に応じた特徴量を含む。
好ましくは、姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズを含む。

好ましくは、姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像の傾き角度を含む。

好ましくは、統計算出手段は、視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量の群の、前記特徴量により規定される特徴空間における位置を前記統計データとして算出し、前記信頼度検出手段は、前記統計データが特徴量の群の前記特徴空間における位置と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量の前記特徴空間における位置との距離を前記信頼度として算出する距離算出手段を含む。

好ましくは、信頼度検出手段が検出した信頼度を所定基準と比較して高いか否かを判定する信頼度判定手段をさらに備えて、制御手段は、前記信頼度判定手段により高いと判定された場合に前記認証手段による確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する。

好ましくは、外部から発信された制御信号を受信する受信手段をさらに備え、前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認する。

好ましくは、認証手段は、取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する。

本発明によれば、視聴者に応じたテレビジョン受信装置の動作を制御する場合には、認証手段による視聴者の顔の特徴量に基づいた確認結果に加えて、当該確認結果の信頼度に応じて動作の制御をしているので、信頼性を考慮した視聴者の確認結果に基づき視聴者に応じた動作の制御を行なうことができる。

信頼度は、視聴者の体勢を示す特徴量を用いて検出されるので、視聴時の体勢は視聴者についてほぼ固定したものであることに鑑みると、視聴者本人でない第３者に当該視聴者に応じた動作の制御がされるという誤動作の発生を抑制することができる。

以下、この発明の実施の形態について図面を参照して説明する。
本実施の形態に係るテレビジョン受信装置（以下、テレビという）には撮像（撮影）の方向が固定の撮像装置（カメラ）が備えられる。当該撮像装置はテレビにより提示される放送番組などの各種コンテンツの視聴者を撮像して静止画を出力するために設けられたものである。ここでは、テレビ視聴する場合には視聴者はテレビの前の椅子などに座って居ると想定されるので、撮像用のレンズは視聴者を撮像することが可能な当該固定した位置の方向に向けられている。

また、ここでは、視聴者はテレビジョン受信装置を、リモコン端末（リモートコントローラ端末）を手元で操作して遠隔制御すると想定する。

また、ここでは、確認された視聴者についてテレビジョン受信装置の動作を制御するための制御データは、出力画像を制御するコンテンツデータとしているが、コンテンツデータに限定されず、画面の明るさ制御のためのデータ、音量制御のデータ、表示画像の比率を変更するデータなどであってもよい。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰返さない。

＜第１の実施の形態＞
図１を参照して、本発明の第１の実施の形態に係るテレビ１００の使用態様について説明する。図１は、部屋１０にテレビ１００が設置されている状態を表わす図である。

部屋１０には、テレビ１００と椅子１１とがそれぞれ配置されている。椅子１１には、視聴者１２が座っている。視聴者１２は、リモコン端末３００を有している。

ここでは視聴者１２は図１のように椅子１１に座っているが、椅子１１がソファであればソファーに寝転んでいる姿勢で視聴していることもあろうし、また、子供であればテレビ１００の画面を見上げる姿勢でみている場合もあろう。しかしながら、一般家庭におけるテレビ１００の位置はある程度決まっており、且つそれを見る視聴者もほぼ固定した椅子１１に座ってお決まりの姿勢で視聴することが多い。そこで、本実施の形態では、視聴時の視聴者とテレビ１００（後述の撮像装置１５０）との相対位置はある程度一定であること、また視聴時の視聴者の姿勢はお気に入りの姿勢が多くある程度決まっていることから、テレビ１００との相対位置に従う後述する顔の位置、ならびに視聴時の姿勢に従うサイズおよび角度の値は、視聴者毎にほぼ一定の範囲に収まると想定している。

テレビ１００は、撮像装置１５０とリモコン信号を受信する受光部１０６とを備える。
図２を参照して、テレビ１００の構成について説明する。図２は、テレビ１００を正面から表わす図である。

テレビ１００は、ディスプレイ１３０と、スピーカ１４０と、撮像装置１５０とを備える。スピーカ１４０は、たとえばステレオ音声の出力が可能なスピーカである。スピーカ１４０の位置は、図２に示されるものに限られない。たとえば、テレビ１００の筐体の側面に配置されてもよい。撮像装置１５０は、たとえばテレビ１００の正面の中心に配置されているが、中心でなくてもよい。

撮像装置１５０は、撮影可能な範囲に存在する被写体を撮影する。被写体には、テレビ１００の視聴者（視聴者の顔）が含まれる。撮像装置１５０は図２に示すようにテレビ１００に内蔵されるものに限定されず、テレビ１００に外付けされるものであってもよい。外付けの場合にはテレビ１００と撮像装置１５０とは有線または無線で通信すると想定する。

図３を参照して、テレビ１００の構成についてさらに説明する。図３は、テレビ１００のハードウェア構成を表わすブロック図である。

テレビ１００は、図２に示される構成に加えて、映像音声信号の放送信号を受信するアンテナ１０２と、アンテナ１０２に接続されて、かつアンテナ１０２を介して受信した放送信号から、選局を指示されたチャンネルで放送される映像音声信号を抽出して出力するチューナ１１４と、図示のない外部装置から与えられる映像音声信号を入力する外部入力部１０４と、リモコン端末３００からの信号を受信する受光部１０６と、手動操作されてテレビ１００に対する指示を入力する操作部１０８と、テレビ１００の動作を制御するＣＰＵ（Central Processing Unit）１１０とメモリ１１２を含む制御部１１３を備える。リモコン端末３００は、テレビ１００の動作を制御するための赤外線光を発する。リモコン端末３００の構成は、後述する。

テレビ１００はさらに、外部入力部１０４とチューナ１１４とに接続され、ＣＰＵ１１０からの信号に基づいて映像音声信号の入力先を外部入力部１０４とチューナ１１４のいずれかに切り換える切換回路１１６と、ＣＰＵ１１０からの信号に基づいて切換回路１１６から出力される信号を映像信号と音声信号とに分離して出力する信号処理回路１２０と、映像を表示するディスプレイ１３０と、与えられる音声信号に基づく音声を出力するスピーカ１４０とを備える。

信号処理回路１２０は、外部入力部１０４とチューナ１１４のいずれか一方からの信号を切換回路１１６を介して入力して、入力信号を映像信号と音声信号とに分離する分離回路１２２と、分離回路１２２から出力された映像信号を処理して出力する映像処理部１２３と、映像処理部１２３から出力された映像信号とＣＰＵ１１０からの信号とに基づいてディスプレイ１３０に表示される画像を生成するためのＯＳＤ（On Screen Display）回路１２４と、分離回路１２２から出力された音声信号を処理してスピーカ１４０に出力する音声処理部１２５を含む。

ＯＳＤ回路１２４はＣＰＵ１１０により起動される間は、ＣＰＵ１１０から与えられるデータ信号による画像が映像処理部１２３から出力される映像信号の画像に重畳して表示されるように処理する。ＣＰＵ１１０により起動が指示されない場合には、映像処理部１２３から出力された映像信号はＯＳＤ回路１２４を通過してディスプレイ１３０に与えられる。

撮像装置１５０は、たとえばＣＣＤ（Charge Coupled Device）を用いたカメラである。ＣＰＵ１１０の制御のもとに撮像装置１５０により撮像がされて出力されたデジタルの画像データは画像メモリ１５２に一旦格納される。画像メモリ１５２に格納される画像データはＣＰＵ１１０の制御の元に２値画像に変換される。

画像データは、撮像装置１５０による撮影によって生成される。あるいは、外部入力部１０４を介して入力されるものであってもよい。

図４には、メモリ１１２の内容例が示される。メモリ１１２は、コンテンツエリア１１２０、特徴パターンエリア１１２１、学習結果エリア１１２、座標空間設定エリア１１２３および分割情報１１２６を格納する分割情報エリア１１２５を含む。コンテンツエリア１１２０、特徴パターンエリア１１２１および学習結果エリア１１２２は、テレビ１００への電源供給が断たれても、その記憶内容が保持されるようなメモリである。

図５には、コンテンツエリア１１２０の内容例が示される。コンテンツエリア１１２０には、テレビ１００を利用する複数の視聴者のそれぞれに対応して、識別データＩＤｊ（ｊ＝１、２、３、…、ｍ）と、１つ以上のコンテンツデータＣＮＴｊと、コンテンツリストＣＮＴＬｉとが関連付けて予め格納される。識別データＩＤｊは、対応の視聴者を一意に識別するためのデータであり、たとえば名前、番号などで示されて、リモコン端末３００または操作部１０８の操作により入力される。コンテンツデータＣＮＴｊは、対応の視聴者を確認することができた場合に、テレビ１００を介して画像または音声で出力されるコンテンツ（情報またはデータ）である。コンテンツデータＣＮＴｊの例としては、対応の視聴者がお気に入りのテレビ番組のデータ、外部入力部１０４を介して入力した映画などのデータ、お気に入りのチャンネルの番組表のデータなどである。番組表のデータはアンテナ１０２を介して受信したＥＰＧ（Electric Program Guide）データに基づきＣＰＵ１１０が作成することで準備される。またコンテンツリストＣＮＴＬｉは関連付けされた１つ以上のコンテンツデータＣＮＴｊのタイトルなどからなるデータである。コンテンツリストＣＮＴＬｉが読出されてディスプレイ１３０に表示されて、表示されたリストから所望のタイトルがリモコン端末３００を操作して指定されると、指定されたタイトルのコンテンツデータＣＮＴｊがコンテンツエリア１１２０から読出されてディスプレイ１３０またはスピーカ１４０を介して出力される。

図６には特徴パターンエリア１１２１の内容例が示される。特徴パターンエリア１１２１には、テレビ１００を利用する複数の視聴者のそれぞれに対応して、特徴パターン１Ｐｊ（ｊ＝１、２、３、…、ｍ）が格納される。特徴パターン１Ｐｊは、対応の視聴者の識別データＩＤｊと特徴パターンデータＣＨＰｊとを関連付けて含む。特徴パターンデータＣＨＰｊは、撮像装置１５０を用いて撮像された視聴者の顔の画像データに基づき抽出された特徴量を示す。特徴量の抽出については後述する。

図７には、学習結果エリア１１２２の内容例が示される。学習結果エリア１１２２には、テレビ１００を利用する複数の視聴者のそれぞれに対応してテーブルＴＡｊ（ｊ＝１、２、３、…、ｍ）が格納される。テーブルＴＡｊは、データＤ１〜Ｄ７を関連付けて含む。データＤ１は対応の視聴者の識別データＩＤｊが予め格納される。データＤ２はトータルデータを示す。データＤ３〜Ｄ６はエリア番号、サイズ、角度および検出回数をそれぞれ示す。データＤ７は後述の統計データを示す。

データＤ３のエリア番号は次のようにして取得する。つまり、撮像装置１５０により撮像して得られた画像データは矩形状の画像を示すデータであると想定した場合に、当該画像について後述のエリア分割部２１７により図８のようなエリア分割が仮想的になされる。画像には矩形の一辺に平行なｘ軸と他辺に平行なｙ軸（ｘ軸とｙ軸は直交する）とを設定した場合に、各軸に平行な辺においてたとえば５等分割する。エリア分割部２１７はこの分割によって得られた複数エリアのそれぞれに一意に番号を割当てる。図８では２５個のエリアに分割されたので‘１’、‘２’、‘３’、・・・、‘２５’の番号が各エリアに当てられてデータＤ３の示すエリア番号としている。なお、分割されたエリアのサイズは、当該画像で検出されうる顔画像の大きさよりも大きいと想定する。

エリア分割部２１７は分割された各エリアについて当該エリアの元の画像における位置を示す位置情報と割当てたエリア番号とを対応付けて有する分割情報１１２６を生成してメモリ１１２の分割情報エリア１１２５に格納する。図８の各エリアの位置情報は、ｘ軸に平行な辺の画素とｙ軸に平行な辺の画素を用いて示される。たとえば、番号１のエリアの位置情報はｘ軸の辺では１番目〜１０番目の画素およびｙ軸に平行な辺では１番目〜１５番目の画素、また番号２のエリアの位置情報は同様にｘ軸について１１番目〜２０番目の画素でｙ軸については１６番目〜３０番目の画素というように、元の画像データの画像の画素を用いて位置が示される。

データＤ４のサイズは、関連付けされたデータＤ３が示す番号のエリアにおいて検出された顔画像のサイズを示す。データＤ５の角度は、関連付けされたデータＤ３が示す番号のエリアにおいて検出された顔画像の傾き角度を示す。データＤ６の検出回数は、関連付けされたデータＤ３のエリアの番号、当該エリアにおいて検出されたデータＤ４が示す顔画像のサイズ、および当該エリアにおいて検出されたデータＤ５が示す顔画像の傾き角度からなる組のそれぞれについて、当該組合せのデータが検出された回数を示す。データＤ２は、テーブルＴＡｊに格納された組のそれぞれのデータＤ６が示す検出回数の総数（トータルデータ）を示す。

データＤ４が示す顔サイズは、顔画像の縦幅または横幅の大きさ（単位は画素）を示す。顔サイズの検出は後述する。

データＤ５が示す角度は、たとえば図９のようにして検出することができる。図９では、あるエリアで検出された顔画像の傾きを検出する態様が模式的に示される。傾き検出は、撮像装置１５０から出力された画像データの画像において仮想的に直交する２本の基準軸Ｂｌ１とＢｌ２を設定する。そして、検出された顔画像における左右の目の端点Ｐ１〜Ｐ４を結んだ直線Ｌと２本の基準軸Ｂｌ１とＢｌ２のいずれか一方とが交差して形成される角の角度θを求めることによって、求めた角度θを検出された顔についての傾き角度としている。なお、１本の直線上に端点Ｐ１〜Ｐ４が位置しない場合には、端点Ｐ１〜Ｐ４のうちの少なくとも２点を結んだ直線と２本の基準軸Ｂｌ１とＢｌ２のいずれか一方とが交差して形成される角の角度を求めることにする。この少なくとも２点は、たとえば点Ｐ１と点Ｐ４というように、予め指定された点である。

図１０には、テレビ１００の機能構成が示される。テレビ１００は、特徴パターン登録部２０１、特徴量抽出部２０３、認証部２０５、コンテンツ検索部２０９、コンテンツ出力部２１１、コンテンツ登録部２１３、学習部２１５、画像入力部２２７、撮像制御部２２９、リモコン指示受付部２３１およびメッセージ出力部２２３を備える。

特徴パターン登録部２０１は特徴パターンエリア１１２１に、複数の視聴者のそれぞれ毎に、その識別データＩＤｊと特徴パターンデータＣＨＰｊとが関連付けされた特徴パターンＩＰｊを格納する。具体的には、テレビ１００が特徴パターン登録モードにあるときに、撮像装置１５０を介して撮像された画像データにおいて特徴量抽出部２０３により視聴者の顔画像データが検出されて、検出された顔画像から特徴量が抽出されるので、抽出された特徴量と、その時点でリモコン指示受付部２３１を介してリモコン端末３００から受信した信号に基づく当該視聴者の識別子とを、特徴パターンデータＣＨＰｊと識別データＩＤｊとして関連付けた特徴パターンＩＰｊを生成して特徴パターンエリア１１２１に格納する。このように、テレビ１００が特徴パターン登録モードにあるときは、視聴者についての特徴パターン１Ｐｊが生成されて特徴パターンエリア１１２１に格納（登録）される。なお、顔画像データの検出と、検出された顔画像からの特徴量の抽出の詳細は後述する。

認証部２０５は、撮像装置１５０により撮像して出力された画像データ中の顔画像について検出された特徴量と特徴パターンエリア１１２１の各特徴パターン１Ｐｊの特徴パターンデータＣＨＰｊの特徴量とに基づいて被写体が登録された正当なものであるかの確認（以下、認証という）の処理を行なう。認証処理は、たとえば検出された特徴量と各特徴パターンデータＣＨＰｊの特徴量とを比較して、その差異を算出することにより行なわれる。この場合、差異が予め定められた範囲（域値）よりも小さい場合には、撮影された被写体（顔）は、予め登録されている視聴者の顔と同一であると確認される（以下、認証に成功するという）。そうでない場合には、登録されていない視聴者の顔が撮像されたと確認されることになる（以下、認証に成功しないという）。認証部２０５は認証に成功した場合には、認証に成功した特徴パターンＣＨＰｊに関連付けされた識別データＩＤｊを特徴パターンエリア１１２１から読出し出力する。また、認証部２０５は、認証処理の確認結果の信頼度を算出するための信頼度算出部２０６と算出された信頼度に基づき信頼度を判定する信頼度判定部２０７を有する。信頼度の算出と判定の詳細は後述する。

コンテンツ検索部２０９およびコンテンツ出力部２１０は、認証部２０５の確認結果と後述の信頼度とに応じて、テレビ１００の動作（コンテンツ出力動作）を制御する制御部に相当する。コンテンツ検索部２０９は、認証部２０５において認証に成功した場合に出力される識別データＩＤｊを入力して、入力した識別データＩＤｊに基づきコンテンツエリア１１２０を検索して、当該識別データＩＤｊに関連付けて格納されているコンテンツリストＣＮＴＬｊを読出して、コンテンツ出力部２１１に出力する。コンテンツ出力部２１１は、与えられるデータに基づく映像または音声を、ディスプレイ１３０またはスピーカ１４０に出力する。

コンテンツ登録部２１３は、テレビ１００のコンテンツ登録モードにおいて、視聴者が指定するコンテンツデータＣＮＴｊを、当該視聴者の識別データＩＤｊと関連付けてコンテンツエリア１１２０に格納（登録）する。なお、ここでは、説明を簡単にするために、各視聴者に対応の識別データＩＤｊ、コンテンツデータＣＮＴｊおよびコンテンツリストＣＮＴＬｊは関連付けされて予めコンテンツエリア１１２０に格納されていると想定する。

学習部２１５は、テレビ１００の学習モードにおいて、視聴者毎に顔の位置、サイズおよび傾き角度のデータをサンプリング（収集）しながら、サンプリングしたデータを学習エリア１１２２の各視聴者毎に予め準備されたテーブルＴＡｊに格納する。以下、これを学習という。なお、学習結果エリア１１２２においては、複数のテーブルＴＡｊのための領域が予め確保されており、当該領域において各視聴者に対応して、当該視聴者の識別データＩＤｊを指すデータＤ１を格納した学習テーブルＴＡｊが生成されて格納される。テーブルＴＡｊが生成された時点では、他のデータＤ２〜Ｄ７はまだ格納されていない。テーブルＴＡｊは対応の視聴者の特徴パターン１Ｐｊが生成されたときに、当該特徴パターン１Ｐｊの識別データＩＤｊを格納するようにして生成あれて格納される。

画像入力部２２７は、撮像装置１５０により撮像して出力された画像データを格納する画像メモリ１５２を含んで構成される。

学習部２１５は、学習モードにおいて画像メモリ１５２に格納された画像データに基づき、前述したようなエリア分割を行なうエリア分割部２１７、エリア分割後の各エリアについて顔画像を検出するとともに検出した位置を出力する顔検出部２１６、顔画像のサイズおよび角度を検出するサイズ検出部２１９および角度検出部２２１、検出回数更新部２２３、テーブル登録部２２５および統計データ算出部２２６を備える。検出回数更新部２２３は、検出された顔画像の認証に成功する毎にデータＤ６が示す検出回数およびデータＤ２が示すトータル回数をカウントアップする。テーブル登録部２２５は、顔検出部２１５、サイズ検出部２１９、角度検出部２２１、検出回数更新部２２３および統計データ算出部２２６により出力されたデータを、データＤ２〜Ｄ７として学習テーブルＴＡｊに格納（登録）する。

撮像制御部２２９は、ＣＰＵ１１０の指示に従い撮像装置１５０の撮像動作を制御する。リモコン指示受付部２３１は受光部１０６に対応しており、リモコン端末３００から送信された赤外線変調された指示信号を受信して、復調し、指示データに変換し出力する。

メッセージ出力部２３３は、ＯＳＤ回路１２４を介して各種メッセージをディスプレイ１３０に出力し、またはスピーカ１４０から出力する。

（顔画像の検出）
顔検出部２１６は、メモリ１５２から読出された画像データに基づいて、被写体の顔に相当する画像領域を抽出（検出）する。この抽出処理を図１１を参照して説明する。図１１には、メモリ１５２に格納された画像データが指す顔画像が概念的に示される。

被写体が図１のようにテレビ１００のディスプレイ１３０の正面に位置した状態で撮像装置１５０により撮像がされると、撮像装置１５０から出力された画像データは、メモリ１５２に格納される。被写体の顔は、肌色の部分とそうでない部分とを含む。たとえば頭髪、眉あるいは瞳は、多くの場合、黒色である。顔検出部２１６はこのような被写体の画像に対してたとえば画像データの２値化処理あるいは濃淡処理を行なうと、濃淡の程度が異なる画像が生成される。

濃淡の程度が異なる画像においては、たとえば、図１１に示されるように、眉１００２ａ，１００２ｂと、瞳１００４ａ，１００４ｂと、鼻１００６と、口１００８とがそれぞれ認識される。メモリ１５２の画像データが指す画像の実際の被写体の像に対する縮尺の値が予め特定されている場合には、たとえば、顔検出部２１６は画像データにおいて認識した目の間隔１０１２と、目の長さ１０１０，１０１４と、口の幅１０１６と、目尻と口の中心部との距離１０１８のそれぞれに該当する画素数を検出して、検出した画素数と縮尺値とに基づき、目の間隔１０１２と、目の長さ１０１０，１０１４と、口の幅１０１６と、目尻と口の中心部との距離１０１８のそれぞれを算出する。また、認識された眉１００２ａ，１００２ｂと、瞳１００４ａ，１００４ｂと、鼻１００６と、口１００８の位置も同様にして算出される。算出された情報は一旦メモリ１１２の所定領域に格納される。

この場合、たとえば間隔１０１２の値と間隔１０１８の値とをそれぞれ左右方向の情報、上下方向の情報としてメモリ１１２の所定領域に格納することにより、撮像装置１５０の撮像により出力された画像において被写体（顔）の画像が検出できたことが明示されるとともに、左右方向および上下方向の情報に基づき顔画像が画像全体のどの位置にいるかも容易に特定することができる。また、顔検出の処理後に左右方向の情報、上下方向の情報がメモリ１１２の所定領域に格納されていない場合には、撮像装置１５０の撮像により出力された画像において被写体（顔）の画像が検出できなかったことが明示される。メモリ１１２の上述の左右方向の情報、上下方向の情報が格納される所定領域は、顔の検出開始がされる毎に初期化されると想定する。

なお、顔の特徴点は、前述のものに限られず、目、鼻、口その他の顔の認識技術において通常使用されるものであればよい。

角度検出部２２１は、角度検出のために用いる図９の点Ｐ１〜Ｐ４の位置を、顔検出部２１６により算出されてメモリ１１２に格納された距離と位置の情報を用いて算出する。

サイズ検出部２１９は、顔検出部２１６により算出されてメモリ１１２に格納された間隔１０１２の値と間隔１０１８の値とをそれぞれ示す左右方向の情報、上下方向の情報とを用いて、所定手順に従い顔画像の横幅、縦幅のサイズを算出する。

（特徴量抽出）
特徴量抽出部２０３は、画像メモリ１５２の画像データにおいて上述のような手順に従い顔の画像領域を検出する機能と、検出した顔画像の特徴量を算出する機能を有する。特徴量とは、抽出された領域を特定するためのデータから算出される当該領域の画像上の特徴を表わすデータをいう。本実施の形態においては、特徴量には、図１１で示した目の間隔、目と口の間隔、目元と目尻の間隔等が含まれる。これらの特徴量に加えて、目の大きさ、目の領域における瞳の領域の割合等が当該視聴者の顔に固有の特徴量として用いられてもよい。あるいは、眉毛、まつげ、肌のほくろのように、白黒の濃淡が表われ易い領域の長さ、面積、形状などが特徴量として用いられてもよい。

（リモコン端末）
図１２および図１３を参照して、テレビ１００に制御信号を送信するリモコン端末３００について説明する。図１２には、リモコン端末３００の外観が示される。

リモコン端末３００は、ユーザの操作に応答して赤外線信号を発光するための赤外線発光部３６０と、情報を表示するディスプレイ３０２と、視聴者により操作されて指示の入力を受け付ける操作部３４０とを含む。操作部３４０は、テレビ１００の電源をオン/オフするための電源ボタン３０７、ディスプレイ３０２に表示される図示のないカーソルの移動と確定の入力を受け付けるキー群３０４と、数字ボタン３０６と、アップ／ダウンボタン３０８とを含む。

なお、ここではテレビ１００は図示のない商用電源のコンセントにプラグを差し込むことで各部に電源が供給された状態にあると想定する。したがって、この状態で電源ボタン３０７がオン操作されると、テレビ１００の内部ではディスプレイ１３０およびスピーカ１４０への出力を可能ならしめるための各部への電源の供給の開始がなされて、画面の表示、音声の出力がされる。一方、テレビ１００に電源が供給された状態で、電源ボタン３０７がオン操作されない間は、テレビ１００の内部ではディスプレイ１３０およびスピーカ１４０への出力を可能ならしめるための各部への電源の供給はされないので画面の表示も音声の出力もされない。

キー群３０４は、カーソルを左右方向あるいは上下方向に移動させるための移動キー３２４と、押下を検出することにより、選択された項目を確定するためのデータの入力を受け付ける確定ボタン３１４とを含む。アップ／ダウンボタン３０８は、チャンネルのアップ／ダウンの指示の入力を受け付ける選局ボタン３２８と、音量の増減を調整する音量調整ボタン３１８とを含む。

図９には、リモコン端末３００によって実現される機能の構成が示される。リモコン端末３００は、制御回路３１０と、選局ボタン３２８の入力に応答して選択されたチャンネルを選局する指示を出力するためのチャンネル選局回路３２０と、操作部３４０とを含む。制御回路３１０は、赤外線発光部３６０に接続されて、チャンネル選局回路３０または操作部３４０から入力する信号に基づいて予め定められた処理を実行し、赤外線信号を発信する制御を実行する。制御回路３１０はリモコン端末３００を制御するためのデータまたはプログラムを格納するメモリ３１２を有する。なお、リモコン端末３００が通常有するその他の回路、たとえば、音量の増減を調整するための信号を生成する回路、オンスクリーンディスプレイの表示を指令する信号を生成する回路は、当業者にとって容易に理解できるものである。したがって、ここではそれらの説明は略す。

（学習モード）
学習モードの動作手順は図１４のフローチャートで示される。当該フローチャートはプログラムとして予めメモリ１１２に格納されて、ＣＰＵ１１０により読出されて実行される。視聴者が、図１に示されるような状態で、テレビ１００の前に位置して、リモコン端末３００を操作していると判定されると、テレビ１００は学習モードに従う動作を実行する。

まず、リモコン指示受付部２３１は、図１の状態の視聴者によりリモコン端末３００の操作がなされたか否かを判定する（ステップＳ（以下、単にＳと略す）１）。つまり、リモコン端末３００からの赤外線信号をリモコン指示受付部２３１で受信したか否かを判定する。赤外線信号を受信して、リモコン端末３００が操作されたことを判定すると（Ｓ１でＹＥＳ）学習モードの動作を実行する。リモコン端末３００からの赤外線信号が受信されない間はＳ１の処理が繰返される。

学習モードの動作では、まず、撮像制御部２２９は、撮像装置１５０に指示して、撮像を行なわせる（Ｓ７）。当該指示により撮像装置１５０は撮像をして画像データは画像入力部２２７によりメモリ１５２に格納される（Ｓ９）。

次に、学習部２１５では、メモリ１５２の画像データについてエリア分割部２１７により、前述したような手順で画像データの画像は図８のようにＮ個のエリアに分割される（Ｓ１１）。図８ではＮは２５個を指す。そして、学習部２１５は、処理を制御するための変数ｉおよびＦＬにそれぞれ０を設定する（Ｓ１３）。変数ｉの値はスキャン（走査）対象のエリアを指示し、変数ＦＬの値は認証に成功したか否かを指示する。

次に、変数ｉの値が１インクリメントされて（Ｓ１５）、ｉ番目のエリアについての図１５のスキャン処理が実行される（Ｓ１７）。このスキャン処理において、認証部２０５による確認処理が行なわれて、認証に成功した場合には変数ＦＬの値に１が設定されるが、認証に成功しない場合には０のままである。

ｉ番目のエリアについてＳ１７のスキャン処理が終了すると、変数ＦＬの値が１であるか否かが判定される（Ｓ１９）。学習部２１５は、１であることを判定すると（Ｓ１９でＹＥＳ）、後述するＳ２３以降の処理に移る。１でない、すなわち０のままであることを判定すると（Ｓ１９でＮＯ）、つまりＳ１７の処理において認証に成功しなかったということを判定すると、変数ｉの値が変数Ｎの値以上であるか否かを判定する（Ｓ２１）。ここで変数Ｎの値は、図８のように分割されたエリアの総数を指示する値（＝２５）であり、予めメモリ１１２に格納されている。

変数ｉの値が変数Ｎの値（＝２５）以上であると判定されると（Ｓ２１でＹＥＳ）、全てのエリアについてスキャン処理が終了したので一連の処理は終了するが、変数Ｎの値未満であると判定されると（Ｓ２１でＮＯ）、Ｓ１５の処理に戻り、図８の１、２，３，・・・２５の順番に従い次位のエリアを対象にして同様な処理を進めるために、変数ｉの値が１インクリメントされる。以降の処理が次位のエリアについて前述と同様に行なわれる。

（スキャン処理）
図１５には、図１４のスキャン処理（Ｓ１７）のフローチャートが示される。図１５のフローチャートに従いスキャンの手順について説明する。

顔検出部２１６は、画像メモリ１５２の画像データに基づき顔画像の検出を行なう（Ｓ３５）。検出の手順は前述した通りである。

検出結果に基づき、学習部２１５は顔画像が検出できたか否かを判定する（Ｓ３７）。つまり、メモリ１５２の所定領域に図１１で示した間隔１０１２の値と間隔１０１８の値とがそれぞれ左右方向の情報、上下方向の情報として格納されていた場合には、顔画像検出ができたと判定するが（Ｓ３７でＹＥＳ）、格納されていない（初期化の状態である）場合には顔を検出できないと判定して（Ｓ３７でＮＯ）、図１５の処理を終了して図１４の元の処理に戻る。

顔画像を検出できた場合には（Ｓ３７でＹＥＳ）、認証部２０５による確認処理が行なわれる（Ｓ３９）。つまり、検出された顔画像のデータについて特徴量抽出部２０３により前述した手順に従い特徴量が抽出されて、認証部２０５は抽出された特徴量と特徴パターンエリア１１２１の各特徴パターンデータＣＨＰｊとに基づき前述のような確認処理を行なう（Ｓ３９）。認証に成功した場合には、認証に成功したときに比較対象となっていた特徴パターンデータＣＨＰｊに関連付けられていた識別データＩＤｊが読出されて出力される。

ＣＰＵ１１０は認証部２０５の確認処理後に識別データＩＤｊが出力されたと判定すると認証に成功したと判別し（Ｓ４１でＹＥＳ）、後述のＳ４３以降の処理に移るが、識別データＩＤｊが出力されないと判定すると認証に成功しなかったと判別し（Ｓ４１でＮＯ）、図１５の処理を終了して図１４の元の処理に戻る。

認証に成功した場合には（Ｓ４１でＹＥＳ）、ＣＰＵ１１０はテレビ１００の各部を制御してリモコン端末３００から受信した指示信号に従う動作を行なわせる（Ｓ４３）。その後、ＣＰＵ１１０は認証部２０５から出力された識別データＩＤｊに基づき学習結果エリア１１２２を検索して、当該識別データＩＤｊをデータＤ１として格納したテーブルＴＡｊのデータＤ２を読出し、読出したデータＤ２が示す総検出回数と予め規定された最大回数を示すデータＭＡＸの値とを比較して、比較結果に基づき、総検出回数が最大回数以上になっているか否かを判定する（Ｓ４５）。なお、データＭＡＸは予めメモリ１１２に格納されていると想定する。

総検出回数が最大回数以上になっていると判定すると（Ｓ４５でＹＥＳ）、図１４の元の処理に戻り学習モードの動作を終了する。このように、確認された視聴者についてのテーブルＴＡｊのデータについてサービス提供の確認を行なうのに十分な件数のデータがサンプリングされて格納されている場合には、すなわち学習が終了している場合には、これ以上サンプリングする必要はないので学習モードの動作を終了する。

一方、総検出回数が最大回数未満であると判定すると（Ｓ４５でＮＯ）、確認された視聴者についてのテーブルＴＡｊのデータのサンプリングを行なうために、サイズ検出部２１９および角度検出部２２１により、Ｓ３５で検出された顔画像についてサイズの検出および角度が検出されて出力される（Ｓ４７およびＳ４９）。その後、学習部２１５は、変数ＦＬに値１を設定し（Ｓ５１）、処理は図１４の元の処理に戻る。

図１４のＳ１９の処理に戻る。図１５において変数ＦＬの値が１に更新された（認証に成功した）場合には（Ｓ５１）、Ｓ１９の判定により処理はＳ２３に移行する。

認証に成功した場合には認証部２０５により確認された視聴者の識別データＩＤｊが出力されるとともに、Ｓ３５、Ｓ４７およびＳ４９において確認された視聴者の顔画像の位置、サイズおよび角度の情報が検出されて出力される。検出回数更新部２２３と検出回数更新部２２５は、Ｓ１７の処理で出力された識別データＩＤｊに基づき学習結果エリア１１２２を検索して、当識別データＩＤｊをデータＤ１として格納したテーブルＴＡｊの内容を更新する（Ｓ２３、Ｓ２５）。

具体的には、テーブル登録部２２５は、Ｓ３５、Ｓ４７およびＳ４９において出力された顔画像の位置、サイズおよび角度の情報をテーブルＴＡｊにデータＤ３、Ｄ４およびＤ５として追加格納する（Ｓ２３）。ただし、出力された顔画像の位置、サイズおよび角度を示すデータＤ３〜Ｄ５の組がテーブルＴＡｊにすでに格納されていた場合には、追加格納は行なわれない。

なお、Ｓ３５で出力された位置情報は、図８の対応のエリアを指示する番号に変換された後に、テーブルＴＡｊにデータＤ３として格納される。具体的には、テーブル登録部２２５は、顔検出部２１６から出力された検出顔画像の左右情報および上下情報をメモリ１１２から読出し、読出した情報に基づき、メモリ１１２の分割情報エリア１１２５の分割情報１１２６を検索して、該当する位置情報に関連付けされたエリアの番号を読出して、検出された顔画像の位置として検出回数更新部２２５に出力する。

また、検出回数更新部２２５は、出力された顔画像の位置（エリアの番号）、サイズおよび角度に基づき、テーブルＴＡｊを検索して当該顔画像の位置（エリアの番号）、サイズおよび角度を示すデータＤ３〜Ｄ５の組に関連付けされたデータＤ６の値を１カウントアップして更新し、その後、当該テーブルＴＡｊのデータＤ６が示す値の総数を算出して、算出した値でデータＤ２の値を更新する（Ｓ２５）。

その後、学習部２１５は当該テーブルＴＡｊのデータＤ２が示すトータルの検出回数とデータＭＡＸの値とを比較して、トータルの検出回数がデータＭＡＸの値以上であるか否かを判定する（Ｓ２７）。トータルの検出回数がデータＭＡＸの値未満であることを判定すると（Ｓ２７でＮＯ）、学習モードの動作を終了する。

一方、トータルの検出回数がデータＭＡＸの値以上であることを判定すると（Ｓ２７でＹＥＳ）、統計データ算出部２２６により当該テーブルＴＡｊの内容に基づき統計データが算出されて、データＤ７として当該テーブルに格納される（Ｓ２９）。その後、学習モードの動作を終了する。

（統計データの算出）
統計データ算出部２２６による統計データの算出について図１６を参照して説明する。統計データ算出部２２６は、テーブルＴＡｊに格納されたエリア番号を示すデータＤ３、サイズを示すデータＤ４および角度を示すデータＤ５からなる各組の所定空間におけるばらつきの状態を求めている。

所定空間を指示するデータは座標空間設定エリア１１２３において格納（設定）される。テーブルＴＡｊに格納されたエリア番号を示すデータＤ３、サイズを示すデータＤ４および角度を示すデータＤ５からなる各組を示すデータは、座標空間設定エリア１１２３の所定空間において仮想的に配置される。具体的には、座標空間設定エリア１１２３の所定空間は、顔検出時の３種類の特徴データであるデータＤ３〜Ｄ５の相互に直交する座標軸Ｘ、ＹおよびＺで規定される３次元座標空間の特徴空間に相当し、所定空間にはデータＤ３〜Ｄ５の組を示すデータ（図中、黒丸で示す）をプロットすることができる。プロットされたと想定した場合の各黒丸の所定空間（３次元座標空間）における位置を示すデータが統計データＤ７としてテーブルＴＡｊに格納される。

（サービスモード）
本実施の形態では、図１の状態でテレビ１００のディスプレイ１３０の前に居る視聴者が電源ボタン３０７を操作してテレビ１００の電源オン操作をする毎に、テレビ１００では図１７に示されるフローチャートに従うサービスモードの動作が実行される。なお、ここでは、学習モードの動作により視聴者毎のテーブルＴＡｊにはデータＭＡＸの値以上の件数のデータＤ３〜Ｄ５の組が格納されており、また統計データＤ７も算出して格納されていると想定する。なお、サービスモードでは、学習部２１５の機能が利用される。

図１７に示されるフローチャートに従う処理のプログラムは予めメモリ１１２に格納されており、ＣＰＵ１１０は当該プログラムを読出し実行することにより、当該サービスモードの動作が実現される。

ＣＰＵ１１０は、テレビ１００の電源がオンされると、撮像制御部２２９の制御により撮像装置１５０が撮像動作を行ない、撮像により得られた画像データはメモリ１５２に格納されて、その後、エリア分割部２１７により図８のようなＮ個のエリア分割が行なわれて分割情報１１２６がメモリ１１２に格納される（Ｓ６１〜Ｓ６５）。

次に、認識部２０８は、制御のための変数ｉを０に設定する（Ｓ６７）。その後、変数ｉの値を１つずつカウントアップしながら、分割された各エリアについてスキャン処理を行ない、前述と同様に顔検出部２１６による顔画像の検出と、サイズ検出部２１９によるサイズ検出と、角度検出部２２１による角度検出とが実行されて、検出結果が出力される（Ｓ６９〜Ｓ７５）。Ｓ６９〜Ｓ７５の処理は、図１４で示したＳ１５〜Ｓ２１の処理と同じであるので、説明は略す。

Ｓ７１のスキャン処理において、認証に成功しなかった場合には（Ｓ７３でＹＥＳ）、検出されたエリア番号、顔サイズおよび角度のデータをテーブルＴＡｊへ追加格納する処理がテーブル登録部２２５により行なわれる（Ｓ７７）。テーブル登録部２２５は、Ｓ６５で生成されてメモリ１１２に格納された分割情報１１２６を、前述したように検出された顔画像の位置情報に基づき検索して対応するエリア番号を読出している。

これにより、サービスモードでありながら、学習モードと同様に、視聴者のテーブルＴＡｊについてデータを追加登録することができる。なお、Ｓ７７の追加登録は、テーブルＴＡｊにデータＭＡＸが示す値以上の件数のデータが登録されている場合には、パスしてもよい。

その後、認証部２０５の信頼度算出部２０６は、視聴者のテレビ１００視聴時の体勢を指す特徴量、つまりテレビ１００と視聴者との相対位置関係および視聴者の視聴時の姿勢に係る特徴量を用いて信頼度を算出する。具体的には、Ｓ７１のスキャン処理により検出（出力）されたエリア番号（顔画像の位置）、顔サイズおよび角度のデータと認証に成功した視聴者のテーブルＴＡｊから読出した統計データＤ７とを比較して比較結果に基づき確認結果の信頼度を算出して、信頼度判定部２０７に出力する（Ｓ７９）。ここでは、視聴者毎のテーブルＴＡｊには予め信頼度算出のための統計データＤ７が格納されており統計データを算出する必要はないので、信頼度算出に係る時間を短くできる。

信頼度判定部２０７は、与えられる信頼度と所定基準とを比較して、比較結果に基づき信頼度が高いかあるいは低いかを判定する（Ｓ８１）。高いおよび低いを判定するための所定基準のデータは、メモリ１１２に予め格納されていると想定する。

（信頼度の算出）
ここで信頼度算出部２０６による算出手順について説明する。信頼度算出部２０６は、テーブルＴＡｊから読出した統計データＤ７をメモリ１１２の座標空間設定エリア１１２３の３次元座標空間にプロットする。これにより、図１６のように黒丸の点が分布する領域Ｖが得られる。分布の状態に因り領域Ｖの大きさ・形は変化する。領域Ｖからは同一人の視聴者であれば、テレビ１００を視聴する位置、姿勢などはほぼ固定していることから、顔の位置、サイズ、傾き角度のデータは集中して分布する傾向にあることがわかる。

そして、今回検出データＤ３〜Ｄ５の組を表わす点Ｐ１（たとえば、座標（ｘ２、ｙ２、ｚ２））を３次元座標空間にプロットする。信頼度算出部２０６は領域Ｖのほぼ中心（重心）プロットされた点Ｐ２（たとえば、座標（ｘ１、ｙ１、ｚ１）、または中心に該当する点がない場合には中心付近にプロットされた点Ｐ２を統計データＤ７の代表値の点として検出して、点Ｐ１と点Ｐ２の３次元座標空間における距離Ｓを算出する。したがって、距離Ｓは点Ｐ１が点Ｐ２からどれだけ離れているか、すなわち統計データＤ７の分布域である領域Ｖからどれだけ離れているかを指示することになる。したがって、距離Ｓの値が小さいほど今回の認証部２０５による確認結果の信頼の程度は大きくなることが示されて、大きいほど信頼の程度が小さいことが示される。信頼度算出部２０７は距離Ｓの値を信頼度として、信頼度判定部２０７に出力する。

信頼度判定部２０７は、与えられる信頼度（距離Ｓの値）とメモリ１１２から読出した信頼度が高いか否かを判定するための所定基準データとを比較して、比較結果、信頼度が所定基準以上であれば信頼度は高いと判定し、所定基準未満であれば信頼度は低いと判定する。

信頼度が高いと判定されると（Ｓ８１で‘高い’）、認証に成功した視聴者についてのサービス処理が実行される。具体的には、コンテンツ検索部２０９は、認証に成功したときに認証部２０５から出力された識別データＩＤｊに基づきコンテンツエリア１１２０を検索して、当該識別データＩＤｊに関連付けられたコンテンツリストＣＮＴＬｊを読みだし、コンテンツ出力部２１１に与えるので、コンテンツ出力部２１１は与えられるコンテンツリストＣＮＴＬｊをディスプレイ１３０に表示する。視聴者は表示されたコンテンツリストから所望タイトルを指定することで、指定されたタイトルのコンテンツデータＣＮＴｊがコンテンツエリア１１２０から読出されて出力される。

一方、信頼度が低いと判定された場合には（Ｓ８１で‘低い’）、Ｓ８３のサービス処理はスキップされて（行なわれず）、メッセージ出力部２３３によりＯＳＤ回路１２４を介して図１８の人物確認メニューの画面が表示される（Ｓ８５）。図１８の人物確認メニューの画面では、たとえばＡさんの認証に成功した場合が示される。人物確認メニューにおいては、識別データＩＤｊが指すＡさんの認証に成功したが、Ａさん用のコンテンツリストを表示するか否かを問合せている。ここで、‘はい’か‘いいえ’の選択肢が示されていおり、視聴者はいずれかを入力する（Ｓ８７）。そして、入力した内容に従う処理が行なわれて（Ｓ８９）、一連の処理は終了する。

Ｓ８９では、視聴者がリモコン端末３００を操作して‘はい’が指定された場合には、Ａさん用のコンテンツリストが読出されて表示されるが、‘いいえ’が指定されると、たとえばテレビを見る意思はないのに誤ってリモコン端末３００を操作した人あるいはＡさん以外の人が撮像されてＡさんであると誤認識されたかもしれないので、ＣＰＵ１１０はテレビ１００の電源をオフなど、Ａさん用のコンテンツを出力するのとは別の所定処理を行なう。これにより、Ａさんのコンテンツリストが誤って表示されるのを回避できる。また、認証に成功しないときは（Ｓ７３でＮＯ、かつＳ７５でＹＥＳが成立するとき）はサービスモードの動作を強制的に終了しているので、登録された視聴者以外に登録されている視聴者のコンテンツ出力などのサービス提供がされるのを確実に回避できる。

（他の実施の形態）
図１７の処理はテレビ１００の電源がオンされると開始されるようにしたが、定期的に繰返し実行されるとしてもよい。つまり、テレビ１００の前に視聴者がいるか否かにかかわらず、撮像装置１５０による撮像が行なわれて、それにより得られた画像データ中に含まれる視聴者の顔画像を検出して、検出した顔画像に基づく確認を行ない、その確認結果に従いサービス提供がなされるようにしてもよい。

また、図１のような状態の視聴者の周辺で動いている人を誤検出しないようにする。たとえば、撮像を複数回繰返して、毎回の撮像毎に取得される画像データについて図１５のＳ３５の顔検出を行なうようにする。そして、顔検出できたか否かの判定（Ｓ３７）は、複数回の検出のうち一定エリアで連続して顔検出できたときに、顔検出できたと判定する。これにより、確認および信頼度の精度が向上する。

また、図１７の処理で認証に成功しなかったとき（Ｓ７３でＮＯ、かつＳ７５でＹＥＳ）は、一連の処理を強制的に終了させていたが、再度、顔の確認処理を行ない確認結果を求めなおすようにしてもよい。

また、テーブルＴＡｊについてデータＤ３〜Ｄ５が示すエリア番号、サイズおよび角度の組のうち、対応の視聴者の特徴（顔の位置（座る姿勢）、サイズ（大きい顔か小さい顔か）および首を傾ける癖があるかなど）に基づき特定される種類の組については、関連付けされたデータＤ６が示す検出回数を一定の重み付けをしてカウントする。こうすることにより、視聴者の視聴時の特徴に基づいた信頼度の算出が可能となる。

また、Ｓ７７のデータの追加をするか否かは、視聴者の指示により行なわれるようにしてもよい。たとえば、視聴者がサービス処理（Ｓ８３）では、他人のコンテンツリストではなく、いつも自分のコンテンツリストが表示されること確認した場合には、高い信頼度を得ることが可能となっているからＳ７７のテーブルＴＡｊへのデータの追加登録処理をパスするようにしてもよい。

また、視聴者のテーブルＴＡｊの内容は、当該視聴者の指示に応じて削除することが可能である。たとえば、部屋１０の模様替えをしてテレビ１００（撮像装置１５０）に対する椅子１１１の位置が変化した場合には、テーブルＴＡｊに格納されていたデータは有効ではなくなるので、その場合には視聴者は指示してテーブルＴＡｊの内容をリセット（初期化）した後に、再度、学習モードにおいてデータのサンプリングを行なうことになる。

また、信頼度を算出するための統計データＤ７を得るために、顔画像の位置、サイズ、角度の３種類の特徴量を用いたが、特徴量の種類はこれらに限定されない。また、３種類用いたが、４種類以上であってもよく、または２種類または１種類であってもよい。４種類以上の場合には図１６の３次元座標空間に代替して４次元以上の座標空間が適用される。また２種類の場合には２次元座標空間（平面）に統計データがプロットされて、１種類の場合には１次元座標空間（直線）に統計データがプロットされる。なお、信頼度を算出するために用いる特徴量としては顔画像の位置、サイズ、角度のほかには、たとえば、位置、サイズ、角度に関連付けて検出されやすい輝度情報を考慮にいれてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態に係るテレビが設置されている状態を表わす図である。 テレビを正面から表わす図である。 テレビのハードウェア構成を表わすブロック図である。 メモリの内容例を示す図である。 コンテンツエリアの内容例を示す図である。 特徴パターンエリアの内容例を示す図である。 学習結果エリアの内容例を示す図である。 エリア分割を説明する図である。 顔画像の傾き角度の検出を説明する図である。 実施の形態に係るテレビの機能構成図である。 顔画像データを概念的に示す図である。 リモコン端末の外観図である。 リモコン端末の機能構成図である。 学習モードの処理フローチャートである。 スキャン処理のフローチャートである。 特徴空間を模式的に示す図である。 サービスモードの処理フローチャートである。 確認メニューの表示例を示す図である。

符号の説明

１０ 部屋、１１ 椅子、１２ 視聴者、１００ テレビ、１０２ アンテナ、１０４ 外部入力部、１０６ 受光部、１０８ 操作部、１１０ ＣＰＵ、１１２ メモリ、１５０ 撮像装置、２０５ 認証部、２１５ 学習部、３００ リモコン端末。

Claims (12)

1. テレビジョン受信装置であって、
   視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、
   前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、
   視聴者の撮像により生成された画像データを取得する画像取得手段と、
   前記画像取得手段により前記画像データが取得されると、前記特徴量記憶部に格納されている顔特徴量と前記画像取得手段により取得された画像データとに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、
   前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量を用いて、前記認証手段の確認結果の信頼度を検出する信頼度検出手段と、
   前記認証手段による確認の結果と前記信頼度検出手段により検出された信頼度とに応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備え
   前記信頼度検出手段は、
   視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量に関する統計データを算出する統計算出手段を含み、
   前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量と、前記統計算出手段により算出されている前記統計データとに基づき、前記信頼度を検出し、
   前記視聴者の体勢を示す特徴量は、
   視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含み、前記相対位置に応じた特徴量は、前記画像データから検出した視聴者の顔画像の位置であり、
   前記視聴者の体勢を示す特徴量は、視聴者の姿勢に応じた特徴量を含み、
   前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズと、前記画像データから検出した視聴者の顔画像の傾き角度を含み、
   前記統計算出手段は、
   視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量の群の、前記特徴量により規定される特徴空間における位置を前記統計データとして算出し、
   前記信頼度検出手段は、
   前記統計データが特徴量の群の前記特徴空間における位置と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量の前記特徴空間における位置との距離を前記信頼度として算出する距離算出手段を含み、
   前記信頼度検出手段が検出した信頼度を所定基準と比較して高いか否かを判定する信頼度判定手段をさらに備えて、
   前記制御手段は、前記信頼度判定手段により高いと判定された場合に前記認証手段による確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御し、
   外部から発信された制御信号を受信する受信手段をさらに備え、
   前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認し、
   前記認証手段は、
   前記取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する、テレビジョン受信装置。
2. テレビジョン受信装置であって、
   視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、
   前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、
   視聴者の撮像により生成された画像データを取得する画像取得手段と、
   前記画像取得手段により前記画像データが取得されると、前記特徴量記憶部に格納されている顔特徴量と前記画像取得手段により取得された画像データとに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、
   前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量を用いて、前記認証手段の確認結果の信頼度を検出する信頼度検出手段と、
   前記認証手段による確認の結果と前記信頼度検出手段により検出された信頼度とに応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備える、テレビジョン受信装置。
3. 前記信頼度検出手段は、
   視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量に関する統計データを算出する統計算出手段を含み、
   前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量と、前記統計算出手段により算出されている前記統計データとに基づき、前記信頼度を検出する、請求項２に記載のテレビジョン受信装置。
4. 前記視聴者の体勢を示す特徴量は、
   視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含む、請求項２または３に記載のテレビジョン受信装置。
5. 前記相対位置に応じた特徴量は、前記画像データから検出した視聴者の顔画像の位置である、請求項４に記載のテレビジョン受信装置。
6. 前記視聴者の体勢を示す特徴量は、
   視聴者の姿勢に応じた特徴量を含む、請求項２から５のいずれかに記載のテレビジョン受信装置。
7. 前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズを含む、請求項６に記載のテレビジョン受信装置。
8. 前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像の傾き角度を含む、請求項６または７に記載のテレビジョン受信装置。
9. 前記統計算出手段は、
   視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の体勢を示す特徴量の群の、前記特徴量により規定される特徴空間における位置を前記統計データとして算出し、
   前記信頼度検出手段は、
   前記統計データが特徴量の群の前記特徴空間における位置と、前記認証手段の確認に用いた前記画像データから検出した視聴者の体勢を示す特徴量の前記特徴空間における位置との距離を前記信頼度として算出する距離算出手段を含む、請求項３から８のいずれかに記載のテレビジョン受信装置。
10. 前記信頼度検出手段が検出した信頼度を所定基準と比較して高いか否かを判定する信頼度判定手段をさらに備えて、
    前記制御手段は、前記信頼度判定手段により高いと判定された場合に前記認証手段による確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する、請求項２から９のいずれかに記載のテレビジョン受信装置。
11. 外部から発信された制御信号を受信する受信手段をさらに備え、
    前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認する、請求項２から１０のいずれかに記載のテレビジョン受信装置。
12. 前記認証手段は、
    前記取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する、請求項２から１１のいずれかに記載のテレビジョン受信装置。

Images