JP5586436B2

JP5586436B2 - 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法

Info

Publication number: JP5586436B2
Application number: JP2010264163A
Authority: JP
Inventors: 幸太郎坂田; 和也野村; 知浩小沼; 麻紀山田; 茂則前田
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2009-12-03
Filing date: 2010-11-26
Publication date: 2014-09-10
Anticipated expiration: 2030-11-26
Also published as: US20130239033A1; US8909636B2; US20110208790A1; US8447761B2; JP2011138492A

Description

本発明は、ユーザの生活スタイルを表す情報を収集する生活スタイル収集装置、及び、収集した生活スタイルを表す情報から判定したユーザの生活スタイルに基づいた機能をユーザに提供するユーザインターフェース装置に関する。

ディスプレイの大画面化及び薄型化に伴い、ディスプレイのさらなる進化の方向性として、壁と一体となるディスプレイ、又は、壁若しくは生活空間に溶け込むディスプレイという方向性を挙げることができる。しかしながら、単に物理的にディスプレイと壁とが一体となるだけでは十分ではない。ディスプレイが壁と一体となるからには、ディスプレイに映し出されるコンテンツなども壁又は生活空間に溶け込んだものとなるべきである。

ところで、人はそれぞれに多様な価値観をもち、多様な生活スタイルをもっている。また、異なる人の生活スタイルに違いがあるのはもちろんのこと、同じ人でも日々のくらしの中で生活スタイルは変化していく。しかしながら、従来の機器、例えば、従来のテレビは、個々の人々の生活スタイルにおける多様性及び時間的変化をあまり考慮せずに開発されている。

一方で、人同士では、相手の外見、振る舞い及び所有物などから、その人の生活スタイルを推測することは日常的に行われる。例えば、アパレルショップの店員は、顧客の髪型、化粧及び服装などから顧客の生活スタイルを推測し、推測した生活スタイルに合わせた服装を、言い換えれば、その顧客が気に入りそうな服装を勧める。また、ビジネスの関係ではない場合でも、人は、ある家を訪問すると、玄関及び部屋の雰囲気からその住人の生活スタイルを感じることができる。

このような生活スタイルを手動で入手するには、周囲の人によって推測するか、本人によって申告してもらうかの２通りがある。しかしながら、手動で判断することは手間がかかる上、本人が申告する場合には、周囲は気付いていて本人が無自覚な属性は収集できない。

一方で、生活スタイルを自動で判定しようとする装置及び方法は、あまり知られていない。生活スタイルの一例として、嗜好があるが、自動で嗜好を推定するものは、視聴履歴、ユーザの移動及び購買などの明示的な行為に基づいて推定するものがほとんどである（例えば、特許文献１参照）。

特開２００８−１９１７０２号公報

しかしながら、上記の従来の技術では、ユーザの明示的な行為に基づいて嗜好を推定しており、ユーザの生活スタイルを推定するためには、明示的な行為では不十分である。例えば、ユーザの明示的な行為には、ユーザ本人が気付いていない属性を収集することができない。また、明示的な行為がある程度の回数及び頻度で発生しなければ、生活スタイルを推定することは困難である。

そこで、本発明は、上記従来の課題を解決するためになされたもので、ユーザからの明示的な行為に基づかずに、ユーザの生活スタイルを判定するための情報を自動的に収集することができる生活スタイル収集装置を提供することを目的とする。また、本発明は、収集した生活スタイルを表す情報から判定した生活スタイルに基づいた機能を提供することができるユーザインターフェース装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態に係る生活スタイル収集装置は、ユーザの生活スタイルを判定するための情報を収集する生活スタイル収集装置であって、前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出する関連度算出部と、前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与する外観情報抽出部と、前記関連度が付与された外観情報を、前記ユーザの生活スタイルを判定するための情報として格納する生活スタイルデータベースとを備える。

本構成によれば、本人の申告及び周囲の人間による推測の必要もなく、ユーザからの明示的な行為に基づかずに、空間に存在するオブジェクトの外観情報から生活スタイルを判定するための情報を自動的に収集することができる。収集された情報には、オブジェクトに対するユーザの関連度が付与されているので、例えば、関連度を参照することで、ユーザがオブジェクトに対してどの程度関連しているか、すなわち、オブジェクトがユーザの生活に関連している度合いを判定することができる。

また、前記生活スタイル収集装置は、さらに、前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部を備えてもよい。

本構成によれば、関連度を参照することで、ユーザがオブジェクトに対してどの程度関連しているかを判定し、自動的にユーザの生活スタイルを判定することができる。つまり、ユーザの生活スタイルを非明示的に表しているオブジェクトの外観とユーザとの関連度を利用するので、ユーザの明示的な行為には表れないユーザの生活スタイルも判定することができる。

また、前記オブジェクト情報検出部は、複数の前記オブジェクトのそれぞれを表す複数の前記オブジェクト情報を検出し、前記関連度算出部は、所定のタイミングにおける複数の前記オブジェクトのそれぞれに対する前記ユーザの関連度を算出し、前記生活スタイルデータベースは、前記関連度が付与された外観情報をオブジェクト毎に格納し、前記生活スタイル決定部は、前記生活スタイルデータベースに格納された複数の外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定してもよい。

本構成によれば、ユーザの周囲に存在する複数のオブジェクトのそれぞれに対して、所定の同一のタイミングにおける関連度を付与することができる。つまり、ある瞬間において、ユーザが複数のオブジェクトのそれぞれに対してどの程度関連しているかを判定するので、１つのオブジェクトだけではなく、他のオブジェクトとの関連性も含めて関連度を算出することができる。したがって、ユーザの生活スタイルをより正確に表す情報を収集することができる。

また、前記関連度算出部は、さらに、前記関連度の算出を繰り返すことで、複数の前記オブジェクトのそれぞれに対する関連度の時系列情報を生成し、オブジェクト毎の関連度の時系列情報に基づいて、前記オブジェクトに対する前記ユーザの関連度を決定し、前記外観情報抽出部は、抽出した外観情報に、前記関連度算出部によって決定された関連度を付与してもよい。

本構成によれば、関連度の経時的な変化に従って関連度を決定するので、ある瞬間の判断だけではなく、時間と共にユーザがどのように各オブジェクトに対して関連するかを正しく判定することができる。したがって、ユーザの生活スタイルをより正確に表す情報を収集することができる。

また、前記生活スタイル収集装置は、さらに、前記ユーザを表すユーザ情報を検出するユーザ情報検出部を備え、前記関連度算出部は、前記ユーザ情報と前記オブジェクト情報とを用いて、前記オブジェクト情報が表すオブジェクトに対する、前記ユーザ情報が表すユーザの関連度を算出してもよい。

本構成によれば、ユーザ情報を検出するので、例えば、検出したタイミングにおけるユーザとオブジェクトとの関連度を正確に算出することができる。

また、前記ユーザ情報は、前記ユーザを表す画像データであり、前記オブジェクト情報は、前記オブジェクトを表す画像データであり、前記関連度算出部は、前記ユーザと前記オブジェクトとの距離が短い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出してもよい。

本構成によれば、例えば、オブジェクトの近くにいることの多い人が、そのオブジェクトに対する関連度を高くすることができる。

また、前記ユーザ情報は、前記ユーザを表す画像データであり、前記オブジェクト情報は、前記オブジェクトを表す画像データであり、前記関連度算出部は、前記ユーザが前記オブジェクトに接触する回数が多い又は接触している期間が長い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出してもよい。

本構成によれば、例えば、オブジェクトに多く接触する人は、そのオブジェクトに対する関連度を高くすることができる。

また、前記ユーザ情報は、前記ユーザが発した声を表す音声データであり、前記オブジェクト情報は、前記オブジェクトを表す単語を示す音声データであり、前記関連度算出部は、前記ユーザが前記オブジェクトを示す単語を発した回数が多い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出してもよい。

本構成によれば、各オブジェクトを話題に上げた回数の多い人は、そのオブジェクトに対する関連度を高くすることができる。

また、前記ユーザ情報検出部は、複数の前記ユーザのそれぞれを表す複数のユーザ情報を検出し、前記関連度算出部は、前記オブジェクトに対する関連度をユーザ毎に算出し、前記外観情報抽出部は、抽出した外観情報に、ユーザ毎に算出された関連度を付与し、前記生活スタイルデータベースは、前記関連度が付与された外観情報を、ユーザ毎に管理して格納してもよい。

本構成によれば、ユーザ毎に、生活スタイルを判定するための情報を収集することができる。したがって、例えば、複数のユーザが存在する場合であっても、ユーザ毎に生活スタイルを判定することができ、ユーザの生活スタイルに応じたインターフェースを提供することが可能となる。

また、前記生活スタイル収集装置は、さらに、前記ユーザ情報から前記ユーザの性質を表す性質情報を抽出する性質情報抽出部を備え、前記生活スタイルデータベースは、さらに、前記性質情報を格納してもよい。

本構成によれば、ユーザの性質を示す性質情報を格納するので、ユーザ本人の生活スタイルをより正確に表す情報を収集することができる。

また、前記性質情報抽出部は、前記ユーザの外見及び振る舞いの少なくとも１つを表す情報を前記性質情報として抽出してもよい。

本構成によれば、ユーザの外見及び振る舞いには、ユーザの生活スタイルが表れているので、ユーザの外見及び振る舞いを表す情報を抽出することで、ユーザの生活スタイルをより正確に表す情報を収集することができる。

また、前記オブジェクト情報検出部は、前記ユーザの周囲に存在する家具、家電、遊具及び建材のいずれかを前記オブジェクトとして表す前記オブジェクト情報を抽出し、前記外観情報抽出部は、前記オブジェクトの色、テクスチャ、模様、形状及び系統の少なくとも１つを表す情報を前記外観情報として抽出してもよい。

本構成によれば、家具、家電、遊具及び建材などにはユーザの好みが表れているので、これらの色、テクスチャ、模様、形状及び雰囲気などを示す情報を抽出することで、ユーザの生活スタイルを正確に表す情報を収集することができる。

また、本発明の一形態に係るユーザインターフェース装置は、ユーザの生活スタイルに応じたユーザインターフェースを提供するユーザインターフェース装置であって、前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出する関連度算出部と、前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与する外観情報抽出部と、前記関連度が付与された外観情報を格納する生活スタイルデータベースと、前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部と、前記生活スタイル決定部によって決定された生活スタイル情報に基づいて、前記ユーザインターフェースを制御するユーザインターフェース制御部とを備える。

本構成によれば、本人の申告及び周囲の人間による推測の必要もなく、ユーザからの明示的な行為に基づかずに、空間に存在するオブジェクトの外観情報から生活スタイルを判定するための情報を自動的に収集することができる。収集された情報には、オブジェクトに対するユーザの関連度が付与されているので、関連度を参照することで、ユーザがオブジェクトに対してどの程度関連しているかを判定し、自動的にユーザの生活スタイルを判定することができる。つまり、ユーザの生活スタイルを非明示的に表しているオブジェクトの外観とユーザとの関連度を利用するので、ユーザの明示的な行為には表れないユーザの生活スタイルも判定することができる。さらに、ユーザの生活スタイルに応じたインターフェースを提供することができる。

また、前記生活スタイル決定部は、前記オブジェクトの素材を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、前記ユーザインターフェース制御部は、前記生活スタイル決定部によって決定された外観情報に基づいて、表示部に表示させる表示オブジェクトの素材を選択してもよい。

本構成によれば、オブジェクトの素材に基づいて表示オブジェクトの素材を選択するので、例えば、周囲の壁の素材に合わせた背景画像などを選択することができる。これにより、例えば、壁又は生活空間に溶け込んだアンビエントディスプレイなどを実現することができる。

また、前記生活スタイル決定部は、前記オブジェクトの配置を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、前記ユーザインターフェース制御部は、前記オブジェクトの配置に応じて、表示部に表示させる表示オブジェクトのレイアウト、動き及びエフェクトの少なくとも１つを制御してもよい。

本構成によれば、オブジェクトの配置に応じて表示オブジェクトのレイアウト、動き及びエフェクトなどを制御するので、周囲の環境（すなわち、ユーザの生活スタイル）に応じたユーザインターフェースを提供することができる。

また、前記生活スタイル決定部は、前記オブジェクトの雰囲気を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、前記ユーザインターフェース制御部は、前記オブジェクトの雰囲気に応じて、音声出力部から出力させる効果音又はＢＧＭを制御してもよい。

本構成によれば、オブジェクトの雰囲気に応じて効果音又はＢＧＭを制御するので、周囲の環境（すなわち、ユーザの生活スタイル）に応じたユーザインターフェースを提供することができる。

また、本発明の一形態に係る生活スタイル収集方法は、ユーザの生活スタイルを判定するための情報を収集する生活スタイル収集方法であって、前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出し、前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出し、前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与し、前記関連度が付与された外観情報を、前記ユーザの生活スタイルを判定するための情報として生活スタイルデータベースに格納する。

なお、本発明は、生活スタイル収集装置又はユーザインターフェース装置として実現できるだけではなく、当該生活スタイル収集装置又はユーザインターフェースを構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各生活スタイル収集装置又はユーザインターフェース装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、ユーザからの明示的な行為に基づかずに、ユーザの生活スタイルを判定するための情報を自動的に収集することができる。

本発明の実施の形態１に係る生活スタイル判定装置の構成の一例を示すブロック図である。本発明の実施の形態１に係る入力部の一例であるカメラの設置例を示す模式図である。本発明の実施の形態１に係る入力部の一例であるカメラの設置例を示す模式図である。本発明の実施の形態１に係る入力部の一例であるカメラの設置例を示す模式図である。本発明の実施の形態１に係る複数のユーザと複数のオブジェクトとの関連度の一例を示す図である。本発明の実施の形態１に係る１人のユーザと複数のオブジェクトとの関連度の一例を示す図である。本発明の実施の形態１に係る１人のユーザと複数のオブジェクトとの関連度の一例を示す図である。本発明の実施の形態１に係る１人のユーザと複数のオブジェクトとの関連度の一例を示す図である。本発明の実施の形態１に係る生活スタイル変数の一例を示す図である。本発明の実施の形態１に係る生活スタイルデータベースに格納される情報の一例を示す図である。本発明の実施の形態１に係る関連度の時系列情報の一例を示す図である。本発明の実施の形態１に係る生活スタイル判定装置の動作の一例を示すフローチャートである。本発明の実施の形態２に係るユーザインターフェース装置の構成の一例を示すブロック図である。本発明の実施の形態２に係るユーザインターフェース装置の動作の一例を示すフローチャートである。本発明の実施の形態２に係る生活スタイル情報をユーザインターフェースに適用しない場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報をユーザインターフェースに適用しない場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報をユーザインターフェースに適用しない場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報をユーザインターフェースに適用しない場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を背景画像に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を画面レイアウトに適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を画面レイアウトに適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を表示オブジェクトの数に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を表示オブジェクトの数に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を表示オブジェクトの動きに適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報を表示オブジェクトの動きに適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報をコンテンツ推薦に適用する場合の例を示す図である。本発明の実施の形態２に係る生活スタイル情報をコンテンツ推薦に適用する場合の例を示す図である。本発明の実施の形態の変形例に係る生活スタイル収集装置の構成の一例を示す図である。

以下では、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る生活スタイル判定装置は、ユーザの生活スタイルを判定するための情報を収集し、収集した情報に基づいて生活スタイルを判定する。生活スタイル判定装置は、ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、オブジェクト情報を用いてオブジェクトに対するユーザの関連度を算出する関連度算出部と、オブジェクト情報からオブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に関連度を付与する外観情報抽出部と、関連度が付与された外観情報を格納する生活スタイルデータベースと、生活スタイルデータベースに格納された外観情報から、関連度に基づいて、ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部とを備えることを特徴とする。

図１は、本発明の実施の形態１に係る生活スタイル判定装置１００の構成の一例を示すブロック図である。本発明の実施の形態１に係る生活スタイル判定装置１００は、ユーザの生活スタイルを判定するための情報を収集し、収集した情報に基づいて、ユーザの生活スタイルを判定する。

ユーザの生活スタイルは、ユーザの日常生活に現れる特徴的な属性を示す情報である。日常生活に現れる特徴的な属性は、例えば、ユーザ自身の属性、及び、ユーザの周囲に存在するオブジェクトの属性である。ユーザ自身の属性は、例えば、ユーザの性別、年齢、家族構成、外見、性格、嗜好、趣味、仕事及び行動（振る舞い）などの少なくとも１つを示す情報である。

また、ユーザの周囲に存在するオブジェクトは、例えば、ユーザの生活空間内に存在する家具、家電、遊具及び建材などの少なくとも１つである。オブジェクトの属性は、オブジェクトの色、テクスチャ、模様、形状及び系統などの少なくとも１つを示す情報である。なお、オブジェクトの系統は、オブジェクトの雰囲気を表す情報であり、具体的には、和風、北欧風、欧米風、アジア風、エスニックなどである。また、オブジェクトは、ペットなどの動物でもよい。

図１に示すように、本発明の実施の形態１に係る生活スタイル判定装置１００は、入力部１１０と、ユーザ情報検出部１２０と、オブジェクト情報検出部１３０と、関連度算出部１４０と、生活スタイル判定部１５０と、生活スタイルデータベース１６０とを備える。

入力部１１０は、ユーザの周囲の状況を表す入力データを取得する。入力部１１０は、例えば、撮像装置を含み、入力データとして、ユーザの周囲に存在するオブジェクトを含む画像データを取得する。なお、画像データには、ユーザが含まれていてもよい。

また、入力部１１０は、集音装置を含み、入力データとして、ユーザが発した音声を含む音声データを取得してもよい。音声データは、オブジェクトが発する効果音及びＢＧＭなどを含んでもよい。

また、入力部１１０は、光センサ、タッチセンサ及び圧力センサの少なくとも１つを含んでもよい。この場合、入力部１１０は、入力データとして、所定のオブジェクトに触れたこと、及び、その強さなどを示すデータを取得する。また、入力部１１０は、入力データとして、外部機器からの入力信号を取得してもよい。例えば、入力部１１０は、デジタルビデオレコーダ又はデジタルビデオプレーヤなどの外部機器から、ユーザによる操作情報を取得してもよい。

図２Ａ〜図２Ｃは、本発明の実施の形態１に係る入力部１１０の一例である撮像装置（カメラ）の設置例を示す模式図である。

図２Ａに示すように、カメラ３００は映像表示装置３１０に設置（内蔵）されていてもよい。あるいは、図２Ｂに示すように、カメラ３０１ａ及び３０１ｂは、映像表示装置３１１とは別に設置されてもよい。なお、図２Ｂでは、２台のカメラ３０１ａ及び３０１ｂを示しているが、１台のカメラ又は３台以上のカメラを設置してもよい。また、図２Ｃに示すように、カメラ３０２ａ、３０２ｂ及び３０２ｃは、映像表示装置３１２が設置されている空間内の適切な位置に設置されてもよい。

ユーザ情報検出部１２０は、ユーザを表すユーザ情報を検出する。本実施の形態では、複数のユーザが存在する場合を想定し、ユーザ情報検出部１２０は、複数のユーザのそれぞれを示す複数のユーザ情報を検出する。

例えば、ユーザ情報検出部１２０は、入力部１１０が有する撮像装置で撮影された画像データの画像処理を行うことで、ユーザ情報を検出する。このとき、ユーザ情報は、ユーザを表す画像であり、ユーザ情報検出部１２０は、入力された画像データから、画像認識などによりユーザ画像を抽出する。

また、ユーザ情報検出部１２０は、入力部１１０が有する集音装置で集音された音声データの音響処理を行うことで、ユーザ情報を検出してもよい。このとき、ユーザ情報は、ユーザが発した声を表す音声データであり、ユーザ情報検出部１２０は、入力された音声データから、音声認識などによりユーザ音声を抽出する。

具体的には、ユーザ情報検出部１２０は、撮像装置で撮影された画像情報から顔領域の抽出を行った後、予め登録された顔画像と抽出した顔画像との照合を行うことで、ユーザを特定するためのユーザ識別情報を出力する。ユーザ情報検出部１２０は、顔領域の抽出として、例えば、予め設定した色空間における人物の肌色領域を基に、画像情報から当該肌色の画素の範囲を抽出する。そして、ユーザ情報検出部１２０は、抽出した肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを判定する。フレーム間差分が閾値以下の肌色部分は、壁などの人物以外の肌色が抽出されたものとして排除し、ユーザ情報検出部１２０は、フレーム間差分の絶対値の総和が閾値を超えた場合に、肌色部分を人物の顔の肌色領域として検出すればよい。

顔領域を抽出すると、顔領域の画像情報に対してパターン認識手法を適用することにより、性別、年代などのユーザの属性情報を推定することができる。画像情報からの性別、年齢などの属性の推定に関しては、例えば、特許文献２（国際公開第２００９／０４１３４９号：「物性値推定システム、年齢推定システム、性別推定システム、年齢・性別推定システム及び物性値推定方法」）に記載、開示されている。

本実施の形態では、複数のユーザが存在するので、ユーザの属性情報を推定することで、各ユーザを識別することができる。なお、ユーザの識別は、後述する生活スタイル判定部１５０で行ってもよい。

オブジェクト情報検出部１３０は、ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出する。本実施の形態では、ユーザの周囲には複数のオブジェクトが存在する場合を想定し、オブジェクト情報検出部１３０は、複数のオブジェクトのそれぞれを表す複数のオブジェクト情報を検出する。

例えば、オブジェクト情報検出部１３０は、入力部１１０が有する撮像装置で撮影された画像データの画像処理を行うことで、オブジェクト情報を検出する。このとき、オブジェクト情報は、家具、遊具、家電及び建材など空間に存在するオブジェクトを表す画像データであり、オブジェクト情報検出部１３０は、入力された画像データから、画像認識によりオブジェクト画像を抽出する。例えば、オブジェクト情報検出部１３０は、予め登録されたオブジェクト情報とのパターンマッチングにより、オブジェクト画像を抽出する。

なお、オブジェクト情報検出部１３０は、入力部１１０が有する集音装置で集音された音声データの音響処理を行うことで、オブジェクト情報を検出してもよい。このとき、オブジェクト情報は、家具、家電、遊具及び建材などのオブジェクトを表す単語を示す音声データであり、オブジェクト情報検出部１３０は、入力された音声データから、音声認識などによりオブジェクト音声を抽出する。

なお、オブジェクトを表す単語とは、オブジェクトの名称若しくは略称でもよく、あるいは、オブジェクトに関連する他の単語でもよい。一例として、オブジェクトが冷蔵庫である場合は、オブジェクトを表す単語は、冷蔵庫に入れられる食料及び飲料を表す単語でもよい。

関連度算出部１４０は、オブジェクトに対するユーザの関連度を算出する。本実施の形態では、複数のユーザ及び複数のオブジェクトが存在するので、関連度算出部１４０は、複数のオブジェクトのそれぞれに対するユーザの関連度をユーザ毎に算出する。

オブジェクトに対するユーザの関連度は、ユーザとオブジェクトとの関連度合いを示す値である。関連度合いは、ユーザとオブジェクトとの結びつき具合を示す値である。関連度は、例えば、ユーザとオブジェクトとの距離、ユーザがオブジェクトを使用する頻度、ユーザがオブジェクトに関する言葉を発する頻度などに基づいて決定される。

ユーザとオブジェクトとの関連度合いが高い場合に、関連度は、高い値となる。関連度は、例えば、０〜１００の値で示される。あるいは、関連度は、「低」、「中」、「高」など段階的に表されてもよい。

具体的には、関連度算出部１４０は、ユーザとオブジェクトとの距離が短い程、ユーザのオブジェクトに対する関連度が高くなるように、オブジェクトに対するユーザの関連度を算出する。例えば、関連度算出部１４０は、ユーザ画像とオブジェクト画像とを用いて、ユーザとオブジェクトとの距離を算出し、算出した距離の逆数を０〜１００の範囲に正規化することで、関連度を算出する。

また、関連度算出部１４０は、ユーザがオブジェクトへ接触している期間が長い程、又は、ユーザがオブジェクトに接触する回数が多い程、ユーザのオブジェクトに対する関連度が高くなるように、オブジェクトに対するユーザの関連度を算出してもよい。例えば、関連度算出部１４０は、ユーザ画像とオブジェクト画像とを用いて、接触期間又は接触回数を算出し、算出した期間又は回数を０〜１００の範囲に正規化することで、関連度を算出する。なお、ユーザ画像及びオブジェクト画像は、複数の静止画又は動画である。

さらに、関連度算出部１４０は、ユーザがオブジェクトを表す単語を発した回数が多い程、ユーザのオブジェクトに対する関連度が高くなるように、オブジェクトに対するユーザの関連度を算出する。言い換えると、関連度算出部１４０は、ユーザの発話の中でオブジェクトに関連する単語が出現する回数が多い程、関連度が高くなるように、オブジェクトに対するユーザの関連度を算出する。例えば、関連度算出部１４０は、ユーザ音声とオブジェクト音声とを用いて、オブジェクトを表す単語の出現回数を算出し、算出した出現回数を０〜１００の範囲に正規化することで、関連度を算出する。

生活スタイル判定部１５０は、ユーザ情報及びオブジェクト情報からユーザの生活スタイルを判定するための情報を抽出し、抽出した情報に関連度を付与する。関連度が付与された情報は、生活スタイルデータベース１６０に格納される。また、生活スタイル判定部１５０は、生活スタイルデータベース１６０に格納された情報から、関連度に基づいて、ユーザの生活スタイルを表す情報を決定する。図１に示すように、生活スタイル判定部１５０は、生活スタイル抽出部１５１と、生活スタイル決定部１５２とを備える。

生活スタイル抽出部１５１は、ユーザ情報及びオブジェクト情報から、ユーザの生活スタイルを判定するための情報を抽出する。図１に示すように、生活スタイル抽出部１５１は、外観情報抽出部１５１ａと、性質情報抽出部１５１ｂとを備える。

外観情報抽出部１５１ａは、オブジェクト情報からオブジェクトの外観を表す外観情報を抽出する。例えば、外観情報抽出部１５１ａは、オブジェクト画像に画像処理を行うことにより、オブジェクトの色、テクスチャ、模様及び形状を表す情報を外観情報として、オブジェクト毎に抽出する。さらに、外観情報抽出部１５１ａは、これらの情報を基に、例えば、パターン認識手法で知られる公知の部分空間法により、「和風」、「北欧風」、「モダン」といった各オブジェクトの雰囲気を示す系統の情報を抽出してもよい。

性質情報抽出部１５１ｂは、ユーザ情報からユーザの性質を表す性質情報を抽出する。例えば、性質情報抽出部１５１ｂは、ユーザ画像に画像処理を行うことにより、ユーザの外見及び振る舞いの少なくとも１つを表す情報を、性質情報としてユーザ毎に抽出する。例えば、ユーザの外見を表す情報には、ユーザの服装、髪型、化粧などのユーザの見た目を表す情報が含まれる。ユーザの振る舞いを表す情報には、ユーザの話し方、歩き方、ジェスチャなどのユーザの性格に関わる情報が含まれる。

具体的には、性質情報抽出部１５１ｂは、顔領域の画像及び服装の画像をユーザ画像として取得し、画像処理を行うことにより、ユーザの髪型及び化粧、並びに、服装の色及びテクスチャなどの各画像に関するタグを生成する。また、性質情報抽出部１５１ｂは、入力部１１０が有する撮像装置で取得した画像データに含まれる複数のユーザ画像（時間的に異なるユーザ毎の複数の画像）又は動画から、ユーザの歩き方及びジェスチャを検出してもよい。そして、性質情報抽出部１５１ｂは、歩行速度及びジェスチャのパターンから、例えば、ゆっくり歩く又はゆっくりジェスチャを行う人は、「おっとり」、早く歩く又は早くジェスチャを行う人は、「せっかち」という属性値を、ユーザの性質情報として決定する。

また、性質情報抽出部１５１ｂは、入力部１１０が有する集音装置で取得した音声データに含まれるユーザ音声に基づいて、発話パターンを抽出してもよい。発話パターンとは、声の大きさ、高低、抑揚、速さ、トーン及び滑舌などである。性質情報抽出部１５１ｂは、例えば、発話パターンからゆっくり話す人は「おっとり」、早く話す人は「せっかち」という属性値を、ユーザの性質情報として決定する。

また、性質情報抽出部１５１ｂは、入力部１１０が外部機器からユーザの操作情報を取得できる場合、当該ユーザの操作情報に基づいて、ユーザの性質情報を抽出してもよい。例えば、入力部１１０が映像表示装置のリモコンからの信号を受信できる場合、性質情報抽出部１５１ｂは、チャンネルの切替頻度が閾値未満の場合には「おっとり」、チャンネルの切替頻度が閾値以上であれば「せっかち」という属性値を、ユーザ性質情報として決定する。

生活スタイル決定部１５２は、生活スタイルデータベース１６０に格納された外観情報から、関連度に基づいて、ユーザの生活スタイルを表す生活スタイル情報を決定する。また、生活スタイル決定部１５２は、生活スタイルデータベース１６０に格納された性質情報から生活スタイル情報を決定してもよい。

例えば、生活スタイル決定部１５２は、複数の外観情報から、最も高い関連度が付与された外観情報を生活スタイル情報として決定する。あるいは、生活スタイル決定部１５２は、複数の外観情報のそれぞれに付与された関連度に応じて、複数の外観情報の重み付けを行うことで、生活スタイル情報を生成してもよい。例えば、赤色を示す外観情報に関連度５０が付与され、黄色を示す外観情報に関連度５０が付与されている場合、オレンジ色を示す情報を、生活スタイル情報として決定してもよい。

また、生活スタイル決定部１５２は、複数のユーザのそれぞれに対応する性質情報から、生活スタイル情報を決定してもよい。例えば、生活スタイル決定部１５２は、現在、入力部１１０から取得された入力データに含まれるユーザに対応する性質情報を、生活スタイル情報として決定する。

生活スタイルデータベース１６０は、関連度が付与された外観情報を格納するためのメモリである。具体的には、生活スタイルデータベース１６０は、関連度が付与された外観情報をオブジェクト毎に格納する。より具体的には、生活スタイルデータベース１６０は、オブジェクト毎に管理された外観情報を、ユーザ毎に管理して格納する。このとき、生活スタイルデータベース１６０は、ユーザ毎に、性質情報を格納してもよい。

以上のように、本発明の実施の形態１に係る生活スタイル判定装置１００は、ユーザの生活空間に存在するオブジェクトの外観情報を取得し、取得した外観情報に、ユーザとの関連度を付与する。そして、生活スタイル判定装置１００は、付与された関連度に基づいて、ユーザの生活スタイルを表す生活スタイル情報を決定する。

なお、決定した生活スタイル情報は、図１に示すように、出力制御部２１０に出力される。出力制御部２１０は、決定された生活スタイル情報に基づいて、ユーザインターフェースを制御する。具体的には、出力制御部２１０は、表示部２２０及び音声出力部２３０を制御する。具体的なユーザインターフェースの制御については、実施の形態２において説明する。

続いて、本発明の実施の形態１に係るユーザとオブジェクトとの関連度について説明する。図３は、本発明の実施の形態１に係る複数のユーザと複数のオブジェクトとの関連度の一例を示す図である。

関連度算出部１４０は、ユーザ毎に、複数のオブジェクトのそれぞれに対する関連度を算出する。そして、関連度算出部１４０は、図３に示すような、ユーザ毎に、複数のオブジェクトのそれぞれに対する関連度を示す関連度テーブルを生成し、格納している。なお、関連度テーブルは、生活スタイルデータベース１６０に格納されていてもよい。

図３の例では、各ユーザの各オブジェクトに対する関連度は０〜１００の数値で示されている。例えば、ユーザ００１のオブジェクト００１に対する関連度は３５、ユーザ００１のオブジェクト００２に対する関連度は２０となっている。

図４Ａ〜図４Ｃは、本発明の実施の形態１に係る１人のユーザと複数のオブジェクトとの関連度の一例を示す図である。具体的には、図４Ａ〜図４Ｃは、ユーザ００１、ユーザ００２及びユーザ００３の３人のユーザを例に挙げて、各オブジェクトに対する関連度を模式的に示している。

例えば、ユーザ００２は子供であり、子供用のおもちゃ（遊具）であるオブジェクト００３に対する関連度が９０と高くなっている。これに対して、ユーザ００１及びユーザ００３のオブジェクト００３に対する関連度は各々２５、１５と、比較的低くなっている。これは、ユーザ００２は、ユーザ００１及びユーザ００３よりも、オブジェクト００３に対する関与の度合いが高い、すなわち、関連度が高いと判断できるためである。

続いて、生活スタイル抽出部１５１によって抽出される、ユーザの生活スタイルを判定するための情報（生活スタイル変数）について説明する。図５は、本発明の実施の形態１に係る生活スタイル変数の一例を示す図である。

生活スタイル変数は、ユーザの生活スタイルを判定するための情報であり、図５に示すように、生活スタイル変数Ａと生活スタイル変数Ｂとを含んでいる。

生活スタイル変数Ａは、性質情報抽出部１５１ｂによって抽出された性質情報である。具体的には、生活スタイル変数Ａは、図５に示すように、予め設定されたカテゴリーに分類されている。生活スタイル変数Ａのカテゴリーは、例えば、化粧、服装、話し方、歩き方などである。さらに、化粧及び服装のカテゴリーは、色、テクスチャ、模様及び系統などに細分化されてもよい。

例えば、性質情報抽出部１５１ｂは、ユーザを表す画像データであるユーザ情報（ユーザ画像）に画像認識処理を行うことで、化粧の色及びテクスチャを性質情報として抽出し、さらに、色及びテクスチャなどから推定される系統を性質情報として抽出する。化粧の系統とは、化粧の雰囲気を表す性質情報の一例であり、具体的には、「お嬢様風」、「ＯＬ風」、「学生風」などがある。なお、性質情報抽出部１５１ｂは、例えば、化粧の系統を示す情報と、色及びテクスチャなどを示す情報との対応関係を示すテーブルを保持しており、当該テーブルを参照することで、色及びテクスチャから系統を推定する。

また、性質情報抽出部１５１ｂは、ユーザ画像に画像認識処理を行うことで、服装の色、模様及びテクスチャなどを性質情報として抽出し、さらに、色、模様及びテクスチャなどから推定される系統を性質情報として抽出してもよい。服装の系統とは、服装の雰囲気を表す性質情報の一例であり、具体的には、「お嬢様風」、「ＯＬ風」、「学生風」などがある。なお、性質情報抽出部１５１ｂは、例えば、服装の系統を示す情報と、色及びテクスチャなどを示す情報との対応関係を示すテーブルを保持しており、当該テーブルを参照することで、色及びテクスチャから系統を推定する。

さらに、性質情報抽出部１５１ｂは、ユーザが発した声を表すユーザ情報（ユーザ音声）に音声認識処理を行うことで、ユーザの話し方（発話パターン）を性質情報として抽出してもよい。話し方は、例えば、「おしゃべり」、「物静か」、「早口」などの発言の頻度及びそのスピードなどを示す情報である。あるいは、話し方は、例えば、「大阪弁」、「標準語」、「英語」などの言語に関する情報でもよい。

また、性質情報抽出部１５１ｂは、ユーザ画像に画像認識処理を行うことで、ユーザの歩き方を性質情報として抽出してもよい。歩き方は、例えば、「早め」、「ゆっくり」などを示す情報である。

さらには、性質情報抽出部１５１ｂは、これらの情報の１つ以上を組み合わせることで、ユーザの人物像を推定し、推定した人物像を表す情報を性質情報として抽出してもよい。人物像を示す情報は、「せっかち」、「社交的」、「ミーハー」などの人物像、すなわち、ユーザの性格を表す情報である。

例えば、性質情報抽出部１５１ｂは、ユーザ画像に画像認識処理を行うことで、歩き方が「早め」であることを示す情報を抽出し、さらに、ユーザ音声に音声認識処理を行うことで、話し方が「早口」であることを示す情報を抽出する。このとき、性質情報抽出部１５１ｂは、歩き方が「早め」である情報と話し方が「早口」である情報とから、ユーザの人物像は「せっかち」であると推定してもよい。性質情報抽出部１５１ｂは、例えば、人物像を示す情報と、ユーザ画像又はユーザ音声から抽出可能な情報とを対応付けたテーブルを保持しており、当該テーブルを参照することで、人物像を表す情報を推定する。

生活スタイル変数Ｂは、外観情報抽出部１５１ａによって抽出された外観情報である。具体的には、生活スタイル変数Ｂは、図５に示すように、オブジェクト毎に、予め設定されたカテゴリーに分類されている。設定されたカテゴリーは、例えば、色、テクスチャ、形状及び系統などである。

例えば、外観情報抽出部１５１ａは、オブジェクトを表す画像データであるオブジェクト情報（オブジェクト画像）に画像認識処理を行うことで、各オブジェクトの色、テクスチャ及び形状を外観情報として抽出する。さらに、外観情報抽出部１５１ａは、色、テクスチャ及び形状などから推定される系統を外観情報として抽出する。なお、オブジェクトの系統は、オブジェクトの雰囲気を表す情報であり、具体的には、和風、北欧風、欧米風、アジア風、エスニックなどである。

さらに、外観情報抽出部１５１ａは、複数のオブジェクト情報から抽出された複数の外観情報から部屋の外観情報を抽出してもよい。部屋の外観情報は、例えば、部屋の雰囲気を示す部屋の系統、及び、部屋の整頓状況（散らかり度）などである。例えば、外観情報抽出部１５１ａは、「北欧風」であることを示すオブジェクトの数が、所定の閾値を超えている場合には、部屋の系統は「北欧風」であると推定する。

また、外観情報抽出部１５１ａは、オブジェクト画像に画像認識を行うことで、空間内におけるオブジェクトの配置を表す情報を抽出してもよい。このとき、複数のオブジェクトの配置が整頓されているか散らかっているかに応じて、部屋の整頓状況を外観情報として抽出してもよい。部屋の整頓状況は、例えば、「整頓」又は「散らかっている（ランダム）」で示される。

なお、図５は、２０ＸＸ年５月１５日のデータを例として示しているが、データの蓄積、更新、消去のタイミングは、日単位でも月単位でもよく、適切なタイミングで実行すればよい。このとき、生活スタイル変数Ａ（性質情報）と生活スタイル変数Ｂ（外観情報）との更新のタイミングはそれぞれ異なっていてもよい。生活スタイル変数Ａは、生活スタイル変数Ｂに比べて、頻度を高く、データを蓄積すべきである。なぜなら、ユーザ自身の特徴を表す性質情報（生活スタイル変数Ａ）は、日常的に変化が大きいのに対して、ユーザの周囲に存在するオブジェクトの特徴を表す外観情報（生活スタイル変数Ｂ）は、日常的に変化は少ないためである。具体的に例を挙げると、ユーザが服装を変更する頻度は、通常、毎日で多いのに対して、家具及び家電などを変更する頻度は、通常、月又は年単位で少ない。更新の頻度を異ならせることにより、情報収集に関わる処理量を削減することができる。

次に、生活スタイルデータベース１６０に格納される情報について説明する。図６は、本発明の実施の形態１に係る生活スタイルデータベース１６０に格納される情報の一例を示す図である。

図６に示すように、生活スタイルデータベース１６０は、ユーザ毎に、性別及び年齢といったユーザ属性と、生活スタイル変数Ａと、生活スタイル変数Ｂ＃とを格納している。生活スタイル変数Ｂ＃は、生活スタイル変数Ｂ（外観情報）に、ユーザの各オブジェクトに対する関連度を付加した情報である。

例えば、ユーザ００１のオブジェクト００１に対する関連度は、図３から３５であるので、外観情報抽出部１５１ａは、図５のオブジェクト００１の色の「赤（＃ｆｆ００００）」、オブジェクト００１のテクスチャの「無地」、オブジェクト００１の形状の「直線的」、及び、オブジェクト００１の系統の「北欧風」のそれぞれに、ユーザ００１のオブジェクト００１に対する関連度の３５を付加する。これにより、図６に示すように、生活スタイルデータベース１６０には、「（赤（＃ｆｆ００００）、３５）」、「（無地、３５）」、「（直線的、３５）」、「（北欧風、３５）」という値が、ユーザ００１の生活スタイル変数Ｂ＃として格納されている。なお、図６では、（＃ｆｆ００００）といった色の１６進コードは省略している。

同様にして、ユーザ００１のオブジェクト００２に対する関連度は、図３から２０であるので、外観情報抽出部１５１ａは、図５のオブジェクト００２の色の「黄（＃ｆｆｄ７００）」、オブジェクト００２のテクスチャの「木目調」、オブジェクト００２の形状の「直線的」、及び、オブジェクト００２の系統の「和風」のそれぞれに、ユーザ００１のオブジェクト００２に対する関連度の２０を付加する。これにより、図６に示すように、生活スタイルデータベース１６０には、「（黄（＃ｆｆｄ７００）、２０）」、「（木目調、２０）」、「（直線的、２０）」、「（和風、２０）」という値が、ユーザ００１の生活スタイル変数Ｂ＃として格納されている。

同様にして、ユーザ００１のオブジェクトＸＸＸに対する関連度は、図３から５５であるので、外観情報抽出部１５１ａは、図５のオブジェクトＸＸＸの色の「白（＃ｆｆｆａｆａ）」、オブジェクトＸＸＸのテクスチャの「ドット」、オブジェクトＸＸＸの形状の「曲線的」、及び、オブジェクトＸＸＸの系統の「北欧風」のそれぞれに、ユーザ００１のオブジェクトＸＸＸに対する関連度の５５を付加する。これにより、図６に示すように、生活スタイルデータベース１６０には、「（白（＃ｆｆｆａｆａ）、５５）」、「（ドット、５５）」、「（曲線的、５５）」、「（北欧風、５５）」という値が、ユーザ００１の生活スタイル変数Ｂ＃として格納されている。

したがって、生活スタイルデータベース１６０には、各ユーザの生活スタイル変数Ｂ＃として、例えば、「（赤（＃ｆｆ００００）、３５）」、「（黄（＃ｆｆｆａｆａ）、２５）」というように、色など同じ属性に対して複数の値が格納されている。生活スタイルデータベース１６０に格納された情報をコンテンツの提示又はユーザインターフェースのユーザ適応に利用する場合には、生活スタイル決定部１５２は、各々に付加された関連度に基づいて、生活スタイル情報を決定する。

例えば、生活スタイル決定部１５２は、複数の関連度の中から１つを選択、あるいは、複数の関連度を重み付けすることで、生活スタイル情報を決定する。例えば、ユーザ００２の生活スタイル変数Ｂ＃として、色の属性について「（赤（＃ｆｆ００００）、２５）」、「（黄（＃ｆｆｆａｆａ）、５）」、「（緑（＃００６４００）、９０）」、「（白（＃ｆｆｆａｆａ）、４５）」の４つの値が格納されているとする。この場合、生活スタイル決定部１５２は、関連度が最も高い（９０）「（緑（＃００６４００））」を生活スタイル情報として決定する。あるいは、生活スタイル決定部１５２は、各関連度、２５、５、９０、４５を重み付けした上で各色の混色を生活スタイル情報として決定してもよい。

次に、関連度の算出方法について説明する。

ユーザの生活スタイルをより正確に取得するためには、ユーザ及びその周囲に存在するオブジェクトを常に監視していることが好ましい。そこで、本発明の実施の形態１に係る生活スタイル判定装置１００では、例えば、撮像装置である入力部１１０は、ユーザ及びその周囲に存在するオブジェクトを、常に動画像として撮影、又は、静止画の撮影を繰り返す。そして、関連度算出部１４０は、ユーザ毎のオブジェクトに対する関連度の算出を繰り返す。これにより、関連度算出部１４０は、複数のオブジェクトのそれぞれに対する関連度の時系列情報を生成する。

図７は、本発明の実施の形態１に係る関連度の時系列情報の一例を示す図である。関連度算出部１４０は、例えば、１秒毎、１０秒毎、１分毎、５分毎などのように、所定の時間間隔での関連度の算出を繰り返す。これにより、図７に示すように、時刻ｔ０、ｔ１、ｔ２、・・・、ｔｎにおけるユーザの各オブジェクトに対する関連度を示す時系列情報がユーザ毎に生成される。なお、生成された関連度の時系列情報は、関連度算出部１４０の内部メモリなどに保持される。

なお、関連度の算出を繰り返す時間間隔は、固定値でもランダムな値でもよい。また、関連度算出部１４０は、関連度の算出を所定の期間繰り返す。あるいは、関連度算出部１４０は、ユーザからの指示を受け付けたときなどの所定のタイミングまで、関連度の算出を繰り返す。

そして、関連度算出部１４０は、オブジェクト毎の関連度の時系列情報に基づいて、対応するオブジェクトに対するユーザの関連度を決定する。ここで決定された関連度が、生活スタイルデータベース１６０に格納される値となる。つまり、外観情報抽出部１５１ａは、決定された関連度を、対応するオブジェクトの外観情報に付与する。

なお、この決定は、例えば、１日毎、１週間毎など所定の期間毎に行われる。つまり、生活スタイルデータベース１６０に格納される関連度は、１日毎、１週間毎に更新される。

例えば、関連度算出部１４０は、オブジェクト００１に対する時刻ｔ０〜ｔｎまでの関連度の平均値を、オブジェクト００１に対する関連度として決定する。あるいは、関連度算出部１４０は、オブジェクト００１に対する時刻ｔ０〜ｔｎまでの関連度の最大値を、オブジェクト００１に対する関連度として決定してもよい。

図８は、本発明の実施の形態１に係る生活スタイル判定装置１００の動作の一例を示すフローチャートである。

まず、入力部１１０は、入力データを取得する（Ｓ１１０）。例えば、入力部１１０が含む撮像装置は、ユーザの生活空間を撮影することで、ユーザ及びその周囲に存在するオブジェクトを含む画像データを入力データとして取得する。また、入力部１１０が含む集音装置は、ユーザの生活空間の音声を収集することで、ユーザの声及びオブジェクトが発する音を含む音声データを入力データとして取得する。

次に、ユーザ情報検出部１２０及びオブジェクト情報検出部１３０は、入力データからユーザ情報及びオブジェクト情報を検出する（Ｓ１２０）。例えば、ユーザ情報検出部１２０は、画像データに画像認識処理（例えば、顔認識処理）を行うことで、ユーザを表すユーザ画像をユーザ情報として取得する。また、ユーザ情報検出部１２０は、音声データに音声認識処理を行うことで、ユーザの声を表すユーザ音声をユーザ情報として取得する。このとき、入力データに複数のユーザが含まれる場合は、ユーザ情報検出部１２０は、複数のユーザのそれぞれを表す複数のユーザ情報を検出する。

また、オブジェクト情報検出部１３０は、例えば、画像データに画像認識処理を行うことで、オブジェクトを表すオブジェクト画像をオブジェクト情報として取得する。また、オブジェクト情報検出部１３０は、音声データに音声認識処理を行うことで、オブジェクトが発する音、及び、ユーザが発した声に含まれるオブジェクトを表す単語を含むオブジェクト音声をオブジェクト情報として取得する。このとき、入力データに複数のオブジェクトが含まれる場合は、オブジェクト情報検出部１３０は、複数のオブジェクトのそれぞれを表す複数のオブジェクト情報を検出する。

次に、関連度算出部１４０は、オブジェクトに対するユーザの関連度をオブジェクト毎に算出する（Ｓ１３０）。例えば、関連度算出部１４０は、オブジェクト画像とユーザ画像とを用いて、オブジェクトとユーザとの距離が短い程、ユーザのオブジェクトに対する関連度が高くなるように、ユーザの関連度を算出する。また、関連度算出部１４０は、オブジェクト音声とユーザ音声とを用いて、ユーザが発した声に含まれるオブジェクトを表す単語の数が多い程、ユーザのオブジェクトに対する関連度が高くなるように、ユーザの関連度を算出する。

このように、関連度の算出方法には、ユーザとオブジェクトとの距離を利用する場合、及び、ユーザが発した声に含まれるオブジェクトを表す単語の数を利用する場合など、様々な方法がある。複数の方法を用いることで、１つのオブジェクトに対して複数の関連度を算出した場合、関連度算出部１４０は、例えば、複数の関連度の平均値を、当該オブジェクトに対するユーザの関連度として算出する。あるいは、関連度算出部１４０は、複数の関連度を重み付け加算することで算出された値を、オブジェクトに対するユーザの関連度として算出してもよい。

そして、算出した関連度をオブジェクトの外観情報に付与して格納するタイミングではない場合（Ｓ１４０でＮｏ）、上記の処理（Ｓ１１０〜Ｓ１３０）を繰り返す。このときのタイミングは、例えば、ユーザからの指示を受け付けたとき、又は、所定の時刻に達したときなどである。

関連度を付与した外観情報を格納するタイミングである場合（Ｓ１４０でＹｅｓ）、外観情報抽出部１５１ａは、オブジェクト情報から外観情報を抽出し、抽出した外観情報に関連度を付与して、生活スタイルデータベース１６０に格納する（Ｓ１５０）。例えば、外観情報抽出部１５１ａは、オブジェクト画像に画像認識処理を行うことで、オブジェクトの色、テクスチャ及び系統などを外観情報として抽出する。そして、外観情報抽出部１５１ａは、抽出した外観情報に、対応するオブジェクトに対する関連度を付与して、生活スタイルデータベース１６０に格納する。

以上のように、本発明の実施の形態１に係る生活スタイル判定装置１００によれば、ユーザからの明示の指示に基づかずに、生活スタイルを判定するための情報、具体的には、関連度が付与された外観情報を自動的に収集することができる。本発明の実施の形態１では、ユーザの生活スタイルを非明示的に表しているオブジェクトの外観とユーザとの関連度を利用するので、ユーザの明示的な行為には表れないユーザの生活スタイルも判定することができる。

また、本発明の実施の形態１に係る生活スタイル判定装置１００は、ユーザの周囲に存在する複数のオブジェクトのそれぞれに対して、所定の同一のタイミングにおける関連度を付与することができる。つまり、ある瞬間において、ユーザが複数のオブジェクトのそれぞれに対してどの程度関連しているかを判定するので、１つのオブジェクトだけではなく、他のオブジェクトとの関連性も含めて関連度を算出することができる。したがって、ユーザの生活スタイルをより正確に表す情報を収集することができる。

また、本発明の実施の形態１に係る生活スタイル判定装置１００は、関連度の経時的な変化（時系列情報）に従って関連度を決定するので、ある瞬間の判断だけではなく、時間と共にユーザがどのように各オブジェクトに対して関連するかを正しく判定することができる。したがって、ユーザの生活スタイルをより正確に表す情報を収集することができる。

なお、図８において、関連度を付与するタイミングで外観情報の抽出を行ったが、関連度の算出の際に、外観情報抽出部１５１ａは、外観情報を抽出し、生活スタイルデータベース１６０に格納してもよい。この場合、外観情報抽出部１５１ａは、格納のタイミングで、既に生活スタイルデータベース１６０に格納されている外観情報に、関連度を付与すればよい。

また、性質情報抽出部１５１ｂがユーザの性質を表す性質情報を生活スタイルデータベース１６０に格納する場合は、外観情報を格納するタイミングで性質情報も格納してもよい。あるいは、性質情報抽出部１５１ｂは、関連度の算出の際に、性質情報を抽出して格納してもよい。

（実施の形態２）
本発明の実施の形態２に係るユーザインターフェース装置は、実施の形態１に係る生活スタイル判定装置によって決定された生活スタイルに応じたユーザインターフェースを提供する。つまり、本発明の実施の形態２に係るユーザインターフェース装置は、決定された生活スタイル情報に基づいて、ユーザインターフェースを制御するユーザインターフェース制御部を備えることを特徴とする。

図９は、本発明の実施の形態２に係るユーザインターフェース装置４００の構成の一例を示すブロック図である。なお、以下では、図１に示す生活スタイル判定装置１００と同じ構成要素には同じ参照符号を付し、説明を省略する。

ユーザインターフェース装置４００は、図９に示すように、入力部１１０と、ユーザ情報検出部１２０と、オブジェクト情報検出部１３０と、関連度算出部１４０と、生活スタイル判定部１５０と、生活スタイルデータベース１６０と、出力制御部２１０と、表示部２２０と、音声出力部２３０とを備える。

出力制御部２１０は、ユーザインターフェース制御部の一例であり、生活スタイル決定部１５２によって決定された生活スタイル情報に基づいて、ユーザインターフェースを制御する。例えば、出力制御部２１０は、生活スタイル情報に基づいて表示部２２０に表示される表示オブジェクトを制御する。具体的には、出力制御部２１０は、表示オブジェクトの素材、レイアウト、動き及びエフェクトなどを制御する。制御の具体例については、後で説明する。

また、出力制御部２１０は、生活スタイル情報に基づいて表示部２２０に表示されるコンテンツを選択してもよい。コンテンツは、静止画、動画、又は、広告でもよい。また、コンテンツは、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）若しくはＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）などの記録媒体に蓄積されたコンテンツでもよく、又は、インターネット若しくは放送波を介して取得したコンテンツでもよい。

あるいは、出力制御部２１０は、生活スタイル情報に基づいて音声出力部２３０から出力される効果音又はＢＧＭ（ＢａｃｋｇｒｏｕｎｄＭｕｓｉｃ）などの音声コンテンツを制御してもよい。つまり、出力制御部２１０は、生活スタイル情報に基づいて音声出力部２３０から出力される効果音又はＢＧＭを決定してもよい。

表示部２２０は、ユーザインターフェースの一例であり、例えば、図２Ａに示す映像表示装置３１０などの薄型のディスプレイパネル、又は、プロジェクターなどである。表示部２２０は、コンテンツ及びメニュー画面などの各種表示オブジェクトを表示する。

音声出力部２３０は、ユーザインターフェースの一例であり、例えば、スピーカーなどである。音声出力部２３０は、効果音又はＢＧＭなどの音声コンテンツを出力する。

以上のように、本発明の実施の形態２に係るユーザインターフェース装置４００は、ユーザの生活スタイルに応じたユーザインターフェースを提供する。本発明の実施の形態２に係るユーザインターフェース装置４００は、実施の形態１で説明したように、ユーザの生活スタイルを判定するための情報を自動的に収集することができ、収集した情報に基づいてユーザの生活スタイルを判定する。

したがって、本発明の実施の形態２に係るユーザインターフェース装置４００によれば、ユーザの明示的な行動に基づかずに自動的に収集した情報を用いて判定したユーザの生活スタイルに応じたユーザインターフェースを提供することができる。これにより、ユーザインターフェース装置４００は、いわゆるアンビエントディスプレイなどとして利用することができる。

図１０は、本発明の実施の形態２に係るユーザインターフェース装置４００の動作の一例を示すフローチャートである。具体的には、図１０は、生活スタイルデータベース１６０に格納された情報を用いる処理を示している。生活スタイルを判定するための情報を収集し、生活スタイルデータベース１６０に格納する動作は、図８と同様である。

生活スタイル決定部１５２は、生活スタイルデータベース１６０に格納された情報から、ユーザの生活スタイルを表す生活スタイル情報を決定する（Ｓ２１０）。図６に示すように、生活スタイルデータベース１６０には、ユーザ毎に、ユーザ属性、性質情報（生活スタイル変数Ａ）及び外観情報（生活スタイル変数Ｂ＃）が格納されている。このため、例えば、生活スタイル決定部１５２は、生活スタイル情報を決定しようとしている時点で取得した入力データに含まれるユーザに対応する性質情報及び外観情報を参照する。そして、生活スタイル決定部１５２は、外観情報に付与された関連度に基づいて、ユーザの生活スタイルを表す生活スタイル情報を決定する。

具体的には、生活スタイル決定部１５２は、外観情報のカテゴリー毎に生活スタイル情報を決定する。図６の例では、テクスチャを表す外観情報である「無地」に関連度３５、「木目調」に関連度２０、「ドット」に関連度５５が付与されている。そこで、生活スタイル決定部１５２は、テクスチャを表す外観情報のうち、例えば、最大の関連度が付与された「ドット」を生活スタイル情報として決定する。

また、図６の例では、色を表す外観情報である「赤」に関連度３５、「黄」に関連度２０、「白」に関連度５５が付与されている。生活スタイル決定部１５２は、色を表す外観情報のうち、例えば、最大の関連度が付与された「白」を生活スタイル情報として決定する。あるいは、生活スタイル決定部１５２は、色を表す外観情報のうち、関連度によって重み付けすることで生成された色を生活スタイル情報として決定してもよい。例えば、生活スタイル決定部１５２は、関連度の上位２つの色の混色を生活スタイル情報として決定してもよい。図６の例では、生活スタイル決定部１５２は、「赤」と「白」の混色である「ピンク」を生活スタイル情報として決定する。

さらに、生活スタイル決定部１５２は、ユーザの性質情報を生活スタイル情報として決定してもよい。

次に、出力制御部２１０は、生活スタイル決定部１５２によって決定された生活スタイル情報に基づいて、ユーザインターフェースを制御する（Ｓ２２０）。例えば、出力制御部２１０は、生活スタイル情報に基づいて、表示部２２０に表示する表示オブジェクトを制御する。具体的には、出力制御部２１０は、表示オブジェクトの素材、動き及びエフェクトの少なくとも１つを決定する。あるいは、出力制御部２１０は、音声出力部２３０から出力させる効果音又はＢＧＭを選択してもよい。

以下では、生活スタイルに応じたユーザインターフェースの制御の具体例について説明する。まず、表示部２２０に表示させる表示オブジェクトを制御する例について説明する。図１１Ａ〜図１４Ｄは、本発明の実施の形態２に係る生活スタイル判定結果のユーザインターフェースへの応用例を示す図である。これらの図は、生活スタイル判定結果に応じて画面上の背景などの表示オブジェクトを変化させる例を示している。

図１１Ａ〜図１１Ｄは、生活スタイル判定結果をユーザインターフェースに適用していない例である。図１１Ａは、コンテンツが表示されていない場合を示す例であり、黒又は青などの単一色の画像が表示されている。図１１Ｂは、コンテンツが表示されている場合を示す例であり、コンテンツが画面全体に表示されている。

図１１Ｃは、コンテンツが表示されている場合を示す例であり、画面の一部の領域にコンテンツが表示されている。この場合、コンテンツが表示されていない領域は、黒又は青などの単一色の画像が表示されている。

図１１Ｄは、複数のコンテンツからユーザがコンテンツを選択する場合を示す例であり、複数のコンテンツを識別するための画像（例えば、サムネイル画像など）が表示されている。サムネイル画像が表示されていない領域は、予め定められた背景画像が表示されている。背景画像は、例えば、単一色の画像である。

図１２Ａ〜図１２Ｄは、生活スタイル決定部１５２によって生活スタイル情報として、木目調（ウッド）が選択された場合の例を示す図である。図１２Ａ、図１２Ｃ及び図１２Ｄに示すように、出力制御部２１０は、「ウッド」という生活スタイル情報から、画面の背景部分を「ウッド」に対応する木目調にする。

つまり、出力制御部２１０は、表示オブジェクトの一例である背景画像として、木目調の背景画像を選択する。この木目調の背景画像は、予めユーザインターフェース装置４００が保持している木目調のパターンの画像を画面に適用してもよく、あるいは、検出カメラで撮影した空間内の木目調の画像を適宜加工して適用してもよい。

図１３Ａ〜図１３Ｄは、生活スタイル決定部１５２によって生活スタイル情報として、水玉（ドット）が選択された場合の例を示す図である。図１３Ａ、図１３Ｃ及び図１３Ｄに示すように、出力制御部２１０は、「水玉」という生活スタイル情報から、画面の背景部分に「水玉」を配するとよい。つまり、出力制御部２１０は、表示オブジェクトの一例である背景画像に、「水玉」を配置する。また、このとき、出力制御部２１０は、色を表す生活スタイル情報から、配置する「水玉」の色を決定してもよい。このように、複数の生活スタイル情報を基に、ユーザインターフェースを制御してもよい。

図１４Ａ〜図１４Ｄは、生活スタイル決定部１５２によって生活スタイル情報として、水玉（ドット）及びランダムが選択された場合の例を示す図である。図１４Ａ、図１４Ｃ及び図１４Ｄに示すように、出力制御部２１０は、「水玉」と「ランダム」という生活スタイル情報から、画面の背景部分に「水玉」をランダムに配するとよい。

以上のように、出力制御部２１０は、オブジェクトの外観情報のうちオブジェクトの素材を示す情報を生活スタイル情報として取得し、取得した生活スタイル情報に基づいて、表示部２２０に表示させる表示オブジェクトの素材を選択する。オブジェクトの素材を示す情報は、例えば、オブジェクトの色、模様及びテクスチャなどである。

図１５Ａ〜図１７Ｂは、本発明の実施の形態２に係る生活スタイル判定結果のユーザインターフェースへの応用例を示す図である。これらの図は、生活スタイル判定結果に応じて画面上の表示オブジェクトの表示数又は移動速度を変化させる例を示している。

図１５Ａ及び図１５Ｂは、生活スタイル決定部１５２によって生活スタイル情報として、部屋の整頓状況が選択された場合の例を示す図である。図１５Ａに示すように、出力制御部２１０は、「整頓」という生活スタイル情報に基づいて、画面上の複数のサムネイルをマトリックス上に整理して表示する。また、図１５Ｂに示すように、出力制御部２１０は、「散らかっている」という生活スタイル情報に基づいて、画面上の複数のサムネイルをランダムに表示する。

このように、生活スタイル決定部１５２が、部屋の整頓状況を示す情報、言い換えると、複数のオブジェクトの数及び配置を示す情報を、生活スタイル情報として決定した場合、出力制御部２１０は、複数のオブジェクトの配置に応じて、表示オブジェクトのレイアウトを制御する。表示オブジェクトのレイアウトは、表示オブジェクトの数、及び、その配置などである。

別の例として、複数のオブジェクトの数が多い程、出力制御部２１０は、一画面に表示させる表示オブジェクト（サムネイル画像）の数を多くしてもよい。逆に、複数のオブジェクトの数が少ない程、出力制御部２１０は、一画面に表示させる表示オブジェクトの数を少なくしてもよい。

図１６Ａ及び図１６Ｂは、生活スタイル決定部１５２によって生活スタイル情報として、性質情報が選択された場合の例を示す図である。図１６Ａに示すように、出力制御部２１０は、「おっとり」という生活スタイル情報に基づいて、画面上のサムネイルの数を少なくする。また、図１６Ｂに示すように、出力制御部２１０は、「せっかち」という生活スタイル情報に基づいて、画面上のサムネイルの数を多くする。

このように、生活スタイル決定部１５２が、ユーザの性質を表す性質情報を生活スタイル情報として決定した場合、出力制御部２１０は、ユーザの性質に応じて、表示オブジェクトのレイアウトを制御する。例えば、「おしゃべり」、「歩くのが早め」、「器用」などのユーザの行動が早いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、表示オブジェクトの数を多くする。逆に、例えば、「物静か」、「歩くのが遅め」、「不器用」などユーザの行動が遅いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、表示オブジェクトの数を少なくする。

図１７Ａ及び図１７Ｂは、生活スタイル決定部１５２によって生活スタイル情報として、性質情報が選択された場合の例を示す図である。図１７Ａに示すように、出力制御部２１０は「おっとり」という生活スタイル情報に基づいて、画面上のスクロール、又は、各オブジェクトの動きを低速にする。また、図１７Ｂに示すように、出力制御部２１０は、「せっかち」という生活スタイル情報に基づいて、画面上のスクロール、又は、各オブジェクトの動きを高速にする。

このように、生活スタイル決定部１５２が、ユーザの性質を表す性質情報を生活スタイル情報として決定した場合、出力制御部２１０は、ユーザの性質に応じて、表示オブジェクトの動き又はエフェクトを制御する。例えば、「おしゃべり」、「歩くのが早め」、「器用」などのユーザの行動が早いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、表示オブジェクトの動きを速くする。逆に、例えば、「物静か」、「歩くのが遅め」、「不器用」などユーザの行動が遅いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、表示オブジェクトの動きを少なくする。

なお、表示オブジェクトのエフェクトとは、例えば、画面スクロール、所定の表示オブジェクトが選択された場合に表示される画像、所定の画像から次の画像に切り替わる際の画面効果などである。例えば、ユーザの行動が早いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、画面スクロールの量を多くする、画面の切り替わりを速くするなどの処理を行う。また、ユーザの行動が遅いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、画面スクロールの量を少なくする、画面の切り替わりを遅くするなどの処理を行う。

図１８Ａ及び図１８Ｂは、本発明の実施の形態２に係る生活スタイル判定結果のユーザインターフェースへの応用例を示す図である。具体的には、図１８Ａ及び図１８Ｂは、生活スタイル判定結果に応じてユーザに推薦するコンテンツを選択する例を示している。

図１８Ａ及び図１８Ｂに示すように、画面の一部にお勧めコンテンツを提示する場合にも、出力制御部２１０は、生活スタイル決定部１５２によって決定された生活スタイル情報に基づいて、その生活スタイル情報に関係するコンテンツを提示する。これにより、ユーザは、自身の生活スタイルに合致したコンテンツにアクセスしやすくなる。

例えば、オンラインショッピングにおいて商品を推薦する場合、出力制御部２１０は、生活スタイル情報に一致する外観情報を有する商品を示す画像コンテンツを提示する。具体的には、決定された生活スタイル情報が「白」、「直線的」、「北欧風」である場合、これらの特徴を有する家具、家電などの商品を示す画像コンテンツを提示する。なお、図１８Ａ及び図１８Ｂにおいて、コンテンツＹ２は、ユーザが視聴中（選択中）のコンテンツであり、コンテンツＷ１〜Ｗ５は、ユーザに推薦するために出力制御部２１０が選択したコンテンツである。

以上のように、本発明の実施の形態２に係るユーザインターフェース装置４００は、実施の形態１と同様にして生活スタイル情報を決定し、決定した生活スタイル情報に基づいて、ユーザに提供するユーザインターフェースを制御する。

かかる構成によれば、ユーザの申告の手間なく、生活スタイルが自動的に判定され、その判定結果をユーザインターフェースに反映させることができる。これにより、各々のユーザの生活スタイルにあったユーザインターフェースを提供することができる。

なお、上記の生活スタイル判定結果のユーザインターフェースへの応用例では示していないが、生活スタイル情報を効果音又はＢＧＭに反映させてもよい。例えば、生活スタイル決定部１５２が、ユーザの性質を表す性質情報を生活スタイル情報として決定した場合、出力制御部２１０は、ユーザの性質に応じて、音声出力部２３０が出力する効果音又はＢＧＭを制御する。

例えば、「おしゃべり」、「歩くのが早め」、「器用」などのユーザの行動が早いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、テンポの速い音楽をＢＧＭとして選択する。逆に、例えば、「物静か」、「歩くのが遅め」、「不器用」などユーザの行動が遅いことを示すような情報が生活スタイル情報として決定された場合、出力制御部２１０は、テンポの遅い音楽をＢＧＭとして選択する。

あるいは、生活スタイル決定部１５２は、オブジェクトの雰囲気（系統）を示す外観情報を生活スタイル情報として決定した場合、出力制御部２１０は、オブジェクトの雰囲気に応じて、音声出力部２３０が出力する効果音又はＢＧＭを制御する。例えば、生活スタイル情報が「和風」である場合、出力制御部２１０は、日本の民謡、演歌などの邦楽であって、和風に適用した音楽をＢＧＭとして決定する。あるいは、生活スタイル情報が「欧米風」である場合、出力制御部２１０は、洋楽をＢＧＭとして決定する。

＜補足＞
以上、本発明に係る生活スタイル判定装置、ユーザインターフェース装置及び生活スタイル判定方法について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記の実施の形態では、ユーザの生活スタイルを判定するための情報を収集して、収集した情報からユーザの生活スタイルを決定する生活スタイル判定装置について説明したが、本発明は、ユーザの生活スタイルを判定するための情報を収集する生活スタイル収集装置として実現することができる。

図１９は、本発明の実施の形態の変形例に係る生活スタイル収集装置５００の構成の一例を示すブロック図である。図１９に示すように、生活スタイル収集装置５００は、オブジェクト情報検出部１３０と、関連度算出部１４０と、外観情報抽出部１５１ａと、生活スタイルデータベース１６０とを備える。実施の形態１と同じ構成要素には同じ参照符号を付し、説明を省略する。

この構成によれば、生活スタイル収集装置５００は、ユーザの明示的な行為に基づかずに、自動的にユーザの生活スタイルを判定するための情報を収集することができる。したがって、収集した情報を利用してユーザの生活スタイルを決定することを支援できるとともに、決定した生活スタイルに基づいたユーザインターフェースを提供することを支援することができる。

また、上記の実施の形態２では、生活スタイル情報を決定しようとしている時点で取得した入力データに含まれるユーザに対応する性質情報及び外観情報を参照する例について説明した。このとき、生活スタイル情報を決定しようとしている時点で取得した入力データに、複数のユーザが含まれている場合は、以下のようにすることもできる。

具体的には、生活スタイル決定部１５２は、複数のユーザのそれぞれに対応する性質情報及び外観情報を参照する。そして、生活スタイル決定部１５２は、複数のユーザのそれぞれに対応する性質情報及び外観情報から、最も関連度が高い外観情報を生活スタイル情報として決定する。

あるいは、生活スタイル決定部１５２は、ユーザ毎に、最も高い関連度が付与された外観情報を取得し、複数の外観情報を組み合わせて、生活スタイル情報を決定してもよい。例えば、生活スタイル決定部１５２は、複数の外観情報のいずれも含むように新たな情報を生成し、生成した情報を生活スタイル情報として決定する。例えば、ユーザ００１について、「赤」の関連度が最も高く、ユーザ００２について、「青」の関連度が最も高い場合、生活スタイル決定部１５２は、「赤」と「青」を組み合わせて、「紫」を生活スタイル情報として決定する。

また、生活スタイル決定部１５２は、複数のユーザのそれぞれの性質情報を組み合わせて、生活スタイル情報を決定してもよい。あるいは、入力部１１０及びユーザ情報検出部１２０が、複数のユーザの中から表示部２２０を操作しているユーザを検出し、生活スタイル決定部１５２は、検出されたユーザの性質情報を生活スタイル情報として決定してもよい。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。本発明の機能を実現する接続関係はこれに限定されない。

さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。

また、上記の生活スタイル判定装置１００及びユーザインターフェース装置４００の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る生活スタイル判定装置及びユーザインターフェース装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る生活スタイル判定装置及びユーザインターフェース装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。

例えば、生活スタイル判定装置１００及びユーザインターフェース装置４００は、入力部１１０を備えなくてもよい。つまり、ユーザ情報検出部１２０及びオブジェクト情報検出部１３０は、外部の撮像装置及び集音装置などによって取得された入力データを用いてもよい。

また、ユーザインターフェース装置４００は、表示部２２０及び音声出力部２３０を備えなくてもよい。つまり、出力制御部２１０は、外部の表示装置及び音声出力装置に対して制御を行ってもよい。

また、生活スタイル判定装置１００、ユーザインターフェース装置４００及び生活スタイル収集装置５００は、集積回路として実現することができる。このとき、例えば、生活スタイル収集装置５００は、生活スタイルデータベース１６０を備えず、別のメモリに外観情報を格納してもよい。

また、図６に示すユーザ属性は、ユーザ情報検出部１２０によって検出してもよく、あるいは、ユーザが予め登録しておいてもよい。性別は変更されることはなく、年齢も誕生日と登録時の年齢とを登録しておければ、容易に更新することが可能である。したがって、ユーザにとっては１回の登録作業を行うだけでよく、また、ユーザ情報検出部１２０による検出を行わなくて済むので、処理量を削減することができる。

同様に、上記の生活スタイル判定装置による生活スタイル収集方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る生活スタイル判定装置による生活スタイル収集方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る生活スタイル収集方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。

（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る生活スタイル収集装置及びユーザインターフェース装置は、ユーザの生活スタイルを自動で判定するための装置等に利用することができ、例えば、表示制御装置、表示装置、アンビエントディスプレイなどに利用することができる。

１００生活スタイル判定装置
１１０入力部
１２０ユーザ情報検出部
１３０オブジェクト情報検出部
１４０関連度算出部
１５０生活スタイル判定部
１５１生活スタイル抽出部
１５１ａ外観情報抽出部
１５１ｂ性質情報抽出部
１５２生活スタイル決定部
１６０生活スタイルデータベース
２１０出力制御部
２２０表示部
２３０音声出力部
３００、３０１ａ、３０１ｂ、３０２ａ、３０２ｂ、３０２ｃカメラ
３１０、３１１、３１２映像表示装置
４００ユーザインターフェース装置
５００生活スタイル収集装置

Claims

ユーザの生活スタイルを判定するための情報を収集する生活スタイル収集装置であって、
前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、
前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出する関連度算出部と、
前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与する外観情報抽出部と、
前記関連度が付与された外観情報を、前記ユーザの生活スタイルを判定するための情報として格納する生活スタイルデータベースと、
前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部とを備える
生活スタイル収集装置。
前記オブジェクト情報検出部は、複数の前記オブジェクトのそれぞれを表す複数の前記オブジェクト情報を検出し、
前記関連度算出部は、所定のタイミングにおける複数の前記オブジェクトのそれぞれに対する前記ユーザの関連度を算出し、
前記生活スタイルデータベースは、前記関連度が付与された外観情報をオブジェクト毎に格納し、
前記生活スタイル決定部は、前記生活スタイルデータベースに格納された複数の外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する
請求項１記載の生活スタイル収集装置。
前記関連度算出部は、さらに、前記関連度の算出を繰り返すことで、複数の前記オブジェクトのそれぞれに対する関連度の時系列情報を生成し、オブジェクト毎の関連度の時系列情報に基づいて、前記オブジェクトに対する前記ユーザの関連度を決定し、
前記外観情報抽出部は、抽出した外観情報に、前記関連度算出部によって決定された関連度を付与する
請求項２記載の生活スタイル収集装置。
前記生活スタイル収集装置は、さらに、前記ユーザを表すユーザ情報を検出するユーザ情報検出部を備え、
前記関連度算出部は、前記ユーザ情報と前記オブジェクト情報とを用いて、前記オブジェクト情報が表すオブジェクトに対する、前記ユーザ情報が表すユーザの関連度を算出する
請求項１記載の生活スタイル収集装置。
前記ユーザ情報は、前記ユーザを表す画像データであり、
前記オブジェクト情報は、前記オブジェクトを表す画像データであり、
前記関連度算出部は、前記ユーザと前記オブジェクトとの距離が短い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出する
請求項４記載の生活スタイル収集装置。
前記ユーザ情報は、前記ユーザを表す画像データであり、
前記オブジェクト情報は、前記オブジェクトを表す画像データであり、
前記関連度算出部は、前記ユーザが前記オブジェクトに接触する回数が多い又は接触している期間が長い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出する
請求項４記載の生活スタイル収集装置。
前記ユーザ情報は、前記ユーザが発した声を表す音声データであり、
前記オブジェクト情報は、前記オブジェクトを表す単語を示す音声データであり、
前記関連度算出部は、前記ユーザが前記オブジェクトを示す単語を発した回数が多い程、前記関連度が高くなるように、前記オブジェクトに対する前記ユーザの関連度を算出する
請求項４記載の生活スタイル収集装置。
前記ユーザ情報検出部は、複数の前記ユーザのそれぞれを表す複数のユーザ情報を検出し、
前記関連度算出部は、前記オブジェクトに対する関連度をユーザ毎に算出し、
前記外観情報抽出部は、抽出した外観情報に、ユーザ毎に算出された関連度を付与し、
前記生活スタイルデータベースは、前記関連度が付与された外観情報を、ユーザ毎に管理して格納する
請求項４記載の生活スタイル収集装置。
前記生活スタイル収集装置は、さらに、前記ユーザ情報から前記ユーザの性質を表す性質情報を抽出する性質情報抽出部を備え、
前記生活スタイルデータベースは、さらに、前記性質情報を格納する
請求項４記載の生活スタイル収集装置。
前記性質情報抽出部は、前記ユーザの外見及び振る舞いの少なくとも１つを表す情報を前記性質情報として抽出する
請求項９記載の生活スタイル収集装置。
前記オブジェクト情報検出部は、前記ユーザの周囲に存在する家具、家電、遊具及び建材のいずれかを前記オブジェクトとして表す前記オブジェクト情報を抽出し、
前記外観情報抽出部は、前記オブジェクトの色、テクスチャ、模様、形状及び系統の少なくとも１つを表す情報を前記外観情報として抽出する
請求項１記載の生活スタイル収集装置。
ユーザの生活スタイルに応じたユーザインターフェースを提供するユーザインターフェース装置であって、
前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、
前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出する関連度算出部と、
前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与する外観情報抽出部と、
前記関連度が付与された外観情報を格納する生活スタイルデータベースと、
前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部と、
前記生活スタイル決定部によって決定された生活スタイル情報に基づいて、前記ユーザインターフェースを制御するユーザインターフェース制御部とを備える
ユーザインターフェース装置。
前記生活スタイル決定部は、前記オブジェクトの素材を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、
前記ユーザインターフェース制御部は、前記生活スタイル決定部によって決定された外観情報に基づいて、表示部に表示させる表示オブジェクトの素材を選択する
請求項１２記載のユーザインターフェース装置。
前記生活スタイル決定部は、前記オブジェクトの配置を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、
前記ユーザインターフェース制御部は、前記オブジェクトの配置に応じて、表示部に表示させる表示オブジェクトのレイアウト、動き及びエフェクトの少なくとも１つを制御する
請求項１２記載のユーザインターフェース装置。
前記生活スタイル決定部は、前記オブジェクトの雰囲気を示す情報を、前記ユーザの生活スタイルを表す外観情報として決定し、
前記ユーザインターフェース制御部は、前記オブジェクトの雰囲気に応じて、音声出力部から出力させる効果音又はＢＧＭを制御する
請求項１２記載のユーザインターフェース装置。
ユーザの生活スタイルを判定するための情報を収集する生活スタイル収集方法であって、
前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出し、
前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出し、
前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与し、
前記関連度が付与された外観情報を、前記ユーザの生活スタイルを判定するための情報として生活スタイルデータベースに格納し、
前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する
生活スタイル収集方法。
請求項１６記載の生活スタイル収集方法をコンピュータに実行させるためのプログラム。
請求項１７記載のプログラムを格納しているコンピュータ読み取り可能な記録媒体。
ユーザの生活スタイルを判定するための情報を収集する集積回路であって、
前記ユーザの周囲に存在するオブジェクトを表すオブジェクト情報を検出するオブジェクト情報検出部と、
前記オブジェクト情報を用いて、前記オブジェクトに対する前記ユーザの関連度を算出する関連度算出部と、
前記オブジェクト情報から前記オブジェクトの外観を表す外観情報を抽出し、抽出した外観情報に前記関連度を付与し、前記関連度が付与された外観情報を、前記ユーザの生活スタイルを判定するための情報として生活スタイルデータベースに格納する外観情報抽出部と、
前記生活スタイルデータベースに格納された外観情報から、前記関連度に基づいて、前記ユーザの生活スタイルを表す生活スタイル情報を決定する生活スタイル決定部とを備える
集積回路。