JP6447108B2 - 利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラム - Google Patents

Description

本開示は、利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラムに関する。

注目人数を商品の注目度の情報として用いる技術が知られている（例えば、特許文献１参照）。

特開２００７−２８６９９５号公報

ところで、ある特定の物体が人に利用（購買等を含む）される可能性（以下、「利用可能性」という）を数値化する際、人の視線が当該物体に向けている態様（例えば、視線が向けられる回数や時間等）を利用できる。一般的に、長い時間、ある人の視線が物体に向けられるほど、その人によるその物体に係る利用可能性は高くなる。また、一般的に、多くの人の視線が物体に向けられるほど、その物体に係る利用可能性は高くなる。

開示の技術は、人の視線が物に向けられている様態から、物に係る利用可能性を精度良く数値化する利用可能性算出装置等の提供を目的とする。

本開示の一局面によれば、対象者の視線情報を取得する視線情報取得部と、
複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断する視線態様判断部と、
前記複数の対象者間の関係を判断する関係判断部と、
前記関係判断部により判断された前記複数の対象者間の関係と、前記視線態様判断部により判断された前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する利用可能性算出部とを備える、利用可能性算出装置が提供される。

本開示の技術によれば、利用可能性を算出する際に複数の被写体間の関係を用いることで、物に係る利用可能性を精度良く数値化できる利用可能性算出装置等が得られる。

利用可能性算出装置が適用される利用可能性算出システム１の一例を示す図である。 利用可能性算出装置１００のハードウェア構成の一例を示す図である。 利用可能性算出装置１００の機能ブロック図である。 商品位置データベース１２５の説明図（その１）である。 商品位置データベース１２５の説明図（その２）である。 撮像画像内に２人の対象者Ｓ１、Ｓ２が検出された場合の注視態様テーブルの例を示す図である。 対象者毎の利用可能性の算出結果（個別テーブル）の例を示す図である。 グループ毎の利用可能性の算出結果（グループテーブル）の例を示す図である。 商品棚に商品が置かれているシーンの一例を示す図である。 利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。 グループとなる対象者Ｓ１，Ｓ２が商品を注視するシーンの一例を示す図である。 商品の属性テーブルの一例を示す図である。 実施例２において利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。 商品の属性に応じて異なる利用可能性の算出結果（テーブル）の例を示す図である。 実施例３において利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。 グループ判定用データベース生成処理の一例を示すフローチャートである。 図１６に示す処理により生成されるデータベースの一例を示す図である。 グループ判定処理の一例を示すフローチャートである。 注視態様テーブルの他の例を示す図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、利用可能性算出装置が適用される利用可能性算出システム１の一例を示す図である。

利用可能性算出システム１は、視線センサ２０と、利用可能性算出装置１００とを含む。利用可能性算出装置１００は、視線センサ２０とは有線または無線で通信可能に接続される。尚、以下で説明する利用可能性算出装置１００の機能の一部又は全部は、視線センサ２０内に内蔵されうる処理装置により実現されてもよい。

視線センサ２０は、カメラ２１を含む。視線センサ２０は、複数のカメラ２１を含んでもよい。以下では、一例として、視線センサ２０は、１つのカメラ２１のみを含むものとする。視線センサ２０が複数のカメラ２１を含む場合、複数のカメラ２１が取得する複数の撮像画像の集合を１枚の集合的な撮像画像として、以下の説明における"撮像画像"として用いればよい。

カメラ２１は、対象者Ｓ（対象者の一例）の目や顔の撮影画像を取得する。以下では、一例として、カメラ２１は、対象者Ｓの顔を含む風景を撮影するものとする。カメラ２１は、任意のタイプの撮像素子を含んでよい。例えば、カメラ２１は、比較的安価なＣＭＯＳ(complementary metal-oxide-semiconductor)カメラであってよい。

図２は、利用可能性算出装置１００のハードウェア構成の一例を示す図である。

利用可能性算出装置１００は、例えばコンピューターにより実現される。図２に示す例では、利用可能性算出装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。

制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して利用可能性算出装置１００にインストールされる。インストールされた所定のプログラムは、利用可能性算出装置１００により実行可能となる。

ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と利用可能性算出装置１００とのインターフェースである。

入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやタッチパッド等を有する。

尚、図２に示す例において、以下で説明する各種処理等は、プログラムを利用可能性算出装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を利用可能性算出装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体１０５は、ＣＤ(Compact Disc)−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１０５には、搬送波は含まれない。

図３は、利用可能性算出装置１００の機能ブロック図である。

利用可能性算出装置１００は、ある任意の物体が人に利用される可能性（以下、「利用可能性」という）を算出する。ここで、人に利用されるとは、利用される行為そのもののみならず、利用のための行為、例えば、利用のために人に購買されること、利用のために人に借りられること（有償、無償は問わない）、利用のために人に譲り渡されること等を含む。物体は、任意の物体であり、以下では、一例として、対象者Ｓによる購入対象となる商品であるとする。また、以下では、一例として、商品は、店舗に陳列される任意の商品を想定する。従って、対象者Ｓは、店舗に来る人（商品を利用する可能性のある人）である。この場合、視線センサ２０のカメラ２１は、商品を視る対象者Ｓの顔を撮像できるように配置される。

利用可能性算出装置１００は、視線情報取得部１１０と、顔検出部１１２と、人数検出部１１４と、視線態様判断部１２０と、関係判断部１３０と、利用可能性算出部１４０とを含む。

視線情報取得部１１０は、視線センサ２０から視線情報を取得する。視線情報は、カメラ２１の撮影画像そのものであってもよいし、カメラ２１の撮影画像に基づいて得られる視線に関する情報（例えば視線ベクトルや視線位置）であってもよい。ここでは、視線情報取得部１１０は、カメラ２１の撮影画像を取得するものとする。例えば、視線情報取得部１１０は、所定のフレームレート毎に得られるカメラ２１の撮像画像を取得する。

顔検出部１１２は、カメラ２１の撮影画像に基づいて対象者Ｓの顔を検出する。尚、顔検出部１１２による対象者Ｓの顔の検出アルゴリズムは、例えば個々の対象者Ｓを識別するための顔認識技術のような高精度なアルゴリズムであってもよいが、顔であるか否かを認識できる程度の簡易なアルゴリズムであってもよい。これは、顔検出部１１２による対象者Ｓの顔の検出結果は、後述の人数検出部１１４において撮影画像内の対象者Ｓの人数を算出するために用いられるためである。

人数検出部１１４は、顔検出部１１２の検出結果に基づいて、各撮像画像内の対象者Ｓの数（人数）を算出する。例えば、顔検出部１１２により２つの顔が検出された場合、人数検出部１１４は、人数を"二人"として算出する。

視線態様判断部１２０は、視線検出部１２４と、注視対象判断部１２６と、注視態様テーブル作成部１２８とを含む。

視線検出部１２４は、顔検出部１１２で検出された顔に係る対象者Ｓの視線を検出する。ここでは、視線検出部１２４は、仮想平面Ｍ上の対象者Ｓの視線位置を算出する。仮想平面Ｍは、図１に示すように、例えば、商品の位置（座標）を含む鉛直平面である。視線位置Ｐは、図１に示すように、視線ベクトルＶ１が仮想平面Ｍに交わる点の位置である。以下では、便宜上、図１に示すように、仮想平面Ｍの左端を原点としてＸＹＺ軸を定義し、Ｚ軸の正方向は、対象者Ｓ側であるとする。

視線位置算出方法は、任意である。例えば、視線検出部１２４は、カメラ２１の撮影画像に基づいて、対象者Ｓの視線ベクトルＶ１を算出する。対象者Ｓの視線ベクトルＶ１の算出方法は、任意である。対象者Ｓの視線ベクトルＶ１の算出方法は、例えば特開2011-217764号公報に開示される方法であってよい。また、視線方向（視線ベクトルＶ１）の検出方法は、瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出する角膜反射法であってもよい。この場合、視線センサ２０は、近赤外ＬＥＤ(Light-Emitting Diode)を含む。近赤外ＬＥＤによる近赤外光を対象者Ｓの顔に当てるこの方法は、瞳孔は、視線方向によって位置が変わるが、角膜反射の位置は、視線方向には影響を受けないことを利用するものである。近赤外ＬＥＤによる近赤外光を顔に当てる場合は、目の中に基準点となる角膜反射が発生するため、カメラのみから計測する方法と比較し計測精度が向上する。次いで、視線検出部１２４は、検出した視線ベクトルＶ１に基づいて対象者Ｓの視線位置を算出する。例えば、視線検出部１２４は、視線ベクトルＶ１と、対象者Ｓ及び商品間の距離とに基づいて、商品が位置する仮想平面Ｍ上における対象者Ｓの視線位置を算出する。対象者Ｓ及び商品間の距離は、測定値であってもよいし、固定値（想定値）であってよい。例えば、注視対象判断部１２６は、対象者Ｓの瞳孔間距離に基づいて、対象者Ｓ及び商品間の距離（以下、「商品−対象者間距離」とも称する）を算出してもよい。但し、商品−対象者間距離の算出方法は、任意であり、例えば視線センサ２０が距離画像を取得する場合は、商品−対象者間距離は距離画像に基づいて算出されてもよい。尚、算出された視線位置は、キャリブレーション等の後処理を受けてもよい。

注視対象判断部１２６は、視線検出部１２４の検出結果に基づいて、顔検出部１１２で検出された顔に係る対象者Ｓが視線を向けている商品（以下、「注視対象の商品」とも称する）を特定する。

対象者Ｓの注視対象の商品を特定する方法は任意である。例えば、注視対象判断部１２６は、視線検出部１２４が算出した視線位置と、商品位置データベース１２５に記憶された商品の位置情報とに基づいて、対象者Ｓの注視対象の商品を特定する。商品位置データベース１２５は、対象者Ｓの注視対象となる商品の位置を表す位置情報を記憶する。位置情報が表す商品の位置は、任意であり、例えば商品の中心位置、重心位置、商品の顕著性の高い部位の位置等であってもよい。図４及び図５は、商品位置データベース１２５の説明図である。図４に示す例では、商品位置データベース１２５には、商品Ｃ１，Ｃ２・・・に関する左上位置Ｎ１及び右下位置Ｎ２（図５参照）のＸＹ座標が記憶される。商品位置データベース１２５は、商品の位置情報に加えて、商品領域の形状及びサイズに関する情報を記憶してもよい。商品領域とは、仮想平面上における商品が占める領域を指すが、簡易的な商品外形に対応した領域であってもよい。例えば、注視対象判断部１２６は、視線検出部１２４が算出した視線位置に最も近い位置情報を持つ商品を、注視対象の商品として特定してもよいし、視線検出部１２４が算出した視線位置を内部に含む商品領域に係る商品を、注視対象の商品として特定してもよい。また、注視対象となり得る商品が１つしかない場合は、注視対象判断部１２６は、自動的にその商品を対象者Ｓの注視対象の商品として特定してもよい。

注視態様テーブル作成部１２８は、対象者毎に、注視対象判断部１２６の判断結果を時系列に表す注視態様テーブルを作成する。本例では、一例として、注視態様テーブルは、注視対象判断部１２６の判断結果の時系列に加えて、対象者間距離算出部１３２の算出結果の時系列を含む。対象者間距離算出部１３２の算出結果の時系列は、注視対象判断部１２６の判断結果の時系列に同期されてよい。図６は、撮像画像内に２人の対象者Ｓ１、Ｓ２が検出された場合の注視態様テーブルの例を示す。対象者Ｓ１、Ｓ２は、異なる人である。図６において、（Ａ）は対象者Ｓ１に係る注視態様テーブルの例を示し、（Ｂ）は対象者Ｓ２に係る注視態様テーブルの例を示す。時間の欄の数字は、一例として、１秒間のフレーム集合を表し、"フレーム集合１"は、最初の１秒間のフレーム集合を表し、"２"は次の１秒間のフレーム集合を表す。図６に示す例では、最初の９秒間の各フレームからは、対象者Ｓ１、Ｓ２は共に商品Ｃ１を注視しているという注視対象判断部１２６の判断結果と、その際の対象者間距離が５０［ｃｍ］であるという対象者間距離算出部１３２の算出結果とが得られたことを表す。また、最後の１秒間の各フレームからは、対象者Ｓ１、Ｓ２は共に商品Ｃ２を注視しているという注視対象判断部１２６の判断結果と、その際の対象者間距離が８０［ｃｍ］であるという対象者間距離算出部１３２の算出結果とが得られたことを表す。

関係判断部１３０は、対象者間距離算出部１３２と、人間関係判断部１３６を含む。

対象者間距離算出部１３２は、ある一時点の撮像画像内に複数の対象者Ｓが検出された場合に、対象者間距離を算出する。対象者間距離は、任意の方法で算出されてもよい。例えば、対象者間距離は、一方の対象者Ｓの目の位置から他方の対象者Ｓの目の位置までの距離、各対象者Ｓの顔領域の重心間の距離等に基づいて算出されてもよい。

人間関係判断部１３６は、撮像画像内に複数の対象者Ｓが検出された場合に、複数の対象者Ｓが、注視対象を共用する可能性が高い人間関係であるかを判断する。共用する可能が高い人間関係とは、グループと見做せる関係であってよく、例えば、血縁関係、同居している関係、友達関係、及び、恋人関係のうちの少なくともいずれか１つを含んでよい。例えば、共用する可能が高い人間関係である複数の対象者は、夫婦、親子、カップル、非介護者と介護者、店員と顧客などであってよい。以下では、注視対象を共用する可能性が高い人間関係を、単に「共用可能性の高い人間関係」とも称する。

例えば、人間関係判断部１３６は、撮像画像内の複数の対象者Ｓが親しい関係であるか否かから、共用可能性の高い人間関係かを判定してもよい。例えば、人間関係判断部１３６は、共用可能性の高い人間関係であるか否かを、一方の対象者Ｓと他方の対象者Ｓとの間の物理的な距離で判断してもよい。人が他の人と隣接する際に物理的にあける空間としてパーソナルスペースというものがある。このパーソナルスペースは、それらの人と人とが親しい場合、親しくない場合に比べて、相対的に狭くなることが知られている。このことから、一方の対象者Ｓと他方の対象者Ｓとの距離から、これらの対象者Ｓが共用可能性の高い人間関係か否かを判断できる。

利用可能性算出部１４０は、対象者Ｓ毎の利用可能性（第２指標値の一例）と、グループ毎の利用可能性（第１指標値の一例）とを算出する。ある対象者Ｓの利用可能性とは、その注視対象がその対象者Ｓに利用される可能性を表す。あるグループの利用可能性とは、その物体がそのグループに利用される可能性（そのグループに属する複数の対象者Ｓを利用する利用可能性）を表す。利用可能性を評価する際、一グループは、一対象者Ｓと同一視できる。グループについては後述する。また、複数の対象者Ｓによる利用可能性とは、その物体がその複数の対象者Ｓに利用される可能性を表す。複数の対象者Ｓによる利用可能性が高いことは、利用される確率が高いことのみならず、その物体が利用される数量が多いことをも意味しうる。

尚、ある商品に係る対象者Ｓの利用可能性は、その商品に対して当該対象者Ｓが持つ関心度（第２指標値の一例）となりうる。即ち、ある商品に係る対象者Ｓ毎の利用可能性は、対象者Ｓ毎の、その商品に対して持つ関心度を表しうる。ある商品に係るグループの利用可能性は、その商品に対して当該グループの全体としての関心度、即ち各対象者Ｓが持つ関心度の代表値（第１指標値の一例）となりうる。

利用可能性算出部１４０は、人間関係判断部１３６の判断結果に基づいて、共用可能性の高い人間関係でない複数の対象者Ｓについては、対象者Ｓ毎の利用可能性を算出する。ここでは、一例として、利用可能性算出部１４０は、対象者Ｓ毎の利用可能性を、各対象者Ｓが商品を注視している時間の積算値として算出する。他の例では、利用可能性算出部１４０は、対象者Ｓ毎の利用可能性として、各対象者Ｓが商品を注視した頻度（何回見たか）を算出してもよいし、各対象者Ｓが商品を注視したか否かを判定（二値化）してもよい。利用可能性算出部１４０は、商品毎に対象者Ｓの利用可能性を算出する。例えば、図６に示す例では、利用可能性算出部１４０は、対象者Ｓ１に対しては、商品Ｃ１を９秒間注視していることから、商品Ｃ１に係る対象者Ｓ１の利用可能性を"９"と算出する。また、利用可能性算出部１４０は、対象者Ｓ１に対しては、商品Ｃ２を１秒間注視していることから、商品Ｃ２に係る対象者Ｓ１の利用可能性を"１"と算出する。同様に、対象者Ｓ２に対しては、商品Ｃ１を９秒間注視していることから、商品Ｃ１に係る対象者Ｓ２の利用可能性を"９"と算出する。また、利用可能性算出部１４０は、対象者Ｓ２に対しては、商品Ｃ３を１秒間注視していることから、商品Ｃ３に係る対象者Ｓ２の利用可能性を"１"と算出する。このようにして得られる対象者Ｓ毎の算出結果は、図７に示すような個別テーブルとして保持されてよい。

他方、利用可能性算出部１４０は、人間関係判断部１３６の判断結果に基づいて、共用可能性の高い人間関係である複数の対象者Ｓについては、グループとして一対象者とみなし、当該グループの利用可能性を算出する。ここでは、一例として、利用可能性算出部１４０は、グループの利用可能性を、グループに属する各対象者Ｓが商品を注視している時間の各積算値をそのまま合算するのに代えて、各積算値を適宜補正し、補正した各積算値を合算することで算出する。この際、利用可能性算出部１４０は、積算値が小さくなる方向に補正を行う。また、積算値を補正する処理を行なわずに、積算値を算出する段階で、積算値が各ユーザＳが商品を注視している時間をそのまま合算した値よりも小さくなるような計算をおこなっても良い。例えば、利用可能性算出部１４０は、グループの利用可能性を、グループに属する複数のユーザＳのうちの複数のユーザＳの総数よりも少ない任意の人数のユーザＳが商品を注視している時間の積算値として算出する。これは、他のユーザＳが商品を注視している時間の積算値を"０"に補正したことと等価である。或いは、利用可能性算出部１４０は、グループの利用可能性を、グループに属する各ユーザＳが商品を注視している時間の各積算値を重み付け平均することで算出してもよい。また、これらの各種算出方法において、積算は、ユーザ間距離が所定閾値Ｔｈ１（後述）以下のときの時間のみを積算することにより実現されてもよい。

注視している時間の積算値を用いた例で説明を行なったが、前記したように、何人が注視したかという人数や回数で判断をするようにしても良い。

人数で判断する場合は、共用可能性の高い人間関係でない複数のユーザＳについては、複数のユーザＳの人数を用いて利用可能性を算出し、共用可能性の高い人間関係である複数のユーザＳについては、複数のユーザＳの総数よりも少ない人数を用いて利用可能性を算出する。

回数で判断する場合は、共用可能性の高い人間関係でない複数のユーザＳについては、複数のユーザＳが見た回数を用いて利用可能性を算出し、共用可能性の高い人間関係である複数のユーザＳについては、複数のユーザＳが見た回数の総数よりも少ない回数を用いで利用可能性を算出する。

図８は、図６に示す２人の対象者Ｓ１，Ｓ２からなるグループの利用可能性の算出結果（グループテーブル）の例を示す図である。ここでは、２人の対象者Ｓ１，Ｓ２が共用可能性の高い人間関係であると判定され、対象者Ｓ１，Ｓ２がグループＧ１に属する場合を想定する。尚、図８には、グループＧ１以外のグループＧ２についても図示されている。利用可能性算出部１４０は、商品毎にグループＧ１の利用可能性を算出する。例えば、図６に示す例では、利用可能性算出部１４０は、グループＧ１のうちの対象者Ｓ１，Ｓ２の両方が商品Ｃ１を９秒間注視していることから、商品Ｃ１に係るグループＧ１の利用可能性を"９"と算出する。即ち、利用可能性算出部１４０は、商品Ｃ１に係るグループＧ１の利用可能性を二人分の利用可能性を合算した"１８"とはせずに、"９"と算出する。また、利用可能性算出部１４０は、グループＧ１のうちの対象者Ｓ１のみが商品Ｃ２を１秒間注視していることから、商品Ｃ２に係るグループＧ１の利用可能性を"１"と算出する。また、利用可能性算出部１４０は、グループＧ１のうちの対象者Ｓ２のみが商品Ｃ３を１秒間注視していることから、商品Ｃ３に係るグループＧ１の利用可能性を"１"と算出する。このようにして得られるグループ毎の算出結果は、図８に示すようなグループテーブルとして保持されてよい。

利用可能性算出部１４０は、後述の如く、商品の属性をも判断して、利用可能性を算出してもよい。これについては、後述の実施例２において説明する。

ところで、複数の対象者Ｓによる利用可能性は、複数の対象者Ｓが共用可能性の高い人間関係である場合は、そうでない場合に比べて、小さくなりうる。これは、複数の対象者Ｓが共用可能性の高い人間関係である場合は、当該複数の対象者Ｓが協動して１つの商品を利用する可能性があるためである。例えば、製品Ａを一人が見ていて、製品Ｂを三人が見ている場合、単に見ている人数などから判断をすれば、製品Ｂの需要(利用可能性)は、製品Ａに比べて３倍あると見做せる。しかし、製品Ｂを見ている三人が家族連れなどで、製品Ａや製品Ｂが大型冷蔵庫などの一家に一台あれば良い製品であれば、家族の三人が３台の製品Ｂを購入することはあり得ない。そのため、製品Ｂの需要（利用可能性）は、製品Ａの３倍あるとは見做せない。このように単に見ている人数などから判断するだけでは、利用可能性を精度よく算出できない虞がある。

この点、図３に示す利用可能性算出装置１００によれば、複数の対象者Ｓが共用可能性の高い人間関係である場合は、複数の対象者Ｓによる利用可能性を、グループＧ１の利用可能性として算出するので、複数の対象者Ｓによる利用可能性の算出精度を高めることができる。即ち、図３に示す利用可能性算出装置１００によれば、複数の対象者Ｓが共用可能性の高い人間関係である場合、単に各対象者Ｓの利用可能性を合算するのではなく、当該合算値よりも小さい値になる態様で、複数の対象者Ｓによる利用可能性を算出する。これにより、複数の対象者Ｓによる利用可能性の算出精度を高めることができる。

より具体的には、図８に示す例では、利用可能性算出部１４０は、商品Ｃ１に係るグループＧ１の利用可能性を二人分の利用可能性を合算した"１８"とはせずに、"９"と算出する。グループＧ１の利用可能性は、複数の対象者Ｓ１、Ｓ２による利用可能性と等価である。仮に、複数の対象者Ｓ１、Ｓ２が共用可能性の高い人間関係でない場合は、複数の対象者Ｓ１、Ｓ２による利用可能性は、二人分の利用可能性を合算した"１８"となる。このようにして、図３に示す利用可能性算出装置１００によれば、複数の対象者Ｓ１、Ｓ２間の人間関係に応じて、複数の対象者Ｓによる利用可能性を精度良く算出できる。

次に、図９乃至図１１を参照して、利用可能性算出装置１００の動作に関する実施例（実施例１）について説明する。ここでは、３つの商品Ｃ１，Ｃ２，Ｃ３が商品棚２００上に置かれているシーン（図９参照）を想定する。この場合、視線センサ２０のカメラ２１（２つ以上のカメラ２１も可）は、３つの商品Ｃ１，Ｃ２，Ｃ３のいずれを注視するときの対象者Ｓであってもその対象者Ｓを撮像できるように設けられる。尚、図９に示す例では、商品Ｃ１，Ｃ２，Ｃ３が商品棚２００上に置かれている状況を概略的に示す図である。尚、この場合、カメラ２１（図示せず）は、例えば中央の商品Ｃ２の近傍に配置され、Ｚ軸の正方向に視線方向を有する。また、対象者Ｓ（図示せず）は、商品Ｃ１，Ｃ２，Ｃ３よりもＺ軸の正方向側の位置から、商品Ｃ１，Ｃ２，Ｃ３を注視するものとする。尚、図９に示す例では、３つの商品Ｃ１，Ｃ２，Ｃ３が商品棚２００上に横方向に置かれているが、以下の説明は、任意の数の商品が商品棚２００上に任意の方向に置かれている状況下でも適用可能である。

図１０は、実施例１において利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。図１０に示す処理は、視線情報取得部１１０が視線センサ２０から所定時間分の視線情報（本例では撮像画像）を取得する毎に実行されてよい。

ステップＳ１０００では、顔検出部１１２は、視線情報取得部１１０が視線センサ２０から取得した撮像画像に基づいて、顔検出処理を行う。

ステップＳ１００２では、人数検出部１１４は、顔検出結果に基づいて、撮像画像に含まれる人数（対象者数）を検出する。

ステップＳ１００４では、人数検出部１１４は、対象者数が複数（２以上）であるか否を判定する。対象者数が２以上である場合は、ステップＳ１０１６に進み、それ以外の場合（対象者数が１の場合）は、ステップＳ１００６に進む。

ステップＳ１００６では、視線検出部１２４は、今回検出した一人の対象者Ｓに対して対象者ＩＤ（Identification）を付与し、当該対象者の目領域を検出する。ここでは、一例として、今回検出した一人の対象者Ｓを、「対象者Ｓｍ」と称する。目領域は、例えばパターンマッチングにより検出されてもよい。目領域は、顔検出の際に検出されてもよい。

ステップＳ１００８では、視線検出部１２４は、対象者Ｓｍの視線位置を検出する。視線位置の検出（算出）方法は上述のとおりであってよい。

ステップＳ１０１０では、注視対象判断部１２６は、対象者Ｓｍの注視対象の商品を特定する。注視対象の商品の特定方法は上述のとおりであってよい。ここでは、商品Ｃｔ（商品Ｃ１，Ｃ２又はＣ３）が特定されたものとする。

ステップＳ１０１２では、利用可能性算出部１４０は、商品Ｃｔに係る対象者Ｓ（対象者Ｓｍ又はステップＳ１０２６の判定結果が"ＮＯ"の場合の各対象者Ｓ１、Ｓ２）の利用可能性を算出する。対象者Ｓの利用可能性の算出方法は、上述の対象者毎の利用可能性の算出方法とおりであってよい。このようにして対象者Ｓの利用可能性を算出すると、利用可能性算出部１４０は、個別テーブル（図７）を作成又は更新してよい。

ステップＳ１０１６では、視線検出部１２４は、今回検出した２人以上の対象者Ｓに対して対象者ＩＤを付与し、各対象者の目領域を検出する。ここでは、一例として、今回検出した対象者Ｓは２人であるとし、これらの対象者Ｓを、「対象者Ｓ１、Ｓ２」と称する。尚、３人以上の対象者Ｓが検出された場合でも、以下の説明は当てはまる。

ステップＳ１０１８では、対象者間距離算出部１３２は、対象者Ｓ１、Ｓ２の間の距離（対象者間距離）を算出する。対象者間距離の算出方法は、上述のとおりであってよい。対象者間距離算出部１３２は、対象者Ｓ１、Ｓ２が検出される撮像画像毎（時系列）に、対象者間距離を算出してよい。

ステップＳ１０２０では、視線検出部１２４は、対象者Ｓ１、Ｓ２のそれぞれの視線位置を検出する。視線位置は、対象者Ｓ１，Ｓ２毎に検出されてよい。視線位置の検出（算出）方法は、上述のとおりであってよい。視線検出部１２４は、対象者Ｓ１、Ｓ２が検出される撮像画像毎（時系列）に、各視線位置を算出してよい。

ステップＳ１０２２では、注視対象判断部１２６は、対象者Ｓ１、Ｓ２のそれぞれの注視対象の商品を特定する。注視対象の商品は、対象者Ｓ１，Ｓ２毎に特定されてよい。注視対象の商品の特定方法は上述のとおりであってよい。注視対象判断部１２６は、対象者Ｓ１、Ｓ２が検出される撮像画像毎（時系列）に、対象者Ｓ１、Ｓ２のそれぞれの注視対象の商品を特定してよい。ここでは、対象者Ｓ１、Ｓ２のそれぞれの注視対象の商品として同一の商品Ｃｔ（商品Ｃ１，Ｃ２又はＣ３）が特定されたものとする。

ステップＳ１０２４では、注視態様テーブル作成部１２８は、ステップＳ１０１８及びステップＳ１０２２の結果に基づいて、対象者Ｓ１、Ｓ２に係る注視態様テーブルを作成する。注視態様テーブルは、図６を参照して上述した通りである。

ステップＳ１０２６では、人間関係判断部１３６は、ステップＳ１０２４で得られた注視態様テーブルに基づいて、対象者Ｓ１、Ｓ２に係る対象者間距離が所定閾値Ｔｈ１以下であるか否かを判定する。所定閾値Ｔｈ１は、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であるか否かを判定するための閾値であり、共用可能性の高い人間関係であれば物理的な距離も短くなることを利用している。所定閾値Ｔｈ１は、任意であるが、例えば５０ｃｍ程度であってよい。人間関係判断部１３６は、対象者Ｓ１、Ｓ２に係る対象者間距離の平均値（各時間における対象者間距離の平均値）を用いてもよい。また、人間関係判断部１３６は、対象者間距離の最小値が所定閾値Ｔｈ１以下であるか否か、対象者間距離が所定閾値Ｔｈ１以下である状態が所定時間以上継続したか否かを判定してもよい。また、人間関係判断部１３６は、対象者Ｓ１、Ｓ２が共に同一の商品を注視しているときの対象者間距離のみを使用してもよい。対象者間距離が所定閾値Ｔｈ１以下である場合は、ステップＳ１０２８に進み、それ以外の場合は、ステップＳ１０１２に進む。ステップＳ１０１２に進む場合は、今回検出された２人の対象者Ｓ１、Ｓ２は、共用可能性の高い人間関係でないと判定されたことになる。この場合、対象者Ｓ１、Ｓ２は、グループと見做されず、それ故に、ステップＳ１０１２において、対象者毎の利用可能性が算出される。具体的には、利用可能性算出部１４０は、対象者Ｓ１、Ｓ２のそれぞれについて、商品Ｃｔに係る対象者Ｓの利用可能性を算出する。

ステップＳ１０２８では、人間関係判断部１３６は、今回検出された２人の対象者Ｓ１、Ｓ２をグループと見做し、グループＩＤを付与する。ここでは、一例として、今回検出した対象者Ｓ１、Ｓ２のグループを「グループＧ１」と称する。

尚、ステップＳ１００４において３人以上の対象者Ｓが検出された場合は、ステップＳ１０２６において、人間関係判断部１３６は、それぞれの対象者毎に、任意の他の対象者に対する対象者間距離が所定閾値Ｔｈ１以下であるか否かを判定してもよい。或いは、人間関係判断部１３６は、それぞれの対象者毎に、全ての他の対象者に対する対象者間距離が所定閾値Ｔｈ１以下であるか否かを判定してもよい。この結果、ステップＳ１０２８では、人間関係判断部１３６は、３人以上の対象者Ｓのうちの、一部の対象者のみをグループとみなしてもよい。この場合、グループとみなした対象者Ｓについては、ステップＳ１０３０に進み、それ以外の対象者Ｓについては、ステップＳ１０１２の処理に進む。

ステップＳ１０３０では、利用可能性算出部１４０は、商品Ｃｔに係るグループＧ１の利用可能性を算出する。グループの利用可能性の算出方法は、上述のとおりであってよい。このようにしてグループの利用可能性を算出すると、利用可能性算出部１４０は、グループテーブル（図８）を作成又は更新してよい。

図１０に示す処理によれば、対象者間距離が所定閾値Ｔｈ１以下である複数の対象者Ｓについては共用可能性の高い人間関係であると判定され、当該複数の対象者Ｓをグループとして、グループの利用可能性が算出される。例えば、図１１に示すような状況、即ち、所定閾値Ｔｈ１以下の対象者間距離の対象者Ｓ１，Ｓ２が同一の商品Ｃ２（商品Ｃｔ）を同時に注視している想定される。尚、図１１では、各対象者Ｓ１，Ｓ２の視線が矢印で模式的に示されている。この場合、複数の対象者Ｓ１，Ｓ２による利用可能性は、グループの利用可能性として算出されることになる。他方、対象者間距離が所定閾値Ｔｈ１以下でない複数の対象者Ｓについては共用可能性の高い人間関係でないと判定され、当該複数の対象者Ｓのそれぞれについて、対象者の利用可能性が算出される。このようにして、図１０に示す処理によれば、複数の対象者Ｓが共用可能性の高い人間関係であるか否かに応じて、利用可能性が異なる態様で算出されるので、精度の高い利用可能性を算出できる。

尚、図１０に示す例では、複数の対象者Ｓが共用可能性の高い人間関係であるか否かに応じて、利用可能性が異なる態様で算出されるが、全ての対象者Ｓに対して各対象者の利用可能性が算出されてもよい。この場合、複数の対象者Ｓが共用可能性の高い人間関係である場合は、更に、その複数の対象者Ｓをグループとして、グループの利用可能性が算出される。この場合、グループの利用可能性は、該グループを形成する各対象者Ｓの利用可能性を補正することで算出されてよい。この補正方法については上述の通りであってよい。

次に、図１２乃至図１４を参照して、利用可能性算出装置１００の動作に関する他の実施例（実施例２）について説明する。

実施例２は、上述した実施例１に対して、商品の属性テーブルを使用する点が主に異なる。具体的には、実施例２では、利用可能性算出部１４０は、複数の対象者Ｓ間の人間関係に加えて、注視対象の商品の属性(性質)を判断して、利用可能性を算出する。商品の属性は、例えば、その商品が、複数の対象者Ｓで共用可能であるか否かに関するものであってよい。

図１２は、商品の属性テーブルの一例を示す図である。図１２には、各商品Ｃ１、Ｃ２等について、共用可能性の高い人間関係である複数の対象者Ｓで共用可能であるか否かの属性が定義されている。例えば、一般的に、冷蔵庫などの大型商品は、複数の対象者Ｓで共用可能である。また、例えば自動販売機等における食べ物や飲み物などの商品は、複数の対象者Ｓで共用可能でなく、共用不可（又は共用困難）である。共用可能性の高い人間関係である複数の対象者Ｓで共用可能であるか否かは、属性テーブルの作成者（設計者）が適宜決定すればよい。

図１３は、実施例２において利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。図１３に示す処理は、視線情報取得部１１０が視線センサ２０から所定時間分の視線情報（本例では撮像画像）を取得する毎に実行されてよい。

図１３に示す処理は、図１０に示した処理に対して、ステップＳ１０２７が追加された点が主に異なる。以下、図１０に対して異なる部分について説明する。

ステップＳ１０２６の判定結果が"ＹＥＳ"の場合、ステップＳ１０２７に進む。

ステップＳ１０２７では、利用可能性算出部１４０は、商品の属性テーブル（図１２参照）を参照して、ステップＳ１０２４で得られた注視態様テーブルに基づいて、複数の対象者Ｓの注視対象の商品Ｃｔの属性が共用可能な商品であるか否かを判定する。例えば図８に示す例では、注視対象の商品Ｃｔが商品Ｃ１である場合は、共用可能な商品と判定され、注視対象の商品Ｃｔが商品Ｃ２又はＣ３である場合は、共用可能でない商品と判定される。注視対象の商品Ｃｔの属性が共用可能な商品である場合は、ステップＳ１０２８に進み、それ以外の場合、ステップＳ１０１２に進む。ステップＳ１０１２に進む場合は、２人の対象者Ｓ１、Ｓ２は共用可能性の高い人間関係でありうるが、グループとされず、ステップＳ１０１２において、対象者毎の利用可能性が算出される。具体的には、利用可能性算出部１４０は、対象者Ｓ１、Ｓ２のそれぞれについて、商品Ｃｔに係る対象者Ｓの利用可能性を算出する。

注視対象の商品Ｃｔが複数ある場合は、利用可能性算出部１４０は、商品毎に、その属性に応じてステップＳ１０３０又はステップＳ１０１２に進むこととしてよい。例えば、図６に示す例では、対象者Ｓ１、Ｓ２の注視対象の商品は、３つの商品Ｃ１，Ｃ２，Ｃ３である。この場合、商品Ｃ１については、商品の属性テーブル（図１２参照）から共用可能であるので、対象者Ｓ１、Ｓ２をグループＧ１としてグループの利用可能性が算出される（ステップＳ１０３０）。他方、商品Ｃ２、Ｃ３については、商品の属性テーブル（図１２参照）から共用不可であるので、対象者Ｓ１、Ｓ２のそれぞれの利用可能性が算出される（ステップＳ１０１２）。この場合は、利用可能性の各算出結果に基づいて、図１４に示すような個別テーブルとグループテーブルを複合したテーブルが生成されてもよい。

ところで、複数の対象者Ｓによる利用可能性は、上述の如く、複数の対象者Ｓが共用可能性の高い人間関係である場合は、そうでない場合に比べて、小さくなる傾向がある。しかしながら、かかる傾向は、商品の属性に依存する。具体的には、共用可能な商品の場合は、複数の対象者Ｓによる利用可能性は、上述の如く、複数の対象者Ｓが共用可能性の高い人間関係である場合は、そうでない場合に比べて、小さくなる傾向があるが、共用可能でない商品の場合は、かかる傾向とならない。共用可能でない商品の場合は、共用可能性の高い人間関係である複数の対象者Ｓのそれぞれに利用される可能性があるためである。例えば、製品Ａを、共用可能性の高い人間関係である三人が見ている場合、製品Ａが大型冷蔵庫などの一家に一台あれば良い製品であれば、家族の三人が３台の製品Ａを購入することはあり得ない。他方、製品Ｃを、共用可能性の高い人間関係である三人が見ている場合、製品Ｃが携帯電話などの個人で用いる製品であれば、家族の三人で１台だけ製品Ｃを購入する可能性は小さい。このように共用可能性の高い人間関係の判断結果を用いるだけでは、利用可能性を精度よく算出できない虞がある。

この点、図１３に示す処理によれば、利用可能性算出部１４０は、複数の対象者Ｓが共用可能性の高い人間関係であり、且つ、注視対象の商品が共用可能である場合に、その商品については複数の対象者Ｓによる利用可能性を、グループＧ１の利用可能性として算出する。また、利用可能性算出部１４０は、複数の対象者Ｓが共用可能性の高い人間関係である場合であっても、注視対象の商品が共用可能でない場合には、その商品については、対象者Ｓ毎の利用可能性を算出する。これにより、複数の対象者Ｓによる利用可能性及び対象者Ｓ毎の利用可能性の算出精度を高めることができる。このように、図１３に示す処理によれば、複数の対象者Ｓによる利用可能性を算出する際、複数の対象者Ｓ間の人間関係のみならず、複数の対象者Ｓの注視対象の商品の属性をも判断するので、各商品に係る利用可能性の算出精度を高めることができる。

次に、図１５乃至図１８を参照して、利用可能性算出装置１００の動作に関する他の実施例（実施例３）について説明する。

実施例３は、上述した実施例１に対して、複数の対象者Ｓが共用可能性の高い人間関係（グループ）であるか否かの判定方法が主に異なる。

図１５は、実施例３において利用可能性算出装置１００により実行される利用可能性算出処理の一例を示すフローチャートである。図１５に示す処理は、視線情報取得部１１０が視線センサ２０から所定時間分の視線情報（本例では撮像画像）を取得する毎に実行されてよい。

図１５に示す処理は、図１０に示した処理に対して、ステップＳ１０１９、ステップＳ１０２５−１，１０２５−２が追加された点が主に異なる。以下、図１０に対して異なる部分について説明する。

ステップＳ１０１９では、人間関係判断部１３６は、グループ判定用データベースを生成する。このグループ判定用データベース生成処理は、図１６を参照して後述する。

ステップＳ１０２５−１では、人間関係判断部１３６は、ステップＳ１０１９で生成したグループ判定用データベースを参照して、グループ判定処理を行う。グループ判定処理は、図１７を参照して後述する。

ステップＳ１０２５−２では、人間関係判断部１３６は、ステップＳ１０２５−１のグループ判定処理結果に基づいて、対象者Ｓ１、Ｓ２がグループであるか否かを判定する。対象者Ｓ１、Ｓ２がグループであると判定した場合は、ステップＳ１０２８に進み、それ以外の場合は、ステップＳ１０１２に進む。

図１６は、グループ判定用データベース生成処理の一例を示すフローチャートである。図１６に示す処理は、視線情報取得部１１０が視線センサ２０から所定時間分の撮像画像に対して、時系列で古い順に一の撮像画像毎に実行されてもよいし、時系列で古い順に所定数の撮像画像（例えば、１秒間のフレーム集合）ごとに実行されてもよい。

ステップＳ１６００では、人間関係判断部１３６は、各対象者Ｓ１、Ｓ２の顔領域から口領域を検出する。口領域の検出方法は任意であり、例えばパターンマッチングが用いられてよい。

ステップＳ１６０２では、人間関係判断部１３６は、各対象者Ｓ１、Ｓ２の口領域の重心間距離を算出する。

ステップＳ１６０４では、人間関係判断部１３６は、対象者Ｓ１、Ｓ２毎に、各対象者Ｓ１、Ｓ２の口領域の上下方向の変化量を算出する。変化量は、各所定フレーム前から変化量等であってよい。口領域の上下方向の変化量は、口領域の上下方向の幅の変化量として算出されてもよい。

ステップＳ１６０６では、人間関係判断部１３６は、対象者Ｓ１、Ｓ２毎に、ステップＳ１６０４で得た口領域の上下方向の変化量が所定閾値Ｔｈ２以上であるか否かを判定する。変化量が所定閾値Ｔｈ２以上である場合は、ステップＳ１６０８に進み、それ以外の場合は、ステップＳ１６１０に進む。対象者Ｓ１、Ｓ２毎に判定結果が異なる場合は、対象者Ｓ１、Ｓ２毎に異なるステップに進んでよい。

ステップＳ１６０８では、人間関係判断部１３６は、口が開いていると判定する。

ステップＳ１６１０では、人間関係判断部１３６は、口が閉じていると判定する。

ステップＳ１６１２では、人間関係判断部１３６は、今回処理した撮像画像に関する判定結果（口が閉じているか否かの判定結果）をデータベースに保存する。

ステップＳ１６１４では、人間関係判断部１３６は、視線情報取得部１１０が視線センサ２０から所定時間分の撮像画像の全てに対して判定処理が終了したか否かを判定する。撮像画像の全てに対して判定処理が終了した場合は、終了し、それ以外の場合は、ステップＳ１６００に戻り、新たな撮像画像に対して同一の処理を繰り返す。

図１７は、図１６に示すグループ判定用データベース生成処理により生成されるデータベースの一例を示す図である。図１７において、（Ａ）は対象者Ｓ１に係るデータベースの例を示し、（Ｂ）は対象者Ｓ２に係るデータベースの例を示す。時間の欄の数字は、一例として、１秒間のフレーム集合を表し、"フレーム集合１"は、最初の１秒間のフレーム集合を表し、"２"は次の１秒の時間間のフレーム集合を表す。図１７に示す例では、所定時間として１０秒間の撮像画像に対するグループ判定用データベース生成処理結果が示される。図１７に示す例では、口が開いているか否かの判定結果（口の状態）に加えて、各対象者Ｓ１、Ｓ２の口領域の重心間距離の算出結果（距離）が保存されている。

図１８は、グループ判定処理の一例を示すフローチャートである。

ステップＳ１８００では、人間関係判断部１３６は、ステップＳ１０２４で得られた注視態様テーブルに基づいて、対象者Ｓ１、Ｓ２に係る対象者間距離が所定閾値Ｔｈ１以下であるか否かを判定する。この判定方法は、上述したステップＳ１０２６の同様であってよい。尚、人間関係判断部１３６は、ステップＳ１０２４で得られた注視態様テーブルに代えて又は加えて、図１６に示す処理結果（各対象者Ｓ１、Ｓ２の口領域の重心間距離）に基づいて、対象者間距離が所定閾値Ｔｈ１以下であるか否かを判定してもよい。対象者Ｓ１、Ｓ２に係る対象者間距離が所定閾値Ｔｈ１以下である場合は、ステップＳ１８０２に進み、それ以外の場合は、ステップＳ１８０６に進む。

ステップＳ１８０２では、人間関係判断部１３６は、図１６に示す処理により得られるグループ判定用データベース（図１７）を参照して、対象者Ｓ１、Ｓ２が交互に口を開いたか否かを判定する。図１７に示す例では、時間"２"〜時間"５"までのフレーム集合に関する判定結果は、対象者Ｓ１、Ｓ２が交互に口を開いたことを示している。この場合、人間関係判断部１３６は、対象者Ｓ１、Ｓ２が交互に口を開いたと判定してよい。対象者Ｓ１、Ｓ２が交互に口を開いた場合は、ステップＳ１８０４に進み、それ以外の場合は、ステップＳ１８０６に進む。

ステップＳ１８０４では、人間関係判断部１３６は、対象者Ｓ１、Ｓ２はグループであると判定する。このような判定結果が生成される場合、図１５のステップＳ１０２５−２の判定結果は"ＹＥＳ"となる。

ステップＳ１８０６では、人間関係判断部１３６は、対象者Ｓ１、Ｓ２はグループでないと判定する。このような判定結果が生成される場合、図１５のステップＳ１０２５−２の判定結果は"ＮＯ"となる。

図１５等に示す処理によれば、対象者間距離及び対象者Ｓ１、Ｓ２の口の動き（開閉状態）に基づいて、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であるか否かが判定される。具体的には、人間関係判断部１３６は、対象者間距離が所定閾値Ｔｈ１以下であり、且つ、対象者Ｓ１、Ｓ２が交互に口を開いた場合は、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であると判定する。これにより、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であるか否かを精度良く判定できる。これは、対象者Ｓ１、Ｓ２が親しい関係であるときは、同じ商品を見ながら会話する場合があるが、対象者Ｓ１、Ｓ２が親しい関係でないときは、会話することはほとんどない。従って、対象者Ｓ１、Ｓ２が交互に口を開いたか否か、即ち会話しているか否かを判定することで、対象者Ｓ１、Ｓ２の人間関係を精度良く判定できる。

尚、図１８に示す処理では、対象者間距離及び対象者Ｓ１、Ｓ２の口の動きに基づいて、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であるか否かを判定しているが、対象者Ｓ１、Ｓ２の口の動きのみに基づいて判定してもよい。

尚、本実施例３は、上述した実施例２と組み合わせることも可能である。例えば図１５の処理において、ステップＳ１０２７の判定処理を組み込むこととしてもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した各実施例では、人間関係判断部１３６は、対象者間距離及び／又は対象者Ｓ１、Ｓ２の口の動きに基づいて、対象者Ｓ１、Ｓ２が共用可能性の高い人間関係であるか否かを判定しているが、これに限られない。例えば、人間関係判断部１３６は、対象者Ｓ１、Ｓ２が同じ商品を注視していない際にお互いの顔を見ていた場合や、手を繋いでいる場合に、共用可能性の高い人間関係であると判定してもよい。

また、上述した各実施例では、注視態様テーブルは、図６に示すように、注視対象判断部１２６の判断結果の時系列に加えて、対象者間距離算出部１３２の算出結果の時系列を含むが、対象者間距離算出部１３２の算出結果の時系列は省略されてもよい。また、利用可能性算出部１４０は、各対象者Ｓの利用可能性を、各対象者Ｓが商品を注視したか否かの二値で算出する場合、注視態様テーブルは、対象者Ｓ毎及び商品毎の各値を保持するものであってよい。例えば、注視態様テーブルは、図１９に示すように、ある対象者Ｓ１がある商品Ｃ１を注視したことを示す場合、値"１"を有し、対象者Ｓ１がある商品Ｃ３を注視していないことを示す場合、値"０"を有してよい。このような注視態様テーブルは、各対象者Ｓの利用可能性を表すことになる。従って、かかる構成では、注視態様テーブル作成部１２８は、利用可能性算出部１４０の機能の一部（各対象者Ｓの利用可能性を算出機能）を実現することになる。

また、上述した各実施例において、利用可能性算出部１４０は、更に、商品ごとに、各対象者及び／又は各グループの利用可能性を合計し、商品ごとに利用可能性の合計値（図７及び図８の"合計"参照）を導出してもよい。この際、利用可能性算出部１４０は、図７及び図８に示すように、個別テーブルとグループテーブルとで別々に合計値を導出してもよい。或いは、利用可能性算出部１４０は、商品ごとに、個別テーブルの合計値とグループテーブルの合計値とを更に合算した合計値を導出してもよい。尚、利用可能性算出部１４０は、各対象者Ｓの利用可能性を、各対象者Ｓが商品を注視したか否かの二値で算出する場合（例えば、商品を注視した場合は"１"、商品を注視していない場合は"０"）、合計値は、商品を注視した対象者の数に相当する。同様に、利用可能性算出部１４０は、各グループの利用可能性を、各グループの所定の対象者Ｓ（又は所定数以上の対象者Ｓ）が商品を注視したか否かの二値で算出する場合、合計値は、商品を注視したグループの数に相当する。

また、図１０等に示す処理では、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者については、各対象者の利用可能性を算出することに代えて、グループの利用可能性を算出しているが、これに限られない。例えば、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者については、グループの利用可能性を算出することに加えて、各対象者の利用可能性を算出してもよい。この場合、利用可能性算出部１４０は、ある商品に係るグループの利用可能性を算出する場合、当該商品に係る、当該グループに属する各対象者の利用可能性を算出する。よって、利用可能性算出部１４０は、グループであるか否かに拘らず各対象者の利用可能性を算出すると共に、各グループの利用可能性を算出することになる。

また、図１０等に示す処理では、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者については、各対象者の利用可能性を算出することに代えて、グループの利用可能性を算出しているが、これに限られない。例えば、利用可能性算出部１４０は、グループの利用可能性を算出しなくてもよい。以下、かかる変形例を「変形例１」と称する。かかる変形例１においては、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者については、各対象者の利用可能性を低く算出（又は補正）してよい。例えば、利用可能性算出部１４０は、グループに属する各対象者の利用可能性を一律に低く算出してもよいし、グループに属する各対象者のうちの、所定の一の対象者以外の利用可能性を"０"に補正してもよい。尚、かかる変形例１においては、ある商品について、あるグループに属する各対象者Ｓの利用可能性の集合（第１指標値の一例）が、当該商品について、同グループに属する複数の対象者Ｓにより利用される可能性を表すことになる。例えば、ある商品について、あるグループに属する複数の対象者Ｓにより利用される可能性は、当該商品について、同グループに属する各対象者Ｓの利用可能性の合算値に基づいて判断できる。

また、図１３に示す処理では、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者が注視する商品について、その商品が共用可能であるか否かに応じて、各対象者の利用可能性、又は、グループの利用可能性を算出しているが、これに限られない。利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者が注視する商品について、その商品が共用可能である場合、グループの利用可能性を算出することに加えて、各対象者の利用可能性を算出してもよい。或いは、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者が注視する商品について、その商品が共用可能である場合、グループの利用可能性を算出することに代えて、各対象者の利用可能性を算出してもよい。以下、かかる変形例を「変形例２」と称する。かかる変形例２においては、利用可能性算出部１４０は、共用可能性の高い人間関係がある複数の対象者が注視する商品について、その商品が共用可能である場合、共用可能でない場合に比べて、各対象者の利用可能性を低く算出（又は補正）してよい。例えば、利用可能性算出部１４０は、共用可能な商品については、グループに属する各対象者の利用可能性を一律に低く算出してもよいし、グループに属する各対象者のうちの、所定の一の対象者以外の利用可能性を"０"に補正してもよい。尚、かかる変形例２においては、ある共用可能な商品について、あるグループに属する各対象者Ｓの利用可能性の集合（第１指標値の一例）が、当該商品について、同グループに属する複数の対象者Ｓにより利用される可能性を表すことになる。例えば、ある共用可能な商品について、あるグループに属する複数の対象者Ｓにより利用される可能性は、当該商品について、同グループに属する各対象者Ｓの利用可能性の合算値に基づいて判断できる。

また、図１３に示す処理では、利用可能性算出部１４０は、複数の対象者が共用可能性の高い人間関係があり、且つ、当該複数の対象者が注視する商品が共用可能である場合は、各対象者の利用可能性を算出しているが、これに限られない。例えば、利用可能性算出部１４０は、商品が共用可能である場合は、共用可能性の高い人間関係があるか否かを判定することなく、各対象者の利用可能性を算出してもよい。

また、図１２に示す商品の属性テーブルは、その商品が共用可能であるか否かを示しているが、他の観点から設定されてもよい。例えば、商品の属性テーブルは、その商品に係る利用可能性を、対象者毎に算出するかグループ毎に算出するかを示してもよい。このような設定は、設計者が所望の態様で実現できる。

また、上述した各実施例において、利用可能性算出部１４０は、ある対象者について視線が検出されない短い時間がある場合、当該対象者のグループに属する他の対象者と同じ注視対象の商品を見ていることとして、当該対象者に係る利用可能性を算出してもよい。これにより、瞬き等で瞬間的に視線が検出できない場合でも、利用可能性を精度良く算出できる。

また、上述した説明では、対象者Ｓの注視対象となる物体は、商品棚に陳列できるような商品であったが、商品のサイズや形状等は任意であるし、商品の陳列方法も任意である。また、商品の位置を追従してもよい。

また、上述した説明では、仮想平面Ｍは、対象者Ｓの注視対象となる物体の位置（座標）を含むが、仮想平面Ｍは、商品位置データベース１２５に基づく商品の位置（Ｚ座標）を必ずしも含む必要はない。例えば、仮想平面Ｍは、商品位置データベース１２５に基づく商品の位置（Ｚ座標）を所定値だけＺ軸正方向にオフセットした位置を含むように設定されてもよい。所定値は、商品のＺ方向の長さの半分等であってもよい。

また、上述した説明では、仮想平面Ｍは、鉛直平面であるが、鉛直平面に対して傾斜していてもよい。また、仮想平面の代わりに、注視対象の空間的位置情報から、ユーザが注視した対象を特定してもよい。

また、上述した説明では、対象者Ｓの注視対象となる物体は、商品であったが、商品以外の物体（商取引の対象とならない物体）であってもよい。例えば、対象者Ｓの注視対象となる物体は、ポスター、広告、絵画、彫刻、画像、建造物、図書、動植物、商品見本等であってよい。また、対象者Ｓの注視対象は、ディスプレイ、携帯型端末、装着型端末などの画面に表示されるコンテンツのような、可視化される無体物であってもよい。例えば、対象者Ｓの注視対象となる物体は、広告のためにコンテンツ（商品等の物体）を表示若しくは配置する表示装置（デジタルサイネージ：Digital Signage）上の画面領域であってもよい。

また、上述した各実施例では、視線検出部１２４は視線ベクトルから視線位置を算出（特定）しているが、視線位置は任意の方法で取得すればよく、視線ベクトルから視線位置を算出する処理は、視線位置を取得する方法の一形態である。例えば、視線検出部１２４は、パターンマッチングにより視線ベクトルを介さずに視線位置を算出してもよい。また、画像処理ではなく、眼電位などをもとに視線位置を取得してもよい。さらに、例えば、対象が大きい場合や対象が遠い距離の場合などには、顔向きなどを視線方向とみなしてもよい。

また、上述した各実施例において、利用可能性算出装置１００により実行される利用可能性算出処理等は、リアルタイムに実行されてもよい。

また、上述した各実施例では、視線センサ２０は、設置型の視線センサであるが、対象者Ｓに装着される装着型視線センサであってもよい。この場合、装着型視線センサは、視線情報と共に位置情報を利用可能性算出装置１００に送信することとしてよい。位置情報は、装着型視線センサに接続又は内蔵されるＧＰＳ（Global Positioning System）受信機により取得されてよい。この場合、利用可能性算出装置１００は、各対象者Ｓの装着型視線センサから得られる位置情報を、対象者間距離を算出するために利用できる。また、装着型視線センサは、固有のＩＤを利用可能性算出装置１００に送信することとしてよい。この場合、利用可能性算出装置１００は、ＩＤに紐付けられた対象者の登録情報に基づいて、対象者間の人間関係を判断できる。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
対象者の視線情報を取得する視線情報取得部と、
複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断する視線態様判断部と、
前記複数の対象者間の関係を判断する関係判断部と、
前記関係判断部により判断された前記複数の対象者間の関係と、前記視線態様判断部により判断された前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する利用可能性算出部とを備える、利用可能性算出装置。
（付記２）
前記指標値は、前記物が複数の対象者により利用される可能性を表す第１指標値を含み、
前記利用可能性算出部は、前記物が前記複数の対象者のそれぞれにより利用される各可能性を表す対象者毎の第２指標値の合計値よりも、前記第１指標値を低く算出する、付記１に記載の利用可能性算出装置。
（付記３）
前記利用可能性算出部は、前記視線態様判断部により判断された前記態様が、前記物に複数の対象者が同一の時間に視線を向けることを示す場合に、前記複数の対象者間の前記関係に応じて前記複数の対象者に係る前記第１指標値又は前記第２指標値を算出する、付記２に記載の利用可能性算出装置。
（付記４）
前記関係判断部は、前記複数の対象者間の関係として、人間関係を判断する、付記３に記載の利用可能性算出装置。
（付記５）
前記関係判断部は、前記人間関係として、前記物に同一の時間に視線を向ける前記複数の対象者が前記物を共用する関係であるか否かを判定する、付記４に記載の利用可能性算出装置。
（付記６）
前記利用可能性算出部は、前記複数の対象者が前記物を共用する関係であると前記関係判断部が判定した場合、前記第１指標値を算出する、付記５に記載の利用可能性算出装置。
（付記７）
前記利用可能性算出部は、前記複数の対象者が前記物を共用する関係であると前記関係判断部が判定した場合、前記複数の対象者を１つのグループとして、前記物が該グループにより利用される可能性を前記第１指標値として算出する、付記６に記載の利用可能性算出装置。
（付記８）
前記利用可能性算出部は、前記複数の対象者が該複数の対象者で前記物を共用する関係でないと前記関係判断部が判定した場合、前記複数の対象者のそれぞれに係る前記第２指標値を算出する、付記６〜７のうちのいずれか１項に記載の利用可能性算出装置。
（付記９）
前記関係判断部は、前記複数の対象者間の距離に基づいて、前記複数の対象者が前記物を共用する関係であるか否かを判定する、付記５に記載の利用可能性算出装置。
（付記１０）
前記関係判断部は、前記複数の対象者間の距離が所定閾値以下である場合、前記複数の対象者間の関係が前記物を共用する関係であると判定する、付記９に記載の利用可能性算出装置。
（付記１１）
前記関係判断部は、前記複数の対象者の各口の動きに基づいて、前記複数の対象者が前記物を共用する関係であるか否かを判定する、付記５に記載の利用可能性算出装置。
（付記１２）
前記関係判断部は、前記複数の対象者の各口が交互に開いた場合、前記複数の対象者間の関係が前記物を共用する関係であると判定する、付記１１に記載の利用可能性算出装置。
（付記１３）
前記利用可能性算出部は、前記複数の対象者が前記物を共用する関係であり、且つ、前記物が前記複数の対象者で共用可能である場合、前記第１指標値を算出する、付記５に記載の利用可能性算出装置。
（付記１４）
前記利用可能性算出部は、前記物が前記複数の対象者で共用可能でない場合、前記複数の対象者のそれぞれに係る前記第２指標値を算出する、付記１３に記載の利用可能性算出装置。
（付記１５）
前記視線態様判断部は、視線が前記物に向けられている時間、視線が前記物に向けられる頻度、又は、前記物に視線を向けたか否かを、前記態様として判断する、付記１〜１４のうちのいずれか１項に記載の利用可能性算出装置。
（付記１６）
前記視線態様判断部は、視線が前記物に向けられている時間を判断し、
前記利用可能性算出部は、前記複数の対象者のそれぞれの視線が前記物に向けられている各時間に基づいて、前記指標値を算出する、付記１〜１５のうちのいずれか１項に記載の利用可能性算出装置。
（付記１７）
前記利用可能性算出部は、更に、複数のグループに係る前記第１指標値の合計値と、複数の対象者に係る前記第２指標値の合計値とを算出する、付記８に記載の利用可能性算出装置。
（付記１８）
前記第１指標値は、時間を表し、
前記利用可能性算出部は、前記複数の対象者のそれぞれの視線が前記物に向けられている各時間の合算時間よりも短い時間を前記第１指標値が表すように、前記第１指標値を算出する、付記１６に記載の利用可能性算出装置。
（付記１９）
前記視線態様判断部は、視線が前記物に向けられている時間を判断し、
前記利用可能性算出部は、視線が前記物に向けられている時間が長いほど、前記第２指標値を高く算出する、付記３に記載の利用可能性算出装置。
（付記２０）
対象者の視線情報を取得し、
複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断し、
前記複数の対象者間の関係を判断し、
前記複数の対象者間の関係と、前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出することを含む、コンピューターにより実行される利用可能性算出方法。
（付記２１）
対象者の視線情報を取得し、
複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断し、
前記複数の対象者間の関係を判断し、
前記複数の対象者間の関係と、前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する、
処理をコンピューターに実行させる利用可能性算出プログラム。
（付記２２）
カメラと、
前記カメラから対象者の視線情報を取得する視線情報取得部と、
複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断する視線態様判断部と、
前記複数の対象者間の関係を判断する関係判断部と、
前記関係判断部により判断された前記複数の対象者間の関係と、前記視線態様判断部により判断された前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する利用可能性算出部とを備える、利用可能性算出システム。

１ 利用可能性算出システム
１００ 利用可能性算出装置
１１０ 視線情報取得部
１２０ 視線態様判断部
１２８ 注視態様テーブル作成部
１３０ 関係判断部
１３６ 人間関係判断部
１３８ 利用可能性算出部

Claims (13)

1. 対象者の視線情報を取得する視線情報取得部と、
   複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断する視線態様判断部と、
   前記複数の対象者間の関係を判断する関係判断部と、
   前記関係判断部により判断された前記複数の対象者間の関係と、前記視線態様判断部により判断された前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する利用可能性算出部とを備える、利用可能性算出装置。
2. 前記指標値は、前記物が前記複数の対象者により利用される可能性を表す第１指標値を含み、
   前記利用可能性算出部は、前記物が前記複数の対象者のそれぞれにより利用される各可能性を表す対象者毎の第２指標値の合計値よりも、前記第１指標値を低く算出する、請求項１に記載の利用可能性算出装置。
3. 前記利用可能性算出部は、前記視線態様判断部により判断された前記態様が、前記物に複数の対象者が同一の時間に視線を向けることを示す場合に、前記複数の対象者間の前記関係に応じて前記複数の対象者に係る前記第１指標値又は前記第２指標値を算出する、請求項２に記載の利用可能性算出装置。
4. 前記関係判断部は、前記関係として、前記物に同一の時間に視線を向ける前記複数の対象者が前記物を共用する関係であるか否かを判定する、請求項３に記載の利用可能性算出装置。
5. 前記利用可能性算出部は、前記複数の対象者が前記物を共用する関係であると前記関係判断部が判定した場合、前記第１指標値を算出する、請求項４に記載の利用可能性算出装置。
6. 前記利用可能性算出部は、前記複数の対象者が該複数の対象者で前記物を共用する関係でないと前記関係判断部が判定した場合、前記複数の対象者のそれぞれに係る前記第２指標値を算出する、請求項５に記載の利用可能性算出装置。
7. 前記関係判断部は、前記複数の対象者間の距離に基づいて、前記複数の対象者が前記物を共用する関係であるか否かを判定する、請求項４に記載の利用可能性算出装置。
8. 前記関係判断部は、前記複数の対象者の各口の動きに基づいて、前記複数の対象者が前記物を共用する関係であるか否かを判定する、請求項４に記載の利用可能性算出装置。
9. 前記利用可能性算出部は、前記複数の対象者が前記物を共用する関係であり、且つ、前記物が前記複数の対象者で共用可能である場合、前記第１指標値を算出する、請求項４に記載の利用可能性算出装置。
10. 前記利用可能性算出部は、前記物が前記複数の対象者で共用可能でない場合、前記複数の対象者のそれぞれに係る前記第２指標値を算出する、請求項９に記載の利用可能性算出装置。
11. 前記視線態様判断部は、視線が前記物に向けられている時間を判断し、
    前記利用可能性算出部は、前記複数の対象者のそれぞれの視線が前記物に向けられている各時間に基づいて、前記指標値を算出する、請求項１〜１０のうちのいずれか１項に記載の利用可能性算出装置。
12. 対象者の視線情報を取得し、
    複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断し、
    前記複数の対象者間の関係を判断し、
    前記複数の対象者間の関係と、前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出することを含む、コンピューターにより実行される利用可能性算出方法。
13. 対象者の視線情報を取得し、
    複数の対象者の視線情報に基づいて、物に前記複数の対象者の視線が向けられる態様を判断し、
    前記複数の対象者間の関係を判断し、
    前記複数の対象者間の関係と、前記態様とに基づいて、前記物が前記対象者により利用される可能性を表す指標値を算出する、
    処理をコンピューターに実行させる利用可能性算出プログラム。

Images