JP6574937B2 - 通信システム、制御方法、および記憶媒体 - Google Patents

Description

本開示は、通信システム、制御方法、および記憶媒体に関する。

近年、カメラ機能を有するスマートフォンや携帯電話端末、タブレット端末、デジタルカメラ等が普及し、これらで撮影した写真が大量にサーバにアップロードされている。また、アップロードされる写真データには、一般的に位置情報（撮影場所情報）を含むメタデータが付加されている。また、時計型端末やリストバンド型端末、メガネ型ＨＭＤ等のウェアラブル装置も普及し始め、日常的に行動ログ（ライフログとも称す）を取得することが容易になり、取得された大量の行動ログが様々に活用されている。

また、近年、身体に直接触れる機器で感情データ（心理状態の情報）をセンシングできる状況が整いつつある。具体的には、発汗量や心拍数等の生体情報から感情（不快、緊張、喜び、興奮等の心理状態）を概ね推定することが行われている。

このような感情推定技術と、大量に取得されるユーザの写真や行動ログ等に関する技術を活用する技術として、例えば下記特許文献１が提案されている。下記特許文献１では、撮影者の撮影時における生体情報および行動情報を、撮影した画像に関連付けて保存する技術が開示されている。これにより、膨大な数の画像から重要な画像（特別な心理状態で撮影した画像）を検索することが可能となる。

特開２００９−１８８８９９号公報

ここで、昨今、所謂ディープラーニング（深層学習；Deep Learning）と称される技術のように、一見無機的な大量データからその相関関係（構造）を導き出す仕組みや、これを支える演算能力が現実のものとなってきている。したがって、大量の写真や行動ログに関するデータ群と、その時の感情に関するデータ群とを解析し、行動と感情の相関関係を算出することも実現し得る。

そして、クラウドデバイス（ネットワークに接続可能なイメージングデバイス等）がクラウド上で無数のネットワークを組むようになった時代において、各クラウドデバイスからアップロードされた大量の行動ログと感情データをマッピングすることができれば、地球環境全体の感情マップの作成や感情分析が可能となる。この場合、所定の感情に導くための行動をユーザに案内することが実現できる。

しかしながら、従来の技術では、感情マップに応じたユーザ案内に関しては何ら考慮されていなかった。

そこで、本開示では、感情マップに応じて所定の感情になるための行動をユーザに案内することが可能な通信システム、制御方法、および記憶媒体を提案する。

本開示によれば、ユーザの現在位置情報を取得する取得部と、前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成する案内情報生成部と、前記案内情報をユーザに提供する提供部と、を備える、通信システムを提案する。

本開示によれば、ユーザの現在位置情報をクライアントから取得することと、前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成することと、前記案内情報をユーザに提供するよう制御することと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、ユーザの現在位置情報を取得する取得部と、前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成する案内情報生成部と、前記案内情報をユーザに提供する提供部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、感情マップに応じて所定の感情になるための行動をユーザに案内することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による通信システムの概要を説明する図である。 本実施形態によるサーバの基本構成の一例を示すブロック図である。 本実施形態によるデータ収集を行うクライアントの内部構成の一例を示すブロック図である。 本実施形態による案内情報の提示を行うクライアントの内部構成の一例を示すブロック図である。 感情マップ生成時の動作処理を示すシーケンス図である。 感情マップに応じたナビゲーションの動作処理を示すシーケンス図である。 感情マップに応じた他のナビゲーション例の動作処理を示すシーケンス図である。 現在地周辺の各経路における幸福度の表示方法例を示す図である。 現在地周辺の各経路における幸福度の表示方法例を示す図である。 コンテンツ−感情ＤＢのデータ作成時の動作処理を示すシーケンス図である。 コンテンツナビゲーションの動作処理を示すシーケンス図である。 コンテンツ推薦の表示例を示す図である。 環境−感情ＤＢのデータ作成時の動作処理を示すシーケンス図である。 環境情報ナビゲーションの動作処理を示すシーケンス図である。 環境改善情報の表示例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による通信システムの概要
２．基本構成
２−１．サーバ２の構成例
２−２．クライアント３（データ収集用）の構成例
２−３．クライアント１（案内情報提示用）の構成例
３．各ナビゲーション
３−１．感情マップに応じたナビゲーション
３−２．コンテンツナビゲーション
３−３．環境情報ナビゲーション
４．まとめ

＜＜１．本開示の一実施形態による通信システムの概要＞＞
まず、本開示の一実施形態による通信システムの概要について図１を参照して説明する。図１は、本開示の一実施形態による通信システムの概要を説明する図である。図１に示すように、本実施形態による通信システムは、データ収集用のクライアント３と、サーバ２と、案内情報提示用のクライアント１と、を含む。

データ収集用のクライアント３は、図１に示すように、例えばカメラ装置により実現されるクライアント３ａ、スマートフォンにより実現されるクライアント３ｂ、メガネ型ＨＭＤ（Head Mounted Display）により実現されるクライアント３ｃ等の情報処理端末である。クライアント３ａ〜３ｃは、各々所有ユーザの感情を推定するためのデータ（例えば生体情報、顔画像、音声等）と、現在位置情報／視聴中のコンテンツデータ／周囲の環境情報等を取得し、ネットワーク５を介してサーバ２にアップロードする。

サーバ２は、各クライアント３から収集した感情を推定するためのデータに基づいて所有ユーザの感情を推定し、推定した感情と、併せて収集した位置情報／コンテンツデータ／環境情報との相関関係を示すデータを生成する。例えば、サーバ２は、位置情報に基づいて、推定した感情を地図上にマッピングした感情マップを生成する。また、サーバ２は、推定した感情とコンテンツデータの相関関係を示すデータベース（ＤＢ）、推定した感情と環境情報との相関関係を示すデータベースも生成し得る。なお、図１では、データ収集用のクライアント３の一例としてクライアント３ａ〜３ｃの３つのみを図示したが、データ収集用のクライアント３はネットワーク上に多数存在し、サーバ２は、多数のクライアント３から大量のデータを収集し、地域規模、国規模、または地球全体規模での感情マップ、コンテンツ−感情ＤＢ、環境−感情ＤＢを生成することができる。

また、サーバ２は、案内情報提示用のクライアント１からの要求に応じて、感情マップ、コンテンツ−感情ＤＢ、または環境−感情ＤＢに基づき所定の感情にユーザを導くための行動（例えば進行方向、所定コンテンツの視聴推薦、環境改善の提案）を案内する案内情報を生成し、クライアント１に返信する。

案内情報提示用のクライアント１は、サーバ２に対して、所定の感情にユーザを導くための行動を案内する案内情報の送信を要求し、要求に応じてサーバ２から返信された案内情報を表示出力／音声出力してユーザに提示する。例えば、クライアント１は、現在位置情報／視聴中のコンテンツデータ／周囲の環境情報を取得し、サーバ２に送信すると共に、案内情報の送信要求を行う。また、案内情報提示用のクライアント１は、図１に示すメガネ型ＨＭＤで実現される他、スマートフォン、タブレット端末、携帯電話端末、カメラ装置、ゲーム機、または音楽プレーヤー等のネットワークに接続可能な出力端末により実現され得る。

以上、本開示の一実施形態による通信システムの概要について説明した。これにより、本実施形態では、所定の感情になるための行動をユーザに提示することができる。例えば、幸福な感情と位置情報との相関関係に基づいて幸福度マップを生成し、当該幸福度マップを用いて、幸福な感情になる経路にユーザを案内することができる。なお、図１に示す例では、データ収集用のクライアント３と案内情報提示用のクライアント１とを別装置で示したが、同一の装置であってもよい。

＜＜２．基本構成＞＞
次に、本実施形態による通信システムに含まれるサーバ２、クライアント３、クライアント１の各構成例について、図２〜図４を参照して順次説明する。

＜２−１．サーバ２の構成例＞
図２は、本実施形態によるサーバ２の基本構成の一例を示すブロック図である。図２に示すように、サーバ２は、制御部２０、通信部２１、環境−感情ＤＢ２２、コンテンツ−感情ＤＢ２３、および感情マップＤＢ２４を有する。

（制御部）
制御部２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、サーバ２の各構成を制御する。

また、本実施形態による制御部２０は、図２に示すように、地図情報生成部２０ａ、案内情報生成部２０ｂ、感情推定部２０ｃ、および提供部２０ｄとして機能する。地図情報生成部２０ａは、感情データをマッピングした地図情報を生成し、生成した地図情報（感情マップとも称す）を感情マップＤＢ２４に格納する。より具体的には、地図情報生成部２０ａは、データ収集を行うクライアント３から送信されたユーザの感情を推定するためのデータに基づいて推定した感情データを、併せて送信された位置情報に基づいて、地図上に配置する。また、地図情報生成部２０ａは、多数のクライアント３から送信される大量の感情データと位置情報の対応関係を統計解析した上で、地図情報を生成してもよい。

本明細書において、ユーザの感情を推定するためのデータとは、例えば発汗、脈拍、心拍、身体の振動、脳波、筋電、血流変化等の生体情報、ユーザの顔（表情）を撮像した撮像画像、音声等である。地図情報生成部２０ａは、生体情報の値または撮像画像の解析結果等に基づいてユーザの感情を推定する。感情は、一般的に、喜び（joy）、悲しみ（sadness）、受容（trust）、嫌悪（disgust）、恐れ（fear）、怒り（anger）、驚き（surprise）、期待（anticipation）といった８つの基本感情のいずれか、または組み合わせにより定義される。このような様々な感情のうち、地図情報生成部２０ａは、例えば幸福度（ユーザが幸せと感じている度合い）を推定する。より具体的には、例えば地図情報生成部２０ａは、ユーザの顔画像から笑顔が検出された場合、笑顔度に応じて幸福度を推定することが可能である。また、地図情報生成部２０ａは、ユーザの音声を解析して会話内容や声の高さ、抑揚、笑い声等に基づいて幸福度を推定することも可能である。

さらに、地図情報生成部２０ａは、ユーザの属性別に感情マップを生成してもよい。ユーザの属性とは、例えば年齢、年代、性別、趣味・嗜好、出身地等である。

以上説明した地図情報生成部２０ａによるユーザの感情の推定は、クライアント３側で予め行われてもよい。この場合、クライアント３からは推定済みのユーザの感情データが送信される。

案内情報生成部２０ｂは、案内情報の提示を行うクライアント１からの要求に応じて、所定の感情にユーザを導くための行動を案内する案内情報を生成する。より具体的には、例えば案内情報生成部２０ｂは、クライアント１から送信された現在位置情報と、感情マップＤＢ２４に格納された感情マップとに応じて、所定の感情が紐付けられた場所（または経路）にユーザを案内するための案内情報を生成する。案内情報には、所定の感情が紐付けられた場所（または経路）に向かう進行方向をユーザに指示する情報が含まれる。

また、案内情報生成部２０ｂは、次に説明する感情推定部２０ｃによりユーザが現在視聴中のコンテンツデータまたはユーザの周囲の環境情報に基づいて推定されたユーザの現在の感情に応じて、ユーザを所定の感情に導くためのコンテンツデータの推薦情報または環境情報の改善案等を生成する。例えば、案内情報生成部２０ｂは、コンテンツ−感情ＤＢ２３に格納されたデータを用いて、所定の感情が紐付けられたコンテンツをユーザに案内（推薦）するための案内情報を生成する。具体的には、例えばユーザが現在視聴している音楽が悲しい感情になるものである場合、案内情報生成部２０ｂは、悲しい感情とは反対の楽しく幸せな感情になるためのコンテンツデータ（写真、映像、音楽等）を案内する案内情報を生成する。または、案内情報生成部２０ｂは、環境−感情ＤＢ２２に格納されたデータを用いて、所定の感情が紐付けられた環境情報への改善をユーザに案内するための案内情報を生成する。具体的には、例えばユーザの現在の周囲の環境情報が憂鬱な感情になるものである場合、提供部２０ｄは、憂鬱な感情とは反対の爽快に幸せな感情になるための環境改善策（窓を開ける、音楽をかける、室内の灯りをつける等）を案内する案内情報を生成する。

案内情報生成部２０ｂは、生成した案内情報を提供部２０ｄに出力する。

感情推定部２０ｃは、案内情報の提示を行うクライアント１から送信されたユーザが視聴中のコンテンツデータまたはユーザ周辺の環境情報に基づいて、ユーザの現在の感情を推定する機能を有する（第１、第２の感情推定部）。ここで、ユーザが視聴中のコンテンツデータとは、例えば写真、映像、音楽等の識別情報や特徴量等である。また、ユーザ周辺の環境情報とは、例えば時間、位置、気圧、気温、湿度、周囲に存在する物体、物体の状態等である。

感情推定部２０ｃは、コンテンツ−感情ＤＢ２３に格納されている、コンテンツデータと感情データとの相関関係を示すデータ（学習結果）に基づいて、ユーザが現在視聴中のコンテンツデータと同じ／類似するコンテンツデータに紐付けられた感情データを抽出し、ユーザの現在の感情として推定する。また、感情推定部２０ｃは、環境−感情ＤＢ２２に格納されている、環境情報と感情データとの相関関係を示すデータ（学習結果）に基づいて、ユーザの現在の周囲の環境情報と同じ／類似する環境情報に紐付けられた感情データを抽出し、ユーザの現在の感情として推定する。

感情推定部２０ｃは、コンテンツデータまたは環境情報に基づいて推定したユーザの現在の感情データを、案内情報生成部２０ｂに出力する。

提供部２０ｄは、案内情報生成部２０ｂにより生成された所定の感情になるための行動をユーザに案内する案内情報を、ユーザに提供するよう制御する。すなわち、提供部２０ｄは、案内情報生成部２０ｂにより生成された案内情報を、通信部２１からクライアント１に送信するよう制御し、クライアント１においてユーザに提示（表示出力／音声出力）させる。

例えば提供部２０ｄは、所定の感情が紐付けられた場所または経路への進行方向を指示する案内情報、ユーザの現在地周辺における地域の所定の感情度合いの分布を示す地図画像等をユーザに提供するよう制御する。

また、提供部２０ｄは、所定の感情が紐付けられたコンテンツデータの推薦情報をユーザに提供するよう制御してもよい。

また、提供部２０ｄは、所定の感情が紐付けられた環境への改善を提案する情報をユーザに提供するよう制御してもよい。

（通信部）
通信部２１は、ネットワーク５に接続し、クライアント１、３とデータの送受信を行う。例えば通信部２１は、データ収集を行うクライアント３から、ユーザの感情を推定するためのデータと、位置情報／コンテンツデータ／環境情報を受信（取得）する。また、通信部２１は、案内情報の提示を行うクライアント１から現在位置情報を受信（取得）し、これに対して、提供部２０ｄによる制御に従って案内情報を返信する。

（環境−感情ＤＢ）
環境−感情ＤＢ２２は、環境情報（時間、位置、気圧、気温、湿度、位置、物体、物体の状態等）と感情データとの相関関係を示すデータを格納する。例えば、環境−感情ＤＢ２２には、データ収集用の多数のクライアント３から大量に送信された環境情報と感情データの相関関係を統計解析して学習した学習結果が格納される。

（コンテンツ−感情ＤＢ）
コンテンツ−感情ＤＢ２３は、コンテンツデータと感情データとの相関関係を示すデータを格納する。例えば、コンテンツ−感情ＤＢ２３には、データ収集用の多数のクライアント３から大量に送信されたコンテンツデータと感情データの相関関係を統計解析して学習した学習結果が格納される。

（感情マップＤＢ）
感情マップＤＢ２４は、地図情報生成部２０ａにより生成された感情マップを格納する。

＜２−２．クライアント３（データ収集用）の構成例＞
次に、データ収集用のクライアント３の構成について図３を参照して説明する。図３は、本実施形態によるクライアント３ａ（カメラ装置）の内部構成例を示すブロック図である。図３では、クライアント３の一例として、カメラ装置により実現されるクライアント３ａの構成を示す。

図３に示すように、クライアント３ａ（カメラ装置）は、制御部３０、通信部３１、表示部３２、操作部３３、画像ＤＢ３４、撮像部３５、インカメラ３６、感情センサ部３７、および位置情報取得部３８を有する。

（制御部）
制御部３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、クライアント３ａの各構成を制御する。具体的には、例えば制御部３０は、操作部３３によりシャッターボタンの押下が検出された際に撮像部３５に対して撮像実行を指示するよう制御する。また、制御部３０は、撮像部３５で撮像を実行した際に、インカメラ３６でユーザ（撮影者）の顔（表情）を撮像するよう制御し、インカメラ３６で撮像した顔画像を、ユーザの感情を推定するためのデータとして通信部３１からサーバ２に送信するよう制御する。若しくは、制御部３０は、撮像部３５で撮像を実行した際に、例えばシャッターボタン等に設けられた感情センサ部３７により検知したセンサ値（発汗、脈拍、または体温等の生体情報）を、ユーザの感情を推定するためのデータとして通信部３１からサーバ２に送信するよう制御する。さらに、制御部３０は、顔画像、生体情報等のユーザの感情を推定するためのデータをサーバ２に送信する際に、併せて位置情報取得部３８により取得した現在位置情報、または撮像部３５で撮像された撮像画像（被写体画像）も送信するよう制御する。

このように、本実施形態では、データ収集用のクライアント３が、ユーザの感情を推定するためのデータ（顔画像、生体情報等）を、現在位置情報と共にサーバ２に送信することで、サーバ２側において、ユーザの感情推定と、推定した感情と位置情報との対応付け（感情マップの生成）が行われる。また、データ収集用のクライアント３が、ユーザの感情を推定するためのデータ（顔画像、生体情報等）を、撮像画像（被写体画像）と共にサーバ２に送信することで、サーバ２側において、ユーザの感情推定と、推定した感情と撮像画像との対応付け（コンテンツ−感情ＤＢの生成、学習）が行われる。

（通信部）
通信部３１は、ネットワーク５に接続し、サーバ２とデータの送受信を行う。

（表示部）
表示部３２は、制御部３０の制御に従って、表示画面に文字、画像その他の情報を表示する機能を有する。表示部３２は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により実現される。

（操作部）
操作部３３は、ユーザによる操作を検出し、検出したユーザ操作を制御部３０に出力する機能を有する。操作部３３は、例えばシャッターボタン、電源ボタン、ズームボタン等の物理的な構造により実現される他、表示画面に重畳され表示画面に対するユーザの接触位置を検知する操作面（例えばタッチパネル）により実現されてもよい。

（画像ＤＢ）
画像ＤＢ３４は、撮像部３５により撮像された撮像画像や、インカメラ３６により撮像された顔画像を格納する。

（撮像部）
撮像部３５は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

撮像部３５は、制御部３０による撮像実行指示に従って、撮像を実行する。撮像部３５により撮像された画像は、画像ＤＢ３４に格納される。

（インカメラ）
インカメラ３６は、撮影者（操作者）であるユーザを撮像するよう、ユーザ側に向けて設けられた撮像部である。具体的には、例えばインカメラ３６は、カメラ装置（クライアント３ａ）の外側を撮像方向とする撮像部３５の撮像レンズが設けられている面と反対側の面に、内側を撮像方向として設けられる。

インカメラ３６は、制御部３０による制御に従って、撮影を行っているユーザの顔を撮像する。インカメラ３６により撮像された顔画像は、制御部３０に出力され、制御部３０の制御に従って、ユーザの感情を推定するためのデータとしてサーバ２に送信される。

（感情センサ部）
感情センサ部３７は、カメラ装置（クライアント３ａ）の操作者であるユーザの感情を推定するためのデータとして、ユーザの脈拍、発汗、または体温等の生体情報を検知する各種センサである。感情センサ部３７は、例えばシャッターボタンや操作面に設けられ、ユーザがシャッターボタンの押下または操作面をタッチして撮像操作を行った際の生体情報を検知することができる。感情センサ部３７は、検知した生体情報を制御部３０に出力し、制御部３０によりユーザの感情を推定するためのデータとしてサーバ２に送信される。

（位置情報取得部）
位置情報取得部３８は、外部からの取得信号に基づいてクライアント３ａの現在位置を検知する機能を有する。具体的には、例えば位置情報取得部３８は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、クライアント３ａが存在している位置を検知し、検知した位置情報を制御部３０に出力する。また、位置情報取得部３８は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

以上、データ収集用のクライアント３の構成例として、カメラ装置により実現されるクライアント３ａの構成を説明した。しかし、本実施形態によるクライアント３の構成は図３に示す例に限定されず、例えば、クライアント３は、さらに周囲の環境情報を取得する環境情報取得部を有していてもよい。

環境情報取得部は、周囲の環境情報（場情報）として、例えば気温、湿度、照度、気象情報、周囲に存在する物体、物体の状態等をセンシングする機能を有する。例えば、環境情報取得部は、湿度センサ、照度センサ、温度センサ等により実現される。また、環境情報取得部は、撮像部３５により取得された被写体画像に基づいて、周囲に存在する物体や、物体の状態等を環境情報として抽出してもよい。

環境情報取得部により取得された環境情報は、ユーザの感情を推定するためのデータ（顔画像、生体情報等）と共に、サーバ２に送信される。このように、本実施形態では、データ収集用のクライアント３が、環境情報を、ユーザの感情を推定するためのデータ（顔画像、生体情報等）と共にサーバ２に送信することで、サーバ２側において、ユーザの感情推定と、推定した感情と環境情報との対応付け（環境−感情ＤＢの生成、学習）が行われる。

＜２−３．クライアント１（案内情報提示用）の構成例＞
次に、案内情報提示用のクライアント１の構成について説明する。クライアント１は、図１に示したように、例えばメガネ型ＨＭＤにより実現される。メガネ型ＨＭＤは、ユーザに装着される眼鏡型のウェアラブル装置であって、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成となっている。表示部は透過型であって、表示部がスルー状態、即ち透明または半透明の状態とされることで、当該メガネ型ＨＭＤを常時装着していてもユーザの通常の生活には支障が出ないようになっている。

ここで、メガネ型ＨＭＤにより実現された場合におけるクライアント１の内部構成の一例を図４に示す。クライアント１は、図４に示すように、制御部１０、通信部１１、表示部１２、操作部１３、記憶部１４、および位置情報取得部１５を有する。

（制御部）
制御部１０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、クライアント１の各構成を制御する。また、本実施形態による制御部１０は、図４に示すように、表示制御部１０ａ、および通信制御部１０ｂとして機能する。

表示制御部１０ａは、表示部１２に表示する画面の生成、および表示制御を行う。例えば、表示制御部１０ａは、通信部１１によりサーバ２から受信した案内情報を表示部１２に表示するよう制御する。また、表示制御部１０ａは、表示部１２の透過度を制御することも可能である。

通信制御部１０ｂは、通信部１１からのデータ送信を制御する。例えば通信制御部１０ｂは、位置情報取得部１５が取得した現在位置情報を通信部１１からサーバ２に送信すると共に、サーバ２に対してユーザを所定の感情に導く感情ナビゲーションの要求を行う。かかる要求に対し、サーバ２側において、ユーザの現在位置情報と感情マップに基づいてユーザを所定の感情が対応付けられた場所や経路に案内するための案内情報が生成され、クライアント１に返信される。

（通信部）
通信部１１は、ネットワーク５に接続し、サーバ２と通信を行う機能を有する。例えば通信部１１は、通信制御部１０ｂの制御にしたがって、現在位置情報と感情ナビゲーションの要求をサーバ２に送信する。また、通信部１１は、感情ナビゲーションの要求に応じてサーバ２から返信される案内情報を受信する。

（表示部）
表示部１２は、上述したように、クライアント１（メガネ型ＨＭＤ）をユーザが装着した状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に配置される。この表示部１２には、例えば液晶パネルが用いられ、表示制御部１０ａにより液晶パネルの透過率が制御されることで、スルー状態、即ち透明または半透明の状態になる。

また、本実施形態による表示部１２は、表示制御部１０ａによる制御にしたがって、サーバ２から送信された案内情報を表示する。案内情報の具体的な表示例については、図８、図９を参照して後述する。また、表示部１２は、表示制御部１０ａによる制御にしたがって、写真や映像等のコンテンツを再生することも可能である。

（操作部）
操作部１３は、ユーザ操作を検出する機能を有し、検出したユーザ操作を制御部１０に出力する。操作部１３は、電源スイッチ等の物理的構造によるものの他、クライアント１（メガネ型ＨＭＤ）本体へのタップ操作（または振動）を検知する検知部によって実現されてもよい。また、操作部１３は、外側に向けて設けられたカメラによりユーザのジェスチャーを撮像してジェスチャー入力を認識してもよいし、内側に向けて設けられたカメラによりユーザの眼を撮像して視線入力を認識してもよい。若しくは、操作部１３は、周囲の音を集音するマイクロホンによりユーザの音声を取得して音声入力を認識してもよい。

（記憶部）
記憶部１４は、制御部１０による各種処理を実行するためのプログラムを格納する。

（位置情報取得部）
位置情報取得部１５は、外部からの取得信号に基づいてクライアント１の現在位置を検知する機能を有する。位置情報取得部１５は、取得した現在位置情報を制御部１０に出力する。

以上、案内情報提示用のクライアント１の構成例として、メガネ型ＨＭＤにより実現されるクライアント１の構成について説明した。しかし、本実施形態によるクライアント１の構成は図４に示す例に限定されず、例えば、クライアント１は、さらに音声再生部（スピーカ）を有していてもよい。

音声再生部は、例えばクライアント１（メガネ型ＨＭＤ）の装着状態において、ユーザの右耳孔および左耳孔に挿入できる一対の（またはいずれか一方の耳にのみ挿入できる一つの）イヤホンスピーカにより実現される。また、音声再生部は、制御部１０の制御に従って、サーバ２から送信された案内情報を音声出力したり、音楽等のコンテンツデータを再生したりする。

また、クライアント１は、さらに環境情報取得部を有していてもよい。環境情報取得部は、周囲の環境情報（場情報）として、例えば気温、湿度、照度、現在地の気象情報、周囲に存在する物体、物体の状態等をセンシングする機能を有する。

また、本実施形態による通信制御部１０ｂは、現在ユーザが視聴しているコンテンツ（写真、映像、音楽等）のコンテンツデータまたは現在の周囲の環境情報をサーバ２に送信し、ユーザを所定の感情に導くための案内情報の送信を要求してもよい。例えば、コンテンツデータを送信した場合、サーバ２側において、コンテンツデータに基づいて推定したユーザの現在の感情に応じて、ユーザを所定の感情に導く他のコンテンツを推薦する案内情報が生成され、クライアント１に返信される。また、環境情報を送信した場合、サーバ２側において、環境情報に基づいて推定したユーザの現在の感情に応じて、ユーザを所定の感情に導く他の環境情報に改善することを提案する案内情報が生成され、クライアント１に返信される。

以上、本実施形態による通信システムに含まれるサーバ２、データ収集用のクライアント３、および案内情報提示用のクライアント１の各構成について具体的に説明した。なお、上述したように、データ収集用のクライアント３、と案内情報提示用のクライアント１は同一装置であってもよい。

続いて、本開示の一実施形態による通信システムにより実行される各ナビゲーションについて複数例挙げて具体的に説明する。

＜＜３．各ナビゲーション＞＞
＜３−１．感情マップに応じたナビゲーション＞
まず、感情マップに応じたナビゲーションについて、図５〜図９を参照して説明する。

（３−１−１．データ収集）
図５は、感情マップ生成時の動作処理を示すシーケンス図である。図５に示すように、まず、ステップＳ１０３において、クライアント３は、ユーザの感情を推定するためのデータを取得する。具体的には、例えばクライアント３ａ（図３参照）の場合、インカメラ３６による顔画像の撮像、または感情センサ部３７による生体情報の検知により取得する。

次に、ステップＳ１０６において、クライアント３は、現在位置情報を取得する。

次いで、ステップＳ１０９において、クライアント３は、感情を推定するためのデータと、現在位置情報とをサーバ２に送信する。

続いて、ステップＳ１１０において、サーバ２の地図情報生成部２０ａは、受信した感情を推定するためのデータ（顔画像や生体情報）に基づいて、ユーザの感情を推定する。なお、クライアント３側でユーザの感情推定が行われてもよく、この場合既に推定された感情がサーバ２に送信されるので、当該Ｓ１１０は省略される。

次に、ステップＳ１１２において、地図情報生成部２０ａは、位置と感情の相関を示す感情マップを作成する。すなわち、地図情報生成部２０ａは、現在位置情報が示す地図上の位置に、推定した感情を対応付ける（マッピングする）。

次いで、ステップＳ１１５において、地図情報生成部２０ａは、生成した感情マップを感情マップＤＢ２４に格納し、感情マップのデータベースを更新する。以上説明したステップＳ１０３〜Ｓ１１５は繰り返し行われ、地図情報生成部２０ａは、継続的に各クライアント３から送信される位置情報と感情データとに基づいて、感情マップのデータベースを更新し続ける。本実施形態では、ネットワーク５を介して接続する無数のクライアント３から継続的に収集する大量の位置情報と感情データを統計解析することで、どの場所や地域でどのような感情になるかを示す感情マップをより精度よく生成することができる。

（３−１−２．ナビゲーション）
続いて、生成した感情マップに応じたナビゲーションについて、図６〜図９を参照して説明する。ナビゲーションの種類は様々あるが、ここでは、例えば現在地から目的地までの経路誘導や現在地周辺の経路誘導を、感情マップに応じて行う場合について説明する。また、ナビゲーションに用いる感情マップは、一例として幸福度と位置の相関関係を示す感情マップ（幸福マップとも称す）を用いる。これにより、本実施形態では、幸福ナビゲーションが実現する。

（ナビゲーション１）
まず、ナビゲーション１として、現在地から目的地までの経路誘導を感情マップに応じて行う場合について図６を参照して説明する。図６は、感情マップに応じたナビゲーションの動作処理を示すシーケンス図である。図６に示すように、まず、ステップＳ２０３において、クライアント１は、現在地および目的地の情報を取得する。例えばクライアント１は、位置情報取得部３８により現在位置情報を取得し、ジェスチャー入力／音声入力／タップ操作により目的地を取得する。

次いで、ステップＳ２０６において、クライアント１は、経路検索実行指示を認識する。経路検索実行指示は、例えばユーザによるジェスチャー入力／音声入力／タップ操作により行われる。

次に、ステップＳ２０９において、クライアント１は、サーバ２に対して、現在地および目的地の情報を送信すると共に、目的地までの経路検索依頼を行う。

続いて、ステップＳ２１２において、サーバ２の案内情報生成部２０ｂは、受信した現在地および目的地の情報に基づいて、目的地までの経路を複数検索する。

次いで、ステップＳ２１５において、案内情報生成部２０ｂは、検索した複数の経路と、感情マップＤＢ２４に格納されている幸福マップとを参照し、検索した複数の経路のうち、幸福度が高い場所や地域を経由する経路に決定し、目的地までの案内情報を生成する。

次に、ステップＳ２１８において、提供部２０ｄは、案内情報生成部２０ｂにより生成された案内情報を通信部２１からクライアント１に送信するよう制御する。

そして、ステップＳ２２１において、クライアント１は、受信した案内情報を提示し、経路案内を開始する。具体的には、例えばクライアント１は、案内情報に基づく進行方向を示す矢印画像を、表示部１２において現実空間の風景と重畳表示することで経路案内を行ってもよい。

これにより、本実施形態では、幸福度の高い場所を経由したナビゲーションを行うことができる。具体的には、例えば景色が綺麗な場所、安全な道、坂道を回避する道、観光名所等を経由するナビゲーションが行われ、ユーザは幸福な（楽しい、嬉しい）気持ちになる。また、ユーザ属性に応じた幸福マップに応じたナビゲーションを行った場合、例えば子供連れ属性であれば、公園や図書館、児童会館等の子供が遊べる施設等を経由して目的地まで案内することもできる。

また、ここでは一例として幸福マップのみを用いたが、本実施形態はこれに限定されず、複数の感情マップ、例えば幸福マップと怒りマップを用いて、怒りの経路を避けて幸福な経路を案内する案内情報を生成することも可能である。

（ナビゲーション２）
続いて、ナビゲーション２として、現在地周辺の経路誘導を感情マップに応じて行う場合について図７を参照して説明する。図７は、感情マップに応じた他のナビゲーション例の動作処理を示すシーケンス図である。図７に示すように、まず、ステップＳ２３３において、クライアント１は、現在地の情報を取得する。例えばクライアント１は、位置情報取得部３８により現在位置情報を取得する。

次いで、ステップＳ２３６において、クライアント１は、感情ナビゲーション実行指示を認識する。感情ナビゲーション実行指示は、例えばユーザによるジェスチャー入力／音声入力／タップ操作により行われる。

次に、ステップＳ２３９において、クライアント１は、サーバ２に対して、現在地の情報を送信すると共に、感情ナビゲーションの依頼を行う。

続いて、ステップＳ２４２において、サーバ２の案内情報生成部２０ｂは、受信した現在地周辺の感情データを感情マップから抽出する。ここでは、一例として幸福マップから現在地周辺の幸福度の高さを抽出する。

次いで、ステップＳ２４５において、案内情報生成部２０ｂは、現在地周辺の幸福度の高さを示す案内情報を生成する。

次に、ステップＳ２４８において、提供部２０ｄは、案内情報生成部２０ｂにより生成された案内情報を通信部２１からクライアント１に送信するよう制御する。

そして、ステップＳ２５１において、クライアント１は、受信した案内情報を提示し、現在地周辺の各経路における幸福度を表示する。ここで、現在地周辺の各経路における幸福度の表示方法の一例について図８および図９を参照して説明する。

図８、図９は、現在地周辺の各経路における幸福度の表示方法例を示す図である。図８左に示す表示例１では、現在地周辺の地図画像４０に、現在地を示すマークＰと、現在地周辺の経路における幸福度を示す色画像４０１、４０２が重畳表示されている。一例として、濃い方の色画像４０１は幸福度が高いことを示し、薄い方の色画像４０２は幸福度が低いことを示すことで、ユーザは幸福度が高い道を直感的に把握することができる。

また、図８右に示す表示例２では、現在地周辺の地図画像４２に、現在地を示すマークＰと、現在周辺の場所や地域における幸福度を示す分布画像４２１ａ〜４２１ｃが重畳表示されている。一例として、各分布画像中の濃い色の領域程幸福度が高いことを示すことで、ユーザは幸福度が高い場所を直感的に把握することができる。

上述した図８に示す表示例１、表示例２の画像は、例えばクライアント１がメガネ型ＨＭＤの場合において、透過制御された表示部１２の一部に表示される。

また、図９左に示す表示例３では、現実空間の映像５０に、進行方向を示す矢印画像５０１、５０３と、進行方向先の感情データに応じた表情画像５０２、５０４が重畳表示されている。これにより、ユーザは、笑顔の表情画像５０２が対応付けられた矢印画像５０１に沿って左の道を進むと、幸福な感情になる場所や地域に行けることを直感的に把握し、泣き顔の表情画像５０４が対応付けられた矢印画像５０３に沿って右の道を進むと、悲しい感情になる場所や地域に行くことを直感的に把握することができる。

また、図９右に示す表示例４では、現実空間の映像５０において、幸福度が低い方向５２１を暗い表示に加工し、幸福度が高い方向５２２を明るい表示に加工することで、明るい方の道に自然とユーザが進むよう誘導する。

上述した図９に示す表示例３、４の画像は、例えばクライアント１がメガネ型ＨＭＤの場合において、透過制御された表示部１２の一部に表示されてもよいし、透過制御された表示部１２を介して視認できる現実空間の風景（現実空間の映像５０、５２に相当）に矢印画像５０１等が重畳表示されてもよい。

＜３−２．コンテンツナビゲーション＞
次に、コンテンツのナビゲーション（提案）について、図１０〜図１２を参照して説明する。

（３−２−１．データ収集）
図１０は、コンテンツ−感情ＤＢ２３のデータ作成時の動作処理を示すシーケンス図である。図１０に示すように、まず、ステップＳ３０３において、データ収集用のクライアント３は、写真、映像、音楽等のコンテンツデータの再生を行う。コンテンツデータの再生はユーザ操作に応じて実行してもよい。ここで、クライアント３は、図１に示すようなスマートフォンで実現されるクライアント３ｂとしてもよい。クライアント３ｂは、表示部および音声出力部を用いてコンテンツデータの再生を行う。

次に、ステップＳ３０６において、クライアント３は、ユーザの感情を推定するためのデータを取得する。具体的には、例えばクライアント３ｂの場合、クライアント３ｂを把持するユーザの手に接触してユーザの発汗、温度、または脈拍等を検知する感情センサ部、また、写真や映像を閲覧するユーザの顔を撮像するよう内側に向けて設けられたインカメラにより取得する。

次いで、ステップＳ３０９において、クライアント３は、感情を推定するためのデータと、再生しているコンテンツ情報（コンテンツデータ、メタデータ等）とをサーバ２に送信する。

続いて、ステップＳ３１０において、サーバ２の制御部２０は、受信した感情を推定するためのデータ（顔画像や生体情報）に基づいて、ユーザの感情を推定する。なお、クライアント３側でユーザの感情推定が行われてもよく、この場合既に推定された感情がサーバ２に送信されるので、当該Ｓ３１０は省略される。

次に、ステップＳ３１２において、制御部２０は、コンテンツと感情の相関を示すデータを作成する。すなわち、制御部２０は、どのようなコンテンツを視聴している際にユーザがどのような感情になっているかを学習する。

次いで、ステップＳ３１５において、制御部２０は、生成したデータ（学習結果）をコンテンツ−感情ＤＢ２３に格納し、データベースを更新する。以上説明したステップＳ３０３〜Ｓ３１５は繰り返し行われ、制御部２０は、継続的に各クライアント３から送信されるコンテンツ情報と感情データとに基づいて、コンテンツ−感情ＤＢ２３を更新し続ける。本実施形態では、ネットワーク５を介して接続する無数のクライアント３から継続的に収集する大量のコンテンツ情報と感情データを統計解析することで、どのようなコンテンツを視聴するとどのような感情になるかを示すデータをより精度よく生成することができる。

（３−２−２．ナビゲーション）
続いて、生成したコンテンツ−感情ＤＢ２３のデータを用いたナビゲーションについて、図１１〜図１２を参照して説明する。本実施形態によるコンテンツナビゲーションでは、所定の感情にユーザを導くためのコンテンツをユーザに提供（案内）する。

図１１は、コンテンツナビゲーションの動作処理を示すシーケンス図である。図１１に示すように、まず、ステップＳ４０３において、クライアント１は、コンテンツを再生する。コンテンツデータの再生はユーザ操作に応じて実行してもよい。ここで、クライアント１は、図１に示すようなスマートフォンにより実現され、表示部１２および音声出力部を用いてコンテンツデータの再生を行う。

次いで、ステップＳ４０６において、クライアント１は、再生中のコンテンツの情報（コンテンツデータ、メタデータ等）をサーバ２に送信する。なお、コンテンツ情報の送信は自動的に行ってもよいし、ユーザによるナビゲーション実行指示を認識した場合に行ってもよい。

次に、ステップＳ４０９において、サーバ２の感情推定部２０ｃは、受信したコンテンツ情報に基づいて、ユーザの現在の感情を推定する。具体的には、感情推定部２０ｃは、コンテンツ−感情ＤＢ２３に格納されているデータを用いてマッチングを行い、現在ユーザが視聴しているコンテンツと同じまたは特徴量やメタデータが類似するコンテンツに紐付けられた感情を抽出する。感情推定部２０ｃは、推定した感情データを案内情報生成部２０ｂに出力する。

次いで、ステップＳ４１５において、案内情報生成部２０ｂは、感情推定部２０ｃにより推定された感情データに応じて、推薦（案内）する所定のコンテンツデータを決定する。例えば、案内情報生成部２０ｂは、ユーザが現在聞いている音楽が悲しい感情になるものである場合、反対の楽しく幸せな感情になるためのコンテンツデータ（写真、映像、音楽等）を推薦（案内）する。また、クライアント１からユーザの現在位置情報も送信される場合、サーバ２側でユーザの現在位置を把握できるので、案内情報生成部２０ｂは、ユーザの現在地近辺の映画館で上映中の映画を推薦することも可能である。案内情報生成部２０ｂは、決定した推薦（案内）コンテンツの情報を含むコンテンツ案内情報を生成し、生成したコンテンツ案内情報を提供部２０ｄに出力する。

次に、ステップＳ４１８において、提供部２０ｄは、案内情報生成部２０ｂにより生成されたコンテンツ案内情報を通信部２１からクライアント１に送信するよう制御する。

そして、ステップＳ４２１において、クライアント１は、受信したコンテンツ案内情報を提示し、コンテンツの案内（推薦）を行う。具体的には、例えばクライアント１は、クライアント１がメガネ型ＨＭＤの場合において、案内情報に基づいてユーザに推薦するコンテンツ情報を、透過制御された表示部１２の一部に表示する。例えばコンテンツ自体の提示や、コンテンツの広告画面、購買画面等の提示が行われ得る。または、例えばクライアント１がメガネ型ＨＭＤの場合において、透過制御された表示部１２を介して視認できる現実空間の風景に案内情報画像を重畳表示してもよい。以下、図１２を参照して説明する。

図１２は、コンテンツ推薦の表示例を示す図である。図１２に示す例では、ユーザが映画館の前を通った際に、透過制御された表示部１２を介して視認できる現実空間の風景５４に含まれる映画館の付近に、当該映画館で上映中の映画のうち、その時のユーザの感情に応じた映画を案内する案内情報画像５４１が重畳表示される。具体的には、例えばクライアント１は、付近の映画館で上映中の映画情報を取得し、サーバ２から送信された案内情報とマッチングを行い、該当する映画が上映中の場合に、図１２に示すような案内情報画像５４１を表示してもよい。また、クライアント１が現在位置情報をサーバ２に送信し、サーバ２側においてユーザの周辺に存在する映画館を認識して当該映画館で上映中の映画情報を取得し、推薦対象の映画が上映中の場合に案内情報がクライアント１に送信されてもよい。

また、コンテンツの推薦は、コンテンツ自体の提示の他、対象コンテンツの広告画面や、購買画面の提示であってもよい。

＜３−３．環境情報ナビゲーション＞
次に、環境情報のナビゲーション（提案）について図１３〜図１５を参照して説明する。

（３−３−１．データ収集）
図１３は、環境−感情ＤＢ２２のデータ作成時の動作処理を示すシーケンス図である。図１３に示すように、まず、ステップＳ５０３において、データ収集用のクライアント３は、周囲の環境情報を収集する。環境情報の収集は、定期的／継続的に行ってもよいし、位置移動等の環境変化をトリガとして行ってもよいし、ユーザ操作に応じて行ってもよい。クライアント３は、ユーザを取り巻く環境の情報（場情報）として、例えば時間、位置、気圧、気温、湿度、位置、周囲に存在する物体、物体の状態等の情報を収集する。

次に、ステップＳ５０６において、クライアント３は、ユーザの感情を推定するためのデータを取得する。具体的には、例えば図１に示すようなスマートフォンにより実現されるクライアント３ｂの場合、クライアント３ｂを把持するユーザの手に接触してユーザの発汗、温度、または脈拍等を検知する感情センサ部、また、写真や映像を閲覧するユーザの顔を撮像するよう内側に向けて設けられたインカメラにより取得する。

次いで、ステップＳ５０９において、クライアント３は、感情を推定するためのデータと、環境情報とをサーバ２に送信する。

続いて、ステップＳ５１０において、サーバ２の制御部２０は、受信した感情を推定するためのデータ（顔画像や生体情報）に基づいて、ユーザの感情を推定する。なお、クライアント３側でユーザの感情推定が行われてもよく、この場合既に推定された感情がサーバ２に送信されるので、当該Ｓ５１０は省略される。

次に、ステップＳ５１２において、制御部２０は、環境情報と感情の相関を示すデータを作成する。すなわち、制御部２０は、どのような環境情報の場合にユーザがどのような感情になっているかを学習する。

次いで、ステップＳ５１５において、制御部２０は、生成したデータ（学習結果）を環境−感情ＤＢ２２に格納し、データベースを更新する。以上説明したステップＳ５０３〜Ｓ５１５は繰り返し行われ、制御部２０は、継続的に各クライアント３から送信される環境情報と感情データとに基づいて、環境−感情ＤＢ２２を更新し続ける。本実施形態では、ネットワーク５を介して接続する無数のクライアント３から継続的に収集する大量の環境情報と感情データを統計解析することで、どのような環境情報の場合にどのような感情になるかを示すデータをより精度よく生成することができる。

（３−３−２．ナビゲーション）
続いて、生成した環境−感情ＤＢ２２のデータを用いたナビゲーションについて、図１４〜図１５を参照して説明する。本実施形態による環境情報ナビゲーションでは、環境情報の改善通知、または所定の感情にユーザを導くための環境情報の改善案をユーザに提供（案内）する。

図１４は、環境情報ナビゲーションの動作処理を示すシーケンス図である。図１４に示すように、まず、ステップＳ６０３において、クライアント１は、周囲の環境情報を収集する。環境情報の収集は、定期的／継続的に行ってもよいし、位置移動等の環境変化をトリガとして行ってもよいし、ユーザ操作（ユーザによるナビゲーション実行指示）に応じて行ってもよい。

次いで、ステップＳ６０６において、クライアント１は、環境情報をサーバ２に送信する。

次に、ステップＳ６０９において、サーバ２の感情推定部２０ｃは、受信した環境情報に基づいて、ユーザの現在の感情を推定する。具体的には、感情推定部２０ｃは、環境−感情ＤＢ２２に格納されているデータを用いてマッチングを行い、現在のユーザの周囲の環境と同じまたは類似する環境情報に紐付けられた感情を抽出する。感情推定部２０ｃは、推定した感情データを案内情報生成部２０ｂに出力する。

次いで、ステップＳ６１２において、案内情報生成部２０ｂは、感情推定部２０ｃにより推定された感情データの幸福度が閾値より低いか否かを判断する。ここで、本実施形態では、一例として幸福な感情になるためのナビゲーションを行うため、感情データの幸福度を判断する。幸福度が閾値を上回る場合（Ｓ６１２／Ｎｏ）、既にユーザは幸福な感情であるためナビゲーションは不要と判断される。

一方、幸福度が閾値より低い場合（Ｓ６１２／Ｙｅｓ）、ステップＳ６１５において、案内情報生成部２０ｂは、環境改善の必要性があること、または具体的な環境改善案を示す環境改善情報を生成し、提供部２０ｄに出力する。

具体的な環境改善案は、例えば現在のユーザの周辺の環境情報と、目標とする幸福度が紐付けられた（相関を持つ）環境情報との差分を検出することで生成される。例えば、ユーザが滞在先のホテルの部屋に入ったときの環境情報により憂鬱な感情が推定された場合（幸福度が閾値以下の場合）、案内情報生成部２０ｂは、当該環境情報と、幸福な感情と相関を持つ環境情報との差分を検出する。この場合、例えば部屋の明るさ、気温、湿度、窓の開閉、カーテンの開閉、音楽の有無等が差分として検出され得る。案内情報生成部２０ｂは、このような差分に基づいて、例えば部屋を明るくすること、気温・湿度の設定値、窓を開けること、カーテンを開けること、音楽をかけること等を環境改善案として示す環境改善情報を生成する。

次に、ステップＳ６１８において、提供部２０ｄは、案内情報生成部２０ｂにより生成された環境改善情報を通信部２１からクライアント１に送信するよう制御する。

そして、ステップ６２１において、クライアント１は、受信した環境改善情報に基づいて、環境改善の必要がある旨の通知（警告）、または／および環境改善案の提示を行う。これにより、幸福な感情になるための環境をユーザに案内することができる。環境改善の通知／環境改善案の提示は、例えばクライアント１がメガネ型ＨＭＤにより実現されている場合、透過制御された表示部１２の一部に表示されてもよいし、表示部１２を介して視認できる現実空間の風景に重畳表示されてもよい。以下、図１５を参照して説明する。

図１５は、環境改善情報の表示例を示す図である。図１５に示す例では、ユーザがホテルの部屋に入った際に、透過制御された表示部１２を介して視認できる現実空間の風景５６において、環境改善情報が重畳表示されている。例えば、電気スタンド付近には「電気を付けましょう」といった環境改善情報５６１が表示され、窓／カーテン付近には「窓を開けて空気を入れ替えましょう」といった環境改善情報５６２が表示される。また、テーブルの上に灰皿が置かれていることから喫煙室という環境が推定され、灰皿付近には「空気清浄機を付けましょう」といった環境改善情報５６３が表示される。また、エアコンディショナーの推奨設定情報を示す環境改善情報５６４も表示される。

さらに、図１５に示すように、本実施形態によるナビゲーションが起動中であることを示すアイコン画像５６６を表示してもよい。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による通信システムでは、感情マップに応じて所定の感情になるための行動をユーザに案内することができる。すなわち、本実施形態による通信システムは、クライアント１から受信した現在位置情報と感情マップを参照し、ユーザの周囲、または目的地までの複数の経路のうち、所定の感情が紐付けられた場所や地域に案内する案内情報をユーザに提示する。

また、本実施形態では、コンテンツと感情の相関を示すデータベースに応じて、所定の感情になるために所定のコンテンツを視聴することをユーザに案内することができる。すなわち、本実施形態による通信システムは、クライアント１から受信した、ユーザが現在視聴しているコンテンツ情報とコンテンツ−感情ＤＢ２３を参照してユーザの現在の感情を推定し、例えば幸福度が低い場合は幸福な感情になるコンテンツをユーザに推薦する。

また、本実施形態では、環境情報と感情の相関を示すデータベースに応じて、所定の感情になるために環境の改善をユーザに提案することができる。すなわち、本実施形態による通信システムは、クライアント１から受信した、ユーザの現在の周囲の環境情報と環境−感情ＤＢ２２を参照してユーザの現在の感情を推定し、例えば幸福度が低い場合は幸福な感情になるための環境情報をユーザに提示する。

また、本実施形態では、環境−感情ＤＢ２２、コンテンツ−感情ＤＢ２３を利用して、コンテンツデータまたは環境情報に基づいてユーザの現在の感情を推定することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述したクライアント１、３、サーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、クライアント１、３、サーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本実施形態では、感情データを地図上にマッピングして感情マップを生成することを記載したが、本開示はこれに限定されず、例えば予め収集された各地域の平均寿命情報を地図上にマッピングして寿命マップを生成することも可能である。これにより、例えば平均寿命が長い地域や場所にユーザを案内することができる。

また、本実施形態では、「３−２．コンテンツナビゲーション」において、ユーザが視聴するコンテンツデータ（写真、映像、音楽等）に応じてユーザの感情を推定しているが、本実施形態はこれに限定されず、例えばユーザが撮影を行っている際に取得される被写体画像や音声に応じてユーザ（撮影者）の感情を推定することも可能である。具体的には、例えば子供や動物の写真を撮影している際は撮影者が幸福な感情になっているといった相関関係のデータがコンテンツ−感情ＤＢ２３に予め学習結果として格納されている場合、感情推定部２０ｃは、被写体に応じてユーザ（撮影者）の感情を推定することができる。また、例えば被写体の音声から笑い声等が検出された場合、感情推定部２０ｃは、被写体が幸福な感情になっているため、一緒に居るユーザ（撮影者）も同様に幸福な感情になっていると推定することができる。

また、図２〜図４を参照して、本実施形態による通信システムに含まれるクライアント１、３およびサーバ２の各構成について説明したが、本開示はこれに限定されず、各構成の機能はどのように分散されていてもよい。具体的には、例えばサーバ２の制御部２０の各機能が全てクライアント１側に設けられていてもよいし、環境−感情ＤＢ２２、コンテンツ−感情ＤＢ２３、および感情マップＤＢ２４がそれぞれ別サーバに設けられていてもよい。

また、上述した「３−１．感情マップに応じたナビゲーション」では、ユーザの現在位置情報に応じて所定の感情に紐付けられた場所や経路に案内する感情ナビゲーションについて説明したが、本実施形態はこれに限定されない。例えば、現在位置情報と感情マップを参照してユーザの現在の感情を推定し、推定した感情に応じたナビゲーションを行うことも可能である。具体的には、現在位置が感情マップ上の幸福度が低い場所に位置する場合、現在のユーザの感情が幸福度の低いものと推定し、幸福度が高い場所へのナビゲーションを行う。

また、上述したコンテンツナビゲーション、環境情報ナビゲーションでは、それぞれ視聴コンテンツや周囲の環境情報に基づいてユーザの現在の感情を推定しているが、本実施形態はこれに限定されない。例えばユーザの現在地と感情マップを参照してユーザの現在の感情を推定し、より幸福になるためのコンテンツナビゲーションまたは環境改善ナビゲーションを行ってもよい。

また、サーバ２は、環境情報と感情データの相関を示すデータ（環境−感情ＤＢ２２）、コンテンツデータと感情データの相関を示すデータ（コンテンツ−感情ＤＢ２３）を、ユーザの属性別（年齢、年代、性別、趣味・嗜好、出身地等別）に生成してもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの現在位置情報を取得する取得部と、
前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成する案内情報生成部と、
前記案内情報をユーザに提供する提供部と、
を備える、通信システム。
（２）
前記案内情報は、前記地図情報にマッピングされた感情データに応じた進行方向をユーザに指示する情報を含む、前記（１）に記載の通信システム。
（３）
前記取得部は、前記ユーザの感情を推定するためのデータを取得する、前記（１）または（２）に記載の通信システム。
（４）
前記通信システムは、前記感情データがマッピングされた地図情報を生成する地図情報生成部をさらに備える、前記（１）〜（３）のいずれか１項に記載の通信システム。
（５）
前記地図情報生成部は、クライアントからアップロードされる前記ユーザの感情を推定するためのデータ／推定済みの感情データと、位置情報に応じて、前記地図情報を生成する、前記（４）に記載の通信システム。
（６）
前記地図情報生成部は、各地域の平均寿命情報もマッピングする、前記（４）または（５）に記載の通信システム。
（７）
前記通信システムは、クライアントからアップロードされたコンテンツデータに基づいて感情データを推定する第１の感情推定部をさらに備える、前記（１）〜（６）のいずれか１項に記載の通信システム。
（８）
前記第１の感情推定部は、前記コンテンツデータの特徴量と感情データとの関係を学習した学習結果に基づいて、前記コンテンツデータに応じた感情データを推定する、前記（７）に記載の通信システム。
（９）
前記案内情報生成部は、現在ユーザが視聴しているコンテンツデータに基づいて推定される感情データに応じた所定のコンテンツデータをユーザに推薦するための案内情報を生成する、前記（７）または（８）に記載の通信システム。
（１０）
前記通信システムは、クライアントからアップロードされるユーザ周辺の環境情報に基づいて感情データを推定する第２の感情推定部をさらに備える、前記（１）〜（９）のいずれか１項に記載の通信システム。
（１１）
前記第２の感情推定部は、前記環境情報と感情データとの関係を学習した学習結果に基づいて、前記環境情報に応じた感情データを推定する、前記（１０）に記載の通信システム。
（１２）
前記案内情報生成部は、現在のユーザ周辺の環境情報に基づいて推定される感情データに基づいて、環境情報の改善をユーザに提案する案内情報を生成する、前記（１０）または（１１）に記載の通信システム。
（１３）
ユーザの現在位置情報をクライアントから取得することと、
前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成することと、
前記案内情報をユーザに提供するよう制御することと、
を含む、制御方法。
（１４）
コンピュータを、
ユーザの現在位置情報を取得する取得部と、
前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成する案内情報生成部と、
前記案内情報をユーザに提供する提供部と、
として機能させるためのプログラムが記憶された、記憶媒体。

１ クライアント（案内情報提示用）
１０ 制御部
１１ 通信部
１２ 表示部
１３ 操作部
１４ 記憶部
２ サーバ
２０ 制御部
２０ａ 地図情報生成部
２０ｂ 案内情報生成部
２０ｃ 感情推定部
２０ｄ 提供部
２１ 通信部
２２ 環境−感情ＤＢ
２３ コンテンツ−感情ＤＢ
２４ 感情マップＤＢ
３、３ａ〜３ｃ クライアント（データ収集用）
３０ 制御部
３１ 通信部
３２ 表示部
３３ 操作部
３４ 画像ＤＢ
３５ 撮像部
３６ インカメラ
３７ 感情センサ部
３８ 位置情報取得部
５ ネットワーク

Claims (13)

1. ユーザの現在位置情報を取得する取得部と、
   前記現在位置情報と、感情データがマッピングされた地図情報とに応じて、案内情報を生成する案内情報生成部と、
   前記案内情報をユーザに提供する提供部と、
   前記感情データがマッピングされた地図情報を生成する地図情報生成部と、
   を備え、
   前記地図情報生成部は、各地域の平均寿命情報もマッピングする、通信システム。
2. 前記案内情報は、前記地図情報にマッピングされた感情データに応じた進行方向をユーザに指示する情報を含む、請求項１に記載の通信システム。
3. 前記取得部は、前記ユーザの感情を推定するためのデータを取得する、請求項１または２に記載の通信システム。
4. 前記地図情報生成部は、クライアントからアップロードされる前記ユーザの感情を推定するためのデータ／推定済みの感情データと、位置情報に応じて、前記地図情報を生成する、請求項１〜３のいずれか１項に記載の通信システム。
5. 前記通信システムは、クライアントからアップロードされたコンテンツデータに基づいて感情データを推定する第１の感情推定部をさらに備える、請求項１〜４のいずれか１項に記載の通信システム。
6. 前記第１の感情推定部は、前記コンテンツデータの特徴量と感情データとの関係を学習した学習結果に基づいて、前記コンテンツデータに応じた感情データを推定する、請求項５に記載の通信システム。
7. 前記案内情報生成部は、現在ユーザが視聴しているコンテンツデータに基づいて推定される感情データに応じた所定のコンテンツデータをユーザに推薦するための案内情報を生成する、請求項５に記載の通信システム。
8. 前記通信システムは、クライアントからアップロードされるユーザ周辺の環境情報に基づいて感情データを推定する第２の感情推定部をさらに備える、請求項１〜４のいずれか１項に記載の通信システム。
9. クライアントからアップロードされるユーザ周辺の環境情報に基づいてユーザの感情データを推定する感情推定部と、
   前記推定したユーザの感情データと、目標とする感情データがマッピングされた環境情報とに応じて、案内情報を生成する案内情報生成部と、
   前記案内情報をユーザに提供する提供部と、
   を備える、通信システム。
10. 前記感情推定部は、前記環境情報と感情データとの関係を学習した学習結果に基づいて、前記環境情報に応じた感情データを推定する、請求項９に記載の通信システム。
11. 前記案内情報生成部は、現在のユーザ周辺の環境情報に基づいて推定される感情データに基づいて、環境情報の改善をユーザに提案する案内情報を生成する、請求項９または１０に記載の通信システム。
12. プロセッサが、
    クライアントからアップロードされるユーザ周辺の環境情報に基づいてユーザの感情データを推定することと、
    前記推定したユーザの感情データと、目標とする感情データがマッピングされた環境情報とに応じて、案内情報を生成することと、
    前記案内情報をユーザに提供するよう制御することと、
    を含む、制御方法。
13. コンピュータを、
    クライアントからアップロードされるユーザ周辺の環境情報に基づいてユーザの感情データを推定する感情推定部と、
    前記推定したユーザの感情データと、目標とする感情データがマッピングされた環境情報とに応じて、案内情報を生成する案内情報生成部と、
    前記案内情報をユーザに提供する提供部と、
    として機能させるためのプログラムが記憶された、記憶媒体。

Images