JP6908053B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、例えば振動などの触覚刺激をユーザに提示するための技術が各種提案されている。

例えば、下記特許文献１には、仮想空間において２つのオブジェクトが接触した状態で相対的にオブジェクトが移動された場合に、オブジェクトの接触面の粗さ情報に応じて、音声または触覚刺激の出力を制御する技術が記載されている。

特開２０１５−１７０１７４号公報

しかしながら、特許文献１に記載の技術では、音声または触覚刺激の出力に関する制御内容が異なる場合であっても、表示される映像は変化しない。

そこで、本開示では、感覚刺激の出力に関する制御内容に適応した画像の表示を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備える、情報処理装置が提供される。

また、本開示によれば、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、感覚刺激の出力に関する制御内容に適応した画像の表示を制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による情報処理システムの構成例を示した説明図である。 図１に示したユーザ２の正面の外観の一例を示した図である。 同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。 オリジナルの温度と実際の温度との関係の一例を示したグラフである。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の表示例を示した図である。 所定の仮想オブジェクトがＨＭＤ２０ｅにより表示された際の付加画像の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 同実施形態による処理の流れの一部を示したフローチャートである。 同実施形態による処理の流れの一部を示したフローチャートである。 同実施形態による処理の流れの変形例の一部を示したフローチャートである。 同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて刺激出力部２０ａおよび刺激出力部２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、刺激出力部２０ａおよび刺激出力部２０ｂを特に区別する必要が無い場合には、単に刺激出力部２０と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例

＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、複数の種類の刺激出力部２０、および、通信網２２を有する。

＜１−１．刺激出力部２０＞
刺激出力部２０は、本開示における第１の出力部および第２の出力部の一例である。刺激出力部２０は、例えば所定の感覚をユーザに提示するためのデバイスであり得る。例えば、刺激出力部２０は、後述する情報処理装置１０から受信される出力制御情報に従って、皮膚感覚、視覚、聴覚、および／または、嗅覚に関する刺激を出力する。ここで、皮膚感覚は、例えば触覚、圧覚、温冷覚、および、痛覚を含み得る。なお、以下では、皮膚感覚に関する刺激を触覚刺激と称する。例えば、刺激出力部２０は、（触覚刺激として）振動を発生させたり、熱を発生させ得る。

｛１−１−１．触覚刺激部２０ａ〜２０ｃ｝
例えば、図１に示したように、刺激出力部２０は、触覚刺激部２０ａ（アクチュエータ付きグローブなど）、および、触覚刺激部２０ｂ（アクチュエータ付きジャケットなど）を含み得る。

図１に示したように、触覚刺激部２０ａおよび触覚刺激部２０ｂは、ユーザ（例えばユーザの手や胴体など）に装着され得る。この場合、触覚刺激部２０は、触覚刺激部２０が装着されている部位に対して触覚刺激を出力し得る。例えば、後述するＨＭＤ２０ｅによりオブジェクトが表示され、かつ、当該オブジェクトに対してユーザが接触したと判定される場合には、触覚刺激部２０は、情報処理装置１０から受信される出力制御情報に従って、当該オブジェクトにユーザが接触したことに対するフィードバック（または応答）として触覚刺激を出力する。

図２は、図１に示したユーザ２の正面の外観の一例を示した図である。図２に示したように、触覚刺激部２０ｂは、複数のアクチュエータ２００を含み得る。この場合、個々のアクチュエータ２００は、例えば情報処理装置１０から受信される出力制御情報に従って、触覚刺激（振動など）を出力し得る。これにより、ユーザ２は、触覚刺激部２０ｂにより提示される触覚、力覚、温冷覚、または、痛覚を感じ得る。

また、図１に示したように、刺激出力部２０は、触覚刺激部２０ｃ（扇風機やエア・コンディショナーなど）を含み得る。触覚刺激部２０ｃは、例えば情報処理装置１０から受信される出力制御情報に従って、風を発生し得る。ここで、風は、触覚刺激の一例である。なお、以下では、触覚刺激部２０ａ〜触覚刺激部２０ｃを総称して触覚刺激部２０と称する場合がある。

｛１−１−２．嗅覚刺激部２０ｄ｝
また、図１に示したように、刺激出力部２０は、嗅覚刺激部２０ｄを含み得る。嗅覚刺激部２０ｄは、香り（臭い）を発生し得る。ここで、香りは、嗅覚に関する刺激の一例である。

｛１−１−３．ＨＭＤ２０ｅ｝
また、図１に示したように、刺激出力部２０は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２０ｅを含み得る。ＨＭＤ２０ｅは、例えば図１に示したような頭部装着型デバイスである。ＨＭＤ２０ｅは、表示部および音声出力部を含み得る。

ＨＭＤ２０ｅは、遮蔽型のヘッドマウントディスプレイであってもよいし、透過型のヘッドマウントディスプレイであってもよい。例えば、ＨＭＤ２０ｅは、光学シースルー型のデバイスであり得る。この場合、ＨＭＤ２０ｅは、左目用レンズおよび右目用レンズ（または、ゴーグル型レンズ）と表示部とを有し得る。そして、当該表示部は、左目用レンズおよび右目用レンズのそれぞれ少なくとも一部の領域（または、ゴーグル型レンズの少なくとも一部の領域）を投影面として映像を投影し得る。

または、ＨＭＤ２０ｅは、ビデオシースルー型のデバイスであり得る。この場合、ＨＭＤ２０ｅは、ＨＭＤ２０ｅの装着時のユーザの前方を撮影するカメラと、当該カメラにより撮影された映像を表示する表示部とを有し得る。例えば、ＨＭＤ２０ｅは、当該カメラにより撮影された映像を当該表示部に逐次表示し得る。これにより、ユーザは、当該表示部に表示される映像を介して、ユーザの前方の風景を見ることができる。なお、当該表示部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などにより構成され得る。

このＨＭＤ２０ｅは、例えば情報処理装置１０から受信される出力制御情報に従って、映像を表示したり、音声を出力することが可能である。ここで、映像は、視覚に関する刺激の一例であり、また、音声は、聴覚に関する刺激の一例である。

例えば、ＨＭＤ２０ｅは、情報処理装置１０から受信される出力制御情報に従って、オブジェクトを含む映像を表示する。ここで、オブジェクトは、仮想オブジェクト、または、実オブジェクトを含む。なお、オブジェクトが実オブジェクトである場合には、実オブジェクトが撮影された画像がＨＭＤ２０ｅにより表示され得る。また、例えば、実オブジェクトが撮影された画像に対する画像認識の結果に基づいて、当該実オブジェクトの属性情報（例えばオブジェクトの種類、当該画像内でのオブジェクトのサイズ、または、オブジェクトのテクスチャ情報など）が特定され得る。

また、仮想オブジェクトは、例えばＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成される３Ｄデータや、実オブジェクトのセンシング結果から得られる３Ｄデータなどを含む。なお、以下では、オブジェクトが仮想オブジェクトである例を中心として説明を行う。

｛１−１−４．ユーザの動きのセンシング｝
また、刺激出力部２０（例えば触覚刺激部２０ａ、触覚刺激部２０ｂ、および、ＨＭＤ２０ｅなど）は、例えば加速度センサやジャイロスコープなどの各種のセンサを有し得る。この場合、刺激出力部２０は、ユーザの身体の動き（例えば手の動きなど）をセンシングすることが可能である。また、刺激出力部２０は、センシング結果を当該ユーザのモーション情報として通信網２２を介して情報処理装置１０へ送信することが可能である。また、ＨＭＤ２０ｅにカメラが設置される場合、当該カメラはユーザの身体（例えば手など）の画像を撮影し、そして、ＨＭＤ２０ｅは、撮影された画像を情報処理装置１０へ送信することも可能である。

＜１−２．情報処理装置１０＞
情報処理装置１０は、本開示における情報処理装置の一例である。情報処理装置１０は、例えば、後述する通信網２２を介して、刺激出力部２０の動作を制御する。例えば、情報処理装置１０は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のアプリケーションに関する映像をＨＭＤ２０ｅに表示させる。また、情報処理装置１０は、所定のタイミング（例えばＨＭＤ２０ｅによる映像の表示時など）に所定の触覚刺激を触覚刺激部２０ａに出力させる。

ここで、情報処理装置１０は、例えば、サーバ、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、または、ロボットなどであり得る。なお、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置１０の機能が実現されてもよい。

＜１−３．通信網２２＞
通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

なお、本実施形態による情報処理システムは、前述した例に限定されない。例えば、ユーザが位置する実空間内には音声出力部２０（スピーカーなど）がさらに設置されてもよいし、または、ユーザは音声出力部２０（ステレオフォンやイヤフォンなど）をさらに装着してもよい。この場合、音声出力部２０は、（ＨＭＤ２０ｅの代わりに、または、ＨＭＤ２０ｅとともに）情報処理装置１０から受信される出力制御情報に従って、音声を出力し得る。

＜１−４．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、所望の皮膚感覚をユーザに提示するための技術が研究されている。しかしながら、提示される皮膚感覚の度合いによっては、人体に危険性が生じ得る。例えば、提示される温度が高温である場合にはユーザが火傷をしたり、また、提示される圧が強い場合にはユーザが怪我をする恐れがある。

また、別の課題として、対象のユーザに応じて、異なる強度の感覚を提示可能であることが望まれる。例えば、対象のユーザが子どもである場合と専門のオペレータである場合とでは、異なる強度の感覚（皮膚感覚など）を提示可能であることが望まれる。

そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。情報処理装置１０は、ＨＭＤ２０ｅにより表示される仮想オブジェクトに応じたオリジナルの感覚刺激を、所定の基準に基づいて決定される変換方法を用いて変換し、そして、変換後の感覚刺激を刺激出力部２０に出力させることが可能である。このため、適切な度合いの感覚刺激をユーザに提示することができる。

また、情報処理装置１０は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像の表示を制御することが可能である。これにより、感覚刺激の出力に関する制御内容に適応した付加画像の表示を制御することができる。ここで、付加画像は、本開示における画像の一例である。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態による情報処理装置１０の構成について詳細に説明する。図３は、本実施形態による情報処理装置１０の構成例を示した機能ブロック図である。図３に示すように、情報処理装置１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。

｛２−１−１．制御部１００｝
制御部１００は、例えば、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理回路を含んで構成され得る。制御部１００は、情報処理装置１０の動作を統括的に制御する。また、図３に示すように、制御部１００は、情報取得部１０２、判定部１０４、および、出力制御部１０６を有する。

｛２−１−２．情報取得部１０２｝
（２−１−２−１．モーション情報の取得）
情報取得部１０２は、ユーザのモーション情報を取得する。例えば、モーション情報が触覚刺激部２０によりセンシングされる場合には、情報取得部１０２は、触覚刺激部２０から受信されるモーション情報を取得する。または、ユーザが装着する他のセンサ（例えばＨＭＤ２０ｅに設置されているカメラなど）や、当該ユーザが位置する実空間内に設置された他のセンサ（カメラなど）によるセンシング結果が受信される場合には、情報取得部１０２は、当該センシング結果を解析（例えば画像認識など）し、そして、解析結果を当該ユーザのモーション情報として取得してもよい。

例えば、情報取得部１０２は、ＨＭＤ２０ｅに仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対するユーザのモーション情報を触覚刺激部２０から取得する。一例として、情報取得部１０２は、ＨＭＤ２０ｅに表示されている仮想オブジェクトに対してユーザが触れる動作のセンシング結果を当該モーション情報として刺激出力部２０から取得する。

（２−１−２−２．仮想オブジェクトの属性情報の取得）
また、情報取得部１０２は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトの属性情報を取得する。例えば、仮想オブジェクトごとの属性情報が予め制作者により定められ、そして、仮想オブジェクトと属性情報とが関連付けてオブジェクトＤＢ１２４に登録され得る。この場合、情報取得部１０２は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトの属性情報をオブジェクトＤＢ１２４から取得し得る。

ここで、オブジェクトＤＢ１２４は、例えば、仮想オブジェクトの識別情報と仮想オブジェクトの属性情報とを関連付けて格納するデータベースである。また、属性情報は、例えば、仮想オブジェクトが含む個々の面に関連付けられているテクスチャの情報（例えばテクスチャの種類など）を含み得る。なお、テクスチャの情報は、制作者により制作されてもよいし、または、当該仮想オブジェクトに対応する実オブジェクトが撮影された画像に対する画像認識に基づいて特定されてもよい。ここで、画像認識は、例えば機械学習やディープラーニングなどの方法を用いて行われ得る。

｛２−１−３．判定部１０４｝
（２−１−３−１．ユーザの動きの判定）
判定部１０４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに対するユーザの動きを、情報取得部１０２により取得されたモーション情報に基づいて判定する。例えば、判定部１０４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに対してユーザが接触または近接しているか否か（例えば触れているか否か）を、取得されたモーション情報に基づいて判定する。一例として、判定部１０４は、当該仮想オブジェクトに含まれる各面とユーザの身体との距離に基づいて、当該仮想オブジェクトにユーザが接触しているか否かを判定する。例えば、当該仮想オブジェクトに含まれるいずれかの面と、ユーザの身体との距離が所定の閾値以内である場合には、判定部１０４は、当該仮想オブジェクトの当該面にユーザが接触していると判定する。また、当該仮想オブジェクトに含まれる全ての面とユーザの身体との距離が所定の閾値よりも大きい場合には、判定部１０４は、当該仮想オブジェクトにユーザが接触していないと判定する。

また、当該仮想オブジェクトにユーザが接触していると判定した場合には、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方を判定する。ここで、ユーザの触れ方は、例えば、触れる強さ、触れる速度、および、触れる方向などを含む。

（２−１−３−２．オリジナルの感覚刺激の特定）
また、判定部１０４は、さらに、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに応じて、オリジナルの感覚刺激（つまり本来の感覚刺激）の情報を特定することが可能である。例えば、仮想オブジェクトとオリジナルの感覚刺激（例えば視覚、聴覚、または、嗅覚に関する刺激など）の情報とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、ＨＭＤ２０ｅにより現在表示されている仮想オブジェクトごとに、当該仮想オブジェクトと、当該所定のテーブルとに基づいて、オリジナルの感覚刺激の情報を特定し得る。ここで、オリジナルの感覚刺激の情報は、例えば感覚刺激の種類や、感覚刺激の強度（例えば輝度や音量など）などを含み得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。

また、ＨＭＤ２０ｅにより表示されている仮想オブジェクトにユーザが接触していると判定した場合には、判定部１０４は、当該仮想オブジェクトに対するユーザの触れ方に応じて、オリジナルの触覚刺激の情報を特定することが可能である。例えば、テクスチャの情報とオリジナルの触覚刺激の情報とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、まず、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触したと判定される面のテクスチャ情報を特定し得る。そして、判定部１０４は、特定した面のテクスチャ情報と、当該面に対するユーザの触れ方と、当該所定のテーブルとに基づいて、オリジナルの触覚刺激の情報を特定し得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。

‐変形例１
なお、変形例として、テクスチャ情報とオリジナルの皮膚感覚の情報とは関連付けられていなくてもよい。この場合、情報処理装置１０（制御部１００）は、まず、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに含まれる面ごとに、当該面のテクスチャ情報に関連付けられている音データを取得し、そして、取得した音データと公知の技術とに基づいてオリジナルの皮膚感覚の情報を動的に生成してもよい。なお、通信網２２に接続された他の装置（図示省略）または記憶部１２２において、個々のテクスチャ情報と音データとは関連付けて格納され得る。

‐変形例２
また、別の変形例として、仮想オブジェクトとオリジナルの感覚（例えば皮膚感覚、視覚、聴覚、または、嗅覚）の情報とが関連付けて、所定のテーブルに格納されてもよい。この場合、判定部１０４は、ＨＭＤ２０ｅにより現在表示されている仮想オブジェクトごとに、当該仮想オブジェクトと、当該所定のテーブルとに基づいて、オリジナルの感覚の情報を特定してもよい。そして、判定部１０４は、特定したオリジナルの感覚に対応する感覚刺激を、オリジナルの感覚刺激として特定してもよい。

｛２−１−４．出力制御部１０６｝
（２−１−４−１．仮想オブジェクトの表示制御）
出力制御部１０６は、例えば仮想オブジェクトを含む映像の表示をＨＭＤ２０ｅに対して制御する。例えば、出力制御部１０６は、当該映像を表示させるための表示制御情報をＨＭＤ２０ｅへ通信部１２０に送信させる。

（２−１−４−２．感覚刺激の出力制御）
また、出力制御部１０６は、刺激出力部２０に対する感覚刺激の出力を制御する。例えば、出力制御部１０６は、まず、所定の感覚刺激を出力させるための出力制御情報を生成し、そして、当該所定の感覚刺激を出力可能な刺激出力部２０へ当該出力制御情報を通信部１２０に送信させる。一例として、ＨＭＤ２０ｅに表示されている仮想オブジェクトにユーザが触れていると判定部１０４により判定された場合には、出力制御部１０６は、当該仮想オブジェクトにユーザが接触したことに対するフィードバック（または応答）に相当する触覚刺激を触覚刺激部２０に出力させるための出力制御情報を生成する。

（２−１−４−３．感覚刺激の変換）
ここで、出力制御情報は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに応じたオリジナルの感覚刺激の情報が所定の変換方法に基づいて変換（抑制または強化）された感覚刺激（以下、実際の感覚刺激と称する）を刺激出力部２０に出力させるための情報であり得る。すなわち、出力制御情報は感覚刺激の出力量を含むと見做されてよい。なお、オリジナルの感覚刺激は、本開示における第１の感覚刺激の一例であり、また、実際の感覚刺激は、本開示における第２の感覚刺激の一例である。なお、オリジナルの感覚刺激に対応する感覚と、実際の感覚刺激に対応する感覚とは、基本的に同じ種類であり得る。

例えば、出力制御部１０６は、まず、ＨＭＤ２０ｅにより表示されている各仮想オブジェクトに関するオリジナルの感覚刺激の変換方法を所定の基準に基づいて動的に決定する。そして、出力制御部１０６は、仮想オブジェクトごとに、判定部１０４により特定されたオリジナルの感覚刺激の情報を、決定された変換方法に基づいて変換することにより、実際の感覚刺激の情報を決定する。そして、出力制御部１０６は、当該実際の感覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する。

‐ユーザのプロファイル
ここで、所定の基準は、ユーザのプロファイルを含み得る。プロファイルは、例えば年齢、性別、操作の熟練度（専門のオペレータであるか否かや、利用回数など）、および、感覚刺激（触覚刺激など）に対する耐性を示す情報などを含み得る。例えば、ユーザが専門のオペレータである場合には、出力制御部１０６は、オリジナルの感覚刺激をそのまま実際の感覚刺激として決定してもよい。また、ユーザが子どもである場合には、出力制御部１０６は、オリジナルの感覚刺激の度合いが所定の変換式に基づいて抑制された感覚刺激を実際の感覚刺激として決定してもよい。

または、ユーザの情報と変換式とが関連付けて所定のデータベース（図示省略）に登録され得る。この場合、出力制御部１０６は、まず、該当のユーザに関連付けて所定のデータベースに登録されている変換式を抽出し、そして、オリジナルの感覚刺激の情報を当該変換式に基づいて変換することにより実際の感覚刺激を決定してもよい。

‐コンテキスト情報
また、所定の基準は、仮想オブジェクトの表示時のコンテキスト情報を含み得る。ここで、当該コンテキスト情報は、ＨＭＤ２０ｅにより表示されている映像に対応するアプリケーションに関するユーザの利用状況を示す情報であってもよい。例えば、より正確に皮膚感覚を再現することをユーザが望む状況であることを当該コンテキスト情報が示す場合には、出力制御部１０６は、オリジナルの感覚刺激をほとんど変更せずに実際の感覚刺激として決定してもよい。また、特定の範囲内の皮膚感覚に関してより詳細に情報を得ることをユーザが望む状況であることを当該コンテキスト情報が示す場合には、出力制御部１０６は、当該特定の範囲を、当該特定の範囲よりも広い範囲にマッピングすることにより、（オリジナルの触覚刺激に対応する）オリジナルの皮膚感覚の度合いを変換し、そして、変換後の皮膚感覚に対応する触覚刺激を実際の触覚刺激として決定してもよい。

または、当該コンテキスト情報は、当該アプリケーションに関して設定されている利用モードを示す情報であってもよい。ここで、利用モードは、例えば、検査モードおよび通常モードを含み得る。なお、検査モードは、例えば食品加工時の油の温度などを遠隔地で検査する場面や、当該検査を仮想的に体験する場面などで利用され得る。例えば、利用モードが検査モードに設定されている場合には、出力制御部１０６は、オリジナルの感覚刺激（例えば熱など）をそのまま実際の感覚刺激として決定してもよい。また、利用モードが通常モードである場合には、出力制御部１０６は、オリジナルの感覚刺激の度合いが所定の変換式に基づいて抑制された感覚刺激を実際の感覚刺激として決定してもよい。

‐オリジナルの感覚刺激の度合い
また、所定の基準は、オリジナルの感覚刺激の度合いが所定の閾値以上であることを含み得る。例えばＶＲのカーレースゲームやスポーツゲームなどにおいて激しい衝突が発生した場合や、ゲームにおいて銃で撃たれた場合などには、これらのイベントに対応するオリジナルの圧覚がそのままユーザに提示されると、ユーザが怪我をしてしまう恐れがある。そこで、圧覚に関するオリジナルの刺激の度合いが所定の閾値以上である場合には、出力制御部１０６は、人体に影響がない範囲内の圧覚が提示されるように当該オリジナルの刺激を抑制し、そして、抑制後の刺激を（実際の触覚刺激として）触覚刺激部２０（例えば図１に示した触覚刺激部２０ｂ）に出力させる。これにより、ゲームとして楽しめる範囲内の皮膚感覚をユーザに提示することができる。

また、仮想オブジェクトに関連付けられている輝度が所定の閾値以上である場合や、当該仮想オブジェクトに関連付けられている音量（例えば、仮想空間内のスピーカーから出力される音量など）が所定の閾値以上である場合には、オリジナルの輝度やオリジナルの音量がそのままユーザに提示されると、ユーザにとって有害になり得る。そこで、これらの場合には、出力制御部１０６は、当該仮想オブジェクトに関連付けられているオリジナルの輝度やオリジナルの音量（のみ）を人体に影響がない範囲内の値になるようにそれぞれ抑制することが可能である。すなわち、出力制御部１０６は、表示部の輝度や音声出力部２０が出力する音量を全体として維持しつつ、仮想オブジェクトそれぞれの輝度や関連する音量を独立して制御することが可能である。そして、出力制御部１０６は、抑制後の輝度で当該仮想オブジェクトをＨＭＤ２０ｅに表示させたり、また、抑制後の音量を音声出力部２０に出力させることが可能である。なお、ユーザの利便性を向上するために、独立して制御される仮想オブジェクトのパラメータは仮想オブジェクトの種類ごとにグループ分けされても良い。仮想オブジェクトの種類は、例えば“発光体”や“武器（特に銃火器）”などのように、感覚刺激の種類や感覚刺激の強度に応じてグループ分けされるのが好ましい。

‐変換方法の具体例
ここで、感覚刺激の変換方法の具体例について、図４を参照して説明する。図４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトにユーザが触れた際の、触れた位置に対応するオリジナルの温度と、当該オリジナルの温度が変換された温度（実際の温度）との関係の一例を示したグラフである。図４に示した例では、オリジナルの温度が８０℃以上１００℃以下である場合には、出力制御部１０６は、非線形の変換式を用いてオリジナルの温度を、２０℃以上８０℃以下の温度に変換し、そして、変換後の温度に対応する触覚刺激を実際の触覚刺激として決定する。また、オリジナルの温度が１００℃よりも大きい場合には、出力制御部１０６は、「８０℃」に対応する触覚刺激を実際の触覚刺激として（画一的に）決定する。この変換例によれば、特定範囲（つまり「８０℃以上１００℃以下」）の温度変化に関して、ユーザは、より詳細に情報を得ることができる。また、提示される温度の上限値（「８０℃」）が設定されるので、例えば専門のオペレータではないユーザが仮想オブジェクトに触れた際の安全性を確保することができる。

（２−１−４−４．付加画像の表示制御）
また、出力制御部１０６は、刺激出力部２０に対する感覚刺激の出力制御情報に応じた付加画像の表示を制御することが可能である。ここで、当該付加画像は、オリジナルの感覚刺激の度合いを示す第１の表示、および、オリジナルの感覚刺激を変換（抑制または強化）していることを示す文字列や画像を含み得る。また、当該付加画像は、（刺激出力部２０により出力されている）実際の感覚刺激の度合いを示す第２の表示をさらに含み得る。ここで、感覚刺激の度合いとは、例えば感覚刺激の強度のレベル（度合い）や、感覚刺激の強度の値であり得る。または、当該付加画像は、オリジナルの感覚刺激と実際の感覚刺激との差異の度合い（例えば、差異のレベル、差異の値、または、オリジナルの感覚刺激の度合いに対する実際の感覚刺激の度合いの割合（パーセンテージ）など）を示す表示をさらに含んでもよい。

例えば、出力制御部１０６は、ＨＭＤ２０ｅにおける仮想オブジェクトの表示位置と関連付けて当該付加画像をＨＭＤ２０ｅに表示させる。一例として、出力制御部１０６は、当該仮想オブジェクトの表示位置の近辺に当該付加画像をＨＭＤ２０ｅに表示させる。または、ＨＭＤ２０ｅに表示されている仮想オブジェクトにユーザが接触していると判定された場合には、出力制御部１０６は、当該仮想オブジェクト内の、接触していると判定された位置と関連付けて付加画像をＨＭＤ２０ｅに表示させる。なお、仮想オブジェクトと付加画像との対応関係をユーザが認識可能なように当該付加画像がラベリングされているのであれば、仮想オブジェクトと付加画像との位置関係は特に制限されないものと見做して良い。

‐表示例１
図５は、ＨＭＤ２０ｅにより表示される映像４０内の仮想オブジェクト５０（仮想のフライパン）に対してユーザが接触したと判定された際の付加画像５４の表示例（付加画像５４ａ）を示した図である。なお、実空間におけるユーザの手の認識結果に応じて、図５に示したように、映像４０内に仮想の手５２が表示され得る。例えば、映像４０と三次元の仮想空間とが関連付けられており、そして、実空間において認識されたユーザの手の位置に対応する、当該仮想空間内の位置に仮想の手５２は表示される。

図５に示した映像４０ｂのように、仮想オブジェクト５０にユーザが接触したと判定された際には、出力制御部１０６は、付加画像５４ａを映像４０ｂに重畳させてＨＭＤ２０ｅに表示させる。例えば、図５に示したように、出力制御部１０６は、仮想オブジェクト５０にユーザが触れている位置５００の近辺に付加画像５４ａを表示させる。

なお、図５に示したように、付加画像５４ａは、仮想オブジェクト５０に対するユーザの接触位置５００に対応するオリジナルの温度を示す表示５４０、および、当該オリジナルの温度が抑制されて提示されていること（つまり、当該オリジナルの温度よりも低い温度が提示されていること）を示す表示５４２を含む。なお、図５に示したように、表示５４０は、温度の度合いを示すインジケータ（例えばメーターなど）を含んでもよいし、または、温度の値を示す文字列（つまり「１８０℃」）のみを含んでもよい。なお、表示５４０がインジケータを含む場合、温度の度合いに応じて当該インジケータの表示態様（例えばインジケータの長さや色など）が動的に変更される。また、図５に示したように、付加画像５４ａは、接触位置５００を示す画像（例えば円など）をさらに含んでもよい。これにより、ユーザは、仮想オブジェクト５０に対して自分が触れている位置５００を正確に知ることができる。

‐‐変形例
なお、ＨＭＤ２０ｅに表示されている、一以上の仮想オブジェクト５０に対してユーザが両手で接触したと判定された場合には、手ごとに、当該手が接触している位置に対応するオリジナルの感覚刺激の度合いを示す付加画像５４を、当該手の接触位置の近辺にそれぞれ表示させてもよい。なお、このような場合の例としては、個々の手が別々の仮想オブジェクトに接触する場合や、両手で同じ仮想オブジェクトに接触する場合などが挙げられる。

‐表示例２
また、図６は、所定の仮想オブジェクト５０（仮想の太陽５０）がＨＭＤ２０ｅにより表示された際の付加画像５４の表示例（付加画像５４ｂ）を示した図である。なお、図６に示した例では、仮想の太陽５０に関連付けられているオリジナルの輝度が、例えば子どもなどのユーザの視覚に対して過剰である程度に大きいものとする。また、図６に示した例では、出力制御部１０６は、当該オリジナルの輝度を８０％に抑制して、仮想の太陽５０をＨＭＤ３０に表示させている例を示している。この場合、図６に示したように、出力制御部１０６は、「仮想の太陽５０の輝度が８０％に抑制されていること」を示す文字列を含む付加画像５４ｂを、仮想の太陽５０の表示位置の近くに表示させてもよい。

‐表示例３
また、図７は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０に対してユーザが接触したと判定された際の付加画像５４の別の表示例（付加画像５４ｃ）を示した図である。図７に示したように、付加画像５４ｃは、仮想オブジェクト５０内の各位置において提示され得る皮膚感覚（例えば温度など）の分布を示す表示５６を（図５に示した付加画像５４ａと比較して）さらに含む。例えば、図７に示したように、表示５６は、仮想オブジェクト５０内の各位置の温度を示す等値線を含んでもよい。これにより、ユーザは、仮想オブジェクト５０において自分が現在接触している位置５００の温度と、接触位置５００の周囲の温度との関係を同時に知ることができる。

‐表示例４
また、図８は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０に対してユーザが接触したと判定された際の付加画像５４のさらに別の表示例（付加画像５４ｄ）を示した図である。図８に示したように、付加画像５４ｄは、刺激出力部２０により実際に提示されている温度を示す表示５４０ｂを（図５に示した付加画像５４ａと比較して）さらに含む。例えば、図８に示したように、出力制御部１０６は、オリジナルの温度を示す表示５４０ａと、実際の温度を示す表示５４０ｂとを並べて映像４０ｂ内に表示させてもよい。この表示例によれば、オリジナルの温度と、現在提示されている温度とをユーザは同時に知ることができる。従って、現在皮膚で感じている温度と、オリジナルの温度（つまり、仮想オブジェクトに関連付けられている本来の温度）とがどの程度異なるかを、ユーザは、付加画像５４ａを閲覧することにより知ることができる。

（２−１−４−５．感覚刺激の出力に関する設定）
なお、実際の感覚刺激の度合い、または、上記の所定の変換式は、例えば所定の設定画面に対するユーザの入力に基づいて予め設定可能であってもよいし、または、リアルタイムに調整可能であってもよい。また、付加画像５４は、例えば、出力される感覚刺激（または提示される感覚）の種類、出力される感覚刺激の度合い、または、上記の所定の変換式などをユーザが指定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含んでもよい。この場合、出力される感覚刺激の種類、出力される感覚刺激の度合い、または、上記の所定の変換式は、当該ＧＵＩに対するユーザの操作に基づいてリアルタイムに調整可能であってもよい。ここで、ＧＵＩは、本開示における操作画像の一例である。なお、ＧＵＩは、例えばスライダのような形状のオブジェクトであってもよい。

ここで、図９を参照して、上記の内容についてより詳細に説明する。図９は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０にユーザが接触したと判定された際の付加画像５４のさらに別の表示例（付加画像５４ｅ）を示した図である。図９に示したように、付加画像５４ｅは、触覚刺激部２０により出力される熱の温度をユーザが調整可能なＧＵＩ５４４をさらに含む。図９に示した例では、出力制御部１０６は、ＧＵＩ５４４に対するユーザの操作に基づいて、触覚刺激部２０により出力される熱の温度をリアルタイムに変更することが可能である。例えば、図９に示したように、ユーザが仮想オブジェクト５０に右手を接触させた状態で、「１２０℃」に対応する位置までＧＵＩ５４４を左手で移動させた場合には、出力制御部１０６は、触覚刺激部２０により出力される熱の温度を例えば「８０℃」から「１２０℃」へと変更する。なお、図９に示した例において、手でＧＵＩ５４４を操作する例に限定されず、所定の入力デバイス（ジョイスティックなど）を用いてＧＵＩ５４４を操作可能であってもよい。

（２−１−４−６．代替の感覚刺激の出力制御）
また、ある感覚刺激に関して、実際の感覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように感覚刺激が変換される場合、または、当該感覚刺激の出力が中止される場合には、出力制御部１０６は、当該感覚刺激に対応する感覚とは異なる感覚に関する刺激を補償フィードバックとして（つまり代替の感覚刺激として）別の刺激出力部２０に新たに出力させることも可能である。例えば、実際の触覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように触覚刺激が抑制される場合には、出力制御部１０６は、視覚または聴覚に対応する刺激出力部２０（つまり、ＨＭＤ２０ｅまたは音声出力部２０）に所定の映像や所定の音声を新たに出力させてもよい。

または、ある感覚刺激に関して、実際の感覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように感覚刺激が変換される場合、または、当該感覚刺激の出力が中止される場合には、出力制御部１０６は、現在出力されている、当該感覚刺激に対応する感覚とは異なる感覚に関する刺激の強度を該当の刺激出力部２０に変更させてもよい。例えば、実際の触覚刺激の度合いがオリジナルの触覚刺激の度合いよりも所定の閾値以上小さくなるように触覚刺激が抑制される場合には、出力制御部１０６は、ＨＭＤ２０ｅにより表示されている映像の表示態様を変更したり、また、ＨＭＤ２０ｅまたは音声出力部２０により出力されている音声を変化させてもよい。

例えば、アミューズメントパークなどに設置されている専用のバイクにユーザが乗っている状況において、ＨＭＤ２０ｅにより表示されているＶＲ映像（ゲームなど）に応じて、バイクの走行風に対応する風を扇風機２０ｃが発生させているとする。この場合、扇風機２０ｃにより発生される風の強さ（風量や風速など）が、オリジナルの風の強さよりも所定の閾値以上小さくなるように抑制される場合には、出力制御部１０６は、ＨＭＤ２０ｅに表示されている映像に対して、風のエフェクト（例えば表示中の映像を揺らすなど）を新たに表示させたり、現在表示中の風のエフェクトを強調するように当該エフェクトを変更したり、または、風が吹いていることを示すオノマトペ（例えば「びゅー」など）を新たに表示させてもよい。または、この場合、出力制御部１０６は、風のエフェクト音（暴風の音など）をＨＭＤ２０ｅに新たに出力させたり、または、現在出力中の風のエフェクト音を強調するように当該エフェクトを変更してもよい。例えば、出力制御部１０６は、現在出力中の風のエフェクト音の音量を大きくしてもよい。

｛２−１−５．通信部１２０｝
通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、モーション情報を刺激出力部２０から受信する。また、通信部１２０は、出力制御部１０６の制御に従って、出力制御情報を刺激出力部２０へ送信する。

｛２−１−６．記憶部１２２｝
記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図３に示したように、記憶部１２２は、オブジェクトＤＢ１２４を記憶する。

なお、本実施形態による情報処理装置１０の構成は、前述した例に限定されない。例えば、オブジェクトＤＢ１２４は、記憶部１２２に記憶される代わりに、通信網２２に接続された他の装置（図示省略）に記憶されてもよい。

＜２−２．処理の流れ＞
以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図１０および図１１を参照して説明する。なお、以下では、仮想オブジェクトを含む映像を情報処理装置１０がＨＭＤ２０ｅに表示させる場面における処理の流れの例について説明する。

図１０に示したように、まず、情報処理装置１０の出力制御部１０６は、仮想オブジェクトを含む所定の映像をＨＭＤ２０ｅに表示させるための表示制御情報をＨＭＤ２０ｅへ通信部１２０に送信させる。そして、ＨＭＤ２０ｅは、当該表示制御情報に従って所定の映像を表示する（Ｓ１０１）。

その後、刺激出力部２０は、ユーザの動きをセンシングする。そして、刺激出力部２０は、センシング結果をモーション情報として情報処理装置１０へ送信する（Ｓ１０３）。

その後、情報処理装置１０の判定部１０４は、ＨＭＤ２０ｅに表示されている仮想オブジェクトに対するユーザの動きを当該モーション情報に基づいて判定する（Ｓ１０５）。そして、当該仮想オブジェクトに対してユーザが触れていないと判定された場合には（Ｓ１０７：Ｎｏ）、再びＳ１０３の処理が行われる。

一方、当該仮想オブジェクトに対してユーザが触れていると判定された場合には（Ｓ１０７：Ｙｅｓ）、まず、出力制御部１０６は、Ｓ１０５における、当該仮想オブジェクトに対するユーザの触れ方の判定結果と、当該仮想オブジェクトの属性情報とに応じて、オリジナルの感覚刺激の情報を特定する（Ｓ１０９）。

続いて、出力制御部１０６は、例えばユーザのプロファイルや、現在のコンテキスト情報などに基づいて、オリジナルの感覚刺激の変換方法を決定する。そして、出力制御部１０６は、当該オリジナルの感覚刺激の情報を、決定した変換方法を用いて変換することにより、実際の感覚刺激の情報を決定する（Ｓ１１１）。

続いて、出力制御部１０６は、例えばオリジナルの感覚刺激の度合いなどを示す付加画像を当該仮想オブジェクトと関連付けてＨＭＤ２０ｅに表示させる（Ｓ１１３）。

ここで、図１１を参照して、Ｓ１１３より後の処理の流れについて説明する。図１１に示したように、Ｓ１１３の後、出力制御部１０６は、Ｓ１１１で決定された感覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する。そして、通信部１２０は、出力制御部１０６の制御に従って、当該感覚刺激に対応する刺激出力部２０へ出力制御情報を送信する。その後、刺激出力部２０は、受信した出力制御情報に従って、感覚刺激を出力する（Ｓ１２１）。

｛変形例｝
なお、本実施形態による処理の流れは、前述した例に限定されない。ここで、本実施形態による処理の流れの変形例について、図１２を参照して説明する。なお、図１０に示したＳ１０１〜Ｓ１１３の処理は、本変形例でも同様である。以下では、Ｓ１１３より後の処理の流れについて説明する。

Ｓ１１３の後、出力制御部１０６は、Ｓ１０９で特定されたオリジナルの感覚刺激の度合いと、Ｓ１１１で決定された実際の感覚刺激の度合いとの差異が所定の閾値以上であるか否かを判定する（Ｓ１５１）。当該差異が所定の閾値よりも小さい場合には（Ｓ１５１：Ｎｏ）、出力制御部１０６は、後述するＳ１５５の処理を行う。

一方、当該差異が所定の閾値以上である場合には（Ｓ１５１：Ｙｅｓ）、出力制御部１０６は、当該オリジナルの感覚刺激に対応する感覚とは別の感覚に関する刺激を、当該別の感覚に対応する刺激出力部２０ｂに出力させるための出力制御情報を生成する。そして、通信部１２０は、出力制御部１０６の制御に従って、当該出力制御情報を刺激出力部２０ｂへ送信する（Ｓ１５３）。

なお、図１２に示したＳ１５５は、図１１に示したＳ１２１と概略同様である。

＜２−３．効果＞
｛２−３−１．効果１｝
以上説明したように、本実施形態によれば、情報処理装置１０は、ＨＭＤ２０ｅにより表示される仮想オブジェクトに応じたオリジナルの感覚刺激を、所定の基準に基づいて決定される変換方法を用いて変換し、そして、変換後の感覚刺激を刺激出力部２０に出力させることが可能である。このため、適切な度合いの感覚刺激をユーザに提示することができる。

例えば、子どもなどのユーザが当該仮想オブジェクトに接触したと判定された場合には、情報処理装置１０は、オリジナルの感覚刺激を、人体に影響がない範囲内の強度の感覚刺激に変換し、そして、変換後の感覚刺激を触覚刺激部２０に出力させる。このため、例えばユーザが怪我をすることを防止できる。

｛２−３−２．効果２｝
また、本実施形態によれば、情報処理装置１０は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像の表示を制御する。このため、感覚刺激の出力に関する制御内容に適応した付加画像の表示を制御することができる。

例えば、当該付加画像は、オリジナルの感覚刺激が抑制されて出力されていることを示したり、また、抑制の程度を示す。また、情報処理装置１０は、表示されている仮想オブジェクトと関連付けて当該付加画像をＨＭＤ２０ｅに表示させる。従って、例えばオリジナルの感覚刺激が抑制されて刺激出力部２０により出力されていることや、オリジナルの感覚刺激の度合いなどをユーザは容易に知ることができる。

＜＜３．ハードウェア構成＞＞
次に、本実施形態による情報処理装置１０のハードウェア構成について、図１３を参照して説明する。図１３に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。

ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。

バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。

インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、バス１５６と接続する。

ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

通信装置１６２は、例えば通信網２２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。

＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜４−１．変形例１＞
例えば、前述した実施形態では、情報処理装置１０（出力制御部１０６）が、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像をＨＭＤ２０ｅに表示させる例について説明したが、本開示はかかる例に限定されない。例えば、情報処理装置１０（出力制御部１０６）は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた音声を音声出力部２０（ＨＭＤ２０ｅやイヤフォンなど）に出力させてもよい。一例として、図５に示したように、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０にユーザが接触したと判定された際には、出力制御部１０６は、仮想オブジェクト５０に対するユーザの接触位置５００に対応するオリジナルの温度を示す音声や、当該オリジナルの温度が抑制されていることを示す音声などを（仮想オブジェクト５０の表示中に）音声出力部２０に出力させてもよい。例えば、この場合、出力制御部１０６は、「触っている位置の本来の温度は１８０℃です。現在、温度を抑制しています。」などの音声を音声出力部２０に出力させてもよい。

＜４−２．変形例２＞
また、前述した実施形態による情報処理システムの構成は、図１に示した例に限定されない。例えば、ＨＭＤ２０ｅと情報処理装置１０とは一体的に構成されてもよい。一例として、前述した制御部１００に含まれる各構成要素はＨＭＤ２０ｅが有してもよい。この場合、本開示における情報処理装置は、ＨＭＤ２０ｅであり得る。例えば、ＨＭＤ２０ｅは、触覚刺激部２０ａ〜触覚刺激部２０ｃに対して触覚刺激の出力を制御したり、嗅覚刺激部２０ｄに対して香りの出力を制御し得る。

また、ユーザ２が位置する実空間内にプロジェクタが配置されてもよい。そして、情報処理装置１０は、例えば仮想オブジェクトなどを含む映像を当該実空間内の投影対象（例えば壁など）に対して当該プロジェクタに投影させてもよい。なお、この変形例では、本開示における表示部は、プロジェクタであってもよい。また、この場合、当該情報処理システムは、ＨＭＤ２０ｅを有しなくてもよい。

＜４−３．変形例３＞
また、前述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、前述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、前述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
を備える、情報処理装置。
（２）
前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させる、前記（１）に記載の情報処理装置。
（３）
前記感覚刺激は、皮膚感覚に関する刺激であり、
前記情報処理装置は、表示部により表示されている仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された位置と関連付けて前記画像を前記表示部に表示させる、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じである、前記（２）または（３）に記載の情報処理装置。
（５）
前記画像は、前記第１の感覚刺激の度合いを示す第１の表示、および、前記第２の感覚刺激の度合いを示す第２の表示のうち少なくとも一方を含む、前記（４）に記載の情報処理装置。
（６）
前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像をさらに含む、前記（５）に記載の情報処理装置。
（７）
前記第１の感覚刺激の強度と、前記第２の感覚刺激の強度とは異なる、前記（４）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第２の感覚刺激の強度は、前記第１の感覚刺激の強度よりも小さい、前記（７）に記載の情報処理装置。
（９）
前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１１）
前記第１の感覚は、皮膚感覚であり、
前記第２の感覚は、視覚または聴覚である、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記出力制御部は、さらに、前記所定の変換方法を所定の基準に基づいて決定し、かつ、前記制御情報を生成する、前記（４）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記所定の基準は、前記ユーザのプロファイルを含む、前記（１２）に記載の情報処理装置。
（１４）
前記所定の基準は、前記仮想オブジェクトの表示時のコンテキスト情報を含む、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記所定の基準は、前記第１の感覚刺激の度合いを含む、前記（１２）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記感覚刺激は、皮膚感覚に関する刺激であり、
前記情報処理装置は、前記仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
前記仮想オブジェクトに前記ユーザが接触したと判定された際に、前記出力制御部は、前記制御情報を生成する、前記（１２）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記出力制御部は、さらに、前記第１の出力部へ前記制御情報を通信部に送信させる、前記（１２）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記制御情報は、前記感覚刺激の出力量に関する情報を含み、
前記出力制御部は、前記感覚刺激の出力量に基づいて前記画像の表示を変化させる、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、
を含む、情報処理方法。
（２０）
コンピュータを、
ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
として機能させるための、プログラム。

１０ 情報処理装置
２０ 刺激出力部
２０ｅ ＨＭＤ
２２ 通信網
１００ 制御部
１０２ 情報取得部
１０４ 判定部
１０６ 出力制御部
１２０ 通信部
１２２ 記憶部
１２４ オブジェクトＤＢ

Claims (12)

1. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備え、
   前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像を含む、
   情報処理装置。
2. 前記第１の感覚刺激の強度と、前記第２の感覚刺激の強度とは異なる、請求項１に記載の情報処理装置。
3. 前記第２の感覚刺激の強度は、前記第１の感覚刺激の強度よりも小さい、請求項２に記載の情報処理装置。
4. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備え、
   前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
   前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
   情報処理装置。
5. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備え、
   前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
   前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
   情報処理装置。
6. 前記第１の感覚は、皮膚感覚であり、
   前記第２の感覚は、視覚または聴覚である、請求項４または５に記載の情報処理装置。
7. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、を含み、
   前記プロセッサは、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像を含む、
   情報処理方法。
8. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、を含み、
   前記プロセッサは、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記プロセッサは、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
   前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
   情報処理方法。
9. ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、を含み、
   前記プロセッサは、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
   前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
   前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
   前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記プロセッサは、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
   前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
   情報処理方法。
10. コンピュータを、
    ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、として機能させるための、プログラムであって、
    前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
    前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
    前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
    前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像を含む、
    プログラム。
11. コンピュータを、
    ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、として機能させるための、プログラムであって、
    前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
    前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
    前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
    前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
    前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
    プログラム。
12. コンピュータを、
    ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、として機能させるための、プログラムであって、
    前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させ、
    前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
    前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じであり、
    前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
    前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、
    プログラム。

Images