WO2023228342A1 - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

情報処理システムＳ１は、情報端末１と、情報端末１と通信可能な情報処理装置２と、を備える。情報端末１は、情報端末１において空間画像を見ているユーザＵの生体情報を取得する生体情報取得部１６２と、情報端末１に、空間画像に重ねて生体情報画像を表示させる表示処理部１６４と、生体情報画像に対応する生体情報画像データを情報処理装置２に送信するデータ送信部１６５と、を有する。情報処理装置２は、情報端末１から取得した生体情報画像データに基づいて、ユーザＵの状態を特定する状態特定部２３２と、特定された状態を示す状態データを出力する出力部２３３と、を有する。

Description

情報処理システム、情報処理装置、情報処理方法及びプログラム

　本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。

　従来、仮想現実空間や拡張現実空間を見たユーザの反応を示す情報を出力するシステムが知られている（例えば、特許文献１を参照）。

国際公開第２０２０／０３２３３９号

　従来のシステムでは、仮想現実空間や拡張現実画像が表示された空間等の仮想空間を見ているユーザ以外の人（例えばデザイナー、研究者又はマーケター）が、ユーザの反応を知ることはできたが、ユーザ（例えば仮想空間を見るだけのユーザ、及び仮想空間の制作関与しているデザイナー、研究者又はマーケターを含む）が、空間を見ている間の自分自身の状態を客観的に把握することができないという問題があった。

　そこで、本発明はこれらの点に鑑みてなされたものであり、空間を見ているユーザが、自分自身の状態を把握できるようにすることを目的とする。

　本発明の第１の態様の情報処理システムは、情報端末と、前記情報端末と通信可能な情報処理装置と、を備え、前記情報端末は、前記情報端末において空間画像を見ているユーザの生体情報を取得する生体情報取得部と、前記情報端末に、前記空間画像に重ねて前記生体情報に基づく生体情報画像を表示させる表示処理部と、前記生体情報画像に対応する生体情報画像データを前記情報処理装置に送信するデータ送信部と、を有し、前記情報処理装置は、前記情報端末から前記生体情報画像データを取得するデータ取得部と、前記生体情報画像データに基づいて、前記ユーザの状態を特定する状態特定部と、前記状態特定部が特定した前記ユーザの状態を示す状態データを出力する出力部と、を有する。

　前記出力部は、前記状態データを前記情報端末に送信し、前記情報端末は、前記出力部が出力した前記状態データを取得する状態データ取得部をさらに有し、前記表示処理部は、前記空間画像に重ねて前記状態データを表示させてもよい。

　前記表示処理部は、前記状態データ取得部が取得した前記状態データが、前記空間画像を変更する場合に対応する所定の状態を示している場合に、表示中の前記空間画像と異なる更新空間画像を表示させてもよい。

　前記情報端末は、前記ユーザの操作を受け付ける操作受付部をさらに有し、前記表示処理部は、前記状態データ取得部が取得した前記状態データを表示させた後に、一以上の更新空間画像候補を表示させ、前記一以上の更新空間画像候補から一つの更新空間画像候補を選択する操作を前記操作受付部が受け付けたことに応じて、選択された前記更新空間画像候補に対応する更新空間画像を表示させてもよい。

　前記情報処理装置は、前記ユーザを識別するためのユーザ識別情報に関連付けて前記ユーザの属性を記憶する記憶部をさらに有し、前記データ取得部は、前記ユーザ識別情報に関連付けて前記生体情報画像データを取得し、前記出力部は、前記記憶部を参照することにより、前記データ取得部が取得した前記生体情報画像データに関連付けられた前記ユーザ識別情報に対応する前記属性を特定し、前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データと、前記状態データと、特定した前記属性とを関連付けて出力してもよい。

　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、前記出力部は、前記空間画像データに関連付けて、当該空間画像データが表示されていた時点で取得された生体情報に対応する前記生体情報画像データに基づいて特定された前記ユーザの状態を示す前記状態データを出力してもよい。

　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、前記出力部は、前記状態データが示す状態の種別に関連付けて、それぞれの前記種別の前記ユーザの状態に対応する一以上の前記生体情報画像データに関連付けて送信された一以上の前記空間画像データを出力してもよい。

　前記情報処理装置は、前記状態特定部が前記ユーザの状態が所定の状態になったことを特定した場合に、前記所定の状態が特定された前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データを要求するための要求データを前記情報端末に送信するデータ要求部をさらに有し、前記出力部は、前記データ要求部が前記要求データを前記情報端末に送信したことに応じて前記情報端末が送信した前記空間画像データを、前記所定の状態を示す前記状態データに関連付けて出力してもよい。

　本発明の第２の態様の情報処理装置は、空間画像データを送信することにより、前記空間画像データを情報端末に表示させる出力部と、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得する生体情報取得部と、前記生体情報に基づいて、前記ユーザの状態を特定する状態特定部と、を有し、前記出力部は、前記状態特定部が特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力する。

　本発明の第３の態様の情報処理方法は、コンピュータが実行する、空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、前記生体情報に基づいて、前記ユーザの状態を特定するステップと、特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、を有する。

　本発明の第４の態様のプログラムは、コンピュータに、空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、前記生体情報に基づいて、前記ユーザの状態を特定するステップと、特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、を実行させる。

　本発明によれば、空間を見ているユーザ（仮想空間を見るだけのユーザ、及び仮想空間の制作に関与しているデザイナー、研究者又はマーケターを含む）が、自分自身の状態を把握できるようになるという効果を奏する。

情報処理システムＳ１の概要を示す図である。 情報端末１に表示された画面の例を示す図である。 情報端末１の構成を示す図である。 推奨状態データの例を示す図である。 推奨状態データの例を示す図である。 情報処理装置２の構成を示す図である。 情報処理システムＳ１における処理の流れの一例を示すシーケンス図である。 情報処理システムＳ２の概要を示す図である。 情報処理装置４の構成を示す図である。

［情報処理システムＳ１の概要］
　図１は、情報処理システムＳ１の概要を示す図である。情報処理システムＳ１は、ユーザＵが見ている空間画像に重ねて、ユーザＵの状態を示すデータを表示するシステムである。空間画像は、ユーザＵが実際に見ている空間の画像であってもよく、コンピュータにより作成された仮想現実画像（ＶＲ画像）を含むメタバースの画像であってもよい。

　ユーザＵの状態を示すデータは、例えば、時間の経過に伴うユーザＵの生体情報の値の変化を示す生体情報画像データ、又は生体情報画像データに基づいて特定された状態データである。生体情報は、例えば測定器Ｍにより測定されるユーザＵの心拍数、脳波又はユーザＵの視線に基づく情報であり、例えばグラフの画像情報である。ユーザＵの状態は、ユーザＵの生体情報に基づいて特定される、ユーザＵが空間画像を見ている間に感じていること、又はユーザＵの心身の状態であってもよい。ユーザＵの状態は、例えば、リラックスしている状態、緊張している状態、集中している状態、又は興奮している状態である。

　情報端末１は、例えば、情報処理装置２が生体情報画像データに基づいて特定したユーザＵの状態を空間画像に重ねて表示する。ユーザＵが見ている空間画像に重ねてユーザＵの状態が表示されることにより、空間画像を見ているユーザＵが自分自身の状態を把握できるので、ユーザＵは、見ている空間画像がユーザＵに適しているかどうかを判断することが可能になる。ユーザＵは、見ている空間画像が自身に適していないと判断した場合に、自身に適した空間画像に変更することができる。このような情報処理システムＳ１は、メタバースに自身のアバターの画像を表示させる場合に好適である。

　図１に示すように、情報処理システムＳ１は、情報端末１と、情報処理装置２と、出力端末３と、を備える。情報端末１、情報処理装置２及び出力端末３は、ネットワークＮに接続されており、他の装置との間でデータを送受信することができる。

　情報端末１は、ユーザＵが空間画像を見るために使用する端末であり、例えばパーソナルコンピュータ、タブレット、スマートフォン、又は眼鏡形状若しくはゴーグル形状の端末である。情報端末１は、例えばユーザＵが装着した測定器Ｍから生体情報を取得する。情報端末１は、時間の経過に伴う生体情報の値の変化を示す生体情報画像データを空間画像データとともに表示する。生体情報画像データは、例えば拡張現実画像（ＡＲ画像）である。情報端末１は、生体情報画像データ及び空間画像データを情報処理装置２に送信する。

　情報処理装置２は、情報端末１に表示されるユーザＵの生体情報画像データに基づいてユーザＵの状態を特定する。情報処理装置２は、例えば、生体情報画像データが入力されると、ユーザＵの状態を示すデータを出力する機械学習モデルに生体情報画像データを入力することによりユーザＵの状態を特定する。情報処理装置２は、特定した状態を示す状態データを情報端末１に送信する。状態データを受信した情報端末１は、空間画像データとともに状態データを表示する。

　図２は、情報端末１に表示された画面の例を示す図である。領域Ｒ１には空間画像データが表示されており、領域Ｒ２には生体情報画像データが表示されており、領域Ｒ３には、情報処理装置２から送信された状態データが表示されている。ユーザＵは、領域Ｒ２に表示された生体情報画像データを見ることによっても自分自身の状態を把握できるが、領域Ｒ３に表示された状態データを見ることにより、客観的に自分自身の状態を把握することができる。

　領域Ｒ１には、空間画像の態様を変更するための操作をユーザＵから受けるための「変更」アイコンが表示されている。ユーザＵが「変更」アイコンを選択することにより、領域Ｒ１に表示される空間画像の態様が変更される。空間画像の態様は、例えば、床・壁・天井・家具等の、色相・彩度・明度、凹凸度合い、形状又は配置等である。情報端末１は、「変更」アイコンが選択されたことに応じて、変更後の空間画像の複数の候補を表示してもよく、推奨される空間画像を表示してもよい。また、アイコンを選択する方法は、クリック、タップ以外に、アイトラッキングによる注視・瞬き・ウインク等、又はハンドトラッキングによるジェスチャー等であってもよい。

　また、領域Ｒ１には、表示されている空間画像を、ユーザＵのお気に入りの画像として登録するための「登録」アイコンが表示されている。情報端末１は、「登録」アイコンが選択された場合、表示されている空間画像を、ユーザＵのお気に入りの画像として記憶したり、空間画像を情報処理装置２に送信したりする。

　図２（ａ）に示す例においては、領域Ｒ１に表示された空間画像の明度が高く、領域Ｒ３には、リラックス度が低く、緊張度が高いという状態が示されている。領域Ｒ１に表示されている空間画像がリビングの画像であり、ユーザＵがリビングではリラックスしたいと感じている場合、ユーザＵが「変更」アイコンを選択することにより、情報端末１は、領域Ｒ３に表示されているユーザＵの状態が変化する可能性がある態様に空間画像を変更する。

　図２（ｂ）は、図２（ａ）に表示されている空間画像よりも明度が低い空間画像が表示された画面を示している。この状態で、領域Ｒ２に表示されている生体情報の変動が小さくなっており、領域Ｒ３には、リラックス度が高くなっていることが示されている。ユーザＵは、「登録」アイコンを選択することにより、図２（ｂ）に表示された空間画像を登録することができる。なお、空間画像の態様は、明度に代えて、又は明度とともに、色相・彩度により示されてもよい。

　情報端末１は、表示した空間画像データを情報処理装置２に送信してもよい。そして、情報処理装置２は、情報端末１以外の装置に状態データと空間画像データとを関連付けて出力してもよい。情報処理装置２は、例えば情報端末１と異なる出力端末３に状態データと空間画像データとを関連付けて送信したり、状態データと空間画像データとを関連付けて印刷したりしてもよい。出力端末３は、例えばデザイナー、研究者又はマーケターのように建物や空間、又はこれらの画像データを設計する人（以下、「設計者等」という）が使用するコンピュータである。出力端末３が状態データと空間画像データとを関連付けて表示することで、設計者等は、どのような空間に対してユーザＵがどのような印象を持つかを把握することができ、設計に活用することができる。

［情報端末１の構成］
　図３は、情報端末１の構成を示す図である。情報端末１は、第１通信部１１と、第２通信部１２と、表示部１３と、操作部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、操作受付部１６１と、生体情報取得部１６２と、状態データ取得部１６３と、表示処理部１６４と、データ送信部１６５と、を有する。

　第１通信部１１は、測定器Ｍとの間でデータを送受信するための通信インターフェースを有する。第１通信部１１は、例えばBluetooth（登録商標）又はWi-Fi（登録商標）のような無線通信インターフェースを有する。第１通信部１１は、測定器Ｍから受信した生体情報を生体情報取得部１６２に入力する。

　第２通信部１２は、ネットワークＮを介して情報処理装置２との間でデータを送受信するための通信インターフェースを有する。第２通信部１２は、例えばデータ送信部１６５から入力された生体情報画像データ及び空間画像データを情報処理装置２に送信し、情報処理装置２から受信した状態データを状態データ取得部１６３に入力する。

　表示部１３は、各種の情報を表示するディスプレイである。表示部１３は、例えば空間画像データに基づく空間画像を表示する。また、表示部１３は、空間画像を見ているユーザＵの生体情報に基づく生体情報画像データを作成し、作成した生体情報画像データに基づく生体情報画像を表示する。さらに、表示部１３は、第１通信部１１が状態データを情報処理装置２から受信した場合、状態データに基づくテキストを表示する。

　操作部１４は、ユーザＵの操作を受けるデバイスであり、例えばキーボード及びマウスを有する。操作部１４は、ユーザＵの操作内容を示すデータを操作受付部１６１に入力する。

　記憶部１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、空間画像データ、生体情報、生体情報画像データ等を一時的に記憶する。記憶部１５は、例えば、生体情報が取得された時刻に関連付けて、生体情報画像データ、及び当該時刻に表示部１３に表示されていた空間画像データを記憶する。

　さらに、記憶部１５は、表示処理部１６４が表示部１３に表示する空間画像の態様を変更するために用いる推奨状態データを記憶する。推奨状態データは、空間画像を識別するための情報（例えば空間画像名）と、空間画像を見たユーザの状態として推奨される状態とが関連付けられたデータである。

　図４及び図５は、推奨状態データの例を示す図である。図４に示す例において、玄関の空間画像に「驚き度：高」という推奨状態が関連付けられている。また、リビングの空間画像に「リラックス度：高」という推奨状態が関連付けられている。推奨状態データにおいては、１つの空間画像名に複数の推奨状態が関連付けられていてもよい。

　推奨状態データは、制御部１６が実行するアプリケーションソフトウェアのプログラムに記述されていてもよいが、各空間においてどのような状態になりたいかという点は、ユーザＵによって異なり得る。そこで、記憶部１５は、操作部１４を介してユーザＵにより設定された空間画像別の推奨状態を記憶してもよい。また、推奨状態データは、推奨状態ではなく、推奨されない状態を示すデータを含んでもよい。

　図５に示すように、推奨状態データは、空間画像名に関連付けて、空間画像を見たユーザＵの状態を示すスコアの許容範囲を示す数値を含んでもよい。図５に示す例において、玄関においては、「驚き度」に要求されるスコアが「８以上」であり、「開放度」に要求されるスコアが「５以上」であり、その他の状態に要求されるスコアは任意になっている。このように、推奨状態データが、状態の種別ごとに許容される範囲を示すデータを含んでいることで、空間ごとにユーザＵの好みを反映させやすくなる。

　さらに、記憶部１５は、空間画像の態様とユーザＵの状態との関係の傾向を示すデータを記憶してもよい。一例として、記憶部１５は、明度が低い空間画像をユーザＵが見た場合に、明度が高い空間画像をユーザＵが見た場合よりも落ち着きを感じやすいといった傾向、又はユーザＵが一点透視の構図の空間画像を見た場合に、二点透視の構図の空間画像を見た場合よりも落ち着きを感じやすいといった傾向を示すデータを記憶する。このデータは、表示処理部１６４が表示する空間画像の態様を変更する場合に用いられる。

　制御部１６は、ＣＰＵ（Central Processing Unit）を有する。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、操作受付部１６１、生体情報取得部１６２、状態データ取得部１６３、表示処理部１６４及びデータ送信部１６５として機能する。

　操作受付部１６１は、操作部１４から入力されるデータに基づいて、ユーザＵの操作を受け付ける。操作受付部１６１は、受け付けた操作の内容を、制御部１６内の適切な処理部に通知する。操作受付部１６１は、例えば、図２に示した「変更」アイコンをユーザＵが選択する操作を受け付けたことを表示処理部１６４に通知する。また、操作受付部１６１は、表示部１３に表示された変更後の空間画像の複数の候補から１つの候補を選択する操作を受け付けたことを表示処理部１６４に通知する。アイコンを選択する方法は、クリック、タップ以外に、アイトラッキングによる注視・瞬き・ウインク等、又はハンドトラッキングによるジェスチャー等であってもよい。

　生体情報取得部１６２は、第１通信部１１を介して、情報端末１において空間画像を見ているユーザの生体情報を取得する。生体情報取得部１６２は、取得した生体情報を表示処理部１６４に入力する。

　状態データ取得部１６３は、第２通信部１２を介して、情報処理装置２が出力した状態データを取得する。状態データ取得部１６３は、取得した状態データを表示処理部１６４に入力する。

　表示処理部１６４は、表示部１３に表示するための画面データを作成することにより、各種の情報を表示部１３に表示させる。表示処理部１６４は、例えば、記憶部１５に記憶された仮想画像データに基づく仮想画像を表示部１３に表示させる。また、表示処理部１６４は、図２に示すように、空間画像に重ねて生体情報に基づく生体情報画像を表示させる。さらに、表示処理部１６４は、状態データ取得部１６３が第２通信部１２を介して状態データを取得した場合、取得した状態データに基づくテキスト又は画像を空間画像に重ねて表示部１３に表示させる。表示処理部１６４は、リアルタイムでユーザＵの生体情報画像を表示させてもよく、過去の所定の時間（例えばユーザＵにより設定された数秒間）の生体情報を示す画像を表示させてもよい。

　表示処理部１６４は、状態データ取得部１６３が取得した状態データが、空間画像データを変更する場合に対応する所定の状態を示している場合に、表示中の空間画像と異なる更新空間画像に対応する更新空間画像データを表示させる。所定の状態は、例えば、空間画像名に関連付けて記憶部１５に記憶された推奨状態データが示す推奨状態と異なる状態である。

　表示処理部１６４は、推奨状態データが示す状態に状態データが示す状態を近づけるように空間画像の態様を変更したり、空間画像を他の空間画像に更新したりする。表示処理部１６４は、例えば、記憶部１５に記憶された空間画像の態様とユーザＵの状態との関係の傾向を示すデータを参照することにより、空間画像の明度を変更したり、構図を変更したりする。表示処理部１６４は、状態データが示す状態が、推奨状態データが示す許容範囲になるまで空間画像の態様の変更を継続してもよい。

　表示処理部１６４は、状態データ取得部１６３が取得した状態データを表示部１３に表示させた後に、推奨状態データが示す状態に状態データが示す状態が近づく可能性がある、一以上の更新空間画像候補を表示させてもよい。表示処理部１６４は、記憶部１５に記憶された空間画像の態様とユーザＵの状態との関係の傾向を示すデータを参照することにより更新空間画像候補を決定する。一例として、落ち着き度を高める必要がある場合、表示処理部１６４は、表示していた空間画像よりも明度が低い空間画像を更新空間画像候補に決定する。

　表示処理部１６４は、一以上の更新空間画像候補を表示させた後に、一以上の更新空間画像候補から一つの更新空間画像候補を選択する操作を操作受付部１６１が受け付けたことに応じて、選択された更新空間画像候補に対応する更新空間画像を表示させてもよい。表示処理部１６４がこのように動作することで、ユーザＵの状態が推奨状態になるとともに、ユーザＵが好む態様の空間画像を表示部１３に表示させることができる。

　表示処理部１６４は、ユーザＵのアバターの画像を、メタバースの画像である空間画像に重ねて表示させてもよい。表示処理部１６４は、例えばユーザＵにより選択された色の服装を装着したアバターの画像と、生体情報画像又は状態データとを、空間画像とともに表示させる。表示処理部１６４がユーザＵのアバターの画像と生体情報画像又は状態データとを表示させることで、自身が選択したアバターがメタバースに表示される場合にユーザＵの状態が適切な状態になるように、アバターの画像又はメタバースの画像を調整することが可能になる。

　データ送信部１６５は、生体情報画像に対応する生体情報画像データを情報処理装置２に送信する。データ送信部１６５は、例えば、表示部１３に表示されている画面から、図２の領域Ｒ２に表示されている生体情報画像データを切り出して、切り出した生体情報画像データを情報処理装置２に送信する。仮想空間画像データに比べて生体情報画像データのサイズは小さいので、データ送信部１６５がこのように動作することで、情報処理装置２に送信するデータ量を少なくすることができる。

　データ送信部１６５は、生体情報画像データと、当該生体情報画像データに対応する生体情報画像が表示された空間画像に対応する空間画像データとを情報処理装置２に送信してもよい。データ送信部１６５は、通常は生体情報画像データのみを情報処理装置２に送信し、情報処理装置２から空間画像データの要求を受けた場合に、生体情報画像データに対応する生体情報を測定器Ｍが取得した時点で表示部１３に表示されていた空間画像データを記憶部１５から読み出して、読み出した空間画像データを情報処理装置２に送信してもよい。

　また、データ送信部１６５は、アバターの画像が空間画像に重ねて表示されている場合に、アバターの画像を削除した状態の空間画像データを情報処理装置２に送信してもよい。データ送信部１６５が、アバターの画像が含まれていない空間画像データを情報処理装置２に送信することで、情報処理装置２が出力する空間画像データを見る設計者等が、アバター画像の影響を受けずに空間画像データを評価したり解析したりすることが可能になる。

［情報処理装置２の構成］
　図６は、情報処理装置２の構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３と、を有する。制御部２３は、データ取得部２３１と、状態特定部２３２と、出力部２３３と、データ要求部２３４と、を有する。

　通信部２１は、ネットワークＮを介して情報端末１及び出力端末３とデータを送受信するための通信インターフェースを有する。通信部２１は、受信したデータをデータ取得部２３１に入力する。また、通信部２１は、出力部２３３及びデータ要求部２３４から入力されたデータを送信する。

　記憶部２２は、ＲＯＭ、ＲＡＭ及びＳＳＤ等の記憶媒体を有する。記憶部２２は、制御部２３が実行するプログラムを記憶する。また、記憶部２２は、生体情報画像データに基づいてユーザＵの状態を特定するために用いるデータを記憶する。当該データは、例えば、生体情報画像データが示す生体情報の波形の特徴とユーザＵの状態とが関連付けられたデータである。当該データは、生体情報画像データが入力されるとユーザＵの状態を示すデータを出力する機械学習モデルであってもよい。

　また、記憶部２２は、ユーザＵを識別するためのユーザ識別情報に関連付けてユーザＵの属性を記憶してもよい。ユーザＵの属性は、例えば、年齢、性別、家族構成又は居住地域である。

　制御部２３は、ＣＰＵを有しており、記憶部２２に記憶されたプログラムを実行することにより、データ取得部２３１、状態特定部２３２、出力部２３３及びデータ要求部２３４として機能する。

　データ取得部２３１は、通信部２１を介して、情報端末１から生体情報画像データを取得する。データ取得部２３１は、例えば、ユーザＵのユーザ識別情報に関連付けて生体情報画像データを取得する。データ取得部２３１は、取得した生体情報画像データを状態特定部２３２及び出力部２３３に入力する。

　データ取得部２３１は、通信部２１を介して、情報端末１に表示された空間画像データを取得してもよい。データ取得部２３１は、生体情報画像データと空間画像データとを関連付けて取得してもよく、生体情報画像データを取得した後に、当該生体情報画像データに対応する生体情報が測定器Ｍにより取得された時点で情報端末１に表示された空間画像データを取得してもよい。

　状態特定部２３２は、生体情報画像データに基づいてユーザＵの状態を特定する。状態特定部２３２は、記憶部２２において、生体情報画像データが示す生体情報の波形の特徴に関連付けられた状態を、ユーザＵの状態として特定する。状態特定部２３２は、予め、多数の生体情報画像データとユーザＵの状態とのセットを教師データとして用いて学習した機械学習モデルに生体情報画像データを入力し、機械学習モデルから出力される状態を示すデータに基づいてユーザＵの状態を特定してもよい。状態特定部２３２は、特定したユーザの状態を出力部２３３に通知する。

　出力部２３３は、状態特定部２３２が特定したユーザＵの状態を示す状態データを出力する。出力部２３３は、例えば、通信部２１を介して、ユーザＵが使用する情報端末１に対してユーザＵの状態データを送信する。出力部２３３は、通信部２１を介して、出力端末３に対してユーザＵの状態データを送信してもよい。

　出力部２３３は、空間画像データに関連付けて、当該空間画像データが表示されていた時点で取得された生体情報に対応する生体情報画像データに基づいて特定されたユーザの状態を示す状態データを出力してもよい。すなわち、出力部２３３は、状態データと、当該状態データの特定に用いられた生体情報画像データに対応する生体情報が測定器Ｍにより取得された時点で情報端末１に表示されていた空間画像データとを関連付けて送信してもよい。出力部２３３が状態データと空間画像データとを関連付けて出力することで、これらのデータを確認する設計者等が、それぞれの空間においてユーザＵがどのような状態になるかを把握しやすくなる。

　ユーザＵの属性によって、空間を見たユーザＵの感じ方が異なるという場合がある。そこで、出力部２３３は、記憶部２２を参照することにより、データ取得部２３１が取得した生体情報画像データに関連付けられたユーザ識別情報に対応する属性を特定し、当該生体情報画像データに対応する生体情報が取得された時点で表示されていた空間画像に対応する空間画像データと、状態データと、特定した属性とを関連付けて出力してもよい。出力部２３３が、ユーザＵの属性に関連付けて、空間画像データと状態データとを出力することで、これらのデータを確認する設計者等が、ユーザＵの属性によって、それぞれの空間における感じ方がどのように異なるかを把握しやすくなる。

　ところで、設計者等には、ユーザＵが所定の状態になりやすい空間がどのような空間であるかを把握したいというニーズがある。そこで、出力部２３３は、状態データが示す状態の種別に関連付けて、それぞれの種別のユーザＵの状態に対応する一以上の生体情報画像データに関連付けて送信された一以上の空間画像データを出力してもよい。一例として、設計者等が、人がリラックスできる空間の例を把握するための操作を行った場合、出力部２３３は、状態特定部２３２がリラックスした状態に対応することを特定した生体情報画像データに関連付けられた一以上の空間画像データを選択し、リラックスしやすい空間として、選択した空間画像データを出力する。

　ユーザＵの個性によるばらつきを抑制するために、出力部２３３は、複数の情報端末１からデータ取得部２３１が取得した生体情報画像データを用いて状態特定部２３２が特定したさまざまなユーザＵの状態のうち、ユーザＵがリラックスした状態に対応することを特定した複数の生体情報画像データに関連付けられた複数の空間画像データを選択してもよい。設計者等は、このような複数の空間画像データを見ることで、多数のユーザＵがリラックスしやすい空間がどのような空間であるかを把握しやすくなる。

　ユーザＵの属性によって傾向が異なるという可能性があるので、出力部２３３は、ユーザＵの属性と状態の種別とに関連付けて複数の空間画像データを出力してもよい。この場合、出力部２３３は、設計者等が設定した状態に対応する複数の生体情報画像データを、生体情報画像データを送信した情報端末１のユーザＵの属性ごとに分類する。そして、出力部２３３は、分類した属性ごとに、複数の生体情報画像データに対応する複数の空間画像データを選択する。

　出力部２３３が、所定の状態に対応する空間画像データを出力する場合、データ取得部２３１が生体情報画像データとともに空間画像データを取得し続けると、ネットワークＮを流れるデータが多くなるとともに、データ取得部２３１の処理の負荷も増大してしまう。そこで、データ要求部２３４は、状態特定部２３２がユーザＵの状態が所定の状態になったことを特定した場合に、所定の状態が特定された生体情報画像データに対応する生体情報が取得された時点で表示されていた空間画像に対応する空間画像データを要求するための要求データを情報端末１に送信する。

　この所定の状態は、例えば、設計者等によって設定された状態、又はユーザＵの状態に変化が生じた後の状態である。要求データには、例えば、生体情報画像データを識別するための情報として、ＩＤ又はタイムスタンプが含まれている。

　情報端末１は、要求データを受信したことに応じて、要求データが示す生体情報画像データに対応する生体情報が取得された時刻に表示していた空間画像データを記憶部１５から読み出して、データ送信部１６５が、読み出した空間画像データを送信する。出力部２３３は、データ要求部２３４が要求データを情報端末１に送信したことに応じて情報端末１が送信した空間画像データを、所定の状態を示す状態データに関連付けて出力する。情報端末１及び情報処理装置２がこのように構成されていることで、情報端末１と情報処理装置２との間で送受信される空間画像データの量を少なくすることができ、ネットワークＮ、情報端末１及び情報処理装置２の負荷を軽減することができる。

［情報処理システムＳ１における処理の流れ］
　図７は、情報処理システムＳ１における処理の流れの一例を示すシーケンス図である。図７に示すシーケンス図においては、状態データが情報端末１に表示される場合を例示している。図７に示すシーケンス図は、ユーザＵが空間画像を見ている状態から開始している。

　情報端末１においては、表示処理部１６４が空間画像データに基づく空間画像を表示部１３に表示させている間に（Ｓ１１）、生体情報取得部１６２が測定器ＭからユーザＵの生体情報を取得する（Ｓ１２）。表示処理部１６４は、生体情報に基づく生体情報画像データを作成し、生体情報画像を表示部１３に表示させる（Ｓ１３）。また、データ送信部１６５は、生体情報画像データを情報処理装置２に送信する（Ｓ１４）。

　情報処理装置２においては、情報端末１から受信した生体情報画像データを状態特定部２３２が解析し（Ｓ２１）、ユーザＵの状態を特定する（Ｓ２２）。出力部２３３は、特定した状態データを出力する（Ｓ２３）。図７に示す例において、出力部２３３は状態データを情報端末１に送信しているが、出力部２３３は、状態データを出力端末３に送信してもよい。状態データ取得部１６３が状態データを取得すると、表示処理部１６４は状態データを表示部１３に表示させる（Ｓ１５）。

　Ｓ１１からＳ１５までの処理が行われている間、データ要求部２３４は、状態特定部２３２が特定した状態が所定の状態であるかどうかを監視する（Ｓ２４）。データ要求部２３４は、状態特定部２３２が特定した状態が所定の状態であると判定した場合（Ｓ２４においてＹＥＳ）、空間画像データを要求するための要求データを情報端末１に送信する（Ｓ２５）。

　データ送信部１６５は、記憶部１５に記憶された空間画像データを参照することにより、要求データに基づいて特定される時刻において表示部１３に表示されていた空間画像データを特定し（Ｓ１６）、特定した空間画像データを情報処理装置２に送信する（Ｓ１７）。出力部２３３は、空間画像データと状態データとを関連付けて出力する（Ｓ２６）。

　表示部１３に空間画像データが表示されている間、情報端末１においては、空間画像を変更するための操作が行われたことを操作受付部１６１が監視する（Ｓ１８）。空間画像の態様を変更するための操作が行われたことを操作受付部１６１が検出した場合（Ｓ１８においてＹＥＳ）、表示処理部１６４は、その時点で表示している空間画像データと、状態データが示している状態とに基づいて、ユーザＵの状態が改善するように空間画像データを更新する（Ｓ１９）。

［情報処理システムＳ１による効果］
　以上説明したように、情報端末１は、ユーザＵが空間画像を見ている間に取得された生体情報の波形を示す生体情報画像データを情報処理装置２に送信し、情報処理装置２は、生体情報画像データに基づいてユーザＵの状態を特定して状態データを作成する。情報端末１は、情報処理装置２から受信した状態データを空間画像とともに表示させることで、ユーザＵが、空間画像を見ている間の自分自身の状態を客観的に把握することが可能になる。その結果、ユーザＵが自身に適した空間画像に切り替えることが可能になる。このような情報処理システムＳ１は、自身のアバターをメタバースに表示させる用途に好適である。

　また、情報処理システムＳ１においては、情報処理装置２が、情報端末１に表示された生体情報画像データを解析することにより、ユーザＵの状態を特定する。したがって、情報処理装置２は、測定器Ｍから生体情報を直接取得することができない場合であっても、ユーザＵの状態を特定することができる。

　そして、情報処理装置２は、情報端末１から空間画像データを取得して、取得した空間画像データと状態データとを関連付けて出力する。情報処理装置２がこのようなデータを出力することで、設計者等が、どのような空間画像にすることが望ましいかを把握しやすくなる。また、情報処理装置２は、所定の状態を検出した場合に空間画像データを取得することで、空間画像データを常に情報端末１から情報処理装置２に送信する場合に比べて、データの受信量を少なくすることができ、情報処理装置２の処理の負荷を軽くすることもできる。

　本実施形態に係る技術は、現実の空間、仮想空間（メタバース空間を含む）を見るユーザが、空間のデザイナーに頼らずに自身が体験する空間に対して積極的に能動的に関心を持ち、ユーザ自身が空間を改良することに寄与できるようにする際に好適である。

［情報処理システムＳ２の概要］
　図８は、情報処理システムＳ２の概要を示す図である。情報処理システムＳ２は、情報処理システムＳ１における情報処理装置２に代えて情報処理装置４を有しており、情報処理装置４が、空間画像データを情報端末１に送信する。そして、ユーザＵが空間画像を見ている間に、測定器ＭがネットワークＮを介して情報処理装置４に生体情報を送信する。情報処理装置４は、受信した生体情報に基づいてユーザＵの状態を特定し、状態データを情報端末１に送信する。情報処理装置４は、生体情報画像データを情報端末１に送信してもよい。このような構成により、情報端末１は、図２に示したように空間画像を表示中にユーザＵの状態を表示することができる。

　図９は、情報処理装置４の構成を示す図である。情報処理装置４は、通信部４１と、記憶部４２と、制御部４３と、を有する。

　通信部４１は、図６に示した情報処理装置２における通信部２１に対応しており、記憶部４２は、情報処理装置２における記憶部２２に対応している。記憶部４２は、情報端末１に表示させる空間画像データを記憶している。記憶部４２は、後述する出力部４３３が空間画像データを送信した場合、空間画像データの送信先を示す情報（例えば情報端末１の識別情報又はユーザＵの識別情報）と、送信時刻とを空間画像データに関連付けて記憶する。

　記憶部４２は、情報処理システムＳ１における情報端末１の記憶部１５が記憶する推奨状態データ、及び空間画像の態様とユーザＵの状態との関係の傾向を示すデータを記憶してもよい。

　制御部４３は、情報処理装置２における制御部２３に対応するＣＰＵを有しており、記憶部４２に記憶されたプログラムを実行することにより、生体情報取得部４３１、状態特定部４３２及び出力部４３３として機能する。

　生体情報取得部４３１は、通信部４１を介して、測定器Ｍが送信した生体情報を取得する。すなわち、生体情報取得部４３１は、情報端末１に表示された空間画像データを見ているユーザＵの生体情報を取得する。生体情報取得部４３１は、取得した生体情報を状態特定部４３２に入力する。

　状態特定部４３２は、情報処理装置２における状態特定部２３２と同等の機能を有しており、生体情報取得部４３１から入力された生体情報に基づいて、ユーザＵの状態を特定する。状態特定部４３２は、特定した状態を示す状態データを出力部４３３に入力する。

　出力部４３３は、情報処理システムＳ１における表示処理部１６４が有していた機能と同等の機能を有する。具体的には、出力部４３３は、空間画像データを送信することにより、空間画像データを情報端末１に表示させる。また、出力部４３３は、状態特定部４３２が特定したユーザＵの状態を示す状態データと、当該状態データに対応する生体情報が取得された時点で情報端末１に表示されていた空間画像データとを関連付けて出力する。出力部４３３は、例えば、状態特定部４３２から入力された状態データを情報端末１に送信することで、ユーザＵが空間画像を見ている間に、ユーザＵの状態を情報端末１に表示させることができる。

　出力部４３３は、状態特定部４３２が特定したユーザＵの状態に基づいて、情報端末１に表示させる空間画像データを変更してもよい。具体的には、情報処理システムＳ１における表示処理部１６４と同様に、記憶部４２に記憶された推奨状態データ、及び空間画像の態様とユーザＵの状態との関係の傾向を示すデータを用いて、ユーザＵの状態を推奨状態に近づけるように空間画像データの態様を変更してもよい。

　出力部４３３は、空間画像データと状態データとを関連付けて出力端末３に出力してもよい。この場合、出力部４３３は、生体情報取得部４３１が生体情報を取得した時刻に関連付けて記憶部４２に記憶された空間画像データを特定し、特定した空間画像データと状態データとを関連付けて出力端末３に送信する。情報処理システムＳ１と同様に、出力部４３３は、ユーザＵの属性にさらに関連付けて、空間画像データと状態データとを出力してもよい。

　なお、情報処理装置４は、ネットワークＮを介することなく情報処理装置４に接続された情報端末１に、空間画像データと、生体情報画像データ又は状態データの少なくともいずれかと、を表示させてもよい。また、情報処理装置４が、ユーザＵが使用するコンピュータであり、情報処理装置４は、空間画像データと、生体情報画像データ又は状態データの少なくともいずれかと、をディスプレイに表示させてもよい。

　また、情報処理装置４は、複数のユーザＵが使用する情報端末１から、複数のユーザＵの生体情報を取得し、同じ空間画像を見ている複数のユーザＵの生体情報を示す複数の生体情報画像データを、同じ空間画像を見ている複数のユーザＵが使用している複数の情報端末１に送信してもよい。この場合、それぞれの情報端末１は、情報処理装置４から送信された複数のユーザＵに対応する複数の生体情報画像データを空間画像データに重ねて表示する。情報端末１がこのような画面を表示することで、ユーザＵは、自身の状態と他の人の状態とを比較することが可能になる。

　情報処理装置４は、複数のユーザＵに対応する複数の生体情報画像データを出力端末３に送信してもよい。この場合、出力端末３は、複数の生体情報画像データを空間画像データに重ねて表示する。出力端末３がこのような画面を表示することで、設計者等は、空間画像を見た複数のユーザＵがどのように状態になるかを把握することができるので、多くのユーザＵを考慮して空間画像を設計することが可能になる。

［情報処理システムＳ２による効果］
　情報処理システムＳ２においても、情報処理システムＳ１と同様に、ユーザＵが空間画像を見ている間のユーザＵの状態が情報端末１に表示されるので、ユーザＵが、空間画像を見ている間の自分自身の状態を客観的に把握することが可能になる。情報処理システムＳ２においては、情報処理装置４が、空間画像データを情報端末１に提供するとともに、取得した生体情報に基づいて特定した状態データを情報端末１に提供するので、情報端末１が生体情報を取得したり、空間画像データを予め記憶したりする機能を有していない汎用的なコンピュータであっても情報処理システムＳ１と同様の効果を得ることができる。

［変形例］
　以上の説明においては、生体情報画像データとして、心拍数又は脳波に基づくグラフの画像データを主に例示したが、生体情報画像データは、ユーザＵの視線の位置を示す画像データであってもよい。ユーザＵの視線の位置を示す画像データは、例えば、空間画像においてユーザＵが見ている時間が長い領域と、ユーザＵが見ている時間が短い領域とによって色又は模様が異なるヒートマップ画像のデータである。この場合、測定器Ｍは例えば眼鏡型又はゴーグル型の端末であり、当該端末が有するセンサーによりユーザＵの視線の方向を特定することにより、ユーザＵが見ている領域が特定される。ユーザＵは、ヒートマップ画像を見ることで、自身が空間画像のどの領域を見る傾向が強いかを把握することができる。

　情報処理装置２又は情報処理装置４は、ヒートマップ画像データを重ねた空間画像データを出力端末３に出力してもよい。これにより、設計者等は、ユーザＵが注目しやすい領域を考慮して空間画像を設計することが可能になる。また、情報処理装置２又は情報処理装置４は、ヒートマップ画像データを解析することにより、ユーザＵが見る傾向が強い領域を解析したり、ユーザＵの視線の動きの傾向によりユーザＵの感情を解析したりして、解析した結果を出力してもよい。これにより、設計者等は、感情を考慮して空間画像を設計しやすくなる。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１　情報端末
２　情報処理装置
３　出力端末
４　情報処理装置
１１　第１通信部
１２　第２通信部
１３　表示部
１４　操作部
１５　記憶部
１６　制御部
２１　通信部
２２　記憶部
２３　制御部
４１　通信部
４２　記憶部
４３　制御部
１６１　操作受付部
１６２　生体情報取得部
１６３　状態データ取得部
１６４　表示処理部
１６５　データ送信部
２３１　データ取得部
２３２　状態特定部
２３３　出力部
２３４　データ要求部
４３１　生体情報取得部
４３２　状態特定部
４３３　出力部

Claims (11)

1. 　情報端末と、前記情報端末と通信可能な情報処理装置と、を備え、
   　前記情報端末は、
   　　前記情報端末において空間画像を見ているユーザの生体情報を取得する生体情報取得部と、
   　　前記情報端末に、前記空間画像に重ねて前記生体情報に基づく生体情報画像を表示させる表示処理部と、
   　　前記生体情報画像に対応する生体情報画像データを前記情報処理装置に送信するデータ送信部と、
   　を有し、
   　前記情報処理装置は、
   　　前記情報端末から前記生体情報画像データを取得するデータ取得部と、
   　　前記生体情報画像データに基づいて、前記ユーザの状態を特定する状態特定部と、
   　　前記状態特定部が特定した前記ユーザの状態を示す状態データを出力する出力部と、
   　を有する、情報処理システム。
2. 　前記出力部は、前記状態データを前記情報端末に送信し、
   　前記情報端末は、前記出力部が出力した前記状態データを取得する状態データ取得部をさらに有し、
   　前記表示処理部は、前記空間画像に重ねて前記状態データを表示させる、
   　請求項1に記載の情報処理システム。
3. 　前記表示処理部は、前記状態データ取得部が取得した前記状態データが、前記空間画像を変更する場合に対応する所定の状態を示している場合に、表示中の前記空間画像と異なる更新空間画像を表示させる、
   　請求項２に記載の情報処理システム。
4. 　前記情報端末は、前記ユーザの操作を受け付ける操作受付部をさらに有し、
   　前記表示処理部は、前記状態データ取得部が取得した前記状態データを表示させた後に、一以上の更新空間画像候補を表示させ、前記一以上の更新空間画像候補から一つの更新空間画像候補を選択する操作を前記操作受付部が受け付けたことに応じて、選択された前記更新空間画像候補に対応する更新空間画像を表示させる、
   　請求項２に記載の情報処理システム。
5. 　前記情報処理装置は、前記ユーザを識別するためのユーザ識別情報に関連付けて前記ユーザの属性を記憶する記憶部をさらに有し、
   　前記データ取得部は、前記ユーザ識別情報に関連付けて前記生体情報画像データを取得し、
   　前記出力部は、前記記憶部を参照することにより、前記データ取得部が取得した前記生体情報画像データに関連付けられた前記ユーザ識別情報に対応する前記属性を特定し、前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データと、前記状態データと、特定した前記属性とを関連付けて出力する、
   　請求項２に記載の情報処理システム。
6. 　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、
   　前記出力部は、前記空間画像データに関連付けて、当該空間画像データが表示されていた時点で取得された生体情報に対応する前記生体情報画像データに基づいて特定された前記ユーザの状態を示す前記状態データを出力する、
   　請求項１から５のいずれか一項に記載の情報処理システム。
7. 　前記データ送信部は、前記生体情報画像データと、当該生体情報画像データに対応する前記生体情報画像が表示された前記空間画像に対応する空間画像データとを前記情報処理装置に送信し、
   　前記出力部は、前記状態データが示す状態の種別に関連付けて、それぞれの前記種別の前記ユーザの状態に対応する一以上の前記生体情報画像データに関連付けて送信された一以上の前記空間画像データを出力する、
   　請求項１から５のいずれか一項に記載の情報処理システム。
8. 　前記情報処理装置は、前記状態特定部が前記ユーザの状態が所定の状態になったことを特定した場合に、前記所定の状態が特定された前記生体情報画像データに対応する前記生体情報が取得された時点で表示されていた前記空間画像に対応する空間画像データを要求するための要求データを前記情報端末に送信するデータ要求部をさらに有し、
   　前記出力部は、前記データ要求部が前記要求データを前記情報端末に送信したことに応じて前記情報端末が送信した前記空間画像データを、前記所定の状態を示す前記状態データに関連付けて出力する、
   　請求項１から５のいずれか一項に記載の情報処理システム。
9. 　空間画像データを送信することにより、前記空間画像データを情報端末に表示させる出力部と、
   　前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得する生体情報取得部と、
   　前記生体情報に基づいて、前記ユーザの状態を特定する状態特定部と、
   　を有し、
   　前記出力部は、前記状態特定部が特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力する、
   　情報処理装置。
10. 　コンピュータが実行する、
    　空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、
    　前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、
    　前記生体情報に基づいて、前記ユーザの状態を特定するステップと、
    　特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、
    　を有する情報処理方法。
11. 　コンピュータに、
    　空間画像データを送信することにより、前記空間画像データを情報端末に表示させるステップと、
    　前記情報端末に表示された前記空間画像データを見ているユーザの生体情報を取得するステップと、
    　前記生体情報に基づいて、前記ユーザの状態を特定するステップと、
    　特定した前記ユーザの状態を示す状態データと、当該状態データに対応する前記生体情報が取得された時点で前記情報端末に表示されていた前記空間画像データとを関連付けて前記情報端末に出力するステップと、
    　を実行させるためのプログラム。

Images