AR(Augmented Reality)グラス等の眼鏡型デバイスは、今後普及が進み、他者と視界を共有するシーンが増加することが想定される。他者と視界を共有していることを忘れて、サービスのログインパスワードや、クレジットカード番号等の重要な物を見たとき、その情報が誤って相手の視界にも共有されてしまう。また、情報共有していることを忘れて眼鏡型デバイスを外した場合、意図しない映像や音声等を相手と共有してしまう可能性がある。本実施形態に係る眼鏡型デバイス100は、視界共有を安全に行うための仕組みを提供する。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、システム10の一例を概略的に示す。システム10は、複数の眼鏡型デバイス100及び管理サーバ300を備える。
眼鏡型デバイス100は、無線通信機能と、各種情報を表示部に表示する表示機能とを有している眼鏡型のデバイスであれば、どのようなものであってもよい。眼鏡型デバイス100は、例えば、ARグラスであってよい。
眼鏡型デバイス100が表示する情報の例として、時刻や日時等の情報、メールやSNS等の情報、アプリの情報、及びAR用のコンテンツ等が挙げられる。なお、これらに限らず、眼鏡型デバイス100は、任意の情報を表示可能であってよい。
眼鏡型デバイス100は、AR用のコンテンツを、管理サーバ300から受信して、表示してよい。管理サーバ300が管理するコンテンツは、任意のデータ形式であってよい。例えば、コンテンツは、3DのCG(Computer Graphics)データである。例えば、コンテンツは、静止画である。また、例えば、コンテンツは、動画である。例えば、コンテンツは、テキストである。コンテンツは、これらを複合的に含んでもよい。
眼鏡型デバイス100は、コンテンツを透明又は半透明のグラス上に表示することによって、実空間にコンテンツが配置されている感覚をユーザ102に与えることが可能なデバイスであってよい。すなわち、眼鏡型デバイス100は、いわゆる透過型(シースルー型)のデバイスであってよい。なお、眼鏡型デバイス100は、ビデオパススルー型のデバイスであってもよい。この場合、眼鏡型デバイス100は、ユーザ102の視界に対応する範囲を撮影している撮影画像を非透過型のディスプレイに表示し、コンテンツを重畳表示してよい。
管理サーバ300は、眼鏡型デバイス100に配信するコンテンツを管理してよい。管理サーバ300は、例えば、実世界の対象に対応付けてコンテンツを登録する。実世界の対象は、実世界の位置、エリア、及び物体等であってよい。コンテンツの登録は、管理サーバ300の管理者等によって許可された任意の者によって行われてよい。管理サーバ300は、スマートフォン、タブレット端末、PC(Personal Computer)、及びARグラス等によるコンテンツの登録を受け付けてよい。
管理サーバ300は、例えば、眼鏡型デバイス100から、眼鏡型デバイス100の撮像範囲を示す撮像範囲情報を受信して、撮像範囲に含まれる対象に対応するコンテンツを眼鏡型デバイス100に送信してよい。眼鏡型デバイス100の撮像範囲は、眼鏡型デバイス100のカメラの撮像範囲であってよい。眼鏡型デバイス100のカメラによる撮像範囲は、ユーザ102の視界に対応する範囲であってよい。眼鏡型デバイス100のカメラの撮像範囲は、ユーザ102の視界よりも広い範囲であってよく、ユーザ102の視界と実質的に同じ範囲であってもよい。
眼鏡型デバイス100と管理サーバ300は、ネットワーク20を介して通信してよい。ネットワーク20は、クラウドを含む。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、5G(5th Generation)通信方式、6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。ネットワーク20は、Wi-Fi(登録商標)通信方式に対応していてよい。ネットワーク20には、Wi-Fiアクセスポイントを介してアクセス可能であってよい。ネットワーク20には、その他無線通信全般を利用してアクセス可能であってよい。管理サーバ300は、ネットワーク20に有線接続されてよく、無線接続されてもよい。眼鏡型デバイス100は、移動体通信、Wi-Fi通信、その他無線通信全般によって、ネットワーク20に接続されてよい。
管理サーバ300は、眼鏡型デバイス100による撮像画像の他者への共有をサポートしてよい。例えば、管理サーバ300は、眼鏡型デバイス100による撮像画像の他の眼鏡型デバイス100への共有をサポートする。例えば、管理サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とのマッチングを行う。管理サーバ300は、共有先の眼鏡型デバイス100からの要求に応じて、共有元の眼鏡型デバイス100とのマッチングを行ってよい。また、管理サーバ300は、共有元の眼鏡型デバイス100からの要求に応じて、共有先の眼鏡型デバイス100とのマッチングを行ってよい。
マッチングの後、管理サーバ300は、共有元の眼鏡型デバイス100から、共有対象の撮像画像を受信して、共有先の眼鏡型デバイス100に送信してよい。また、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とが、Wi-Fi(登録商標)及びBluetooth(登録商標)等の近距離無線通信によって直接無線通信可能な状況においては、管理サーバ300は、共有元の眼鏡型デバイス100と、共有先の眼鏡型デバイス100とに無線通信接続を確立させて、共有対象の撮像画像を直接通信させてもよい。
眼鏡型デバイス100は、管理サーバ300を介さずに、他の眼鏡型デバイス100に対して撮像画像を共有してもよい。眼鏡型デバイス100は、例えば、他の眼鏡型デバイス100と直接無線通信可能な状況において、当該他の眼鏡型デバイス100に撮像画像の共有を提示する。当該他の眼鏡型デバイス100は、共有を受けるか否かを装着者であるユーザ102の指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と当該他の眼鏡型デバイス100とが共有関係を確立し、眼鏡型デバイス100が、撮像画像を当該他の眼鏡型デバイス100に送信する。
管理サーバ300は、眼鏡型デバイス100による撮像画像の、任意の通信端末400への共有をサポートしてもよい。通信端末400は、スマートフォン、タブレット端末、及びPC(Personal Computer)等であってよい。例えば、管理サーバ300は、眼鏡型デバイス100と、通信端末400とのマッチングを行う。管理サーバ300は、眼鏡型デバイス100からの要求に応じて、通信端末400とのマッチングを行ってよい。また、管理サーバ300は、通信端末400からの要求に応じて、眼鏡型デバイス100とのマッチングを行ってよい。マッチングの後、管理サーバ300は、眼鏡型デバイス100から、共有対象の撮像画像を受信して、通信端末400に送信してよい。また、眼鏡型デバイス100と、通信端末400とが、Wi-Fi及びBluetooth等の近距離無線通信によって直接無線通信可能な状況においては、管理サーバ300は、眼鏡型デバイス100と、通信端末400とに無線通信接続を確立させて、共有対象の撮像画像を直接通信させてもよい。
眼鏡型デバイス100は、管理サーバ300を介さずに、任意の通信端末400に対して撮像画像を共有してもよい。眼鏡型デバイス100は、例えば、通信端末400と直接無線通信可能な状況において、通信端末400に撮像画像の共有を提示する。通信端末400は、共有を受けるか否かをユーザの指示に従って応答する。共有を受けると応答した場合、眼鏡型デバイス100と通信端末400とが共有関係を確立し、眼鏡型デバイス100が、撮像画像を通信端末400に送信する。
図2は、眼鏡型デバイス100の構成の一例を概略的に示す。眼鏡型デバイス100は、リム112及びテンプル118を有するフレーム110を備える。眼鏡型デバイス100は、眼鏡型デバイス100における各種制御を実行する制御装置200を備える。
図2における制御装置200の配置は一例であり、制御装置200は、フレーム110の他の位置に配置されてもよい。例えば、制御装置200は、フレーム110の外部に配置されてもよい。また、例えば、制御装置200は、テンプル118内に配置されてもよい。具体例として、制御装置200は、テンプル118の先端部、すなわち、モダンに配置されてもよい。制御装置200は、バッテリを備えてよい。制御装置200とバッテリは、別体として、フレーム110の別の位置に配置されてもよい。
眼鏡型デバイス100は、カメラ120を備えてよい。カメラ120の撮像範囲は、眼鏡型デバイス100を装着しているユーザ102の視界に対応する範囲であってよい。図2におけるカメラ120の配置は一例であり、カメラ120は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ122を備えてよい。センサ122は、眼鏡型デバイス100の周囲の環境を特定するためのセンサであってよい。センサ122は、LiDAR(Light Detection and Ranging)を含んでよい。センサ122は、測距センサを含んでもよい。図2では、センサ122がブリッジ114に配置されている場合を例示しているが、図2におけるセンサ122の配置は一例であり、センサ122は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ124を備えてよい。センサ124は、例えば、眼鏡型デバイス100の装着者であるユーザ102の視線を検出する。センサ124は、例えば、ユーザ102の目を撮像して監視することによって、ユーザ102の視線を検出する。図2におけるセンサ124の配置は一例であり、センサ124は、他の位置に配置されてもよい。
眼鏡型デバイス100は、マイク126を備えてよい。マイク126は、眼鏡型デバイス100の装着者であるユーザ102の発話を取得可能な位置に配置される。図2におけるマイク126の配置は一例であり、マイク126は、他の位置に配置されてもよい。
眼鏡型デバイス100は、スピーカ128を備えてよい。スピーカ128は、眼鏡型デバイス100の外部に向けて音声を出力する。図2におけるスピーカ128の配置は一例であり、スピーカ128は、他の位置に配置されてもよい。
眼鏡型デバイス100は、発光部130を備えてよい。発光部130は、例えば、LED(Light Emitting Diode)であってよい。図2における発光部130の配置は一例であり、発光部130は、他の位置に配置されてもよい。
眼鏡型デバイス100は、センサ132を備えてよい。センサ132は、センサ132が設置された場所に対する接触を検知するセンサであってよい。センサ132の出力は、眼鏡型デバイス100がユーザ102に216は、されているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ134を備えてよい。センサ134は、センサ134が設置された場所に対する接触を検知するセンサであってよい。センサ134の出力は、眼鏡型デバイス100が、どこかに置かれているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ136を備えてよい。センサ136は、センサ136が設置された場所に対する接触を検知するセンサであってよい。センサ136の出力は、眼鏡型デバイス100が、上下逆向きにして置かれているか否かを判定するために用いられてよい。
眼鏡型デバイス100は、センサ138を備えてよい。センサ138は、センサ138が設置された場所に対する接触を検知するセンサであってよい。
眼鏡型デバイス100は、照射部140を備えてよい。照射部140は、映像を投影する。照射部140は、いわゆるプロジェクタであってよい。
制御装置200は、各種入力を受け付けてよい。制御装置200は、眼鏡型デバイス100の任意の位置に配置された操作部を介して、ユーザ102からの各種入力を受け付けてよい。制御装置200は、例えば、フレーム110の任意の位置に配置されたボタン等の入力部を介して、ユーザ102からの各種入力を受け付ける。制御装置200は、例えば、スマートフォン及びウェアラブル端末等の携帯端末、タブレット端末、及びPC等を介して、ユーザ102からの各種入力を受け付けてもよい。眼鏡型デバイス100は、例えば、Wi-Fi、Bluetooth(登録商標)及びZigbee(登録商標)等の短距離無線通信方式を用いて、これらと無線接続を確立してよい。
制御装置200は、ユーザ102による音声入力を受け付けてもよい。制御装置200は、マイク126が取得したユーザ102の発話を音声認識することによって、ユーザ102による音声入力を受け付けてよい。
制御装置200は、ユーザ102の手の動きによる入力を受け付けてよい。制御装置200は、カメラ120によって撮像されたユーザ102の手の動きを認識することによって、コンテンツの選択等の、ユーザ102による入力を受け付けてよい。制御装置200は、ユーザ102によるジェスチャ入力を受け付けてもよい。
制御装置200は、各種センサを備えてよい。制御装置200は、例えば、測位センサを備える。例えば、制御装置200は、GPS(Global Positioning System)センサ等のGNSS(Global Naviagtion Satellite System)センサを備える。制御装置200は、加速度センサを備えてよい。制御装置200は、ジャイロセンサを備えてよい。ジャイロセンサの出力は、眼鏡型デバイス100が、上下逆向きにして置かれているか否かを判定するために用いられてよい。制御装置200は、その他のセンサを備えてもよい。
制御装置200は、カメラ120の撮像範囲を示す撮像範囲情報を生成してよい。制御装置200は、眼鏡型デバイス100の位置、向き、及び姿勢に基づいて、撮像範囲情報を生成してよい。制御装置200は、各種センサの出力によって、眼鏡型デバイス100の位置、向き、及び姿勢を特定してよい。
制御装置200は、レンズ部116への表示機能を備えてよい。レンズ部116は、眼鏡型デバイス100の表示部の一例であってよい。レンズ部116は、透明又は半透明のディスプレイであってよく、制御装置200は、レンズ部116に各種表示を実行させてよい。すなわち、眼鏡型デバイス100は、透明又は半透明のディスプレイ型のデバイスであってよい。また、制御装置200が、レンズ部116に対して表示を投影する機能を有してもよい。すなわち、眼鏡型デバイス100は、投影型のデバイスであってよい。
制御装置200は、ネットワーク20を介した通信を実行する機能を有してよい。制御装置200は、移動体通信、Wi-Fi通信、及びその他の無線通信全般の少なくともいずれかによって、ネットワーク20にアクセスしてよい。制御装置200は、ネットワーク20を介して、管理サーバ300と通信してよい。
制御装置200は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定してよい。制御装置200は、例えば、センサ132が接触を検知しているときは、眼鏡型デバイス100が装着状態であると判定し、センサ132が接触を検知していないときは、眼鏡型デバイス100が装着状態でない(非装着状態である)と判定する。
制御装置200は、眼鏡型デバイス100が非装着状態である場合に、眼鏡型デバイス100がどこかに置かれているか否かを判定してもよい。制御装置200は、センサ134が接触を検知しているときは、眼鏡型デバイス100が置かれていると判定してよい。制御装置200は、センサ136が接触を検知しているときは、眼鏡型デバイス100が上下逆に置かれていると判定してよい。制御装置200は、ジャイロセンサの出力によって、眼鏡型デバイス100が上下正方向に置かれているか、上下逆方向に置かれているかを判定してもよい。
眼鏡型デバイス100は、カメラ120による撮像画像を他のデバイスと共有する共有モードに設定可能であってよい。眼鏡型デバイス100は、例えば、ユーザ102の操作によって、共有モードに設定されたり、共有モードが解除されたりする。眼鏡型デバイス100が共有モードに設定されている場合、制御装置200は、カメラ120によって撮像された撮像画像を、共有先のデバイスに送信する。眼鏡型デバイス100が共有モードに設定されている場合、制御装置200はさらに、マイク126によって取得した音声を共有先のデバイスに送信してもよい。
制御装置200は、例えば、共有先が他の眼鏡型デバイス100である場合、撮像画像を当該他の眼鏡型デバイス100に対して送信する。制御装置200は、管理サーバ300を介して、撮像画像を当該他の眼鏡型デバイス100に送信してよい。制御装置200は、当該他の眼鏡型デバイス100と直接無線通信接続を確立している場合、撮像画像を直接当該他の眼鏡型デバイス100に送信してもよい。
制御装置200は、例えば、共有先が通信端末400である場合、撮像画像を当該通信端末400に対して送信する。制御装置200は、管理サーバ300を介して、撮像画像を当該通信端末400に送信してよい。制御装置200は、当該通信端末400と直接無線通信接続を確立している場合、撮像画像を直接当該通信端末400に送信してもよい。
制御装置200は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行してよい。制御装置200は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行するようにしてもよい。例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、発光部130を発光させる。これにより、眼鏡型デバイス100が共有モードに設定されている場合に発光部130を発光させる場合と比較して、消費電力を低減しつつ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制するための通知を効果的に行うことができる。
また、例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、レンズ部116の外向きに表示させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
制御装置200は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御してもよい。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、レンズ部116の内向きに表示させる。これにより、撮像画像を他者と共有していることをユーザ102に意識させることができ、不用意に、当該他者に見せたくない場所に視線を向けたり、眼鏡型デバイス100を取り外して置いたままにしてしまったりする事態の発生を抑制することができる。
図3は、眼鏡型デバイス100による通知画面500の表示例を概略的に示す。制御装置200は、図3に例示するように、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させてもよい。例えば、制御装置200は、「視界共有中」というテキストを含む通知画面を、照射部140に投影させる。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外したユーザ102に、共有中であることに気づかせることができ、意図しない映像や音声等を相手と共有してしまう事態の発生を抑制することができる。
照射部140による投影方向は、変更可能であってよい。例えば、眼鏡型デバイス100は、眼鏡型デバイス100が上下正方向に配置されているときと、上下逆方向に配置されているときとで、通知画面500の投影方向を変更してよい。
図4は、眼鏡型デバイス100による通知画面500の表示例を概略的に示す。ここでは、図3と異なる点を主に説明する。
眼鏡型デバイス100は、眼鏡型デバイス100の装着方向に映像を投影する照射部142を備えてよく、制御装置200は、照射部142によって、眼鏡型デバイス100の装着方向に通知画面500を投影してもよい。
なお、眼鏡型デバイス100は、照射部140と照射部142の両方を備えてもよい。制御装置200は、通知画面500を、照射部140及び照射部142によって選択的に投影してもよい。
例えば、制御装置200は、各種センサの出力によって、眼鏡型デバイス100を外したユーザ102が、眼鏡型デバイス100の正面側に位置しているか、装着側に位置しているかを判定する。
そして、制御装置200は、ユーザ102が眼鏡型デバイス100の正面側に位置していると判定した場合、照射部140によって通知画面500を投影し、眼鏡型デバイス100の装着側に位置していると判定した場合、照射部142によって通知画面500を投影する。これによって、通知画面500をより見やすくユーザ102に対して提示することができる。
図5は、眼鏡型デバイス100が位置する空間510の一例を概略的に示す。空間510は、事前に眼鏡型デバイス100がLiDARを含んだセンサ122によって認識した3次元的な空間であってよい。制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の状況が変化したと判定したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行してもよい。制御装置200は、例えば、スピーカ128による音声出力によって、ユーザ102に対する警告を実行する。また、制御装置200は、例えば、レンズ部116による表示出力によって、ユーザ102に対する警告を実行する。
例えば、制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されていた時に位置していた空間510とは異なる空間520に移動したと判定したことに応じて、ユーザ102に対して警告を実行する。空間510及び空間520は、任意の単位であってよい。空間510及び空間520は、例えば、異なる部屋であってよい。制御装置200は、例えば、眼鏡型デバイス100が共有モードに設定されたまま、ユーザ102が別の部屋に移動した場合に、ユーザ102に対して警告を実行する。これにより、本来は、1つの部屋の中だけを共有しようと思っていたにも関わらず、意図せずに隣の部屋の中の状況を共有してしまう事態の発生を抑制することができる。
図6は、共有可能エリア530の一例を概略的に示す。制御装置200は、例えば、事前に、ユーザ102による、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリア530の設定を受け付けてよい。制御装置200は、例えば、地図データに対する、共有可能エリア530の設定を受け付ける。そして、制御装置200は、眼鏡型デバイス100が共有可能エリア530内に位置し、かつ、眼鏡型デバイス100が共有モードに設定されている場合に、撮像画像を他のデバイスと共有してよい。
制御装置200は、眼鏡型デバイス100が共有モードに設定されたまま共有可能エリア530から出たことに応じて、撮像画像の共有を強制的に停止してよい。これにより共有可能エリア530以外のエリアの映像等を、意図せずに他のデバイスと共有してしまうことを防止できる。
なお、制御装置200は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100がユーザ102によって装着されている装着状態から、非装着状態に変化したことに応じて、撮像画像の共有を強制的に停止してもよい。これにより、撮像画像を共有していることを忘れて眼鏡型デバイス100を外した場合に、意図しない映像や音声を相手と共有してしまうことを防止できる。
図7は、制御装置200の機能構成の一例を概略的に示す。制御装置200は、格納部202、情報取得部204、画像取得部206、モード管理部208、送信制御部210、共有通知部212、外部通知部214、装着状態判定部216、警告実行部218、及び停止制御部220を備える。なお、制御装置200がこれらの全てを備えることは必須とは限らない。
情報取得部204は、各種情報を取得する。情報取得部204は、各種センサによって出力された情報を取得してよい。情報取得部204は、例えば、測位センサによって出力された情報を取得する。情報取得部204は、例えば、ジャイロセンサによって出力された情報を取得する。情報取得部204は、例えば、加速度センサによって出力された情報を取得する。情報取得部204は、例えば、センサ122によって出力された情報を取得する。情報取得部204は、例えば、センサ124によって出力された情報を取得する。情報取得部204は、例えば、マイク126が取得した音声を取得する。情報取得部204は、例えば、センサ132によって出力された情報を取得する。情報取得部204は、例えば、センサ134によって出力された情報を取得する。情報取得部204は、例えば、センサ136によって出力された情報を取得する。情報取得部204は、例えば、センサ138によって出力された情報を取得する。情報取得部204は、取得した情報を格納部202に格納する。
画像取得部206は、カメラ120によって撮像された、眼鏡型デバイス100の撮像範囲の撮像画像をカメラ120から取得する。画像取得部206は、取得した撮像画像を格納部202に格納する。
モード管理部208は、眼鏡型デバイス100のモードを管理する。モード管理部208は、例えば、ユーザ102からの指示に従って、眼鏡型デバイス100を共有モードに設定する。また、モード管理部208は、例えば、ユーザ102からの指示に従って、眼鏡型デバイス100の共有モードを解除する。
送信制御部210は、眼鏡型デバイス100が共有モードに設定されている場合に、管理サーバ300によってマッチングされた共有相手の他のデバイスに対して、画像取得部206が取得する撮像画像を送信する。送信制御部210は、例えば、共有相手の他のデバイスとの接続を確立した上で、共有モードの設定状況に応じて、撮像画像の送信を制御する。送信制御部210は、眼鏡型デバイス100が共有モードに設定されていない間は、撮像画像を送信せず、眼鏡型デバイス100が共有モードに設定されている間は、撮像画像を送信する。
送信制御部210は、画像取得部206によって取得される撮像画像の全体を、共有相手の他のデバイスに送信してよい。送信制御部210は、画像取得部206によって取得される撮像画像のうち、ユーザ102によって指定された一部分を、共有相手の他のデバイスに送信してもよい。
共有通知部212は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有中であることを示すオブジェクトは、どのような形式であってもよい。例えば、共有中であることを示すオブジェクトは、「視界共有中」というテキストであってよい。
共有通知部212は、画像取得部206によって取得される撮像画像の全体を共有している場合、レンズ部116の表示範囲の全体を囲うような、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有通知部212は、例えば、当該オブジェクトをレンズ部116に表示させる。
共有通知部212は、眼鏡型デバイス100のユーザ102の指示に従って選択された撮像画像の一部を他のデバイスと共有している場合に、撮像画像のうち、他のデバイスと共有している一部を識別可能に表示するオブジェクトを、眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。例えば、共有通知部212は、画像取得部206によって取得される撮像画像の一部を共有している場合、レンズ部116の表示範囲のうち、共有している部分のみを囲うような、共有中であることを示すオブジェクトをレンズ部116に表示させてよい。
外部通知部214は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行する。外部通知部214は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。
装着状態判定部216は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定する。装着状態判定部216は、例えば、センサ132の出力によって、眼鏡型デバイス100が装着状態であるか、非装着状態であるかを判定してよい。
外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行するようにしてもよい。例えば、外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。
また、例えば、外部通知部214は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させる。外部通知部214は、通知情報を照射部142に投影させてもよい。外部通知部214は、通知情報を、照射部140及び照射部142に選択的に投影させてもよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100の状況が変化したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行する。警告実行部218は、例えば、警告情報をレンズ部116に表示させる。また、警告実行部218は、例えば、警告音をスピーカ128に音声出力させる。
警告実行部218は、例えば、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、センサ132による出力によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してよい。警告実行部218は、眼鏡型デバイス100の位置情報の変化によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してもよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、ユーザ102に対して警告を実行してもよい。すなわち、警告実行部218は、共有モードが設定されたときの位置から、予め定められた距離以上離された場合に、ユーザ102に対して警告を実行してよい。警告実行部218は、警告を実行した後に、共有継続可否をユーザ102に問い合わせる表示を行ってもよい。制御装置200は、ユーザ102が共有継続可を選択した場合、そのままの状態で共有を継続してよく、ユーザ102が共有継続否を選択した場合、共有を停止してよい。
警告実行部218は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、例えば、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから180度以上変化したことに応じて、ユーザ102に対して警告を実行する。警告実行部218は、警告を実行した後に、共有継続可否をユーザ102に問い合わせる表示を行ってもよい。制御装置200は、ユーザ102が共有継続可を選択した場合、そのままの状態で共有を継続してよく、ユーザ102が共有継続否を選択した場合、共有を停止してよい。
これらにより、ユーザ102が撮像画像を共有してもよいと判断した状況から、眼鏡型デバイス100の状況が変化したことに応じて、ユーザ102に対して警告を実行することができる。また、警告後にユーザ102への問い合わせを行うことによって、共有継続可とユーザ102が判断した場合には共有を継続でき、共有継続否とユーザ102が判断した場合には、即座に共有を停止することができる。
停止制御部220は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100がユーザ102に装着されている装着状態から、非装着状態に変化したことに応じて、送信制御部210による、撮像画像の、共有相手の他のデバイスへの送信を停止させる。
情報取得部204は、ユーザ102からの指示に従って、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリアを設定してもよい。情報取得部204は、設定した共有可能エリアの情報を格納部202に格納してよい。送信制御部210は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が、共有可能エリア内に位置する場合に、撮像画像を、共有相手の他のデバイスに送信するようにしてもよい。停止制御部220は、眼鏡型デバイス100が共有モードに設定されたまま、眼鏡型デバイス100が共有可能エリアから出たことに応じて、送信制御部210による撮像画像の他のデバイスへの送信を停止させてよい。
図1から図6を用いて説明した実施形態では、制御装置200が、眼鏡型デバイス100が共有モードである場合に各種通知を行ったり、条件に応じて共有を停止したりする処理を実行する場合を例に挙げて説明したが、これに限らず、管理サーバ300が主体となって実行されてもよい。管理サーバ300は、制御装置の一例であってよい。
図8は、管理サーバ300の機能構成の一例を概略的に示す。管理サーバ300は、格納部302、情報取得部304、画像取得部306、モード管理部308、送信制御部310、共有通知部312、外部通知部314、装着状態判定部316、警告実行部318、及び停止制御部320を備える。なお、管理サーバ300がこれらの全てを備えることは必須とは限らない。ここでは、各構成による処理内容について、図7に示す制御装置200と異なる点を主に説明する。
情報取得部304は、眼鏡型デバイス100の各種センサの出力を取得する。情報取得部304は、眼鏡型デバイス100から、各種センサの出力を受信してよい。情報取得部304は、取得した情報を格納部302に格納する。
画像取得部306は、眼鏡型デバイス100のカメラ120によって撮像された、眼鏡型デバイス100の撮像範囲の撮像画像を取得する。画像取得部306は、眼鏡型デバイス100から、撮像画像を受信してよい。画像取得部306は、取得した撮像画像を格納部302に格納する。
モード管理部308は、眼鏡型デバイス100のモードを管理する。モード管理部308は、眼鏡型デバイス100から、眼鏡型デバイス100が共有モードであるか否かを示す情報を受信することによって、眼鏡型デバイス100のモードを管理してよい。
送信制御部310は、眼鏡型デバイス100と、共有相手とのマッチングを行ってよい。送信制御部310は、眼鏡型デバイス100が共有モードに設定されている場合に、画像取得部306が眼鏡型デバイス100から取得する撮像画像を、共有相手のデバイスに送信してよい。
送信制御部310は、画像取得部306によって取得される撮像画像の全体を、共有相手の他のデバイスに送信してよい。送信制御部310は、画像取得部306によって取得される撮像画像のうち、ユーザ102によって指定された一部分を、共有相手の他のデバイスに送信してもよい。
共有通知部312は、眼鏡型デバイス100が共有モードに設定されている場合に、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。共有通知部212は、画像取得部206によって取得される撮像画像の全体を共有している場合、レンズ部116の表示範囲の全体を囲うような、共有中であることを示すオブジェクトを眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。
共有通知部312は、眼鏡型デバイス100のユーザ102の指示に従って選択された撮像画像の一部を他のデバイスと共有している場合に、撮像画像のうち、他のデバイスと共有している一部を識別可能に表示するオブジェクトを、眼鏡型デバイス100のユーザ102に向けて表示するよう制御する。例えば、共有通知部312は、画像取得部306によって取得される撮像画像の一部を共有している場合、レンズ部116の表示範囲のうち、共有している部分のみを囲うような、共有中であることを示すオブジェクトをレンズ部116に表示させてよい。
外部通知部314は、眼鏡型デバイス100が共有モードに設定されている場合に、外部への通知処理を実行する。外部通知部314は、例えば、眼鏡型デバイス100が共有モードに設定されている場合に、発光部130を発光させる。
装着状態判定部316は、眼鏡型デバイス100がユーザ102によって装着されている装着状態であるか否かを判定する。装着状態判定部316は、例えば、センサ132の出力によって、眼鏡型デバイス100が装着状態であるか、非装着状態であるかを判定してよい。
外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、外部への通知処理を実行させるようにしてもよい。例えば、外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、レンズ部116の外向きに通知情報を表示させる。
また、例えば、外部通知部314は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が装着状態でない場合に、照射部140に、通知情報を投影させる。外部通知部314は、通知情報を照射部142に投影させてもよい。外部通知部314は、通知情報を、照射部140及び照射部142に選択的に投影させてもよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100の状況が変化したことに応じて、眼鏡型デバイス100のユーザ102に対して警告を実行する。警告実行部318は、例えば、警告情報をレンズ部116に表示させる。また、警告実行部318は、例えば、警告音をスピーカ128に音声出力させる。
警告実行部318は、例えば、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したと判定したことに応じて、ユーザ102に対して警告を実行させる。警告実行部318は、センサ132による出力によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してよい。警告実行部318は、眼鏡型デバイス100の位置情報の変化によって、眼鏡型デバイス100が、共有モードが設定されたときに位置していた空間とは異なる空間に移動したことを検知してもよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100が、共有モードが設定されたときの位置を基準とする予め定められた範囲から出たと判定したことに応じて、ユーザ102に対して警告を実行させてもよい。すなわち、警告実行部318は、共有モードが設定されたときの位置から、予め定められた距離以上話された場合に、ユーザ102に対して警告を実行してよい。
警告実行部318は、眼鏡型デバイス100が共有モードに設定されている間に、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから予め定められた閾値以上変化したことに応じて、ユーザ102に対して警告を実行させる。警告実行部318は、例えば、眼鏡型デバイス100の向きが、共有モードが設定されたときの向きから180度以上変化したことに応じて、ユーザ102に対して警告を実行させる。
停止制御部320は、眼鏡型デバイス100が共有モードに設定されている場合に、眼鏡型デバイス100がユーザ102に装着されている装着状態から、非装着状態に変化したことに応じて、送信制御部310による、撮像画像の、共有相手の他のデバイスへの送信を停止させる。
情報取得部304は、ユーザ102からの指示に従って、撮像画像を他のデバイスと共有することが可能な実世界の共有可能エリアを設定してもよい。情報取得部304は、設定した共有可能エリアの情報を格納部302に格納してよい。送信制御部310は、眼鏡型デバイス100が共有モードに設定されており、かつ、眼鏡型デバイス100が、共有可能エリア内に位置する場合に、撮像画像を、共有相手の他のデバイスに送信するようにしてもよい。停止制御部320は、眼鏡型デバイス100が共有モードに設定されたまま、眼鏡型デバイス100が共有可能エリアから出たことに応じて、送信制御部310による撮像画像の他のデバイスへの送信を停止させてよい。
図9は、制御装置200又は管理サーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボード又はタッチパネルのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、ICカードのようなコンピュータ可読記憶媒体によって提供されてよい。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。