JP7011447B2

JP7011447B2 - 情報処理装置及びプログラム

Info

Publication number: JP7011447B2
Application number: JP2017209451A
Authority: JP
Inventors: 邦臣石田; 美由紀木村; 直之中尾
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2022-01-26
Anticipated expiration: 2037-10-30
Also published as: JP2019082825A

Description

本発明は、現実世界に画像を重畳表示させるための技術に関する。

いわゆるＡＲ（拡張現実）は、現実空間に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。例えば特許文献１には、ユーザ同士の相性スコアを算出し、その相性スコアをＡＲの技術を用いて相手のユーザが居る位置に表示することが開示されている。

特開２０１２－２２１３３０号公報

ユーザに関する情報をＡＲの技術によって現実世界に重畳表示する場合を想定すると、ユーザに関する情報には様々なものがあるため、どの情報を表示すべきかが課題となる。そこで、本発明は、撮像されたユーザに関する情報群のうち適切な情報を現実世界に重畳して表示することを目的とする。

上記課題を解決するため、本発明は、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記抽出部は、前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出することを特徴とする情報処理装置を提供する。

また、本発明は、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記抽出部は、前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出することを特徴とする情報処理装置を提供する。

また、本発明は、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させることを特徴とする情報処理装置を提供する。

また、本発明は、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させることを特徴とする情報処理装置を提供する。

また、本発明は、コンピュータを、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記抽出部は、前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出するプログラムを提供する。

また、本発明は、コンピュータを、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記抽出部は、前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出するプログラムを提供する。

また、本発明は、コンピュータを、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させるプログラムを提供する。

また、本発明は、コンピュータを、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させるプログラムを提供する。

本発明によれば、撮像されたユーザに関する情報群のうち適切な情報を現実世界に重畳して表示することが可能となる。

本発明の一実施形態に係る情報処理システムの構成を例示する図である。撮像表示装置のハードウェア構成の一例を示すブロック図である。情報処理装置のハードウェア構成の一例を示すブロック図である。情報処理装置に記憶されているデータベースの一例を示す図である。情報処理システムの機能構成の一例を示すブロック図である。情報処理システムの動作の一例を示すシーケンスチャートである。

［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、いわゆるＡＲ（拡張現実）を実現するための処理を行う情報処理装置１０と、画像の撮像及び表示を行う複数の撮像表示装置２０－１，２０－２（以下、これらを撮像表示装置２０と総称する）と、情報処理装置１０及び撮像表示装置２０を通信可能に接続するネットワーク９０とを備えている。ネットワーク９０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、図１には、情報処理装置１０を１つ例示し、撮像表示装置２０を２つ例示しているが、これらの装置の数はこの例示に限定されず、例えば撮像表示装置２０は３つ以上であってもよい。

ＡＲは、現実空間に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置２０を制御する。具体的には、情報処理装置１０は、例えば第２のユーザが使用する撮像表示装置２０－２が、撮像表示装置２０－１を使用する第１のユーザを撮像した場合、撮像された第１のユーザに関する情報群のうち表示条件に応じた情報を抽出し、抽出した情報を、撮像表示装置２０－２において、現実空間内の第１のユーザに対応する位置に重畳表示させる。このとき表示対象となる情報群は、撮像された第１のユーザの属性や行動内容、或いは第１のユーザによるＳＮＳ（Social Networking Service）への投稿などである。

撮像表示装置２０－１，２０－２は同じ構成であるから、以下では、撮像表示装置２０の構成として説明する。図２は、撮像表示装置２０のハードウェア構成を例示する図である。撮像表示装置２０は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。ＡＲを実現する装置においては、現実空間の撮像画像を表示する表示面においてＡＲオブジェクトと呼ばれる付加的な画像をその撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にＡＲオブジェクトを表示するタイプとがある。本実施形態に係る撮像表示装置２０はいずれもタイプであってもよく、ＡＲオブジェクトを現実空間に重畳表示させる装置として機能する。

撮像表示装置２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、撮像部２０６、表示部２０７及び操作部２０８を有する。

ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＯＭ２０２は、例えば撮像表示装置２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、撮像表示装置２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより撮像表示装置２０はコンピュータ装置として機能し、後述する図５に示される機能が実現される。通信ＩＦ２０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信ＩＦ２０５は、例えばＬＴＥ（Long Term Evolution）又はＷｉ－Ｆｉ（登録商標）等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部２０６はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部２０７は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部２０８は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をＣＰＵ２０１に供給する。なお、撮像表示装置２０は、図２に例示した構成以外に、例えばＧＰＳ（Global Positioning System）ユニットや音声入出力部などの他の構成を含んでいてもよい。

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤなどの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図５に示される機能が実現される。通信ＩＦ１０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。情報処理装置１０は、図３に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。

補助記憶装置１０４は、図４に例示するようなデータベース（以下、データベースをＤＢと省略する）を記憶している。このＤＢは、ＡＲオブジェクトとして現実世界に重畳表示される情報と、その情報を表示するときに満たされるべき表示条件とを含む。より具体的には、このＤＢにおいては、ユーザ（前述した第１のユーザ及び第２のユーザを含む）を識別するためのユーザＩＤと、そのユーザに関する情報（ＡＲオブジェクト）と、その情報を表示するときに満たされるべき表示条件とが対応付けられている。なお、表示条件が「－」という表記になっている場合には、その表示条件が無いということを意味している。

図４の例では、例えばユーザＩＤ「Ｕ０１」のユーザの趣味には、趣味１：クライミングと趣味２：歌舞伎鑑賞とがある。このユーザを、撮像された第１のユーザとした場合、趣味１：クライミングという情報を表示する表示条件は、その趣味１であるクライミングと、その情報を参照するユーザ（第２のユーザ）の趣味とが類似していることである。つまり、クライミングに類似する趣味（例えば登山やボルダリング等）を持つ第２のユーザが、ユーザＩＤ「Ｕ０１」の第１のユーザを撮像したときに、第２のユーザの撮像表示装置２０において、その第１のユーザ近傍の位置に趣味がクライミングであることが重畳表示されることになる。同様に、ユーザＩＤ「Ｕ０１」のユーザ（第１のユーザ）の趣味２：歌舞伎鑑賞についての表示条件は、撮像場所が歌舞伎演舞場の３００ｍ以内であるから、歌舞伎演舞場の３００ｍ以内の場所で第２のユーザが第１のユーザを撮像したときに、第１のユーザの趣味が歌舞伎鑑賞であることが第２のユーザの撮像表示装置２０において第１のユーザ近傍の位置に重畳表示されることになる。

また、第１のユーザがＳＮＳに投稿した最新の内容についての表示条件は、第１のユーザと第２のユーザとが同じＳＮＳにおいて所定の関係（例えば相互に“友達の友達”という関係であること）になっていることである。よって、このような関係にある場合に第２のユーザが第１のユーザを撮像したときに、第１のユーザによるＳＮＳへの最新の投稿内容が、第２のユーザの撮像表示装置２０において第１のユーザ近傍の位置に重畳表示されることになる。

表示条件には、撮像場所に関する条件と、撮像時期に関する条件と、第２のユーザに関する条件とがあり、これらのうち少なくともいずれか１つがＡＲオブジェクトとしての１つの情報に対応する表示条件として決められている。この表示条件の内容については、例えば第１のユーザが事前に申告することによってその内容が指定され、図４に例示したようなＤＢに登録される。

図５は、情報処理システム１の機能構成の一例を示すブロック図である。図５に示すように、撮像表示装置２０においては、画像を撮像する撮像部２１と、情報処理装置１０による制御の下で画像データに応じた画像を表示する表示部２２という機能が実現される。

情報処理装置１０においては、第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部１１と、撮像画像に含まれる第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部１２と、抽出部１２によって抽出された情報を、第１のユーザを含む現実空間に所定期間にわたって重畳表示させる表示制御部１３という機能が実現される。抽出部１２は、前述したデータベースを記憶する記憶部１２１を含む。上記の表示条件とは、撮像が行われた場所に関する条件、撮像が行われた時期に関する条件、又は、表示制御部１３により重畳表示される情報を参照する第２のユーザに関する条件を含む。

撮像表示装置２０において、撮像部２１はハードウェアとしての撮像部２０６及び通信ＩＦ２０５によって実現され、表示部２２はハードウェアとしての表示部２０７によって実現される。情報処理装置１０において、取得部１１はハードウェアとしての通信ＩＦ１０５によって実現され、抽出部１２はハードウェアとしてのＣＰＵ１０１及び補助記憶装置１０４によって実現され、表示制御部１３はハードウェアとしてのＣＰＵ１０１及び通信ＩＦ１０５によって実現される。

［動作］
図６を参照して、情報処理システム１の動作例について説明する。第２のユーザは、撮像表示装置２０－２を操作して、自身の周囲の撮像を開始する（ステップＳ１１）。このとき、撮像表示装置２０－２によって、撮像表示装置２０－１を使用する第１のユーザが撮像されたとする。撮像表示装置２０－２の撮像部２１は、撮像した画像を示す撮像画像データと、第２のユーザのユーザＩＤとを情報処理装置１０に送信する（ステップＳ１２）。

情報処理装置１０の取得部１１は、上記の撮像画像データ及びユーザＩＤを取得する。抽出部１２は、撮像画像データについて画像認識を行って、撮像画像に含まれる第１のユーザを特定する（ステップＳ１３）。ユーザの特定に関しては、例えば撮像された第１のユーザの顔認識を行ってそのユーザを特定する方法であってもよいし、第１のユーザが使用している撮像表示装置２０－１に付されている２次元コード等を復号してそのユーザを特定する方法であってもよい。前者の場合には、上述したＤＢに各ユーザの顔の特徴データが予め登録されており、抽出部１２は、撮像画像に含まれる顔画像とＤＢ内の特徴データとを照合して第１のユーザを特定する。また、後者の場合には、上述したＤＢに、各撮像表示装置２０に付されたユーザＩＤが予め登録されており、抽出部１２は、撮像画像に含まれる２次元コードを復号したユーザＩＤとＤＢ内のユーザＩＤとを照合して第１のユーザを特定する。

次に、情報処理装置１０の抽出部１２は、表示条件の充足状態を判断して、充足された表示条件に応じた情報を抽出する（ステップＳ１４）。図４の例で説明すると、第１のユーザのユーザＩＤが「Ｕ０１」である場合、その第１のユーザの趣味はクライミングであり、表示条件はその趣味であるクライミングと、その情報を参照するユーザ（第２のユーザ）の趣味とが類似していることであるから、抽出部１２は、ＤＢにおいて第２のユーザの趣味を検索し、その趣味がクライミングに類似しているか否かを判断する。

情報処理装置１０の表示制御部１３は、抽出した情報を用いて、撮像表示装置２０－２において現実空間に重畳表示させるＡＲオブジェクトを生成する（ステップＳ１５）。上記の例の場合、表示制御部１３は、ＤＢから「趣味１：クライミング」という情報を読み出し、この情報に応じた画像（例えばクライミングを意味するアイコン画像やクライミングというメッセージ）を生成したりするなどの加工を行うことで、ＡＲオブジェクトを生成する。ここで生成されるＡＲオブジェクトと、ステップＳ１４にて抽出された情報とは、実質的には同じ意味を持つものである。

そして、表示制御部１３は、生成したＡＲオブジェクトを、その表示位置（例えば撮像表示装置２０－２の表示領域において第１のユーザに重なる位置）を指定して撮像表示装置２０－２に送信する（ステップＳ１６）。これにより、撮像表示装置２０－２において、抽出部１２によって抽出された情報を、第１のユーザを含む現実空間に重畳表示させる表示制御がなされることになる。

撮像表示装置２０－２の表示部２２は、情報処理装置１０の表示制御部１３による制御に従い、ＡＲオブジェクトを指定された現実空間内の第１のユーザの位置に重畳して表示する（ステップＳ１７）。これにより、例えばユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間内の第１のユーザの位置に重なる表示面上の位置にＡＲオブジェクトが表示される。ユーザはこのＡＲオブジェクトを見て、第１のユーザに関する情報を知ることができる。このようにして、撮像されたユーザに関する情報群のうち適切な情報が現実世界に重畳して表示される。情報処理装置１０の表示制御部１３は、ＡＲオブジェクトを所定期間にわたって重畳表示させ、ステップＳ１６の時点からその所定期間が経過すると撮像表示装置２０－２に指示してＡＲオブジェクトの表示を停止させる（ステップＳ１８）。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
表示制御部１３は、抽出部１２によって抽出された情報を、第１のユーザを含む現実空間に重畳表示させるが、このときの表示期間を次のようにしてもよい。例えば第２のユーザによって情報（ＡＲオブジェクト）が閲覧されると、その情報を消去してもよい。つまり、表示制御部１３は、重畳表示した情報が第２のユーザによって参照された後は、当該情報の重畳表示を行わない。具体的には、撮像表示装置２０－２は、第２のユーザの視線を追尾する構成を備えており、その視線により情報が閲覧されたと判断されると、情報処理装置１０にその旨を通知する。この通知に応じて、情報処理装置１０の表示制御部１３は、撮像表示装置２０－２に指示してＡＲオブジェクトの表示を停止させる。

また、表示期間は情報の種類に応じた期間であってもよい。つまり、表示制御部１３は、抽出部１２によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる。例えば、図４に例示した情報群のうち、趣味については１分間表示し、最新のＳＮＳの投稿については３０秒表示するといった具合である。また、第１のユーザと第２のユーザの趣味が類似する場合にその趣味を表示する場合、表示制御部１３は、両者の趣味の類似度が高いほど表示期間を長くしてもよい。

また、表示期間が表示条件に応じた期間であってもよい。つまり、表示制御部１３は、抽出部１２によって抽出された情報を、表示条件に応じた期間にわたって重畳表示させる。例えば、図４に例示した情報群のうち、撮像場所に関する条件を満たすことで表示する情報はＡという表示期間にわたって表示し、撮像時期に関する条件を満たすことで表示する情報はＢという表示期間にわたって表示し、第２のユーザに関する条件を満たすことで表示する情報はＣという表示期間にわたって表示するといった具合である。

［変形例２］
ＡＲオブジェクトとして表示される情報は、図４の例示に限定されず、第１のユーザに関する情報であれば、どのようなものであってもよい。
また、表示条件は、図４の例示に限定されず、第１のユーザを撮像する撮像時又は第２のユーザに対して表示される表示時に満たされるべき条件であれば、どのようなものであってもよい。

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、情報処理装置１０の機能の少なくとも一部が撮像表示装置２０に実装されてもよい。情報処理装置１０の機能の全部が撮像表示装置２０に実装された場合、撮像表示装置２０が本発明に係る情報処理装置として機能する。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、その所定の情報の通知を行わない）ことによって行われてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、情報処理システム１において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、撮像表示装置２０又は情報処理装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…情報処理システム、１０…情報処理装置、１１…取得部、１２…抽出部、１２１…記憶部、１３…表示制御部、２０…撮像表示装置、２１…撮像部、２２…表示部、９０…ネットワーク、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…撮像部、２０７…表示部、２０８…操作部。

Claims

第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記抽出部は、
前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出する
ことを特徴とする情報処理装置。
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記抽出部は、
前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出する
ことを特徴とする情報処理装置。
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる
ことを特徴とする情報処理装置。
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させる
ことを特徴とする情報処理装置。
コンピュータを、
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、
前記抽出部は、
前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出する
プログラム。
コンピュータを、
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、
前記抽出部は、
前記第１のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第１のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出する
プログラム。
コンピュータを、
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる
プログラム。
コンピュータを、
第１のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第１のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第１のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第１のユーザと前記表示制御部により重畳表示される前記情報を参照する第２のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させる
プログラム。