JP2022014758A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】オブジェクトの過去の状況を現在の状況と同時にユーザに知らせることを目的とする。
【解決手段】プロセッサは、現在の状況を表す第１画像に、過去の状況におけるオブジェクトに関する第２画像を重ねてディスプレイに表示させる。
【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、拡張現実技術を用いて複数の情報を重畳して表示し、経路を案内するナビゲーションシステムが記載されている。

特許文献２には、再生映像を表示すると共に、車両の走行履歴から求められる表示ＡＲデータが表す座標が写り込む位置に、ＡＲデータが表すＡＲタグを表示する装置が記載されている。

特開２０１３－２２８３１１号公報 特開２０１３－１８３３３３号公報

ところで、過去の時点で空間内に設置されていた物体やディスプレイに表示されていた画像等のオブジェクトの状況が変わる場合がある。

本発明の目的は、オブジェクトの過去の状況を現在の状況と同時にユーザに知らせることにある。

請求項１に係る発明は、プロセッサを有し、前記プロセッサは、現在の状況を表す第１画像に、過去の状況におけるオブジェクトに関する第２画像を重ねてディスプレイに表示させる、情報処理装置である。

請求項２に係る発明は、前記プロセッサは、現在の前記オブジェクトの状況が過去の前記オブジェクトの状況から変わった場合、前記第１画像に前記第２画像を重ねて表示する、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記第１画像は、空間内の現在の状況を表す画像であり、前記オブジェクトは物体であり、前記第２画像は、前記空間内に過去の時点で配置されていた物体に関する画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。

請求項４に係る発明は、前記プロセッサは、前記第１画像上にて、前記空間内にて前記物体が配置されていた位置に対応する位置に前記第２画像を表示する、ことを特徴とする請求項３に記載の情報処理装置である。

請求項５に係る発明は、前記第２画像は、前記物体を表す画像である、ことを特徴とする請求項３又は請求項４に記載の情報処理装置である。

請求項６に係る発明は、前記第２画像は、前記物体を案内する画像である、ことを特徴とする請求項３又は請求項４に記載の情報処理装置である。

請求項７に係る発明は、前記第１画像は、前記空間内を撮影することで生成された画像である、ことを特徴とする請求項３から請求項６のいずれか一項に記載の情報処理装置である。

請求項８に係る発明は、前記プロセッサは、前記空間内において、過去の時点から変化していない基準物が撮影された場合、前記第１画像に前記第２画像を重ねて表示する、ことを特徴とする請求項７に記載の情報処理装置である。

請求項９に係る発明は、前記第２画像は、前記空間内を過去の時点で撮影することで生成された画像から得られる画像である、ことを特徴とする請求項３から請求項８のいずれか一項に記載の情報処理装置である。

請求項１０に係る発明は、前記プロセッサは、前記物体に関する画像の表示の要求をユーザから受け付けた場合、前記第２画像を表示する、ことを特徴とする請求項３から請求項９のいずれか一項に記載の情報処理装置である。

請求項１１に係る発明は、前記プロセッサは、過去の第１時点における前記物体に関する前記第２画像と、過去の第２時点における前記物体に関する前記第２画像とを、前記第１画像に重ねて表示する、ことを特徴とする請求項３から請求項１０のいずれか一項に記載の情報処理装置である。

請求項１２に係る発明は、前記第１画像は、ディスプレイに表示される現在の画像であり、前記第２画像は、過去の時点で前記ディスプレイに表示されていた画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。

請求項１３に係る発明は、前記第２画像は、過去の時点で前記ディスプレイに表示されていた操作に関する画像である、ことを特徴とする請求項１２に記載の情報処理装置である。

請求項１４に係る発明は、前記第２画像は、前記オブジェクトであるアイコンであり、前記プロセッサは、前記第１画像上にて、過去に表示されていた位置に前記第２画像を表示する、ことを特徴とする請求項１２に記載の情報処理装置である。

請求項１５に係る発明は、コンピュータが、現在の状況を表す第１画像に、過去の状況におけるオブジェクトに関する第２画像を重ねてディスプレイに表示させる、ように動作させるためのプログラムである。

請求項１，１５に係る発明によれば、オブジェクトの過去の状況を現在の状況と同時にユーザに知らせることができる。

請求項２に係る発明によれば、現在のオブジェクトの状況が過去のオブジェクトの状況から変わった場合に、オブジェクトの過去の状況を現在の状況と同時にユーザに知らせることができる。

請求項３，４，５，６に係る発明によれば、物体の過去の状況を現在の状況と同時にユーザに知らせることができる。

請求項７に係る発明によれば、撮影によって生成された画像に、物体の過去の状況を表すことができる。

請求項８に係る発明によれば、基準物が撮影された場合に、物体の過去の状況をユーザに知らせることができる。

請求項９に係る発明によれば、過去の時点で撮影することで生成された画像によって、物体の過去の状況をユーザに知らせることができる。

請求項１０に係る発明によれば、ユーザの要求に従って、物体の過去の状況をユーザに知らせることができる。

請求項１１に係る発明によれば、過去の複数の時点での物体の状況をユーザに知らせることができる。

請求項１２に係る発明によれば、ディスプレイに表示されていた画像の過去の状況を現在の状況と同時にユーザに知らせることができる。

請求項１３に係る発明によれば、操作に関する画像の過去の状況を現在の状況と同時にユーザに知らせることができる。

請求項１４に係る発明によれば、アイコンの過去の状況を現在の状況と同時にユーザに知らせることができる。

本実施形態に係る情報処理システムの構成を示すブロック図である。 情報処理装置の構成を示すブロック図である。 端末装置の構成を示すブロック図である。 画像データベースを示す図である。 過去の画像を示す図である。 現在の画像を示す図である。 現在の状況と過去の状況とを表す画像を示す図である。 現在の状況と過去の状況とを表す画像を示す図である。 現在の状況と過去の状況とを表す画像を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。

図１を参照して、本実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。

本実施形態に係る情報処理システムは、情報処理装置１０と、１又は複数のセンサ１２と、１又は複数の端末装置１４とを含む。

情報処理装置１０、センサ１２及び端末装置１４は、他の装置や他のセンサと通信する機能を有する。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置や各センサは、他の装置とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤ（Radio Frequency Identifier）やＮＦＣ等である。例えば、各装置は、ＬＡＮ（Local Area Network）やインターネット等の通信経路Ｎを介して他の装置と通信してもよい。

本実施形態に係る情報処理システムにおいては、現在の状況を表す画像（以下、「第１画像」と称する）に、過去の状況におけるオブジェクトに関する画像（以下、「第２画像」と称する）が重ねられてディスプレイに表示される。

オブジェクトは、有体物であってもよいし、無体物であってもよい。

有体物は、例えば、現実の空間に配置される物理的な物体である。有体物は、特に限定されるものではなく、例えば、機器、工具、文房具、筆記具、家財道具、調理器具、スポーツ器具、医療器具、農具、漁具、実験器具、又は、その他の物理的な物である。機器は、特に限定されるものではなく、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プリンタ、スキャナ、複合機、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器は、情報機器、映像機器、又は、音響機器であってもよい。

無体物は、例えば、ディスプレイに表示される画像（例えば静止画像や動画像）や文字列である。画像は、特に限定されるものではなく、カメラ等の撮影装置によって撮影することで生成された画像であってもよいし、特定の機能が紐付けられたアイコンであってもよいし、特定の操作に関する画像であってもよい。

情報処理装置１０は、画像を管理するように構成されている装置である。例えば、センサ１２や端末装置１４やその他の装置によって撮影が行われることで画像が生成され、その画像が情報処理装置１０に送信される。情報処理装置１０は、その画像を管理する。別の例として、ディスプレイに表示されている画像が情報処理装置１０に送信され、情報処理装置１０は、その画像を管理する。例えば、情報処理装置１０は、各画像を時系列に沿って管理する。

第２画像は、オブジェクトそのものを表す画像（例えば、物体を表す画像やアイコン等）であってもよいし、オブジェクトを案内する画像（例えば、物体やアイコンを指し示す矢印の画像等）であってもよい。例えば、センサ１２や端末装置１４等によって撮影することで生成された画像から、物体そのものを表す画像が抽出され、その抽出された画像が第２画像として管理されてもよい。また、ディスプレイに表示されている画像からアイコンが抽出され、その抽出されたアイコンが第２画像として管理されてもよい。

センサ１２は、空間に配置される有体物を検知する機能を有する装置である。例えば、センサ１２は、カメラ、赤外線センサ又は超音波センサ等である。例えば、空間内に配置された有体物がカメラによって撮影され、その撮影によって生成された静止画像や動画像が、カメラから情報処理装置１０に送信されて情報処理装置１０にて管理される。

なお、有体物が配置される空間は、閉じられた空間であってもよいし、開放された空間であってもよい。例えば、空間は、ブース、会議室、シェアルーム、シェアオフィス等のオフィス、教室、店舗、広場、又は、これら以外の区切られた場所等である。

端末装置１４は、例えば、ＰＣ、タブレットＰＣ、スマートフォン又は携帯電話等である。端末装置１４は、ユーザに装着される装置（例えばウェアラブルデバイス）であってもよい。ウェアラブルデバイスは、メガネ型の装置であってもよいし、目に装着されるコンタクトレンズ型の装置であってもよいし、ヘッドマウントディスプレイ（ＨＭＤ）であってもよいし、耳に装着される装置（例えばヒアラブルデバイス）であってもよい。

以下、図２を参照して、情報処理装置１０のハードウェアの構成について説明する。図２には、情報処理装置１０のハードウェアの構成の一例が示されている。

情報処理装置１０は、例えば、通信装置１６と、ＵＩ１８と、メモリ２０と、プロセッサ２２とを含む。

通信装置１６は、通信チップや通信回路等を有する通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信装置１６は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置１６は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、ＬＡＮやインターネット等の通信経路を介して他の装置と通信してもよい。

ＵＩ１８はユーザインターフェースであり、ディスプレイ及び操作装置の中の少なくとも１つを含む。ディスプレイは、液晶ディスプレイやＥＬディスプレイ等の表示装置である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ１８は、ディスプレイと操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。なお、情報処理装置１０は、ＵＩ１８を含まなくてもよい。

メモリ２０は、各種の情報を記憶する１又は複数の記憶領域を構成する装置である。メモリ２０は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数のメモリ２０が情報処理装置１０に含まれている。

メモリ２０には、画像を管理するための画像管理情報が記憶されている。例えば、画像、当該画像が得られた日時を示す日時情報、当該画像が得られた場所を示す場所情報、及び、当該画像に表されているオブジェクトを識別するためのオブジェクト識別情報等が、画像管理情報に含まれている。

プロセッサ２２は、情報処理装置１０の各部の動作を制御するように構成されている。プロセッサ２２は、メモリを有してもよい。

例えば、プロセッサ２２は、画像を受けて、当該画像をメモリ２０に記憶させて管理する。また、プロセッサ２２は、第１画像に第２画像を重ねて表示する処理を実行する。例えば、プロセッサ２２は、拡張現実技術（ＡＲ（Augmented Reality）技術）や複合現実技術（ＭＲ（Mixed Reality）技術）を用いることで、現実画像に過去画像を重ねて表示する。第１画像は、センサ１２の一例であるカメラによる撮影によって生成されてもよいし、端末装置１４による撮影によって生成されてもよい。

以下、図３を参照して、端末装置１４のハードウェアの構成について説明する。図３には、端末装置１４のハードウェアの構成の一例が示されている。

端末装置１４は、例えば、通信装置２４と、ＵＩ２６と、カメラ２８と、メモリ３０と、プロセッサ３２とを含む。

通信装置２４は、通信チップや通信回路等を有する通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信装置２４は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置２４は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、ＬＡＮやインターネット等の通信経路を介して他の装置と通信してもよい。

ＵＩ２６はユーザインターフェースであり、ディスプレイ及び操作装置の中の少なくとも１つを含む。ディスプレイは、液晶ディスプレイやＥＬディスプレイ等の表示装置である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ２６は、ディスプレイと操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。ＵＩ２６は、マイクやスピーカを含んでもよい。

カメラ２８は、撮影することで静止画像や動画像を生成する機能を有する撮影装置の一例である。

メモリ３０は、各種の情報を記憶する１又は複数の記憶領域を構成する装置である。メモリ３０は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数のメモリ３０が端末装置１４に含まれている。

プロセッサ３２は、端末装置１４の各部の動作を制御するように構成されている。プロセッサ３２は、メモリを有してもよい。

例えば、プロセッサ３２は、画像をＵＩ２６のディスプレイに表示させる。プロセッサ３２は、カメラ２８やセンサ１２による撮影によって生成された画像をディスプレイに表示させたり、第２画像をディスプレイに表示させたり、重ねられた状態の第１画像と第２画像をディスプレイに表示させたりする。また、プロセッサ３２は、情報処理装置１０のプロセッサ２２によって行われる処理の一部又は全部を実行してもよい。例えば、プロセッサ３２は、カメラ２８によって撮影された第１画像に第２画像を重ねて表示する処理を実行してもよい。プロセッサ３２は、ＡＲ技術やＭＲ技術を用いることで、第１画像に第２画像を重ねて表示してもよい。

以下、図４を参照して、情報処理装置に記憶されている画像管理情報について詳しく説明する。図４には、画像データベースの一例が示されている。この画像データベースは画像管理情報の一例である。

画像データベースにおいては、画像毎に、当該画像が得られた日時を示す日時情報と、当該画像が得られた場所を示す場所情報と、当該画像に表されているオブジェクトを識別するためのオブジェクト識別情報と、当該画像と、備考情報とが紐付けられている。情報処理装置１０のプロセッサ２２は、センサ１２や端末装置１４や他の装置から画像を受け付けると、その画像を画像データベースに登録する。

ここでは一例として、オブジェクトは、現実の空間内に存在する有体物（図４中の存在物）である。状況管理データベースにて管理されている「場所」は、オブジェクトである有体物が配置されている場所である。状況管理データベースにて管理されている「画像」は、その場所にて、センサ１２や端末装置１４やその他の装置によって撮影することで生成された画像である。「存在物」は、その場所に存在し、その画像に表されている有体物である。状況管理データベースにて管理されている「日時」は、その画像が撮影された日時である。なお、図４に示す例では、有体物の状況が管理されているが、無体物の状況が管理されてもよい。

例えば、２０２０年５月１３日の９時３０分００秒に、場所αにて撮影が行われ、動画像Ｘが生成されて状況管理データベースに登録されている。また、動画像Ｘが撮影された日時とは別の日時（２０２１年４月１０日の１２時００分４５秒）に、場所αにて撮影が行われ、動画像Ｙが生成されて状況管理データベースに登録されている。動画像Ｘ，Ｙにはそれぞれ、存在物の一例として、機器Ａ、機器Ｂ、時計、机、椅子及び壁紙が表されている。このように、場所αの状況を表す動画像が、時系列に沿って管理されている。

ここでは一例として、端末装置１４のカメラ２８によって場所α内が撮影されることで、場所α内を表す動画像Ｘ，Ｙが生成されている。動画像Ｘと、その撮影の日時を示す日時情報は、端末装置１４から情報処理装置１０に送信されて状況管理データベースに登録される。動画像Ｙについても同様である。

端末装置１４は、ＧＰＳ（Global Positioning System）を利用することで端末装置１４の位置情報を取得してもよい。例えば、端末装置１４は、動画像Ｘが撮影されたときの端末装置１４の位置情報を取得する。その位置情報は、動画像Ｘに付帯する情報として端末装置１４から情報処理装置１０に送信され、動画像Ｘに紐付けられて状況管理データベースに登録される。例えば、その位置情報は、場所αを示す場所情報に含まれる。なお、ユーザが端末装置１４を操作することで、撮影が行われた場所αを示す場所情報を端末装置１４に入力してもよい。この場合、ユーザによって入力された場所情報が端末装置１４から情報処理装置１０に送信されて、動画像Ｘに紐付けられて状況管理データベースに登録される。動画像Ｙについても同様である。

端末装置１４は、加速度センサや角速度センサや地磁気センサ等のセンサを有し、端末装置１４の向きや方位を示す方位情報を取得してもよい。例えば、端末装置１４は、動画像Ｘが撮影されたときの端末装置１４の方位情報を取得する。その方位情報は、動画像Ｘに付帯する情報として端末装置１４から情報処理装置１０に送信され、動画像Ｘに紐付けられて状況管理データベースに登録される。例えば、その方位情報は、場所αを示す場所情報に含まれる。動画像Ｙについても同様である。

存在物は、動画像Ｘ，Ｙのそれぞれから自動的に抽出されてもよいし、ユーザによって指定されてもよい。例えば、情報処理装置１０のプロセッサ２２は、動画像Ｘ，Ｙのそれぞれに対して公知の画像認識技術や画像抽出技術を適用することで、動画像Ｘ，Ｙのそれぞれに表されている存在物を認識する。例えば、認識対象の存在物が予め定められており、情報処理装置１０のプロセッサ２２は、予め定められた存在物を動画像Ｘ，Ｙのそれぞれから認識する。存在物の名称を示す情報や存在物が有する機能を示す情報等が、データベース等に予め登録されている場合、情報処理装置１０のプロセッサ２２は、動画像Ｘ，Ｙのそれぞれから認識した存在物の名称や機能を示す情報を当該データベース等から取得して、状況管理データベースに登録してもよい。なお、端末装置１４のプロセッサ３２が、動画像Ｘ，Ｙのそれぞれから存在物を認識してもよい。

ユーザが、存在物を指定してもよい。例えば、動画像Ｘの撮影時、又は、動画像Ｘの撮影後に、ユーザは端末装置１４を操作することで、動画像Ｘに表されている１又は複数の有体物の中から、状況管理データベースに登録される存在物を指定する。具体的には、端末装置１４のプロセッサ３２は、動画像Ｘを端末装置１４のディスプレイに表示させ、ユーザは、その表示された動画像Ｘ上にて、状況管理データベースに登録される存在物を指定する。ユーザによって指定された存在物を示す情報は、端末装置１４から情報処理装置１０に送信されて状況管理データベースに登録される。動画像Ｙについても同様である。

端末装置１４のプロセッサ３２は、動画像Ｘに対して画像認識技術や画像抽出技術等を適用することで、動画像Ｘに表されている１又は複数の有体物を認識してもよい。この場合、ユーザが端末装置１４を操作することで、その認識された１又は複数の有体物の中から、状況管理データベースに登録される存在物を指定してもよい。ユーザによって指定された存在物を示す情報は、端末装置１４から情報処理装置１０に送信されて状況管理データベースに登録される。動画像Ｙについても同様である。

また、状況管理データベースには、備考情報が登録されている。備考情報は、例えば、場所内における存在物の位置を示す情報等を含む。例えば、予め定められた基準物の位置を基準として、その基準の位置からの相対的な位置を示す情報が、備考情報に含まれる。具体例を挙げて説明すると、機器Ｂは、基準物として定められた時計の３０ｃｍ左斜め上に存在しており、機器Ａは、その時計の５メートル奥の下方に存在していることを示す情報が、備考情報として動画Ｘ，Ｙにそれぞれ紐付けられている。基準物は、例えばユーザによって指定されてもよいし、ユーザによらずに予め定められていてもよい。

例えば、情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２は、動画像Ｘを解析することで、基準物の位置からの各存在物の相対的な位置を特定してもよい。ユーザが端末装置１４を操作することで、基準物の位置からの各存在物の相対的な位置を示す情報を入力してもよい。動画像Ｙについても同様である。

また、画像が撮影されたときに得られた周囲の音情報や、環境情報（例えば、気温、湿度、気圧等の情報）が測定され、これらの情報が備考情報に含まれてもよい。

以下、本実施形態に係る情報処理システムによる処理について詳しく説明する。

（オブジェクトが物体の場合の処理）
以下、オブジェクトが物体の場合の処理について説明する。

図５を参照して、過去の画像について説明する。図５には、過去の画像の一例が示されている。例えば、端末装置１４のカメラ２８によって、過去のある時点にて、空間３６である場所α内が撮影され、場所α内を表す画像３４が生成される。画像３４は、静止画像であってもよいし動画像であってもよい。また、端末装置１４は、画像３４の撮影時における端末装置１４の位置情報及び方位情報を取得し、それらの情報を画像３４に紐付ける。ここでは一例として、場所αは部屋である。

例えば、カメラ３８、壁紙４０，４２，４４、時計４６、机４８、椅子５０、及び、機器５２，５４が、場所α内に配置されており、画像３４には、それらが表されている。なお、画像３４が撮影された時点では、これらの物体（例えば機器５２等）は外部から見えるように配置されているが、その後の時点では、カバー等が取り付けられることで外部から見えなくなってもよい。

画像３４、画像３４が撮影された日時を示す日時情報、及び、場所αを示す場所情報（画像３４の撮影時における端末装置１４の位置情報及び方位情報を含む情報）は、端末装置１４から情報処理装置１０に送信されて、画像データベースに登録される。例えば、場所α内に端末装置１４がある場合（例えば、端末装置１４を所持するユーザが場所α内にいる場合）、端末装置１４の位置情報に基づいて、そのユーザがいる場所αが特定され、場所αの名称等を示す情報が、場所αを示す情報に含まれてもよい。例えば、位置情報と場所αの名称等を示す情報とが予め紐付けられて、情報処理装置１０やサーバ等に管理されており、端末装置１４の位置情報に基づいて場所αの名称等が特定される。その特定の処理は、例えば、情報処理装置１０、端末装置１４又はサーバ等によって行われる。ユーザが場所αの名称等を端末装置１４に入力した場合、場所αの名称等を示す情報が、場所αを示す情報に含まれてもよい。

ここでは一例として、時計４６が基準物として定められている。画像３４が端末装置１４のＵＩ２６のディスプレイに表示され、ユーザが、その表示された画像３４上にて時計４６を基準物として指定してもよい。別の例として、情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２が、画像３４から基準物である時計４６を認識してもよい。指定又は認識された時計４６は、基準物として画像３４に紐付けられて画像データベースに登録される。

ユーザは、画像データベースに登録される存在物を指定してもよい。例えば、画像３４が端末装置１４のＵＩ２６のディスプレイに表示され、ユーザは、その表示された画像３４上にて、登録される存在物を指定する。例えば、壁紙４０，４２，４４、時計４６、机４８、椅子５０、及び、機器５２，５４がユーザによって指定されると、指定されたこれらの存在物が、画像データベースに登録される。別の例として、情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２が、状況管理データベースに登録される存在物として予め定められた存在物を画像３４から抽出し、その抽出した存在物を画像データベースに登録してもよい。

機器５２の画像は、過去の状況における当該機器５２に関する第２画像の一例であり、場所αに過去の時点（つまり画像３４が撮影された時点）で配置されていた当該機器５２に関する第２画像の一例である。他の存在物の画像についても同様である。

例えば、情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２は、画像３４から機器５２の画像を抽出する。他の存在物の画像についても同様である。画像抽出技術として、例えば公知の技術が用いられる。例えば、抽出される存在物が予め定められており、その予め定められた存在物が、画像３４から抽出される。例えば、機器５２が、抽出される存在物として定められ、机４８及び椅子５０が、抽出される存在物として定められていない場合、機器５２の画像が抽出され、机４８及び椅子５０の画像は抽出されない。他の存在物についても同様である。

なお、上記の存在物の名称を示す情報や存在物が有する機能を示す情報等が、画像３４に紐付けられて状況管理データベースに登録されてもよい。各存在物の名称や機能は、ユーザによって指定されてもよいし、データベース等に登録されている情報に基づいて特定されてもよい。

ユーザが端末装置１４を操作して画像の登録の指示を与えた場合に、画像３４が状況管理データベースに登録されてもよい。

別の例として、画像に表されている存在物に変化が生じた場合に、その変化後の画像が画像データベースに登録されてもよい。例えば、画像３４が撮影された時点よりも更に過去の時点で場所α内が撮影され、その撮影によって生成された別の画像が画像データベースに登録されているものとする。この場合、情報処理装置１０のプロセッサ２２は、画像３４を端末装置１４から受けて、同じ場所α内を撮影することで生成された当該別の画像と画像３４とを比較し、当該別の画像と画像３４とを解析することで、画像３４に表されている存在物に変化が生じたか否かを判断する。例えば、基準物の表示位置を基準として、画像３４に表されている存在物の表示位置が、当該別の画像に表されている当該存在物の表示位置から変わっている場合、プロセッサ２２は、当該存在物に変化が生じたと判断する。また、当該別の画像に表示されていた存在物が、画像３４に表示されていない場合、プロセッサ２２は、当該存在物に変化が生じたと判断する。また、当該別の画像に表示されていなかった存在物が、画像３４に表示されている場合、プロセッサ２２は、当該存在物に変化が生じたと判断する。このような場合、プロセッサ２２は、変化後の画像である画像３４を画像データベースに登録する。

以下、図６を参照して、現在の画像について説明する。図６には、現在の画像の一例が示されている。例えば、端末装置１４のカメラ２８によって、現在の時点にて場所α内が撮影され、場所α内を表す画像５６が生成される。画像５６は、静止画像であってもよいし、動画像であってもよい。また、端末装置１４は、画像５６の撮影時における端末装置１４の位置情報及び方位情報を取得し、それらの情報を画像５６に紐付ける。画像５６は、現在の場所α内の状況を表す第１画像の一例である。画像５６は、画像３４と同様に、画像データベースに登録されてもよい。この場合、将来の時点にて撮影される画像（つまり、その将来の時点における画像）に対しては、画像５６は過去の画像として扱われる。

上述したように、ユーザが登録の指示を与えた場合に、画像５６が画像データベースに登録されてもよいし、過去の時点（例えば画像３４が撮影された時点）から画像５６に表されている存在物に変化が生じたい場合に、画像５６が画像データベースに登録されてもよい。

例えば、カメラ３８、壁紙５８，６０，６２、時計４６、机４８、椅子５０、及び、機器５２，５４が、場所α内に配置されており、画像５６には、それらが表されている。図５に示されている画像３４と比較すると、画像３４の撮影時から、壁紙４０，４２，４４が壁紙５８，６０，６２に取り換えられている。

例えば、画像５６は端末装置１４のＵＩ２６のディスプレイに表示され、ユーザは、画像５６に表されている有体物を認識することができる。

また、端末装置１４のプロセッサ３２は、場所αの過去の画像（例えば画像３４）を情報処理装置１０から取得し、画像５６上にその画像３４を重ねてディスプレイに表示させる。例えば、ユーザが端末装置１４を操作して重ね合わせの指示を与えると、端末装置１４のプロセッサ３２は、画像５６上に画像３４を重ねてディスプレイに表示させる。つまり、プロセッサ３２は、画像の表示の要求をユーザから受け付けた場合、画像３４を表示する。情報処理装置１０のプロセッサ２２が、画像５６を端末装置１４から受け付け、その画像５６上に画像３４を重ねる処理を行い、その処理が施された状態の画像５６と画像３４を端末装置１４に送信し、端末装置１４のディスプレイに表示させてもよい。場所αに関する複数の過去の画像が画像データベースに登録されている場合、ユーザによって選択された過去の画像が、画像５６上に重ねられてもよいし、すべての画像が、画像５６上に重ねられてもよいし、予め定められた条件を満たす画像（例えば、直近の画像や、最も古い画像）が、画像５６上に重ねられてもよい。

情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２は、例えば、画像３４，５６にそれぞれ紐付けられている位置情報及び方位情報に基づいて、画像３４，５６がそれぞれ撮影されたときの端末装置１４の位置及び方位を特定し、それらの位置と方位を一致させて、画像５６上に画像３４を重ねて表示する。例えば、ＡＲ技術又はＭＲ技術が用いられることで、画像５６上に画像３４が重ねて表示される。

情報処理装置１０のプロセッサ２２又は端末装置１４のプロセッサ３２は、画像５６上に画像３４の全部又は一部を重ねてもよい。例えば、画像３４から抽出された存在物（例えば機器５２等）を表す第２画像が、画像５６上に重ねられてもよい。

図７には、第１画像と第２画像とが重ね合わされた状態が示されている。ここでは一例として、画像３４から抽出された存在物（例えば機器５２等）を表す第２画像が、現在の画像５６上に重ねて表示されている。壁紙４０，４２，４４が壁紙５８，６０，６２に取り換えられており、壁紙４０，４２，４４の過去の画像も、現在の画像５６に重ねて表示されている。図７中では、壁紙４０，４２，４４の過去の画像（つまり画像３４に表されている壁紙の画像）は、破線で示されており、壁紙５８，６０，６２の現在の画像（つまり画像５６に表されている壁紙の画像）は、実線で示されている。画像３４から抽出された他の存在物（例えば機器５２等）を表す第２画像も、同様に画像５６上に重ねて表示される。

第２画像は、例えば、半透明な画像であってもよいし、存在物の輪郭のみを表す画像であってもよい。こうすることで、現在の画像５６に第２画像が重ねて表示されている場合であっても、ユーザは、現在の画像５６に表されている存在物を画像５６上で視認することができる。つまり、ユーザは、現在の画像５６に表されている存在物を画像５６上で視認しつつ、その存在物の過去の状況を確認することができる。

図５から図７に示す例では、壁紙以外の存在物は変更されていない。そのため、図７に示すように、画像５６には、現在の機器５２が表されると共に、過去の画像３４から抽出された機器５２の画像も、画像５６上に重ねて表示される。他の存在物についても同様である。

プロセッサ３２は、現在の画像５６上にて、場所α内にて機器５２が配置されていた位置に対応する位置に、過去の画像３４から抽出された機器５２の過去の画像を表示する。機器５２の位置は、例えば、基準物からの相対的な位置であってもよいし、ＧＰＳ等によって特定される位置であってもよい。例えば、時計４６が基準物として指定されている場合、プロセッサ３２は、画像５６に表されている時計４６の位置を基準として、機器５２の過去の画像が表示される位置を特定し、その特定した位置に機器５２の過去の画像を表示する。他の存在物についても同様である。

プロセッサ３２は、例えば、ＡＲ技術又はＭＲ技術を適用することで、撮影された現在の画像５６上に各存在物の過去の画像を重ねてディスプレイに表示させる。

画像５６が撮影された時点では、機器５２が壁紙６２等によって覆われて、外から見えない状態であっても、画像５６に第２画像が重ねて表示される。こうすることで、画像５６に機器５２が表されていない場合であっても、ユーザは、画像５６を参照することで、過去の機器５２を視認することができる。例えば、壁紙を変えたり、模様替えしたり、部屋を改修したりすることで、画像５６が撮影された時点で、存在物の場所等が分からなくなることがある。第２画像を画像５６上に重ねて表示することで、ユーザは、そのような存在物を認識することができる。

なお、現在の画像５６上に、過去の画像３４の全部が重ねて表示されてもよい。この場合、存在物以外の背景等を表す画像も、画像５６上に重ねて表示される。この場合であっても、画像３４は、半透明な画像であってもよい。

なお、プロセッサ３２は、画像データベースに登録されている備考情報等を、現在の画像５６上に重ねてディスプレイに表示させてもよい。例えば、「機器５２が時計４６の５ｍ奥の下方に設置されている」という内容の文字列や、「機器５４が時計４６の３０ｃｍ左斜め上に設置されている」という内容の文字列が、画像５６上に重ねて表示されてもよい。また、プロセッサ３２は、各存在物の機能や性能等を示す情報を、現在の画像５６上に重ねてディスプレイに表示させてもよい。例えば、機器５２の機能や性能等を示す情報が、機器５２の画像に紐付けられて表示される。

図８には、別の表示例が示されている。図８に示す例では、第２画像は、存在物を案内する画像である。例えば、第２画像は、存在物を指し示す矢印等の画像である。

図８には、場所αの現在の状況を表す画像６４が示されている。例えば、現在の画像６４は、上記の画像５６と同様に、場所αを撮影することで生成された画像である。

ここでは一例として、現在の画像６４には、機器５２，５４が表されていない。例えば、壁紙６２によって機器５２が覆われており、壁紙５８によって機器５４が覆われている。そのため、機器５２，５４を視認することができず、画像６４に機器５２，５４が表されていない。もちろん、機器５２，５４が壁紙によって覆われておらず、図６に示す例と同様に、現在の画像６４に機器５２，５４が表されていてもよい。

図８中の画像６６は、機器５２を指し示す矢印の画像であり、画像６８は、機器５４を指し示す矢印の画像である。画像６６，６８は、第２画像の一例である。

例えば、プロセッサ３２は、ＡＲ技術又はＭＲ技術を適用することで、撮影された現在の画像６８上に矢印の画像６６，６８を重ねてディスプレイに表示させる。例えば、プロセッサ３２は、画像６８に表されている基準物である時計４６の位置を基準として、画像６８上の機器５２の位置を特定し、その特定した位置を指し示す画像６６を表示する。他の存在物についても同様である。

プロセッサ３２は、ユーザによって指定された存在物を指し示す画像を、現在の画像６８上に重ねてディスプレイに表示させてもよい。図８に示す例では、機器５２，５４がユーザによって指定されており、プロセッサ３２は、機器５２を指し示す画像６６と、機器５４を指し示す画像６８とを表示する。例えば、画像データベースに登録されている存在物の一覧が、端末装置１４のディスプレイに表示される。ユーザが、その一覧の中から存在物を指定すると、その指定された存在物を指し示す画像が、現在の画像６８上に重ねて表示される。

なお、図８に示す例では、矢印の画像が表示されるが、矢印の画像と共に、又は、矢印の画像に代えて、存在物（例えば機器５２，５４）そのものを表す過去の画像が表示されてもよい。

プロセッサ３２は、過去の第１時点における存在物に関する第２画像と、過去の第２時点における当該存在物に関する第２画像とを、現在の第１画像に重ねてディスプレイに表示させてもよい。第２時点は、第１時点とは異なる時点である。つまり、過去の複数の時点での存在物に関する第２画像が、現在の第１画像に重ねて表示されてもよい。以下、図９を参照して、この表示例について説明する。図９には、第１画像と第２画像とが重ね合わされた状態が示されている。

図９に示されている画像７０は、場所αの現在の状況を表す画像であり、例えば、上記の画像５６と同様に、場所αを撮影することで生成された画像である。

図９に示す例では、画像７０に、機器５４の現在の画像が表されている。また、画像５４Ａ，５４Ｂが、画像７０に表されている。画像５４Ａは、過去の第１時点における機器５４を表す画像である。画像５４Ｂは、過去の第２時点における機器５４を表す画像である。現在、第１時点及び第２時点のそれぞれの時点で、機器５４は別々の場所に設置されている。従って、機器５４の現在の画像、及び、画像５４Ａ，５４Ｂは、画像７０上にて、それぞれ別々の位置に表示される。このように、過去の複数の時点での機器５４の画像を、現在の画像７０に重ねて表示することで、ユーザは、各時点での機器５４の設置場所を認識することができる。

また、プロセッサ３２は、ユーザによって指定された時点における存在物に関する第２画像を現在の画像７０上に重ねてディスプレイに表示させてもよい。例えば、場所αに関して画像データベースに登録されている日時の一覧が、端末装置１４のディスプレイに表示され、プロセッサ３２は、その一覧からユーザによって指定された日時に得られた画像（例えば、その指定された日時に撮影された画像）から抽出された第２画像を、現在の画像７０上に重ねてディスプレイに表示させてもよい。別の例として、プロセッサ３２は、直近の画像から得られた第２画像や、最も古い画像から得られた第２画像や、その他の条件を満たす過去の画像から得られた第２画像を、現在の画像７０上に重ねてディスプレイに表示させてもよい。

上記の各実施形態において、プロセッサ３２は、現在のオブジェクトの状況が過去のオブジェクトの状況から変わった場合、第１画像上に第２画像を重ねてディスプレイに表示させてもよい。

例えば、プロセッサ３２は、現在の画像（つまり第１画像）と、画像データベースに登録されている過去の画像とを比較し、両画像の間に閾値以上の差異がある場合、第１画像上に第２画像を重ねてディスプレイに表示させる。

この処理について、図５及び図８を参照して詳しく説明する。図５に示すように、過去のある時点（つまり画像３４が撮影された時点）では、機器５２，５４は壁紙によって覆われておらず、外部から視認することができる。一方、図８に示すように、現在（つまり画像６４が撮影された時点）では、機器５２，５４は壁紙によって覆われており、外部から視認することができない。

プロセッサ３２は、現在の画像６４と過去の画像３４とを比較し、両画像の間に閾値以上の差異がある場合、画像６４上に第２画像（例えば、機器５２，５４そのものを表す画像や、機器５２，５４の設置位置を指し示す矢印の画像等）を重ねてディスプレイに表示させる。プロセッサ３２は、両画像の間の差異が閾値未満である場合、画像６４上に第２画像を重ねず、画像６４をディスプレイに表示させる。

プロセッサ３２は、過去の時点から変化していない基準物が撮影された場合、現在の第１画像上に第２画像を重ねてディスプレイに表示させてもよい。

図５及び図６を参照して、この処理について説明する。例えば、時計４６が基準物として定められている。図５に示すように、過去の画像３４に時計４６が表されており、図６に示すように、現在の画像６４にも時計４６が表されている。このように、撮影された現在の画像６４に時計４６が表さている場合、プロセッサ３２は、現在の画像６４上に第２画像（例えば、存在物そのものを表す画像や、存在物の設置位置を指し示す矢印の画像等）を重ねてディスプレイに表示させる。

また、プロセッサ３２は、現在の画像６４に表されている各存在物の位置に基づいて、時計４６と他の存在物との相対的な位置関係を算出し、過去の画像３４に表されている各存在物の位置に基づいて、時計４６と他の存在物との相対的な位置関係を算出してもよい。プロセッサ３２は、現在の相対的な位置関係と過去の相対的な位置関係との差異が閾値以下である場合、現在の画像６４上に第２画像を重ねてディスプレイに表示させてもよい。

以下、図１０を参照して、過去の画像の表示の指示を与えるためのユーザインターフェースについて説明する。図１０には、端末装置１４に表示される画面７６が示されている。ユーザは、この画面７６にて、過去の画像の表示の指示を与えることができる。

例えば、画面７６には、ユーザの要望を入力する欄が設けられている。例えば、その欄には、ユーザが探しているオブジェクトの名称等が入力される。図１０に示す例では、機器の名称である文字列「機器Ａ」がユーザによって入力されている。ここで入力された情報は、端末装置１４から情報処理装置１０に送信される。情報処理装置１０のプロセッサ２２は、存在物である機器Ａの過去の画像を画像データベースから検索し、検索した過去の画像を端末装置１４に送信する。その過去の画像は、端末装置１４のディスプレイに表示される。例えば、端末装置１４のカメラ２８によって現在の画像が撮影されている場合、機器Ａの過去の画像は、その現在の画像に重ねて表示される。

また、画面７６にて、ユーザによって過去の時点が指定されてもよい。図１０に示す例では、過去の時点として「去年」が指定されている。この場合、情報処理装置１０のプロセッサ２２は、去年撮影された画像を画像データベースから検索し、検索した去年の画像を端末装置１４に送信する。例えば、ユーザが場所αにいる場合、場所αの去年の画像が検索され、その去年の画像が端末装置１４のディスプレイに表示される。端末装置１４のカメラ２８によって場所αの現在の画像が撮影されている場合、去年の画像は現在の画像に重ねて表示される。例えば、機器Ａの去年の画像が現在の画像に重ねて表示される。

なお、画面７６にて入力される各情報は、音声によって入力されてもよい。この場合、画面７６は表示されなくてもよい。

（オブジェクトが画像の場合の処理）
以下、オブジェクトが画像の場合の処理について説明する。

オブジェクトが画像の場合、第１画像は、ディスプレイに表示される現在の画像であり、第２画像は、過去の時点でディスプレイに表示されていた画像である。例えば、第２画像は、過去の時点でディスプレイに表示されていた操作に関する画像である。

第１画像及び第２画像は、例えば、操作画面、アイコン又はその他の画像等である。操作画面は、例えば、ＰＣやスマートフォン等の装置のディスプレイに表示される操作画面（例えば、ＯＳ（Operating System）のデスクトップ画面や、各種のアプリケーションソフトウェアの操作画面等）や、その他の機器の操作画面等である。

例えば、第１画像は、現在の操作画面であり、第２画像は、その操作画面に表示されるアイコンである。第２画像としてのアイコンは、現在の操作画面上において、過去に表示されていた位置に表示される。

以下、図１１を参照して、オブジェクトが画像の場合の処理について詳しく説明する。図１１には、端末装置１４のディスプレイに表示される画面７８が示されている。画面７８は、例えば、ＯＳの現在のデスクトップ画面であり、第１画像の一例である。画面７８には、アイコン８０が表示されている。アイコン８０は、例えば、特定のアプリケーションソフトウェアに紐付けられた画像であってもよいし、特定のデータ（例えば画像データや文書データ等）に紐付けられた画像であってもよい。アイコン８０は、現在のデスクトップ画面上に表示されている画像である。

例えば、ユーザが端末装置１４を操作して、現在のデスクトップ画面に過去のデスクトップ画面を重ねて表示することを指示すると、端末装置１４のプロセッサ３２は、画面７８に過去のデスクトップ画面を重ねてディスプレイに表示させる。例えば、アイコン８２は、現在のアイコン８０と同じアイコンであり、過去のデスクトップ画面に表示されていた第２画像である。アイコン８２は、現在の画面７８上にて、過去のデスクトップ画面に表示されていた位置に表示される。過去の時点では、アイコン８０は、アイコン８２の表示位置に表示されていたことになる。プロセッサ３２は、アイコン８２の表示形態をアイコン８０の表示形態と異ならせてもよい。例えば、プロセッサ３２は、過去のアイコン８２の色を現在のアイコン８０の色と異なる色にしてアイコン８２を表示してもよいし、過去のアイコン８２を半透明にして表示してもよいし、過去のアイコン８２の形状を現在のアイコン８０の形状と異なる形状にしてアイコン８２を表示してもよい。

ユーザは、現在の画面７８上に表示された過去のアイコン８２を参照することで、現在のアイコン８０が過去の時点で表示されていた位置を認識することができる。

例えば、端末装置１４のメモリ３０には、過去のデスクトップ画面に関する情報（例えば、過去のデスクトップ画面に表示されていたアイコンを識別するための情報、そのアイコンが表示されていた位置を示す情報等）が記憶される。例えば、予め定められた時間毎に、デスクトップ画面に関する情報が記憶されてもよいし、デスクトップ画面に変化が生じたい場合に（例えば、アイコンの位置が変更された場合や、アイコンが削除や追加された場合等に）、その変化前のデスクトップ画面に関する情報が記憶されてもよいし、ユーザが記憶の指示を与えた場合に、そのときのデスクトップ画面に関する情報が記憶されてもよい。

過去の複数の時点におけるデスクトップ画面に関する情報が記憶されている場合、プロセッサ３２は、各時点に表示されていたアイコンを現在の画面７８上に表示してもよいし、ユーザによって指定された時点に表示されていたアイコンを現在の画面７８上に表示してもよい。

過去のアイコン８２は、ユーザが操作することができるアイコンであってもよいし、ユーザが操作することができないアイコンであってもよい。例えば、ユーザが過去のアイコン８２を押した場合、そのアイコン８２に紐付けられているアプリケーションソフトウェアが起動してもよい。

また、ユーザが端末装置１４を操作して、過去の表示の設定を選択した場合、プロセッサ３２は、アイコン８０を現在の表示位置に表示せずに、アイコン８０を過去の表示位置（つまり、アイコン８２の表示位置）に表示してもよい。

以下、図１２から図１４を参照して、別の画面について説明する。図１２から図１４には、ある機器のディスプレイに表示される画面８４が示されている。例えば、画面８４は、複合機の操作パネルに表示されるメニュー画面である。画面８４には、それぞれ機能が割り当てられたボタンＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆが表示されている。複合機を例に挙げて説明すると、各ボタンには、プリントやスキャン等の機能が割り当てられている。ユーザは、画面８４の設定を変更することができる。例えば、ユーザは、画面８４上に表示されている各ボタンの表示位置を変更することができる。

図１２には、過去の時点における画面８４が示されており、図１３には、現在の時点における画面８４が示されている。現在の時点では、各ボタンの表示位置が過去の時点の表示位置から変更されている。

例えば、ユーザが、現在の画面と過去の画面とを重ねて表示することを指示すると、図１４に示すように、機器のプロセッサは、画面８４上に、各ボタンを現在の表示位置に表示すると共に、各ボタンを過去の表示位置に表示する。プロセッサは、各ボタンが完全に重ならないように各ボタンの表示位置をずらして表示してもよいし、過去の表示位置に表示される各ボタンの表示形態を現在の表示位置に表示される各ボタンの表示形態と異ならせてもよい。

ユーザが過去の画面の設定を選択した場合、プロセッサは、各ボタンを現在の表示位置に表示せずに、図１２に示すように、各ボタンを過去の表示位置に表示してもよい。

図１１から図１４に示す画面は一例に過ぎず、各種の設定を行うための設定画面等に、上記の処理が適用されてもよい。

また、ＯＳやアプリケーションソフトウェアのバージョンが変わったときに、そのＯＳやアプリケーションソフトウェアがインストールされている機器のプロセッサは、現在のバージョンのＯＳやアプリケーションソフトウェアに関する画面をディスプレイに表示させると共に、過去のバージョンのＯＳやアプリケーションソフトウェアに関する画面を、その現在の画面上に重ねてディスプレイに表示させてもよい。

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

１０ 情報処理装置、１２ センサ、１４ 端末装置。

Claims (15)

1. プロセッサを有し、
   前記プロセッサは、
   現在の状況を表す第１画像に、過去の状況におけるオブジェクトに関する第２画像を重ねてディスプレイに表示させる、
   情報処理装置。
2. 前記プロセッサは、
   現在の前記オブジェクトの状況が過去の前記オブジェクトの状況から変わった場合、前記第１画像に前記第２画像を重ねて表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１画像は、空間内の現在の状況を表す画像であり、
   前記オブジェクトは物体であり、
   前記第２画像は、前記空間内に過去の時点で配置されていた物体に関する画像である、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記第１画像上にて、前記空間内にて前記物体が配置されていた位置に対応する位置に前記第２画像を表示する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記第２画像は、前記物体を表す画像である、
   ことを特徴とする請求項３又は請求項４に記載の情報処理装置。
6. 前記第２画像は、前記物体を案内する画像である、
   ことを特徴とする請求項３又は請求項４に記載の情報処理装置。
7. 前記第１画像は、前記空間内を撮影することで生成された画像である、
   ことを特徴とする請求項３から請求項６のいずれか一項に記載の情報処理装置。
8. 前記プロセッサは、
   前記空間内において、過去の時点から変化していない基準物が撮影された場合、前記第１画像に前記第２画像を重ねて表示する、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記第２画像は、前記空間内を過去の時点で撮影することで生成された画像から得られる画像である、
   ことを特徴とする請求項３から請求項８のいずれか一項に記載の情報処理装置。
10. 前記プロセッサは、
    前記物体に関する画像の表示の要求をユーザから受け付けた場合、前記第２画像を表示する、
    ことを特徴とする請求項３から請求項９のいずれか一項に記載の情報処理装置。
11. 前記プロセッサは、
    過去の第１時点における前記物体に関する前記第２画像と、過去の第２時点における前記物体に関する前記第２画像とを、前記第１画像に重ねて表示する、
    ことを特徴とする請求項３から請求項１０のいずれか一項に記載の情報処理装置。
12. 前記第１画像は、ディスプレイに表示される現在の画像であり、
    前記第２画像は、過去の時点で前記ディスプレイに表示されていた画像である、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
13. 前記第２画像は、過去の時点で前記ディスプレイに表示されていた操作に関する画像である、
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記第２画像は、前記オブジェクトであるアイコンであり、
    前記プロセッサは、
    前記第１画像上にて、過去に表示されていた位置に前記第２画像を表示する、
    ことを特徴とする請求項１２に記載の情報処理装置。
15. コンピュータが、
    現在の状況を表す第１画像に、過去の状況におけるオブジェクトに関する第２画像を重ねてディスプレイに表示させる、
    ように動作させるためのプログラム。
    

Images