JP6065080B2 - 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム - Google Patents

Description

撮像する必要がある書類と既に撮像を行った書類とを識別可能に表示させることの可能な情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラムに関する。

銀行でローンなどを契約する場合、住民票や源泉徴徴収票といった複数の書類が必要であるが、銀行の説明員（以後、テラー）は、顧客が持参した書類をカウンターに備えられているフラットスキャナーなどでスキャンし電子的に管理するということが行われている。

このようなスキャンデータを管理する仕組みとして、特許文献１には、スキャンした画像を当該画像情報と紐づけて保存する仕組みが開示されている。

特開２０００−２９９０４号公報

また、このような銀行業務では、ローンの種類や契約しようとする顧客に応じて、銀行が必要とする書類は異なることが多い。そのため、テラーは顧客が契約しようとするローンの種類や、例えば顧客が自営業か否かなどの顧客の属性に応じて受領する必要がある書類が何かを確認した上で、書類を受領する（書類を電子化）しなければならない。

ところで、本発明者は、銀行業務等で用いることができるペーパーレス化を推進する仕組みとして、顧客に対する説明資料を机等の投影面に投影させた画面で代用することができる仕組み開発している。このような仕組みにおいても、上述と同様に契約の種類に応じた書類を確認した上で、顧客から書類を受領することが求められている。

本発明の目的は、画像データを取得すべき対象物の画像データが取得されたか否かをユーザに識別可能とする仕組みを提供することである。

上記の目的を達成するために、本発明の情報処理システムは、投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段とを備えた情報処理システムであって、画像データを取得すべき対象物を記憶する記憶手段と、前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であることを特徴とする。

本発明によれば、画像データを取得すべき対象物の画像データが取得されたか否かをユーザに識別可能とする仕組みを提供することができる。

本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。 投影撮像装置１０２の外観構造及び内部構造の概要の一例を示す図である。 投影撮像装置１０２を用いて投影した投影画像を用いて、商品説明を行う場合の一例を示す図である。 情報処理装置１００及び投影撮像装置１０２のハードウェア構成の一例を示す図である。 サーバ装置２００のハードウェア構成の一例を示す図である。 情報処理装置１００、サーバ装置２００の機能構成の一例を示す図である。 本発明の第１の実施形態における全体の処理の流れを示すフローチャートである。 図７に示す撮像処理の詳細な処理の流れを示すフローチャートである。 図７に示す案内画面表示処理の詳細な処理の流れを示すフローチャートである。 顧客ＩＤ入力画面１０００の一例を示す図である。 メニュー画面１１００の一例を示す図である。 商品説明画面１２００の一例を示す図である。 書類一覧画面１３００の一例を示す図である。 書類読取指示画面１４００の一例を示す図である。 案内画面１５００の一例を示す図である。 用意書類一覧画面１６００の一例を示す図である。 顧客ＩＤテーブル１７００の一例を示すテーブルである。 書類テーブル１８００の一例を示すテーブルである。 テンプレートテーブル１９００の一例を示すテーブルである。 領域テーブル２０００の一例を示すテーブルである。 ＰＤＦデータテーブル２１００の一例を示すテーブルである。 シートＤＢ２２００の一例を示すデータテーブルである。 本発明の第２の実施形態における全体の処理の流れを示すフローチャートである。 図２３に示すフローチャートにおけるＰＤＦデータ確認処理の詳細な処理を示すフローチャートである。 第２の実施形態における、ステップＳ２３０６で投影表示される用意書類一覧画面２５００の一例を示す画面例である。 本発明の第２の実施形態における案内画面表示処理の詳細な処理の流れを示すフローチャートである。 本発明の第２の実施形態における書類テーブル１８００の一例を示すテーブルである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の実施形態における情報処理システムのシステム構成の一例を示す図である。情報処理システムは、情報処理装置１００と投影撮像装置１０２とサーバ装置２００を含む。情報処理装置１００は、投影撮像装置１０２とサーバ装置２００と通信可能に接続されており、更にディスプレイ４１０と入力デバイス４０９とも通信可能に接続されている。図１では、これらの装置は有線で接続されているが、無線であってもよい。尚、図１のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１００は、オペレーティングシステムを搭載する汎用的な装置である。情報処理装置１００は、情報処理装置１００に接続された各種デバイスに対して各種動作を実行するよう指示を行う。

投影撮像装置１０２は、デジタルカメラ４２１（撮像手段）とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを備える装置である。情報処理装置１００からの指示に応じてプロジェクタ４２３で投影をし、投影された机上等の投影面をデジタルカメラ４２１で撮像し、また投影面上でユーザの手の動きや物体の位置を認識する。

投影撮像装置１０２の外部構造及び内部構造の概要の一例について、図２を用いて説明する。

図２は、投影撮像装置１０２の正面図と右側面図である。内部構造の隠れ線は破線で表現している。投影撮像装置１０２は、デジタルカメラ４２１とジェスチャセンサ４２２とプロジェクタ４２３（投影部）とを格納する収納部２０３を備え、収納部２０３は底面２０１と左側面２０２ａと右側面２０２ｂとで左右から挟みこんで固定している。

また、上面２０４が左側面２０２ａと右側面２０２ｂとの上部に設置され、上面２０４の下側にはプロジェクタ４２３から照射される光を反射するための反射鏡２０７を備える。すなわち、プロジェクタ４２３は第１の開口部２０５を通してこの反射鏡２０７に向けて投影できるよう、設置されている。デジタルカメラ４２１も同様に、反射鏡２０７で反射した投影面を撮像するため、デジタルカメラ４２１は第２の開口部２０６を通して反射鏡２０７に向けて設置されている。

またジェスチャセンサ４２２は、例えば赤外線を用いた深度センサである。これはプロジェクタ４２３が投影した投影面上におけるユーザの手や紙文書（以下、書類という。）等の位置や動きを特定するために、ジェスチャセンサ４２２からこれらの物体までの距離を算出する。ジェスチャセンサ４２２は、近赤外線のドットパターンを現実空間に投影し、このドットの形や間隔を取得することで物体までの距離を算出する。または、赤外線光を投影し、ジェスチャセンサ４２２が備えるカメラによって反射した赤外線光を読み取り、赤外線光が往復した時間を算出することで距離を算出する方式であってもよい。現実空間における物体の位置や動きを取得することができれば、ジェスチャセンサ４２２の距離の算出方式はどのような方式であってもよいし、ジェスチャセンサ４２２以外のセンサを用いてもよい。また、ジェスチャセンサ４２２もデジタルカメラ４２１と同様に、第２の開口部２０６を通して反射鏡２０７に向けて設置されている。この反射鏡２０７に向けて赤外線を照射する。

投影撮像装置１０２は以上のように大きく３つの装置を内包しており、これらがそれぞれ情報処理装置１００と通信可能に接続されている。本実施形態においては、情報処理装置１００と投影撮像装置１０２とが異なる筐体であるが、同一の筐体であってもよい。すなわち、投影撮像装置１０２に更に情報処理装置１００を内包してもよい。

次に図３を用いて、本実施形態における投影撮像装置１０２とユーザとの位置関係について説明する。投影撮像装置１０２は、机上３０３に設置される。本実施形態では机を挟んで二人のユーザがいる。銀行窓口で商品説明を行うテラー３０１と、商品説明を受ける顧客３０２である。

テラー３０１は、入力デバイス４０９を操作して情報処理装置１００に画面の表示指示を行うと、情報処理装置１００からプロジェクタ４２３に対して当該画面の投影指示が送信される。プロジェクタ４２３はこれを受けると反射鏡２０７に向かって左右を反転させた画面を投影する。これは、反射鏡２０７で反射することにより、投影面３０４に投影される像が左右反転してしまうからである。こうすると、投影面３０４に指示した画面が投影される。画面を左右に反転させる処理は、情報処理装置１００が行ってもよいし、プロジェクタ４２３が行ってもよい。また投影面３０４は、投影される光が見やすいよう模様のない白い面であることが望ましい。

プロジェクタ４２３から照射された光が反射鏡２０７で図３の破線の矢印で示すような方向に反射されると、その光が投影面３０４に投影される。この光によって表現される画面を見て、テラー３０１が顧客３０２に商品説明を行う。本実施形態では、このようにテラー３０１と顧客３０２とが机を挟んで位置しており、それぞれが投影された画面を見ながら操作していく形態を前提として説明を行う。

図４は、情報処理装置１００及び投影撮像装置１０２のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段に相当する）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、情報処理装置１００の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ４０５は、キーボードやマウス等の入力デバイス４０９、更には投影撮像装置１０２のデジタルカメラ４２１やジェスチャセンサ４２２との入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ４０６は、ディスプレイ４１０や投影撮像装置１０２のプロジェクタ４２３等の表示装置や投影装置への表示を制御する。ディスプレイ４１０は例えばＣＲＴや液晶ディスプレイである。更にビデオコントローラ４０６は、ディスプレイ４１０と投影撮像装置１０２のプロジェクタ４２３とそれぞれに対して同じ画面または異なる画面を表示及び投影指示する。これらは、いわゆるミラーリングやマルチモニタが可能である。

メモリコントローラ４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ４０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示や投影撮像装置１０２のプロジェクタ４２３での投影を可能としている。また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。更にＣＰＵ４０１は、投影面３０４に投影された画面をユーザの手でタッチすることによっても、ユーザ指示を可能とする。すなわち、ジェスチャセンサ４２２で検知した現実空間におけるユーザの手の座標位置に応じて、画面のボタン等が押下されたのか否かを検知し、ＣＰＵ４０１に動作を実行させる。

本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。例えば、住宅ローンなどの説明で使用する文書ファイルはシートＤＢ２２００に格納されており、これを外部メモリ４１１は格納している。

次に図５を用いてサーバ装置２００のハードウェア構成を説明する。尚、図５はサーバ装置２００のハードウェア構成の一例であり、これに限定されない。

ＣＰＵ５０１は、システムバス５０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ５０２あるいは外部メモリ５１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳという。）や、サーバ装置２００の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ５０３は、ＣＰＵ５０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ５０１は、処理の実行に際して必要なプログラム等をＲＡＭ５０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、汎用入出力コントローラ５０５は、キーボードやマウス等の入力デバイス５０９の入出力を制御する。これらは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス規格により接続される。

ビデオコントローラ５０６は、ディスプレイ５１０への表示を制御する。ディスプレイ５１０は例えばＣＲＴや液晶ディスプレイである。

メモリコントローラ５０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスクやフレキシブルディスク或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ５１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ５０８は、ネットワークを介して、外部機器と接続及び通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ５０１は、例えばＲＡＭ５０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ５１０上での表示を可能としている。また、ＣＰＵ５０１は、ディスプレイ５１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明のサーバ装置２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ５１１に記録されており、必要に応じてＲＡＭ５０３にロードされることによりＣＰＵ５０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや本発明で使用する商品ごとのテンプレートデータ、各種情報テーブルは外部メモリ５１１に格納されている。

次に図６を用いて情報処理装置１００とサーバ装置２００のモジュール構成について説明する。なお、図６の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１００は機能部として、記憶部６０１と、表示制御部６０２と、投影制御部６０３と、撮像制御部６０４と、センサ制御部６０５と、座標変換部６０６と、操作検知部６０７と、通信制御部６０８とを備える。

記憶部６０１は、後述する各種テーブルの情報や各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。

表示制御部６０２は、情報処理装置１００と通信可能に接続されたディスプレイ４１０の表示を制御するための機能部である。表示制御部６０２から画面等の表示指示がなされると、ビデオコントローラ４０６を介してディスプレイ４１０に表示指示が送信される。そして、ディスプレイ４１０はこの指示を受信すると、指示に従って画面等を表示する。

投影制御部６０３は、情報処理装置１００と通信可能に接続されたプロジェクタ４２３の投影を制御するための機能部である。投影制御部６０３から画面等の投影指示がなされると、表示制御部６０２と同様にビデオコントローラ４０６を介してプロジェクタ４２３に投影指示が送信される。そして、プロジェクタ４２３はこの指示を受信すると、指示に従って画面等を現実空間に投影する。

撮像制御部６０４は、情報処理装置１００と通信可能に接続されたデジタルカメラ４２１の撮像を制御するための機能部である。撮像制御部６０４から投影面３０４の撮像指示が出されると、汎用入出力コントローラ４０５を介してデジタルカメラ４２１に撮像指示がなされる。デジタルカメラ４２１はこの指示を受信すると、撮像を行い、撮像により生成された画像データを情報処理装置１００に送信する。撮像制御部６０４は、これを受け取り、画像データを左右反転させた上で記憶部６０１が外部メモリ４１１等に記憶する。前述した通り、デジタルカメラ４２１は反射鏡２０７に写った像を撮像するため左右が反転している。これを補正するために、記憶部６０１で画像データを記憶する前に、撮像制御部６０４がこの画像データを左右反転する。画像データの台形補正なども行う。

センサ制御部６０５は、情報処理装置１００と通信可能に接続されたジェスチャセンサ４２２から送信される、投影面３０４における現実空間の情報（物体の有無や位置等）を受信するための機能部である。ジェスチャセンサ４２２が検出した現実空間の情報は、ジェスチャセンサ４２２から情報処理装置１００に対して逐一送信される。センサ制御部６０５はこれを受信し、後述する座標変換部６０６に渡す。

座標変換部６０６は、センサ制御部６０５が受信した現実空間の情報に含まれる、投影面３０４にある物体の位置を示す座標値を変換するための機能部である。座標変換部６０６は、この座標値を投影面３０４に投影された画面における座標値に変換する。すなわち、ジェスチャセンサ４２２で検知した座標値が、情報処理装置１００が管理する画面のどの座標値に該当するのかを、この座標変換部６０６を用いて特定する。尚、座標変換の方法は従来技術を用いるため詳細な説明は省略する。

操作検知部６０７は、ユーザからの操作を検知するための機能部である。情報処理装置１００に接続された入力デバイス４０９を通じて送信されるユーザからの指示を検知したり、投影面３０４に投影された画面でユーザが行った指示を検知したりする。後者の指示の検知は、投影面３０４において検知した物体の座標値を座標変換部６０６で変換することにより画面上のどのボタンが押下されたのかを検知したり、書類が置かれることにより書類の取込が指示されたのかを検知したりする。

通信制御部６０８は、情報処理装置１００とサーバ装置２００との通信を制御するための機能部である。通信制御部６０８は、情報処理装置１００とサーバ装置２００との情報の送受信を制御する。

サーバ装置２００は機能部として、記憶部６１１と、表示制御部６１２と、通信制御部６１３と、テンプレート管理部６１４と、テーブル管理部６１５と、ＰＤＦデータ生成部６１６とを備える。

記憶部６１１は、後述する各種画面を構成する情報を記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、記憶部６１１は、後述する通信制御部６１３で受信した情報を記憶する機能も有する。

表示制御部６１２は、サーバ装置２００のディスプレイ５１０の表示を制御するための機能部である。表示制御部６１２から画面等の表示指示がなされると、ビデオコントローラ５０６を介してディスプレイ５１０に表示指示が送信される。そして、ディスプレイ５１０はこの指示を受信すると、指示に従って画面等を表示する。

通信制御部６１３は、サーバ装置２００と情報処理装置１００との通信を制御するための機能部である。通信制御部６１３は、サーバ装置２００と情報処理装置１００との情報の送受信を制御する。

テンプレート管理部６１４は、サーバ装置２００の外部メモリ５１１に記憶された帳票のテンプレートを管理する機能部である。

テーブル管理部６１５は、サーバ装置２００に外部メモリ５１１に記憶された各種テーブルを管理する機能部である。

ＰＤＦデータ生成部６１６は、情報処理装置１００から受けたＰＤＦデータ生成指示に基づいてテンプレートと該当するテーブルの情報に基づいてＰＤＦデータを生成する機能部である。

（第１の実施形態）
次に第１の実施形態について図７のフローチャートを用いて説明する。図７は本発明の実施形態における一連の流れを示すフローチャートである。

ステップＳ７０１では、情報処理装置１００のＣＰＵ４０１は、テラー３０１からの指示に応じて外部メモリ４１１等に記憶された投影アプリケーションを起動する。投影アプリケーションは、後述するステップＳ７０２乃至ステップＳ７０８の各処理を実行するためのアプリケーションである。投影アプリケーションを動作させることにより、投影面３０４に商品説明のための各種画面をプロジェクタ４２３で投影できるようになる。

ステップＳ７０２では、情報処理装置１００のＣＰＵ４０１は、図１０に示すような顧客ＩＤ入力画面１０００をディスプレイ４１０に表示する。顧客ＩＤ入力画面１０００は顧客ＩＤ入力欄１００１と次へボタン１００２とを備えている。顧客ＩＤ入力欄１００１はテラー３０１が対応する顧客３０２を識別するためのＩＤである顧客ＩＤ１７０１（ユーザ情報に相当する）を入力する欄である。次へボタン１００２は押下を受け付けることで次の処理に移すためのボタンである。

顧客ＩＤ１７０１は図１７に示す顧客ＩＤテーブル１７００に格納されている。顧客ＩＤテーブル１７００には顧客ＩＤ１７０１と顧客名１７０２が対応付けて格納されており、顧客ＩＤ１７０１は顧客を一意に識別するＩＤである。顧客名１７０２は顧客の名前である。

ステップＳ７０３では、情報処理装置１００のＣＰＵ４０１は、顧客ＩＤ１７０１の入力を入力デバイス４０９により受け付ける（ユーザ情報受付手段に相当する）。

ステップＳ７０４では、情報処理装置１００のＣＰＵ４０１は、次へボタン１００２の押下を受け付ける。

ステップＳ７０５では、情報処理装置１００のＣＰＵ４０１は、メニュー画面１１００をディスプレイ４１０に表示する。例えば図１１に示すメニュー画面１１００である。メニュー画面１１００には住宅ローンボタン１１０１と個人向け国債ボタン１１０２と終了ボタン１１０３とが配置されている。なお、メニュー画面１１００は実施形態の説明のための一例であって、これに限定されない。住宅ローンボタン１１０１と個人向け国債ボタン１１０２は、商品ＩＤ２２０１（商品情報に相当する）が紐づけられており、ユーザによる押下を受け付けることで金融商品の説明を開始するための商品説明ボタンである。終了ボタン１１０３は投影アプリケーションを終了させるためのボタンである。

ステップＳ７０６では、情報処理装置１００のＣＰＵ４０１は、商品説明ボタンが押下されたか否かを判定する。具体的には図１１の商品説明ボタンであるメニュー画面１１００の住宅ローンボタン１１０１と個人向け国債ボタン１１０２が押下されたか否かを判定する。商品説明ボタンが押下されたと判定した場合は処理をステップＳ７０９に進め、商品説明ボタンが押下されないと判定した場合は処理をステップＳ７０７に進める。

ステップＳ７０７では、情報処理装置１００のＣＰＵ４０１は、終了ボタン１１０３が押下されたか否かを判定する。終了ボタン１１０３が押下されたと判定した場合は処理をステップＳ７０８に進め、終了ボタン１１０３が押下されないと判定した場合は処理をステップＳ７０６に戻す。

ステップＳ７０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０１で起動した投影アプリケーションを終了させる。

ステップＳ７０９では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０６で押下を検知した商品説明ボタンに対応付けられた商品ＩＤ２２０１を特定する。商品ＩＤ２２０１は外部メモリ４１１に記憶されるシートＤＢ２２００（投影データに相当する）に格納されている。シートＤＢ２２００には、図２２に示すように、住宅ローン、個人向け国債などの金融商品ごとにＧＵＩ構成情報２２０１−ａとＧＵＩシート情報２２０１−ｂが格納されている。ＧＵＩ構成情報２２０１−ａはそれぞれにおける手続きの推移と利用するシート画像を記述したＧＵＩ構成情報が格納されている。本実施形態では、この内、住宅ローン２２０１を例にして説明するので、それに含まれるＧＵＩ構成情報２２０１−ａについて説明する。このＧＵＩ構成情報２２０１−ａは、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシート画像の表示形式を記述するＧＵＩシート情報２２０１−ｂを特定する情報が記述されている。

テラー３０１と顧客３０２との間の手続きとしては、例えば、（１）商品説明、（２）書類読取、（３）今後の手続きの説明の、３段階がある。そして、図２２のＧＵＩシート情報２２０１−ｂでは、（１）〜（３）の各手続において投影するシート画像（ＧＵＩ）の表示形態を記述するフォーム情報（「顧客登録フォーム」、「商品説明フォーム」、．．．）が管理される。

ステップＳ７１０では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０９で特定した商品ＩＤ２２０１に基づいて、シートＤＢ２２００の情報を取得し、商品説明画面１２００を投影する。

商品説明画面１２００は例えば図１２に示す商品説明画面１２００である。商品説明画面１２００は、テラー側から見て正立して見える領域と、顧客から見て正立して見える領域で構成されている。商品説明のためのサブシートを指定する領域であるサブシート１２０３、次の手続きへ移行することを指示する次へボタン１２０２、中断を指示する中断ボタン１２０１が配置されている。図示では、サブシート１２０３が選択状態（デフォルト選択）となっており、その選択した領域のシート１２０４（の本来のサイズ）が顧客領域に表示されていることを示している。

ステップＳ７１１では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１０で表示した商品説明画面１２００のサブシート１２０３が選択されたか否かを判定する。サブシート１２０３が選択された場合は処理をステップＳ７１２に進める。サブシート１２０３が選択されないと判定した場合は処理をステップＳ７１４に進める。

ステップＳ７１２では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１１で選択されたサブシート１２０３に対応する文書データを取得する。より具体的には、ＧＵＩシート情報２２０１―ｂの中に格納される文書データを読み出すことで取得する。

ステップＳ７１３では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７１２で取得した文書データを顧客領域に表示する。例えば図１２のようなイメージである。このように、サブシートの選択により、表示する文書データを切り替えながらテラー３０１は顧客３０２に商品の説明を行っていく。

ステップＳ７１４では、情報処理装置１００のＣＰＵ４０１は、書類取り込み１２０５が押下されたか否かを判定する。書類取り込み１２０５が押下されたと判定した場合は処理をステップＳ７１５に進める。書類取り込み１２０５が押下されないと判定した場合は処理をステップＳ７１６に進める。

ステップＳ７１５では、情報処理装置１００のＣＰＵ４０１は、投影面上に置かれた書類を撮像する撮像処理を行う。撮像処理の詳細な処理は後の図８を用いて説明する。

ステップＳ７１６では、情報処理装置１００のＣＰＵ４０１は、今後のお手続きメニュー１２０６の押下を受け付けたか否かを判定する。今後のお手続きメニュー１２０６の押下を受け付けたと判定した場合は処理をステップＳ７１７に進める。今後のお手続きメニュー１２０６の押下を受け付けないと判定した場合は処理をステップＳ７１８に進める。

ステップＳ７１７では、情報処理装置１００のＣＰＵ４０１は、投影面に今後のお手続きについて顧客に対して説明する画面である図１５に示す案内画面１５００を表示する処理を行う。案内画面１５００の表示処理の詳細は後の図９のフローチャートで説明する。

ステップＳ７１８では、情報処理装置１００のＣＰＵ４０１は、不図示の商品説明を終了するための終了ボタンが押下されたか否かを判定する。終了ボタンが押下されたと判定した場合は処理をステップＳ７０５に戻す。終了ボタンが押下されないと判定した場合は、処理をステップＳ７１１に戻す。

以上で、図７に示すフローチャートの説明を終了する。

次に図７に示す撮像処理の詳細を、図８に示すフローチャートを用いて説明する。

ステップＳ８０１では、情報処理装置１００のＣＰＵ４０１は、図１３に示すような取り込みを行いたい書類対象物の書類一覧画面１３００をプロジェクタ４２３に投影させて、投影面３０４に表示する。書類一覧画面１３００（選択画面に相当する）は、例えば住宅ローンを組むために必要な書類の一覧であり、取り込みを行いたい書類を選択する画面として用いられる。なお、書類一覧画面１３００は、図１３に示す通り、テラー３０１側と顧客３０２側の双方に提出が必要な書類種別（本人確認書類等、対象物に相当する）の領域（以下、書類種別欄）を表示することが好ましい。

ステップＳ８０２では、情報処理装置１００のＣＰＵ４０１は、書類一覧画面１３００に表示された書類に対応する領域（以下、書類種別欄とも称する）の選択を受け付けることで、いずれかの書類に対する選択を受け付ける（選択受付手段に相当する）。書類種別には書類ＩＤ１８０１が対応付けられており、選択を受け付けた書類ＩＤ１８０１をＲＡＭ４０３に一時記憶する。すなわち、この書類種別欄のいずれかに対するタッチ操作を検知すると当該書類が取り込みを行いたい書類として選択される。

ステップＳ８０３では、情報処理装置１００のＣＰＵ４０１は、図１４に示す書類読取指示画面１４００を投影面３０４に投影する。書類読取指示画面１４００には、書類読取ボタン１４０１とキャンセルボタン１４０２が配置されている。書類読取指示画面１４００に運転免許証１４０３（例であってこれに限定されない）が載置されると、運転免許証１４０３の矩形を特定し、矩形に応じて枠１４０４を投影する。これによりユーザは情報処理装置１００が運転免許証１４０３を認識していることを把握することができる。そして、ユーザより書類読取ボタン１４０１を押下されると投影面３０４を撮像する。

ステップＳ８０４では、情報処理装置１００のＣＰＵ４０１は、書類読取指示画面１４００上に書類が置かれたか否かを判定する。本実施形態では、矩形の物体が載置されたか否かをジェスチャセンサ４２２によって判定する。書類が置かれたか否かの判定は、一例であって、デジタルカメラ４２１から取得する画像の画像処理によって判定してもよい。情報処理装置１００は、書類が置かれるまで待機し、書類が置かれたと判定した場合、処理をステップＳ８０５に進める。

ステップＳ８０５では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０４で書類読取指示画面１４００上に置かれたと判定した書類の位置と大きさを特定する。より具体的には、ジェスチャセンサ４２２から送られる情報に基づいて書類の大きさと位置を規定する投影面３０４上の２点の座標を特定する。

ステップＳ８０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０５で特定した２点の座標が示す矩形を囲う枠１４０４を表示させる。この表示を行うことで、ユーザは情報処理装置が書類を認識しているということを把握できる。

ステップＳ８０７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０６で表示された書類読取ボタン１４０１が押下されたか否かを判定する。書類読取ボタン１４０１が押下されたと判定した場合は処理をステップＳ８０８に進める。書類読取ボタン１４０１が押下されないと判定した場合は処理をステップＳ８０４に戻す。

ステップＳ８０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８０６で表示した枠１４０４を非表示にするよう制御する。ここで枠１４０４を非表示にするのは、デジタルカメラ４２１で撮像する際に画像のホワイトバランスに影響を及ぼさないためである。

ステップＳ８０９では、情報処理装置１００のＣＰＵ４０１は、投影面３０４をデジタルカメラ４２１で撮像するよう撮像指示を行う（画像データ制御手段に相当する）。

ステップＳ８１０では、情報処理装置１００のＣＰＵ４０１は、撮像を行っていることがわかるアニメーションを投影面３０４に投影する。アニメーションを投影することで、撮像中であることをユーザに認識させることができる。

ステップＳ８１１では、情報処理装置１００のＣＰＵ４０１は、デジタルカメラ４２１で撮像した画像を保存する。ここで保存する画像は投影面３０４全体を写すものであり、のちの処理で書類に相当する部分を切り出して保存する必要がある。

ステップＳ８１２では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１１で保存した画像から、ステップＳ８０５で取得した書類の大きさ、位置に基づいて書類に相当する画像を切り出す。より具体的にはステップＳ８０５で取得した２点の座標からなる矩形が示す領域をステップＳ８１１で保存した画像から切り出す。

ステップＳ８１３では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１２で切り出した画像を外部メモリ４１１に保存する。

ステップＳ８１４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１３で保存した画像をリサイズした画像であるサムネイル画像を外部メモリ４１１に保存する。

ステップＳ８１５では、情報処理装置１００のＣＰＵ４０１は、不図示の完了ボタンを書類読取指示画面１４００に表示する。

ステップＳ８１６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１５で表示した完了ボタンを押下されたか、キャンセルボタン１４０２を押下されたかを判定する。完了ボタンが押下されたと判定した場合は処理をステップＳ８１８に進め、キャンセルボタン１４０２を押下されたと判定した場合は処理をステップＳ８１７に進める。

ステップＳ８１７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ８１３とステップＳ８１４で保存した画像を削除する。これにより、不要となる書類の画像を削除することができる。

ステップＳ８１８では、情報処理装置１００のＣＰＵ４０１は、サーバ装置２００に対してステップＳ８０２で選択を受け付けた書類に対応する撮像フラグを立てる指示を送信する。サーバ装置２００では、書類を撮像したか否かの情報を管理している。画像は情報処理装置１００の外部メモリ４１１で記憶をする。撮像フラグを立てる指示の中には、ステップＳ８０２で選択を受け付けた書類種別に対応する書類ＩＤ１８０１が含まれている。また、ステップＳ８１３とステップＳ８１４で保存した撮像画像とサムネイル画像とをサーバ装置２００に送信する。ここで、サーバ装置２００に撮像画像とサムネイル画像を送信することで、撮像画像の管理が容易になり、さらにサムネイル画像を用意書類一覧画面１６００で表示することを可能にするためである。上記説明したサムネイル画像の生成及び表示は、必須の構成ではないが、無事に読み取りが終了した場合に、タッチ操作を検知した書類の枠に読み取った画像データのサムネイル画像を表示することにより、取り込みを行いたい複数の書類のうち、いずれが既に取り込まれているのかを容易に確認することができる。図１３はこのような書類一覧画面１３００を例示したものであり、運転免許証種別１３０３に対するタッチ操作を検知すると、運転免許証を読み込むために書類読取指示画面１４００が表示される。そして、顧客３０２が投影面３０４に置いた運転免許証が撮像される。撮像が完了すると、書類一覧画面１３００に戻り、テラー３０１側と顧客３０２側の双方の運転免許証の領域に取り込んだ画像のサムネイル画像が表示される。

ステップＳ８１９では、情報処理装置１００のＣＰＵ４０１は、入力デバイス４０９より、ディスプレイ４１０に表示する次のワークフローへ移動するボタンの選択を受け付けたか否かを判定する。次のワークフローへ移動するボタンの選択を受け付けないと判定した場合は処理をステップＳ８０１に戻し、次のワークフローへ移動するボタンの選択を受け付けた場合には、本フローを終了させ、撮像処理の次の処理を行う。

ステップＳ８２０では、サーバ装置２００のＣＰＵ５０１は、情報処理装置１００から送信された撮像フラグを立てる指示を受信する。撮像フラグを立てる指示と併せて送信される撮像画像とサムネイル画像も受信する。

ステップＳ８２１では、サーバ装置２００のＣＰＵ５０１は、ステップＳ８２０で受信した撮像画像とサムネイル画像とを外部メモリ５１１に保存する処理を行う（管理手段に相当する）。

ステップＳ８２２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ８２０の撮像フラグを立てる指示の中に含まれる書類ＩＤ１８０１に対応する書類テーブル１８００の撮像フラグ１８０５を立てる。撮像画像１８０３には、ステップＳ８２１で保存した撮像画像が格納されている外部メモリ５１１のファイルパスを格納する。サムネイル画像１８０４には、ステップＳ８２１で保存したサムネイル画像が格納されている外部メモリ５１１のファイルパスを格納する。図１８に示す書類テーブル１８００は顧客ＩＤ１７０１と商品ＩＤ２２０１に対応づいたデータテーブルであり、書類ＩＤ１８０１、名称１８０２、撮像画像１８０３、撮像フラグ１８０５が格納されている。書類ＩＤ１８０１は、書類種別を一意に識別するためのＩＤである。名称１８０２は書類種別の名前を示すものである。撮像画像１８０３は、サーバ装置２００の外部メモリ５１１に格納されている撮像画像のファイルパスを示すものである。サムネイル画像１８０４は、サーバ装置２００の外部メモリ５１１に格納されているサムネイル画像のファイルパスを示すものである。撮像フラグ１８０５は既に撮像（デジタルカメラ４２１による書類の取り込みを示す）がされているか否かを示すフラグである。

以上で、図８に示すフローチャートの説明を終了する。

次に図７に示す今後のお手続き表示処理の詳細な説明を、図９に示すフローチャートを用いて説明を行う。

ステップＳ９０１では、情報処理装置１００のＣＰＵ４０１は、投影面３０４に案内画面１５００を投影することにより表示する。案内画面１５００には今後の申請に係る手続きとそれに要る期間についての記載がある画面であり、終了ボタン１５０１と用意書類一覧ボタン１５０２が設定されている。終了ボタン１５０１の押下を受け付けると、今後のお手続きのメニューを終了する。テラー３０１は、金融商品を申し込むために撮像が必要な顧客３０２の書類の一覧を投影面３０４に表示させたいとき、用意書類一覧ボタン１５０２をタッチする。用意書類一覧ボタン１５０２のタッチ操作を受け付けると、情報処理装置１００はサーバ装置２００に対してＰＤＦデータの作成指示を送信する。サーバ装置２００が作成したＰＤＦデータを情報処理装置１００が受信すると、用意書類一覧画面１６００を投影面３０４に表示する。用意書類一覧画面１６００の説明は後述する。案内画面１５００は一例であってこれに限定されない。

ステップＳ９０２では、情報処理装置１００のＣＰＵ４０１は、投影面３０４上の用意書類一覧ボタン１５０２・その他のボタンを押下されたか判断する。用意書類一覧ボタン１５０２をタッチされた場合、ステップＳ９０４に進める。その他のボタンをタッチした場合、ステップＳ９０３に進める。

ステップＳ９０３では、情報処理装置１００のＣＰＵ４０１は、押下されたボタンに対応する処理を行う。例えば終了ボタン１５０１が押下された場合には、今後のお手続き処理を終了させる処理を行う。押下されたボタンに対応する処理を行ったあと、処理を終了させる。

ステップＳ９０４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ７０３で入力を受け付けた顧客ＩＤ１７０１とステップＳ７１２で取得した商品ＩＤ２２０１と、ステップＳ８１４で保存したサムネイル画像を取得する。

ステップＳ９０５では、サーバ装置２００のＣＰＵ５０１は、サーバ装置２００に対してＰＤＦデータの作成指示を行う。ここでいうＰＤＦデータとは上述したように金融商品を申し込むために撮像が必要な顧客３０２の書類の一覧を示すためのＰＤＦデータである。ステップＳ９０４で取得した顧客ＩＤ１７０１と商品ＩＤ２２０１とサムネイル画像とをあわせてサーバ装置２００に対して送信する。

ステップＳ９０６では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０５で送信されたＰＤＦデータの作成指示を受信する。

ステップＳ９０７では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０６で受信したＰＤＦデータの作成指示に含まれる商品ＩＤ２２０１に対応するテンプレートのフォームデータであるテンプレートフォーム１９０１を取得する。テンプレートのフォームは図１９に示すテンプレートテーブル１９００をもとに、テンプレートフォーム１９０１を取得する。テンプレートテーブル１９００にはテンプレートフォーム１９０１と商品ＩＤ２２０１が対応付けて格納されている。

ステップＳ９０８では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０７で取得したテンプレートフォーム１９０１に対応して外部メモリ５１１に記憶されている書類テーブル１８００と領域テーブル２０００とを読み込む（参照する）。図２０に示す領域テーブル２０００には領域ＩＤ２００１、領域Ａ２００２、領域Ｂ２００３、書類ＩＤ１８０１が対応づいて格納している。領域ＩＤ２００１は、テンプレートフォーム１９０１に設定されている領域を一意に識別するＩＤである。領域Ａ２００２は、該当する書類の撮像フラグ１８０５が立っている場合に黒い四角の文字を貼り付けるための領域である。領域Ｂ２００３は、該当する書類の撮像フラグ１８０５が立っている場合に、該当する書類のサムネイル画像を貼り付けるための領域である。

ステップＳ９０９では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９から９１１の処理を行う対象を特定すべく、領域ＩＤ２００１を特定する。具体的には、未処理の領域ＩＤ２００１のうち領域ＩＤ２００１が小さいものを特定する。領域ＩＤ２００１を特定したのち、処理をステップＳ９０９に進める。

ステップＳ９１０では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９で特定した領域ＩＤ２００１に対応する書類ＩＤ１８０１を領域テーブル２０００をもとに特定する。

ステップＳ９１１では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９で特定した書類ＩＤ１８０１の撮像フラグ１８０５を判定する。撮像フラグ１８０５が立っていると判定した場合、処理をステップＳ９１２に進め、撮像フラグ１８０５が立っていないと判定した場合は処理をステップＳ９１３に進める。

ステップＳ９１２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０６で受信した書類ＩＤ１８０１に対応するサムネイル画像を領域Ｂ２００３に貼り付ける。また、書類ＩＤ１８０１に対応する領域Ａ２００２に外部メモリ５１１に記憶されている黒い四角の文字（例えば■）を挿入する。本実施形態では黒い四角の文字を挿入することとしたが、ユーザが識別可能であれば何でもよい。例えば図１６に示すＰＤＦデータ１６０２である。例えば運転免許証が撮像されている場合、図１６に示すように黒い四角の文字１６０３とサムネイル画像１６０４とを領域Ａ２００２と領域Ｂ２００３に貼り付ける。これにより、顧客３０２は、既に撮像が終了している書類と、まだ撮像していない書類とを簡単に把握することができる。さらにサムネイル画像を表示することで、ステップＳ８０２で選択を受け付けた書類種別とは異なる書類を取り込んでしまった場合に、誤りを発見することができる。具体的には、運転免許証のサムネイル画像の領域ではない領域（例えば図１６の同意書のサムネイル画像の領域）に運転免許証のサムネイル画像が貼り付けられている場合、誤りであることが簡単に発見できる。これによりテラー３０１は顧客３０２に用意すべき書類を正確に伝えることができる。

ステップＳ９１３では、サーバ装置２００のＣＰＵ５０１は、領域テーブル２０００の領域ＩＤ２００１に対する処理がすべて処理終了したか否かを判定する。すべての領域ＩＤ２００１の処理が終了したと判定した場合は、処理をステップＳ９１４に進める。すべての領域ＩＤ２００１の処理が終了しないと判定した場合は処理をステップＳ９０９に戻す。

ステップＳ９１４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ９０９乃至９１３の処理が終了したテンプレートデータの帳票データを生成する。帳票データを生成し、さらにＰＤＦデータを生成する。ここでＰＤＦデータを生成する理由は、情報処理装置１００で投影させるためである。

ステップＳ９１５では、サーバ装置２００のＣＰＵ５０１は、情報処理装置１００にステップＳ９１４で生成したＰＤＦデータを送信する。

ステップＳ９１６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１４で生成したＰＤＦデータを外部メモリ５１１に保存する。このようにＰＤＦデータを保存しておくことにより、顧客３０２が必要な書類を携えてテラー３０１のもとへ再度来た場合に、過去に、顧客３０２に見せたＰＤＦデータを再度投影し閲覧させることができ、前回までの状況の確認や必要な書類がそろっているか否かの確認を簡単にすることができる。ＰＤＦデータに関する情報は外部メモリ５１１に記憶されるＰＤＦデータテーブル２１００に格納される。図２１に示すＰＤＦデータテーブル２１００には、ＰＤＦ ＩＤ２１０１、ＰＤＦデータ２１０２、顧客ＩＤ１７０１、商品ＩＤ２２０１が対応付けて記憶される。ＰＤＦ ＩＤ２１０１は、ＰＤＦデータを一意に識別するためのＩＤである。ＰＤＦデータ２１０２は、ＰＤＦデータの格納場所を示す情報である。

ステップＳ９１７では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１５で送信されたＰＤＦデータを受信する。

ステップＳ９１８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ９１７で受信したＰＤＦデータを投影面３０４にプロジェクタ４２３で投影することで表示する（投影制御手段に相当する）。例えば図１６に示す用意書類一覧画面１６００（識別画面に相当する）である。顧客から正立する向きでステップＳ９１７で受信したＰＤＦデータ１６０２を表示させる。

以上で図９に示すフローチャートの説明を終了する。

このように、本実施形態においては、顧客に対する一連の商品説明のフローの中で、取り込みが必要な書類対象物が一覧表示された書類一覧画面を表示させている。このように、取り込みが終了した書類と取り込みが終了していない書類とがいずれであるかを把握できる用意書類一覧画面を投影表示させながら顧客に商品説明を行うことで、次回顧客が持参すべき書類を認識させることが可能となる。
以上が本発明の第１の実施形態の説明である。

（第２の実施形態）
第１の実施形態では、過去に書類の取り込みが行われた場合であっても、再来時には、投影アプリケーションの起動後の顧客ＩＤ入力を受け付けるとメニュー画面が表示されたが、本実施形態では、過去に書類の取り込みが行われている場合には、顧客ＩＤ入力後メニュー画面を表示するのではなく、顧客に対して前回表示させた取り込みが終了した書類と取り込みが終了していない書類とがいずれであるかを把握できる書類一覧画面を表示できる実施形態を説明する。つまり、顧客が日を改めて必要な書類を携えて来店した場合に、前回顧客が説明を受けた時に投影表示された用意書類一覧画面を表示する。このようにすることで、前回の来店時に撮像をすることができなかった書類を撮像する撮像モードに効率的に移行できるという効果がある。

第２の実施形態では、システム構成、ハードウェア構成、機能構成、画面例、データテーブルは、以下の変更点を除き第１の実施形態と同じである。図７が図２３、図９が図２６、図１８が図２７にそれぞれ対応するものであり、新たに図２４と図２５が追加されたものである。

第１の実施形態と同様の処理については説明を省略するものとし、第１の実施形態とは異なる処理について中心に説明を行う。

図２３は、本発明の第２の実施形態を説明するためのフローチャートである。

ステップＳ２３０１からステップＳ２３０３までは、図７のステップＳ７０１からステップＳ７０３までと対応するものである。そのため、ステップＳ２３０１からステップＳ２３０３までの説明は省略する。

ステップＳ２３０４では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１に対応する用意書類一覧画面２５００で表示するためのＰＤＦデータがサーバ装置２００に記憶されているか否かを確認する処理であるＰＤＦデータ確認処理を行う。ＰＤＦデータ確認処理の詳細な処理の説明は、図２４に示すフローチャートを用いて説明を行う。

図２４は、ＰＤＦデータ確認処理の詳細な処理を示したフローチャートである。

ステップＳ２４０１では、情報処理装置１００のＣＰＵ４０１は、顧客ＩＤに対応するＰＤＦデータの取得指示をサーバ装置２００に対して送信する。ＰＤＦデータの取得指示の中には、ステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１が含まれている。

ステップＳ２４０２では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０１で情報処理装置１００から送信されたＰＤＦデータの取得指示を受信する。

ステップＳ２４０３では、サーバ装置２００のＣＰＵ５０１は、外部メモリ５１１に記憶されるＰＤＦデータテーブル２１００を取得する。

ステップＳ２４０４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０２で受信したＰＤＦデータの取得指示に含まれる顧客ＩＤ１７０１に該当するデータがあるか否かを、ステップＳ２４０３で取得したＰＤＦデータテーブル２１００に対して検索する処理を行う。

ステップＳ２４０５では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０４で検索を実行した結果、該当するデータがあると判定された場合には処理をステップＳ２４０６に進め、該当するデータがないと判定された場合には、処理をステップＳ２４０７に進める。

ステップＳ２４０６では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０５で該当すると判定されたデータを特定し、特定したデータに対応するＰＤＦデータ２１０２を取得する。

ステップＳ２４０７では、サーバ装置２００のＣＰＵ５０１は、該当するデータが無かったと判定されたため、顧客ＩＤ１７０１に対応するＰＤＦデータが存在せず、取得することができなかった旨を示す情報を生成する。

ステップＳ２４０８では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２４０６でＰＤＦデータを取得することができていれば、取得できたＰＤＦデータと当該ＰＤＦデータのＰＤＦ ＩＤ２１０１、商品ＩＤ２２０１とを情報処理装置１００に対して送信する。一方で、ステップＳ２４０７でＰＤＦデータが存在せず、取得することができなかった旨を示す情報が生成されているのであれば、この生成された情報を情報処理装置１００に対して送信する。

ステップＳ２４０９では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０８で送信されたＰＤＦデータ（当該ＰＤＦデータのＰＤＦ ＩＤ２１０１、商品ＩＤ２２０１も含む）または生成された情報を受信する。

以上で、図２４に示すＰＤＦデータ確認処理の詳細な処理の流れの説明を終了する。
図２３の説明に戻る。

ステップＳ２３０５では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９でＰＤＦデータを受信したか否かを判定する。ＰＤＦデータを受信したと判定した場合には処理をステップＳ２３０８に進め、そうでない場合には、処理をステップＳ２３０９に進める。

ステップＳ２３０６では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９で受信したＰＤＦデータを投影面３０４に投影する。投影面３０４に投影される表示例が、図２５に示す用意書類一覧画面２５００である。用意書類一覧画面２５００にはＰＤＦデータ１６０２が表示される。また、書類取り込みボタン２５０１が設けられており、後述するように書類取り込みボタン２５０１の押下を投影面３０４上で受け付けることにより、顧客の書類を撮像することの可能な画面（書類読取指示画面１４００）に遷移可能な書類一覧画面１３００を表示することができる。このように用意書類一覧画面２５００に書類取り込みボタン２５０１を設けることで、顧客ＩＤ１７０１の入力をするだけで、前回撮像できなかった顧客の書類を撮像するための画面（過去の撮像履歴が反映された書類一覧画面１３００）を表示させることが可能となり、テラーの手間を軽減することが可能となる。

ステップＳ２３０７では、情報処理装置１００のＣＰＵ４０１は、用意書類一覧画面２５００に設けられた書類取り込みボタン２５０１の押下を受け付けたか否かを判定する。書類取り込みボタン２５０１の押下を受け付けたと判定した場合には処理をステップＳ２３０８に進め、そうでない場合には処理をステップＳ２３０９に進める。

ステップＳ２３０８では、情報処理装置１００のＣＰＵ４０１は、ステップＳ２４０９で受信した商品ＩＤ２２０１に対応する書類一覧画面１３００を取得する。書類一覧画面１３００は前述したように、過去の撮像履歴が反映されたものである。過去の書類の撮像履歴が反映された書類一覧画面１３００の生成方法について説明する。

書類一覧画面１３００のフォームについてはシートＤＢ２２００に記憶されている。情報処理装置１００が、サーバ装置２００の書類テーブル２７００に基づいて、（ステップＳ２３０３で入力を受け付けた）顧客ＩＤ１７０１と（ステップＳ２４０９で取得した）商品ＩＤ２２０１に対応するサムネイル画像をサーバ装置２００から取得する。さらに情報処理装置１００が（シートＤＢ２２００の）書類一覧画面１３００のフォームに設けられた領域にサーバ装置２００から取得したサムネイル画像を重畳させることによって、過去の書類の撮像履歴が反映された書類一覧画面１３００を生成することができる。なお、過去の撮像履歴が反映された書類一覧画面１３００の生成方法は一例であってこれに限定されない。

ステップＳ２３０９からステップＳ２３２２までは、図７のステップＳ７０５からステップＳ７１８までと対応するものである。そのため、ステップＳ２３０９からステップＳ２３２２までの説明は省略する。

また、第１の実施形態においては書類テーブル１８００では書類ＩＤ１８０１と、顧客ＩＤ１７０１と商品ＩＤ２２０１とが対応付いていることが明示的になっていなかったが、例えば図２７に示すように、書類ＩＤ１８０１とステップＳ２３０３で入力を受け付けた顧客ＩＤ１７０１とステップＳ２３１３で取得した商品ＩＤ２２０１とがそれぞれ対応付けて管理するような構成としても構わないものである。

次に第１の実施形態の図９に対応する図２６のフローチャートの説明を行う。

ステップＳ２６０１からステップＳ２６１３までの処理は図９のステップＳ９０１からステップＳ９１３までの処理と同様であるため説明を省略する。

ステップＳ２６１４では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２６０６で受信したＰＤＦデータの作成指示に含まれる顧客ＩＤ１７０１と商品ＩＤ２２０１に対応する（過去に作成された）ＰＤＦデータが、ＰＤＦデータテーブル２１００に記憶されている場合には、当該ＰＤＦデータを削除する。

ステップＳ２６１５では、サーバ装置２００のＣＰＵ５０１は、ステップＳ２６０６で受信したＰＤＦデータの作成指示に含まれる顧客ＩＤ１７０１と商品ＩＤ２２０１の撮像すべき書類の撮像フラグ１８０５がすべて立っているか否かを、書類テーブル２７００に基づいて判定する。撮像フラグ１８０５がすべて立っていると判定された場合には処理を終了させ、そうでないと判定された場合には処理をステップＳ２６１６に進め、ＰＤＦデータを生成する。

ステップＳ２６１６からステップＳ２６２０までの処理については、図９のステップＳ９１４からステップＳ９１８までの処理と同様であるため、説明を省略する。

このように、取り込みが終了した書類と取り込みが終了していない書類とを識別可能なＰＤＦデータを最新の状態で記憶しておくことで、毎回顧客が再来店した際に、直前に顧客が説明を受けた際に投影表示された用意書類一覧画面が表示されることになる。更に、撮像フラグがすべて立っている（必要な書類をすべて取り込んでいる）場合には、このような撮像が済んでいる書類と未だ住んでいない書類とを識別可能としたＰＤＦデータは不要となるため、ＰＤＦデータを削除することでＰＤＦデータの管理に係るテラーの作業負荷を軽減することができる。

以上で、本発明の第２の実施形態の説明を終了する。

以上により、本発明によれば画像データを取得すべき対象物の画像データが取得されているか否かをユーザに識別可能にする仕組みを提供することが可能な効果を奏する。

なお、本発明の実施形態においては、識別画面に相当する画面を用意書類一覧画面としているが、書類一覧画面１３００にサムネイル画像を表示させた画面であっても書類の取り込みが済んでいるか否かを識別可能にすることができ、当該書類一覧画面１３００を識別画面として採用してもよい。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 情報処理装置
１０２ 投影撮像装置
２００ 帳票サーバ
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ システムバス
４０５ 汎用入出力コントローラ
４０６ ビデオコントローラ
４０７ メモリコントローラ
４０８ 通信Ｉ／Ｆコントローラ
４０９ 入力デバイス
４１０ ディスプレイ
４１１ 外部メモリ
４２１ デジタルカメラ
４２２ ジェスチャセンサ
４２３ プロジェクタ
５０１ ＣＰＵ
５０２ ＲＡＭ
５０３ ＲＯＭ
５０４ システムバス
５０５ 汎用入出力コントローラ
５０６ ビデオコントローラ
５０７ メモリコントローラ
５０８ 通信Ｉ／Ｆコントローラ
５０９ 入力デバイス
５１０ ディスプレイ
５１１ 外部メモリ

Claims (15)

1. 投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段とを備えた情報処理システムであって、
   画像データを取得すべき対象物を記憶する記憶手段と、
   前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
   前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
   前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、
   前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、
   前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
   前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
   を特徴とする情報処理システム。
2. 前記投影制御手段は、前記２つの領域が相対する向きで投影されるように制御することを特徴とする請求項１に記載の情報処理システム。
3. 前記管理手段は、前記画像データ制御手段で取得された画像データをユーザ情報にも対応付けて管理していることを特徴とする請求項１または２に記載の情報処理システム。
4. ユーザを特定するユーザ情報の入力を受け付けるユーザ情報受付手段を更に備え、
   前記投影制御手段は、前記ユーザ情報受付手段で前記ユーザ情報の入力を受け付けた際に、過去に前記識別画面が投影されるように制御されていた場合には、前記ユーザ情報の前記識別画面が投影されるように制御することを特徴とする請求項３に記載の情報処理システム。
5. 前記投影制御手段は、前記ユーザ情報受付手段で前記ユーザ情報の入力を受け付けた際に、過去に前記識別画面が投影されるように制御されていなかった場合には、前記ユーザ情報の前記識別画面が投影されないように制御することを特徴とする請求項４に記載の情報処理システム。
6. 前記投影制御手段は、前記識別画面に、前記選択画面に遷移可能なボタンも投影し、前記投影面に対するユーザの操作により前記ボタンが選択された場合に、前記選択画面に遷移するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記情報処理システムは、前記投影面による投影により、ユーザに商品の内容の説明を行うために用いられるものであり、
   前記管理手段は、前記対象物が含まれる画像データを、前記商品を示す商品情報にも対応付けて管理していることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記選択受付手段は、前記選択画面に設けられた領域であって前記対象物に対応する領域の選択をユーザから受け付けることで、前記対象物の選択を受け付け、
   前記投影制御手段は、前記選択画面において、前記管理手段で管理されている画像データを、前記対象物に対応する前記領域に投影させるか否かで、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能にすることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 前記選択受付手段は、前記投影面上のユーザのジェスチャを取得することができるジェスチャセンサを介してユーザの操作を受け付けることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記投影制御手段は、前記識別画面を、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが一覧で確認可能な一覧画面として投影することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
11. 投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段と画像データを取得すべき対象物を記憶する記憶手段とを備えた情報処理システムの制御方法であって、
    前記情報処理システムが、
    前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付ステップと、
    前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御ステップと、
    前記画像データ制御ステップで取得された前記画像データを、前記選択受付ステップで選択を受け付けた前記対象物に対応付けて管理する管理ステップと、
    前記管理ステップで画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御ステップとを備え、
    前記投影制御ステップは、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
    前記選択受付ステップは、前記２つの領域のいずれからも選択を受け付け可能であること
    を特徴とする情報処理システムの制御方法。
12. 投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段と画像データを取得すべき対象物を記憶する記憶手段とを備えた情報処理システムで実行可能なプログラムであって、
    前記情報処理システムを、
    前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
    前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
    前記画像データ制御手段で取得された前記画像データを、前記選択受付手段で選択を受け付けた前記対象物に対応付けて管理する管理手段と、
    前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段として機能させ、
    前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
    前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
    を特徴とするプログラム。
13. 書類の画像データを対象物に対応づけて管理する管理手段と前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面を生成する画面生成手段とを備えるサーバ装置と通信可能な情報処理装置であり、投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段とを備えた情報処理装置であって、
    画像データを取得すべき対象物を記憶する記憶手段と、
    前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
    前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
    前記選択受付手段で選択を受け付けた対象物と、前記画像データ制御手段で取得された画像データを前記サーバ装置に送信する送信手段と、
    前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段とを備え、
    前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
    前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
    を特徴とする情報処理装置。
14. 書類の画像データを対象物に対応づけて管理する管理手段と前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面を生成する画面生成手段とを備えるサーバ装置と通信可能な情報処理装置であり、投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段と画像データを取得すべき対象物を記憶する記憶手段とを備えた情報処理装置の制御方法であって、
    前記情報処理装置が、
    前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付ステップと、
    前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御ステップと、
    前記選択受付ステップで選択を受け付けた対象物と、前記画像データ制御ステップで取得された画像データを前記サーバ装置に送信する送信ステップと、
    前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御ステップとを備え、
    前記投影制御ステップは、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
    前記選択受付ステップは、前記２つの領域のいずれからも選択を受け付け可能であること
    を特徴とする情報処理装置の制御方法。
15. 書類の画像データを対象物に対応づけて管理する管理手段と前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面を生成する画面生成手段とを備えるサーバ装置と通信可能な情報処理装置であり、投影面に投影データを投影する投影部と、前記投影面を撮像する撮像手段と画像データを取得すべき対象物を記憶する記憶手段とを備えた情報処理装置で実行可能なプログラムであって、
    前記情報処理装置を、
    前記投影面に投影された前記記憶手段に記憶された対象物の選択画面に対するユーザの操作により、前記対象物の選択を受け付ける選択受付手段と、
    前記撮像手段で前記投影面を撮像することで、前記投影面上に載置された書類の画像データを取得するように制御する画像データ制御手段と、
    前記選択受付手段で選択を受け付けた対象物と、前記画像データ制御手段で取得された画像データを前記サーバ装置に送信する送信手段と、
    前記サーバ装置の前記画面生成手段で生成された識別画面であって、前記管理手段で画像データが対応付けて管理されている対象物と、画像データが対応付けて管理されていない対象物とが識別可能な識別画面が前記投影部により投影されるように制御する投影制御手段として機能させ、
    前記投影制御手段は、前記投影部によって前記選択画面に１つの対象物に対応する２つの領域が投影されるよう制御し、
    前記選択受付手段は、前記２つの領域のいずれからも選択を受け付け可能であること
    を特徴とするプログラム。

Images