JP2020160807A - 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター - Google Patents

Abstract

【課題】操作面に対する指示体の位置を精度良く検出する。【解決手段】位置検出方法は、（ａ）第１カメラに対して指示体の操作面への影を実質的に撮像されないように設けられた第１照明部で照明を行い、第１カメラを用いて、操作面を背景とした指示体を撮影して、第１撮像画像を取得する工程と、（ｂ）第１カメラと異なる位置に設けられた第２カメラに対して指示体の操作面への影を実質的に撮像されないように設けられた第２照明部で照明を行い、第２カメラを用いて、操作面を背景とした指示体を撮影して、第２撮像画像を取得する工程と、（ｃ）第１撮像画像と第２撮像画像とを用いて、操作面に対する指示体の位置を検出する工程と、を備える。【選択図】図１０

Description

本開示は、指示体の位置を検出する技術に関するものである。

特許文献１には、投写画面をスクリーンに投写するとともに、指などの指示体を含む画像をカメラで撮像し、この撮像画像を用いて指示体の位置を検出することが可能なプロジェクターが開示されている。このプロジェクターは、指示体の先端がスクリーンに接している時に投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。このように、スクリーン上の投写画面を入力可能ユーザーインターフェースとして利用できるタイプのプロジェクターを、「インタラクティブプロジェクター」と呼ぶ。また、指示体を用いた指示の入力に使用される表面としてのスクリーン面を「操作面」とも呼ぶ。指示体の位置は、複数のカメラで撮像された複数の画像を用いて、三角測量を利用して決定される。

国際公開第２０１６／０９２６１７号公報

しかしながら、従来技術では、撮像画像における指示体と指示体の影とを判別して、指示体の位置を検出している。指示体と指示体の影との判別が十分でない場合等には、影の影響により、指示体の位置の検出精度が必ずしも十分でないという問題があった。

本開示の一形態によれば、操作面に対する指示体の位置を検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第１照明部で照明を行い、前記第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する工程と、（ｂ）前記第１カメラと異なる位置に設けられた第２カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第２照明部で照明を行い、前記第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｃ）前記第１撮像画像と前記第２撮像画像とを用いて、前記操作面に対する前記指示体の位置を検出する工程と、を備える。

本開示は、位置検出方法以外の種々の形態で実現することも可能であり、例えば、位置検出装置やインタラクティブプロジェクター、それらの方法又は装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の様々な形態で実現することができる。

第１実施形態におけるインタラクティブプロジェクションシステムの斜視図。 撮像画像に影が生じる場合の一例を示す図。 撮像画像に影が実質的に生じない場合の一例を示す図。 プロジェクターの拡大図。 第１照明部と第２照明部の他の例。 第１照明部と第２照明部の他の例。 第１照明部と第２照明部の他の例。 インタラクティブプロジェクションシステムの側面図。 インタラクティブプロジェクションシステムの正面図。 インタラクティブプロジェクターの機能ブロック図。 位置検出処理の手順を示すフローチャート。 ステップＳ１００における撮像処理の手順を示すフローチャート。 撮像処理の内容を示す説明図。 第２実施形態における位置検出システムの正面図。 位置検出システムの機能ブロック図。

Ａ．第１実施形態
図１は、第１実施形態におけるインタラクティブプロジェクションシステム８００の斜視図である。このシステム８００は、インタラクティブプロジェクター１００と、スクリーン板８２０とを有している。スクリーン板８２０の前面は、指示体８０を用いた指示の入力に使用される操作面ＳＳとして利用される。操作面ＳＳは、また、投写画面ＰＳが投写される投写面としても利用される。プロジェクター１００は壁面等に固定されており、スクリーン板８２０の前方かつ上方に設置されている。なお、図１では操作面ＳＳを鉛直に配置しているが、操作面ＳＳを水平に配置してこのシステム８００を使用することも可能である。図１では、スクリーン板８２０の前方方向がＺ方向で、上方方向がＹ方向で、右方向がＸ方向である。例えばＺ＝０として、操作面ＳＳの平面内の位置は２次元座標系（Ｘ，Ｙ）で検出できる。

プロジェクター１００は、画像をスクリーン板８２０に投写する投写レンズ２１０と、指示体８０を含む画像を撮影する第１カメラ３１０と第２カメラ３２０の２台のカメラと、指示体８０を検出するための光を照射し、第１カメラ３１０と第２カメラ３２０のそれぞれに対応した第１照明部４１０と第２照明部４２０の２台の照明部とを有する。

投写レンズ２１０は、操作面ＳＳ上に投写画面ＰＳを投写する。投写画面ＰＳは、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「操作面ＳＳ」とは、指示体８０を用いた指示の入力に使用される表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって操作面ＳＳ上に投写された画像の領域を意味する。

このインタラクティブプロジェクションシステム８００では、１つ又は複数の非発光の指示体８０を利用可能である。指示体８０としては、指やペンなどの非発光の物体を使用可能である。また、非発光の指示体８０の指示のための先端部は、赤外光に対する反射特性にすぐれ、さらには再帰反射特性を有することが好ましい。

第１カメラ３１０と第２カメラ３２０は、それぞれ操作面ＳＳの全体を撮影可能に設定され、操作面ＳＳを背景とした指示体８０の画像をそれぞれ撮影する機能を有する。第１カメラ３１０と第２カメラ３２０は、フィルター等の設置により特定波長領域の画像を撮影可能である。第１カメラ３１０と第２カメラ３２０は、第１照明部４１０と第２照明部４２０から照射された光のうち、操作面ＳＳと指示体８０で反射された光を受光することによって指示体８０を含む画像を作成する。本実施形態では、第１照明部４１０と第２照明部４２０は、検出光として赤外光を照射し、第１カメラ３１０と第２カメラ３２０は、赤外光の画像を撮影する。この画像において、指示体８０は、操作面ＳＳよりは明るい輝点として検出される。検出光としては、赤外光以外の光を用いてもよい。検出光として可視光を用いる場合には、インタラクティブプロジェクションシステム８００を、投写画面ＰＳの表示品質を低下させないように構成することが好ましい。

第１照明部４１０は、第１カメラ３１０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。図１の例では、第１照明部４１０は、第１カメラ３１０の周囲を囲うように配置された４つの照明素子４１１を含んでいる。第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影する時に、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。ここで、「影が実質的に生じない」とは、その画像を使用して指示体８０の３次元位置を求める処理に対して、指示体８０の影の影響が無い程度に影が薄いことを意味する。第２照明部４２０は、第２カメラ３２０の周囲を囲うように配置された４つの照明素子４２１を含んでいる。第２カメラ３２０も、第１照明部４１０と同様の構成及び機能を有しており、第２カメラ３２０の光軸の周囲を赤外光で照明する周囲照明部としての機能を有する。第１照明部４１０を上記の構成とすることにより、第１カメラ３１０は、操作面ＳＳと第１カメラ３１０と間に存在する指示体８０の操作面ＳＳへの影を実質的に撮影しない。また、第２照明部４２０を上記の構成とすることにより、第２カメラ３２０は、操作面ＳＳと第２カメラ３２０と間に存在する指示体８０の操作面ＳＳへの影を実質的に撮影しない。これらの様子を、図２及び図３を用いて説明する。

図２は、撮像画像に影が生じる場合の一例を示す図である。図２には、第１照明部４１０が消灯しオフ状態で、第１照明部４１０以外からの光がある場合における、指示体８０と操作面ＳＳの位置関係と、撮像画像とのイメージが示されている。図２では、第１照明部４１０以外からの光として、第２照明部４２０からの光や、第２照明部４２０以外からの光である外光を示している。図２の上段は、操作面ＳＳに沿う方向から指示体８０を見た図であり、図２の下段は、その時に第１カメラ３１０によって撮影された撮像画像ＩＭ１ａ、ＩＭ１ｂを示す。図２の左側「Ａ」は、指示体８０が操作面ＳＳから離れた状態であり、図２の右側「Ｂ」は、指示体８０が操作面に接触した状態である。図２では、第１照明部４１０がオフの状態であるので、撮像画像ＩＭ１ａ、ＩＭ１ｂには、第１照明部４１０以外の光による、指示体８０の操作面ＳＳへの影が撮影される。指示体８０と操作面ＳＳが離れている状態「Ａ」における撮像画像ＩＭ１ａでは、指示体８０と影ＳＨとは区別でき、指示体８０の特徴点を検出できる。しかし、指示体８０と操作面ＳＳが接触している状態「Ｂ」における撮像画像ＩＭ１ｂでは、指示体８０と影ＳＨとは区別は容易ではなく、指示体８０の特徴点を検出する精度が低下する。

図３は、撮像画像に実質的に影が生じない場合の一例を示す図である。図３には、第１照明部４１０が点灯しオン状態である場合における、指示体８０と操作面ＳＳの位置関係と、撮像画像とのイメージが示されている。図３の上段は、操作面ＳＳに沿う方向から指示体８０を見た図であり、図３の下段は、その時に第１カメラ３１０によって撮影された撮像画像ＩＭ１ｃ、ＩＭ１ｄを示す。図３の左側「Ｃ」は、指示体８０が操作面ＳＳから離れた状態であり、図３の右側「Ｄ」は、指示体８０が操作面に接触した状態である。図３には、図２において影ＳＨが表れていた領域Ｒが示されている。図３では、第１照明部４１０がオンの状態であり、第１照明部４１０が周囲照明部として機能するので、撮像画像ＩＭ１ｃ、ＩＭ１ｄには、指示体８０の操作面ＳＳへの影は実質的に撮影されない。指示体８０と操作面ＳＳが離れている状態「Ｃ」の撮像画像ＩＭ１ｃにおいて、指示体８０の特徴点を容易に検出できる。また、指示体８０と操作面ＳＳが接触の状態「Ｄ」の撮像画像ＩＭ１ｄにおいても、指示体８０の影はＳＨ実質的に撮影されないので、指示体８０の特徴点を検出する精度が向上する。なお、図３において、第２照明部４２０をオフとすれば、第１カメラ３１０で撮影した画像において、第２照明部４２０による指示体８０の影をよりいっそう含まないようにすることができる。

図４は、プロジェクター１００の拡大図である。本実施形態におけるプロジェクター１００では、上述したように、第１照明部４１０を構成する照明素子４１１の数は４つであり、第２照明部４２０を構成する照明素子４２１の数は４つである。なお、照明素子４１１の数は、４つに限らず、２つ以上の任意の数としてもよい。但し、第１照明部４１０を構成する複数の照明素子４１１は、第１カメラ３１０を中心とした回転対称の位置に配置されることが好ましい。また、複数の照明素子４１１を用いる代わりに、リング状の照明素子を用いて第１照明部４１０を構成してもよい。更に、第１照明部４１０として、第１カメラ３１０のレンズを通して赤外光を出射する同軸照明部を用いるようにしても良い。これらの変形例は、第２照明部４２０にも適用可能である。なお、Ｎを２以上の整数として、Ｎ台のカメラを設ける場合には、各カメラに対して周囲照明部又は同軸照明部をそれぞれ設ける。これらの例を、図５から図７に示す。図５に示すプロジェクター１００ａは、２つの照明素子４１１が第１カメラ３１０を中心としてＸ方向に対象の位置に配置された第１照明部４１０ａと、２つの照明素子４２１が第２カメラ３２０を中心としてＸ方向に対象の位置に配置された第２照明部４２０ａとを備える。図６に示すプロジェクター１００ｂは、２つの照明素子４１１が第１カメラ３１０を中心としてＺ方向に対象の位置に配置された第１照明部４１０ｂと、２つの照明素子４２１が第２カメラ３２０を中心としてＸ方向に対象の位置に配置された第２照明部４２０ｂとを備える。図７に示すプロジェクター１００ｃは、第１カメラ３１０の光軸の周囲を囲うように配置された第１照明部４１０ｃと、第２カメラ３２０の光軸の周囲を囲うように配置された第２照明部４２０ｃと、を備える。第１照明部４１０ｃは、第１カメラ３１０に対する同軸照明を行う同軸照明部として機能し、第２照明部４２０ｃは、第２カメラ３２０に対する同軸照明を行う同軸照明部として機能する。

図８は、インタラクティブプロジェクションシステム８００の側面図であり、図９はその正面図である。本明細書では、操作面ＳＳの左端から右端に向かう方向をＸ方向と定義し、操作面ＳＳの下端から上端に向かう方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「幅方向」とも呼び、Ｙ方向を「上方向」とも呼び、Ｚ方向を「距離方向」とも呼ぶ。なお、図８では、図示の便宜上、スクリーン板８２０のうちの投写画面ＰＳの範囲にハッチングを付している。投写画面ＰＳが投写される操作面ＳＳの座標位置は、例えばＺ＝０として、２次元座標系（Ｘ、Ｙ）の２次元座標として検出できる。また、第１カメラ３１０の撮像画像の２次元座標系（Ｖ、Ｕ）と第２カメラ３２０の撮像画像の２次元座標系（η、ξ）は、第１カメラ３１０と第２カメラ３２０の配置や特性からそれぞれ異なり、また、投写画面ＰＳ及び操作面ＳＳの座標系（Ｘ、Ｙ）とも異なる。これらの座標系は、キャリブレーション処理により、変換係数等を求め、対応付けられる。

図９の例は、インタラクティブプロジェクションシステム８００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。操作面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体８０を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム８００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図９の例では、ユーザーがペンツールを選択した後、指示体８０の先端部を操作面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、後述する投写画像生成部５００によって行われる。

なお、インタラクティブプロジェクションシステム８００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム８００は、図示しないパーソナルコンピューターから通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図１０は、インタラクティブプロジェクター１００の機能ブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、照明部４００と、を有している。撮像部３００は、第１カメラ３１０と第２カメラ３２０を含み、照明部４００は、第１照明部４１０と第２照明部４２０を含む。

制御部７００は、プロジェクター１００の各部の制御を行う。また、制御部７００は、撮像部３００と照明部４００とを用いて指示体８０の画像を取得する撮像制御部７１０としての機能を有する。更に、制御部７００は、位置検出部６００で検出された指示体８０によって投写画面ＰＳ上で行われた指示の内容を認識するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する操作実行部７２０としての機能を有する。本実施形態では、制御部７００は、指示体８０の操作面ＳＳへの接触が検出されると、ユーザーによる指示がなされたと認識する。

投写画像生成部５００は、投写画像を記憶する画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。また、指示体８０による線の描画等を画像メモリー５１０に記憶された投写画像に重畳させる機能を有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図８で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。

照明部４００は、第１照明部４１０と第２照明部４２０とを有する。第１照明部４１０と第２照明部４２０は、指示体８０の先端部を検出するための照射検出光ＩＤＬを操作面ＳＳとその前方の空間にわたってそれぞれ照射することが可能である。照射検出光ＩＤＬは赤外光である。後述するように、第１照明部４１０と第２照明部４２０は、排他的なタイミングで点灯する。

撮像部３００は、第１カメラ３１０と第２カメラ３２０とを有している。第１カメラ３１０と第２カメラ３２０は、照射検出光ＩＤＬの波長を含む波長領域の光を受光して撮像する機能を有する。図１０の例では、照明部４００によって照射された照射検出光ＩＤＬが指示体８０で反射され、その反射検出光ＲＤＬが第１カメラ３１０と第２カメラ３２０によって受光されて撮像される様子が描かれている。

位置検出部６００は、第１カメラ３１０が撮影して、取得された第１撮像画像と、第２カメラ３２０が撮影して、取得された第２撮像画像とを用いて、指示体８０の先端部の位置を求める機能を有する。位置検出部６００は、第１撮像画像と第２撮像画像とに基づいて、三角測量等により指示体８０の先端部の３次元位置を検出する。位置検出部６００は、図１に示した第１カメラ３１０と第２カメラ３２０に対する操作面ＳＳの距離を、プロジェクター１００と操作面ＳＳの間の代表的な距離として測定可能である。この距離は、例えば予め準備された基準パターン画像を操作面ＳＳに投写して第１カメラ３１０と第２カメラ３２０でそれぞれ撮像し、それらの撮像画像を用いた三角測量を用いて測定可能である。位置検出部６００は、検出された指示体８０の先端部の位置と、第１カメラ３１０と第２カメラ３２０から操作面ＳＳまでの距離とを用いて、操作面ＳＳに対する指示体８０の位置を検出可能である。本実施形態において、位置検出部６００は、第１撮像画像と第２撮像画像を用いて算出される指示体８０と操作面ＳＳとの距離が、予め定められた閾値以内である場合に、指示体８０が操作面ＳＳに接触していると判定する。

制御部７００の各部の機能と位置検出部６００の機能は、例えば、プロジェクター１００内のプロセッサーがコンピュータープログラムを実行することによって実現される。また、これらの各部の機能の一部をＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等のハードウェア回路で実現してもよい。

図１１は、実施形態における位置検出処理の手順を示すフローチャートである。この処理は、インタラクティブプロジェクションシステム８００の稼働中に繰り返し実行される。

ステップＳ１００では、撮像部３００が操作面ＳＳを背景とした指示体８０を撮影することによって、第１カメラ３１０と第２カメラ３２０が撮像した複数の画像を取得する。

図１２は、図１１のステップＳ１００における撮像処理の手順を示すフローチャートであり、図１３は、撮像処理の内容を示す説明図である。図１４において、第１画像ＩＭ１＿１とＩＭ１＿２は、第１カメラ３１０で撮影された２次元座標系（Ｕ、Ｖ）で示され、第２画像ＩＭ２＿１とＩＭ２＿２は、第２カメラ３２０で撮影された２次元座標系（η、ξ）で示される。図１２の手順は、撮像制御部７１０の制御の下で実行される。

ステップＳ１１０では、第１照明部４１０がオンで第２照明部４２０がオフの状態とする。すなわち、第１照明部４１０が点灯して照明を行い、第２照明部４２０が消灯して照明を行わない状態とする。ステップＳ１２０では、第１カメラ３１０と第２カメラ３２０を用いて画像を撮影する。この結果、図１３の上段左に示す撮像画像ＩＭ１＿１及び撮像画像ＩＭ２＿１が取得される。撮像画像ＩＭ１＿１の周囲を囲う破線は強調のために付したものである。撮像画像ＩＭ１＿１は、操作面ＳＳを背景とした指示体８０を含む画像である。図１で説明したように、第１照明部４１０は、第１カメラ３１０で指示体８０の画像を撮影する時に、第１照明部４１０による指示体８０の影が実質的に生じないように構成されている。従って、撮像画像ＩＭ１＿１は、第１照明部４１０が点灯した時に第１カメラ３１０が撮影した撮像画像であり、指示体８０の影を実質的に含んでいない、第１撮像画像である。一方、図１３の上段右に示す撮像画像ＩＭ２＿１は、第２照明部４２０が消灯した時に第２カメラ３２０が撮影した撮像画像であり、指示体８０の影ＳＨ１を含んでいる。この撮像画像ＩＭ２＿１は、撮影しなくてもよい。撮像画像ＩＭ１＿１は、指示体８０の影を含んでいないため、指示体８０の先端部の位置検出の精度向上に利用できる。一方、撮像画像ＩＭ２＿１は、指示体８０の影ＳＨ１を含んでいるため、指示体８０の先端部の位置検出の精度向上に利用できない。

ステップＳ１３０では、第１照明部４１０がオフで第２照明部４２０がオンの状態とする。すなわち、第１照明部４１０を消灯して照明を行わず、第２照明部４２０を点灯して照明を行う状態とする。ステップＳ１４０では、第２カメラ３２０を用いて画像を撮影する。この結果、図１３の中段右に示す第２画像ＩＭ２＿２が取得される。第２照明部４２０は、第２カメラ３２０で指示体８０の画像を撮影する時に、第２照明部４２０による指示体８０の影が実質的に生じないように構成されている。従って、撮像画像ＩＭ２＿２は、第２照明部４２０が点灯した時に第２カメラ３２０が撮影した画像であり、指示体８０の影を実質的に含んでいない、第２撮像画像である。一方、図１３の中段左に示す撮像画像ＩＭ１＿２は、第１照明部４１０が消灯した時に第１カメラ３１０が撮影した画像であり、指示体８０の影ＳＨ２を含んでいる。この撮像画像ＩＭ１＿２は、撮影しなくてもよい。撮像画像ＩＭ２＿２は、指示体８０の影を含んでいないため、指示体８０の先端部の位置検出の精度向上に利用できる。一方、撮像画像ＩＭ１＿２は、指示体８０の影ＳＨ２を含んでいるため、指示体８０の先端部の位置検出の精度向上に利用できない。

ステップＳ１２０及びステップＳ１４０における撮影が終了すると、図１３の下段に示すように、第１カメラ３１０で撮影された実質的に影の無い第１撮像画像ＩＭ１＿１と、第２カメラ３２０で撮影された実質的に影の無い第２撮像画像ＩＭ２＿２とが得られる。図１２のステップＳ１５０では、第１照明部４１０と第２照明部４２０がオフ状態とされてステップＳ１００の処理を終了し、次の撮影まで待機する。なお、ステップＳ１５０は省略してもよい。また、図１２の処理が終了した後に、直ちに図１２の処理を再開するようにしてもよい。

ステップＳ１００の処理が終了すると、図１１のステップＳ２００において、位置検出部６００が、ステップＳ１００で得られた第１撮像画像ＩＭ１＿１と第２撮像画像ＩＭ２＿２を用いて、三角測量等によって指示体８０の３次元位置を求め、操作面ＳＳに対する指示体８０の位置を検出する。本実施形態では、第１撮像画像ＩＭ１＿１と第２撮像画像ＩＭ２＿２は、必要に応じて変換係数等により操作面ＳＳの座標系に変換される。

図１１のステップＳ３００では、位置検出部６００が、指示体８０が操作面ＳＳに接触しているか否かを判定する。位置検出部６００は、操作面ＳＳと指示体８０との間の距離ΔＺが、予め設定された閾値Ｔｈ以下である場合に、ステップＳ３００を肯定判定する。距離ΔＺが閾値Ｔｈ以下であれば、ステップＳ４００において操作実行部７２０が指示体８０の先端位置に応じた操作を実行する。閾値Ｔｈは、指示体８０の先端が操作面ＳＳに極めて近いと判定できる値であり、例えば３〜５ｍｍの範囲に設定される。ステップＳ４００の操作は、図９で説明した描画のような操作面ＳＳ上の処理である。なお、操作面ＳＳにおける指示体８０の先端位置のＸＹ座標は、第１撮像画像ＩＭ１＿１と第２撮像画像ＩＭ２＿２における指示体８０のパターンマッチングや特徴検出などの公知の方法を用いて決定可能である。

以上のように、第１実施形態では、第１撮像画像ＩＭ１＿１と第２撮像画像ＩＭ２＿２は指示体８０の影ＳＨ１、ＳＨ２を実質的に含まないので、影ＳＨ１、ＳＨ２の影響により操作面ＳＳに対する指示体８０の位置が誤検出されることを抑制することができる。そのため、操作面ＳＳに対する指示体８０の位置の検出精度を向上させることができる。また、撮像画像において指示体８０と影とを判別する工程を省略することができる。

なお、第１撮像画像と第２撮像画像とは、同じタイミングで取得してもよい。この場合には、第１照明部４１０を点灯させ、かつ、第２照明部４２０を点灯させた状態で、第１カメラ３１０と第２カメラ３２０で操作面ＳＳを背景とした指示体８０を撮影して、第１撮像画像と第２撮像画像とを取得すればよい。

なお、カメラの台数は３以上でもよい。すなわち、Ｎを３以上の整数として、Ｎ台のカメラを設けるようにしてもよい。この場合には、各カメラに対して、照明部を設ける。この場合には、各カメラを順次選択して、選択されていないカメラに対して設けられた照明部では照明を行わずに、選択されたカメラに対して設けられた照明部で照明を行いながら選択されたカメラを用いて撮影を実行することによって、Ｎ個の撮像画像を１つずつ異なるタイミングで順次取得する。Ｎ個の撮像画像は、指示体８０の影を実質的に含んでいない。位置検出部６００は、Ｍを１以上｛Ｎ（Ｎ−１）／２｝以下の整数として、Ｎ個の画像のうちから２個が選択されたＭ組の撮像画像を用いて、三角測量等により操作面ＳＳに対する指示体８０の位置を検出することができる。この構成によれば、３台以上のカメラにより取得された、指示体８０の影を実質的に含まない撮像画像を用いて、操作面に対する指示体の位置を検出するので、操作面に対する指示体の位置の検出精度をより向上させることができる。

Ｂ．第２実施形態
図１４は、第２実施形態における位置検出システム９００の正面図である。位置検出システム９００は、画像表示パネル２００ａと、指示体８０を含む画像を撮影する第１カメラ３１０と第２カメラ３２０の２台のカメラと、指示体８０を検出するための赤外光を照射する第１照明部４１０と第２照明部４２０とを有する。第１カメラ３１０及び第２カメラ３２０と第１照明部４１０及び第２照明部４２０の構成は第１実施形態におけるこれらの構成と同じである。画像表示パネル２００ａは、いわゆるフラットパネルディスプレイである。画像表示パネル２００ａの画像表示面は、操作面ＳＳに相当する。

図１５は、位置検出システム９００の機能ブロック図である。この位置検出システム９００は、図１０に示したインタラクティブプロジェクター１００の構成のうち、投写部２００を画像表示パネル２００ａに変更し、投写画像生成部５００を画像生成部５００ａに変更したものであり、他の構成はインタラクティブプロジェクター１００と同じである。また、位置検出システム９００による位置検出処理は、図１１〜図１３で説明した第１実施形態の処理と同様なので、説明を省略する。また、第２実施形態も、第１実施形態と同様の効果を奏する。

Ｃ．他の実施形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（ａｓｐｅｃｔ）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、操作面に対する指示体の位置を検出する位置検出方法が提供される。この位置検出方法は、（ａ）第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第１照明部で照明を行い、前記第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する工程と、（ｂ）前記第１カメラと異なる位置に設けられた第２カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第２照明部で照明を行い、前記第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、（ｃ）前記第１撮像画像と前記第２撮像画像とを用いて、前記操作面に対する前記指示体の位置を検出する工程と、を備える。 この位置検出方法によれば、第１撮像画像と第２撮像画像は指示体の影を実質的に含まないので、影の影響により操作面に対する指示体の位置が誤検出されることを抑制することができる。そのため、操作面に対する指示体の位置の検出精度を向上させることができる。

（２）上記位置検出方法において、前記工程（ａ）と前記工程（ｂ）とを、異なるタイミングで順次実行してもよい。
この位置検出方法によれば、異なるタイミングで取得された第１撮像画像と第２撮像画像とを用いて、操作面に対する指示体の位置を検出して、操作面に対する指示体の位置の検出精度を向上させることができる。

（３）上記位置検出方法において、前記工程（ａ）では、前記第２照明部は照明を行わず、前記工程（ｂ）では、前記第１照明部は照明を行わなくてもよい。
この位置検出方法によれば、第１撮像画像は第２照明部の影響を受けず、第２撮像画像は第１照明部の影響を受けないので、第１撮像画像と第２撮像画像を、指示体の影をより含まないようにすることができる。そのため、影の影響により操作面に対する指示体の位置が誤検出されることをより抑制することができる。

（４）上記位置検出方法において、前記第１照明部及び前記第２照明部は、赤外光で照明を行い、前記第１カメラは、前記第１照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影し、前記第２カメラは、前記第２照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影してもよい。
この位置検出方法によれば、操作面に表示される画像の品質を維持しつつ、操作面に対する指示体の位置の検出精度を向上させることができる。

（５）上記位置検出方法において、前記第１照明部は、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含み、前記第２照明部は、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含んでもよい。
この位置検出方法によれば、同軸照明部と周囲照明部との少なくとも一方により、第１撮像画像と第２撮像画像が指示体の影を実質的に含まないようにすることができる。

（６）上記位置検出方法において、前記工程（ｃ）では、前記第１撮像画像と前記第２撮像画像とを用いて算出される前記操作面と前記指示体との間の距離が、予め定められた閾値以内である場合に、前記操作面に前記指示体が接触していると判定してもよい。
この位置検出方法によれば、操作面に指示体が接触していることを精度良く判定することができる。

（７）本開示の第２の形態によれば、操作面に対する指示体の位置を検出する位置検出装置が提供される。この位置検出装置は、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第１照明部と、前記第２カメラにして前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第２照明部と、を含む照明部と、前記第１照明部で照明を行い前記第１カメラが取得した前記第１撮像画像と、前記第２照明部で照明を行い前記第２カメラが取得した前記第２撮像画像とを用いて、前記操作面に対する前記指示体の位置を検出する、位置検出部と、を備える。
この位置検出装置によれば、第１撮像画像と第２撮像画像は指示体の影を実質的に含まないので、影の影響により操作面に対する指示体の位置が誤検出されることを抑制することができる。そのため、操作面に対する指示体の位置の検出精度を向上させることができる。

（８）上記位置検出装置において、前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次取得する撮像制御部を備えていてもよい。
この位置検出装置によれば、異なるタイミングで取得された第１撮像画像と第２撮像画像とを用いて、操作面に対する指示体の位置を検出して、操作面に対する指示体の位置の検出精度を向上させることができる。

（９）上記位置検出装置において、前記第１カメラは、前記第２照明部が照明を行わないタイミングで撮影を行い前記第１撮像画像を取得し、前記第２カメラは、前記第１照明部は照明を行わないタイミングで撮影を行い前記第２撮像画像を取得してもよい。
この位置検出装置によれば、第１撮像画像は第２照明部の影響を受けず、第２撮像画像は第１照明部の影響を受けないので、第１撮像画像と第２撮像画像を、指示体の影をより含まないようにすることができる。そのため、影の影響により操作面に対する指示体の位置が誤検出されることをより抑制することができる。

（１０）上記位置検出装置において、前記第１照明部及び前記第２照明部は、赤外光で照明を行い、前記第１カメラは、前記第１照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影し、前記第２カメラは、前記第２照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影してもよい。
この位置検出装置によれば、操作面に表示される画像の品質を維持しつつ、操作面に対する指示体の位置の検出精度を向上させることができる。

（１１）上記位置検出装置において、前記第１照明部は、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含み、前記第２照明部は、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含んでもよい。
この位置検出装置によれば、同軸照明部と周囲照明部との少なくとも一方により、第１撮像画像と第２撮像画像が指示体の影を実質的に含まないようにすることができる。

（１２）上記位置検出装置において、前記位置検出部は、前記第１撮像画像と前記第２撮像画像とを用いて算出される前記操作面と前記指示体との間の距離が予め定められた閾値以内である場合に、前記操作面に前記指示体が接触していると判定してもよい。
この位置検出装置によれば、操作面に指示体が接触していることを精度良く判定することができる。

（１３）本開示の第３の形態によれば、操作面に対する指示体の位置を検出するインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像を前記操作面に投写する投写部と、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、前記第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第１照明部と、前記第２カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第２照明部と、を含む照明部と、前記第１照明部で照明を行い前記第１カメラが取得した前記第１撮像画像と、前記第２照明部で照明を行い前記第２カメラが取得した前記第２撮像画像と、を用いて、前記操作面に対する前記指示体の位置を検出する、位置検出部と、を備える。
このインタラクティブプロジェクターによれば、第１撮像画像と第２撮像画像は指示体の影を実質的に含まないので、影の影響により操作面に対する指示体の位置が誤検出されることを抑制することができる。そのため、操作面に対する指示体の位置の検出精度を向上させることができる。

８０…指示体、１００、１００ａ、１００ｂ、１００ｃ、１００ｄ…インタラクティブプロジェクター、２００…投写部、２００ａ…画像表示パネル、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０…第１カメラ、３２０…第２カメラ、４００…照明部、４１０、４１０ａ、４１０ｂ、４１０ｃ…第１照明部、４２０、４２０ａ、４２０ｂ、４２０ｃ…第２照明部、４１１、４２１…照明素子、５００…投写画像生成部、５００ａ…画像生成部、５１０…画像メモリー、６００…位置検出部、７００…制御部、７１０…撮像制御部、７２０…操作実行部、８００…インタラクティブプロジェクションシステム、８２０…スクリーン板、９００…位置検出システム

Claims (13)

1. 操作面に対する指示体の位置を検出する位置検出方法であって、
   （ａ）第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第１照明部で照明を行い、前記第１カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する工程と、
   （ｂ）前記第１カメラと異なる位置に設けられた第２カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように設けられた第２照明部で照明を行い、前記第２カメラを用いて、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する工程と、
   （ｃ）前記第１撮像画像と前記第２撮像画像とを用いて、前記操作面に対する前記指示体の位置を検出する工程と、
   を備える、位置検出方法。
2. 請求項１に記載の位置検出方法であって、
   前記工程（ａ）と前記工程（ｂ）とを、異なるタイミングで順次実行する、位置検出方法。
3. 請求項１又は請求項２に記載の位置検出方法であって、
   前記工程（ａ）では、前記第２照明部は照明を行わず、
   前記工程（ｂ）では、前記第１照明部は照明を行わない、位置検出方法。
4. 請求項１から請求項３までのいずれか一項に記載の位置検出方法であって、
   前記第１照明部及び前記第２照明部は、赤外光で照明を行い、
   前記第１カメラは、前記第１照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影し、
   前記第２カメラは、前記第２照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影する、位置検出方法。
5. 請求項１から請求項４までのいずれか一項に記載の位置検出方法であって、
   前記第１照明部は、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含み、
   前記第２照明部は、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含む、位置検出方法。
6. 請求項１から請求項５までのいずれか一項に記載の位置検出方法であって、
   前記工程（ｃ）では、前記第１撮像画像と前記第２撮像画像とを用いて算出される前記操作面と前記指示体との間の距離が、予め定められた閾値以内である場合に、前記操作面に前記指示体が接触していると判定する、位置検出方法。
7. 操作面に対する指示体の位置を検出する位置検出装置であって、
   前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
   前記第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第１照明部と、前記第２カメラにして前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第２照明部と、を含む照明部と、
   前記第１照明部で照明を行い前記第１カメラが取得した前記第１撮像画像と、前記第２照明部で照明を行い前記第２カメラが取得した前記第２撮像画像とを用いて、前記操作面に対する前記指示体の位置を検出する、位置検出部と、
   を備える、位置検出装置。
8. 請求項７に記載の位置検出装置であって、
   前記第１撮像画像と前記第２撮像画像を異なるタイミングで順次取得する撮像制御部を備える、位置検出装置。
9. 請求項７又は請求項８に記載の位置検出装置であって、
   前記第１カメラは、前記第２照明部が照明を行わないタイミングで撮影を行い前記第１撮像画像を取得し、
   前記第２カメラは、前記第１照明部は照明を行わないタイミングで撮影を行い前記第２撮像画像を取得する、位置検出装置。
10. 請求項７から請求項９までのいずれか一項に記載の位置検出装置であって、
    前記第１照明部及び前記第２照明部は、赤外光で照明を行い、
    前記第１カメラは、前記第１照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影し、
    前記第２カメラは、前記第２照明部からの赤外光が前記操作面を背景とした前記指示体での反射光を撮影する、位置検出装置。
11. 請求項７から請求項１０までのいずれか一項に記載の位置検出装置であって、
    前記第１照明部は、前記第１カメラに対する同軸照明を行う同軸照明部と、前記第１カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含み、
    前記第２照明部は、前記第２カメラに対する同軸照明を行う同軸照明部と、前記第２カメラの光軸の周囲を囲うように配置された周囲照明部と、の少なくとも一方を含む、位置検出装置。
12. 請求項７から請求項１１までのいずれか一項に記載の位置検出装置であって、
    前記位置検出部は、前記第１撮像画像と前記第２撮像画像とを用いて算出される前記操作面と前記指示体との間の距離が、予め定められた閾値以内である場合に、前記操作面に前記指示体が接触していると判定する、位置検出装置。
13. 操作面に対する指示体の位置を検出するインタラクティブプロジェクターであって、
    投写画像を前記操作面に投写する投写部と、
    前記操作面を背景とした前記指示体を撮影して、第１撮像画像を取得する第１カメラと、前記第１カメラと異なる位置に配置され、前記操作面を背景とした前記指示体を撮影して、第２撮像画像を取得する第２カメラと、を含む撮像部と、
    前記第１カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第１照明部と、前記第２カメラに対して前記指示体の前記操作面への影を実質的に撮像されないように照明を行うように構成された第２照明部と、を含む照明部と、
    前記第１照明部で照明を行い前記第１カメラが取得した前記第１撮像画像と、前記第２照明部で照明を行い前記第２カメラが取得した前記第２撮像画像と、を用いて、前記操作面に対する前記指示体の位置を検出する、位置検出部と、
    を備える、インタラクティブプロジェクター。

Images