JP6375660B2 - 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法 - Google Patents

Description

本発明は、位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法に関する。

従来、受光素子等を備える光学検出器を用いて、検出領域内の指示体の位置を光学的に検出する位置検出装置が知られている（例えば、特許文献１参照）。

特開２０１１−６５４０９号公報

指示体の指示位置を光学的に検出する場合、検出領域内の全ての場所から光が一様に届くとは限らないため、検出精度が低下する。この点について、特許文献１の構成では、光量の分布を求めることで精度の向上を図っていたが、例えば検出領域を撮影して指示位置を検出する場合には、このような手法は適用できない。
本発明は、上記事情に鑑みてなされたものであり、撮影画像データを用いて指示体の指示位置を高精度に検出することができる位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法を提供することを目的とする。

上記目的を達成するため、本発明の位置検出装置は、指示体の指示位置を検出する検出領域を撮影する撮影部と、前記検出領域において前記指示体による指示操作がなされている際に前記撮影部で撮影された操作画像データと、前記指示体による前記指示操作がなされていない際に前記撮影部で撮影された背景画像データとに基づいて、前記指示体の指示位置を検出する位置検出部と、を備えることを特徴とする。
本発明の構成によれば、操作画像データと背景画像データとに基づいて、指示体の指示位置を検出するので、指示体の指示位置を精度よく検出することができる。

また、本発明は、上記構成において、前記検出領域に検出光を出射する光源部を備え、前記位置検出部は、前記光源部が前記検出光を出射していない際に前記検出領域を撮影した第１撮影画像データを前記背景画像データとして使用することを特徴とする。
本発明の構成によれば、検出領域に検出光が出射されていない場合に撮影された撮影画像データを背景画像データとして使用する。窓から入る外光や室内の照明光が検出領域内の物体で反射した反射光の像が操作画像データとして撮影部に撮影されると、指示体の指示位置の検出精度を低下させる場合がある。そこで、光源部が検出光を出射していないときの検出領域を撮影部で撮影して、窓から入る外光や室内の照明光が検出領域内の物体で反射した反射光の像を撮影した背景画像データを取得する。そして、取得した背景画像データを用いて操作画像データから指示体の指示位置を検出することで、外光や照明光の反射光による影響を低減して、指示体の指示位置を精度よく検出することができる。

また、本発明は、上記構成において、前記検出領域に検出光を出射する光源部を備え、前記位置検出部は、前記光源部が前記検出光を出射していない際に前記検出領域を撮影した第１撮影画像データと、前記光源部が前記検出光を出射している際に前記検出領域を撮影した第２撮影画像データとの差分画像データを生成し、生成した前記差分画像データを前記背景画像データとして使用することを特徴とする。
本発明の構成によれば、検出光が出射されている場合に撮影された第１撮影画像データと、検出光が出射されていない場合に撮影された第２撮影画像データとの差分画像データを背景画像データとして使用する。光源部の出射する検出光が検出領域内の物体で反射した反射光の像が操作画像データとして撮影部によって撮影されると、指示体の指示位置の検出精度を低下させる場合がある。そこで、検出光が出射されている場合と出射されていない場合に撮影された撮影画像データの差分を求めて背景画像データとする。この背景画像データには、光源部の出射する検出光が検出領域内の物体で反射した反射光の像が撮影されている。従って、操作画像データから指示体の指示位置を検出する際に、背景画像データを用いて検出することで、光源部の出射する検出光による影響を低減して、指示体の指示位置を精度よく検出することができる。

また、本発明は、上記構成において、前記位置検出部は、前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出し、前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて、前記背景画像データの撮影を前記撮影部に指示することを特徴とする。
本発明の構成によれば、背景画像データを好適なタイミングで撮影することができる。

また、本発明は、上記構成において、前記位置検出部は、前記指示体が発する光に基づいて前記指示体の指示位置を検出し、前記指示体の発光を所定時間検出できない場合に、前記背景画像データの撮影を前記撮影部に指示することを特徴とする。
本発明の構成によれば、指示体の発光を検出できない状態が、所定時間経過した場合、背景画像データの撮影を撮影部に指示するので、発光した指示体の像が写った背景画像データが撮影されないようにすることができる。このため、撮影画像データと背景画像データとの両方で、発光した指示体７０の像が撮影され、指示体７０の指示位置が検出できなくなる可能性を低減することができる。

前記撮影部により前記背景画像データを撮影する際に、前記指示体による指示操作をしないように案内する報知制御部をさらに備えることを特徴とする。
本発明の構成によれば、指示体の像が写った背景画像データが撮影されないようにユーザーに注意することができる。

本発明のプロジェクターは、上記の位置検出装置を備えることを特徴とする。
本発明の構成によれば、撮影画像データと背景画像データとから、指示体の指示位置を精度よく検出することができるので、スクリーンに投射する投射画像に、指示位置を反映させることができる。

本発明の位置検出システムは、指示体の指示位置を検出する検出領域に検出光を出射する光出射装置と、前記検出領域での指示体の指示位置を検出する位置検出装置と、を備え、前記位置検出装置は、前記検出領域を撮影する撮影部と、前記検出領域において前記指示体による指示操作がなされている際に前記撮影部で撮影された操作画像データと、前記指示体による前記指示操作がなされておらず、前記光出射装置が前記検出光を出射していない場合に前記撮影部で撮影された背景画像データとに基づいて、前記指示体の指示位置を検出する位置検出部と、を備えることを特徴とする。
本発明の構成によれば、操作画像データと背景画像データとに基づいて、指示体の指示位置を検出するので、指示体の指示位置を精度よく検出することができる。

本発明の位置検出装置の制御方法は、指示体の指示位置を検出する検出領域を撮影部で撮影するステップと、前記検出領域において前記指示体による指示操作がなされている際に前記撮影部で撮影された操作画像データと、前記指示体による前記指示操作がなされていない際に前記撮影部で撮影された背景画像データとに基づいて、前記指示体の指示位置を検出するステップと、を備えることを特徴とする。
本発明の構成によれば、操作画像データと背景画像データとに基づいて、指示体の指示位置を検出するので、指示体の指示位置を精度よく検出することができる。

本発明によれば、撮影画像データを用いて指示体の指示位置を高精度に検出することができる。

プロジェクションシステムの概略構成を示す図である。 プロジェクションシステムの機能ブロック図である。 プロジェクターの動作を示すフローチャートである。 （Ａ）はペン型の指示体の指示位置を検出する様子を示し、（Ｂ）は指示体としての指の指示位置を検出する様子を示す図である。 オートキャリブレーション画像の一例を示す図である。 撮像部により撮影した撮影画像データの一例を示す図である。 キャリブレーションデータ管理テーブルの一例を示す図である。 マニュアルキャリブレーション画像の一例を示す図である。 背景画像作成処理の詳細を示すフローチャートである。 マスク画像の一例を示す図である。 マスク画像の作成方法を説明するための図である。 第１背景画像データの一例を示す図である。 第２背景画像データの一例を示す図である。 指示位置検出処理の詳細を示すフローチャートである。 （Ａ）はマスク画像に合わせて設定した濃度しきい値を示し、（Ｂ）は（Ａ）に示す点Ａ〜点Ｄでの濃度しきい値を示す図である。 光源ノイズデータの一例を示す図である。 プロジェクター、指示体、光出射装置の発光タイミングを示す図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面）の上方に設置されたプロジェクター１０（位置検出装置）と、スクリーンＳＣの上部に設置された光出射装置（光源部）６０とを備える。

プロジェクター１０はスクリーンＳＣの直上又は斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された、平板又は幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。

プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置に接続され、この画像供給装置から供給されるアナログ画像信号又はデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光（本実施形態では赤外光）をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射し、この光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ〜１ｍｍの範囲内である。

プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
指示操作に利用される指示体は、ペン型の指示体７０を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、赤外光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する赤外光に基づき、先端部７１の位置を、指示位置として検出する。

また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。

プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った指示操作を検出して、指示位置を投射画像に反映させる。具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字又は記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字又は記号を画像データとして保存することもでき、外部の装置に出力することもできる。
さらに、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣにプロジェクター１０が画像を投射する画像投射領域における指示位置の座標を出力してもよい。また、この座標を用いてＧＵＩ（Graphical User Interface）操作を行ってもよい。

図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。

プロジェクター１０は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２及び投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。

投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。

プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。

制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、及び制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１５、及び設定画面データ１１５を利用して設定された内容を示す設定データ１１６を記憶する。記憶部１１０は、この他に、オートキャリブレーション画像１２１、マニュアルキャリブレーション画像１２２を記憶する。さらに、記憶部１１０は、オートキャリブレーションデータ１２３、マニュアルキャリブレーションデータ１２４、初期補正データ１２５、マニュアル補正データ１２６を記憶する。これらのデータの詳細については、後述する。

画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ部１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。

操作検出部１７は、入力デバイスとして機能するリモコン受光部１８及び操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。

光出射装置６０は、図１に示すように略箱形のケースに、光源部６１及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源（不図示）を備える。固体光源が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。

光出射装置６０は、出射装置駆動部４８から供給されるパルス信号及び電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。

位置検出部５０は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部（撮影部）５１、送信部５２、撮影制御部５３、撮影画像データ処理部５６、フレームメモリー５８、指示体検出部５４及び座標算出部５５の各部を備えて構成される。
撮像部５１は、指示体７０、８０の指示位置を検出するために、スクリーンＳＣとその周辺部（検出領域）を撮影範囲として撮影する。また、撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。

撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。例えば、後述するオートキャリブレーションの画像は、可視光で撮影される。また、撮影制御部５３は、撮像部５１により赤外光を撮影させることができ、この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。

撮影画像データ処理部５６は、撮像部５１によって撮影され、撮影制御部５３から取得した撮影画像データをフレームメモリー５８に展開する。撮影画像データ処理部５６は、後述するマスク画像を記憶しており、フレームメモリー５８に展開された撮影画像データに、マスク画像を重ねてマスク処理を行う。撮影画像データ処理部５６は、マスク処理後の撮影画像データを指示体検出部５４に出力する。

指示体検出部５４は、撮影制御部５３が撮影した撮影画像データに基づいて、スクリーンＳＣの位置に応じて異なる濃度しきい値を用いて、指示体７０、８０の指示位置を検出する。濃度しきい値は、撮像部５１からスクリーンＳＣ上の各位置までの距離に応じて異なる値に設定されている。より具体的には、濃度しきい値は、撮像部５１との距離が近づくに従って、値が大きくなるように設定されている。濃度しきい値と、濃度しきい値を用いて撮影画像データから指示体７０、８０の指示位置を検出する処理との詳細につては、図１５を参照しながら後ほど説明する。
指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像と、指示体８０に反射した反射光の像との少なくとも一方を検出する。さらに、指示体検出部５４は、検出した像を、指示体７０が発した光の像であるか、指示体８０の反射光の像であるか判別してもよい。
座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標を算出して、制御部３０に出力する。座標算出部５５は、また、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を、算出してもよい。

送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。

また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池又は二次電池を有し、制御部７３、送受信部７４及び操作スイッチ７５の各部に電力を供給する。
指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。

ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させて、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。

位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、又は複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。

また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるか指示体８０であるかを判定できる。例えば、撮像部５１の撮影タイミングの全てに同期して指示体７０を点灯させ、光源部６１については「１０１０１０１０１０」（１は点灯を、０は消灯を示す）のパターンで点灯させる場合を考える。この場合、光源部６１が点灯していないときに撮影された像は、指示体７０によるものであると判断できる。

さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。

姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。

制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行する。これにより、制御部３０は、投射制御部３１、検出制御部３２、出射制御部３３及びキャリブレーション制御部３９（マスク画像生成部）の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。

検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の操作位置の検出を実行させ、操作位置の座標を取得する。また、検出制御部３２は、操作位置の座標とともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び操作スイッチ７５の操作状態を示すデータを取得する。検出制御部３２は、取得した座標及びデータに基づいて、予め設定された処理を実行する。例えば、画像処理部４０によって、取得した座標に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び操作スイッチ７５の操作状態を示すデータを出力してもよい。

また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。

出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行又は停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。

キャリブレーション制御部３９は、指示体７０及び指示体８０の指示位置を検出して、画像Ｉ／Ｆ部１２の入力画像における座標に変換するためのキャリブレーションを実行する。

図３に示すフローチャート及び各図を参照しながら、制御部３０の処理手順、特にキャリブレーション制御部３９の処理手順を説明する。

キャリブレーションは、プロジェクター１０を最初に使用する際に初期設定の１つとして実行される。キャリブレーションは、例えば、フレームメモリー４４に描画され投射部２０が投射する画像における位置と、撮像部５１が撮影する撮影画像データ上の位置とを対応付ける処理である。位置検出部５０が撮影画像データから検出する指示体７０、８０の指示位置は、撮影画像データにおける位置であり、例えば撮影画像に設定される座標系における座標で示される。ユーザーはスクリーンＳＣに投射された投射画像を意識して指示体７０、８０で指示を行う。従って、プロジェクター１０は、スクリーンＳＣ上の投射画像に対する指示位置を特定する必要がある。キャリブレーションによって、撮影画像データで検出された位置の座標を投射画像データ上の座標に変換できる。この対応づけを行うデータをキャリブレーションデータとする。キャリブレーションデータは、撮影制御部５３が出力する撮影画像データ上の座標と投射画像上の座標とを対応付けるデータである。具体的には、撮影画像データ上の座標と投射画像上の座標とを１対１で対応付けるテーブルであってもよいし、撮影画像データ上の座標を投射画像上の座標に変換する関数であってもよい。

キャリブレーション制御部３９は、指示体の種類に応じてキャリブレーションを実行する。すなわち、指示体７０の指示位置の検出に関するキャリブレーションと、指示体８０の指示位置の検出に関するキャリブレーションとの２つを実行する。
図４は、指示体７０、８０の指示位置を検出する様子を示す説明図であり、（Ａ）は指示体７０の指示位置を検出する様子を示し、（Ｂ）は指示体８０の指示位置を検出する様子を示す。
図４（Ａ）には撮像部５１がスクリーンＳＣを撮影する撮影方向を符号ＰＡで示す。指示体７０の位置検出を行う場合、送受信部７４は、指示体７０の先端の発光位置７０ａから赤外光を出射する。発光位置７０ａは、指示体７０がスクリーンＳＣに接する接触点７０ｂに非常に近い。このため、撮影方向ＰＡから撮影した撮影画像データから指示体７０が発する光の像を検出する場合、この像の位置を、接触点７０ｂの位置とみなすことができる。

これに対し、図４（Ｂ）に示すように指示体８０の指示位置を検出する場合、光出射装置６０が出射する検出光Ｌを指示体８０が反射した反射光を検出する。すなわち、撮影方向ＰＡから撮影される撮影画像データから、検出光Ｌの反射光の像が検出される。検出光Ｌの出射方向はスクリーンＳＣとほぼ平行であり、検出光ＬはスクリーンＳＣから所定の距離（以下、距離Ｇ１とする）だけ離れている。距離Ｇ１はスクリーンＳＣに対する光出射装置６０の取付位置により変化するが、構造上、距離Ｇ１をゼロにすることは困難である。このため、撮影方向ＰＡから撮影した撮影画像データには、指示体８０の先端において、スクリーンＳＣから距離Ｇ１だけ離れた反射位置８０ａで反射した反射光の像が写る。
図４（Ｂ）に示すように、反射位置８０ａは、撮影方向ＰＡに対して斜めの方向に離れている。このため、撮影画像データに写る反射光の像の位置は、撮影方向ＰＡにおいて、より離れた位置を指示体７０で指示した場合の像と同じ位置になる。つまり、指示体８０が接触点８０ｂでスクリーンＳＣに接触した場合の反射光と、指示体７０が接触点７０ｂでスクリーンＳＣに接触した場合の光とが、撮像部５１の撮影画像データでは同じ位置に写る。このため、指示体８０が指し示す接触点８０ｂは、撮影方向ＰＡにおいて撮像部５１から離れた接触点７０ｂとして検出され、距離Ｇ２のずれを生じる。

距離Ｇ２のずれは、撮像部５１が、スクリーンＳＣから離れた位置から斜めに撮影を行うことに起因する。例えば、図４（Ａ）、（Ｂ）に示す撮影方向ＰＡと指示体７０、８０との位置関係は、上下方向に限らず、水平方向においても同様に発生する。本実施形態では、図１に示したようにスクリーンＳＣの上方に位置するプロジェクター１０の本体に設けられた１つの撮像部５１が、スクリーンＳＣを俯瞰して撮影するため、上下及び水平の両方向において距離Ｇ２のずれが発生する。

そこで、プロジェクター１０は、指示体８０の指示位置を検出する場合に、指示体７０の指示位置を検出する場合と同様に指示位置を検出した後に、検出した位置を補正する。
具体的には、キャリブレーション制御部３９が、指示体７０の指示位置の検出に関するキャリブレーションを行うことにより、キャリブレーションデータを生成する。このキャリブレーションデータを使用すれば、例えば図４（Ａ）に示すように、発光位置７０ａがスクリーンＳＣとの接触点７０ｂに近い場合に、高精度で指示位置を検出できる。

さらに、プロジェクター１０は、指示体８０の指示位置を検出する場合に、キャリブレーションデータにより求めた座標を補正する補正データを使用する。補正データは、具体的には、初期補正データ１２５及びマニュアル補正データ１２６である。
補正データは、図４（Ｂ）の距離Ｇ１を定めるデータとすることができる。この場合、撮影画像データ上の座標又は投射画像上の座標ごとに、距離Ｇ１の大きさを示すデータを対応付けるテーブル形式、或いはマップデータとすることができる。また、撮影画像データ上の座標又は投射画像上の座標において予め設定された代表点について、距離Ｇ１の大きさを示すデータを対応付けるテーブル形式とすることができる。代表点から外れた座標の距離Ｇ１の大きさを求める必要がある場合は、補正対象の座標に近い代表点の距離Ｇ１を適用する方法や、補間演算により代表点の距離Ｇ１から補正対象の座標の距離Ｇ１を求める方法を利用できる。
また、例えば、補正データは、撮影画像データ上で検出された座標、又はキャリブレーションデータに基づき得られた投射画像上の座標をシフトさせるデータであってもよい。具体的には、座標のシフト量を定めるデータであってもよいし、座標を補正する関数であってもよい。また、補正データを、撮影画像データ上の座標又は投射画像上の座標ごとに異なるシフト量を実現するデータとすることもできる。この場合、補正対象の座標に、座標のシフト量を対応付けたテーブルとしてもよい。このテーブルは、撮影画像データ上の座標又は投射画像上の座標から選択される代表点にシフト量を対応付けてもよい。代表点以外の座標を補正する場合には、補正対象の座標に近い代表点のシフト量を適用する方法や、補間演算により代表点のシフト量から補正対象の座標のシフト量を求める方法を利用できる。

キャリブレーション制御部３９は、指示体７０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。
オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射して、撮像部５１で撮影し、撮影画像データを用いてキャリブレーションデータを生成する処理である。オートキャリブレーションは、プロジェクター１０が自動的に実行可能な処理であり、ユーザーによる指示体７０、８０の操作を必要としない。オートキャリブレーションは、ユーザーがリモコンまたは操作パネル１９で実行を指示した場合に限らず、制御部３０が制御するタイミングで実行することもできる。例えば、プロジェクター１０の電源オン直後等の動作開始時に行ってもよいし、後述する通常動作中に行ってもよい。オートキャリブレーションで投射されるオートキャリブレーション画像１２１は、予め記憶部１１０に記憶されている。

図５は、オートキャリブレーション画像１２１の一例を示す。オートキャリブレーション画像１２１には、複数のマーク（シンボル）が所定の間隔で配置されている。キャリブレーション画像中のマークは、撮影画像データから検出可能な図形や記号であり、その形状やサイズは特に限定されない。
図６は、スクリーンＳＣに投射されたオートキャリブレーション画像１２１を撮像部５１により撮影した撮影画像データの一例を示す。撮像部５１の撮影画像データは、プロジェクター１０を図１に示すように吊り下げ設置した場合に、スクリーンＳＣの斜め上方から撮影されるので、歪んだ画像となる。図５には、等間隔でマークが並ぶ矩形のオートキャリブレーション画像１２１を例示したが、図６の撮影画像データでは歪んだ形状の画像が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。

キャリブレーション制御部３９は、投射制御部３１の機能により、記憶部１１０に記憶されたオートキャリブレーション画像１２１に基づいて、画像処理部４０及び投射部２０を動作させて、オートキャリブレーション画像１２１をスクリーンＳＣに投射させる。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１に撮影を実行させ、撮影画像データを取得する。この撮影画像データは、撮影制御部５３から、図示しないメモリーに一時的に記憶され、制御部３０に出力される。キャリブレーション制御部３９は、撮影画像データからマークを検出し、各マークの重心位置をマークの座標値として取得する。キャリブレーション制御部３９は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション画像１２１のマークとを対応付ける。
キャリブレーション制御部３９は、撮影画像におけるマークの座標値と、投射画像におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のオートキャリブレーションデータ１２３を作成する。オートキャリブレーション画像１２１のマークの投射画像における座標値は、予めオートキャリブレーション画像１２１とともに、或いはオートキャリブレーション画像１２１に含まれて記憶部１１０に記憶されている。キャリブレーション制御部３９は、既にオートキャリブレーションデータ１２３が記憶されている場合、このオートキャリブレーションデータ１２３を更新する。

図７に、キャリブレーションデータを登録したキャリブレーションデータ管理テーブルの一例を示す。図７に示すキャリブレーションデータ管理テーブルは、オートキャリブレーション画像１２１上に配置されたマークの識別番号と、各マークのオートキャリブレーション画像１２１上での中心座標とを対応づけて記録したテーブルである。キャリブレーションデータ管理テーブルは、オートキャリブレーション画像１２１に対応付けて記憶部１１０に記憶される。キャリブレーション管理テーブルには、各マークの識別番号に対応付けて、各マークのフレームメモリー４４上での中心座標が記録されている。なお、各マークの位置座標として、中心座標に代えて、各マークの位置する範囲の座標値（Ｘ座標、Ｙ座標における最大値、最小値）を記録しておくものであってもよい。このキャリブレーションデータ管理テーブルに記録された座標と、位置検出部５０が撮影画像データから検出した座標とに基づき、撮影画像データ上の座標とフレームメモリー４４上の座標とが対応付けられ、オートキャリブレーションデータ１２３が生成される。

キャリブレーション制御部３９は１回のキャリブレーションを実行して、１つのオートキャリブレーションデータ１２３の作成又は更新を行う。又は、キャリブレーション制御部３９は、オートキャリブレーション画像１２１を切り替えて複数の撮影と座標の対応づけを行う。そして、キャリブレーション制御部３９は、複数のオートキャリブレーションで得られた対応づけの結果を統合して、より高精度のオートキャリブレーションデータ１２３を作成してもよい。

本実施形態では、記憶部１１０には、複数のオートキャリブレーション画像１２１が記憶されている。キャリブレーション制御部３９は、記憶部１１０に記憶されたオートキャリブレーション画像１２１の中から１のオートキャリブレーション画像１２１を選択する。複数のオートキャリブレーション画像１２１を用意しておくことで、オートキャリブレーションを複数回行って、指示体７０、８０による指示座標の検出精度を高めることが可能になる。例えば、１回目のオートキャリブレーションと２回目のオートキャリブレーションとにおいて、マークの位置が異なるものを使用する。指示体７０、８０による指示座標の検出精度を高めるためには、マークにある程度の大きさ（面積）が必要となる。このため、オートキャリブレーションを２回に分けて、さらにオートキャリブレーション画像１２１上のマーク位置が異なるものを使用することで、指示体７０、８０による指示座標の検出精度を高めることができる。また、キャリブレーション制御部３９は、１回のオートキャリブレーションで、複数のオートキャリブレーション画像１２１を用いてもよい。なお、図５には、Ｘ字形状のマークを用いた例を示したが、マークの形状、サイズ、オートキャリブレーション画像１２１に含まれるマークの数、マークの配置等も限定されない。

マニュアルキャリブレーションは、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射し、投射した画像に対応する指示体７０の操作を検出して、マニュアルキャリブレーションデータを生成する処理である。
図８は、マニュアルキャリブレーション画像１２２の一例を示す。マニュアルキャリブレーション画像１２２は、ユーザーに指示体７０で指示をさせるため、指示位置を示すマークを含む。図８のマニュアルキャリブレーション画像１２２は複数の指示用のマーク（○）が配置され、ユーザーは、マークの位置を指示体７０で指示する。

マニュアルキャリブレーション画像１２２には複数のマークが含まれるが、これらのマークは、１つずつスクリーンＳＣに投射される。このため、マニュアルキャリブレーション画像１２２は、具体的にはマークの数が異なる複数の画像の組合せで構成される。
ユーザーはスクリーンＳＣにマークが表示される毎に、新たに表示されたマークを指示体７０で指示する。キャリブレーション制御部３９はユーザーが操作を行う毎に、指示位置を検出する。そして、キャリブレーション制御部３９は、撮影画像で検出した指示位置と、フレームメモリー４４に描画された投射画像、すなわちマニュアルキャリブレーション画像１２２のマークとを対応付ける。キャリブレーション制御部３９は、撮影画像データで検出した指示位置の座標値と、投射画像上のマークの座標値とを対応付けることにより、マニュアルキャリブレーションデータ１２４を作成する。
マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３と同様のデータ形式とすることも可能であるが、オートキャリブレーションデータ１２３を補正する補正データとすることができる。オートキャリブレーションデータ１２３は、撮影画像上の座標を投射画像上の座標に変換するデータである。これに対し、マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３を用いて変換された後の座標を、さらに補正するデータである。

キャリブレーション制御部３９は、指示体７０の指示位置の検出に関するキャリブレーションを行う場合に、オートキャリブレーション又はマニュアルキャリブレーションを実行できる。記憶部１１０が、過去に生成されたオートキャリブレーションデータ１２３を記憶している場合には、オートキャリブレーションとマニュアルキャリブレーションを選択して実行できる。ここで、オートキャリブレーションが実行された場合、キャリブレーション制御部３９は記憶部１１０のオートキャリブレーションデータ１２３を更新する。また、マニュアルキャリブレーションが実行された場合、マニュアルキャリブレーションデータ１２４が生成又は更新される。また、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合は、オートキャリブレーションを実行する必要がある。オートキャリブレーションデータ１２３が記憶されていない状態では、マニュアルキャリブレーションデータ１２４を使用できないためである。

キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するキャリブレーションを、指示体７０のマニュアルキャリブレーションと同様に実行できる。この場合、キャリブレーション制御部３９は、マニュアル補正データ１２６を生成する。マニュアル補正データ１２６は、指示体８０の指示位置を検出する場合に利用される。
マニュアル補正データ１２６は、図４（Ｂ）を参照して説明したように、指示体７０の指示位置として検出した座標を、指示体８０の指示位置の座標に補正するデータである。指示体８０の指示位置の検出に関し、マニュアルキャリブレーションを行わない場合には、キャリブレーション制御部３９は初期補正データ１２５を選択する。初期補正データ１２５は、図４（Ｂ）の距離Ｇ１を初期値にした場合の補正データであり、予め記憶部１１０に記憶される。光出射装置６０の設置時には、スクリーンＳＣと検出光Ｌとの距離Ｇ１が、例えば１０ｍｍ〜１ｍｍとなるように調整され、実際にはスクリーンＳＣの面内で変化する。初期補正データ１２５は、距離Ｇ１の初期値を、例えば５ｍｍに仮定した場合の補正データであり、初期補正データ１２５を使用すればマニュアルキャリブレーションを行わなくても指示体８０の指示位置を検出できる。マニュアルキャリブレーションで作成されるマニュアル補正データ１２６を用いれば、距離Ｇ１の面内における差を反映した補正を行うことで、より高精度で指示体８０の指示位置を検出できる。
つまり、検出制御部３２は、位置検出部５０の位置検出において、指示体７０の指示位置を検出する場合には、オートキャリブレーションデータ１２３又はマニュアルキャリブレーションデータ１２４を用いて指示位置の座標を求める。指示体８０の指示位置を検出する場合、検出制御部３２は、オートキャリブレーションデータ１２３又はマニュアルキャリブレーションデータ１２４を用いて座標を求める処理で、初期補正データ１２５又はマニュアル補正データ１２６で補正を行う。言い換えれば、初期補正データ１２５及びマニュアル補正データ１２６は、指示体７０の指示位置から指示体８０の指示位置を求める差分のデータである。

図３のフローチャートにおいて、オートキャリブレーションを実行するか、マニュアルキャリブレーションを実行するかがユーザーにより選択される（ステップＳ１）。キャリブレーション制御部３９は、リモコン又は操作パネル１９の操作を検出し（ステップＳ２）、オートキャリブレーションが選択された場合はステップＳ２に移行し、マニュアルキャリブレーションが選択された場合にはステップＳ７に移行する。なお、上述したように、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合、ステップＳ１で、オートキャリブレーションのみを選択可能なメニュー画面を投射してもよい。

ステップＳ２で、キャリブレーション制御部３９は、オートキャリブレーション画像１２１を選択する。記憶部１１０には、複数のオートキャリブレーション画像１２１が記憶されており、キャリブレーション制御部３９は、記憶部１１０に記憶されたオートキャリブレーション画像１２１の中から１のオートキャリブレーション画像１２１を選択する。
続いて、キャリブレーション制御部３９は、選択したオートキャリブレーション画像１２１を投射部２０によりスクリーンＳＣに投射する（ステップＳ３）。オートキャリブレーション画像１２１がスクリーンＳＣに投射された状態で、ユーザーは、リモコン又は操作パネル１９の操作により、オートキャリブレーション画像１２１がスクリーンＳＣの表示エリアに納まるように表示サイズや表示位置を調整してもよい。
キャリブレーション制御部３９は、位置検出部５０を制御して、撮像部５１により撮影を実行させ（ステップＳ４）、撮像部５１の撮影画像データを取得して、取得した撮影画像データに基づきオートキャリブレーションデータ１２３を作成する（ステップＳ５）。

キャリブレーション制御部３９は、背景画像作成処理を実行し（ステップＳ６）、ステップＳ１５に移行する。
図９は、背景画像作成処理の詳細を示すフローチャートである。
キャリブレーション制御部３９は、マスク画像を作成する（ステップＳ１１１）。マスク画像は、撮像部５１が撮影した撮影画像データから、スクリーンＳＣの表示エリアに相当する部分の画像データを切り出すための画像である。図１０に、マスク画像の一例を示す。

マスク画像の作成方法について図１１を参照しながら説明する。図１１には、撮影画像データの一例を示す。図１１では撮影画像データの左下を原点とし、上下方向をＸ軸方向とし、左右方向をＹ軸方向としている。
キャリブレーション制御部３９は、スクリーンＳＣの投射画像を撮影した撮影画像データから、スクリーンＳＣが写っている範囲を決定する。

プロジェクター１０では、既にステップＳ３で、投射画像がスクリーンＳＣの投射領域に納まるようにユーザーによって調整されている。また、キャリブレーション制御部３９は、オートキャリブレーション画像１２１に含まれるマークのうち、上下左右の各方向で最も外側に位置するマーク列がどのマーク列であるかを示すデータを取得する。このデータは、例えばオートキャリブレーション画像１２１に対応付けて記憶部１１０に記憶されている。
図１１に示す例では、オートキャリブレーション画像１２１の左側で、最も外側に位置するマーク列は、マーク列Ｔである。キャリブレーション制御部３９は、マーク列Ｔに含まれる各マークの中心座標を、図７に例示したキャリブレーションデータ管理テーブルから取得する。キャリブレーション制御部３９は、取得した各マークの中心座標にマージンとなる所定値を加算して、スクリーンＳＣの左端を決定する。マーク列Ｔは、オートキャリブレーション画像１２１の左側で、最も外側に位置するマーク列であるため、各マークのＹ座標値から、所定値を減算してスクリーンＳＣ左端の座標値とする。例えば、図１１に示すマーク列ＴのマークＴ３（Ｘ３、Ｙ３）の場合、Ｙ座標値Ｙ３から所定値αを減算した座標Ｔ３’（Ｘ３、Ｙ３−α）が、Ｔ３におけるスクリーンＳＣの左端となる。キャリブレーション制御部３９は、スクリーンＳＣの上下左右それぞれの方向で、端部の座標値を求める。なお、マークが存在しない領域については、補間処理によって端部の座標値を求めてもよい。キャリブレーション制御部３９は、求めた上下左右それぞれの方向の座標値を記憶部１１０に保存する。次に、キャリブレーション制御部３９は、求めたスクリーンＳＣの範囲のデータを使用して、マスク画像を作成する。キャリブレーション制御部３９は、スクリーンＳＣの範囲外の領域で、画素値が０になるように設定したマスク画像を生成する。キャリブレーション制御部３９は、生成したマスク画像を位置検出部５０の撮影画像データ処理部５６に送る。

次に、キャリブレーション制御部３９は、光出射装置６０の光源部６１をオフにして、撮像部５１に撮影範囲を撮影させる（ステップＳ１１２）。撮像部５１による撮影の際には、キャリブレーション制御部３９は、例えば、指示体７０、８０で操作を行わないように注意を促すメッセージ画像を投射部２０により投射させて、指示体７０、８０や、ユーザーが撮影されないようにする。ステップＳ１１２で撮影した、光出射装置６０の光源部６１をオフにして撮影した撮影画像データを、第１背景画像データ（第１撮影画像データ）と呼ぶ。図１２に、第１背景画像データの一例を示す。図１２に示す第１背景画像データには、スクリーンＳＣや、意図せずにスクリーンＳＣに写った反射光が記録されている。キャリブレーション制御部３９は、第１背景画像データを記憶部１１０に保存する。

次に、キャリブレーション制御部３９は、光出射装置６０の光源部６１をオンにして、撮像部５１に撮影範囲を撮影させる（ステップＳ１１３）。この撮影の際にも、例えば、上記のメッセージ画像を投射部２０に投射させて、指示体７０、８０や、ユーザーが撮影されないようにする。ステップＳ１１３で撮影した、光出射装置６０の光源部６１をオンにして撮影した撮影画像データを、第２背景画像データ（第２撮影画像データ）と呼ぶ。図１３に、第２背景画像データの一例を示す。図１３に示す第２背景画像データには、スクリーンＳＣや、光出射装置６０の検出光がスクリーンＳＣに反射した反射光に加えて、光源部６１の光を反射したペントレイが写っている。キャリブレーション制御部３９は、第２背景画像データを記憶部１１０に保存する。
キャリブレーション制御部３９は、第１背景画像データと第２背景画像データとを撮影すると、第２背景画像データから第１背景画像データを減算して、差分画像データを生成する（ステップＳ１１４）。なお、以下では、この差分画像データを光源ノイズデータと呼ぶ。キャリブレーション制御部３９は、生成した光源ノイズデータを記憶部１１０に保存する。なお、第１背景画像データ及び第２背景画像データの撮影は、後述する通常動作中に行ってもよい。

一方、マニュアルキャリブレーションが選択された場合、キャリブレーション制御部３９はステップＳ７に移行する。
ステップＳ７では、上述したステップＳ６の背景画像作成処理を実行する。図９のステップＳ１１１ではスクリーンＳＣにオートキャリブレーション画像１２１を投射して、マスク画像を作成するが、ステップＳ７においても同様である。

マスク画像を作成した後、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択し（ステップＳ８）、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ９）。マニュアルキャリブレーション画像１２２がスクリーンＳＣに投射された状態で、ユーザーは、マニュアルキャリブレーション画像１２２がスクリーンＳＣの表示エリアに納まるように表示サイズや表示位置を調整してもよい。

ここで、ユーザーにより、指示体７０を用いた操作が行われる（ステップＳ１０）。図８に示したように、マニュアルキャリブレーション画像１２２には所定のマークが配置されている。マニュアルキャリブレーション画像１２２がスクリーンＳＣに表示されると、ユーザーは、指示体７０を使用して、スクリーンＳＣに投射されたマークを１つずつ指し示す。プロジェクター１０の送信部５２は、同期用の赤外線信号を周期的に送信する。指示体７０は、この赤外線信号に同期して、赤外光を点灯させる。キャリブレーション制御部３９は、撮像部５１に、指示体７０の発光タイミングに同期して撮影範囲を撮影させる。これにより、指示体７０がマークを指し示している撮影画像データ（以下、第１位置検出画像データという）（操作画像データ）が撮影される。キャリブレーション制御部３９は、撮影画像データを取得して指示体７０の指示位置を検出する指示位置検出処理を実行する（ステップＳ１１）。

ステップＳ１１の詳細について、図１４に示すフローチャートを参照しながら説明する。第１背景画像データは、光出射装置６０の光源部６１をオフにして、指示体７０やユーザーが映らないようにして撮影したスクリーンＳＣとその周辺の画像である。第１背景画像データには、窓から入り込む外光や、蛍光灯等の照明の光、これらの光がスクリーンＳＣで反射した反射光による外乱等が記録されている。これらを背景ノイズと呼ぶ。

撮影画像データ処理部５６は、撮像部５１により撮影された第１位置検出画像データを取得する。撮影画像データ処理部５６は、取得した第１位置検出画像データをフレームメモリー５８に展開する。撮影画像データ処理部５６は、第１位置検出画像データを展開したフレームメモリー５８に、さらにマスク画像を重ねてマスク処理を行う（ステップＳ１２１）。なお、以下では、マスク処理されて切り出された、スクリーンＳＣに相当する領域の第１位置検出画像データを、切り出し画像データと呼ぶ。撮影画像データ処理部５６は、マスク処理により切り出した切り出し画像データを指示体検出部５４に渡す。指示体検出部５４は、撮影画像データ処理部５６から取得した切り出し画像データから第１背景画像データを減算して、背景ノイズを除去した差分画像データを生成する（ステップＳ１２２）。次に、指示体検出部５４は、差分画像データを濃度しきい値を用いて２値化する（ステップＳ１２３）。すなわち、指示体検出部５４は、差分画像データの画素値と濃度しきい値とを比較して、画素値が濃度しきい値以上の画素を検出する。図１５（Ａ）及び（Ｂ）に、濃度しきい値の一例を示す。図１５（Ａ）は、図１０に示すマスク画像に合わせて設定した濃度しきい値を示し、図１５（Ｂ）は、図１５（Ａ）に示す点Ａ〜点Ｄでの濃度しきい値を示している。

本実施形態では、濃度しきい値を、撮像部５１からの距離に応じて変更している。撮像部５１によって撮影された撮影画像データでは、撮像部５１から被写体までの距離が長いほど撮影画像の輝度が低く、撮像部５１から被写体までの距離が近いほど輝度が高くなる傾向がある。このため、位置検出部５０は、撮像部５１からの距離が近い範囲の濃度しきい値が大きく、撮像部５１からの距離が遠い範囲の濃度しきい値が小さく設定されている。このように濃度しきい値が傾斜を設けて設定されるため、撮影画像において、指示体７０の赤外光と、その他の画像との区別がしやすくなる。図１５（Ｂ）に示す例では、撮像部５１からの距離が最も近い点Ｄにおいて濃度しきい値が最も大きく設定されており、撮像部５１からの距離が最も遠い点Ａにおいて濃度しきい値が最も小さく設定されている。

指示体検出部５４は、２値化により検出した、画素値が濃度しきい値以上の画素を検出すると、検出された画素の塊ごとのブロックに分けて、ブロックのうち面積が所定の範囲内となるブロックの重心座標を求める（ステップＳ１２４）。重心座標とは、ブロックの位置的中心座標のことである。重心座標の算出は、例えば、ブロックに割り当てられた座標の横軸Ｘ成分及び縦軸Ｙ成分をそれぞれ加算して、その平均を取ることによって行われる。位置検出部５０は、算出した重心座標をキャリブレーション制御部３９に渡す。キャリブレーション制御部３９は、指示体検出部５４から取得した重心座標を、撮影画像データ上の指示座標と判定する。
なお、図２に示す例では、位置検出部５０がフレームメモリー５８を備えている場合を例に説明した。位置検出部５０がフレームメモリー５８を備えていない簡易な構成の場合には、撮影画像データ処理部５６は、第１位置検出画像データのうち、スクリーンＳＣ領域の第１位置検出画像データだけを指示体検出部５４に出力することで、マスク処理を行ってもよい。具体的には、撮影画像データ処理部５６は、キャリブレーション制御部３９から取得したマスク画像から、撮影画像データ上において、スクリーンＳＣに相当する領域の座標値を算出する。そして、撮影画像データ処理部５６は、撮影制御部５３から第１位置検出画像データを取得すると、算出した座標値に基づいて、スクリーンＳＣに相当する領域の第１位置検出画像データだけを指示体検出部５４に出力する。
キャリブレーション制御部３９は、図３に戻り、撮影画像データ上での指示座標と、対応するマークのオートキャリブレーション画像１２１上の座標とを対応付けて記憶部１１０に記憶させる（ステップＳ１２）。

キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ１３）、未処理のマークがある場合はステップＳ９に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ１２で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアルキャリブレーションデータ１２４を作成する（ステップＳ１４）。ここで作成されたマニュアルキャリブレーションデータ１２４は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ１５に移行する。

ステップＳ１５で、キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するマニュアルキャリブレーションを実行するか否かを選択するユーザーインターフェイスを投射部２０により投射させ、ユーザーの選択入力が行われる。
キャリブレーション制御部３９は、リモコン又は操作パネル１９の操作を検出し、マニュアルキャリブレーションを実行するか否かを判定する（ステップＳ１６）。

マニュアルキャリブレーションを実行しない場合（ステップＳ１６；Ｎｏ）、キャリブレーション制御部３９は、初期補正データ１２５を選択して（ステップＳ１７）、通常動作に移行する（ステップＳ１８）。
通常動作とは、画像Ｉ／Ｆ部１２に入力される入力画像に基づき、スクリーンＳＣに画像を投射し、指示体７０、８０により指示された指示位置を特定して、指示内容に応じた処理を行う動作である。

指示体８０の操作に関するマニュアルキャリブレーションを行う場合（ステップＳ１６；Ｙｅｓ）、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択する（ステップＳ１９）。
続いて、キャリブレーション制御部３９は、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ２０）。ここで、ユーザーにより、指示体８０を用いた操作が行われ（ステップＳ２１）、キャリブレーション制御部３９は、指示体８０の指示位置を検出する指示位置検出処理を実行する（ステップＳ２２）。このステップＳ２２の指示位置検出処理は、上述したステップＳ１１の指示位置検出処理と同様の処理であり、図１４のように実行される。

このステップＳ２２の指示位置検出処理で、位置検出部５０（指示体検出部５４）は、第２位置検出画像データ（操作画像データ）と、マスク画像、第１背景画像データ及び第２背景画像データとを用いて、指８０ａによって指し示された指示座標を検出する。なお、第２背景画像データは、光出射装置６０の光源部６１をオンして撮影したスクリーンＳＣとその周辺の画像である。このため、第２背景画像データには、第１背景画像データに記録された背景ノイズに加えて、光出射装置６０の光源部６１の発する光やその反射光が記録されている。この光源部６１の発する光に起因するノイズを光源ノイズと呼ぶ。キャリブレーション制御部３９は、ステップＳ８において、第２背景画像データから第１背景画像データを減算して光源ノイズデータを生成し、記憶部１１０に保存している。図１６に、光源ノイズデータの一例を示す。

位置検出部５０は、第２位置検出画像データから、第１背景画像データと光源ノイズデータとを減算して、背景ノイズと光源ノイズとを除去した差分画像データを生成する。差分画像データを生成した後の処理は、図１４に示す処理と同一であるため、説明を省略する。位置検出部５０は、算出した重心座標をキャリブレーション制御部３９に渡す。キャリブレーション制御部３９は、位置検出部５０から取得した重心座標を、撮影画像データ上の指示座標と判定する。そして、キャリブレーション制御部３９は、撮影画像データ上の指示座標と、対応するマークのマニュアルキャリブレーション画像１２２上でのマークの座標値とを対応付けて記憶部１１０に記憶させる（ステップＳ２３）。

キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ２４）、未処理のマークがある場合はステップＳ２０に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ２３で記憶した指示位置の座標とマークの位置とに基づき、マニュアル補正データ１２６を作成する（ステップＳ２５）。ここで作成されたマニュアル補正データ１２６は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ１８に移行して、通常動作を開始する。

なお、キャリブレーション制御部３９が、指示体７０のマニュアルキャリブレーションにより、オートキャリブレーションデータ１２３と同様のデータを含むマニュアルキャリブレーションデータ１２４を生成してもよい。この場合、キャリブレーション制御部３９は、図３のステップＳ８〜Ｓ１４の処理により、オートキャリブレーションデータ１２３と同様のマニュアルキャリブレーションデータ１２４を生成する。また、オートキャリブレーションデータ１２３とマニュアルキャリブレーションデータ１２４と同一のデータとしてもよく、この場合、ステップＳ１４で生成されるデータにより、過去に生成されたオートキャリブレーションデータ１２３が上書きされる。
この構成では、キャリブレーション制御部３９がオートキャリブレーションまたはマニュアルキャリブレーションのいずれかを実行すれば、指示体７０の指示位置の座標を求めることが可能となる。従って、図３の動作において、オートキャリブレーションデータ１２３が記憶されていない状態で、ステップＳ１でマニュアルキャリブレーションを選択することが可能となる。

次に、図１７に示すシーケンス図を参照して、通常動作中におけるプロジェクター１０（送信部５２）、指示体７０、光出射装置６０（光源部６１）の発光タイミングについて説明する。

本シーケンスでは、プロジェクター１０がマスター装置となり、指示体７０と、光出射装置６０とに発光タイミングを通知する。光出射装置６０の光源部６１と、指示体７０とは、プロジェクター１０から通知されたタイミングに従って発光する。また、本シーケンスは、第１フェーズから第４フェーズまでの４つのフェーズを備え、第１フェーズから第４フェーズを順に繰り返す。第４フェーズまで終了した場合には第１フェーズに戻り、第１フェーズから第４フェーズを再度繰り返す。これによって、プロジェクター１０は、指示体７０に発光タイミングを通知し、指示体７０や光出射装置６０の発光タイミングに同期して撮影を行うことができる。

第１フェーズは、同期フェーズである。第１フェーズでは、プロジェクター１０の送信部５２の光源を点灯させて、同期用の赤外線信号を指示体７０に送信する。指示体７０は、この同期用の赤外線信号を受信することで、第１フェーズの開始タイミングを認識することができる。なお、第１〜第４フェーズの各時間は、同一の時間に設定されているため、第１フェーズの開始タイミングを認識することで、指示体７０は、第２〜第４フェーズの開始タイミングも認識することができる。

第２フェーズは、位置検出のフェーズであり、光出射装置６０の光源部６１と、指示体７０とが点灯する。プロジェクター１０は、光源部６１と指示体７０との点灯タイミングに合わせて、撮像部５１により撮影範囲を撮影する。これにより、指示体８０がスクリーンＳＣ上を指し示している場合には、撮像部５１の撮影画像データに指示体８０の反射光が写る。また、撮像部５１の撮影画像データには、指示体７０の点灯光が写る。

第３フェーズは、指示体７０と光出射装置６０との発光タイミングに基づいて、指示体７０と指示体８０との指示位置を区別するために設けられたフェーズである。第３フェーズは、指示体判定のフェーズであって、指示体７０が、指示体７０に設定された固有の点灯パターンで点灯し、光源部６１は点灯しない。このため、撮像部５１の撮影画像データには、指示体７０の点灯光が写る。第２フェーズで撮影された輝点のうち、光出射装置６０が消灯する第３フェーズで撮影した撮影画像データに写った輝点の位置を指示体７０の指示位置として検出することができる。すなわち、第２、第４フェーズで撮影した撮影画像データから検出された指示座標のうち、第３フェーズで撮影した撮影画像データから検出された指示座標に近い指示座標は、指示体７０の指示座標であると判定することができる。
また、指示体７０には、指示体７０を識別するＩＤが設定されており、第３フェーズにおいて指示体７０は、設定されたＩＤに従って点灯する。指示体７０を複数使用する場合も、指示体７０ごとにＩＤを設定し、各指示体７０は、設定されたＩＤに従って点灯する。例えば、指示体７０のＩＤとして「１０００」が割り当てられており、「１」で指示体７０を点灯させ、「０」で指示体７０を消灯させる設定であるとする。この場合、指示体７０は、最初の第３フェーズにおいて点灯し、その後の２回目〜４回目の第３フェーズにおいては消灯する。従って、複数の指示体７０を使用して指示操作を行う場合であっても、プロジェクター１０は、各指示体７０の指示位置を検出することができる。

また、第４フェーズは、第２フェーズと同様に位置検出のフェーズである。光出射装置６０の光源部６１と指示体７０とを点灯させて、撮像部５１により撮影を行う。
なお、プロジェクター１０は、例えば、第１フェーズ、第２フェーズ、第４フェーズにおいて、撮像部５１により撮影範囲の撮影を行い、第１及び第２背景画像データを更新していくとよい。指示体検出部５４は、送信部５２により、同期用の赤外線信号を周期的に送信している。また、指示体検出部５４は、制御部３０からの通知により、出射装置駆動部４８によって光出射装置６０が点灯するタイミングを認識している。指示体検出部５４は、光出射装置６０の光源部６１が発光するタイミングと、指示体７０の発光タイミングとに基づいて、背景画像データの撮影を撮影制御部５３に指示する。例えば、第１フェーズにおいて、指示体検出部５４は、送信部５２から同期用の赤外線信号を送信した後に、撮像部５１により撮影範囲を撮影させる。撮影される撮影画像データは、指示体７０及び光出射装置６０の光源部６１が点灯していない画像データであるため、第１背景画像データとして使用することができる。また、第２フェーズと第４フェーズとの少なくとも一方において、指示体検出部５４は、指示体７０の点灯が終了した後、光出射装置６０の光源部６１が点灯している間に、撮像部５１により撮影範囲を撮影させる。撮影された撮影画像データは、指示体７０が消灯し、光出射装置６０の光源部６１が点灯している画像データである。このため、第２背景画像データとして使用することができる。このように通常動作中においても第１及び第２背景画像データを撮影して更新することで、指示体７０、８０による指示座標の検出精度を高めることができる。

また、指示体検出部５４は、指示体７０の発光を所定時間検出できない場合に、背景画像データの撮影を撮像部５１に指示してもよい。指示体検出部５４は、撮像部５１により撮影される撮影画像データから、指示体７０の発光を検出できない状態が、所定時間経過した場合、背景画像データの撮影を撮像部５１に指示する。従って、発光した指示体７０の像が写った背景画像データが撮影されないようにすることができる。このため、撮影画像データと背景画像データとの両方で、発光した指示体７０の像が撮影され、指示体７０の指示位置が検出できなくなる可能性を低減することができる。

以上説明したように、本実施形態のプロジェクター１０は、撮像部５１と、指示体検出部５４とを備えている。撮像部５１は、指示体７０、８０の指示位置を検出する、スクリーンＳＣを含む撮影範囲を撮影する。指示体検出部５４は、撮影範囲において指示体７０、８０による指示操作がなされている際に撮影された操作画像データと、指示体７０、８０による指示操作がなされていない際に撮影された背景画像データとに基づいて、指示体７０、８０の指示位置を検出する。本実施形態のプロジェクター１０によれば、操作画像データと背景画像データとに基づいて、指示体７０、８０の指示位置を検出するので、指示体７０、８０の指示位置を精度よく検出することができる。

また、プロジェクター１０は、撮影範囲に検出光を出射する光源部６１を備える光出射装置６０を備えている。指示体検出部５４は、光源部６１が検出光を出射していない際に撮影範囲を撮影した第１背景画像データを背景画像データとして使用する。窓から入る外光や室内の照明光が撮影範囲内の物体で反射した反射光の像が操作画像データとして撮影されると、指示体７０、８０の指示位置の検出精度を低下させる場合がある。そこで、光源部６１が検出光を出射していないときに撮影範囲を撮像部５１で撮影して、窓から入る外光や室内の照明光が撮影範囲内の物体で反射した反射光の像が撮影された背景画像データを取得する。そして、取得した背景画像データを用いて操作画像データから指示体７０、８０の指示位置を検出することで、外光や照明光の反射光による影響を低減して、指示体７０、８０の指示位置を精度よく検出することができる。

また、キャリブレーション制御部３９は、光源部６１が検出光を出射していない際に撮影範囲を撮影した第１背景画像データと、光源部６１が検出光を出射している場合に撮影範囲を撮影した第２背景画像データとの差分画像データを生成する。指示体検出部５４は、生成した差分画像データを背景画像データとして使用する。光源部６１の出射する検出光が撮影範囲内の物体で反射した反射光の像が操作画像データとして撮像部５１によって撮影されると、指示体７０、８０の指示位置の検出精度を低下させる場合がある。そこで、検出光が出射されている場合と出射されていない場合に撮影されたデータの差分を求めて背景画像データとする。この背景画像データには、光源部６１の出射する検出光が撮影範囲内の物体で反射した反射光の像が撮影されている。従って、操作画像データから指示体７０、８０の指示位置を検出する際に、背景画像データを用いて検出することで、光源部６１の出射する検出光による影響を低減して、指示体７０、８０の指示位置を精度よく検出することができる。

また、指示体検出部５４は、指示体７０が発する光と、光源部６１が出射した検出光が指示体８０で反射した光との少なくとも一方に基づいて指示体７０、８０の指示位置を検出する。また、指示体検出部５４は、光源部６１が検出光を出射するタイミングと、指示体７０の発光タイミングとに基づいて、背景画像データの撮影を撮像部５１に指示する。このため、背景画像データを好適なタイミングで撮影することができる。

また、指示体検出部５４は、指示体７０が発する光に基づいて指示体７０の指示位置を検出し、発光を所定時間検出できない場合に、背景画像データの撮影を撮像部５１に指示する。従って、発光した指示体７０の像が写った背景画像データが撮影されないようにすることができる。このため、撮影画像データと背景画像データとの両方で、発光した指示体７０の像が撮影され、指示体７０の指示位置が検出できなくなる可能性を低減することができる。

また、キャリブレーション制御部３９は、撮像部５１により背景画像データを撮影する際に、指示体７０、８０による指示操作をしないように案内する。従って、指示体７０、８０の像が写った背景画像データが撮影されないようにユーザーに注意することができる。

なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態では、例えば、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。
また、上記実施形態及び変形例では、光出射装置６０はプロジェクター１０の本体とは別体で構成され、ケーブル６０ａで接続される構成を例示したが、本発明はこれに限定されない。例えば、光出射装置６０をプロジェクター１０の本体に一体に取り付けることも、プロジェクター１０の本体に内蔵する構成としてもよい。また、光出射装置６０が外部から電源の供給を受け、出射装置駆動部４８との間で無線通信回線により接続されてもよい。

また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。
また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
上記実施形態では、ユーザーが、フロントプロジェクション型のプロジェクター１０が画像を投射（表示）するスクリーンＳＣ（投射面、表示面）に対して、指示体７０、８０による指示操作を行う態様について説明したが、ユーザーが、プロジェクター１０以外の表示装置（表示部）が画像を表示する表示画面（表示面）に対して指示操作を行う態様であってもよい。この場合にも、光出射装置６０や撮像部５１は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。

また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクションシステム（位置検出システム）、１０…プロジェクター（位置検出装置）、２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…出射制御部、３９…キャリブレーション制御部（報知制御部）、４０…画像処理部、５０…位置検出部、５１…撮像部（撮影部）、５４…指示体検出部（位置検出部）、５５…座標算出部、５６…撮影画像データ処理部、６０…光出射装置（光源部）、７０…指示体、７５…操作ＳＷ、８０…指示体、１１０…記憶部、１２１…オートキャリブレーション画像、１２２…マニュアルキャリブレーション画像、１２３…オートキャリブレーションデータ、１２４…マニュアルキャリブレーションデータ、１２６…マニュアル補正データ、ＳＣ…スクリーン（検出領域）。

Claims (9)

1. 指示体の指示位置を検出する検出領域を撮影する撮影部と、
   前記検出領域に検出光を出射する光源部と、
   前記検出領域において前記指示体による指示操作がなされているときに前記撮影部で撮影された操作画像データと、前記指示体による前記指示操作がなされていないときに前記撮影部で撮影された背景画像データとに基づいて、前記指示体の指示位置を検出する位置検出部と、を備え、
   前記位置検出部は、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データを前記背景画像データとして使用し、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出し、前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて、前記背景画像データの撮影を前記撮影部に指示することを特徴とする位置検出装置。
2. 指示体の指示位置を検出する検出領域を撮影する撮影部と、
   前記検出領域に検出光を出射する光源部と、
   前記検出領域において前記指示体の指示位置を検出する位置検出部と、を備え、
   前記位置検出部は、前記検出領域において前記指示体による指示操作がなされているときに前記撮影部に撮影を実行させて操作画像データを生成し、
   前記指示体による前記指示操作がなされておらず、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データと、前記指示体による指示操作がなされておらず、前記光源部が前記検出光を出射しているときに前記検出領域を撮影した第２撮影画像データとの差分画像データと、前記第１撮影画像データとを背景画像データとして用いて、前記操作画像データから前記指示体の指示位置を検出し、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出し、前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて、前記背景画像データの撮影を前記撮影部に指示することを特徴とする位置検出装置。
3. 前記第１撮影画像データ及び前記第２撮影画像データを記憶する記憶部を備え、
   前記位置検出部は、前記指示体が発する光に基づいて前記指示体の指示位置を検出し、前記指示体の発光を所定時間検出できない場合に、前記光源部に前記検出光の出射を指示せずに前記撮影部に撮影を指示して前記第１撮影画像データを生成させ、前記光源部に前記検出光の出射を指示すると共に、前記撮影部に撮影を指示して前記第２撮影画像データを生成させ、生成された前記第１撮影画像データ及び前記第２撮影画像データを前記記憶部に記憶させ、前記記憶部が記憶する前記第１撮影画像データ及び前記第２撮影画像データを更新することを特徴とする請求項２に記載の位置検出装置。
4. 前記撮影部により前記背景画像データを撮影する場合に、前記指示体による指示操作をしないように案内する報知制御部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の位置検出装置。
5. 請求項１から４のいずれか１項に記載の位置検出装置を備えることを特徴とするプロジェクター。
6. 指示体の指示位置を検出する検出領域に検出光を出射する光出射装置と、前記検出領域での指示体の指示位置を検出する位置検出装置と、を備え、
   前記位置検出装置は、
   前記検出領域を撮影する撮影部と、
   前記検出領域に検出光を出射する光源部と、
   前記検出領域において前記指示体による指示操作がなされているときに前記撮影部で撮影された操作画像データと、前記指示体による前記指示操作がなされていないときに前記撮影部で撮影された背景画像データとに基づいて、前記指示体の指示位置を検出する位置検出部と、を備え、
   前記位置検出部は、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データを前記背景画像データとして使用し、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出し、前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて、前記背景画像データの撮影を前記撮影部に指示することを特徴とする位置検出システム。
7. 指示体の指示位置を検出する検出領域に検出光を出射する光出射装置と、前記検出領域での指示体の指示位置を検出する位置検出装置と、を備え、
   前記位置検出装置は、
   前記検出領域を撮影する撮影部と、
   前記検出領域に検出光を出射する光源部と、
   前記検出領域において前記指示体の指示位置を検出する位置検出部と、を備え、
   前記位置検出部は、前記検出領域において前記指示体による指示操作がなされているときに前記撮影部に撮影を実行させて操作画像データを生成し、
   前記指示体による前記指示操作がなされておらず、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データと、前記指示体による指示操作がなされておらず、前記光源部が前記検出光を出射しているときに前記検出領域を撮影した第２撮影画像データとの差分画像データと、前記第１撮影画像データとを背景画像データとして用いて、前記操作画像データから前記指示体の指示位置を検出し、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出し、前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて、前記背景画像データの撮影を前記撮影部に指示することを特徴とする位置検出システム。
8. 指示体の指示位置を検出する検出領域に光源部が発する検出光を出射するステップと、
   前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて撮影部に撮影を指示し、前記検出領域を前記撮影部により撮影するステップと、
   前記撮影部により撮影された撮影画像データに基づいて前記指示体の指示位置を検出するステップと、を有し、
   前記撮影するステップは、前記検出領域において前記指示体による指示操作がなされているときに前記撮影部に撮影を実行させて操作画像データを生成し、
   前記指示位置を検出するステップは、前記指示体による前記指示操作がなされておらず、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データを背景画像データとして用いて、前記操作画像データから前記指示体の指示位置を検出するステップであり、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出することを特徴とする位置検出装置の制御方法。
9. 指示体の指示位置を検出する検出領域に光源部が発する検出光を出射するステップと、
   前記光源部が前記検出光を出射するタイミングと、前記指示体の発光タイミングとに基づいて撮影部に撮影を指示し、前記検出領域を前記撮影部により撮影するステップと、
   前記撮影部により撮影された撮影画像データに基づいて前記指示体の指示位置を検出するステップと、を有し、
   前記撮影するステップは、前記検出領域において前記指示体による指示操作がなされているときに前記撮影部に撮影を実行させて操作画像データを生成し、
   前記指示位置を検出するステップは、前記指示体による前記指示操作がなされておらず、前記光源部が前記検出光を出射していないときに前記検出領域を撮影した第１撮影画像データと、前記指示体による前記指示操作がなされておらず、前記光源部が前記検出光を出射しているときに前記検出領域を撮影した第２撮影画像データとの差分画像データと、前記第１撮影画像データとを背景画像データとして用いて、前記操作画像データから前記指示体の指示位置を検出するステップであり、
   前記指示体が発する光と、前記光源部が出射した前記検出光が前記指示体で反射した光との少なくとも一方に基づいて前記指示体の指示位置を検出することを特徴とする位置検出装置の制御方法。