以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。
以下において、「タッチ」とは入力位置の検出装置が位置を検出可能な状態になることを意味し、検出装置に接触して押圧する場合、押圧せずに接触する場合、及び、接触せずに近接する場合を含む。入力位置の検出装置には、接触型に限らず非接触型の装置を用いることもできる。非接触型の検出装置の場合には「タッチ」とは、入力位置を検出可能な距離まで検出装置に近接した状態を意味する。
(第1の実施の形態)
図1を参照して、本発明の第1の実施の形態に係る画像表示装置100は、演算処理部(以下、CPUと記す)102、読出専用メモリ(以下、ROMと記す)104、書換可能メモリ(以下、RAMと記す)106、記録部108、通信部110、タッチ検出部112、表示部114、表示制御部116、ビデオメモリ(以下、VRAMと記す)118、及びバス120を備えている。CPU102は、画像表示装置100全体を制御する。
後述するように、タッチ検出部112及び表示部114がタッチパネルディスプレイを構成し、タッチパネルディスプレイの画像表示面が水平に配置され、画像表示装置100はテーブルとして使用される。
ROM104は不揮発性の記憶装置であり、画像表示装置100の動作を制御するために必要なプログラム及びデータを記憶している。RAM106は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。記録部108は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記録部108は着脱可能に構成されていてもよい。CPU102は、バス120を介してROM104からプログラムをRAM106上に読出して、RAM106の一部を作業領域としてプログラムを実行する。CPU102は、ROM104に格納されているプログラムにしたがって画像表示装置100を構成する各部の制御を行なう。
バス120には、CPU102、ROM104、RAM106、記録部108、通信部110、タッチ検出部112、表示制御部116、及びVRAM118が接続されている。各部間のデータ(制御情報を含む)交換は、バス120を介して行なわれる。
表示部114は、画像を表示するための表示パネル(液晶パネル等)である。表示制御部116は、表示部114を駆動するための駆動部を備え、VRAM118に記憶された画像データを所定のタイミングで読出し、表示部114に画像として表示するための信号を生成して、表示部114に出力する。表示される画像データは、CPU102が記録部108から読出して、VRAM118に伝送する。
通信部110は、後述する携帯型端末装置との無線通信を可能とする。無線通信方式は任意であり、例えば、Bluetooth(登録商標)、又はWi−Fiを使用することができる。なお、Wi−Fiを用いる場合には、通信部110は、無線ルータが接続されたネットワークに有線で接続されていてもよい。
タッチ検出部112は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部112は、表示部114の表示画面に重畳して配置される。タッチ検出部112へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。したがって、本願明細書においては、記載の冗長性を排除するために、表示部114に表示された画像へのタッチと記載されている場合、この記載は、対応するタッチ検出部112上の位置へのタッチを意味する。
タッチ検出部112にタッチパネルを用いる場合のタッチ操作の検出について、図2を参照して説明する。図2は、赤外線遮断検出方式のタッチパネル(タッチ検出部112)を示す。タッチパネルは、長方形の書込面の隣接する2辺にそれぞれ一列に配置された発光ダイオード列(以下、LED列と記す)140、142と、それぞれのLED列140、142に対向させて一列に配置された2つのフォトダイオード列(以下、PD列と記す)144、146とを備えている。LED列140、142の各LEDから赤外線を発光し、この赤外線を対向するPD列144、146の各PDが検出する。図2において、LED列140、142の各LEDから赤外線を上向き及び左向きの矢印で示す。
タッチパネルは、例えばマイクロコンピュータ(以下、マイコンという)(CPU、メモリ、及び入出力回路等を含む素子)を備え、各LEDの発光を制御する。各PDは、受光した光の強度に応じた電圧を出力する。PDの出力電圧は、アンプによって増幅される。また、各PD列144、146の複数のPDからは同時に信号が出力されるので、出力信号は一旦バッファに保存された後、PDの配列順序に応じたシリアル信号として出力され、マイコンに伝送される。PD列142から出力されるシリアル信号の順序は、X座標を表す。PD列146から出力されるシリアル信号の順序は、Y座標を表す。
ユーザ900が指でタッチパネル上にタッチすると、タッチされた位置で赤外線が遮断される。したがって、遮断される前まで、その赤外線を受光していたPDの出力電圧は減少する。タッチされた位置(XY座標)に対応するPDからの信号部分が減少するので、マイコンは、受信した2つのシリアル信号の信号レベルが低下している部分を検出し、タッチされた位置座標を求める。マイコンは、決定した位置座標をCPU102に伝送する。このタッチ位置を検出する処理は、所定の検出周期で繰返されるので、同じ点が検出周期よりも長い時間タッチされていると、同じ座標データが繰返し出力される。どこにもタッチされていなければ、マイコンは位置座標を伝送しない。
上記したタッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出部112には、赤外線遮断方式以外のタッチパネル(静電容量方式、表面弾性波方式、抵抗膜方式等)を用いてもよい。なお、静電容量方式では、センサに近接していれば非接触でも位置を検出することができる。
画像表示装置100は上記のように構成されており、ユーザは画像表示装置100をコンピュータと同様に操作することができる。即ち、ユーザは、表示部114に表示された画面上のユーザインターフェイス(操作ボタン等)を、タッチ検出部112を介してタッチ操作し、アプリケーションプログラムを起動すること、及び、起動したアプリケーションによって表示されるウィンドウ上の操作を、タッチ検出部112を介して行なうことができる。
図3を参照して、画像表示装置100と連携する携帯型端末装置(以下、単に端末装置という)は、画像表示装置100と同様に構成されている。即ち、端末装置200は、CPU202、ROM204、RAM206、記録部208、通信部210、タッチ検出部212、表示部214、表示制御部216、VRAM218、及びバス220を備えている。CPU202は、端末装置200全体を制御する。タッチ検出部212及び表示部214がタッチパネルディスプレイを構成している。
ROM104は、端末装置200の動作を制御するために必要なプログラム及びデータを記憶している。CPU202は、バス220を介してROM204からプログラムをRAM206上に読出して、RAM206の一部を作業領域としてプログラムを実行する。CPU202は、ROM204に格納されているプログラムにしたがって端末装置200を構成する各部の制御を行なう。
表示部214は、画像を表示するための表示パネル(液晶パネル等)である。表示制御部216は、表示部214を駆動するための駆動部を備え、VRAM218に記憶された画像データを所定のタイミングで読出し、表示部214に画像として表示するための信号を生成して、表示部214に出力する。表示される画像データは、CPU202が記録部208から読出して、VRAM218に伝送する。
通信部210は、Bluetooth(登録商標)又はWi−Fi等により、画像表示装置100との無線通信を可能とする。
タッチ検出部212は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部212は、表示部214の表示画面に重畳して配置される。タッチ検出部212へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。タッチ検出部212にタッチパネルを用いる場合のタッチ操作の検出については、図2を参照して上記したとおりである。
以下、図4及び図5を参照して、画像表示装置100と端末装置200との連携により、端末装置200の入力補助機能及び表示補助機能を実現する方法に関して、具体的に説明する。ここでは、画像表示装置100において、連携を実現するためのプログラムが起動している状態で、ユーザが、連携を実現するためのプログラムが起動した端末装置200を持って、画像表示装置100に近付いたとする。画像表示装置100と端末装置200との通信は、Bluetooth(登録商標)によって直接行なわれるとする。
画像表示装置100の動作に関して説明する。図4を参照して、ステップ400において、CPU102は、連携機能を提供する対象である予め登録済みの端末装置200が検出されたか否かを判定する。検出されたと判定された場合、制御は402に移行する。そうでなければ、制御はステップ432に移行し、CPU102は、終了を指示されているか否かを判定する。終了の指示は、例えば、画像表示装置100の電源がオフされることによってなされる。終了を指示されていれば、本プログラムを終了する。そうでなければ、制御はステップ400に戻る。これにより、該当する端末装置200を検出するまで、検出処理が繰返される。
端末装置200が検出された場合、ステップ402において、CPU102は、表示部114に機能の選択画面を表示して、ユーザによる選択を待受ける。例えば、表示部114の画面600には、図6に示すような、入力補助及び表示補助の機能を選択するためのウィンドウが表示される。
ステップ404において、CPU102は、選択がなされたか否かを判定する。具体的には、CPU102は、「入力補助」キー又は「表示補助」キーの何れかがタッチされたか否かを判定する。「入力補助」キー又は「表示補助」キーの何れかがタッチされたと判定された場合、制御はステップ406に移行する。そうでなければ、ステップ404が繰返される。
ステップ406において、CPU102は、ステップ404で検出した選択結果を選択情報として端末装置200に送信する。例えば、CPU102は、「入力補助」キーがタッチされたことが検出された場合には、選択情報として“0”を送信し、「表示補助」キーがタッチされたことが検出された場合には、選択情報として“1”を送信する。
ステップ408において、CPU102は、ステップ404で検出した選択に応じて制御を分岐する。「入力補助」であると判定された場合、制御はステップ410に移行する。「表示補助」であると判定された場合、制御はステップ422に移行する。
ステップ410において、CPU102は、タッチ検出部112の上に端末装置200が載置されたか否かを判定する。このとき、CPU102は、表示部114に、何らかのメッセージを表示することが好ましい。例えば、図7に示すように、ユーザに端末装置を画像表示装置100の上に置くように促すメッセージを表示する。
CPU102は、タッチ検出部112の上に端末装置200が置かれたことを、上記したようにして取得したタッチ位置座標から判定することができる。例えば、所定の面積以上の領域で同時に複数点のタッチが検出された場合、端末装置が画像表示装置100の上に載置されたと判定する。端末装置が載置されたと判定された場合、制御はステップ412に移行する。そうでなければ、ステップ410が繰返される。
ステップ412において、CPU102は、タッチ検出部112上の端末装置200が載置された領域の下側に位置する表示部114の領域の近傍に、キーボード画像及びタッチパッド画像を表示する。キーボード画像及びタッチパッド画像は、回転等の処置を行なうことなく、画像表示装置100の通常の表示機能によって表示される。例えば、図8に示すように、端末装置200の下方に、キーボード画像610が表示され、その右側にタッチパッド画像612が表示される。また、CPU102は、連携機能の終了を指示するためのキーを表示する。図8では、画面の右上に終了キー620が表示されている。この状態で、ユーザがタッチ検出部112にタッチした場合、CPU102は、上記したようにタッチされた位置を特定することができる。
ステップ414において、CPU102は、入力操作がなされたか否かを判定する。具体的には、キーボード画像610、タッチパッド画像612及び終了キー620の何れかがタッチされたか否かを判定する。入力操作がなされたと判定された場合、制御はステップ416に移行する。そうでなければ、ステップ414が繰返される。
ステップ416において、CPU102は、ステップ414で検出された操作が、終了キー620へのタッチであるか否かを判定する。終了キー620へのタッチであると判定された場合、制御はステップ420に移行し、表示画像(キーボード画像610、タッチパッド画像612及び終了キー620)を消去し、終了を表す情報(以下、終了情報という)を端末装置200に送信する。その後、制御はステップ400に戻る。終了キー620へのタッチでないと判定された場合、制御はステップ418に移行する。
ステップ418において、CPU102は、ステップ414で取得したタッチ位置座標からタッチ位置に対応する指示を特定し、対応するデータ(文字コード等)を端末装置200に送信する。具体的には、CPU102は、キーボード画像610のキーがタッチされた場合、タッチされた位置座標から、タッチされたキーに対応する文字コードを特定する。CPU102は、タッチパッド画像612がタッチされた場合には、タッチされた位置に応じたデータを特定する。図8に示したタッチパッド画像612には、パッド領域618、左クリックキー614、右クリックキー616が含まれているので、CPU102は、パッド領域618内がタッチされた場合には、タッチ検出部112から取得した位置座標に対応する、パッド領域618内の位置座標を特定する。CPU102は、左クリックキー614又は右クリックキー616がタッチされた場合には、該当するコードを特定する。
画像表示装置100から送信されたデータは、後述するように、端末装置200によって受信されて、端末装置200に対する入力処理が実行される。
ステップ408で「表示補助」であると判定された場合、ステップ422において、CPU102は表示部114に、表示補助機能を実行するための所定のメッセージ、及び連携機能の終了を指示するためのキーを表示する。例えば、図9に示すように、メッセージ及び終了キー620が表示される。
後述するように、上記のメッセージを見たユーザが端末装置200のタッチ検出部212上でドラッグ操作を行なうと、端末装置200は、表示されている画面の画像データを、画像表示装置100に送信する。
ステップ424において、CPU102は、タッチ検出部112へのタッチ操作があったか否かを判定する。タッチ操作があったと判定された場合、制御はステップ426に移行する。そうでなければ、ステップ424が繰返される。即ち、ユーザが、端末装置200のタッチ検出部212上でドラッグ操作を行なった後、画像表示装置100のタッチ検出部112にタッチすると、制御はステップ426に移行する。
ステップ426において、CPU102は、ステップ424で検出された操作が、終了キー620へのタッチであるか否かを判定する。終了キー620へのタッチであると判定された場合、制御はステップ420に移行し、表示画面の消去及び終了情報の送信を行なった後、制御はステップ400に戻る。終了キー620へのタッチでないと判定された場合、制御はステップ428に移行する。
ステップ428において、CPU102は、端末装置200から画像データを受信したか否かを判定する。受信したと判定された場合、制御はステップ430に移行する。そうでなければ、ステップ428が繰返される。
ステップ430において、CPU102は、ステップ428で受信した画像データを、ステップ424で検出されたタッチ位置に、例えば拡大して表示する。これによって、図10に示すように、端末装置200の表示部214の画面の画像と同じ画像632が、画像表示装置100の表示部114に表示される。
その後、制御はステップ428に戻る。したがって、端末装置200から画像データを受信する度に、画像表示装置100は画面600に表示することができる。例えば、ユーザが端末装置200を操作して端末装置200の画面が変更された状態で、ユーザがドラッグ操作を行なうと、新たな画像データが送信され、画像表示装置は受信した画像データを表示する。したがって、例えば、端末装置200の画面に表示されている、複数のページ画像のうちの1ページをドラッグ操作して、画像表示装置100に表示した後、端末装置200の画面に別のページを表示すれば、2ページを同時に表示することができる。
端末装置200の動作に関して説明する。図5を参照して、ステップ500において、CPU202は、連携の対象である画像表示装置100が検出されたか否かを判定する。検出されたと判定された場合、制御は502に移行する。そうでなければ、制御はステップ522に移行し、CPU202は、終了を指示されているか否かを判定する。終了の指示は、例えば、端末装置200の電源がオフされることによってなされる。終了を指示されていれば、本プログラムを終了する。そうでなければ、制御はステップ500に戻る。これにより、該当する画像表示装置100を検出するまで、検出処理が繰返される。
画像表示装置100が検出された場合、ステップ502において、CPU202は、選択情報を受信したか否かを判定する。選択情報は、上記したように、ステップ406において、画像表示装置100から送信される、入力補助及び表示補助の何れが選択されたかを表す情報である。選択情報を受信した場合、制御はステップ504に移行する。そうでなければ、ステップ502が繰返される。
ステップ504において、CPU202は、ステップ502で受信した選択情報に応じて制御を分岐する。受信した選択情報が「入力補助」に対応すると判定された場合(選択情報=0)、制御はステップ506に移行する。受信した選択情報が「表示補助」に対応すると判定された場合(選択情報=1)、制御はステップ512に移行する。
ステップ506において、CPU202は、画像表示装置100からデータを受信したか否かを判定する。上記したステップ418において、画像表示装置100から、画像表示装置100に対するユーザの操作に応じたデータ(キーボード画像610上のタッチされたキーに対応する文字コード等)が送信される。受信したと判定された場合、制御はステップ508に移行する。そうでなければ、ステップ506が繰返される。
ステップ508において、CPU202は、ステップ506で受信したデータが終了情報であるか否かを判定する。終了情報は、上記したステップ420において、画像表示装置100から送信される。終了情報であると判定された場合、制御はステップ500に戻る。そうでなければ、制御はステップ510に移行する。
ステップ510において、CPU202は、受信したデータに応じた処理を実行する。即ち、CPU202は、受信したデータを入力データとして、選択されているアプリケーションに渡す。その後、制御はステップ506に戻る。
したがって、画像表示装置100に表示されたキーボード画像610又はタッチパッド画像612に対するタッチ操作がなされると、それに応じた入力処理が端末装置200上で実行される。例えば、端末装置200においてワープロソフトが起動され、選択されている状態で、画像表示装置100に表示されたキーボード画像610が操作されたことにより、端末装置200が文字コードを受信した場合、その文字コードはワープロソフトに渡され、ワープロソフトにより対応する文字が表示部214に表示される。また、画像表示装置100に表示されたタッチパッド画像612が操作(タッチ)された場合、受信されたデータが、選択されているアプリケーションに渡され、タッチパッド画像612の操作に対応する処理が、選択されているアプリケーションにより実行される。
ステップ504で「表示補助」に対応すると判定された場合、ステップ512において、CPU202は、タッチ検出部212に対するタッチ操作がなされたか否かを判定する。タッチ操作が検出された場合、制御はステップ514に移行する。そうでなければ、制御はステップ518に移行し、終了情報を受信したか否かを判定する。終了情報は、上記したステップ420において、画像表示装置100から送信される。終了情報であると判定された場合、制御はステップ500に戻る。そうでなければ、制御はステップ512に戻る。
ステップ514において、CPU202は、タッチ検出部212上でドラッグ操作がなされたか否かを判定する。ドラッグ操作が検出された場合、制御はステップ516に移行する。そうでなければ、制御はステップ520に移行する。
上記したように、画像表示装置100に、図9に示したようなメッセージが表示され、画像表示装置100に、端末装置200の画面を表示したいとユーザが考えた場合、ユーザは端末装置200においてドラッグ操作を行なう。
ステップ516において、CPU202は、表示部214の画面に表示されている画像データを、VRAM218から読出して画像表示装置100に送信する。送信した画像データは、画像表示装置100によって受信されて表示部114に表示される(ステップ428及びステップ430参照)。
その後、制御はステップ514に戻り、タッチ検出部212に対してドラッグ操作がなされる度に、表示部214の画面に表示されている画像データが画像表示装置100に送信される。
ステップ512で検出された操作が、ドラッグ操作でなければ、ステップ520において、CPU202は、操作に対応する処理を実行する。その後、制御はステップ512に戻る。
表示補助機能が選択された場合、ステップ512〜ステップ520によって、ユーザは、端末装置200を操作して画面を変更することができ、画面が変更された後にドラッグ操作を行なえば、新たに画面に表示された画像データが送信されて画像表示装置100に表示される。
以上のように、画像表示装置100と端末装置200との連携により、画像表示装置100は、端末装置200に対する入力補助機能及び表示補助機能を提供することができる。即ち、入力補助機能によって、ユーザは、端末装置200の小さい画面にキーボード画像等を表示して画面の一部を入力のために使用することなく、端末装置200の画面全体を表示のために使用することができる。画像表示装置100の大画面に、通常の大きさのキーボード等が表示されるので、ユーザは入力操作を容易に行なうことができる。また、キーボード等を端末装置200と一緒に持ち運ばなくてもよい。さらに、表示補助機能によって、端末装置200の画面を拡大して画像表示装置100に表示することができるので、ユーザは、端末装置200を操作しながら、打合せ又はプレゼンテーション等を効率的に行なうことができる。
上記では、入力補助機能においては、入力処理のみに関して説明したが、キーボード画像610及びタッチパッド画像612を任意の位置に移動可能にしてもよい。例えば、キーボード画像610又はタッチパッド画像612の特定の部分(例えば、画像の上部)がタッチされ、タッチが維持された状態でドラッグされた場合、対象の画像を移動させてもよい。図11は、キーボード画像610及びタッチパッド画像612の位置が、図8の配置から変更された状態を示す。これによって、ユーザは、より容易且つ効率的に入力操作を行なうことができる。
同様に、表示補助機能において、画像表示装置100に表示された、端末装置200の画面の画像632の表示位置を、タッチ検出部112に対するドラッグ操作等によって変更できるようにしてもよい。
上記では、画像表示装置100に表示された終了キー620がタッチされた場合に、連携を終了する場合を説明したがこれに限定されない。例えば、端末装置200が、画像表示装置100のタッチ検出部112の上から取除かれた時点で、連携を終了してもよい。
上記では、表示補助機能において、ユーザが端末装置200に対してドラッグ操作を行なった後、画像表示装置100に対してタッチ操作を行なうことによって、タッチ位置に端末装置200の画面の画像が表示される場合を説明したが、これに限定されない。例えば、ユーザが、端末装置200のタッチ検出部212に対して指によるドラッグ操作を行ない、そのままその指を画像表示装置100のタッチ検出部112に移動させて、続けてドラッグ操作を行なった場合に、そのドラッグ操作に応じて、画像表示装置100に端末装置200の画面の画像を表示してもよい。具体的には、図12に示すように、ユーザは、端末装置200の右端部分を画像表示装置100の画面(タッチ検出部112の上面)の左側にタッチさせた状態で、端末装置200上で右方向にドラッグ操作(左側の矢印)を行ない、そのまま、指を右方向に移動させて、画像表示装置100にタッチし、タッチを維持したままドラッグ操作を行なう(右側の矢印)。この操作にしたがって、CPU202は、端末装置200上でのドラッグにより、端末装置200の画面の画像データを画像表示装置100に送信する。CPU102は、タッチ位置(右側矢印の末端)に受信した画像の右端部分を表示し、その後のドラッグ操作の継続に応じて、現在のタッチ位置(右側矢印の先端)に画像の右端を移動させ、最初のタッチ位置(右側矢印の末端)までの範囲に、受信した画像の一部分630を表示する。ドラッグがさらに継続すると、図13に示すように、端末装置200の画面全体の画像632が画像表示装置100に表示される。このような操作によって、画像表示装置100と端末装置200との連携をより効果的に演出することができ、相手に印象付けることができる。
また、上記では、表示補助機能において、ユーザがドラッグ操作を行なうことにより、端末装置200の画面の画像データが送信される場合を説明したが、ドラッグ操作以外の操作であってもよい。また、端末装置200の画面表示が変更される度に、ユーザがドラッグ操作を行なうことなく、自動的に端末装置200の画面の画像データが送信されるようにしてもよい。このようにすると、ユーザの操作が少なくてすみ、より効率的である。
上記では、ユーザが入力補助機能及び表示補助機能の何れか一方を選択して利用する場合を説明したが、両方の機能を同時に利用可能にしてもよい。例えば、図4において、ステップ404でユーザが入力補助を選択した場合、ステップ412でキーボード画像610及びタッチパッド画像612を表示した後、表示補助機能を利用するか否かを選択するためのウィンドウを表示してもよい。ユーザが、表示補助機能の利用を選択した場合には、ステップ422〜430が実行されるようにすればよい。同様に、ステップ404でユーザが表示補助を選択した場合、ステップ430で端末装置の画面の画像を表示した後、入力補助機能を利用するか否かを選択するためのウィンドウを表示してもよい。ユーザが、入力補助機能の利用を選択した場合には、ステップ410〜418が実行されるようにすればよい。このようにすると、図14に示すように、端末装置200の画面が拡大されて表示された状態で、ユーザは、キーボード画像610及びタッチパッド画像612に対してタッチ操作を行なうことにより入力を行なうことができる。このとき、上記したように、端末装置200の画面表示が変更される度に、自動的に端末装置200の画面の画像データが送信されるようにすれば、キーボード画像610及びタッチパッド画像612に対するタッチ操作が自動的に、画像表示装置100に表示された画像632に反映され、効率的である。
また、上記では、端末装置200の画面が画像表示装置100の画面と平行になるように、画像表示装置100の上に端末装置200を載置する場合を説明したが、これに限定されない。例えば、端末装置200を立てて配置するためのスタンド等を用いて、画像表示装置100のタッチ検出部112の上に、端末装置200を載置してもよい。
上記では、キーボード画像及びタッチパッドの画像を表示する場合を説明したが、これに限定されない。キーボード画像及びタッチパッド画像の何れか一方のみを表示してもよい。その場合、キーボード画像及びタッチパッド画像の何れを表示するかを、ユーザが選択可能にしてもよい。
(第2の実施の形態)
第1の実施の形態では、端末装置の画面の画像と同じ画像を、例えば拡大して画像表示装置に表示する場合を説明したが、第2の実施の形態では、端末装置の画面の画像が、画像表示装置の画面の画像の一部を構成する。即ち、端末装置の画面が画像表示装置の画面を補完する。
第2の実施の形態に係る画像表示装置及び端末装置は、図1〜図3に示した第1の実施の形態に係る画像表示装置及び端末装置と同様に構成されている。以下においては、図1〜図3と同じ参照番号を使用する。第2の実施の形態に係る画像表示装置及び端末装置で実行されるプログラムは、第1の実施の形態と異なる。
図15及び図16を参照して、第2の実施の形態に係る画像表示装置100と端末装置200との連携に関して説明する。図15に示すフローチャートが、図4に示すフローチャートと異なるのは、ステップ700〜ステップ704が追加されているだけである。図15においては、便宜上、図4のステップ422〜ステップ430を、ステップ706(表示補助処理)としてまとめて記載している。また、図16に示すフローチャートが、図5に示すフローチャートと異なるのは、ステップ720〜ステップ726が追加されているだけである。図16においては、便宜上、図5のステップ512〜ステップ520を、ステップ728(表示補助端末側処理)としてまとめて記載している。
図15を参照して、入力補助が選択されてキーボード画像610及びタッチパッド画像612が表示された(ステップ412)後、入力操作がなされた場合(ステップ414での判定結果がYES)、ステップ700において、CPU102は、所定領域がタッチされたか否かを判定する。所定領域とは、キーボード画像610、タッチパッド画像612、及び終了キー620が表示された領域である。所定領域へのタッチであると判定された場合、制御はステップ416に移行する。そうでなければ、制御はステップ702に移行する。
ステップ702において、CPU102は、端末装置200から画像データを受信したか否かを判定する。画像データの受信は、本プログラムと並行して実行されている別のプログラムによって行なわれ、受信された画像データは、RAM106又は記録部108に記憶される。画像データが受信されていれば、制御はステップ704に移行する。そうでなければ、制御はステップ414に戻る。端末装置200からの画像データの送信は、後述するように、端末装置200の画面上でのドラッグ操作によって指示される。
ステップ704において、CPU102は、受信している画像データを、端末装置200が搭載されている領域を含むように、表示部114に表示する。例えば、図17に示すように、端末装置200が置かれている領域を左下部分に含むように、画像640が表示される。その後、制御はステップ414に戻る。
図17では、端末装置200の画面上で、矢印で示すようにドラッグ操作がなされたことによって、端末装置200の画面の画像データが画像表示装置100に送信され、画像表示装置100の表示部114に何も表示されていない領域に対応する、タッチ検出部112上の領域がタッチされたことによって、端末装置200の画面と同じ画像640が表示されている。
図16を参照して、入力補助に対応するデータを受信した(ステップ504での判定結果がYES)後、画像表示装置100からのデータを受信していない場合(ステップ506での判定結果がNO)、ステップ720において、CPU202は、タッチ検出部212に対するタッチ操作がなされたか否かを判定する。タッチ操作が検出された場合、制御はステップ722に移行する。そうでなければ、ステップ720が繰返される。
ステップ722において、CPU202は、タッチ検出部212上でドラッグ操作がなされたか否かを判定する。ドラッグ操作が検出された場合、制御はステップ724に移行する。そうでなければ、制御はステップ726に移行する。
ステップ724において、CPU202は、表示部214の画面に表示されている画像データを、VRAM218から読出して画像表示装置100に送信する。送信され画像データは、上記したように、画像表示装置100によって受信されて表示部114に表示される(ステップ702及びステップ704参照)。その後、制御はステップ506に戻る。
ステップ720で検出された操作が、ドラッグ操作でなければ、ステップ726において、CPU202は、操作に対応する処理を実行する。その後、制御はステップ506に戻る。
したがって、入力補助が選択された場合(ステップ408での判定結果がYES)、ステップ700〜ステップ704、及びステップ720〜ステップ726によって、ユーザは、端末装置200を操作して画面の表示を変更することができ、画面の表示が変更された後にドラッグ操作を行なえば、新たな画面の画像データが送信されて画像表示装置100に表示される。
図17の状態から、図18に示すように、端末装置200が画像表示装置100の上から取除かれても(取除かれた端末装置200は左端部分のみが示されている)、端末装置200の画面の画像と同じ画像640の表示は維持される。したがって、ユーザは、端末装置200の画面が拡大されて表示された画像640を見ながら、キーボード画像610及びタッチパッド画像612に対してタッチ操作を行なうことができるので、入力操作を効率的に行なうことができる。
上記では、端末装置200が画像表示装置100の上から取除かれても、端末装置200の画面と同じ画像640の表示が維持される場合を説明したが、図19に示すように、端末装置200が画像表示装置100の上から取除かると、端末装置200が置かれていた部分が表示されないようにしてもよい。即ち、ステップ704において、受信した画像データを表示する場合に、画像データのうち、端末装置200が載置されている領域に表示される部分画像のデータを、別のデータ(例えば、黒等を表す単一色のデータ)に置換えて、表示部114に表示する。図19では、端末装置200が置かれていた部分644は単色で表示されている(グレーアウト)。このようにすれば、例えば図20に示すように、ユーザは、端末装置200を取除いた後、相手に見せたくない画像802を端末装置200に表示して、検討することができる。図20では、端末装置200で実行されているアプリケーションのウィンドウに、社外秘の情報が表示されているが、その情報は、画像表示装置100には表示されていない。この状態で、端末装置200に対してドラッグ操作がなされて、端末装置200の新たな画面の画像データが送信されても、社外秘の情報が表示されたウィンドウの位置が変更されない限り、画像表示装置100には、端末装置200の新たな画面の画像データが、社外秘の情報が除かれた状態で表示される。
(第3の実施の形態)
第1及び第2の実施の形態に係る画像表示装置は1台の端末装置と連携し、端末装置に対する入力補助機能を提供した。第3の実施の形態に係る画像表示装置は、複数の端末装置と連携し、各端末装置に対して入力補助機能を提供する。
第3の実施の形態に係る画像表示装置は、図1に示した第1の実施の形態に係る画像表示装置と同様に構成されている。また、複数台の各端末装置は、図3に示した端末装置と同様に構成されている。第3の実施の形態に係る画像表示装置及び端末装置で実行されるプログラムは、第1及び第2の実施の形態と異なる。
図21及び図22を参照して、第3の実施の形態に係る画像表示装置100が2台の端末装置に入力補助機能を提供する場合に関して説明する。以下においては、画像表示装置に関しては、図1と同じ参照番号を使用する。2台の端末装置は、後述するように第1端末装置及び第2端末装置を明記した上で、図3の参照番号を使用する。図21及び図22において、図4及び図5と同じ参照番号を付したステップは、図4及び図5のステップと同じである。
図21を参照して、連携機能を提供する対象の端末装置がステップ400で検出された後、ステップ740において、CPU102は、表示部114に、2台の端末装置に対して入力補助機能を提供可能であることを示すメッセージを含む画像を表示する。具体的には、図23に示すように、画面600に、メッセージを含むウィンドウ660と2台用キー662とが表示される。
ステップ742において、CPU102は、2台での利用が選択されたか否かを判定する。2台での利用は、2台用キー662がタッチされることによって選択される。2台での利用が選択されたと判定された場合、制御はステップ744に移行する。そうでなければ、制御はステップ410に移行する。
なお、画像表示装置100は2台の端末装置を識別する必要がある。例えば、1台の端末装置に関して電源オン、プログラムの起動、及び画像表示装置100への載置を行なった後、別の端末装置に関して、電源オン、プログラムの起動、及び画像表示装置100への載置を行なうようにすれば、画像表示装置100は2台の端末装置を識別し、2台の端末装置と、表示した2組のキーボード画像及びタッチパッド画像とを対応させることができる。また、2台の端末装置がオンされ、専用プログラムが起動された状態で、画像表示装置100と通信可能になった場合には、端末装置が搭載されたときに、2台の端末装置を識別する情報(デバイス名等)を表示し、ユーザに選択させることにより、端末装置と、キーボード画像及びタッチパッド画像とを対応させてもよい。
ステップ744において、CPU102は、画面600を2分割する境界線を表示する。例えば、図24に示すように、破線の境界線664を表示する。図24において、タッチされた2台用キー662は、選択されていることを表すために輝度が反転されて表示されている。
ステップ746において、CPU102は、タッチ検出部112の上に、端末装置が載置されたか否かを判定する。載置された場合、CPU102は、カウンタ(初期値は“0”)に“1”を加算し、制御はステップ748に移行する。そうでなれば、ステップ746が繰返される。以下、最初に載置された端末装置を第1端末装置という。
ステップ748において、CPU102は、載置された第1端末装置の近傍にキーボード画像及びタッチパッド画像を表示する。具体的には、境界線664と平行な第1端末装置が載置された側の辺と、第1端末装置が載置された位置との間に、キーボード画像及びタッチパッド画像を表示する。例えば、図25に示したように、第1端末装置222が載置された場合、キーボード画像670及びタッチパッド画像672が表示される。
ステップ750において、CPU102は、2台の端末装置が全て載置されたか否かを判定する。2台目の端末装置(以下、第2端末装置という)が載置された場合、ステップ746が再度実行され、カウンタの加算処理が実行されて、カウンタの値が“2”になるので、カウンタが“2”であるか否かを判定する。全て載置されたと判定された場合、制御はステップ414に移行する。そうでなければ、制御はステップ746に戻る。
2台の端末装置が載置された状態は、図26のようになる。図26では、上記したように、第1端末装置222が載置された領域674にキーボード画像670及びタッチパッド画像672が表示され、第2端末装置224が載置された領域676に、対応するキーボード画像678及びタッチパッド画像680が表示されている。
ステップ742での判定の結果、2台用キー662がタッチされていなければ、ステップ410において、CPU102は、タッチ検出部112の上に、端末装置が載置されたか否かを判定する。
CPU102は、ステップ414において、キーボード画像及びタッチパッド画像に対して入力操作がなされたか否かを判定し、入力された場合、ステップ418において、ステップ414で取得したタッチ位置座標からタッチ位置に対応する指示を特定し、対応するデータ(文字コード等)を、第1端末装置222及び第2端末装置224のうち、対応する端末装置に送信する。2台用キー662がタッチされないまま、ステップ414が実行される場合(これは、カウンタの値が初期値“0”であるか否かにより判定できる)には、以下では1台の端末装置に関して処理が実行される。
ステップ752において、CPU102は、端末装置が、画像表示装置の上から除去されたか否かを判定する。除去されたと判定された場合、制御はステップ754に移行する。そうでなければ、制御はステップ414に戻る。
ステップ754において、CPU102は、端末装置が除去された領域からキーボード画像、タッチパッド画像、境界線、及び2台用キー662を削除し、その端末装置に終了情報を送信する。このとき、CPU102は、カウンタが“0”でなければ、カウンタを“1”だけ減算する。
ステップ756において、CPU102は、端末装置が全て除去された否かを判定する。これは、カウンタが初期値(“0”)であるか否かによって判定される。端末装置が2台とも除去されたと判定された場合、制御はステップ400に戻る。そうでなければ、制御はステップ414に戻る。
図22を参照して、第1端末装置及び第2端末装置が実行するプログラムの各ステップは、図5に示されたステップのうち、入力補助機能に関連するステップと同じである。即ち、第1端末装置及び第2端末装置は、上記したように、画像表示装置100との通信が確立された後、画像表示装置100から自機宛ての入力データを受信し、入力データに応じた処理を実行する。
このようにして、2台用キー662がタッチされない状態で、1台の端末装置が載置されると(ステップ742でNO、ステップ410でYES)、第1の実施の形態と同様に、1台の端末装置に対して入力補助機能を提供することができる。一方、2台用キー662がタッチされ、2台の端末装置が載置されると、画像表示装置100は、2台の端末装置に対して入力補助機能を提供することができる。載置されている端末装置のうち、1台の端末装置が除去されると、対応するキーボード画像及びタッチパッド画像が消去される。その状態では、搭載された端末装置があれば、その端末装置に対する入力補助機能は維持される。端末装置が全て除去されると。画像表示装置100の画面から画像が消去され、最初の状態に戻る。
上記では、ユーザが2台用キー662にタッチすることによって、2台の端末装置に対して入力補助機能を提供する場合を説明したが、これに限定されない。例えば、図23のような画面を表示することなく、端末装置が画像表示装置に載置される度に、画像表示装置が端末装置と通信を確立し、端末装置の近傍に、キーボード画像及びタッチパッド画像を表示するスペースがあれば、それらを表示してもよい。
また、画像表示装置の画面600の分割の方法は、図24のような分割方法に限定されない。例えば、図27に示すように、画面600の対角位置を使用してもよい。
また、画像表示装置の画面が大きければ、3台以上の端末装置に入力補助機能を提供するようにしてもよい。
以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。