JP5866027B2

JP5866027B2 - 情報処理装置、情報端末、情報処理システムおよびキャリブレーション方法

Info

Publication number: JP5866027B2
Application number: JP2014541895A
Authority: JP
Inventors: 康貴小西; 篤松本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-10-19
Filing date: 2012-10-19
Publication date: 2016-02-17
Anticipated expiration: 2032-10-19
Also published as: WO2014061155A1; JPWO2014061155A1; CN104737104A; DE112012007031T5; CN104737104B; US20150205396A1

Description

この発明は、タッチパネル機能を有したディスプレイ（以下、タッチパネルディスプレイと称する）を備えた情報処理装置が情報端末を遠隔で操作する場合に、情報処理装置のタッチパネルディスプレイに入力されたユーザ操作を情報端末に対する操作に変換するためのキャリブレーション情報を設定する情報処理装置、情報処理システム、およびタッチ操作領域のキャリブレーション方法に関するものである。

従来より、車載ナビゲーション装置などのタッチパネルディスプレイを備えた情報処理装置と、携帯電話などのタッチパネルディスプレイを備えた情報端末とを、ＷｉＦｉまたはＵＳＢなどにより接続し、情報端末の画面情報を情報処理装置のタッチパネルディスプレイ上に表示し、当該タッチパネルディスプレイを介して入力された操作情報を情報端末に送信することにより、情報処理装置が情報端末を遠隔操作する技術が提案されている。
従来の遠隔操作技術では、情報処理装置のタッチパネルディスプレイと、情報端末のタッチパネルディスプレイの解像度あるいはアスペクト比が一致するとは限らないため、情報処理装置のタッチパネルディスプレイ上のタッチ位置座標を、情報端末のタッチパネルディスプレイ上の位置座標に変換する処理が必要であった。

しかし、情報端末から情報処理装置に対して画面情報をデジタル出力する場合、情報端末と情報処理装置の双方で対応可能な解像度に合わせて、情報端末は出力する画面情報に黒帯などの周辺領域（以下、黒帯領域と称する）を付加する。そのため黒帯領域が付加された画面情報を表示する情報処理装置では、情報端末の機種毎に表示領域が異なる画面情報を表示されることとなる。従って、情報処理装置のタッチパネルディスプレイ上のタッチ位置座標を、情報端末のタッチパネルディスプレイ上の位置座標に変換するためには、情報端末の操作可能領域を車載ナビゲーション装置にあらかじめ設定する必要がある。

この対策として、特許文献１には、情報処理装置が情報端末の表示部の表示画面を撮像して画像データを生成する撮像部を備え、情報処理装置に入力されるタッチ操作の検知範囲を示す指標範囲内に情報端末の表示画面が収まるように、撮像部の撮像範囲や倍率を調整し、情報端末のタッチ操作領域を情報処理装置にあらかじめ設定する構成が開示されている。また、特許文献１には、固定ケース内に情報端末を格納し、当該固定ケースの蓋部分に取り付けられた撮像部により情報端末の表示画面を撮像することにより、情報処理装置の指標範囲内に情報端末の表示画面を一致させる操作方法が開示されている。

特開２０１２−３３７４号公報

しかしながら、上述した特許文献１に開示された技術では、ユーザが撮像部を操作しながら、情報端末の表示画面を情報処理装置の指標範囲内に収まるように撮影する必要があり、正確且つ短時間に情報端末のタッチ操作領域を情報処理装置に設定することができないという課題があった。また、固定ケースを用いる方法では、情報端末毎に端末サイズが異なるため、各情報端末に合わせて撮像部の設定を行う必要があり、汎用性に欠けるという課題があった。

この発明は上記のような課題を解決するためになされたもので、情報処理装置のタッチパネルディスプレイ上にデジタル出力された情報端末の出力画面情報（画面情報に黒帯領域を付加した情報）におけるタッチ操作領域を正確、且つ容易に取得することを目的とする。

この発明に係る情報処理装置は、通信部により受信される情報端末の画面情報を用いて、情報端末の画面をディスプレイに表示する表示制御部と、情報端末の画面を表示したディスプレイの画面を画像解析し、情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、タッチパネルに対するタッチ操作を検出し、操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、操作領域情報に基づいて、タッチ操作取得部が取得したタッチ操作の位置情報を、情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、通信部がタッチ座標変換部により変換された位置情報を遠隔操作情報として情報端末に送信し、表示制御部が操作対象の画面が表示された操作画面表示領域と、当該操作画面表示領域に隣接した操作画面表示領域外の領域とから構成されるキャリブレーション画面が表示された情報端末の画面情報を取得し、情報端末のキャリブレーション画面をディスプレイに表示し、操作領域取得部がディスプレイに表示したキャリブレーション画面を画像解析し、操作画面表示領域と操作画面表示領域外の領域との境界を特定し、当該操作画面表示領域に対応するタッチ操作領域の始点位置および領域サイズを、操作領域情報として取得することにより、情報端末を遠隔操作するものである。

この発明によれば、情報処理装置のタッチパネルディスプレイ上にデジタル出力された情報端末の出力画面情報におけるタッチ操作領域を正確、且つ容易に取得することができ、情報処理装置のタッチパネルディスプレイに入力されたタッチ操作を情報端末への操作に変換するための情報を容易に生成し、設定することができる。

実施の形態１による情報処理システムの構成を示すブロック図である。実施の形態１による情報処理システムの表示処理の一例を示す図である。実施の形態１による情報処理システムの操作領域取得部による画像解析処理の一例を示す図である。実施の形態１による情報処理システムの座標変換部による座標変換処理を示す図である。実施の形態１による情報処理システムのキャリブレーション処理を示すフローチャートである。発明の実施の形態１による情報処理システムの座標変換処理を示すフローチャートである。実施の形態１による情報処理システムのその他の構成を示すブロック図である。実施の形態２による情報処理システムの構成を示すブロック図である。実施の形態２による情報処理システムのキャリブレーション処理の一例を示す図である。実施の形態２による情報処理システムのキャリブレーション処理の一例を示す図である。実施の形態２による情報処理システムのキャリブレーション処理を示すフローチャートである。実施の形態３による情報処理システムの構成を示すブロック図である。実施の形態３による情報処理システムの画面向き検知処理を示すフローチャートである。実施の形態３による情報処理システムのキャリブレーション処理を示すフローチャートである。実施の形態４による情報処理システムの構成を示すブロック図である。実施の形態４による情報処理システムの表示例を示す図である。実施の形態４による情報処理システムのキャリブレーション処理を示すフローチャートである。実施の形態５による情報処理システムの構成を示すブロック図である。実施の形態５による情報処理システムのキャリブレーション処理を示すフローチャートである。実施の形態５による情報処理システムのその他の構成を示すブロック図である。実施の形態６による情報処理システムの構成を示すブロック図である。実施の形態６による情報処理システムの操作領域情報の蓄積および検索処理を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による情報処理システムの構成を示すブロック図である。
図１の例では、情報処理装置としての車載装置１および情報端末として携帯端末２を用いて情報処理システムを構成している。
車載装置１は、タッチパネルディスプレイを有する車載電子機器、例えばカーナビゲーションシステム、ディスプレイオーディオおよび車載ディスプレイなどである。携帯端末２は、車載装置１と通信可能な機能を有し、且つタッチパネルディスプレイを有する電子機器、例えばスマートフォン、携帯電話、ＰＨＳ、ＰＤＡ，ポータブルメディアプレーヤ、デジタルカメラおよびデジタルビデオカメラなどである。

次に、車載装置１および携帯端末２の各構成の詳細について説明する。
車載装置１は、映像通信部１１、表示制御部１２、タッチパネルディスプレイ１３、操作領域取得部１４、操作領域情報記憶部１５、タッチ操作情報取得部（タッチ操作取得部）１６、座標変換部（タッチ座標変換部）１７および操作／制御情報通信部１８を備える。携帯端末２は、端末表示部２１、映像通信部２２、操作／制御情報通信部２３および操作情報処理部２４を備える。

車載装置１の映像通信部１１は、携帯端末２の映像通信部２２との間でＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、無線ＬＡＮ、ＨＤＭＩ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）、ＭＨＬ（ＭｏｂｉｌｅＨｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＬｉｎｋ）などを介してデータ通信を行い、携帯端末２の出力画面情報を取得する。ここで、出力画面情報とは、携帯端末２の画面情報に、画面情報とは明度が異なる周辺領域（以下、黒帯領域と称する）を付加したものである。なお、詳細は後述する。

表示制御部１２は、映像通信部１１が取得した出力画面情報をタッチパネルディスプレイ１３に表示させる表示制御を行う。タッチパネルディスプレイ１３は、表示制御部１２の表示制御に基づいて携帯端末２の出力画面情報をディスプレイ上に表示する。また、ディスプレイ上に表示された携帯端末２の出力画面情報に対して入力されるユーザ操作を受け付ける。

ここで、携帯端末２の画面情報をタッチパネルディスプレイ１３の表示画面上に表示する場合の表示処理を、図２を参照しながら説明する。
携帯端末２の端末表示部２１には、機種毎にそれぞれ異なるサイズの画面２００ａ、画面２００ｂを有している。当該画面２００ａまたは画面２００ｂを構成する操作画面表示領域２０１ａ，２０１ｂに、黒帯領域である操作画面表示領域外の領域２０２ａ，２０２ｂが付加され、出力画面情報２０３ａ，２０３ｂとして映像通信部２２を介して車載装置１側に送信される。付加される操作画面表示領域外の領域２０２ａ，２０２ｂも端末毎にそれぞれ異なり、図２（ａ）の例では操作画面表示領域外の領域２０２ａが矩形の操作画面表示領域２０１ａの長辺側に配置され、図２（ｂ）の例では操作画面表示領域外の領域２０２ｂが矩形の操作画面表示領域２０１ｂの短辺側に配置される。

車載装置１の映像通信部１１が受信した出力画面情報２０３ａ，２０３ｂは表示制御部１２に入力され、表示制御部１２の表示制御に基づいてタッチパネルディスプレイ１３上に携帯端末出力画面１００ａ，１００ｂとして表示される。携帯端末出力画面１００ａ，１００ｂは、携帯端末２の表示画面が表示されたタッチ操作領域１０１ａ，１０１ｂと、黒帯領域が表示されたタッチ領域に隣接したタッチ操作領域外の領域１０２ａ，１０２ｂで構成される。

次に、操作領域取得部１４は、タッチパネルディスプレイ１３上に表示された携帯端末出力画面１００ａ，１００ｂに対して画像解析を行う。操作領域取得部１４による画像解析処理の一例を、図３を参照しながら説明を行う。
操作領域取得部１４は、携帯端末出力画面１００ｂに対して二値化処理を行い、二値化画像を取得する。タッチ操作領域１０１ｂとタッチ操作領域外の領域１０２ｂは明度が異なる領域であることから、例えば二値化画像に基づいてタッチ操作領域１０１ｂは白色、タッチ操作領域外の領域１０２ｂは黒色で示され、タッチ操作領域１０１ｂとタッチ操作領域外の領域１０２ｂとの境界を検出することができる。検出した境界に基づいてタッチ操作領域１０１ｂを特定し、特定したタッチ操作領域１０１ｂの始点位置Ｐ（０，０）、およびタッチ操作領域１０１ｂの横幅Ｗと縦幅Ｈで示されるサイズ情報を取得する。始点位置Ｐおよびサイズ情報は、車載装置１のタッチパネルディスプレイ１３を介して入力されたタッチ操作を、携帯端末２側のタッチ座標に変換する際に必要となる情報である。取得したタッチ操作領域１０１ｂの始点位置Ｐおよびサイズ情報は、操作領域情報として操作領域情報記憶部１５に記憶される。

タッチ操作情報取得部１６は、タッチパネルディスプレイ１３に対するユーザのタッチ状態およびタッチ位置座標を取得する。座標変換部１７は、タッチ操作情報取得部１６が取得したタッチ位置座標を、操作領域情報記憶部１５に記憶された操作領域情報に基づいて、携帯端末２側の位置座標を求めるための座標に変換する。この座標変換処理の詳細については後述する。操作／制御情報通信部１８は、座標変換部１７が変換した座標を操作情報として携帯端末２に送信する。操作／制御情報通信部１８は、携帯端末２の操作／制御情報通信部２３との間でＵＳＢ、無線ＬＡＮ、ＨＤＭＩ、ＭＨＬ、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下記載を省略する）などを介してデータ通信を行う。

車載装置１の映像通信部１１および操作／制御情報通信部１８は、車載装置１の起動時のタイミングで車載装置１および携帯端末２に対して接続要求を送信し、双方の機器の接続を行う。これにより、車載装置１の起動時に、車載装置１と携帯端末２を自動で接続させることができる。車載装置１と携帯端末２の接続が確立された後、車載装置１において携帯端末出力画面の操作領域情報の取得が行われる。なお、例えばＨＤＭＩなどの有線接続の場合、ユーザ手動による接続操作も考えるため、車載装置１と携帯端末２の接続方法は適宜選択可能である。なお、図１では映像通信部１１と操作／制御情報通信部１８とを設ける構成を示したが、１つの通信部が映像、操作情報および制御情報の通信を行うように構成してもよい。

次に、携帯端末２の構成について説明する。
端末表示部２１は、携帯端末２が起動しているアプリケーションの画面を表示する。映像通信部２２は、端末表示部２１に表示されたアプリケーション画面の画面情報を、車載装置１側に出力する。操作／制御情報通信部２３は、車載装置１の座標変換部１７で得られた操作情報を操作／制御情報通信部１８を介して受信し、操作情報処理部２４に通知する。操作情報処理部２４は、通知された操作情報から座標値を取得し、端末表示部２１の表示画面に対応した座標へ変換する。変換後の座標値に基づいてアプリケーションの制御を行う。

このように、車載装置１のタッチパネルディスプレイ１３に対して入力されたタッチ操作を携帯端末２の画面情報に対する操作指示として変換し、変換された操作指示に基づいてアプリケーションの制御を行い、制御結果であるアプリケーション画面を端末表示部２１に表示させる。

次に、座標変換処理について図４を参照しながら説明を行う。
ユーザが車載装置１のタッチパネルディスプレイ１３に対して操作入力Ａを行うと、タッチ操作情報取得部１６は当該操作入力Ａを検知し、操作領域情報記憶部１５に記憶された操作領域情報の始点位置Ｐに基づいて、操作入力Ａによるタッチ位置座標Ｑ（Ｘ，Ｙ）を取得する。座標変換部１７は、タッチ操作情報取得部１６が取得したタッチ位置座標（Ｘ，Ｙ）と、操作領域情報記憶部１５に記憶された操作領域情報のサイズ情報（タッチ操作領域の横幅Ｗおよび縦幅Ｈ）とを用いて正規座標変換を行い、正規座標（Ｘ´，Ｙ´）を取得する。
正規座標変換は、以下の式（１）で示される。

座標変換部１７が取得した正規座標（Ｘ´，Ｙ´）は、操作情報として操作／制御情報通信部１８を介して携帯端末２側に送信される。携帯端末２の操作情報処理部２４は、操作／制御情報通信部２３を介して受信した操作情報である正規座標（Ｘ´，Ｙ´）を、端末表示部２１の表示サイズ（横幅：Ｗｉｄｅ［ｐｘ］、縦幅：Ｈｅｉｇｈｔ［ｐｘ］）に対応させた座標（Ｘ´´，Ｙ´´）に変換する処理を行う。端末表示部２１の表示サイズに対応させた座標への変換は、以下の式（２）で示される。

変換された座標（Ｘ´´，Ｙ´´）は、携帯端末２の画面情報におけるタッチ操作領域Ｒとなる。

次に、情報処理システムの動作について説明する。
なお、以下では、車載装置１の映像通信部１１と、携帯端末２の映像通信部２２とをＨＤＭＩで接続し、車載装置１の操作／制御情報通信部１８と、携帯端末２の操作／制御情報通信部２３とをＢｌｕｅｔｏｏｔｈで接続した場合を例に説明する。また、情報処理システムの動作説明は、操作領域情報を取得して蓄積するキャリブレーション処理と、タッチパネルディスプレイ１３に対して入力されたタッチ操作を携帯端末２の端末表示部２１の座標に変換する座標変換処理とに分けて説明を行う。

まず、キャリブレーション処理について説明する。
図５は、この発明の実施の形態１による情報処理システムのキャリブレーション処理を示すフローチャートである。
車載装置１と携帯端末２とをＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続する（ステップＳＴ１）。なお、Ｂｌｕｅｔｏｏｔｈの接続処理は、車載装置１の起動時に行われる。携帯端末２の映像通信部２２は、ＨＤＭＩにより端末表示部２１の出力画面情報を車載装置１側に出力する（ステップＳＴ２）。車載装置１は、ステップＳＴ２で出力された出力画面情報を、映像通信部１１を介して表示制御部１２が受信し、タッチパネルディスプレイ１３の表示画面上に表示する（ステップＳＴ３）。

操作領域取得部１４は、タッチパネルディスプレイ１３の表示画面上に表示された出力画面情報に対して二値化処理を行い、取得した二値化画像から画面情報と、黒帯領域の境界を検出する（ステップＳＴ４）。操作領域取得部１４は、検出した境界に基づいてタッチ操作領域を特定し、特定したタッチ操作領域の始点位置およびサイズ情報を取得する（ステップＳＴ５）。取得した始点位置およびサイズ情報は、操作領域情報として操作領域情報記憶部１５に記憶し（ステップＳＴ６）、キャリブレーション処理を終了する。

なお、車載装置１を起動した際に通信可能であると検出された携帯端末２との間で通信接続を開始すると共に、キャリブレーション処理を実行するように構成してもよい。これにより、車載装置１および携帯端末２において接続設定およびキャリブレーション設定をユーザ側で行う必要がなくなる。また、通信接続可能であると検出された携帯端末の中から、ユーザが所望の携帯端末を選択して通信接続を確立した後、キャリブレーション処理を実行するように構成してもよい。

次に、座標変換処理について説明する。
図６は、この発明の実施の形態１による情報処理システムの座標変換処理を示すフローチャートである。なお、図６の例では、車載装置１と携帯端末２との通信がすでに確立されているものとして説明を行う。
携帯端末２の映像通信部２２は、ＨＤＭＩにより端末表示部２１の出力画面情報を車載装置１側に出力する（ステップＳＴ１１）。車載装置１は、ステップＳＴ１１で出力された出力画面情報を、映像通信部１１を介して表示制御部１２が受信し、タッチパネルディスプレイ１３の表示画面上に表示する（ステップＳＴ１２）。タッチパネルディスプレイ１３に出力画面情報が表示されると、タッチ操作情報取得部１６および座標変換部１７は、操作領域情報記憶部１５に記憶された操作領域情報を取得する（ステップＳＴ１３）。

さらにタッチ操作情報取得部１６は、タッチパネルディスプレイ１３に対して操作入力が行われたか否か判定を行う（ステップＳＴ１４）。操作入力が行われていない場合（ステップＳＴ１４：ＮＯ）、ステップＳＴ１４の判定処理に戻る。一方、操作入力が行われた場合（ステップＳＴ１４；ＹＥＳ）、タッチ操作情報取得部１６はステップＳＴ１３で取得した操作領域情報を参照して、操作入力に対応したタッチ位置座標を取得する（ステップＳＴ１５）。座標変換部１７は、ステップＳＴ１３で取得した操作領域情報を参照して、ステップＳＴ１５で取得されたタッチ位置座標に対して正規座標変換を行い、正規座標を取得する（ステップＳＴ１６）。

操作／制御情報通信部１８は、ステップＳＴ１６で取得された正規座標を操作情報として携帯端末２側に送信する（ステップＳＴ１７）。携帯端末２の操作情報処理部２４は、ステップＳＴ１７で送信された操作情報を携帯端末２の操作／制御情報通信部２３を介して取得し、当該操作情報である操作入力に対応した正規座標を携帯端末２の画面情報に対応した座標に変換する（ステップＳＴ１８）。さらに操作情報処理部２４は、ステップＳＴ１８で変換した座標の座標値に基づいて、携帯端末２のアプリケーションの制御を行い、当該制御に基づいたアプリケーション画面を端末表示部２１に表示させる（ステップＳＴ１９）。その後、フローはステップＳＴ１１の処理に戻り、上述した処理を繰り返す。

次に、実施の形態１の情報処理システムの座標変換処理について異なる構成を示す。
上述した座標変換処理では、車載装置１がタッチ位置座標に対して正規座標変換を行って得られた正規座標を取得し、操作情報として携帯端末２に出力し、携帯端末２側で正規座標を表示画面に対応した座標に変換する処理を行った。これに対して、車載装置１側で正規座標を携帯端末２の画面情報に対応した座標に変換する処理を行うように構成することも可能である。

図７は、この発明の実施の形態１による情報処理システムのその他の構成を示すブロック図である。
図７では、携帯端末２の操作／制御情報通信部２３から車載装置１の操作／制御情報通信部１８に向かう矢印、および車載装置１の操作／制御情報通信部１８から座標変換部１７に向かう矢印が追加されている。これは、携帯端末２の表示画面のサイズ情報（横幅：Ｗｉｄｅ［ｐｘ］、縦幅：Ｈｅｉｇｈｔ［ｐｘ］）を、携帯端末２の操作／制御情報通信部２３を介して車載装置１側にあらかじめ出力することを示している。車載装置１側に入力された表示画面のサイズ情報は、車載装置１の操作／制御情報通信部１８を介して座標変換部１７に入力された、座標変換部１７の格納領域（不図示）などに記憶される。

座標変換処理の処理動作としては、座標変換部１７がタッチパネルディスプレイ１３に対する操作入力のタッチ位置座標を正規座標に変換した後、あらかじめ記憶している携帯端末２の表示画面のサイズ情報を用いて当該正規座標を表示画面に対応した座標に変換する。変換した表示画面に対応した座標を操作情報として、携帯端末２側に出力する。携帯端末２の操作情報処理部２４では、通知された操作情報に示された座標値に基づいて携帯端末２のアプリケーションを制御する。
なお、車載装置１側で正規座標を携帯端末２の端末表示部２１の表示画面に対応した座標に変換する場合にも、上述した操作領域取得部１４によるキャリブレーション処理が行われる。

以上のように、この実施の形態１によれば、解像度や表示サイズが異なるタッチパネルディスプレイを備えた車載装置１と携帯端末２とを接続し、携帯端末２を車載装置１側で遠隔操作する場合に、携帯端末２の出力画面情報内のタッチ操作領域を判別し、判別したタッチ操作領域の操作領域情報を取得して記憶するキャリブレーション処理を行う操作領域取得部１４を備えるように構成したので、携帯端末の機種ごとに携帯端末出力画面のサイズが異なる場合であっても、車載装置のタッチパネルディスプレイに入力されたユーザ操作のタッチ位置座標を携帯端末の表示画面に対応した座標に容易に変換することができる。これにより、車載装置を用いて携帯端末を遠隔操作する際に、ユーザの手を煩わせることなく容易にタッチ操作領域を判別することができる。さらに情報処理装置のタッチパネルディスプレイに入力されたユーザ操作を携帯端末に対する制御指示として容易に変換することができる。

また、この実施の形態１によれば、車載装置１と携帯端末２とで対応可能な解像度に合わせて黒帯領域を付加した出力画面情報が車載装置１側に入力されることを用いて、操作領域取得部１４が出力画面情報に対して二値化処理を行って二値化画像を取得し、画面情報と黒帯領域の境界を検出し、タッチ操作領域を特定するように構成したので、タッチ操作領域を容易に判別することができる。

また、この実施の形態１によれば、車載装置１と携帯端末２との通信が確立した際に、携帯端末２の出力画面を車載装置１のタッチパネルディスプレイ１３の表示画面上に表示してタッチ操作領域を特定し、操作領域情報を取得するキャリブレーション処理を行うように構成したので、通信の確立を契機としてキャリブレーション処理を行うことができ、ユーザの意図的なキャリブレーション操作を必要としないという利点がある。また、携帯端末のアプリケーションを制御する操作を行う前に、自動的にキャリブレーション処理を行うことができる。

また、この実施の形態１によれば、車載装置１を起動した際に通信接続可能な携帯端末２を検索し、該当する携帯端末２を検出した場合に当該携帯端末２と通信接続を開始し、キャリブレーション処理を行うように構成したので、ユーザが車載装置および携帯端末の双方の機器の接続設定を行うことなく、車両に乗車することにより直ちにキャリブレーション処理を実行し、車載装置を介した携帯端末の遠隔操作を実行することができる。

なお、図７で示した情報処理システムのその他の構成は、実施の形態１のみではなく、後述する実施の形態２から実施の形態６においても適用可能である。

実施の形態２．
この実施の形態２では、車載装置１から出力されるキャリブレーション要求に基づいて、携帯端末２の出力画面および車載装置１のタッチパネルディスプレイ１３にキャリブレーション画面を表示させる構成について説明する。
図８は、この発明の実施の形態２による情報処理システムの構成を示すブロック図である。図１で示した実施の形態１の情報処理システムの車載装置１にキャリブレーション画面設定要求部１９を追加して設け、携帯端末２にキャリブレーション画面記憶部２５を追加して設けている。なお、以下では、実施の形態１による情報処理システムの構成要素と同一または相当する部分には実施の形態１で用いた符号と同一の符号を付して説明を省略または簡略化する。

車載装置１に設けたキャリブレーション画面設定要求部１９は、車載装置１の携帯端末２との通信接続状態、すなわち映像通信部１１および操作／制御情報通信部１８の通信接続状態を監視し、通信接続が確立された際に携帯端末２に対してキャリブレーション画面設定要求を出力する。ここでキャリブレーション画面設定要求とは、実施の形態１で示したキャリブレーションの処理を行う際に参照するキャリブレーション専用の画面の表示を要求するものである。出力されたキャリブレーション画面設定要求は車載装置１の操作／制御情報通信部１８を介して携帯端末２側に入力される。携帯端末２側では操作情報処理部２４が、入力されたキャリブレーション画面設定要求に応じてキャリブレーション画面記憶部２５に記憶されたキャリブレーション画面を読み出し、端末表示部２１に表示させる制御を行う。

次に、携帯端末２の表示画面にキャリブレーション画面を表示する処理およびキャリブレーション画面を用いたキャリブレーション処理の一例を図９および図１０を参照しながら説明する。
車載装置１と携帯端末２との通信がＢｌｕｅｔｏｏｔｈにより確立された状態で、図９（ａ）に示すように携帯端末２に画面２００が表示され、車載装置１のタッチパネルディスプレイ１３に携帯端末出力画面１００が表示されている。この表示状態において、車載装置１のキャリブレーション画面設定要求部１９が携帯端末２側にキャリブレーション画面設定要求を出力すると、携帯端末２の操作情報処理部２４がキャリブレーション画面記憶部２５からキャリブレーション画面を読み出し、端末表示部２１に表示する（図９（ｂ）参照）。キャリブレーション画面は、画面２００に背景２０４とボタン２０５が配置されて構成されている。図９（ｂ）に示した画面２００に黒帯領域である操作画面表示領域外の領域が付加され、出力画面情報として車載装置１側に送信される。

出力画面情報が車載装置１のタッチパネルディスプレイ１３上に表示され、携帯端末出力画面１００を構成する例を図１０（ａ）に示す。携帯端末出力画面１００は、画面２００を構成する操作画面表示領域を示したタッチ操作領域１０３と、付加された黒帯領域である操作画面表示領域外の領域が表示されたタッチ操作領域外の領域１０２´で構成される。図１０（ａ）に示すように、タッチ操作領域１０３は、黒帯領域とのコントラストが明確となる色、例えば白色などで構成された背景と、中央にキャリブレーション処理の確認用のボタン１０４が表示される。

操作領域取得部１４は、実施の形態１と同様に携帯端末出力画面１００に対して二値化処理を行い、二値化画像を取得する。取得した二値化画像に基づいてタッチ操作領域外の領域１０２´とタッチ操作領域１０３の境界を検出し、検出した境界に基づいてタッチ操作領域１０３を特定する。また、特定したタッチ操作領域１０３の始点位置Ｐ´（０，０）、およびタッチ操作領域１０３の横幅Ｗ´と縦幅Ｈ´で示されるサイズ情報を取得する。取得したタッチ操作領域１０３の始点位置Ｐ´およびサイズ情報は、操作領域情報として操作領域情報記憶部１５に記憶される。

操作領域情報の取得により有効となったボタン１０４を押下するユーザ操作が入力されると、当該ユーザ操作に対して実施の形態１と同様の座標変換処理を行い、操作情報を取得する。取得した操作情報は携帯端末２側に出力される。携帯端末２の操作情報処理部２４は入力された操作情報に基づいて背景２０４内のボタン２０５を押下する制御を行う。すなわち、車載装置１のタッチパネルディスプレイ１３への操作入力に基づいて、携帯端末２の端末表示部２１に表示されたボタン２０５が間接的に押下されることにより、キャリブレーション処理の終了が確認され、図９（ａ）に示す通常画面が表示される。

次に、実施の形態２の情報処理システムのキャリブレーション処理について、図１１のフローチャートを参照しながら説明を行う。なお、以下では、実施の形態１に係る情報処理システムと同一のステップには図５で用いた符号と同一の符号を付し、説明を省略または簡略化する。
車載装置１と携帯端末２とをＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続する（ステップＳＴ１、図９（ａ）参照）。車載装置１のキャリブレーション画面設定要求部１９は、操作／制御情報通信部１８を介して携帯端末２に対してキャリブレーション画面設定要求を出力する（ステップＳＴ２１）。携帯端末２は、ステップＳＴ２１で出力されたキャリブレーション画面設定要求を、操作／制御情報通信部２３を介して操作情報処理部２４が受信し、キャリブレーション画面記憶部２５からキャリブレーション画面を読み出し、端末表示部２１に表示する（ステップＳＴ２２、図９（ｂ）参照）。

携帯端末２の映像通信部２２は、ステップＳＴ２２で表示した端末表示部２１のキャリブレーション画面情報を車載装置１側に出力する（ステップＳＴ２３）。車載装置１は、ステップＳＴ２３で出力されたキャリブレーション画面情報を、映像通信部１１を介して表示制御部１２が受信し、タッチパネルディスプレイ１３の表示画面上に表示する（ステップＳＴ２４、図１０（ａ）参照）。操作領域取得部１４は、タッチパネルディスプレイ１３の表示画面上に表示されたキャリブレーション画面情報に対して二値化処理を行い、取得した二値化画像から操作画面表示領域と、操作画面表示領域外の領域の境界を検出する（ステップＳＴ２５）。操作領域取得部１４は、検出した境界に基づいて操作画面表示領域を特定し、特定した操作画面表示領域の始点位置およびサイズ情報を取得する（ステップＳＴ２６）。取得した始点位置およびサイズ情報は、キャリブレーション領域情報として操作領域情報記憶部１５に記憶する（ステップＳＴ２７）。

キャリブレーション領域情報が取得されると、タッチ操作情報の送信が有効となり、ユーザ操作の入力待ち状態となる（ステップＳＴ２８）。タッチ操作情報取得部１６は、タッチパネルディスプレイ１３のタッチ状態を監視し、ボタン表示部分が押下されていない場合（ステップＳＴ２８；ＮＯ）、ステップＳＴ２８の入力待ち状態に戻る。一方、ボタン表示部分が押下された場合（ステップＳＴ２８；ＹＥＳ）、タッチ操作情報取得部１６はステップＳＴ２７で記憶した操作領域情報を参照して、ボタンの押下操作に対応したタッチ位置座標を取得する（ステップＳＴ２９）。座標変換部１７は、ステップＳＴ２７で記憶した操作領域情報を参照して、ステップＳＴ２９で取得されたタッチ位置座標に対して正規座標変換を行い、正規座標を取得する（ステップＳＴ３０）。

操作／制御情報通信部１８は、ステップＳＴ３０で取得された正規座標を操作情報として携帯端末２側に送信する（ステップＳＴ３１）。携帯端末２の操作情報処理部２４は、ステップＳＴ３１で送信された操作情報を携帯端末２の操作／制御情報通信部２３を介して取得し、当該操作情報である操作入力に対応した正規座標を端末表示部２１の表示画面に対応した座標に変換する（ステップＳＴ３２）。さらに操作情報処理部２４は、ステップＳＴ３２で変換した座標の座標値に基づいて、表示画面に表示されたボタンを押下する制御を行う（ステップＳＴ３３、図１０（ｂ）参照）。ステップＳＴ３３の処理が行われると、操作情報処理部２４はキャリブレーションが正常に行われたと判断して端末表示部２１に通常の画面が表示され（ステップＳＴ３４）、キャリブレーション処理を終了する。

以上のように、この実施の形態２によれば、携帯端末２がキャリブレーション画面を記憶するキャリブレーション画面記憶部２５を備え、車載装置１が当該携帯端末２に対してキャリブレーション画面設定要求を出力するキャリブレーション画面設定要求部１９を備え、車載装置１のタッチパネルディスプレイ１３の表示画面上に表示されたキャリブレーション画面を参照して、操作領域取得部１４がタッチ操作領域を取得するように構成したので、操作画面表示領域と操作画面表示領域以外の領域との差異が明確となり、タッチ操作領域を容易且つ正確に特定することができる。
これにより、例えば携帯端末２において画面背景が黒色に近いアプリケーションを起動している場合であっても、黒帯領域との差異が明確となるキャリブレーション画面が表示されるため、容易且つ正確にタッチ操作領域を特定することができる。すなわち車載装置１側で操作画面表示領域と操作画面表示領域以外の領域とを特定することが困難な場合であってもタッチ操作領域を容易且つ正確に特定することができる。

また、この実施の形態２によれば、携帯端末２の表示画面に表示されたキャリブレーション画面に、操作領域情報を取得した後に押下可能となるボタンを設け、車載装置１のタッチパネルディスプレイ１３を介して入力された当該ボタン表示位置の押下動作を、携帯端末２のボタンへの押下動作に変換し、当該携帯端末２のボタンを間接的に押下するように構成したので、携帯端末２側でキャリブレーション処理が正確に実行されたか否か確認を行うことができる。

実施の形態３．
この実施の形態３では、携帯端末の画面向きが変更されたか否かを考慮して、車載装置側でキャリブレーション処理を行う構成について説明する。
図１２は、この発明の実施の形態３による情報処理システムの構成を示すブロック図である。図１で示した実施の形態１の情報処理システムの携帯端末２に画面向き検知部２６を追加して設けている。なお、以下では、実施の形態１による情報処理システムの構成要素と同一または相当する部分には実施の形態１で用いた符号と同一の符号を付して説明を省略または簡略化する。

画面向き検知部２６は、携帯端末２の端末表示部２１の向きや回転を検知するセンサなで構成される。また、画面向き検知部２６は、携帯端末２自体の向きや回転により、端末表示部２１の向きや回転を検知するものであってもよい。具体的には、端末表示部２１または携帯端末２の向きを検知する加速度センサ（重力センサ）などの方向検知機構、端末表示部２１または携帯端末２の回転を検知する回転検知機構などの機構のうち少なくとも１つを有して構成される。画面向き検知部２６は、検知結果を参照して端末表示部２１の向きが変更されたと検知した場合に、携帯端末２の操作／制御情報通信部２３を介して車載装置１側にタッチ操作領域の再取得要求を出力する。

車載装置１側に入力された再取得要求は、操作／制御情報通信部１８を介して操作領域取得部１４に入力され、当該操作領域取得部１４は入力された再取得要求に基づいて、タッチパネルディスプレイ１３上に現在表示されている携帯端末出力画面に対して画像解析を行い、タッチ操作領域を判別し、判別したタッチ操作領域の操作領域情報を取得する。取得した操作領域情報は操作領域情報記憶部１５に記憶される。

次に、実施の形態３による情報処理システムのキャリブレーション処理を、図１３および図１４を参照しながら説明する。
まず、携帯端末２の動作について説明する。
図１３は、この発明の実施の形態３による情報処理システムの携帯端末の画面向き検知処理を示すフローチャートである。なお、図１３のフローチャートでは、画面向き検知部２６が端末表示部２１の向きや回転を検知する場合を例に説明する。
車載装置１と携帯端末２とがＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続されている状態で、携帯端末２の画面向き検知部２６は端末表示部２１の向きを取得し（ステップＳＴ４１）、前回の検知結果から端末表示部２１の向きが変更されたか否か判定を行う（ステップＳＴ４２）。端末表示部２１の向きが変更されていない場合（ステップＳＴ４２；ＮＯ）、ステップＳＴ４１の処理に戻り、上述した処理を繰り返す。一方、端末表示部２１の向きが変更されている場合（ステップＳＴ４２；ＹＥＳ）、画面向き検知部２６はタッチ操作領域の再取得要求を車載装置１側に出力する（ステップＳＴ４３）。その後、ステップＳＴ４１の処理に戻り、上述した処理を繰り返す。

次に、車載装置１に動作について説明する。
図１４は、この発明の実施の形態３による情報処理システムの車載装置のキャリブレーション処理を示すフローチャートである。
なお、車載装置１におけるキャリブレーション処理は、図５で示したキャリブレーション処理と同一のステップには図５で用いた符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ１で車載装置１と携帯端末２がＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続されると、車載装置１側ではステップＳＴ２からステップＳＴ６と同一の処理が行われ、操作領域情報が取得、記憶される。さらに操作領域取得部１４は、携帯端末２側からタッチ操作領域の再取得要求が入力されたか否か判定を行う（ステップＳＴ５１）。

タッチ操作領域の再取得要求が入力された場合（ステップＳＴ５１；ＹＥＳ）、ステップＳＴ４の処理に戻り、タッチパネルディスプレイ１３に現在表示されている画像に対して二値化処理を行い、ステップＳＴ５およびステップＳＴ６の処理を行う。一方、操作領域の再取得要求が入力されていない場合（ステップＳＴ５１；ＮＯ）、ステップＳＴ５１の判定処理に戻り、待機する。
なお、携帯端末２の出力画面情報は常に更新されているものとし、図１４のフローチャートのステップＳＴ２およびステップＳＴ３の処理により、車載装置１のタッチパネルディスプレイ１３には携帯端末２の画面情報がリアルタイムに表示されているものとする。

以上のように、この実施の形態３によれば、携帯端末２の端末表示部２１の向きが変更されたと検知した場合に、車載装置１側にタッチ操作領域の再取得要求を出力する画面向き検知部２６と、入力されたタッチ操作領域の再取得要求に基づいて、タッチパネルディスプレイ１３上に表示された携帯端末出力画面のタッチ操作領域を再取得する操作領域取得部１４とを備えるように構成したので、画面向きが変更可能な携帯端末が接続された場合であっても、当該画面向きに合わせてタッチ操作領域を再取得することができる。これにより、画面向きを変更することが望ましいアプリケーションに対しても、画面向きに合わせてタッチ操作領域を再取得することができ、汎用性の高い情報処理システムを構築することができる。

実施の形態４．
この実施の形態４では、ユーザの操作入力に基づいてタッチ操作領域を設定する構成について説明する。
図１５は、この発明の実施の形態４による情報処理システムの構成を示すブロック図である。図１で示した実施の形態１の情報処理システムの車載装置１に、ユーザ操作部３１および可変枠表示制御部３２を追加して設けている。なお、以下では、実施の形態１による情報処理システムの構成要素と同一または相当する部分には実施の形態１で用いた符号と同一の符号を付して説明を省略または簡略化する。

ユーザ操作部３１は、タッチパネルディスプレイ１３上に表示された可変枠を操作し、可変枠内の領域を操作領域として設定するＧＵＩ、タッチパネルディスプレイ１３上に表示された可変枠を遠隔操作し、可変枠内の領域を操作領域として設定するリモコンボタンなどのユーザインタフェースで構成される。可変枠表示制御部３２は、ユーザ操作部３１により操作可能な可変枠をタッチパネルディスプレイ１３上に表示する。また、ユーザ操作部３１を介して入力されるユーザ操作に追従して可変枠を拡大縮小させる表示制御を行う。また操作領域の設定操作を行うことで、可変枠内をタッチ操作領域として設定する。
操作領域取得部１４は、ユーザ操作部３１の設定操作に基づき、可変枠表示制御部３２が表示した可変枠の内外でタッチ操作領域を設定し、操作領域情報を取得する。

図１６は、この発明の実施の形態４による情報処理システムの表示例を示す図である。
上述した実施の形態１と同様に、携帯端末２の画面２００は操作画面表示領域２０１で構成され、車載装置１のタッチパネルディスプレイ１３は携帯端末出力画面１００で構成される。携帯端末出力画面１００に対して、可変枠表示制御部３２はタッチ操作領域１０１を設定するための可変枠１０５を重畳表示する。ユーザはユーザ操作部３１を操作することにより、可変枠１０５を拡大あるいは縮小させ、タッチ操作領域１０１とタッチ操作領域外の領域１０２との境界と、可変枠１０５とを目視で一致させ、可変枠１０５内の領域をタッチ操作領域として始点位置Ｐ、およびタッチ操作領域の横幅Ｗおよび縦幅Ｈを示したサイズ情報を取得する。

可変枠１０５を拡大あるいは縮小させる手段として、図１６では可変枠１０５の長辺を移動させるＧＵＩ１０６、可変枠１０５の短辺を移動させるＧＵＩ１０７を例に示している。ＧＵＩ１０６およびＧＵＩ１０７の「＋」領域を選択することにより可変枠１０５は枠内の中心点（不図示）を基点として拡大し、「−」領域を選択することにより可変枠１０５は枠内の中心点を基点として縮小する。画面右下の設定ボタンを示すＧＵＩ１０８を押下することで、可変枠の内部を操作領域として設定する。また、図１６では、可変枠１０５を拡大あるいは縮小させるリモコンボタン１０９の矢印キーや可変枠を操作領域として設定する設定ボタン１１０も示している。

次に、実施の形態４の情報処理システムのキャリブレーション処理について、図１７のフローチャートを参照しながら説明を行う。なお、以下では実施の形態１による情報処理システムと同一のステップには図５で用いた符号と同一の符号を付し、説明を省略または簡略化する。
車載装置１と携帯端末２とをＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続する（ステップＳＴ１）。携帯端末２の映像通信部２２は、ＨＤＭＩにより端末表示部２１の出力画面情報を車載装置１側に出力する（ステップＳＴ２）。車載装置１は、ステップＳＴ２で出力された出力画面情報を、映像通信部１１を介して表示制御部１２が受信し、タッチパネルディスプレイ１３の表示画面上に表示する（ステップＳＴ３）。

可変枠表示制御部３２は、ステップＳＴ３で出力画面情報が表示されたタッチパネルディスプレイ１３に可変枠を重畳表示する（ステップＳＴ６１）。ユーザ操作部３１を介して、ステップＳＴ６１で重畳表示された可変枠に対する操作入力を受け付ける（ステップＳＴ６２）。ユーザは、携帯端末出力画面情報のタッチ操作領域とタッチ操作領域外の領域との境界と、可変枠とが一致したか否か判定を行う（ステップＳＴ６３）。タッチ操作領域とタッチ操作領域外の領域との境界と、可変枠とが一致していない場合（ステップＳＴ６３；ＮＯ）、ステップＳＴ６２の処理に戻り、可変枠に対する操作入力の受け付けを継続する。一方、タッチ操作領域とタッチ操作領域外の領域との境界と、可変枠とが一致したと判断した場合（ステップＳＴ６３；ＹＥＳ）、ユーザ操作部３１の設定操作により、操作領域取得部１４は可変枠と一致した領域の始点位置およびサイズ情報を取得する（ステップＳＴ６４）。取得した始点位置およびサイズ情報は、操作領域情報として操作領域情報記憶部１５に記憶し（ステップＳＴ６）、キャリブレーション処理を終了する。

以上のように、この実施の形態４によれば、携帯端末２の画面情報が表示された車載装置１のタッチパネルディスプレイ１３の表示画面上に可変枠を重畳表示する可変枠表示制御部３２と、表示した可変枠の拡大縮小操作を受け付けるユーザ操作部３１とを備え、可変枠と、携帯端末出力画面のタッチ操作領域とタッチ操作領域外の領域との境界とが一致した場合に、一致した領域をタッチ操作領域として操作領域情報を取得するように構成したので、可変枠をタッチ操作やリモコン操作で拡大縮小させることができ、ユーザが目視で確認しながらタッチ操作領域を設定することができる。これにより、携帯端末出力画面のタッチ操作領域が黒色に近いアプリケーションの場合であっても、目視で確認しながら正確にタッチ操作領域を設定することができる。

実施の形態５．
この実施の形態５では、情報処理システムの外部から操作領域情報を取得する構成について説明する。
図１８は、この発明の実施の形態５による情報処理システムの構成を示すブロック図である。図１で示した実施の形態１の情報処理システムの車載装置が備えていた操作領域取得部１４に替えて、携帯端末２が外部サーバに接続可能な通信処理部２７を備える。なお、以下では、実施の形態１による情報処理システムの構成要素と同一または相当する部分には実施の形態１で用いた符号と同一の符号を付して説明を省略または簡略化する。

外部サーバ４０は、例えばＷｅｂサービスなどのサーバで構成される。外部サーバ４０は携帯端末２と車載装置１の各機種の組み合わせにより決定される操作領域情報、および携帯端末２の機種により決定される表示画面のサイズ情報を保有しているものとする。

通信処理部２７は、無線ＬＡＮまたは３Ｇ回線などの通信手段により外部サーバ４０と通信を行い、当該外部サーバ４０にアクセスすることにより、互いに通信接続された携帯端末２と車載装置１間の操作領域情報、および携帯端末２の表示画面のサイズ情報（横幅：Ｗｉｄｅ［ｐｘ］、縦幅：Ｈｅｉｇｈｔ［ｐｘ］）を取得する。ここで、操作領域情報とは、実施の形態１と同様にタッチパネルディスプレイ１３上に携帯端末出力画面が表示された場合のタッチ操作領域の始点位置とサイズ情報を示す情報である。具体的には、通信処理部２７が外部サーバ４０に対して携帯端末２および車載装置１の識別ＩＤを入力することにより、当該識別ＩＤに対応した機種の携帯端末２と車載装置１とを組み合わせに応じた操作領域情報、および識別ＩＤに対応した機種の携帯端末２の表示画面のサイズ情報を取得することができる。識別ＩＤは、操作／制御情報通信部２３が操作／制御情報通信部１８と通信した際に取得し、通信処理部２７に提供されるものとする。

通信処理部２７が取得した操作領域情報は、携帯端末２の操作／制御情報通信部２３を介して車載装置１側に出力され、車載装置１の操作／制御情報通信部１８を介して操作領域情報記憶部１５に記憶される。タッチ操作情報取得部１６および座標変換部１７は、操作領域情報記憶部１５に記憶された操作領域情報を参照して座標変換処理を行う。
一方、通信処理部２７が取得した携帯端末２の表示画面のサイズ情報は、操作／制御情報通信部２３を介して操作情報処理部２４に出力され、格納領域（不図示）などに記憶される。操作情報処理部２４は、車載装置１側から通知された操作情報から座標情報を取得し、端末表示部２１の表示画面に対応した座標に変換する際に記憶された表示画面のサイズ情報が参照される。

次に、実施の形態５の情報処理システムのキャリブレーション処理について、図１９のフローチャートを参照しながら説明を行う。なお、以下では実施の形態１による情報処理システムと同一のステップには図５で用いた符号と同一の符号を付し、説明を省略または簡略化する。
車載装置１と携帯端末２とをＨＤＭＩおよびＢｌｕｅｔｏｏｔｈで接続する（ステップＳＴ１）。携帯端末２の通信処理部２７は、外部サーバ４０にアクセスし（ステップＳＴ７１）、携帯端末２および車載装置１の識別ＩＤをキーとして、対応する操作領域情報および携帯端末２の表示画面のサイズ情報を取得する（ステップＳＴ７２）。ステップＳＴ７２で取得した操作領域情報は車載装置１側に出力され、車載装置１の操作領域情報記憶部１５に記憶される（ステップＳＴ７３）。一方、ステップＳＴ７２で取得した表示画面のサイズ情報は、操作情報処理部２４に出力され（ステップＳＴ７４）、処理を終了する。

なお、外部サーバ４０へのアクセスは、図１８のブロック図で示した構成に限定されるものではなく、図２０のブロック図に示すように車載装置１が通信処理部２７´を備え、外部サーバ４０へアクセスするように構成してもよい。

以上のように、この実施の形態５によれば、外部サーバ４０にアクセスし、携帯端末２および車載装置１に対応する操作領域情報を取得する通信処理部２７，２７´を備えるように構成したので、操作領域情報を算出するための計算負荷の高い機能を車載装置あるいは携帯端末に設ける必要がなくなる。これにより、機能が限定された車載装置および携帯端末間においても、正確な操作領域情報の取得を可能とし、スムーズな遠隔操作を可能とする。

実施の形態６．
この実施の形態６では、車載装置のキャリブレーション処理により取得した操作領域情報を携帯端末の識別情報と関連付けて記憶しておき、次回以降の車載装置と携帯端末との接続時に記憶した操作領域情報を活用する構成について説明する。
図２１は、この発明の実施の形態６による情報処理システムの構成を示すブロック図である。図１で示した実施の形態１の情報処理システムの車載装置１に操作領域情報蓄積部３３、記憶情報処理部３４および蓄積情報検索部３５を追加して設けている。なお、以下では、実施の形態１による情報処理システムの構成要素と同一または相当する部分には実施の形態１で用いた符号と同一の符号を付して説明を省略または簡略化する。

操作領域取得部１４は、取得した操作領域情報と、携帯端末２の端末名などの識別名称とを関連付けて操作領域情報記憶部１５に記憶する。
操作領域情報記憶部１５は、例えばＲＡＭなどで構成される揮発性メモリであり、操作領域取得部１４が取得した操作領域情報と識別名称を一時的に格納する。
操作領域情報蓄積部３３は、例えばＳＤカードなどで構成される不揮発性メモリであり、車載装置１の電源がＯＦＦされる際に、操作領域情報記憶部１５に記憶された操作領域情報と識別名称とが、後述する記憶情報処理部３４を介して書き込まれる。

記憶情報処理部３４は、車載装置１の電源ＯＦＦ操作を検知すると、操作領域情報記憶部１５に記憶された操作領域情報と識別名称とを読み出し、操作領域情報蓄積部３３に書き込む処理を行う。例えば、車載装置１が起動から電源ＯＦＦの間に複数の携帯端末２と接続した場合には、電源ＯＦＦされる際に携帯端末２複数台分の操作領域情報と識別名称とが操作領域情報蓄積部３３に書き込まれる。なお、操作領域情報蓄積部３３への書き込むタイミングは、車載装置１の電源ＯＦＦ操作でもよいが、操作領域取得部３３が操作領域を取得した際に書き込むように構成してもよい。以下では、車載装置１の電源ＯＦＦ操作時に書き込むこととして、述べていくものとする。

蓄積情報検索部３５は、車載装置１の次回起動時に、当該車載装置１と接続した携帯端末２の操作領域情報が操作領域情報蓄積部３３に蓄積されているか検索を行う。接続した携帯端末２の操作領域情報が存在する場合には、当該携帯端末２の操作領域情報と識別名称とを読み出し、操作領域情報記憶部１５に書き込む処理を行う。また、車載装置１の次回起動時以外にも、新たな携帯端末２との接続が行われた際にも、操作領域情報蓄積部３３の検索を行い、該当する操作領域情報と識別名称とを読み出し、操作領域情報記憶部１５に書き込む処理を行う。
なお、次回起動時あるいは起動中に、新たな携帯端末２が接続されたか否かの判断および接続された端末の識別名称の取得は、映像通信部１１から入力される情報を参照して行う。

次に、実施の形態６の情報処理システムの動作について、図２２のフローチャートを参照しながら説明を行う。
図２２は、この発明の実施の形態６による情報処理システムの操作領域情報の蓄積および検索処理を示すフローチャートである。
車載装置１に電源ＯＦＦ指示が入力されると（ステップＳＴ８１）、記憶情報処理部３４は操作領域情報記憶部１５に記憶された操作領域情報および識別名称を読み出し、操作領域情報蓄積部３３に書き込む（ステップＳＴ８２）。その後、車載装置１の電源ＯＦＦが実行される（ステップＳＴ８３）。

続いて、車載装置１が起動され、車載装置１と携帯端末２が接続されると（ステップＳＴ８４）、蓄積情報検索部３５はステップＳＴ８４で接続された携帯端末２の識別名称を取得する（ステップＳＴ８５）。蓄積情報検索部３５は操作領域情報蓄積部３３の蓄積データを検索し、ステップＳＴ８５で取得した識別名称に対応した操作領域情報が蓄積されているか否か判定を行う（ステップＳＴ８６）。操作領域情報が蓄積されている場合（ステップＳＴ８６；ＹＥＳ）、蓄積情報検索部３５は対応する操作領域情報及び識別名称を操作領域情報蓄積部３３から読み出し、操作領域情報記憶部１５に書き込み（ステップＳＴ８７）、処理を終了する。一方、操作領域情報が蓄積されていない場合（ステップＳＴ８６；ＮＯ）、蓄積情報検索部３５は操作領域取得部１４に対してキャリブレーション処理の実行を指示し（ステップＳＴ８８）、処理を終了する。
ステップＳＴ８８でキャリブレーション処理の実行が指示された操作領域取得部１４は、実施の形態１で示したキャリブレーション処理（図５のフローチャート参照）を行う。

なお、上述したフローチャートでは、車載装置１の起動時に接続された携帯端末２の識別名称を取得する構成を示したが、起動時に限定されることなく、車載装置１の携帯端末２との通信状態を常に監視し、新たな携帯端末２が接続された場合にはステップＳＴ８６以降の処理を行うように構成してもよい。

以上のように、この実施の形態６によれば、車載装置１の電源ＯＦＦ時に操作領域情報記憶部１５に記憶された操作領域情報を、不揮発メモリである操作領域情報蓄積部３３に書き込む記憶情報処理部３４と、次回起動時に接続された携帯端末２に対応した操作領域情報が操作領域情報蓄積部３３に蓄積されているか否か検索を行う蓄積情報検索部３５とを備えるように構成したので、既に操作領域情報が取得されている携帯端末に対するキャリブレーション処理を省略することができる。また、キャリブレーション処理を行うか否かを車載装置１側で判断することができ、携帯端末２の機能に依存することなく汎用性の高い情報処理システムを構築することができる。

なお、上述した実施の形態２では、実施の形態１に構成を追加する例を示した、実施の形態３−６に対して適用することも可能である。また、実施の形態３から実施の形態６においても同様である。このように、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

以上のように、この発明に係る情報処理システムは、通信接続された一方の機器の表示画面のタッチ操作領域を他方の機器側で容易且つ正確に取得するキャリブレーション処理を可能としたので、ディスプレイの解像度やアスペクト比が異なる機器間で遠隔操作を行う情報処理システムに好適である。

１車載装置、２携帯端末、１１，２２映像通信部、１２表示制御部、１３タッチパネルディスプレイ、１４操作領域取得部、１５操作領域情報記憶部、１６タッチ操作情報取得部、１７座標変換部、１８，２３操作／制御情報通信部、１９キャリブレーション画面設定要求部、２１端末表示部、２４操作情報処理部、２５キャリブレーション画面記憶部、２６画面向き検知部、２７，２７´ 通信処理部、３１ユーザ操作部、３２可変枠表示制御部、３３操作領域情報蓄積部、３４記憶情報処理部、３５蓄積情報検索部、４０外部サーバ、１００携帯端末出力画面、１０１，１０３タッチ操作領域、１０２，１０２´ タッチ操作領域外の領域、１０４ボタン、１０５可変枠、１０６，１０７，１０８ＧＵＩ、１０９リモコンボタン、１１０設定ボタン、２００画面、２０１操作画面表示領域、２０２操作画面表示領域外の領域、２０３出力画面情報、２０４背景、２０５ボタン。

Claims

情報端末と通信接続する通信部と、タッチパネルが配設されたディスプレイとを備え、前記タッチパネルに対するタッチ操作を遠隔操作情報に変換し、前記通信部により前記遠隔操作情報を前記情報端末に送信することにより、当該情報端末を遠隔操作する情報処理装置において、
前記通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記情報端末の画面を表示した前記ディスプレイの画面を画像解析し、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、
前記タッチパネルに対するタッチ操作を検出し、前記操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を、前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、
前記通信部は、前記タッチ座標変換部により変換された位置情報を前記遠隔操作情報として前記情報端末に送信し、
前記表示制御部は、操作対象の画面が表示された操作画面表示領域と、当該操作画面表示領域に隣接した操作画面表示領域外の領域とから構成されるキャリブレーション画面が表示された前記情報端末の画面情報を取得し、前記情報端末のキャリブレーション画面を前記ディスプレイに表示し、
前記操作領域取得部は、前記ディスプレイに表示したキャリブレーション画面を画像解析し、前記操作画面表示領域と操作画面表示領域外の領域との境界を特定し、当該操作画面表示領域に対応するタッチ操作領域の始点位置および領域サイズを、前記操作領域情報として取得することを特徴とする情報処理装置。
情報端末と通信接続する通信部と、タッチパネルが配設されたディスプレイとを備え、前記タッチパネルに対するタッチ操作を遠隔操作情報に変換し、前記通信部により前記遠隔操作情報を前記情報端末に送信することにより、当該情報端末を遠隔操作する情報処理装置において、
前記通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記情報端末の画面を表示した前記ディスプレイの画面を画像解析し、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、
前記タッチパネルに対するタッチ操作を検出し、前記操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を、前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、
前記通信部は、前記タッチ座標変換部により変換された位置情報を前記遠隔操作情報として前記情報端末に送信し、
前記表示制御部は、操作対象の画面が表示された操作画面表示領域と、当該操作画面表示領域に隣接した操作画面表示領域外の領域とから構成される情報端末の画面が表示された前記情報端末の画面情報を取得し、前記情報端末の画面を前記ディスプレイに表示し、
前記操作領域取得部は、前記ディスプレイの画面内の画素値を二値化処理した後、前記操作画面表示領域と前記操作画面表示領域外の領域との境界を特定し、前記操作画面表示領域に対応するタッチ操作領域の始点位置および領域サイズを前記操作領域情報として取得することを特徴とする情報処理装置。
前記操作領域取得部は、前記ディスプレイの画面内の画素値を二値化処理した後、前記操作画面表示領域と操作画面表示領域外の領域との境界を特定することを特徴とする請求項１記載の情報処理装置。
前記情報端末に対して前記キャリブレーション画面を表示するよう要求するキャリブレーション画面設定要求部を備えたことを特徴とする請求項１記載の情報処理装置。
ユーザ操作に応じて枠サイズを変更可能な可変枠を、前記情報端末の画面が表示された前記ディスプレイの画面に重畳表示する可変枠表示制御部を備え、
前記操作領域取得部は、前記操作画面表示領域と前記操作画面表示領域外の領域との境界に一致するように重畳表示された前記可変枠を用いて、前記操作画面表示領域と前記操作画面表示領域外の領域との境界をユーザ側で指定することを特徴とする請求項２記載の情報処理装置。
情報端末と通信接続する通信部と、タッチパネルが配設されたディスプレイとを備え、前記タッチパネルに対するタッチ操作を遠隔操作情報に変換し、前記通信部により前記遠隔操作情報を前記情報端末に送信することにより、当該情報端末を遠隔操作する情報処理装置において、
前記通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記情報端末の画面を表示した前記ディスプレイの画面を画像解析し、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、
前記タッチパネルに対するタッチ操作を検出し、前記操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を、前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、
前記通信部は、前記タッチ座標変換部により変換された位置情報を前記遠隔操作情報として前記情報端末に送信し、
前記操作領域取得部は、前記通信部によって前記情報端末から画面の表示方向の変更が通知された場合、変更後の表示方向の画面を表示した前記ディスプレイの画面を画像解析し、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得することを特徴とする情報処理装置。
前記操作領域取得部は、前記通信部と前記情報端末との通信接続が確立したことを契機として、前記操作領域情報の取得処理を開始することを特徴とする請求項１から請求項６のうちのいずれか１項記載の情報処理装置。
前記通信部は、情報処理装置が起動すると、通信接続可能な情報端末を検索し、検索された情報端末と通信接続することを特徴とする請求項１から請求項７のうちのいずれか１項記載の情報処理装置。
前記表示制御部は、前記情報端末の画面に表示されたキャリブレーションの成否を確認するためのユーザインタフェース部を、前記操作画面表示領域に表示し、
前記操作領域取得部は、前記ユーザインタフェース部を含む前記操作画面表示領域に対応するタッチ操作領域の操作領域情報を取得し、
前記タッチ操作取得部は、前記タッチパネルに表示された前記ユーザインタフェース部に対するユーザ操作を検出し、前記操作領域情報に基づいて検出した前記ユーザインタフェース部に対するユーザ操作のタッチ位置情報およびタッチ操作種別を取得し、
前記タッチ座標変換部は、前記操作領域情報に基づいて前記ユーザインタフェース部に対するユーザ操作のタッチ位置情報を、前記情報端末の画面に対応する位置情報に変換し、
前記タッチ座標変換部により変換された位置情報と前記タッチ操作種別を前記遠隔操作情報として前記通信部によって前記情報端末に送信することを特徴とする請求項１記載の情報処理装置。
情報端末と通信接続する通信部と、タッチパネルが配設されたディスプレイとを備え、前記タッチパネルに対するタッチ操作を遠隔操作情報に変換し、前記通信部により前記遠隔操作情報を前記情報端末に送信することにより、当該情報端末を遠隔操作する情報処理装置において、
前記通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記情報端末の画面を表示した前記ディスプレイの画面を画像解析し、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、
前記タッチパネルに対するタッチ操作を検出し、前記操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を、前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部と、
前記操作領域取得部が取得した操作領域情報を、対応する情報端末の識別情報に関連付けて蓄積し、前記タッチ操作取得部および前記タッチ座標変換部が前記操作領域情報を読み出し可能な操作領域情報記憶部と、
情報処理装置の電源がＯＦＦされる際に、前記操作領域情報記憶部に記憶された操作領域情報と関連する情報端末の識別情報とを取得する記憶情報処理部と、
前記記憶情報処理部が取得した操作領域情報と関連する情報端末の識別情報を蓄積する不揮発性メモリと、
前記通信部と前記情報端末が通信接続した際に、前記不揮発性メモリを参照し、通信接続した情報端末に関する操作領域情報が蓄積されている場合には、該当する操作領域情報と情報端末の識別情報とを取得して前記操作領域情報記憶部に格納し、通信接続した情報端末に関する操作領域情報が蓄積されていない場合には、前記操作領域取得部に対して当該情報端末に関する操作領域情報の取得処理を指示する蓄積情報検索部とを備え、
前記通信部は、前記タッチ座標変換部により変換された位置情報を前記遠隔操作情報として前記情報端末に送信することを特徴とする情報処理装置。
情報端末および外部サーバと通信接続する通信部と、タッチパネルが配設されたディスプレイとを備え、前記タッチパネルに対するタッチ操作を遠隔操作情報に変換し、前記通信部により前記遠隔操作情報を前記情報端末に送信することにより、当該情報端末を遠隔操作する情報処理装置において、
前記通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記タッチパネルに入力されたタッチ操作を検出し、前記通信部により前記情報端末または前記外部サーバから受信した操作領域情報に基づいて、検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記情報端末または前記外部サーバから受信した操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、
前記通信部は、前記タッチ座標変換部により変換された位置情報を前記遠隔操作情報として前記情報端末に送信し、
前記タッチ操作取得部は、前記操作領域情報として前記ディスプレイに表示された前記情報端末の画面に対応するタッチ操作領域の始点位置および領域サイズを取得することを特徴とする情報処理装置。
情報端末と、情報端末を遠隔操作する情報処理装置とを備える情報処理システムにおいて、
前記情報処理装置は、
前記情報端末と通信接続する装置側通信部と、
タッチパネルが配設されたディスプレイと、
前記装置側通信部により受信される前記情報端末の画面情報を用いて、前記情報端末の画面を前記ディスプレイに表示する表示制御部と、
前記情報端末の画面を表示した前記ディスプレイの画面を画像解析して、前記情報端末の画面に対応するタッチ操作領域を特定する操作領域情報を取得する操作領域取得部と、
前記タッチパネルに入力されたタッチ操作を検出し、前記操作領域情報に基づいて検出したタッチ操作の位置情報を取得するタッチ操作取得部と、
前記操作領域情報に基づいて、前記タッチ操作取得部が取得したタッチ操作の位置情報を、前記情報端末の画面に対応する位置情報に変換するタッチ座標変換部とを備え、
前記情報端末は、
前記情報処理装置と通信接続する端末側通信部と、
画面表示を行う端末表示部と、
前記端末側通信部によって前記情報処理装置から受信された、前記タッチ座標変換部により変換された前記位置情報を、前記端末表示部の画面に対する操作として対応する処理を行う操作情報処理部とを備え、
前記表示制御部は、操作対象の画面が表示された操作画面表示領域と、当該操作画面表示領域に隣接した操作画面表示領域外の領域とから構成されるキャリブレーション画面が表示された前記情報端末の画面情報を取得し、前記情報端末のキャリブレーション画面を前記ディスプレイに表示し、
前記操作領域取得部は、前記ディスプレイに表示したキャリブレーション画面を画像解析し、前記操作画面表示領域と操作画面表示領域外の領域との境界を特定し、当該操作画面表示領域に対応するタッチ操作領域の始点位置および領域サイズを、前記操作領域情報として取得することを特徴とする情報処理システム。
タッチパネルが配設されたディスプレイを備え、情報端末と通信接続する情報処理装置が、前記ディスプレイに表示した前記情報端末の画面に対応するタッチ操作領域を特定するキャリブレーション方法において、
前記情報処理装置が、操作対象の画面が表示された操作画面表示領域と、当該操作画面表示領域に隣接した操作画面表示領域外の領域とから構成されるキャリブレーション画面が表示された前記情報端末の画面情報を取得し、前記情報端末のキャリブレーション画面を前記ディスプレイに表示するステップと、
前記情報処理装置が、前記ディスプレイに表示したキャリブレーション画面を画像解析し、前記操作画面表示領域と操作画面表示領域外の領域との境界を特定し、当該操作画面表示領域に対応するタッチ操作領域の始点位置および領域サイズを、操作領域情報として取得するステップを備えたことを特徴とするキャリブレーション方法。