JPWO2011161966A1 - 制御装置およびスクリプト変換方法 - Google Patents

Abstract

モバイル機器では、据え置き型の機器と比較して画面サイズが狭小であるため、すべての操作機器で同一のスクリプトを用いて遠隔操作を行うと、一部の機器においては視認性や操作性が劣るなどの課題が生じる。被制御機器（２００）の表示部よりも表示領域が小さい表示部（１５０）と、表示部（１５０）の表示領域に表示される操作画面から入力操作を受け付ける操作部（１６０）と、被制御機器（２００）の表示部の１画面の表示領域に表示される操作画面から入力操作を受け付けるＧＵＩを規定したスクリプトを、被制御機器（２００）から取得するスクリプト受信部（１２０）と、取得したスクリプトで規定されたＧＵＩの操作画面に含まれる部品が、表示部（１５０）に操作可能な態様で表示されるよう規定するスクリプトに変換するスクリプト変換部（１３０）とを備え、表示部（１５０）は、変換後のスクリプトを基に被制御機器（２００）の操作画面を表示する。

Description

本発明は、ネットワークを介して機器を遠隔制御する際に被制御機器の操作画面を制御機器の表示部に最適に表示する技術に関する。

家庭内におけるネットワークの整備が進むに伴い、ネットワークを介して機器間で特定の機能に関して遠隔制御を実現するアプリケーションが普及してきた。しかし近年ネットワークに接続される機器が多様化するに伴い、機能ごとにアプリケーションを用意するのは非効率で、また新機能に対応するために機器のファームウェアをアップデートする必要があるなど、ユーザにとって煩雑な作業を必要とし、利便性に欠けていた。

従来、機能に依存しない遠隔制御を実現する方式として、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＪａｖａＳｃｒＩｐｔ（登録商標）などのスクリプト言語を用いたサーバ・クライアント方式により、操作機器であるクライアント機器から被操作機器であるサーバ機器の遠隔操作を行う遠隔操作方法が知られている。

また特許文献１には制御機器の画面のサイズに応じて表示画像を変更し表示する方法が開示されている。

特開２００５−３４１０４１号公報

デジタルカメラやポータブルオーディオなどのモバイル機器では、据え置き型の機器と比較して画面サイズが狭小である。また、スマートフォンなどでは操作にタッチパネルを用いる機器がある。このためすべての操作機器で同一のスクリプトを用いて遠隔操作を行うと、一部の機器においては視認性や操作性が劣るなどの課題が生じる。例えば、テレビの操作画面を携帯電話機の表示部に表示させようとすると、文字が小さくなり過ぎて読みにくくなったり、選択ボタンと選択ボタンとの間の空間が小さくなり過ぎて、１つの選択ボタンを指でタッチすると隣の選択ボタンまで押してしまったりするという課題がある。

従って、本発明の目的は、制御装置と被制御装置との間において表示能力や操作方法が異なっていても、被制御装置の表示能力および操作方法に合わせた好適な画面表示を行うことができる制御装置およびスクリプト変換方法を提供することである。

上記課題に鑑み、本発明の制御装置は、被制御装置から画面表示操作情報を取得する取得部と、ユーザからの操作を受け付ける操作部と、前記操作部の入力形式に対応するよう前記画面表示操作情報を変換する変換部と、変換後の画面表示操作情報に基づく画面を表示する表示部と、を備える。

これにより、制御装置は、操作部の入力形式に応じて、画面表示操作情報を変換するので、例えば、操作部がタッチパネルである場合には選択ボタンとして選択可能な領域を枠で囲んで示したり、操作部がポインティングデバイスである場合にはポイントが選択可能な領域にある場合に選択ボタンを枠で囲んで示したりするように、画面表示操作情報であるスクリプトを変更することができる。従って、制御装置は、変換後の画面表示操作情報を実行することによって、多様な操作部の入力形式に応じた好適な操作画面を表示することができる。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

制御機器と被制御機器との間において表示能力や操作方法が異なっていても、被制御機器の表示能力、操作方法に合わせた最適な画面表示を行う事で、操作感を損なう事なく遠隔操作を行う事ができる。

図１は、本発明の実施の形態におけるリモートＵＩ（ユーザインターフェース）システムの構成を示す図である。 図２は、本発明の実施の形態における制御機器の構成を示すブロック図である。 図３は、本発明の実施の形態における被制御機器の構成を示すブロック図である。 図４（ａ）、（ｂ）は、本発明の実施の形態のスクリプト変換による変換前と変換後の画面表示の一例を示す図である。 図５（ａ）、（ｂ）は、本発明の実施の形態のスクリプト変換による変換前と変換後の画面表示の他の例を示す図である。 図６は、図５（ｂ）に示した操作画面を表示させるためのスクリプト変換の手順を示すフローチャートである。 図７（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合にデフォルトで選択された部品に近いものを優先して表示する変換前と変換後の操作画面の一例を示す図である。 図８（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合に十字方向にある部品を優先して表示する変換前と変換後の操作画面の一例を示す図である。

以下に、電子機器システム等の本発明の実施形態１について、図面を参照しながら説明する。

（実施の形態）
図１は、本発明の実施の形態におけるリモートＵＩシステムの構成を示す図である。

図１において、本実施の形態のリモートＵＩシステムは、制御機器１００、被制御機器２００、テレビ３００および通信路３を備える。制御機器１００は被制御機器２００と通信路３を介して接続されており、制御機器１００は被制御機器２００の遠隔操作を行う。テレビ３００は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの接続線を介して被制御機器２００と接続され、被制御装置２００の表示部として動作する。制御機器１００は、例えば、本実施の形態のスクリプト変換を実行するＪａｖａスクリプトなどをメモリ内に格納している携帯電話機、ＰDＡ、テレビ用リモコンなどによって実現される。

図２は、本発明の実施の形態における制御機器１００の構成を示すブロック図である。図２において、制御機器１００は、通信路３と通信を行うための通信手段である通信部１０１と、通信部１０１を通じて被制御機器２００からスクリプトを受信するためのスクリプト受信部１２０と、スクリプトからの命令により通信部１０１を介して被制御機器２００に対してコマンドを送信するコマンド送信部１１０と、受信したスクリプトの実行に際して制御機器１００における表示部１５０に関する表示部情報および操作部１６０に関する入力形式情報を取得する機器能力取得部１４０と、機器能力取得部１４０が取得した制御機器１００の表示領域の大きさおよび入力デバイスの入力形式を示す情報に基づいてスクリプトを変換するスクリプト変換部１３０と、スクリプト変換部１３０によって変換されたスクリプトを実行するスクリプト実行部１２１とを備える。

また図３は本発明の実施の形態における被制御機器２００の構成を示すブロック図である。被制御機器２００は、被制御機器２００のＧＵＩを記述したスクリプトを格納するスクリプト記憶部２１２と、通信路３を介して接続される制御機器１００と通信を行うための通信手段である通信部２０１と、通信部２０１を通じて制御機器１００に対してスクリプト記憶部２１２に記憶しているスクリプトを送信するスクリプト送信部２１１と、操作画面の操作によるスクリプトの実行により制御機器１００から送信されたコマンドを受信するコマンド受信部２２１と、受信したコマンドに応じて被制御機器２００の動作を制御する機器制御部２２２を備える。

図４（ａ）、（ｂ）および図５（ａ）、（ｂ）は、本実施の形態のスクリプト変換による変換前と変換後の画面表示の一例を示す図である。図６は、図５（ｂ）に示した操作画面を表示させるためのスクリプト変換の手順を示すフローチャートである。

制御機器１００のユーザは、リモートＵＩを行う前に、制御機器１００の機器ＩＤを被制御機器２００に登録することにより、被制御機器２００からスクリプトをダウンロードする（Ｓ６０１）。すなわち、被制御機器２００のスクリプト送信部２１１は、制御機器１００からのスクリプト送信要求に応じて、スクリプト記憶部２１２に記憶したスクリプトを、通信部２０１により、通信路３を介して制御機器１００へ送信する。また、制御機器１００では、スクリプト受信部１２０が通信部１０１を通じて、被制御機器２００が送出したスクリプトを受信する。

このスクリプトは被制御機器２００の画面情報や操作情報を含み、スクリプト変換部１３０は受信したスクリプトからこの画面情報と操作情報とを取得する（Ｓ６０２）。この画面情報は、被制御機器２００が操作画面を表示させる表示部（例えば、テレビ３００または外部モニタ）の表示領域の大きさなどを示している。また、操作情報は、被制御機器２００がタッチパネルを備えるか否かなどを示している。

ここで機器能力取得部１４０は表示部１５０および操作部１６０にそれぞれの能力の問い合わせを行う。この問い合わせにより、機器能力取得部１４０は表示部１５０に関する表示部情報と操作部１６０に関する入力形式情報を取得する（Ｓ６０３）。

ここで、制御機器１００は持ち運び可能なポータブル型機器であり画面表示領域が狭い機器であるとすると、スクリプト変換部１３０は、受信したスクリプトを解釈し、制御機器１００の表示部１５０に被制御機器２００の操作画面を１画面で表示しきれるか否かを判断する。受信したスクリプトで示される操作画面を１画面で表示しきれない場合には、操作画面の表示サイズを表示部１５０で表示しきれる大きさに変更する。

次いで、スクリプト変換部１３０は、機器能力取得部１４０によって取得された操作部１６０に関する入力形式情報から、操作部１６０がタッチパネル方式であるか否かを判断する（Ｓ６０４）。ここでは、制御機器１００はタッチパネル方式により自他の機器を操作するものであるとする。この場合、スクリプト変換部１３０は、サイズ変更後の操作画面に含まれる選択ボタンの大きさが基準サイズ未満であるか否かを判定する（Ｓ６０５）。ここで、選択ボタンの基準サイズとは、ユーザが指などで選択ボタンを押下した場合に、どの選択ボタンが押下されたのかを識別可能な選択ボタンの大きさを言う。具体的には、タッチパネルと指先との接触面内に複数の選択ボタンが含まれる場合、複数の選択ボタンが同時に押下されてしまい、タッチパネルではどの選択ボタンが押下されたのか識別できない。そのため、タッチパネルを有する機器では、通常、選択ボタンを表示する場合に個々の選択ボタンに最低限必要な大きさである基準サイズがあらかじめ定められている。この基準サイズは、入力形式がタッチパネル方式であることを示す情報とともに、操作部に関する入力形式情報として当該操作部または当該機器のＲＯＭに記録されている。

選択ボタンの大きさが基準サイズ未満であれば、スクリプト変換部１３０は、個々の選択ボタンの大きさが基準サイズ以上となるようにスクリプトを変換する（Ｓ６０６）。

なお、ここでは、操作部１６０の入力形式がタッチパネル方式である場合にのみ選択ボタンの大きさが最低限の大きさを有しているか否か、すなわち、基準サイズ以上か否かを調べ、基準値未満である場合に選択ボタンの大きさが基準サイズ以上になるようにスクリプトを変換したが、表示の大きさを調整するのはタッチパネルの選択ボタンに限らない。例えば、被制御機器２００の操作画面の大きさを、制御機器１００の表示部１５０の大きさに収まるようにサイズ変更した際に、操作画面に含まれる文字の大きさが所定の大きさより小さくならないように調整するとしてもよい。この場合の所定の大きさは、サイズ変更後の操作画面においてユーザにとって視認性が確保される最低限の大きさを意味し、制御機器１００の製造者があらかじめ定めておいてもよいし、ユーザが指定してもよい。例えば、メールに使用するフォントサイズを、所定の大きさとしてもよい。

次いで、スクリプト変換部１３０は、スクリプト変換後のスクリプトを解釈し、操作画面を制御機器１００の表示部１５０に１画面で表示できるか否かを再度調べる（Ｓ６０７）。表示できない場合には、制御機器１００の表示部１５０に表示可能な個数ｎの選択ボタンのみ表示する。具体的には、選択ボタンの優先度に基づいて、上位ｎ位までの選択ボタンのみ表示するようスクリプトを変換する（Ｓ６０８）。図５に画面表示例を示す。図５（ａ）は、スクリプトを実行する機器が上下左右キーおよび決定キーを用いたテレビリモコン型の操作部を持つ被制御機器２００である場合の操作画面の一例を示す図である。図５（ｂ）は、スクリプトを実行する機器が制御機器１００のようにタッチパネル型の操作部を有する機器である場合の操作画面における選択ボタンの表示の一例を、図５（ａ）と比較して示す図である。図５（ｂ）の制御機器１００のように操作画面が小さい場合、個々の選択ボタンを基準サイズより大きくすると、表示部１５０の表示領域に、操作画面を１画面で表示することが困難になる場合が少なくない。このような場合、本実施の形態の制御機器１００では、例えば、図５（ｂ）に示すように、図５（ａ）の操作画面では表示されていた選択ボタン「ｍｅｎｕＥ」を表示せず、選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」のみを表示している。この選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」は、例えば、図５（ａ）の操作画面を記述するスクリプトにおいて、優先順位の高いものから上位ｎ個（ここでは、ｎ＝４）を抽出して決定される。優先順位は、例えば、カーソルのデフォルト位置に近い順に、高い順位が設定される。ここでは、例えば、図５（ａ）の被制御機器２００の操作画面において、最上段の選択ボタンがカーソルのデフォルト位置であるとすると、優先順位の高いものから上位４個を抽出すると、選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」が抽出される。

なお、操作画面を１画面で表示することが可能であるか否かの判断は、次のように行う。まず、被制御機器２００の表示部と制御機器１００の表示部とではアスペクト比が異なる場合が多いので、スクリプト変換部１３０は、１つの操作画面に含まれるすべての選択ボタンをあらゆる可能な位置に配置して、すべての選択ボタンの表示に必要な領域のサイズを算出する。例えば、操作画面に含まれるそれぞれの選択ボタンのサイズが基準サイズであるとして、図５（ａ）のように受信したスクリプトで定義された位置に選択ボタンを配置した場合、および、図５（ｂ）のように新たな位置に選択ボタンを配置した場合に、選択ボタンを表示するために必要な領域の上下左右の長さを算出する。算出した上下左右の長さが、表示部１５０の上下左右の長さよりも小さければ問題なく使用することができる。これに対し、選択ボタンを表示するために必要な領域の上下または左右のいずれかの長さが制御機器１００の表示部１５０の上下左右の長さよりも大きい場合には、操作画面を１画面に表示することができないものと判断する。また、スクリプト変換部１３０は、選択ボタンの配置のバリエーションについては、図５（ｂ）の配置だけに限らず、あらゆる可能な配置について、選択ボタンを表示するために必要な領域の上下左右の長さと、表示部１５０の上下左右の長さとを比較することにより、操作画面を１画面で表示できるか否かを判断する。

ステップＳ６０７で再度調べた結果、スクリプト変換後の操作画面を、制御機器１００の表示部１５０に１画面で表示できる場合には、スクリプト変換部１３０は、処理を終了する。

なお、スクリプト変換部１３０は、そのまま処理を終了する以外に、例えば、ユーザが操作部１６０を用いて選択ボタンとして選択可能な領域に、強調表示を行うスクリプトに変換するとしてもよい。変換後のスクリプトはスクリプト実行部１２１に通知され実行され、操作画面は表示部１５０に表示され、ユーザは操作部１６０を介して操作を行う。

図４（ａ）は、スクリプトを実行する機器が上下左右キーおよび決定キーを用いたテレビリモコン型の操作部を持つ被制御機器２００である場合の操作画面の一例を示す図である。図４（ｂ）は、スクリプトを実行する機器が制御機器１００のようにタッチパネル型の操作部を有する機器である場合の操作画面における選択ボタンの表示の一例を、図４（ａ）と比較して示す図である。図４（ａ）のように、テレビリモコンを用いて入力を行う場合には、どのボタンが選択可能かをユーザに表示しなくても、選択可能なボタンにしかカーソルが移動しないので特に問題は生じない。これに対し、図４（ｂ）のようなタッチパネル型の操作部では、カーソルが表示されないので、どのボタンが選択可能かユーザには分かりづらく、ユーザは選択ボタンの選択可否を示す表示がなければ、選択できないボタンを押してしまうという弊害がある。そのため、図４（ｂ）のように、選択可能な選択ボタンに対して、例えば、ボタンの外縁をハイライト表示するなどの強調表示を行うと、ユーザは無駄な動作をすることなく効率よく入力操作を行うことができる。

なお、ここではタッチパネル型の操作部を持つ機器を例に説明したが、たとえば制御機器１００がパーソナルコンピュータ（ＰＣ）におけるマウス操作などのようなフリーポイント型の操作部を持つ機器である場合には、選択可能な領域が常に強調表示されるのではなく、当該領域にポインタが侵入した際にのみ強調表示するようなスクリプトに変換してもよい。

以上のように、タッチパネル型やフリーポイント型の操作部を持つ機器においては、ユーザはどの選択ボタンが選択可能であるのか判別が困難な場合があり、試行錯誤的に操作しなければならない場合があるが、本実施の形態のように予め選択可能な領域をユーザに示す事により操作性を向上する事が期待できる。また画面が狭小な機器においては表示する部品数を減らす事により部品１点あたりの表示サイズを大きくし操作性や視認性の向上が期待できる。

なお、操作画面における部品（オブジェクト）、例えば、選択ボタンの優先度は、デフォルトでハイライトされている選択ボタン、または、選択が予定されている選択ボタンの位置から、より近い位置にある選択ボタンほど、優先度が高く設定される。あるいは、これらの選択ボタンから、より操作ステップ数が少なく選択可能な位置にある選択ボタンほど、優先度が高く設定されるとしてもよい。ここで、より操作ステップ数が少なく選択可能な位置にあるというのは、異なる階層にある選択肢であってもよい。同様に、例えば、ポインティングデバイスが備えられるＵＩの操作画面では、ポインタのデフォルト位置からより近い位置にある選択ボタンほど優先度が高く設定されるとしてもよい。

図７（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合にデフォルトで選択された部品に近いものを優先して表示する変換前と変換後の操作画面の一例を示す図である。図８（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合に十字方向にある部品を優先して表示する変換前と変換後の操作画面の一例を示す図である。図７（ａ）は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダに録画された番組の録画一覧をテレビモニタの画面に表示した場合の表示例を示している。図７（ｂ）は、図７（ａ）に示された録画一覧をスクリプト変換し、例えば、携帯電話機の表示部に表示させた場合の操作画面の一例を示している。図７（ａ）に示す録画一覧７００には、ＤＶＤに録画されている番組が一覧表示される。例えば、図７（ａ）の録画一覧７００には、番組「ミスター＆モイスチャー」７０１、番組「パルプの山」７０２、番組「○○ロードショー」７０３、番組「サッカータイトル」７０４、番組「金魚すくいのすすめ」７０５、および番組「スプーンまげ大会」７０６という６番組の番組情報が表示されている。ユーザは、この一覧の中で視聴したい番組があれば、その番組情報を選択して決定することによって、その番組をＤＶＤレコーダに再生させることができる。また、録画一覧７００では、デフォルトで、番組「○○ロードショー」７０３が選択された状態を表示している。録画一覧７００では、番組「○○ロードショー」７０３が選択状態であることを示すために、番組「○○ロードショー」７０３の番組情報だけ、他の番組情報よりも大きく表示されている。

制御機器１００は、この録画一覧７００の内容を、タッチパネル式入力部を備えた携帯電話機の表示部１５０に１画面で表示できるよう変更した録画一覧７５０を表示させ、ユーザによる録画一覧７５０の操作に従ってＤＶＤレコーダが所望の番組を再生するようにＤＶＤレコーダを制御する。

録画一覧７００は、テレビモニタの表示画面の表示領域に合わせて横長に作成されているため、制御機器１００が携帯電話機などである場合、表示部１５０の表示領域に表示する情報量が多すぎて１画面に表示しきれない。そのため、スクリプト変換部１３０は、例えば、図７（ｂ）に示す録画一覧７５０のように、個々の番組情報を選択ボタンとし、表示される選択ボタンの数を低減して表示するようスクリプト変換する。このような録画一覧７５０には、番組「パルプの山」７５１、番組「○○ロードショー」７５２、および番組「サッカータイトル」７５３の番組情報が表示される。スクリプト変換部１３０は、ＤＶＤレコーダから取得したスクリプトを解釈し、画面情報に含まれるテレビモニタの表示領域の大きさと、携帯電話機の表示部１５０の表示領域の大きさとを比較した上、録画一覧７００に含まれる番組情報の表示を縮小する。この際に、縮小後の番組情報に含まれる文字のフォントサイズがあらかじめ定めたフォントサイズより小さくならないように調整する。また、録画一覧７００を縮小しても、番組情報を表示する選択ボタンを１画面に全部表示できない場合には、デフォルトで選択されていた番組「○○ロードショー」７０３を最も高い優先度として、番組「○○ロードショー」７０３の番組情報から、より少ないステップ数で選択可能な番組情報の順に、上位３位までの選択ボタンを表示する。また、さらに、スクリプト変換部１３０は、被制御機器２００の操作画面に表示される録画一覧７００に含まれる選択可能な番組情報の数を低減して録画一覧７５０に表示させる場合には、録画一覧７５０に、次の階層の番組情報への改ページを指示する次画面ボタンを表示するとしてもよい。

図８（ａ）は、リモートＵＩのメニュー画面をテレビモニタの画面に表示した場合の表示例を示している。図８（ｂ）は、図８（ａ）に示された録画一覧をスクリプト変換し、例えば、携帯電話機の表示部に表示させた場合の操作画面の一例を示している。図８（ａ）に示すように、メニュー画面８００には、テレビのリモコンを用いてリモート制御可能な機器がアイコンで示されている。具体的には、メニュー画面８００には、テレビ、炊飯器、照明、プリンタ、エアコン、セキュリティ機器、ビデオ、および洗濯機などの機器を示すアイコンが、人のアイコンを中心として楕円形に取り囲む形に配置されている。ユーザは、このメニュー画面８００から、リモート制御したい機器を選択し、決定すると、選択された機器の制御画面が開き、その制御画面で当該機器の電源のタイマーセットや、それぞれの機器に応じた設定を行うことができる。なお、このメニュー画面８００では、人のアイコンがデフォルトで選択されているものとする。

スクリプト変換部１３０は、メニュー画面８００を表示するためのスクリプトをテレビから取得して解釈し、制御機器１００の表示部１５０に表示できるよう、スクリプトを変換する。ここでは、テレビのメニュー画面８００に８個のアイコンが表示されている。制御機器１００がタッチパネル式の携帯電話機などであり、すべてのアイコンを基準サイズ以上の選択ボタンとして１画面に表示することができないと判断した場合、スクリプト変換部１３０は、メニュー画面８００のデフォルト位置である人のアイコンから、十字方向により近い位置にあるアイコンをより優先度の高いものとして抽出し、表示部１５０にメニュー画面８５０を表示する。ここでは、優先度の高い順から上位４個を抽出し、選択ボタンとして表示している。図８（ｂ）に示すように、メニュー画面８００のスクリプトから、メニュー画面８００において人のアイコンに対して十字方向にあるテレビ、エアコン、照明、およびビデオが抽出され、それぞれ選択ボタンとしてメニュー画面８５０に表示される。

なお、上記のスクリプト変換は、例えば、Ｊａｖａスクリプト（登録商標）によって実現される。しかし、本発明はこれに限定されず、Ｊａｖａスクリプトと同様に、表示画面に含まれる一部の部品のみを変更できる機能を持ったスクリプトであれば、どのようなスクリプトであっても適用可能である。

さらに、上記実施の形態では、スクリプト変換部１３０は制御機器１００に備えられるものとして説明したが、本発明はこれに限定されず、被制御機器２００に備えられてもよい。この場合、制御機器１００が被制御機器２００に対して、制御機器１００の機器ＩＤを送信することによってリモートＵＩを開始するものとし、被制御機器２００は、スクリプトの変換に先立って、ＩＰ通信路を経由して制御機器１００の機器能力取得部１４０に対して表示部１５０および操作部１６０に関する情報の問い合わせを要求する。機器能力取得部１４０は、被制御機器２００からの問い合わせ要求に応じて表示部１５０および操作部１６０に問い合わせを行い、問い合わせ結果である表示部１５０および操作部１６０に関する情報を、通信部１０１および通信路３を介して、被制御機器２００に送信するものとする。また、スクリプト受信部１２０はスクリプト変換後のスクリプトを被制御機器２００から受信して、スクリプト実行部１２１に渡し、スクリプト実行部１２１は、スクリプト受信部１２０から渡されたスクリプトを実行して、操作された選択ボタンに対応するコマンドを、被制御機器２００のコマンド受信部２２１に送信するものとする。

また、この場合、被制御機器２００は、スクリプトの変換に先立って、必ずしも、制御機器１００の機器能力取得部１４０に対して表示部１５０および操作部１６０に関する情報の問い合わせを要求する必要はなく、例えば、あらかじめ制御機器１００となりうる機器ごとに、その機器の機器ＩＤに対応付けて、制御機器１００の表示部１５０および操作部１６０に関する情報をメモリに記憶しておくとしてもよい。このようにすることによって、被制御機器２００は、制御機器１００に対して問い合わせをすることなく、メモリから表示部１５０および操作部１６０に関する情報を読み出して、スクリプト変換処理を行うことができる。

以上のように、本実施の形態によれば、今後増加が見込まれる制御機器と被制御機器間において表示能力や操作方法が異なっていても、被制御機器の表示能力、操作方法に合わせた最適な画面表示を行う事で、操作感を損なう事なく遠隔操作を行う事ができる。

なお、上記実施の形態では、テレビ３００はＨＤＭＩなどにより被制御装置２００に接続されるとしたが、通信路３を介して接続されるとしてもよい。

なお、ブロック図（図２、図３など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、コンテンツを格納する手段だけ１チップ化せずに別構成としても良い。

以上、図面を参照してこの発明の実施の形態を説明したが、この発明は、図示した実施の形態のものに限定されない。図示した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

以上、図面を参照してこの発明の実施の形態を説明したが、この発明は、図示した実施の形態のものに限定されない。図示した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明の制御装置は、リモートＵＩを行う機器、特に、タッチパネル方式の操作部を有する携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの携帯機器として有用である。また、本発明の被制御装置は、リモートＵＩを行う機器で、大型モニタに情報を表示するテレビ、ＤＶＤレコーダなどの機器として有用である。

３ 通信路
１００ 制御機器
１０１、２０１ 通信部
１１０ コマンド送信部
１２０ スクリプト受信部
１２１ スクリプト実行部
１３０ スクリプト変換部
１４０ 機器能力取得部
１５０ 表示部
１６０ 操作部
２００ 被制御機器
２１１ スクリプト送信部
２１２ スクリプト記憶部
２２１ コマンド受信部
２２２ 機器制御部
３００ テレビ
７００、７５０ 録画一覧
８００、８５０ メニュー画面

本発明は、ネットワークを介して機器を遠隔制御する際に被制御機器の操作画面を制御機器の表示部に最適に表示する技術に関する。

家庭内におけるネットワークの整備が進むに伴い、ネットワークを介して機器間で特定の機能に関して遠隔制御を実現するアプリケーションが普及してきた。しかし近年ネットワークに接続される機器が多様化するに伴い、機能ごとにアプリケーションを用意するのは非効率で、また新機能に対応するために機器のファームウェアをアップデートする必要があるなど、ユーザにとって煩雑な作業を必要とし、利便性に欠けていた。

従来、機能に依存しない遠隔制御を実現する方式として、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語を用いたサーバ・クライアント方式により、操作機器であるクライアント機器から被操作機器であるサーバ機器の遠隔操作を行う遠隔操作方法が知られている。

また特許文献１には制御機器の画面のサイズに応じて表示画像を変更し表示する方法が開示されている。

特開２００５−３４１０４１号公報

デジタルカメラやポータブルオーディオなどのモバイル機器では、据え置き型の機器と比較して画面サイズが狭小である。また、スマートフォンなどでは操作にタッチパネルを用いる機器がある。このためすべての操作機器で同一のスクリプトを用いて遠隔操作を行うと、一部の機器においては視認性や操作性が劣るなどの課題が生じる。例えば、テレビの操作画面を携帯電話機の表示部に表示させようとすると、文字が小さくなり過ぎて読みにくくなったり、選択ボタンと選択ボタンとの間の空間が小さくなり過ぎて、１つの選択ボタンを指でタッチすると隣の選択ボタンまで押してしまったりするという課題がある。

従って、本発明の目的は、制御装置と被制御装置との間において表示能力や操作方法が異なっていても、被制御装置の表示能力および操作方法に合わせた好適な画面表示を行うことができる制御装置およびスクリプト変換方法を提供することである。

上記課題に鑑み、本発明の制御装置は、被制御装置から画面表示操作情報を取得する取得部と、ユーザからの操作を受け付ける操作部と、前記操作部の入力形式に対応するよう前記画面表示操作情報を変換する変換部と、変換後の画面表示操作情報に基づく画面を表示する表示部と、を備える。

これにより、制御装置は、操作部の入力形式に応じて、画面表示操作情報を変換するので、例えば、操作部がタッチパネルである場合には選択ボタンとして選択可能な領域を枠で囲んで示したり、操作部がポインティングデバイスである場合にはポイントが選択可能な領域にある場合に選択ボタンを枠で囲んで示したりするように、画面表示操作情報であるスクリプトを変更することができる。従って、制御装置は、変換後の画面表示操作情報を実行することによって、多様な操作部の入力形式に応じた好適な操作画面を表示することができる。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

制御機器と被制御機器との間において表示能力や操作方法が異なっていても、被制御機器の表示能力、操作方法に合わせた最適な画面表示を行う事で、操作感を損なう事なく遠隔操作を行う事ができる。

図１は、本発明の実施の形態におけるリモートＵＩ（ユーザインターフェース）システムの構成を示す図である。 図２は、本発明の実施の形態における制御機器の構成を示すブロック図である。 図３は、本発明の実施の形態における被制御機器の構成を示すブロック図である。 図４（ａ）、（ｂ）は、本発明の実施の形態のスクリプト変換による変換前と変換後の画面表示の一例を示す図である。 図５（ａ）、（ｂ）は、本発明の実施の形態のスクリプト変換による変換前と変換後の画面表示の他の例を示す図である。 図６は、図５（ｂ）に示した操作画面を表示させるためのスクリプト変換の手順を示すフローチャートである。 図７（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合にデフォルトで選択された部品に近いものを優先して表示する変換前と変換後の操作画面の一例を示す図である。 図８（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合に十字方向にある部品を優先して表示する変換前と変換後の操作画面の一例を示す図である。

以下に、電子機器システム等の本発明の実施形態１について、図面を参照しながら説明する。

（実施の形態）
図１は、本発明の実施の形態におけるリモートＵＩシステムの構成を示す図である。

図１において、本実施の形態のリモートＵＩシステムは、制御機器１００、被制御機器２００、テレビ３００および通信路３を備える。制御機器１００は被制御機器２００と通信路３を介して接続されており、制御機器１００は被制御機器２００の遠隔操作を行う。テレビ３００は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの接続線を介して被制御機器２００と接続され、被制御装置２００の表示部として動作する。制御機器１００は、例えば、本実施の形態のスクリプト変換を実行するＪａｖａスクリプトなどをメモリ内に格納している携帯電話機、ＰDＡ、テレビ用リモコンなどによって実現される。

図２は、本発明の実施の形態における制御機器１００の構成を示すブロック図である。図２において、制御機器１００は、通信路３と通信を行うための通信手段である通信部１０１と、通信部１０１を通じて被制御機器２００からスクリプトを受信するためのスクリプト受信部１２０と、スクリプトからの命令により通信部１０１を介して被制御機器２００に対してコマンドを送信するコマンド送信部１１０と、受信したスクリプトの実行に際して制御機器１００における表示部１５０に関する表示部情報および操作部１６０に関する入力形式情報を取得する機器能力取得部１４０と、機器能力取得部１４０が取得した制御機器１００の表示領域の大きさおよび入力デバイスの入力形式を示す情報に基づいてスクリプトを変換するスクリプト変換部１３０と、スクリプト変換部１３０によって変換されたスクリプトを実行するスクリプト実行部１２１とを備える。

また図３は本発明の実施の形態における被制御機器２００の構成を示すブロック図である。被制御機器２００は、被制御機器２００のＧＵＩを記述したスクリプトを格納するスクリプト記憶部２１２と、通信路３を介して接続される制御機器１００と通信を行うための通信手段である通信部２０１と、通信部２０１を通じて制御機器１００に対してスクリプト記憶部２１２に記憶しているスクリプトを送信するスクリプト送信部２１１と、操作画面の操作によるスクリプトの実行により制御機器１００から送信されたコマンドを受信するコマンド受信部２２１と、受信したコマンドに応じて被制御機器２００の動作を制御する機器制御部２２２を備える。

図４（ａ）、（ｂ）および図５（ａ）、（ｂ）は、本実施の形態のスクリプト変換による変換前と変換後の画面表示の一例を示す図である。図６は、図５（ｂ）に示した操作画面を表示させるためのスクリプト変換の手順を示すフローチャートである。

制御機器１００のユーザは、リモートＵＩを行う前に、制御機器１００の機器ＩＤを被制御機器２００に登録することにより、被制御機器２００からスクリプトをダウンロードする（Ｓ６０１）。すなわち、被制御機器２００のスクリプト送信部２１１は、制御機器１００からのスクリプト送信要求に応じて、スクリプト記憶部２１２に記憶したスクリプトを、通信部２０１により、通信路３を介して制御機器１００へ送信する。また、制御機器１００では、スクリプト受信部１２０が通信部１０１を通じて、被制御機器２００が送出したスクリプトを受信する。

このスクリプトは被制御機器２００の画面情報や操作情報を含み、スクリプト変換部１３０は受信したスクリプトからこの画面情報と操作情報とを取得する（Ｓ６０２）。この画面情報は、被制御機器２００が操作画面を表示させる表示部（例えば、テレビ３００または外部モニタ）の表示領域の大きさなどを示している。また、操作情報は、被制御機器２００がタッチパネルを備えるか否かなどを示している。

ここで機器能力取得部１４０は表示部１５０および操作部１６０にそれぞれの能力の問い合わせを行う。この問い合わせにより、機器能力取得部１４０は表示部１５０に関する表示部情報と操作部１６０に関する入力形式情報を取得する（Ｓ６０３）。

ここで、制御機器１００は持ち運び可能なポータブル型機器であり画面表示領域が狭い機器であるとすると、スクリプト変換部１３０は、受信したスクリプトを解釈し、制御機器１００の表示部１５０に被制御機器２００の操作画面を１画面で表示しきれるか否かを判断する。受信したスクリプトで示される操作画面を１画面で表示しきれない場合には、操作画面の表示サイズを表示部１５０で表示しきれる大きさに変更する。

次いで、スクリプト変換部１３０は、機器能力取得部１４０によって取得された操作部１６０に関する入力形式情報から、操作部１６０がタッチパネル方式であるか否かを判断する（Ｓ６０４）。ここでは、制御機器１００はタッチパネル方式により自他の機器を操作するものであるとする。この場合、スクリプト変換部１３０は、サイズ変更後の操作画面に含まれる選択ボタンの大きさが基準サイズ未満であるか否かを判定する（Ｓ６０５）。ここで、選択ボタンの基準サイズとは、ユーザが指などで選択ボタンを押下した場合に、どの選択ボタンが押下されたのかを識別可能な選択ボタンの大きさを言う。具体的には、タッチパネルと指先との接触面内に複数の選択ボタンが含まれる場合、複数の選択ボタンが同時に押下されてしまい、タッチパネルではどの選択ボタンが押下されたのか識別できない。そのため、タッチパネルを有する機器では、通常、選択ボタンを表示する場合に個々の選択ボタンに最低限必要な大きさである基準サイズがあらかじめ定められている。この基準サイズは、入力形式がタッチパネル方式であることを示す情報とともに、操作部に関する入力形式情報として当該操作部または当該機器のＲＯＭに記録されている。

選択ボタンの大きさが基準サイズ未満であれば、スクリプト変換部１３０は、個々の選択ボタンの大きさが基準サイズ以上となるようにスクリプトを変換する（Ｓ６０６）。

なお、ここでは、操作部１６０の入力形式がタッチパネル方式である場合にのみ選択ボタンの大きさが最低限の大きさを有しているか否か、すなわち、基準サイズ以上か否かを調べ、基準値未満である場合に選択ボタンの大きさが基準サイズ以上になるようにスクリプトを変換したが、表示の大きさを調整するのはタッチパネルの選択ボタンに限らない。例えば、被制御機器２００の操作画面の大きさを、制御機器１００の表示部１５０の大きさに収まるようにサイズ変更した際に、操作画面に含まれる文字の大きさが所定の大きさより小さくならないように調整するとしてもよい。この場合の所定の大きさは、サイズ変更後の操作画面においてユーザにとって視認性が確保される最低限の大きさを意味し、制御機器１００の製造者があらかじめ定めておいてもよいし、ユーザが指定してもよい。例えば、メールに使用するフォントサイズを、所定の大きさとしてもよい。

次いで、スクリプト変換部１３０は、スクリプト変換後のスクリプトを解釈し、操作画面を制御機器１００の表示部１５０に１画面で表示できるか否かを再度調べる（Ｓ６０７）。表示できない場合には、制御機器１００の表示部１５０に表示可能な個数ｎの選択ボタンのみ表示する。具体的には、選択ボタンの優先度に基づいて、上位ｎ位までの選択ボタンのみ表示するようスクリプトを変換する（Ｓ６０８）。図５に画面表示例を示す。図５（ａ）は、スクリプトを実行する機器が上下左右キーおよび決定キーを用いたテレビリモコン型の操作部を持つ被制御機器２００である場合の操作画面の一例を示す図である。図５（ｂ）は、スクリプトを実行する機器が制御機器１００のようにタッチパネル型の操作部を有する機器である場合の操作画面における選択ボタンの表示の一例を、図５（ａ）と比較して示す図である。図５（ｂ）の制御機器１００のように操作画面が小さい場合、個々の選択ボタンを基準サイズより大きくすると、表示部１５０の表示領域に、操作画面を１画面で表示することが困難になる場合が少なくない。このような場合、本実施の形態の制御機器１００では、例えば、図５（ｂ）に示すように、図５（ａ）の操作画面では表示されていた選択ボタン「ｍｅｎｕＥ」を表示せず、選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」のみを表示している。この選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」は、例えば、図５（ａ）の操作画面を記述するスクリプトにおいて、優先順位の高いものから上位ｎ個（ここでは、ｎ＝４）を抽出して決定される。優先順位は、例えば、カーソルのデフォルト位置に近い順に、高い順位が設定される。ここでは、例えば、図５（ａ）の被制御機器２００の操作画面において、最上段の選択ボタンがカーソルのデフォルト位置であるとすると、優先順位の高いものから上位４個を抽出すると、選択ボタン「ｍｅｎｕＡ」〜「ｍｅｎｕＤ」が抽出される。

なお、操作画面を１画面で表示することが可能であるか否かの判断は、次のように行う。まず、被制御機器２００の表示部と制御機器１００の表示部とではアスペクト比が異なる場合が多いので、スクリプト変換部１３０は、１つの操作画面に含まれるすべての選択ボタンをあらゆる可能な位置に配置して、すべての選択ボタンの表示に必要な領域のサイズを算出する。例えば、操作画面に含まれるそれぞれの選択ボタンのサイズが基準サイズであるとして、図５（ａ）のように受信したスクリプトで定義された位置に選択ボタンを配置した場合、および、図５（ｂ）のように新たな位置に選択ボタンを配置した場合に、選択ボタンを表示するために必要な領域の上下左右の長さを算出する。算出した上下左右の長さが、表示部１５０の上下左右の長さよりも小さければ問題なく使用することができる。これに対し、選択ボタンを表示するために必要な領域の上下または左右のいずれかの長さが制御機器１００の表示部１５０の上下左右の長さよりも大きい場合には、操作画面を１画面に表示することができないものと判断する。また、スクリプト変換部１３０は、選択ボタンの配置のバリエーションについては、図５（ｂ）の配置だけに限らず、あらゆる可能な配置について、選択ボタンを表示するために必要な領域の上下左右の長さと、表示部１５０の上下左右の長さとを比較することにより、操作画面を１画面で表示できるか否かを判断する。

ステップＳ６０７で再度調べた結果、スクリプト変換後の操作画面を、制御機器１００の表示部１５０に１画面で表示できる場合には、スクリプト変換部１３０は、処理を終了する。

なお、スクリプト変換部１３０は、そのまま処理を終了する以外に、例えば、ユーザが操作部１６０を用いて選択ボタンとして選択可能な領域に、強調表示を行うスクリプトに変換するとしてもよい。変換後のスクリプトはスクリプト実行部１２１に通知され実行され、操作画面は表示部１５０に表示され、ユーザは操作部１６０を介して操作を行う。

図４（ａ）は、スクリプトを実行する機器が上下左右キーおよび決定キーを用いたテレビリモコン型の操作部を持つ被制御機器２００である場合の操作画面の一例を示す図である。図４（ｂ）は、スクリプトを実行する機器が制御機器１００のようにタッチパネル型の操作部を有する機器である場合の操作画面における選択ボタンの表示の一例を、図４（ａ）と比較して示す図である。図４（ａ）のように、テレビリモコンを用いて入力を行う場合には、どのボタンが選択可能かをユーザに表示しなくても、選択可能なボタンにしかカーソルが移動しないので特に問題は生じない。これに対し、図４（ｂ）のようなタッチパネル型の操作部では、カーソルが表示されないので、どのボタンが選択可能かユーザには分かりづらく、ユーザは選択ボタンの選択可否を示す表示がなければ、選択できないボタンを押してしまうという弊害がある。そのため、図４（ｂ）のように、選択可能な選択ボタンに対して、例えば、ボタンの外縁をハイライト表示するなどの強調表示を行うと、ユーザは無駄な動作をすることなく効率よく入力操作を行うことができる。

なお、ここではタッチパネル型の操作部を持つ機器を例に説明したが、たとえば制御機器１００がパーソナルコンピュータ（ＰＣ）におけるマウス操作などのようなフリーポイント型の操作部を持つ機器である場合には、選択可能な領域が常に強調表示されるのではなく、当該領域にポインタが侵入した際にのみ強調表示するようなスクリプトに変換してもよい。

以上のように、タッチパネル型やフリーポイント型の操作部を持つ機器においては、ユーザはどの選択ボタンが選択可能であるのか判別が困難な場合があり、試行錯誤的に操作しなければならない場合があるが、本実施の形態のように予め選択可能な領域をユーザに示す事により操作性を向上する事が期待できる。また画面が狭小な機器においては表示する部品数を減らす事により部品１点あたりの表示サイズを大きくし操作性や視認性の向上が期待できる。

なお、操作画面における部品（オブジェクト）、例えば、選択ボタンの優先度は、デフォルトでハイライトされている選択ボタン、または、選択が予定されている選択ボタンの位置から、より近い位置にある選択ボタンほど、優先度が高く設定される。あるいは、これらの選択ボタンから、より操作ステップ数が少なく選択可能な位置にある選択ボタンほど、優先度が高く設定されるとしてもよい。ここで、より操作ステップ数が少なく選択可能な位置にあるというのは、異なる階層にある選択肢であってもよい。同様に、例えば、ポインティングデバイスが備えられるＵＩの操作画面では、ポインタのデフォルト位置からより近い位置にある選択ボタンほど優先度が高く設定されるとしてもよい。

図７（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合にデフォルトで選択された部品に近いものを優先して表示する変換前と変換後の操作画面の一例を示す図である。図８（ａ）、（ｂ）は、画面部品の数を減らすスクリプト変換を行う場合に十字方向にある部品を優先して表示する変換前と変換後の操作画面の一例を示す図である。図７（ａ）は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダに録画された番組の録画一覧をテレビモニタの画面に表示した場合の表示例を示している。図７（ｂ）は、図７（ａ）に示された録画一覧をスクリプト変換し、例えば、携帯電話機の表示部に表示させた場合の操作画面の一例を示している。図７（ａ）に示す録画一覧７００には、ＤＶＤに録画されている番組が一覧表示される。例えば、図７（ａ）の録画一覧７００には、番組「ミスター＆モイスチャー」７０１、番組「パルプの山」７０２、番組「○○ロードショー」７０３、番組「サッカータイトル」７０４、番組「金魚すくいのすすめ」７０５、および番組「スプーンまげ大会」７０６という６番組の番組情報が表示されている。ユーザは、この一覧の中で視聴したい番組があれば、その番組情報を選択して決定することによって、その番組をＤＶＤレコーダに再生させることができる。また、録画一覧７００では、デフォルトで、番組「○○ロードショー」７０３が選択された状態を表示している。録画一覧７００では、番組「○○ロードショー」７０３が選択状態であることを示すために、番組「○○ロードショー」７０３の番組情報だけ、他の番組情報よりも大きく表示されている。

制御機器１００は、この録画一覧７００の内容を、タッチパネル式入力部を備えた携帯電話機の表示部１５０に１画面で表示できるよう変更した録画一覧７５０を表示させ、ユーザによる録画一覧７５０の操作に従ってＤＶＤレコーダが所望の番組を再生するようにＤＶＤレコーダを制御する。

録画一覧７００は、テレビモニタの表示画面の表示領域に合わせて横長に作成されているため、制御機器１００が携帯電話機などである場合、表示部１５０の表示領域に表示する情報量が多すぎて１画面に表示しきれない。そのため、スクリプト変換部１３０は、例えば、図７（ｂ）に示す録画一覧７５０のように、個々の番組情報を選択ボタンとし、表示される選択ボタンの数を低減して表示するようスクリプト変換する。このような録画一覧７５０には、番組「パルプの山」７５１、番組「○○ロードショー」７５２、および番組「サッカータイトル」７５３の番組情報が表示される。スクリプト変換部１３０は、ＤＶＤレコーダから取得したスクリプトを解釈し、画面情報に含まれるテレビモニタの表示領域の大きさと、携帯電話機の表示部１５０の表示領域の大きさとを比較した上、録画一覧７００に含まれる番組情報の表示を縮小する。この際に、縮小後の番組情報に含まれる文字のフォントサイズがあらかじめ定めたフォントサイズより小さくならないように調整する。また、録画一覧７００を縮小しても、番組情報を表示する選択ボタンを１画面に全部表示できない場合には、デフォルトで選択されていた番組「○○ロードショー」７０３を最も高い優先度として、番組「○○ロードショー」７０３の番組情報から、より少ないステップ数で選択可能な番組情報の順に、上位３位までの選択ボタンを表示する。また、さらに、スクリプト変換部１３０は、被制御機器２００の操作画面に表示される録画一覧７００に含まれる選択可能な番組情報の数を低減して録画一覧７５０に表示させる場合には、録画一覧７５０に、次の階層の番組情報への改ページを指示する次画面ボタンを表示するとしてもよい。

図８（ａ）は、リモートＵＩのメニュー画面をテレビモニタの画面に表示した場合の表示例を示している。図８（ｂ）は、図８（ａ）に示された録画一覧をスクリプト変換し、例えば、携帯電話機の表示部に表示させた場合の操作画面の一例を示している。図８（ａ）に示すように、メニュー画面８００には、テレビのリモコンを用いてリモート制御可能な機器がアイコンで示されている。具体的には、メニュー画面８００には、テレビ、炊飯器、照明、プリンタ、エアコン、セキュリティ機器、ビデオ、および洗濯機などの機器を示すアイコンが、人のアイコンを中心として楕円形に取り囲む形に配置されている。ユーザは、このメニュー画面８００から、リモート制御したい機器を選択し、決定すると、選択された機器の制御画面が開き、その制御画面で当該機器の電源のタイマーセットや、それぞれの機器に応じた設定を行うことができる。なお、このメニュー画面８００では、人のアイコンがデフォルトで選択されているものとする。

スクリプト変換部１３０は、メニュー画面８００を表示するためのスクリプトをテレビから取得して解釈し、制御機器１００の表示部１５０に表示できるよう、スクリプトを変換する。ここでは、テレビのメニュー画面８００に８個のアイコンが表示されている。制御機器１００がタッチパネル式の携帯電話機などであり、すべてのアイコンを基準サイズ以上の選択ボタンとして１画面に表示することができないと判断した場合、スクリプト変換部１３０は、メニュー画面８００のデフォルト位置である人のアイコンから、十字方向により近い位置にあるアイコンをより優先度の高いものとして抽出し、表示部１５０にメニュー画面８５０を表示する。ここでは、優先度の高い順から上位４個を抽出し、選択ボタンとして表示している。図８（ｂ）に示すように、メニュー画面８００のスクリプトから、メニュー画面８００において人のアイコンに対して十字方向にあるテレビ、エアコン、照明、およびビデオが抽出され、それぞれ選択ボタンとしてメニュー画面８５０に表示される。

なお、上記のスクリプト変換は、例えば、Ｊａｖａスクリプト（登録商標）によって実現される。しかし、本発明はこれに限定されず、Ｊａｖａスクリプトと同様に、表示画面に含まれる一部の部品のみを変更できる機能を持ったスクリプトであれば、どのようなスクリプトであっても適用可能である。

さらに、上記実施の形態では、スクリプト変換部１３０は制御機器１００に備えられるものとして説明したが、本発明はこれに限定されず、被制御機器２００に備えられてもよい。この場合、制御機器１００が被制御機器２００に対して、制御機器１００の機器ＩＤを送信することによってリモートＵＩを開始するものとし、被制御機器２００は、スクリプトの変換に先立って、ＩＰ通信路を経由して制御機器１００の機器能力取得部１４０に対して表示部１５０および操作部１６０に関する情報の問い合わせを要求する。機器能力取得部１４０は、被制御機器２００からの問い合わせ要求に応じて表示部１５０および操作部１６０に問い合わせを行い、問い合わせ結果である表示部１５０および操作部１６０に関する情報を、通信部１０１および通信路３を介して、被制御機器２００に送信するものとする。また、スクリプト受信部１２０はスクリプト変換後のスクリプトを被制御機器２００から受信して、スクリプト実行部１２１に渡し、スクリプト実行部１２１は、スクリプト受信部１２０から渡されたスクリプトを実行して、操作された選択ボタンに対応するコマンドを、被制御機器２００のコマンド受信部２２１に送信するものとする。

また、この場合、被制御機器２００は、スクリプトの変換に先立って、必ずしも、制御機器１００の機器能力取得部１４０に対して表示部１５０および操作部１６０に関する情報の問い合わせを要求する必要はなく、例えば、あらかじめ制御機器１００となりうる機器ごとに、その機器の機器ＩＤに対応付けて、制御機器１００の表示部１５０および操作部１６０に関する情報をメモリに記憶しておくとしてもよい。このようにすることによって、被制御機器２００は、制御機器１００に対して問い合わせをすることなく、メモリから表示部１５０および操作部１６０に関する情報を読み出して、スクリプト変換処理を行うことができる。

以上のように、本実施の形態によれば、今後増加が見込まれる制御機器と被制御機器間において表示能力や操作方法が異なっていても、被制御機器の表示能力、操作方法に合わせた最適な画面表示を行う事で、操作感を損なう事なく遠隔操作を行う事ができる。

なお、上記実施の形態では、テレビ３００はＨＤＭＩなどにより被制御装置２００に接続されるとしたが、通信路３を介して接続されるとしてもよい。

なお、ブロック図（図２、図３など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、コンテンツを格納する手段だけ１チップ化せずに別構成としても良い。

以上、図面を参照してこの発明の実施の形態を説明したが、この発明は、図示した実施の形態のものに限定されない。図示した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

以上、図面を参照してこの発明の実施の形態を説明したが、この発明は、図示した実施の形態のものに限定されない。図示した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明の制御装置は、リモートＵＩを行う機器、特に、タッチパネル方式の操作部を有する携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの携帯機器として有用である。また、本発明の被制御装置は、リモートＵＩを行う機器で、大型モニタに情報を表示するテレビ、ＤＶＤレコーダなどの機器として有用である。

３ 通信路
１００ 制御機器
１０１、２０１ 通信部
１１０ コマンド送信部
１２０ スクリプト受信部
１２１ スクリプト実行部
１３０ スクリプト変換部
１４０ 機器能力取得部
１５０ 表示部
１６０ 操作部
２００ 被制御機器
２１１ スクリプト送信部
２１２ スクリプト記憶部
２２１ コマンド受信部
２２２ 機器制御部
３００ テレビ
７００、７５０ 録画一覧
８００、８５０ メニュー画面

Claims (14)

1. 被制御装置から画面表示操作情報を取得する取得部と、
   ユーザからの操作を受け付ける操作部と、
   前記操作部の入力形式に対応するよう前記画面表示操作情報を変換する変換部と、
   変換後の画面表示操作情報に基づく画面を表示する表示部と、
   を備える制御装置。
2. 前記変換部は、前記入力形式に対応するよう、変換前の前記画面表示操作情報に基づく画面内に配設される画面部品のうち、選択可能な画面部品の表示方法を強調表示に変更する
   請求項１記載の制御装置。
3. 前記変換部は、前記入力形式がタッチパネル型またはフリーポイント型による入力形式である場合、前記選択可能な画面部品であるボタンの表示方法を強調表示に変更する
   請求項２記載の制御装置。
4. 前記変換部は、前記入力形式がフリーポイント型による入力形式である場合、前記選択可能な画面部品であるボタンの領域にポインタが進入したときに、前記選択可能な画面部品であるボタンの表示方法を強調表示に変更する
   請求項２記載の制御装置。
5. 前記変換部は、前記入力形式がタッチパネル型による入力形式である場合、前記選択可能な画面部品であるボタンの表示サイズを大きくする
   請求項２記載の制御装置。
6. 前記変換部は、前記画面表示操作情報に基づく画面を前記表示部において１画面で表示できるか否かを判定し、
   前記判定の結果、１画面で表示できないと判定した場合、前記画面表示操作情報に基づく画面に含まれる前記選択可能な画面部品を減らすよう前記画面表示操作情報を変換する
   請求項２記載の制御装置。
7. 前記変換部は、前記判定の結果、１画面で表示できないと判定した場合、前記画面表示操作情報に基づく画面に含まれる前記選択可能な画面部品に対してあらかじめ定められた優先度の高い順から、あらかじめ定められた数だけ表示する
   請求項６記載の制御装置。
8. 被制御装置から画面表示操作情報を取得する取得部と、
   ユーザからの操作を受け付ける操作部と、
   前記画面表示操作情報に基づく画面内に配設される画面部品の種類に応じて前記画面表示操作情報を変換する変換部と、
   変換後の画面表示操作情報に基づく画面を表示する表示部と、
   を備える制御装置。
9. 被制御装置から画面表示操作情報を取得する取得部と、
   ユーザからの操作を受け付ける操作部と、
   前記画面表示操作情報を変換する変換部と、
   変換後の画面表示操作情報に基づく画面を表示する表示部と、
   を備え、
   前記変換部は、前記表示部のアスペクトに対応するよう前記画面表示操作情報を変換する
   制御装置。
10. 前記変換部は、変換後の前記画面表示操作情報に基づく画面を前記表示部において１画面で表示できるか否かを判定し、
    前記判定の結果、１画面で表示できないと判定した場合、変換後の前記画面表示操作情報に基づく画面に含まれる、選択可能な画面部品を減らす
    請求項８または請求項９記載の制御装置。
11. 前記変換部は、前記判定の結果、１画面で表示できないと判定した場合、前記画面表示操作情報に基づく画面に含まれる前記選択可能な画面部品に対してあらかじめ定められた優先度の高い順から、あらかじめ定められた数だけ表示する
    請求項１０記載の制御装置。
12. 被制御装置から画面表示操作情報を取得し、
    ユーザからの操作を受け付け、
    ユーザからの操作を受け付ける入力形式に対応するよう前記画面表示操作情報を変換し、
    変換後の前記画面表示操作情報に基づく画面を表示する
    スクリプト変換方法。
13. 制御装置と、被制御装置とを備える制御システムであって、
    前記制御装置は、
    前記被制御装置から画面表示操作情報を取得する取得部と、
    ユーザからの操作を受け付ける操作部と、
    前記操作部の入力形式に対応するよう前記画面表示操作情報を変換する変換部と、
    変換後の前記画面表示操作情報に基づく画面を表示する表示部とを備え、
    前記操作部に対するユーザからの操作に対応する命令を前記被制御装置に送信する命令送信部とを備え、
    前記被制御装置は、前記制御装置から受信した前記命令に従って動作する
    制御システム。
14. コンピュータを、
    被制御装置から画面表示操作情報を取得する取得部と、
    ユーザからの操作を受け付ける操作部と、
    前記操作部の入力形式に対応するよう前記画面表示操作情報を変換する変換部と、
    変換後の前記画面表示操作情報に基づく画面を表示する表示部として動作させる
    コンピュータ読み取り可能な非一時的記録媒体に記録されたプログラム。

Images