JP2009266238A

JP2009266238A - メディア項目を編成、選択及び開始するためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク

Info

Publication number: JP2009266238A
Application number: JP2009124732A
Authority: JP
Inventors: Frank A Hunleth; フランク，エー．ハンレス，; Negar Moshiri; ニガーモシリ，; William J Napier; ウィリアム，ジェイ．ネイピア，; Daniel S Simpkins; ダニエル，エス．シンプキンズ，; Frank J Wroblewski; フランク，ジェイ．ロビンスキー，
Original assignee: Hillcrest Laboratories Inc
Current assignee: Hillcrest Laboratories Inc
Priority date: 2003-05-08
Filing date: 2009-05-22
Publication date: 2009-11-12
Also published as: KR20100086511A; WO2004102285A2; WO2004102285A3; JP2007516496A; EP1620785A4; KR20060031600A; JP2012069138A; KR100994011B1; KR100817394B1; EP2704032A3; EP2704032A2; KR20080000685A; EP1620785A2

Abstract

【課題】多数のメディア項目及び新しいサービスのユーザへの供給を容易にする。
【解決手段】システム及び方法は、メディア項目の編成、選択及び開始を行なうための制御フレームワークを提供する。制御フレームワークは、ポインティング、クリック、スクロール、ホバー及びズームの基本的な制御基本命令群に対して、任意のフリースペースコントロールデバイスに結合されるグラフィカルユーザインタフェースを含む。これにより、例えば、映画、曲等のメディア項目を、大きな群又は小さな群から簡単に且つ迅速に選択できる。リモコンは、自然な手の動作及びジェスチャを適切なコマンドにマップする。この時、図形表示装置は、画像、詳細の増加／減少レベルに対するズーム及びＧＵＩオブジェクトの連続性を使用して、ユーザに対して簡単なメディア項目の編成、選択及びナビゲーションを提供する。
【選択図】なし

Description

背景
本発明は、メディア項目を編成、選択及び開始するためのフレームワークについて説明する。フレームワークの一部には、ポインティング、クリック、スクロール、ホバー及びズームの基本的構成ブロックを有するグラフィカルユーザインタフェース、特にフリースペースポインティングリモコンと共に使用されるメディア項目に関連するグラフィカルユーザインタフェースの設計及び動作を含む。

情報の通信に関連する技術は、過去数十年にわたり急速に発展してきた。テレビ、携帯電話通信、インターネット及び光通信技術（ここでは、数例のみ挙げる）は、利用可能な情報及びエンターテイメントの選択項目を消費者に大量に提供するために組み合わされる。例としてテレビを取り上げると、過去３０年間に、有線テレビサービス、衛星テレビサービス、ペイ・パー・ビュー映画及びビデオオンデマンドが導入された。１９６０年代のテレビ視聴者は、通常、恐らく４つか５つの放送テレビチャンネルを視聴者のテレビ受信機に受信できたが、今日のＴＶ視聴者は、数百及び場合によっては数千の番組チャンネル及び情報から選択する機会を有する。現在、主にホテル等で使用されているビデオオンデマンド技術により、数千の映画タイトルの中からホームエンターテイメントを選択できる可能性がある。TiVo, Inc., 2160 Gold Street, Alviso, CA 95002により提供されるようなデジタルビデオレコーディング（ＤＶＲ）機器が、利用可能な選択範囲を更に拡張する。

エンドユーザにそのように多くの情報及びコンテンツを提供する技術能力は、システム設計者及びサービスプロバイダに対して、機会と同時に課題も与える。１つの課題は、通常エンドユーザは少ない選択項目よりも多くの選択項目を好み、選択処理が迅速且つ単純であって欲しいと要望することである。しかし、エンドユーザがメディア項目にアクセスするために使用するシステム及びインタフェースが開発された結果、選択処理は迅速でも単純でもないものとなった。再度、テレビ番組の例を考慮する。テレビの発展段階にあった時、主に選択項目が少数である理由から、見る番組を決定することは比較的単純な処理であった。ユーザは、例えば、（１）隣接するテレビチャンネル、（２）これらのチャンネルに伝送されている番組、（３）日付／時間、の間の対応関係を示す一連の表としてフォーマットされ、印刷されたガイドを調べる。視聴者は、チューナのつまみを調整することにより、テレビを所望のチャンネルに同調させ、選択した番組を視聴した。後に、リモコンが導入され、視聴者は、距離を隔ててテレビを同調させることができるようになった。このユーザテレビインタフェースへの付加は、「チャンネルサーフィン」として知られる現象を引き起こした。それにより、視聴者は、多数のチャンネルで放送されている短い部分を迅速に視聴し、いつでも視聴可能な番組を迅速に知ることができた。

チャンネル数及び視聴可能なコンテンツ量が劇的に増加したにも関わらず、通常利用可能なユーザインタフェース、並びにテレビに対するコントロールデバイスの選択及びフレームワークは、過去３０年にわたり、それ程変化していない。現在でも印刷されたガイドが、番組情報を伝達するのに最も普及した方法である。現在でも、単純な上下の矢印を有するマルチボタンリモコンが、最も普及したチャンネル／コンテンツ選択方法である。入手可能なメディアコンテンツの増加に対して、ＴＶユーザインタフェースを設計し実現する者の反応は、既存の選択手順及びインタフェースオブジェクトを単純に拡張することであった。従って、より多くのチャンネルを含むように、印刷されたガイドの表の列及び行の数が増加した。リモコン上のボタン数は、例えば図１に示すように、追加の機能及びコンテンツ処理を支援するために増加してきた。しかし、この方法により、視聴者が入手可能な情報を検討するために必要な時間が増加し、且つ選択を実現するのに必要な動作の複雑性が増加した。恐らく、既存のインタフェースの煩雑性は、ビデオオンデマンド等のいくつかのサービスの商業上の実現を妨害している。これは、消費者が、既に遅く複雑であると考えるインタフェースに対して複雑性を追加する新しいサービスに抵抗するからである。

帯域幅及びコンテンツの増加に加え、ユーザインタフェースの障害の問題は、技術の集合により悪化している。消費者は、多数の別々の装置を購入するよりも一体型システムを購入できる選択肢に積極的に反応する。この動向の好適な例は、テレビ／ＶＣＲ／ＤＶＤの組合せであり、以前は独立していた３つの装置が、今日、一体型ユニットとして一般に販売されている。現在、家庭で見られる通信装置の全てとはいかないまでも、その殆どが、例えばテレビ／ＶＣＲ／ＤＶＤ／インターネットアクセス／ラジオ／ステレオユニット等の一体型ユニットとして実装される結果となるまで、この動向は継続する。別々の装置を購入した消費者でも、それらの装置間の一貫した制御及び互換性を要求する。この集中した要求により、ユーザインタフェースは更に複雑となる可能性がある。例えば、ＴＶリモコン及びＶＣＲリモコンの機能を組み合わせるために、いわゆる「ユニバーサル」リモコンが導入された時、通常、これらユニバーサルリモコン上のボタン数は、ＴＶリモコン及びＶＣＲリモコンのいずれのボタン数よりも多かった。この追加されたボタンの数及び機能により、リモコン上の正確なボタンを捜さずに、ＴＶ又はＶＣＲの最も単純な機能でないものを制御することは非常に困難となる。これらのユニバーサルリモコンは、多くの場合において、多くの制御レベル又はあるＴＶに固有の特徴にアクセスするのに十分なボタンを提供していない。この場合、元のデバイスリモコンも必要とされ、複数のリモコンを操作する本来の煩雑性は、集中した要求の複雑性から起こるユーザインタフェースの問題により依然として解決されない。リモコンの中には、エキスパートコマンドをプログラムできる「ソフト」ボタンを追加することにより、この問題に対処しているものもある。場合によっては、これらのソフトボタンは、その動作を示すために付属のＬＣＤ表示装置を有する。これは、ＴＶから目を離してリモコンを見なければ、ボタンを使用することが困難であるという欠点を有する。これらリモコンにおける更に別の欠点は、ボタン数を減少するためにモードを使用することである。この「モード」ユニバーサルリモコンにおいて、リモコンがＴＶ、ＤＶＤプレーヤ、ケーブルセットトップボックス、ＶＣＲ等のいずれと通信すべきかを選択するための特別なボタンが存在する。これは、不適切な装置へのコマンドの送信、適切なモードであるかを確認するためにユーザにリモコンに視線を向けさせることを含む多くの操作性の問題を引き起こす。また、複数の装置の一体化に対して、簡単化が全く提供されない。最も高度化されたユニバーサルリモコンは、複数の装置に対する一連のコマンドをリモコンにプログラムすることをユーザに許可することにより、ある程度の統合を提供する。これは、多くのユーザが専門のインストーラにユニバーサルリモコンをプログラムしてもらう必要がある非常に困難なタスクである。

エンドユーザとメディアシステムとの間の画面インタフェースを最新式にするための試みも、いくつかなされてきた。電子番組ガイド（ＥＰＧ）が上述の媒体ガイドに代わるために開発され実現されてきた。初期のＥＰＧは、実質的には印刷された媒体ガイドの電子複製を提供した。例えば、有線サービスオペレータは、専門のチャンネルでゆっくりスクロールするチャンネルのグリッド及び次の２時間等ある時間範囲にわたる関連番組を表示するアナログＥＰＧを提供した。この方法で１００チャンネルでもスクロールすることは退屈であり、例えば、ビデオオンデマンド等の有効な追加のコンテンツ配置を含むように縮尺変更することができない。更に高度なデジタルＥＰＧが開発された。デジタルＥＰＧにおいて、番組スケジュール情報及び必要に応じてアプリケーション／システムソフトウェアが、例えば、デジタルセットトップボックス（ＳＴＢ）等の専用のＥＰＧ機器に伝送される。デジタルＥＰＧは、ローカル対話方式を提供する機能及びユーザと表示されるメディア項目の選択項目との間に１つ以上インタフェース層を介在させる機能により、メディアシステムに対するユーザインタフェースを設計する際に、更なる自由度を提供する。そのようなインタフェースの例は、Kamen et al.の米国特許第６，４２１，０６７号で参照され、その開示は、参考として本発明に取り入れられる。図２は、米国特許第６，４２１，０６７号において説明されるＧＵＩを示す。同図において、Kamen et al.の特許によると、第１の欄１９０は、番組チャンネルを一覧表示し、第２の欄１９１は、現在放映中の番組を示す。欄１９２は、３０分後に放映される番組を示し、第４の欄１９３は、その更に３０分後に放映される番組を示す。野球のバットのアイコン１２１は、欄１９１及び１９２にわたっているため、野球の試合が欄１９２に対応する時間枠まで継続されることが予測されることを示す。しかし、テキストブロック１１１は、欄１９２まで達していない。これは、フットボールの試合が欄１９２に対応する時間枠まで延長しないことが予測されることを示す。図示するように、絵文字１９４は、フットボールの試合後、ＡＢＣが競馬を放映することを示す。図２に示されるアイコンは、不図示のカーソルを使用して操作され、例えば、選択した番組に関連する情報をダウンロードする等の種々の機能を実現できる。他のデジタルＥＰＧ及び関連するインタフェースは、例えば、米国特許第６，３１４，５７５号、米国特許第６，４１２，１１０号及び米国特許第６，５７７，３５０号において説明され、これら特許の開示もまた、参考として本発明に取り入れられる。

しかし、上述のインタフェースは、複数ある欠点の中でも、大きなメディア項目群と小さなメディア項目群との間の倍率変更が容易にできないという点で不利である。例えば、項目リストに依存するインタフェースは、小さなメディア項目群に対しては十分に機能するであろうが、大きなメディア項目群を閲覧するには退屈となる。階層型のナビゲーション（例えば、木構造）に依存するインタフェースは、リストインタフェースより迅速に大きなメディア項目群を見ることができるが、小さなメディア項目群に対しては容易に適応できない。更に、ユーザは、木構造の３つ以上の層を移動しなければならない選択処理に興味を失う傾向がある。全てのこれらの場合において、現在のリモコンは、リスト又は階層をナビゲートするためにユーザに上下のボタンを繰り返し押下させることにより、この選択処理をする者を更に退屈させる。上下のページ移動等の選択スキップ制御が利用可能な場合、通常、ユーザは、これら特別なボタンを発見するためにリモコンを見る必要があるか、又はそれらの存在を知るために訓練される必要がある。

従って、多数のメディア項目及び新しいサービスのユーザへの供給を容易にすることにより、エンドユーザ装置が利用可能な帯域幅の増加をサービスプロバイダが適切に利用することを可能にし、それと同時に、ユーザとメディアシステムとの間の制御及び画面インタフェースを簡単化し且つ選択処理を高速化する編成フレームワーク、技術及びシステムを提供することが望ましい。更に、閲覧されるメディア項目群のサイズに関わらず、簡単で迅速な選択経験を供給するインタフェースを提供することが望ましい。

概要
本発明にかかるシステム及び方法は、メディア項目を編成、選択及び開始するための総合的な制御フレームワークを提供することにより、これらのニーズ及びその他に対して対処する。総合的な制御フレームワークは、簡単で迅速なメディア項目の選択を提供するユーザインタフェースフレームワークを含む。フレームワークの制御は、関連するグラフィカルユーザインタフェース上の選択項目をポインティング、クリック及びスクロールするための最小の一組のボタン及びスクロールホイールを含むフリースペースポインティングデバイスを採用できる。ポインタが選択項目上をホバーし且つ概要と詳細との画面間を円滑にナビゲートするために選択項目を拡大及び縮小する時、この好適なグラフィカルユーザインタフェース（ＧＵＩ）は、画面上のポインタ及びグラフィカルアニメーションを使用して、ユーザにフィードバックを提供する。本発明の好適な実施形態は、ユーザによるナビゲーションを簡単化する画像、詳細のレベル増加／減少に対するズーム及びＧＵＩオブジェクトの連続性を採用する。本発明によるグラフィカルユーザインタフェースは、仮想面においてメディア項目選択を編成する。類似する選択項目はグループ化される。最初に、インタフェースはその面の縮小したビューを提供し、殆どの場合、実際の選択項目の全詳細は、このレベルにおいて可視状態ではない。ユーザが内部に向けてズームするに従って、メディア項目グループ又は選択項目に関する更なる詳細が示される。異なるズームレベルにおいて、ユーザが選択項目グループ又は個々の選択項目を実行できるように、あるいは他の関連メディア項目を閲覧するために仮想面の別の部分へ移動できるように、異なる制御が利用可能である。

本発明の好適な一実施形態によると、グラフィカルユーザインタフェースに情報を表示する方法は、第１の倍率で第１の複数の画像を表示するステップと、前記複数の画像のサブセットを識別する第１の選択指示を受信するステップと、第２の倍率で前記複数の画像の前記選択されたサブセットの第１のズームバージョンを表示するステップと、画像の前記サブセット内の１つの画像を識別する第２の選択指示を受信するステップと、少なくとも１つのユーザ操作可能な制御要素を含む前記識別された画像の第２のズームバージョンを表示するステップとを含む。この例における制御は、特定の所望するコマンドを判定する画面位置及び運動ベクトルの双方を規定するために、ジャイロスコープ又は他の機構を使用するフリースペースポインティングデバイスを含むことができる。また、「戻る」ボタンだけでなく「クリック」、すなわち選択するための一組のボタンも含まれる。

本発明の別の好適な実施形態によると、グラフィカルユーザインタフェースは、第１の倍率で第１の複数の画像を表示する第１のＧＵＩ画面と、前記複数の画像のサブセットを識別する第１の選択指示を受信する手段と、第２の倍率で前記複数の画像の前記選択されたサブセットの第１のズームバージョンを表示する第２のＧＵＩ画面と、前記画像のサブセット内の１つの画像を識別する第２の選択指示を受信する手段と、少なくとも１つのユーザ操作可能な制御要素を含む前記識別された画像の前記第２のズームバージョンを表示する第３のＧＵＩ画面とを具備する。本発明の好適な実施形態に係るズーミンググラフィカルユーザインタフェースは、任意の深さ及びカテゴリのカテゴリに入れ子にされた画像のカテゴリを含むことができる。
添付の図面は、本発明の好適な実施形態を示す。

娯楽システムに対する従来のリモコンを示す図である。娯楽システムに対する従来のグラフィカルユーザインタフェースを示す図である。本発明の好適な実施形態（表示装置及びリモコンの双方）が実現される好適なメディアシステムを示す図である。図３のシステム制御器を更に詳細に示す図である。、、、本発明の好適な実施形態に係るメディアシステムに対するグラフィカルユーザインタフェースを示す図である。本発明の好適な実施形態に係る好適なデータ構造を示す図である。、本発明の好適な実施形態に係る図９のデータ構造を使用して作成された好適なＧＵＩの一部の縮小バージョン及び拡大バージョンを示す図である。本発明の好適な実施形態に係る生成されたＧＵＩ表示に対して使用される順序付け二重リンクリストを示す図である。、本発明の好適な実施形態に係るノード監視アルゴリズムの動作を示すために使用される別の好適なＧＵＩの一部の縮小バージョン及び拡大バージョンを示す図である。、本発明の好適な実施形態に係る図１２（ａ）のビューから図１２（ｂ）のビューへのＧＵＩ遷移としてノード監視アルゴリズムの動作を示すために使用される好適なデータ構造を示す図である。解像度一致ズーミングにおいて使用される仮想カメラを含む本発明の別の好適な実施形態に係るデータ構造を示す図である。、好適なＧＵＩの一部の縮小バージョン及び拡大バージョンを示す図であり、これらは、本発明の好適な実施形態に係るセマンティックズーミングを示す図である。、、、、本発明の別の好適な実施形態に係るズーム可能なグラフィカルユーザインタフェースを示す図である。本発明の好適な実施形態に従って提供される好適な一組のオーバレイ制御を示す図である。本発明によるズーム可能なグラフィカルユーザインタフェースを実現する好適なフレームワークを示す図である。

詳細な説明
以下に、添付の図面を参照して、本発明を詳細に説明する。異なる複数の図面において、同一の図中符号は、同一の要素又は同様の要素を識別する。また、以下の詳細な説明は、本発明を制限しない。その代わりに、本発明の範囲は、添付の特許請求の範囲により規定される。

この説明に対してある背景を提供するために、まず、本発明が実現可能である好適な集合メディアシステム２００を図３に関して説明する。しかし、本発明は、この種類のメディアシステムにおける実現に制限されるものではなく、更に多くの構成要素又は更に少ない構成要素を含むことができることが、当業者には理解されるであろう。ここで、入出力（Ｉ／Ｏ）バス２１０は、メディアシステム２００のシステム構成要素を相互に接続する。Ｉ／Ｏバス２１０は、メディアシステム構成要素間で信号を送信する複数の異なる機構及び技術のいずれかを表す。例えば、Ｉ／Ｏバス２１０は、オーディオ信号をルーティングする適当な数の独立したオーディオ「パッチ」ケーブル、ビデオ信号をルーティングする同軸ケーブル、制御信号をルーティングする２線式シリアル回線、赤外線周波数トランシーバ又はＲＦトランシーバ、あるいは、他の種類の信号をルーティングする光ファイバ又は他の任意のルーティング機構を含んでもよい。

好適な本実施形態において、メディアシステム２００は、Ｉ／Ｏバス２１０に結合されたテレビ／モニタ２１２、ビデオカセットレコーダ（ＶＣＲ）２１４、デジタルビデオディスク（ＤＶＤ）記録／再生装置２１６、オーディオ／ビデオチューナ２１８及びコンパクトディスクプレーヤ２２０を含む。ＶＣＲ２１４、ＤＶＤ２１６及びコンパクトディスクプレーヤ２２０は、単一のディスク装置又は単一のカセット装置でもよく、あるいは、複数のディスク装置又は複数のカセット装置でもよい。これらは、独立した装置でもよく、又は一体化されてもよい。更に、メディアシステム２００は、マイク／スピーカシステム２２２、ビデオカメラ２２４及び無線Ｉ／Ｏ制御装置２２６を含む。本発明の好適な実施形態によると、無線Ｉ／Ｏ制御装置２２６は、フリースペースポインティングを支援し、ナビゲーションを支援する最小限のボタンを有し、且つＲＦ信号を介して娯楽システム２００と通信するメディアシステムリモコンである。例えば、無線Ｉ／Ｏ制御装置２２６は、特定の所望のコマンドを判定する画面の位置及び運動ベクトルの双方を規定するために、ジャイロスコープ又は他の機構を使用するフリースペースポインティングデバイスでもよい。一組のボタンは、「戻る」ボタンに加え、以下に説明される「クリック」基本命令を開始するために、無線Ｉ／Ｏ装置２２６上に含まれることも可能である。別の好適な実施形態において、無線Ｉ／Ｏ制御装置２２６は、ＩＲ信号を介して娯楽システム２００の構成要素と通信するメディアシステムリモコンである。更に別の実施形態において、無線Ｉ／Ｏ制御装置１３４は、ユーザが娯楽システム１００の表示装置上にカーソルを位置付けることを可能にするトラックボール又は他のナビゲーション機構の付加的な機能を有する、通常の娯楽システムリモコンに類似するＩＲリモコンであってもよい。

娯楽システム２００は、システム制御器２２８を更に含む。本発明の好適な一実施形態によると、システム制御器２２８は、複数の娯楽システムデータソースから入手可能な娯楽システムデータの格納及び表示を行い、システム構成要素の各々に関連する多種多様な機能を制御するように動作する。図３に示すように、システム制御器２２８は、必要に応じて、Ｉ／Ｏバス２１０を介して直接又は間接的にシステム構成要素の各々に結合される。好適な一実施形態において、Ｉ／Ｏバス２１０に加えて、又はＩ／Ｏバス２１０の代わりに、システム制御器２２８が、ＩＲ信号又はＲＦ信号を介してシステム構成要素と通信することが可能な無線通信送信機（又はトランシーバ）で構成される。制御媒体に関わらず、システム制御器２２８は、以下に説明されるグラフィカルユーザインタフェースを介して、メディアシステム２００のメディア構成要素を制御するように構成される。

図３に更に示されるように、メディアシステム２００は、種々のメディアソース及びサービスプロバイダからメディア項目を受信するように構成されてもよい。好適な本実施形態において、メディアシステム２００は、以下のうち任意のソース又は全てのソースから、メディア入力を受信し、且つ任意に情報を送信できる。ソースは、有線放送２３０、衛星放送２３２（例えば、パラボラアンテナを介して）、放送テレビネットワーク２３４（例えば、アンテナを介して）の超短波（ＶＨＦ）又は極超短波（ＵＨＦ）ＲＦ通信、電話網２３６、及びケーブルモデム２３８（又はインターネットコンテンツの他のソース）である。図３に関して示され且つ説明されたメディア構成要素及びメディアソースは、単なる例であり、メディアシステム２００は、更に多くの構成要素及びソースを含んでもよく、又は更に少ない構成要素及びソースを含んでもよいことが、当業者には理解されるであろう。例えば、システムに対する他の種類の入力は、ＡＭ／ＦＭラジオ及び衛星ラジオを含む。

図４は、本発明による好適なシステム制御器２２８の実施形態を示すブロック図である。システム制御器２２８は、例えば、セットトップボックスとして実現される。また、システム制御器２２８は、例えば、プロセッサ３００、メモリ３０２、表示制御器３０４、他の装置の制御器（例えば、システム２００の他の構成要素に関連付けられる）、１つ以上のデータ記憶装置３０８及びＩ／Ｏインタフェース３１０を含む。これらの構成要素は、バス３１２を介してプロセッサ３００と通信する。プロセッサ３００は、１つ以上の処理装置を使用して実現されることが、当業者には理解されるであろう。メモリ装置３０２は、例えば、ＤＲＡＭ又はＳＲＡＭ、ＲＯＭ、キャッシュメモリとして指定されるメモリを含んでもよい。メモリ装置３０２は、プロセッサ３００により実行されるソフトウェア及び／又はそのようなプログラムにより使用可能なデータを格納する。これは、以下に説明されるグラフィカルユーザインタフェースに関連付けられたソフトウェア及び／又はデータを含む。表示制御器３０４は、以下に説明するように、特にＧＵＩ画面及びオブジェクトを表示するためにモニタ２１２の表示を制御するように、プロセッサ３００により動作可能である。本発明の好適な実施形態に係るズーム可能なＧＵＩは、解像度独立ズーミングを提供する。これにより、モニタ２１２は、任意の解像度で表示できる。装置制御器３０６は、メディアシステム２００の他の構成要素とプロセッサ３００との間のインタフェースを提供する。データ記憶装置３０８は、ハードディスクドライブ、フロッピディスクドライブ、ＣＤ?ＲＯＭデバイス又は他の大容量記憶装置のうち１つ以上を含んでもよい。入出力インタフェース３１０は、例えば、キーボードインタフェース、ＲＦインタフェース、ＩＲインタフェース及びマイク／音声インタフェースを含む複数のインタフェースのうち１つ以上を含んでもよい。本発明の好適な一実施形態によると、Ｉ／Ｏインタフェース３１０は、無線ポインティングデバイスの動作に関連する場所情報を受信するインタフェースを含む。

メディア項目選択情報を表示するための本発明の好適な実施形態に係るグラフィカルユーザインタフェースの生成及び制御は、メモリ３０２に含まれる一連の命令を実行するプロセッサ３００に応答して、システム制御器２２８により実行される。そのような命令は、データ記憶装置３０８等の他のコンピュータ可読媒体から、又はメディアシステム２００に外部接続されるコンピュータから、メモリ３０２に読み込まれてもよい。メモリ３０２に含まれる一連の命令を実行することにより、グラフィカルユーザインタフェースオブジェクト、及び、特にモニタ２１２上の制御手段をプロセッサに生成させる。他の実施形態において、本発明を実現するために、ハードワイヤード回路がソフトウェア命令の代わりに、又はソフトウェア命令と組み合わされて使用されてもよい。背景技術の節において説明したように、テレビ産業に関連する従来のインタフェースフレームワークは、単純で理解しやすい選択経験をユーザに提供する能力において、厳しく制限される。従って、本明細書で説明される制御フレームワークはこれらの制限を克服し、また、テレビと共に使用することを意図するが、これに限定するものではない。本明細書で説明される画期的な制御フレームワーク、グラフィカルユーザインタフェース及び／又は種々のアルゴリズムは、コンピュータ及びテレビ以外の他の装置に使用されるインタフェースへの適用の可能性があることが期待される。本発明の好適な実施形態の種々の応用例を区別するために、用語「テレビ」及び「ＴＶ」は、本明細書において、表示装置のサブセットを示すために使用される。また、「ＧＵＩ」、「ＧＵＩ画面」、「表示装置」及び「表示画面」は、一般的なものが意図され、テレビ表示装置、コンピュータ表示装置及び任意の他の表示装置を示す。更に詳細には、用語「テレビ」及び「ＴＶ」は、テレビ信号（例えば、ＮＴＳＣ信号、ＰＡＬ信号又はＳＥＣＡＭ信号）を別の形式（例えば、コンピュータビデオ形式）に変換するアダプタを使用せずに、テレビ信号を表示できる表示装置のサブセットを示すことが意図される。更に、用語「テレビ」及び「ＴＶ」は、一般に、数フィート又はそれ以上の距離（例えば、ソファから居間のＴＶまで）から見る表示装置のサブセットを示す。一方で、コンピュータ表示装置は、一般に、至近距離（例えば、椅子からデスクトップモニタまで）で見られる。

本発明によるズーム可能なグラフィカルインタフェースを含む制御フレームワークを実現するために使用される好適なメディアシステムを説明したが、ここで、そのようなインタフェースのいくつかの例を説明する。本発明の好適な実施形態によると、ユーザインタフェースは、カテゴリによりグループ化される選択可能な項目を表示する。ユーザは、関心のある１つのカテゴリ又は複数のカテゴリにリモコンを向け、拡大するための選択ボタン又は元に戻すための「戻る」ボタンを押下する。ユーザによる拡大又は元に戻すための各動作の結果、ユーザインタフェースが画面上に描画する選択可能な項目の倍率及び／又はコンテキストが変化する。好適な実施形態によると、倍率の各変化は一貫している。すなわち、倍率は、所定のステップで変化する。また、本発明の好適な実施形態は、相当大きな値までの倍率変更を達成するためのいくつかの視覚技術を実装するユーザインタフェースに対応する。ユーザインタフェースオブジェクトへ迅速に再アクセスするためにユーザの視覚的な記憶を向上させるユーザインタフェースを適応する特定の技術において、視覚技術は、拡張性及び操作性の双方を達成する構成ブロック及び技術の組合せを含む。

ユーザインタフェースは、主として視覚経験である。そのような環境において、本発明の好適な実施形態は、視覚環境内のオブジェクトの場所を記憶するユーザの能力を使用する。これは、安定した信頼性のある場所をユーザインタフェース選択項目に提供することにより達成される。各オブジェクトの場所は、ズーム可能なレイアウト中にある。ユーザは、関心オブジェクトを１度発見すると、オブジェクトの場所を特定するために進んだ方向を当然ながら覚えている。そのオブジェクトが特に関心オブジェクトである場合、ユーザは、複数回その項目に再アクセスする可能性があり、これにより、そのオブジェクトへのパスに対するユーザの記憶が強化される。本発明の好適な実施形態に係るユーザインタフェースは、ユーザが関心のある項目の場所を記憶するのを支援する視覚ニーモニックを提供する。そのような視覚ニーモニックは、以下に説明される例に基づいて更に明らかになることの中でも特にパン及びズームアニメーション、ユーザインタフェースの仮想面を横切る動作の地理的シーンを生成する遷移効果、並びに整合性のあるズーム機能を含む。

編成機構が提供され、それにより、ユーザは、相当大きな項目群からの選択が可能となるが、編成機構は、大きな選択項目群に関連する詳細を知りえない状態にある。種々の編成機構は、本発明に従って使用され、以下に例が提供される。

まず、図５〜図８を参照して、本発明の好適な実施形態に係るズーム可能なグラフィカルユーザインタフェースを含む好適な制御フレームワークを、音楽のメディア項目の表示及び選択の際の使用について説明する。図５は、最も縮小された状態のズーム可能なＧＵＩを表現する。ここで、インタフェースは、一組の形状５００を表示する。各形状５００内に表示されているのは、テキスト５０２及び／又は写真５０４であり、それらは、ＧＵＩのその部分を介してアクセス可能なメディア項目選択群を説明する。図５に示すように、形状５００は矩形であり、テキスト５０２及び／又は写真５０４はメディアのジャンルを説明する。しかし、この最初に参照されるＧＵＩのグループ化は、ユーザが入手可能なメディア選択項目の他の面、例えば、アーティスト、制作年、アーティストの居住地域、項目の長さ又は選択項目の他の任意の特徴を表現できることが、当業者には理解されるであろう。また、ＧＵＩにおいて、種々のグループ化の概略を示すために使用される形状は、矩形である必要はない。アルバムの表紙及び他のアイコンの縮小バージョンは、形状グループ化５００内のテキスト５０２及び／又は写真５０４の代わりに、又はそれに加えて、ナビゲーションの更なる手がかりをユーザに提供するために使用できる。ＧＵＩの背景部分５０６は、後にインタフェースを使用する時に必要な読み取りを減少させるように、ユーザがジャンルの空間場所を記憶するのを支援するマップ等の写真の一部であってもよく、又はべた色で塗りつぶされて表示されてもよい。選択ポインタ（カーソル）５０８は、入力装置の動作に追従し、ユーザが装置上のボタン（図５においては、不図示）を押下すると、拡大するべき場所を指示する。

本発明の好適な一実施形態によると、入力装置は、以下に更に詳細に説明される構成ブロックのポインティング、クリック、スクロール、ホバー及びズームを支援するグラフィカルユーザインタフェースに結合される無線マウス、例えば、Gyration, Inc. 12930 Saratoga Avenue, Bldg.C, Saratoga, CA 95070製造の無線マウスでもよい。本発明と共に使用するのに有益であるこの好適な入力装置の１つの特徴は、２つのボタン及びスクロールホイールのみ、すなわち３つの入力操作オブジェクトのみを有することである。２つのボタンのうち一方は、拡大（選択）ボタンとして構成され、もう一方は、縮小（戻る）ボタンとして構成される。例えば、図１に示されるような従来のリモコンと比較すると、本発明は、ボタンの数を大幅に減少させることなどにより、ユーザがメディア項目選択を行なう際に直面するＧＵＩのこの面を簡単化する。本発明の好適な実施形態に係る入力装置の追加の好ましい特徴は、ユーザに対して「フリースペースポインティング」の機能を提供することであるが、これは必須ではない。用語「フリースペースポインティング」は、表示画面の前で、３次元（又は３次元以上）空間において入力装置を自由に移動させることができるユーザの能力、及びその動作を画面上のカーソルの動作に直接変換する対応するユーザインタフェースの機能を示すために、本明細書で使用される。従って、「フリースペースポインティング」は、従来のコンピュータマウスポインティング技術とは異なる。従来のコンピュータマウスポインティング技術は、マウスの相対的な動作がコンピュータ表示画面上のカーソルの動作に変換される代理面として、机上面又はマウスパッド等の表示画面以外の表面を使用する。本発明の好適な実施形態に係る制御フレームワークにおいてフリースペースポインティングを使用することにより、ユーザの選択経験が更に簡単化される。それと同時に、インタフェースに対する識別可能な入力として、ジェスチャを導入する機会を与える。ジェスチャは、パターンがＧＵＩコマンドに変換される期間にわたり、認識可能な動作のパターンとして考慮される。ＧＵＩコマンドは、例えば、ｘ、ｙ、ｚ、偏揺れ（yaw）、縦揺れ（pitch）及び横揺れ（roll）次元、又はそれらの任意の組合せにおける動作機能である。しかし、任意の適切な入力装置が本発明によるズーム可能なＧＵＩと共に使用されることは、当業者には理解されるであろう。適切な入力装置の他の例は、トラックボール、タッチパッド、従来のＴＶリモコン、音声入力、ユーザのジェスチャを通信し且つそれをＧＵＩコマンドに変換できる任意の装置、又はそれらの任意の組合せを含むが、これらに制限されない。本明細書で説明されるＧＵＩ機能の各面は、ジェスチャ及び音声コマンドの少なくとも一方を使用して、本発明によるフレームワークにおいて開始されることが意図される。他の実施形態は、カーソル及び／又は他のリモコンキー、あるいは音声入力を使用して、選択する項目を識別することを含む。

図６は、ジャンル３の拡大されたビューを示す。これは、ユーザが、例えば表示装置２１２上のジャンル３を囲む矩形により囲まれたエリア上にカーソル５０８を移動させ、入力装置のボタンを押下することにより、図５からジャンル３を選択する場合に表示される。インタフェースは、ズームが起こったことをユーザに対して明確にするため、図５から図６のズームを動画化できる。そのような動画化されたズーム／遷移効果の例を、以下に説明する。ジャンル３を囲む形状５１６が表示装置２１２上の画面の殆どを占有すると、インタフェースは、そのジャンルのアルバムを有するアーティストを示す。この例において、７つの異なるアーティスト及び／又はアーティストの作品が表示される。図５の縮小されたビューにおいて、ジャンル３に隣接していた非選択ジャンル５１５は、拡大されたビューにおいてもジャンル３に隣接しているが、表示装置２１２の端部により切り取られている。選択ポインタ５０８を使用して非選択ジャンルを選択することにより、その非選択ジャンルに迅速に移動できる。しかし、本発明の他の好適な実施形態において、隣接するオブジェクトの切り取りを省略し、切り取られていない選択項目のみを提供できることは、理解されるであろう。グループ５１２等の各アーティストグループは、縮小されたアルバムの表紙の画像又はアーティストの写真を含むことができ、あるいは、カテゴリがユーザにより作成された演奏リストを含む場合には、ユーザによりカスタマイズ可能な作品を含むことができる。

その後、ユーザは、再検討及び／又は選択するために、アーティストグループのうち１つを選択してもよい。ユーザがカーソル５０８を位置付け且つ入力装置を操作することによりアーティスト３を選択したことに応答して、更に拡大されたビューを図７に示す。同図において、アルバムの表紙の画像５２０がビューに表示される。図５及び図６のＧＵＩ画面からの遷移と同様に、隣接する非選択アーティスト（この例においては、アーティスト＃２、６及び７）は、拡大された表示装置の側部近くに示され、ユーザは、これらを選択ポインタ５０８でクリックし、これらのアーティストビューをパンできる。インタフェースのこの部分において、アルバムの表紙の画像５２０に加え、アーティスト情報５２４がアーティストグループの項目として表示される。この情報は、例えば、アーティストの写真、経歴、雑情報、ディスコグラフィ、影響力、ウェブサイトへのリンク及び他の関連データを含んでもよい。各アルバム画像５２０は、アルバムの表紙の写真を含むことができ、また、任意にテキストデータを含むこともできる。アルバム画像５２０がユーザ作成の演奏リストを含む場合、グラフィカルユーザインタフェースは、インタフェースにより自動的に選択される写真、又はユーザにより事前に選択される写真を表示できる。

最後に、ユーザがグループ５２１内からアルバムの表紙画像５２０を選択すると、インタフェースは、図８に示されるように、アルバムの表紙を拡大する。ズームされるにつれて、アルバムの表紙は次第に薄れるか、あるいはモーフィングして複数の項目を含むビューになる。複数の項目の例は、アルバムのアーティスト及びタイトル５３０、トラックリスト５３２、アルバムに関する詳細情報５３６、アルバムの表紙の更に小さいバージョン５２８、並びに制御手段５３４を含む。制御手段５３４は、コンテンツの再生、分類の変更、アーティストのウェブページへのリンク、又は選択項目に関する任意の他の情報の検出を実行する。隣接するアルバム５３８が示されるが、これを、選択ポインタ５０８を使用して選択し、インタフェースにより表示することができる。上述のように、本発明の他の実施形態は、例えば、アルバム５等の選択オブジェクトのみを表示するように拡大し、アルバム４及び６等の非選択オブジェクトの切り取られた部分を省略できる。この最後のズームは、セマンティックズーミングの一例を提供する。セマンティックズーミングでは、先のズームレベルでは可視状態でなかったあるＧＵＩ要素を示す。本発明の好適な実施形態に係るセマンティックズーミングを実行する種々の技術が、以下に提供される。

図５〜図８に示し説明したように、グラフィカルユーザインタフェースの好適な本実施形態は、音楽群のナビゲーションに対応する。本発明によるインタフェースは、ＤＶＤ、ＶＨＳテープ、他の記録媒体、ビデオオンデマンド、ビデオセグメント及びホームムービー等のビデオ群に対しても使用される。他のオーディオの使用方法には、ラジオ番組、教材テープ、履歴アーカイブ及びサウンドクリップ群のナビゲーションが含まれる。ニュースの記事及び電子ブック等の印刷物又はテキスト媒体は、本発明を使用して、編成及びアクセスされる。

上述の説明から当業者には明らかであるように、本発明によるズーム可能なグラフィカルユーザインタフェースは、大量の（又は少量の）メディア項目を迅速に且つ簡単に閲覧する機能をユーザに提供する。この機能は、本発明の好適な実施形態に係るインタフェースの多くの特性によるものである。この特性は以下を含むが、これに制限されない：（１）特定のメディア項目に対する全ての又は一部の選択項目情報として、画像を使用すること、（２）選択するのにユーザが必要とする情報量を迅速に提供するために、ズームを使用すること、（３）ＧＵＩのナビゲーションがユーザの方向感覚により達成され且つ記憶されるように、インタフェース全体が単一平面上に存在するという感覚をユーザに与えるために組み合わされるいくつかのＧＵＩ技術を使用すること。本発明によるＧＵＩのこの最後の面は、いくつかある方法の中でも特に、現在のＧＵＩ画面の境界付近の隣接する非選択オブジェクトの端部を表示するなどして、１つのＧＵＩ画面から次のＧＵＩ画面までＧＵＩオブジェクトの一貫性を維持し、それにより、種々のＧＵＩ画面を「地理的に」リンクさせることで達成される。あるいは、より鮮明な表示が要求され且つ他のＧＵＩ技術が十分な地理的フィードバックを提供する場合、切り取られたオブジェクトは省略される。この説明において使用されるように、用語「ＧＵＩ画面」は、同時に１つ以上の表示装置に描画される一組のＧＵＩオブジェクトを示す。ＧＵＩ画面は、メディア項目を出力する同一の表示装置上に描画されてもよく、あるいは、異なる表示装置上に描画されてもよい。表示装置は、ＴＶ表示装置、コンピュータモニタ又は任意の他の適切なＧＵＩ出力装置でもよい。

ＧＵＩ画面連結性のユーザの感覚を向上させる別のＧＵＩ効果は、ズームが実行される場合、あるいはユーザが現在の選択オブジェクトと同一のズームレベルで隣接するオブジェクトを選択する場合に呼び出されるパニングアニメーション効果である。図５の例に戻ると、ユーザがこのＧＵＩ画面を最初に参照している時、ユーザの視点は点５５０が中心となる。しかし、ユーザが拡大するためにジャンル３を選択すると、ユーザの視点は点５５２に移動する。本発明の好適な実施形態によると、拡大処理は、点５５０から点５５２へ視点の中心を移動して動画化される。このパニングアニメーションは、ズームレベルの変化又は同一のＧＵＩズームレベルにおける１つのオブジェクトから別のオブジェクトへの変化等のＧＵＩの各変化に対して提供される。従って、例えば、図６のＧＵＩ画面に位置するユーザが最も左側にある非選択ジャンル５１５（ジャンル２）を選択した場合、左又は西への移動の視覚的印象をユーザに与えるパニングアニメーションが発生する。本発明の好適な実施形態は、ＧＵＩ画面間の方向の移動で同一の感覚を提供するために、そのような技術を採用する。同一の感覚により、ユーザは、ズームレベル間、及び同一のズームレベルにおけるメディア項目間の双方において、ＧＵＩを更に迅速にナビゲートできる。

種々のデータ構造及びアルゴリズムが、本発明によるズーム可能なＧＵＩを実現するために使用される。例えば、写真を表示する画像ブラウザをパンし且つ拡大するデータ構造及びアルゴリズムが、Benjamin B. Bederson著「Quantum Treemaps and Bubblemaps for a Zoomable Image Browser」UIST2001, ACM Symposium on User Interface Software and Technology, CHI Letters, 3(2), ７１〜８０ページ等において説明されている。この開示は、参考として本明細書に取り入れられる。しかし、高いレベルにおいては、多数のアプリケーション間で切り替るメディア選択に対してＧＵＩを提供するために、且つ低いレベルにおいては、選択された画像に関連するユーザ制御手段を提供し、種々のメディア選択機能を実行するために、追加のデータ構造及びアルゴリズムが必要とされる。

ズーム可能なＧＵＩは、表示装置のビューポートにおけるユーザインタフェース構成要素のシーンの周囲でのパン及びズームを支援するように概念化される。この効果を達成するために、本発明の好適な実施形態に係るズーム可能なＧＵＩは、シーングラフデータ構造を使用して実現される。シーングラフの各ノードは、ボタン又はテキストラベル又はインタフェース構成要素のグループ等のユーザインタフェース構成要素の一部を表す。あるノードの子は、そのノードの内部の図形要素（線、テキスト、画像等）を表す。例えば、あるアプリケーションは、インタフェースの種々の図形要素に対する子を有するノードとして、シーングラフに表現される。本明細書において、２つの特殊な種類のノードは、カメラ及び層とする。カメラは、層ノードから見て、シーングラフの別の部分にビューポートを提供するノードである。これらの層ノードの下に、ユーザインタフェース要素が発見される。ズーム可能なインタフェースに対する制御ロジックは、プログラムに従ってカメラのビュー変換を調整し、パン及びズームの効果を提供する。

図９は、本発明の好適な実施形態を実現するために使用される基本的なズーム可能なインタフェース要素を含むシーングラフを示し、具体的には、１つのカメラノード９００及び１つの層ノード９０２を含むシーングラフを示す。カメラノード９００と層ノード９０２との間の点線は、カメラノード９００がカメラのビューポートにおいて層ノード９０２の子を描画するように構成されていることを示す。付加の表示装置９０４により、ユーザはカメラのビューポートを認識する。層ノード９０２は、１つの円及び１対の楕円を描く３つの子ノード９０４を有する。シーングラフは、ノード９１２〜９１８を介して、１つの矩形がその円内に描かれることと、３つの三角形がその矩形内に描かれることとを更に特定する。そのシーングラフは、ルートノード９２０により、データ構造の他のシーングラフに結合される。ノード９０６〜９１８の各々は、局所座標変換行列を使用し、親を基準として自身を変倍し位置付ける。図１０（ａ）は、カメラを介して、縮小された倍率で描画された場合のシーングラフが表示される様子を示し、図１０（ｂ）は、拡大した倍率で描画された場合のシーングラフが表示される様子を示す。

シーングラフの描画は、以下のように達成される。表示装置９０４が更新を必要とする度に、例えば、ユーザが図１０（ａ）のビューから図１０（ｂ）のビューへの拡大をトリガすると、リペイント事象は、描画するために表示装置９０４に接続されるカメラノード９００を呼び出す。その結果、カメラノード９００は、カメラのビューポート内のエリアを描画するように層ノード９０２に通知する。層ノード９０２は、子に子自身を描画するように通知することにより、自身を描画する。更新すべき領域に対する現在の変換行列及びバウンディング矩形は、各ステップで渡され、描画するのに使用すべき適切な縮尺及びオフセットを各ノードに通知するために任意に変更される。本発明によるズーム可能なＧＵＩ内で動作するアプリケーションのシーングラフが数千ものノードを含む可能性があるため、各ノードは、描画動作がユーザにより実際に認識されることを保証するために、変換行列及び更新されるべきエリアをチェックできる。上述の例において、１つのカメラノード及び１つの層ノードを含むシーングラフを説明したが、本発明の好適な実施形態が複数のカメラ及び層を組み込むことができることは、理解されるであろう。これらの組込みカメラは、ズーム可能なインタフェース全体におけるユーザの現在のビューの場所を示す小さな縮小マップ等のユーザインタフェース要素を提供できる。また、組込みカメラにより、ユーザインタフェース構成要素は、単独でズーム可能及びパン可能となる。

複数のアプリケーションの動作を連携して実行させるために、例えば、図１４〜図１８に関して以下に説明される好適なムービーブラウザのようなズーム可能なインタフェースを使用する場合、各アプリケーションに必要なメモリ及び資源は、メディアシステムにおいて利用可能な全体のメモリを超える可能性がある。ここで、ユーザが既に参照していないアプリケーションのコード及びデータの一部又は全てを、アプリケーションがアンロードすることを提案する。しかし、本発明によるズーム可能なＧＵＩにおいて、一部又は全てのアプリケーションが常に稼動しているようにユーザに対して示すことが望ましい。この２つの対立する目的を満足するために、ユーザの視点からは「画面外」であるアプリケーションを、一時的に中断された状態に置くことができる。本発明の好適な実施形態に係るズーム可能なＧＵＩにおいてこの動作を達成するため、事象をアプリケーションに送信し、アプリケーションがビューポートに入る時及び出る時を指示する。そのような事象を実現する１つの方法は、ユーザがビューポートに入る時を検出するように、構成要素を描画するコードにロジックを追加することである。しかし、これは、通知ロジックが描画事象毎に呼び出されることを意味し、更に重要なことには、ユーザが構成要素から離れたビューポートをナビゲートした時、それを簡単に検出できないことを意味する。アプリケーションに事象を送信する別の方法は、ＧＵＩナビゲーション要素が関心のある構成要素を含むようにカメラのビューポートを変更する時に構成要素に対して通知を送信するように、通知ロジックをＧＵＩナビゲーション要素（ハイパーリンク及びボタン等）に組み込むことである。しかし、これは、プログラマが可能性のある全てのナビゲーションＵＩ要素に対して通知コードを注意深く追加する必要がある。

好適な一実施形態によると、コンピュータにとって効率的なノード監視アルゴリズムは、ＧＵＩ構成要素及び／又はアプリケーションがカメラのビューに入る時及び出る時に関してアプリケーションに通知するために使用される。高いレベルにおいて、ノード監視アルゴリズムは、３つの主な処理段階を有する：（１）初期設定、（２）ビューポート変更評価、（３）シーングラフ変更評価。初期設定段階では、ビューポート変更評価段階で使用されるノード数を計算し、適切なデータ構造を初期化する。ビューポート変更評価段階は、ビューポートが変更され、ビューポートに入った全ての監視ノード又はビューポートを出た全ての監視ノードに通知する場合に呼び出される。最後に、シーングラフ変更評価段階では、シーングラフにおける変更のために無効となった初期設定段階で算出された計算値を更新する。例えば、監視ノードの先行ノードのシーングラフにおける場所が変更される場合、初期設定において算出された計算値は、再計算される必要があるだろう。

これらの段階のうちビューポート変更評価が、残りのノード監視アルゴリズムを実行する。ノードがビューポートに入る時及び出る時を正確に示すために、初期設定ステップは、所望のノードのバウンディング矩形を判定し、バウンディング矩形をバウンディング矩形の局所座標系からビューポートの局所座標系に変換する。このように、ノード開始のチェックでは、ビューポートの変更の度に一連の座標変換を必要としない。ノードの親が変換行列を有する可能性があるため、この初期設定ステップは、そのノードからカメラまでシーングラフを横切る必要がある。以下に説明するように、組込みカメラがシーングラフデータ構造において使用される場合、複数のバウンディング矩形は、複数の場所に現れるノードを収容する必要があるだろう。

各監視ノードに対するバウンディング矩形がビューポート座標系において計算されると、初期設定段階では、バウンディング矩形をビューポート変更評価データ構造に追加する。ノード監視アルゴリズムは、そのシーンにおける各次元に対する基本的構成ブロックを使用する。いくつかの好適な実施形態に係るズーム可能なインタフェースにおいて、これは、ｘ次元、ｙ次元及び縮尺次元を含む。以下に説明するように、他の好適な実施形態は、追加の次元又は異なる次元を有してもよい。縮尺次元は、ビューポートにおけるノードの倍率を示し、以下の式により示される：
ｓ＝ｄ’／ｄ
式中、ｓは縮尺である。また、ｄはノードの局所座標におけるノードの１つの点から別の点までの距離であり、ｄ’はビューポートにおける点から他の点までの距離である。

図１１は、１つの次元において、シーンの開始及び終了を検出する好適な構成ブロックを示す。以下において、ｘ次元における処理を説明するが、他の次元についても同様に処理されることが、当業者には理解されるであろう。リージョンブロック１１００は、変換されたバウンディング矩形座標への参照を含む。これは、矩形の左右（上下又は最小／最大の縮尺）のオフセットを含む。左右のオフセットは、それぞれ、トランジションブロック１１０２及び１１０４に格納される。トランジションブロック１１０２及び１１０４は、オフセットの数字が小さい程、開始部分に近くになるように順序付けられた二重リンクリストに配置される。現在のビューポートの限界は、ビュー限界ブロック１１０６に格納される。ブロック１１０６は、ビューの左側及び右側をちょうど超えたトランジションブロックへのポインタを有する。例えば、ビュー左側により指し示されるトランジションブロックのすぐ右にあるトランジションブロックは、ビュー右側により指し示されていない限りビュー内に存在する。

ビューポートが変更されると、以下の処理が各次元に対して発生する。まず、ビュー左側及びビュー右側のポインタを、トランジションブロックを含むように又は除外するように移動する必要があるかがチェックされる。次に、２つのポインタのうち一方又は双方を移動する必要がある場合、ポインタは、新しい場所までトランジションブロックのリスト上を移動する。ビュー左側及びビュー右側のポインタにより渡される各トランジションブロックに対して、ノード監視アルゴリズムは、以下に説明するトランジションブロック通知コードを実行する。この通知コードは、各ノードがビューポートに入る又は出ることが可能であるかを判定する。可能である場合、そのノードは後処理リストに追加される。最後に、各次元に対するこの処理の終了時に、後処理リスト上の各ノードについて、ビューポートの状態が実際に変更された（変更し、その変更を元に戻すことに反して）ことがチェックされる。変更が発生した場合、アルゴリズムは、構成要素に事象を送信する。尚、ビューポートがズーム可能なインタフェースの新しいエリアに迅速に移動する場合、アルゴリズムは、擬似の開始事象及び終了事象を検出してもよい。

トランジションブロック通知コードは、チェックされている次元に対してビューポートの内側又は外側にノードが移動したかを判定するテーブルルックアップとして実現できる。好適なテーブルを以下に示す。

欄１、２及び３は、トランジション通知テーブルに対する入力である。特に、ノード監視アルゴリズムは、ノード側、ビュー側及びビュー移動方向の組合せを使用してテーブルをアドレッシングし、評価中のノードが入ったか、出たか又は影響されなかったかを判定する。欄１は、ビューポートポインタにより渡されたトランジションブロックにより表されるノード側を示す。欄２は、ビューポート側を示し、欄３は、ノードのトランジションブロックを渡した時にビューポート側が移動した方向を示す。出力欄４又は５のいずれかが、ノードが部分的に視野に入る場合に通知されるべきか又は全体的に視野に入る場合に通知されるべきかによって選択される。例えば、いくつかの実施形態において、部分的に視野に入るビデオウィンドウをズーム可能なＧＵＩにロードすることは視覚的に混乱を伴う可能性があるため、全体的に視野に入る状態の場合のみ、ストリーミングビデオウィンドウ等のアプリケーションに通知することが望ましいだろう。

テーブルの出力が開始又は終了を示す場合、ノード監視アルゴリズムは、そのノードを後処理リストに追加する。表１の出力欄は、以下のルールに基づいて格納される。ノードが全ての次元において交差する場合、開始通知は、後処理ステップにおいて送信される。ノードがビューに存在し且つ１つ以上の次元が交差を終了した場合、終了通知は送信される。後処理リスト中のノード数を減少させるために、トランジションブロック通知コードは、ノードをリストに追加する前に、他の次元との交差をチェックする。これにより、例えば３次元又はそれ以上の次元である次元の総数のうち１次元又は２次元のみが交差する場合、後処理ステップは不要となる。ユーザインタフェースオブジェクト（例えば、アプリケーション）がＧＵＩにおけるビューポートの状態の通知を必要とする場合、ノード監視アルゴリズムに機能を登録する。アプリケーションがビューの内側又は外側になると、ノード監視アルゴリズムは、発生した内容を示すパラメータを使用して、登録されたアプリケーションの機能を呼び出す。あるいは、メッセージの受け渡しを使用して通知される。この場合、各アプリケーションは、事象キューを有する。アプリケーションは、自身の事象キューとの通信方法をノード監視アルゴリズムに示す。例えば、アプリケーションは、キューのアドレスを指定できる。その後、ノード監視が遷移を検出すると、通知の理由を含むデータ構造を作成し、それをアプリケーションのキューに配置する。

アプリケーションメモリの管理のためにノード監視通知を使用する他、このアルゴリズムは、本発明によるズーム可能なＧＵＩにおいて、他の機能に対しても使用される。例えば、ノード監視アルゴリズムは、現在表示されているアプリケーションに対するオーディオ出力の焦点を切り替えるなどにより、ユーザの視点の焦点に基づくアプリケーションの動作を変更するために使用される。ノード監視アルゴリズムに対する他のアプリケーションは、倍率が変更されると、より高い解像度の合成画像をロード及びアンロードする。これにより、解像度が表示装置に更に厳密に一致するオブジェクトをより少ない数だけ図形描画装置に描画させることで、図形描画装置へのコンピュータによるロードが減少される。ノード監視アルゴリズムにカメラのビューポートを監視させる他に、アニメーション後のビューポートの場所をビューポートに示すナビゲーションコードを監視させることも有用である。これにより、ビュー内となる構成要素についての通知をより早く提供し、また、本発明の好適な実施形態に係るズーム可能なＧＵＩは、パニングアニメーションによる影響を受けないノードに対して通知を送信することを回避できる。

ノード監視アルゴリズムの動作を更に理解するために、図１２（ａ）、図１２（ｂ）、図１３（ａ）及び図１３（ｂ）を参照して一例を説明する。図１２（ａ）及び図１２（ｂ）は、２つの異なる倍率におけるズーム可能なＧＵＩの一部分を表す。図１２（ａ）の低い倍率において、３つのノード：１つの円、１つの三角形及び１つの楕円が可視状態である。図１２（ｂ）において、ビューは相当拡大され、楕円及び円が部分的にのみ可視状態であり、三角形は完全にビューの外側にある。例えば、これらのノードは、有効な事象通知に依存し、そのため、本発明の好適な実施形態に係るノード監視アルゴリズムにより追跡されるアプリケーション又はユーザインタフェース構成要素を表してもよい。この例において、各ノードに対するバウンディング矩形が、図１２（ａ）及び図１２（ｂ）に明示的に示されるが、通常、バウンディング矩形はＧＵＩ上に表示されないことが、当業者には理解されるであろう。各バウンディング矩形の各辺は、図１２（ａ）及び図１２（ｂ）においてラベル付けされており、これらのラベルは、バウンディング矩形の辺と上述したトランジションブロックデータ構造との対応関係を示すために使用される。

図１３（ａ）は、図１２（ａ）の縮小したビューの水平次元に対する好適なノード監視データ構造を示す。同図において、ノードのバウンディング矩形の各辺は、トランジションブロックを使用して表される。水平トランジションブロックは、左から右へＧＵＩ画面上に現れる順に図１３（ａ）に示される。例えば、円の左側Ｃ_Leftが最初に現れ、次に三角形の左側Ｔ_Leftであり、楕円の右側Ｅ_Rightが現れるまで示される。リストの両端は、空の標識のトランジションブロックでマークされる。更に、各ノードに対するリージョンブロックとバウンディング矩形の水平トランジションブロックに対する対応するポインタとが、図１３（ａ）に示される。図１３（ａ）の下部には、現在のビューのちょうど外側となるトランジションブロックに対するポインタを含むビュー限界データ構造が示される。縮小されたビューの場合、全てのノードが完全に可視状態であるため、それらの全てのトランジションブロックは、ビュー限界データ構造により指し示されるトランジションブロックの間に存在する。

図１３（ｂ）は、図１２（ｂ）の拡大されたビューに対するノード監視データ構造を示す。同図において、データ構造のビュー限界部分は、三角形の右側Ｔ_Right及び楕円の右側Ｅ_Rightに対するトランジションブロックを指し示すように変更されたことが分かる。これは、これらのバウンディング矩形の２辺が現在の（拡大された）ビューのちょうど外側にあるためである。

これらの好適なデータ構造及びＧＵＩシーンにより、ズーム遷移発生中のノード監視アルゴリズム内の関連処理について、以下のように説明できる。ビューの左側から開始し、ノード監視アルゴリズムは、ビューの左側のちょうど外側となるトランジションブロックに到達するまで、ビュー左側のポインタを右へと移動させる。図１３（ｂ）に示すように、ビュー左側のポインタは、まずＣ_Leftトランジションブロックを通過する。この例の場合、円ノードは、ビューにおいて全体が可視状態でない時に通知を必要とするズーム可能なＧＵＩに関連するアプリケーション又は他のユーザインタフェースオブジェクトを表すと仮定する。これらの入力をノード監視アルゴリズムに対して与えるため、表１は、円ノードが水平次元に対する終了通知を受信すべきであることを示す。当然、ノード監視アルゴリズムは、重複した終了通知を送信することを回避するために、ノードへ通知する前に全ての次元からの通知を統合する。次に、ビュー左側のポインタは、三角形の左側Ｔ_Leftを通過する。三角形ノードがビューから完全に外れる時に通知を必要とした場合、ノード監視アルゴリズムは、通知が必要ないことを表１にて指示する。しかし、ビューのポインタがＴ_Rightを通過すると、表１は、三角形が完全にビューから出ると通知されるべきであることを指示する。円のバウンディング矩形の右辺Ｃ_Rightがビューにおいて可視状態であるため、ビューのポインタはここで停止する。

右側からのノード監視アルゴリズムの処理は、同様である。ビュー右側のポインタは、楕円の右側Ｅ_Rightへ向けて左に移動する。楕円が全体的な通知を必要としたか又は部分的な通知を要求したかによって、ノード監視アルゴリズムは、表１に従って、楕円に通知を送信するか、あるいは通知を送信しない。垂直次元は、同様のデータ構造及び境界矩形の上下の値を使用して、同様の方法で処理される。より厳密な通知が要求される場合、複数の境界矩形が非矩形であるノードを近似するために使用されることは、当業者には理解されるであろう。更に、本発明は、例えば、第３の幾何学上の次元（奥行き又は縮尺）、並びに時間、内容による入場者指定（アダルト、ＰＧ−１３等）及び内容の種類（ドラマ、コメディ等）等の非幾何学上の次元である他の次元における動作がノード監視アルゴリズムにより追跡され処理されることを考慮する。使用されている次元数次第で、アルゴリズムは、境界セグメント、矩形及びｎ次元超立方体の交差をより正確に検出する。

上述のノード監視アルゴリズムに加え、本発明の好適な実施形態は、本発明の好適な実施形態に係るズーム可能なＧＵＩにおいて使用される解像度一致セマンティックズーミングアルゴリズムを提供する。セマンティックズーミングは、ズーム可能なＧＵＩにおける構成要素の倍率に従って、その構成要素の詳細の追加、除去又は変更を行なうことを示す。例えば、以下に説明されるムービーブラウザインタフェースにおいて、ユーザが映画の画像を十分な近さまでズームする場合、インタフェースは、映画のメタデータ及び再生制御を示すように変化する。倍率の計算は、構成要素が表示装置上で使用する画素数に基づく。ズーム可能なＧＵＩは、例えば映画のメタデータ及び再生制御を有さないビューから映画のメタデータ及び再生制御を有するビューへの切り替えが発生すべき時期を示す閾値倍率を格納できる。

テレビ及びコンピュータの表示装置の表示解像度は、広範囲で変動する。高解像度であるいくつかのモニタでは、低解像度表示装置上で可読である図形及びテキストが、非常に小さく全く読めなくなる。このことは、特にＨＤＴＶ等の高解像度表示装置上でセマンティックズーミングを使用するアプリケーションにおいて、ある問題を更に発生させる。この環境において、表示される画素数に基づいて描画するセマンティックズーミングコードは、更に詳細なビューが可読となる前に画像を変更する。セマンティックズーミングが構成要素のビューを変更する時を示す閾値をプログラムに従って変更することは、１つの解像度に対してのみ機能する。

結果として、セマンティックズーミングが、全てのモニタの解像度において一貫して発生することが望ましい。１つの解決方法は、高解像度モニタで低解像度表示モードを使用して、全ての表示装置において解像度を同一にすることである。しかし、高解像度モニタのユーザは、セマンティックズーミングが予想通りに機能する場合には、最高の解像度で図形が描画されることを好むだろう。従って、本発明の好適な実施形態は、先に説明したセマンティック表示の問題を伴わずに、全ての異なる解像度の表示装置を支援するセマンティックズーミング技術を提供する。これは、例えば、シーングラフの内部に仮想表示装置を作成することにより達成される。これは、組込み仮想カメラノード１２００を使用し、表示装置の解像度を補償するためのロジックを追加することにより、図１４に示される。仮想カメラノード１２００は、サイズがユーザの閲覧距離及びモニタサイズにマップするビューポートを規定する。例えば、大きな仮想カメラビューポートは、ユーザがモニタの十分近くに位置しているか、又は多くの詳細を解決するのに十分な大きさのモニタを有しているかのいずれかであることを示す。一方、小さなビューポートは、ユーザがモニタから遠く離れており、より大きなフォント及び画像を必要とすることを示す。ズーム可能なＧＵＩのコードにより、セマンティックズーミング遷移は、この仮想カメラ上で認識される構成要素の倍率及びユーザの好みの表示条件の使用に基づく。

表示装置１２０４に接続される主カメラノード１２０２は、仮想カメラ１２００が示す全てのものを表示するように構成されたビューポートを有する。この主カメラ１２０２まで、図形画像及びテキストが画素にマップされないため、仮想カメラからの画質が損なわれることはない。この結果、高解像度モニタは、より高画質の画像を表示し、表示装置の読み取りを困難にするセマンティックズーミング変更をトリガしない。

本発明の好適な実施形態によると、処理は以下のように機能する。シーングラフ中のカメラ及びノードの各々は、関連する変換行列（Ｔ₁〜Ｔ_n）を有する。これらの行列は、表示装置に対して、ノードの局所座標系を次のノードの局所座標系に変換する。図中、Ｔ₁は、ビューポートからの座標を表示装置の座標へ変換する。同様に、Ｔ₂は、局所座標系をカメラのビューポートへ変換する。葉ノード１２０６が表示装置上に何かを描画する必要がある場合、以下の変換行列を計算する：
Ａ＝Ｔ₁Ｔ₂．．．Ｔ_ｎ
この計算は、シーングラフを横切る間に実行される。セマンティックズーミングを支援するための構成要素の変更が仮想カメラ１２００に基づいているため、以下の計算が実行される：
Ｂ＝Ｔ₄Ｔ₅．．．Ｔ_n
通常、Ｔ_１〜Ｔ₃は、モニタの解像度を問い合わせ且つシーングラフを検査することにより、事前に判定される。従って、以下のように、これらの行列を反転し且つ乗算することにより、ＡからＢが判定される：
Ｂ＝（Ｔ₁Ｔ₂Ｔ₃）^-1Ａ
Ｔ₁〜Ｔ₃を事前に計算することが問題である場合、例えば、グラフィックＡＰＩが追加の変換を隠蔽する場合、表示装置に対して描画するために使用された変換行列を除外するロジックが仮想カメラに追加される。除外された変換は、セマンティックズーミング閾値を計算するために、上述のように反転され且つ乗算される。

本発明の好適な実施形態に係るズーム可能なインタフェースの１つの長所は、インタフェースをナビゲートする間、コンテキストを維持できることである。全てのインタフェース構成要素がズーム可能な世界に存在するように表示され、ユーザは、それらの任意の構成要素に到達するためにパン及びズームのみを行なう必要がある。上述のセマンティックズーミング技術は、ズームレベル又は倍率に従って、構成要素の外観を変更する。図１５（ａ）及び図１５（ｂ）は、ある構成要素に対するセマンティックズーミングの例を提供する。ここで、その構成要素の縮小バージョン（図１５（ａ））は１つの写真であり、拡大バージョン（図１５（ｂ））は同一の写真と共にいくつかの制御手段及び詳細を含む。この更に詳細ないくつかの例は、以下に提供される。セマンティックズーミングに関連する１つの課題は、ビュー間の変更が突然発生し、そのような２つのビュー間で遷移する時にアルファブレンディング等の遷移技術が視覚的に満足する結果を与えないことである。

従って、本発明の好適な実施形態は、構成要素の全てのビューにおいて共通の画像又はテキストに対応し、セマンティックズームが実行される場合に遷移効果に対して焦点を提供する。例えば、図１５（ａ）及び図１５（ｂ）において、共通の要素は写真である。縮小バージョンと拡大バージョンとの間の遷移効果は、例えば上述のノード監視アルゴリズムを以下のように使用してトリガされる。まず、主カメラのビューポートが構成要素の縮小バージョンの倍率から拡大バージョンへ遷移する時、事象を受信するために、ノード監視への登録が実行される。その後、事象が発生すると、共通要素が縮小し且つ共通要素が縮小バージョンの場所から拡大バージョンの場所へ移動することを示すアニメーションが表示される。その間、カメラのビューポートは、構成要素を拡大し続ける。

本発明によるグラフィカルユーザインタフェースのこれらの機能は、図１６〜図２０に関して以下に説明される別の好適な実施形態を検討すると、更に明らかとなるであろう。図中、スタートアップＧＵＩ画面１４００は、メディアグループ表現として動作する複数の編成オブジェクトを表示する。単に例としてのホームビデオ、映画、ＴＶ、スポーツ、ラジオ、音楽及びニュースのメディアグループ表現は、当然、異なるより多くの又はより少ないメディアグループ表現を含む。ユーザがこれらのアイコンのうち１つを操作すると、好適な本実施形態に係るＧＵＩは、各々が特定のカテゴリ又はジャンルにグループ化された複数の画像を表示する。例えば、図１６の「映画」アイコンがユーザにより操作された場合、図１７のＧＵＩ画面が表示される。図１７において、例えば１２０又はそれ以上の多くの選択項目オブジェクトが表示される。これらの選択項目オブジェクトは、アクション、クラシック、コメディ、ドラマ、ファミリー及び新作等の特定のグループに分類される。より多くの又はより少ないカテゴリが提供されてもよいことは、当業者には理解されるであろう。好適な本実施形態において、メディア項目画像が、各映画選択項目に関連付けられる表紙でもよい。図１７のブロックのサイズは、選択項目画像のこの比較的大きなグループの詳細な表示ができない程小さいが、実現例において、一部又は全てのテキストが簡単には読み取れない程小さい場合でも、映画の情報を関連画像により識別できるような画像の倍率になっている。

カーソル（図１７において不図示）は映画画像の１つのグループ上に配置され、入力装置が１つのグループに対して選択指示を提供するために操作される。この例において、ユーザはドラマグループを選択し、グラフィカルユーザインタフェースは、図１８に示されるように、画像のドラマグループの拡大バージョンを表示する。先の実施形態と同様に、図１７のＧＵＩ画面から図１８のＧＵＩ画面へのＧＵＩの移動に伴って、遷移効果が表示される。例えば、ＧＵＩは、ズームの間又はズームの前に、図１７のＧＵＩ画面の中心から画像のドラマグループの中心へビューをパンしてもよい。尚、図１８のドラマグループの拡大バージョンは、ドラマグループの画像の総数のサブセットのみを表示するが、この拡大バージョンは、選択されたグループ中の全ての画像を含んでもよい。ＧＵＩ画面の任意の拡大バージョンにおいて、選択されたグループ中の全ての画像を表示するか否かの選択は、例えば、グループ中のメディア項目数及び特定のズームレベルに対するメディア項目の所望の最小倍率に基づいて行なわれる。本発明によるＧＵＩのこの最後の特性は、システム設計者／サービスプロバイダにより事前に判定可能であり、あるいは、ＧＵＩのソフトウェア設定を介してユーザによりカスタマイズ可能である。例えば、グループ中のメディア項目数、並びに最小倍率及び／又は最大倍率は、サービスプロバイダ及びエンドユーザのいずれか一方又は双方により設定可能である。そのような特徴により、例えば視力の弱いユーザは、表示されているメディア項目の倍率を増加できる。これに対して、特に視力の良いユーザは倍率を低下させ、これにより、１度にＧＵＩ画面に表示されるメディア項目数を増加し、閲覧時間を減少させてもよい。

本発明によるグラフィカルユーザインタフェースにおいて採用される好適な遷移効果の１つを、本明細書において、「シュー・トゥ・ディテイル（shoe-to-detail）」ビュー効果と呼ぶ。操作される際、この遷移効果は縮小画像を取得し、同時に、その縮小画像を更に小さいビュー、すなわち次に高い倍率に縮小し移動する。図１７のＧＵＩ画面において使用された倍率から図１８のＧＵＩ画面において使用されたより大きい倍率への遷移の結果、図１８の拡大バージョンにおいて表示される画像に対する追加の詳細が、ＧＵＩにより示される。ＧＵＩは、現在選択されているズームレベルにおいて詳細が適切に表示されるか否かに基づいて、各ズームレベルにおいて、選択的に詳細を表示又は隠蔽する。肉眼に対する可視性に関わらず詳細を解決しようとするカメラのズームとは異なり、本発明の好適な実施形態は、全体の画像を示す時と提供されていない詳細を有する画像のバージョンを示す時との間の遷移点を特定する設定可能なズームレベルパラメータを用意する。遷移点は、画像の描写に依存しない内部の解像度、詳細にはＴＶ／モニタ２１２の解像度に基づいてもよい。このように、本発明によるＧＵＩは、メディアシステムにおいて使用されている表示装置の解像度に関わらず一貫している。

好適な本実施形態において、特定の画像に対する付加的な倍率は、カーソルが特定の画像上を通過することにより提供される。この特徴は、図１９に示される。図中、カーソルは、映画「Apollo １３」の画像上を通過している。図１９には示さないが、そのような付加的な倍率により、例えば、より低い倍率である図１８のＧＵＩ画面中の対応する画像と比較して、関連するメディア項目の表紙に現れる引用文「Houston, we have a problem」がより識別しやすくなる。例えば入力装置のボタンを押下することにより、この画像をユーザ選択した結果、更に拡大し、図２０に示される詳細を表示できる。これは、図１９のＧＵＩ画面では入手できなかった種々の情報及び制御要素が図２０のＧＵＩ画面には存在するため、上述のようなセマンティックズーミングの更に別の例を提供する。例えば、特に映画の再生時間、価格及び出演者情報を含む映画「Apollo 13」に関する情報が示される。他の種類の情報がここで提供されてもよいことは、当業者には理解されるであろう。更に、このＧＵＩ画面は、例えば映画の購入のためのボタン制御オブジェクト、予告編を見るためのボタン制御オブジェクト又は先のＧＵＩ画面に戻る（これは、入力装置の縮小ボタンを押下することによっても達成される）ためのボタン制御オブジェクトを含むＧＵＩ制御オブジェクトを有する。また、ハイパーリンクを使用することにより、ユーザは、例えば、図２０のＧＵＩ画面の右下に識別される関連映画に関連付けられたＧＵＩ画面、又はこの映画の出演者に関連する情報へと移動することができる。この例において、見出し「映画作品リスト」の下の一部又は全ての映画は、ハイパーリンクとして実現できる。ハイパーリンクは、ユーザにより入力装置を介して操作されると、指示された図２０の映画に対応するＧＵＩ画面をＧＵＩに表示させる。

ユーザがハイパーリンクを操作すると、遷移効果もまた採用される。ハイパーリンクが非常に高い倍率において生成されてもよいため、単純にリンクされたメディア項目に移動すると、ユーザがメディア項目選択「マップ」において自分のいる位置を追跡できなくなる可能性がある。従って、本発明の好適な実施形態は、ハイパーリンクが操作された時にユーザの地理的な位置感覚を維持することを支援するための遷移効果を提供する。このために採用される好適な遷移効果の１つは、ホップ遷移である。遷移効果の第１段階において、ＧＵＩは、ハイパーリンクにより指し示された項目の方向に、縮小及びパンする。縮小及びパンは、目的の画像及び元の画像の双方がユーザにとって可視状態となるまで継続する。図２０の例を再び使用すると、ユーザが「Saving Private Ryan」のハイパーリンクを選択する場合、ハイパーリンクホップ効果の第１段階では、「Saving Private Ryan」及び「Apollo 13」の双方の画像がユーザにとって可視状態となるまで、「Saving Private Ryan」の画像に向けて縮小及びパンする。この時点で、遷移効果は、上方向に円弧を描きながら目的の画像に向かって移動する視覚的印象をユーザに与える。目的の画像が見えると、遷移効果の第２段階では、例えば円弧のもう一方の半分において、目的の画像を拡大及びパンする視覚的印象をユーザに与える。ホップ時間、すなわち遷移効果の第１段階及び第２段階の双方が表示される時間が、ハイパーリンクされた任意の２つの画像項目間の時間として固定される。あるいは、ホップ時間は、例えばＧＵＩ上を移動する距離に基づいて変動してもよい。例えば、ホップ時間は、ＨｏｐＴｉｍｅ＝Ａｌｏｇ（拡大した縮尺レベル／ホップ頂点の縮尺レベル）＋Ｂ（ハイパーリンクされたメディア項目間の距離）＋Ｃのようにパラメータ化できる。式中、Ａ、Ｂ及びＣは、適切に選択された定数である。

図９〜図１３（ｂ）に関して上述されたノード監視アルゴリズムは、図１９の好適なＧＵＩ画面において示されたズームレベルと図２０の好適なＧＵＩ画面において示されたズームレベルとの間の遷移を支援するために使用されてもよい。選択された画像の他のズームレベルバージョンにおいて可視状態ではないテキスト及び／又は制御要素を含むＧＵＩ画面の描画は、より低い倍率の画像に比べ、よりコンピュータに依存し、且つ／又はより多くのメモリを使用する可能性がある。従って、ノード監視アルゴリズムは、本発明の好適な実施形態において、ＧＵＩのナビゲーションコードを監視することにより図２０に示されるようなＧＵＩ画面を事前にロードし、拡大されている特定のメディア項目をより迅速に識別することを支援するために使用されてもよい。

本発明の好適な実施形態には、画面の場所及びセマンティックベースのナビゲーション制御手段が含まれる。これらの制御手段が図２１に示すように画面上の適切な制御手段に関連付けられた領域付近又は領域に、ユーザがカーソルを位置付けると、制御領域が現れる。例えば、映画を再生する場合、早送り、巻戻し、一時停止、停止等のいわゆる特殊機能が適切な意味を持つ。好適な本実施形態において、これらの機能に割り当てられた画面領域は右下に存在し、カーソルがその領域付近又はその領域に位置付けられると、これら特殊機能に対する一組のアイコンが現れる。これらのアイコンは、実行された機能が明らかに完了した時、又はカーソルが画面上の他の場所に位置付けられた時に見えなくなる。同一の技術が、テキスト探索及びホーム画面選択のような他のナビゲーション機能に対応するために使用される。好適な本実施形態において、これらの制御手段は、全ての画面上で関連した意味を持ち、これらの制御手段に割り当てられた領域は右上に存在する。カーソルがその領域付近又はその領域に位置付けられると、ナビゲーション制御手段に対する一組のアイコンが現れる。アイコンは、機能が起動された時、又はカーソルが画面上の他の場所に位置付けられた時に見えなくなる。尚、ユーザトレーニングのため、未経験のユーザに関連制御アイコンの存在に対する注意を喚起するために、関連制御アイコンは、一部又は全ての関連画面上に任意で最初に一時的に（例えば、５秒間）現れる。

本発明によるズーム可能なグラフィカルユーザインタフェースのいくつかの例を提供したが、そのようなインタフェースを使用する好適なフレームワーク及びインフラストラクチャを次に説明する。図２２は、フレームワークの図を提供する。同図において、映画、テレビ、音楽、ラジオ及びスポーツ等の種々の高水準アプリケーション１９００に関連付けられたズーム可能なインタフェースは、基本命令１９０２（図中において、「原子」と呼ぶ）により支援される。好適な本実施形態において、基本命令１９０２は、ポインティング、クリック、ズーム、ホバー及びスクロールを含むが、パン及びドラッグ等の他の基本命令がこのグループに含まれてもよいことは、当業者には理解されるであろう。上述のように、例えば、ユーザがハンドヘルド入力装置上の拡大ボタン又は縮小ボタンを操作すると、ポインティング及びクリック基本命令は、カーソルの場所を判定し且つ事象をトリガするように動作する。これらの基本命令は、ナビゲーションを簡単化し、繰り返される上下左右のボタンの動作の必要性を除去する。上述のように、ズーム基本命令は、選択可能な項目の概要を提供し、ユーザの選択範囲を絞る場合にはユーザコンテキストを与える。この概念により、インタフェースは、大量のメディア選択項目及び任意の表示サイズに倍率変更できる。スクロール基本命令は、好適なハンドヘルド入力装置上のスクロールホイール入力装置からの入力を処理し、例えば、線形メニューナビゲーションを高速化するために使用される。ホバー基本命令は、ポインタの真下にある選択項目を動的に拡大し（及び／又は選択項目を変更し）、ユーザが処理することなく選択する可能性のあるものを閲覧することを可能にする。上述の基本命令の各動作は、多数の異なる方法で、本発明によるＧＵＩにおいて操作される。例えば、ポインティング、クリック、ホバー、スクロール及びズームの各々は、ユーザにより実行される異なるジェスチャに関連付けられる。このジェスチャは、フリースペースポインタ、トラックボール、タッチパッド等の入力装置を介してシステムに通信され、適切な基本命令の操作に変換される。同様に、各基本命令は、各音声コマンドに関連付けられる。

本発明によるズーム可能なＧＵＩに関連付けられる画像の生成に関係する種々のソフトウェア及びハードウェアのインフラストラクチャ１９０４は、低水準基本命令１９０２と高水準アプリケーション１９００との間に存在する。図２２に示されるように、そのようなインフラストラクチャ１９０４は、ハンドヘルド入力装置／ポインタ、アプリケーションプログラムインタフェース（ＡＰＩ）、ズーム可能なＧＵＩ画面、開発者ツール等を含むことができる。

上述の好適な実施形態は、実際には単に例証である。各レベルにおいてユーザに提供される特定の情報及び制御手段だけでなく、ズームレベルの数が変動してもよい。ユーザが映画及び音楽等のメディア項目の探索、閲覧、編成及び再生を簡単に行なえるように、本発明がズーム可能なインタフェースを使用して大量及び少量のメディア項目群を提供する画期的な技術を提供することは、当業者には理解されるであろう。本発明によるグラフィカルユーザインタフェースは、類似する選択項目がグループ化されるように、仮想面上でメディア項目選択を編成する。まず、インタフェースはその面の縮小されたビューを提供する。殆どの場合、実際の選択項目はこのレベルにおいて可視状態ではなく、その選択項目のグループ名のみが可視状態である。ユーザが徐々に内部に向けてズームするに従って、メディア項目グループ又は選択項目に関する更なる詳細が示される。各ズームレベルにおいて、ユーザが選択項目グループ又は個々の選択項目を再生できるように、あるいは仮想面の別の部分に移動し、他の関連メディア項目を閲覧できるように、異なる制御手段が利用可能である。本発明の好適な実施形態に係るズーミンググラフィカルユーザインタフェースは、任意の深さ及びカテゴリのカテゴリに入れ子にされた画像のカテゴリを含むことができる。メディア項目は、ローカルに格納されるコンテンツ、放送プロバイダにより放送されるコンテンツ、コンテンツプロバイダから直接接続を介して受信されるコンテンツ、又はピアー単位のコンテンツを含むことができる。メディア項目は、スケジューリング形式で提供される。スケジューリング形式において、日付／時間の情報がＧＵＩのあるレベルで提供される。更に、本発明の好適な実施形態に係るフレームワーク及びＧＵＩは、選択項目がユーザに販売されている商業テレビにも適用できる。

上述の好適な実施形態は、本発明を制限するものではなく、本発明の全ての面において例証となることを意図する。従って、本発明は、当業者が本明細書に含まれる説明から得られる詳細な実現方法において、種々の多くの変更が可能である。そのような変更及び変形は、以下の特許請求の範囲により規定されるように、本発明の趣旨の範囲内であると考えられる。本発明の説明において使用される要素、処理又は命令は、明示しない限り、本発明にとって不可欠のものであると解釈されるべきではない。また、本明細書で使用されたように、単数は１つ以上の項目を含むことを意図する。

Claims

メディア項目を編成、選択及び開始するための制御フレームワークであって、
前記メディア項目を編成する手段と、
前記メディア項目のうちの１つをポインティングする手段と、
前記メディア項目のうちの前記１つに関連付けられた複数の異なるセマンティックレベルのうちの１つを選択する手段と、
前記複数の異なるセマンティックレベルのうち前記選択された１つにおいて、前記メディア項目のうちの前記１つを開始する手段と
を具備することを特徴とする制御フレームワーク。
前記メディア項目のうちの１つをポインティングする前記手段は、フリースペースポインタを含むことを特徴とする請求項１に記載の制御フレームワーク。
前記メディア項目のうちの１つをポインティングする前記手段は、トラックボールを含むことを特徴とする請求項１に記載の制御フレームワーク。
前記メディア項目のうちの１つをポインティングする前記手段は、音声認識ユニットを含むことを特徴とする請求項１に記載の制御フレームワーク。
前記メディア項目のうちの１つをポインティングする前記手段は、ジェスチャ認識ユニットを含むことを特徴とする請求項１に記載の制御フレームワーク。
複数の異なるセマンティックレベルのうち１つを選択する前記手段は、
前記メディア項目に関連付けられた選択オブジェクトを含むオブジェクトを表示する表示装置と、
前記複数の異なるセマンティックレベルにおいて、前記選択オブジェクトを生成するズーム可能なグラフィカルユーザインタフェースと
を更に含むことを特徴とする請求項１に記載の制御フレームワーク。
第１のセマンティックレベルにおいて、第１の一組の所定情報オブジェクトが可視状態であり、第２のセマンティックレベルにおいて、第２の一組の所定情報オブジェクトが可視状態であることを特徴とする請求項６に記載の制御フレームワーク。
前記第１のセマンティックレベルにおいて、選択項目がユーザ選択に対して有効ではなく、前記第２のセマンティックレベルにおいて、前記選択項目がユーザ選択に対して有効であることを特徴とする請求項７に記載の制御フレームワーク。
前記編成する手段は、各々が特定のメディアカテゴリに関連付けられる一組のアイコンを更に含み、
前記アイコンのうちの１つを選択することにより、各メディアカテゴリ内の複数の選択項目を表示することを特徴とする請求項１に記載の制御フレームワーク。
グラフィカルユーザインタフェースオブジェクトを表示する表示画面と、
グラフィカルユーザインタフェースに対するユーザ入力を提供する入力装置と、
前記表示画面上の前記グラフィカルユーザインタフェースオブジェクトの表示を調整するグラフィカルユーザインタフェースとを具備する制御フレームワークであって、
前記グラフィカルユーザインタフェースは、
前記入力装置により指し示された画面上の位置が所定期間にわたり固定されている時間を検出し、それに応答して画面上に追加の画像及び／又はテキストを表示する手段と、
前記入力装置からの第１の入力に基づいて、１つの画像範囲から別の画像範囲にズームする手段と、
前記入力装置からの第２の入力に基づいて、前記グラフィカルユーザインタフェースオブジェクトのうちの１つを選択する手段と、
前記入力装置からの第３の入力に基づいて、画面位置のリストを介して選択目標を移動する手段と、
前記指し示された位置及び前記入力装置からの第４の入力に基づいて、前記グラフィカルユーザインタフェースフレームワークにおいて動作を開始する手段と
を含むことを特徴とする制御フレームワーク。
前記入力装置は、フリースペースポインタを含むことを特徴とする請求項１０に記載の制御フレームワーク。
前記入力装置は、トラックボールを含むことを特徴とする請求項１０に記載の制御フレームワーク。
前記入力装置は、タッチパッドを含むことを特徴とする請求項１０に記載の制御フレームワーク。
前記入力装置は、テレビリモコンを含むことを特徴とする請求項１０に記載の制御フレームワーク。
前記第１の入力、前記第２の入力、前記第３の入力及び前記第４の入力のうち少なくとも１つは音声コマンドであることを特徴とする請求項１０に記載の制御フレームワーク。
前記第１の入力、前記第２の入力、前記第３の入力及び前記第４の入力のうち少なくとも１つはジェスチャであることを特徴とする請求項１０に記載の制御フレームワーク。
選択目標を移動させる前記手段はタッチパッドを含み、前記第３の入力は前記タッチパッド上の動作であることを特徴とする請求項１０に記載の制御フレームワーク。
追加の画像及び／又はテキストを表示する前記手段は、ホバー機能に関連付けられたジェスチャ入力を受信する手段を更に含むことを特徴とする請求項１０に記載の制御フレームワーク。
前記ズームする手段の前記第１の入力はジェスチャ又は音声コマンドの一方であることを特徴とする請求項１０に記載の制御フレームワーク。
前記表示画面はテレビであることを特徴とする請求項１０に記載の制御フレームワーク。
表示画面を有するテレビと、
少なくとも部分的に前記ポインティングデバイスの動作に基づく入力を前記テレビに対して提供するポインティングデバイスと、
前記入力を受信し且つ前記入力に基づく前記表示画面に表示されるメディアコンテンツを制御し、前記メディアコンテンツの表示を制御する基本命令に関連付けられたソフトウェアコードを格納するメモリを含むシステム制御器とを具備するメディアシステムであって、
前記基本命令のうち第１の基本命令は、前記システム制御器が前記ポインティングデバイスからの第１の入力に対して迅速に応答する前記テレビの前記表示画面上に表示されるメディアコンテンツをスクロールするようなスクロール基本命令であり、
前記基本命令のうち第２の基本命令は、前記カーソルが所定期間にわたり前記表示画面の一部分の上をホバーする場合に、前記システム制御器が前記テレビの前記表示画面上に表示される前記メディアコンテンツの表示を変更するようなホバー基本命令であることを特徴とするメディアシステム。
前記基本命令のうち第３の基本命令は、前記テレビの前記表示画面上にカーソル生成するポインティング基本命令であり、前記カーソルの位置は、前記ポインティングデバイスの動作に基づくことを特徴とする請求項２１に記載のメディアシステム。
前記ポインティングデバイスは、少なくとも１つのボタンを有し、前記基本命令のうちの１つは、前記少なくとも１つのボタンの操作を指示するクリック基本命令であることを特徴とする請求項２１に記載のメディアシステム。
前記ポインティングデバイスはスクロールホイールを含むことを特徴とする請求項２１に記載のメディアシステム。
前記システム制御器は、前記表示画面の前記一部分に関連するメディアコンテンツを拡大することにより前記メディアコンテンツの前記表示を変更することを特徴とする請求項２１に記載のメディアシステム。
前記基本命令のうち第３の基本命令は、前記システム制御器が前記ポインティングデバイスからの第２の入力に基づく前記テレビの前記表示画面上に表示される前記メディアコンテンツの倍率を変更するようなズーム基本命令であることを特徴とする請求項２１に記載のメディアシステム。
前記倍率における前記変更は、第１の倍率から第２の倍率への変更を含み、前記第１の倍率では不可視又は不適切であった情報が、前記第２の倍率では可視状態であることを特徴とする請求項２６に記載のメディアシステム。
前記ポインティングデバイスはトラックボールを含むことを特徴とする請求項２１に記載のメディアシステム。
前記ポインティングデバイスはタッチパッドを含むことを特徴とする請求項２１に記載のメディアシステム。
前記ポインティングデバイスはテレビリモコンを含むことを特徴とする請求項２１に記載のメディアシステム。
前記ポインティングデバイスはフリースペースポインティングデバイスを含むことを特徴とする請求項２１に記載のメディアシステム。
前記スクロール基本命令及び前記ホバー基本命令のうち少なくとも１つは、音声コマンドに応答して操作されることを特徴とする請求項２１に記載のメディアシステム。
前記スクロール基本命令及び前記ホバー基本命令のうち少なくとも１つは、ジェスチャに応答して操作されることを特徴とする請求項２１に記載のメディアシステム。
テレビと、
少なくとも部分的に前記フリースペースポインティングデバイスの動作に基づく前記テレビに対する入力を提供するフリースペースポインティングデバイスと、
前記入力を受信し且つ前記入力に基づく前記テレビに表示されるメディアコンテンツを制御し、前記メディアコンテンツの表示を制御する基本命令に関連付けられたソフトウェアコードを格納するメモリを含むシステム制御器と
を具備することを特徴とするメディアシステム。
前記基本命令のうち１つは、前記システム制御器が前記フリースペースポインティングデバイスからの第１の入力に迅速に応答する前記テレビに表示されるメディアコンテンツをスクロールするようなスクロール基本命令であることを特徴とする請求項３４に記載のメディアシステム。
前記基本命令のうち１つは、前記カーソルが所定期間にわたり前記テレビ画面の一部分の上をホバーする場合、前記システム制御器が前記テレビに表示される前記メディアコンテンツの表示を変更するようなホバー基本命令であることを特徴とする請求項３７に記載のメディアシステム。
前記基本命令のうち１つは、テレビ上にカーソル生成するポインティング基本命令であり、前記カーソルの位置は、前記フリースペースポインティングデバイスの動作に基づくことを特徴とする請求項３４に記載のメディアシステム。
前記フリースペースポインティングデバイスは少なくとも１つのボタンを有し、前記基本命令のうち１つは、前記少なくとも１つのボタンの操作を指示するクリック基本命令であることを特徴とする請求項３４に記載のメディアシステム。
前記フリースペースポインティングデバイスはスクロールホイールを含むことを特徴とする請求項３５に記載のメディアシステム。
前記システム制御器は、前記表示画面の前記一部分に関連するメディアコンテンツを拡大することにより前記メディアコンテンツの前記表示を変更することを特徴とする請求項３６に記載のメディアシステム。
前記基本命令のうち１つは、前記システム制御器が前記フリースペースポインティングデバイスからの入力に基づく前記テレビに表示される前記メディアコンテンツの倍率を変更するようなズーム基本命令であることを特徴とする請求項３４に記載のメディアシステム。
前記倍率における前記変更は、第１の倍率から第２の倍率への変更を含み、前記第１の倍率では可視状態ではなかった情報が、前記第２の倍率では可視状態であることを特徴とする請求項４２に記載のメディアシステム。
基本命令のうち少なくとも１つは音声コマンドに応答して操作されることを特徴とする請求項３４に記載のメディアシステム。
前記基本命令のうち少なくとも１つはジェスチャに応答して操作されることを特徴とする請求項３４に記載のメディアシステム。
前記フリースペースポインティングデバイスは、前記テレビの前で自由に動作可能であり、前記システム制御器は、代理面を使用せずに前記フリースペースポインティングデバイスの動作をカーソルの場所に直接変換することを特徴とする請求項３４に記載のメディアシステム。
グラフィカルユーザインタフェースに情報を表示する方法であって、
第１の倍率で第１の複数の画像を表示するステップと、
前記複数の画像のサブセットを識別する第１の選択指示を受信するステップと、
第２の倍率で前記複数の画像の前記選択されたサブセットの第１のズームバージョンを表示するステップと、
画像の前記サブセット内の１つの画像を識別する第２の選択指示を受信するステップと、
少なくとも１つのユーザ操作可能な制御要素を含む前記識別された画像の第２のズームバージョンを表示するステップと
を含むことを特徴とする方法。
前記複数の画像上を移動できるカーソルを表示するステップを更に含み、前記第１の選択指示及び前記第２の選択指示は、前記カーソルの位置に基づくことを特徴とする請求項４７に記載の方法。
前記第１のズームバージョンを表示する前記ステップと前記第２のズームバージョンを表示する前記ステップとの間に遷移効果を提供するステップを更に含むことを特徴とする請求項４７に記載の方法。
前記表示する第１のステップは、前記複数の画像の各々をカテゴリにより複数のグループにグループ化することを更に含むことを特徴とする請求項４７に記載の方法。
前記表示する第１のステップは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルのカテゴリを提供し、前記表示した画像を映画ジャンルのカテゴリと共に配置するステップを更に含むことを特徴とする請求項５０に記載の方法。
前記表示する第１のステップは、カントリー、ブルース及びジャズを含む音楽ジャンルのカテゴリを提供し、前記表示された画像を音楽ジャンルのカテゴリと共に配置するステップを更に含むことを特徴とする請求項４７に記載の方法。
前記複数の画像は表紙の画像であり、前記複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項４７に記載の方法。
前記表示する第１のステップは、各グループが略同一の表示エリアを有するように、前記画像を均等にグループ化するステップを更に含むことを特徴とする請求項５０に記載の方法。
前記表示する第１のステップは、前記グループのうち少なくとも２つのグループが一方に対して異なる表示エリアを有するように前記画像をグループ化するステップを更に含むことを特徴とする請求項５０に記載の方法。
前記表示エリアは矩形であることを特徴とする請求項５４に記載の方法。
前記表示エリアは矩形であることを特徴とする請求項５５に記載の方法。
第１の選択指示を受信する前記ステップは、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも１つの信号を受信するステップを更に含むことを特徴とする請求項４７に記載の方法。
前記ポインティングデバイスは無線ポインティングデバイスであることを特徴とする請求項５８に記載の方法。
遷移効果を提供する前記ステップは、前記識別された画像の前記第１のズームバージョンを縮小し移動するステップを更に含むことを特徴とする請求項４９に記載の方法。
前記画像群のサブセットである前記第１の複数の画像を選択的に生成するために、前記画像群を編成するステップを更に含むことを特徴とする請求項４７に記載の方法。
前記編成するステップは、
前記第１の複数の画像を表示する前に、各アイコンが前記画像群のサブセットを表す一組のアイコンを表示するステップと、
前記アイコンのうち１つを識別する第３の選択指示を受信するステップとを更に含むことを特徴とする請求項６１に記載の方法。
前記編成するステップは、
前記第１の複数の画像を表示する前に、前記第１の倍率より小さい第３の倍率で、前記第１の複数の画像を含む第２の複数の画像を表示するステップと、
前記第１の複数の画像を識別する第３の選択指示を受信するステップとを更に含むことを特徴とする請求項６１に記載の方法。
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第２のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項４７に記載の方法。
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項４７に記載の方法。
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項４７に記載の方法。
前記制御要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項４７に記載の方法。
前記情報要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項６５に記載の方法。
第１の倍率で第１の複数の画像を表示する第１のＧＵＩ画面と、
前記複数の画像のサブセットを識別する第１の選択指示を受信する手段と、
第２の倍率で前記複数の画像の前記選択されたサブセットの第１のズームバージョンを表示する第２のＧＵＩ画面と、
前記画像のサブセット内の１つの画像を識別する第２の選択指示を受信する手段と、
少なくとも１つのユーザ操作可能な制御要素を含む前記識別された画像の前記第２のズームバージョンを表示する第３のＧＵＩ画面と
を具備することを特徴とするグラフィカルユーザインタフェース（ＧＵＩ）。
前記複数の画像上を移動できるカーソルを表示する手段を更に具備し、前記第１の選択指示及び前記第２の選択指示は前記カーソルの位置に基づくことを特徴とする請求項６９に記載のＧＵＩ。
前記第１のズームバージョンを表示する前記ステップと前記第２のズームバージョンを表示する前記ステップとの間に遷移効果を提供する手段を更に具備することを特徴とする請求項６９に記載のＧＵＩ。
前記第１のＧＵＩ画面は、前記複数の画像の各々をカテゴリにより複数のグループに表示することを特徴とする請求項６９に記載のＧＵＩ。
前記カテゴリは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルであり、表示された画像は、前記第１のＧＵＩ画面上に映画ジャンルのカテゴリと共に配置されることを特徴とする請求項７２に記載のＧＵＩ。
前記カテゴリは、カントリー、ブルース及びジャズを含む音楽ジャンルであり、前記表示された画像は、前記第１のＧＵＩ画面上に音楽ジャンルのカテゴリと共に配置されることを特徴とする請求項７２に記載のＧＵＩ。
前記第１の複数の画像は表紙の画像であり、前記第１の複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項６９に記載のＧＵＩ。
前記第１のＧＵＩ画面は、各グループが前記第１のＧＵＩ画面上に略同一の表示エリアを有するように、前記画像を均等にグループ化することを特徴とする請求項７２に記載のＧＵＩ。
前記第１のＧＵＩ画面は、前記グループのうち少なくとも２つのグループが一方に対して異なる表示エリアを有するように、前記複数のグループを表示することを特徴とする請求項７２に記載のＧＵＩ。
前記表示エリアは矩形であることを特徴とする請求項７６に記載のＧＵＩ。
前記表示エリアは矩形であることを特徴とする請求項７７に記載のＧＵＩ。
前記第１の選択指示を受信する前記手段は、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも１つの信号を受信する手段を更に含むことを特徴とする請求項６９に記載のＧＵＩ。
前記ポインティングデバイスは無線フリースペースポインティングデバイスであることを特徴とする請求項８０に記載のＧＵＩ。
遷移効果を提供する前記手段は、前記識別された画像の前記第１のズームバージョンを縮小し移動する手段を更に含むことを特徴とする請求項７１に記載のＧＵＩ。
画像群のサブセットである前記第１の複数の画像を選択的に生成するために、前記画像群を編成する手段を更に具備することを特徴とする請求項７０に記載のＧＵＩ。
前記編成する手段は、
前記第１のＧＵＩ画面を表示する前に、各アイコンが前記画像群のサブセットを表す一組の前記アイコンを表示する第４のＧＵＩ画面と、
前記アイコンのうち１つを識別する第３の選択指示を受信する手段と
を更に含むことを特徴とする請求項８３に記載のＧＵＩ。
前記編成する手段は、
前記第１のＧＵＩ画面を表示する前に、前記第１の倍率より小さい第３の倍率で、前記第１の複数の画像を含む第２の複数の画像を表示する第４のＧＵＩ画面と、
前記第１の複数の画像を識別する第３の選択指示を受信する手段と
を更に含むことを特徴とする請求項８３に記載のＧＵＩ。
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第２のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項６９に記載のＧＵＩ。
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項６９に記載のＧＵＩ。
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項６９に記載のＧＵＩ。
前記制御要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項６９に記載のＧＵＩ。
前記情報要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項８６に記載のＧＵＩ。
メディア入力を受信し、メディア出力を制御し、且つズーム可能なグラフィカルユーザインタフェース（ＧＵＩ）を生成するプロセッサと、
ユーザが複数のメディア項目からオーディオ／ビデオ出力装置のうち一方に出力するメディア項目を選択することを可能にする前記ＧＵＩとを具備するセットトップボックスであって、
前記ＧＵＩは、
第１の倍率で第１の複数の画像を表示する第１のＧＵＩ画面と、
前記複数の画像のサブセットを識別する第１の選択指示を受信する手段と、
第２の倍率で前記複数の画像の前記選択されたサブセットの第１のズームバージョンを表示する第２のＧＵＩ画面と、
前記画像のサブセット内の１つの画像を識別する第２の選択指示を受信する手段と、
少なくとも１つのユーザ操作可能な制御要素を含む前記識別された画像の第２のズームバージョンを表示する第３のＧＵＩ画面と
を含むことを特徴とするセットトップボックス。
前記複数の画像上を移動できるカーソルを表示する手段を更に具備し、前記第１の選択指示及び前記第２の選択指示は、前記カーソルの位置に基づくことを特徴とする請求項７１に記載のセットトップボックス。
前記第１のズームバージョンを表示する前記ステップと前記第２のズームバージョンを表示する前記ステップとの間に遷移効果を提供する手段を更に具備することを特徴とする請求項７１に記載のセットトップボックス。
前記第１のＧＵＩ画面は、前記複数の画像の各々をカテゴリにより複数のグループに表示することを特徴とする請求項７１に記載のセットトップボックス。
前記カテゴリは、アクション、ドラマ及びコメディのカテゴリを含む映画ジャンルであり、表示された画像は、前記第１のＧＵＩ画面上に映画ジャンルのカテゴリと共に配置されることを特徴とする請求項９４に記載のセットトップボックス。
前記カテゴリは、カントリー、ブルース及びジャズを含む音楽ジャンルであり、前記表示された画像は、前記第１のＧＵＩ画面上に音楽ジャンルのカテゴリと共に配置されることを特徴とする請求項９４に記載のセットトップボックス。
前記第１の複数の画像は表紙の画像であり、前記第１の複数の画像の各々はメディア項目に関連付けられることを特徴とする請求項９１に記載のセットトップボックス。
前記第１のＧＵＩ画面は、各グループが前記第１のＧＵＩ画面上に略同一の表示エリアを有するように、前記画像を均等にグループ化することを特徴とする請求項９４に記載のセットトップボックス。
前記第１のＧＵＩ画面は、前記グループのうち少なくとも２つのグループが一方に対して異なる表示エリアを有するように、前記複数のグループを表示することを特徴とする請求項９４に記載のセットトップボックス。
前記表示エリアは矩形であることを特徴とする請求項９９に記載のセットトップボックス。
前記表示エリアは矩形であることを特徴とする請求項９９に記載のセットトップボックス。
前記第１の選択指示を受信する前記手段は、選択項目及びカーソルの場所を指示するポインティングデバイスから、少なくとも１つの信号を受信する手段を更に含むことを特徴とする請求項９１に記載のセットトップボックス。
前記ポインティングデバイスは無線フリースペースポインティングデバイスであることを特徴とする請求項１０２に記載のセットトップボックス。
遷移効果を提供する前記手段は、前記識別された画像の前記第１のズームバージョンを縮小し移動する手段を更に含むことを特徴とする請求項９１に記載のセットトップボックス。
画像群のサブセットである前記第１の複数の画像を選択的に生成するために、前記画像群を編成する手段を更に具備することを特徴とする請求項９１に記載のセットトップボックス。
前記編成する手段は、
前記第１のＧＵＩ画面を表示する前に、各アイコンが前記画像群のサブセットを表す一組の前記アイコンを表示する第４のＧＵＩ画面と、
前記アイコンのうち１つを識別する第３の選択指示を受信する手段と
を更に含むことを特徴とする請求項１０５に記載のセットトップボックス。
前記編成する手段は、
前記第１のＧＵＩ画面を表示する前に、前記第１の倍率より小さい第３の倍率で、前記第１の複数の画像を含む第２の複数の画像を表示する第４のＧＵＩ画面と、
前記第１の複数の画像を識別する第３の選択指示を受信する手段と
を更に含むことを特徴とする請求項９５に記載のセットトップボックス。
前記識別された画像は映画の表紙画像であり、前記識別された画像の前記第２のズームバージョンは、映画再生時間、価格、出演者情報のグループから選択された情報要素を含むことを特徴とする請求項９１に記載のセットトップボックス。
前記制御要素は、前記識別された画像に関連付けられた映画を購入するために操作されるボタンであることを特徴とする請求項９１に記載のセットトップボックス。
前記制御要素は、前記識別された画像に関連付けられた映画に関連する他の映画に関する情報に対するハイパーリンクであることを特徴とする請求項９１に記載のセットトップボックス。
前記制御要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項９１に記載のセットトップボックス。
前記情報要素は、前記第１のズームバージョンにおいて可視状態ではないことを特徴とする請求項１０９に記載のセットトップボックス。
グラフィカルユーザインタフェース上に情報を表示する方法であって、
第１の倍率で複数の画像を表示するステップと、
前記複数の画像の前記サブセットのうち少なくとも１つを識別する選択指示を受信するステップと、
前記第１の倍率では利用不可能であった少なくとも１つのユーザ操作可能な制御要素を含む前記少なくとも１つの識別された画像のズームバージョンを表示するステップと
を含むことを特徴とする方法。
第１の倍率で複数のオブジェクトを表示する第１のＧＵＩと、
前記複数のオブジェクトのうち少なくとも１つと関連付けられる選択指示を受信する手段と、
第２の倍率で複数のオブジェクトのうち前記少なくとも１つを表示する第２のＧＵＩ画面とを具備し、
前記第１の倍率では利用不可能であったユーザ操作可能な制御要素は、前記第２の倍率で利用可能であることを特徴とするグラフィカルユーザインタフェース（ＧＵＩ）。
複数のノードの１つのサブセットがグラフィカルユーザインタフェース（ＧＵＩ）の表示された部分に関連付けられる前記複数のノードを有する制御フレームワーク内における前記複数のノードを追跡する方法であって、
前記ノードのサブセットの各々に関連する境界情報を含むデータ構造を維持するステップと、
前記ＧＵＩの前記表示された部分を第１の部分から第２の部分へ変更するステップと、
ノードが前記ＧＵＩの前記表示された部分の内側又は外側に移動したかを判定するために、前記変更ステップに基づく前記データ構造を評価するステップと
を含むことを特徴とする方法。
前記複数のノードの前記各々は、ユーザインタフェースオブジェクトであることを特徴とする請求項１１５に記載の方法。
前記ユーザインタフェースオブジェクトの少なくとも一部は、ソフトウェアアプリケーションに関連付けられることを特徴とする請求項１１６に記載の方法。
データ構造を維持する前記ステップは、トランジションブロックのリンクリストを維持するステップを更に含み、前記トランジションブロックの各々は、前記ノードのサブセット中の前記ノードのうち１つのノードの境界に関連付けられることを特徴とする請求項１１５に記載の方法。
データ構造を維持する前記ステップは、複数のリンクリストを維持するステップを更に含み、リンクリストの各々は、複数の異なる次元のうち１つと関連付けられることを特徴とする請求項１１５に記載の方法。
前記複数の異なる次元は、水平次元、垂直次元及び深さ次元のうち少なくとも１つを含むことを特徴とする請求項１１９に記載の方法。
前記複数の異なる次元は、時間を含むことを特徴とする請求項１１９に記載の方法。
前記複数の異なる次元は、内容の種類及び内容による入場者指定のうち少なくとも１つを含むことを特徴とする請求項１１９に記載の方法。
前記境界情報は、境界形状輪郭の場所を含むことを特徴とする請求項１１５に記載の方法。
前記境界形状は矩形であることを特徴とする請求項１２３に記載の方法。
前記ＧＵＩの前記表示された部分を変更する前記ステップは、前記ＧＵＩを拡大又は縮小するステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記ＧＵＩの前記表示された部分を変更する前記ステップは、前記ＧＵＩの前記第１の部分から前記第２の部分へパンするステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記ＧＵＩの前記表示された部分を変更する前記ステップは、前記ＧＵＩの前記第１の部分から前記ＧＵＩの前記第２の部分へ移動するためにフィルタリングを動作させるステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記データ構造を評価する前記ステップは、前記ＧＵＩの前記第２の部分の外側である前記データ構造の部分を指すようにポインタを変更するステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記データ構造を評価する前記ステップは、ノード側、ビュー側及びビュー移動方向のうち少なくとも１つに基づく前記複数のノードのうち１つのノードに通知するかを判定するステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記データ構造を評価する前記ステップは、前記ポインタにより渡される前記データ構造の各ブロックに対して、ノード側、ビュー側及びビュー移動方向のうち少なくとも１つに基づく前記複数のノードのうち対応する１つのノードに通知するかを判定するステップを更に含むことを特徴とする請求項１２８に記載の方法。
前記評価するステップの結果に基づく前記ノードに選択的に通知するステップを更に含むことを特徴とする請求項１１５に記載の方法。
選択的に通知する前記ステップは、前記ノードが前記ＧＵＩの前記第２の部分と部分的に交差する場合、前記ノードに通知するステップを更に含むことを特徴とする請求項１３１に記載の方法。
選択的に通知する前記ステップは、前記ノードが前記ＧＵＩの前記第２の部分と完全に交差する場合にのみ、前記ノードに通知するステップを更に含むことを特徴とする請求項１３１に記載の方法。
選択的に通知する前記ステップは、複数の次元と関連付けられた複数のデータ構造の評価後、前記ノードが前記ＧＵＩの前記第２の部分と交差する場合、前記ノードに通知するステップを更に含むことを特徴とする請求項１３１に記載の方法。
前記ノードが前記ＧＵＩの前記表示された部分の内側又は外側に移動した場合、前記ノードに関連付けられた機能を開始するステップを更に含むことを特徴とする請求項１１５に記載の方法。
前記ノードが前記ＧＵＩの前記表示された部分の内側に移動した場合、前記機能は、ソフトウェアアプリケーションを開始することを特徴とする請求項１５１に記載の方法。
グラフィカルユーザインタフェース（ＧＵＩ）上にインタフェースオブジェクトを表示する方法であって、
複数の倍率のうち１つの倍率で、前記インタフェースオブジェクトを表示するステップと、
前記複数の倍率のうち前記１つの倍率で、前記インタフェースオブジェクトの少なくとも１つの詳細を隠蔽するステップと、
前記複数の倍率のうち別の倍率で、前記インタフェースオブジェクトを表示するステップと、
前記インタフェースオブジェクトが表示される解像度に関わらず、前記複数の倍率のうち前記所定の別の倍率で、前記インタフェースオブジェクトの前記少なくとも１つの詳細を明示するステップと
を含むことを特徴とする方法。
前記少なくとも１つの詳細は、前記複数の倍率のうち前記１つの倍率で表示された場合、前記インタフェースオブジェクトから切り取られたテキストのセグメントであることを特徴とする請求項１３７に記載の方法。
前記少なくとも１つの詳細はハイパーリンクであることを特徴とする請求項１３７に記載の方法。
前記少なくとも１つの詳細は別のインタフェースオブジェクトであることを特徴とする請求項１３７に記載の方法。
前記インタフェースオブジェクトに対する局所座標系に関連付けられた情報を含むデータ構造を維持するステップと、
前記インタフェースオブジェクトに対する解像度独立データセットを生成するために、変換行列を使用して、前記局所座標系を変換するステップと、
前記解像度独立データセットを前記ＧＵＩの現在表示されている部分に関連付けられた画素にマッピングするステップと
を更に含むことを特徴とする請求項１３７に記載の方法。
前記明示するステップは、所定の次元における前記画素数が画素の閾値を超える場合、前記インタフェースオブジェクトの前記少なくとも１つの詳細を明示するステップを更に含むことを特徴とする請求項１４１に記載の方法。
各々がメディア項目を表し、第１のズームレベルで表示される第１の複数のグラフィカルユーザインタフェースオブジェクトと、
前記第１の複数のグラフィカルユーザインタフェースオブジェクトのうち１つに関連付けられる選択指示を受信する手段と、
前記第１の複数のグラフィカルユーザインタフェースオブジェクトのうち少なくとも前記１つを第２のズームレベルで表示するために、前記第１の複数のグラフィカルユーザインタフェースオブジェクトのうち前記１つを拡大し、前記１つに向かってパンする手段とを具備し、
前記第２のズームレベルおける前記第１の複数のグラフィカルユーザインタフェースオブジェクトのうち前記１つは、前記第１のズームレベルにおける前記第１の複数のグラフィカルユーザインタフェースオブジェクトのうち前記１つとは異なるコンテンツを含むことを特徴とするグラフィカルユーザインタフェース（ＧＵＩ）。
前記第２のズームレベルは、セマンティックズーム閾値を超えることを特徴とする請求項１４３に記載のグラフィカルユーザインタフェース。
前記異なるコンテンツは、前記第１のズームレベルでは可視状態でなかった追加のテキスト情報であることを特徴とする請求項１４３に記載のＧＵＩ。
前記異なるコンテンツは、前記第１のズームレベルでは可視状態でなかったＧＵＩ制御オブジェクトを少なくとも１つ含むことを特徴とする請求項１４３に記載のＧＵＩ。
前記少なくとも１つのＧＵＩ制御オブジェクトは、異なるメディア項目に対するリンクを提供するハイパーリンクであることを特徴とする請求項１４６に記載のＧＵＩ。
前記少なくとも１つのＧＵＩ制御オブジェクトは、操作された場合、前記ＧＵＩに前記メディア項目を実行させる制御オブジェクトであることを特徴とする請求項１４６に記載のＧＵＩ。
前記インタフェースオブジェクトに対する局所座標系に関連付けられた情報を含むデータ構造を維持する手段と、
前記インタフェースオブジェクトに対する解像度独立データセットを生成するために、変換行列を使用して、前記局所座標系を変換する手段と、
前記解像度独立データセットを前記ＧＵＩの現在表示されている部分に関連付けられた画素にマッピングする手段と
を更に具備することを特徴とする請求項１４３に記載のＧＵＩ。
前記メディア項目は、映画、曲及びテレビチャンネルのうちの１つであることを特徴とする請求項１４３に記載のＧＵＩ。
メディアシステムにおけるメディア項目を選択する方法であって、
前記メディアシステムの表示画面上に、複数のメディア項目を画像として表示するステップと、
前記メディアシステムに対するユーザ入力を受信するステップと、
少なくとも１つの制御オブジェクトが前記表示画面上で可視状態となるまで、前記ユーザ入力に基づく前記複数のメディア項目を拡大するステップと、
対応するメディア項目を選択するために、前記ユーザが前記制御オブジェクトのうちの１つを動作させるステップと
を含むことを特徴とする方法。
前記拡大するステップは、所定の倍率間のステップでズームするステップを更に含み、各ステップは、対応するユーザ入力に関連付けられることを特徴とする請求項１５１に記載の方法。
前記所定の倍率のうち１つはセマンティックズーミング閾値を表し、前記少なくとも１つの制御オブジェクトは、前記セマンティックズーミング閾値に到達すると、前記表示画面上で可視状態となることを特徴とする請求項１５２に記載の方法。
前記セマンティックズーミング閾値は、前記表示画面の解像度に依存しないことを特徴とする請求項１５３に記載の方法。
前記複数のメディア項目は、映画、曲及びテレビチャンネルのうち少なくとも１つを表すことを特徴とする請求項１５１に記載の方法。
表示画面上に、複数のメディア項目を画像として表示するプロセッサと、
入力を受信する入力ポートと、
少なくとも１つの制御オブジェクトが前記表示画面上で可視状態となるまで、第１の入力に基づく前記複数のメディア項目を拡大する手段と、
第２の入力に応答して、前記少なくとも１つの制御オブジェクトに関連付けられるメディア項目を実行する手段と
を具備することを特徴とするメディア制御器。
前記拡大する手段は、所定の倍率間のステップでズームする手段を更に含み、各ステップは受信した入力に応答して実行されることを特徴とする請求項１５６に記載のメディア制御器。
前記所定の倍率のうち１つはセマンティックズーミング閾値を表し、前記少なくとも１つの制御オブジェクトは、前記セマンティックズーミング閾値に到達すると、前記表示画面上で可視状態となることを特徴とする請求項１５７に記載のメディア制御器。
前記セマンティックズーミング閾値は、前記表示画面の解像度に依存しないことを特徴とする請求項１５８に記載のメディア制御器。
前記複数のメディア項目は、映画、曲及びテレビチャンネルのうち少なくとも１つを表すことを特徴とする請求項１５６に記載のメディア制御器。