JP2014508311A - 視線追跡を用いた適応的ディスプレー - Google Patents

Abstract

【解決手段】表示に対するユーザの注目に基づいて、表示画面の出力を適合させるための方法及びシステムである。視線方向追跡が、ユーザが注目している表示画面領域のサブ領域を決定するために使用される。注目されているサブ領域の表示は、表示画面の残りの領域に対して、例えば、注目されていない表示画面のサブ領域に表示されたオブジェクトに対して、注目されているサブ領域の内部に表示されたオブジェクトを表現するデータの量を変更することにより、変更される。
【選択図】図１

Description

本出願は、計算プラットフォームの表示画面に適応的に情報を出力するための視線追跡の使用に関する。

ＬＣＤ画面、ＯＬＥＤ画面などの表示画面における近年の技術的進歩により、プラットフォームの要求される機能だけでなく、表示画面を使用する計算プラットフォームの多様性が増し続けている。例えば、携帯型の形式の要素に典型的な限られた表示領域とバッテリ寿命により、表示画面の空間的解像度はかなり低いままである傾向があった。これにより、携帯型装置の実用性は、最も適切なデータ（例えば、画像データのフレームのサブ領域、ＧＵＩのサブ領域など）を、継続的なアクティブなユーザの介入（例えば、画面のタップ、スワイプなど）なしに、エンドユーザに示すために十分な視野を表示するための表示画面が実現できないために、しばしば限られたものであった。別の例のプラットフォームにおいて、家庭用のテレビジョンに典型的な大きな表示画面は、パーソナルコンピュータ又は携帯型装置の表示画面よりもかなり長い視聴距離のために設計されている。このように、「１０フィート向けユーザインタフェース」などの独特なインタフェースを持つ家庭用テレビジョンに、グラフィカルデータオブジェクトを表示することがしばしば必要であり、ユーザは、異なる形式的要素の装置の間で複数のインタフェースを操作するための学習が必要であった。

さらに、特定の計算プラットフォームは、グラフィカルオブジェクトをレンダリングするコンピュータに統合された動画像センサにより収集された動画（すなわち、画像データフレームのストリーム）を表示するアプリケーションを提供する。例えば、ソニープレイステーション（登録商標）アイペット（登録商標）ゲームアプリケーションは、計算プラットフォームに結合された動画像センサにより収集されたアプリケーションのユーザ及びユーザの環境（例えば、リビングルーム）の動画とともに仮想ペットのグラフィカル画像をレンダリングする。ユーザは、表示上で仮想ペットと相互作用する自分を視聴することができる。このようなゲームアプリケーションに典型的な高精細の表示解像度（例えば、１０８０ｐ）においては、動画像センサから計算プラットフォームへの送信のために多大な帯域が必要となる。この帯域の制限は、表示装置に表示される動画データの質を低減させ、グラフィックスをレンダリングするために利用可能なプロセッサのサイクルを低減させ、動画像センサ又はセンサと計算プラットフォームとの間のインタフェースの製造コストを増大させる。動画送信の帯域は、無線イントラネット送信モード及びインターネット送信モードの双方において、よりいっそう問題となる。

本発明の実施の形態は、明細書の最後の部分において、特に指摘され、明確にクレームされる。しかし、本発明の実施の形態は、機構及び動作の方法の双方について、その目的、特徴、効果とともに、下記の説明及び添付の図面を参照することにより、最も良く理解されうる。

表示画面に接続された計算プラットフォームを含む適応的表示システムの例を示す図である。 表示画面に表示された情報のフレームの、注目されたサブ領域を決定するための方法の２つの例を示す図である。 適応的表示システム１００により実行されることが可能な、画像データフレームの注目されたサブ領域を決定するための輪郭ベースの方法２０１の実施の形態を示すフロー図である。 ユーザの注目に依存して化変な解像度でデータフレームの部分を表示することにより、注目されているサブ領域の１以上のオブジェクトを表現するために使用されるデータの量が、注目されていないサブ領域のオブジェクトに対して変更される、表示を適合させるための方法３００を示す図である。 ユーザの注目に依存した可変な解像度で、画像データフレーム（例えば、動画像センサ１２０などの動画像センサにより収集される）を計算プラットフォームに送信することにより、注目されているサブ領域のオブジェクトを表現するデータの量が、注目されていないサブ領域のオブジェクトに対して変更される、表示を適合させるための方法３０１の例のフロー図である。 圧縮エンジンが、視線追跡情報に基づいて、収集された画像データフレームの可変ビットレート圧縮を適用する、表示を適合させるための方法３５０の例のフロー図である。 方法３５０（図３Ｃ）の手順３８０において実行される可変ビットレート圧縮方法３７７の例を更に示すフロー図である。 本発明の一つの実施の形態に関連して、マルチディスプレーグラフィクスレンダリングシステムの構成要素として、アプリケーションのカメラビューを生成し、レンダリングするために用いられうるハードウェア及びユーザインタフェースを示す図である。 本発明の一つの実施の形態における、命令の処理に利用可能な追加のハードウェアを示す図である。

本明細書では、表示画面のユーザの注目に基づいて、表示画面出力を適合させるための方法及びシステムについて説明する。実施の形態では、ユーザが注目している表示画面の領域のサブ領域を決定するために視線追跡を利用し、注目された及び注目されていない表示画面のサブ領域のために提供されるデータの量を、これらの２つのグループを別々に処理することにより、適合的に決定する。これにより、アプリケーション又はプラットフォームの機能を向上させることができ、また、収集された画像データのフレームを送信又は処理するために必要な帯域を低減させることができる。

下記の説明においては、特定の数値的な詳細が示される。しかしながら、本発明が、これらの特定の詳細なしに実施されることが可能であることは、当業者には明らかである。いくつかの例において、本発明を不明瞭にするのを避けるために、詳細よりもむしろ、既知の構造及び装置がブロック図の形で示される。下記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズム及び記号表現の観点から示される。これらのアルゴリズムの記述及び表現は、その成果を最も効果的に他の当業者に伝えるために、データ処理の分野の当業者により用いられる手段である。

アルゴリズムは、本明細書において、及び一般的に、所望の結果を達成する自己矛盾のない一連のステップであると理解されている。ステップは、物理量の必要な物理操作である。通常、必然的ではないが、これらの量は格納可能な電気的又は磁気的信号の形式をとり、送信され、結合され、比較され、及びその他の操作を受ける。これらの信号を、ビット、値、要素、記号、文字、項、数などと呼ぶことが、主に共通の使用のために、時に便利であることが立証されている。

以下の議論から明らかであるように、とくにそうではないと断らない限り、詳細な説明の全体にわたって、「処理」「計算」「変換」「調整」「決定」「識別」などの語を用いた議論は、物理的（例えば電気的）な量としてコンピュータシステムのレジスタ及びメモリ内で表現されるデータを操作し、コンピュータシステムのメモリ又はレジスタ、又は、他の同様な情報ストレージ、通信又は表示装置の中で物理量として同様に表現される他のデータに変換するコンピュータシステム又は同様の電気的計算装置の動作及び処理のことを指すことが理解される。

コンピュータプログラムは、例えば、フロッピー（登録商標）ディスクを含む任意の種類のディスク、光ディスク（例えば、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、ディジタルビデオディスク（ＤＶＤ）、ブルーレイディスク（登録商標）など）、及び磁気光学ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電気的命令を格納するために適した任意の種類の媒体などのコンピュータ読み取り可能な記録媒体に格納されてもよい。

下記の説明及び特許請求の範囲において、「結合される」及び「接続される」という語が、それらの派生語とともに用いられる。これらの語は、互いに類義語として意図されるものではないことが理解されるべきである。「接続される」という語は、互いに結合された２以上の要素の間における通信の確立を示すために用いられる。「結合される」という語は、互いに物理的に直接又は電気的に接触する又はしない２以上の要素が、互いに協働又は相互作用することを示すために用いられる。

図１は、表示画面１１０に接続された計算プラットフォーム１０５を含む適応的表示システム１００の例を示す。計算プラットフォーム１０５は、表示画面１１０への出力１０６の生成を少なくとも担当する中央処理装置を含む。中央処理装置は、更に、本明細書で説明される、視線追跡、表示サブ領域の決定、及び動画のデコード／フレームアセンブリ処理のうちの１以上を実行してもよい。計算プラットフォーム１０５は、要求される目的のために特別に構成されてもよいし、コンピュータに格納されたコンピュータプログラムにより選択的にアクティベート又は再構成される汎用コンピュータを備えてもよい。一つの実施の形態において、計算プラットフォーム１０５は、従来の任意のディスプレー（例えば、ＬＣＤ、ＯＬＥＤ、ＣＲＴなど）である表示画面１１０を備えたゲームコンソール（例えば、ソニープレイステーション（登録商標））である。別の実施の形態において、計算プラットフォーム１０５は、携帯型ゲーム装置１０５Ａ（例えば、表示画面１１０Ａ（例えば、ＬＣＤ、ＯＬＥＤ）が組み込まれたソニープレイステーションポータブル（登録商標）（ＰＳＰ））である。別の実施の形態において、計算プラットフォーム１０５は、表示画面１１０Ｂ（例えば、ＬＣＤ、ＯＬＥＤ）が組み込まれた携帯型通信装置１０５Ｂ（例えば、ソニーエリクソン（登録商標）携帯電話）である。

図２Ａ及び２Ｂは、表示画面に表示された情報のフレームの、注目されたサブ領域を決定するための方法の２つの例を示す。これらの方法は、描画されたグラフィックオブジェクト（例えば、ＣＧＩ）にも、ストリーミングされたマルチメディア（例えば、動画）にも適用されうる。

図２Ａは、適応的表示システム１００により実行されることが可能な、画像データフレームの注目されたサブ領域を決定するためのグリッドベースの方法２００の実施の形態を示すフロー図である。手順２０５において、１以上のオブジェクトが表示画面１１０（図１）に出力される。例えば、表示領域２１０のオブジェクト２０６が図２Ａに更に示される。オブジェクト２０６は、ゲームのアバター、レンダリングエンジンにより既知な表示領域２１０のフレームに対する位置関係を有するウェブページブロックなどの、レンダリングされたオブジェクトであってもよい。例えば、オブジェクト２０６がウェブページのサムネール画像である場合、サムネール画像オブジェクトは表示領域２１０の中の既知の位置を有するだろう。または、オブジェクト２０６は、表示領域２１０の中に表示された動画フレームの一部であってもよい。この場合、オブジェクト２０６と、表示領域２１０の中の他のコンテンツとの間の論理的関係は、計算プラットフォーム１０５により予め決定されていなくてもよい。

手順２１５において、表示画面１１０を見ているユーザの視線パターンが追跡される。図２Ａは、計算プラットフォーム１０５に接続された視線追跡部１３０（図１に示される）により決定された、表示領域２１０のコンテンツに対する視線パターン２０８の例を更に示す。一般に、視線追跡部１３０は、表示画面１１０を見ているプラットフォームのユーザ１７０の目の位置及び／又は目の動きを追跡することを可能とする分野において既知の任意のハードウェア及び／又はソフトウェアモジュールを含む。例示された実施の形態において、視線追跡部１３０は、プラットフォームのユーザ１７０が表示画面１１０を見ているときに、プラットフォームのユーザ１７０の一方又は双方の目をフォーカスする映像ベースのシステムである。視線追跡部１３０は、頭にマウントされてもよいし、プラットフォームのユーザ１７０から少なくとも腕の長さの位置に配置された動画像センサに依存するリモートシステムであってもよい。図１に示された実施の形態において、視線追跡部１３０は、視線方向分析部１４０に視線方向パターン１３１を出力する。別の実施の形態において、視線追跡部１３０は、頭にマウントされ、目の回転パターンを出力する。別の実施の形態において、ユーザは、目の動きの追跡のための眼電図（Electrooculogram：ＥＯＧ）信号を測定するために、目の周囲の肌に配置された電極を装着してもよい。ＥＯＧ信号は、視線変更に起因する断続的な目の動きの測定や瞬きの検出にとくに有用であるため、視線変更及び瞬きの判定に好適である。ＥＯＧは、異なる照明条件に対するロバスト性も有するので、着用可能なシステムとして実装することができる。

実施の形態において、視線追跡部１３０により使用される動画像センサは、視線追跡部１３０に結合された特別用途のカメラ（例えば、赤外線感受性）である。または、視線追跡部１３０は、計算プラットフォーム１０５に接続されたソニープレイステーションアイなどの汎用のディジタル動画像センサ１２０に接続されてもよい。実施の形態において、ディジタル動画センサ１２０は、少なくともプラットフォームのユーザ１７０及びユーザの直近の環境（例えば、リビングルームの家具、床、部屋の壁など）を撮像するのに十分な視野をもって、少なくとも１９２０×１０８０ピクセルの高精細（high definition：ＨＤ）解像度で画像データフレームを収集する。ディジタル動画センサ１２０は、少なくとも一人のプラットフォームの他のユーザ１８０、傍観者１８５を更に撮像するのに十分な視野をもって、画像データフレームを収集してもよい。

遠距離場視線追跡は、近距離場視線追跡よりも技術的に魅力的であるので、視線追跡の実装は、計算プラットフォーム１０５の形式に依存してもよい。例えば、ゲームコンソールの形式において、視線追跡部１３０は、目／視線の追跡のために最適化された、動画像センサ１２０とは異なる特別用途のカメラを使用することが好ましい。視線追跡の性能を向上させるために、ユーザの顔写真を撮ることにより、ユーザが登録されてもよい。

しかしながら、携帯型のゲーム装置１０５Ａの場合、組み込まれた動画像センサ１２０Ａが、プラットフォームのユーザ１７０の目又は顔を含む、収集された画像データフレーム１２５を視線追跡部１３０に出力可能であってもよい。このような実施の形態において、組み込まれた動画像センサ１２０Ａにより収集された画像データは、追跡目的のため、及び、表示画面１１０Ａに表示する一般的な目的のための双方に利用されてもよい。同様に、携帯型通信装置１０５Ｂの場合、組み込まれた動画像センサ１２０Ｂが、プラットフォームのユーザ１７０の目又は顔にフォーカスした、収集された画像データフレーム１２５を視線追跡部１３０に出力可能であってもよい。更に別の実施の形態において、汎用用途のディジタル動画像センサ１２０は設けられず、視線追跡部１３０に統合された特別用途のカメラのみが設けられてもよい。

図２Ａに戻り、手順２２０において、視線方向分析部により、視線パターン（例えば、視線パターン２０８）が表示画面のサブ領域にマップされる。例えば、視線パターン２０８は、ｍ×ｎのサブ領域のグリッドにマップされる。一般に、表示画面のｍ及びｎの数は、特定の表示画面の物理的なサイズ及び解像度に依存して相当異なりうるので、例えば最も満足のいくようなユーザの体験を提供するために最適化される。グリッドサイズのパラメータの最適化は、装置のサイズとグリッドサイズのパラメータとの間の関係を調査することによりオフラインで実行することができる。こうして、グリッドサイズのパラメータは、ディスプレーの特徴に基づいて自動的に設定又はロードされる。ディスプレーの特徴は、システムにディスプレーを登録する（すなわち、ユーザは物理的な装置のサイズを入力するか、予め設定されたオプションのうちの一つを選択することができる）か、計算プラットフォームを用いてディスプレーの種別を自動的に検出する（すなわち、ＰＳＰ、ソニーエリクソン電話端末、又はソニー液晶テレビジョンのいずれであるか）ことにより取得することができる。

手順２３０において、視線方向分析部は、視線パターン２０８に基づいて、よりユーザの興味をひいている１以上のサブ領域を決定する。例えば、視線パターンの計量値（メトリック）がサブ領域２２１に割り当てられてもよく、計量値を閾値と比較するか、サブ領域間で比較することにより、注目されているサブ領域を決定してもよい。例えば、図２Ａに示した表示領域２１０において、１１５及び１１１は、それぞれ、注目されているサブ領域と注目されていないサブ領域である。手順２３０において、既知の任意の視線パターンの計量値が適用されてもよいが、本実施の形態では、それぞれのサブ領域内の注視点の数又は視線パターンの走査長が決定される。

図２Ｂは、適応的表示システム１００により実行されることが可能な、画像データフレームの注目されたサブ領域を決定するための輪郭ベースの方法２０１の実施の形態を示すフロー図である。動画像センサ１２０から取得された画像データフレームが、論理的ブロックの階層を有しない場合、プラットフォームのユーザの注目の対象となっているオブジェクトを識別するために輪郭アルゴリズムが用いられてもよい。輪郭アルゴリズムが、プラットフォームのユーザの注目をひいているオブジェクトを識別するために利用されてもよい。特定の実施の形態において、新たな輪郭検出処理は、定期的に実行されるか、又は、ユーザが瞬きをする又は視線を移動させるなどのイベントにより実行される。

方法２０１は、手順２０５において、１以上のオブジェクトが表示画面２１０（例えば、動画像センサにより収集された画像データのフレーム）に出力されることにより始まる。手順２１５において、前述したように視線パターンが追跡され、図２Ｂに示した視線パターン２０８が生成される。手順２２３において、例えば視線方向分析部１４０により、輪郭検出アルゴリズムが実行され、画像データフレーム２２１内の輪郭が検出される。輪郭検出アルゴリズムは、視線パターンに基づいてフレームの特定の位置において開始されてもよいし、フレーム全体に適用されてもよい。前者の場合、閾値の量の視線パターンを取り囲む輪郭が生成され、後者の場合、視線パターンと特定の輪郭との間の重なりのレベルに基づいて、複数の輪郭から１以上の輪郭が選択される。例として、フレーム２２１及び視線パターン２０８に基づいて、輪郭２５１が生成される。手順２３２において、注目されたサブ領域が決定される。この決定は、輪郭２５１の選択、又は、注目されたサブ領域１１５に対応するフレームの第１の部分の内部の、輪郭２５１に近接するフレーム２２１のピクセルを含ませるための拡大アルゴリズムの更なる実行を含んでもよい。フレームの残りの部分は、注目されていないサブ領域１１１に対応するフレームの第２の部分とされる。

画像データフレームの部分とディスプレーの注目されたサブ領域を関連付けるための輪郭ベースの方法２０１の使用は、ディスプレーと画像データのフレームとの間のｍ×ｎグリッドの直接的なマッピングに比べて、リアリズムを向上させることができる。輪郭ベースの方法２０１は、例えばグリッドサイズが画像データにおけるオブジェクトのサイズに最適にマッチされていない場合に、ディスプレーと画像データのフレームとの間のｍ×ｎグリッドの直接的なマッピングにより可能となるものよりも低く、送信帯域を低減させることができる。

図３Ａは、ユーザの注目に依存して化変な解像度でデータフレームの部分を表示することにより、注目されているサブ領域の１以上のオブジェクトを表現するために使用されるデータの量が、注目されていないサブ領域のオブジェクトに対して変更される、表示を適合させるための方法３００を示す。手順３３０において、少なくとも１つの注目されたサブ領域、例えば、図２Ａ又は図２Ｂに示した注目されたサブ領域１１５が、方法２００又は２０１から取得される。手順３４０において、注目されたサブ領域の内部に表示されたオブジェクトを表現するデータの量が、サブ領域の決定の前に表示画面により提供されていたデータの量と比べて、注目された領域の内部のオブジェクトに属するデータの量を変更するように、変更される。コンテンツズームの実施の形態において、注目されているサブ領域の解像度が注目されていないサブ領域の解像度よりも高くなるように、注目されているサブ領域に適用される表示画面の解像度の割合は増加され、注目されていないサブ領域を含む表示画面の解像度の割合は低下されてもよい。例えば、手順３３０において取得された注目されているサブ領域１１５は、表示領域２１０の２５％であるが、手順３４０において表示領域の約６７％に増加される。手順３４５において、変更された出力はズームインされたオブジェクト２０６に表示される。このように、オブジェクト２０６は、高解像度でレンダリングされてもよいし、例えばオブジェクト２０６がサムネール画像である場合には、拡大されてもよい。

図１に更に示されるように、適応的表示システム１００は、視線方向分析部１４０に結合された適応的表示処理部１５０を含む。本実施の形態において、適応的表示処理部１５０は、ハードウェア、ソフトウェア、又はそれらの組み合わせにより実装された信号処理部である。適応的表示方法３００において、計算プラットフォーム１０５の処理部は、表示されたデータの変更のために適応的表示処理部１５０から出力１５１を取得する。

図３Ｂは、ユーザの注目に依存した可変な解像度で、画像データフレーム（例えば、動画像センサ１２０などの動画像センサにより収集される）を計算プラットフォームに送信することにより、注目されているサブ領域のオブジェクトを表現するデータの量が、注目されていないサブ領域のオブジェクトに対して変更される、表示を適合させるための方法３０１の例のフロー図である。実施の形態において、注目されたサブ領域は、より高い解像度で送信されるが、注目されていないサブ領域は、より低い解像度で送信される。画像データフレームは高いレートで送信されるので、方法３０１は、いったん決定され、複数のフレームに適用され、注目されているサブ領域のフレームレートよりも低い頻度で周期的に実行されてもよい。方法３０１は、所定の数のフレーム、視線が選択された（すなわち、注目された）サブ領域から離れたか否かを決定するための距離の計量値、視線が変更されたことが予想されるサインである可能性がある、ユーザが瞬きをしたことの示唆などのイベントに基づいて開始されてもよいが、これらに限られない。

まず、手順３２５において、動画像センサ１２０は、画像データのフレームを収集する。図１に示した実施の形態において、動画像センサ１２０は、プラットフォームのユーザ１７０、プラットフォームの第２のユーザ１８０、及び傍観者１８５を包含する視野１２２を有する。

手順３３０において、注目されたサブ領域１４１が視線方向分析部１４０から取得される。手順３６５において、ディスプレーの注目されたサブ領域は収集されたフレームの部分に関連付けられ、注目されたサブ領域に対応する収集されたフレームの第１の部分が、高解像度（例えば、少なくとも動画像センサ１２０の１９２０×１０８０のＨＤ解像度）で計算プラットフォームに送信される。手順３７０において、注目されていないサブ領域に対応する収集されたフレームの第２の部分が、第１の部分の場合よりも低い低解像度で計算プラットフォームに送信される。例えば、動画像センサ１２０が高解像度で収集する場合、適応的表示処理部１５０は、既知の任意のビットレートシェーピング技術を用いて、第２の部分を表現するデータの量を低減させるために、収集されたフレームの第２の部分を低解像度処理する。このように、表示された出力に対するユーザの注目に依存して、ビットレートシェーピングアルゴリズムが実行される。一つの実施の形態において、適応的表示処理部１５０は、第２の部分の空間的（水平及び／又は垂直）解像度を第１の部分に対して低減することにより、必要な送信帯域を低減する。走査線ごとに１９２０サンプルをサンプリングするのに対応する解像度で第１の部分が送信される一つの実施の形態において、第２の部分は走査線ごとに１４４０又は１２８０サンプルをサンプリングするように低解像度処理される。別の実施の形態において、適応的表示処理部１５０は、第１の部分に対して第２の部分の時間的解像度を低減させることにより、必要な送信帯域を低減させる。例えば、第２の部分の内部のフレームレートが、第１の部分よりも低減されてもよい。こうして、表示領域の部分は、例えば図１に示したリンク１６１を介して、計算プラットフォーム１０５の処理部に送信される。手順３７５において、計算プラットフォームの処理部は、既知の任意の技術を用いて第１及び第２の部分を組み合わせ、表示画面１１０に出力するための再構成されたフレームを生成する。

動画像センサにより収集された画像データフレームが表示画面に出力される実施の形態において、注目されたサブ領域内のオブジェクトを表現するデータの量は、注目されていないサブ領域のデータの量に対して、可変ビットレート圧縮を介して変更される。このような実施の形態において、画像センサに特有の圧縮エンジンが、適応的表示処理部１５０からの出力を取得する。例えば、図１を参照して、圧縮エンジン１６０は、動画像センサ１２０から取得した画像データ１２５のフレームを圧縮するためのハードウェア又はソフトウェアである。圧縮エンジン１６０は、分野において既知の任意の圧縮アルゴリズムを実行してもよい。例えば、１以上の特許登録された又は標準規格のコーデック（例えば、ＭＰＥＧ４）を、フレーム内（空間的）圧縮及びフレーム間（動き）圧縮の少なくとも一方を実行するために実行してもよい。本実施の形態において、圧縮エンジン１６０は、収集された画像データフレーム１２５のフレーム内及びフレーム間の双方の圧縮を実行する。

図３Ｃは、圧縮エンジンが、視線追跡情報に基づいて、収集された画像データフレームの可変ビットレート圧縮を適用する、表示を適合させるための方法３５０の例のフロー図である。まず、手順３２５において、動画像センサが画像データのフレームを収集する。図１に示すように、動画像センサ１２０は、プラットフォームのユーザ１７０、プラットフォームの第２のユーザ１８０、及び傍観者１８５を包含する視野１２２を有する。

手順３８０において、収集された画像データフレームに対して、可変ビットレート圧縮アルゴリズムが適用される。一つの実施の形態において、注目されたサブ領域に対応する収集されたフレームの第１の部分は、空間的及び／又は時間的に高いビットレートに圧縮されるが、注目されていないサブ領域に対応する収集されたフレームの第２の部分は、空間的及び／又は時間的に低いビットレート、すなわち、第１の部分よりも低いビットレートに圧縮される。

手順３９０において、圧縮されたフレームは、例えば計算プラットフォーム１０５に送信される。手順３９５において、圧縮エンジン１６０と結合された計算プラットフォーム１０５の処理部は、送信された画像データのフレームを組み合わせて、表示領域１１０に表示するための再構成されたフレームを生成するために、適切なデコードアルゴリズム（例えば、それぞれの部分に適用されたものと同じもの）により、フレームの第１及び第２の部分をデコードする。

図３Ｄは、方法３５０（図３Ｃ）の手順３８０において実行される可変ビットレート圧縮方法３７７の例を更に示すフロー図である。方法３７７の手順３３０において、まず、注目されたサブ領域を取得する。注目されたサブ領域は、図２Ａを参照して説明した方法２００又は図２Ｂを参照して説明した方法２０１により、識別又は決定されてもよい。例えば、図２Ａに示した方法２００の場合、表示領域はｍ×ｎのサブ領域のグリッドに分割される。ｍ及びｎの数は、表示の知覚の質と送信帯域の低減との組み合わせを最大にするために最適化されてもよい。視線方向分析部１４０は、視線追跡部１３０からの視線方向パターン出力１３１をｍ×ｎのサブ領域にマップする。視線パターンの基準がサブ領域にわたって適用され、注目されたサブ領域１１５が識別される。

図３Ｄに戻り、手順３７８において、圧縮エンジン１６０は、まず標準的な圧縮アルゴリズムに基づいて、圧縮すべきピクセル又は画像の部分を決定する。例えば、フレーム間で変化している画像の部分が、フレーム間圧縮アルゴリズムにより識別される。手順３８２において、圧縮エンジン１６０は、これらの差分を有する画像の部分のうちのいずれが注目されたサブ領域１１５の内部に位置しているかを決定し、手順３８４において、これらの差分は高いビットレートで、例えば計算プラットフォーム１０５へ送信される。手順３８６において、注目されていないサブ領域１１１の差分は、低いビットレート（例えば、注目されたサブ領域よりも低いビットレート）で、例えば計算プラットフォーム１０５へ送信される。同様に、圧縮エンジン１６０は、視線方向分析部１４０により識別されたサブ領域に依存する方法で、フレーム内圧縮アルゴリズムを実行してもよい。例えば、圧縮エンジン１６０は、注目されたサブ領域１１５と注目されていないサブ領域１１１とを区別するような方法で、空間冗長アルゴリズムにおいて異なる閾値を適用してもよい。別の実施の形態において、手順３８０において実行される可変ビットレート圧縮は、ディスプレーの注目された及び注目されていないサブ領域に対応する収集されたフレームの部分の間で、Ｉフレームの扱いを区別してもよい。例えば、Ｉフレームが他のフレームからデータをコピーしないようにするルールが、注目されていないサブ領域に対応するフレームの部分については緩和されてもよい。

ある実施の形態において、少なくともプラットフォームのユーザ１７０を含む視野を有する動画像センサ１２０が設けられてもよい。しかし、他の実施の形態において、図２Ｂのフレーム２２１に示したように、収集されたフレームはプラットフォームのユーザ１７０を含まなくてもよい。このような実施の形態において、収集された画像データフレームは、プラットフォームのユーザの位置から離れた動画像センサ（例えば、図１において、計算プラットフォーム１０５にネットワーク接続された遠隔の動画像センサ１２８）又は以前に収集された画像データフレームのサーバ（例えば、インターネット１２７を介してネットワーク接続された動画アーカイブサイト１２９）により提供される。このような実施の形態において、適応的表示処理部１５０から取得された情報に応じて、本明細書において説明された視線依存圧縮アルゴリズムを実装するために、遠隔の圧縮エンジン１６５が用いられてもよい。動画アーカイブサイト１２９又は遠隔の動画像センサ１２８から画像データフレームを送信するために、方法３０１、３５０、及び３７７が同様に利用可能である。

更なる実施の形態において、視線パターンは、複数のユーザのそれぞれについて追跡される。例えば、図１に戻り、視線パターンは、プラットフォームのユーザ１７０及びプラットフォームのユーザ１８０のそれぞれについて追跡されてもよい。複数のユーザのそれぞれにより注目された表示画面のサブ領域が、例えば手順２１５において別々に決定されてもよい。例えば、視線１７１の方向が追跡され、注目されたサブ領域１１５が識別されるとともに、視線１８１の方向が追跡され、注目されたサブ領域１１６が識別されてもよい。表示画面出力は、注目されたサブ領域内のデータの量を注目されていないサブ領域と比較して変更するように、本明細書において説明した方法にしたがって適合される。これらの方法は、このような方法で複数のユーザに拡張されうるが、ユーザの数が増加するほど、帯域の低減レートは減退しうる。しかし、これは、表示される情報の性質に依存する。例えば、あるゲームアプリケーションにおいて、ユーザの視線は、タスクにより誘因される注意のために、かなり重なるであろう。例えば、テニスゲームにおいて、双方のユーザの視線は、ほとんどの場合、ゲーム内のテニスボールに注がれるだろう。

プラットフォームのユーザ１７０とプラットフォームのユーザ１８０の間で交互にゲームがプレーされる、別のマルチユーザの実施の形態において、視線追跡及び／又は視線方向分析は、ソニープレイステーションムーブモーションコントローラなどの入力装置に関連付けられたユーザのみについて実行されてもよい。図１に示した実施の形態において、プラットフォームのユーザ１７０は、例えば動画像センサ１２０により収集される画像フレームに基づいて、モーションコントローラ１９０に関連付けられており、関連付けられたモーションコントローラ１９０がアクティブなゲームプレーモードにある間は、視線パターン追跡はプラットフォームのユーザ１７０についてのみ実行される。ゲームプレーがモーションコントローラ１９５に変更されると、視線追跡は、そのコントローラに関連付けられたプラットフォームのユーザ１８０についてのみ実行される。本明細書において説明した任意の表示適応方法が、複数のユーザにわたって個別的に実行されてもよい。

図４は、本発明の一つの実施の形態に関連して、マルチディスプレーグラフィクスレンダリングシステムの構成要素として、アプリケーションのカメラビューを生成し、レンダリングするために用いられうるハードウェア及びユーザインタフェースを示す。図６は、本発明の一つの実施の形態に係るマルチディスプレーグラフィクスレンダリングシステムの実装に互換性のあるコンソールであるソニープレイステーション３（登録商標）エンタテインメント装置の全体システム構成を概略的に示す。システムユニット１４００とともに、システムユニット１４００に接続可能な種々の周辺装置が設けられる。システムユニット１４００は、セルプロセッサ１４２８、ランバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１４２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１４３２とともに設けられたリアリティシンセサイザーグラフィックスユニット１４３０、及び入出力ブリッジ１４３４を備える。システムユニット１４００は、さらに、入出力ブリッジ１４３４を介してアクセス可能な、ディスク１４４０Ａから読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光ディスクリーダ１４４０及び脱着可能なスロットインハードディスクドライブ（ＨＤＤ）１４３６を備える。システムユニット１４００は、オプションで、入出力ブリッジ１４３４を介して同様にアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ１４３８をさらに備える。

入出力ブリッジ１４３４は、さらに、複数のユニバーサルシリアルバス（ＵＳＢ）２．０ポート１４２４、ギガビットイーサネット（登録商標）ポート１４２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１４２０、７つのブルートゥース（登録商標）接続までサポート可能なブルートゥース無線リンクポート１４１８に接続する。

動作中、入出力ブリッジ１４３４は、１以上のゲームコントローラ１４０２〜１４０３からのデータを含む全ての無線、ＵＳＢ及びイーサネット（登録商標）データを扱う。例えば、ユーザがゲームをプレーするとき、入出力ブリッジ１４３４は、ブルートゥースリンクを介してゲームコントローラ１４０２〜１４０３からデータを受信し、セルプロセッサ１４２８に伝える。セルプロセッサ１４２８は、ゲームの現在の状態をそのように更新する。

無線、ＵＳＢ及びイーサネット（登録商標）ポートは、ゲームコントローラ１４０２〜１４０３に加えて、リモートコントローラ１４０４、キーボード１４０６、マウス１４０８、ソニープレイステーションポータブル（登録商標）エンタテインメント装置などの携帯型エンタテインメント装置１４１０、アイトイ（登録商標）ビデオカメラなどのビデオカメラ１４１２、マイクロフォンヘッドセット１４１４、及びマイクロフォン１４１５などの他の周辺装置との接続も提供する。これらの周辺装置は、原則として、システムユニット１４００に無線で接続されてもよい。例えば、携帯型エンタテインメント装置１４１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット１４１４は、ブルートゥースリンクを介して通信してもよい。

これらのインタフェースの提供は、プレイステーション３装置が、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルカメラ、携帯型メディアプレーヤ、ボイスオーバーＩＰ電話、携帯電話、プリンタ、及びスキャナなどの他の周辺装置との互換性をも潜在的に有することを意味する。

ゲームコントローラ１４０２〜１４０３は、ブルートゥースリンクを介してシステムユニット１４００と無線通信可能であるか、ＵＳＢポートを介して接続して、ゲームコントローラ１４０２〜１４０３のバッテリを充電するための電源も提供可能である。ゲームコントローラ１４０２〜１４０３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、ＬＥＤ又は赤外光などの光照射部、超音波通信のためのマイクロフォン及びスピーカ、音響チャンバ、ディジタルカメラ、内部クロック、ゲームコンソールに面した球などの認識可能な形状、及びブルートゥース、ＷｉＦｉなどのプロトコルを用いた無線通信を含んでもよい。

ゲームコントローラ１４０２は両手で用いられるように設計されたコントローラであり、ゲームコントローラ１４０３は、ボールが設けられた、片手で扱うコントローラである。１以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、三次元位置決定が可能である。したがって、ゲームコントローラのユーザのジェスチャー及び動きが、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力として翻訳されてもよい。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、装置の画面に、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が提供されてもよい。ダンスマット（図示せず）、モーキャプボール（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）、又は早押しクイズゲームのための単一又はいくつかの大きなボタンなどの専用コントローラ（図示せず）などの他の代替又は追加の制御装置が用いられてもよい。

リモートコントローラ１４０４は、ブルートゥースリンクを介してシステムユニット１４００と無線通信可能である。リモートコントローラ１４０４は、ブルーレイディスクＢＤ−ＲＯＭリーダ１４４０の動作及びディスク内容のナビゲーションのために適した制御を備える。

ブルーレイディスクＢＤ−ＲＯＭリーダ１４４０は、従来の記録済み及び記録可能なＣＤ及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置に互換なＣＤ−ＲＯＭを読み出し可能である。リーダ１４４０は、従来の記録済み及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置に互換なＤＶＤ−ＲＯＭを更に読み出し可能である。リーダ１４４０は、さらに、従来の記録済み及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置に互換なＢＤ−ＲＯＭを読み出し可能である。

システムユニット１４００は、生成された、又は、リアリティシンセサイザーグラフィックスユニット１４３０を介してプレイステーション３装置によりデコードされた音声及び映像を、音声及び映像コネクタを介して、モニタ又はディスプレー１４４４と１以上のラウドスピーカ１４４６を有するテレビジョンセットなどの表示及び音声出力装置１４４２に対して供給可能である。音声コネクタ１４５０は、従来のアナログ及びディジタル出力を含んでもよく、映像コネクタ１４５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上の高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））出力などを含んでもよい。結果として、映像出力は、ＰＡＬ又はＮＴＳＣ、又は、７２０ｐ、１０８０ｉ又は１０８０ｐ高解像度の形式であってもよい。

一つの実施の形態によれば、ビデオカメラ１４１２は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮エンコード装置を備え、圧縮されたビデオデータは、システムユニット１４００によりデコードするために、画像間ベースのＭＰＥＧ（motion picture expert group）スタンダードなどの適当な形式で送信されてもよい。カメラＬＥＤインジケータは、例えば逆光条件を知らせるなどのシステムユニット１４００からの適切な制御データに応答して光るようにされてもよい。ビデオカメラ１４１２の実施の形態は、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉの通信ポートを介してシステムユニット１４００に接続してもよい。ビデオカメラの実施の形態は、１以上の結合されたマイクロフォンを含み、音声データを送信可能であってもよい。ビデオカメラの実施の形態において、ＣＣＤは、高精細ビデオキャプチャに適した解像度を有してもよい。使用中、ビデオカメラにより撮像された画像は、例えば、ゲーム内に組み込まれてもよいし、ゲーム制御入力として解釈されてもよい。カメラの別の実施の形態において、カメラは、赤外光を検出するのに適した赤外線カメラである。

図５は、本発明の一つの実施の形態における、命令の処理に利用可能な追加のハードウェアを示す。図７は、セルプロセッサ１５００の構成要素を示す。図７のセルプロセッサ１５００は、メモリコントローラ１５６０及びデュアルバスインタフェースコントローラ１５７０Ａ、１５７０Ｂを備える外部入出力構成、パワープロセッシングエレメント（ＰＰＥ）１５５０と呼ばれるメインプロセッサ、シナジスティックプロセッシングエレメント（ＳＰＥ）１５１０Ａ〜Ｈと呼ばれる８個のコプロセッサ、要素相互接続バス１５８０と呼ばれる、上記の要素を接続する環状データバスの４つの基本要素を備えた構成を有する。セルプロセッサの全体の浮動小数点演算は、プレイステーション２装置のエモーションエンジンの６．２Ｇフロップスであるのに対して、２１８Ｇフロップスである。

パワープロセッシングエレメント（ＰＰＥ）１５５０は、３．２ＧＨｚの内部クロックで動作するパワーＰＣ（PowerPC）コア（ＰＰＵ）１５５５に互換な、双方向平行マルチスレッドパワー１４７０に基づいている。これは、５１２ｋＢのレベル２（Ｌ２）キャッシュ及び３２ｋＢのレベル１（Ｌ１）キャッシュを備える。ＰＰＥ１５５０は、クロックサイクルごとに８つの単精度演算を行うことができ、これは３．２ＧＨｚにおいて２５．６ギガフロップスにあたる。ＰＰＥ１５５０の主要な役割は、ほとんどの計算作業負荷を扱うＳＰＥ１５１０Ａ〜Ｈのためのコントローラとして機能することである。動作において、ＰＰＥ１５５０は、ジョブのキューを保持し、ＳＰＥ１５１０Ａ〜Ｈのジョブをスケジューリングし、それらの進行を監視する。それぞれのＳＰＥ１５１０Ａ〜Ｈは、ジョブを取ってきて実行するのが役割であるカーネルを実行し、それをＰＰＥ１５５０に同期させる。

それぞれのＳＰＥ１５１０Ａ〜Ｈは、シナジスティックプロセッシングユニット（ＳＰＵ）１５２０Ａ〜Ｈを備え、それぞれのメモリフローコントローラ（ＭＦＣ：Memory Flow Controller）１５４０Ａ〜Ｈは、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ：Dynamic Memory Access Controller）１５４２Ａ〜Ｈ、メモリ管理ユニット（ＭＭＵ）１５４４Ａ〜Ｈ、及びバスインタフェース（図示せず）を備える。それぞれのＳＰＵ１５２０Ａ〜Ｈは、クロックが３．２ＧＨｚで、原則として４ＧＢまで拡張可能な２５６ｋＢのローカルＲＡＭ１５３０Ａ〜Ｈを備える、ＲＩＳＣプロセッサである。それぞれのＳＰＥは、理論上、２５．６ＧＦＬＯＰＳの単精度性能を与える。ＳＰＵは、４つの単精度浮動小数演算、４つの３２ビット演算、８つの１６ビット整数演算、又は１６の８ビット整数演算を、１つのクロックサイクルで実行可能である。同じクロックサイクルにて、メモリ命令を実行することもできる。ＳＰＵ１５２０Ａ〜Ｈは、システムメモリＸＤＲＡＭ１４２６に直接アクセスしない。ＳＰＵ１５２０Ａ〜Ｈにより生成される６４ビットのアドレスは、ＭＦＣ１５４０Ａ〜Ｈに渡され、要素相互接続バス１５８０及びメモリコントローラ１５６０を介してメモリにアクセスするためのＤＭＡコントローラ１５４２Ａ〜Ｈに命令される。

要素相互接続バス（ＥＩＢ）１５８０は、セルプロセッサ１５００の内部の論理的に巡回した通信バスである。ＥＩＢは、上述のプロセッサエレメント、すなわち、ＰＰＥ１５５０、メモリコントローラ１５６０、デュアルバスインタフェース１５７０Ａ、Ｂ、及び８つのＳＰＥ１５１０Ａ〜Ｈの、合計１２の要素を接続する。要素は、クロックサイクルごとに８バイトの速度でバスを同時に読み、及び書き込むことができる。前述したように、それぞれのＳＰＥ１５１０Ａ〜Ｈは、より長いリード又はライトシーケンスをスケジュールするためのＤＭＡＣ１５４２Ａ〜Ｈを備える。ＥＩＢは４つのチャンネルを備え、２つは時計回りで、２つは反時計回りの方向である。１２の要素の間で、任意の２つの要素の間のうち最も長いデータフローは、適切な方向に６ステップとなる。ＥＩＢの１２スロットの帯域の理論上のピークの瞬間は、要素間の調停を通じて全てが利用されたとき、クロックごとに９６バイトである。これは、クロックレートが３．２ＧＨｚのときの理論上のピークバンド幅の３０７．２ＧＢ／ｓ（ギガバイト毎秒）と同じである。

メモリコントローラ１５６０は、ランバス社により開発されたＸＤＲＡＭインタフェース１５６２を備える。メモリコントローラは、理論上はピークバンド幅毎秒２５．６ギガバイトで、ランバスＸＤＲＡＭと接続する。

デュアルバスインタフェース１５７０Ａ、Ｂは、ランバスフレックスＩＯ（登録商標）システムインタフェース１５７２Ａ、Ｂを備える。インタフェースは、それぞれが８ビット幅である、入力５経路、出力７経路の１２チャンネルに組織化される。

上述の説明は、例示を意図しており、制限を意図していないことが理解されるべきである。上述の説明を読み、理解した当業者には、多数の別の実施の形態が明らかとなろう。本発明が、いくつかの特定の実施の形態に関して説明されたが、本発明は説明された実施の形態に限られず、添付された特許請求の範囲の精神及び範囲内で変更及び代替が可能であることは、当業者に認識されるところである。したがって、詳細な説明は、限定ではなく例示であるとみなされるべきである。本発明の範囲は、特許請求の範囲に与えられる全ての範囲の均等物とともに、特許請求の範囲を参照して決定されるべきである。

Claims (24)

1. 表示画面に出力を表示するステップと、
   前記表示画面の出力を見ているユーザの視線パターンを追跡するステップと、
   前記視線パターンを前記表示画面の物理的位置にマッピングするステップと、
   そのマップに基づいて、前記ユーザにより注目されている前記表示画面のサブ領域を決定するステップと、
   前記注目されているサブ領域の内部に表示されるオブジェクトを表現するデータの量を、前記表示領域の注目されていないサブ領域に表示されるオブジェクトに対して変更することにより、前記表示画面の出力を変更するステップと、
   を備えることを特徴とする表示を適合させる方法。
2. 前記表示画面の出力は、前記注目されていないサブ領域の解像度を、前記注目されているサブ領域の解像度よりも低くなるように変更することにより変更されるか、又は、前記注目されているサブ領域の解像度を、前記注目されていないサブ領域の解像度よりも高くなるように変更することにより変更されることを特徴とする請求項１に記載の方法。
3. 前記視線パターンをマッピングするステップは、
   前記表示画面をｍ×ｎのサブ領域のグリッドに分割するステップと、
   １以上の前記サブ領域に視線パターンの計量値を割り当てるステップと、を更に含み、
   前記注目されているサブ領域を決定するステップは、
   前記サブ領域間で前記視線パターンの計量値を比較するステップを更に含む
   ことを特徴とする請求項１に記載の方法。
4. 動画像センサにより画像データのフレームを収集するステップと、
   収集された前記画像データのフレームを、前記注目されているサブ領域に対応する収集された画像データフレームの第１の部分については、前記注目されていないサブ領域に対応する収集された画像データフレームの第２の部分よりも高いビットレートで、計算プラットフォームに送信するステップと、
   前記計算プラットフォームにより、前記収集された画像データフレームの第１及び第２の部分を、再構成された画像データフレームに組み立てるステップと、
   前記再構成された画像データフレームを前記表示画面に表示するステップと、
   を更に備えることを特徴とする請求項１に記載の方法。
5. 前記収集された画像データフレームの第１の部分について、前記収集された画像データフレームの第２の部分よりも低いフレーム間又はフレーム内圧縮を適用するステップ、又は、前記収集された画像データフレームの第２の部分をサブサンプリングするステップを更に備えることを特徴とする請求項４に記載の方法。
6. 前記画像データのフレームは、少なくとも１９２０×１０８０ピクセルの高精細解像度で収集され、前記注目されているサブ領域に対応する再構成された画像データフレームは高精細解像度で表示され、前記注目されていないサブ領域は高精細解像度よりも低い解像度で表示されることを特徴とする請求項４に記載の方法。
7. 前記ユーザの視線パターンは、前記収集された画像データフレームに基づいて追跡されることを特徴とする請求項４に記載の方法。
8. 前記注目されているサブ領域に対応する記録された画像データのフレームの部分は、収集された画像フレームに対して輪郭検出アルゴリズムを実行することにより決定されることを特徴とする請求項４に記載の方法。
9. 新たな輪郭検出アルゴリズムは、定期的に、又は、前記ユーザの瞬き又は視線変更が閾値を越えたことの示唆を取得したときに開始されることを特徴とする請求項８に記載の方法。
10. 前記視線パターンは、複数のユーザのそれぞれについて追跡され、前記複数のユーザのそれぞれにより注目されている前記表示画面のサブ領域が決定され、それぞれの注目されている領域について前記表示画面の出力が変更されることを特徴とする請求項１に記載の方法。
11. 前記複数のユーザを前記収集された画像フレームに基づいて入力装置に関連付けるステップを更に備え、
    前記視線パターンの追跡は、前記入力装置に関連付けられたユーザについてのみ実行されることを特徴とする請求項１０に記載の方法。
12. 処理システムにより実行されたときに、請求項１に記載の方法を前記処理システムに実行させる命令を格納したコンピュータ読み取り可能な記録媒体。
13. 表示画面を有する計算プラットフォームと、
    前記表示画面の出力を見ているユーザの視線パターンを追跡する視線追跡部と、
    前記視線パターンを前記表示画面の物理的位置にマッピングし、そのマップに基づいて、前記ユーザにより注目されている前記表示画面のサブ領域を決定する視線方向分析部と、
    前記注目されているサブ領域の内部に表示されるオブジェクトを表現するデータの量を、前記表示領域の注目されていないサブ領域に表示されるオブジェクトに対して変更することにより、前記表示画面の出力を変更する適応的表示処理部と、
    を備えることを特徴とする適応的表示システム。
14. 前記適応的表示処理部は、前記注目されていないサブ領域の解像度を、前記注目されているサブ領域の解像度よりも低くなるように変更することにより、又は、前記注目されているサブ領域の解像度を、前記注目されていないサブ領域の解像度よりも高くなるように変更することにより、前記表示画面の出力を変更することを特徴とする請求項１３に記載のシステム。
15. 前記視線方向分析部は、前記表示画面をｍ×ｎのサブ領域のグリッドに分割し、１以上の前記サブ領域に視線パターンの計量値を割り当てることにより、前記視線パターンをマッピングし、
    前記視線方向分析部は、前記サブ領域間での前記視線パターンの計量値の比較に基づいて、前記注目されているサブ領域を決定する
    ことを特徴とする請求項１３に記載のシステム。
16. 前記視線パターンの計量値は、注視点の数、視線パターンの走査長、及び視線パターンの走査領域のうちのいずれかであることを特徴とする請求項１５に記載のシステム。
17. 画像データのフレームを収集する動画像センサを更に備え、
    前記適応的表示処理部は、収集された前記画像データのフレームを、前記注目されているサブ領域に対応する収集された画像データフレームの第１の部分については、前記注目されていないサブ領域に対応する収集された画像データフレームの第２の部分よりも高いビットレートで、前記計算プラットフォームに送信し、
    前記計算プラットフォームは、前記収集された画像データフレームの第１及び第２の部分を、再構成された画像データフレームに組み立て、
    前記表示画面は、前記再構成された画像データフレームを表示する
    ことを特徴とする請求項１３に記載のシステム。
18. 前記収集された画像データフレームの第１の部分について、前記収集された画像データフレームの第２の部分よりも低いフレーム間又はフレーム内圧縮を適用する圧縮エンジンを更に備えるか、又は、前記適応的表示処理部は、前記収集された画像データフレームの第２の部分をサブサンプリングすることを特徴とする請求項１７に記載のシステム。
19. 前記動画像センサは、少なくとも１９２０×１０８０ピクセルの高精細解像度で前記画像データのフレームを収集し、
    前記表示画面は、前記注目されているサブ領域に対応する再構成された画像データフレームを高精細解像度で表示し、前記注目されていないサブ領域を高精細解像度よりも低い解像度で表示する
    ことを特徴とする請求項１７に記載のシステム。
20. 前記視線追跡部は、前記収集された画像データフレームに基づいて前記ユーザの視線パターンを追跡することを特徴とする請求項１３に記載のシステム。
21. 前記視線方向分析部は、収集された画像フレームに対して輪郭検出アルゴリズムを実行することにより、前記注目されているサブ領域に対応する記録された画像データのフレームの部分を決定することを特徴とする請求項１３に記載のシステム。
22. 前記視線方向分析部は、定期的に、又は、前記ユーザの瞬き又は視線変更が閾値を越えたことの示唆を取得したときに新たな輪郭検出アルゴリズムを開始することを特徴とする請求項２１に記載のシステム。
23. 前記視線追跡部は、複数のユーザのそれぞれについて前記視線パターンを追跡し、
    前記視線方向分析部は、前記複数のユーザのそれぞれにより注目されている前記表示画面のサブ領域を決定する
    ことを特徴とする請求項１３に記載のシステム。
24. 前記計算プラットフォームにより認識可能なユーザの入力装置を更に備え、
    前記視線追跡部は、前記収集された画像フレームに基づいて前記入力装置に関連付けられたユーザのみの視線パターンを追跡することを特徴とする請求項２３に記載のシステム。

Images