JP2010518666A - 随意的な眼球信号に基づく特に撮影のための制御方法 - Google Patents

Abstract

本発明は、視覚信号に基づく制御方法に関する。本方法は、オペレータの少なくとも一方の目の少なくとも１つの緩徐運動を検出するステップと、検出された少なくとも１つの緩徐運動に基づいて、視線制御信号を生成するステップと、前記視線制御信号に基づいて制御を生成するステップとを含むことを特徴とする。本発明は、具体的には、ビデオカメラの視線制御に適用される。
【選択図】図１

Description

本発明は、眼球信号に基づく制御方法に関し、具体的には、少なくとも１つの実際のカメラまたはバーチャルカメラを有する撮影デバイスの制御における使用に適する方法に関する。

眼球運動は、振幅が小さく（分角で１分から２５分）、持続時間も極めて短く（０．０１秒から０．０５秒）、秒速５００度（゜／ｓ）程度に達し得る大きさの角速度を有する運動である。眼球運動の監視およびその追跡は、１０年以上に渡り、ビデオカメラを使用して行われてきている。眼球データを処理して眼球の動きを解析することは、不随意的な性質の眼球運動を、眼球の微小運動（ニスタグムス）、注視位置のゆっくりとしたドリフト、まばたき、随意的な性質の眼球運動（画面上の目の注視位置のＸＹ座標を変更すること）、運動速度、サッカード（ｓａｃｃａｄｅ）振幅、注視位置の固定、およびそれらの持続時間、並びに輻輳（ｖｅｒｇｅｎｃｅ）運動により構成されるものとして識別することを可能にする。

アイトラッカによる眼球運動の収集および解析は、画面上の注視位置のＸＹ座標を決定するために必要な較正が先行して行われ、極めて高い信頼性を有し、高速且つ精確になってきている。これらは、画面上のコンテンツを調べる際に眼球が辿る軌跡を取得すること、具体的には、或る情景におけるコンポーネントへ向けられる注目量を調査することを、リアルタイムで可能にする。

視線制御のアドバンテージは、デバイス関連（Ｗａｒｅ＆Ｍｉｋａｅｌｉａｎ，“Ａｎ ｅｖａｌｕａｔｉｏｎ ｏｆ ａｎ ｅｙｅ ｔｒａｃｋｅｒ ａｓ ａ ｄｅｖｉｃｅ ｆｏｒ ｃｏｍｐｕｔｅｒ ｉｎｐｕｔ”，ＣＨＩ＋ＧＩ，１９８７，−Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ− ＳＩＧＨＩ Ｂｕｌｌｅｔｉｎ ＡＣＭ，ｐ．１８３−１８８）や、軍事用途関連（例えば、Ｓｍｙｔｈ，Ｂａｔｅｓ，Ｌｏｐｅｚ＆Ｗａｒｅ，“Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｅｙｅ−ｇａｚｅ ｔｏ ｔｏｕｃｈ ｐａｎｅｌ ａｎｄ ｈｅａｄ ｆｉｘｅｄ ｒｅｔｉｃｌｅ ｆｏｒ ｈｅｌｉｃｏｐｔｅｒ ｄｉｓｐｌａｙ ｃｏｎｔｒｏｌ”，−Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ２^ｎｄ Ｍｉｄ−Ａｔｌａｎｔｉｃ Ｈｕｍａｎ Ｆａｃｔｏｒｓ Ｃｏｎｆｅｒｅｎｃｅ，１９９４，ｐ４９以下参照）や、マン−マシン・インタフェース関連（例えば、ＲＪＫ Ｊａｃｏｂ，“Ｔｈｅ ｕｓｅ ｏｆ ｅｙｅ ｍｏｖｅｍｅｎｔｓ ｉｎ ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ−ｗｈａｔ ｙｏｕ ｌｏｏｋ ｉｓ ｗｈａｔ ｙｏｕ ｇｅｔ”，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，１９９１，９（３），ｐ．１５２−１６９）や、遠隔制御関連（例えば、“ＩＢＭ Ａｌｍａｄｅｎ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ”のプロジェクト）や、或いはロボット制御関連（例えば、Ａｔｉｅｎｚａ＆Ｚｅｌｉｎｓｋｙ，２００３，“Ｉｎｔｅｒａｃｔｉｖｅ ｓｋｉｌｌｓ ｕｓｉｎｇ ａｃｔｉｖｅ ｇａｚｅ ｔｒａｃｋｉｎｇ”，−Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍｕｌｔｉｍｏｄａｌ ｉｎｔｅｒｆａｃｅｓ，Ｖａｎｃｏｕｖｅｒ−Ｃａｎａｄａ，ｐ．１８８−１９５）において、極めて早期に見出されている。

具体的には、位置および方向を制御するオペレーションにおいて、より直接的であるという理由で、眼球運動による制御は物体の移動による制御より高速である（「Ｇａｚｅ−Ｂａｓｅｄ Ｉｎｔｅｒａｃｔｉｏｎ Ｇｒｏｕｐ」の研究）。

従って、人から２メートルの距離に置かれる高解像度カメラは、その人の網膜の動きを追跡し、且つその動きを視線によるコマンドに変えることができる。既に存在するものとしては、次のものがある。

・デジタルキーボード上への視線を解析することにより、アルファベット文字を入力するデバイス。

・さらに高度に統合された視線制御デバイス（例えば「Ｅｙｅ Ｇａｚｅ Ｉｎｔｅｒａｃｔｉｏｎ」プロジェクト、および「Ｖｉｓｕｏｂｏａｒｄ」システムといった、電子メールを管理し、テキストを書くもの）。

・視線追跡の解析と組み合わせて、物体（カメラで撮影される）の動きを解析するデバイス（Ａｔｉｅｎｚａ＆Ｚｅｌｉｎｓｋｙ，２００３）。

これらのデバイスは全て、画面内の或るゾーンに固定される視線を解析し（「位置に基づく相互作用」）、注視位置の固定が検出されるとカーソルの位置合わせを行うという原理に依存する。次に、まばたきにより、手により（マウスのクリック）、または注視を長い持続時間に渡って維持することにより、例えば、ズームを実行するまたはメニューを開くコマンドが、注視の持続時間に関連して与えられる（「時間に基づく相互作用」）。

この原理は、実際のカメラまたはバーチャルカメラの制御機能（ズーム、カメラの動作、・・・）の実装に必要とされる連続した制御が与えられることを可能にするものではない。

眼球運動および視線追跡を解析するためのソフトウェアは、視線制御がこれまで、制御を目的とする目の継続的な運動を必要としない、視線によるコマンドに限定されてきた理由を説明する３つの特徴を提示している。視線制御は、アイコン（「位置に基づく相互作用」）、ボタン、または境界が十分に画定される位置に依存していた。

第１の特徴は、目は情報を感知するが情報を生成することはないということである。両目が制御システムの一部となる場合は、情報の感知を意味するアクションと、コマンドとして捉えられるべきアクションとを区別することが必要である。いかなる失敗（ユーザが眺めているときにコマンドを生成すること、或いは、ユーザが実際にコマンドの発行を求めているときに、ユーザが眺めているとみなすこと）も、制御システムを信頼性のないものにし、且つその使用を困難にする。例えば、コマンドは、十分な長さの時間に渡る注視、およびこれに続くまぶたのまばたきによって発行される場合がある。

第２の特徴は、目は継続的な運動状態（様々な振幅を有する目のサッカードに至るまでの、ニスタグムス等の微小運動）にあることである。従って、何を注視と見なし、何を目の運動と見なすかを区別することが必要である。目のデータを解析するためのソフトウェアは全て、これを、空間的および時間的に密集している視線位置を集めることによって行う。従ってこれは、固定された注視位置に対応するゾーンを画定する。

第３の特徴は、前記した解析ソフトウェアが、固定された視線（位置および持続時間に関して）およびサッカード（開始点を位置付け、終了点を位置付け、振幅および持続時間を与える）しか出力しないことである。この解析ソフトウェアによると、何れか特定の方向への、ゆっくりとし且つ方向付けられた視線の動きは無視される。

機械的に実行されるにせよ、ソフトウェア制御下で実行されるにせよ、カメラの制御は常に動きに関連し、よって、撮影されているものを眺めることに加えて、手動でカメラを制御する必要がある。

二次元（２Ｄ）ＸＹ映像を撮影するための眼球運動制御システムは、このようなシステムが申し分のないアドバンテージを呈するとしても、存在しない。このアドバンテージの中では、ハンズフリー制御の可能性を挙げることができ、且つとりわけ、画像自体からの画像撮影制御を挙げることができる。この場合は、情景を調査する自然な方法が、その画像の撮影に適用される。例えば、このようなデバイスは、映画監督が、ファインダおよびモニタ画面を用いて、大型サイズのモニタ画面から直接的に撮影することを可能にするであろう。このような大型サイズの画面には、次の３つのアドバンテージがある。

・オペレータの視線に関する動作の自由度が高まる。

・眼球運動を検出して解析する際の精度が高まる。

・オペレータが、最終的な画面サイズにより近いサイズで画像を観察する。

本発明は、制御システムとして視線を使用するという思想に基づき、具体的には、ゆっくりとし且つ方向付けられた視線の動きを解析することにより、実際のまたはバーチャルな２Ｄおよび／または三次元（３Ｄ）カメラを制御するための制御システムとして視線を使用するという思想に基づく。

従って、本発明は、視線制御信号に基づく制御方法を提供し、本方法は、次のステップを特徴とする。

・オペレータの少なくとも一方の目の眼球運動に対応する、少なくとも１つの緩徐運動を検出するステップ、
・検出された少なくとも１つの前記緩徐運動から、視線制御信号を生成するステップ、および、
・前記視線制御信号からコマンドを生成するステップ。

効果的には、前記緩徐運動は、１゜／ｓから４０゜／ｓまでの範囲内、具体的には１゜／ｓから３０゜／ｓまでの範囲内、さらに具体的には５゜／ｓから２０゜／ｓまでの範囲内の角速度を有する眼球の通常の角度的な運動に対応する。

前記緩徐運動は、或る計算方法により、具体的には直線回帰分析により、その経路の決定、具体的には緩徐運動の方向性を決定することによって検出されてもよい。

サッカード（即ち高速動作）および／または注視の検出は、前記視線制御信号の生成を中断させてもよい。

前記視線制御信号は、眼球の角度的な運動の関数（増加関数または減少関数）であってもよい。前記視線制御信号は、視線の位置、および／または前記目の前記緩徐運動の速度、および／または緩徐運動の方向性を表してもよい。この方法においては、前記緩徐運動が検出されると即座に、前記緩徐運動のパラメータの全てを連続的なコマンド、その開始点および／またはその終了点を生成するために使用することができる。

例えば速度である少なくとも１つの制御パラメータは、少なくとも１つの眼球運動パラメータ、例えばその速度および／またはその方向性の関数であってもよい。

一例として、コマンドを与えることは、オプション間の選択を行うことにあってもよい。これらのオプションは、少なくとも１つの前記眼球運動のパラメータの関数として、連続した値または不連続な値として編成されてもよい。例えば、前記緩徐運動が続く限り、その選択はオープンにされたままであり、前記緩徐運動の停止または選択されたしきい値を超える持続時間に渡る前記緩徐運動の中断は、選択を決定する。

コマンドの開始および／または終了は、前記視線制御信号の開始および／または終了によって生成されてもよく、或いは実際に音声、目、および／または手により与えられるコマンドによって生成されてもよい。

第１の変形例では、前記視線制御信号が割り当てられる制御のタイプは、前記眼球運動の少なくとも１つのパラメータによって、例えば眼球運動の方向性によって決定される。

第２の変形例では、前記視線制御信号が割り当てられる制御のタイプは、音声、目、または手により与えられるコマンドによって決定される。

また、前記視線制御信号はオン／オフ信号であってもよい。

本発明は、具体的には、オンボードカメラによる撮影の遠隔制御、或いは、達成される効果に起因して極めて広範に使用されている、ヒンジ式アーム・ブームに据え付けられたカメラ、および遠隔監視カメラによる撮影の遠隔制御に適合化され、尚且つ、ツールの遠隔操作を含む遠隔動作を実行するようにも適合化される。操作が遠隔的に実行されるべきものである場合は、手によって制御されるべき２つのシステム、即ちカメラ（撮影の実行が望まれる場合）と、制御される計器とが存在する。本発明は、視線によるカメラの制御と、手による計器の制御とを可能にする。

本発明は、具体的には、少なくとも１つの、実際のまたはバーチャルなカメラの視線制御に適用される。

前記制御信号が割り当てられる制御のタイプは、例えば、撮影の開始、および／またはズームの変更、および／または絞りの調整、および／またはフォーカスの調整、および／またはカメラ自身の軸を中心とするカメラの回転（ローリング）、および／またはカメラの移動（「トラベリング」）、および／または（立体システムにおける）軸間のスペーシングの変更、および／または輻輳の変更、であってもよい。具体的なコマンドは、音声（音声、および／または視線制御（アイコンの注視、まばたき、・・・）、および／または手（キーボード、マウス、ジョイスティック等）でコマンドを与えることによって決定されてもよく、或いは実際に、例えば方向性である角度的な運動パラメータによって決定されてもよい。

本発明による方法は、オペレータが先行して実行するトレーニング手順を含むことを特徴としてもよい。この手順は、次に基づく。

・連続する同じ持続時間Ｔの時間窓における眼球位置データを解析し、各々の時間窓について、データセットを少なくとも２つのクラス、即ち、
・データセットが値の連続するデータポイントを備え、当該値が互いに近接し、且つ例えば勾配を有するセグメントである連続的な幾何学的パターンに編成される緩徐運動クラスと、
・これ以外の非緩徐運動クラスと、に分類する。

前記非緩徐運動クラスは、選択されるモードに応じて２つのサブクラス、即ち、
・注視サブクラスと、具体的には加速ピークとこれに続く強力な減速により画定される、それ以外の眼球サッカード・サブクラスとを含む。

本発明の他の特徴および利点は、添付の図面を参照する以下の説明により、より明らかとなるであろう。
ビデオカメラに適用される視線制御のオペレーションを示す。 撮影用ビューファインダを示す。 非緩徐運動により先行され且つ分離された２つの緩徐運動に関する基本的な眼球データを示す。横座標に沿って眼球の位置が連続して４０００箇所プロットされている。このデータは２０ミリ秒（ｍｓ）毎にサンプリングされ、持続時間８０秒の記録を生成する。 緩徐運動の少数の連続座標に関する相関性および回帰勾配を示す（４ａ）。 緩徐運動に関連付けられるデータに関する二変数関数を示す。 画面またはアクティブマトリクスウィンドウを使用することによる（５ａ）カメラ制御を示す。 直接的に情景を見ることによる（５ｂ）カメラ制御を示す。

本発明は、ゆっくりとし且つ方向付けされた眼球の随意的な運動の生成、収集および処理を利用する。眼球の随意的な運動は、情景を調査する自然な条件下では視線が提示することのない緩徐性（ｓｌｏｗｎｅｓｓ）および方向性（ｏｒｉｅｎｔａｔｉｏｎ）を伴って生成される。それにもかかわらず、このような緩徐性および方向性（これらは容易に検出される）は、情景を調査していない間に起こる眼球の不随意的な下方ドリフトの間に検出されるべきものである。これらは、ほぼ１゜／ｓから４０゜／ｓの範囲の所謂「緩徐」運動であり、視線の固定にもサッカードにも対応しないことから、視線追跡ソフトウェアには無視される。目が標的を追跡していない場合、このような緩徐運動を生成するには、トレーニングが必要とされる。即ち、トレーニングを行っていない人々は緩徐運動を生成することができずに、サッカードを生成する（Ｒｉｃｈａｒｄ Ｊ．Ｋｒａｕｚｌｉｓ，“Ｒｅｃａｓｔｉｎｇ ｔｈｅ Ｓｍｏｏｔｈ Ｐｕｒｓｕｉｔ Ｅｙｅ Ｍｏｕｖｅｍｅｎｔ Ｓｙｓｔｅｍ”，−Ｊｏｕｒｎａｌ ｏｆ Ｎｅｕｒｏｐｈｙｓｉｏｌｏｇｙ，９１，ｐａｇｅｓ５９１−６０３，２００４，特に５９９ページを参照）。

本発明によれば、ゆっくりとし且つ方向付けられた運動（具体的には、目を同じ方向へ移動させるマイクロサッカード）は、データ解析方法によって抽出される。この抽出は、カメラに作用する能動的且つ意図的な運動と、受動的且つ自然な追跡運動との区別を可能にする。この解析は、ユーザの生理学的な特性および行動特性を組み込む目的で、ユーザへの順応に関連付けられる。

図１に示すシステムは、カメラ１と、アイトラッカ２と、アイトラッカから情報を収集するための設備３とを備える。この情報は４において収集される。フィルタリングの後、５において有益情報が格納され、その後６において緩徐運動を識別する目的で分類される。７では、識別された緩徐運動が対応表を用いて解釈され、８においてコマンドが生成される。これにより、９においてカメラを動作させ且つ／或いは調整するための信号が生成される。

本発明の方法は次の通りである。

１）アイトラッカを含む基本的な装置は、それ自体が既知である。アイトラッカは、カメラで撮影されている映像を表示する画面上に、視線位置のＸＹ座標を提供し、且つ、アイトラッカは両眼の輻輳値も生成する。

２）較正ステージは次の目的を有する。

ａ．画面上に予め画定されたＸＹ座標に対して、各眼球の位置の記録を調整する。

ｂ．３Ｄカメラを制御する目的で、両眼の輻輳を３Ｄ視線追跡実行時の奥行位置に一致させる。

これは、等距離で出現する連続的な点（十字形）を画面上へ固定するという思想である。これらの連続的な点は、２Ｄの較正グリッドＸＹまたは３Ｄの較正グリッドＸＹＺを画定する。較正を行う間に記録される値（予め画定された位置に対する眼球の座標）は、データ解析の間に、各々の瞬間の眼球位置を画面上のＸＹ平面へ、或いは３Ｄカメラを制御する場合にはＸＹＺ空間へ、幾何学的に投影するために使用される。

３）画面上に、撮影されている映像の画像だけではなく、２つの対角線Ｄ１，Ｄ２および中心フレームＣも表示する（図２）。

４）２Ｄまたは３Ｄカメラの制御は、画面上にアイコンの形式で表示される。即ち次の形式で表示される。

ｉ．撮影用の光学素子に関連付けられる制御（ズーム、フォーカス、絞り）。

ｉｉ．カメラのピボット動作（水平パンニング、または垂直ティルティング、またはカメラ軸を中心とする回転、およびこれらの組合せ）と、トラベル動作（横方向、垂直方向、または軸方向に沿った、およびこれらの組合せ）とに関連付けられる制御。

ｉｉｉ．３Ｄカメラを用いる場合の、奥行（軸と輻輳との間のスペーシング）のレリーフ（ｒｅｌｉｅｆ）パラメータの調整に関連付けられる制御。

５）制御または制御の組合せに対応するゾーンに眼球を固定する。これにより、前記制御または前記制御の組合せを起動させる。起動された制御に対応するアイコンは反転画像で表示され、記録されようとしている注視の緩徐運動が、その制御に対応することが示される。

６）連続するＸＹ座標またはＸＹＺ座標が、近接性および方向性に関して解析される。データ解析技術はトレーニングに基づくものが使用され、連続する座標が、サッカードに関連するのか（遠く離れた座標）、注視位置の固定に関連するのか（密集し且つ方向性のない座標）、視線の緩徐運動に関連するのか（近接し且つ何らかの適切な方向性のある座標）否かを、リアルタイムで決定する。

７）各カメラ制御のための対応表は、識別された方向性のカテゴリ分類（Ｘ値の増大：前方ズーム、Ｘ値の減少：後方ズーム）に基づいて、制御値（例えば、ズーム制御の場合の前方向または後方向）を決定できるようにする。このような関係において、値の変量の制限は、各々の制御を用いて関連付けられる。

８）制御値（例えば「前方ズーム」）は、視線の緩徐運動に比例する速度値と共に、カメラの機械的構造へ送られる。

９）大きいサッカードまたは注視位置の固定を識別し、これにより、「撮影」コマンドを除いて、コマンドを終了させる。取消し制御は、コマンドの実行に先立って初期状態へ戻る働きをする。

１０）本方法の実行条件は次の通りである。

ａ．各制御は設定値に支配される。ユーザは、制御の実行速度と、視線の緩徐運動との関連性を決定する。

ｂ．各制御には順応性がある。システムは、コマンド実行の成功および失敗を考慮する。

１１）トレーニングステージは、デバイスの設定値を設定できるようにし、且つデバイスをユーザに順応できるようにする。

また、映像は、両眼視の網膜の非対称性に対応する２台またはＮ台のカメラを使用して立体的に撮影されてもよく、再生は、適切な装置によって（アナグリフ式選択によって、直線および円偏光により、自動立体画面上へ、画像奥行マップ（「Ｚｍａｐ」）を使用して、「拡張２Ｄ」ビューイングシステムによって、或いはホログラフィ型のレリーフまたはボリューム感を再生するための他の任意のシステムによって）行われる。

レンズ面における２Ｄカメラの動作を方向付けるための視線制御の実装
ステップ１−「撮影」機能の選択
「撮影」機能は、キーボードのキーを押すことにより、または「撮影」ボタンのゾーン上へ目をやることにより、或いは実際に音声でコマンドを発行することの何れかによって起動される。「撮影」ボタンは反転画像で表示され、それがアクティブであることが示される。このことは、初期設定デバイスが起動されていること、即ち、この瞬間以降、緩徐運動およびその方向性がカメラを制御することを意味する。

ステップ２−インラインでのデータ解析：非監督または半監督トレーニング技術による緩徐運動の検出
基本データは、次の表１に記載されているように、アイトラッカにより出力されて、且つ２０ミリ秒（Ｔ）毎にサンプリングされた、画面上の左目（Ｌ）および右目（Ｒ）のＸＹ位置を含む。

解決されるべき課題は、図３に示されているような緩徐運動の出現を迅速に識別することにある。

眼球の生（ｒａｗ）データは、眼球運動の３つのタイプ、即ち、サッカード、一時停止および緩徐運動を含み得る。解析の原理は、連続する眼球データのこれら３つのタイプを区別することにあり、この原理に基づいて解析が実行される。

サッカードにおける運動とは異なり、緩徐運動は、互いに近接する値のデータシーケンスで構成される（マイクロサッカード）。このデータは様々なパターンで編成されてもよく、例えば、勾配を有するセグメントで編成され、勾配が、マイクロサッカードの連続により誘導される点の相対分散度（ｒｅｌａｔｉｖｅ ｄｉｓｐｅｒｓｉｏｎ）の関数として、直線回帰分析によって決定されてもよい（図４ａの拡大縮尺参照）。眼球運動の一時停止は、同様に、互いに近接する値のデータを含む。しかしながら、これらのデータは、データが、方向付けられたセグメントとして、上記したデータの編成を提示しないという理由で異なる。

データは、５００ミリ秒の連続する時間窓内で解析される。即ち、各窓につき２５個のデータポイントが解析される。非監督トレーニングアルゴリズムは、ブロックとして処理される２つのデータセットが同じクラスに属するか否かを規定する。この非監督トレーニングは、可能な限り類似する特性を有するエレメントのクラスを識別することにあり、尚且つ、そのエレメントを他のクラスのエレメントから区別する特性を有するエレメントのクラスを識別することに存する。

ここで、前記したエレメントは、２つのクラス「緩徐運動」および「非緩徐運動」の一方に属するデータシーケンスである。データの特性には所定量の変動性および不正確さがあることから、次の分類方法の使用が可能である。

・従来のベクトル分類方法。

・不正確に定義されたクラスへの帰属程度を処理しようとするファジーな分類。ファジーな分類は、分散度の解析等の統計学的な方法と共に用いられる（半監督トレーニング方法を使用することができるように、「緩徐運動」または「非緩徐運動」として先だってラベリングされる少数のデータポイントを使用することにより、分類結果を増強する）。

・他の任意の分類方法。

連続する２つのクラスの存在は、サッカードを示す。

従って、直線回帰分析により、２つのデータセットが或るクラスに相当すれば、ＸＹの相関性は、回帰線の勾配を決定し、且つ眼球運動の一時停止と緩徐運動とを区別する働きをする（図４ｂ）。緩徐運動の場合に、連続する勾配を処理すると、緩徐運動の方向性を知ることが可能になるので、２つの連続する点グループについてカメラの動作を決定することが可能になる。

ステップ３−監督トレーニング技術および制御によりカメラ動作に対して行われる補正
カメラの動作速度の調整は、例えば、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）を用いた帰納的なトレーニング等の、監督トレーニング技術によって実行される。これは、ラベル付けされたサンプルを使用することにあり、各々のサンプルは様々な特性と、その特性に関するアクションを指すラベルとによって表される。これは、未知の特性を有する新たなサンプルに対応すべきアクションを識別するために、特性の妥当性を自動的に決定することによって実行される。このトレーニングは、眼球運動およびカメラ動作に関連する規則を学習する働きをする。このデータはまだ不正確であり（或る状況下では、幾つかの類似する眼球運動がカメラの同じ動作を招く可能性がある）、例えばファジーな決定木を用いたトレーニング等の、ファジーなトレーニング方法を使用することが好適である。各制御は設定値に支配され得るので、ユーザは、制御の実行速度と視線の緩徐運動との関連性を決定する（本方法の説明におけるポイント１０）。カメラへ送信されるコマンドは、これらのパラメータに基づいて補正される。

正確なアクション（例えば、ポイント７の対応表中で指定されるもの等）に基づいてシステムを駆動するための、ファジーな規則（例えば、ファジーな決定木により得られるもの等）の使用に基づくタカギ−スゲノ方法等のファジーな制御方法は、このような補正を自動的に実行できるようにする。

ファジー論理におけるトレーニングおよび制御について使用可能な他の方法は、例えば、Ｂ．Ｂｏｕｃｈｏｎ−Ｍｅｕｎｉｅｒ＆Ｃ．Ｍａｒｓａｌａ，“Ｔｒａｉｔｅｍｅｎｔ ｄｅ ｄｏｎｎｅｅｓ ｃｏｍｐｌｅｘｅｓ ｅｔ ｃｏｍｍａｎｄｅ ｅｎ ｌｏｇｉｑｕｅ ｆｌｏｕｅ“，Ｈｅｒｍｅｓ，２００３、に記述されている。

緩徐運動は、比例制御を実行するために使用されてもよい。例として、ズーム速度は、眼球運動速度の関数であってもよい。この制御は次によって、開始されてもよい。

・緩徐運動自体。

・コマンド（例えば、音声による、キーボード上の手動動作による、マウスをクリックすることによる、ジョイスティックを動作することによる等、或いはアイコンを注視することによるコマンド）。

また、緩徐運動は、オン／オフモードにおいて、予め決定されているコマンドを実行するために使用されてもよい。

緩徐運動は、制御のタイプを選択するために使用されてもよい。事前の規定により、水平運動が、デバイスのトラベリングまたはパンニング、もしくは、事実上パンニングとトラベリングとの組合せの実行を制御すると決定されてもよい（運動の方向および速度が、トラベリングおよび／またはパンニングの方向および速度を決定する）。

コマンドの開始および／または終了は各々、緩徐運動の開始または終了によって与えられてもよく、或いは、音声により、目により、もしくは手により与えられるコマンドによって与えられてもよい。

１．眼球緩徐運動により制御される、実際のまたはバーチャルな２Ｄまたは３Ｄ（レリーフ）カメラの緩徐運動
実際の２Ｄカメラ
撮影対象は、全ての撮影軸および全てのカメラ機能を利用しながら追跡され得る。

前記した撮影軸は次の通りである。

・カメラクレーンについて：ブームアームのトラベリング、上昇（ｂｏｏｍ）、およびスイング（ｓｗｉｎｇ）。

・ヘッドについて：水平回転（パンニング）および垂直回転（ティルティング）。

・光軸について（回転）：
・ズーム付きカメラの場合：ズーム、フォーカス、および／または絞り。

・アクセサリ付きカメラの場合：シャッタ速度および／または絞りにおける補償的な変量（Ｖａｒｉｏｓｐｅｅｄ）。

・包括的にカメラメニューに組み込まれる任意の撮影機能。

実際の３Ｄ（レリーフ）カメラ：軸間の輻輳およびスペーシング。カメラに対する任意のモータ駆動またはアルゴリズム的な効果の制御：フェーディング速度等。

これらの機能は、全て視線による制御が可能であり、オプションとして、例えば、手動により、目により、または音声により与えられるコマンドを使用して制御のタイプを明確にすることにより、序列的な方法で一体化することが可能である。

例：眼球緩徐運動により制御されるパンニングおよびトラベリング動作の組合せによるサッカー試合の追跡
前提：トラベリング動作を、例えば２０゜未満のパンニング量を有するアクションに続かせるために、トラベリングは、毎秒１０メートル（ｍ／ｓ）程度の速度（人が走る速度）を有し或る角度限界を有するアクションに続いて発生する。オペレータがボールを追跡する場合は、眼球緩徐運動がパンニングを開始させる。パンニング角度が２０゜に接近（例えば、１５゜）すると、トラベリングは自動的に動作状態へと設定され、グランドの長手軸に対して垂直な位置へ戻る。

バーチャル２Ｄおよび３Ｄカメラ
実際のカメラの機能は全て、バーチャルカメラに適用することができる。

同じモード（眼球緩徐運動からのパンニングおよびトラベリングを組み合わせる）を使用して、観客は、部屋から部屋へ移動することにより、博物館を訪れる、またはビデオゲームをすることができる。全ての軸は制御下にあって序列的に編成されてもよく、唯一、観客動作には、計算された周囲のボリューム感（合成画像）により構成されるという制限が課される。

２．複数の値または連続する値から１つの値を選択するための眼球緩徐運動の使用
例：生成後の較正ツール一式。ユーザは、注視によって、作業が行われるべき画像の点を選択する。これは、選択された点と等価な特性を有する画像のゾーンを決定する。次に、このゾーンが選択される。この後、ユーザは、ＣＩＥ（国際照明委員会）色度表を注視する。ユーザの視線が移動するにつれて、走査された色が選択されたゾーンに表示される。視線によるコマンドは、その選択をそのゾーンに割り当てる。

こうしてユーザは、視界から画像を見失うことなく、適切な値（色または濃度）を連続して選択することができる。

３．緩徐運動の選択
例：ツールの選択
実際のツール
目視検査用設備（無菌室）のリモートオペレータは、異なる（三次元）性質の物体に対してアクションを実行するために、様々な操作／作業ツールを選択する。物体の操作に適するツールは視線によって選択され、（制御される）アームへ備えられ、アクションを実行させる。

視線の緩徐運動が停止したことの検出は、結果的に、適切なタイプのツールを選択する働きをする。

バーチャルツール
同じ原理に基づいて、プレーヤは、視線によって選択される異なる種類の計器（ｉｎｓｔｒｕｍｅｎｔｓ）へのアクセスを得ることができる。

４．緩徐運動と補助コマンドとの組合せ
実際のまたはバーチャルな２Ｄまたは３Ｄカメラの任意の動作を、オペレータにより選択される決定および序列の関数として組み合わすことが可能な同じ方法で、オペレータは、任意の瞬間に、カメラ動作の開始または停止をコマンドするように決定してもよく、或いは、トラベリング動作の最中に、ズームを追加する、またはフレームの奥行における輻輳を変更するように決定してもよい。

このような状況下では、コマンドは手動、即ち、アイコンの管理に関連付けられるものであっても、或いは音声によるものであってもよく、よって、ユーザはアクションに対して注目し続けることができる。

５．速度の考慮
例：合成画像における光軸を中心とする回転（ロール）
・ユーザの頭部のゆっくりとしたティルティング（回転）動作は、画面上で対応して実行される回転に関して、結果的に生じる回転の方向、速度、および加速度を同時に指定する。この回転は、オペレータが画面上で注視する点と、オペレータの両眼の中点とを通る軸を中心にして発生する。

・この動作は、オペレータによる介入なしに、オペレータがその停止を決定する瞬間まで続く。

・カメラに関しては、アクションに先行して、所定数の開始および／または終了スローモーション画像を視線により選択することが可能である。

６．レリーフ設定値の調整に関連付けられる制御
カメラ軸間のスペーシングは、音声コマンドの発行後の、または適切なアイコンの識別後のスケールまたは棒グラフ観察の関数として、増大または減少されてもよい。

輻輳は、収束面（ｃｏｎｖｅｒｇｅｎｃｅ ｐｌａｎｅ）を視覚的に識別することによって生成されてもよい。これは、可視基準点の存在を必要とする。

７．実景の追跡
視線の移動はアイトラッカによって検出される。

ａ．観察者は、モニタ画面またはアクティブマトリクスを注視する（図５ａ）。

視線は、物体１６を見るために、制御下のカメラが指図する方向へ視線の方向を向けるように、モニタ１５を超えて移動してもよい。従って、制御は、関連する距離に関わらず遠隔的に適用されることが可能である。

ｂ．観察者は、アクティブマトリクスを介して実景を見る（図５ａ）。

この例は、サッカーの試合または劇場における演劇に当てはまる。

観察者は、透明ガラス１５を介して、アクションを目により追跡し、ガラス上に表示されるパラメータ（例えば、フレーミング、動作、・・・）を有するカメラを制御する。その形状を考慮するために、実景の簡略画像を出現させることが可能であり、或いは、その奥行を考慮するために、その「Ｚｍａｐ」または奥行きの目盛りを増大させた実際の２Ｄ画像を出現させることが可能である。

このような状況下では、視線の動きの検出は撮影の被写体に関連する。

ディスプレイシステムは、前景、収束面、および無限遠面を見ることに貢献する。

ｃ．観察者は、媒介物なしに実景を見る（図５ｂ）。

この例ではもはや画面が存在せず、実景２５を見る視線の動きが直接的に解析されて、カメラ２０のフレーミングおよび軸が画定される。このフレーミングおよび軸は、バーチャル画像の形式で視覚化されてもよい。

さらに、アシスタントが、フォーカス値を、例えばオペレータが追跡する情景の関数として調整してもよい。これらの調整も、同様にして視線により制御されてもよい。

従って、本デバイスは、様々なオペレータ間で、具体的には、画面なしにカメラの機能の全てまたは幾つかを制御するオペレータに対して、カスケード式に動作してもよい。

検出されるものが方向性および輻輳角度であれば、任意の２Ｄおよび３Ｄ制御を画面なしで実行することが可能である。

８．ツールを三次元で管理することに関連するアプリケーション例
視線制御下で動作するロボットを、所定位置に配置されて制御されるツールに対する制御機能を用いて制御する。

このタイプの機能については、立体視は、表面が複雑な物体の操作または機械加工に実際のアドバンテージを提示することができる。

扱われる対象の三次元形状を検出し、且つその機構をモデリングすることが必要である。

ポジション検出器は、偶発的な貫通を防止し、且つ機械加工が実行されるときは、ツールと処理表面との間の適切な距離および角度がわかる。

Claims (19)

1. 視線制御信号に基づく制御方法であって、
   ・オペレータの少なくとも一方の目の眼球運動に対応する、少なくとも１つの緩徐運動を検出するステップと、
   ・検出された少なくとも１つの前記緩徐運動から、視線制御信号を生成するステップと、
   ・前記視線制御信号からコマンドを生成するステップと
   を含むことを特徴とする方法。
2. 前記緩徐運動は、１゜／ｓから４０゜／ｓまでの範囲内、具体的には１゜／ｓから３０゜／ｓまでの範囲内、さらに具体的には５゜／ｓから２０゜／ｓまでの範囲内の角速度を有する通常の眼球運動に対応することを特徴とする請求項１に記載の方法。
3. 前記緩徐運動の前記検出は、或る計算方法により、具体的には直線回帰分析により、その経路の決定、具体的には緩徐運動の方向性の決定を含むことを特徴とする請求項１または請求項２に記載の方法。
4. サッカードおよび／または注視の検出は、前記視線制御信号の生成を中断させることを特徴とする請求項１〜３の何れかの請求項に記載の方法。
5. 前記視線制御信号は眼球運動の関数であることを特徴とする請求項１〜４の何れかの請求項に記載の方法。
6. 前記視線制御信号は、視線が位置付けられる三次元の点、および／または前記目の前記緩徐運動の速度、および／または緩徐運動の方向性を表すことを特徴とする請求項５に記載の方法。
7. 例えば速度である少なくとも１つの制御パラメータは、少なくとも１つの眼球運動パラメータ、例えばその速度および／またはその方向性、の関数であることを特徴とする請求項５または請求項６に記載の方法。
8. コマンドを与えることは、前記眼球運動の少なくとも１つのパラメータの関数として、連続した選択を行うこと、または、オプション間の不連続な選択を行うことである、請求項５または請求項６に記載の方法。
9. 前記視線制御信号はオン／オフ信号であることを特徴とする請求項１から請求項４の何れかの請求項に記載の方法。
10. 前記視線制御信号が割り当てられる制御のタイプは、前記眼球運動の少なくとも１つのパラメータによって、例えば眼球運動の方向性によって決定されることを特徴とする請求項１〜９の何れかの請求項に記載の方法。
11. 前記視線制御信号が割り当てられる制御のタイプは、音声、目、または手により与えられるコマンドによって決定されることを特徴とする請求項１〜１０の何れかの請求項に記載の方法。
12. コマンドの開始および／または終了は、前記視線制御信号の開始および／または終了によって生成されることを特徴とする請求項１〜１１の何れかの請求項に記載の方法。
13. コマンドの開始および／または終了は、音声、目、または手により与えられるコマンドによって生成されることを特徴とする請求項１〜１２の何れかの請求項に記載の方法。
14. 少なくとも１つのカメラの視線制御に適用されることを特徴とする請求項１〜１３の何れかの請求項に記載の方法。
15. 撮影、および／またはズームの調整、および／または絞りの調整、および／またはフォーカスの調整、および／またはパンニング、および／またはカメラ自身の軸を中心とする回転、および／またはトラベリング、から選択される少なくとも１つのタイプの制御を実装することを特徴とする請求項１４に記載の方法。
16. 少なくとも２台のカメラを含む立体撮影システムの視線制御に適用されることを特徴とする請求項１４または請求項１５に記載の方法。
17. 軸間のスペーシングおよび／または輻輳、から選択される少なくとも１つのタイプの制御を実装することを特徴とする請求項１６に記載の方法。
18. オペレータにより先行して実行されるトレーニング手順を含み、前記手順において、連続する同じ持続時間（Ｔ）の時間窓における眼球位置データが、各々の時間窓においてデータセットを各々２つのクラス、即ち、
    ・データセットが値の連続するデータポイントを備え、当該値が互いに近接し、且つ例えば勾配を有するセグメントである連続的な幾何学的形状に編成される緩徐運動クラスと、
    ・これ以外の非緩徐運動クラスと、
    に分類することによって解析されることを特徴とする請求項１〜１７の何れかの請求項に記載の方法。
19. 前記非緩徐運動クラスは２つのサブクラス、即ち、
    ・近接した値であるが、例えば勾配を有するセグメントである対称形状に編成されない値のデータポイントを備える注視サブクラスと、
    ・それ以外の眼球サッカード・サブクラスとを含むことを特徴とする請求項１８に記載の方法。

Images