JP2019091253A - 視線検出装置 - Google Patents

Abstract

【課題】比較的ユーザーの負担が少なく、かつ映像への影響も比較的少ない方法で、ユーザーが注目する表示画面内の位置を特定することのできる視線検出装置を提供する。【解決手段】ユーザーの脳波を測定する脳波測定装置４０と、ユーザーの瞳を観測する瞳観測装置３０と、表示装置２０と、に接続され、表示装置の画面に所定パターンの映像を表示させた際の脳波測定装置４０の測定結果を用いて、画面内におけるユーザーの注目位置を特定し、当該注目位置の特定が行われる際の瞳観測装置３０の観測結果と、特定された注目位置と、を用いて、ユーザーの視線方向と画面内の位置との対応関係を特定する視線検出装置である。【選択図】図１

Description

本発明は、表示画面内においてユーザーの視線が向けられている位置を特定する視線検出装置、その制御方法、及びその制御プログラムに関する。

近年、ユーザーが表示画面のどこを見ているかを特定する視線検出装置が登場している。このような視線検出装置は、例えばユーザーの瞳に赤外線を照射し、瞳に現れる反射点を観測するなど、ユーザーの瞳を観測することによって、ユーザーの視線方向を特定する。

また、ユーザーの脳波を測定することによって、ユーザーの視線が向けられている表示画面内の位置を特定する技術も研究されている。このような技術では、例えば画面内を複数のエリアに分割し、エリア毎に異なるパターンで変化する映像を表示させる。エリア毎に異なるパターンというのは、例えばエリア毎に異なる周波数や位相で明滅する映像である。脳波の測定結果には、ユーザーが注目している位置の光の明滅に対する反応が現れる。そのため、脳波の測定結果を解析することで、ユーザーが画面内のどのエリアに視線を向けているかを特定できる。

上述した技術のうち、瞳の観測結果を用いる方法では、ユーザーの視線方向を特定することができるが、その方向が表示画面内のどの位置に対応しているかまでは特定できない。そのため、視線方向と表示画面との対応関係を特定するキャリブレーション処理が必要になる。このキャリブレーション処理は、例えばユーザーに表示画面内の複数の基準位置を順に注視してもらい、そのそれぞれのタイミングでユーザーの視線方向を特定するなどの手順で行われる。しかしながら、このようなキャリブレーション処理は、ユーザーにとって手間がかかる。さらに、一度キャリブレーション処理を終えても、ユーザーと表示装置との位置関係にずれが生じたりすると再度キャリブレーション処理を実行する必要が生じるため、ユーザーの負担が増加する。

これに対して脳波を用いる方法によれば、直接的にユーザーが注目している表示画面内の位置を特定することができる。しかしながら、この方法では、注目位置を特定する際にしばらくの間表示画面の全体に特定パターンで明滅する映像を表示する必要があり、映像の自由度が著しく損なわれてしまう。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、比較的ユーザーの負担が少なく、かつ映像への影響も比較的少ない方法で、ユーザーが注目する表示画面内の位置を特定することのできる視線検出装置、その制御方法、及びその制御プログラムを提供することにある。

本発明に係る視線検出装置は、ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続され、表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定する注目位置特定部と、前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定する対応関係特定部と、を含むことを特徴とする。

本発明に係る視線検出装置の制御方法は、ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続される視線検出装置の制御方法であって、表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定するステップと、前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定するステップと、を含むことを特徴とする。

本発明に係るプログラムは、ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続されるコンピュータを、表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定する注目位置特定部、及び、前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定する対応関係特定部、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る視線検出装置を含む姿勢検出システムのシステム構成図である。 本発明の実施の形態に係る視線検出装置の機能を示す機能ブロック図である。 表示画面内に設定される注目領域の一例を示す図である。 表示画面内に設定される注目領域の別の例を示す図である。 表示画面内に設定される注目領域のさらに別の例を示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の実施の形態に係る視線検出装置１０を含む視線検出システム１のシステム構成図である。同図に示されるように、視線検出システム１は、視線検出装置１０と、表示装置２０と、瞳観測装置３０と、脳波測定装置４０と、を含む。

視線検出装置１０は、据え置き型ゲーム機やパーソナルコンピュータ等の情報処理装置であって、図１に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。

制御部１１は、少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムに従って各種の情報処理を実行する。制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによる処理の対象となるデータを記憶する。

インタフェース部１３は、無線、又は有線で表示装置２０、瞳観測装置３０、及び脳波測定装置４０のそれぞれと接続され、これらの装置との間で各種のデータを送受信する。具体的にインタフェース部１３は、表示装置２０に対して映像信号を送信する。また、瞳観測装置３０、及び脳波測定装置４０のそれぞれから、ユーザーを測定して得られるデータを受信する。

表示装置２０は、視線検出装置１０から受信した映像信号に応じた映像を表示して、ユーザーに提示する。なお、表示装置２０は、ユーザーが頭部に装着して使用するヘッドマウントディスプレイ等であってもよい。以下では、表示装置２０が映像を表示する領域を、表示画面Ｓと表記する。

瞳観測装置３０は、ユーザーの視線方向を特定するために、ユーザーの瞳を観測し、観測結果を視線検出装置１０に対して送信する。瞳観測装置３０は、カメラや赤外線センサー等を含んで構成される。また、観測のために赤外線等をユーザーの瞳に照射する発光部を備えてもよい。また、瞳観測装置３０は、ユーザーの頭部に装着されてもよいし、ユーザーから離れた位置に配置するものであってもよい。さらに、表示装置２０がユーザーの頭部に装着して使用するタイプのデバイスの場合、瞳観測装置３０は表示装置２０内に配置されてもよい。

脳波測定装置４０は、ユーザーの脳波を測定する。具体的に脳波測定装置４０は、ユーザーの頭部に装着されるセンサーを含んで構成されており、このセンサーが検出する電気信号を視線検出装置１０に対して送信する。

以下、視線検出装置１０が実現する機能について、図２の機能ブロック図を用いて説明する。図２に示すように、視線検出装置１０は、機能的に、視線方向特定部５１と、視線注目位置特定部５２と、アプリケーション実行部５３と、キャリブレーション処理部５４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に格納されているプログラムを実行することによって実現される。このプログラムは、インターネット等の通信ネットワークを介して視線検出装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

視線方向特定部５１は、瞳観測装置３０の観測結果を用いて、ユーザーの視線方向を特定する。具体的に視線方向特定部５１は、瞳観測装置３０の観測結果に含まれる瞳孔の位置や、瞳孔内に写っている光の反射点などの位置を用いて、ユーザーの視線方向を特定する。

視線注目位置特定部５２は、視線方向特定部５１が特定した視線方向の情報を用いて、ユーザーが注目している表示画面Ｓ内の位置を特定する。以下では、ユーザーが注目している表示画面Ｓ内の位置（すなわち、ユーザーの視線が向けられている位置）を、注目位置Ｐと表記する。ここで、ユーザーの視線方向と表示画面Ｓ内の位置との間の対応関係（以下、視線−画面対応関係という）は、後述するキャリブレーション処理部５４によって特定される。視線注目位置特定部５２は、キャリブレーション処理部５４によって特定される視線−画面対応関係を用いて、視線方向を表示画面Ｓ内の注目位置Ｐに変換する。

アプリケーション実行部５３は、制御部１１がアプリケーションプログラムを実行することにより実現される。具体的にアプリケーション実行部５３は、例えばゲームプログラム等、ユーザーの操作に応じて表示装置２０の表示画面Ｓに表示する内容を更新する各種のプログラムを実行してよい。また、本実施形態においてアプリケーション実行部５３は、視線注目位置特定部５２によって特定される注目位置Ｐの情報を、ユーザーによる入力の一種として利用することとする。

キャリブレーション処理部５４は、前述した視線−画面対応関係を特定する処理（以下、キャリブレーション処理という）を実行する。具体的にキャリブレーション処理部５４は、機能的に、注目領域特定部５４ａと、脳波注目位置特定部５４ｂと、対応関係特定部５４ｃと、を含んで構成されている。以下、これらの機能によって実現されるキャリブレーション処理の内容について、説明する。

注目領域特定部５４ａは、表示画面Ｓ内において、ユーザーが現在注目していると推定される領域を特定する。以下では、注目領域特定部５４ａが特定する表示画面Ｓ内の一部の領域を、注目領域Ａという。注目領域特定部５４ａが注目領域Ａを特定する方法の具体例については、後述する。

脳波注目位置特定部５４ｂは、視線注目位置特定部５２とは異なり、脳波測定装置４０による測定結果を用いて、表示画面Ｓ内においてユーザーが注目する注目位置Ｐを特定する。具体的に脳波注目位置特定部５４ｂは、表示画面Ｓに所定パターンの映像を表示させる。この所定パターンの映像は、例えば、表示画面Ｓ内の複数のエリアのそれぞれを、他のエリアとは異なるパターン（異なる周波数や位相など）で明滅させる映像であってよい。以下では、脳波注目位置特定部５４ｂが脳波による注目位置Ｐ特定のために表示する所定パターンの映像を、単にパターン映像という。このようなパターン映像の表示中に、ユーザーの脳波に現れる波形を解析することで、脳波注目位置特定部５４ｂはユーザーが複数のエリアのうちどのエリアを注目しているかを特定する。例えば複数のエリアを互いに異なる周波数で明滅させる場合、ユーザーが注目しているエリアの周波数に対応する波形が脳波に現れる。そこで、脳波測定装置４０による測定結果に含まれる脳波に現れる波形の周波数を特定することで、ユーザーが注目しているエリアを特定できる。このエリアの代表位置（例えば中心点）を、注目位置Ｐとして特定する。

特に本実施形態では、脳波注目位置特定部５４ｂは、表示画面Ｓの全体にパターン映像を表示するのではなく、注目領域特定部５４ａが特定した注目領域Ａ内に選択的にパターン映像を表示することとする。注目領域Ａの推定が正しく行われていれば、注目位置Ｐは注目領域Ａ内に存在するはずであり、注目領域Ａの外側をユーザーが注目している可能性は低い。そこで脳波注目位置特定部５４ｂは、パターン映像として、注目領域Ａ内のみを対象にその内部を複数のエリアに分割し、エリア毎に異なるパターンで明滅する映像を表示する。一方、注目領域Ａ以外の領域には通常の映像（アプリケーション実行部５３が描画する映像）を表示し続けることとする。そして、このようなパターン映像を一部に含んだ映像の表示中におけるユーザーの脳波の測定結果を用いて、注目領域Ａ内のどの位置をユーザーが注目しているかを特定する。こうすれば、脳波を用いて注目位置Ｐを特定する際に表示画面Ｓの全体を明滅させるような映像を表示する必要がなくなり、表示中の映像への影響を必要最小限に留めることができる。

対応関係特定部５４ｃは、脳波注目位置特定部５４ｂが特定した注目位置Ｐの情報と、視線方向特定部５１が特定した視線方向の情報と、を用いて、視線−画面対応関係を特定する。具体的に対応関係特定部５４ｃは、脳波注目位置特定部５４ｂによる注目位置Ｐの特定が行われている際に瞳観測装置３０の観測結果から特定された視線方向の情報を、特定された注目位置Ｐと対応づける。このような処理を、表示画面Ｓ内の複数の注目位置Ｐについて実行することで、表示画面Ｓ内部の任意の位置と視線方向との対応関係、すなわち視線方向を表示画面Ｓ内の位置に変換する変換式のパラメーターを得ることができる。

以上説明したようなキャリブレーション処理によって得られる視線−画面対応関係の情報を利用することで、視線注目位置特定部５２は、視線方向特定部５１が特定した視線方向の情報を用いて注目位置Ｐを特定することができる。このように、脳波を用いて特定された注目位置Ｐと瞳の観測結果を用いて特定された視線方向とを対応づけることによって、本実施形態に係る視線検出装置１０は、ユーザーに特定の位置を複数回にわたって注目させるような動作を要求せずとも、視線−画面対応関係を特定することができる。また、予め注目領域Ａの絞り込みを行うことによって、脳波を用いた注目位置Ｐの特定を実行する際に、表示画面Ｓの全体にパターン映像を表示させる必要がなくなり、キャリブレーション処理のために専用の時間を確保する必要がなくなる。そのため、アプリケーション実行部５３が描画するアプリケーションプログラムの処理結果を示す映像の表示中にも、キャリブレーション処理を実行することが可能となる。

以下、注目領域特定部５４ａが注目領域Ａを特定する方法のいくつかの具体例について、説明する。

まず第１の例として、表示画面Ｓ内に表示される内容に応じた特定方法の例について、説明する。この例では、注目領域特定部５４ａは、アプリケーション実行部５３から表示中の注目オブジェクトに関する情報を取得する。ここで注目オブジェクトとは、ユーザーがその時点で注目していると想定される表示要素であって、アプリケーション実行部５３によって特定される。具体例として、アプリケーション実行部５３が複数の選択候補オブジェクト（例えばメニュー項目等）を含んだ表示画面Ｓに表示しており、ユーザーが操作デバイスを操作するなどしてそのうちのいずれかを選択した場合、ユーザーの視線は選択されたオブジェクトに向けられていると推定される。そこで注目領域特定部５４ａは、選択候補オブジェクトの中から選択されたオブジェクトを含む領域を注目領域Ａとして特定する。

図３は、この例において表示画面Ｓ内に設定された注目領域Ａの一例を示す図である。この図では、複数のメニュー項目を含んだメニュー画面が表示画面Ｓに表示されており、そのうち一つのメニュー項目Ｉが選択状態にある。そして、そのメニュー項目Ｉを含むように注目領域Ａが設定されている。

注目領域特定部５４ａは、選択されたメニュー項目に限らず、各種の注目オブジェクトを含む領域を注目領域Ａとして特定してもよい。一例として、アプリケーション実行部５３がユーザーの操作指示に応じて移動するオブジェクトを表示画面Ｓ内に表示している場合、注目領域特定部５４ａは、そのオブジェクトを含むそのオブジェクトの周辺の領域を注目領域Ａとして特定する。具体例として、アプリケーション実行部５３がシューティングゲームのプログラムを実行している場合、銃の照準を表す照準マークＣが表示画面Ｓ内に表示され、ユーザーの操作に応じて表示画面Ｓ内を移動する。注目領域特定部５４ａは、この照準マークＣの周辺を注目領域Ａとして設定してもよい。図４は、この場合の注目領域Ａの一例を示す図である。また、アプリケーション実行部５３が表示画面Ｓ内に表示されるユーザーキャラクターを操作するゲームのプログラムを実行している場合、注目領域特定部５４ａはそのユーザーキャラクターを含む領域を注目領域Ａとして設定してもよい。また、ユーザーが表示画面Ｓ内に表示されるカーソルやポインタ等を操作可能な場合、そのカーソルやポインタの周辺の領域を注目領域Ａとして設定してもよい。

また、注目領域特定部５４ａは、一度キャリブレーション処理が実行されて視線−画面対応関係が特定された後は、視線注目位置特定部５２によって特定される注目位置Ｐに基づいて注目領域Ａを特定してもよい。一度キャリブレーションが完了した後も、ユーザーと表示装置２０との位置関係にずれが生じたりすると、視線−画面対応関係にも変化が生じてしまう。そのため、ユーザーが視線検出装置１０を使用している間、キャリブレーション処理部５４は、ユーザーからの指示があったタイミングや、前回のキャリブレーションから所定時間が経過したタイミングなど、所定のタイミングでキャリブレーション処理を繰り返し実行することが好ましい。このような場合において、２回目以降のキャリブレーション処理を実行する際には、前回のキャリブレーション処理によって得られた視線−画面対応関係から大きな変化は生じていないと想定される。そこで注目領域特定部５４ａは、２回目以降のキャリブレーション処理が行われる際には、前回のキャリブレーションの結果得られている視線−画面対応関係に基づいて視線注目位置特定部５２が特定する注目位置Ｐを中心として、その周囲の所定の大きさの領域を、注目領域Ａとして特定してもよい。

特にアプリケーション実行部５３は、視線注目位置特定部５２が特定した注目位置Ｐを用いて、Ｆｏｖｅａｔｅｄ Ｒｅｎｄｅｒｉｎｇなどと呼ばれる技術を適用した画像を描画する場合がある。具体的にアプリケーション実行部５３は、表示画面Ｓに表示する画像を描画する際に、注目位置Ｐ近傍の領域は比較的高解像度で描画し、それ以外の領域は比較的低解像度で描画する。これにより、全体として描画処理の負荷を抑えながら、ユーザーが注目する領域は高解像度で描画された画像を表示できる。ここで、Ｆｏｖｅａｔｅｄ Ｒｅｎｄｅｒｉｎｇで描画された複数種類の解像度が混在する画像を複合画像と表記し、複合画像内で最も高い解像度で描画される領域（視線注目位置特定部５２が特定した注目位置Ｐを含む領域）を高解像度領域Ｈ、それ以外の領域を低解像度領域という。なお、低解像度領域も、さらに注目位置Ｐまでの距離に応じて複数の領域に分割され、領域ごとに異なる解像度で描画されてもよい。

アプリケーション実行部５３が複合画像を表示している場合、視線−画面対応関係に変化が生じると、現実にユーザーが注目している位置（真の注目位置）を高解像度で表示することができなくなり、不都合が生じる。そのため複合画像の表示中は、特に真の注目位置が高解像度領域から外れていないかを検出できることが望ましい。そこでキャリブレーション処理部５４は、複合画像の表示中、所定のタイミングでキャリブレーション処理を実行することとする。なお、このようなキャリブレーション処理は、継続的に（すなわち、複合画像が表示されている間常に）実行されてもよいし、所定の条件が満たされたタイミングなどに実行されてもよい。以下では、複合画像の表示中におけるキャリブレーション処理の具体例について、説明する。

注目領域特定部５４ａは、高解像度領域Ｈ、及びその周囲の領域（以下、外周領域Ｏという）を注目領域Ａとして設定する。外周領域Ｏは、高解像度領域Ｈを取り囲む環状の領域となる。この例では、脳波注目位置特定部５４ｂは、高解像度領域Ｈと外周領域Ｏについて互いに異なるパターンで明滅するようなパターン映像を表示し、そのパターン映像を表示中に測定されるユーザーの脳波を用いて、注目位置Ｐを特定する。これにより、ユーザーが高解像度領域Ｈ内の位置を注目しているのか、あるいは外周領域Ｏ内の位置を注目しているのかを識別することができる。ユーザーが外周領域Ｏ内の位置を注目している場合、対応関係特定部５４ｃは、脳波注目位置特定部５４ｂの特定結果を用いて視線−画面対応関係を再定義する。その後、視線注目位置特定部５２は、再定義された視線−画面対応関係を用いて注目位置Ｐを特定し、アプリケーション実行部５３は特定された注目位置Ｐを含む領域を高解像度領域Ｈとして複合画像を描画する。これにより、ユーザーが注目する位置を高解像度で描画することができる。

さらに、脳波注目位置特定部５４ｂは、段階的に注目位置Ｐを特定する処理を実行してもよい。具体的に脳波注目位置特定部５４ｂは、まず第１段階の処理として、ユーザーの真の注目位置が高解像度領域Ｈか、外周領域Ｏかを識別する処理を行う。この場合、脳波注目位置特定部５４ｂは、外周領域Ｏの全体で、高解像度領域Ｈとは異なる周波数で明滅するようなパターン映像を表示する。これによりユーザーが高解像度領域Ｈ内を注目していると判定された場合、それ以上の処理は行われず、通常の描画処理が続けられる。一方、ユーザーが外周領域Ｏ内を注目していると判定された場合、第２段階の処理として、外周領域Ｏ内を例えば放射状に分割し、分割された領域ごとに他の領域と異なる周波数で明滅するようなパターン映像を表示する。図５は、この場合において複数の領域に分割された外周領域Ｏの一例を示している。この例では、破線で囲まれた外周領域Ｏが注目領域Ａに相当しており、一点鎖線は外周領域Ｏを放射状に分割して得られる各領域を示している。この第２段階の処理によって、脳波注目位置特定部５４ｂは、外周領域Ｏ内のどの位置をユーザーが注目しているのかを詳細に特定する。このような段階的な処理によれば、真の注目位置が高解像度領域Ｈから外れるまでの間は、比較的単純なパターン映像を表示するだけでよくなる。

なお、このような段階的な注目位置Ｐの特定処理を実行する場合、第１段階の処理と第２段階との処理とで、パターン映像を表示する範囲を変化させてもよい。例えば第１段階の処理では表示画面Ｓ全体を対象にパターン映像を表示してもよい。また、第２段階の処理を行う際にはユーザーの注目する位置は高解像度領域Ｈから外れていることが分かっているので、高解像度領域Ｈ内にはパターン映像を表示しないこととしてもよい。すなわち、段階的な処理を行う際には、最初の段階では比較的広い範囲を注目領域Ａとして設定し、次の段階では前の段階で注目位置Ｐを含むと判定された、前の段階における注目領域Ａよりも狭い領域を新たな注目領域Ａとして設定し、その範囲にパターン映像を表示する。このように注目領域Ａを狭めながら、その注目領域Ａ内においてユーザーが注目する領域を特定する処理を繰り返すことによって、段階的に注目位置Ｐを絞り込むことができる。

また、注目領域特定部５４ａは、脳波測定装置４０による脳波の測定結果を用いて、注目領域Ａを特定してもよい。具体例として、ユーザーが注目している表示要素が表示画面Ｓに表示されると、その表示に反応する波形が脳波に現れることが知られている。そのため、複数の表示要素を順に互いに異なる位置に表示した場合に、脳波の測定結果を参照することで、ユーザーが意識している表示要素を特定することができる。このような手法によれば、ユーザーが操作デバイスに対する操作などを行うことなく複数の要素のいずれかを選択する指示入力を実現することができる。このときユーザーは、自身が注目している表示要素が表示された位置に視線を向けると想定される。そこで、脳波の測定結果を用いてユーザーが注目する表示要素が特定された場合、注目領域特定部５４ａは、特定された表示要素が表示された位置を中心とした領域を注目領域Ａとして特定してもよい。

以下、本実施形態に係る視線検出装置１０の制御部１１が実行する処理の流れの具体例について、図６のフロー図を用いて説明する。以下では具体例として、アプリケーション実行部５３は図４に示したようなシューティングゲームのプログラムを実行することとし、キャリブレーション処理部５４はこのシューティングゲームの実行中にキャリブレーション処理を実行するものとする。また、ここでは表示装置２０はユーザーが頭部に装着して使用するヘッドマウントディスプレイであることとし、視線検出装置１０は表示装置２０に内蔵されたモーションセンサー等を用いて表示装置２０の姿勢（向き）を特定し、特定された姿勢に応じて画像を更新するものとする。さらに、この例ではアプリケーション実行部５３は視線注目位置特定部５２が特定する注目位置Ｐに応じて照準マークＣの表示位置を変化させることとする。

まずアプリケーション実行部５３は、モーションセンサー等の検出結果を用いて表示装置２０の姿勢（方向）を特定する（Ｓ１）。さらに視線注目位置特定部５２が、視線方向特定部５１によって特定される視線方向と、過去のキャリブレーション処理によって特定されている視線−画面対応関係に基づいて、注目位置Ｐを特定する（Ｓ２）。

続いてアプリケーション実行部５３は、Ｓ１で特定された姿勢に対応する方向から仮想空間内を見た様子を示す空間画像を描画する（Ｓ３）。そして、Ｓ２で特定された注目位置Ｐに対応する空間画像内の位置に、照準マークＣを配置する（Ｓ４）。

次にキャリブレーション処理部５４が、キャリブレーション処理を実行するか否か判定する（Ｓ５）。キャリブレーション処理部５４は、例えば前回のキャリブレーション処理から所定時間が経過した場合にキャリブレーション処理を実行すると判定してもよいし、照準マークＣが所定時間以上大きな距離を移動していない場合にキャリブレーション処理を実行すると判定してもよい。キャリブレーション処理を実行しないと判定された場合、照準マークＣを含んだ空間画像が表示装置２０の表示画面Ｓに表示される（Ｓ６）。そして、Ｓ１に戻って次のサイクルの処理が実行される。

一方、Ｓ５でキャリブレーション処理を実行すると判定された場合、注目領域特定部５４ａは、Ｓ４で照準マークＣが配置された位置を中心に、注目領域Ａを設定する（Ｓ７）。この例では、視線注目位置特定部５２が特定する注目位置Ｐに応じて注目領域Ａが特定されていることになる。脳波注目位置特定部５４ｂは、Ｓ３で描画された空間画像のうち、Ｓ７で設定された注目領域Ａ内に、パターン映像を重ねて描画する（Ｓ８）。そして、パターン映像の内容を含んだ空間画像が表示装置２０の表示画面Ｓに表示される（Ｓ９）。

その後、脳波注目位置特定部５４ｂは、脳波測定装置４０が測定した脳波を用いて、注目位置Ｐの特定を試みる（Ｓ１０）。注目位置Ｐが特定されれば、対応関係特定部５３ｃが、Ｓ２で特定された注目位置ＰとＳ８で特定された注目位置Ｐとのずれを補正するように、視線−画面対応関係の内容（具体的には、視線方向を表示画面Ｓ内の位置に変換する変換パラメーター）を更新する（Ｓ１１）。

視線−画面対応関係の更新が行われた場合、及び脳波による注目位置Ｐの特定が完了していない場合のいずれの場合にも、Ｓ１に戻って次のサイクルの処理が実行される。視線−画面対応関係の更新が行われた場合、次にＳ２で視線注目位置特定部５２が注目位置Ｐを特定する際には、更新された視線−画面対応関係に基づいて特定が行われる。以上説明したような処理を繰り返すことで、定期的に視線−画面対応関係を更新しながら、ゲームの処理を継続的に実行することができる。

以上説明したように、本実施形態に係る視線検出装置１０によれば、通常時にはユーザーの視線方向に基づいて注目位置Ｐを特定するので、常にユーザーの脳波を測定して注目位置Ｐを特定する場合と比較して、任意の映像を表示しながら注目位置Ｐの特定を行うことができる。また、視線方向と表示画面Ｓ内の位置との対応関係を特定するキャリブレーション処理を実行する際には、脳波を測定した結果を利用することで、ユーザーに特定の位置をわざわざ注視してもらう必要がなくなり、ユーザーへの負担を比較的少なくすることができる。

さらに、表示画面Ｓの一部の注目領域Ａに選択的にパターン映像を表示することで、アプリケーションプログラムの実行中などに、アプリケーションプログラムが描画する映像を表示しながらキャリブレーション処理を実行することができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、視線方向特定部５１、視線注目位置特定部５２、及びキャリブレーション処理部５４の機能は、アプリケーションプログラムとは別のプログラムによって実現されることとしたが、これらの機能の一部又は全部は、アプリケーションプログラム内で実現されてもよい。

また、以上の説明ではキャリブレーション処理を実行する際には常に表示画面Ｓの一部の注目領域Ａに選択的にパターン映像を表示することとしたが、場面によっては表示画面Ｓの全体にパターン映像を表示してキャリブレーション処理を実行してもよい。この場合、注目領域Ａの推定を行う必要はなく、ユーザーが表示画面Ｓのどこを注目していてもキャリブレーション処理を実行することができる。

１ 視線検出システム、１０ 視線検出装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 表示装置、３０ 瞳観測装置、４０ 脳波測定装置、５１ 視線方向特定部、５２ 視線注目位置特定部、５３ アプリケーション実行部、５４ キャリブレーション処理部、５４ａ 注目領域特定部、５４ｂ 脳波注目位置特定部、５４ｃ 対応関係特定部。

Claims (9)

1. ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続され、
   表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定する注目位置特定部と、
   前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定する対応関係特定部と、
   を含むことを特徴とする視線検出装置。
2. 請求項１に記載の視線検出装置において、
   前記画面内において前記ユーザーが注目していると推定される注目領域を特定する注目領域特定部をさらに含み、
   前記注目位置特定部は、前記画面のうちの前記注目領域に選択的に前記所定パターンの映像を表示させ、前記注目領域内における前記ユーザーの注目位置を特定する
   ことを特徴とする視線検出装置。
3. 請求項２に記載の視線検出装置において、
   前記注目領域特定部は、前記画面に表示されている、前記ユーザーが注目すると想定される注目オブジェクトを含む領域を、前記注目領域として特定する
   ことを特徴とする視線検出装置。
4. 請求項３に記載の視線検出装置において、
   前記注目オブジェクトは、複数の選択候補オブジェクトの中から前記ユーザーが選択したオブジェクトである
   ことを特徴とする視線検出装置。
5. 請求項３に記載の視線検出装置において、
   前記注目オブジェクトは、前記ユーザーの指示に応じて前記画面内を移動するオブジェクトである
   ことを特徴とする視線検出装置。
6. 請求項２に記載の視線検出装置において、
   前記注目領域特定部は、前記瞳観測装置の観測結果と、過去に前記対応関係特定部が特定した対応関係と、に応じて特定される前記ユーザーの注目位置を含む領域を、前記注目領域として特定する
   ことを特徴とする視線検出装置。
7. 請求項６に記載の視線検出装置において、
   前記注目位置特定部は、前記注目領域を狭めながら、当該注目領域内における前記ユーザーが注目する領域を特定する処理を複数回にわたって実行することにより、前記注目位置を特定する
   ことを特徴とする視線検出装置。
8. ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続される視線検出装置の制御方法であって、
   表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定するステップと、
   前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定するステップと、
   を含むことを特徴とする視線検出装置の制御方法。
9. ユーザーの脳波を測定する脳波測定装置と、ユーザーの瞳を観測する瞳観測装置と、表示装置と、に接続されるコンピュータを、
   表示装置の画面に所定パターンの映像を表示させた際の前記脳波測定装置の測定結果を用いて、前記画面内における前記ユーザーの注目位置を特定する注目位置特定部、及び、
   前記注目位置の特定が行われる際の前記瞳観測装置の観測結果と、前記特定された注目位置と、を用いて、前記ユーザーの視線方向と前記画面内の位置との対応関係を特定する対応関係特定部、
   として機能させるためのプログラム。

Images