[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7047676B2 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
JP7047676B2
JP7047676B2 JP2018163114A JP2018163114A JP7047676B2 JP 7047676 B2 JP7047676 B2 JP 7047676B2 JP 2018163114 A JP2018163114 A JP 2018163114A JP 2018163114 A JP2018163114 A JP 2018163114A JP 7047676 B2 JP7047676 B2 JP 7047676B2
Authority
JP
Japan
Prior art keywords
instruction
area
display screen
data
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018163114A
Other languages
English (en)
Other versions
JP2020032078A (ja
Inventor
勝行 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018163114A priority Critical patent/JP7047676B2/ja
Priority to PCT/JP2019/021416 priority patent/WO2020044691A1/ja
Priority to EP19853433.1A priority patent/EP3821816B1/en
Publication of JP2020032078A publication Critical patent/JP2020032078A/ja
Priority to US17/168,219 priority patent/US11937928B2/en
Application granted granted Critical
Publication of JP7047676B2 publication Critical patent/JP7047676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、評価装置、評価方法、及び評価プログラムに関する。
近年、認知機能障害および脳機能障害が増加傾向にあるといわれており、このような認知機能障害および脳機能障害を早期に発見し、症状の重さを定量的に評価することが求められている。認知機能障害および脳機能障害の症状は、認知能力に影響することが知られている。このため、被験者の認知能力に基づいて被験者を評価することが行われている。例えば、複数種類の数字を表示し、その数字を被験者に加算させて答えを求めさせ、被験者の出した答えを確認する装置が提案されている(例えば、特許文献1参照)。
特開2011-083403号公報
しかしながら、特許文献1等の方法では、被験者がタッチパネルの操作等により答えを選択する形態であるため、偶然性も含めて検証が困難であり、高い評価精度を得ることが難しかった。そのため、精度よく認知機能障害および脳機能障害を評価することが求められていた。
本発明は、上記に鑑みてなされたものであり、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
本発明に係る評価装置は、画像を表示する表示画面と、前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う表示制御部と、前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する領域設定部と、前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する判定部と、判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する演算部と、前記指示移動経過データに基づいて、前記被験者の評価データを求める評価部とを備える。
本発明に係る評価方法は、表示画面に画像を表示することと、前記表示画面を観察する被験者の注視点の位置を検出することと、前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行うことと、前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定することと、前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定することと、判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出することと、前記指示移動経過データに基づいて、前記被験者の評価データを求めることとを含む。
本発明に係る評価プログラムは、表示画面に画像を表示する処理と、前記表示画面を観察する被験者の注視点の位置を検出する処理と、前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う処理と、前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する処理と、前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する処理と、前記指示移動経過データに基づいて、前記被験者の評価データを求める処理とをコンピュータに実行させる。
本発明によれば、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することができる。
図1は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図3は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図4は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図8は、指示表示動作において表示画面に表示する内容の一例を示す図である。 図9は、対象表示動作において表示画面に複数の対象物を表示する場合の一例を示す図である。 図10は、指示表示動作において表示画面に表示する内容の他の例を示す図である。 図11は、対象表示動作において表示画面に複数の対象物を表示する場合の他の例を示す図である。 図12は、指示表示動作において表示画面に表示する内容の他の例を示す図である。 図13は、対象表示動作において表示画面に複数の対象物を表示する場合の他の例を示す図である。 図14は、指示表示動作において表示画面に表示する内容の他の例を示す図である。 図15は、対象表示動作において表示画面に複数の対象物を表示する場合の他の例を示す図である。 図16は、指示表示動作における評価方法の一例を示すフローチャートである。 図17は、対象表示動作における評価方法の一例を示すフローチャートである。
以下、本発明に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
[視線検出装置]
図1は、第1実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、認知機能障害および脳機能障害の評価を行う評価装置として用いられる。図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置101は、表示画面101Sを有する。表示画面101Sは、画像を表示する。本実施形態において、表示画面101Sは、例えば被験者の視機能を評価するための指標を表示する。表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111の一部(以下、これを含めて「眼球」とする)を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、撮影される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60とを備える。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で撮影された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、被験者に注視させる課題対象物と、課題対象物に関する課題を解決するように被験者に指示する指示情報とを表示画面101Sに表示する指示表示動作を行う。表示制御部202は、指示表示動作において、当該指示表示動作の後に表示画面101Sに表示される複数の対象物の中から課題に対して正解となる対象物を注視するよう指示する情報を指示情報に含ませて表示画面に表示する。表示制御部202は、指示表示動作の後に、指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを複数の対象物として表示画面101Sに表示する対象表示動作を行う。
指示情報は、表示画面101Sに表示可能な文字、図形等を含む。課題としては、例えば課題対象物を被験者に記憶させ、記憶した課題対象物と同一の対象物を選択させる課題等が挙げられる。上記の指示情報、課題対象物、特定対象物及び比較対象物は、例えば被験者に視認させる評価用映像又は評価用画像に含まれている。表示制御部202は、このような評価用映像又は評価用画像を表示画面101Sに表示する。なお、指示情報は、文字を用いた文章等の態様に限定されない。指示情報は、被験者に課題が伝達可能であれば、例えば図形の組み合わせ等、文字を用いない態様であってもよい。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって撮影された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
領域設定部216は、指示表示動作が行われる指示表示期間において、課題対象物に対応した課題領域と、指示情報に対応した指示領域とを表示画面101Sに設定する。また、領域設定部216は、対象表示動作が行われる対象表示期間において、特定対象物に対応した特定領域と、比較対象物に対応した比較領域とを表示画面101Sに設定する。
判定部218は、指示表示期間において、視点の位置データに基づいて、注視点が課題領域及び指示領域に存在するか否かをそれぞれ判定し、判定データを出力する。また、判定部218は、対象表示期間において、視点の位置データに基づいて、注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が特定領域及び比較領域に存在するか否かを判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
演算部220は、判定部218の判定データに基づいて、指示表示期間における注視点の移動の経過を示す指示移動経過データを算出する。また、演算部220は、判定部218の判定データに基づいて、対象表示期間における注視点の移動の経過を示す対象移動経過データを算出する。
指示移動経過データは、指示表示期間に注視点が課題領域に存在した存在時間を示す第1存在時間データと、指示表示期間に注視点が指示領域に存在した存在時間を示す第2存在時間データと、指示表示期間の開始時点から注視点が課題領域に到達した到達時点までの時間を示す指示到達時間データと、課題領域と指示領域との間で注視点の位置が移動する回数を示す指示移動回数データと、を含む。
対象移動経過データは、対象表示期間の開始時点から注視点が特定領域に到達した到達時点までの時間を示す対象到達時間データと、注視点が最初に特定領域に到達するまでに複数の比較領域の間で注視点の位置が移動する回数を示す対象移動回数データと、表示期間に注視点が特定領域に存在した存在時間を示す対象存在時間データと、特定領域及び比較領域のうち表示時間において注視点が最後に存在していた領域を示す最終領域データと、を含む。
なお、演算部220は、映像の再生時間を管理する管理タイマと、表示画面101Sに映像が表示されてからの経過時間を検出する検出タイマT1を有する。演算部220は、特定領域について、注視点が存在すると判定された判定回数をカウントするカウンタを有する。
評価部224は、指示移動経過データに基づいて、被験者の評価データを求める。また、評価部224は、指示移動経過データ及び対象移動経過データに基づいて、被験者の評価データを求めることが可能である。評価データは、指示表示動作において、表示画面101Sに表示される課題対象物および指示情報を被験者が注視できているかを評価するデータを含む。また、評価データは、対象表示動作において、表示画面101Sに表示される特定対象物および比較対象物を被験者が注視できているかを評価するデータを含む。
記憶部222は、上記の判定データ、指示移動経過データ(第1存在時間データ、第2存在時間データ、指示到達時間データ、指示移動回数データ)、対象移動経過データ(対象存在時間データ、対象移動回数データ、最終領域データ、対象到達時間データ)、及び評価データを記憶する。また、記憶部222は、表示画面101Sに画像を表示する処理と、表示画面101Sを観察する被験者の注視点の位置を検出する処理と、被験者に注視させる課題対象物と、課題対象物に関する課題を解決するように被験者に指示する指示情報とを表示画面101Sに表示する指示表示動作を行う処理と、課題対象物に対応した課題領域と、指示情報に対応した指示領域とを表示画面101Sに設定する処理と、注視点の位置データに基づいて、指示表示動作が行われる指示表示期間に注視点が課題領域及び指示領域に存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、指示表示期間における注視点の移動の経過を示す指示移動経過データを算出する処理と、指示移動経過データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
出力制御部226は、表示装置101及び出力装置50の少なくとも一方にデータを出力する。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。図4及び図5は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図4は、1つの光源103Cで眼球111が照明される例を示す。図5は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
まず、図4に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図4において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
次に、図5に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。角膜反射中心124の位置データは、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。曲率中心算出部212は、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
次に、本実施形態に係る視線検出方法の一例について説明する。図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。出力制御部226は、設定された目標位置130に目標画像を表示する。直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼球111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図7において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
[評価方法]
次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の視線検出装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。
図8は、指示表示動作において表示画面101Sに表示する内容の一例を示す図である。図8に示すように、表示制御部202は、指示表示動作において、被験者に注視させる課題対象物M01と、課題対象物M01に関する課題を解決するように被験者に指示する指示情報I1とを表示画面101Sに表示する。この場合、課題対象物M01の図形を記憶し、記憶した課題対象物M01と同一の対象物を選択させる、という内容の課題が例として示されている。表示制御部202は、課題対象物M01と指示情報I1とが重ならないように表示画面101Sに表示する。
指示表示動作が行われる指示表示期間において、領域設定部216は、例えば課題対象物M01を含む矩形の範囲に課題領域Aを設定する。また、領域設定部216は、例えば指示情報I1を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題領域Aと指示領域Bとが重ならないように表示画面101Sに設定する。なお、課題領域A、指示領域Bの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。
図9は、対象表示動作において表示画面101Sに複数の対象物を表示する場合の一例を示す図である。表示制御部202は、指示表示動作を所定期間行った後、対象表示動作として、図9に示すように、指示情報I1に対して正解となる特定対象物M1と指示情報I1に対して不正解となる複数の比較対象物M2~M4を表示画面101Sに表示する。
比較対象物M2~M4は、特定対象物M1と類似する形状を有してもよいし、特定対象物M1とは非類似の形状を有してもよい。図9に示す例では、比較対象物M2は台形と円形とを組み合わせた形状、比較対象物M3は正方形と円形を組み合わせた形状、比較対象物M4は円形と正六角形とを組み合わせた形状をそれぞれ有している。表示制御部202は、特定対象物M1と比較対象物M2~M4とを含む複数の対象物を表示画面101Sに表示することにより、被験者に特定対象物M1を見つけさせると共に、見つけさせた特定対象物M1を注視させる。
なお、図9では、表示画面101Sにおいて、例えば計測後に結果表示される注視点Pの一例を示しているが、当該注視点Pは、実際には表示画面101Sには表示されない。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば20[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。
対象表示動作が行われる対象表示期間において、領域設定部216は、特定対象物M1に対応した特定領域A1を設定する。また、領域設定部216は、比較対象物M2~M4のそれぞれに対応した比較領域A2~A4を設定する。なお、特定領域A1及び比較領域A2~A4は、表示画面101Sには表示されない。
領域設定部216は、例えば特定対象物M1を含む矩形の範囲に特定領域A1を設定する。同様に、領域設定部216は、例えば比較対象物M2~M4を含む矩形の範囲にそれぞれ比較領域A2~A4を設定する。なお、特定領域A1、比較領域A2~A4の形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。表示制御部202は、特定領域A1と比較領域A2~A4とが重ならないように表示画面101Sに設定する。
認知機能障害および脳機能障害の症状は、被験者の認知能力及び記憶力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、指示表示動作において表示画面101Sに表示される指示情報I1を見た後、指示情報I1が示す課題対象物M01を注視して課題対象物M01の形状を記憶しようとする。また、被験者が認知機能障害および脳機能障害ではない場合、対象表示動作において表示画面101Sに表示される比較対象物M2~M4を1つ1つ見て、指示表示動作において記憶した特定対象物M1と比べた上で同一ではないと判定し、最終的には特定対象物M1を発見して注視することができる。
これに対して、被験者が認知機能障害および脳機能障害である場合、指示表示動作において指示情報I1を見続けたり、指示情報I1と課題対象物M01とを交互に見たりして、課題対象物M01を集中して見ない傾向にある。また、被験者が認知機能障害および脳機能障害である場合、指示表示動作において特定対象物M1を記憶することができないことがあり、または記憶しても直ぐに忘れてしまうことがある。そのため、対象表示動作において上記のような比較ができず、特定対象物M1を注視できないことがある。
また、対象表示動作において複数の対象物M1、M2、M3、M4を表示画面101Sに表示する方式では、対象表示動作の開始時に、被験者の注視点が正解である特定対象物M1等に偶然配置されてしまう場合がある。このような場合、被験者が認知機能障害および脳機能障害であるか否かに関わらず正解として判定される可能性があるため、被験者を高精度に評価することが困難となる。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
まず、指示表示動作として、表示画面101Sに課題対象物M01及び指示情報I1を表示させる。この場合に、被験者が表示画面101Sに表示される指示情報I1を見た後、指示情報I1が示す課題対象物M01を注視して課題対象物M01の形状を記憶しようとしているか否かの観点から被験者を評価することが可能である。また、逆に指示表示動作において被験者が指示情報I1を見続けたりしていないか、指示情報I1と課題対象物M01とを交互に見たりしていないか、課題対象物M01を集中して見ないことはないか、という観点から被験者を評価することが可能である。
また、対象表示動作として、表示画面101Sに特定対象物M1と複数の比較対象物M2~M4とを表示させた状態とする。この場合に、被験者が複数の比較対象物M2~M4を1つ1つ注視しているか否か、被験者が最終的に正解となる特定対象物M1に到達できるか否か、被験者が特定対象物M1に到達するまでに要する時間の長さはどれだけか、被験者が特定対象物M1を注視できているか否か、等の観点から被験者を評価することが可能である。
例えば、指示表示動作において、被験者の注視点Pの位置データが検出された場合、判定部218は、被験者の注視点が課題領域A及び指示領域Bに存在するかを判定し、判定データを出力する。
演算部220は、判定データに基づいて、指示表示期間における注視点Pの移動の経過を示す指示移動経過データを算出する。演算部220は、指示移動経過データとして、第1存在時間データと、第2存在時間データと、指示到達時間データと、指示移動回数データとを算出する。
第1存在時間データは、注視点Pが課題領域Aに存在した存在時間を示す。本実施形態では、判定部218により注視点が課題領域Aに存在すると判定された回数が多いほど、課題領域Aに注視点Pが存在した存在時間が長いと推定することができる。したがって、第1存在時間データは、課題領域Aに注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTAを第1存在時間データとすることができる。
第2存在時間データは、注視点Pが指示領域Bに存在した存在時間を示す。本実施形態では、判定部218により注視点が指示領域Bに存在すると判定された回数が多いほど、指示領域Bに注視点Pが存在した存在時間が長いと推定することができる。したがって、第2存在時間データは、指示領域Bに注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTBを第1存在時間データとすることができる。
指示到達時間データは、指示表示期間の開始時点から注視点が課題領域Aに最初に到達した到達時点までの時間を示す。したがって、演算部220は、指示表示期間の開始からの経過時間をタイマT1によって測定し、注視点が最初に課題領域Aに到達した時点でフラグ値を1としてタイマT1の測定値を検出することで、当該タイマT1の検出結果を指示到達時間データとすることができる。
指示移動回数データは、注視点Pが課題領域Aと指示領域Bとの間で移動する移動回数を示す。したがって、演算部220は、課題領域A及び指示領域Bの領域間で注視点Pが何回移動したかをカウントし、カウント結果を指示移動回数データとすることができる。
指示表示動作について、評価部224は、第1存在時間データ、第2存在時間データ、指示到達時間データ及び指示移動回数データに基づいて評価データを求める。
ここで、第1存在時間データのデータ値をD11、第2存在時間データのデータ値をD12、指示到達時間データのデータ値をD13、指示移動回数データのデータ値をD14とする。ただし、第1存在時間データのデータ値D11は、課題領域Aに注視点Pが存在した秒数とし、所定の上限値α以上の場合にはαとする。また、第2存在時間データのデータ値D12は、上記の値αから指示領域Bに注視点Pが存在した秒数を減じた値とする。また、指示到達時間データのデータ値D13は、到達時間の逆数(例えば、1/(到達時間)÷10)(10:到達時間の最小値を0.1秒として到達時間評価値を1以下とするための係数)とする。また、指示移動回数データのデータ値D14は、1からカウンタ値を減じた値とする。なお、データ値D14を算出する場合、1から減じるカウンタ値には、上限を設けてもよい。
この場合、評価値ANSは、例えば、
ANS1=D11・K11+D12・K12+D13・K13+D14・K14
と表すことができる。なお、K11~K14は、重みづけのための定数である。定数K11~K14については、適宜設定することができる。
上記式で示される評価値ANS1は、第1存在時間データのデータ値D11が大きい場合、第2存在時間データのデータ値D12が大きい場合、指示到達時間データのデータ値D13が大きい場合、指示移動回数データのデータ値D14が大きい場合に、値が大きくなる。つまり、課題領域Aにおける注視点Pの存在時間が長く、指示領域Bにおける注視点Pの存在時間が短く、指示表示期間の開始時点から課題領域Aに注視点Pが到達する到達時間が短く、注視点Pが課題領域Aと指示領域Bとの間を移動する移動回数が少ないほど、評価値ANS1が大きくなる。
一方、評価値ANS1は、第1存在時間データのデータ値D11が小さい場合、第2存在時間データのデータ値D12が小さい場合、指示到達時間データのデータ値D13が小さい場合、指示移動回数データのデータ値D14が小さい場合に、値が小さくなる。つまり、課題領域Aにおける注視点Pの存在時間が短く、指示領域Bにおける注視点Pの存在時間が長く、指示表示期間の開始時点から課題領域Aに注視点Pが到達する到達時間が長く、注視点Pが課題領域Aと指示領域Bとの間を移動する移動回数が多いほど、評価値ANS1が小さくなる。
したがって、評価部224は、評価値ANS1が所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANS1が所定値以上である場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。また、評価値ANS1が所定値未満である場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
また、例えば対象表示動作において、被験者の注視点Pの位置データが検出された場合、判定部218は、被験者の注視点が特定領域A1、及び複数の比較領域A2~A4に存在するかを判定し、判定データを出力する。
演算部220は、判定データに基づいて、対象表示期間における注視点Pの移動の経過を示す対象移動経過データを算出する。演算部220は、対象移動経過データとして、対象存在時間データと、対象移動回数データと、最終領域データと、対象到達時間データとを算出する。
対象存在時間データは、注視点Pが特定領域A1に存在した存在時間を示す。本実施形態では、判定部218により注視点が特定領域A1に存在すると判定された回数が多いほど、特定領域A1に注視点Pが存在した存在時間が長いと推定することができる。したがって、対象存在時間データは、特定領域A1に注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTA1を対象存在時間データとすることができる。
対象移動回数データは、注視点Pが最初に特定領域A1に到達するまでに複数の比較領域A2~A4の間で注視点Pの位置が移動する移動回数を示す。したがって、演算部220は、特定領域A1及び比較領域A2~A4の領域間で注視点Pが何回移動したかをカウントし、注視点Pが特定領域A1に到達するまでのカウント結果を対象移動回数データとすることができる。
また、最終領域データは、特定領域A1及び比較領域A2~A4のうち対象表示期間において注視点Pが最後に存在していた領域、つまり被験者が回答として最後に注視していた領域を示す。演算部220は、注視点Pが存在する領域を当該注視点Pの検出毎に更新することにより、対象表示期間が終了した時点における検出結果を最終領域データとすることができる。
また、対象到達時間データは、対象表示期間の開始時点から注視点が特定領域A1に最初に到達した到達時点までの時間を示す。したがって、演算部220は、対象表示期間の開始からの経過時間をタイマT1によって測定し、注視点が最初に特定領域A1に到達した時点でフラグ値を1としてタイマT1の測定値を検出することで、当該タイマT1の検出結果を対象到達時間データとすることができる。
対象表示動作について、評価部224は、対象存在時間データ、対象移動回数データ、最終領域データ、及び対象到達時間データに基づいて評価データを求める。
ここで、最終領域データのデータ値をD21、対象存在時間データのデータ値をD22、対象到達時間データのデータ値をD23、対象移動回数データのデータ値をD24とする。ただし、最終領域データのデータ値D21は、被験者の最終的な注視点Pが特定領域A1に存在していれば(つまり、正解であれば)1、特定領域A1に存在していなければ(つまり、不正解であれば)0とする。また、対象存在時間データのデータ値D22は、特定領域A1に注視点Pが存在した秒数とする。なお、データ値D22は、表示期間よりも短い秒数の上限値が設けられてもよい。また、対象到達時間データのデータ値D23は、到達時間の逆数(例えば、1/(到達時間)÷10)(10:到達時間の最小値を0.1秒として到達時間評価値を1以下とするための係数)とする。また、対象移動回数データのデータ値D24は、カウンタ値をそのまま用いることとする。なお、データ値D24は、適宜上限値が設けられてもよい。
この場合、評価値ANSは、例えば、
ANS2=D21・K21+D22・K22+D23・K23+D24・K24
と表すことができる。なお、K21~K24は、重みづけのための定数である。定数K21~K24については、適宜設定することができる。
上記式で示される評価値ANS2は、最終領域データのデータ値D21が1である場合、対象存在時間データのデータ値D22が大きい場合、対象到達時間データのデータ値D23が大きい場合、対象移動回数データのデータ値D24の値が大きい場合に、値が大きくなる。つまり、最終的な注視点Pが特定領域A1に存在し、特定領域A1における注視点Pの存在時間が長く、対象表示期間の開始時点から特定領域A1に注視点Pが到達する到達時間が短く、注視点Pが各領域を移動する移動回数が多いほど、評価値ANS2が大きくなる。
一方、評価値ANS2は、最終領域データのデータ値D21が0である場合、対象存在時間データのデータ値D22が小さい場合、対象到達時間データのデータ値D23が小さい場合、対象移動回数データのデータ値D24が小さい場合に、値が小さくなる。つまり、最終的な注視点Pが特定領域A1に存在せず、特定領域A1における注視点Pの存在時間が短く、対象表示期間の開始時点から特定領域A1に注視点Pが到達する到達時間が長く、注視点Pが各領域を移動する移動回数が少ないほど、評価値ANS2が小さくなる。
したがって、評価部224は、評価値ANS2が所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANS2が所定値以上である場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。また、評価値ANS2が所定値未満である場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
また、評価部224は、評価値ANS2の値を記憶部222に記憶させておくことができる。例えば、同一の被験者についての評価値ANS2を累積的に記憶し、過去の評価値と比較した場合の評価を行ってもよい。例えば、評価値ANS2が過去の評価値よりも高い値となった場合、認知機能及び脳機能が前回の評価に比べて改善されている旨の評価を行うことができる。また、評価値ANS2の累積値が徐々に高くなっている場合等には、認知機能及び脳機能が徐々に改善されている旨の評価を行うことができる。
また、評価部224は、対象存在時間データ、対象移動回数データ、最終領域データ、及び対象到達時間データを個別又は複数組み合わせて評価を行ってもよい。例えば、多くの対象物を見ている間に、偶発的に特定領域A1に注視点Pが到達した場合には、対象移動回数データのデータ値D24は小さくなる。この場合には、上述した対象存在時間データのデータ値D22と併せて評価を行うことができる。例えば、移動回数が少ない場合であっても存在時間が長い場合には、正解となる特定領域A1を注視できていると評価することができる。また、移動回数が少ない場合であって存在時間も短い場合、偶発的に注視点Pが特定領域A1を通過したものがあると評価することができる。
また、移動回数が少ない場合において、最終領域が特定領域A1であれば、例えば正解の特定領域A1に注視点移動が少なくて到達したと評価することができる。一方、上述した移動回数が少ない場合において、最終領域が特定領域A1でなければ、例えば偶発的に注視点Pが特定領域A1を通過したものあると評価することができる。
なお、評価部224は、指示表示動作における評価値ANS1と、対象表示動作における評価値ANS2とを組み合わせて評価を行ってもよい。
本実施形態において、出力制御部226は、評価部224が評価データを出力した場合、評価データに応じて、例えば「被験者は認知機能障害および脳機能障害である可能性が低いと思われます」の文字データや、「被験者は認知機能障害および脳機能障害である可能性が高いと思われます」の文字データ等を出力装置50に出力させることができる。また、出力制御部226は、同一の被験者についての評価値ANSが過去の評価値ANSに比べて高くなっている場合、「認知機能および脳機能が改善されています」等の文字データ等を出力装置50に出力させることができる。
図10は、指示表示動作において表示画面101Sに表示する内容の他の例を示す図である。図10に示すように、表示制御部202は、指示表示動作において、表示画面101Sに課題対象物M02を表示すると共に、当該課題対象物M02と同一の図形を注視するように被験者に指示するための指示情報I2を表示画面101Sに同時に表示させる。領域設定部216は、例えば課題対象物M02を含む矩形の範囲に課題領域Aを設定する。また、領域設定部216は、例えば指示情報I2を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題領域Aと指示領域Bとが重ならないように表示画面101Sに設定する。
図11は、対象表示動作において表示画面101Sに複数の対象物を表示する場合の他の例を示す図である。表示制御部202は、指示表示動作の後、対象表示動作において、図11に示すように、指示情報I2に対して正解となる特定対象物M5と指示情報I2に対して不正解となる比較対象物M6、M7とを表示する。この場合、表示制御部202は、例えば特定対象物M5と比較対象物M6、M7とのように、同一の形状(例、五角形)を用いて形成された図形を表示させる。また、領域設定部216は、特定対象物M5に対応した特定領域A1を設定し、比較対象物M6、M7に対応した比較領域A2、A3を設定することができる。領域設定部216は、特定領域A1と比較領域A2、A3とが重ならないように表示画面101Sに設定する。このように、対象表示動作において、類似する図形である特定対象物M5と比較対象物M6、M7とを表示することにより、被験者の図形認識機能についても評価することができる。
図12は、指示表示動作において表示画面101Sに表示する内容の他の例を示す図である。図12に示すように、表示制御部202は、指示表示動作において、課題対象物M03として、表示画面101Sに人物の顔を表示すると共に、当該課題対象物M03と同一の人物を注視するように被験者に指示するための指示情報I3を表示画面101Sに同時に表示してもよい。この場合、領域設定部216は、例えば課題対象物M03を含む矩形の範囲に課題領域Aを設定する。また、領域設定部216は、例えば指示情報I3を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題領域Aと指示領域Bとが重ならないように表示画面101Sに設定する。
図13は、対象表示動作において表示画面101Sに複数の対象物を表示する場合の他の例を示す図である。表示制御部202は、指示表示動作の後、対象表示動作において、図13に示すように、指示情報I3に対して正解となる課題対象物と同一人物の顔である特定対象物M8と、指示情報I3に対して不正解となる特定対象物M8とは異なる人物の顔である比較対象物M9~M11とを表示画面101Sに表示する。また、領域設定部216は、特定対象物M8に対応した特定領域A1を設定し、比較対象物M9~M11に対応した比較領域A2~A4を設定する。領域設定部216は、特定領域A1と比較領域A2~A4とが重ならないように表示画面101Sに設定する。このように、指示表示動作及び対象表示動作において、人物の顔を表示することにより、被験者の人物認識機能についても評価することができる。
図14は、指示表示動作において表示画面101Sに表示する内容の他の例を示す図である。表示制御部202は、指示表示動作において、複数の三角形を含む図形を課題対象物M04として表示画面101Sに表示し、課題対象物M04の中に存在する三角形の個数を求め、正しい数値を注視するように被験者に指示するための指示を指示情報I4として表示画面101Sに表示してもよい。このように、被験者に与えられる課題は、課題対象物を記憶する内容に限られない。また、領域設定部216は、例えば課題対象物M04を含む矩形の範囲に課題領域Aを設定する。また、領域設定部216は、例えば指示情報I4を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題領域Aと指示領域Bとが重ならないように表示画面101Sに設定する。
図15は、対象表示動作において表示画面101Sに複数の対象物を表示する場合の他の例を示す図である。表示制御部202は、指示表示動作の後、対象表示動作において、図15に示すように、「13」~「16」の数値を示す複数の対象物M13~M16を表示画面101Sに表示する。表示制御部202は、複数の対象物M13~M16として、指示情報I4に対して正解となる特定対象物M13と、当該特定対象物M13とは異なり、指示情報I4に対して不正解となる比較対象物M14~M16とを表示画面101Sに表示する。また、領域設定部216は、特定対象物M13に対応した特定領域A1を設定し、比較対象物M14~M16に対応した比較領域A2~A4を設定する。領域設定部216は、特定領域A1と比較領域A2~A4とが重ならないように表示画面101Sに設定する。
この設定では、評価においてデータ値D21を求める際、被験者の最終的な注視点Pが特定領域A1に存在していない場合にデータ値D21を0にするのではなく、正解に近い数値を回答した順に一定のデータ値を付与することができる。例えば、被験者の最終的な注視点Pが比較領域A2に存在している場合には0.6、被験者の最終的な注視点Pが比較領域A3に存在している場合には0.2、被験者の最終的な注視点Pが比較領域A4に存在している場合には0、というようにデータ値D21を求めるようにしてもよい。このように、したがって、被験者に与える課題を幅広く設定することができ、より詳細な評価を行うことができる。
次に、本実施形態に係る評価方法の一例について説明する。まず、指示表示動作における評価方法の一例を説明する。図16は、指示表示動作における評価方法の一例を示すフローチャートである。図16に示すように、指示表示動作において、表示制御部202は、映像の再生を開始させ(ステップS101)、その後、タイマT1をリセットし(ステップS102)、カウンタのカウント値CNTA、CNTBをリセットし(ステップS103)、フラグ値Fを0にする(ステップS104)。
注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS105)。位置データが検出された場合(ステップS106のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS107)。また、位置データが検出されない場合(ステップS106のYes)、後述するステップS119以降の処理を行う。
注視点Pが課題領域Aに存在すると判定された場合(ステップS108のYes)、演算部220は、フラグ値Fが1であるか否か、つまり、注視点Pが課題領域Aに到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS109)。フラグ値Fが1である場合(ステップS109のYes)、演算部220は、以下のステップS110及びステップS111を飛ばして後述するステップS112の処理を行う。
また、フラグ値Fが1ではない場合、つまり、課題領域Aに注視点Pが到達したのが最初である場合(ステップS109のNo)、演算部220は、タイマT1の計測結果を指示到達時間データとして抽出する(ステップS110)。その後、演算部220は、フラグ値を1に変更する(ステップS111)。
次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が課題領域Aであるか否かを判定する(ステップS112)。演算部220は、最終領域が課題領域Aであると判定した場合(ステップS112のYes)、以下のステップS113を飛ばして後述するステップS114の処理を行う。また、最終領域が課題領域Aではないと判定した場合(ステップS112のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS113)、課題領域Aでの第1存在時間データを示すカウント値CNTAを+1とする(ステップS114)。その後、演算部220は、後述するステップS119以降の処理を行う。
また、注視点Pが課題領域Aに存在しないと判定された場合(ステップS108のNo)、演算部220は、注視点Pが指示領域Bに存在するか否かを判定する(ステップS115)。注視点Pが指示領域Bに存在すると判定された場合(ステップS115のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が指示領域Bであるか否かを判定する(ステップS116)。演算部220は、最終領域が指示領域Bであると判定した場合(ステップS116のYes)、以下のステップS117を飛ばして後述するステップS118の処理を行う。また、最終領域が指示領域Bではないと判定した場合(ステップS116のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS117)、指示領域Bでの第2存在時間データを示すカウント値CNTBを+1とする(ステップS118)。ステップS118の後、及びステップS115において注視点Pが指示領域Bに存在しないと判定された場合(ステップS115のNo)、演算部220は、後述するステップS119以降の処理を行う。
その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS119)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS119のNo)、上記のステップS105以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS119のYes)、表示制御部202は、指示表示動作に関する映像の再生を停止させる(ステップS120)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる第1存在時間データと、第2存在時間データと、指示移動回数データと、指示到達時間データとに基づいて、評価値ANS1を算出し(ステップS121)、評価値ANS1に基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS122)。
次に、対象表示動作における評価方法の一例を説明する。図17は、対象表示動作における評価方法の一例を示すフローチャートである。図17に示すように、対象表示動作において、表示制御部202は、映像の再生を開始させる(ステップS201)。評価用映像部分までの待ち時間を経過した後(ステップS202)、タイマT1をリセットし(ステップS203)、カウンタのカウント値CNTAをリセットし(ステップS204)、フラグ値を0にする(ステップS205)。
注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS206)。位置データが検出された場合(ステップS207のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS208)。
注視点Pが特定領域A1に存在すると判定された場合(ステップS209のYes)、演算部220は、フラグ値が1であるか否か、つまり、注視点Pが特定領域A1に到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS210)。フラグ値が1である場合(ステップS210のYes)、演算部220は、以下のステップS211からステップS213を飛ばして後述するステップS214の処理を行う。
また、フラグ値が1ではない場合、つまり、特定領域A1に注視点Pが到達したのが最初である場合(ステップS210のNo)、演算部220は、タイマT1の計測結果を対象到達時間データとして抽出する(ステップS211)。また、演算部220は、特定領域A1に到達するまでに注視点Pが領域間の移動を何回行ったかを示す移動回数データを記憶部222に記憶させる(ステップS212)。その後、演算部220は、フラグ値を1に変更する(ステップS213)。
次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定領域A1であるか否かを判定する(ステップS214)。演算部220は、最終領域が特定領域A1であると判定した場合(ステップS214のYes)、以下のステップS215及びステップS216を飛ばして後述するステップS217の処理を行う。また、最終領域が特定領域A1ではないと判定した場合(ステップS214のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS215)、最終領域を特定領域A1に変更する(ステップS216)。また、演算部220は、特定領域A1での対象存在時間データを示すカウント値CNTA1を+1とする(ステップS217)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが特定領域A1に存在しないと判定された場合(ステップS209のNo)、演算部220は、注視点Pが比較領域A2に存在するか否かを判定する(ステップS218)。注視点Pが比較領域A2に存在すると判定された場合(ステップS218のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A2であるか否かを判定する(ステップS219)。演算部220は、最終領域が比較領域A2であると判定した場合(ステップS219のYes)、以下のステップS220及びステップS221を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A2ではないと判定した場合(ステップS219のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS215)、最終領域を比較領域A2に変更する(ステップS220)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが比較領域A2に存在しないと判定された場合(ステップS218のNo)、演算部220は、注視点Pが比較領域A3に存在するか否かを判定する(ステップS222)。注視点Pが比較領域A3に存在すると判定された場合(ステップS222のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A3であるか否かを判定する(ステップS223)。演算部220は、最終領域が比較領域A3であると判定した場合(ステップS223のYes)、以下のステップS224及びステップS225を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A3ではないと判定した場合(ステップS223のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS224)、最終領域を比較領域A3に変更する(ステップS225)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが比較領域A3に存在しないと判定された場合(ステップS222のNo)、演算部220は、注視点Pが比較領域A4に存在するか否かを判定する(ステップS226)。注視点Pが比較領域A4に存在すると判定された場合(ステップS226のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A4であるか否かを判定する(ステップS227)。演算部220は、最終領域が比較領域A4であると判定した場合(ステップS227のYes)、以下のステップS228及びステップS229を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A4ではないと判定した場合(ステップS227のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS228)、最終領域を比較領域A4に変更する(ステップS229)。ステップS229の後、及びステップS226において注視点Pが比較領域A4に存在しないと判定された場合(ステップS226のNo)、演算部220は、後述するステップS230以降の処理を行う。
その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS230)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS230のNo)、上記のステップS206以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS230のYes)、表示制御部202は、映像の再生を停止させる(ステップS231)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる対象存在時間データと、対象移動回数データと、最終領域データと、対象到達時間データに基づいて、評価値ANS2を算出し(ステップS232)、評価値ANS2に基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS233)。
以上のように、本実施形態に係る評価装置は、画像を表示する表示画面101Sと、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出する注視点検出部214と、被験者に注視させる課題対象物と、課題対象物に関する課題を解決するように被験者に指示する指示情報とを表示画面101Sに表示する指示表示動作を行う表示制御部202と、課題対象物に対応した課題領域Aと、指示情報に対応した指示領域Bとを表示画面101Sに設定する領域設定部216と、注視点Pの位置データに基づいて、指示表示動作が行われる指示表示期間に注視点が課題領域A及び指示領域Bに存在するか否かをそれぞれ判定する判定部218と、判定結果に基づいて、指示表示期間における注視点Pの移動の経過を示す指示移動経過データを算出する演算部220と、指示移動経過データに基づいて、被験者の評価データを求める評価部224とを備える。
また、本実施形態に係る評価方法は、表示画面101Sに画像を表示することと、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出することと、被験者に注視させる課題対象物と、課題対象物に関する課題を解決するように被験者に指示する指示情報とを表示画面101Sに表示する指示表示動作を行うことと、課題対象物に対応した課題領域Aと、指示情報に対応した指示領域Bとを表示画面101Sに設定することと、注視点Pの位置データに基づいて、指示表示動作が行われる指示表示期間に注視点が課題領域A及び指示領域Bに存在するか否かをそれぞれ判定することと、判定結果に基づいて、指示表示期間における注視点Pの移動の経過を示す指示移動経過データを算出することと、指示移動経過データに基づいて、被験者の評価データを求めることとを含む。
また、本実施形態に係る評価プログラムは、表示画面101Sに画像を表示する処理と、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出する処理と、被験者に注視させる課題対象物と、課題対象物に関する課題を解決するように被験者に指示する指示情報とを表示画面101Sに表示する指示表示動作を行う処理と、課題対象物に対応した課題領域Aと、指示情報に対応した指示領域Bとを表示画面101Sに設定する処理と、注視点Pの位置データに基づいて、指示表示動作が行われる指示表示期間に注視点が課題領域A及び指示領域Bに存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、指示表示期間における注視点Pの移動の経過を示す指示移動経過データを算出する処理と、指示移動経過データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
本実施形態によれば、指示表示動作として、表示画面101Sに課題対象物及び指示情報を表示させる。この場合に、被験者が表示画面101Sに表示される指示情報を見た後、指示情報が示す課題対象物を注視しようとしているか否かの観点から被験者を評価することが可能である。また、表示期間における注視点の移動の経過に基づいて、被験者の評価データを求めることができるため、被験者をより高精度に評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
また、本実施形態に係る評価装置100において、指示移動経過データは、指示表示期間に注視点Pが課題領域Aに存在した存在時間を示す第1存在時間データと、指示表示期間に注視点Pが指示領域Bに存在した存在時間を示す第2存在時間データと、指示表示期間の開始時点から注視点Pが課題領域Aに到達した到達時点までの指示到達時間データと、指示表示期間において課題領域Aと指示領域Bとの間で注視点の位置が移動する回数を示す指示移動回数データと、を含む。これにより、高精度の評価データを効率的に得ることができる。
また、本実施形態に係る評価装置100において、表示制御部202は、指示表示動作において、当該指示表示動作の後に表示画面101Sに表示される複数の対象物の中から課題に対して正解となる対象物を注視するよう指示する情報を指示情報に含ませて表示画面101Sに表示し、表示制御部は、指示表示動作の後に、指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを複数の対象物として表示画面101Sに表示する対象表示動作を行い、領域設定部216は、特定対象物に対応した特定領域A1と、比較対象物に対応した比較領域A2~A4とを表示画面101Sに設定し、判定部218は、対象表示動作が行われる対象表示期間に注視点Pが特定領域A1及び比較領域A2~A4に存在するか否かをそれぞれ判定し、演算部220は、判定結果に基づいて、対象表示期間における注視点Pの移動の経過を示す対象移動経過データを算出し、評価部224は、指示移動経過データと対象移動経過データとに基づいて、評価データを求める。これにより、指示移動経過データと対象移動経過データとに基づいた評価データが得られるため、より高精度の評価データを得ることができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、評価装置100を、認知機能障害および脳機能障害である可能性を評価する評価装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、評価装置100は、認知機能障害および脳機能障害ではない被験者を評価する評価装置として用いてもよい。
A…課題領域、B…指示領域、A1…特定領域、A2~A4…比較領域、F…フラグ値、M01~M04…課題対象物、I1~I4…指示情報、M1,M5,M8,M13…特定対象物、M2~M4,M6,M7,M9~M11,M14~M16…比較対象物、P…注視点、100…視線検出装置(評価装置)、101S…表示画面、202…表示制御部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部

Claims (6)

  1. 画像を表示する表示画面と、
    前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う表示制御部と、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する領域設定部と、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する判定部と、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する演算部と、
    前記指示移動経過データに基づいて、前記被験者の評価データを求める評価部と
    を備え
    前記指示移動経過データは、前記指示表示期間に前記注視点が前記課題領域に存在した存在時間を示す第1存在時間データと、前記指示表示期間に前記注視点が前記指示領域に存在した存在時間を示す第2存在時間データと、前記指示表示期間の開始時点から前記注視点が前記課題領域に到達した到達時点までの時間を示す指示到達時間データと、前記指示表示期間において前記課題領域と前記指示領域との間で前記注視点の位置が移動する回数を示す指示移動回数データと、を含む
    評価装置。
  2. 画像を表示する表示画面と、
    前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う表示制御部と、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する領域設定部と、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する判定部と、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する演算部と、
    前記指示移動経過データに基づいて、前記被験者の評価データを求める評価部と
    を備え、
    前記表示制御部は、前記指示表示動作において、当該指示表示動作の後に前記表示画面に表示される複数の対象物の中から前記課題に対して正解となる対象物を注視するよう指示する情報を前記指示情報に含ませて前記表示画面に表示し、
    前記表示制御部は、前記指示表示動作の後に、前記指示情報に対して正解となる特定対象物と、前記特定対象物とは異なる比較対象物とを複数の前記対象物として前記表示画面に表示する対象表示動作を行い、
    前記領域設定部は、前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを前記表示画面に設定し、
    前記判定部は、前記対象表示動作が行われる対象表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定し、
    前記演算部は、判定結果に基づいて、前記対象表示期間における前記注視点の移動の経過を示す対象移動経過データを算出し、
    前記評価部は、前記指示移動経過データと前記対象移動経過データとに基づいて、前記評価データを求める
    価装置。
  3. 表示画面に画像を表示することと、
    前記表示画面を観察する被験者の注視点の位置を検出することと、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行うことと、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定することと、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定することと、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出することと、
    前記指示移動経過データに基づいて、前記指示表示動作において前記表示画面に表示される前記課題対象物および前記指示情報を前記被験者が注視できているかを評価するデータを含む評価データを求めることと
    行い、
    前記指示移動経過データは、前記指示表示期間に前記注視点が前記課題領域に存在した存在時間を示す第1存在時間データと、前記指示表示期間に前記注視点が前記指示領域に存在した存在時間を示す第2存在時間データと、前記指示表示期間の開始時点から前記注視点が前記課題領域に到達した到達時点までの時間を示す指示到達時間データと、前記指示表示期間において前記課題領域と前記指示領域との間で前記注視点の位置が移動する回数を示す指示移動回数データと、を含む
    評価方法。
  4. 表示画面に画像を表示することと、
    前記表示画面を観察する被験者の注視点の位置を検出することと、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行うことと、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定することと、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定することと、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出することと、
    前記指示移動経過データに基づいて、前記指示表示動作において前記表示画面に表示される前記課題対象物および前記指示情報を前記被験者が注視できているかを評価する評価データを求めることと
    を行い、
    前記指示表示動作において、当該指示表示動作の後に前記表示画面に表示される複数の対象物の中から前記課題に対して正解となる対象物を注視するよう指示する情報を前記指示情報に含ませて前記表示画面に表示することと、
    前記指示表示動作の後に、前記指示情報に対して正解となる特定対象物と、前記特定対象物とは異なる比較対象物とを複数の前記対象物として前記表示画面に表示する対象表示動作を行うことと、
    前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを前記表示画面に設定することと、
    前記対象表示動作が行われる対象表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定することと、
    判定結果に基づいて、前記対象表示期間における前記注視点の移動の経過を示す対象移動経過データを算出することと、
    前記指示移動経過データと前記対象移動経過データとに基づいて、前記対象表示動作において前記表示画面に表示される前記特定対象物および前記比較対象物を前記被験者が注視できているかを評価するデータを含む前記評価データを求めることと
    を行う評価方法。
  5. 表示画面に画像を表示する処理と、
    前記表示画面を観察する被験者の注視点の位置を検出する処理と、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う処理と、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する処理と、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する処理と、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する処理と、
    前記指示移動経過データに基づいて、前記被験者の評価データを求める処理と
    をコンピュータに実行させ
    前記指示移動経過データは、前記指示表示期間に前記注視点が前記課題領域に存在した存在時間を示す第1存在時間データと、前記指示表示期間に前記注視点が前記指示領域に存在した存在時間を示す第2存在時間データと、前記指示表示期間の開始時点から前記注視点が前記課題領域に到達した到達時点までの時間を示す指示到達時間データと、前記指示表示期間において前記課題領域と前記指示領域との間で前記注視点の位置が移動する回数を示す指示移動回数データと、を含む
    評価プログラム。
  6. 表示画面に画像を表示する処理と、
    前記表示画面を観察する被験者の注視点の位置を検出する処理と、
    前記被験者に注視させる課題対象物と、前記課題対象物に関する課題を解決するように前記被験者に指示する指示情報とを前記表示画面に表示する指示表示動作を行う処理と、
    前記課題対象物に対応した課題領域と、前記指示情報に対応した指示領域とを前記表示画面に設定する処理と、
    前記注視点の位置データに基づいて、前記指示表示動作が行われる指示表示期間に前記注視点が前記課題領域及び前記指示領域に存在するか否かをそれぞれ判定する処理と、
    判定結果に基づいて、前記指示表示期間における前記注視点の移動の経過を示す指示移動経過データを算出する処理と、
    前記指示移動経過データに基づいて、前記被験者の評価データを求める処理と
    をコンピュータに実行させ、
    前記指示表示動作において、当該指示表示動作の後に前記表示画面に表示される複数の対象物の中から前記課題に対して正解となる対象物を注視するよう指示する情報を前記指示情報に含ませて前記表示画面に表示する処理と、
    前記指示表示動作の後に、前記指示情報に対して正解となる特定対象物と、前記特定対象物とは異なる比較対象物とを複数の前記対象物として前記表示画面に表示する対象表示動作を行う処理と、
    前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを前記表示画面に設定する処理と、
    前記対象表示動作が行われる対象表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する処理と、
    判定結果に基づいて、前記対象表示期間における前記注視点の移動の経過を示す対象移動経過データを算出する処理と、
    前記指示移動経過データと前記対象移動経過データとに基づいて、前記評価データを求める処理と
    をコンピュータに実行させる評価プログラム。
JP2018163114A 2018-08-31 2018-08-31 評価装置、評価方法、及び評価プログラム Active JP7047676B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018163114A JP7047676B2 (ja) 2018-08-31 2018-08-31 評価装置、評価方法、及び評価プログラム
PCT/JP2019/021416 WO2020044691A1 (ja) 2018-08-31 2019-05-29 評価装置、評価方法、及び評価プログラム
EP19853433.1A EP3821816B1 (en) 2018-08-31 2019-05-29 Evaluation device, evaluation method, and evaluation program
US17/168,219 US11937928B2 (en) 2018-08-31 2021-02-05 Evaluation apparatus, evaluation method, and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163114A JP7047676B2 (ja) 2018-08-31 2018-08-31 評価装置、評価方法、及び評価プログラム

Publications (2)

Publication Number Publication Date
JP2020032078A JP2020032078A (ja) 2020-03-05
JP7047676B2 true JP7047676B2 (ja) 2022-04-05

Family

ID=69644086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163114A Active JP7047676B2 (ja) 2018-08-31 2018-08-31 評価装置、評価方法、及び評価プログラム

Country Status (4)

Country Link
US (1) US11937928B2 (ja)
EP (1) EP3821816B1 (ja)
JP (1) JP7047676B2 (ja)
WO (1) WO2020044691A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521220B2 (ja) * 2020-03-27 2024-07-24 日本電気株式会社 画像処理装置、視線推定装置、視線推定システム、画像処理方法およびプログラム
JP2023087377A (ja) * 2021-12-13 2023-06-23 キヤノン株式会社 視線検出装置
CN115581457B (zh) * 2022-12-13 2023-05-12 深圳市心流科技有限公司 注意力评估方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041346A1 (fr) 2006-09-29 2008-04-10 Ssd Company Limited Dispositif d'entraînement cérébral local
WO2014208761A1 (ja) 2013-06-28 2014-12-31 株式会社Jvcケンウッド 診断支援装置及び診断支援方法
WO2016052646A1 (ja) 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2016071897A (ja) 2014-09-30 2016-05-09 株式会社プローバホールディングス 認知症介護支援システム、認知症介護支援サーバおよび認知症介護支援プログラム
JP2017158866A (ja) 2016-03-10 2017-09-14 株式会社Jvcケンウッド 診断支援装置、診断支援方法、トレーニング支援装置、及びトレーニング支援方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
JP2011083403A (ja) 2009-10-15 2011-04-28 Hokkaido Univ 認知機能評価システム
WO2014164453A1 (en) * 2013-03-13 2014-10-09 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
WO2016040673A2 (en) * 2014-09-10 2016-03-17 Oregon Health & Science University Animation-based autism spectrum disorder assessment
WO2019098173A1 (ja) * 2017-11-14 2019-05-23 国立大学法人大阪大学 認知機能障害診断装置および認知機能障害診断プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041346A1 (fr) 2006-09-29 2008-04-10 Ssd Company Limited Dispositif d'entraînement cérébral local
WO2014208761A1 (ja) 2013-06-28 2014-12-31 株式会社Jvcケンウッド 診断支援装置及び診断支援方法
WO2016052646A1 (ja) 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2016071897A (ja) 2014-09-30 2016-05-09 株式会社プローバホールディングス 認知症介護支援システム、認知症介護支援サーバおよび認知症介護支援プログラム
JP2017158866A (ja) 2016-03-10 2017-09-14 株式会社Jvcケンウッド 診断支援装置、診断支援方法、トレーニング支援装置、及びトレーニング支援方法

Also Published As

Publication number Publication date
JP2020032078A (ja) 2020-03-05
EP3821816B1 (en) 2024-08-28
WO2020044691A1 (ja) 2020-03-05
US20210153795A1 (en) 2021-05-27
EP3821816A1 (en) 2021-05-19
US11937928B2 (en) 2024-03-26
EP3821816A4 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
US11925464B2 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
JP7067502B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7047676B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
US20210401287A1 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP7435694B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7056550B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
JP7057483B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020256148A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2020183792A1 (ja) 表示装置、表示方法、及び表示プログラム
US12138082B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
WO2020194841A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2020194846A1 (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7047676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150