[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2010015584A - 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム - Google Patents

脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2010015584A
JP2010015584A JP2009191980A JP2009191980A JP2010015584A JP 2010015584 A JP2010015584 A JP 2010015584A JP 2009191980 A JP2009191980 A JP 2009191980A JP 2009191980 A JP2009191980 A JP 2009191980A JP 2010015584 A JP2010015584 A JP 2010015584A
Authority
JP
Japan
Prior art keywords
activation
electroencephalogram
user
timing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009191980A
Other languages
English (en)
Other versions
JP2010015584A5 (ja
JP4875735B2 (ja
Inventor
Yoshihisa Terada
佳久 寺田
Nobuo Adachi
信夫 足立
Koji Morikawa
幸治 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009191980A priority Critical patent/JP4875735B2/ja
Publication of JP2010015584A publication Critical patent/JP2010015584A/ja
Publication of JP2010015584A5 publication Critical patent/JP2010015584A5/ja
Application granted granted Critical
Publication of JP4875735B2 publication Critical patent/JP4875735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Dermatology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】ユーザの脳波信号を利用して脳波インタフェース(IF)の起動を実現する。
【解決手段】脳波IFシステムは、ユーザの脳波信号を計測する脳波計測部と、複数の機器とを有している。各機器は、機器の機能を制御するための機能制御信号を生成する機能制御部と、機能制御信号を出力する出力部とを有している。起動装置は、脳波計測部で取得した脳波信号のうち、判定トリガの受信タイミングを起点とした事象関連電位のP200成分の値等に基づいて視覚刺激を提示していた機器を特定する。判定トリガは、いずれかの機器における視覚刺激の提示タイミングを示す情報である。起動装置は、視覚刺激の提示タイミングを起点とした事象関連電位のN100成分によってユーザが視覚刺激を注目していたと判定した場合には、特定された機器を起動する。
【選択図】図25

Description

本発明は、脳波を利用して機器を操作するインタフェース(脳波インタフェース)システムに関する。より具体的には、本発明は、脳波インタフェースシステムに組み込まれ、ユーザの脳波を利用して所望する機能を選択・起動させるための起動装置、起動方法、およびそのような起動装置において実行されるコンピュータプログラムに関する。
生活において様々な機器が提案され、それらの機器に囲まれて暮らす中で、ユーザは機器を操作することで所望の情報やサービスを受けている。そのインタフェースの操作性向上の重要性は、機器の数自体の増加、機器を使わないと得られない情報の増加、などから年々高まっている。例えば、情報機器(テレビ、携帯電話、PDA等)においては、画面を見ながら操作の選択肢を選択することで、機器操作が実現されてきた。その操作入力手段としては、ボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていたが、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作が困難であった。
これに対して、ユーザの生体信号を利用した入力手段がある。非特許文献1には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する技術が開示されている。
具体的には、選択肢をランダムにハイライトし、ユーザが選択したいと思っている選択肢がハイライトされたタイミングを起点に300msから500msの時間帯に出現する陽性成分(P300成分)を利用して、選択したいかどうかの識別を実現している。この技術により、ユーザは両手がふさがっている場合でも、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択でき、機器操作等のインタフェースが実現できる。
このように従来は、脳波信号に様々な処理を加えることで、脳波によるメニュー選択が実現されてきた。
エマニュエル・ドンチン(Emanuel Donchin)、他2名著、"The Mental Prosthesis:Assessing the Speed of a P300−Based Brain−Computer Interface"、IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, Vol.8, No.2, 2000年6月
しかしながら、上述の脳波インタフェースの事例では、選択肢からの選択に関する検討がされているのみで、脳波インタフェースがどのように起動されるかについては検討されていなかった。その理由は、これらの事例では常に脳波インタフェースの画面(例えば選択肢の提示画面)が表示されている状況での使用が想定されていたためである。たとえば病院内において、肢体が不自由な人に対して脳波インタフェースを使用する場合には、ベッドのそばに脳波インタフェースの画面(例えば選択肢の提示画面)が常に表示されていた。
一方、日常生活での情報機器に搭載する場合には、情報端末の画面はスケジュールやメール本文、テレビ番組などの、情報端末本来の役割としての提示されるべき情報に占有されており、脳波インタフェースの画面を常に表示しておくことはできない。よって、脳波インタフェースをTV映像などの情報端末本来の役割として提示されている情報を阻害す
ることなく、起動することができるステップが必要になってくる。
脳波インタフェースの画面を表示させるための起動ボタンを設けてもよいが、これでは、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況において脳波インタフェースの利用が困難になる。あらゆる状況で脳波インタフェースを利用して情報機器を操作したいというユーザのニーズを考慮すると、その起動もまた脳波を利用して行うことが必要とされている。
本発明の目的は、脳波インタフェースの起動についても、ユーザの生体信号(脳波信号)を利用して実現することにある。
本発明による装置は、脳波インタフェースシステムを起動するための起動装置であって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記起動装置は、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信し、かつ、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較することにより、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定する起動判定部と、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のN100成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定し、判定結果に応じて、前記起動判定部の処理を開始させる刺激注目判定部とを備えている。前記起動装置は前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させる。
前記起動判定部は、前記視覚刺激の提示タイミングを起点として200±50msの区間における事象関連電位の値を前記P200成分の値として、前記所定の閾値と比較してもよい。
前記起動判定部は、前記視覚刺激の提示タイミングを起点として200±50msの区間における事象関連電位の極大値、最大値、区間平均値のいずれかを前記P200成分の値として、前記所定の閾値と比較してもよい。
前記刺激注目判定部は、前記視覚刺激をユーザが注目している前記判定結果に応じて、前記起動判定部に対して前記視覚刺激の提示方法を変化させるよう指示してもよい。
前記脳波インタフェースシステムは、映像を撮影して映像信号を出力する撮像装置を備えており、前記起動装置は、前記映像信号に基づいて、前記映像内において点滅している被写体を検出する点滅検出部であって、前記被写体の特徴量に基づいて、前記機能制御部に実行させる機能を指示する機能制御情報を生成し、前記被写体の点灯タイミングを示す情報および前記機能制御情報を出力する点滅検出部をさらに備え、前記起動判定部は、前記点灯タイミングを示す情報に基づいて前記視覚刺激の提示タイミングを特定し、前記機能制御部に対して起動トリガを出力する際には、前記機能制御情報に基づく制御信号を出力し、前記脳波インタフェースシステムの前記機能制御部は、前記起動トリガおよび前記機能制御情報に基づいて、特定の機能を実行してもよい。
前記点滅検出部は、被写体の特徴量と前記機能制御部に実行させる機能との対応関係を規定したデータベースを保持しており、前記被写体の特徴量を認識して前記特徴量に基づ
いて前記データベースを参照することにより、前記機能制御部に実行させる機能を特定し、前記機能制御情報を出力してもよい。
ユーザの脳波信号を計測する脳波計測部と、複数の機器とを有する脳波インタフェースシステムにおいて、前記複数の機器の少なくとも1つを起動するための起動装置であって、前記複数の機器の各々は、機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有し、前記起動装置は、各機器の出力部に対し視覚刺激の提示および消滅を繰り返すよう制御し、かつ、いずれかの機器において前記視覚刺激が提示されたタイミングを示す判定トリガを出力する点滅タイミング制御部と、前記判定トリガの出力タイミングおよび前記判定トリガが出力されたときに前記視覚刺激を提示していた機器を特定する判定トリガ情報を保持する記録媒体と、前記脳波計測部から取得した前記脳波信号のうち、前記判定トリガの受信タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較する起動判定部であって、比較結果に応じて、前記判定トリガの受信タイミングおよび前記判定トリガ情報に基づいて前記視覚刺激を提示していた機器を特定し、特定された機器の機能制御部に対して起動トリガを出力する起動判定部を備えており、前記起動装置は、前記起動トリガを出力することにより、前記起動判定部によって特定された前記機器を起動させてもよい。
本発明による方法は、脳波インタフェースシステムを起動するための起動方法であって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記起動方法は、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のN100成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較するステップと、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップとを包含する。
本発明によるコンピュータプログラムは、脳波インタフェースシステムに組み込まれた起動装置において実行されるコンピュータプログラムであって、前記脳波インタフェースシステムは、ユーザの脳波信号を計測する脳波計測部と、前記脳波信号に含まれる事象関連電位を解析し、解析結果に基づいて機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部とを有しており、前記コンピュータプログラムは、前記起動装置のコンピュータに対し、前記脳波インタフェースシステムが機能していないときにおいて、前記出力部に対して、前記出力部における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信するステップと、前記視覚刺激の提示タイミングを起点とした前記事象関連電位のN100成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定するステップと、判定結果に応じて、前記脳波計測部から取得した前記脳波信号のうち、前記視覚刺激の提示タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較するステップと、比較結果に応じて前記機能制御部に対して起動トリガを出力するか否かを決定するステップと、起動トリガを出力することが決定されたときにおいて、前記起動トリガを出力することにより、前記脳波インタフェースシステムを起動させるステップとを実行させる。
本発明の脳波インタフェースシステムによれば、脳波インタフェースの起動用視覚刺激(画面上のアイコン、LEDなど)の点滅をさせ、まず、視覚刺激の提示タイミングを起点とした事象関連電位のN100成分に基づいて視覚刺激をユーザが注目しているか否かを判定する。そして、その判定結果に応じて(具体的には視覚刺激をユーザが注目している、と判定された場合には)起動用視覚刺激の提示タイミングを起点にした事象関連電位のP200成分が脳波に現れているか否かに基づいてユーザの起動意思を判定する。そして当該成分が脳波に現れている場合には、脳波インタフェースを起動する。
これにより、例えば、家事、育児や、自動車の運転中など、両手が機器操作以外の作業のために使えない状況においても、ボタンを押す等の物理的な操作をすることなしに、ユーザ所望のタイミングで脳波インタフェースを起動することが可能となる。
脳波起動インタフェースのTV画面の例を示す図である。 条件(a)(b)(c)のもとで測定された事象関連電位の波形の比較結果を示す図である。 条件(a)(b)(c)の事象関連電位の波形を示す図である。 図3Aの被験者とは異なる被験者による条件(a)(b)(c)の事象関連電位の波形を示す図である。 本実施形態による脳波インタフェースシステム1の構成および利用環境を示す図である。 脳波インタフェースシステム1および起動装置20の機能ブロックの構成を示す図である。 TV画面12に表示されたメニュー画面61を示す図である。 実施形態1による脳波インタフェースシステム1および起動装置20のハードウェア構成を示す図である。 脳波インタフェースシステム1の処理の流れを示すフローチャートである。 (a)〜(d)は、脳波インタフェースシステム1においてTV11を操作し、ユーザ2が視聴したいジャンルの番組を見るときの例を示す図である。 機能制御部5の脳波インタフェースの起動後の処理手順を示すフローチャートである。 実施形態2による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 TV11の画面の外のフレーム部分に、起動用の視覚刺激を提示する光源であるLED91を設けた例を示す図である。 カーナビゲーションシステム操作時の画面表示例を示す図である。 電子掲示板111の画面上に表示された、点滅する広告画像112を示す図である。 (a)はユーザ2がアイコン13を注視していないと判定されたときのアイコン13を示す図であり、(b)はユーザ2がアイコン13を注視していると判定されたときの、より大きく表示されたアイコン13を示す図である。 実施形態3による脳波インタフェースシステム1および起動装置21の機能ブロックの構成を示す図である。 実施形態3による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 実施形態3による脳波インタフェースシステム1および起動判定部4の利用環境を示す図である。 実施形態3による脳波インタフェースシステム1および起動装置195の機能ブロックの構成を示す図である。 実施形態3による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 店・物体情報と動作機能との対応関係を規定したデータベースの一例を示す図である。 実施形態4による脳波インタフェースシステム1および起動装置22の利用環境を示す図である。 各機器のLED142a〜142nの点灯タイミングの関係を示す図である。 図22に示す各機器の機器名と、各機器に設けられた点滅装置の点灯タイミングと、対応する機器動作との対応の例である図である。 実施形態4による脳波インタフェースシステム1および起動装置22の機能ブロックの構成を示す図である。 実施形態4による脳波インタフェースの起動に関連する処理手順を示すフローチャートである。 実施形態4の各機器のLEDの点灯を、PCのディスプレイに表示されたバナーの点灯に置き換えた変形例を示す図である。
はじめに、上述の課題に対して本願発明者らが検討した事項を説明する。
本願発明者らは、脳波インタフェースシステムの起動を脳波によって実現するために、ユーザに視覚刺激を与え、視覚刺激の提示直後の事象関連電位を利用する方法を考案した。視覚刺激として、情報提示画面の一部で脳波インタフェース起動用の選択肢(起動用アイコン)を常時点滅させる。ユーザは、脳波インタフェースの起動を所望する場合、起動用アイコンが点灯したタイミングにあわせて、「起動したい」または「それ」などと心の中で思う。非特許文献1の考え方によれば、アイコン点灯時を起点とした事象関連電位のP300成分を利用することで、ユーザの起動意思を判定することが可能であると考えられる。
上記考察に基づき、TV画面上に表示されたアイコンの点滅刺激における事象関連電位の計測実験を行った(詳細は後述する)。実験の結果、ユーザが起動意思を持っている場合でも、必ずしもアイコン点灯時を起点とした300ms〜400msの間には事象関連電位の明確な陽性成分のピークは出現せず、P300成分を利用した起動意思の判定が行えない場合があることがわかった。
これは、複数の選択肢から1つの選択肢を選ぶような「選択」の場合と異なり、起動の場合は、刺激が単一で提示間隔が単調であるため、ユーザが刺激のタイミングが予期できることにより、「選択」の際に利用していた成分が利用できなくなっているためであると考えられる。
そこで、計測した事象関連電位の波形をさらに解析した結果、アイコン点灯時を起点として100msの前後50msの区間(100±50ms)で発生する陰性ピーク(極小値)の振幅の値であるN200成分と、200msの前後50msの区間(200±50ms)で発生する陽性ピーク(極大値)の振幅の値であるP200成分に特徴があることを発見した(詳細は後述する)。
従来の研究、たとえば鎮静睡眠薬剤の薬効の計測に関する文献(特開平10−33513号公報)によれば、P200成分は「刺激の痛さ等を知覚として認識した場合」の反応と説明されている。また、覚醒時/REM睡眠時/入眠時の外科医刺激に対する応答性比較に関する研究(「REM睡眠期と入眠期の事象関連電位の比較」、高原他、広島大学総合科学部紀要IV理系編、第28巻、1−11頁、2002年12月)によれば、P200成分は「REM睡眠時の音声刺激の反応」として認知されていた。このように、「起動意思判定」や「その項目を選びたいという選択意思判定」に関する用途において、P200成分は全く利用されていない信号であった。
また、脳波特徴信号を利用した脳波インタフェースに関する技術として、「事象関連電位を利用したヒトの心理状態等の判定方法及び装置」(特開2002−169637号公報)に記載の技術が挙げられる。この文献では、個人の特性に合わせてP200成分やP300成分を利用して、ユーザ所望の選択肢(目標単語)を選び出すことに触れているが、目標単語選択とは状況が異なるTV視聴時におけるP200成分に関しては考慮していない。
しかしながら本願発明者らは、N100成分とP200成分を利用することにより、TV視聴中のユーザの起動意思を判定することが可能であることを下記実験により見出した。以下、本願発明者らによる実験の内容を詳細に説明する。
本願発明者らは、TV画面を利用して、前記手法が適用可能かを検証する実験を行った。本実験では、脳波インタフェースシステムを起動させる起動装置がTVに組み込まれたことを想定した。具体的には、TV画面中のアイコンを点滅させ、ユーザに起動意思がある場合のユーザの脳波の特徴を抽出した。
図1は脳波起動インタフェースのTV画面の例を示す。TV11のTV画面12にはTV映像を表示し、TV画面12の画面左上部に脳波インタフェース起動用のアイコン13を一定の周期で点滅させた。アイコン13の点滅は、700ms間点灯、700ms間消灯とし、それを繰り返した。脳波計測部位はユーザの頭頂部(国際10−20法におけるPz)とし、右耳後部(マストイド)を基準に計測した。さらに、15Hzのローパスフィルタを利用することで、電源等のノイズ成分の除去も行った。アイコンが点灯したタイミングを0msとした場合の事象関連電位を切り出し、−100ms〜0msでベースライン補正を行った。
ユーザが脳波インタフェースの起動を所望する場合、すなわち起動意思がある場合は、起動用アイコン13が点灯したタイミングにあわせて、ユーザが「起動したい」または「それ」などと心の中で思わせることとした。逆に起動を所望しない場合は、TV映像を見ることとした。
被験者2名に対し、「(a)起動意思をもってアイコンを注目している」場合、「(b)起動意思はもたずにアイコンを見ている」場合、「(c)起動意思は持たずにTV映像を視聴している」場合の3つの条件下で、各々アイコン点滅50回分の脳波の事象関連電位を計測した。また今回、アイコン点灯タイミングを起点として約300msに現れる事象関連電位のP300成分の発生位置は、300msより後ろの位置に出現することが多いこと考慮し、300ms〜500msの区間での事象関連電位の各波形の比較を行った。
図2は、条件(a)(b)(c)のもとで測定された事象関連電位の波形の比較結果を示す。これらの波形は、アイコンが点灯したタイミングを起点にした事象関連電位の300ms〜500ms区間の波形をすべて加算平均したものであり、条件(a)の波形は実線で示され、条件(b)の波形は鎖線で示され、条件(c)の波形は点線で示されている。
図2によれば、条件(a)(b)(c)のすべてにおいて、300ms〜500msにおいて明確な陽性成分のピークを特定することは難しいといえる。また条件(a)および(c)における値の範囲は両者とも−1〜2.5μVと重複しており、両者の波形の差も最大2μVと非常に小さいことがわかる。したがって、これらの被験者の場合、事象関連電位のP300成分を利用して条件(a)の「起動意思のあり」の波形かどうかを判定することは非常に困難であることがわかる。
そこで、アイコン点灯時の事象関連電位−100ms〜600msの区間全体の解析を行った。図3Aは、条件(a)(b)(c)の事象関連電位の波形を示す。各グラフは、100点滅分(被験者2名×50点滅)を加算平均した波形である。条件(a)の波形は実線で示され、条件(b)の波形は鎖線で示され、条件(c)の波形は点線で表現されている。なお、300msから500msの区間の波形は、図2と同じである。
図3Aの波形パターンによれば、条件(a)および(b)とも−4μV以下であるため、アイコンが点灯されたタイミングを起点として約100ms前後50msの区間で、条件(a)、条件(b)の場合には陰性ピーク(極小値)の電圧の値(N100成分)が陰性方向に大きいことがわかる。換言すれば、振幅の大きい陰性ピーク(すなわちN100成分)を確認することができる。なお、振幅は絶対値で表される値である。
これに対し、条件(c)では上記範囲に大きな陰性ピークは見られず、最小値でも約0μVである。条件(a)、(b)は、どちらも起動アイコンを注視している状態で、条件(c)は起動アイコンを見ていない(TV映像を見ている)状態である。よって、アイコンが点灯されたタイミングを起点として約100msの前後50msの区間において、アイコンを注視しているか否かを判別することが可能である。
また、約200msの前後50msの区間で発生する陽性ピーク(極大値)の振幅の値(P200成分)は、条件(a)の起動意思ありの場合には約5μVと高い値をとっていることが分かる。また、条件(b)の起動意思なしの場合には約3μVである。よって、アイコンが点灯されたタイミングを起点として約200msの前後50msの区間において、起動意思があるか否かを判別することが可能である。
上記のように、N100成分による起動アイコンを注視の判別、P200成分による起動意思の判別を行うことにより、条件(a)、(b)、(c)の3状態を区別することが可能になる。
本願発明者らは同様の実験を別の被験者15名に対しても実施した。実験の結果を図3Bに示す。図3Bの結果より、N100成分およびP200成分が同様に出現しており、条件(a)、(b)、(c)を区別する特徴信号は上記2名の被験者に固有のものではなく、一般的に出現する特徴信号であることが確認できた。
そこで、本願発明者らは、事象関連電位のN100成分およびP200成分を起動意思の判定に利用し、点滅するアイコンを注視している際のN100成分およびP200成分をそれぞれ基準値(閾値)と比較することにより、TV視聴中に効果的にアイコンの点滅を制御し、起動意思を持っているかどうかの判定を行うこととし、本発明をなすにいたった。
以下、添付の図面を参照しながら、上記の特徴を利用した本発明による起動装置の実施形態を説明する。
なお、本願明細書においては、事象関連電位を取得するためにある時点から起算した所定時間経過後の時刻を具体的に特定しているが、その時刻にはある程度の幅を持たせることが可能である。一般的に、事象関連電位の波形には、個人ごとに30〜50ミリ秒の差異(ずれ)が表れることが知られている(加我 君孝ほか編集,「事象関連電位(ERP)マニュアル―P300を中心に−」,篠原出版新社,1995,30p表1)。したがって、「Xミリ秒」という語は、Xミリ秒を中心として、「30〜50ミリ秒」の幅がその前後に存在し得る場合の代表値であると考えることが可能である。「約」や「近辺」という語を付加して、その範囲を明示的に包含してもよい。
(実施形態1)
以下に、脳波インタフェースを起動させるための起動装置の構成および動作を説明する。
図4は、本実施形態による脳波インタフェースシステム1の構成および利用環境を示す。本実施形態において、脳波インタフェースシステム1は、脳波計測部3と、機能制御部5とを含んでいる。
脳波インタフェースシステム1の機能を概説する。まず出力部6によってTV画面12にメニュー選択画面が表示され、脳波計測部3がユーザ2の脳波信号を計測する。計測された脳波信号に含まれる事象関連電位を機能制御部5が解析することにより、機器(TV11)の機能を制御するための機能制御信号を出力部6に対して出力する。これにより、出力部6は、TV11のTV画面12に表示される番組をユーザが所望する番組に切り替えることが可能である。本願明細書においては、このような機器(TV11等)の操作を行うためのユーザインタフェースを、「脳波インタフェース」と呼んでいる。
図4には、脳波インタフェースシステム1のための起動装置20が記載されている。脳波インタフェースシステム1が機能していないとき、より具体的には、機能制御部5が機能していないとき、起動装置20は、TV画面12上に、ある視覚刺激の提示および消滅を行わせる。そして、視覚刺激の提示タイミングを起点とした事象関連電位に基づいて、機能制御部5を起動させるか否かを制御する。
本明細書では、機能制御部5のユーザインタフェース機能の動作を開始させることを、「脳波インタフェースシステムの起動」と呼ぶ。脳波インタフェースシステムに含まれる脳波計測部3が動作していたとしても、機能制御部5が動作していないときには「脳波インタフェースシステムの起動」はまだされていないとする。
図5は、脳波インタフェースシステム1および起動装置20の機能ブロックの構成を示す。以下、図5を参照しながら、脳波インタフェースシステム1および起動装置20の各構成要素を説明する。
脳波計測部3はたとえば脳波計であり、ユーザ2の脳波を計測して脳波信号を出力する。脳波インタフェースシステム1が起動していないときは、計測された脳波信号は起動装置20に送られる。一方、脳波インタフェースシステム1が起動しているときは、計測された脳波信号は機能制御部5に送られる。
機能制御部5は、起動装置20からの起動トリガの受信に応答して動作を開始する。機能制御部5は、後述する出力部6に対して、機能制御信号を出力する。機能制御信号とは、機器の機能を制御するための信号である。たとえば機能制御信号に基づいて、脳波インタフェースのメニュー選択画面の出力制御、脳波に基づくメニュー選択制御、TV映像の表示制御等が行われる。
出力部6は、ユーザ2に対する視覚刺激やメニュー選択画面、映像などをTV画面12上に出力する。
起動装置20は、起動判定部4を含んでいる。起動判定部4は、脳波インタフェースシステム1が機能していないときにおいて、出力部6に対して、出力部6における単一項目の視覚刺激の提示および消滅を制御するための刺激制御信号を送信する。また起動判定部
4は、脳波計測部3から取得した脳波信号のうち、視覚刺激の提示タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較する。そして比較結果に応じて機能制御部5に対して起動トリガを出力するか否かを決定する。この起動トリガが機能制御部5に出力されることにより、脳波インタフェースシステム1を起動させることが可能になる。
本実施形態においては、ユーザ2が脳波インタフェースを利用するか否か、すなわちユーザ2が機能制御部5のユーザインタフェース機能を動作させるか否かは、ユーザ2の脳波を利用して起動判定部4によって判断される。起動判定部4の具体的な動作は後述する。
概説したとおり、脳波インタフェースシステム1は、ユーザ2の脳波信号を利用してTV11を操作するインタフェースを提供するために用いられる。ユーザ2の脳波信号はユーザ2の頭部に装着された脳波計測部3によって取得され、無線または有線で起動判定部4に送信される。TV11に内蔵された本実施形態による起動装置20は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザ2の起動意思を認識し、機能制御部5に起動トリガを出力する。
起動トリガを受け取ると、機能制御部5はTV画面12上にメニュー画面を表示するための機能制御信号を出力部6に出力する。本実施形態においては、機能制御部5もまたTV11に内蔵されている。
図6は、TV画面12に表示されたメニュー画面61を示す。機器制御部5は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザ2の意図を認識し、TV画面12に表示された複数の選択項目から、ユーザ2が所望する選択項目(62a、62b、62c、62d)を選択し、選択結果に基づいて受信チャンネルの切り替えなどの処理を行う。このようなユーザインタフェースが本願明細書にいう「脳波インタフェース」である。
図7は、本実施形態による脳波インタフェースシステム1および起動装置20のハードウェア構成を示す。
機能制御部5と、脳波計測部3である脳波計71と、出力部6と、起動装置20の起動判定部4とはバス72に接続されており、バス72を介して各構成要素間の信号の授受が行われる。ユーザ2の脳波信号に基づいて機能制御部5が脳波インタフェース機能を実行すると、その結果生成される指示信号が出力部6に送られる。
本実施形態においては、出力部6は画像処理回路75とTV11とを含む。画像処理回路75は機能制御部5から受け取った指示信号に基づいて画像処理を行い、制御信号を生成して、TV11に送る。その結果、TV11が動作する。
なお、起動装置20および機能制御部5はTV11に内蔵されているとして説明したが、脳波インタフェース機能との関係では、これらはTV11に内蔵されていなくてもよい。よって、図7では起動判定部4、機能制御部5とTV11とは独立した構成として記載している。また、脳波計71が無線でユーザ2の脳波信号を送信する場合には、脳波計71には無線の送信部が含まれ、バス72には無線の受信部が接続されることになる。
起動装置20の起動判定部4は、CPU73aと、RAM73bと、ROM73cとを有している。CPU73aは、ROM73cに格納されているコンピュータプログラム73dをRAM73bに読み出し、RAM73b上に展開して実行する。起動判定部4は、このコンピュータプログラム73dにしたがって、後述の脳波インタフェースの起動の要否を判断する処理を行う。なお、ROM73cは書き換え可能なROM(たとえばEEPROM)であってもよい。
機能制御部5は、CPU74aと、RAM74bと、ROM74cとを有している。CPU74aと、RAM74bと、ROM74cのそれぞれの機能は、起動判定部4の同名の構成要素と同様である。ROM74cに格納されたコンピュータプログラム74dは、脳波インタフェース機能を実現するための処理を規定しており、その結果として、起動判定部4および機能制御部5の機能は異なる。なお、起動判定部4および機能制御部5のCPU、RAMおよびROMを共通化し、コンピュータプログラムのみを別個設け、構成を簡略化してもよい。
出力部6は、画像処理回路75を有している。画像処理回路75は、CPU73a、CPU74aの指示にしたがい、脳波インタフェース起動用アイコンをTV11の画面上で点滅させたり、脳波インタフェースのメニューを画面上表示させたりするための映像信号を出力する。また、機能制御部5の制御により画像処理回路75は、TVの基本機能である映像出力処理も行う。
上述のコンピュータプログラムは、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、起動判定部4および機能制御部5は、半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現することも可能である。
図8は、脳波インタフェースシステム1の処理の流れを示す。ステップS881において、TV画面12上にはTV映像が表示されている。これは通常時のTV11の状態である。
ステップS882において、起動判定部4は、刺激制御信号を出力して図1に示すようにTV画面12の一部に表示されたアイコン13の点滅を制御し、脳波計測部3から取得した脳波信号に基づいて、ユーザ2の脳波インタフェース起動意思を判定する。この判定処理の具体的な説明は後述する。ユーザ2に起動意思がないと判定された場合は、処理はステップS881に戻り、ユーザ2の起動意思を判定するまでTV映像の表示とアイコンの点滅が継続される。ユーザ2に起動意思があると判定された場合は、処理はステップS883に進む。
ステップS883において、機能制御部5が動作を開始することにより、脳波インタフェースが起動される。そして次のステップS884において、ユーザ2が脳波インタフェースを利用して、メニュー画面を介して所望する選択項目を選択する。ステップS883における脳波インタフェースの処理により、ユーザ2が所望する選択肢が選び出される。脳波インタフェースの処理の詳細に関しては後述する。
ステップS885において、機能制御部5は、選択された機能を実行する。機能が実行された後はステップS881に戻り、再びTV映像を表示することで脳波インタフェースの起動待機状態となる。または、選択された機能がTV11の電源Offであれば、処理は終了する。
図9(a)〜(d)は、脳波インタフェースシステム1においてTV11を操作し、ユーザ2が視聴したいジャンルの番組を見るときの例を示す。
図9(a)は、画面12上に、所定の周波数で点滅する起動アイコン13が示されてい
る。ユーザ2がこの起動アイコン13を見ていると起動判定部4が判定すると、機能制御部5が起動されて、脳波インタフェースが利用可能となる。同時に図9(b)のメニュー項目画面が表示される。
図9(b)は、機能制御部5がTVの画面12を介してユーザ2に提示するメニューの例である。画面には「どの番組をご覧になりたいですか?」という質問24と、見たい番組の候補である選択肢が提示される。ここでは「野球」25a、「天気予報」25b、「アニメ」25cおよび「ニュース」25dの4種類の選択肢が表示されている。
図9(b)の例ではまず一番上の野球25aが選択され、ハイライト表示される。「ハイライト表示」とは、他の項目より明るい背景による表示、明るい文字色による表示、または、カーソル等で指し示された表示をいう。ここではユーザ2が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。4つ目の「ニュース」25dの次はまた一番目の野球に戻る。
図9(c)は、脳波計18によって取得された、ユーザ2の脳波信号の事象関連電位である。事象関連電位の取得の起点は、各選択肢がハイライト表示された瞬間に設定される。そして、この瞬間より、例えば200ms前から1秒後までの事象関連電位が脳波信号から抽出される。これによって、ハイライト表示された項目に対するユーザ2の反応が得られる。
今、ユーザ2が「天気予報」25bを見たいと考えていたとする。選択肢25a〜25dまでのそれぞれに対応する脳波信号26a〜26dのうち、「天気予報」がハイライトされたときのユーザ2の脳波信号26bを見ると、「天気予報」がハイライトされた時刻を起点に潜時約300ms後に特徴的な陽性の成分(P300成分)が出現する。そこで機能制御部5は、このP300成分が検出された選択肢をユーザ2が視聴したい番組であるとして、チャンネルを天気予報のチャンネルに切り替える。図9(d)は、天気予報のチャンネルが選択された後の画面27を示す。
図10は、機能制御部5の脳波インタフェースの起動後の処理手順を示す。
脳波インタフェース起動後のステップS891において、機能制御部5は図9(b)に示すメニュー23を表示する。機能制御部5は、ステップS892において、たとえば「野球」25aの項目を選択し、次のステップS893において、選択した「野球」25aの項目をハイライト表示する。
ステップS894において、項目のハイライト表示を起点として、機能制御部5は脳波計測部3から出力された脳波信号により事象関連電位を取得する。
ステップS895において、機能制御部5は、取得した事象関連電位に、選択したい項目のハイライトに起因する波形変化が存在するか否かを判定する。波形変化が存在する場合にはステップS896に進み、波形変化が存在しない場合にはステップS892に戻って次の項目(たとえば「天気予報」25b)のハイライト表示を行う。P300成分の有無を識別することにより、現在取得した脳波の波形が、ユーザ2が選択したい項目に対する波形か、それとも選択したくない項目に対する波形かを判定することができる。
ステップS896において、機能制御部5は、P300成分が現れた項目に対応する機能(チャンネル切り替え)を実行する。
上述の処理により、ユーザ2はボタンを操作しなくても脳波によってメニュー項目を選
択することができる。なお、ステップS892では、項目は順次選択されるとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。
図11は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。ここでは図1に示す画面を例に挙げて説明を行う。図11に示す処理は、たとえばユーザ2が脳波計を装着している状態で、単にTVの番組を視聴しているときに実行される。
ステップS800において、脳波計測部3は、ユーザ2の頭部に装着された時点から計測を開始する。ユーザ2がTV11の番組を視聴しているときも、脳波計測部3は常に脳波信号の計測をおこなっている。
ステップS801およびステップS802において、起動判定部4は、所定の間隔でTV画面12上にアイコン13の点灯させ、所定の間隔でアイコン13の消灯させる処理を繰り返してアイコン13を点滅させる。
その動作と並行して、ステップS803において、起動判定部4は、脳波計測部3にて計測された脳波信号から、アイコン13が点灯されたタイミングを起点としたP200成分を含む範囲の事象関連電位を切り出す。さらにステップS804において、起動判定部4は、アイコン13が点灯されたタイミングを起点とした約200msの前後50msの区間において、陽性の極大値を検索し、その振幅をP200成分として抽出する。
ステップS805において、起動判定部4は、P200成分が予め設定された閾値を超えているか否かを判定する。予め設定された閾値は、たとえば4μVである。図3Aのグラフ(a)および(b)の例によれば、4μVを閾値に設定すると、P200成分に基づいて起動意思の有無を判定可能である。
ステップS805において、P200成分が閾値を超えている場合には、処理はステップS806に進む。一方、P200成分が閾値を越えていない場合には処理はステップS801に戻り、引き続きアイコン13の点滅が継続される。
ステップS806では、起動判定部4は機能制御部5に対して起動トリガを出力し、その起動トリガの受信に応答して、機能制御部5はユーザ2に対し脳波インタフェースの提供を開始する。
このように、アイコン13点灯時のユーザ2の脳波を解析することによって、脳波インタフェースの起動が必要か否かを判定でき、その判定結果に応じて脳波インタフェースシステム1の処理を切り替えることができる。
上述のように、ユーザの脳波信号を取得することにより、脳波インタフェースの起動と、脳波によるメニュー項目選択が可能な脳波インタフェースシステムを実現できる。脳波インタフェースの起動、実行および切り替え後の処理からなる一連の処理のための操作が脳波のみにより実現されるため、実用的な脳波インタフェースシステムを提供できる。よって、たとえば家事の最中や乳児を抱きかかえている時のような、両手が離せない状況においても、脳波インタフェースが起動でき、機器の動作を制御できる。
上述の例では、P200成分を、アイコン13が点灯されたタイミングを起点とした約200msの前後50msの区間の極大値の振幅として抽出を行った。しかしこれは例である。陽性の極大値が複数存在する場合には、そのうちの最大値を検索してもよい。または、極大値ではなく当該区間の陽性のピーク(最大値)を検索してもよい。または、上記
区間の区間平均の値をP200成分として抽出を行ってもよい。
また、P200成分の値と比較される閾値は4μVとしたが、これも例である。脳波計測部3からの出力が増幅されているときにはその増幅率を乗じた値にすればよい。
上述の例では、起動判定部4は脳波インタフェースシステム1を起動させるための機能ブロックとして説明を行った。しかし、ユーザが脳波計を頭部に装着し、脳波信号が計測できる環境であれば、必ずしも起動されるのは脳波インタフェースだけとは限定されない。例えば、機器の電源のOn/Offや視線インタフェースなどの他のインタフェースの起動も本発明における起動の範疇に含まれる。
また上述の例では、出力部6は起動用アイコン13、メニュー選択画面、映像コンテンツをTV画面12上に表示する機能ブロックとして説明を行ったが、起動用アイコン13のような視覚刺激の表示に特化した出力部とメニュー選択画面、映像コンテンツを表示する出力部を分離してもかまわない。
たとえば図12は、TV11の画面の外のフレーム部分に、起動用の視覚刺激を提示する光源であるLED91を設けた例を示す。LED91もまた本願明細書に記載の出力部6の範疇である。このLED91がTV11の画面およびそのフレームから離れた位置に、TV11とは別個独立のハードウェアとして実現された場合であっても、TV11もそのLED91も出力部6の範疇である。
さらに上述の例では、脳波インタフェースシステム1は、TV11を操作するインタフェースをとして説明した。しかし、操作する対象はTVでなくても、視覚刺激を提示できるデバイスを保有する機器であれば本発明の適用が可能である。
例えば、図13は、カーナビゲーションシステム操作時の画面表示例を示す。カーナビ画面101でのコンビニエンスストアや道路工事中を示すアイコンなどの地図アイコン102の点滅も単一項目の点滅と考えられ、本発明が適用可能である。起動判定部4にて起動判定を行い、地図アイコン102に対応付けられた詳細情報(その店の広告や工事の情報など)を表示するようなインタフェースも本発明の範疇である。
さらに他の例として、図14は電子掲示板111の画面上に表示された、点滅する広告画像112を示す。本発明は、広告画像112自体を点滅させておき、起動判定部4にて起動するという判定が行われた場合にその商品の詳細情報を表示するというインタフェースに対しても適用可能である。
なお本実施形態では、アイコン点滅の間隔は700ms点灯/700ms消灯のように一定間隔として説明を行ったが、ランダムな間隔やより短い周期での点灯/消灯の繰り返しでもよい。この場合も、事象関連電位のタイミングは、アイコンが点灯したタイミングを起点にされる。ただし、アイコンの点灯タイミングを極端に短くすると、P200成分を検出するための100msの区間(事象関連電位の約200msの前後50msの区間)に複数の陽性ピークを発生してしまい、P200成分の抽出が行えなくなってしまうため、アイコン13の点滅間隔をP200成分の検出区間(100ms)よりも長い期間でアイコン点滅を行うように制御する必要がある。
また上述の例では、起動判定部4において、アイコン点灯ごとの事象関連電位におけるP200成分の出現の判定を行うと説明したが、アイコン点灯時の事象関連電位を複数点灯回数分加算平均した波形を対象にP200成分が出現しているかの判定を行ってもよい。複数点滅回数分の加算平均した波形を利用することで、瞬きなどによるノイズ成分の影響が小さくなり、起動判定部による誤判定の回数を削減することが可能となる。
(実施形態2)
実施形態1では、アイコンが点滅するごとに事象関連電位のP200成分を抽出し、起動意思があるか否かの判定を行っていた。本実施形態では、さらに起動判定の精度を上げるために、起動判定部4の前に、アイコンの点滅を注視しているかを事象関連電位により判定するステップを設け、アイコン点滅を見ていない場合には起動判定の識別対象から除外することで、ユーザの意図しない機器動作の減少を実現する。
たとえば図15(a)に示されるように、ユーザ2がアイコン13を注視していないと判定されたときのアイコン13は、TV11のTV画面12左上に比較的小さく点滅している。一方、図15(b)に示されるように、ユーザ2がアイコン13を注視していると判定されたときは、アイコン13はより大きく表示される。
図15(a)および(b)に示す表示を実現する原理を説明するため、上述した実験の結果を再度検証する。
実験結果を示す図3Aには、「起動意思をもってアイコンを注目している」場合を示す実線(a)、「起動意思はもたずにアイコンを見ている」場合を示す鎖線(b)、および、「起動意思は持たずにTV映像を視聴している」場合を示す点線(c)の3パターンの事象関連電位が示されている。
図3Aによれば、TV映像を見ている状態の(c)と、アイコンの点滅を見ている状態の(a)または(b)は、アイコン点灯タイミングを起点とした約100msの前後50msの区間において大きく値が乖離していることがわかる。この区間の陰性ピーク(極小値)の振幅の値は、「N100成分」と呼ばれている。
N100成分は、グラフ(a)(b)(c)のいずれの場合にも含まれており、ノイズの影響で出現したものではないと考えられる。よって本願発明者らは、このN100成分を利用してユーザがアイコンを注視しているか否かを予め判定することにより、アイコン注視時における起動判定を精度よく行うことができることを見出した。これにより、ユーザの意図しない機器動作の減少が実現できる。
以下に、上記特徴を利用した脳波インタフェースを起動させるための起動装置の構成および動作を説明する。
図16は、本実施形態による脳波インタフェースシステム1および起動装置21の機能ブロックの構成を示す。
起動装置21は、実施形態1の起動装置20の構成に対し、新たにユーザ2がアイコン点滅を注視しているかを判定する刺激注目判定部7を設けて構成されている。
起動装置21は、脳波計測部3で計測された脳波信号に基づいてユーザ2が視覚刺激を注目しているかを判定する。注目していると判定した場合には、脳波計測部3が計測した脳波信号を起動判定部4に送信する。脳波信号を受け取ると、起動判定部4は起動意思を判定する処理を実行する。なお、本実施形態の構成要素のうち、実施形態1(図5)と同じ構成要素については同じ参照符号を付しその説明を省略する。
図17は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。図17に示す処理は、実施形態1の処理(図11)と同様、出力部6がTV画面12であり
、ユーザ2がTV映像を視聴しているときに実行されるとする。
ステップS200において、ユーザ2が脳波計測部3を装着することにより、脳波計測部3は、ユーザ2の脳波信号の計測を開始する。脳波信号の計測はユーザ2がTV映像を視聴しているときも行われる。
起動判定部4は、所定の間隔でTV画面12上にアイコン13を点灯させるステップS201と、所定の間隔でアイコン13を消灯させるステップS202を繰り返し、アイコン13を点滅させる。これにより、起動アイコン13は図15(a)に示すようにTV映像が表示されたTV画面12の一部で点滅が繰り返される。
ステップS207において、刺激注目判定部7は、脳波計測部3にて計測された脳波信号から、アイコン13が点灯されたタイミングを起点としたN100成分を含む範囲の事象関連電位を切り出す。
ステップS208において、刺激注目判定部7はさらにアイコン13が点灯されたタイミングを起点とした約100msの前後50msの区間において極小値を検索し、その振幅をN100成分として抽出する。
ステップS209において、刺激注目判定部7は、N100成分が予め設定された閾値を超えているか否かを判定する。予め設定された閾値は、たとえば−3μVである。より一般化すると、図3Aのグラフ(a)および(b)の波形と、グラフ(c)の波形との間(たとえば中間値)を閾値として設定することが好ましい。
N100成分が閾値を超えている場合には、処理はステップS210に進む。このときは、ユーザ2はアイコン13の点滅を注視していると判定されたことを意味する。一方、N100成分が閾値を超えていない場合には、処理はステップS201に戻る。このときは、ユーザ2はアイコン13の点滅を注視していないと判定されたことを意味する。引き続き図15(a)に示すように小さく表示されたままのアイコン13の点滅が継続される。
ステップS210において、刺激注目判定部7は、図15(b)に示すようにアイコン13の表示サイズを大きくするよう、起動判定部4に指示信号を出力する。その目的は、アイコン13のサイズを大きくするとアイコン13が自然と視界に入るため、意識的に注視する程度を緩和することができるとともに、TV映像による脳波への影響を抑制することにより、P200成分を出現しやすくするためである。その指示信号を受けて起動判定部4は、出力部6に対してアイコン13を大きく表示するための刺激制御信号を出力する。
なお、ユーザ2がアイコン13の点滅を注視しているときにアイコン13を大きく表示するという処理は、視覚刺激を強調して提示することの例である。
次のステップS203において、起動判定部4は、大きく表示されたアイコンの刺激に基づいて脳波を切り出す。その後、起動判定部4は、ステップS204からステップS206までにおいて起動判定処理を行う。起動判定の処理に関しては、実施形態1と同様のため、その説明を省略する。
上述のように、本実施形態においては、ユーザ2の脳波信号により、ユーザ2がアイコン13の点滅を注視しているか予め判定し、注視している場合はアイコンの大きさを大きくして点滅させる。これにより、大きい刺激の点滅に基づいたP200成分を抽出するこ
とが可能となる。アイコンが大きいときのP200成分の値は、小さいときのP200成分の値よりも大きくなるため、より明確に起動意思ありと、なし又はTV視聴中を区別することが可能となる。
上述の例では、N100成分を、アイコン13が点灯されたタイミングを起点とした約100msの前後50msの区間の極小値の振幅として抽出を行った。しかしこれは例である。極小値が複数存在する場合には、そのうちの最小値を検索してもよい。または、極小値ではなく当該区間の陰性のピーク(最小値)を検索してもよい。または、上記区間の区間平均の値をN100成分として抽出を行ってもよい。
(実施形態3)
実施形態1および2では、刺激となるアイコンの点滅は脳波インタフェースシステムが制御を行い、操作対象の機器が出力部にて刺激を提示している例を挙げた。しかし、われわれの生活の中で利用している機器は多数あり、それらすべての機器の点滅を制御することは大変困難である。
そこで本実施形態では、点滅タイミングを脳波インタフェースシステムが一括制御するのではなく、個々の機器が各機器独自のタイミングで点滅を行った場合でも適用可能な起動インタフェースを説明する。
我々が生活しているなかで、看板やネオン広告、電子掲示板など、点滅しているさまざまな機器を目にする。これらは顧客の目を引くために点滅を行っており、看板や広告を設置した広告主の最終的なねらいとしては、顧客に詳細を認知してもらうか、または商品を顧客に買ってもらうことである。
しかし、顧客は看板を見て興味を持っても、しばらく時間がたつと興味を持ったことを忘れてしまい、最終的な購買活動にはつながらないことが多い。また、広告主が顧客に対して過度の広告を行うと、特に興味を持っていない顧客にとっては不要な情報が押し付けられることになり、顧客の気分を害し、逆に顧客の購入機会を減らしてしまうことになりかねない。
そこで、広告主が設置した看板や広告に興味を持った顧客に対してのみ、割引チケットを提供するなどの購買意欲を高める活動を行うことができれば、効果的に購買活動を促進することが可能となる。顧客の側も、自分の興味ある広告に関する情報のみを取得することができ、効率的な情報収集を行うことができる。
上述した「顧客」を「ユーザ」と捉え、「興味」を「詳細機能表示の起動意思」と捉えて、本発明による脳波インタフェースシステムおよびその起動装置に適用する。
図18は、本実施形態による脳波インタフェースシステム1および起動装置195の利用環境を示す。本実施形態においては、携帯電話192中に起動装置195が組み込まれている。なお起動装置195にはこれまでの実施形態において説明した起動判定部4等が設けられている。
ユーザ2は、頭部に脳波計71およびカメラ191を着用し、常に脳波が脳波計71により計測されている。カメラ191は、ユーザ2の視界に入った点滅物(たとえば看板194)を検出するために設けられており、ユーザ2の前方に向けられている。
このような脳波インタフェースシステム1および起動装置195は以下の状況で利用される。たとえば、ユーザ2が町を歩いている際に、点滅している広告のうち、詳細情報を
知りたいと感じた広告を見かけると、起動意思をもちながら広告の点滅を注視する。
起動装置195がユーザ2の起動意思を判定すると、所持している携帯電話192において、予め設定された機能の起動が行われる。
例えば、レストランの看板194が点滅しており、ユーザ2が詳細情報表示の起動意思をもって看板194の点滅を注視する。すると起動装置195はユーザ2の起動意思を判定し、脳波インタフェースシステムの出力部である携帯電話192のディスプレイ193に、レストランの割引クーポンを表示する。
図19は、本実施形態による脳波インタフェースシステム1および起動装置195の機能ブロックの構成を示す。実施形態1の起動装置20の構成に対し、新たに、点滅検出部9が設けられている。点滅検出部9は、外部の点滅物の点滅タイミングの判定と起動判定時に実行される機能を決定する。そして点滅検出部9は、点滅タイミングを示す情報と、起動判定時に実行される機能を特定する機能制御情報とを起動判定部4に出力する。
起動判定部4は、点滅タイミングを示す情報に基づいて視覚刺激の提示タイミングを特定し、実施形態1において説明した処理を行い、起動トリガを出力するか否かを判定する。起動トリガを出力する場合には、点滅検出部9から受け取った機能制御情報に対応する機能を実行させるための制御信号も併せて出力する。
図20は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。
ステップS400において、ユーザ2が脳波計測部3を装着することにより、脳波計測部3は、ユーザ2の脳波信号の計測を開始する。
ステップS401において、点滅検出部9は、ユーザ2の前方に向けられたカメラの映像に基づいて、視界の中に点滅している物体が存在するかを探索し、その存在を検出する。
その後のステップS403において、点滅検出部9は、起動意思が検出された場合に実行される機能を決定する。具体的には、点滅検出部9は、点滅しているコンビニエンスストアの看板やロゴマークなどをカメラ191で撮影し、画像処理によりパターン認識を行い、および/またはRFタグを利用した物体情報の取得を行うことで、点滅している物体を特定する。そして点滅検出部9は、予め保持している店・物体情報と動作機能との対応関係を規定したデータベースに基づいて実行機能を決定する。
図21は、データベースの一例を示す。ステップS403に関連する、データベースの利用方法を説明する。例えば、図18に示す看板194の方向に視線を向けた場合、視線方向に装着されているカメラ191は看板194の映像を撮影して映像信号を出力する。点滅検出部9は、出力された映像信号を取得し、撮影された映像の中で点滅している被写体、すなわち看板194を検出し、画像のパターン認識を行う。
点滅検出部9は、画像のパターン認識の結果に基づいて図21のデータベースを参照し、参照結果から、点滅している看板194が「デリシャスレストラン」のものであると判定し、ユーザ2の起動意思を判定した際に実行する機能を「割引クーポンを表示する」と設定する。
再び図20を参照する。ステップSS403と並行して、点滅検出部9はステップS404の処理を行う。ステップS404以降の処理は、ユーザ2の脳波信号を利用した起動判定処理である。
ステップS404において、点滅検出部9は、点滅物体が点灯したタイミングを検出し、実行機能の内容と点灯タイミングを起動判定部4に送る。
ステップS405、S406、S407は、図11のステップS803〜S806と同じであり、起動判定部4は、P200成分を利用した起動意思判定を行う。
P200成分が閾値を超えていない場合は、ステップS404の点灯刺激検出に戻り、処理が繰り返される。逆にP200成分が閾値を超えた場合は、ステップS408において、点滅検出部9によって決定された実行機能にしたがって、起動判定部4は、実行する機能の起動トリガを機能制御部5に出力する。この結果、脳波インタフェースシステム1が点滅タイミングの制御を行っていない機器に対しても、起動意思の判定を行うことが可能になる。
(実施形態4)
実施形態1では、TVが保有する1つの機能(脳波インタフェース)を起動するために、1つのアイコンを点滅させ、アイコン点灯時の事象関連電位P200成分を利用することで起動判定を行う方法を説明した。
我々の生活環境の中にはTV以外にも数多くの機器や機能が存在している。これらの機器や機能の起動を、本発明を利用して実現しようとすると、1つのアイコン点滅による1つの機能の起動だけでは、不十分である。
また、各機器に付属するアイコンを順番に点滅させることにより、事象関連電位のP300成分を利用して、ユーザが使用したい機器を選択することも可能である。選択される機器の数が十数個あるいは数十個と多い場合、それらの機器のアイコンを順番に点灯させると非常に多くの時間を要し、ユーザ所望のタイミングで使用したい機器を選択することが困難になる。
そこで本実施形態においては、複数のタイミングで機器ごとのアイコンを点滅させることにより、ユーザはどのアイコンに対して起動意思をもって注視したかを判定する起動インタフェースを実現する。このような起動インタフェースは、単一種類の視覚刺激による起動意思判定が、複数のタイミングで行われる処理と考えられるため、本発明の内容が適用できる。
本実施形態においては、TVを対象とした脳波インタフェースの起動ではなく、電子レンジや電磁調理器などの機器の操作インタフェースを対象として説明する。具体的には、機器のLEDの点滅を利用して機器の電源をOn/Offする起動インタフェースを説明する。
なお、脳波を用いて機器を制御することについては実施形態1と同様である。よって、本実施形態においてもこのような起動装置を含むシステム全体を「脳波インタフェースシステム」と呼ぶこととする。
図22は、本実施形態による脳波インタフェースシステム1および起動装置22の利用環境を示す。脳波インタフェースシステム1および起動装置22は、キッチンで家事をする状況下で利用される。
キッチンでは洗い物や調理などの両手を使った作業が多く、その作業中、ユーザ2は他
の作業を行うことができない。その一方、ユーザ2は多くの機器や調理用具を同時に扱わなければならない。
本願発明者らは、取り扱う機器や調理用具の多くには単純な制御が要求されることに着目し、起動装置22を用いて機器の起動および動作の停止を実現することとした。これにより、ユーザ2が手を放せない作業中であっても、各種機器を起動させ、動作を停止させることが可能になる。
ユーザ2は脳波計71を装着している。起動装置22は、起動判定部4と点滅タイミング制御部8とを含んでいる。起動装置22は脳波計71で検出されたユーザ2の脳波信号を無線で受け取る。
キッチンに設置された電磁調理器141aや電子レンジ141bなどの各機器はLEDなどの刺激提示部(61a、61b)と機能制御部5を有しており、それぞれ異なるタイミングで点滅している。点滅タイミングは、点滅タイミング制御部8により、点滅開始時刻と点滅周期で管理され、各機器の点滅タイミングが重複しないように制御される。また、起動装置22は無線でLED(142a、142b、142c、・・・、142n)の点滅タイミングを制御し、各機器の機能制御部(5a、5b、5c、・・・、5n)に対し起動トリガを出力する。
ユーザ2は、制御を行いたい機器に付随したLEDの点滅を注視する。ユーザ2が起動意思をもって注視した場合には、LEDが点灯したタイミングを起点とした事象関連電位のP200成分が比較的高い値をとる。ユーザ2が起動意思をもって注視を続けると、LEDの点滅タイミングにあわせてP200成分が出現し続ける。よって、このLEDの点滅タイミングとP200成分の発生タイミングとを比較することにより、ユーザ2がどの機器のLEDを注視していたかを特定することができる。このとき起動装置22は、各機器に予め定められた制御をするべく、選択された機器の機能制御部5に起動トリガを送信する。
図23は、各機器のLED142a〜142nの点灯タイミングの関係を示す。各機器は、予め定められた点灯タイミングで点灯を繰り返す。図24は、図22に示す各機器の機器名と、各機器に設けられた点滅装置の点灯タイミングと、対応する機器動作との対応の例である。この対応に基づいて、P200成分の発生タイミング検出が行われ、機器の動作を決定する。
再び図23を参照して、点滅タイミングとP200成分の発生タイミングの比較方法を説明する。点滅タイミング制御部8は、各機器のLEDの点灯開始時刻と点滅周期を制御するとともに、各機器のLED点灯時刻が重複しないように管理している。点滅タイミング制御部8は、点灯開始時刻と点滅周期から各機器の点滅タイミングを予測する。
予測結果によって、複数の機器のLEDの点灯タイミングが重複することが判明した場合、一方のLEDの点灯タイミングを他の機器のLEDの点灯時刻と重複しない時刻にずらす。例えば点滅タイミング制御部8は、各機器に予め割り振られた機器番号が大きい方の機器のLEDの点灯時刻を100ms遅らせる。これにより、点滅タイミングが重複しないように制御することができる。
また、複数の機器のLEDの点滅タイミングにおけるP200成分の検出区間が重複していると、重複している区間に発生した陽性ピークが、どちらの機器のLEDに反応したP200成分であるか判定ができなくなってしまう可能性がある。そのため、点滅タイミング制御部8は、各点滅タイミングのP200成分の検出区間が重複しないように(各機
器のLED点滅タイミングが100ms以下にならないように)調整を行う。点滅タイミング制御部8は、点灯開始時刻と点滅周期から重複が予想される場合、一方のLEDの点灯タイミングを、他方の機器のLEDの点灯タイミングよりも100ms以上遅れたタイミングに修正する。
各機器(141a、141b、141c、・・・、141n)は、上記の点滅タイミング制御部8の制御にしたがって、各機器が保持する刺激提示部61であるLED(142a、142b、142c、・・・、142n)を点滅させる。全ての機器の点灯タイミングにおいて、起動判定部4は、事象関連電位の計測を行い、計測された事象関連電位の中でP200成分を持つものを検出し、そのP200成分の発生タイミングを判定する。また起動判定部4は、P200成分の発生タイミングと、各機器のLEDの点灯タイミングとを比較し、タイミングが一致するものを探索することで、どの機器に対して起動意思をもっているのかを特定する。
図25は、本実施形態による脳波インタフェースシステム1および起動装置22の機能ブロックの構成を示す。本実施形態による構成は、実施形態1の構成に対し、起動装置中に新たに点滅タイミング制御部8を設けるとともに、脳波インタフェースシステム1において刺激提示部61a、61b・・・を設けたことにある。
たとえば図25に示す最上段の機器は、刺激提示部61aと、出力部6aと、機能制御部5aとを備えている。刺激提示部61aはLEDなどを利用して刺激を提示する。出力部6aは機器の機能をユーザ2に出力する。機能制御部5aは、その機器に対して予め設定された機能を実行する。
脳波インタフェースシステム1の他の機器も同様に構成されている。
起動装置22の点滅タイミング制御部8は、各機器が保持する刺激提示部61における点灯/消滅のタイミングを一括して制御している。
図26は、本実施形態による脳波インタフェースの起動に関連する処理手順を示す。
図26においては、主として左側の処理が点滅タイミング制御部8によって実行され、右側の処理は起動判定部4によって実行される。
ステップS300において、点滅タイミング制御部8は、図24に示す各機器の点灯開始時刻および点灯周期に基づいて、各機器の点灯タイミングを予測する。そしてステップS301において、点滅タイミング制御部8はそれらの点灯タイミングが重複する時刻が存在するか否かを判定する。重複する時刻が存在する場合には処理はステップS302に進み、存在しない場合にはステップS303に進む。
ステップS302において、点滅タイミング制御部8は、一方の機器の点滅タイミングを100ms以上ずらす。これにより、点灯タイミングが重複するその時刻については、重複が解消される。ただし、点灯タイミングをずらした結果、他の機器の点灯タイミングとの関係で重複が生じる可能性がある。そこで処理は再びステップS300に戻り、点滅タイミング制御部8は重複がなくなるまでステップS300からステップS302までの処理を繰り返す。
ステップS303において、点滅タイミング制御部8は各機器に制御信号を送り、各機器のLEDを点灯させる。先のステップS300〜S302までの処理により、点灯するのは常に1つの機器のLEDのみである。
ステップS304において、いずれかの機器のLEDが点灯すると、点滅タイミング制御部8は判定トリガを起動判定部4に出力する。この判定トリガは、後述する起動判定部4において、事象関連電位のP200成分を抽出するための基点を決定するために利用される。
ステップS305において、点滅タイミング制御部8は各機器のLEDの点灯タイミングを記録媒体(図示せず)に記録する。この結果ステップS310に示すように、判定トリガ情報が記録媒体に蓄積される。判定トリガ情報は、たとえば機器を特定するための機器ID、その機器の点灯タイミング等が記述される。「その機器の点灯タイミング」とは、その機器が実際に点灯した時刻であってもよいし、前の点灯タイミングからの差分値であってもよい。
ステップS306において、点滅タイミング制御部8は各機器のLEDを消灯させる。
ステップS303からS306までの処理は、ある機器が点灯してから消灯するまでの処理である。これらの処理が、図23に示す機器の点灯ごとに行われる。
次にステップS320以降の処理を説明する。
ステップS320において、起動判定部4は、判定トリガの検出を待っている。判定トリガを検出すると、ステップS321において起動判定部4は判定トリガを受信する。
次のステップS322では、起動判定部4は判定トリガを受信してから250ms経過するまで処理を待つ。その理由は、P200成分を抽出するためには、LED点灯後(すなわち判別トリガ受信後)の150msから250msまでの脳波信号が必要となるためである。経過していれば処理はステップS323に進み、経過していなければ処理はステップS320に戻る。
ステップS323において、起動判定部4は脳波計測部3からの脳波信号から、判定トリガの受信時刻を起点としたP200成分を含む範囲の事象関連電位を切り出す。そして起動判定部4は、その基点から約200msの前後50msの区間において、陽性の極大値を検索し、その振幅をP200成分として抽出する。
ステップS324において、起動判定部4は、P200成分が予め設定された閾値を超えているか否かを判定する。超えている場合には処理はステップS325に進み、超えていない場合には処理はステップS320に戻る。
ステップS325において、起動判定部4は、ステップS310において蓄積された判定トリガ情報に基づいて、その判定トリガが出力されたときに点灯していた機器を決定する。たとえば、点滅タイミング制御部8による判定トリガの出力と起動判定部4による判定トリガの受信とが実質的に同時に行われるとすると、起動判定部4は、その判定トリガの受信時刻をキーとして判定トリガ情報を検索し、その時刻に点灯していた機器を特定する。
ステップS326において、起動判定部4は決定された機器の制御データをメモリ(図示せず)から読み出す。その結果、ステップS327において、起動判定部4は、ユーザ2が操作を所望していると特定された各機器の機能制御部5に対し起動トリガを出力する。この起動トリガの受信に応答して、その機器は起動を開始することができる。
例えば、ユーザ2の事象関連電位のP200成分の出現タイミングが電子レンジ141bのLED142bの点灯タイミングと一致した場合、起動判定部4は、図24に示す制御データから、電子レンジ141bが選択された場合の機器動作を読み出し、電子レンジ141bが保持する機能制御部5bに対し、「あたため開始」という起動トリガを出力する。起動トリガを受信した電子レンジ141bの機能制御部5bは、出力部6bを制御してあたため機能を実行する。
上述のような構成により、制御対象の機器が数十数個と多い場合でも、アイコン点灯を長時間待つことなく、ユーザ所望のタイミングで脳波の事象関連電位を利用した制御をすることが可能になる。
なお、上述の例では、起動装置22は、脳波計71や各機器とは別の構成として説明を行ったが、脳波計71または各機器に内蔵された構成でも本発明の範疇である。
また、本実施形態では、操作の対象を電子レンジや電磁調理器などの機器とし、機器のLEDの点滅を利用して機器の電源をOn/Offするような起動インタフェースの例の説明を行ったが、必ずしも制御の対象は機器とする必要はなく、単一の機器の中に含まれる複数の機能を制御の対象としてもよい。例えば、PCのように1つの機器で多くの機能を保持している場合においても、本実施形態の構成が適用できる。
なお、1回のアイコン点灯で起動する機器を特定する場合は、すべての機器のLED点灯タイミングを異なるタイミングにする必要がある。また、LED点灯タイミングが重複する可能性がある場合には、各機器のLED点灯タイミングごとに加算平均した事象関連電位を利用することで、P200成分の出現に基づいた機器の特定を行ってもよい。
図27は、本実施形態の各機器のLEDの点灯を、PCのディスプレイに表示されたバナーの点灯に置き換えた例を示す。
ユーザがPCディスプレイ181上に表示されたインターネッとホームページを閲覧していると、さまざまな画像広告を目にする。これらはバナーと呼ばれている。バナーをクリックすることにより、より詳細な情報が記述されたページへと画面を遷移させることが可能であるため、バナーは他画面への遷移を意味するサインとして利用されている。
バナーは同一ページ上に複数表示されることが多い。たとえば図27では、3つのバナー182a、バナー182b、バナー182cが示されている。また、バナーに対しては、ユーザの目にとまるよう画像を点滅させるなどの加工が行われている。
上述した本実施形態の各機器のLEDの点灯は、PCのディスプレイに表示されたバナーの点灯に置き換えることができる。
たとえば閲覧中のページに詳細を知りたいバナーが存在した場合、ユーザは起動意思をもってバナーの点滅を注視する。PC内に内蔵された脳波インタフェースシステムは、ユーザの頭部で計測した脳波をもとに、P200成分を利用して起動意思の判定を行い、起動意思の出現タイミングとバナーの点滅タイミングを比較することにより、ユーザがどのバナーを、起動意思をもって注視していたか判定することができる。ユーザが詳細を知りたがっているバナーを特定することで、バナーの詳細情報が記載されたページに遷移することができる。
このようにバナーの点滅を利用することで、マウス等のデバイスがなくても所望のバナーを選択し、詳細表示ページへ遷移できるインタフェースを実現できる。
本発明の脳波インタフェースシステムおよび起動装置によれば、物理的な操作を行わずに、脳波インタフェースの起動が可能となり、脳波インタフェース起動後におけるメニューの選択と決定などのすべての段階で、ユーザの脳波を利用して脳波インタフェースによる操作が可能になる。このシステムは、機器制御が必要とされる場面において幅広く利用可能である。このシステムをたとえば情報機器に適用することにより、車の運転中や乳児を抱きかかえている時などの手を離せない状況においても、脳波のみによってその情報機器の制御を行うことができる。また、物理的な操作を行わずにインタフェース操作が可能になるため、ウェアラブル機器など、ハンズフリーを特徴とする機器に有用である。
1 脳波インタフェースシステム
2 ユーザ
3 脳波計測部
4 起動判定部
5 機能制御部
6 出力部
7 刺激注目判定部
8 点滅タイミング制御部
9 点滅検出部
20、21、22、195 起動装置

Claims (1)

  1. ユーザの脳波信号を計測する脳波計測部と、複数の機器とを有する脳波インタフェースシステムにおいて、前記複数の機器の少なくとも1つを起動するための起動装置であって、
    前記複数の機器の各々は、機器の機能を制御するための機能制御信号を出力する機能制御部と、前記機能制御信号を出力する出力部と
    を有し、
    前記起動装置は、
    各機器の出力部に対し視覚刺激の提示および消滅を繰り返すよう制御し、かつ、いずれかの機器において前記視覚刺激が提示されたタイミングを示す判定トリガを出力する点滅タイミング制御部と、
    前記判定トリガの出力タイミングおよび前記判定トリガが出力されたときに前記視覚刺激を提示していた機器を特定する判定トリガ情報を保持する記録媒体と、
    前記脳波計測部から取得した前記脳波信号のうち、前記判定トリガの受信タイミングを起点とした事象関連電位のP200成分の値と所定の閾値とを比較する起動判定部であって、比較結果に応じて、前記判定トリガの受信タイミングおよび前記判定トリガ情報に基づいて前記視覚刺激を提示していた機器を特定し、特定された機器の機能制御部に対して起動トリガを出力する起動判定部と、
    前記視覚刺激の提示タイミングを起点とした前記事象関連電位のN100成分に基づいて前記視覚刺激をユーザが注目しているか否かを判定し、判定結果に応じて、前記起動判定部の処理を開始させる刺激注目判定部と
    を備えており、
    前記起動トリガを出力することにより、前記起動判定部によって特定された前記機器を起動させる、起動装置。
JP2009191980A 2007-10-29 2009-08-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム Active JP4875735B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009191980A JP4875735B2 (ja) 2007-10-29 2009-08-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007280895 2007-10-29
JP2007280895 2007-10-29
JP2009191980A JP4875735B2 (ja) 2007-10-29 2009-08-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009510224A Division JP4392465B2 (ja) 2007-10-29 2008-10-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2010015584A true JP2010015584A (ja) 2010-01-21
JP2010015584A5 JP2010015584A5 (ja) 2010-04-08
JP4875735B2 JP4875735B2 (ja) 2012-02-15

Family

ID=40590667

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009510224A Active JP4392465B2 (ja) 2007-10-29 2008-10-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2009191980A Active JP4875735B2 (ja) 2007-10-29 2009-08-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009510224A Active JP4392465B2 (ja) 2007-10-29 2008-10-21 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US8369939B2 (ja)
JP (2) JP4392465B2 (ja)
CN (1) CN101669083B (ja)
WO (1) WO2009057260A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011105000A1 (ja) * 2010-02-25 2011-09-01 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
CN102469961A (zh) * 2010-01-28 2012-05-23 松下电器产业株式会社 语音清晰度评价系统、方法及其程序
JP2017524394A (ja) * 2014-05-30 2017-08-31 ザ リージェンツ オブ ザ ユニバーシティー オブ ミシガン 多肢選択式の解答の直接選択及び状態変更の特定を容易にするためのブレインコンピュータインターフェース
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11269414B2 (en) 2017-08-23 2022-03-08 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464397B1 (ko) 2007-03-29 2014-11-28 더 닐슨 컴퍼니 (유에스) 엘엘씨 마케팅 및 엔터테인먼트 효과의 분석
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
KR20100038107A (ko) 2007-07-30 2010-04-12 뉴로포커스, 인크. 신경-반응 자극 및 자극 속성 공명 추정기
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
CN102099770B (zh) * 2009-01-19 2014-01-08 松下电器产业株式会社 用于脑波接口系统的启动装置、方法以及计算机程序
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
US8655437B2 (en) 2009-08-21 2014-02-18 The Nielsen Company (Us), Llc Analysis of the mirror neuron system for evaluation of stimulus
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
US8209224B2 (en) * 2009-10-29 2012-06-26 The Nielsen Company (Us), Llc Intracluster content management using neuro-response priming data
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
US8655428B2 (en) 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
US8392250B2 (en) 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Neuro-response evaluated stimulus in virtual reality environments
US8392251B2 (en) 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Location aware presentation of stimulus material
US8396744B2 (en) 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
JP5688154B2 (ja) * 2010-09-29 2015-03-25 オフィス オブ ザ ナショナル ブロードキャスティング アンド テレコミュニケーションズ コミッション Ssvepに基づく電気デバイス制御システムおよび方法
CN102905092A (zh) * 2011-07-29 2013-01-30 广东易家通数字家庭技术发展有限公司 一种通过脑电波对电视机遥控的方法及设备
CN102426768B (zh) * 2011-08-16 2016-02-10 海尔集团公司 基于体电波控制电子设备的系统及方法
US9701197B1 (en) * 2011-09-22 2017-07-11 Rockwell Collins, Inc. Positive acknowledgement method that information is received
US9292858B2 (en) 2012-02-27 2016-03-22 The Nielsen Company (Us), Llc Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments
US9451303B2 (en) 2012-02-27 2016-09-20 The Nielsen Company (Us), Llc Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US9060671B2 (en) 2012-08-17 2015-06-23 The Nielsen Company (Us), Llc Systems and methods to gather and analyze electroencephalographic data
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制系统
US20140228701A1 (en) * 2013-02-11 2014-08-14 University Of Washington Through Its Center For Commercialization Brain-Computer Interface Anonymizer
TWI492084B (zh) * 2013-03-04 2015-07-11 Cerebral wave visual evoked potentials
US9320450B2 (en) 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
US10368802B2 (en) 2014-03-31 2019-08-06 Rovi Guides, Inc. Methods and systems for selecting media guidance applications based on a position of a brain monitoring user device
US9622702B2 (en) 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9531708B2 (en) 2014-05-30 2016-12-27 Rovi Guides, Inc. Systems and methods for using wearable technology for biometric-based recommendations
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
JP2017064390A (ja) * 2015-09-28 2017-04-06 パナソニックIpマネジメント株式会社 電気刺激システム、電気刺激方法、コンピュータプログラム
US11152086B2 (en) 2017-11-02 2021-10-19 Bank Of America Corporation Electroencephalogram triggered experience modification system
US10456054B2 (en) 2017-11-02 2019-10-29 Bank Of America Corporation Electroencephalogram triggered resource distribution query system
US10567961B2 (en) 2017-11-02 2020-02-18 Bank Of America Corporation System for electroencephalogram patterning recognition for authentication
JP2019091253A (ja) * 2017-11-15 2019-06-13 株式会社ソニー・インタラクティブエンタテインメント 視線検出装置
US10952680B2 (en) 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
US10671164B2 (en) 2017-12-27 2020-06-02 X Development Llc Interface for electroencephalogram for computer control
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
WO2020009512A1 (ko) * 2018-07-04 2020-01-09 이정용 뇌파인식시스템
JP2021089635A (ja) * 2019-12-05 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN115857701B (zh) * 2023-02-15 2023-06-02 季华实验室 一种ssvep脑电信号处理方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203022A (ja) * 1998-01-16 1999-07-30 Technos Japan:Kk 生体信号を機器の制御信号として応用する方法及びその装置
JP2004086768A (ja) * 2002-08-28 2004-03-18 Fuji Xerox Co Ltd 物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP2005034620A (ja) * 2003-07-02 2005-02-10 Naoyuki Kano 事象関連電位を利用したヒトの心理状態等の判定方法及び装置
WO2006003901A1 (ja) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. 生体信号利用機器およびその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926969A (en) * 1988-11-18 1990-05-22 Neurosonics, Inc. Sensory-driven controller
JP4081614B2 (ja) 1996-07-29 2008-04-30 独立行政法人産業技術総合研究所 鎮静催眠薬剤の薬効の測定装置
JPH1173286A (ja) 1997-08-28 1999-03-16 Omron Corp ポインタ制御装置及び方法
JPH11123181A (ja) 1997-10-22 1999-05-11 Isuzu Motors Ltd データ表示方法
JP2000075991A (ja) 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
US6434419B1 (en) * 2000-06-26 2002-08-13 Sam Technology, Inc. Neurocognitive ability EEG measurement method and system
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
CN1317624C (zh) * 2003-12-31 2007-05-23 中国人民解放军第三军医大学野战外科研究所 基于瞬态视觉诱发电位提取脑机接口控制信号的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203022A (ja) * 1998-01-16 1999-07-30 Technos Japan:Kk 生体信号を機器の制御信号として応用する方法及びその装置
JP2004086768A (ja) * 2002-08-28 2004-03-18 Fuji Xerox Co Ltd 物体制御装置、物体制御方法、物体制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP2005034620A (ja) * 2003-07-02 2005-02-10 Naoyuki Kano 事象関連電位を利用したヒトの心理状態等の判定方法及び装置
WO2006003901A1 (ja) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. 生体信号利用機器およびその制御方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469961A (zh) * 2010-01-28 2012-05-23 松下电器产业株式会社 语音清晰度评价系统、方法及其程序
JP4856791B2 (ja) * 2010-02-25 2012-01-18 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
US9078725B2 (en) 2010-02-25 2015-07-14 Panasonic Intellectual Property Management Co., Ltd. Electroencephalogram interface system, electroencephalogram interface providing apparatus, method of operating electroencephalogram interface, and program
WO2011105000A1 (ja) * 2010-02-25 2011-09-01 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
JP2017524394A (ja) * 2014-05-30 2017-08-31 ザ リージェンツ オブ ザ ユニバーシティー オブ ミシガン 多肢選択式の解答の直接選択及び状態変更の特定を容易にするためのブレインコンピュータインターフェース
JP2020072946A (ja) * 2014-05-30 2020-05-14 ザ リージェンツ オブ ザ ユニバーシティー オブ ミシガン 多肢選択式の解答の直接選択及び状態変更の特定を容易にするためのブレインコンピュータインターフェース
US11266342B2 (en) 2014-05-30 2022-03-08 The Regents Of The University Of Michigan Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes
US12121360B2 (en) 2014-05-30 2024-10-22 The Regents Of The University Of Michigan Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes
US11269414B2 (en) 2017-08-23 2022-03-08 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11366517B2 (en) 2018-09-21 2022-06-21 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions

Also Published As

Publication number Publication date
US20100317988A1 (en) 2010-12-16
JP4392465B2 (ja) 2010-01-06
JPWO2009057260A1 (ja) 2011-03-10
CN101669083A (zh) 2010-03-10
US8369939B2 (en) 2013-02-05
WO2009057260A1 (ja) 2009-05-07
CN101669083B (zh) 2012-01-11
JP4875735B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
JP4875735B2 (ja) 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
Bell et al. Beyond self-report: A review of physiological and neuroscientific methods to investigate consumer behavior
US11170400B2 (en) Analysis of controlled and automatic attention for introduction of stimulus material
JP4287903B2 (ja) 脳波インタフェースシステムおよび起動装置
EP2049972B1 (en) Gaze interaction for information display of gazed items
US20200163571A1 (en) Personalized stimulus placement in video games
JP4856791B2 (ja) 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
US8392250B2 (en) Neuro-response evaluated stimulus in virtual reality environments
US8392251B2 (en) Location aware presentation of stimulus material
CN101681201B (zh) 脑波接口系统、脑波接口装置、方法
EP2081100A1 (en) Adjusting device for brain wave identification method, adjusting method and computer program
US20150223684A1 (en) System and method for eye tracking
US20100249538A1 (en) Presentation measure using neurographics
Wenzel et al. Real-time inference of word relevance from electroencephalogram and eye gaze
Šola et al. Tracking unconscious response to visual stimuli to better understand a pattern of human behavior on a Facebook page
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
KR101731471B1 (ko) 집중력 향상을 위한 뉴로-피드백 장치 및 방법
Motti Assistive wearables: Opportunities and challenges
JP2013180076A (ja) 分析支援装置、プログラム
Aurup et al. Pair-wise preference comparisons using alpha-peak frequencies
Zerafa et al. Reducing the training time for the SSVEP-based music player application
Eeken Quantitative vs. Qualitative: A Comparison of Methods For Improved Usability Research
Ball et al. 9 Eye-Tracking and
Cecotti et al. Toward improving the visual stimulus meaning for increasing the P300 detection
JP2020116173A (ja) 印象評価システム、及び、印象評価方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4875735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150