JP3993882B2 - 生体信号利用機器およびその制御方法 - Google Patents

Description

本発明は、ユーザが操作を行う機器の制御に関し、特に、ユーザの脳波などの生体信号を利用して機器の制御を行う技術に関する。

脳波等の生体信号を利用して機器を制御する従来技術として、意識的かつ随意に発生できる脳波の周波数成分であるβ波（１２〜２５Ｈｚ）を利用するものがある（特許文献１、２参照）。これは、文字や図形で表現された意志伝達内容（例えば、「ナースコール」や「飲み物」等）が割り当てられたソフトウェアスイッチ（メニュー項目）を、マトリクス状にディスプレイ等に表示してユーザに提示する。そして、各ソフトウェアスイッチを所定の時間間隔で順にハイライトさせ、ユーザは、所望のメニュー項目がハイライトされた際にβ波を発生して、そのメニュー項目を選択する。これにより、ユーザは、自分の意志を言葉や体の動きによって伝えられない場合でも、他人に自分の意志を伝えることができる。

一方、認知心理学や医学的臨床研究では、脳波等の生理的指標を用いた研究も行われてきた。例えば非特許文献１によると、脳波計によって、認知症疾患、うつ病、精神分裂病、高次機能障害などの診断や、各種薬物やリハビリテーションの効果判定が行われている。
特開平１０−２０７５９２号公報（第１図、第４図） 特開平１１−２０３０２２号公報（第１図、第３図） 加我他，「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」，篠原出版新社，１９９５ 藤沢他、「新生理心理学」、北大路書房、１９９８

しかしながら、上述の従来技術では、β波を発生するタイミングがずれたり、身体状態や無意識の動作等に起因してユーザの意図とは異なるタイミングでβ波が発生してしまう場合があり、このような場合には、意図を正しく伝えたり、機器を希望通り操作したりすることができない。また、β波の発生には、かなり根気強い訓練が必要とされることがすでに知られている。すなわち、機器の制御に利用するのに必ずしも適当とはいえない。

前記の問題に鑑み、本発明は、ユーザの意図や心的状態を、生体信号を利用して検知し、機器の動作を自動的に修正して、機器の利便性を向上させることを課題とする。

本発明は、機器を操作するユーザの生体信号を計測し、機器がユーザの操作に応じて動作したとき、計測した生体信号から、機器の動作内容がユーザに提示された後の所定の時間範囲、特に、提示後、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点を中心とする時間範囲において、期待はずれ信号の有無を検出する。そして、期待はずれ信号が検出されたとき、動作を修正するよう、当該機器に指示する。

この発明によると、ユーザの操作に応じて機器が動作した場合に、提示された動作内容を見てユーザが、その内容が期待していたものとは別のものであったといったような「期待はずれ感」を抱いたとき、これを生体信号から検出して、機器の動作を自発的に修正することができる。これにより、「期待はずれ感」を抱いたユーザが操作をやり直す手間を省くことができるので、機器の利便性を格段に向上させることができる。

期待はずれ信号が検出されたときの動作の修正方法としては、ユーザに提示した動作内容による動作をキャンセルしてもよいし、機器が複数の機能を有するとき、現在実行中の機能を他の機能に切り替えるようにしてもよい。また、ユーザが複数の機器を含む機器システムを操作しているときは、動作している機器に代えて、他の機器を動作させるようにしてもよい。

ここで、本願明細書において、「期待はずれ信号」とは、「ユーザが操作前に期待した機器の動作」と「操作後の実際の機器の動作結果」が食い違っていた（ミスマッチであった）ときに、ユーザの生体信号から検出される特徴的な信号のことをいう。具体的には、期待はずれ信号は、例えば、脳波の事象関連電位から検出することができる。

本発明によると、生体信号から期待はずれ信号が検出されたとき、機器の動作が自発的に修正される。これにより、ユーザが操作をやり直す手間を省くことができるので、機器の利便性を格段に向上させることができる。

本発明の第１態様では、生体信号を利用して動作する機器として、ユーザによる当該機器への操作を検出する機器操作検出部と、前記操作に応じて当該機器を制御する機器制御部と、前記制御の結果としての当該機器の動作内容を前記ユーザに提示する動作提示部と、前記ユーザの脳波における事象関連電位を計測する生体信号計測部と、前記動作内容の提示のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出する信号検出部とを備えたものを提供する。

具体的には、第１態様の生体信号利用機器において、前記事象関連電位が検出されたとき、当該機器の動作をキャンセルするよう、または、当該機器が実行している機能を他の機能に切り替えるよう、前記機器制御部に指示をする動作修正部を備えているものとする。より具体的には、前記機能は、静止画、動画、映像および音声のうち少なくとも１つからなるコンテンツに対し、表示、選択、記録、再生、編集、配信および削除から選択された行為であるとする。

一方、本発明の第２態様では、第１態様の生体信号利用機器を含む機器システムにおいて、前記事象関連電位が検出されたとき、前記操作に応じて動作した機器に代えて、他の機器を動作させるよう、前記機器制御部に指示をする機器変更部を備えたものを提供する。より具体的には、前記機器は、静止画、動画、映像および音声のうち少なくとも１つからなるコンテンツに対し、表示、選択、記録、再生、編集、配信および削除の少なくとも一つの機能を含むものとする。

また、本発明の第３態様では、生体信号処理装置として、ユーザの脳波における事象関連電位を計測する生体信号計測部と、前記ユーザによる機器の操作に対する当該機器の反応のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出する信号検出部とを備えたものを提供する。

一方、本発明の第４態様では、生体信号を利用した機器制御方法として、ユーザによる当該機器への操作を検出するステップと、前記操作に応じて当該機器を制御するステップと、前記制御の結果としての当該機器の動作内容を前記ユーザに提示するステップと、
前記ユーザの脳波における事象関連電位を計測するステップと、前記動作内容の提示のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出するステップとを備えたものを提供する。

（期待はずれ信号取得の実験）
まず、本願発明者らが行った、期待はずれ信号を取得するための実験について、説明する。

図９は実験手順の概要を示す図である。この実験は、被験者に指示を与え（手順Ａ）、その指示を受けて被験者が必要な行動を思い浮かべて機器を操作し（手順Ｂ）、その操作結果としての動作を被験者に提示する（手順Ｃ）、という手順からなっている。

まず、実験施行者から、被験者に対して、「画面に「Ｌ」または「Ｒ」の文字が表示されるので、Ｌの文字に対してはマウスの左クリック、Ｒの文字に対しては右クリックを押して欲しい」と説明する。そして、「Ｌ」「Ｒ」を５０％の確率でランダムに選択して、画面に表示する（手順Ａ）。被験者は、表示された文字を見て、教示されたルールに従って、右か左のクリックを行う（手順Ｂ）。そして、その操作に対して、正しくクリックがなされたか否かを、「○」「×」で画面に表示する（手順Ｃ）。

ただし、この実験では、クリックが正しくなされたとしても（ほぼ１００％正しくなされるはずである）、２０％の確率で「×」を表示するものとする。被験者からすると、正しくクリックしたから「○」が表示されると期待していたのに「×」が表示されると、「あれっ」と思うはずである。すなわち、思った通りに機器が動作していない「期待はずれ」の状況になる。この「期待はずれ」の状況が、脳波における事象関連電位から検出できないかを確認することが、本実験の目的である。

図１０は一試行分の手順を示すフローチャートである。まず、画面に「Ｌ」または「Ｒ」の文字を５０％の確率で選択して表示し（Ｓ３０）、被験者はその表示を見てどちらのボタンをクリックするかを選択して、マウスを操作する（Ｓ３１）。被験者の操作を受けて、正しく操作されたか否かに基づいて「○」「×」を表示する。このとき、「○」を表示すべき場合でも、２０％の確率で「×」を表示する（Ｓ３２）。「○」「×」が表示されたタイミングを起点として、被験者の脳波における事象関連電位を測定し（Ｓ３３）、その測定された事象関連電位を処理して、期待はずれ信号を識別する（Ｓ３４）。

実験では、複数の被験者について、まず練習として常に「○」が表示される試行を３０試行行った後に、図１０に示す手順による試行を１００回行った。

図１１は実験結果のうち４人の被験者（Subject 1-4）の実験データを示すグラフである。図１１の各グラフは、脳波計で測定された電位波形を積算したものであり、横軸は刺激提示（「○」「×」が表示されたとき）からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。太線は「期待はずれ」すなわち正しくクリックしたにもかかわらず「×」が表示されたときの波形、細線は通常時すなわち正しくクリックして「○」が表示されたときの波形である。なお、電極は、国際１０−２０法に従い、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は１０００Ｈｚとした。

図１１の各グラフから、「期待はずれ」のときは、刺激提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、この事象関連電位を計測することによって、ユーザの「期待はずれ感」を検出することができる、と予想される。

なお、この実験で測定された事象関連電位は、非特許文献１等に示されたＰ３００と比べて、刺激提示からの反応時間が遅めである。この理由は、必ずしも定かではないが、次のように考えられる。

すなわち、事象関連電位に関して従来（非特許文献１，２等）行われたのは、音程や画像の違いなどを判断する、という受動的な測定による実験であった。これに対して、本願発明者らが実行した実験では、ユーザは、ある期待を持って行動を選択して実行し、その期待通りの動作が行われたか否かを判断している。ユーザが行動を選択する、というステップを含めた点が、これまでとは大きく異なっている。そして、自分の期待通りの動作が行われたか否かの判定は、ただ単に音程や画像の違いを判断する場合と比べると、高次の判断になる。このため、刺激提示からの反応時間が、これまでの測定よりも遅めになって、刺激提示後６００ｍｓ程度のところにピークが現れるようになったと考えられる。

なお、図１１から分かるように、ピークの現れる時間は、個人ごとに異なっており、また試行ごとにも異なっているが、刺激提示後６００ｍｓ前後の範囲を調べることで事象関連電位の有無がわかる。

この実験で明らかになったように、ユーザが期待した通りに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には、明確な差がある。したがって、この事象関連電位は、機器のインターフェースにおいて、「期待はずれ信号」として用いることが可能である。

（期待はずれ信号の検出）
期待はずれ信号の具体的な検出方法の例について、図１２のフローチャートを参照して説明する。この方法では、予め、期待はずれ時の信号を加算した標準波形（ターゲットのテンプレート）と、期待はずれでない通常時の信号を加算した標準波形（コントロールのテンプレートと表記）とを作成しておき、これらテンプレートを「期待はずれ信号」の検出に用いるものとする。

図１２に示すように、まず、応答内容を出力したタイミング（応答提示時）を起点として、脳波の電位変化のサンプリングを行う（Ｓ５１）。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。次に、得られた脳波の電位変化から、「期待はずれ信号」の検出に関係する領域の波形を切り出す（Ｓ５２）。上述した実験結果から、「期待はずれ信号」は刺激提示後６００ｍｓ前後の部分あたりに検出されることが分かっている。また、応答提示後比較的早い領域の波形は、聴覚刺激や視覚刺激に反応して現れるものであり、人の期待とは関係ないと考えられるので、その部分は除去するのが好ましい。そこで、例えば、応答提示後２００ｍｓから８００ｍｓの領域を切り出すものとする。

もちろん、この切り出す範囲はこれに限られるものではなく、例えば、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよい。あるいは、下限を設定せずに、応答提示後から１ｓ程度の範囲を切り出してもよい。

次に、切り出した波形からノイズを除去する（Ｓ５３）。ここでは、信号に混入する高周波成分をカットしたり、信号を例えば４０Ｈｚのローパスフィルタに通したり、瞬きによる眼電の影響を低減するために、４０μＶ以上の振幅を持つ波形を識別対象から除去したりする。

次に、ノイズ除去された信号について、ターゲットのテンプレートおよびコントロールのテンプレートとそれぞれ相関をとる（Ｓ５４）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。

そして、信号波形と各テンプレートとの距離計算を行う（Ｓ５５）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す。このマハラノビス距離を用いて、信号波形がターゲットとコントロールのどちらに近いかを判別する（Ｓ５６）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。

信号波形はターゲットに近いと判断したときは（Ｓ５６でＹｅｓ）、期待はずれ信号が検出された、すなわち、ユーザは期待はずれと思っている状態である、と識別する（Ｓ５７）。一方、信号波形はコントロールに近いと判断したときは（Ｓ５８）、期待はずれ信号は検出されなかった、すなわち、ユーザは期待通りの応答が得られたと思っている、と識別する。

このようなテンプレートを用いた方法をとることによって、波形にばらつきが大きく、１回の波形ごとの識別が困難であるとされる脳波においても、ある程度、期待はずれ信号の検出が可能になる。

図１３は上述した実験データを用いて、図１２のフローに従って期待はずれ信号を検出した結果を示す図である。図１３では、各被験者のターゲット数（期待はずれのデータ数）と正しく判別できた数とを示している。図１３から、単一波形であっても、約８割の精度で期待はずれの状況を識別できることが分かる。

なお、ここでは、ターゲットとコントロールの信号テンプレートを用いるものとしたが、ターゲットの信号テンプレートだけを用いるようにしてもかまわない。例えば、ターゲットの信号テンプレートとのマハラノビス距離を計算し、所定値との比較によって、期待はずれが否かを判別してもよい。

また、テンプレートの利用に代えて、またはテンプレートの利用とともに、他の手法を用いてもかまわない。例えば、極大値や極小値を用いてもよいし、波形の中で最大の陽性成分を検出し、その振幅を閾値と大小比較してもよいし、あるいは、適応形相関フィルタなどを用いてもよい。その他、波形識別方法についてはまだまだ改良の余地があり、パターン識別方法と脳波信号の前処理方法を組み合わせることによっても、識別精度は向上させられると考えられる。

（より高次の認知に基づく期待はずれ信号取得の実験）
本願発明者らは、さらに、期待はずれ信号を取得するための追加の実験を行った。この実験は、「○／×」といった単純な識別子による期待した動作内容の確認だけでなく、例えば、デジタルテレビにおける見たい映像の選択操作など、現実の機器のインタフェース操作においても同様の事象関連電位が出現することの確認を目的としている。また、この実験は、チャンネル番号のような単純な識別子による期待動作の確認だけでなく、ジャンル名や番組名による行動の選択時に被験者が期待してイメージした内容と、実際に被験者に提示された事前には知りえない映像とを比較して、その内容が期待通りであったか否かを判定するような、より高次の認知に基づくユーザの反応を計測することを目的としている。以下、この実験について説明する。

図１４は追加実験の手順の概要を示す図である。この実験は、画面を通じて被験者に問題および選択肢を提示し（手順１）、被験者は適正と判断したいずれか１つの選択肢を選択し（手順２）、被験者自らの要求としてキーボード等を介して機器に要求を入力する（手順３）。そして、所定時間経過後に要求結果として画面に映像が提示され（手順４）、その映像が要求内容に対して意図した内容であるか否かを判定した際の被験者の反応を脳波計により計測する（手順５）、という手順からなっている。

図１５は一試行分の手順を示すフローチャートである。まず、被験者に問題およびこれに対する行動の選択肢を同時に画面に表示する（Ｓ７１）。例えば、図１４に示すように、「２ｃｈにしてください」という問題に対して、「Ａ：２ｃｈ、Ｂ：４ｃｈ、Ｃ：１０ｃｈ、Ｄ：８ｃｈ」などと表示する。次に、被験者は表示された問題と選択肢を確認し、問題に対する行動を選択肢の中から選択する（Ｓ７２）。例えば、図１４に示すように、被験者は２ｃｈにするため、行動Ａを選択する。その後、被験者は選択した行動を機器に入力する（Ｓ７３）。具体的には、選択肢Ａ〜Ｄに対応するキーボードのキーを入力する。例えば、図１４に示すように、被験者はキーＡを押す。被験者によるキー入力から２００ｍｓ後に、６５％の確率で「選択した行動の内容に応じた映像」を、３５％の確率で「選択した行動の内容とは異なる内容の映像」を画面に提示する（Ｓ７４）。なお、映像は２秒間提示し、映像の提示終了の０．５秒後に次の問題を提示する。また、試行ごとに映像の内容は変更する。そして、映像が提示時刻Ｔｍｃを起点（時刻０）として、被験者の脳波における事象関連電位を所定時間（１５００ｍｓ）測定する（Ｓ７５）。

ここで、問題として、「２ｃｈにしてください」のようにチャンネルの番号のような「識別子による要求に関するもの（問題種類１）」、「野球番組にしてください」のように「ジャンルによる番組の要求に関するもの（問題種類２）」、「ニュースＺにしてください」のように「番組の内容そのものに関するもの（問題種類３）」の３種類を提示した。また、選択肢は４つとした。

問題種類１〜３のそれぞれについて、「選択した行動の内容に応じた映像の提示」（以下、「期待映像提示」という）および「選択した行動の内容とは異なる内容の映像の提示」（以下、「異映像提示」という）は次の通りである。

問題種類１（識別子による要求に関するもの）の場合、期待映像提示は、例えば２ｃｈの要求入力に対して２ｃｈの映像が提示されることであり、異映像提示は、２ｃｈを要求したにもかかわらず、４ｃｈなどの異なるチャンネルの映像が提示されることである。例えば、図１４では、被験者は２ｃｈを入力して２ｃｈの表示を要求したにもかかわらず、４ｃｈの映像が提示されている例である。

問題種類２（ジャンルによる要求に関するもの）の場合、期待映像提示は、例えば「野球」というジャンルの要求入力に対して野球の映像が提示されることであり、異映像提示は、例えば「野球」というジャンルを要求したにもかかわらず、「ニュース」や「アニメ」や「天気予報」などの異なるジャンルの映像が提示されることである。

問題種類３（内容そのものに関するもの）の場合、期待映像提示は、例えば「ニュースＸ」という番組の要求入力に対して「ニュースＸ」の映像が提示される場合であり、異映像提示は、「ニュースＸ」という番組を要求したにもかかわらず、「ニュースＹ」や「ニュースＺ」などの異なる番組の映像が提示されることである。

以上のような問題種類１から３の間には、次のような認知的な複雑さの違いがあると考えられる。すなわち、問題種類１は２ｃｈや４ｃｈといった記号の違いを認知する複雑さである。問題種類２は、ジャンルレベルの識別問題であり、記号だけでなく、図形や物体などから構成された映像をニュースやアニメ、野球といったジャンルと認知する問題である。この問題では、映像の色合いがアニメとそれ以外では明らかに違い、また、天気図と野球場とニューススタジオといった大きなカテゴリの違いを見分けることになるので、記号と同程度に認知が容易であると考えられる。

これに対して、問題種類３は、問題種類２とは異なり、同じジャンルの映像をさらに内容によって識別する問題である。例えば、ニュースというジャンルに属する複数の映像を番組の内容によって識別するには、スタジオの形状や、出演しているキャスター、文字スーパーなどさらに細かい特徴まで考慮する必要がある。さらに、野球の例で言えば、「○○対××戦」のような番組内容まで識別しようとすると、球場の違いやユニフォームの違いなど、同様にさらに細かな特徴までも考慮しないと認知できない。すなわち、ぱっと見て分かる野球場と天気図の違いを識別すればよい問題種類２と、どの野球場なのか、どのチームのユニフォームなのか、非常に似通っているものを識別する問題種類３には、明らかに認知的複雑さの違いがあり、問題種類３の方がより高次の認知に基づくものであると考えられる。

なお、本実験では、実験用に準備した同じ映像を問題種類を違えて用いている。例えば、問題種類２についての実験において「野球番組にしてください。」という要求に対して、異映像提示として図１４に示した天気予報の映像を提示する。このように、同じ映像提示でも問題種類に応じて認知的複雑さが異なることによって被験者の反応にどのような違いが生じるのかを検証した。

本実験では、図１５の手順による試行を１回の実験につき１２０試行行い、各被験者につき２回実験を実施し、被験者ごとに合計２４０試行のデータを計測した。なお、電極の貼り付け方法は先の実験と同様に国際１０−２０方に従い、サンプリング周波数は２００Ｈｚとした。また、実験データの解析においては、０．０５〜１０Ｈｚのバンドパスフィルタを用い、ベースライン補正としては刺激提示前２００ｍｓから０ｍｓの波形を用いた。また、瞬きによるノイズの混入を防ぐため同時に眼電を計測し、眼電成分の振幅が１００μＶ以上の試行を解析対象のデータから削除した。

図１６は問題種類１〜３についての実験データを示すグラフである。図１６の各グラフは、３名の被験者から得た電位波形を積算したものであり、横軸は映像の提示からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。太線は入力した要求（選択した行動）と関連しない映像が提示されたときの波形、細線は入力した要求（選択した行動）と関連した映像が提示されたときの波形である。

図１６において、問題種類１および２にそれぞれ対応するグラフでは、入力した要求（選択した行動）と関連しない映像が提示されたときは、先の実験結果と同様に、その提示から約６００ｍｓに、通常時とは異なった特徴を持つ事象関連電位が現れている。同様に、図１６において、問題種類３に対応するグラフでは、入力した要求（選択した行動）と関連しない映像が提示されたとき（例えば、「ニュースＸ」と入力して「ニュースＺ」の映像が表示される場合など）と、入力した要求（選択した行動）と関連した映像が提示されたとき（例えば、「ニュースＸ」と入力して「ニュースＸ」の映像が表示される場合など）との波形は明らかに異なっている。しかも、特徴的な事象関連電位の潜時が６００ｍｓから１５０ｍｓ程度シフトして７５０ｍｓ前後となっている。これは、問題種類１、２と問題種類３との間には、先に述べたような認知的複雑さの違いがあるからと考えられる。

先の実験により、自分の期待通りの動作が行われたか否かの判定は、ただ単に音程や画像の違いを判断する場合と比べると、高次の判断になるため、刺激提示からの反応時間が、従来の事象関連電位のよりも遅めになって、刺激提示後６００ｍｓ程度のところにピークが現れるようになったと考えられる。

以上、本実験により、ジャンルレベルの大まかな期待内容と、実際の機器の動作提示内容との比較というより高次で認知的に複雑な判断をする場合においても、先の実験結果と同様に、刺激提示後６００ｍｓ程度のところに特徴的な事象関連電位が現れることを確認した。このことから、操作や機能など、ジャンルレベルで記述することが多い通常のインタフェース操作においては、６００ｍｓ前後の事象関連電位の利用が非常に有効であると考えられる。

さらに、ジャンルのような大まかな違いを判断するという複雑さを超え、さらに番組内容というより詳細な特徴まで考慮する必要のある、より高次で認知的に複雑な判断が要求される場合には、潜時が１５０ｍｓ前後シフトして、特徴的な事象関連電位が現れることを確認した。このことから、より複雑な状況を認識する新たなインタフェースの実現においては、認知的な複雑さに応じて、事象関連電位の潜時シフトを考慮する必要があると考えられる。

この追加実験でさらに明らかになったように、より高次で認知的に複雑な判断が要求される場合においても、ユーザが期待した通りに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には、明確な差がある。

次に、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る生体信号利用機器の構成を示すブロック図である。図１では、生体信号処理装置１００は生体信号利用機器（以下、単に「機器」ということがある）１に内蔵されているものとしている。ただし、生体信号処理装置１００は機器１と別個に設けてもよい。

図１において、１０１はユーザ５０の機器操作を検出する機器操作検出部、１０２は機器操作検出部１０１によって検出されたユーザ５０の操作に応じて機器１の制御を行う機器制御部、１０３は機器１の動作内容をユーザ５０に提示する動作提示部である。また生体信号処理装置１００において、１０４はユーザ５０の生体信号を計測する生体信号計測部、１０５は生体信号計測部１０４によって計測された生体信号から期待はずれ信号の有無を検出する信号検出部である。１０６は期待はずれ信号が検出されたとき、動作提示部１０３から提示した動作内容による動作をキャンセルし、機器１の状態を操作前の状態に戻すよう機器制御部１０２に指示する、動作修正部としての操作キャンセル部である。

本実施形態は、ユーザの操作に応じた機器の動作が、ユーザの期待に沿うものであったか否かを機器が自動的に判断し、期待に反していた場合に、機器の状態をユーザの操作前の状態に戻すものである。具体的には例えば、操作ボタンを押し間違えた場合、操作ボタンの機能を誤解して操作した場合、または、操作方法が分からずに適当に操作した場合には、機器の動作はユーザの意図したものとはならない。このような場合を、期待はずれ信号を利用して検出し、ユーザの期待に添わない機器動作を自動的にキャンセルする。これにより、ユーザに煩わしい訂正操作を強いる必要がなくなり、利便性が大きく向上する。

例えばビデオの操作の場合、ユーザが「早送り」や「巻き戻し」をしたいと思ったとき、「早送りボタン」や「巻き戻しボタン」を正しく選択して押すことができれば、ビデオはユーザの意図した通りに動作する。ところが、誤ったボタンを押せば、意図とは異なる状態になり、ユーザは「あれっ」という期待はずれ感を抱く。なお、これを上述した実験と対比すると、ＬまたはＲが「早送り」や「巻き戻し」という意図した動作に対応し、マウスの左クリックや右クリックが「早送りボタン」や「巻き戻しボタン」に対応し、結果として表示される「○」と「×」が、「機器が意図した状態になっている」または「なっていない」に対応する。

本実施形態によると、例えば、再生状態にあるビデオをユーザが「早送りをしたい」と思って操作しようとしたが、誤って「巻き戻しボタン」を押してしまい、ユーザの意図に反した状態になった際に、それを期待はずれ信号によって検出することができる。このため、機器は、誤った操作すなわち「巻き戻し」をキャンセルして、元の再生状態に戻すことができる。同様に、例えばボリュームの上げすぎや下げすぎといった動作も、期待はずれ信号の検出により、キャンセルすることができる。

生体信号計測部１０４は、脳波計を有しており、ユーザ５０の脳波を生体信号として計測する。ユーザ５０は予め、脳波計を装着している。最適な電極の設置位置は、実験等によって決定すればよい。

信号検出部１０５は、生体信号として計測されたユーザ５０の脳波から、動作提示部１０３が動作内容を提示した後の所定の時間範囲において、期待はずれ信号の有無を検出する。図２は信号検出部１０５の内部構成の例を示すブロック図である。図２において、１０５ａは機器の動作内容の認知的複雑さやユーザの個人差や年齢などにより移動する期待はずれ信号の潜時のシフト時間Ｔｓを記憶する潜時シフト時間記憶部、１０５ｂは期待はずれ信号の有無を検出する時間範囲を、潜時シフト時間記憶部１０５ａを参照して決定する解析範囲決定部、１０５ｃは生体信号として計測されたユーザ５０の脳波から、解析範囲決定部１０５ｂによって決定された時間範囲において、期待はずれ信号の有無を検出する関連電位検出部である。

図３は機器操作時に得られる脳波の一例である。上述した本願発明者らによる実験から明らかになったように、「期待はずれ」が生じたときは動作の提示から６００ｍｓ前後経過したところで正のピーク電位が発生する。図３に示すように、本実施形態では、動作内容がユーザ５０に提示されたタイミングすなわち操作提示時刻Ｔｍｃを起点（時刻０）とする時間軸上で、（６００＋Ｔｓ）ｍｓを中心とする前後の時間範囲を、期待はずれ信号の検出範囲すなわち解析範囲とする。ここでは、潜時シフト時間記憶部１０５ａから読み出された潜時シフト時間Ｔｓは、「○」「×」提示と同様に認知が容易なフィードバックに対する期待はずれ信号の潜時６００ｍｓに対する増減値でプラスマイナスの値をとることを、例として説明している。

特に、上述した追加実験の結果から明らかになったように、より高次で認知的に複雑な判断が要求される場合には、潜時シフト時間Ｔｓとして１５０ｍｓ前後の値を、潜時６００ｍｓに加算し、７５０ｍｓを中心とする前後の時間範囲を期待はずれ信号の解析範囲とする。また、例えば、ボリュームボタンを押してボリュームが意図した通りに上がったか否か、メニューを選択したときにＧＵＩで表示された内容が意図した内容であるか否かなど、より複雑で高次な状況の認知に基づく期待はずれについても、期待はずれ信号が検出されるピークが、潜時６００ｍｓよりも１５０ｍｓ程度遅れるであろうことが予想される。

また、潜時シフト時間Ｔｓは提示する動作内容によって異なると考えられる。このため、潜時シフト時間記憶部１０５ａには予め、動作内容に応じた標準的な潜時シフト時間を記憶させておくことが望ましい。この標準的な潜時シフト時間は、モニターなどを用いて求めればよい。また、ユーザの操作履歴を記録し、操作の時間間隔などから、学習等により潜時シフト時間を決めたり、修正したりしてもよく、これにより、年齢や個人差などによる潜時の違いといったユーザ特性にも対応できる。

図４のフローチャートを用いて、本実施形態に係る機器１および生体信号処理装置１００の動作について説明する。ここでは、ユーザ５０の脳波は生体信号検出部１０４によって常に計測されており、時系列的に記録されているものとする。なお、脳波の計測は、機器操作のタイミングや機器動作に合わせて適宜計測するようにしてもよい。

まず、機器操作検出部１０１がユーザ５０による機器１の操作を検出する（ａ１）。ユーザ５０によって何らかの操作がなされたとき（ａ１でＹｅｓ）、ステップａ２に進む。このとき、ユーザ５０による操作がなされた時刻（ユーザ操作時刻）Ｔｕｉが、機器制御部１０２を介して信号検出部１０５に記録される。一方、操作入力がなければ（ａ１でＮｏ）、引き続き操作を待ち受ける。

ステップａ２において、機器制御部１０２は、ユーザ５０の操作に対する動作に移行する前に、現在の機器の状態を記憶する。そして機器制御部１０２は、ユーザ５０の操作に応じた動作をするよう当該機器１の制御を行う。このとき、動作内容を動作提示部１０３に伝える。動作提示部１０３は機器制御部１０２から受けた動作内容をユーザ５０に提示する。例えば、機器１がデジタルテレビのとき、ユーザ５０が操作入力として機器設定メニューのＧＵＩのあるメニュー項目を選択したとき、これに対応するサブメニューの項目を画面に提示する。またこのとき、機器制御部１０２は、動作内容を伝えた時刻（操作提示時刻）Ｔｍｃを信号検出部１０５に記録する。

次にステップａ３において、信号検出部１０５内の解析範囲決定部１０５ｂは、期待はずれ信号の検出を行う時間範囲である解析範囲を決定する。ここでは図３に示すように、動作提示時刻Ｔｍｃを起点とする時間軸上で、（６００＋Ｔｓ）ｍｓを中心とする前後の時間範囲を期待はずれ信号の検出範囲、すなわち解析範囲とする。図３の例では、起点から２００ｍｓ〜８００ｍｓの期間を解析範囲として設定している。なお、解析範囲の設定は図３に示すものに限られず、例えば、５００ｍｓ〜７００ｍｓ、３００ｍｓ〜９００ｍｓなどとしてもよい。あるいは、下限を設定せずに、動作内容提示後から１ｓ程度の範囲を切り出してもよい。

次にステップａ４において、信号検出部１０５内の関連電位検出部１０５ｃは、生体信号計測部１０４によって計測された脳波から、ステップａ３で解析範囲決定部１０５ｂによって決定された解析範囲において、期待はずれ信号があるか否かを検出する。この検出は例えば、期待はずれ信号のモデル波形との類似度（相関係数やマハラノビス距離などを利用）を用いたり、所定の閾値（例えば１０μＶ以上）を用いて正のピーク電位の有無を判定したりして、行えばよい。期待はずれ信号が検出されなかったときは（ａ４でＮｏ）、ステップａ１に戻り、機器の制御を継続し、次の操作指示を待つ。一方、期待はずれ信号が検出されたときは（ａ４でＹｅｓ）、ステップａ５に進む。

ステップａ５では、操作キャンセル部１０６が、信号検出部１０５から期待はずれ信号が検出された旨を受けて、機器制御部１０２に対し、機器１の状態を操作前の状態に戻すよう、指示する。指示を受けて、機器制御部１０２はユーザ５０の操作指示に応じた制御を中止し、機器１の状態を操作前の状態に戻す。

このように本実施形態によると、ユーザの操作に応じた機器の動作がユーザの期待に沿うものであったか否かを機器が自動的に判断し、期待に反していた場合に、機器の状態をユーザの操作前の状態に戻す。これにより、ユーザは煩わしい訂正操作を強いられることがなくなり、スムーズな機器操作が可能となる。

なお、ここで説明した操作のキャンセル例は一例であり、ユーザが意図した通りに機器が動作しなかった場合を検出して、その原因となった操作をキャンセルする、という本実施形態の主旨に基づき、種々の変更が可能であることは言うまでもない。

また、期待はずれ信号を検出したとき、操作結果に対する説明を表示するようにしてもよい。例えば、ユーザがいつも見ている番組のチャンネルを押したとき、特別報道番組などのために番組が変更されている場合がある。このとき、ユーザは「期待はずれ感」を持つが、番組が変更されている旨を提示することによって、ユーザは期待した番組が放送されていない理由を知ることができる。ユーザがすでに今日は特別番組であると知っているときは、期待はずれ信号は検出されないので、番組が変更されている旨を提示しなくてもよい。

さらに、先の実験から明らかなように、番組や音楽等のコンテンツ選択行動において期待はずれ信号を検出した際に、機器制御部１０２により、他のチャンネルへの変更、他のジャンルのコンテンツの提示、他の類似コンテンツの提示を実行し、期待はずれ信号が検出されなければ、現在提示されているコンテンツの提示を維持することにより、ユーザの期待通りのコンテンツが自動提示されるような自動ザッピングが可能であることは言うまでもない。

（第２の実施形態）
近年、デジタル家電をはじめとして多機能な機器が増加しており、このような多機能機器を操作する場合、ユーザは予め実行する機能を選択してから所望の操作を行う必要がある。例えば、ＨＤＤレコーダーとＤＶＤレコーダーの機能を持つ機器を操作する場合、コンテンツを再生する際には、まずＨＤＤ機能かＤＶＤ機能を選択してから、コンテンツの再生ボタンを押す必要がある。このような多機能機器では、通常、再生やサーチなどの操作ボタンは共通であるため、例えば、ユーザがＤＶＤを見ようと思って再生ボタンを押しても、機器の機能モードがＨＤＤであるときは、当然のことながら所望のコンテンツは再生されない。

本発明の第２の実施形態は、複数の異なる機能を持つ機器において、ユーザの操作に応じた動作がユーザの意図した機能ではなかったとき、期待はずれ信号を検出することによって、現在の機能を他の機能に自動的に切り替えるものである。

図５は本実施形態に係る生体信号利用機器の構成を示すブロック図である。図５において、図１と共通の構成要素には図１と同一の符号を付している。図５の生体信号利用機器１Ａでは、操作キャンセル部１０６に代えて、動作修正部としての機能切替部２０１が設けられている。機能切替部２０１は信号検出部１０５によって期待はずれ信号が検出されたとき、機器制御部１０２に、現在実行している機能を他の機能に切り替えるよう指示する。図５でも、生体信号処理装置１００は機器１Ａに内蔵されているものとしているが、機器１Ａと別個に設けてもよい。

図６のフローチャートを用いて、本実施形態に係る機器１Ａの動作について説明する。なお、図６におけるステップｂ１〜ｂ４は第１の実施形態におけるステップａ１〜ａ４と同様であるので、ここではその説明を省略する。

ユーザ５０の脳波から期待はずれ信号が検出されたとき（ｂ４でＹｅｓ）、ステップｂ５において、現在の機器１Ａの機能を、この機器１Ａが持つ他の機能に変更する。すなわち、機能切替部２０１が、機器制御部１０２に対して、現在実行している機能を他の機能に切り替えるよう指示する。機器制御部１０２はこの指示を受けて、実行している機能を他の機能に切り替える。その後、ステップｂ３に戻り、期待はずれ信号の有無を再び検出する。

例えば、機器１ＡがＤＶＤとＨＤＤの複合機であるとき、ユーザがＤＶＤを見ようと思って再生ボタンを押したのに、ＨＤＤモードに設定されていたため、ＨＤＤのコンテンツが再生されたとする。このとき、生体信号処理装置１００によって期待はずれ信号が検出され、機能切替部２０１の指示により、機器１ＡはモードをＨＤＤからＤＶＤに自動的に切り替えてコンテンツを再生する。このあとステップｂ３，ｂ４を実行し、期待はずれ信号が検出されなければ、切り替えた機能すなわちＤＶＤモードを維持してステップｂ１に戻り、ユーザの次の操作入力を待つ。

このように本実施形態によると、複数の異なる機能を持つ機器において、ユーザの操作に応じた機器の動作がユーザの期待に反する機能によるものであったとき、現在の機能を他の機能に変更する。これにより、ユーザは煩わしい機能選択操作を強いられることがなくなり、スムーズな機器操作が可能となる。

例えば、ＶＨＳとＨＤＤの複合機で録画操作を行う場合、自分ではＶＨＳに録画しようと思い、リモコンで日付、チャンネル、時刻等を入力し、機器に転送した場合に、意図とは異なってＨＤＤに録画予約される場合がある。このような場合、従来なら、例えば予約リストを開いてＧＵＩで録画機器をＨＤＤからＶＨＳに変更する必要があるが、本実施形態によると、期待はずれ信号に応じて、機能が自動的に変更される。

なお、ここで説明した機能変更は一例であり、ユーザが意図した通りに機器が動作しなかった場合を検出して、現在の機能を他の候補機能に切り替える、という本実施形態の主旨に基づき、種々の変更が可能であることは言うまでもない。

また、期待はずれ信号を検出したとき、現在動作している機能を視覚的または聴覚的に提示して、ユーザによる修正を促してもよい。

（第３の実施形態）
近年、家電機器を操作するためのリモコンが多機能化しており、１台のリモコンで複数の機器の制御が可能になっている。例えば、ＴＶとＶＨＳ／ＨＤＤレコーダーとが１個のリモコンで操作可能とすると、操作する機器を予め選択することによって、共通のチャンネルキーによって、各機器のチャンネルをそれぞれ変更することができる。ところが、ＴＶを見ていてリモコンでチャンネルを変更しようとしたとき、チャンネルが変わらずに「あれ？おかしいな」と思うことがある。これは、リモコンの機器選択がＴＶではなく、ＶＨＳ／ＨＤＤレコーダーになっているからである。

本発明の第３の実施形態は、複数機器を有する機器システムにおいて、例えばリモコンを用いて機器のいずれかを選択的に操作する場合に、動作した機器がユーザの意図した機器ではなかったとき、期待はずれ信号を検出することによって、制御対象機器を自動的に切り替えるものである。

図７は本実施形態に係る生体信号利用機器システムの構成を示すブロック図である。図７において、図１および図５と共通の構成要素には図１および図５と同一の符号を付している。図７の構成では、機器制御部１０２および動作提示部１０３をそれぞれ含む複数の機器１Ｂ，１Ｃが設けられており、生体信号処理装置１００は機器１Ｂ，１Ｃとは別個に設けられている。機器変更部３０１は、信号検出部１０５によって期待はずれ信号が検出されたとき、機器制御部１０２に、制御対象の機器を変更するよう指示する。機器変更部３０１は、機器１Ｂ，１Ｃのいずれに設けられていてもよいし、また、これら機器１Ｂ，１Ｃとは別個に、例えば、生体信号処理装置１００に設けられていてもよい。

図８のフローチャートを用いて、本実施形態に係る生体信号利用機器システムの動作について説明する。なお、図８のステップｃ１〜ｃ４の動作は第１の実施形態におけるステップａ１〜ａ４と基本的には同様であり、ここではその詳細については説明を省略する。ここでは、機器１ＢはＴＶ、機器１ＣはＶＨＳ／ＨＤＤレコーダーとし、これらは機器操作検出部１０１を有する共通のリモコンによって操作されるものとする。また、各機器１Ｂ，１Ｃの機器制御部１０２は、他の機器の操作信号を自己の制御信号に変換するためのテーブルを有している。

いま、ユーザ５０はＴＶ１Ｂのチャンネルを変更しようとしてリモコンのチャンネルキーを押したが、リモコンの機器選択モードはＶＨＳ／ＨＤＤレコーダー１Ｃであったとする。このとき、リモコンから送られる操作信号はＴＶ１ＢとＶＨＳ／ＨＤＤレコーダー１Ｃとにそれぞれ送信される。ただし、ＴＶ１Ｂは自己の操作信号ではないと判断して動作を変更しない。一方、ＶＨＳ／ＨＤＤレコーダー１Ｃは自己のチャンネルを変更する信号であると認識し、チャンネルを変更する。

ユーザ５０はＴＶ１Ｂのチャンネルが変更されることを期待しているが、実際には、ＶＨＳ／ＨＤＤレコーダー１Ｃのチャンネルが変更されるのみで、ＴＶ１Ｂの状態は何ら変化しない。このため、期待はずれ信号が検出される（ｃ４でＹｅｓ）。

これにより、ステップｃ５において、制御対象の機器が変更される。この例では、ＴＶ１Ｂの機器制御部１０２が、テーブルを参照して、先にリモコンから送信されたＶＨＳ／ＨＤＤレコーダー１Ｃの操作信号をチャンネル変更の信号であると解釈し、ＴＶ１Ｂのチャンネルを変更する。また、ＶＨＳ／ＨＤＤレコーダー１Ｃの機器制御部１０２は、チャンネル変更をキャンセルする。その後ステップｃ３，ｃ４を実行し、期待はずれ信号が検出されなければ、制御対象機器をＴＶ１Ｂに切り替えた状態を維持してステップｃ１に戻り、ユーザの次の操作入力を待つ。

このように本実施形態によると、複数の機器を有する機器システムにおいて、リモコンなどを介したユーザの操作に応じて動作した機器がユーザの期待に反する機器であったとき、他の機器に制御対象を変更する。これにより、ユーザは煩わしい機器選択操作を強いられることがなくなり、スムーズな機器操作が可能となる。

なお、ここで説明した機器変更は一例であり、ユーザが意図した通りに機器が動作しなかった場合を検出して、制御対象機器を変更する、という本実施形態の主旨に基づき、種々の変更が可能であることは言うまでもない。

また、期待はずれ信号を検出したとき、現在選択されている機器を視覚的または聴覚的に提示して、ユーザによる機器の切り替えを促してもよい。

本発明は、ユーザが操作を行うあらゆる機器の操作性を向上させるのに有効である。例えば、デジタルテレビ、録画機、白物も含めた家電製品や、パーソナルコンピュータなどの制御に有用である。また、言葉や身振りでは意図を伝えることが困難な人のための福祉機器等にも、適用が可能である。

本発明の第１の実施形態に係る生体信号利用機器の構成を示すブロック図である。 図１の構成における信号検出部の内部構成の例を示すブロック図である。 機器操作時に得られる脳波の一例である。 図１の構成の動作を示すフローチャートである。 本発明の第２の実施形態に係る生体信号利用機器の構成を示すブロック図である。 図５の構成の動作を示すフローチャートである。 本発明の第３の実施形態に係る生体信号利用機器システムの構成を示すブロック図である。 図７の構成の動作を示すフローチャートである。 本願発明者らが行った実験の手順の概要図である。 図９の実験の一試行分の手順を示すフローチャートである。 ４人の被験者の実験データを示すグラフである。 期待はずれ信号の具体的な検出方法の例を示すフローチャートである。 期待はずれ信号の検出結果を示す図である。 本願発明者らが行った追加実験の手順の概要図である。 図１４の実験の一試行分の手順を示すフローチャートである。 問題種類１〜３についての実験データを示すグラフである。

符号の説明

１，１Ａ，１Ｂ，１Ｃ 機器（生体信号利用機器）
５０ ユーザ
１００ 生体信号処理装置
１０１ 機器操作検出部
１０２ 機器制御部
１０３ 動作提示部
１０４ 生体信号計測部
１０５ 信号検出部
１０６ 操作キャンセル部（動作修正部）
２０１ 機器切替部（動作修正部）
３０１ 機器変更部

Claims (7)

1. 生体信号を利用して動作する機器であって、
   ユーザによる当該機器への操作を検出する機器操作検出部と、
   前記操作に応じて当該機器を制御する機器制御部と、
   前記制御の結果としての当該機器の動作内容を前記ユーザに提示する動作提示部と、
   前記ユーザの生体信号としての脳波における事象関連電位を計測する生体信号計測部と、
   前記生体信号計測部で計測された前記事象関連電位の中から、前記動作内容の提示のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出する信号検出部とを備え、この検出結果を用いて動作を行う
   ことを特徴とする生体信号利用機器。
2. 請求項１において、
   前記事象関連電位が検出されたとき、当該機器の動作をキャンセルするよう、または、当該機器が実行している機能を他の機能に切り替えるよう、前記機器制御部に指示をする動作修正部を備えた
   ことを特徴とする生体信号利用機器。
3. 請求項２において、
   前記機能は、静止画、動画、映像および音声のうち少なくとも１つからなるコンテンツに対し、表示、選択、記録、再生、編集、配信および削除から選択された行為である
   ことを特徴とする生体信号利用機器。
4. 請求項１の生体信号利用機器を含む機器システムにおいて、
   前記事象関連電位が検出されたとき、前記操作に応じて動作した機器に代えて、他の機器を動作させるよう、前記機器制御部に指示をする機器変更部を備えた
   ことを特徴とする生体信号利用機器システム。
5. 請求項４において、
   前記機器は、静止画、動画、映像および音声のうち少なくとも１つからなるコンテンツに対し、表示、選択、記録、再生、編集、配信および削除の少なくとも一つの機能を含む
   ことを特徴とする生体信号利用機器システム。
6. ユーザの生体信号としての脳波における事象関連電位を計測する生体信号計測部と、
   前記生体信号計測部で計測された前記事象関連電位の中から、前記ユーザによる機器の操作に対する当該機器の反応のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出する信号検出部とを備え、この検出結果が当該機器の制御に用いられる
   ことを特徴とする生体信号処理装置。
7. 生体信号を利用した機器制御方法であって、
   ユーザによる当該機器への操作を検出するステップと、
   前記操作に応じて当該機器を制御するステップと、
   前記制御の結果としての当該機器の動作内容を前記ユーザに提示するステップと、
   前記ユーザの生体信号としての脳波における事象関連電位を計測するステップと、
   計測された前記事象関連電位の中から、前記動作内容の提示のタイミングを起点として、当該起点から、６００ｍｓに１５０ｍｓ前後の所定のシフト時間を加えた時間が経過した時点の事象関連電位の有無を検出するステップとを備え、この検出結果を用いて当該機器の制御を行う
   ことを特徴とする機器制御方法。

Images