JP4991431B2

JP4991431B2 - 脳機能計測による外部環境制御装置

Info

Publication number: JP4991431B2
Application number: JP2007198249A
Authority: JP
Inventors: 契宇都木; 敦牧
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-07-31
Filing date: 2007-07-31
Publication date: 2012-08-01
Anticipated expiration: 2027-07-31
Also published as: US20090036781A1; JP2009032213A; EP2020650A3; US8175686B2; EP2020650A2; CN101359220B; CN101359220A

Description

本発明は、脳機能計測による外部環境制御装置にかかり、特に光生体計測法を用いた情報入力装置の出力信号を種々の制御を行う外部装置の入力信号として用いる生体制御装置に好適なものである。

生体制御装置と称する脳機能計測による外部環境制御装置は、光生体計測法と生体入力装置を用いることで、ボタンやマウスあるいはハンドルを用いない各種装置の制御、居眠りや注意力の減退などの身体条件に基づく警報装置の発動、周辺環境の装置の意識・無意識の状態に合わせた制御、学習効果やリハビリテーションの習熟度の判定、幼児や病人や動物等の感覚や思考の表示、あるいは嘘発見などに応用される。

従来から、情報処理機器やゲーム、家電機器、ＡＶ機器、輸送機器などの装置を操作するために、ボタンやキーボードあるいはマウス等の種々な入力装置が用いられている。しかし、このような人間が手足で操作する入力装置は、別の入力に集中している状態を一時的に妨げたり、遊戯における臨場感を低減させることがある。また、身体障害者等が操作する場合に困難が生まれることもある。そこで、脳から直接に得られる情報を用いて、機器を制御しようという試みが数多くなされている。

脳を計測することで直接に上記のような制御情報を得るための手段としては、脳に電極を刺して直接電気信号を取り出す手法の研究が行われている。だが、そのように人体にメスを入れてインプラント機器を埋め込む必要がある計測（侵襲方式）には、副作用の恐れがある。一方、人体に直接針やメスなどの切り開く手段を用いない計測方式（非侵襲方式）として、陽電子断層撮像法（Positron Emission Tomography: PET）、機能的磁気共鳴描画装置（functional Magnetic Resonance Imaging : fMRI）、脳波計（Electroencephalography）などがある。

脳波を用いて脳からの制御情報を被制御装置に直接入力を行う装置を特許文献１が開示する。特許文献１が開示する装置では、心電図を計測する場合のように、脳波をそのまま情報処理装置に入力することにより、計算機、特にゲーム機を制御しようとするものである。このような脳から被制御装置への直接入力装置は、運動機能に障害が認められる患者の外部装置の制御が可能であり、身体障害者の社会参加への貢献も期待されている。

さらに、これらの技術に加えて、近赤外線分光法を用いて、脳活動に伴う大脳皮質での血液量変化を多点で計測し、その血液量の変化を画像として表示する技術（生体光計測装置）が、既に実用化され、例えば、非特許文献２にて公開されている。

この分野の背景技術を開示したものとしては、上記の特許文献１、２に加えて特許文献３乃至６、非特許文献１乃至３を挙げることができる。これらの文献の開示内容については、本発明の課題、解決手段、あるいは実施形態の項において必要に応じて説明する。
特開平７−１２４３３１号公報特許第３５４３４５３号特開平９−１４９８９４９号公報特開２０００−１７２４０７号公報特開２００２−１１９５１１号公報特開２００５−１３４６４号、生体光計測装置。 Maki, A et al. , (1995) "Spatial and temporal analysis of human motor activity using noninvasive NIR topography" Medical Physics 22, 1997-20 HYPERLINK "http://www.hitachi.co.jp/New/cnews/month/2005/09/0926.html" http://www.hitachi.co.jp/New/cnews/month/2005/09/0926.html、「身体を全く動かすことのできないALS患者向けYes/No判定装置「心語り」を製品化」 V. N. Vapnik, "The Nature of Statistical Learning Theory, 2nd Ed.", Springer 2000.

以下、本発明の課題を明らかにするため、図１乃至図５を参照して脳機能計測による外部環境制御装置の基礎技術を説明する。図１乃至図５は後述する本発明の実施例を説明する基本構成でもある。図１は、脳機能計測による外部環境制御装置における計測方法の装置構成例を説明する模式図であり、特許文献２や非特許文献１などに開示されている計測方法の装置構成を示す図である。また、図２は、前記光照射器１０３へ接続した光ファイバ１０４を固定するホルダ１０７と前記光検出器１０５へ接続した光ファイバ１０６を固定するホルダ１０７との間を伝播する光の経路２０１を説明する図である。

図１において、被検体１０１は、計測に際してヘルメット（プローブ）１０２を装着する。このヘルメット１０２は、発光ダイオード、半導体レーザ、ランプに代表される光照射器１０３へ接続した光ファイバ１０４やアバランシェフォトダイオード、光電子増倍管に代表される光検出器１０５を接続した光ファイバ１０６を接続するための光ファイバホルダ１０７を具備する。

光ファイバ１０４や１０６に示した光ファイバの先端１０８は、被検体１０１の頭髪を掻き分けて、その頭皮上に軽く接触している。これは、頭髪が光ファイバの先端と頭皮の間に挟まると、光伝送効率が低下するためである。前記光照射器１０３は複数具備されており、それぞれの時刻に対する出力光強度は制御装置１０９にて管理されるマルチチャンネルシステムを構成する。その制御内容は、伝送ケーブル１１０を用いて、光検出器１０５へ接続した信号処理装置１１１へ送信され、信号処理装置１１１で生体内部を通過した光の強度変化を推定することに使用する場合もある。参照符号１１２は、パーソナルコンピュータ、ワークステーションに代表される入力部を構成する情報処理装置であり、伝送ケーブル１１３を用いて、制御装置１１１へ制御内容を送信し、処理結果を用いた取り込みと、解析処理を行う。解析結果は、表示画面１１４にて表示される。参照符号１１５，１１６は情報処理装置１１２の入力装置であるキーボードおよびマウスである。

各ホルダ１０７Ａ,１０７Ｂは、図１に示した被験者１０１の頭部にフィットするヘルメット１０２に固定されて、光ファイバ１０４，１０６の先端は被検査体の頭皮へ接触している。図２には、ヒトの典型的な脳の構造を示している。この脳の構造は、頭皮２０２、頭蓋骨２０３、脳脊髄液層２０４、大脳皮質２０５などから構成されている。これら生体組織は、光学的な散乱特性と吸収特性を有し、特に頭蓋骨２０３の光散乱特性は大きいことが知られている。このため、光照射器１０３から照射された光は、光散乱特性により散乱され、また、光吸収特性により、徐々に強度が失われることが知られている。ここで、図中に示されるホルダ１０７は互いに約３０ｍｍの間隔で格子状に配置されている。

このような配置間隔で配置すると、光照射器１０３へ接続した光ファイバ１０４から照射された光は、散乱と吸収を繰り返しながら図に形状２１０として示されるような経路をたどって生体組織内部を伝播し、光検出器１０５へ接続した光ファイバ１０６へ到達し検出される。尚、この計測には、生体組織に対して透過性の高い近赤外光（波長：６００ｎｍから９００ｎｍ）を使用する。図中の参照符号２１１は、大脳皮質２０５での脳の活動に伴って血液量に代表される生体内代謝物質の濃度が増加した領域を示している。

血液は様々な物質から構成されているが、その中でヘモグロビン（酸素化ヘモグロビンと脱酸素化ヘモグロビンは計測に使用する近赤外光を吸収することが知られている。その結果、血液量が増加すると、検出される光の強度が減衰することが知られている。即ち、この検出光の変化を検出することで、血液量変化を推定することが出来る。この推定法の詳細な記述は、非特許文献１に記載されている。

非特許文献１に記載された生体光計測装置の大きな特長は、このような光照射器と光検出器を被検査体の頭皮上に２次元的に配置していることである。この結果、脳活動に伴う血液量変化の分布を可視化することが可能になる。

図３は、光照射器１０３へ接続した光ファイバホルダ１０７Aの配置位置３０１（図中では白丸で示されている）と、光検出器１０５へ接続した光ファイバホルダ１０７Ｂの配置位置３０２（図中の黒丸）の説明図である。これらの照射・検出の各ホルダは約３０ｍｍの間隔で空間的に交互に配置されている。図２によれば、光経路の形状２１０の太さは、光照射器１０３へ接続した光ファイバホルダ１０７Ａの配置位置３０１と、光検出器１０５へ接続した光ファイバホルダ１０７Ｂの配置位置３０２の、中点の直下の位置３０３で最大となっている。このため、血液量変化に対する感度は、この中点で最大となることが知られている。そこで、この中点（図中ではX印で示されている）をサンプリング点３０３と呼び、１対の光ファイバで検出された血液量変化の位置情報を与える点としている。

図３では、光照射器１３へ接続した光ファイバホルダ１０７Ａの配置位置３０１、光検出器１０５へ接続した光ファイバホルダ１０７Ｂの配置位置３０２およびサンプリング点３０３を、代表する２つの配置位置および１つのサンプリング点についてのみ参照符号を付した。他のホルダの配置位置およびサンプリング点も同じ白丸または黒丸およびＸ記号の表示で示したことから分かるように、図３の例では、８個の入力器と８個の検出器によって、２４個のサンプリング点が存在する。この２４個のサンプリング点の情報を用いて、図４に例示するような脳活動の可視化が可能になっている。

図４では、各サンプリング点での血液量変化を空間的に補間して得たトポグラフィ画像４０１の一例を示している。この画像は、ある時刻での血液量変化の空間的な分布を得ることも可能であるし、また、脳活動期間中の血液量変化の平均値を画像化することも可能である。図４が示すように、生体光計測装置を用いると、脳の活動を計測することが可能になる。また、この画像は、図に示したように、照射用光ファイバホルダ１０７Aの配置位置３０１、検出用光ファイバホルダ１０７Ｂの配置位置３０２およびサンプリング点３０３の分布を重ね合わせて表示することが出来る。このため、局在化した脳活動の位置の推定も可能になっている。

この計測法では、微弱な光を用いてヘルメットを装着するだけで計測が可能であるため、安全性が高く自由な姿勢で検査に臨むことが可能である。このため、乳幼児から老人まで、幅広い年齢層のヒトを計測することが可能である。例えば、従来から計測に使用されてきた磁気共鳴描画装置や陽電子放出型断層撮影では、計測中身動きをすることが許されず、特に、乳幼児の場合、動きを抑制するためには、麻酔や鎮静剤が投与される場合もあった。このような場合、正確な脳機能の活性化を計測することは困難であった。また、子供や高齢者に関わらず一般的に、被験者は閉ざされた空間で身動きが取れない状態で検査を受けるため、精神的にも通常の生活条件とは異なることが問題であった。脳波の計測は比較的安定して取れるが、電磁波の影響を強く受けるので、安定した動作のために電磁シールドを必要とする場合などがある。これに対して、光を用いた脳機能計測装置では、自由な環境や自由な姿勢で検査が可能であるため、従来の脳機能計測装置では計測が困難であった状況での使用が可能となる。

特許文献３や特許文献４では、このような大脳皮質の血液量の変動量を赤外線で計測する技法を利用して、外部機器の制御を行う例が提案されている。この特許では、人間の脳が、ブロードマンの脳地図で表されるように、異なる細胞構築で領域分割されており、さらに、各領域は異なる機能を分担しているという知識を利用している。例えば、脳を横から見ると、自発的な運動（手、指、足等）に関与する領域は頂上部、感覚、視覚等に関与する領域は後頭部、言語に関与する領域は左半分の所定部で、それぞれ分担している。
このような計測装置の機能を用いて、神経の疾病によって筋肉が動かせなくなった患者のための意思伝達装置が発表されている（非特許文献３、特許文献５）。これは額部の二箇所に対して近赤外分光法を適用することで、頭の中で、計算処理や歌を歌うなどの行為を行った時の脳血量の変動を測るものである。

複数チャンネルのデータから条件判断を導く場合に用いられる手法に、サポートベクターマシンと呼ばれる手法がある。非特許文献４で述べられている内容に基づいて、その手法の概説を説明する。d次元の情報を持つベクトルｘと、その学習規則を与える値｛＋１，−１｝を示す離散値ｙの組み合わせで表現される学習データ（ｘ，ｙ）がN個存在するものとする。図５にその模式図を示す。図５で白丸記号として示されるデータ501はｙ＝１として示される学習状態１を表し、黒丸記号のデータ５０２はｙ＝−１として示される学習状態２を表す。

この時、学習データ１と２を分離するために、図５のＤ‐１次元の超平面５０３（数１で表現）を、数２に示す最適化条件を満たすように定義する。
これは、二つの群からの距離が等しくなるように超平面を定義することに等しい。また、D‐１次元の平面で分離することが不可能な場合、正のスラッグ変数を用いて以下のように定義する（ソフトマージン）。また、変換公式によって新たなヒルベルト空間を作成し、その空間でサボートベクターマシンの最適化を行う方法が知られている（カーネルトリック）。

特許文献１、２が開示しているように、ヘルメットにより多くのセンサを設置することで、計測できる脳活動の種類が増える。このため、機器制御の自由度が上がる可能性が生まれる。だが、ヘルメットに多くのセンサを設置した場合、一回の装着で全部のセンサが常に正常に機能するとは限らない。例えば、光ケーブルの接触先端部分108に髪の毛が挟まった場合に光のスペクトルがその箇所で大幅に吸収されるため、検出器の精度が著しく悪化する場合がある。これを避けるため、特許文献５では、各センサについての光強度を確認しながらヘルメットの装着を行う方法が提案されている。

このように、多様な用途で効果的に活用できることが期待される生体光計測装置を、外部機器の駆動やコミュニケーションの用途に供しようと考えた場合に最も重要な課題の一つは、計測と分析手段の安定性である。ヘルメットが手軽に装着でき、且つ短時間に計測ができるようにすることで、利用者に負担をかけない装置となる。

しかし、この信号を用いて機器の制御を試みる場合、人間の脳の構造とそこから得られる反応信号には個人差やセンサ設置の不定性の要素が大きいため、この点が同技術の実用化に際しての主要な課題となる。この個人差の例としては、皮膚の厚み、髪の毛の配置、頭蓋骨の物理的な大きさと形状の違い、脳の機能局在する領域の境界の幾何的な誤差、血管の構造の違いとそれに基づく血液量変動での反応の違い、などがある。そしてまた、同じ計算という同じ課題を同じように与えられたとしても、視覚的に解を出す人間もいれば音韻で解を求める人間もいる。このため、任意の人間に常に適応する反応パターンを、画一的な一般論としてあらかじめ決定することには、困難な場合が少なからず存在する。

そして、図１に示したヘルメット１２の設置状態によっては、計測箇所の一部が上手く計測できない場合が存在する。これは前述のように、髪の毛の多い箇所にホルダ１７A、１７Ｂが位置して光ファイバの接触部が付けられている場合に顕著である。また、ヘルメット１２の再装着に伴って、設置される光源のセンサの位置が微妙に異なったり、ヘルメット１２が頭皮を圧迫する度合いが異なったりすることで、信号の制度に変化が生じる場合がある。さらに、使用者の姿勢などによって、脳の血量の変動に対する脈の影響量が変動する場合も存在する。

また、計測地点毎に、頭蓋骨の厚みや皮膚の色素状態などの条件が異なるため、表皮と骨などの領域で光を吸収する度合いは、個人ごと・計測場所ごとに異なる。この理由から、近赤外分光法では、計測点毎で観測されるデータを絶対値として直接に比較することができない。光計測の運用においては、実際に計測機器を設置した状態で、測定開始時点のある瞬間をゼロ点に定め、その状態からの相対的な変動値を計測結果の情報として扱われている。この問題も関連し、人体内部を通過する光経路の完全な計測・推定が出来ない現在の技術では、計測内容の絶対値のみに基づいてヘルメットの設置状態を安定して判断することには、困難がつきまとう。

これらの理由から、計測の測定精度や誤差に相当する要素には、個人ごと、測定ごとのばらつきが生じる。例えば、ある計測地点において、脳の機能局在性に基づいた理由で反応が出やすいという要素と、反応を検出できる精度の再現性が高いという要素は、互いに異なる場合がある。即ち、本来は正しく計測できると強い反応を示すが光入出力器具（図１の光ファイバホルダ１０７）の設置状態が悪くなりやすいという理由で計測しにくいことが多い計測箇所や、計測された反応は弱いが装置１７の設置状態が常に安定している計測箇所など、異なる理由から計測の反復に対する安定性が揺らぎを見せる状況が数多く存在する。このような計測箇所ごとに異なる信頼性のばらつきが存在するため、サポートベクターマシン等の既存手法を画一的に単純に適用するだけでは条件判断の安定性を保持することが難しくなる。

本発明の目的は、計測の反復に対する安定性を向上させて信頼性を高めた脳機能計測による外部環境制御装置を実現することにある。

本発明では、各センサから採取される情報を、個別の情報処理モジュールに分割してそれぞれ独立に処理し、それぞれが機能局在性や脈拍情報を反映した情報を独立に反映させる。その情報処理モジュールの要素ごとに、ヘルメット設置毎の信頼精度の反復度合いや、被験者の内省活動にあわせた反応の信号検出の強度を分析、分類、管理して、個人毎の情報をメディアに追記的に保存する。このことで一箇所のセンサの不具合をシステム全体に波及させることを避け、各モジュールが機能しているかどうかのチェック結果から導き出される信頼精度にあわせて、当該モジュールが最終的な情報出力に寄与する重み付けを切り替える、または利用者にタスクの変更を促す指示を与える。

本発明によれば、過去の履歴に比べて適切な信号が取れなかった場合にも、課題の実行にともなう生体反応の問題によるものか装置の接触に基づくものかを分離でき、センサの接触を修正する箇所と、その環境下で命令として行うべき適切な内省課題の選択が行えるようになる。また、個人の実行履歴に基づいた学習パラメータを機能要素の成分毎に長期的に保持、成長させることによって、より安定した挙動を導くインタフェース環境を作成し、別の計測環境にも引き継ぐことが出来るようになる。

以下、本発明に基づく生体光計測に基づく外部制御機器の実施例について図面を参照して詳細に説明する。

図６は、本発明による生体光計測に基づく外部制御機器の実施例１を示す模式図である。図１に示される構成要素と同一機能には、同じ参照符号を付してある。実施例１の計算処理機構のシステムは、入力部１１２、情報処理部６０１、出力部６０２の各情報処理機器から構成されている。この情報処理機器はお互いにネットワーク上に連結されており、入出力結果をやり取りすることができるものとする。このシステムの情報処理機器には、広く知られるＰＣ（パーソナルコンピュータ。パソコン）や組み込み式のマイコンモジュールなどの汎用計算機器を使用することが出来る。

また、入力部１１２、情報処理部６０１、出力部（出力モジュール）６０２の処理を同一の情報処理機器の中でソフトウェアモジュールとして実装することもできるが、本実施例では機能を解説するためと説明を容易にするために、個別の情報処理機器の形態で示す。また出力部（出力モジュール）６０２の結果を被験者に対して行ったり、情報処理部６０１からの要請を被験者に提示したりするための画面モニタ６０３が、被験者１０１の前に配置されている。被験者１０１の計測履歴の内容を記録するメディア６０５と、その内容を情報処理部６０１に伝えるための読み取り器６０４が配置されている。

また、メディア６０８には、情報処理部６０１で使用するモジュールの組み合わせ方の情報が示されており、情報処理機器６０１の起動時に読み取り器６０７からこの情報が読み込まれる。またこの情報は手動入力インタフェース６０６によって変更することもできる。

実施例１の装置は、学習フェーズモードとリアルタイム操作フェーズモードという、二つのモードを切り替えて動作する。本実施例の機器全体の運用手順を、図７のフローチャートを用いて記述する。計測フェーズモードでは、本装置は、被験者が与えられた課題を行っているときの脳血量の状態を計測してリアルタイム操作モードで用いるためのパラメータを生成する。リアルタイム操作モードでは、計測された脳血量の状態と学習フェーズモードで作られたパラメータを用いて、現在被験者がおこなっている課題を類推して、被験者に提示している環境への操作を実行する。被験者はこの環境操作の状態を把握しながら課題を切り替えることになり、目的となる行為を実行する。リアルタイム操作モードにおいても、この行為実行のパフォーマンスの度合いに応じて、パラメータを再調整する。以下、それぞれのモードでの機器の挙動について記載する。

実施例１の運用を開始し（工程７０１）、利用者１０１がセンサである光計測装置のヘルメット１０７を頭部に設置する（工程７０２）。その後、学習フェーズモード（工程７０３）で各エージェントの動作状態を確認し、現在の反応の達成度合いからエージェントの反応量を類推する（工程７０４）。その類推結果に応じて、使用タスクの変更または光ファイバホルダ（プローブホルダーとも称する）１０７を再設置する勧告を利用者に提示する（工程７０５）。利用者１０１は、これらの提示に合わせて光プローブホルダー１０７の再設置を行うか、使用するタスクを決定して、リアルタイム操作フェーズモード（工程７０６）に移る。それぞれの工程の具体的内容は以下で解説する。

情報処理装置６０１には、光プローブホルダー１０７から信号として送られてくる脳の各部位における血量の変動を測定した値を入力として、出力モジュール６０２の入力値に変換するアルゴリズム部分が、プログラムとして保存されている。計測フェーズモードにおいてパラメータ調整の処理が行われるフィードバック動作のプログラムと、リアルタイム操作フェーズモードでは出力モジュール６０２で使用されるプログラムがあり、計算モジュールがこの二種類のモードで共有して使われる。まず、この情報処理部６０１内で行われるこの計算処理アルゴリズムの内容を記述する。

図８は、情報処理を行うモジュールの構造を説明するシステム構成図であり、上記した情報処理プロセスを構成するモジュールを図式的に示したものである。このシステムは、
三つの構成要素から構成されている。モジュール８０１は、入力部１１２から送られてくる情報から、各計測点の計測データを受け取る。また、その過去の値を保持する機能を有する。以降、このモジュール８０１を「サンプラ」と呼ぶ。このサンプラに蓄えられた情報をフィルタリング処理する部分が、分析部分８０３、８０４である。

この図８で「Agent」として記載された各モジュール（８０２，８０３，８０４，８０５）は、後に述べる様々なフィルタ部品としてプログラム上に実装されており、以後、これを「エージェント」と呼ぶ。さらに、統合部分８０５は、各のエージェントの出力情報を重み付け線形和によって統合して、外部出力６０２に送信したり、パラメータ調整の計算に用いたりする。以後、この部分を「シンセサイザ」と呼ぶ。全体の接続構造は多階層のニューラルネットワークの様な木構造をとっており、各エージェントモジュールの入出力は時系列データであり、脳血量の生体計測に特化した機能のフィルタリング処理と、汎用のフィルタ演算処理から構成されている。

まず、フィルタ処理を行うエージェントモジュールについて述べる。エージェント８０２，８０３，８０４，８０５は、リアルタイムに変化する時系列情報を受け取り、その情報を一定のアルゴリズムで変換して、変換された時系列情報を出力する単位モジュールである。これらエージェント８０２，８０３，８０４，８０５は、リアルタイムに更新される時系列情報を入力とし、処理された結果を常時出力する。また、これらのモジュールは、備え付けの定数を持つことができ、その値をシンセサイザ部分からのフィードバックや手動入力インタフェース６０６からの手動入力によって変更／調整することにより最適化処理を行う。

エージェントは、機能によって一次エージェント８０２、二次エージェント８０３、三次エージェント８０４と擬似エージェント８０５のモジュールに分類して管理される。ある計測点の血量変動の時系列情報を直接に処理して出力するモジュールを、一次エージェントと呼ぶ。一次エージェント８０２は、酸素化ヘモグロビンの血量、脱酸素化ヘモグロビンの血量、合計のヘモグロビンの血量、酸素化ヘモグロビンの血量から脱酸素化ヘモグロビンの血量を引いた値、のそれぞれに対して作成することが出来る。

また、複数の一次エージェントが出す結果を取り込み、与えられたアルゴリズムに基づいて処理結果を出力するモジュールを、二次エージェント８０３と呼ぶ。二次エージェントは、複数の別のエージェントからの出力を、自らの入力として受け取り処理する。

また、シンセサイザから得られる学習パラメータを反映して、一次、二次のエージェントの結果を非線形に変換し、利用者の内省状態の変化に対応した反応が分離しやすくなるように加工するモジュールを、三次エージェント804と呼ぶ。

この他に、直接にサンプラに蓄えられた脳血量からのデータを反映していないが、演算上擬似的にエージェントモジュールとして用いることができるモジュールを擬似エージェントモジュール８０５とする。

一次エージェントのモジュールとして使用するアルゴリズムの例を、以下に列挙する。

周波数カットエージェント：高周波の成分と、低周波の成分をカットすることで、対象となる周波数の成分のみの情報を抜き出して出力とするモジュールである。

移動平均エージェント：長周期の移動平均と、短周期の移動平均の差を取った結果を出力するモジュールである。

指数移動平均エージェント：長周期の指数移動平均と、短周期の指数移動平均の差を取った結果を出力するモジュールである。

また、脳反応の血量情報と同期して入力される外部からの情報によって駆動する擬似エージェント８０５が設置されている。これは脳血量の反応以外を参照するが、一次モジュールと同様の手順で処理されるモジュールである。これらのモジュールが出力する値は、一次エージェントと同じように二次以降のモジュールへの入力として用いることができる。この例を、以下に列挙する。

刺激提示エージェント：外部の刺激提示装置において、課題開始の時間から１になり、課題終了と共に０になるという出力の挙動をするエージェントである。

外部脈派エージェント：脳以外の位置から脈の情報を採取して、その結果を反映するエージェントである。

運動加速度エージェント：利用者の体に付けられた加速度計測器の絶対値を出力とするエージェントである。

二次エージェントのモジュールは、一次エージェントや擬似エージェントの出力を入力として受け取り、変換する。この二次エージェントのモジュールに使用することが出来るアルゴリズムの例を、以下に列挙する。

差分エージェント：ある一次エージェントの出力と、そのエージェントが一定時間前に出力した値を比較して、差を出力とするモジュールである。

左右差エージェント：ある計測位置での一次エージェントの出力に対して、脳の反対に位置する計測位置でのエージェントの出力との差を取って、出力とするモジュールである。

平均差エージェント：ある計測位置での一次エージェントの出力に対して、全計測位置でのエージェントの出力平均との差を取って、出力とするモジュールである。

発散エージェント：ある計測位置での一次エージェントの出力に対して、その周囲に配置された計測位置でのエージェントの出力平均との差を取って、出力とするモジュールである。

周波数解析エージェント：計測されたエージェントの出力から、周波数解析によって特定の成分の絶対量を抽出した時系列を、出力とするモジュールである。

脈派成分エージェント：計測されたエージェントの出力から、周波数解析によって脈派とみられる成分を抽出してその時系列を、出力とするモジュールである。

三次エージェントのモジュールに使用することが出来るアルゴリズムの例を、以下に説明する。

機能局在性エージェント：脳の機能局在性部所毎に、その機能範囲をカバーするチャンネルに対応するエージェントを集め、後述の課題実行で得られる反応情報についてサポートベクターマシンなどの多次元情報を処理する機構を用いて重み付けを行って、その特徴を抽出するエージェントである。ブロードマンの脳地図においてＮ野をカバーする範囲として測定領域を定義したり、脳波計測において用いられる１０／２０法などをはじめとする別の脳機能マッピングの定式化を用いたり、または領域から推定される機能に応じて、例えば標準的な頭部構造の９０％において言語野をカバーするエージェント、などのように定義する。
機能に応じてエージェントの対象領域を特定する場合、被験者毎に脳機能と頭形状に分散があり、個々人の頭の大きさが異なるなどの個人差要素があるため、個人差を含めてその領域全体をカバーする領域のチャンネルを選ぶ。ある被験者にヘルメットを設置して計測した場合、言語野機能の領域が領域Ｒ１によって含まれるとする。ただし、領域Ｒ１、１０‐２０法で推測される平均的な言語領域の付近にあり、言語関連のタスクに強い連関を見せる計測点の集合であるものとする。また、別の被験者にプローブ１７を設置した場合には、言語野機能の領域は、領域Ｒ２によって含まれるとする。この場合、領域Ｒ１と領域R2が一致するとは限らない。このような場合に備え、事前検査で多数の被験者に対して設置した場合の和集合で領域を定義し、その領域を機能局在性エージェントの初期値とする。

標準偏差による正規化エージェント：あるエージェントの出力に対して、移動平均と、移動標準偏差を常時計算し、現在の出力結果から移動平均を引いた値を移動標準偏差で割ることで、出力を正規化するモジュールである。

脈派による正規化エージェント：あるエージェントの出力に対して、脈派に相当する成分の振幅を常時計算し、その値で割ることで、出力を正規化するモジュールである。

シグモイド変換エージェント：あるエージェントの出力に対して、数３のシグモイド変換の処理を適用することで、分離対象となる値域を強調して出力するモジュールである。

ＡＮＤエージェント：二つのエージェント出力を受け取り、その積を出力するモジュールである。

最大値エージェントは、複数のエージェント出力を受け取り、その最大値を出力するモジュールである。

各エージェントモジュールは、逐次実行される静的なフィルタリング処理であり、個々のエージェントは入力に対して出力を作成する動作を繰り返すだけである。このフィルタリング処理の結果が、特定の活動と一致しているかどうかを評価計算し、その評価に合わせた重み付けなどの処理をシンセサイザ部分が行うことで、初めて内省活動の状態を推定するための特徴値に変換することができる。シンセサイザ部分は、合計M個の各エージェントに対して、M次元の重み付け値W＝（ｗ１，ｗ２，・・・，ｗＭ）を掛けて、その合計を求め、その結果を出力モジュールに対して出力する。この重み付けは、コマンドの例として用意されている内省タスクの数Cに合わせて、複数種類準備される。

この「重み付け値」は、メディア６０５に保存されており、起動時に装置６０１に読み出される。初期状態においては、平均的な利用者について学習したパラメータが保存されているが、活動とエージェント挙動の一致を測る操作が計測フェーズモードで行われるたびに、計測結果が蓄積され、その結果を用いることで、重み付けの値を個人の特性に合わせて改良し、またその時々のセッティングに合わせた重み付けパラメータの動的な作成を行うことができる。

また、重み付けは、コマンドの例として用意されている内省タスクの数Cを超えて重み付けWのセットを用意することもできる。この様な例は、全エージェントの出力値を用いて、タスクとの適合率を計算した学習計算を行うと、変数の次元が多すぎて、妥当な計算時間内に学習計算の収束がなされない場合において有効である。この場合には、あらかじめ定められた部分集合毎に上述の学習の計算を行い、その学習結果をさらに足し合わせていくことで、より精度の高い学習モジュールを作成する事ができる。この重み付け値の合成のためには、ブースティングと呼ばれる機械学習の手法などで求めることが出来る。

上記のアルゴリズムは、図６に出力部として示した情報処理機器６０２上のプログラムモジュールとして実行される。図９にこのようなプログラムを実行できる汎用コンピュータの構成例を示す。研鑽処理を行うＣＰＵ部分９０１とインタフェース部分９０２、長期のデータを蓄積するための外部記憶装置９０３（半導体メディア、光メディア、磁気メディアなど）、画像処理装置９０４、ローカルエリアのネットワーク（ＬＡＮ）に接続する機器９０５、主記憶９０６がデータを媒介するバスによってつなげられており、起動時に外部記憶装置９０３から主記憶９０６に、オペレーティングシステム９０７、実行プログラム９０８、表示情報のコンテンツリソース９０９などを読み込む。画像出力装置からディスプレイモニタ９１０を操作したり、キーボードマウスなどに代表される一般的入力機器９１１と、外部メディアにアクセスする装置９１２などの実装について、広く使われている技術をそのまま用いることができる。また、ローカルエリアネットワーク９１３を解して、情報処理機器１１２や情報処理装置６０２とデータのやり取りを行う技術についても、広くしられている。図６の情報処理機器１１２，６０１，６０２はいずれもこのような機能を有した処理機器であるものとする。

図２０は、図８に表現されたフィルタリング処理を呼び出すための、データ内容を記したブロック図である。これらのデータ内容は外部記憶９０３に蓄えられており、実行時には主記憶上９０６上に実行プログラム９０８の一部として読み込まれる。２００１はモジュールの結合状態を管理するルーチンであり、図８で表現されるような木構造が保持されている。２００２はモジュールプログラムの機能を呼び出すルーチンであり、このルーチンが定義する手順でモジュールプログラムの各API関数を呼び出すことで、フィルタリングの計算処理を行う。２００３は前述の各モジュールプログラム自体である。このモジュールプログラムに、ルーチン２００１が定義する入力関係を設定することで、実際の挙動が定まる。２００４は前述の説明でシンセサイザ部として表現された、モジュール全体の出力を合計するルーチンであり、２００５に保存された重み付けの情報に基づいて線形和を出すことによって、評価関数全体の出力結果を導く。

図２１は、図２０のデータを用いて、現在の脳活動状態を表現する評価値を計算するアルゴリズムを表現したフロー図である。秒数回行われるデータのサンプリング毎にバッググラウンドで動作するスレッドプログラムが２１０１から呼びだされ、一連の分析処理を行う。２１０２はモジュールを２００１に記録されたデータに基づいてエージェントモジュールとその入力部を呼び出す作業である。この際に、呼び出されたモジュールが１次エージェントであるならば、その入力には対応付けられたサンプラからの情報が用いられ、呼び出されたモジュールが２次または3次エージェントであるならば、その入力としては対応付けられた別のエージェントの出力情報が用いられる。それらの入力に対し、工程２００２ではエージェント毎に定義されたアルゴリズムを呼び出して、出力の内容を計算する（工程２１０３）。この計算された内容は、工程２１０４でバッファに保存される。この保存された値は、別エージェントへの入力情報として用いられたり、シンセサイザ部から最終出力計算のために呼び出されたりする際に参照される。２１０２から２１０４までの処理を、２００１に登録されたモジュール要素に対して繰り返し実行する（工程２１０５）。
ルーチン２００４が、各エージェントモジュールの出力値に、データ２００５から読み込んだ重み付けの値を掛けて、合計を出力する（工程２１０６、２１０７）。この結果を最新のバッファ領域に書き込んで、スレッド処理は終了する（工程２１０８）。後に述べる各評価の処理において、このバッファ領域に書き込まれた最新データが用いられる。

この図２１に記載された動作処理において、工程２１０６で読み込まれるデータ２００５は、リアルタイム操作フェーズでの実行に当たっては、学習フェーズモードの調査結果に基づいて書き換え処理が行われる。この手順と手法については、後述の学習フェーズモードの動作手順に記載する。

以上のフィルタリング処理でデータサンプリング毎に作成されるリアルタイム評価関数を具体的に用いて、学習フェーズモードで実行される機器の挙動を続いて説明する。情報処理機器６０２に保存されているコンテンツデータには、利用者が心中で実行することができる内省課題を説明提示するコンテンツの例がC個含まれており、それぞれの内容を内省活動として実行することで「命令コマンド」としての機能を果たす。このコンテンツモジュールは、画面表示、音声表示、点字等の触覚表示のような手法で実装することができる。このようなタスクの例として、頭の中で歌を歌う、指を動かすイメージをする、引き算などの計算をする、頭の中で歌を歌う、しりとりをするなどの処理がある。
それぞれの課題を画面で提示するコンテンツの画面例を、図１１に記載する。それぞれしりとり課題１１０１、暗算課題１１０２、指を動かすイメージの課題１１０３、歌を歌う課題１１０４の表示画面例である。また課題終了時刻に、１１０５のような終了の画面を提示することで、利用者に課題終了を促すことができる。

図１０は、計算フェーズを実現するサブルーチンの処理を説明する流れ図である。先ず、図１０の各種初期化処理工程１００２について説明する。個人情報メディアが挿入されると、データの読み込みを行い、機器の駆動が始まる。このメディアには、利用者が過去にこの装置を運用した時のデータが保存されている。このデータの保存方法と使用方法については、後述の手順内で述べる。図１に示した光照射器（投影機）１０３からレーザを投射する。同時に受信機１０５での計測を始め、計測機器１１２が情報を記録に書き出し、同時に情報処理機器６０１に送信する。これ以降、工程１０１０で計測をOFFにするまでは、周期的に各計測位置のＮＩＲＳセンサの計測を行い、各波長の通過光強度から、酸化および還元および総ヘモグロビン濃度を演算して、情報処理装置６０１への送信を続ける。また情報処理装置６０１では、オペレーションシステム（ＯＳ）の一般的機能として広く知られるスレッドプログラミングの技法を用いてこの情報を受信し、サンプラ８０１の情報を更新し続ける。

待機処理工程１００３では、モニタ６０３に一定期間ごとに点滅するマーカーを表示する。このマーカーは注視する場所の指摘と呼吸のタイミングを示す。この工程は、利用者１０１の血量の変動が安定するまで一定時間繰り返される。利用者はこの間特定の知的活動を過剰に行わないようにリラックスして待機する。

次に、課題提示工程１００４について説明する。モノタ６０３の画面に作業タスクの画面１１０１〜１１０４のどれかを提示する。本実施例においては、前述の４種類のどれかの課題内容をランダムな順序で選択して画面上に提示し、利用者にその課題を実行するように促す指示を出す。

パターン計測工程１００５では、利用者が画面６０３の指示にあわせて活動を行っている間の脳血量の変動データを採取する。この採取データの例を図１２に挙げる。これらのタスク実行時に得られたデータは逐次エージェント機能に送られて変換された値が時系列情報として保存される。

一定時間が経過した段階で、課題の終了を指示する画面１１０５を提示する（終了処理工程１００６）。これにひき続き、被験者を休憩させるフェーズ（休憩処理工程１００７）に入る。この間も計測を続け、課題の実行を終えた後に平常状態に戻っていく脳血量の変動データがサンプラにはデータとして残る。また、エージェントとシンセサイザの動作も引き続き行われており、その挙動をログデータとして主記憶上に一時的に保存する。以上のステップを規定の回数だけ繰り返す。

本実施例では順序を変えて全てのタスクが一度ずつ行われる例を挙げたが、この際にタスクリストの一部が実行される、または特定のタスクが一度以上実行されるようにすることもできる。ただし、設定されたタスクが複数種類まんべんなく実行されるようにすることが好ましい。

行われた課題に対して、エージェントモジュールが、精神機能の活動と一致して動いているかどうかの評価は、図１０の工程１００９で行われる。図１２は時系列を表現したブロック図である。時系列はエージェントの出力の値を縦軸に、経過時間を横時間に示したグラフを表している。精神機能の活動を開始／終了するように提示したタイミングについての時間情報は、図９のネットワーク９１３を介して受信して得られる。

図１２における横軸の時間軸に対して、同図中の参照符号１２０３は課題を提示開始した時刻(時刻ｔ１)、参照符号１２０４は課題の終了指示を提示した時刻（時刻ｔ２）を示している。また、参照符号１２０２は時刻ｔ１から一定時間前の時刻ｔ０、参照符号１２０５は時刻ｔ２から一定時間後の時刻ｔ３をそれぞれ示している。

これらの時刻に対して、活動の開始／終了から血量の変動が見られるまでにかかる時間遅れの量を、それぞれΔ１、Δ２とする。ただし、Δ１、Δ２の値に関しては、０秒から１０秒程度までなど、あらかじめ生体計測の知見から定められた適切な幅を定義域とする。血量の変動が観察できる時間部分であるｔ１＋Δ１(時刻１２０６)からｔ２＋Δ２(時刻１２０７)までを領域Ａ（１２１２）とし、血量の変動が戻っている時間部分（ｔ０〜ｔ１＋Δ１）１２１１、（ｔ２＋Δ２〜ｔ３）１２１３を纏めたものを領域Ｂとする。

このとき、時間遅れの値Δ１、Δ２の決定する基準として、領域Ａと領域Ｂのそれぞれにおいて、時系列の平均値（Ｐ１、Ｐ２）を計算したときの差の絶対値、|Ｐ１−Ｐ２|＝Ｐ０が最大になるような値を満たすようなΔ１、Δ２を、定義域の範囲から探索して決定する。

図１２に見られるように、領域Ａの期間中にもエージェントの値は変動している。この変動量の平均と標準偏差を計算し、その値をσ１とする。また、領域Ｂの間のこの変動の標準偏差を取り、その値をσ２とする。ある一連の計測を繰り返したデータｉに対して、Ｐ０／（σ１＋σ２）の値を、この計測データの評価値Ｅ（ｇ，ｔ，ｓ）とする。ここで、ｇはエージェントの番号、ｔは内省実行されたタスクの種類、ｓはそのセッティングにおけるセンサの設置状態を表現するインデックス値である。この計算は、各エージェントに対してと、シンセサイザの最終出力値について、それぞれ行われる。

計算後、メディア６０５に対してデータE、σの値の保存を行う。図１３はそのデータを蓄積した情報の保存の一例を示すデータ構造の図である。一回のセッティング毎に順序付けられた番号が与えられ、図１３の欄１３０１にその値が記述される。また、セッティングを行った時刻を欄１３０２に保存する。このセッティング毎に複数のタスクが実行され、それぞれ欄１３０３に、タスクの種類、時刻、結果の評価値が保存される。これらの履歴データから、タスク毎の分散量とセッティング毎の分散量が得られる。

さて、セッティングｓは再設置を行うたびに変動する。また、ｔはタスクの種類をあらわす変数である。データの測定を繰り返すと、測定回数とエージェントの数の積だけ、Ｅ（Ｉ）が蓄積されていく。課題の各セットに対する計測工程７０３が終了した後、現在の設定ｓに対しての、状態の評価値の推定処理を行う（工程７０４）。各エージェントに関して、今回の測定の結果と、過去の平均の結果を比較して、現在のセッティングにおける反応の信頼精度を計算する。各タスクに対する結果履歴の情報を用いて、ある特定のセッティングにおける反応から評価付ける手法の一例を以下に示す。

図７における工程７０３と、その過去の運用によって、個々のエージェントについての過去の履歴がパラメトリックに変換されたものがメディア内に保存されている。上記のように、ｇはエージェントの番号。ｔはタスクの番号、ｓはセッティングの状態を示す値とする。データベースに収められている過去の履歴についての情報を、E（ｇ，ｔ，ｓ，ｋ）と表現する。これは、ある条件[ｇ，ｔ，ｓ]の条件で得られたk番目の測定結果を示すものとする。

このとき、E（ｇ，ｔ，ｓ，ｋ)が、ある確率分布にしたがってｔ，ｇの変数として変動する値だと考える。このE（ｇ，ｔ，ｓ，ｋ)に対して、特定のタスクｔとエージェントｇの元で行われた計測について、全履歴の平均を求めた値をＥ０(ｇ，ｔ)として、メディア６０５に保存する。また、その標準偏差をσ（ｇ，ｔ)として同様に保存する。また、このσ（ｇ，ｔ)に定数を掛けた値をＡ(ｇ，ｔ)として、以後のエージェントの課題タスクへの反応の基準値として用いる。

この履歴から、エージェントがタスクに反応する鋭敏さは、以下のような手順で評価する。平均値Ｅｏ(ｇ，ｔ)をＡ(ｇ，ｔ)電極割った値をＢ(ｇ，ｔ)とする。この値が１よりも大きかった場合には、このエージェントｇはタスクｔに対して有意に正の反応を示すエージェントであると判断されて正の重み付け値Ｗ(ｇ，ｔ)＝Ｂ(ｇ，ｔ)‐１．０が与えられる。また、Ｂ(ｇ，ｔ)が‐１よりも小さかった場合には、負の重み付けＷ(ｇ，ｔ)＝Ｂ(ｇ，ｔ)＋１．０がなされる。それ以外の場合には、正の反応、負の反応の両方が観測される不安定な状態と考えてＷ(ｇ，ｔ)＝０．０と定義される。これらの情報もまた、メディア６０５に保存される。

あるセッティングｓのもとで、ある課題ｔを実行したデータＥ１(ｇ，ｔ，ｓ，ｋ)が取れたときに、このメディア６０５に保存されている情報を用いて、セッティングｓの状態を評価する方法について説明する。Ｅ１(ｇ，ｔ，ｓ，ｋ)が、ｓ，ｋの変動に関して、平均Ｅ０(ｔ，ｇ)、標準分布σ(ｔ，ｇ)の正規分布に基づく確率分布の１サンプルであると考え、帰無仮説を立てて検定処理を行う。

この検定結果が有意であった場合には、今回のセッティングｓでの変動は、通常のセッティング環境に比べて有意に異なっていると判断される。この場合には、もう一度同じｔの条件での課題を繰り返し、kの数を増やして再検定を行う。この結果も有意であった場合には、画面603にタスクtに対するエージェントｇの挙動がおかしい旨の表示を行うため、エージェントgの入力として用いられているサンプラが関与しているセンサの位置を画面上に図示して提示する。

上記の検定結果が有意でなかった場合には、今回のセッティングｓでの変動はエージェントgの挙動としては許容範囲内であると判断し、kについてのＥ１(ｇ，ｔ，ｓ，ｋ)の平均値をＥ２(ｇ，ｔ)として、前工程と同様にＥ２(ｇ，ｔ)‐Ａ(ｔ，ｇ)の絶対値から1を引いた値を、今回のセッティング環境におけるＷ１(ｔ，ｇ)として用いる。

全エージェントgとタスクｔについての上記のテストが終了した後、Ｗ１(ｔ，ｇ)のデータをｔについて平均と分散をとる。このＷ１(ｔ，ｇ)値の平均とこれまでの履歴の値の差が有意に大きかった場合には、エージェントの状態収集が正確になされていない可能性が高い。

このため、エージェントgの挙動がおかしい旨の表示を再度行い、エージェントgの入力として用いられているサンプラが関与しているセンサの位置を画面上に図示して提示し、このエージェントを用いないで以下の作業を進行するか、セッティングをやり直して計測フェーズを再実行するかを選択するように促す。Ｗ１(ｔ，ｇ)のデータをgについて平均と分散をとる。この値の平均とこれまでの履歴の値の差が有意に大きかった場合には、タスクの実行状態が不安定であった可能性が高い。このため、成績の悪かったタスクを表示して、このタスクを実行したときの環境状態について問題がなかったかを利用者１０１に再確認する。利用者１０１はタスク実行時の状態を再確認し、再計測するか、またはその時点のセッティングでは該タスクをコマンドとして使用することを避けるようにするか、この分析処理において、該当するエージェントの重み付けを一定の比率下げるように主記憶上に読み込まれたデータ２００５の値を変更する。

このような手法を用いることにより、幾つかの利点が生まれる。一つ目の利点は、センサの接触について過剰な要求を避けることができる点である。センサの箇所が接触していない場合であっても、重要なエージェントが参照していない場合には、放置してもリアルタイム操作フェーズでは動作を行うことができる。二つ目の利点は、安定した推定のために多くの試行回数が必要になるＡ(ｇ，ｔ)については過去の履歴情報を用いることができる点である。三つ目の点として、反復実行と、タスク実行に起因する問題であるか、エージェントの反応に起因する問題であるかを分別する基準を計算することができるようになる点である。

工程７０３（計測フェーズモード）の結果から、エージェントの反応状態についての計算を行い、目的とした情報の取得において問題となっていると推測されるセンサ箇所の表示と、現在の反応状態で効率よく取得することのできる課題の組み合わせの表示を行う。この表示画面の例を図１４に示す。図１４はモニタ６０３の画面であり、画面の左側には３次元モデルで作成された標準的な人間モデル１４０１の上に、計測点を示すマーカー１４０２が配置されている。画面右側には、身体情報に関連したエージェント１４０３と、内省課題に関連付けられた情報１４０６のリストが表示され、今回の計測における信頼精度１４０４，１４０７と、履歴から計算された標準的な信頼精度１４０５，１４０８が示される。

この信頼精度の値は計算によって得られるそのままの値を用いることもできるし、１００点満点の値に変換するなどしてエンターテインメント性を上げることもできる。利用者がこのリスト要素の一つを選択すると、そのエージェントの分析に関連付けられた計測点に対応するマーカー１４０２の色に反映される。また、内省課題に関連付けられたリスト要素を選択した場合には重みの量と色の濃度が対応して反映される。またこのとき、前工程７０３で計算された今回のセンサの信頼精度は、マーカーの点滅速度として表示される。

利用者は、このタスクに関連した信頼精度の結果を確認し、センサの再設置をして計測をやり直す場合には、再計算のコンソールボタン１４０８を選択し、工程７０２からやり直す。また、適切にコマンドとして動作させることが出来る信頼精度を満たすと思われる課題が見つかった場合には、選択決定コンソールボタン１４０９を選択して、次のリアルタイム操作フェーズモード７０６に進む(工程７０５)。

リアルタイム操作フェーズモード（工程７０６）では、利用者が自分の意思に応じて脳の血量を変動させる内省の活動を行い、その結果を反映して表示を変更する。このように利用者が反映した結果を観察しながら活動を行うことにより、適切な操作を実現するために意識的なフィードバックを促す効果がある。以下、図１５に書かれたブロック図に従って、リアルタイム操作フェーズモードでの機器の挙動を説明する。

初期化処理工程１５０２では、前の後述の反映更新処理工程で必要になる変数の初期化を行う。また、工程７０３と工程７０４で保存した過去の学習データの読み込みを行う。画面表示工程１５０３では、先の工程７０４で表示したものと類似の選択画面を表示する。また、手法選択処理工程１５０４では、先の工程７０４で計算し工程７０５で表示した各内省課題の信頼精度を、モニタ６０３の画面上に提示する。利用者はその中のどれかを選択する。後述の反映更新工程１５０５においての命令を伝達するコマンドとして、その内省課題を実行することで操作を行うことができる。

反映更新処理工程１５０５の動作は、サブルーチンモジュールによって実行される。そのモジュールの実装の一例を、図１６のフローで説明する。このモジュールで実行される画面のイメージ例を図１７に示す。画面１７００には、利用者が操作するカーソル１７０１と目標位置１７０２が提示される。目標位置１７０２は背景画面上に提示され、この背景画面は下方向に向かって毎更新ごとに一定の速度でスクロールする。

工程1602で初期化処理を行う。カーソル1701の位置を画面の中央位置に配置する。

工程１６０３では、初期画面をモニタ６０３に提示する。

工程１６０４では移動速度の維持のため、短時間の待機処理を行う。この待機処理は数十ミリ〜数百ミリ秒ほど行われる。この画面更新処理の待機中にも、脳血量データの計測は行われ続ける。

工程１６０５では最新時刻の血量状態の計測データを、前述した機器６０１の信号処理システムにかけて、出力結果を計算する。この処理において、遅延エージェントなどの動作を用いている場合には、サンプラ８０１に保存されている過去のフレームにおいての血量状態の情報も合わせて判断に用いられている。

工程１６０６では、情報の更新を行う。上の出力の値に応じて、カーソルの位置データを左右に動かす。また、背景画像を下に動かす。更新された情報に合わせて画面を更新する。

工程１６０７では、状態の評価を行う。カーソルの位置データが目標位置1702の領域内に含まれていた場合には、得点を加算する。
終了条件としては、特定の点数と規定の時間が一定の基準を満たしていることを確認する。終了条件が満たされていない場合には、以上の工程１６０４〜１６０７を繰り返す。終了条件が満たされているならば、工程１６１０に進む。

工程１６１０では、リアルタイム捜査フェーズの終了をモニタ６０３の画面上で通告し、得点の計算を行って結果を表示する。また、この試行の結果を後の工程１５０８で学習データに反映するために、変数領域に一時的に保存する（工程１６１０）

以上で図１５のサブルーチン１５０５は終了する。これにひき続き、被験者を休憩させるフェーズ（休憩処理工程１５０６）に入る。ただし、この間も計測を続け、課題の実行を終えた後に平常状態に戻っていく脳血量の変動データは電子的にログに保存される。

上記の工程１５０３〜１５０６間での処理を規定回数（例えば、５回など）繰り返す。規定回数に達した場合、捜査フェーズモードを終了する。今回の操作フェーズ７０６においての平均得点をメディア６０５に保存する。

また、メディア内に比較されているこれまで行った計測での、得点の平均値や分散と比較し、その結果（標準偏差）に定数項を掛けた値を今回の計測の補正値として、実際に使用された各エージェントの設置状態を示す値Ｓ(ｉ)に対して加算する。以上で、操作フェーズモードが終了する（工程１５０９）。

実施例１によれば、局在化している脳機能を、光脳機能計測装置によって計測し、計測信号を外部装置への入力信号として用いる際に、命令コマンド用の課題に対する選択と訓練を、本人の学習深度やセンサの不安定性に合わせ、日々異なるセッティングの状況に合わせた組み合わせで用いることができる。

実施例２では、コンピュータ内でリアルタイム操作フェーズモードにおけるサブルーチンモジュールを、実際の機器によって実行する。図18は、実際に操作する機器の一例を説明する構成図である。実施例２は、実施例１でのカーソルの位置データの代わりに、ショベル形状の選別機器１８０１について、アーム１８０１Ａの位置と角度をコントロールする。実施例１では背景が動いたように、実施例２では物品１８０２を乗せたベルトコンベア１８０３が太い矢印方向に移動している。物品１８０２は物品排出器１８０５から定期的にベルトコンベア１８０３上に排出される。ベルトコンベア１８０３上には穴１８０４が空いており、適切なタイミングでアーム１８０１Ａを穴１８０４の上に動かすことで、物品をベルトコンベア１８０３から第１の回収器１８０６の上に落とすことができるようになっている。選別機器１８０１によって第１の回収器１８０６に落とされなかった物品は第２の回収器１８０７に落ちる。

図１９は、実装機器として用いることのできる汎用情報処理機器のブロック図である。実装機器１９００は、本発明によって実際に操作する汎用情報処理機器の他の一例である。この汎用情報処理機器には、複数のライト１９０１と音源１９０２が設置されている。工程１５０５では、現在の血量情報を処理機器６０２にかけて、内省課題に一致した量が計算されるが、この計算された値に合わせて、ライトの光量と、音源の音量・音の高さが変化する。この変化を常時行うことによって、利用者の自発的操作によって駆動する簡易的な楽器としての機能を示すことができる。

実施例２によれば、局在化している脳機能を、光脳機能計測装置によって計測し、計測信号を汎用情報処理機器への入力信号として用いる際に、命令コマンド用の課題に対する選択と訓練を、本人の学習深度やセンサの不安定性に合わせ、日々異なるセッティングの状況に合わせた組み合わせで用いることができる。

脳機能計測による外部環境制御装置における計測方法の装置構成例を説明する模式図である。図１における光照射器へ接続した光ファイバを固定するホルダと光検出器へ接続した光ファイバを固定するホルダとの間を伝播する光の経路を説明する図である。光照射器へ接続した光ファイバホルダの配置位置と、光検出器へ接続した光ファイバホルダの配置位置の説明図である。格子状に配置された複数のレーザとセンサにより血量パターンの変動箇所を特定する例を説明する図である。多次元の情報を線形に分離する手法の概念図である。本発明による生体光計測に基づく外部制御機器の実施例１を示す模式図である。実施例１の運用手順を示す流れ図である。情報処理を行うモジュールの構造を説明するシステム構成図である。実装として用いることのできる汎用情報処理機器のブロック図である。計算フェーズを実現するサブルーチンの流れ図である。課題の画面データ例の説明図である。血量の計測で得られるデータ例の説明図である。過去の履歴情報を蓄積するデータ例の説明図である。エージェントの起動状態を提示し、選択を促す画面例の説明図である。操作フェーズを実現するサブルーチンの流れ図である。反映更新フェーズを実現するサブルーチンの流れ図である。反映更新フェーズに操作対象として表示される画面例の説明図である。反映更新フェーズで操作対象として用いられる機器の一例を説明する図である。反映更新フェーズで操作対象として用いられる機器の別の一例を説明する図である。図８に表現されたフィルタリング処理を呼び出すための、データ内容を記したブロック図である。図２０のデータを用いて、現在の脳活動状態を表現する評価値を計算するアルゴリズムを表現したフロー図である。

符号の説明

１０１被験者
１０２センサ固定用ヘルメット（プローブ、ファイバホルダ）
１０３金赤外レーザ射出器
１０４レーザ転送用光ファイバ
１０５光検出器
１０６検出用光ファイバ
１０７光ファイバフォルダ（固定器具）
１０８光ファイバ先端器具
１０９レーザ出力制御機器
１１０レーザ出力情報転送用ケーブル
１１１検出器制御機器
１１２測定部の情報処理機器
１１３測定情報転送用ケーブル
１１４測定部の画面モニタ
１１５測定部のキーボード
１１６測定部のマウス
２０２頭皮
２０３頭蓋骨
２０４脳脊髄液
２０５大脳皮質
２１０赤外線レーザの通過経路の形状
２１１脳活動に伴い代謝量が変化した大脳皮質領域
３０１照射用光ファイバの配置位置
３０２検出用光ファイバの配置位置
３０３サンプリング点（計測点）
４０１脳活動が活発に検出される位置
５０１状態１に分類されるデータのベクトル位置
５０２状態‐１に分類されるデータのベクトル位置
５０３状態１と状態‐１を分離する超平面
６０１情報処理部の情報処理機器
６０２出力部の情報処理機器
６０３被験者向け情報提示用画面モニタ
６０４履歴情報メディアの読み取り機
６０５履歴情報メディア
６０６出力部の情報処理機器制御用マウス
６０７モジュール組み合わせ情報の読み取り機
６０８モジュール組み合わせ情報のメディア
７０１実施例１でのシステム開始処理
７０２センサヘルメットの設置工程
７０３計測フェーズモードの工程
７０４エージェント反応と推奨タスクの表示工程
７０５再設置と課題開始の選択工程
７０６リアルタイム操作フェーズモードの工程
７０７実施例１の終了処理
８０１サンプラモジュール
８０２一次エージェントモジュール
８０３二次エージェントモジュール
８０４三次エージェントモジュール
８０５擬似エージェントモジュール
８０６シンセサイザモジュール
９０１中央情報処理ユニット
９０２インタフェース制御部
９０３外部記憶機器
９０４画像出力装置
９０５ローカルエリアネットワーク接続装置
９０６主記憶装置
９０７オペレーティングシステム
９０８実行プログラム
９０９表示情報コンテンツ
９１０ディスプレイモニタ
９１１入力機器
９１２外部メディアアクセス装置
９１３ネットワーク
１００１計測フェーズの開始工程
１００２計測フェーズの初期化処理工程
１００３待機処理工程
１００４課題タスク提示工程
１００５課題実行中の血量情報計測工程
１００６課題タスクの終了処理
１００７利用者の休憩待機工程
１００８ループ終了判定
１００９分析・保存工程
１０１０計測フェーズの終了工程
１１０１言語想起課題の画面例
１１０２計算課題の画面例
１１０３ motorization task の画面例
１１０４黙歌唱課題の画面例
１１０５課題終了宣告画面の例
１２０１課題実行期間
１２０３課題開始タイミング
１２０４課題終了タイミング
１２０６血量向上フェーズの開始タイミング
１２０７血量向上フェーズの終了タイミング
１２１１事前期間
１２１２実行期間
１２１３終了後期間
１３０１セッティング情報のフィールド
１３０２タスク情報のフィールド
１３０３エージェントの評価情報フィールド
１３０４シンセサイザ出力の評価情報フィールド
１４００エージェント反応と推奨タスクの提示画面
１４０１人体頭部の３Dモデル
１４０２計測点対応のマーカー
１４０３エージェント特徴情報
１４０４本セッティングにおける評価値
１４０５過去履歴における平均評価値
１４０６課題情報
１４０７本セッティングにおける評価値
１４０７過去履歴における平均評価値
１４０８再計測選択ボタン
１４０９選択決定ボタン
１５０１操作フェーズモードの開始処理
１５０２初期化処理工程
１５０３画面表示工程
１５０４手法選択工程
１５０５反映更新のサブルーチン処理工程
１５０６休憩時間の提示工程
１５０７終了条件判定工程
１５０８分析・保存の工程
１５０９操作フェーズモードの終了工程
１６０１反映更新ルーチンの開始処理
１６０２初期化処理工程
１６０３初期画面の提示工程
１６０４待機工程
１６０５情報分析工程
１６０６画面と内部情報の更新工程
１６０７得点の加算工程
１６０８終了条件判定の工程
１６０９得点の表示工程
１６１０学習データへの反映工程
１６１１反映更新ルーチンの終了処理
1700 反映更新ルーチンの画面例
１７０１カーソル
１７０２目標地点
１８０１ショベルアーム
１８０２物品
１８０３ベルトコンベア
１８０４ベルトコンベア上の穴
１８０５物品排出器
１８０６物品回収器
１８０７物品回収器
１９０１ランプ
１９０２音源

Claims

頭部の外部に設置するマルチチャンネルのファイバホルダを用いて近赤外分光法で取得された脳の複数部位の血量状態の状態変化に応じて外部機器を制御する脳機能計測による外部環境制御装置であって、
前記ファイバホルダから前記脳の各複数部位で時系列情報として得られた血量情報の変動に対して、脳の各領域部位・脈派・脳の左右差・およびその時間差分などの生体機能毎に情報を独立に動作して結果を判定し、抽出する複数の情報処理モジュールからなる第一の手段と、
前記第一の手段を構成する前記情報処理モジュールのそれぞれが出力する値を、被制御装置で提示された内省課題に応じて重み付けの合計を行って得られる代表値を作成し、その代表値に再度のフィルタ処理を行った値を用いて外部機器の制御を行う第二の手段を備えたことを特徴とする脳機能計測による外部環境制御装置。
請求項１において、
前記ファイバホルダを頭部に設置した際に脳血量を変動させる課題を行い、脳の各部位、脈派、脳の左右差、およびその時間差分などの生体情報をそれぞれ抽出する複数の第三の手段を備え、
前記第三の手段毎に備えた前記生体情報の検出精度の評価を判定する評価・判定手段と、
前記評価・判定手段による評価・判定結果を個人情報保持用の外部メディアに保存する保存手段と、
前記外部メディアに保存された過去の履歴における課題に応じた複数の評価成績の平均値、分散値から前記第三の手段毎の信頼精度を再計算して保存する再計算手段を備えたことを特徴とする脳機能計測による外部環境制御装置。
請求項２において、
複数の評価成績のある回に検出された課題の反応の評価成績と前記外部メディアに保存された過去の履歴における課題に応じた評価成績の平均値・分散値とを比較する評価比較手段を備え、
前記評価比較手段の比較結果に基づいて前記頭部の頭皮と前記ファイバホルダの設置状態と前記再計算手段の計測精度を推測し、前記ファイバホルダの設置状態に合わせて前記外部機器の制御に最適な課題の提示および重み付けを強化して使用すべき前記第三の手段の選択または再設置を促すための画面表示を行うモニタを備えたことを特徴とする脳機能計測による外部環境制御装置。