JP2003058298A - Information classifying device, information classifying method, information classifying program and computer readable recording medium - Google Patents
Information classifying device, information classifying method, information classifying program and computer readable recording mediumInfo
- Publication number
- JP2003058298A JP2003058298A JP2001249424A JP2001249424A JP2003058298A JP 2003058298 A JP2003058298 A JP 2003058298A JP 2001249424 A JP2001249424 A JP 2001249424A JP 2001249424 A JP2001249424 A JP 2001249424A JP 2003058298 A JP2003058298 A JP 2003058298A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- information
- target information
- displayed
- classification target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 46
- 210000004556 brain Anatomy 0.000 claims abstract description 17
- 230000004424 eye movement Effects 0.000 claims description 8
- 230000004397 blinking Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 18
- 230000035945 sensitivity Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、テキストデータや
画像データ等の分類対象となる情報を分類する情報分類
装置に関する。その他、本発明は、情報分類方法、情報
分類プログラム及びコンピュータ読み取り可能な記録媒
体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information classification device for classifying information to be classified such as text data and image data. In addition, the present invention relates to an information classification method, an information classification program, and a computer-readable recording medium.
【０００２】なお、本発明は、例えば、憶えた英単語と
憶えていない英単語を分類する場合や、興味・関心のあ
る情報とそうでない情報とを分類する場合などに応用す
ることができる。The present invention can be applied, for example, to classifying remembered English words and unremembered English words, or to classify information of interest / interest and information that is not.
【０００３】[0003]
【従来の技術】近年、コンピュータが広く普及するに伴
って、その記憶装置内に蓄積されるデータの種類も多岐
に渡っている。そのため、データをグループごとに自動
的に整理して分類する技術が望まれている。ユーザのコ
ンピュータを用いる目的は多様化しているため、ユーザ
の趣向に適合したデータ分類方式が特に望まれている。2. Description of the Related Art With the widespread use of computers in recent years, the types of data stored in their storage devices have become widespread. Therefore, there is a demand for a technique for automatically sorting and classifying data in each group. Since the purpose of using a user's computer is diversified, a data classification method that suits the taste of the user is particularly desired.
【０００４】ユーザの多岐に渡る主観的基準や感性量な
どの数値化しづらいデータを獲得したい場合、生体信号
とりわけ脳波信号を用いるのが有効である。データ分類
とは異なる目的であるが、例えば、特開平6-131570号公
報には個体識別の目的で生体信号を利用する技術が、特
開平9-54765号公報には機器の微調整の目的で生体信号
を利用する技術が開示されている。When it is desired to obtain data which is difficult to be digitized such as a wide variety of subjective criteria and sensitivity of the user, it is effective to use a biological signal, especially an electroencephalogram signal. Although it is a purpose different from data classification, for example, Japanese Patent Laid-Open No. 6-131570 discloses a technique of using a biological signal for the purpose of individual identification, and Japanese Laid-Open Patent Publication No. 9-54765 discloses the purpose of fine adjustment of equipment. Techniques using biological signals have been disclosed.
【０００５】一方、データの自動分類手法としてはニュ
ーラルネットワークを用いる手法が一般的である。例え
ば、特開平8-235154号公報においては学習ベクトル量子
化手法を用いたデータ分類手法が提案されている。しか
しながら、学習データを獲得するためには多くのデータ
及び時間を必要とし、必ずしもコンピュータを使うユー
ザに適合した分類が行われているとは限らない、という
問題点がある。また、特開昭63-54618号公報において
は、脳波信号を用いた情報の選択と選択結果の入力に関
する技術が提案されている。しかしながら、これは外部
装置に情報の選択結果を入力することを目的としたもの
であり、データのグループ分けを目的としたものではな
い。On the other hand, a method using a neural network is generally used as an automatic data classification method. For example, Japanese Unexamined Patent Publication No. 8-235154 proposes a data classification method using a learning vector quantization method. However, there is a problem in that a large amount of data and time are required to acquire the learning data, and the classification suitable for the user who uses the computer is not always performed. Further, Japanese Patent Application Laid-Open No. 63-54618 proposes a technique for selecting information using an electroencephalogram signal and inputting a selection result. However, this is for the purpose of inputting the selection result of information to the external device, and not for the purpose of grouping data.
【０００６】[0006]
【発明が解決しようとする課題】本発明は、上記課題を
解決するために成されたものであり、分類対象情報を被
験者が視認したときに生じる、当該被験者の主観的知見
や感性に関連する脳波データ、に基づいて分類対象情報
を自動的に分類することができる情報分類装置、情報分
類方法、情報分類プログラム及びコンピュータ読み取り
可能な記録媒体を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and relates to the subjective knowledge and sensitivity of the subject, which occurs when the subject visually recognizes the classification target information. An object of the present invention is to provide an information classification device, an information classification method, an information classification program, and a computer-readable recording medium capable of automatically classifying classification target information based on brain wave data.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る情報分類装置は、分類対象とされる分
類対象情報を表示する表示手段と、前記表示手段に表示
された分類対象情報を被験者が視認したときに生じる当
該被験者の脳波データに基づいて前記分類対象情報を分
類する分類手段と、前記分類手段による分類結果を出力
する出力手段と、を備えたことを特徴とする。In order to achieve the above object, an information classification device according to the present invention comprises a display means for displaying classification target information to be classified and a classification target displayed on the display means. It is characterized by further comprising: a classification unit that classifies the classification target information based on the electroencephalogram data of the subject that is generated when the subject visually recognizes the information, and an output unit that outputs a classification result by the classification unit.
【０００８】即ち、この情報分類装置では、表示手段に
より、分類対象とされる分類対象情報が表示されると、
被験者がこの表示された分類対象情報を視認する。分類
手段は、このときに生じる当該被験者の脳波データに基
づいて分類対象情報を分類し、出力手段は、分類手段に
よる分類結果を出力する。これにより、分類対象情報を
被験者が視認したときに生じる、当該被験者の主観的知
見や感性に関連する脳波データ、に基づいて、分類対象
情報を自動的に分類することができる。That is, in this information classification device, when the classification target information to be classified is displayed by the display means,
The subject visually recognizes the displayed classification target information. The classifying unit classifies the classification target information based on the electroencephalogram data of the subject generated at this time, and the output unit outputs the classification result by the classifying unit. Accordingly, the classification target information can be automatically classified based on the subject's subjective knowledge or electroencephalogram data related to the sensitivity that occurs when the subject visually recognizes the classification target information.
【０００９】なお、ここでの出力は、ディスプレイへの
表示でもよいし、用紙へのプリント出力でもよいし、ス
ピーカ等からの音声出力でもよい。The output here may be display on a display, print output on paper, or audio output from a speaker or the like.
【００１０】また、上記目的を達成するために、本発明
に係る情報分類装置は、分類対象とされる分類対象情報
の一覧を表示する一覧表示手段と、表示された分類対象
情報の一覧から、被験者が分類対象情報を選択するため
の選択手段と、選択された分類対象情報を表示する表示
手段と、前記表示手段に表示された分類対象情報を被験
者が視認したときに生じる当該被験者の脳波データに基
づいて前記分類対象情報を分類する分類手段と、前記分
類手段による分類結果を出力する出力手段と、を備えた
ことを特徴とする。Further, in order to achieve the above object, the information classification device according to the present invention comprises a list display means for displaying a list of classification target information to be classified, and a list of the displayed classification target information. Selection means for the subject to select the classification target information, display means for displaying the selected classification target information, and electroencephalogram data of the subject generated when the subject visually recognizes the classification target information displayed on the display means. It is characterized by further comprising: a classification unit that classifies the classification target information based on the above, and an output unit that outputs a classification result by the classification unit.
【００１１】即ち、この情報分類装置では、一覧表示手
段により分類対象とされる分類対象情報の一覧が表示さ
れると、被験者により選択手段を介して、前記表示され
た分類対象情報の一覧から分類対象情報が選択される。
そして、表示手段により、前記選択された分類対象情報
が表示されると、被験者がこの表示された分類対象情報
を視認する。分類手段は、このときに生じる当該被験者
の脳波データに基づいて分類対象情報を分類し、出力手
段は、分類手段による分類結果を出力する。これによ
り、選択された分類対象情報を被験者が視認したときに
生じる、当該被験者の主観的知見や感性に関連する脳波
データ、に基づいて、分類対象情報を自動的に分類する
ことができる。That is, in this information classification device, when the list display means displays a list of classification target information to be classified, the subject performs classification from the displayed list of classification target information via the selection means. Target information is selected.
When the display unit displays the selected classification target information, the subject visually recognizes the displayed classification target information. The classifying unit classifies the classification target information based on the electroencephalogram data of the subject generated at this time, and the output unit outputs the classification result by the classifying unit. Thereby, the classification target information can be automatically classified based on the electroencephalogram data relating to the subjective knowledge or the sensitivity of the subject, which is generated when the subject visually recognizes the selected classification target information.
【００１２】ところで、上記選択手段は、眼球運動測定
装置、マウス、キーボード及びＸＹトラッカーのうち１
つ又は２つ以上の組み合わせにより構成することがで
き、特別な大掛かりな装置は不要である。By the way, the selecting means is one of an eye movement measuring device, a mouse, a keyboard and an XY tracker.
One or a combination of two or more can be used, and no special large-scale device is required.
【００１３】また、分類対象情報は当該分類対象情報に
関する付帯情報を含み、表示手段は前記選択された分類
対象情報に関する付帯情報も併せて表示することが望ま
しい。なお、この付帯情報としては、分類対象情報に関
するコメント、要約、キーワード、作成日などが挙げら
れる。これにより、当該分類対象情報の内容把握、理解
が容易となる。Further, it is desirable that the classification target information includes supplementary information relating to the classification target information, and the display means also displays supplementary information relating to the selected classification target information. It should be noted that, as the additional information, there are a comment, a summary, a keyword, a creation date, etc. regarding the classification target information. This facilitates understanding and understanding of the classification target information.
【００１４】また、分類手段は、脳波データが得られた
脳の部位に応じて分けられたグループ毎に、脳波データ
を周波数変換して得られた周波数分布又は脳波データの
振幅分布に応じて分類対象情報を分類することができ
る。Further, the classifying means classifies the groups classified according to the brain region where the electroencephalogram data is obtained according to the frequency distribution obtained by frequency-converting the electroencephalogram data or the amplitude distribution of the electroencephalogram data. Target information can be classified.
【００１５】また、表示手段は、表示すべき分類対象情
報を所定時間間隔で点滅させて表示することが望まし
い。上記所定時間間隔としては、例えば、数秒間隔が望
ましい。このとき、分類手段は、分類対象情報が表示手
段により表示されたタイミングでの脳波データに基づい
て分類対象情報を分類することが望ましい。これによ
り、分類対象情報を表示しつづける場合よりも、被験者
の脳波データの乱れ等を少なくすることができ、信頼性
の高い分類結果を得ることができる。Further, it is desirable that the display means blinks and displays the classification target information to be displayed at predetermined time intervals. As the predetermined time interval, for example, an interval of several seconds is desirable. At this time, it is desirable that the classification unit classify the classification target information based on the electroencephalogram data at the timing when the classification target information is displayed by the display unit. As a result, it is possible to reduce the disturbance of the electroencephalogram data of the subject and to obtain a highly reliable classification result, as compared with the case where the classification target information is continuously displayed.
【００１６】具体的には、分類手段は、分類対象情報が
表示手段により表示されたタイミングでの脳波データを
加算平均することで当該分類対象情報に応じた事象関連
的なデータを抽出し、抽出されたデータに基づいて前記
分類対象情報を分類することが望ましい。この場合、表
示されたタイミングでの脳波データを加算平均すること
で、脳波のノイズ成分を相殺して除去することができ
る。よって、分類対象情報に応じた事象関連的なデータ
のみを精度良く抽出でき、より信頼性の高い分類結果を
得ることができる。Specifically, the classification means extracts the event-related data corresponding to the classification target information by averaging the electroencephalogram data at the timing when the classification target information is displayed by the display means, and extracts the data. It is desirable to classify the classification target information based on the obtained data. In this case, the brain wave noise component can be canceled and removed by averaging the brain wave data at the displayed timing. Therefore, only the event-related data corresponding to the classification target information can be accurately extracted, and a more reliable classification result can be obtained.
【００１７】また、本発明に係る情報分類装置では、出
力手段により出力された分類結果を認知した被験者が、
当該分類対象情報についての分類の再実行を要求する再
実行要求手段と、再実行が要求された場合に、表示手段
により当該分類対象情報を表示させ、分類手段により分
類を再実行させる再実行制御手段と、をさらに備えた構
成とすることが望ましい。この場合、出力手段により出
力された分類結果を認知した被験者は、例えば、その分
類結果に満足できない場合等に、その自由意思に沿っ
て、再実行要求手段により当該分類対象情報についての
分類の再実行を要求することができる。分類の再実行を
要求すると、再実行制御手段は、表示手段により当該分
類対象情報を表示させ、分類手段により分類を再実行さ
せるので、出力手段により分類の再実行の結果が出力さ
れ、被験者はその結果を得ることができる。Further, in the information classification device according to the present invention, the subject who recognizes the classification result output by the output means is
Re-execution request means for requesting re-execution of classification for the classification target information, and re-execution control for causing the display means to display the classification target information when the re-execution is requested and re-executing the classification by the classification means. It is desirable that the configuration further includes means. In this case, the subject who has recognized the classification result output by the output means, for example, when he / she is not satisfied with the classification result, re-executes the classification of the classification target information by the re-execution request means in accordance with his / her free will. You can request execution. When the re-execution of the classification is requested, the re-execution control means causes the display means to display the classification target information and causes the classification means to re-execute the classification, so that the output means outputs the result of the re-execution of the classification, and the subject The result can be obtained.
【００１８】ところで、上記本発明は、以下の情報分類
方法の発明として捉えることもできる。即ち、本発明に
係る情報分類方法は、分類対象とされる分類対象情報を
表示する表示工程と、表示された分類対象情報を被験者
が視認したときに生じる当該被験者の脳波データに基づ
いて前記分類対象情報を分類する分類工程と、前記分類
工程における分類結果を出力する出力工程と、を有する
ことを特徴とする。By the way, the present invention can also be understood as an invention of the following information classification method. That is, the information classification method according to the present invention includes a display step of displaying classification target information to be classified, and the classification based on the electroencephalogram data of the subject generated when the subject visually recognizes the displayed classification target information. It is characterized by including a classification step of classifying the target information and an output step of outputting a classification result in the classification step.
【００１９】また、上記本発明は、以下の情報分類プロ
グラムの発明として捉えることもできる。また、本発明
に係るコンピュータ読み取り可能な記録媒体は、以下の
情報分類プログラムが記録されたことを特徴とする。The present invention can be understood as the invention of the following information classification program. A computer-readable recording medium according to the present invention is characterized by recording the following information classification program.
【００２０】本発明に係る情報分類プログラムは、分類
対象とされる分類対象情報を表示する表示ステップと、
表示された分類対象情報を被験者が視認したときに生じ
る当該被験者の脳波データに基づいて前記分類対象情報
を分類する分類ステップと、前記分類ステップにおける
分類結果を出力する出力ステップとを、コンピュータに
実行させることを特徴とする。The information classification program according to the present invention includes a display step of displaying classification target information to be classified.
The computer executes a classification step of classifying the classification target information based on the electroencephalogram data of the test subject that occurs when the displayed classification target information is visually recognized by the subject, and an output step of outputting the classification result in the classification step. It is characterized by
【００２１】より具体的には、本発明に係る情報分類プ
ログラムは、表示ステップでは、表示すべき分類対象情
報を所定時間間隔で点滅させて表示させ、分類ステップ
では、分類対象情報が表示されたタイミングでの脳波デ
ータを加算平均することで当該分類対象情報に応じた事
象関連的なデータを抽出し、抽出されたデータに基づい
て分類対象情報を分類するよう構成することが望まし
い。この場合、分類ステップにて、分類対象情報が表示
ステップにおいて表示されたタイミングでの脳波データ
を加算平均することで当該分類対象情報に応じた事象関
連的なデータを抽出し、抽出されたデータに基づいて分
類対象情報を分類することが望ましい。この場合、表示
されたタイミングでの脳波データを加算平均すること
で、脳波のノイズ成分を相殺して除去することができ、
分類対象情報に応じた事象関連的なデータのみを精度良
く抽出し、より信頼性の高い分類結果を得ることができ
る。More specifically, the information classification program according to the present invention causes the classification target information to be displayed to blink at predetermined time intervals in the display step, and displays the classification target information in the classification step. It is desirable that the event-related data corresponding to the classification target information be extracted by averaging the electroencephalogram data at the timings, and the classification target information be classified based on the extracted data. In this case, in the classification step, the event-related data corresponding to the classification target information is extracted by averaging the electroencephalogram data at the timing when the classification target information is displayed in the display step, and the extracted data is added to the extracted data. It is desirable to classify the classification target information based on this. In this case, by adding and averaging the electroencephalogram data at the displayed timing, the noise component of the electroencephalogram can be canceled and removed,
Only the event-related data corresponding to the classification target information can be accurately extracted to obtain a more reliable classification result.
【００２２】[0022]
【発明の実施の形態】以下、本発明の実施形態を説明す
る。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below.
【００２３】まず、図１を用いて本実施形態における情
報分類装置１１の構成を説明する。図１に示すように、
情報分類装置１１は、情報表示装置１４、表示制御部１
５、情報選択デバイス１２、脳波信号計測装置１３及び
信号処理部１６を含んで構成される。First, the configuration of the information classification device 11 in this embodiment will be described with reference to FIG. As shown in Figure 1,
The information classification device 11 includes an information display device 14 and a display control unit 1.
5, an information selection device 12, an electroencephalogram signal measurement device 13, and a signal processing unit 16 are included.
【００２４】このうち情報表示装置１４は、分類される
対象となる情報（分類対象情報）の一覧を表示する機
能、被験者となる情報分類装置１１のユーザ（以下、単
にユーザという）が表示された情報から1つの情報を選
択した場合、どの情報を選択したかを表示する機能、選
択した情報がテキスト情報や画像情報を含む場合、その
内容を表示する機能、選択した情報のコメントや属性情
報を表示する機能、分類処理を行った後、その情報がど
このグループに分類されたかを表示する機能を持つ。Of these, the information display device 14 has a function of displaying a list of information to be classified (classification target information), and a user of the information classification device 11 as a subject (hereinafter, simply referred to as a user) is displayed. When you select one information from the information, the function to display which information is selected, the function to display the content when the selected information includes text information and image information, the comment and attribute information of the selected information It has a function of displaying and a function of displaying to which group the information is classified after performing the classification process.
【００２５】情報選択デバイス１２は、ユーザが情報表
示装置１４上に表示された情報の中から情報を選択する
ための装置であり、眼球運動計測装置、マウス、キーボ
ード、ＸＹトラッカーなどが該当する。この情報選択デ
バイス１２は、どの情報を選択したかを示す信号を表示
制御部１５に送る機能及び誤選択時に再度選択情報を表
示制御部１５に送る機能を持つ。The information selection device 12 is a device for the user to select information from the information displayed on the information display device 14, and corresponds to an eye movement measuring device, a mouse, a keyboard, an XY tracker and the like. The information selection device 12 has a function of sending a signal indicating which information has been selected to the display control unit 15 and a function of sending the selection information to the display control unit 15 again when an erroneous selection is made.
【００２６】脳波信号計測装置１３は、ユーザの頭部か
ら発せられる微弱電気信号を複数の部位から取得し、内
蔵したアンプを介してアナログ電圧信号として出力する
装置である。The electroencephalogram signal measuring device 13 is a device for acquiring a weak electric signal emitted from the user's head from a plurality of parts and outputting it as an analog voltage signal via a built-in amplifier.
【００２７】信号処理部１６は、脳波信号計測装置１３
から受け取った出力信号をＡ／Ｄ変換する機能と、デジ
タル波形から周波数分布や振幅などの特徴量を抽出する
機能と、デジタル波形が後述の事象関連的な信号であっ
た場合、加算・平均化処理を行い、前述の特徴量を抽出
する機能と、特徴量から特徴ベクトルを作成する機能
と、特徴ベクトルから選択された情報がどのグループに
属するかを決定する機能と、グループ情報を表示制御部
１５に転送する機能とを持つ。The signal processing unit 16 is a brain wave signal measuring device 13
A / D conversion of the output signal received from, the function of extracting the characteristic amount such as frequency distribution and amplitude from the digital waveform, and the addition / averaging when the digital waveform is the event-related signal described later. A function for performing processing to extract the above-mentioned feature amount, a function for creating a feature vector from the feature amount, a function for determining to which group the information selected from the feature vector belongs, and a group information display control unit. 15 and the function of transferring.
【００２８】表示制御部１５は、情報選択デバイス１２
から受けとった選択対象となった情報に関する信号を加
工し、その加工結果を情報表示装置１４に伝達する機能
と、選択対象となった情報がどのような属性を持つかを
判断する機能と、選択対象となった情報が画像情報、テ
キスト情報、コメントなどを含む場合、その内容を表示
するように情報表示装置１４に指示する機能と、信号処
理部１６から受けとった信号を加工して情報表示装置１
４に伝達する機能とを持つ。The display control unit 15 includes the information selection device 12
A function of processing a signal relating to the information selected as received from the device and transmitting the processed result to the information display device 14; a function of determining what attribute the selected information has; When the target information includes image information, text information, comments, etc., the function of instructing the information display device 14 to display the contents, and the information display device by processing the signal received from the signal processing unit 16 1
4 and the function to transmit.
【００２９】以上の構成においては、ユーザは、使いた
い情報選択デバイス１２を用いて情報を選択することが
できる。ここで、情報選択デバイス１２として眼球運動
計測装置を選択した場合、その測定精度のため誤った情
報を選択してしまう可能性があるので、情報の一覧を表
示する際に大きなアイコンを使用したり、他の情報選択
デバイス（マウス、キーボード等）と併用することによ
り、選択精度を高めることができる。また、選択された
情報の属性及び内容を表示するか否かはユーザの嗜好に
よって選択可能とされている。さらに、選択された情報
が画像情報であって当該画像情報を表示する場合、それ
を点滅させるかどうかもユーザの嗜好によって選択可能
とされている。In the above configuration, the user can select information using the information selection device 12 he / she wants to use. Here, when an eye movement measuring device is selected as the information selection device 12, incorrect information may be selected due to its measurement accuracy. Therefore, a large icon is used when displaying a list of information. The selection accuracy can be improved by using the information selection device (mouse, keyboard, etc.) together. Further, whether or not to display the attribute and content of the selected information can be selected according to the preference of the user. Further, when the selected information is image information and the image information is displayed, whether to blink it or not can be selected according to the user's preference.
【００３０】さらに、本実施形態では、詳細は後述する
が、情報の内容及びその属性情報をユーザが凝視した場
合に発せられる脳波信号を取得して、情報を分類する手
法を用いている。頭部に取り付けられたｋ個の電極のう
ち、ｉ番目の電極から取得された脳波信号の特徴ベクト
ルFitを求め、特徴行列F=(F1t,F2t,…Fkt)のパターンに
より特徴空間を作成する。その際、あらかじめ学習デー
タを作成しておいてもよいが、電極の位置によって特異
な脳波信号を取得できる場合は、学習データは不要とな
る、という利点がある。Further, in the present embodiment, as will be described later in detail, a method of acquiring the electroencephalogram signal emitted when the user gazes at the content of information and its attribute information and classifies the information is used. Of the k electrodes attached to the head, obtains a feature vector Fi t of the i-th brain wave signals acquired from the electrodes, wherein the matrix F = (F1 t, F2 t , ... Fk t) characterized by the pattern of Create a space. At that time, the learning data may be created in advance, but there is an advantage that the learning data becomes unnecessary when a specific electroencephalogram signal can be acquired depending on the position of the electrode.
【００３１】なお、本実施形態においては、選択する情
報が画像ファイルであり、その画像が以前見たものか否
かをグループとして分類することを考える。もちろん選
択する情報がテキストファイルである場合や、バイナリ
情報を含む場合でも構わない。In the present embodiment, it is considered that the information to be selected is an image file, and whether or not the image was previously viewed is classified as a group. Of course, the information to be selected may be a text file or may include binary information.
【００３２】次に、情報表示装置１４において表示され
るウィンドウについて説明する。情報表示装置１４に
は、図２に示す情報選択・表示のためのウィンドウと、
図３の制御用ウィンドウとが表示される。Next, the window displayed on the information display device 14 will be described. The information display device 14 includes a window for selecting and displaying information shown in FIG.
The control window shown in FIG. 3 is displayed.
【００３３】図２に示すウィンドウは、さらに５つのサ
ブウィンドウから構成される。そのうちサブウィンドウ
２１は選択すべきファイルが格納されているフォルダの
候補一覧である。サブウィンドウ２２はサブウィンドウ
２１で選択したフォルダの下層部に存在するファイルの
一覧である。サブウィンドウ２１のフォルダは一例とし
てツリー構造とされている。The window shown in FIG. 2 is further composed of five sub-windows. Among them, the sub-window 21 is a candidate list of folders in which files to be selected are stored. The sub window 22 is a list of files existing in the lower layer part of the folder selected in the sub window 21. The folder of the sub window 21 has a tree structure as an example.
【００３４】フォルダの選択方式は情報選択デバイス
（マウス、眼球運動計測装置、キーボード等）によって
行われる。情報選択デバイスとしてマウスを利用する場
合、ダブルクリック等によりフォルダを選択する。ま
た、眼球運動計測装置を用いる場合は、瞬き等を利用す
ることにより、キーボードを用いる場合はテンキー等で
カーソルを移動し特定キーを押すことにより、フォルダ
の選択を行う。フォルダがウィンドウ１枚分に入りきら
ないほど多く存在する場合、スクロールボタン２１１、
２１２を操作することにより、フォルダ一覧を上下に移
動させる。その際、ユーザの嗜好によってマウスと眼球
運動計測装置など複数の情報選択デバイスを併用しても
よい。The folder selection method is performed by an information selection device (mouse, eye movement measuring device, keyboard, etc.). When using a mouse as an information selection device, a folder is selected by double-clicking or the like. Further, when the eye movement measuring device is used, blinking or the like is used, and when the keyboard is used, a cursor is moved with a ten-key or the like and a specific key is pressed to select a folder. If there are too many folders to fit in one window, scroll buttons 211,
By operating 212, the folder list is moved up and down. At this time, a plurality of information selection devices such as a mouse and an eye movement measuring device may be used together depending on the preference of the user.
【００３５】サブウィンドウ２１で選択されたフォルダ
に格納されているファイルの一覧は、サブウィンドウ２
２に表示される。ファイルの選択手法はサブウィンドウ
２１と同様である。The list of files stored in the folder selected in the sub window 21 is displayed in the sub window 2
It is displayed in 2. The file selection method is similar to that of the sub window 21.
【００３６】サブウィンドウ２３は、サブウィンドウ２
２で選択したファイルの内容を示すものである。図２で
は、サブウィンドウ２２で画像ファイルが選択された場
合を示しており、サブウィンドウ２３には画像が表示さ
れる。本実施形態では画像全体が表示されるように、適
当に画像を拡大縮小して、サブウィンドウ２３上に表示
しているが、拡大縮小をせずに、スクロールボタンを用
いて画像がスクロールできるようにしてもよい。また、
サブウィンドウ２２でテキストファイルが選択された場
合はサブウィンドウ２３にはテキストデータが表示され
る。The subwindow 23 is the subwindow 2
The contents of the file selected in 2 are shown. FIG. 2 shows a case where an image file is selected in the sub window 22, and an image is displayed in the sub window 23. In the present embodiment, the image is appropriately scaled so that the entire image is displayed and displayed on the sub-window 23. However, the image can be scrolled by using the scroll button without scaling. May be. Also,
When a text file is selected in the sub window 22, text data is displayed in the sub window 23.
【００３７】サブウィンドウ２４は、サブウィンドウ２
２で選択したファイルに関するコメント、要約、キーワ
ード等の付帯情報を示すものである。図２の例では、サ
ブウィンドウ２４には、CSV方式で画像の内容が示すも
の及びその作成日が表示されている。サブウィンドウ２
２で選択されたファイルがバイナリファイルでサブウィ
ンドウ２３にその内容を表示できない場合は、サブウィ
ンドウ２４に当該ファイルに関するコメント等が表示さ
れるほうが望ましい。The subwindow 24 is the subwindow 2
It shows supplementary information such as a comment, a summary, and a keyword regarding the file selected in 2. In the example of FIG. 2, the sub-window 24 displays the contents of the image in the CSV method and the date of creation thereof. Sub window 2
If the file selected in 2 is a binary file and its contents cannot be displayed in the sub window 23, it is desirable to display a comment or the like regarding the file in the sub window 24.
【００３８】サブウィンドウ２５は、選択したファイル
が分類作業の結果、どのグループに属するかを示すウィ
ンドウである。本実施形態では、ユーザが記憶している
ものが属するrememberというグループ、ユーザが知らな
いものが属するunknownというグループ、これらの何れ
でもないものが属するneutralというグループの３つの
グループが想定されているが、図２では、この中でunkn
ownというグループに属したことを示している。The sub-window 25 is a window showing which group the selected file belongs to as a result of the classification work. In the present embodiment, three groups are assumed: a group called remember, to which the user remembers, a unknown group to which the user does not know, and a neutral group to which anything other than these belongs. , In this, in Figure 2, unkn
It indicates that you belonged to a group called own.
【００３９】図３は制御用ウィンドウである。タイトル
欄３１には図２のサブウィンドウ２２において選択した
画像ファイル名、分類作業の結果、その画像ファイルが
属するグループ名が表示される。FIG. 3 shows a control window. In the title column 31, the image file name selected in the sub-window 22 of FIG. 2, the result of the classification work, and the group name to which the image file belongs are displayed.
【００４０】タイトル欄３１の下には、制御用ボタン一
覧３２が表示される。本システムを起動した後これらの
制御用ボタンを選択することにより実際の作業が開始さ
れる。制御用ボタンは９つのボタンから成る。なお、複
数のボタンを同時に選択することはできない。Below the title column 31, a control button list 32 is displayed. The actual work is started by selecting these control buttons after starting the system. The control button consists of nine buttons. Note that multiple buttons cannot be selected at the same time.
【００４１】このうち“選択開始”ボタンはファイルの
選択を開始するときに選ぶボタンである。これを選ぶこ
とにより、フォルダやファイルの選択を各種情報選択デ
バイスを用いて実施することができる。Of these, the "start selection" button is a button to be selected when starting file selection. By selecting this, selection of folders and files can be performed using various information selection devices.
【００４２】“選択中断”ボタンはフォルダまたはファ
イルの選択作業を実施している時に、処理の中断を行う
場合に選択する。このボタンが選択された場合、作業用
ウィンドウではフォルダまたはファイルの選択処理を行
うことができない。The "interruption of selection" button is selected when the process of selecting a folder or file is being performed and the process is to be interrupted. When this button is selected, it is not possible to select a folder or file in the work window.
【００４３】“選択完了”ボタンはタイトル欄３１で対
象ファイルが表示され、選択作業を確定したい場合に選
択する。The "selection complete" button is selected when the target file is displayed in the title column 31 and the user wants to confirm the selection work.
【００４４】“再選択”ボタンはタイトル欄３１で表示
された対象ファイルとは別のものを選択したい場合に選
択する。このボタンは対象ファイルが表示された後に有
効となる。また“選択完了”ボタンを押した後にこのボ
タンを選択した場合、選択の確定を解除できる。The "reselect" button is selected when it is desired to select a different file from the target file displayed in the title column 31. This button becomes valid after the target file is displayed. If this button is selected after pressing the "selection complete" button, the confirmation of the selection can be canceled.
【００４５】“分類開始”ボタンは選択作業が確定した
場合のみ実効できるボタンである。このボタンを選択す
ることにより、分類作業が開始される。分類作業が開始
された場合、ユーザは図２のサブウィンドウ２２、２
３、２４のいずれかを凝視する必要がある。サブウィン
ドウ２３、２４に何も表示されていない場合はサブウィ
ンドウ２２のファイル名のみを凝視する。所定の場所を
凝視しているかどうかは眼球運動計測装置にて判断す
る。所定の場所を凝視していないと判断した場合、エラ
ーが返り、再度“分類開始”ボタンを選択する必要があ
る。“分類開始”ボタンが選択されるのと同時に脳波計
測を行う。本実施形態では、一例として１０／２０法を
用いて、図４で示すように電極を取り付ける。もちろん
これら以外に電極を取り付けて、それらから得られる信
号も用いてもよい。The "classification start" button is a button that can be executed only when the selection work is confirmed. By selecting this button, the classification work is started. When the classification work is started, the user is required to select the sub windows 22 and 2 shown in FIG.
It is necessary to stare at either 3 or 24. If nothing is displayed in the sub windows 23 and 24, only the file name of the sub window 22 is stared at. An eye movement measuring device determines whether or not the user is gazing at a predetermined place. If it is judged that the user is not staring at the predetermined place, an error is returned and it is necessary to select the "start classification" button again. Brain wave measurement is performed at the same time when the "start classification" button is selected. In the present embodiment, the electrodes are attached as shown in FIG. 4 using the 10/20 method as an example. Of course, electrodes other than these may be attached and signals obtained from them may be used.
【００４６】“分類中断”ボタンは分類作業が開始され
ている時に、中断したい場合に選択する。このボタンが
選択された場合、“分類開始”ボタンを選択しない限
り、分類作業を続行することができない。“分類完了”
ボタンは分類が完了して、選択した画像ファイルの分類
作業を確定したい場合に選択する。タイトル欄３１にお
いて「分類結果」にグループが表示された後に選択でき
る。“再分類”ボタンはタイトル欄３１で示された分類
結果とは異なるグループに分類したい場合に選択する。
“次に移る”ボタンは別の画像ファイルを選択してそれ
を分類したい場合に選択する。The "classification interruption" button is selected when the classification work is started and it is desired to interrupt it. When this button is selected, the classification work cannot be continued unless the "Start classification" button is selected. “Classification completed”
Select the button when classification is completed and you want to confirm the classification work for the selected image file. It can be selected after the group is displayed in "Classification result" in the title column 31. The "re-classify" button is selected when the user wants to classify into a group different from the classification result shown in the title column 31.
The "Next" button is selected when you want to classify another image file by selecting it.
【００４７】次に、具体的な分類手法について述べる。
本実施形態での分類手法としては、複数の電極からの脳
波データを取り込んで、その波形から特徴（周波数、振
幅)を抽出する第１の手法と、画像を数秒間隔で点滅さ
せることにより事象関連的な電気信号を取得する第２の
手法とがある。以下、それぞれの手法について説明す
る。Next, a concrete classification method will be described.
As the classification method in the present embodiment, a first method of capturing brain wave data from a plurality of electrodes and extracting features (frequency, amplitude) from the waveform, and event-related by blinking an image at intervals of several seconds There is a second method of acquiring a specific electric signal. Hereinafter, each method will be described.
【００４８】まず、図５を用いて第１の手法を説明す
る。なお、図５の各部は、図１の信号処理部１６が備え
た機能ブロックに相当する。First, the first method will be described with reference to FIG. Note that each unit in FIG. 5 corresponds to a functional block included in the signal processing unit 16 in FIG.
【００４９】ユーザ頭部５０に設けた複数の電極５１
（図５では１つのみ図示）から取得できた電気信号は、
増幅器５２を介して適切な大きさの電圧信号に増幅され
る(-10V〜+10V)。なお、このとき必要に応じ、微分処理
部５１０で微分処理される。この電圧信号はＡ／Ｄ変換
器５３によってデジタル信号に変換される。A plurality of electrodes 51 provided on the user's head 50
The electric signal obtained from (only one is shown in FIG. 5) is
It is amplified to an appropriate voltage signal (-10V to + 10V) via the amplifier 52. At this time, differentiation processing is performed by the differentiation processing unit 510 as necessary. This voltage signal is converted into a digital signal by the A / D converter 53.
【００５０】次に、変換後のデジタル信号から、特徴量
として周波数と振幅とを抽出する。このうち周波数−時
間分布はウェーブレット変換部５４においてウェーブレ
ット変換によって求める。これによって、ｉ番目の電極
から得られる電気信号の、周波数関連の特徴ベクトルHi
tを作成する。一方、振幅−時間分布は、振幅測定部５
５において以下のようにして求める。Next, the frequency and the amplitude are extracted as feature quantities from the converted digital signal. Of these, the frequency-time distribution is obtained by the wavelet transform in the wavelet transform unit 54. As a result, the frequency-related feature vector Hi of the electric signal obtained from the i-th electrode
create t . On the other hand, the amplitude-time distribution shows the amplitude measuring unit 5
In 5, the value is obtained as follows.
【００５１】図６（ａ）、（ｂ）に示すように、まずア
ナログ電圧信号f(t)の微分信号の値が０となる時間を算
出する。脳波測定開始時間t=０から数えて、微分信号の
値が０になる時間を順にt1,t2,t3とする。ただしこれら
は変曲点ではないとする。As shown in FIGS. 6A and 6B, first, the time when the value of the differential signal of the analog voltage signal f (t) becomes 0 is calculated. Counting from the electroencephalogram measurement start time t = 0, the times when the value of the differential signal becomes 0 are sequentially set as t1, t2, and t3. However, these are not inflection points.
【００５２】ここで、f(t1)≧f(t2)の場合は、f(t)は時
間t1,t3において極大で、時間t2,t4で極小となる。この
場合、時間t3における振幅T(t3)は、
T(t3) = f(t3)-f(t2)-(f(t4)-f(t2))/(t4-t2)*(t3-t2)
と表せる。同様にしてT(t5),T(t7)…を求める。When f (t1) ≧ f (t2), f (t) has a maximum at times t1 and t3 and a minimum at times t2 and t4. In this case, the amplitude T (t3) at time t3 is T (t3) = f (t3) -f (t2)-(f (t4) -f (t2)) / (t4-t2) * (t3-t2 ) Can be expressed. Similarly, T (t5), T (t7) ... Are obtained.
【００５３】一方、f(t1)<f(t2)の場合は、f(t)は時間t
2,t4において極大で、時間t1,t3で極小となる。この場
合時間t2における振幅T(t2)は、
T(t2) = f(t2)-f(t1)-(f(t3)-f(t1))/(t3-t1)*(t2-t1)
と表せる。同様にしてT(t4),T(t6)…を求める。On the other hand, when f (t1) <f (t2), f (t) is the time t
It has a maximum at 2, t4 and a minimum at times t1, t3. In this case, the amplitude T (t2) at time t2 is T (t2) = f (t2) -f (t1)-(f (t3) -f (t1)) / (t3-t1) * (t2-t1) Can be expressed as Similarly, T (t4), T (t6) ... Are obtained.
【００５４】そして、上記２つの場合を合わせて、i番
目の電極から得られる電気信号についての振幅関連の特
徴ベクトルTitを作成する。特徴ベクトルHit及び特徴ベ
クトルTitをつなぐことにより、新たに特徴ベクトルFit
を作成する。Then, by combining the above two cases, an amplitude-related feature vector Ti t for the electric signal obtained from the i-th electrode is created. By connecting the feature vector Hi t and the feature vector Ti t , a new feature vector Fi t
To create.
【００５５】次に、特徴行列作成部５６において、特徴
行列F=(F1t,F2t,…Fkt)を作成する。この特徴行列が特
徴空間のどの領域に所属するかによって、分類すべきグ
ループを決定する。つまりグループｊ(本実施形態では
ｊ＝０、１、２)に所属する特徴行列（学習データ５
７）をあらかじめ生成しておき、今求めた特徴行列との
成分の差の二乗和を求め、その和がもっとも小さいグル
ープを所属グループとすることで、分類部５９において
分類処理を行う。Next, the feature matrix creating unit 56 creates a feature matrix F = (F1 t , F2 t , ... Fk t ). A group to be classified is determined depending on which region of the feature space this feature matrix belongs to. That is, the feature matrix (learning data 5) belonging to the group j (j = 0, 1, 2 in this embodiment)
7) is generated in advance, the sum of squares of the difference between the obtained component and the feature matrix is calculated, and the group having the smallest sum is set as the belonging group, and the classification unit 59 performs the classification process.
【００５６】なお、この学習データは固定されたもので
も、本装置により生成した特徴ベクトルを再帰的に利用
して変動させるものでもよい。いずれにしても、第１の
手法は、学習データが必ず必要となる手法である。The learning data may be fixed or may be changed by recursively using the feature vector generated by this apparatus. In any case, the first method is a method that requires learning data.
【００５７】次に、図７を用いて第２の方法について説
明する。なお、図７の各部は、図１の信号処理部１６が
備えた機能ブロックに相当する。Next, the second method will be described with reference to FIG. Note that each unit in FIG. 7 corresponds to a functional block included in the signal processing unit 16 in FIG.
【００５８】第２の手法では画像を数秒間隔で点滅させ
る。ユーザ頭部６０に設けた複数の電極６１（図７では
１つのみ図示）から得られる電気信号は増幅器６２で増
幅されＡ／Ｄ変換器６３においてＡ／Ｄ変換される。そ
れと同時に表示装置６６よりTTLレベルの信号、つまり
画像が表示装置６６に表示されているか否かを識別する
信号がＡ／Ｄ変換器６３に入力されＡ／Ｄ変換される。
Ａ／Ｄ変換によりデジタル化された電極６１からの信号
及びデジタル化されたTTLレベルの信号は、波形処理部
６４において、以下の波形処理が施される。In the second method, the image is made to blink at intervals of several seconds. An electric signal obtained from a plurality of electrodes 61 (only one is shown in FIG. 7) provided on the user's head 60 is amplified by an amplifier 62 and A / D converted by an A / D converter 63. At the same time, a TTL level signal from the display device 66, that is, a signal for identifying whether or not an image is displayed on the display device 66 is input to the A / D converter 63 and A / D converted.
The signal from the electrode 61 digitized by A / D conversion and the digitized TTL level signal are subjected to the following waveform processing in the waveform processing unit 64.
【００５９】ここで、図８を用いて波形処理の処理手法
を説明する。図８(a)は取得するTTLレベルの信号であ
り、Highの場合画像が表示され、Lowの場合画像が表示
されていない。これを実際の脳波データ(図8(b))に適用
し、脳波を2種類に分け、それぞれを加算平均する。図8
(c)はそれら2種類の波形の差分である。この差分波形を
各電極ごとに求める。次に波形分類処理部６４において
これらの波形を分類する（手法は後述する）。その際、
知っている画像、知らない画像の波形を比較した場合、
１．憶えていない画像、知らない画像は前頭上部(Cz、F
z付近)で大きな負の電位が、後頭下部(T5,T6付近)で正
の電位が約400ms後に発生するという事実、及び、
２．憶えている画像、知っている画像は頭頂部(Cz、Pz
付近)で大きな正の電位が、前頭下部(F7,F8付近)で負の
電位が約600ms後に発生するという事実を使用する(T.Cu
rran, Memory & Cognition, Vol.28, 2000やM.D.Rugg,e
tc., Nature, Vol.392, 1998など)。図９にはこれらの
事実を利用して波形を分類する手法の1つを示す。Here, a processing method of waveform processing will be described with reference to FIG. FIG. 8A shows a TTL level signal to be acquired. When it is High, the image is displayed, and when it is Low, the image is not displayed. This is applied to the actual electroencephalogram data (FIG. 8 (b)), the electroencephalogram is divided into two types, and the average of each is calculated. Figure 8
(c) is the difference between these two types of waveforms. This difference waveform is obtained for each electrode. Next, the waveform classification processing unit 64 classifies these waveforms (method will be described later). that time,
When comparing the waveforms of the known image and the unknown image, 1. Images you don't remember or don't know are in the upper frontal area (Cz, F
1. A large negative potential (around z) and a positive potential in the lower occipital region (around T5 and T6) occur after about 400 ms, and 1. Images you remember and know are the top of the head (Cz, Pz
We use the fact that a large positive potential at (near) and a negative potential at the lower frontal region (near F7, F8) occur after about 600 ms (T.Cu.
rran, Memory & Cognition, Vol.28, 2000 and MDRugg, e
tc., Nature, Vol.392, 1998). FIG. 9 shows one of the methods for classifying waveforms by utilizing these facts.
【００６０】上記波形処理後のデータは、波形分類処理
部６５において、以下の図９の手法で分類される。即
ち、図９のステップＳ９１ではユーザにニュートラルな
画像を見せてユーザの脳波データを取得し、次のステッ
プＳ９２では脳波データのうち、後頭下部と前頭上部の
差分の絶対値、及び頭頂部と前頭下部の差分の絶対値を
求め、それぞれ300ms〜500msの平均値及び400ms〜800ms
の平均値を取得する。これらを、それぞれVf、Vpとす
る。The waveform-processed data is classified by the waveform classification processing section 65 by the method shown in FIG. That is, in step S91 of FIG. 9, the user is shown a neutral image to acquire the electroencephalogram data of the user, and in the next step S92, the absolute value of the difference between the lower occipital region and the upper frontal region and the parietal region and the frontal region of the electroencephalographic data are acquired. Obtain the absolute value of the difference at the bottom, and calculate the average value of 300ms to 500ms and 400ms to 800ms, respectively.
Gets the average value of. Let these be Vf and Vp, respectively.
【００６１】ステップＳ９３では、分類したい画像をユ
ーザに見せてユーザの脳波データを取得し、ステップＳ
９４では、ステップＳ９２と同様の手法でVftmp、Vptmp
を求める。In step S93, the image to be classified is shown to the user to acquire the electroencephalogram data of the user.
In 94, Vftmp, Vptmp are processed by the same method as in step S92.
Ask for.
【００６２】ステップＳ９５では、Vftmp > Vfであるか
否かを判定し、肯定判定の場合は、ステップＳ９６へ進
み、その画像をunknownグループに分類する。否定判定
の場合は、ステップＳ９７へ進み、Vptmp > Vpであるか
否かを判定し、肯定判定の場合は、ステップＳ９８へ進
み、その画像をrememberグループに分類する。ここでも
否定判定の場合は、ステップＳ９９へ進み、その画像を
neutralグループに分類する。In step S95, it is determined whether or not Vftmp> Vf. If the determination is affirmative, the process proceeds to step S96 and the image is classified into the unknown group. If the determination is negative, the process proceeds to step S97 to determine whether or not Vptmp> Vp. If the determination is positive, the process proceeds to step S98 to classify the image into the remember group. If a negative determination is made here, the process proceeds to step S99, and the image is
Classify into the neutral group.
【００６３】以上のようにして分類したい画像を、３つ
のグループの何れかに分類することができる。このよう
に、本実施形態によれば、分類対象情報を被験者が視認
したときに生じる、当該被験者の主観的知見や感性に関
連する脳波データ、に基づいて分類対象情報を自動的に
分類することができる。The images to be classified as described above can be classified into any of the three groups. As described above, according to the present embodiment, when the subject visually recognizes the classification target information, the classification target information is automatically classified based on the electroencephalogram data related to the subjective knowledge or the sensitivity of the subject. You can
【００６４】なお、図９のステップＳ９５、Ｓ９７での
電圧値の比較は、大小比較ではなく、予め適当な閾値を
定め、その閾値以上に差がある場合に、差が存在すると
判定してもよい。また、上記実施形態では、最初に基準
となる脳波データを取得する必要があるが、Vftmpと予
め適切に定めた閾値１μVとの比較、Vptmpと予め適切に
定めた閾値１．２μVとの比較を行う手法を採用しても
よい。このときは、最初に基準となる脳波データを取得
する必要はない。It should be noted that the comparison of the voltage values in steps S95 and S97 of FIG. 9 is not a magnitude comparison, but an appropriate threshold value is set in advance, and if there is a difference above the threshold value, it is determined that there is a difference. Good. Further, in the above-described embodiment, it is necessary to first acquire the reference electroencephalogram data, but it is necessary to compare Vftmp with a predetermined threshold value of 1 μV and Vptmp with a predetermined threshold value of 1.2 μV. The method of performing may be adopted. At this time, it is not necessary to first acquire the reference EEG data.
【００６５】最後に、本発明の実施形態に係る情報分類
プログラム、及び当該情報分類プログラムを記録したコ
ンピュータ読み取り可能な記録媒体（以下、単に記録媒
体という）について説明する。Finally, an information classification program according to the embodiment of the present invention and a computer-readable recording medium (hereinafter, simply referred to as a recording medium) recording the information classification program will be described.
【００６６】ここで、記録媒体とは、コンピュータのハ
ードウェア資源に備えられている読み取り装置に対し
て、プログラムの記述内容に応じて、磁気、光、電気等
のエネルギーの変化状態を引き起こして、それに対応す
る信号の形式で、読み取り装置にプログラムの記述内容
を伝達できるものである。かかる記録媒体としては、例
えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コン
ピュータに内蔵されるメモリなどが該当する。Here, the recording medium causes a reading device provided in a hardware resource of a computer to cause a change state of energy such as magnetism, light, and electricity according to the description content of a program, The description content of the program can be transmitted to the reading device in the form of the corresponding signal. As such a recording medium, for example, a magnetic disk, an optical disk, a CD-ROM, a memory built in a computer, or the like is applicable.
【００６７】図１０は、本発明の実施形態に係る記録媒
体の構成図である。記録媒体１００は、図１０に示すよ
うに、プログラムを記録するプログラム領域１００ａを
備えている。このプログラム領域１００ａには、情報分
類プログラム１０２が記録されている。FIG. 10 is a block diagram of a recording medium according to the embodiment of the present invention. The recording medium 100 has a program area 100a for recording a program, as shown in FIG. An information classification program 102 is recorded in this program area 100a.
【００６８】この情報分類プログラム１０２は、前述し
た情報分類処理を実行するプログラムであって、図１０
に示すように、処理を統括するメインモジュール１０２
ａと、分類対象とされる分類対象情報を所定時間間隔で
点滅させて表示させる表示モジュール１０２ｂと、表示
された分類対象情報を被験者が視認したときに生じる当
該被験者の脳波データを加算平均することで当該分類対
象情報に応じた事象関連的なデータを抽出し、抽出され
たデータに基づいて分類対象情報を分類する分類モジュ
ール１０２ｃと、分類結果を出力する出力モジュール１
０２ｄとを備えて構成される。This information classification program 102 is a program for executing the above-mentioned information classification process, and is shown in FIG.
As shown in FIG.
a, a display module 102b for displaying classification target information to be classified by blinking at predetermined time intervals, and averaging brain wave data of the subject generated when the displayed classification target information is visually recognized by the subject. In the above, the event-related data corresponding to the classification target information is extracted, the classification module 102c that classifies the classification target information based on the extracted data, and the output module 1 that outputs the classification result.
02d and.
【００６９】図１１は、記録媒体１００に記録された情
報分類プログラムを実行するためのコンピュータ（例え
ば図１の情報分類装置１１に内蔵のコンピュータ）１１
Ｓのシステム構成図である。コンピュータ１１Ｓは、情
報分類プログラムの実行等を制御するＣＰＵ１０と、記
録媒体１００に記録された情報分類プログラムを読み取
り可能な読み取り装置１９と、メモリ（ＲＡＭ）１８
と、ディスプレイ等より成る情報表示装置１４と、情報
選択デバイス１２と、分類結果等を適宜プリント出力す
るための印字部１７とを備えている。ここで、記録媒体
１００が読み取り装置１９に挿入されると、記録媒体１
００に記録された情報が読み取り装置１９からアクセス
可能となり、図１０に示す記録媒体１００のプログラム
領域１００ａに記録された情報分類プログラム１０２
が、コンピュータ１１Ｓによって実行可能となる。FIG. 11 shows a computer for executing the information classification program recorded on the recording medium 100 (for example, a computer built in the information classification device 11 of FIG. 1) 11.
It is a system configuration diagram of S. The computer 11S includes a CPU 10 that controls execution of the information classification program, a reading device 19 that can read the information classification program recorded on the recording medium 100, and a memory (RAM) 18.
An information display device 14 including a display, an information selection device 12, and a printing unit 17 for appropriately printing out a classification result and the like. Here, when the recording medium 100 is inserted into the reading device 19, the recording medium 1
The information recorded in 00 is accessible from the reading device 19, and the information classification program 102 recorded in the program area 100a of the recording medium 100 shown in FIG.
Can be executed by the computer 11S.
【００７０】上記読み取り装置１９としては、記録媒体
１００に対応して、フレキシブルディスクドライブ装
置、ＣＤ−ＲＯＭドライブ装置、あるいは磁気テープド
ライブ装置などが用いられる。As the reading device 19, a flexible disk drive device, a CD-ROM drive device, a magnetic tape drive device, or the like is used corresponding to the recording medium 100.
【００７１】[0071]
【発明の効果】以上説明したように、本発明によれば、
分類対象情報を被験者が視認したときに生じる、当該被
験者の主観的知見や感性に関連する脳波データ、に基づ
いて、分類対象情報を自動的に分類することができる。As described above, according to the present invention,
It is possible to automatically classify the classification target information based on the subject's subjective knowledge or electroencephalogram data related to the sensitivity that occurs when the subject visually recognizes the classification target information.
【図１】発明の実施形態に係る情報分類装置の全体構成
を示すブロック図である。FIG. 1 is a block diagram showing an overall configuration of an information classification device according to an embodiment of the invention.
【図２】情報分類装置で表示される作業ウィンドウを示
す図である。FIG. 2 is a diagram showing a work window displayed on the information classification device.
【図３】情報分類装置で表示される制御用ウィンドウを
示す図である。FIG. 3 is a diagram showing a control window displayed by the information classification device.
【図４】本実施形態で利用した頭部に取り付ける電極の
位置を示す図である。FIG. 4 is a diagram showing positions of electrodes attached to the head used in the present embodiment.
【図５】本実施形態での第１の手法を示すブロック図で
ある。FIG. 5 is a block diagram showing a first technique in this embodiment.
【図６】振幅の測定処理を説明するための図であり、
（ａ）は脳波信号の波形を示す図、（ｂ）は（ａ）の波
形を微分して得られた微分値を示す図である。FIG. 6 is a diagram for explaining amplitude measurement processing,
(A) is a figure which shows the waveform of an electroencephalogram signal, (b) is a figure which shows the differential value obtained by differentiating the waveform of (a).
【図７】本実施形態での第２の手法を示すブロック図で
ある。FIG. 7 is a block diagram showing a second technique in this embodiment.
【図８】（ａ）はTTLレベルの信号を示す図であり、
（ｂ）は実際の脳波信号（ＥＥＧ）を示す図であり、
（ｃ）は第２の手法で求められる事象関連的な電位を示
す図である。FIG. 8A is a diagram showing a TTL level signal,
(B) is a diagram showing an actual electroencephalogram signal (EEG),
(C) is a figure which shows the event-related electric potential calculated | required by the 2nd method.
【図９】情報分類手法を示す流れ図である。FIG. 9 is a flowchart showing an information classification method.
【図１０】記録媒体の構成図である。FIG. 10 is a configuration diagram of a recording medium.
【図１１】コンピュータのシステム構成図である。FIG. 11 is a system configuration diagram of a computer.
１０…ＣＰＵ、１１…情報分類装置、１１Ｓ…コンピュ
ータ、１２…情報選択デバイス、１３…脳波信号計測装
置、１４…情報表示装置、１５…表示制御部、１６…信
号処理部、１７…印字部、１８…メモリ、１９…読み取
り装置、１００…記録媒体、１００ａ…プログラム領
域、１０２…情報分類プログラム10 ... CPU, 11 ... Information classification device, 11S ... Computer, 12 ... Information selection device, 13 ... Brain wave signal measuring device, 14 ... Information display device, 15 ... Display control unit, 16 ... Signal processing unit, 17 ... Printing unit, 18 ... Memory, 19 ... Reading device, 100 ... Recording medium, 100a ... Program area, 102 ... Information classification program
Claims (13)
る表示手段と、 前記表示手段に表示された分類対象情報を被験者が視認
したときに生じる当該被験者の脳波データに基づいて前
記分類対象情報を分類する分類手段と、 前記分類手段による分類結果を出力する出力手段と、 を備えた情報分類装置。1. Display means for displaying classification target information to be classified, and the classification target information based on electroencephalogram data of the subject generated when the subject visually recognizes the classification target information displayed on the display means. An information classifying device comprising: a classifying unit that classifies the items, and an output unit that outputs a classification result by the classifying unit.
表示する一覧表示手段と、 表示された分類対象情報の一覧から、被験者が分類対象
情報を選択するための選択手段と、 選択された分類対象情報を表示する表示手段と、 前記表示手段に表示された分類対象情報を被験者が視認
したときに生じる当該被験者の脳波データに基づいて前
記分類対象情報を分類する分類手段と、 前記分類手段による分類結果を出力する出力手段と、 を備えた情報分類装置。2. A list display means for displaying a list of classification target information to be classified, a selecting means for a subject to select the classification target information from the displayed list of classification target information, and a selected means. Display means for displaying the classification target information, classification means for classifying the classification target information based on brain wave data of the subject generated when the subject visually recognizes the classification target information displayed on the display means, and the classification means An information classifying device comprising: an output unit that outputs the classification result according to.
ウス、キーボード及びＸＹトラッカーのうち１つ又は２
つ以上の組み合わせにより構成されることを特徴とする
請求項２記載の情報分類装置。3. The selecting means is one or two of an eye movement measuring device, a mouse, a keyboard and an XY tracker.
The information classification device according to claim 2, wherein the information classification device is configured by a combination of two or more.
関する付帯情報を含み、 前記表示手段は前記選択された分類対象情報に関する付
帯情報も併せて表示することを特徴とする請求項２又は
請求項３に記載の情報分類装置。4. The classification object information includes incidental information related to the classification object information, and the display unit also displays incidental information related to the selected classification object information. The information classification device described in 3.
れた脳の部位に応じて複数グループに分けられた各グル
ープ毎に、脳波データを周波数変換して得られた周波数
分布又は脳波データの振幅分布に応じて分類対象情報を
分類することを特徴とする請求項１〜４の何れか１項に
記載の情報分類装置。5. The classifying means, for each group divided into a plurality of groups according to the part of the brain from which the electroencephalogram data was obtained, frequency distribution of the electroencephalogram data or obtained from the electroencephalogram data. The information classification device according to claim 1, wherein the classification target information is classified according to an amplitude distribution.
報を所定時間間隔で点滅させて表示することを特徴とす
る請求項１〜５の何れか１項に記載の情報分類装置。6. The information classification device according to claim 1, wherein the display unit displays the classification target information to be displayed by blinking at predetermined time intervals.
段により表示されたタイミングでの脳波データに基づい
て前記分類対象情報を分類することを特徴とする請求項
６記載の情報分類装置。7. The information classifying apparatus according to claim 6, wherein the classifying unit classifies the classification target information based on the electroencephalogram data at the timing when the classification target information is displayed by the display unit.
段により表示されたタイミングでの脳波データを加算平
均することで当該分類対象情報に応じた事象関連的なデ
ータを抽出し、抽出されたデータに基づいて前記分類対
象情報を分類することを特徴とする請求項７記載の情報
分類装置。8. The classification means extracts the event-related data corresponding to the classification target information by performing arithmetic mean of the electroencephalogram data at the timing when the classification target information is displayed by the display means, and is extracted. The information classification device according to claim 7, wherein the classification target information is classified based on data.
を認知した被験者が、当該分類対象情報についての分類
の再実行を要求する再実行要求手段と、 前記再実行が要求された場合に、前記表示手段により当
該分類対象情報を表示させ、前記分類手段により分類を
再実行させる再実行制御手段と、 をさらに備えた請求項１〜８の何れか１項に記載の情報
分類装置。9. The re-execution request means for requesting re-execution of the classification of the classification target information, wherein the subject recognizing the classification result output by the output means, the re-execution requesting means, 9. The information classification device according to claim 1, further comprising: a re-execution control unit that causes the display unit to display the classification target information and causes the classification unit to re-execute the classification.
する表示工程と、 表示された分類対象情報を被験者が視認したときに生じ
る当該被験者の脳波データに基づいて前記分類対象情報
を分類する分類工程と、 前記分類工程における分類結果を出力する出力工程と、 を有する情報分類方法。10. A display step of displaying the classification target information to be classified, and a classification for classifying the classification target information based on electroencephalogram data of the subject generated when the subject visually recognizes the displayed classification target information. An information classification method comprising: a step; and an output step of outputting a classification result in the classification step.
する表示ステップと、 表示された分類対象情報を被験者が視認したときに生じ
る当該被験者の脳波データに基づいて前記分類対象情報
を分類する分類ステップと、 前記分類ステップにおける分類結果を出力する出力ステ
ップとを、 コンピュータに実行させるための情報分類プログラム。11. A display step of displaying classification target information to be classified, and a classification for classifying the classification target information based on electroencephalogram data of the subject generated when the subject visually recognizes the displayed classification target information. An information classification program for causing a computer to execute steps and an output step of outputting a classification result in the classification step.
類対象情報を所定時間間隔で点滅させて表示させ、 前記分類ステップでは、分類対象情報が表示されたタイ
ミングでの脳波データを加算平均することで当該分類対
象情報に応じた事象関連的なデータを抽出し、抽出され
たデータに基づいて前記分類対象情報を分類することを
特徴とする請求項１１記載の情報分類プログラム。12. In the displaying step, the classification target information to be displayed is displayed blinking at predetermined time intervals, and in the classification step, brain wave data at the timing when the classification target information is displayed is added and averaged. The information classification program according to claim 11, wherein event-related data corresponding to the classification target information is extracted, and the classification target information is classified based on the extracted data.
報分類プログラムが記録されたことを特徴とするコンピ
ュータ読み取り可能な記録媒体。13. A computer-readable recording medium on which the information classification program according to claim 11 or 12 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001249424A JP2003058298A (en) | 2001-08-20 | 2001-08-20 | Information classifying device, information classifying method, information classifying program and computer readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001249424A JP2003058298A (en) | 2001-08-20 | 2001-08-20 | Information classifying device, information classifying method, information classifying program and computer readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003058298A true JP2003058298A (en) | 2003-02-28 |
Family
ID=19078427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001249424A Pending JP2003058298A (en) | 2001-08-20 | 2001-08-20 | Information classifying device, information classifying method, information classifying program and computer readable recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003058298A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7716697B2 (en) | 2005-12-08 | 2010-05-11 | Panasonic Corporation | Information processing system, information processing apparatus, and method |
| JP2010198233A (en) * | 2009-02-24 | 2010-09-09 | Honda Motor Co Ltd | Brain information output device, robot, and brain information output method |
| JP2012181607A (en) * | 2011-02-28 | 2012-09-20 | Toyota Central R&D Labs Inc | Sensory data identification apparatus and program |
| JP2018526711A (en) * | 2015-06-03 | 2018-09-13 | インナーアイ リミテッドＩｎｎｅｒＥｙｅ Ｌｔｄ． | Image classification by brain computer interface |
| JP2020072946A (en) * | 2014-05-30 | 2020-05-14 | ザ リージェンツ オブ ザ ユニバーシティー オブ ミシガン | Brain computer interface for facilitating specification of direct selection and state change of solution of multi-limb selection formula |
| US11006834B2 (en) | 2016-11-08 | 2021-05-18 | Sony Corporation | Information processing device and information processing method |
| US11269414B2 (en) | 2017-08-23 | 2022-03-08 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| US11366517B2 (en) | 2018-09-21 | 2022-06-21 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US12001602B2 (en) | 2017-11-13 | 2024-06-04 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
| US12053308B2 (en) | 2018-01-18 | 2024-08-06 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
-
2001
- 2001-08-20 JP JP2001249424A patent/JP2003058298A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7716697B2 (en) | 2005-12-08 | 2010-05-11 | Panasonic Corporation | Information processing system, information processing apparatus, and method |
| JP2010198233A (en) * | 2009-02-24 | 2010-09-09 | Honda Motor Co Ltd | Brain information output device, robot, and brain information output method |
| JP2012181607A (en) * | 2011-02-28 | 2012-09-20 | Toyota Central R&D Labs Inc | Sensory data identification apparatus and program |
| US12121360B2 (en) | 2014-05-30 | 2024-10-22 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
| JP2020072946A (en) * | 2014-05-30 | 2020-05-14 | ザ リージェンツ オブ ザ ユニバーシティー オブ ミシガン | Brain computer interface for facilitating specification of direct selection and state change of solution of multi-limb selection formula |
| US11266342B2 (en) | 2014-05-30 | 2022-03-08 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
| JP2018526711A (en) * | 2015-06-03 | 2018-09-13 | インナーアイ リミテッドＩｎｎｅｒＥｙｅ Ｌｔｄ． | Image classification by brain computer interface |
| JP2021043979A (en) * | 2015-06-03 | 2021-03-18 | インナーアイ リミテッドＩｎｎｅｒＥｙｅ Ｌｔｄ． | Image classification by brain computer interface |
| US11006834B2 (en) | 2016-11-08 | 2021-05-18 | Sony Corporation | Information processing device and information processing method |
| US11972049B2 (en) | 2017-08-23 | 2024-04-30 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| US11269414B2 (en) | 2017-08-23 | 2022-03-08 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| US12001602B2 (en) | 2017-11-13 | 2024-06-04 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
| US12053308B2 (en) | 2018-01-18 | 2024-08-06 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
| US11366517B2 (en) | 2018-09-21 | 2022-06-21 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240152548A1 (en) | Electronic apparatus for searching related image and control method therefor | |
| JP3970920B2 (en) | Information processing system, information processing apparatus and method | |
| CN113191395B (en) | Target detection method based on multi-level information fusion of double brains | |
| CN113208593A (en) | Multi-modal physiological signal emotion classification method based on correlation dynamic fusion | |
| CN107785066B (en) | Method, device and system for modifying heartbeat type | |
| Bakhtiyari et al. | Fuzzy model on human emotions recognition | |
| JP2003058298A (en) | Information classifying device, information classifying method, information classifying program and computer readable recording medium | |
| WO2005001677A1 (en) | Service provision device | |
| CN112401886A (en) | Processing method, device and equipment for emotion recognition and storage medium | |
| EP3595770A1 (en) | Information processing apparatus, information processing method, program, and biological signal measurement system | |
| KR100569009B1 (en) | Usability evaluation system for driving information system | |
| van den Broek et al. | Unobtrusive sensing of emotions (USE) | |
| US11109810B2 (en) | Information display device, biological signal measurement system, and computer program product | |
| TW201830223A (en) | Time series data processing apparatus and processing method for smoothing processing | |
| Thammasan et al. | An investigation of annotation smoothing for eeg-based continuous music-emotion recognition | |
| Adam et al. | Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal | |
| Baray et al. | EOG-Based Reading Detection in the Wild Using Spectrograms and Nested Classification Approach | |
| Bakhtiyari et al. | Implementation of emotional-aware computer systems using typical input devices | |
| Salazar-Ramirez et al. | A hierarchical architecture for recognising intentionality in mental tasks on a brain-computer interface | |
| Tawhid et al. | Textural feature based intelligent approach for neurological abnormality detection from brain signal data | |
| Bottos et al. | An approach to track reading progression using eye-gaze fixation points | |
| Gong et al. | TFAC-Net: A Temporal-Frequential Attentional Convolutional Network for Driver Drowsiness Recognition With Single-Channel EEG | |
| Gu et al. | An integrated Gaussian mixture model to estimate vigilance level based on EEG recordings | |
| CN115509355A (en) | MI-BCI interaction control system and method under integrated vision | |
| Ekiz et al. | Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070918 |