[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016080341A1 - 脳波による類似度の評価方法、評価装置、評価システム及びプログラム - Google Patents

脳波による類似度の評価方法、評価装置、評価システム及びプログラム Download PDF

Info

Publication number
WO2016080341A1
WO2016080341A1 PCT/JP2015/082101 JP2015082101W WO2016080341A1 WO 2016080341 A1 WO2016080341 A1 WO 2016080341A1 JP 2015082101 W JP2015082101 W JP 2015082101W WO 2016080341 A1 WO2016080341 A1 WO 2016080341A1
Authority
WO
WIPO (PCT)
Prior art keywords
stimulus
electroencephalogram
target
stimuli
data
Prior art date
Application number
PCT/JP2015/082101
Other languages
English (en)
French (fr)
Inventor
良平 長谷川
友美 藤村
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to JP2016560207A priority Critical patent/JP6472144B2/ja
Priority to US15/527,144 priority patent/US10786173B2/en
Publication of WO2016080341A1 publication Critical patent/WO2016080341A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires

Definitions

  • the present invention relates to a method, an evaluation apparatus, an evaluation system, and a program for visualizing and evaluating brain information related to similarity evaluation for a plurality of stimuli.
  • the meaning of brain waves has been given by examining the correlation between the evaluation results of questionnaires for various types of emotions such as pleasant discomfort obtained from questionnaires and the brain waves.
  • the correlation between the electroencephalogram and each emotion type is high, the strength of each emotion can be estimated from the electroencephalogram to some extent, but if the correlation is low, there is a problem that the probability of correctly estimating the emotion from the electroencephalogram becomes low.
  • the logic of “Emotional state is generally observed when such an EEG is observed” is used from a large number of subjects' databases. There is a question of whether there is any scientifically meaningful data analysis. In addition, it is not clear what it means to extract information from the brain waves that can be understood from the questionnaire.
  • the research group of the present invention has advanced research and development on a brain information analysis method aiming at performing a sensitivity evaluation that eliminates subject's subjective bias as much as possible.
  • a dimension compression technique based on the difference in EEG response (potential change amplitude data) when simply presenting various stimuli continuously (see Patent Document 1).
  • multi-channel EEG data obtained from a plurality of measurement locations for a plurality of sensory stimuli is dimensionally compressed, and the distribution of the stimuli is displayed on a two-dimensional plane.
  • We proposed a display method for visualizing brain information characterized in that near stimuli display similar brain activity compared to distant stimuli.
  • Patent Document 2 proposes that a specific decision is made in the brain based on the discriminant function and the success rate obtained by analyzing the electroencephalogram data obtained by measuring the electroencephalogram after presentation of the stimulus. Further, in Patent Document 3, the brain wave data after the stimulus presentation is analyzed and specified using a function for estimating the intracerebral processing process related to the decision making for each trial of the “message component” that is a cognitive task. We decided that the decision-making was made in the brain, and proposed a technology to support communication by combining messages. With the techniques of Patent Documents 2 and 3, for example, it is possible to support communication for people with movement disabilities who are difficult to speak and write, and those with severe movement disabilities who are difficult to input various devices using their hands and feet.
  • Patent Document 4 proposes an apparatus and a method for ordering survey objects by electroencephalogram analysis.
  • McClure SM Li J, Tomlin D, Cypert KS, Monogua LM, Montagu PR. “Neural Correlates of Behavior Preferred for Cultural Families Links” Neuron 44, p379-387, 2004
  • Patent Document 1 proposed by the present inventors, since the brain information when the subject passively receives the stimulus is targeted, the subject is actively receiving the stimulus. There is a problem that brain information is not subject to evaluation.
  • the inventors of the present invention have been conducting research on evaluation of brain information when a subject actively receives a stimulus.
  • the inventors of the present invention need to discriminate one of a plurality of types of stimuli to be presented to the subject (refers to a cognitive task that requires determination of “select” or “do not select” in the head).
  • a system to acquire brain wave data including brain information when actively receiving stimuli was constructed using.
  • the strength of the electroencephalogram response when each target stimulus is selected and distinguished from other stimuli in the brain is determined by an indicator such as discriminant analysis.
  • the system which compared and unambiguously arranged was developed (refer patent document 4).
  • Patent Document 4 The present inventors thought that the system of Patent Document 4 would be a very powerful tool when evaluating brain information with little subjective bias including subconscious activities.
  • the analysis result is limited to the identification of the stimulus having the strongest “degree of interest in the brain” or one-dimensional quantitative data (interpretable as order data). As in 1, it is impossible to overview the similarity of all stimuli on a map.
  • the technique of Patent Document 4 is limited to the brain wave data when “selected”, the brain information included in the brain wave data when “not selected” remains unused. .
  • the present invention is intended to solve these problems, and an object thereof is to provide an apparatus, a method, a system, and a program for evaluating stimulation similarity by electroencephalogram using data obtained by simple electroencephalogram measurement. And Another object of the present invention is to visualize brain information.
  • the present invention has the following features in order to achieve the above object.
  • brain wave data related to cognitive processing for a plurality of sensory stimuli is dimensionally compressed, and the distribution of the stimuli is displayed on a two-dimensional plane or three-dimensionally. It is characterized by evaluating the similarity of brain information.
  • the electroencephalogram data related to the cognitive processing includes electroencephalogram data when a stimulus is selected as a target and electroencephalogram data caused by a non-target stimulus event.
  • the dimension compression is based on a combination of multivariate analysis methods.
  • the brain information similarity evaluation apparatus of the present invention includes a stimulus presentation unit, an electroencephalogram measurement unit, and an evaluation processing unit that evaluates the similarity of a stimulus based on electroencephalogram data
  • the stimulus presentation unit includes a plurality of senses.
  • Stimulus is presented as a plurality of stimulation events each consisting of a target and a non-target each time
  • the electroencephalogram measurement means measures the electroencephalogram immediately after the stimulus presentation by the stimulus presentation means
  • the evaluation processing means comprises a plurality of senses
  • the electroencephalogram data during the cognitive task for the stimulus is subjected to dimensional compression by a combination of multivariate analysis methods, and points corresponding to the stimulus are displayed on a two-dimensional plane or in three dimensions.
  • the brain information similarity evaluation system obtains electroencephalogram data by measuring electroencephalograms related to cognitive processing for a plurality of sensory stimuli, and combines the electroencephalogram data with a combination of multivariate analysis methods. Compression is performed to display points corresponding to the stimulus on a two-dimensional plane or in three dimensions.
  • the program of the present invention provides a computer with a plurality of sensory stimuli as a plurality of stimulus events consisting of a target and a non-target, respectively, and a plurality of sensory stimuli presented by the stimulus presentation unit.
  • EEG data during the cognitive task is subjected to dimensional compression by a plurality of multivariate analysis methods, and points corresponding to the stimulus are displayed on a two-dimensional plane or in three dimensions.
  • the present invention also evaluates the brain information when the subject is actively receiving a stimulus that the cognitive task is being performed, a highly reliable result was obtained.
  • EEG data associated with cognitive processing is dimensionally compressed and the distribution of the stimulus is displayed on a two-dimensional plane, so that a near-distance stimulus has similar brain activity to a far-distance stimulus. Can be displayed. That is, the similarity of information in the brain with respect to the stimulus can be evaluated based on the distance between the displayed stimuli.
  • brain activity of the subject is measured non-invasively by the electroencephalogram, information in the brain can be easily visualized.
  • brain activity is measured directly, it is more reliable than questionnaires that are susceptible to conscious bias.
  • brain activity is directly measured, it is possible to visualize unconscious impressions, sensibility information, and the like that are difficult to measure by conventional questionnaire surveys.
  • brain activity data that has been too complex to be meaningful in the past is analyzed in EEG data while performing a cognitive task, and is displayed in two dimensions by compressing dimensions from multiple dimensions.
  • Two-dimensional display shows that objects with a close distance on the map are judged to be “similar” in the brain, and objects that are far apart are judged to be “different” in the brain
  • information in the brain can be visualized.
  • the averaged data for each group of subjects can be visualized, it can be used in marketing surveys instead of questionnaire surveys on new product development.
  • FIG. 5 is a diagram for explaining the first embodiment, and shows the strength of the electroencephalogram with a discrimination score.
  • the embodiment of the present invention realizes visualization of brain information related to similarity evaluation for a plurality of stimuli by analyzing an electroencephalogram. More specifically, the embodiment of the present invention performs multivariate analysis on EEG data such as multi-channels measured non-invasively from the scalp, so that a plurality of stimuli (visual stimuli such as products) can be obtained. It is a technology that visualizes brain information for similarity as a low-dimensional structure.
  • Patent Document 4 since the technique of Patent Document 4 is limited to the brain wave data when “selected”, the brain information included in the brain wave data when “not selected” remains unused. Met. The present inventors pay attention to the fact that information on the degree of similarity with the “selected” stimulus may be included by analyzing the characteristics of the electroencephalogram data when “not selected”. Developed.
  • the embodiment of the present invention is a system capable of visualizing brain information related to similarity evaluation for a plurality of stimuli included in electroencephalogram data accompanying cognitive processing.
  • the electroencephalogram data associated with the cognitive process or the electroencephalogram data related to the cognitive process for a plurality of sensory stimuli is, for example, when counting sensory stimuli targeted in the continuously presented sensory stimuli. It is the brain wave that occurs.
  • a plurality of multivariate analyzes are used. Multiple multivariate analysis refers to visualizing in a low-dimensional space by using a dimension compression technique such as a multidimensional scale construction method, focusing on a score that can be referred to as a result of pattern identification such as discriminant analysis.
  • Embodiments of the present invention focus on brain wave components (event-related potentials) that can be recorded on brain activity, particularly on the scalp, and that reflect cognitive processing evoked by stimulus input. By analyzing the brain responsiveness to the presentation, the similarity of a plurality of stimulation events is evaluated.
  • the event-related potential of interest in the present invention is a transient electroencephalogram that occurs in conjunction with the occurrence timing of an external or internal event, such as P300 (a positive potential change that increases after 300 milliseconds after presentation of a stimulus). is there.
  • Examples of the stimulus event include physical sensory stimuli (sensory stimuli such as visual, auditory, olfactory, taste, and tactile sensations) and verbal stimuli related to a plurality of evaluation objects.
  • the present invention mainly includes elements of stimulus event presentation, electroencephalogram measurement, evaluation processing by electroencephalogram data analysis, and presentation of evaluation results.
  • the device according to the embodiment of the present invention includes an electroencephalogram measurement headgear, a data analysis computer, and a stimulus presentation device (for example, a display screen).
  • FIG. 1 is a diagram schematically showing an apparatus and method according to the present embodiment.
  • the stimulus presentation display screen is shown to the subject, and the subject's scalp electroencephalogram is measured and recorded by the electroencephalograph (the electroencephalogram amplifier 4 in the figure).
  • the subject wears an electroencephalograph electrode 3 for measuring an electroencephalogram on the head.
  • a head-mounted device with an electroencephalograph electrode fixed is used.
  • Various visual stimuli are presented on the display screen (monitor), and electroencephalogram raw waveform data is obtained by an electroencephalograph.
  • FIG. 1 The result of analyzing the electroencephalogram data by a processing device such as the computer 6 and evaluating the brain information on the similarity of stimulation is shown on a display screen or the like.
  • thick arrows are shown from the head where the electroencephalogram electrode is located to the electroencephalogram amplifier 4, and from the electroencephalogram amplifier 4 to the computer 6, but this schematically shows that signals are transmitted by wire or wirelessly. It is illustrated.
  • FIG. 2 is an example of a head-mounted member (headgear) to which an electroencephalograph electrode used in the present embodiment is fixed.
  • the headgear includes an electroencephalogram measurement electrode fixedly held by the headgear, wiring for electrically connecting the electrode and the electroencephalograph main body, and a wireless transmission unit for transmitting the measured electroencephalogram data.
  • brain waves from a single electrode or a plurality of electrodes placed on the scalp are measured around the top of the head, which is effective for measuring brain waves reflecting increased attention.
  • FIG. 3 is a diagram schematically showing the presentation of the stimulation event and the response of the subject's brain wave to this over time in the present embodiment.
  • a stimulus event also referred to as an alerting event or a test stimulus event
  • a simple graphic is presented to the subject one event (one sheet) at a time.
  • the brain wave of the subject who saw this is measured by an electroencephalograph with an electrode attached to the head of the subject, and the electroencephalogram is analyzed by an electroencephalogram analysis processing device such as a computer.
  • Stimulus events are symbols, illustrations, pictures, photos, etc.
  • the electroencephalogram corresponding to a plurality of stimulation events whose stimulation events change over time is schematically illustrated. Specifically, it is performed by (a) stimulus event presentation, brain wave measurement for the stimulus event, and (b) stimulus similarity evaluation processing based on brain wave data as follows.
  • a display process is also provided as appropriate by visualizing the result of the evaluation process with a diagram or the like.
  • a plurality of stimulus events related to various objects whose similarity is to be evaluated for example, one of eight figures is taught to a subject as a “target” (also referred to as a target), and sequentially presented stimulus events are the target.
  • a cognitive task for counting the number of presentations in the head is performed for each subject, and the electroencephalogram at that time is measured. Electroencephalograms from single or multiple electrodes placed on the scalp around the top of the head are measured. The measurement is performed according to the following procedure.
  • visual stimuli such as product photographs and illustrations
  • visual stimuli fruit pictures in FIG. 3
  • sensory stimuli such as auditory sense, olfactory sense, taste sense, and tactile sense instead of visual stimuli, it is also presented as time passes.
  • one of a plurality of visual stimuli (in FIG. 3, a plurality of fruit pictures) is defined as “target”, and the other stimuli are collectively referred to as “non-target”. Define.
  • targets and “non-targets” are repeatedly presented in a pseudo-random manner, each time a “target” is presented, the subject is caused to recite in the head.
  • successive stimulus presentation attempts to detect a specific target are collectively referred to as a “game”.
  • the electroencephalogram data shown in the lower part of FIG. 3 is an example of electroencephalogram data corresponding to each visual stimulus when “target” is taught as an apple and the subject is presented with the visual stimulus and counted.
  • the electroencephalogram data for the visual stimulus of the target (apple) has a larger response of the electroencephalogram than the electroencephalogram data for the visual stimulus of the non-target (banana, grape, mandarin).
  • the electroencephalogram data for the target visual stimulus out of the electroencephalogram data is often large in response to the electroencephalogram compared to the electroencephalogram data for the non-target test stimulus. ing.
  • model formulas that discriminate between “target” and “non-target” by using pattern discrimination technology (linear discriminant analysis, etc.) (Set so that the discrimination score for the target becomes high) is generated, and the discrimination score immediately after the presentation of each stimulus is calculated.
  • a cross-validation method is used to avoid duplication of model data and prediction target data.
  • FIG. 4 is a table showing the discrimination score of the electroencephalogram data for each test stimulus when the target is the stimulus type in the left column of the figure, taking a simple example of four stimulus types. For example, in the first row, when the target is banana, the discrimination score for the stimulation event banana is 4, the discrimination score for the stimulation event grape is -3, the discrimination score for the stimulation event apple is -5, and the discrimination score for the stimulation event orange The score is -4.
  • FIG. 5 is a diagram showing the result of similarity evaluation obtained by plotting.
  • discriminant model formulas generated from data of all the remaining games (first and third to eighth games) other than that game are used.
  • the discriminant model formula can be interpreted as valid if the decoding accuracy is high enough that the number of games successfully decoded in all games.
  • x is a value of electroencephalogram data (voltage) at a certain point in a certain channel.
  • the type of x includes a type (n) obtained by multiplying the number of channels (the number of channels corresponding to the number of measurement points to obtain brain wave data at a plurality of measurement points on the scalp of the subject's head) and the data point.
  • the weighting coefficient w and the constant term c for each electroencephalogram data can be obtained by linear discriminant analysis.
  • the cumulative discriminant score that adds the discriminant score for the number of stimulus presentations for each stimulus event may be obtained. Alternatively, addition averaging may be performed.
  • the physical distance between the stimuli is calculated based on the discrimination score reflecting the similarity between the stimuli.
  • the Euclidean distance is calculated, and the target stimulus type ⁇ test stimulus data array is converted into a triangular matrix.
  • the following equation (Formula 2) is a formula for calculating the Euclidean distance (ed) of the distance between the individual i and the individual j.
  • p indicates the number of test stimuli.
  • X indicates a discrimination score between the individual i and the individual j.
  • the multidimensional scale construction method is a technique for visualizing and constructing the relationship of stimulus types in a low dimension based on the Euclidean distance. Specifically, the distance in the case where a stimulus in some dimensions (d ij, correctly obtained by imparting chevron on the d) 2 sum is minimum difference between the distance (d ij) between the stimulus and Find the coordinate value so that This can be obtained from the stress value shown in the following equation (Equation 3).
  • the validity of the obtained plot can be evaluated as an explanation rate by looking at the square of the correlation of the distance calculated from the relationship between the Euclidean distance and the coordinate value calculated by the multidimensional scaling method.
  • the relationship between stimuli is visualized by a multidimensional scaling method, and the validity of similarity evaluation between stimuli based on brain information is ensured by the explanation rate.
  • FIG. 6 is a diagram showing a comparison of similarity evaluation results.
  • the Landolt ring which is often used in ophthalmological vision tests, was verified using visual stimuli. Specifically, when eight types of Landolt rings (eight types with different cut directions divided by 45 degrees) are presented to the subject over time, an object with a cut at a specific angle is defined as a “target”.
  • the experiment and data analysis were performed according to the procedure described above. As a result, it was possible to confirm that the arrangements were close to the ring structure such that the small differences in the Landolt rings were arranged close to each other. Such an arrangement is an arrangement with a probability that is unlikely to occur by chance.
  • FIG.6 (B)
  • 6A is a theoretical value corresponding to the actual measurement value of FIG. 6B.
  • the present invention is useful as a highly reliable and simple marketing survey technique that can replace the conventional questionnaire survey.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Psychiatry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Fuzzy Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　簡便な脳波計測により得られたデータを用いて、評価対象物に対する脳活動の類似度を評価する方法、装置、システム及びプログラムを提供する。複数の感覚刺激に対する認知的処理と関連した脳波データを、次元圧縮して、評価対象物の分布を二次元平面上又は三次元で表示することにより、複数の感覚刺激に対する脳情報の類似度を評価して、類似度を視覚化する。認知的処理と関連した脳波データは、刺激を標的として選択した時の脳波データ及び非標的の刺激事象により生起される脳波データを含む。

Description

脳波による類似度の評価方法、評価装置、評価システム及びプログラム
　本発明は、複数の刺激に対する類似度評価に関わる脳情報を視覚化して評価する方法、評価装置、評価システム及びプログラムに関する。
　従来、製品開発や販売戦略のために行われてきた市場調査の主要手段の一つであるアンケート調査では、回答者の意識・無意識のバイアスによって、調査結果の正確性や信頼度に問題があることが多かった。近年、消費者行動と関係した脳活動解析や脳活動に基づいたマーケティング調査法の開発が盛んになってきている。例えばｆＭＲＩという大型装置を用いた脳活動計測実験によって嗜好性やブランド意識に関する脳部位を同定したり、ブランド力による脳活動の差を調べたりした研究が知られている（非特許文献１参照）。また、最近では企業によって脳波に着目したニューロマーケティング（脳情報に基づく感性評価手法）が開始されている。
　脳波に着目した従来技術では、質問紙によって得られた快不快などの様々な感情種に対するアンケートの評定結果と脳波との相関を調べることによって、脳波の意味づけを行ってきた。この手法では脳波と各感情種との相関が高いと、ある程度、脳波から各感情の強さを推測できる一方、相関が低いと脳波から正しく感情を推測できる確率が低くなるという問題がある。また、多数の被験者のデータベースから「一般的にこのような脳波が観察される場合はこのような感情状態です」というロジックが用いられているが、たとえ正常範囲でも被験者ごとの脳波のパターンにバリエーションがあることが無視されていて、科学的に意味のあるデータ解析が行われているかどうか疑問である。さらに、そもそも質問紙でわかる情報をあえて脳波から引き出す意味合いも明確でない。
　そこで本発明の研究グループでは、被験者の主観的バイアスを極力排除した感性評価を行うことを目指した脳情報解析手法に関する研究開発を進めてきた。その成果の一つとして、単純に様々な刺激を連続的に提示している際の脳波の反応（電位変化の振幅データ）の違いをもとにした次元圧縮技術を提案した（特許文献１参照）。特許文献１では、複数の感覚刺激（言語的刺激を含む）に対する複数測定箇所から得られる多チャンネルの脳波データを次元圧縮して、刺激の分布を二次元平面上に表示することにより、距離の近い刺激は遠い刺激に比べて脳活動が類似していることを表示することを特徴とする、脳情報を視覚化する表示方法を提案した。
　また、本発明者らは、脳活動の解析により意思を伝達できる意思伝達支援装置及び方法を開発してきた（特許文献２、３参照）。特許文献２では、刺激提示後の脳波を計測した脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを提案した。また、特許文献３では、刺激提示後の脳波データを解析して、認知課題である「メッセージの構成要素」の１試行ごとの意思決定に係わる脳内処理過程を推定する関数を用いて、特定の意思決定が脳内でなされたと判断し、メッセージの組み合わせにより意思伝達を支援する技術を提案した。特許文献２、３の技術により、例えば、発話や書字の困難な運動障害者、手足等による各種機器の入力操作が困難な重度の運動障害者のために、意思伝達を支援できる。
　また、本発明者は、脳波解析により、調査対象物を序列化する装置及び方法を提案した（特許文献４参照）。
特開２０１０－２７４０３５号公報 特開２０１２－０５３６５６号公報 特開２０１２－０７３３２９号公報 特開２０１３－１７８６０１号公報
ＭｃＣｌｕｒｅ　ＳＭ，Ｌｉ　Ｊ，Ｔｏｍｌｉｎ　Ｄ，Ｃｙｐｅｒｔ　ＫＳ，Ｍｏｎｙａｇｕｅ　ＬＭ，Ｍｏｎｔａｇｕｅ　ＰＲ．"Ｎｅｕｒａｌ　Ｃｏｒｒｅｌａｔｅｓ　ｏｆ　Ｂｅｈａｖｉｏｒａｌ　Ｐｒｅｆｅｒｅｎｃｅ　ｆｏｒ　Ｃｕｌｔｕｒａｌｌｙ　Ｆａｍｉｌｉａｒ　Ｄｒｉｎｋｓ"　Ｎｅｕｒｏｎ　４４，ｐ３７９－３８７，２００４
　マーケティング調査方法として、回答者の意識無意識のバイアスのかからない方法で、より直接的に回答者の思考および感性を把握して消費者行動を予測できる指標が必要である。その点で期待できる脳活動に基づいたマーケティング調査方法を実施するには、従来、次のような問題があった。脳活動を機能的ＭＲＩ（ｆＭＲＩ）等の装置を使って調べる方法では、大型実験施設を要する上に、被験者はｆＭＲＩの装置内に頭部を固定されて計測されるので苦痛を伴うと共に、調査対象の製品を見せるために装置に特別な工夫をしなければならない。これに対して、頭皮上脳波を計測することは、侵襲的操作も必要なく、かつ大型実験施設を使用することもなく、簡便に脳活動を計測できる。しかしながら、脳活動を計測したデータと被験者行動との関係性が詳しく知られていないので、脳波の活動パターンからは、具体的な脳内情報を解読することが難しいという問題があった。
　本発明者らが提案した特許文献１の解析法では、被験者が受動的に刺激を受容している際の脳情報を対象としているために、被験者が能動的に刺激を受容している際の脳情報に関しては評価の対象外であるという問題がある。
　本発明者らは、被験者が能動的に刺激を受容している際の脳情報を評価の対象とする研究を進めてきた。
　本発明者らは、被験者に提示する複数種の刺激の一つを判別する必要がある認知課題（頭の中で「選ぶ」か「選ばない」かの判断が必要な認知課題をいう。）を用いて、能動的に刺激を受容する際の脳情報を含む脳波データを取得するシステムを構築した。このような脳波データに対する最初の試みとして、対象となる各刺激がそれぞれ脳内で他の刺激から区別されて選ばれた際の、脳波の反応の強さを、判別分析等の結果の指標によって比較し、一義的に序列化するシステムを開発した（特許文献４参照）。
　特許文献４のシステムは、潜在意識の活動を含む主観的バイアスの少ない脳情報を評価する際に、非常に強力なツールとなると、本発明者らは考えた。しかしながら、解析結果は、あくまで「脳の関心度」が最も強い刺激の特定、あるいは一次元的な定量データ（順序データとしても解釈可能）に限定されており、特許文献４の技術では、特許文献１のように全刺激の類似性を地図的に概観することが不可能である。また、特許文献４の技術では、「選んだ」時の脳波データに対するものに限定されているために、「選ばれない」時の脳波データに含まれている脳情報は活用されないままであった。
　本発明は、これらの問題を解決しようとするものであり、簡便な脳波計測により得られたデータを用いて、脳波による刺激類似度を評価する装置、方法、システム及びプログラムを提供することを目的とする。また、本発明は、脳内情報を視覚化することを目的とするものである。
　本発明は、前記目的を達成するために、以下の特徴を有する。
　本発明の評価方法は、複数の感覚刺激に対する認知的処理と関連した脳波データを、次元圧縮して、前記刺激の分布を二次元平面上又は三次元で表示することにより、複数の感覚刺激に対する脳情報の類似度を評価することを特徴とする。前記認知的処理と関連した脳波データは、刺激を標的として選択した時の脳波データ及び非標的の刺激事象により生起される脳波データを含むことを特徴とする。前記次元圧縮は、多変量解析法の組み合わせによることを特徴とする。
　本発明の脳情報の類似度の評価装置は、刺激提示手段と、脳波測定手段と、脳波データに基づき刺激の類似度を評価する評価処理手段とを備え、前記刺激提示手段は、複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示し、前記脳波測定手段は、前記刺激提示手段による刺激提示直後の脳波を計測し、前記評価処理手段は、複数の感覚刺激に対する認知課題を遂行中の脳波データを、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする。
　本発明の脳情報の類似度の評価システムは、複数の感覚刺激に対する認知的処理と関連した脳波を計測して脳波データを得て、該脳波データに対して、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする。
　本発明のプログラムは、コンピューターを、複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示する刺激提示手段と、前記刺激提示手段により提示される複数の感覚刺激に対する認知課題を遂行中の脳波データを、複数の多変量解析法により次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示する、前記脳波データに基づき刺激の類似度を評価する評価処理手段と、評価結果を提示する提示手段として機能させるためのプログラムである。
　本発明は、認知課題を遂行中という、被験者が能動的に刺激を受容している際の脳情報に関しても評価をするので、信頼性の高い結果が得られた。本発明では、認知的処理に伴う脳波データを、次元圧縮して、前記刺激の分布を二次元平面上に表示することにより、距離の近い刺激は遠い刺激に比べて脳活動が類似していることを表示することができる。即ち、表示された刺激間の距離により、刺激に対する脳内情報の類似度を評価することができる。
　本発明によれば、脳波により非侵襲的に被験者の脳活動を計測するので、簡便に脳内の情報が視覚化できる。また、脳活動を直接計測するので、意識的なバイアスの影響を受けやすいアンケート調査に比べて、信頼性が高い。また、脳活動を直接計測するので、従来のアンケート調査では測定困難な無意識的な印象や感性情報等を、視覚化することができる。また、従来は複雑すぎて意味化できなかった脳活動のデータを、認知課題を遂行中の脳波データを分析して、多次元から次元圧縮して二次元で表示するものである。二次元で表示して、地図上の距離が、近いオブジェクトは脳内では「似ている」と判断され、離れているオブジェクトは脳内で「異なっている」と判断されていることが分かったことにより、脳内の情報が視覚化できたものである。さらに、被験者のグループごとの平均したデータを視覚化できるので、新製品の開発のアンケート調査に代わってマーケティング調査に用いることができる。
本発明の装置を示す概略図。 第１の実施の形態における脳波計測装置を説明する概略図。 第１の実施の形態の刺激提示手段及び脳波データを模式的に示す図。 第1の実施の形態を説明するための図で、脳波の強さを判別得点で表示した図。 第１の実施の形態における脳波データの判別得点による類似度評価結果を表す図。 第１の実施の形態における類似度の評価結果を説明するための理論値（Ａ）及び実測値（Ｂ）を示す図。
　本発明の実施形態について以下説明する。
　本発明の実施の形態は、脳波を解析することにより、複数の刺激に対する類似度評価に関わる脳情報を視覚化することを実現するものである。より具体的には、本発明の実施の形態は、頭皮上から非侵襲的に計測された多チャンネル等の脳波データに多変量解析を行うことによって、複数の刺激（商品などの視覚刺激）の類似度に対する脳情報を低次元構造として視覚化する技術である。
　上述のように、特許文献４の技術では、「選んだ」時の脳波データに対するものに限定されているために、「選ばれない」時の脳波データに含まれている脳情報は活用されないままであった。本発明者らは、「選ばれない」時の脳波データの特徴を解析することによって「選んだ」刺激との類似度の情報が含まれている可能性があることに着目して、本発明を開発した。
　本発明の実施の形態では、複数の刺激間の比較において、序列化よりも、類似度の全体像を把握する上で役立つ次元圧縮による技術を用いて、「選ぶとき」と「選ばないとき」の両方のデータを対象とし、脳情報を視覚化することで、以下のような脳波による刺激類似度評価システムを実現するものである。
　即ち、本発明の実施の形態は、認知的処理に伴う脳波データに含まれる、複数刺激に対する類似度評価に関わる脳情報を視覚化することができるシステムである。ここで、複数の感覚刺激に対する、認知的処理に伴う脳波データ、又は認知的処理と関連した脳波データとは、例えば、連続的に呈示される感覚刺激において標的となる感覚刺激をカウントするときに生じる脳波のことである。視覚化の手段として、複数の多変量解析を用いる。複数の多変量解析とは、判別分析などのパターン識別の結果として参照できる得点に着目し、多次元尺度構成法のような次元圧縮技術により、低次元空間での視覚化をすることをいう。多変量解析の組み合わせの例として、判別分析などのパターン識別の結果として参照できる得点に着目し、クラスター分析によって、刺激を類似のグループに振り分ける手法等が挙げられる。ここで物理的な特徴が計算される場合、理論値（例えば実施の形態で示す円環配置）との一致、不一致を評価することができる。
　従来技術の特許文献１における「脳情報地図」は、認知的処理を必要としない（そもそも認知課題遂行中でない）受動的な刺激提示に対する（提示の）視覚誘発電位に対する反応に着目しているので、物理的な特性の違い（類似度）を反映した「地図」ができる。一方、本発明の実施の形態では、被験者が能動的に注意を向ける際の認知的処理を反映した脳波（事象関連電位）に着目しているので、主に主観的な違い（類似度）を反映した分布図ができると考えられる。
　また、従来技術の特許文献１におけるデータ解析では、受動的に提示するすべての刺激を同等に扱って解析しているのに対して、本実施の形態では、認知課題のゲームごとにデータを分けている。データの扱い方には、各ゲームにおいて標的となった刺激に対するデータだけを集めてくるか、標的とそれ以外（非標的を全てまとめた平均）のデータを扱う方法がある。本実施の形態では、ゲームごとにデータをグループ化するが、標的だけでなく非標的も扱い、かつそれら区分なくすべての種類をグループ内では同等に扱うことで、ある刺激が標的になったときに、標的と思い違えて少し反応が高まる非標的の変動も、類似性のデータとして解析の対象にしている。このような変動の特性を、標的が異なるゲームのデータ分を扱うことにより、多面的に刺激種間の類似性のデータを効率よく得ることができる。
　本発明の実施の形態は、脳活動、特に頭皮上で記録することができ、刺激入力によって誘発される認知的処理を反映した脳波成分（事象関連電位）に着目して、複数の刺激事象の提示に対する脳の反応性を分析することにより、複数の刺激事象の類似度を評価するものである。本発明で着目する事象関連電位は、外的または内的事象の発生タイミングと連動して生じる一過性の脳波であり、Ｐ３００（刺激提示後３００ミリ秒後に強まる陽性の電位変化。）などがある。刺激事象として、複数の評価対象物に係る物理的感覚刺激（視覚、聴覚、臭覚、味覚、触覚等の感覚刺激）や言語的刺激が挙げられる。本発明では、物理的感覚刺激（視覚、聴覚、臭覚、味覚、触覚等の感覚刺激）や言語的刺激を総称して感覚刺激と呼ぶ。本発明は、具体的には、主として、刺激事象提示、脳波計測、脳波データ解析による評価処理、評価結果の提示の要素を含む。より具体的には、本発明の実施の形態の装置は、脳波計測用ヘッドギアと、データ解析用のコンピューターと、刺激提示用装置（例えば表示画面）とを備える。
（第１の実施の形態）
　本実施の形態を、図を参照して以下説明する。図１は、本実施の形態による装置及び方法を模式的に示す図である。図１の被験者への刺激提示１で図示されるように、刺激提示用の表示画面を被験者に見せて、被験者の頭皮上脳波を脳波計（図中、脳波アンプ４）により計測記録する。被験者は、脳波を測定するための脳波計電極３を頭に装着する。例えば、脳波計電極を固定した頭部装着装置を用いる。表示画面（モニター）に様々な視覚刺激を提示して、脳波計により脳波生波形のデータを得る。脳波生波形のデータをコンピューター６等の処理装置で解析処理して、刺激の類似度の脳内情報を評価した結果を表示画面等で示す。図１において、脳波電極の位置する頭部から脳波アンプ４に、そして、脳波アンプ４からコンピューター６に、太い矢印を図示したが、これは有線又は無線により信号が伝達されることを模式的に図示したものである。
　図２は、本実施の形態で使用する脳波計電極を固定した頭部装着部材（ヘッドギア）の例である。ヘッドギアは、ヘッドギアに固定保持される脳波計測用電極と、該電極と脳波計本体部とを電気的に接続する配線と、測定した脳波データを送信するための無線送信部とを備えている。
　本実施の形態では、注意の高まりを反映した脳波の計測に有効な頭頂部を中心として、頭皮上に設置した単一もしくは複数の電極からの脳波を計測する。
　図３は、本実施の形態における、刺激事象の提示と、これに対する被験者の脳波の反応とを、時間経過と共に模式的に示す図である。図３に示すように、刺激事象（注意喚起事象、テスト刺激事象ともいう。）、例えば簡単な図形を１事象（１枚）ずつ被験者に提示する。これを見た被験者の脳波を被験者の頭部に電極を装着した脳波計により計測し、該脳波をコンピューター等の脳波解析処理装置により解析する。
　刺激事象は、記号、イラスト、絵、写真などである。図３の下部には、本実施形態を説明するために、時間経過につれて刺激事象が変化するような複数の刺激事象に対応する脳波を、模式的に図示した。具体的には、次のように、（ａ）刺激事象提示と該刺激事象に対する脳波測定と、（ｂ）脳波データに基づく刺激類似度の評価処理とにより実施する。評価処理の結果を図などで視覚化して示す表示処理も適宜備える。
（ａ）　刺激事象提示と該刺激事象に対する脳波測定
　類似度を評価したい様々なオブジェクトに係る複数の刺激事象、例えば８個の図形のうち、１つを「標的」（ターゲットとも呼ぶ。）として被験者に教示し、順次提示される刺激事象が当該標的であれば頭の中でその提示回数を数える認知課題を、各被験者に実施して、その際の脳波を計測する。頭頂部を中心にして頭皮上に設置した単一もしくは複数の電極からの脳波を計測する。計測は、次の手順で行う。
（１）　複数の評価対象物に関わる視覚刺激（製品の写真やイラストなどの視覚刺激）を被験者に提示する。例えば、連続的に、視覚刺激（図３では果物の絵）を、紙芝居のように擬似ランダムな順番で、コンピューターの表示画面等に提示する（図３参照）。なお、視覚刺激ではなく、聴覚、臭覚、味覚、触覚等の感覚刺激の場合も、同様に時間経過と共に提示する。
（２）　その際、複数の視覚刺激のうちの一つ（図３では、複数の果物の絵）を「標的」と定義し、それ以外の刺激はまとめて「非標的（ノンターゲット）」と定義する。これらの「標的」及び「非標的」を擬似ランダムに繰り返し提示している際、「標的」が提示されるたびに被験者に頭のなかで数唱させる。本発明では、ある特定の標的を検出する連続的な刺激提示の試行をまとめて「ゲーム」と呼ぶ。
（３）　短い休憩を挟んだ後、別ゲーム、つまり「標的」とする刺激事象の教示を順次変えた状態で、上記（２）を実行する。これを繰り返して、複数の視覚刺激の全てについて「標的」として実施する。例えば８種の視覚刺激（果物）で実施する場合、合計８ゲーム実施する。このように、標的を次々に変えてゲームを行い、全刺激を標的として提示する。通常、８種類の刺激があると８ゲーム実施することになり、全ゲーム（１セッション）を行う。
　上記（２）と（３）についてさらに詳しく説明する。例えば、１回目の「標的」をバナナ、２回目の「標的」をブドウ、３回目の「標的」をリンゴ、４回目の「標的」をみかん、というように、全種類について、標的とした場合の脳波データと、標的としない場合の脳波データを得る。図３の下部に示した脳波データは、「標的」をリンゴと教示して被験者に視覚刺激を見せてカウントさせた時の、各視覚刺激に対応する脳波データの例である。図３に模式的に示したように、標的（リンゴ）の視覚刺激に対する脳波データは、非標的（バナナ、ブドウ、ミカン）の視覚刺激に対する脳波データと比べ、脳波の反応が大となる。同様に、他の標的を教示した場合においても、脳波データのうち、標的の視覚刺激に対する脳波データは、非標的のテスト刺激に対する脳波データと比べると、脳波の反応が多くの場合、大となっている。
（ｂ）　脳波データに基づく刺激類似度の評価処理
（１）　脳波測定のセッション（ａ）の終了後、課題遂行中の脳波データに対し、まず、パターン識別技術（線形判別分析など）を用い、「標的」と「非標的」を識別するモデル式（標的に対する判別得点が高くなるように設定）を生成し、各刺激の提示直後に対する判別得点を算出する。その際、モデルデータと予測対象データとの重複を避けるために、交差検証法を用いる。
　図４は、標的を図の左欄の刺激種にしたときの、各テスト刺激に対する脳波データの判別得点を、簡略的に４個の刺激種を例にとって、表にしたものである。例えば、１行目には、標的をバナナとした場合の、刺激事象バナナに対する判別得点は４、刺激事象ブドウに対する判別得点は－３、刺激事象リンゴに対する判別得点は－５、刺激事象ミカンに対する判別得点は－４であることを示している。
（２）　得られた判別得点を刺激種ごと（「標的」と「非標的」の両方を含む）に平均した結果をまとめたデータ配列（刺激種×ゲーム数）を元に、刺激間の判別得点の差をユークリッド距離として示した三角行列を計算する
（３）　計算で得られた三角行列を元に、多変量解析（多次元尺度構成法や主成分分析など）を適用し、２次元もしくは３次元座標上に各刺激種をプロットする。図５は、プロットして得られた類似度評価の結果を示す図である。
　以下数式を用いて詳細に説明する。
（ｂ－１）　判別モデル式生成のためのデータの分割
　本実施の形態では、以下に示す交差検証法を用いてデータを分割した後、判別モデル式を生成し、「標的」解読の成否判断を行う。まず、解読成否の判断を行う当該ゲーム（例えば第１ゲーム）以外の残りのゲーム（第２～８ゲーム）において「標的」もしくは「非標的」としてテスト刺激が提示された時の脳波データから判別モデル式を作成後、当該ゲーム（第１ゲーム）における各刺激事象に対して、判別得点を算出し、上述した解読成否の判断を行う。別のゲーム（例えば第２ゲーム）での解読成否の判断にはそのゲームを除く残り全てのゲーム（第１および第３～８ゲーム）のデータから生成した判別モデル式を用いる。このように、判別対象となるデータをモデル式の生成過程から除外することによって解読成否の判断における過大評価を避けることができる。また、交差検証法を用いても、全ゲーム中、何ゲームで解読を成功したかという解読精度が十分高い場合は、判別モデル式が妥当であると解釈できる。
（ｂ－２）　判別得点の求め方
　例えば、次式で表される線形判別関数によって各画像（視覚刺激）提示１回分に対する判別得点（ｙ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　ｙの式において、ｘは、あるチャンネルのある時点における脳波データ（電圧）の値である。ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイントを掛け合わせた種類（ｎ）が存在する。各脳波データに対する重みづけ係数ｗと定数項ｃは線形判別分析によって求めることが可能である。
　刺激事象ごとに刺激提示回数分、判別得点を加算する累積判別得点を求めてもよい。または加算平均を行っても良い。
（ｂ－３）　得られた判別得点を刺激種ごと（「標的」と「非標的」の両方を含む）に平均した結果を、標的となる刺激種×テスト刺激のデータ配列としてまとめる（図４参照）。各ゲームにおける判別得点は、標的刺激に対する脳波と類似しているほど値が大きくなるため、非標的刺激であったとしても標的刺激に対する脳波と類似している場合は、判別得点の値が大きくなる。したがって、ここでの判別得点が刺激種間の類似度を反映する。
（ｂ－４）　本実施形態では、次元圧縮技術を適用するため、刺激間の類似度を反映した判別得点をもとに刺激間の物理的距離を算出する。具体的には、ユークリッド距離を算出し、標的となる刺激種×テスト刺激のデータ配列を三角行列に変換する。下記の式（数２）は、個体ｉと個体ｊの距離のユークリッド距離（ｅｄ）を算出するための公式である。ｐは、テスト刺激の数を示す。Ｘは、個体ｉと個体ｊの判別得点を示している。
Figure JPOXMLDOC01-appb-M000002
（ｂ－５）　得られた三角行列をもとに多次元尺度構成法や主成分分析などの多変量解析法を用いて、次元座標に各刺激種をプロットする。多次元尺度構成法は、ユークリッド距離をもとに、刺激種の関係性を低次元で構成し、視覚化する手法である。具体的には、ある次元において刺激を配置した場合の距離（ｄij、正しくはｄの上に山形記号を付与したもの）と刺激間の距離（ｄij）との差の２乗和が最小になるように座標値をもとめる。これは下記の式（数３）に示すストレス値によって求めることができる。さらに、ユークリッド距離と、多次元尺度構成法によって算出された座標値の関係から算出した距離の相関の２乗をみることにより、説明率として、得られたプロットの妥当性を評価できる。本実施の形態は、多次元尺度構成法による刺激間の関係性の可視化を実施し、説明率によって、脳情報に基づく刺激間類似度評価の妥当性を担保するものである。
Figure JPOXMLDOC01-appb-M000003
（ｂ－６）　類似度評価を表示
　二次元圧縮後のデータを、二次元平面上にプロットする。評価対象物ごとにプロットすると、二次元平面上に、各評価対象物の点がプロットされ、これにより複数の評価対象物が分布した二次元分布図（脳情報地図）を作成できる（図５参照）。
　本発明の実施の形態にかかる類似度評価の有効性を次に示す。図６は、類似度評価結果の比較を示す図である。眼科の視力検査の際によく使われるランドルト環を視覚刺激として用いて検証した。具体的には、８種類のランドルト環（切り口の方向が４５度区切りで異なる８種類）を被験者に継時的に提示する際、ある特定の角度に切り口があるものを「標的」と定義し、上述したような手順で実験及びデータ解析を行った。その結果、ランドルト環の角度差が小さいもの同士が近くに配置するような、円環構造に近い配置になることを確認することができた。このような配置は偶然には極めて起こりにくい確率の配置である。さらに、図６（Ｂ）に、被験者７人の各刺激に対する判別得点の平均値に基づく解析結果を示す。ランドルト環を用いた刺激系列の場合には、ランドルト環同士の切れ目の角度差をユークリッド距離に変換した場合の解析の可能である。実際、その結果が、円環構造になることから、外界の物理的情報を比較的正確に脳内でも表象していることが証明された。なお、図６（Ａ）は、図６（Ｂ）の実測値に対応する理論値である。
　上述した有効性は、ランドルト環のような物理的な視覚刺激で検証したが、実際に対象とする視覚刺激となる製品には、物理的な特徴に限らず、顕在意識や潜在意識に影響を及ぼす心理的な特徴が含まれている。本発明の類似度評価処理は、顕在意識及び潜在意識を含めた類似度評価に役立つことが明らかである。
　上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
　本発明は、従来のアンケート調査に代わる信頼性の高い簡便なマーケティング調査手法として有用である。
　１　　　被験者への刺激提示
　３　　　被験者の脳波計電極
　４　　　脳波アンプ
　６　　　コンピューター

 

Claims (6)

  1. 　複数の感覚刺激に対する認知的処理と関連した脳波データを、次元圧縮して、前記刺激の分布を二次元平面上又は三次元で表示することにより、複数の感覚刺激に対する脳情報の類似度を評価することを特徴とする評価方法。
  2. 　前記認知的処理と関連した脳波データは、刺激を標的として選択した時の脳波データ及び非標的の刺激事象により生起される脳波データを含むことを特徴とする請求項１記載の評価方法。
  3. 　前記次元圧縮は、多変量解析法の組み合わせによることを特徴とする請求項１記載の評価方法。
  4. 　刺激提示手段と、脳波測定手段と、脳波データに基づき刺激の類似度を評価する評価処理手段とを備え、
    　前記刺激提示手段は、複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示し、
    　前記脳波測定手段は、前記刺激提示手段による刺激提示直後の脳波を計測し、
    　前記評価処理手段は、複数の感覚刺激に対する認知課題を遂行中の脳波データを、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする脳情報の類似度の評価装置。
  5. 　複数の感覚刺激に対する認知的処理と関連した脳波を計測して脳波データを得て、該脳波データに対して、多変量解析法の組み合わせにより次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示することを特徴とする脳情報の類似度の評価システム。
  6. 　コンピューターを、
    　複数の感覚刺激を、標的及び非標的からなる複数の刺激事象として、それぞれ複数回提示する刺激提示手段と、前記刺激提示手段により提示される複数の感覚刺激に対する認知課題を遂行中の脳波データを、複数の多変量解析法により次元圧縮を行って、二次元平面上又は三次元に前記刺激に対応する点を表示する、前記脳波データに基づき刺激の類似度を評価する評価処理手段と、評価結果を提示する提示手段として機能させるためのプログラム。

     
PCT/JP2015/082101 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム WO2016080341A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016560207A JP6472144B2 (ja) 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
US15/527,144 US10786173B2 (en) 2014-11-17 2015-11-16 Similarity evaluation method using brain waves, evaluation device, evaluation system, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014232786 2014-11-17
JP2014-232786 2014-11-17

Publications (1)

Publication Number Publication Date
WO2016080341A1 true WO2016080341A1 (ja) 2016-05-26

Family

ID=56013878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082101 WO2016080341A1 (ja) 2014-11-17 2015-11-16 脳波による類似度の評価方法、評価装置、評価システム及びプログラム

Country Status (3)

Country Link
US (1) US10786173B2 (ja)
JP (1) JP6472144B2 (ja)
WO (1) WO2016080341A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品
JP2019096977A (ja) * 2017-11-21 2019-06-20 富士通株式会社 可視化方法、可視化装置及び可視化プログラム
US10786173B2 (en) 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784690A (zh) * 2018-06-19 2018-11-13 苏州修普诺斯医疗器械有限公司 移动脑电信号传输系统及信号传输方法
US11157081B1 (en) 2020-07-28 2021-10-26 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for user interfacing in display glasses
CN112315471A (zh) * 2020-10-22 2021-02-05 垒途智能教科技术研究院江苏有限公司 基于智能迷宫的大脑训练评价系统及其评价方法
TWI802908B (zh) * 2021-06-15 2023-05-21 南開科技大學 提供作答建議的輔助分析系統及其方法
CN114190954A (zh) * 2021-12-23 2022-03-18 宁波大学医学院附属医院 一种患者认知功能评估方法及系统
CN114469136B (zh) * 2022-02-14 2023-09-22 中南大学 一种热舒适度评价方法、系统及可存储介质
WO2024121115A1 (en) * 2022-12-06 2024-06-13 Stichting Radboud Universiteit Processing of event-evoked physiological signals
CN118411008B (zh) * 2024-07-04 2024-10-29 上海华模科技有限公司 一种飞行员训练心理情绪同步管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5799945A (en) * 1980-12-12 1982-06-21 Kogyo Gijutsuin Brain wave shape relation display apparatus
JP2000254239A (ja) * 1999-03-08 2000-09-19 Apollo Mec:Kk 磁気治療器
JP2004342119A (ja) * 2004-06-11 2004-12-02 Kenji Mimura 商品デザイン評価方法
JP2010274035A (ja) * 2009-06-01 2010-12-09 National Institute Of Advanced Industrial Science & Technology 脳情報を表示する地図、作成方法及び該地図の使用方法
JP2011104340A (ja) * 2009-10-23 2011-06-02 Tottori Univ 生体信号解析装置、生体信号解析方法、生体信号解析プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7647098B2 (en) * 2005-10-31 2010-01-12 New York University System and method for prediction of cognitive decline
DE102005061326A1 (de) 2005-12-20 2007-06-21 Basell Polyolefine Gmbh Verfahren zur Herstellung von Metallocenen aus recycelten, substituierten Cyclopentadienylderivaten
NZ627239A (en) * 2008-03-26 2015-12-24 Theranos Inc Methods and systems for assessing clinical outcomes
GB0906029D0 (en) * 2009-04-07 2009-05-20 Nat Univ Ireland Cork A method of analysing an electroencephalogram (EEG) signal
CN102804809B (zh) * 2010-02-23 2015-08-19 皇家飞利浦电子股份有限公司 音频源定位
JP5544620B2 (ja) 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
JP5472746B2 (ja) 2010-09-28 2014-04-16 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
JP6146760B2 (ja) * 2012-02-28 2017-06-14 国立研究開発法人産業技術総合研究所 序列化装置、序列化方法及びプログラム
BR112015007002B1 (pt) * 2012-09-28 2022-10-18 The Regents Of The University Of California Método e sistema para fornecer avaliação cognitiva ou sensorial de um indivíduo
WO2016080341A1 (ja) 2014-11-17 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による類似度の評価方法、評価装置、評価システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5799945A (en) * 1980-12-12 1982-06-21 Kogyo Gijutsuin Brain wave shape relation display apparatus
JP2000254239A (ja) * 1999-03-08 2000-09-19 Apollo Mec:Kk 磁気治療器
JP2004342119A (ja) * 2004-06-11 2004-12-02 Kenji Mimura 商品デザイン評価方法
JP2010274035A (ja) * 2009-06-01 2010-12-09 National Institute Of Advanced Industrial Science & Technology 脳情報を表示する地図、作成方法及び該地図の使用方法
JP2011104340A (ja) * 2009-10-23 2011-06-02 Tottori Univ 生体信号解析装置、生体信号解析方法、生体信号解析プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10786173B2 (en) 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program
JP2019096977A (ja) * 2017-11-21 2019-06-20 富士通株式会社 可視化方法、可視化装置及び可視化プログラム
JP7062923B2 (ja) 2017-11-21 2022-05-09 富士通株式会社 可視化方法、可視化装置及び可視化プログラム
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品

Also Published As

Publication number Publication date
US20170340230A1 (en) 2017-11-30
JPWO2016080341A1 (ja) 2017-09-28
JP6472144B2 (ja) 2019-02-20
US10786173B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6472144B2 (ja) 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
JP6146760B2 (ja) 序列化装置、序列化方法及びプログラム
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Fritz et al. Using psycho-physiological measures to assess task difficulty in software development
Wang et al. Prediction of product design decision Making: An investigation of eye movements and EEG features
Nourbakhsh et al. GSR and blink features for cognitive load classification
JP6404239B2 (ja) 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム
Zhu et al. Detecting emotional reactions to videos of depression
US20170112427A1 (en) Multimodal health assessment with neuro-opthalmological saccade tests
JP5414039B2 (ja) 脳情報の表示方法及び装置
Torres et al. Emotion recognition related to stock trading using machine learning algorithms with feature selection
Samima et al. EEG-based mental workload estimation
Jamal et al. Integration of EEG and eye tracking technology: a systematic review
Sabio et al. A scoping review on the use of consumer-grade EEG devices for research
Wang et al. A CNN-based personalized system for attention detection in wayfinding tasks
JP6628341B2 (ja) 意思解読装置及び意思伝達支援装置
Takada et al. Human error prediction using heart rate variability and electroencephalography
Buettner et al. Machine Learning Based Diagnostics of Developmental Coordination Disorder using Electroencephalographic Data
Ivanitsky Individual stable patterns of human brain rhythms as a reflection of mental processes
Sturgess et al. Validating IMPACT: A new cognitive test battery for defence
Mir et al. Assessing neural markers of attention during exposure to construction noise using machine learning classification of electroencephalogram data
AU2021102774A4 (en) A system and a method for assessing mental ability of a user using an electroencephalogram
Conley Learning User Experience Design (LUX): Adding the “L” to UX research using biometric sensors
Camilleri et al. Assessing Task Difficulty in Software Testing using Biometric Measures
Wölfel et al. Identification of Unreliable Data in in-VR Surveys using Biosignal Sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15860098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016560207

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15527144

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15860098

Country of ref document: EP

Kind code of ref document: A1