JP6125670B2 - 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム - Google Patents
収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム Download PDFInfo
- Publication number
- JP6125670B2 JP6125670B2 JP2015557986A JP2015557986A JP6125670B2 JP 6125670 B2 JP6125670 B2 JP 6125670B2 JP 2015557986 A JP2015557986 A JP 2015557986A JP 2015557986 A JP2015557986 A JP 2015557986A JP 6125670 B2 JP6125670 B2 JP 6125670B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- brain
- stimulus
- mental
- bci
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002123 temporal effect Effects 0.000 title claims description 87
- 210000004556 brain Anatomy 0.000 claims description 226
- 230000007177 brain activity Effects 0.000 claims description 159
- 230000003340 mental effect Effects 0.000 claims description 150
- 238000000034 method Methods 0.000 claims description 81
- 230000004044 response Effects 0.000 claims description 58
- 230000000694 effects Effects 0.000 claims description 53
- 230000000007 visual effect Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 47
- 238000005259 measurement Methods 0.000 claims description 38
- 230000001953 sensory effect Effects 0.000 claims description 24
- 238000003909 pattern recognition Methods 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 210000000977 primary visual cortex Anatomy 0.000 claims description 14
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000000638 stimulation Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004497 NIR spectroscopy Methods 0.000 claims description 6
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000000537 electroencephalography Methods 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 20
- 238000002610 neuroimaging Methods 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 210000003127 knee Anatomy 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000002595 magnetic resonance imaging Methods 0.000 description 13
- 238000002582 magnetoencephalography Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 210000003710 cerebral cortex Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000001054 cortical effect Effects 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 238000010183 spectrum analysis Methods 0.000 description 8
- 230000001149 cognitive effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 210000004761 scalp Anatomy 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000001328 optic nerve Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000002207 retinal effect Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 241000272201 Columbiformes Species 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 4
- 210000001652 frontal lobe Anatomy 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009552 doppler ultrasonography Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 210000001152 parietal lobe Anatomy 0.000 description 3
- 210000000976 primary motor cortex Anatomy 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 235000019615 sensations Nutrition 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 210000000857 visual cortex Anatomy 0.000 description 3
- 241000270322 Lepidosauria Species 0.000 description 2
- 206010029897 Obsessive thoughts Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 210000004092 somatosensory cortex Anatomy 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000012377 Salvia columbariae var. columbariae Nutrition 0.000 description 1
- 240000005481 Salvia hispanica Species 0.000 description 1
- 235000001498 Salvia hispanica Nutrition 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000014167 chia Nutrition 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 235000019645 odor Nutrition 0.000 description 1
- 210000003977 optic chiasm Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000287 tissue oxygenation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0475—Special features of memory means, e.g. removable memory cards
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
Description
実施例1は、ユーザーに供給する刺激のライブラリと、前記刺激のライブラリから前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するデータ収集装置と、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて前記ユーザーの脳シグネチャを識別し、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザーの前記脳シグネチャに基づいて、プロセッサ制御機能を実行する処理装置と、を備える構成(例えばデバイス、装置、クライアントまたはシステム)を含んでよい。
実施例10は実施例1〜9のいずれか1以上の構成を任意に含んでよい。前記処理装置は、ユーザーの左目および右目のそれぞれについて左半視野および右半視野を再現する心的デスクトップを作成する。前記処理装置は更に、それぞれの目を上方区画と下方区画とに分離し、ここで前記心的デスクトップは、前記ユーザーの視野において情報が割り当てられた8つの領域を備える。前記処理装置は、前記心的デスクトップの領域の心的視覚化を検出し、心的に視覚化された前記領域に割り当てられた前記情報に従って機能を実行する。
Claims (14)
- ユーザーに刺激を供給するステップと、
前記刺激を前記ユーザーに供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集するステップと、
収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付けて、ユーザー脳シグネチャを識別するステップと、
収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンの相互関連付けによって識別された前記ユーザー脳シグネチャに基づいて、プロセッサ制御機能を実行するステップと、
を備える、脳‐コンピューターインターフェース(BCI)を提供する方法であって、
ユーザーに脳モニタ装置を提供するステップと、
前記ユーザーに前記刺激に関連する一連の経験を経験させるステップと、
を更に含み、
収集された前記時間的パターンおよび空間的パターンを相互に関連付ける前記ステップは、
収集された空間的および時間的な脳活動パターンを特徴づけて、前記ユーザー脳シグネチャを特定するステップ、
を含み、
収集された空間的および時間的な脳活動パターンを特徴づけて、前記ユーザー脳シグネチャを特定する前記ステップは、
刺激に応じて記録された脳活動パターンを前記刺激に関連する特徴的な心的プロファイルに変換するステップと、
各個人について前記刺激に対する心的プロファイルをデータベースに保持するステップと、
個人データおよび特性を前記心的プロファイルに組み込むステップと、
前記ユーザーの前記刺激に応じた前記心的プロファイルと他のユーザーの前記刺激に関連する少なくとも1つの心的プロファイルとの心的マッチを識別するステップと、
心的マッチの確率的またはパーセンテージスコアを提供するステップと、
を含む、方法。 - プロセッサ制御機能を実行する前記ステップは、更に、
前記ユーザー脳シグネチャに基づいて、前記ユーザーの特徴的な心的プロファイルを構築するステップと、
心的嗜好および人格特性のモデルを確立するステップと、
確立された前記モデルを用いて前記ユーザーの人々の団体との親和性を予測するステップと、
を含む、請求項1に記載の方法。 - ユーザーに刺激を供給し、前記ユーザーに刺激を供給することに応じて、脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを収集し、収集された前記生物物理的信号の時間的パターンおよび空間的パターンを相互に関連付ける工程は、更に、
前記刺激に基づいてユーザーの脳シグネチャを較正するステップと、
現在測定される脳シグネチャと前記較正された脳シグネチャとを比較することにより、前記ユーザーを認証するステップと、
を含み、
前記刺激に基づいてユーザーの脳シグネチャを較正する前記ステップは、
ユーザーに刺激セットを提示して脳活動反応を誘発するステップと、
提示された前記刺激セットに応じた脳の解剖学的構造および活動を測定するステップと、
前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、
創出された前記脳シグネチャを保存するステップと、
保存された前記脳シグネチャを所定の集団の解剖学的および生理学的脳シグネチャのデータベースに加えるステップと、
を含み、
前記ユーザーを認証する前記ステップは、
以前に適用された刺激セットをユーザーに提示して、脳活動反応を誘発するステップと、
前記以前に適用された刺激セットに基づいて、前記ユーザーの脳の解剖学的構造および活動を測定するステップと、
前記脳の解剖学的構造および活動の測定結果のパターン認識を実行して、前記ユーザーの脳シグネチャを創出するステップと、
前記脳シグネチャを前記ユーザーの前記較正された脳シグネチャと比較することにより、前記パターン認識の実行によって得られた前記ユーザーの前記脳シグネチャを分析するステップと、
を含む、請求項1または2に記載の方法。 - 前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、収集された前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに応じた機能を実行するように装置に指示するステップを含む、
請求項1乃至3のいずれか一項に記載の方法。 - 前記ユーザーに刺激セットを提示するステップと、
前記ユーザーの脳−コンピューターインターフェース(BCI)測定結果を取得するステップと、
前記BCI測定結果から、所定の刺激と信頼性の高い相関を有する脳活動‐刺激ペアリングの候補を識別するステップと、
前記脳活動‐刺激ペアリングの候補を保存するステップと、
前記ユーザーが前記刺激を想像しているときに、信頼性の高い相関を有する脳活動‐刺激ペアリングを決定するステップと、
前記ユーザーが前記刺激を想像しているときに、前記信頼性の高い相関を有する脳活動‐刺激ペアリングを保存するステップと、
相関するBCI測定結果が検出された場合に前記刺激を読み出し表示して、テレパシーコンピューター制御を実行するステップと、
を含み、
前記テレパシーコンピューター制御は、検索オブジェクトに関連するBCI尺度とペアにされる刺激の心的イメージを再形成し、ユーザーの思考パターンを、前記思考パターンに関連する脳活動測定結果に応じて作成される、前記ユーザーの脳パターンに分類されるコンテンツのデータベースとマッチングして検索結果を生成し、前記データベースに含まれるコンテンツと関連することが既知の要素とマッチする前記思考パターンの要素の数に基づいて、前記検索結果を加重することにより、前記ユーザーによって実行されるテレパシー検索と、
共通の心的語彙による訓練を受けた少なくとも2人のユーザーが、前記共通の心的語彙を用いて、脳活動‐刺激ペアリングに基づいて互いに情報伝達を行う、テレパシー情報伝達と、
心的イメージを所定のアクションを実行するためのモデルに関連付ける脳活動‐刺激ペアリングを考えることによって実行されるテレパシー拡張現実(AR)と、
のうち少なくとも1つを含む、
請求項1乃至4のいずれか一項に記載の方法。 - 前記テレパシー検索は、マルチボクセルパターン分析(MVPA)と機能的近赤外分光法(fNIRS)との組み合わせを用いて実行され、特定の思考と相関する脳活動の分布パターンを識別するテレパシー検索を含む、
請求項5に記載の方法。 - 前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、前記ユーザーにより、心的注意を前記ユーザーの視野の異なる区画に集中させることにより、コンピューティングデバイスを操作するステップを含む、
請求項1乃至6のいずれか一項に記載の方法。 - ユーザーの視野の領域に基づいて、心的デスクトップ作業領域を視空間領域に分割するステップと、
ユーザーの視野を前記ユーザーの一次視覚野の領域にマップするように前記ユーザーを訓練するステップであって、前記一次視覚野の前記領域は前記視空間領域の1つに対応する、ステップと、
前記視空間領域によって再現される前記視野の生理学的に分離された区画に、コンテンツを割り当てるステップと、
前記視空間領域の1つを心的に視覚化することによって割り当てられた情報にアクセスして、前記視覚化された視空間領域に割り当てられたコンテンツにアクセスするステップと、
を更に含む、請求項1乃至7のいずれか一項に記載の方法。 - 前記視空間領域は、左目および右目のそれぞれの左半視野および右半視野を含み、各半視野は上方区画と下方区画とに分割される、
請求項8に記載の方法。 - 知覚コンピューティング入力を受信するステップ、を更に含み、
前記ユーザー脳シグネチャに基づいてプロセッサ制御機能を実行する前記ステップは、
前記脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを前記知覚コンピューティング入力と相互に関連付けて、前記ユーザーの意図を判定するステップと、
判定された前記ユーザーの意図に基づいて、電子デバイスを制御するコマンドを開始するステップと、
を含む、
請求項1乃至9のいずれか一項に記載の方法。 - 前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンを測定するステップと、
前記ユーザーの脳活動に関連する生物物理的信号の時間的パターンおよび空間的パターンに基づいて、前記ユーザーの状態を判定するステップと、
判定された前記状態に基づいて、前記ユーザーに反応を提供するステップと、
を更に含む、請求項1乃至10のいずれか一項に記載の方法。 - 請求項1乃至11のいずれか一項に記載の方法を実行する手段を備える装置。
- 請求項1乃至11のいずれか一項に記載の方法をコンピューターに実行させるためのプログラム。
- 請求項13に記載のプログラムを格納した少なくとも1つのコンピューター可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2013/032037 WO2014142962A1 (en) | 2013-03-15 | 2013-03-15 | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016513319A JP2016513319A (ja) | 2016-05-12 |
JP6125670B2 true JP6125670B2 (ja) | 2017-05-10 |
Family
ID=51537329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015557986A Active JP6125670B2 (ja) | 2013-03-15 | 2013-03-15 | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160103487A1 (ja) |
EP (1) | EP2972662A4 (ja) |
JP (1) | JP6125670B2 (ja) |
KR (1) | KR101680995B1 (ja) |
CN (1) | CN105051647B (ja) |
WO (1) | WO2014142962A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798640B1 (ko) | 2016-08-31 | 2017-11-16 | 주식회사 유메딕스 | 뇌파 획득 장치 및 이를 이용한 행동 패턴 실험 장치 |
US12035996B2 (en) | 2019-02-12 | 2024-07-16 | Brown University | High spatiotemporal resolution brain imaging |
US12076110B2 (en) | 2021-10-20 | 2024-09-03 | Brown University | Large-scale wireless biosensor networks for biomedical diagnostics |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9405366B2 (en) * | 2013-10-02 | 2016-08-02 | David Lee SEGAL | Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices |
US10069867B2 (en) * | 2013-11-29 | 2018-09-04 | Nokia Technologies Oy | Method and apparatus for determining privacy policy for devices based on brain wave information |
CA2940238C (en) | 2014-02-21 | 2023-01-03 | Trispera Dental Inc. | Augmented reality dental design method and system |
CN104363983B (zh) * | 2014-08-06 | 2017-03-01 | 中国科学院自动化研究所 | 脑活动检测方法和系统 |
US20170039473A1 (en) * | 2014-10-24 | 2017-02-09 | William Henry Starrett, JR. | Methods, systems, non-transitory computer readable medium, and machines for maintaining augmented telepathic data |
US20160148529A1 (en) * | 2014-11-20 | 2016-05-26 | Dharma Systems Inc. | System and method for improving personality traits |
US10470690B2 (en) * | 2014-11-21 | 2019-11-12 | National Institute Of Advanced Industrial Science And Technology | Authentication device using brainwaves, authentication method, authentication system, and program |
US11556809B2 (en) * | 2014-12-14 | 2023-01-17 | Universitat Zurich | Brain activity prediction |
US10357210B2 (en) | 2015-02-04 | 2019-07-23 | Proprius Technologies S.A.R.L. | Determining health change of a user with neuro and neuro-mechanical fingerprints |
US9836896B2 (en) | 2015-02-04 | 2017-12-05 | Proprius Technologies S.A.R.L | Keyless access control with neuro and neuro-mechanical fingerprints |
US9590986B2 (en) | 2015-02-04 | 2017-03-07 | Aerendir Mobile Inc. | Local user authentication with neuro and neuro-mechanical fingerprints |
US9577992B2 (en) | 2015-02-04 | 2017-02-21 | Aerendir Mobile Inc. | Data encryption/decryption using neuro and neuro-mechanical fingerprints |
AU2016225963B2 (en) * | 2015-03-05 | 2021-05-13 | Magic Leap, Inc. | Systems and methods for augmented reality |
IL239191A0 (en) * | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
US9507974B1 (en) * | 2015-06-10 | 2016-11-29 | Hand Held Products, Inc. | Indicia-reading systems having an interface with a user's nervous system |
CN107636569B (zh) | 2015-08-05 | 2020-07-07 | 精工爱普生株式会社 | 脑内影像再生装置 |
US10373143B2 (en) | 2015-09-24 | 2019-08-06 | Hand Held Products, Inc. | Product identification using electroencephalography |
US9672760B1 (en) | 2016-01-06 | 2017-06-06 | International Business Machines Corporation | Personalized EEG-based encryptor |
US10169560B2 (en) * | 2016-02-04 | 2019-01-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Stimuli-based authentication |
JP6668811B2 (ja) * | 2016-02-23 | 2020-03-18 | セイコーエプソン株式会社 | 訓練装置、訓練方法、プログラム |
US10044712B2 (en) * | 2016-05-31 | 2018-08-07 | Microsoft Technology Licensing, Llc | Authentication based on gaze and physiological response to stimuli |
WO2017222997A1 (en) | 2016-06-20 | 2017-12-28 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
JP2017227780A (ja) | 2016-06-23 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US10694946B2 (en) * | 2016-07-05 | 2020-06-30 | Freer Logic, Inc. | Dual EEG non-contact monitor with personal EEG monitor for concurrent brain monitoring and communication |
JP6871373B2 (ja) * | 2016-07-11 | 2021-05-12 | アークトップ リミテッド | ブレイン・コンピュータ・インターフェースを提供するための方法およびシステム |
US10621636B2 (en) | 2016-08-17 | 2020-04-14 | International Business Machines Corporation | System, method and computer program product for a cognitive monitor and assistant |
US10445565B2 (en) * | 2016-12-06 | 2019-10-15 | General Electric Company | Crowd analytics via one shot learning |
IL267518B2 (en) * | 2016-12-21 | 2024-04-01 | Innereye Ltd | System and method for iterative sorting using neurophysiological signals |
CN110691550B (zh) * | 2017-02-01 | 2022-12-02 | 塞雷比安公司 | 确定感知体验的处理系统和方法、计算机可读介质 |
KR101939611B1 (ko) * | 2017-07-11 | 2019-01-17 | 연세대학교 산학협력단 | 뇌기능 정합 방법 및 장치 |
CA3073111C (en) * | 2017-08-15 | 2024-01-16 | Akili Interactive Labs, Inc. | Cognitive platform including computerized elements |
CN111629653B (zh) | 2017-08-23 | 2024-06-21 | 神经股份有限公司 | 具有高速眼睛跟踪特征的大脑-计算机接口 |
EP3684463A4 (en) | 2017-09-19 | 2021-06-23 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION PROCESS AND APPARATUS |
CN111542800B (zh) | 2017-11-13 | 2024-09-17 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
IL274608B2 (en) * | 2017-11-21 | 2024-10-01 | Arctop Ltd | Delivery of interactive electronic content in coordination with rapid decoding of brain activity |
US10582316B2 (en) | 2017-11-30 | 2020-03-03 | Starkey Laboratories, Inc. | Ear-worn electronic device incorporating motor brain-computer interface |
US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
CN108108603A (zh) * | 2017-12-04 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 登录方法及装置和电子设备 |
US10952680B2 (en) | 2017-12-27 | 2021-03-23 | X Development Llc | Electroencephalogram bioamplifier |
US10671164B2 (en) | 2017-12-27 | 2020-06-02 | X Development Llc | Interface for electroencephalogram for computer control |
CN108056774A (zh) * | 2017-12-29 | 2018-05-22 | 中国人民解放军战略支援部队信息工程大学 | 基于视频刺激材料的实验范式情绪分析实现方法及其装置 |
US11318277B2 (en) | 2017-12-31 | 2022-05-03 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to enhance emotional response |
JP2021511567A (ja) | 2018-01-18 | 2021-05-06 | ニューラブル インコーポレイテッド | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース |
EP3743789A4 (en) * | 2018-01-22 | 2021-11-10 | HRL Laboratories, LLC | NEURO-ADAPTIVE BODY DETECTION FOR USER STATE FRAMEWORK (NABSUS) |
US10901508B2 (en) * | 2018-03-20 | 2021-01-26 | X Development Llc | Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control |
US10682069B2 (en) * | 2018-03-23 | 2020-06-16 | Abl Ip Holding Llc | User preference and user hierarchy in an electroencephalography based control system |
US10682099B2 (en) * | 2018-03-23 | 2020-06-16 | Abl Ip Holding Llc | Training of an electroencephalography based control system |
US10866638B2 (en) * | 2018-03-23 | 2020-12-15 | Abl Ip Holding Llc | Neural control of controllable device |
US10551921B2 (en) * | 2018-03-23 | 2020-02-04 | Abl Ip Holding Llc | Electroencephalography control of controllable device |
US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
US20190336024A1 (en) * | 2018-05-07 | 2019-11-07 | International Business Machines Corporation | Brain-based thought identifier and classifier |
WO2019235458A1 (ja) * | 2018-06-04 | 2019-12-12 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
WO2019241318A1 (en) | 2018-06-13 | 2019-12-19 | Cornell University | Bioluminescent markers of neural activity |
US10999066B1 (en) | 2018-09-04 | 2021-05-04 | Wells Fargo Bank, N.A. | Brain-actuated control authenticated key exchange |
WO2020056418A1 (en) | 2018-09-14 | 2020-03-19 | Neuroenhancement Lab, LLC | System and method of improving sleep |
KR102029760B1 (ko) | 2018-10-17 | 2019-10-08 | 전남대학교산학협력단 | 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법 |
WO2020086959A1 (en) * | 2018-10-25 | 2020-04-30 | Arctop Ltd | Empathic computing system and methods for improved human interactions with digital content experiences |
EP3651038A1 (en) * | 2018-11-12 | 2020-05-13 | Mastercard International Incorporated | Brain activity-based authentication |
US12114989B2 (en) * | 2018-12-04 | 2024-10-15 | Brainvivo Ltd. | Apparatus and method for utilizing a brain feature activity map database to characterize content |
WO2020132941A1 (zh) * | 2018-12-26 | 2020-07-02 | 中国科学院深圳先进技术研究院 | 识别方法及相关装置 |
US11803627B2 (en) * | 2019-02-08 | 2023-10-31 | Arm Limited | Authentication system, device and process |
RU2704497C1 (ru) * | 2019-03-05 | 2019-10-29 | Общество с ограниченной ответственностью "Нейроботикс" | Способ формирования системы управления мозг-компьютер |
WO2020198392A1 (en) * | 2019-03-27 | 2020-10-01 | Human Foundry, Llc | Assessment and training system |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
CN110192861A (zh) * | 2019-06-14 | 2019-09-03 | 广州医科大学附属肿瘤医院 | 一种智能辅助脑功能实时检测系统 |
US10684686B1 (en) | 2019-07-01 | 2020-06-16 | INTREEG, Inc. | Dynamic command remapping for human-computer interface |
KR102313622B1 (ko) | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | 생체신호 기반 아바타 제어시스템 및 방법 |
CN110824979B (zh) * | 2019-10-15 | 2020-11-17 | 中国航天员科研训练中心 | 一种无人设备控制系统和方法 |
CN114746830A (zh) * | 2019-11-20 | 2022-07-12 | 奈克斯特曼德公司 | 视觉脑机接口 |
US11780445B2 (en) * | 2020-01-13 | 2023-10-10 | Ford Global Technologies, Llc | Vehicle computer command system with a brain machine interface |
WO2021158276A1 (en) * | 2020-02-04 | 2021-08-12 | Hrl Laboratories, Llc | System and method for asynchronous brain control of one or more tasks |
US20210353439A1 (en) * | 2020-05-12 | 2021-11-18 | California Institute Of Technology | Decoding movement intention using ultrasound neuroimaging |
CN111752392B (zh) * | 2020-07-03 | 2022-07-08 | 福州大学 | 脑机接口中精准视觉刺激控制方法 |
CN113509188B (zh) * | 2021-04-20 | 2022-08-26 | 天津大学 | 脑电信号的扩增方法、装置、电子设备以及存储介质 |
KR102460337B1 (ko) * | 2020-08-03 | 2022-10-31 | 한국과학기술연구원 | 초음파 자극 제어 장치 및 방법 |
CN112016415B (zh) * | 2020-08-14 | 2022-11-29 | 安徽大学 | 结合集成学习与独立分量分析的运动想象分类方法 |
CN111984122A (zh) * | 2020-08-19 | 2020-11-24 | 北京鲸世科技有限公司 | 脑电数据匹配方法及系统、存储介质及处理器 |
CA3227539A1 (en) * | 2021-07-29 | 2023-02-02 | Moshe OFER | Methods and systems for non-sensory information rendering and injection |
CN114489335B (zh) * | 2022-01-21 | 2023-12-01 | 上海瑞司集测科技有限公司 | 脑机接口的检测方法、装置、存储介质及系统 |
US11782509B1 (en) * | 2022-05-19 | 2023-10-10 | Ching Lee | Brainwave audio and video encoding and playing system |
CN115344122B (zh) * | 2022-08-15 | 2024-06-18 | 中国科学院深圳先进技术研究院 | 声波无创脑机接口及控制方法 |
US20240160288A1 (en) * | 2022-11-15 | 2024-05-16 | Micron Technology, Inc. | Neuronal to memory device communication |
CN116035592B (zh) * | 2023-01-10 | 2024-06-14 | 北京航空航天大学 | 基于深度学习的转头意图识别方法、系统、设备及介质 |
CN116400800B (zh) * | 2023-03-13 | 2024-01-02 | 中国医学科学院北京协和医院 | 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法 |
WO2024214020A1 (en) * | 2023-04-13 | 2024-10-17 | Ofer Moshe | Methods and systems for controlling and interacting with objects based on non-sensory information rendering |
CN116570835B (zh) * | 2023-07-12 | 2023-10-10 | 杭州般意科技有限公司 | 一种基于场景和用户状态的干预刺激模式的确定方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1363535B1 (en) * | 2001-01-30 | 2012-01-04 | R. Christopher Decharms | Methods for physiological monitoring, training, exercise and regulation |
JP2002236096A (ja) * | 2001-02-08 | 2002-08-23 | Hitachi Ltd | 光トポグラフィ装置とデータ生成装置 |
JP2004248714A (ja) * | 2003-02-18 | 2004-09-09 | Kazuo Tanaka | 生体信号を用いた認証方法および認証装置 |
JP2005160805A (ja) * | 2003-12-03 | 2005-06-23 | Mitsubishi Electric Corp | 個人認識装置および属性判定装置 |
JP2006072606A (ja) * | 2004-09-01 | 2006-03-16 | National Institute Of Information & Communication Technology | インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 |
JP5150942B2 (ja) * | 2006-02-03 | 2013-02-27 | 株式会社国際電気通信基礎技術研究所 | 活動補助システム |
KR20100038107A (ko) * | 2007-07-30 | 2010-04-12 | 뉴로포커스, 인크. | 신경-반응 자극 및 자극 속성 공명 추정기 |
US8244475B2 (en) * | 2007-12-27 | 2012-08-14 | Teledyne Scientific & Imaging, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
US8542916B2 (en) * | 2008-07-09 | 2013-09-24 | Florida Atlantic University | System and method for analysis of spatio-temporal data |
US20100145215A1 (en) * | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
JP2010257343A (ja) * | 2009-04-27 | 2010-11-11 | Niigata Univ | 意思伝達支援装置 |
CN101571748A (zh) * | 2009-06-04 | 2009-11-04 | 浙江大学 | 一种基于增强现实的脑机交互系统 |
CN101963930B (zh) * | 2009-07-21 | 2013-06-12 | 纬创资通股份有限公司 | 自动化测试装置 |
US20110112426A1 (en) * | 2009-11-10 | 2011-05-12 | Brainscope Company, Inc. | Brain Activity as a Marker of Disease |
KR101070844B1 (ko) * | 2010-10-01 | 2011-10-06 | 주식회사 바로연결혼정보 | 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법 |
JP5816917B2 (ja) * | 2011-05-13 | 2015-11-18 | 本田技研工業株式会社 | 脳活動計測装置、脳活動計測方法、及び脳活動推定装置 |
JP5959016B2 (ja) * | 2011-05-31 | 2016-08-02 | 国立大学法人 名古屋工業大学 | 認知機能障害判別装置、認知機能障害判別システム、およびプログラム |
-
2013
- 2013-03-15 JP JP2015557986A patent/JP6125670B2/ja active Active
- 2013-03-15 KR KR1020157021945A patent/KR101680995B1/ko active IP Right Grant
- 2013-03-15 WO PCT/US2013/032037 patent/WO2014142962A1/en active Application Filing
- 2013-03-15 EP EP13877504.4A patent/EP2972662A4/en not_active Withdrawn
- 2013-03-15 CN CN201380073072.2A patent/CN105051647B/zh not_active Expired - Fee Related
- 2013-03-15 US US13/994,593 patent/US20160103487A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101798640B1 (ko) | 2016-08-31 | 2017-11-16 | 주식회사 유메딕스 | 뇌파 획득 장치 및 이를 이용한 행동 패턴 실험 장치 |
US12035996B2 (en) | 2019-02-12 | 2024-07-16 | Brown University | High spatiotemporal resolution brain imaging |
US12076110B2 (en) | 2021-10-20 | 2024-09-03 | Brown University | Large-scale wireless biosensor networks for biomedical diagnostics |
Also Published As
Publication number | Publication date |
---|---|
CN105051647B (zh) | 2018-04-13 |
KR20150106954A (ko) | 2015-09-22 |
KR101680995B1 (ko) | 2016-11-29 |
CN105051647A (zh) | 2015-11-11 |
US20160103487A1 (en) | 2016-04-14 |
WO2014142962A1 (en) | 2014-09-18 |
EP2972662A4 (en) | 2017-03-01 |
JP2016513319A (ja) | 2016-05-12 |
EP2972662A1 (en) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125670B2 (ja) | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム | |
Gunes et al. | Categorical and dimensional affect analysis in continuous input: Current trends and future directions | |
Yang et al. | Behavioral and physiological signals-based deep multimodal approach for mobile emotion recognition | |
KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
Gunes et al. | Bodily expression for automatic affect recognition | |
Jaimes et al. | Multimodal human–computer interaction: A survey | |
Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
Jang et al. | Human intention recognition based on eyeball movement pattern and pupil size variation | |
CN112970056A (zh) | 使用高速和精确的用户交互跟踪的人类-计算机接口 | |
US20170095192A1 (en) | Mental state analysis using web servers | |
Al Osman et al. | Multimodal affect recognition: Current approaches and challenges | |
Karbauskaitė et al. | Kriging predictor for facial emotion recognition using numerical proximities of human emotions | |
Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
Alharbi et al. | A survey of incorporating affective computing for human-system co-adaptation | |
Amara et al. | Emotion recognition for affective human digital twin by means of virtual reality enabling technologies | |
Akhtar et al. | Visual nonverbal behavior analysis: The path forward | |
Bianchi-Berthouze et al. | 11 Automatic Recognition of Affective Body Expressions | |
Tang et al. | Eye movement prediction based on adaptive BP neural network | |
Zhang et al. | A survey on mobile affective computing | |
Hadar | Implicit Media Tagging and Affect Prediction from video of spontaneous facial expressions, recorded with depth camera | |
Gom-os et al. | An empirical study on the use of a facial emotion recognition system in guidance counseling utilizing the technology acceptance model and the general comfort questionnaire | |
Destyanto | Emotion Detection Research: A Systematic Review Focuses on Data Type, Classifier Algorithm, and Experimental Methods | |
Wu | [Retracted] Multimodal Opera Performance Form Based on Human‐Computer Interaction Technology | |
El Mougy | Character-IoT (CIoT): Toward Human-Centered Ubiquitous Computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6125670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |