CN101669083A - 用于脑波接口系统的起动装置、方法及计算机程序 - Google Patents

Abstract

本发明提供一种脑波接口系统，其利用用户的脑波信号实现脑波接口(IF)的起动。脑波IF系统具有测量脑波信号的脑波测量部、解析脑波信号中包含的事件相关电位且基于解析结果将用于控制设备功能的功能控制信号输出的功能控制部、输出功能控制信号的输出部。起动装置具备起动判定部和刺激注目判定部，该起动判定部在脑波IF系统不发挥功能时，向输出部发送用于控制输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将由脑波测量部获取的脑波信号中、以视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此根据比较结果，确定是否向功能控制部输出起动触发；该刺激注目判定部基于以视觉刺激的提示时刻为起点的事件相关电位的N100成分，判定用户是否注目视觉刺激，根据判定结果，开始起动判定部的处理。起动装置通过起动判定部输出起动触发，而使脑波IF系统起动。

Description

用于脑波接口系统的起动装置、方法及计算机程序

技术领域

本发明涉及利用脑波操作设备的接口(脑波接口)系统。更具体而言，本发明涉及装入脑波接口系统且利用用户的脑波用于选择/起动所希望的功能的起动装置、起动方法、及该种起动装置中执行的计算机程序。

背景技术

生活中提案有各式各样的设备，在围绕这些设备的生活中，用户通过操作设备来接受所希望的信息及服务。提高其接口的操作性的重要性因设备自身的数量增加、必须使用的设备的信息的增加等逐年增高。例如，在信息设备(电视、手机、PDA等)中，通过边看画面边选择操作的选择项来实现设备操作。作为其操作输入装置，采用一边观察通过按压按钮、移动光标而确定的画面，一边操作鼠标等方法，但在家务、育儿、及汽车的运转中等因设备操作以外的作业而不能使用两手的情况下，操作是很困难的。

与此相对，具有利用用户的生物信号的输入装置。在非专利文献1中公开了用脑波的事件相关电位识别用户希望选择的选择项的技术。

具体而言，使选择项随机地高亮显示，利用在以用户希望选择的选择项被高亮显示的时刻为起点从300ms到500ms的时间带出现的阳性成分(P300成分)，而实现是否想选择的识别。利用该技术，用户即使在占用两手的情况下，或在因疾病而手足不能活动的状况下，也能够选择希望选择的选择项，能够实现设备操作等的接口。

这样，通过对脑波信号施加各种各样的处理，实现了脑波的菜单选择。

非专利文献1：エマニユエル、ドンチン(Emanuel Donchin)、其他2名著、“The Mental Prostheeis：Assessing the Speed of a p300-Based Brain-Computer Interface”、IEEE TRANSACTIONS ONREHABILITATIONENGINEERING.Vol.8.No.2.2000年6月

但是，在上述的脑波接口的事例中，只进行了关于来自选择项的选择的研究，关于怎样将脑波接口起动，未进行研究。其理由是，在这些事例中，假定在持续显示有脑波接口的画面(例如，选择项的提示画面)的状况下的使用。例如，在医院内，在对肢体不自由的人使用脑波接口的情况下，在床的旁边持续显示有脑波接口的画面(例如，选择项的提示画面)。

另一方面，在装载在日常生活中的信息设备的情况下，信息终端的画面被程序表及邮件正文、电视节目等作为信息终端本来的任务的应提示的信息所占有，不能持续显示脑波接口的画面。因此，需要能够不对将脑波接口作为TV影像等信息终端本来的任务而提示的信息进行阻碍而起动的系统。

也可以设置用于显示脑波接口的画面的起动按钮，但在此，在进行着家务、育儿及运转时等两手因设备操作以外的任务而占有的状况下，难以利用脑波接口。当考虑在所有的状况下都希望利用脑波接口而操作信息设备这种用户的需求时，其起动也需要利用脑波来进行。

发明内容

本发明的目的在于，提供一种脑波接口，关于脑波接口的起动，也利用用户的生物信号(脑波信号)来实现。

本发明的装置为一种起动装置，其用于起动脑波接口系统，其中，所述脑波接口系统具有：脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，且基于解析结果，输出用于控制设备功能的功能控制信号；输出部，其输出所述功能控制信号，所述起动装置具备：起动判定部，其在所述脑波接口系统不发挥功能时，向所述输出部发送用于控制所述输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将从所述脑波测量部获取的所述脑波信号中以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此，根据比较结果确定是否向所述功能控制部输出起动触发；刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果，开始所述起动判定部的处理，所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。

也可以是，所述起动判定部以所述视觉刺激的提示时刻为起点而将在200±50ms的区间中的事件相关电位的值作为所述P200成分的值，并和所述规定的阈值进行比较。

也可以是，所述起动判定部以所述视觉刺激的提示时刻为起点而将在200±50ms的区间的事件相关电位的极大值、最大值、区间平均值的其中之一作为所述P200成分的值，并和所述规定的阈值进行比较。

也可以是，所述刺激注目判定部，根据用户注目着所述视觉刺激的所述判定结果，对所述起动判定部发出指示，以使所述视觉刺激的提示方法变化。

也可以是，所述脑波接口系统具备拍摄影像并将影像信号输出的摄像装置，所述起动装置还具备闪烁检测部，所述闪烁检测部基于所述影像信号，检测所述影像内闪烁着的被摄体，并基于所述被摄体的特征量，生成对所述功能控制部所执行的功能进行指示的功能控制信息，且将表示所述被摄体的点亮定时的信息及所述功能控制信息输出，所述起动判定部，在基于表示所述点亮定时的信息对所述视觉刺激的提示时刻进行特别指定，且对所述功能控制部输出起动触发时，将基于所述功能控制信息的控制信号输出，所述脑波接口系统的所述功能控制部基于所述起动触发及所述功能控制信息，执行特别指定的功能。

也可以是，所述闪烁检测部保持有对被摄体的特征量和所述功能控制部所执行的功能的对应关系进行规定的数据库，通过识别所述被摄体的特征量，并基于所述特征量参照所述数据库，特别指定所述功能控制部所执行的功能，输出所述功能控制信息。

也可以是，一种起动装置，其用于在具有测量用户的脑波信号的脑波测量部、和多个设备的脑波接口系统中，起动所述多个设备中至少一个设备，其中，所述多个设备的每个，具有：功能控制部，其输出用于控制设备功能的功能控制信号；以及输出部，其输出所述功能控制信号，所述起动装置具备：闪烁定时控制部，其按照对各设备的输出部进行重复视觉刺激的提示及熄灭的方式进行控制，并且在其中一个设备中输出对提示了所述视觉刺激的定时进行表示的判定触发；保持判定触发信息的记录介质，其在将所述判定触发的输出定时和输出了所述判定触发时，对提示了所述视觉刺激的设备进行特别指定；起动判定部，其将从所述脑波测量部获取的所述脑波信号中以所述判定触发的接收定时为起点的事件相关电位的P200成分的值和规定的阈值进行比较，并根据比较结果，基于所述判定触发的接收定时和所述判定触发信息，对提示了所述视觉刺激的设备进行特别指定，并对所特别指定的设备的功能控制部输出起动触发，所述起动装置通过输出所述起动触发，而使由所述起动判定部所特别指定的所述功能起动。

本发明的方法为一种其用于起动脑波接口系统，其中，所述脑波接口系统，具有：脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，输出用于控制设备功能的功能控制信号；输出部，其输出所述功能控制信号，所述起动方法包括：在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目着所述视觉刺激的步骤；根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动的步骤。

本发明的计算机程序为一种在已装入脑波接口系统的起动装置中执行的计算机程序，其中，所述脑波接口系统，具有：脑波测量部，其测量用户的脑波信号；功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，将用于控制设备功能的功能控制信号输出；输出部，其输出所述功能控制信号；所述计算机程序对所述起动装置的计算机执行如下步骤：在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目了所述视觉刺激的步骤；根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动的步骤。

根据本发明的脑波接口系统，使脑波接口的起动用视觉刺激(画面上的图标、LED等)闪烁，首先，基于以视觉刺激的提示时刻为起点的事件相关电位的N100成分，判定用户是否注目视觉刺激。而且，根据其判定结果(具体而言，在判定为用户注目视觉刺激的情况下)，基于以起动用视觉刺激的提示时刻为起点的事件相关电位的P200成分是否出现在脑波上，而判定用户的起动意向。而且，在该成分出现在脑波上的情况下，将脑波接口起动。

由此，在例如家务、育儿、及汽车的运转中等因设备操作以外的作业而不能使用双手的状况下，不进行按压按钮等物理操作，就能够用用户所希望的时刻起动脑波接口。

附图说明

图1是表示脑波接口系统的TV画面的例子的图。

图2是表示在条件(a)、(b)、(c)下测定的事件相关电位的波形的比较结果的图。

图3A是表示条件(a)、(b)、(c)的事件相关电位的波形图。

图3B是表示基于和图3A的被验者不同的被验者的条件(a)、(b)、(c)的事件相关电位的波形的图。

图4是表示本实施方式的脑波接口系统1的构成及利用环境的图。

图5是表示脑波接口系统1及起动装置20的功能模块的构成图。

图6是表示在TV画面12上显示的菜单画面61的图。

图7是表示实施方式1的脑波接口系统1及起动装置20的硬件构成图。

图8是表示脑波接口系统1的处理流程的流程图。

图9(a)～(d)是表示在脑波接口系统1中操作TV11且用户2看到希望视听的种类的节目时的示例的图。

图10是表示功能控制部5的脑波接口起动后的处理顺序的流程图。

图11是表示与实施方式2的脑波接口的起动相关联的处理顺序的流程图。

图12是表示在TV11的画面之外的框架部分设有提示起动用的视觉刺激的光源即LED91的示例的图。

图13是表示车辆行驶用信息系统操作时的画面显示例的图。

图14是表示显示在电子公告板111的画面上的、闪烁的广告图像112的图。

图15(a)是表示判定为用户2未注视图标13时的图标13的图，(b)是表示判定为用户2注视图标13时的、更大地显示后的图标13的图。

图16是表示实施方式3的脑波接口系统1及起动装置21的功能模块的构成的图。

图17是表示与实施方式3的脑波接口的起动相关的处理顺序的流程图。

图18是表示实施方式3的脑波接口系统1及起动判定部4的利用环境的图。

图19是表示实施方式3的脑波接口系统1及起动装置195的功能模块的构成的图。

图20是表示与实施方式3的脑波接口的起动相关的处理顺序的方框图。

图21是表示规定了店/物体信息和动作设备的对应关系的数据库之一例的图。

图22是表示实施方式4的脑波接口系统1及起动装置22的利用环境的图。

图23是表示各设备的LED142a～142n的点亮定时的关系图。

图24是图22所示的各设备的设备名、和设置于各设备的闪烁装置的点亮定时、和对应的设备动作的对应的例子的图。

图25是表示实施方式4的脑波接口系统1及起动装置22的功能模块的构成图。

图26是表示与实施方式4的脑波接口的起动相关的处理顺序的方框图。

图27是表示将实施方式4的各设备的LED的点亮转换为在PC的显示屏上显示的旗帜(バナ一)的点亮的变形例的图。

图中：

1脑波接口系统

2用户

3脑波测量部

4起动判定部

5功能控制部

6输出部

7刺激注目判定部

8闪烁定时控制部

9闪烁检测部

20、21、22、195起动装置

具体实施方式

首先，说明本申请发明人员对上述课题进行研究的事项。

本申请发明人员想出了如下方法：即为了利用脑波实现脑波接口系统的起动，而给予用户视觉刺激，并利用视觉刺激提示之后的事件相关电位的方法。作为视觉刺激，在信息提示画面的局部使脑波接口系统起动用的选择项(起动用图标)持续闪烁。用户心中想到的是，在希望脑波接口系统起动的情况下，根据起动用图标点亮的定时来确定“希望起动”或“不希望起动”等。根据非专利文献1的方法，认为：通过利用以图标点亮时为起点的事件相关电位P300，可以判定用户的起动意向。

基于上述考察，进行了显示于TV画面上的图标闪烁刺激的事件相关电位的测量实验(后面进行详述)。由实验的结果可知，即使在用户具有起动意向的情况下，也不一定在以图标点亮时为起点的300ms～400ms之间，出现事件相关电位的明确的阳性成分的峰值，有时不能进行利用P300的起动意向的判定。

这和从多个选择项中选择一个选择项那种“选择”的情况不同，被认为是如下原因：在起动的情况下，由于刺激单一且提示间隔单调，因此用户能够预期刺激的时刻，由此不能利用“选择”时利用的成分。

因此，对测量到的事件相关电位的波形进一步解析的结果发现，在以图标点亮时为起点而在100ms的前后50ms的区间(100±50ms)内发生的阴性峰值(极小值)的振幅值即N200成分、和在200ms的前后50ms的区间(200±50ms)内发生的阳性峰值(极大值)的振幅值即P200成分上具有特征(后面进行详述)。

根据目前的研究、例如与安眠药的药效的测量相关的文献(日本国特开平10-33513号公报)，P200成分说明了“将刺激的疼痛等认成是知觉的情况”的反应。另外，根据觉醒时/REM睡眠时/入眠时对外科医生刺激的响应性比较的研究(“REM睡眠时期和入眠时期的事件相关电位的比较”，高原他，广岛大学综合科学部纪要IV理系编，第28卷，1-11页，2002年12月)，P200成分认成是“REM睡眠时的声音刺激的反应”。这样，在关于“起动意向判定”及“希望选择该项目这种选择意向判定”的用途中，P200成分为完全不被利用的信号。

另外，作为与利用脑波特征信号的脑波接口相关的技术，可以例举“利用事件相关电位的人的心理状态等的判定方法及装置”(日本国特开2002-169637号公报)中记载的技术。在该文献中，触及到根据个人的特性利用P200成分及P300成分，选出用户所希望的选择项(目标词)，但关于目标词选择，没有考虑与状况不同的TV视听时的P200成分的相关。

但是，本申请发明人员由下述实验发现：通过利用N100成分和P200成分，可以判定TV视听中的用户的起动意向。以下，对本申请发明人员的实验内容进行详细地说明。

本申请发明人员利用TV画面进行实验，以验证是否可适用上述方法。在本实验中，假定使脑波接口系统起动的起动装置已被装入TV。具体而言，使TV画面中的图标闪烁，将用户具有起动意向时的用户的脑波的特征提取。

图1表示脑波起动接口的TV画面的例子。在TV11的TV画面12上显示TV影像，在TV画面12的画面左上部，使脑波接口起动用的图标13以一定周期闪烁。图标13的闪烁采用700ms期间点亮、700ms期间熄灭，且重复之。脑波测量部位采用用户的头顶部(国际10-20法的Pz)，以右耳后部(乳突：マストイド)为基准进行测量。另外，通过利用15Hz的低通滤波器，也进行电源等噪音成分的除去。切换出以图标点亮的时刻为0ms时的事件相关电位，用-100ms～0ms进行计时基线(baseline)修正。

在用户希望脑波接口系统起动的情况下，即在具有起动意向的情况下，根据起动用图标13点亮的时刻，用户心中想到的是“希望起动”或“不希望起动”等。相反，在不希望起动的情况下，看到TV影像。

对两名被验者，在“(a)具有起动意向并注目图标”情况、“(b)不具有起动意向，看到图标”情况、“(c)不具有起动意向，视听TV影像”情况的三个条件下，分别对图标闪烁50次部分的脑波的事件相关电位进行测量。另外，这次大多考虑以图标点亮定时为起点而呈现在约300ms的事件相关电位的P300ms成分的发生位置出现在比300ms靠后的位置，且进行300ms～500ms的区间的事件相关电位的各波形的比较。

图2表示在条件(a)、(b)、(c)下测定的事件相关电位的波形的比较结果。这些波形是将以图标点亮的时刻为起点的事件相关电位的300ms～500ms区间的所有波形加起来平均后的波形，条件(a)的波形用实线表示，条件(b)的波形用点划线表示，条件(c)的波形用虚线表示。

根据图2，可以说在所有条件(a)、(b)、(c)下，难以特别指定300ms～500ms间明确的阳性成分的峰值。另外，可知条件(a)及(c)的值的范围两者都重复为-1～2.5μV，两者的波形差也非常小为最大2μV。因此，可知在这些被验者的情况下，利用事件相关电位的P300成分来判定条件(a)是不是“具有起动意向”的波形是非常困难的。

因此，进行了图标点亮时的事件相关电位-100ms～600ms的区间整体的解析。图3A表示条件(a)、(b)、(c)的事件相关电位的波形。各曲线为将闪烁100次量(被验者2名×闪烁50次)加起来平均后的波形。条件(a)的波形用实线表示，条件(b)的波形用点划线表示，条件(c)的波形用虚线表示。另外，从300ms到500ms的区间的波形和图2相同。

根据图3A的波形图，可知由于条件(a)及(b)都为-4μV以下，因此在以图标被点亮的时刻为起点约100ms的前后50ms的区间内，在条件(a)、条件(b)的情况下，阴性峰值(极小值)的电压的值(N100成分)在阴性方向上大。换言之，可以确认振幅大的阴性峰值(即N100成分)。另外，振幅为用绝对值表示的值。

与此相对，在条件(c)中，在上述范围内未发现大的阴性峰值，最小值也为约0μV。条件(a)、(b)都为注视起动图标的状态，条件(c)为未看到起动图标(看TV影像)的状态。因此，在以图标被点亮的时刻为起点约100ms的前后50ms的区间内，可以判别是否注视图标。

另外，可知在约200ms的前后50ms的区间内发生的阳性峰值(极大值)的振幅值(P200成分)在条件(a)的具有起动意向的情况下取高的值为约5μV。另外，在条件(b)的无起动意向的情况下，为约3μV。因此，在以图标被点亮的时刻为起点约200ms的前后50ms的区间内，可以判别是否具有起动意向。

如上所述，通过进行基于N100成分的注视起动图标的判别、基于P200成分的起动意向的判别，可以区别条件(a)、(b)、(c)的三种状态。

本申请发明人员对另外的15名被验者实施了同样的实验。将实验的结果表示在图3B中。由图3B的结果可知，N100成分及P200成分同样出现，区别条件(a)、(b)、(c)的特征信号不仅可以确认为上述2名被验者固有的特征信号，而且可以确认为通常出现的特征信号。

因此，本申请发明人员通过将事件相关电位的N100成分及P200成分利用于起动意向的判定，且将注视闪烁的图标时的N100成分及P200成分分别与基准值(阈值)进行比较，由此，在TV视听中高效地控制图标的闪烁，进行是否具有起动意向的判定，直至完成本发明。

下面，参照附图对利用上述特征的本发明的起动装置的实施方式进行说明。

另外，在本说明书中了解到，为了获取事件相关电位，而对从某时点起算的经过规定时间后的时刻具体地进行特别指定，但在该时刻可以具有某程度的幅度。通常，在事件相关电位的波形上呈现每个人30～50毫秒的差异(偏移)(加我君孝ほか编集，“以事件相关电位(ERP)手控P300为中心”，篠原出版社，1995，30p表1)。因此，所谓“X毫秒”这种语句可以理解为以X毫秒为中心，“30～50毫秒”的幅度可以存在于其前后的情况下的代表值。也可以附加“约”及“附近”这种词而明示地包含其范围。

(实施方式1)

下面，对用于使脑波接口系统起动的起动装置的构成及动作进行说明。

图4表示本实施方式的脑波接口系统1的构成及利用环境。在本实施方式中，脑波接口系统1包括脑波测量部3、功能控制部5。

对脑波接口系统1的功能进行概述。首先，通过输出部6在TV画面12上显示菜单选择画面，脑波测量部3测量用户2的脑波信号。功能控制部5解析所测量的脑波信号中包含的事件相关电位，由此将用于控制设备(TV11)的功能的功能控制信号向输出部6输出。由此，输出部6可以将显示于TV11的TV画面12的节目切换为用户所希望的节目。在本说明书中，用于进行这种设备(TV11等)的操作的人机接口叫做“脑波接口”。

图4中记载有用于使脑波接口系统1起动的起动装置20。在脑波接口系统1不发挥功能时，更具体而言，在功能控制部5不发挥功能时，起动装置20在TV画面12上进行某种视觉刺激的提示及闪烁。而且，基于以视觉刺激的提示时刻为起点的事件相关电位，对是否使功能控制部5起动进行控制。

在本说明书中，使功能控制部5的用户接口功能的动作开始的情况叫做“脑波接口系统的起动”。在即使脑波接口系统中包含的脑波测量部3动作、功能控制部5也不动作时，“脑波接口系统的起动”还未进行。

图5表示脑波接口系统1及起动装置20的功能模块的构成。以下，参照图5对脑波接口系统1及起动装置20的各构成元件进行说明。

脑波测量部3为例如脑波仪，测量用户2的脑波并输出脑波信号。在脑波接口系统1未起动时，所测量的脑波信号向起动装置20输送。另一方面，在脑波接口系统1已经起动时，所测量的脑波信号向功能控制部5输送。

功能控制部5响应于接收到来自起动装置20的起动触发而开始动作。功能控制部5向后述的输出部6输出功能控制信号。功能控制信号为用于控制设备的功能的信号。例如，基于功能控制信号进行脑波接口系统的菜单选择画面的输出控制、基于脑波的菜单选择控制、TV影像的显示控制等。

输出部6将对用户2的视觉刺激及菜单选择画面、影像等向TV画面12上输出。

起动装置20包括起动判定部4。起动判定部4在脑波接口系统1不发挥功能时，向输出部6发送用于控制输出部6的单一项目的视觉刺激的提示及闪烁的刺激控制信号。另外，起动判定部4将从脑波测量部3获取的脑波信号中、以视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较。而且，根据比较结果来确定是否向功能控制部5输出起动触发。通过向功能控制部5输出起动触发，可以使脑波接口系统1起动。

在本实施方式中，利用用户2的脑波，由起动判定部4判断用户2是否利用脑波接口系统，即，用户2是否使功能控制部5的用户接口功能动作。起动判定部4的具体的动作后面有述。

如上所述，脑波接口系统1用于提供利用用户2的脑波信号来操作TV11的接口。用户2的脑波信号通过安装于用户2的头部的脑波测量部3来获取，用有线或无线向起动判定部4发送。内装于TV11的本实施方式的起动装置20利用构成脑波的一部分的叫做事件相关电位的成分识别用户2的起动意向，向功能控制部5输出起动触发。

当接受到起动触发时，功能控制部5将用于在TV画面12上显示菜单画面的功能控制信号向输出部6输出。另外，在本实施方式中，功能控制部5也内装在TV11内。

图6表示显示于TV画面12的菜单画面61。功能控制部5利用构成脑波的一部分的叫做事件相关电位的成分识别用户2的起动意图，从显示于TV画面12的多个选择项目中选择用户2所希望选择项目(62a、62b、62c、62d)，基于选择结果进行接收频道的切换等处理。这种人机接口就是本申请说明书中言及的“脑波接口”。

图7表示本实施方式的脑波接口系统1及起动装置20的硬件构成。

功能控制部5、脑波测量部3即脑波仪71、输出部6、起动装置20的起动判定部4，连接在总线72上，经由总线72进行各构成元件间的信号接收。若功能控制部5基于用户2的脑波信号执行脑波接口功能，则结果是将生成的指示信号向输出部6输送。

在本实施方式中，输出部6包括图像处理电路75和TV11。图像处理电路75基于从功能控制部5接收的指示信号进行图像处理，生成控制信号并将其送到TV11。其结果是，TV11进行动作。

另外，虽然说明了将起动装置20及功能控制部5内置于TV11，但在和脑波接口系统的关系中，它们也可以不内置于TV11。因此，在图7中，起动判定部4、功能控制部5和TV11作为独立的构成而记载。另外，在脑波仪71用无线发送用户2的脑波信号的情况下，在脑波仪71中含有无线的发送部，在总线72上连接有无线的接收部。

起动装置20的起动判定部4具有CPU73a、RAM73b、ROM73c。CPU73a从RAM73b中读出存储于ROM73c的计算机程序73d，在RAM73b上展开并执行。起动判定部4根据该计算机程序73d而判断后述的脑波接口系统的起动需要否的处理。另外，ROM73c也可以为可重写的ROM(例如，EEPROM)。

功能控制部5具有CPU74a、RAM74b、ROM74c。CPU74a、RAM74b、ROM74c各自的功能和起动判定部4的同名的构成要素相同。存储于ROM74c的计算机程序74d对用于实现脑波接口功能的处理进行规定，并作为其结果，起动判定部4及功能控制部5的功能不同。另外，也可以将起动判定部4及功能控制部5的CPU、RAM及ROM共通化，而仅仅另外设计计算机程序，从而简化结构。

输出部6具有图像处理电路75。图像处理电路75按照CPU73a、CPU74a的指示，将用于使脑波接口起动用图标在TV11的画面上闪烁，或用于在画面上显示脑波接口的菜单的影像信号输出。另外，通过功能控制部5的控制，图像处理电路75也进行TV的基本功能即影像输出处理。

上述的计算机程序记录于CD-ROM等记录介质并作为成品在市场上流通，或者，通过网络等电通信线路进行传输。另外，起动判定部4及功能控制部5也可以作为在半导体电路中装有计算机程序的DSP等硬件而实现。

图8表示脑波接口系统1的处理流程。在步骤S881中，在TV画面12上显示TV影像。此为通常时的TV11的状态。

在步骤S882中，起动判定部4输出刺激控制信号，如图1所示那样控制显示于TV画面12的局部的图标13的闪烁，并基于从脑波测量部3获取的脑波信号，判定用户2的脑波接口起动意向。该判定处理的具体的说明后面有述。在判定为用户2无起动意向的情况下，处理返回步骤S881，直到判定到用户2的起动意向前继续TV影像的显示和图标的闪烁。在判定为用户2有起动意向的情况下，处理进入步骤S883。

在步骤S883中，通过功能控制部5开始动作，将脑波接口起动。而且，在下一步骤S884中，用户2利用脑波接口，经由菜单画面，选择所希望的选择项目。通过步骤S883的脑波接口处理，而选出用户2所希望的选择项。关于脑波接口处理的详情，后面有述。

在步骤S885中，功能控制部5执行所选择的功能。执行功能后，返回步骤S881。通过再次显示TV影像而成为脑波接口的起动待机状态。或者，如果所选择的功能为TV11的电源OFF(关)，则处理结束。

图9(a)～(d)表示在脑波接口系统1中操作TV11而用户2看到希望视听的种类的节目时的例子。

图9(a)为在画面12上显示以规定的频率闪烁的起动图标13。当用户2看到该起动图标13时，当起动判定部4进行判定时，将功能控制部5起动，并可利用脑波接口。同时显示图9(b)的菜单项目画面。

图9(b)为功能控制部5经由TV的画面12向用户提示的菜单的例子。在画面上显示“想看哪个节目？”这种询问24、和想看的节目的候补即选择项。在此，显示有“棒球”25a、“天气预报”25b、“动画片”25c及“新闻”25d四类选择项。

在图9(b)的例子中，首先选择最上面的棒球25a，且进行高亮显示。“高亮显示”是指比其他项目更明亮的背景的显示、明亮的文字色的显示、或用光标等进行指示的显示。在此，在用户2看到时，只要系统侧传播当前希望注意哪个项目即可。第四个“新闻”25d的下一个节目是再返回第一个节目棒球。

图9(c)为由脑波仪18获取的、用户2的脑波信号的事件相关电位。将获取事件相关电位的起点设定为各选择项高亮显示的瞬间。而且，从脑波信号中提取自该瞬间起例如从200ms前到1秒后的事件相关电位。由此，可以获取用户2对高亮显示的项目的反应。

现在，假设认为用户2希望看“天气预报”25b。若观察分别对应于选择项25a～25d的脑波信号26a～26d中、高亮显示“天气预报”时的用户2的脑波信号26b，则在以高亮显示“天气预报”的时刻为起点潜伏期(潜時)约300ms后出现特征性的阳性成分(P300成分)。因此，功能控制部5将检测到P300成分的选择项作成用户2希望视听的节目，并将频道切换到天气预报的频道。图9(d)表示选择了天气预报的频道后的画面27。

图10表示功能控制部5的脑波接口起动后的处理顺序。

在脑波接口起动后的步骤S891中，功能控制部5显示图9(b)所示的菜单23。功能控制部5在步骤S892中选择例如“棒球”25a的项目，在下一步骤S893中，高亮显示已选择的“棒球”25a的项目。

在步骤S894中，以项目的高亮显示为起点，功能控制部5利用从脑波测量部3输出的脑波信号获取事件相关电位。

在步骤S895中，功能控制部5判定在已获取的事件相关电位中是否存在由希望选择的项目的高亮显示引起的波形变化。在存在波形变化的情况下，进入步骤S896，在不存在波形变化的情况下，返回步骤S892，并进行下一项目(例如“天气预报”25b)的高亮显示。通过识别P300成分的有无，可以判定现已获取的脑波的波形是对应于用户2希望选择的项目的波形，还是对对应于不希望选择的项目的波形。

在步骤S896中，功能控制部5执行对应于呈现P300成分的项目的功能(频道切换)。

通过上述的处理，用户2即使不操作按钮也能够利用脑波选择菜单项目。另外，在步骤S892中，项目被依次选择，但也可以为随机地提示的方法。由此，由于事前不明白要选择哪个项目，因此有可能会相当谨慎地选择菜单。

图11表示与本实施方式的脑波接口的起动相关的处理顺序。在此，例举图1所示的画面进行说明。在例如用户2安装有脑波仪的状态下只视听TV节目时，执行图11所示的处理。

在步骤S800中，脑波测量部3从安装于用户2的头部的时点开始测量。在用户2视听TV11的节目时，脑波测量部3也持续进行脑波信号的测量。

在步骤S801及步骤S802中，起动判定部4重复以规定的间隔在TV画面12上使图标13点亮、以规定的间隔使图标13熄灭的处理，从而使图标13闪烁。

和其动作并行，在步骤S803中，起动判定部4从由脑波测量部3测量到的脑波信号中切换出包括以点亮图标13的时刻为起点的P200成分的范围的事件相关电位。另外，在步骤S804中，起动判定部4在以点亮图标13的时刻为起点后的约200ms的前后50ms的区间内检索阳性的极大值，并将其振幅作为P200成分而提取。

在步骤S805中，起动判定部4判定P200成分是否超过预先设定的阈值。预先设定的阈值为例如4μV。根据图3A的曲线(a)及(b)的例子，若将4μV设定为阈值，则能够基于P200成分判定有无起动意向。

在步骤S805中，在P200成分超过阈值的情况下，处理进入步骤S806。另一方面，在P200成分未超过阈值的情况下，处理返回步骤S801，接着，继续图标13的闪烁。

在步骤S806中，起动判定部4向功能控制部5输出起动触发，功能控制部5响应于对该起动触发的接收而开始向用户2提供脑波接口。

这样，通过解析图标13点亮时的用户2的脑波，可以判定是否需要脑波接口的起动，并根据该判定结果，能够切换脑波接口系统1的处理。

如上所述，能够实现一种脑波接口系统，其能够通过获取用户的脑波信号，进行脑波接口的起动和基于脑波的菜单项目选择。由于仅仅利用脑波即可以实现用于由脑波接口的起动、执行及切换后的处理构成的一系列的处理的操作，因此能够提供实用的脑波接口系统。因此，即使在例如家务过程中及怀抱婴儿时那种、两手脱不开的状况下，也能够使脑波接口起动，并能够控制设备的动作。

在上述的例子中，将P200成分作为以点亮图标13的时刻为起点后的约200ms的前后50ms的区间的极大值的振幅进行提取。但是，这是一例。在存在多个阳性的极大值的情况下，也可以检索其中的最大值。或者，也可以不检索极大值，而是检索该区间的阳性的峰值(最大值)。或者，也可以将上述区间的区间平均值作为P200成分进行提取。

另外，和P200成分的值进行比较的阈值为4μV，但这也是一例。在将来自脑波测量部3的输出放大时，只要为乘以其放大率的值即可。

在上述的例子中，起动判定部4作为用于使脑波接口系统1起动的功能模块进行了说明。但是，只要是用户将脑波仪安装在头部，且能测量脑波信号，则被起动的未必仅限于脑波接口。例如，设备电源的ON/OFF及视线接口等其他接口的起动也包含在本发明的起动范畴内。

另外，在上述的例子中，输出部6作为在TV画面12上显示起动用图标13、菜单选择画面、影像内容的功能模块进行了说明，但也可以将在起动用图标13那种视觉刺激的显示上特殊化了的输出部，和对菜单选择画面、影像内容进行显示的输出部分离。

例如，图12表示在TV11的画面之外的框架部分设有提示起动用的视觉刺激的光源即LED91的例子。另外，LED91也为本申请说明书中记载的输出部6的范畴。即使是该LED91在远离TV11的画面及其框架的位置并作为与TV11分别独立的硬件被实现的情况，TV11、其LED91也为输出部6的范畴。

另外，在上述的例子中，脑波接口系统1作为操作TV11的接口进行了说明。但是，即使是操作的对象不是TV，而只要是保留能提示视觉刺激的器件的设备，也可适用本发明。

例如，图13表示车辆行驶用信息系统操作时的画面显示例。导航画面101的表示便利店及道路施工中的图标等地图图标102的闪烁也被认为是单一项目的闪烁，可适用本发明。由起动判定部4进行起动判定，且显示对应于地图图标102的详细信息(该店的广告及施工的信息等)的那种接口也为本发明的范畴。

另外，作为另一例，图14表示显示于电子公告板111的画面上的、闪烁的广告图像112。本发明也可适用于在使广告图像112自身闪烁且由起动判定部4进行起动这种判定的情况下、显示其商品的详细信息这种接口。

另外，在本实施方式中，虽然对图标闪烁的间隔以700ms点亮/700ms熄灭的方式成为一定间隔进行了说明，但也可以为随机的间隔及更短周期的点亮/熄灭的重复。在这种情况下，事件相关电位的时刻也以图标点亮的时刻为起点。但是，若极端地缩短图标的点亮定时，则在用于检测P200成分的100ms的区间(事件相关电位的约200ms的前后50ms的区间)内，必然产生多个阳性峰值，势必不能进行P200成分的提取，因此需要以使图标13的闪烁间隔比P200成分的检测区间(100ms)更长的期间进行图标闪烁的方式进行控制。

另外，在上述的例子中，说明了在起动判定部4中，进行每次图标点亮的事件相关电位的出现P200成分的判定，但也可以以将图标点亮时的多次点亮部分的事件相关电位加起来平均后的波形为对象进行是否出现P200成分的判定。通过利用多次闪烁部分的加起来平均后的波形，可以减小闪烁等造成的噪音成分的影响，可以减少起动判定部的误判定的次数。

(实施方式2)

在实施方式1中，图标每一次闪烁都将事件相关电位的P200成分提取，且进行是否具有起动意向的判定。在本实施方式中，为了提高起动判定的精度，还在起动判定部4之前设有利用事件相关电位判定是否注视了图标闪烁的步骤，在未看到图标闪烁的情况下，从起动判定的识别对象中除去，由此，实现减少用户无意图的设备动作。

例如图15(a)所示，判定为用户2未注视图标13时的图标13在TV11的TV画面12左上方较小地闪烁。另一方面，如图15(b)所示，判定为用户2注视乐图标13时，图标13进行更大地显示。

为了说明实现图15(a)及(b)所示的显示的原理，而再次验证上述的实验结果。

表示实验结果的图3A中表示有：表示“具有起动意向并注视了图标”情况的实线(a)、表示“不具有起动意向地看到图标”情况的点划线(b)、及表示“不具有起动意向地视听TV影像”情况的虚线(c)三种图案的事件相关电位。

根据图3A，可知看到TV影像的状态(c)、和看到图标闪烁的状态的(a)或(b)在以图标点亮定时为起点的约100ms的前后50ms的区间内，值会较大地背离。该区间的阴性峰值(极小值)的振幅值叫做“N100成分”。

被认为：N100成分在曲线(a)、(b)、(c)的任一情况下都含有，且不是因噪音的影响而出现的成分。因此，本申请发明人员发现：通过预先利用该N100成分判定用户是否注视图标，可以精度良好地进行图标注视时的起动判定。由此，能够减少用户无意图的设备动作。

下面，对用于使利用上述特征的脑波接口起动的起动装置的构成及动作进行说明。

图16表示本实施方式的脑波接口系统1及起动装置21的功能模块的构成。

起动装置21相对于实施方式1的起动装置20的构成而构成为：新设有判定用户2是否注视乐图标闪烁的刺激注目判定部7。

起动装置21基于由脑波测量部3测量到的脑波信号，判定用户2是否注视了视觉刺激。在判定为注视了的情况下，将脑波测量部3测量到的脑波信号向起动判定部4发送。若接收了脑波信号，则起动判定部4执行判定起动意向的处理。另外，对本实施方式的构成元件中与实施方式1相同的构成元件，附带相同的参照符号，省略其说明。

图17表示关于本实施方式的脑波接口的起动的处理顺序。图17所示的处理和实施方式1的处理(图11)同样，输出部6为TV画面12，且在用户2视听TV影像时执行。

在步骤S200中，由于用户2安装有脑波测量部3，从而脑波测量部3开始用户2的脑波信号的测量。在用户2视听TV影像时，也进行脑波信号的测量。

起动判定部4重复进行以规定的间隔在TV画面12上使图标13点亮的步骤S201、和以规定间隔使图标13熄灭的步骤S202，且使图标13闪烁。由此，如图15(a)所示，起动图标13在显示有TV影像的TV画面12的局部重复闪烁。

在步骤S207中，刺激注目判定部7从由脑波测量部3测量到的脑波信号中，切分出以点亮图标13的时刻为起点的含N100成分的范围的事件相关电位。

在步骤S208中，刺激注目判定部7还在以点亮图标13的时刻为起点的约100ms的前后50ms的区间内检索极小值，将其振幅作为N100成分而提取。

在步骤S209中，刺激注目判定部7判定N100成分是否超过预先设定的阈值。预先设定的阈值为例如-3μV。更通常化时，优选将图3A的曲线(a)及(b)的波形、和曲线(c)的波形之间(例如，中间值)设定为阈值。

在N100成分超过阈值的情况下，处理进入步骤S210。此时意思是指，判定为用户2注视了图标13的闪烁。另一方面，在N100成分未超过阈值的情况下，处理返回步骤S201。此时意思是指，判定为用户2未注视图标13的闪烁。接着，如图15(a)所示，继续较小地显示的状态下的图标13的闪烁。

在步骤S210中，如图15(b)所示，刺激注目判定部7向起动判定部4输出指示信号，以放大图标13的显示尺寸。其目的是，当将图标13的显示尺寸放大后，图标13进入自然界和视野，因此能够缓和意识地注视的程度，并且抑制TV影像造成的对脑波的影响，由此易出现P200成分。起动判定部4接收该指示信号，并向输出部6输出用于较大地显示图标13的刺激控制信号。

另外，在用户2注视图标13的闪烁时较大地显示图标13的这种处理为强调提示视觉刺激的一例。

在下一步骤S203中，起动判定部4基于较大显示的图标的刺激切换出脑波。其后，起动判定部4从步骤S204到步骤S206中进行起动判定处理。关于起动判定的处理，和实施方式1同样，因此省略其说明。

如上所述，在本实施方式中，利用用户2的脑波信号，预先判定用户2是否注视了图标13的闪烁，在注视的情况下，将图标13的闪烁放大，并使其闪烁。由此，可以将基于大的刺激的闪烁的P200成分提取。由于图标大时的P200成分的值比小时的P200成分的值大，因此能够更明确地区别有起动意向、无起动意向或TV视听中。

在上述的例子中，将N100成分作为以使图标13点亮的时刻为起点的约100ms的前后50ms的区间的极小值的振幅进行提取。但是，这是一例。在存在多个极小值的情况下，也可以检索其中的最小值。或者，也可以不检索极小值，而是检索该区间的阴性的峰值(最小值)。或者，也可以将上述区间的区间平均值作为N100成分进行提取。

(实施方式3)

在实施方式1及2中，成为刺激的图标的闪烁例举如下：脑波接口系统进行控制，作为操作对象的设备向输出部6提示刺激。但是，在我们的生活中，正在利用的设备有许多，控制那些所有的设备的闪烁是很困难的。

因此，在本实施方式中，不是对脑波接口系统综合控制闪烁定时进行说明，而是对在每个设备以各设备独自的时刻进行闪烁的情况下也可适用的起动接口进行说明。

在我们生活中，看到招牌及氖广告、电子公告板等闪烁着的各种各样的设备。这些为了吸引顾客的视线而进行闪烁，作为设置招牌及广告的广告主的最终目的，是让顾客认知详情，或让顾客购买商品。

但是，顾客即使看到招牌并感兴趣，当经过长时间后也会将感兴趣的事情忘掉，大多牵涉不到最终的购买活动。另外，当广告主对顾客进行过度的广告时，尤其是对不感兴趣的顾客来说，不需要的信息成为强加，影响顾客的情绪，反而，很有可能减少顾客的购买机会。

因此，只要是能够只对那些对广告主设置的招牌及广告感兴趣的顾客进行提供减价购物券等提高购买欲的活动，就能够高效地促进购买活动。顾客侧也能够只获取与自己感兴趣的广告相关的信息，从而能够进行高效的信息收集。

将上述的“顾客”当作“用户”，将“兴趣”当作“显示详细功能的起动意向”，从而可适用于本发明的脑波接口系统及其起动装置。

图18表示本实施方式的脑波接口系统1及其起动装置195的利用环境。在本实施方式中，将起动装置195装入手机192中，另外，在起动装置195上设有上述实施方式中说明的起动判定部4等。

用户2将脑波仪71及照相机191安装在头部，利用脑波仪71持续地测量脑波。照相机191为检测进入用户2的视野的闪烁物(例如，招牌194)而设，向着用户2的前方。

这种脑波接口系统1及其起动装置195在以下的状况下进行利用。例如，如果用户2在大街上散步时，看到闪烁着的广告中、想了解详细信息的广告，则在具有起动意向的同时注视广告的闪烁。

如果起动装置195判定了用户2的起动意向，则在所带的手机192中进行预先设定的功能的起动。

例如，西餐馆的招牌194正在闪烁，用户2具有显示详细信息的起动意向，并注视招牌194的闪烁。于是，起动装置195判定用户2的起动意向，在作为脑波接口系统的输出部的手机192的显示屏193上显示西餐馆的减价优惠券。

图19表示本实施方式的脑波接口系统1及其起动装置195的功能模块的构成。相对于实施方式1的起动装置20的构成，新设有闪烁检测部9。闪烁检测部9确定外部的闪烁物的闪烁定时的判定、和起动判定时执行的功能。而且，闪烁检测部9将表示闪烁定时的信息和对起动判定时执行的功能进行特别指定的功能控制信息，向起动判定部4输出。

起动判定部4基于表示闪烁定时的信息，对视觉刺激的提示时刻进行特别指定，并进行实施方式1中说明的处理，判定是否将起动触发输出。在输出起动触发的情况下，也将用于执行与从闪烁检测部9接收到的功能控制信息相对应的功能的控制信号一并输出。

图20表示与本实施方式的脑波接口系统的起动相关的处理顺序。

在步骤S400中，用户2安装有脑波测量部3，由此脑波测量部3开始测量用户2的脑波信号。

在步骤S401中，闪烁检测部9基于朝向用户2的前方的照相机的影像，探索视野中是否存在闪烁着的物体，而检测其存在。

在其后的步骤S403中，闪烁检测部9在检测到起动意向的情况下确定执行的功能。具体而言，闪烁检测部9用照相机191拍摄闪烁着的便利店的招牌及标志等，通过图像处理进行图案识别、及/或通过获取利用了标签的物体信息，而对闪烁着的物体进行特别指定。而且，闪烁检测部9基于预规定有保持的店/物体信息和动作功能的对应关系的数据库，确定执行功能。

图21表示数据库之一例。对与步骤S403相关的、数据库的利用方法进行说明。例如，在视线朝向图18所示的招牌194的方向的情况下，安装在视线方向的照相机191拍摄招牌194的影像而输出影像信号。闪烁检测部9获取所输出的影像信号，在拍摄到的影像中，检测闪烁着的被摄体即招牌194，进行图像的图案识别。

闪烁检测部9基于图像的图案识别结果，并参照图21的数据库，根据参照结果，判定为闪烁着的招牌194是“黛莉西亚斯(デリシヤス)西餐馆”的招牌，将判定用户2的起动意向时执行的功能设定为“显示减价优惠券”。

再次参照图20。和步骤S403并行，闪烁检测部9进行步骤S404的处理。步骤S404以后的处理为利用用户2的脑波信号的起动判定处理。

在步骤S404中，闪烁检测部9检测闪烁物体点亮的时刻，将执行功能的内容和点亮定时发送到起动判定部4。

步骤S405、S406、S407和图11的步骤S803～S806相同，起动判定部4进行利用P200成分的起动单身判定。

在P200成分未超过阈值的情况下，返回步骤S404的点亮刺激检测，重复处理。反之，在P200成分超过阈值的情况下，在步骤S408中，起动判定部4按照由闪烁检测部9确定的执行功能，将执行的功能的起动触发向功能控制部5输出。该结果是，即使对于脑波接口系统1没有进行闪烁定时的控制的设备，也能够进行起动意向的判定。

(实施方式4)

在实施方式1中，对如下方法进行了说明：为了将TV保留的一个功能(脑波接口)起动，使一个图标闪烁，且利用图标点亮时的事件相关电位P200成分，进行起动判定。

在我们的生活环境中，除TV以外，也存在有许多设备及功能。若利用本发明来实现这些设备及功能，仅仅基于一个图标闪烁的一个功能的起动，是不充分的。

另外，通过使附属于各设备的图标轮流地闪烁，可以利用事件相关电位的P300成分，而选择用户想使用的设备。在被选择的设备的数量多达十数个或数十个的情况下，当使那些设备的图标轮流地点亮时，需要非常多的时间，很难以用户所希望的时刻选择想使用的设备。

因此，在本实施方式中，通过以多个时刻使每一设备的图标闪烁，来实现判定用户对哪个图标具有起动意向并注视了的起动接口。这种起动接口被认为是，用多个时刻进行单一种类的视觉刺激的起动意向判定的处理，因此可适用本发明的内容。

在本实施方式中，不是以TV为对象的脑波接口系统的起动，而是以微波炉及电磁烹调器等设备的操作接口为对象而进行说明。具体而言，对利用设备的LED的闪烁将设备的电源进行ON/OFF的起动接口进行了说明。

另外，关于利用脑波控制设备的事项，和实施方式1同样。因此，在本实施方式中，包括这种起动装置的系统整体叫做“脑波接口系统”。

图22表示本实施方式的脑波接口系统1及起动装置22的利用环境。脑波接口系统1及起动装置22在厨房内做家务的状况下进行利用。

在厨房内洗衣服及烹调等使用两手的作业较多，其作业中，用户2不能进行其他的作业。另一方面，用户2必须同时操纵多个设备及烹调用具。

本申请发明人员着眼于请求对多个操纵的设备及烹调用具进行简单的控制，而用起动装置22实现了设备的起动及动作的停止。由此，即使在用户2放不开手的作业中，也可以使各种设备起动，使动作停止。

用户2安装有脑波仪71。起动装置22包括起动判定部4和闪烁定时控制部8。起动装置22以无线接收由脑波仪71检测到的用户2的脑波信号。

设置于厨房的电磁烹调器141a及微波炉141b等各设备具有LED等刺激提示部(61a、61b)和设备控制部5，以各不相同的定时闪烁着。闪烁定时利用闪烁定时控制部8以闪烁开始时刻和闪烁周期进行管理，且按照各设备的闪烁定时不重复的方式进行控制。另外，起动装置22以无线控制LED(142a、142b、142c、…、142n)的闪烁定时，向各设备的功能控制部(5a、5b、5c、…、5n)输出起动触发。

用户2对希望控制的设备所附带的LED的闪烁进行注释。在用户2具有起动意向并注视的情况下，以LED点亮的时刻为起点的事件相关电位的P200成分取比较高的值。若用户2具有起动意向并继续注视，则按照LED的闪烁定时，P200成分继续出现。因此，通过将该LED的闪烁定时和P200成分的产生定时进行比较，能够特别指定用户2注视着哪个设备的LED。此时，起动装置22为了进行预定于各设备的控制，向所选择的设备的功能控制部5发送起动触发。

图23表示各设备的LED142a～142n的点亮定时的关系。各设备以预定的点亮定时重复点亮。图24是图22所示的各设备的设备名、设置于各设备的闪烁装置的点亮定时、和对应的设备动作的之间的对应的例子。基于该对应，进行P200成分的产生时刻检测，确定设备的动作。

再次参照图23，对闪烁定时和P200成分的产生时刻的比较方法进行说明。闪烁定时控制部8控制各设备的LED的点亮开始定时和闪烁周期，并且以各设备的LED点亮定时不重复的方式进行管理。闪烁定时控制部8根据点亮开始定时和闪烁周期，预测各设备的闪烁定时。

由预测结果可知，在判明多个设备的LED的点亮定时重复的情况下，将一设备的LED的点亮定时错位到与另一设备的LED的点亮定时不重复的时刻。例如，闪烁定时控制部8使分配给各设备的设备序号大的一方的设备的LED的点亮定时滞后100ms。由此，能够按照闪烁定时不重复的方式进行控制。

另外，当多个设备的LED的闪烁定时的P200成分的检测区间重复时，有可能不能判定在重复的区间产生的阳性峰值是在哪些设备的LED上反应的P200成分。因此，闪烁定时控制部8按照各闪烁定时的P200成分的检测区间不重复的方式(以各设备的LED闪烁定时不为100ms以下的方式)进行调整。闪烁定时控制部8在根据点亮开始时刻和闪烁周期预料到重复的情况下，将一设备的LED的点亮定时修正为比另一设备的LED的点亮定时滞后100ms以上的时刻。

各设备(141a、141b、141c、…、141n)随着上述的闪烁定时控制部8的控制，使各设备所保持的刺激提示部61即LED(142a、142b、142c、…、142n)闪烁。在全部设备的点亮定时中，起动判定部4进行事件相关电位的测量，检测所测量到的事件相关电位中具有P200成分的事件相关电位，并判定该P200成分的产生定时。另外，起动判定部4将P200成分的产生时刻和各设备的LED的点亮定时进行比较，探索时刻一致的定时，由此特别指定对哪个设备具有了起动意向。

图25表示本实施方式的脑波接口系统1及起动装置22的功能模块的构成。本实施方式的构成相对于实施方式1而言，在起动装置中新设有闪烁定时控制部8，并且在脑波接口系统1中设有刺激提示部61a、61b、…。

例如，图25所示的最上段的设备具备刺激提示部61a、输出部6a、功能控制部5a。刺激提示部61a利用LED等提示刺激。输出部6a将设备的功能向用户2输出。功能控制部5a执行对其设备预先设定的功能。

脑波接口系统1的其他设备也同样地被构成。

起动装置22的闪烁定时控制部8综合控制各设备所保持的刺激提示部61的点亮/熄灭的时刻。

图26表示与本实施方式的脑波接口系统的起动相关的处理顺序。

图26中，主要的是，由闪烁定时控制部8执行左侧的处理，由起动判定部4执行右侧的处理。

在步骤S300中，闪烁定时控制部8基于图24所示的各设备的点亮开始时刻及点亮周期，预测各设备的点亮定时。而且，在步骤S301中，闪烁定时控制部8判定那些点亮定时重复的时刻是否存在。在重复的时刻存在的情况下，处理进入步骤S302，在不存在的情况下，进入步骤S303。

在步骤S302中，闪烁定时控制部8将一设备的闪烁定时错开100ms以上。由此，关于点亮定时重复的该时刻，重复被消除。但是，点亮定时错开的结果是，有可能因和其他设备的点亮定时的关系而产生重复。因此，处理再次返回步骤S300，闪烁定时控制部8重复从步骤S300到步骤S302的处理直到重复消失。

在步骤S303中，闪烁定时控制部8向各设备发送控制信号，使各设备的LED点亮。通过前边的步骤S300～S302的处理，持续点亮的只是一个设备的LED。

在步骤S304中，若将任一设备的LED点亮，闪烁定时控制部8将判定触发向起动判定部4输出。该判定触发，为了对在后述的起动判定部4中用于提取事件相关电位的P200成分的基点进行确定而利用。

在步骤S305中，闪烁定时控制部8将各设备的LED点亮定时记录在记录介质(未图示)上。该结果是，如步骤S310所示，判定触发信息被储存在记录介质上。判定触发信息记述有例如用于特别指定设备的设备ID、其设备的点亮定时等。“其设备的点亮定时”可以是其设备实际点亮的时刻，也可以是距前一点亮定时的差分值。

在步骤S306中，闪烁定时控制部8使各设备的LED熄灭。

从步骤S303到步骤S306的处理为某设备点亮后到熄灭的处理。图23所示的设备的每次点亮都进行这些处理。

接着，对步骤S320以后的处理进行说明。

在步骤S320中，起动判定部4等待判定触发的检测。若检测到判定触发，则在步骤S321中，起动判定部4接收判定触发。

在下一步骤S322中，起动判定部4接收判定触发后直到经过250ms都等待处理。其理由是，为了提取P200成分，需要LED点亮后的(即，接收判别触发后)从150ms到250ms的脑波信号。如果经过，则处理进入步骤S323，如果未经过，则处理返回步骤S320。

在步骤S323中，起动判定部4从来自脑波测量部3的脑波信号切换出以判定触发的接收时刻为起点的含P200成分的范围的事件相关电位。而且，起动判定部4在自其基点约200ms的前后50ms的区间内，检索阳性的极大值，将其振幅作为P200成分而提取。

在步骤S324中，起动判定部4判定P200成分是否超过预先设定的阈值。在超过的情况下，处理进入步骤S325，在未超过的情况下，处理返回步骤S320。

在步骤S325中，起动判定部4基于储存在步骤S310的判定触发信息，确定其判定触发被输出时已点亮的设备。例如，当实质上同时进行闪烁定时控制部8实现的判定触发的输出和起动判定部4实现的判定触发的接收时，起动判定部4以其判定触发的接收时刻为基础，检索判定触发信息，并特别指定在其时刻已点亮的设备。

在步骤S326中，起动判定部4从存储器(未图示)中读出所确定的设备的控制数据。其结果是，在步骤S327中，起动判定部4当用户2希望操作时，向已特别指定的各设备的功能控制部5输出起动触发。其设备能够响应该起动触发的接收而开始起动。

例如，在用户2的事件相关电位的P200成分的出现时刻和微波炉141b的LED142b的点亮定时一致的情况下，起动判定部4从图24所示的控制数据中读出选择了微波炉141b时的设备动作，向微波炉141b保持的功能控制部5b输出“开始加热”这种起动触发。接收了起动触发的微波炉141b的功能控制部5b控制输出部6b并执行加热功能。

根据上述那种构成，在控制对象的设备多达数十个的情况下，也不会长时间等待图标点亮，能够以用户所希望的时刻进行利用脑波的事件相关电位的控制。

另外，在上述的例子中，起动装置22作为脑波仪71以及与各设备分体的结构进行了说明，但即使是内装于脑波仪71或各设备的结构，也为本发明的范畴。

另外，在本实施方式中，将操作对象作为微波炉及电磁烹调器等设备，且利用设备的LED的闪烁将设备的电源进行ON/OFF这样的起动接口的例子进行了说明，但控制对象未必采用设备，也可以以单一的设备中包含的多个功能为控制对象。例如，在如PC那样在一个设备中保持有许多功能的情况下，也可适用本实施方式的结构。

另外，在以一次的图标点亮来对起动的设备进行特别指定的情况下，需要使所有设备的LED点亮定时成为不同的时刻。另外，在LED的点亮定时有可能重复的情况下，也可以通过利用对各设备的每一LED点亮定时加起来平均后的事件相关电位，而进行基于P200成分出现的设备的特别指定。

图27表示将本实施方式的各设备的LED的点亮置换为显示于PC的显示屏的旗帜点亮的例子。

当用户阅览显示在PC显示屏181上的主网页时，看到各种各样的图像广告。这些叫做旗帜。通过点击旗帜，可以使画面过渡到记述有更详细的信息的页面，因此旗帜作为意味着向其他画面的过渡的标志而利用。

许多时候多个旗帜显示在同一页面上。例如，在图27中，显示有三个旗帜182a、旗帜182b、旗帜182c。另外，对旗帜按照用户注目的方式进行使图像闪烁等加工。

上述的本实施方式的各设备的LED的点亮可以置换为显示于PC的显示屏的旗帜的点亮。

例如，在阅览中的页面上存在有想了解详情的旗帜的情况下，用户具有起动意向并注视旗帜的闪烁。内装于PC内的脑波接口系统基于由用户的头部测量的脑波，利用P200成分进行起动意向的判定，将起动意向的出现时刻和旗帜的闪烁定时进行比较，由此能够判定用户具有起动意向而注视了哪个旗帜。通过特别指定用户想了解详情的旗帜，能够过渡到记载有旗帜的详细信息的页面。

这样，通过利用旗帜的闪烁，即使没有鼠标等器件，也能选择所希望的旗帜，能够实现可以向详细显示页面过渡的接口。

产业上的可利用性

根据本发明的脑波接口系统及起动装置，不进行物理操作就可以进行脑波接口的起动，在脑波接口起动后的菜单的选择和确定等所有的阶段，都可以利用用户的脑波进行脑波接口的操作。该系统在需要控制设备的场所，可以广泛地利用。通过将该系统应用于例如信息设备，则即使在车辆的运转中及怀抱婴儿时等离不开手的状况下，只利用脑波就能够进行该信息设备的控制。另外，由于不进行物理操作就可以进行脑波接口的操作，因此应用于佩戴设备等以免提为特征的设备。

权利要求书(按照条约第19条的修改)

1、一种起动装置，其用于起动脑波接口系统，其特征在于，

所述脑波接口系统具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，输出用于控制设备功能的功能控制信号；

输出部，其输出所述功能控制信号，

所述起动装置具备：

起动判定部，其在所述脑波接口系统不发挥功能时，向所述输出部发送用于控制所述输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将从所述脑波测量部获取的所述脑波信号中以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此，根据比较结果确定是否向所述功能控制部输出起动触发；

刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果，开始所述起动判定部的处理，

所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。

2、如权利要求1所述的起动装置，其特征在于，

所述起动判定部以所述视觉刺激的提示时刻为起点而将200±50ms的区间中的事件相关电位的值作为所述P200成分的值，并和所述规定的阈值进行比较。

3、如权利要求1所述的起动装置，其特征在于，

所述起动判定部以所述视觉刺激的提示时刻为起点而将在200±50ms的区间的事件相关电位的极大值、最大值、区间平均值的其中之一作为所述P200成分的值，并和所述规定的阈值进行比较。

4、如权利要求1所述的起动装置，其特征在于，

所述刺激注目判定部，根据用户注目着所述视觉刺激的所述判定结果，对所述起动判定部发出指示，以使所述视觉刺激的提示方法变化。

5、如权利要求1所述的起动装置，其特征在于，

所述脑波接口系统具备拍摄影像并将影像信号输出的摄像装置，

所述起动装置还具备闪烁检测部，所述闪烁检测部基于所述影像信号，检测所述影像内闪烁着的被摄体，并基于所述被摄体的特征量，生成对所述功能控制部所执行的功能进行指示的功能控制信息，且将表示所述被摄体的点亮定时的信息及所述功能控制信息输出，

所述起动判定部，在基于表示所述点亮定时的信息对所述视觉刺激的提示时刻进行特别指定，且对所述功能控制部输出起动触发时，将基于所述功能控制信息的控制信号输出，

所述脑波接口系统的所述功能控制部基于所述起动触发及所述功能控制信息，执行特别指定的功能。

6、如权利要求5所述的起动装置，其特征在于，

所述闪烁检测部保持有对被摄体的特征量和所述功能控制部所执行的功能的对应关系进行规定的数据库，

通过识别所述被摄体的特征量，并基于所述特征量参照所述数据库，特别指定所述功能控制部所执行的功能，输出所述功能控制信息。

7、(修改后)一种起动装置，其用于在具有测量用户的脑波信号的脑波测量部、和多个设备的脑波接口系统中，起动所述多个设备中至少一个设备，其特征在于，

所述多个设备的每个，具有：功能控制部，其输出用于控制设备功能的功能控制信号；以及输出部，其输出所述功能控制信号，

所述起动装置具备：

闪烁定时控制部，其按照对各设备的输出部进行重复视觉刺激的提示及熄灭的方式进行控制，并且在其中一个设备中输出对提示了所述视觉刺激的定时进行表示的判定触发；

保持判定触发信息的记录介质，所述判定触发信息在将所述判定触发的输出定时和输出了所述判定触发时对提示了所述视觉刺激的设备进行特别指定；

起动判定部，其将从所述脑波测量部获取的所述脑波信号中以所述判定触发的接收定时为起点的事件相关电位的P200成分的值和规定的阈值进行比较，并根据比较结果，基于所述判定触发的接收定时和所述判定触发信息，对提示了所述视觉刺激的设备进行特别指定，并对所特别指定的设备的功能控制部输出起动触发；以及

刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果开始所述起动判定部的处理，

所述起动装置通过输出所述起动触发，而使由所述起动判定部所特别指定的所述功能起动。

8、一种起动方法，其用于起动脑波接口系统，其特征在于，

所述脑波接口系统，具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，输出用于控制设备的功能的功能控制信号；

输出部，其输出所述功能控制信号，

所述起动方法包括：

在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；

基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目了所述视觉刺激的步骤；

根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；

根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；

在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动的步骤。

9、一种计算机程序，其在已装入脑波接口系统的起动装置中执行，其特征在于，

所述脑波接口系统，具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，将用于控制设备的功能的功能控制信号输出；

输出部，其输出所述功能控制信号；

所述计算机程序使所述起动装置的计算机执行如下步骤：

在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；

基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目着所述视觉刺激的步骤；

根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；

根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；

在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动的步骤。

Claims (9)

1、一种起动装置，其用于起动脑波接口系统，其特征在于，

所述脑波接口系统具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，且基于解析结果，输出用于控制设备功能的功能控制信号；

输出部，其输出所述功能控制信号，

所述起动装置具备：

起动判定部，其在所述脑波接口系统不发挥功能时，向所述输出部发送用于控制所述输出部的单一项目的视觉刺激的提示及熄灭的刺激控制信号，且将从所述脑波测量部获取的所述脑波信号中以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较，由此，根据比较结果确定是否向所述功能控制部输出起动触发；

刺激注目判定部，其基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目所述视觉刺激，并根据判定结果，开始所述起动判定部的处理，

所述起动装置通过输出所述起动触发，而使所述脑波接口系统起动。

2、如权利要求1所述的起动装置，其特征在于，

所述起动判定部以所述视觉刺激的提示时刻为起点而将在200±50ms的区间中的事件相关电位的值作为所述P200成分的值，并和所述规定的阈值进行比较。

3、如权利要求1所述的起动装置，其特征在于，

所述起动判定部以所述视觉刺激的提示时刻为起点而将在200±50ms的区间的事件相关电位的极大值、最大值、区间平均值的其中之一作为所述P200成分的值，并和所述规定的阈值进行比较。

4、如权利要求1所述的起动装置，其特征在于，

所述刺激注目判定部，根据用户注目着所述视觉刺激的所述判定结果，对所述起动判定部发出指示，以使所述视觉刺激的提示方法变化。

5、如权利要求1所述的起动装置，其特征在于，

所述脑波接口系统具备拍摄影像并将影像信号输出的摄像装置，

所述起动装置还具备闪烁检测部，所述闪烁检测部基于所述影像信号，检测所述影像内闪烁着的被摄体，并基于所述被摄体的特征量，生成对所述功能控制部所执行的功能进行指示的功能控制信息，且将表示所述被摄体的点亮定时的信息及所述功能控制信息输出，

所述起动判定部，在基于表示所述点亮定时的信息对所述视觉刺激的提示时刻进行特别指定，且对所述功能控制部输出起动触发时，将基于所述功能控制信息的控制信号输出，

所述脑波接口系统的所述功能控制部基于所述起动触发及所述功能控制信息，执行特别指定的功能。

6、如权利要求5所述的起动装置，其特征在于，

所述闪烁检测部保持有对被摄体的特征量和所述功能控制部所执行的功能的对应关系进行规定的数据库，

通过识别所述被摄体的特征量，并基于所述特征量参照所述数据库，特别指定所述功能控制部所执行的功能，输出所述功能控制信息。

7、一种起动装置，其用于在具有测量用户的脑波信号的脑波测量部、和多个设备的脑波接口系统中，起动所述多个设备中至少一个设备，其特征在于，

所述多个设备的每个，具有：功能控制部，其输出用于控制设备功能的功能控制信号；以及输出部，其输出所述功能控制信号，

所述起动装置具备：

闪烁定时控制部，其按照对各设备的输出部进行重复视觉刺激的提示及熄灭的方式进行控制，并且在其中一个设备中输出对提示了所述视觉刺激的定时进行表示的判定触发；

保持判定触发信息的记录介质，其在将所述判定触发的输出定时和输出了所述判定触发时，对提示了所述视觉刺激的设备进行特别指定；

起动判定部，其将从所述脑波测量部获取的所述脑波信号中以所述判定触发的接收定时为起点的事件相关电位的P200成分的值和规定的阈值进行比较，并根据比较结果，基于所述判定触发的接收定时和所述判定触发信息，对提示了所述视觉刺激的设备进行特别指定，并对所特别指定的设备的功能控制部输出起动触发，

所述起动装置通过输出所述起动触发，而使由所述起动判定部所特别指定的所述功能起动。

8、一种起动方法，其用于起动脑波接口系统，其特征在于，

所述脑波接口系统，具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，输出用于控制设备的功能的功能控制信号；

输出部，其输出所述功能控制信号，

所述起动方法包括：

在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；

基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目着所述视觉刺激的步骤；

根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；

根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；

在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动的步骤。

9、一种计算机程序，其在已装入脑波接口系统的起动装置中执行，其特征在于，

所述脑波接口系统，具有：

脑波测量部，其测量用户的脑波信号；

功能控制部，其解析所述脑波信号中包含的事件相关电位，并基于解析结果，将用于控制设备的功能的功能控制信号输出；

输出部，其输出所述功能控制信号；

所述计算机程序对所述起动装置的计算机执行如下步骤：

在所述脑波接口系统不发挥功能时，对所述输出部，发送用于对所述输出部的单一项目的视觉刺激的提示及熄灭进行控制的刺激控制信号的发送步骤；

基于以所述视觉刺激的提示时刻为起点的所述事件相关电位的N100成分，判定用户是否注目了所述视觉刺激的步骤；

根据判定结果，将由所述脑波测量部获取的所述脑波信号中、以所述视觉刺激的提示时刻为起点的事件相关电位的P200成分的值和规定的阈值进行比较的步骤；

根据比较结果，确定是否对所述功能控制部输出起动触发的步骤；

在确定了对起动触发进行输出时，所述起动装置通过输出所述起动触发，使所述脑波接口系统起动。

Images