CN101932989B - 脑波识别方法的调整装置、方法以及计算机程序 - Google Patents

Abstract

在具备利用脑波的接口的系统中，能够减少用户无意图的设备工作。脑波识别方法的调整装置用于脑波接口系统中。该系统包括：生物体信号测量部，其获取用户的脑波信号；和脑波接口部，其通过输出部，按照有规律的顺序来提示构成操作菜单的多个菜单项目中的每一个菜单项目，并采用预先决定的规定的识别方法，对各菜单项目被强调后的脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的事件关联电位，来使设备工作。调整装置具有：分析部，其求出菜单项目被强调前的事件关联电位的波形的斜率；和判断部，其对由分析部求出的波形的斜率和阈值进行比较，并按照比较结果，判断为与斜率相对应的菜单项目是用户希望选择的菜单项目。

Description

脑波识别方法的调整装置、方法以及计算机程序

技术领域

本发明涉及能够利用脑波来操作设备的接口(interface)(脑波接口)系统。更具体地，涉及具有如下装置的脑波接口系统，该装置为了实时测量用户的脑波并准确进行解析，而采用脑波接口使用时的用户的脑波中在菜单项目强调(highlight)前出现的阴性成分，来判断用户是否处于发出用于选择菜单项目的脑波的状态，并去除未发出用于选择的脑波的情况。

背景技术

近年来，电视机、便携式电话、PDA(Personal Digital Assistant，个人数字助理)等各种各样的信息设备得到普及，正在进入人们的生活当中，所以用户有必要在日常生活的大多数情况下操作信息设备。通常，用户用手经由按钮等输入机构(接口部)输入输入命令，从而实现设备操作。但是，当例如在做家务、育儿、驾驶等这样双手由设备操作以外的作业所占用的状况下，难以利用接口部来进行输入，不能实现设备操作。因此，用户有较强烈的需求想要在所有状况下操作信息设备。

针对这样的需求，正在开发利用了用户的生物体信号的输入机构。例如，在非专利文献1中公开了如下技术，即，采用脑波的事件关联电位(Event-Related Potential)来识别用户想要选择的选择分支。具体说明非专利文献1中记载的技术，随机地对选择分支进行强调，以选择分支被强调的时刻为起点，利用大约300ms后出现的事件关联电位的P3成分，实现对用户想要选择的选择分支的识别。根据该技术，用户不用手就能够指定想要选择的选择分支。

这里，所谓“事件关联电位”是指，在时间上与外部或内部的事件关联而产生的脑部的暂时性的电位变动。脑波接口利用作为外部事件通过对视觉进行刺激而得到的事件关联电位。例如，如果利用相对于视觉刺激的事件关联电位中的、被称为所谓P3成分的成分，就能够进行切换频道、选择希望收听收看的节目类别、调整音量等处理。所谓“P3成分”是指，事件关联电位中的、与听觉、视觉、身体感觉等感觉刺激的种类无关的目标刺激提示后250ms至500ms的时间段中出现的阳性成分。

为了将事件关联电位应用到接口中，以较高的精度来识别对象的事件关联电位(例如P3成分)是非常重要的。为此，必须精度良好地来测量生物体信号，并通过适当的识别方法来精度良好地识别所测量到的生物体信号。

识别率低下的原因可以大致分为2种。第一个原因是，与脑波中含有在脑波接口中利用的成分(P3成分等)无关，S/N较低或识别方法的精度较低。由此，难以进行精度较高的识别，识别率低下。第二个原因是，根据例如被实验者的状态，对象的脑波成分原本没有出现，所以无法进行识别。由于脑波接口硬要进行识别，所以输出错误的识别结果。其结果就是识别率低下。

针对上述第一个原因，正在分别开发去除脑波中混入的噪声的方法、精度较高的识别方法。例如，在专利文献1中，公开了如下技术，即，通过利用带通滤波器，在去除脑波中所含噪声中的、商用电源噪声等以与识别对象(事件关联电位)的频率不同的频率而混入的噪声后，来进行识别，从而提高识别率。此外，在专利文献2中，作为去除用单纯的频率滤波器难以去除的眼电等来自生物体的噪声的技术，公开了如下技术，即，通过将含有眼电的实验从识别对象中排除在外，来提高识别率。

针对上述第二个原因，采用了所谓对不出现对象的脑波成分的环境进行排除的方法。具体来说，采用了以下方法，即，在现有实验室条件下的实验中，通过指导在排除了干扰的实验室中集中进行课题，并且通过使其按下确认按钮等来统一管理被实验者的状态，从而使得反应稳定地出现。

专利文献1：国际公开第2005/001677号小册子

专利文献2：JP特开平10-146323号公报

非专利文献1：Emanuel Donchin(エマニユエル·ドンチン)，另外2名，“The Mental Prosthesis：Assessing the Speed of a P300-BasedBrain-Computer Interface”，IEEE TRANSACTIONS ON REHABILITATIONENGINEERING，Vol.8，2000年6月

非专利文献2：人戸野宏、「心理学のたあの事象関連電位ガイドブツク」、北大路書房、2005年、32頁(入户野宏，“心理学用事件关联电位指南”，北大路书房，2005年，32页)

但是，当在电视或DVD录像机等日常使用的实际设备的操作过程中利用脑波接口时，并不只限于用户集中于画面显示。换句话来说，并不只是用户的脑波中总是出现用于选择菜单的脑波。

例如，无论是否提示了脑波接口的画面，用户在并行进行其他的作业(例如家务或育儿)时，都会发生专注于该作业而未看到菜单的情形。在这种情形下，难以始终注视接口画面。此外，在用户对下一次选择的菜单项目进行选择的过程中，如果开始菜单项目的强调，就会产生用于菜单选择的脑波未出现这样的情形。为了对下一次选择的菜单项目进行选择，用户需要时间。因此，认为在脑波接口菜单提示后立即出现用于选择的脑波是令人难以理解的。

上面例子对应了上述第二个原因，即对象的脑波成分原本未出现这样的情形。由于可想象这样的情形较多，所以认为无法基于脑波来进行识别的情形在增加。

但是，在用户未看到菜单项目时，用户想要选择的菜单项目即使被强调，P3成分也不出现。但是，在例如与P3成分相似的波形的噪声偶然混入的情况下，会选择用户并不想选的菜单项目。这是由实验室条件的实验未假设的课题，是在日常测量脑波并利用于接口时，首次被认识到的问题。

发明内容

本发明的目的在于，在日常利用脑波接口操作设备的状况下，减少用户无意图的设备工作。

基于本发明的调整装置用于脑波接口系统中，其中，上述脑波接口系统具有：输出部，其在视觉上提示设备的操作菜单；生物体信号测量部，其获取用户的脑波信号；和脑波接口部，其经由上述输出部，按照有规律的顺序，来提示构成上述操作菜单的多个菜单项目中的每一个菜单项目，并采用预先决定的规定的识别方法，对各菜单项目被强调后的上述脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的上述事件关联电位，来使上述设备工作；基于本发明的调整装置是一种用于调整上述脑波接口部的上述识别方法的装置，其中，上述识别方法是按照上述脑波信号是否与预先决定的基准相符合，来识别上述事件关联电位的成分的方法；上述调整装置包括：分析部，其求出上述菜单项目被强调前的上述事件关联电位的波形的斜率；和判断部，其对由上述分析部求出的上述波形的斜率和阈值进行比较，并按照比较结果，判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目。

在由上述分析部求出的上述波形的斜率比规定的负的阈值小的情况下，上述判断部可以判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目，并针对上述脑波接口部，基于上述判断结果，使上述设备工作。

在判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目时，上述判断部可以对上述脑波接口部进行指示，以便不进行上述各菜单项目被强调后的上述脑波信号中所含有的事件关联电位的成分的识别。

上述判断部可以通过用时间(s)除上述事件关联电位(μV)来求出上述波形的斜率，并将其与上述负的阈值即-4进行比较。

在由上述分析部求出的上述波形的斜率比阈值大的情况下，上述判断部不对上述脑波接口部进行指示，上述脑波接口部可以识别各菜单项目被强调后的上述脑波信号中所含有的事件关联电位的成分。

上述分析部可以从上述脑波接口部获取对强调的时间间隔进行表示的信息t，截取时刻t2至时刻t1的事件关联电位的波形，其中，上述时刻t1为上述菜单项目被强调的时刻，上述时刻t2为比上述时刻t1提前规定时间的时刻。

上述分析部可以通过最小二乘法(least-square-method)来求出截取出的上述事件关联电位的波形的斜率。

基于本发明的调整方法用于脑波接口系统中，其中，上述脑波接口系统具有：输出部，其在视觉上提示设备的操作菜单；生物体信号测量部，其获取用户的脑波信号；和脑波接口部，其经由上述输出部，按照有规律的顺序，来提示构成上述操作菜单的多个菜单项目中的每一个菜单项目，并采用预先决定的规定的识别方法，对各菜单项目被强调后的上述脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的上述事件关联电位，来使上述设备工作；基于本发明的调整方法是一种用于调整上述脑波接口部的上述识别方法的方法，其中，上述识别方法是按照上述脑波信号是否与预先决定的基准相符合，来识别上述事件关联电位的成分的方法；上述调整方法包括：求出上述菜单项目被强调前的上述事件关联电位的波形的斜率的步骤；和对在求出上述斜率的步骤中求出的上述波形的斜率和阈值进行比较，并按照比较结果，判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目的步骤。

基于本发明的计算机程序用于脑波接口系统中，其中，上述脑波接口系统具有：输出部，其在视觉上提示设备的操作菜单；生物体信号测量部，其获取用户的脑波信号；和脑波接口部，其经由上述输出部，按照有规律的顺序，来提示构成上述操作菜单的多个菜单项目中的每一个菜单项目，并采用预先决定的规定的识别方法，对各菜单项目被强调后的上述脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的上述事件关联电位，来使上述设备工作；基于本发明的计算机程序是一种用于调整上述脑波接口部的上述识别方法的计算机程序，其中，上述识别方法是按照上述脑波信号是否与预先决定的基准相符合，来识别上述事件关联电位的成分的方法；上述计算机程序使在上述脑波接口系统中安装的计算机执行如下步骤：求出上述菜单项目被强调前的上述事件关联电位的波形的斜率的步骤；和对在求出上述斜率的步骤中求出的上述波形的斜率和阈值进行比较，并按照比较结果，判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目的步骤。

(发明效果)

根据本发明，在菜单项目强调前，用户的事件关联电位的波形的斜率比阈值大时，基于菜单项目被强调前的脑波(特别是事件关联电位)，能够判断用户希望选择哪一个菜单项目。由此，能够期待处理的高速化，并且能够实现减少用户无意图的设备工作。由此，由于减少了由脑波的识别错误而造成的用户无意图的设备工作，所以能够实现脑波接口的操作性提高。

附图说明

图1是表示脑波接口系统1的结构及利用环境的图。

图2(a)～(c)是表示在脑波接口系统1中操作TV2，用户看到想要收看收听的类别的节目时的例子的图。

图3是表示脑波接口的处理过程A的例子的流程图。

图4是表示脑波接口的处理过程B的流程图。

图5是表示由本申请发明者们实施的随机实验的设备侧的处理过程的流程图。

图6(a)是简化表示向被实验者提示的菜单项目的图，(b)是表示菜单项目的强调的例子的图。

图7(a)及(b)是由本申请发明者们实施的随机实验的参加者侧的流程图。

图8是强调前600ms的事件关联电位的总相加平均波形的图。

图9是由本申请发明者们实施的降序实验的设备侧的处理流程。

图10是由本申请发明者们实施的降序实验的参加者侧的处理流程。

图11是表示降序实验的结果的相加平均波形的图。

图12是表示基于本发明的实施方式的脑波接口系统1的功能块的结构的图。

图13是表示基于本发明的实施方式的脑波接口系统1的处理过程的流程图。

图14是表示脑波接口系统1的处理过程的流程图。

符号说明：

1脑波接口系统

5用户

7输出部

7a画面

10识别方法调整装置

21阴性位移(shift)量逐次分析部

31P3识别要否判断部

50生物体信号测量部

100脑波接口部

具体实施方式

以下，参照附图说明本发明的脑波接口系统及脑波接口系统中装配的识别方法的调整装置的实施方式。

本申请发明者们发现，在用户为了菜单选择而从被强调的选择分支(菜单项目)中关注于菜单项目时，在菜单项目强调前的脑波的事件关联电位中会出现阴性位移。所谓事件关联电位的“阴性位移”是指，事件关联电位随着时间而从正的方向向负的方向渐渐减小其值的现象。典型的，通过对事件关联电位的波形进行直线近似(collinear approximation)，由其斜率为负能够确定。

在本发明中，在具有利用了脑波的接口的系统中，基于菜单项目强调前的用户脑波(特别是事件关联电位)，判断用户希望选择哪一个菜单项目。能够期待处理的高速化，并且能够实现减少用户无意图的设备工作。由此，不新添加视线检测装置等，就能实现在用户未发出用于选择菜单项目的脑波的情况下的检测以及菜单项目的选择。

以下，首先说明脑波接口系统的概况，以及为了搜索用户是否发出用于菜单选择的脑波而特征性的脑波成分，对本申请发明者们实施的实验进行说明，之后，说明识别方法调整装置的结构以及工作。

1、脑波接口系统的概况

图1表示脑波接口系统1的结构及利用环境。该脑波接口系统1对应于后述的本发明的实施方式的系统结构而例示。

脑波接口系统1是用于提供利用用户5的脑波信号来操作TV2的接口的系统。用户5的脑波信号通过用户安装于头部的生物体信号测量部50来获取，采用无线或有线方式向脑波接口部100发送。内置于TV2中的脑波接口部100利用构成脑波的一部分的被称为事件关联电位的成分来识别用户的意图，并进行频道的切换等处理。

图2表示在脑波接口系统1中操作TV2，用户5看到想要收看收听的节目时的例子。

图2(a)是脑波接口部100经由TV2的画面7a向用户提示的菜单的例子。在图2(a)中，从画面7a-1至画面7a-4，分别表示出“棒球”、“天气预报”、“动画”、“新闻”这些菜单项目被依次或随机地进行强调的情形。在本说明书中，将与图2(a)所示的设备操作相关的选择分支组定义为“菜单”，将一个一个选择分支定义为“菜单项目”。通过强调菜单项目，能够测量以各个菜单项目被强调的时刻作为起点的事件关联电位。另外，也可以代替强调，如后述图6(b)那样，利用与强调70一起采用了辅助箭头71的指针(pointer)来提示菜单。

图2(b)示意性表示以菜单项目被强调的时刻为起点来测量出的用户的脑波信号的事件关联电位。现在，假设用户想看到“天气预报”。在与画面7a-1至画面7a-4的每一个相对应的脑波信号201～204中，如果用户5看到“天气预报”被强调了的画面7a-2，则以“天气预报”被强调的时刻为起点，在潜伏时间约400～450ms时出现特征性的阳性的成分(非专利文献1)。

一旦脑波接口部100识别出该P3成分出现，则能够选择被认为是用户想要选择的菜单项目“天气预报”。在图2(c)中示出识别出P3成分的结果，即频道被切换为“天气预报”后的画面7a-5。

图3表示脑波接口的处理过程的例子(处理过程A)。在步骤S101中，脑波接口部100例如提示包括4个菜单项目在内的脑波接口菜单(图2(a)的左侧)。这里，虽然不是必须，但是也可以将询问的语句(图2(a)的右侧)与脑波接口菜单一起进行提示。在步骤S102中，脑波接口部100选择下一次强调的菜单项目。下一次强调的菜单项目可以按照随机的顺序选择，也可以按照降序选择。在步骤S103中，对在步骤S102中选择出的菜单项目进行强调。

在步骤S104中，脑波接口部100以在步骤S103中菜单项目被强调的时刻为起点，例如测量500ms部分的用户的事件关联电位。作为事件关联电位截取的区间如果包含300～500ms中出现的P3成分，则例如可以是800ms、1000ms。这里，对图2(b)中示意表示的脑波信号的事件关联电位201～204进行测量。

在步骤S105中，识别在步骤S104中测量出的事件关联电位中是否包含P3成分。P3成分的识别可以单纯通过波形的最大振幅或波形的某区间的平均电位是否比预先设定的阈值大来进行，也可以如专利文献2所记载的那样，通过求出与利用按每个用户预先测量出的P3成分的相加平均波形而作成的模板(template)之间的相关系数来进行。另外，阈值可以按每个用户来决定。在步骤S105中为“是”的情况下，进入步骤S106，在步骤S105中为“否”的情况下，返回步骤S102，选择下一个菜单项目。

在步骤S106中，脑波接口部100执行与在步骤S105中选择出的菜单项目相对应的处理。由此，选择该菜单项目并执行，并显示图2(c)所示的画面7a-5。例如，用图2的例子来说就是，选择天气预报，并提示天气预报的节目。

根据这样的脑波接口系统1，例如在由于家务和育儿占用了双手的情况下，也能够让用户不用手就操作TV2等设备。由此显著提高了设备的操作性。

在上述的处理中，在菜单项目被强调的时刻，在用户未看到菜单的情况下，或在对选择的菜单项目进行选择的过程阶段中用于选择的脑波未出现的情况下，在步骤S103中不对P3成分进行测量。但是，在步骤S104中获取的事件关联电位中混入噪声(例如眼电)而出现与P3成分相似的波形的情况下，在步骤S105中判断为存在P3成分，在步骤S106中有可能选择用户无意图的菜单项目。

作为另一识别方法，例如将各个菜单项目被强调后的事件关联电位进行比较，选择P3成分出现可能性最高的项目这样的处理过程(后述的处理过程B)，即使采用这种方法也同样有可能选择用户无意图的菜单项目。在采用处理过程B的情况下，由于可以通过事件关联电位的比较来选择与P3成分接近的项目，所以即使混入一些噪声，也能够实现设备工作。

图4中表示脑波接口的处理过程B。另外，对于进行与图3所示的脑波接口的处理过程相同的处理的步骤，附加同一参照符号，省略其说明。在步骤S107中，根据所有的选择项目是否至少曾经被强调过来进行分支。在步骤S107中为“是”的情况下，进入步骤S108，在步骤S107中为“否”的情况下，返回步骤S102，选择下一个菜单项目。

在步骤S108中，计算在步骤S104中获取的每个菜单项目的事件关联电位中含有P3成分的可能性，按每个项目进行比较，并将最接近的菜单项目识别为存在P3成分，并决定为选择项目。每个项目的事件关联电位中含有P3成分的可能性的计算可以如图3中的步骤S104这样，通过单纯地选择最大振幅为最大的项目作为波形的最大振幅值来进行，或者可以通过求出某区间的平均电位的大小并选择平均电位为最大的项目来获取。此外，也可以通过选择与模板之间的相关系数的值较大的项目来进行。

这样，对每个菜单项目的事件关联电位进行比较，通过选择P3成分出现可能性最高的选择项目，从而实现即使混入一些噪声也能进行识别的识别方法。与采用处理过程B的情况相同。但是，由于在用户未看到菜单的情况下，或在对选择的菜单项目进行选择的过程阶段中用于选择的脑波未出现的情况下，也对可能含有P3成分的任何一个菜单项目进行选择，所以有可能选择用户无意图的菜单项目。

这些用户无意图的菜单项目的选择，全都由于设备侧无法判断用户是否发出了用于菜单选择的脑波而发生。如果能够判断是否发出了用于菜单选择的脑波，则在未发出用于菜单选择的脑波的情况下，通过从识别对象中排除等识别方法的调整，能够消除这些无意图的设备工作。

本申请发明者们发现，通过判断利用脑波接口的用户的菜单项目强调前的脑波是否发生了阴性位移，从而能够判断用户是否发出了用于菜单选择的脑波。由此，不新添加视线检测装置等，就能够实现对用户并未发出用于菜单选择的脑波的情况的检测。以下，参照图5至图11来说明本申请发明者们实施的实验以及实验结果。

2、实验

对于2名参加者(男性)，通过改变强调的方法，实施了下面两种实验：按照随机的顺序来进行菜单项目的强调的随机实验；和按照降序来进行强调的降序实验。以右耳朵为基准，从头皮上Pz(国际10-20法)测量脑波。此外，在被实验者的眼前2m的37英寸等离子体显示器中提示视觉刺激。

首先，说明随机实验。在随机实验中，为了调查由于用户是否发出用于选择的脑波而导致的波形的不同，在发出/未发出用于菜单选择的脑波的2种条件下实施实验，并对菜单项目强调前的波形进行比较。

首先，参照图5说明随机实验的设备侧的流程。不管发出或未发出用于菜单选择的脑波的条件是什么，设备侧的流程都相同。

步骤S50是开始被实验者的脑波测量的步骤。

步骤S51是提示脑波接口菜单的4个菜单项目并向用户示出菜单项目的种类的步骤。在图6(a)中，实际上简化示出了向被实验者提示的菜单项目。我们的实验中是2秒间提示。另外，步骤S51还具有在菜单项目强调开始之前使脑波稳定，并减少眼电等噪声的效果。

步骤S52是随机选择下一次强调的菜单项目的步骤。另外，不连续选择同一菜单项目。

步骤S53是对在步骤S52中选择出的菜单项目进行1000ms间强调的步骤。强调的例子在图6(b)中示出。

步骤S54以在步骤S53中菜单项目被强调的时刻为0ms，截取强调前的脑波，并获取事件关联电位。设截取的事件关联电位是从对于前一个强调影响较少的强调前600ms开始至被强调为止的600ms间。

步骤S55基于菜单项目被强调的次数n来进行分支，在强调次数比21小时，进入步骤S52，并重复菜单项目的强调。由此，按每个菜单项目各5次(20次÷4菜单项目)来执行强调。这是用于按照实验方式对事件关联电位重复相加求平均，从而更准确地进行成分确认的步骤。另外，实际上在利用脑波接口的情况下，也可以不必执行步骤S55。

通过上述的步骤S50至步骤S55，能够搜集20次实验的各菜单项目各5次左右被强调时的、以强调作为起点的事件关联电位。

下面，采用图7说明随机实验的参加者侧的流程。

图7(a)是表示发出用于菜单选择的脑波的条件(选择条件)的参加者侧的流程的图。

步骤S61是看到在图5中的步骤S51中提示的菜单的步骤。预先指示被实验者从菜单项目上方开始顺序选择，这里，使视线移动到选择对象的菜单项目上。选择对象项目的指示相当于在实际使用脑波接口时，用户想要实现的设备工作。

步骤S62是如下状态，即，注视选择对象的菜单项目，看到由图5(a)中的步骤S52至S55提示的菜单项目的强调，等待选择对象的菜单项目被强调。

步骤S63基于在步骤S61中选择对象的菜单项目是否被强调来进行分支，在步骤S63中为“是”的情况下，进入步骤S64，在步骤S63中为“否”的情况下，进入步骤S62。

步骤S64是对在步骤S61中选择对象的菜单项目被强调的次数进行心理计数(mental count)的步骤。所谓心理计数是指在心中进行计数。由此可知事件关联电位中产生了P3成分。

步骤S65基于规定次数的强调是否结束来进行分支，在步骤S65中为“是”的情况下，结束，在步骤S65中为“否”的情况下，进入步骤S62。

图7(b)是表示未发出用于菜单选择的脑波的条件(选择不执行条件)的参加者侧的流程的图。对进行与图7(a)中示出的选择条件相同的处理的步骤附加同一参照符号，并省略其说明。

与选择条件的差异在于，没有用于发出用于菜单选择的脑波的步骤S63以及步骤S64。由此，参加者成为不具有选择意图而只看到被强调的菜单项目的状态。

在图8中示出实验结果的一个例子。图8是强调前600ms的事件关联电位的总相加平均波形。由于分析对象的事件关联电位是强调前的区间，所以不论强调是否是选择对象项目，都对所有的强调前的事件关联电位进行相加平均。另外，在强调前50ms的平均电位处进行基线修正，振幅的最大值超过100μV的实验由于可能混入眼电等噪声，所以从识别对象中排除在外。图8中，分别用粗实线和细实线来表示选择条件的总相加平均波形以及选择不执行条件的总相加平均波形。横轴为时间，且单位为ms，纵轴为电位，且单位为μV。在选择条件下，朝向0ms(下一次强调开始)波形进行阴性位移，在选择不执行条件下，看不到阴性位移。采用最小二乘法来求出总相加平均波形的斜率后得到的结果，在选择条件、选择不执行条件下是-7.74μV/s、1.65μV/s。斜率在图8中分别用粗点线、细点线来表示。

该阴性位移反映针对下一个强调的准备状态，被认为是仅在选择条件下出现的成分。由此，在菜单项目被随机强调的脑波接口中，基于有无强调前的阴性位移，能够判断用户是否发出了用于菜单选择的脑波。有无阴性位移的判断容易通过求出的斜率的符号来确定，这与以斜率作为阈值时的、阈值和求出的斜率之间的比较结果同义。

一般作为反映针对刺激的准备状态的阴性位移，已知被称为CNV(Contingent Negative Variation，关联负变化)的伴随性阴性电位出现这种情况。CNV成分是在预告刺激之后等待命令刺激的状态下被记录的平稳的阴性电位，与附带有预期、注意、意欲、动机等的心理要因有较强的关联(例如参考，丹羽真一、鶴紀子：「事象関連電位事象関連電位と神経情報科学の発展」、新興医学出版社、1997年、P189(丹羽真一、鹤纪子：“事件关联电位事件关联电位和神经信息科学的发展”，新兴医学出版社，1997年，P189))。但是，以前并不知道在脑波接口利用时，与用户是否发出用于菜单选择的脑波相关联地在阴性位移量中产生差。

下面，说明降序实验。与随机实验不同，在按照降序来对菜单项目进行强调的降序实验中，用户能够预期下一次被强调的菜单项目，没有必要为了对所有的强调进行是否是选择对象的判断而等待强调。因此，在降序实验中，在用户发出用于菜单选择的脑波的条件下，实施实验，并调查针对强调的形式的不同对阴性位移所带来的影响。此外，从强调前的脑波中调查是否能够判断选择对象的菜单项目。

首先，采用图9说明降序实验的设备侧的流程。对进行与图5所示的随机实验相同的处理的步骤附加同一参照符号，并省略其说明。

与随机实验的差异在于，按照降序每350ms来对菜单项目进行强调。

步骤S71是按照降序来选择下一次强调的菜单项目的步骤。

步骤S72是对在步骤S71中选择出的菜单项目进行350ms间强调的步骤。

步骤S73以在步骤S72中菜单项目被强调的时刻为0ms，截取从强调前500ms开始至被强调为止的500ms间的脑波，并获取事件关联电位。

下面，采用图10说明降序实验的参加者侧的流程。

图10是表示降序实验的参加者侧的流程的图。对于进行与图7所示的随机实验的参加者侧的流程相同的处理的步骤附加同一参照符号，并省略其说明。在降序实验中，在参加者发出用于菜单选择的脑波的选择条件下实施实验。

与图7所示的随机实验的参加者侧的流程之间的差异在于，在降序实验中，由于能够预期下一次被强调的菜单项目，所以并不是如随机实验那样对每次强调都实施是否是选择对象菜单项目的判断(图7(a)的步骤S63)。

在降序实验中，参加者能够预期选择对象的菜单项目何时被强调的时刻。由此，被认为仅在预期的时刻的周边来进行强调检测的准备，并检测选择对象菜单项目的强调。

步骤S81基于选择对象的菜单项目的前一个或前两个(多个)菜单项目是否被强调来进行分支，在步骤S81中为“是”的情况下，进入步骤S82，在步骤S81中为“否”的情况下，进入步骤S62。

步骤S82接受在步骤S81中对选择对象菜单项目的前一个或前两个(多个)菜单项目进行强调的事实，进行心理计数的准备。

步骤S83是对选择对象的菜单项目强调进行检测的分支，在步骤S83中为“是”的情况下，进入步骤S64，在步骤S83中为“否”的情况下，进入步骤S82。

图11中示出实验结果的一个例子。图11是按照如下方式得到的波形，即，基于是从选择对象菜单项目起算的前几个菜单项目，来对从各菜单项目强调前500ms开始至被强调为止的500ms间的事件关联电位进行总相加平均(2名)后得到的波形。另外，在强调前50ms的平均电位处进行基线修正，由于振幅的最大值超过100μV的实验有可能混入了眼电等噪声，所以从识别对象中排除在外。图11中用粗实线来表示在0ms时选择对象的菜单项目被强调时的总相加平均波形(以下，设为波形0)，用细实线来表示选择对象项目的前一个、前两个、前三个菜单项目被强调时的总相加平均波形(以下，设为波形1、波形2、波形3)。由图11可知，在0ms时，选择对象的菜单项目被强调之前的总相加平均波形(波形0)相对进行较大的阴性位移，其他波形1至3实际上不存在向阴性的位移。此外，采用最小二乘法，求出各个总相加平均波形的斜率后得到的结果是，波形0的斜率是-7.85μV/s，波形1至波形3的斜率分别为5.56μV/s、-0.78μV/s、2.82μV/s。斜率在图11中重叠示出。作为对波形0和波形1～3进行识别的斜率的阈值，例如能够采用-4或-5(μV/s)。

在波形0中出现的阴性位移被认为是，在按照降序实验那样在能够预期菜单项目强调的设定下来实施强调的情况下，反映了针对选择对象的菜单项目的强调的准备状态。此外，选择对象的菜单项目以外被强调时，不出现阴性位移。所以可以说，在能够预期菜单项目强调的设定下，能够基于菜单项目强调前的事件关联电位是否进行了阴性位移，来判断在菜单项目强调前用户选择了哪个菜单项目。此外，在能够预期菜单项目强调的设定下来实施强调时，在至少一个菜单项目强调前，如果波形发生阴性位移，则可以判断为用户发出了用于选择的脑波。

以下，说明本发明识别方法调整装置以及包括该调整装置在内的脑波接口系统。

一般可以说，在例如如降序那样按照有规律的顺序来提示刺激的情况下，由于能够预测用户进行反应(希望选择的菜单项目被强调)的时刻，所以P3成分的振幅变小，P3成分的识别变困难。由此，在重视识别精度的脑波接口中，按照随机顺序进行强调的情况较多，而避开降序强调的设定。

但是，如果从用户对于选择的负荷的观点来看，仅在预测到的强调时刻进行反应的降序强调与必须对所有强调来判断是否是选择对象的随机强调相比，负担较少。相对于此，本发明的识别方法调整装置求出在多个菜单项目按照降序被强调时的用户脑波中的、菜单项目强调前的事件关联电位的斜率，并基于求出的斜率来判断用户是否发出了用于菜单选择的脑波，并进一步判断哪个斜率发生了阴性位移。并且，在用户未发出用于菜单选择的脑波的情况下，从识别对象中排除在外，减少用户无意图的设备工作，在用户发出用于菜单选择的脑波的情况下，能够确定用户希望选择哪个菜单项目。

3、本发明的脑波接口系统的实施方式

根据上述降序实验的结果可知，在按照降序来强调菜单项目时，仅仅基于菜单项目强调前的阴性位移量，就能够判断用户选择了哪个菜单项目。

基于该结果，在本实施方式的脑波接口系统中，按照降序来强调菜单项目，并按每次强调来求出强调前的事件关联电位的斜率(阴性位移量)，根据阴性位移量来判断选择对象的菜单项目。这样，通过以强调前的事件关联电位的阴性位移量作为指标来进行判断，就能够在强调之前判断选择对象的菜单项目，而不需要用于从强调后的事件关联电位中识别P3成分的等待时间。其结果，能够实现强调后立即工作从而响应良好、操作性优良的脑波接口。

以下，说明本实施方式的脑波接口系统。

图12表示本实施方式的脑波接口系统1的功能块的结构。脑波接口系统1具有：输出部7、识别方法调整装置10、生物体信号测量部50、和脑波接口(IF)部100。图12还示出调整装置10的详细功能块。为了说明简便而示出用户5的块。另外，输出部7示出向用户5提示菜单等的画面。

用户5仅仅注意看与由脑波接口部100向输出部7提示的设备操作相关的菜单项目是否被强调，而不进行操作输入，但是设备按照经由脑波接口部100而选择出的菜单项目进行工作。

识别方法调整装置10通过有线或无线方式与生物体信号测量部50以及脑波接口部100连接，进行信号的发送以及接收。在图12中，生物体信号测量部50以及脑波接口部100与识别方法调整装置10是不同的个体，这是例子。生物体信号测量部50以及脑波接口部100的一部分或全部也可以设置在识别方法调整装置10内。或者也可以由一个设备来实现。

生物体信号测量部50是检测用户5的生物体信号的脑波计，测量脑波作为生物体信号。脑波计也可以是图1所示的头戴式(head mount)脑波计。令用户5预先安装脑波计。

当在用户5的头部安装时，按照与头部的规定位置相接触的方式在生物体信号测量部50中配置电极。电极的配置例如是Pz(正中头顶)、A1(耳朵)、以及用户5的鼻根部。其中，电极最低2个即可，例如仅在Pz和A1处就可进行电位测量。该电极位置由信号测量的可靠性和安装的容易程度等来决定。

其结果，生物体信号测量部50能够测量用户5的事件关联电位。测量出的用户5的脑波被取样，以便能够由计算机进行处理，并向脑波接口部100以及识别方法调整装置10发送。另外，为了减少混入脑波中的噪声的影响，对在生物体信号测量部50中测量的脑波预先进行例如0.05至20Hz的带通滤波处理，并在菜单项目强调前的例如50ms的平均电位处进行基线修正。

脑波接口部100按照随机顺序，例如以1秒间隔向用户提示与设备操作有关的菜单项目，截取并识别由生物体信号测量部50测量出的脑波。并且，按照识别结果来控制设备工作。脑波接口部100中的基本工作如前所述。

如果利用脑波接口部100来进行控制的设备例如为图1所示的TV2，则菜单经由输出部7在视觉上向用户5提示。

脑波接口部100以菜单项目被强调的时刻作为起点，对由生物体信号测量部50测量出的用户5的菜单项目强调后的脑波，例如截取出比P3成分的峰值潜伏时间更长的500ms部分，从而来识别波形。截取脑波的时间可以将从波形的峰值开始的返回部分也考虑在内，可以是1000ms部分。作为事件关联电位的识别方法，可以单纯是对波形进行阈值处理，也可以如专利文献2所记载的那样，求出与利用按每个用户来预先测量出的P3成分的相加平均波形而作成的模板之间的相关系数。用于识别的参数根据后述的方法由识别方法调整装置10来调整。

下面，说明本实施方式的识别方法调整装置10的详细结构。本发明的主要特征之一在于识别调整装置10的结构以及工作。

识别方法调整装置10具有：阴性位移量逐次分析部21、和P3识别要否判断部31。

阴性位移量逐次分析部21从脑波接口部100获取表示菜单项目强调的间隔的信息。此外，阴性位移量逐次分析部21在由生物体信号测量部50测量出的用户5的菜单项目强调前，并且接受之前的菜单项目强调的影响较少的时间带的脑波信号(更详细地，为事件关联电位)的信息，并截取事件关联电位的波形，从而求出波形的斜率。

这里，所谓“影响较少的时间带”是指，例如设菜单项目强调的间隔为1秒(1000ms)，设被强调的基准时刻为0ms，则阴性位移量逐次分析部21截取从-600ms至0ms的事件关联电位的波形。并且，阴性位移量逐次分析部21进一步在附加了2Hz的低通滤波器后求出波形的斜率。针对该“600ms”的值，阴性位移量逐次分析部21将其作为用于从基准时刻追溯并截取从而确定开始时刻的偏移(offset)值来保持。该值当然比菜单项目的强调间隔t短。另外，阴性位移量逐次分析部21可以从脑波接口部100获取对这样的强调间隔t进行确定的信息，并基于该信息，适当设定比强调间隔短的偏移值(T)。其结果，阴性位移量逐次分析部21能够截取时刻t2至强调时刻t1的事件关联电位的波形，并通过最小二乘法求出波形的斜率，其中，该时刻t2(＝t1-T)比强调时刻t1提前时间T。

为了求出波形的斜率，例如采用最小二乘法。截取波形的区间，按照菜单项目强调的间隔，可以是前一个菜单项目强调的影响较少的时间带。另外，可以按每次强调并根据1次实验的波形来求出阴性位移量，并进行判断，也可以根据对相对于到此为止的强调的波形进行相加平均后而得到的波形来求出阴性位移量，并进行判断。

P3识别要否判断部31判断从阴性位移量逐次分析部21接受到的波形的斜率是否为例如阈值以下，并判断在脑波接口部100中是否需要识别P3成分。阈值可以按每个用户来求出，也可以预先按照例如-5μV/s这样来设定。

在本实施方式中，仅由用户提示时的阴性位移量来判断用户是否发出了用于菜单选择的脑波，并决定选择项目。P3识别要否判断部31在某强调前的波形的斜率为阈值以下时，判断为该强调是选择项目，并在脑波接口部100中进行调整，以便不进行P3成分的识别。例如P3识别要否判断部31对脑波接口部100指示不进行P3成分的识别。同时，P3识别要否判断部31对脑波接口部100进行指示，以便使设备基于该强调是选择项目这样的判断结果来工作。

反之，在波形的斜率为阈值以上时，P3识别要否判断部31什么也不做，在脑波接口部100中进行P3成分的识别。脑波接口部100基于来自生物体信号测量部50的菜单项目强调后的规定期间内(例如0～500ms)的事件关联电位，来确定选择出的菜单项目。

通过这样的结构，基于强调前的阴性位移量，在脑波接口部100中能够判断在强调后的事件关联电位中是否需要进行P3成分的识别。由此，在强调前的阴性位移量为阈值以下时，能够在强调前进行选择对象的菜单项目的判断，从而能够实现响应良好且操作性优良的脑波接口，而不需要用于从强调后的事件关联电位中识别P3成分的等待时间。

通过这样的结构，能够以强调前的脑波的阴性位移量作为指标，来判断用户希望选择的菜单项目。由此，能够减少用户无意图的设备工作，实现用户易于使用的脑波接口。此外，由于在使菜单项目的强调进行一次轮回时，能够预测用户想要选择的菜单项目是否存在，从而能够迅速进行处理。

下面，参照图13的流程图来说明在脑波接口系统1中进行的全部处理的过程。

图13表示本实施方式的脑波接口系统1的处理过程。另外，图13所示的步骤S101至步骤S106与图3所示的脑波接口的处理过程相同。由此，在以下省略这些说明。其中，步骤S102中的项目选择按照降序来进行。

在步骤S201中，阴性位移量逐次分析部21截取在步骤S104中由生物体信号测量部50测量出的脑波中强调前的脑波，在附加了低通滤波器后，按每次强调逐次求出波形的斜率。截取脑波的时间长度可以为菜单项目的强调被轮回一次的间隔的一半左右。低通滤波器可以按照截取时间，例如设定为2Hz。为了求出波形的斜率，例如采用最小二乘法。

接下来的步骤S301，在P3识别要否判断部31中，基于预先保持的阈值、在步骤S201中由阴性位移量逐次分析部21逐次求出的针对某菜单项目强调的强调前的波形的斜率、和阈值之间的比较结果，来进行分支。

波形的斜率比阈值小时(步骤S301中为“是”)，判断为用户想要选择该菜单项目，并进行调整，以便不进行脑波接口部100中的P3成分的识别，之后进入步骤S106，执行判断出的菜单项目。

反之，在波形的斜率为阈值以上时(步骤S301中为“否”)，P3识别要否判断部31什么也不做，就进入步骤S105，在脑波接口部100中进行P3成分的识别。另外，由于仅由阴性位移量来决定选择项目，所以步骤S301中的阈值与步骤S201的阈值相比较，可以较严格地来设定。

根据这样的处理，按照降序来强调菜单项目，能够按每次强调来逐次求出强调前的脑波的阴性位移量，并基于阴性位移量来调整是否需要进行脑波接口部100中的P3成分识别。

另外，也可以进行将图13中所示的本实施方式的处理和图14中所示的处理组合后得到的处理。例如，在识别方法调整装置10中，可以保存阈值a、阈值b(阈值a＞阈值b)，进行与某次强调前的事件关联电位波形的斜率x之间的比较，并进行如下处理：(1)在阈值b＞斜率x时，如图13的处理这样，将该次强调判断为选择项目，不进行P3识别，(2)在阈值a＞斜率x＞阈值b时，进行图14的处理，调整P3识别的参数，(3)在阈值a＜斜率x时，什么也不做。

另外，图14中记载的、除掉步骤S202的所有步骤的说明按照与图3以及图13关联地进行了说明的步骤。在步骤S202中，P3识别要否判断部31对预先保持的阈值、和在步骤S201中由阴性位移量逐次分析部21逐次求出的菜单项目强调前的波形的斜率进行比较，根据是否比阈值小，来调整脑波接口部100的识别参数。在波形的斜率比阈值小时，例如进行降低P3成分识别的阈值等变更，以便容易判断为在强调后含有P3成分。反之，在波形的斜率为阈值以上时，例如采用提高P3成分识别的阈值等方法进行变更，以便容易判断为不含有P3成分。

通过在本实施方式的脑波接口系统1中设置识别方法调整装置10，从而按照降序来强调菜单项目，并按每次强调来逐次求出强调前的事件关联电位的斜率(阴性位移量)，在波形的斜率为阈值以下时，调整识别方法，以便不在脑波接口部100中进行P3成分的识别。这样，在强调前的阴性位移量为阈值以下时，能够在强调前判断选择对象的菜单项目，从而实现响应良好且操作性优良的脑波接口，而不需要用于进行从强调后的事件关联电位中识别P3成分的等待时间。

在上述实施方式中，在阴性位移量比阈值小时(图13的步骤S301的“是”)，判断为用户选择了该菜单项目，并进行了调整，以便不进行脑波接口部100中的P3成分的识别。但是，在该情况下，通过基于强调前的事件关联电位来缩小用户希望选择的菜单项目的候补，之后，在脑波接口部100中进行P3成分的识别，从而可以判断在判断结果中是否包含该候补。其结果，被认为精度变得更高。

在上述实施方式中，上下配置菜单项目的强调(例如图6)，从其上方向下方按照降序来强调菜单项目。但是这是个例子。如果基于菜单项目的配置以及强调的顺序，在用户能够预测下次哪个菜单项目被强调的情况下，本领域技术人员就能够容易判断得到图11所示的事件关联电位这一情形。由此，例如，在按照固定的方向依次强调倾斜排列的菜单项目的情况下，或按照递增顺序(从下向上)来强调的情况/按照用户学习到的某顺序(例如跳过一个/使用频度的顺序)来强调的情况等中，也能够进行本发明的菜单选择处理。

针对上述实施方式，采用流程图进行说明的处理能够作为使计算机执行的程序来实现。这样的计算机程序作为产品在CD-ROM等记录介质中记录并在市场上流通，或者通过互联网等电气通信电线进行传送。构成识别方法处理装置的全部或者一部分的构成要素和脑波接口部能够作为执行计算机程序的通用处理器(半导体电路)来实现。此外，可以作为将这样的计算机程序和处理器一体化后得到的专用处理器来实现。

工业利用性

根据本发明的识别方法调整装置以及装配了识别方法调整装置的脑波接口系统，能够根据正操作脑波接口的用户的强调前的脑波的阴性位移量，来检测用户未发出用于菜单选择的脑波这一情形。由于没有必要添加视线检测装置等，所以能够抑制成本，并抑制系统的规模。

根据识别方法调整装置以及脑波接口系统，能够基于菜单项目被强调前的脑波(特别是事件关联电位)，来判断用户希望选择哪个菜单项目。由此，能够期待处理的高速化，并且实现减少用户无意图的设备工作。例如在通过脑波接口来操作可佩戴设备(头戴显示器或音乐播放器)时，由于肌电、眼电、商用电源引起的噪声混入，从而认为脑波识别变困难，但是通过使用本发明的识别方法调整装置，能够实现难以受噪声影响的脑波接口。另外，由于这样的识别方法调整装置的功能能够通过例如计算机程序来实现，所以不需要大规模改变系统，且容易安装。

Claims (7)

1.一种脑波识别方法的调整装置，用于脑波接口系统中，上述脑波接口系统具有：

输出部，其在视觉上提示设备的操作菜单；

生物体信号测量部，其获取用户的脑波信号；和

脑波接口部，其通过上述输出部，按照有规律的顺序，来提示构成上述操作菜单的多个菜单项目中的每一个，并采用预先决定的规定的识别方法，对针对各菜单项目的上述脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的上述事件关联电位，来使上述设备工作，

上述调整装置是用于调整上述脑波接口部的上述识别方法的装置，其特征在于，

上述识别方法是按照上述脑波信号是否与预先决定的基准相符合，来识别上述事件关联电位的成分的方法，

上述调整装置包括：

分析部，其求出上述菜单项目被强调前的上述事件关联电位的波形的斜率；和

判断部，其对由上述分析部求出的上述波形的斜率和阈值进行比较，在由上述分析部求出的上述波形的斜率比规定的负的阈值小的情况下，判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目，在上述波形的斜率为上述规定的负的阈值以上的情况下，不对上述脑波接口部进行指示，

其中，在将单位为ms的时间作为横轴，将单位为μV的电压作为纵轴，来表示上述事件关联电位时，上述分析部通过上述事件关联电位除以时间来求出上述波形的斜率，

上述判断部将上述波形的斜率与作为上述负的阈值的-4μV/s进行比较。

2.根据权利要求1所述的调整装置，其特征在于，

在上述判断部判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目时，针对上述脑波接口部，基于上述判断结果，使上述设备工作。

3.根据权利要求1所述的调整装置，其特征在于，

在判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目时，上述判断部对上述脑波接口部指示不进行针对上述各菜单项目的上述脑波信号中所含有的事件关联电位的成分的识别。

4.根据权利要求2所述的调整装置，其特征在于，

在上述判断部不对上述脑波接口部进行指示时，

上述脑波接口部识别针对各菜单项目的上述脑波信号中所含有的事件关联电位的成分。

5.根据权利要求2所述的调整装置，其特征在于，

上述分析部从上述脑波接口部获取表示强调的时间间隔的信息t，截取时刻t2至时刻t1的事件关联电位的波形，其中，上述时刻t1为上述菜单项目被强调的时刻，上述时刻t2为比上述时刻t1提前规定时间的时刻。

6.根据权利要求5所述的调整装置，其特征在于，

上述分析部通过最小二乘法来求出截取出的上述事件关联电位的波形的斜率。

7.一种调整方法，用于脑波接口系统中，上述脑波接口系统具有：

输出部，其在视觉上提示设备的操作菜单；

生物体信号测量部，其获取用户的脑波信号；和

脑波接口部，其通过上述输出部，按照有规律的顺序，来提示构成上述操作菜单的多个菜单项目中的每一个，并采用预先决定的规定的识别方法，对针对各菜单项目的上述脑波信号中所含有的事件关联电位的成分进行识别，基于识别出的上述事件关联电位，来使上述设备工作，

上述调整方法是用于调整上述脑波接口部的上述识别方法的方法，其特征在于，

上述识别方法是按照上述脑波信号是否与预先决定的基准相符合，来识别上述事件关联电位的成分的方法，

上述调整方法包括以下步骤：

求出上述菜单项目被强调前的上述事件关联电位的波形的斜率的步骤，其中，在将单位为ms的时间作为横轴，将单位为μV的电压作为纵轴，来表示上述事件关联电位时，通过上述事件关联电位除以时间来求出上述波形的斜率；和

对在求出上述斜率的步骤中求出的上述波形的斜率和阈值进行比较，在求出上述斜率的步骤中求出的上述波形的斜率比规定的负的阈值小的情况下，判断为与上述斜率相对应的上述菜单项目是上述用户希望选择的菜单项目，在上述波形的斜率为上述规定的负的阈值以上的情况下，不对上述脑波接口部进行指示的步骤，其中，将上述波形的斜率与作为上述负的阈值的-4μV/s进行比较。

Images