用于识别生物体信号所表示的信息的系统
技术领域
本发明涉及用于识别生物体信号所表示的信息的系统。
背景技术
一直以来,进行了在轮椅、假手、假腿等设备的控制中使用肌肉电信号等生物体信号的尝试(专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2001-331250号公报
发明内容
发明要解决的课题
然而,识别肌肉电信号等生物体信号所表示的动作是何动作的精度依然不够。特别是生物体信号的等级低时或多个动作的生物体信号混杂时的识别精度低。
本发明目的在于,通过提供一种能够提高生物体信号的识别精度的、用于识别生物体信号所表示的信息的系统来解决上述课题。而且,目的还在于,提供一种将用于识别生物体信号所表示的信息的系统适用于康复领域或诊断领域的手指康复装置及咽下诊断装置。
用于解决课题的方案
本发明提供例如以下的项目。
(项目1)
一种用于识别生物体信号表示的信息的系统,其中,所述系统包括:
检测单元,检测生物体信号;
解析单元,其对检测到的所述生物体信号进行解析而输出特征数据;
第一确定单元,确定所述特征数据与多个示教数据中的各个示教数据的类似度;
存储单元,按照各时刻而时序地存储所述类似度;及
第二确定单元,其基于存储于所述存储单元的时序的类似度中的规定期间内的多个类似度,来确定所述生物体信号所表示的信息。
(项目2)
根据项目1记载的系统,其中,
所述第二确定单元基于所述规定期间内的多个类似度,按每多个所述示教数据算出运算值,
所述第二确定单元提取与所述运算值中的最高的运算值对应的示教数据,并将提取到的所述示教数据所表示的信息确定为所述生物体信号所表示的信息。
(项目3)
根据项目1记载的系统,其中,
所述第二确定单元基于所述规定期间内的多个类似度,按每多个所述示教数据算出运算值,
所述第二确定单元提取与所述运算值中的超过规定的阈值的运算值对应的至少一个示教数据,并将提取到的所述示教数据所表示的信息确定为所述生物体信号所表示的信息。
(项目4)
根据项目3记载的系统,其中,
所述第二确定单元提取与所述运算值中的超过规定的阈值的运算值对应的多个示教数据,并将提取到的多个所述示教数据各自表示的信息确定为所述生物体信号所表示的信息。
(项目5)
根据项目4记载的系统,其中,
所述生物体信号所表示的信息表示进行了复合动作。
(项目6)
根据项目2~5中任一项记载的系统,其中,
所述运算值是合计值。
(项目7)
根据项目1~6中任一项记载的系统,其中,
所述存储单元是暂时存储信息的缓冲器,所述类似度暂时存储于所述缓冲器。
(项目8)
根据项目1~7中任一项记载的系统,其中,
所述规定期间为约80~200ms。
(项目9)
根据项目1~8中任一项记载的系统,其中,
所述系统还包括用于将所述检测单元穿戴于对象的身体用的穿戴单元。
(项目10)
根据项目9记载的系统,其中,
所述身体是所述对象的上肢、腹部、颈部、下肢或背部。
(项目11)
根据项目1~10中任一项记载的系统,其中,
所述系统为手指康复用、咽下诊断用、轮椅用、假手用、假臂用、假腿用、机器人用、上肢辅助装置用、下肢辅助装置用或体干辅助装置用的系统。
(项目12)
一种手指康复装置,其中,包括:
项目1~11中任一项记载的系统;及
手指运动援助装置。
(项目13)
一种咽下诊断装置,其中,包括项目1~11中任一项记载的系统。
发明效果
根据本发明,能够提供一种能够提高生物体信号的识别精度的、用于识别生物体信号所表示的信息的系统。而且,能够提供一种将用于识别生物体信号所表示的信息的系统也适用于康复领域或诊断领域的手指康复装置及咽下诊断装置。
附图说明
图1是表示本发明的用于识别生物体信号所表示的信息的系统10的结构的一例的图。
图2是表示计算机装置200的结构的一例的图。
图3是表示通过第一确定单元222使用的神经网络300的结构的一例的图。
图4是表示在存储器部230的缓冲器中存储的类似度的数据结构的一例的图。
图5是表示本发明的用于识别生物体信号所表示的信息的处理的一例的流程图。
图6A是表示在存储器部230的缓冲器中存储的类似度的一例的图。
图6B是说明第二确定单元223通过将缓冲器中存储的时序的类似度中的规定期间内的多个类似度按照各示教数据进行合计而得到合计值的情况的图。
图6C是说明第二确定单元223通过将缓冲器中存储的时序的类似度中的规定期间内的多个类似度按照各示教数据进行合计而得到合计值的情况的图。
图6D是表示在存储器部230的缓冲器中存储的类似度的另一例的图。
图6E是说明第二确定单元223通过将缓冲器中存储的时序的类似度中的规定期间内的多个类似度按照各示教数据进行合计而得到合计值的情况的图。
图6F是说明第二确定单元223通过将缓冲器中存储的时序的类似度中的规定期间内的多个类似度按照各示教数据进行合计而得到合计值的情况的图。
图7A是表示手指运动援助装置700的外观的图。
图7B是表示将手指运动援助装置700穿戴于使用者的手指的状态的图。
图8是表示识别从受验者的上肢的皮肤上穿戴的肌肉电传感器检测到的肌肉电信号所表示的动作的实验的结果的曲线图。
图9是将图8的曲线图的虚线部分放大的曲线图。
图10是表示识别从肌肉电信号的等级低的受验者的上肢的皮肤上穿戴的肌肉电传感器检测到的肌肉电信号所表示的动作的试验的结果的曲线图。
图11是将图10的曲线图的虚线部分放大的曲线图。
具体实施方式
以下,对本发明进行说明。本说明书中使用的用语只要没有特别提及,就应理解为以该领域通常使用的意思使用。因此,只要没有另外定义,本说明书中使用的全部的专门用语及科学技术用语就具有与本发明所属的领域的技术人员通常理解的意思相同的意思。在发生矛盾的情况下,以本说明书(包含定义)为优先。
(1.用语的定义)
在本说明书中,“生物体信号”是指生物体发出的信号。生物体信号例如包括表示生物体的肌肉的活动的肌肉电信号、表示生物体的心脏的活动的心电信号、表示生物体的脑的活动的脑电波、在神经细胞中传递的神经信号等,但是没有限定于此。在本说明书中处理的生物体信号是指从计测到的广义的生物体信号提取的标量。通过对标量的生物体信号进行处理,能够没有坐标依赖性地实现极高的通用性和便利性。在本说明书中,生物体信号的特定的值可与特定的信息(例如,生物体的特定的动作(例如,握紧手的动作、松开手的动作、笑的动作等)、生物体的特定的状态(例如,肌肉疲劳的程度、种类等))建立关联。
在本说明书中,“特征数据”是指对标量的生物体信号实施解析处理而得到的多维数据。
在本说明书中,“示教信号”是指用于对生物体信号的特定的值表示特定的信息的情况进行示教的信号。例如,通过示教信号,能够对于生物体信号的特定的值表示生物体的特定的动作的情况进行示教。例如,通过示教信号,能够对于生物体信号的特定的值表示生物体的特定的状态的情况进行示教。
在本说明书中,“示教数据”是指与示教信号对应的多维数据。示教数据的维数与应识别的信息的个数相对应。例如,在示教5个信息的情况下,示教数据的维数至少为5,示教数据由(a,b,c,d,e)表示(0≤a,b,c,d,e≤1)。例如,与示教是第一信息的情况的示教信号“1”对应的示教数据1为(1.0,0.0,0.0,0.0,0.0),与示教是第二信息的情况的示教信号“2”对应的示教数据2为(0.0,1.0,0.0,0.0,0.0),与示教是第三信息的情况的示教信号“3”对应的示教数据3为(0.0,0.0,1.0,0.0,0.0),与示教是第四信息的情况的示教信号“4”对应的示教数据4为(0.0,0.0,0.0,1.0,0.0),与示教是第五信息的情况的示教信号“5”对应的示教数据5为(0.0,0.0,0.0,0.0,1.0)。
在本说明书中,“约”是指其后续接的数值的±10%。
以下,参照附图,说明本发明的实施方式。
(2.本发明的用于识别生物体信号所表示的信息的系统的结构)
图1示出本发明的用于识别生物体信号表示的信息的系统10的结构的一例。系统10具备生物体信号检测单元100、计算机装置200。生物体信号检测单元100可以是构成为能够检测生物体信号并将检测到的生物体信号输出的任意的单元。例如,生物体信号检测单元100可以是具备能够检测生物体的肌肉电信号的肌肉电传感器的肌肉电设备、具备能够检测生物体的心电信号的心电传感器的心电计、具备能够检测生物体的脑电波的脑电波传感器的脑电波计等。生物体信号检测单元100可以构成为,在检测到的生物体信号是具有坐标依赖性的生物体信号时(例如,检测到的脑电波为(计测部位的坐标、强度)的向量时,或者通过膜上的电极检测到的肌肉电信号为(计测部位的坐标、强度)的向量时等),从检测到的生物体信号提取标量并输出。在计算机装置200连接有数据库部250。生物体信号检测单元100与计算机装置200以任意的形态连接。例如,生物体信号检测单元100与计算机装置200可以通过有线方式来连接,也可以通过无线方式来连接。例如,生物体信号检测单元100与计算机装置200可以经由网络(例如,互联网、LAN等)连接。计算机装置200可以是例如与生物体信号检测单元100共同使用的计算机装置,也可以是例如处于与生物体信号检测单元100分离的位置的远程服务器装置。
生物体信号检测单元100具备检测部110、发送部120。
检测部110可以是构成为能够检测生物体信号的任意的单元。例如,检测部110可以是能够检测生物体的肌肉电信号的肌肉电传感器、能够检测生物体的心电信号的心电传感器、能够检测生物体的脑电波的脑电波传感器等。例如,在检测部110为肌肉电传感器的情况下,为了检测肌肉电信号,可以具备一次放大器、高通滤波器、低通滤波器、陷波滤波器、二次放大器。一次放大器及二次放大器被用于放大信号。高通滤波器被用于使比规定的频率低的频率的信号、例如比10Hz低的频率的信号减衰。低通滤波器被用于使比规定的频率高的频率的信号、例如比500Hz高的频率的信号减衰。陷波滤波器被用于使规定范围的频率的信号、例如代表性的电气噪声即50~60Hz的AC噪声减衰。也可以取代陷波滤波器而使用带阻滤波器。
发送部120以能够向生物体信号检测单元100的外部发送信号的方式构成。发送部120以无线方式或有线方式向生物体信号检测单元100的外部发送信号。发送部120例如可以利用Wi-fi等无线LAN来发送信号。发送部120也可以利用Bluetooth(注册商标)等近距离无线通信等来发送信号。发送部120将例如由检测部110检测到的生物体信号向计算机装置200发送。
例如,可将与在学习阶段输入的示教信号对应的示教数据和输入的特征数据建立关联地保存于数据库部250。而且,例如,在使用阶段从使用者输入了示教信号的情况下,可将与输入的示教信号对应的示教数据和此时的特征数据建立关联地保存于数据库部250。
图2示出计算机装置200的结构的一例。
计算机装置200包括接收部210、处理器部220、存储器部230、输出部240。
接收部210以能够从计算机装置200的外部接收信号的方式构成。接收部210以无线方式或有线方式从计算机装置200的外部接收信号。接收部210例如可以利用Wi-fi等无线LAN来接收信号。接收部210也可以利用Bluetooth(注册商标)等近距离无线通信等来接收信号。接收部210例如从生物体信号检测单元100接收由生物体信号检测单元100检测到的生物体信号。接收部210例如从数据库部250接收数据库部250保存的信息。接收部210例如接收各种信息的示教信号。
处理器部220控制计算机装置200整体的动作。处理器部220读出存储器部230保存的程序,并执行该程序。由此,能够使计算机装置200作为执行所希望的步骤的装置发挥功能。
在存储器部230保存有对于执行处理而言所需的程序、对于执行该程序而言所需的数据等。例如,在存储器部230可以保存这样的程序:用来实现用于识别生物体信号所表示的信息的处理(例如,通过图5在后文叙述的处理)的程序。在此,关于如何将程序保存于存储器部230,不设限制。例如,程序可以预安装于存储器部230。或者,程序可以通过经由网络下载而安装于存储器部230,也可以经由光盘、USB等存储介质安装于存储器部230。
输出部240以能够向计算机装置200的外部输出信号的方式构成。关于输出部240输出信号的目标,不设限制。输出部240能够向任意的硬件或软件输出信号。而且,关于输出部240如何输出信号,不设限制。例如,输出部240可以以有线方式向计算机装置200的外部发送信号,也可以以无线方式向计算机装置200的外部发送信号。例如,输出部240可以转换成通过信号的输出目标的硬件或软件能够处理的形式来发送信号,或者调整成通过信号的输出目标的硬件或软件能够处理的响应速度来发送信号。
处理器部220包括解析单元221、第一确定单元222、第二确定单元222。
解析单元221构成为解析由接收部210接收到的生物体信号而输出特征数据。生物体信号是电位等标量,因此缺乏绝对性的信息量。将生物体信号通过解析单元221解析而形成为多维数据即特征数据,由此能够识别多个信息。解析单元221例如对生物体信号能够进行平滑化处理、频率解析处理等数学性的解析处理、或者包含参数设定处理的解析处理。
第一确定单元222构成为确定由解析单元221输出的特征数据与多个示教数据中的各个示教数据的类似度。多个示教数据保存于数据库部250。第一确定单元222例如根据神经网络的输出,来确定特征数据与多个示教数据中的各个示教数据的类似度。神经网络可以是例如图3所示那样的前馈式。
图3示出通过第一确定单元222使用的神经网络300的结构的一例。神经网络300具有输入层、隐藏层、输出层。在图3所示的例子中,示出的神经网络300为具有一层隐藏层的三层前馈式,但是隐藏层的个数不限定于此。神经网络300可以具备一个以上的隐藏层。神经网络300的输入层的节点数对应于特征数据的维数。神经网络300的输出层的节点数对应于示教数据的维数,即,对应于应识别的信息的个数。神经网络300的隐藏层可以包含任意个数的节点。神经网络300的隐藏层的各节点的加权系数基于数据库部250保存的示教数据与特征数据的组合而能够计算。例如,可以以向输入层输入了特征数据时的输出层的值成为与该特征数据建立了关联的示教数据的值的方式计算各节点的加权系数。这可以通过例如反向传播(误差反向传播法)进行。
这样计算出了各节点的加权系数的神经网络300的输出层的各节点能够与各示教数据所对应的信息建立关联。例如,在应识别的信息为生物体的动作的情况下,在使用根据进行了第一动作时的生物体信号而得到的特征数据与对是第一动作的情况进行示教的示教信号“1”所对应的示教数据1(1.0,0.0,0.0,0.0,0.0)的组合、根据进行了第二动作时的生物体信号而得到的特征数据与对是第二动作的情况进行示教的示教信号“2”所对应的示教数据2(0.0,1.0,0.0,0.0,0.0)的组合、根据进行了第三动作时的生物体信号而得到的特征数据与对是第三动作的情况进行示教的示教信号“3”所对应的示教数据3(0.0,0.0,1.0,0.0,0.0)的组合、根据进行了第四动作时的生物体信号而得到的特征数据与对是第四动作的情况进行示教的示教信号“4”所对应的示教数据4(0.0,0.0,0.0,1.0,0.0)的组合、根据进行了第五动作时的生物体信号而得到的特征数据与对是第五动作的情况进行示教的示教信号“5”所对应的示教数据5(0.0,0.0,0.0,0.0,1.0)的组合,计算出了各节点的加权系数时,神经网络300的输出层的第一节点与第一动作建立关联,第二节点与第二动作建立关联,第三节点与第三动作建立关联,第四节点与第四动作建立关联,第五节点与第五动作建立关联。关于这样计算出了各节点的加权系数的神经网络300的理想的输出,例如在输入了根据进行第一动作时的生物体信号而得到的特征数据时,输出层的第一节点输出1,其他的节点输出0。然而,实际上,由于生物体信号中混杂的噪声等的影响而首先是得不到理想的输出。实际上,输出层的1个以上的节点输出0~1的范围的值。输出层的各节点的值相当于输入的特征数据与同各个节点建立了关联的动作所对应的各自的示教数据的类似度。例如,在输出为(0.0,0.2,0.0,0.8,0.0)的情况下,输入的特征数据表现出和与第二节点建立了关联的第二动作所对应的示教数据稍微类似,和与第四节点建立了关联的第四动作所对应的示教数据更加类似,和与其他的节点建立了关联的动作所对应的示教数据不类似的情况。例如,在输出为(0.0,0.0,0.6,0.0,0.6)的情况下,输入的特征数据表现出和与第三节点建立了关联的第三动作所对应的示教数据及和与第五节点建立了关联的第五动作所对应的示教数据这两者类似,和与其他的节点建立了关联的动作所对应的示教数据不类似的情况。
再次参照图2时,第二确定单元223构成为基于存储器部230的缓冲器中存储的类似度中的规定期间内的多个类似度,来确定生物体信号表示的信息。第二确定单元223例如根据在存储器部230的缓冲器中时序地存储的类似度中的规定期间内的多个类似度,将出现强度高的类似度确定为“其相似的输出”,将与该类似度对应的示教数据所表示的信息确定为由特征数据而来的生物体信号所表示的信息。
存储器部230具备暂时存储信息的缓冲器。在缓冲器中,例如可以按照各时刻而时序地暂时存储由第一确定单元222确定的类似度。缓冲器例如可以当存储有一定量的数据时将旧的数据删除,也可以将从存储起经过了一定时间的数据删除。
图4示出表示与存储器部230的缓冲器中存储的各示教数据的类似度的输出向量的数据结构的一例。输出向量的各成分的值表示与对应的示教数据的类似度。
存储器230的缓冲器按照各时刻而时序地保存输出向量。例如,通过第一确定单元222在时刻1将与各示教数据0~9的类似度确定为(0.0,0.0,0.2,0.0,0.5,0.7,0.0,0.0,0.0,0.0)时,将该结果作为时刻1的表示与各示教数据的类似度的输出向量而存储,而且,在时刻2将与各示教数据0~9的类似度确定为(0.0,0.0,0.2,0.0,0.0,0.7,0.9,0.0,0.0,0.0)时,将该结果作为时刻2的表示与各示教数据的类似度的输出向量而存储,……,每当通过第一确定单元222确定类似度时,就存储该时刻和输出向量(例如,参照图4)。
在图1所示的例子中,生物体信号检测单元100与计算机装置200表示为不同的构成要素,但是本发明不限定于此。也可以将生物体信号检测单元100和计算机装置200构成为1个构成要素。
在图1所示的例子中,数据库部250设置在计算机装置200的外部,本发明不限定于此。也可以将数据库部250设置在计算机装置200的内部。此时,数据库部250可以通过与安装存储器部230的存储单元相同的存储单元来安装,也可以通过与安装存储器部230的存储单元不同的存储单元来安装。无论如何,数据库部250都作为计算机装置200用的存储部而构成。数据库部250的结构不限定为特定的硬件结构。例如,数据库部250可以由单一的硬件部件构成,也可以由多个硬件部件构成。例如,数据库部250可以作为计算机装置200的外置硬盘装置而构成,也可以作为经由网络连接的云上的贮存器而构成。
在图2所示的例子中,计算机装置200的各构成要素设置在计算机装置200内,但是本发明不限定于此。也可以将计算机装置200的各构成要素的任一个设置在计算机装置200的外部。例如,在处理器部220、存储器部230分别由不同的硬件部件构成的情况下,可以将各硬件部件经由任意的网络连接。此时,对于网络的种类,不设限制。各硬件部件例如可以经由LAN被连接,也可以被无线连接,还可以被有线连接。
在上述的例子中,说明了生物体信号检测单元100在检测到的生物体信号为具有坐标依赖性的生物体信号的情况下,从检测到的生物体信号中提取标量并输出的情况,但是计算机装置200从由生物体信号检测单元100接收的生物体信号中提取标量的情况也为本发明的范围内。
(3.本发明的用于识别生物体信号所表示的信息的处理)
图5示出本发明的用于识别生物体信号所表示的信息的处理的一例。该处理在系统10中被执行。
将在学习阶段输入的示教信号所对应的示教数据和输入的特征数据建立关联地保存于数据库部250,基于数据库部250保存的示教数据与特征数据的组合来计算图3中示出的神经网络300的隐藏层的各节点的加权系数。
在步骤S501中,生物体信号检测单元100的检测部110检测生物体信号。检测部110例如检测生物体的肌肉电信号、生物体的心电信号或生物体的脑电波。当检测部110检测到生物体信号时,生物体信号检测单元100的发送部120将检测到的生物体信号向计算机装置200发送。
当计算机装置200的接收部210从生物体信号检测单元100接收到生物体信号时,接收部210将接收到的生物体信号向处理器部220提供。此时,接收部210例如可以每当接收生物体信号时向处理器部220逐次提供,也可以将接收到的生物体信号暂且保存于存储器部230,在蓄积了一定量的数据之后一并向处理器部220提供。当处理器部220被提供生物体信号时,进入步骤S502。
在步骤S502中,计算机装置200的处理器部220的解析单元221对检测到的生物体信号进行解析而输出特征数据。解析单元221通过进行平滑化处理、频率解析处理等的数学性的解析处理、或者包含参数设定处理的解析处理来输出特征数据。此时,解析单元221例如可以通过将输出的特征数据的时序或频带乘以加权系数而对特征数据进行加工。
在步骤S503中,计算机装置200的处理器部220的第一确定单元222确定通过步骤S502输出的特征数据与多个示教数据中的各个示教数据的类似度。第一确定单元222例如将通过步骤S502输出的特征数据向图3所示的神经网络300输入,根据神经网络300的输出来确定特征数据与多个示教数据中的各个示教数据的类似度。
第一确定单元222例如可以取代将通过步骤S502输出的全部特征数据向神经网络300输入的情况,而提取通过步骤S502输出的特征数据中的一部分并仅将提取出的特征数据向神经网络300输入。由此,能够减少后段的处理中的运算量,防止后段的处理中的动作速度的下降。此时,第一确定单元222可以均匀地提取特征数据,也可以非均匀地提取特征数据。在非均匀地提取特征数据的情况下,优选以应着眼的特征数据的部分为中心进行提取的方式按倾斜分配来提取特征数据。由此,能够防止提取的后段中的处理的精度的下降。这样的特征数据的提取能够兼顾后段中的处置的动作速度和精度这两者。
当第一确定单元222确定了类似度,就进入步骤S504。
在步骤S504中,计算机装置200的存储器部230的缓冲器按照各时刻而时序地存储通过步骤S503确定的类似度。存储器部230的缓冲器例如图4所示将表示类似度的输出向量按照各时刻而时序地存储。处理器部220优选反复进行步骤S501~步骤S504直至规定量的数据存储于缓冲器为止。由此,在后段的处理中能够利用足够数据量的类似度,从而能够提高后段的处理的精度。当缓冲器存储类似度时,进入步骤S505。
在步骤S505中,计算机装置200的处理器部220的第二确定单元223基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定生物体信号所表示的信息。规定期间是以缓冲器中存储类似度的最后的时刻为终点的任意的期间。规定期间例如是约10ms~约220ms的范围内的任意的时间,规定期间例如为约80ms~约220ms。这是因为,人类的单纯反应时间为约220ms,如果为该时间以下,则难以将执行中的动作变更为其他的动作。规定期间可以为例如约80ms、约200ms等。这是因为,越增大规定期间,则输出的稳定性越提高,但是延迟越增大而响应性越下降,当延迟大于200ms时,得不到自我身体认识的时间性的匹配性。本领域技术人员可以考虑输出的稳定性与人的反应时间的权衡,例如根据用途、使用的应用程序、用户需求等而适当地确定规定期间。例如,在使用于后述的手指康复用途的情况下,可以将规定期间设为大于220ms(例如,约220~约400ms,例如,约300ms、约350ms、约400ms等)。这是因为,在麻痹患者中,将执行中的动作变更为其他的动作为止的时间比健全者长。
第二确定单元223例如可以基于规定期间内的多个类似度,按每多个示教数据算出运算值,基于该运算值来确定生物体信号表示的信息。例如,第二确定单元223可以从得到的运算值之中提取与最高的运算值对应的示教数据,将提取到的示教数据所表示的信息确定为生物体信号所表示的信息。运算值可以是通过公知的运算法或本领域技术人员能想到的运算法算出的值,运算值可以为例如合计值。需要说明的是,在本说明书中,本领域技术人员理解的是:在生物体信号所表示的信息的确定中的“合计值”是当然也包括“平均值”的概念。即,算出每多个示教数据的合计值并从其中提取与最高的合计值对应的示教数据的情况也包括按每多个示教数据算出平均值并从其中提取与最高的平均值对应的示教数据的情况。运算值例如可以是特定的类似度的发生概率或发生频度。特定的类似度的发生概率是表示在规定期间内特定的类似度以多少的概率发生的值,特定的类似度的发生频度可以是表示在规定期间内特定的类似度发生了多少的值。在此,特定的类似度例如可以是输出向量中的最高类似度,也可以是输出向量中的某阈值以上的类似度。例如,在规定期间内输出了5个输出向量的情况下,关于某示教数据,在5个输出向量中的3个输出向量中为最高类似度的情况下,发生频度为3,发生概率为3/5。
需要说明的是,在运算值(例如,合计值(平均值))的算出中,可以按每多个示教数据将一定的个数(例如1个)的最低的数值从计算对象中排除。此时,最低的数值可以是0以外的数值中的最低的数值。
或者,第二确定单元223可以将与超过规定的阈值的运算值对应的示教数据所表示的信息确定为生物体信号所表示的信息。此时,在超过规定的阈值的运算值不存在的情况下无法识别。在超过规定的阈值的运算值存在多个的情况下也可以设为无法识别。或者,在超过规定的阈值的运算值存在多个的情况下,可以将与超过规定的阈值的多个运算值对应的各个示教数据所表示的各自的信息确定为生物体信号所表示的信息。这是例如同时进行应识别的多个动作的情况、应识别的多个状态同时发生的情况等。例如,在与超过规定的阈值的2个运算值对应的各个示教数据所表示的各自的动作为“手腕弯曲动作”及“握紧手的动作”的情况下,可以视为进行一边握紧手一边弯曲手腕这样的复合动作,将“手腕弯曲动作”及“握紧手的动作”确定为生物体信号所表示的动作。例如,在与超过规定的阈值的2个合计值对应的各个示教数据所表示的各自的动作为“握紧手的动作”及“转动手腕的动作”的情况下,可以视为进行一边握紧手一边转动手腕这样的复合动作(例如,握住门把手转动的动作),将“握紧手的动作”及“转动手腕的动作”确定为生物体信号所表示的动作。第二确定单元223根据检测的生物体信号,能够识别全身的动作中的任意的复合动作。需要说明的是,在多个动作中的至少2个为相互矛盾的动作(例如,“松开手的动作”及“握紧手的动作”)的情况下,可以设为不能识别,也可以进行肌肉对抗且关节的刚性提高那样的控制。
关于规定的阈值,可以设定为任意的值。越提高规定的阈值,则精度及稳定性越升高,但是不能识别的比例也升高,响应性变差。规定的阈值例如可以为固定值,也可以为变动值。在规定的阈值为变动值的情况下,规定的阈值例如可以为相对于合计值的最大值的规定的比例(例如,90%~60%、80%~60%、70~60%,例如,65%等)的值。规定的阈值例如可以根据合计的规定期间内的多个类似度的数据数来确定。例如,在超过规定的阈值的合计值不存在的情况下,可以将规定的阈值降低或升高直至存在至少1个超过规定的阈值的合计值为止,例如,在超过规定的阈值的合计值存在多个的情况下,可以升高规定的阈值直至超过规定的阈值的合计值成为1个为止。
规定的阈值例如可以根据要检测的生物体信号来确定。规定的阈值例如可以根据要检测生物体信号的部位来确定。例如,关于为了识别手的动作而从手臂检测生物体信号的情况下使用的规定的阈值与为了识别行走动作而从腿检测生物体信号的情况下使用的规定的阈值,可以设为相同的值,也可以设为不同的值。
通过上述的处理而识别出的生物体信号所表示的信息的精度比根据步骤S503输出的类似度直接识别生物体信号所表示的信息时的精度显著提高。根据步骤S503输出的类似度而直接识别生物体信号所表示的信息时精度为8成左右,但是通过上述的处理而识别出的生物体信号所表示的信息的精度达到9成后半多,为极高的精度。
在此,作为一例,关于使用者进行了与示教数据0~9对应的动作中的与示教数据5对应的动作时的系统10的处理,参照图6A~图6C进行说明。使用者从时刻1至时刻5进行与示教数据5对应的动作。在此,说明时刻5的处理。各时刻的间隔为20ms,规定期间为100ms。如图6A所示,在存储器部230的缓冲器中已经存储有时刻1~时刻4的输出向量。
在步骤S501中,生物体信号检测单元100的检测部110检测由来于使用者进行了的动作的生物体信号。
在步骤S502中,计算机装置200的处理器部220的解析单元221对检测到的生物体信号进行解析而输出特征数据。
在步骤S503中,计算机装置200的处理器部220的第一确定单元222确定通过步骤S502输出的特征数据与示教数据0~9中的各个示教数据的类似度。将通过步骤S502输出的特征数据向神经网络300输入时,得到与示教数据0~9中的各个示教数据的类似度(0.0,0.9,0.2,0.0,0.0,0.7,0.0,0.0,0.0,0.0)作为输出。
在步骤S504中,计算机装置200的存储器部230的缓冲器时序地存储通过步骤S503确定的类似度。如图6B所示,存储器部230的缓冲器将时刻1~时刻5的输出向量按照各时刻而时序地存储。
在步骤S505中,计算机装置200的处理器部220的第二确定单元223基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定由来于使用者进行的动作的生物体信号所表示的动作。首先,如图6B所示,第二确定单元223通过将相当于规定期间的时刻1~时刻5的类似度按照各示教数据进行合计而得到合计值。接下来,第二确定单元223将与最高的合计值对应的“5”的示教数据所表示的动作确定为在时刻5检测到的生物体信号所表示的动作。作为替代,在将规定的阈值设为2.5的情况下,第二确定单元223将与超过规定的阈值的合计值对应的“5”的示教数据表示的动作确定为在时刻5检测到的生物体信号所表示的动作。这样,本发明的系统10能够适当地识别使用者进行的动作。
例如,当要根据通过步骤S503得到的类似度直接识别生物体信号所表示的动作时,由于与最高的类似度对应的示教数据为示教数据“1”,因此误识别为与示教数据“1”对应的动作。相对于此,本发明的系统10基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定生物体信号所表示的动作,因此能够以极高精度识别生物体信号所表示的动作。
使用者在时刻6进行了与示教数据5对应的动作时的处理也同样。
在步骤S501中,生物体信号检测单元100的检测部110检测由来于使用者进行的动作的生物体信号,在步骤S502中,计算机装置200的处理器部220的解析单元221对检测到的生物体信号进行解析而输出特征数据,在步骤S503中,计算机装置200的处理器部220的第一确定单元222确定通过步骤S502输出的特征数据与示教数据0~9中的各个示教数据的类似度。将通过步骤S502输出的特征数据向神经网络300输入时,作为输出,得到了与示教数据0~9中的各个示教数据的类似度(0.0,0.0,0.2,0.0,0.0,0.7,0.9,0.0,0.0,0.0)。
在步骤S504中,计算机装置200的存储器部230的缓冲器时序地存储通过步骤S503确定的类似度。如图6C所示,存储器部230的缓冲器将时刻1~时刻6的输出向量按照各时刻而时序地存储。
在步骤S505中,计算机装置200的处理器部220的第二确定单元223基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定由来于使用者进行的动作的生物体信号所表示的动作。首先,如图6C所示,第二确定单元223通过将相当于规定期间的时刻2~时刻6的类似度按照各示教数据进行合计而得到合计值。接下来,第二确定单元223提取与最高的合计值对应的“5”的示教数据,将提取到的“5”的示教数据所表示的动作确定为在时刻5检测到的生物体信号所表示的动作。作为替代,在将规定的阈值设为2.5的情况下,第二确定单元223将与超过规定的阈值的合计值对应的“5”的示教数据所表示的动作确定为在时刻5检测到的生物体信号所表示的动作。这样,本发明的系统10能够适当地识别使用者进行了的动作。
例如,当要根据通过步骤S503得到的类似度直接识别生物体信号表示的动作时,与最高的类似度对应的示教数据为示教数据6,因此会误识别为与示教数据6对应的动作。相对于此,本发明的系统10基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定生物体信号所表示的动作,因此在时刻6也同样,能够以极高精度识别生物体信号表示的动作。
在此,作为又一例,关于使用者进行了与示教数据0~9对应的动作中的与示教数据3对应的动作及与示教数据7对应的动作的复合动作时的系统10的处理,参照图6D~图6F进行说明。使用者从时刻1至时刻5进行与示教数据3对应的动作及与示教数据7对应的动作。在此,说明时刻5的处理。各时刻的间隔为20ms,规定期间为100ms。在存储器部230的缓冲器中,如图6D所示,已经存储有时刻1~时刻4的输出向量。
在步骤S501中,生物体信号检测单元100的检测部110检测由来于使用者进行的动作的生物体信号。
在步骤S502中,计算机装置200的处理器部220的解析单元221对检测到的生物体信号进行解析而输出特征数据。
在步骤S503中,计算机装置200的处理器部220的第一确定单元222确定通过步骤S502输出的特征数据与示教数据0~9中的各个示教数据的类似度。将通过步骤S502输出的特征数据向神经网络300输入时,作为输出,得到了与示教数据0~9中的各个示教数据的类似度(0.0,0.0,0.2,0.9,0.2,0.1,0.0,0.8,0.0,0.9)。
在步骤S504中,计算机装置200的存储器部230的缓冲器时序地存储通过步骤S503确定的类似度。如图6E所示,存储器部230的缓冲器将时刻1~时刻5的输出向量按照各时刻而时序地存储。
在步骤S505中,计算机装置200的处理器部220的第二确定单元223基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定由来于使用者进行的动作的生物体信号所表示的动作。首先,如图6E所示,第二确定单元223通过将相当于规定期间的时刻1~时刻5的类似度按照各示教数据进行合计而得到合计值。接下来,第二确定单元223将超过规定的阈值的示教数据所表示的动作确定为在时刻5检测到的生物体信号所表示的动作。例如,在将规定的阈值设为固定值3.5的情况下,第二确定单元223将与超过规定的阈值的合计值对应的示教数据“3”表示的动作及示教数据“7”表示的动作确定为在时刻5检测到的生物体信号所表示的动作。这样,本发明的系统10能够适当且同时地识别使用者进行了的复合动作。
例如,当要根据通过步骤S503得到的类似度直接识别生物体信号表示的动作时,与最高的类似度对应的示教数据为示教数据“9”,因此误识别为与示教数据“9”对应的动作。相对于此,本发明的系统10基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定生物体信号所表示的动作,因此即使是复合动作,也能够极高精度地识别生物体信号表示的动作。
使用者在时刻6进行了与示教数据5对应的动作时的处理也同样。
在步骤S501中,生物体信号检测单元100的检测部110检测由来于使用者进行的动作的生物体信号,在步骤S502中,计算机装置200的处理器部220的解析单元221对检测到的生物体信号进行解析而输出特征数据,在步骤S503中,计算机装置200的处理器部220的第一确定单元222确定通过步骤S502输出的特征数据与示教数据0~9中的各个示教数据的类似度。将通过步骤S502输出的特征数据向神经网络300输入时,作为输出,得到了与示教数据0~9中的各个示教数据的类似度(0.2,0.9,0.2,0.7,0.3,0.1,0.0,0.7,0.0,0.1)。
在步骤S504中,计算机装置200的存储器部230的缓冲器时序地存储通过步骤S503确定的类似度。如图6F所示,存储器部230的缓冲器将时刻1~时刻6的输出向量按照各时刻而时序地存储。
在步骤S505中,计算机装置200的处理器部220的第二确定单元223基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定由来于使用者进行的动作的生物体信号所表示的动作。首先,如图6F所示,第二确定单元223通过将相当于规定期间的时刻2~时刻6的类似度按照各示教数据进行合计而得到合计值。接下来,第二确定单元223将超过规定的阈值的示教数据表示的动作确定为在时刻5检测到的生物体信号表示的动作。例如,在将规定的阈值设为固定值3.5的情况下,第二确定单元223将与超过规定的阈值的合计值对应的示教数据“3”表示的动作及示教数据“7”表示的动作确定为在时刻5检测到的生物体信号所表示的动作。这样,本发明的系统10能够适当且同时辨认使用者进行的复合动作。
例如,当要根据通过步骤S503得到的类似度直接识别生物体信号表示的动作时,与最高的类似度对应的示教数据为示教数据“1”,因此误识别为与示教数据“1”对应的动作。相对于此,本发明的系统10基于缓冲器中存储的时序的类似度中的规定期间内的多个类似度,来确定生物体信号所表示的动作,因此在时刻6也同样,即使为复合动作,也能够以极高精度识别生物体信号表示的动作。
(4.适用例)
本发明的系统10可使用于检测生物体信号并由此进行某些输出的情况有用的任意的用途,但是优选为手指康复用、咽下诊断用、轮椅用、假手用、假臂用、假腿用或机器人用、上肢辅助装置用、下肢辅助装置用、体干辅助装置用,不过不限定于此。例如,在机器人用的情况下,例如可以适用于机器人整体,也可以适用于机器人臂、机器人手等机器人的一部分。
本发明的系统10根据用途,可具备用于穿戴于对象的身体的一部分的穿戴单元,所述对象是供解析生物体信号的对象。这样的身体的一部分可以是生物体信号对象的上肢、腹部、颈部、下肢、背部,但是不限定于此。身体的一部分可以是身体的一切部位。穿戴单元可以是例如用于穿戴于对象的身体的一部分的系带、封条等任意的穿戴单元。例如,在本发明的系统10为机器人臂用的情况下,可以检测上肢的肌肉的肌肉电信号,并基于检测到的肌肉电信号所表示的信息使机器人臂移动。在该情况下,例如,用户使用本发明的系统10能够使机器人臂模仿自身意想的动作。本发明的系统10不仅能够识别单纯动作而且也能够识别复合动作,因此即使是复合动作,也能够高精度地使机器人臂模仿。或者,在本发明的系统10为机器人臂用的情况下,可以检测前臂以外的肌肉(例如表情肌)的肌肉电信号,基于检测到的肌肉电信号所表示的信息使机器人臂移动。在该情况下,例如,用户使用本发明的系统10,能够将自身的规定的动作作为命令来操作机器人臂。由此,例如,即使是上肢麻痹的患者,也能够操作机器人臂。本发明的系统10不仅能够识别单纯动作而且也能够识别复合动作,因此与将单纯动作作为命令的操作相比,能够增加操作用的命令的个数。即,通过将复合动作使用为命令,能够以更少的种类的用户动作使机器人臂进行更多的动作。
在优选的实施方式中,本发明的系统10例如能够适用于手指康复装置。
在手指麻痹而需要手指的康复的患者(例如脑卒中患者)的情况下,由于生物体信号的等级低,因此生物体信号所表示的动作的识别精度比健全者的情况变低。然而,根据本发明的系统10,由于能够以极高精度识别生物体信号所表示的动作,因此即使在生物体信号的等级低的情况下,也能够将识别精度提高至康复可使用的等级。而且,根据本发明的系统10,不仅是手指的单纯动作,手指的复合动作也能够高精度且同时识别。由此,准确且高速地识别患者意想的动作,可靠且立即对意想的动作进行支援,从而手指的康复的效率及效果显著提高。例如,已知通过实现患者意想的动作并对其进行反复,能促进脑的可塑性,促进已麻痹的功能的恢复。
具备本发明的系统10的手指康复装置具备能够将生物体信号检测单元100穿戴于使用者的上肢的皮肤的穿戴单元。穿戴单元例如可以是用于将生物体信号检测单元100的检测部111穿戴于使用者的上肢(例如,上臂或前臂)的皮肤的系带、封条等任意的单元。
例如,来自手指的康复装置的输出可以显示于显示器等显示单元,可以提示给康复教练员。康复教练员基于来自手指康复装置的输出,能够进行可靠的康复指导,从而带来具有效率及效果的康复。
具备本发明的系统10的手指康复装置可具备穿戴于使用者的手指的手指运动援助装置。手指运动援助装置构成为,以对使用者的手指的运动进行辅助的方式作用于使用者的手指。手指运动援助装置可以构成为例如通过空气压力促动器来驱动指关节,也可以构成为例如通过电机的扭矩来驱动指关节。
手指运动援助装置例如可以是图7A及图7B所示的手指运动援助装置700。
图7A示出手指运动援助装置700的外观,图7B示出将手指运动援助装置700穿戴于使用者的手指的状态。
手指运动援助装置700具备主体部710、从主体部710延伸的手掌用螺栓720、臂730、从臂730延伸的手指用螺栓740。臂730构成为相对于主体部710能够绕枢轴转动。臂730例如可以构成为通过电机进行绕枢轴转动,也可以构成为通过空气压促动器进行绕枢轴转动,还可以通过金属丝进行绕枢轴转动。
例如,在具备本发明的系统10的手指康复装置中,来自本发明的系统10的输出能够被提供给手指运动援助装置。手指运动援助装置基于来自手指康复装置的输出,以对患者所意想的动作进行辅助的方式发挥作用。例如,来自本发明的系统10的输出能够被提供给手指运动援助装置700。在如图7B所示将手指运动援助装置700穿戴于手指时,通过臂730的绕枢轴转动而手指用螺栓740对手指的动作进行辅助。例如。通过臂730的绕枢轴转动而手指用螺栓740将手指推起,由此,能够对使用者的松开手的动作进行辅助。这样,患者能够以自己的意向进行康复,从而带来具有效率及效果的康复。
在另一优选的实施方式中,本发明的系统10能够适用于例如咽下诊断装置。
在喉的周围要取得肌肉电信号的情况下,由于有表示多个肌肉的肌肉活动的多个肌肉电信号混杂,因此难以识别是由来于什么动作的肌肉电信号,识别精度下降。然而,根据本发明的系统10,由于能够以极高精度来识别生物体信号所表示的动作,所以即使在肌肉电信号混杂的情况下,也能够将识别精度提高至能够诊断咽下障碍的等级。而且,根据本发明的系统10,不仅是下颌口腔运动的单纯动作,也能够高精度地识别下颌口腔运动的复合动作。由此,例如,通过识别是存在咽下障碍时的咽下动作还是没有咽下障碍的正常的状态的咽下动作,能够基于肌肉电信号可靠地进行咽下诊断。
具备本发明的系统10的咽下诊断装置具备能够将生物体信号检测单元100穿戴于使用者的颈部的皮肤的穿戴单元。穿戴单元例如可以是用于将生物体信号检测单元100的检测部111穿戴于使用者的颈部的皮肤的系带、封条等任意的单元。具备本发明的系统10的咽下诊断装置可以在穿戴单元的基础上或者取代穿戴单元而具备不将生物体信号检测单元100固定于使用者的颈部的皮肤就能够使生物体信号检测单元100与使用者的颈部的皮肤接触的单元。这样的单元例如听诊器那样按压于患者而能够检测患者的生物体信号。
例如,来自咽下诊断装置的输出能够显示于显示器等显示单元,能够被提示给医师。医师基于来自咽下诊断装置的输出,能够进行可靠的诊断。或者,来自咽下诊断装置的输出能够显示于显示器等,能够被提示给使用者自身。由此,使用者基于来自咽下诊断装置的输出,能够可靠地进行咽下障碍的自我诊断。
实施例
实施例1.上肢皮肤的肌肉电信号的识别
在受验体(20多岁健全男性)的上肢穿戴肌肉电传感器,让受验体可靠地用力而动作,对肌肉电信号的识别与动作的对应关系进行试验。肌肉电传感器具备放大器部、500Hz的低通滤波器、10Hz的高通滤波器、50Hz的陷波滤波器,以80ms作为规定时间进行了实验。
试验结果如图8及图9所示。图8(a)及图9(a)是本发明的系统10的处理的结果的曲线图,图8(b)及图9(b)是通过步骤S503得到的类似度,即为,根据神经网络300的输出直接识别到的结果的曲线图。图9(a)~图9(b)是图8(a)~图8(b)所示的虚线部的放大图。
曲线图的纵轴表示动作ID,0为“什么都未进行的动作”,1为“手腕外旋动作”,3为“手腕弯曲动作”,4为“手腕伸展动作”,5为“握拳动作”,7为“拇指弯曲动作”,9为“无名指、小指弯曲动作”。神经网络300以输出层的各节点和与动作ID对应的动作建立关联的方式计算各节点的加权系数。曲线图的横轴为执行步骤数。每1秒进行了50步骤。即,步骤间隔为20ms。
受验者按照“手腕外旋动作”(动作ID:1)、“无名指、小指弯曲动作”(动作ID:9)、“拇指弯曲动作”(动作ID:7)、“手腕伸展动作”(动作ID:4)、“手腕弯曲动作”(动作ID:3)、“握拳动作”(动作ID:5)的顺序进行动作。
各曲线图中的虚线表示识别率100%的理想的状态。
从图8可知,图8(a)成为大致遵照虚线的曲线图,在本发明的系统10的处理中,得到了良好的识别率。
另外,从图9可知,即使是识别容易迷惑的“手腕伸展动作”(动作ID:4),图9(a)也成为比图9(b)更加遵照虚线的曲线图,本发明的系统10能准确地识别肌肉电信号表示的动作。
当根据各曲线图来算出识别率时,图8(a)及图9(a)的识别率为98.8%,图8(b)及图9(b)的识别率为79.9%。
这样,根据本发明的系统10,实际验证了能够以极高精度来识别生物体信号所表示的动作的情况。
实施例2.肌肉电信号的等级低的受验体的上肢皮肤的肌肉电信号的识别
向受验体(20多岁健全男性)的上肢穿戴肌肉电传感器,除了使受验体以最小限度的力动作的情况以外与实施例1同样地,对肌肉电信号的识别与动作的对应关系进行了试验。
试验结果如图10及图11所示。图10(a)及图11(a)是本发明的系统10的处理的结果的曲线图,图10(b)及图11(b)是使用了后述的算法的处理的结果的曲线图,图10(c)及图11(c)是通过步骤S503得到的类似度,即为,根据神经网络300的输出直接识别到的结果的曲线图。图11(a)~图11(c)是图10(a)~图10(c)所示的虚线部的放大图。
图10(b)及图11(b)使用的算法是将通过步骤S503得到的类似度、即根据神经网络300的输出直接识别的结果按照各时刻而时序地保存于缓冲器,将缓冲器内的占有率为阈值以上的识别结果确定为肌肉电信号所表示的动作的算法。
曲线图的纵轴表示动作ID,0为“什么也未进行的动作”,1为“手腕外旋动作”,3为“手腕弯曲动作”,4为“手腕伸展动作”,5为“握拳动作”,7为“拇指弯曲动作”,9为“无名指、小指弯曲动作”。神经网络300以输出层的各节点和与动作ID对应的动作建立关联的方式计算各节点的加权系数。曲线图的横轴为执行步骤数。每1秒进行了50步骤。即,步骤间隔为20ms。
受验者按照“握拳动作”(动作ID:5)、“手腕弯曲动作”(动作ID:3)、“手腕伸展动作”(动作ID:4)、“拇指弯曲动作”(动作ID:7)、“无名指、小指弯曲动作”(动作ID:9)、“手腕外旋动作”(动作ID:1)的顺序进行动作。
各曲线图中的虚线表示识别率100%的理想的状态。
特别是从图11可知,即使是在肌肉电信号等级低的情况下识别容易迷惑的“拇指弯曲动作”(动作ID:7),图11(a)也成为比图11(b)更加遵照虚线的曲线图,本发明的系统10能准确地识别肌肉电信号所表示的动作。
这样,根据本发明的系统10,实际验证了即使在生物体信号的等级低的情况下,也能够以极高精度来识别生物体信号所表示的动作。
本发明不限定为上述的实施方式。本发明应理解为仅通过权利要求书来解释其范围。本领域技术人员根据本发明的具体的优选实施方式的记载,基于本发明的记载及技术常识而能够实施等价的范围。
产业上的可利用性
本发明作为提供能够提高生物体信号的识别精度的用于识别生物体信号表示的信息的系统以及具备该系统的手指康复装置及咽下诊断装置的发明有用。
附图标记说明
10 系统
100 生物体信号检测单元
200 计算机装置
250 数据库部