CN111742328B

CN111742328B - 用于对手持式消费装置的使用进行分类的系统

Info

Publication number: CN111742328B
Application number: CN201980014221.5A
Authority: CN
Inventors: F·F·谢尔曼; X·毛
Original assignee: Braun GmbH
Current assignee: Braun GmbH
Priority date: 2018-02-19
Filing date: 2019-02-15
Publication date: 2024-09-17
Anticipated expiration: 2039-02-15
Also published as: CN111771209A; EP3528170A1; US20190254794A1; WO2019159127A1; WO2019159128A3; WO2019159130A3; WO2019159129A2; JP7221291B2; KR20200108035A; US12033057B2; JP2021513420A; US12045710B2; JP7190496B2; EP3528171A3; EP3528171B1; US11755686B2; JP2021513415A; EP3528172B1; JP7203856B2; JP7402165B2

Abstract

本公开涉及一种用于对手持式消费装置的使用进行分类的系统，所述系统具有：可移动的手持式消费装置，所述消费装置具有用于在连续的时刻确定使用数据的传感器单元，所述传感器单元被布置用于在使用会话期间提供至少一个使用数据的时间上连续的序列；以及分析装置，所述分析装置被布置用于针对与不同使用属性相关的至少两个使用类的至少一个集合来对所述消费装置的使用进行分类，所述分析装置被布置用于组装与所述使用会话的预定时间段相关的使用数据的时间上连续的输入元组序列，所述输入元组中的每个输入元组具有表示相应时刻处的使用数据的至少一个元素，并且所述分析装置被布置用于将所述输入元组序列输入到至少一个人工神经网络中，所述至少一个人工神经网络被布置成输出至少一个输出元组，所述至少一个输出元组包括与使用类的数量一致的多个元素，所述输出元组中的每个元素表示关于在给定时刻处所述消费装置的使用与相应使用类相关的预测值。

Description

用于对手持式消费装置的使用进行分类的系统

技术领域

本公开涉及一种允许对手持式消费装置的使用进行分类，具体地针对目标空间进行分类的系统。

背景技术

众所周知，对于特定应用，可能期望对手持式用户装置的使用进行分类。例如，据描述，可通过基于来自三轴加速度计和地磁传感器的数据来计算牙刷的姿势，从而确定牙刷在刷牙时所处的位置。这在文档US 2010/0145654 A1中有所描述。

总体期望提供一种用于对手持式消费装置的使用进行分类的系统，该系统相对于已知系统有所改进，或者鉴于已知系统至少提供了另选的解决方案。

发明内容

根据一个方面，提供了一种用于对手持式消费装置的使用进行分类的系统，该系统包括：可移动的手持式消费装置，该消费装置包括用于在连续的时刻确定至少一个使用数据的传感器单元，该传感器单元被布置用于在使用会话期间提供时间上连续的使用数据序列；以及分析装置，该分析装置被布置用于针对与不同使用属性相关的至少两个使用类的至少一个集合来对消费装置的使用进行分类，该分析装置被布置用于组装与使用会话的预定时间段相关的使用数据的时间上连续的输入元组序列，所述输入元组中的每个输入元组具有表示相应时刻处的使用数据的至少一个元素，并且该分析装置被布置用于将输入元组序列输入到至少一个人工神经网络中，该至少一个人工神经网络被布置成输出至少一个输出元组，所述至少一个输出元组包括与使用类的数量一致的多个元素，所述输出元组中的每个元素表示关于在给定时刻处消费装置的使用与相应使用类相关的预测值。

分类可针对包括目标表面的目标空间执行。手持式消费装置可被布置用于处理目标表面。

在一些实施方案中，人工神经网络被布置成输出输出元组序列，尤其是长度与输入元组序列相同的输出元组序列。每个预定时间段的单个使用类答案可基于输出元组序列，例如通过应用多数准则和/或最大准则来确定，尤其是在对每个输出元组应用argmax函数之后。

附图说明

本公开将通过对示例性实施方案的详细讨论并且结合附图进一步阐明。在图中，

图1为根据本公开的示例性系统的示意图；

图2为根据本公开的示例性手持式消费装置的示意图；

图3为根据本公开的示例性分析装置的示意图；

图4为根据本公开的示例性系统的图示，其中消费装置是电动牙刷并且分析装置是智能电话；

图5为人工神经网络架构的示意图；

图6A为递归神经网络的示意图；

图6B为图6A所示的递归神经网络处于其铺开或展开状态的示意图；

图7A为可在递归神经网络中使用的示例性长短期存储器单元的示意图；

图7B为可在递归神经网络中使用的示例性门控递归单元的示意图；

图8A为示例性双向递归神经网络的示意图；

图8B为示例性堆叠递归神经网络的示意图；以及

图8C为示例性堆叠双向递归神经网络的示意图。

具体实施方式

本公开的基本概念是在使用会话期间(或之后)，借助于至少一个人工神经网络，针对使用类集合基于使用数据的时间序列来对手持式消费装置的使用进行分类。讨论了使用多于一个人工神经网络的若干示例。“实时”分类(即，使用会话期间的分类)允许在使用手持式消费装置时向用户传达有关使用的信息，该信息可以丰富用户对使用的了解，并且因此可以便于使用或以其他方式改善使用。后续分类允许以更全面和完整的方式分析使用会话期间手持式消费装置的使用，从而覆盖完成的使用会话的整个使用数据信息。在实时分类可能受到可用计算能力和所需实时信息的时序的限制的情况下，后续(即，离线)分析可在可用计算能力与可用时间之间取得平衡。手持式消费装置的使用具体地可针对包括目标表面的目标空间进行分类，然后手持式消费装置可被布置用于处理目标表面。然后，目标是基于手持式消费装置的使用数据，在目标空间的不同部分中对手持式消费装置的使用进行分类，所述使用数据尤其包括运动数据或力数据中的至少一者。

“使用类”是人工神经网络(ANN)的输出类，并且由ANN的设计者定义。通过将标记的输入数据输入到ANN中来学习ANN，所述输入数据即已知与一个给定输出类相关的输入数据(监督学习)。在经典示例中，向ANN馈送显示笑脸的图片数据，并且ANN尝试学习图片数据中与笑脸相关的各种输入所共有的那些图案，使得如果在新图片数据中发现类似的图案，可将新图片数据输入分类为笑脸输出类。在本公开的上下文中，使用类与手持式消费装置的使用相关，并且应当区分不同的使用属性。手持式消费装置的使用基本上由使用数据的时间序列确定，其中使用数据可包括与手持式消费装置的环境相关的运动数据(包括取向数据)、力数据、电容数据、温度数据、音频数据、图片或视频数据、气压数据、pH数据等中的至少一者。在本公开中，主要重点放在包括运动(包括取向)数据并且还可包括其他使用数据的使用数据上。但是还认为，可通过仅将使用数据馈送到不包括任何运动数据的人工神经网络中来合理地处理对手持式消费装置的使用进行分类的任务。

因此，在本公开中参考针对使用类进行分类的运动数据或运动的情况下，应当理解，这将涵盖使用数据的所有变体，尤其是包括附加的传感器数据作为使用数据的此类变体，或者其中使用数据根本不包含运动数据。

在本公开中，“序列”是指两个或更多个，“元组序列”是指两个或更多个元组，并且“元组的时间序列”是指元组的序列，其中元组与不同的时刻相关，其中序列中的连续元组之间的时间差可以相等。

人工神经网络可以接收使用数据的n个输入元组的序列，并且可以生成任何数量的输出元组，具体地可以生成一个输出元组并且最多n个输出元组，其中1和n之间的任何其他整数也是可能的(众所周知，具体地，某些人工网络诸如LSTM可具有一对一、一对多、多对一或多对多的架构，尤其是同步的多对多架构)。输出元组由人工神经网络在给定时刻生成，因此可以理解，输出元组与该时刻相关，但输出元组可包含与未生成任何输出元组的先前时刻(或未来时刻，取决于人工神经网络的具体架构，参见下面的双向人工神经网络讨论)相关的信息，使得给定时刻处的输出元组基本上可以覆盖较大的时间段。

对手持式消费装置的使用进行分类所涉及的使用类被组合成至少一个使用类集合。在分类过程中，所述至少一个人工神经网络将提供输出，该输出提供有关所输入的使用数据与每个使用类的对应关系的信息，通常是每个提供输入使用数据的时刻有一个输出，但这不应被认为是限制性的，并且还应认为人工神经网络仅输出单个输出，但会接收输入序列，或者其中所提供的输出序列比输入序列短。如前所述，使用类由人工神经网络的设计者定义。所述至少一个人工神经网络使用所谓的标记训练数据进行训练，所述训练数据是已知使用类的输入使用数据，并且人工神经网络将学习在给定输入的情况下最大化预测正确使用类的概率，使得输出数据与输入使用数据完全匹配。想法是，经过充分训练后，人工神经网络将以足够高的预测概率针对各个使用类对新输入进行分类，使得可以可靠地引用输出。在学习过程中，人工神经网络中的权重和偏差会被修改，并且通常会收敛。人工神经网络越复杂，其中使用的权重和偏差的数值通常就越高(给定人工神经网络内部状态的大小)。

人工神经网络的设计者可以针对待实现的任务来定义使用类，在此即为针对某些使用属性来区分使用数据。可处理的一个分类任务是从有限的用户组中识别手持式消费装置的用户，假设该组用户包括用户A和用户B。则抽象使用属性是“由用户A使用”和“由用户B使用”。一旦经过训练，人工神经网络应当能够正确地将来自用户A的使用数据分类为与使用类“由用户A使用”相关，并且将来自用户B的使用数据分类为与使用类“由用户B使用”相关。在另一个示例中，定义使用类以区分用户类型，例如“快速用户”和“慢速用户”，其中快速和慢速是使用属性。因此，该分类不限于单个用户的有限组，而是限于不同用户类型的有限组，并且将针对这两个使用类对世界上的每一个用户进行分类。然后，真正的快速用户应当为使用类“快速用户”生成具有高预测值的人工神经网络的输出，并且类似地，真正的慢速用户应当为使用类“慢速用户”生成高预测值。同时显示使用属性或不显示任何使用属性的用户将为这两个使用类生成低得多且不太明显的可区分预测值。其他分类任务可尝试区分“正确”和“不正确”的使用，或者“良好”和“不良”的使用。更加抽象的是，不同的使用类可与对于在目标空间的不同部分中使用手持式消费装置而言典型的使用相关。例如，电动牙刷可用于清洁口腔的不同部位，例如上颌和下颌是口腔中的一个可能分成不同部分的分裂处，而口腔中潜在的32颗牙齿中的每一颗牙齿(每颗牙齿的每个表面)可能是口腔中的另一个可能分成不同部分的更精细的分裂处。如将说明的那样，将针对目标空间中的使用来对手持式消费装置的使用进行分类，其中目标空间可包括目标表面(例如，口腔内的牙齿表面和舌头表面)，并且手持式消费装置可以具体地被布置用于处理目标表面。本文所述系统的输出可将分类结果传达至消费者。对于消费者而言，了解当前已识别的目标空间部分可能是有意义的。下面将参考其中电动牙刷是手持式消费装置的示例进一步讨论。在此应注意，人工神经网络所用的使用类可能与目标空间的部分不是以单射和满射的方式对应的。下文将对此作更详细的描述。

迄今为止，尚未以综合的方式解决通过人工神经网络对手持式消费装置的使用分类，尤其是对于针对目标空间映射装置的任务而言。

如将更详细地讨论的那样，如果使用数据不仅包括一种类型的使用数据(即来自一种传感器的类型)，而且如果还使用其他使用数据(例如，运动数据和力数据或力数据和电容数据等)，则甚至可以更好地对手持式消费装置的使用进行分类。附加的使用数据将至少一个其他元素添加到输入元组，从而可以针对输出类提高至少一个人工神经网络的预测质量。所研究的一种使用数据是添加到运动数据中的力数据(例如，来自加速度计，陀螺仪和磁力计中的至少一者)，其中力数据与在会话期间施加在消费装置处，具体地施加在消费装置头部处的力相关。力传感器可用于测量这样的力，并且力传感器可以提供具有一个分量、两个分量或三个分量(涉及三个正交方向)的力数据。力传感器还可以附加地或另选地例如借助于6轴力传感器确定一个、两个或三个方向上的扭矩。

本文所述的若干示例性实施方案集中于牙刷的使用分类，即手动或电动牙刷。但是，术语“手持式消费装置”还应包括许多其他消费装置，例如湿式剃刀或电动剃刀、脱毛器、发梳、按摩器、洗涤器或拖把或类似装置。

使用数据通常由位于消费装置中(例如，位于消费装置的手柄和/或头部中)的至少一个传感器生成。可以给定的第一频率对所述至少一个传感器进行采样以生成时间上连续的原始传感器数据流。虽然传感器数据可作为使用数据以第一频率转发至分析装置(例如以有线或无线方式)，但是可以首先对原始传感器数据进行处理(例如，以一定分辨率诸如16位、14位、12位、10位、8位或6位平均化和/或去噪和/或数字化)，其中处理包括将传感器数据频率从第一频率更改为第二频率，然后在该第二频率下将经处理的传感器数据作为使用数据提交至分析装置。然后，第二频率可以低于第一频率，例如第一频率可为约100Hz或更高(例如200Hz或500Hz或1kHz等)，并且第二频率可为约100Hz或更小，例如50Hz或25Hz等。分析装置可以使用与给定预定时间段相关的使用数据来执行分类，该预定时间段通常比常用的使用会话时间短。该预定时间段可以在0.1秒至10分钟之间的范围内(或其间的任何值)，而典型的使用会话时间段可以在10秒和100分钟之间的范围内(或其间的任何值)。预定时间段内的时间上连续的使用数据(即输入元组)的数量可以在2至1000之间的范围内(或其间的任何数量)，尤其是在5至100或10至50或20至30的范围内，诸如约25。这不应排除所描述的系统也仅通过单个输入元组而不是输入输入元组序列来起作用。

人工神经网络通常使用状态的内部大小，该状态的内部大小最终大于本公开所讨论的输入元组的大小。较大的内部状态大小会生成较大的权重矩阵和偏差向量，因此提供了高度的灵活性，以使人工神经网络适应学习数据。但是具体地，如果人工神经网络将在性能有限的处理器上(例如在智能手机上)运行，则内部状态的大小可能无法被随意地选择为高。例如，已发现，约256或更小的大小足以完成当前的任务，并且较大的大小并不一定会使预测概率提高。

在一些实施方案中，认为分析装置在每个预定时间段内仅提供单个输出答案(其中单个输出答案意味着将单个使用类识别为与在预定时间段期间使用消费装置的最高概率相关的使用类)。这可能意味着人工神经网络接收多个输入元组并且仅生成单个输出元组，或者可能意味着人工神经网络提供输出元组序列，并且分析装置进一步处理输出序列以提供每个预定时间段的单个输出答案。如预测值低于某个预定阈值所表示的那样，在预测不可信的情况下不提供使用类作为答案，这可能是分析装置的一个特征。在将预测值归一化的情况下，该阈值可以处于0.5和0.99之间或0.6和0.9之间或0.65和0.8之间的范围内或为约0.7。

用于对手持式消费装置的使用进行分类的系统

图1为根据本公开的示例性系统100的示意图。系统100包括手持式消费装置200和分析装置300。任选的呈现装置400在此是系统100的一部分；呈现装置可实现为屏幕、智能扬声器、LED灯阵列等。虽然在图1中示出手持式消费装置200(为简单起见，术语手持式消费装置在此也被简称为“消费装置”)，并且分析装置300在物理上是分开的装置，但不应排除在单个壳体内实现这两者，即，分析装置300可以结合到消费装置200中，或者它们可以实现为一体式单个装置。在其他实施方案中，分析装置被实现为远程分析装置，例如实现为云计算机。

在所示的实施方案中，消费装置200包括用于由消费者的手(手以虚线示出)抓握的手柄201和用于处理目标空间250的至少一部分的处理头部202。处理头部202在此可相对于手柄201移动，具体地处理头部202可相对于手柄201在一个或两个方向上枢转，如双箭头P所示。在此，消费装置200包括传感器单元，该传感器单元包括位于手柄201中的惯性传感器210和位于处理头部202中的另一个惯性传感器211。需注意，根据本说明书，单个惯性传感器210或211就已足够。惯性传感器210和211生成与消费装置200相对于参考坐标系RS的加速度、角速度和/或取向相关的运动数据，该参考坐标系在图1中被指示为具有三个坐标轴x、y和z。作为一个示例，可以使用得自Bosch Sensortec，Germany的九轴惯性传感器BMX160来实现惯性传感器。根据至少一个方面，根据本说明书的消费装置包括具有至少一个惯性传感器的传感器单元，该惯性传感器提供关于至少一个轴的至少一个时间上连续的运动数据流。如在此所示的消费装置200具有传感器单元，该传感器单元包括被布置为力传感器的另一个传感器212，该力传感器确定沿着至少一个轴施加在消费装置200(尤其是消费装置200的处理头部202)处的力F。附加地或另选地，可通过监视流过消费装置的驱动单元的电流或通过测定例如惯性传感器数据的噪声来测定施加在消费装置处的力。消费装置200的传感器单元在此还包括电容传感器213，该电容传感器设置在处理头部202处，以便确定处理头部202的环境变化。消费装置200的传感器单元可包括另外的传感器，例如确定手柄201的环境变化的另一个电容传感器214。传感器212、213或214可以提供与运动数据不同的时间上连续的传感器数据流。来自这些传感器212、213、214中的至少一个的传感器数据可以与所述至少一个惯性传感器210、211的时间上连续的数据流组合，并且可以作为使用数据U_D传输到分析装置300，在所示的实施方案中，这经由发射器或收发器220以无线方式进行。由惯性传感器210和211生成的运动数据以及由另外的传感器212至214生成的另外的数据均被视为表征给定时间段内消费装置200的使用的“使用数据”。消费装置200可被布置成存储使用数据并且仅在使用会话结束之后才传输。

在此需注意，根据本公开的消费装置的传感器单元包括至少一个用于生成使用数据的传感器。在一些实施方案中，所述至少一个传感器是惯性传感器，在一些实施方案中，所述至少一个传感器是提供不是运动数据的使用数据的传感器。根据本公开的至少一个方面，系统100利用来自非惯性传感器的使用数据，并且可以任选地将非惯性传感器数据与惯性传感器数据组合，以用于对消费装置200的使用进行分类的任务。

消费装置200可打算在目标空间250的至少一部分中使用。目标空间250在此被示意性地示出为包括七个部分或位置251至257以及由虚线表示的另一部分258，这将在下面进一步详细讨论。在一些实施方案中，目标空间250可以表示真实3D空间的可在其中使用消费装置200的至少一部分，其中具体地，部分251至258中的至少一个部分可以表示目标表面的打算在其上使用消费装置的一部分。

分析装置300在此包括用于至少从消费装置200接收使用数据U_D的接收器或收发器320。在其中消费装置和分析装置被实现为物理上一体的装置的实施方案中，数据传输可以仅经有线连接进行(或者消费装置200可包括用于与另一装置例如基站或分析装置等建立有线连接的触点)。如前所述，包括至少一个传感器210、211、212、213、214的传感器单元提供使用数据U_D，该使用数据可包括运动数据作为数据元组的时间序列(如本文所用的术语元组意指元素的有限有序列表(序列)并且n元组意指具有n个元素的此类列表)。如所说明的那样，运动数据可包括每个时刻的至少一个运动数据，通常为每个时刻三个或更多个诸如四个、五个、六个、七个、八个或九个运动数据。因此，使用数据U_D可被布置为每个时刻的相应n元组。可将附加使用数据U_D诸如来自至少一个另外的传感器212的力数据添加到运动数据中，使得每个时刻有相应更大的n元组的使用数据U_D可用。通常，将表示预定时间段的使用数据U_D的n元组序列输入到处理单元310中，以借助于人工神经网络处理使用数据U_D，以便针对使用类351至359的集合350对使用数据U_D进行分类。虽然在一些实施方案中，使用类351至359独立于目标空间250(例如，使用类与不同的用户类型相关或者与正确或不正确的使用相关)，但在一些实施方案中，使用类351至359可以与目标空间250的部分251至258相关联，因为使用类351至359中的至少一些使用类与消费装置200在目标空间250的某些部分251至258中的使用相关。如将在下面更详细地说明的那样，使用类集合350中的使用类351至359与目标空间250的部分251至258之间的关系于是可以是任意的(即，可以偏离双射关系)。这意味着例如第一使用类351可以与目标空间250的一部分251相关联，一个使用类352可以与目标空间250的两个部分251和252相关联，使得两个使用类351和352与目标空间250的一部分251相关联并且一个使用类359与目标空间250的任何部分无关。作为非限制性示例，使用类的数量可为20，而目标空间的部分的数量可为6。

分析装置300可包括存储单元330，以用于存储所接收的使用数据和/或在分类过程中生成的数据(以使数据可用于稍后的任务，诸如将先前的结果与当前结果进行比较或呈现结果的历史记录)并且/或者用于存储程序例程或查询表等。

如所说明的那样，给定时间段的使用数据U_D将被系统100用于对该时间段内消费装置200的使用进行分类。该装置的使用可以具体地基于消费装置200做出的运动以及哪些运动对于处理目标空间251至257的特定部分(可以是目标表面的一部分)是特定的或对于过渡运动是特定的来确定。

由例如惯性传感器210或由力传感器212输出的使用数据U_D的示意图被示出为曲线图210U，其中使用数据U_D被示意性地示出为时间t的函数。所描绘的图表以举例的方式示出了在使用会话期间的U_D的值，该使用会话开始于t₀并且结束于t_s。系统100可用于基于使用数据U_D在预定时间段ΔT中对消费装置200的使用进行分类，该预定时间段ΔT开始于时刻t₁并且结束于时刻t₂。分类可以在随后的时间段内重复分类。使用会话的长度可以在1秒和100分钟之间的范围内，并且时间段ΔT的长度可以在0.1秒和10分钟之间的范围内。

任选的呈现装置400在图1中被示出为系统100的一部分。虽然呈现装置400在此被示出为与消费装置200和分析装置300分开的物理分离装置，但应当理解，呈现装置可以结合到消费装置200或分析装置300中或者所有装置都可以被实现为一个整体装置。在所示的实施方案中，呈现装置400具有：显示器410，用于以实时或离线方式向用户显示视觉信息；接收器或收发器420，用于至少从分析装置300接收数据；以及用户界面430，该用户界面可被实现为触摸键盘、机械键盘或语音接口。在此指出，呈现装置400可以在显示器410上示出使用类集合或目标空间450的视觉表示，并且所述使用类集合或目标空间450的视觉表示的一部分451被突出显示以向用户指示系统100已对要与突出显示部分451相关联的消费装置200的使用数据进行了分类。

手持式消费装置

图2为根据本公开的示例性消费装置200A的图示。如图所示，消费装置200A可具有基站240A，该基站可以例如具有充电功能，但是也仅可用于将消费装置200A机械地保持在容座249A中。

消费装置200A可包括至少一个惯性传感器210A、210B、210C，并且该至少一个惯性传感器210A、210B、210C可以是已经讨论的加速度计、陀螺仪或磁力计中的至少一者。在此示出，所述至少一个惯性传感器210A、210B和210C被设置在消费装置200A的手柄201A中。另选地或附加地，一个或多个惯性传感器可被设置在消费装置200A的处理头部202A中，尤其是在处理头部202A被布置成可相对于手柄201A移动的情况下。在所示的实施方案中，消费装置200A具有至少一个位于处理头部202A中的另外的传感器212A、212B、212C、213A、213B、213C或213D。该至少一个另外的传感器可以例如被实现为力传感器、电容传感器、温度传感器、气压传感器等。消费装置200A可包括两个或甚至更多个另外的传感器212A、212B、212C、213A、213B、213C或213D，例如两个或更多个电容传感器可被设置在处理头部202A的不同部分中，以确定不同区域中处理头部202A的介电环境的变化。另选地，消费装置200A不包括任何惯性传感器。作为气压传感器的一个示例，得自TDK Corporation，Japan的InvenSenseICP-10100传感器能够检测到约5cm的高度差，因此可以合理地为本文中考虑的各类消费装置贡献使用数据。

惯性传感器210A、210B、210C和/或另外的传感器212A、212B、212C、213A、213B、213C或213D可以与传感器处理单元230A耦接。传感器数据处理单元230A可被布置成从至少一个惯性传感器210A、210B、210C和/或至少一个另外的传感器212A、212B、212C、213A、213B、213C或213D以第一频率接收传感器数据该第一频率可以是高频率，例如高于100Hz，然后传感器数据处理单元230A可被布置成处理所接收的传感器数据并且以第二频率输出经处理的传感器数据该第二频率为较低频率，例如低于100Hz，如示出作为时间t的函数的和的两个曲线图所示。传感器数据处理单元230A可通过应用例如平均滤波器等来处理所接收的传感器数据以生成低频率传感器数据尤其是在消费装置200A与分析装置物理上分开时(参见图1和图3)，由于降低的数据速率，低频率传感器数据可以支持将从消费装置200A传输到上述分析装置的实时分析。消费装置可包括发射器或收发器220A，以例如基于蓝牙或蓝牙LTE或任何其他无线数据交换格式与分析装置建立无线连接。消费装置200A可包括处理器单元231A，用于至少存储传感器数据，例如以便允许稍后将传感器数据传输到分析装置。在一些实施方案中，处理器单元231A可以执行传感器数据的分析，而无需另外的分析装置，即，分析装置/分析单元的功能可被结合到消费装置200A中。为了向用户提供反馈或至少信息，消费装置200A可包括反馈单元232A，该反馈单元在图2中被示为多个可见光元件，例如LED，其中每个光元件可被分配给目标空间的特定部分(例如口腔的部分)，使得消费装置200A可以提供有关已识别的使用类或目标空间的与相应使用类相关联的一部分的反馈。消费装置200A还可以经由例如消费装置200A的驱动单元提供用户反馈。例如，驱动单元可提供特定振动模式以将某些反馈传达至用户，例如以指示当前处理的表面部分已接受足够的处理，并且消费者可以朝向另一个表面部分移动。消费装置200A还可包括用户界面233A，该用户界面允许用户提供输入，诸如开始对存储的传感器数据进行离线分析的请求。

来自至少一个惯性传感器210A、210B、210C和/或来自至少另一个另外的传感器212A、212B、212C、213A、213B、213C或213D的(潜在地经处理的)传感器数据可在使用会话期间或在使用会话之后作为时间序列借助于例如发射器或收发器220A被传输到物理上分开的分析装置，即传感器数据U_D(t_i)被传输，其中U_D(t_i)代表在图2中通过说明示出的传感器数据元素的k元组，其中k为单个传感器数据的数量，例如其中k＝3可代表来自三轴加速度计的传感器数据的三个元素，k＝6可代表包括三轴加速度计和三轴陀螺仪的六轴惯性传感器的六个元素，并且k＝7可代表与先前相同，但扩展了来自单轴力传感器的数据。显然，元组的时间序列的元素数量k取决于应当用于使用分类目的的单个传感器数据的数量。

在使用会话期间提交传感器数据的时间序列U_D(t_i)以进行实时使用分类，并且在数据生成及其传输之间仅有非常短的延迟。传感器数据也可被压缩为一定数据长度，例如传感器数据可以作为具有一定长度诸如8位或10位或12位或16位或20位等的数字数据进行传输。将典型模拟传感器数据降低为具有有限分辨率的数字化传感器数据可能对于在有限的数据传输速率的情况下允许实时传感器数据传输会有所帮助。已发现，对于诸如电动牙刷的消费装置的典型分类任务，8位传感器数据分辨率已足够，并且更高的分辨率不会导致使用分类任务的最终预测质量显著提高。传感器数据可以是原始传感器数据或预处理的传感器数据。

对于离线使用分类，传感器数据可以高分辨率(例如24位分辨率)并且任选地还以高采样率(例如200Hz)存储，然后稍后可传输相同的高分辨率传感器数据以进行分析，因为传输时间和数据传输速率限制与离线使用分类不太相关。消费装置200A中的存储装置的大小可被设置为允许存储一个、两个、五个、十个、二十个、一百个等使用会话，使得用户仅在使用消费装置200A的一定时间之后才可以开始离线使用分类。

消费装置200A可被置于基站240A上，具体地，消费装置200A可被机械地保持在基站240A的容座249A中(消费装置200A的保持可经由容座所提供的型面配合而进行，或者基站可包括磁体并且消费装置20A也可包括磁体或可磁化元件)。基站240A可具有充电功能，以在将消费装置200A置于基站240A上时为设置在消费装置200A中的可充电蓄电池充电，该基站可包括用于将数据传输到分析装置的发射器或收发器243A(参见图3)，该分析装置可通过远程处理装置(例如，云计算机)实现。然后发射器或收发器243A可具有WiFi通信能力，例如WLAN。基站240A可被布置成与消费装置200A建立有线或无线通信链路(例如，基于Bluetooth^TM或Bluetooth^TM LTE)。当消费装置200A被置于基站240A上时，可以建立有线通信。消费装置200A则可能不需要具有其自己的发射器或收发器220A来传输传感器数据(和其他数据)，但这可以由基站240A来处理。在一些实施方案中，基站240A还可以实现分析装置，并且因此可包括如将在下文进一步参考图3针对分析装置300A所说明的功能。不论基站240A是否实现分析装置，它都可包括将反馈传达至用户的装置，例如视觉反馈单元241A或听觉反馈单元242A。例如，分析装置或消费装置200A可以将使用分类的结果发送到基站240A，然后可以借助于视觉反馈单元241A显示结果或者经由听觉反馈单元242A传达结果。

分析装置

图3为根据本公开的作为系统的一部分的物理上分开的分析装置300A的示意图。如已经讨论的那样，在此关于物理上分开的分析装置300A描述的相同功能可被结合到消费装置或基站或呈现装置或远程计算装置诸如云计算装置中。分析装置300A可包括接收器或收发器320A、处理单元310A和存储单元330A。传感器数据元组的时间流U_D(t_i)经由接收器或收发器320A接收，并且被馈送到处理单元310A中。处理单元310A可以收集与预定时间段ΔT相关的一定数量的传感器数据元组U_D(t_i)，其中在图3中示出多个n个此类k元组的传感器数据U_D(t_i)，i∈[1，n]被收集，然后被馈送到处理单元310A的使用分类部分中。使用分类在此借助于至少一个人工神经网络ANN来完成。此类至少一个人工神经网络的细节将在以下章节中详细说明。如本领域中已知，先前训练的人工神经网络ANN接收与相关时间段ΔT相关的n个传感器数据元组的序列U_D(t_i)，i∈[1，n]，并输出至少一个输出或答案元组。在此作为非限制性示例示出，提供了n个输出元组的序列y(t_i)，i∈[1，n]，其中每个答案元组具有m个元素，如在图3中通过y(t_i)＝{y₁(t_i)，y₂(t_i)，...，y_m(t_i)}示出，其中整数m为对输入进行分类所涉及的使用类的数量。然后，每个元素y_j(t_i)，j∈[1，m]是与以下预测相关的数值：在时刻t_i处被输入到人工神经网络ANN中的传感器数据与使用类j相关(即，值越高，预测越好)。如下面将进一步说明的那样，人工神经网络ANN的输出可通过softmax函数进行归一化，使得每个m元组y_j的元素被压缩到范围[0，1]内并加到1。可以说此类归一化值与各个输入与使用类j相关的概率有关。

处理单元310A可被布置成处理输出元组的序列，以便获得与当前评估的时间段ΔT相关的单个使用类答案。在该处理步骤中，可将每个输出元组y(t_i)转换为简单答案元组Ai，从而得到简单答案元组的序列A＝{A₁，A₂，...，A_n}。例如，如果m＝5并且归一化输出元组为y_i(t_i)＝[0.1，0.1，0.6，0.15，0.05]，则输出元组中具有最高值的元素为第三元素并且可提供简单答案元组A(t_i)＝(0，0，1，0，0)。可对每个输出元组y(t_i)应用argmax函数，而不是提供n元组，简单答案元组将是标量值(1元组)，即在本示例中A(t_i)＝3。图3中给出的非限制性示例基于以下认识：每个答案元组是向量或n元组，其中仅一个元素为1，其他元素为0。在神经网络领域中，argmax函数可被视为处理输出元组的更常用方式。

然后，处理单元310A可被布置成将简单答案元组的序列A＝{A₁，A₂，...，A_n}减少为单个使用类答案该减少可通过向简单答案元组序列A应用最大准则或多数准则来进行。在简单答案元组Ai是m元组的示例中，最大准则可能意味着如果简单答案元组A_i的大多数第k个元素为1，则将单个使用类答案的m个元素的仅第k个元素设定为1，并且如果简单答案元组A_i的至少50％的第k个元素1为1，则当应用多数准则时，将元素k设定为1。设定为1的元素则对应于已被系统识别为最适合预定时间段的输入的使用类。单个使用类答案的所有其他元素为0。在单个答案元组的所有元素都不为1的情况下，人工神经网络的响应不可靠，并且不进行分类，即不会提供使用类作为输出。另选地，由于argmax函数，简单答案元组A(t_i)可为标量值，其中该值与输出元组y(t_i)的具有最高预测值的元素一致。单个使用类答案也可以是标量值，该值指示已被系统识别为最适合预定时间段的输入的使用类，例如总之，处理单元310A可被布置成针对当前评估的时间段ΔT提供人工神经网络ANN的单个使用类答案。处理单元310A可被布置成在预测概率不可靠的情况下(例如，在应用阈值并且/或者未识别出多数的情况下)不提供答案。

如已经讨论的那样，使用类可以单射和满射的方式(即，以双射的方式)与目标空间的一部分直接且明确地相关联。但是使用类与目标空间的各部分之间也可能存在更复杂的关联。例如，在消费装置是电动牙刷的情况下，使用类可与电动牙刷的不同运动相关。使用类1可与对于刷洗左上磨牙的颊面而言典型的运动相关，使用类2可与对于刷洗左下磨牙的颊面而言典型的运动相关，而使用类3可与对于在单次移动中刷洗左侧磨牙(即左上磨牙和左下磨牙)的颊面而言典型的运动相关。因此，处理单元310A可被布置成将针对当前评估的时间段ΔT识别的使用类映射到目标空间的部分上，其中在此示出了目标空间350A的图形表示，其也可以表示经由显示器向用户的视觉反馈。在所示的示例中，第三使用类(如果单个答案元组的第三元素为1，则作为答案提供)可与目标空间350A的两个部分352A和353A相关，一起组合成部分351A。然后，单个使用类答案的第一元素(即，第一使用类)可以与部分352A相关联，并且第二元素(即，第二使用类)可以与部分353A相关联(如果为标量值并且这也将保持)。使用类编号五可以与目标空间的部分354A相关联，这可与对于刷洗右下磨牙而言典型的运动相关(例如)。并且使用类编号七(例如)可与目标空间350A的部分355A和356A相关联，其中部分355A和356A表示牙刷未用于刷牙，而是从一个刷洗区域移动到另一个刷洗区域(即过渡运动)。可为诸如电动剃刀、拖把等其他消费装置提供类似的示例。电动剃刀的目标表面可为例如受试者的头部。

在先前的讨论中使用术语“运动”的情况下，这涉及仅输入运动数据作为传感器数据的情况。在使用数据包括运动数据以外的其他或附加传感器数据的情况下，术语运动将被术语“使用”代替。

包括电动牙刷的示例性系统

图4是示例性系统100E的示意图，该示例性系统包括被实现为电动牙刷的消费装置200E以及被实现为智能电话并且在这种情况下还实现呈现装置的功能的分析装置300E。

众所周知，电动牙刷200E包括手柄201E和处理头部202E，即刷头，并且电动牙刷200E旨在清洁口腔的包括牙齿和任选地舌头的部分。因此，电动牙刷200E的目标空间250E包括在此与牙齿相关的部分251E至256E和与舌头相关的部分257E。此外，目标空间250E在此包括两个另外的部分258E和259E，它们与电动牙刷头的过渡运动相关，即与牙刷无关但与将牙刷从一个牙齿/牙齿部分移动到另一个牙齿/牙齿部分相关的运动。在此用于将口腔分成各个部分的目标空间部分的数量仅是示例，并且应视为非限制性的。在其他实施方案中，目标空间仅包括与牙齿相关的一部分和与过渡运动相关的一部分。又如，每个磨牙被分成与每个磨牙的颊面、舌面和咬合面相关的三个部分，并且每个门牙被分成与颊面和舌面相关的两个部分(即，总共84个部分，每个部分与特定牙齿的一个表面相关)。舌头也可以分为两个或更多个部分，例如前部和后部。这仅表示目标空间可具有任何合理数量的部分。

电动牙刷200E在此包括已讨论的传感器，并且被布置成在使用会话期间将使用数据U_D的时间序列传输到分析装置300E。分析装置300E被布置成借助于人工神经网络针对使用类集合对电动牙刷200E的使用进行分类，并且将所得的使用类映射到目标空间250E上，使得可以在分析装置的显示器301E上示出目标空间250E的视觉表示350E。在此，视觉表示350E包括七个部分(过渡在视觉上未示出)。作为示例，每个视觉描绘的可视化被填充到一定水平，使得用户可以轻松地看到在目标空间的哪个相关部分已耗费多少百分比的建议刷洗活动。另外，基于对使用数据U_D的时间序列的评估结果，突出显示视觉上描绘的区354E以指示目标空间(即，口腔)的当前刷洗的部分。例如，总刷洗时间在显示器301E上示为另一信息360E。

在说明书的以下章节中，在与本文所述系统相关的程度上，简短地描述了人工神经网络和相关架构的特定人工神经网络。

人工神经网络

人工神经网络(ANN)是一种人工神经元网络，它使用受神经信息学启发的神经元模型，其中多个输入通过激活函数加权并输出。在激活之前，可添加偏置值(或阈值)以使加权输入偏移。ANN的典型激活函数是非线性且单调增加的函数，诸如S型函数或表示为tanh的双曲正切函数。

图5是具有输入层10、隐藏层20和输出层30的示例性人工神经网络1的示意图。ANN的输入向量x_i可以各自是n元组，其中n可以是任何整数。根据图5所示的ANN，将输入向量x_i级联，然后将级联的向量馈送到隐藏层20的每个单元中。借助于完全连接的层，可将输入c_i＝(x₁，x₂，x₃)传输到任何其他维度的元组中，例如传输到k元组和中，其中w_ikj为隐藏单元i，i＝1，2，3的权重矩阵的元素，并且b_ik为隐藏单元i，i＝1，2，3的偏差向量的元素，并且j表示级联向量a_i的元素的运行指数，并且k表示k元组的元素的运行指数。然后，通过激活函数输出加权输出其中在此σ表示S型函数。在隐藏层20中进行此激活之后，激活向量a_i可以由完全连接的输出层30映射到任何其他维度的多个输出元组y_i，i＝1，2上，其维度通常与ANN的可能答案一致，例如ANN应识别的单词数。

在一个典型的示例中并且不参考图5，ANN用于学习任务，例如以识别手写字母。然后可通过向ANN提供所谓的标记输入(例如，表示具有50乘50像素的图片的数据流，例如，每个像素表示黑色或白色)来学习ANN的权重和偏差，其中每个图片包含答案中已知的一个手写字母，例如字母“c”。然后，基于在ANN的输出和系统在理想情况下应通过所谓的反向传播提供的输出之间的差异，在(在此：监督的)学习过程中修改ANN的初始权重和偏差，其中在本示例性答案“c”中，ANN可提供具有26个元素的输出向量(拉丁字母表中的每个字母一个输出向量)，其中在理想情况下，第三元素将为1，所有其他元素将为零。通常，如果对ANN进行了充分的训练，那么ANN可能会在应用于权重和偏差的更改中显示出一些收敛性。可以认为，ANN的设计者所面临的挑战是找到特别适合于待学习的任务的ANN的架构，以使得ANN的预测质量足够好并且可以被实际用于例如自动手写识别中。

如已经提到的那样，本公开中正在讨论的任务是确定使用类，并且潜在地基于该使用类确定目标空间的当前使用手持式消费装置的一部分。已发现，如果包括例如手持式消费装置的运动数据的使用数据被用作对ANN的输入，则ANN，具体地下面进一步讨论的ANN的某些架构可用于以足够的预测精度来完成该任务，并且预测质量可通过添加附加使用数据作为对ANN的输入，例如通过添加表示施加在手持式消费装置处的力，具体地施加在手持式消费装置的处理头部处的力的力传感器数据来进一步提高。还可以设想，ANN可用于通过提供作为对ANN的输入的使用数据来完成所提供的任务，该使用数据不包括运动数据，而仅包括其他传感器数据诸如单轴或多轴力数据、来自设置在手持式消费装置上的电容传感器、温度传感器的数据等。已经讨论了用于提供此类使用数据的传感器。

递归神经网络

递归神经网络(RNN)是一类具有特定属性(即递归输入)的ANN。图6A为包括输入层10A、隐藏层20A和输出层30A的RNN 1A的示意图。可以看出，递归单元50A不仅接收输入x_t，而且还接收前一时刻的隐藏状态，然后将当前时刻t的隐藏状态h_t输入到神经单元50A中以计算下一时刻t+1的输出。

图6B为图6A的RNN处于其“铺开”或“展开”状态的示意图。所得的递归神经单元50A的链在不同的“时刻”t应用，其中t＝[1，n]。在第一时刻t＝1，神经单元50A接收初始隐藏状态h₀和输入x₁以计算输出y₁和修改后的隐藏状态h₁，然后在下一时刻t＝2将其馈送到神经单元50A中。神经单元50A在时刻t＝2处接收输入x₂和如上所述的隐藏状态h₁，以计算输出y₂和隐藏状态h₂。该链持续到时刻t＝n处的输入序列的末尾。隐藏状态的特别好处是随着时间的推移会随着存储器携带。例如，神经单元50A在简单的实现中可以仅仅是tanh激活函数，即，在经过完全连接的层之后，隐藏状态h_t-1和输入x_t被级联并由tanh函数激活，如已针对ANN单元说明的那样。从图6A清楚可见，神经单元50A的权重和偏差不随时间变化。

RNN的结构适用于处理顺序数据。虽然本文所用的术语“时刻”可被广义地解释，并且不一定与实时相关，但是据发现，对手持式消费装置的使用进行分类的任务可通过提供例如运动数据和/或其他使用数据作为实时序列来实现。已发现，在手持式消费装置是电动牙刷的情况下，一秒的时间段可以是用于通过ANN，具体地RNN对使用数据进行分类的合理时间段，并且可以使用约25个时间上等距的使用数据输入向量x_t。当然，这仅仅是一个非限制性示例，并且已经讨论了其他值和范围。

ANN的输入元组x_i的维度与输入数据的元素数量相关，例如如果使用了使用数据的六个元素(例如，来自3轴加速度计和3轴陀螺仪的六个不同运动数据值)，则例如，如果将另外的力值作为元素添加到输入使用数据中，则ANN的输出y_i取决于对输入进行分类所涉及的使用类的数量。如果输出类的数量为例如20，则在内部，例如隐藏状态h_i的大小可具有大得多的值。隐藏状态h_i的大小可为256，则如将会看到的那样，输入x_i通过权重矩阵W达到更高的大小，上面的第一个示例是可添加到因此大小增加的输入中的偏差或阈值b也可具有隐藏状态h_i的大小，即为了从大小为256的ANN内部状态向量生成大小为20的输出y_i，完全连接的输出层使用相应的权重矩阵本段落中使用的数量是非限制性示例，并且输入、输出和内部状态的大小可具有任何合适的整数。

LSTM单元

RNN可被视为一系列相同的前馈神经网络单元(每个时刻一个前馈神经网络单元)，将内部隐藏状态输出作为内部隐藏状态输入传递到下一时刻(递归信息)，或者换句话讲：RNN是单个前馈单元，它在每个时刻将内部隐藏状态输出重新循环为新的内部隐藏状态输入。RNN单元可具有至少一个隐藏层。因此，最基本的RNN单元是已经讨论过的单层神经网络单元。在经典的“香草”RNN单元中，该单元的输出与内部隐藏状态输出相同。香草RNN存在已知问题(梯度逐渐消失和分解，这使RNN无法训练，信息变形，这意味着内部隐藏状态以一定方式不断变化，使得过去的信息过快地丢失)。因此，在1997年，提出了使用长短期存储器(LSTM)单元来克服香草RNN的这些问题(S.Hochreiter，J.Schmidhuber：Long Short-TermMemory，Neural Computation 9(8)：1735-1780，1997年)。基本的LSTM单元50B示于图7A中。与参考图6A和图6B讨论的基本RNN单元相反，LSTM单元50B包括隐藏状态h和单元状态c。图7A所示的LSTM单元50B涉及时刻t。因此，LSTM单元50B接收前一时刻的单元状态c_t-1和隐藏状态h_t-1，并且输出与当前时刻t相关的单元状态c_t和隐藏状态h_t。隐藏状态输出h_t还用作LSTM单元的输出，可将其转发到输出层或另一个隐藏层，这将在下面针对堆叠RNN进一步讨论。为了解决香草RNN的问题，LSTM单元50B包括遗忘门51B、输入门52B和输出门53B。所有门51B、52B、53B接收包括h_t-1和x_t的级联向量作为输入。该级联的输入向量通过权重矩阵W和U在每个门中经过完全连接的层，然后由激活函数激活，其中σ表示S型函数，tanh表示双曲正切函数。参考以下公式。在图7A中，表示元素加法，并且⊙表示Hadamard乘积(即元素乘法)。通过遗忘门确定应当遗忘单元状态的哪一部分。通过输入门确定应当添加到单元状态的内容。在输出门中，使用单元状态确定隐藏状态输出。

与该基本LSTM单位相关的公式为：

i_t＝σ(W_i·h_t-1+U_i·x_t+b_i)

o_t＝σ(W_o·h_t-1+U_o·x_t+b_o)

f_t＝σ(W_f·h_t-1+U_f·x_t+b_f)

其中x_t为输入向量，i_t为输入门激活向量，o_t为输出门激活向量，f_t为遗忘门激活向量，c_t为单元状态向量，为候选状态向量，并且h_t为隐藏状态向量，也是基本LSTM单元的输出。c_t-1和h_t-1是上一时刻的隐藏状态和单元状态向量。W_i、W_o、W_f和W_c是在各个激活函数之前应用的隐藏状态权重矩阵，U_i、U_o、U_f和U_c是输入权重矩阵，并且b_i、b_o、b_f和b_c是偏差向量。σ表示S型激活函数。应当注意，本文中的术语“元组”和“向量”是可交换的。

存在基本LSTM单元的各种修改形式(例如具有所谓的窥孔连接的LSTM单元)。此处所示的LSTM单元的讨论应被视为非限制性示例。

GRU单元

可使用所谓的门控递归单元(GRU)构建另一类RNN。GRU与LSTM相似，但在某种程度上更简单。由K.Cho等人在2014年对GRU进行了介绍(“Learning Phrase Representationsusing RNN Encoder-Decoder for Statistical Machine Translation”，2014年9月3日，arXiv：1406.1078v3)。

GRU 50C的图形表示示于图7B中。可以看出，GRU 50C不包括由LSTM单元已知的单元状态。GRU 50C包括更新门51C、复位门52C和输出门53C。

与该基本GRU 50C相关的公式为：

z_t＝σ(W_z·h_t-1+U_z·x_t+b_z)

r_t＝σ(W_r·h_t-1+U_r·x_t+b_r)

g_t＝tanh(W_g(r_t⊙h_t-1)+U_g·x_t+b_g)

其中z_t为更新门激活向量，r_t为复位门激活向量，g_t为当前存储器内容，并且h_t为当前时间步长的最终存储器。LSTM单元50B和GRU单元50C之间存在明显的相似性，但是GRU单元50C的计算复杂度稍低。已发现，基于GRU单元的RNN提供与基于LSTM单元的RNN类似的高预测精度，并且以更高的计算速度提供。尤其是为了在诸如智能手机的小型处理装置上实现，可以使用基于GRU单元的RNN。

RNN的架构

诸如单元50A、50B或50C的递归单元可用于RNN的多种不同架构中。RNN的两种特定架构是双向RNN(BDRNN)和堆叠RNN(SRNN)。双向RNN的示意图示于图8A中，而堆叠RNN的示意图示于图8B中。为完整起见，图8C示出了堆叠双向RNN(SBDRNN)的示例性描绘。

图8A所示的BDRNN 1B从左至右和从右至左并行计算RNN单元500B和501B的输出。BDRNN 1B包括输入层10B、隐藏层20B和输出层30B。隐藏层20B包括递归单元500B的第一链21B和递归单元501B的第二链22B，第一链从左至右(或以从过去到将来的时间语言)计算输出，第二链从右至左(或以从将来到过去的时间语言)计算输出。链21B、22B中的每个链包括其自身的隐藏状态向量，即，从左至右链21B的隐藏状态向量h¹和从右至左链22B的隐藏状态向量h²。与给定时刻t相关的递归单元500B和501B的输出可以被级联或逐元素相加，然后对于每个时刻t，由完全连接的输出层30B映射到输出向量y上。这允许BDRNN在两个时间方向上考虑输入序列中的模式。

对于由BDRNN评估的时间上的第一时间段，可以随意地初始化隐藏状态(即，正向方向上的隐藏状态)，例如，的每个元素都可以设定为0。对(即，反向方向上的隐藏状态)也可以这样做。对于所评估的时间上的下一个时间段，可根据先前的评估将设定为然后，可将分析装置布置成在正向方向上存储最后的隐藏状态，以将其输入到下一个RNN单元中，以评估使用数据的下一个序列。如果没有任何“将来”的信息，则可以始终将设定为具有相同的初始值。可以在BDRNN的学习阶段中优化隐藏状态，而不是在正向和反向方向上随意初始化隐藏状态，例如，初始隐藏状态可被视为BDRNN在学习阶段用于优化预测的参数。在此针对正向方向上的隐藏状态所说的内容当然也适用于所有其他RNN，而针对反向方向上的隐藏状态所说的内容也适用于下面描述的堆叠BDRNN。

图8B示出了SRNN 1B，它在前馈方向上包括每个时刻t的两个递归单元500C和501C。因此，SRNN 1B的隐藏部分20C具有在前馈方向上耦合的第一隐藏层21C和第二隐藏层22C。从第一隐藏层21C的递归单元500C转发到下一时刻的隐藏状态向量也作为输入向量被前馈到第二隐藏层22C的递归单元501C。SRNN 1C绝对可被视为深度神经网络。在单个隐藏层LSTM单元或GRU分别由于每个LSTM单元或GRU中的四层或三层而被视为深层神经网络的情况下，堆叠LSTM或堆叠GRU网络会进一步增加深度。

图8C示出了SBDRNN 1D的示意图，其中结合了如图8A所示的BDRNN和如图8B所示的SRNN的结构。SBDRNN 1D的隐藏部分20D因此具有两个堆叠的隐藏层21D和22D。隐藏层21D、22D分别包括从左至右层23D和25D以及从右至左层24D和26D。这提供了将第一隐藏层21D的递归单元500D和501D的输出前馈到第二隐藏层22D的递归单元502D和503D中的每个递归单元的机会(例如，使输出级联，然后馈送到相应的递归单元502D和503D中)。已发现，堆叠双向LSTM或GRU为本文讨论的分类任务提供了良好的预测质量。还发现，这样的LSTM或GRU网络的内部维度不需要超过约256(其中“维度”在此是指隐藏状态向量，这意味着隐藏状态为256元组)，这在一方面允许当在智能电话或平板电脑等上实现时，尤其是当与约25个样本的序列长度结合使用时实现ANN的实时预测结果，并且在另一方面提供足够的预测质量。这不应被视为限制性的，并且也可考虑在例如128至512之间(或这些值附近的数值)的范围内的隐藏状态向量维度，以及在例如10至50之间(或这些值附近)的范围内的序列长度。

ANN的输出和对输出的连续运算

在本文讨论的各种示例性RNN 1A、1B、1C和1D中，针对每个时刻生成输出向量或元组y_t。这不应被视为限制性的。但是，对于本章节的讨论，应假设对于每个输入序列x＝(x₁，x₂，...，x_n)，RNN提供至少两个输出。为简单起见，RNN的输出序列y＝(y₁，y₂，...，y_n)在此被视为具有与输入序列相同的长度。此外并且不受理论的限制，ANN可将softmax函数应用于每个输出元组y_i。softmax函数对输出y_i的元素进行归一化，使得输出向量y_i的元素总计为1并被压缩到[0，1]的范围内。但这被视为任选步骤。

输入序列的每个输入向量x_i可以是维度为k的元组，例如，如果使用六个惯性传感器数据值，则k＝6；如果使用附加力传感器值或另一个传感器值，则k＝7。每个输出向量y_i可以是具有维度m的元组，例如m＝20。正如已讨论的那样，输出y_i的元素，即y_i＝(y_i(1)，y_i(2)，...，y_i(m))与ANN所用的使用类集合中的不同使用类相关。对于手持式消费装置，在给定时刻的输出向量y_i的每个元素与关于输入属于该元素所分配到的使用类的预测相关。在输入向量x_i仅包括运动数据并且消费装置是电动牙刷的示例中，使用类因此可以是不同的运动类型，例如，第一使用类可与慢速牙刷的运动相关，第二使用类可与快速牙刷的运动相关。根据本公开的主要任务，即，提供对消费装置的位置的确定(即，具有足够高的概率的预测)，输出向量y_i的每个元素因此可与对于在目标表面的一个或若干区中使用消费装置而言典型的运动相关。例如，输出y_i的第一元素，即y_i(1)，可与对于左上磨牙颊面而言典型的运动相关，并且第二元素y_i(2)可与对于左上磨牙的咬合面而言典型的运动相关。如果与消费者连通的相关区是“左上磨牙”，则输出的第一元素和第二元素与该区相关联。进一步假设输出的元素三和四分别与对于左下磨牙的颊面和咬合面而言典型的运动相关，它们均与“左下磨牙”区相关联，并且第五元素与对于一起刷洗上下磨牙的颊面而言典型的运动相关(消费者可通过保持颌骨闭合来一次性刷洗这些颊面)。于是，输出的第五元素与“左上磨牙”区和“左下磨牙”区相关联。该示例表明，输出向量y_i的若干元素可与目标空间的一部分相关联，并且输出向量y_i的一个给定元素也可以与目标表面的两个或更多个部分相关联。虽然针对对于目标空间的某些部分而言典型的运动给出了该示例，但是应当理解，对于ANN的使用类与输出向量之间的所有其他关联也是如此。虽然该示例示出了ANN的类与目标空间的各部分之间的相当复杂的关联矩阵，但是应当理解，ANN的使用类与目标空间的各部分之间的简单的单射和满射关系(即双射关系)也落入本公开的主旨和范围内。在后一种情况下，使用类与目标空间的各部分之间的区别当然是学术性质的。

系统可具体地被布置成仅针对预定数量的输出元组提供单个使用类答案，例如，系统可仅为每个输入序列提供单个使用类答案。为了提供单个使用类答案，可将argmax函数应用于每个输出元组，以便选择具有最高值的元组元素的数量。通过应用argmax函数，可以应用阈值，使得不会选择那些具有最高值但低于阈值的元素。对于在其上应用softmax函数的输出元组，阈值可被选择为在0.5和0.99之间的范围内，具体地在0.6和0.9之间的范围内，进一步具体地在0.65和0.8之间的范围内，例如其中阈值被设定为0.7。在使用argmax函数选择单个时刻的使用类之后，可以使用最大准则或多数准则选择一个使用类作为整个输入序列的单个使用类答案。

具有用于两个连续任务的一个ANN的系统

已经描述了ANN可用于基于使用数据来对消费装置的使用进行分类。该分类尤其可以实时进行，即在使用会话期间。

在一些情况下，可能希望识别当前用户，例如以将分类结果和当前使用会话中的其他数据存储在用户账户中，以便用户可以在稍后访问他或她自己的数据。通过将系统的分类输出的时间序列的至少一部分用于当前使用会话并与来自消费装置的不同用户的所存储的使用数据进行比较，可以进行用户识别。通过将例如分类输出的当前至少一部分与分类输出的所存储的相应部分(例如，使用的前10秒)进行例如相似性检查(例如，距离计算)，可以识别用户。这意味着，在ANN生成传达至用户的分类输出时，系统也可以使用相同的分类输出并行识别用户。单个用户可通过分析在使用会话的至少一部分期间提供的单个使用类答案来确定，而不是利用使用数据来识别用户。每个用户可具有可以识别的他或她自己的“指纹”。

具有两个或更多个ANN的系统

在一些实施方案中，本文描述的系统可包括两个不同的ANN。如果两个ANN具有两种不同的架构或两组不同的权重和偏差，则它们应当是不同的。在不引入任何限制的情况下，讨论后一种情况以举例说明相应系统。

如前所述，在全球范围内，消费装置的用户显示出各种不同的使用特征，可以将这些特征进行分组。在简单的示例中，消费装置的用户可以分为快速用户和慢速用户，此处的快速和慢速可与消费装置的移动方式相关。例如，就电动牙刷而言，慢速用户可能会在一段时间内专注在一颗牙齿上，直到牙齿被充分刷洗，然后才移动到相邻的牙齿等。相反，快速用户可能会以高频率在牙齿之间快速移动。如上所述的ANN通常利用来自这两种类型的用户的标记输入进行训练。因此，预测应当涵盖这两组用户。但是可以设想，在快速用户的使用数据被馈送到仅用快速用户的使用数据训练的ANN中并且慢速用户的使用数据被馈送到仅用慢速用户的使用数据训练的ANN中的情况下，ANN可提供更高的预测概率。因此，设想了一种系统，其中首先将用户的使用数据馈送到分类单元中(该分类单元可以是基于ANN的分类单元，但也可以使用统计分类算法或任何其他基于机器学习的分类算法)，通过该系统对用户是快速用户还是慢速用户进行分类，即目标空间包括两部分，一部分与快速用户相关，另一部分与慢速用户相关。或者换句话讲，分类单元(例如，第一ANN)针对两个使用类(即，快速用户和慢速用户)对使用数据进行分类。一旦确定了用户类型(可能只需要几秒钟，因此在使用会话开始时就可完成)，则将使用数据馈送到第二ANN中，该ANN包含特定于相应用户类型的权重和偏差(即，第二ANN选自包括至少两个特定ANN的组)。这样的场景可以容易地扩展，例如通过添加第三用户组，该用户组可以是中速用户，即，既不是特别慢也不是特别快的用户。在第一分类单元(例如，第一ANN)完成用户组的相应分类之后，第二ANN可以从三个ANN的组中选择，每个ANN可具有相同的架构，但是由于不同的学习输入而具有不同的权重和偏差。作为替代，使用数据可以并行地输入到两个或更多个ANN中，每个ANN针对例如一个特定用户组进行了专门训练，并且适当的ANN的选择稍后例如仅通过选择在采样时间期间或在整个使用会话期间或在进行“指纹”分析后提供最高预测值的ANN来进行(参见上一章节)。

在其他示例中，系统具有使用的两个不同ANN。再次使用来自电动牙刷领域的示例，第一ANN用于针对与刷洗上颌或下颌相关的运动对所接收的使用数据进行分类，并且第二ANN可以并行地用于针对与刷洗左侧磨牙、右侧磨牙或门牙相关的运动对完全相同的使用数据进行分类。通过使用两个ANN的输出的组合，与使用针对与刷洗左上磨牙、右上磨牙、上门牙、左下磨牙，右下磨牙和下门牙相关的运动对运动进行分类的单个ANN相比，可以识别目标空间的可具有更高预测概率的一部分。

在基于先前范例的其他示例中，使用了三个ANN，每个ANN对消费装置的使用的一个单独方面进行了分类(其中在此各个方面意指不同的ANN针对不同使用类集合对消费装置的使用进行分类)。例如：第一ANN针对上颌和下颌对使用数据进行分类，第二ANN针对左侧磨牙、右侧磨牙和门牙对使用数据进行分类，并且第三ANN针对磨牙的颊面、舌面和咬合面以及门牙的前后表面对使用数据进行分类。如前所述，由于每个NN的运动类数量有限，每个ANN的预测质量可能更高，因此意味着这三个ANN的结果组合(例如当前刷洗运动被分类为(1)上颌、(2)左侧磨牙和(3)咬合面)可能比通过应实现这种区分水平的单个ANN进行分类的精确度更高。

具有用于相同任务的不同ANN的系统

在一些实施方案中，使用两个或更多个不同的ANN针对相同使用类集合对输入进行分类。虽然存在若干处理具有相同任务的不同ANN的结果的可能性，但在一些示例中，可通过对输出元组的元素求和或平均化来组合来自不同ANN的输出，然后识别具有最高预测值的元素(例如，通过应用argmax函数)。如前所述，可以在此过程中定义阈值，使得可以丢弃低于某个阈值的最终预测值。同样就两种不同的ANN而言，如果两个ANN提供两个不同的使用类，每个使用类具有高于特定阈值的特定预测值，则该结果可能会被丢弃(例如，不会传达至用户)。

诸如TensorFlow、Microsoft Cognitive Toolkit、PyTorch、Caffe或Theano的深度学习框架可用于构建如LSTM或GRU RNN的RNN。诸如Keras的开放源代码库可用于在此类框架之上运行，即，为这些框架提供接口。TensorfiowLite、CoreML、TensorRT或定制的库也可用于在智能电话、其他边缘计算装置或云计算装置上生成深度模型。

应当注意，虽然本公开集中于某些结构(例如，LSTM和GRU)的RNN，但这并不意味着这应被认为是限制性的，并且具体地，也可以使用其他RNN架构，例如发条RNN和其他多时间尺度RNN，诸如分阶段LSTM或分级RNN，或者又如，可以使用扩展RNN。

本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。

Claims

1.一种用于对手持式消费装置的使用进行分类的系统，具体地针对包括目标表面的目标空间进行分类，具体地在所述手持式消费装置是牙刷的情况下进行分类，所述系统包括：

可移动的手持式消费装置，所述可移动的手持式消费装置具体地布置成用于处理所述目标表面，所述消费装置包括用于在连续的时刻确定至少一个使用数据的传感器单元，所述传感器单元布置成用于在使用会话期间提供时间上连续的使用数据序列；以及

分析装置，所述分析装置布置成用于针对与不同的使用属性相关的至少两个使用类的至少一个集合来对所述消费装置的使用进行分类，所述不同的使用属性与至少两种不同的使用相关，具体地与运动模式相关，所述至少两个使用类是不同的运动类型，所述分析装置布置成用于组装与所述使用会话的预定时间段相关的使用数据的时间上连续的输入元组序列，所述输入元组中的每个输入元组包括表示在相应时刻处的使用数据的至少一个元素，并且所述分析装置布置成用于将所述输入元组序列输入到至少一个人工神经网络中，所述至少一个人工神经网络布置成输出至少一个输出元组，所述至少一个输出元组包括与使用类的数量一致的多个元素，所述输出元组的每个元素表示在给定时刻处所述消费装置的使用与相应使用类相关的预测值，具体地其中所述分析装置布置成用于基于输出元组序列来确定在所述时间段内的单个使用类答案。

2.根据权利要求1所述的系统，其特征在于，所述传感器单元包括惯性传感器或力传感器中的至少一者，相应的传感器布置成用于在所述使用会话期间提供与所述消费装置的运动和/或与作用于所述消费装置上的力相关的时间上连续的使用数据序列，所述力具体地作用于所述消费装置的处理头部上。

3.根据权利要求2所述的系统，其特征在于，所述惯性传感器包括加速度计、陀螺仪或磁力计。

4.根据权利要求1至3中的一项所述的系统，其特征在于，所述消费装置和所述分析装置在物理上彼此分开，并且布置成耦接以用于无线通信，并且具体地，所述消费装置布置成以第一频率对原始使用数据采样，并且以等于或低于所述第一频率的第二频率将经处理的原始使用数据作为使用数据传输到所述分析装置，具体地其中所述第一频率高于100Hz，具体地高于1000Hz，并且所述第二频率低于100Hz，具体地低于50Hz。

5.根据权利要求4所述的系统，其特征在于，所述消费装置布置成在传输之前降低所述使用数据的分辨率，具体地其中所述使用数据的分辨率为10位或低于10位。

6.根据权利要求1至3中的一项所述的系统，其特征在于，所述至少一个人工神经网络是递归神经网络，具体地LSTM或GRU网络，具体地其中所述递归神经网络是双向LSTM或GRU网络或者堆叠LSTM或GRU网络或者堆叠双向LSTM或GRU网络。

7.根据权利要求1至3中的一项所述的系统，其特征在于，所述分析装置布置成使用至少两个不同的人工神经网络来对所述消费装置的使用进行分类，具体地其中所述分析装置布置成执行以下过程中的至少一项：使用所述至少两个不同的人工神经网络中的第一人工神经网络来确定所述至少两个不同的人工神经网络中的第二人工神经网络，以用于对所述消费装置的使用进行分类；并行使用所述至少两个不同的人工神经网络，以用于针对相同的使用类集合对所述消费装置的使用进行分类；并行使用所述至少两个不同的人工神经网络，以用于针对不同的使用类集合对所述消费装置的使用进行分类。

8.根据权利要求1至3中的一项所述的系统，其特征在于，所述传感器单元包括至少一个传感器，所述至少一个传感器是pH传感器、温度传感器、电容传感器、音频传感器、光或图像或视频传感器或者气压传感器中的一者，并且其中所述传感器单元布置成用于在处理期间提供至少一个另外的传感器的时间上连续的传感器数据序列，并且其中所述使用数据包括另外的传感器数据，并且所述输入元组各自包括表示在相应时刻处的另外的传感器数据的至少一个元素。

9.根据权利要求1至3中的一项所述的系统，其特征在于，所述预定时间段的长度在0.1秒至5秒之间的范围内，具体地在0.25秒和2秒之间的范围内，具体地在0.5秒至1秒之间的范围内，并且任选地其中在该预定时间段内的使用数据的时间上连续的输入元组的数量在5至100之间的范围内，具体地在10和50之间的范围内，具体地在20和30之间的范围内。

10.根据权利要求1至3中的一项所述的系统，其特征在于，所述人工神经网络中的隐藏状态的大小为256或小于256。

11.根据权利要求1至3中的一项所述的系统，其特征在于，所述分析装置布置成在确定所述单个使用类答案时利用最大准则或多数准则。

12.根据权利要求1至3中的一项所述的系统，其特征在于，所述分析装置布置成在确定唯一的使用答案单个使用类答案时丢弃具有低于阈值的归一化值的输出元组元素，具体地其中所述阈值在0.5和0.99之间的范围内，具体地在0.6和0.9之间的范围内，具体地在0.65和0.8之间的范围内，具体地其中所述阈值为0.7。

13.根据权利要求1至3中的一项所述的系统，其特征在于，所述至少两种不同的使用与下者相关：至少两个不同的用户或两种不同类型的用户；至少两种不同的使用质量，具体地为运动质量；或者目标空间的至少两个不同部分。

14.根据权利要求13所述的系统，其特征在于，所述至少两种不同的使用质量包括良好的使用和不良的使用。

15.根据权利要求13所述的系统，其特征在于，所述至少两种不同的使用质量包括正确的使用和不正确的使用。

16.根据权利要求1至3中的一项所述的系统，其特征在于，所述消费装置布置成存储至少一个使用会话的使用数据，并且仅在所述使用会话结束之后或在多个使用会话之后，具体地仅在由用户或所述分析装置请求所述使用数据的传输之后，传输所述使用数据。

17.根据权利要求1至3中的一项所述的系统，其特征在于，所述系统还包括用户反馈单元。

18.根据权利要求17所述的系统，其特征在于，所述用户反馈单元包括显示器、多个光发射元件、所述消费装置的驱动单元或者音频反馈单元，其用于传达关于所述分类的信息。

19.根据权利要求1至3中的一项所述的系统，其特征在于，所述传感器单元包括至少一个惯性传感器和至少一个力传感器，并且其中所述使用数据包括至少七个元素，其中至少六个元素与所述消费装置的运动相关且至少一个元素与施加在所述消费装置处的力相关。