[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7203856B2 - 手持ち式消費者装置の使用を分類するためのシステム - Google Patents

手持ち式消費者装置の使用を分類するためのシステム Download PDF

Info

Publication number
JP7203856B2
JP7203856B2 JP2020543384A JP2020543384A JP7203856B2 JP 7203856 B2 JP7203856 B2 JP 7203856B2 JP 2020543384 A JP2020543384 A JP 2020543384A JP 2020543384 A JP2020543384 A JP 2020543384A JP 7203856 B2 JP7203856 B2 JP 7203856B2
Authority
JP
Japan
Prior art keywords
usage
consumer device
sensor
data
usage data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020543384A
Other languages
English (en)
Other versions
JP2021513420A (ja
Inventor
ファイズ、フェイサル、シャーマン
シャオレ、マオ
Original Assignee
ブラウン ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18157358.5A external-priority patent/EP3528166B1/en
Priority claimed from EP18157362.7A external-priority patent/EP3528167A1/en
Application filed by ブラウン ゲーエムベーハー filed Critical ブラウン ゲーエムベーハー
Publication of JP2021513420A publication Critical patent/JP2021513420A/ja
Application granted granted Critical
Publication of JP7203856B2 publication Critical patent/JP7203856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/221Control arrangements therefor
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0073Brushes with an arrangement for using the floss
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/24Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously
    • A61C17/26Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously driven by electric motor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0016Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
    • A46B15/0036Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a lighting means, e.g. laser, bulb
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • A46B15/004Arrangements for enhancing monitoring or controlling the brushing process with signalling means with an acoustic signalling means, e.g. noise
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0071Toothbrushes with flossing arrangements
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B2200/00Brushes characterized by their functions, uses or applications
    • A46B2200/10For human or animal care
    • A46B2200/1066Toothbrush for cleaning the teeth or dentures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0252Load cells
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/32Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating
    • A61C17/34Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor
    • A61C17/3409Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor characterized by the movement of the brush body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/405Electric features; Charging; Computing devices
    • B26B21/4056Sensors or controlling means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/4081Shaving methods; Usage or wear indication; Testing methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Brushes (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本開示は、手持ち式消費者装置の使用を、特に標的空間に関して分類することを可能にするシステムに関する。
手持ち式ユーザ装置の使用を分類することが、特定の用途では望ましい場合があることが一般に知られている。例えば、歯ブラシが歯を磨いている歯列内の位置は、三軸加速度計及び地磁気センサからのデータに基づいて歯ブラシの姿勢を計算することで求められ得ることが述べられている。このことは、米国特許第2010/0145654(A1)号に記載されている。
米国特許第2010/0145654(A1)号
既知のシステムよりも改善された、又は少なくとも既知のシステムに鑑みて代替的な解決策を提供する、手持ち式消費者装置の使用を分類するためのシステムを提供することが一般的に望まれている。
一態様によれば、手持ち式消費者装置の使用を分類するためのシステムであって、システムが、可動手持ち式消費者装置であって、消費者装置は、少なくとも1つの使用データを連続する複数の時点で測定するためのセンサユニットを含み、センサユニットは、使用データの時間的に連続するシーケンスを使用セッション中に供給するように構成されている、可動手持ち式消費者装置と、消費者装置の使用を、異なる使用特性に関連する少なくとも2つの使用クラスの少なくとも1つのセットに関して分類するように構成された分析装置であって、分析装置は、使用セッションの所定の時間に関連する使用データの入力タプルの時間的に連続するシーケンスをアセンブルするように構成されており、入力タプルはそれぞれ、各時点における使用データを表す少なくとも1つの要素を含み、分析装置は、入力タプルのシーケンスを、複数の要素を含む少なくとも1つの出力タプルを使用クラスの数に従って出力するように構成された少なくとも1つの人工ニューラルネットワークに入力するように構成されており、出力タプルの各要素は、所与の時点における消費者装置の使用が各使用クラスに関連するという予測値を表す分析装置と、を備えるシステム。
分類は、標的表面を含む標的空間に関して行われてもよい。手持ち式消費者装置は、標的表面を処理するように構成されてもよい。
いくつかの実施形態では、人工ニューラルネットワークは、出力タプルのシーケンス、具体的には、入力タプルのシーケンスと同じ長さを有する出力タプルのシーケンスを出力するように構成される。特にargmax関数を各出力タプルに適用した後に、例えば過半数基準及び/又は最大基準を適用することにより、出力タプルのシーケンスに基づいて所定の時間毎に単一の使用クラスの回答を決定してもよい。
本開示は、例示的な実施形態の詳細な説明によって、また図を参照することによって、更に明らかとなろう。図中、
本開示によるシステムの一例の概略図である。 本開示による手持ち式消費者装置の一例の概略図である。 本開示による分析装置の一例の概略図である。 消費者装置が電動歯ブラシであり、分析装置がスマートフォンである、本開示によるシステムの一例の図である。 人工ニューラルネットワークのアーキテクチャの概略図である。 回帰型ニューラルネットワークの概略図である。 広げられた又は展開された状態の図6Aに示す回帰型ニューラルネットワークの概略図である。 回帰型ニューラルネットワークで使用可能な長・短期記憶(Long Term-Short Memory)ユニットの一例の概略図である。 回帰型ニューラルネットワークで使用可能なゲート付き回帰型ユニット(Gated Recurrent Unit)の一例の概略図である。 双方向性回帰型ニューラルネットワークの一例の概略図である。 積層型回帰型ニューラルネットワークの一例の概略図である。 積層型双方向性回帰型ニューラルネットワークの一例の概略図である。
本開示の基本概念は、手持ち式消費者装置の使用を、使用セッション中(又は使用セッション後)に、少なくとも1つの人工ニューラルネットワークにより、使用データの時間的シーケンスに基づいて、使用クラスのセットに関して分類することである。2つ以上の人工ニューラルネットワークが使用されるいくつかの例について説明する。「ライブ」分類(すなわち、使用セッション中の分類)は、手持ち式消費者装置が使用されている間に、使用に関する情報をユーザに伝達することを可能にし、この情報は、使用についてのユーザの理解を深めることにより、使用を容易にするか、又は改善することができる。後続の分類は、手持ち式消費者装置の使用を、完了した使用セッションの使用データ情報全体を網羅するより包括的で完全な方法で、使用セッション中に分析することを可能にする。ライブ分類が、利用可能な演算能力と必要なライブ情報のタイミングとによって制限される可能性がある場合、後続の(すなわち、オフラインの)分析は、利用可能な演算能力と利用可能な時間とのバランスをとってもよい。手持ち式消費者装置の使用が、特に標的表面を含む標的空間に関して分類されてもよく、この場合、手持ち式消費者装置は、標的表面を処理するように構成されてもよい。この場合の目的は、手持ち式消費者装置の使用データに基づいて、手持ち式消費者装置の使用を標的空間の異なる複数の部分に分類することであり、使用データは特に、動作データ又は力データのうちの少なくとも1つを含む。
「使用クラス」は、人工ニューラルネットワーク(ANN)の出力クラスであり、ANNの設計者によって定義される。ANNは、ラベル付けされた入力データ、すなわち、1つの所与の出力クラスに関連することが知られている入力データをANNに入力することによって学習される(教師あり学習)。古典的な一例では、笑顔を示す画像データがANNに供給され、ANNは、この画像データ内の、笑顔に関連する様々な入力に共通するパターンを学習して、新たな画像データ内に類似のパターンが発見された場合には、この新たな画像データ入力を笑顔出力クラスに分類することができるようにしようと試みる。本開示の文脈において、使用クラスは、手持ち式消費者装置の使用に関するものであり、異なる使用特性を区分するものとする。手持ち式消費者装置の使用は、本質的には使用データの時間的シーケンスによって決定され、使用データは、動作データ(向きデータを含む)、力データ、手持ち式消費者装置の環境に関連する静電容量データ、温度データ、音声データ、画像又は映像データ、気圧データ、pHデータなどのうちの少なくとも1つを含み得る。本開示では、動作(向きを含む)データを含み、他の使用データも含み得る使用データに主な焦点が置かれている。しかし、動作データを含まない使用データを人工ニューラルネットワークに供給するだけで、手持ち式消費者装置の使用を分類するタスクに適切にアプローチできる場合も企図される。
したがって、本開示において、使用クラスに関して分類される動作データ又は動作に言及する場合、これは、使用データの全ての変形、特に、使用データとして更なるセンサデータを含む変形又は、使用データが動作データを全く含まない変形などの、使用データの全ての変形を包含するものと理解されるべきである。
本開示における「シーケンス」は2つ以上を意味し、「タプルのシーケンス」は2つ以上のタプルを意味し、「タプルの時間的シーケンス」は、タプルが異なる時点に関連し、シーケンスの連続するタプル間の時間差が等しくてもよいタプルのシーケンスを意味する。
人工ニューラルネットワークは、使用データのn個の入力タプルのシーケンスを受信して、任意の数の出力タプルを生成してもよく、特に、1とnとの間の任意の他の整数も可能である場合には、1個から最大n個の出力タプルを生成してもよい(LSTMなどの特定の人工ネットワークは、一対一、一対多、多対一又は多対多、特に同期された多対多のアーキテクチャを有し得ることが周知である)。出力タプルは、人工ニューラルネットワークによって所与の時点で生成され、したがって、出力タプルが生成されなかった過去の時点(又は、人工ニューラルネットワークの具体的なアーキテクチャによっては未来の時点、以下の双方向人工ニューラルネットワークの説明を参照されたい)に関連する情報を出力タプルが含む可能性があるために、この所与の時点における出力タプルが基本的にはより長い時間にわたる可能性があるとしても、出力タプルはこの時点に関連することが理解される。
手持ち式消費者装置の使用が分類される複数の使用クラスは、組み合わされて少なくとも1つの使用クラスのセットとされる。分類プロセスでは、少なくとも1つの人工ニューラルネットワークは、入力された使用データと各使用クラスとの対応に関する情報を提供する出力を供給し、典型的には、入力使用データが供給される時点毎に1つの出力を供給するが、これは限定的であると解釈されるべきではなく、人工ニューラルネットワークが1つの出力のみを出力する一方で入力のシーケンスを受信するか、又は入力のシーケンスよりも短い出力のシーケンスが供給される場合も企図される。上述のように、使用クラスは、人工ニューラルネットワークの設計者によって定義される。少なくとも1つの人工ニューラルネットワークは、使用クラスが既知である使用データが入力される、いわゆるラベル付けされた訓練データで訓練され、人工ニューラルネットワークは、入力が供給された場合に、出力されたデータが入力された使用データと良好に一致するように、正しい使用クラスを予測する確率を最大化することを学習する。したがって、十分な訓練を受けた人工ニューラルネットワークは、新たな入力を個々の使用クラスに関して十分に高い予測確率で分類して、出力を的確に参照することができるようにする。学習プロセスでは、人工ニューラルネットワークにおける重み及びバイアスは補正され、典型的には収束する。人工ニューラルネットワークが複雑であるほど、使用される重み及びバイアスの数は、(人工ニューラルネットワークの内部状態のサイズを考慮すると)典型的には多くなる。
人工ニューラルネットワークの設計者は、達成すべきタスクに関して使用クラスを定義してもよく、すなわち、本明細書では、特定の使用特性に関して使用データを区分することができる。アプローチ可能な分類タスクの1つは、手持ち式消費者装置のユーザを、例えばユーザA及びユーザBを含むユーザグループなどの有限のユーザグループの中から特定することである。この場合の理論上の使用特性は、「ユーザAによる使用」及び「ユーザBによる使用」である。訓練が完了すると、人工ニューラルネットワークは、ユーザAからの使用データを使用クラス「ユーザAによる使用」に関連するものとして、またユーザBからの使用データを使用クラス「ユーザBによる使用」に関連するものとして、正しく分類できるようになる。別の例では、使用クラスは、例えば、「高速ユーザ」及び「低速ユーザ」などのユーザタイプを区分するように定義され、ここで高速及び低速は使用特性である。この場合の分類は、個々のユーザの有限グループではなく、異なるユーザタイプの有限グループに限定され、世界中のあらゆるユーザがこれら2つの使用クラスに関して分類される。この場合、実際の高速ユーザは、使用クラス「高速ユーザ」についての予測値が高い人工ニューラルネットワーク出力を生成し、同様に、実際の低速ユーザは、使用クラス「低速ユーザ」について高い予測値を生成することになる。双方の使用特性を示すか、又はいずれの使用特性も示さないユーザは、これら2つの使用クラスについて、遥かに低く、かつ明確に区分できない予測値を生成することになる。他の分類タスクが、「正しい」使用と「間違った」使用、又は「良い」使用と「悪い」使用を区分しようと試みてもよい。より理論的には、異なる使用クラスが、手持ち式消費者装置を標的空間の異なる部分で使用するための典型的な使用に関連してもよい。例えば、電動歯ブラシを使用して口腔の異なる部分を清掃してもよく、口腔を異なる部分に分割する方法の一つに、例えば上顎部と下顎部に分割することが挙げられるが、口腔内に存在し得る32本の歯毎に(それぞれの歯の表面毎に)分割することが、口腔をより細かく異なる部分に分割する別の方法であってもよい。以下に説明するように、手持ち式消費者装置の使用は、標的空間における使用に関して分類され、標的空間は標的表面(例えば、口腔内の歯面及び舌面)を含んでもよく、手持ち式消費者装置は、特に標的表面を処理するように構成されてもよい。本明細書に記載されるシステムの出力が、分類結果を消費者に伝達してもよい。消費者にとって、標的空間のどの部分が現在特定されているのかを理解することが適切であってもよい。このことを、電動歯ブラシが手持ち式消費者装置である例を参照しながら以下で更に説明する。本明細書では、人工ニューラルネットワークによって使用される使用クラスは、標的空間の部分と一対一対応しない場合があることに留意されたい。これを以下により詳細に説明する。
人工ニューラルネットワークによる手持ち式消費者装置の使用の分類は、現在のところ、特に標的空間に関して装置をマッピングするタスクについては包括的な取り組みはなされていない。
以下により詳細に説明するように、手持ち式消費者装置の使用は、使用データが1種類の(すなわち、1種類のセンサからの)使用データを含むだけでなく、他の使用データも同様に使用される場合(例えば、動作データと力データ、又は力データと静電容量データなど)に、より良好に分類されてもよい。更なる使用データは、入力タプルに少なくとも1つの更なる要素を追加し、したがって、出力クラスに関する少なくとも1つの人工ニューラルネットワークの予測品質を向上させることができる。調査された使用データの1つは、(例えば、加速度計、ジャイロスコープ及び磁力計のうちの少なくとも1つからの)動作データに追加された力データであり、この力データは、使用セッション中に消費者装置、特に消費者装置ヘッドで印加される力に関連している。力センサを使用してそのような力を測定することができ、力センサは、1つの成分、2つの成分又は3つの成分(3つの直交方向に関連する)を含む力データを供給してもよい。力センサは、追加的に又は代替的に、例えば6軸力センサによって、一方向、二方向又は三方向のトルクを測定してもよい。
本明細書に記載するいくつかの例示的な実施形態は、歯ブラシ、すなわち手動歯ブラシ又は電動歯ブラシの使用分類に重点を置いている。しかし、用語「手持ち式消費者装置」は、多くの他の消費者装置、例えば、湿式かみそり又は電気シェーバ、脱毛器、ヘアブッシュ、マッサージ装置、スクラバ若しくはモップ、又は同様の装置を含むものとする。
使用データは、典型的には、消費者装置内(例えば、消費者装置のハンドル内及び/又はヘッド内)に位置する少なくとも1つのセンサによって生成される。少なくとも1つのセンサは、所与の第1の周波数でサンプリングされて、生センサデータの時間的に連続するストリームを生成することができる。センサデータが第1の周波数で分析装置に使用データとして(例えば、有線又は無線方式で)送信されてもよいが、生センサデータが最初に処理されてもよく(例えば、平均化及び/又はノイズ除去及び/又は16、14、12、10、8若しくは6ビットなどの特定の分解能でデジタル化されてもよい)、この処理が、センサデータの周波数を、第1の周波数から、処理されたセンサデータが使用データとして分析装置に送信される第2の周波数に変化させることを含んでもよい。この場合、第2の周波数は第1の周波数よりも低くてもよく、例えば、第1の周波数は約100Hz以上(例えば、200Hz又は500Hz又は1kHzなど)であってもよく、第2の周波数は、約100Hz以下、例えば50Hz又は25Hzなどであってもよい。分析装置は、所定の時間に関連する使用データを使用して分類を実行してもよく、この所定の時間は、典型的には通常の使用セッション時間よりも短い。この所定の時間は、0.1秒~10分(又はこれらの間の任意の値)の範囲内であってもよく、一方で、典型的な使用セッション時間は、10秒~100分(又はこれらの間の任意の値)の範囲内であってもよい。所定の時間内の時間的に連続する使用データ(すなわち入力タプル)の数は、2~1000(又はこれらの間の任意の数)の範囲内、具体的には約25などの5~100又は10~50又は20~30の範囲内であってもよい。このことは、記載されているシステムが、入力タプルのシーケンスを入力する代わりに単一の入力タプルのみを用いても機能することを除外するものではない。
人工ニューラルネットワークは、典型的には、最後に本開示で説明する入力タプルのサイズよりも大きい内部状態サイズを使用する。大きな内部状態サイズは、大きいサイズの重み行列及びバイアスベクトルを生成し、したがって、人工ニューラルネットワークを学習データに適応させるための高い柔軟性を提供する。しかし、特に人工ニューラルネットワークが限定された性能のプロセッサ上(例えばスマートフォン上など)で実行される場合、内部状態のサイズは任意に高く選択されなくてもよい。例えば、手元でのタスクには約256以下のサイズで十分であり、これよりも大きいサイズが必ずしも予測可能性の改善をもたらすわけではないことが見出された。
いくつかの実施形態では、分析装置が所定の時間毎に単一の出力回答のみを供給することが企図される(単一の出力回答は、所定の時間にわたる消費者装置の使用に最も高い確率で関連する使用クラスとして単一の使用クラスが特定されることを意味する)。このことは、人工ニューラルネットワークが複数の入力タプルを受信して単一の出力タプルのみを生成することを意味し得るか、又は人工ニューラルネットワークが出力タプルのシーケンスを供給し、分析装置が出力のシーケンスを更に処理して、所定の時間毎に単一の出力回答を供給することを意味し得る。ある所定の閾値未満の予測値によって表される予測が信用できない場合に、回答として使用クラスを供給しないことが、分析装置の特徴の1つであってもよい。予測値が正規化されている場合、この閾値は、0.5~0.99、又は0.6~0.9、又は0.65~0.8の範囲内にあるか、あるいは約0.7であってもよい。
手持ち式消費者装置の使用を分類するためのシステム
図1は、本開示によるシステム100の一例の概略図である。システム100は、手持ち式消費者装置200及び分析装置300を含む。任意の提示装置400は、ここではシステム100の一部である。提示装置は、スクリーン、スマートスピーカ、LED光アレイなどとして実現されてもよい。図1には、手持ち式消費者装置200(簡略化のために、手持ち式消費者装置という用語は、本明細書中で単に「消費者装置」としても略記される)と分析装置300とは物理的に別個の装置として示されているが、双方が単一のハウジング内で実現されることが除外されるものではなく、すなわち、分析装置300が消費者装置200内に組み込まれても、又はこれらが一体の単一の装置として実現されてもよい。他の実施形態では、分析装置は、例えばクラウドコンピュータなどの遠隔の分析装置として実現される。
図示される実施形態では、消費者装置200は、消費者の手(手が破線で示されている)によって把持されるハンドル201と、標的空間250の少なくとも一部分を処理するための処理ヘッド202と、を備える。処理ヘッド202は、ここではハンドル201に対して可動であり、具体的には、処理ヘッド202は、二重矢印Pによって示されるように、ハンドル201に対して一方向又は二方向に枢動可能である。ここでは、消費者装置200は、ハンドル201内に位置する慣性センサ210と、処理ヘッド202内に位置する更なる慣性センサ211と、を含むセンサユニットを備える。本明細書によれば、単一の慣性センサ210又は211で十分であることに留意されたい。慣性センサ210及び慣性センサ211は、3つの座標軸x、y、及びzを有するものとして図1に示される基準座標系RSに対する消費者装置200の加速度、角速度及び/又は向きに関連する動作データを生成する。一例として、ドイツのBosch Sensortec社の9軸慣性センサBMX160を使用して慣性センサを実現してもよい。少なくとも1つの態様によれば、本明細書による消費者装置は、少なくとも1つの軸に関連する動作データの少なくとも1つの時間的に連続するストリームを供給する少なくとも1つの慣性センサを有するセンサユニットを備える。本明細書に示す消費者装置200は、消費者装置200(特に、消費者装置200の処理ヘッド202)で少なくとも1つの軸に沿って印加される力Fを測定する力センサとして構成された更なるセンサ212を含むセンサユニットを備える。追加的に又は代替的に、消費者装置で印加される力は、消費者装置の駆動ユニットを流れる電流を監視することによって、又は、例えば、慣性センサデータのノイズを測定することによって測定されてもよい。ここで、消費者装置200のセンサユニットは、処理ヘッド202の環境の変化を測定するために処理ヘッド202に配置された静電容量式センサ213を更に備える。消費者装置200のセンサユニットは、更なるセンサ、例えば、ハンドル201の環境の変化を測定する更なる静電容量式センサ214を含んでもよい。センサ212、213又は214は、動作データとは異なるセンサデータの時間的に連続するストリームを供給してもよい。これらのセンサ212、213、214のうちの少なくとも1つからのセンサデータは、少なくとも1つの慣性センサ210、211の時間的に連続するデータストリームと組み合わされて、分析装置300に使用データUとして送信されてもよく、これは、図示の実施形態では、送信機又は送受信機220を介して無線方式で行われる。慣性センサ210及び211によって生成された動作データ並びに、更なるセンサ212~214によって生成された更なるデータは、双方ともに、所与の時間における消費者装置200の使用を特徴付ける「使用データ」とみなされる。消費者装置200は、使用データを記憶し、これを使用セッションの終了後にのみ送信するように構成されてもよい。
本明細書では、本開示による消費者装置のセンサユニットは、使用データを生成するための少なくとも1つのセンサを備えることに留意されたい。いくつかの実施形態では、少なくとも1つのセンサは慣性センサであり、いくつかの実施形態では、少なくとも1つのセンサは、動作データではない使用データを供給するセンサである。本開示の少なくとも一態様によれば、システム100は、消費者装置200の使用を分類するタスクのために非慣性センサからの使用データを利用し、任意に非慣性センサデータを慣性センサデータと組み合わせることができる。
消費者装置200は、標的空間250の少なくとも一部で使用されることが意図されてもよい。標的空間250は、ここでは、7つの部分又は位置251~257と、破線によって示され、以下でより詳細に説明される別の部分258とを含むことが概略的に示されている。いくつかの実施形態では、標的空間250は、消費者装置200が使用され得る実際の3D空間の少なくとも一部分を表してもよく、特に、部分251~258のうちの少なくとも1つは、消費者装置がその上で使用されることが意図される標的表面の一部分を表してもよい。
ここで、分析装置300は、消費者装置200から使用データUを少なくとも受信するための受信機又は送受信機320を含む。消費者装置と分析装置とが物理的に一体の装置として実現される実施形態では、データ転送が有線接続毎に行われてもよい(又は、消費者装置200が、例えばベースステーション又は分析装置などの別の装置との有線接続を確立するための接点を含んでもよい)。上述のように、少なくとも1つのセンサ210、211、212、213、214を備えるセンサユニットは、データタプルの時間的シーケンスとして動作データを含み得る使用データUを供給する(本明細書で使用される「タプル」という用語は、要素の有限順序リスト(シーケンス)を意味し、n-タプルは、n個の要素を有するリストを意味する)。上述のように、動作データは、時点毎に少なくとも1個の動作データ、典型的には、時点毎に4個、5個、6個、7個、8個又は9個などの3個以上の動作データを含んでもよい。したがって、使用データUは、時点毎のそれぞれのn-タプルとして構成されてもよい。少なくとも1つの更なるセンサ212からの力データなどの更なる使用データUを動作データに追加してもよく、それにより、使用データUのそれぞれより大きなn-タプルが時点毎に利用可能となる。典型的には、所定の時間を表す使用データUのn-タプルのシーケンスが処理ユニット310に入力され、使用データUが人工ニューラルネットワークによって処理されて、使用データUが使用クラス351~359のセット350に関して分類される。一部の実施形態では、使用クラス351~359は標的空間250とは無関係である(例えば、使用クラスは、異なるユーザタイプに関連するか、又は正しい使用と間違った使用とに関連する)が、一部の実施形態では、使用クラス351~359の少なくとも一部が標的空間250の特定の部分251~258における消費者装置200の使用に関連しているために、使用クラス351~359が標的空間250の部分251~258と関連していてもよい。以下でより詳細に説明するように、この場合の使用クラスのセット350の使用クラス351~359と標的空間250の部分251~258との間の関係は、任意であってもよい(すなわち、全単射関係から逸脱し得る)。このことは、例えば、2つの使用クラス351及び352は標的空間250の1つの部分251に関連付けられ、1つの使用クラス359は標的空間250のどの部分にも関連付けられないような方法で、第1の使用クラス351が標的空間250の1つの部分251に関連付けられ、1つの使用クラス352が標的空間250の2つの部分251及び252に関連付けられてもよいことを意味する。非限定的な例として、使用クラスの数は20である一方で、標的空間の部分の数は6であってもよい。
分析装置300は、受信した使用データ及び/又は分類手順で生成されたデータを(以前の結果と現在の結果とを比較する、又は結果の履歴を提示するなどの後のタスクにデータを利用できるように)記憶するため、及び/又はプログラムルーチン若しくはルックアップテーブルなどを記憶するための記憶ユニット330を含んでもよい。
上述のように、所与の時間の使用データUは、その時間の間の消費者装置200の使用を分類するためにシステム100によって使用される。装置の使用は、特に、消費者装置200によって行われる、標的空間251~257(標的表面の部分であってもよい)の特定の部分の処理に特有の動作又は移行動作に特有の動作に基づいて決定されてもよい。
例えば慣性センサ210又は力センサ212によって出力される使用データUの概略図をグラフ210Uとして図示し、使用データUを時間tの関数として概略的に示す。図示されたグラフは、例えば、0で開始し、tで終了する使用セッションの間のUの値を示す。システム100を使用して、時点tで開始し、時点tで終了する所定の時間ΔTの間の消費者装置200の使用を、使用データUに基づいて分類することができる。分類が、後続の時間にわたって分類を繰り返してもよい。使用セッションは、1秒~100分の範囲内の長さを有してもよく、時間ΔTは、0.1秒~10分の範囲内の長さを有してもよい。
任意の提示装置400が、システム100の一部として図1に示されている。提示装置400は、ここでは、消費者装置200及び分析装置300とは別個の物理的な別個の装置として示されているが、提示装置が消費者装置200又は分析装置300のいずれかに組み込まれるか、あるいは全ての装置が1つの一体型の装置として実現されてもよいことを理解されたい。図示の実施形態では、提示装置400は、ユーザに視覚情報をライブ方式又はオフライン方式で表示するためのディスプレイ410と、分析装置300からデータを少なくとも受信するための受信機又は送受信機420と、タッチキーボードとして、機械的キーボードとして、又は音声インターフェースとして実現され得るユーザインターフェース430とを有する。ここでは、提示装置400が、ディスプレイ410上に使用クラスのセット又は標的空間450の視覚的表現を示すことができ、使用クラスのセット又は標的空間450の視覚的表現の一部451が強調表示されて、システム100が消費者装置200の使用データを強調表示された部分451に関連するものとして分類したことがユーザに対して示される。
手持ち式消費者装置
図2は、本開示による手持ち式消費者装置200Aの一例の図である。図示するように、消費者装置200Aは、例えば充電機能を有してもよいが、消費者装置200Aをレセプタクル249A内に機械的に保持するように機能するだけであってもよいベースステーション240Aを有してもよい。
消費者装置200Aは、少なくとも1つの慣性センサ210A、210B、210Cを含んでもよく、この少なくとも1つの慣性センサ210A、210B、210Cは、既に説明したように、加速度計、ジャイロスコープ又は磁力計のうちの少なくとも1つであってもよい。ここでは、少なくとも1つの慣性センサ210A、210B及び210Cが、消費者装置200Aのハンドル201A内に配置されていることが示されている。代替的に又は追加的に、特に処理ヘッド202Aがハンドル201Aに対して可動であるように構成されている場合に、1つ以上の慣性センサが消費者装置200Aの処理ヘッド202A内に配置されてもよい。図示の実施形態では、消費者装置200Aは、処理ヘッド202A内に配置された少なくとも1つの更なるセンサ212A、212B、212C、213A、213B、213C又は213Dを有する。この少なくとも1つの更なるセンサは、例えば、力センサ、静電容量式センサ、温度センサ、気圧センサなどとして実現されてもよい。消費者装置200Aは、2つ以上の更なるセンサ212A、212B、212C、213A、213B、213C又は213Dを含んでもよく、例えば、異なる領域における処理ヘッド202Aの誘電環境の変化を測定するために、2つ以上の静電容量式センサが処理ヘッド202Aの異なる部分内に配置されてもよい。あるいは、消費者装置200Aは、慣性センサを含まない。気圧センサの一例として、日本のTDK株式会社のInvenSense ICP-10100センサは、約5cmの高さの差を検出可能であり、したがって、本明細書で企図される様々な種類の消費者装置の使用データを適切に供給することができる。
慣性センサ210A、210B、210C及び/又は更なるセンサ212A、212B、212C、213A、213B、213C又は213Dは、センサ処理ユニット230Aと結合されてもよい。センサデータ処理ユニット230Aは、少なくとも1つの慣性センサ210A、210B、210C及び/又は少なくとも1つの更なるセンサ212A、212B、212C、213A、213B、213C若しくは213Dから、例えば100Hzを超える高周波であってもよい第1の周波数でセンサデータ
Figure 0007203856000001
を受信するように構成されてもよく、センサデータ処理ユニット230Aは、次に、受信されたセンサデータ
Figure 0007203856000002
を処理して、処理されたセンサデータ
Figure 0007203856000003
を、
Figure 0007203856000004
及び
Figure 0007203856000005
を時間tの関数として示す2つのグラフに示されるように、例えば100Hz未満などのより低い周波数である第2の周波数で出力するように構成されてもよい。センサデータ処理ユニット230Aは、例えば平均化フィルタなどを適用することにより、受信されたセンサデータ
Figure 0007203856000006
を処理して、低周波数センサデータ
Figure 0007203856000007
を生成してもよい。特に、消費者装置200Aが分析装置から物理的に分離している場合(図1及び図3を参照)には、消費者装置200Aから上記の分析装置に送信されるデータ速度が低下するので、低周波センサデータ
Figure 0007203856000008
がライブ分析をサポートしてもよい。消費者装置は、例えば、Bluetooth若しくはBluetooth LTE又は任意のその他の無線データ交換フォーマットに基づいて分析装置との無線接続を確立するための送信機又は送受信機220Aを含んでもよい。消費者装置200Aは、例えばセンサデータ
Figure 0007203856000009
を後で分析装置に送信できるように、センサデータを少なくとも記憶するためのプロセッサユニット231Aを備えてもよい。いくつかの実施形態では、プロセッサユニット231Aは、更なる分析装置を必要とせずにセンサデータ
Figure 0007203856000010
の分析を実行してもよく、すなわち、分析装置/分析ユニットの機能は、消費者装置200Aに組み込まれてもよい。ユーザにフィードバック又は少なくとも情報を提供するために、消費者装置200Aは、図2では、例えばLEDなどの複数の視覚的光要素として示されているフィードバックユニット232Aを含んでもよく、各光要素が標的空間の特定の部分(例えば口腔の部分)に割り当てられていることにより、消費者装置200Aが、特定された使用クラスについての、又は各使用クラスに関連付けられた標的空間の部分についてのフィードバックを提供することが可能であってもよい。消費者装置200Aは、例えば、消費者装置200Aの駆動ユニットを介してユーザフィードバックを提供してもよい。例えば、駆動ユニットは、現在処理されている表面部分が十分な処理を受けたこと及び、消費者が別の表面部分へと移行可能であることなどを示す特定のフィードバックをユーザに伝えるための特定の振動パターンを供給してもよい。消費者装置200Aはまた、記憶されたセンサデータのオフライン分析を開始する要求などの入力をユーザが供給することを可能にするユーザインターフェース233Aを備えてもよい。
少なくとも1つの慣性センサ210A、210B、210Cから、及び/又は少なくとも1つの更なるセンサ212A、212B、212C、213A、213B、213C又は213Dからの(処理されている可能性のある)センサデータ
Figure 0007203856000011
は、例えば、送信機又は送受信機220Aを使用して、使用セッション中又は使用セッション後に時間的シーケンスとして物理的に分離された分析装置に送信され、すなわち、センサデータU(t)が送信され、ここで、U(t)は、図2に
Figure 0007203856000012
で示されるように、センサデータ要素のk-タプルを表し、式中、kは個々のセンサデータの数であり、例えば、k=3は3軸加速度計からのセンサデータの3つの要素を表してもよく、k=6は、3軸加速度計及び3軸ジャイロスコープを含む6軸慣性センサの6つの要素を表してもよく、k=7は、単軸力センサからのデータが付加されている以外は前述と同じものを表してもよい。当然のことながら、タプルの時間的シーケンスの要素の数kは、使用分類の目的で使用される個々のセンサデータの数に依存する。
センサデータの時間的シーケンスU(t)は、データの生成とそれらの送信との間の非常に短い遅延のみで、使用セッション中にライブの使用分類のために送信される。センサデータはまた、特定のデータ長へと圧縮されてもよく、例えば、センサデータは、8ビット又は10ビット、又は12ビット、又は16ビット、又は20ビットなどの特定の長さを有するデジタルデータとして送信されてもよい。データ伝送速度が限られている場合には、典型的にはアナログのセンサデータを、限定された分解能のデジタル化されたセンサデータへと削減すると、ライブのセンサデータ送信を可能にするのに役立つであろう。電動歯ブラシなどの消費者装置の典型的な分類タスクでは、センサデータの分解能は8ビットで十分であり、これよりも分解能が高くても使用分類タスクの最終的な予測品質は著しく向上することはないことが見出された。センサデータは、生センサデータであっても、前処理されたセンサデータであってもよい。
オフラインの使用分類の場合、センサデータは高分解能(例えば、24ビット分解能)で記憶されてもよく、また、任意に高サンプリングレート(例えば、200Hz)で記憶されてもよく、この場合、オフラインの使用分類には送信時間及びデータ伝送速度の制限があまり関係しないことから、同じ高分解能のセンサデータが分析のために後で送信されてもよい。消費者装置200Aの記憶装置は、ユーザが消費者装置200Aを一定の回数使用した後にのみオフラインの使用分類を開始できるように、1回、2回、5回、10回、20回、100回などの使用セッションを記憶可能なサイズであってもよい。
消費者装置200Aは、ベースステーション240A上に配置されてもよく、具体的には、消費者装置200Aは、ベースステーション240Aのレセプタクル249A内に機械的に保持されてもよい(消費者装置200Aは、レセプタクルによって提供される嵌め合いによって保持されてもよく、又はベースステーションが磁石を含み、消費者装置20Aもまた磁石又は磁化可能な要素を含んでもよい)。消費者装置200Aがベースステーション240A上に配置されている間に、消費者装置200A内に配置された充電式アキュムレータを充電する充電機能を有してもよいベースステーション240Aは、データを分析装置(図3を参照)に送信するための送信機又は送受信機243Aを含んでもよく、分析装置は、遠隔処理装置(例えば、クラウドコンピュータ)によって実現されてもよい。この場合、送信機又は送受信機243Aは、例えばWLANなどのWiFi通信能力を有してもよい。ベースステーション240Aは、(例えば、Bluetooth(商標)又はBluetooth(商標)LTEに基づいて)消費者装置200Aとの有線又は無線通信リンクを確立するように構成されてもよい。消費者装置200Aがベースステーション240A上に配置された時に有線通信が確立されてもよい。この場合、消費者装置200Aは、センサデータ(及び他のデータ)を送信するための自身の送信機又は送受信機220Aを有する必要はなく、これがベースステーション240Aによって行われてもよい。いくつかの実施形態では、ベースステーション240Aは、分析装置も実現してもよく、したがって、分析装置300Aについて図3を参照しながら以下に更に説明する機能を備えてもよい。ベースステーション240Aは、分析装置を実現するか否かに関わらず、フィードバックをユーザに伝達するための、例えば視覚フィードバックユニット241A又は可聴フィードバックユニット242Aなどの手段を備えてもよい。例えば、分析装置又は消費者装置200Aは、使用分類の結果をベースステーション240Aに送信してもよく、その結果は次に、視覚フィードバックユニット241Aを使用して表示されるか、又は可聴フィードバックユニット242Aを介して伝達されてもよい。
分析装置
図3は、本開示によるシステムの一部である物理的に別個の分析装置300Aの概略図である。既に論じたように、物理的に分離された分析装置300Aに関して本明細書で説明したのと同じ機能を、消費者装置内に、又はベースステーション若しくは提示装置内に、又はクラウドコンピューティング装置などの遠隔のコンピューティング装置内に組み込んでもよい。分析装置300Aは、受信機又は送受信機320A、処理ユニット310A、及び記憶ユニット330Aを含んでもよい。センサデータタプルの時間的ストリームU(t)は、受信機又は送受信機320Aを介して受信され、処理ユニット310Aに供給される。処理ユニット310Aは、所定の時間ΔTに関連するある数のセンサデータタプルU(t)を収集してもよく、ここでは、図3に示すように、n個のそのようなセンサデータのk-タプルU(t)、i∈[1,n]が収集され、次いで処理ユニット310Aの使用分類部分に供給される。使用分類は、ここでは、少なくとも1つの人工ニューラルネットワークANNによって行われる。このような少なくとも1つの人工ニューラルネットワークの詳細については、以下の章のいくつかで詳細に説明する。当該技術分野で知られているように、以前に訓練された人工ニューラルネットワークANNは、関連する時間ΔTに関連するn個のセンサデータタプルのシーケンスU(t)、i∈[1,n]を受信し、少なくとも1つの出力又は回答タプルを出力する。ここでは、非限定的な例として、n個の出力タプルのシーケンスy(t)、i∈[1,n]が供給され、ここで、各回答タプルは、図3にy(t)={y(t),y(t),...,y(t)}として示すように、m個の要素を有し、ここで整数mは、入力が分類される使用クラスの数である。各要素y(t)、j∈[1,m]はこの場合、時点tで人工ニューラルネットワークANNに入力されたセンサデータが使用クラスjに関連するという予測に関連する数値である(すなわち、値が高いほど予測が良好である)。以下で更に説明するように、人工ニューラルネットワークANNの出力は、各m-タプルの要素yが範囲[0、1]内に圧縮され、合計が1となるように、ソフトマックス関数によって正規化されてもよい。そのような正規化された値は、それぞれの入力が使用クラスjに関連する確率に関連していると言える。
処理ユニット310Aは、出力タプルのシーケンスを処理して、現在評価されている時間ΔTに関連する単一の使用クラスの回答に到達するように構成されてもよい。この処理ステップでは、各出力タプルy(t)を単純な回答タプルAに変換して、単純な回答タプルのシーケンスA={A,A,...,A}を生成してもよい。例えば、m=5で正規化された出力タプルがy(t)=[0.1,0.1,0.6,0.15,0.05]である場合、最も高い値を有する出力タプルの要素は第3の要素であり、単純な回答タプルA(t)=(0,0,1,0,0)が供給されてもよい。n-タプルを供給する代わりに、各出力タプルy(t)にargmax関数を適用してもよく、この場合、本実施例では、単純な回答タプルはスカラ値(1-タプル)、すなわち、A(t)=3となる。図3に示す非限定的な例は、各回答タプルがベクトル又はn-タプルであり、このうち1つの要素のみが1であり、他の要素が0であるという認識に基づいている。ニューラルネットワークの技術分野では、argmax関数は、出力タプルを処理するためのより通常の方法としてみなされ得る。
処理ユニット310Aは、この場合、単純な回答タプルのシーケンスA={A、A,...,A}を、単一の使用クラスの回答
Figure 0007203856000013
へと削減するように構成されてもよい。この削減は、単純な回答タプルのシーケンスAに最大基準又は過半数基準を適用することによって生じ得る。単純な回答タプルAがm-タプルである例では、最大基準は、単純な回答タプルAの最大多数のk番目の要素が1である場合に、単一の使用クラス回答
Figure 0007203856000014
のm個の要素のうちのk番目の要素のみが1に設定されることを意味してもよく、過半数基準が適用された場合には、要素kは、単純な回答タプルAのk番目の要素の少なくとも50%が1である場合に1に設定される。1に設定される要素は、この場合、所定の時間からの入力に最良に適合しているとシステムが特定した使用クラスに対応する。単一の使用クラスの回答
Figure 0007203856000015
の他の全ての要素は、この場合0である。単一の回答タプル
Figure 0007203856000016
の要素のいずれも1でない場合、人工ニューラルネットワークの応答は信頼できないので分類は行われず、すなわち、使用クラスは出力として供給されない。あるいは、単純な回答タプルA(t)は、argmax関数の結果としてのスカラ値であってもよく、値は、最も高い予測値を有する出力タプルの要素y(t)と一致する。この場合、単一の使用クラス回答
Figure 0007203856000017
はスカラ値であってもよく、この値は、例えば
Figure 0007203856000018
など、所定の時間からの入力に最良に適合しているとシステムが特定した使用クラスを示す。要約すると、処理ユニット310Aは、現在評価されている時間ΔT毎に、人工ニューラルネットワークANNの単一の使用クラス回答を供給するように構成されてもよい。処理ユニット310Aは、予測確率が信頼できない場合(例えば、閾値が適用された場合及び/又は過半数が特定されなかった場合など)には応答を供給しないように構成されてもよい。
上述のように、使用クラスと標的空間の部分とは、一対一対応で(すなわち、全単射法で)直接かつ明瞭に関連付けられてもよい。しかし、使用クラスと標的空間の部分との間により複雑な関連性が存在してもよい。例えば、消費者装置が電動歯ブラシである場合、使用クラスは、電動歯ブラシの様々な動作に関連してもよい。使用クラス1は、左上大臼歯の頬側面をブラッシングするための典型的な動作に関連してもよく、使用クラス2は、左下大臼歯の頬側面をブラッシングするために典型的な動作に関連してもよく、使用クラス3は、この場合、左大臼歯の頬側面、すなわち、左上大臼歯及び左下第臼歯の頬側面を1回の動作でブラッシングするための典型的な動作に関連してもよい。したがって、処理ユニット310Aは、現在評価されている時間ΔTに関して特定された使用クラスを標的空間の部分上にマッピングするように構成されてもよく、この場合、標的空間350Aのグラフィック表現が示され、ディスプレイを介してユーザへの視覚フィードバックも表現することが可能である。図示される実施例では、第3の使用クラス(単一の回答タプル
Figure 0007203856000019
の第3の要素が1である場合に回答として供給される)は、組み合わされて部分351Aとされる、標的空間350Aの2つの部分352A及び353Aに関連してもよい。この場合、単一の使用クラス回答
Figure 0007203856000020
の第1の要素(すなわち、第1の使用クラス)が部分352Aに関連付けられ、第2の要素(すなわち、第2の使用クラス)が部分353Aに関連付けられてもよい(これは、
Figure 0007203856000021
がスカラ値であり、かつ、
Figure 0007203856000022
である場合にも適用される)。使用クラス番号5は、標的空間の部分354Aに関連付けられてもよく、これが、右下大臼歯をブラッシングするための典型的な動作に関連してもよい(例えば、
Figure 0007203856000023
)。また、使用クラス番号7(例えば
Figure 0007203856000024
)は、標的空間350Aの部分355A及び356Aに関連付けられてもよく、部分355A及び356Aは、歯ブラシがブラッシングのために使用されなかったが、1つのブラッシング領域から別のブラッシング領域に移動したこと(すなわち、移行動作)を示す。同様の例を、電気シェーバ、モップなどの他の消費者装置に提供することができる。電気シェーバの標的表面は、例えば、対象の頭部であってもよい。
先の説明では、用語「動作」が使用された場合、これは、動作データのみがセンサデータとして入力される場合に関連する。使用データが動作データ以外の他の又は更なるセンサデータを含む場合、動作という用語は「使用」という用語に置き換えられる。
電動歯ブラシを備えるシステムの例
図4は、電動歯ブラシとして実現された消費者装置200Eと、スマートフォンとして実現され、この例では提示装置の機能も実現する分析装置300Eと、を備える例示的なシステム100Eの概略図である。
一般に知られているように、電動歯ブラシ200Eは、ハンドル201Eと、処理ヘッド202E、すなわちブラシヘッドと、を含み、電動歯ブラシ200Eは、歯及び任意に舌を含む口腔の部分を清掃することを意図している。したがって、電動歯ブラシ200Eの標的空間250Eは、この例では歯に関連する部分251E~256E及び舌に関連する部分257Eを含む。加えて、標的空間250Eは、この例では、電動歯ブラシヘッドの移行動作、すなわち、ブラッシングすることではなく、歯ブラシを1つの歯セクションから別の歯セクションに移動させることに関連する動作に関連する2つの更なる部分258E及び259Eを含む。口腔を個々の部分に分離するために本明細書で使用される標的空間の部分の数は、単に一例であり、非限定的とみなされるべきである。他の実施形態では、標的空間は、歯に関連する1つの部分及び移行動作に関連する1つの部分のみを含む。別の一例では、各大臼歯は、各大臼歯の頬側面、舌側面及び咬合面に関連する3つの部分に分割され、各切歯は、頬側面及び舌側面に関連する2つの部分に分割される(すなわち、全84部分において、各部分が特定の歯の1つの面に関連する)。舌も、2つ以上の部分、例えば、前方部分及び後方部分に分割されてもよい。これは単に、標的空間が任意の適切な数の部分を有し得ることを示すものである。
ここで電動歯ブラシ200Eは、前述のようなセンサを備え、使用データUの時間的シーケンスを使用セッション中に分析装置300Eに送信するように構成されている。分析装置300Eは、使用クラスのセットに関する電動歯ブラシ200Eの使用の分類を人工ニューラルネットワークを用いて実行し、結果として得られた使用クラスを標的空間250E上にマッピングすることにより、分析装置のディスプレイ301E上に標的空間250Eの視覚的表現350Eを表示することができるように構成されている。ここで、視覚的表現350Eは、7つの部分を含む(移行は視覚表示されない)。一例として、視覚表示された視覚的表現はそれぞれ、推奨されるブラッシング行動の何パーセントが標的空間のどの関連する部分で既に費やされているのかをユーザが容易に確認することができるように、特定のレベルまで満たされている。更に、視覚表示されたゾーン354Eは、使用データUの時間的シーケンスの評価の結果に基づいて、標的空間(すなわち、口腔)の現在ブラッシングされている部分を示すために強調表示されている。一例として、総ブラッシング時間がディスプレイ301E上に別の情報360Eとして示される。
本明細書の以下の章では、人工ニューラルネットワーク及び関連するアーキテクチャの特定の人工ニューラルネットワークについて、本明細書に記載のシステムに関連する範囲で簡潔に説明する。
人工ニューラルネットワーク
人工ニューラルネットワーク(ANN)は人工ニューロンのネットワークであり、ニューロインフォマティクスから動機付けられたニューロンのモデルを使用し、複数の入力が活性化関数によって重み付けされて出力される。バイアス値(又は閾値)を追加して、活性化前に重み付き入力をシフトさせてもよい。ANNの典型的な活性化関数は、シグモイド関数又はtanhとして表される双曲線正接関数などの、非線形の単調増加関数である。
図5は、入力層10、隠れ層20及び出力層30を有する人工ニューラルネットワーク1の一例の概略図である。ANNの入力ベクトルxはそれぞれ、n-タプルであってもよく、nは任意の整数であってもよい。図5に示されるANNに従って、入力ベクトルxは連結され、次いで、連結されたベクトルは、隠れ層20のユニットのそれぞれに供給される。完全に接続された層を用いて、入力c=(x,x,x)を、例えば、k-タプル
Figure 0007203856000025
及び
Figure 0007203856000026
などの任意の他の寸法のタプルに転送してもよく、ここで、wikjは、隠れユニットi、i=1,2,3の重み行列の要素であり、bikは、隠れユニットi、i=1,2,3のバイアスベクトルの要素であり、jは、連結されたベクトルcの要素の実行中インデックスを表し、kは、k-タプル
Figure 0007203856000027
の要素の実行中インデックスを表す。重み付き出力
Figure 0007203856000028
は、次に、活性化関数
Figure 0007203856000029
を使用して出力され、ここでσはシグモイド関数を表す。この活性化が隠れ層20で生じた後に、活性化ベクトルaを、完全に接続された出力層30によって、典型的には、例えばANNが認識する単語の数などの、ANNの考えられる回答と一致する寸法を有する任意の寸法の複数の出力タプルy、i=1,2にマッピングしてもよい。
図5を参照しない1つの典型的な例では、ANNは、例えば、手書き文字を識別するタスクを学習するために使用される。この場合、ANNの重み及びバイアスは、例えば50画素×50画素(例えば、各画素が黒又は白のいずれかを表す)の画像を表し、各画像が文字「c」などの回答が既知である手書きの文字を含むデータストリームなどの、いわゆるラベル付けされた入力を供給することによって学習されてもよい。ANNの初期の重み及びバイアスは、次いで、ANNの出力と、理想的にはいわゆるバックプロパゲーションによってシステムに供給されたはずの出力との差に基づいて、(ここでは教師あり)学習プロセスで修正され、この例の回答「c」では、ANNは、理想的には第3の要素が1であり、他の全ての要素がゼロとなる)26個の要素(ラテンアルファベットの文字毎に1つ)を有する出力ベクトルを供給してもよい。典型的には、ANNが十分に訓練されている場合には、ANNは重み及びバイアスに適用される変更にある程度の収束を示し得る。ANNの予測品質が、例えば自動手書き認識に使用できる程度に十分に良好となるように、学習すべきタスクに特に適したANNのアーキテクチャを見出すことは、ANNの設計者の課題であると考えられる。
上述のように、本開示で説明するタスクは、使用クラスを決定し、使用クラスに基づいて、手持ち式消費者装置がその中で現在使用されている標的空間の部分を判定することである。ANN、特に以下で更に説明するANNの特定のアーキテクチャは、例えば手持ち式消費者装置の動作を含む使用データをANNへの入力として使用する場合に、このタスクを十分な予測精度で解決するために使用できることが見出されており、予測品質は、例えば、手持ち式消費者装置で印加される力、特に手持ち式消費者装置の処理ヘッドで印加される力を表す力センサデータを加えるなど、更なる使用データをANNへの入力として加えることによって、更に改善することが可能である。また、動作データを含まず、1軸力データ又は多軸力データ、手持ち式消費者装置に配置された静電容量式センサ、温度センサなどからのデータなどの他のセンサデータのみを含む使用データをANNに入力として供給することによって、ANNを使用して本開示のタスクを解決可能であることも企図されている。このような使用データを供給するためのセンサについては、既に説明している。
回帰型ニューラルネットワーク
回帰型ニューラルネットワーク(recurrent neural network、RNN)は、特定の特性、すなわち反復入力を有するANNのクラスである。図6Aは、入力層10A、隠れ層20A及び出力層30Aを含むRNN 1Aの概略図である。回帰型ユニット50Aは、入力xを受信するだけでなく、前の時点から隠れた状態も受信し、現在時点tの隠れた状態hは次いで、次の時点t+1の出力を計算するためにニューラルネットワーク50Aに入力されることが示されている。
図6Bは、「広げられた」又は「展開された」状態の図6AのRNNの概略図である。結果として生じる回帰型ニューラルユニット50Aの鎖は、異なる「時点」t、t=[1,n]で適用される。第1の時点t、t=1で、ニューラルユニット50Aは、初期の隠れた状態h及び入力xを受信して、出力y及び、ニューラルユニット50Aに次の時点t、t=2で供給される、修正された隠れた状態hを計算する。ニューラルユニット50Aは、時点t=2で入力x及び、上述のように、隠れた状態hを受信し、出力y及び隠れた状態hを計算する。この鎖は、時点t=nで入力シーケンスが終了するまで継続する。隠れた状態は、記憶を経時的に運ぶという点で特に有益である。一例として、ニューラルユニット50Aは、単純な実現の場合には、単にtanh活性化関数であってもよく、すなわち、隠れた状態ht-1及び入力xは連結され、ANNユニットに関して上述した完全に接続された層を通過した後に、tanh関数によって活性化される。図6Aから明らかなように、ニューラルユニット50Aの重み及びバイアスは、時間の関数として変化しない。
RNNの構造は、シーケンシャルなデータを処理するのに好適である。本明細書で使用される用語「時点」は、広く解釈されてもよく、また必ずしも実時間に関連しなくてもよいが、手持ち式消費者装置の使用を分類するタスクは、例えば、動作データ及び/又は他の使用データを実時間シーケンスとして供給することによって達成され得ることが見出された。手持ち式消費者装置が電動歯ブラシである場合には、1秒間が、ANN、特にRNNによって使用データを分類するための適切な時間であってもよく、また、使用データの約25個の時間的に等距離の入力ベクトルxを使用できることが見出された。当然ながら、これは1つの非限定的な例であり、他の値及び範囲については既に説明されている。
ANNの入力タプルxの寸法は、入力データの要素の数に関連し、例えば、使用データの6つの要素(例えば、3軸加速度計及び3軸ジャイロスコープからの6つの異なる動作データ値)が使用される場合には、
Figure 0007203856000030
となる。例えば、入力される使用データに要素として更なる力の値が追加される場合には、
Figure 0007203856000031
となる。ANNの出力yは、入力が分類される使用クラスの数によって異なる。例えば出力クラスの数が20である場合、
Figure 0007203856000032
となる。内部的には、例えば隠れた状態hのサイズは、遙かに大きい値を有してもよい。隠れた状態hのサイズは256であってもよく、この場合は
Figure 0007203856000033
となる。図示されるように、入力xは、上記の第1の実施例では
Figure 0007203856000034
である重み行列Wによって、より高いサイズにされる。このようにサイズが増加された入力に追加され得るバイアス又は閾値bも、隠れた状態hのサイズを有してもよく、すなわち、
Figure 0007203856000035
であってもよい。サイズが256のANNの内部状態ベクトルからサイズが20の出力yを生成するために、完全に接続された出力層は、それぞれの重み行列
Figure 0007203856000036
を使用する。この段落で使用される数字は、非限定的な例であり、入力、出力及び内部状態のサイズは、いかなる好適な整数値を有してもよい。
LSTMユニット
RNNは、内部隠れた状態出力を次の時点への内部隠れた状態入力(回帰情報)として渡す、一連の同一の順伝播型ニューラルネットワークユニット(各時点毎に1つ)とみなすことができ、換言すれば、RNNは、内部隠れた状態出力を各時点毎に新たな内部隠れた状態入力として再ループする単一の順伝播型セルである。RNNユニットは、少なくとも1つの隠れ層を有してもよい。したがって、最も基本的なRNNユニットは、上述のように、単一層のニューラルネットワークユニットである。古典的な「バニラ」RNNユニットでは、ユニットの出力は、内部隠れた状態出力と同一である。バニラRNNは既知の問題(RNNを訓練不可能にする勾配の消失及び爆発並びに、情報のモーフィング、すなわち過去の情報が過度に急速に失われるような方法で内部隠れた状態が常に変化すること)を有する。1997年に、バニラRNNのこれらの問題を克服するために、長・短期記憶(Long Short-Term Memory、LSTM)ユニットの使用が提案された(S.Hochretor,J.Schmidhuber:Long Short-Term Memory,NeuroComputation 9(8):1735-1780,1997)。基本的なLSTMユニット50Bを図7Aに示す。図6A及び図6Bを参照して説明した基本的なRNNユニットとは対照的に、LSTMユニット50Bは、隠れた状態h及びセル状態cを有する。図7Aに示すLSTMユニット50Bは、時点tに関連する。したがって、LSTMユニット50Bは、前の時点からセル状態ct-1及び隠れた状態ht-1を受信し、現在時点tに関するセル状態c及び隠れた状態hを出力する。隠れた状態出力hは、以下で更に積層型RNNに関して説明するように、出力層又は別の隠れ層に順伝播され得るLSTMユニットの出力としても使用される。バニラRNNの問題を解決するために、LSTMユニット50Bは、忘却ゲート51B、入力ゲート52B及び出力ゲート53Bを備える。全てのゲート51B、52B、53Bは、ht-1及びxを含む連結されたベクトルを入力として受信する。この連結された入力ベクトルは、重み行列W及びUによって完全に接続された層を通って各ゲートに入り、次に活性化関数によって活性化され、ここでσはシグモイド関数を表し、tanhは双曲線正接関数を表す。以下の式を参照する。図7Aでは
Figure 0007203856000037
は要素毎の加算を表し、
Figure 0007203856000038
はアダマール積(すなわち要素毎の乗算)を表す。忘却ゲートによって、セル状態のどの部分を忘却するのかが決定される。入力ゲートによって、セル状態に何を追加するのかが決定される。出力ゲートでは、セル状態を使用して、隠れた状態の出力を決定する。
この基本的なLSTMユニットに関する式は、以下のとおりである。
Figure 0007203856000039
式中、xは入力ベクトルであり、iは入力ゲート活性化ベクトルであり、oは出力ゲート活性化ベクトルであり、fは忘却ゲート活性化ベクトルであり、cはセル状態ベクトルであり、
Figure 0007203856000040
は候補状態ベクトルであり、hは、基本的なLSTMセルの出力でもある隠れた状態ベクトルである。ct-1及びht-1は、前の時点からの隠れた状態及びセル状態ベクトルである。W、W、W、及びWは、各活性化関数の前に適用される隠れた状態重み行列であり、U、U、U、及びUは、入力重み行列であり、b、b、b、及びbはバイアスベクトルである。σはシグモイド活性化関数を表す。本明細書では、用語「タプル」及び「ベクトル」は互換可能であることに留意されたい。
基本的なLSTMユニットの様々な修正(例えば、いわゆる覗き穴結合を有するLSTMユニットなど)が存在する。本明細書に示すLSTMユニットの説明は、非限定的な例としてみなされるものとする。
GRUユニット
別の種類のRNNを、いわゆるゲート付き回帰型ユニット(Gated Recurrent Unit、GRU)を使用して構築することができる。GRUは、LSTMと類似しているが、これよりもある程度単純である。GRUは、2014年にK.Choらによって紹介された(「Learning Phrase Representation using RNN Encoder-Decoding for Statistical Machine Translation」、2014年9月3日、arXiv:1406.1078v3)。
GRU 50Cのグラフィック表現を図7Bに示す。GRU 50Cは、LSTMユニットから分かるようなセル状態を含まないことが示されている。GRU 50Cは、更新ゲート51C、リセットゲート52C及び出力ゲート53Cを含む。
この基本的なGRU 50Cに関する式は、以下のとおりである。
Figure 0007203856000041
式中、zは更新ゲート活性化ベクトルであり、rはリセットゲート活性化ベクトルであり、gは現在の記憶内容であり、hは現在の時間ステップにおける最終記憶である。LSTMユニット50BとGRUユニット50Cとの間には明らかな類似性が存在するが、GRUユニット50Cは、計算的により単純である。GRUユニットベースのRNNは、LSTMユニットベースのRNNと同様に高い予測精度を提供し、これをより高い計算速度で提供することが見出された。特に、スマートフォンなどの小型処理装置での実現のために、GRUユニットベースのRNNを使用することができる。
RNNのアーキテクチャ
ユニット50A、50B又は50Cなどの回帰型ユニットを、RNNの様々に異なるアーキテクチャで使用することができる。RNNの2つの具体的なアーキテクチャは、双方向性RNN(bi-directional RNN、BDRNN)及び積層型RNN(stacked RNN、SRNN)である。双方向性RNNの概略図を図8Aに示し、積層型RNNの概略図を図8Bに示す。完全を期すために、図8Cは、積層型双方向性RNN(stacked bi-directional RNN、SBDRNN)の例示的な描写を示す。
図8Aに示すBDRNN 1Bは、RNNユニット500B及び501Bの出力を左から右へ、及び右から左へと並列に計算する。BDRNN 1Bは、入力層10B、隠れ層20B及び出力層30Bを含む。隠れ層20Bは、出力を左から右へ(又は時間的な言い回しでは過去から未来へ)計算する回帰型ユニット500Bの第1の鎖21Bと、出力が右から左へ(又は時間的な言い回しでは未来から過去へ)計算される回帰型ユニット501Bの第2の鎖22Bとを含む。鎖21B、22Bはそれぞれ、それ自体の隠れた状態ベクトル、すなわち左から右への鎖21Bの隠れた状態ベクトルh、及び右から左への鎖22Bの隠れた状態ベクトルhを含む。所与の時間tに関連する回帰型ユニット500B及び501Bの出力は、連結されるか又は要素毎に加算されてもよく、次いで、完全に接続された出力層30Bによって各時点の出力ベクトルy上にマッピングされる。これにより、BDRNNは、入力シーケンス内のパターンを両方の時間方向で考慮することが可能になる。
BDRNNによる評価対象の複数の時間のうちで時間的に最初の時間について、隠れた状態
Figure 0007203856000042
(すなわち、順方向の隠れた状態)が任意に初期化されてもよく、例えば、
Figure 0007203856000043
の各要素が0に設定されてもよい。同じことが、
Figure 0007203856000044
(すなわち、逆方向の隠れた状態)に対して行われてもよい。時間的に次の評価対象の時間について、
Figure 0007203856000045
は、前の評価から
Figure 0007203856000046
に設定されてもよい。この場合、分析装置は、順方向に最後の隠れた状態を記憶して、これを次の使用データのシーケンスの評価のために次のRNNユニットに入力するように構成されてもよい。
Figure 0007203856000047
は、「未来」からの情報がない場合には常に同じ初期値を有するように設定されてもよい。順方向及び逆方向の隠れた状態を任意に初期化する代わりに、隠れた状態をBDRNNの学習フェーズで最適化してもよく、例えば、初期の隠れた状態は、予測を最適化するために学習フェーズのBDRNNによって使用されるパラメータとみなされてもよい。本明細書で順方向の隠れた状態に関して述べることは、当然のことながら全ての他のRNNにも適用され、逆方向の隠れた状態に関して述べることは、以下に記載の積層型BDRNNにも適用される。
図8Bは、時点t毎に2つの回帰型ユニット500C及び501Cを順伝播方向に含むSRNN 1Bを示す。したがって、SRNN 1Bの隠れ部分20Cは、順伝播方向に結合された第1の隠れ層21C及び第2の隠れ層22Cを有する。第1の隠れ層21Cの回帰型ユニット500Cから次の時点へと順伝播される隠れた状態ベクトル
Figure 0007203856000048
は、第2の隠れ層22Cの回帰型ユニット501Cへも入力ベクトルとして順伝播される。SRNN 1Cを、ディープニューラルネットワークとみなしてもよい。各LSTMユニット又はGRUにそれぞれ4つ又は3つの層があるために、単一の隠れ層LSTMユニット又はGRUをディープニューラルネットワークとみなすことができる場合には、積層型LSTM又は積層型GRUネットワークは更なる深さを追加する。
図8Cは、図8Aに示すBDRNNの構造と図8Bに示すSRNNの構造とを組み合わせたSBDRNN 1Dの概略図を示す。したがって、SBDRNN 1Dの隠れ部分20Dは、2つの積み重ねられた隠れ層21D及び22Dを有する。隠れ層21D、22Dはそれぞれ、左から右への層23D及び25D、並びに右から左への層24D及び26Dをそれぞれ含む。このことは、第1の隠れ層21Dの回帰型ユニット500D及び501Dの出力が、第2の隠れ層22Dの回帰型ユニット502D及び503Dのそれぞれに順伝播される(例えば、出力が連結され、次に各回帰型ユニット502D及び503Dに供給される)ことを可能にする。積層型双方向性LSTM又はGRUは、本明細書で説明する分類タスクに優れた予測品質を提供することが見出された。このようなLSTM又はGRUネットワークの内部寸法は、約256を超える必要がないことも見出されており(ここで「寸法」は、隠れた状態ベクトルを指し、これは、隠れた状態が256タプルであることを意味する)、これにより、スマートフォン又はタブレットコンピュータなどに実装し、特に、約25サンプルのシーケンス長と組み合わせた場合のANNのライブ予測結果が得られると同時に、十分な予測品質を提供することができる。これは限定的なものと解釈されるべきではなく、例えば128~512(又は概ねこれらの値の数)の範囲内の隠れた状態ベクトル寸法及び、例えば10~50(又は概ねこれらの値)の範囲内のシーケンス長も企図される。
ANNの出力及び出力の連続的な演算
本明細書で説明する様々な例示的なRNN 1A、1B、1C、及び1Dでは、出力ベクトル又はタプルyが時点毎に生成される。これは限定的であると解釈されるべきではない。ただし、この章の説明では、入力シーケンスx=(x,x,...,x)毎に少なくとも2つの出力がRNNによって供給されるものとする。簡略化のために、RNNの出力配列y=(y、y,...,y)は、ここでは入力シーケンスと同じ長さを有するとみなされる。更に、理論に束縛されるものではないが、ANNは、各出力タプルyにソフトマックス関数を適用することができる。ソフトマックス関数は、出力ベクトルyの要素の合計が1になり、[0、1]の範囲内に圧縮されるように、出力yの要素を正規化する。しかし、これは任意のステップとみなされる。
入力シーケンスの各入力ベクトルxは、例えば6つの慣性センサデータ値が使用される場合にはk=6、あるいは更なる力センサ値又は別のセンサ値が使用される場合にはk=7などの寸法kを有するタプルであってもよい。各出力ベクトルyは、例えばm=20などの寸法mを有するタプルであってもよい。既に説明したように、出力yの要素、すなわち、y=(y(1)、y(2)、...,y(m))は、ANNによって使用される使用クラスのセットの異なる使用クラスに関連している。手持ち式消費者装置の場合、所与の時点における出力ベクトルyの各要素は、入力が、この要素が割り当てられる使用クラスに属するという予測に関連している。入力ベクトルxが動作データのみを含み、消費者装置が電動歯ブラシである例では、使用クラスは、したがって、様々な動作タイプであってもよく、例えば、第1の使用クラスは低速でのブラッシング動作に関連してもよく、第2の使用クラスは高速でのブラッシング動作に関連してもよい。本開示の主なタスク、すなわち、消費者装置の位置の判定(すなわち、十分に高い確率での予測)では、出力ベクトルyの各要素は、したがって、標的表面の1つ又は複数のゾーンにおける消費者装置の使用に特有の動作に関連してもよい。例えば、出力yの第1の要素、すなわちy(1)は、左上大臼歯の頬側面に特有の動作に関連してもよく、第2の要素i(2)は、左上大臼歯の咬合面に特有の動作に関連してもよい。消費者への伝達に関連するゾーンが「左上大臼歯」である場合、出力の第1及び第2の要素がこのゾーンに関連付けられる。更に、出力の第3及び第4の要素が、双方ともに「左下大臼歯」ゾーンに関連する左下大臼歯の頬側面及び咬合面に特有の動作に関連し、第5の要素が、上下の大臼歯の頬側面を一緒にブラッシングすること(顎を閉じたままにしておくと、消費者はこれらの頬側面を一度にブラッシングすることができる)に特有の動作に関連すると仮定する。この場合、出力の第5の要素は、「左上大臼歯」ゾーン及び「左下大臼歯」ゾーンに関連付けられる。この例は、出力ベクトルyのいくつかの要素が標的空間の1つの部分に関連付けられてもよく、また出力ベクトルyの1つの所与の要素が標的表面の2つ以上の部分に関連付けられてもよいことを示す。この例は、標的空間の特定の部分に特有の動作に関するものであるが、同じことがANNの使用クラスと出力ベクトルとの間の他の全ての関連にも当てはまることが理解されよう。この例は、ANNのクラスと標的空間の部分との間の比較的複雑な関連マトリックスを示しているが、ANNの使用クラスと標的空間の部分との間の単純な一対一対応関係(すなわち、全単射関係)も本開示の要旨及び範囲に含まれることを理解されたい。この後者の場合には、使用クラス及び標的空間の部分の間の区分は、当然のことながら、学術の範囲に属するものである。
システムは、具体的には、所定の数の出力タプル毎にのみ単一の使用クラスの回答を供給するように構成されてもよく、例えば、システムは、入力シーケンス毎にのみ単一の使用クラスの回答を供給してもよい。単一の使用クラスの回答を供給するために、各出力タプルにargmax関数を適用して、最も高い値を有するタプル要素の数が選択されるようにしてもよい。argmax関数を適用することによって、最も高い値を有するが閾値を下回る要素が選択されないように閾値を適用してもよい。ソフトマックス関数が適用された出力タプルについては、閾値は、0.5~0.99の範囲内、具体的には0.6~0.9の範囲内、更に具体的には0.65~0.8の範囲内となるように選択されてもよく、例えば、閾値は0.7に設定される。argmax関数を使用して、単一の時点に対して1つの使用クラスを選択した後に、最大基準又は過半数基準を使用して、入力シーケンス全体についての単一の使用クラスの回答として1つの使用クラスを選択してもよい。
1つのANNが2つの連続するタスクに使用されるシステム
ANNを使用して、消費者装置の使用を使用データに基づいて分類できることを説明してきた。分類は、具体的には、ライブで、すなわち使用セッション中に行うことができる。
場合によっては、現在のユーザを識別し、例えば、ユーザが後で自身のデータにアクセスできるように、分類の結果及びその他の現在の使用セッションからのデータをユーザのアカウント内に記憶することが望ましい。ユーザ識別は、消費者装置の異なるユーザからの記憶された使用データとの比較のために、現在の使用セッションに関するシステムの分類出力の時間的シーケンスの少なくとも一部分を使用して行われてもよい。例えば、分類出力の現在の少なくとも一部分と分類出力の記憶された各部分(例えば使用の最初の10秒)との類似性チェック(例えば距離計算)を適用することによって、ユーザを識別してもよい。これは、ANNがユーザに伝達される分類出力を生成するのと同時に、システムも、同じ分類出力を使用してユーザを識別可能であることを意味する。使用データを使用してユーザを識別する代わりに、使用セッションの少なくとも一部の間に供給された単一の使用クラスの回答を分析することによって、個々のユーザを特定してもよい。各ユーザが、識別可能な自分自身の「フィンガープリント」を有してもよい。
2つ以上のANNを有するシステム
いくつかの実施形態では、本明細書に記載のシステムは、2つの異なるANNを備えてもよい。2つのANNは、それらが2つの異なるアーキテクチャ又は重みとバイアスとの2つの異なるセットのいずれかを有する場合には、異なるものとする。いかなる限定をも課すものではないが、後者の場合について、それぞれのシステムを例示するために説明する。
上述のように、消費者装置のユーザは世界レベルで様々に異なる使用特性を示し、これらの特性はグループ化することができる。単純な例では、消費者装置のユーザは、高速ユーザと低速ユーザとにグループ化されてもよく、ここで高速及び低速は、消費者装置の動かされ方に関連してもよい。例えば、電動歯ブラシの場合、低速ユーザは、歯が十分にブラッシングされるまで一定時間にわたって一本の歯を磨き続けてから近隣の歯に移動しでもよい。対照的に、高速ユーザは、高い頻度で歯から歯へと飛躍してもよい。上述のANNは、典型的には、両方のタイプのユーザからのラベル付けされた入力で訓練される。したがって、予測は、両方のユーザグループを対象としたものとなる。しかしながら、高速ユーザからの使用データは高速ユーザからの使用データのみで訓練されたANNに供給され、低速ユーザからの使用データは低速ユーザからの使用データのみで訓練されたANNに供給される場合に、ANNがより高い予測確率を提供できることが企図されてもよい。したがって、ユーザの使用データが最初に分類ユニット(ANNベースであってもよいが、統計分類アルゴリズム又は任意の他の機械学習ベースの分類アルゴリズムも使用することができる)に供給され、この分類ユニットによって、ユーザが高速ユーザであるか又は低速ユーザであるかが分類される、すなわち、標的空間が、高速ユーザに関連する部分及び低速ユーザに関連する部分の2つの部分を含むシステムが企図される。換言すれば、分類ユニット(例えば、第1のANN)は、使用データを2つの使用クラス、すなわち、高速ユーザ及び低速ユーザに関して分類する。ユーザタイプが特定されると(これに要する時間が数秒のみであってもよく、したがって、使用セッションの開始時にのみ行われてもよい)、使用データは、各ユーザタイプに固有の重み及びバイアスを有する第2のANNに供給される(すなわち、第2のANNは、少なくとも2つの特定のANNを含む群から選択される)。このようなシナリオは、例えば、中速ユーザ、すなわち、特に低速でも特に高速でもないユーザであり得る第3のユーザグループを追加することによって、容易に拡張できる。第1の分類ユニット(例えば第1のANN)がユーザグループのそれぞれの分類を行った後に、第2のANNが、それぞれが同じアーキテクチャを有してもよいが、学習入力が異なるために異なる重み及びバイアスを有する3つのANNの群から選択されてもよい。別の方法として、2つ以上のANNに使用データが並列に入力されてもよく、各ANNは、例えば1つの特定のユーザグループについて特に訓練されており、その後、適切なANNの選択は、例えばサンプリング時間又は完全な使用セッションの間、あるいは「フィンガープリント」分析(以前の章を参照されたい)を行った後に、最も高い予測値を提供するANNを選択することによって行われてもよい。
他の例では、システムに2つの異なるANNが使用されている。電動歯ブラシの領域の例を再び使用すると、第1のANNは、受信した使用データを、上顎又は下顎のブラッシングに関連する動作に関して分類するために使用され、第2のANNは、全く同じ使用データを、左大臼歯、右大臼歯又は前歯のブラッシングに関連する動作に関して分類するために使用されてもよい。左上大臼歯、右上大臼歯、右下大臼歯、右下大臼歯及び下前歯のブラッシングに関連する動作に関して動作を分類する単一のANNを使用することとは対照的に、2つのANNの出力の組み合わせにより、より高い予測確率で標的空間の一部分を特定することができる。
先の例に基づいて構築された他の例では、消費者装置の使用の個々の局面をそれぞれが分類する3つのANNが使用される(この場合の個々の局面とは、異なるANNが、消費者装置の使用を異なる使用クラスセットに関して分類することを意味する)。一例として、第1のANNは、使用データを上顎及び下顎に対して分類し、第2のANNは、使用データを左大臼歯、右臼歯及び前歯に関して分類し、第3のANNは、使用データを大臼歯の頬側面、舌側面及び咬合面並びに前歯の前面及び後面に関して分類する。前述のように、NN当たりの動作クラスの数が限られているために、各ANNの予測品質が高くなる可能性があり、これはすなわち、3つのANNの結果の組み合わせ(例えば、現在のブラッシング動作は、(1)上顎、(2)左大臼歯、及び(3)咬合面として分類されている)が、この区分レベルを達成可能な単一のANNによる分類よりも正確となる可能性があることを意味している。
同じタスクに異なるANNが使用されるシステム
いくつかの実施形態では、2つ以上の異なるANNが、入力を同じ使用クラスセットに関して分類するために使用される。同じタスクを有する異なるANNの結果を処理する選択肢は複数あるが、いくつかの例では、最も高い予測値を有する要素が特定される前に、出力タプルの要素を(例えばargmax関数を適用して)合計又は平均化することによって、異なるANNからの出力を組み合わせてもよい。前述のように、このプロセスでは、特定の閾値を下回る最終予測値を破棄することができるように、閾値を定義してもよい。また、2つの異なるANNの場合には、特定の閾値を上回る特定の予測値をそれぞれが有する2つの異なる使用クラスをこれら2つのANNが供給する場合に、結果が(例えばユーザに伝達されないなど)破棄されてもよい。
TensorFlow、Microsoft Cognitive Toolkit、PyTorch、Caffe又はTheanoなどの深層学習フレームワークを使用して、LSTM又はGRU RNNのようなRNNを構築してもよい。Kerasなどのオープンソースライブラリを、これらのようなフレームワーク上で実行するため、すなわち、これらのフレームワークにインターフェースを提供するために使用してもよい。TensorflowLite、CoreML、TensorRT又はカスタマイズされたライブラリを使用して、スマートフォン、その他のエッジコンピューティングデバイス、又はクラウドコンピューティングデバイス上で深層モデルを作成してもよい。
本開示は、特定の構造(例えば、LSTM及びGRU)のRNNに焦点を当てているが、これは限定的であると解釈されることを意味するものではなく、特に他のRNNアーキテクチャ、例えば、Clockwork RNN及びその他のphased LSTM又は階層的RNNなどのmulti-timescale RNN、又は別の一例としてdilated RNNを使用してもよいことに留意されたい。
本明細書にて開示された寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「40mm」と開示された寸法は、「約40mm」を意味することが意図される。

Claims (13)

  1. 手持ち式の消費者装置の使用を、標的表面を含む標的空間に関して分類するためのシステムであって、前記手持ち式の消費者装置が歯ブラシであるシステムにおいて、前記システムは、
    前記標的表面を処理するように構成された可動手持ち式の消費者装置であって、前記消費者装置が、少なくとも1つの使用データを連続する複数の時点で測定するためのセンサユニットを備え、前記センサユニットは、使用データの時間的に連続するシーケンスを使用セッション中に供給するように構成されている、可動手持ち式の消費者装置と、
    前記消費者装置の使用を、異なる使用特性に関連する少なくとも2つの使用クラスの少なくとも1つのセットに関して分類するように構成された分析装置であって、前記分析装置は、前記使用セッションの所定の時間に関連する使用データの入力タプルの時間的に連続するシーケンスをアセンブルするように構成されており、前記入力タプルはそれぞれ、前記各時点における前記使用データを表す少なくとも1つの要素を含み、前記分析装置は、前記入力タプルのシーケンスを、複数の要素を含む少なくとも1つの出力タプルを使用クラスの数に従って出力するように構成された少なくとも1つの人工ニューラルネットワークに入力するように構成されており、前記出力タプルの各要素は、所与の時点における前記消費者装置の前記使用が各使用クラスに関連するという予測値を表し、前記分析装置は、前記出力タプルのシーケンスに基づいて、前記時間毎に単一の使用クラスの回答を決定するように構成されている、分析装置と、
    を備え、
    前記使用クラスは、前記手持ち式の消費者装置を標的空間の異なる部分で使用するための典型的な使用に関連するものであり、
    前記消費者装置が、少なくとも1つの使用セッションの前記使用データを記憶し、前記使用データを、前記使用セッションの終了後又は複数の使用セッション後であって、前記使用データの送信がユーザ又は前記分析装置によって要求された後にのみ送信するように構成されている、システム。
  2. 前記センサユニットが、加速度計、ジャイロスコープ又は磁力計などの慣性センサあるいは力センサのうちの少なくとも1つのセンサを含み、前記センサは、前記消費者装置の動作及び/又は、前記消費者装置の処理ヘッドに作用する力に関連する使用データの時間的に連続するシーケンスを前記使用セッション中に供給するように構成されている、請求項1に記載のシステム。
  3. 前記消費者装置及び前記分析装置が、相互から物理的に分離しており、無線通信のために結合されるように構成されており、前記消費者装置は、生の使用データを第1の周波数でサンプリングし、処理された生の使用データを、前記使用データとして、前記第1の周波数以下の第2の周波数で前記分析装置に送信するように構成されており、前記第1の周波数は100Hzより大きく、前記第2の周波数は100Hz未満である、請求項1又は2に記載のシステム。
  4. 前記消費者装置が、前記使用データの分解能を送信前に低減するように構成されており、前記使用データは約10ビット以下の分解能を有する、請求項3に記載のシステム。
  5. 前記少なくとも1つの人工ニューラルネットワークが、回帰型ニューラルネットワークである、請求項1~4のいずれか一項に記載のシステム。
  6. 前記分析装置が、前記消費者装置の前記使用を分類するために、少なくとも2つの異なる人工ニューラルネットワークを使用するように構成されており、前記分析装置は、(1)前記消費者装置の前記使用を分類するために、前記少なくとも2つの異なる人工ニューラルネットワークのうちの第1の人工ニューラルネットワークを使用して、前記少なくとも2つの異なる人工ニューラルネットワークのうちの第2の人工ニューラルネットワークを決定する手順、(2)前記消費者装置の前記使用を、同じ使用クラスセットに関して分類するために、前記少なくとも2つの異なる人工ニューラルネットワークを並列に使用する手順、又は(3)前記消費者装置の前記使用を、異なる使用クラスセットに関して分類するために、前記少なくとも2つの異なる人工ニューラルネットワークを並列に使用する手順のうちの少なくとも1つを実行するように構成されている、請求項1~5のいずれか一項に記載のシステム。
  7. 前記センサユニットは、pHセンサ、温度センサ、静電容量式センサ、音声センサ、光センサ又は画像センサ又は映像センサ、あるいは気圧センサのうちの1つである少なくとも1つのセンサを備え、前記センサユニットは、前記少なくとも1つの更なるセンサのセンサデータの時間的に連続するシーケンスを処理時間中に供給するように構成されており、前記使用データは、前記少なくとも1つの更なるセンサデータを含み、前記入力タプルは、前記各時点における前記少なくとも1つの更なるセンサデータを表す少なくとも1つの要素をそれぞれ含む、請求項1~6のいずれか一項に記載のシステム。
  8. 前記所定の時間が、0.1秒~5秒の範囲内の長さを有し、この所定の時間内の使用データの時間的に連続する入力タプルの数は、約5~100の範囲内である、請求項1~7のいずれか一項に記載のシステム。
  9. 前記人工ニューラルネットワークにおける隠れた状態のサイズが約256以下である、請求項1~8のいずれか一項に記載のシステム。
  10. 前記分析装置が、前記単一の使用クラスの回答の前記決定において、最大基準又は過半数基準を利用するように構成されている、請求項1~9のいずれか一項に記載のシステム。
  11. 前記分析装置が、前記単一の使用クラスの回答の前記決定において、閾値未満の正規化された値を有する出力タプル要素を破棄するように構成されており、前記閾値は0.5~0.99の範囲内である、請求項1~10のいずれか一項に記載のシステム。
  12. ディスプレイ若しくは複数の発光素子などのユーザフィードバックユニット、又は前記消費者装置の駆動ユニット、又は前記分類に関する情報を伝達するための音声フィードバックユニットを更に備える、請求項1~11のいずれか一項に記載のシステム。
  13. 前記センサユニットが、少なくとも1つの慣性センサ及び少なくとも1つの力センサを備え、前記使用データが少なくとも7つの要素を含み、そのうちの少なくとも6つの要素は前記消費者装置の動作に関連し、少なくとも1つの要素は前記消費者装置に加えられる力に関連する、請求項1~12のいずれか一項に記載のシステム。
JP2020543384A 2018-02-19 2019-02-15 手持ち式消費者装置の使用を分類するためのシステム Active JP7203856B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18157358.5 2018-02-19
EP18157358.5A EP3528166B1 (en) 2018-02-19 2018-02-19 Apparatus and method for classifying a motion of a movable personal appliance
EP18157362.7 2018-02-19
EP18157362.7A EP3528167A1 (en) 2018-02-19 2018-02-19 Apparatus and method for performing a localization of a movable treatment device
PCT/IB2019/051250 WO2019159130A2 (en) 2018-02-19 2019-02-15 System for classifying the usage of a handheld consumer device

Publications (2)

Publication Number Publication Date
JP2021513420A JP2021513420A (ja) 2021-05-27
JP7203856B2 true JP7203856B2 (ja) 2023-01-13

Family

ID=65324298

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2020543273A Active JP7402165B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2020543384A Active JP7203856B2 (ja) 2018-02-19 2019-02-15 手持ち式消費者装置の使用を分類するためのシステム
JP2020543144A Active JP7190496B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの運動を分類するための装置及び方法
JP2020543228A Active JP7221291B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2022158618A Pending JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020543273A Active JP7402165B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020543144A Active JP7190496B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの運動を分類するための装置及び方法
JP2020543228A Active JP7221291B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2022158618A Pending JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Country Status (7)

Country Link
US (5) US12056208B2 (ja)
EP (3) EP3528171B1 (ja)
JP (5) JP7402165B2 (ja)
KR (2) KR102555432B1 (ja)
CN (4) CN111742327B (ja)
ES (1) ES2971724T3 (ja)
WO (4) WO2019159127A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742327B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
WO2021262955A1 (en) * 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device
GB2602086B (en) * 2020-12-17 2024-07-03 Dyson Technology Ltd Oral treatment device
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
CN112884132B (zh) * 2021-03-19 2024-04-30 有品国际科技(深圳)有限责任公司 基于神经网络的刷牙检测方法、装置、电动牙刷及介质
CA3226672A1 (en) 2021-08-06 2023-02-09 Braun Gmbh Universal base for electric toothbrush
WO2024007117A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007098A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007106A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007884A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007091A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007100A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007113A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
EP4399996A1 (en) 2023-01-12 2024-07-17 Braun GmbH Personal care device comprising a force sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240759A (ja) 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
US20170069083A1 (en) 2015-09-08 2017-03-09 Braun Gmbh Determination of a currently treated body portion of a user

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
DE4218600C2 (de) * 1992-06-05 1994-09-22 Bodenseewerk Geraetetech Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers
JP2002090267A (ja) 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
KR100580647B1 (ko) * 2004-04-01 2006-05-16 삼성전자주식회사 입력모드 분류가능한 동작기반 입력장치 및 방법
WO2006090197A1 (en) 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
JP4388033B2 (ja) 2006-05-15 2009-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8688375B2 (en) * 2006-05-31 2014-04-01 Trx Systems, Inc. Method and system for locating and monitoring first responders
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US20080102953A1 (en) 2006-10-31 2008-05-01 Motorola, Inc. Toothbrush affecting game play
DE102007001025B4 (de) 2007-01-02 2008-11-20 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7835999B2 (en) * 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
KR100947046B1 (ko) 2007-11-19 2010-03-10 황진상 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법
WO2010024697A1 (en) 2008-09-01 2010-03-04 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for determining an adjustment value of a gaming device
JP2011059815A (ja) 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5574789B2 (ja) * 2010-04-08 2014-08-20 株式会社東芝 車両周辺監視装置及び車両周辺監視方法
KR20130057688A (ko) * 2011-11-24 2013-06-03 (주)케이엔씨웰빙 양치 패턴 분석용 칫솔 및 분석 시스템
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
US9263036B1 (en) 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN105009027B (zh) 2012-12-03 2018-09-04 纳维森斯有限公司 用于估计对象的运动的系统和方法
US9413797B2 (en) 2013-04-23 2016-08-09 Gurulogic Microsystems Oy Data communication system and method
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
WO2014202250A1 (en) * 2013-06-19 2014-12-24 Kolibree Toothbrush system with sensors for a dental hygiene monitoring system
EP3811820A1 (de) 2013-06-19 2021-04-28 Valutis GmbH Verfahren zur bestimmung von bewegungsmustern bei einer zahnbehandlung
US9389694B2 (en) * 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9820233B2 (en) * 2013-11-25 2017-11-14 Qualcomm Incorporated Motion state based mobile device positioning
US20160091308A1 (en) 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US20160091965A1 (en) * 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
EP3420849A1 (en) * 2014-12-22 2019-01-02 Sunstar Inc. Brushing assistance system, brushing assistance device, and brushing assistance program
CN105832315A (zh) 2015-01-16 2016-08-10 中国科学院上海高等研究院 不受个体运动状态与环境位置影响的远程监测系统
SG10201912070VA (en) 2015-05-13 2020-02-27 Kolibree Toothbrush system with magnetometer for dental hygiene monitoring
CN104848861B (zh) 2015-05-28 2017-12-08 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
US9336482B1 (en) 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
RU2720291C2 (ru) 2015-08-19 2020-04-28 Конинклейке Филипс Н.В. Способ и контроллер для определения местонахождения устройства очистки в полости рта пользователя, устройство и система для очистки полости рта, а также устройство для приема информации
GB2545668B (en) * 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
EP3410891B1 (en) * 2016-03-14 2021-08-11 Kolibree Oral hygiene system with visual recognition for compliance monitoring
JP7233927B2 (ja) 2016-03-22 2023-03-07 マジック リープ, インコーポレイテッド バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
EP3435864A4 (en) 2016-03-31 2019-09-18 Zoll Medical Corporation SYSTEMS AND METHODS FOR MONITORING THE MOVEMENT OF A PATIENT
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US20180284741A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection for a chemical production process
CN107516102B (zh) 2016-06-16 2020-10-23 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
US10003924B2 (en) * 2016-08-10 2018-06-19 Yandex Europe Ag Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
US10921820B2 (en) 2016-12-19 2021-02-16 Samsung Electronics Co., Ltd. Movable object and control method thereof
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107153642A (zh) * 2017-05-16 2017-09-12 华北电力大学 一种基于神经网络识别文本评论情感倾向的分析方法
CN107203753B (zh) 2017-05-25 2020-09-08 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN109002189B (zh) 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10726301B2 (en) 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
GB2567850B (en) 2017-10-26 2020-11-04 Gb Gas Holdings Ltd Determining operating state from complex sensor data
GB2569794A (en) * 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
CA3084815A1 (en) 2017-12-28 2019-07-04 Colgate-Palmolive Company Oral hygiene systems
CN111742327B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN108451155B (zh) 2018-04-13 2020-09-08 深圳市力博得科技有限公司 智能牙刷的控制电路、智能牙刷及刷牙行为的监控方法
WO2021262955A1 (en) 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240759A (ja) 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
US20170069083A1 (en) 2015-09-08 2017-03-09 Braun Gmbh Determination of a currently treated body portion of a user

Also Published As

Publication number Publication date
EP3528171A2 (en) 2019-08-21
US20190254796A1 (en) 2019-08-22
EP3528171A3 (en) 2020-01-08
US20190278786A1 (en) 2019-09-12
US12056208B2 (en) 2024-08-06
JP2021514223A (ja) 2021-06-10
WO2019159127A1 (en) 2019-08-22
WO2019159128A3 (en) 2019-10-17
CN111742327B (zh) 2024-05-28
JP2021513415A (ja) 2021-05-27
WO2019159129A3 (en) 2019-10-31
US20230342423A1 (en) 2023-10-26
KR102613604B1 (ko) 2023-12-15
KR20200108034A (ko) 2020-09-16
KR102555432B1 (ko) 2023-07-13
EP3528171B1 (en) 2023-11-22
WO2019159130A2 (en) 2019-08-22
JP7221291B2 (ja) 2023-02-13
JP7190496B2 (ja) 2022-12-15
EP3528170B1 (en) 2023-11-22
EP3528170A1 (en) 2019-08-21
US12033057B2 (en) 2024-07-09
JP2021514221A (ja) 2021-06-10
JP2023017766A (ja) 2023-02-07
EP3528172A3 (en) 2020-01-08
US20190254794A1 (en) 2019-08-22
US12045710B2 (en) 2024-07-23
KR20200108035A (ko) 2020-09-16
WO2019159130A3 (en) 2019-10-17
CN111771209B (zh) 2024-09-20
WO2019159128A2 (en) 2019-08-22
JP7402165B2 (ja) 2023-12-20
EP3528172B1 (en) 2023-12-27
CN111742328A (zh) 2020-10-02
WO2019159129A2 (en) 2019-08-22
CN111771208B (zh) 2024-05-28
US20190254795A1 (en) 2019-08-22
CN111742328B (zh) 2024-09-17
CN111771208A (zh) 2020-10-13
CN111771209A (zh) 2020-10-13
CN111742327A (zh) 2020-10-02
ES2971724T3 (es) 2024-06-06
US11755686B2 (en) 2023-09-12
JP2021513420A (ja) 2021-05-27
EP3528172A2 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
JP7203856B2 (ja) 手持ち式消費者装置の使用を分類するためのシステム
AU2021236443B8 (en) Oral hygiene systems and methods
CN109803558A (zh) 智能牙刷
Min et al. Activity recognition based on wearable sensors using selection/fusion hybrid ensemble
CN109788845A (zh) 智能牙刷
Wu et al. Anticipating daily intention using on-wrist motion triggered sensing
CN109862807A (zh) 智能牙刷
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Lee et al. Recognizing multi-modal sensor signals using evolutionary learning of dynamic Bayesian networks
US20240282145A1 (en) Emotion acquisition device, emotion acquisition method, and storage medium
JP7336688B2 (ja) 歯ブラシシステム、および歯ブラシシステム用プログラム
CN114652079B (zh) 口腔卫生系统
EP3528166B1 (en) Apparatus and method for classifying a motion of a movable personal appliance
Goel et al. A Review on Time Series Learning-Based Human Action Recognition
WO2023242042A1 (en) A location sensing system for a personal care or health device
WO2024099846A1 (en) Personal care device
Noor et al. Comparative Techniques Using Hierarchical Modelling and Machine Learning for Procedure Recognition in Smart Hospitals
Martins Development of techniques for haptic exploration and recognition of objects: a contribution to autonomous robotic hands

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220908

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220916

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150