[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7241499B2 - 情報処理方法、情報処理装置及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP7241499B2
JP7241499B2 JP2018191600A JP2018191600A JP7241499B2 JP 7241499 B2 JP7241499 B2 JP 7241499B2 JP 2018191600 A JP2018191600 A JP 2018191600A JP 2018191600 A JP2018191600 A JP 2018191600A JP 7241499 B2 JP7241499 B2 JP 7241499B2
Authority
JP
Japan
Prior art keywords
user
motion
data
action
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018191600A
Other languages
English (en)
Other versions
JP2020060933A (ja
Inventor
和也 野村
智美 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2018191600A priority Critical patent/JP7241499B2/ja
Priority to US16/589,477 priority patent/US11170753B2/en
Publication of JP2020060933A publication Critical patent/JP2020060933A/ja
Application granted granted Critical
Publication of JP7241499B2 publication Critical patent/JP7241499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、ユーザが忘れてしまった行動を通知する情報処理方法、情報処理装置及び情報処理プログラムに関するものである。
人がある目的を達成するための行動を思い付き、その行動を実行しようとしたとき、短時間にその思い付いた行動が何であったかを忘れてしまい、最終的に目的を達成することができない場合がある。
例えば、特許文献１では、行動パターンが入力される行動パターン入力部と、行動パターン入力部に入力された行動パターン及び当該行動パターンの入力時間を一組として複数組記憶する記憶部と、行動パターン及び入力時間の何れか１つに関連するキーワードが音声により入力される音声入力部と、音声入力部から入力された音声を解析し、キーワードを認識する音声認識部と、記憶部内の行動パターンを音声として合成する音声合成部と、音声合成部で合成された音声を出力する音声出力部と、音声認識部で認識したキーワードに対応する行動パターンを、記憶部内の複数の行動パターンから選択して、当該選択された行動パターンを基に音声合成部を制御して、音声として合成する制御部とを備える生活補助装置が開示されている。
特開２００７－２１３３１５号公報
しかしながら、上記従来の技術では、ユーザが直近に思い付いた行動を忘れてしまった場合には、当該行動をユーザに思い出させることができず、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる情報処理方法、情報処理装置及び情報処理プログラムを提供することを目的とするものである。
本開示の一態様に係る情報処理方法は、コンピュータが、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する。
本開示によれば、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。
本開示の実施の形態１における行動通知装置の構成を示す図である。 センサからの出力波形に対するユーザの動作を説明するための図である。 本実施の形態１における行動通知装置の動作について説明するためのフローチャートである。 本開示の実施の形態２における行動通知装置の構成を示す図である。 本実施の形態２における行動通知装置の動作について説明するためのフローチャートである。 本開示の実施の形態３における行動通知装置の構成を示す図である。 本実施の形態３における行動通知装置の動作について説明するための第１のフローチャートである。 本実施の形態３における行動通知装置の動作について説明するための第２のフローチャートである。 本開示の実施の形態４における行動通知装置の構成を示す図である。 本実施の形態４における行動通知装置の動作について説明するための第１のフローチャートである。 本実施の形態４における行動通知装置の動作について説明するための第２のフローチャートである。
（本開示の基礎となった知見）
上記の従来の生活補助装置では、習慣となっている日常的な行動をユーザが物忘れしてしまったとしても、その行動内容を思い出させるきっかけをユーザに与えることで、ユーザの精神的負担の軽減化を図っている。
しかしながら、従来の生活補助装置では、予め行動パターンとして記憶されている日常的な行動をユーザが忘れてしまった場合には、ユーザに思い出させることはできるが、ユーザが直近に思い付いた行動を忘れてしまった場合には、当該行動をユーザに思い出させることが困難であり、ユーザの精神的な負担を軽減することが困難である。
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータが、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する。
ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。
また、上記の情報処理方法において、さらに、周辺の音声データを取得し、さらに、前記音声データをメモリに記憶し、さらに、前記ユーザの所定の動作を検出し、前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出してもよい。
この構成によれば、ユーザからの特別な指示を受け付けることなく、ユーザの所定の動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。
また、上記の情報処理方法において、前記所定の動作は、前記ユーザの立ち上がり動作であってもよい。
この構成によれば、ユーザの立ち上がり動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。
また、上記の情報処理方法において、前記所定の動作は、前記ユーザの移動動作であってもよい。
この構成によれば、ユーザの移動動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。
また、上記の情報処理方法において、さらに、周辺の音声データを取得し、さらに、前記音声データをメモリに記憶し、さらに、前記音声データを音声認識し、前記発話音声データの取得は、音声認識した前記音声データの中に前記ユーザの行動を示す前記発話音声データが含まれている場合、前記メモリに記憶されている前記音声データの中から前記発話音声データを抽出してもよい。
この構成によれば、ユーザからの特別な指示を受け付けることなく、音声データが音声認識され、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。
また、上記の情報処理方法において、前記行動の内容の通知は、前記発話音声データをスピーカに出力させてもよい。
この構成によれば、発話音声データがスピーカから出力されるので、当該発話音声データを聞いたユーザは、忘れてしまった行動を思い出すことができる。
また、上記の情報処理方法において、前記行動の内容の通知は、前記発話音声データを文字データに変換し、変換した前記文字データを表示部に表示させてもよい。
この構成によれば、発話音声データが文字データに変換され、変換された文字データが表示部に表示されるので、当該文字データを見たユーザは、忘れてしまった行動を思い出すことができる。
また、上記の情報処理方法において、さらに、前記発話音声データが、前記ユーザに通知すべき発話音声データであるか否かを判断し、前記行動の内容の通知は、前記ユーザが静止した状態で前記所定時間が経過したと判断され、かつ前記発話音声データが、前記ユーザに通知すべき発話音声データであると判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知してもよい。
この構成によれば、ユーザが静止した状態で所定時間が経過したと判断され、かつ発話音声データが、ユーザに通知すべき発話音声データであると判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知されるので、不要な情報がユーザに通知されるのを防止することができ、必要な情報のみをユーザに通知することができる。
また、上記の情報処理方法において、前記移動動作の検出は、加速度センサからの出力波形を用いて前記ユーザの前記移動動作を検出し、前記静止動作の検出は、前記加速度センサからの出力波形を用いて前記ユーザの前記静止動作を検出してもよい。
この構成によれば、ユーザの移動動作及び静止動作を示す加速度センサの出力波形モデルが予め記憶され、加速度センサからの出力波形と、記憶されている出力波形モデルとが比較されることにより、容易かつ正確にユーザの移動動作及び静止動作を検出することができる。
本開示の他の態様に係る情報処理装置は、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得する取得部と、前記ユーザの移動動作を検出する移動動作検出部と、前記ユーザの静止動作を検出する静止動作検出部と、前記ユーザが静止した状態で所定時間が経過したか否かを判断する判断部と、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する通知部と、を備える。
ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。
本開示の他の態様に係る情報処理プログラムは、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知するようにコンピュータを機能させる。
ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態１）
図１は、本開示の実施の形態１における行動通知装置の構成を示す図である。図１に示す行動通知装置１は、マイク１０、センサ２０、メモリ３０、プロセッサ４０及びスピーカ５０を備える。
行動通知装置１は、例えばスマートフォンであり、ユーザに所持される。
メモリ３０は、例えば、半導体メモリであり、種々の情報を記憶する。メモリ３０は、音声記憶部２０１、動作モデル記憶部２０２及び発話音声記憶部２０３を備える。
マイク１０は、周辺の音声データを取得し、取得した音声データを音声記憶部２０１に記憶する。マイク１０は、周辺の音声を収音し、収音したアナログデータをデジタルデータに変換し、デジタルデータ化された音声データを音声記憶部２０１に記憶する。マイク１０は、例えばパルス符号変調（ＰＣＭ：Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等を用いてアナログの音声をデジタル化する。なお、本実施の形態１におけるマイク１０は、常時周辺の音声データを取得している。例えば、音声記憶部２０１の記憶容量は、予め決められており、音声記憶部２０１の記憶容量が一杯になると、古い音声データから順に新たな音声データに上書きされることが好ましい。
センサ２０は、例えば、３軸加速度センサであり、ユーザの前後方向であるＸ軸方向の加速度、ユーザの左右方向であるＹ軸方向の加速度及びユーザの上下方向であるＺ軸方向の加速度を測定する。ユーザは行動通知装置１を所持しているため、センサ２０は、ユーザのＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を検出することができる。
プロセッサ４０は、動作検出部１０１、発話音声取得部１０２、静止状態判断部１０３及び通知制御部１０４を備える。
動作検出部１０１は、センサ２０からの出力波形を用いて、ユーザの移動動作、ユーザの静止動作及びユーザの所定の動作を検出する。なお、本実施の形態１における所定の動作は、ユーザが座っている状態から立ち上がる立ち上がり動作である。動作検出部１０１は、立ち上がり動作検出部１１１、移動動作検出部１１２及び静止動作検出部１１３を備える。
立ち上がり動作検出部１１１は、センサ２０からの出力波形を用いてユーザの立ち上がり動作を検出する。
移動動作検出部１１２は、センサ２０からの出力波形を用いてユーザの移動動作を検出する。
静止動作検出部１１３は、センサ２０からの出力波形を用いてユーザの静止動作を検出する。
動作モデル記憶部２０２は、ユーザの移動動作を表す加速度の出力波形モデルと、ユーザの静止動作を表す加速度の出力波形モデルと、ユーザの立ち上がり動作を表す加速度の出力波形モデルとを予め記憶する。動作検出部１０１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている出力波形モデルとを比較することにより、ユーザの動作を検出する。すなわち、立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作を表す出力波形モデルとを比較することにより、ユーザの立ち上がり動作を検出する。また、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作を表す出力波形モデルとを比較することにより、ユーザの移動動作を検出する。さらに、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作を表す出力波形モデルとを比較することにより、ユーザの静止動作を検出する。
発話音声取得部１０２は、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２は、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。発話音声取得部１０２は、ユーザの所定の動作が検出されると、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、ユーザの所定の動作が検出された時点を含む所定の期間内におけるユーザが発話した音声データを発話音声データとして抽出する。なお、本実施の形態１における所定の動作は、ユーザが座っている状態から立ち上がる立ち上がり動作である。
発話音声記憶部２０３は、発話音声取得部１０２によって取得された発話音声データを記憶する。
静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。所定時間は、例えば５秒であり、ユーザが度忘れしてしまった行動を思い出そうと試みるための時間である。
通知制御部１０４は、静止状態判断部１０３によってユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容を通知する。通知制御部１０４は、発話音声記憶部２０３に記憶されている発話音声データを読み出し、発話音声データをスピーカ５０に出力させる。
スピーカ５０は、通知制御部１０４からの指示に従い、発話音声データを出力する。
ユーザが座っている状態から何らかの行動を行う際には、まず、ユーザは、次に行う行動の内容を発話し、立ち上がる動作を行う。例えば、椅子に座っているユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、「ジュースを飲みに行こう」と発話し、立ち上がる。そして、ユーザは、立ち上がった場所から目的の場所まで移動する。例えば、ユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、立ち上がった場所から冷蔵庫まで移動する。そして、ユーザは、目的の場所に到着すると、目的の場所で目的の行動を行う。例えば、ユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、冷蔵庫の前に到着すると、冷蔵庫からジュースを取り出し、取り出したジュースを飲む。このとき、ユーザは、冷蔵庫の前に到着した段階で、自身が何をするために冷蔵庫の前に来たのかを忘れてしまうことがある。特に、目的の行動を忘れてしまったユーザは、目的の場所に到着した時点で、自身が何をするために冷蔵庫の前に来たのかを思い出すため、しばらく静止する。そのため、ユーザが移動した後、所定時間静止した場合、ユーザが目的の行動を忘れてしまったと推定することができる。
このように、本実施の形態１の行動通知装置１は、ユーザが立ち上がった動作をトリガーとして、ユーザが立ち上がった時点の前後に発話した音声を記憶する。これは、ユーザが立ち上がった時点の前後に発話した音声が、ユーザが次に行う行動の内容を表している音声であると推定することができるためである。そして、行動通知装置１は、直近に考えた行動を忘れてしまったユーザの一連の動作を検出し、記憶しているユーザの発話した音声を出力することにより、ユーザが忘れてしまった行動の内容を通知する。
図２は、センサからの出力波形に対するユーザの動作を説明するための図である。
図２において、加速度センサであるセンサ２０は、Ｘ軸加速度、Ｙ軸加速度及びＺ軸加速度を出力する。図２に示すように、Ｘ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形は、ユーザが立ち上がり動作を行った場合、ユーザが移動動作を行った場合及びユーザが静止動作を行った場合でそれぞれ異なる。
動作モデル記憶部２０２は、ユーザの移動動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルと、ユーザの静止動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルと、ユーザの立ち上がり動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルとを予め記憶する。動作検出部１０１は、センサ２０からのＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形と、動作モデル記憶部２０２に予め記憶されているＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルとを比較することにより、ユーザの立ち上がり動作、移動動作及び静止動作をそれぞれ検出することができる。
続いて、本実施の形態１における行動通知装置１の動作について説明する。
図３は、本実施の形態１における行動通知装置の動作について説明するためのフローチャートである。
まず、ステップＳ１において、マイク１０は、周辺の音声データを取得する。マイク１０は、収音したアナログデータの音声をデジタルデータに変換し、デジタル化された音声データを音声記憶部２０１に記憶する。
次に、ステップＳ２において、立ち上がり動作検出部１１１は、ユーザの立ち上がり動作を検出したか否かを判断する。立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作の出力波形モデルとを比較する。そして、立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作の出力波形モデルとが一致する場合、ユーザの立ち上がり動作を検出する。ここで、ユーザの立ち上がり動作を検出していないと判断された場合（ステップＳ２でＮＯ）、ステップＳ１に処理が戻る。
一方、ユーザの立ち上がり動作を検出したと判断された場合（ステップＳ２でＹＥＳ）、ステップＳ３において、発話音声取得部１０２は、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。このとき、発話音声取得部１０２は、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、立ち上がり動作が検出された検出時点から所定時間前の第１時点から、当該検出時点から所定時間後の第２時点までの間の期間内におけるユーザが発話した発話区間を検出し、検出した発話区間の音声データを発話音声データとして抽出する。立ち上がり動作が行われたときに発せられたユーザの発話は、次に行うユーザの行動を示していると推定される。
次に、ステップＳ４において、発話音声取得部１０２は、取得した発話音声データを発話音声記憶部２０３に記憶する。
次に、ステップＳ５において、移動動作検出部１１２は、ユーザの移動動作を検出したか否かを判断する。移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとを比較する。そして、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとが一致する場合、ユーザの移動動作を検出する。
ここで、ユーザの移動動作を検出したと判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、静止動作検出部１１３は、ユーザの静止動作を検出したか否かを判断する。静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとを比較する。そして、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとが一致する場合、ユーザの静止動作を検出する。
ここで、ユーザの移動動作を検出していないと判断された場合（ステップＳ５でＮＯ）、又はユーザの静止動作を検出していないと判断された場合（ステップＳ６でＮＯ）、ステップＳ７において、移動動作検出部１１２は、ユーザの立ち上がり動作が検出された時刻から所定時間が経過したか否かを判断する。なお、ユーザの立ち上がり動作が検出された時刻は、メモリ３０に記憶されている。ここで、ユーザの立ち上がり動作が検出された時刻から所定時間が経過していないと判断された場合（ステップＳ７でＮＯ）、ステップＳ５に処理が戻る。
一方、ユーザの立ち上がり動作が検出された時刻から所定時間が経過したと判断された場合（ステップＳ７でＹＥＳ）、ステップＳ１に処理が戻る。
ステップＳ７の処理における所定時間は、タイムアウト時間である。ユーザの立ち上がり動作が検出されてから、所定時間が経過してもユーザの移動動作が検出されない場合、ステップＳ１に処理が戻る。また、ユーザの立ち上がり動作が検出されてから、所定時間が経過しても、ユーザの静止動作が検出されずにユーザの移動動作が検出され続けている場合、ステップＳ１に処理が戻る。
また、ユーザの静止動作を検出したと判断された場合（ステップＳ６でＹＥＳ）、ステップＳ８において、静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。なお、静止状態判断部１０３は、ユーザの静止動作が検出された時点から、ユーザの静止動作が検出され続けている時間を計測する。
ユーザが静止した状態で所定時間が経過していないと判断された場合（ステップＳ８でＮＯ）、すなわち、ユーザの静止動作が検出されてから所定時間が経過する前にユーザが動き出したと判断された場合、ステップＳ１に処理が戻る。
一方、ユーザが静止した状態で所定時間が経過したと判断された場合（ステップＳ８でＹＥＳ）、ステップＳ９において、通知制御部１０４は、発話音声記憶部２０３から発話音声データを読み出す。
次に、ステップＳ１０において、通知制御部１０４は、発話音声データをスピーカ５０から出力する。ユーザは、直近に思い付いた行動を度忘れした場合であっても、スピーカ５０から出力される発話音声を聞くことで、度忘れした行動を思い出すことができる。
このように、本実施の形態１では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。
なお、本実施の形態１では、通知制御部１０４は、発話音声データをスピーカ５０に出力させているが、本開示は特にこれに限定されず、通知制御部１０４は、発話音声データを文字データに変換し、変換した文字データを表示部に表示させてもよい。この場合、行動通知装置１は、スピーカ５０に替えて表示部を備える。
また、行動通知装置１は、スピーカ５０と表示部とを備えてもよく、通知制御部１０４は、発話音声データをスピーカ５０から出力するとともに、発話音声データから生成した文字データを表示部に表示してもよい。
また、本実施の形態１では、通知制御部１０４は、ユーザが発話した発話音声データをそのままスピーカ５０に出力させているが、本開示は特にこれに限定されず、通知制御部１０４は、発話音声データから名詞及び動詞の単語を抽出し、抽出した単語を組み合わせてユーザが次に行う予定の行動を通知する通知音声データを生成し、生成した通知音声データをスピーカ５０に出力させてもよい。例えば、発話音声データが「ジュースを飲みに行こう」であった場合、通知制御部１０４は、「ジュースを飲みに行くのではないですか」という通知音声データを生成してもよい。
また、本実施の形態１では、センサ２０は、加速度センサであるが、本開示は特にこれに限定されず、ユーザの動作、特に、ユーザの立ち上がり動作、移動動作及び静止動作を検出することが可能なセンサであれば、加速度センサに限定されない。センサ２０は、例えば、ユーザを撮影する画像センサであってもよい。この場合、動作検出部１０１は、画像センサによって取得された画像から、ユーザの動作を検出する。
（実施の形態２）
実施の形態１では、ユーザの立ち上がり動作が検出されたことをトリガーにして、発話音声データが取得されているが、ユーザが次に行う行動を思い付いた時点で、ユーザが必ずしも座っているとは限らない。そこで、実施の形態２では、ユーザの移動が開始されたことをトリガーにして、発話音声データが取得される。
図４は、本開示の実施の形態２における行動通知装置の構成を示す図である。図４に示す行動通知装置１Ａは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ａ及びスピーカ５０を備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
プロセッサ４０Ａは、動作検出部１０１Ａ、発話音声取得部１０２Ａ、静止状態判断部１０３及び通知制御部１０４を備える。
動作検出部１０１Ａは、センサ２０からの出力波形を用いて、ユーザの移動動作、ユーザの静止動作及びユーザの所定の動作を検出する。なお、本実施の形態２における所定の動作は、ユーザの移動動作である。動作検出部１０１Ａは、移動動作検出部１１２及び静止動作検出部１１３を備える。
発話音声取得部１０２Ａは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２Ａは、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。発話音声取得部１０２Ａは、ユーザの所定の動作が検出されると、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、ユーザの所定の動作が検出された時点を含む所定の期間内におけるユーザが発話した音声データを発話音声データとして抽出する。なお、本実施の形態２における所定の動作は、ユーザが移動する移動動作である。
続いて、本実施の形態２における行動通知装置１Ａの動作について説明する。
図５は、本実施の形態２における行動通知装置の動作について説明するためのフローチャートである。
まず、ステップＳ２１の処理は、図３のステップＳ１の処理と同じであるので、説明を省略する。
次に、ステップＳ２２において、移動動作検出部１１２は、ユーザの移動動作を検出したか否かを判断する。移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとを比較する。そして、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとが一致する場合、ユーザの移動動作を検出する。
ここで、ユーザの移動動作を検出していないと判断された場合（ステップＳ２２でＮＯ）、ステップＳ２１に処理が戻る。
一方、ユーザの移動動作を検出したと判断された場合（ステップＳ２２でＹＥＳ）、ステップＳ２３において、発話音声取得部１０２Ａは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。このとき、発話音声取得部１０２Ａは、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、移動動作が検出された検出時点から所定時間前の第１時点から、当該検出時点から所定時間後の第２時点までの間の期間内におけるユーザが発話した発話区間を検出し、検出した発話区間の音声データを発話音声データとして抽出する。移動動作が行われたときに発せられたユーザの発話は、次に行うユーザの行動を示していると推定される。
なお、ステップＳ２３及びステップＳ２４の処理は、図３のステップＳ３及びステップＳ４の処理と同じであるので、説明を省略する。
次に、ステップＳ２５において、静止動作検出部１１３は、ユーザの静止動作を検出したか否かを判断する。静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとを比較する。そして、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとが一致する場合、ユーザの静止動作を検出する。
ここで、ユーザの静止動作を検出していないと判断された場合（ステップＳ２５でＮＯ）、ステップＳ２６において、移動動作検出部１１２は、ユーザの移動動作が検出された時刻から所定時間が経過したか否かを判断する。なお、ユーザの移動動作が検出された時刻は、メモリ３０に記憶されている。ここで、ユーザの移動動作が検出された時刻から所定時間が経過していないと判断された場合（ステップＳ２６でＮＯ）、ステップＳ２５に処理が戻る。
一方、ユーザの移動動作が検出された時刻から所定時間が経過したと判断された場合（ステップＳ２６でＹＥＳ）、ステップＳ２１に処理が戻る。
ステップＳ２６の処理における所定時間は、タイムアウト時間である。ユーザの移動動作が検出されてから、所定時間が経過しても、ユーザの静止動作が検出されずにユーザの移動動作が検出され続けている場合、ステップＳ２１に処理が戻る。なお、本実施の形態２では、ステップＳ２２でユーザの移動動作が既に検出されているので、ステップＳ２５でユーザの静止動作が検出されるまでは、ユーザの移動動作が検出され続けている。
また、ユーザの静止動作を検出したと判断された場合（ステップＳ２５でＹＥＳ）、ステップＳ２７において、静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。
なお、ステップＳ２７～ステップＳ２９の処理は、図３のステップＳ８～ステップＳ１０の処理と同じであるので、説明を省略する。
このように、本実施の形態２では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態２では、ユーザの移動が開始されたことをトリガーにして、発話音声データを取得することができる。
（実施の形態３）
実施の形態１及び２では、ユーザの立ち上がり動作及び移動動作が検出されたことをトリガーにして、発話音声データが取得されているが、実施の形態３では、音声データが音声認識され、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、発話音声データが取得される。
図６は、本開示の実施の形態３における行動通知装置の構成を示す図である。図６に示す行動通知装置１Ｂは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ｂ及びスピーカ５０を備える。なお、本実施の形態３において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
プロセッサ４０Ｂは、動作検出部１０１Ｂ、発話音声取得部１０２Ｂ、静止状態判断部１０３、通知制御部１０４及び音声認識部１０５を備える。
動作検出部１０１Ｂは、センサ２０からの出力波形を用いて、ユーザの移動動作及びユーザの静止動作を検出する。動作検出部１０１Ｂは、移動動作検出部１１２及び静止動作検出部１１３を備える。
音声認識部１０５は、音声記憶部２０１に記憶されている音声データを音声認識する。音声認識部１０５は、デジタル化された音声データに対してメモリ３０内に記憶された音響モデル及び言語モデルを用いた公知の音声認識処理を実行することにより、音声データが示す音声に含まれている人物の発話の音声を検知し、音声データを当該発話の内容を表すテキストデータに変換する。なお、音声認識部１０５は、クラウドサーバ上に記憶された音響モデル及び言語モデルを利用してもよい。音響モデルは、音の波形サンプルを保持しており、言語モデルは、所定の言語の単語の並び方といった言葉の情報を保持している。クラウドサーバ上に記憶された音響モデル及び言語モデルを利用する場合は、行動通知装置１Ｂは、デジタル化された音声データをクラウドサーバに送信し、クラウドサーバ上で変換されたテキストデータを受信する。
発話音声取得部１０２Ｂは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２Ｂは、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。
より具体的には、発話音声取得部１０２Ｂは、音声認識部１０５によって音声認識された音声データの中にユーザの行動を示す発話音声データが含まれている場合、メモリ３０に記憶されている音声データの中から発話音声データを抽出する。ここで、メモリ３０は、ユーザがこれから何らかの目的を達成するための行動を行おうとしていることを表す複数の文言を含むデータベースを記憶している。発話音声取得部１０２Ｂは、音声認識部１０５によって音声データから変換したテキストデータと、メモリ３０が記憶しているデータベース内の文言とを比較する。発話音声取得部１０２Ｂは、データベース内の文言と一致する文言を含むテキストデータが存在する場合、当該テキストデータに対応する音声データを発話音声データとして抽出する。
例えば、データベースが「行こう」という文言を記憶しており、ユーザが「ジュースを飲みに行こう」と発話した場合、「ジュースを飲みに行こう」というテキストデータには「行こう」という文言が含まれているので、発話音声取得部１０２Ｂは、「ジュースを飲みに行こう」という音声データを発話音声データとして抽出する。
続いて、本実施の形態３における行動通知装置１Ｂの動作について説明する。
図７は、本実施の形態３における行動通知装置の動作について説明するための第１のフローチャートであり、図８は、本実施の形態３における行動通知装置の動作について説明するための第２のフローチャートである。
まず、ステップＳ４１の処理は、図３のステップＳ１の処理と同じであるので、説明を省略する。
次に、ステップＳ４２において、音声認識部１０５は、メモリ３０の音声記憶部２０１に記憶されている音声データを音声認識する。
次に、ステップＳ４３において、発話音声取得部１０２Ｂは、音声認識部１０５によって音声認識された音声データの中にユーザの行動を示す発話音声データが含まれているか否かを判断する。ここで、音声データの中にユーザの行動を示す発話音声データが含まれていないと判断された場合（ステップＳ４３でＮＯ）、ステップＳ４１に処理が戻る。
一方、音声データの中にユーザの行動を示す発話音声データが含まれていると判断された場合（ステップＳ４３でＹＥＳ）、ステップＳ４４において、発話音声取得部１０２Ｂは、音声記憶部２０１に記憶されている音声データの中から、ユーザの行動を示す発話音声データを取得する。
次に、ステップＳ４５において、発話音声取得部１０２Ｂは、取得した発話音声データを発話音声記憶部２０３に記憶する。
なお、ステップＳ４６～ステップＳ５１の処理は、図３のステップＳ５～ステップＳ１０の処理と同じであるので、説明を省略する。
このように、本実施の形態３では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態３では、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、発話音声データを取得することができる。
（実施の形態４）
実施の形態１では、ユーザの立ち上がり動作が検出された時点で取得された発話音声データがスピーカから出力されるが、本実施の形態４では、ユーザが静止した状態で所定時間が経過したと判断された場合に、ユーザの立ち上がり動作が検出された時点で取得された発話音声データが音声認識され、音声認識された発話音声データがユーザに通知すべき発話音声データである場合に、当該発話音声データがスピーカから出力される。
図９は、本開示の実施の形態４における行動通知装置の構成を示す図である。図９に示す行動通知装置１Ｃは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ｃ及びスピーカ５０を備える。なお、本実施の形態４において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。
プロセッサ４０Ｃは、動作検出部１０１、発話音声取得部１０２、静止状態判断部１０３、通知制御部１０４Ｃ、音声認識部１０６及び発話音声判断部１０７を備える。
音声認識部１０６は、発話音声記憶部２０３に記憶されている発話音声データを音声認識する。音声認識部１０６は、デジタル化された発話音声データに対してメモリ３０内に記憶された音響モデル及び言語モデルを用いた公知の音声認識処理を実行することにより、発話音声データが示す音声に含まれている人物の発話の音声を検知し、発話音声データを当該発話の内容を表すテキストデータに変換する。なお、音声認識部１０６は、クラウドサーバ上に記憶された音響モデル及び言語モデルを利用してもよい。音響モデルは、音の波形サンプルを保持しており、言語モデルは、所定の言語の単語の並び方といった言葉の情報を保持している。クラウドサーバ上に記憶された音響モデル及び言語モデルを利用する場合は、行動通知装置１Ｃは、デジタル化された発話音声データをクラウドサーバに送信し、クラウドサーバ上で変換されたテキストデータを受信する。
発話音声判断部１０７は、発話音声データが、ユーザに通知すべき発話音声データであるか否かを判断する。
より具体的には、メモリ３０は、ユーザがこれから何らかの目的を達成するための行動を行おうとしていることを表す複数の文言を含むデータベースを記憶している。発話音声判断部１０７は、音声認識部１０６によって発話音声データから変換したテキストデータと、メモリ３０が記憶しているデータベース内の文言とを比較する。発話音声判断部１０７は、テキストデータに含まれる文言がデータベース内の文言と一致する場合、発話音声データが、ユーザに通知すべき発話音声データであると判断する。一方、発話音声判断部１０７は、テキストデータに含まれる文言がデータベース内の文言と一致しない場合、発話音声データが、ユーザに通知すべき発話音声データではないと判断する。
例えば、データベースが「行こう」という文言を記憶しており、ユーザが「ジュースを飲みに行こう」と発話した場合、「ジュースを飲みに行こう」というテキストデータには「行こう」という文言が含まれているので、発話音声判断部１０７は、「ジュースを飲みに行こう」という発話音声データが、ユーザに通知すべき発話音声データであると判断する。
通知制御部１０４Ｃは、静止状態判断部１０３によってユーザが静止した状態で所定時間が経過したと判断され、かつ発話音声判断部１０７によって発話音声データが、ユーザに通知すべき発話音声データであると判断された場合、発話音声データに基づいて、ユーザの行動の内容を通知する。この場合、通知制御部１０４Ｃは、発話音声データをスピーカ５０に出力させる。
続いて、本実施の形態４における行動通知装置１Ｃの動作について説明する。
図１０は、本実施の形態４における行動通知装置の動作について説明するための第１のフローチャートであり、図１１は、本実施の形態４における行動通知装置の動作について説明するための第２のフローチャートである。
まず、ステップＳ６１～ステップＳ６８の処理は、図３のステップＳ１～ステップＳ８の処理と同じであるので、説明を省略する。
ユーザが静止した状態で所定時間が経過したと判断された場合（ステップＳ６８でＹＥＳ）、ステップＳ６９において、音声認識部１０６は、発話音声記憶部２０３から発話音声データを読み出す。
次に、ステップＳ７０において、音声認識部１０６は、発話音声記憶部２０３から読み出した発話音声データを音声認識する。
次に、ステップＳ７１において、発話音声判断部１０７は、音声認識部１０６によって音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かを判断する。ここで、音声認識された発話音声データが、ユーザに通知すべき発話音声データではないと判断された場合（ステップＳ７１でＮＯ）、ステップＳ１に処理が戻る。
一方、音声認識された発話音声データが、ユーザに通知すべき発話音声データであると判断された場合（ステップＳ７１でＹＥＳ）、ステップＳ７２において、通知制御部１０４Ｃは、発話音声データをスピーカ５０から出力する。
このように、本実施の形態４では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態４では、ユーザの所定の動作が検出されたことをトリガーにして取得された発話音声データが、ユーザに通知すべき発話音声データである場合に、発話音声データに基づいて、ユーザの行動の内容が通知されるので、不要な情報がユーザに通知されるのを防止することができ、必要な情報のみをユーザに通知することができる。
なお、本実施の形態４では、ユーザが静止した状態で所定時間が経過したと判断された場合に、発話音声記憶部２０３に記憶されている発話音声データが音声認識され、音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かが判断されるが、本開示は特にこれに限定されず、ユーザの立ち上がり動作が検出された場合に、取得された発話音声データが音声認識され、音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かが判断されてもよい。そして、音声認識された発話音声データが、ユーザに通知すべき発話音声データであると判断された場合に、当該発話データが発話音声記憶部２０３に記憶され、音声認識された発話音声データが、ユーザに通知すべき発話音声データではないと判断された場合に、ステップＳ１に処理が戻ってもよい。
また、本実施の形態１～４では、行動通知装置１，１Ａ，１Ｂ，１Ｃは、例えばスマートフォンであり、全ての構成を備えているが、本開示は特にこれに限定されず、行動通知システムが、マイク１０、スピーカ５０及び通信部を備える端末装置と、メモリ３０、プロセッサ４０，４０Ａ，４０Ｂ，４０Ｃ及び通信部を備えるサーバと、センサ２０及び通信部を備える測定装置とを備えてもよい。この場合、サーバは、端末装置及び測定装置と互いに通信可能に接続されてもよい。また、端末装置は、ユーザの住居内に設置され、マイク１０によって取得された音声データをサーバへ送信する。測定装置は、ユーザによって所持され、センサ２０によって測定されたセンシングデータをサーバへ送信する。サーバは、発話音声データを端末装置へ送信する。端末装置は、受信した発話音声データをスピーカ５０から出力する。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
本開示に係る情報処理方法、情報処理装置及び情報処理プログラムは、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができるので、ユーザが忘れてしまった行動を通知する情報処理方法、情報処理装置及び情報処理プログラムとして有用である。
１，１Ａ，１Ｂ，１Ｃ 行動通知装置
１０ マイク
２０ センサ
３０ メモリ
４０，４０Ａ，４０Ｂ，４０Ｃ プロセッサ
５０ スピーカ
１０１，１０１Ａ，１０１Ｂ 動作検出部
１０２，１０２Ａ，１０２Ｂ 発話音声取得部
１０３ 静止状態判断部
１０４，１０４Ｃ 通知制御部
１０５，１０６ 音声認識部
１０７ 発話音声判断部
１１１ 立ち上がり動作検出部
１１２ 移動動作検出部
１１３ 静止動作検出部
２０１ 音声記憶部
２０２ 動作モデル記憶部
２０３ 発話音声記憶部

Claims (9)

  1. コンピュータが、
    ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、
    前記ユーザの移動動作を検出し、
    前記ユーザの静止動作を検出し、
    前記ユーザが静止した状態で所定時間が経過したか否かを判断し、
    前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知し、
    周辺の音声データを取得し、
    前記音声データをメモリに記憶し、
    前記ユーザの所定の動作を検出し、
    前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
    情報処理方法。
  2. 前記所定の動作は、前記ユーザの立ち上がり動作である、
    請求項１記載の情報処理方法。
  3. 前記所定の動作は、前記ユーザの移動動作である、
    請求項１記載の情報処理方法。
  4. 前記行動の内容の通知は、前記発話音声データをスピーカに出力させる、
    請求項１～３のいずれか１項に記載の情報処理方法。
  5. 前記行動の内容の通知は、前記発話音声データを文字データに変換し、変換した前記文字データを表示部に表示させる、
    請求項１～３のいずれか１項に記載の情報処理方法。
  6. さらに、前記発話音声データが、前記ユーザに通知すべき発話音声データであるか否かを判断し、
    前記行動の内容の通知は、前記ユーザが静止した状態で前記所定時間が経過したと判断され、かつ前記発話音声データが、前記ユーザに通知すべき発話音声データであると判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する、
    請求項１～５のいずれか１項に記載の情報処理方法。
  7. 前記移動動作の検出は、加速度センサからの出力波形を用いて前記ユーザの前記移動動作を検出し、
    前記静止動作の検出は、前記加速度センサからの出力波形を用いて前記ユーザの前記静止動作を検出する、
    請求項１～６のいずれか１項に記載の情報処理方法。
  8. ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得する取得部と、
    前記ユーザの移動動作を検出する移動動作検出部と、
    前記ユーザの静止動作を検出する静止動作検出部と、
    前記ユーザが静止した状態で所定時間が経過したか否かを判断する判断部と、
    前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する通知部と、
    周辺の音声データを取得し、前記音声データをメモリに記憶する音声データ取得部と、
    前記ユーザの所定の動作を検出する所定動作検出部と、
    を備え、
    前記取得部は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
    情報処理装置。
  9. ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、
    前記ユーザの移動動作を検出し、
    前記ユーザの静止動作を検出し、
    前記ユーザが静止した状態で所定時間が経過したか否かを判断し、
    前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知し、
    周辺の音声データを取得し、
    前記音声データをメモリに記憶し、
    前記ユーザの所定の動作を検出するようにコンピュータを機能させ、
    前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
    情報処理プログラム。
JP2018191600A 2018-10-10 2018-10-10 情報処理方法、情報処理装置及び情報処理プログラム Active JP7241499B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018191600A JP7241499B2 (ja) 2018-10-10 2018-10-10 情報処理方法、情報処理装置及び情報処理プログラム
US16/589,477 US11170753B2 (en) 2018-10-10 2019-10-01 Information processing method, information processing device, and computer-readable recording medium recording information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018191600A JP7241499B2 (ja) 2018-10-10 2018-10-10 情報処理方法、情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020060933A JP2020060933A (ja) 2020-04-16
JP7241499B2 true JP7241499B2 (ja) 2023-03-17

Family

ID=70161519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191600A Active JP7241499B2 (ja) 2018-10-10 2018-10-10 情報処理方法、情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US11170753B2 (ja)
JP (1) JP7241499B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016370962B2 (en) 2015-12-16 2020-09-24 6K Inc. Spheroidal dehydrogenated metals and metal alloy particles
JP2022530648A (ja) 2019-04-30 2022-06-30 シックスケー インコーポレイテッド 機械的に合金化された粉末原料
AU2020400980A1 (en) 2019-11-18 2022-03-31 6K Inc. Unique feedstocks for spherical powders and methods of manufacturing
JP2023532457A (ja) 2020-06-25 2023-07-28 シックスケー インコーポレイテッド 微細複合合金構造体
CA3186082A1 (en) 2020-09-24 2022-03-31 6K Inc. Systems, devices, and methods for starting plasma
CA3196653A1 (en) 2020-10-30 2022-05-05 Sunil Bhalchandra BADWE Systems and methods for synthesis of spheroidized metal powders
CN113050855B (zh) * 2021-03-15 2022-09-23 广东小天才科技有限公司 一种信息输出方法及终端设备
WO2022212291A1 (en) 2021-03-31 2022-10-06 6K Inc. Systems and methods for additive manufacturing of metal nitride ceramics
US12040162B2 (en) 2022-06-09 2024-07-16 6K Inc. Plasma apparatus and methods for processing feed material utilizing an upstream swirl module and composite gas flows
WO2024044498A1 (en) 2022-08-25 2024-02-29 6K Inc. Plasma apparatus and methods for processing feed material utilizing a powder ingress preventor (pip)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004922A1 (en) 2008-07-01 2010-01-07 International Business Machines Corporation Method and system for automatically generating reminders in response to detecting key terms within a communication
US20120265535A1 (en) 2009-09-07 2012-10-18 Donald Ray Bryant-Rich Personal voice operated reminder system
US20160118044A1 (en) 2014-10-27 2016-04-28 MYLE Electronics Corp. Mobile thought catcher system
US20160358451A1 (en) 2015-06-05 2016-12-08 Apple Inc. Smart location-based reminders
JP2017142833A (ja) 2011-06-03 2017-08-17 アップル インコーポレイテッド 実行するタスクに関するトリガー通知
US20180182229A1 (en) 2015-09-21 2018-06-28 Boe Technology Group Co., Ltd. Wearable device, monitoring method and intelligent monitoring system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040019603A1 (en) * 2002-05-29 2004-01-29 Honeywell International Inc. System and method for automatically generating condition-based activity prompts
JP2007213315A (ja) 2006-02-09 2007-08-23 Kenwood Corp 生活補助装置、生活補助方法及びプログラム
CA2648706A1 (en) * 2006-04-20 2007-11-01 Iq Life, Inc. Monitoring system
US9319843B2 (en) * 2013-02-28 2016-04-19 Sap Se Adaptive acceleration-based reminders
US20160335139A1 (en) * 2015-05-11 2016-11-17 Google Inc. Activity triggers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004922A1 (en) 2008-07-01 2010-01-07 International Business Machines Corporation Method and system for automatically generating reminders in response to detecting key terms within a communication
US20120265535A1 (en) 2009-09-07 2012-10-18 Donald Ray Bryant-Rich Personal voice operated reminder system
JP2017142833A (ja) 2011-06-03 2017-08-17 アップル インコーポレイテッド 実行するタスクに関するトリガー通知
US20160118044A1 (en) 2014-10-27 2016-04-28 MYLE Electronics Corp. Mobile thought catcher system
US20160358451A1 (en) 2015-06-05 2016-12-08 Apple Inc. Smart location-based reminders
US20180182229A1 (en) 2015-09-21 2018-06-28 Boe Technology Group Co., Ltd. Wearable device, monitoring method and intelligent monitoring system

Also Published As

Publication number Publication date
US20200118540A1 (en) 2020-04-16
US11170753B2 (en) 2021-11-09
JP2020060933A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
JP7241499B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
US10516938B2 (en) System and method for assessing speaker spatial orientation
WO2016136062A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11837249B2 (en) Visually presenting auditory information
JP6502249B2 (ja) 音声認識方法及び音声認識装置
KR20160127165A (ko) 디지털 어시스턴트를 위한 음성 트리거
JP2018097185A (ja) 音声対話装置、音声対話方法、音声対話プログラム及びロボット
WO2014122416A1 (en) Emotion analysis in speech
US10303436B2 (en) Assistive apparatus having accelerometer-based accessibility
JP5189858B2 (ja) 音声認識装置
JP7330066B2 (ja) 音声認識装置、音声認識方法及びそのプログラム
JP6258172B2 (ja) 音情報処理装置及びシステム
US20190138095A1 (en) Descriptive text-based input based on non-audible sensor data
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
EP3340240B1 (en) Information processing device, information processing method, and program
US10963548B2 (en) Information acquisition device, information acquisition system, and information acquisition method
WO2019181008A1 (ja) 対話支援装置、対話支援方法、およびプログラム
JPWO2019207918A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP3846500B2 (ja) 音声認識対話装置および音声認識対話処理方法
JP2011180416A (ja) 音声合成装置、音声合成方法およびカーナビゲーションシステム
JP5476760B2 (ja) コマンド認識装置
EP3742301A1 (en) Information processing device and information processing method
JP2005283646A (ja) 音声認識率推定装置
US20240119930A1 (en) Artificial intelligence device and operating method thereof
JP7449070B2 (ja) 音声入力装置、音声入力方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230307

R150 Certificate of patent or registration of utility model

Ref document number: 7241499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150