JP2022122727A - Business support method and system, and program - Google Patents
Business support method and system, and program Download PDFInfo
- Publication number
- JP2022122727A JP2022122727A JP2021020159A JP2021020159A JP2022122727A JP 2022122727 A JP2022122727 A JP 2022122727A JP 2021020159 A JP2021020159 A JP 2021020159A JP 2021020159 A JP2021020159 A JP 2021020159A JP 2022122727 A JP2022122727 A JP 2022122727A
- Authority
- JP
- Japan
- Prior art keywords
- information
- wake word
- word
- record
- care
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000010365 information processing Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000000474 nursing effect Effects 0.000 description 54
- 238000003860 storage Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000029142 excretion Effects 0.000 description 6
- 235000012054 meals Nutrition 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 244000205754 Colocasia esculenta Species 0.000 description 1
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は、業務支援方法、装置、及びプログラムに関する。 The present invention relates to a business support method, device, and program.
従来、音声を利用して業務を支援するシステムが知られている。このようなシステムとして、介護者が発する被介護者の介護業務に係る音声データを取得する音声取得手段と、前記音声取得手段によって取得した前記音声データを認識し、テキストデータに変換する音声認識・テキスト変換手段と、前記音声認識・テキスト変換手段によって前記音声データから変換されたテキストデータに基づいて介護記録を作成する介護記録作成手段と、前記介護記録作成手段によって作成された前記介護記録を表示して介護者による確認を可能とする表示手段と、前記表示手段に表示された前記介護記録の、介護者による必要に応じた修正を可能とする修正手段と、介護者による確認と必要に応じた修正とが完了した状態の前記介護記録を最終的に確定させる確定手段と、前記音声データと、前記音声データから変換されたテキストデータと、前記確定手段によって確定された前記介護記録に最終的に採用されたテキストデータと、に基づいて、前記音声認識・テキスト変換手段におけるテキスト変換機能の学習を行う音声データ学習手段と、を備えることを特徴とする介護記録作成支援システムが提案されている。 2. Description of the Related Art Conventionally, a system that uses voice to support business is known. As such a system, there are voice acquisition means for acquiring voice data related to the nursing work of the care recipient uttered by the caregiver, and voice recognition/recognition/recognition for recognizing the voice data acquired by the voice acquisition means and converting it into text data. text conversion means; nursing care record creation means for creating a care record based on the text data converted from the voice data by the speech recognition/text conversion means; and displaying the care record created by the care record creation means. display means for enabling confirmation by a caregiver by doing so, correction means for enabling the caregiver to correct the care record displayed on the display means as necessary, confirmation by the caregiver and, if necessary, confirmation means for finally confirming the care record in a state in which the correction is completed, the voice data, text data converted from the voice data, and the care record confirmed by the determination means and a speech data learning means for learning the text conversion function of the speech recognition/text conversion means based on the text data adopted in the nursing care record creation support system. .
上記従来のシステムでは、介護者は、直接的に記録内容を発話しなければ介護記録を作成できない。このため、被介護者の前で直接的に記録内容を発話することが適切でない介護記録を作成することが困難である。 In the above-described conventional system, the caregiver cannot create a care record without directly speaking the content of the record. For this reason, it is difficult to create a care record in which it is not appropriate to directly speak the content of the record in front of the cared person.
本発明は、上記の課題を鑑みてなされたものであり、直接的に記録内容を発話することなく作業の記録を作成可能とすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to create a work record without directly uttering the contents of the record.
一実施形態にかかる業務支援方法は、音声情報を取得する取得処理と、前記音声情報からウェイクワードを検出するウェイクワード検出処理と、前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、を含む。 A business support method according to one embodiment comprises an acquisition process of acquiring voice information, a wake word detection process of detecting a wake word from the voice information, and converting the voice information into text information when the wake word is detected. a text conversion process, a substitute word detection process for detecting a pre-registered substitute word from the text information, and a record creation process for creating a record including the content of the work corresponding to the substitute word.
一実施形態によれば、直接的に記録内容を発話することなく作業の記録を作成可能とすることができる。 According to one embodiment, it is possible to create a work record without directly speaking the contents of the record.
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
<システム構成>
まず、本実施形態に係る業務支援システム(以下「支援システム」という。)の概要について説明する。本実施形態に係る業務支援システムは、作業を実施する作業者の業務を支援する情報処理システムである。作業者の業務は、作業自体だけでなく、実施した作業の記録や関係者とのメッセージのやり取りなどの、作業の周辺業務を含む。支援システムは、主としてこの周辺業務を支援する。
<System configuration>
First, an overview of a business support system (hereinafter referred to as "support system") according to the present embodiment will be described. A business support system according to the present embodiment is an information processing system that supports the business of a worker who carries out work. The work of the worker includes not only the work itself but also work peripheral to the work, such as recording the work performed and exchanging messages with related parties. The support system mainly supports this peripheral work.
具体的には、支援システムは、作業者が発話した音声の音声情報を取得し、取得した音声情報からウェイクワードを検出し、検出したウェイクワードに応じた処理(以下「ウェイクワード処理」という。)を実行する。支援システムは、ウェイクワード処理として、例えば、作業者が実施した作業の記録の作成、作業者への記録の通知、作業者から他者へのメッセージの送信、被作業者に関する申し送り事項の登録などを行う。これにより、作業者は、ウェイクワードを含む音声を発話するだけで、各種の業務を実施することができる。 Specifically, the support system acquires voice information of the voice uttered by the worker, detects a wake word from the acquired voice information, and performs processing according to the detected wake word (hereinafter referred to as "wake word processing". ). As wake word processing, the support system can, for example, create a record of the work performed by the worker, notify the worker of the record, send a message from the worker to another person, register a message regarding the worker, etc. I do. As a result, the worker can perform various tasks simply by uttering a voice including the wake word.
以下では、支援システムが介護業務を支援する介護業務支援システムである場合を例に説明するが、本実施形態に係る支援システムは、任意の業種で利用可能である。 A case where the support system is a care work support system that supports care work will be described below as an example, but the support system according to this embodiment can be used in any industry.
図1は、本実施形態に係る支援システムの構成の一例を示す図である。図1の支援システムは、ネットワークNを介して相互に通信可能に接続された、インカム(インターカム)1と、ユーザ端末2と、介護業務支援装置3(以下「支援装置3」という。)と、介護システム4と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図1の例では、支援システムは、インカム1、ユーザ端末2、支援装置3、及び介護システム4をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
FIG. 1 is a diagram showing an example of the configuration of a support system according to this embodiment. The support system of FIG. 1 includes an
インカム1は、ユーザが発話した音声の音声情報を取得する情報処理装置である。インカム1は、例えば、インカムであるが、これに限られない。インカム1は、ユーザ端末2と通信可能であり、かつ、マイク及びスピーカを備えた、任意の装置であり得る。
The
ユーザは、インカム1を装着して利用する任意の作業者であり、例えば、介護施設の従業者である介護者であるが、これに限られない。ユーザは、インカム1を装着した状態で介護業務を実施する。インカム1を装着したユーザが発話すると、インカム1は、ユーザが発話した音声をマイクで集音し、集音した音声の音声情報を取得し、取得した音声情報をユーザ端末2に送信する。
The user is any worker who wears and uses the
ユーザ端末2は、ユーザが発話した音声の音声情報からウェイクワードを検出する情報処理装置である。ユーザ端末2は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、又はスマートスピーカであるが、これに限られない。ユーザ端末2は、ユーザに携帯されてもよいし、介護施設に設置されてもよい。以下、ユーザ端末2は、ユーザが携帯するスマートフォンである場合を例に説明する。
The
ユーザ端末2は、インカム1から音声情報を受信し、音声情報からウェイクワードを検出する。ウェイクワードは、以降の処理を開始させるために予め設定された音声コマンドである。本実施形態において、支援システムには、4種類のウェイクワードが設定される。以下、各ウェイクワードをそれぞれ第1ウェイクワード、第2ウェイクワード、第3ウェイクワード、及び第4ウェイクワードと称する。第1ウェイクワードは「完了」、第2ウェイクワードは「確認」、第3ウェイクワードは「送信」、及び第4ウェイクワードは「申し送り」であるものとする。ユーザ端末2は、いずれかのウェイクワードを検出すると、音声情報をテキスト情報に変換し、得られたテキスト情報等の情報を、支援装置3に送信する。なお、支援システムに設定されるウェイクワード及びウェイクワードの種類は、任意である。
The
支援装置3は、ユーザが発話したウェイクワード処理を実行する情報処理装置である。支援装置3は、例えば、PC、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせであるが、これに限られない。
The
支援装置3は、ユーザ端末2からテキスト情報等を受信し、受信したテキスト情報に基づいて対象を特定し、特定した対象及びテキスト情報に対応するウェイクワード処理を実行する。また、支援装置3は、介護システム4と連携し、介護システム4への介護記録の登録や介護システム4からの介護記録の取得を実行する。支援装置3について、詳しくは後述する。
The
介護システム4は、介護施設における介護業務を管理するシステムである。介護システム4は、例えば、PC、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせであるが、これに限られない。介護システム4は、例えば、介護施設の利用者及び従業者に関する情報の管理、介護報酬の請求、介護記録の保存、介護業務の管理、介護施設の従業者の出退勤管理、ケアプランの管理などの機能を備える。
なお、介護業務支援システムの構成は、上記の例に限られない。例えば、ユーザ端末2は、インカム1として機能してもよい。また、介護業務支援装置3は、介護システム4に組み込まれてもよい。
The configuration of the care work support system is not limited to the above example. For example, the
<ハードウェア構成>
次に、情報処理装置のハードウェア構成について説明する。図2は、情報処理装置100のハードウェア構成の一例を示す図である。図2に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、入力装置106と、出力装置107と、ドライブ装置108と、を備える。
<Hardware configuration>
Next, the hardware configuration of the information processing device will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the
プロセッサ101は、ストレージ103に記憶されたプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101がプログラムを実行することにより、情報処理装置100の機能が実現される。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。
The
メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、MRAM(Magnetoresistive RAM)、又はこれらの組み合わせである。
The
ストレージ103は、OS等のプログラム及び各種のデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。
The
通信I/F104は、情報処理装置100を、ネットワークNを介して、外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信(例えば、Fibre Channel)に準拠したアダプタであるが、これに限られない。
The communication I/
入出力I/F105は、情報処理装置100に入力装置106及び出力装置107を接続するためのインタフェースである。
The input/output I/
入力装置106は、ユーザUの操作を受け付け、受け付けた操作に応じた情報を情報処理装置100に入力するための装置である。入力装置106は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。
The
出力装置107は、情報処理装置100が保持した各種の情報を出力する装置である。出力装置107は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。
The
ドライブ装置108は、ディスクメディア109のデータを読み書きする。ドライブ装置108は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。
The
ディスクメディア109は、情報を記録したディスク状の記録媒体である。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。
The
なお、情報処理装置100のハードウェア構成は、上記の例に限られない。情報処理装置100は、上記のハードウェア機能構成の一部を備えてもよいし、上記以外のハードウェア構成を備えてもよい。
Note that the hardware configuration of the
また、各種のプログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。
Further, various programs may be written in the
<ユーザ端末2の機能構成>
次に、ユーザ端末2の機能構成について説明する。図3は、ユーザ端末2の機能構成の一例を示す図である。図3に示すように、ユーザ端末2は、通信部21と、記憶部22と、制御部23と、を備える。
<Functional Configuration of
Next, the functional configuration of the
通信部21は、通信I/Fにより実現される。通信部21は、ネットワークNを介して、インカム1及び支援装置3との間で情報の送受信を行う。具体的には、通信部21は、インカム1から音声情報を受信し、支援装置3にテキスト情報等を送信する。
The
記憶部22は、メモリ102及びストレージ103により実現される。記憶部22は、音声情報221と、テキスト情報222と、を記憶する。
The
音声情報221は、インカム1から受信したユーザの音声情報である。音声情報221は、インカム1からの受信時刻と対応づけて記憶される。音声情報221は、所定の第1期間だけ記憶される。第1期間は、後述する第2期間より長い期間である。
The
テキスト情報222は、音声情報221を変換して得られたテキスト情報である。テキスト情報222は、変換元の音声情報221と対応づけて記憶される。
The
制御部23は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部23は、取得部231と、ウェイクワード検出部232と、テキスト化部233と、を備える。
The
取得部231は、インカム1から音声情報221を取得し、取得した音声情報221を受信時刻と対応づけて記憶部22に保存する。
The
ウェイクワード検出部232は、音声情報221からウェイクワードを検出する。ウェイクワード検出部232は、例えば、ウェイクワードを発話した音声の時間領域又は周波数領域の音声情報を機械学習した検出モデルを利用して、ウェイクワードを検出する。検出モデルは、例えば、DNN(Deep Neural Network)やCNN(Convolutional Neural Network)などのニューラルネットワーク、SVM(Support Vector Machine)、GMM(Gaussian Mixture Model)、又はこれらの組み合わせであるが、これに限られない。
The
ウェイクワード検出部232は、各ウェイクワードに対応する4つの検出モデルを利用して4つのウェイクワードをそれぞれ検出してもよいし、4つのウェイクワードをまとめて検出可能な1つの検出モデルを利用して4つのウェイクワードをそれぞれ検出してもよい。ウェイクワード検出部232は、ユーザ端末2がインカム1から音声情報221を受信している間、ウェイクワードの検出を常時実行する。なお、ウェイクワードの検出方法は、上記の例に限られず、任意に選択可能である。
The wake
テキスト化部233は、音声認識処理によって音声情報221をテキスト情報222に変換し、得られたテキスト情報222を変換元の音声情報221と対応づけて記憶部22に保存する。より詳細には、テキスト化部233は、音声情報221からウェイクワードが検出された場合、検出されたウェイクワードより前の所定の第2期間の音声情報221をテキスト情報に変換する。ウェイクワードより前の第2期間の音声情報221とは、対応する受信時刻が、ウェイクワードの受信時刻より前の第2期間に含まれる音声情報221のことである。例えば、第2期間が20秒であり、15時10分30秒にウェイクワードが検出された場合、テキスト化部233は、15時10分10秒から15時10分30秒までの20秒間の音声情報221をテキスト情報に変換する。第2期間は、例えば、20秒であるが、これに限られない。なお、音声認識処理の方法は、任意に選択可能である。
The
なお、ユーザ端末2の機能構成は、上記の例に限られない。ユーザ端末2は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、ユーザ端末2は、上記の機能構成の一部を支援装置3に設けられてもよいし、支援装置3の機能構成の一部を備えてもよい。
Note that the functional configuration of the
<ユーザ端末2が実行する処理>
次に、ユーザ端末2が実行する処理について説明する。図4は、ユーザ端末2が実行する処理の一例を示すフローチャートである。
<Processing executed by
Next, processing executed by the
(ステップS101)
取得部231は、通信部21がインカム1から受信した音声情報221を取得し、取得した音声情報221を受信時刻と対応づけて記憶部22に保存する。
(Step S101)
The
(ステップS102)
ウェイクワード検出部232は、新たに保存された音声情報221に対してウェイクワードの検出を順次実行する。音声情報221からいずれのウェイクワードも検出されなかった場合(ステップS102:NO)、処理は終了する。一方、音声情報221からいずれかのウェイクワードが検出された場合(ステップS102:YES)、処理はステップS103に進む。
(Step S102)
The wake
(ステップS103)
ウェイクワード検出部232は、ウェイクワードを検出すると、ウェイクワードの検出をユーザに通知する。ウェイクワード検出部232は、例えば、ユーザ端末2のスピーカからウェイクワードの検出を通知する通知音を出力させてもよいし、ユーザ端末2の表示装置に、ウェイクワードの検出を通知する画像を表示させてもよい。また、ウェイクワード検出部232は、ウェイクワードの検出を通知する通知音の音声情報をインカム1に送信し、インカム1のスピーカから通知音を出力させてもよい。ウェイクワードの検出を通知する通知音は、ウェイクワードごとに異なるのが好ましい。このように、ウェイクワードの検出をユーザに通知することにより、ユーザは、自分が発話したウェイクワードが検出されたことを速やかに確認することができる。
(Step S103)
When the
(ステップS104)
テキスト化部233は、ウェイクワード検出部232がウェイクワードを検出すると、ウェイクワード検出部232が検出したウェイクワードより前の所定期間の音声情報221を記憶部22から読み出す。
(Step S104)
When the wake
(ステップS105)
テキスト化部233は、読み出した音声情報221を、音声認識処理によりテキスト情報222に変換し、記憶部22に保存する。
(Step S105)
The
(ステップS106)
テキスト化部233は、ユーザ端末2の識別情報と、ステップS102で検出されたウェイクワードの種類と、ステップS104で読み出した音声情報221及び受信時刻と、ステップS105で得られたテキスト情報222と、を対応づけて支援装置3に送信する。テキスト化部233が送信したこれらの情報は、支援装置3に受信され、受信情報321として保存される(図6参照)。
(Step S106)
The
<まとめ>
以上の処理により、ユーザがウェイクワードを発話すると、ウェイクワードより前の所定期間にユーザが発話した音声に対応するテキスト情報222等が支援装置3に送信され、支援装置3によりウェイクワード処理が実行される。すなわち、本実施形態によれば、ユーザは、ウェイクワード処理に応じた内容を発話した後にウェイクワードを発話することで、所望のウェイクワード処理を支援システムに実行させることができる。
<Summary>
Through the above processing, when the user utters the wake word, the
このように、ウェイクワードを内容より後から検出することで、ウェイクワードを内容より先に検出する場合に比べて、ウェイクワードを発話してからウェイクワード処理が実行されるまでの時間を、内容を発話する時間の分だけ短縮することができる。ウェイクワードを発話してからウェイクワード処理が実行されるまでの時間は、ユーザが支援システムに指示を与えてからレスポンスが返ってくるまでのユーザの待ち時間に相当する。すなわち、本実施形態によれば、ユーザがウェイクワードを発話した後のユーザの待ち時間を短縮することができる。また、ウェイクワードを内容より後から検出することで、言い間違えた内容でウェイクワード処理が実行されることを抑制することができる。 In this way, by detecting the wake word after the content, the time from the utterance of the wake word to the execution of the wake word processing can be shortened compared to the case where the wake word is detected before the content. can be shortened by the amount of time it takes to speak. The time from when the wake word is uttered until the wake word process is executed corresponds to the user's waiting time from when the user gives an instruction to the support system until when a response is returned. That is, according to this embodiment, it is possible to shorten the user's waiting time after the user utters the wake word. Further, by detecting the wake word after the content, it is possible to prevent the wake word processing from being executed with the wrong content.
<介護業務支援装置3の機能構成>
次に、支援装置3の機能構成について説明する。図5は、支援装置3の機能構成の一例を示す図である。図5に示すように、支援装置3は、通信部31と、記憶部32と、制御部33と、を備える。
<Functional Configuration of Nursing Care
Next, the functional configuration of the
通信部31は、通信I/Fにより実現される。通信部31は、ネットワークNを介して、ユーザ端末2及び介護システム4との間で情報の送受信を行う。具体的には、通信部31は、ユーザ端末2からテキスト情報222等を受信し、介護システム4に介護記録等を送信する。
The
記憶部32は、メモリ102及びストレージ103により実現される。記憶部32は、受信情報321と、対象情報322と、代替語情報323と、を記憶する。
The
受信情報321は、ユーザ端末2から受信したテキスト情報222等の情報である。図6は、受信情報321の一例を示す図である。図6の受信情報321は、情報項目として「DID」、「時刻」、「ウェイクワード」、「テキスト」、及び「音声」を含む。「DID」は、受信情報321を一意に識別する識別子である。「時刻」は、受信情報321に含まれる音声情報221に対応づけられた最も早い受信時刻であり、音声情報221の開始時刻に相当する。「ウェイクワード」は、受信情報321を送信する原因となったウェイクワード(ステップS102で検出されたウェイクワード)の種類である。「テキスト」は、受信情報321に含まれる音声情報221を変換して得られたテキスト情報222である。「音声」は、受信情報321に含まれる音声情報221である。図6の例では、音声情報221はmp3であるが、音声情報221のファイル形式は任意である。
The received
例えば、図6の1行目の受信情報321は、「DID」が「D001」であり、「時刻」が「16:30:20」であり、「ウェイクワード」が「完了」であり、「テキスト」が「佐藤さん、お食事を全量召し上がりました」であり、「音声」が「M001.mp3」である。これは、ユーザが16:30:20から第2期間の間に「佐藤さん、お食事を全量召し上がりました、完了」と発話した結果、「完了(第1ウェイクワード)」というウェイクワードが検出され、「完了」より前の「佐藤さん、お食事を全量召し上がりました」という音声情報221(M001.mp3)と、これに対応するテキスト情報222と、を含む情報がユーザ端末2から送信され、支援装置3がこれらの情報を受信し、受信情報D001として記憶したことを示している。
For example, the
なお、受信情報321は、上記の例に限られない。受信情報321は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。
Note that the received
対象情報322は、ユーザが指定するウェイクワード処理の対象を示す情報である。本実施形態において、ユーザは、ウェイクワード処理の内容として、その呼称を発話することで、ウェイクワード処理の対象を指定する。ウェイクワード処理の対象は、被介護者(被作業者)、ユーザ(介護者)、及びグループの少なくとも1つを含む。対象情報322は、例えば、ユーザにより予め登録される。図7~図9は、対象情報322の一例を示す図である。
The
図7の対象情報322は、被介護者の対象情報322であり、情報項目として「CID」、「氏名」、及び「呼称」を含む。「CID」は、被介護者を一意に識別する識別子である。「氏名」は、被介護者の氏名である。「呼称」は、被介護者の呼称であり、姓、名、及び通称の少なくとも1つを含む。例えば、図7の対象情報322は、「CID」が「C001」であり、「氏名」が「佐藤太郎」であり、「呼称」が「佐藤」、「太郎」、及び「さとさん」である。
The
図8の対象情報322は、ユーザの対象情報322であり、情報項目として「UID」、「氏名」、及び「呼称」を含む。「UID」は、ユーザを一意に識別する識別子である。「氏名」は、ユーザの氏名である。「呼称」は、ユーザの呼称であり、姓、名、及び通称の少なくとも1つを含む。例えば、図8の対象情報322は、「UID」が「U001」であり、「氏名」が「鈴木次郎」であり、「呼称」が「鈴木」及び「次郎」である。
The
図9の対象情報322は、グループの対象情報322であり、情報項目として「GID」、「グループ」、「呼称」、及び「メンバー」を含む。「GID」は、グループを一意に識別する識別子である。「グループ」は、グループの名称である。「呼称」は、グループの呼称である。「メンバー」は、グループに含まれる者を一意に識別する識別子である。例えば、図9の一行目の対象情報322は、「GID」が「G001」であり、「グループ」が「3階担当者」であり、「呼称」が「3階担当者」であり、「メンバー」が「U001」、及び「U002」である。これは、グループG001がユーザU001,U002を含む「3階担当者」という名称のグループであることを示している。また、図9の二行目の対象情報322は、「GID」が「G002」であり、「グループ」が「3階利用者」であり、「呼称」が「3階利用者」であり、「メンバー」が「C001」、及び「C002」である。これは、グループG002が被介護者C001,C002を含む「3階利用者」という名称のグループであることを示している。
The
なお、対象情報322は、上記の例に限られない。対象情報322は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。また、ユーザ及び被介護者を含むグループが登録されてもよい。
Note that the
代替語情報323は、介護作業の種類及び介護作業に関する量の少なくとも一方に対応する代替語を示す情報である。本実施形態では、後述する通り、ユーザの発話内容に応じて介護記録が作成される。しかし、介護作業の種類によっては、直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)場合があり得る。そこで、記録内容を直接的に発話しなくて済むように代替語が登録される。代替語情報323は、例えば、ユーザにより予め登録される。
The
図10は、代替語情報323の一例を示す図である。図10の代替語情報323は、情報項目として「WID」、「代替語」、「介護作業」、及び「量」を含む。「WID」は、代替語を一意に識別する識別子である。「代替語」は、登録された代替語である。「介護作業」は、代替語の種類(介護作業の種類)である。「量」は、代替語の種類(介護作業に関する量)である。例えば、図10の1行目の代替語情報323は、「WID」が「W001」であり、「代替語」が「A」であり、「介護作業」が「排泄介助(便)」である。これは、ユーザがウェイクワードの内容として「A」と発話すると、介護作業の種類が「排泄介助(便)」である介護記録が作成されることを示す。図10の例にように、代替語は、被介護者が聞いた場合に意味がわからない符号であるのが好ましい。代替語は、例えば、アルファベット、数値、又はこれらの組み合わせであるが、これに限られない。
FIG. 10 is a diagram showing an example of the
なお、代替語情報323は、上記の例に限られない。代替語情報323は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。
Note that the
制御部33は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部33は、取得部331と、対象特定部332と、ウェイクワード処理部333と、代替語検出部334と、を備える。
The
取得部331は、ユーザ端末2からテキスト情報222等の情報を取得し、受信情報321として記憶部32に保存する。
The
対象特定部332は、受信情報321に含まれるテキスト情報222に基づいてウェイクワード処理の対象を特定する。具体的には、対象特定部322は、対象情報322を参照して、テキスト情報222に含まれる呼称を検出し、検出した呼称に対応する対象を、ウェイクワード処理の対象として特定する。
The
ウェイクワード処理部333は、ウェイクワード及びウェイクワード処理の対象に応じたウェイクワード処理を実行する。ウェイクワード処理部333は、記録作成部3331と、記録通知部3332と、メッセージ送信部3333と、申し送り登録部3334と、を備える。
The wake
記録作成部3331は、第1ウェイクワード(完了)が検出された場合、テキスト情報222から介護作業の内容を推定し、推定した介護作業の内容と、ウェイクワード処理の対象を示す情報(ユーザのUIDや氏名など)と、を含む介護記録を作成する。記録作成部3331は、キーワードを利用した方法、機械学習モデルを利用した方法、代替語を利用した方法など、任意の方法でテキスト情報222から介護作業の内容を推定できる。介護作業の内容は、介護作業の種類と、介護作業に関する量と、を含む。記録作成部3331は、作成した介護記録を、対象の介護記録として介護システム4に登録する。
When the first wake word (completion) is detected, the
記録通知部3332は、第2ウェイクワード(確認)が検出された場合、テキスト情報222から介護作業の内容を推定し、推定した介護作業の内容と、ウェイクワード処理の対象を示す情報(ユーザのUIDや氏名など)と、を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する。記録通知部3332は、キーワードを利用した方法、機械学習モデルを利用した方法、代替語を利用した方法など、任意の方法でテキスト情報222から介護作業の内容を推定できる。記録通知部3332は、取得した介護記録をユーザ端末2の表示装置に表示させることによりユーザに通知してもよいし、取得した介護記録をインカム1から音声出力させることによりユーザに通知してもよい。
When the second wake word (confirmation) is detected, the
メッセージ送信部3333は、第3ウェイクワード(送信)が検出された場合、音声情報221及びテキスト情報222の少なくとも一方を、ユーザからのメッセージとして対象(他のユーザ)に送信する。メッセージを受信した対象(他のユーザ)のユーザ端末2は、受信したメッセージを表示装置に表示してもよいし、受信したメッセージを対象(他のユーザ)のインカム1から音声出力させてもよい。
When the third wake word (transmission) is detected, the
申し送り登録部3334は、第4ウェイクワード(申し送り)が検出された場合、音声情報221及びテキスト情報222の少なくとも一方を、対象に関する申し送り事項として介護システム4に登録する。
When the fourth wake word (transference) is detected, the
代替語検出部334は、第1ウェイクワード(完了)又は第2ウェイクワード(確認)が検出された場合、代替語情報323を参照して、テキスト情報222から予め登録された代替語を検出する。
When the first wake word (completion) or the second wake word (confirmation) is detected, the substitute
なお、支援装置3の機能構成は、上記の例に限られない。支援装置3は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、支援装置3は、上記の機能構成の一部をユーザ端末2又は介護システム4に設けられてもよいし、ユーザ端末2又は介護システム4の機能構成の一部を備えてもよい。
Note that the functional configuration of the
<介護業務支援装置3が実行する処理>
次に、支援装置3が実行する処理について説明する。図11は、支援装置3が実行する処理の一例を示すフローチャートである。
<Processing Executed by Nursing Care
Next, processing executed by the
(ステップS201)
取得部331は、通信部31がユーザ端末2から受信したテキスト情報222等を取得し、取得したテキスト情報222等を受信情報321として記憶部32に保存する。
(Step S201)
The
(ステップS202)
対象特定部332は、対象情報322を参照して、受信情報321に含まれるテキスト情報222から対象の呼称を検出する。対象の呼称を検出しなかった場合(ステップS202:NO)、処理は終了する。一方、対象の呼称を検出した場合(ステップS202:YES)、処理はステップS203に進む。
(Step S202)
The
(ステップS203)
対象特定部332は、ステップS202で検出した呼称に対応する対象を、ウェイクワード処理の対象として特定する。
(Step S203)
The
(ステップS204)
ウェイクワード処理部333は、受信情報321に含まれるウェイクワードの種類に応じたウェイクワード処理を実行する。ウェイクワードが第1ウェイクワードである場合(ステップS204:完了)、処理はステップS205に進む。ウェイクワードが第2ウェイクワードである場合(ステップS204:確認)、処理はステップS206に進む。ウェイクワードが第3ウェイクワードである場合(ステップS204:送信)、処理はステップS207に進む。ウェイクワードが第4ウェイクワードである場合(ステップS204:申し送り)、処理はステップS208に進む。
(Step S204)
The wake
(ステップS205)
記録作成部3331は、介護作業の内容と、ステップS203で特定したウェイクワード処理の対象を示す情報と、を含む介護記録を作成し、介護システム4に登録する。ウェイクワード処理の対象は、介護作業の対象に相当する。介護記録の作成方法について詳しくは後述する。
(Step S205)
The
(ステップS206)
記録通知部3332は、介護作業の内容と、ステップS203で特定したウェイクワード処理の対象を示す情報と、を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する。ウェイクワード処理の対象は、介護作業の対象に相当する。介護記録の通知方法について詳しくは後述する。
(Step S206)
The
(ステップS207)
メッセージ送信部3333は、受信情報321に含まれる音声情報221及びテキスト情報222の少なくとも一方を、ユーザからのメッセージとしてステップS203で特定したウェイクワード処理の対象のユーザ端末2に送信する。ウェイクワード処理の対象は、メッセージの宛先に相当する。
(Step S207)
The
(ステップS208)
申し送り登録部3334は、受信情報321に含まれる音声情報221及びテキスト情報222の少なくとも一方を、ステップS203で特定したウェイクワード処理の対象に関する申し送り事項として介護システム4に登録する。ウェイクワード処理の対象は、申し送り事項の対象に相当する。
(Step S208)
The
なお、ウェイクワード処理部333は、ウェイクワード処理の完了後、その旨をユーザに通知するのが好ましい。ウェイクワード処理部333は、例えば、ユーザ端末2のスピーカからウェイクワード処理の完了を通知する通知音を出力させてもよいし、ユーザ端末2の表示装置に、ウェイクワード処理の完了を通知する画像を表示させてもよい。また、ウェイクワード処理部333は、ウェイクワード処理の完了を通知する通知音の音声情報をインカム1に送信し、インカム1のスピーカから通知音を出力させてもよい。ウェイクワード処理の完了を通知する通知音は、ウェイクワード処理ごとに異なるのが好ましい。このように、ウェイクワード処理の完了をユーザに通知することにより、ユーザは、自分が発話したウェイクワードに応じたウェイクワード処理が完了したことを速やかに確認することができる。
Note that the wake
<まとめ>
以上の処理により、支援装置3は、ユーザが発話したウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、に応じたウェイクワード処理を実行することができる。すなわち、ユーザは、所望のウェイクワード処理に応じたウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、を発話するだけで、支援装置3に複数種類のウェイクワード処理を実行させることができる。
<Summary>
With the above processing, the
例えば、ユーザが「佐藤さん、お食事を全量召し上がりました、完了」と発話すると、取得部331が受信情報D001(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、お食事を全量召し上がりました」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、記録作成部3331が「佐藤さん、お食事を全量召し上がりました」というテキスト情報222から介護作業の内容(例えば、種類:食事介助,量:全量)を推定し、推定した介護作業の内容及び被介護者C001を示す情報を含む介護記録を作成し(ステップS205)、作成した介護記録を介護システム4に登録する。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容と、「完了」というウェイクワードと、を発話するだけで、所望の介護記録を作成することができる。
For example, when the user utters "Mr. Sato, you have finished your meal," the
また、ユーザが「佐藤さんの服薬について、確認」と発話すると、取得部331が受信情報D002(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さんの服薬について」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、記録通知部3332が「佐藤さんの服薬について」というテキスト情報222から介護作業の内容(例えば、種類:服薬介助)を推定し、推定した介護作業の内容及び被介護者C001を示す情報を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する(ステップS206)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容と、「確認」というウェイクワードと、を発話するだけで、所望の介護記録を確認することができる。
Further, when the user utters "Confirm Mr. Sato's medication intake", the
また、ユーザが「鈴木さん、至急食堂にきてください、送信」と発話すると、取得部331が受信情報D003(図6参照)を取得する(ステップS201)。次に、対象特定部332が「鈴木さん、至急食堂にきてください」というテキスト情報222から「鈴木」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象としてユーザU001(図8参照)を特定する(ステップS203)。その後、メッセージ送信部3333が「鈴木さん、至急食堂にきてください」というテキスト情報222及び音声情報221(M003.mp3)の少なくとも一方をユーザU001に送信する(ステップS207)。このように、ユーザは、他のユーザの名前(呼称)と、メッセージの内容と、「送信」というウェイクワードと、を発話するだけで、所望の他のユーザにメッセージを送信することができる。
Further, when the user utters "Mr. Suzuki, please come to the cafeteria immediately, send", the
また、ユーザが「佐藤さんが風邪気味です、申し送り」と発話すると、取得部331が受信情報D004(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さんが風邪気味です」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、申し送り登録部3334が「佐藤さんが風邪気味です」というテキスト情報222及び音声情報221(M004.mp3)の少なくとも一方を被介護者C001に関する申し送り事項として介護システム4に登録する(ステップS208)。このように、ユーザは、被介護者の名前(呼称)と、申し送りの内容と、「申し送り」というウェイクワードと、を発話するだけで、所望の申し送りを介護システム4に登録することができる。
Also, when the user utters, "Mr. Sato has a cold, please let me know", the
なお、ウェイクワードを検出した場合にウェイクワードより後の音声情報をテキスト情報に変換してウェイクワード処理を実行する場合も、上記と同様に、支援装置3は、ユーザが発話したウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、に応じたウェイクワード処理を実行することができる。すなわち、ユーザは、所望のウェイクワード処理に応じたウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、を発話するだけで、支援装置3に所望のウェイクワード処理を実行させることができる。
Note that when a wake word is detected and speech information after the wake word is converted into text information and the wake word process is executed, similarly to the above, the
<介護記録の作成方法>
次に、介護記録の作成方法について詳しく説明する。図12は、介護記録の作成方法の一例を示すフローチャートである。図12の処理は、ステップS205の内部処理に相当する。
<How to create care records>
Next, a method for creating a care record will be described in detail. FIG. 12 is a flow chart showing an example of a method for creating a care record. The processing of FIG. 12 corresponds to the internal processing of step S205.
(ステップS301)
代替語検出部334は、代替語情報323を参照して、テキスト情報222から代替語を検出する。代替語が検出された場合(ステップS301:YES)、処理はステップS302に進む。一方、代替語が検出されない場合(ステップS301:NO)、処理はステップS303に進む。
(Step S301)
The substitute
(ステップS302)
記録作成部3331は、代替語情報323を参照して、ステップS301で検出された代替語に対応する介護作業の内容を、テキスト情報222に対応する介護作業の内容の推定結果として取得する。
(Step S302)
The
(ステップS303)
記録作成部3331は、テキスト情報222に基づいて、介護作業の内容を推定する。推定方法は任意に選択可能である。
(Step S303)
Based on the
(ステップS304)
記録作成部3331は、ステップS302又はステップS303で推定した介護作業の内容(介護作業の種類及び量の少なくとも一方)と、ステップS203で特定したウェイクワード処理の対象(被介護者)を示す情報と、を含む介護記録を作成する。
(Step S304)
The
(ステップS305)
記録作成部3331は、ステップS304で作成した介護記録を介護システム4に登録し、登録が完了したことをユーザに通知する。
(Step S305)
The
<まとめ>
以上の処理により、支援装置3は、ウェイクワード処理の対象(被介護者)の呼称と、代替語に対応する介護作業の内容と、を含む介護記録を作成することができる。すなわち、ユーザは、完了というウェイクワードと、ウェイクワード処理の対象(被介護者)の呼称と、介護作業の内容に対応する代替語と、を発話するだけで、支援装置3に所望の介護記録を作成させることができる。
<Summary>
Through the above-described processing, the
例えば、ユーザが「佐藤さん、A1、完了」と発話すると、取得部331が受信情報D005(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、A1」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、代替語検出部334が「佐藤さん、A1」というテキスト情報222から「A」及び「1」という代替語を検出し(ステップS301:YES)、記録作成部3331が介護作業の内容として「種類:排泄介助(便),量:少量」を取得し(ステップS302)、「種類:排泄介助(便),量:少量」及び被介護者C001を示す情報を含む介護記録を作成し(ステップS304)、作成した介護記録を介護システム4に登録する(ステップS305)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容に対応する代替語と、「完了」というウェイクワードと、を発話するだけで、被介護者などの前で直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)介護記録を作成することができる。すなわち、ユーザは、直接的に記録内容を発話することなく介護記録を作成することができる。
For example, when the user utters "Mr. Sato, A1, done", the
<介護記録の通知方法>
次に、介護記録の通知方法について詳しく説明する。図13は、介護記録の通知方法の一例を示すフローチャートである。図13の処理は、ステップS206の内部処理に相当する。
<Method of notifying care records>
Next, a method for notifying care records will be described in detail. FIG. 13 is a flowchart illustrating an example of a care record notification method. The processing of FIG. 13 corresponds to the internal processing of step S206.
(ステップS401)
代替語検出部334は、代替語情報323を参照して、テキスト情報222から代替語を検出する。代替語が検出された場合(ステップS401:YES)、処理はステップS402に進む。一方、代替語が検出されない場合(ステップS401:NO)、処理はステップS403に進む。
(Step S401)
The substitute
(ステップS402)
記録通知部3332は、代替語情報323を参照して、ステップS401で検出された代替語に対応する介護作業の内容を、テキスト情報222に対応する介護作業の内容の推定結果として取得する。
(Step S402)
The
(ステップS403)
記録通知部3332は、テキスト情報222に基づいて、介護作業の内容を推定する。推定方法は任意に選択可能である。
(Step S403)
The
(ステップS404)
記録通知部3332は、ステップS402又はステップS403で推定した介護作業の内容(介護作業の種類及び量の少なくとも一方)と、ステップS203で特定したウェイクワード処理の対象(被介護者)を示す情報と、を含む介護記録を介護システム4から取得する。
(Step S404)
The
(ステップS405)
記録通知部3332は、ステップS404で取得した介護記録をユーザ端末2に送信することにより、ユーザに通知する。
(Step S405)
The
<まとめ>
以上の処理により、支援装置3は、ウェイクワード処理の対象(被介護者)の呼称と、代替語に対応する介護作業の内容と、を含む介護記録をユーザに通知することができる。すなわち、ユーザは、確認というウェイクワードと、ウェイクワード処理の対象(被介護者)の呼称と、介護作業の内容に対応する代替語と、を発話するだけで、所望の介護記録を確認することができる。
<Summary>
With the above processing, the
例えば、ユーザが「佐藤さん、B、確認」と発話すると、取得部331が受信情報D006(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、B」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、代替語検出部334が「佐藤さん、B」というテキスト情報222から「B」という代替語を検出し(ステップS401:YES)、記録通知部3332が介護作業の内容として「種類:排泄介助(尿)」を取得し(ステップS402)、「種類:排泄介助(尿)」及び被介護者C001を示す情報を含む介護記録を介護システム4から取得し(ステップS404)、取得した介護記録をユーザに通知する(ステップS405)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容に対応する代替語と、「確認」というウェイクワードと、を発話するだけで、直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)介護記録を確認することができる。すなわち、ユーザは、直接的に記録内容を発話することなく介護記録を確認することができる。
For example, when the user utters "Mr. Sato, B, check", the
<付記>
本実施形態は、以下の開示を含む。
<Appendix>
This embodiment includes the following disclosure.
(付記1-1)
情報処理システムが実行する業務支援方法であって、
ユーザが発話した音声の音声情報を取得する取得処理と、
取得した前記音声情報を所定期間記憶する記憶処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化処理と、
を含む業務支援方法。
(Appendix 1-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a storage process of storing the acquired voice information for a predetermined period;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting voice information before the wake word into text information when the wake word is detected;
business support methods including;
(付記1-2)
前記検出処理は、前記ウェイクワードの音声情報を機械学習した検出モデルを利用して前記ウェイクワードを検出する
付記1-1に記載の業務支援方法。
(Appendix 1-2)
The business support method according to appendix 1-1, wherein the detection process detects the wake word using a detection model obtained by machine-learning voice information of the wake word.
(付記1-3)
前記検出処理は、複数種類の前記ウェイクワードをそれぞれ検出する
付記1-1又は付記1-2に記載の業務支援方法。
(Appendix 1-3)
The business support method according to appendix 1-1 or appendix 1-2, wherein the detection process detects each of a plurality of types of wake words.
(付記1-4)
ユーザが発話した音声の音声情報を取得する取得部と、
取得した前記音声情報を所定期間記憶する記憶部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化部と、
を備える業務支援システム。
(Appendix 1-4)
an acquisition unit that acquires voice information of voice uttered by a user;
a storage unit that stores the acquired voice information for a predetermined period;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that, when detecting the wake word, converts audio information prior to the wake word into text information;
business support system.
(付記1-5)
情報処理装置システムに、
ユーザが発話した音声の音声情報を取得する取得処理と、
取得した前記音声情報を所定期間記憶する記憶処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 1-5)
In the information processing equipment system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a storage process of storing the acquired voice information for a predetermined period;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting voice information before the wake word into text information when the wake word is detected;
A program for executing a business support method including
(付記2-1)
情報処理システムが実行する業務支援方法であって、
ユーザが発話した音声の音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報に基づいて対象を特定する対象特定処理と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理と、
を含む業務支援方法。
(Appendix 2-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
a target specifying process for specifying a target based on the text information;
Wake word processing for executing processing according to the wake word and the target;
business support methods including;
(付記2-2)
前記ウェイクワード処理は、第1ウェイクワードが検出された場合、前記テキスト情報から推定した作業の内容と、前記対象を示す情報と、を含む記録を作成する
付記2-1に記載の業務支援方法。
(Appendix 2-2)
The business support method according to appendix 2-1, wherein the wake word process creates a record including the work content estimated from the text information and the information indicating the target when the first wake word is detected. .
(付記2-3)
前記ウェイクワード処理は、第2ウェイクワードが検出された場合、前記テキスト情報から推定した作業の内容と、前記対象を示す情報と、を含む記録を前記ユーザに通知する
付記2-1又は付記2-2に記載の業務支援方法。
(Appendix 2-3)
Supplementary note 2-1 or
(付記2-4)
前記ウェイクワード処理は、第3ウェイクワードが検出された場合、前記音声情報及び前記テキスト情報の少なくとも一方を前記対象に送信する
付記2-1から付記2-3までのいずれかに記載の業務支援方法。
(Appendix 2-4)
The business support according to any one of appendices 2-1 to 2-3, wherein the wake word processing transmits at least one of the voice information and the text information to the target when a third wake word is detected. Method.
(付記2-5)
前記ウェイクワード処理は、第4ウェイクワードが検出された場合、前記音声情報及び前記テキスト情報の少なくとも一方を前記対象に関する申し送り事項として登録する
付記2-1から付記2-4までのいずれかに記載の業務支援方法。
(Appendix 2-5)
Any one of appendices 2-1 to 2-4, wherein the wake word processing registers at least one of the voice information and the text information as a matter to be conveyed regarding the object when a fourth wake word is detected. business support method.
(付記2-6)
前記対象は、前記作業者、被作業者、及び予め設定されたグループの少なくとも1つを含む
付記2-1から付記2-5までのいずれかに記載の業務支援方法。
(Appendix 2-6)
The business support method according to any one of attachments 2-1 to 2-5, wherein the target includes at least one of the worker, the worker, and a preset group.
(付記2-7)
ユーザが発話した音声の音声情報を取得する取得部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報に基づいて対象を特定する対象特定部と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理部と、
を備える業務支援システム。
(Appendix 2-7)
an acquisition unit that acquires voice information of voice uttered by a user;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a target identifying unit that identifies a target based on the text information;
a wake word processing unit that executes processing according to the wake word and the target;
business support system.
(付記2-8)
情報処理システムに、
ユーザが発話した音声の音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報に基づいて対象を特定する対象特定処理と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 2-8)
information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
a target specifying process for specifying a target based on the text information;
Wake word processing for executing processing according to the wake word and the target;
A program for executing a business support method including
(付記3-1)
情報処理システムが実行する業務支援方法であって、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法。
(Appendix 3-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
business support methods including;
(付記3-2)
前記テキスト情報に基づいて対象を特定する対象特定処理を更に含み、
前記記録は、特定された前記対象を示す情報を更に含む
付記3-1に記載の業務支援方法。
(Appendix 3-2)
further comprising a target identification process for identifying a target based on the text information;
The business support method according to appendix 3-1, wherein the record further includes information indicating the specified object.
(付記3-3)
前記代替語は、作業の種類及び作業に関する量の少なくとも一方に対応する
付記3-1又は付記3-2に記載の業務支援方法。
(Appendix 3-3)
The work support method according to Appendix 3-1 or Appendix 3-2, wherein the alternative term corresponds to at least one of the type of work and the amount of work.
(付記3-4)
前記代替語は、アルファベット、数値、又はこれらの組み合わせである
付記3-1から付記3-3までのいずれかに記載の業務支援方法。
(Appendix 3-4)
The business support method according to any one of Appendices 3-1 to 3-3, wherein the alternative words are alphabets, numbers, or a combination thereof.
(付記3-5)
音声情報を取得する取得部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報から予め登録された代替語を検出する代替語検出部と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成部と、
を備える業務支援システム。
(Appendix 3-5)
an acquisition unit that acquires voice information;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a substitute term detection unit that detects pre-registered substitute terms from the text information;
a record creation unit that creates a record including the content of the work corresponding to the alternative word;
business support system.
(付記3-6)
情報処理システムに、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 3-6)
information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
A program for executing a business support method including
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above-described meaning, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.
1:インカム
2:ユーザ端末
3:介護業務支援装置
4:介護システム
21:通信部
22:記憶部
23:制御部
221:音声情報
222:テキスト情報
231:ウェイクワード検出部
232:テキスト化部
31:通信部
32:記憶部
33:制御部
321:受信情報
322:対象情報
323:代替語情報
331:取得部
332:対象特定部
333:ウェイクワード処理部
334:代替語検出部
100:情報処理装置
101:プロセッサ
102:メモリ
103:ストレージ
104:通信I/F
105:入出力I/F
106:入力装置
107:出力装置
108:ドライブ装置
109:ディスクメディア
1: income 2: user terminal 3: nursing care work support device 4: nursing care system 21: communication unit 22: storage unit 23: control unit 221: voice information 222: text information 231: wake word detection unit 232: text conversion unit 31: Communication unit 32: Storage unit 33: Control unit 321: Received information 322: Target information 323: Alternative term information 331: Acquisition unit 332: Target identification unit 333: Wake word processing unit 334: Alternative term detection unit 100: Information processing device 101 : Processor 102: Memory 103: Storage 104: Communication I/F
105: Input/output I/F
106: Input device 107: Output device 108: Drive device 109: Disk media
Claims (6)
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法。 A business support method executed by an information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
business support methods including;
前記記録は、特定された前記対象を示す情報を更に含む
請求項1に記載の業務支援方法。 further comprising a target identification process for identifying a target based on the text information;
2. The business support method according to claim 1, wherein said record further includes information indicating said specified object.
請求項1又は請求項2に記載の業務支援方法。 3. The business support method according to claim 1, wherein the alternative word corresponds to at least one of the type of work and the amount of work.
請求項1から請求項3までのいずれかに記載の業務支援方法。 4. The business support method according to any one of claims 1 to 3, wherein the alternative words are alphabetic characters, numerical values, or combinations thereof.
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報から予め登録された代替語を検出する代替語検出部と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成部と、
を備える業務支援システム。 an acquisition unit that acquires voice information;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a substitute term detection unit that detects pre-registered substitute terms from the text information;
a record creation unit that creates a record including the content of the work corresponding to the alternative word;
business support system.
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法を実行させるためのプログラム。
information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
A program for executing a business support method including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020159A JP6937484B1 (en) | 2021-02-10 | 2021-02-10 | Business support methods, systems, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020159A JP6937484B1 (en) | 2021-02-10 | 2021-02-10 | Business support methods, systems, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6937484B1 JP6937484B1 (en) | 2021-09-22 |
JP2022122727A true JP2022122727A (en) | 2022-08-23 |
Family
ID=78028222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021020159A Active JP6937484B1 (en) | 2021-02-10 | 2021-02-10 | Business support methods, systems, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6937484B1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005037597A (en) * | 2003-07-18 | 2005-02-10 | Fuji Photo Film Co Ltd | Control system for equipment |
WO2009148003A1 (en) * | 2008-06-02 | 2009-12-10 | 新日本製鐵株式会社 | Dimension measuring system |
JP2015180984A (en) * | 2014-03-04 | 2015-10-15 | 親明 片田 | Matrix innovation management method for home-visit nursing care |
JP2019016137A (en) * | 2017-07-06 | 2019-01-31 | 富士通株式会社 | Recording program, recording method and recording apparatus |
JP2019080900A (en) * | 2017-10-27 | 2019-05-30 | 株式会社オプテック | Dental treatment support system |
WO2020003785A1 (en) * | 2018-06-25 | 2020-01-02 | ソニー株式会社 | Audio processing device, audio processing method, and recording medium |
JP2020160579A (en) * | 2019-03-25 | 2020-10-01 | 金子 周一 | Care support system, care support method, and program |
-
2021
- 2021-02-10 JP JP2021020159A patent/JP6937484B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005037597A (en) * | 2003-07-18 | 2005-02-10 | Fuji Photo Film Co Ltd | Control system for equipment |
WO2009148003A1 (en) * | 2008-06-02 | 2009-12-10 | 新日本製鐵株式会社 | Dimension measuring system |
JP2015180984A (en) * | 2014-03-04 | 2015-10-15 | 親明 片田 | Matrix innovation management method for home-visit nursing care |
JP2019016137A (en) * | 2017-07-06 | 2019-01-31 | 富士通株式会社 | Recording program, recording method and recording apparatus |
JP2019080900A (en) * | 2017-10-27 | 2019-05-30 | 株式会社オプテック | Dental treatment support system |
WO2020003785A1 (en) * | 2018-06-25 | 2020-01-02 | ソニー株式会社 | Audio processing device, audio processing method, and recording medium |
JP2020160579A (en) * | 2019-03-25 | 2020-10-01 | 金子 周一 | Care support system, care support method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6937484B1 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210067631A1 (en) | System and method for processing voicemail | |
US8934652B2 (en) | Visual presentation of speaker-related information | |
KR20190113927A (en) | Multi-User Authentication for Devices | |
US20130144619A1 (en) | Enhanced voice conferencing | |
US11031006B2 (en) | Information processing apparatus, information processing method, and program | |
KR102343084B1 (en) | Electronic device and method for executing function of electronic device | |
US12050864B1 (en) | Systems and methods for a neighborhood voice assistant | |
CN103035240A (en) | Speech recognition repair using contextual information | |
JP6819489B2 (en) | Recording program, recording method, and recording device | |
US11074359B2 (en) | Privacy focused network sensor device object recognition | |
WO2020105302A1 (en) | Response generation device, response generation method, and response generation program | |
JP5974903B2 (en) | Voice memo storage method related to schedule | |
JP6995275B1 (en) | Business support methods, systems and programs | |
JP7095684B2 (en) | Information processing equipment, information processing method, program | |
JP6995273B1 (en) | Business support methods, systems and programs | |
JP6937484B1 (en) | Business support methods, systems, and programs | |
JP6937483B1 (en) | Business support methods, equipment, and programs | |
CN112262432A (en) | Voice processing device, voice processing method, and recording medium | |
JP6146703B2 (en) | Voice memo storage method related to schedule | |
JP7258686B2 (en) | Information processing system, information processing method, and program | |
JP6820632B1 (en) | Information processing equipment and programs | |
WO2019146187A1 (en) | Information processing device and information processing method | |
US20220263947A1 (en) | Performing an operation responsive to a voice call | |
CN112911074A (en) | Voice communication processing method, device, equipment and machine readable medium | |
JP7527127B2 (en) | Information processing device, program, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210215 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210805 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6937484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |