[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022122727A - Business support method and system, and program - Google Patents

Business support method and system, and program Download PDF

Info

Publication number
JP2022122727A
JP2022122727A JP2021020159A JP2021020159A JP2022122727A JP 2022122727 A JP2022122727 A JP 2022122727A JP 2021020159 A JP2021020159 A JP 2021020159A JP 2021020159 A JP2021020159 A JP 2021020159A JP 2022122727 A JP2022122727 A JP 2022122727A
Authority
JP
Japan
Prior art keywords
information
wake word
word
record
care
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021020159A
Other languages
Japanese (ja)
Other versions
JP6937484B1 (en
Inventor
崇 結城
Takashi Yuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2021020159A priority Critical patent/JP6937484B1/en
Application granted granted Critical
Publication of JP6937484B1 publication Critical patent/JP6937484B1/en
Publication of JP2022122727A publication Critical patent/JP2022122727A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

To allow creation of a record of operations without directly uttering the details to be recorded.SOLUTION: A business support method according to an embodiment includes: acquisition processing of acquiring voice information; wake word detection processing of detecting wake words from the voice information; text generation processing of, when the wake words are detected, converting the voice information into text information; alternative work detection processing of detecting alternative words registered in advance from the text information; and record creation processing of creating a record including the details of operations corresponding to the alternative words.SELECTED DRAWING: Figure 12

Description

本発明は、業務支援方法、装置、及びプログラムに関する。 The present invention relates to a business support method, device, and program.

従来、音声を利用して業務を支援するシステムが知られている。このようなシステムとして、介護者が発する被介護者の介護業務に係る音声データを取得する音声取得手段と、前記音声取得手段によって取得した前記音声データを認識し、テキストデータに変換する音声認識・テキスト変換手段と、前記音声認識・テキスト変換手段によって前記音声データから変換されたテキストデータに基づいて介護記録を作成する介護記録作成手段と、前記介護記録作成手段によって作成された前記介護記録を表示して介護者による確認を可能とする表示手段と、前記表示手段に表示された前記介護記録の、介護者による必要に応じた修正を可能とする修正手段と、介護者による確認と必要に応じた修正とが完了した状態の前記介護記録を最終的に確定させる確定手段と、前記音声データと、前記音声データから変換されたテキストデータと、前記確定手段によって確定された前記介護記録に最終的に採用されたテキストデータと、に基づいて、前記音声認識・テキスト変換手段におけるテキスト変換機能の学習を行う音声データ学習手段と、を備えることを特徴とする介護記録作成支援システムが提案されている。 2. Description of the Related Art Conventionally, a system that uses voice to support business is known. As such a system, there are voice acquisition means for acquiring voice data related to the nursing work of the care recipient uttered by the caregiver, and voice recognition/recognition/recognition for recognizing the voice data acquired by the voice acquisition means and converting it into text data. text conversion means; nursing care record creation means for creating a care record based on the text data converted from the voice data by the speech recognition/text conversion means; and displaying the care record created by the care record creation means. display means for enabling confirmation by a caregiver by doing so, correction means for enabling the caregiver to correct the care record displayed on the display means as necessary, confirmation by the caregiver and, if necessary, confirmation means for finally confirming the care record in a state in which the correction is completed, the voice data, text data converted from the voice data, and the care record confirmed by the determination means and a speech data learning means for learning the text conversion function of the speech recognition/text conversion means based on the text data adopted in the nursing care record creation support system. .

特開2020-140620号公報Japanese Patent Application Laid-Open No. 2020-140620

上記従来のシステムでは、介護者は、直接的に記録内容を発話しなければ介護記録を作成できない。このため、被介護者の前で直接的に記録内容を発話することが適切でない介護記録を作成することが困難である。 In the above-described conventional system, the caregiver cannot create a care record without directly speaking the content of the record. For this reason, it is difficult to create a care record in which it is not appropriate to directly speak the content of the record in front of the cared person.

本発明は、上記の課題を鑑みてなされたものであり、直接的に記録内容を発話することなく作業の記録を作成可能とすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to create a work record without directly uttering the contents of the record.

一実施形態にかかる業務支援方法は、音声情報を取得する取得処理と、前記音声情報からウェイクワードを検出するウェイクワード検出処理と、前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、を含む。 A business support method according to one embodiment comprises an acquisition process of acquiring voice information, a wake word detection process of detecting a wake word from the voice information, and converting the voice information into text information when the wake word is detected. a text conversion process, a substitute word detection process for detecting a pre-registered substitute word from the text information, and a record creation process for creating a record including the content of the work corresponding to the substitute word.

一実施形態によれば、直接的に記録内容を発話することなく作業の記録を作成可能とすることができる。 According to one embodiment, it is possible to create a work record without directly speaking the contents of the record.

介護業務支援システムの構成の一例を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows an example of a structure of a care work support system. 情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of an information processing apparatus. ユーザ端末の機能構成の一例を示す図である。It is a figure which shows an example of functional structure of a user terminal. ユーザ端末の処理の一例を示すフローチャートである。4 is a flow chart showing an example of processing of a user terminal; 介護業務支援装置の機能構成の一例を示す図である。It is a figure showing an example of functional composition of a care work support device. 受信情報の一例を示す図である。It is a figure which shows an example of reception information. 対象情報の一例を示す図である。It is a figure which shows an example of object information. 対象情報の一例を示す図である。It is a figure which shows an example of object information. 対象情報の一例を示す図である。It is a figure which shows an example of object information. 代替語情報の一例を示す図である。It is a figure which shows an example of alternative word information. 介護業務支援装置の処理の一例を示すフローチャートである。It is a flow chart which shows an example of processing of a care business support device. 介護記録の作成方法の一例を示すフローチャートである。It is a flowchart which shows an example of the preparation method of a care record. 介護記録の通知方法の一例を示すフローチャートである。It is a flowchart which shows an example of the notification method of a care record.

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

<システム構成>
まず、本実施形態に係る業務支援システム(以下「支援システム」という。)の概要について説明する。本実施形態に係る業務支援システムは、作業を実施する作業者の業務を支援する情報処理システムである。作業者の業務は、作業自体だけでなく、実施した作業の記録や関係者とのメッセージのやり取りなどの、作業の周辺業務を含む。支援システムは、主としてこの周辺業務を支援する。
<System configuration>
First, an overview of a business support system (hereinafter referred to as "support system") according to the present embodiment will be described. A business support system according to the present embodiment is an information processing system that supports the business of a worker who carries out work. The work of the worker includes not only the work itself but also work peripheral to the work, such as recording the work performed and exchanging messages with related parties. The support system mainly supports this peripheral work.

具体的には、支援システムは、作業者が発話した音声の音声情報を取得し、取得した音声情報からウェイクワードを検出し、検出したウェイクワードに応じた処理(以下「ウェイクワード処理」という。)を実行する。支援システムは、ウェイクワード処理として、例えば、作業者が実施した作業の記録の作成、作業者への記録の通知、作業者から他者へのメッセージの送信、被作業者に関する申し送り事項の登録などを行う。これにより、作業者は、ウェイクワードを含む音声を発話するだけで、各種の業務を実施することができる。 Specifically, the support system acquires voice information of the voice uttered by the worker, detects a wake word from the acquired voice information, and performs processing according to the detected wake word (hereinafter referred to as "wake word processing". ). As wake word processing, the support system can, for example, create a record of the work performed by the worker, notify the worker of the record, send a message from the worker to another person, register a message regarding the worker, etc. I do. As a result, the worker can perform various tasks simply by uttering a voice including the wake word.

以下では、支援システムが介護業務を支援する介護業務支援システムである場合を例に説明するが、本実施形態に係る支援システムは、任意の業種で利用可能である。 A case where the support system is a care work support system that supports care work will be described below as an example, but the support system according to this embodiment can be used in any industry.

図1は、本実施形態に係る支援システムの構成の一例を示す図である。図1の支援システムは、ネットワークNを介して相互に通信可能に接続された、インカム(インターカム)1と、ユーザ端末2と、介護業務支援装置3(以下「支援装置3」という。)と、介護システム4と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図1の例では、支援システムは、インカム1、ユーザ端末2、支援装置3、及び介護システム4をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。 FIG. 1 is a diagram showing an example of the configuration of a support system according to this embodiment. The support system of FIG. 1 includes an intercom 1, a user terminal 2, and a nursing care service support device 3 (hereinafter referred to as "support device 3"), which are communicably connected to each other via a network N. , and a care system 4. The network N is, for example, a wired LAN (Local Area Network), a wireless LAN, the Internet, a public line network, a mobile data communication network, or a combination thereof. In the example of FIG. 1, the support system includes one each of the intercom 1, the user terminal 2, the support device 3, and the care system 4, but may have a plurality of each.

インカム1は、ユーザが発話した音声の音声情報を取得する情報処理装置である。インカム1は、例えば、インカムであるが、これに限られない。インカム1は、ユーザ端末2と通信可能であり、かつ、マイク及びスピーカを備えた、任意の装置であり得る。 The intercom 1 is an information processing device that acquires voice information of voice uttered by a user. The income 1 is, for example, an income, but is not limited to this. The intercom 1 can be any device that can communicate with the user terminal 2 and has a microphone and a speaker.

ユーザは、インカム1を装着して利用する任意の作業者であり、例えば、介護施設の従業者である介護者であるが、これに限られない。ユーザは、インカム1を装着した状態で介護業務を実施する。インカム1を装着したユーザが発話すると、インカム1は、ユーザが発話した音声をマイクで集音し、集音した音声の音声情報を取得し、取得した音声情報をユーザ端末2に送信する。 The user is any worker who wears and uses the intercom 1, for example, a caregiver who is an employee of a care facility, but is not limited to this. The user carries out nursing care work while wearing the intercom 1 . When the user wearing the intercom 1 speaks, the intercom 1 collects the voice uttered by the user with a microphone, acquires voice information of the collected voice, and transmits the acquired voice information to the user terminal 2. - 特許庁

ユーザ端末2は、ユーザが発話した音声の音声情報からウェイクワードを検出する情報処理装置である。ユーザ端末2は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、又はスマートスピーカであるが、これに限られない。ユーザ端末2は、ユーザに携帯されてもよいし、介護施設に設置されてもよい。以下、ユーザ端末2は、ユーザが携帯するスマートフォンである場合を例に説明する。 The user terminal 2 is an information processing device that detects a wake word from voice information of voice uttered by a user. The user terminal 2 is, for example, a PC (Personal Computer), a smart phone, a tablet terminal, or a smart speaker, but is not limited thereto. The user terminal 2 may be carried by the user or installed in a nursing facility. Hereinafter, a case where the user terminal 2 is a smart phone carried by the user will be described as an example.

ユーザ端末2は、インカム1から音声情報を受信し、音声情報からウェイクワードを検出する。ウェイクワードは、以降の処理を開始させるために予め設定された音声コマンドである。本実施形態において、支援システムには、4種類のウェイクワードが設定される。以下、各ウェイクワードをそれぞれ第1ウェイクワード、第2ウェイクワード、第3ウェイクワード、及び第4ウェイクワードと称する。第1ウェイクワードは「完了」、第2ウェイクワードは「確認」、第3ウェイクワードは「送信」、及び第4ウェイクワードは「申し送り」であるものとする。ユーザ端末2は、いずれかのウェイクワードを検出すると、音声情報をテキスト情報に変換し、得られたテキスト情報等の情報を、支援装置3に送信する。なお、支援システムに設定されるウェイクワード及びウェイクワードの種類は、任意である。 The user terminal 2 receives voice information from the intercom 1 and detects a wake word from the voice information. A wake word is a preset voice command for starting subsequent processing. In this embodiment, four types of wake words are set in the support system. Each wake word is hereinafter referred to as a first wake word, a second wake word, a third wake word, and a fourth wake word. Assume that the first wake word is "complete", the second wake word is "confirm", the third wake word is "send", and the fourth wake word is "transfer". When detecting any wake word, the user terminal 2 converts the voice information into text information and transmits the obtained information such as the text information to the support device 3 . The wake word and the type of wake word set in the support system are arbitrary.

支援装置3は、ユーザが発話したウェイクワード処理を実行する情報処理装置である。支援装置3は、例えば、PC、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせであるが、これに限られない。 The support device 3 is an information processing device that executes wake word processing uttered by a user. The support device 3 is, for example, a PC, a smart phone, a tablet terminal, a server, or a combination thereof, but is not limited to this.

支援装置3は、ユーザ端末2からテキスト情報等を受信し、受信したテキスト情報に基づいて対象を特定し、特定した対象及びテキスト情報に対応するウェイクワード処理を実行する。また、支援装置3は、介護システム4と連携し、介護システム4への介護記録の登録や介護システム4からの介護記録の取得を実行する。支援装置3について、詳しくは後述する。 The support device 3 receives text information and the like from the user terminal 2, identifies a target based on the received text information, and executes wake word processing corresponding to the identified target and text information. The support device 3 also cooperates with the nursing care system 4 to register nursing care records in the nursing care system 4 and acquire nursing care records from the nursing care system 4 . The details of the support device 3 will be described later.

介護システム4は、介護施設における介護業務を管理するシステムである。介護システム4は、例えば、PC、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせであるが、これに限られない。介護システム4は、例えば、介護施設の利用者及び従業者に関する情報の管理、介護報酬の請求、介護記録の保存、介護業務の管理、介護施設の従業者の出退勤管理、ケアプランの管理などの機能を備える。 Nursing system 4 is a system for managing nursing care work in a nursing facility. Nursing care system 4 is, for example, a PC, a smart phone, a tablet terminal, a server, or a combination thereof, but is not limited thereto. Nursing care system 4, for example, manages information on users and employees of nursing care facilities, bills for nursing care fees, stores nursing care records, manages nursing care work, manages attendance and departure of nursing facility employees, manages care plans, etc. It has functions.

なお、介護業務支援システムの構成は、上記の例に限られない。例えば、ユーザ端末2は、インカム1として機能してもよい。また、介護業務支援装置3は、介護システム4に組み込まれてもよい。 The configuration of the care work support system is not limited to the above example. For example, the user terminal 2 may function as the intercom 1 . Further, the care work support device 3 may be incorporated into the care system 4 .

<ハードウェア構成>
次に、情報処理装置のハードウェア構成について説明する。図2は、情報処理装置100のハードウェア構成の一例を示す図である。図2に示すように、情報処理装置100は、バスBを介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入出力I/F105と、入力装置106と、出力装置107と、ドライブ装置108と、を備える。
<Hardware configuration>
Next, the hardware configuration of the information processing device will be described. FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus 100. As shown in FIG. As shown in FIG. 2, the information processing apparatus 100 includes a processor 101, a memory 102, a storage 103, a communication I/F 104, an input/output I/F 105, and an input It comprises a device 106 , an output device 107 and a drive device 108 .

プロセッサ101は、ストレージ103に記憶されたプログラムをメモリ102に展開して実行することにより、情報処理装置100の各構成を制御し、情報処理装置100の機能を実現する。プロセッサ101がプログラムを実行することにより、情報処理装置100の機能が実現される。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、又はこれらの組み合わせである。 The processor 101 controls each component of the information processing apparatus 100 and implements the functions of the information processing apparatus 100 by loading the program stored in the storage 103 into the memory 102 and executing the program. The functions of the information processing apparatus 100 are implemented by the processor 101 executing the program. The processor 101 is, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), or a combination thereof.

メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)、SRAM(Static RAM)、MRAM(Magnetoresistive RAM)、又はこれらの組み合わせである。 The memory 102 is, for example, ROM (Read Only Memory), RAM (Random Access Memory), or a combination thereof. ROM is, for example, PROM (Programmable ROM), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), or a combination thereof. RAM is, for example, DRAM (Dynamic RAM), SRAM (Static RAM), MRAM (Magnetoresistive RAM), or a combination thereof.

ストレージ103は、OS等のプログラム及び各種のデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SCM(Storage Class Memories)、又はこれらの組み合わせである。 The storage 103 stores programs such as an OS and various data. The storage 103 is, for example, flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), SCM (Storage Class Memories), or a combination thereof.

通信I/F104は、情報処理装置100を、ネットワークNを介して、外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)、Ethernet(登録商標)、又は光通信(例えば、Fibre Channel)に準拠したアダプタであるが、これに限られない。 The communication I/F 104 is an interface for connecting the information processing device 100 to an external device via the network N and controlling communication. The communication I/F 104 is, for example, an adapter conforming to Bluetooth (registered trademark), Wi-Fi (registered trademark), ZigBee (registered trademark), Ethernet (registered trademark), or optical communication (for example, Fiber Channel). , but not limited to this.

入出力I/F105は、情報処理装置100に入力装置106及び出力装置107を接続するためのインタフェースである。 The input/output I/F 105 is an interface for connecting the input device 106 and the output device 107 to the information processing apparatus 100 .

入力装置106は、ユーザUの操作を受け付け、受け付けた操作に応じた情報を情報処理装置100に入力するための装置である。入力装置106は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。 The input device 106 is a device for receiving an operation by the user U and inputting information corresponding to the received operation to the information processing apparatus 100 . The input device 106 is, for example, a mouse, keyboard, touch panel, microphone, scanner, camera, various sensors, operation buttons, or a combination thereof.

出力装置107は、情報処理装置100が保持した各種の情報を出力する装置である。出力装置107は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。 The output device 107 is a device that outputs various information held by the information processing device 100 . Output device 107 is, for example, a display, a projector, a printer, a speaker, a vibrator, or a combination thereof.

ドライブ装置108は、ディスクメディア109のデータを読み書きする。ドライブ装置108は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。 The drive device 108 reads and writes data on the disk media 109 . Drive device 108 is, for example, a magnetic disk drive, an optical disk drive, a magneto-optical disk drive, or a combination thereof.

ディスクメディア109は、情報を記録したディスク状の記録媒体である。ディスクメディア109は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、又はこれらの組み合わせである。 The disk medium 109 is a disk-shaped recording medium on which information is recorded. The disk medium 109 is, for example, a CD (Compact Disc), DVD (Digital Versatile Disc), FD (Floppy Disk), MO (Magneto-Optical disk), BD (Blu-ray (registered trademark) Disc), or a combination thereof. is.

なお、情報処理装置100のハードウェア構成は、上記の例に限られない。情報処理装置100は、上記のハードウェア機能構成の一部を備えてもよいし、上記以外のハードウェア構成を備えてもよい。 Note that the hardware configuration of the information processing apparatus 100 is not limited to the above example. The information processing apparatus 100 may include a part of the hardware functional configuration described above, or may include a hardware configuration other than the above.

また、各種のプログラムは、情報処理装置100の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して情報処理装置100に提供されてもよいし、ディスクメディア109などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置100に提供されてもよい。 Further, various programs may be written in the memory 102 or the storage 103 at the manufacturing stage of the information processing apparatus 100, may be provided to the information processing apparatus 100 via the network N, or may be stored in the disk medium 109 or the like. It may be provided to the information processing apparatus 100 via a non-transitory computer-readable recording medium.

<ユーザ端末2の機能構成>
次に、ユーザ端末2の機能構成について説明する。図3は、ユーザ端末2の機能構成の一例を示す図である。図3に示すように、ユーザ端末2は、通信部21と、記憶部22と、制御部23と、を備える。
<Functional Configuration of User Terminal 2>
Next, the functional configuration of the user terminal 2 will be described. FIG. 3 is a diagram showing an example of the functional configuration of the user terminal 2. As shown in FIG. As shown in FIG. 3, the user terminal 2 includes a communication unit 21, a storage unit 22, and a control unit 23.

通信部21は、通信I/Fにより実現される。通信部21は、ネットワークNを介して、インカム1及び支援装置3との間で情報の送受信を行う。具体的には、通信部21は、インカム1から音声情報を受信し、支援装置3にテキスト情報等を送信する。 The communication unit 21 is implemented by a communication I/F. The communication unit 21 transmits and receives information to and from the intercom 1 and the support device 3 via the network N. FIG. Specifically, the communication unit 21 receives voice information from the intercom 1 and transmits text information and the like to the support device 3 .

記憶部22は、メモリ102及びストレージ103により実現される。記憶部22は、音声情報221と、テキスト情報222と、を記憶する。 The storage unit 22 is implemented by the memory 102 and storage 103 . The storage unit 22 stores voice information 221 and text information 222 .

音声情報221は、インカム1から受信したユーザの音声情報である。音声情報221は、インカム1からの受信時刻と対応づけて記憶される。音声情報221は、所定の第1期間だけ記憶される。第1期間は、後述する第2期間より長い期間である。 The voice information 221 is user voice information received from the intercom 1 . The voice information 221 is stored in association with the reception time from the intercom 1 . The audio information 221 is stored only for a predetermined first period. The first period is longer than the second period described later.

テキスト情報222は、音声情報221を変換して得られたテキスト情報である。テキスト情報222は、変換元の音声情報221と対応づけて記憶される。 The text information 222 is text information obtained by converting the voice information 221 . The text information 222 is stored in association with the conversion source audio information 221 .

制御部23は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部23は、取得部231と、ウェイクワード検出部232と、テキスト化部233と、を備える。 The control unit 23 is implemented by the processor 101 reading and executing a program from the memory 102 and cooperating with other hardware configurations. The control unit 23 includes an acquisition unit 231 , a wake word detection unit 232 and a text conversion unit 233 .

取得部231は、インカム1から音声情報221を取得し、取得した音声情報221を受信時刻と対応づけて記憶部22に保存する。 The acquisition unit 231 acquires the voice information 221 from the intercom 1 and stores the acquired voice information 221 in the storage unit 22 in association with the reception time.

ウェイクワード検出部232は、音声情報221からウェイクワードを検出する。ウェイクワード検出部232は、例えば、ウェイクワードを発話した音声の時間領域又は周波数領域の音声情報を機械学習した検出モデルを利用して、ウェイクワードを検出する。検出モデルは、例えば、DNN(Deep Neural Network)やCNN(Convolutional Neural Network)などのニューラルネットワーク、SVM(Support Vector Machine)、GMM(Gaussian Mixture Model)、又はこれらの組み合わせであるが、これに限られない。 The wake word detector 232 detects wake words from the voice information 221 . The wake word detection unit 232 detects the wake word using, for example, a detection model obtained by machine-learning the time-domain or frequency-domain voice information of the voice that uttered the wake word. The detection model is, for example, a neural network such as DNN (Deep Neural Network) or CNN (Convolutional Neural Network), SVM (Support Vector Machine), GMM (Gaussian Mixture Model), or a combination thereof, but is limited to do not have.

ウェイクワード検出部232は、各ウェイクワードに対応する4つの検出モデルを利用して4つのウェイクワードをそれぞれ検出してもよいし、4つのウェイクワードをまとめて検出可能な1つの検出モデルを利用して4つのウェイクワードをそれぞれ検出してもよい。ウェイクワード検出部232は、ユーザ端末2がインカム1から音声情報221を受信している間、ウェイクワードの検出を常時実行する。なお、ウェイクワードの検出方法は、上記の例に限られず、任意に選択可能である。 The wake word detection unit 232 may detect each of the four wake words using four detection models corresponding to each wake word, or may use one detection model capable of collectively detecting the four wake words. to detect each of the four wake words. The wake word detection unit 232 constantly detects wake words while the user terminal 2 is receiving the voice information 221 from the intercom 1 . Note that the wake word detection method is not limited to the above example, and can be arbitrarily selected.

テキスト化部233は、音声認識処理によって音声情報221をテキスト情報222に変換し、得られたテキスト情報222を変換元の音声情報221と対応づけて記憶部22に保存する。より詳細には、テキスト化部233は、音声情報221からウェイクワードが検出された場合、検出されたウェイクワードより前の所定の第2期間の音声情報221をテキスト情報に変換する。ウェイクワードより前の第2期間の音声情報221とは、対応する受信時刻が、ウェイクワードの受信時刻より前の第2期間に含まれる音声情報221のことである。例えば、第2期間が20秒であり、15時10分30秒にウェイクワードが検出された場合、テキスト化部233は、15時10分10秒から15時10分30秒までの20秒間の音声情報221をテキスト情報に変換する。第2期間は、例えば、20秒であるが、これに限られない。なお、音声認識処理の方法は、任意に選択可能である。 The text conversion unit 233 converts the voice information 221 into text information 222 by voice recognition processing, and saves the obtained text information 222 in the storage unit 22 in association with the conversion source voice information 221 . More specifically, when the wake word is detected from the voice information 221, the text conversion unit 233 converts the voice information 221 of a predetermined second period before the detected wake word into text information. The voice information 221 in the second period before the wake word is the voice information 221 whose corresponding reception time is included in the second period before the wake word reception time. For example, if the second period is 20 seconds and the wake word is detected at 15:10:30, the text conversion unit 233 generates It converts the voice information 221 into text information. The second period is, for example, 20 seconds, but is not limited to this. The speech recognition processing method can be arbitrarily selected.

なお、ユーザ端末2の機能構成は、上記の例に限られない。ユーザ端末2は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、ユーザ端末2は、上記の機能構成の一部を支援装置3に設けられてもよいし、支援装置3の機能構成の一部を備えてもよい。 Note that the functional configuration of the user terminal 2 is not limited to the above example. The user terminal 2 may have a part of the above functional configuration, or may have a functional configuration other than the above. For example, the user terminal 2 may have a part of the above functional configuration in the support device 3 or may have a part of the functional configuration of the support device 3 .

<ユーザ端末2が実行する処理>
次に、ユーザ端末2が実行する処理について説明する。図4は、ユーザ端末2が実行する処理の一例を示すフローチャートである。
<Processing executed by user terminal 2>
Next, processing executed by the user terminal 2 will be described. FIG. 4 is a flowchart showing an example of processing executed by the user terminal 2. As shown in FIG.

(ステップS101)
取得部231は、通信部21がインカム1から受信した音声情報221を取得し、取得した音声情報221を受信時刻と対応づけて記憶部22に保存する。
(Step S101)
The acquisition unit 231 acquires the voice information 221 received by the communication unit 21 from the intercom 1 and stores the acquired voice information 221 in the storage unit 22 in association with the reception time.

(ステップS102)
ウェイクワード検出部232は、新たに保存された音声情報221に対してウェイクワードの検出を順次実行する。音声情報221からいずれのウェイクワードも検出されなかった場合(ステップS102:NO)、処理は終了する。一方、音声情報221からいずれかのウェイクワードが検出された場合(ステップS102:YES)、処理はステップS103に進む。
(Step S102)
The wake word detection unit 232 sequentially performs wake word detection on the newly stored voice information 221 . If no wake word is detected from the voice information 221 (step S102: NO), the process ends. On the other hand, if any wake word is detected from the voice information 221 (step S102: YES), the process proceeds to step S103.

(ステップS103)
ウェイクワード検出部232は、ウェイクワードを検出すると、ウェイクワードの検出をユーザに通知する。ウェイクワード検出部232は、例えば、ユーザ端末2のスピーカからウェイクワードの検出を通知する通知音を出力させてもよいし、ユーザ端末2の表示装置に、ウェイクワードの検出を通知する画像を表示させてもよい。また、ウェイクワード検出部232は、ウェイクワードの検出を通知する通知音の音声情報をインカム1に送信し、インカム1のスピーカから通知音を出力させてもよい。ウェイクワードの検出を通知する通知音は、ウェイクワードごとに異なるのが好ましい。このように、ウェイクワードの検出をユーザに通知することにより、ユーザは、自分が発話したウェイクワードが検出されたことを速やかに確認することができる。
(Step S103)
When the wake word detector 232 detects the wake word, it notifies the user of the detection of the wake word. For example, the wake word detection unit 232 may output a notification sound from the speaker of the user terminal 2 to notify detection of the wake word, or display an image notifying detection of the wake word on the display device of the user terminal 2. You may let Also, the wake word detection unit 232 may transmit audio information of a notification sound that notifies detection of the wake word to the intercom 1, and cause the speaker of the intercom 1 to output the notification sound. The notification sound that notifies detection of a wake word is preferably different for each wake word. By notifying the user of the detection of the wake word in this way, the user can quickly confirm that the wake word uttered by the user has been detected.

(ステップS104)
テキスト化部233は、ウェイクワード検出部232がウェイクワードを検出すると、ウェイクワード検出部232が検出したウェイクワードより前の所定期間の音声情報221を記憶部22から読み出す。
(Step S104)
When the wake word detection unit 232 detects a wake word, the text conversion unit 233 reads from the storage unit 22 the audio information 221 for a predetermined period before the wake word detected by the wake word detection unit 232 .

(ステップS105)
テキスト化部233は、読み出した音声情報221を、音声認識処理によりテキスト情報222に変換し、記憶部22に保存する。
(Step S105)
The text conversion unit 233 converts the read voice information 221 into text information 222 by voice recognition processing, and stores the text information 222 in the storage unit 22 .

(ステップS106)
テキスト化部233は、ユーザ端末2の識別情報と、ステップS102で検出されたウェイクワードの種類と、ステップS104で読み出した音声情報221及び受信時刻と、ステップS105で得られたテキスト情報222と、を対応づけて支援装置3に送信する。テキスト化部233が送信したこれらの情報は、支援装置3に受信され、受信情報321として保存される(図6参照)。
(Step S106)
The text conversion unit 233 includes the identification information of the user terminal 2, the type of wake word detected in step S102, the voice information 221 and reception time read out in step S104, the text information 222 obtained in step S105, are associated with each other and transmitted to the support device 3 . These pieces of information transmitted by the text conversion unit 233 are received by the support device 3 and stored as received information 321 (see FIG. 6).

<まとめ>
以上の処理により、ユーザがウェイクワードを発話すると、ウェイクワードより前の所定期間にユーザが発話した音声に対応するテキスト情報222等が支援装置3に送信され、支援装置3によりウェイクワード処理が実行される。すなわち、本実施形態によれば、ユーザは、ウェイクワード処理に応じた内容を発話した後にウェイクワードを発話することで、所望のウェイクワード処理を支援システムに実行させることができる。
<Summary>
Through the above processing, when the user utters the wake word, the text information 222 corresponding to the voice uttered by the user during a predetermined period before the wake word is transmitted to the support device 3, and the wake word processing is executed by the support device 3. be done. That is, according to the present embodiment, the user can cause the support system to execute the desired wake word process by speaking the wake word after speaking the contents corresponding to the wake word process.

このように、ウェイクワードを内容より後から検出することで、ウェイクワードを内容より先に検出する場合に比べて、ウェイクワードを発話してからウェイクワード処理が実行されるまでの時間を、内容を発話する時間の分だけ短縮することができる。ウェイクワードを発話してからウェイクワード処理が実行されるまでの時間は、ユーザが支援システムに指示を与えてからレスポンスが返ってくるまでのユーザの待ち時間に相当する。すなわち、本実施形態によれば、ユーザがウェイクワードを発話した後のユーザの待ち時間を短縮することができる。また、ウェイクワードを内容より後から検出することで、言い間違えた内容でウェイクワード処理が実行されることを抑制することができる。 In this way, by detecting the wake word after the content, the time from the utterance of the wake word to the execution of the wake word processing can be shortened compared to the case where the wake word is detected before the content. can be shortened by the amount of time it takes to speak. The time from when the wake word is uttered until the wake word process is executed corresponds to the user's waiting time from when the user gives an instruction to the support system until when a response is returned. That is, according to this embodiment, it is possible to shorten the user's waiting time after the user utters the wake word. Further, by detecting the wake word after the content, it is possible to prevent the wake word processing from being executed with the wrong content.

<介護業務支援装置3の機能構成>
次に、支援装置3の機能構成について説明する。図5は、支援装置3の機能構成の一例を示す図である。図5に示すように、支援装置3は、通信部31と、記憶部32と、制御部33と、を備える。
<Functional Configuration of Nursing Care Work Support Device 3>
Next, the functional configuration of the support device 3 will be described. FIG. 5 is a diagram showing an example of the functional configuration of the support device 3. As shown in FIG. As shown in FIG. 5 , the support device 3 includes a communication section 31 , a storage section 32 and a control section 33 .

通信部31は、通信I/Fにより実現される。通信部31は、ネットワークNを介して、ユーザ端末2及び介護システム4との間で情報の送受信を行う。具体的には、通信部31は、ユーザ端末2からテキスト情報222等を受信し、介護システム4に介護記録等を送信する。 The communication unit 31 is implemented by a communication I/F. The communication unit 31 transmits and receives information to and from the user terminal 2 and the care system 4 via the network N. Specifically, the communication unit 31 receives the text information 222 and the like from the user terminal 2 and transmits nursing care records and the like to the nursing care system 4 .

記憶部32は、メモリ102及びストレージ103により実現される。記憶部32は、受信情報321と、対象情報322と、代替語情報323と、を記憶する。 The storage unit 32 is implemented by the memory 102 and storage 103 . The storage unit 32 stores received information 321 , target information 322 and alternative word information 323 .

受信情報321は、ユーザ端末2から受信したテキスト情報222等の情報である。図6は、受信情報321の一例を示す図である。図6の受信情報321は、情報項目として「DID」、「時刻」、「ウェイクワード」、「テキスト」、及び「音声」を含む。「DID」は、受信情報321を一意に識別する識別子である。「時刻」は、受信情報321に含まれる音声情報221に対応づけられた最も早い受信時刻であり、音声情報221の開始時刻に相当する。「ウェイクワード」は、受信情報321を送信する原因となったウェイクワード(ステップS102で検出されたウェイクワード)の種類である。「テキスト」は、受信情報321に含まれる音声情報221を変換して得られたテキスト情報222である。「音声」は、受信情報321に含まれる音声情報221である。図6の例では、音声情報221はmp3であるが、音声情報221のファイル形式は任意である。 The received information 321 is information such as the text information 222 received from the user terminal 2 . FIG. 6 is a diagram showing an example of the reception information 321. As shown in FIG. The reception information 321 in FIG. 6 includes “DID”, “time”, “wake word”, “text”, and “voice” as information items. “DID” is an identifier that uniquely identifies the received information 321 . “Time” is the earliest reception time associated with the voice information 221 included in the reception information 321 and corresponds to the start time of the voice information 221 . “Wake word” is the type of wake word (wake word detected in step S102) that caused the reception information 321 to be transmitted. “Text” is text information 222 obtained by converting the voice information 221 included in the received information 321 . “Voice” is voice information 221 included in received information 321 . In the example of FIG. 6, the audio information 221 is mp3, but the file format of the audio information 221 is arbitrary.

例えば、図6の1行目の受信情報321は、「DID」が「D001」であり、「時刻」が「16:30:20」であり、「ウェイクワード」が「完了」であり、「テキスト」が「佐藤さん、お食事を全量召し上がりました」であり、「音声」が「M001.mp3」である。これは、ユーザが16:30:20から第2期間の間に「佐藤さん、お食事を全量召し上がりました、完了」と発話した結果、「完了(第1ウェイクワード)」というウェイクワードが検出され、「完了」より前の「佐藤さん、お食事を全量召し上がりました」という音声情報221(M001.mp3)と、これに対応するテキスト情報222と、を含む情報がユーザ端末2から送信され、支援装置3がこれらの情報を受信し、受信情報D001として記憶したことを示している。 For example, the reception information 321 on the first line in FIG. The text" is "Mr. Sato, I ate the whole meal", and the "voice" is "M001.mp3". This is because the user uttered "Mr. Sato, you have finished your meal. Done" during the second period from 16:30:20, and as a result, the wake word "done (first wake word)" was detected. Then, the user terminal 2 transmits information including voice information 221 (M001.mp3) saying "Mr. Sato, you have finished your meal" before "Complete" and text information 222 corresponding to this. , indicates that the support device 3 has received these pieces of information and stored them as reception information D001.

なお、受信情報321は、上記の例に限られない。受信情報321は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。 Note that the received information 321 is not limited to the above example. The received information 321 may include some of the above information items, or may include information items other than the above.

対象情報322は、ユーザが指定するウェイクワード処理の対象を示す情報である。本実施形態において、ユーザは、ウェイクワード処理の内容として、その呼称を発話することで、ウェイクワード処理の対象を指定する。ウェイクワード処理の対象は、被介護者(被作業者)、ユーザ(介護者)、及びグループの少なくとも1つを含む。対象情報322は、例えば、ユーザにより予め登録される。図7~図9は、対象情報322の一例を示す図である。 The target information 322 is information indicating the wake word processing target specified by the user. In this embodiment, the user designates the target of wake word processing by uttering its name as the content of wake word processing. Targets of wake word processing include at least one of a care recipient (worker), a user (caregiver), and a group. The target information 322 is registered in advance by the user, for example. 7 to 9 are diagrams showing examples of the target information 322. FIG.

図7の対象情報322は、被介護者の対象情報322であり、情報項目として「CID」、「氏名」、及び「呼称」を含む。「CID」は、被介護者を一意に識別する識別子である。「氏名」は、被介護者の氏名である。「呼称」は、被介護者の呼称であり、姓、名、及び通称の少なくとも1つを含む。例えば、図7の対象情報322は、「CID」が「C001」であり、「氏名」が「佐藤太郎」であり、「呼称」が「佐藤」、「太郎」、及び「さとさん」である。 The target information 322 of FIG. 7 is the target information 322 of the care recipient, and includes "CID", "name", and "designation" as information items. "CID" is an identifier that uniquely identifies a care recipient. "Name" is the name of the care recipient. "Name" is the name of the care receiver and includes at least one of surname, given name, and common name. For example, the target information 322 in FIG. 7 has "CID" of "C001", "name" of "Sato Taro", and "names" of "Sato", "Taro", and "Sato-san". .

図8の対象情報322は、ユーザの対象情報322であり、情報項目として「UID」、「氏名」、及び「呼称」を含む。「UID」は、ユーザを一意に識別する識別子である。「氏名」は、ユーザの氏名である。「呼称」は、ユーザの呼称であり、姓、名、及び通称の少なくとも1つを含む。例えば、図8の対象情報322は、「UID」が「U001」であり、「氏名」が「鈴木次郎」であり、「呼称」が「鈴木」及び「次郎」である。 The target information 322 in FIG. 8 is the target information 322 of the user, and includes "UID", "name", and "name" as information items. "UID" is an identifier that uniquely identifies a user. "Name" is the name of the user. "Name" is a user's name, and includes at least one of family name, first name, and common name. For example, in the object information 322 of FIG. 8, the "UID" is "U001", the "name" is "Jiro Suzuki", and the "names" are "Suzuki" and "Jiro".

図9の対象情報322は、グループの対象情報322であり、情報項目として「GID」、「グループ」、「呼称」、及び「メンバー」を含む。「GID」は、グループを一意に識別する識別子である。「グループ」は、グループの名称である。「呼称」は、グループの呼称である。「メンバー」は、グループに含まれる者を一意に識別する識別子である。例えば、図9の一行目の対象情報322は、「GID」が「G001」であり、「グループ」が「3階担当者」であり、「呼称」が「3階担当者」であり、「メンバー」が「U001」、及び「U002」である。これは、グループG001がユーザU001,U002を含む「3階担当者」という名称のグループであることを示している。また、図9の二行目の対象情報322は、「GID」が「G002」であり、「グループ」が「3階利用者」であり、「呼称」が「3階利用者」であり、「メンバー」が「C001」、及び「C002」である。これは、グループG002が被介護者C001,C002を含む「3階利用者」という名称のグループであることを示している。 The target information 322 in FIG. 9 is group target information 322 and includes "GID", "group", "name", and "member" as information items. "GID" is an identifier that uniquely identifies a group. "Group" is the name of the group. "Name" is the name of the group. A "member" is an identifier that uniquely identifies a person included in a group. For example, the target information 322 on the first line in FIG. "Members" are "U001" and "U002". This indicates that the group G001 is a group named "3rd floor person in charge" including users U001 and U002. In addition, the target information 322 on the second line in FIG. 9 has a "GID" of "G002", a "group" of "3rd floor user", a "name" of "3rd floor user", "Members" are "C001" and "C002". This indicates that the group G002 is a group named "3rd floor users" including care recipients C001 and C002.

なお、対象情報322は、上記の例に限られない。対象情報322は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。また、ユーザ及び被介護者を含むグループが登録されてもよい。 Note that the target information 322 is not limited to the above example. The target information 322 may include some of the above information items, or may include information items other than the above. Also, a group including users and care recipients may be registered.

代替語情報323は、介護作業の種類及び介護作業に関する量の少なくとも一方に対応する代替語を示す情報である。本実施形態では、後述する通り、ユーザの発話内容に応じて介護記録が作成される。しかし、介護作業の種類によっては、直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)場合があり得る。そこで、記録内容を直接的に発話しなくて済むように代替語が登録される。代替語情報323は、例えば、ユーザにより予め登録される。 The alternative word information 323 is information indicating an alternative word corresponding to at least one of the type of care work and the amount of care work. In this embodiment, as will be described later, a care record is created according to the content of the user's utterance. However, depending on the type of nursing care work, there may be cases where it is not appropriate to speak the recorded contents directly (it is not appropriate for the cared person to hear the recorded contents). Therefore, alternative words are registered so that the recorded contents do not need to be spoken directly. The alternative word information 323 is registered in advance by the user, for example.

図10は、代替語情報323の一例を示す図である。図10の代替語情報323は、情報項目として「WID」、「代替語」、「介護作業」、及び「量」を含む。「WID」は、代替語を一意に識別する識別子である。「代替語」は、登録された代替語である。「介護作業」は、代替語の種類(介護作業の種類)である。「量」は、代替語の種類(介護作業に関する量)である。例えば、図10の1行目の代替語情報323は、「WID」が「W001」であり、「代替語」が「A」であり、「介護作業」が「排泄介助(便)」である。これは、ユーザがウェイクワードの内容として「A」と発話すると、介護作業の種類が「排泄介助(便)」である介護記録が作成されることを示す。図10の例にように、代替語は、被介護者が聞いた場合に意味がわからない符号であるのが好ましい。代替語は、例えば、アルファベット、数値、又はこれらの組み合わせであるが、これに限られない。 FIG. 10 is a diagram showing an example of the alternative word information 323. As shown in FIG. The alternative term information 323 of FIG. 10 includes “WID”, “alternative term”, “nursing work”, and “quantity” as information items. "WID" is an identifier that uniquely identifies an alternative word. "Alternative" is a registered alternative. "Care work" is a type of alternative word (type of care work). “Quantity” is the type of alternative word (quantity related to care work). For example, the alternative word information 323 on the first line in FIG. 10 has "WID" as "W001", "alternative word" as "A", and "nursing work" as "excretion assistance (facility)". . This indicates that when the user utters "A" as the content of the wake word, a care record is created in which the type of care work is "excretion assistance (feeling)". As in the example of FIG. 10, the alternative word is preferably a code whose meaning is not understood by the care receiver when heard. Alternative words are, for example, alphabets, numbers, or combinations thereof, but are not limited thereto.

なお、代替語情報323は、上記の例に限られない。代替語情報323は、上記の情報項目の一部を含んでもよいし、上記以外の情報項目を含んでもよい。 Note that the alternative word information 323 is not limited to the above example. The alternative word information 323 may include some of the above information items, or may include information items other than the above.

制御部33は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部33は、取得部331と、対象特定部332と、ウェイクワード処理部333と、代替語検出部334と、を備える。 The control unit 33 is implemented by the processor 101 reading and executing a program from the memory 102 and cooperating with other hardware configurations. The control unit 33 includes an acquisition unit 331 , a target identification unit 332 , a wake word processing unit 333 and an alternative word detection unit 334 .

取得部331は、ユーザ端末2からテキスト情報222等の情報を取得し、受信情報321として記憶部32に保存する。 The acquisition unit 331 acquires information such as the text information 222 from the user terminal 2 and stores it in the storage unit 32 as reception information 321 .

対象特定部332は、受信情報321に含まれるテキスト情報222に基づいてウェイクワード処理の対象を特定する。具体的には、対象特定部322は、対象情報322を参照して、テキスト情報222に含まれる呼称を検出し、検出した呼称に対応する対象を、ウェイクワード処理の対象として特定する。 The target identifying unit 332 identifies the target of wake word processing based on the text information 222 included in the received information 321 . Specifically, the target identification unit 322 refers to the target information 322, detects the name included in the text information 222, and identifies the target corresponding to the detected name as the target of wake word processing.

ウェイクワード処理部333は、ウェイクワード及びウェイクワード処理の対象に応じたウェイクワード処理を実行する。ウェイクワード処理部333は、記録作成部3331と、記録通知部3332と、メッセージ送信部3333と、申し送り登録部3334と、を備える。 The wake word processing unit 333 executes wake word processing according to the wake word and the wake word processing target. The wake word processing unit 333 includes a record creation unit 3331 , a record notification unit 3332 , a message transmission unit 3333 , and a transfer registration unit 3334 .

記録作成部3331は、第1ウェイクワード(完了)が検出された場合、テキスト情報222から介護作業の内容を推定し、推定した介護作業の内容と、ウェイクワード処理の対象を示す情報(ユーザのUIDや氏名など)と、を含む介護記録を作成する。記録作成部3331は、キーワードを利用した方法、機械学習モデルを利用した方法、代替語を利用した方法など、任意の方法でテキスト情報222から介護作業の内容を推定できる。介護作業の内容は、介護作業の種類と、介護作業に関する量と、を含む。記録作成部3331は、作成した介護記録を、対象の介護記録として介護システム4に登録する。 When the first wake word (completion) is detected, the record creation unit 3331 estimates the content of the nursing care work from the text information 222, and generates information indicating the content of the estimated care work and the wake word processing target (user's UID, name, etc.) and create a care record. The record creating unit 3331 can estimate the contents of the nursing care work from the text information 222 by any method such as a method using keywords, a method using a machine learning model, a method using alternative words, or the like. The content of care work includes the type of care work and the amount of care work. The record creation unit 3331 registers the created care record in the care system 4 as the care record of the object.

記録通知部3332は、第2ウェイクワード(確認)が検出された場合、テキスト情報222から介護作業の内容を推定し、推定した介護作業の内容と、ウェイクワード処理の対象を示す情報(ユーザのUIDや氏名など)と、を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する。記録通知部3332は、キーワードを利用した方法、機械学習モデルを利用した方法、代替語を利用した方法など、任意の方法でテキスト情報222から介護作業の内容を推定できる。記録通知部3332は、取得した介護記録をユーザ端末2の表示装置に表示させることによりユーザに通知してもよいし、取得した介護記録をインカム1から音声出力させることによりユーザに通知してもよい。 When the second wake word (confirmation) is detected, the recording notification unit 3332 estimates the contents of the care work from the text information 222, and outputs information indicating the contents of the estimated care work and the wake word processing target (user's UID, name, etc.) from the nursing care system 4, and notifies the user of the acquired nursing care record. The recording notification unit 3332 can estimate the contents of nursing care work from the text information 222 by any method such as a method using a keyword, a method using a machine learning model, a method using an alternative word, or the like. The record notification unit 3332 may notify the user by displaying the acquired care record on the display device of the user terminal 2, or may notify the user by outputting the acquired care record from the intercom 1. good.

メッセージ送信部3333は、第3ウェイクワード(送信)が検出された場合、音声情報221及びテキスト情報222の少なくとも一方を、ユーザからのメッセージとして対象(他のユーザ)に送信する。メッセージを受信した対象(他のユーザ)のユーザ端末2は、受信したメッセージを表示装置に表示してもよいし、受信したメッセージを対象(他のユーザ)のインカム1から音声出力させてもよい。 When the third wake word (transmission) is detected, the message transmission unit 3333 transmits at least one of the voice information 221 and the text information 222 as a message from the user to the target (another user). The user terminal 2 of the target (another user) who received the message may display the received message on a display device, or may output the received message by voice from the target (another user) intercom 1. .

申し送り登録部3334は、第4ウェイクワード(申し送り)が検出された場合、音声情報221及びテキスト情報222の少なくとも一方を、対象に関する申し送り事項として介護システム4に登録する。 When the fourth wake word (transference) is detected, the transfer registration unit 3334 registers at least one of the voice information 221 and the text information 222 in the care system 4 as a transfer matter related to the object.

代替語検出部334は、第1ウェイクワード(完了)又は第2ウェイクワード(確認)が検出された場合、代替語情報323を参照して、テキスト情報222から予め登録された代替語を検出する。 When the first wake word (completion) or the second wake word (confirmation) is detected, the substitute word detection unit 334 refers to the substitute word information 323 and detects a pre-registered substitute word from the text information 222. .

なお、支援装置3の機能構成は、上記の例に限られない。支援装置3は、上記の機能構成の一部を備えてもよいし、上記以外の機能構成を備えてもよい。例えば、支援装置3は、上記の機能構成の一部をユーザ端末2又は介護システム4に設けられてもよいし、ユーザ端末2又は介護システム4の機能構成の一部を備えてもよい。 Note that the functional configuration of the support device 3 is not limited to the above example. The support device 3 may have a part of the above functional configuration, or may have a functional configuration other than the above. For example, the support device 3 may be provided with part of the above functional configuration in the user terminal 2 or the care system 4 , or may be provided with part of the functional configuration of the user terminal 2 or the care system 4 .

<介護業務支援装置3が実行する処理>
次に、支援装置3が実行する処理について説明する。図11は、支援装置3が実行する処理の一例を示すフローチャートである。
<Processing Executed by Nursing Care Work Support Device 3>
Next, processing executed by the support device 3 will be described. FIG. 11 is a flow chart showing an example of processing executed by the support device 3 .

(ステップS201)
取得部331は、通信部31がユーザ端末2から受信したテキスト情報222等を取得し、取得したテキスト情報222等を受信情報321として記憶部32に保存する。
(Step S201)
The acquisition unit 331 acquires the text information 222 and the like received by the communication unit 31 from the user terminal 2 and stores the acquired text information 222 and the like in the storage unit 32 as the received information 321 .

(ステップS202)
対象特定部332は、対象情報322を参照して、受信情報321に含まれるテキスト情報222から対象の呼称を検出する。対象の呼称を検出しなかった場合(ステップS202:NO)、処理は終了する。一方、対象の呼称を検出した場合(ステップS202:YES)、処理はステップS203に進む。
(Step S202)
The target identification unit 332 refers to the target information 322 and detects the name of the target from the text information 222 included in the received information 321 . If the target name is not detected (step S202: NO), the process ends. On the other hand, if the target name is detected (step S202: YES), the process proceeds to step S203.

(ステップS203)
対象特定部332は、ステップS202で検出した呼称に対応する対象を、ウェイクワード処理の対象として特定する。
(Step S203)
The target identification unit 332 identifies the target corresponding to the name detected in step S202 as the target of wake word processing.

(ステップS204)
ウェイクワード処理部333は、受信情報321に含まれるウェイクワードの種類に応じたウェイクワード処理を実行する。ウェイクワードが第1ウェイクワードである場合(ステップS204:完了)、処理はステップS205に進む。ウェイクワードが第2ウェイクワードである場合(ステップS204:確認)、処理はステップS206に進む。ウェイクワードが第3ウェイクワードである場合(ステップS204:送信)、処理はステップS207に進む。ウェイクワードが第4ウェイクワードである場合(ステップS204:申し送り)、処理はステップS208に進む。
(Step S204)
The wake word processing unit 333 executes wake word processing according to the type of wake word included in the received information 321 . If the wake word is the first wake word (step S204: complete), the process proceeds to step S205. If the wake word is the second wake word (step S204: confirm), the process proceeds to step S206. If the wake word is the third wake word (step S204: send), the process proceeds to step S207. If the wake word is the fourth wake word (step S204: transfer), the process proceeds to step S208.

(ステップS205)
記録作成部3331は、介護作業の内容と、ステップS203で特定したウェイクワード処理の対象を示す情報と、を含む介護記録を作成し、介護システム4に登録する。ウェイクワード処理の対象は、介護作業の対象に相当する。介護記録の作成方法について詳しくは後述する。
(Step S205)
The record creation unit 3331 creates a care record including the content of the care work and the information indicating the target of the wake word processing specified in step S203, and registers it in the care system 4. FIG. The target of wake word processing corresponds to the target of nursing care work. The details of how to create a care record will be described later.

(ステップS206)
記録通知部3332は、介護作業の内容と、ステップS203で特定したウェイクワード処理の対象を示す情報と、を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する。ウェイクワード処理の対象は、介護作業の対象に相当する。介護記録の通知方法について詳しくは後述する。
(Step S206)
The record notification unit 3332 acquires from the nursing care system 4 a nursing care record including the details of the nursing care work and the information indicating the wake word processing target specified in step S203, and notifies the user of the acquired nursing care record. The target of wake word processing corresponds to the target of nursing care work. The details of how to notify the care record will be described later.

(ステップS207)
メッセージ送信部3333は、受信情報321に含まれる音声情報221及びテキスト情報222の少なくとも一方を、ユーザからのメッセージとしてステップS203で特定したウェイクワード処理の対象のユーザ端末2に送信する。ウェイクワード処理の対象は、メッセージの宛先に相当する。
(Step S207)
The message transmitting unit 3333 transmits at least one of the voice information 221 and the text information 222 included in the received information 321 as a message from the user to the user terminal 2 specified in step S203 as a target of wake word processing. The target of wake word processing corresponds to the destination of the message.

(ステップS208)
申し送り登録部3334は、受信情報321に含まれる音声情報221及びテキスト情報222の少なくとも一方を、ステップS203で特定したウェイクワード処理の対象に関する申し送り事項として介護システム4に登録する。ウェイクワード処理の対象は、申し送り事項の対象に相当する。
(Step S208)
The transfer registration unit 3334 registers at least one of the voice information 221 and the text information 222 included in the received information 321 in the care system 4 as a transfer item related to the wake word processing target identified in step S203. The target of wake word processing corresponds to the target of transfer items.

なお、ウェイクワード処理部333は、ウェイクワード処理の完了後、その旨をユーザに通知するのが好ましい。ウェイクワード処理部333は、例えば、ユーザ端末2のスピーカからウェイクワード処理の完了を通知する通知音を出力させてもよいし、ユーザ端末2の表示装置に、ウェイクワード処理の完了を通知する画像を表示させてもよい。また、ウェイクワード処理部333は、ウェイクワード処理の完了を通知する通知音の音声情報をインカム1に送信し、インカム1のスピーカから通知音を出力させてもよい。ウェイクワード処理の完了を通知する通知音は、ウェイクワード処理ごとに異なるのが好ましい。このように、ウェイクワード処理の完了をユーザに通知することにより、ユーザは、自分が発話したウェイクワードに応じたウェイクワード処理が完了したことを速やかに確認することができる。 Note that the wake word processing unit 333 preferably notifies the user to that effect after the wake word processing is completed. For example, the wake word processing unit 333 may output a notification sound from the speaker of the user terminal 2 to notify the completion of the wake word process, or display an image notifying the completion of the wake word process on the display device of the user terminal 2. may be displayed. Also, the wake word processing unit 333 may transmit audio information of a notification sound for notifying the completion of the wake word process to the intercom 1 and cause the speaker of the intercom 1 to output the notification sound. The notification sound for notifying the completion of wake word processing is preferably different for each wake word processing. In this way, by notifying the user of the completion of wake word processing, the user can quickly confirm that the wake word processing corresponding to the wake word uttered by the user has been completed.

<まとめ>
以上の処理により、支援装置3は、ユーザが発話したウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、に応じたウェイクワード処理を実行することができる。すなわち、ユーザは、所望のウェイクワード処理に応じたウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、を発話するだけで、支援装置3に複数種類のウェイクワード処理を実行させることができる。
<Summary>
With the above processing, the support device 3 can execute the wake word process according to the wake word uttered by the user, the name of the target of the wake word process, and the contents of the wake word process. That is, the user simply utters a wake word corresponding to the desired wake word process, the name of the target of the wake word process, and the contents of the wake word process. can be executed.

例えば、ユーザが「佐藤さん、お食事を全量召し上がりました、完了」と発話すると、取得部331が受信情報D001(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、お食事を全量召し上がりました」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、記録作成部3331が「佐藤さん、お食事を全量召し上がりました」というテキスト情報222から介護作業の内容(例えば、種類:食事介助,量:全量)を推定し、推定した介護作業の内容及び被介護者C001を示す情報を含む介護記録を作成し(ステップS205)、作成した介護記録を介護システム4に登録する。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容と、「完了」というウェイクワードと、を発話するだけで、所望の介護記録を作成することができる。 For example, when the user utters "Mr. Sato, you have finished your meal," the acquisition unit 331 acquires the reception information D001 (see FIG. 6) (step S201). Next, the target identifying unit 332 detects the name "Sato" from the text information 222 "Mr. Sato, you have eaten the entire meal" (step S202: YES), and the care-receiver C001 is selected as the wake word processing target. (see FIG. 7) is specified (step S203). After that, the record creation unit 3331 estimates the content of the nursing care work (for example, type: meal assistance, amount: total amount) from the text information 222 "Mr. and care recipient C001 (step S205), and the created care record is registered in the care system 4. FIG. In this way, the user can create a desired care record simply by uttering the name of the cared person, the contents of the care record, and the wake word "completion".

また、ユーザが「佐藤さんの服薬について、確認」と発話すると、取得部331が受信情報D002(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さんの服薬について」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、記録通知部3332が「佐藤さんの服薬について」というテキスト情報222から介護作業の内容(例えば、種類:服薬介助)を推定し、推定した介護作業の内容及び被介護者C001を示す情報を含む介護記録を介護システム4から取得し、取得した介護記録をユーザに通知する(ステップS206)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容と、「確認」というウェイクワードと、を発話するだけで、所望の介護記録を確認することができる。 Further, when the user utters "Confirm Mr. Sato's medication intake", the acquisition unit 331 acquires the reception information D002 (see FIG. 6) (step S201). Next, the target identification unit 332 detects the name "Sato" from the text information 222 "Regarding Mr. Sato's medication" (step S202: YES), and the care recipient C001 (see FIG. 7) is targeted for wake word processing. is specified (step S203). After that, the record notification unit 3332 estimates the content of the nursing care work (for example, type: medication assistance) from the text information 222 of "Regarding Mr. Sato's medication", and sends information indicating the content of the estimated care work and the care recipient C001. It acquires the care record including the care record from the care system 4 and notifies the user of the acquired care record (step S206). In this way, the user can confirm the desired care record simply by uttering the care recipient's name (designation), the contents of the care record, and the wake word "confirm".

また、ユーザが「鈴木さん、至急食堂にきてください、送信」と発話すると、取得部331が受信情報D003(図6参照)を取得する(ステップS201)。次に、対象特定部332が「鈴木さん、至急食堂にきてください」というテキスト情報222から「鈴木」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象としてユーザU001(図8参照)を特定する(ステップS203)。その後、メッセージ送信部3333が「鈴木さん、至急食堂にきてください」というテキスト情報222及び音声情報221(M003.mp3)の少なくとも一方をユーザU001に送信する(ステップS207)。このように、ユーザは、他のユーザの名前(呼称)と、メッセージの内容と、「送信」というウェイクワードと、を発話するだけで、所望の他のユーザにメッセージを送信することができる。 Further, when the user utters "Mr. Suzuki, please come to the cafeteria immediately, send", the acquisition unit 331 acquires the reception information D003 (see FIG. 6) (step S201). Next, the target identification unit 332 detects the name “Suzuki” from the text information 222 “Mr. reference) is specified (step S203). After that, the message transmission unit 3333 transmits at least one of the text information 222 and the voice information 221 (M003.mp3) saying "Mr. Suzuki, please come to the cafeteria immediately" to the user U001 (step S207). In this way, a user can send a message to a desired other user simply by speaking the other user's name (designation), the content of the message, and the wake word "send".

また、ユーザが「佐藤さんが風邪気味です、申し送り」と発話すると、取得部331が受信情報D004(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さんが風邪気味です」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、申し送り登録部3334が「佐藤さんが風邪気味です」というテキスト情報222及び音声情報221(M004.mp3)の少なくとも一方を被介護者C001に関する申し送り事項として介護システム4に登録する(ステップS208)。このように、ユーザは、被介護者の名前(呼称)と、申し送りの内容と、「申し送り」というウェイクワードと、を発話するだけで、所望の申し送りを介護システム4に登録することができる。 Also, when the user utters, "Mr. Sato has a cold, please let me know", the acquisition unit 331 acquires the reception information D004 (see FIG. 6) (step S201). Next, the target identifying unit 332 detects the name “Sato” from the text information 222 “Mr. ) is specified (step S203). After that, the referral registration unit 3334 registers at least one of the text information 222 and the voice information 221 (M004.mp3) saying "Mr. Sato has a cold" in the care system 4 as a referral item regarding the care recipient C001 (step S208). . In this way, the user can register a desired handover in the nursing care system 4 simply by uttering the care receiver's name (designation), the details of the handover, and the wake word "handover".

なお、ウェイクワードを検出した場合にウェイクワードより後の音声情報をテキスト情報に変換してウェイクワード処理を実行する場合も、上記と同様に、支援装置3は、ユーザが発話したウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、に応じたウェイクワード処理を実行することができる。すなわち、ユーザは、所望のウェイクワード処理に応じたウェイクワードと、ウェイクワード処理の対象の呼称と、ウェイクワード処理の内容と、を発話するだけで、支援装置3に所望のウェイクワード処理を実行させることができる。 Note that when a wake word is detected and speech information after the wake word is converted into text information and the wake word process is executed, similarly to the above, the support device 3 receives the wake word uttered by the user, A wake word process can be executed according to the name of the wake word process target and the contents of the wake word process. That is, the user simply utters a wake word corresponding to the desired wake word process, the name of the target of the wake word process, and the contents of the wake word process, and the desired wake word process is executed by the support device 3. can be made

<介護記録の作成方法>
次に、介護記録の作成方法について詳しく説明する。図12は、介護記録の作成方法の一例を示すフローチャートである。図12の処理は、ステップS205の内部処理に相当する。
<How to create care records>
Next, a method for creating a care record will be described in detail. FIG. 12 is a flow chart showing an example of a method for creating a care record. The processing of FIG. 12 corresponds to the internal processing of step S205.

(ステップS301)
代替語検出部334は、代替語情報323を参照して、テキスト情報222から代替語を検出する。代替語が検出された場合(ステップS301:YES)、処理はステップS302に進む。一方、代替語が検出されない場合(ステップS301:NO)、処理はステップS303に進む。
(Step S301)
The substitute word detection unit 334 refers to the substitute word information 323 and detects substitute words from the text information 222 . If a substitute word is detected (step S301: YES), the process proceeds to step S302. On the other hand, if no alternative word is detected (step S301: NO), the process proceeds to step S303.

(ステップS302)
記録作成部3331は、代替語情報323を参照して、ステップS301で検出された代替語に対応する介護作業の内容を、テキスト情報222に対応する介護作業の内容の推定結果として取得する。
(Step S302)
The record creating unit 3331 refers to the substitute word information 323 and acquires the contents of the care work corresponding to the substitute word detected in step S301 as an estimation result of the contents of the care work corresponding to the text information 222 .

(ステップS303)
記録作成部3331は、テキスト情報222に基づいて、介護作業の内容を推定する。推定方法は任意に選択可能である。
(Step S303)
Based on the text information 222, the record creation unit 3331 estimates the details of the nursing care work. Any estimation method can be selected.

(ステップS304)
記録作成部3331は、ステップS302又はステップS303で推定した介護作業の内容(介護作業の種類及び量の少なくとも一方)と、ステップS203で特定したウェイクワード処理の対象(被介護者)を示す情報と、を含む介護記録を作成する。
(Step S304)
The record creating unit 3331 stores information indicating the details of the nursing care work estimated in step S302 or S303 (at least one of the type and amount of nursing care work) and the wake word processing target (cared person) identified in step S203. Create a care record, including:

(ステップS305)
記録作成部3331は、ステップS304で作成した介護記録を介護システム4に登録し、登録が完了したことをユーザに通知する。
(Step S305)
The record creation unit 3331 registers the care record created in step S304 in the care system 4 and notifies the user that the registration has been completed.

<まとめ>
以上の処理により、支援装置3は、ウェイクワード処理の対象(被介護者)の呼称と、代替語に対応する介護作業の内容と、を含む介護記録を作成することができる。すなわち、ユーザは、完了というウェイクワードと、ウェイクワード処理の対象(被介護者)の呼称と、介護作業の内容に対応する代替語と、を発話するだけで、支援装置3に所望の介護記録を作成させることができる。
<Summary>
Through the above-described processing, the support device 3 can create a care record including the name of the wake word processing target (care recipient) and the content of the care work corresponding to the substitute word. In other words, the user simply utters the wake word of completion, the name of the target of wake word processing (the person receiving care), and an alternative word corresponding to the contents of the care work, and the desired care record is sent to the support device 3. can be created.

例えば、ユーザが「佐藤さん、A1、完了」と発話すると、取得部331が受信情報D005(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、A1」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、代替語検出部334が「佐藤さん、A1」というテキスト情報222から「A」及び「1」という代替語を検出し(ステップS301:YES)、記録作成部3331が介護作業の内容として「種類:排泄介助(便),量:少量」を取得し(ステップS302)、「種類:排泄介助(便),量:少量」及び被介護者C001を示す情報を含む介護記録を作成し(ステップS304)、作成した介護記録を介護システム4に登録する(ステップS305)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容に対応する代替語と、「完了」というウェイクワードと、を発話するだけで、被介護者などの前で直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)介護記録を作成することができる。すなわち、ユーザは、直接的に記録内容を発話することなく介護記録を作成することができる。 For example, when the user utters "Mr. Sato, A1, done", the acquisition unit 331 acquires the reception information D005 (see FIG. 6) (step S201). Next, the target identification unit 332 detects the name "Sato" from the text information 222 "Mr. Sato, A1" (step S202: YES), and selects the care-receiver C001 (see FIG. 7) as the wake word processing target. Identify (step S203). After that, the substitute word detection unit 334 detects the substitute words "A" and "1" from the text information 222 "Mr. Sato, A1" (step S301: YES), and the record creation unit 3331 sets " Type: excretion assistance (feces), amount: small amount" is acquired (step S302), and a nursing care record is created that includes information indicating "type: excretion assistance (feces), amount: small amount" and care recipient C001 (step S302). S304), the created care record is registered in the care system 4 (step S305). In this way, the user can directly speak in front of the care receiver, etc., simply by uttering the care receiver's name (designation), an alternative word corresponding to the content of the care record, and the wake word "completion". It is possible to create a care record in which it is not appropriate to speak out the contents of the record directly (it is not appropriate to hear the contents of the record by the cared person). In other words, the user can create a care record without directly speaking the content of the record.

<介護記録の通知方法>
次に、介護記録の通知方法について詳しく説明する。図13は、介護記録の通知方法の一例を示すフローチャートである。図13の処理は、ステップS206の内部処理に相当する。
<Method of notifying care records>
Next, a method for notifying care records will be described in detail. FIG. 13 is a flowchart illustrating an example of a care record notification method. The processing of FIG. 13 corresponds to the internal processing of step S206.

(ステップS401)
代替語検出部334は、代替語情報323を参照して、テキスト情報222から代替語を検出する。代替語が検出された場合(ステップS401:YES)、処理はステップS402に進む。一方、代替語が検出されない場合(ステップS401:NO)、処理はステップS403に進む。
(Step S401)
The substitute word detection unit 334 refers to the substitute word information 323 and detects substitute words from the text information 222 . If a substitute word is detected (step S401: YES), the process proceeds to step S402. On the other hand, if no alternative word is detected (step S401: NO), the process proceeds to step S403.

(ステップS402)
記録通知部3332は、代替語情報323を参照して、ステップS401で検出された代替語に対応する介護作業の内容を、テキスト情報222に対応する介護作業の内容の推定結果として取得する。
(Step S402)
The record notification unit 3332 refers to the substitute word information 323 and acquires the content of the care work corresponding to the substitute word detected in step S401 as an estimation result of the content of the care work corresponding to the text information 222 .

(ステップS403)
記録通知部3332は、テキスト情報222に基づいて、介護作業の内容を推定する。推定方法は任意に選択可能である。
(Step S403)
The recording notification unit 3332 estimates the details of the nursing care work based on the text information 222 . Any estimation method can be selected.

(ステップS404)
記録通知部3332は、ステップS402又はステップS403で推定した介護作業の内容(介護作業の種類及び量の少なくとも一方)と、ステップS203で特定したウェイクワード処理の対象(被介護者)を示す情報と、を含む介護記録を介護システム4から取得する。
(Step S404)
The record notification unit 3332 records the details of the care work estimated in step S402 or S403 (at least one of the type and amount of care work), and information indicating the wake word processing target (cared person) identified in step S203. , is obtained from the nursing care system 4 .

(ステップS405)
記録通知部3332は、ステップS404で取得した介護記録をユーザ端末2に送信することにより、ユーザに通知する。
(Step S405)
The record notification unit 3332 notifies the user by transmitting the care record acquired in step S404 to the user terminal 2 .

<まとめ>
以上の処理により、支援装置3は、ウェイクワード処理の対象(被介護者)の呼称と、代替語に対応する介護作業の内容と、を含む介護記録をユーザに通知することができる。すなわち、ユーザは、確認というウェイクワードと、ウェイクワード処理の対象(被介護者)の呼称と、介護作業の内容に対応する代替語と、を発話するだけで、所望の介護記録を確認することができる。
<Summary>
With the above processing, the support device 3 can notify the user of a care record including the name of the wake word processing target (care recipient) and the content of the care work corresponding to the alternative word. That is, the user can confirm the desired care record simply by uttering the wake word of confirmation, the name of the target (care receiver) of the wake word processing, and the alternative word corresponding to the contents of the care work. can be done.

例えば、ユーザが「佐藤さん、B、確認」と発話すると、取得部331が受信情報D006(図6参照)を取得する(ステップS201)。次に、対象特定部332が「佐藤さん、B」というテキスト情報222から「佐藤」という呼称を検出し(ステップS202:YES)、ウェイクワード処理の対象として被介護者C001(図7参照)を特定する(ステップS203)。その後、代替語検出部334が「佐藤さん、B」というテキスト情報222から「B」という代替語を検出し(ステップS401:YES)、記録通知部3332が介護作業の内容として「種類:排泄介助(尿)」を取得し(ステップS402)、「種類:排泄介助(尿)」及び被介護者C001を示す情報を含む介護記録を介護システム4から取得し(ステップS404)、取得した介護記録をユーザに通知する(ステップS405)。このように、ユーザは、被介護者の名前(呼称)と、介護記録の内容に対応する代替語と、「確認」というウェイクワードと、を発話するだけで、直接的に記録内容を発話することが適切でない(記録内容を被介護者に聞かれることが適切でない)介護記録を確認することができる。すなわち、ユーザは、直接的に記録内容を発話することなく介護記録を確認することができる。 For example, when the user utters "Mr. Sato, B, check", the acquisition unit 331 acquires the reception information D006 (see FIG. 6) (step S201). Next, the target identification unit 332 detects the name "Sato" from the text information 222 "Mr. Sato, B" (step S202: YES), and selects the care recipient C001 (see FIG. 7) as the wake word processing target. Identify (step S203). After that, the alternative word detection unit 334 detects the alternative word "B" from the text information 222 "Mr. Sato, B" (step S401: YES), and the recording notification unit 3332 sets the contents of the care work to "type: excretion assistance." (urine)” (step S402), acquires a nursing care record including information indicating “type: excretion assistance (urine)” and the care recipient C001 from the nursing system 4 (step S404), and stores the acquired nursing care record. The user is notified (step S405). In this way, the user directly utters the contents of the record simply by uttering the name of the care receiver, an alternative word corresponding to the contents of the care record, and the wake word "confirm". It is possible to check care records that are not appropriate (it is not appropriate for the care receiver to ask about the contents of the record). In other words, the user can check the nursing care record without directly uttering the contents of the record.

<付記>
本実施形態は、以下の開示を含む。
<Appendix>
This embodiment includes the following disclosure.

(付記1-1)
情報処理システムが実行する業務支援方法であって、
ユーザが発話した音声の音声情報を取得する取得処理と、
取得した前記音声情報を所定期間記憶する記憶処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化処理と、
を含む業務支援方法。
(Appendix 1-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a storage process of storing the acquired voice information for a predetermined period;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting voice information before the wake word into text information when the wake word is detected;
business support methods including;

(付記1-2)
前記検出処理は、前記ウェイクワードの音声情報を機械学習した検出モデルを利用して前記ウェイクワードを検出する
付記1-1に記載の業務支援方法。
(Appendix 1-2)
The business support method according to appendix 1-1, wherein the detection process detects the wake word using a detection model obtained by machine-learning voice information of the wake word.

(付記1-3)
前記検出処理は、複数種類の前記ウェイクワードをそれぞれ検出する
付記1-1又は付記1-2に記載の業務支援方法。
(Appendix 1-3)
The business support method according to appendix 1-1 or appendix 1-2, wherein the detection process detects each of a plurality of types of wake words.

(付記1-4)
ユーザが発話した音声の音声情報を取得する取得部と、
取得した前記音声情報を所定期間記憶する記憶部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化部と、
を備える業務支援システム。
(Appendix 1-4)
an acquisition unit that acquires voice information of voice uttered by a user;
a storage unit that stores the acquired voice information for a predetermined period;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that, when detecting the wake word, converts audio information prior to the wake word into text information;
business support system.

(付記1-5)
情報処理装置システムに、
ユーザが発話した音声の音声情報を取得する取得処理と、
取得した前記音声情報を所定期間記憶する記憶処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記ウェイクワードより前の音声情報をテキスト情報に変換するテキスト化処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 1-5)
In the information processing equipment system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a storage process of storing the acquired voice information for a predetermined period;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting voice information before the wake word into text information when the wake word is detected;
A program for executing a business support method including

(付記2-1)
情報処理システムが実行する業務支援方法であって、
ユーザが発話した音声の音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報に基づいて対象を特定する対象特定処理と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理と、
を含む業務支援方法。
(Appendix 2-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
a target specifying process for specifying a target based on the text information;
Wake word processing for executing processing according to the wake word and the target;
business support methods including;

(付記2-2)
前記ウェイクワード処理は、第1ウェイクワードが検出された場合、前記テキスト情報から推定した作業の内容と、前記対象を示す情報と、を含む記録を作成する
付記2-1に記載の業務支援方法。
(Appendix 2-2)
The business support method according to appendix 2-1, wherein the wake word process creates a record including the work content estimated from the text information and the information indicating the target when the first wake word is detected. .

(付記2-3)
前記ウェイクワード処理は、第2ウェイクワードが検出された場合、前記テキスト情報から推定した作業の内容と、前記対象を示す情報と、を含む記録を前記ユーザに通知する
付記2-1又は付記2-2に記載の業務支援方法。
(Appendix 2-3)
Supplementary note 2-1 or Supplementary note 2 of notifying the user of a record including the work content estimated from the text information and the information indicating the target when the second wake word is detected in the wake word processing. - The business support method described in 2.

(付記2-4)
前記ウェイクワード処理は、第3ウェイクワードが検出された場合、前記音声情報及び前記テキスト情報の少なくとも一方を前記対象に送信する
付記2-1から付記2-3までのいずれかに記載の業務支援方法。
(Appendix 2-4)
The business support according to any one of appendices 2-1 to 2-3, wherein the wake word processing transmits at least one of the voice information and the text information to the target when a third wake word is detected. Method.

(付記2-5)
前記ウェイクワード処理は、第4ウェイクワードが検出された場合、前記音声情報及び前記テキスト情報の少なくとも一方を前記対象に関する申し送り事項として登録する
付記2-1から付記2-4までのいずれかに記載の業務支援方法。
(Appendix 2-5)
Any one of appendices 2-1 to 2-4, wherein the wake word processing registers at least one of the voice information and the text information as a matter to be conveyed regarding the object when a fourth wake word is detected. business support method.

(付記2-6)
前記対象は、前記作業者、被作業者、及び予め設定されたグループの少なくとも1つを含む
付記2-1から付記2-5までのいずれかに記載の業務支援方法。
(Appendix 2-6)
The business support method according to any one of attachments 2-1 to 2-5, wherein the target includes at least one of the worker, the worker, and a preset group.

(付記2-7)
ユーザが発話した音声の音声情報を取得する取得部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報に基づいて対象を特定する対象特定部と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理部と、
を備える業務支援システム。
(Appendix 2-7)
an acquisition unit that acquires voice information of voice uttered by a user;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a target identifying unit that identifies a target based on the text information;
a wake word processing unit that executes processing according to the wake word and the target;
business support system.

(付記2-8)
情報処理システムに、
ユーザが発話した音声の音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報に基づいて対象を特定する対象特定処理と、
前記ウェイクワード及び前記対象に応じた処理を実行するウェイクワード処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 2-8)
information processing system,
Acquisition processing for acquiring voice information of voice uttered by a user;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
a target specifying process for specifying a target based on the text information;
Wake word processing for executing processing according to the wake word and the target;
A program for executing a business support method including

(付記3-1)
情報処理システムが実行する業務支援方法であって、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法。
(Appendix 3-1)
A business support method executed by an information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
business support methods including;

(付記3-2)
前記テキスト情報に基づいて対象を特定する対象特定処理を更に含み、
前記記録は、特定された前記対象を示す情報を更に含む
付記3-1に記載の業務支援方法。
(Appendix 3-2)
further comprising a target identification process for identifying a target based on the text information;
The business support method according to appendix 3-1, wherein the record further includes information indicating the specified object.

(付記3-3)
前記代替語は、作業の種類及び作業に関する量の少なくとも一方に対応する
付記3-1又は付記3-2に記載の業務支援方法。
(Appendix 3-3)
The work support method according to Appendix 3-1 or Appendix 3-2, wherein the alternative term corresponds to at least one of the type of work and the amount of work.

(付記3-4)
前記代替語は、アルファベット、数値、又はこれらの組み合わせである
付記3-1から付記3-3までのいずれかに記載の業務支援方法。
(Appendix 3-4)
The business support method according to any one of Appendices 3-1 to 3-3, wherein the alternative words are alphabets, numbers, or a combination thereof.

(付記3-5)
音声情報を取得する取得部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報から予め登録された代替語を検出する代替語検出部と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成部と、
を備える業務支援システム。
(Appendix 3-5)
an acquisition unit that acquires voice information;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a substitute term detection unit that detects pre-registered substitute terms from the text information;
a record creation unit that creates a record including the content of the work corresponding to the alternative word;
business support system.

(付記3-6)
情報処理システムに、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法を実行させるためのプログラム。
(Appendix 3-6)
information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
A program for executing a business support method including

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above-described meaning, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims. In addition, the present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.

1:インカム
2:ユーザ端末
3:介護業務支援装置
4:介護システム
21:通信部
22:記憶部
23:制御部
221:音声情報
222:テキスト情報
231:ウェイクワード検出部
232:テキスト化部
31:通信部
32:記憶部
33:制御部
321:受信情報
322:対象情報
323:代替語情報
331:取得部
332:対象特定部
333:ウェイクワード処理部
334:代替語検出部
100:情報処理装置
101:プロセッサ
102:メモリ
103:ストレージ
104:通信I/F
105:入出力I/F
106:入力装置
107:出力装置
108:ドライブ装置
109:ディスクメディア

1: income 2: user terminal 3: nursing care work support device 4: nursing care system 21: communication unit 22: storage unit 23: control unit 221: voice information 222: text information 231: wake word detection unit 232: text conversion unit 31: Communication unit 32: Storage unit 33: Control unit 321: Received information 322: Target information 323: Alternative term information 331: Acquisition unit 332: Target identification unit 333: Wake word processing unit 334: Alternative term detection unit 100: Information processing device 101 : Processor 102: Memory 103: Storage 104: Communication I/F
105: Input/output I/F
106: Input device 107: Output device 108: Drive device 109: Disk media

Claims (6)

情報処理システムが実行する業務支援方法であって、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法。
A business support method executed by an information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
business support methods including;
前記テキスト情報に基づいて対象を特定する対象特定処理を更に含み、
前記記録は、特定された前記対象を示す情報を更に含む
請求項1に記載の業務支援方法。
further comprising a target identification process for identifying a target based on the text information;
2. The business support method according to claim 1, wherein said record further includes information indicating said specified object.
前記代替語は、作業の種類及び作業に関する量の少なくとも一方に対応する
請求項1又は請求項2に記載の業務支援方法。
3. The business support method according to claim 1, wherein the alternative word corresponds to at least one of the type of work and the amount of work.
前記代替語は、アルファベット、数値、又はこれらの組み合わせである
請求項1から請求項3までのいずれかに記載の業務支援方法。
4. The business support method according to any one of claims 1 to 3, wherein the alternative words are alphabetic characters, numerical values, or combinations thereof.
音声情報を取得する取得部と、
前記音声情報からウェイクワードを検出するウェイクワード検出部と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化部と、
前記テキスト情報から予め登録された代替語を検出する代替語検出部と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成部と、
を備える業務支援システム。
an acquisition unit that acquires voice information;
a wake word detection unit that detects a wake word from the audio information;
a text conversion unit that converts the voice information into text information when the wake word is detected;
a substitute term detection unit that detects pre-registered substitute terms from the text information;
a record creation unit that creates a record including the content of the work corresponding to the alternative word;
business support system.
情報処理システムに、
音声情報を取得する取得処理と、
前記音声情報からウェイクワードを検出するウェイクワード検出処理と、
前記ウェイクワードを検出した場合、前記音声情報をテキスト情報に変換するテキスト化処理と、
前記テキスト情報から予め登録された代替語を検出する代替語検出処理と、
前記代替語に対応する作業の内容を含む記録を作成する記録作成処理と、
を含む業務支援方法を実行させるためのプログラム。

information processing system,
Acquisition processing for acquiring audio information;
a wake word detection process for detecting a wake word from the audio information;
Text conversion processing for converting the voice information into text information when the wake word is detected;
A substitute word detection process for detecting pre-registered substitute words from the text information;
a record creation process for creating a record containing the content of the work corresponding to the alternative word;
A program for executing a business support method including

JP2021020159A 2021-02-10 2021-02-10 Business support methods, systems, and programs Active JP6937484B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021020159A JP6937484B1 (en) 2021-02-10 2021-02-10 Business support methods, systems, and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021020159A JP6937484B1 (en) 2021-02-10 2021-02-10 Business support methods, systems, and programs

Publications (2)

Publication Number Publication Date
JP6937484B1 JP6937484B1 (en) 2021-09-22
JP2022122727A true JP2022122727A (en) 2022-08-23

Family

ID=78028222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021020159A Active JP6937484B1 (en) 2021-02-10 2021-02-10 Business support methods, systems, and programs

Country Status (1)

Country Link
JP (1) JP6937484B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005037597A (en) * 2003-07-18 2005-02-10 Fuji Photo Film Co Ltd Control system for equipment
WO2009148003A1 (en) * 2008-06-02 2009-12-10 新日本製鐵株式会社 Dimension measuring system
JP2015180984A (en) * 2014-03-04 2015-10-15 親明 片田 Matrix innovation management method for home-visit nursing care
JP2019016137A (en) * 2017-07-06 2019-01-31 富士通株式会社 Recording program, recording method and recording apparatus
JP2019080900A (en) * 2017-10-27 2019-05-30 株式会社オプテック Dental treatment support system
WO2020003785A1 (en) * 2018-06-25 2020-01-02 ソニー株式会社 Audio processing device, audio processing method, and recording medium
JP2020160579A (en) * 2019-03-25 2020-10-01 金子 周一 Care support system, care support method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005037597A (en) * 2003-07-18 2005-02-10 Fuji Photo Film Co Ltd Control system for equipment
WO2009148003A1 (en) * 2008-06-02 2009-12-10 新日本製鐵株式会社 Dimension measuring system
JP2015180984A (en) * 2014-03-04 2015-10-15 親明 片田 Matrix innovation management method for home-visit nursing care
JP2019016137A (en) * 2017-07-06 2019-01-31 富士通株式会社 Recording program, recording method and recording apparatus
JP2019080900A (en) * 2017-10-27 2019-05-30 株式会社オプテック Dental treatment support system
WO2020003785A1 (en) * 2018-06-25 2020-01-02 ソニー株式会社 Audio processing device, audio processing method, and recording medium
JP2020160579A (en) * 2019-03-25 2020-10-01 金子 周一 Care support system, care support method, and program

Also Published As

Publication number Publication date
JP6937484B1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
US20210067631A1 (en) System and method for processing voicemail
US8934652B2 (en) Visual presentation of speaker-related information
KR20190113927A (en) Multi-User Authentication for Devices
US20130144619A1 (en) Enhanced voice conferencing
US11031006B2 (en) Information processing apparatus, information processing method, and program
KR102343084B1 (en) Electronic device and method for executing function of electronic device
US12050864B1 (en) Systems and methods for a neighborhood voice assistant
CN103035240A (en) Speech recognition repair using contextual information
JP6819489B2 (en) Recording program, recording method, and recording device
US11074359B2 (en) Privacy focused network sensor device object recognition
WO2020105302A1 (en) Response generation device, response generation method, and response generation program
JP5974903B2 (en) Voice memo storage method related to schedule
JP6995275B1 (en) Business support methods, systems and programs
JP7095684B2 (en) Information processing equipment, information processing method, program
JP6995273B1 (en) Business support methods, systems and programs
JP6937484B1 (en) Business support methods, systems, and programs
JP6937483B1 (en) Business support methods, equipment, and programs
CN112262432A (en) Voice processing device, voice processing method, and recording medium
JP6146703B2 (en) Voice memo storage method related to schedule
JP7258686B2 (en) Information processing system, information processing method, and program
JP6820632B1 (en) Information processing equipment and programs
WO2019146187A1 (en) Information processing device and information processing method
US20220263947A1 (en) Performing an operation responsive to a voice call
CN112911074A (en) Voice communication processing method, device, equipment and machine readable medium
JP7527127B2 (en) Information processing device, program, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210812

R150 Certificate of patent or registration of utility model

Ref document number: 6937484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250