[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6427377B2 - Equipment inspection support device - Google Patents

Equipment inspection support device Download PDF

Info

Publication number
JP6427377B2
JP6427377B2 JP2014204406A JP2014204406A JP6427377B2 JP 6427377 B2 JP6427377 B2 JP 6427377B2 JP 2014204406 A JP2014204406 A JP 2014204406A JP 2014204406 A JP2014204406 A JP 2014204406A JP 6427377 B2 JP6427377 B2 JP 6427377B2
Authority
JP
Japan
Prior art keywords
voice
support device
result
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014204406A
Other languages
Japanese (ja)
Other versions
JP2016075728A (en
Inventor
剛 武本
剛 武本
本間 健
健 本間
龍 武田
龍 武田
齋藤 仁
仁 齋藤
正美 畑山
正美 畑山
春好 三浦
春好 三浦
亘 天野
亘 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan Sewerage Service Corp
Hitachi Ltd
Original Assignee
Tokyo Metropolitan Sewerage Service Corp
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan Sewerage Service Corp, Hitachi Ltd filed Critical Tokyo Metropolitan Sewerage Service Corp
Priority to JP2014204406A priority Critical patent/JP6427377B2/en
Publication of JP2016075728A publication Critical patent/JP2016075728A/en
Application granted granted Critical
Publication of JP6427377B2 publication Critical patent/JP6427377B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、携帯端末を所持して現場を巡回点検し、巡回点検の結果を携帯端末に格納することで設備点検を支援する設備点検支援装置に関する。   The present invention relates to a facility inspection support device which supports a facility inspection by carrying a patrol check of a site with a portable terminal and storing the result of the patrol check in the portable terminal.

従来における現場設備を点検する方法として、点検作業員が巡回し結果を記録する方法がある。この方法では点検作業員の読取ミス、転記ミスの防止が課題であった。これに対し近年では、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を狙い、携帯端末として例えばタブレット端末などの点検支援システムを活用するという考え方がある。また、点検結果を点検作業員の発話した音声を認識して自動でデータ化し保存するシステムが知られている。   As a conventional method of checking on-site equipment, there is a method in which a check worker patrols and records the result. In this method, it is an issue to prevent the reading error and the transcription error of the inspection worker. On the other hand, in recent years, there is a concept of utilizing, for example, an inspection support system such as a tablet terminal as a portable terminal, aiming at reduction of inspection worker's inspection omission, transcription error, and registration time to the system of inspection result. There is also known a system that recognizes the speech of a check worker and automatically stores the check result as data.

特許文献1には、音声認識に関連して、音声による認識結果に誤りがあった場合、認識結果の候補を表示し、ユーザが選択した候補のスコア(結果の選択基準)を高くする方法が記載されている。   In Patent Document 1, there is a method of displaying candidates of recognition results when there is an error in speech recognition results in relation to speech recognition, and raising the score (selection criterion of results) of candidates selected by the user. Have been described.

特許第3104659号Patent No. 3104659

特許文献1では利用者や間違い易い用語に関する知見を蓄積できないため、毎回同じ場所で誤りになる可能性がある。また、毎回複数の認識結果候補が表示されるため、正解を探すための手間が増加する恐れがある。   In Patent Document 1, it is not possible to accumulate knowledge on the user and the term that is easy to be mistaken, so there is a possibility that an error will occur in the same place every time. In addition, since a plurality of recognition result candidates are displayed each time, there is a possibility that the time for searching for the correct answer may increase.

さらにタブレット端末を所持して巡回点検を行う場所は、多くの場合に各種プラントの現場である。かかる現場には各種工業機械や回転機器が設置されており、高騒音環境であるのが通常である。このため、音声認識を行うにしても聞き取り精度が低下することは否めず、タブレット端末の機能を十分に生かした利用を図ることが困難である。   Furthermore, the place where a tablet terminal is carried and a patrol check is performed is often the site of various plants. Various industrial machines and rotating equipment are installed at such sites, and a high noise environment is usually employed. For this reason, even if voice recognition is performed, it can not be denied that the listening accuracy declines, and it is difficult to utilize the function of the tablet terminal sufficiently.

以上のことから本発明の目的は、音声認識に声帯マイクを適用し認識結果の修正を容易にすることで、高騒音環境下で活用可能な音声認識技術を確立し、点検作業員の作業負荷を軽減する設備点検支援システムを提供することにある。   From the above, the object of the present invention is to apply a vocal cord microphone to speech recognition to facilitate correction of the recognition result, to establish a speech recognition technology that can be used in a high noise environment, and a workload for inspection workers Equipment inspection support system to reduce the

上記課題を解決するために、本発明の設備点検支援装置では、入力部と表示部と演算部とを備える携帯端末と、作業者の咽喉部の振動を音声として検知する声帯マイクとを含み、
携帯端末の演算部は、声帯マイクからの音声を入力して解析し、保持している言語音響モデルのデータを参照して音声認識し、認識した音声候補を決定して表示部に表示し、表示部に表示するに当たり、予め定めた現場設備の点検項目順序に従い表示を行い、入力部からの作業者の正誤判定結果を反映した表示修正並びにデータ記憶を行うことを特徴とする。
In order to solve the above problems, the equipment inspection support device of the present invention includes a portable terminal including an input unit, a display unit, and a calculation unit, and a vocal cord microphone that detects vibration of the operator's throat as voice.
The computing unit of the portable terminal inputs and analyzes the voice from the vocal cord microphone, performs voice recognition with reference to the data of the held language acoustic model, determines the recognized voice candidate, and displays it on the display unit. When displaying on the display unit, display is performed in accordance with a predetermined inspection item order of the field equipment, and display correction and data storage reflecting the result of the operator's correctness determination from the input unit are performed.

本発明によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果を音声にて格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現する。   According to the present invention, the inspection worker can patrol the equipment, and even in a high noise environment, the result can be stored by voice, and the inspection worker's omission of inspection, transcription mistake, registration time of inspection result to the system Implement an equipment inspection support device that aims to reduce.

本発明の装置構成を示す図。The figure which shows the apparatus structure of this invention. 本発明の点検支援装置を含むシステムの実施例を示す図。BRIEF DESCRIPTION OF THE DRAWINGS The figure which shows the Example of the system containing the inspection assistance apparatus of this invention. 本発明の他の装置構成を示す図。The figure which shows the other apparatus structure of this invention. 本発明の他の装置構成を示す図。The figure which shows the other apparatus structure of this invention. 本発明の他の装置構成を示す図。The figure which shows the other apparatus structure of this invention. 結果表示部の一例を示す図。The figure which shows an example of a result display part. 結果表示部の一例を示す図。The figure which shows an example of a result display part.

以下、本発明の実施例について図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の設備点検支援装置20を含む全体システム構成を図2に示す。図2において設備点検支援装置20は、タブレット端末21と声帯マイク1からなる。ここで声帯マイク1とは、半環状の支持部材にマイクを取り付けたものであり、喉頭マイクということもある。声帯マイク1は、点検作業者の咽喉部に取り付けて咽喉の振動による音声を直接取り込むものであり、通常のマイク(音声マイク)が空間伝搬する音波を捉えるものである点で、両マイクは区別される。   An overall system configuration including the equipment inspection support device 20 of the present invention is shown in FIG. In FIG. 2, the facility inspection support device 20 includes a tablet terminal 21 and a vocal cord microphone 1. Here, the vocal cord microphone 1 is a semi-annular support member to which a microphone is attached, and may be referred to as a laryngeal microphone. The vocal cord microphone 1 is attached to the throat part of the inspection worker and directly picks up the sound due to the vibration of the throat, and both microphones are distinguished in that the ordinary microphone (voice microphone) catches the sound wave propagating in space. Be done.

タブレット端末21について、図1及び図3から図7を用いて別途詳細に説明するが、ごく簡単には表示部と演算部と入出力部で構成されている。このタブレット端末21の入出力部は、パソコンなどの計算機22に接続されることで、タブレット端末21に蓄積された点検データを計算機22に保存し、必要に応じてプリンタ23から帳票を出力することができる。また計算機22に点検項目を設定入力することで、この設定された点検項目をタブレット端末21の入出力部に送り、各種の支援や表示に適用することができる。なおタブレット端末21の入出力部には、声帯マイク1も有線あるいは無線にて接続可能とされている。   The tablet terminal 21 will be described in detail separately with reference to FIGS. 1 and 3 to 7, but it is very simply composed of a display unit, an operation unit and an input / output unit. The input / output unit of the tablet terminal 21 is connected to the computer 22 such as a personal computer, thereby storing the inspection data stored in the tablet terminal 21 in the computer 22 and outputting the form from the printer 23 as necessary. Can. Further, by setting and inputting an inspection item to the computer 22, the set inspection item can be sent to the input / output unit of the tablet terminal 21, and can be applied to various types of support and display. The vocal cord microphone 1 can also be connected to the input / output unit of the tablet terminal 21 in a wired or wireless manner.

本発明に係るタブレット端末21の演算処理機能例を図1に示す。図1の処理装置2は、タブレット端末21そのものであり、この内部機能は表示部DPと演算部Cと入出力部I/Oで構成されている。   An exemplary arithmetic processing function of the tablet terminal 21 according to the present invention is shown in FIG. The processing device 2 of FIG. 1 is the tablet terminal 21 itself, and this internal function is configured by the display unit DP, the calculation unit C, and the input / output unit I / O.

このうち、入出力部I/Oには各種のものが接続可能であるが、その一つとして声帯マイク1が接続されている。声帯マイク1は、人間の喉仏付近の振動を拾うマイクであり、振動を音声データに変換して出力する。また入出力部I/Oには、作業者により入力された情報として、例えば正誤判定結果の情報などが入力される。図2の正誤判定結果入力部6は、結果表示部4に示された結果に対し、作業者が入力し正誤結果の信号を、入力項目決定部7に対し出力するための入力機能である。このほか入出力部I/Oには、計算機22との間の各種情報が接続されるが、図1にはこの部分の記載を省略している。   Among them, various kinds of things can be connected to the input / output unit I / O, and as one of them, the vocal cord microphone 1 is connected. The vocal cord microphone 1 is a microphone that picks up a vibration in the vicinity of a human throat, and converts the vibration into voice data and outputs it. In addition, as the information input by the operator, for example, information of the result of the correctness determination or the like is input to the input / output unit I / O. The correctness / incorrectness determination result input unit 6 in FIG. 2 is an input function for outputting the signal of the accuracy / incorrectness result to the input item determination unit 7 by the operator with respect to the result shown in the result display unit 4. In addition to this, various information between the computer 22 is connected to the input / output unit I / O, but the description of this portion is omitted in FIG.

表示部DPについて、ここには各種の表示が可能である。表示の一例を図6、図7を参照して別途詳細に後述するが、ごく簡単には結果表示部4はタブレット端末の場合には液晶画面(モニタ画面)に相当し、認識候補決定部5で抽出された文を表示する。   Here, various displays can be made on the display unit DP. An example of the display will be described later in detail with reference to FIGS. 6 and 7, but quite simply the result display unit 4 corresponds to a liquid crystal screen (monitor screen) in the case of a tablet terminal, and the recognition candidate determination unit 5 Display the sentence extracted by.

演算部Cについて、ここで実行する処理は多様であるが、図2では声帯マイク1からの情報を処理する部分に特化して記載している。図2の処理例では、声帯マイク1の取得した音声信号が、タブレット端末などからなる処理装置2の演算部Cに与えられ、演算部Cでは声帯マイク1からの音声の入力データを解析し、音声を認識して発話者の発話内容を文字または数値として、処理結果を点検結果としてタブレット端末21のモニタ画面(表示部DPの例えば結果表示部4)に表示する。なお声帯マイク1は、咽喉の振動を直接把握していることで人体に起因する各種の影響を受けるため、音声信号とするには演算部Cにおいて、この振動と音声の相違を考慮する必要がある。   Although the processing performed here is various about the calculating part C, it specializes in the part which processes the information from the vocal cord microphone 1 in FIG. 2, and is described. In the processing example of FIG. 2, the voice signal acquired by the vocal cord microphone 1 is given to the calculation unit C of the processing device 2 comprising a tablet terminal or the like, and the calculation unit C analyzes the input data of the voice from the vocal cord microphone 1; The voice is recognized and the uttered content of the utterer is displayed as characters or numerical values, and the processing result is displayed as a check result on the monitor screen of the tablet terminal 21 (for example, the result display unit 4 of the display unit DP). The vocal cord microphone 1 receives various influences caused by the human body by directly grasping the vibration of the throat, so it is necessary to consider the difference between the vibration and the sound in the operation unit C in order to make it an audio signal. is there.

演算部Cには、声帯マイク1からの音声の入力データを解析するために、予め言語音響モデル3のデータベースが準備されている。タブレット端末21に予め準備された言語音響モデル3は、声帯マイク2で発話した1個または複数の単語からなる文を認識するためのデータベースである。ここで、声帯マイク1からの音声は、発話者の個体による特徴が大きく反映されているので、言語音響モデル3のデータベースは発話者個体ごとに準備されるのが望ましい。なお、言語音響モデル3のデータベースに蓄積するデータは当初は予め入力するものであり、あるいは音声認識の経験から学習により取得したデータがその後に追加記憶されたものを含んでいてもよい。またここに保持している言語音響モデルは、声帯マイクからの音声の情報として準備しておくのがよい。   In the calculation unit C, in order to analyze input data of speech from the vocal cord microphone 1, a database of the language acoustic model 3 is prepared in advance. The language acoustic model 3 prepared in advance in the tablet terminal 21 is a database for recognizing a sentence consisting of one or more words uttered by the vocal cord microphone 2. Here, since the voice from the vocal cord microphone 1 largely reflects the characteristics of the speaker's individual, it is desirable that the database of the language acoustic model 3 be prepared for each speaker individual. The data stored in the database of the language acoustic model 3 is initially input in advance, or data obtained by learning from the experience of speech recognition may include data additionally stored thereafter. In addition, it is preferable to prepare the speech sound model held here as information of speech from the vocal cord microphone.

処理装置2の演算部Cにおいて、入力項目決定部7は声帯マイク1によってデータを入力したい項目とその結果のデータベースである。予め入力項目(点検項目)を計算機22から設定しておくことで、設定した順序で項目がモニタ画面に表示されるようにでき、所定の順序で点検結果を入力することが可能となる。さらに入力項目決定部7は、正誤判定結果入力部6からの信号によって、モニタ表示した内容が作業者による判断の結果、正解であれば次の点検項目に移行し、作業者による判断の結果、不正解であれば再度音声などから入力させて修正を図る。また入力項目決定部7は、点検項目とその結果を保存する。   In the calculation unit C of the processing device 2, the input item determination unit 7 is a database of items to which data is to be input by the vocal cord microphone 1 and the results thereof. By setting input items (inspection items) from the computer 22 in advance, items can be displayed on the monitor screen in the set order, and inspection results can be input in a predetermined order. Further, the input item determination unit 7 shifts to the next check item if the content displayed on the monitor is correct as a result of the judgment by the operator according to the signal from the correctness determination result input unit 6, and the result of the judgment by the operator If it is an incorrect answer, it will be corrected by inputting it from the voice again. Further, the input item determination unit 7 stores the inspection item and the result thereof.

処理装置2の演算部Cにおいて、音声解析部8は、入力された音声から、音声認識に使用する特徴量に変換する。使用される特徴量としては、パワースペクトル、MFCC(メル周波数ケプストラム)などの公知の特徴量を使用することができる。   In the calculation unit C of the processing device 2, the voice analysis unit 8 converts the input voice into feature quantities to be used for voice recognition. As a feature to be used, a known feature such as a power spectrum or MFCC (mel frequency cepstrum) can be used.

音声認識部101は、音声解析部8が出力した音声特徴量から、1個の単語または複数の単語列からなる文に変換する。この文の変換では、音素ごとの音声特徴量のモデルを格納した音響モデルと、受理できる単語の並びを格納した言語モデルを使用する。この音響モデルと言語モデルは、言語音響モデル3に格納されている。さらに音声認識部101は、入力項目決定部7の入力項目の定義を使用し、音声認識の動作を変更する。これらを用いることで、声帯マイク1のデータに対して、入力項目の定義と言語音響モデル3のデータに最も近い文を抽出する。なお、音声認識部101は、音声特徴量と類似する1個または複数の候補の文を出力することができる。   The speech recognition unit 101 converts the speech feature amount output by the speech analysis unit 8 into a sentence consisting of one word or a plurality of word strings. In this sentence conversion, an acoustic model storing a model of speech features for each phoneme and a language model storing an acceptable word sequence are used. The acoustic model and the language model are stored in the language acoustic model 3. Furthermore, the speech recognition unit 101 uses the definition of the input item of the input item determination unit 7 to change the operation of speech recognition. By using these, a sentence closest to the definition of the input item and the data of the language acoustic model 3 is extracted from the data of the vocal cord microphone 1. The speech recognition unit 101 can output one or a plurality of candidate sentences similar to the speech feature amount.

認識候補決定部5は、音声認識部101が出力した文を出力し、結果表示部4に表示する。   The recognition candidate determination unit 5 outputs the sentence output by the speech recognition unit 101 and displays the sentence on the result display unit 4.

図1の処理装置2における一連の処理内容を説明する。まず、結果表示部4には入力項目決定部7で予め設定された点検項目が表示されている。この点検項目は、図1の計算機などにより予め入力され、所定の順番で表示画面に表示されている。点検作業者は、表示画面の点検項目の表示順番に従い、現場において、表示された点検項目の内容を目視しあるいは手などで確認し、次に点検作業者が、声帯マイク1に向かって点検結果を発話する。その発話が信号に変換されて、処理装置2に入力される。声帯マイク1は喉仏付近の振動を拾うマイクであり、現場周囲の雑音を含みにくい特長がある。しかし、一般的な音響マイクとは音響モデルが異なるため、処理装置2には言語音響モデル3として独自のモデルが組み込まれている。   A series of processing contents in the processing device 2 of FIG. 1 will be described. First, inspection items preset by the input item determination unit 7 are displayed on the result display unit 4. The inspection items are previously input by the computer shown in FIG. 1 or the like, and displayed on the display screen in a predetermined order. According to the display order of the inspection items on the display screen, the inspection worker visually checks the contents of the displayed inspection items or confirms them by hand at the site, and then the inspection worker inspects the vocal cord microphone 1 Speak The utterance is converted into a signal and input to the processing device 2. The vocal cord microphone 1 is a microphone that picks up vibrations in the vicinity of the throat and the like, and is characterized in that it is difficult to include noise around the scene. However, since the acoustic model is different from a general acoustic microphone, the processor 2 incorporates a unique model as the language acoustic model 3.

次に、入力された音声は音声解析部8で音声特徴量に変換された後、音声認識部101に入力される。音声認識部101では、入力項目決定部7の入力項目の定義により、入力したい結果が数値か、結果の状態を示す用語なのかの情報にしたがって、音声認識に使用する言語音響モデル3を切りかえる。点検項目の内容から数値の音声が期待されているのであれば、数値専用のモデルを参照し、あるいは結果の状態を示す用語の音声が期待されているのであれば、例えば「正常」「異常」といった言語専用のモデルを参照すべく、切替準備を行う。そして、実際に入力された声帯マイク1の入力結果の特徴量に基づき、音声認識を行い、文を出力する。なお、結果の状態を示す用語とは「正常」「異常」「開」「閉」などである。   Next, the input voice is converted into voice feature amounts by the voice analysis unit 8 and then input to the voice recognition unit 101. The speech recognition unit 101 switches the language acoustic model 3 used for speech recognition according to the definition of the input item of the input item determination unit 7 according to the information whether the result to be input is a numerical value or a term indicating the state of the result. If the voice of the numerical value is expected from the contents of the inspection item, the model for the numerical value only is referred to, or if the voice of the term indicating the state of the result is expected, for example, "normal" or "abnormal" In order to refer to language-specific models such as, prepare for switching. Then, based on the feature amount of the input result of the vocal cord microphone 1 actually input, speech recognition is performed and a sentence is output. The terms indicating the state of the result include "normal", "abnormal", "open", "closed", and the like.

次に、認識候補決定部5では音声認識部101から出力された文のなかから、入力項目決定部7の定義と最も一致した文を、候補として決定する。また、その結果を結果表示部4でモニタ画面の所定の位置に表示するとともに、入力項目決定部7にその結果を入力する。正誤判定結果入力部6では、結果表示部4に表示された結果の正誤が作業者の判断を経て入力される。正しい場合はその結果を入力項目決定部7で確定し保存し、次の点検項目に移行させる。誤りの場合は声帯マイク1の新しい発話データを再解析する。   Next, from among the sentences output from the speech recognition unit 101, the recognition candidate determination unit 5 determines a sentence that most closely matches the definition of the input item determination unit 7 as a candidate. Further, the result is displayed at a predetermined position on the monitor screen by the result display unit 4, and the result is input to the input item determination unit 7. The correctness / incorrectness determination result input unit 6 inputs the correctness / incorrectness of the result displayed on the result display unit 4 after the judgment of the worker. If the result is correct, the result is determined by the input item determination unit 7 and stored, and the process shifts to the next inspection item. In the case of an error, new speech data of the vocal cord microphone 1 is reanalyzed.

図6に結果表示部4の一例を示す。図6の例では、現場の点検対象系統は主燃料供給系であり、5号の点検項目について、「2−1系統全般(外観目視点検)」の具体項目が(1)から(6)として示されている。例えば(1)は「主燃料槽、燃料第一槽の湯量確認(目視)」であり、点検項目ごとに「異常有無」または「数値」を、作業者が発話し、この入力後の認識結果が画面表示されている。   An example of the result display unit 4 is shown in FIG. In the example of FIG. 6, the inspection target system in the field is the main fuel supply system, and the specific items of “2-1 general system (visual appearance inspection)” are (1) to (6) for the inspection items of No. 5 It is shown. For example, (1) is "Main water tank, confirmation of hot water volume of fuel first tank (visually)", the operator utters "presence or absence" or "numerical value" for each inspection item, and the recognition result after this input Is displayed on the screen.

本発明によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果を音声にて格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。   According to the present invention, the inspection worker can patrol the equipment, and even in a high noise environment, the result can be stored by voice, and the inspection worker's omission of inspection, transcription mistake, registration time of inspection result to the system It is possible to realize the equipment inspection support device which aims to reduce.

本発明の他の実施例を図3に示す。図1の装置との違いは、認識候補抽出部9の追加にある。認識候補抽出部9は認識候補決定部5で決定された文を除いた上位の候補を抽出し、その結果を結果表示部4に表示させている。図7はこの場合の結果表示例を示す。   Another embodiment of the present invention is shown in FIG. The difference from the device of FIG. 1 is the addition of the recognition candidate extraction unit 9. The recognition candidate extraction unit 9 extracts high-order candidates excluding the sentence determined by the recognition candidate determination unit 5, and causes the result display unit 4 to display the result. FIG. 7 shows an example of displaying results in this case.

本発明の効果を説明する。図1の実施例の説明で記載した正誤判定結果入力部6の結果が、「誤り」の場合(作業員(発話者)の判断によれば、目視、発話内容と表示内容が相違)に、入力項目決定部7の「誤り」検知信号により、音声認識部101、認識候補決定部5を経由して認識候補抽出部9が起動される。   The effects of the present invention will be described. In the case where the result of the correct / incorrect judgment result input unit 6 described in the description of the embodiment of FIG. 1 is “error” (visually, the contents of the utterance are different from the contents of the display according to the judgment of the worker (utterer)) The recognition candidate extraction unit 9 is activated via the speech recognition unit 101 and the recognition candidate determination unit 5 by the “error” detection signal of the input item determination unit 7.

認識候補抽出部9では音声認識部101の認識結果の中で、特徴量が最も一致し認識候補決定部5が決定した文を除く次点の候補を結果表示部4に表示させる。表示数は予め入力項目決定部7に設定しておく。例えば、正解(発話者の発話内容)が「128」であったのに対し、認識候補抽出部9で抽出し、音声認識部101の認識結果が最も一致した順に「121」「127」「128」「123」・・・の順序であったとする。この場合、認識候補決定部5は当初「121」を選択して表示する。これに対し、「(121は)誤り」として作業者からの指示があった場合、予め3つの候補を表示するように設定されているとすると、認識候補抽出部9で当初抽出した次点のデータ「127」「128」「123」がモニタ画面に表示される。作業者は、再度表示された次点候補のデータ「127」「128」「123」の中から、正誤判定結果入力部6の操作により、正解である「128」を選択する。この選択結果が、正誤判定結果入力部6を介して入力項目決定部7に入力され、点検結果として最終保存される。その際の結果表示部4の一例を図7に示す。点検項目「第一槽」の結果が誤りとなり、次点候補のデータ「12000」「12001」「12002」を3つ示した例である。   The recognition candidate extraction unit 9 causes the result display unit 4 to display the next point candidate excluding the sentence whose feature amount is the most coincident and the recognition candidate determination unit 5 determines among the recognition results of the speech recognition unit 101. The number of displays is set in advance in the input item determination unit 7. For example, while the correct answer (the content of the utterance of the speaker) is "128", the recognition candidate extraction unit 9 extracts them, and "121" "127" "128" in the order in which the recognition result of the speech recognition unit 101 is most matched. It is assumed that the order is “123”. In this case, the recognition candidate determination unit 5 initially selects "121" and displays it. On the other hand, if an instruction from the operator is given as "(121) error", assuming that three candidates are set to be displayed in advance, the second point extracted at the recognition candidate extraction unit 9 is Data "127" "128" "123" are displayed on the monitor screen. The worker selects the correct answer “128” from the data “127”, “128” and “123” of the second point candidate displayed again by the operation of the correct / incorrect determination result input unit 6. The selection result is input to the input item determination unit 7 through the correctness determination result input unit 6, and is finally stored as the inspection result. An example of the result display unit 4 at that time is shown in FIG. This is an example in which the result of the check item "first tank" is incorrect and three data "12000", "12001" and "12002" of the next point candidate are shown.

図3に示した本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、結果の誤りを簡単に修正して結果を格納でき、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に発話による再入力を促すのではなく、正解の可能性が高い候補を再表示し入力させることで、再発話による認識誤りの繰り返しを防ぐことができる。   According to the embodiment of the present invention shown in FIG. 3, the inspection worker patrols the equipment, and even in a high noise environment, the erroneous result can be easily corrected and the result can be stored, and the inspection worker's inspection It is possible to realize an equipment inspection support device that reduces the time for omission, transcription errors, and registration time of inspection results into the system. In particular, it is possible to prevent repetition of recognition errors due to re-speech by re-displaying and inputting a candidate having a high possibility of correct answer instead of prompting re-input by speech.

本発明の他の実施例を図4に示す。図3の実施例との違いは入力項目設定部7に正誤判定結果データベース10を追加したことにある。正誤判定結果データベース10は入力項目に対する正誤判定結果のデータを蓄積したものであり、入力項目ごとに1回目すなわち、認識候補決定部5で得られた最も一致した文の認識結果の正答率の結果を備える。正答率でなくて誤り回数でもよい。   Another embodiment of the present invention is shown in FIG. The difference from the embodiment of FIG. 3 is that the correct / incorrect determination result database 10 is added to the input item setting unit 7. The correct / incorrect judgment result database 10 stores data of correct / incorrect judgment results for input items, and the result of correct answer rate of the recognition result of the most matched sentence obtained by the recognition candidate determination unit 5 for the first time for each input item. Equipped with It may be the number of errors instead of the correct answer rate.

この場合、入力項目決定部7は入力項目に対する正答率を入手する。予め設定した正答率以下の項目は、最上位の候補では誤りが多いと考えられるため、最初から複数の候補を一覧表示しておく。なお、図3の実施例では最上位の認識候補を削除したが、ここでは最上位を含めて表示するのがよい。図4の本発明の実施例により、誤りが多い項目のみ予め複数の候補を表示でき、正誤判定の効率向上が図れる。なお、正誤判定結果データベース10に正解が、認識候補の上位からの順位データを蓄積することで、認識結果の順位を含む表示数に設定してもよい。   In this case, the input item determination unit 7 obtains the correct answer rate for the input item. The items below the correct answer rate set in advance are considered to have many errors in the top candidate, so a plurality of candidates are listed from the beginning. Although the top recognition candidate is deleted in the embodiment of FIG. 3, it is preferable to display the top recognition. According to the embodiment of the present invention shown in FIG. 4, it is possible to display in advance only a plurality of candidates for items having many errors, and to improve the efficiency of correct / incorrect judgment. The correctness determination result database 10 may be set to the display number including the order of the recognition results by accumulating the order data from the top of the recognition candidates.

図4の本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、予め誤り易い入力項目に対しても効率向上を図ることができ、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に認識誤り発生確率が高いことが予め判明している場合に、最初から複数候補が表示されることで正しい入力に至るまでの手順、時間を短くすることができる。   According to the embodiment of the present invention shown in FIG. 4, the inspection worker patrols the equipment, and it is possible to improve the efficiency for input items that are prone to errors in advance even in a high noise environment. It is possible to realize the equipment inspection support device which reduces the time for registration of the inspection failure, the transcription error, and the registration result of the inspection result to the system. In particular, when it is known in advance that the recognition error occurrence probability is high, the procedure and time until correct input can be shortened by displaying a plurality of candidates from the beginning.

さらに本発明の他の実施例を図5に示す。図4の実施例との違いは言語音響モデル3を複数備えたことである。声帯マイクは、発話者の個体に影響されることが多いので、発話者ごとに言語音響モデル3を準備し、発話者を識別認識することで、発話者に専用の言語音響モデル3による解析を行わせるものである。このために、図5の実施例では、点検作業を実施する作業者名を入力する作業者名入力部11と、作業者名入力部11に入力された作業者に対応した言語音響モデル3に切り替えるための言語音響モデル切替部12を設けた。   Furthermore, another embodiment of the present invention is shown in FIG. The difference from the embodiment of FIG. 4 is that a plurality of speech acoustic models 3 are provided. The vocal cord microphone is often influenced by the individual of the speaker, so prepare the speech acoustic model 3 for each speaker and identify and recognize the speaker to analyze the speech acoustic model 3 dedicated to the speaker. It will be done. For this purpose, in the embodiment shown in FIG. 5, the operator's name input unit 11 for inputting the name of the worker who carries out the inspection work, and the language acoustic model 3 corresponding to the worker inputted in the worker name input unit 11. A language acoustic model switching unit 12 for switching is provided.

図5の本発明の実施例に係る装置は、現場設備などの巡回点検への適用を想定しており、点検作業者は限定されている。点検実施者の記録も残す必要があるため、入力項目として作業者名のデータが必要である。また、点検作業では入力する単語や文もある程度決まっている。このため、点検作業者ごとに言語音響モデル3を構築することは可能である。点検作業者毎に言語音響モデル3を構築することで、個人差に由来する発話の特徴を認識に反映できるため認識精度を向上できる。   The apparatus according to the embodiment of the present invention shown in FIG. 5 is assumed to be applied to on-site inspection of on-site equipment and the like, and the inspection worker is limited. Since it is necessary to keep a record of the inspector, data of the worker's name is required as an input item. In addition, in the inspection work, the words and sentences to be input are decided to some extent. For this reason, it is possible to construct the speech sound model 3 for each check operator. By constructing the language acoustic model 3 for each check worker, it is possible to reflect the feature of the utterance derived from the individual difference in the recognition, so that the recognition accuracy can be improved.

本発明の実施例によれば、点検作業員が設備を巡回して、高騒音環境下においても、点検作業者毎に発話の特徴を認識に反映し、認識精度向上を図ることができ、点検作業員の点検抜け、転記ミス、点検結果のシステムへの登録時間の削減を図る設備点検支援装置を実現できる。特に交代制で現場点検を行う場合に、作業者ごとにタブレット端末を準備するのでなく、共用とする場合に好適である。   According to the embodiment of the present invention, the inspection worker patrols the equipment, and even in a high noise environment, the characteristic of the speech can be reflected in the recognition for each inspection worker, and the recognition accuracy can be improved. It is possible to realize the equipment inspection support device which reduces the time for registration of the system to the system after the worker's inspection is missed, the transcription error, and the inspection result. In particular, when performing on-site inspection in a shift system, it is preferable when not sharing the tablet terminal for each worker but sharing it.

1:声帯マイク
2:処理装置
3:言語音響モデル
4:結果表示部
5:認識候補決定部
6:正誤判定結果入力部
7:入力項目設定部
8:音声解析部
9:認識候補抽出部
10:正誤判定結果データベース
11:作業者名入力部
12:言語音響モデル切替部
20:設備点検支援装置
21:タブレット端末
22:計算機
23:プリンタ
1: vocal cord microphone 2: processing device 3: language acoustic model 4: result display unit 5: recognition candidate determination unit 6: correct / incorrect determination result input unit 7: input item setting unit 8: speech analysis unit 9: recognition candidate extraction unit 10: True / false judgment result database 11: Operator name input unit 12: Language acoustic model switching unit 20: Equipment inspection support device 21: Tablet terminal 22: Computer 23: Printer

Claims (6)

作業者の咽喉部の振動を音声として検知する声帯マイクと、
前記声帯マイクから入力された信号を解析し、保持している言語音響モデルのデータを参照して認識した音声の候補を決定する演算部と、予め定めた順序に並んだ現場設備の点検項目及び前記音声の候補を表示する表示部と、認識された音声の正誤判定結果を前記作業者が入力するための入力部とを有する携帯端末とを備え、
前記演算部は、前記正誤判定結果を反映した音声の認識結果のデータを記憶し、
前記表示部は、認識対象が、過去の前記認識結果の正答率が低い音声である場合は複数の前記音声の候補を表示し、過去の前記認識結果の正答率が高い音声である場合は確度の高い一の音声の候補を表示することを特徴とする設備点検支援装置。
A vocal cord microphone that detects the operator's throat vibration as voice,
An operation unit that analyzes a signal input from the vocal cord microphone and determines a recognized voice candidate with reference to data of the language acoustic model held, an inspection item of field equipment arranged in a predetermined order, and A portable terminal having a display unit for displaying the candidate for the voice, and an input unit for the operator to input a result of determination as to whether the recognized voice is correct or incorrect.
The calculation unit stores data of a recognition result of voice reflecting the correctness determination result,
The display unit displays a plurality of candidates for the voice when the recognition target is a voice with a low correct answer rate of the recognition result in the past, and the accuracy when the correct answer rate with a past recognition result is high The equipment inspection support device characterized by displaying the high one's voice candidate .
請求項1に記載の設備点検支援装置であって、
前記演算部は、前記正誤判定結果に基づき、他の音声の候補を決定し、
前記表示部は、前記他の音声の候補を表示することを特徴とする設備点検支援装置。
The equipment inspection support device according to claim 1, wherein
The operation unit determines other speech candidates based on the correctness / incorrectness judgment result,
The said display part displays the candidate of said other audio | voice, The equipment inspection assistance apparatus characterized by the above-mentioned .
請求項1または請求項2に記載の設備点検支援装置であって、
前記の保持している言語音響モデルを作業者ごとに複数準備しておくことを特徴とする設備点検支援装置。
The equipment inspection support device according to claim 1 or 2 , wherein
A facility inspection support device characterized by preparing a plurality of the held language acoustic models for each worker.
請求項3に記載の設備点検支援装置であって、
前記携帯端末の入力部から、作業者の識別情報を得て前記の保持している言語音響モデルを選択することを特徴とする設備点検支援装置。
The equipment inspection support device according to claim 3 , wherein
An equipment inspection support device, which obtains identification information of a worker from an input unit of the portable terminal and selects the held language acoustic model.
請求項1から請求項4のいずれか1項に記載の設備点検支援装置であって、
前記の保持している言語音響モデルは、前記声帯マイクからの音声の情報として複数準備しておくことを特徴とする設備点検支援装置。
The equipment inspection support device according to any one of claims 1 to 4 , wherein
The equipment inspection support device characterized in that a plurality of the held speech sound models are prepared as information of speech from the vocal cord microphone.
請求項5に記載の設備点検支援装置であって、
前記の言語音響モデルは、当初準備した音声の情報の他に、以後に取り込まれた音声情報を学習、蓄積した情報を含むことを特徴とする設備点検支援装置。
The equipment inspection support device according to claim 5 , wherein
The apparatus according to the present invention is characterized in that the language acoustic model includes information obtained by learning and storing voice information taken afterward, in addition to the information of voice prepared at the beginning.
JP2014204406A 2014-10-03 2014-10-03 Equipment inspection support device Active JP6427377B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014204406A JP6427377B2 (en) 2014-10-03 2014-10-03 Equipment inspection support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014204406A JP6427377B2 (en) 2014-10-03 2014-10-03 Equipment inspection support device

Publications (2)

Publication Number Publication Date
JP2016075728A JP2016075728A (en) 2016-05-12
JP6427377B2 true JP6427377B2 (en) 2018-11-21

Family

ID=55951232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014204406A Active JP6427377B2 (en) 2014-10-03 2014-10-03 Equipment inspection support device

Country Status (1)

Country Link
JP (1) JP6427377B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142411A (en) * 2018-11-05 2020-05-12 鹏鼎控股(深圳)股份有限公司 Equipment point inspection device and equipment point inspection system
JP2020187554A (en) * 2019-05-15 2020-11-19 株式会社スター精機 Recording method and checking method for machine work information
WO2022113311A1 (en) * 2020-11-27 2022-06-02 三菱電機株式会社 Inspection assistance device, inspection assistance method and information processing system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274194A (en) * 1993-03-22 1994-09-30 Hitachi Ltd Portable speech input monitor controller
JP2947143B2 (en) * 1995-10-16 1999-09-13 ソニー株式会社 Voice recognition device and navigation device
JP3505931B2 (en) * 1996-09-25 2004-03-15 三菱電機株式会社 Voice recognition device
JP3557467B2 (en) * 1997-06-11 2004-08-25 株式会社日立製作所 Method and apparatus for recognizing voice data
JP3104659B2 (en) * 1997-10-31 2000-10-30 日本電気株式会社 Speech input device and machine-readable recording medium recording program
JP2007163967A (en) * 2005-12-15 2007-06-28 Canon Inc Speech recognition device and speech recognition method
JP2009048578A (en) * 2007-08-22 2009-03-05 Crescent One Co Ltd Terminal unit

Also Published As

Publication number Publication date
JP2016075728A (en) 2016-05-12

Similar Documents

Publication Publication Date Title
US9911409B2 (en) Speech recognition apparatus and method
US10276164B2 (en) Multi-speaker speech recognition correction system
JP6251958B2 (en) Utterance analysis device, voice dialogue control device, method, and program
US9542929B2 (en) Systems and methods for providing non-lexical cues in synthesized speech
US20190080687A1 (en) Learning-type interactive device
JP5756555B1 (en) Utterance evaluation apparatus, utterance evaluation method, and program
US10629192B1 (en) Intelligent personalized speech recognition
JP2015026057A (en) Interactive character based foreign language learning device and method
JP6744025B2 (en) Work support system, management server, mobile terminal, work support method and program
CN110675866B (en) Method, apparatus and computer readable recording medium for improving at least one semantic unit set
JP5753769B2 (en) Voice data retrieval system and program therefor
US20170076626A1 (en) System and Method for Dynamic Response to User Interaction
JP6427377B2 (en) Equipment inspection support device
WO2016136207A1 (en) Voice interaction device, voice interaction system, control method of voice interaction device, and program
US20110218802A1 (en) Continuous Speech Recognition
WO2011033834A1 (en) Speech translation system, speech translation method, and recording medium
JP4516112B2 (en) Speech recognition program
JP2014164261A (en) Information processor and information processing method
KR20160104243A (en) Method, apparatus and computer-readable recording medium for improving a set of at least one semantic units by using phonetic sound
JP2011232521A (en) Speech recognition device
Rudzionis et al. Web services based hybrid recognizer of Lithuanian voice commands
JP2016045467A (en) Utterance evaluation device, utterance evaluation method and program
JP2010197709A (en) Voice recognition response method, voice recognition response system and program therefore
AU2021306718B2 (en) System to confirm identity of candidates
JP2007148170A (en) Foreign language learning support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150