JP5958475B2 - 音声認識端末装置、音声認識システム、音声認識方法 - Google Patents
音声認識端末装置、音声認識システム、音声認識方法 Download PDFInfo
- Publication number
- JP5958475B2 JP5958475B2 JP2014006845A JP2014006845A JP5958475B2 JP 5958475 B2 JP5958475 B2 JP 5958475B2 JP 2014006845 A JP2014006845 A JP 2014006845A JP 2014006845 A JP2014006845 A JP 2014006845A JP 5958475 B2 JP5958475 B2 JP 5958475B2
- Authority
- JP
- Japan
- Prior art keywords
- voice recognition
- delay time
- voice
- speech recognition
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 121
- 230000004044 response Effects 0.000 claims description 143
- 238000012545 processing Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
[音声認識システムの構成の説明]
図1に示すように、実施形態の音声認識システム1は、音声認識端末装置10と、この音声認識端末装置10と通信可能な遠隔の音声認識サーバ20及び応答遅延時間サーバ30とを含んで構成される。音声認識端末装置10は、例えば、音声認識機能を備えた車載ナビゲーション装置等の車載システムで具現化される。あるいは、車載システムに限らず、いわゆるスマートフォン等の携帯端末装置に実装されるものであってもよい。
音声認識システム1において実行される音声コマンド処理の手順について、図2のシーケンス図に基づいて説明する。
音声認識端末装置10の制御部15が実行する「つなぎ発話処理」の手順について、図4のフローチャートを参照しながら説明する。この処理は、ユーザによる音声コマンドの始話を検知したときに実行される処理である。
選択する。一例として、「えーっとねー。」、「ちょっと待ってね。」等といった、辞書に予め収録されている複数種類のつなぎ言葉の中から、ランダムに選択するといった構成が考えられる。その際、前回使用したつなぎ言葉と同じつなぎ言葉を連続して使用しないように、前回使用したつなぎ言葉とは異なるつなぎ言葉を選択するように構成してもよい。また、複数のつなぎ言葉をつなぎ合わせたり同じつなぎ言葉を繰返すことで、予測した応答遅延時間に合う時間長のつなぎ言葉を作成してもよい。S108では、制御部15は、S106で決定したつなぎ言葉をスピーカ18から音声出力する。S108の後、制御部15は本処理を終了する。
音声認識端末装置10の制御部15が実行する「応答出力処理」の手順について、図5のフローチャートを参照しながら説明する。この処理は、音声コマンドを音声認識サーバ20に送信したときに実行される処理である。
ッセージを受信したと判定した場合に進むS210では、音声コマンドの入力を受付けてから応答メッセージを受信するまでに要した実際の応答遅延時間を記録する。応答遅延時間の履歴を保存する場所については、音声認識端末装置10の記憶部14であってもよいし、応答遅延時間サーバ30であってもよい。また、応答遅延時間の履歴は、音声認識サーバ20と通信をした位置や時刻の情報と対応付けて記録することが考えられる。音声認識サーバ20と通信をした位置については、車両等に装備されたGPS受信機(図示なし)等を利用して特定することが考えられる。
上述の実施形態では、音声認識サーバ20がインターネット上に構築された遠隔のサーバ等で実現される事例について説明した。これに限らず、音声認識端末装置10と音声認識サーバ20とがローカルエリアネットワーク(LAN)に接続されるような構成であってもよい。
実施形態の音声認識システム1によれば、以下の効果を奏する。
ユーザが音声コマンドを発話してから、音声コマンドの音声認識サーバ20から応答メッセージが得られるまでの待ち時間中に、予測した応答遅延時間に応じた時間長のつなぎ言葉をユーザに対して発話できる。このようにすることで、ユーザは、自らが発話した音声コマンドがシステムに受付けられたことを認識できる。そのため、音声コマンドに対する応答メッセージが得られるまでに多少の遅延がある場合であっても、ユーザが、音声コマンドが受付けられたかどうか分からずに不安になったり、音声コマンドを無用に発話し直すことを抑制できる。また、予測した応答遅延時間に応じた時間長のつなぎ言葉を決定することで、待ち時間に対して適度な長さのつなぎ言葉を出力できる。
Claims (15)
- 音声認識処理を行う音声認識サーバ(20)と通信可能に構成された音声認識端末装置(10)であって、
ユーザが発話した音声コマンドを取得する音声取得手段(11,13)と、
前記音声取得手段により取得された音声コマンドについて、前記音声認識サーバに音声認識処理を要求する要求手段(15,S102)と、
前記要求手段による要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測する予測手段(15,S104)と、
前記予測手段により予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する決定手段(15,S106)と、
前記決定手段により決定されたつなぎ言葉を、前記要求手段による要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力するつなぎ発話手段(15,S108)と、
前記予測手段により予測された遅延時間が経過したときに、前記音声認識サーバから前記音声認識処理の結果をまだ取得できていない場合、前記音声認識処理の結果が得られるまでの延長時間を予測する延長予測手段(15,S204)と、
前記延長予測手段により予測された延長時間に応じた時間長で構成される延長つなぎ言葉を決定する延長決定手段(15,S206)と、
前記延長決定手段により決定された延長つなぎ言葉を、前記音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力する延長つなぎ発話手段(15,S208)と、
前記音声認識サーバから前記音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、前記ユーザに対する応答処理を実行する応答手段(15,S212)と、
を備えることを特徴とする音声認識端末装置。 - 請求項1に記載の音声認識端末装置において、
過去に前記音声認識サーバとの間で通信を行ったときの遅延時間を表す時間情報を取得する取得手段(15)を備え、
前記予測手段は、前記取得手段によって取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識端末装置。 - 請求項2に記載の音声認識端末装置において、
前記取得手段は、前記要求手段により前記音声認識サーバに音声認識処理が要求され、その要求に係る音声認識処理の結果が前記音声認識サーバから得られたときの遅延時間を表す時間情報を取得すること、
を特徴とする音声認識端末装置。 - 請求項2に記載の音声認識端末装置において、
前記取得手段は、前記音声認識サーバとの間で、通信に係る遅延時間を測定するための試験通信を行うことで計測された遅延時間を表す時間情報を取得すること、
を特徴とする音声認識端末装置。 - 請求項1に記載の音声認識端末装置において、
前記音声認識サーバが過去に音声認識端末装置と通信したときの遅延時間表す時間情報を外部装置(30)から取得する取得手段(12,13)を備え、
前記予測手段は、前記取得手段によって前記外部装置から取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識端末装置。 - 請求項2ないし請求項5の何れか1項に記載の音声認識端末装置において、
前記取得手段により取得される時間情報は、通信した時刻に対応付けられており、
前記予測手段は、現時点から直前又は直近のある期間に行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから
得られるまでの遅延時間を予測すること、
を特徴とする音声認識端末装置。 - 請求項2ないし請求項5の何れか1項に記載の音声認識端末装置において、
前記取得手段により取得される時間情報は、通信した位置に対応付けられており、
前記予測手段は、現在地を基準とする所定の地理的範囲内において行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識端末装置。 - 請求項1ないし請求項7の何れか1項に記載の音声認識端末装置(10)と、前記音声認識端末装置と通信可能な音声認識サーバ(20)とを有する音声認識システム(1)であって、
前記音声認識サーバは、
前記音声認識端末装置から音声コマンドに対する音声認識処理の要求を受付け、その受付けた要求に係る音声コマンドに対する音声認識処理を行う認識処理手段(S20,S22)と、
前記認識処理手段による音声認識処理の結果を要求元の前記音声認識端末装置に通知する通知手段(S24)と、
を備えること、
を特徴とする音声認識システム。 - 音声認識を行うコンピュータシステムにおける音声認識方法であって、
ユーザが発話した音声コマンドを取得する音声取得手順(S100)と、
前記音声取得手順において取得された音声コマンドについて、音声認識処理を行う音声認識サーバに音声認識処理を要求する要求手順(S102)と、
前記要求手順における要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測する予測手順(S104)と、
前記予測手順において予測された遅延時間に応じた時間長で構成されるつなぎ言葉を決定する決定手順(S106)と、
前記決定手順において決定されたつなぎ言葉を、前記要求手順における要求に係る音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力するつなぎ発話手順(S108)と、
前記予測手順において予測された遅延時間を経過したときに、前記音声認識サーバから前記音声認識処理の結果をまだ取得できていない場合、前記音声認識処理の結果が得られるまでの延長時間を予測する延長予測手順(S204)と、
前記延長予測手順において予測された延長時間に応じた時間長で構成される延長つなぎ言葉を決定する延長決定手順(S206)と、
前記延長決定手順において決定された延長つなぎ言葉を、前記音声認識処理の結果が前記音声認識サーバから得られるまでの待ち時間中に音声情報として出力する延長つなぎ発話手順(S208)と、
前記音声認識サーバから前記音声認識処理の結果を取得した場合、取得した音声認識処理の結果に基づく、前記ユーザに対する応答処理を実行する応答手順(S212)と、
を有することを特徴とする音声認識方法。 - 請求項9に記載の音声認識方法において、
過去に前記音声認識サーバとの間で通信を行ったときの遅延時間を表す時間情報を取得
する取得手順(S210)を有し、
前記予測手順は、前記取得手順において取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識方法。 - 請求項10に記載の音声認識方法において、
前記取得手順では、前記要求手順において前記音声認識サーバに音声認識処理が要求され、その要求に係る音声認識処理の結果が前記音声認識サーバから得られたときの遅延時間を表す時間情報を取得すること、
を特徴とする音声認識方法。 - 請求項10に記載の音声認識方法において、
前記取得手順では、前記音声認識サーバとの間で、通信に係る遅延時間を測定するための試験通信を行うことで計測された遅延時間を表す時間情報を取得すること、
を特徴とする音声認識方法。 - 請求項9に記載の音声認識方法において、
前記音声認識サーバが過去に遠隔の音声認識端末装置と通信したときの遅延時間表す情報として前記音声認識サーバに記憶されている時間情報を取得する取得手順を備え、
前記予測手順では、前記取得手順において前記音声認識サーバから取得された時間情報で表される過去の遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識方法。 - 請求項10ないし請求項13の何れか1項に記載の音声認識方法において、
前記取得手順において取得される時間情報は、通信した時刻に対応付けられており、
前記予測手順では、現時点から直前又は直近のある期間に行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識方法。 - 請求項10ないし請求項13の何れか1項に記載の音声認識方法において、
前記取得手順において取得される時間情報は、通信した位置に対応付けられており、
前記予測手順では、現在地を基準とする所定の地理的範囲内において行われた通信に関する前記時間情報で表される遅延時間に基づいて、前記音声認識処理の結果が前記音声認識サーバから得られるまでの遅延時間を予測すること、
を特徴とする音声認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014006845A JP5958475B2 (ja) | 2014-01-17 | 2014-01-17 | 音声認識端末装置、音声認識システム、音声認識方法 |
US14/595,379 US9349371B2 (en) | 2014-01-17 | 2015-01-13 | Speech recognition terminal device, speech recognition system, and speech recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014006845A JP5958475B2 (ja) | 2014-01-17 | 2014-01-17 | 音声認識端末装置、音声認識システム、音声認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015135420A JP2015135420A (ja) | 2015-07-27 |
JP5958475B2 true JP5958475B2 (ja) | 2016-08-02 |
Family
ID=53545340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014006845A Expired - Fee Related JP5958475B2 (ja) | 2014-01-17 | 2014-01-17 | 音声認識端末装置、音声認識システム、音声認識方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9349371B2 (ja) |
JP (1) | JP5958475B2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6495014B2 (ja) * | 2015-01-08 | 2019-04-03 | シャープ株式会社 | 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置 |
JP2017021125A (ja) * | 2015-07-09 | 2017-01-26 | ヤマハ株式会社 | 音声対話装置 |
JP6636303B2 (ja) * | 2015-10-29 | 2020-01-29 | シャープ株式会社 | 対話装置、対話機器、対話装置の制御方法、制御プログラム、および記録媒体 |
WO2017085992A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
JP6633008B2 (ja) * | 2017-02-01 | 2020-01-22 | ファーハット ロボティクス エービー | 音声対話装置及び音声対話方法 |
JP6696923B2 (ja) * | 2017-03-03 | 2020-05-20 | 国立大学法人京都大学 | 音声対話装置、その処理方法及びプログラム |
US10258295B2 (en) * | 2017-05-09 | 2019-04-16 | LifePod Solutions, Inc. | Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication |
JP6664359B2 (ja) * | 2017-09-07 | 2020-03-13 | 日本電信電話株式会社 | 音声処理装置、方法およびプログラム |
JP6904225B2 (ja) * | 2017-11-15 | 2021-07-14 | トヨタ自動車株式会社 | 情報処理装置 |
WO2019138477A1 (ja) * | 2018-01-10 | 2019-07-18 | 株式会社ウフル | スマートスピーカー、スマートスピーカーの制御方法、及びプログラム |
JP6984480B2 (ja) * | 2018-02-20 | 2021-12-22 | トヨタ自動車株式会社 | 情報処理装置および情報処理方法 |
CN111566727B (zh) * | 2018-10-25 | 2023-09-01 | 微软技术许可有限责任公司 | 全双工语音对话中的多阶段响应 |
CN113711307B (zh) * | 2019-04-23 | 2023-06-27 | 三菱电机株式会社 | 设备控制装置及设备控制方法 |
JP7229847B2 (ja) | 2019-05-13 | 2023-02-28 | 株式会社日立製作所 | 対話装置、対話方法、及び対話コンピュータプログラム |
CN110415696A (zh) * | 2019-07-26 | 2019-11-05 | 广东美的制冷设备有限公司 | 语音控制方法、电器控制装置、电器及电器控制系统 |
JP7279861B2 (ja) * | 2020-06-16 | 2023-05-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
CN113973073A (zh) * | 2020-07-21 | 2022-01-25 | 阿里巴巴集团控股有限公司 | 物联网性能测试系统、方法和相应设备 |
US11763813B2 (en) * | 2021-04-28 | 2023-09-19 | Google Llc | Methods and systems for reducing latency in automated assistant interactions |
US11404062B1 (en) | 2021-07-26 | 2022-08-02 | LifePod Solutions, Inc. | Systems and methods for managing voice environments and voice routines |
CN114039890B (zh) * | 2021-11-04 | 2023-01-31 | 国家工业信息安全发展研究中心 | 一种语音识别时延测试方法、系统及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5930751A (en) * | 1997-05-30 | 1999-07-27 | Lucent Technologies Inc. | Method of implicit confirmation for automatic speech recognition |
US7102485B2 (en) * | 2001-05-08 | 2006-09-05 | Gene Williams | Motion activated communication device |
US6985865B1 (en) * | 2001-09-26 | 2006-01-10 | Sprint Spectrum L.P. | Method and system for enhanced response to voice commands in a voice command platform |
US7026957B2 (en) * | 2001-10-01 | 2006-04-11 | Advanced Public Safety, Inc. | Apparatus for communicating with a vehicle during remote vehicle operations, program product, and associated methods |
JP4116955B2 (ja) * | 2003-09-02 | 2008-07-09 | 日本電信電話株式会社 | 音声品質客観評価装置および音声品質客観評価方法 |
TWI270850B (en) * | 2005-06-14 | 2007-01-11 | Universal Scient Ind Co Ltd | Voice-controlled vehicle control method and system with restricted condition for assisting recognition |
JP4271224B2 (ja) * | 2006-09-27 | 2009-06-03 | 株式会社東芝 | 音声翻訳装置、音声翻訳方法、音声翻訳プログラムおよびシステム |
JP2012256001A (ja) | 2011-06-10 | 2012-12-27 | Alpine Electronics Inc | 移動体における音声認識装置および方法 |
US8340975B1 (en) * | 2011-10-04 | 2012-12-25 | Theodore Alfred Rosenberger | Interactive speech recognition device and system for hands-free building control |
JP6078964B2 (ja) * | 2012-03-26 | 2017-02-15 | 富士通株式会社 | 音声対話システム及びプログラム |
US9384736B2 (en) * | 2012-08-21 | 2016-07-05 | Nuance Communications, Inc. | Method to provide incremental UI response based on multiple asynchronous evidence about user input |
JP5753869B2 (ja) * | 2013-03-26 | 2015-07-22 | 富士ソフト株式会社 | 音声認識端末およびコンピュータ端末を用いる音声認識方法 |
-
2014
- 2014-01-17 JP JP2014006845A patent/JP5958475B2/ja not_active Expired - Fee Related
-
2015
- 2015-01-13 US US14/595,379 patent/US9349371B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9349371B2 (en) | 2016-05-24 |
JP2015135420A (ja) | 2015-07-27 |
US20150206531A1 (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5958475B2 (ja) | 音声認識端末装置、音声認識システム、音声認識方法 | |
JP6024675B2 (ja) | 音声認識端末装置、音声認識システム、音声認識方法 | |
US11869487B1 (en) | Allocation of local and remote resources for speech processing | |
JP6571118B2 (ja) | 音声認識処理のための方法、車載システム及び不揮発性記憶媒体 | |
KR102414456B1 (ko) | 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법 | |
US20240038219A1 (en) | Learning offline voice commands based on usage of online voice commands | |
KR101828273B1 (ko) | 결합기반의 음성명령 인식 장치 및 그 방법 | |
KR20190046623A (ko) | 자기-학습 자연 언어 이해를 갖는 다이얼로그 시스템 | |
US20130132084A1 (en) | System and method for performing dual mode speech recognition | |
KR20190041569A (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법 | |
US11763819B1 (en) | Audio encryption | |
CN109285541B (zh) | 语音识别系统及语音识别方法 | |
US10535337B2 (en) | Method for correcting false recognition contained in recognition result of speech of user | |
CN110956955B (zh) | 一种语音交互的方法和装置 | |
KR20200098079A (ko) | 대화 시스템 및 대화 처리 방법 | |
JP2018045202A (ja) | 音声対話システムおよび音声対話方法 | |
JP6954821B2 (ja) | 対話管理装置及びプログラム | |
JP7004955B2 (ja) | サービス提供装置、サービス提供プログラム及び音声認識によるサービスを提供する方法 | |
JP5376072B1 (ja) | 車載情報システムおよび音声認識適応方法 | |
US11195535B2 (en) | Voice recognition device, voice recognition method, and voice recognition program | |
JP2017181667A (ja) | 音声認識装置および音声認識方法 | |
KR20200095636A (ko) | 대화 시스템이 구비된 차량 및 그 제어 방법 | |
KR102364935B1 (ko) | 5g 기반의 음성인식 반응속도 개선을 위한 데이터 전송 방법 및 장치 | |
CN116895275A (zh) | 对话系统及其控制方法 | |
JP2021043913A (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5958475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |