[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020198588A - 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム - Google Patents

音声処理システム、会議システム、音声処理方法、及び音声処理プログラム Download PDF

Info

Publication number
JP2020198588A
JP2020198588A JP2019105188A JP2019105188A JP2020198588A JP 2020198588 A JP2020198588 A JP 2020198588A JP 2019105188 A JP2019105188 A JP 2019105188A JP 2019105188 A JP2019105188 A JP 2019105188A JP 2020198588 A JP2020198588 A JP 2020198588A
Authority
JP
Japan
Prior art keywords
command
voice
unit
target user
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019105188A
Other languages
English (en)
Other versions
JP7351642B2 (ja
Inventor
一雄 巻島
Kazuo Makishima
一雄 巻島
寺田 智
Satoshi Terada
智 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2019105188A priority Critical patent/JP7351642B2/ja
Priority to US16/874,201 priority patent/US11568866B2/en
Priority to CN202010426661.6A priority patent/CN112053684A/zh
Publication of JP2020198588A publication Critical patent/JP2020198588A/ja
Application granted granted Critical
Publication of JP7351642B2 publication Critical patent/JP7351642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/34Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】音声コマンドに応じた情報を適切にユーザに伝達することが可能な音声処理システム、会議システム、音声処理方法、及び音声処理プログラムを提供する。【解決手段】音声処理システムは、音声を受信する音声受信部と、受信される前記音声に基づいて発話者を特定する話者特定部と、受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定部と、前記音声に前記特定ワードが含まれる場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定部と、前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定部と、前記コマンドを前記対象ユーザに対して実行するコマンド実行部と、を備える。【選択図】図13

Description

本発明は、音声処理システム、会議システム、音声処理方法、及び音声処理プログラムに関する。
従来、互いに離れた場所においてネットワークを介して音声、映像、ファイルなどを送受信して行う会議システムが提案されている。例えば特許文献1には、カメラ画像を撮影する撮像部と、入力音声から語句を認識し登録されているキーワードに一致しているとき、登録キーワードに関連付けられた特定の補助画像を選出し、カメラ画像と補助画像とを切り替えて送信するテレビ電話装置が開示されている。
特開2004−343232号公報
従来の技術では、例えば、会議において第1ユーザの音声(音声コマンド)が認識された場合に、当該音声コマンドに応じた情報(コマンド応答)が、会議に参加する全てのユーザに伝達される。しかし、前記コマンド応答は、一部のユーザにのみ必要な情報であって、他の一部のユーザには不必要な情報である場合がある。このため、前記コマンド応答が会議に参加する全てのユーザに伝達されるシステムでは、適切な情報伝達を行うことが困難である。
本発明の目的は、音声コマンドに応じた情報を適切にユーザに伝達することが可能な音声処理システム、会議システム、音声処理方法、及び音声処理プログラムを提供することにある。
本発明の一の態様に係る音声処理システムは、音声を受信する音声受信部と、前記音声受信部より受信される前記音声に基づいて発話者を特定する話者特定部と、前記音声受信部より受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定部と、前記音声判定部により、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定部と、前記コマンド特定部により特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定部と、前記コマンド特定部により特定される前記コマンドを、前記対象ユーザ特定部により特定される前記対象ユーザに対して実行するコマンド実行部と、を備える。
本発明の他の態様に係る会議システムは、領域ごとに音声処理装置及び表示装置が配置され、前記音声処理装置を介して前記領域間で音声の送受信を行うことが可能な会議システムであって、前記音声を受信する音声受信部と、前記音声受信部より受信される前記音声に基づいて発話者を特定する話者特定部と、前記音声受信部より受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定部と、前記音声判定部により、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定部と、前記コマンド特定部により特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定部と、前記コマンド特定部により特定される前記コマンドを、前記対象ユーザ特定部により特定される前記対象ユーザが位置する前記領域の前記表示装置において実行するコマンド実行部と、を備える。
本発明の他の態様に係る音声処理方法は、音声を受信する音声受信ステップと、前記音声受信ステップより受信される前記音声に基づいて発話者を特定する話者特定ステップと、前記音声受信ステップより受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定ステップと、前記音声判定ステップにより、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定ステップと、前記コマンド特定ステップにより特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定ステップと、前記コマンド特定ステップにより特定される前記コマンドを、前記対象ユーザ特定ステップにより特定される前記対象ユーザに対して実行するコマンド実行ステップと、を一又は複数のプロセッサにより実行する音声処理方法である。
本発明の他の態様に係る音声処理プログラムは、音声を受信する音声受信ステップと、前記音声受信ステップより受信される前記音声に基づいて発話者を特定する話者特定ステップと、前記音声受信ステップより受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定ステップと、前記音声判定ステップにより、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定ステップと、前記コマンド特定ステップにより特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定ステップと、前記コマンド特定ステップにより特定される前記コマンドを、前記対象ユーザ特定ステップにより特定される前記対象ユーザに対して実行するコマンド実行ステップと、を一又は複数のプロセッサにより実行させるための音声処理プログラムである。
本発明によれば、音声コマンドに応じた情報を適切にユーザに伝達することが可能な音声処理装置、会議システム、音声処理方法、及び音声処理プログラムが提供される。
図1は、本発明の実施形態に係る会議システムの概略構成を示す図である。 図2は、本発明の実施形態に係る会議システムの構成を示す機能ブロック図である。 図3は、本発明の実施形態に係る会議システムにおいて表示装置に表示される表示画面の一例を示す図である。 図4は、本発明の実施形態に係る会議システムにおいて表示装置に表示される表示画面の一例を示す図である。 図5は、本発明の実施形態に係る会議システムにおいて表示装置に表示される表示画面の一例を示す図である。 図6は、本発明の実施形態に係る会議システムにおいて表示装置に表示される表示画面の一例を示す図である。 図7は、本発明の実施形態に係る会議システムにおいて表示装置に表示される表示画面の一例を示す図である。 図8は、本発明の実施形態に係る会議システムに用いられる会議情報の一例を示す図である。 図9は、本発明の実施形態に係る会議システムに用いられるユーザ情報の一例を示す図である。 図10は、本発明の実施形態に係る会議システムに用いられる参加者情報の一例を示す図である。 図11は、本発明の実施形態に係る会議システムに用いられるコマンド情報の一例を示す図である。 図12は、本発明の実施形態に係る会議システムに用いられるコンテンツ情報の一例を示す図である。 図13は、本発明の実施形態に係る会議システムにおける音声処理の手順の一例を説明するためのフローチャートである。 図14は、本発明の実施形態に係る会議システムにおける音声処理の手順の一例を説明するためのフローチャートである。
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
本発明に係る音声処理システムは、一つの場所(領域)において複数のユーザが参加する会議、複数の場所(領域)をネットワーク接続して複数のユーザが参加するリモート会議などに適用することができる。また、本発明に係る音声処理システムは、音声コマンドを実行する機能と、ネットワークを介してユーザ間で通話可能な通話機能(電話機能、テレビ電話機能など)とを備えたものであってもよい。また本発明に係る音声処理システムは、会議参加者の音声を送受信する1又は複数の音声処理装置を備える。
以下の実施形態では、音声処理システムがリモート会議(会議システム)に適用される場合を例に挙げて説明する。すなわち、本実施形態に係る会議システムは、本発明に係る音声処理システムの一例である。例えば本実施形態に係る会議システムでは、それぞれの場所(会議室)に音声処理装置が配置され、一方の会議室の音声処理装置がユーザの発話した音声を受信して、他方の会議室の音声処理装置に送信することにより、各会議室のユーザ同士の会話を可能にする。また前記会議システムでは、音声処理装置から受信するユーザの音声を解析してコマンドを特定するクラウドサーバを備える。また前記会議システムでは、前記コマンドを実行する端末装置の一例である表示装置を備える。なお、前記コマンドを実行する端末装置は、表示装置に限定されず、音声処理装置又はユーザが所持するユーザ端末であってもよい。
[会議システム100]
図1は、本発明の実施形態に係る会議システムの概略構成を示す図である。会議システム100は、音声処理装置1と、クラウドサーバ2と、表示装置3と、データベースDBとを含んでいる。音声処理装置1A,1B,1Cのそれぞれは、マイク及びスピーカを備えたマイクスピーカ装置であり、例えばAIスピーカ、スマートスピーカなどである。ここでは、会議室Aに設置された音声処理装置1Aと、会議室Bに設置された音声処理装置1Bと、会議室Cに設置された音声処理装置1Cとを示している。表示装置3A,3B,3Cは各種情報を表示する表示部を備える。ここでは、会議室Aに設置された表示装置3Aと、会議室Bに設置された表示装置3Bと、会議室Cに設置された表示装置3Cとを示している。音声処理装置1A及び表示装置3Aと、音声処理装置1B及び表示装置3Bと、音声処理装置1C及び表示装置3Cと、クラウドサーバ2と、データベースDBとは、ネットワークN1を介して互いに接続されている。ネットワークN1は、インターネット、LAN、WAN、又は公衆電話回線などの通信網である。クラウドサーバ2は、例えば1台又は複数台のデータサーバ(仮想サーバ)で構築される。データベースDBは、各種データを記憶する。データベースDBは、クラウドサーバ2に含まれてもよいし、表示装置3A,3B,3Cのいずれか一つに含まれてもよいし、複数の表示装置3に分散して設けられてもよい。またデータベースDBは、音声処理装置1A,1B,1Cのいずれか一つに含まれてもよいし、複数の音声処理装置1に分散して設けられてもよい。音声処理装置1A,1B,1Cのそれぞれは、本発明の音声処理装置の一例である。表示装置3A,3B,3Cのそれぞれは、本発明の表示装置、端末装置の一例である。
ここで、図1に示す構成を例に挙げて、会議システム100の適用シーンの一例を説明する。なお、例えば、会議の件名(議題)、会議の開始日時及び終了日時、会議に使用するファイル(添付ファイル)、参加者などの情報(図8に示す会議情報D1)が、予めデータベースDB(図2参照)に登録されている。会議情報D1は、例えば会議の責任者などによって登録される。ここでは、会議情報D1に、ユーザA,B,Cが会議の参加者として事前に登録されているものとする。
先ず、ユーザAは会議室Aにおいて表示装置3Aに表示されるログイン画面にユーザIDを入力してログインする。これにより、ユーザAの識別情報(ユーザID)「U001」と表示装置3Aの識別情報(表示装置ID)「D001」とが関連付けられて参加者情報D3(図10参照)に登録される。同様に、ユーザBは会議室Bにおいて表示装置3Bに表示されるログイン画面にユーザIDを入力してログインする。これにより、ユーザBの識別情報(ユーザID)「U002」と表示装置3Bの識別情報(表示装置ID)「D002」とが関付けられて参加者情報D3に登録される。またユーザCは会議室Cにおいて表示装置3Cに表示されるログイン画面にユーザIDを入力してログインする。これにより、ユーザCの識別情報(ユーザID)「U003」と表示装置3Cの識別情報(表示装置ID)「D003」とが関連付けられて参加者情報D3に登録される。
次に、例えばユーザAが、所定のコマンドの受け付けを開始するための特定ワード(起動ワード、ウェイクアップワードともいう。)(図3では、“***”と示している)と、特定ワードに続くコマンド用キーワード(図3の「今日の予定の会議を始めて」)とを含む音声を発話する。音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードに基づいてコマンドを特定する。ここでは、クラウドサーバ2は「会議開始」のコマンドを特定する。表示装置3Aは特定された前記コマンドを実行する。これにより、表示装置3Aの接続が完了し、会議が開始される。
同様に、例えばユーザBが、前記特定ワードと、前記コマンド用キーワード(「今日の予定の会議を始めて」)とを含む音声を発話する。音声処理装置1Bは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードに基づいてコマンドを特定する。ここでは、クラウドサーバ2は「会議開始」のコマンドを特定する。表示装置3Bは特定された前記コマンドを実行する。これにより、表示装置3Bの接続が完了し、表示装置3A,3Bが同一のネットワークに接続される。これにより、例えば表示装置3Aの表示画面にユーザBの識別情報(顔画像)が表示され、表示装置3Bの表示画面にユーザAの識別情報(顔画像)が表示される(図3参照)。
同様に、例えばユーザCが、前記特定ワードと、前記コマンド用キーワード(「今日の予定の会議を始めて」)とを含む音声を発話する。音声処理装置1Cは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードに基づいてコマンドを特定する。ここでは、クラウドサーバ2は「会議開始」のコマンドを特定する。表示装置3Cは特定された前記コマンドを実行する。これにより、表示装置3Cの接続が完了し、表示装置3A,3B,3Cが同一のネットワークに接続される。これにより、例えば表示装置3Aの表示画面にユーザB及びユーザCの識別情報(顔画像)が表示され、表示装置3Bの表示画面にユーザA及びユーザCの識別情報(顔画像)が表示され、表示装置3Cの表示画面にユーザA及びユーザBの識別情報(顔画像)が表示される(図3参照)。
会議が開始されると、例えばユーザAの発話した音声が音声処理装置1Aにより受信され、音声処理装置1Aは受信した音声をネットワークを介して音声処理装置1B,1Cに送信し、音声処理装置1B,1Cのそれぞれは受信した音声をスピーカから出力する。このようにして、ユーザA,B,Cは会話を行う。
ここで、例えばユーザAが、前記特定ワードと、前記コマンド用キーワードである「ヘルプを表示して」とを含む音声を発話した場合、音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードを受信すると、「ヘルプ表示」のコマンドを特定する(図11参照)。また、クラウドサーバ2は、前記コマンドを実行する対象ユーザを特定する。ここでは、クラウドサーバ2は、ヘルプ画面を表示、閲覧させる対象ユーザとして、前記コマンド用キーワードの発話者である「ユーザA」を特定する。表示装置3Aは特定された前記コマンドを実行する。これにより、表示装置3Aの表示画面にヘルプ画像P1が表示される(図4参照)。この場合、表示装置3B,3Cの表示画面には、ヘルプ画像P1は表示されない。
また、例えばユーザAが、前記特定ワードと、前記コマンド用キーワードである「添付ファイルを表示して」とを含む音声を発話した場合、音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードを受信すると、「添付ファイル表示」のコマンドを特定する(図11参照)。また、クラウドサーバ2は、前記コマンドを実行する対象ユーザを特定する。ここでは、クラウドサーバ2は、添付ファイルを表示、閲覧させる対象ユーザとして、会議に参加する全ての参加者、ここでは「ユーザA」、「ユーザB」、「ユーザC」を特定する。表示装置3A,3B,3Cのそれぞれは特定された前記コマンドを実行する。これにより、画像P2が表示されている表示装置3A,3B,3Cのそれぞれの表示画面に、同一の添付ファイル画像P3が表示される(図5参照)。なお、前記添付ファイルは、例えば、予めデータベースDBに記憶され、その識別情報(添付ファイルID「f001」)が会議情報D1(図8参照)に登録される。
添付ファイル画像P3が表示装置3A,3B,3Cの表示画面に表示されている状態で、例えばユーザAが、前記特定ワードと、前記コマンド用キーワードである「次のページをめくって」とを含む音声を発話した場合、音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードを受信すると、「ページめくり」のコマンドを特定する(図11参照)。クラウドサーバ2は、前記コマンドを実行する対象ユーザとして、「ユーザA」、「ユーザB」、「ユーザC」を特定する。表示装置3A,3B,3Cのそれぞれは特定された前記コマンドを実行する。これにより、表示装置3A,3B,3Cのそれぞれの表示画面において、添付ファイル画像P3が次ページの画像P4に切り替わる(図5参照)。
また、例えばユーザAが、前記特定ワードと、前記コマンド用キーワードである「“…”を表示して」とを含む音声を発話した場合、音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードを受信すると、「指定ファイル表示」のコマンドを特定する(図11参照)。ここでは、ユーザAが指定ファイルとして「予算管理表」を指定したと仮定する。クラウドサーバ2は、前記コマンドを実行する対象ユーザを特定する。ここでは、クラウドサーバ2は、コンテンツ情報D5(図12参照)を参照して、「予算管理表」を表示、閲覧させる対象ユーザとして、「予算管理表」の閲覧を許可されたユーザである「ユーザA」、「ユーザB」を特定する。表示装置3A,3Bのそれぞれは、特定された前記コマンドを実行する。これにより、表示装置3A,3Bのそれぞれの表示画面に、同一の画像P5が表示される(図6参照)。なお、前記指定ファイルは、例えば、予めデータベースDBに記憶され、その識別情報(コンテンツID「C001」)がコンテンツ情報D5(図12参照)に登録される。
また、例えばユーザAが、前記特定ワードと、前記コマンド用キーワードである「私の今週の予定を“…”さんに見せて」とを含む音声を発話した場合、音声処理装置1Aは前記特定ワードを認識すると、前記コマンド用キーワードをクラウドサーバ2に送信する。クラウドサーバ2は前記コマンド用キーワードを受信すると、「予定表示」のコマンドを特定する(図11参照)。ここでは、ユーザAが前記予定(スケジュール)を見せる相手として「ユーザC」を指定したと仮定する。クラウドサーバ2は、前記コマンドを実行する対象ユーザを特定する。ここでは、クラウドサーバ2は、ユーザAの予定を表示、閲覧させる対象ユーザとして、発話者本人「ユーザA」と、ユーザAが指定した「ユーザC」とを特定する。表示装置3A,3Cのそれぞれは、特定された前記コマンドを実行する。これにより、表示装置3A,3Cのそれぞれの表示画面に、ユーザAの今週の予定の画像P6が表示される(図7参照)。なお、前記予定は、例えば、予めデータベースDBに記憶され、その識別情報(予定ID「S001」)がユーザ情報D2(図9参照)に登録される。
会議システム100は、上述のように、コマンドの内容に応じて特定されるユーザに対してコマンドを実行することにより、コマンドに応じた情報を適切にユーザに伝達することを可能にする。以下、会議システム100の具体的な構成について説明する。尚、以下の説明では、音声処理装置1A,1B,1Cを区別しない場合は「音声処理装置1」と称す。また、クラウドサーバ2は、1台の仮想サーバとして説明する。尚、クラウドサーバ2は、1台の物理サーバに置き換えられてもよい。
[音声処理装置1]
図2に示すように、音声処理装置1は、制御部11、記憶部12、スピーカ13、マイク14、及び通信インターフェース15などを備える。音声処理装置1は、例えばAIスピーカ、スマートスピーカなどの機器であってもよい。音声処理装置1は、例えば会議室の机上に配置され、会議に参加するユーザの音声をマイク14を介して取得したり、当該ユーザに対してスピーカ13から音声を出力(報知)したりする。
通信インターフェース15は、音声処理装置1を有線又は無線でネットワークN1に接続し、ネットワークN1を介して他の機器(例えば、他の音声処理装置1、クラウドサーバ2、表示装置3、データベースDB)との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
記憶部12は、各種の情報を記憶するフラッシュメモリーなどの不揮発性の記憶部である。記憶部12には、制御部11に後述の音声処理(図13参照)を実行させるための音声処理プログラムなどの制御プログラムが記憶されている。例えば、前記音声処理プログラムは、クラウドサーバ2から配信されて記憶される。また前記音声処理プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録され、音声処理装置1が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部12に記憶されてもよい。
制御部11は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の処理を実行させるためのBIOS及びOSなどの制御プログラムを予め記憶する。前記RAMは、各種の情報を記憶し、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部11は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより音声処理装置1を制御する。
具体的に、制御部11は、音声受信部111、話者特定部112、音声判定部113、音声送信部114、応答処理部115などの各種の処理部を含む。なお、制御部11は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部11に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記音声処理プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
音声受信部111は、音声処理装置1を利用するユーザが発話した音声を受信する。音声受信部111は、本発明の音声受信部の一例である。ユーザは、例えば、会議に関する音声、音声処理装置1がコマンドの受け付けを開始するための特定ワード(起動ワード、ウェイクアップワードともいう。)の音声、音声処理装置1に指示する各種コマンドの音声(コマンド音声)などを発話する。音声受信部111は、ユーザから発話された各種音声を受信する。
話者特定部112は、音声受信部111より受信された前記音声に基づいて、発話したユーザ(発話者)を特定する。話者特定部112は、本発明の話者特定部の一例である。例えば、話者特定部112は、音声受信部111より受信された前記音声と、予め記憶部12に登録されたユーザ音声とを比較して、前記発話者を特定する。また話者特定部112は、音声受信部111より受信された前記音声と、カメラ(不図示)により撮像される撮像画像とに基づいて、前記発話者を特定してもよい。例えば、話者特定部112は、マイク14による集音方向に基づいて前記音声を受信した方向(発話者の方向)を特定し、当該方向に含まれる前記撮像画像に基づいて発話者を特定する。例えば、前記方向に含まれる前記撮像画像にユーザが含まれる場合、話者特定部112は、当該ユーザを発話者として特定する。
音声判定部113は、音声受信部111より受信された前記音声に基づいて、当該音声に前記特定ワードが含まれるか否かを判定する。音声判定部113は、本発明の音声判定部の一例である。例えば、音声判定部113は、音声受信部111より受信された前記音声を音声認識してテキストデータに変換する。そして、音声判定部113は、テキストデータの冒頭に前記特定ワードが含まれるか否かを判定する。
音声送信部114は、音声判定部113による判定結果に基づいて、音声受信部111より受信される前記音声の送信先を切り替える。具体的には、音声判定部113により、音声受信部111により受信された前記音声に前記特定ワードが含まれると判定された場合に、音声送信部114は、前記音声に含まれ、前記特定ワードに続くキーワード(コマンド用キーワード)のテキストデータを、クラウドサーバ2に送信する。また音声判定部113により、音声受信部111により受信された前記音声に前記特定ワードが含まれないと判定された場合には、音声送信部114は、当該音声を他の音声処理装置1に送信する。例えば、音声処理装置1Aの音声送信部114は、前記特定ワードを含まない音声を、音声処理装置1B,1Cに送信する。
ここで、音声送信部114は、音声判定部113による判定結果に基づいて、音声受信部111より受信された前記音声をクラウドサーバ2に送信するコマンド送信モードと、音声受信部111より受信された前記音声を他の音声処理装置1に送信する音声送信モードとを切り替える構成を備えてもよい。例えば、音声判定部113により、音声受信部111より受信された前記音声に前記特定ワードが含まれると判定された場合に、音声送信部114は、送信モードをコマンド送信モードに設定する(切り替える)。送信モードがコマンド送信モードに設定された場合、音声送信部114は、前記特定ワードに続く前記コマンド用キーワード(テキストデータ)をクラウドサーバ2に送信する。また音声送信部114は、前記コマンド用キーワードをクラウドサーバ2に送信した後、送信モードを音声送信モードに設定する(切り替える)。送信モードが音声送信モードに設定された場合、音声送信部114は、音声受信部111より受信された前記音声を他の音声処理装置1に送信する。このように、音声送信部114は、前記特定ワードを受信した場合にコマンド送信モードに切り替えて前記コマンド用キーワードをクラウドサーバ2に送信し、前記コマンド用キーワードの送信処理が終了すると音声送信モードに切り替える。これにより、前記特定ワードが発話されるごとに前記コマンド用キーワードがクラウドサーバ2に送信されるため、通常の会話の音声がクラウドサーバ2に誤って送信されることを回避することができる。
応答処理部115は、クラウドサーバ2において特定された前記コマンドに対応する応答(コマンド応答)をクラウドサーバ2から取得し、当該コマンド応答をスピーカ13から出力させる。例えば、前記コマンドが情報検索の出力に関する内容である場合、応答処理部115は、クラウドサーバ2において検索された結果を取得して、スピーカ13から出力させる。
[クラウドサーバ2]
図2に示すように、クラウドサーバ2は、制御部21、記憶部22、通信インターフェース23などを備える。
通信インターフェース23は、クラウドサーバ2を有線又は無線でネットワークN1に接続し、ネットワークN1を介して他の機器(例えば音声処理装置1A,1B,1C、表示装置3A,3B,3C、データベースDB)との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
記憶部22は、各種の情報を記憶するフラッシュメモリーなどの不揮発性の記憶部である。記憶部22には、制御部21に後述の音声処理(図13参照)を実行させるための音声処理プログラムなどの制御プログラムが記憶されている。例えば、前記音声処理プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録され、クラウドサーバ2が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部22に記憶されてもよい。また記憶部22には、音声処理装置1から受信する前記コマンド用キーワードのテキストデータなどが記憶される。
制御部21は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の処理を実行させるためのBIOS及びOSなどの制御プログラムを予め記憶する。前記RAMは、各種の情報を記憶し、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部21は、前記ROM又は記憶部22に予め記憶された各種の制御プログラムを前記CPUで実行することによりクラウドサーバ2を制御する。
また制御部21は、データベースDBを参照して各種処理を実行する。図2に示すようにデータベースDBには、会議情報D1、ユーザ情報D2、参加者情報D3、コマンド情報D4、コンテンツ情報D5、コンテンツデータD6などのデータが記憶される。
図8には会議情報D1の一例を示している。会議情報D1には、会議ごとに、対応する「会議ID」、「件名」、「開始日時」、「終了日時」、「添付ファイルID」、「参加者ID」などの情報が互いに関連付けられて登録される。「会議ID」は会議の識別情報であり、「件名」は会議の件名(議題)である。「開始日時」は会議の開始日時であり、「終了日時」は会議の終了日時である。「添付ファイルID」は、会議に使用されるファイル(資料)の識別情報であり、「参加者ID」は、会議に参加するユーザの識別情報(ユーザID)である。添付ファイルIDに対応するファイルデータは、データベースDBに記憶される。前記ファイルデータは、コンテンツデータD6に含まれる。会議情報D1は、会議の開催が決定すると責任者などにより事前に登録される。図8では、ユーザA(「U001」)、ユーザB(「U002」)、ユーザC(「U003」)が会議の参加者として登録されていることを示している。
図9にはユーザ情報D2の一例を示している。ユーザ情報D2には、ユーザごとに、対応する「ユーザID」、「ユーザ名」、「予定ID」などの情報が互いに関連付けられて登録される。ユーザ情報D2には、会議に参加するユーザだけでなく、会議システム100を利用する権限を有する全てのユーザに関する情報が事前に登録される。例えば、企業の全社員の情報がユーザ情報D2に登録される。「ユーザID」はユーザの識別情報であり、「ユーザ名」はユーザの名前である。「予定ID」はユーザの予定(スケジュール)の識別情報である。「予定ID」は必要に応じて登録される。予定IDに対応する予定データ(スケジュールデータ)は、データベースDBに記憶される。前記予定データは、コンテンツデータD6に含まれる。
図10には参加者情報D3の一例を示している。参加者情報D3には、会議ごとに、対応する「参加者ID」、「参加者名」、「表示装置ID」などの情報が互いに関連付けられて登録される。「参加者ID」は会議に参加するユーザの識別情報であり、「参加者名」は当該ユーザの名前である。「表示装置ID」は参加者が使用する表示装置、例えば参加者が会議に参加する場所(会議室)に配置される表示装置3の識別情報である。例えば会議室に配置された表示装置3において参加者がログイン操作を行うことにより、参加者ID、参加者名、表示装置IDなどが互いに関連付けられて参加者情報D3に登録される。例えば、ユーザAが会議室Aにおいて表示装置3Aに表示されるログイン画面にユーザID「U001」を入力してログインすると、ユーザID「U001」と表示装置3Aの識別情報(表示装置ID)「D001」とが関連付けられて参加者情報D3に登録される。同様に、ユーザBが会議室Bにおいて表示装置3Bに表示されるログイン画面にユーザID「U002」を入力してログインすると、ユーザID「U002」と表示装置3Bの表示装置ID「D002」とが関連付けられて参加者情報D3に登録され、ユーザCが会議室Cにおいて表示装置3Cに表示されるログイン画面にユーザID「U003」を入力してログインすると、ユーザID「U003」と表示装置3Cの表示装置ID「D003」とが関連付けられて参加者情報D3に登録される。なお、前記ログイン処理は、上記の方法に限定されない。例えば、ユーザが所持する携帯端末(例えばスマートフォン)又はIDカードと、表示装置3又は音声処理装置1とが無線通信を行うことにより、参加者情報D3に各情報が登録されてもよい。
図11にはコマンド情報D4の一例を示している。コマンド情報D4には、キーワード(コマンド用キーワード)ごとに、対応する「キーワード」、「コマンド」、「対象ユーザ」などの情報が互いに関連付けられて登録される。「キーワード」はコマンド用キーワードを示す情報であり、「コマンド」はコマンドの内容を示す情報である。「対象ユーザ」はコマンドを実行する対象となるユーザを示す情報である。図11に示すように、各キーワードに対して所定のコマンドが登録されており、各コマンドに対して対象ユーザが登録されている。
例えば「コマンド」が「会議開始」である場合、「対象ユーザ」は登録されない。また「コマンド」が「ヘルプ表示」である場合、「対象ユーザ」には、ヘルプに関する情報の取得を希望する「発話者」が登録される。また「コマンド」が「添付ファイル表示」である場合、前記添付ファイルは会議情報D1(図8参照)に登録され、会議に必要な資料であるため、「対象ユーザ」には、会議の「全参加者」が登録される。また「コマンド」が「ページめくり」である場合、「対象ユーザ」には、対応するファイルを表示している「ファイル表示中の参加者」が登録される。
また「コマンド」が「指定ファイル表示」である場合、「対象ユーザ」には、前記指定ファイルの閲覧を許可された参加者として「許可された参加者」が登録される。ここで、図12に示すように、コンテンツ情報D5には、コンテンツごとに、対応する「コンテンツID」、「コンテンツ名」、「許可ユーザ」などの情報が互いに関連付けられて登録される。「コンテンツID」は、ファイル(文書ファイル、資料ファイル、予定など)、画像(静止画、動画など)などのコンテンツの識別情報である。「許可ユーザ」は、前記コンテンツの閲覧、表示、取得などアクセス権限を有するユーザを示す情報である。例えばコンテンツID「C001」の「予算管理表」は、ユーザA及びユーザBは閲覧権限を有するが、ユーザCは閲覧権限を有していない。このため、例えば「キーワード」が「予算管理表を表示して」の場合、「対象ユーザ」は「ユーザA」及び「ユーザB」となり、「キーワード」が「特許図面を表示して」の場合、「対象ユーザ」は「ユーザA」及び「ユーザC」となる。
また「コマンド」が「予定表示」である場合、「対象ユーザ」には、発話者に指定されたユーザ、すなわち前記キーワードに含まれるユーザ名(本発明のユーザ特定用ワードの一例)に対応するユーザである「指定された参加者」が登録される。例えば、前記キーワードが「私の今週の予定をCさんに見せて」の場合、「対象ユーザ」には、「ユーザA」及び「ユーザC」が登録される。
なお、他の実施形態として、会議情報D1、ユーザ情報D2、参加者情報D3、コマンド情報D4、コンテンツ情報D5、コンテンツデータD6などの情報の一部又は全部が、音声処理装置1、クラウドサーバ2、及び表示装置3のいずれかに記憶されてもよいし、これら複数の装置に分散して記憶されてもよい。また、他の実施形態として、前記各情報が会議システム100からアクセス可能なサーバに記憶されてもよい。この場合、会議システム100は、前記サーバから前記各情報を取得して、後述の音声処理(図13参照)などの各処理を実行してもよい。
図2に示すように、制御部21は、音声受信部211、コマンド特定部212、対象ユーザ特定部213、コマンド処理部214などの各種の処理部を含む。なお、制御部21は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部21に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
音声受信部211は、音声処理装置1から送信される前記コマンド用キーワードを受信する。前記コマンド用キーワードは、音声処理装置1が受信する音声のテキストデータの冒頭に含まれる特定ワードに続くワード(テキストデータ)である。具体的には、音声処理装置1が、前記特定ワードを検出して前記コマンド用キーワードをクラウドサーバ2に送信すると、クラウドサーバ2が当該コマンド用キーワードを受信する。
コマンド特定部212は、音声受信部211により受信された前記コマンド用キーワードに基づいて、コマンドを特定する。コマンド特定部212は、本発明のコマンド特定部212の一例である。例えば、コマンド特定部212は、データベースDBに記憶されたコマンド情報D4(図11参照)を参照して、前記コマンド用キーワードに対応するコマンドを特定する。本実施形態では、コマンド情報D4に、予め複数の前記コマンド用キーワード及び前記コマンドの組み合わせが登録され、コマンド情報D4の中から前記コマンド用キーワードに一致する前記コマンドを特定する構成としているが、コマンドの特定方法はこれに限定されない。例えば、コマンド特定部212は、前記コマンド用キーワードに含まれる所定の用語、例えば、「ヘルプ」、「ファイル」、「めくる」などの用語、前記コマンド用キーワード全体の文節、構文などに基づいて、ユーザの指示内容の意味を解釈して前記コマンドを特定してもよい。例えば、コマンド特定部212は、形態素解析、構文解析、意味解析、機械学習などの公知の手法を用いて前記コマンド用キーワードから前記コマンドを特定してもよい。
対象ユーザ特定部213は、コマンド特定部212により特定される前記コマンドの内容(種別)に基づいて、前記コマンドを実行する対象ユーザを特定(決定)する。対象ユーザ特定部213は、本発明の対象ユーザ特定部の一例である。例えば、対象ユーザ特定部213は、コマンド情報D4(図11参照)を参照して、コマンド特定部212により特定される前記コマンドに関連付けられた対象ユーザを特定する。例えば、対象ユーザを特定するワード(ユーザ特定用ワード)が前記コマンド用キーワードに含まれる場合に、対象ユーザ特定部213は、当該ワードに基づいて前記対象ユーザを特定する。また前記コマンドが、所定のコンテンツを表示させる内容であって、前記コンテンツに、ユーザの閲覧権限の有無が設定されている場合に、対象ユーザ特定部213は、前記コンテンツの閲覧を許可されたユーザを前記対象ユーザに特定する。
コマンド処理部214は、コマンド特定部212により特定される前記コマンドの情報を、対象ユーザ特定部213により特定される前記対象ユーザに関連付けられた表示装置3に対応するコマンド記憶領域(キュー)に記憶する。例えば、記憶部22には、参加者情報D3に登録される表示装置IDに対応する1又は複数のコマンド記憶領域が含まれる。ここでは、記憶部22に、表示装置ID「D001」の表示装置3Aに対応する第1キューK1と、表示装置ID「D002」の表示装置3Bに対応する第2キューK2と、表示装置ID「D003」の表示装置3Cに対応する第3キューK3とが含まれる。
例えば、コマンド処理部214は、コマンド特定部212により特定されるコマンド「ヘルプ表示」の情報を、対象ユーザ特定部213により特定される対象ユーザ「ユーザA」のユーザID「U001」に関連付けられた表示装置ID「D001」の表示装置3Aに対応する第1キューK1に記憶する。また例えば、コマンド処理部214は、コマンド特定部212により特定されるコマンド「添付ファイル表示」の情報を、対象ユーザ特定部213により特定される対象ユーザ「ユーザA」のユーザID「U001」に関連付けられた表示装置ID「D001」の表示装置3Aに対応する第1キューK1と、「ユーザB」のユーザID「U002」に関連付けられた表示装置ID「D002」の表示装置3Bに対応する第2キューK2と、「ユーザC」のユーザID「U003」に関連付けられた表示装置ID「D003」の表示装置3Cに対応する第3キューK3とに記憶する。同様に、例えば、コマンド処理部214は、コマンド特定部212により特定されるコマンド「予定表示」の情報を、表示装置3Aに対応する第1キューK1と、表示装置3Cに対応する第3キューK3とに記憶する。
各キューに記憶されたデータ(コマンド)は、各キューに対応する表示装置3により取り出され、表示装置3が前記コマンドを実行する。
[表示装置3]
図2に示すように、表示装置3は、制御部31、記憶部32、操作部33、表示部34、通信インターフェース35などを備える。
操作部33は、表示装置3のユーザの操作を受け付けるマウス、キーボード、又はタッチパネルなどである。表示部34は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイなどの表示パネルである。操作部33及び表示部34は、一体に形成されたユーザインターフェースであってもよい。
通信インターフェース35は、表示装置3を有線又は無線でネットワークN1に接続し、ネットワークN1を介して他の機器(例えば音声処理装置1A,1B,1C、クラウドサーバ2、データベースDB)との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
記憶部32は、各種の情報を記憶するフラッシュメモリーなどの不揮発性の記憶部である。記憶部32には、制御部31に後述の音声処理(図13参照)を実行させるための音声処理プログラムなどの制御プログラムが記憶されている。例えば、前記音声処理プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録され、表示装置3が備えるCDドライブ又はDVDドライブなどの読取装置(不図示)で読み取られて記憶部32に記憶されてもよい。
制御部31は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサである。前記ROMは、前記CPUに各種の処理を実行させるためのBIOS及びOSなどの制御プログラムを予め記憶する。前記RAMは、各種の情報を記憶し、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、制御部31は、前記ROM又は記憶部32に予め記憶された各種の制御プログラムを前記CPUで実行することにより表示装置3を制御する。
具体的には、制御部31は、コマンド取得部311、コマンド実行部312などの各種の処理部を含む。なお、制御部31は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部31に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
コマンド取得部311は、クラウドサーバ2のコマンド記憶領域(キュー)に記憶されたコマンドを取得する。具体的には、例えば表示装置3Aのコマンド取得部311は、表示装置3Aに対応する第1キューK1を監視し、第1キューK1にコマンドが記憶されると当該コマンドを取得する。同様に、表示装置3Bのコマンド取得部311は、表示装置3Bに対応する第2キューK2を監視し、第2キューK2にコマンドが記憶されると当該コマンドを取得する。また表示装置3Cのコマンド取得部311は、表示装置3Cに対応する第3キューK3を監視し、第3キューK3にコマンドが記憶されると当該コマンドを取得する。なお、クラウドサーバ2のコマンド処理部214が、前記コマンドに関するデータを、対応する表示装置3に送信し、コマンド取得部311が当該コマンドを取得してもよい。
コマンド実行部312は、クラウドサーバ2のコマンド特定部212により特定される前記コマンドを、クラウドサーバ2の対象ユーザ特定部213により特定される前記対象ユーザに対して実行する。コマンド実行部312は、本発明のコマンド実行部の一例である。具体的には、コマンド実行部312は、コマンド取得部311により取得される前記コマンドを実行する。例えば、表示装置3Aのコマンド実行部312は、コマンド取得部311により取得される第1キューK1に記憶されたコマンドを実行する。同様に、表示装置3Bのコマンド実行部312は、コマンド取得部311により取得される第2キューK2に記憶されたコマンドを実行する。また表示装置3Cのコマンド実行部312は、コマンド取得部311により取得される第3キューK3に記憶されたコマンドを実行する。
例えば、表示装置3Aのコマンド実行部312は、ヘルプ画像P1を表示装置3Aの表示部34の表示画面に表示させる(図4参照)。また表示装置3A,3B,3Cそれぞれのコマンド実行部312は、添付ファイル画像P3を、表示装置3A,3B,3Cそれぞれの表示部34の表示画面に表示させる(図5参照)。また表示装置3A,3Bそれぞれのコマンド実行部312は、指定ファイル(例えば「予算管理表」)の画像P5を、表示装置3A,3Bそれぞれの表示部34の表示画面に表示させる(図6参照)。また表示装置3A,3Cそれぞれのコマンド実行部312は、予定(例えば「ユーザAの予定」)の画像P6を、表示装置3A,3Cそれぞれの表示部34の表示画面に表示させる(図7参照)。
このように、対象ユーザ特定部213により第1コマンドを実行する前記対象ユーザとして第1ユーザが特定された場合に、コマンド実行部312は、前記第1コマンドに対応する第1コンテンツを第1表示装置3に表示させる一方、対象ユーザ特定部213により第2コマンドを実行する前記対象ユーザとして第1ユーザ及び第2ユーザが特定された場合に、コマンド実行部312は、前記第2コマンドに対応する第2コンテンツを第1表示装置3及び第2表示装置3に表示させる。
[音声処理]
以下、図13及び図14を参照しつつ、音声処理装置1の制御部11、クラウドサーバ2の制御部21、及び表示装置3の制御部31によって実行される音声処理の手順の一例について説明する。ここでは、図1に示す会議システム100において、音声処理装置1A及び表示装置3Aに着目して前記音声処理を説明する。例えば、音声処理装置1Aの制御部11がユーザAの音声を受信することにより前記音声処理プログラムの実行を開始することによって、前記音声処理の実行を開始する。なお、前記音声処理は、音声処理装置1A,1B,1Cのそれぞれにおいて、個別に並行して実行される。
なお、本発明は、前記音声処理に含まれる一又は複数のステップを実行する音声処理方法の発明として捉えることができる。また、ここで説明する前記音声処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記音声処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部11,21,31によって前記音声処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、1又は複数のプロセッサによって前記音声処理における各ステップが分散して実行されてもよい。
ステップS101において、音声処理装置1Aの制御部11は、ユーザAから音声を受信したか否かを判定する。制御部11がユーザAから前記音声を受信した場合(S101:YES)、処理はステップS102に移行する。制御部11はユーザAから前記音声を受信するまで待機する(S101:NO)。ステップS101は、本発明の音声受信ステップの一例である。
ステップS102において、制御部11は、受信した前記音声に基づいて発話者が特定されたか否かを判定する。制御部11により前記発話者が特定された場合(S102:YES)、処理はステップS103に移行する。制御部11により前記発話者が特定されない場合(S102:NO)、処理はステップS101に戻る。ステップS102は、本発明の話者特定ステップの一例である。
ステップS103において、制御部11は、前記音声を認識する。具体的には、制御部11は、前記音声を認識して音声データをテキストデータに変換する。
次にステップS104において、制御部11は、前記テキストデータに前記特定ワードが含まれるか否かを判定する。制御部11により前記テキストデータに前記特定ワードが含まれると判定された場合(S104:YES)、処理はステップS105に移行する。一方、制御部11により前記テキストデータに前記特定ワードが含まれないと判定された場合(S104:NO)、処理はステップS106に移行する。前記テキストデータに前記特定ワードが含まれない場合、当該音声は会議における会話の音声であるため、ステップS106において、制御部11は、前記音声を他の音声処理装置1B,1Cに音声データを送信する。ステップS104は、本発明の音声判定ステップの一例である。
ステップS105において、制御部11は、前記特定ワードに続くキーワード(コマンド用キーワード)のテキストデータを、クラウドサーバ2に送信する。
クラウドサーバ2の制御部21は、音声処理装置1Aからコマンド用キーワードのテキストデータを受信する。ステップS107において、制御部21は、前記コマンド用キーワードに対応するコマンドを特定する。例えば、制御部21は、コマンド情報D4(図11参照)を参照して、前記コマンド用キーワードに対応するコマンドを特定する。ステップS107は、本発明のコマンド特定ステップの一例である。
次にステップS108において、制御部21は、特定した前記コマンドを実行する対象ユーザを特定する。具体的には、制御部21は、前記コマンドの内容(種別)に基づいて対象ユーザを特定する。例えば、制御部21は、コマンド情報D4(図11参照)を参照して、前記コマンドに関連付けられた対象ユーザを特定する。ステップS108は、本発明の対象ユーザ特定ステップの一例である。
次にステップS109において、制御部21は、特定した前記コマンドを、特定した前記対象ユーザに関連付けられた表示装置3に対応するコマンド記憶領域(キュー)に記憶する。例えば、制御部21は、前記コマンドを、前記対象ユーザであるユーザAに関連付けられた表示装置3A(「D001」)(図10参照)に対応する第1キューK1(図2参照)に記憶する。
次にステップS110において、表示装置3の制御部31は、自装置に対応するコマンド記憶領域から前記コマンドを取得して、当該コマンドを実行する。例えば、表示装置3Aの制御部31は、第1キューK1に前記コマンドが記憶されると、当該コマンドを取得して実行する。ステップS110は、本発明のコマンド実行ステップの一例である。
ここで、ステップS107のコマンド特定処理及びステップS108の対象ユーザ特定処理の具体例を説明する。図14は、コマンド特定処理及び対象ユーザ特定処理を含む処理S200の一例を示すフローチャートである。
ステップS107において前記コマンド用キーワードに対応するコマンドが特定されると、ステップS21において、クラウドサーバ2の制御部21は、前記コマンドが「会議開始」であるか否かを判定する。制御部21により前記コマンドが「会議開始」であると判定された場合(S21:YES)、処理はステップS111に移行する。例えば制御部21は、前記コマンドを対象の表示装置3に送信する。ステップS111では、表示装置3の制御部31が「会議開始」のコマンドを実行して、接続が完了する(図3参照)。一方、制御部21により前記コマンドが「会議開始」でないと判定された場合(S21:NO)、処理はステップS22に移行する。
ステップS22において、制御部21は、前記コマンドが「ヘルプ表示」であるか否かを判定する。制御部21により前記コマンドが「ヘルプ表示」であると判定された場合(S22:YES)、処理はステップS221に移行する。ステップS221では、制御部21は、発話者を前記対象ユーザに決定する。その後ステップS110において、制御部21は、前記コマンドを発話者に関連付けられた表示装置3のコマンド記憶領域に記憶する。これにより、表示装置3の表示部34の表示画面にヘルプ画像P1が表示される(図4参照)。一方、制御部21により前記コマンドが「ヘルプ表示」でないと判定された場合(S22:NO)、処理はステップS23に移行する。
ステップS23において、制御部21は、前記コマンドが「添付ファイル表示」であるか否かを判定する。制御部21により前記コマンドが「添付ファイル表示」であると判定された場合(S23:YES)、処理はステップS231に移行する。ステップS231では、制御部21は、会議の全参加者を前記対象ユーザに決定する。その後ステップS110において、制御部21は、前記コマンドを各参加者に関連付けられた各表示装置3のコマンド記憶領域に記憶する。これにより、各表示装置3の表示部34の表示画面に添付ファイル画像P3が表示される(図5参照)。一方、制御部21により前記コマンドが「添付ファイル表示」でないと判定された場合(S23:NO)、処理はステップS24に移行する。
ステップS24において、制御部21は、前記コマンドが「ページめくり」であるか否かを判定する。制御部21により前記コマンドが「ページめくり」であると判定された場合(S24:YES)、処理はステップS241に移行する。ステップS241では、制御部21は、ファイル表示中の参加者を前記対象ユーザに決定する。その後ステップS110において、制御部21は、前記コマンドを各参加者に関連付けられた各表示装置3のコマンド記憶領域に記憶する。これにより、各表示装置3の表示部34の表示画面に表示中の画像(例えば添付ファイル画像P3)が次ページの画像P4に切り替わる(図5参照)。一方、制御部21により前記コマンドが「ページめくり」でないと判定された場合(S24:NO)、処理はステップS25に移行する。
ステップS25において、制御部21は、前記コマンドが「指定ファイル表示」であるか否かを判定する。制御部21により前記コマンドが「指定ファイル表示」であると判定された場合(S25:YES)、処理はステップS251に移行する。ステップS251では、制御部21は、指定されたファイルの閲覧を許可されたユーザを前記対象ユーザに決定する。その後ステップS110において、制御部21は、前記コマンドを前記許可されたユーザに関連付けられた各表示装置3のコマンド記憶領域に記憶する。これにより、各表示装置3の表示部34の表示画面に画像P5が表示される(図6参照)。一方、制御部21により前記コマンドが「指定ファイル表示」でないと判定された場合(S25:NO)、処理はステップS26に移行する。
ステップS26において、制御部21は、前記コマンドが「予定表示」であるか否かを判定する。制御部21により前記コマンドが「予定表示」であると判定された場合(S26:YES)、処理はステップS261に移行する。ステップS261では、制御部21は、予定(スケジュール)を表示する相手としてコマンド用キーワードにおいて指定されたユーザを前記対象ユーザに決定する。その後ステップS110において、制御部21は、前記コマンドを前記指定されたユーザに関連付けられた表示装置3のコマンド記憶領域に記憶する。これにより、表示装置3の表示部34の表示画面に画像P6が表示される(図7参照)。一方、制御部21により前記コマンドが「予定表示」でないと判定された場合(S26:NO)、処理はステップS27に移行する。ステップS27では、制御部21は、上述の例に示すように、ユーザにより指定されたコマンド及び当該コマンドの対象ユーザを特定する。
以上のようにして、会議システム100は、前記音声処理を実行する。上述のように、本実施形態に係る会議システム100は、ユーザが発話したコマンドの内容に基づいて当該コマンドを実行する対象ユーザを特定し、特定した対象ユーザに対して前記コマンドを実行する。これにより、前記コマンドに応じた情報を、当該情報を必要とするユーザにのみ提供することが可能となる。よって、前記コマンドに応じた情報を適切にユーザに伝達することが可能となる。
尚、本発明の音声処理システムは、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。
1 :音声処理装置
2 :クラウドサーバ
3 :表示装置
11 :制御部
12 :記憶部
13 :スピーカ
14 :マイク
15 :通信インターフェース
21 :制御部
22 :記憶部
23 :通信インターフェース
31 :制御部
32 :記憶部
33 :操作部
34 :表示部
35 :通信インターフェース
100 :会議システム
111 :音声受信部
112 :話者特定部
113 :音声判定部
114 :音声送信部
115 :応答処理部
211 :音声受信部
212 :コマンド特定部
213 :対象ユーザ特定部
214 :コマンド処理部
311 :コマンド取得部
312 :コマンド実行部

Claims (10)

  1. 音声を受信する音声受信部と、
    前記音声受信部より受信される前記音声に基づいて発話者を特定する話者特定部と、
    前記音声受信部より受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定部と、
    前記音声判定部により、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定部と、
    前記コマンド特定部により特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定部と、
    前記コマンド特定部により特定される前記コマンドを、前記対象ユーザ特定部により特定される前記対象ユーザに対して実行するコマンド実行部と、
    を備える音声処理システム。
  2. 前記対象ユーザ特定部は、前記コマンド用キーワードと前記コマンドと前記対象ユーザとを予め互いに関連付けて記憶する記憶部を参照して、前記コマンド特定部により特定される前記コマンドの内容に基づいて前記対象ユーザを特定する、
    請求項1に記載の音声処理システム。
  3. 前記対象ユーザ特定部は、前記音声受信部より受信される前記音声に前記対象ユーザを特定するためのユーザ特定用ワードが含まれる場合に、当該ユーザ特定用ワードに基づいて前記対象ユーザを特定する、
    請求項1に記載の音声処理システム。
  4. 前記コマンドが、所定のコンテンツを表示させる内容であって、前記コンテンツに、ユーザの閲覧権限の有無が設定されている場合において、
    前記対象ユーザ特定部は、前記コンテンツの閲覧を許可されたユーザを前記対象ユーザに特定する、
    請求項1に記載の音声処理システム。
  5. ネットワークを介して互いに接続される、第1ユーザに対応する第1端末装置と第2ユーザに対応する第2端末装置とを含み、
    前記対象ユーザ特定部により第1コマンドを実行する前記対象ユーザとして前記第1ユーザが特定された場合に、前記コマンド実行部は、前記第1コマンドに対応する第1コンテンツを前記第1端末装置に表示させる一方、
    前記対象ユーザ特定部により第2コマンドを実行する前記対象ユーザとして前記第1ユーザ及び前記第2ユーザが特定された場合に、前記コマンド実行部は、前記第2コマンドに対応する第2コンテンツを前記第1端末装置及び前記第2端末装置に表示させる、
    請求項1から請求項4のいずれか1項に記載の音声処理システム。
  6. 前記コマンド特定部により特定される前記コマンドを実行する対象の端末装置ごとにコマンド記憶領域を備え、
    前記コマンド実行部は、前記端末装置ごとに設けられており、
    第1端末装置の第1コマンド実行部は、当該第1端末装置に対応する第1コマンド記憶領域に第1コマンドが登録された場合に当該第1コマンドを実行し、
    第2端末装置の第2コマンド実行部は、当該第2端末装置に対応する第2コマンド記憶領域に第2コマンドが登録された場合に当該第2コマンドを実行する、
    請求項1から請求項5のいずれか1項に記載の音声処理システム。
  7. 前記話者特定部により、前記音声受信部より受信された前記音声の前記発話者として第1ユーザが特定された場合において、
    前記音声判定部により、前記第1ユーザが発話した前記音声に前記特定ワードが含まれないと判定された場合に、前記音声受信部より受信された前記音声を第2ユーザに送信する音声送信部をさらに備える、
    請求項1から請求項6のいずれか1項に記載の音声処理システム。
  8. 領域ごとに音声処理装置及び表示装置が配置され、前記音声処理装置を介して前記領域間で音声の送受信を行うことが可能な会議システムであって、
    前記音声を受信する音声受信部と、
    前記音声受信部より受信される前記音声に基づいて発話者を特定する話者特定部と、
    前記音声受信部より受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定部と、
    前記音声判定部により、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定部と、
    前記コマンド特定部により特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定部と、
    前記コマンド特定部により特定される前記コマンドを、前記対象ユーザ特定部により特定される前記対象ユーザが位置する前記領域の前記表示装置において実行するコマンド実行部と、
    を備える会議システム。
  9. 音声を受信する音声受信ステップと、
    前記音声受信ステップより受信される前記音声に基づいて発話者を特定する話者特定ステップと、
    前記音声受信ステップより受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定ステップと、
    前記音声判定ステップにより、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定ステップと、
    前記コマンド特定ステップにより特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定ステップと、
    前記コマンド特定ステップにより特定される前記コマンドを、前記対象ユーザ特定ステップにより特定される前記対象ユーザに対して実行するコマンド実行ステップと、
    を一又は複数のプロセッサにより実行する音声処理方法。
  10. 音声を受信する音声受信ステップと、
    前記音声受信ステップより受信される前記音声に基づいて発話者を特定する話者特定ステップと、
    前記音声受信ステップより受信される前記音声に基づいて、当該音声に所定のコマンドの受け付けを開始するための特定ワードが含まれるか否かを判定する音声判定ステップと、
    前記音声判定ステップにより、前記音声に前記特定ワードが含まれると判定された場合に、前記音声に含まれ、前記特定ワードに続くコマンド用キーワードに基づいて、前記コマンドを特定するコマンド特定ステップと、
    前記コマンド特定ステップにより特定される前記コマンドの内容に基づいて、前記コマンドを実行する対象ユーザを特定する対象ユーザ特定ステップと、
    前記コマンド特定ステップにより特定される前記コマンドを、前記対象ユーザ特定ステップにより特定される前記対象ユーザに対して実行するコマンド実行ステップと、
    を一又は複数のプロセッサにより実行させるための音声処理プログラム。
JP2019105188A 2019-06-05 2019-06-05 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム Active JP7351642B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019105188A JP7351642B2 (ja) 2019-06-05 2019-06-05 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
US16/874,201 US11568866B2 (en) 2019-06-05 2020-05-14 Audio processing system, conferencing system, and audio processing method
CN202010426661.6A CN112053684A (zh) 2019-06-05 2020-05-19 语音处理系统、会议系统、语音处理方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019105188A JP7351642B2 (ja) 2019-06-05 2019-06-05 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム

Publications (2)

Publication Number Publication Date
JP2020198588A true JP2020198588A (ja) 2020-12-10
JP7351642B2 JP7351642B2 (ja) 2023-09-27

Family

ID=73608783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019105188A Active JP7351642B2 (ja) 2019-06-05 2019-06-05 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム

Country Status (3)

Country Link
US (1) US11568866B2 (ja)
JP (1) JP7351642B2 (ja)
CN (1) CN112053684A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208696A (ja) * 2005-01-27 2006-08-10 Sony Corp プレゼンテーション用アプリケーションをリモートコントロールするための装置,方法,プログラム及び記録媒体
JP2012160793A (ja) * 2011-01-28 2012-08-23 Konica Minolta Business Technologies Inc テレビ会議システム及びテレビ会議用装置並びにプログラム
WO2014010290A1 (ja) * 2012-07-13 2014-01-16 ソニー株式会社 情報処理システムおよび記憶媒体
WO2016039992A1 (en) * 2014-09-12 2016-03-17 Apple Inc. Dynamic thresholds for always listening speech trigger

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607041B2 (en) * 1999-07-15 2017-03-28 Gula Consulting Limited Liability Company System and method for efficiently accessing internet resources
JP2004343232A (ja) 2003-05-13 2004-12-02 Nec Corp 通信装置及び通信方法
JP2007147762A (ja) * 2005-11-24 2007-06-14 Fuji Xerox Co Ltd 発話者予測装置および発話者予測方法
US8050917B2 (en) * 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
JP2011053629A (ja) * 2009-09-04 2011-03-17 Sharp Corp 会議中継装置及びコンピュータプログラム
US10475439B2 (en) * 2015-03-23 2019-11-12 Sony Corporation Information processing system and information processing method
JP2016218361A (ja) * 2015-05-25 2016-12-22 クラリオン株式会社 音声認識システム、車載器およびサーバ装置
US10319375B2 (en) * 2016-12-28 2019-06-11 Amazon Technologies, Inc. Audio message extraction
US10735479B2 (en) * 2017-03-30 2020-08-04 Intel Corporation Methods, systems and apparatus to enable voice assistant device communication
US20190251961A1 (en) * 2018-02-15 2019-08-15 Lenovo (Singapore) Pte. Ltd. Transcription of audio communication to identify command to device
WO2020012220A1 (en) * 2018-07-11 2020-01-16 Yogesh Chunilal Rathod In the event of selection of message, invoking camera to enabling to capture media and relating, attaching, integrating, overlay message with/on/in captured media and send to message sender

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208696A (ja) * 2005-01-27 2006-08-10 Sony Corp プレゼンテーション用アプリケーションをリモートコントロールするための装置,方法,プログラム及び記録媒体
JP2012160793A (ja) * 2011-01-28 2012-08-23 Konica Minolta Business Technologies Inc テレビ会議システム及びテレビ会議用装置並びにプログラム
WO2014010290A1 (ja) * 2012-07-13 2014-01-16 ソニー株式会社 情報処理システムおよび記憶媒体
WO2016039992A1 (en) * 2014-09-12 2016-03-17 Apple Inc. Dynamic thresholds for always listening speech trigger

Also Published As

Publication number Publication date
US11568866B2 (en) 2023-01-31
CN112053684A (zh) 2020-12-08
US20200388279A1 (en) 2020-12-10
JP7351642B2 (ja) 2023-09-27

Similar Documents

Publication Publication Date Title
JP6902136B2 (ja) システムの制御方法、システム、及びプログラム
KR102619621B1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
US9940929B2 (en) Extending the period of voice recognition
US20210286867A1 (en) Voice user interface display method and conference terminal
KR20190111624A (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
US10403272B1 (en) Facilitating participation in a virtual meeting using an intelligent assistant
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
CN111639503A (zh) 会议数据处理方法、装置、存储介质及设备
CN109920436A (zh) 一种提供辅助服务的装置及方法
JP2008242837A (ja) コミュニケーションの状況を管理する装置、方法およびプログラム
JP2010109898A (ja) 撮影制御装置、撮影制御方法及びプログラム
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
JP7351642B2 (ja) 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
KR20190011031A (ko) 자연어 표현 생성 방법 및 전자 장치
JP2008011272A (ja) 会議システム及び制御方法、並びにプログラム及び記憶媒体
CN117609617A (zh) 职位信息的推荐方法、装置、电子设备及存储介质
KR20200112481A (ko) 회의 제어를 위한 컴퓨터 프로그램, 전자 장치, 및 시스템
JP7290524B2 (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP2024024879A (ja) 表示制御システム、表示制御方法、及び表示制御プログラム
WO2020241701A1 (ja) コミュニケーション管理装置
JP2021018664A (ja) 情報処理システム、情報処理方法、及びプログラム
CN111667822B (zh) 语音处理装置、会议系统以及语音处理方法
JP7163968B2 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7139839B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230065136A1 (en) Server device, conference assistance system, conference assistance method, and program storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R150 Certificate of patent or registration of utility model

Ref document number: 7351642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150