[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021172125A1 - コミュニケーションシステム - Google Patents

コミュニケーションシステム Download PDF

Info

Publication number
WO2021172125A1
WO2021172125A1 PCT/JP2021/005840 JP2021005840W WO2021172125A1 WO 2021172125 A1 WO2021172125 A1 WO 2021172125A1 JP 2021005840 W JP2021005840 W JP 2021005840W WO 2021172125 A1 WO2021172125 A1 WO 2021172125A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
mobile communication
notification
control unit
keyword
Prior art date
Application number
PCT/JP2021/005840
Other languages
English (en)
French (fr)
Inventor
篤 掛村
Original Assignee
株式会社 東芝
東芝デジタルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝デジタルソリューションズ株式会社 filed Critical 株式会社 東芝
Priority to CN202180011503.7A priority Critical patent/CN115023936A/zh
Priority to US17/800,434 priority patent/US20230129342A1/en
Publication of WO2021172125A1 publication Critical patent/WO2021172125A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42391—Systems providing special services or facilities to subscribers where the subscribers are hearing-impaired persons, e.g. telephone devices for the deaf
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/22—Synchronisation circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/256—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service comprising a service specific user interface

Definitions

  • An embodiment of the present invention relates to a communication (recognition sharing, communication, etc.) assistive technology using voice and text.
  • the transceiver is a radio that has both a radio wave transmission function and a reception function, and one user can make a call (one-way or two-way information transmission) with a plurality of users. Examples of the use of transceivers can be seen at construction sites, event venues, facilities such as hotels and inns. In addition, taxi radio can be mentioned as an example of transceiver utilization.
  • the communication system of the embodiment broadcasts the voice of the user to the mobile communication terminal of another user through the mobile communication terminal carried by each of the plurality of users.
  • This communication system includes a communication management device to which each mobile communication terminal is connected by wireless communication.
  • the communication management device includes a first control unit that broadcasts speech voice data received from a mobile communication terminal to each of a plurality of other mobile communication terminals, and a speech voice obtained by voice recognition processing of the received voice data.
  • a communication control having a second control unit that accumulates the recognition results as a communication history between users in time series and controls text distribution so that the communication history is displayed synchronously on each mobile communication terminal. Department and include.
  • the mobile communication terminal includes a notification setting unit that controls registration of notification setting information that combines a keyword and a predetermined notification function of the mobile communication terminal associated with the keyword, and the utterance voice data received from the communication management device.
  • a notification setting unit controls registration of notification setting information that combines a keyword and a predetermined notification function of the mobile communication terminal associated with the keyword, and the utterance voice data received from the communication management device.
  • local check processing for collating the utterance voice recognition result with the keyword of the notification setting information is performed, and the keyword included in the utterance voice recognition result is used.
  • It includes a user application control unit that controls the operation of the notification function associated with the notification function.
  • (First Embodiment) 1 to 6 are network configuration diagrams of the communication system according to the first embodiment.
  • the communication system provides an information transmission support function using voice and text, centering on a communication management device (hereinafter referred to as a management device) 100.
  • a management device hereinafter referred to as a management device 100.
  • facility operation management such as accommodation facilities as an example.
  • the management device 100 is wirelessly connected to each user terminal (mobile communication terminal) 500 carried by each of the plurality of users.
  • the management device 100 broadcasts the utterance voice data received from one user terminal 500 to another user terminal 500.
  • the user terminal 500 is, for example, a portable mobile terminal (mobile terminal) such as a multifunctional mobile phone such as a smartphone, a PDA (Personal Digital Assistant), or a tablet terminal.
  • the user terminal 500 has a communication function, a calculation function, and an input function, and connects to the management device 100 by wireless communication through an IP (Internet protocol) network or a mobile communication network (Mobile communication network) to perform data communication.
  • IP Internet protocol
  • Mobile communication network Mobile communication network
  • the range in which the utterance voice of one user is broadcast to a plurality of other user terminals 500 is set as a communication group, and the target user (field user). Each of the user terminals 500 of the above is registered.
  • the communication system of this embodiment supports information transmission for recognition sharing and communication on the premise that each of a plurality of users can have a hands-free dialogue.
  • this communication system controls the user terminal 500 to perform a predetermined notification operation when a specific keyword is included in the spoken voice, and in addition to playing back the spoken voice data and displaying the text, calls the called party. It has a notification function to notify you of the utterance.
  • the earphone when listening to the utterance voice of another user, the earphone can be connected to the user terminal 500 and the utterance voice received from the management device 100 can be heard through the earphone. At this time, if the earphones are removed for customer service or the like, the utterance voice of another user cannot be heard. For this reason, since the calling party does not respond to the calling party, useless communication may occur, such as making an additional utterance to confirm whether communication is possible. On the other hand, the called side needs to operate its own user terminal 500 to see the voice recognition result (text) received in response to the spoken voice data. Therefore, "listening failure" may discourage communication and hinder smooth communication, and there is a problem that communication inefficiency is likely to occur.
  • the user terminal 500 determines the predetermined keyword. It provides a function to perform a notification operation, and makes it possible to accurately know that the called party has been called even if there is a "hearing failure" in the spoken voice. With this configuration, the communication environment will be improved.
  • FIG. 2 is a block diagram of each configuration of the management device 100 and the user terminal 500.
  • the management device 100 includes a control device 110, a storage device 120, and a communication device 130.
  • the communication device 130 manages communication connection and data communication control with each of a plurality of user terminals 500, and obtains utterance voice data by one user and text information of the utterance content (speech recognition processing of the utterance voice data).
  • the broadcast distribution communication control is performed to simultaneously send the received text information) to each of a plurality of user terminals 500.
  • the control device 110 includes a user management unit 111, a communication control unit 112, a voice recognition unit 113, and a voice synthesis unit 114.
  • the storage device 120 includes user information 121, group information 122, communication history (communication log) information 123, a voice recognition dictionary 124, and a voice synthesis dictionary 125.
  • the voice synthesis unit 114 and the voice synthesis dictionary 125 include character information input as text from the user terminal 500 and an information input device other than the user terminal 500 (for example, a mobile terminal or desktop PC operated by an administrator, an operator, or a supervisor). ) Provides a voice synthesis function that receives text input text information and converts it into voice data.
  • the voice synthesis function of the communication system of the present embodiment is an arbitrary function.
  • the communication system of the present embodiment may be configured not to have the voice synthesis function.
  • the communication control unit 112 of the management device 100 receives the text information input from the user terminal 500, and the voice synthesis unit 114 uses the voice synthesis dictionary 125 to correspond to the characters of the received text. Synthesize the voice data to be generated and generate the voice synthesis data. At this time, the material of the voice data constituting the voice synthesis data is arbitrary. Then, the synthesized voice data and the received text information are broadcast-distributed to another user terminal 500.
  • the user terminal 500 includes a communication / call unit 510, a communication application control unit (user application control unit) 520, a notification setting unit 520A, a microphone 530, a speaker 540, a display input unit 550 such as a touch panel, a storage unit 560, and a vibration device 570. It is configured to include.
  • the speaker 540 is actually composed of earphones, headphones (wired or wireless), or the like.
  • the vibration device 570 is a vibration device of the user terminal 500.
  • FIG. 3 is a diagram showing an example of various information
  • user information 121 is user registration information for using this communication system.
  • the user management unit 111 controls so that a user ID, a user name, an attribute, and a group can be set through a predetermined management screen. Further, the user management unit 111 includes a login history of each user terminal 500 to the communication system, a logged-in user ID, and identification information of the user terminal 500 (MAC address unique to the user terminal 500, individual identification information, etc.). Manage the correspondence list and.
  • Group information 122 is group identification information divided by a communication group. Transmission / reception and broadcast distribution of transmitted information are controlled for each communication group ID, and information is controlled so as not to be mixed between different communication groups.
  • the communication group registered in the group information 122 can be associated with each user.
  • the user management unit 111 of the present embodiment performs registration control of each of a plurality of users, and the first control (broadcast distribution of utterance voice data) and the second control (agent utterance text and / and user's utterance voice recognition) described later. It provides a function to set the target communication group (text broadcast of the result).
  • the facility can be divided into a plurality of departments and managed according to the facility or the like in which the communication system of the present embodiment is introduced.
  • the communication system of the present embodiment is introduced.
  • bell persons carrying luggage
  • concierge hotel
  • housekeeping cleaning
  • communication environment in which guest room management is subdivided for each group. can.
  • communication is not necessary in terms of role.
  • a food caterer and a bell person can be divided into groups because they do not need to communicate directly.
  • Initial settings such as user registration can be performed by an operation manager or the like connecting to the management device 100 from an administrator terminal (not shown) and performing the registration / setting function provided by the management device 100.
  • the communication control unit 112 of the management device 100 functions as each control unit of the first control unit and the second control unit.
  • the first control unit performs broadcast distribution control of the utterance voice data received from one user terminal 500 to each of the other plurality of user terminals 500.
  • the second control unit accumulates the utterance voice recognition result obtained by voice recognition processing of the received utterance voice data as a communication history 123 between users in chronological order, and all of the utterance voice data including the user terminal 500 of the user who has spoken. Text distribution control is performed so that the communication history 123 is displayed synchronously on the user terminal 500.
  • the function as the first control unit is the broadcast distribution of spoken voice data.
  • the uttered voice data is mainly voice data uttered by the user. Further, as described above, when the voice synthesis function is provided, the voice synthesis data artificially generated from the text information input from the user terminal 500 is also targeted for broadcast distribution by the first control unit.
  • the function as the second control unit is text broadcast distribution of the user's spoken voice recognition result.
  • the voice input in the user terminal 500 and the voice reproduced in the user terminal 500 are all converted into text and accumulated in the communication history 123 in chronological order, and are controlled so as to be displayed synchronously in each user terminal 500. ..
  • the voice recognition unit 113 performs voice recognition processing using the voice recognition dictionary 124 and outputs text data as the utterance voice recognition result.
  • a known technique can be applied to the voice recognition process.
  • the communication history information 123 is log information in which the utterance contents of each user are accumulated in chronological order on a text basis together with time information.
  • the voice data corresponding to each text can be stored as a voice file in a predetermined storage area. For example, the storage location of the voice file is recorded in the communication history 123.
  • the communication history information 123 is generated and accumulated for each communication group.
  • the voice quality evaluation result may be stored so as to be included in the communication history information 123, or may be stored in an individual storage area in association with the corresponding utterance content.
  • FIG. 4 is a diagram showing an example of the communication history 123 displayed on each user terminal 500.
  • Each of the user terminals 500 receives the communication history 123 from the management device 100 in real time or at a predetermined timing, and display synchronization is performed among the plurality of users.
  • Each user can refer to the past communication log in chronological order.
  • each user terminal 500 the utterance content of oneself and the utterance content of another user other than oneself are displayed in time series in the display column D, and the communication history 123 accumulated in the management device 100 is displayed. Shared as log information.
  • the microphone mark H is displayed in the text corresponding to the user's own uttered voice, and for users other than the speaker, the speaker is displayed in the display column D instead of the microphone mark H.
  • the mark M can be displayed.
  • FIG. 5 is a diagram for explaining the notification setting function of the user terminal 500.
  • the user can input keywords and set notification means on the notification setting screen.
  • the notification means associated with each of one or a plurality of keywords is stored in the storage unit 560 of the user terminal 500 as notification setting information.
  • the control of this notification setting function is performed by the notification setting unit 520A.
  • the notification setting unit 520A can also be configured to be included in the communication application control unit 520.
  • the notification means includes a vibration notification and a message notification by the vibration device 570.
  • the message notification is different from the message notification, for example, displaying the text of the received utterance content on a pop-up screen separate from the display field D shown in FIG. 4, or notifying that the message has been received without displaying the utterance content. It is a function to display the message of. As a message to be displayed on the pop-up screen, for example, a keyword (emergency, urgent, confirmation, etc.) determined to require notification may also be displayed.
  • the pop-up screen is superimposed on the application screen including the display field D and displayed in the foreground, or the pop-up screen is controlled to be displayed on the lock screen of the user terminal 500. can do. Further, along with the display of the pop-up screen, for example, the LED light provided on the user terminal 500 can be turned on and blinked.
  • the user terminal 500 determines whether or not the keyword of the notification setting information is included in the text information in accordance with the display control of the received text information, and determines that the keyword is included. If so, the notification means corresponding to the keyword is operated to notify the user.
  • the notification means is a vibration notification
  • the communication application control unit 520 operates the vibration device 570 in a predetermined vibration pattern to vibrate the user terminal 500.
  • the notification means is a message notification
  • the communication application control unit 520 generates a pop-up screen including the received voice recognition result (utterance content) separately from the display control in the display field D, and displays it superimposed on the user terminal 500. Let me.
  • the vibration pattern of the vibration function a plurality of patterns can be prepared, and different vibration patterns can be applied to each notification setting.
  • FIG. 6 is a diagram showing a processing flow of the communication system of the present embodiment.
  • Each user activates the communication application control unit 520 on the user terminal 500, and the communication application control unit 520 performs connection processing with the management device 100. Then, he / she enters his / her user ID and password from the predetermined login screen to log in to the management device 100. The login authentication process is executed by the user management unit 111. After logging in, each user terminal 500 performs information acquisition processing with the management device 100 at an arbitrary timing or at a predetermined time interval.
  • each user inputs a keyword on the notification setting screen shown in FIG. 5, selects a notification means for the input keyword, and registers the notification setting information (S501a, S501b, S501c).
  • the notification setting registration by the user can be performed at an arbitrary timing, and can be performed even when the user is connected to the management device 100 or is not connected to the management device 100.
  • the communication application control unit 520 collects the spoken voice and transmits the spoken voice data to the management device 100 (S502c).
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (S101) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S102).
  • the spoken voice data and the corresponding voice recognition result are stored in association with each other.
  • the communication control unit 112 transmits the spoken voice data together with the voice recognition result for display synchronization to the user terminal 500 of the user A (S103).
  • the user terminal 500 of the user A performs a local check process based on the notification setting function (S502a).
  • the local check process matches the received voice recognition result with the keyword of the registered notification setting information, and obtains the voice recognition result. This is a process for determining whether or not a keyword is included.
  • the communication application control unit 520 performs the notification process using the corresponding notification means (S503a).
  • the communication App control unit 520 automatically reproduces the received utterance voice data, outputs the utterance voice (S504a), and displays the utterance content in the text format corresponding to the utterance voice output in the display column D. Display (S505a). The same applies to the user terminal 500 of the user B (S502b to S505b).
  • the local check processing is omitted because he is the speaker (or when he is the speaker in step S503c). Is always processed to follow the NO route). Since the communication control unit 112 does not transmit its own utterance voice data to the user C who is the speaker, the communication app control unit 520 omits the automatic reproduction process of the utterance voice data and corresponds to the utterance voice.
  • the utterance content in text format is displayed in the display field D (S505c).
  • both notification setting 1 and notification setting 2 are applicable. If each of the notification means of the notification setting 1 and the notification setting 2 is the same, it is possible to configure the operation control to be performed by either of the notification means. Further, if the notification means of the notification setting 1 and the notification setting 2 are different, for example, the priority of the notification setting may be set in advance, and the operation may be controlled by either of the notification means. .. Further, when the notification means of the notification setting 1 and the notification setting 2 are different, the operation of each of the notification means may be controlled.
  • (Second Embodiment) 7 to 9 are network configuration diagrams of the communication system according to the second embodiment.
  • the management device 100 side has a notification setting function similar to that of the user terminal 500, and the management device 100 actively controls the notification operation of the user terminal 500.
  • the same components as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 7 is a block diagram of each configuration of the communication management device 100 and the user terminal 500 of the present embodiment.
  • the management device 100 is configured to include the user notification control unit 115 and the user notification setting information 126.
  • the user notification setting of the management device 100 can be performed by the operation manager or the like connecting to the management device 100 from an administrator terminal (not shown) and through the registration / setting function provided by the management device 100.
  • FIG. 8 is a diagram showing an example of user notification setting information.
  • the user notification setting information includes each item of the local check flag (OFF (0), ON (1)), the keyword, the notification means, and the target user.
  • the local check flag is information for controlling the enablement (implementation) / invalidation (omission) of the notification function on the user terminal 500 side.
  • the keywords and the notification means are the same as the notification settings in the user terminal 500.
  • the target user is information that specifies a user to be notified and controlled for each setting, and can be arbitrarily set for one or a plurality of users or all users. As described above, each user in the communication group can be handled by one or more people, depending on the person in charge or the related work category or place.
  • the management device 100 performs the notification operation set by the notification means on each user terminal regardless of whether or not the notification is set on the user terminal 500 (whether or not the keyword is registered). It can be run by 500.
  • the first embodiment is a mechanism in which an arbitrary keyword is registered at the individual judgment of each user, and when the utterance content matches the registered keyword, the user terminal 500 is made to perform a predetermined notification operation. , Since each of a plurality of users sets individually, the notification settings vary. For example, even if the utterance content is urgent or urgent, the notification operation on the user terminal 500 is not executed unless the keywords corresponding to these are registered.
  • the management device 100 while providing a function that allows users to personally set notifications, the management device 100 is configured to be able to set management notifications for one or more users. , We have realized a mechanism that balances the degree of freedom of the user and the strengthening of management.
  • both the notification operation controlled from the management device 100 side and the notification operation set by the user terminal 500 can be executed, the notification operation set by the user terminal 500 can be prioritized, and the user can use the notification operation. It is possible to prioritize and execute the notification operation of the management device 100 without executing the notification operation set in the terminal 500.
  • FIG. 9 is a diagram showing a processing flow of the communication system of the present embodiment.
  • the same processing as that of FIG. 6 is designated by the same reference numerals and the description thereof will be omitted.
  • the operation manager registers the user notification setting through the predetermined administrator terminal.
  • the registration process of the user notification setting is executed by the user notification control unit 115 (S1011).
  • the communication application control unit 520 collects the spoken voice and transmits the spoken voice data to the management device 100 (S506c).
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (S101) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S102).
  • the spoken voice data and the corresponding voice recognition result are stored in association with each other.
  • the user notification control unit 115 performs user notification processing (S1031).
  • the user notification process is a check process on the management side of the management device 100, and the content of the process is the same as the local check process performed by the user terminal 500.
  • the user notification control unit 115 matches the voice recognition result output from the voice recognition unit 113 with the keyword of the registered user notification setting information, and determines whether or not the voice recognition result includes the keyword. Perform processing.
  • the communication control unit 112 extracts the local check flag, the notification means, and the target user of the corresponding notification setting.
  • the communication control unit 112 transmits the voice recognition result for display synchronization, the utterance voice data, the notification control information based on the notification means, and the local check flag to the user terminal 500 to the user corresponding to the user notification setting.
  • the voice recognition result for display synchronization, the utterance voice data, the notification control information (vibration), and the local check flag (OFF) are transmitted to the user terminal 500 of the user A (S1041).
  • the voice recognition result and the spoken voice data for display synchronization are transmitted to the users other than the speaker who does not correspond to the user notification setting.
  • only the voice recognition result for display synchronization is transmitted to the user C who is the speaker.
  • the communication application control unit 520 refers to the received local check flag and confirms the local check flag (S506a). In the example of FIG. 9, since the local check flag is OFF, the local check process on the user terminal 500 side is skipped and omitted, and the operation control based on the notification control information received from the management device 100 is executed (S509a). .. Further, the communication App control unit 520 automatically reproduces the received utterance voice data, outputs the utterance voice (S510a), and displays the utterance content in the text format corresponding to the utterance voice output in the display column D. Display (S511a).
  • Step S507a is a local check process based on the notification setting function on the user terminal 500 side, matches the received voice recognition result with the keyword of the notification setting information registered in the user terminal 500, and the voice recognition result includes the keyword. Determine if it is.
  • the communication application control unit 520 also performs notification processing using the corresponding notification means (S508a).
  • both the notification operation set on the management device 100 side and the notification operation set on the user terminal 500 side can be executed. In this case, either one is prioritized or both are executed. Can be done. If it is determined in step S1031 of FIG. 9 that it is not applicable in the check process on the management side (NO in S1031), the process proceeds to step S103 of FIG. Can be configured in.
  • the message to be displayed on the pop-up screen based on the notification setting in the second embodiment may also display, for example, keywords (emergency, urgent, confirmation, etc.) for which notification is deemed necessary. ..
  • keywords emergency, urgent, confirmation, etc.
  • the notification setting information since the notification setting information is set in both the management device 100 and the user terminal 500, it is preferable to display the notification setting information on the pop-up screen so that the user can know which setting information the notification is based on. ..
  • (Third Embodiment) 10 to 12 are network configuration diagrams of the communication system according to the second embodiment.
  • the communication system of this embodiment is an embodiment in which notification setting functions are integrated on the management device 100 side with respect to the first embodiment and the second embodiment. That is, the user notification setting information set by the operation manager and / and the notification setting information set by the user terminal 500 are centrally managed by the management device 100, and the control of the notification operation for the user terminal 500 is collectively managed.
  • FIG. 10 is a block diagram of each configuration of the communication management device 100 and the user terminal 500 of the present embodiment. Similar to the second embodiment, the management device 100 is configured to include the user notification control unit 115 and the user notification setting information 126, but the user terminal 500 does not include the notification setting unit 520A and notifies. Does not hold setting information.
  • FIG. 11 is a diagram showing an example of notification setting information.
  • the notification setting information of the present embodiment is managed by the user terminal 500 and the information registered by the operation manager or the like connected to the management device 100 from an administrator terminal (not shown) and registered through the registration / setting function provided by the management device 100.
  • Information that is connected to the device 100 and registered through the registration / setting function provided by the management device 100 is included.
  • the notification setting information individually set by each user from the latter user terminal 500 is controlled so that he / she is registered as the target user.
  • the individual user settings and the settings on the management device 100 side can be collectively managed.
  • FIG. 12 is a diagram showing a processing flow of the communication system of the present embodiment. The same processes as those in FIGS. 6 and 9 are designated by the same reference numerals and the description thereof will be omitted.
  • the operation manager registers the user notification setting through the predetermined administrator terminal.
  • the registration process of the user notification setting is executed by the user notification control unit 115 (S1011). Further, the user notification control unit 115 provides, for example, the notification setting screen shown in FIG. 5 in response to the registration request of the notification setting information from each user terminal 500, and the user sets the notification means corresponding to the keyword. It can be controlled as much as possible.
  • the communication application control unit 520 collects the spoken voice and transmits the spoken voice data to the management device 100 (S507c).
  • the voice recognition unit 113 of the management device 100 performs voice recognition processing (S101) on the received utterance voice data, and outputs the voice recognition result of the utterance content.
  • the communication control unit 112 stores the voice recognition result in the communication history 123, and stores the utterance voice data in the storage device 120 (S102).
  • the spoken voice data and the corresponding voice recognition result are stored in association with each other.
  • the user notification control unit 115 performs user notification processing (S1031).
  • the communication control unit 112 extracts the notification means and the target user of the corresponding notification setting.
  • the communication control unit 112 transmits the voice recognition result for display synchronization, the spoken voice data, and the notification control information based on the notification means to the user terminal 500 to the user corresponding to the user notification setting. Further, in step S1041, the voice recognition result and the spoken voice data for display synchronization are transmitted to the users other than the speaker who does not correspond to the user notification setting. In step S1041, only the voice recognition result for display synchronization is transmitted to the user C who is the speaker.
  • the communication application control unit 520 executes operation control based on the notification control information received from the management device 100 (S509a). Further, the communication App control unit 520 automatically reproduces the received utterance voice data, outputs the utterance voice (S510a), and displays the utterance content in the text format corresponding to the utterance voice output in the display column D. Display (S511a).
  • each of the plurality of notification operations is executed by the user terminal 500.
  • the control information can be transmitted, or any one of the notification setting information can be selected and transmitted based on a predetermined priority.
  • the message displayed on the pop-up screen based on the notification setting in the third embodiment also contains, for example, keywords (emergency, urgent, confirmation, etc.) for which notification is deemed necessary. It should be displayed.
  • the notification setting information is centrally managed by the management device 100, but the notification setting information can be registered from both the management device 100 and the user terminal 500, and the information set by either of them can be used. Since the presence is also managed, it is preferable to display on the pop-up screen so that the user can know which setting information the notification is based on, as in the second embodiment.
  • each function of the communication management device 100 and the user terminal 500 can be realized by a program, and a computer program prepared in advance for realizing each function is stored in the auxiliary storage device.
  • the control unit such as the CPU reads the program stored in the auxiliary storage device into the main storage device, and the control unit executes the program read into the main storage device, so that the functions of each unit can be operated. ..
  • Computer-readable recording media include optical discs such as CD-ROMs, phase-changing optical discs such as DVD-ROMs, magneto-optical disks such as MO (Magnet Optical) and MD (Mini Disk), floppy (registered trademark) disks, and the like. Examples include magnetic disks such as removable hard disks, compact flash (registered trademark), smart media, SD memory cards, and memory cards such as memory sticks. Further, a hardware device such as an integrated circuit (IC chip or the like) specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • IC chip or the like specially designed and configured for the purpose of the present invention is also included as a recording medium.
  • Communication management device 110 Control device 111 User management unit 112 Communication control unit (first control unit, second control unit) 113 Speech recognition unit 114 Speech synthesis unit 115 User notification control unit 120 Storage device 121 User information 122 Group information 123 Communication history information 124 Voice recognition dictionary 125 Speech synthesis dictionary 126 User notification setting information 130 Communication device 500 User terminal (mobile communication terminal) 510 Communication / Call Unit 520 Communication App Control Unit (User Application Control Unit) 520A Notification setting unit 530 Microphone (sound collecting unit) 540 speaker (audio output section) 550 Display / input unit 560 Storage unit 570 Vibration device D Display field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

【課題】他のユーザの発話音声を聴きそびれても、呼び掛けられる側が呼び掛けられたことに気が付くことができる機能を提供する。 【解決手段】実施形態のコミュニケーションシステムは、複数の各移動通信端末が無線通信で接続する管理装置を含み、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信しつつ、発話音声データを音声認識処理して得られる発話音声認識結果をユーザ同士の発話ログとして時系列に蓄積する。また、各移動通信端末において発話ログが同期して表示されるようにテキスト配信制御を行う。移動通信端末では、キーワード及びキーワードに紐付く移動通信端末の所定の通知機能の組み合わせた通知設定情報が記憶されており、受信した発話音声データの再生処理及び発話音声認識結果の表示処理に加えて、発話音声認識結果内に含まれるキーワードに紐付く通知機能の動作制御を行う。

Description

コミュニケーションシステム
　本発明の実施形態は、音声及びテキストを使用したコミュニケーション（認識共有、意思疎通など）支援技術に関する。
　音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。
国際公開第２００５／０５５０８９号 国際公開第２０１９／０３１００７号
　他のユーザの発話音声を聴きそびれても、呼び掛けられる側が呼び掛けられたことに気が付くことができる機能を提供し、複数のユーザ間での情報伝達の品質を向上させることができるようにする。
　実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する。本コミュニケーションシステムは、前記各移動通信端末が無線通信で接続するコミュニケーション管理装置を含む。前記コミュニケーション管理装置は、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、含む。前記移動通信端末は、キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせた通知設定情報の登録制御を行う通知設定部と、前記コミュニケーション管理装置から受信した前記発話音声データの再生処理及び前記発話音声認識結果の表示処理を行うとともに、前記発話音声認識結果と前記通知設定情報の前記キーワードとを照合するローカルチェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御を行うユーザアプリケーション制御部と、を含む。
第１実施形態のコミュニケーションシステムのネットワーク構成図である。 第１実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第１実施形態のユーザ情報及びグループ情報の一例を示す図である。 第１実施形態のユーザ端末に表示される画面例である。 第１実施形態のユーザ端末における通知設定画面と通知設定情報の一例を示す図である。 第１実施形態のコミュニケーションシステムの処理フローを示す図である。 第２実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第２実施形態のユーザ通知設定情報の一例を示す図である。 第２実施形態のコミュニケーションシステムの処理フローを示す図である。 第３実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第３実施形態のユーザ通知設定情報の一例を示す図である。 第３実施形態のコミュニケーションシステムの処理フローを示す図である。
（第１実施形態）
　図１から図６は、第１実施形態に係るコミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、宿泊施設などの施設運営管理を一例に、コミュニケーションシステムを適用した態様について説明する。
　管理装置１００は、複数の各ユーザがそれぞれ携帯する各ユーザ端末（移動通信端末）５００と無線通信で接続される。管理装置１００は、一のユーザ端末５００から受信した発話音声データを、他のユーザ端末５００に同報配信する。
　ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。
　一のユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲（又は後述するコミュニケーション履歴が同期して表示される範囲）は、コミュニケーショングループとして設定され、対象ユーザ（現場ユーザ）のユーザ端末５００それぞれが登録される。
　本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、認識共有や意思疎通のための情報伝達を支援する。特に、本コミュニケーションシステムは、発話音声に特定のキーワードが含まれる場合に、ユーザ端末５００が所定の通知動作を行うように制御し、発話音声データの再生及びテキスト表示に加え、呼び掛けられる側に呼び掛けられたこをと知らせる通知機能を備える。
　例えば、他のユーザの発話音声を聞く際に、ユーザ端末５００にイヤホンを接続し、イヤホンを通じて管理装置１００から受信した発話音声を聞くことができる。このとき、接客などでイヤホンを外していると、他のユーザの発話音声を聞くことができない。このため、呼び掛ける側は、呼び掛けた相手の反応がないので、コミュニケーションが取れているかを確認するための追加の発話を行うなど、無駄なコミュニケーションが生じてしまうことがある。一方で、呼び掛けられた側は、自身のユーザ端末５００を操作して発話音声データに対応して受信した音声認識結果（テキスト）を見る作業が必要となる。したがって、「聴きそびれ」は、コミュニケーション意欲が削がれ、円滑なコミュニケーションの阻害要因となることがあり、コミュニケーションの非効率化を生じさせやすい課題がある。
　そこで、本実施形態では、ユーザ自らが所定のキーワードを登録し、ユーザ端末５００において、発話音声データに対応して受信する音声認識結果に、登録したキーワードが存在したとき、ユーザ端末５００が所定の通知動作を行う機能を提供し、発話音声の「聴きそびれ」があっても呼び掛けられる側が呼び掛けられたことを的確に知ることができようにする。このように構成することで、コミュニケーション環境の向上を図る。
　図２は、管理装置１００及びユーザ端末５００の各構成ブロック図である。
　管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行い、一のユーザによる発話音声データ及びその発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。
　制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、音声認識部１１３、及び音声合成部１１４を含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、コミュニケーション履歴（コミュニケーションログ）情報１２３、音声認識辞書１２４、及び音声合成辞書１２５を含んで構成されている。
　音声合成部１１４及び音声合成辞書１２５は、ユーザ端末５００からテキスト入力された文字情報や、ユーザ端末５００以外の情報入力装置（例えば、管理者や運営者、監督者が操作するモバイル端末やデスクトップＰＣ）からテキスト入力された文字情報を受信し、音声データに変換する音声合成機能を提供する。しかしながら、本実施形態のコミュニケーションシステムの音声合成機能は、任意の機能である。
　つまり、本実施形態のコミュニケーションシステムは、当該音声合成機能を具備しない構成であってもよい。音声合成機能を備える場合、管理装置１００のコミュニケーション制御部１１２は、ユーザ端末５００から入力されたテキスト情報を受信し、音声合成部１１４が音声合成辞書１２５を用いて、受信したテキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。そして、合成音声データ及び受信したテキスト情報を、他のユーザ端末５００に同報配信する。
　ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部（ユーザアプリケーション制御部）５２０、通知設定部５２０Ａ、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、記憶部５６０、バイブレーション装置５７０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。また、バイブレーション装置５７０は、ユーザ端末５００の振動装置である。
　図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部１１１は、各ユーザ端末５００における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザＩＤとそのユーザ端末５００の識別情報（ユーザ端末５００固有のＭＡＣアドレスや固体識別情報など）との対応リストと、を管理する。
　グループ情報１２２は、コミュニケーショングループの区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。
　本実施形態のユーザ管理部１１１は、複数の各ユーザの登録制御を行い、後述する第１制御（発話音声データの同報配信）及び第２制御（エージェント発話テキストまたは／及びユーザの発話音声認識結果のテキスト同報配信）の対象のコミュニケーショングループを設定する機能を提供する。
　なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。
　これらのユーザ登録などの初期設定は、運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて行うことができる。
　管理装置１００のコミュニケーション制御部１１２は、第１制御部と第２制御部の各制御部として機能する。第１制御部は、一のユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２３として時系列に蓄積するとともに、発話したユーザのユーザ端末５００を含む全てのユーザ端末５００においてコミュニケーション履歴１２３が同期して表示されるようにテキスト配信制御を行う。
　第１制御部としての機能は、発話音声データの同報配信である。発話音声データは、主に、ユーザが発声した音声データである。また、上述したように、音声合成機能を備える場合は、ユーザ端末５００から入力されたテキスト情報から人工的に生成された音声合成データも、第１制御部による同報配信に対象となる。
　第２制御部としての機能は、ユーザの発話音声認識結果のテキスト同報配信である。ユーザ端末５００において入力された音声及びユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２３に時系列に蓄積され、各ユーザ端末５００において同期して表示されるように制御される。音声認識部１１３は、音声認識辞書１２４を用いて音声認識処理を行い発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。
　コミュニケーション履歴情報１２３は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴１２３には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報１２３は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。なお、音声品質評価結果は、コミュニケーション履歴情報１２３に含まれるように蓄積したり、対応する発話内容と紐付けて個別の記憶領域に蓄積したりしてもよい。
　図４は、各ユーザ端末５００で表示されるコミュニケーション履歴１２３の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２３を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。
　図４の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。なお、表示欄Ｄにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークＨを表示し、発話者以外の他のユーザに対しては、マイクマークＨの代わりに、表示欄ＤにおいてスピーカーマークＭを表示したりすることができる。
　図５は、ユーザ端末５００の通知設定機能を説明するための図である。ユーザは、通知設定画面において、キーワード入力及び通知手段の設定を行うことができる。１つ又は複数のキーワード別に紐付けられる通知手段は、通知設定情報として、ユーザ端末５００の記憶部５６０に記憶される。この通知設定機能の制御は、通知設定部５２０Ａによって遂行される。なお、通知設定部５２０Ａは、コミュニケーションＡｐｐ制御部５２０に含まれるように構成することもできる。
　ここで、キーワードとは、例えば、自分の名前、自分の担当又は関連する作業カテゴリ名、担当又は関連する場所（ロケーション）の名称、コミュニケーション中に登場する「確認」、「至急」といった特定キーワードである。通知手段は、バイブレーション装置５７０によるバイブレーション通知やメッセージ通知を含む。メッセージ通知とは、一例として、図４に示した表示欄Ｄとは個別のポップアップ画面に、受信した発話内容のテキストを表示したり、発話内容を表示せずにメッセージを受信したことを知らせる別のメッセージを表示したりする機能である。ポップアップ画面に表示するメッセージとして、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）も表示するとよい。
　また、表示制御では、表示欄Ｄを含むアプリ画面にポップアップ画面を重畳させて最前面に表示するように制御したり、ユーザ端末５００のロック画面において、当該ポップアップ画面を表示するように制御したりすることができる。また、ポップアップ画面の表示と共に、例えば、ユーザ端末５００に設けられたＬＥＤライトを点灯・点滅させることもできる。
　ユーザ端末５００（コミュニケーションＡｐｐ制御部５２０）は、受信したテキスト情報の表示制御に伴って、テキスト情報内に通知設定情報のキーワードが含まれているか否かを判別し、含まれていると判別された場合は、当該キーワードに対応する通知手段を動作させてユーザに通知する。通知手段がバイブレーション通知である場合、コミュニケーションＡｐｐ制御部５２０は、バイブレーション装置５７０を所定の振動パターンで動作させ、ユーザ端末５００を振動させる。通知手段がメッセージ通知の場合、コミュニケーションＡｐｐ制御部５２０は、表示欄Ｄへの表示制御とは個別に、受信した音声認識結果（発話内容）を含むポップアップ画面を生成してユーザ端末５００に重畳表示させる。
　なお、バイブレーション機能の振動パターンは、複数のパターンを用意し、各通知設定別に異なる振動パターンを適用可能に構成することができる。
　図６は、本実施形態のコミュニケーションシステムの処理フローを示す図である。
　各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする。ログイン認証処理は、ユーザ管理部１１１によって遂行される。ログイン後の各ユーザ端末５００は、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。
　また、各ユーザは、図５に示した通知設定画面において、キーワードを入力し、入力したキーワードに対する通知手段を選択して通知設定情報を登録する通知設定登録を行う（Ｓ５０１ａ，Ｓ５０１ｂ，Ｓ５０１ｃ）。ユーザによる通知設定登録は、任意のタイミングで行うことができ、管理装置１００に接続した状態で、又は管理装置１００に接続していない状態でも行うことができる。
　ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０２ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。
　コミュニケーション制御部１１２は、ユーザＡのユーザ端末５００に、表示同期のための音声認識結果と共に、発話音声データを送信する（Ｓ１０３）。ユーザＡのユーザ端末５００では、通知設定機能に基づくローカルチェック処理を行う（Ｓ５０２ａ）ローカルチェック処理とは、受信した音声認識結果と登録された通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別する処理である。通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ５０２ａのＹＥＳ）、コミュニケーションＡｐｐ制御部５２０は、該当する通知手段を用いた通知処理を行う（Ｓ５０３ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０４ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５０５ａ）。ユーザＢのユーザ端末５００においても同様のである（Ｓ５０２ｂ～Ｓ５０５ｂ）。
　発話者であるユーザＣのユーザ端末５００でも、ローカルチェック処理機能は備えているものの（Ｓ５０３ｃ）、発話者であるため、ローカルチェック処理は省略される（又は、ステップＳ５０３ｃにおいて、発話者である場合は必ずＮＯのルートを通るように処理される）。そして、コミュニケーション制御部１１２は、発話者であるユーザＣには、自身の発話音声データを送信しないので、コミュニケーションＡｐｐ制御部５２０は、発話音声データの自動再生処理を省略し、発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５０５ｃ）。
　なお、発話内容によっては、２つ以上の通知設定に該当することもある。つまり、発話内容が、「玄関の清掃を至急行ってください」であった場合、図５の例では、通知設定１と通知設定２の双方に該当する。通知設定１と通知設定２の各通知手段が同じであれば、どちらか一方の通知手段で動作制御を行うように構成することができる。また、通知設定１と通知設定２の各通知手段が異なるのであれば、例えば、予め通知設定の優先度を設定して、いずれか一方の通知手段で動作制御を行うように構成してもよい。さらに、通知設定１と通知設定２の各通知手段が異なる場合、双方の各通知手段の動作制御をそれぞれ行うように構成してもよい。
（第２実施形態）
　図７から図９は、第２実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態に対し、管理装置１００側が、ユーザ端末５００同様の通知設定機能を備え、管理装置１００から能動的にユーザ端末５００の通知動作を制御する。なお、上記第１実施形態と同様の構成については、同符号を付して説明を省略する。
　図７は、本実施形態のコミュニケーション管理装置１００及びユーザ端末５００の各構成ブロック図である。上記第１実施形態の図２に比べて、管理装置１００が、ユーザ通知制御部１１５及びユーザ通知設定情報１２６を含んで構成されている。
　管理装置１００のユーザ通知設定は、上述のように運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて行うことができる。
　図８は、ユーザ通知設定情報の一例を示す図である。ユーザ通知設定情報は、ローカルチェックフラグ（ＯＦＦ（０），ＯＮ（１））、キーワード、通知手段、対象ユーザの各項目を含んで構成されている。ローカルチェックフラグは、ユーザ端末５００側での通知機能の有効（実施）／無効（省略）を制御するための情報である。キーワード及び通知手段は、ユーザ端末５００における通知設定と同様である。対象ユーザは、各設定別に通知制御するユーザを指定する情報であり、１又は複数のユーザ、あるいは全ユーザを対象に任意に設定することができる。上述のように、コミュニケーショングループ内の各ユーザは、担当又は関連する作業カテゴリや場所に応じて、１人又は複数人で対応することができる。そこで、予めキーワード別に通知すべき又は通知した方がよいユーザを選定して登録することができる。一方、全ユーザに通知すべき又は通知した方がよいケースもある。例えば全体連絡や緊急性を要する事案などがある。この場合、対象ユーザとして「全員」を設定することで、管理装置１００がユーザ端末５００での通知設定の有無（キーワード登録の有無）に関わらず、通知手段で設定された通知動作を各ユーザ端末５００に実行させることができる。
　上記第１実施形態は、各ユーザの個人的な判断で任意のキーワードを登録させ、登録されたキーワードにマッチングした発話内容であるときに、ユーザ端末５００に所定の通知動作をさせる仕組みであるが、複数の各ユーザが個別に設定するため、通知設定にバラツキが生じる。例えば、至急、緊急などの発話内容であっても、これらに該当するキーワードが登録されていなければ、ユーザ端末５００での通知動作が実行されない。
　本実施形態では、ユーザが個人的に通知設定を行うことができる機能を提供しつつ、管理装置１００側で、１つ又は複数のユーザを対象に管理面での通知設定が行えるように構成し、ユーザの自由度と管理面の強化とを両立させた仕組みを実現している。
　また、ローカルチェックフラグを設定することで、管理装置１００側から制御する通知動作とユーザ端末５００で設定した通知動作の双方を実行したり、ユーザ端末５００で設定した通知動作を優先させたり、ユーザ端末５００で設定した通知動作を実行せずに管理装置１００の通知動作を優先させて実行したりすることができる。
　図９は、本実施形態のコミュニケーションシステムの処理フローを示す図である。なお、図６の処理と同様の処理については、同符号を付して説明を省略する。
　運営管理者は、所定の管理者端末を通じてユーザ通知設定を登録する。ユーザ通知設定の登録処理は、ユーザ通知制御部１１５によって遂行される（Ｓ１０１１）。
　ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０６ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。
　ユーザ通知制御部１１５は、ユーザ通知処理を行う（Ｓ１０３１）。ユーザ通知処理とは、管理装置１００の管理側チェック処理であり、処理の内容は、ユーザ端末５００で行われるローカルチェック処理と同じである。ユーザ通知制御部１１５は、音声認識部１１３から出力された音声認識結果と登録されたユーザ通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別するユーザ通知処理を行う。ユーザ通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ１０３１のＹＥＳ）、コミュニケーション制御部１１２は、該当する通知設定のローカルチェックフラグ、通知手段及び対象ユーザを抽出する。
　コミュニケーション制御部１１２は、ユーザ通知設定に該当するユーザに対しては、表示同期のための音声認識結果、発話音声データ、通知手段に基づく通知制御情報、ローカルチェックフラグをユーザ端末５００に送信する。図９の例では、ユーザＡのユーザ端末５００に、表示同期のための音声認識結果、発話音声データ、通知制御情報（バイブレーション）、ローカルチェックフラグ（ＯＦＦ）が送信されている（Ｓ１０４１）。また、ユーザ通知設定に該当しない発話者を除くユーザに対しては、ステップＳ１０４１において表示同期のための音声認識結果と発話音声データとを送信する。発話者であるユーザＣに対しては、ステップＳ１０４１において表示同期のための音声認識結果だけが送信される。
　ユーザＡのユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０は、受信したローカルチェックフラグを参照し、ローカルチェックフラグを確認する（Ｓ５０６ａ）。図９の例では、ローカルチェックフラグがＯＦＦであるので、ユーザ端末５００側でのローカルチェック処理をスキップして省略し、管理装置１００から受信した通知制御情報に基づく動作制御を実行する（Ｓ５０９ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５１０ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５１１ａ）。
　図９の例は、上述のようにローカルチェックフラグをＯＦＦにして、ユーザ端末５００側の通知設定に関わらず、強制的に管理装置１００側の通知動作を行わせるように制御しているが、例えば、ローカルチェックフラグをＯＮにした場合は、図９に示すように、ステップＳ５０６ａのＹＥＳに進み、ステップＳ５０７ａを実行する。ステップＳ５０７ａは、ユーザ端末５００側の通知設定機能に基づくローカルチェック処理であり、受信した音声認識結果とユーザ端末５００で登録された通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別する。キーワードが音声認識結果に含まれていると判別された場合（Ｓ５０７ａのＹＥＳ）、コミュニケーションＡｐｐ制御部５２０は、該当する通知手段を用いた通知処理も行う（Ｓ５０８ａ）。
　上述したように、管理装置１００側で設定された通知動作と、ユーザ端末５００側で設定された通知動作の双方を実行させることができ、この場合は、どちらかを優先したり、どちらも実行したりすることができる。なお、図９のステップＳ１０３１において、管理側チェック処理で該当なしと判断された場合は（Ｓ１０３１のＮＯ）、図６のステップＳ１０３に進み、ユーザ端末５００のローカルチェック処理による通知制御が行われるように構成することができる。
　上記第１実施形態で説明したように、第２実施形態における通知設定に基づくポップアップ画面に表示するメッセージも、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）を表示するとよい。さらに、第２実施形態では通知設定情報は、管理装置１００およびユーザ端末５００の両方に設定されているため、どちらの設定情報に基づく通知であるかをユーザに分かるようにポップアップ画面に表示するとよい。
（第３実施形態）
　図１０から図１２は、第２実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態及び第２実施形態に対し、管理装置１００側に通知設定機能を集約した態様である。つまり、運営管理者が設定したユーザ通知設定情報又は／及びユーザ端末５００で設定した通知設定情報を管理装置１００で一元管理し、ユーザ端末５００に対する通知動作の制御を一括管理する。
　図１０は、本実施形態のコミュニケーション管理装置１００及びユーザ端末５００の各構成ブロック図である。上記第２実施形態同様に、管理装置１００が、ユーザ通知制御部１１５及びユーザ通知設定情報１２６を含んで構成されているが、ユーザ端末５００は、通知設定部５２０Ａを備えておらず、かつ通知設定情報を保持していない。
　図１１は、通知設定情報の一例を示す図である。本実施形態の通知設定情報は、運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて登録される情報と、ユーザ端末５００が管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて登録される情報と、が含まれる。
　このとき、後者のユーザ端末５００から各ユーザが個別に設定する通知設定情報は、対象ユーザとして、自分が登録されるように制御される。このように構成することで、ユーザ個別設定と、管理装置１００側の設定とを一括管理することができる。
　図１２は、本実施形態のコミュニケーションシステムの処理フローを示す図である。なお、図６や図９の処理と同様の処理については、同符号を付して説明を省略する。
　運営管理者は、所定の管理者端末を通じてユーザ通知設定を登録する。ユーザ通知設定の登録処理は、ユーザ通知制御部１１５によって遂行される（Ｓ１０１１）。また、ユーザ通知制御部１１５は、各ユーザ端末５００からの通知設定情報の登録要求に応じて、例えば、図５に示した通知設定画面を提供して、ユーザがキーワードと対応する通知手段を設定可能に制御することができる。
　ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０７ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。
　ユーザ通知制御部１１５は、ユーザ通知処理を行う（Ｓ１０３１）。ユーザ通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ１０３１のＹＥＳ）、コミュニケーション制御部１１２は、該当する通知設定の通知手段及び対象ユーザを抽出する。
　コミュニケーション制御部１１２は、ユーザ通知設定に該当するユーザに対しては、表示同期のための音声認識結果、発話音声データ、及び通知手段に基づく通知制御情報をユーザ端末５００に送信する。また、ユーザ通知設定に該当しない発話者を除くユーザに対しては、ステップＳ１０４１において表示同期のための音声認識結果と発話音声データとを送信する。発話者であるユーザＣに対しては、ステップＳ１０４１において表示同期のための音声認識結果だけが送信される。
　ユーザＡのユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０は、管理装置１００から受信した通知制御情報に基づく動作制御を実行する（Ｓ５０９ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５１０ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５１１ａ）。
　なお、上述したように、音声認識結果に対して、管理装置１００側で一元管理される通知設定情報が複数該当する場合は、複数の各通知動作それぞれをユーザ端末５００で実行させるように、各制御情報を送信したり、所定の優先度に基づいていずれか１つの通知設定情報を選択して送信したりすることができる。
　上記第１、第２実施形態で説明したように、第３実施形態における通知設定に基づくポップアップ画面に表示するメッセージも、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）を表示するとよい。さらに、第３実施形態では通知設定情報は、管理装置１００で一元管理しているが、通知設定情報の登録は、管理装置１００およびユーザ端末５００の両方から可能であり、どちらで設定した情報であるかも管理しているため、第２実施形態と同様、どちらの設定情報に基づく通知であるかをユーザに分かるようにポップアップ画面に表示するとよい。
　以上、本実施形態について説明したが、コミュニケーション管理装置１００及びユーザ端末５００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。
　また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
　なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００　コミュニケーション管理装置
１１０　制御装置
１１１　ユーザ管理部
１１２　コミュニケーション制御部（第１制御部，第２制御部）
１１３　音声認識部
１１４　音声合成部
１１５　ユーザ通知制御部
１２０　記憶装置
１２１　ユーザ情報
１２２　グループ情報
１２３　コミュニケーション履歴情報
１２４　音声認識辞書
１２５　音声合成辞書
１２６　ユーザ通知設定情報
１３０　通信装置
５００　ユーザ端末（移動通信端末）
５１０　通信・通話部
５２０　コミュニケーションＡｐｐ制御部（ユーザアプリケーション制御部）
５２０Ａ　通知設定部
５３０　マイク（集音部）
５４０　スピーカー（音声出力部）
５５０　表示・入力部
５６０　記憶部
５７０　バイブレーション装置
Ｄ　表示欄
 

Claims (8)

  1. 　複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーションシステムであって、
    　前記各移動通信端末が無線通信で接続するコミュニケーション管理装置を含み、
    　前記コミュニケーション管理装置は、
    　移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、含み、
    　前記移動通信端末は、
    　キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせた通知設定情報の登録制御を行う通知設定部と、
    　前記コミュニケーション管理装置から受信した前記発話音声データの再生処理及び前記発話音声認識結果の表示処理を行うとともに、前記発話音声認識結果と前記通知設定情報の前記キーワードとを照合するローカルチェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御を行うユーザアプリケーション制御部と、を含むことを特徴とするコミュニケーションシステム。
  2. 　前記通知機能は、前記移動通信端末が備えるバイブレーション装置によるバイブレーション通知機能、又は／及び前記移動通信端末におけるポップアップ画面表示によるメッセージ通知機能であることを特徴とする請求項１に記載のコミュニケーションシステム。
  3. 　前記メッセージ通知機能は、前記ポップアップ画面に前記ローカルチェック処理の結果、該当したキーワードを表示することを特徴とする請求項２に記載のコミュニケーションシステム。
  4. 　前記コミュニケーション管理装置は、運営管理者が操作する管理者端末を通じた、キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせたユーザ通知設定情報の登録制御を行うユーザ通知制御部をさらに含み、
    　前記コミュニケーション制御部は、前記移動通信端末に送信する前記発話音声認識結果と前記ユーザ通知設定情報の前記キーワードとを照合する管理側チェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記ユーザ通知機能の動作制御情報を抽出し、抽出された前記動作制御情報を前記移動通信端末に送信することを特徴とする請求項１又は２に記載のコミュニケーションシステム。
  5. 　前記ユーザ通知設定情報は、前記移動通信端末の前記ローカルチェック処理の実行可否を示すフラグ情報を含み、
    　前記コミュニケーション制御部は、抽出された前記動作制御情報と前記フラグ情報とを前記移動通信端末に送信し、
    　前記ユーザアプリケーション制御部は、受信した前記フラグ情報に基づいて、前記ローカルチェック処理の実行可否を判別するとともに、前記ローカルチェック処理の実行が否である場合に、受信した前記ユーザ通知設定情報に基づく前記動作制御情報を用いた前記通知機能の動作制御のみを行うことを特徴とする請求項４に記載のコミュニケーションシステム。
  6. 　前記ユーザアプリケーション制御部は、受信した前記フラグ情報に基づいて、前記ローカルチェック処理の実行可否を判別し、前記ローカルチェック処理の実行が可である場合に、前記ローカルチェック処理を行って前記発話音声認識結果内に含まれる前記移動通信端末で設定した前記キーワードに紐付く前記通知機能の動作制御を行うとともに、受信した前記ユーザ通知設定情報に基づく前記動作制御情報を用いた前記通知機能の動作制御を行うことを特徴とする請求項５に記載のコミュニケーションシステム。
  7. 　前記ユーザアプリケーション制御部は、前記ポップアップ画面に、前記管理側チェック処理または前記ローカルチェック処理の結果、該当したキーワードと、前記管理側チェク処理とローカルチェック処理のどちらに基づく結果であるかを表示することを特徴とする請求項５又は６に記載のコミュニケーションシステム。
  8. 　複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーションシステムであって、
    　移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部と、
    　キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせた通知設定情報の登録制御を行うユーザ通知制御部と、を有し、
    　前記コミュニケーション制御部は、前記発話音声認識結果と前記通知設定情報の前記キーワードとを照合し、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御情報を抽出し、抽出された前記動作制御情報を前記移動通信端末に送信することを特徴とするコミュニケーションシステム。
PCT/JP2021/005840 2020-02-28 2021-02-17 コミュニケーションシステム WO2021172125A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180011503.7A CN115023936A (zh) 2020-02-28 2021-02-17 通信系统
US17/800,434 US20230129342A1 (en) 2020-02-28 2021-02-17 Communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020033834A JP7353216B2 (ja) 2020-02-28 2020-02-28 コミュニケーションシステム
JP2020-033834 2020-02-28

Publications (1)

Publication Number Publication Date
WO2021172125A1 true WO2021172125A1 (ja) 2021-09-02

Family

ID=77490942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005840 WO2021172125A1 (ja) 2020-02-28 2021-02-17 コミュニケーションシステム

Country Status (4)

Country Link
US (1) US20230129342A1 (ja)
JP (1) JP7353216B2 (ja)
CN (1) CN115023936A (ja)
WO (1) WO2021172125A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120035930A1 (en) * 2007-03-20 2012-02-09 Avaya Inc. Keyword Alerting in Conference Calls
WO2019045250A1 (ko) * 2017-08-31 2019-03-07 주식회사 인스파이어모바일 푸시투톡 통신 서비스 운용 방법 및 이를 이용하는 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886545B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US10573312B1 (en) * 2018-12-04 2020-02-25 Sorenson Ip Holdings, Llc Transcription generation from multiple speech recognition systems
US10470005B1 (en) * 2019-07-09 2019-11-05 Republic Wireless, Inc. Techniques for managing outbound voice messages in a communication system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120035930A1 (en) * 2007-03-20 2012-02-09 Avaya Inc. Keyword Alerting in Conference Calls
WO2019045250A1 (ko) * 2017-08-31 2019-03-07 주식회사 인스파이어모바일 푸시투톡 통신 서비스 운용 방법 및 이를 이용하는 시스템

Also Published As

Publication number Publication date
CN115023936A (zh) 2022-09-06
JP2021136668A (ja) 2021-09-13
JP7353216B2 (ja) 2023-09-29
US20230129342A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN105556955B (zh) 视频通话装置和视频通话处理方法
JP2008061241A (ja) 周囲情報を連続的に記録する方法及び通信システム
US9300795B2 (en) Voice input state identification
EP3665910B1 (en) Online automatic audio transcription for hearing aid users
WO2021172124A1 (ja) コミュニケーション管理装置及び方法
WO2021172125A1 (ja) コミュニケーションシステム
JP2019145944A (ja) 音響出力システム、音響出力方法及びプログラム
JP7332690B2 (ja) コミュニケーション管理装置
WO2022004067A1 (ja) コミュニケーションシステム
WO2021153438A1 (ja) コミュニケーション管理装置及び方法
JP2022033526A (ja) コミュニケーションシステム
JP2008124597A (ja) 音声会議システム
JP6523974B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
JP7228893B2 (ja) 電話営業用ｃｔｉシステム
JP7500057B2 (ja) コミュニケーション管理装置及び方法
WO2022024778A1 (ja) コミュニケーションシステム及び評価方法
WO2022149385A1 (ja) コミュニケーションシステム
JP7233901B2 (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
JP6473203B1 (ja) サーバ装置、制御方法及びプログラム
Bestugin et al. Organization of Simulated “Ground–Air” Radio Communication and Service Loud-Speaking Communication
JP2021044641A (ja) 電話営業用ｃｔｉシステム
JP2022182019A (ja) 会議システム、会議方法、及び会議プログラム
KR20230047261A (ko) 영상 회의 지원 방법과 이를 지원하는 서버 장치
TWM602316U (zh) 利用對等式網路的多人即時行動通訊解說系統
JP2019191473A (ja) カラオケシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761518

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21761518

Country of ref document: EP

Kind code of ref document: A1