[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2014010290A1 - 情報処理システムおよび記憶媒体 - Google Patents

情報処理システムおよび記憶媒体 Download PDF

Info

Publication number
WO2014010290A1
WO2014010290A1 PCT/JP2013/061647 JP2013061647W WO2014010290A1 WO 2014010290 A1 WO2014010290 A1 WO 2014010290A1 JP 2013061647 W JP2013061647 W JP 2013061647W WO 2014010290 A1 WO2014010290 A1 WO 2014010290A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
unit
specific user
signal processing
predetermined target
Prior art date
Application number
PCT/JP2013/061647
Other languages
English (en)
French (fr)
Inventor
佐古　曜一郎
宏平 浅田
和之 迫田
荒谷　勝久
竹原　充
隆俊 中村
一弘 渡邊
丹下　明
博幸 花谷
有希 甲賀
智也 大沼
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014524672A priority Critical patent/JP6248930B2/ja
Priority to EP13817541.9A priority patent/EP2874411A4/en
Priority to CN201380036179.XA priority patent/CN104412619B/zh
Priority to US14/413,024 priority patent/US10075801B2/en
Publication of WO2014010290A1 publication Critical patent/WO2014010290A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • This disclosure relates to an information processing system and a storage medium.
  • Patent Document 1 a technique related to an M2M (Machine-to-Machine) solution is proposed.
  • the remote management system described in Patent Document 1 uses the Internet Protocol (IP) Multimedia Subsystem (IMS) platform (IS) to publish presence information by a device and between a user and a device.
  • IP Internet Protocol
  • IMS Internet Multimedia Subsystem
  • UC authorized user client
  • DC machine client
  • Patent Document 2 describes an array speaker in which a plurality of speakers are attached to one cabinet with a common wavefront, and the delay amount and level of sound emitted from each speaker are controlled.
  • Patent Document 2 below describes that an array microphone based on the same principle has been developed, and the array microphone can adjust its sound collection level by adjusting the level and delay amount of the output signal of each microphone. The points can be set arbitrarily, which enables efficient sound collection.
  • Patent Documents 1 and 2 there is no mention of a technique and a communication method that are regarded as means for realizing a user's body expansion by arranging a large amount of image sensors, microphones, speakers, and the like in a wide range.
  • the present disclosure proposes a new and improved information processing system and storage medium capable of interlinking the space around the user with other spaces.
  • a recognition unit that recognizes a predetermined target and the predetermined target recognized by the recognition unit are identified based on signals detected by a plurality of sensors arranged around a specific user.
  • an estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors, and a plurality of actuators arranged around the specific user
  • a signal processing unit that processes a signal acquired from a sensor around the predetermined target identified by the identification unit so as to be localized near the position of the specific user estimated by the estimation unit Propose a system.
  • a recognition unit that recognizes a predetermined target based on a signal detected by sensors around a specific user, an identification unit that identifies the predetermined target recognized by the recognition unit, A signal processing unit that generates a signal output from an actuator around the specific user based on signals acquired from a plurality of sensors arranged around the predetermined target identified by the identification unit.
  • the computer recognizes a predetermined target based on signals detected by a plurality of sensors arranged around a specific user, and the predetermined target recognized by the recognition unit. Output from an identification unit for identifying the position, an estimation unit for estimating the position of the specific user according to a signal detected by any of the plurality of sensors, and a plurality of actuators arranged around the specific user. A signal processing unit that processes a signal acquired from a sensor in the vicinity of the predetermined target identified by the identification unit so as to be localized near the position of the specific user estimated by the estimation unit. A storage medium storing a program for functioning is proposed.
  • the computer recognizes a predetermined target based on a signal detected by sensors around a specific user, and an identification unit that identifies the predetermined target recognized by the recognition unit And a signal processing unit that generates a signal to be output from an actuator around the specific user, based on signals acquired from a plurality of sensors arranged around the predetermined target identified by the identification unit,
  • a storage medium storing a program for functioning is proposed.
  • the space around the user can be linked with other spaces.
  • FIG. 1 is a diagram for describing an overview of an acoustic system according to an embodiment of the present disclosure.
  • a large number of microphones 10, image sensors (not shown), speakers 20, and the like can be found all over the world such as rooms, houses, buildings, outdoors, regions, and countries. Assume a situation in which various sensors and actuators are arranged.
  • a plurality of microphones (hereinafter referred to as microphones) 10 ⁇ / b> A and a plurality of actuators are provided as an example of a plurality of sensors on a road or the like of an outdoor area “site A” where the user A is currently located.
  • a plurality of speakers 20A are arranged.
  • a plurality of microphones 10B and a plurality of speakers 20B are arranged on the wall, floor, ceiling, and the like.
  • the sites A and B may be further provided with a human sensor or an image sensor (not shown) as an example of the sensor.
  • the site A and the site B can be connected via a network, and signals inputted / outputted by the microphones and speakers of the site A and signals inputted / outputted by the microphones and speakers of the site B are mutually connected. Sent and received.
  • the sound system according to the present embodiment reproduces sound and images corresponding to a predetermined target (person, place, building, etc.) in real time on a plurality of speakers and displays arranged around the user.
  • the sound system according to the present embodiment can collect the user's voice by a plurality of microphones arranged around the user and reproduce it in real time around the predetermined target.
  • the space around the user can be interlinked with other spaces.
  • the user since microphones, image sensors, and the like are arranged everywhere, the user does not need to own a smartphone or a mobile phone terminal. It can be connected to the space around the object.
  • the application of the acoustic system according to the present embodiment when the user A at the site A wants to talk to the user B at the site B will be briefly described.
  • Data collection process At site A, data collection processing is continuously performed by a plurality of microphones 10A, image sensors (not shown), human sensors (not shown), and the like. Specifically, the acoustic system according to the present embodiment collects sound collected by a plurality of microphones 10A, a captured image captured by an image sensor, or a detection result of a human sensor, and thereby estimates a user's position. .
  • the acoustic system according to the present embodiment is a microphone group in which a user's voice is sufficiently collected based on position information of a plurality of microphones 10A registered in advance and the estimated position of the user. May be elected.
  • the acoustic system according to the present embodiment performs microphone array processing on a stream group of audio signals collected by each selected microphone.
  • the acoustic system according to the present embodiment may perform a delay-and-sum array in which the sound collection point is aligned with the mouth of the user A, thereby forming super directivity of the array microphone. Therefore, a voice that is as small as the tweet of user A can be collected.
  • the acoustic system according to the present embodiment recognizes a command based on the collected voice of the user A, and executes an operation process according to the command. For example, when the user A in the site A murmurs “I want to talk to Mr. B”, “call request to the user B” is recognized as a command. In this case, the acoustic system according to the present embodiment identifies the current position of the user B, and connects the site B where the user B is present and the site A where the user A is present. As a result, the user A can make a call with the user B.
  • Object decomposition processing During a call, sound source separation is performed on the audio signals (stream data) collected by a plurality of microphones at site A (noise components around user A, conversations of people around user A, etc. are separated) Object decomposition processing such as reverberation suppression and noise / echo processing is performed. As a result, stream data with a good S / N ratio and suppressed reverberation is sent to the site B.
  • the acoustic system according to the present embodiment can cope with the above-mentioned data collection continuously. Specifically, the acoustic system according to the present embodiment continuously collects data based on a plurality of microphones, image sensors, human sensors, and the like, and grasps the movement path and direction of user A. The acoustic system according to the present embodiment continuously updates selection of appropriate microphone groups arranged around the moving user A, and always collects sound points at the mouth of the moving user A. Array microphone processing is performed continuously so that Thereby, the acoustic system by this embodiment can respond also when the user A talks while moving.
  • the moving direction and direction of the user A are converted into metadata and sent to the site B together with the stream data.
  • the stream data sent to the site B is reproduced from speakers arranged around the user B in the site B.
  • the acoustic system collects data by using a plurality of microphones, image sensors, and human sensors at the site B, estimates the position of the user B based on the collected data, and further Select an appropriate group of speakers that surround the surroundings with a closed acoustic surface.
  • the stream data sent to the site B is reproduced from the speaker group selected in this way, and the area inside the acoustic closed surface is controlled as an appropriate sound field.
  • a surface formed when a plurality of adjacent speakers or a plurality of microphones are connected in a form surrounding a certain object is conceptually referred to as an “acoustic closed surface”. ".
  • the “acoustic closed curved surface” does not necessarily constitute a complete closed curved surface, but may be any shape as long as it substantially surrounds an object (for example, a user).
  • the sound field here may be arbitrarily selected by the user B himself / herself.
  • the environment of the site A is reproduced at the site B.
  • the environment of the site A is reproduced at the site B based on sound information as ambient that is collected in real time and meta information related to the site A acquired in advance.
  • the sound system according to the present embodiment can control the sound image of the user A by using the plurality of speakers 20B arranged around the user B at the site B. That is, the acoustic system according to the present embodiment can reproduce the voice (sound image) of the user A at the ear of the user B or outside the acoustic closed curved surface by forming an array speaker (beam forming). In addition, the acoustic system according to the present embodiment moves the sound image of the user A around the user B in accordance with the actual movement of the user A at the site B by using the metadata of the movement path and direction of the user A. May be.
  • the outline of the voice communication from the site A to the site B has been described by dividing the data collection process, the object decomposition process, and the object composition process, but naturally the same applies to the voice communication from the site B to the site A. Processing is performed. As a result, two-way voice communication is possible between the site A and the site B.
  • FIG. 2 is a diagram illustrating the overall configuration of the acoustic system according to the present embodiment. As shown in FIG. 2, the acoustic system includes a signal processing device 1 ⁇ / b> A, a signal processing device 1 ⁇ / b> B, and a management server 3.
  • the signal processing device 1 ⁇ / b> A and the signal processing device 1 ⁇ / b> B are connected to the network 5 by wire / wireless, and can transmit / receive data to / from each other via the network 5. Further, the management server 3 is connected to the network 5, and the signal processing device 1 ⁇ / b> A and the signal processing device 1 ⁇ / b> B can transmit and receive data to and from the management server 3.
  • the signal processing apparatus 1A processes signals input / output by the plurality of microphones 10A and the plurality of speakers 20A arranged at the site A. Further, the signal processing device 1B processes signals input / output by the plurality of microphones 10B and the plurality of speakers 20B arranged at the site B. In addition, when it is not necessary to distinguish and explain the signal processing apparatuses 1A and 1B, they are referred to as the signal processing apparatus 1.
  • the management server 3 has a function of managing user authentication processing and the absolute position (current position) of the user. Furthermore, the management server 3 may manage information (IP address or the like) indicating the location or the position of the building.
  • the signal processing apparatus 1 can inquire and obtain the connection destination information (IP address, etc.) of the predetermined target (person, place, building, etc.) designated by the user from the management server 3.
  • IP address IP address, etc.
  • FIG. 3 is a block diagram showing the configuration of the signal processing apparatus 1 according to the present embodiment.
  • the signal processing apparatus 1 according to the present embodiment includes a plurality of microphones 10 (array microphones), an amplifier / ADC (analog / digital converter) unit 11, a signal processing unit 13, and a microphone position information DB (database) 15.
  • a user position estimation unit 16 a recognition unit 17, an identification unit 18, a communication I / F (interface) 19, a speaker position information DB 21, a DAC (digital analog converter) / amplifier unit 23, and a plurality of speakers 20 (array speakers).
  • a user position estimation unit 16 a recognition unit 17, an identification unit 18, a communication I / F (interface) 19, a speaker position information DB 21, a DAC (digital analog converter) / amplifier unit 23, and a plurality of speakers 20 (array speakers).
  • the plurality of microphones 10 are arranged throughout an area (site). For example, if it is outdoors, it is arranged on a road, a power pole, a streetlight, the outer wall of a house or a building, and if it is indoors, it is placed on a floor, a wall, a ceiling, or the like.
  • the plurality of microphones 10 collect ambient sounds and output the collected sounds to the amplifier / ADC unit 11.
  • the amplifier / ADC unit 11 has a function of amplifying sound waves output from the plurality of microphones 10 and a function of converting sound waves (analog data) into audio signals (digital data) (Analog-to-Digital Converter). Have. The amplifier / ADC unit 11 outputs the converted audio signals to the signal processing unit 13.
  • the signal processing unit 13 has a function of processing each audio signal collected by the microphone 10 and sent via the amplifier / ADC unit 11 and each audio signal reproduced from the speaker 20 via the DAC / amplifier unit 23. Have. Further, the signal processing unit 13 according to the present embodiment functions as a microphone array processing unit 131, a high S / N processing unit 133, and a sound field reproduction signal processing unit 135.
  • the microphone array processing unit 131 focuses on the user's voice as microphone array processing for a plurality of audio signals output from the amplifier / ADC unit 11 (so that the sound collection position becomes the user's mouth). Perform directivity control.
  • the microphone array processing unit 131 is optimal for the user's voice collection based on the position of the user estimated by the user position estimation unit 16 and the position of each microphone 10 registered in the microphone position information DB 15. Alternatively, a group of microphones forming an acoustic closed curved surface that includes the user may be selected. And the microphone array process part 131 performs directivity control with respect to the audio signal acquired by the selected microphone group. The microphone array processing unit 131 may form superdirectivity of the array microphone by delay sum array processing or null generation processing.
  • High S / N processing section 133 is a monaural signal that has high clarity and a high S / N ratio with respect to a plurality of audio signals output from the amplifier / ADC section 11. Has the function of processing. Specifically, the high S / N processing unit 133 separates a sound source and performs reverberation / noise suppression.
  • the high S / N conversion processing unit 133 may be provided in the subsequent stage of the microphone array processing unit 131. Also, the audio signal (stream data) processed by the high S / N processing unit 133 is used for speech recognition by the recognition unit 17 or transmitted to the outside via the communication unit I / F 19.
  • the sound field reproduction signal processing unit 135 performs signal processing on audio signals reproduced from the plurality of speakers 20, and controls the sound field to be localized near the position of the user. Specifically, for example, the sound field reproduction signal processing unit 135 includes a user based on the position of the user estimated by the user position estimation unit 16 and the position of each speaker 20 registered in the speaker position information DB 21. Select the optimal speaker group that forms the acoustic closed surface. Then, the sound field reproduction signal processing unit 135 writes the signal-processed audio signal to the output buffers of a plurality of channels corresponding to the selected speaker group.
  • the sound field reproduction signal processing unit 135 controls the area inside the acoustic closed curved surface as an appropriate sound field.
  • the sound field control method is known, for example, as Kirchhoff-Helmholtz integration rule or Rayleigh integration rule, and a wave field synthesis method (WFS: Wave Field Synthesis) to which this is applied is generally known. Further, the sound field reproduction signal processing unit 135 may apply the signal processing techniques described in Japanese Patent Nos. 4673505 and 4735108.
  • the shape of the closed acoustic surface formed by the microphone or the speaker is not particularly limited as long as it is a three-dimensional shape surrounding the user.
  • an elliptical closed acoustic surface 40-1 as shown in FIG. Alternatively, it may be a cylindrical acoustic closed surface 40-2 or a polygonal acoustic closed surface 40-3.
  • the shape of the acoustic closed curved surface by the plurality of speakers 20B-1 to 20B-12 arranged around the user B at the site B is shown as an example. The same applies to.
  • the microphone position information DB 15 is a storage unit that stores position information of a plurality of microphones 10 arranged on the site. The position information of the plurality of microphones 10 may be registered in advance.
  • the user position estimation unit 16 has a function of estimating the position of the user. Specifically, the user position estimating unit 16 uses a plurality of microphones based on an analysis result of sound collected from the plurality of microphones 10, an analysis result of a captured image captured by the image sensor, or a detection result by the human sensor. The relative position of the user with respect to ten or a plurality of speakers 20 is estimated. Further, the user position estimation unit 16 may acquire GPS (Global Positioning System) information and estimate the absolute position (current position information) of the user.
  • GPS Global Positioning System
  • the recognition unit 17 analyzes the user's voice based on the audio signal collected by the plurality of microphones 10 and processed by the signal processing unit 13 to recognize the command. For example, the recognition unit 17 performs morphological analysis on the user's voice “I want to talk with Mr. B”, and recognizes the call request command based on the predetermined target “B” and the request “speak” specified by the user.
  • the identification unit 18 has a function of identifying a predetermined object recognized by the recognition unit 17. Specifically, for example, the identification unit 18 may determine connection destination information for acquiring sound or an image corresponding to a predetermined target. For example, the identification unit 18 may transmit information indicating a predetermined target from the communication unit I / F 19 to the management server 3 and acquire connection destination information (IP address or the like) corresponding to the predetermined target from the management server 3. .
  • the communication I / F 19 is a communication module for transmitting and receiving data to and from other signal processing devices and the management server 3 through the network 5.
  • the communication I / F 19 makes an inquiry about connection destination information corresponding to a predetermined target to the management server 3 or collects sound with the microphone 10 in another signal processing apparatus that is a connection destination.
  • the audio signal processed by the signal processing unit 13 is transmitted.
  • the speaker position information DB 21 is a storage unit that stores position information of a plurality of speakers 20 arranged on the site. The position information of the plurality of speakers 20 may be registered in advance.
  • the DAC / amplifier unit 23 functions to convert an audio signal (digital data) written in an output buffer of each channel for reproduction from a plurality of speakers 20 into sound waves (analog data) (Digital to Analog Converter). Have Further, the DAC / amplifier unit 23 has a function of amplifying sound waves reproduced from the plurality of speakers 20.
  • the DAC / amplifier unit 23 performs DA conversion and amplification processing on the audio signal processed by the sound field reproduction signal processing unit 135 and outputs the result to the speaker 20.
  • the plurality of speakers 20 are arranged throughout an area (site). For example, if it is outdoors, it is arranged on a road, a power pole, a streetlight, the outer wall of a house or a building, and if it is indoors, it is placed on a floor, a wall, a ceiling, or the like.
  • the plurality of speakers 20 reproduce sound waves (sound) output from the DAC / amplifier unit 23.
  • FIG. 5 is a block diagram showing the configuration of the management server 3 according to the present embodiment.
  • the management server 3 includes a management unit 32, a search unit 33, a user position information DB 35, and a communication I / F 39. Each configuration will be described below.
  • the management unit 32 Based on the user ID transmitted from the signal processing device 1, the management unit 32 manages information regarding the location (site) where the user is currently located. For example, the management unit 32 identifies a user based on the user ID, and associates the identified user's name and the like with the IP address of the signal processing apparatus 1 that is the transmission source as connection destination information and stores the information in the user position information DB 35. .
  • the user ID may include a name, a password, biometric information, and the like.
  • the management unit 32 may perform user authentication processing based on the transmitted user ID.
  • the user position information DB 35 is a storage unit that stores information related to the location where the user is currently located in accordance with management by the management unit 32. Specifically, the user location information DB 35 stores the user ID and connection destination information (such as the IP address of the signal processing device corresponding to the site where the user is located) in association with each other. Further, the current position information of each user may be updated every moment.
  • the search unit 33 In response to a connection destination (call destination) inquiry from the signal processing device 1, the search unit 33 refers to the user location information DB 35 and searches for connection destination information. Specifically, the search unit 33 searches and extracts the associated connection destination information from the user position information DB 35 based on the name of the target user included in the connection destination inquiry.
  • the communication I / F 39 is a communication module for transmitting and receiving data to and from the signal processing device 1 through the network 5.
  • the communication I / F 39 receives a user ID from the signal processing apparatus 1 or receives a connection destination inquiry. Further, the communication I / F 39 transmits the connection destination information of the target user in response to the connection destination inquiry.
  • FIG. 6 is a flowchart showing basic processing of the sound system according to the present embodiment.
  • the signal processing apparatus 1 ⁇ / b> A transmits the ID of the user A in the site A to the management server 3.
  • the signal processing apparatus 1 ⁇ / b> A may acquire the ID of the user A from a tag such as RFID (Radio Frequency IDentification) owned by the user A, or may recognize the user A from the voice of the user A.
  • the signal processing device 1A may read biometric information from the body (face, eyes, hands, etc.) of the user A and obtain it as an ID.
  • step S106 the signal processing apparatus 1B also transmits the ID of the user B in the site B to the management server 3 in the same manner.
  • step S109 the management server 3 identifies the user based on the user ID transmitted from each signal processing device 1, and the IP address of the transmission source signal processing device 1 or the like in the name of the identified user. Are registered in association with each other as connection destination information.
  • the signal processing device 1B estimates the position of the user B in the site B. Specifically, the signal processing device 1B estimates the relative position of the user B with respect to a plurality of microphones arranged at the site B.
  • step S115 the signal processing apparatus 1B collects sound at the mouth of the user B with respect to the audio signals collected by the plurality of microphones arranged at the site B based on the estimated relative position of the user B. Microphone array processing is performed so that the position is focused. As described above, the signal processing device 1B is provided when the user B makes a statement.
  • step S118 the signal processing apparatus 1A similarly performs microphone array processing on the audio signals collected by the plurality of microphones arranged at the site A so that the sound collection position is focused on the mouth of the user A.
  • the signal processing device 1A recognizes the command based on the voice (utterance) of the user A.
  • the command recognition process according to the present embodiment will be described in [3-2. The command recognition process] will be described in detail.
  • step S121 the signal processing apparatus 1A makes a connection destination inquiry to the management server 3.
  • the signal processing apparatus 1A inquires about the connection destination information of the user B.
  • step S125 the management server 3 searches for the connection destination information of the user B in response to the connection destination inquiry from the signal processing device 1A, and transmits the search result to the signal processing device 1A in the subsequent step S126.
  • step S127 the signal processing device 1A identifies (determines) the connection destination based on the connection destination information of the user B received from the management server 3.
  • step S128, the signal processing device 1A determines the connection destination information of the identified user B, for example, the signal processing device 1B based on the IP address of the signal processing device 1B corresponding to the site B where the user B is currently located. Perform call processing.
  • the signal processing apparatus 1B outputs a message asking the user B whether or not to respond to the call from the user A (call notification).
  • the signal processing device 1 ⁇ / b> B may reproduce the message from a speaker arranged around the user B. Further, the signal processing device 1B recognizes the answer of the user B to the call notification based on the voice of the user B collected from a plurality of microphones arranged around the user B.
  • step S134 the signal processing device 1B transmits the answer of the user B to the signal processing device 1A.
  • the user B makes an OK response, and bidirectional communication between the user A (signal processing device 1A side) and the user B (signal processing device 1B side) is started.
  • step S137 the signal processing device 1A collects the voice of the user A at the site A and starts the audio stream (audio signal) at the site B (signal) in order to start communication with the signal processing device 1B. Sound collection processing to be transmitted to the processing apparatus 1B side) is performed. Note that the sound collection processing according to the present embodiment will be described in [3-3. The sound collection process] will be described in detail.
  • step S140 the signal processing device 1B forms an acoustic closed surface including the user B by a plurality of speakers arranged around the user B, and generates sound based on the audio stream transmitted from the signal processing device 1A. Perform field regeneration processing.
  • the sound field reproduction process according to the present embodiment will be described later in [3-4. The sound field reproduction process] will be described in detail.
  • steps S137 to S140 one-way communication is shown as an example. However, since the present embodiment allows two-way communication, the signal processing apparatus 1B collects sound, contrary to steps S137 to S140. The sound field reproduction process may be performed by the processing and signal processing apparatus 1A.
  • step S118 The basic processing of the acoustic system according to this embodiment has been described above.
  • the user A does not need to have a mobile phone terminal, a smartphone, or the like, just tweet “I want to talk to Mr. B” and use a plurality of microphones and a plurality of speakers arranged in the vicinity. It is possible to make a call with the user B who is in the office.
  • the command recognition process shown in step S118 will be described in detail with reference to FIG.
  • FIG. 7 is a flowchart showing command recognition processing according to this embodiment.
  • the user position estimating unit 16 of the signal processing apparatus 1 estimates the position of the user.
  • the user position estimation unit 16 is based on the sound collected from the plurality of microphones 10, the captured image captured by the image sensor, the arrangement of each microphone stored in the microphone position information DB 15, and the like. Position, orientation, and mouth position may be estimated.
  • step S206 the signal processing unit 13 selects a group of microphones that form an acoustic closed surface containing the user according to the estimated relative position and orientation of the user and the position of the mouth.
  • step S209 the microphone array processing unit 131 of the signal processing unit 13 performs microphone array processing on the audio signal collected from the selected microphone group, and sets the microphone directivity to focus on the user's mouth. Control. Thereby, the signal processing apparatus 1 can be prepared when the user makes some remarks.
  • step S212 the high S / N processing unit 133 performs processing such as reverberation / noise suppression on the audio signal processed by the microphone array processing unit 131 to improve the S / N ratio.
  • step S215 the recognition unit 17 performs speech recognition (speech analysis) based on the audio signal output from the high S / N processing unit 133.
  • the recognition unit 17 performs a command recognition process based on the recognized voice (audio signal).
  • the specific contents of the command recognition process are not particularly limited.
  • the recognition unit 17 may recognize a command by comparing a recognized voice with a request pattern registered in advance (learned).
  • step S218 if the command cannot be recognized (S218 / No), the signal processing apparatus 1 repeats the processes shown in steps S203 to S215. At this time, S203 and S206 are also repeated, so that the signal processing unit 13 can update the microphone group that forms the acoustic closed curved surface containing the user in accordance with the movement of the user.
  • FIG. 8 is a flowchart showing sound collection processing according to the present embodiment.
  • the microphone array processing unit 131 of the signal processing unit 13 performs microphone array processing on the audio signal collected from each selected / updated microphone, and sends it to the user's mouth. Control the directivity of the microphone to focus.
  • step S312 the high S / N processing unit 133 performs processing such as reverberation / noise suppression on the audio signal processed by the microphone array processing unit 131 to improve the S / N ratio.
  • step S315 the communication I / F 19 connects the audio signal output from the high S / N processing unit 133 to the connection destination indicated by the connection destination information of the target user identified in step S126 (see FIG. 6). (E.g., signal processing device 1B). Thereby, the voice uttered by the user A at the site A is collected by a plurality of microphones arranged around the user A and transmitted to the site B side.
  • FIG. 9 is a flowchart showing sound field reproduction processing according to the present embodiment.
  • the user position estimating unit 16 of the signal processing apparatus 1 estimates the position of the user.
  • the user position estimator 16 is based on the sound collected from the plurality of microphones 10, the captured image captured by the image sensor, the arrangement of the speakers stored in the speaker position information DB 21, and the like. Relative position, orientation, and ear position may be estimated.
  • step S406 the signal processing unit 13 selects a speaker group that forms an acoustic closed curved surface containing the user according to the estimated relative position and orientation of the user and the position of the ear. Note that, by continuously performing the above steps S403 and S406, the signal processing unit 13 can update the speaker group that forms the acoustic closed surface including the user according to the movement of the user.
  • step S409 the communication I / F 19 receives an audio signal from the caller.
  • step S412 the sound field reproduction signal processing unit 135 of the signal processing unit 13 performs predetermined processing on the received audio signal so as to form an optimal sound field when output from each selected / updated speaker.
  • the sound field reproduction signal processing unit 135 renders the received audio signal according to the environment of the site B (here, the arrangement of the plurality of speakers 20 arranged on the floor, wall, and ceiling of the room).
  • step S415 the signal processing apparatus 1 outputs the audio signal processed by the sound field reproduction signal processing unit 135 from the speaker group selected / updated in step S406 via the DAC / amplifier unit 23. .
  • the sound field reproduction signal processing unit 135 may perform signal processing so as to construct the sound field of the site A when rendering the audio signal received according to the environment of the site B.
  • the sound field reproduction signal processing unit 135 performs the site B at the site B based on the ambient sound collected in real time, the measurement data (transfer function) of the impulse response at the site A, and the like.
  • the sound field of A may be reproduced.
  • the user B who is in the indoor site B can obtain a sound field feeling like being in the same outdoor as the user A who is in the outdoor site A, and can be immersed in a richer sense of reality.
  • the sound field reproduction signal processing unit 135 can control the sound image of the received audio signal (user A's voice) using a group of speakers arranged around the user B. For example, by forming an array speaker (beam forming) with a plurality of speakers, the sound field reproduction signal processing unit 135 reproduces the user A's voice at the ear of the user B, or an acoustic closed curved surface including the user B. It is possible to reproduce the sound image of the user A on the outside.
  • command input is input by voice, but the command input method of the acoustic system according to the present disclosure is not limited to voice input, and may be another input method. Hereinafter, another command input method will be described with reference to FIG.
  • FIG. 10 is a block diagram showing another configuration example of the signal processing apparatus according to the present embodiment.
  • the signal processing device 1 ′ includes an operation input unit 25, an imaging unit 26, and an infrared / thermal sensor 27 in addition to the components of the signal processing device 1 shown in FIG. 3.
  • the operation input unit 25 has a function of detecting a user operation on each switch (not shown) arranged around the user. For example, the operation input unit 25 detects that the call request switch has been pressed by the user, and outputs the detection result to the recognition unit 17. The recognizing unit 17 recognizes the call command based on pressing of the call request switch. In this case, the operation input unit 25 can also accept the designation of the call destination (name of the target user, etc.).
  • the recognizing unit 17 analyzes the user's gesture based on the captured image captured by the imaging unit 26 (image sensor) arranged around the user and the detection result by the infrared / thermal sensor 27, and uses it as a command. You may recognize it. For example, when the user performs a gesture for making a call, the recognition unit 17 recognizes the call command. In this case, the recognition unit 17 may accept the designation of the call destination (name of the target user, etc.) from the operation input unit 25 or may make a determination based on voice analysis.
  • the command input method of the acoustic system according to the present disclosure is not limited to voice input, and may be switch pressing or gesture input, for example.
  • the user “want to listen to the radio”, “want to listen to the song ⁇ ”, “do you have any news?”, “A music concert currently being held in Vienna
  • a request other than a call request is made, such as “I want to listen to”
  • the sound is picked up by a plurality of microphones 10 arranged around and is recognized as a command by the recognition unit 17.
  • the signal processing device 1 performs processing according to each command recognized by the recognition unit 17.
  • the signal processing apparatus 1 receives an audio signal corresponding to a target radio, song, news, music festival, or the like designated by the user from a predetermined server, and the signal from the sound field reproduction signal processing unit 135 as described above. Through the processing, it may be reproduced from a group of speakers arranged around the user. Note that the audio signal received by the signal processing device 1 may be collected in real time.
  • the user can acquire a desired service by speaking on the spot without having to carry or operate a terminal device such as a smartphone or a remote controller.
  • the sound field reproduction signal processing unit 135 reproduces an audio signal collected in a wide space such as an opera from a group of speakers that form a small acoustic closed surface including a user. It is possible to reproduce reverberation and sound image localization in a wide space.
  • the sound field reproduction signal processing unit 135 can reproduce the sound image localization / reverberation characteristics of the sound collection environment in a reproduction environment by predetermined signal processing.
  • the sound field reproduction signal processing unit 135 may use signal processing using a transfer function disclosed in Japanese Patent No. 4775487.
  • a first transfer function impulse response measurement data
  • an audio signal that has been subjected to arithmetic processing based on the first transfer function is reproduced in the reproduction environment.
  • the sound field for example, reverberation, sound image localization
  • the sound field reproduction signal processing unit 135 performs the sound image localization and reverberation effect such that the acoustic closed curved surface 40 including the user in the small space is immersed in the sound field 42 in the large space. It is possible to construct a sound field that can be obtained.
  • a sound field that can be obtained.
  • a large space to be reproduced for example, an opera
  • an audio signal collected from the plurality of microphones 10 is calculated based on a transfer function. And reproduced from a plurality of selected speakers 20.
  • the signal processing apparatus 1 according to the present embodiment can also construct an image of another space in addition to the sound field construction (sound field reproduction processing) of another space described in the above embodiment.
  • the signal processing device 1 receives an audio signal and video collected at the target game venue from a predetermined server. You may receive and reproduce
  • the image may be reproduced by, for example, spatial projection by hologram reproduction, or may be reproduced by a television in a room, a display, or a head mounted display worn by the user.
  • the user can obtain a sense of immersion in the game venue, and can feel more realistic.
  • the user can arbitrarily select and move the position (sound collection / imaging position) to be immersed in the target game field.
  • the position sound collection / imaging position
  • the user can immerse themselves in a game venue or in a sense of presence that follows a specific player, without staying at a predetermined audience seat.
  • the system configuration of the acoustic system according to the above-described embodiment described with reference to FIGS. 1 and 2 includes a plurality of microphones and speakers around the user on both the calling side (site A) and the called side (site B).
  • the signal processing devices 1A and 1B perform signal processing.
  • the system configuration of the acoustic system according to the present embodiment is not limited to the configuration shown in FIGS. 1 and 2, and may be the configuration shown in FIG. 13, for example.
  • FIG. 13 is a diagram showing another system configuration of the acoustic system according to the present embodiment. As shown in FIG. 13, in the acoustic system according to the present embodiment, the signal processing device 1, the communication terminal 7, and the management server 3 are connected via a network 5.
  • the communication terminal 7 has a normal single microphone and a single speaker such as a mobile phone terminal and a smartphone, and is a legacy for a highly functional interface space in which a plurality of microphones and a plurality of speakers according to the present embodiment are arranged. Interface.
  • the signal processing apparatus 1 is connected to a normal communication terminal 7 and can reproduce audio received from the communication terminal 7 from a plurality of speakers arranged around the user. Further, the signal processing device 1 according to the present embodiment can transmit the user's voice collected from a plurality of microphones arranged around the user to the communication terminal 7.
  • the first user who is in a space where a plurality of microphones and a plurality of speakers are arranged in the vicinity, and the second user who has a normal communication terminal 7 A call with can be realized. That is, the configuration of the acoustic system according to the present embodiment may be a highly functional interface space in which one of the calling side and the called side is arranged with a plurality of microphones and a plurality of speakers according to the present embodiment.
  • the space around the user can be interlinked with other spaces.
  • the acoustic system according to the present embodiment reproduces sound and images corresponding to a predetermined target (person, place, building, etc.) from a plurality of speakers and displays arranged around the user, Sound can be picked up by a plurality of microphones arranged around the user and reproduced around a predetermined target.
  • a predetermined target person, place, building, etc.
  • Sound can be picked up by a plurality of microphones arranged around the user and reproduced around a predetermined target.
  • the user since microphones, image sensors, and the like are arranged everywhere, the user does not need to own a smartphone or a mobile phone terminal. It can be connected to the space around the object.
  • the configuration of the signal processing device 1 is not limited to the configuration illustrated in FIG. 3.
  • the recognition unit 17 and the identification unit 18 illustrated in FIG. 3 are provided on the server side connected via the network instead of the signal processing device 1. It may be a configuration.
  • the signal processing device 1 transmits the audio signal output from the signal processing unit 13 to the server via the communication I / F 19.
  • the server performs command recognition and processing for identifying a predetermined target (person, place, building, program, song, etc.) based on the received audio signal, and corresponds to the recognition result and the identified predetermined target. Connection destination information to be transmitted to the signal processing device 1.
  • this technique can also take the following structures.
  • a recognition unit for recognizing a predetermined target based on signals detected by a plurality of sensors arranged around a specific user;
  • An identification unit for identifying the predetermined object recognized by the recognition unit;
  • An estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors;
  • the periphery of the predetermined target identified by the identification unit so as to be localized near the position of the specific user estimated by the estimation unit when being output from a plurality of actuators arranged around the specific user
  • a signal processing unit for processing a signal acquired from the sensor;
  • An information processing system comprising: (2) The information processing system according to (1), wherein the signal processing unit processes signals acquired from a plurality of sensors arranged around the predetermined target.
  • the plurality of sensors arranged around the specific user are microphones, The information processing system according to (1) or (2), wherein the recognition unit recognizes the predetermined target based on an audio signal detected by the microphone.
  • the sensor arranged around the specific user is a microphone, The information processing system according to (4), wherein the recognition unit recognizes a call request to the predetermined target based on an audio signal detected by the microphone.
  • the sensor arranged around the specific user is a pressure sensor, The information processing system according to (4), wherein the recognizing unit recognizes a call request for the predetermined target when the pressure sensor detects pressing of a specific switch.
  • the sensor arranged around the specific user is an imaging sensor, The information processing system according to (4), wherein the recognition unit recognizes a call request to the predetermined target based on a captured image acquired by the imaging sensor.
  • the sensor around the predetermined object is a microphone
  • the plurality of actuators arranged around the specific user are a plurality of speakers
  • the signal processing unit based on each position of the plurality of speakers and the estimated position of the specific user so as to form a sound field near the position of the specific user when output from the plurality of speakers,
  • the information processing system according to any one of (1) to (7), wherein an audio signal collected by the microphone around the predetermined target is processed.
  • An information processing system comprising: (10) Computer A recognition unit for recognizing a predetermined target based on signals detected by a plurality of sensors arranged around a specific user; An identification unit for identifying the predetermined object recognized by the recognition unit; An estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors; The periphery of the predetermined target identified by the identification unit so as to be localized near the position of the specific user estimated by the estimation unit when being output from a plurality of actuators arranged around the specific user A signal processing unit for processing a signal acquired from the sensor; Program to function as (11) Computer A recognition unit for recognizing a predetermined target based

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】ユーザ周辺の空間を他の空間と相互連携させることが可能な情報処理システムおよび記憶媒体を提供する。 【解決手段】特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、を備える、情報処理システム。

Description

情報処理システムおよび記憶媒体
　本開示は、情報処理システムおよび記憶媒体に関する。
　近年、データ通信の分野において様々な技術が提案されている。例えば、下記特許文献１では、Ｍ２Ｍ（Ｍａｃｈｉｎｅ－ｔｏ－Ｍａｃｈｉｎｅ）ソリューションに関する技術が提案されている。具体的には、特許文献１に記載の遠隔管理システムは、インターネットプロトコル（ＩＰ）のマルチメディアサブシステム（ＩＭＳ）プラットフォーム（ＩＳ）を利用し、装置によるプレゼンス情報の公開や、ユーザと装置の間のインスタントメッセージングを介して、権限のあるユーザのクライアント（ＵＣ）と機械のクライアント（ＤＣ）の相互作用が実現される。
　一方、音響技術の分野において、音響ビームを形成することができるアレイスピーカーが種々開発されている。例えば、下記特許文献２には、複数のスピーカーをその波面を共通にして一つのキャビネットに取り付け、各スピーカーから発する音の遅延量とレベルを制御するアレイスピーカーについて記載されている。また、下記特許文献２には、同様の原理によるアレイマイクも開発されている旨が記載され、当該アレイマイクは、各マイクの出力信号のレベルと遅延量とを調整することにより、その集音点を任意に設定でき、これにより効率のよい集音が可能となる。
特表２００８－５４３１３７号公報 特開２００６－２７９５６５号公報
　しかしながら、上述した特許文献１、２では、大量のイメージセンサ、マイク、スピーカー等を広範囲に配し、ユーザの身体拡張を実現する手段として捉える技術やコミュニケーション方法については、何ら言及されていない。
　そこで、本開示では、ユーザ周辺の空間を他の空間と相互連携させることが可能な、新規かつ改良された情報処理システムおよび記憶媒体を提案する。
　本開示によれば、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、を備える情報処理システムを提案する。
　本開示によれば、特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、を備える情報処理システムを提案する。
　本開示によれば、コンピュータを、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。
　本開示によれば、コンピュータを、特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。
　以上説明したように本開示によれば、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。
本開示の一実施形態による音響システムの概要を説明するための図である。 本開示の一実施形態による音響システムのシステム構成を示す図である。 本実施形態による信号処理装置の構成を示すブロック図である。 本実施形態による音響閉曲面の形状について説明するための図である。 本実施形態による管理サーバの構成を示すブロック図である。 本実施形態による音響システムの基本処理を示すフローチャートである。 本実施形態によるコマンド認識処理を示すフローチャートである。 本実施形態による収音処理を示すフローチャートである。 本実施形態による音場再生処理を示すフローチャートである。 本実施形態による信号処理装置の他の構成例を示すブロック図である。 本実施形態による他のコマンド例を説明するための図である。 本実施形態による大空間の音場構築について説明するための図である。 本実施形態による音響システムの他のシステム構成を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による音響システムの概要
　２．基本構成
　　２－１．システム構成
　　２－２．信号処理装置
　　２－３．管理サーバ 
　３．動作処理
　　３－１．基本処理
　　３－２．コマンド認識処理
　　３－３．収音処理
　　３－４．音場再生処理
　４．補足
　５．まとめ
　　＜１．本開示の一実施形態による音響システムの概要＞
　まず、本開示の一実施形態による音響システム（情報処理システム）の概要について、図１を参照して説明する。図１は、本開示の一実施形態による音響システムの概要を説明するための図である。図１に示すように、本実施形態による音響システムでは、部屋、家、ビル、屋外、地域、国等の世界の至る所に大量のマイクロフォン１０、イメージセンサ（不図示）、およびスピーカー２０等の各種センサおよびアクチュエータが配置されている状況を想定する。
　図１に示す例では、ユーザＡが現在居る屋外の一のエリア「サイトＡ」の道路等に、複数のセンサの一例として、複数のマイクロフォン（以下、マイクと称す）１０Ａ、および複数のアクチュエータの一例として、複数のスピーカー２０Ａが配されている。また、ユーザＢが現在居る屋内の一のエリア「サイトＢ」では、壁、床、天井等に、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂが配されている。なお、サイトＡ、Ｂには、センサの一例として、図示しない人感知センサやイメージセンサがさらに配されていてもよい。
　ここで、サイトＡとサイトＢはネットワークを介して接続可能であって、サイトＡの各マイクおよびスピーカーで入出力される信号と、サイトＢの各マイクおよびスピーカーで入出力される信号は、互いに送受信される。
　これにより、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイでリアルタイムに再生する。また、本実施形態による音響システムは、ユーザの音声をユーザの周囲に配された複数のマイクにより収音して所定対象の周囲でリアルタイムに再生することができる。このように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。
　また、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。以下、サイトＡに居るユーザＡがサイトＢに居るユーザＢと会話がしたい場合における本実施形態による音響システムの適用について簡潔に説明する。
　　（データ収集処理）
　サイトＡでは、複数のマイク１０Ａ、イメージセンサ（不図示）、および人感センサ（不図示）等により継続的にデータ収集処理が行われている。具体的には、本実施形態による音響システムは、複数のマイク１０Ａで収音した音声、イメージセンサで撮像した撮像画像、または人感センサの検知結果を収集し、これによりユーザの位置を推定する。
　また、本実施形態による音響システムは、予め登録された複数のマイク１０Ａの位置情報、および推定されたユーザの位置に基づいて、ユーザの声が十分収音可能な位置に配されているマイク群を選出してもよい。そして、本実施形態による音響システムは、選出した各マイクにより収音されたオーディオ信号のストリーム群に対してマイクアレイ処理を行う。特に、本実施形態による音響システムは、ユーザＡの口元に収音点が合うような遅延和アレイを行ってもよく、これによりアレイマイクの超指向性を形成できる。よって、ユーザＡのつぶやき程度の小さな声も収音され得る。
　また、本実施形態による音響システムは、収音したユーザＡの音声に基づいてコマンドを認識し、コマンドに従った動作処理を実行する。例えば、サイトＡに居るユーザＡが「Ｂさんと話したい」とつぶやくと、「ユーザＢへの発呼要求」がコマンドとして認識される。この場合、本実施形態による音響システムは、ユーザＢの現在位置を同定し、ユーザＢが現在居るサイトＢとユーザＡが現在居るサイトＡを接続させる。これにより、ユーザＡは、ユーザＢと通話を行うことができる。
　　（オブジェクト分解処理）
　通話中においては、サイトＡの複数のマイクで収音されたオーディオ信号（ストリームデータ）に対して、音源分離（ユーザＡの周囲のノイズ成分や、ユーザＡの周囲の人物の会話などを分離）、残響抑制、ノイズ／エコー処理等のオブジェクト分解処理が行われる。これにより、Ｓ／Ｎ比のよい、残響感も抑制されたストリームデータがサイトＢに送られる。
　なお、ユーザＡが移動しながら話している場合も想定されるが、本実施形態による音響システムは、上記データ収集を継続的に行うことで対応することができる。具体的には、本実施形態による音響システムは、複数のマイク、イメージセンサ、および人感センサ等に基づいて継続的にデータ収集を行い、ユーザＡの移動経路や向いている方向を把握する。そして、本実施形態による音響システムは、移動しているユーザＡの周囲に配される適切なマイク群の選出を継続的に更新し、また、移動しているユーザＡの口元に常に収音点が合うようアレイマイク処理を継続的に行う。これにより、本実施形態による音響システムは、ユーザＡが移動しながら話す場合にも対応することができる。
　また、音声のストリームデータとは別に、ユーザＡの移動方向や向き等がメタデータ化され、ストリームデータと共にサイトＢに送られる。
　　（オブジェクト合成）
　そして、サイトＢに送られたストリームデータは、サイトＢに居るユーザＢの周囲に配されたスピーカーから再生される。この際、本実施形態による音響システムは、サイトＢにおいて、複数のマイク、イメージセンサ、および人感センサによりデータ収集を行い、収集したデータに基づいてユーザＢの位置を推定し、さらにユーザＢの周囲を音響閉曲面で囲う適切なスピーカー群を選出する。サイトＢに送られたストリームデータは、このように選出したスピーカー群から再生され、音響閉曲面内側のエリアが適切な音場として制御される。なお、本明細書において、ある対象物（例えばユーザ）を取り囲むような形で、近接する複数のスピーカーまたは複数のマイクの位置を繋いだ場合に形成される面を、概念的に「音響閉曲面」と称す。また、「音響閉曲面」は、必ずしも完全な閉曲面を構成するものではなく、おおよそ対象物（例えばユーザ）を取り囲むような形であればよい。
　また、ここでの音場は、ユーザＢが自ら任意で選択できるようにしてもよい。例えば、本実施形態による音響システムは、ユーザＢが、サイトＡを音場に指定した場合、サイトＡの環境がサイトＢで再現される。具体的には、例えばリアルタイムに収音されるアンビエントとしての音情報や、予め取得されたサイトＡに関するメタ情報に基づいて、サイトＡの環境がサイトＢで再現される。
　また、本実施形態による音響システムは、サイトＢにおいてユーザＢの周辺に配された複数のスピーカー２０Ｂを用いて、ユーザＡの音像を制御することも可能である。すなわち、本実施形態による音響システムは、アレイスピーカー（ビームフォーミング）を形成することで、ユーザＢの耳元や、音響閉曲面の外側にユーザＡの声（音像）を再現することも可能である。また、本実施形態による音響システムは、ユーザＡの移動経路や向きのメタデータを利用して、サイトＢにおいて、ユーザＡの実際の移動に合わせてユーザＡの音像をユーザＢの周囲で移動させてもよい。
　以上、データ収集処理、オブジェクト分解処理、およびオブジェクト合成処理の各ステップに分けてサイトＡからサイトＢへの音声通信について概要を説明したが、サイトＢからサイトＡの音声通信においても当然に同様の処理が行われる。これにより、サイトＡおよびサイトＢで双方向の音声通信が可能となる。
　以上、本開示の一実施形態における音響システム（情報処理システム）の概要について説明した。続いて、本実施形態による音響システムの構成について図２～図５を参照して詳細に説明する。
　　＜２．基本構成＞
　　［２－１．システム構成］
　図２は、本実施形態による音響システムの全体構成を示す図である。図２に示すように、音響システムは、信号処理装置１Ａ、信号処理装置１Ｂ、および管理サーバ３を有する。
　信号処理装置１Ａおよび信号処理装置１Ｂは、有線／無線によりネットワーク５に接続し、ネットワーク５を介して互いにデータの送受信が可能である。また、ネットワーク５には管理サーバ３が接続され、信号処理装置１Ａおよび信号処理装置１Ｂは、管理サーバ３とデータの送受信を行うことも可能である。
　信号処理装置１Ａは、サイトＡに配される複数のマイク１０Ａおよび複数のスピーカー２０Ａにより入出力される信号を処理する。また、信号処理装置１Ｂは、サイトＢに配される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂにより入出力される信号を処理する。なお、信号処理装置１Ａ、１Ｂを区別して説明する必要がない場合は、信号処理装置１と称する。
　管理サーバ３は、ユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、管理サーバ３は、場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。
　これにより、信号処理装置１は、ユーザにより指定された所定の対象（人物、場所、建物等）の接続先情報（ＩＰアドレス等）を管理サーバ３に問い合わせて取得することができる。
　　［２－２．信号処理装置］
　次に、本実施形態による信号処理装置１の構成について詳細に説明する。図３は、本実施形態による信号処理装置１の構成を示すブロック図である。図３に示すように、本実施形態による信号処理装置１は、複数のマイク１０（アレイマイク）、アンプ・ＡＤＣ（アナログデジタルコンバータ）部１１、信号処理部１３、マイク位置情報ＤＢ（データベース）１５、ユーザ位置推定部１６、認識部１７、同定部１８、通信Ｉ／Ｆ（インターフェース）１９、スピーカー位置情報ＤＢ２１、ＤＡＣ（デジタルアナログコンバータ）・アンプ部２３、および複数のスピーカー２０（アレイスピーカー）を有する。以下、各構成について説明する。
　（アレイマイク）
　複数のマイク１０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のマイク１０は、周囲の音を収音し、アンプ・ＡＤＣ部１１に各々出力する。
　（アンプ・ＡＤＣ部）
　アンプ・ＡＤＣ部１１は、複数のマイク１０から各々出力された音波の増幅機能（ａｍｐｌｉｆｉｅｒ）、および音波（アナログデータ）をオーディオ信号（デジタルデータ）に変換する機能（Ａｎａｌｏｇ・ｔｏ・Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）を有する。アンプ・ＡＤＣ部１１は、変換した各オーディオ信号を信号処理部１３に出力する。
　（信号処理部）
　信号処理部１３は、マイク１０により収音され、アンプ・ＡＤＣ部１１を介して送られた各オーディオ信号や、ＤＡＣ・アンプ部２３を介してスピーカー２０から再生する各オーディオ信号を処理する機能を有する。また、本実施形態による信号処理部１３は、マイクアレイ処理部１３１、高Ｓ／Ｎ化処理部１３３、および音場再生信号処理部１３５として機能する。
　・マイクアレイ処理部
　マイクアレイ処理部１３１は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対するマイクアレイ処理として、ユーザの音声にフォーカスするよう（収音位置がユーザの口元になるよう）指向性制御を行う。
　この際、マイクアレイ処理部１３１は、ユーザ位置推定部１６により推定されたユーザの位置や、マイク位置情報ＤＢ１５に登録されている各マイク１０の位置に基づいて、ユーザの音声収音に最適な、ユーザを内包する音響閉曲面を形成するマイク群を選択してもよい。そして、マイクアレイ処理部１３１は、選択したマイク群により取得されたオーディオ信号に対して指向性制御を行う。また、マイクアレイ処理部１３１は、遅延和アレイ処理、Ｎｕｌｌ生成処理によりアレイマイクの超指向性を形成してもよい。
　・高Ｓ／Ｎ化処理部
　高Ｓ／Ｎ化処理部１３３は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部１３３は、音源を分離し、残響・ノイズ抑制を行う。
　なお、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１の後段に設けられてもよい。また、高Ｓ／Ｎ化処理部１３３により処理されたオーディオ信号（ストリームデータ）は、認識部１７による音声認識に用いられたり、通信部Ｉ／Ｆ１９を介して外部に送信されたりする。
　・音場再生信号処理部
　音場再生信号処理部１３５は、複数のスピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。具体的には、例えば音場再生信号処理部１３５は、ユーザ位置推定部１６により推定されたユーザの位置やスピーカー位置情報ＤＢ２１に登録されている各スピーカー２０の位置に基づいて、ユーザを内包する音響閉曲面を形成する最適なスピーカー群を選択する。そして、音場再生信号処理部１３５は、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、信号処理したオーディオ信号を書き込む。
　また、音場再生信号処理部１３５は、音響閉曲面の内側のエリアを適切な音場として制御する。音場の制御方法は、例えばキルヒホッフ・ヘルムホルツの積分則、またはレイリー積分則として知られるものであり、これを応用した波面合成法(ＷＦＳ：Ｗａｖｅ　Ｆｉｅｌｄ　Ｓｙｎｔｈｅｓｉｓ)等が一般的に知られている。また、音場再生信号処理部１３５は、特許第４６７４５０５号、および特許第４７３５１０８号等に記載の信号処理技術を応用してもよい。
　なお、上述したマイクまたはスピーカーにより形成される音響閉曲面の形状は、ユーザを取り囲む立体的な形状であれば特に限定されず、例えば、図４に示すような楕円型の音響閉曲面４０－１、円柱型の音響閉曲面４０－２、または多角形型の音響閉曲面４０－３であってもよい。図４に示す例では、一例としてサイトＢにおいてユーザＢの周辺に配される複数のスピーカー２０Ｂ－１～２０Ｂ－１２による音響閉曲面の形状を示すが、複数のマイク１０による音響閉曲面の形状についても同様である。
　（マイク位置情報ＤＢ）
　マイク位置情報ＤＢ１５は、サイトに配される複数のマイク１０の位置情報を記憶する記憶部である。複数のマイク１０の位置情報は、予め登録されていてもよい。
　（ユーザ位置推定部）
　ユーザ位置推定部１６は、ユーザの位置を推定する機能を有する。具体的には、ユーザ位置推定部１６は、複数のマイク１０から収音した音声の解析結果、イメージセンサにより撮像した撮像画像の解析結果、または人感センサによる検知結果に基づいて、複数のマイク１０または複数のスピーカー２０に対するユーザの相対位置を推定する。また、ユーザ位置推定部１６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）情報を取得し、ユーザの絶対位置（現在位置情報）を推定してもよい。
　（認識部）
　認識部１７は、複数のマイク１０により収音され、信号処理部１３により処理されたオーディオ信号に基づいてユーザの音声を解析し、コマンドを認識する。例えば、認識部１７は、「Ｂさんと話したい」というユーザの音声を形態素解析し、ユーザに指定された所定の対象「Ｂ」および要求「話す」に基づき、発呼要求コマンドを認識する。
　（同定部）
　同定部１８は、認識部１７により認識された所定の対象を同定する機能を有する。具体的には、例えば同定部１８は、所定の対象に対応する音声や画像を取得するための接続先情報を決定してもよい。同定部１８は、例えば所定の対象を示す情報を通信部Ｉ／Ｆ１９から管理サーバ３に送信し、管理サーバ３から所定の対象に対応する接続先情報（ＩＰアドレス等）を取得してもよい。
　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ１９は、ネットワーク５を通じて他の信号処理装置や管理サーバ３との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ１９は、管理サーバ３に対して所定の対象に対応する接続先情報の問い合わせを行ったり、接続先である他の信号処理装置に、マイク１０で収音して信号処理部１３で処理したオーディオ信号を送信したりする。
　（スピーカー位置情報ＤＢ）
　スピーカー位置情報ＤＢ２１は、サイトに配される複数のスピーカー２０の位置情報を記憶する記憶部である。複数のスピーカー２０の位置情報は、予め登録されていてもよい。
　（ＤＡＣ・アンプ部）
　ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生するための各チャンネルの出力バッファに書き込まれたオーディオ信号（デジタルデータ）を音波（アナログデータ）に変換する機能（Ｄｉｇｉｔａｌ・ｔｏ・Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）を有する。さらに、ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生する音波を増幅する機能（ａｍｐｌｉｆｉｅｒ）を有する。
　また、本実施形態によるＤＡＣ・アンプ部２３は、音場再生信号処理部１３５により処理されたオーディオ信号に対してＤＡ変換および増幅処理を行い、スピーカー２０に出力する。
　（アレイスピーカー）
　複数のスピーカー２０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のスピーカー２０は、ＤＡＣ・アンプ部２３から出力された音波（音声）を再生する。
　以上、本実施形態による信号処理装置１の構成について詳細に説明した。続いて、本実施形態による管理サーバ３の構成について図５を参照して説明する。
　　［２－３．管理サーバ］
　図５は、本実施形態による管理サーバ３の構成を示すブロック図である。図５に示すように、管理サーバ３は、管理部３２、検索部３３、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９を有する。以下、各構成について説明する。
　　（管理部）
　管理部３２は、信号処理装置１から送信されたユーザＩＤ等に基づいて、ユーザが現在居る場所（サイト）に関する情報を管理する。例えば管理部３２は、ユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けてユーザ位置情報ＤＢ３５に記憶させる。なお、ユーザＩＤは、氏名、暗証番号、または生体情報等を含んでもよい。また、管理部３２は、送信されたユーザＩＤに基づいてユーザの認証処理を行ってもよい。
　　（ユーザ位置情報ＤＢ）
　ユーザ位置情報ＤＢ３５は、管理部３２による管理に応じて、ユーザが現在居る場所に関する情報を記憶する記憶部である。具体的には、ユーザ位置情報ＤＢ３５は、ユーザのＩＤ、および接続先情報（ユーザが居るサイトに対応する信号処理装置のＩＰアドレス等）を対応付けて記憶する。また、各ユーザの現在位置情報は時々刻々と更新されてもよい。
　　（検索部）
　検索部３３は、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３３は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。
　　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ３９は、ネットワーク５を通じて信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ３９は、信号処理装置１からユーザのＩＤを受信したり、接続先問い合わせを受信したりする。また、通信Ｉ／Ｆ３９は、接続先問い合わせに応じて、対象ユーザの接続先情報を送信する。
　以上、本開示の一実施形態による音響システムの各構成について詳細に説明した。次に、本実施形態による音響システムの動作処理について図６～図９を参照して詳細に説明する。
　　＜３．動作処理＞
　　［３－１．基本処理］
　図６は、本実施形態による音響システムの基本処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、信号処理装置１ＡはサイトＡに居るユーザＡのＩＤを管理サーバ３に送信する。信号処理装置１Ａは、ユーザＡのＩＤを、ユーザＡが所有しているＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等のタグから取得してもよいし、ユーザＡの音声から認識してもよい。また、信号処理装置１Ａは、ユーザＡの身体（顔、目、手等）から生体情報を読み取り、ＩＤとして取得してもよい。
　一方、ステップＳ１０６において、信号処理装置１Ｂも同様にサイトＢに居るユーザＢのＩＤを管理サーバ３に送信する。
　次に、ステップＳ１０９において、管理サーバ３は、各信号処理装置１から送信されたユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けて登録する。
　次いで、ステップＳ１１２において、信号処理装置１Ｂは、サイトＢに居るユーザＢの位置を推定する。具体的には、信号処理装置１Ｂは、サイトＢに配された複数のマイクに対するユーザＢの相対位置を推定する。
　次に、ステップＳ１１５において、信号処理装置１Ｂは、推定したユーザＢの相対位置に基づき、サイトＢに配された複数のマイクにより収音されたオーディオ信号に対して、ユーザＢの口元に収音位置がフォーカスするようマイクアレイ処理を行う。このように、信号処理装置１Ｂは、ユーザＢが何らかの発言を行う場合に備える。
　一方、ステップＳ１１８において、信号処理装置１Ａも同様に、ユーザＡの口元に収音位置がフォーカスするようサイトＡに配された複数のマイクにより収音されたオーディオ信号に対してマイクアレイ処理を行い、ユーザＡが何らかの発言を行う場合に備える。そして、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。ここでは、一例としてユーザＡが「Ｂさんと話したい」とつぶやいて、信号処理装置１Ａが「ユーザＢに対する発呼要求」コマンドとして認識した場合について説明を続ける。なお、本実施形態によるコマンド認識処理については、後述の［３－２．コマンド認識処理］において詳細に説明する。
　次に、ステップＳ１２１において、信号処理装置１Ａは、接続先問い合わせを管理サーバ３に対して行う。上述したように、コマンドが「ユーザＢに対する発呼要求」であった場合、信号処理装置１Ａは、ユーザＢの接続先情報を問い合わせる。
　次いで、ステップＳ１２５において、管理サーバ３は、信号処理装置１Ａからの接続先問い合わせに応じて、ユーザＢの接続先情報を検索し、続くステップＳ１２６において、検索結果を信号処理装置１Ａに送信する。
　次に、ステップＳ１２７において、信号処理装置１Ａは、管理サーバ３から受信したユーザＢの接続先情報により接続先を同定（決定）する。
　次いで、ステップＳ１２８において、信号処理装置１Ａは、同定したユーザＢの接続先情報、例えばユーザＢが現在居るサイトＢに対応する信号処理装置１ＢのＩＰアドレスに基づいて、信号処理装置１Ｂに対して発呼処理を行う。
　次に、ステップＳ１３１において、信号処装置１Ｂは、ユーザＡからの呼び出しに応答するか否かをユーザＢに問うメッセージを出力する（呼び出し通知）。具体的には、例えば信号処理装置１Ｂは、ユーザＢの周辺に配されるスピーカーから当該メッセージを再生してもよい。また、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のマイクから収音したユーザＢの音声に基づいて、呼び出し通知に対するユーザＢの回答を認識する。
　次いで、ステップＳ１３４において、信号処理装置１Ｂは、ユーザＢの回答を信号処理装置１Ａに送信する。ここでは、ユーザＢがＯＫ回答を行い、ユーザＡ（信号処理装置１Ａ側）とユーザＢ（信号処理装置１Ｂ側）の双方向通信が開始される。
　具体的には、ステップＳ１３７において、信号処理装置１Ａは、信号処理装置１Ｂとの通信を開始すべく、サイトＡにおいてユーザＡの音声を収音し、音声ストリーム（オーディオ信号）をサイトＢ（信号処理装置１Ｂ側）に送信する収音処理を行う。なお、本実施形態による収音処理については、後述の［３－３．収音処理］において詳細に説明する。
　そして、ステップＳ１４０において、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のスピーカーによりユーザＢを内包する音響閉曲面を形成し、信号処理装置１Ａから送信された音声ストリームに基づいて音場再生処理を行う。なお、本実施形態による音場再生処理については、後述の［３－４．音場再生処理］において詳細に説明する。
　なお、上記ステップＳ１３７～Ｓ１４０では、一例として一方向の通信を示したが、本実施形態は双方向通信が可能であるので、上記ステップＳ１３７～Ｓ１４０とは逆に、信号処理装置１Ｂで収音処理、信号処理装置１Ａで音場再生処理を行ってもよい。
　以上、本実施形態による音響システムの基本処理について説明した。これにより、ユーザＡは、携帯電話端末やスマートフォン等を所持する必要なく、「Ｂさんと話したい」とつぶやくだけで、周辺に配された複数のマイクおよび複数のスピーカーを利用して他の場所に居るユーザＢと通話を行うことができる。続いて、上記ステップＳ１１８に示したコマンド認識処理について図７を参照して詳細に説明する。
　　［３－２．コマンド認識処理］
　図７は、本実施形態によるコマンド認識処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびマイク位置情報ＤＢ１５に記憶されている各マイクの配置等に基づき、各マイクに対するユーザの相対的な位置、向き、および口の位置を推定してもよい。
　次いで、ステップＳ２０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および口の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群を選出する。
　次に、ステップＳ２０９において、信号処理部１３のマイクアレイ処理部１３１は、選出したマイク群から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。これにより、信号処理装置１は、ユーザが何らかの発言を行う場合に備えることができる。
　次いで、ステップＳ２１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
　次に、ステップＳ２１５において、認識部１７は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号に基づいて、音声認識（音声解析）を行う。
　そして、ステップＳ２１８において、認識部１７は、認識した音声（オーディオ信号）に基づいて、コマンド認識処理を行う。コマンド認識処理の具体的な内容については特に限定しないが、例えば認識部１７は、予め登録された（学習した）要求パターンと認識した音声を比較し、コマンドを認識してもよい。
　上記ステップＳ２１８において、コマンドを認識できなかった場合（Ｓ２１８／Ｎｏ）、信号処理装置１は、ステップＳ２０３～Ｓ２１５に示す処理を繰り返す。この際、Ｓ２０３およびＳ２０６も繰り返されるので、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するマイク群を更新することが可能である。
　　［３－３．収音処理］
　次に、図６のステップＳ１３７に示す収音処理について、図８を参照して詳細に説明する。図８は、本実施形態による収音処理を示すフローチャートである。図８に示すように、まず、ステップＳ３０８において、信号処理部１３のマイクアレイ処理部１３１は、選出／更新した各マイクから収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。
　次いで、ステップＳ３１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
　そして、ステップＳ３１５において、通信Ｉ／Ｆ１９は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号を、上記ステップＳ１２６（図６参照）で同定した対象ユーザの接続先情報で示される接続先（例えば、信号処理装置１Ｂ）に送信する。これにより、ユーザＡがサイトＡで発した音声が、ユーザＡの周辺に配された複数のマイクにより収音され、サイトＢ側に送信される。
　　［３－４．音場再生処理］
　次に、図６のステップＳ１４０に示す音場再生処理について、図９を参照して詳細に説明する。図９は、本実施形態による音場再生処理を示すフローチャートである。図９に示すように、まず、ステップＳ４０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびスピーカー位置情報ＤＢ２１に記憶されている各スピーカーの配置等に基づき、各スピーカー２０に対するユーザの相対的な位置、向き、および耳の位置を推定してもよい。
　次いで、ステップＳ４０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および耳の位置に応じて、ユーザを内包する音響閉曲面を形成するスピーカー群を選出する。なお、上記Ｓ４０３およびＳ４０６を継続的に行うことで、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するスピーカー群を更新することが可能である。
　次に、ステップＳ４０９において、通信Ｉ／Ｆ１９は、発呼元からオーディオ信号を受信する。
　次いで、ステップＳ４１２において、信号処理部１３の音場再生信号処理部１３５は、選出／更新した各スピーカーから出力された際に最適な音場を形成するよう、受信したオーディオ信号に対して所定の信号処理を行う。
例えば、音場再生信号処理部１３５は、受信したオーディオ信号を、サイトＢの環境（ここでは、部屋の床、壁、および天井に配された複数のスピーカー２０の配置）に応じてレンダリングする。
　そして、ステップＳ４１５において、信号処理装置１は、音場再生信号処理部１３５で処理されたオーディオ信号を、ＤＡＣ・アンプ部２３を介して、上記ステップＳ４０６で選出／更新されたスピーカー群から出力する。
　これにより、サイトＡで収音されたユーザＡの音声が、サイトＢに居るユーザＢの周辺に配された複数のスピーカーから再生される。また、上記ステップＳ４１２において、サイトＢの環境に応じて受信したオーディオ信号をレンダリングする際に、音場再生信号処理部１３５は、サイトＡの音場を構築するよう信号処理を行ってもよい。
　具体的には、音場再生信号処理部１３５は、リアルタイムに収音されるサイトＡのアンビエントとしての音や、サイトＡにおけるインパルス応答の測定データ（伝達関数）等に基づいて、サイトＢでサイトＡの音場を再現してもよい。これにより、例えば屋内のサイトＢに居るユーザＢは、屋外のサイトＡに居るユーザＡと同じ屋外に居るような音場感を得ることができ、より豊かな臨場感に浸ることができる。
　また、音場再生信号処理部１３５は、ユーザＢの周辺に配されたスピーカー群を用いて、受信したオーディオ信号（ユーザＡの音声）の音像を制御することも可能である。例えば、複数のスピーカーによりアレイスピーカー（ビームフォーミング）を形成することで、音場再生信号処理部１３５は、ユーザＢの耳元でユーザＡの音声を再現したり、ユーザＢを内包する音響閉曲面の外側にユーザＡの音像を再現したりすることが可能である。
　以上、本実施形態による音響システムの各動作処理について詳細に説明した。続いて、本実施形態の補足について説明する。
　　＜４．補足＞
　　［４－１．コマンド入力の変形例］
　上記実施形態では、音声にてコマンドを入力していたが、本開示による音響システムのコマンド入力方法は音声入力に限定されず、他の入力方法であってもよい。以下、図１０を参照して他のコマンド入力方法について説明する。
　図１０は、本実施形態による信号処理装置の他の構成例を示すブロック図である。図１０に示すように、信号処理装置１’は、図３に示す信号処理装置１の各構成に加えて、操作入力部２５、撮像部２６、および赤外線／熱センサ２７を有する。
　操作入力部２５は、ユーザの周辺に配される各スイッチ（不図示）に対するユーザ操作を検出する機能を有する。例えば、操作入力部２５は、ユーザにより発呼要求スイッチが押下されたことを検出し、検出結果を認識部１７に出力する。認識部１７は、発呼要求スイッチの押下に基づいて、発呼コマンドを認識する。なお、この場合、操作入力部２５は、発呼先の指定（対象ユーザの氏名等）も受け付けることが可能である。
　また、認識部１７は、ユーザの周辺に配される撮像部２６（イメージセンサ）により撮像された撮像画像や、赤外線／熱センサ２７による検知結果に基づいて、ユーザのジェスチャーを解析し、コマンドとして認識してもよい。例えば、ユーザが電話をかけるジェスチャーを行った場合、認識部１７は、発呼コマンドを認識する。また、この場合、認識部１７は、発呼先の指定（対象ユーザの氏名等）を、操作入力部２５から受け付けてもよいし、音声解析に基づいて判断してもよい。
　以上説明したように、本開示による音響システムのコマンド入力方法は音声入力に限定されず、例えばスイッチ押下、またはジェスチャー入力等であってもよい。
　　［４－２．他のコマンド例］
　上記実施形態では、所定の対象として人物が指定され、発呼要求（通話要求）をコマンドとして認識する場合について説明したが、本開示による音響システムのコマンドは発呼要求（通話要求）に限定されず、他のコマンドであってもよい。例えば、信号処理装置１の認識部１７は、所定の対象として指定された場所、建物、番組、曲等をユーザが居る空間で再現するコマンドを認識してもよい。
　例えば、図１１に示すように、ユーザが「ラジオを聞きたい」、「○○の△△という曲を聞きたい」、「何かニュースない？」、「今、ウィーンで開催されている音楽会を聴きたい」等と発呼要求以外の要求を発言した場合すると、周辺に配された複数のマイク１０により収音され、認識部１７によりコマンドとして認識される。
　そして、信号処理装置１は、認識部１７により認識された各コマンドに応じた処理を行う。例えば、信号処理装置１は、ユーザが指定する対象のラジオ、曲、ニュース、音楽祭等に対応するオーディオ信号を、所定のサーバから受信し、上述したように音場再生信号処理部１３５による信号処理を経て、ユーザの周囲に配されたスピーカー群から再生してもよい。なお、信号処理装置１が受信するオーディオ信号は、リアルタイムで収音されたものであってもよい。
　このように、ユーザはスマートフォンやリモートコントローラー等の端末装置を所持したり操作したりする必要なく、所望のサービスをその場で発言するだけで取得することができる。
　また、本実施形態による音場再生信号処理部１３５は、特に歌劇場のような広い空間で収音されたオーディオ信号を、ユーザを内包する小さな音響閉曲面を形成するスピーカー群から再生する場合に、広い空間の残響および音像定位を再現することが可能である。
　すなわち、収音環境（例えば歌劇場）で音響閉曲面を形成するマイク群の配置と、再現環境（例えばユーザの部屋）で音響閉曲面を形成するスピーカー群の配置が異なる場合であっても、音場再生信号処理部１３５は、所定の信号処理により、収音環境の音像定位・残響特性を再現環境で再現することが可能である。
　具体的には、例えば音場再生信号処理部１３５は、特許第４７７５４８７号で開示されている伝達関数を用いた信号処理を用いてもよい。特許第４７７５４８７号では、測定環境の音場に基づいて第一の伝達関数（インパルス応答の測定データ）を求め、さらに再現環境において第一の伝達関数に基づく演算処理を施された音声信号を再生することで、再現環境において測定環境の音場（例えば残響、音像定位）を再現している。
　これにより、音場再生信号処理部１３５は、図１２に示すように、小空間に居るユーザを内包する音響閉曲面４０が、大空間の音場４２に没入するような音像定位および残響効果を得ることができる音場を構築することが可能となる。なお、図１２に示す例では、ユーザが居る小空間（例えば部屋）に配されている複数のスピーカー２０のうち、適宜ユーザを内包する音響閉曲面４０を形成する複数のスピーカー２０が選出されている。また、再現対象の大空間（例えば歌劇場）には、図１２に示すように、複数のマイク１０が配され、当該複数のマイク１０から収音されたオーディオ信号が、伝達関数に基づく演算処理を施され、選出された複数のスピーカー２０から再生される。
　　［４－３．映像構築］
　さらに、本実施形態による信号処理装置１は、上記実施形態において説明した他の空間の音場構築（音場再生処理）の他、併せて他の空間の映像構築を行うこともできる。
　例えば、ユーザが「現在行われている○○のサッカーの試合を見たい」とコマンド入力した場合、信号処理装置１は、対象の試合会場で収音されたオーディオ信号および映像を所定のサーバから受信し、ユーザが居る部屋で再生してもよい。
　映像の再生は、例えばホログラム再生による空間投影であってもよいし、部屋にあるテレビジョン、ディスプレイ、ユーザが装着するヘッドマウントディスプレイで再生してもよい。このように、音場構築と併せて映像構築も行うことで、ユーザは、試合会場への没入感を得ることができ、より臨場感に浸ることができる。
　なお、対象の試合場で没入する位置（収音・撮像位置）は、ユーザが任意に選択、移動させることも可能である。これにより、ユーザは、所定の観客席に留まらず、試合会場の中や、特定の選手を追うような臨場感に浸ることができる。
　　［４－４．他のシステム構成例］
　図１～図２を参照して説明した上記実施形態による音響システムのシステム構成は、発呼側（サイトＡ）および着呼側（サイトＢ）の両者とも、ユーザの周辺に複数のマイクやスピーカーが配され、信号処理装置１Ａ、１Ｂにより信号処理されている。しかし、本実施形態による音響システムのシステム構成は図１～図２に示す構成に限定されず、例えば図１３に示すような構成であってもよい。
　図１３は、本実施形態による音響システムの他のシステム構成を示す図である。図１３に示すように、本実施形態による音響システムは、信号処理装置１、通信端末７、および管理サーバ３が、ネットワーク５を介して接続している。
　通信端末７は、携帯電話端末やスマートフォンといった通常の単数のマイクおよび単数のスピーカーを有し、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間に対して、レガシーなインターフェースである。
　本実施形態による信号処理装置１は、通常の通信端末７と接続し、通信端末７から受信した音声をユーザの周辺に配される複数のスピーカーから再生することができる。また、本実施形態による信号処理装置１は、ユーザの周辺に配される複数のマイクから収音したユーザの音声を、通信端末７に送信することができる。
　以上説明したように、本実施形態による音響システムによれば、周辺に複数のマイクおよび複数のスピーカーが配された空間に居る第１のユーザと、通常の通信端末７を所持する第２のユーザとの通話を実現することができる。すなわち、本実施形態による音響システムの構成は、発呼側および着呼側の一方が、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間であってもよい。
　　＜５．まとめ＞
　上述したように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。具体的には、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイから再生し、また、ユーザの音声をユーザの周囲に配された複数のマイクで収音して所定対象の周囲で再生することができる。このように、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、信号処理装置１の構成は図３に示す構成に限定されず、例えば図３に示す認識部１７および同定部１８が、信号処理装置１ではなくネットワークを介して接続するサーバ側に設けられる構成であってもよい。この場合、信号処理装置１は、信号処理部１３から出力されるオーディオ信号を通信Ｉ／Ｆ１９を介してサーバに送信する。また、サーバは、受信したオーディオ信号に基づいて、コマンド認識や、所定の対象（人物、場所、建物、番組、曲等）を同定する処理を行い、認識結果および同定された所定の対象に対応する接続先情報を信号処理装置１に送信する。
　なお、本技術は以下のような構成も取ることができる。
（１）
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
　前記認識部により認識された前記所定の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
を備える、情報処理システム。
（２）
　前記信号処理部は、前記所定の対象の周辺に配される複数のセンサから取得した信号を処理する、前記（１）に記載の情報処理システム。
（３）
　前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象を認識する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記認識部は、前記特定ユーザの周辺に配されるセンサにより検知された信号に基づいて、前記所定の対象に対する要求をさらに認識する、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記特定ユーザの周辺に配されるセンサは、マイクロフォンであって、
　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（６）
　前記特定ユーザの周辺に配されるセンサは、圧力センサであって、
　前記認識部は、前記圧力センサにより特定のスイッチの押圧が検知された場合、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（７）
　前記特定ユーザの周辺に配されるセンサは、撮像センサであって、
　前記認識部は、前記撮像センサにより取得された撮像画像に基づいて、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（８）
　前記所定の対象の周辺のセンサは、マイクロフォンであって、
　前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
　前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記特定ユーザの位置に基づいて、前記所定の対象の周辺の前記マイクロフォンにより収音されたオーディオ信号を処理する、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
　前記認識部により認識された前記所定の対象を同定する同定部と、
　前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
を備える、情報処理システム。
（１０）
　コンピュータを、
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
　前記認識部により認識された前記所定の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
として機能させるための、プログラム。
（１１）
　コンピュータを、
　特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
　前記認識部により認識された前記所定の対象を同定する同定部と、
　前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
として機能させるための、プログラム。
　１、１’、１Ａ、１Ｂ　　信号処理装置
　３　　管理サーバ
　５　　ネットワーク
　７　　通信端末
　１０、１０Ａ、１０Ｂ　　マイクロフォン（マイク）
　１１　　アンプ・ＡＤＣ（アナログデジタルコンバータ）部
　１３　　信号処理部
　１５　　マイク位置情報ＤＢ（データベース）
　１６　　ユーザ位置推定部
　１７　　認識部
　１８　　同定部
　１９　通信Ｉ／Ｆ（インターフェース）
　２０、２０Ａ、２０Ｂ　　スピーカー
　２３　　ＤＡＣ（デジタルアナログコンバータ）・アンプ部
　２５　　操作入力部
　２６　撮像部（イメージセンサ）
　２７　　赤外線／熱センサ
　３２　　管理部
　３３　　検索部
　４０、４０－１、４０－２、４０－３　　音響閉曲面
　４２　　音場
　１３１　　マイクアレイ処理部
　１３３　　高Ｓ／Ｎ化処理部
　１３５　　音場再生信号処理部

Claims (11)

  1. 　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
    　前記認識部により認識された前記所定の対象を同定する同定部と、
    　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
    　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
    を備える、情報処理システム。
  2. 　前記信号処理部は、前記所定の対象の周辺に配される複数のセンサから取得した信号を処理する、請求項１に記載の情報処理システム。
  3. 　前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
    　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象を認識する、請求項１または２に記載の情報処理システム。
  4. 　前記認識部は、前記特定ユーザの周辺に配されるセンサにより検知された信号に基づいて、前記所定の対象に対する要求をさらに認識する、請求項１～３のいずれか１項に記載の情報処理システム。
  5. 　前記特定ユーザの周辺に配されるセンサは、マイクロフォンであって、
    　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
  6. 　前記特定ユーザの周辺に配されるセンサは、圧力センサであって、
    　前記認識部は、前記圧力センサにより特定のスイッチの押圧が検知された場合、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
  7. 　前記特定ユーザの周辺に配されるセンサは、撮像センサであって、
    　前記認識部は、前記撮像センサにより取得された撮像画像に基づいて、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
  8. 　前記所定の対象の周辺のセンサは、マイクロフォンであって、
    　前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
    　前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記特定ユーザの位置に基づいて、前記所定の対象の周辺の前記マイクロフォンにより収音されたオーディオ信号を処理する、請求項１～７のいずれか１項に記載の情報処理システム。
  9. 　特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
    　前記認識部により認識された前記所定の対象を同定する同定部と、
    　前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
    を備える、情報処理システム。
  10. 　コンピュータを、
    　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
    　前記認識部により認識された前記所定の対象を同定する同定部と、
    　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
    　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
    として機能させるための、プログラムが記憶された記憶媒体。
  11. 　コンピュータを、
    　特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
    　前記認識部により認識された前記所定の対象を同定する同定部と、
    　前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
    として機能させるための、プログラムが記憶された記憶媒体。
PCT/JP2013/061647 2012-07-13 2013-04-19 情報処理システムおよび記憶媒体 WO2014010290A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014524672A JP6248930B2 (ja) 2012-07-13 2013-04-19 情報処理システムおよびプログラム
EP13817541.9A EP2874411A4 (en) 2012-07-13 2013-04-19 INFORMATION PROCESSING SYSTEM AND STORAGE MEDIUM
CN201380036179.XA CN104412619B (zh) 2012-07-13 2013-04-19 信息处理系统
US14/413,024 US10075801B2 (en) 2012-07-13 2013-04-19 Information processing system and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-157722 2012-07-13
JP2012157722 2012-07-13

Publications (1)

Publication Number Publication Date
WO2014010290A1 true WO2014010290A1 (ja) 2014-01-16

Family

ID=49915766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061647 WO2014010290A1 (ja) 2012-07-13 2013-04-19 情報処理システムおよび記憶媒体

Country Status (5)

Country Link
US (1) US10075801B2 (ja)
EP (1) EP2874411A4 (ja)
JP (1) JP6248930B2 (ja)
CN (1) CN104412619B (ja)
WO (1) WO2014010290A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070487A1 (ja) * 2016-10-14 2018-04-19 国立研究開発法人科学技術振興機構 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム
JP2020198588A (ja) * 2019-06-05 2020-12-10 シャープ株式会社 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
WO2023100560A1 (ja) 2021-12-02 2023-06-08 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102923B2 (ja) * 2012-07-27 2017-03-29 ソニー株式会社 情報処理システムおよび記憶媒体
US9294839B2 (en) 2013-03-01 2016-03-22 Clearone, Inc. Augmentation of a beamforming microphone array with non-beamforming microphones
DE112015000640T5 (de) * 2014-02-04 2017-02-09 Tp Vision Holding B.V. Handgerät mit Mikrofon
EP3387523A4 (en) * 2015-12-07 2019-08-21 Creative Technology Ltd. AUDIO SYSTEM
US10097919B2 (en) * 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
EP3662328A4 (en) 2017-07-31 2021-05-05 Driessen Aerospace Group N.V. VIRTUAL CONTROL DEVICE AND SYSTEM
CN111903143B (zh) * 2018-03-30 2022-03-18 索尼公司 信号处理设备和方法以及计算机可读存储介质
CN109188927A (zh) * 2018-10-15 2019-01-11 深圳市欧瑞博科技有限公司 家居控制方法、装置、网关设备及存储介质
US10991361B2 (en) * 2019-01-07 2021-04-27 International Business Machines Corporation Methods and systems for managing chatbots based on topic sensitivity
US10812921B1 (en) 2019-04-30 2020-10-20 Microsoft Technology Licensing, Llc Audio stream processing for distributed device meeting
WO2021021857A1 (en) * 2019-07-30 2021-02-04 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices
CN111048081B (zh) * 2019-12-09 2023-06-23 联想(北京)有限公司 一种控制方法、装置、电子设备及控制系统
JP7532793B2 (ja) * 2020-02-10 2024-08-14 ヤマハ株式会社 音量調整装置および音量調整方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647100A (en) * 1987-06-30 1989-01-11 Ricoh Kk Voice recognition equipment
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2006279565A (ja) 2005-03-29 2006-10-12 Yamaha Corp アレイスピーカ制御装置及びアレイマイク制御装置
JP2008543137A (ja) 2005-05-23 2008-11-27 シーメンス ソシエタ ペル アツィオーニ 機械を、ｉｐマルチメディアサブシステムのｉｐリンクを介して遠隔管理するための方法およびシステム、ｉｍｓ
JP2010130411A (ja) * 2008-11-28 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 複数信号区間推定装置とその方法とプログラム
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
JP4735108B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 音声信号処理方法、音場再現システム
JP4775487B2 (ja) 2009-11-24 2011-09-21 ソニー株式会社 音声信号処理方法、音声信号処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738382B1 (en) * 1999-02-24 2004-05-18 Stsn General Holdings, Inc. Methods and apparatus for providing high speed connectivity to a hotel environment
GB2391741B (en) * 2002-08-02 2004-10-13 Samsung Electronics Co Ltd Method and system for providing conference feature between internet call and telephone network call in a webphone system
JP4096801B2 (ja) * 2003-04-28 2008-06-04 ヤマハ株式会社 簡易型ステレオ発音実現方法、ステレオ発音システム及び楽音発生制御システム
US7724885B2 (en) * 2005-07-11 2010-05-25 Nokia Corporation Spatialization arrangement for conference call
KR100897971B1 (ko) * 2005-07-29 2009-05-18 하르만 인터내셔날 인더스트리즈, 인코포레이티드 오디오 튜닝 시스템
EP1923866B1 (en) * 2005-08-11 2014-01-01 Asahi Kasei Kabushiki Kaisha Sound source separating device, speech recognizing device, portable telephone, sound source separating method, and program
JP4873316B2 (ja) * 2007-03-09 2012-02-08 株式会社国際電気通信基礎技術研究所 音響空間共有装置
JP5559691B2 (ja) 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
KR20100131467A (ko) * 2008-03-03 2010-12-15 노키아 코포레이션 복수의 오디오 채널들을 캡쳐하고 렌더링하는 장치
KR101462930B1 (ko) * 2008-04-30 2014-11-19 엘지전자 주식회사 이동 단말기 및 그 화상통화 제어방법
JP5113647B2 (ja) 2008-07-07 2013-01-09 株式会社日立製作所 無線通信を用いた列車制御システム
CN101656908A (zh) * 2008-08-19 2010-02-24 深圳华为通信技术有限公司 控制声音聚焦的方法、通讯设备及通讯系统
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8390665B2 (en) * 2009-09-03 2013-03-05 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
CN102281425A (zh) * 2010-06-11 2011-12-14 华为终端有限公司 一种播放远端与会人员音频的方法、装置及远程视频会议系统
US8300845B2 (en) * 2010-06-23 2012-10-30 Motorola Mobility Llc Electronic apparatus having microphones with controllable front-side gain and rear-side gain
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US20130083948A1 (en) * 2011-10-04 2013-04-04 Qsound Labs, Inc. Automatic audio sweet spot control

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647100A (en) * 1987-06-30 1989-01-11 Ricoh Kk Voice recognition equipment
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2006279565A (ja) 2005-03-29 2006-10-12 Yamaha Corp アレイスピーカ制御装置及びアレイマイク制御装置
JP2008543137A (ja) 2005-05-23 2008-11-27 シーメンス ソシエタ ペル アツィオーニ 機械を、ｉｐマルチメディアサブシステムのｉｐリンクを介して遠隔管理するための方法およびシステム、ｉｍｓ
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
JP4735108B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 音声信号処理方法、音場再現システム
JP2010130411A (ja) * 2008-11-28 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 複数信号区間推定装置とその方法とプログラム
JP4775487B2 (ja) 2009-11-24 2011-09-21 ソニー株式会社 音声信号処理方法、音声信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2874411A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070487A1 (ja) * 2016-10-14 2018-04-19 国立研究開発法人科学技術振興機構 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム
US10812927B2 (en) 2016-10-14 2020-10-20 Japan Science And Technology Agency Spatial sound generation device, spatial sound generation system, spatial sound generation method, and spatial sound generation program
JP2020198588A (ja) * 2019-06-05 2020-12-10 シャープ株式会社 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
JP7351642B2 (ja) 2019-06-05 2023-09-27 シャープ株式会社 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
WO2023100560A1 (ja) 2021-12-02 2023-06-08 ソニーグループ株式会社 情報処理装置、情報処理方法、記憶媒体

Also Published As

Publication number Publication date
US20150208191A1 (en) 2015-07-23
CN104412619A (zh) 2015-03-11
JPWO2014010290A1 (ja) 2016-06-20
EP2874411A1 (en) 2015-05-20
JP6248930B2 (ja) 2017-12-20
CN104412619B (zh) 2017-03-01
US10075801B2 (en) 2018-09-11
EP2874411A4 (en) 2016-03-16

Similar Documents

Publication Publication Date Title
JP6248930B2 (ja) 情報処理システムおよびプログラム
JP6102923B2 (ja) 情報処理システムおよび記憶媒体
JP2014060647A (ja) 情報処理システム及びプログラム
CN106797512B (zh) 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质
US9491033B1 (en) Automatic content transfer
JP2019518985A (ja) 分散したマイクロホンからの音声の処理
JP2016146547A (ja) 収音システム及び収音方法
US12095951B2 (en) Systems and methods for providing headset voice control to employees in quick-service restaurants
WO2021244056A1 (zh) 一种数据处理方法、装置和可读介质
JP2022514325A (ja) 聴覚デバイスにおけるソース分離及び関連する方法
CN109218948B (zh) 助听系统、系统信号处理单元及用于产生增强的电音频信号的方法
WO2022059362A1 (ja) 情報処理装置、情報処理方法および情報処理システム
JP2020086027A (ja) 音声再生システムおよびプログラム
TW202314684A (zh) 對來自多個麥克風的音訊信號的處理
JP7361460B2 (ja) コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法
JP2004072354A (ja) 音声会議システム
WO2024232229A1 (ja) 情報処理装置及び情報処理方法
JP2019537071A (ja) 分散したマイクロホンからの音声の処理
US20240111482A1 (en) Systems and methods for reducing audio quality based on acoustic environment
JP7293863B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP2002304191A (ja) 鳴き声による音声ガイドシステム
TW202314478A (zh) 音訊事件資料處理
JP2011199764A (ja) 発言者音声抽出システム、発言者音声抽出装置及び発言者音声抽出プログラム
JP2005122023A (ja) 高臨場感音響信号出力装置、高臨場感音響信号出力プログラムおよび高臨場感音響信号出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13817541

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524672

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013817541

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14413024

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE