[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015151130A1 - 音声処理装置、音声処理システム、及び音声処理方法 - Google Patents

音声処理装置、音声処理システム、及び音声処理方法 Download PDF

Info

Publication number
WO2015151130A1
WO2015151130A1 PCT/JP2014/001898 JP2014001898W WO2015151130A1 WO 2015151130 A1 WO2015151130 A1 WO 2015151130A1 JP 2014001898 W JP2014001898 W JP 2014001898W WO 2015151130 A1 WO2015151130 A1 WO 2015151130A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
unit
data
audio
predetermined
Prior art date
Application number
PCT/JP2014/001898
Other languages
English (en)
French (fr)
Inventor
岸本　倫典
泰章 渡邊
高桑　誠
中村　学
秀樹 首藤
田村　健二
龍次 山崎
寛夫 齊藤
明寛 秋山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201480044954.0A priority Critical patent/CN105474665A/zh
Priority to PCT/JP2014/001898 priority patent/WO2015151130A1/ja
Priority to JP2015526798A priority patent/JPWO2015151130A1/ja
Publication of WO2015151130A1 publication Critical patent/WO2015151130A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • the present invention relates to a voice processing device, a voice processing system, and a voice processing method.
  • a monitoring system is used to monitor the situation of a factory, a store, or a public place in a specific room or a remote place.
  • the monitoring system includes, for example, a camera that picks up an image, a microphone that picks up sound, and a recorder device that stores predetermined data (for example, picked-up images and picked-up sound).
  • predetermined data for example, picked-up images and picked-up sound.
  • a system for an omnidirectional camera and a microphone array is known.
  • This system uses an array microphone formed by a plurality of microphones, extracts only sound from a specific direction by filtering, and forms a beam (see, for example, Patent Document 1).
  • the audio data collected using the array microphone may contain various useful information.
  • the use of audio data and image data is insufficient, and it is expected to improve the convenience of users who use the monitoring system.
  • the present invention has been made in view of the above circumstances, and provides an audio processing device, an audio processing system, and an audio processing method that can promote the utilization of audio data and image data and improve convenience.
  • An audio processing apparatus includes a data acquisition unit that acquires audio data collected by a sound collection unit including a plurality of microphones and image data captured by an imaging unit, and a display based on the image data.
  • a voice signal in the audio data in a plurality of directions designated by the designation unit and a plurality of directions designated by the designation unit corresponding to a designated place on the image to be specified.
  • a directivity processing unit is included in a data acquisition unit that acquires audio data collected by a sound collection unit including a plurality of microphones and image data captured by an imaging unit, and a display based on the image data.
  • a voice signal in the audio data in a plurality of directions designated by the designation unit and a plurality of directions designated by the designation unit corresponding to a designated place on the image to be specified.
  • a sound processing system including a sound collection device including a sound collection unit that collects sound using a plurality of microphones, an image pickup device including an image pickup unit that picks up an image, and the sound collection unit.
  • An audio processing device that processes the collected audio data, and the audio processing device acquires the audio data picked up by the sound pickup unit and the image data picked up by the image pickup unit Corresponding to a designated location on the image displayed based on the image data, a designation unit that designates a plurality of directions with reference to the sound collection unit, and a plurality of directions designated by the designation unit, A directivity processing unit that emphasizes a voice component in the voice data.
  • an audio processing method comprising: acquiring audio data collected by a sound collection unit including a plurality of microphones; and image data captured by an imaging unit; Designating a plurality of directions based on the sound collection unit corresponding to a designated location on the image displayed based on the step, emphasizing audio components in the audio data in the designated directions, Have
  • FIG. 1 The block diagram which shows the structural example of the monitoring system in 1st Embodiment.
  • the top view which shows an example of the arrangement
  • the flowchart which shows the operation example of the monitoring control apparatus in 1st Embodiment.
  • Overview diagram of directivity processing in the first embodiment Overview diagram of monitoring system in second embodiment
  • the block diagram which shows the structural example of the monitoring system in 2nd Embodiment.
  • the flowchart which shows the operation example of the monitoring control apparatus in 2nd Embodiment.
  • FIG. 1 is a schematic diagram of a monitoring system 100 according to the first embodiment.
  • an array microphone 10 Array microphones
  • a camera 20 a monitoring control device 30 are connected via a wired or wireless network 50.
  • the array microphone 10 is an example of a sound collection unit and a sound collection device.
  • the camera 20 is an example of an imaging unit and an imaging device.
  • the monitoring control device 30 is an example of a voice processing device.
  • the monitoring system 100 is an example of a voice processing system.
  • the array microphone 10 includes a plurality of microphones 11 (11A, 11B, 11C,...), Collects sounds around the array microphone 10, and obtains audio data.
  • the camera 20 captures a predetermined area that can be captured by the camera 20 and obtains image data.
  • the image data includes, for example, a moving image or a still image.
  • the monitoring control device 30 performs various processes related to monitoring according to the sound collection result by the array microphone 10 and the imaging result by the camera 20.
  • one camera 20 and 16 microphones 11 (11A, 11B, 11C,...) Included in the array microphone 10 are integrally incorporated in the unit housing 91 and stored.
  • a sound unit 90 is formed. Note that the number of microphones in the array microphone 10 may be 15 or less, or 17 or more. Further, the array microphone 10 and the camera 20 may be formed separately without forming the sound collection unit 90.
  • the camera 20 is disposed, for example, in a substantially central portion of the unit casing 91 with the center in the imaging direction (optical axis direction) vertically downward.
  • the plurality of microphones 11 are arranged at a constant interval on one circumference so as to surround the periphery of the camera 20 along the installation surface of the unit housing 91.
  • the plurality of microphones 11 may be arranged not on the circumference but on a rectangle, for example.
  • the arrangement relationship and arrangement shape of the camera 20 and the plurality of microphones 11 are examples, and other arrangement relationships and arrangement shapes may be used.
  • the camera 20 is configured to be able to simultaneously image a wide range (for example, omnidirectional) subjects, for example.
  • Each microphone 11 is configured to be able to detect sound waves coming from a wide range (for example, all directions), for example.
  • FIG. 2 is a block diagram illustrating a configuration example of the monitoring system 100.
  • the monitoring system 100 includes an array microphone 10, a camera 20, and a monitoring control device 30.
  • the array microphone 10, the camera 20, and the monitoring control device 30 are connected via a network 50 in a state where data communication is possible. Further, for example, a monitor 61, a touch panel 62, and a speaker 63 are connected to the monitoring control device 30.
  • FIG. 2 The configuration of FIG. 2 is assumed, for example, when the image and sound are monitored in real time, and the image data and sound data are recorded by the monitoring control device 30.
  • the image data may be recorded by the camera 20, the audio data may be recorded by the array microphone 10, and the image data and audio data may be referred to after recording.
  • the microphones other than the three microphones 11A to 11C have the same configuration and function as the microphones 11A to 11C.
  • the array microphone 10 is formed by regularly arranging a plurality of microphones 11A, 11B, and 11C in a close proximity to each other (for example, on the circumference).
  • the microphones 11A to 11C are converters that convert sound into electrical signals (sound data).
  • the plurality of microphones 11A, 11B, and 11C may not be regularly arranged. Even in this case, for example, information on the positions of the microphones 11A to 11C may be held in the monitoring system 100 and subjected to directivity processing.
  • the amplifiers 12A to 12C, A / D converters (ADC: Analog to Digital Converter) 13A to 13C, and audio encoders 14A to 14C are connected to the outputs of the microphones 11A to 11C.
  • a network processing unit 15 is connected to the outputs of the audio encoders 14A to 14C.
  • the microphones 11A to 11C generate audio data corresponding to acoustic vibrations input from various directions.
  • This audio data is analog audio data.
  • the amplifiers 12A to 12C amplify audio data output from the microphones 11A to 11C.
  • the A / D converters (ADC) 13A to 13C periodically sample the audio data output from the amplifiers 12A to 12C, and convert the audio data into digital data.
  • the audio encoders 14A to 14C encode the audio data (the time series change of the waveform of the audio data) output from the A / D converters 13A to 13C, and generate audio data in a predetermined format suitable for transmission.
  • the “voice” in the present embodiment may include, for example, a general acoustic or noise component generated by mechanical vibration, in addition to voice obtained by human speech.
  • “voice” may include, for example, voice other than the voice to be monitored. That is, the acoustic signal collected by the microphones 11A to 11C may be described as “voice” without distinguishing the type of acoustic.
  • the network processing unit 15 acquires the voice data generated by the voice encoders 14A to 14C and sends the voice data to the network 50.
  • the audio encoders 14A to 14C generate independent audio data for the audio collected by the microphones 11A to 11C. Therefore, the network processing unit 15 sends the audio data of a plurality of channels corresponding to the microphones 11A to 11C to the network 50.
  • the camera 20 includes a lens 21, a sensor 22, an image encoder 23, and a network processing unit 24.
  • the lens 21 is, for example, an omnidirectional lens or a fisheye lens.
  • the sensor 22 is an imaging device and includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the sensor 22 generates image data according to the light image of the subject that is incident on the imaging surface of the sensor 22 via the lens 21.
  • the image encoder 23 sequentially processes the image data output from the sensor 22 and generates image data conforming to a predetermined standard.
  • the network processing unit 24 sends the image data generated by the image encoder 23 to the network 50.
  • the monitoring control device 30 is, for example, a PC (Personal Computer).
  • the monitoring control device 30 includes, for example, a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the monitoring control device 30 includes, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory).
  • the monitoring control device 30 realizes various functions by executing a control program (for example, an application program or an active X format program) recorded in the ROM or RAM by the CPU or the DSP, for example.
  • a control program for example, an application program or an active X format program
  • the ROM or RAM forms a memory (not shown).
  • the monitoring control device 30 includes a network processing unit 31, an image decoder 32, an image output unit 33, an image recognition unit 34, a collected sound coordinate designation unit 35, an audio decoder 36, and a directivity processing unit 37.
  • the monitoring control device 30 includes a sound collection angle calculation unit 38, a detection unit 39, a sound source estimation unit 40, a voice synthesis unit 41, a voice output unit 42, and a data recording unit 43.
  • the network processing unit 31 performs data communication with the array microphone 10 and the camera 20 via the network 50. Through the data communication, the network processing unit 31 acquires audio data of a plurality of channels from the array microphone 10 and acquires image data from the camera 20.
  • the network processing unit 31 is an example of a data acquisition unit.
  • the network processing unit 31 may directly acquire the audio data transmitted from the array microphone 10 and the image data transmitted from the camera 20 from the array microphone 10 and the camera 20.
  • the network processing unit 31 may read out and acquire audio data or image data (at least audio data) recorded in the data recording unit 43 from the data recording unit 43 at an arbitrary time.
  • the network processing unit 31 may cause the data recording unit 43 to record audio data or image data directly acquired from the array microphone 10 and the camera 20 at an arbitrary time.
  • the image decoder 32 decodes the image data from the network processing unit 31 and generates reproducible image data.
  • the image output unit 33 converts the image data from the image decoder 32 into image data in a format that can be displayed on the monitor 61, and sends the image data to the monitor 61. Further, the image output unit 33 may control display on the monitor 61. The image output unit 33 may send image data corresponding to the detection information from the detection unit 39 to the monitor 61.
  • the monitor 61 displays various image data.
  • the monitor 61 displays an image according to the image data from the image output unit 33, for example.
  • an image captured by the camera 20 is displayed on the monitor 61.
  • the monitor 61 is an example of a presentation unit.
  • the image recognition unit 34 performs predetermined image processing on the image data from the image output unit 33, and recognizes, for example, whether or not the images match various patterns registered in advance in a memory (not shown). May be. For example, pattern matching processing is executed, and a pattern similar to a predetermined person or a predetermined person's face is extracted from various objects included in the image. A pattern of an object other than a person may be extracted.
  • the image recognition unit 34 may identify, for example, the type of object (for example, a person, a man, or a woman) included in the image data. Further, the image recognition unit 34 may have a VMD (Video Motion Detector) function and detect the presence or absence of motion in the image data.
  • VMD Video Motion Detector
  • the sound pickup coordinate designating unit 35 receives a plurality of inputs from the touch panel 62 or the image recognition unit 34, for example, and derives a plurality of coordinates corresponding to the input position or the input range. For example, in the image displayed on the screen of the monitor 61, the coordinates of a plurality of positions (for example, reference numerals P1 and P2 in FIG. 1) to be noted by the operator 60 are received as a plurality of sound collecting coordinates (x, y). .
  • the sound collection coordinate designating unit 35 designates a plurality of directions based on the sound collection unit (for example, the array microphone 10) corresponding to a designated portion (for example, sound collection coordinates) on the image displayed based on the image data. It is an example of a part.
  • the operator 60 operates the touch panel 62 while watching the monitor 61, for example.
  • the operator 60 moves the position of a pointer (not shown) displayed on the screen in accordance with a moving operation (for example, a drag operation) on the touch panel 62, so that the sound pickup coordinates can be changed in the display range on the screen.
  • a moving operation for example, a drag operation
  • the operator 60 touches the touch panel 62, the coordinates of the pointer are given to the sound collection coordinate designating unit 35 as sound collection coordinates.
  • the operator 60 is an example of a monitor who monitors using the monitoring system 100.
  • the sound pickup coordinates may be designated using an input means other than the touch panel 62.
  • a mouse may be connected to the monitoring control device, and the operator 60 may touch a desired image range using the mouse.
  • the image recognition unit 34 recognizes that a pre-registered pattern is included in the image data
  • the image recognition unit 34 has a plurality of positions (for example, symbols P1 and P2 in FIG. 1) on the monitor 61 where the recognized pattern exists.
  • the coordinates may be given to the sound collecting coordinate designating unit 35 as sound collecting coordinates.
  • the recognized pattern is, for example, the entire person or the face of the person.
  • the audio decoder 36 receives and decodes multiple channels of audio data from the network processing unit 15.
  • audio decoders that process audio data of a plurality of channels may be provided independently. In this case, multiple channels of audio data collected by each of the microphones 11A to 11C of the array microphone 10 can be processed simultaneously.
  • the sound collection angle calculation unit 38 derives (for example, calculates) the sound collection angle ⁇ that represents the directionality of the array microphone 10 based on the sound collection coordinates determined by the sound collection coordinate designating unit 35.
  • the sound collection angle ⁇ derived by the sound collection angle calculation unit 38 is input as a parameter of the directivity processing unit 37.
  • the sound collection coordinates and the sound collection angle ⁇ correspond one-to-one, and a conversion table including the correspondence information may be stored in a memory (not shown).
  • the sound collection angle calculation unit 38 may derive the sound collection angle ⁇ with reference to this conversion table.
  • the directivity processing unit 37 acquires information on the sound collection angle ⁇ from the sound collection angle calculation unit 38 and sound data from the sound decoder 36.
  • the directivity processing unit 37 synthesizes audio data of a plurality of channels output from the audio decoder 36 according to a sound collection angle ⁇ according to a predetermined algorithm to form directivity (directivity processing).
  • the directivity processing unit 37 increases the signal level of the sound component in the direction (directivity direction) of the place (attention point) where the person to be monitored exists, and decreases the signal level of the sound component in the other direction. .
  • the directivity processing unit 37 outputs the plurality of sound data subjected to directivity processing to the detection unit 39 and the speech synthesis unit 41.
  • the directivity processing unit 37 may perform directivity processing according to the position of the sound source (for example, a monitoring target person or abnormal sound) estimated by the sound source estimation unit 40.
  • the directivity processing unit 37 may acquire, for example, information on the estimated position of the sound source from the sound source estimation unit 40 a plurality of times, and change (for example, switch) the directionality of the directivity each time it is acquired. Thereby, even when the sound source moves, the position of the sound source can be tracked and monitored. That is, in tracking the position of the sound source, directivity is directed to the estimated position of the sound source.
  • the detecting unit 39 acquires a plurality of audio data that has been subjected to the directivity processing by the directivity processing unit 37.
  • the audio data includes, for example, first audio data in which the audio component in the first directivity direction is emphasized and second audio data in which the audio component in the second directivity direction is emphasized.
  • the detection unit 39 detects a monitoring target sound (an example of a predetermined sound) from at least one of the plurality of acquired sound data. That is, the detection unit 39 has a function as a sound detection unit.
  • the enhancement of the sound component is, for example, using an array microphone formed by a plurality of microphones and extracting only sound from a specific direction by filtering.
  • the detection unit 39 performs various processes when the monitoring target sound is detected. Details of the detection unit 39 will be described later.
  • the detection unit 39 is an example of a processing unit that performs a predetermined process when a monitoring target sound is detected.
  • the sound source estimation unit 40 acquires the audio data from the audio decoder 36 and estimates the position of the sound source that emits the monitoring target sound detected by the detection unit 39.
  • the sound source is, for example, a person who is talking, a person who makes a sound, a specific person (male, female), an object (for example, an emergency vehicle), a source of abnormal sound (for example, an emergency bell, a siren), or a specific environment Includes a wide range of sound sources and other sound sources.
  • the sound source estimation unit 40 is an example of an estimation unit.
  • the sound source estimation unit 40 estimates the position of the sound source by, for example, a known sound source estimation technique.
  • the estimation result of the position of the sound source by the sound source estimation unit 40 is used, for example, for tracking abnormal sound and switching directivity by the directivity processing unit 37.
  • the sound source estimation unit 40 may output the estimation result of the position of the sound source to the image output unit 33 or the audio output unit 42, for example.
  • the image output unit 33 or the audio output unit 42 presents the estimation result of the position of the sound source, so that the operator 60 can easily grasp the position of the sound source.
  • the voice synthesizer 41 acquires a plurality of voice data subjected to directivity processing from the directivity processor 37 and synthesizes the plurality of voice data.
  • the voice synthesizer 41 may synthesize voice data by simply adding the signal levels of a plurality of acquired voice data, and output the synthesized voice data to the voice output unit 42.
  • the voice synthesizer 41 has, for example, a voice switch, selects voice data having a signal level of voice data equal to or higher than a predetermined level or voice data having the maximum signal level, and passes the selected voice data to the voice output unit 42. Good.
  • the audio output unit 42 converts, for example, audio data from the audio synthesis unit 41 from digital audio data to analog audio data, amplifies the audio data, and supplies the amplified audio data to the speaker 63.
  • Speaker 63 outputs a sound corresponding to the audio data from the audio output unit 42. Therefore, the operator 60 can listen to the sound obtained by processing the audio data collected by the array microphone 10 from the speaker 63.
  • the speaker 63 is an example of a presentation unit.
  • the data recording unit 43 includes, for example, an HDD (Hard Disk Drive) and an SSD (Solid State Drive), and may sequentially record audio data or image data of a plurality of channels acquired by the network processing unit 31.
  • the data recording unit 43 records the generation time of the audio data and the generation time of the image data in association with each other.
  • the generation time information may be recorded together with audio data or image data.
  • the data recording unit 43 may be provided inside the monitoring control device 30 or may be provided as an external recording medium outside the monitoring control device 30.
  • the data recording unit 43 records information on a search tag for searching for recorded audio data or image data, for example.
  • the search tag recorded in the data recording unit 43 is appropriately referred to by other components in the monitoring control device 30.
  • the detecting unit 39 detects the sound data as the monitoring target sound.
  • the threshold information to be compared with the signal level of the audio data is held in a memory (not shown), for example.
  • the signal level of the audio data is equal to or lower than the second predetermined threshold, for example, there is a case where an operating sound of the machine is generated, but this machine stops and the operating sound disappears.
  • the detecting unit 39 detects, for example, an abnormal sound included in the sound data subjected to directivity processing as a monitoring target sound.
  • an abnormal sound pattern is stored in a memory (not shown), and the detection unit 39 detects the abnormal sound when the sound data includes the abnormal sound pattern.
  • the detecting unit 39 detects, for example, a predetermined keyword included in the sound data subjected to directivity processing as the monitoring target sound.
  • keyword information is stored in a memory (not shown), and the detection unit 39 detects the keyword when the voice data includes the keyword recorded in the memory.
  • a keyword for example, a known voice recognition technique may be used. In this case, the detection unit 39 has a known voice recognition function.
  • the monitoring target sound may be set in advance.
  • the detection unit 39 may set at least one of a sound whose signal level is equal to or higher than a first predetermined threshold value or lower than a second predetermined threshold value, an abnormal sound, and a keyword as the monitoring target sound.
  • This setting information is stored in a memory (not shown), for example.
  • the detection unit 39 When detecting the monitoring target sound, the detection unit 39 sends information indicating that the monitoring target sound has been detected (detection information) to at least one of the image output unit 33 and the audio output unit 42.
  • the detection information includes, for example, an abnormal sound, a sound having a signal level equal to or higher than a first predetermined threshold or lower than a second predetermined threshold, and warning information (alarm) indicating that a predetermined keyword has been detected.
  • the detection unit 39 when detecting the monitoring target sound, sends predetermined information to the data recording unit 43.
  • the detection unit 39 may send information about the search tag to the data recording unit 43 and hold it.
  • the search tag is a tag for searching the data recording unit 43 for audio data including the monitoring target sound or image data corresponding to the audio data.
  • the search tag may be recorded in the data recording unit 43 at the same timing as, for example, audio data or image data acquired in real time.
  • the search tag may be recorded in the data recording unit 43 in association with, for example, audio data or image data already recorded in the data recording unit 43.
  • the image decoder 32 or the audio decoder 36 records the audio data or image data recorded in the data recording unit 43.
  • data that matches or corresponds to the search tag is searched and acquired. Therefore, for example, even when audio data or image data is recorded or recorded for a long time, the search time can be shortened.
  • the operator 60 may select a specific search tag from a list in which a plurality of search tags are arranged in time series, for example, via the touch panel 62.
  • the operator 60 may select specific search tags in order from the search tag having the oldest generation time or the latest generation time.
  • the operator 60 may select, as a specific search tag, a search tag generated at a time corresponding to a time measured by a clock unit (not shown) via the touch panel 62, for example.
  • the image decoder 32 or the audio decoder 36 searches for and acquires data that matches or corresponds to the specific search tag from the audio data or image data recorded in the data recording unit 43.
  • the list is recorded in the data recording unit 43, for example.
  • the search tag includes, for example, information on the time when the monitoring target sound is detected by the detection unit 39.
  • the search tag includes, for example, information on the direction (directivity direction) of the sound source in which the monitoring target sound is generated.
  • the search tag includes, for example, information on the type of sound to be monitored (abnormal sound, sound including a keyword, sound having a signal level equal to or higher than a predetermined threshold or lower than a predetermined threshold).
  • the type of sound is determined by the detection unit 39 using a known voice recognition technique, for example.
  • the search tag includes, for example, information on the presence / absence or direction of movement of the sound source of the monitoring target sound detected by the VMD function.
  • the sound source from which the presence / absence of motion is detected is included in, for example, image data captured by the camera 20 at the time or time when the monitoring target sound is generated.
  • the information detected by the VMD function is sent from the image recognition unit 34 to the detection unit 39 every time motion is detected, for example.
  • the search tag includes, for example, information on the type of sound source of the monitoring target sound recognized by the image recognition unit 34.
  • the image data in which the type of the sound source is recognized is, for example, image data captured by the camera 20 at the generation time or generation time zone of the monitoring target sound.
  • Information on the type of the sound source is sent from the image recognition unit 34 to the detection unit 39.
  • the search tag includes, for example, a thumbnail image (still image).
  • the thumbnail image is, for example, at least a part of the image data captured by the camera 20 at the generation time or generation time zone of the monitoring target sound.
  • the thumbnail image is sent from the image recognition unit 34 to the detection unit 39.
  • the detecting unit 39 may start recording or recording audio data or image data received by the network processing unit 31 when detecting the monitoring target sound.
  • the network processing unit 31 temporarily stores audio data or image data for a predetermined period (for example, 30 seconds), and when the detection target sound is not detected by the detection unit 39, the network processing unit 31 Discard the image data.
  • the detection unit 39 instructs the network processing unit 31 to record the audio data or the image data in the data recording unit 43 including the audio data or the image data that is temporarily stored. Control (pre-recording, pre-recording).
  • the data recording unit 43 records audio data or image data from the network processing unit 31. Pre-recording and pre-recording may be terminated after a predetermined time has elapsed.
  • the detection unit 39 may delete the voice data including the keyword without recording it in the data recording unit 43.
  • the detection unit 39 may delete the portion of the keyword from the sound data, or may replace it with a sound other than the keyword.
  • the detection unit 39 may cause the data recording unit 43 to record voice data from which the keyword portion has been deleted or replaced. Thereby, confidential information and privacy can be protected when the keyword is information to be concealed.
  • Such processing related to keyword deletion or replacement is also referred to as “keyword processing”.
  • the keyword processing may be performed on the audio data recorded in the data recording unit 43.
  • the detecting unit 39 may instruct the directivity processing unit 37 to switch the direction of directivity when the monitoring target sound is detected.
  • the directivity processing unit 37 may switch the directivity direction to a predetermined direction. For example, information on a plurality of points (point A, point B) included in the imageable range of the camera 20 is registered in advance in a memory (not shown).
  • the directivity processing unit 37 may switch the directivity direction from the direction of the point A to a direction other than the point A (for example, the point B).
  • the detection unit 39 may record voice data including the keyword in the data recording unit 43.
  • This recording may include pre-recording and pre-recording.
  • FIG. 3 is a schematic diagram illustrating an example of an arrangement state of the array microphone 10, the camera 20, and each sound source.
  • the sound collection unit 90 is fixed to the indoor ceiling surface 101.
  • the plurality of microphones 11A to 11C included in the array microphone 10 are arranged along the ceiling surface 101 (installation surface of the sound collection unit 90).
  • Reference sign PA indicates a sound source.
  • the sound collection unit 90 is attached to the ceiling surface 101 so that the reference direction of the array microphone 10 and the reference direction (for example, the optical axis direction) of the camera 20 coincide.
  • the horizontal direction and the vertical direction with respect to the reference direction of the array microphone 10 coincide with the horizontal direction and the vertical direction with respect to the reference direction of the camera 20.
  • the horizontal direction is the x-axis direction and the y-axis direction
  • the vertical direction is the z-axis direction.
  • the reference direction of the array microphone 10 is, for example, the arrangement direction in which the microphones 11 in the array microphone 10 are arranged.
  • the sound collection angle ⁇ is an angle formed by the reference direction of the array microphone 10 and the directivity direction.
  • the horizontal component of the sound collection angle ⁇ formed by the reference direction of the array microphone 10 and the directivity direction is the horizontal angle ⁇ h.
  • the vertical component of the sound collection angle ⁇ formed by the reference direction of the array microphone 10 and the vertical direction of directivity is the vertical angle ⁇ v.
  • the horizontal direction along the arrangement plane (xy plane) can be in any direction.
  • the frequency characteristics of audio data are the same. Therefore, in the example of FIG. 3, the sound collection angle ⁇ substantially depends on the vertical angle ⁇ v. Therefore, in the following description, the description will be made mainly without considering the horizontal angle ⁇ h as the sound collection angle ⁇ .
  • the sound collection angle ⁇ (vertical angle ⁇ v) of the array microphone 10 in the sound collection unit 90 has a direction (x axis, y axis) parallel to the arrangement surface of the microphones 11A to 11C and directivity. This is the angle between the direction of maximum sensitivity.
  • the microphones 11A to 11C pick up sounds coming toward the microphones 11A to 11C. Further, the camera 20 images, for example, all directions around the camera 20 with the direction directly below (z-axis direction) as a reference direction (optical axis direction).
  • the sound collection target by the array microphone 10 or the image pickup target by the camera 20 may be limited to a part of the direction instead of all directions.
  • the array microphone 10 or the monitoring control device 30 synthesizes the sound data collected in a state where the sound collection target is limited in some directions, and the same sound data as when the sound collection target is omnidirectional. May be generated.
  • the camera 20 or the monitoring control device 30 synthesizes image signals captured in a state where the imaging target is limited in some directions, and generates an image signal similar to that when the imaging target is omnidirectional. Also good.
  • the horizontal angle ⁇ h may be considered.
  • directivity may be formed according to, for example, a three-dimensional (x, y, z) position or direction.
  • FIG. 4 is a flowchart illustrating an operation example of the monitoring control device 30.
  • FIG. 4 shows an example of real-time operation.
  • the real-time operation is, for example, an operation when the operator 60 monitors the audio data collected by the array microphone 10 and the image captured by the camera 20 in real time using the monitoring control device 30.
  • the network processing unit 31 receives the image data sent from the camera 20 via the network 50. Further, the network processing unit 31 receives the multi-channel audio data transmitted from the array microphone 10 via the network 50 (S11).
  • the image data received by the network processing unit 31 is decoded by the image decoder 32 and sent to the image output unit 33.
  • the image output unit 33 outputs the decoded image data to the monitor 61, and controls the monitor 61 to display an image (S12).
  • the network processing unit 31 may cause the data recording unit 43 to record image data and audio data.
  • the sound collection coordinate designating unit 35 accepts a plurality of coordinate inputs from the touch panel 62, for example (S13).
  • the operator 60 visually recognizes the display position of the image displayed on the monitor 61 and operates the touch panel 62 to designate an image range to be noted.
  • the sound collection coordinate designating unit 35 derives sound collection coordinates corresponding to the designated image range. For example, the operator 60 touches the position of a specific person (for example, reference numerals P1 and P2 in FIG. 1) included in the image displayed on the monitor 61, so that the sound collection coordinate designating unit 35 has a plurality of sound collection points. Get the coordinates.
  • the image range is an example of a monitoring area that should be monitored by a monitor.
  • the sound collection coordinate designating unit 35 instead of designating the image range by the operator 60, the image recognition unit 34 recognizes a plurality of predetermined patterns from the image, and acquires a plurality of coordinates where the predetermined pattern exists as sound collection coordinates. May be.
  • the sound collection angle calculation unit 38 derives the sound collection angle ⁇ by referring to, for example, a conversion table or performing a known calculation process based on the sound collection coordinates acquired by the sound collection coordinate designating unit 35 ( S14).
  • the plurality of sound collection angles ⁇ derived by the sound collection angle calculation unit 38 are input to the directivity processing unit 37.
  • the directivity processing unit 37 derives parameters for directivity processing of the array microphone 10 according to the sound collection angle ⁇ . Then, the directivity processing unit 37 performs directivity processing on the audio data from the audio decoder 36 using the derived parameters (S15). Thereby, in the sound data output from the directivity processing unit 37, for example, the sound collection sensitivity of the array microphone 10 is maximized with respect to the direction of the sound collection angle ⁇ .
  • the detection unit 39 detects a monitoring target sound (for example, an abnormal sound, a predetermined keyword, a sound having a signal level equal to or higher than the first predetermined threshold value or lower than the second predetermined threshold value) from the directivity-processed audio data. Detect (S16). It waits in S16 until the monitoring target sound is detected.
  • a monitoring target sound for example, an abnormal sound, a predetermined keyword, a sound having a signal level equal to or higher than the first predetermined threshold value or lower than the second predetermined threshold value
  • the image recognition unit 34 recognizes the image data including the detected sound source of the monitoring target sound, for example, and types of the sound source of the monitoring target sound (for example, human, male, female, object, other sound sources) May be identified (S17). Thereby, since the operator 60 can easily determine whether or not to monitor according to the type of the sound source, the burden on the operator 60 can be reduced, and the monitoring accuracy can be improved.
  • the image recognition unit 34 may detect the movement of the sound source of the monitoring target sound using, for example, the VMD function (S17). As a result, the operator 60 can easily focus on the movement of the sound source, so that the burden on the operator 60 can be reduced and the monitoring accuracy can be improved.
  • the image recognition unit 34 may send the result of image recognition (for example, information on the type of the sound source of the monitoring target sound and information on the movement of the sound source of the monitoring target sound) to the detection unit 39.
  • process of S17 may be omitted.
  • information on whether or not to omit the process of S17 may be set by the user via the touch panel 62, or a control unit (not shown) may be set according to the monitoring level.
  • Information about whether or not to omit the processing of S17 is held in a memory (not shown), for example.
  • the monitoring control device 30 performs a predetermined process (action) according to at least one of the detection result by the detection unit 39 and the image recognition result by the image recognition unit 34 (S18).
  • the detection unit 39 when the monitoring target sound is detected, the type of the sound source is identified, or the movement of the sound source is detected, that is, when a monitoring trigger is generated, the detection unit 39 notifies the warning information by an image.
  • the image output unit 33 may be instructed to do so.
  • the detection unit 39 may instruct the voice output unit 42 to notify the warning information by voice (S18). Further, the detection unit 39 may cause different warning sounds and warning information to be displayed according to the type of the monitoring trigger.
  • the operator 60 of the monitoring control device 30 can easily recognize the occurrence of the monitoring target sound, reduce the burden on the operator 60, and improve the monitoring accuracy.
  • the detection unit 39 may record information on the search tag in the data recording unit 43 (S18).
  • the detection unit 39 may record information on the search tag in the data recording unit 43 (S18).
  • the detection unit 39 may instruct the network processing unit 31 to perform at least one of pre-recording and pre-recording (S18).
  • pre-recording and pre-recording S18
  • the use efficiency of the data recording unit 43 can be improved by not recording or recording the data in the data recording unit 43.
  • audio data or image data at the time when the monitoring trigger occurs can be reliably recorded, and can be confirmed as a verification material in the future, for example.
  • the detection unit 39 may process the keyword (S18). Thereby, even when the keyword is confidential information, the confidential information can be protected. Further, when recording voice data including a keyword by deleting or replacing the keyword, the voice data can be stored while protecting confidential information.
  • the detection unit 39 may instruct the directivity processing unit 37 to switch the direction of directivity (S18).
  • the directivity processing unit 37 may switch the direction of directivity (S18).
  • the sound source estimation unit 40 estimates the position of the sound source of the monitoring target sound (S19). Thereby, the monitoring accuracy by the operator 60 can be improved.
  • the directivity processing unit 37 acquires information on the position of the sound source of the monitoring target sound estimated from the sound source estimation unit 40 at a predetermined timing (for example, every predetermined time), and directivity is set to the position of the sound source.
  • the direction of directivity is switched so as to face (S20).
  • the operator 60 can simultaneously monitor the image and sound in the current monitoring area via the monitor 61 and the speaker 63.
  • a plurality of arbitrary monitoring areas can be designated as a monitoring target. Further, by performing various processes according to the detection of the monitoring target sound, the usability of the audio data is increased and the convenience can be improved.
  • FIG. 5 is a schematic diagram illustrating a basic configuration example related to directivity processing.
  • the directivity processing unit 37 includes a plurality of delay units 37bA, 37bB, 37bC and an adder 37c, and directivity may be formed by these processes.
  • Analog audio data output from the microphones 11A to 11C is converted into digital audio data by the A / D converters 13A, 13B, and 13C, and the directivity processing unit 37 performs directional processing on the converted digital audio data.
  • the number of microphones included in the array microphone 10 (n), the number of A / D converters (n), and the number of delay units included in the directivity processing unit 37 (n) are increased or decreased as necessary.
  • the sound source 80 is a sound source of the monitoring target sound, for example.
  • each of the plurality of audio data is given a time delay by the delay units 37bA to 37bC to adjust the phase, and the audio data whose phases are adjusted are added by the adder 37c. Thereby, a plurality of audio data having the same phase are added, and the signal level is increased.
  • the arrival time difference changes according to the arrival direction (corresponding to the sound collection angle ⁇ ) of the sound wave incident on the housing incident surface 121 of the array microphone 10 from the sound source 80.
  • the plurality of microphones 11A to 11C detect sound waves coming from a specific direction ( ⁇ )
  • the phases of the plurality of sound data input to the adder 37c match, and the sound data output from the adder 37c
  • the signal level increases.
  • a phase difference occurs in a plurality of audio data input to the adder 37c, and the signal level of the audio data output from the adder 37c is attenuated. Therefore, the directivity of the array microphone 10 can be formed so that the sensitivity is increased with respect to the sound wave coming from the specific direction ( ⁇ ).
  • the delay times D1, D2, and D3 represented by (Equation 1) correspond to the delay devices 37bA, 37bB, and 37bC. Assigned as delay time.
  • L1 Difference in sound wave distance between the first microphone and the nth microphone (known constant)
  • L2 Difference in sound wave distance between the second microphone and the nth microphone (known constant)
  • L3 Difference in sound wave arrival distance between the third microphone and the nth microphone (known constant)
  • Vs speed of sound (known constant)
  • d Microphone arrangement interval (known constant)
  • Delay times D1 to D3 are assigned to the delay units 37bA, 37bB, and 37bC.
  • the directivity processing unit 37 acquires the delay times D1 to D3 based on the sound collection angle ⁇ from the sound collection angle calculation unit 38 and (Equation 1), and uses the delay times D1 to D3 as the delay units 37bA. Assign to ⁇ 37bC. Thereby, the sound data of the sound wave arriving at the housing incident surface 121 from the direction of the sound collection angle ⁇ can be emphasized, and the directivity of the array microphone 10 can be formed.
  • the assigned delay times D1 to D3 and known constants in (Expression 1) are stored in a memory (not shown) in the monitoring control device 30.
  • a plurality of monitoring area designations from the operator 60 of the monitoring control apparatus 30 are received, and directivity is directed in a direction corresponding to the monitoring area.
  • the monitoring control device 30 performs various processes, thereby promoting the utilization of audio data collected by the array microphone 10 and image data captured by the camera 20. Can improve convenience.
  • the monitoring system includes a recorder that records audio data or image data separately from the monitoring control device.
  • FIG. 6 is a schematic diagram of the monitoring system 100B in the embodiment. 6 and 1 are different in that the monitoring system 100B includes a recorder 70.
  • the recorder 70 is connected to the network 50.
  • the recorder 70 is an example of a storage device.
  • the recorder 70 stores, for example, audio data collected by the array microphone 10 and image data captured by the camera 20.
  • FIG. 7 is a block diagram showing a configuration example of the monitoring system 100B.
  • the same components as those of the monitoring system 100 shown in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • the monitoring system 100B includes an array microphone 10, a camera 20, a monitoring control device 30B, and a recorder 70.
  • the monitoring control device 30B does not include the data recording unit 43 as compared with the monitoring control device 30 shown in FIG. Instead of recording data to the data recording unit 43 or reading data from the data recording unit 43, the monitoring control device 30 ⁇ / b> B accesses the data recording unit 72 included in the recorder 70 to record data or read data from the data recording unit 72. .
  • the data is communicated via the network processing unit 31, the network 50 of the monitoring control device 30B, and the network processing unit 71 of the recorder 70.
  • the recorder 70 includes a network processing unit 71 and a data recording unit 72.
  • the recorder 70 includes, for example, a CPU, DSP, ROM, or RAM, and realizes various functions by executing a control program recorded in the ROM or RAM by the CPU or DSP.
  • the network processing unit 71 acquires, for example, audio data of a plurality of channels transmitted from the array microphone 10 or image data transmitted from the camera 20 via the network 50.
  • the network processing unit 71 sends, for example, audio data or image data recorded by the data recording unit 72 to the network 50.
  • the data recording unit 72 has the same configuration and function as the data recording unit 43 of the monitoring control device 30 shown in FIG. Further, the data recording unit 72 records data similar to the data recorded by the data recording unit 43 (for example, audio data, image data, search tag information).
  • the data recording unit 72 may record the received data in association with each other.
  • the data recording unit 72 Information may be recorded in association with audio data or image data.
  • the audio data, the image data, and the search tag information recorded in the data recording unit 72 are read from the data recording unit 72 and executed by, for example, a predetermined command by the CPU, and the network processing unit 71. And transmitted to the monitoring control device 30B via the network 50.
  • the data recording unit 72 matches the information recorded as the search tag with the received predetermined information or It is determined whether or not it corresponds. If the data recording unit 72 determines that the two match, the data recording unit 72 searches the audio data or image data associated with the search tag and sends the searched audio data or image data to the network 50.
  • the search tag recorded in the recorder 70 it is possible to easily search for audio data or image data recorded in the past, shorten the search time, and improve the convenience of the operator 60.
  • FIG. 8 is a flowchart illustrating an operation example of the monitoring control device 30B.
  • FIG. 8 shows an example of recorder output playback operation.
  • the recorder output reproduction operation example is, for example, an operation when the operator 60 analyzes past audio data and image signals recorded in the recorder 70 using the monitoring control device 30B.
  • steps that perform the same processing as the processing in FIG. 4 are given the same step numbers, and description thereof is omitted or simplified.
  • the monitoring control device 30B instructs the recorder 70 to read out specific image data and audio data recorded in the recorder 70, for example, in accordance with an input operation from the operator 60.
  • the specific image data and audio data are read from the recorder 70 and received by the network processing unit 31 via the network 50 (S21).
  • the operator 60 can simultaneously monitor images and sound in the past monitoring area via the monitor 61 and the speaker 63.
  • a plurality of arbitrary monitoring areas can be designated as a monitoring target. Further, by performing various processes according to the detection of the monitoring target sound, the usability of the audio data is increased and the convenience can be improved.
  • search tag is recorded in association with the recorded image data or audio data, for example, when searching for data related to the monitoring target sound later, it is possible to quickly search.
  • the usability of the audio data is increased and the convenience can be improved.
  • recorder output reproduction operation example of FIG. 8 can also be applied to an operation in the case of handling data recorded in the data recording unit 43 in the first embodiment.
  • the monitoring system 100B for example, in the image data recorded in the past, a plurality of monitoring area designations from the operator 60 of the monitoring control apparatus 30B are received, and directivity is directed in the direction corresponding to the monitoring area. Can monitor for abnormalities.
  • the monitoring control device 30B performs various processes, thereby promoting the utilization of audio data collected by the array microphone 10 and image data captured by the camera 20, and the operator 60 Can improve convenience.
  • the present invention is not limited to the configuration of the above-described embodiment, and any configuration can be used as long as the functions shown in the claims or the functions of the configuration of the present embodiment can be achieved. Is also applicable.
  • the array microphone 10 or the camera 20 may include some components related to the audio processing included in the monitoring control devices 30 and 30B.
  • the array microphone 10 includes, for example, a part of the image recognition unit 34, the sound collection coordinate specification unit 35, the sound collection angle calculation unit 38, the directivity processing unit 37, the detection unit 39, the sound source estimation unit 40, and the speech synthesis unit 41. You may have everything. Thereby, the processing load of the monitoring control apparatuses 30 and 30B can be reduced. In the case where the array microphone 10 has some components related to voice processing, necessary data is communicated as appropriate via the network 50 between the monitoring control devices 30 and 30B and the array microphone 10.
  • the array microphone 10 in which the plurality of microphones 11 are arranged at a constant interval on one circumference is illustrated, but the arrangement of the microphones 11 may be different. For example, they may be arranged in a line along a single direction (for example, the x-axis direction) at regular intervals. Further, they may be arranged in a cross shape at regular intervals along two directions (for example, the x-axis direction and the y-axis direction). Moreover, you may arrange
  • the monitoring control devices 30 and 30B may associate and preset the actual spatial monitoring range and the sound collection angle ⁇ of the array microphone 10 without using the camera 20. That is, the memory (not shown) of the monitoring control devices 30 and 30B may hold correspondence information between the monitoring range and the sound collection angle ⁇ . In this case, for example, when the user designates a plurality of predetermined monitoring ranges via the touch panel 62 or the like, the sound collection angle calculation unit 38 refers to the correspondence information held in the memory and derives a plurality of sound collection angles ⁇ . May be.
  • the sound collection angle may be directly designated by the user via the touch panel 62 or the like, and the designated data may be handled as data derived by the sound collection angle calculation unit 38. Thereby, a plurality of directivity directions can be determined without using the camera 20.
  • the monitoring systems 100 and 100B may be a system for monitoring using sound without using an image.
  • the configuration unit for realizing the function related to the camera 20 or the display may be omitted.
  • the sound collection unit 90 is exemplified as being fixed to the indoor ceiling surface 101.
  • the sound collection unit 90 may be fixed to another position (for example, an indoor wall surface).
  • a plurality of cameras 20 may be provided in the monitoring systems 100 and 100B.
  • the monitor 61, the touch panel 62, and the speaker 63 may be included in the monitoring control devices 30 and 30B.
  • a software keyboard for performing volume adjustment may be displayed on the monitor 61.
  • the software keyboard By operating the software keyboard with the touch panel 62, for example, the volume of voice data subjected to directivity processing can be adjusted.
  • control unit may correct the distortion of the audio data generated according to the environment in which the sound collection unit 90 is installed. Further, a control unit (not shown) may correct distortion generated in image data captured by the camera 20 (for example, a camera having a fisheye lens).
  • the sound collection coordinate designation unit 35 is touched again by the touch panel 62.
  • the monitoring area may be excluded from the monitoring target. That is, when the same position or region in the image data displayed on the monitor 61 is touched a plurality of times, the sound collection coordinate designating unit 35 ends the derivation of the sound collection coordinates, and directivity processing by the directivity processing unit 37 is performed. May be terminated.
  • the sound collection coordinate designating unit 35 may exclude a plurality of monitoring areas from the monitoring target at the same time.
  • the sound collection coordinate designating unit 35 may move the monitoring area when a drag operation is received while the monitoring area is touched by the touch panel 62.
  • the sound collection coordinate designating unit 35 may accept a plurality of movements of the monitoring area at the same time.
  • the monitoring systems 100 and 100B may include a plurality of sound collection units 90.
  • the sound collection units 90 may form image data in cooperation with each other to form sound data.
  • images captured by the cameras 20 of the sound collection units 90 may be displayed on the divided screens of the monitor 61 at the same time.
  • the supervisory control devices 30 and 30B use the voice data collected by each sound collecting unit 90 to perform directivity processing even when a drag operation is accepted across the plurality of divided screens by the touch panel 62 in each divided screen. May be performed. This drag operation may be received simultaneously in a plurality of different areas on the monitor 61, for example.
  • An audio processing device includes a data acquisition unit that acquires audio data collected by a sound collection unit including a plurality of microphones and image data captured by an imaging unit, and a display based on the image data.
  • a voice signal in the audio data in a plurality of directions designated by the designation unit and a plurality of directions designated by the designation unit corresponding to a designated place on the image to be specified.
  • a directivity processing unit is included in a data acquisition unit that acquires audio data collected by a sound collection unit including a plurality of microphones and image data captured by an imaging unit, and a display based on the image data.
  • a voice signal in the audio data in a plurality of directions designated by the designation unit and a plurality of directions designated by the designation unit corresponding to a designated place on the image to be specified.
  • the supervisor who handles the voice processing apparatus can monitor the presence or absence of abnormality in a state where a plurality of monitoring areas are designated and directivity is formed in a direction corresponding to the monitoring area. Thereby, utilization of the collected voice data and captured image data can be promoted, and convenience for the supervisor can be improved.
  • the specifying unit specifies a plurality of image ranges in the image data acquired by the data acquisition unit
  • the directivity processing unit specifies the specification in the audio data.
  • a plurality of audio components coming from directions of a plurality of image ranges designated by the unit may be emphasized.
  • the monitor since the image data is used, the monitor can intuitively specify a plurality of monitoring areas. Therefore, the monitor can easily monitor a plurality of monitoring areas simultaneously based on listening to a predetermined sound. Moreover, when monitoring image data together with audio data, the monitoring accuracy can be improved.
  • the sound processing device further includes a sound detection unit that detects a predetermined sound from at least one of the sound components in the plurality of directions emphasized by the directivity processing unit, and the sound detection And a processing unit that performs a predetermined process when the predetermined sound is detected by the unit.
  • the sound processing device performs various actions in accordance with the detection of the predetermined sound, the utilization of the collected sound data and the captured image data is promoted, and the convenience of the supervisor Can be improved.
  • the processing unit detects audio data including the predetermined sound from a recording unit that records the audio data and the image data when the predetermined sound is detected.
  • a search tag for searching for image data including the sound source of the predetermined sound may be recorded in the recording unit.
  • the processing unit corresponds to a predetermined search tag included in the search tag recorded in the recording unit, or the audio data recorded in the recording unit or You may comprise so that image data may be acquired.
  • past audio data or image data in which a similar event has occurred can be searched using a search tag designated by the user via the touch panel. Therefore, utilization of audio data or image data can be promoted, convenience for the supervisor can be improved, and monitoring accuracy can be improved.
  • the search tag includes the type of the predetermined sound, the direction of the sound source of the predetermined sound with respect to the sound collection unit, and the sound detection unit. You may comprise so that at least 1 information may be included among the time when the predetermined sound was detected.
  • various information can be recorded as search tags corresponding to voice data, and desired voice data can be quickly searched when necessary.
  • the speech processing device is configured such that, when the predetermined sound is detected, the processing unit presents warning information including the fact that the predetermined sound is detected to the presentation unit. May be.
  • the sound processing device may be configured such that, when the predetermined sound is detected, the processing unit causes the recording unit to record sound data including the predetermined sound.
  • the speech processing apparatus may be configured such that the processing unit changes a direction in which the speech component is emphasized by the directivity processing unit when the predetermined sound is detected. .
  • the predetermined sound is tracked by changing the direction of directivity so as to face the preset direction. The possibility of being able to be improved.
  • the speech processing apparatus may be configured to include an estimation unit that estimates a position of a sound source that emits the predetermined sound and causes the presentation unit to present information on the estimated position.
  • the monitor since the monitor can easily check the estimated position of the sound source, the burden on the monitor can be reduced and the monitoring accuracy can be improved.
  • the speech processing apparatus includes an estimation unit that estimates a position of a sound source that emits the predetermined sound, and the directivity processing unit is a direction of the position of the sound source estimated by the estimation unit. It may be configured to emphasize the voice component coming from.
  • the monitor since the monitor can track the sound source of a predetermined sound by relying on the sound data, the trend of the sound source can be easily monitored and the monitoring accuracy can be improved.
  • the sound detection unit has a signal level of a sound component emphasized by the directivity processing unit equal to or higher than a first predetermined signal level or a second predetermined signal level.
  • the predetermined sound may be detected.
  • the threshold is set so as to be able to detect a sound that is louder than a normally expected life sound, thereby increasing the possibility of detecting an abnormal sound.
  • the sound processing device is configured such that the sound detection unit detects a predetermined keyword as a predetermined sound from at least one of sound components emphasized by the directivity processing unit. Also good.
  • a highly confidential keyword can be detected in a voice component in the direction of directivity, and various processes can be performed on the keyword, so that convenience for the user can be improved.
  • the speech processing apparatus may be configured such that the processing unit processes the portion of the predetermined keyword in the speech data including the detected predetermined keyword.
  • the confidential information can be protected. Further, for example, when recording voice data including a keyword by deleting or replacing the keyword, the voice data can be stored while protecting confidential information.
  • the speech processing apparatus may be configured such that the processing unit causes the recording unit to record speech data including the detected predetermined keyword.
  • recording of voice data can be started by using a keyword issued in the monitoring area as a trigger. Therefore, the use efficiency of the recording unit can be improved by not recording the voice data when no keyword is detected.
  • voice data including the keyword can be recorded, and can be confirmed as a verification material in the future, for example.
  • the sound detection unit detects a predetermined abnormal sound included in at least one of the sound components emphasized by the directivity processing unit as the predetermined sound. You may comprise.
  • An audio processing apparatus includes an image recognition unit that recognizes an image with respect to the image data, and the processing unit performs the predetermined process according to an image recognition result by the image recognition unit. It may be configured to do.
  • the abnormality detection accuracy in the monitoring region can be improved by considering the image recognition result together with the detection of the predetermined sound. Therefore, the supervisor can appropriately respond, and the monitoring accuracy can be improved.
  • the sound processing device may be configured such that the image recognition unit recognizes the type of the sound source of the predetermined sound in the image data.
  • the monitor can easily determine whether or not to monitor according to the type of the sound source, the burden on the monitor can be reduced and the monitoring accuracy can be improved.
  • the search tag indicating the type of sound source is added, even if the audio data is reviewed in the future, the search can be easily performed according to the type of sound source, and for example, the verification time can be shortened.
  • the audio processing apparatus may be configured such that the image recognition unit recognizes the presence or absence of movement of the sound source of the predetermined sound in the image data.
  • the monitor can easily focus on the movement of the sound source, the burden on the monitor can be reduced and the monitoring accuracy can be improved.
  • the search tag indicating the presence or absence of a sound source movement is added, even if the audio data is reviewed in the future, the search can be easily performed according to the presence or absence of the sound source movement, and for example, the verification time can be shortened.
  • the processing unit when the processing unit recognizes the image data by the image recognition unit, the recording unit that records the audio data and the image data A search tag for searching for audio data including a predetermined sound or image data including a sound source of the predetermined sound may be recorded in the recording unit.
  • the desired image data or a specific portion of the image data can be easily searched, and for example, the verification time can be shortened.
  • the processing unit corresponds to the predetermined search tag using a predetermined search tag included in the search tag recorded in the recording unit, You may comprise so that the said audio
  • the speech processing apparatus is configured such that the search tag includes at least one of the type of the sound source, the presence / absence of movement of the sound source, and a thumbnail image including the sound source. May be.
  • the processing unit when the predetermined sound is detected, the processing unit indicates that the predetermined sound is detected according to an image recognition result by the image recognition unit. You may comprise so that the warning information to include may be shown in a presentation part.
  • the monitor can be notified that a sound accompanying an abnormality has occurred, and attention such as strengthening the monitoring can be urged.
  • the processing unit when the predetermined sound is detected, the processing unit records audio data including the predetermined sound according to an image recognition result by the image recognition unit. You may comprise so that it may record on a part.
  • the recording unit it is possible to improve the utilization efficiency of the recording unit by not recording audio data when a predetermined sound is not detected. Further, when a predetermined sound is detected, the sound data at the time when the predetermined sound is generated can be reliably recorded using the image recognition result, and can be confirmed as a verification material in the future, for example. Similarly, when image data is recorded, the monitoring accuracy can be further improved.
  • the processing unit when the predetermined sound is detected, emphasizes a sound component by the directivity processing unit according to an image recognition result by the image recognition unit. You may comprise so that the direction to be changed may be changed.
  • the direction of directivity is changed to face the preset direction using the image recognition result.
  • the possibility of tracking a predetermined sound can be improved.
  • the sound processing system of one embodiment of the present invention includes a sound collection device that includes a sound collection unit that collects sound using a plurality of microphones, an image pickup device that includes an image pickup unit that picks up an image, and the sound collection unit.
  • a sound processing device that processes the sound data that has been sounded, wherein the sound processing device acquires the sound data picked up by the sound pickup unit and the image data picked up by the image pickup unit
  • a designation unit for designating a plurality of directions relative to the sound collection unit corresponding to a designated location on the image displayed based on the image data, and the plurality of directions designated by the designation unit
  • a directivity processing unit that emphasizes a voice component in the voice data.
  • the monitor can monitor the presence or absence of abnormality in a state where a plurality of monitoring areas are designated and directivity is formed in a direction corresponding to the monitoring area. Thereby, utilization of the collected voice data can be promoted, and convenience for the supervisor can be improved.
  • the specifying unit specifies a plurality of image ranges in the image data acquired by the data acquisition unit
  • the directivity processing unit specifies the specification in the audio data.
  • a plurality of audio components coming from directions of a plurality of image ranges designated by the unit may be emphasized.
  • the monitor since the image data is used, the monitor can intuitively specify a plurality of monitoring areas. Therefore, the monitor can easily monitor a plurality of monitoring areas simultaneously based on listening to a predetermined sound. Moreover, when monitoring image data together with audio data, the monitoring accuracy can be improved.
  • the sound processing unit detects a predetermined sound from at least one of the sound components in the plurality of directions emphasized by the directivity processing unit. And a processing unit that performs a predetermined process when the predetermined sound is detected by the sound detection unit.
  • the sound processing device performs various actions in accordance with the detection of the predetermined sound, the utilization of the collected sound data and the captured image data is promoted, and the convenience of the supervisor Can be improved.
  • the data acquisition unit acquires the audio data from the sound collection device, acquires the image data from the imaging device, and the audio processing device You may comprise so that the recording tag which records the tag for search for searching the audio
  • the audio processing system includes a recording device that records data, and the recording device receives audio data picked up by the sound pickup unit and image data picked up by the image pickup unit.
  • a recording unit that records the search tag for searching for audio data including the predetermined sound, the data acquisition unit including the audio data, the image data, and the data from the recording unit; You may comprise so that the tag for a search may be acquired.
  • a sound processing method in which sound data collected by a sound collecting unit including a plurality of microphones and image data captured by an imaging unit are acquired, and display is performed based on the image data. Designating a plurality of directions relative to the sound collection unit corresponding to a designated location on the image to be performed, and emphasizing audio components in the audio data in the designated plurality of directions. .
  • the monitor can monitor the presence or absence of abnormality in a state where a plurality of monitoring areas are designated and directivity is formed in the direction corresponding to the monitoring area. Thereby, utilization of the collected voice data and captured image data can be promoted, and the convenience of the supervisor can be improved.
  • the present invention is useful for an audio processing device, an audio processing system, an audio processing method, and the like that can promote the utilization of audio data and image data and improve convenience.

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

　音声データおよび画像データの活用を促進し、利便性を向上できる音声処理装置を提供する。音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するデータ取得部と、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、を備える。

Description

音声処理装置、音声処理システム、及び音声処理方法
　本発明は、音声処理装置、音声処理システム、及び音声処理方法に関する。
　従来、例えば、工場、店舗、公共の場所の状況を、特定の室内又は遠隔地において監視する場合に、監視システムが利用されている。監視システムは、例えば、画像を撮像するカメラ、音声を収音するマイクロホン、所定のデータ（例えば、撮像した画像、収音された音声）を記憶するレコーダ装置、を備える。監視システムを用いることで、例えば、事件又は事故が発生した場合、レコーダ装置が記録した過去のデータを再生し、記録された画像又は音声を過去の時点における状況把握に役立てることができる。
　従来の監視システムとして、全方位カメラ及びマイクロホンアレイのためのシステムが知られている。このシステムは、複数のマイクロホンにより形成されたアレイマイクを利用し、フィルタリングにより特定の方向からの音のみを抽出し、ビームを形成する（例えば、特許文献１参照）。
日本国特開２００４－３２７８２号公報
　アレイマイクを用いて収音された音声データには、様々な有益な情報が含まれている可能性がある。特許文献１の監視システムでは、音声データおよび画像データの活用が不十分であり、監視システムを利用する利用者の利便性を向上させることが期待される。
　本発明は、上記事情に鑑みてなされたものであり、音声データおよび画像データの活用を促進し、利便性を向上できる音声処理装置、音声処理システム、及び音声処理方法を提供する。
　本発明の一形態における音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するデータ取得部と、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、を備える。
　また、本発明の他の形態における音声処理システムは、複数のマイクロホンを用いて収音する収音部を含む収音装置と、画像を撮像する撮像部を含む撮像装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、前記音声処理装置は、前記収音部により収音された音声データおよび、前記撮像部により撮像された画像データを取得するデータ取得部と、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、を備える。
　また、本発明のさらに他の形態における音声処理方法は、複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するステップと、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を複数指定するステップと、前記指定された複数の方向の、前記音声データにおける音声成分を強調するステップと、を有する。
　本発明によれば、音声データおよび画像データの活用を促進し、利便性を向上できる。
第１の実施形態における監視システムの概要図 第１の実施形態における監視システムの構成例を示すブロック図 第１の実施形態におけるアレイマイク、カメラ及び各音源の配置状態の一例を示す平面図 第１の実施形態における監視制御装置の動作例を示すフローチャート 第１の実施形態における指向性処理の概要図 第２の実施形態における監視システムの概要図 第２の実施形態における監視システムの構成例を示すブロック図 第２の実施形態における監視制御装置の動作例を示すフローチャート
　本発明の実施形態について、図面を用いて以下に説明する。
（第１の実施形態）
　図１は第１の実施形態における監視システム１００の概要図である。監視システム１００では、アレイマイク１０（Ａｒｒａｙ　ｍｉｃｒｏｐｈｏｎｅｓ）、カメラ２０、及び監視制御装置３０が、有線又は無線のネットワーク５０を介して接続される。
　アレイマイク１０は収音部、収音装置の一例である。カメラ２０は撮像部、撮像装置の一例である。監視制御装置３０は、音声処理装置の一例である。監視システム１００は、音声処理システムの一例である。
　アレイマイク１０は、複数のマイクロホン１１（１１Ａ，１１Ｂ，１１Ｃ，・・・）を含み、アレイマイク１０の周囲の音を収音し、音声データを得る。カメラ２０は、カメラ２０により撮像可能な所定のエリアを撮像し、画像データを得る。画像データは、例えば、動画又は静止画を含む。監視制御装置３０は、アレイマイク１０による収音結果、カメラ２０による撮像結果に応じて、監視に係る各種処理を行う。
　監視システム１００では、ユニット筐体９１に、１個のカメラ２０と、アレイマイク１０に含まれる１６個のマイクロホン１１（１１Ａ，１１Ｂ，１１Ｃ，・・・）と、が一体的に組み込まれ、収音ユニット９０を形成する。なお、アレイマイク１０におけるマイクロホンの数は、１５個以下でも、１７個以上でもよい。また、アレイマイク１０とカメラ２０とは収音ユニット９０を形成せず、別体に形成されてもよい。
　カメラ２０は、例えば、撮像方向の中心（光軸方向）を鉛直下向きにして、ユニット筐体９１の略中央部に配置される。アレイマイク１０において複数のマイクロホン１１は、ユニット筐体９１の設置面に沿ってカメラ２０の周囲を取り囲むように、１つの円周上に一定の間隔で配置される。複数のマイクロホン１１は、円周上でなく、例えば矩形上に配置されてもよい。なお、このようなカメラ２０及び複数のマイクロホン１１の配置関係、配置形状は一例であり、他の配置関係、配置形状でもよい。
　カメラ２０は、例えば、広範囲（例えば全方位）の被写体を同時に撮像可能に構成される。各マイクロホン１１は、例えば、広範囲（例えば全方位）から到来する音波を検出可能に構成される。
　図２は監視システム１００の構成例を示すブロック図である。
　監視システム１００は、アレイマイク１０、カメラ２０、及び監視制御装置３０を備える。アレイマイク１０、カメラ２０、及び監視制御装置３０は、ネットワーク５０を介して互いにデータ通信可能な状態で接続される。また、監視制御装置３０には、例えば、モニタ６１、タッチパネル６２、及びスピーカ６３が接続される。
　図２の構成は、例えば、画像及び音声をリアルタイムで監視する場合、画像データ及び音声データを監視制御装置３０が記録する場合が想定される。なお、画像データをカメラ２０が記録し、音声データをアレイマイク１０が記録し、記録後に画像データ及び音声データが参照可能にされてもよい。
　また、以下では、主に、アレイマイク１０に含まれる複数のマイクロホン１１のうち、３個のマイクロホン１１Ａ，１１Ｂ，１１Ｃを代表して説明する。３個のマイクロホン１１Ａ～１１Ｃ以外のマイクロホンについても、マイクロホン１１Ａ～１１Ｃと同様の構成及び機能を有する。
　アレイマイク１０は、複数のマイクロホン１１Ａ，１１Ｂ，１１Ｃが互いに近接した状態で規則的（例えば円周上）に配列され、形成される。マイクロホン１１Ａ～１１Ｃは、音声を電気信号（音声データ）に変換する変換器である。アレイマイク１０では、複数のマイクロホン１１Ａ，１１Ｂ，１１Ｃが規則的に配置されなくてもよい。この場合でも、例えば、各マイクロホン１１Ａ～１１Ｃの位置の情報が監視システム１００に保持され、指向性処理されてもよい。
　マイクロホン１１Ａ～１１Ｃの出力には、増幅器１２Ａ～１２Ｃ、Ａ／Ｄ変換器（ＡＤＣ：Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）１３Ａ～１３Ｃ、及び音声エンコーダ１４Ａ～１４Ｃが接続される。また、音声エンコーダ１４Ａ～１４Ｃの出力には、ネットワーク処理部１５が接続される。
　マイクロホン１１Ａ～１１Ｃは、様々な方向から入力される音響の振動に応じた音声データを生成する。この音声データは、アナログ音声データである。増幅器１２Ａ～１２Ｃは、マイクロホン１１Ａ～１１Ｃが出力する音声データを増幅する。Ａ／Ｄ変換器（ＡＤＣ）１３Ａ～１３Ｃは、増幅器１２Ａ～１２Ｃが出力する音声データを周期的にサンプリングし、音声データをデジタルデータに変換する。音声エンコーダ１４Ａ～１４Ｃは、Ａ／Ｄ変換器１３Ａ～１３Ｃが出力する音声データ（音声データの波形の時系列変化）を符号化して、伝送に適した所定の形式の音声データを生成する。
　尚、本実施形態における「音声」は、人間の発声によって得られる音声の他に、例えば、機械的な振動によって発生する一般的な音響又はノイズの成分が含まれてもよい。また、「音声」には、例えば監視対象である音声以外の音声が含まれてもよい。つまり、マイクロホン１１Ａ～１１Ｃにより収音された音響の信号は、音響の種類を区別せずに「音声」と記載されることもある。
　ネットワーク処理部１５は、音声エンコーダ１４Ａ～１４Ｃが生成した音声データを取得し、音声データをネットワーク５０へ送出する。例えば、マイクロホン１１Ａ～１１Ｃが収集した音声に対して、音声エンコーダ１４Ａ～１４Ｃが独立した音声データを生成する。よって、ネットワーク処理部１５は、各マイクロホン１１Ａ～１１Ｃに対応する複数チャネルの音声データをネットワーク５０に送出する。
　カメラ２０は、レンズ２１、センサ２２、画像エンコーダ２３、及びネットワーク処理部２４を備える。
　レンズ２１は、例えば全方位レンズ、魚眼レンズである。センサ２２は、撮像デバイスであり、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、を含む。センサ２２は、レンズ２１を介してセンサ２２の撮像面に入射される被写体の光像に応じて、画像データを生成する。
　画像エンコーダ２３は、センサ２２が出力する画像データを順次処理し、所定の規格に適合する画像データを生成する。ネットワーク処理部２４は、画像エンコーダ２３が生成した画像データを、ネットワーク５０へ送出する。
　監視制御装置３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）である。監視制御装置３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む。監視制御装置３０は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、又はＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。
　監視制御装置３０は、例えば、ＣＰＵ又はＤＳＰにより、ＲＯＭ又はＲＡＭに記録された制御用のプログラム（例えば、アプリケーションプログラム、アクティブＸ形式のプログラム）を実行することにより、各種機能を実現する。また、ＲＯＭ又はＲＡＭは、図示しないメモリを形成する。
　監視制御装置３０は、ネットワーク処理部３１、画像デコーダ３２、画像出力部３３、画像認識部３４、収音座標指定部３５、音声デコーダ３６、及び指向性処理部３７を備える。また、監視制御装置３０は、収音角度演算部３８、検出部３９、音源推定部４０、音声合成部４１、音声出力部４２、及びデータ記録部４３を備える。
　ネットワーク処理部３１は、ネットワーク５０を経由して、アレイマイク１０及びカメラ２０との間においてデータ通信する。データ通信により、ネットワーク処理部３１は、アレイマイク１０から複数のチャネルの音声データを取得し、カメラ２０から画像データを取得する。ネットワーク処理部３１は、データ取得部の一例である。
　ネットワーク処理部３１は、アレイマイク１０が送出する音声データとカメラ２０が送出する画像データとを、アレイマイク１０及びカメラ２０から直接取得してもよい。ネットワーク処理部３１は、データ記録部４３に記録された音声データ又は画像データ（少なくとも音声データ）を、任意の時点においてデータ記録部４３から読み出して取得してもよい。ネットワーク処理部３１は、アレイマイク１０及びカメラ２０から直接取得した音声データ又は画像データを、任意の時点においてデータ記録部４３に記録させてもよい。
　画像デコーダ３２は、ネットワーク処理部３１からの画像データを復号し、再生可能な画像データを生成する。
　画像出力部３３は、画像デコーダ３２からの画像データを、モニタ６１が表示可能な形式の画像データに変換し、モニタ６１に送出する。また、画像出力部３３は、モニタ６１による表示を制御してもよい。また、画像出力部３３は、検出部３９からの検出情報に応じた画像データを、モニタ６１に送出してもよい。
　モニタ６１は、各種の画像データを表示する。モニタ６１は、例えば、画像出力部３３からの画像データに応じて、画像を表示する。例えば、カメラ２０が撮像した画像がモニタ６１に表示される。モニタ６１は、提示部の一例である。
　画像認識部３４は、画像出力部３３からの画像データに対して所定の画像処理を実行し、例えば、図示しないメモリに事前に登録された様々なパターンの画像と一致するか否かを認識してもよい。例えば、パターンマッチングの処理を実行し、画像に含まれる様々な物体の中から、所定の人物又は所定の人物の顔に類似するパターンを抽出する。人物以外の物体のパターンを抽出してもよい。
　また、画像認識部３４は、例えば、画像データに含まれる物体の種類（例えば、人物、男性、女性）を識別してもよい。また、画像認識部３４は、ＶＭＤ（Ｖｉｄｅｏ　Ｍｏｔｉｏｎ　Ｄｅｔｅｃｔｏｒ）機能を有し、画像データ内における動きの有無を検出してもよい。
　収音座標指定部３５は、例えば、タッチパネル６２又は画像認識部３４から入力を複数受け付け、入力位置又は入力範囲に対応する座標を複数導出する。例えば、モニタ６１の画面上に表示される画像において、操作者６０が注目すべき複数の位置（例えば図１の符号Ｐ１，Ｐ２）の座標を、複数の収音座標（ｘ，ｙ）として受け付ける。収音座標指定部３５は、画像データに基づき表示される画像上の指定箇所（例えば収音座標）に対応する、収音部（例えばアレイマイク１０）を基準とした方向を、複数指定する指定部の一例である。
　操作者６０は、例えば、モニタ６１を見ながらタッチパネル６２を操作する。操作者６０は、タッチパネル６２における移動操作（例えばドラッグ操作）に伴って画面上に表示されるポインタ（図示せず）の位置が移動するので、収音座標を画面上の表示範囲において変更できる。例えば、操作者６０によるタッチパネル６２のタッチ操作により、ポインタの座標が収音座標として収音座標指定部３５に与えられる。操作者６０は、監視システム１００を用いて監視する監視者の一例である。
　タッチパネル６２以外の入力手段を用いて収音座標を指定してもよい。例えば、監視制御装置にマウスが接続され、操作者６０が、マウスを用いて所望の画像範囲をタッチしてもよい。
　また、画像認識部３４は、事前に登録されたパターンが画像データに含まれると認識した場合、認識されたパターンが存在するモニタ６１における複数の位置（例えば、図１の符号Ｐ１，Ｐ２）の座標を、収音座標として収音座標指定部３５に与えてもよい。認識されたパターンは、例えば、人物の全体、人物の顔である。
　音声デコーダ３６は、ネットワーク処理部１５からの複数チャネルの音声データを入力し、復号する。また、音声デコーダ３６では、複数チャネルの音声データを処理する音声デコーダが各々独立して設けられてもよい。この場合、アレイマイク１０のマイクロホン１１Ａ～１１Ｃの各々が収集した複数チャネルの音声データを同時に処理できる。
　収音角度演算部３８は、収音座標指定部３５が決定した収音座標に基づいて、アレイマイク１０の指向性の方向を表す収音角度θを導出（例えば算出）する。収音角度演算部３８が導出した収音角度θが、指向性処理部３７のパラメータとして入力される。例えば、収音座標と収音角度θとは１対１で対応しており、この対応情報を含む変換テーブルが図示しないメモリに格納されてもよい。収音角度演算部３８は、この変換テーブルを参照し、収音角度θを導出してもよい。
　指向性処理部３７は、収音角度演算部３８から収音角度θの情報及び音声デコーダ３６から音声データを取得する。指向性処理部３７は、収音角度θに応じて、音声デコーダ３６から出力される複数チャネルの音声データを、所定のアルゴリズムに従って合成し、指向性を形成する（指向性処理）。
　例えば、指向性処理部３７は、監視対象の人物が存在する場所（注目点）の方向（指向性の方向）の音声成分の信号レベルを上げ、これ以外の方向の音声成分の信号レベルを下げる。なお、指向性の方向は、操作者６０が監視対象の位置を複数指定した場合には、複数存在する。指向性処理部３７は、指向性処理された複数の音声データを、検出部３９及び音声合成部４１へ出力する。
　指向性処理部３７は、音源推定部４０により推定された音源（例えば監視対象の人物、異常音）の位置に応じて、指向性処理してもよい。指向性処理部３７は、例えば、音源推定部４０から音源の推定位置の情報を複数回取得し、取得の度に指向性の方向を変更（例えば切り替え）してもよい。これにより、音源が移動する場合でも、音源の位置を追尾して監視できる。つまり、音源の位置の追尾では、推定された音源の位置に対して、指向性が向けられる。
　検出部３９は、指向性処理部３７により指向性処理された複数の音声データを取得する。この音声データは、例えば、第１の指向性の方向の音声成分が強調された第１の音声データと、第２の指向性の方向の音声成分が強調された第２の音声データと、を含む。検出部３９は、取得された複数の音声データの少なくとも１つから、監視対象音（所定の音の一例）を検出する。つまり、検出部３９は、音検出部としての機能を有する。なお、音声成分の強調とは、例えば、複数のマイクロホンにより形成されたアレイマイクを利用し、フィルタリングにより特定の方向からの音のみを抽出することである。
　また、検出部３９は、監視対象音が検出された場合、様々な処理を行う。検出部３９の詳細について、後述する。検出部３９は、監視対象音が検出された場合に所定の処理を行う処理部の一例である。
　音源推定部４０は、音声デコーダ３６からの音声データを取得し、検出部３９により検出された監視対象音を発する音源の位置を推定する。音源は、例えば、会話中の人物、物音を発している人物、特定の人物（男性、女性）、物体（例えば緊急車両）、異常音（例えば、非常ベル、サイレン）の発生源、特定の環境音の発生源、その他の音源を広く含む。音源推定部４０は、推定部の一例である。
　音源推定部４０は、例えば、公知の音源推定技術により、音源の位置を推定する。音源推定部４０による音源の位置の推定結果は、例えば、指向性処理部３７による異常音の追尾、指向性の切り替え、に用いられる。
　音源推定部４０は、音源の位置の推定結果を、例えば画像出力部３３又は音声出力部４２へ出力してもよい。画像出力部３３又は音声出力部４２が、音源の位置の推定結果を提示することで、操作者６０は、容易に音源の位置を把握できる。
　音声合成部４１は、指向性処理部３７から指向性処理された複数の音声データを取得し、複数の音声データを合成する。音声合成部４１は、例えば、取得された複数の音声データの信号レベルを単純に加算することで音声データを合成し、合成された音声データを音声出力部４２へ出力してもよい。音声合成部４１は、例えば、ボイススイッチを有し、音声データの信号レベルが所定レベル以上の音声データ又は信号レベルが最大の音声データを選択して通過させ、音声出力部４２へ出力してもよい。
　音声出力部４２は、例えば、音声合成部４１からの音声データをデジタル音声データからアナログ音声データに変換し、音声データを増幅し、スピーカ６３に与える。
　スピーカ６３は、音声出力部４２からの音声データに相当する音を出力する。従って、操作者６０は、アレイマイク１０により収音された音声データが処理された音を、スピーカ６３から聴くことができる。スピーカ６３は、提示部の一例である。
　データ記録部４３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を含み、ネットワーク処理部３１が取得した複数チャネルの音声データ又は画像データを、順次記録してもよい。データ記録部４３は、音声データ及び画像データを記録する場合、音声データの生成時刻と画像データの生成時刻とを対応づけて記録する。また、上記生成時刻の情報を、音声データ又は画像データと共に記録してもよい。データ記録部４３は、監視制御装置３０の内部に設けてもよいし、あるいは、監視制御装置３０の外部に外部記録媒体として設けてもよい。
　また、データ記録部４３は、例えば、記録された音声データ又は画像データを検索するための検索用タグの情報を記録する。データ記録部４３に記録された検索用タグは、監視制御装置３０における他の構成部により、適宜参照される。
　次に、検出部３９の詳細について説明する。
　検出部３９は、例えば、指向性処理された音声データの信号レベルが第１の所定閾値以上又は第２の所定閾値以下である場合に、この音声データを監視対象音として検出する。音声データの信号レベルと比較される閾値の情報は、例えば図示しないメモリに保持される。音声データの信号レベルが第２の所定閾値以下となる場合には、例えば、機械の動作音が発生していたが、この機械が停止して動作音がなくなる場合を含む。
　検出部３９は、例えば、指向性処理された音声データに含まれる異常音を、監視対象音として検出する。例えば、異常音のパターンが図示しないメモリに記憶されており、検出部３９は、音声データに異常音のパターンが含まれる場合、異常音を検出する。
　検出部３９は、例えば、指向性処理された音声データに含まれる所定のキーワードを、監視対象音として検出する。例えば、キーワードの情報が図示しないメモリに記憶されており、検出部３９は、音声データにメモリに記録されたキーワードが含まれる場合、キーワードを検出する。なお、キーワードが検出される場合、例えば、公知の音声認識技術が用いられてもよい。この場合、検出部３９が、公知の音声認識機能を有する。
　なお、監視対象音は、予め設定されていてもよい。例えば、検出部３９は、信号レベルが第１の所定閾値以上又は第２の所定閾値以下の音、異常音、キーワードの少なくとも１つを監視対象音として設定しておいてもよい。この設定情報は、例えば図示しないメモリに記憶される。
　検出部３９は、上記の監視対象音を検出した場合、監視対象音を検出した旨の情報（検出情報）を、画像出力部３３及び音声出力部４２の少なくとも一方に送る。検出情報は、例えば、異常音、第１の所定閾値以上又は第２の所定閾値以下の信号レベルを有する音、所定のキーワードが検出された旨の警告情報（アラーム）を含む。
　また、検出部３９は、監視対象音を検出した場合、データ記録部４３に対して所定の情報を送る。検出部３９は、監視対象音を検出した場合、例えば、検索用タグの情報をデータ記録部４３へ送り、保持させてもよい。検索用タグは、監視対象音を含む音声データ又はこの音声データに対応する画像データを、データ記録部４３から検索するためのタグである。
　検索用タグは、例えば、リアルタイムで取得された音声データ又は画像データと同じタイミングで、データ記録部４３に記録されてもよい。また、検索用タグは、例えば、既にデータ記録部４３に記録されている音声データ又は画像データに対応づけて、データ記録部４３に記録されてもよい。
　例えば、タッチパネル６２を介して、操作者６０が検索用タグと一致する又は対応する情報を入力することで、画像デコーダ３２又は音声デコーダ３６は、データ記録部４３に記録された音声データ又は画像データのうち、検索用タグと一致する又は対応するデータを検索し、取得する。従って、例えば、音声データ又は画像データを長時間録音又は録画する場合でも、検索時間を短縮できる。
　また、操作者６０が、例えばタッチパネル６２を介して、複数の検索用タグが時系列に並べられたリストから特定の検索用タグを選択してもよい。この場合、操作者６０は、生成時刻が最古の又は最新の検索用タグから順に特定の検索用タグを選択してもよい。また、操作者６０は、例えばタッチパネル６２を介して、計時部（不図示）により計時された時刻に対応する時刻に生成された検索用タグを、特定の検索用タグとして選択してもよい。画像デコーダ３２又は音声デコーダ３６は、データ記録部４３に記録された音声データ又は画像データのうち、上記特定の検索用タグと一致する又は対応するデータを検索し、取得する。リストは、例えばデータ記録部４３に記録される。
　検索用タグは、例えば、検出部３９により監視対象音が検出された時刻の情報を含む。検索用タグは、例えば、監視対象音が発生した音源の方向（指向性の方向）の情報を含む。検索用タグは、例えば、監視対象音の種別（異常音、キーワードを含む音、所定閾値以上又は所定閾値以下の信号レベルの音）の情報を含む。音の種別は、例えば、検出部３９により、公知の音声認識技術を用いて判定される。
　検索用タグは、例えば、ＶＭＤ機能により検出された監視対象音の音源の動きの有無又は動きの方向の情報を含む。動きの有無等が検出される音源は、例えば、上記の監視対象音の発生時刻又は発生時間帯にカメラ２０により撮像された画像データに含まれる。ＶＭＤ機能により検出された情報は、例えば動きが検出される度に、画像認識部３４から検出部３９へ送られる。
　検索用タグは、例えば、画像認識部３４により画像認識された監視対象音の音源の種別の情報を含む。音源の種別が認識される画像データは、例えば、監視対象音の発生時刻又は発生時間帯にカメラ２０により撮像された画像データである。音源の種別の情報は、画像認識部３４から検出部３９へ送られる。
　検索用タグは、例えば、サムネイル画像（静止画）を含む。サムネイル画像は、例えば、監視対象音の発生時刻又は発生時間帯にカメラ２０により撮像された画像データの少なくとも一部である。サムネイル画像は、画像認識部３４から検出部３９へ送られる。
　検出部３９は、監視対象音を検出した場合、ネットワーク処理部３１により受信された音声データ又は画像データの録音又は録画を開始してもよい。例えば、ネットワーク処理部３１は、所定期間（例えば３０秒間）の音声データ又は画像データを一時的に蓄積し、検出部３９により監視対象音が検出されない場合に、一時的に蓄積された音声データ又は画像データを破棄する。検出部３９は、監視対象音を検出した場合、ネットワーク処理部３１へ指示し、一時的に蓄積中の音声データ又は画像データを含めて、音声データ又は画像データをデータ記録部４３へ記録するよう制御する（プレ録音、プレ録画）。また、データ記録部４３は、ネットワーク処理部３１からの音声データ又は画像データを記録する。プレ録音、プレ録画は、所定時間経過後に終了されてもよい。
　検出部３９は、監視対象音として所定のキーワードを検出した場合、当該キーワードを含む音声データをデータ記録部４３へ記録せず、消去してもよい。あるいは、検出部３９は、監視対象音として所定のキーワードを検出した場合、音声データから当該キーワードの部分を消去してもよいし、当該キーワード以外の音により置換してもよい。検出部３９は、キーワードの部分が消去又は置換された音声データを、データ記録部４３へ記録させてもよい。これにより、キーワードが秘匿されるべき情報である場合に、秘匿情報やプライバシーを保護できる。このようなキーワードの消去又は置換に関する処理を、「キーワード加工」とも称する。なお、キーワード加工は、データ記録部４３へ記録済みの音声データに対して行われてもよい。
　検出部３９は、監視対象音を検出した場合、指向性処理部３７に対して、指向性の方向を切り替えるよう指示してもよい。この場合、指向性処理部３７は、指向性の方向を所定の方向に切り替えてもよい。例えば、カメラ２０の撮像可能範囲に含まれる複数地点（地点Ａ、地点Ｂ）の情報を、予め図示しないメモリに登録しておく。地点Ａの方向において監視対象音が検出された場合、指向性処理部３７は、指向性の方向を地点Ａの方向から地点Ａ以外の地点（例えば地点Ｂ）の方向へ切り替えてもよい。
　検出部３９は、監視対象音として所定のキーワードを検出した場合、当該キーワードを含む音声データをデータ記録部４３へ記録させてもよい。この記録には、プレ録音、プレ録画を含んでもよい。これにより、操作者６０が監視すべきキーワードを予め登録しておくことで、キーワードをトリガに記録開始でき、監視精度を向上できる。
　次に、アレイマイク１０、カメラ２０及び各音源の配置状態について説明する。
　図３は、アレイマイク１０、カメラ２０及び各音源の配置状態の一例を示す模式図である。
　図３では、例えば、収音ユニット９０が屋内の天井面１０１に固定される。図３では、アレイマイク１０に含まれる複数のマイクロホン１１Ａ～１１Ｃは、天井面１０１（収音ユニット９０の設置面）に沿って配列される。符号ＰＡは、音源を示す。
　また、収音ユニット９０は、アレイマイク１０の基準方向とカメラ２０の基準方向（例えば光軸方向）とが一致するよう天井面１０１に取り付けられる。アレイマイク１０の基準方向に対する水平方向及び垂直方向と、カメラ２０の基準方向に対する水平方向及び垂直方向とは、一致する。この水平方向はｘ軸方向，ｙ軸方向であり、垂直方向はｚ軸方向である。
　アレイマイク１０の基準方向は、例えば、アレイマイク１０における各マイクロホン１１が配列された配列方向である。収音角度θは、アレイマイク１０の基準方向と指向性の方向とにより形成される角度である。アレイマイク１０の基準方向と指向性の方向とにより形成される収音角度θの水平方向成分は、水平角θｈである。アレイマイク１０の基準方向と指向性の垂直方向とにより形成される収音角度θの垂直方向成分は、垂直角θｖである。
　収音ユニット９０では、アレイマイク１０における各マイクロホン１１が円周上に一定の間隔で配列されるので、配列面（ｘ－ｙ面）に沿う水平方向に対しては、どの向きに対しても音声データの周波数特性が同様になる。従って、図３の例では、収音角度θは、実質的に垂直角θｖに依存する。そのため、以下の説明では主に、収音角度θとして水平角θｈを考慮しないで説明する。
　図３に示すように、収音ユニット９０におけるアレイマイク１０の収音角度θ（垂直角θｖ）は、マイクロホン１１Ａ～１１Ｃの配列面と平行な方向（ｘ軸，ｙ軸）と、指向性の感度が最大になる方向と、のなす角度である。
　マイクロホン１１Ａ～１１Ｃは、マイクロホン１１Ａ～１１Ｃに向かって到来する音声を収音する。また、カメラ２０は、直下（ｚ軸方向）の方向を基準方向（光軸方向）として、カメラ２０の周囲における例えば全方位を撮像する。
　なお、アレイマイク１０による収音対象又はカメラ２０による撮像対象は、全方位でなく、一部の方向に制限されてもよい。また、アレイマイク１０又は監視制御装置３０は、一部の方向に収音対象が制限された状態で収音された音声データを合成し、収音対象が全方位である場合と同様の音声データを生成してもよい。また、カメラ２０又は監視制御装置３０は、一部の方向に撮像対象が制限された状態で撮像された画像信号を合成し、撮像対象が全方位である場合と同様の画像信号を生成してもよい。
　なお、例えば、アレイマイク１０の基準方向とカメラ２０の基準方向とが不一致である場合、水平角θｈが考慮されてもよい。この場合、水平角θｈと垂直角θｖとを考慮し、例えば３次元（ｘ，ｙ，ｚ）の位置又は方向に応じて、指向性が形成されてもよい。
　次に、監視制御装置３０の動作例について説明する。
　図４は、監視制御装置３０の動作例を示すフローチャートである。
　図４は、リアルタイム動作例を示す。リアルタイム動作は、例えば、アレイマイク１０が収音した音声データ、及びカメラ２０が撮像した画像を、操作者６０が監視制御装置３０を用いてリアルタイムで監視する場合の動作である。
　図４では、まず、ネットワーク処理部３１は、カメラ２０が送出した画像データを、ネットワーク５０を経由して受信する。また、ネットワーク処理部３１は、アレイマイク１０が送出した複数チャネルの音声データを、ネットワーク５０を経由して受信する（Ｓ１１）。
　ネットワーク処理部３１が受信した画像データは、画像デコーダ３２により復号され、画像出力部３３へ送られる。画像出力部３３は、復号された画像データをモニタ６１に出力し、モニタ６１が画像を表示するよう制御する（Ｓ１２）。また、ネットワーク処理部３１は、画像データ及び音声データをデータ記録部４３へ記録させてもよい。
　続いて、収音座標指定部３５は、例えばタッチパネル６２からの座標入力を複数受け付ける（Ｓ１３）。例えば、操作者６０は、モニタ６１に表示される画像の表示位置を視認し、タッチパネル６２を操作して注目すべき画像範囲を指定する。
　収音座標指定部３５は、指定された画像範囲に対応する収音座標を導出する。操作者６０は、例えば、モニタ６１に表示された画像に含まれる特定の人物の位置（例えば図１の符号Ｐ１，Ｐ２）をタッチすることで、収音座標指定部３５は、複数の収音座標を取得する。上記画像範囲は、例えば、監視者が監視すべき監視領域の一例である。
　収音座標指定部３５は、操作者６０による画像範囲の指定の代わりに、画像認識部３４が画像から所定のパターンを複数認識し、所定のパターンが存在する座標を収音座標として複数取得してもよい。
　収音角度演算部３８は、収音座標指定部３５により取得された収音座標を基に、例えば変換テーブルを参照し、又は公知の演算処理をすることにより、収音角度θを導出する（Ｓ１４）。
　収音角度演算部３８により導出された複数の収音角度θは、指向性処理部３７に入力される。指向性処理部３７は、収音角度θに応じてアレイマイク１０の指向性処理のためのパラメータを導出する。そして、指向性処理部３７は、音声デコーダ３６からの音声データに対し、導出されたパラメータを用いて指向性処理する（Ｓ１５）。これにより、指向性処理部３７が出力する音声データでは、例えば、収音角度θの方向に対してアレイマイク１０の収音感度が最大になる。
　続いて、検出部３９は、指向性処理された音声データから、監視対象音（例えば、異常音、所定のキーワード、第１の所定閾値以上又は第２の所定閾値以下の信号レベルの音）を検出する（Ｓ１６）。監視対象音が検出されるまで、Ｓ１６において待機される。
　続いて、画像認識部３４は、例えば、検出された監視対象音の音源を含む画像データを画像認識し、監視対象音の音源の種別（例えば、人、男性、女性、物体、その他の音源）を識別してもよい（Ｓ１７）。これにより、操作者６０が音源の種別に応じて監視すべきか否かを容易に判断できるので、操作者６０の負担を軽減でき、監視精度を向上できる。
　画像認識部３４は、例えば、ＶＭＤ機能を用いて、監視対象音の音源の動きを検出してもよい（Ｓ１７）。これにより、操作者６０が音源の動きに容易に注目できるので、操作者６０の負担を軽減でき、監視精度を向上できる。
　画像認識部３４は、画像認識された結果（例えば、監視対象音の音源の種別の情報、監視対象音の音源の動きの情報）を、検出部３９へ送ってもよい。
　なお、Ｓ１７の処理は、省略されてもよい。例えば、Ｓ１７の処理を省略するか否かの情報を、ユーザがタッチパネル６２を介して設定しておいてもよいし、監視レベルに応じて図示しない制御部が設定してもよい。Ｓ１７の処理を省略するか否かの情報は、例えば、図示しないメモリに保持される。
　続いて、監視制御装置３０は、検出部３９による検出結果及び画像認識部３４による画像認識結果の少なくとも一方に応じて、所定の処理（アクション）を行う（Ｓ１８）。
　例えば、監視対象音が検出された場合、音源の種別が識別された場合、又は音源の動きが検出された場合、つまり監視トリガが発生した場合、検出部３９は、画像により警告情報を通知するよう画像出力部３３に指示してもよい。また、監視トリガが発生した場合、検出部３９は、音声により警告情報を通知するよう音声出力部４２に指示してもよい（Ｓ１８）。また、検出部３９は、監視トリガの種別に応じて、異なる警告音の鳴動、警告情報の表示を行わせてもよい。これにより、監視制御装置３０の操作者６０が、監視対象音の発生等を容易に認識でき、操作者６０の負担を軽減でき、監視精度を向上できる。
　例えば、検出部３９は、監視トリガが発生した場合、検索用タグの情報をデータ記録部４３へ記録させてもよい（Ｓ１８）。これにより、操作者６０が将来的に音声データ又は画像データを見直す場合でも、所望の音声データ又は画像データの特定の箇所を容易に検索でき、例えば検証時間を短縮できる。
　例えば、監視トリガが発生した場合、検出部３９は、プレ録音及びプレ録画の少なくとも一方を行うよう、ネットワーク処理部３１へ指示してもよい（Ｓ１８）。これにより、監視トリガが発生する前には、データ記録部４３への録音又は録画を行わないことで、データ記録部４３の活用効率を向上できる。また、監視トリガが発生した場合に、監視トリガ発生時点における音声データ又は画像データを確実に記録でき、例えば、将来的に検証材料として確認できる。
　例えば、監視対象音として所定のキーワードが検出された場合、検出部３９は、キーワード加工してもよい（Ｓ１８）。これにより、キーワードが秘匿情報である場合でも、秘匿情報を保護できる。また、キーワードを消去又は置換してキーワードを含む音声データを記録する場合には、秘匿情報を保護しながら、音声データを保存できる。
　例えば、監視トリガが発生した場合、検出部３９は、指向性処理部３７に対して、指向性の方向を切り替えるよう指示してもよい（Ｓ１８）。これにより、例えば、プリセットされた方向を向くように指向性の方向を変更することで、音源の動きが予想される場合には監視対象音を追尾できる可能性を向上できる。
　続いて、音源推定部４０は、監視対象音の音源の位置を推定する（Ｓ１９）。これにより、操作者６０による監視精度を向上できる。
　続いて、指向性処理部３７は、所定のタイミングにおいて（例えば所定時間毎に）、音源推定部４０から推定された監視対象音の音源の位置の情報を取得し、この音源の位置に指向性が向くように指向性の方向を切り替える（Ｓ２０）。これにより、監視対象音の音源を追尾でき、操作者６０は、音源の動向を容易に監視でき、監視精度を向上できる。
　なお、Ｓ１９，Ｓ２０は省略されてもよい。
　図４の動作例によれば、操作者６０は、モニタ６１及びスピーカ６３を介して、現在の監視領域における画像と音声とを同時に監視できる。特に、監視対象音の音声及び監視対象音の音源を含む画像を監視できる。また、画像を確認しながら、任意の監視領域を複数指定し、監視対象とすることができる。また、監視対象音の検出に応じて様々な処理を行うことで、音声データの活用性が増し、利便性を向上できる。
　次に、監視システム１００による指向性処理の詳細について説明する
　図５は、指向性処理に係る基本構成例を示す模式図である。図５では、指向性処理部３７には、複数の遅延器３７ｂＡ，３７ｂＢ，３７ｂＣと、加算器３７ｃとが含まれ、これらの処理により指向性が形成されてもよい。
　マイクロホン１１Ａ～１１Ｃが出力するアナログ音声データを、Ａ／Ｄ変換器１３Ａ，１３Ｂ，１３Ｃがデジタル音声データに変換し、変換されたデジタル音声データに対して、指向性処理部３７が指向性処理する。なお、アレイマイク１０に含まれるマイクロホンの数（ｎ）、Ａ／Ｄ変換器の数（ｎ）、及び指向性処理部３７に含まれる遅延器の数（ｎ）は、必要に応じて増減される。
　図５では、複数のマイクロホン１１Ａ～１１Ｃは、相互に所定距離離間された位置に配置されるので、１つの音源８０が発した音波が各々のマイクロホン１１Ａ～１１Ｃに到達するまでの時間には、相対的な時間差（到達時間差）が生じる。音源８０は、例えば監視対象音の音源である。
　上記到達時間差の影響があるため、複数のマイクロホン１１Ａ～１１Ｃがそれぞれ検出した音声データをそのまま加算すると、位相差のある複数の音声データの加算によって信号レベルが減衰することがある。そこで、複数の音声データのそれぞれに、遅延器３７ｂＡ～３７ｂＣにより時間遅延を与えて位相を調整し、位相が調整された音声データ同士を加算器３７ｃにより加算する。これにより、位相が一致する複数の音声データが加算され、信号レベルが増大する。
　図５では、上記到達時間差は、音源８０からアレイマイク１０の筐体入射面１２１に入射される音波の到来方向（収音角度θに相当）に応じて変化する。例えば、特定の方向（θ）から到来した音波を複数のマイクロホン１１Ａ～１１Ｃが検出した場合、加算器３７ｃに入力される複数の音声データの位相が一致し、加算器３７ｃが出力する音声データの信号レベルが増大する。一方、特定の方向（θ）以外から到来する音波では、加算器３７ｃに入力される複数の音声データに位相差が生じ、加算器３７ｃが出力する音声データの信号レベルが減衰する。よって、特定の方向（θ）から到来する音波に対して感度が上がるように、アレイマイク１０の指向性を形成できる。
　収音角度θの方向から監視対象音の音波が筐体入射面１２１に到来する場合、（式１）により表される各遅延時間Ｄ１，Ｄ２，Ｄ３が、各遅延器３７ｂＡ，３７ｂＢ，３７ｂＣの遅延時間として割り当てられる。
　Ｄ１＝Ｌ１／Ｖｓ＝ｄ（ｎ－１）ｃｏｓθ／Ｖｓ
　Ｄ２＝Ｌ２／Ｖｓ＝ｄ（ｎ－２）ｃｏｓθ／Ｖｓ　　　・・・（式１）
　Ｄ３＝Ｌ３／Ｖｓ＝ｄ（ｎ－３）ｃｏｓθ／Ｖｓ
但し、
　Ｌ１：１番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
　Ｌ２：２番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
　Ｌ３：３番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
　Ｖｓ：音速（既知の定数）
　ｄ：マイクロホンの配置間隔（既知の定数）
　なお、一例として、図２に示したシステム構成の場合、ｎ＝３であり、図１に示した収音ユニット９０の場合、ｎ＝１６である。
　（式１）に示すように、特定の方向θからアレイマイク１０に到来する音波に指向性が合わせられる場合、筐体入射面１２１における各マイクロホン１１Ａ～１１Ｃに対する音波の到達時間差に対応して、各遅延器３７ｂＡ，３７ｂＢ，３７ｂＣに遅延時間Ｄ１～Ｄ３が割り当てられる。
　例えば、指向性処理部３７は、収音角度演算部３８からの収音角度θと（式１）とに基づき、各遅延時間Ｄ１～Ｄ３を取得し、遅延時間Ｄ１～Ｄ３を各遅延器３７ｂＡ～３７ｂＣに割り当てる。これにより、収音角度θの方向から筐体入射面１２１に到来する音波の音声データを強調し、アレイマイク１０の指向性を形成できる。
　なお、例えば、割り当てられた遅延時間Ｄ１～Ｄ３、（式１）における既知の定数は、監視制御装置３０内の図示しないメモリに記憶される。
　監視システム１００によれば、例えば、リアルタイムに受信された画像データにおいて、監視制御装置３０の操作者６０からの監視領域の指定を複数受け付け、監視領域に対応する方向に指向性を向けた状態で、異常の有無を監視できる。監視トリガが発生した場合には、監視制御装置３０が様々な処理を行うことで、アレイマイク１０により収音された音声データおよびカメラ２０により撮像された画像データの活用を促進し、操作者６０の利便性を向上できる。
（第２の実施形態）
　第２の実施形態では、監視システムが、音声データ又は画像データを記録するレコーダを、監視制御装置とは別体に備えることを想定する。
　図６は実施形態における監視システム１００Ｂの概要図である。図６と図１とを比較すると、監視システム１００Ｂが、レコーダ７０を備える点が異なる。レコーダ７０は、ネットワーク５０に接続される。レコーダ７０は記憶装置の一例である。レコーダ７０は、例えば、アレイマイク１０により収音された音声データ、カメラ２０により撮像された画像データ、を記憶する。
　図７は監視システム１００Ｂの構成例を示すブロック図である。図７の監視システム１００Ｂにおいて、図２に示した監視システム１００と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。
　監視システム１００Ｂは、アレイマイク１０、カメラ２０、監視制御装置３０Ｂ、及びレコーダ７０を備える。
　監視制御装置３０Ｂは、図２に示した監視制御装置３０と比較すると、データ記録部４３を備えていない。監視制御装置３０Ｂは、データ記録部４３へデータを記録又はデータ記録部４３からデータを読み出す代わりに、レコーダ７０が備えるデータ記録部７２へアクセスしてデータを記録又はデータ記録部７２からデータを読み出す。監視制御装置３０Ｂとレコーダ７０との間でデータが通信される場合、データは、監視制御装置３０Ｂのネットワーク処理部３１、ネットワーク５０、及びレコーダ７０のネットワーク処理部７１を経由して通信される。
　レコーダ７０は、ネットワーク処理部７１及びデータ記録部７２を備える。レコーダ７０は、例えば、ＣＰＵ、ＤＳＰ、ＲＯＭ、又はＲＡＭを含み、ＣＰＵ又はＤＳＰにより、ＲＯＭ又はＲＡＭに記録された制御用のプログラムを実行することにより、各種機能を実現する。
　ネットワーク処理部７１は、例えば、アレイマイク１０から送出される複数チャネルの音声データ、又はカメラ２０から送出される画像データを、ネットワーク５０を経由して取得する。ネットワーク処理部７１は、例えば、データ記録部７２が記録した音声データ又は画像データを、ネットワーク５０に送出する。
　データ記録部７２は、図２に示した監視制御装置３０のデータ記録部４３と同様の構成及び機能を有する。また、データ記録部７２は、データ記録部４３が記録するデータと同様のデータ（例えば、音声データ、画像データ、検索用タグの情報）を記録する。
　例えば、ネットワーク処理部７１が、監視制御装置３０Ｂから音声データ、画像データ、検索用タグの情報が受信された場合、データ記録部７２が、受信されたデータを対応付けて記録してもよい。また、ネットワーク処理部７１が、監視制御装置３０Ｂから検索用タグの情報が受信され、データ記録部７２に既に音声データ又は画像データが記録されている場合、データ記録部７２は、検索用タグの情報を、音声データ又は画像データに対応付けて記録してもよい。
　また、データ記録部７２に記録された音声データ、画像データ、及び検索用タグの情報は、例えばＣＰＵにより所定の命令が実行されることで、データ記録部７２から読み出され、ネットワーク処理部７１及びネットワーク５０を経由して監視制御装置３０Ｂに送信される。
　例えば、ネットワーク５０を経由して監視制御装置３０Ｂから、所定の情報が受信された場合、データ記録部７２は、検索用タグとして記録されている情報と、受信された所定の情報とが一致又は対応するか否かを判定する。データ記録部７２は、両者が一致すると判定した場合、検索用タグに対応付けられた音声データ又は画像データを検索し、検索された音声データ又は画像データをネットワーク５０へ送出する。
　このように、レコーダ７０に記録された検索用タグを用いることで、過去に記録された音声データ又は画像データを容易に検索でき、検索時間を短縮でき、操作者６０の利便性を向上できる。
　次に、監視制御装置３０Ｂの動作例について説明する。
　図８は、監視制御装置３０Ｂの動作例を示すフローチャートである。
　図８は、レコーダ出力再生動作例を示す。レコーダ出力再生動作例は、例えば、レコーダ７０に記録された過去の音声データ及び画像信号を、操作者６０が監視制御装置３０Ｂを用いて分析する場合の動作である。なお、図８において、図４の処理と同様の処理を行うステップについては、同一のステップ番号を付し、説明を省略又は簡略化する。
　監視システム１００Ｂでは、過去にカメラ２０が撮像した画像データ及びアレイマイク１０が収音した複数チャネルの音声データがレコーダ７０に記録されている場合、記録された画像データ及び音声データをレコーダ７０から読み出すことができる。
　監視制御装置３０Ｂは、例えば、操作者６０からの入力操作に従い、レコーダ７０に記録された特定の画像データ及び音声データを読み出すよう、レコーダ７０に指示する。この場合、上記特定の画像データ及び音声データがレコーダ７０から読み出され、ネットワーク５０を経由してネットワーク処理部３１により受信される（Ｓ２１）。
　続いて、図８のＳ１２～Ｓ２０の処理を行う。なお、Ｓ１７，Ｓ１９，Ｓ２０の処理は省略されてもよい。
　図８の動作例によれば、操作者６０は、モニタ６１及びスピーカ６３を介して、過去の監視領域における画像と音声とを同時に監視できる。特に、監視対象音の音声及び監視対象音の音源を含む画像を監視できる。また、画像を確認しながら、任意の監視領域を複数指定し、監視対象とすることができる。また、監視対象音の検出に応じて様々な処理を行うことで、音声データの活用性が増し、利便性を向上できる。
　また、検索用タグが、記録された画像データ又は音声データに対応づけて記録されることで、例えば、後に監視対象音に係るデータを検索する場合に、素早く検索できる。このように、監視対象音の検出に応じて様々な処理を行うことで、音声データの活用性が増し、利便性を向上できる。
　なお、図８のレコーダ出力再生動作例は、第１の実施形態においてデータ記録部４３に記録されたデータを扱う場合の動作にも適用可能である。
　監視システム１００Ｂによれば、例えば、過去に記録された画像データにおいて、監視制御装置３０Ｂの操作者６０からの監視領域の指定を複数受け付け、監視領域に対応する方向に指向性を向けた状態で、異常の有無を監視できる。監視トリガが発生した場合には、監視制御装置３０Ｂが様々な処理を行うことで、アレイマイク１０により収音された音声データおよびカメラ２０により撮像された画像データの活用を促進し、操作者６０の利便性を向上できる。
　なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
　例えば、上記実施形態では、監視制御装置３０，３０Ｂが備える音声処理に係る一部の構成部を、アレイマイク１０又はカメラ２０が備えてもよい。アレイマイク１０は、例えば、画像認識部３４、収音座標指定部３５、収音角度演算部３８、指向性処理部３７、検出部３９、音源推定部４０、音声合成部４１、の一部又は全部を有してもよい。これにより、監視制御装置３０，３０Ｂの処理負荷を低減できる。なお、アレイマイク１０が音声処理に係る一部の構成部を有する場合には、監視制御装置３０，３０Ｂとアレイマイク１０との間において、ネットワーク５０を介して適宜必要なデータが通信される。
　例えば、上記実施形態では、複数のマイクロホン１１が１つの円周上に一定の間隔で配置されたアレイマイク１０を例示したが、各マイクロホン１１の配列は異なる配列でもよい。例えば、単方向（例えばｘ軸方向）に沿って一列に一定の間隔で配列されてもよい。また、２方向（例えばｘ軸方向，ｙ軸方向）に沿って十字型に一定の間隔で配列されてもよい。また、径の異なる２つの円周上に一定の間隔で配列されてもよい。
　例えば、上記実施形態では、監視制御装置３０，３０Ｂが、カメラ２０を用いずに、実際の空間的な監視範囲とアレイマイク１０の収音角度θとを対応づけ、プリセットしてもよい。つまり、監視制御装置３０，３０Ｂの図示しないメモリが、上記監視範囲と収音角度θとの対応情報を保持してもよい。この場合、例えば、ユーザがタッチパネル６２等を介して所定の監視範囲を複数指定すると、収音角度演算部３８が、メモリに保持された対応情報を参照して、収音角度θを複数導出してもよい。また、例えば、ユーザがタッチパネル６２等を介して収音角度を直接指定し、指定されたデータを収音角度演算部３８により導出されたデータとして扱ってもよい。これにより、カメラ２０を用いずに、複数の指向性の方向を決定できる。
　例えば、上記実施形態では、監視システム１００，１００Ｂは、画像を用いずに音声を用いて監視するシステムでもよい。この場合、監視システム１００，１００Ｂでは、例えば、カメラ２０又は表示に関連する機能を実現するための構成部が省略されてもよい。
　例えば、上記実施形態では、収音ユニット９０が屋内の天井面１０１に固定されることを例示したが、収音ユニット９０が他の位置（例えば、屋内の壁面）に固定されてもよい。また、監視システム１００，１００Ｂにおいて、カメラ２０が複数設けられてもよい。また、モニタ６１、タッチパネル６２、及びスピーカ６３が、監視制御装置３０，３０Ｂに含まれてもよい。
　例えば、上記実施形態では、モニタ６１にボリューム調整を行うためのソフトウェアキーボード（スクリーンキーボード）を表示してもよい。タッチパネル６２によりソフトウェアキーボードを操作することで、例えば、指向性処理がされた音声データの音量を調整できる。
　例えば、上記実施形態では、監視制御装置３０，３０Ｂは、図示しない制御部が、収音ユニット９０が設置された環境に応じて発生する音声データの歪みを補正してもよい。また、図示しない制御部が、カメラ２０（例えば魚眼レンズを有するカメラ）により撮像された画像データに発生する歪を補正してもよい。
　例えば、上記実施形態では、例えば、収音座標指定部３５は、タッチパネル６２により監視領域がタッチされ、指向性が当該監視領域に向けられた後、タッチパネル６２により監視領域が再度タッチされた場合、当該監視領域を監視対象から除外してもよい。つまり、収音座標指定部３５は、モニタ６１により表示された画像データにおける同一の位置又は領域が複数回タッチされた場合、収音座標の導出を終了し、指向性処理部３７による指向性処理を終了させてもよい。収音座標指定部３５は、複数の監視領域を同時に監視対象から除外してもよい。
　上記実施形態では、例えば、収音座標指定部３５は、タッチパネル６２により監視領域がタッチされた状態で、ドラッグ操作を受け付けた場合、監視領域を移動させてもよい。収音座標指定部３５は、監視領域の移動を複数同時に受け付けてもよい。
　上記実施形態では、監視システム１００，１００Ｂが、収音ユニット９０を複数備えてもよい。この場合、各収音ユニット９０が連携して画像データを形成し、音声データを形成してもよい。また、各収音ユニット９０のカメラ２０により撮像された画像が、モニタ６１の分割画面に同時に表示されてもよい。監視制御装置３０，３０Ｂは、各分割画面において、タッチパネル６２により複数の分割画面に跨いでドラッグ操作を受け付けた場合でも、各収音ユニット９０により収音された音声データを用いて、指向性処理を行ってもよい。このドラッグ操作は、例えば、モニタ６１における異なる複数の領域において同時に受け付けてもよい。
（本発明の一態様の概要）
　本発明の一態様の音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するデータ取得部と、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、を備える。
　この構成によれば、音声処理装置を扱う監視者は、監視領域が複数指定され、監視領域に対応する方向に指向性が形成された状態で、異常の有無を監視できる。これにより、収音された音声データおよび撮像された画像データの活用を促進し、監視者の利便性を向上できる。
　また、本発明の一態様の音声処理装置は、前記指定部が、前記データ取得部によって取得した前記画像データにおける複数の画像範囲を指定し、前記指向性処理部が、前記音声データにおける前記指定部により指定された複数の画像範囲の方向から到来する複数の音声成分を強調するよう構成してもよい。
　この構成によれば、画像データを用いるので、監視者が直感的に監視領域を複数指定できる。よって、監視者は、所定の音の聴取を基に、容易に同時に複数の監視領域を監視できる。また、音声データとともに画像データを監視する場合には、監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、更に前記指向性処理部により強調された前記複数の方向の音声成分の少なくとも１つから、所定の音を検出する音検出部と、前記音検出部によって前記所定の音が検出された場合、所定の処理を行う処理部と、を備える構成としてもよい。
　この構成によれば、音声処理装置が、所定の音の検出に伴って様々なアクションを実施するので、収音された音声データおよび撮像された画像データの活用を促進し、監視者の利便性を向上できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記音声データ及び前記画像データを記録する記録部から、前記所定の音を含む音声データ又は前記所定の音の音源を含む画像データを検索するための検索用タグを、前記記録部に記録させるよう構成してもよい。
　この構成によれば、監視者が、将来的に音声データ又は画像データを見直す場合でも、所望の音声データ若しくは画像データ又は音声データ若しくは画像データの特定の箇所を容易に検索でき、例えば検証時間を短縮できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記記録部に記録された検索用タグに含まれる所定の検索用タグと対応した、前記記録部に記録された音声データ又は画像データを取得するよう構成してもよい。
　この構成によれば、例えば、タッチパネルを介してユーザに指定された検索用タグを用いて、同様の事象が発生した過去の音声データ又は画像データを検索できる。従って、音声データ又は画像データの活用を促進し、監視者の利便性を向上でき、監視精度も向上できる。
　また、本発明の一態様の音声処理装置は、前記検索用タグが、前記所定の音の種別、前記収音部を基準とした前記所定の音の音源の方向、及び前記音検出部により前記所定の音が検出された時刻、のうち、少なくとも１つの情報を含むよう構成してもよい。
　この構成によれば、様々な情報を音声データに対応する検索用タグとして記録し、必要時に所望の音声データを迅速に検索できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記所定の音が検出された旨を含む警告情報を、提示部に提示させるよう構成してもよい。
　この構成によれば、例えば、異常に伴う音が発生したことを監視者へ通知し、監視を強化する等の注意を促すことができる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記所定の音を含む音声データを記録部に記録させるよう構成してもよい。
　この構成によれば、所定の音が検出されない時点では音声データを記録しないことで、記録部の活用効率を向上できる。また、所定の音が検出された場合に、所定の音の発生時点の音声データを確実に記録でき、例えば、将来的に検証材料として確認できる。また、同様に画像データも記録する場合には、より監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記指向性処理部により音声成分が強調される方向を変更するよう構成してもよい。
　この構成によれば、例えば、所定の音の音源が移動し、その動きが予想される場合には、プリセットされた方向を向くように指向性の方向を変更することで、所定の音を追尾できる可能性を向上できる。
　また、本発明の一態様の音声処理装置は、前記所定の音を発する音源の位置を推定し、推定された位置の情報を提示部に提示させる推定部を備えるよう構成してもよい。
　この構成によれば、監視者は、推定された音源の位置を容易に確認できるので、監視者の負担を軽減でき、監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、前記所定の音を発する音源の位置を推定する推定部を備え、前記指向性処理部が、前記推定部により推定された前記音源の位置の方向から到来する音声成分を強調するよう構成してもよい。
　この構成によれば、監視者が、所定の音の音源を音声データを頼りに追尾できるので、音源の動向を容易に監視でき、監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、前記音検出部が、前記指向性処理部により強調された音声成分の信号レベルが第１の所定の信号レベル以上又は第２の所定の信号レベル以下である場合、前記所定の音として検出するよう構成してもよい。
　この構成によれば、例えば通常予想される生活音よりも大きな音を検出可能に閾値が設定されることで、異常音を検出する可能性を高くできる。
　また、本発明の一態様の音声処理装置は、前記音検出部が、前記指向性処理部により強調された音声成分の少なくとも１つから、所定のキーワードを所定の音として検出するよう構成してもよい。
　この構成によれば、例えば、指向性の方向の音声成分において秘匿性の高いキーワードを検出でき、キーワードに対して様々な処理を実施できるので、ユーザの利便性を向上できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記検出された所定のキーワードを含む音声データにおける前記所定のキーワードの部分を加工するよう構成してもよい。
　この構成によれば、キーワードが秘匿情報である場合でも、秘匿情報を保護できる。また、例えば、キーワードを消去又は置換してキーワードを含む音声データを記録する場合、秘匿情報を保護しながら、音声データを保存できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記検出された所定のキーワードを含む音声データを記録部に記録させるよう構成してもよい。
　この構成によれば、監視領域において発せられたキーワードをトリガとして、音声データの記録を開始できる。よって、キーワードが検出されない時点では音声データを記録しないことで、記録部の活用効率を向上できる。また、キーワードが検出された場合に、キーワードを含む音声データも記録でき、例えば、将来的に検証材料として確認できる。
　また、本発明の一態様の音声処理装置は、前記音検出部が、前記指向性処理部により強調された音声成分の少なくとも１つに含まれる所定の異常音を、前記所定の音として検出するよう構成してもよい。
　この構成によれば、例えば、指向性の方向の音声成分において異常を示す異常音を検出でき、異常音を用いて様々な処理を実施できるので、ユーザの利便性を向上できる。
　また、本発明の一態様の音声処理装置は、前記画像データに対して画像認識する画像認識部を備え、前記処理部が、前記画像認識部による画像認識結果に応じて、前記所定の処理を行うよう構成してもよい。
　この構成によれば、所定の音の検出とともに、画像認識結果も考慮することで、例えば、監視領域における異常検出精度を向上できる。従って、監視者は適切に対応することができ、監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、前記画像認識部が、前記画像データにおいて前記所定の音の音源の種別を認識するよう構成してもよい。
　この構成によれば、監視者が、音源の種別に応じて監視すべきか否かを容易に判断できるので、監視者の負担を軽減でき、監視精度を向上できる。また、音源の種別を示す検索用タグを付加する場合には、将来的に音声データを見直す場合でも、音源の種別に応じて容易に検索でき、例えば検証時間を短縮できる。
　また、本発明の一態様の音声処理装置は、前記画像認識部が、前記画像データにおいて前記所定の音の音源の動きの有無を認識するよう構成してもよい。
　この構成によれば、監視者が、音源の動きに容易に注目できるので、監視者の負担を軽減でき、監視精度を向上できる。また、音源の動きの有無を示す検索用タグを付加する場合には、将来的に音声データを見直す場合でも、音源の動きの有無に応じて容易に検索でき、例えば検証時間を短縮できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記画像認識部により前記画像データに対して画像認識された場合、前記音声データ及び前記画像データを記録する記録部から、前記所定の音を含む音声データ又は前記所定の音の音源を含む画像データを検索するための検索用タグを、前記記録部に記録させるよう構成してもよい。
　この構成によれば、監視者が、将来的に画像データを見直す場合でも、所望の画像データ又は画像データの特定の箇所を容易に検索でき、例えば検証時間を短縮できる。
　また、本発明の一態様の音声処理装置は、前記処理部は、前記記録部に記録された検索用タグに含まれる所定の検索用タグを用いて、前記所定の検索用タグと対応し、前記記録部に記録された前記音声データ又は画像データを取得するよう構成してもよい。
　この構成によれば、例えば、タッチパネルを介してユーザに指定された検索用タグを用いて、同様の事象が発生した過去の画像データを検索できる。従って、音声データに対応する画像データの活用を促進し、監視者の利便性を向上でき、監視精度も向上できる。
　また、本発明の一態様の音声処理装置は、前記検索用タグが、前記音源の種別、前記音源の動きの有無、及び前記音源を含むサムネイル画像、のうち、少なくとも１つを含むよう構成してもよい。
　この構成によれば、様々な情報を画像データに対応する検索用タグとして記録し、必要時に所望の画像データを迅速に検索できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記所定の音が検出された旨を含む警告情報を、提示部に提示させるよう構成してもよい。
　この構成によれば、画像認識結果を利用して、例えば、異常に伴う音が発生したことを監視者へ通知し、監視を強化する等の注意を促すことができる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記所定の音を含む音声データを記録部に記録させるよう構成してもよい。
　この構成によれば、所定の音が検出されない時点では音声データを記録しないことで、記録部の活用効率を向上できる。また、所定の音が検出された場合に、画像認識結果を利用して、所定の音の発生時点の音声データを確実に記録でき、例えば、将来的に検証材料として確認できる。また、同様に画像データも記録する場合には、より監視精度を向上できる。
　また、本発明の一態様の音声処理装置は、前記処理部が、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記指向性処理部により音声成分が強調される方向を変更するよう構成してもよい。
　この構成によれば、例えば、所定の音の音源が移動し、その動きが予想される場合には、画像認識結果を利用して、プリセットされた方向を向くように指向性の方向を変更することで、所定の音を追尾できる可能性を向上できる。
　また、本発明の一態様の音声処理システムは、複数のマイクロホンを用いて収音する収音部を含む収音装置と、画像を撮像する撮像部を含む撮像装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、前記音声処理装置は、前記収音部により収音された音声データおよび、前記撮像部により撮像された画像データを取得するデータ取得部と、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、を備える。
　この構成によれば、監視者は、監視領域が複数指定され、監視領域に対応する方向に指向性が形成された状態で、異常の有無を監視できる。これにより、収音された音声データの活用を促進し、監視者の利便性を向上できる。
　また、本発明の一態様の音声処理システムは、前記指定部が、前記データ取得部によって取得した前記画像データにおける複数の画像範囲を指定し、前記指向性処理部は、前記音声データにおける前記指定部により指定された複数の画像範囲の方向から到来する複数の音声成分を強調するよう構成してもよい。
　この構成によれば、画像データを用いるので、監視者が直感的に監視領域を複数指定できる。よって、監視者は、所定の音の聴取を基に、容易に同時に複数の監視領域を監視できる。また、音声データとともに画像データを監視する場合には、監視精度を向上できる。
　また、本発明の一態様の音声処理システムは、前記音声処理装置が、前記指向性処理部により強調された前記複数の方向の音声成分の少なくとも１つから、所定の音を検出する音検出部と、前記音検出部によって前記所定の音が検出された場合、所定の処理を行う処理部と、を更に備えるよう構成してもよい。
　この構成によれば、音声処理装置が、所定の音の検出に伴って様々なアクションを実施するので、収音された音声データおよび撮像された画像データの活用を促進し、監視者の利便性を向上できる。
　また、本発明の一態様の音声処理システムは、前記データ取得部が、前記収音装置から前記音声データを取得し、前記撮像装置から前記画像データを取得し、前記音声処理装置は、前記音声データ、前記画像データ、及び前記所定の音を含む音声データを検索するための検索用タグを記録する記録部を備えるよう構成してもよい。
　この構成によれば、例えば、リアルタイムの音声データ又は画像データから、監視領域における音声を明瞭に聴取できる。従って、リアルタイムでの監視精度を向上できる。また、例えば、リアルタイムの音声データ又は画像データを、検索用タグとともに記録することで、将来的に、所望の音声データ又は画像データを容易に検索でき、検証時間を短縮できる。
　また、本発明の一態様の音声処理システムは、データを記録する記録装置を備え、前記記録装置は、前記収音部により収音された音声データと前記撮像部により撮像された画像データとを対応づけて記録し、前記所定の音を含む音声データを検索するための検索用タグを記録する記録部を備え、前記データ取得部は、前記記録部から前記音声データ、前記画像データ、及び前記検索用タグを取得するよう構成してもよい。
　この構成によれば、過去の画像の監視領域における音声を明瞭に聴取できる。従って、例えば、過去の画像を用いた監視領域での音声解析の精度を向上できる。また、記録された音声データ又は画像データに対して検索用タグを付加することで、将来的に、所望の音声データ又は画像データの検索を容易化できる。また、既に検索用タグが記録されている場合、検索用タグを用いて、所望の音声データ又は画像データを容易に検索できる。
　また、本発明の一態様の音声処理方法は、複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するステップと、前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を複数指定するステップと、前記指定された複数の方向の、前記音声データにおける音声成分を強調するステップと、を有する。
　この方法によれば、監視者は、監視領域が複数指定され、監視領域に対応する方向に指向性が形成された状態で、異常の有無を監視できる。これにより、収音された音声データ及び撮像された画像データの活用を促進し、監視者の利便性を向上できる。
　本発明は、音声データおよび画像データの活用を促進し、利便性を向上できる音声処理装置、音声処理システム、及び音声処理方法等に有用である。
　１０　アレイマイク
　１１Ａ，１１Ｂ，１１Ｃ　マイクロホン
　１２Ａ，１２Ｂ，１２Ｃ　増幅器
　１３Ａ，１３Ｂ，１３Ｃ　Ａ／Ｄ変換器
　１４Ａ，１４Ｂ，１４Ｃ　音声エンコーダ
　１５　ネットワーク処理部
　２０　カメラ
　２１　レンズ
　２２　センサ
　２３　画像エンコーダ
　２４　ネットワーク処理部
　３０，３０Ｂ　監視制御装置
　３１　ネットワーク処理部
　３２　画像デコーダ
　３３　画像出力部
　３４　画像認識部
　３５　収音座標指定部
　３６　音声デコーダ
　３７　指向性処理部
　３８　収音角度演算部
　３９　検出部
　４０　音源推定部
　４１　音声合成部
　４２　音声出力部
　４３　データ記録部
　５０　ネットワーク
　６０　操作者
　６１　モニタ
　６２　タッチパネル
　６３　スピーカ
　７０　レコーダ
　７１　ネットワーク処理部
　７２　データ記録部
　８０　音源
　９０　収音ユニット
　９１　ユニット筐体
　１００，１００Ｂ　監視システム
　１０１　天井面
　１０２　床面
　１２１　筐体入射面
　ＰＡ　音源

Claims (31)

  1. 　複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するデータ取得部と、
    　前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、
    　前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、
    　を備える音声処理装置。
  2. 　請求項１に記載の音声処理装置であって、
    　前記指定部は、前記データ取得部によって取得した前記画像データにおける複数の画像範囲を指定し、
    　前記指向性処理部は、前記音声データにおける前記指定部により指定された複数の画像範囲の方向から到来する複数の音声成分を強調する音声処理装置。
  3. 　請求項１または２に記載の音声処理装置であって、更に
    　前記指向性処理部により強調された前記複数の方向の音声成分の少なくとも１つから、所定の音を検出する音検出部と、
    　前記音検出部によって前記所定の音が検出された場合、所定の処理を行う処理部と、
    　を備える音声処理装置。
  4. 　請求項３に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記音声データ及び前記画像データを記録する記録部から、前記所定の音を含む音声データ又は前記所定の音の音源を含む画像データを検索するための検索用タグを、前記記録部に記録させる音声処理装置。
  5. 　請求項４に記載の音声処理装置であって、
    　前記処理部は、前記記録部に記録された検索用タグに含まれる所定の検索用タグと対応した、前記記録部に記録された音声データ又は画像データを取得する音声処理装置。
  6. 　請求項４または５に記載の音声処理装置であって、
    　前記検索用タグは、前記所定の音の種別、前記収音部を基準とした前記所定の音の音源の方向、及び前記音検出部により前記所定の音が検出された時刻、のうち、少なくとも１つの情報を含む、音声処理装置。
  7. 　請求項３から６のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記所定の音が検出された旨を含む警告情報を、提示部に提示させる音声処理装置。
  8. 　請求項３から７のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記所定の音を含む音声データを記録部に記録させる音声処理装置。
  9. 　請求項３から８のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記指向性処理部により音声成分が強調される方向を変更する音声処理装置。
  10. 　請求項３から９のいずれか１項に記載の音声処理装置であって、更に、
    　前記所定の音を発する音源の位置を推定し、推定された位置の情報を提示部に提示させる推定部と、
    　を備える音声処理装置。
  11. 　請求項３から１０のいずれか１項に記載の音声処理装置であって、更に、
    　前記所定の音を発する音源の位置を推定する推定部を備え、
    　前記指向性処理部は、前記推定部により推定された前記音源の位置の方向から到来する音声成分を強調する音声処理装置。
  12. 　請求項３から１１のいずれか１項に記載の音声処理装置であって、
    　前記音検出部は、前記指向性処理部により強調された音声成分の信号レベルが第１の所定の信号レベル以上又は第２の所定の信号レベル以下である場合、前記所定の音として検出する音声処理装置。
  13. 　請求項３から１２のいずれか１項に記載の音声処理装置であって、
    　前記音検出部は、前記指向性処理部により強調された音声成分の少なくとも１つから、所定のキーワードを前記所定の音として検出する音声処理装置。
  14. 　請求項１３に記載の音声処理装置であって、
    　前記処理部は、前記検出された所定のキーワードを含む音声データにおける前記所定のキーワードの部分を加工する音声処理装置。
  15. 　請求項１３に記載の音声処理装置であって、
    　前記処理部は、前記検出された所定のキーワードを含む音声データを記録部に記録させる音声処理装置。
  16. 　請求項３から１１のいずれか１項に記載の音声処理装置であって、
    　前記音検出部は、前記指向性処理部により強調された音声成分の少なくとも１つに含まれる所定の異常音を、前記所定の音として検出する音声処理装置。
  17. 　請求項３から６のいずれか１項に記載の音声処理装置であって、
    　前記画像データに対して画像認識する画像認識部を備え、
    　前記処理部は、前記画像認識部による画像認識結果に応じて、前記所定の処理を行う音声処理装置。
  18. 　請求項１７に記載の音声処理装置であって、
    　前記画像認識部は、前記画像データにおいて前記所定の音の音源の種別を認識する音声処理装置。
  19. 　請求項１７または１８に記載の音声処理装置であって、
    　前記画像認識部は、前記画像データにおいて前記所定の音の音源の動きの有無を認識する音声処理装置。
  20. 　請求項１７から１９のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記画像認識部により前記画像データに対して画像認識された場合、前記音声データ及び前記画像データを記録する記録部から、前記所定の音を含む音声データ又は前記所定の音の音源を含む画像データを検索するための検索用タグを、前記記録部に記録させる音声処理装置。
  21. 　請求項２０に記載の音声処理装置であって、
    　前記処理部は、前記記録部に記録された検索用タグに含まれる所定の検索用タグを用いて、前記所定の検索用タグと対応し、前記記録部に記録された音声データ又は画像データを取得する音声処理装置。
  22. 　請求項２０または２１に記載の音声処理装置であって、
    　前記検索用タグは、前記音源の種別、前記音源の動きの有無、及び前記音源を含むサムネイル画像、のうち、少なくとも１つを含む、音声処理装置。
  23. 　請求項１７から２２のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記所定の音が検出された旨を含む警告情報を、提示部に提示させる音声処理装置。
  24. 　請求項１７から２３のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記所定の音を含む音声データを記録部に記録させる音声処理装置。
  25. 　請求項１７から２４のいずれか１項に記載の音声処理装置であって、
    　前記処理部は、前記所定の音が検出された場合、前記画像認識部による画像認識結果に応じて、前記指向性処理部により音声成分が強調される方向を変更する音声処理装置。
  26. 　複数のマイクロホンを用いて収音する収音部を含む収音装置と、
    　画像を撮像する撮像部を含む撮像装置と、
    　前記収音部により収音された音声データを処理する音声処理装置と、
    　を備え、
    　前記音声処理装置は、
    　前記収音部により収音された音声データおよび、前記撮像部により撮像された画像データを取得するデータ取得部と、
    　前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を、複数指定する指定部と、
    　前記指定部により指定された複数の方向の、前記音声データにおける音声成分を強調する指向性処理部と、
    　を備える音声処理システム。
  27. 　請求項２６に記載の音声処理システムであって、
    　前記音声処理装置は、
    　前記指定部は、前記データ取得部によって取得した前記画像データにおける複数の画像範囲を指定し、
    　前記指向性処理部は、前記音声データにおける前記指定部により指定された複数の画像範囲の方向から到来する複数の音声成分を強調する音声処理システム。
  28. 　請求項２６または２７に記載の音声処理システムであって、
    　前記音声処理装置は、更に
    　前記指向性処理部により強調された前記複数の方向の音声成分の少なくとも１つから、所定の音を検出する音検出部と、
    　前記音検出部によって前記所定の音が検出された場合、所定の処理を行う処理部と、
    　を備える音声処理システム。
  29. 　請求項２８に記載の音声処理システムであって、
    　前記データ取得部は、前記収音装置から前記音声データを取得し、前記撮像装置から前記画像データを取得し、
    　前記音声処理装置は、
    　前記音声データ、前記画像データ、及び前記所定の音を含む音声データを検索するための検索用タグを記録する記録部を備える音声処理システム。
  30. 　請求項２８に記載の音声処理システムであって、更に、
    　データを記録する記録装置を備え、
    　前記記録装置は、前記収音部により収音された音声データと前記撮像部により撮像された画像データとを対応づけて記録し、前記所定の音を含む音声データを検索するための検索用タグを記録する記録部を備え、
    　前記データ取得部は、前記記録部から前記音声データ、前記画像データ、及び前記検索用タグを取得する、音声処理システム。
  31. 　音声処理装置における音声処理方法であって、
    　複数のマイクロホンを含む収音部により収音された音声データおよび、撮像部により撮像された画像データを取得するステップと、
    　前記画像データに基づき表示される画像上の指定箇所に対応する、前記収音部を基準とした方向を複数指定するステップと、
    　前記指定された複数の方向の、前記音声データにおける音声成分を強調するステップと、
    　を有する音声処理方法。
PCT/JP2014/001898 2014-03-31 2014-03-31 音声処理装置、音声処理システム、及び音声処理方法 WO2015151130A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480044954.0A CN105474665A (zh) 2014-03-31 2014-03-31 声音处理装置、声音处理系统及声音处理方法
PCT/JP2014/001898 WO2015151130A1 (ja) 2014-03-31 2014-03-31 音声処理装置、音声処理システム、及び音声処理方法
JP2015526798A JPWO2015151130A1 (ja) 2014-03-31 2014-03-31 音声処理方法、音声処理システム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/001898 WO2015151130A1 (ja) 2014-03-31 2014-03-31 音声処理装置、音声処理システム、及び音声処理方法

Publications (1)

Publication Number Publication Date
WO2015151130A1 true WO2015151130A1 (ja) 2015-10-08

Family

ID=54239508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001898 WO2015151130A1 (ja) 2014-03-31 2014-03-31 音声処理装置、音声処理システム、及び音声処理方法

Country Status (3)

Country Link
JP (1) JPWO2015151130A1 (ja)
CN (1) CN105474665A (ja)
WO (1) WO2015151130A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872750A (zh) * 2016-03-30 2016-08-17 苏州合欣美电子科技有限公司 基于关键字音量自适应调整的电视机
US10873824B2 (en) 2017-03-07 2020-12-22 Ricoh Company, Ltd. Apparatus, system, and method of processing data, and recording medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146614B (zh) * 2017-04-10 2020-11-06 北京猎户星空科技有限公司 一种语音信号处理方法、装置及电子设备
JP7133789B2 (ja) * 2017-09-08 2022-09-09 パナソニックＩｐマネジメント株式会社 収音装置、収音システム、収音方法、プログラム、及びキャリブレーション方法
CN110248197B (zh) * 2018-03-07 2021-10-22 杭州海康威视数字技术股份有限公司 语音增强方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051889A (ja) * 1996-08-05 1998-02-20 Toshiba Corp 音声収集装置及び音声収集方法
JPH1063967A (ja) * 1996-08-23 1998-03-06 Meidensha Corp 監視システム
JP2003110991A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 電子カメラ
JP2005124090A (ja) * 2003-10-20 2005-05-12 Sony Corp マイクロホン装置、再生装置及び撮像装置
JP2006050091A (ja) * 2004-08-02 2006-02-16 Toa Corp 映像記録装置
JP2007266793A (ja) * 2006-03-28 2007-10-11 Casio Comput Co Ltd 画像加工装置
JP2008193196A (ja) * 2007-02-01 2008-08-21 Casio Comput Co Ltd 撮像装置および指定音声出力方法
JP2010278725A (ja) * 2009-05-28 2010-12-09 Sanyo Electric Co Ltd 画像音響処理装置及び撮像装置
JP2012105199A (ja) * 2010-11-12 2012-05-31 Toshiba Corp 音響信号処理装置、テレビジョン装置及びプログラム
JP2013172411A (ja) * 2012-02-22 2013-09-02 Nec Corp 音声認識システム、音声認識方法および音声認識プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05174147A (ja) * 1991-12-24 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 動画像認識処理システム
JP2003348569A (ja) * 2002-05-28 2003-12-05 Toshiba Lighting & Technology Corp 監視カメラシステム
JP3781715B2 (ja) * 2002-11-01 2006-05-31 松下電器産業株式会社 メタデータ制作装置及び検索装置
JP2006238110A (ja) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd 監視システム
JP4861723B2 (ja) * 2006-02-27 2012-01-25 池上通信機株式会社 監視システム
JP4912184B2 (ja) * 2007-03-01 2012-04-11 沖電気工業株式会社 映像監視システムおよび映像監視方法
JP2013240000A (ja) * 2012-05-17 2013-11-28 Kyocera Corp 電子機器、録音制御プログラムおよび録音制御方法
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US9007524B2 (en) * 2012-09-25 2015-04-14 Intel Corporation Techniques and apparatus for audio isolation in video processing

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051889A (ja) * 1996-08-05 1998-02-20 Toshiba Corp 音声収集装置及び音声収集方法
JPH1063967A (ja) * 1996-08-23 1998-03-06 Meidensha Corp 監視システム
JP2003110991A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 電子カメラ
JP2005124090A (ja) * 2003-10-20 2005-05-12 Sony Corp マイクロホン装置、再生装置及び撮像装置
JP2006050091A (ja) * 2004-08-02 2006-02-16 Toa Corp 映像記録装置
JP2007266793A (ja) * 2006-03-28 2007-10-11 Casio Comput Co Ltd 画像加工装置
JP2008193196A (ja) * 2007-02-01 2008-08-21 Casio Comput Co Ltd 撮像装置および指定音声出力方法
JP2010278725A (ja) * 2009-05-28 2010-12-09 Sanyo Electric Co Ltd 画像音響処理装置及び撮像装置
JP2012105199A (ja) * 2010-11-12 2012-05-31 Toshiba Corp 音響信号処理装置、テレビジョン装置及びプログラム
JP2013172411A (ja) * 2012-02-22 2013-09-02 Nec Corp 音声認識システム、音声認識方法および音声認識プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872750A (zh) * 2016-03-30 2016-08-17 苏州合欣美电子科技有限公司 基于关键字音量自适应调整的电视机
CN105872750B (zh) * 2016-03-30 2018-12-18 绍兴市亿跃智能科技有限公司 基于关键字音量自适应调整的电视机
US10873824B2 (en) 2017-03-07 2020-12-22 Ricoh Company, Ltd. Apparatus, system, and method of processing data, and recording medium

Also Published As

Publication number Publication date
CN105474665A (zh) 2016-04-06
JPWO2015151130A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6135880B2 (ja) 音声処理方法、音声処理システム、及び記憶媒体
US10182280B2 (en) Sound processing apparatus, sound processing system and sound processing method
US20150281832A1 (en) Sound processing apparatus, sound processing system and sound processing method
US9635481B2 (en) Failure detection system and failure detection method
JP6493860B2 (ja) 監視制御システム及び監視制御方法
US10497356B2 (en) Directionality control system and sound output control method
JP6887102B2 (ja) 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法
WO2015151130A1 (ja) 音声処理装置、音声処理システム、及び音声処理方法
JP2014143678A (ja) 音声処理システム及び音声処理方法
JP2010183417A (ja) 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
JP6504539B2 (ja) 収音システム及び収音設定方法
JP6425019B2 (ja) 異常音検出システム及び異常音検出方法
JP6447976B2 (ja) 指向性制御システム及び音声出力制御方法
RU174044U1 (ru) Аудиовизуальный многоканальный детектор наличия голоса
EP2927885A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP5853181B2 (ja) 収音装置
EP2938097B1 (en) Sound processing apparatus, sound processing system and sound processing method
JP6569853B2 (ja) 指向性制御システム及び音声出力制御方法
JP2016119620A (ja) 指向性制御システム及び指向性制御方法
KR20170105727A (ko) 음성분석을 통해 화자를 추적하여 빌딩의 보안을 증강하는 방법 그를 이용한 시스템
JP2015082734A (ja) 音声処理装置、音声処理システム、及び音声処理方法
JP2016219966A (ja) 指向性制御システム及び音声出力制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480044954.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2015526798

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14888009

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14888009

Country of ref document: EP

Kind code of ref document: A1