[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6425019B2 - Abnormal sound detection system and abnormal sound detection method - Google Patents

Abnormal sound detection system and abnormal sound detection method Download PDF

Info

Publication number
JP6425019B2
JP6425019B2 JP2014259323A JP2014259323A JP6425019B2 JP 6425019 B2 JP6425019 B2 JP 6425019B2 JP 2014259323 A JP2014259323 A JP 2014259323A JP 2014259323 A JP2014259323 A JP 2014259323A JP 6425019 B2 JP6425019 B2 JP 6425019B2
Authority
JP
Japan
Prior art keywords
abnormal sound
sound detection
abnormal
sound
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014259323A
Other languages
Japanese (ja)
Other versions
JP2016118987A (en
Inventor
芳和 音成
芳和 音成
博之 丸山
博之 丸山
雅典 萩原
雅典 萩原
八浪 竜一
竜一 八浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014259323A priority Critical patent/JP6425019B2/en
Priority to PCT/JP2015/006266 priority patent/WO2016103645A1/en
Priority to US15/533,399 priority patent/US10225650B2/en
Publication of JP2016118987A publication Critical patent/JP2016118987A/en
Application granted granted Critical
Publication of JP6425019B2 publication Critical patent/JP6425019B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、異常音を検出する異常音検出システム及び異常音検出方法に関する。 The present invention relates to an abnormal sound detection system and an abnormal sound detection method for detecting an abnormal sound.

従来、防犯装置として、所定のエリア内において発生した異常音を検出した場合に、異常音を検出したことを知らせるための警報音を出力する情報処理装置が知られている(例えば、特許文献1参照)。特許文献1に示す情報処理装置では、検出した異常音の種類が判別される。   Conventionally, as a crime prevention device, there is known an information processing device which outputs an alarm sound for notifying that an abnormal sound has been detected when an abnormal sound generated in a predetermined area is detected (for example, Patent Document 1) reference). In the information processing apparatus shown in Patent Document 1, the type of the detected abnormal sound is determined.

特開2004−227116号公報JP 2004-227116 A

しかし、特許文献1を含む従来技術では、エリア内のいずれの場所においても異常音が検出された場合、警報音が一様に出力されてユーザに報知していたが、エリア内の状況によっては警報音を出力させない方がユーザの利便性を低下させない点で好ましいという課題があった。   However, in the prior art including Patent Document 1, when an abnormal sound is detected at any place in the area, the alarm sound is uniformly output to notify the user, but depending on the situation in the area, There is a problem that it is preferable not to output the alarm sound in that the convenience of the user is not reduced.

例えば、エリア内に設置されたテレビやオーディオ機器から出力された大きな音が異常音として誤検出されてしまい、監視者としてのユーザに対する利便性を低下させてしまうことがある。このような音は、テレビやオーディオ機器から出力された音の視聴者又は聴取者への娯楽等の目的のために番組で使用されたものであり、言い換えると、異常音として捉えられるべきでない音声である。   For example, a loud sound output from a television or audio device installed in an area may be erroneously detected as an abnormal sound, which may reduce the convenience for the user as a surveillance person. Such sound is used in a program for the purpose of entertainment to a viewer or listener of a sound output from a television or audio device, and in other words, it should not be regarded as an abnormal sound. It is.

従って、上述した従来技術に対し、異常音として捉えるべき音声とそうでない音声とを明確に区別して、異常音として捉えるべきでない音声が検出された場合には、警報音を出力させないようにする仕組みが必要であった。   Therefore, in contrast to the above-described prior art, a mechanism that clearly distinguishes a voice that should be caught as an abnormal sound and a voice that is not like it, and prevents a warning sound from being output when a voice that should not be caught as an abnormal sound is detected. Was necessary.

本発明は、上述した従来の状況に鑑みて案出され、異常音として捉えるべきでない音声を明確に区別し、異常音検出システム及び異常音検出方法を提供することを目的とする。 The present invention is devised in view of the above-described conventional situation, and it is an object of the present invention to clearly distinguish voices that should not be regarded as abnormal sounds and to provide an abnormal sound detection system and an abnormal sound detection method .

本発明は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。 The present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects sound of a sound collection area including a plurality of abnormal sound detection areas. A storage unit configured to store an abnormal notification not-applicable list in which the abnormal sound detection device includes an abnormal notification detection list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; On the other hand, the directivity forming unit forms directivity in a direction designated according to any of the abnormal sound detection areas, and the directivity is set in the abnormal sound detection area of any of the abnormality notification exclusion target list. When the abnormal sound is detected in the formed voice, an alert notification corresponding to the detected abnormal sound is not performed, and a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list is displayed. The abnormal sound is present in the voice in which the directivity is formed. If issued, and a notification unit that performs alert notification corresponding to said detected abnormal sound, the image pickup apparatus for imaging a sound collection region is further connected, the abnormal sound detecting apparatus, the imaging apparatus using the image of the sound collecting area which is captured by, to set the plurality of abnormal sound detection area is an abnormal sound detection system.

本発明によれば、異常音として捉えるべきでない音声を明確に区別でき、ユーザの利便性を向上できる。   According to the present invention, voices that should not be regarded as abnormal sounds can be clearly distinguished, and user convenience can be improved.

本実施形態の異常音検出システムのシステム構成の一例を示すブロック図Block diagram showing an example of the system configuration of the abnormal sound detection system of the present embodiment (A)検出対象外範囲指定リストの登録内容の一例を示すテーブル、(B)検出対象外音種類リストの登録内容を示すテーブル(A) A table showing an example of registered contents of the non-detection target range specification list, (B) a table showing registered contents of the detection target non-sound type list PCによる事前設定手順の一例を説明するフローチャートFlow chart explaining an example of the pre-setting procedure by the PC パノラマ画像が表示されたディスプレイの画面を示す図A diagram showing a screen of a display on which a panoramic image is displayed パノラマ画像に対して行われた画面分割及び設定範囲の指定を説明する図A diagram for explaining screen division and setting range designation performed on a panoramic image 検出対象外の音を指定するためのポップアップ画面を示す図Figure showing pop-up screen for specifying sound not to be detected PCによる異常音検出処理手順の一例を説明するフローチャートFlow chart for explaining an example of abnormal sound detection processing procedure by PC (A),(B)ディスプレイに表示されるアラート通知画面を示す図、(C)異常音が検出された設定範囲の撮像画像が表示されたディスプレイの画面を示す図(A), (B) A diagram showing an alert notification screen displayed on a display, (C) A diagram showing a screen of a display on which a captured image of a set range where an abnormal sound is detected is displayed 所定形状を描画することで指定された設定範囲を示す図A diagram showing the setting range specified by drawing a predetermined shape

以下、本発明に係る異常音検出システムを具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して説明する。   Hereinafter, an embodiment (hereinafter, referred to as “the present embodiment”) which specifically discloses the abnormal sound detection system according to the present invention will be described with reference to the drawings.

図1は、本実施形態の異常音検出システム5のシステム構成の一例を示すブロック図である。図1に示す異常音検出システム5は、監視用のカメラ10,10Aと、マイクアレイ20と、レコーダ40と、PC(Personal Computer)50とが、ネットワーク25を介して相互に接続された構成である。   FIG. 1 is a block diagram showing an example of the system configuration of the abnormal sound detection system 5 of the present embodiment. The abnormal sound detection system 5 shown in FIG. 1 has a configuration in which monitoring cameras 10 and 10A, a microphone array 20, a recorder 40, and a PC (Personal Computer) 50 are mutually connected via a network 25. is there.

カメラ10とマイクアレイ20とは、例えばカメラ10を中心に配置し、カメラ10を囲むようにリング型の筐体を有するマイクアレイ20を嵌め込むことで、カメラ10及びマイクアレイ20一体型の監視ユニット15を構築する。カメラ10Aは、カメラ10と同様の構成であり、カメラ10とは異なる対象エリアを撮像する単独配置型のカメラである。以下、説明を簡単にするために、カメラ10について説明し、カメラ10Aの動作については省略するが、カメラ10Aはカメラ10と同様に動作する。また、異常音検出システム5における異常音の監視対象のエリアとして、本実施形態では、例えばホテルのロビーを例示する。   The camera 10 and the microphone array 20 are disposed, for example, at the center of the camera 10, and the microphone array 20 having a ring-shaped housing is fitted so as to surround the camera 10, thereby monitoring the camera 10 and the microphone array 20 integrally. Build unit 15. The camera 10A has a configuration similar to that of the camera 10, and is a single arrangement type camera for imaging a target area different from the camera 10. Hereinafter, the camera 10 will be described in order to simplify the description, and the operation of the camera 10A will be omitted, but the camera 10A operates in the same manner as the camera 10. Further, as an area to be monitored for abnormal sound in the abnormal sound detection system 5, for example, a lobby of a hotel is exemplified in the present embodiment.

撮像装置の一例としてのカメラ10は、監視カメラとしてホテルのロビーの天井に設置され、前面に魚眼レンズを搭載した全方位画像を撮像可能な全方位カメラであり、監視対象の地点(場所)の周囲の映像(静止画及び動画を含む。以下同様。)を撮像する。カメラ10は、撮像した映像のデータ(映像データ)を、ネットワーク25を介して監視室75内のPC50に転送し、更に、レコーダ40に記録する。   The camera 10 as an example of an imaging device is an omnidirectional camera which is installed on the ceiling of the lobby of a hotel as a surveillance camera and has an fisheye lens mounted on the front and can capture an omnidirectional image. The image of (including still and moving images, and so on) is captured. The camera 10 transfers the captured video data (video data) to the PC 50 in the monitoring room 75 via the network 25 and further records the data in the recorder 40.

なお、カメラ10は、監視室75内のPC50から遠隔操作が可能なパン機能・チルト機能・ズームイン機能並びにズームアウト機能(以下、PTZ(Pan Tilt Zoom)機能という)を有するPTZカメラでもよいし、画角が予め固定された所定位置を撮像する固定カメラでもよい。   The camera 10 may be a PTZ camera having a pan function, a tilt function, a zoom in function, and a zoom out function (hereinafter referred to as a PTZ (Pan Tilt Zoom) function) capable of remote control from the PC 50 in the monitoring room 75. It may be a fixed camera which picks up a predetermined position at which the angle of view is previously fixed.

収音装置の一例としてのマイクアレイ20は、ホテルのロビーの天井に設置され、収音部の一例としての複数のマイクロホン22(例えば図4参照)が一様に設けられた筐体を有する。マイクアレイ20は、各々のマイクロホン22を用いて、監視対象の地点(場所)周囲の音声を収音し、各々のマイクロホン22により収音された音声のデータ(音声データ)を、ネットワーク25を介して監視室75内のPC50に送信し、更に、レコーダ40に記録する。なお、各マイクロホン22は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン(例えばガンマイク)又はこれらの組み合わせが用いられても良い。   A microphone array 20 as an example of a sound collection device is installed on a ceiling of a lobby of a hotel, and has a housing in which a plurality of microphones 22 (see, for example, FIG. 4) as an example of a sound collection unit are uniformly provided. The microphone array 20 picks up the sound around the point to be monitored (location) using each of the microphones 22, and the voice data (voice data) collected by each of the microphones 22 is transmitted via the network 25. Then, the data is transmitted to the PC 50 in the monitoring room 75 and is further recorded in the recorder 40. Each microphone 22 may be a non-directional microphone, or a bi-directional microphone, a unidirectional microphone, a sharp directional microphone, a super directional microphone (for example, a gun microphone), or a combination thereof may be used.

レコーダ40は、データの記録等の各処理を制御するための制御部(不図示)と、映像データ及び音声データを格納するための記録部(不図示)とを含む構成である。レコーダ40は、カメラ10により撮像された映像データと、マイクアレイ20により収音された音声データとを対応付けて記録する。   The recorder 40 is configured to include a control unit (not shown) for controlling each process such as data recording, and a recording unit (not shown) for storing video data and audio data. The recorder 40 associates the video data captured by the camera 10 with the audio data collected by the microphone array 20 and records them.

異常音検出装置の一例としてPC50は、例えば監視者77が常駐する監視室75に設置され、信号処理部51、メモリ52、操作部53及び再生部60を有し、カメラ10,10Aで撮像された映像及びマイクアレイ20で収音された音声を用いた収音領域の監視処理を行う。   As an example of the abnormal sound detection device, a PC 50 is installed in, for example, a monitoring room 75 in which a monitor 77 resides, and has a signal processing unit 51, a memory 52, an operation unit 53 and a reproduction unit 60. A sound collection area monitoring process is performed using the captured image and the sound collected by the microphone array 20.

信号処理部51は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、PC50の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を実行する。   The signal processing unit 51 is configured using, for example, a central processing unit (CPU), a micro processing unit (MPU), or a digital signal processor (DSP), and control processing for overall control of the operation of each unit of the PC 50 Execute data input / output processing, data calculation (calculation) processing, and data storage processing with each part of.

指向性形成部の一例としての信号処理部51は、マイクアレイ20から直接転送された、或いはレコーダ40からに記録された音声データを用いて、音声データの指向性制御処理により、各々のマイクロホンにより収音された各音声データを加算し、マイクアレイ20の各マイクロホン22の位置から監視者77により指定された特定方向への音声(例えば音量レベル)を強調(増幅)するために、特定方向への指向性を形成した音声データを生成する。なお、マイクアレイ20によって収音された音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開2014−143678号公報等に示されるように、公知技術である。   The signal processing unit 51 as an example of the directivity forming unit uses the voice data directly transferred from the microphone array 20 or recorded from the recorder 40, and performs directivity control processing of the voice data by each microphone. In order to add the collected voice data and to enhance (amplify) the voice (for example, the volume level) from the position of each microphone 22 of the microphone array 20 to a specific direction designated by the monitor 77, To generate voice data forming the directivity of A technique related to directivity control processing of audio data for forming directivity of voice collected by the microphone array 20 is a known technique as disclosed in, for example, JP-A-2014-143678.

言い換えると、信号処理部51は、マイクアレイ20から送信された音声データを用いて、マイクアレイ20から特定方向(指向方向)への音声の音量レベルを強調(増幅)するために、特定方向への指向性を形成した音声データを生成する。また、特定方向とは、マイクアレイ20から、監視者77の操作部53を介して指定された所定の指定箇所に対応する位置に向かう方向であり、音声データの音量レベルを強調(増幅)するために監視者77を含むユーザにより指定される方向である。   In other words, the signal processing unit 51 uses voice data transmitted from the microphone array 20 to increase (amplify) the volume level of voice from the microphone array 20 in a specific direction (directed direction). To generate voice data forming the directivity of Further, the specific direction is a direction from the microphone array 20 to a position corresponding to a predetermined designated portion designated through the operation unit 53 of the monitor 77, and emphasizes (amplifies) the volume level of audio data. And the direction specified by the user including the observer 77.

信号処理部51は、全方位カメラによって撮像された映像データの座標系(例えばx軸,y軸,z軸のうち2次元又は3次元の座標変換)の変換処理を行い、変換処理後の映像データをディスプレイ63に表示させる。ディスプレイ63に映像データを表示する場合、映像データの表示の方法として、円形画像、矩形画像、パノラマ画像の3通りの方法がある。各表示方法については後述するが、ここでは、説明を分かり易くするために、パノラマ画像を用いる場合を示す。   The signal processing unit 51 performs conversion processing of the coordinate system (for example, two-dimensional or three-dimensional coordinate conversion among the x-axis, y-axis, and z-axis) of the video data captured by the omnidirectional camera, and the video after conversion processing The data is displayed on the display 63. In the case of displaying video data on the display 63, there are three methods of displaying video data, a circular image, a rectangular image, and a panoramic image. Although each display method will be described later, here, in order to make the description easy to understand, a case of using a panoramic image is shown.

操作部53は、例えばディスプレイ63の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部53は、ユーザの操作に応じて、音声データの音量レベルの強調(増幅)を所望する1つ以上の指定箇所の座標のデータを信号処理部51に出力する。なお、操作部53は、マウス又はキーボード等のポインティングデバイスを用いて構成されても良い。   The operation unit 53 is disposed, for example, in correspondence with the screen of the display 63, and is configured using a touch panel or a touch pad that allows an input operation with a user's finger or a stylus pen. The operation unit 53 outputs, to the signal processing unit 51, data of the coordinates of one or more designated places where enhancement (amplification) of the volume level of the audio data is desired according to the operation of the user. The operation unit 53 may be configured using a pointing device such as a mouse or a keyboard.

再生部60は、ディスプレイ63とスピーカ65とを含む構成であり、カメラ10から送信された、或いはレコーダ40に記録された映像データをディスプレイ63に表示させ、更に、マイクアレイ20から送信された或いはレコーダ40に記録された音声データをスピーカ65に音声出力させる。なお、ディスプレイ63及びスピーカ65は、再生部60とは別々の構成としても良い。   The playback unit 60 is configured to include a display 63 and a speaker 65, and causes the display 63 to display the video data transmitted from the camera 10 or recorded in the recorder 40, and further transmitted from the microphone array 20 or The audio data recorded in the recorder 40 is output to the speaker 65 as audio. The display 63 and the speaker 65 may be configured separately from the reproduction unit 60.

表示部の一例としてのディスプレイ63は、カメラ10によって撮像されてネットワーク25を介して転送された、或いはレコーダ40に記録された映像データを表示する。音声出力部の一例としてのスピーカ65は、マイクアレイ20によって収音されてネットワーク25を介して転送された、或いはレコーダ40に記録された音声データ、若しくはその音声データを基にして、信号処理部51により指向性が形成された後の音声データ(言い換えると、特定方向への強調処理が行われた音声データ)を音声出力する。   The display 63 as an example of the display unit displays video data captured by the camera 10 and transferred via the network 25 or recorded in the recorder 40. The speaker 65 as an example of the audio output unit is a signal processing unit based on audio data collected by the microphone array 20 and transferred via the network 25 or recorded in the recorder 40 or the audio data thereof. The voice data after the directivity is formed by the voice 51 (in other words, the voice data subjected to the enhancement processing in the specific direction) is voice-outputted.

記憶部の一例としてのメモリ52は、各種データを記憶する揮発性メモリ及び不揮発性メモリからなる記憶媒体を用いて構成され、後述する検出対象外範囲指定リスト31(図2(A)参照)、検出対象外音種類リスト32(図2(B)参照)等のデータを記憶する。   The memory 52 as an example of the storage unit is configured using a storage medium including volatile memory and non-volatile memory for storing various data, and is a detection target outside range designation list 31 (see FIG. 2A) described later. Data such as the non-target sound type list 32 (see FIG. 2B) is stored.

図2(A)は、検出対象外範囲指定リスト31の登録内容の一例を示すテーブルである。図2(B)は、検出対象外音種類リスト32の登録内容の一例を示すテーブルである。図2(A)に示す検出対象外範囲指定リスト31には、レコードを示す番号毎に、設定範囲、検出対象外音及び備考欄が登録されている。例えば、番号L1のレコードには、設定範囲B1,C1の検出対象外音が「水音」であることが登録されている。また、番号L2のレコードには、設定範囲B6,C6の検出対象外音が「全ての音」であることが登録されている。なお、範囲の指定の方法については後述する。   FIG. 2A is a table showing an example of registered contents of the non-detection target range designation list 31. FIG. 2B is a table showing an example of the registered contents of the detection target non-sound type list 32. In the non-detection target range designation list 31 shown in FIG. 2A, a setting range, a detection target non-sound, and a remarks column are registered for each number indicating a record. For example, in the record of the number L1, it is registered that the detection target outside sound in the setting ranges B1 and C1 is "water sound". Further, in the record of the number L2, it is registered that the outside sound to be detected in the setting ranges B6 and C6 is "all sounds". The method of specifying the range will be described later.

また、図2(B)に示す検出対象外音種類リスト32には、検出対象外の音声が複数種類登録されている。例えば検出対象外の音の種類として、「水音」、「爆発音」、「全ての音」、「悲鳴」等が登録されている。これらの音は、後述するように、検出外対象音として任意に設定可能である。   Further, in the non-target sound type list 32 shown in FIG. 2 (B), plural types of voices other than the target sound are registered. For example, “water sound”, “explosive sound”, “all sounds”, “scream”, etc. are registered as types of sounds not to be detected. These sounds can be arbitrarily set as non-detection target sounds as described later.

次に、上記した構成を有する異常音検出システム5の動作を具体的に説明する。   Next, the operation of the abnormal sound detection system 5 having the above-described configuration will be specifically described.

図3は、PC50による事前設定手順の一例を説明するフローチャートである。この事前設定処理では、監視者77を含むユーザによる入力操作に従って各種の設定が行われる。まず、信号処理部51は、カメラ10で撮像された全方位画像をディスプレイ63に表示させる(S1)。   FIG. 3 is a flowchart for explaining an example of the pre-setting procedure by the PC 50. In this presetting process, various settings are performed in accordance with an input operation by the user including the monitor 77. First, the signal processing unit 51 causes the display 63 to display the omnidirectional image captured by the camera 10 (S1).

信号処理部51が全方位画像をディスプレイ63の画面に表示させる場合、例えば3通りの方法がある。カメラ10は、前述したように、前面に魚眼レンズ(不図示)を搭載した全方位カメラであるため、特段の補正処理がなされない場合には、撮像画像は円形画像となる。   When the signal processing unit 51 causes the omnidirectional image to be displayed on the screen of the display 63, there are, for example, three methods. As described above, since the camera 10 is an omnidirectional camera having a fisheye lens (not shown) mounted on the front surface, the captured image is a circular image when no special correction processing is performed.

第1の表示方法では、信号処理部51は、カメラ10で撮像された全方位画像をそのまま表示出力させる。この場合、全方位画像は円形画像であるので、撮像中心から遠ざかる程、歪んだ画像となる。   In the first display method, the signal processing unit 51 causes the omnidirectional image captured by the camera 10 to be displayed and output as it is. In this case, since the omnidirectional image is a circular image, the image becomes distorted as it goes away from the imaging center.

第2の表示方法では、信号処理部51は、円形画像に対しその中心から扇形の部分画像を切り取り、この扇形の部分画像に対し所定の歪補正を行い、矩形画像を表示させる。   In the second display method, the signal processing unit 51 cuts out a fan-shaped partial image from the center of the circular image, performs predetermined distortion correction on the fan-shaped partial image, and displays a rectangular image.

第3の表示方法では、信号処理部51は、円形画像に対し所定のパノラマ変換を行い、全景画像としてのパノラマ画像を表示させる。上記したように、本実施形態では、パノラマ画像が表示された場合を説明する。   In the third display method, the signal processing unit 51 performs predetermined panoramic conversion on the circular image, and displays a panoramic image as a panoramic image. As described above, in the present embodiment, the case where a panoramic image is displayed will be described.

図4は、パノラマ画像GZが表示されたディスプレイ63の画面を示す図である。ディスプレイ63の画面には、ホテルのロビーの天井に設置されたカメラ10が真下に向けて撮像した場合のパノラマ画像GZが表示されている。また、ディスプレイ63の画面の略中央には、パノラマ画像GZと重なるように、カメラ10とマイクアレイ20とが一体となるように組み合わされた監視ユニット15が表示されてもよい。   FIG. 4 is a view showing the screen of the display 63 on which the panoramic image GZ is displayed. On the screen of the display 63, a panoramic image GZ when the camera 10 installed on the ceiling of the lobby of the hotel is imaged directly downward is displayed. Further, at substantially the center of the screen of the display 63, the monitoring unit 15 in which the camera 10 and the microphone array 20 are combined so as to be integrated with the panoramic image GZ may be displayed.

また、パノラマ画像GZの略中央には、テーブル83、3組のソファ84,85,86及びソファ84に座る人物91、ソファ85に座る2人の人物92,93が映っている。パノラマ画像GZの左側には、噴水81,配水管87,生け花88が映っている。パノラマ画像GZの右側には、テレビ82,生け花89が映っている。パノラマ画像GZの上側には、扉94,96及び扉94の近くにいる人物95が映っている。   In the approximate center of the panoramic image GZ, a table 83, three sets of sofas 84, 85, 86 and a person 91 sitting on the sofa 84, and two persons 92 and 93 sitting on the sofa 85 are shown. On the left side of the panoramic image GZ, a fountain 81, a water pipe 87, and an arrangement flower 88 are shown. On the right side of the panoramic image GZ, the television 82 and the flower arrangement 89 are shown. On the upper side of the panoramic image GZ, a door 94, 96 and a person 95 near the door 94 are shown.

信号処理部51は、ディスプレイ63に表示されたパノラマ画像GZに対し、画面分割が設定されたか否かを判別する(S2)。即ち、信号処理部51は、ユーザ(例えば監視者77)の操作部53に対する入力操作によって画面分割の設定を受け付けたか否かを判別する。画面分割の設定の方法として、予め登録された分割フォーマットをユーザが選択することによって画面分割を行う方法がある。   The signal processing unit 51 determines whether or not the screen division is set for the panoramic image GZ displayed on the display 63 (S2). That is, the signal processing unit 51 determines whether or not the screen division setting is accepted by an input operation on the operation unit 53 of the user (for example, the monitor 77). As a method of setting the screen division, there is a method of dividing the screen by the user selecting a division format registered in advance.

図5は、パノラマ画像GZに対して行われた画面分割及び設定範囲の指定を説明する図である。例えば図5には、パノラマ画像GZが表示されたディスプレイ63の画面を4×6のマス目に分割する場合が示されている。4×6のマス目に分割された場合、24箇所の異常音検出領域が対象エリア80(ここでは、ホテルのロビー)に設定されたことになる。図5では、設定範囲A1〜D6が設定されている。つまり、パノラマ画像GZに対して設定された個々の設定範囲A1〜D6は、対象エリア80の一部である異常音検出領域に相当する。なお、画面分割の形態は、図5に示す4×6のマス目の例に限らず、例えば4×4、8×4等のマス目、或いはマス目のような矩形でなく、菱形や三角形で区画するように行われてもよい。以下、所定形状で区画するように画面分割された個々の範囲を「設定範囲」と称する。   FIG. 5 is a diagram for explaining screen division and setting range setting performed on the panoramic image GZ. For example, FIG. 5 shows a case where the screen of the display 63 on which the panoramic image GZ is displayed is divided into 4 × 6 squares. When divided into 4 × 6 squares, 24 abnormal sound detection areas are set in the target area 80 (here, the lobby of the hotel). In FIG. 5, setting ranges A1 to D6 are set. That is, the individual setting ranges A1 to D6 set for the panoramic image GZ correspond to the abnormal sound detection area which is a part of the target area 80. The form of the screen division is not limited to the example of the 4 × 6 grid shown in FIG. 5, but it is not a rectangle such as 4 × 4, 8 × 4, etc. or a grid such as rhombus or triangle. It may be performed to divide by. Hereinafter, each range divided into the screen so as to be divided into a predetermined shape is referred to as a “setting range”.

信号処理部51は、画面分割が設定されていない場合(S2、NO)、ステップS1に戻ってディスプレイ63の画面にパノラマ画像GZを表示し続ける。一方、画面分割の設定が完了すると(S2、YES)、信号処理部51は、複数の異常検出領域の中から特定の異常検出領域(例えば、噴水やテレビが置かれている領域)に相当する設定範囲を全設定範囲の中から指定する(S3)。   When the screen division is not set (S2, NO), the signal processing unit 51 returns to step S1 and continues to display the panoramic image GZ on the screen of the display 63. On the other hand, when the setting of screen division is completed (S2, YES), the signal processing unit 51 corresponds to a specific abnormality detection area (for example, an area where a fountain or a television is placed) among a plurality of abnormality detection areas. A setting range is designated from among all setting ranges (S3).

この設定範囲の指定の方法には、いくつか挙げられる。例えば、図5に示すように、予め画面分割された個々の設定範囲に対し、識別番号(ここでは、A1、…、D6)を割り当てておき、ユーザが操作部53(例えばキーボード)から所望の設定範囲に対応する識別番号を入力することで、所望の設定範囲が指定される。また、ディスプレイ63の画面にパノラマ画像GZに重なるように表示された全設定範囲の中から、カーソル108で1つ1つ設定範囲を選択することでも、所望の設定範囲を指定可能である。指定された設定範囲は、他の設定範囲と区別可能な表示形態(例えば、反転表示、網点表示)で表示される。図5では、指定された設定範囲B1、C1、B6、C6は、網掛けで表示されている。   There are several ways to specify this setting range. For example, as shown in FIG. 5, identification numbers (here, A1,..., D6) are assigned to individual setting ranges divided in advance in advance, and the user desires from the operation unit 53 (for example, a keyboard). A desired setting range is designated by inputting an identification number corresponding to the setting range. Further, it is possible to specify a desired setting range by selecting the setting range one by one with the cursor 108 out of the entire setting ranges displayed so as to overlap the panoramic image GZ on the screen of the display 63. The designated setting range is displayed in a display form (for example, reverse display, halftone dot display) that can be distinguished from other setting ranges. In FIG. 5, the designated setting ranges B1, C1, B6, and C6 are displayed by hatching.

信号処理部51は、ステップS3で指定された選択範囲に対し、検出対象外の音を指定する(S4)。検出対象外の音の指定は、例えば検出対象外の音の一覧を表すポップアップ画面120(図6参照)をディスプレイ63に表示し、ユーザがカーソル108で1つ1つ検出対象外の音を選択することで、検出対象外の音を指定可能である。図6は、検出対象外の音を指定するためのポップアップ画面120を示す図である。このポップアップ画面120には、検出対象外の音として、図2(B)に示す検出対象外音種類リスト32に挙げられた検出対象外の音が選択可能に表示される。   The signal processing unit 51 designates a sound not to be detected in the selection range designated in step S3 (S4). For the specification of sounds not to be detected, for example, a pop-up screen 120 (see FIG. 6) representing a list of sounds not to be detected is displayed on the display 63, and the user selects the sounds not to be detected one by one with the cursor 108. By doing this, it is possible to specify a sound not to be detected. FIG. 6 is a diagram showing a pop-up screen 120 for specifying a sound not to be detected. On the pop-up screen 120, sounds not included in the detection target non-sound type list 32 shown in FIG. 2B are displayed as selectable sounds outside the detection target.

具体的に、「水音」、「爆発音」、「全ての音」、「悲鳴」等である。図2(A)に示すように、噴水81が設置されている異常音検出領域に相当する設定範囲B1,C1に対し、検出対象外の音として「水音」が指定される。また、テレビ82が設置されている異常音検出領域に相当する設定範囲B6,C6に対し、検出対象外の音として「全ての音」が指定される。これにより、PC50における事前設定処理が終了する。   Specifically, "water sound", "explosive sound", "all sounds", "screams" and the like. As shown in FIG. 2A, “water sound” is designated as a sound other than the detection target in the setting ranges B1 and C1 corresponding to the abnormal sound detection area in which the fountain 81 is installed. In addition, "all sounds" are specified as the sounds not to be detected in the setting ranges B6 and C6 corresponding to the abnormal sound detection area in which the television 82 is installed. Thus, the presetting process in the PC 50 ends.

図7は、PC50による異常音検出処理手順の一例を説明するフローチャートである。異常音検出処理は、事前設定が済んだ後の運用時に行われる処理である。運用時においては、カメラ10は対象エリア80をリアルタイムに撮像し、この撮像画像を映像データとしてPC50に転送し、更に、レコーダ40に記録させる。また、マイクアレイ20は、カメラ10の撮像動作と同期して対象エリア80をリアルタイムに収音し、この収音した音声を音声データとしてPC50に転送し、更に、レコーダ40に記録させる。   FIG. 7 is a flowchart for explaining an example of an abnormal sound detection processing procedure by the PC 50. The abnormal sound detection process is a process performed at the time of operation after presetting. During operation, the camera 10 captures an image of the target area 80 in real time, transfers the captured image as video data to the PC 50, and causes the recorder 40 to record the image. Further, the microphone array 20 picks up the target area 80 in real time in synchronization with the imaging operation of the camera 10, transfers the picked up voice as voice data to the PC 50, and causes the recorder 40 to record it.

信号処理部51は、カメラ10から転送された撮像データを基に、ディスプレイ63の画面に対象エリア80のパノラマ画像GZを表示する(S11)。信号処理部51は、パノラマ画像GZに対し画面分割によって設定された設定範囲の1つが指定されるまで待つ(S12)。この設定範囲の指定は、信号処理部51が自動的に例えば全設定範囲の中から順番に1つを選択することで行われてもよいし、ユーザが任意に選択することで行われてもよい。   The signal processing unit 51 displays the panoramic image GZ of the target area 80 on the screen of the display 63 based on the imaging data transferred from the camera 10 (S11). The signal processing unit 51 waits for designation of one of the setting ranges set by screen division for the panoramic image GZ (S12). The specification of the setting range may be performed by the signal processing unit 51 automatically selecting one from among all the setting ranges, for example, or by the user arbitrarily selecting. Good.

ステップS12で設定範囲が指定されると(S12、YES)、信号処理部51は、マイクアレイ20で収音された対象エリア全体の音声の中から、指定された設定範囲の音声を強調するために、前述した音声データの指向性制御処理を実行し、指定された方向に音声の指向性を形成し、指定された方向の音声を出力する(S13)。   When the setting range is designated in step S12 (S12, YES), the signal processing unit 51 emphasizes the voice of the designated setting range out of the voice of the entire target area collected by the microphone array 20. Then, the directivity control process of the voice data described above is executed, the voice directivity is formed in the designated direction, and the voice in the designated direction is output (S13).

信号処理部51は、ステップS13で出力された音声を基に異常音が発生したか否かを判別する(S14)。異常音の判別では、例えば音量と周波数特性との少なくとも一方が用いられる。即ち、音声が予め設定された閾値を超える音量を有する場合、出力された音声は異常音と判別される。また、音声の周波数特性が所定の条件を満たす場合、例えば音声の周波数特性を解析し、中心周波数とその分布が特定の周波数範囲に含まれる場合、出力された音声は異常音と判別され、更にその種類が特定される。ここでは、出力された音声が異常音と判別され、更にその種類が特定される場合を示す。なお、音量と周波数特性との両方が用いられてもよい。   The signal processing unit 51 determines whether or not an abnormal sound is generated based on the voice output in step S13 (S14). In the determination of the abnormal sound, for example, at least one of the volume and the frequency characteristic is used. That is, when the sound has a volume higher than a preset threshold, the output sound is determined as an abnormal sound. Further, when the frequency characteristic of the voice satisfies a predetermined condition, for example, the frequency characteristic of the voice is analyzed, and when the center frequency and the distribution thereof are included in a specific frequency range, the outputted voice is determined as an abnormal sound and further The type is identified. Here, the case where the output sound is determined as an abnormal sound and the type is specified is further shown. Note that both volume and frequency characteristics may be used.

ステップS14で異常音が発生していない場合(S14、NO)、信号処理部51は、次の設定範囲を指定する(S15)。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部51は、前述した順番に従って次の設定範囲を指定する。そして、信号処理部51はステップS13の処理に戻る。   When the abnormal sound is not generated in step S14 (S14, NO), the signal processing unit 51 designates the next setting range (S15). As described above, when the user does not particularly designate the setting range, the signal processing unit 51 designates the next setting range in the order described above. Then, the signal processing unit 51 returns to the process of step S13.

一方、ステップS14で異常音が発生した場合(S14、YES)、信号処理部51は、指定された設定範囲が、この異常音を検出すべき範囲であるか否か、つまり図2(A)に示す検出対象外範囲指定リスト31に該当しない設定範囲であるか否かを判別する(S16)。例えば指定された設定範囲が「B1」であり、異常音の種類が「水音」である場合、指定された範囲は、異常音を検出すべき範囲でないと判別される。   On the other hand, when an abnormal sound is generated in step S14 (S14, YES), the signal processing unit 51 determines whether the designated setting range is a range in which the abnormal sound should be detected, that is, FIG. It is determined whether or not the setting range does not correspond to the non-detection target range designation list 31 shown in (S16). For example, when the designated setting range is “B1” and the type of the abnormal sound is “water sound”, it is determined that the designated range is not a range in which the abnormal sound should be detected.

ステップS16で異常音を検出すべき範囲でないと判別された場合(S16、NO)、信号処理部51は、アラート通知をしない(アラートOFF)と判断し(S17)、次の設定範囲を指定する(S18)。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部51は、前述した順番に従って次の設定範囲を指定する(S18)。そして、信号処理部51はステップS13の処理に戻る。   If it is determined in step S16 that the abnormal sound is not within the range to be detected (S16, NO), the signal processing unit 51 determines that alert notification is not to be issued (alert OFF) (S17), and designates the next setting range. (S18). As described above, when the user does not particularly designate the setting range, the signal processing unit 51 designates the next setting range in the order described above (S18). Then, the signal processing unit 51 returns to the process of step S13.

一方、ステップS16で異常音を検出すべき範囲であると判別された場合(S16、YES)、信号処理部51は、アラート通知(アラートON)を行う(S19)。例えば、指定された範囲が「A5」であり、異常音の種類が「悲鳴」である場合、指定された範囲は異常音を検出すべき範囲であると判別され、アラート通知が行われる。本実施形態では、アラート通知として、スピーカ65から警報音が鳴動し、ディスプレイ63の画面に警報メッセージが表示される。   On the other hand, when it is determined that the abnormal sound is to be detected in step S16 (S16, YES), the signal processing unit 51 performs alert notification (alert ON) (S19). For example, when the designated range is “A5” and the type of abnormal sound is “scream”, it is determined that the designated range is a range in which the abnormal sound should be detected, and alert notification is performed. In the present embodiment, as the alert notification, an alarm sound is emitted from the speaker 65, and an alarm message is displayed on the screen of the display 63.

図8(A),(B)は、ディスプレイ63に表示されるアラート通知画面を示す図である。図8(A)に示すアラート通知画面では、「設定範囲A5のエリアで悲鳴が聞こえました。確認して下さい。」の警報メッセージが表示される。そして、ユーザ(例えば監視者77)が、設定範囲A5のエリアの状況を点検し、その後、この画面に表示されたOKボタン63zをカーソルや特定のキー操作等で選択すると、この警報メッセージは消去される。   FIGS. 8A and 8B show an alert notification screen displayed on the display 63. FIG. In the alert notification screen shown in FIG. 8 (A), an alarm message of “You hear a scream in the area of setting range A5. Please confirm.” Is displayed. Then, when the user (for example, the monitor 77) checks the condition of the area of the setting range A5 and then selects the OK button 63z displayed on this screen by a cursor or a specific key operation, the alarm message is deleted. Be done.

図8(B)に示すアラート通知画面では、図8(A)と同様の警報メッセージとともに、確認ボタン63yが表示される。ユーザ(例えば監視者77)がこの確認ボタン63yを押下すると、カメラ10によって撮像された、異常音が検出された設定範囲A5の画像がディスプレイ63の画面一杯に表示される。図8(C)は、異常音が検出された設定範囲の撮像画像が表示されたディスプレイ63の画面を示す図である。ここでは、ディスプレイ63の画面には、設定範囲A5において、扉94が開かれ、人物95と別の人物91とがトラブルとなっている状況が映し出されている。なお、ユーザは、図8(A)に示すアラート通知画面と図8(B)に示すアラート通知画面とのいずれの画面をディスプレイ63に表示させるかを選択可能である。   On the alert notification screen shown in FIG. 8 (B), a confirmation button 63y is displayed together with an alarm message similar to that of FIG. 8 (A). When the user (for example, the monitor 77) presses the confirmation button 63y, the image of the setting range A5 captured by the camera 10 and in which the abnormal sound is detected is displayed on the entire screen of the display 63. FIG. 8C is a view showing the screen of the display 63 on which the captured image of the setting range in which the abnormal sound is detected is displayed. Here, on the screen of the display 63, in the setting range A5, the door 94 is opened, and a situation in which the person 95 and another person 91 are in trouble is shown. The user can select which of the alert notification screen shown in FIG. 8A and the alert notification screen shown in FIG. 8B is to be displayed on the display 63.

以上により、本実施形態の異常音検出システム5では、予め異常音の検出対象外となる設定範囲及び音の種類を登録しておくことで、ホテルのロビーのような対象エリア80において、異常音が検出されても、そこに設置されたテレビ82から流れる音声や噴水81が発する水音等は、異常音として誤検出されることが無くなる。つまり、異常音として捉えるべき音声が検出された場合には、PC50は、アラート通知を行い、異常音として捉えるべきでない音声が検出された場合には、アラート通知を行わない。これにより、異常音として捉えるべき音声とそうでない音声とを明確に区別でき、ユーザ(例えば監視者77)の監視時における利便性の劣化を抑制できる。   As described above, in the abnormal sound detection system 5 of the present embodiment, the abnormal sound is not detected in the setting range and the type of the sound in advance, so that the abnormal sound can be detected in the target area 80 such as the hotel lobby. Even if is detected, the sound flowing from the television 82 installed there and the water sound etc. emitted by the fountain 81 will not be erroneously detected as abnormal sound. That is, when a sound to be captured as an abnormal sound is detected, the PC 50 performs alert notification, and when a sound not to be captured as an abnormal sound is detected, the alert notification is not performed. As a result, it is possible to clearly distinguish the voice that should be caught as an abnormal sound and the voice that is not so, and to suppress the deterioration of convenience when monitoring the user (for example, the monitor 77).

例えば、上記実施形態では、画面を分割することで得られた複数の設定範囲のいずれかを選択することで、設定範囲が指定されたが、画面を分割することなく、設定範囲が指定されてもよい。一例として、ユーザがディスプレイ63の画面に表示された対象エリアの画像に対し、ユーザの嗜好に応じた所定形状が描画されたことで、設定範囲が指定されてもよい。図9は、所定形状を描画することで指定された設定範囲を示す図である。ユーザは、ディスプレイ63の画面に対し、カーソル108を移動させ、或いはスタイラスペン(図示せず)でなぞって閉曲線を描画することで、設定範囲を指定してもよい。図9には、テレビ82を囲むように閉曲線103が描かれている。このように、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、操作性が向上する。   For example, in the above embodiment, the setting range is specified by selecting one of a plurality of setting ranges obtained by dividing the screen, but the setting range is specified without dividing the screen. It is also good. As an example, the setting range may be designated by drawing a predetermined shape according to the preference of the user on the image of the target area displayed on the screen of the display 63 by the user. FIG. 9 is a diagram showing a setting range designated by drawing a predetermined shape. The user may designate the setting range by moving the cursor 108 on the screen of the display 63 or drawing a closed curve by tracing with a stylus pen (not shown). In FIG. 9, a closed curve 103 is drawn so as to surround the television 82. Thus, the user can arbitrarily determine the shape and size of the area, and can appropriately specify the setting range. As a result, the degree of freedom in setting the setting range is enhanced, and the operability is improved.

また、上記実施形態では、異常音が発生すると、最初にその種類を特定した後、その後、発生元が検出すべき設定範囲であるか否かを判別していたが、最初に異常音の発生箇所(設定範囲)を特定し、この発生箇所が検出対象外範囲指定リストに掲載されている場合、続いて異常音の種類が検出対象外の音であるか否かを判別するようにしてもよい。これにより、異常音の発生個所が検出すべき設定範囲でない場合、異常音の種類を特定する処理を省くことができ、PC50が行う処理の負荷を軽減できる。   Further, in the above embodiment, when an abnormal sound is generated, the type is first identified, and thereafter it is determined whether or not the generation source is a setting range to be detected. Even if the location (setting range) is specified and this occurrence location is included in the outside detection range specification list, then it is determined whether or not the type of abnormal sound is an outside detection target sound. Good. As a result, when the generation position of the abnormal sound is not within the setting range to be detected, the process of specifying the type of abnormal sound can be omitted, and the load of the process performed by the PC 50 can be reduced.

また、上記実施形態では、異常音検出システム5は、アラート通知を行う場合、警報音の鳴動と警報メッセージの表示とを行ったが、その他、異常音(例えばガラスの割れる音)を検出した時点又は所定時間の経過後に、監視者77を含むユーザが所持する携帯端末にメールを送信してもよいし、監視室75に設置された警報ランプを点灯させてもよい。また、異常音検出システム5は、異常音の検出を外部端末(例えば監視者77を含むユーザが所持する携帯端末)に通知したことをPC50のメモリ52に記憶させてもよい。これにより、異常音検出システム5は、収音領域に対する第三者の不法侵入に対する対策を施すことができる。また、警報音の代わりに、第三者に警報を意識させないように、特定のメロディ音を流すようにしてもよい。   Further, in the above embodiment, the abnormal sound detection system 5 performs the ringing of the alarm sound and the display of the alarm message when performing the alert notification, but in addition, the time when the abnormal sound (for example, the sound of broken glass) is detected Alternatively, an e-mail may be sent to a portable terminal owned by a user including the monitor 77 after a predetermined time has elapsed, or an alarm lamp installed in the monitoring room 75 may be turned on. In addition, the abnormal sound detection system 5 may store in the memory 52 of the PC 50 that the detection of the abnormal sound has been notified to the external terminal (for example, a portable terminal possessed by the user including the monitor 77). As a result, the abnormal sound detection system 5 can take measures against a third party's illegal intrusion into the sound collection area. Further, instead of the alarm sound, a specific melody sound may be flowed so as not to make the third party aware of the alarm.

また、上記実施形態では、PC50は、カメラ10からリアルタイムに撮像された画像、及びこのカメラ10と同期してマイクアレイ20から収音された音声を監視する場合を示したが、レコーダ40に記録された映像データ及び音声データを後から分析する場合においても、同様に異常音検出動作を行うようにしてもよい。この場合、検出すべきでない設定範囲では、異常音と判定しないので、記録された映像データ及び音声データを分析する際、速やかな分析が可能となる。   In the above embodiment, the PC 50 monitors the image captured in real time from the camera 10 and the sound collected from the microphone array 20 in synchronization with the camera 10. Also in the case of later analyzing the video data and the audio data, the abnormal sound detection operation may be performed similarly. In this case, in the setting range which should not be detected, since it is not determined as an abnormal sound, when analyzing the recorded video data and audio data, quick analysis becomes possible.

以下に、本発明に係る異常音検出システムの構成、作用、効果について列挙する。   The configuration, operation, and effects of the abnormal sound detection system according to the present invention will be listed below.

本発明の一実施形態は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備える、異常音検出システムである。   One embodiment of the present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects voice in a sound collection area including a plurality of abnormal sound detection areas. A storage unit that has a sound collection unit that sounds, and the abnormal sound detection device stores an abnormality notification exclusion list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; A directivity forming unit that forms directivity in a direction designated according to any of the abnormal sound detection areas for the sounded sound, and the abnormal sound detection area of any of the abnormality notification non-target list. When the abnormal sound is detected in the voice in which the directivity is formed, an alert notification corresponding to the detected abnormal sound is not performed, and the abnormal sound detection area other than any one of the abnormal sound detection excluded list The voice whose directivity is formed in the detection area of If the serial abnormal sound is detected, and a notification unit that performs alert notification corresponding to said detected abnormal sound, an abnormal sound detecting system.

この構成では、収音部は、複数の異常音検出領域を含む収音領域内の音声を収音する。指向性形成部は、収音部により収音された音声に対し、いずれかの異常音検出領域に応じて指定された方向に音声の指向性を形成する。通知部は、記憶部に記憶された異常通知対象外リストのいずれかの異常音検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行わず、一方、異常通知対象外リストのいずれかの異常音検出領域以外の検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行う。   In this configuration, the sound collection unit collects the sound in the sound collection area including the plurality of abnormal sound detection areas. The directivity forming unit forms the directivity of the voice in the direction designated according to any of the abnormal sound detection areas for the voice collected by the sound collection unit. The notification unit is an alert corresponding to the detected abnormal sound when the abnormal sound is detected in the sound in which directivity is formed in any of the abnormal sound detection areas in the abnormal notification excluded list stored in the storage unit. Corresponds to the detected abnormal sound when the abnormal sound is detected in the sound in which the directivity is formed in the detection area other than the abnormal sound detection area in any of the abnormality notification non-target list, while the notification is not performed. Perform alert notification.

これにより、異常音検出システムは、異常音として捉えるべき音声と異常音として捉えるべきでない音声とを明確に区別でき、例えばユーザの監視時における利便性の劣化を抑制できる。   As a result, the abnormal sound detection system can clearly distinguish between the sound that should be caught as an abnormal sound and the sound that should not be caught as an abnormal sound, and can suppress, for example, the deterioration of convenience when monitoring the user.

また、本発明の一実施形態は、前記異常音検出領域は、所定形状を有する領域である、異常音検出システムである。   In one embodiment of the present invention, the abnormal sound detection area is an area having a predetermined shape.

これにより、異常音検出システムは、収音装置の収音対象となる収音領域を所定形状に分割して複数の異常音検出領域を設定できる。   Thus, the abnormal sound detection system can divide the sound collection area to be collected by the sound collection device into a predetermined shape and set a plurality of abnormal sound detection areas.

また、本発明の一実施形態は、前記所定形状を有する領域は、所定の入力操作により描画された領域である、異常音検出システムである。   Moreover, one Embodiment of this invention is an abnormal sound detection system whose area | region which has the said predetermined shape is an area | region drawn by predetermined | prescribed input operation.

これにより、異常音検出システムは、例えばユーザの所定の入力操作により描画された領域を異常音検出領域として扱うので、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、ユーザの操作性が向上する。   Thus, the abnormal sound detection system treats, for example, the area drawn by the user's predetermined input operation as the abnormal sound detection area, so that the user can arbitrarily determine the shape and size of the area, and the setting range is appropriate. Can be specified. As a result, the degree of freedom in setting the setting range is enhanced, and the operability of the user is improved.

また、本発明の一実施形態は、撮像装置が更に接続され、前記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、異常音検出システムである。   In one embodiment of the present invention, an imaging device is further connected, the abnormal sound detection device has a display unit, and imaging is performed by the imaging device when a predetermined instruction operation for the alert notification is performed. The abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, on the display unit.

これにより、異常音検出システムは、撮像装置により撮像された、アラート通知の対象である異常音検出領域における画像を表示部に表示するので、ユーザは、異常音が検出された異常音検出領域を視覚的かつ簡易に確認でき、すぐさまその状況を把握できる。   Thus, the abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, captured by the imaging device on the display unit, so the user can detect the abnormal sound detection area where the abnormal sound is detected. It can be checked visually and easily, and you can immediately grasp the situation.

また、本発明の一実施形態は、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。   In one embodiment of the present invention, an imaging device for imaging the sound collection region is further connected, and the abnormal sound detection device uses the plurality of images of the sound collection region captured by the imaging device. An abnormal sound detection system for setting an abnormal sound detection area of

これにより、異常音検出システムは、ユーザが複数の異常音検出領域を設定する際に、撮像装置が撮像した収音領域の画像を用いるので、複数の異常音検出領域を設定するための操作を簡易化できる。   Thus, the abnormal sound detection system uses the image of the sound collection area captured by the imaging device when the user sets a plurality of abnormal sound detection areas, so an operation for setting a plurality of abnormal sound detection areas is performed. It can be simplified.

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the appended claims, and of course these also fall within the technical scope of the present invention. It is understood.

本発明は、異常音を検出する際、異常音として捉えるべきでない音声を明確に区別し、ユーザの利便性を向上する異常音検出システム及び異常音検出方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as an abnormal sound detection system and an abnormal sound detection method that clearly distinguish a voice that should not be regarded as an abnormal sound when detecting an abnormal sound, and improve user's convenience.

5 異常音検出システム
10、10A カメラ
15 監視ユニット
20 マイクアレイ
25 ネットワーク
31 検出対象外範囲指定リスト
32 検出対象外音種類リスト
40 レコーダ
50 PC
51 信号処理部
52 メモリ
53 操作部
60 再生部
63 ディスプレイ
63y 確認ボタン
63z OKボタン
65 スピーカ
75 監視室
77 監視者
80 対象エリア
81 噴水
82 テレビ
84、85、86 ソファ
87 配水管
88、89 生け花
91、92、93、95 人物
94、96 扉
103 閉曲線
108 カーソル
120 ポップアップ画面
A1〜A6、B1〜B6、C1〜C6、D1〜D6 設定範囲
GZ パノラマ画像
5 abnormal sound detection system 10, 10A camera 15 monitoring unit 20 microphone array 25 network 31 list of detection non-selection range 32 list of detection non-sound type 40 recorder 50 PC
51 signal processing unit 52 memory 53 operation unit 60 playback unit 63 display 63 y confirmation button 63 z OK button 65 speaker 75 monitoring room 77 surveillance person 80 target area 81 fountain 82 television 84, 85, 86 sofa 87 water distribution pipe 88, 89 flower arrangement 91, 92, 93, 95 person 94, 96 door 103 closed curve 108 cursor 120 pop-up screen A1 to A6, B1 to B6, C1 to C6, D1 to D6 setting range GZ panoramic image

Claims (5)

収音装置と異常音検出装置とが接続された異常音検出システムであって、
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、
前記異常音検出装置は、
各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、
前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、
前記収音領域を撮像する撮像装置が更に接続され、
前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、
異常音検出システム。
An abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected,
The sound collecting device is
It has a sound pickup unit that picks up the sound of a sound pickup area including a plurality of abnormal sound detection areas,
The abnormal sound detection device is
A storage unit that stores an abnormality notification exclusion list in which each of the abnormal sound detection areas and the abnormal sound are associated;
A directivity forming unit configured to form directivity in a direction designated according to any one of the abnormal sound detection areas with respect to the sound collected by the sound collection unit;
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list And a notification unit to
An imaging device for imaging the sound collection area is further connected;
The abnormal sound detection device sets the plurality of abnormal sound detection regions using the image of the sound collection region captured by the imaging device.
Abnormal sound detection system.
請求項1に記載の異常音検出システムであって、
前記異常音検出領域は、所定形状を有する領域である、
異常音検出システム。
The abnormal sound detection system according to claim 1,
The abnormal sound detection area is an area having a predetermined shape,
Abnormal sound detection system.
請求項2に記載の異常音検出システムであって、
前記所定形状を有する領域は、所定の入力操作により描画された領域である、
異常音検出システム。
The abnormal sound detection system according to claim 2,
The area having the predetermined shape is an area drawn by a predetermined input operation,
Abnormal sound detection system.
請求項1に記載の異常音検出システムであって
記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、
異常音検出システム。
The abnormal sound detection system according to claim 1 ,
Before SL abnormal sound detecting apparatus, a display unit, when a predetermined instruction operation with respect to the alert notification has been performed, is imaged by the imaging device, in the abnormal sound detection area is the alert notification of the target Display an image on the display unit,
Abnormal sound detection system.
収音装置と異常音検出装置と撮像装置とが接続された異常音検出システムにおける異常音検出方法であって、
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音し、
前記異常音検出装置は、
前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定し、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶し、
前記収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成し、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う、
異常音検出方法。
An abnormal sound detection method in an abnormal sound detection system in which a sound collection device, an abnormal sound detection device, and an imaging device are connected,
The sound collecting device is
Pick up the sound in the sound collection area including multiple abnormal sound detection areas,
The abnormal sound detection device is
The plurality of abnormal sound detection areas are set using the image of the sound collection area captured by the imaging device, and the abnormal notification non-listed list in which the respective abnormal sound detection areas and the abnormal sounds are associated with each other. Remember
With respect to the collected voice, directivity is formed in a direction designated according to any one of the abnormal sound detection areas,
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list I do,
Abnormal sound detection method.
JP2014259323A 2014-12-22 2014-12-22 Abnormal sound detection system and abnormal sound detection method Active JP6425019B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014259323A JP6425019B2 (en) 2014-12-22 2014-12-22 Abnormal sound detection system and abnormal sound detection method
PCT/JP2015/006266 WO2016103645A1 (en) 2014-12-22 2015-12-16 Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method
US15/533,399 US10225650B2 (en) 2014-12-22 2015-12-16 Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014259323A JP6425019B2 (en) 2014-12-22 2014-12-22 Abnormal sound detection system and abnormal sound detection method

Publications (2)

Publication Number Publication Date
JP2016118987A JP2016118987A (en) 2016-06-30
JP6425019B2 true JP6425019B2 (en) 2018-11-21

Family

ID=56244371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014259323A Active JP6425019B2 (en) 2014-12-22 2014-12-22 Abnormal sound detection system and abnormal sound detection method

Country Status (1)

Country Link
JP (1) JP6425019B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020965A1 (en) * 2016-07-28 2018-02-01 パナソニックIpマネジメント株式会社 Unmanned aerial vehicle detection system and unmanned aerial vehicle detection method
JP6726082B2 (en) * 2016-10-24 2020-07-22 株式会社アニモ Sound determination method and information processing apparatus for crime prevention
JP6748044B2 (en) * 2017-09-08 2020-08-26 株式会社日立ビルシステム Passenger conveyor inspection device and passenger conveyor inspection system
JP7337491B2 (en) * 2018-09-07 2023-09-04 キヤノン株式会社 AUDIO VIDEO PROCESSING SYSTEM AND CONTROL METHOD FOR VIDEO AUDIO PROCESSING SYSTEM
CN110489076B (en) * 2019-08-22 2024-03-01 百度在线网络技术(北京)有限公司 Environment sound monitoring method and device and electronic equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063967A (en) * 1996-08-23 1998-03-06 Meidensha Corp Monitoring system
JP2008141281A (en) * 2006-11-30 2008-06-19 Micro Gijutsu Kenkyusho:Kk Monitoring system
JP4941895B2 (en) * 2007-04-19 2012-05-30 カシオ計算機株式会社 Image recording apparatus with sound data and program
JP2013246546A (en) * 2012-05-24 2013-12-09 Hochiki Corp Alarm system

Also Published As

Publication number Publication date
JP2016118987A (en) 2016-06-30

Similar Documents

Publication Publication Date Title
US20210142072A1 (en) Monitoring system and monitoring method
JP6493860B2 (en) Monitoring control system and monitoring control method
JP6425019B2 (en) Abnormal sound detection system and abnormal sound detection method
CN105474666B (en) sound processing system and sound processing method
US20100254543A1 (en) Conference microphone system
US10182280B2 (en) Sound processing apparatus, sound processing system and sound processing method
JP6202277B2 (en) Voice processing system and voice processing method
JP6210458B2 (en) Failure detection system and failure detection method
US10225650B2 (en) Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method
KR100986228B1 (en) Camera apparatus and image recording/reproducing method
US20150281832A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP5939341B1 (en) Monitoring system and monitoring method
JP2013106298A (en) Imaging controller, imaging control method, program for imaging control method, and imaging apparatus
JP6218090B2 (en) Directivity control method
JP6887102B2 (en) Audio processing equipment, image processing equipment, microphone array system, and audio processing method
JP6504539B2 (en) Sound pickup system and sound pickup setting method
JP2008219227A (en) System and method for monitoring video image
WO2015151130A1 (en) Sound processing apparatus, sound processing system, and sound processing method
US10939030B2 (en) Video audio processing system and method of controlling the video audio processing system
EP2394444B1 (en) Conference microphone system
JP2019161353A (en) Monitoring device, monitoring method, and monitoring processing program
JP2016119620A (en) Directivity control system and directivity control method
EP2927885A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP6388144B2 (en) Directivity control device, directivity control method, storage medium, and directivity control system
JP2016219965A (en) Directivity control system and speech output control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181009

R151 Written notification of patent or utility model registration

Ref document number: 6425019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151