JP6425019B2 - Abnormal sound detection system and abnormal sound detection method - Google Patents
Abnormal sound detection system and abnormal sound detection method Download PDFInfo
- Publication number
- JP6425019B2 JP6425019B2 JP2014259323A JP2014259323A JP6425019B2 JP 6425019 B2 JP6425019 B2 JP 6425019B2 JP 2014259323 A JP2014259323 A JP 2014259323A JP 2014259323 A JP2014259323 A JP 2014259323A JP 6425019 B2 JP6425019 B2 JP 6425019B2
- Authority
- JP
- Japan
- Prior art keywords
- abnormal sound
- sound detection
- abnormal
- sound
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、異常音を検出する異常音検出システム及び異常音検出方法に関する。 The present invention relates to an abnormal sound detection system and an abnormal sound detection method for detecting an abnormal sound.
従来、防犯装置として、所定のエリア内において発生した異常音を検出した場合に、異常音を検出したことを知らせるための警報音を出力する情報処理装置が知られている(例えば、特許文献1参照)。特許文献1に示す情報処理装置では、検出した異常音の種類が判別される。
Conventionally, as a crime prevention device, there is known an information processing device which outputs an alarm sound for notifying that an abnormal sound has been detected when an abnormal sound generated in a predetermined area is detected (for example, Patent Document 1) reference). In the information processing apparatus shown in
しかし、特許文献1を含む従来技術では、エリア内のいずれの場所においても異常音が検出された場合、警報音が一様に出力されてユーザに報知していたが、エリア内の状況によっては警報音を出力させない方がユーザの利便性を低下させない点で好ましいという課題があった。
However, in the prior art including
例えば、エリア内に設置されたテレビやオーディオ機器から出力された大きな音が異常音として誤検出されてしまい、監視者としてのユーザに対する利便性を低下させてしまうことがある。このような音は、テレビやオーディオ機器から出力された音の視聴者又は聴取者への娯楽等の目的のために番組で使用されたものであり、言い換えると、異常音として捉えられるべきでない音声である。 For example, a loud sound output from a television or audio device installed in an area may be erroneously detected as an abnormal sound, which may reduce the convenience for the user as a surveillance person. Such sound is used in a program for the purpose of entertainment to a viewer or listener of a sound output from a television or audio device, and in other words, it should not be regarded as an abnormal sound. It is.
従って、上述した従来技術に対し、異常音として捉えるべき音声とそうでない音声とを明確に区別して、異常音として捉えるべきでない音声が検出された場合には、警報音を出力させないようにする仕組みが必要であった。 Therefore, in contrast to the above-described prior art, a mechanism that clearly distinguishes a voice that should be caught as an abnormal sound and a voice that is not like it, and prevents a warning sound from being output when a voice that should not be caught as an abnormal sound is detected. Was necessary.
本発明は、上述した従来の状況に鑑みて案出され、異常音として捉えるべきでない音声を明確に区別し、異常音検出システム及び異常音検出方法を提供することを目的とする。 The present invention is devised in view of the above-described conventional situation, and it is an object of the present invention to clearly distinguish voices that should not be regarded as abnormal sounds and to provide an abnormal sound detection system and an abnormal sound detection method .
本発明は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。 The present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects sound of a sound collection area including a plurality of abnormal sound detection areas. A storage unit configured to store an abnormal notification not-applicable list in which the abnormal sound detection device includes an abnormal notification detection list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; On the other hand, the directivity forming unit forms directivity in a direction designated according to any of the abnormal sound detection areas, and the directivity is set in the abnormal sound detection area of any of the abnormality notification exclusion target list. When the abnormal sound is detected in the formed voice, an alert notification corresponding to the detected abnormal sound is not performed, and a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list is displayed. The abnormal sound is present in the voice in which the directivity is formed. If issued, and a notification unit that performs alert notification corresponding to said detected abnormal sound, the image pickup apparatus for imaging a sound collection region is further connected, the abnormal sound detecting apparatus, the imaging apparatus using the image of the sound collecting area which is captured by, to set the plurality of abnormal sound detection area is an abnormal sound detection system.
本発明によれば、異常音として捉えるべきでない音声を明確に区別でき、ユーザの利便性を向上できる。 According to the present invention, voices that should not be regarded as abnormal sounds can be clearly distinguished, and user convenience can be improved.
以下、本発明に係る異常音検出システムを具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して説明する。 Hereinafter, an embodiment (hereinafter, referred to as “the present embodiment”) which specifically discloses the abnormal sound detection system according to the present invention will be described with reference to the drawings.
図1は、本実施形態の異常音検出システム5のシステム構成の一例を示すブロック図である。図1に示す異常音検出システム5は、監視用のカメラ10,10Aと、マイクアレイ20と、レコーダ40と、PC(Personal Computer)50とが、ネットワーク25を介して相互に接続された構成である。
FIG. 1 is a block diagram showing an example of the system configuration of the abnormal
カメラ10とマイクアレイ20とは、例えばカメラ10を中心に配置し、カメラ10を囲むようにリング型の筐体を有するマイクアレイ20を嵌め込むことで、カメラ10及びマイクアレイ20一体型の監視ユニット15を構築する。カメラ10Aは、カメラ10と同様の構成であり、カメラ10とは異なる対象エリアを撮像する単独配置型のカメラである。以下、説明を簡単にするために、カメラ10について説明し、カメラ10Aの動作については省略するが、カメラ10Aはカメラ10と同様に動作する。また、異常音検出システム5における異常音の監視対象のエリアとして、本実施形態では、例えばホテルのロビーを例示する。
The
撮像装置の一例としてのカメラ10は、監視カメラとしてホテルのロビーの天井に設置され、前面に魚眼レンズを搭載した全方位画像を撮像可能な全方位カメラであり、監視対象の地点(場所)の周囲の映像(静止画及び動画を含む。以下同様。)を撮像する。カメラ10は、撮像した映像のデータ(映像データ)を、ネットワーク25を介して監視室75内のPC50に転送し、更に、レコーダ40に記録する。
The
なお、カメラ10は、監視室75内のPC50から遠隔操作が可能なパン機能・チルト機能・ズームイン機能並びにズームアウト機能(以下、PTZ(Pan Tilt Zoom)機能という)を有するPTZカメラでもよいし、画角が予め固定された所定位置を撮像する固定カメラでもよい。
The
収音装置の一例としてのマイクアレイ20は、ホテルのロビーの天井に設置され、収音部の一例としての複数のマイクロホン22(例えば図4参照)が一様に設けられた筐体を有する。マイクアレイ20は、各々のマイクロホン22を用いて、監視対象の地点(場所)周囲の音声を収音し、各々のマイクロホン22により収音された音声のデータ(音声データ)を、ネットワーク25を介して監視室75内のPC50に送信し、更に、レコーダ40に記録する。なお、各マイクロホン22は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン(例えばガンマイク)又はこれらの組み合わせが用いられても良い。
A
レコーダ40は、データの記録等の各処理を制御するための制御部(不図示)と、映像データ及び音声データを格納するための記録部(不図示)とを含む構成である。レコーダ40は、カメラ10により撮像された映像データと、マイクアレイ20により収音された音声データとを対応付けて記録する。
The
異常音検出装置の一例としてPC50は、例えば監視者77が常駐する監視室75に設置され、信号処理部51、メモリ52、操作部53及び再生部60を有し、カメラ10,10Aで撮像された映像及びマイクアレイ20で収音された音声を用いた収音領域の監視処理を行う。
As an example of the abnormal sound detection device, a PC 50 is installed in, for example, a
信号処理部51は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、PC50の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を実行する。
The
指向性形成部の一例としての信号処理部51は、マイクアレイ20から直接転送された、或いはレコーダ40からに記録された音声データを用いて、音声データの指向性制御処理により、各々のマイクロホンにより収音された各音声データを加算し、マイクアレイ20の各マイクロホン22の位置から監視者77により指定された特定方向への音声(例えば音量レベル)を強調(増幅)するために、特定方向への指向性を形成した音声データを生成する。なお、マイクアレイ20によって収音された音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開2014−143678号公報等に示されるように、公知技術である。
The
言い換えると、信号処理部51は、マイクアレイ20から送信された音声データを用いて、マイクアレイ20から特定方向(指向方向)への音声の音量レベルを強調(増幅)するために、特定方向への指向性を形成した音声データを生成する。また、特定方向とは、マイクアレイ20から、監視者77の操作部53を介して指定された所定の指定箇所に対応する位置に向かう方向であり、音声データの音量レベルを強調(増幅)するために監視者77を含むユーザにより指定される方向である。
In other words, the
信号処理部51は、全方位カメラによって撮像された映像データの座標系(例えばx軸,y軸,z軸のうち2次元又は3次元の座標変換)の変換処理を行い、変換処理後の映像データをディスプレイ63に表示させる。ディスプレイ63に映像データを表示する場合、映像データの表示の方法として、円形画像、矩形画像、パノラマ画像の3通りの方法がある。各表示方法については後述するが、ここでは、説明を分かり易くするために、パノラマ画像を用いる場合を示す。
The
操作部53は、例えばディスプレイ63の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部53は、ユーザの操作に応じて、音声データの音量レベルの強調(増幅)を所望する1つ以上の指定箇所の座標のデータを信号処理部51に出力する。なお、操作部53は、マウス又はキーボード等のポインティングデバイスを用いて構成されても良い。
The
再生部60は、ディスプレイ63とスピーカ65とを含む構成であり、カメラ10から送信された、或いはレコーダ40に記録された映像データをディスプレイ63に表示させ、更に、マイクアレイ20から送信された或いはレコーダ40に記録された音声データをスピーカ65に音声出力させる。なお、ディスプレイ63及びスピーカ65は、再生部60とは別々の構成としても良い。
The
表示部の一例としてのディスプレイ63は、カメラ10によって撮像されてネットワーク25を介して転送された、或いはレコーダ40に記録された映像データを表示する。音声出力部の一例としてのスピーカ65は、マイクアレイ20によって収音されてネットワーク25を介して転送された、或いはレコーダ40に記録された音声データ、若しくはその音声データを基にして、信号処理部51により指向性が形成された後の音声データ(言い換えると、特定方向への強調処理が行われた音声データ)を音声出力する。
The
記憶部の一例としてのメモリ52は、各種データを記憶する揮発性メモリ及び不揮発性メモリからなる記憶媒体を用いて構成され、後述する検出対象外範囲指定リスト31(図2(A)参照)、検出対象外音種類リスト32(図2(B)参照)等のデータを記憶する。
The
図2(A)は、検出対象外範囲指定リスト31の登録内容の一例を示すテーブルである。図2(B)は、検出対象外音種類リスト32の登録内容の一例を示すテーブルである。図2(A)に示す検出対象外範囲指定リスト31には、レコードを示す番号毎に、設定範囲、検出対象外音及び備考欄が登録されている。例えば、番号L1のレコードには、設定範囲B1,C1の検出対象外音が「水音」であることが登録されている。また、番号L2のレコードには、設定範囲B6,C6の検出対象外音が「全ての音」であることが登録されている。なお、範囲の指定の方法については後述する。
FIG. 2A is a table showing an example of registered contents of the non-detection target
また、図2(B)に示す検出対象外音種類リスト32には、検出対象外の音声が複数種類登録されている。例えば検出対象外の音の種類として、「水音」、「爆発音」、「全ての音」、「悲鳴」等が登録されている。これらの音は、後述するように、検出外対象音として任意に設定可能である。
Further, in the non-target
次に、上記した構成を有する異常音検出システム5の動作を具体的に説明する。
Next, the operation of the abnormal
図3は、PC50による事前設定手順の一例を説明するフローチャートである。この事前設定処理では、監視者77を含むユーザによる入力操作に従って各種の設定が行われる。まず、信号処理部51は、カメラ10で撮像された全方位画像をディスプレイ63に表示させる(S1)。
FIG. 3 is a flowchart for explaining an example of the pre-setting procedure by the
信号処理部51が全方位画像をディスプレイ63の画面に表示させる場合、例えば3通りの方法がある。カメラ10は、前述したように、前面に魚眼レンズ(不図示)を搭載した全方位カメラであるため、特段の補正処理がなされない場合には、撮像画像は円形画像となる。
When the
第1の表示方法では、信号処理部51は、カメラ10で撮像された全方位画像をそのまま表示出力させる。この場合、全方位画像は円形画像であるので、撮像中心から遠ざかる程、歪んだ画像となる。
In the first display method, the
第2の表示方法では、信号処理部51は、円形画像に対しその中心から扇形の部分画像を切り取り、この扇形の部分画像に対し所定の歪補正を行い、矩形画像を表示させる。
In the second display method, the
第3の表示方法では、信号処理部51は、円形画像に対し所定のパノラマ変換を行い、全景画像としてのパノラマ画像を表示させる。上記したように、本実施形態では、パノラマ画像が表示された場合を説明する。
In the third display method, the
図4は、パノラマ画像GZが表示されたディスプレイ63の画面を示す図である。ディスプレイ63の画面には、ホテルのロビーの天井に設置されたカメラ10が真下に向けて撮像した場合のパノラマ画像GZが表示されている。また、ディスプレイ63の画面の略中央には、パノラマ画像GZと重なるように、カメラ10とマイクアレイ20とが一体となるように組み合わされた監視ユニット15が表示されてもよい。
FIG. 4 is a view showing the screen of the
また、パノラマ画像GZの略中央には、テーブル83、3組のソファ84,85,86及びソファ84に座る人物91、ソファ85に座る2人の人物92,93が映っている。パノラマ画像GZの左側には、噴水81,配水管87,生け花88が映っている。パノラマ画像GZの右側には、テレビ82,生け花89が映っている。パノラマ画像GZの上側には、扉94,96及び扉94の近くにいる人物95が映っている。
In the approximate center of the panoramic image GZ, a table 83, three sets of
信号処理部51は、ディスプレイ63に表示されたパノラマ画像GZに対し、画面分割が設定されたか否かを判別する(S2)。即ち、信号処理部51は、ユーザ(例えば監視者77)の操作部53に対する入力操作によって画面分割の設定を受け付けたか否かを判別する。画面分割の設定の方法として、予め登録された分割フォーマットをユーザが選択することによって画面分割を行う方法がある。
The
図5は、パノラマ画像GZに対して行われた画面分割及び設定範囲の指定を説明する図である。例えば図5には、パノラマ画像GZが表示されたディスプレイ63の画面を4×6のマス目に分割する場合が示されている。4×6のマス目に分割された場合、24箇所の異常音検出領域が対象エリア80(ここでは、ホテルのロビー)に設定されたことになる。図5では、設定範囲A1〜D6が設定されている。つまり、パノラマ画像GZに対して設定された個々の設定範囲A1〜D6は、対象エリア80の一部である異常音検出領域に相当する。なお、画面分割の形態は、図5に示す4×6のマス目の例に限らず、例えば4×4、8×4等のマス目、或いはマス目のような矩形でなく、菱形や三角形で区画するように行われてもよい。以下、所定形状で区画するように画面分割された個々の範囲を「設定範囲」と称する。
FIG. 5 is a diagram for explaining screen division and setting range setting performed on the panoramic image GZ. For example, FIG. 5 shows a case where the screen of the
信号処理部51は、画面分割が設定されていない場合(S2、NO)、ステップS1に戻ってディスプレイ63の画面にパノラマ画像GZを表示し続ける。一方、画面分割の設定が完了すると(S2、YES)、信号処理部51は、複数の異常検出領域の中から特定の異常検出領域(例えば、噴水やテレビが置かれている領域)に相当する設定範囲を全設定範囲の中から指定する(S3)。
When the screen division is not set (S2, NO), the
この設定範囲の指定の方法には、いくつか挙げられる。例えば、図5に示すように、予め画面分割された個々の設定範囲に対し、識別番号(ここでは、A1、…、D6)を割り当てておき、ユーザが操作部53(例えばキーボード)から所望の設定範囲に対応する識別番号を入力することで、所望の設定範囲が指定される。また、ディスプレイ63の画面にパノラマ画像GZに重なるように表示された全設定範囲の中から、カーソル108で1つ1つ設定範囲を選択することでも、所望の設定範囲を指定可能である。指定された設定範囲は、他の設定範囲と区別可能な表示形態(例えば、反転表示、網点表示)で表示される。図5では、指定された設定範囲B1、C1、B6、C6は、網掛けで表示されている。
There are several ways to specify this setting range. For example, as shown in FIG. 5, identification numbers (here, A1,..., D6) are assigned to individual setting ranges divided in advance in advance, and the user desires from the operation unit 53 (for example, a keyboard). A desired setting range is designated by inputting an identification number corresponding to the setting range. Further, it is possible to specify a desired setting range by selecting the setting range one by one with the
信号処理部51は、ステップS3で指定された選択範囲に対し、検出対象外の音を指定する(S4)。検出対象外の音の指定は、例えば検出対象外の音の一覧を表すポップアップ画面120(図6参照)をディスプレイ63に表示し、ユーザがカーソル108で1つ1つ検出対象外の音を選択することで、検出対象外の音を指定可能である。図6は、検出対象外の音を指定するためのポップアップ画面120を示す図である。このポップアップ画面120には、検出対象外の音として、図2(B)に示す検出対象外音種類リスト32に挙げられた検出対象外の音が選択可能に表示される。
The
具体的に、「水音」、「爆発音」、「全ての音」、「悲鳴」等である。図2(A)に示すように、噴水81が設置されている異常音検出領域に相当する設定範囲B1,C1に対し、検出対象外の音として「水音」が指定される。また、テレビ82が設置されている異常音検出領域に相当する設定範囲B6,C6に対し、検出対象外の音として「全ての音」が指定される。これにより、PC50における事前設定処理が終了する。
Specifically, "water sound", "explosive sound", "all sounds", "screams" and the like. As shown in FIG. 2A, “water sound” is designated as a sound other than the detection target in the setting ranges B1 and C1 corresponding to the abnormal sound detection area in which the
図7は、PC50による異常音検出処理手順の一例を説明するフローチャートである。異常音検出処理は、事前設定が済んだ後の運用時に行われる処理である。運用時においては、カメラ10は対象エリア80をリアルタイムに撮像し、この撮像画像を映像データとしてPC50に転送し、更に、レコーダ40に記録させる。また、マイクアレイ20は、カメラ10の撮像動作と同期して対象エリア80をリアルタイムに収音し、この収音した音声を音声データとしてPC50に転送し、更に、レコーダ40に記録させる。
FIG. 7 is a flowchart for explaining an example of an abnormal sound detection processing procedure by the
信号処理部51は、カメラ10から転送された撮像データを基に、ディスプレイ63の画面に対象エリア80のパノラマ画像GZを表示する(S11)。信号処理部51は、パノラマ画像GZに対し画面分割によって設定された設定範囲の1つが指定されるまで待つ(S12)。この設定範囲の指定は、信号処理部51が自動的に例えば全設定範囲の中から順番に1つを選択することで行われてもよいし、ユーザが任意に選択することで行われてもよい。
The
ステップS12で設定範囲が指定されると(S12、YES)、信号処理部51は、マイクアレイ20で収音された対象エリア全体の音声の中から、指定された設定範囲の音声を強調するために、前述した音声データの指向性制御処理を実行し、指定された方向に音声の指向性を形成し、指定された方向の音声を出力する(S13)。
When the setting range is designated in step S12 (S12, YES), the
信号処理部51は、ステップS13で出力された音声を基に異常音が発生したか否かを判別する(S14)。異常音の判別では、例えば音量と周波数特性との少なくとも一方が用いられる。即ち、音声が予め設定された閾値を超える音量を有する場合、出力された音声は異常音と判別される。また、音声の周波数特性が所定の条件を満たす場合、例えば音声の周波数特性を解析し、中心周波数とその分布が特定の周波数範囲に含まれる場合、出力された音声は異常音と判別され、更にその種類が特定される。ここでは、出力された音声が異常音と判別され、更にその種類が特定される場合を示す。なお、音量と周波数特性との両方が用いられてもよい。
The
ステップS14で異常音が発生していない場合(S14、NO)、信号処理部51は、次の設定範囲を指定する(S15)。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部51は、前述した順番に従って次の設定範囲を指定する。そして、信号処理部51はステップS13の処理に戻る。
When the abnormal sound is not generated in step S14 (S14, NO), the
一方、ステップS14で異常音が発生した場合(S14、YES)、信号処理部51は、指定された設定範囲が、この異常音を検出すべき範囲であるか否か、つまり図2(A)に示す検出対象外範囲指定リスト31に該当しない設定範囲であるか否かを判別する(S16)。例えば指定された設定範囲が「B1」であり、異常音の種類が「水音」である場合、指定された範囲は、異常音を検出すべき範囲でないと判別される。
On the other hand, when an abnormal sound is generated in step S14 (S14, YES), the
ステップS16で異常音を検出すべき範囲でないと判別された場合(S16、NO)、信号処理部51は、アラート通知をしない(アラートOFF)と判断し(S17)、次の設定範囲を指定する(S18)。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部51は、前述した順番に従って次の設定範囲を指定する(S18)。そして、信号処理部51はステップS13の処理に戻る。
If it is determined in step S16 that the abnormal sound is not within the range to be detected (S16, NO), the
一方、ステップS16で異常音を検出すべき範囲であると判別された場合(S16、YES)、信号処理部51は、アラート通知(アラートON)を行う(S19)。例えば、指定された範囲が「A5」であり、異常音の種類が「悲鳴」である場合、指定された範囲は異常音を検出すべき範囲であると判別され、アラート通知が行われる。本実施形態では、アラート通知として、スピーカ65から警報音が鳴動し、ディスプレイ63の画面に警報メッセージが表示される。
On the other hand, when it is determined that the abnormal sound is to be detected in step S16 (S16, YES), the
図8(A),(B)は、ディスプレイ63に表示されるアラート通知画面を示す図である。図8(A)に示すアラート通知画面では、「設定範囲A5のエリアで悲鳴が聞こえました。確認して下さい。」の警報メッセージが表示される。そして、ユーザ(例えば監視者77)が、設定範囲A5のエリアの状況を点検し、その後、この画面に表示されたOKボタン63zをカーソルや特定のキー操作等で選択すると、この警報メッセージは消去される。
FIGS. 8A and 8B show an alert notification screen displayed on the
図8(B)に示すアラート通知画面では、図8(A)と同様の警報メッセージとともに、確認ボタン63yが表示される。ユーザ(例えば監視者77)がこの確認ボタン63yを押下すると、カメラ10によって撮像された、異常音が検出された設定範囲A5の画像がディスプレイ63の画面一杯に表示される。図8(C)は、異常音が検出された設定範囲の撮像画像が表示されたディスプレイ63の画面を示す図である。ここでは、ディスプレイ63の画面には、設定範囲A5において、扉94が開かれ、人物95と別の人物91とがトラブルとなっている状況が映し出されている。なお、ユーザは、図8(A)に示すアラート通知画面と図8(B)に示すアラート通知画面とのいずれの画面をディスプレイ63に表示させるかを選択可能である。
On the alert notification screen shown in FIG. 8 (B), a
以上により、本実施形態の異常音検出システム5では、予め異常音の検出対象外となる設定範囲及び音の種類を登録しておくことで、ホテルのロビーのような対象エリア80において、異常音が検出されても、そこに設置されたテレビ82から流れる音声や噴水81が発する水音等は、異常音として誤検出されることが無くなる。つまり、異常音として捉えるべき音声が検出された場合には、PC50は、アラート通知を行い、異常音として捉えるべきでない音声が検出された場合には、アラート通知を行わない。これにより、異常音として捉えるべき音声とそうでない音声とを明確に区別でき、ユーザ(例えば監視者77)の監視時における利便性の劣化を抑制できる。
As described above, in the abnormal
例えば、上記実施形態では、画面を分割することで得られた複数の設定範囲のいずれかを選択することで、設定範囲が指定されたが、画面を分割することなく、設定範囲が指定されてもよい。一例として、ユーザがディスプレイ63の画面に表示された対象エリアの画像に対し、ユーザの嗜好に応じた所定形状が描画されたことで、設定範囲が指定されてもよい。図9は、所定形状を描画することで指定された設定範囲を示す図である。ユーザは、ディスプレイ63の画面に対し、カーソル108を移動させ、或いはスタイラスペン(図示せず)でなぞって閉曲線を描画することで、設定範囲を指定してもよい。図9には、テレビ82を囲むように閉曲線103が描かれている。このように、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、操作性が向上する。
For example, in the above embodiment, the setting range is specified by selecting one of a plurality of setting ranges obtained by dividing the screen, but the setting range is specified without dividing the screen. It is also good. As an example, the setting range may be designated by drawing a predetermined shape according to the preference of the user on the image of the target area displayed on the screen of the
また、上記実施形態では、異常音が発生すると、最初にその種類を特定した後、その後、発生元が検出すべき設定範囲であるか否かを判別していたが、最初に異常音の発生箇所(設定範囲)を特定し、この発生箇所が検出対象外範囲指定リストに掲載されている場合、続いて異常音の種類が検出対象外の音であるか否かを判別するようにしてもよい。これにより、異常音の発生個所が検出すべき設定範囲でない場合、異常音の種類を特定する処理を省くことができ、PC50が行う処理の負荷を軽減できる。
Further, in the above embodiment, when an abnormal sound is generated, the type is first identified, and thereafter it is determined whether or not the generation source is a setting range to be detected. Even if the location (setting range) is specified and this occurrence location is included in the outside detection range specification list, then it is determined whether or not the type of abnormal sound is an outside detection target sound. Good. As a result, when the generation position of the abnormal sound is not within the setting range to be detected, the process of specifying the type of abnormal sound can be omitted, and the load of the process performed by the
また、上記実施形態では、異常音検出システム5は、アラート通知を行う場合、警報音の鳴動と警報メッセージの表示とを行ったが、その他、異常音(例えばガラスの割れる音)を検出した時点又は所定時間の経過後に、監視者77を含むユーザが所持する携帯端末にメールを送信してもよいし、監視室75に設置された警報ランプを点灯させてもよい。また、異常音検出システム5は、異常音の検出を外部端末(例えば監視者77を含むユーザが所持する携帯端末)に通知したことをPC50のメモリ52に記憶させてもよい。これにより、異常音検出システム5は、収音領域に対する第三者の不法侵入に対する対策を施すことができる。また、警報音の代わりに、第三者に警報を意識させないように、特定のメロディ音を流すようにしてもよい。
Further, in the above embodiment, the abnormal
また、上記実施形態では、PC50は、カメラ10からリアルタイムに撮像された画像、及びこのカメラ10と同期してマイクアレイ20から収音された音声を監視する場合を示したが、レコーダ40に記録された映像データ及び音声データを後から分析する場合においても、同様に異常音検出動作を行うようにしてもよい。この場合、検出すべきでない設定範囲では、異常音と判定しないので、記録された映像データ及び音声データを分析する際、速やかな分析が可能となる。
In the above embodiment, the
以下に、本発明に係る異常音検出システムの構成、作用、効果について列挙する。 The configuration, operation, and effects of the abnormal sound detection system according to the present invention will be listed below.
本発明の一実施形態は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備える、異常音検出システムである。 One embodiment of the present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects voice in a sound collection area including a plurality of abnormal sound detection areas. A storage unit that has a sound collection unit that sounds, and the abnormal sound detection device stores an abnormality notification exclusion list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; A directivity forming unit that forms directivity in a direction designated according to any of the abnormal sound detection areas for the sounded sound, and the abnormal sound detection area of any of the abnormality notification non-target list. When the abnormal sound is detected in the voice in which the directivity is formed, an alert notification corresponding to the detected abnormal sound is not performed, and the abnormal sound detection area other than any one of the abnormal sound detection excluded list The voice whose directivity is formed in the detection area of If the serial abnormal sound is detected, and a notification unit that performs alert notification corresponding to said detected abnormal sound, an abnormal sound detecting system.
この構成では、収音部は、複数の異常音検出領域を含む収音領域内の音声を収音する。指向性形成部は、収音部により収音された音声に対し、いずれかの異常音検出領域に応じて指定された方向に音声の指向性を形成する。通知部は、記憶部に記憶された異常通知対象外リストのいずれかの異常音検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行わず、一方、異常通知対象外リストのいずれかの異常音検出領域以外の検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行う。 In this configuration, the sound collection unit collects the sound in the sound collection area including the plurality of abnormal sound detection areas. The directivity forming unit forms the directivity of the voice in the direction designated according to any of the abnormal sound detection areas for the voice collected by the sound collection unit. The notification unit is an alert corresponding to the detected abnormal sound when the abnormal sound is detected in the sound in which directivity is formed in any of the abnormal sound detection areas in the abnormal notification excluded list stored in the storage unit. Corresponds to the detected abnormal sound when the abnormal sound is detected in the sound in which the directivity is formed in the detection area other than the abnormal sound detection area in any of the abnormality notification non-target list, while the notification is not performed. Perform alert notification.
これにより、異常音検出システムは、異常音として捉えるべき音声と異常音として捉えるべきでない音声とを明確に区別でき、例えばユーザの監視時における利便性の劣化を抑制できる。 As a result, the abnormal sound detection system can clearly distinguish between the sound that should be caught as an abnormal sound and the sound that should not be caught as an abnormal sound, and can suppress, for example, the deterioration of convenience when monitoring the user.
また、本発明の一実施形態は、前記異常音検出領域は、所定形状を有する領域である、異常音検出システムである。 In one embodiment of the present invention, the abnormal sound detection area is an area having a predetermined shape.
これにより、異常音検出システムは、収音装置の収音対象となる収音領域を所定形状に分割して複数の異常音検出領域を設定できる。 Thus, the abnormal sound detection system can divide the sound collection area to be collected by the sound collection device into a predetermined shape and set a plurality of abnormal sound detection areas.
また、本発明の一実施形態は、前記所定形状を有する領域は、所定の入力操作により描画された領域である、異常音検出システムである。 Moreover, one Embodiment of this invention is an abnormal sound detection system whose area | region which has the said predetermined shape is an area | region drawn by predetermined | prescribed input operation.
これにより、異常音検出システムは、例えばユーザの所定の入力操作により描画された領域を異常音検出領域として扱うので、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、ユーザの操作性が向上する。 Thus, the abnormal sound detection system treats, for example, the area drawn by the user's predetermined input operation as the abnormal sound detection area, so that the user can arbitrarily determine the shape and size of the area, and the setting range is appropriate. Can be specified. As a result, the degree of freedom in setting the setting range is enhanced, and the operability of the user is improved.
また、本発明の一実施形態は、撮像装置が更に接続され、前記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、異常音検出システムである。 In one embodiment of the present invention, an imaging device is further connected, the abnormal sound detection device has a display unit, and imaging is performed by the imaging device when a predetermined instruction operation for the alert notification is performed. The abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, on the display unit.
これにより、異常音検出システムは、撮像装置により撮像された、アラート通知の対象である異常音検出領域における画像を表示部に表示するので、ユーザは、異常音が検出された異常音検出領域を視覚的かつ簡易に確認でき、すぐさまその状況を把握できる。 Thus, the abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, captured by the imaging device on the display unit, so the user can detect the abnormal sound detection area where the abnormal sound is detected. It can be checked visually and easily, and you can immediately grasp the situation.
また、本発明の一実施形態は、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。 In one embodiment of the present invention, an imaging device for imaging the sound collection region is further connected, and the abnormal sound detection device uses the plurality of images of the sound collection region captured by the imaging device. An abnormal sound detection system for setting an abnormal sound detection area of
これにより、異常音検出システムは、ユーザが複数の異常音検出領域を設定する際に、撮像装置が撮像した収音領域の画像を用いるので、複数の異常音検出領域を設定するための操作を簡易化できる。 Thus, the abnormal sound detection system uses the image of the sound collection area captured by the imaging device when the user sets a plurality of abnormal sound detection areas, so an operation for setting a plurality of abnormal sound detection areas is performed. It can be simplified.
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the appended claims, and of course these also fall within the technical scope of the present invention. It is understood.
本発明は、異常音を検出する際、異常音として捉えるべきでない音声を明確に区別し、ユーザの利便性を向上する異常音検出システム及び異常音検出方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as an abnormal sound detection system and an abnormal sound detection method that clearly distinguish a voice that should not be regarded as an abnormal sound when detecting an abnormal sound, and improve user's convenience.
5 異常音検出システム
10、10A カメラ
15 監視ユニット
20 マイクアレイ
25 ネットワーク
31 検出対象外範囲指定リスト
32 検出対象外音種類リスト
40 レコーダ
50 PC
51 信号処理部
52 メモリ
53 操作部
60 再生部
63 ディスプレイ
63y 確認ボタン
63z OKボタン
65 スピーカ
75 監視室
77 監視者
80 対象エリア
81 噴水
82 テレビ
84、85、86 ソファ
87 配水管
88、89 生け花
91、92、93、95 人物
94、96 扉
103 閉曲線
108 カーソル
120 ポップアップ画面
A1〜A6、B1〜B6、C1〜C6、D1〜D6 設定範囲
GZ パノラマ画像
5 abnormal
51
Claims (5)
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、
前記異常音検出装置は、
各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、
前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、
前記収音領域を撮像する撮像装置が更に接続され、
前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、
異常音検出システム。 An abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected,
The sound collecting device is
It has a sound pickup unit that picks up the sound of a sound pickup area including a plurality of abnormal sound detection areas,
The abnormal sound detection device is
A storage unit that stores an abnormality notification exclusion list in which each of the abnormal sound detection areas and the abnormal sound are associated;
A directivity forming unit configured to form directivity in a direction designated according to any one of the abnormal sound detection areas with respect to the sound collected by the sound collection unit;
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list And a notification unit to
An imaging device for imaging the sound collection area is further connected;
The abnormal sound detection device sets the plurality of abnormal sound detection regions using the image of the sound collection region captured by the imaging device.
Abnormal sound detection system.
前記異常音検出領域は、所定形状を有する領域である、
異常音検出システム。 The abnormal sound detection system according to claim 1,
The abnormal sound detection area is an area having a predetermined shape,
Abnormal sound detection system.
前記所定形状を有する領域は、所定の入力操作により描画された領域である、
異常音検出システム。 The abnormal sound detection system according to claim 2,
The area having the predetermined shape is an area drawn by a predetermined input operation,
Abnormal sound detection system.
前記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、
異常音検出システム。 The abnormal sound detection system according to claim 1 ,
Before SL abnormal sound detecting apparatus, a display unit, when a predetermined instruction operation with respect to the alert notification has been performed, is imaged by the imaging device, in the abnormal sound detection area is the alert notification of the target Display an image on the display unit,
Abnormal sound detection system.
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音し、
前記異常音検出装置は、
前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定し、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶し、
前記収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成し、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う、
異常音検出方法。 An abnormal sound detection method in an abnormal sound detection system in which a sound collection device, an abnormal sound detection device, and an imaging device are connected,
The sound collecting device is
Pick up the sound in the sound collection area including multiple abnormal sound detection areas,
The abnormal sound detection device is
The plurality of abnormal sound detection areas are set using the image of the sound collection area captured by the imaging device, and the abnormal notification non-listed list in which the respective abnormal sound detection areas and the abnormal sounds are associated with each other. Remember
With respect to the collected voice, directivity is formed in a direction designated according to any one of the abnormal sound detection areas,
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list I do,
Abnormal sound detection method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259323A JP6425019B2 (en) | 2014-12-22 | 2014-12-22 | Abnormal sound detection system and abnormal sound detection method |
PCT/JP2015/006266 WO2016103645A1 (en) | 2014-12-22 | 2015-12-16 | Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method |
US15/533,399 US10225650B2 (en) | 2014-12-22 | 2015-12-16 | Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259323A JP6425019B2 (en) | 2014-12-22 | 2014-12-22 | Abnormal sound detection system and abnormal sound detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016118987A JP2016118987A (en) | 2016-06-30 |
JP6425019B2 true JP6425019B2 (en) | 2018-11-21 |
Family
ID=56244371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014259323A Active JP6425019B2 (en) | 2014-12-22 | 2014-12-22 | Abnormal sound detection system and abnormal sound detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6425019B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018020965A1 (en) * | 2016-07-28 | 2018-02-01 | パナソニックIpマネジメント株式会社 | Unmanned aerial vehicle detection system and unmanned aerial vehicle detection method |
JP6726082B2 (en) * | 2016-10-24 | 2020-07-22 | 株式会社アニモ | Sound determination method and information processing apparatus for crime prevention |
JP6748044B2 (en) * | 2017-09-08 | 2020-08-26 | 株式会社日立ビルシステム | Passenger conveyor inspection device and passenger conveyor inspection system |
JP7337491B2 (en) * | 2018-09-07 | 2023-09-04 | キヤノン株式会社 | AUDIO VIDEO PROCESSING SYSTEM AND CONTROL METHOD FOR VIDEO AUDIO PROCESSING SYSTEM |
CN110489076B (en) * | 2019-08-22 | 2024-03-01 | 百度在线网络技术(北京)有限公司 | Environment sound monitoring method and device and electronic equipment |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063967A (en) * | 1996-08-23 | 1998-03-06 | Meidensha Corp | Monitoring system |
JP2008141281A (en) * | 2006-11-30 | 2008-06-19 | Micro Gijutsu Kenkyusho:Kk | Monitoring system |
JP4941895B2 (en) * | 2007-04-19 | 2012-05-30 | カシオ計算機株式会社 | Image recording apparatus with sound data and program |
JP2013246546A (en) * | 2012-05-24 | 2013-12-09 | Hochiki Corp | Alarm system |
-
2014
- 2014-12-22 JP JP2014259323A patent/JP6425019B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016118987A (en) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210142072A1 (en) | Monitoring system and monitoring method | |
JP6493860B2 (en) | Monitoring control system and monitoring control method | |
JP6425019B2 (en) | Abnormal sound detection system and abnormal sound detection method | |
CN105474666B (en) | sound processing system and sound processing method | |
US20100254543A1 (en) | Conference microphone system | |
US10182280B2 (en) | Sound processing apparatus, sound processing system and sound processing method | |
JP6202277B2 (en) | Voice processing system and voice processing method | |
JP6210458B2 (en) | Failure detection system and failure detection method | |
US10225650B2 (en) | Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method | |
KR100986228B1 (en) | Camera apparatus and image recording/reproducing method | |
US20150281832A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
JP5939341B1 (en) | Monitoring system and monitoring method | |
JP2013106298A (en) | Imaging controller, imaging control method, program for imaging control method, and imaging apparatus | |
JP6218090B2 (en) | Directivity control method | |
JP6887102B2 (en) | Audio processing equipment, image processing equipment, microphone array system, and audio processing method | |
JP6504539B2 (en) | Sound pickup system and sound pickup setting method | |
JP2008219227A (en) | System and method for monitoring video image | |
WO2015151130A1 (en) | Sound processing apparatus, sound processing system, and sound processing method | |
US10939030B2 (en) | Video audio processing system and method of controlling the video audio processing system | |
EP2394444B1 (en) | Conference microphone system | |
JP2019161353A (en) | Monitoring device, monitoring method, and monitoring processing program | |
JP2016119620A (en) | Directivity control system and directivity control method | |
EP2927885A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
JP6388144B2 (en) | Directivity control device, directivity control method, storage medium, and directivity control system | |
JP2016219965A (en) | Directivity control system and speech output control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181009 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6425019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |