JP2007228459A

JP2007228459A - 監視システム

Info

Publication number: JP2007228459A
Application number: JP2006049595A
Authority: JP
Inventors: Hiromi Aoyanagi; 弘美青柳
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2007-09-06
Anticipated expiration: 2026-02-27
Also published as: JP4861723B2

Abstract

【課題】監視区域の映像に加えて監視区域内及びその周囲の聴取可能な音を識別して異常を警告することが可能な監視システムを提供する。
【解決手段】監視区域をカメラＣで撮影する監視システムであり、カメラＣが撮影する監視区域の音を拾うマイクＭが設けられ、カメラＣからの映像信号を画像処理手段１５により画像処理し、かつマイクＭで拾った音から音声／非音声認識手段１１により音素を認識し、この音素の時系列データから異常音声／異常音識別手段１２ａにて警告すべき異常音声であるか否かを判定し、異常と判定した場合、異常音声／異常音識別手段１２ａからの異常音声を文字データ出力手段１４により警告文字データに変換し、警告文字データを画像データに重畳する。
【選択図】図２

Description

本発明は、監視区域を監視カメラで撮影し、かつ監視区域内及びその周囲の音声を記録して、通信ケーブル、インターネット、携帯電話回線網等を通して監視可能にした監視システムに関するものである。

従来、監視システムには、監視区域を映像と音声とにより異常を監視するものがあり、物音がしたり、大きな音がする等の音声の音量レベルが所定閾値以上であると、監視カメラが作動するようにしたものである。図１０を参照して説明すると、カメラユニット１に光学ユニット２が装着され、カメラユニット１には、ＣＣＤ３からの画像信号を処理するカメラ制御回路部４とカメラ全体を制御する全体制御回路部５とが設けられており、音センサ８と光センサ９からの情報が全体制御回路部５に入力され、全体制御回路部５は、音センサ８が一定以上の音量を検出した場合にだけ異常状態と認識し、カメラ制御回路部４を制御して撮影するようにしている。異常時撮影された映像は、カメラユニット１とケーブル６で接続されたモニタ７に映像として映し出され、監視区域の状況を監視することができる。（例えば、特許文献１参照）

特開２００３−３３３５８３号公報（明細書の段落〔００１４〕〜〔００１７〕，図面図１）

しかしながら、従来の監視システムは、監視区域内で聴取可能な音の音量レベルが所定閾値を超えた際に監視区域の撮影を開始しており、監視員が異常を捉えるためには常時モニタを監視する必要があるが、監視側では音声情報がどのような内容又は原因によるものかをモニタの映像で確認して判断するしかなかった。即ち、単なる物が落下した衝撃音であったり、異常とは認められない要因による音で作動して映像が映し出される場合があり、このような音量レベルのみで映像を監視する監視システムでは、監視区域内又はその周囲で発生した音の発生要因を把握することができず、また、異常でもないのに騒音で頻繁に映像が映し出されて、監視員を悩ませる結果となり、好ましいものではなく、映像に加えて異常事態を音声により判別できるような監視システムではなかった。

本発明は、上述のような課題に鑑みなされたものであり、監視区域の映像に加えて監視区域内及びその周囲の聴取可能な音を識別して異常を警告することが可能な監視システムを提供することを目的とする。

本発明は上記課題を達成するためになされたものであり、請求項１の発明は、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、前記監視装置が、前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システムである。

また、請求項２の発明は、前記監視装置が前記異常音声／異常音を報知する音声出力手段を有することを特徴とする請求項１に記載の監視システムである。

また、請求項３の発明は、前記監視装置が前記警告文字データを重畳した画像データをネットワークに送出する第１の送出手段を備えることを特徴とする請求項１又は２に記載の監視システムである。

また、請求項４の発明は、前記監視装置が、前記警告文字データを重畳した画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項１，２又は３に記載の監視システムである。

また、請求項５の発明は、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システムである。

また、請求項６の発明は、前記監視装置が、前記画像データに前記警告文字データを重畳してネットワークに送出する第１の送出手段を備えることを特徴とする請求項５に記載の監視システムである。

また、請求項７の発明は、前記監視装置が、前記異常音声／異常音を報知する音声出力手段を備えることを特徴とする請求項５又は６に記載の監視システムである。

また、請求項８の発明は、前記監視装置が、前記画像データに前記警告文字データを重畳し、該画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項５，６又は７に記載の監視システムである。

また、請求項９の発明は、前記監視装置が、時刻データ送出手段を備え、前記警告文字データを前記画像データに重畳するとともに、該時刻データ送出手段からの時刻情報に基づいて、監視区域の位置情報に対応して異常発生日時を重畳して出力することを特徴とする請求項１〜８の何れかに記載の監視システムである。

なお、上記音声／非音声認識手段は、ニューラルネットワークに限定するものではないが、ニューラルネットワークは、音素の特徴的パラメータを格納する特徴データベース部を備えており、特徴データベース部から教師信号をニューラルネットワークに加えて識別効率を高めることによって、監視カメラが設置される場所に応じて最適な警戒すべき音声／非音声の識別効率を高めることができ、他の音声認識手段と比較してニューラルネットワークが好ましい。

請求項１の発明では、監視区域をカメラで撮影して録画する監視システムにおいて、前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、監視装置が前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システムであるので、音声／非音声認識手段が防犯ブザーの音や悲鳴などの非音声と音声の音素を検出し、時系列で出力される音素を異常音声／異常音識別手段にて監視対象として異常と認められる音声または非音声であるか否かを判定することが可能であり、モニタ画面に異常を知らせる警告文を異常発生時の映像に重畳して表示することができ、単なる映像よりも異常を認識し易いといった利点があり、監視業務の効率化が図れる利点がある。

また、請求項２の発明では、前記監視装置が前記異常音声／異常音を報知する音声出力手段を有することを特徴とする請求項１に記載の監視システムであるので、警告文が映像に映し出されるのみならず、異常を知らせる警告情報を音声で報知することができ、単なる映像よりも異常を認識し易い利点がある。

また、請求項３の発明では、前記監視装置が前記警告文字データを重畳した画像データをネットワークに送出する第１の送出手段を備えることを特徴とする請求項１又は２に記載の監視システムであるので、音声または非音声による異常を認識した場合に、異常をインターネットに配信することが可能であり、監視者等の特定の者は離れた場所の監視区域の異常状態を監視することができる利点がある。

また、請求項４の発明では、前記監視装置が、前記警告文字データを重畳した画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項１，２又は３に記載の監視システムであるので、監視区域の異常をインターネットを経由して携帯電話網に配信することが可能であり、監視者等の特定の者は、離れた場所であっても携帯電話により異常状態を確認することができる利点がある。

また、請求項５の発明では、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システムであるので、音声／非音声認識手段が防犯ブザーの音や悲鳴などの非音声や音声の音素を検出し、この時系列に出力される音素が異常音声／異常音識別手段にて異常音声または異常音であるか否かを判定し、異常であると判断された場合、異常を知らせる警告文が映像に重畳されてモニタ画面に表示され、単なる映像よりも異常を認識し易い利点がある。また、各監視区域にカメラとマイクとをセットし、離れた場所に監視装置を設置し、複数の監視区域を一箇所で監視することができ、監視効率が良好である利点がある。

また、請求項６の発明では、前記監視装置が、前記画像データに前記警告文字データを重畳してネットワークに送出する第１の送出手段を備えることを特徴とする請求項５に記載の監視システムであるので、監視区域の異常情報がインターネットを介して配信されるので、離れた場所から監視区域を監視できる利点がある。

また、請求項７の発明では、前記監視装置が、前記異常音声／異常音を報知する音声出力手段を備えることを特徴とする請求項５又は６に記載の監視システムであるので、警告文が映像に映し出されるとともに、異常事態を警告する具体的なキーワードを音声で知らせることができるので、単なる映像よりも異常を認識し易い利点がある。

また、請求項８の発明では、前記監視装置が、前記画像データに前記警告文字データを重畳し、該画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項５，６又は７に記載の監視システムであるので、音声または非音声による異常事態を認識した場合に、映像とともに警告文がインターネットに配信して監視者等の特定の者が監視区域の異常を離れた場所であっても確認することができる利点がある。

また、請求項９の発明では、前記監視装置が、時刻データ送出手段を備え、前記警告文字データを前記画像データに重畳するとともに、該時刻データ送出手段からの時刻情報に基づいて、監視区域の位置情報に対応して異常発生日時を重畳して出力することを特徴とする請求項１〜８の何れかに記載の監視システムであるので、映像とともに異常が発生した日時と監視区域（場所）を特定することができる利点がある。

なお、上記音声／非音声認識手段が、ニューラルネットワークである場合、監視区域で監視する警戒事項を表す「火事だ，ドロボー，助けて、キャー」等のキーワードや防犯ブザー音等の音素を学習させることで、種々の監視区域の監視項目に対応することができ、汎用性にある監視システムを提供できる利点がある。

以下、本発明に係る監視システムについて図面を参照して説明する。図１は、本発明の一実施形態を示すブロック図であり、図２は監視装置の機能ブロック図であり、図３は監視システムのブロック図である。図４は音声／非音声認識処理部の一例を示すニューラルネットワークの図である。図５は異常発生時の画像を選択する方法を説明するための説明図であり、図６は携帯電話の表示画面を示す図である。また、図７は、本発明の他の実施形態を示すブロック図であり、図８はその監視装置の機能ブロック図であり、図９は監視システムのブロック図である。

（実施形態１）
図１〜図６を参照し、本発明の一実施形態の監視システムについて説明する。図１に示すように、本実施形態の監視システムは、監視装置１０にマイクＭとカメラＣとが接続され、監視装置１０はインターネットＮを経由してクライアント・コンピュータＰＣに接続され、またインターネットＮを経由して携帯電話回線網Ｄに接続されて携帯電話端末Ｔと接続されている。マイクＭは監視区域Ｅ_１内又はその周辺の音を拾い、カメラＣは監視区域Ｅ_１内を撮影し、この音声情報と映像情報とが監視装置１０に送り込まれ、監視者は、クライアント・コンピュータＰＣや携帯電話端末Ｔで監視区域Ｅ_１の監視を映像と音声情報とで監視することができる。監視装置１０は複数の監視区域Ｅ_１〜Ｅｎにそれぞれ設置され、それらのマイクＭとカメラＣとが通信ケーブルを介して監視装置１０に接続される。無論、監視装置１０が監視する監視区域が一箇所の場合や複数箇所の場合があるし、マイクＭはカメラＣと一体であってもよいし、カメラＣに隣接または離間させて配置してもよい。

監視装置１０は、マイクＭで捉えた音が監視項目に係わる音声または非音声であるか否かを判定して監視項目に係わる音声または非音声であれば、警告すべき事態（アラーム信号の発生）であると判定して警告文字データを出力し、アラーム発生時点の画像を選択し、この画像に警告文字データを重畳し、さらに、警告文字データを音声に変換して警告する機能を有する。また、監視装置１０は、警告文字データを画面に重畳した警告表示映像をインターネットに配信するためのアップロード機能（送出手段）を有する。

監視者は、インターネットＮを介してクライアント・コンピュータＰＣによって、アップロードされた警告表示映像をモニタに表示して監視することができるし、インターネットＮと携帯電話回線網Ｄとを接続してアップロードされた警告表示映像を携帯電話端末Ｔの表示画面（ディスプレィ）に表示させて各監視区域Ｅ_１〜Ｅｎを離れた場所から監視することができる。なお、当然ながらクライアント・コンピュータＰＣ及び携帯電話端末Ｔは、暗唱番号及びパスワード或いは生体認証等による個人認証ができない限り、このネットワーク上の警告表示映像を確認することはできない。また、このネットワークへの外部からの侵入ができないようにルータを設置したり、ファイアーウオールを形成することが望ましい。

さらに、監視装置１０について、図２の機能ブロック図を参照して説明する。先ず、音声信号処理系について説明する。監視装置１０はＣＰＵ（中央演算制御装置）を備えたものであり、マイクＭにより監視区域内で拾った音をデジタル処理して音素を認識する音声／非音声認識手段１１と、音声／非音声認識手段１１により出力された音素の時系列データが入力される制御処理部１２とが設けられ、制御処理部１２には、音声／非音声認識手段１１から得られる音素の時系列データからどのような内容であるかを識別する異常音声／異常音識別手段１２ａと、異常音声／異常音識別手段１２ａにより識別された異常音声／異常音を音声データとして出力し、スピーカＳを駆動するための音声情報を出力する異常音声データ送出手段１２ｂと、異常が発生した日時を特定するための時刻データ送出手段１２ｄ等との機能を有し、さらに、異常音声データ送出手段１２ｂからの異常音声データを音声信号として出力する異常音声出力手段１３と、異常音声／異常音識別手段１２ａにより識別された異常音声／異常音を警告文字データ信号として出力する異常音声文字データ送出手段１４とを備えている。なお、異常音声／異常音識別手段１２ａは制御処理部１２の前段で処理してもよい。

なお、上記音素については後述するとし、上記音声／非音声において、音声とは、意味として理解できる人の声であり、例えば、異常状態を示す、ドロボ−、強盗、火事だ、火災だ、助けて、やめて等であり、非音声とは、意味を持たない人の声や物音であり、悲鳴、鳴き声（赤ん坊の泣き声等）、防犯ブザーの音、ガチャン（ガラスが壊れる音、車両がぶつかる音、物を壊す音）等を意味するものとする。音声／非音声による異常を認識した場合、異常音声／異常音認識処理情報をスピーカＳを駆動させて監視員に報知するが、スピーカＳを駆動する音声又は警告文字データ信号で表示される文字は、音声の場合、「「ドロボ−、強盗、火事だ、火災だ、助けて、やめて等」の音声を認識しました。至急対処してください。」等であり、非音声の場合は、「「防犯ブザー音、悲鳴等」を認識しました。至急対処してください。」等である。

次に、映像信号処理系について説明する。監視装置１０には、カメラＣからの映像信号をデジタル信号に変換し圧縮処理する画像処理手段１５と、画像処理手段１５により圧縮処理された画像データをフレームまたはフィールド画像毎に繰り返して記憶する画像記憶手段１６と、画像記憶手段１６に記憶されたフレームまたはフィールド画像を伸長してＮＴＳＣ方式の映像信号に変換する映像出力手段１７と、映像出力手段１７からの映像信号に上記異常音声文字データ送出手段１４からの警告文字データ信号に基づく警告文を重畳してモニタＷに出力する映像合成手段１８と、画像記憶手段１６に記憶されたフレームまたはフィールド画像Ａを、異常音声文字データ送出手段１４からの文字信号を取り込み、図６に示す携帯電話端末のディスプレィに表示可能な所定の画像サイズ内に収まるように変換する画像サイズ変換手段１９と、映像に警告情報（アラーム発生日時，アラーム発生場所，警告文）を重畳した警告表示映像をインターネットＮへの配信とインターネットＮを経由して携帯電話網に配信するためにＷｅｂサーバ（図示省略）にアップロードする送出手段２０とを備えている。

携帯電話端末のディスプレィは、図６に示すように、表示画面Ａ，Ｂとからなり、表示画面Ａは監視画像を表示する表示領域であり、表示画面Ｂは異常発生時の異常情報を文字で表示する領域である。表示画面Ｂには、異常情報としてアラーム発生日時、アラーム発生場所、異常音声／異常音認識処理情報が表示される。なお、携帯電話の画面サイズは、最大で２４０画素（横）×３２０画素（縦）のＱＶＧＡ（Quarter Video Graphics Array）サイズであり、その実効サイズは２４０画素（横）×２２４画素（縦）である。フレームまたはフィールド画像（表示画面）Ａは、画像サイズ変換手段１９により、この画像サイズ内に収まるように変換される。

続いて、本実施形態について、図２，図３を参照して詳細に説明する。監視装置１０にはマイクＭとカメラＣとが通信ケーブルで接続され、かつマイクＭで捉えた音及びカメラＣで撮影された監視区域の映像はＶＴＲ、ＨＤＤレコーダ、或いはＤＶＤレコーダＲＥに記録されている。また、監視装置１０にはモニタＷが接続され、かつシリアル信号処理部２１を介してキーボード等の入力装置が接続され、この入力装置により監視装置１０を制御することができる。

音声／非音声認識手段１１は、マイクＭにより監視区域内又はその周辺からの拾った音声／非音声音を増幅してＡ／Ｄ変換器によりデジタル信号に変換する音声／非音声取込み部１１ａと、デジタル化した音声／非音声を１０〜３０チャネル程度の帯域フィルタ群を用いたり、高速フーリエ変換（ＦＦＴ）を用いて直接的に音声スペクトルを計算したりする等、音声認識の前処理にあたる短時間スペクトル分析を行って、音声／非音声を音素に分解する音声分析部１１ｂと、音声分析部１１ｂから得られる音素の時系列データが入力されて音声／非音声を認識する音声認識処理部１１ｃと、音素の特徴的パラメータを格納し、音声認識処理部１１ｃに教師信号とし供給する特徴データーベース部１１ｄとからなる。なお、音声分析部１１ｂでは、非音声が音声と同様な短時間スペクトル分析して音素に分解される。非音声にも子音や母音と同様に特徴的パターンがある。

音声認識処理部１１ｃは、例えば、公知の時間遅れニューラルネットワーク（ＴＤＮＮ：Time Delay Neural Network）により構成され、図４はその構造図の概要を示し、ＴＤＮＮは音の認識の単位である音素を認識し、その音素の時系列データから音声／非音声を認識することができる。音声認識処理部１１ｃには、各音素グループに分類されて各グループ毎にＴＤＮＮが設けられ、音声分析部１１ｂから音声／非音声をスペクトル分析した音素の時系列データが各ＴＤＮＮの入力層Ｉに供給され、第１と第２の隠れ層Ｈ１，Ｈ２にて、グループ間の識別を行って音素を識別して出力層Ｏから特定された音素が出力される。なお、日本語の音素は全部で２４種類（ｂ，ｄ，ｇ，ｐ，ｔ，ｋ，ｍ，ｎ，Ｎ，ｓ，ｓｈ，ｈ，ｚ，ｃｈ，ｔｓ，ｒ，ｗ，ｙ，ａ，ｉ，ｕ，ｅ，ｏ，Ｑ（無音））あり、音素は母音と子音に分類され、さらに、有声子音と無声子音とに分けられ、有声子音には、破裂音，摩擦音，流音，鼻音音等があり、無声子音には破裂音，破擦音，摩擦音等があり、ＴＤＮＮは各グル−プ毎に設けられている。また、音声認識処理部１１ｃでは、音声のみならず、非音声が認識処理される。音声分析部１１ｂでは音声以外に防犯ブザーや悲鳴等の非音声が音素として分解されて出力されるので、音声認識処理部１１ｃでは、音声のみならず非音声における特徴的パターンから非音声を認識することができる。

なお、図４のＴＤＮＮは、子音／ｂ／ｄ／ｇを認識するグループを例示したものであり、その構造は、入力層（Input Layer）Ｉ、第１と第２の隠れ層（Hidden Layer）Ｈ１，Ｈ２、出力層（Output Layer）Ｏからなる多層パーセプトロン型を構成している。この型のＴＤＮＮは、特徴データーベース１１ｄからの教師信号に基づいて、教師信号との誤差を逆に伝搬するバックプロパゲーション（Back-Propagation：誤差逆伝搬法）学習ができることに特徴がある。図４のＴＤＮＮにおいて、入力層Ｉは、横軸が時間軸を表し、縦軸が周波数軸を表している。横軸の時間軸は、１０ミリ秒毎にスペクトル分析を行った１５フレームの周波数パターンであり、縦軸の周波数軸は、０〜６０００Ｈｚまでを１６の帯域（１６チャンネルスペクトラム）に分割して、１５フレーム分の音素の特徴成分である時系列データ（１５フレーム×１６次元＝２４０点）が入力層Ｉに入力される。第１隠れ層Ｈ１には、入力層Ｉの３フレーム（３０ミリ秒）の局所的な特徴成分を検出する特徴検出器（素子）が並んでいる。第２の隠れ層Ｈ２には第１隠れ層Ｈ１の５フレーム（５０ミリ秒）のより大局的な特徴成分を検出する特徴検出器が並んでいる。出力層Ｏは、第２隠れ層Ｈ２の出力値の時間方向への総和を出力とし音素「ｂ」を認識することができる。また、母音を含む他の音素グループも同様のＴＤＮＮで認識することができる。因みに、音声認識処理部１１ｃでは、全ての音素グループのＴＤＮＮを用意する必要はなく、認識対象の音素グループのＴＤＮＮを用意すればよい。

このように音声認識処理部１１ｃでは、音素の時系列データがＴＤＮＮの入力層Ｉに与えられ、自己評価、或いは特徴データベース部１１ｄから入力される音素データに基づいて、比較評価を繰り返し行うことによって、各層間の重み付け量が設定され、各音素（母音／子音）の認識処理が行われ、その音素の認識結果が出力層Ｏから出力され、出力層Ｏからの時系列の音素（子音、母音）が出力され、後段で音声／非音声を認識することができる。なお、音声認識処理部１１ｃは、ＴＤＮＮ等の公知のソフトやディバイス等が用いられる。

制御処理部１２はＣＰＵにより演算処理する機能を有する。制御処理部１２については、図２の機能ブロック図を参照し説明する。音声認識処理部１１ｃからの出力される音声／非音声情報が異常音声／異常音識別手段１２ａに入力される。異常音声／異常音識別手段１２ａでは、音声／非音声入力情報を認識し、各監視区域にあった警戒するべき音声や非音声を、理解可能な異常音声／異常音情報（異常音声：ドロボー、火事だ、助けて、やめて等，異常音情報：防犯ブザー音や悲鳴等）として認識し、音声合成と文字化するための音声識別情報とアラーム信号（異常事態検出信号）とを送出する。

一方、時刻データ送出手段１２ｄは、時刻発生部１２ｃから西暦、月、日、時刻の日時情報が入力され、異常音声識別手段１２ａからの異常音声情報に基づくアラーム信号により、時刻データ送出手段１２ｄから日時情報が出力される。この日時情報は、後述のように、アラーム発生場所、音声識別情報（警告情報）とともに、所定の出力形式のフォーマットの映像信号に重畳或いは付加されて警告表示映像とし出力される。この警告表示映像はモニタＷに表示され、かつインターネットＮを介してクライアント・コンピュータＰＣや携帯電話端末Ｔの画面に表示される。

また、異常音声データ送出手段１２ｂからの音声識別情報は音声合成処理部１３ａに入力され、既存の音声合成手段によりアナログ音声が作成され、音声合成されたアナログ信号が音声出力部１３ｂにより増幅されてスピーカＳに出力される。さらに、異常音声データ送出手段１２ｂからの音声識別情報が文字データ出力部１４に入力され、文字データ出力部１４では、音声識別情報に基づいて文字データに変換し、文字信号合成部１８，画像変換サーバ部１９及びネットワーク処理部２０にそれぞれ出力する。

次に、映像処理系について説明すると、画像処理手段１５は、映像取込み部１５ａと、映像処理部１５ｂからなり、映像取り込み部１５ａでは、カメラＣが撮影した監視区域の映像であるＮＴＳＣ等のアナログ映像信号を取り込むための入力インターフェースであり、映像処理部１５ｂは、このＮＴＳＣのアナログ映像信号をデコードし、Ａ／Ｄ変換し圧縮処理してデジタル圧縮データとし、画像メモリ（画像記録手段）１６に送出する。

画像メモリ１６は、複数のフレームまたはフィールドメモリからなり、監視映像であるデジタル圧縮データが複数のフレームまたはフィールドメモリに繰り返し上書き記録されている。映像出力処理部１７は、画像メモリ１６に記録された映像圧縮データを読み出して伸張してＮＴＳＣにエンコードし、文字信号合成部（映像合成手段）１８に送り込み、文字信号合成部（映像合成手段）１８では映像信号に警告文等を重畳してモニタＷに出力する。また、文字信号合成部１８では、監視区域の異常状態を示す警告情報や発生日時、監視区域（場所）等の監視に必要な情報が文字情報として映像信号に重畳されてモニタＷに出力される。

画像メモリ１６では、図５に示したように、異常音声／異常音識別手段１２ａが異常認識処理を開始（アラーム信号が発生した時点）又は異常認識処理が完了した時点ｔ_１で、制御処理部１２の制御機能により、画像メモリ１６への上書き処理を停止し、連続する記録画像認識処理時間ｔ_０分遡って異常が発生した時点の記録画像Ｆ_０を映像出力処理部１７で処理し、文字信号合成部１８を経て、異常発生時の映像又は画像としてモニタＷに出力する。さらに、制御処理部１２では、この異常の発生を検知した時点の記録画像Ｆ_０の前後複数枚の画像を携帯電話端末Ｔ又は監視装置１０のクライアント・コンピュータＰＣが出力できる。

画像変換サーバ部（画像サイズ変換手段）１９は、映像信号を携帯電話端末Ｔの画面に表示できる画像形式（ＪＰＥＧ等）で、画像サイズ（ＱＶＧＡサイズ等）に表示可能なサイズに変換し、異常状態の情報や発生時刻、監視区域（場所）等の監視に必要な情報が文字情報として所定フォーマットに付加されてネットワーク処理部（ネットワークへの送出手段）２０に送出される。

ネットワーク処理部（送出手段）２０は、異常状態の警告情報や発生日時、監視区域（場所）等の監視に必要な情報が文字情報としアラーム発生時の画像を、クライアント・コンピュータＰＣや携帯電話端末ＴにインターネットＮを介してＷＷＷブラウザで表示可能な出力形式として配信（アップロード）する機能を備えている。

また、監視装置１０は、ルータＲを介してインターネットＮに接続され、クライアント・コンピュータＰＣはルータＲを介してインターネットＮに接続され、また、携帯電話端末Ｔが接続された携帯電話網ＤはルータＲを介してインターネットＮに接続されており、クライアント・コンピュータＰＣ及び携帯電話端末Ｔは、監視区域の状態を離れた場所であっても監視することができる。なお、ルータは、ネットワーク上を流れるパケットデータをプロトコルから解析し、どの経路で流せばよいか判断して転送を行う機能を有し、また、データの伝達経路を設定できる機能も併せ持ち、関係の無いデータを流さない機能を有し、システムのセキュリテーを高めるのに効果的である。

（実施形態２）
次に、本発明の他の実施形態について図７から図９を参照して説明する。図７は、本発明の他の実施形態を示すブロック図であり、図８は、他の実施形態の機能ブロック図であり、図９は、他の実施形態の監視システムのブロック図である。

本実施形態は、図７に示すように、上記実施形態とは異なり、各監視区域にカメラＣとマイクＭが設置され、カメラＣとマイクＭには、監視区域で捉えた音と映像をインターネットＮに送出する送出手段２２を備えている。この送出手段２２は、各監視区域の映像と音声をＷＷＷブラウザで検索して視聴することができる形態に変換して自動的にＷｅｂサーバにアップロードする機能を有し、カメラＣは、所謂ネットワークカメラである。この実施形態では、監視装置１０を監視区域に設置される必要はなく、インターネットＮを介して離れた場所に設置したものであり、上記実施形態とは異なっている。携帯電話端末Ｔは上記実施形態と同一である。なお、上記実施形態と同一部分は可能な限り説明を省略する。

また、音声／非音声認識手段１１は、マイクＭが拾った音声／非音声をネットワークの送出手段２０から受信されるパケット信号として取得し、パケット信号による音声／非音声がどのような内容であるかを認識し、この音声または非音声が異常音声であると認識された場合、異常音声／異常音が制御処理部１２の異常音声／異常音識別手段１２ａに入力され、上記実施形態で説明したように、異常音声／異常音は音声又は警告文字情報に変換してスピーカＳで報知したり、モニタＷに監視映像に重畳した文字情報とした警告表示映像が表示される。また、携帯電話端末Ｔにも同様に警告表示画像を表示することができる。また、画像取得手段１５ａ′は、デジタル化された画像信号を取得し、その画像信号を画像記憶手段１６に記録し、上記実施形態と同様な画像処理を経て警告文字情報が重畳されている。

この実施形態では、各監視区域に一対のカメラとマイクを設置してこれらからの音声及び画像が、異常音声や異常音を検出した時のみインターネットＮを経由してクライアント・コンピュータＰＣ又は携帯電話端末Ｔで警告表示文字情報と画像により監視することができ、上記実施形態と比較して各監視区域に監視装置を設置する必要がなく、多くの監視区域を少ない人員で監視できる。

上述のように本発明は、監視区域で発生した異常を、現地で発生する音声及び非音声の抽出された特徴をニューラルネットワークを利用して認識し、その認識結果が異常を示すものであれば、監視者に異常を警告する際のトリガーとして利用したものである。また、抽出された特徴によるニューラルネットワークの認識結果を文字情報に変換し、異常発生当時の監視画像に付加して配信する。この監視画像により記録した異常状態発生当時の監視画像を、専任の監視者の監視モニタへ送ると同時に、監視場所から離れた場所にいるクライアント・コンピュータＰＣや携帯電話端末へインターネットや携帯電話回線網のネットワークを経由して監視画像を配信することができる。

なお、本発明では、監視区域を監視する際に、火災を監視するのか、進入者を監視するのか、看護を目的とする監視システムであるのか、などによって、異常状態における異常音声の内容が異なり、従って、音声／非音声認識手段は異なった異常音声または異常音を認識しなければならず、音声／非音声認識手段をニューラルネットワークで構成することによって、学習により汎用性のある監視システムを提供することができる。

本発明の活用例としては、監視者が監視区域とは離れた場所に居たとしても監視映像又は画像に加えて異常音声を警告文字として表示してどのような異常事態であるかを自動的に認識して監視することができる監視システムとして利用することができ、種々の異常事態に対応する監視システムとして活用できる。

本発明の監視システムの一実施形態を示すブロック図である。本実施形態の監視装置の機能ブロック図である。本実施形態の監視システムのブロック図である。本実施形態における音素認識処理部の一例を示すニューラルネットワークの図である。本実施形態における異常発生時の画像を選択する方法を説明するための説明図である。本実施形態における携帯電話の表示画面を示す図である。本発明の他の実施形態を示すブロック図である。図７の実施形態の監視装置の機能ブロック図である。図７の実施形態の監視システムのブロック図である。従来の監視システムを示すブロック図である。

符号の説明

１０監視装置
１１音声／非音声認識手段
１１ａ音声／非音声取込み部
１１ｂ音声分析部
１１ｃ音声認識処理部
１１ｄ特徴データベース部
１２制御処理部
１２ａ異常音声／異常音識別手段
１２ｂ異常音声データ送出手段
１２ｃ時刻発生部
１２ｄ時刻データ送出手段
１３異常音声出力手段
１３ａ音声合成処理部
１３ｂ音声出力部
１４異常音声文字データ送出手段
１５画像処理手段
１５ａ′ 画像取得手段
１５ａ映像取込み部
１５ｂ映像処理部
１６画像メモリ（画像記録手段）
１７映像出力処理部（映像出力手段）
１８文字信号合成部（映像合成手段）
１９画像変換サーバ部（画像サイズ変換手段）
２０，２２ネットワーク処理部（送出手段）
２１シリアル信号処理部
Ｃカメラ
Ｄ携帯電話回線網
Ｅ_１〜Ｅｎ監視区域
Ｍマイク
Ｎインターネット
ＰＣクライアント・コンピュータ
Ｒルータ
ＲＥＶＴＲ，ＤＶＤレコーダ，ＨＤＤレコーダ
Ｓスピーカ
Ｔ携帯電話端末
Ｗモニタ

Claims

監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、前記監視装置が、前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システム。
前記監視装置が前記異常音声／異常音を報知する音声出力手段を有することを特徴とする請求項１に記載の監視システム。
前記監視装置が前記警告文字データを重畳した画像データをネットワークに送出する第１の送出手段を備えることを特徴とする請求項１又は２に記載の監視システム。
前記監視装置が、前記警告文字データを重畳した画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項１，２又は３に記載の監視システム。
監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声／非音声認識手段により音素を認識し、該音素の時系列データから異常音声／異常音識別手段にて所定の音声／非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声／異常音識別手段からの異常音声／異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システム。
前記監視装置が、前記画像データに前記警告文字データを重畳してネットワークに送出する第１の送出手段を備えることを特徴とする請求項５に記載の監視システム。
前記監視装置が、前記異常音声／異常音を報知する音声出力手段を備えることを特徴とする請求項５又は６に記載の監視システム。
前記監視装置が、前記画像データに前記警告文字データを重畳し、該画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第２の送出手段を備えることを特徴とする請求項５，６又は７に記載の監視システム。
前記監視装置が、時刻データ送出手段を備え、前記警告文字データを前記画像データに重畳するとともに、該時刻データ送出手段からの時刻情報に基づいて、監視区域の位置情報に対応して異常発生日時を重畳して出力することを特徴とする請求項１〜８の何れかに記載の監視システム。