JP2010183417A - 音声情報表示システム、音声情報表示方法、及び音声情報表示装置 - Google Patents

Abstract

【課題】カメラの死角及び映像では把握しにくい異常を効率的に提示する。
【解決手段】カメラと、音声が入力されるマイクと、マイクに入力された音声を処理する音声処理装置と、カメラによって撮影された映像を処理する映像処理装置と、映像を表示する表示装置を含む映像表示システムで、音声処理装置は、マイクに入力された音声を解析することによって音声認識結果を含む音声情報を生成し、生成された音声情報を映像処理装置に送信し、映像処理装置は、音声処理装置から受信した音声情報をカメラによって撮影された映像に合成し、音声情報が合成された映像を表示装置に表示する。
【選択図】図１３

Description

本発明は、複数のカメラ及び複数のマイクを備える映像表示システムに関する。

ＷｅｂカメラなどのＩＰ接続可能な撮像装置が普及することにより、ＩＰネットワークを利用した広域・大規模監視システムを構築することが可能となった。このような監視システムでは、大量の監視画像を取得することが可能となり、多角的なモニタリングが可能となる。最近では、監視モニタ端末の画面に、１００台以上のカメラの映像を並べて表示し、監視業務を行うといった用途も存在する。

しかし、広域エリアに死角無くカメラを設置しようとすると、多大なコストを必要とする上に、大量のモニタ装置が必要となり、効率的な監視システムを構成することが困難である。そこで、監視の必要性が高い箇所に撮影方向を制御可能なカメラを設置し、監視対象領域内で異常音が発生した方向にカメラを向けることによってカメラの死角を最小限に抑えて監視する技術が提案されている（特許文献１参照）。
特開２００６−２５４２７７号公報

しかし、特許文献１に開示された技術では、不審者にカメラの動作を知られている場合には、物を投げて音を立てることによってカメラを不審者の行動範囲以外に向けることによって、不審者の位置が撮影範囲外となってしまうという問題がある。

また、複数の方向で異常音が生じた場合には、カメラの方向を一意に決定することができないといった問題がある。その他、異常音が生じた方向にカメラを向けてしまうと、他の重要な場所が撮影できなくなってしまう危険性がある。通常、カメラの設置位置は重要な方向に向けられており、その方向の映像を撮影しつつ、周囲の情報を把握できることが好ましい。

例えば、カメラの死角の情報を把握するために、マイクを設置することが考えられる。しかし、収集された音声をそのまま監視者に聴かせてしまうと、複数のマイクで同時に音声が発生した場合に状況把握が困難といった問題が生じたり、会話の内容を把握されてしまうことでプライバシーの侵害になってしまう可能性がある。

本発明は、音声情報を活用しながら、プライバシーを侵害しないように配慮し、監視効率を低下させずにカメラの死角の情報を把握することを目的とする。

本発明の代表的な一形態によれば、カメラと、音声が入力されるマイクと、前記カメラによって撮影された映像を表示する表示装置を含む音声情報表示システムであって、前記マイクに入力された音声に基づいて音声情報を生成する音声処理装置と、前記カメラによって撮影された映像を処理する映像処理装置と、を備え、前記音声処理装置は、前記マイクに入力された音声を解析することによって、前記表示装置に表示可能な音声認識結果を含む音声情報を生成し、前記生成された音声情報を前記映像処理装置に送信し、前記映像処理装置は、前記音声処理装置から受信した音声情報を前記カメラによって撮影された映像に合成し、前記音声情報が合成された映像を前記表示装置に表示する。

本発明の一形態によれば、音声情報を合成（重畳）した映像を表示することによって、映像だけでは把握しにくいカメラの死角の状況を把握することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の実施の形態の音声情報表示監視システムの一例を示す構成図である。

音声情報表示監視システムは、建造物内などに設置された複数のカメラ１１０及び複数のマイク１１１によって収集された映像情報及び音声情報を、監視センタ２の管理者又は監視員に提供する。

本発明の実施の形態の音声情報表示監視システムは、複数のカメラ１１０と複数のマイク１１１を含む入力装置群（１Ａ、１Ｂ）と、入力装置群を制御し、監視映像を表示する監視センタ２とを含む。

監視センタ２には、音声処理ＰＣ３、カメラ制御ＰＣ４、表示ＰＣ５及び映像蓄積ＰＣ６を備える。

音声処理ＰＣ３は、マイク１１１から音声を取得して音声情報を生成する。カメラ制御ＰＣ４は、カメラ１１０によって撮影された映像を取得し、表示ＰＣ５に取得された映像を送信する。

表示ＰＣ５は、カメラ制御ＰＣ４から送信された映像に音声処理ＰＣ３によって生成された音声情報を合成（重畳）した監視映像を生成する。音声処理ＰＣ３から映像に対応する音声情報が送信されていない場合には、カメラ制御ＰＣ４から送信された映像を監視映像とする。なお、生成された音声情報には、取得された音声を解析することによって推定されたイベントに関する情報などが含まれる。

表示ＰＣ５には、監視映像を表示するモニタ装置５０が接続される。モニタ装置５０は、複数のカメラ１１０に対応する監視映像をカメラ別に並べて表示することができる。管理者又は監視員は、モニタ装置５０に表示される映像を監視する。映像蓄積ＰＣ６は、監視映像を記憶装置に蓄積する。

表示ＰＣ５では、前述したように、音声処理ＰＣ３から音声情報を受信すると、当該音声情報に対応するイベントが発生したマイク付近のカメラ１１０の映像に当該イベントの情報を重畳した監視映像をモニタ装置５０に表示する。マイク１１１は所定の位置に固定され、かつ、所定のカメラ１１０に対応づけられている。マイク１１１によって取得された音声を処理することによって得られる音声情報（イベント情報）を、対応するカメラ１１０によって撮影された映像に合成してモニタ装置５０に表示させることによって、カメラの死角で発生した出来事及び映像では気づきにくい変化などを監視することができる。また、表示ＰＣ５では、管理者によって指定されたカメラ１１０の映像を高精細度で表示することができる。

以下、各構成の詳細について説明する。

＜入力装置群の構成＞
入力装置群（１Ａ、１Ｂ）は、監視センタ２によって管理される。各入力装置群は建造物などの所定の領域（例えば、各フロア）ごと、あるいは、カメラ又はマイクの台数ごとに設定される。入力装置群には、複数のカメラ１１０及び複数のマイク１１１が含まれる。なお、以下の説明では、各入力装置群の構成は同様であるので、同一の要素に同一の符号を付して重複した説明を省略する。

カメラ１１０の台数とマイク１１１の台数とは、同じである必要はなく、相違していてもよい。さらに、カメラ１１０とマイク１１１とを同じ位置に設置してもよいし、別の位置に設置してもよい。カメラ１１０とマイク１１１とは、一体型の構成となっていてもよいし、別の筐体であってもよい。

所定の位置に設置されたカメラ１１０は、所定のフレームレートで所定の解像度の動画を撮影する。撮影された動画（映像）は、通信網１００を介して送信される。通信網１００は、ネットワークケーブル又は専用ケーブルなどによって構成される。

カメラ１１０は、通信網１００を介してカメラ制御ＰＣ４に接続される。カメラ１１０は、例えば、ネットワークに接続可能なＩＰカメラなどである。カメラ１１０は、外部からの要求に応じて映像を出力するカメラであっても、カメラ側から一方的に映像を出力するカメラであってもよい。

所定の位置に設置されたマイク１１１は、通信網１００を介して、音声処理ＰＣ３に接続される。なお、マイク１１１から音声処理ＰＣ３に音声を送信可能であれば、他の通信手段であってもよい。マイク１１１は、マイクロホンアレイなど、装置単独で音源方向の特定が可能なマイクであってもよい。

カメラ１１０及びマイク１１１は、拠点ごとに複数設置されている。カメラ１１０の位置情報は、カメラ制御ＰＣ４によって管理される。マイク１１１の位置情報は、音声処理ＰＣ３によって管理される。

＜監視センタの構成＞
次に、監視センタ２の構成要素（音声処理ＰＣ３、カメラ制御ＰＣ４、表示ＰＣ５及び映像蓄積ＰＣ６）について、図１から図５を参照しながら説明する。

図２は、本発明の実施の形態の音声処理ＰＣ３の構成の一例を示す図である。

音声処理ＰＣ３は、前述のように、マイク１１１から取得した音声を解析することによってイベント情報を含む音声情報を生成し、生成された音声情報を表示ＰＣ５に送信する。音声処理ＰＣ３は、ＣＰＵ２０１、メモリ２０２、入力部２０３、通信部２０４及び記憶部２１０を含む計算機である。

ＣＰＵ２０１は、メモリ２０２に記憶されたプログラムを処理することによって、各種処理を実行する。メモリ２０２は、ＣＰＵ２０１によって実行されるプログラム及び当該プログラムを実行するために必要なデータを記憶する。

入力部２０３は、利用者などからの情報の入力を受け付けるためのインタフェースである。具体的には、キーボード又はマウスなどの入力機器である。通信部２０４は、外部の機器と通信するためのインタフェースである。例えば、ネットワークインタフェースカードである。音声処理ＰＣ３は、通信部２０４を介して通信網１００に接続されたマイク１１１から音声情報の入力を受け付ける。

記憶部２１０は、音声の処理に必要なプログラム及びデータを格納する。具体的には、記憶部２１０には、ＯＳ２１１、マイク管理情報２１２、異常音声データ２１３、異常会話データ２１４、音声取得プログラム２１５、音声有無判定プログラム２１６、音源方向推定プログラム２１７、音声種別判定プログラム２１８、音声認識プログラム２１９及びイベント通知プログラム２２０が格納される。

ＯＳ２１１は、各種プログラムを実行するために必要なオペレーティングシステムである。

マイク管理情報２１２は、設置されたマイク１１１の識別情報及び設置情報などが格納される。マイク管理情報２１２の詳細については、図８にて説明する。

異常音声データ２１３は、マイク１１１に入力された音声の種別を特定するための情報である。例えば、マイク１１１に入力された音声が足音であることを識別したり、破壊音などの異常音であることを識別したりするための情報である。異常音声データ２１３の詳細については、図１０にて説明する。

異常会話データ２１４は、マイク１１１に入力された音声が会話である場合に、会話に不審な言葉が含まれているか否かを判定するための情報が格納される。不審者の会話及び緊急時の会話などに含まれる単語又は言葉が会話に含まれているか否かを判定することによって発生したイベントに問題があるか否かを判定する。異常会話データ２１４の詳細については、図１１にて説明する。

音声取得プログラム２１５は、マイク１１１から音声を取得する。音声有無判定プログラム２１６は、マイク１１１に音声が入力されたか否かを判定する。

音源方向推定プログラム２１７は、マイク１１１に入力された音声及びマイク管理情報２１２に基づいて、当該音声の音源の方向を推定する。

音声種別判定プログラム２１８は、マイク１１１に入力された音声及び異常音声データ２１３に基づいて、音声の種別を判定する。音声の種別は、当該音声が発せられた原因となったイベントに対応する。

音声認識プログラム２１９は、マイク１１１に入力された音声の種別が会話である場合に、会話の内容及び異常会話データ２１４に基づいて、会話に異常の可能性が高い単語が含まれているか否かを判定する。

イベント通知プログラム２２０は、音声取得プログラム２１５、音源方向推定プログラム２１７、音声種別判定プログラム２１８及び音声認識プログラム２１９によって生成されたイベント情報を含む音声情報を表示ＰＣ５に送信する。

図３は、本発明の実施の形態のカメラ制御ＰＣ４の構成の一例を示す図である。

カメラ制御ＰＣ４は、前述のように、カメラ１１０から映像を取得し、映像を表示ＰＣ５に送信する。カメラ制御ＰＣ４は、ＣＰＵ３０１、メモリ３０２、入力部３０３、通信部３０４及び記憶部３１０を含む計算機である。

ＣＰＵ３０１は、メモリ３０２に記憶されたプログラムを処理することによって、各種処理を実行する。メモリ３０２は、ＣＰＵ３０１によって実行されるプログラム及び当該プログラムを実行するために必要なデータを記憶する。

入力部３０３は、管理者又は監視員などによる入力を受け付けるためのインタフェースである。具体的には、キーボード又はマウスなどの入力機器である。通信部３０４は、外部の機器と通信するためのインタフェースである。例えば、ネットワークインタフェースカードである。カメラ制御ＰＣ４は、通信部３０４を介して通信網１００に接続されたカメラ１１０から映像の入力を受け付ける。

記憶部３１０は、映像を取得又は送信するために必要なプログラム及びデータを格納する。具体的には、記憶部３１０には、ＯＳ３１１、カメラ管理情報３１２、カメラ映像取得プログラム３１３及びカメラ映像送信プログラム３１４が格納される。

ＯＳ３１１は、各種プログラムを実行するために必要なオペレーティングシステムである。

カメラ管理情報３１２は、設置されたカメラ１１０の識別情報及び設置情報などが格納される。カメラ管理情報３１２の詳細については、図９にて説明する。

カメラ映像取得プログラム３１３は、指定されたカメラ１１０によって撮影された映像を取得する。カメラ映像送信プログラム３１４は、表示ＰＣ５に映像を送信する。

図４は、本発明の実施の形態の表示ＰＣ５の構成の一例を示す図である。

表示ＰＣ５は、音声処理ＰＣ３から送信された音声情報を、カメラ１１０によって撮影された映像に重畳して表示する。表示ＰＣ５は、ＣＰＵ４０１、メモリ４０２、入力部４０３、表示部４０４、通信部４０５及び記憶部４１０を含む計算機である。

ＣＰＵ４０１は、メモリ４０２に記憶されたプログラムを処理することによって、各種処理を実行する。メモリ４０２は、ＣＰＵ４０１によって実行されるプログラム及び当該プログラムを実行するために必要なデータを記憶する。

入力部４０３は、利用者などからの情報の入力を受け付けるためのインタフェースである。具体的には、キーボード又はマウスなどの入力機器である。例えば、映像を表示するカメラ１１０の指定を受け付ける。

表示部４０４は、音声処理ＰＣ３から送信された音声情報を、カメラ制御ＰＣ４から受信した映像に重畳した映像信号を出力し、モニタ装置５０に表示させる。

通信部４０５は、外部の機器と通信するためのインタフェースである。例えば、ネットワークインタフェースカードである。表示ＰＣ５は、通信部４０５を介して通信網１００に接続された音声処理ＰＣ３及びカメラ制御ＰＣ４から送信された音声情報及び映像の入力を受け付ける。

記憶部４１０は、映像を表示するために必要なプログラム及びデータを格納する。具体的には、記憶部４１０には、ＯＳ４１１、イベント取得プログラム４１２、映像処理プログラム４１３、表示制御プログラム４１４、映像蓄積プログラム４１５及び蓄積映像取得プログラム４１６が格納される。

ＯＳ４１１は、各種プログラムを実行するために必要なオペレーティングシステムである。

イベント取得プログラム４１２は、音声処理ＰＣ３によって送信されたイベント情報を含む音声情報を取得する。映像処理プログラム４１３は、カメラ制御ＰＣ４から受信した映像情報に音声情報を重畳した映像を生成する。

表示制御プログラム４１４は、映像情報の表示を制御する。例えば、複数のカメラ１１０によって撮影された映像を同時に表示したり、指定されたカメラ１１０によって撮影された映像を拡大して表示したりする。

映像蓄積プログラム４１５は、表示ＰＣ５で受信した映像及び音声情報を映像蓄積ＰＣ６に送信する。蓄積映像取得プログラム４１６は、映像蓄積ＰＣ６に蓄積された映像及び音声情報を取得する。

図５は、本発明の実施の形態の映像蓄積ＰＣ６の構成の一例を示す図である。

映像蓄積ＰＣ６は、ＣＰＵ５０１、メモリ５０２、入力部５０３、通信部５０４及び記憶部５１０を含む計算機である。映像蓄積ＰＣ６は、表示ＰＣ５で表示された映像を格納する。さらに、取得した映像に音声情報が重畳されている場合には、映像に対応する音声及び音声情報を格納する。表示ＰＣ５は、映像蓄積ＰＣ６に格納された映像データ及び音声データを随時取得し、閲覧することができる。

ＣＰＵ５０１は、メモリ５０２に記憶されたプログラムを処理することによって、各種処理を実行する。メモリ５０２は、ＣＰＵ５０１によって実行されるプログラム及び当該プログラムを実行するために必要なデータを記憶する。

入力部５０３は、管理者又は監視員などによる入力を受け付けるためのインタフェースである。具体的には、キーボード又はマウスなどの入力機器である。通信部５０４は、外部の機器と通信するためのインタフェースである。例えば、ネットワークインタフェースカードである。映像蓄積ＰＣ６は、通信部５０４を介して通信網１００に接続された表示ＰＣ５から映像データ及び音声情報データを受信する。

記憶部５１０は、映像データ５１２及び音声情報データ５１３を格納する。さらに、映像及び音声情報を蓄積及び管理するために必要なプログラム及びデータを格納する。具体的には、記憶部５１０には、ＯＳ５１１、映像蓄積プログラム５１４、映像検索プログラム５１５及びデータ管理プログラム５１６が格納される。

ＯＳ５１１は、各種プログラムを実行するために必要なオペレーティングシステムである。

映像データ５１２は、カメラ１１０によって撮影された映像であって、カメラ制御ＰＣ４及び表示ＰＣ５を経由して映像蓄積ＰＣ６に送信される。

音声情報データ５１３は、マイク１１１に入力された音声及び当該音声を基に生成された情報であって、音声処理ＰＣ３から表示ＰＣ５を経由して映像蓄積ＰＣ６に送信される。

映像蓄積プログラム５１４は、表示ＰＣ５から送信された映像及び音声情報を受信し、記憶部５１０に格納する。映像検索プログラム５１５は、指定された映像を検索し、映像データ５１２及び音声情報データ５１３を取得し、表示ＰＣ５に送信する。

データ管理プログラム５１６は、映像データ５１２及び音声情報データ５１３を管理するためのプログラムである。データ管理プログラム５１６は、汎用プログラムであってもよいし、映像データ５１２及び音声情報データ５１３の管理に特化した専用プログラムであってもよい。

なお、音声処理ＰＣ３、カメラ制御ＰＣ４、表示ＰＣ５、及び映像蓄積ＰＣ６を、１台又は複数台のＰＣに集約して音声情報表示監視システムを構成してもよい。

図８は、本発明の実施の形態のマイク管理情報２１２の一例を示す図である。

マイク管理情報２１２には、マイクＩＤ８０１、アドレス８０２、拠点ＩＤ８０３、設置位置８０４、及び周辺カメラＩＤ８０５が含まれる。

マイクＩＤ８０１は、マイク１１１の識別子である。アドレス８０２は、マイク１１１のアクセス先情報である。本発明の実施の形態では、アクセス先情報としてＩＰアドレスを利用している。

拠点ＩＤ８０３は、マイク１１１が設置された拠点の識別子である。設置拠点は、例えば、入力装置群が設置されている建物又は部屋などに対応する。設置位置８０４は、設置拠点内の設置位置を示す情報である。具体的には、マイク１１１の設置された座標などで表される。本発明の実施の形態では、さらに、マイク１１１の設置角度が含まれる。周辺カメラＩＤ８０５は、マイクＩＤ８０１によって識別されるマイク１１１の周辺に設置されたカメラ１１０の識別子である。

図９は、本発明の実施の形態のカメラ管理情報３１２の一例を示す図である。

カメラ管理情報３１２には、カメラＩＤ９０１、アドレス９０２、拠点ＩＤ９０３、設置位置９０４、及び周辺マイクＩＤ９０５が含まれる。

カメラＩＤ９０１は、カメラ１１０の識別子である。アドレス９０２は、カメラ１１０のアクセス先情報である。本発明の実施の形態では、マイク１１１と同様に、アクセス先情報としてＩＰアドレスを利用している。

拠点ＩＤ９０３は、カメラ１１０が設置された拠点の識別子である。設置拠点は、マイク１１１と同様に、入力装置群が設置されている建物又は部屋などに対応する。設置位置９０４は、設置拠点内の設置位置を示す情報である。設置位置９０４は、マイク１１１の設置位置８０４と同様に、座標及び設置角度によって構成される。周辺マイクＩＤ９０５は、カメラＩＤ９０１によって識別されるカメラ１１０の周辺に設置されたマイク１１１の識別子である。

図１０は、本発明の実施の形態の異常音声データ２１３の一例を示す図である。

異常音声データ２１３には、音声ＩＤ１００１、音声種別１００２及び重要度１００３が含まれる。

音声ＩＤ１００１は、音声種別の識別子である。音声種別１００２は、マイク１１１に入力された音声の種類である。例えば、会話又は足音などの平常時に発せられる音声であったり、悲鳴又は打撃音などの異常が発生した場合に発せられる可能性が高い音声であったりする。

重要度１００３は、音声種別１００２の重要度であって、異常の可能性が高い種類の音声ほど、高い重要度が設定される。本発明の実施の形態では、１から５までの値が設定されるが、さらに細分化して設定してもよい。

図１１は、本発明の実施の形態の異常会話データ２１４の一例を示す図である。

異常会話データ２１４には、会話ＩＤ１１０１、テキスト１１０２、読み１１０３及び重要度１１０４が含まれる。

会話ＩＤ１１０１は、会話に含まれる単語又は言葉を識別する識別子である。テキスト１１０２は、会話に含まれる単語又は言葉である。テキスト１１０２には、主に不審な行為に想起させる言葉（異常音声）が登録される。

読み１１０３は、テキスト１１０２の読みを示す情報である。異常音声は、マイク１１１から収集された音声種別が「会話」である場合に、会話の内容から読み１１０３に一致する単語又は言葉を取得することによって抽出される。

重要度１１０４は、会話内容の重要度であって、異常の可能性が高い音声情報ほど、高い重要度が設定される。本発明の実施の形態では、異常音声データ２１３と同様に、１から５までの値が設定されている。

＜処理手順＞
続いて、本発明の実施の形態の音声情報表示監視システムの各処理の手順について説明する。まず、音声処理ＰＣ３によって、マイク１１１から入力された音声を処理する手順について説明する。

図６は、本発明の実施の形態のマイク１１１に入力された音声から音声情報を生成する手順を示すフローチャートである。

音声処理ＰＣ３のＣＰＵ２０１は、まず、音声取得プログラム２１５を実行することによって、マイク管理情報２１２に基づいて各マイク１１１から音声データを取得する（Ｓ６０１）。なお、ステップＳ６０１における音声取得処理は、マイク１１１から一方的に送信される音声を受信する方式であってもよいし、音声処理ＰＣ３からの音声取得要求に応じてマイク１１１から音声を受信する方式であってもよい。

音声処理ＰＣ３のＣＰＵ２０１は、次に、音声有無判定プログラム２１６を実行することによって、ステップＳ６０１の処理で取得された音声データに音声が含まれているか否かを判定する（Ｓ６０２）。

音声処理ＰＣ３のＣＰＵ２０１は、ステップＳ６０２の判定結果に基づいて、音声データに音声が含まれているか否かを判定する（Ｓ６０３）。音声有無の判定は、事前に定めた時間の音声を取得し、取得された時間の音声データに事前に定めた音圧レベル以上の音声が含まれているか否かを判定する。また、マイク１１１ごとに異なる音圧レベルの閾値を設けてもよい。

音声処理ＰＣ３のＣＰＵ２０１は、取得された音声データが無音区間である場合には（Ｓ６０３の結果が「Ｎ」）、音声取得のステップＳ６０１の処理に戻る。

一方、音声処理ＰＣ３のＣＰＵ２０１は、取得された音声データに音声が含まれている場合には（Ｓ６０３の結果が「Ｙ」）、音源方向推定プログラム２１７を実行することによって、マイク１１１で取得された音声の音源方向を推定する（Ｓ６０４）。音源方向の推定は、特開２００８−９２５１２号公報に開示されているように、複数のマイクによって得られた情報に基づいて方向を推定してもよい。

また、音源の方向を取得する別の方法としては、音圧が最大となるマイクを取得し、図８に示したマイク管理情報２１２及び図９に示したカメラ管理情報３１２に基づいて、音源の方向を推定するようにしてもよい。

カメラ１１０及びマイク１１１の位置情報を用いて音源の方向を推定する方法では、事前にカメラとマイクを同じ場所として扱うか否かを判定するための閾値距離Ｘを設定しておく。そして、音圧が一定以上のマイク１１１がカメラ１１０から距離Ｘ以上離れている場合には、音源の位置を特定することが困難なため、マイクの位置を音源位置とする。図１２を参照しながらさらに詳しく説明する。

図１２は、本発明の実施の形態のカメラ１１０及びマイク１１１の設置レイアウトの一例を示す図である。

図１２に示すレイアウトでは、３台のカメラ１１０（Ｃ０１〜Ｃ０３）及び４台のマイク１１１（Ｍ０１〜Ｍ０４）が設置されている。

ここで、マイクＭ０４の音圧が高い場合には、まず、図８に示したマイク管理情報２１２に基づいてカメラＣ０３を周辺カメラと特定する。さらに、マイクＭ０４の設置位置８０４及びカメラＣ０３の設置位置９０４に基づいて、マイクＭ０４とカメラＣ０３との間の距離を算出する。算出された距離がＸ以上離れていた場合には、カメラＣ０３に対する音源の方向は、真下方向、つまり２７０°とする。

また、マイクＭ０３の音圧が高い場合には、同様に、カメラＣ０３が周辺カメラと特定する。そして、マイクＭ０３とカメラＣ０３との間の距離がＸ以下であれば、カメラＣ０３に対する音源の方向はマイクＭ０３で推定される音源の方向となる。

なお、同じ位置に設置されていても、カメラ１１０とマイク１１１の方向が異なっている場合は、マイク管理情報２１２及びカメラ管理情報３１２に登録されている設置位置の情報に基づいて角度を補正する。

ここで、図６の音声情報を取得する手順を示すフローチャートの説明に戻る。

音声処理ＰＣ３のＣＰＵ２０１は、音源方向の推定が完了すると、音声種別判定プログラム２１８を実行することによって、異常音声データ２１３に基づいて、破壊音又は足音などの音声の種別を推定する（Ｓ６０５）。ステップＳ６０５の音声種別を推定する処理は、公知技術を利用することができる。例えば、特開２００１−３１２２９２公報には、音声のスペクトル情報を利用することによって、音声の種別を取得する技術が開示されている。

さらに、音声処理ＰＣ３のＣＰＵ２０１は、音声の種別が会話か否かを判定する（Ｓ６０６）。音声の種別が会話と判定された場合には（Ｓ６０６の結果が「Ｙ」）、音声認識プログラム２１９を実行することによって、会話内容の所定のテキストが含まれているかを判定することによって会話内容を認識する（Ｓ６０７）。所定のテキストとは、図１１に示した異常会話データ２１４に含まれるテキスト１１０２である。

音声認識には、音声認識の分野で広く知られているＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）に基づいた方式などを利用することができる。例えば、特開２００８―５８５０３には、音声認識の対象となる発話者と他者との会話が常時存在し得る環境下で、発話者の発話部分のみある程度の信頼性で音声認識が可能な方法が開示されている。

また、一般に公開されているオープンソースの音声認識ソフトウェアＪｕｌｉｕｓ（ｈｔｔｐ：／／ｊｕｌｉｕｓ．ｓｏｕｒｃｅｆｏｒｇｅ．ｊｐ）などを利用することも可能である。なお、音声の内容を示す情報であれば、抑揚情報などの音響情報に基づいて会話の危険度を取得するなど言葉以外の情報を取得してもよい。

音声処理ＰＣ３のＣＰＵ２０１は、次に、イベント通知プログラム２２０を実行することによって、ステップＳ６０４からＳ６０７の処理で取得された音声情報を、表示ＰＣ５に送信する（Ｓ６０８）。なお、音声情報を送信することによってイベントを通知する際には、マイク１１１を識別するための識別子及び対応するカメラ１１０の識別子も併せて送信する。

音声処理ＰＣ３のＣＰＵ２０１は、次に、終了指示を受け付けたか否かを判定する（Ｓ６０９）。終了指示を受け付けた場合には（Ｓ６０９の結果が「Ｙ」）、本処理を終了する。終了指示を受け付けていない場合には（Ｓ６０９の結果が「Ｎ」）、ステップＳ６０１の処理に戻り、本処理を継続して実行する。

続いて、音声情報が付与された監視映像をモニタ装置５０に表示する手順について説明する。

図７は、本発明の実施の形態の音声情報が付与された監視映像を生成及び表示する手順を示すフローチャートである。

まず、カメラ制御ＰＣ４のＣＰＵ３０１は、カメラ映像取得プログラム３１３を実行することによって、カメラ管理情報３１２を参照し、カメラ１１０から映像を取得する（Ｓ７０１）。さらに、カメラ映像送信プログラム３１４を実行し、表示ＰＣ５に映像を送信する。なお、映像を取得する方式は、カメラ制御ＰＣ４からカメラ１１０に映像取得要求を送信して映像を取得する方式であってもよいし、カメラ１１０からカメラ制御ＰＣ４に一方的に送信される映像を取得する方式であってもよい。

次に、表示ＰＣ５のＣＰＵ４０１は、イベント取得プログラム４１２を実行することによって、音声処理ＰＣ３によって送信された音声情報を取得する（Ｓ７０２）。さらに、音声情報を受信したか否かに基づいて、イベントの有無を判定する（Ｓ７０３、Ｓ７０４）。

本発明の実施の形態では、表示ＰＣ５のＣＰＵ４０１は、カメラ１１０によって撮影された監視映像をカメラ制御ＰＣ４から受信し、当該監視映像を撮影したカメラ１１０の識別情報などとともに表示する。表示ＰＣ５のＣＰＵ４０１は、イベントがあったと判定された場合には（Ｓ７０４の結果が「Ｙ」）、映像処理プログラム４１３を実行し、音声処理ＰＣ３から受信した音声情報を映像データにさらに重畳する（Ｓ７０５）。

映像情報に重畳される音声情報は、例えば、矢印など音源の方向を示す記号、及び音声の種別を示す情報である。さらに、会話から異常会話データ２１４で指定された言葉が抽出された場合には、音声種別情報とともに抽出された言葉を監視映像に重畳させる。

なお、監視映像に音声情報を重畳させる期間は、イベント発生時から事前に設定された時間内とする。また、重要度に応じて、文字の大きさ又は色などを変更して音声情報を表示するようにしてもよい。また、音圧の大きさ又は周波数成分ごとの音の分布など、音声の性質を示す情報を表示してもよい。さらに、複数の映像が表示され、重要度が大きいイベントが発生した場合には、当該イベントが発生している映像が表示されている領域の枠を強調するなどして、管理者の注意を引くように表示してもよい。以下、図１３を参照しながら表示ＰＣ５によって表示される監視映像の一例について説明する。

図１３は、本発明の実施の形態の表示ＰＣ５によって表示される監視映像を表示した画面の一例を示す図である。

図１３に示す画面の一例では、表示制御プログラム４１４によって、表示対象のカメラの映像を並べた複数の映像を表示している。表示される映像の数は、設置されたカメラ１１０の数としてもよい。設置されたカメラ１１０の数が画面に表示可能な映像の数Ｍを超えている場合には、管理者が選択した画面、又は音声入力イベントを直前に受信したＭ個の映像を並べて表示してもよい。

各画像には、「拠点Ａ」「拠点Ｂ」などの撮影の拠点を示す情報が表示されている。さらに、撮影しているカメラ１１０の詳細な設置位置を表示してもよいし、カメラ１１０の識別情報を表示するようにしてもよい。

また、映像１３２などには、音声処理ＰＣ３から受信した音声情報が表示されている。映像１３２には、マイク１１１によって通行人の足音を検知し、音声処理ＰＣ３が表示ＰＣ５に通知した結果、音声情報として、音声種別「足音」と、通行人の方向を指す矢印が表示されている。

また、映像１３３では、拠点Ａにおいて、画面との相対位置で右方向に「危ない」という会話が検知されている。また、映像１３６及び映像１３７では、拠点Ｂにおいて、カメラ１１０の死角で衝撃音が発生し、異常が発生していることを確認することができる。

特に、衝撃音などの重要度の高い異常音声を検知した場合には、図１３の映像１３６及び映像１３７に示すように、映像を表示した枠を強調して表示するなどして管理者の注意を引くようにしている。

ここで、図７の監視映像を生成及び表示する手順を示すフローチャートの説明に戻る。

表示ＰＣ５のＣＰＵ４０１は、表示制御プログラム４１４を実行することによって、図１３に示したように、カメラ１１０によって撮影された映像を並べた表示用映像を生成する（Ｓ７０６）。さらに、表示部４０４（モニタ装置５０）に生成された表示用映像を出力する（Ｓ７０７）。

次に、表示ＰＣ５のＣＰＵ４０１は、映像蓄積プログラム４１５を実行することによって、表示ＰＣ５から映像蓄積ＰＣ６に映像及び音声情報を送信する。映像蓄積ＰＣ６のＣＰＵ５０１は、映像蓄積プログラム５１４を実行することによって、表示ＰＣ５から送信された映像及び音声情報を映像データ５１２及び音声情報データ５１３に蓄積する（Ｓ７０８）。

また、表示ＰＣ５のＣＰＵ４０１は、蓄積映像取得プログラム４１６を実行することによって、映像蓄積ＰＣ６に蓄積された過去の監視映像を表示することができる。表示ＰＣ５のＣＰＵ４０１は、過去の監視映像の指定を表示するために入力された撮影日時などの条件を映像蓄積ＰＣ６に送信する。

映像蓄積ＰＣ６のＣＰＵ５０１は、映像検索プログラム５１５を実行することによって、指定された条件を満たす映像データ５１２及び音声情報データ５１３を検索し、表示ＰＣ５に送信する。表示ＰＣ５のＣＰＵ４０１は、受信した映像データ及び音声データに基づいて要求された映像を表示する。

なお、映像蓄積ＰＣ６のＣＰＵ５０１は、記憶部５１０の空き容量が事前に定めた閾値よりも少なくなった場合には、古い映像及び音声情報を消去することによって、空き容量が閾値以上になるようにする。

最後に、表示ＰＣ５のＣＰＵ４０１は、管理者から終了指示を受け付けたか否かを判定する（Ｓ７０９）。管理者から終了指示を受け付けた場合には（Ｓ７１０の結果が「Ｙ」）、本処理を終了する。管理者から終了指示を受け付けていない場合には（Ｓ７１０の結果が「Ｎ」）、ステップＳ７０１の処理に戻り、映像データを取得する処理から継続して本処理を実行する。

本発明の実施の形態によれば、多数のカメラによって撮影された映像に音声情報を重畳して表示することができる。したがって、カメラ１１０の死角で発生した異常及び映像では把握しにくい異常を視覚的に表示することができるため、効率よく監視対象を監視することができる。

また、本発明の実施の形態によれば、音声の種別及び異常会話の認識結果を表示することによって、会話の具体的な内容を表示してプライバシーを侵害する可能性を少なくすることができる。

本発明の実施の形態の音声情報表示監視システムの一例を示す構成図である。 本発明の実施の形態の音声処理ＰＣの構成の一例を示す図である。 本発明の実施の形態のカメラ制御ＰＣの構成の一例を示す図である。 本発明の実施の形態の表示ＰＣの構成の一例を示す図である。 本発明の実施の形態の映像蓄積ＰＣの構成の一例を示す図である。 本発明の実施の形態のマイクに入力された音声から音声情報を生成する手順を示すフローチャートである。 本発明の実施の形態の音声情報が付与された監視映像を生成及び表示する手順を示すフローチャートである。 本発明の実施の形態のマイク管理情報の一例を示す図である。 本発明の実施の形態のカメラ管理情報の一例を示す図である。 本発明の実施の形態の異常音声データの一例を示す図である。 本発明の実施の形態の異常会話データの一例を示す図である。 本発明の実施の形態のカメラ及びマイクの設置レイアウトの一例を示す図である。 本発明の実施の形態の表示ＰＣによって表示される監視映像を表示した画面の一例を示す図である。

１ 入力装置群
２ 監視センタ
３ 音声処理ＰＣ
４ カメラ制御ＰＣ
５ 表示ＰＣ
６ 映像蓄積ＰＣ
５０ モニタ
１００ 通信網
１１０ カメラ
１１１ マイク
２０１ ＣＰＵ
２０２ メモリ
２０３ 入力部
２０４ 通信部
２１０ 記憶部
２１１ ＯＳ
２１２ マイク管理情報
２１３ 異常音声データ
２１４ 異常会話データ
２１５ 音声取得プログラム
２１６ 音声有無判定プログラム
２１７ 音源方向推定プログラム
２１８ 音声種別判定プログラム
２１９ 音声認識プログラム
２２０ イベント通知プログラム
３０１ ＣＰＵ
３０２ メモリ
３０３ 入力部
３０４ 通信部
３１０ 記憶部
３１１ ＯＳ
３１２ カメラ管理情報
３１３ カメラ映像取得プログラム
３１４ カメラ映像送信プログラム
４０１ ＣＰＵ
４０２ メモリ
４０３ 入力部
４０４ 表示部
４０５ 通信部
４１０ 記憶部
４１１ ＯＳ
４１２ イベント取得プログラム
４１３ 映像処理プログラム
４１４ 表示制御プログラム
４１５ 映像蓄積プログラム
４１６ 蓄積映像取得プログラム
５０１ ＣＰＵ
５０２ メモリ
５０３ 入力部
５０４ 通信部
５１０ 記憶部
５１１ ＯＳ
５１２ 映像データ
５１３ 音声情報データ
５１４ 映像蓄積プログラム
５１５ 映像検索プログラム
５１６ データ管理プログラム

Claims (20)

1. カメラと、音声が入力されるマイクと、前記カメラによって撮影された映像を表示する表示装置を含む音声情報表示システムであって、
   前記マイクに入力された音声に基づいて音声情報を生成する音声処理装置と、
   前記カメラによって撮影された映像を処理する映像処理装置と、を備え、
   前記音声処理装置は、
   前記マイクに入力された音声を解析することによって、前記表示装置に表示可能な音声認識結果を含む音声情報を生成し、
   前記生成された音声情報を前記映像処理装置に送信し、
   前記映像処理装置は、
   前記音声処理装置から受信した音声情報を前記カメラによって撮影された映像に合成し、
   前記音声情報が合成された映像を前記表示装置に表示することを特徴とする音声情報表示システム。
2. 前記音声情報表示システムは、前記音声の種類を含む音声種別情報を含み、
   前記音声処理装置は、
   前記音声種別情報に基づいて、前記マイクに入力された音声の種類を推定し、
   前記推定された音声の種類を含む音声情報を生成することを特徴とする請求項１に記載の音声情報表示システム。
3. 前記音声種別情報には、前記音声の種類ごとに重要度が設定され、
   前記映像処理装置は、前記重要度に基づいて、前記音声情報を表示することを特徴とする請求項２に記載の音声情報表示システム。
4. 前記音声情報表示システムは、あらかじめ指定された単語を含む異常会話情報を含み、
   前記音声処理装置は、
   前記推定された音声の種類が会話である場合には、前記マイクに入力された音声を認識することによって、会話の内容を示す情報を生成し、
   前記異常会話情報に含まれる単語が前記会話の内容を示す情報に含まれている場合には、前記異常会話情報に基づいて、前記音声情報を生成することを特徴とする請求項２に記載の音声情報表示システム。
5. 前記異常会話情報には、前記単語ごとに重要度が設定され、
   前記映像処理装置は、前記重要度に基づいて、前記音声情報を表示することを特徴とする請求項４に記載の音声情報表示システム。
6. 前記音声情報表示システムは、前記マイクが設置された位置を含むマイク管理情報を含み、
   前記音声処理装置は、
   前記マイク管理情報に基づいて、前記マイクに入力された音声の音源の位置を推定し、
   前記マイクに入力された音声の音源の位置を示す情報を含む音声情報を生成することを特徴とする請求項１に記載の音声情報表示システム。
7. 前記音声情報表示システムは、さらに、前記カメラが設置された位置を含むカメラ管理情報を含み、
   前記音声処理装置は、前記音声が入力されたマイクと前記音声情報が合成される映像を撮影したカメラとの距離が所定の閾値よりも大きい場合には、前記音声が入力されたマイクが設置された方向を前記音源の位置を示す情報とすることを特徴とする請求項６に記載の音声情報表示システム。
8. 前記音声情報には、前記マイクに入力された音声の音圧を示す情報が含まれることを特徴とする請求項１に記載の音声情報表示システム。
9. 前記映像処理装置は、前記カメラによって撮影された映像を複数表示する場合には、前記音声情報が合成された映像を優先して表示することを特徴とする請求項１に記載の音声情報表示システム。
10. 前記音声情報表示システムは、前記カメラによって撮影された映像を格納する記憶部を備えた映像蓄積装置をさらに含み、
    前記映像処理装置は、前記表示装置に表示する映像を前記映像蓄積装置に送信し、
    前記映像蓄積装置は、
    前記映像処理装置から送信された映像を前記記憶部に格納し、
    前記記憶部に格納された映像の取得要求を受け付けた場合には、前記要求された映像を提供することを特徴とする請求項１に記載の音声情報表示システム。
11. カメラと、音声が入力されるマイクと、前記マイクに入力された音声に基づいて音声情報を生成する音声処理装置と、前記カメラによって撮影された映像を処理する映像処理装置と、前記映像処理装置によって処理された映像を表示する表示装置を含む映像表示システムにおける音声情報表示方法であって、
    前記音声処理装置は、
    前記マイクに入力された音声を解析することによって、前記表示装置に表示可能な音声認識結果を含む音声情報を生成し、
    前記生成された音声情報を前記映像処理装置に送信し、
    前記映像処理装置は、
    前記音声処理装置から受信した音声情報を前記カメラによって撮影された映像に合成し、
    前記音声情報が合成された映像を前記表示装置に表示することを特徴とする音声情報表示方法。
12. 前記映像表示システムは、前記音声の種類を含む音声種別情報を含み、
    前記音声処理装置は、
    前記音声種別情報に基づいて、前記マイクに入力された音声の種類を推定し、
    前記推定された音声の種類を含む音声情報を生成することを特徴とする請求項１１に記載の音声情報表示方法。
13. 前記音声種別情報には、前記音声の種類ごとに重要度が設定され、
    前記映像処理装置は、前記重要度に基づいて、前記音声情報を表示することを特徴とする請求項１２に記載の音声情報表示方法。
14. 前記映像表示システムは、あらかじめ指定された単語を含む異常会話情報を含み、
    前記音声処理装置は、
    前記推定された音声の種類が会話である場合には、前記マイクに入力された音声を認識することによって、会話の内容を示す情報を生成し、
    前記異常会話情報に含まれる単語が前記会話の内容を示す情報に含まれている場合には、前記異常会話情報に基づいて、前記音声情報を生成することを特徴とする請求項１２に記載の音声情報表示方法。
15. 前記異常会話情報には、前記単語ごとに重要度が設定され、
    前記映像処理装置は、前記重要度に基づいて、前記音声情報を表示することを特徴とする請求項１４に記載の音声情報表示方法。
16. 前記映像表示システムは、前記マイクが設置された位置を含むマイク管理情報を含み、
    前記音声処理装置は、
    前記マイク管理情報に基づいて、前記マイクに入力された音声の音源の位置を推定し、
    前記マイクに入力された音声の音源の位置を示す情報を含む音声情報を生成することを特徴とする請求項１１に記載の音声情報表示方法。
17. 前記映像表示システムは、前記カメラが設置された位置を含むカメラ管理情報を含み、
    前記音声処理装置は、前記音声が入力されたマイクと前記音声情報が合成される映像を撮影したカメラとの距離が所定の閾値よりも大きい場合には、前記音声が入力されたマイクが設置された方向を前記音源の位置を示す情報とすることを特徴とする請求項１６に記載の音声情報表示方法。
18. 前記音声情報には、前記マイクに入力された音声の音圧を示す情報が含まれることを特徴とする請求項１１に記載の音声情報表示方法。
19. 前記映像処理装置は、前記カメラによって撮影された映像を複数表示する場合には、前記音声情報が合成された映像を優先して表示することを特徴とする請求項１１に記載の音声情報表示方法。
20. カメラ及び音声が入力されるマイクに接続された音声情報表示装置であって、
    前記マイクに入力された音声に基づいて音声情報を生成する音声処理部と、
    前記カメラによって撮影された映像を処理する映像処理部と、
    前記カメラによって撮影された映像を表示する表示部と、を備え、
    前記音声処理部は、
    前記マイクに入力された音声を解析することによって、前記表示装置に表示可能な音声認識結果を含む音声情報を生成し、
    前記生成された音声情報を前記映像処理部に送信し、
    前記映像処理部は、
    前記音声処理部から受信した音声情報を前記カメラによって撮影された映像に合成し、
    前記音声情報が合成された映像を前記表示部に表示することを特徴とする音声情報表示装置。