WO2005101346A1

WO2005101346A1 - 突発事象の記録・解析システム

Info

Publication number: WO2005101346A1
Application number: PCT/JP2004/004739
Authority: WO
Inventors: Tatsuya Katada; Takaharu Kitamura
Original assignee: Hitachi Zosen Corporation
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2005-10-27
Also published as: JPWO2005101346A1; JP4242422B2

Abstract

交差点にて発生した交通事故の記録データの回収を不要にし得るとともに事故内容の解析を容易に行い得る記録・解析システムである。入力された音響データが交通事故によるものか否かを判断する音源判定装置３を有するとともに交通事故である場合に音響データおよび映像データを一時的に記録するデータ記録装置４を有する事故記録装置５と、この事故記録装置にて記録されたデータを入力して交通事故を分類する事故内容分類装置７と、この分類装置にて分類されたデータに基づき事故内容を解析する事故状況解析装置８とから構成し、さらに事故記録装置を交差点に配置するとともに、上記分類装置および解析装置を管理センター１２に設置し、上記事故記録装置にて記録されたデータを、通信回線１３を介して管理センター１２に送るようにしたものである。

Description

明細書突発事象の記録 · 解析システム技術分野

本発明は、例えば交差点などに設けられて交通事故などの突発事象を記録するとともにその内容を解析する突発事象の記録 · 解析システムに関するものである。背景技術

近年、交通事故は増加の一途を迪り、交通事故の発生数を減らすことが急務とされ、このため、交差点などに交通事故自動記録装置を設置し、事故前後の状況を映像にて記録することにより、事故解析（事故分析ともいう）が行われている。

この種の交通事故自動記録装置は、カメラ装置にて交差点を撮影するとともに、交.通事故に基づく衝突音、急ブレーキ音などを検出した際に、その前後における映像を、自動的に保存するものであつた。

ところで、交差点などにおいては、事故以外の音が多数発生しており、交通事故の映像を保存するためには、検出した音が交通事故に起因しているものであるか否かを判断する必要があるが、通常、時系列の音圧分布にて、或るしきい値を超えた場合に、車両の衝突による衝撃音が発生したと判断されていたが、例えば道路工事、動物の鳴き声などとの区別が難しいという問題があつた。

このような問題を解決するものとして、事故音をより正確に検出するためにニュ一ラリレネットワーク手法を用いて、音源の種類を特定するようにしたものがある（例えば、特開 2 0 0 3 — 2 0 2 2 6 0参照）。

しかし、上述した-従来の突発事象の自動記録装置の構成によると、各交差点に設置された装置を、一定間隔おきに回収する必要があり、非常に面倒な作業であった。

そこで、上記課題を解決するため、本発明は、例えば各交差点にて発生した突発事象の記録データの回収を不要にし得るとともに突発事象の解析.を容易に行い得る突発事象の記録 · 解析システムを提供することを目的とする。発明の開示

本発明の突発事象の記録 · 解析システムは、

音源からの音響データを入力して突発事象であるか否かを判定デ一夕に基づき判断する音源判定手段を有するとともに当該音源判定手段にて突発事象であると判断された音響データおよび突発事象の撮影手段からの映像データを一時的に記録するデータ記録手段を有する突発事象記録手段と、

この突発事象記録手段にて記録された音響データおよび映像デ一夕を入力して突発事象を分類する突発事象分類手段と、

この突発事象分類手段にて分類された分類データに基づき突発事象の内容を解析する突発事象解析手段とから構成し、

さらに上記突発事象記録手段を突発事象の発生箇所に配置するとともに、上記突発事象分類手段および突発事象解析手段を管理セン夕一に設置し、且つ上記突発事象記録手段にて記録された音響データおよび映像データを、通信回線を介して管理センタ一に送るようにしたものである。

また、本発明の他の突発事象の記録 · 解析システムは、上記記録 · 解析システムにおいて、

突発事象解析手段により解析された結果と映像を目視した結果とを比較して、予め決められた突発事象でない場合に、音源判定手段における判定データを変更するための音源判定評価手段を具備したものである。

また、本発明の他の突発事象の記録 · 解析システムは、上記各記録 · 解析システムにおいて、

突発事象が交通事故である場合に、分類データが、少なくとも事故対象物である車両の種類および事故音とするものである。

突発事象が交通事故である場合に、突発事象解析手段にて、映像データおよび音響データを用いて、少なくとも事故対象物である車両の位置関係および衝突の有無を解析するものである。

さらに、本発明の他の突発事象の記録 · 解析システムは、上記各記録 · 解析システムにおいて、

突発事象が交通事故であるとともに、音源判定手段に具備される音響検出手段としてマイクロフオンを用いるとともに、このマイク口フォンを交差点の中心を挟んで両侧に設置したものである。上記突発事象の記録解析システムによると、所定箇所で発生した突発事象の映像デ夕および音響データについては、その場所にて、音源判定手段により突発事象であるか否かが判断されるとともに突発事象であると判断された場合にデ一夕記録手段に記録され、しかも、このデータ記録手段に記録されたデータが通信回線を介して管理センタ一に送られ、ここで突発事象分類手段により突発事象が分類されるとともに突発事象解析手段により突発事象の内容が解析されるため、従来のように、突発事象の発生箇所に設けられたデ一夕記録装置に突発事象のデータを記録させるようにしたものに比ベて、その記録データをわざわざ回収する手間を必要としないとともに、突発事象の主な内容については、突発事象解析手段を用いて解析が行われるため、突発事象の解析作業が容易となる。図面の簡単な説明

図 1 は、本発明の実施の形態に係る突発事象である交通事故の記録 · 解析システムの概略構成を示すブロック図、

図 2 は、同システムにおける事故記録装置の交差点での配置状態を示す平面図、

図 3 は、同システムにおける事故記録装置の概略構成を示すプロック図、

図 4は、同事故記録装置にける音源判定装置での検出信号を示すグラフ、

図 5は、同音源判定装置における音源識別部での第 1分類作業に係る音響信号のスぺクトル演算結果を示すグラフ、

図 6は、同音源判定装置における音源識別部での第 2分類作業の結果のスぺクトル分布を示すグラフ、図 Ίは、同音源判定装置における音源讖別部での第 3分類作業の結果のスぺクトル分布を示すグラフ、

図 8は、同音源判定装置における音源雷哉別部での第 4分類作業の結果のスぺクトル分布を示すグラフ、

図 9は、同音源判定装置における音源識別部でのニューラルネットワークによる分類作業の概念図、

図 1 0は、同システムにおける事故内容分類装置の概略構成を示すブロック図、

図 1 1 は、同システムにおける事故状祝解析装置の概略構成を示すブロック図、

図 1 2は、同事故状況解析装置にて得られた事故状況のデータを示す図で、 ( a ) は車両のトレース図、 ( b ) は音響の解析結果を示すグラフ、（ c ) は車両の速度の変化を示すグラフ、

図 1 3は、同事故状況解析装置にて得られた解析レポートの内容を示す図、

図 1 4は、同システムにおける音源判定評価装置での評価方法を示すフ口一チヤ一ト、

図 1 5は、同システムにおける事故記録装置の変形例に係る交差点での配置状態を示す平面図である。発明を実施するための最良の形態

以下、本発明の実施の形態に係る突発事象の記録 · 解析システムを、添付の図面に従って説明する。

なお、本実施の形態では、突発事象として、交通事故である場合について説明する。すなわち、交通事故の記録 · 解析システムこついて説明するとともに、この交通事故を記録し解析するための手掛かりは、音源および映像であり、またこの音源の識別対象としては、衝突音などの他に、交通事故の検出に際し、重要な手掛かりとなるブレーキ、クラクシヨン、サイレン、暴走音などの音源につレゝても対象としており、したがって以下の説明では、これらを含めて事故音と称するとともに、交通事故以外の事象も含むため事故等と称して説明を行う。図 1および図 2 に示すように、この交通事敏の記録 · 解析システムは、交通事故を監視する箇所、例えば交通事故が頻繁に発生する交差点（突発事象の発生箇所） Kに設置されて交通事故（事故等）を撮影するカメラ装置（撮影手段の一例で、 ί歹 IJえば C C Dカメラが用いられる） 1、交差点 K付近にて発生する音源（以下、音響ともいう）を検出するためのマイクロフォン (音響検出手段の一例で、以下、マイクという） 2、このマイク 2 にて検出された音響信号（以下、音響デ一夕という）に基づき交通事故一であるか否かを判定デ一夕を用いて判断する音源判定装置（音源判定手段の一例） 3およびこの音源判定装置 3 にて交通事故であると- 1¾断された場合に、力メラ装置 1 にて撮影された映像信号（以下、映像データという）を上記マイク 2からの音響データとともに記録するデータ記録装置（データ記録手段の一例で、例えばハードディスク装置が用いられる ) 4からなる事故記録装置（突発事象記録手段の一例） 5 と、

この事故記録装置 5にて記録された音響データおよび映像データを入力して一時的に記憶するデータ記憶部（ードディスクなどが用いられ、デ一夕記録部と称してもよい） 6 と、このデータ記憶部 6 に記憶されたデータを読み込むとともに交 ill事故の内容に基づきこれらデータを分類する事故内容分類装置（突 g事象分類手段の一例） 7 と、この事故内容分類装置 7 にて分類された分類データに基づき事故状況を解析する事故状況解析装置（突 fg事象解析手段の一例） 8 と、この事故状況解析装置 8 により解析ざれた結果と映像を目視した結果とを比較して、交通事故（予め決められた突発事象）でない場合に、上記事故記録装置 5 における音療判定装置 3 における判定データを更新するための音^判定評価装置（音源判定評価手段の一例） 9 と、上記事故内容分類装置 7 にて分類された分類デ一夕を蓄積するデータ蓄積部であるデータベース（ハードディスクなどが用いられる） 1 0 と、このデータベース 1 0 に蓄積された各デ一夕を検索するとともにその検索結果を閲覧し得るデータ閲覧装置

1 1 とから構成されている。なお、このデータ閎覧装置 1 1 は、当然、データベース 1 0に蓄積されたデータを閲覧するだけの機能も有している。

そして、上記事故記録装置 5については交差,^:に配置されるとともに、それ以外の各装置 6〜 1 1 については管理セン夕一 1 2に設置されており、上記事故記録装置 5 と管理センター 1 2 とは、通信回線（公衆回線、ブロードバンド回線などによるインターネット、イントラネットが用いられる） 1 3を介して接続されている。

また、上記管理センター 1 2側には上記データ記憶部 6およびデ —夕ベース 1 0 を管理 · 運用するためのサーバ（コンピュータ装置 ) 1 4が設けられるとともに、このサーバ 1 4と各装置 6〜 1 1 とは、 L A N 1 5などを介して互いにデ一夕の受^ 3"渡しができるようにされており、また当該サーバ 1 4は交通官制セン夕一 1 6 に通信回線 1 7 を介して接続されている。なお、各交差点に配置された事故記録装置 5および管理センター 1 2側のサーバ 1 4には、それぞれ通信装置 5 a , 1 4 aが具備されている。

次に、上記事故記録装置 5における音源判定装置 3を、図 3〜図 9 に基づき説明する。 .

上記音源判定装置 3は、図 3 に示すように、上記マイ 2 にて集音された音響信号（音響デ一夕）を入力して所定周波数域の信号を抽出する信号抽出部 2 1 と、この信号抽出部 2 1 にて f由出された抽出音響信号を入力して、所定の第 1積分時間にて積分 ¾行い音響エネルギー（積分値である、以下、同じ）を求め、且つ当該音響ェネルギ一が所定の第 1設定レベル値を超えているか否か判断するとともに、超えている場合には、所定の検出信号を出力するレベル検出部 2 2 と、上記信号抽出部 2 1 にて抽出された抽出 ^響信号を入力して、上記第 1積分時間よりも短い所定の第 2積分曰寺間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するピーク検出部 2 3 と、上記信号抽出部 2 1 にて抽出された抽出音響信号を入力して、戸/"「定の第 3 積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギ一が所定の設定レベル値を超えている場合に、さら所定時間経過後に、再度、当該所定の設定レベル値を超えている否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル継続検出部 2 4 と、上記レベル検出部 2 2およびピーク検出部 2 3からの少なくともいずれかの検出信号を入力した募合に、所定周波数領域を所定個数に分割するとともに、これら各割周波数領域に係る音響信号の周波数スぺクトル（以下、単にスペケトルといい、またスペクトラムともいう）をそれぞれ演算するスペクトル演算部 2 5 と、このスぺクトル演算部 2 5にて求められた ^"分割周波数領域でのスぺクトルを入力して、ニューラルネットワーク手法 (以下、単に、ニューラルネットという）を用いて音源を待定し識別を行う音源識別部 2 6 と、この音源識別部 2 6 にて識別ざれた音源識別信号を入力するとともに、上記ピーク検出部 2 3おびレべル継続検出部 2 4からの検出信号をそれぞれ入力して、事古夂等であるか否かを判定する事故判定部 2 7 とが具備されている。

また、この事故記録装置 5には、上記事故判定部 2 7にて事故等であると判定された場合に、カメラ装置 1 にて撮影していら映像をデータ記録装置 4に記録させるための保存指示を出力するデータ保存指示部 2 8が設けられている。

次に、上記各部における構成または処理内容について詳しく説明する。

上記信号抽出部 2 1では、周波数が例えば 0〜 2 . 5 k Pi z の信号が取り出された後、 0〜 5 0 0 H zの部分が除去される。これは、交通事故および車両の走行に、すなわち事故等に起因して発生する事故音の範囲を絞るとともに、余分なエンジン音（ 0〜 5 0 0 H z ) を除去するためである。

また、上記レベル検出部 2 2は、信号抽出部 2 1からの ί甶出音響信号を入力して、所定の第 1積分時間（例えば、 5 0 0 m s e c程度）にて積分を行い音響エネルギーを求める第 1積分器 3 ： L と、この第 1積分器 3 1 にて求められた音響エネルギーと所定の薛 1 設定レベル値とを比較して音響エネルギーが当該第 1設定レべ Jレ値を超えている場合に、検出信号（トリガー信号である）として、例えば

「 1」の信号（なお、設定レベル値以下の場合には、「 0」が出力されている）を出力する第 1比較器 3 2 とが具備されている。すなわち、このレベル検出部 2 2では、音響信号を或る時間間隔で積分することにより、当該音響信号の大きさが、所定のレベルを超えているか否かが判断される。

上記ピーク検出部 2 3は、信号抽出部 2 1からの抽出音響信号を入力して、上記第 1積分時間より短い第 2積分時間（例えば、 1 0 0 m s e c程度）にて積分を行い音響エネルギーを求める第 2 積分器 3 3 と、この第 2積分器 3 3 にて求められた音響エネルギーと所定の第 2設定レベル値とを比較して音響エネルギーのピーク値が当該第 2設定レベル値（設定ピーク値でもある）を超えている場合に、検出信号（トリガー信号である）として、例えば「 1」の信号（なお、設定レベル値以下の場合には、「 0」が出力されている）を出力する第 2比較器 3 4とが具備されている。すなわち、このピーク検出部 2 3では、音響信号を短い時間でもって積分することにより、当該音響信号のピーク値が、所定のレベル（ピーク値）を超えているか否かが判断される。

上記レベル継続検出部 2 4は、信号抽出部 2 1からの抽出音響信号を入力して、所定の第 3積分時間（例えば、レベル検出手段における第 1積分時間と同じ時間とされる）にて積分を行い音響ェネルギーを求める第 3積分器 3 5 と、この第 3積分器 3 5 にて求められた音響エネルギーと所定の第 3設定レベル値（例えば、レベル妆出手段における設定レベル値が用いられる）とを比較して音響ェネルギ一が当該第 3設定レベル値を超えている場合に、所定時間後（例えば、 3 0 0 m s e c ) に、再度、じ設定レベル値を超えているか否かを比較して超えている場合には、当該設定レベル値が継続（維持）されていると判断し、検出信口

,ラ (トリガー信号である）として、例えば「 1」の信号' （なお、設定レベル値が継続されていない m A

口には、「 0」が出力されている ) を出力する第 3比較器 3 6 とが具備されている。

なお、図 4に、上記各検出部 2 2 〜 2 4における各比較器 3 2 ,

3 4 ， 3 6での入力信号、出力信号および検出信号の波形図を示し

、 ( a ) はレベル検出部 2 2での第 1比較器 3 2のものを、（ b ) はピーク検出部 2 3での第 2比較器 3 4のものを、（ C ) はレベル継続検出部 2 4での第 3比較器 3 6 のちのをそれぞれ示し、また ( d ) は、リセット信号を示す。

また、上記スぺクトル演算部 2 5では、レベル検出部 2 2からの検出信号（「 1」）およびピーク検出部 2 3からの検出信号（「 1

」 ) のいずれかが入力されると、まず抽出音響信号が AZD変換器

(図示せず) にてデジタル化された後、図 5に示すように、所定周波数領域（ 4 5 0 〜 2 5 0 0 H z ) を所定個数、例えば 1 0 5個に分割した各分割周波数領域（バンクともいう ) に係る音響信号の周波数スぺクトル (周波数スぺク卜ラムともい ) が、高速フーリエ変換（ F F T ) にて求められる

そして、上記音源識別部 2 6 にて、ニューラルネットが用いられて音源の種類が特定される。

以下、このニューラルネットを用いた処理内容について、詳しく説明する。

この音源識別部 2 6では、周波数スぺクトルを 4段階にてそれぞれの分類方法（第 1分類〜第 4分類）に基づき且つニューラルネットを用いて認識 · 分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた判定データである分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種頓のいずれかに特定される。なお、上記分類表には、例えば各音の種類に対して 5桁の番号（第 1分類に 2桁、第 2〜第 4分類にそれぞれ 1桁が与えられる）が割り当てられるとともに、当該音を記録するか否かを表す記録フラグの欄が設けられている。

ここで、上記分類作業の内容について説明する。

第 1分類（第 1段階）について説明するが、この第 1分類では、分類基準が異なる 2種類の分割パターンを併用して分類番号が求められる。

まず、第 1種類目としては、 1 0 5個に分割した各分割周波数領域（以下、バンクともいう）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行つた後、正規化が行われた 1 0 5バンクにおける周波数スぺクトルについて、合計面積が求められる。

そして、 1 0 5バンクの分割周波数領域が、上記合計面積に応じて予め定められている分割パターンに基づき、例えば 5個に分けられて、 # 0〜 # 4の分類番号が付される。ここでの分割の仕方は、実際の交通音のサンプルデータ（ 5 0 0 0件）に基づき、例えば 5 0 0 0件それぞれの各合計面積値を度数分布化し（横軸がバンク位置で、縦軸が面積値となる）、それが等分になるように分割する。すなわち、合計面積値の度数分布の大きい部分は、分割幅が狭くされるとともに、合計面積値の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、 5個でなくてもよい）。例えば、図 5 において、 1 0 5 バンクの周波数スぺクトルの合計面積が 2 4 1 0であるとすると、この合計面積 2 4 1 0が属する分類番号（予め、合計面積値と分類番号とが対応付けられている）力例えば # 3 というように割り当てられる。

次に、第 2種類目としては、 1 0 5バンクが例えば 1 0個に分けられて、 # 0〜 # 9の分類番号が付される。

この第 2種類目においては、 1 0 5個に分割した各分割周波数領域（バンクである）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた 1 0 5バンクにおける周波数スペクトルが最大ピークのものを求める。

すなわち、この 1 0 5バンクの分割周波数領域が、上記最大ピークが存在するバンク数 (バンクの位置) に応じた分割パターンに、例えば 1 0個に分けられるとともに # 0〜 # 9 の分類番号が付された後、当該抽出音響信号に係るスペクトル系列（図 5の棒状グラフにて示す）のうち、最大のレベルを有するスぺクトルが、 # 0〜 # 9のいずれの部分に属するかが求められる。なお、 1 0 5ノンクの分割の仕方は、最大レベルのバンク位置に応じて予め決められている。具体的には、実際の交通音のサンプルデータ（ 5 0 0 0件）に基づき、例えば 5 0 0 0件それぞれの各最大レベルのバンク位置を度数分布化し（横軸がバンク位置で、縦軸が件数となる）、それが等分になるように分割する。すなわち、最大レベルのバンク位置の度数分布が大きい部分は、分割幅が狭くされるとともに、最大レべルのバンク位置の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、 1 0個でなくてもよい）。そして、例えばバンク番号が小さいものから大きいものへと分類番号が、 # 0〜 # 9 というように付けられる。したがって、図 5 においては、 8 8バンク付近が最大のレベルを有しており、この 8 8バンクが属する分類番号が、例えば # 8 というように割り当てられる。

そして、この第 1分類における分類番号は上記 2種類の番号が考慮されて決定される。例えば、合計面積値による 5個の分割では # 3 に、最大レベルのバンク位置による 1 0個の分割では # 9 というように番号が割り当てられると、この第 1分類による分類番号は、 # 3 9 となる。

次に、第 2分類〜第 4分類においては、音響信号の特徴部分をスぺクトルに基づき抽出するとともに、この抽出されたスぺクトル系列と、音源を特定するために、予め実験により求められたスぺクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットを用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば 5個づつ）が選択抽出されて、パターン認識に使用される。

以下、第 2分類作業〜第 4分類作業について説明する。第 2分類作業では、まず、上記第 1分類で求められた分類番号（例えば、 # 3 9である）に基づき、 5個のパターンがデ一夕べ一スから取り出される。

そして、当該音響信号における 1 0 5バンクのスぺクトル系列のうち、最大スペクトルの 5 0 %未満のデータを零となし（ゼロリセッ卜ともいう）、これを正規化したスぺク卜ル系列 (図 6 に示す) に対して、ニューラルネットを用いて、上記 5個のパターンに、当該 5個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計 6個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。

第 3分類では、上記第 2分類で求められた分類番号に基づき、やはり、 5個のパターンがデータべ一スから取り出されるとともに、当該音響信号における 1 0 5バンクのスぺクトル系列のうち、最大スぺクトルおよびその前後 2ノンクづつの合計 5ノンクのスぺクトル部分をゼロとなし (ゼロリセット）、新たな 1 0 5バンクのスぺクトル系列を作成する。そして、新たに作成された 1 0 5バンクのスぺクトル系列のうち、最大スぺクトルが或るしきい値以上のスぺクトルに対しては、最大スペクトルの 2 5 %未満をゼロとなし、それを正規化したスペクトル系列 (図 7に示す) に対してニューラルネットを用いて、上記 5個のパターンに、当該 5個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、 1個のパターンとみなす）を加えた、計 7個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスぺクトル系列に対する分類が行われることになる。

さらに、第 4分類では、下記の 2 の場合について分類が行われ：勿論、この分類作業においても、 3分類作業にて得られた分類番号に基づき、デ一夕ベースからパ夕一ンマッチングに使用されるパターンが 5個取り出される。

( 1 ) 第 3分類において、最大スぺクトルがしきい値未満である場ム

α

第 3分類にて作成された 1 0 5バンクのスぺクトル系列のうち、最大スぺクトルの 2 5 %未満のスぺク卜ルをゼロとなし (ゼロリセ卜）、それを正規化したスぺクトル系列に対して、二ユーラルネ卜により、上記 5個のパターンに、当該 5個以外のパターンを示すパ夕ーンを加えた、計 6個のパタンとパターンマッチングを行ラことにより、分類番号が割り当てら

( 2 ) 第 3分類において、最大スぺクトルが所定のしきい値以上である A

·¾σ 口。

W> 3分類にて作成された 1 0 5バンクのスぺクトル系列に対し、 sfi大ぺクトルぁょびその前後 2 Αンクの計 5バンクのスぺク卜ルをゼロとなし (ゼロ Uセッ卜）、新たな 1 0 5ノンクのスぺク卜ル系列を作成する

そして、この 1 0 5バンクのスぺクトル系列のうち、 Mx大スぺク卜ルが或るしきい値以上のスぺクトルに対しては、 Six大スぺクルの 1 2 . 5 %未満のスベクトルをゼロとなし、それを正規化したスぺクトル系列 (図 8 に示す）に対してニューラルネ V 卜によるパ夕 —ン認識 ίτい、 7個のパターン（この場合も、デ一夕ベ一スから取り出された 5パターンに、当該 5個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスぺクトル部分が除去されたスぺクトル系列に対する分類が行われることになる。なお、上記の二ユーラルネットによる分類作業の概念図を、図 9 に示す。

さらに、上記事故判定部 2 7では、上記音源識別部 2 6での分類結果、すなわち識別信号 (NTにて表す）および上記レベル継続検出部 2 4からの検出信号 ( P Dにて表す) 並びにピーク検出部 2 3 からの検出信号 ( P Tにて表す) を入力して、 { ( N T a n d P D ) o r P T } の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（N T) については、事故等に起因して発生する音である場合には「 1」とされ、また検出信号（ P D) についても、音が継続している場合には「 1 」に、検出信号（ P T) についても、ピーク値が所定の強さ以上である場合には「 1」とされる。

そして、上記論理演算式における論理積（ a n d ) の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号 ( P D ) との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（N T a n d P D) に対して検出信号（ P T ) の論理和をとるようにしたものである。したがって、この論理演算式によると、検出した音が、二ユーラルネットにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。

この事故判定部 2 7で事故等であると判定された場合には、デー夕保存指示部 2 8 にその旨の指示が出力されて、データ記録装置 4 にて、当該事故等の発生時の前後における映像が音響とともに記録されて保存される。

そして、このデータ保存指示部 2 8 による映像の保存指示時には、映像デ一夕のインデックスとして、上記事故判定部 2 7で事故等であると判断された場合の事故内容 (例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音 +タイヤと路面の摩擦音、衝突音 +クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。

ところで、上記各部、積分器、比較器などについては、それぞれ電気信号回路により構成されており、特に、ニューラルネットにより演算が行われる音源識別部 2 6 には、演算処理部として例えば C P Uが具備されている。

ここで、上記事故記録装置 5 により、交通事故等を自動的に記録する際の処理手順を簡単に説明する。

例えば、交差点に配置された力メラ装置 1およびマイク 2が作動している状態において、マイク 2 により検出された音響信号が信号抽出部 2 1 にて所定周波数帯域でもって抽出され、この抽出音響信号が、レベル検出部 2 2、ピーク検出部 2 3およびレベル継続検出部 2 4に入力されて、事故等であるか否かの予備判断が行われる。そして、レベル検出部 2 2およびピーク検出部 2 3のうち、少な

< ¾と、いずれかからの検出信号がめつた場合、抽出音響信号に対して A / D変換が行われた後、スぺクトル演算部 2 5にてスぺクトルの演算力 S行われる。

この演算により求められたスぺク卜ル系列が音源識別部 2 6 に入

，力されて、ここで、上述したニューラルネッ卜を用いた分類方法にて、音源力 S識別されるとともに、この識別された音が事故等に結び付く可能个生が高いもの（例えば、衝突音、衝突音 +タイヤと路面の摩擦音、衝突音 +クラクション、タィャと路面の摩擦音、クラクシヨン、走音、サイレンなどの音）である場合には、事故等を示す検出信号 ( N T ) が出力される。

<) に、上記事故等の検出信号（N T ) 、レベル継続検出部 2 4からの継続を示す検出信号（ P D ) おびピーク検出部 2 3からのピ一クの検出信号（ P T ) が事故判定部 2 7 に入力されて論理演算が行われ、事故等に起因する音であるか否かが判定される。

そして、事故判定部 2 7 にて、事故等であると判断された場合には、デ一タ保存指示部 2 8 にその旨の指示信号が出力されて、その音が発生した前後において撮影された映像がデータ記録装置 4に記録されて保存される。勿論、この映像デ一夕の記録時には、その映像データに対するィンデックスとして、音源識別部 2 6にて特定された音源種別のコードデータがー緒に記録され、後からの映像デー夕の検索の容易化が図られている。

なお、音源識別部 2 6での 1回の識別時間は、例えば 3秒とされており、各検出部 2 2〜 2 4において、検出信号（トリガー信号）が得られた場合には：この 3秒が経過するまでは検出信号の出力が維持され、 3秒経過後にリセッ卜信号が出力される。

このように、上記事故記録装置 5 の構成、特にその音源識別部 2 6の構成によると、エンジン音などのように、車両が通常に発している低周波数および人間が聞くことが困難な高い周波数を除去した抽出音響信号について、レベル検出部 2 2にて音響信号のレベル値が設定レベル値を超えているか否かを検出するとともに、ピーク検出部 2 3 にて音響信号のピーク値が設定ピーク値を超えているか否かを検出し、少なくとも一方がそれぞれの設定値を超えている場合に、当該音響信号の周波数スペクトルを求めるとともに、二ユーラルネットを用いて、その音源の種別を特定するようにしたので、音源の識別を、より正確に行うことができる。

また、この音源識別部 2 6 を用いた音源判定装置 3の構成によると、ニューラルネットにて特定された音源に対して、さらにレベル継続検出部 2 4 にて音響信号のレベル継続時間が設定継続時間を超えているか否かの判断が加味されているので、事故等であるか否かの判断を、〜層、正確に行うことができる。

次に、上記事故内容分類装置 7 を、図 1 0 に基づき説明する。この事故内容分類装置 7 には、データベース 1 0から映像データを入力して画像処理を行い、例えば交差点内での物体の輪郭を各画像フレームごとに [例えば、所定時間間隔（より具体的には 0 . 1 秒程度）おきの画像フレームごとであってもよい] 抽出する画像処理部 4 1 と、この画像処理部 4 1 で得られた画像処理データを入力して交通事故を起こしたと判断された物体（対象物体）がどのようなものかを、例えば自動車、二輪車、歩行者などのいずれかを認識するとともに車両の種類（車種である）も特定する、例えば自動車であれば大型車、乗用車、緊急車両など、二輪車であればオートバィ、自転車などを判断するための物体認識部 4 2 と、データベース 1 0から音響データを入力するとともに画像デ一夕の認識に基づいて音響データの特定すなわち事故音を特定する音源特定部 4 3 とが具備されている。

ここで、上記物体認識部 4 2での物体の認識方法を簡単に説明しておく。

この物体認識部 4 2では、映像に対して差分法により移動する物体を、例えば直方体として検出する。この検出された物体すなわち車種の判断は、直方体についてのパターンマッチングにより行われる。このパターンマッチングに用レられる評価用のパラメ一夕は、直方体の幅、奥行き、高さ、体積などが用いられる。具体的には、幅、奥行き、高さの大小関係を見ると、一般的には、二輪車の場合、奥行き〉高さ >幅の関係となり、歩行者の場合、高さ >幅，奥行きの関係となる。また、 4輪車の場合、幅、奥行き、高さについての大小闋係はまちまちであるが、体積により、大型車と乗用車の判別が可能となる。

さらに、詳しく説明すれば、予め記録された映像データを用いて、各車種の基準パラメ一夕をデータベース化しておくとともに、最終的には、計算された評価パラメ一夕を、基準パラメ一夕にて学習されたニューラルネットに入力し、各車種である確率（各車種の基準パラメータとのマッチング度）を計算し、その値が最も大きくなる車種を、その物体の車種とするものである。次に、上記事故状況解析装置 8 を、図 1 1 に基づき説明する。この事故状況解析装置 8 には、データベース 1 0から映像デ一夕を入力して画像処理を行い、例えば交差点内での物体の輪郭を各画像フレームごとに [例えば、所定時間間隔（より具体的には 1秒程度）おきの画像フレームごとであってもよい] 抽出する画像処理部 5 1 と、この画像処理部 5 1 で得られた画像処理データを入力して交通事故を起こしたと判断された物体の軌跡を求める軌跡演算部 5 2 と、この軌跡演算部 5 2で求められた軌跡から物体の進入位置、物体の速度、事故位置、ブレーキの推定、信号無視の有無などの事故状況を検出する事故状況検出部 5 3 と、この事故状況検出部 5 3 にて得られた事故状況をレポート形式で出力する事故状況出力部 5 4 とが具備されている。

この事故状況解析装置 8にて得られる具体的な解析内容は以下の通りである。

( 1 ) 事故であると分類された個々の物体、すなわち車両などを同一画面上でトレース表示する (例えば、図 1 2 ( a ) の車両 A , 車両 Bにて示す）。

( 2 ) 事故車両のトレースにより、車両同士が接触した部分を検出し、その時点における音響データとを照合し、例えば衝突音が検出された場合には（例えば、図 1 2 ( b ) 参照）、最終的な事故位置を特定することができる。

( 3 ) 物体の 1 コマ（フレーム）当たりの移動距離により、事故直前（交差点進入時）の速度を自動で特定する（例えば、図 1 2 ( c ) のグラフ参照）。

( 4 ) 映像データに記録されている各方向での信号に基づき、車両が信号を無視したか否かについても検出することができる。

これらの結果を纏めた事故 m析レポートの具体例を図 1 3 に示しておく。

次に、データ閲覧装置 1 1 について説明する。

このデータ閲覧装置 1 1は、データベース 1 0 に蓄積された映像データおよび動作ログに関わる各種デ一夕に対して検索および閲覧を行い得る検索 · 閲覧ソフト（以下、閲覧等ソフトと称し、例えば w e bブラウザが用いられる）が具備されたコンピュータ端末であり、勿論、 L A N 1 5 を介して、デ一夕べ一ス 1 0に接続されている。

上記閲覧等ソフトは、検索画面から映像データに対して、「交差点名称、日付、記録要因 [記録すべきと判断された音の種類（具体的には、音源識別結果） ] 、事故種類、事故車種」などから、検索または絞込み検索を行うことができ、また検索結果（例えば、交差点名称、日付、記録要因、事故種類、事故車種、映像データフアイル名）についてその一覧表示を行うことができる。

さらに、検索結果の映像デ一夕に係るファイル名を選択するとともに再生ボタンを押すことにより、映像デ一夕の再生を行うことができる。

また、検索画面から動作ログに対して、「交差点の名称、日付」などから、検索または絞込み撿索を行うことができ、また検索結果 (例えば、交差点名称、日付、ログファイル名）についてその一覧表示を行うことができる。

さらに、動作ログに対しても、一覧表示されたログファイル名を選択するとともに表示ボタンを押すことにより、その動作ログの内容を表示することができる。

次に、音源判定評価装置 9について説明する。

この音源判定評価装置 9は、上記データ閲覧装置 1 1 と同様に、データベース 1 0 に蓄積された映像データおよび動作口グに関わる各種データに対する検索および閲覧を行い得る検索 · 閲覧ソフト ( 以下、閲覧等ソフトと称し、例えば w e bブラウザが用いられる）が具備されたコンピュータ端末であり、 L A N 1 5を介して、デ一夕べ一ス 1 0に接続されている。

また、検索結果の映像データに係るファイル名を選択するとともに再生ボタンを押すことにより、映像データの再生を行うことができる。

そして、さらに選択した画像デ一夕を再生して、監視員が事故内容を画面上で確認した際に、交通事故でないのに交通事故であると誤認識した件については、再度、ニューラルネットを用いて、学習させる再学習機能が具備されている。

この再学習機能を簡単に説明すると、各事故記録装置 5 において、誤認識された映像デ一夕に係る音響データの識別（判定）に用いられる分類番号が、誤認識されたデータについて分類番号が毎回異なる場合には、分類表から誤認識した分類番号の記録フラグが「 1 (記録する）」から「 0 (ゼロ：記録しない）」に修正され、そしてこの修正された分類表が当該誤認識に係る事故記録装置 5 に送信されて、分類表の更新が行われる。

一方、音源を識別するための分類番号が毎回同一（いつも同じ）である場合には、当該音響デ一夕を用いてニューラルネッ卜で用いられる分類用の重み係数を再学習させた後、この再学習に伴い分類表中の分類番号、種別、記録フラグを見直し、修正が必要となるものについては修正が行われる。そして、この修正された重み係数および分類表が当該誤認識に係る事故記録装置 5 に送信されて、分類表の更新が行われる。なお、図 1 4 に上記再学習機能を説明するフ

□一チャ卜不す。

次に、上記システムにおける事故記録装置 5 と管理セン夕 - 1 2 とにおけるデ一夕の受け渡し動作について簡単に説明する

このデ一夕の受け渡し動作は、上述したように、通信回線 1 3 、例えばィン夕一ネット（イントラネット）により、仮想的に 1対 1 の通信路を確立して行われ、またその伝送プロトコルは、例えば T

C Pノ I Pにおける F T Pプロトコルが用いらる。したがつて、管理セン夕 — 1 2 のサーバ 1 4および事故記録装置 5側には、それぞれ F T Pプログラムファイルが具備されている。

上記事故記録装置 5にて記録された映像デ一タおよび音源の識別に用いた曰響データは、所定時刻に、例えば毎日 1 回程度の割合で

(例えば、日付変更時に）、管理センター 1 2 に送られるこのとさ、これらのデータと一緒に、事記録装置 5 の動作履歴 Πグ（例えば、源投入時刻、停電時刻、ュニットの異常発生/異常復帰、記録時の要因デ一夕 [音源識別結果とスぺクトル計算結果 (または音圧データ） ] も送られる。

また、管理センター 1 2側から、事故記録装置 5 における運用設定データ（例えば、映像チャネル数、映像サイズ、画質、記録時間、トリガ前の記録時間、映像フレーム間隔、交差点名称、信号パ夕ーンなどのデータ）を記述したファイルが、必耍に応じて事故記録装置 5側に送られる。さらに、音源判定評価装置 9 にて修正された分類表についても、事故記録装置 5側に送られる。

そして、管理セン夕一 1 2 にて交通事故であると判定された場合、必要な交通事故データ（例えば、交差点名、発生時刻、事故状況など）力^ 通信回線 1 7を介して、交通管制セン夕一 1 6 に送られる。

上述した記録 · 解析システムによると、交差点で発生した交通事故の映像データおよび音響データについては、その発生場所で、音源判定装置 3により交通事故であるか否かが判断されるとともに交通事故であると判断された場合にはデータ記録装置 4に記録され、しかも、このデータ記録装置 4に記録されたデータが通信回線 1 3 を介して管理センター 1 2に送られ、ここで事故内容分類装置 7 により交通事故が分類されるとともに事故状況解析装置 8 により交通事故の内容が解析されるため、従来のように、交差点に設けられたデータ記録装置に交通事故のデータを記録させておき、後で、その記録デ一夕を回収するようにしたシステムに比べて、その回収する手間を必要としないとともに、交通事故の主な内容については、事故状況解析装置 8 により自動的に主要なデータ解析（例えば、接触音の検出、車両のトレースなど）が行われるため、監視員による事故内容の解析作業が容易になるとともに、解析作業を迅速に行うことができる。

ところで、上記実施の形態においては、交差点に、マイクを 1個だけ配置したものとして説明したが、例えば図 1 5 に示すように、交差点 Kの中心線の両側に、マイク（マイクロフォン） 2 を 1個づつ配置しておくことにより、その音響データの音響レベルを比較することにより、交差点の中心線のどちら側で発生したかを特定することができる。これにより、交通事故の発生場所などを、より確実に特定することができる。

また、上記実施の形態においては、第 1分類〜第 4分類というように、大きく 4段階でもって分類を行うものとして説明したが、例えば第 1分類〜第 3分類を用いて（この場合の分類番号は 4桁となる）、音源の識別を行うようにしてもよレ^ 勿論、この場合も、第 1 の実施の形態と同様に、音源の識別を正確に行うことができる。さらに、上記実施の形態においては、交差点での交通事故を記録するように説明したが、交差点以外の箇所であってもよく、さらには、突発事象として交通事故以外の場合、例えば工事現場で行われる作業の監視、コンビニエンスストァの監視などにも適用することができる。

Claims

請求の範囲

1 . 音源からの音響データを入力して突発事象であるか否かを判定データに基づき判断する音源判定手段を有するとともに当該音源判定手段にて突発事象であると判断された音響データおよび突発事象の撮影手段からの映像データを一時的に記録するデータ記録手段を有する突発事象記録手段と、

この突発事象記録手段にて記録された音響データおよび映像デー夕を入力して突発事象を分類する突発事象分類手段と、

さらに上記突発事象記録手段を突発事象の発生箇所に配置するとともに、上記突発事象分類手段および突発事象解析手段を管理センターに設置し、

且つ上記突発事象記録手段にて記録された音響データおよび映像データを、通信回線を介して管理センターに送るようにしたことを特徴とする突発事象の記録 · 解析システム。

2 . 突発事象解析手段により解析された結果と映像を目視した結果とを比較して、予め決められた突発事象でない場合に、音源判定手段における判定データを変更するための音源判定評価手段を具備したことを特徴とする請求項 1 に記載の突発事象の記録 · 解析システム。

3 . 突発事象が交通事故である場合に、分類データが、少なくとも事故対象物である車両の種類および事故音であることを特徴とする請求項 1 または 2 に記載の突発事象の記録 - 解析システム。

4 . 突発事象が交通事故である場合に、突発事象解析手段にて、映像データおよび音響データを用いて、少なくとも事故対象物である車両の位置関係および衝突の有無を解析することを特徴とする請求項 1 乃至 3 のいずれか一項に記載の突発事象の記録 · 解析システム

5 . 突発事象が交通事故であるとともに、音源半リ定手段に具備される音響検出手段としてマイクロフォンを用いるとともに、このマイクロフォンを交差点の中心を挟んで両側に設置したことを特徴とする請求項 1乃至 4のいずれか一項に記載の突発事象の記録 · 解析シスァム。