JP2021119462A - 信号機画像の処理方法、装置、コンピュータシステム及び路側デバイス - Google Patents

Abstract

【課題】本開示は、信号機画像の処理方法、装置、コンピュータシステム及び路側デバイスを提供する。【解決手段】この処理方法は、少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得することと、時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得することと、差分画像に対して閾値化処理を行うことと、閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定することと、を含む。【選択図】図２

Description

本開示は、知能交通及び自動運転の分野に関し、具体的には、信号機画像の処理方法、信号機画像の処理装置、コンピュータシステム、路側デバイス及びコンピュータ読み取り可能な記憶媒体に関する。

知能路車協調システムにおける道路環境感知は車両運転に影響を与える重要な要素であり、そのうち、交通信号機は、車両が交差点を秩序正しく安全に通行できるようにし、交差点の通行効率を大幅に向上させる。したがって、交通信号機の認識は知能交通システムの重要な構成部分である。

既存の交通信号機の認識方法は、主に車載感知及び路側感知の２種類に分けられる。車載感知は通常、車載カメラを用いて車両前方のビデオ画像を収集し、そして、色、形状などの情報に基づき、関心領域を検出して特徴を抽出し、種類判定を行い、これによって、交通信号機の状況を取得する。路側感知は、センサを路側に配置し、道路上の交通信号機を感知する技術である。車載感知に対する路側感知のメリットは、路側センサの視角が固定されているため、交通信号機の位置を検出する必要がないことである。路側センサは、交通信号機の状態及び時間を自動運転車両に送信できる。交通信号機に対する路側センサの認識能力を向上させるために、路側センサをトレーニングする必要がある。トレーニングプロセスにおいて、ほぼ均一に分布される比率を満たす様々な灯色の画像データを路側センサに提供する必要がある。この目的を達成するには、大量の信号機画像をフィルタリングしてラベルを付ける必要がある。

本開示の目的は、少なくとも、灯色ができるだけ均一に分布する信号機画像データを自動的かつ効率よく取得し得る信号機画像の処理方法、信号機画像の処理装置、コンピュータシステム及び路側デバイスを提供することにある。

本開示の第１の態様によれば、少なくとも２つの灯器を含む信号灯の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得することと、
時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が前記時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得することと、
前記差分画像に対して閾値化処理を行うことと、
閾値化処理後の差分画像に基づいて、前記信号灯の点灯灯器を決定することと、を含む信号機画像の処理方法を提供する。

本開示の第２の態様によれば、少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得するように構成される取得ユニットと、
時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得するように構成される差分ユニット、
差分画像に対して閾値化処理を行うように構成される閾値化ユニットと、
閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定するように構成される点灯灯器決定ユニットと、を含む、信号機画像の処理装置を提供する。

本開示の第３の態様によれば、プロセッサと、プロセッサにより実行されると、上記信号機画像の処理方法をプロセッサに実行させるコンピュータプログラムを記憶したメモリとを含む、コンピュータシステムを提供する。

本開示の第４の態様によれば、プロセッサにより実行されると、上記信号機画像の処理方法を実現するコンピュータプログラムを記憶している、コンピュータ読み取り可能な記憶媒体を提供する。

本開示の第５の態様によれば、上記したコンピュータシステムを含む路側デバイスを提供する。

本開示の第６の態様によれば、プロセッサにより実行されると、本開示に記載の処理方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

本開示の１つ又は複数の実施例によれば、灯色ができるだけ均一に分布する信号機画像データを自動的かつ効率よく取得できる。路側センサに対するトレーニングプロセスにおいて、ほぼ均一に分布する比率を満たす信号機画像データは、トレーニング効果を向上させる。

図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の説明と共に実施例の例示的な実施例を説明する。示される実施例は、例示のみを目的としており、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は、類似するが必ずしも同一ではない要素を指す。
本開示の実施例による路車協調システムの応用シナリオを示す図である。 本開示の実施例による信号機画像の処理方法を示すフローチャートである。 本開示の実施例による信号機画像の処理装置を示すブロック図である。 本開示の実施例を実現できる例示的なコンピュータシステムを示す構造ブロック図である。

以下、図面及び実施例を参照しながら本開示を詳細に説明する。本明細書に記載の特定の実施例は、関連する発明を説明するためにのみ使用され、本発明を限定するものではないことが理解され得る。また、なお、説明の便宜上、関連する発明に関連する部分のみが図面に示されている。

なお、本開示の実施例及び実施例の特徴は、矛盾がない場合、互いに組み合わせることができる。文脈で明確に示されていない限り、要素の数が特に制限されていない場合は、この要素が１つであってもよく、複数であってもよい。さらに、本開示で使用されるステップ又は機能モジュールの番号は、各ステップ又は機能モジュールを標識するためにのみ使用され、各ステップの実行順序又は各機能モジュール間の接続関係を制限するために使用されない。

本開示では、特に断らない限り、「第１」、「第２」などの用語で様々な要素を説明する場合、これらの要素の位置関係、タイミング関係、又は重要性関係を制限することを意図するものではなく、このような用語は、同じ実施例では、１つの要素を別の要素と区別することにのみ用いられる。

知能路車協調技術の継続的な成熟に伴い、自動車知能化と交通知能化は将来の開発の必然的なトレンドである。知能路車協調システムは、路側施設とスマートカーを有機的に組み合わせたものであり、知能路側デバイス、車両無線通信、エッジコンピューティングなどの技術を通じて、人、車、道路、バックエンド間の動的なリアルタイム情報相互作用を実現し、これに基づいて車両主動安全管理と道路協調管理を実施し、人、車両、道路の効果的な協調を実現する。

図１は本開示の実施例による路車協調システムの応用シナリオを示す図である。図１に示す路車協調システムは様々な無線通信の方式により、車と車の間、車と道路の間、近端車と遠端車の間、さらに人を新たな交通構造とする。路車協調システムにおける路側デバイスとは、車道制御システムのフロントエンドに取り付けられ、情報を収集するためのデバイスであり、通常、道路両側に取り付けられ、路側デバイスは短距離通信方式で車載端末と通信可能であり、それにより、車両情報に対する収集を実現する。具体的には、路側デバイスは路側感知デバイス及び路側コンピューティングデバイスを含み、路側感知デバイスは路側センサ（例えば、路側カメラ）とも呼ばれ、路側コンピューティングデバイス（例えば、路側コンピューティングユニットＲＳＣＵ）に接続され、路側コンピューティングデバイスはサーバデバイスに接続され、サーバデバイスは様々な方式により自動運転車両又は補助運転車両と通信できる。他のシステムフレームワークにおいて、路側感知デバイス自体はコンピューティング機能を有するため、前記サーバデバイスに直接接続される。以上の接続は有線又は無線であり、本開示におけるサーバデバイスは、例えばクラウド制御プラットフォーム、路車協調管理プラットフォーム、中央サブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどである。

自動運転車両は交差点を通過する際、交通信号機を認識する必要がある。路側センサは交通信号機の状態及び時間を自動運転車両に直接送信できる。従って、交通信号機の灯色に対する認識能力を向上させるために、路側センサをトレーニングする必要がある。トレーニングの効果を保証するために、交通信号機データを収集するプロセスにおいて、各灯色の画像がほぼ均一に分布する比率を満たすことを保証する。マニュアルフィルタリングによれば、フィルタリングした画像が、灯色が均一に分布しているという要件を満たすことを保証できるものの、効率が低いため、大量の画像を素早くフィルタリングすることができない。

図２は本開示の実施例による信号機画像の処理方法２００を示すフローチャートである。図２に示すように、信号機画像の処理方法２００は、少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得するステップＳ２１０と、時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得するステップＳ２２０と、差分画像に対して閾値化処理を行うステップＳ２３０と、閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定するステップＳ２４０とを含む。

ここで、なお、コンピュータビジョンにより交通信号灯を感知する交差点では、通常、路側センサを交通信号機の電柱に設置する。主車感知に対する路側感知のメリットは、路側センサの視角が固定されることにある。したがって、信号機の位置は予め決定されてローカルに記憶され得る。このようにして、灯色認識のプロセスにおいて、信号機の位置を検出する必要がない。実際の交通環境において、信号機は通常、２つ以上の灯器、例えば、赤信号、青信号及び黄灯を含む。信号機を路側センサから取得する画像データは時間的に連続した一連の画像フレームｉｍｇ＿ｌｉｓｔであることを理解できる。信号機の灯色のタイミングにより灯色をフィルタリングすることができる。しかしながら、道路状況の複雑性のため、信号機の動作状態の差異が大きく、取得した画像の信号機の灯色をプログラムにより自動的に認識するとき、認識率が低い。

したがって、本開示の信号機画像の処理方法はフレーム間差分により現在どの灯色が点灯状態にあるかを検出し、このように、灯色認識の正確率を大幅に上げることができる。具体的には、ある方向の信号機に対して、時間的に隣接する２フレームの画像に対して差分処理ｉｍｇ＿ｌｉｓｔ［１］−ｉｍｇ＿ｌｉｓｔ［０］を行い、差分画像を取得する。差分画像のピクセルごとのピクセル値は時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい。そして、差分画像に対して閾値化処理を行う。閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定する。これによって、灯色ができるだけ均一に分布する信号機画像データを後続で取得することに寄与するように、信号機の点灯灯器を素早くて比較的正確に決定できる。

いくつかの実施例によれば、差分画像に対して閾値化処理を行うことは、差分画像のピクセルのピクセル値が第１の閾値より大きいことに応答して、予め設定された輝度値をピクセルの値に割り当てることと、差分画像のピクセルのピクセル値が第１の閾値以下であることに応答して、ピクセルの値を０に設定することとを含む。なお、本明細書における「差分」は、２フレームの画像の間の輝度変化を見つけるために輝度の絶対値を直接算出するのではなく、差分画像において第１の閾値ｔｈｒｅｓ＿１より小さいピクセルを０に直接設定し、差分画像において第１の閾値ｔｈｒｅｓ＿１より大きいピクセルに対して予め設定された輝度値（例えば、２５５）を直接割り当てる。つまり、ある灯器の暗（０）から明（２５５）までの変化のみを検出すればよい。簡単に言えば、点灯のプロセスのみを検出すればよく、消灯のプロセスを検出する必要がない。このような方式のメリットはロジックが簡単であり、さらに、ある程度のロバスト性を有し、ある程度の認識正確率を保証すると同時に、検出効率を大幅に上げる。灯色の輝度のみが実際に変化するが、灯色が変化しない場合、上記した方法によれば、灯器が依然として同一灯色にあることを認識できる。

いくつかの実施例によれば、信号機画像の処理方法２００は、サンプリングすべき画像フレームを取得するために、点灯灯器に関連付けられたサンプリング区間を決定するステップＳ２５０を含む。本明細書では、他の位置の灯器の点灯を検出するまで、ある灯器の複数回の点灯が検出されても、同一回の点灯と考えられる。これに鑑みて、サンプリング区間の範囲を決定することにより、点灯された灯色に関連する画像をキャッシュする。後続の画像フィルタリング及び画像ラベリングのステップでは、直接サンプリング区間から対応する灯色の画像を選択すればよく、このようにして、後続のフィルタリング及びラベリング操作を簡便にし、効率を向上させる。

いくつかの実施例によれば、信号機の点灯灯器を決定することは、閾値化処理された差分画像のうちそれぞれの灯器のピクセルのピクセル値の和を算出し、それぞれの灯器の差分和を取得することと、それぞれの灯器の差分和に対して正規化処理を行うことと、差分及び正規化を行われた数値が最大の灯器を点灯灯器とすることとを含む。例えば、それぞれの灯器の閾値化後の差分画像の差分和を算出し、この差分和をピクセルの数ｎ＿ｐｉｘｅｌで割って正規化を行い、そして、３つの灯器の位置のうち差分和が最大のもの（ｍａｘ＿ｄｉｆｆ＿ｓｕｍ＿ｃｕｒｒｅｎｔと記する）を見つけて、それに対応する灯色を取得する。具体的には、それぞれの灯器の差分和に対して正規化処理を行うことは以下のいずれか１つを含む。（１）それぞれの灯器の差分和を対応する灯器のピクセルの数ｎ＿ｐｉｘｅｌで割る。（２）それぞれの灯器の差分和を対応する灯器の面積で割る。又は（３）それぞれの灯器の差分和を信号機の合計面積で割る。当然、当業者にとって明らかなように、正規化処理の方式が上記した３つの場合に限られず、例えば、各灯器の差分和を灯器に関連付けられた他の数値で割ってもよい。

上記正規化方式を用いた実施例において、点灯灯器に関連付けられたサンプリング区間を決定することは、点灯灯器の差分和が、点灯灯器の差分和が対応する灯器の第２の閾値と予め設定されたパーセントとの積より大きいことと、点灯灯器の差分和が少なくとも１つの非点灯灯器の差分和と予め設定された倍数との積より大きいことのうちの少なくとも１つを満たさないことに応答して、信号機の点灯灯器の灯色が既に切り替えられたことを決定することと、現在画像フレームと前回決定灯色が既に切り替えられた時の画像フレームとの間の区間をサンプリング区間とすることとを含む。なお、第２の閾値を比較的小さく設定してもよく、このようにして、画像中の輝度変化を取得することに利便である。本実施例において、点灯灯器の差分和と自体の履歴値、例えば第２の閾値とを比較することに加えて、他の灯色の差分と比較し、これによって、輝度の偶然波動による誤差の問題を排除できる。例えば、点灯灯器の差分和は、対応する灯色のｍａｘ＿ｄｉｆｆ＿ｓｕｍ（第２の閾値）の８０％より大きく、且つ他の２つ灯器の現在の差分和の２倍より大きいと、この灯色が新たに点灯される灯色であると考えられ、そうでないと、次のフレーム画像を処理し始める。

いくつかの実施例によれば、第２の閾値は信号機の画像データに対して初期化処理することによって取得される。具体的には、信号機の画像データに対して初期化処理を行うことは、初期化周期内に時間的に隣接する２フレームに対して差分処理を行い、差分画像を取得することと、差分画像に対して閾値化処理を行うことと、閾値化処理の結果に基づいて、信号機の点灯灯器の最大差分和を決定することと、点灯灯器の最大差分和を対応する灯器の第２の閾値に割り当てることとを含む。例えば、それぞれの灯器の差分画像の差分和を算出し、そして、３つの灯器の位置のうち差分和が最大のもの（ｍａｘ＿ｄｉｆｆ＿ｓｕｍ＿ｃｕｒｒｅｎｔと記する）を見つけて、それに対応する灯色を取得する。その差分和が対応する灯色のｍａｘ＿ｄｉｆｆ＿ｓｕｍより大きいと、ｍａｘ＿ｄｉｆｆ＿ｓｕｍ＿ｃｕｒｒｅｎｔの値を対応する灯色のｍａｘ＿ｄｉｆｆ＿ｓｕｍに割り当てる。

いくつかの実施例によれば、信号機画像の処理方法２００は、信号機の点灯灯器の灯色に応じて、現在画像に対して灯色をラベリングするステップＳ２６０と、ラベリングの結果に基づいて、数がおおよそ等しい異なる灯色の画像をフィルタリングするステップＳ２７０とを含む。これによって、灯色ができるだけ均一に分布するデータを取得でき、手動で予めラベリングするステップを省略でき、データラベリングのプロセスを加速させ、ラベリングのコストを削減させることができる。

いくつかの実施例によれば、信号機の点灯灯器を決定することは、それぞれの灯器において予め設定された輝度値を割り当てられたピクセルの数を統計することと、それぞれの灯器の統計値に基づいて、予め設定された輝度値を割り当てられたピクセル数が最も多い灯器を点灯灯器とすることとを含む。この場合、前述した実施例における差分和の算出及び正規化のステップを省略でき、算出リソースをさらに節約することができる。

上記した統計方式を用いた実施例において、点灯灯器に関連付けられたサンプリング区間を決定することは、点灯灯器の統計値が、点灯灯器の統計値が対応する灯器の第３の閾値と予め設定されたパーセントとの積より大きいこと、及び点灯灯器の統計値が少なくとも１つの非点灯灯器の統計値と予め設定された倍数との積より大きいことのうちの少なくとも１つを満たさないことに応答して、信号機の点灯灯器の灯色が既に切り替えられたことを決定することと、現在画像フレームと前回決定灯色が既に切り替えられた時の画像フレームとの間の区間をサンプリング区間とすることとを含む。なお、第３の閾値を比較的小さく設定すると、画像中の輝度の変化は簡便に取得できる。本実施例において、点灯灯器の統計値と自体の履歴、例えば第３の閾値とを比較することに加えて、他の灯色の統計値と比較し、これによって、輝度の偶然波動による誤差の問題を排除できる。

いくつかの実施例によれば、数がおおよそ等しい異なる灯色の画像をフィルタリングする前、信号機画像の処理方法２００は、予め設定された数範囲内にラベリングされた画像の灯色の種類の数が灯器の数より少ないか否かを検出し始めるステップＳ２８０と、予め設定された数範囲内にラベリングされた画像の灯色の種類の数が灯器の数より少ないことに応答して、アラーム信号を送信し、少なくとも１つの灯器が故障したことを提示するステップＳ２９０とを含む。本開示の方法は、画像をフィルタリングするとともに、信号機の灯器が故障により点灯されないことを認識できる。

図３は本開示の実施例による信号機画像の処理装置３００を示すブロック図である。図３に示すように、信号機画像の処理装置３００は、取得ユニット３１０、差分ユニット３２０、閾値化ユニット３３０及び点灯灯器決定ユニット３４０を含む。取得ユニット３１０は、少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得するように構成される。差分ユニット３２０は、時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得するように構成される。閾値化ユニット３３０は、差分画像に対して閾値化処理を行うように構成される。点灯灯器決定ユニット３４０は、閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定するように構成される。

いくつかの実施例によれば、閾値化ユニット３３０は、差分画像のピクセルのピクセル値が第１の閾値より大きいことに応答して、予め設定された輝度値をピクセルの値に割り当て、差分画像のピクセルのピクセル値が第１の閾値以下であることに応答して、ピクセルの値を０に設定するように構成される。

いくつかの実施例によれば、信号機画像の処理装置３００は、サンプリング区間決定ユニット３５０をさらに含む。サンプリング区間決定ユニット３５０は、サンプリングすべき画像フレームを取得するために、点灯灯器に関連付けられたサンプリング区間を決定するように構成される。

いくつかの実施例によれば、信号機画像の処理装置３００は、灯色ラベリングユニット３６０及びフィルタリングユニット３９０をさらに含む。灯色ラベリングユニット３６０は、信号機の点灯灯器の灯色に応じて、現在画像に対して灯色をラベリングするように構成される。フィルタリングユニット３９０は、ラベリングの結果に基づいて、数がおおよそ等しい異なる灯色の画像をフィルタリングするように構成される。

いくつかの実施例によれば、信号機画像の処理装置３００は、検出ユニット３７０及びアラームユニット３８０をさらに含む。数がおおよそ等しい異なる灯色の画像をフィルタリングユニットによりフィルタリングする前、検出ユニット３７０は、予め設定された数範囲内にラベリングされた画像の灯色の種類の数が灯器の数より少ないか否かを検出し始めるように構成される。アラームユニット３８０は、予め設定された数範囲内にラベリングされた画像の灯色の種類の数が灯器の数より少ないことに応答して、アラーム信号を送信し、少なくとも１つの灯器が故障したことを提示するように構成される。

図４は本開示の実施例を実現できる例示的なコンピュータシステムを示す構造ブロック図である。以下、図４を参照しながら、本開示の実施例を実現できるコンピュータシステム４００を説明する。なお、図４に示されるコンピュータシステム４００は単なる例であり、本開示の実施例の機能及び使用範囲にいかなる制限ももたらさない。

図４に示すように、コンピュータシステム４００は、読み取り専用メモリ（ＲＯＭ）４０２に格納されたプログラム又は記憶装置４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムに従って様々な適切な動作と処理を実行できる処理装置（例えば、中央処理装置、グラフィックプロセッサなど）４０１を含む。ＲＡＭ４０３には、コンピュータシステム４００の動作に必要な様々なプログラム及びデータも格納されている。処理装置４０１、ＲＯＭ ４０２、及びＲＡＭ ４０３はバス４０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。

通常、例えばタッチスクリーン、タッチパッド、カメラ、加速度計、ジャイロスコープ等を含む入力装置４０６と、例えば液晶ディスプレイ（ＬＣＤ，Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、スピーカー、バイブレーター等を含む出力装置４０７と、例えばフラッシュメモリ(Ｆｌａｓｈ Ｃａｒｄ)等を含む記憶装置４０８と、通信装置４０９は、Ｉ／Ｏインターフェース４０５に接続され得る。通信装置４０９により、コンピュータシステム４００は他のデバイスと無線又は有線で通信してデータを交換できる。図４には、様々な装置を有するコンピュータシステム４００を示したが、示されるすべての装置を実施する又は具備することを要求するわけでないことを理解できる。代替的には、より多い又は少ない装置を実施する又は具備してもよい。図４に示すそれぞれのブロックは１つの装置を示し、また必要に応じて複数の装置を代表してもよい。

特に、本開示の実施例によれば、以上フローチャートを参照しながら説明したプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例によれば、図２に示す方法２００を実行するためのプログラムコードを含むコンピュータプログラムを記憶しているコンピュータ読み取り可能な記憶媒体が提供される。このような実施例において、このコンピュータプログラムは通信装置４０９を介してネットワークからダウンロードしてインストールされ、又は記憶装置４０８からインストールされ、又はＲＯＭ ４０２からインストールされてもよい。このコンピュータプログラムは、処理装置４０１により実行されると、本開示の実施例の装置において限定される上記機能を実現する。

なお、本開示の実施例に記載のコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は上記両者の任意の組み合わせである。コンピュータ読み取り可能な記憶媒体は、例えば電気、磁気、光学、電磁、赤外線、又は半導体のシステム、装置又は素子、又は以上の任意の組み合わせであってよいが、これらに限られない。コンピュータ読み取り可能な記憶媒体の具体的な例は、１つ又は複数のワイヤーを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、又は上記の任意の適切な組み合わせを含むが、これらに限られない。本開示の実施例において、コンピュータ読み取り可能な記憶媒体はプログラムを含む又は記憶した有形媒体であってもよく、このプログラムは、命令実行システム、装置又は素子により使用されるか、又はそれと組み合わせて使用されてもよい。本開示の実施例において、コンピュータ読み取り可能な信号媒体は、ベースバンドにおいて伝播する又は搬送波の一部として伝播するデータ信号を含み、データ信号はコンピュータ読み取り可能なのプログラムコードを搬送する。このように伝播するデータ信号は、電磁信号、光信号又は上記の任意の適当な組み合わせを用いてもよいが、これらに限られない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、このコンピュータ読み取り可能な信号媒体は命令実行システム、装置又は素子により使用される、又はそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送できる。コンピュータ読み取り可能な媒体に含まれるプログラムコードが任意の適切な媒体により伝送されてもよく、これらの媒体は、ワイヤー、光ケーブル、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ，無線周波数）等、又は上記の任意の適当な組み合わせを含むが、これらに限られない。

上記したコンピュータ読み取り可能な媒体は上記コンピュータシステム４００に含まれるものであってよく、このコンピュータシステム４００に組み込まれず単独に存在してもよい。上記したコンピュータ読み取り可能な媒体は１つ又は複数のプログラムを記憶しており、上記した１つ又は複数のプログラムがこのコンピューティングデバイスにより実行されると、少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得することと、時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得することと、差分画像に対して閾値化処理を行うことと、閾値化処理後の差分画像に基づいて、信号機の点灯灯器を決定することと、をこのコンピュータシステムに実行させる。

１つ又は複数のプログラミング言語又はそれらの組み合わせにより、本開示の実施例の動作を実行するためのコンピュータプログラムコードを作成してもよく、前記プログラミング言語は、例えば、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、さらに、「Ｃ」言語や類似するプログラミング言語などの従来のプロセス指向プログラミング言語をも含む。プログラムコードは、完全にユーザコンピュータで実行されたり、一部がユーザコンピュータで実行されたり、独立したソフトウェアパッケージとして実行されたり、一部がユーザコンピュータで実行され、一部が遠隔コンピュータで実行されたり、完全に遠隔コンピュータ又はサーバで実行されたりする。遠隔コンピュータに関する場合に、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続されたり、外部コンピュータ（例えば、インターネットサービスプロバイダーによりインターネットを介して接続されたりする）に接続され得る。

図面におけるフローチャート及びブロック図は、本開示の様々な実施例のシステム、方法及びコンピュータプログラム製品により実現可能なシステムのフレームワーク、機能、及び操作を示している。フローチャート又はブロック図のそれぞれのブロックは１つのモジュール、プログラムセグメント、又はコードの一部を示し、このモジュール、プログラムセグメント、又はコードの一部は所定のロジック機能を実現するための実行可能な１つ又は複数の命令を含む。なお、いくつかの代替実施形態では、ブロックにマークした機能は、図面にマークした順序とは異なる順序で発生することもある。例えば、接続して示された２つのブロックは、実際には、関する機能に応じて、ほぼ並行して実行されてもよく、逆の順序で実行されてもよい。なお、ブロック図及び／又はフローチャートのそれぞれのブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する、ハードウェアに基づく専用のシステムにより実現され、又は専用のハードウェアとコンピュータ命令との組み合わせにより実現される。

本開示の実施例に係るユニットはソフトウェアの形態として実現されてもよく、ハードウェアの形態として実現されてもよい。記載されたユニットは、プロセッサに設置されてもよく、例えば、取得ユニット、差分ユニット、閾値化ユニット、点灯灯器決定ユニット、サンプリング区間決定ユニット、灯色ラベリングユニット、フィルタリングユニット、検出ユニット及びアラームユニットを含むプロセッサとして記載できる。これらのユニットの名称は、場合によって、このユニット自体の限定にならない。

上記のように、路側感知デバイス自体はコンピューティング機能を含むことができる。例えば、本開示の実施例は、上記したコンピュータシステムを含む路側デバイスを提供する。具体的には、本開示の処理方法の実行主体は、例えば、コンピューティング機能を有する路側感知デバイス、路側感知デバイスに接続された路側コンピューティングデバイス、又は、路側コンピューティングデバイスに接続されたサーバデバイスや路側感知デバイスに直接接続されたサーバデバイスなど、様々な路側デバイスであってもよい。本開示におけるサーバデバイスは、例えば、クラウド制御プラットフォーム、路車協調管理プラットフォーム、中央サブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどである。

上記説明は、本開示の好ましい実施例及び使用する技術原理の説明にすぎない。当業者が理解できるように、本開示の実施例に係る発明の範囲が、上記の技術的特徴の特定の組み合わせによる技術案に限定されず、上記の発明の構想から逸脱しない場合に、上記技術的特徴又は同等の特徴の任意の組み合わせによる他の技術案も含まれている。例えば、上記技術的特徴が本開示の実施例において開示された（ただし、これらに限定されない）類似の機能を有する技術的特徴と互いに置き換えられてなる技術案が挙げられる。

Claims (22)

1. 少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得することと、
   時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が前記時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得することと、
   前記差分画像に対して閾値化処理を行うことと、
   閾値化処理後の差分画像に基づいて、前記信号機の点灯灯器を決定することと、を含む、信号機画像の処理方法。
2. 前記差分画像に対して閾値化処理を行うことは、
   前記差分画像のピクセルのピクセル値が第１の閾値より大きいことに応答して、予め設定された輝度値を前記ピクセルの値に割り当てることと、
   前記差分画像のピクセルのピクセル値が第１の閾値以下であることに応答して、前記ピクセルの値を０に設定することと、を含む、請求項１に記載の処理方法。
3. サンプリングすべき画像フレームを取得するために、前記点灯灯器に関連付けられたサンプリング区間を決定することをさらに含む、請求項２に記載の処理方法。
4. 前記信号機の点灯灯器を決定することは、
   閾値化処理された差分画像のうちそれぞれの灯器のピクセルのピクセル値の和を算出し、それぞれの灯器の差分和を取得することと、
   それぞれの灯器の差分和に対して正規化処理を行うことと、
   差分及び正規化を行われた数値が最大の灯器を点灯灯器とすることと、を含む、請求項３に記載の処理方法。
5. それぞれの灯器の差分和に対して正規化処理を行うことは、
   それぞれの灯器の差分和を対応する灯器のピクセルの数で割ること、
   それぞれの灯器の差分和を対応する灯器の面積で割ること、又は
   それぞれの灯器の差分和を前記信号機の合計面積で割ることからなる群から選ばれる１つを含む、請求項４に記載の処理方法。
6. 前記点灯灯器に関連付けられたサンプリング区間を決定することは、
   前記点灯灯器の差分和が、
   前記点灯灯器の差分和が対応する灯器の第２の閾値と予め設定されたパーセントとの積より大きいこと、及び
   前記点灯灯器の差分和が少なくとも１つの非点灯灯器の差分和と予め設定された倍数との積より大きいことのうちの少なくとも１つを満たさないことに応答して、前記信号機の点灯灯器の灯色が既に切り替えられたと決定することと、
   現在画像フレームと前回灯色が既に切り替えられたと決定した時の画像フレームとの間の区間をサンプリング区間と決定することと、を含む、請求項５に記載の処理方法。
7. 信号機の点灯灯器を決定することは、
   それぞれの灯器において前記予め設定された輝度値を割り当てられたピクセルの数を統計することと、
   それぞれの灯器の統計値に基づいて、前記予め設定された輝度値を割り当てられたピクセル数が最も多い灯器を点灯灯器とすることとを含む、請求項３に記載の処理方法。
8. 前記点灯灯器に関連付けられたサンプリング区間を決定することは、
   前記点灯灯器の統計値が、
   前記点灯灯器の統計値が対応する灯器の第３の閾値と予め設定されたパーセントとの積より大きいこと、及び
   前記点灯灯器の統計値が少なくとも１つの非点灯灯器の統計値と予め設定された倍数との積より大きいことのうちの少なくとも１つを満たさないことに応答して、前記信号機の点灯灯器の灯色が既に切り替えられたことを決定することと、
   現在画像フレームと前回決定灯色が既に切り替えられた時の画像フレームとの間の区間をサンプリング区間とすることと、を含む、請求項７に記載の処理方法。
9. 前記第２の閾値は信号機の画像データに対して初期化処理して取得される、請求項６に記載の処理方法。
10. 信号機の画像データに対して初期化処理することは、
    初期化周期内に時間的に隣接する２フレームに対して差分処理を行い、差分画像を取得することと、
    前記差分画像に対して閾値化処理を行うことと、
    閾値化処理の結果に基づいて、前記信号機の点灯灯器の最大差分和を決定することと、
    前記点灯灯器の最大差分和を対応する灯器の第２の閾値に割り当てることと、を含む、請求項９に記載の処理方法。
11. 前記信号機の点灯灯器の灯色に応じて、現在画像に対して灯色をラベリングすることと、
    ラベリングの結果に基づいて、数がおおよそ等しい異なる灯色の画像をフィルタリングすることと、をさらに含む、請求項１〜１０のいずれか１項に記載の処理方法。
12. 数がおおよそ等しい異なる灯色の画像をフィルタリングする前に、さらに、
    予め設定された数範囲内にラベリングされた画像の灯色の種類の数が前記灯器の数より少ないか否かを検出し始めることと、
    予め設定された数範囲内にラベリングされた画像の灯色の種類の数が前記灯器の数より少ないことに応答して、アラーム信号を送信し、少なくとも１つの灯器が故障したことを提示することと、をさらに含む、請求項１１に記載の処理方法。
13. 前記信号機は赤色灯器、黄色灯器及び青色灯器を含む、請求項１〜１０のいずれか１項に記載の処理方法。
14. 少なくとも２つの灯器を含む信号機の、経時的な画像フレームのシーケンスを含む画像データを路側センサから取得するように構成される取得ユニットと、
    時間的に隣接する２フレームの画像に対して差分処理を行い、ピクセルごとのピクセル値が前記時間的に隣接する２フレームの画像の対応するピクセルの差分値に等しい差分画像を取得するように構成される差分ユニット、
    前記差分画像に対して閾値化処理を行うように構成される閾値化ユニットと、
    閾値化処理後の差分画像に基づいて、前記信号機の点灯灯器を決定するように構成される点灯灯器決定ユニットと、を含む、信号機画像の処理装置。
15. 前記閾値化ユニットは、さらに、
    前記差分画像のピクセルのピクセル値が第１の閾値より大きいことに応答して、予め設定された輝度値を前記ピクセルの値に割り当て、
    前記差分画像のピクセルのピクセル値が第１の閾値以下であることに応答して、前記ピクセルの値を０に設定するように構成される、請求項１４に記載の処理装置。
16. サンプリングすべき画像フレームを取得するために、前記点灯灯器に関連付けられたサンプリング区間を決定するように構成されるサンプリング区間決定ユニットをさらに含む、請求項１５に記載の処理装置。
17. 前記信号機の点灯灯器の灯色に応じて、現在画像に対して灯色をラベリングするように構成される灯色ラベリングユニットと、
    ラベリングの結果に基づいて、数がおおよそ等しい異なる灯色の画像をフィルタリングするように構成されるフィルタリングユニットと、をさらに含む、請求項１４〜１６のいずれか１項に記載の処理装置。
18. 数がおおよそ等しい異なる灯色の画像を前記フィルタリングユニットによりフィルタリングする前、前記処理装置は、
    予め設定された数範囲内にラベリングされた画像の灯色の種類の数が前記灯器の数より少ないか否かを検出し始めるように構成される検出ユニットと、
    予め設定された数範囲内にラベリングされた画像の灯色の種類の数が前記灯器の数より少ないことに応答して、アラーム信号を送信し、少なくとも１つの灯器が故障したことを提示するように構成されるアラームユニットと、をさらに含む、請求項１７に記載の処理装置。
19. プロセッサと、
    前記プロセッサにより実行されると、請求項１〜１３のいずれか１項に記載の処理方法を前記プロセッサに実行させるコンピュータプログラムを記憶したメモリとを含む、コンピュータシステム。
20. 請求項１９に記載のコンピュータシステムを含む路側デバイス。
21. コンピュータに、請求項１〜１３のいずれか１項に記載の処理方法を実行させるためのプログラム。
22. 請求項２１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images