JP2012063869A - ナンバープレート読み取り装置 - Google Patents

Abstract

【課題】撮像手段の設置位置の自由度が高く、かつ、設置に伴う作業負担を軽減できるナンバープレート読み取り装置を提供することを目的とする。
【解決手段】撮像部１０１は、車両Ｖの前面部Ｆを斜め前方から撮像するように設置される。そして、撮像部１０１が撮像した画像からナンバープレート領域を検出し、初めて検出したナンバープレート領域画像を基準画像とした平面射影変換を行い、より近くで撮像した幾何学的歪みのより大きなナンバープレート領域画像の歪みを補正する。更に、平面射影変換にスケーリング（拡大率）パラメータを導入して、平面射影変換によって解像度が失われることを抑制する。
【選択図】図３

Description

本発明は、車両を、当該車両の進行方向に対して斜めから撮像し、撮像した画像からナンバープレートの文字を認識するナンバープレート読み取り装置に関する。

従来、この種のナンバープレート読み取り装置として、例えば、特許文献１に記載されるような装置があった。
このナンバープレート読み取り装置では、撮像機で撮像した画像データに対して、車両を斜め前方から撮像することにより生ずるナンバープレート画像の幾何学的な歪みを、撮像機の設置条件（設置位置）に基づくパラメータに従って補正することで、ナンバープレート読み取りの認識率を向上させている。

特開平６−２７４７８８号公報

しかし、従来のように、撮像機（カメラ）の設置条件（設置位置）に基づき、幾何学的な歪み補正のパラメータを決定する場合、例えば、撮像機の設置条件を固定とすれば、共通の補正パラメータを用いることができるが、実際的には設置条件を満たすように撮像機を設置することが困難な場合があった。一方、設置条件に合わせ、個々に補正パラメータを決定するようにした場合、異なる設置条件毎に補正パラメータを再算出することが必要になる。
このように、従来装置では、撮像機の設置条件が限定されたり、設置条件の変更に対して補正パラメータの再計算が必要になったりするため、ナンバープレート読み取り装置の設置位置の自由度が低く、また、設置に伴う作業負担が大きいという問題があった。

本発明は上記問題点に着目してなされたものであり、撮像手段の設置位置の自由度が高く、かつ、設置に伴う作業負担を軽減できるナンバープレート読み取り装置を提供することを目的とする。

このため、請求項１に係る発明は、車両を、当該車両の進行方向に対して斜めから撮像する撮像手段と、前記撮像手段が撮像した画像からナンバープレート領域を検出するナンバープレート検出手段と、前記ナンバープレート検出手段が検出したナンバープレート領域の幾何学的歪み補正を行う歪み補正手段と、前記歪み補正手段が幾何学的歪み補正を行ったナンバープレート領域の文字を認識する文字認識手段と、を含み、前記歪み補正手段が、補正対象の画像よりも遠方で撮像した画像のナンバープレート領域を基準画像として、幾何学的歪み補正を行うようにした。

係る構成では、撮像手段が、車両を、当該車両の進行方向に対して斜めから撮像するから、近くで撮像した画像は、解像度が高いものの幾何学的歪みが大きく、遠くで撮像した画像は、解像度が低いものの幾何学的歪みが小さいので、幾何学的歪みが小さいより遠方で撮像した画像を基準画像とし、より近くで撮像し幾何学的歪みが大きな画像の幾何学的歪みを補正する。

上記請求項１の構成において、請求項２のように、前記歪み補正手段が、前記領域検出手段が検出したナンバープレート領域のうちで車両毎に最も遠い位置での画像を基準画像とすることができる。
係る構成では、ナンバープレート領域を検出することができた最も遠い位置での画像を基準として、より近い位置で撮像し、より幾何学的歪みが大きな画像について、幾何学的歪みを補正する。

また、上記請求項１の構成において、請求項３のように、前記撮像手段から設定距離だけ離れた位置で車両を検知する車両検知手段を備え、前記歪み補正手段が、前記車両検知手段によって車両を検知したときに前記撮像手段が撮像した画像のナンバープレート領域を基準画像とすることができる。
係る構成では、撮像手段から一定の距離に車両が位置していることを車両検知手段が検知すると、そのときの画像を基準画像とし、車両がより近い状態で撮像した幾何学的歪みが大きな画像について、幾何学的歪みを補正する。

上記請求項１〜３のいずれか１つに記載の構成において、請求項４のように、前記歪み補正手段が、拡大しながら幾何学的な変換を行うことができる。
係る構成では、解像度が比較的低い基準画像を用いた幾何学的歪みの補正において、拡大しながら幾何学的な変換を行うことで、補正後の画像の解像度をナンバー認識に適したレベルとする。

上記請求項４の構成において、請求項５のように、前記歪み補正手段が、幾何学的歪み補正後のナンバープレート領域が一定以上の大きさになるように、前記基準画像の大きさに応じて拡大率を設定することができる。
係る構成では、基準画像の大きさ（解像度）が小さい場合には、拡大補正なしで得られる歪み補正後の画像の大きさ（解像度）が小さくなってしまうので、基準画像の大きさ（解像度）に応じて拡大率を設定することで、基準画像の大きさ（解像度）が異なっても、一定以上の大きさ（ナンバー認識に適した解像度）に拡大できるようにする。

上記請求項１〜５のいずれか１つに記載の構成において、請求項６のように、前記歪み補正手段が、幾何学的歪み補正を行った同一車両における複数のナンバープレート領域の画像から高解像度画像を生成し、前記文字認識手段が、前記高解像度画像から文字を認識するようにできる。
係る構成では、幾何学的歪み補正を施した複数の画像から対象画像の解像力を高める補正を行い、解像力を高めた高解像力画像（超解像度画像）について文字認識を行う。

本願発明に係るナンバープレート読み取り装置によれば、撮像手段が実際に撮像した画像を基準画像として用いて、幾何学的歪みの補正を行うので、撮像手段の設置位置に適合する補正パラメータを予め設定しておく必要がなく、また、設置位置の変更に伴って補正パラメータを再計算する必要がなく、撮像手段の設置位置の自由度を高め、かつ、設置に伴う作業負担を軽減できる。

本願発明に係るナンバープレート読み取り装置の第１実施形態を示すブロック図 上記第１実施形態のナンバープレート読み取り装置を適用する車両入退場管理システムを示す概略図 上記第１実施形態におけるナンバープレート領域画像の特性を説明するための図 上記第１実施形態における読み取り処理の手順を示すフローチャート 上記第１実施形態における複数のナンバープレート領域についての読み取り処理の手順を示すフローチャート 超解像処理を用いるナンバープレート読み取り装置の第２実施形態を示すブロック図 上記第２実施形態における読み取り処理の手順を示すフローチャート 上記第２実施形態における超解像処理の手順を示すフローチャート 上記第２実施形態における複数のナンバープレート領域についての読み取り処理の手順を示すフローチャート

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係るナンバープレート読み取り装置の実施形態を示すブロック図である。
ナンバープレート読み取り装置１００は、車両を撮像する撮像部（ビデオカメラ、撮像手段）１０１と、撮像部１０１が撮像した車両の画像からナンバープレート領域を検出するナンバープレート検出部（ナンバープレート検出手段）１０２と、該ナンバープレート検出部１０２におけるナンバープレート領域の検出に用いるナンバープレート検出用データを記憶するナンバープレート検出用データ記憶部１０３と、ナンバープレート検出部１０２が検出したナンバープレート領域の位置情報を記憶する位置情報記憶部１０４ａ及び撮像部１０１が撮像した画像を記憶する画像記憶部１０４ｂとを含む画像情報記憶部１０４と、ナンバープレート画像間における対応位置を算出するナンバープレート対応位置算出部１０５と、ナンバープレート領域の幾何学的歪みを補正する幾何学的歪み補正部（歪み補正手段）１０６と、ナンバープレート領域画像から文字を認識する文字認識部（文字認識手段）１０７と、該文字認識部１０７における文字認識に用いる文字認識用データを記憶する文字認識用データ記憶部１０８とを備える。

上記構成のナンバープレート読み取り装置１００は、例えば、図２に示すように、車両のナンバーを識別し、登録車両の入退場管理を行う車両入退場管理システムに用いる。
図２に示す車両入退場管理システムは、入場側の道路Ｌ１を走行してくる車両Ｖ１を撮像するための撮像部１０１ａと、退場側の道路Ｌ２を走行してくる車両Ｖ２を撮像するための撮像部１０１ｂとを備え、各撮像部１０１ａ，１０１ｂが撮像した画像は、ナンバープレート認識装置１２０に送られる。

ナンバープレート認識装置１２０は、図１に示したナンバープレート検出部１０２、ナンバープレート検出用データ記憶部１０３、画像情報記憶部１０４、ナンバープレート対応位置算出部１０５、幾何学的歪み補正部１０６、文字認識部１０７、文字認識用データ記憶部１０８を含んで構成される。
そして、ナンバープレート認識装置１２０は、各撮像部１０１ａ，１０１ｂが撮像した画像から認識した車両Ｖ１，Ｖ２のナンバーが、車両ナンバー管理サーバ１３０に予め登録されているか否かの情報（ゲート開閉指示信号）を、各道路Ｌ１，Ｌ２のゲート１４０ａ，１４０ｂを開閉するゲート制御装置１５０ａ，１５０ｂに送る。ゲート制御装置１５０ａ，１５０ｂは、例えば、予め登録されているナンバーの車両であった場合に、ゲート１４０ａ，１４０ｂを開いて入退場を許可する。

撮像部１０１ａ，１０１ｂは、相互に平行に延びる道路Ｌ１，Ｌ２の間に配置され、各撮像部１０１ａ，１０１ｂが、車両Ｖ１，Ｖ２の前面部Ｆを斜め前方から撮像するように、換言すれば、車両の進行方向に対して斜めから撮像するように、撮像方向Ｄ１，Ｄ２を設定してある。
尚、図２に示す実施形態では、撮像部１０１を車道Ｌの脇に設置し、撮像部１０１の撮像方向を水平方向に振って、車両Ｖ１，Ｖ２の前面部Ｆを斜め前方から撮像するようにしたが、例えば、車道Ｌを跨ぐゲートを設け、該ゲートの略中央に、車両Ｖ１，Ｖ２の前面部Ｆを上方から斜めに撮像するように、撮像部１０１をその撮像方向が斜め下方を向くように設置することもでき、撮像部１０１の設置位置は適宜変更できる。

図１に示したナンバープレート検出部１０２は、テンプレートマッチングや文献：「Paul Viola et al. Rapid Object Detection using a Boosted Cascade of Simple Features. Proc of IEEE CVPR,2001.」に開示される物体検出方法などによって、撮像部１０１が撮像した画像から車両のナンバープレートに相当する領域（画素）を検出する。
ナンバープレート検出部１０２がテンプレートマッチングによってナンバープレート領域を検出する場合、ナンバープレート検出用データ記憶部１０３にはナンバープレート領域のデンプレートを予め登録する。そして、ナンバープレート検出部１０２は、記憶部１０３に登録してあるテンプレート画像を、撮像部１０１が撮像した画像中から探索して、ナンバープレート領域を検出する。

また、ナンバープレート検出部１０２が、前記文献に開示される物体検出方法でナンバープレート領域を検出する場合、ナンバープレート検出用データ記憶部１０３には、予め算出したナンバープレート検出用パラメータを登録する。そして、ナンバープレート検出部１０２は、記憶部１０３に登録してあるパラメータを用いて、撮像部１０１が撮像した画像中からナンバープレート領域を検出する。
尚、ナンバープレート検出部１０２におけるナンバープレート領域の検出方法としては、前記テンプレートマッチング，物体検出方法の他、公知の種々の方法を適宜採用できる。

位置情報記憶部１０４ａは、ナンバープレート検出部１０２が検出したナンバープレート領域の位置情報を記憶し、画像記憶部１０４ｂは、撮像部１０１が撮像した画像のデータを記憶する。
そして、ナンバープレート対応位置算出部１０５は、画像情報記憶部１０４が記憶するナンバープレート領域の位置情報及び画像データに基づき、ナンバープレート画像間における対応位置を算出する。

対応位置の算出においては、ブロックマッチング法やLucas-Kanade法（Simon Baker et al. Lucas-Kanade 20 Years On: A Unifying Framework. International Journal of Computer Vision, Vol.56,No.3,2004.）などを利用し、ナンバープレート領域の特徴点（特異点）が一時的に隠れたりして途切れても、途切れた軌跡を延長し、特徴点の追跡（トラッキング）が行えるようにする。
また、ナンバープレート領域における特徴点（特異点）は、例えば、Harris，Stephens，Plesseyのコーナー検出アルゴリズムなどのコーナー検出法（特異点検出法）を用いて、ナンバープレート画像における数字の角などを特徴点（特異点）として検出し、この特徴点（特異点）をナンバープレート画像間における対応点とする。

幾何学的歪み補正部１０６は、ナンバープレート対応位置算出部１０５が算出した、ナンバープレート画像間における対応位置（特徴点）の情報に基づき、補正対象のナンバープレート領域の幾何学的歪みを補正する。
前述のように、撮像部１０１は、車両Ｖの前面部Ｆを斜め前方から撮像するので、本来長方形であるナンバープレート領域が、図３に示すように幾何学的に歪んで撮像され、この歪み（変形）は、撮像部１０１から車両Ｖまでの距離が近いほど大きく、車両Ｖまでの距離が遠くなるほど小さくなる。

ナンバープレート領域の画像が同じ解像度（画素数、大きさ）であれば、歪み（変形）が小さいほど文字の認識精度は高くなるが、遠い位置で撮像したナンバープレート領域は、解像度が低く（画素数・大きさが小さく）、文字認識に適さないことになってしまう。
そこで、幾何学的歪み補正部１０６は、歪みが大きな画像（近くで撮像した画像）を、歪みが小さい画像に変換する平面射影変換を行って、歪み（変形）が充分に小さい画像を生成する幾何学的歪み補正を実施し、該歪み補正後の画像から文字を認識させる。

ここで、平面射影変換においては、補正対象のナンバープレート画像よりも遠くで撮像され、補正対象のナンバープレート画像よりも幾何学的歪みが小さい画像を基本画像とし、補正対象画像を前記基本画像に貼り付けるような変換を行うことで、補正対象画像の歪みをより小さくする。
前記平面射影変換のパラメータは、３×３の行列で表され、基本画像と補正対象画像との間における４組以上の対応点から算出することができ、変換前の座標をｘ，ｙ、変換後の座標をｘ’，ｙ’とすると、数１で表される。

但し、基本画像は、補正対象画像よりも遠い位置で撮像した画像であって、解像度が低い（ナンバープレートの画像領域が小さい）から、そのままの変換パラメータを用いて変換すると、補正対象画像の幾何学的歪みは補正されるものの、補正対象画像の解像度よりも補正後の画像の解像度が低下し、補正対象画像の解像度が失われてしまう。

そこで、平面射影変換にスケーリング（拡大率）パラメータを導入して、平面射影変換によって解像度が失われることを抑制する。
スケーリング（拡大率）パラメータは、補正対象画像におけるナンバープレート領域の大きさ（幅方向・高さ方向の画素数）と、文字認識に用いたい任意のナンバープレート領域の大きさ（幅方向・高さ方向の画素数）とから算出することができる。例えば、基本画像におけるナンバープレート領域の幅が４０画素で表されていて、文字認識に用いたいナンバープレート領域の幅が２００画素である場合、幅方向のスケーリングパラメータは５となる。

前記スケーリングパラメータを導入した幾何学的歪み補正（平面射影変換）は、幅方向及び高さ方向のスケーリングパラメータをＳｘ，Ｓｙとしたときに、数２で表される。

尚、幅方向のスケーリングパラメータＳｘと、高さ方向のスケーリングパラメータＳｙとを、同じ値に設定してもよい。

ここで、補正対象画像よりも遠くで撮像され、幾何学的歪みが補正対象画像よりも小さい基本画像としては、車両毎に初めてナンバープレート領域を検出した画像、即ち、当該車両において、最も遠くでナンバープレート領域を検出した画像、換言すれば、ナンバープレート領域の移動の追跡（トラッキング）を開始した時点の画像とすることができる。
この場合、車両毎に初めてナンバープレート領域を検出すると、そのときのナンバープレート領域を基本画像として設定し、次回の画像から順次この基本画像に補正対象画像を貼り付けるように平面射影変換を行って、幾何学的歪みとして基本画像の歪みを有する補正画像を生成し、補正した画像について文字認識を行わせる。

尚、初めてナンバープレート領域を検出した画像を、基本画像の決定基準点とし、例えば、その時点から設定画像数後（設定フレーム数後）の画像を基本画像としてもよい。
また、図２に示すように、ナンバープレート領域の検出が安定的に可能な距離内であって、撮像部１０１からなるべく遠い位置に車両Ｖが位置していることを検出する車両検知センサ（車両検知手段）１６０を設け、この車両検知センサ１６０が車両Ｖを検知すると、そのときに撮像部１０１が撮像した画像からナンバープレート領域を検出し、これを基本画像として、その後に撮像した画像について、幾何学的歪みを補正する処理を施すことができる。

また、ナンバープレートの移動を追跡（トラッキング）している途中で、ナンバープレート領域の大きさ（解像度）が設定値になった画像を基本画像に設定し、その後に撮像した画像について、幾何学的歪みを補正する処理を施すことができる。
更に、補正対象画像から遡って基準画像を設定することも可能であり、遡る基準として、補正対象画像の解像度に対して所定割合（＜１００％）の解像度であったナンバープレート領域画像を基本画像として選択したり、補正対象画像との間において平面射影変換に必要な対応点を特定できた最も遠い位置でも画像を基準画像としたり、補正対象画像から設定画像（フレーム）数，設定時間，設定距離だけ遡った画像を基本画像とすることも可能である。

幾何学的歪み補正部１０６で幾何学的歪み補正を施したナンバープレート領域の画像は、文字認識部１０７に送られ、文字認識部１０７では、ナンバープレート領域の文字、即ち、車両ナンバーを読み取る。
文字認識部１０７は、例えば、デンプレートマッチングなどの方法によって、類似度が最も高いテンプレートの文字コードを算出する。この場合、文字認識用データ記憶部１０８には、文字認識用データとして、ナンバープレートに使用される文字のテンプレートとその文字コードが登録される。

図４は、上記ナンバープレート読み取り装置１００における読み取り処理の手順を示すフローチャートである。
まず、ステップＳ２０１では、撮像部１０１による撮像を行い、車両Ｖの前面部Ｆを斜め前方から撮像した画像を得る。

ステップＳ２０２では、トラッキング中のナンバープレート情報（処理中のナンバープレート情報）があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップＳ２０３へ進んで、今回撮像した画像中からナンバープレート領域の検出を行う。

ステップＳ２０４では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップＳ２０５へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップＳ２０２に戻ったときに、トラッキング中のナンバープレート情報があると判断し、ステップＳ２０６へ進むようになる。

ステップＳ２０６では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡し、ステップＳ２０７では、前記対応位置の情報と、基本画像の解像度（大きさ）の情報とから、平面射影変換におけるパラメータ（スケーリングパラメータを含む）を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理（平面射影変換）を実行する。
そして、次のステップＳ２０８では、幾何学的歪み補正を施したナンバープレート領域の画像について、文字を認識する処理を行って、車両ナンバーを読み取る。

図２に示す車両入退場管理システムにおいては、読み取った車両ナンバーと予め登録されているナンバーと照合し、照合結果に基づきゲート開閉を制御する。
上記実施形態のナンバープレート読み取り装置１００によると、補正対象画像よりも遠い位置で撮像した、より幾何学的歪みが小さい画像を基準画像とし、この基準画像と補正対象画像との対応位置情報に基づき、補正対象画像を基準画像側に貼り付けるような変換を行って、ナンバープレート領域の幾何学的歪みを補正する。

従って、予め撮像部１０１の設置位置を特定して、補正パラメータを算出しておく必要がないため、撮像部１０１の設置位置の自由度を高くでき、また、補正パラメータの適合負担を軽減できる。
また、撮像部１０１から離れた位置で撮像した画像は、撮像部１０１から離れるほど幾何学的歪みは小さくなるが解像度は低くなってしまうため、係る画像を基準画像として幾何学的歪みを補正した場合、補正後の画像の解像度が低くなり、歪みはより小さく補正できても解像度の低下によって文字の認識率が低下してしまう。これに対し、本実施形態では、幾何学的歪み補正（平面射影変換）において、スケーリング（拡大率）パラメータを導入することで、文字認識に適した解像度でかつ幾何学的歪みが小さく補正された画像を得ることができ、文字の認識率を維持できる。

尚、車両Ｖの後面部を斜め後方から撮像し、車両Ｖの後面部に取り付けられたナンバープレートを読み取る構成において、幾何学的歪みを補正する補正対象画像よりも、離れた位置で撮像した画像（時間的に後で撮像した画像）を基準画像とし、幾何学的歪み補正を実施させることができる。この場合、基準画像を後から取得することになり、基準画像を特定した後で、先に撮像した画像について遡って幾何学的歪み補正を実施することになる。
また、撮像部１０１の撮像領域内に複数の車両Ｖが存在し、複数のナンバープレート領域を検出した場合には、ナンバープレート毎に個別にトラッキングし、それぞれに補正対象画像よりも遠い位置で撮像した画像を基本画像として、幾何学的歪み補正を行わせ、補正後の画像からナンバーを読み取るようにすることができる。

図５のフローチャートは、撮像領域内で複数のナンバープレート領域を検出して、それぞれのナンバープレート領域についてナンバー読み取りを行う場合の処理手順を示す。
まず、ステップＳ３０１では、撮像部１０１による撮像を行い、車両Ｖの前面部Ｆを斜め前方から撮像した画像を得る。
ステップＳ３０２では、トラッキング中のナンバープレート情報があるか否かを判断する。

そして、トラッキング中のナンバープレート情報がない場合には、ステップＳ３０３へ進んで、撮像した画像中からナンバープレート領域の検出を行う。
ステップＳ３０４では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップＳ３０５へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。

これにより、ステップＳ３０２に戻ったときに、トラッキング中のナンバープレート情報があると判断するようになる。
ステップＳ３０２でトラッキング中のナンバープレート情報があると判断した場合、ステップＳ３０６〜ステップＳ３０９の処理（ナンバー読み取り処理）と、ステップＳ３１１〜ステップＳ３１４の処理（新たなナンバープレート領域の探索）とを並行して実施する。

ステップＳ３０６では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡し、ステップＳ３０７では、前記対応位置の情報と、基本画像の解像度（大きさ）の情報とから、平面射影変換におけるパラメータ（スケーリングパラメータを含む）を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理（平面射影変換）を実行する。
そして、次のステップＳ３０８では、幾何学的歪み補正を施したナンバープレート領域について、文字認識を行って車両ナンバーを読み取る。

ステップＳ３０９では、トラッキング中のナンバープレート領域全てについて、幾何学的歪み補正を施して文字認識を行ったか否かを判断し、トラッキング中のナンバープレート領域が複数存在し、幾何学的歪み補正・文字認識を行っていないナンバープレート領域がある場合（別の車両のナンバープレートが撮像部１０１の撮像領域内に存在する場合）には、ステップＳ３０６に戻って、処理済みでないナンバープレート領域について、対応位置の算出・幾何学的歪みの補正・文字認識の処理を実施する。
そして、ステップＳ３０９で、幾何学的歪み補正・文字認識を行っていないナンバープレート領域がないと判断した場合、換言すれば、トラッキング中のナンバープレート領域の全てについて幾何学的歪み補正・文字認識を行った場合には、ステップＳ３０１に戻る。

また、ステップＳ３１１では、撮像画像中からナンバープレート領域を検出し、ステップＳ３１２では、ナンバープレート領域を検出したか否かを判別し、ナンバープレート領域を検出した場合、ステップＳ３１３へ進む。
ステップＳ３１３では、トラッキング中のナンバープレート領域とは別のナンバープレート領域を検出したか否かを判別し、新たに別のナンバープレート領域を検出した場合には、ステップＳ３１４へ進み、そのナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域について個別にトラッキングを開始させる。
上記の処理によって、撮像部１０１が複数のナンバープレートを撮像している場合には、ナンバープレート領域毎にトラッキングして、それぞれのナンバープレートの文字（車両ナンバー）を読み取ることができる。

ところで、上記実施形態のように、解像度を保ったまま幾何学的歪みを補正することで、車両ナンバーの認識率を向上させることができるが、更に、認識率を向上させる処理として、超解像処理を併用することができる。
超解像処理とは、複数の入力画像からより解像力の高い高解像力画像（超解像度画像）を再構成する画像処理技術であり、本実施形態の場合、幾何学的歪みを補正した画像を時系列的に複数生成するので、これらの歪み補正済みの複数の画像から、より解像力の高い画像を生成し、この超解像度画像から文字を認識させるようにすれば、文字の認識率を更に向上させることが可能である。

尚、超解像処理としては、公知の種々の方法を用いることができ、例えば、特開２００８−１０９３７５号公報に開示される、複数の入力画像間の位置ずれ情報と、複数の入力画像とに基づき、未定義画素を含む平均画像及び重み画像を生成し、平均画像に含まれている未定義画素の画素値を推定することによって、超解像度画像を生成する方法の他、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection On to Convex Sets）法などの方法を、適宜採用することができる。

図６は、超解像処理を実施するナンバープレート読み取り装置１００の構成を示すブロック図である。尚、図６のブロック図において、図１と同一要素には同一符号を付してある。
図６において、ナンバープレート読み取り装置１００は、車両を撮像する撮像部（ビデオカメラ、撮像手段）１０１と、撮像部１０１が撮像した画像からナンバープレート領域を検出するナンバープレート検出部（ナンバープレート検出手段）１０２と、該ナンバープレート検出部１０２におけるナンバープレート領域の検出に用いるナンバープレート検出用データを記憶するナンバープレート検出用データ記憶部１０３と、画像情報記憶部１０４と、ナンバープレート画像間の対応位置を算出するナンバープレート対応位置算出部１０５と、ナンバープレート領域の幾何学的歪みを補正する幾何学的歪み補正部（歪み補正手段）１０６と、ナンバープレート領域の文字を認識する文字認識部（文字認識手段）１０７と、該文字認識部１０７における文字認識に用いる文字認識用データを記憶する文字認識用データ記憶部１０８と、幾何学的歪みが補正された複数の画像から、超解像度画像を生成する超解像処理部１０９とを備える。

画像情報記憶部１０４は、ナンバープレート検出部１０２が検出したナンバープレート領域の位置情報を記憶する位置情報記憶部１０４ａと、撮像部１０１が撮像した画像を記憶する画像記憶部１０４ｂと、幾何学的歪み補正部１０６が幾何学的歪みを補正した画像を記憶する歪み補正画像記憶部１０４ｄとを備える。
そして、超解像処理部１０９は、歪み補正画像記憶部１０４ｄが記憶する複数の歪み補正済みの画像から、歪み補正済みの画像よりも解像力の高い超解像度画像を生成し、文字認識部１０７は、超解像処理部１０９が生成した超解像度画像から文字を認識する。

図７のフローチャートは、超解像処理を実施するナンバープレート読み取り装置１００における読み取り処理の手順を示すフローチャートである。
まず、ステップＳ４０１では、撮像部１０１による撮像を行い、車両Ｖの前面部Ｆを斜め前方から撮像した画像を得るようにする。

ステップＳ４０２では、トラッキング中のナンバープレート情報があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップＳ４０３へ進んで、撮像画像中からナンバープレート領域の検出を行う。

ステップＳ４０４では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップＳ４０５へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップＳ４０２に戻ったときに、トラッキング中のナンバープレート情報があると判断し、ステップＳ４０６へ進むようになる。

ステップＳ４０６では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡する。
ステップＳ４０７では、前記対応位置の情報と、基本画像の解像度（大きさ）の情報とから、平面射影変換におけるパラメータ（スケーリングパラメータを含む）を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理（平面射影変換）を実行する。

ステップＳ４０８では、幾何学的歪みを補正した画像を記憶する。
そして、ステップＳ４０９では、それまでに歪み補正を施した複数のナンバープレート領域画像から、より解像力の高い超解像度画像を生成する超解像処理を実施する。
図８のフローチャートは、ステップＳ４０９における超解像処理の手順を示す。
まず、ステップＳ６０１では、歪み補正を施した複数のナンバープレート領域画像から、平均画像及び重み画像を生成する。次いで、ステップＳ６０２では、ＭＡＰ（Maximum A Posterior）法に基づき、超解像度画像を生成する。

ステップＳ４１０では、ステップＳ４０９で生成した超解像度画像を参照して、文字を認識し、車両ナンバーを読み取る。
前述の超解像処理は、複数のナンバープレート領域を並行して追跡する場合にも適用でき、その場合の読み取り処理の手順を、図９のフローチャートに従って説明する。

まず、ステップＳ５０１では、撮像部１０１による撮像を行い、車両Ｖの前面部Ｆを斜め前方から撮像した画像を得るようにする。
ステップＳ５０２では、トラッキング中のナンバープレート情報があるか否かを判断する。
そして、トラッキング中のナンバープレート情報がない場合には、ステップＳ５０３へ進んで、撮像画像からナンバープレート領域の検出を行う。

ステップＳ５０４では、ナンバープレート領域を検出したか否かを判断し、ナンバープレート領域を検出した場合には、ステップＳ５０５へ進み、検出したナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域のトラッキングを開始させる。
これにより、ステップＳ５０２に戻ったときに、トラッキング中のナンバープレート情報があると判断するようになる。

ステップＳ５０２でトラッキング中のナンバープレート情報があると判断した場合、ステップＳ５０６〜ステップＳ５１２の処理（ナンバー読み取り処理）と、ステップＳ５２１〜ステップＳ５２４の処理（新たなナンバープレート領域の探索）とを並行して実施する。
ステップＳ５０６では、ナンバープレート領域画像間の対応位置を算出して、ナンバープレート領域中の特徴点の動きを追跡する。

ステップＳ５０７では、前記対応位置の情報と、基本画像の解像度（大きさ）の情報とから、平面射影変換におけるパラメータ（スケーリングパラメータを含む）を算出して、補正対象のナンバープレート領域画像について幾何学的歪みを補正する処理（平面射影変換）を実行する。
ステップＳ５０８では、幾何学的歪みを補正した画像を記憶する。
そして、ステップＳ５０９では、それまでに歪み補正を施した複数のナンバープレート領域画像から、より解像力の高い超解像度画像を生成する。係る超解像処理は、既述した図８のフローチャートに示す手順で行われる。

ステップＳ５１０では、ステップＳ５０９で生成した超解像度画像を参照して、文字を認識し、車両ナンバーを読み取る。
ステップＳ５１１では、トラッキング中のナンバープレート領域全てについて、超解像度画像の生成を行って文字認識を行ったか否かを判断し、トラッキング中のナンバープレート領域が複数存在し、超解像度画像を生成しての文字認識を行っていないナンバープレート領域がある場合（別の車両のナンバープレートが撮像部１０１の撮像領域内に存在する場合）には、ステップＳ５０６に戻って、処理済みでないナンバープレート領域について、対応位置の算出・幾何学的歪みの補正・超解像処理・文字認識の処理を実施する。

そして、ステップＳ５１１で、超解像度画像を生成しての文字認識を行っていないナンバープレート領域がないと判断した場合、換言すれば、トラッキング中のナンバープレート領域の全てについて超解像度画像を生成して文字認識を行った場合には、ステップＳ５０１に戻る。
また、ステップＳ５２１では、ナンバープレート領域を検出し、ステップＳ５２２では、ナンバープレート領域を検出したか否かを判別し、ナンバープレート領域を検出した場合、ステップＳ５２３へ進む。

ステップＳ５２３では、トラッキング中のナンバープレート領域とは別のナンバープレート領域を検出したか否かを判別し、新たに別のナンバープレート領域を検出した場合には、ステップＳ５２４へ進み、そのナンバープレート領域の位置情報を記憶し、当該ナンバープレート領域について個別にトラッキングを開始させる。
上記の処理によって、撮像部１０１が複数のナンバープレートを撮像している場合には、ナンバープレート領域毎にトラッキングして、それぞれのナンバープレートの文字（車両ナンバー）を、超解像処理を施した画像から読み取ることができる。

以上、好ましい実施例を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の変形態様を採り得ることは自明である。
例えば、車両検知センサ１６０を備える場合に、地下駐車場などの暗い環境の場合や夜間での撮影用の照明を、車両検知センサ１６０が車両を検知したときに点灯させ、点灯に伴って撮像部１０１による撮像を開始させるようにし、ゲート通過（ゲート開閉）に伴って撮影用の照明を消灯させることができる。
また、図２に示した構成では、撮像部１０１とナンバープレート認識装置１２０とを別体としたが、一体化して設置させることができ、これによって、コンパクトなシステムを実現できる。

１００ ナンバープレート読み取り装置
１０１ 撮像部（撮像手段）
１０２ ナンバープレート検出部（ナンバープレート検出手段）
１０３ ナンバープレート検出用データ記憶部
１０４ 画像情報記憶部
１０５ ナンバープレート対応位置算出部
１０６ 幾何学的歪み補正部（歪み補正手段）
１０７ 文字認識部（文字認識手段）
１０８ 文字認識用データ記憶部
１０９ 超解像処理部

Claims (6)

1. 車両を、当該車両の進行方向に対して斜めから撮像する撮像手段と、
   前記撮像手段が撮像した画像からナンバープレート領域を検出するナンバープレート検出手段と、
   前記ナンバープレート検出手段が検出したナンバープレート領域の幾何学的歪み補正を行う歪み補正手段と、
   前記歪み補正手段が幾何学的歪み補正を行ったナンバープレート領域の文字を認識する文字認識手段と、を含み、
   前記歪み補正手段が、補正対象の画像よりも遠方で撮像した画像のナンバープレート領域を基準画像として、幾何学的歪み補正を行うナンバープレート読み取り装置。
2. 前記歪み補正手段が、前記領域検出手段が検出したナンバープレート領域のうちで車両毎に最も遠い位置での画像を基準画像とする請求項１記載のナンバープレート読み取り装置。
3. 前記撮像手段から設定距離だけ離れた位置で車両を検知する車両検知手段を備え、
   前記歪み補正手段が、前記車両検知手段によって車両を検知したときに前記撮像手段が撮像した画像のナンバープレート領域を基準画像とする請求項１記載のナンバープレート読み取り装置。
4. 前記歪み補正手段が、拡大しながら幾何学的な変換を行う請求項１〜３のいずれか１つに記載のナンバープレート読み取り装置。
5. 前記歪み補正手段が、幾何学的歪み補正後のナンバープレート領域が一定以上の大きさになるように、前記基準画像の大きさに応じて拡大率を設定する請求項４記載のナンバープレート読み取り装置。
6. 前記歪み補正手段が、幾何学的歪み補正を行った同一車両における複数のナンバープレート領域の画像から高解像度画像を生成し、前記文字認識手段が、前記高解像度画像から文字を認識する請求項１〜５のいずれか１つに記載のナンバープレート読み取り装置。

Images