JP3638028B2

JP3638028B2 - Vehicle number recognition device

Info

Publication number: JP3638028B2
Application number: JP19641394A
Authority: JP
Inventors: 慎也湯淺; 知治加賀谷; 裕加藤; 裕司吉光
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1994-08-22
Filing date: 1994-08-22
Publication date: 2005-04-13
Anticipated expiration: 2020-04-13
Also published as: JPH0863549A

Description

【０００１】
【産業上の利用分野】
この発明は、車両のナンバープレートを読取り、ナンバーを認識する車両ナンバー認識装置に関する。
【０００２】
【従来の技術】
一般に、車両ナンバー認識装置は車線上方から車両前部のナンバープレートをカメラ等で撮像し、得られたナンバープレートの画像から文字部分を切り出し、文字認識を行っている。この種の車両ナンバー認識装置では、ナンバープレート文字切り出しを行うのに、従来、図１２に示すように、画像を水平及び垂直方向に投影することで行っている。
【０００３】
【発明が解決しようとする課題】
車両のナンバープレートの取付け位置によって、文字にバンパーの影がかかる場合や、プレート枠と上段文字との間隔が狭くなる場合が生じることがある。影の生じた例を図１３、図１４に示す。このような影の生じた画像に対し、水平方向及び垂直方向に投影すると、図１３のように文字間がつながってしまい、文字の検出ができない、という問題がある。
【０００４】
この発明は、上記問題点に着目してなされたものであって、プレート内のベース面（文字以外の部分）の濃度を安定化することで影の影響を受けず、文字切り出しの容易な車両ナンバー認識装置を提供することを目的としている。
【０００５】
【課題を解決するための手段及び作用】
この出願の特許請求の範囲の請求項１に係る車両ナンバー認識装置は、車両のナンバープレートを撮像する撮像手段と、撮像された画像の予め定められた文字エリアに対して、１あるいは複数の画素ライン毎に、前記文字エリア外の近傍の画素に基準画素を決定する手段と、この基準画素の濃度を基準にして前記１あるいは複数の画素ライン毎に、各画素濃度を基準画素濃度との差の絶対値に変換する手段と、前記文字エリアについて、前記変換された画素濃度により、濃度ヒストグラムを作成する手段と、作成されたヒストグラムから二値化しきい値を決定する手段と、決定されたしきい値により画像データを二値化する手段と、この二値化データから文字部を切り出す手段とを備えている。
【０００６】
また、請求項２に係る車両ナンバー認識装置は、車両のナンバープレートを撮像する撮像手段と、撮像された画像の予め定められた文字エリアに対して、１あるいは複数の画素ライン毎内で、最も濃度の低い画素、あるいは最も濃度の高い画素に基準画素を決定する手段と、この基準画素の濃度を基準にして前記１あるいは複数の画素ライン毎に、各画素濃度を基準画素濃度との差の絶対値に変換する手段と、前記文字エリアについて、前記変換された画素濃度により、濃度ヒストグラムを作成する手段と、作成されたヒストグラムから二値化しきい値を決定する手段と、決定されたしきい値により画像データを二値化する手段と、この二値化データから文字部を切り出す手段とを備えている。
【０００７】
これら請求項１及び請求項２に係る車両ナンバー認識装置では、車両の例えば前部のナンバープレートが撮像手段で撮像され、撮像された画像の予め定められた文字エリアに対して、１あるいは複数の画素ライン毎に、文字エリア外の近傍の画素（請求項１）、又は１あるいは複数の画素ライン毎内で、最も濃度の低い画素、あるいは最も濃度の高い画素（請求項２）に基準画素が設定され、この基準画素の濃度（ベース面の濃度）を基準にして前記１あるいは複数の画素ライン毎に、各画素濃度を基準画素濃度との差の絶対値に変換して濃度ヒストグラムを作成し、二値化しきい値を決定するものであるから、プレートの一部に影ができても、その影のできた部分は、その部分のベース面の濃度を基準として、他の各画素の濃度変換がなされるので、影の影響を受けることなく、二値化、文字切り出しができる。
【０００８】
【実施例】
以下、実施例により、この発明をさらに詳細に説明する。
【０００９】
図１は、この発明の一実施例を示す車両ナンバープレート認識装置のハード構成を示すブロック図である。この車両ナンバープレート認識装置は、カメラ１と、Ａ／Ｄ変換器２と、画像メモリ３と、イメージプロセッサ４と、ローカルメモリ５と、ホストＣＰＵ６と、ローカルメモリ７と、ＯＵＴＰＵＴブロック８と、画像データバス９と、ＣＰＵバス１０とを備えている。
【００１０】
カメラ１は、走行車両前面を撮像し、画像情報をビデオ信号として出力する。Ａ／Ｄ変換器２は、カメラ１より出力されたビデオ信号をデジタル信号に変換する。画像メモリ３は、Ａ／Ｄ変換器２によって変換されたデジタル信号を、画像データバス９を介して記憶する。イメージプロセッサ４は画像メモリ３上のデータを高速演算処理する。
【００１１】
ローカルメモリ５は、イメージプロセッサ４の処理過程及び処理結果を記憶保持する。ホストＣＰＵ６は、カメラ１、Ａ／Ｄ変換器２、画像メモリ３及びイメージプロセッサ４の動作を制御する。ローカルメモリ７は、ホストＣＰＵ６の処理過程及び処理結果を記憶保持する。ＯＵＴＰＵＴブロック８は、最終結果を出力する。画像データバス９は、画像データの経路、ＣＰＵバス１０は制御信号及び処理データの経路である。
【００１２】
ナンバープレート認識装置のカメラ１は、図２に示すように、車線１６の上方に、架柱１２に設置され、走行して来る車両１３の前面ナンバープレート１４を読取る。１１はカメラ１以外の各ブロックが収納されるナンバープレート認識装置の本体部である。なお、１５ａ、１５ｂは照明灯である。
図３は、実施例車両ナンバープレート認識装置を機能構成で示したブロック図であり、カメラ２１とＡ／Ｄ変換器２２と、画像メモリ２３と、プレート位置検出部２４と、文字切り出し認識部２５と、出力部２６とから構成されている。
【００１３】
この実施例車両ナンバープレート認識装置において、カメラ２１で車両１３の前面部のナンバープレート１４が撮像され、その画像がＡ／Ｄ変換器２２でデジタル信号に変換され、このデジタル信号が画像メモリ２３に記憶されるとともに、プレート位置検出部２４で画像中のプレート位置を検出し、文字切り出し認識部２５で二値化変換が行われるとともに、ナンバープレートの文字切り出しが行われる。
【００１４】
二値化前の文字エリアでは、例えば小文字エリアの場合、ナンバープレートに影が生じていない場合に、ベース部分と文字部の輝度は垂直方向と水平方向の各投影を取ると図１２に示すものとなり、この場合には濃度（輝度）差より小文字エリアＳＥが切り出しできる。しかし、図１３に示すように、ナンバープレートの一部に影が生じていると、垂直方向投影、水平方向投影ともベース部分と文字部分の区分けが明確でなく、小文字エリアＳＥの切り出しが出来ない。この場合は、図６に示すように、影内では文字部、ベース面とも全体的に暗い方に分布が移動し、影外ではそれが全体的に明るい方に分布しており、影内と影外を比較した場合、影外の文字部分イが影内の文字部とベース面に重複し、同じしきい値では二値化が困難である。
【００１５】
そのため、この実施例では、切り出しエリアＳＥ外の近傍に、各水平ライン毎に基準画素を設け、二値化する前の各画素の濃度から基準画素の濃度の差を求め、その絶対値を各画素の画像データとする変換を行うようにしている。
図４、図５において、Ｐ₁、Ｐ₂は切り出し対象エリアＳＥを特定するための画素であり、この切り出し対象エリアＳＥ外の近傍に、水平方向の各画素ライン毎に基準画素Ａ、Ｂ、Ｃ、…を設定している。この基準画素Ａ、Ｂ、Ｃ、…は、文字エリアではなく、ベース面の画素である。データ変換は、第１列の画素ラインについては、第１番目の画素ａ₁の濃度から基準画素Ａの濃度の差ａ₁−Ａを求め、その絶対値を画素ａ₁の新たな濃度とし、第２番目の画素ａ₂の濃度から基準画素Ａの濃度の差ａ₂−Ａを求め、その絶対値を画素ａ₂の新たな濃度と、以下、第１列の各画素ａ₃、ａ₄、…についても同様に差の絶対値を求める。そして、各差の絶対値を図５に示すように、各画素ａ₁、ａ₂、ａ₃…の新たな画像データ、つまり変換画素濃度としている。
【００１６】
第２列目の画素ラインについては、各画素の濃度から基準画素Ｂの濃度の差を求め、その絶対値を各画素の新たな画像データとする。第３列目、第４列目、…についても同様である。
以上のような、各画素の濃度から基準画素の濃度の差の絶対値のヒストグラムは、図７に示す通りとなり、影内と影外で文字部とベース面が重なり合うところがなく、ロの範囲のいずれかにしきい値を設定すれば、文字とベース面の二値化が可能である。
【００１７】
この変換画像データにより、小文字エリアＳＥの水平方向投影及び垂直方向投影を取ると、図１２と同様、ベース部分と文字部分が明確に区別できるものとなる。
上記実施例において、基準画素は、各画素ライン毎に設けているが、複数の画素ラインに１個の基準画素を設けてもよい。
【００１８】
次に、基準画素の決定の他の例について説明する。
図８に示すように、小文字エリアＳＥを垂直方向の分割ラインにより、横方向に３つの領域ＳＥ₁、ＳＥ₂、ＳＥ₃に分割する。各領域毎に、各画素ライン毎に基準画素Ａ、Ｂ、Ｃ…を設定する。この基準画素Ａ、Ｂ、Ｃ…は、ナンバープレートのベース面が文字部より濃度が低い場合は、各画素ライン毎に最も濃度の低い画素を抽出し、その画素を基準画素とする。ベース面の濃度が文字部の濃度より高い場合には、逆に最も濃度の高い画素を抽出し、その画素を基準画素とする。したがって、この場合の設定画素Ａ、Ｂ、Ｃ…の位置は図９に示すように各画素ライン毎に区々となる。
【００１９】
各画素の影の有無による影響を受けないための変換画像データは、第１列目の第１番目の画素ａ₁については、画素ａ₁の濃度と基準画素Ａの濃度の差を算出し、その絶対値を画素ａ₁の新たな画素データとする。以下、画素ａ₂、ａ₃、…についても同様であり、第２列目、第３列目、…についても同様である（図１０参照）。すなわち、各画素の濃度と、その列における基準画素の濃度との差を算出し、その絶対値をその画素の変換データとする。
【００２０】
この場合の変換後の画像データの濃度ヒストグラムは、図７と同様となり、影内ではベース面と文字部の分布が接近し、影外の場合は離れるが、差の絶対値としているので、ベース面の分布位置が影内と影外では変わらず、影内あるいは影外の一方の文字部分分布が他方のベース面に重さなることがなく、やはりしきい値をロの幅内に設定すれば二値化、及び文字エリアの切り出しが可能である。
【００２１】
なお、分割領域の個数は３に限らず、他の適宜な数に分割できるし、基準画素も各画素ラインに１個ではなく、複数ラインに１個であってもよい。
このように複数の領域に横方向に分割して基準画素を設定すると、影部と非影部の境界が水平な直線でなく、曲線を描いている場合や、ナンバープレートの上部の左あるいは右の一部に影ができている場合に有効である。
【００２２】
上記実施例車両ナンバープレート認識装置では、上記の手法により文字部の切り出しを行う。つまり、図１１のフロー図に示すように図４、図５あるいは図８、…、図１０で説明したようにして、基準画素を決定し（ステップＳＴ１）、元画素と基準画素の濃度差を求め、元画素の濃度と置き換えて新たな画素とし（ステップＳＴ２）、二値化を行い（ステップＳＴ３）、文字部分領域を切り出す（ステップＳＴ４）。
【００２３】
次に、二値化、文字エリアの切り出しのための他のしきい値決定例について説明する。先ず、図１６に示すようにナンバープレート画像を水平方向に分割して、縦方向にｎ画素分ずつｍブロックとし、各ブロック毎のしきい値を決定する。ここでは、二値化しきい値を求める方法としてラプラシアンヒストグラム法を用いている。このラプラシアンヒストグラム法は、ラプラシアンの値がプラスとなる画素とマイナスとある画素に分類し、プラスとマイナスに分類されたそれぞれについて、あるしきい値（ａ、ｂ）を越えた画素についてヒストグラムを作成し、例えば、それらの重心の中央値を二値化しきい値とする方法である。
【００２４】
図１７の波形を用いて具体的に説明すると、図１７の（Ａ）の背景（ベース面）と文字の画像データにラプラシアン変換を行うと、図１７の（Ｂ）に示すように、元画素データを２次微分した波形となり、このラプラシアン値がしきい値ａ、ｂを越えている場合、つまり元の画像データの濃度が変化する点で、この画素の濃度を図１９の（Ｂ）に示すように、ヒストグラムに取り背景部と文字部の重心の中心値をしきい値と決定する。
【００２５】
しかし、従来のラプラシアンヒストグラム法では、対象エリア内の文字でエッジ部分が少ない場合、ヒストグラムに採用される画素が少なくなり、重心の値がノイズの輝度の影響を受けやすくなるため二値化しきい値が非常に不安定になってしまう。
そのため、ここでは、図１８に示すように、ラプラシアンの値がプラスとプラス（共にしきい値ａを越えたもの）、例えばＰ₇とＰ₉に挟まれた画素Ｐ₈もプラスのヒストグラムの対象とし、同様にラプラシアンの値がマイナスとマイナス（共にしきい値ｂを越えたもの）、例えばＰ₂とＰ₆に挟まれた画素Ｐ₃からＰ₅もマイナスのヒストグラムの対象とし、図１９の（Ａ）に示すように、ヒストグラムの対象となる画素を増やしている。このヒストグラムの対象となる画素の増加により、ノイズの影響を緩和し、安定化した二値化しきい値を得ることができる。これをフロー図で示すと、図２０となる。
【００２６】
なお、このラプラシアンヒストグラム法を用いて二値化しきい値を決定する方法は、ナンバープレートの画像データの二値化に適用する場合を想定しているが、この方法は図２１に示すように、ラインセンサ３１で検出された検出データをＡ／Ｄ変換器３２でデジタル信号に変換し、さらにこのデジタル信号をモジュール３３で二値化する二値化装置にも適用できる。また、画像処理装置において、メモリに記憶されている画像データ等の多値データを二値化する場合にも適用できる。
【００２７】
【発明の効果】
請求項１及び請求項２に係る発明によれば、撮像された画像の予め定められた文字エリアに対して、１あるいは複数の画素ライン毎に、文字エリア外の近傍の画素（請求項１）、又は１あるいは複数の画素ライン毎内で、最も濃度の低い画素、あるいは最も濃度の高い画素（請求項２）に基準画素を決定し、この基準画素の濃度を基準にして前記１あるいは複数の画素ライン毎に、各画素濃度を基準画素濃度との差の絶対値に変換し、濃度変換されたデータで二値化変換を行うものであるから、プレートの一部に影が生じ、場合によりベース面の濃度が相違しても、その影の影響を受けることなく、安定な二値化、文字切り出しを行うことができる。
【図面の簡単な説明】
【図１】この発明が実施される車両ナンバー認識装置のハード構成を示すブロック図である。
【図２】同車両ナンバー認識装置の設置状態を説明する斜視図である。
【図３】同車両ナンバー認識装置の機能構成を示すブロック図である。
【図４】同車両ナンバー認識装置における基準画素の決定を説明する図である。
【図５】同車両ナンバー認識装置における各画素の濃度変換を説明するための図である。
【図６】カメラによって撮像された画像の各画素の濃度ヒストグラムを影の内と影の外に分けて示したものである。
【図７】各画素の濃度と基準画素の濃度との差の絶対値を求め、新たな濃度としてヒストグラムを影内と影外に分けて示したものである。
【図８】文字エリアの横方向への分割を説明する図である。
【図９】図８において分割された各ブロックにおける基準画素の決定を説明する図である。
【図１０】決定された基準画素に基づいて各画素の濃度変換を説明する図である。
【図１１】実施例車両ナンバー認識装置における文字切り出しの全体動作を説明するためのフロー図である。
【図１２】ナンバープレートの垂直方向及び水平方向の濃度投影による文字切り出しを説明する図である。
【図１３】ナンバープレートの一部に影が生じた場合の垂直方向及び水平方向の濃度投影を示す図である。
【図１４】ナンバープレートの上部に影が生じた場合を示す図である。
【図１５】図１４の如き、影が生じた場合に、影内、影外で同じしきい値で二値化した場合の画像例である。
【図１６】得られたプレート画像を複数ブロックに分割して、ラプラシアンヒストグラムを作成する場合の分割の説明図である。
【図１７】背景と文字の両部分を有する画像データに、一般的なラプラシアンを適用した場合の説明図である。
【図１８】背景と文字の両部分を有する画像データに、ラプラシアン適用のこの発明の実施例を説明する図である。
【図１９】図１７と図１８のラプラシアン適用によるヒストグラム例を示す図である。
【図２０】ラプラシアン値による二値化しきい値決定の概略動作を説明するフロー図である。
【図２１】この発明の他の実施例である二値化装置の構成を示すブロック図である。
【符号の説明】
ＳＥ文字エリア
Ａ、Ｂ、Ｃ、… 基準画素
ａ₁、ａ₂、ａ₃、… 二値化する各画素[0001]
[Industrial application fields]
The present invention relates to a vehicle number recognition device that reads a license plate of a vehicle and recognizes the number.
[0002]
[Prior art]
In general, a vehicle number recognition device captures a license plate from the upper part of a lane with a camera or the like, cuts out a character portion from the obtained license plate image, and performs character recognition. In this type of vehicle number recognizing device, license plate characters are cut out by projecting images in the horizontal and vertical directions as shown in FIG.
[0003]
[Problems to be solved by the invention]
Depending on the mounting position of the license plate of the vehicle, there may be a case where a shadow of the bumper is applied to the character, or a distance between the plate frame and the upper character is narrowed. Examples of shadows are shown in FIGS. When such a shadowed image is projected in the horizontal direction and the vertical direction, there is a problem that the characters are connected as shown in FIG. 13 and the characters cannot be detected.
[0004]
The present invention has been made paying attention to the above-mentioned problems, and is a vehicle that is easy to cut out characters without being affected by shadows by stabilizing the density of the base surface (portion other than characters) in the plate. The object is to provide a number recognition device.
[0005]
[Means and Actions for Solving the Problems]
A vehicle number recognition apparatus according to claim 1 of the present application is directed to an image pickup means for picking up a license plate of a vehicle, and one or a plurality of pixels for a predetermined character area of the picked-up image. Means for determining a reference pixel for neighboring pixels outside the character area for each line , and a difference between each pixel density and the reference pixel density for each of the one or more pixel lines based on the density of the reference pixel Means for converting the absolute value of the character area, means for creating a density histogram for the character area based on the converted pixel density, and means for determining a binarization threshold value from the created histogram. Means for binarizing the image data with the threshold value and means for cutting out the character portion from the binarized data are provided.
[0006]
According to a second aspect of the present invention, there is provided a vehicle number recognizing device that is most capable of imaging a license plate of a vehicle and a predetermined character area of the captured image within one or more pixel lines. Means for determining a reference pixel for a pixel having a low density or a pixel having the highest density, and for each of the one or a plurality of pixel lines based on the density of the reference pixel, the difference between each pixel density and the reference pixel density Means for converting to an absolute value; means for creating a density histogram for the character area based on the converted pixel density; means for determining a binarization threshold from the created histogram; and a threshold determined There are provided means for binarizing the image data based on the values, and means for cutting out the character portion from the binarized data.
[000 7 ]
In these vehicle number recognition apparatuses according to claim 1 and claim 2 , for example, a license plate at the front portion of the vehicle is imaged by an imaging means, and one or a plurality of character areas are determined with respect to a predetermined character area of the captured image. For each pixel line , there is a reference pixel at a pixel outside the character area (Claim 1), or at the lowest density pixel or at the highest density pixel (Claim 2) within one or more pixel lines. A density histogram is created by converting each pixel density into an absolute value of a difference from the reference pixel density for each of the one or a plurality of pixel lines based on the density of the reference pixel (base surface density). Since the binarization threshold value is determined, even if there is a shadow on a part of the plate, the shadowed part is converted to the density of each other pixel based on the density of the base surface of that part. Gana Runode, without being affected by the shadow, binarization, it is character segmentation.
[000 8 ]
【Example】
Hereinafter, the present invention will be described in more detail with reference to examples.
[000 9 ]
FIG. 1 is a block diagram showing a hardware configuration of a vehicle license plate recognition apparatus showing an embodiment of the present invention. This vehicle license plate recognition device includes a camera 1, an A / D converter 2, an image memory 3, an image processor 4, a local memory 5, a host CPU 6, a local memory 7, an OUTPUT block 8, and an image. A data bus 9 and a CPU bus 10 are provided.
[00 10 ]
The camera 1 images the front surface of the traveling vehicle and outputs image information as a video signal. The A / D converter 2 converts the video signal output from the camera 1 into a digital signal. The image memory 3 stores the digital signal converted by the A / D converter 2 via the image data bus 9. The image processor 4 performs high-speed arithmetic processing on the data on the image memory 3.
[00 11 ]
The local memory 5 stores and holds the processing process and processing result of the image processor 4. The host CPU 6 controls the operations of the camera 1, A / D converter 2, image memory 3 and image processor 4. The local memory 7 stores and holds processing processes and processing results of the host CPU 6. The OUTPUT block 8 outputs the final result. The image data bus 9 is a path for image data, and the CPU bus 10 is a path for control signals and processing data.
[00 12 ]
As shown in FIG. 2, the camera 1 of the license plate recognition device is installed on the pole 12 above the lane 16 and reads the front license plate 14 of the vehicle 13 that is traveling. Reference numeral 11 denotes a main body of a license plate recognition device in which each block other than the camera 1 is accommodated. Reference numerals 15a and 15b denote illumination lamps.
FIG. 3 is a block diagram showing the functional configuration of the vehicle license plate recognition device according to the embodiment. The camera 21, the A / D converter 22, the image memory 23, the plate position detection unit 24, and the character segmentation recognition unit 25 are illustrated. And an output unit 26.
[00 13 ]
In the vehicle license plate recognition apparatus of this embodiment, the camera 21 captures the license plate 14 on the front surface of the vehicle 13, converts the image into a digital signal by the A / D converter 22, and this digital signal is stored in the image memory 23. While being stored, the plate position detection unit 24 detects the plate position in the image, the character cutout recognition unit 25 performs binarization conversion, and the character plate cuts out the license plate.
[00 14 ]
In the character area before binarization, for example, in the case of a lower case area, when the license plate has no shadow, the brightness of the base portion and the character portion is shown in FIG. In this case, the lower case area SE can be cut out from the density (luminance) difference. However, as shown in FIG. 13, when a shadow is generated on a part of the license plate, the division between the base part and the character part is not clear in both the vertical projection and the horizontal projection, and the small letter area SE cannot be cut out. . In this case, as shown in FIG. 6, the distribution of the character portion and the base surface moves to the darker side inside the shadow, and the whole is distributed to the brighter side outside the shadow. When comparing the outside of the shadow, the character portion a outside the shadow overlaps the character portion inside the shadow and the base surface, and binarization is difficult with the same threshold value.
[00 15 ]
For this reason, in this embodiment, a reference pixel is provided for each horizontal line in the vicinity outside the cut-out area SE, the difference in the reference pixel density is obtained from the density of each pixel before binarization, and the absolute value is calculated for each Conversion to pixel image data is performed.
4 and 5, P ₁ and P ₂ are pixels for specifying the cut-out target area SE. In the vicinity outside the cut-out target area SE, the reference pixels A, B, C,... Are set. These reference pixels A, B, C,... Are pixels of the base surface, not the character area. In the data conversion, for the pixel line in the first column, the density difference a ₁ -A of the reference pixel A is obtained from the density of the _first pixel a ₁ , and the absolute value is used as the new density of the pixel a ₁ . The density difference a ₂ −A of the reference pixel A is obtained from the density of the second pixel a ₂ , and the absolute value thereof is used as the new density of the pixel a ₂ , and hereinafter the pixels a ₃ and a _{4 in} the first column. Similarly, the absolute value of the difference is obtained for. As shown in FIG. 5, the absolute value of each difference is set as new image data of each pixel a ₁ , a ₂ , a ₃ .
[00 16 ]
For the pixel line in the second column, the density difference of the reference pixel B is obtained from the density of each pixel, and the absolute value is used as new image data for each pixel. The same applies to the third column, the fourth column, and so on.
The histogram of the absolute value of the difference between the density of each pixel and the density of the reference pixel as described above is as shown in FIG. 7, and there is no overlap between the character part and the base surface in and out of the shadow. If a threshold value is set for either of them, binarization of the character and the base surface is possible.
[00 17 ]
If the horizontal projection and the vertical projection of the small letter area SE are taken with this converted image data, the base portion and the character portion can be clearly distinguished as in FIG.
In the above embodiment, the reference pixel is provided for each pixel line, but one reference pixel may be provided for a plurality of pixel lines.
[00 18 ]
Next, another example of determining the reference pixel will be described.
As shown in FIG. 8, the lower-case area SE is divided into three regions SE ₁ , SE ₂ , SE ₃ in the horizontal direction by a dividing line in the vertical direction. Reference pixels A, B, C... Are set for each pixel line for each region. For the reference pixels A, B, C,..., When the base surface of the license plate has a lower density than the character portion, the pixel with the lowest density is extracted for each pixel line, and that pixel is used as the reference pixel. If the density of the base surface is higher than the density of the character portion, the pixel with the highest density is extracted, and that pixel is set as the reference pixel. Therefore, the positions of the set pixels A, B, C... In this case are different for each pixel line as shown in FIG.
[00 19 ]
Converted image data for unaffected by the presence or absence of the shadow of each pixel, for the first pixel a ₁ in the first row, to calculate the difference in density of the density and the reference pixels A pixel a _1, The absolute value is used as new pixel data of the pixel a ₁ . The same applies to the pixels a ₂ , a ₃ ,..., And the same applies to the second column, the third column,. That is, the difference between the density of each pixel and the density of the reference pixel in that column is calculated, and the absolute value is used as the conversion data for that pixel.
[00 20 ]
The density histogram of the image data after conversion in this case is the same as that in FIG. 7, and the distribution of the base surface and the character part approaches within the shadow and leaves when it is out of the shadow, but is the absolute value of the difference. The distribution position of the surface does not change between inside and outside the shadow, and one character partial distribution inside or outside the shadow does not overlap the other base surface, and the threshold value is set within the width of B. For example, binarization and extraction of character areas are possible.
[00 21 ]
Note that the number of divided regions is not limited to three, and can be divided into other appropriate numbers, and the number of reference pixels may be one for a plurality of lines instead of one for each pixel line.
In this way, when the reference pixel is set by dividing it horizontally into multiple areas, the boundary between the shadow and non-shadow areas is not a horizontal straight line but a curved line, or the upper left or right of the license plate This is effective when there is a shadow on a part of.
[00 22 ]
In the vehicle license plate recognition apparatus of the above embodiment, the character part is cut out by the above-described method. That is, as shown in the flowchart of FIG. 11, the reference pixel is determined (step ST1) as described in FIG. 4, FIG. 5 or FIG. 8,..., And the density difference between the original pixel and the reference pixel is determined. Then, the original pixel density is replaced with a new pixel (step ST2), binarization is performed (step ST3), and a character partial area is cut out (step ST4).
[00 23 ]
Next, another example of threshold determination for binarization and character area extraction will be described. First, as shown in FIG. 16, the license plate image is divided in the horizontal direction, and the vertical direction is divided into m blocks of n pixels, and the threshold value for each block is determined. Here, the Laplacian histogram method is used as a method for obtaining the binarization threshold. This Laplacian histogram method classifies pixels with positive and negative Laplacian values, and creates histograms for pixels that exceed a certain threshold (a, b) for each of the positive and negative pixels. For example, this is a method in which the median value of the centers of gravity is used as a binarization threshold.
[00 24 ]
Specifically, using the waveform in FIG. 17, when Laplacian conversion is performed on the background (base surface) and character image data in FIG. 17A, as shown in FIG. data becomes a second-order differential waveform, the Rapurashia emission value threshold a, if exceeds the b, that is in terms of varying the concentration of the original image data, in FIG. 19 the density of the pixel (B) As shown in FIG. 4, the histogram is used to determine the center value of the center of gravity of the background portion and the character portion as the threshold value.
[00 25 ]
However, in the conventional Laplacian histogram method, if there are few edges in the characters in the target area, the number of pixels used in the histogram will be small, and the value of the center of gravity will be easily affected by the luminance of the noise. Becomes very unstable.
Therefore, here, as shown in FIG. 18, the Laplacian value is plus and plus (both exceeding the threshold value a), for example, the pixel P ₈ sandwiched between P ₇ and P ₉ is also subject to the plus histogram. Similarly, Laplacian values are negative and negative (both exceeding the threshold value b), for example, pixels P ₃ to P ₅ sandwiched between P ₂ and P ₆ are also subject to a negative histogram, as shown in FIG. As shown to (A), the pixel used as the object of a histogram is increased. By increasing the number of pixels targeted by this histogram, the influence of noise can be reduced and a stabilized binarization threshold value can be obtained. This is shown in a flowchart in FIG.
[00 26 ]
Note that the method of determining the binarization threshold value using the Laplacian histogram method is assumed to be applied to binarization of license plate image data. This method, as shown in FIG. The present invention can also be applied to a binarization device in which detection data detected by the line sensor 31 is converted into a digital signal by the A / D converter 32 and this digital signal is binarized by the module 33. Further, the present invention can also be applied to a case where multi-value data such as image data stored in a memory is binarized in an image processing apparatus.
[00 27 ]
【The invention's effect】
According to the first and second aspects of the present invention, for a predetermined character area of the captured image , a neighboring pixel outside the character area for every one or a plurality of pixel lines (claim 1). Or a reference pixel is determined for the pixel with the lowest density or the pixel with the highest density (claim 2) within one or more pixel lines, and the one or more of the one or more pixels are determined based on the density of the reference pixel. For each pixel line , each pixel density is converted into an absolute value of the difference from the reference pixel density, and binarization conversion is performed on the density-converted data. Even if the density of the base surface is different, stable binarization and character extraction can be performed without being affected by the shadow.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a hardware configuration of a vehicle number recognition apparatus in which the present invention is implemented.
FIG. 2 is a perspective view illustrating an installation state of the vehicle number recognition device.
FIG. 3 is a block diagram showing a functional configuration of the vehicle number recognition device.
FIG. 4 is a diagram illustrating determination of a reference pixel in the vehicle number recognition device.
FIG. 5 is a diagram for explaining density conversion of each pixel in the vehicle number recognition apparatus.
FIG. 6 shows a density histogram of each pixel of an image captured by a camera, divided into shadows and shadows.
FIG. 7 shows the absolute value of the difference between the density of each pixel and the density of the reference pixel, and shows the histogram as a new density divided into the shadow and the shadow.
FIG. 8 is a diagram for explaining division of a character area in the horizontal direction.
9 is a diagram for explaining determination of a reference pixel in each block divided in FIG. 8. FIG.
FIG. 10 is a diagram illustrating density conversion of each pixel based on a determined reference pixel.
FIG. 11 is a flowchart for explaining the overall operation of character segmentation in the embodiment vehicle number recognition apparatus;
FIG. 12 is a diagram for explaining character extraction by density projection in the vertical direction and horizontal direction of a license plate.
FIG. 13 is a diagram showing density projections in the vertical direction and the horizontal direction when a shadow is generated on a part of a license plate.
FIG. 14 is a diagram showing a case where a shadow is generated on the upper part of the license plate.
FIG. 15 is an example of an image when binarization is performed with the same threshold value inside and outside the shadow when a shadow occurs as shown in FIG. 14;
FIG. 16 is an explanatory diagram of division when the obtained plate image is divided into a plurality of blocks to create a Laplacian histogram.
FIG. 17 is an explanatory diagram when a general Laplacian is applied to image data having both a background portion and a character portion;
FIG. 18 is a diagram for explaining an embodiment of the present invention in which a Laplacian is applied to image data having both background and character portions.
FIG. 19 is a diagram illustrating an example of a histogram by applying the Laplacian of FIGS. 17 and 18;
FIG. 20 is a flowchart illustrating a schematic operation of binarization threshold value determination based on a Laplacian value.
FIG. 21 is a block diagram showing a configuration of a binarization apparatus according to another embodiment of the present invention.
[Explanation of symbols]
SE Character areas A, B, C, ... Reference pixels a ₁ , a ₂ , a ₃ , ... Each pixel to be binarized

Claims

Imaging means for imaging a vehicle license plate;
Means for determining a reference pixel for pixels in the vicinity outside the character area for each one or a plurality of pixel lines with respect to a predetermined character area of the captured image;
Means for converting each pixel density into an absolute value of a difference from the reference pixel density for each of the one or a plurality of pixel lines based on the density of the reference pixel ;
For the character area, a means for creating a density histogram based on the converted pixel density;
Means for determining a binarization threshold from the created histogram;
Means for binarizing the image data according to the determined threshold;
Means for cutting out the character part from this binarized data,
A vehicle number recognition device provided.

Imaging means for imaging a vehicle license plate;
Means for determining a reference pixel as a pixel having the lowest density or a pixel having the highest density within one or a plurality of pixel lines with respect to a predetermined character area of a captured image;
Means for converting each pixel density into an absolute value of a difference from the reference pixel density for each of the one or a plurality of pixel lines based on the density of the reference pixel;
For the character area, a means for creating a density histogram based on the converted pixel density;
Means for determining a binarization threshold from the created histogram;
Means for binarizing the image data according to the determined threshold;
Means for cutting out the character part from this binarized data,
A vehicle number recognition device provided.