JP4163406B2 - Bar code recognition device - Google Patents

Description

【００３０】
まず、輝度Ｙ’の微分値を求め、微分値が閾値以上の画素をエッジ部とし、このエッジ部についての輝度のヒストグラムを作成する。
ステップ２では、ステップ１の処理画像に対して、２値化を行う。２値化処理で輝度の微分値計算を安定させ、コントラストの低い画像に対し、コントラストを向上する。
上記で求めたヒストグラムから２値化閾値を決定し、画像の２値化を行う。閾値の決定方法は、例えば、判別分析法を用いればよい。判別分析法は、以下のようにして行う。
【００３１】
輝度の範囲が「０からＤ」である画像を閾値ｔで２値化したとき、輝度が「０〜ｔ−１」の画素の平均輝度をｆ₀、輝度が「ｔからＤ」の画素の平均輝度をｆ₁、画像全体の平均輝度をｆ、輝度ｋをもつ画素の数をｎ_kとすれば、クラス間分散σ_B ²は下記式（２）となり、クラス内分散σ_I ²は下記式（３）となる。
【００３２】
【数２】

【００３３】
【数３】

このときの分散比は下記式（４）に示すようになるので、このＦ（ｔ）を最大にするｔを閾値とする。
【００３４】
【数４】

【００３５】
ステップ３では、ラベル付け処理を行う。ラベル付け処理は、図２に示すように、２値化後の画像の黒画素（画素値が１とする）に対し、連結しているすべての黒画素に一意のラベルをつけることである。連結している黒画素が占める領域を連結領域という。ラベル付けの方法は、いろいろあるが一例として、以下のような方法がある。
【００３６】
（１）画像上を左上から右下に向けて走査し、画素値が１であり、かつラベルが付けられていない画素Ｐを見つけ、新しいラベルを付ける。
（２）画素Ｐに対して、画像内の連結しているすべての画素に同じラベルをつける（図中１０〜１２はラベルである）。
（３）（１）に戻り、まだラベルの付けられていない画素が見つかったら、新しいラベルを付けて（２）の処理を行う。
（４）画像全体の走査が終わったとき、処理を終了する。
【００３７】
ステップ４では、ラベル付け結果より、連結黒画素の高さ、幅から構成されるパターン情報より、バーコードである、黒画素の連結領域（バー）が所定の条件下に並んだ領域をバーコード領域として抽出する。
ステップ５では、抽出されたバーコード領域のバーとスペースの幅の並びを調べ、バーコードを認識する。
ステップ４のバーコード領域の抽出は、ラベル付けされた、各連結領域の隣接関係を調べることにより、実行される。以降、ラベル付けされて連結領域をバーと呼ぶ。
【００３８】
図３、図４は、隣接するバーの探索処理の流れを示すフローチャートである。
隣接関係は、バーの幅と高さおよび位置の情報を用いて行う。次のようにバー幅、バー高を求める。
バー高：連結領域を囲む矩形の高さ
バー幅：連結領域の面積／バー高
連結領域を囲む矩形の左上の座標をそのバーの位置座標とする。
隣接の条件を１例として、次のように定める。
（１）２つのバーに共有される水平走査線が存在する。
（２）隣り合うバー高の差は、バー高の２０％以内である。
（３）位置座標のＸ方向の差は、バー幅６倍以内である。
【００３９】
上記の条件を満たし、対象となるバーの位置座標に一番近い位置座標をもつバーをそのバーの隣接バーとする。隣接バーは、左側と右側にそれぞれ存在する可能性がある。
全てのバーに対して隣接関係が求まったら、次の手順でバーコード領域であるかどうかを検査する。
【００４０】
図３、図４により隣接バーの探索処理の流れを説明する。図３、図４において、以下のように定義する。
バー（Ｌ）：ラベルＬがつけられた連結領域（バー）
バー高（Ｌ）：ラベルＬがつけられたバーの高さ（バー高）
バー幅（Ｌ）：ラベルＬがつけられたバーの幅（バー幅）
バー位置_ｘ（Ｌ）：ラベルＬがつけられたバーの位置座標のｘ座標
MAX_LABEL：ラベルの最大値
MIN_LABEL：ラベルの最小値
左距離：バーの左側に存在するバーの水平距離の最小値
右距離：バーの右側に存在するバーの水平距離の最小値
バー距離（L，L2）：ラベルＬがつけられたバーとラベルＬ２がつけられたバーの水平距離
バー高差（L，L2）：ラベルＬがつけられたバーとラベルＬ２がつけられたバーの高さの差
ステップ１０１では、まず、探索の基準となる着目バーを示すラベルを変数Ｌに代入する。ラベルは、ラベルの最小値（ＬＡＢＥＬ_ＭＩＮ）から、ラベルの最大値（ＬＡＢＥＬ_ＭＡＸ）へと順に増加する。
【００４１】
ステップ１０２では、着目バーに対する隣接候補となるバーを示すラベルを変数Ｌ２に代入する。ラベルは、ラベルの最小値（ＬＡＢＥＬ_ＭＩＮ）から、ラベルの最大値（ＬＡＢＥＬ_ＭＡＸ）へと順に増加する。
ステップ１０３では、変数Ｌと変数Ｌ２の値が同じ、つまり同じバーを示しているときは、ステップ１１６に行く。そうでなければ、ステップ１０４に進む。ステップ１０４では、前記の条件（１）に示す条件をテストする。条件（１）を満たしていれば、ステップ１０５に進む。満たしていなければ、ステップ１１６に進む。
【００４２】
ステップ１０５では、変数Ｌで示されるラベルのついているバーのバー高と変数Ｌ２で示されるラベルのついているバーのバー高差を計算する。
ステップ１０６では、前記の条件（２）に示す条件をテストする。条件（２）を満たしていれば、ステップ１０７に進む。満たしていなければ、ステップ１１６に進む。
【００４３】
ステップ１０７では、変数Ｌで示されるラベルのついているバーのバー位置と変数Ｌ２で示されるラベルのついているバー位置の水平方向の距離を計算する。ステップ１０８では、前記の条件（３）に示す条件をテストする。条件（２）を満たしていれば、ステップ１０９に進む。満たしていなければ、ステップ１１６に進む。条件（３）は、バーの幅に対する相対値を閾値としているので、入力画像のバーの幅が一定でなくても正しく判定ができる。
【００４４】
ステップ１０９では、変数Ｌで示されるラベルのついているバーに対して、変数Ｌ２で示されるラベルのついているバーが右側にあるのか、左側にあるのかをバー位置座標を基準に判定する。右側にあると判定された場合は、ステップ１１０に、左側にあると判定された場合は、ステップ１１３にそれぞれ進む。
【００４５】
ステップ１１０では、現在までに見つかった右側のバーとの最小距離を保存してある変数「右距離」と現在の右側のバーとの距離を比較し、より距離が近ければ、ステップ１１１に進む。そうでなければ、このバーは、右隣ではないとして、ステップ１１６に進む。
【００４６】
ステップ１１１では、変数Ｌ２で示されるラベルのついているバーが右隣であるとし、変数Ｌ２の値を記憶する。ステップ１１２では、変数「右距離」を更新する。ステップ１１３では、現在までに見つかった左側のバーとの最小距離を保存してある変数「左距離」と現在の左側のバーとの距離を比較し、より距離が近ければステップ１１４に進む。そうでなければ、このバーは、左隣ではないとして、ステップ１１６に進む。
【００４７】
ステップ１１４では、変数Ｌ２で示されるラベルのついているバーが左隣であるとし、変数Ｌ２の値を記憶する。ステップ１１５では、変数「左距離」を更新する。ステップ１１６では、変数Ｌ２を次に小さいラベルヘと更新する。
ステップ１１７では、変数Ｌ２により隣接候補として探索されていないラベルがあれば、ステップ１０３に進み、処理を繰り返す。全てのラベルについて探索が終わったら、ステップ１１８に進む。
【００４８】
ステップ１１８では、変数Ｌを順次大きいラベルヘと更新する。このとき、ステップ１１１および１１４で記憶された右隣バー、左隣バーを変数Ｌで示されるバーの右隣バー、左隣バーとしてそれぞれ確定する。
ステップ１１９では、変数Ｌにより探索されていないラベルがあれば、ステップ１０２に進み、処理を繰り返す。全てのラベルについて探索が終わったら、ステップ１２０に進み、処理を終了する。
【００４９】
以上のようにして、隣接関係が求まったら次に示す手順にて、バーコード領域であるかどうかの判定を行う。
まず、左隣のバーが存在しないバーを左端バーとして、マークする。次に、左端バーから順次、右隣のバーを探索する。右隣のバーが存在しないバーを右端バーとして、マークする。
【００５０】
左端バーから、右端バーまでのバーの数をカウントし、バーの数が規定の数であれば、左端バーから右端バーまでのバーとこれらのバー間のスペースが在る領域をバーコード領域とする。規定の数は、バーコードの規格により、決まる。例えばＪＡＮ１３桁のバーコードであれば、バーの数は３０となる。
抽出されたバーコード領域に含まれるバーに対して、バーコード認識の処理を行う。
【００５１】
図５は、バーコード認識の処理の流れを示すフローチャートである。
ステップ２０１では、まず、バーおよびスペースの幅を評価する基準となる単位幅を決定する。バーコード領域内のバー幅で、最小のものを単位幅とする。単位幅は、バーコードのモジュール幅に相当する。
【００５２】
ステップ２０２では、左端の２本のバーを対象にレフトガードバーのパターンと照合し、レフトガードであるかどうかテストする。レフトガードであると判定されたら、ステップ２０３に進む。そうでなければ、ステップ２１２に進む。
ステップ２０３では、次の１２本のバーに対して、左側６桁の数値を認識する。ステップ２０４では、左側の６桁の認識がすべて正常に完了したか判定する。正常に完了していたらステップ２０５に進む。そうでなければ、ステップ２１２に進む。
【００５３】
ステップ２０５では、左側６桁の偶数、奇数パリティの組み合わせから、プレフィックスデジットを認識する。ステップ２０６では、プレフィックスデジットが矛盾なく認識できたかどうか判定する。矛盾なく認識できていれば、ステップ２０６に進む。そうでなければ、ステップ２１２に進む。
ステップ２０７では、次の２本のバーに対して、センターバーのパターンと照合し、センターバーであるかどうかテストする。センターバーであると判定されたら、ステップ２０８に進む。そうでなければ、ステップ２１２に進む。
【００５４】
ステップ２０８では、次の１２本のバーに対して、右側６桁の数値を認識する。ステップ２０９では、右側の６桁の認識がすべて正常に完了したか判定する。正常に完了していたらステップ２１０に進む。そうでなければ、ステップ２１２に進む。
ステップ２１０では、チェックデジットのテストを行う。チェックデジットに矛盾がなければ、ステップ２１１に進む。そうでなければ、ステップ２１２に進む。
【００５５】
なお、チェックデジットとは、読み取りに誤りがないかをチェックするために算出された数値で、右側６桁の数値のうち最後の１桁がチェックデジットとなっている。チェックデジット以外の１１桁より規定の算出方法によりチェックデジットを算出する。その算出結果と読み取ったチェックデジットを照合し、等しければ矛盾がないとする。図１８の例ではチェックデジットは右端の数値４である。
【００５６】
ステップ２１１では、認識が成功したとして処理を終了する。ステップ２１２では、単位幅を１画素増加させる。ステップ２１３では、単位幅の増加が３以下であるかどうか判定する。３以下であれば、ステップ２０２へと進み、再度同様な認識処理を行う。そうでなければステップ２１４に進む。ステップ２１４では、認識が失敗したとして処理を終了する。
前記のレフトガードのテスト、センターバーのテスト、数値の認識において、バー及びスペース幅をあらかじめ規定されているパターンと比較し評価をする。その評価の手順について次に述べる。
【００５７】
図６は、スペース幅を説明するための図であり、図７は、許容誤差率を説明するための図である。
バーとスペースの幅は、単位幅の整数倍であり、倍率ごとに評価される。スペース幅１５は、図６に示すように、隣接する２つのバー１３，１４間の幅である。スペース幅１５は、次のように求める。
【００５８】
隣接するバー（Ｌ）１３とバー（Ｌ２）１４に対して、水平走査線ごとにバー間の画素数を求める。バー（Ｌ）１３およびバー（Ｌ２）１４が共有する全走査線におけるバー間の画素数の平均をスペース幅１５とする。
バーコードのパターンは、基準となるモジュール幅（単位幅）の整数倍の幅を持つバーまたは、スペースの並びで規定されている。幅の倍率をそれぞれ１，２，３，４とする。ここで、最も狭い幅が１、もっとも広い幅が４である。
【００５９】
次の条件を満たす最小の倍率が、そのバー（スペース）幅の倍率となる。すなわち、バー（スペース）幅が倍率×単位幅±許容誤差の範囲内にあることが条件である。
ここで、許容誤差は、許容誤差=倍率×単位幅×許容誤差率で定義される。許容誤差率は、倍率ごとに図７に示すように規定されている。ここで、許容誤差を持たせるのは、２値化による画素の欠落の影響を考慮したためである。低解像度のデジタルカメラで、バーコードを撮影した場合、その画像における単位幅は、２画素程度しかない。２値化を行うと、バーの画像に、１画素の程度の欠けや、膨張のノイズが存在する。幅２画素のバーとして許容誤差なしで比較すると、１画素幅や３画素幅は、異なる幅として認識される。しかし、実際には、２値化のノイズにより２画素幅が、１画素幅や３画素幅になることがある。許容誤差を設けることにより、この幅の変動を考慮し、同じ幅であると認識することができる。
【００６０】
前記ステップ２０２のレフトガードのテストは、次のように行う。
図８は、レフトガードの幅の並びパターンを説明するための図であり、図９は、レフトガードのバー、スペースの並びパターンを説明するための図である。
図８及び図９に示すように規定されたレフトガードのバー、スペースの幅の並びパターンと、抽出されたバーコード領域において幅の評価に基づいて求めたレフトガードの幅のバー、スペースの並びパターンとを照合し、パターンが一致した場合、そのバーは、有効なレフトガードを構成するバーであるとする。
【００６１】
前記ステップ２０３、２０８の数値の認識は、次のように行う。
図１０は、数値に対するバー及びスペースの幅の並びのパターンの規定を示す図であり、図１１は、図１０に示す幅１から幅４が、バー幅か、スペース幅であるかの組み合わせを示す図であり、図１２は、数値の認識の処理の流れを示すフローチャートである。
【００６２】
図１０において、左側の６桁に対する幅の並びパターンには、奇数パリティと偶数パリティが存在する。図１０に示す幅の並びは、奇数パリティのときである。偶数パリティの時は、同じ表を逆方向から、つまり幅４、幅３、幅２、幅１と読む。例えば奇数パリティで数値９は、左から３倍幅のスペース、単位幅のバー、単位幅のスペース、２倍幅のバーの並びパターンで表され、偶数パリティで数値１は、左から、単位幅のスペース、２倍幅のバー、２倍幅のスペース、２倍幅のバーの並びパターンで表される（図１８の左側１，２番のデータキャラクター参照）。
【００６３】
図１１において、センターバーよりも左側の６桁と右側の６桁では、バーとスペースの並びのパターンが異なるので、図１１では、２種類のパターンが定義されている。例えば、右側で奇数パリティで数値６は、左から、単位幅のバー、単位幅のスペース、単位幅のバー、４倍幅のスペースの並びパターンで表される（図１８の右側１番のデータキャラクター参照）。
【００６４】
図１２のフローチャートにおいて、ステップ３０１では、左側の６桁のデータキャラクターに対して、レフトガードのテストと同様な手順で、対象のバー、スペースの幅の並びのパターンを求める。
ステップ３０２では、図１０及び図１１に規定された照合パターンを用いて、前記した幅の評価を行い、バーとスペースの並びのパターンが一致するかどうか順に調べる。左側６桁においては、奇数パリティの幅パターンか偶数パリティの幅パターンかも順次調べる。
【００６５】
ステップ３０３では、パターンが一致すると判定された時は、ステップ３０４に進む。そうでなければ、ステップ３０７に進む。ステップ３０４では、入力画像より得られた実際の幅と規定されている幅のパターンとの幅差を求める。幅差は、対応する４つの幅のそれぞれの差の合計値とする。
【００６６】
ステップ３０５では、幅差がそれまでに見つかったものよりも小さかった場合は、ステップ３０６に進む。そうでなければ、ステップ３０７に進む。
ステップ３０６では、そのパターンに対応する数値を認識候補の数値として記憶しておく。同時に、奇数パリティか偶数パリティの種別も記憶しておく。なお、幅差の初期値は、最大値に設定されている。
【００６７】
ステップ３０７では、図１０に示すすべての照合パターン（数値０〜９）について処理が終了していれば、ステップ３０８に進む。そうでなければ、ステップ３０２に進み、次の照合パターンについて処理を繰り返す。
ステップ３０８では、規定されている数値のパターンと一致した場合に、その数値を認識結果とし、ステップ３０９に進み、認識成功として処理を終了する。そうでなければ、認識不成功として、ステップ３１０に進み、処理を終了する。
ステップ２０５のプレフィックスデジットの認識は、次のようにして行う。
【００６８】
図１３は、奇数パリティと偶数パリティの組み合わせ結果（プレフィックスデジット）を示す図であり、図１４は、センターバーの幅の並びパターンを示す図であり、図１５は、センターバーのバー、スペースの並びパターンを示す図である。
【００６９】
ステップ２０５においては、左側６桁の認識がすべて成功した時の奇数パリティと偶数パリティの記録からプレフィックスデジットを認識する。奇数パリティと偶数パリティの組み合わせ結果は、図１３に示すようになっており、テーブルから検索し、一致したものをプレフィックスデジットとして認識する。一致する組み合わせが見つからなかったときは、プレフィックスデジットの認識は、失敗として処理を終了する。図１８の例では、左側６桁のデータキャラクター５は、奇数パリティの９、偶数パリティの１、奇数パリティの２、奇数パリティの３、偶数パリティの４、偶数パリティの５であり、パリティの組み合わせは１０１１００なのでプレフィックスデジット８は図１３より４(図１８の左端に表示)である。
ステップ２０７のセンターバーのテストは、レフトガードのテストと同様に、パターンのマッチングを行う。なお、センターバーのテストに用いるバー、スペースの幅の並びパターンは、図１４及び図１５に示すようになっている。
【００７０】
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。
また、本発明のバーコード認識装置を携帯電話機に組み込むことも可能である。携帯電話機にバーコード認識装置を組み込むことにより、どこでも手軽にバーコード認識ができるようになり、さらに、バーコード認識装置で認識したバーコードを即座に送信可能である。
【００７１】
図１６は本発明のバーコード認識装置をカメラ内蔵型携帯電話機に組込んだ場合のブロック図であり、カメラ内蔵型携帯電話機は電波を送受信するアンテナ２１、無線通信の送受信を制御する無線部２２、ユーザからのキー操作情報を入力生成するキー入力部２３、文字情報や画像情報をユーザに表示する表示部２４、音声信号を出力するスピーカー２５、ユーザから音声信号を入力するマイク２６、受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ２７、対象となる画像情報を入力するカメラ２８、及びバーコード認識装置を内蔵し、各部を制御する制御部２９とから構成される。
【００７２】
上記構成を有するカメラ内蔵型携帯電話機において、カメラ２８より入力された画像情報（バーコード）からバーコードの認識を行う場合、ユーザはキー入力部２３を操作しカメラ動作を選択する。制御部２９はキー入力部からの設定に基きカメラ２８を初期化し、画像情報（バーコード）の取り込みを開始する。カメラ２８より取り込まれた画像情報（バーコード）は制御部２９を介し記憶メモリ２７に転送される。制御部２９は記憶メモリ２７に格納された画像情報（バーコード）を表示部２４に転送し、画像情報（バーコード）の表示を行う。また、画像情報（バーコード）を連続的に取り込み、表示することで、ユーザはカメラ画像を動画として確認できる。一方、記憶メモリ２７に格納された画像情報（バーコード）はバーコード認識装置を有する制御部２９に転送され、本実施の形態で説明したバーコード認識処理にてバーコード認識が行われる。認識に成功した場合、認識結果を記憶メモリ２７に転送し、記憶メモリ２７にバーコードデータとして格納する。
【００７３】
次に記憶メモリ２７に格納されたバーコードデータを無線又はインターネットに接続し送信先に送信する際の動作について図１７を用いて説明する。ユーザはキー入力部２３を操作し無線又はインターネットへの接続を選択する。制御部２９はキー入力部からの設定に基き無線部２２へ無線又はインターネットへの接続を指示する。無線部２２は制御部２９からの指示に基づき無線又はインターネットへの接続を開始する。ユーザはキー入力部２３を操作し記憶メモリ２７に格納済みのバーコードデータの送信を選択する。制御部２９はキー入力部２３からの設定に基き記憶メモリ２７に格納済みのバーコードデータを無線部２２へ転送し送信を指示する。無線部２２は制御部２９からの指示に基づき、転送されたバーコードデータを無線又はインターネットに送信する。無線部２２より送信されたバーコードデータは無線網３３を介しＵＲＬデータサーバ３２へと送信される。ＵＲＬデータサーバ３２は携帯電話端末３４の無線網３３とインターネット３１のゲートウェイの動作制御を行う。ＵＲＬデータサーバ３２は受信したバーコードデータとＵＲＬデータベースから送信先のＵＲＬを検索しインターネット３１への接続を行い送信先へバーコードデータを転送する。転送完了の結果は携帯端末３４に送信される。
【００７４】
また、本発明は、コンピュータをバーコード認識装置として機能させるプログラムとして、また、当該プログラムを記録した記録媒体としても実現できる。
本発明の電子メール通信装置は、本電子メール通信装置を機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。
【００７５】
この記録媒体として、バーコード認識装置内蔵のＲＯＭそのものがプログラムメディアであってもよいし、またバーコード認識装置をＣＤ−ＲＯＭドライブ等のプログラム読み取り装置に接続し、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００７６】
ここで上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００７７】
さらに、バーコード認識装置を備える携帯電話機の送信部及び受信部を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００７８】
【発明の効果】
以上説明したように本発明によれば、携帯端末に内蔵されるような小型のイメージセンサで用いたカメラにより、撮影したバーコード画像より、精度よく、バーコードを認識することができる。また、本発明によれば、低解像度のカメラを用いた場合にもバーコードを認識することができるため、特別にバーコードリーダを付加しなくともバーコードを読み取ることができるようになる。
【図面の簡単な説明】
【図１】バーコード認識の処理の流れを示すフローチャートである。
【図２】ラベル付け処理の例を示す図である。
【図３】隣接するバーの探索処理の流れを示すフローチャート（前半）である。
【図４】隣接するバーの探索処理の流れを示すフローチャート（後半）である。
【図５】バーコード認識の処理の流れを示すフローチャートである。
【図６】スペース幅を説明するための図である。
【図７】許容誤差率を説明するための図である。
【図８】レフトガードの幅の並びパターンを説明するための図である。
【図９】レフトガードのバー、スペースの並びパターンを説明するための図である。
【図１０】数値に対する幅の並びのパターンを示す図である。
【図１１】図１０に示す幅１から幅４が、バー幅か、スペース幅であるかの組み合わせを示す図である。
【図１２】数値の認識の処理の流れを示すフローチャートである。
【図１３】奇数パリティと偶数パリティの組み合わせ結果（プレフィックスデジット）を示す図である。
【図１４】センターバーの幅の並びパターンを示す図である。
【図１５】センターバーのバー、スペースの並びパターンを示す図である
【図１６】カメラ内蔵型携帯電話機の構成の説明図である。
【図１７】携帯電話端末のインターネットへの接続を示す図である。
【図１８】バーコードの構成の説明図である。
【図１９】検出頻度と幅との関係を示す図である。
【図２０】従来のバーコード抽出の処理の流れを示すフローチャートである。
【図２１】隣接バーの条件（１）を説明するための図である。
【図２２】隣接バーの条件（２）を説明するための図である。
【図２３】隣接バーの条件（３）を説明するための図である。
【符号の説明】
１ バーコード
２ レフトガードバー
３ センターバー
４ ライトガードバー
５ 左側データキャラクタ
６ 右側データキャラクタ
７ チェックデジット
８ プレフィックスデジット
９ 水平走査線
１０〜１２ ラベル
１３〜１４ バー
１５ スペース幅
２１ アンテナ
２２ 無線部
２３ キー入力部
２４ 表示部
２５ スピーカ
２６ マイク
２７ 記憶メモリ
２８ カメラ
２９ 制御部
３１ インターネット
３２ ＵＲＬデータサーバ
３３ 無線網
３４ 携帯電話端末[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a barcode recognition device, a recognition method, a program, and the like that recognize a barcode by extracting a barcode region from input image data.
[0002]
[Prior art]
In recent years, with the development of small, low power consumption image sensors, it has become possible to incorporate a camera in a portable device such as a mobile phone, and immediately send images taken by the built-in camera via e-mail. It is possible to do it. These built-in cameras are prioritized to be small, and have a lower resolution than general digital cameras.
[0003]
Moreover, recent cellular phones have a function of connecting to the Internet. In order to connect to the Internet, it is necessary to input the URL from the key. With the key of the cellular phone, it takes time and effort to enter a long URL. Therefore, an attempt is made to manage the URL with a unique number and read the printed barcode corresponding to the number with a barcode reader, thereby saving the trouble of inputting the URL and improving the usability of the user. . In such an apparatus, it is necessary to separately connect a barcode reader to the mobile phone.
[0004]
Therefore, in a portable device with a built-in camera, if a barcode can be recognized with respect to a barcode image input by the built-in camera, such a service can be used without preparing a separate barcode reader.
However, the resolution of the current built-in camera is lower than that of an image sensor used for a barcode reader, and it is difficult to recognize the barcode with high accuracy.
[0005]
Further, as a cause of difficulty in recognizing the barcode, the width of the bar photographed in the input image is not constant. This is because the distance relationship between the barcode and the camera changes each time an input is made. In a close-up type scanner, the bar code can always be entered in a certain size, so the bar width can be determined in advance, but when shooting a bar code with a camera held by hand, a certain bar The width cannot be determined in advance.
[0006]
A method has been proposed in which the width of a bar is determined from a barcode image input by an image scanner and the barcode is recognized. For example, in JP-A-6-325197, the bar width is determined by counting the frequency of the pixel width for each scanning line. The principle of determining the width will be described.
[0007]
FIG. 19 is a diagram illustrating the relationship between the detection frequency and the width. As shown in FIG. 19, the width detection frequency is extracted for the scanning line. Thereby, an area having a frequency equal to or higher than a certain threshold is detected as an effective width. In the example of FIG. 19, sections 1, 2, and 3 are effective widths. Furthermore, two long ones of the effective width section are selected as the bar width. In this method, two types of widths of “thin” and “thick” can be detected from the two most frequently used widths. However, in a low-resolution image, the frequency peak interval is shortened and detection is possible. There is a problem of instability. In addition, it cannot handle a barcode having a plurality of widths.
[0008]
In addition, when a barcode is photographed by the camera, areas such as characters and patterns other than the barcode around the barcode are included in the input image. Therefore, it is necessary to extract a barcode area from the input image. In Japanese Patent Laid-Open No. 9-16701 (FIG. 19), a barcode area is extracted on the condition that the interval between bars is within a certain threshold. It is effective for a system that can obtain an input image relatively stably, such as a scanner. However, since the bar code is input while holding the camera by hand, the width of the bar has a large variation depending on the distance between the subject and the camera, and there is a problem in that it cannot be extracted well with a fixed threshold value.
In order to solve such a problem, Japanese Patent Laid-Open No. 9-22437 discloses an attempt to improve the extraction accuracy by examining a barcode-specific pattern when extracting a barcode area.
[0009]
FIG. 18 is an explanatory diagram of a barcode configuration. As shown in the figure, the barcode 1 includes a left guard bar 2 (or start bar), a center bar 3 and a right guard bar 4 (or end bar) peculiar to the barcode. In this case, the left guard bar 2 is provided on the start point side (left side) of the barcode 1 and is configured by a pattern in which black bars and white bars are alternately arranged, and information “101” ( This is a pattern in which (module expression) is set. The center bar 3 is provided at the center position of the barcode 1 and is composed of a pattern in which black bars and white bars are alternately arranged, and a pattern in which “01010” information (module expression) is set as the center information of the barcode 1 It is. The light guard bar 4 is provided on the end point side of the bar code 1 and is composed of a pattern in which black bars and white bars are alternately arranged, and information (module expression) of “101” is set as end information of the bar code 1 It is a pattern.
[0010]
A 6-digit left data character 5 is arranged between the left guard bar 2 and the center bar 3, and a 6-digit right data character 6 and a check digit 7 are arranged between the center bar 3 and the right guard bar 4. The numerical value at the left end below the barcode 1 represents the prefix digit 8.
[0011]
FIG. 20 is a flowchart showing a flow of conventional barcode extraction processing. First, as described above, a region where the bar interval is within a certain threshold is extracted as a complex region (step 401). It can be said that the complex area is an area where it is estimated that a barcode will exist.
[0012]
Next, the presence / absence of the center bar, right guard bar, and left guard bar is determined from the extracted complex area, and it is determined whether or not the extracted complex area is a barcode (step 402 to step 404). Then, each character of the barcode is recognized for the area determined to be a barcode (step 405).
[0013]
Here, when determining the presence / absence of the center bar, the right guard bar, and the left guard bar, the pattern of the module expression of the bar structure is collated based on the extracted bar width and a predetermined bar module width. The module width is predetermined according to the resolution of the scanner.
For example, when a form is read by a scanner having a resolution of 200 dpi, the module width is determined to be 4 pixels because it is expressed by 4 pixels per module.
[0014]
However, as described above, in order to input a barcode while holding the camera by hand, the width of the bar varies greatly depending on the distance between the subject and the camera, so the module width cannot be specified in advance. there were.
An image input with a low-resolution camera has a bar width of about 2 pixels, and a bar code that uses four types of widths has a bar that is completely equal to the module width due to noise at the time of input. There is a problem that a thick bar may be misrecognized as thin if it does not exist and only the widths are strictly compared, and correct matching cannot be performed.
[0015]
In order to solve this problem, in Japanese Patent Application Laid-Open No. 4-263281, when comparing the width of the bar in the specified pattern with the width of the input bar, the determination that the bar width is equal is: Let it be equal if it is within that range. For example, the condition that the bar width a and the bar width b are equal is as follows:
1.25a ≧ b ≧ 0.75a
It becomes. However, when a barcode is photographed with a low-resolution digital camera, the minimum width of the bar in the image is only about two pixels. In practice, the width of 2 pixels may be 1 pixel width or 3 pixel width due to an error in input processing. In this case, the fluctuation of the width is 50% of the actual width, and the fluctuation is large. When the width is thick, 4 pixels are often 5 pixels and 3 pixels. In this case, the fluctuation width is 25% of the actual width. As described above, when the widths of all bars are compared, if all the width ranges are determined to be the same, there is a problem that the determination cannot be made correctly when the variation with respect to the bar width is large.
[0016]
[Problems to be solved by the invention]
The problem to be solved by the present invention is to recognize a barcode with higher accuracy than a barcode image taken using a low-resolution image sensor. For this purpose, it is necessary to extract the barcode area with high accuracy from the input image. In addition, it is necessary to extract the bar width from the input image without specifying the bar width in advance so that the bar can be correctly recognized even if the width of the bar in the input image varies. Also, by using a low-resolution image sensor, the width of the narrowest bar is about 2 pixels. Even at this time, the width of multiple bars can be accurately determined and recognized without being affected by noise. It is necessary to. It is also necessary to be able to handle barcodes having a plurality of widths.
The present invention has been made in view of such a problem, and provides a barcode recognition apparatus capable of accurately recognizing a barcode even in a low resolution image taken by a small image sensor built in a portable terminal. For the purpose.
[0017]
[Means for Solving the Problems]
The barcode recognition apparatus of the present invention includes a preprocessing unit that performs preprocessing on an input image, a binarization processing unit that performs binarization on the input image after the preprocessing, and a binarization processing unit Labeling means for labeling an input image, barcode area extraction means for extracting a barcode area from the input image after labeling, and barcode recognition means for recognizing a barcode from the extracted barcode area It is characterized by comprising.
[0018]
In the barcode recognition apparatus of the present invention, it is preferable that the preprocessing means performs histogram conversion.
Further, the binarization processing means desirably uses a discriminant analysis method as a method for determining a threshold value in binarization of an image.
[0019]
In the barcode recognition apparatus of the present invention, it is desirable that the labeling means performs labeling by assigning individual numerical values for each connected pattern to the input image.
Further, it is desirable that the width of the bar is defined by the number of black pixels of the label related to the bar / the height in the vertical direction from the input image labeled by the labeling means.
In addition, when collating the width of the bar or space, it is desirable to set an allowable range of the width according to the width.
[0020]
Further, in the barcode recognition device of the present invention, the barcode area extraction means extracts the bar adjacency, determines the left end of the bar and the right end of the bar from the adjacency, and determines the left end of the bar and the right end of the bar. It is desirable to extract the bar code area by matching the number of bars between a certain value.
[0021]
Also, the adjacency relationship between the bars means that there is a scanning line shared by the two bars, that the height difference between the two bars is within a certain range, and that the distance between the two bars is within a certain range. It is determined that the two are adjacent to each other, and it is preferable that the range of the bar height difference and the range of the bar interval are adaptively obtained from the height and width of the reference bar.
[0022]
In the barcode recognition apparatus of the present invention, the barcode recognition is performed by using the minimum width of the bars in the barcode area extracted by the barcode area extraction means as the unit width, and this in the extracted barcode area. It is desirable to perform this by collating an array of bar and space width patterns that are integral multiples of the unit width with a predetermined array of bar and space width patterns.
Further, it is desirable that the barcode recognition is repeatedly performed by changing the unit width.
[0023]
According to the barcode recognition apparatus of the present invention, a barcode can be recognized with higher accuracy than a captured barcode image by a camera used in a small image sensor built in a mobile terminal. Further, according to the present invention, since a barcode can be recognized even when a low-resolution camera is used, the barcode can be read without adding a special barcode reader.
[0024]
In addition, a mobile phone according to the present invention includes the barcode recognition device according to the present invention. By incorporating the barcode recognition device into the mobile phone, barcode recognition can be easily performed anywhere, and the barcode recognized by the barcode recognition device can be transmitted immediately.
[0025]
Further, the barcode recognition method according to the present invention includes a step of performing preprocessing on an input image, a step of binarizing an input image after preprocessing, and an input image after binarization processing. The method includes a step of performing labeling, a step of extracting a barcode area from the input image after labeling, and a step of recognizing the barcode from the extracted barcode area.
The present invention can also be realized as a program that causes a computer to function as a barcode recognition device, and also as a recording medium that records the program.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
In the present invention, the input image is subjected to histogram conversion preprocessing, binarization, and labeling processing. Based on the feature of the barcode structure, the bar adjacency is calculated from the labeled image. As an example of the adjacency relationship, all connected regions of an image are examined using a connected region of candidate bars satisfying the following conditions as an adjacent bar.
(1) As shown in FIG. 21, there is a horizontal scanning line 9 shared by two bars.
(2) As shown in FIG. 22, there is a difference between adjacent bar heights. Here, it is assumed that it is within 20% of the bar height.
(3) As shown in FIG. 23, the difference in the X direction of the position coordinate is within a certain range. Here, it is assumed that it is within 6 times the bar width.
[0027]
Next, the number of bars sandwiched between the left end and the right end is counted, and if the count value is a specified number, it is extracted as a barcode area. A unit width as a module width of the barcode is determined from the width of the black pixel connection region in the extracted barcode region.
A bar code is recognized by collating a specified bar code pattern with an extracted bar code area pattern in an array of bar and space width patterns that are integral multiples of the unit width. For recognition, the bar code left guard pattern is collated first, and if successful, the left 6 digit pattern, prefix digit, center bar, and right 6 digit pattern are collated sequentially. When the pattern is collated, an allowable range is provided according to the width of the bar and space, that is, for each magnification, thereby reducing the influence of noise and the like in the low-resolution image.
According to the present invention, it is possible to accurately recognize a barcode even in a low-resolution image captured by a small image sensor built in a portable terminal.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0028]
FIG. 1 is a flowchart showing the flow of barcode recognition processing.
In FIG. 1, in step 1, histogram conversion is performed on the input image as preprocessing. If the minimum value of the luminance of the input image is Yi and the maximum value is Yj, the converted luminance Y ′ with respect to the luminance Y is obtained by the following equation (1).
[0029]
[Expression 1]

[0030]
First, a differential value of luminance Y ′ is obtained, and a pixel having a differential value equal to or larger than a threshold value is set as an edge portion, and a luminance histogram for the edge portion is created.
In step 2, binarization is performed on the processed image in step 1. The binarization process stabilizes the calculation of the differential value of luminance, and improves the contrast for images with low contrast.
A binarization threshold value is determined from the histogram obtained above, and the image is binarized. As a method for determining the threshold value, for example, a discriminant analysis method may be used. Discriminant analysis is performed as follows.
[0031]
When an image whose luminance range is “0 to D” is binarized with a threshold value t, the average luminance of pixels whose luminance is “0 to t−1” is f₀, The average luminance of pixels with luminance “t to D” is f₁, The average luminance of the entire image is f, and the number of pixels having luminance k is n_kThen the interclass variance σ_B ²Becomes the following formula (2), and the intra-class variance σ_I ²Becomes the following formula (3).
[0032]
[Expression 2]

[0033]
[Equation 3]

Since the dispersion ratio at this time is as shown in the following formula (4), t that maximizes F (t) is set as a threshold value.
[0034]
[Expression 4]

[0035]
In step 3, labeling processing is performed. As shown in FIG. 2, the labeling process is to give a unique label to all connected black pixels with respect to black pixels (pixel value is 1) of the binarized image. An area occupied by connected black pixels is called a connected area. There are various labeling methods, but examples include the following methods.
[0036]
(1) Scan the image from the upper left to the lower right, find a pixel P that has a pixel value of 1 and is not labeled, and add a new label.
(2) For the pixel P, the same label is attached to all connected pixels in the image (10 to 12 in the figure are labels).
(3) Returning to (1), if a pixel that has not yet been labeled is found, a new label is attached and the processing of (2) is performed.
(4) When the entire image has been scanned, the process is terminated.
[0037]
In step 4, based on the labeling result, an area where the black pixel connected areas (bars) are arranged under a predetermined condition based on the pattern information including the height and width of the connected black pixels is barcoded. Extract as a region.
In step 5, the arrangement of the bar and space width of the extracted barcode area is checked to recognize the barcode.
The extraction of the barcode area in step 4 is performed by examining the adjacency relationship of each connected area labeled. Hereinafter, the labeled region is referred to as a bar.
[0038]
3 and 4 are flowcharts showing the flow of search processing for adjacent bars.
The adjacency relationship is performed using information on the width, height, and position of the bar. Obtain the bar width and bar height as follows.
Bar height: the height of the rectangle surrounding the connected area
Bar width: area of connecting area / bar height
The coordinates at the upper left corner of the rectangle surrounding the connected area are taken as the position coordinates of the bar.
Taking the adjacent condition as an example, it is determined as follows.
(1) There is a horizontal scan line shared by the two bars.
(2) The difference between adjacent bar heights is within 20% of the bar height.
(3) The difference in the X direction of the position coordinates is within 6 times the bar width.
[0039]
A bar that satisfies the above condition and has a position coordinate closest to the position coordinate of the target bar is set as an adjacent bar of the bar. There may be adjacent bars on the left and right sides, respectively.
When the adjacency relationship is obtained for all the bars, it is inspected whether or not it is a barcode area by the following procedure.
[0040]
The flow of the adjacent bar search process will be described with reference to FIGS. In FIG. 3 and FIG. 4, the definitions are as follows.
Bar (L): Connected area (bar) labeled L
Bar height (L): Height of the bar with label L (bar height)
Bar width (L): The width of the bar with the label L (bar width)
Bar position_x (L): x coordinate of the position coordinate of the bar with label L attached
MAX_LABEL: Maximum label value
MIN_LABEL: Minimum value of the label
Left distance: Minimum horizontal distance of the bar on the left side of the bar
Right distance: Minimum horizontal distance of the bar on the right side of the bar
Bar distance (L, L2): Horizontal distance between the bar with label L and the bar with label L2
Bar height difference (L, L2): Difference in height between the bar with label L and the bar with label L2
In step 101, first, a label indicating a target bar as a reference for search is substituted into a variable L. The label sequentially increases from the minimum label value (LABEL_MIN) to the maximum label value (LABEL_MAX).
[0041]
In step 102, a label indicating a bar that is an adjacent candidate for the target bar is substituted into the variable L2. The label sequentially increases from the minimum label value (LABEL_MIN) to the maximum label value (LABEL_MAX).
In Step 103, when the values of the variable L and the variable L2 are the same, that is, indicate the same bar, the process goes to Step 116. Otherwise, go to step 104. In step 104, the condition shown in the condition (1) is tested. If the condition (1) is satisfied, the process proceeds to step 105. If not, go to step 116.
[0042]
In step 105, the difference between the bar height of the bar labeled with the variable L and the bar height of the bar labeled with the variable L2 is calculated.
In step 106, the condition shown in the condition (2) is tested. If the condition (2) is satisfied, the process proceeds to step 107. If not, go to step 116.
[0043]
In step 107, the horizontal distance between the bar position of the bar labeled with the variable L and the bar position labeled with the variable L2 is calculated. In step 108, the condition shown in the condition (3) is tested. If the condition (2) is satisfied, the process proceeds to step 109. If not, go to step 116. Condition (3) uses a relative value with respect to the bar width as a threshold value, so that the determination can be made correctly even if the bar width of the input image is not constant.
[0044]
In step 109, it is determined based on the bar position coordinates whether the bar labeled with the variable L2 is on the right side or the left side with respect to the bar labeled with the variable L. If it is determined to be on the right side, the process proceeds to step 110. If it is determined to be on the left side, the process proceeds to step 113.
[0045]
In step 110, the distance between the variable “right distance” in which the minimum distance to the right bar found so far is stored and the current right bar is compared. If the distance is closer, the process proceeds to step 111. Otherwise, go to step 116, assuming this bar is not right next.
[0046]
In step 111, it is assumed that the bar labeled with the variable L2 is adjacent to the right, and the value of the variable L2 is stored. In step 112, the variable “right distance” is updated. In step 113, the variable “left distance” in which the minimum distance to the left bar found so far is stored is compared with the distance between the current left bar and the process proceeds to step 114 if the distance is closer. Otherwise, go to step 116, assuming that this bar is not on the left.
[0047]
In step 114, it is assumed that the bar labeled with the variable L2 is adjacent to the left, and the value of the variable L2 is stored. In step 115, the variable “left distance” is updated. In step 116, the variable L2 is updated to the next smaller label.
In step 117, if there is a label that is not searched for as an adjacent candidate by the variable L2, the process proceeds to step 103 and the process is repeated. When the search is completed for all labels, the process proceeds to step 118.
[0048]
In step 118, the variable L is sequentially updated to a larger label. At this time, the right adjacent bar and the left adjacent bar stored in steps 111 and 114 are determined as the right adjacent bar and the left adjacent bar of the bar indicated by the variable L, respectively.
In step 119, if there is a label not searched by the variable L, the process proceeds to step 102 and the process is repeated. When the search is completed for all labels, the process proceeds to step 120 and the process is terminated.
[0049]
When the adjacency relationship is obtained as described above, it is determined whether or not it is a barcode area by the following procedure.
First, a bar that does not have an adjacent bar on the left is marked as the leftmost bar. Next, the bar on the right is searched sequentially from the left end bar. Mark the bar that does not have a bar on the right as the rightmost bar.
[0050]
Count the number of bars from the left end bar to the right end bar, and if the number of bars is the specified number, the bar area is the area from the left end bar to the right end bar and the space between these bars. To do. The specified number is determined by the barcode standard. For example, in the case of a 13-digit JAN barcode, the number of bars is 30.
Barcode recognition processing is performed on the bars included in the extracted barcode area.
[0051]
FIG. 5 is a flowchart showing the flow of barcode recognition processing.
In step 201, first, a unit width as a reference for evaluating the widths of bars and spaces is determined. The smallest bar width in the barcode area is the unit width. The unit width corresponds to the module width of the barcode.
[0052]
In step 202, the leftmost two bars are checked against the left guard bar pattern to test whether it is a left guard. If it is determined to be a left guard, the process proceeds to step 203. Otherwise, go to step 212.
In step 203, the left six digits are recognized for the next 12 bars. In step 204, it is determined whether or not the left six digits have been normally recognized. If it has been completed normally, the process proceeds to step 205. Otherwise, go to step 212.
[0053]
In step 205, a prefix digit is recognized from a combination of even and odd parity of the left six digits. In step 206, it is determined whether the prefix digits have been recognized without contradiction. If it can be recognized without contradiction, the process proceeds to step 206. Otherwise, go to step 212.
In step 207, the next two bars are compared with the center bar pattern to test whether they are center bars. If it is determined that the bar is the center bar, the process proceeds to step 208. Otherwise, go to step 212.
[0054]
In step 208, the right six digits are recognized for the next 12 bars. In step 209, it is determined whether or not the right six digits have been normally recognized. If completed successfully, go to step 210. Otherwise, go to step 212.
In step 210, a check digit test is performed. If there is no contradiction in the check digit, the process proceeds to step 211. Otherwise, go to step 212.
[0055]
The check digit is a numerical value calculated for checking whether there is an error in reading, and the last one digit among the six digits on the right side is a check digit. The check digit is calculated from the 11 digits other than the check digit using the specified calculation method. The calculated result is compared with the read check digit, and if they are equal, it is assumed that there is no contradiction. In the example of FIG. 18, the check digit is a numerical value 4 on the right end.
[0056]
In step 211, it is determined that the recognition is successful, and the process ends. In step 212, the unit width is increased by one pixel. In step 213, it is determined whether or not the increase in unit width is 3 or less. If it is 3 or less, the process proceeds to step 202 and the same recognition process is performed again. Otherwise, go to step 214. In step 214, it is determined that the recognition has failed, and the process ends.
In the left guard test, center bar test, and numerical value recognition, the bar and space widths are compared with a predetermined pattern for evaluation. The evaluation procedure is described below.
[0057]
FIG. 6 is a diagram for explaining the space width, and FIG. 7 is a diagram for explaining the allowable error rate.
The width of the bar and space is an integral multiple of the unit width and is evaluated for each magnification. As shown in FIG. 6, the space width 15 is a width between two adjacent bars 13 and 14. The space width 15 is obtained as follows.
[0058]
For the adjacent bar (L) 13 and bar (L2) 14, the number of pixels between the bars is obtained for each horizontal scanning line. The average of the number of pixels between bars in all the scanning lines shared by the bar (L) 13 and the bar (L2) 14 is defined as a space width 15.
The barcode pattern is defined by a bar or an array of spaces having a width that is an integral multiple of the reference module width (unit width). The width magnifications are 1, 2, 3, and 4, respectively. Here, the narrowest width is 1, and the widest width is 4.
[0059]
The minimum magnification that satisfies the following condition is the magnification of the bar (space) width. That is, the condition is that the bar (space) width is within the range of magnification × unit width ± allowable error.
Here, the allowable error is defined by allowable error = magnification × unit width × allowable error rate. The allowable error rate is defined for each magnification as shown in FIG. Here, the allowable error is given because the influence of missing pixels due to binarization is taken into consideration. When a barcode is photographed with a low-resolution digital camera, the unit width in the image is only about two pixels. When binarization is performed, the bar image has a chipping of about one pixel and expansion noise. When compared as a bar having a width of 2 pixels without an allowable error, the 1-pixel width and the 3-pixel width are recognized as different widths. However, in practice, the 2 pixel width may become 1 pixel width or 3 pixel width due to binarization noise. By providing an allowable error, it is possible to recognize that the width is the same in consideration of the variation in the width.
[0060]
The left guard test in step 202 is performed as follows.
FIG. 8 is a diagram for explaining a left guard width arrangement pattern, and FIG. 9 is a diagram for explaining a left guard bar / space arrangement pattern.
Left guard bar and space width arrangement patterns defined as shown in FIGS. 8 and 9 and the left guard width bar and space arrangement determined based on the width evaluation in the extracted barcode area When the pattern is matched and the pattern matches, it is assumed that the bar is a bar constituting an effective left guard.
[0061]
The numerical values in steps 203 and 208 are recognized as follows.
FIG. 10 is a diagram showing the definition of the arrangement pattern of the bar and space widths with respect to numerical values. FIG. 11 shows combinations of whether the widths 1 to 4 shown in FIG. 10 are bar widths or space widths. FIG. 12 is a flowchart showing the flow of numerical value recognition processing.
[0062]
In FIG. 10, the odd number parity and the even number parity exist in the arrangement pattern of the width for the left six digits. The arrangement of widths shown in FIG. 10 is for odd parity. In the case of even parity, the same table is read from the opposite direction, that is, width 4, width 3, width 2, and width 1. For example, the numerical value 9 for odd parity is represented by an arrangement pattern of a triple width space, unit width bar, unit width space, and double width bar from the left. Space, a double-width bar, a double-width space, and a double-width bar arrangement pattern (refer to the first and second data characters on the left side of FIG. 18).
[0063]
In FIG. 11, since the arrangement pattern of bars and spaces is different between the left six digits and the right six digits from the center bar, two types of patterns are defined in FIG. For example, the number 6 with odd parity on the right side is represented by the arrangement pattern of the unit width bar, the unit width space, the unit width bar, and the quadruple space from the left (the first data on the right side in FIG. 18). Character reference).
[0064]
In the flowchart of FIG. 12, in step 301, the target bar and space width arrangement pattern is obtained for the left six-digit data character in the same procedure as the left guard test.
In step 302, the above-described width evaluation is performed using the collation patterns defined in FIGS. 10 and 11, and it is examined in order whether or not the patterns of the bar and space arrangement match. In the left six digits, the width pattern of odd parity or the width pattern of even parity is checked sequentially.
[0065]
If it is determined in step 303 that the patterns match, the process proceeds to step 304. Otherwise, go to step 307. In step 304, the width difference between the actual width obtained from the input image and the specified width pattern is obtained. The width difference is the sum of the differences between the four corresponding widths.
[0066]
In step 305, if the width difference is smaller than that found so far, the process proceeds to step 306. Otherwise, go to step 307.
In step 306, a numerical value corresponding to the pattern is stored as a recognition candidate numerical value. At the same time, the type of odd parity or even parity is also stored. Note that the initial value of the width difference is set to the maximum value.
[0067]
If it is determined in step 307 that the processing has been completed for all the collation patterns (numerical values 0 to 9) shown in FIG. Otherwise, the process proceeds to step 302 and the process is repeated for the next matching pattern.
In step 308, if the pattern matches the specified numerical value pattern, the numerical value is set as a recognition result, the process proceeds to step 309, and the process ends as a recognition success. Otherwise, it is recognized as unsuccessful, and the process proceeds to step 310 to end the process.
The prefix digit recognition at step 205 is performed as follows.
[0068]
FIG. 13 is a diagram showing a combination result (prefix digit) of odd parity and even parity, FIG. 14 is a diagram showing an arrangement pattern of center bar widths, and FIG. 15 is a diagram of center bar bars and spaces. It is a figure which shows an arrangement pattern.
[0069]
In step 205, the prefix digits are recognized from the odd parity and even parity records when all the left six digits have been successfully recognized. The combination result of the odd parity and the even parity is as shown in FIG. 13, and it is searched from the table and the matched one is recognized as the prefix digit. When no matching combination is found, recognition of the prefix digit is a failure and the process ends. In the example of FIG. 18, the left 6-digit data character 5 is odd parity 9, even parity 1, odd parity 2, odd parity 3, odd parity 4, even parity 4, and even parity 5. Is 101100, the prefix digit 8 is 4 from FIG. 13 (displayed at the left end of FIG. 18).
The center bar test in step 207 performs pattern matching in the same manner as the left guard test. The arrangement pattern of the bar and space width used for the center bar test is as shown in FIGS.
[0070]
In addition, this invention is not limited to the said embodiment, It can change and implement variously.
It is also possible to incorporate the barcode recognition apparatus of the present invention into a mobile phone. By incorporating the barcode recognition device into the mobile phone, barcode recognition can be easily performed anywhere, and the barcode recognized by the barcode recognition device can be transmitted immediately.
[0071]
FIG. 16 is a block diagram when the barcode recognition apparatus of the present invention is incorporated into a camera built-in mobile phone. The camera built-in mobile phone has an antenna 21 for transmitting and receiving radio waves and a wireless unit 22 for controlling transmission and reception of wireless communication. A key input unit 23 for inputting and generating key operation information from the user, a display unit 24 for displaying character information and image information to the user, a speaker 25 for outputting an audio signal, a microphone 26 for inputting an audio signal from the user, receiving or A storage memory 27 that stores input character information, image information, and audio signals, a camera 28 that inputs target image information, and a control unit 29 that controls each part are incorporated. .
[0072]
In the camera built-in mobile phone having the above configuration, when the barcode is recognized from the image information (barcode) input from the camera 28, the user operates the key input unit 23 to select the camera operation. The control unit 29 initializes the camera 28 based on the setting from the key input unit, and starts capturing image information (barcode). Image information (barcode) captured from the camera 28 is transferred to the storage memory 27 via the control unit 29. The control unit 29 transfers the image information (barcode) stored in the storage memory 27 to the display unit 24 and displays the image information (barcode). In addition, by continuously capturing and displaying image information (barcode), the user can confirm the camera image as a moving image. On the other hand, the image information (barcode) stored in the storage memory 27 is transferred to the control unit 29 having the barcode recognition device, and barcode recognition is performed in the barcode recognition processing described in the present embodiment. If the recognition is successful, the recognition result is transferred to the storage memory 27 and stored as barcode data in the storage memory 27.
[0073]
Next, the operation when the barcode data stored in the storage memory 27 is connected to the wireless or Internet and transmitted to the transmission destination will be described with reference to FIG. The user operates the key input unit 23 to select connection to the wireless or the Internet. The control unit 29 instructs the radio unit 22 to connect to the radio or the Internet based on the setting from the key input unit. The wireless unit 22 starts connection to the wireless or the Internet based on an instruction from the control unit 29. The user operates the key input unit 23 to select transmission of barcode data stored in the storage memory 27. Based on the setting from the key input unit 23, the control unit 29 transfers the barcode data stored in the storage memory 27 to the wireless unit 22 and instructs transmission. Based on an instruction from the control unit 29, the wireless unit 22 transmits the transferred barcode data to the wireless or the Internet. The barcode data transmitted from the wireless unit 22 is transmitted to the URL data server 32 via the wireless network 33. The URL data server 32 controls the operation of the wireless network 33 of the mobile phone terminal 34 and the gateway of the Internet 31. The URL data server 32 retrieves the destination URL from the received barcode data and URL database, connects to the Internet 31, and transfers the barcode data to the destination. The result of the transfer completion is transmitted to the portable terminal 34.
[0074]
The present invention can also be realized as a program that causes a computer to function as a barcode recognition device, and also as a recording medium that records the program.
The electronic mail communication apparatus of the present invention is also realized by a program for causing the electronic mail communication apparatus to function. This program may be stored in a computer-readable recording medium.
[0075]
As this recording medium, the ROM itself incorporated in the barcode recognition device may be a program medium, or the barcode recognition device is connected to a program reading device such as a CD-ROM drive and the recording medium is inserted therein. It may be a program medium such as a CD-ROM that can be read by the computer. In any case, the stored program may be configured to be accessed and executed by the CPU. The program is read out, and the read program is downloaded to a program storage area (not shown). A method in which the program is executed may be used. It is assumed that this download program is stored in the main device in advance.
[0076]
Here, the program medium is a recording medium configured to be separable from the main body, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a floppy disk or a hard disk, or a CD-ROM / MO / MD / DVD. Even a medium carrying a fixed program, including a disk system of an optical disk, a card system such as an IC card (including a memory card) / optical card, or a semiconductor memory such as a mask ROM, EPROM, EEPROM, flash ROM, etc. Good.
[0077]
Furthermore, it may be a medium that fluidly carries a program so that the program is downloaded from a communication network via a transmission unit and a reception unit of a mobile phone including a barcode recognition device. When the program is downloaded from the communication network as described above, the download program may be stored in the apparatus main body in advance or may be installed from another recording medium. The content stored in the recording medium is not limited to a program, and may be data.
[0078]
【The invention's effect】
As described above, according to the present invention, a barcode can be recognized with higher accuracy than a captured barcode image by a camera used in a small image sensor built in a portable terminal. Further, according to the present invention, since the barcode can be recognized even when a low resolution camera is used, the barcode can be read without adding a barcode reader.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a flow of barcode recognition processing.
FIG. 2 is a diagram illustrating an example of a labeling process.
FIG. 3 is a flowchart (first half) showing a flow of search processing for adjacent bars.
FIG. 4 is a flowchart (second half) showing a flow of search processing for adjacent bars.
FIG. 5 is a flowchart showing a flow of barcode recognition processing.
FIG. 6 is a diagram for explaining a space width;
FIG. 7 is a diagram for explaining an allowable error rate.
FIG. 8 is a diagram for explaining a left guard width arrangement pattern;
FIG. 9 is a diagram for explaining an arrangement pattern of bars and spaces of a left guard.
FIG. 10 is a diagram illustrating a pattern of widths with respect to numerical values.
11 is a diagram showing a combination of whether the widths 1 to 4 shown in FIG. 10 are bar widths or space widths.
FIG. 12 is a flowchart showing the flow of a numerical value recognition process.
FIG. 13 is a diagram showing a combination result (prefix digit) of odd parity and even parity;
FIG. 14 is a diagram showing an arrangement pattern of center bar widths;
FIG. 15 is a diagram illustrating an arrangement pattern of bars and spaces of a center bar.
FIG. 16 is an explanatory diagram of a configuration of a camera built-in mobile phone.
FIG. 17 is a diagram showing a connection of a mobile phone terminal to the Internet.
FIG. 18 is an explanatory diagram of a barcode configuration.
FIG. 19 is a diagram illustrating a relationship between detection frequency and width.
FIG. 20 is a flowchart showing a flow of conventional barcode extraction processing.
FIG. 21 is a diagram for explaining condition (1) for an adjacent bar;
FIG. 22 is a diagram for explaining a condition (2) for an adjacent bar.
FIG. 23 is a diagram for explaining a condition (3) of an adjacent bar.
[Explanation of symbols]
1 Barcode
2 Left guard bar
3 Center bar
4 Light guard bar
5 Left data character
6 Right data character
7 Check digit
8 Prefix digits
9 Horizontal scan line
10-12 labels
13-14 bar
15 space width
21 Antenna
22 Radio section
23 Key input part
24 display
25 Speaker
26 microphone
27 Memory
28 Camera
29 Control unit
31 Internet
32 URL data server
33 Wireless network
34 Mobile phone terminals

Claims (14)

Pre-processing means for pre-processing the input image, binarization processing means for binarizing the pre-processed input image, and labeling the input image after the binarization processing Labeling means; barcode area extracting means for extracting a barcode area from the input image after labeling;
Barcode recognition means for recognizing a barcode from the extracted barcode area,
The labeling means performs labeling by assigning an individual numerical value for each connected pattern to the input image, and from the input image labeled by the labeling means, the bar width Is defined by the number of black pixels of the label relating to the bar / the height in the vertical direction.   2. The barcode recognition apparatus according to claim 1, wherein the preprocessing means performs histogram conversion.   The barcode recognition apparatus according to claim 1 or 2, wherein the binarization processing unit uses a discriminant analysis method as a threshold value determination method in the binarization of the image.   The bar code recognition apparatus according to any one of claims 1 to 3, wherein when collating the width of the bar or space, an allowable range of the width corresponding to the width is set.   The bar code area extraction means extracts bar adjacency, determines the left end of the bar and the right end of the bar from the adjacency, and has a predetermined value of the number of bars between the left end of the bar and the right end of the bar 5. The barcode recognition apparatus according to claim 1, wherein the barcode area is extracted by matching with the barcode area.   The adjacency relationship between the bars satisfies that there is a scanning line shared by the two bars, that the height difference between the two bars is within a certain range, and that the distance between the two bars is within a certain range. The range of the bar height difference and the bar interval range are determined adaptively from the height and width of the reference bar, according to claim 5. Bar code recognition device.   Barcode recognition uses the minimum width of the bars in the barcode area extracted by the barcode area extraction means as the unit width, and the width of the bar and space that are integral multiples of this unit width in the extracted barcode area. 7. The bar code recognition apparatus according to claim 5, wherein the bar code recognizing apparatus is configured by collating the pattern of the pattern and the pattern of the bar and space width defined in advance.   8. The barcode recognition apparatus according to claim 7, wherein the barcode recognition is repeatedly performed while changing the unit width.   A mobile phone comprising the barcode recognition device according to any one of claims 1 to 8. A step of pre-processing the input image, a step of binarizing the input image after the pre-processing, a step of labeling the input image after the binarization processing, and after the labeling A step of extracting a barcode area from the input image, and a step of recognizing a barcode from the extracted barcode area,
In the labeling step, the input image is labeled by assigning an individual numerical value to each connected pattern, and the input image is labeled by the labeling step. The bar width is defined by the number of black pixels of the label relating to the bar / the height in the vertical direction. A program for causing a computer to execute the barcode recognition method according to claim 10.   A computer-readable recording medium on which the program according to claim 11 is recorded. Pre-processing means for pre-processing the input image, binarization processing means for binarizing the pre-processed input image, and labeling the input image after the binarization processing Labeling means; barcode area extracting means for extracting a barcode area from the input image after labeling;
Barcode recognition means for recognizing a barcode from the extracted barcode area,
The bar code recognition apparatus characterized in that the preprocessing means obtains a differential value of luminance relating to a pixel, sets a pixel having the differential value equal to or greater than a threshold value as an edge portion, and performs histogram conversion on the edge portion.   A mobile phone comprising the barcode recognition device according to claim 13.

Images