JP2015169963A - Object detection system and object detection method - Google Patents
Object detection system and object detection method Download PDFInfo
- Publication number
- JP2015169963A JP2015169963A JP2014042148A JP2014042148A JP2015169963A JP 2015169963 A JP2015169963 A JP 2015169963A JP 2014042148 A JP2014042148 A JP 2014042148A JP 2014042148 A JP2014042148 A JP 2014042148A JP 2015169963 A JP2015169963 A JP 2015169963A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- parameter
- image
- display
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、オブジェクト検出システム、およびオブジェクト検出方法に関する。 Embodiments described herein relate generally to an object detection system and an object detection method.
物体を撮像した画像を解析することで、物体に記載された種々のオブジェクト(マーク、識別形状、文字列、模様その他の視認可能な形状的特徴をいう)、或いは物体自体の構造がなすオブジェクトを検出する技術が知られている。オブジェクトを検出する際には、撮像画像自体、或いは撮像画像の特徴量を、基準となる画像やデータと比較する処理が行われる。基準となる画像やデータは、オブジェクト検出の結果をフィードバックして修正される場合がある。しかしながら、従来の技術では、オブジェクトの検出精度を向上させることができない場合があった。 By analyzing an image of an object, various objects described in the object (marks, identification shapes, character strings, patterns and other visible geometric features), or objects formed by the structure of the object itself Techniques for detecting are known. When an object is detected, a process of comparing the captured image itself or the feature amount of the captured image with a reference image or data is performed. The reference image or data may be corrected by feeding back the object detection result. However, in the conventional technique, the object detection accuracy may not be improved.
本発明が解決しようとする課題は、システムを運用しながらオブジェクトの検出精度を向上させることができるオブジェクト検出システム、およびオブジェクト検出方法を提供することである。 The problem to be solved by the present invention is to provide an object detection system and an object detection method capable of improving object detection accuracy while operating the system.
実施形態のオブジェクト検出システムは、取得部と、パラメータ算出部と、オブジェクト検出部と、情報管理部と、表示制御部とを持つ。取得部は、物体を撮像した画像を取得する。パラメータ算出部は、前記取得部により取得された画像に含まれるオブジェクトを構成する構成要素を検出し、前記構成要素の幾何的パラメータを算出する。オブジェクト検出部は、前記パラメータ算出部により算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出する。情報管理部は、前記オブジェクト検出部により検出されたオブジェクトの種類毎に、少なくとも前記パラメータ算出部により算出された幾何的パラメータを記憶部に蓄積する。表示制御部は、前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる。 The object detection system according to the embodiment includes an acquisition unit, a parameter calculation unit, an object detection unit, an information management unit, and a display control unit. The acquisition unit acquires an image obtained by imaging an object. The parameter calculation unit detects a component constituting an object included in the image acquired by the acquisition unit, and calculates a geometric parameter of the component. The object detection unit detects the type of the object based on a comparison between the geometric parameter calculated by the parameter calculation unit and a reference parameter set for each type of object. The information management unit accumulates at least the geometric parameters calculated by the parameter calculation unit in the storage unit for each type of object detected by the object detection unit. The display control unit causes the display unit to display an image based on the distribution of the geometric parameters accumulated in the storage unit.
以下、実施形態のオブジェクト検出システム、およびオブジェクト検出方法を、図面を参照して説明する。 Hereinafter, an object detection system and an object detection method of an embodiment will be described with reference to the drawings.
図1は、実施形態のオブジェクト検出システム1の構成例を示す図である。オブジェクト検出システム1は、例えば、搬送機構CVにより搬送される郵便書状や小包などの配達物Dを、カメラCAによって撮像された画像を取得し、画像に含まれる料額印(料金の支払いを示す印)などのオブジェクトOBを自動的に検出するシステムである。なお、カメラCAは、一定の平面領域を撮像するカメラであってもよいし、ラインセンサであってもよい。
FIG. 1 is a diagram illustrating a configuration example of an
オブジェクト検出システム1は、例えば、入力部10と、表示部20と、記憶部30と、画像入力部40と、構成要素検出/パラメータ算出部50と、オブジェクト検出部52と、結果出力部54と、情報管理部56と、表示制御/解析部58とを備える。
The
入力部10は、例えば、キーボードやマウス、タッチパネル等の入力デバイスである。表示部20は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)表示装置である。記憶部30は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)などの記憶装置である。記憶部30は、パラメータ蓄積部32と、基準パラメータ記憶部34とを備える。画像入力部40は、カメラCAとオブジェクト検出システム1とを接続するネットワークに接続するためのネットワークカードなどを含む。なお、画像入力部40は、画像データの格納された電子媒体と接続され、あらかじめ撮影しておいた検出対象の画像を入力してもよい。
The
構成要素検出/パラメータ算出部50、オブジェクト検出部52、結果出力部54、情報管理部56、および表示制御/解析部58は、例えば、オブジェクト検出システム1の図示しないプロセッサがプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)などのハードウェア機能部であってもよい。
For example, the component detection /
なお、オブジェクト検出システム1は、2以上の装置を含むものであってよい。図2は、実施形態のオブジェクト検出システム1の構成の他の例を示す図である。図示するように、オブジェクト検出システム1は、画像入力部(取得部)40、構成要素検出/パラメータ算出部50、オブジェクト検出部52、および結果出力部54を有するオブジェクト検出装置2と、入力部10および表示制御/解析部48を有する検出結果解析装置3とを備える構成であってもよい。オブジェクト検出装置2と検出結果解析装置3は、LAN(Local Area Network)などによって接続される。図2の構成において、記憶部30および情報管理部56は、オブジェクト検出装置2と検出結果解析装置3とのいずれの側に備えられてもよく、オブジェクト検出装置2や検出結果解析装置3とは別体のものであってもよい。
The
[オブジェクト検出処理]
以下、オブジェクト検出システム1が実行するオブジェクト検出処理の内容について説明する。構成要素検出/パラメータ算出部50は、画像入力部40により取得された画像に含まれるオブジェクトOBの幾何的パラメータを算出する。図3は、配達物D上に押印される料額印であるオブジェクトOB(オブジェクトOB1、OB2)を例示した図である。図示するように、オブジェクトOBは、例えば、特定の図形(円や楕円、矩形など)や文字列などが組み合わされたものである。また、オブジェクトOBは、切手の端を模擬した波線模様や、波線によって囲まれた矩形、模様などを含んでもよい。
構成要素検出/パラメータ算出部50は、オブジェクトOBを、複数の構成要素の組み合わせとして検出し、それぞれの構成要素についての幾何的パラメータを算出する。幾何的パラメータは、数値で表される情報である。図4は、オブジェクトOBを構成する構成要素の一例を示す図である。図示するように、構成要素検出/パラメータ算出部50は、円内に文字列を含むオブジェクトOB1については、円OBC、および文字列OBLを構成要素として検出する。また、構成要素検出/パラメータ算出部50は、矩形内に文字列を含むオブジェクトOB2については、矩形OBS、および文字列OBLを構成要素として検出する。
[Object detection processing]
Hereinafter, the contents of the object detection process executed by the
The component detection /
図5〜7は、構成要素検出/パラメータ算出部50が算出する各構成要素の幾何的パラメータを例示した図である。図5に示すように、構成要素検出/パラメータ算出部50は、円OBCについて半径OBC1を、矩形OBSについて各辺の長さOBS1、OBS2を、幾何的パラメータとして算出する。また、図6に示すように、構成要素検出/パラメータ算出部50は、文字列OBLについて、文字列の長さOBL1、高さ(縦書きである場合は、幅)OBL2、一つの文字の幅(縦書きである場合は、高さ)OBL3、文字間隔OBL4を、幾何的パラメータとして算出する。また、図6に示すように、構成要素検出/パラメータ算出部50は、文字列OBLについて、文字列OBLが含まれる矩形OBSにおける配置(左端および上端からの距離OBL5、OBL6)を、幾何的パラメータとして算出してもよい。また、構成要素検出/パラメータ算出部50は、オブジェクトOBについて配達物Dの左端および上端からの距離OBD1、OBD2を、幾何的パラメータとして算出する。これらの他、構成要素検出/パラメータ算出部50は、構成要素が波線である場合は、ピッチ、位相、角度、ある点からの距離などを、幾何的パラメータとして算出してもよいし、矩形における一辺と他の辺との長さ比など、幾何的パラメータ同士の相対関係を示す値を、幾何的パラメータとして算出してもよい。
5 to 7 are diagrams illustrating examples of geometric parameters of each component calculated by the component detection /
ここで、構成要素検出/パラメータ算出部50によるオブジェクトOBの構成要素の検出手法について説明する。構成要素検出/パラメータ算出部50は、構成要素が円OBCである場合、例えばハフ変換によって、円の中心座標と半径を投票処理により求める。また、構成要素検出/パラメータ算出部50は、構成要素が矩形OBSである場合、ハフ変換により直線の角度θと原点からの距離ρを検出した後、角度、端点位置、直線間の距離等をもとに、矩形を構成する四辺を選出し、矩形検出結果とする。四辺の選出方法としては、例えば、平行な二個の直線と、それと直交する別の平行な二個の直線を選出し、直線の端点がそれと直交する二個の平行な直線上またはその間にあることを検証し、この条件が四直線すべてについて見たされる場合に、矩形を構成する直線として選出する方法が採用される。また、構成要素検出/パラメータ算出部50は、構成要素が文字列OBLである場合、例えば、二値画像のラベリング処理により得られる連結領域を文字候補として抽出し、文字候補が水平方向に並んだ部分を文字列として検出する。また、構成要素検出/パラメータ算出部50は、構成要素が波線の場合、波線を周期関数で近似し、その軸の直線としての二つのパラメータ(角度θ、原点からの距離ρ)に、周期関数の周期ω、振幅A、位相αの三つのパラメータを加え、ハフ変換と同様に投票処理によって値を決定する。この場合、検出対象の波線の周期、振幅は固定とし、投票で求めるのは角度θ、原点からの距離ρ、位相αの三つのパラメータに限定してもよい。なお、構成要素検出/パラメータ算出部50は、処理の高速化、効率化のため、後述する基準パラメータ記憶部34に記憶された基準パラメータを元に、検出対象をあらかじめ限定して処理を行ってもよい。
Here, a method of detecting the constituent elements of the object OB by the constituent element detection /
また、構成要素検出/パラメータ算出部50は、オブジェクトOBの構成要素の検出の信頼度を表す検出スコアを算出してよい。例えば、構成要素検出/パラメータ算出部50は、構成要素が円OBCや矩形OBSである場合、円弧上や矩形の直線上の画素における黒画素(輝度が閾値未満の画素)の割合を、検出スコアとして算出する。また、構成要素検出/パラメータ算出部50は、円弧や矩形の直線の近傍の画素における、白画素(輝度が閾値以上の画素)の数や割合も、併せて利用してもよい。構成要素検出/パラメータ算出部50は、構成要素が文字列OBLである場合、各文字の文字認識スコアの平均などを、検出スコアとして算出する。ここで、料額印の「料金後納郵便」といった特定の文字列の場合は、該当する単語として認識した場合の文字認識スコアを使ってもよい。また、料金のように数字と決まっている場合は、いずれかの数字として認識した場合の文字認識スコアを使ってもよい。
In addition, the component element detection /
オブジェクト検出部52は、構成要素検出/パラメータ算出部50により算出された幾何的パラメータと、基準パラメータ記憶部34に記憶された基準パラメータとを比較して、オブジェクトOBを検出する。ここで、基準パラメータは、オブジェクトOB毎に、更にそのオブジェクトOBを構成する構成要素毎に設定されている値であり、例えば、上限値、下限値、および標準値を含む。図8は、基準パラメータ34に記憶される基準パラメータの一例を示す図である。
The
オブジェクト検出部52は、例えば、構成要素検出/パラメータ算出部50により算出された幾何的パラメータの全てが基準パラメータの上限値と下限値の間に収まっている場合に、該当するオブジェクトOBが画像に含まれていると判定する。また、オブジェクト検出部52は、一部の幾何的パラメータが基準パラメータの上限値と下限値の間に収まらない場合であっても、他の幾何的パラメータが標準値に近い場合には、該当するオブジェクトOBが画像に含まれていると判定してよい。このように、オブジェクト検出部52は、複数の構成要素についてそれぞれ基準パラメータと比較した結果に基づいて、オブジェクトOBが画像に含まれているか否かを総合的に判定する。
For example, when all of the geometric parameters calculated by the component element detection /
また、オブジェクト検出部52は、構成要素検出/パラメータ算出部50により算出される検出スコアを利用して、該当するオブジェクトOBが画像に含まれているか否かを判定してもよい。この場合、オブジェクト検出部52は、検出スコアの性質(例えば、最大値が100であるか、200であるか等)に応じて、検出スコアに対して重み付けを行って合計した加重和を基準値と比較することにより、該当するオブジェクトOBが画像に含まれているか否かを判定してもよい。また、オブジェクト検出部52は、検出対象のオブジェクトOBに含まれる特定のパラメータの値をもつ特定の二個以上の図形(構成要素)の同時出現頻度が低い場合は、その二個の図形が同時に検出された場合に、検出スコアを高く重み付けしてもよい。
Further, the
結果出力部54は、オブジェクト検出部52による検出結果を出力する。検出結果の出力先は、例えば、図示しない配達物Dの仕分け装置である。仕分け装置は、オブジェクト検出部52による検出結果を参照し、様々な処理を行う。
The
情報管理部56は、オブジェクト検出部52により検出されたオブジェクトOBの種類毎に、少なくとも構成要素検出/パラメータ算出部50により算出された幾何的パラメータを、記憶部30のパラメータ蓄積部32に蓄積する。また、情報管理部56は、幾何的パラメータに加えて、構成要素検出/パラメータ算出部50により算出された検出スコア等を、パラメータ蓄積部32に蓄積してもよい。また、情報管理部56は、オブジェクト検出部52によりオブジェクトOBの種類が特定されなかった場合でも、最も確からしいオブジェクトOBと対応付けて、構成要素検出/パラメータ算出部50により算出された幾何的パラメータなどを、パラメータ蓄積部32に蓄積してよい。なお、情報管理部56の機能は、構成要素検出/パラメータ算出部50やオブジェクト検出部52に埋め込まれてもよい。
The
ここで、情報管理部56は、原則的に、幾何的パラメータや検出スコアといった数値化された情報のみ記憶部30に記憶させる。これによって、カメラCAから入力された画像を記憶部30に記憶させる場合に比して、記憶部30の記憶容量や、画像を記憶させる際に要する転送時間などを節約することができる。
Here, in principle, the
図9は、以上説明したオブジェクト検出段階における処理の流れの一例を示すフローチャートである。まず、オブジェクト検出システム1のプロセッサは、基準パラメータ記憶部34から基準パラメータを読み込む(ステップS100)。次に、画像入力部40が、カメラCAからの画像を入力し(ステップS102)、構成要素検出/パラメータ算出部50が、構成要素を検出し(ステップS104)、検出した構成要素についてパラメータを算出する(ステップS106)。そして、オブジェクト検出部52が、オブジェクトOBが画像に含まれているか否かを判定し(オブジェクト判定;ステップS108)、結果出力部54が、オブジェクト検出部52による検出結果を出力する(ステップS110)。ステップS102〜S110の処理が、画像の入力が終了されるまで実行される(ステップS112)。
FIG. 9 is a flowchart showing an example of the processing flow in the object detection stage described above. First, the processor of the
[検出結果解析処理]
ここで、カメラCAによって撮像されるオブジェクトOBは、様々な種類があったり、大きさや形状がバラつく場合がある。このため、初期値として与えられた基準パラメータをそのまま継続して使用すると、誤検出や検出漏れが発生する可能性を排除することができない。そこで、実施形態のオブジェクト検出システム1では、記憶部30のパラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させて調整者に見せたり、パラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づいて、基準パラメータの修正を調整者に促したり、基準パラメータを自動的に修正する処理を行ったりする。基準パラメータの修正は、調整者が入力部10に対して入力操作をすうことで実施することができる。以下、このような検出結果解析処理について説明する。
[Detection result analysis processing]
Here, the object OB imaged by the camera CA may have various types, and the size and shape may vary. For this reason, if the reference parameter given as the initial value is continuously used as it is, the possibility of erroneous detection or detection omission cannot be excluded. Therefore, in the
表示制御/解析部58は、記憶部30のパラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させる。表示制御/解析部58は、例えば、ある一つのオブジェクトOBについて、幾何的パラメータの出現頻度に基づくヒストグラムを含む画像を、表示部20に表示させる。図10は、幾何的パラメータの出現頻度に基づくヒストグラムが含まれる表示画像IM1を例示した図である。ここで、幾何的パラメータの出現頻度は、構成要素の検出スコアが一定以上のものに対象を限定したり、検出スコアにより重みづけしたりしてもよい。こうすれば、表示画像IM1を見た調整者は、幾何的パラメータがどのような分布で検出されるのか、その傾向を把握することができる。
The display control /
また、表示制御/解析部58は、複数の幾何的パラメータのヒストグラムを重畳させた画像を、表示部20に重畳表示させてもよい。図11は、複数の幾何的パラメータの出現頻度に基づくヒストグラムが重畳された表示画像IM2を例示した図である。この場合、表示制御/解析部58は、複数の幾何的パラメータを、比較容易となるように正規化した上で、グラフに表示させてよい。こうすれば、表示画像IM2を見た調整者は、幾何パラメータ間の分布の傾向の相違を容易に把握することができる。
Further, the display control /
また、表示制御/解析部58は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像を表示部20に表示させてもよい。図12は、幾何的パラメータの出現頻度を表現した画像IM3を例示した図である。図中、OB*は標準的な構成要素を表現した合成画像であり、Gは濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した部分である。こうすれば、表示画像IM3を見た調整者は、幾何的パラメータの分布を、直感的に把握することができる。
In addition, the display control /
また、表示制御/解析部58は、幾何的パラメータの出現頻度に基づくヒストグラムと、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLとを重畳させて、表示部20に重畳表示させてもよい。図13は、幾何的パラメータの出現頻度に基づくヒストグラムと、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLとを重畳させた表示画像IM4を例示した図である。こうすれば、表示画像IM4を見た調整者は、基準パラメータと、幾何的パラメータの分布とが適正に合致しているか否かを把握することができる。
The display control /
また、表示制御/解析部58は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像と、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLに対応する合成画像とを重畳させて、表示部20に重畳表示させてもよい。図14は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像と、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLに対応する合成画像とを重畳させた表示画像IM5を例示した図である。こうすれば、表示画像IM5を見た調整者は、基準パラメータと、幾何的パラメータの分布とが適正に合致しているか否かを直感的に把握することができる。
In addition, the display control /
また、表示制御/解析部58は、幾何的パラメータ自体ではなく、オブジェクトOBの構成要素毎の検出スコアに基づく画像を、表示部20に表示させてもよい。図15は、オブジェクトOBの複数の構成要素毎の検出スコアの出現頻度に基づくヒストグラムを含む表示画像IM6を例示した図である。この場合、表示制御/解析部58は、複数の検出スコアを、比較容易となるように正規化した上で、グラフに表示させてよい。こうすれば、表示画像IM6を見た調整者は、各構成要素がどのような検出スコアで検出するのかを把握することができ、必要に応じて検出ロジックを調整することが可能となる。
Further, the display control /
表示制御/解析部58は、上記例示した各種画像を切り替えるためのユーザインターフェースを提供するように表示部20を制御してよい。ユーザインターフェースは、たとえば、検出対象のオブジェクトOBの画像に重畳させて、それに関わる幾何的パラメータを示し、ユーザが幾何的パラメータを示す記号や領域をクリックすることで、その幾何的パラメータの出現頻度ヒストグラムを表示するものである。
The display control /
以下、表示制御/解析部58による解析処理について説明する。表示制御/解析部58は、パラメータ蓄積部32に蓄積された幾何的パラメータの分布と、基準パラメータとが乖離している場合に、警告表示を表示部20に表示させる。「幾何的パラメータの分布と、基準パラメータとが乖離している」とは、例えば、分布の所定割合(例えば95[%])が、基準パラメータの上限値と下限値の間に収まっていないことをいう。また、幾何的パラメータの平均値、最頻値、中央値などが、基準パラメータの標準値から一定割合以上離れている場合も、「幾何的パラメータの分布と、基準パラメータとが乖離している」ことに該当し得る。前述したように、オブジェクト検出部52は、複数の構成要素についてそれぞれ基準パラメータと比較した結果に基づいて、オブジェクトOBが画像に含まれているか否かを総合的に判定する。従って、総合的には、あるオブジェクトOBに該当すると判定された場合であっても、基準パラメータと乖離した構成要素を含む場合がある。表示制御/解析部58は、上記のような解析処理を行うことによって、構成要素の一部が基準パラメータと乖離しているのを発見し、調整者に通知、または基準パラメータを自動的に修正する。例えば、図16に示すオブジェクトは、二つの円OBC1、OBC2と、矩形OBS1と、三つの文字列OBL1、OBL2、OBL3で構成されるが、これらのうち、外側の円OBC1の検出頻度が、内側の円OBC2、矩形OBS1等の検出頻度と比較して極端に低い場合、外側の円OBC1は、オブジェクトOBの検出に用いる図形として不適切である可能性があるため、調整者に警告を表示する。
Hereinafter, analysis processing by the display control /
また、表示制御/解析部58は、オブジェクト検出部52が総合的に判定する際に用いる検出スコアの重み付けが適正であるか否かを判定し、判定結果を調整者に通知、または重み付け係数を自動的に修正してよい。例えば、表示制御/解析部58は、オブジェクトOBを構成する構成要素の、重み付け係数により重みづけした検出スコアが、比較的高い値をとり、単体で検出された、つまりオブジェクトOBを構成する可能性の少ない構成要素の、重みづけした検出スコアが比較的低い値をとる場合に、検出スコアの出現頻度が検出スコアの重みづけの係数と合致していると判定する。
In addition, the display control /
表示制御/解析部58は、基準パラメータの調整のためのユーザインターフェースを調整者に提供するように表示部20を制御する。入力方法は、数値の入力、スライダーやボタンといったGUI画面を利用した入力、表示された画面上でパラメータ値設定範囲を示す記号を直接マウス等でドラッグする方法がある。
The display control /
基準パラメータの修正場面において、表示制御/解析部58は、まず、調整者の操作により、或いは自動的に、一定期間、幾何的パラメータや検出スコアだけでなく、特定の幾何的パラメータを有するオブジェクトOBの元画像を保存するモード(画像保存モード)に移行するように情報管理部56に指示する。調整者は、保存された元画像を確認し、出現頻度が高い幾何的パラメータをもつオブジェクトOBが、検出対象のオブジェクトOBと同じものであるか、異なるものであるかを判断する。同じものである場合、調整者は、検出された幾何的パラメータの出現頻度に合わせて、基準パラメータを修正する。異なるものである場合、調整者は、異なるオブジェクトOBの構成要素として、基準パラメータを新たに登録する。
In the correction process of the reference parameter, the display control /
一方、元画像に、検出すべきでないオブジェクトOB、例えば企業のロゴなどの図形が撮像されている場合などは、以降の誤検出を避けるため、リジェクトリストに入れる。リジェクトリストとは、検出しないオブジェクトOBのリストであり、基準パラメータと同様の形式で、構成要素の組み合わせと、幾何的パラメータの値の範囲が記述されたデータである。このリストによって、例えば、検出したい料額印が二つの円と一つの矩形で構成され、検出対象でない企業ロゴが、料額印と同じサイズの二つの円と二つの矩形で構成される場合、リジェクトリストに二つの円と二つの矩形の組み合わせを登録しておくことで、矩形が一つの場合は料額印として検出し、矩形が二つの場合は検出しないようにし、誤検出を防ぐことができる。 On the other hand, if an object OB that should not be detected is captured in the original image, for example, a graphic such as a company logo, it is placed in the reject list in order to avoid subsequent erroneous detection. The reject list is a list of objects OB that are not detected, and is data in which a combination of components and a range of values of geometric parameters are described in the same format as the reference parameter. According to this list, for example, if the fee stamp to be detected is composed of two circles and one rectangle, and the company logo not to be detected is composed of two circles and two rectangles of the same size as the fee stamp, By registering a combination of two circles and two rectangles in the reject list, if there is only one rectangle, it will be detected as a fee stamp, and if there are two rectangles, it will not be detected, thus preventing false detection. it can.
また、表示制御/解析部58は、上記と同様に画像保存モードに移行して元画像を保存した後、出現頻度が高い幾何的パラメータ値をもつオブジェクトOBが、検出対象のオブジェクトOBと同じものであるか、異なるものであるかを、テンプレートマッチング等の画像処理により自動的に判定してもよい。同じオブジェクトOBであると判定された場合には、検出された構成要素の幾何的パラメータの出現頻度に合わせて、基準パラメータを修正する。異なるオブジェクトOBまたは検出すべきオブジェクトOBでない場合は、表示部20に警告を表示させる。
In addition, after the display control /
図17は、以上説明した検出結果解析段階における処理の流れの一例を示すフローチャートである。まず、オブジェクト検出システム1のプロセッサは、基準パラメータ記憶部34から基準パラメータを読み込む(ステップS200)。次に、表示制御/解析部58は、パラメータ蓄積部32に蓄積された情報を読み込み(ステップS202)、幾何的パラメータや検出スコアの解析を行う(ステップS204)。そして、上記説明した様々な態様で表示画像を表示部20に表示させる(ステップS206)。
次に、表示制御/解析部58は、調整者による入力部10への入力を受け付け(ステップS208)、入力された内容に基づいて、基準パラメータを更新する(ステップS210)。
FIG. 17 is a flowchart showing an example of the processing flow in the detection result analysis stage described above. First, the processor of the
Next, the display control /
以上説明した少なくともひとつの実施形態によれば、オブジェクト検出部52により検出されたオブジェクトOBの種類毎に、少なくとも構成要素検出/パラメータ算出部50により算出された幾何的パラメータを記憶部30に蓄積し、蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させる機能を持つことにより、システムを運用しながらオブジェクトの検出精度を向上させることができる。
According to at least one embodiment described above, at least the geometric parameters calculated by the component detection /
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
1…オブジェクト検出システム、10…入力部、20…表示部、30…記憶部、32…パラメータ蓄積部、34…基準パラメータ記憶部、40…画像入力部、50…構成要素検出/パラメータ算出部、52…オブジェクト検出部、54…結果出力部、56…情報管理部、58…表示制御/解析部、CA…カメラ、D…配達物、OB…オブジェクト
DESCRIPTION OF
Claims (9)
前記取得部により取得された画像に含まれるオブジェクトを構成する構成要素を検出し、前記構成要素の幾何的パラメータを算出するパラメータ算出部と、
前記パラメータ算出部により算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出するオブジェクト検出部と、
前記オブジェクト検出部により検出されたオブジェクトの種類毎に、少なくとも前記パラメータ算出部により算出された幾何的パラメータを記憶部に蓄積する情報管理部と、
前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる表示制御部と、
を備えるオブジェクト検出システム。 An acquisition unit that acquires an image of an object;
A parameter calculation unit for detecting a component constituting an object included in the image acquired by the acquisition unit and calculating a geometric parameter of the component;
An object detection unit for detecting the type of the object based on a comparison between the geometric parameter calculated by the parameter calculation unit and a reference parameter set for each type of object;
For each type of object detected by the object detection unit, an information management unit that accumulates at least a geometric parameter calculated by the parameter calculation unit in a storage unit;
A display control unit that displays on the display unit an image based on the distribution of the geometric parameters accumulated in the storage unit;
An object detection system comprising:
請求項1記載のオブジェクト検出システム。 The display control unit causes the display unit to display an image including a histogram indicating the distribution of the geometric parameters.
The object detection system according to claim 1.
請求項1または2記載のオブジェクト検出システム。 The display control unit causes the display unit to display an image indicating the distribution of the geometric parameter by shading or color change;
The object detection system according to claim 1 or 2.
請求項1から3のうちいずれか1項記載のオブジェクト検出システム。 The display control unit is configured to display an image including a histogram indicating the distribution of the geometric parameter, or an image obtained by superimposing an image indicating the distribution of the geometric parameter with shading or color change and an image based on the reference parameter. , Display on the display unit,
The object detection system according to any one of claims 1 to 3.
前記表示制御部は、前記検出スコアの分布に基づく画像を、前記表示部に表示させる、
請求項1から4のうちいずれか1項記載のオブジェクト検出システム。 The parameter calculation unit outputs a detection score when the component is detected,
The display control unit causes the display unit to display an image based on the distribution of the detection scores.
The object detection system according to any one of claims 1 to 4.
請求項1から5のうちいずれか1項記載のオブジェクト検出システム。 The geometric parameter includes any of a radius of a circle, a length of one side of a rectangle, a length and width of a character string, a character size, and a character spacing.
The object detection system according to any one of claims 1 to 5.
請求項1から6のうちいずれか1項記載のオブジェクト検出システム。 The display control unit causes the display unit to perform a warning display based on a comparison between the geometric parameter distribution stored in the storage unit and the reference parameter.
The object detection system according to any one of claims 1 to 6.
前記記憶部に蓄積された前記画像を調整者に表示した後、前記基準パラメータを更新するための前記調整者による入力を受け付ける、
請求項1から7のうちいずれか1項記載のオブジェクト検出システム。 In a predetermined case, the display control unit is configured to switch to a mode in which an image acquired by the acquisition unit is stored in the storage unit in addition to the geometric parameter calculated by the parameter calculation unit. Instruct
After displaying the image stored in the storage unit to the adjuster, accepting an input by the adjuster for updating the reference parameter;
The object detection system according to claim 1.
前記取得された画像に含まれるオブジェクトを構成する構成要素を検出し、
前記構成要素の幾何的パラメータを算出し、
前記算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出し、
前記検出されたオブジェクトの種類毎に、少なくとも前記算出された幾何的パラメータを記憶部に蓄積し、
前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる、
オブジェクト検出方法。 Get an image of the object,
Detecting components constituting an object included in the acquired image;
Calculating geometric parameters of the component;
Detecting the type of the object based on a comparison between the calculated geometric parameter and a reference parameter set for each type of object;
For each type of detected object, accumulate at least the calculated geometric parameters in a storage unit;
An image based on the distribution of geometric parameters stored in the storage unit is displayed on the display unit.
Object detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014042148A JP2015169963A (en) | 2014-03-04 | 2014-03-04 | Object detection system and object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014042148A JP2015169963A (en) | 2014-03-04 | 2014-03-04 | Object detection system and object detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015169963A true JP2015169963A (en) | 2015-09-28 |
Family
ID=54202691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014042148A Pending JP2015169963A (en) | 2014-03-04 | 2014-03-04 | Object detection system and object detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015169963A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021520561A (en) * | 2019-04-03 | 2021-08-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | Text recognition |
WO2022239164A1 (en) * | 2021-05-12 | 2022-11-17 | 三菱電機株式会社 | Part search device, part search program, and part search method |
-
2014
- 2014-03-04 JP JP2014042148A patent/JP2015169963A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021520561A (en) * | 2019-04-03 | 2021-08-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | Text recognition |
JP7066007B2 (en) | 2019-04-03 | 2022-05-12 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | Text recognition |
WO2022239164A1 (en) * | 2021-05-12 | 2022-11-17 | 三菱電機株式会社 | Part search device, part search program, and part search method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11699283B2 (en) | System and method for finding and classifying lines in an image with a vision system | |
JP6143111B2 (en) | Object identification device, object identification method, and program | |
US10217083B2 (en) | Apparatus, method, and program for managing articles | |
US9607237B2 (en) | Image processing apparatus and image processing method | |
JP6278276B2 (en) | Object identification device, object identification method, and program | |
US10296803B2 (en) | Image display apparatus, image display method, and computer program product | |
US20160180565A1 (en) | Editing digital notes representing physical notes | |
WO2014160433A2 (en) | Systems and methods for classifying objects in digital images captured using mobile devices | |
WO2015064107A1 (en) | Management system, list production device, data structure, and printed label | |
JP2014059875A (en) | Device and method for detecting the presence of logo in picture | |
US11741685B2 (en) | Commodity identification device, non-transitory computer-readable storage medium, and learning method | |
US11568623B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2020095408A (en) | List generating device, subject discriminating device, list generating method, and program | |
JP5914732B2 (en) | Image verification method, image verification apparatus, and program | |
US20240078801A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
JP2017208014A (en) | Needle type meter detection device, method, and program | |
US20180232884A1 (en) | Date identifying apparatus, date identifying method, and computer-readable recording medium | |
KR20240058827A (en) | System and method for finding and classifying lines in an image with a vision system | |
US20120237118A1 (en) | Image processing device, image processing method, and image processing program | |
JP2014186520A (en) | Image processing apparatus, image processing method, and program | |
JP5764527B2 (en) | Image verification method, image verification apparatus, and program | |
JP2015169963A (en) | Object detection system and object detection method | |
US20170277982A1 (en) | Character recognition device, character recognition method and program | |
US11594322B2 (en) | Dispensing audit support apparatus and dispensing audit support method | |
CN109961063B (en) | Text detection method and device, computer equipment and storage medium |