[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2015169963A - Object detection system and object detection method - Google Patents

Object detection system and object detection method Download PDF

Info

Publication number
JP2015169963A
JP2015169963A JP2014042148A JP2014042148A JP2015169963A JP 2015169963 A JP2015169963 A JP 2015169963A JP 2014042148 A JP2014042148 A JP 2014042148A JP 2014042148 A JP2014042148 A JP 2014042148A JP 2015169963 A JP2015169963 A JP 2015169963A
Authority
JP
Japan
Prior art keywords
unit
parameter
image
display
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014042148A
Other languages
Japanese (ja)
Inventor
優香 渡辺
Yuka Watanabe
優香 渡辺
匡哉 前田
Masaya Maeda
匡哉 前田
浜村 倫行
Tomoyuki Hamamura
倫行 浜村
英 朴
Hide Boku
英 朴
入江 文平
Bumpei Irie
文平 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014042148A priority Critical patent/JP2015169963A/en
Publication of JP2015169963A publication Critical patent/JP2015169963A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an object detection system capable of increasing detection accuracy of an object while operating the system, and an object detection method.SOLUTION: An acquisition unit acquires an image obtained by photographing an object body. A parameter calculation unit detects a component configuring an object included in the image acquired by the acquisition unit and calculates a geometric parameter of the component. An object detection unit detects a type of the object on the basis of the comparison between the geometric parameter calculated by the parameter calculation unit and a reference parameter set for each type of the object. An information management unit accumulates at least the geometric parameter calculated by the parameter calculation unit in a storage unit for each type of the object detected by the object detection unit. A display control unit causes a display unit to display an image based on a distribution of the geometric parameters accumulated in the storage unit.

Description

本発明の実施形態は、オブジェクト検出システム、およびオブジェクト検出方法に関する。   Embodiments described herein relate generally to an object detection system and an object detection method.

物体を撮像した画像を解析することで、物体に記載された種々のオブジェクト(マーク、識別形状、文字列、模様その他の視認可能な形状的特徴をいう)、或いは物体自体の構造がなすオブジェクトを検出する技術が知られている。オブジェクトを検出する際には、撮像画像自体、或いは撮像画像の特徴量を、基準となる画像やデータと比較する処理が行われる。基準となる画像やデータは、オブジェクト検出の結果をフィードバックして修正される場合がある。しかしながら、従来の技術では、オブジェクトの検出精度を向上させることができない場合があった。   By analyzing an image of an object, various objects described in the object (marks, identification shapes, character strings, patterns and other visible geometric features), or objects formed by the structure of the object itself Techniques for detecting are known. When an object is detected, a process of comparing the captured image itself or the feature amount of the captured image with a reference image or data is performed. The reference image or data may be corrected by feeding back the object detection result. However, in the conventional technique, the object detection accuracy may not be improved.

特許第3447280号公報Japanese Patent No. 3447280

本発明が解決しようとする課題は、システムを運用しながらオブジェクトの検出精度を向上させることができるオブジェクト検出システム、およびオブジェクト検出方法を提供することである。   The problem to be solved by the present invention is to provide an object detection system and an object detection method capable of improving object detection accuracy while operating the system.

実施形態のオブジェクト検出システムは、取得部と、パラメータ算出部と、オブジェクト検出部と、情報管理部と、表示制御部とを持つ。取得部は、物体を撮像した画像を取得する。パラメータ算出部は、前記取得部により取得された画像に含まれるオブジェクトを構成する構成要素を検出し、前記構成要素の幾何的パラメータを算出する。オブジェクト検出部は、前記パラメータ算出部により算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出する。情報管理部は、前記オブジェクト検出部により検出されたオブジェクトの種類毎に、少なくとも前記パラメータ算出部により算出された幾何的パラメータを記憶部に蓄積する。表示制御部は、前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる。   The object detection system according to the embodiment includes an acquisition unit, a parameter calculation unit, an object detection unit, an information management unit, and a display control unit. The acquisition unit acquires an image obtained by imaging an object. The parameter calculation unit detects a component constituting an object included in the image acquired by the acquisition unit, and calculates a geometric parameter of the component. The object detection unit detects the type of the object based on a comparison between the geometric parameter calculated by the parameter calculation unit and a reference parameter set for each type of object. The information management unit accumulates at least the geometric parameters calculated by the parameter calculation unit in the storage unit for each type of object detected by the object detection unit. The display control unit causes the display unit to display an image based on the distribution of the geometric parameters accumulated in the storage unit.

実施形態のオブジェクト検出システム1の構成例を示す図である。It is a figure showing an example of composition of object detection system 1 of an embodiment. 実施形態のオブジェクト検出システム1の構成の他の例を示す図である。It is a figure which shows the other example of a structure of the object detection system 1 of embodiment. 配達物D上に押印される料額印であるオブジェクトOBを例示した図である。It is the figure which illustrated object OB which is a fee amount stamp stamped on delivery thing D. オブジェクトOBを構成する構成要素の一例を示す図である。It is a figure which shows an example of the component which comprises the object OB. 構成要素検出/パラメータ算出部50が算出する各構成要素の幾何的パラメータを例示した図である。It is the figure which illustrated the geometric parameter of each component which the component detection / parameter calculation part 50 calculates. 構成要素検出/パラメータ算出部50が算出する各構成要素の幾何的パラメータを例示した図である。It is the figure which illustrated the geometric parameter of each component which the component detection / parameter calculation part 50 calculates. 構成要素検出/パラメータ算出部50が算出する各構成要素の幾何的パラメータを例示した図である。It is the figure which illustrated the geometric parameter of each component which the component detection / parameter calculation part 50 calculates. 基準パラメータ34に記憶される基準パラメータの一例を示す図である。6 is a diagram illustrating an example of reference parameters stored in a reference parameter 34. FIG. オブジェクト検出段階における処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in an object detection stage. 幾何的パラメータの出現頻度に基づくヒストグラムが含まれる表示画像IM1を例示した図である。It is the figure which illustrated display image IM1 containing the histogram based on the appearance frequency of a geometric parameter. 複数の幾何的パラメータの出現頻度に基づくヒストグラムが重畳された表示画像IM2を例示した図である。It is the figure which illustrated display image IM2 on which the histogram based on the appearance frequency of a plurality of geometric parameters was superimposed. 幾何的パラメータの出現頻度を表現した画像IM3を例示した図である。It is the figure which illustrated image IM3 expressing the appearance frequency of the geometric parameter. 幾何的パラメータの出現頻度に基づくヒストグラムと、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLとを重畳させた表示画像IM4を例示した図である。It is the figure which illustrated display image IM4 which superimposed the histogram based on the appearance frequency of a geometric parameter, and the upper limit UL and the lower limit LL of the reference parameter corresponding to the geometric parameter. 濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像と、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLに対応する合成画像とを重畳させた表示画像IM5を例示した図である。A display image IM5 in which an image representing the appearance frequency of a geometric parameter and a composite image corresponding to an upper limit value UL and a lower limit value LL of the reference parameter corresponding to the geometric parameter are superimposed by shading or color change. FIG. オブジェクトOBの複数の構成要素毎の検出スコアの出現頻度に基づくヒストグラムを含む表示画像IM6を例示した図である。It is the figure which illustrated display image IM6 containing the histogram based on the appearance frequency of the detection score for every some component of object OB. 複数の構成要素を含むオブジェクトOBを例示した図である。It is the figure which illustrated object OB containing a plurality of components. 検出結果解析段階における処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in a detection result analysis stage.

以下、実施形態のオブジェクト検出システム、およびオブジェクト検出方法を、図面を参照して説明する。   Hereinafter, an object detection system and an object detection method of an embodiment will be described with reference to the drawings.

図1は、実施形態のオブジェクト検出システム1の構成例を示す図である。オブジェクト検出システム1は、例えば、搬送機構CVにより搬送される郵便書状や小包などの配達物Dを、カメラCAによって撮像された画像を取得し、画像に含まれる料額印(料金の支払いを示す印)などのオブジェクトOBを自動的に検出するシステムである。なお、カメラCAは、一定の平面領域を撮像するカメラであってもよいし、ラインセンサであってもよい。   FIG. 1 is a diagram illustrating a configuration example of an object detection system 1 according to the embodiment. For example, the object detection system 1 acquires an image captured by the camera CA of a delivery letter D such as a postal letter or a parcel conveyed by the conveyance mechanism CV, and displays a fee stamp (indicating payment of the fee) included in the image. This is a system for automatically detecting an object OB such as a mark). Note that the camera CA may be a camera that captures a certain plane area, or may be a line sensor.

オブジェクト検出システム1は、例えば、入力部10と、表示部20と、記憶部30と、画像入力部40と、構成要素検出/パラメータ算出部50と、オブジェクト検出部52と、結果出力部54と、情報管理部56と、表示制御/解析部58とを備える。   The object detection system 1 includes, for example, an input unit 10, a display unit 20, a storage unit 30, an image input unit 40, a component element detection / parameter calculation unit 50, an object detection unit 52, and a result output unit 54. The information management unit 56 and the display control / analysis unit 58 are provided.

入力部10は、例えば、キーボードやマウス、タッチパネル等の入力デバイスである。表示部20は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)表示装置である。記憶部30は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)などの記憶装置である。記憶部30は、パラメータ蓄積部32と、基準パラメータ記憶部34とを備える。画像入力部40は、カメラCAとオブジェクト検出システム1とを接続するネットワークに接続するためのネットワークカードなどを含む。なお、画像入力部40は、画像データの格納された電子媒体と接続され、あらかじめ撮影しておいた検出対象の画像を入力してもよい。   The input unit 10 is an input device such as a keyboard, a mouse, or a touch panel, for example. The display unit 20 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) display device. The storage unit 30 is a storage device such as an HDD (Hard Disk Drive), a flash memory, or a RAM (Random Access Memory). The storage unit 30 includes a parameter storage unit 32 and a reference parameter storage unit 34. The image input unit 40 includes a network card for connecting to a network connecting the camera CA and the object detection system 1. Note that the image input unit 40 may be connected to an electronic medium in which image data is stored and may input a detection target image that has been captured in advance.

構成要素検出/パラメータ算出部50、オブジェクト検出部52、結果出力部54、情報管理部56、および表示制御/解析部58は、例えば、オブジェクト検出システム1の図示しないプロセッサがプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)などのハードウェア機能部であってもよい。   For example, the component detection / parameter calculation unit 50, the object detection unit 52, the result output unit 54, the information management unit 56, and the display control / analysis unit 58 are executed by a processor (not shown) of the object detection system 1 executing a program. It is a functioning software function unit. Some or all of these functional units may be hardware functional units such as LSI (Large Scale Integration) and ASIC (Application Specific Integrated Circuit).

なお、オブジェクト検出システム1は、2以上の装置を含むものであってよい。図2は、実施形態のオブジェクト検出システム1の構成の他の例を示す図である。図示するように、オブジェクト検出システム1は、画像入力部(取得部)40、構成要素検出/パラメータ算出部50、オブジェクト検出部52、および結果出力部54を有するオブジェクト検出装置2と、入力部10および表示制御/解析部48を有する検出結果解析装置3とを備える構成であってもよい。オブジェクト検出装置2と検出結果解析装置3は、LAN(Local Area Network)などによって接続される。図2の構成において、記憶部30および情報管理部56は、オブジェクト検出装置2と検出結果解析装置3とのいずれの側に備えられてもよく、オブジェクト検出装置2や検出結果解析装置3とは別体のものであってもよい。   The object detection system 1 may include two or more devices. FIG. 2 is a diagram illustrating another example of the configuration of the object detection system 1 according to the embodiment. As shown in the figure, the object detection system 1 includes an object detection device 2 having an image input unit (acquisition unit) 40, a component element detection / parameter calculation unit 50, an object detection unit 52, and a result output unit 54, and an input unit 10. The detection result analysis apparatus 3 having the display control / analysis unit 48 may be included. The object detection device 2 and the detection result analysis device 3 are connected by a LAN (Local Area Network) or the like. In the configuration of FIG. 2, the storage unit 30 and the information management unit 56 may be provided on either side of the object detection device 2 and the detection result analysis device 3. What are the object detection device 2 and the detection result analysis device 3? It may be a separate one.

[オブジェクト検出処理]
以下、オブジェクト検出システム1が実行するオブジェクト検出処理の内容について説明する。構成要素検出/パラメータ算出部50は、画像入力部40により取得された画像に含まれるオブジェクトOBの幾何的パラメータを算出する。図3は、配達物D上に押印される料額印であるオブジェクトOB(オブジェクトOB1、OB2)を例示した図である。図示するように、オブジェクトOBは、例えば、特定の図形(円や楕円、矩形など)や文字列などが組み合わされたものである。また、オブジェクトOBは、切手の端を模擬した波線模様や、波線によって囲まれた矩形、模様などを含んでもよい。
構成要素検出/パラメータ算出部50は、オブジェクトOBを、複数の構成要素の組み合わせとして検出し、それぞれの構成要素についての幾何的パラメータを算出する。幾何的パラメータは、数値で表される情報である。図4は、オブジェクトOBを構成する構成要素の一例を示す図である。図示するように、構成要素検出/パラメータ算出部50は、円内に文字列を含むオブジェクトOB1については、円OBC、および文字列OBLを構成要素として検出する。また、構成要素検出/パラメータ算出部50は、矩形内に文字列を含むオブジェクトOB2については、矩形OBS、および文字列OBLを構成要素として検出する。
[Object detection processing]
Hereinafter, the contents of the object detection process executed by the object detection system 1 will be described. The component detection / parameter calculation unit 50 calculates the geometric parameters of the object OB included in the image acquired by the image input unit 40. FIG. 3 is a diagram illustrating an object OB (objects OB1, OB2) that is a fee stamp stamped on the delivery item D. As shown in FIG. As shown in the figure, the object OB is a combination of a specific figure (circle, ellipse, rectangle, etc.), a character string, and the like. Further, the object OB may include a wavy line pattern simulating the edge of a stamp, or a rectangle or pattern surrounded by the wavy line.
The component detection / parameter calculation unit 50 detects the object OB as a combination of a plurality of components and calculates a geometric parameter for each component. The geometric parameter is information represented by a numerical value. FIG. 4 is a diagram illustrating an example of components that constitute the object OB. As illustrated, the component detection / parameter calculation unit 50 detects a circle OBC and a character string OBL as components for an object OB1 including a character string in a circle. In addition, the component detection / parameter calculation unit 50 detects the rectangle OBS and the character string OBL as the component for the object OB2 including the character string in the rectangle.

図5〜7は、構成要素検出/パラメータ算出部50が算出する各構成要素の幾何的パラメータを例示した図である。図5に示すように、構成要素検出/パラメータ算出部50は、円OBCについて半径OBC1を、矩形OBSについて各辺の長さOBS1、OBS2を、幾何的パラメータとして算出する。また、図6に示すように、構成要素検出/パラメータ算出部50は、文字列OBLについて、文字列の長さOBL1、高さ(縦書きである場合は、幅)OBL2、一つの文字の幅(縦書きである場合は、高さ)OBL3、文字間隔OBL4を、幾何的パラメータとして算出する。また、図6に示すように、構成要素検出/パラメータ算出部50は、文字列OBLについて、文字列OBLが含まれる矩形OBSにおける配置(左端および上端からの距離OBL5、OBL6)を、幾何的パラメータとして算出してもよい。また、構成要素検出/パラメータ算出部50は、オブジェクトOBについて配達物Dの左端および上端からの距離OBD1、OBD2を、幾何的パラメータとして算出する。これらの他、構成要素検出/パラメータ算出部50は、構成要素が波線である場合は、ピッチ、位相、角度、ある点からの距離などを、幾何的パラメータとして算出してもよいし、矩形における一辺と他の辺との長さ比など、幾何的パラメータ同士の相対関係を示す値を、幾何的パラメータとして算出してもよい。   5 to 7 are diagrams illustrating examples of geometric parameters of each component calculated by the component detection / parameter calculation unit 50. As shown in FIG. 5, the component detection / parameter calculation unit 50 calculates the radius OBC1 for the circle OBC and the lengths OBS1 and OBS2 of each side for the rectangular OBS as geometric parameters. Further, as shown in FIG. 6, the component element detection / parameter calculation unit 50, for the character string OBL, the length OBL1 of the character string, the height (width in the case of vertical writing) OBL2, the width of one character (Height in case of vertical writing) OBL3 and character spacing OBL4 are calculated as geometric parameters. As shown in FIG. 6, the component element detection / parameter calculation unit 50 determines the arrangement of the character string OBL in the rectangular OBS including the character string OBL (distances OBL5 and OBL6 from the left end and the upper end) as geometric parameters. May be calculated as In addition, the component detection / parameter calculation unit 50 calculates distances OBD1 and OBD2 from the left end and the upper end of the delivery object D for the object OB as geometric parameters. In addition to these, when the component is a wavy line, the component detection / parameter calculation unit 50 may calculate the pitch, phase, angle, distance from a certain point, and the like as geometric parameters, A value indicating a relative relationship between geometric parameters such as a length ratio between one side and another side may be calculated as a geometric parameter.

ここで、構成要素検出/パラメータ算出部50によるオブジェクトOBの構成要素の検出手法について説明する。構成要素検出/パラメータ算出部50は、構成要素が円OBCである場合、例えばハフ変換によって、円の中心座標と半径を投票処理により求める。また、構成要素検出/パラメータ算出部50は、構成要素が矩形OBSである場合、ハフ変換により直線の角度θと原点からの距離ρを検出した後、角度、端点位置、直線間の距離等をもとに、矩形を構成する四辺を選出し、矩形検出結果とする。四辺の選出方法としては、例えば、平行な二個の直線と、それと直交する別の平行な二個の直線を選出し、直線の端点がそれと直交する二個の平行な直線上またはその間にあることを検証し、この条件が四直線すべてについて見たされる場合に、矩形を構成する直線として選出する方法が採用される。また、構成要素検出/パラメータ算出部50は、構成要素が文字列OBLである場合、例えば、二値画像のラベリング処理により得られる連結領域を文字候補として抽出し、文字候補が水平方向に並んだ部分を文字列として検出する。また、構成要素検出/パラメータ算出部50は、構成要素が波線の場合、波線を周期関数で近似し、その軸の直線としての二つのパラメータ(角度θ、原点からの距離ρ)に、周期関数の周期ω、振幅A、位相αの三つのパラメータを加え、ハフ変換と同様に投票処理によって値を決定する。この場合、検出対象の波線の周期、振幅は固定とし、投票で求めるのは角度θ、原点からの距離ρ、位相αの三つのパラメータに限定してもよい。なお、構成要素検出/パラメータ算出部50は、処理の高速化、効率化のため、後述する基準パラメータ記憶部34に記憶された基準パラメータを元に、検出対象をあらかじめ限定して処理を行ってもよい。   Here, a method of detecting the constituent elements of the object OB by the constituent element detection / parameter calculation unit 50 will be described. When the component is a circle OBC, the component element detection / parameter calculation unit 50 obtains the center coordinates and the radius of the circle by voting processing, for example, by Hough transform. Further, when the component is a rectangular OBS, the component detection / parameter calculation unit 50 detects the angle θ of the straight line and the distance ρ from the origin by the Hough transform, and then calculates the angle, the end point position, the distance between the straight lines, and the like. Based on the four sides of the rectangle, the rectangle detection result is selected. As a method of selecting four sides, for example, two parallel straight lines and another two parallel straight lines perpendicular to the straight line are selected, and the end points of the straight line are on or between the two parallel straight lines perpendicular to the straight line. If this condition is observed for all four straight lines, a method of selecting the straight lines constituting the rectangle is adopted. Further, when the constituent element is a character string OBL, the constituent element detection / parameter calculation unit 50 extracts, for example, a connected region obtained by the labeling process of the binary image as a character candidate, and the character candidates are arranged in the horizontal direction. The part is detected as a character string. In addition, when the constituent element is a wavy line, the constituent element detection / parameter calculation unit 50 approximates the wavy line by a periodic function, and sets the periodic function to two parameters (angle θ, distance ρ from the origin) as a straight line of the axis. The three parameters of the period ω, the amplitude A, and the phase α are added, and the values are determined by voting as in the Hough transform. In this case, the period and amplitude of the wavy line to be detected may be fixed, and voting may be limited to three parameters: angle θ, distance ρ from the origin, and phase α. Note that the component element detection / parameter calculation unit 50 performs processing with a detection target limited in advance based on a reference parameter stored in a reference parameter storage unit 34 (to be described later) in order to increase the processing speed and efficiency. Also good.

また、構成要素検出/パラメータ算出部50は、オブジェクトOBの構成要素の検出の信頼度を表す検出スコアを算出してよい。例えば、構成要素検出/パラメータ算出部50は、構成要素が円OBCや矩形OBSである場合、円弧上や矩形の直線上の画素における黒画素(輝度が閾値未満の画素)の割合を、検出スコアとして算出する。また、構成要素検出/パラメータ算出部50は、円弧や矩形の直線の近傍の画素における、白画素(輝度が閾値以上の画素)の数や割合も、併せて利用してもよい。構成要素検出/パラメータ算出部50は、構成要素が文字列OBLである場合、各文字の文字認識スコアの平均などを、検出スコアとして算出する。ここで、料額印の「料金後納郵便」といった特定の文字列の場合は、該当する単語として認識した場合の文字認識スコアを使ってもよい。また、料金のように数字と決まっている場合は、いずれかの数字として認識した場合の文字認識スコアを使ってもよい。   In addition, the component element detection / parameter calculation unit 50 may calculate a detection score indicating the reliability of detection of the component element of the object OB. For example, when the constituent element is a circle OBC or a rectangular OBS, the constituent element detection / parameter calculation unit 50 calculates a ratio of black pixels (pixels whose luminance is less than the threshold) in pixels on an arc or a rectangular straight line as a detection score. Calculate as In addition, the component element detection / parameter calculation unit 50 may also use the number and ratio of white pixels (pixels whose luminance is equal to or greater than a threshold) in pixels in the vicinity of an arc or a rectangular straight line. When the constituent element is the character string OBL, the constituent element detection / parameter calculation unit 50 calculates the average of the character recognition scores of the characters as the detection score. Here, in the case of a specific character string such as “postpaid postage” with a fee stamp, a character recognition score when recognized as a corresponding word may be used. In addition, when it is determined to be a number like a fee, a character recognition score when it is recognized as any number may be used.

オブジェクト検出部52は、構成要素検出/パラメータ算出部50により算出された幾何的パラメータと、基準パラメータ記憶部34に記憶された基準パラメータとを比較して、オブジェクトOBを検出する。ここで、基準パラメータは、オブジェクトOB毎に、更にそのオブジェクトOBを構成する構成要素毎に設定されている値であり、例えば、上限値、下限値、および標準値を含む。図8は、基準パラメータ34に記憶される基準パラメータの一例を示す図である。   The object detection unit 52 detects the object OB by comparing the geometric parameter calculated by the component element detection / parameter calculation unit 50 with the reference parameter stored in the reference parameter storage unit 34. Here, the reference parameter is a value set for each object OB and further for each component constituting the object OB, and includes, for example, an upper limit value, a lower limit value, and a standard value. FIG. 8 is a diagram illustrating an example of the reference parameter stored in the reference parameter 34.

オブジェクト検出部52は、例えば、構成要素検出/パラメータ算出部50により算出された幾何的パラメータの全てが基準パラメータの上限値と下限値の間に収まっている場合に、該当するオブジェクトOBが画像に含まれていると判定する。また、オブジェクト検出部52は、一部の幾何的パラメータが基準パラメータの上限値と下限値の間に収まらない場合であっても、他の幾何的パラメータが標準値に近い場合には、該当するオブジェクトOBが画像に含まれていると判定してよい。このように、オブジェクト検出部52は、複数の構成要素についてそれぞれ基準パラメータと比較した結果に基づいて、オブジェクトOBが画像に含まれているか否かを総合的に判定する。   For example, when all of the geometric parameters calculated by the component element detection / parameter calculation unit 50 are within the upper limit value and the lower limit value of the reference parameter, the object detection unit 52 displays the corresponding object OB in the image. It is determined that it is included. Further, even if some geometric parameters do not fit between the upper limit value and the lower limit value of the reference parameter, the object detection unit 52 is applicable when other geometric parameters are close to the standard value. It may be determined that the object OB is included in the image. As described above, the object detection unit 52 comprehensively determines whether or not the object OB is included in the image based on the result of comparison with the reference parameter for each of the plurality of components.

また、オブジェクト検出部52は、構成要素検出/パラメータ算出部50により算出される検出スコアを利用して、該当するオブジェクトOBが画像に含まれているか否かを判定してもよい。この場合、オブジェクト検出部52は、検出スコアの性質(例えば、最大値が100であるか、200であるか等)に応じて、検出スコアに対して重み付けを行って合計した加重和を基準値と比較することにより、該当するオブジェクトOBが画像に含まれているか否かを判定してもよい。また、オブジェクト検出部52は、検出対象のオブジェクトOBに含まれる特定のパラメータの値をもつ特定の二個以上の図形(構成要素)の同時出現頻度が低い場合は、その二個の図形が同時に検出された場合に、検出スコアを高く重み付けしてもよい。   Further, the object detection unit 52 may determine whether or not the corresponding object OB is included in the image using the detection score calculated by the component element detection / parameter calculation unit 50. In this case, the object detection unit 52 weights the detection score according to the nature of the detection score (for example, whether the maximum value is 100 or 200), and sums the weighted sums as the reference value. It may be determined whether or not the corresponding object OB is included in the image. In addition, when the frequency of simultaneous appearance of two or more specific figures (components) having specific parameter values included in the object OB to be detected is low, the object detection unit 52 simultaneously displays the two figures. If detected, the detection score may be weighted higher.

結果出力部54は、オブジェクト検出部52による検出結果を出力する。検出結果の出力先は、例えば、図示しない配達物Dの仕分け装置である。仕分け装置は、オブジェクト検出部52による検出結果を参照し、様々な処理を行う。   The result output unit 54 outputs the detection result obtained by the object detection unit 52. The output destination of the detection result is, for example, a delivery device D for sorting deliveries D (not shown). The sorting apparatus refers to the detection result by the object detection unit 52 and performs various processes.

情報管理部56は、オブジェクト検出部52により検出されたオブジェクトOBの種類毎に、少なくとも構成要素検出/パラメータ算出部50により算出された幾何的パラメータを、記憶部30のパラメータ蓄積部32に蓄積する。また、情報管理部56は、幾何的パラメータに加えて、構成要素検出/パラメータ算出部50により算出された検出スコア等を、パラメータ蓄積部32に蓄積してもよい。また、情報管理部56は、オブジェクト検出部52によりオブジェクトOBの種類が特定されなかった場合でも、最も確からしいオブジェクトOBと対応付けて、構成要素検出/パラメータ算出部50により算出された幾何的パラメータなどを、パラメータ蓄積部32に蓄積してよい。なお、情報管理部56の機能は、構成要素検出/パラメータ算出部50やオブジェクト検出部52に埋め込まれてもよい。   The information management unit 56 accumulates at least the geometric parameters calculated by the component element detection / parameter calculation unit 50 in the parameter accumulation unit 32 of the storage unit 30 for each type of object OB detected by the object detection unit 52. . Further, the information management unit 56 may store the detection score calculated by the component element detection / parameter calculation unit 50 in the parameter storage unit 32 in addition to the geometric parameters. Further, even when the type of the object OB is not specified by the object detection unit 52, the information management unit 56 associates the most probable object OB with the geometric parameter calculated by the component element detection / parameter calculation unit 50. Or the like may be stored in the parameter storage unit 32. The function of the information management unit 56 may be embedded in the component element detection / parameter calculation unit 50 or the object detection unit 52.

ここで、情報管理部56は、原則的に、幾何的パラメータや検出スコアといった数値化された情報のみ記憶部30に記憶させる。これによって、カメラCAから入力された画像を記憶部30に記憶させる場合に比して、記憶部30の記憶容量や、画像を記憶させる際に要する転送時間などを節約することができる。   Here, in principle, the information management unit 56 causes the storage unit 30 to store only digitized information such as geometric parameters and detection scores. Accordingly, the storage capacity of the storage unit 30 and the transfer time required for storing the image can be saved as compared with the case where the image input from the camera CA is stored in the storage unit 30.

図9は、以上説明したオブジェクト検出段階における処理の流れの一例を示すフローチャートである。まず、オブジェクト検出システム1のプロセッサは、基準パラメータ記憶部34から基準パラメータを読み込む(ステップS100)。次に、画像入力部40が、カメラCAからの画像を入力し(ステップS102)、構成要素検出/パラメータ算出部50が、構成要素を検出し(ステップS104)、検出した構成要素についてパラメータを算出する(ステップS106)。そして、オブジェクト検出部52が、オブジェクトOBが画像に含まれているか否かを判定し(オブジェクト判定;ステップS108)、結果出力部54が、オブジェクト検出部52による検出結果を出力する(ステップS110)。ステップS102〜S110の処理が、画像の入力が終了されるまで実行される(ステップS112)。   FIG. 9 is a flowchart showing an example of the processing flow in the object detection stage described above. First, the processor of the object detection system 1 reads a reference parameter from the reference parameter storage unit 34 (step S100). Next, the image input unit 40 inputs an image from the camera CA (step S102), the component detection / parameter calculation unit 50 detects the component (step S104), and calculates a parameter for the detected component. (Step S106). Then, the object detection unit 52 determines whether or not the object OB is included in the image (object determination; step S108), and the result output unit 54 outputs the detection result by the object detection unit 52 (step S110). . The processes in steps S102 to S110 are executed until the input of the image is completed (step S112).

[検出結果解析処理]
ここで、カメラCAによって撮像されるオブジェクトOBは、様々な種類があったり、大きさや形状がバラつく場合がある。このため、初期値として与えられた基準パラメータをそのまま継続して使用すると、誤検出や検出漏れが発生する可能性を排除することができない。そこで、実施形態のオブジェクト検出システム1では、記憶部30のパラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させて調整者に見せたり、パラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づいて、基準パラメータの修正を調整者に促したり、基準パラメータを自動的に修正する処理を行ったりする。基準パラメータの修正は、調整者が入力部10に対して入力操作をすうことで実施することができる。以下、このような検出結果解析処理について説明する。
[Detection result analysis processing]
Here, the object OB imaged by the camera CA may have various types, and the size and shape may vary. For this reason, if the reference parameter given as the initial value is continuously used as it is, the possibility of erroneous detection or detection omission cannot be excluded. Therefore, in the object detection system 1 of the embodiment, an image based on the distribution of the geometric parameters stored in the parameter storage unit 32 of the storage unit 30 is displayed on the display unit 20 to show to the adjuster, or the parameter storage unit 32 Based on the distribution of the geometric parameters accumulated in, the adjustment parameter is urged to be adjusted by the adjuster, or the reference parameter is automatically corrected. The correction of the reference parameter can be performed by the adjuster performing an input operation on the input unit 10. Hereinafter, such detection result analysis processing will be described.

表示制御/解析部58は、記憶部30のパラメータ蓄積部32に蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させる。表示制御/解析部58は、例えば、ある一つのオブジェクトOBについて、幾何的パラメータの出現頻度に基づくヒストグラムを含む画像を、表示部20に表示させる。図10は、幾何的パラメータの出現頻度に基づくヒストグラムが含まれる表示画像IM1を例示した図である。ここで、幾何的パラメータの出現頻度は、構成要素の検出スコアが一定以上のものに対象を限定したり、検出スコアにより重みづけしたりしてもよい。こうすれば、表示画像IM1を見た調整者は、幾何的パラメータがどのような分布で検出されるのか、その傾向を把握することができる。   The display control / analysis unit 58 causes the display unit 20 to display an image based on the geometric parameter distribution stored in the parameter storage unit 32 of the storage unit 30. For example, the display control / analysis unit 58 causes the display unit 20 to display an image including a histogram based on the appearance frequency of the geometric parameter for one object OB. FIG. 10 is a diagram illustrating a display image IM1 including a histogram based on the appearance frequency of geometric parameters. Here, the appearance frequency of the geometric parameter may be limited to a component having a detection score of a certain value or more, or may be weighted by a detection score. In this way, the adjuster who has viewed the display image IM1 can grasp the tendency of the distribution of the geometric parameter detected.

また、表示制御/解析部58は、複数の幾何的パラメータのヒストグラムを重畳させた画像を、表示部20に重畳表示させてもよい。図11は、複数の幾何的パラメータの出現頻度に基づくヒストグラムが重畳された表示画像IM2を例示した図である。この場合、表示制御/解析部58は、複数の幾何的パラメータを、比較容易となるように正規化した上で、グラフに表示させてよい。こうすれば、表示画像IM2を見た調整者は、幾何パラメータ間の分布の傾向の相違を容易に把握することができる。   Further, the display control / analysis unit 58 may superimpose and display an image in which histograms of a plurality of geometric parameters are superimposed on the display unit 20. FIG. 11 is a diagram illustrating a display image IM2 on which a histogram based on the appearance frequency of a plurality of geometric parameters is superimposed. In this case, the display control / analysis unit 58 may display a plurality of geometric parameters on a graph after normalizing them so as to facilitate comparison. In this way, the adjuster who has viewed the display image IM2 can easily grasp the difference in the distribution tendency between the geometric parameters.

また、表示制御/解析部58は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像を表示部20に表示させてもよい。図12は、幾何的パラメータの出現頻度を表現した画像IM3を例示した図である。図中、OB*は標準的な構成要素を表現した合成画像であり、Gは濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した部分である。こうすれば、表示画像IM3を見た調整者は、幾何的パラメータの分布を、直感的に把握することができる。   In addition, the display control / analysis unit 58 may cause the display unit 20 to display an image expressing the appearance frequency of the geometric parameter by the change in shade or color. FIG. 12 is a diagram illustrating an image IM3 representing the appearance frequency of the geometric parameter. In the figure, OB * is a composite image expressing standard constituent elements, and G is a portion expressing the appearance frequency of geometric parameters by shading or color change. In this way, the adjuster who has viewed the display image IM3 can intuitively grasp the distribution of the geometric parameters.

また、表示制御/解析部58は、幾何的パラメータの出現頻度に基づくヒストグラムと、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLとを重畳させて、表示部20に重畳表示させてもよい。図13は、幾何的パラメータの出現頻度に基づくヒストグラムと、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLとを重畳させた表示画像IM4を例示した図である。こうすれば、表示画像IM4を見た調整者は、基準パラメータと、幾何的パラメータの分布とが適正に合致しているか否かを把握することができる。   The display control / analysis unit 58 superimposes the histogram based on the appearance frequency of the geometric parameter on the display unit 20 by superimposing the upper limit value UL and the lower limit value LL of the reference parameter corresponding to the geometric parameter. You may let them. FIG. 13 is a diagram illustrating a display image IM4 in which a histogram based on the appearance frequency of a geometric parameter and an upper limit value UL and a lower limit value LL of a reference parameter corresponding to the geometric parameter are superimposed. In this way, the adjuster who viewed the display image IM4 can grasp whether or not the reference parameter and the distribution of the geometric parameter are properly matched.

また、表示制御/解析部58は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像と、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLに対応する合成画像とを重畳させて、表示部20に重畳表示させてもよい。図14は、濃淡または色彩の変化によって、幾何的パラメータの出現頻度を表現した画像と、その幾何的パラメータに対応する基準パラメータの上限値ULおよび下限値LLに対応する合成画像とを重畳させた表示画像IM5を例示した図である。こうすれば、表示画像IM5を見た調整者は、基準パラメータと、幾何的パラメータの分布とが適正に合致しているか否かを直感的に把握することができる。   In addition, the display control / analysis unit 58 combines an image representing the appearance frequency of a geometric parameter based on shading or color change and a reference parameter upper limit value UL and lower limit value LL corresponding to the geometric parameter. An image may be superimposed and displayed on the display unit 20 in a superimposed manner. In FIG. 14, an image representing the appearance frequency of a geometric parameter is superimposed with a composite image corresponding to the upper limit value UL and the lower limit value LL of the reference parameter corresponding to the geometric parameter by shading or color change. It is the figure which illustrated display image IM5. In this way, the adjuster who has viewed the display image IM5 can intuitively understand whether or not the reference parameter and the distribution of the geometric parameter are properly matched.

また、表示制御/解析部58は、幾何的パラメータ自体ではなく、オブジェクトOBの構成要素毎の検出スコアに基づく画像を、表示部20に表示させてもよい。図15は、オブジェクトOBの複数の構成要素毎の検出スコアの出現頻度に基づくヒストグラムを含む表示画像IM6を例示した図である。この場合、表示制御/解析部58は、複数の検出スコアを、比較容易となるように正規化した上で、グラフに表示させてよい。こうすれば、表示画像IM6を見た調整者は、各構成要素がどのような検出スコアで検出するのかを把握することができ、必要に応じて検出ロジックを調整することが可能となる。   Further, the display control / analysis unit 58 may cause the display unit 20 to display an image based on the detection score for each component of the object OB instead of the geometric parameter itself. FIG. 15 is a diagram illustrating a display image IM6 including a histogram based on the appearance frequency of the detection score for each of the plurality of components of the object OB. In this case, the display control / analysis unit 58 may display a plurality of detection scores on a graph after normalizing them so as to facilitate comparison. In this way, the adjuster who sees the display image IM6 can grasp what detection score each component detects, and can adjust the detection logic as necessary.

表示制御/解析部58は、上記例示した各種画像を切り替えるためのユーザインターフェースを提供するように表示部20を制御してよい。ユーザインターフェースは、たとえば、検出対象のオブジェクトOBの画像に重畳させて、それに関わる幾何的パラメータを示し、ユーザが幾何的パラメータを示す記号や領域をクリックすることで、その幾何的パラメータの出現頻度ヒストグラムを表示するものである。   The display control / analysis unit 58 may control the display unit 20 so as to provide a user interface for switching the various images exemplified above. The user interface, for example, superimposes on the image of the object OB to be detected, shows the geometric parameters related thereto, and when the user clicks a symbol or area indicating the geometric parameters, the appearance frequency histogram of the geometric parameters Is displayed.

以下、表示制御/解析部58による解析処理について説明する。表示制御/解析部58は、パラメータ蓄積部32に蓄積された幾何的パラメータの分布と、基準パラメータとが乖離している場合に、警告表示を表示部20に表示させる。「幾何的パラメータの分布と、基準パラメータとが乖離している」とは、例えば、分布の所定割合(例えば95[%])が、基準パラメータの上限値と下限値の間に収まっていないことをいう。また、幾何的パラメータの平均値、最頻値、中央値などが、基準パラメータの標準値から一定割合以上離れている場合も、「幾何的パラメータの分布と、基準パラメータとが乖離している」ことに該当し得る。前述したように、オブジェクト検出部52は、複数の構成要素についてそれぞれ基準パラメータと比較した結果に基づいて、オブジェクトOBが画像に含まれているか否かを総合的に判定する。従って、総合的には、あるオブジェクトOBに該当すると判定された場合であっても、基準パラメータと乖離した構成要素を含む場合がある。表示制御/解析部58は、上記のような解析処理を行うことによって、構成要素の一部が基準パラメータと乖離しているのを発見し、調整者に通知、または基準パラメータを自動的に修正する。例えば、図16に示すオブジェクトは、二つの円OBC1、OBC2と、矩形OBS1と、三つの文字列OBL1、OBL2、OBL3で構成されるが、これらのうち、外側の円OBC1の検出頻度が、内側の円OBC2、矩形OBS1等の検出頻度と比較して極端に低い場合、外側の円OBC1は、オブジェクトOBの検出に用いる図形として不適切である可能性があるため、調整者に警告を表示する。   Hereinafter, analysis processing by the display control / analysis unit 58 will be described. The display control / analysis unit 58 causes the display unit 20 to display a warning display when the geometric parameter distribution accumulated in the parameter accumulation unit 32 and the reference parameter are different. “The geometric parameter distribution is different from the reference parameter” means, for example, that a predetermined ratio (for example, 95%) of the distribution does not fall between the upper limit value and the lower limit value of the reference parameter. Say. In addition, when the geometric parameter average, mode, and median are more than a certain percentage away from the standard value of the standard parameter, the geometric parameter distribution and standard parameter are different. It can be true. As described above, the object detection unit 52 comprehensively determines whether or not the object OB is included in the image based on the result of comparison with the reference parameter for each of the plurality of components. Therefore, in general, even when it is determined that the object OB, it may include a component that deviates from the reference parameter. The display control / analysis unit 58 performs analysis processing as described above to find that some of the components deviate from the reference parameter and notify the adjuster or automatically correct the reference parameter. To do. For example, the object shown in FIG. 16 includes two circles OBC1, OBC2, a rectangle OBS1, and three character strings OBL1, OBL2, OBL3. Of these, the detection frequency of the outer circle OBC1 is the inner When the detection frequency of the circle OBC2 and the rectangular OBS1 is extremely low, the outer circle OBC1 may be inappropriate as a figure used for detecting the object OB, and a warning is displayed to the adjuster. .

また、表示制御/解析部58は、オブジェクト検出部52が総合的に判定する際に用いる検出スコアの重み付けが適正であるか否かを判定し、判定結果を調整者に通知、または重み付け係数を自動的に修正してよい。例えば、表示制御/解析部58は、オブジェクトOBを構成する構成要素の、重み付け係数により重みづけした検出スコアが、比較的高い値をとり、単体で検出された、つまりオブジェクトOBを構成する可能性の少ない構成要素の、重みづけした検出スコアが比較的低い値をとる場合に、検出スコアの出現頻度が検出スコアの重みづけの係数と合致していると判定する。   In addition, the display control / analysis unit 58 determines whether or not the weight of the detection score used when the object detection unit 52 comprehensively determines is appropriate, notifies the adjuster of the determination result, or sets a weighting coefficient. It may be corrected automatically. For example, the display control / analysis unit 58 may detect that the detection score weighted by the weighting coefficient of the constituent elements constituting the object OB is relatively high and is detected alone, that is, configures the object OB. When the weighted detection score of a component having a small number takes a relatively low value, it is determined that the appearance frequency of the detection score matches the weighting coefficient of the detection score.

表示制御/解析部58は、基準パラメータの調整のためのユーザインターフェースを調整者に提供するように表示部20を制御する。入力方法は、数値の入力、スライダーやボタンといったGUI画面を利用した入力、表示された画面上でパラメータ値設定範囲を示す記号を直接マウス等でドラッグする方法がある。   The display control / analysis unit 58 controls the display unit 20 to provide a user interface for adjusting the reference parameter to the adjuster. As an input method, there are a method of inputting a numerical value, an input using a GUI screen such as a slider or a button, and a method of directly dragging a symbol indicating a parameter value setting range on a displayed screen with a mouse or the like.

基準パラメータの修正場面において、表示制御/解析部58は、まず、調整者の操作により、或いは自動的に、一定期間、幾何的パラメータや検出スコアだけでなく、特定の幾何的パラメータを有するオブジェクトOBの元画像を保存するモード(画像保存モード)に移行するように情報管理部56に指示する。調整者は、保存された元画像を確認し、出現頻度が高い幾何的パラメータをもつオブジェクトOBが、検出対象のオブジェクトOBと同じものであるか、異なるものであるかを判断する。同じものである場合、調整者は、検出された幾何的パラメータの出現頻度に合わせて、基準パラメータを修正する。異なるものである場合、調整者は、異なるオブジェクトOBの構成要素として、基準パラメータを新たに登録する。   In the correction process of the reference parameter, the display control / analysis unit 58 first performs an object OB having a specific geometric parameter as well as the geometric parameter and the detection score for a certain period of time by an operation of the adjuster or automatically. The information management unit 56 is instructed to shift to a mode for saving the original image (image saving mode). The coordinator checks the stored original image and determines whether the object OB having a geometric parameter with a high appearance frequency is the same as or different from the object OB to be detected. If they are the same, the adjuster corrects the reference parameter in accordance with the appearance frequency of the detected geometric parameter. If they are different, the coordinator newly registers a reference parameter as a component of a different object OB.

一方、元画像に、検出すべきでないオブジェクトOB、例えば企業のロゴなどの図形が撮像されている場合などは、以降の誤検出を避けるため、リジェクトリストに入れる。リジェクトリストとは、検出しないオブジェクトOBのリストであり、基準パラメータと同様の形式で、構成要素の組み合わせと、幾何的パラメータの値の範囲が記述されたデータである。このリストによって、例えば、検出したい料額印が二つの円と一つの矩形で構成され、検出対象でない企業ロゴが、料額印と同じサイズの二つの円と二つの矩形で構成される場合、リジェクトリストに二つの円と二つの矩形の組み合わせを登録しておくことで、矩形が一つの場合は料額印として検出し、矩形が二つの場合は検出しないようにし、誤検出を防ぐことができる。   On the other hand, if an object OB that should not be detected is captured in the original image, for example, a graphic such as a company logo, it is placed in the reject list in order to avoid subsequent erroneous detection. The reject list is a list of objects OB that are not detected, and is data in which a combination of components and a range of values of geometric parameters are described in the same format as the reference parameter. According to this list, for example, if the fee stamp to be detected is composed of two circles and one rectangle, and the company logo not to be detected is composed of two circles and two rectangles of the same size as the fee stamp, By registering a combination of two circles and two rectangles in the reject list, if there is only one rectangle, it will be detected as a fee stamp, and if there are two rectangles, it will not be detected, thus preventing false detection. it can.

また、表示制御/解析部58は、上記と同様に画像保存モードに移行して元画像を保存した後、出現頻度が高い幾何的パラメータ値をもつオブジェクトOBが、検出対象のオブジェクトOBと同じものであるか、異なるものであるかを、テンプレートマッチング等の画像処理により自動的に判定してもよい。同じオブジェクトOBであると判定された場合には、検出された構成要素の幾何的パラメータの出現頻度に合わせて、基準パラメータを修正する。異なるオブジェクトOBまたは検出すべきオブジェクトOBでない場合は、表示部20に警告を表示させる。   In addition, after the display control / analysis unit 58 shifts to the image storage mode and stores the original image in the same manner as described above, the object OB having the geometric parameter value having a high appearance frequency is the same as the object OB to be detected. Or different ones may be automatically determined by image processing such as template matching. When it is determined that the objects are the same object OB, the reference parameter is corrected in accordance with the appearance frequency of the detected geometric parameter of the constituent element. If it is not a different object OB or an object OB to be detected, a warning is displayed on the display unit 20.

図17は、以上説明した検出結果解析段階における処理の流れの一例を示すフローチャートである。まず、オブジェクト検出システム1のプロセッサは、基準パラメータ記憶部34から基準パラメータを読み込む(ステップS200)。次に、表示制御/解析部58は、パラメータ蓄積部32に蓄積された情報を読み込み(ステップS202)、幾何的パラメータや検出スコアの解析を行う(ステップS204)。そして、上記説明した様々な態様で表示画像を表示部20に表示させる(ステップS206)。
次に、表示制御/解析部58は、調整者による入力部10への入力を受け付け(ステップS208)、入力された内容に基づいて、基準パラメータを更新する(ステップS210)。
FIG. 17 is a flowchart showing an example of the processing flow in the detection result analysis stage described above. First, the processor of the object detection system 1 reads a reference parameter from the reference parameter storage unit 34 (step S200). Next, the display control / analysis unit 58 reads the information stored in the parameter storage unit 32 (step S202), and analyzes the geometric parameter and the detection score (step S204). And a display image is displayed on the display part 20 in the various aspect demonstrated above (step S206).
Next, the display control / analysis unit 58 receives an input from the adjuster to the input unit 10 (step S208), and updates the reference parameter based on the input content (step S210).

以上説明した少なくともひとつの実施形態によれば、オブジェクト検出部52により検出されたオブジェクトOBの種類毎に、少なくとも構成要素検出/パラメータ算出部50により算出された幾何的パラメータを記憶部30に蓄積し、蓄積された幾何的パラメータの分布に基づく画像を、表示部20に表示させる機能を持つことにより、システムを運用しながらオブジェクトの検出精度を向上させることができる。   According to at least one embodiment described above, at least the geometric parameters calculated by the component detection / parameter calculation unit 50 are accumulated in the storage unit 30 for each type of object OB detected by the object detection unit 52. Since the image based on the accumulated geometric parameter distribution is displayed on the display unit 20, the object detection accuracy can be improved while operating the system.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

1…オブジェクト検出システム、10…入力部、20…表示部、30…記憶部、32…パラメータ蓄積部、34…基準パラメータ記憶部、40…画像入力部、50…構成要素検出/パラメータ算出部、52…オブジェクト検出部、54…結果出力部、56…情報管理部、58…表示制御/解析部、CA…カメラ、D…配達物、OB…オブジェクト DESCRIPTION OF SYMBOLS 1 ... Object detection system, 10 ... Input part, 20 ... Display part, 30 ... Memory | storage part, 32 ... Parameter storage part, 34 ... Reference | standard parameter storage part, 40 ... Image input part, 50 ... Component element detection / parameter calculation part, 52 ... Object detection unit, 54 ... Result output unit, 56 ... Information management unit, 58 ... Display control / analysis unit, CA ... Camera, D ... Delivery item, OB ... Object

Claims (9)

物体を撮像した画像を取得する取得部と、
前記取得部により取得された画像に含まれるオブジェクトを構成する構成要素を検出し、前記構成要素の幾何的パラメータを算出するパラメータ算出部と、
前記パラメータ算出部により算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出するオブジェクト検出部と、
前記オブジェクト検出部により検出されたオブジェクトの種類毎に、少なくとも前記パラメータ算出部により算出された幾何的パラメータを記憶部に蓄積する情報管理部と、
前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる表示制御部と、
を備えるオブジェクト検出システム。
An acquisition unit that acquires an image of an object;
A parameter calculation unit for detecting a component constituting an object included in the image acquired by the acquisition unit and calculating a geometric parameter of the component;
An object detection unit for detecting the type of the object based on a comparison between the geometric parameter calculated by the parameter calculation unit and a reference parameter set for each type of object;
For each type of object detected by the object detection unit, an information management unit that accumulates at least a geometric parameter calculated by the parameter calculation unit in a storage unit;
A display control unit that displays on the display unit an image based on the distribution of the geometric parameters accumulated in the storage unit;
An object detection system comprising:
前記表示制御部は、前記幾何的パラメータの分布を示すヒストグラムを含む画像を、前記表示部に表示させる、
請求項1記載のオブジェクト検出システム。
The display control unit causes the display unit to display an image including a histogram indicating the distribution of the geometric parameters.
The object detection system according to claim 1.
前記表示制御部は、前記幾何的パラメータの分布を濃淡または色彩の変化で示す画像を、前記表示部に表示させる、
請求項1または2記載のオブジェクト検出システム。
The display control unit causes the display unit to display an image indicating the distribution of the geometric parameter by shading or color change;
The object detection system according to claim 1 or 2.
前記表示制御部は、前記幾何的パラメータの分布を示すヒストグラムを含む画像、または、前記幾何的パラメータの分布を濃淡または色彩の変化で示す画像と、前記基準パラメータに基づく画像とが重畳した画像を、前記表示部に表示させる、
請求項1から3のうちいずれか1項記載のオブジェクト検出システム。
The display control unit is configured to display an image including a histogram indicating the distribution of the geometric parameter, or an image obtained by superimposing an image indicating the distribution of the geometric parameter with shading or color change and an image based on the reference parameter. , Display on the display unit,
The object detection system according to any one of claims 1 to 3.
前記パラメータ算出部は、前記構成要素を検出した際の検出スコアを出力し、
前記表示制御部は、前記検出スコアの分布に基づく画像を、前記表示部に表示させる、
請求項1から4のうちいずれか1項記載のオブジェクト検出システム。
The parameter calculation unit outputs a detection score when the component is detected,
The display control unit causes the display unit to display an image based on the distribution of the detection scores.
The object detection system according to any one of claims 1 to 4.
前記幾何的パラメータは、円の半径、矩形の一辺の長さ、文字列の長さおよび幅、文字サイズ、文字間隔のいずれかを含む、
請求項1から5のうちいずれか1項記載のオブジェクト検出システム。
The geometric parameter includes any of a radius of a circle, a length of one side of a rectangle, a length and width of a character string, a character size, and a character spacing.
The object detection system according to any one of claims 1 to 5.
前記表示制御部は、前記記憶部に蓄積された幾何的パラメータの分布と、前記基準パラメータとの比較に基づいて、警告表示を前記表示部に行わせる、
請求項1から6のうちいずれか1項記載のオブジェクト検出システム。
The display control unit causes the display unit to perform a warning display based on a comparison between the geometric parameter distribution stored in the storage unit and the reference parameter.
The object detection system according to any one of claims 1 to 6.
前記表示制御部は、所定の場合に、前記パラメータ算出部により算出された幾何的パラメータに加えて、前記取得部により取得された画像を前記記憶部に蓄積するモードに切り替えるように前記情報管理部に指示し、
前記記憶部に蓄積された前記画像を調整者に表示した後、前記基準パラメータを更新するための前記調整者による入力を受け付ける、
請求項1から7のうちいずれか1項記載のオブジェクト検出システム。
In a predetermined case, the display control unit is configured to switch to a mode in which an image acquired by the acquisition unit is stored in the storage unit in addition to the geometric parameter calculated by the parameter calculation unit. Instruct
After displaying the image stored in the storage unit to the adjuster, accepting an input by the adjuster for updating the reference parameter;
The object detection system according to claim 1.
物体を撮像した画像を取得し、
前記取得された画像に含まれるオブジェクトを構成する構成要素を検出し、
前記構成要素の幾何的パラメータを算出し、
前記算出された幾何的パラメータと、オブジェクトの種類毎に設定される基準パラメータとの比較に基づいて、前記オブジェクトの種類を検出し、
前記検出されたオブジェクトの種類毎に、少なくとも前記算出された幾何的パラメータを記憶部に蓄積し、
前記記憶部に蓄積された幾何的パラメータの分布に基づく画像を、表示部に表示させる、
オブジェクト検出方法。
Get an image of the object,
Detecting components constituting an object included in the acquired image;
Calculating geometric parameters of the component;
Detecting the type of the object based on a comparison between the calculated geometric parameter and a reference parameter set for each type of object;
For each type of detected object, accumulate at least the calculated geometric parameters in a storage unit;
An image based on the distribution of geometric parameters stored in the storage unit is displayed on the display unit.
Object detection method.
JP2014042148A 2014-03-04 2014-03-04 Object detection system and object detection method Pending JP2015169963A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014042148A JP2015169963A (en) 2014-03-04 2014-03-04 Object detection system and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014042148A JP2015169963A (en) 2014-03-04 2014-03-04 Object detection system and object detection method

Publications (1)

Publication Number Publication Date
JP2015169963A true JP2015169963A (en) 2015-09-28

Family

ID=54202691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014042148A Pending JP2015169963A (en) 2014-03-04 2014-03-04 Object detection system and object detection method

Country Status (1)

Country Link
JP (1) JP2015169963A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021520561A (en) * 2019-04-03 2021-08-19 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド Text recognition
WO2022239164A1 (en) * 2021-05-12 2022-11-17 三菱電機株式会社 Part search device, part search program, and part search method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021520561A (en) * 2019-04-03 2021-08-19 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド Text recognition
JP7066007B2 (en) 2019-04-03 2022-05-12 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド Text recognition
WO2022239164A1 (en) * 2021-05-12 2022-11-17 三菱電機株式会社 Part search device, part search program, and part search method

Similar Documents

Publication Publication Date Title
US11699283B2 (en) System and method for finding and classifying lines in an image with a vision system
JP6143111B2 (en) Object identification device, object identification method, and program
US10217083B2 (en) Apparatus, method, and program for managing articles
US9607237B2 (en) Image processing apparatus and image processing method
JP6278276B2 (en) Object identification device, object identification method, and program
US10296803B2 (en) Image display apparatus, image display method, and computer program product
US20160180565A1 (en) Editing digital notes representing physical notes
WO2014160433A2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
WO2015064107A1 (en) Management system, list production device, data structure, and printed label
JP2014059875A (en) Device and method for detecting the presence of logo in picture
US11741685B2 (en) Commodity identification device, non-transitory computer-readable storage medium, and learning method
US11568623B2 (en) Image processing apparatus, image processing method, and storage medium
JP2020095408A (en) List generating device, subject discriminating device, list generating method, and program
JP5914732B2 (en) Image verification method, image verification apparatus, and program
US20240078801A1 (en) System and method for finding and classifying lines in an image with a vision system
JP2017208014A (en) Needle type meter detection device, method, and program
US20180232884A1 (en) Date identifying apparatus, date identifying method, and computer-readable recording medium
KR20240058827A (en) System and method for finding and classifying lines in an image with a vision system
US20120237118A1 (en) Image processing device, image processing method, and image processing program
JP2014186520A (en) Image processing apparatus, image processing method, and program
JP5764527B2 (en) Image verification method, image verification apparatus, and program
JP2015169963A (en) Object detection system and object detection method
US20170277982A1 (en) Character recognition device, character recognition method and program
US11594322B2 (en) Dispensing audit support apparatus and dispensing audit support method
CN109961063B (en) Text detection method and device, computer equipment and storage medium