JP5373881B2 - Edge direction detection apparatus or method - Google Patents
Edge direction detection apparatus or method Download PDFInfo
- Publication number
- JP5373881B2 JP5373881B2 JP2011269188A JP2011269188A JP5373881B2 JP 5373881 B2 JP5373881 B2 JP 5373881B2 JP 2011269188 A JP2011269188 A JP 2011269188A JP 2011269188 A JP2011269188 A JP 2011269188A JP 5373881 B2 JP5373881 B2 JP 5373881B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- edge direction
- edge
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 title claims description 28
- 238000003708 edge detection Methods 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 37
- 101100420776 Arabidopsis thaliana SYN1 gene Proteins 0.000 description 9
- VUDQSRFCCHQIIU-UHFFFAOYSA-N DIF1 Natural products CCCCCC(=O)C1=C(O)C(Cl)=C(OC)C(Cl)=C1O VUDQSRFCCHQIIU-UHFFFAOYSA-N 0.000 description 9
- 101150001108 DIF1 gene Proteins 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 101100396286 Homo sapiens IER3 gene Proteins 0.000 description 3
- 102100036900 Radiation-inducible immediate-early gene IEX-1 Human genes 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この発明は、エッジ方向検出装置に関し、特に精度の高いエッジ検出が可能なエッジ方向検出に関する。 The present invention relates to an edge direction detection device, and more particularly to edge direction detection capable of highly accurate edge detection.
図１に、画面上に輪郭が存在する場合の各画素のRGB値を示す。超解像、拡大表示における画像補間などの画像処理に用いるために、このような画像における精度の良いエッジ検出が求められている。ここで、「エッジ」とは、画素の輝度値、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している領域と領域との境界をいう。 FIG. 1 shows the RGB values of each pixel when there is a contour on the screen. For use in image processing such as image interpolation in super-resolution and enlarged display, edge detection with high accuracy in such an image is required. Here, “edge” refers to a region and a region in which the above characteristics change suddenly when a region having similar features such as luminance value, density value, color, and pattern of pixels is defined as one region. And the boundary.
特許文献１には、精度向上のために、１８画素（２＊９）のウインドウの中央に仮想画素を設定し、上下の対応する画素の差分の総計から相関測定値を求めてエッジ検出を行うエッジ検出手法が開示されている。 In Patent Document 1, in order to improve accuracy, a virtual pixel is set at the center of a window of 18 pixels (2 * 9), and edge detection is performed by obtaining a correlation measurement value from the sum of differences between upper and lower corresponding pixels. An edge detection technique is disclosed.
具体的には、図２に示すように、18画素（２＊９）のウインドウの中央に仮想画素(i,j)を設定する。垂直方向の相関測定値DIFF_MID は下記式（１）で定義できる。式（１）では、K=-7〜7までの総和を求めているので、前記（２＊９）のウインドウをそれぞれ左右に７つずつずらした１５の組み合わせの総和が得られる。 Specifically, as shown in FIG. 2, a virtual pixel (i, j) is set in the center of an 18 pixel (2 * 9) window. The correlation measurement value DIFF_MID in the vertical direction can be defined by the following equation (1). In equation (1), the sum total of K = −7 to 7 is obtained, so the sum total of 15 combinations obtained by shifting the window of (2 * 9) by 7 to the left and right is obtained.
ここで、L(y,x)は、画素（ｙ,x)の画素値である。 Here, L (y, x) is a pixel value of the pixel (y, x).
同様にして、斜めの画素の組み合わせについても、図３に示すようにDIFF_L2〜DIFF_L9およびDIFF_R2〜DIFF_R9を求める。 Similarly, DIFF_L2 to DIFF_L9 and DIFF_R2 to DIFF_R9 are obtained for diagonal pixel combinations as shown in FIG.
例えば、DIFF_R7およびDIFF_L7は、式（２）、式（３）で求められる。 For example, DIFF_R7 and DIFF_L7 are obtained by Expression (2) and Expression (3).
かかる相関測定値に基づいて、エッジ検出を行う。 Edge detection is performed based on the correlation measurement value.
また、特許文献２には、１２方向においてエッジ検出が可能な手法が開示されている。具体的には、図４に示すように６＊６の矩形ウインドウの一部を除去して、２４個の画素で構成された略菱形のウインドウについて、仮想の補間画素G0〜G4を設定し、補間画素G0を通る仮想分割線Lを12.5度ピッチで複数本、設定する。具体的には、１２方向の分割線が設定される。これらの分割線で分けられた両側の画素の総計を１２方向それぞれ求め、総計の差の絶対値に係数をかけた値が、最大となる分割線の方向をエッジ方向であると判断する。 Patent Document 2 discloses a technique capable of edge detection in 12 directions. Specifically, as shown in FIG. 4, a part of a 6 * 6 rectangular window is removed, and virtual interpolation pixels G0 to G4 are set for a substantially diamond-shaped window composed of 24 pixels, A plurality of virtual dividing lines L passing through the interpolation pixel G0 are set at a pitch of 12.5 degrees. Specifically, 12 dividing lines are set. The total of the pixels on both sides divided by these dividing lines is obtained in each of 12 directions, and it is determined that the direction of the dividing line where the value obtained by multiplying the absolute value of the total difference by the coefficient is the edge direction.
上記特許文献に開示されたエッジ検出方法においては以下のような問題があった。 The edge detection method disclosed in the above patent document has the following problems.
特許文献１では、測定値の算出式によってエッジ検出をしているので、実際には9+2*7=23画素の２ライン分の演算が必要であるだけでなく、垂直近辺(45 度〜135 度の間)について同等の精度でエッジ検出するためには、同等のライン数のメモリが必要であり、またそのための演算処理が必要である。 In Patent Document 1, since the edge detection is performed by the calculation formula of the measurement value, not only the calculation for two lines of 9 + 2 * 7 = 23 pixels is actually required, but also the vicinity of the vertical (from 45 degrees to 45 degrees) In order to detect an edge with the same accuracy for between 135 degrees, a memory having the same number of lines is required, and an arithmetic process for that is required.
特許文献２では、仮想のエッジで別れた側の画素の値の総和の絶対差で判断しているので、必要な画素エリアが広い上、特に複雑な部分、市松模様などではエッジ検出が安定しない。 In Patent Document 2, since the determination is based on the absolute difference of the sum of the values of the pixels separated by the virtual edge, the necessary pixel area is wide and the edge detection is not stable particularly in a complicated portion or checkered pattern. .
この発明は、上記問題を解決し、エッジ方向にとらわれずかつ精度の良いエッジ検出が可能なエッジ検出装置またはその方法を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an edge detection apparatus or method that solves the above-described problems and that can detect edges with high accuracy without being bound by the edge direction.
(1)本発明にかかるエッジ方向検出装置は、M画素＊N画素の矩形領域における所定のエッジ方向候補についてエッジ検出信頼度を演算し、前記エッジ検出信頼度に基づいて前記矩形領域におけるエッジ方向を検出するエッジ方向検出装置であって、Ａ）一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する組み合わせ画素記憶手段、Ｂ）指定された矩形領域について、前記組み合わせ画素記憶手段における組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する差分総計値演算手段、Ｃ）前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値を演算する中央近傍画素値演算手段、Ｄ）前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値を演算する代表画素値演算手段、Ｅ）前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算する中央近傍画素差分値演算手段、Ｆ）前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算するエッジ検出信頼度演算手段、Ｇ）前記エッジ検出信頼度が高いエッジ方向が前記矩形領域におけるエッジ方向であると決定する決定手段を備えている。 (1) An edge direction detection apparatus according to the present invention calculates edge detection reliability for a predetermined edge direction candidate in a rectangular area of M pixels * N pixels, and based on the edge detection reliability, the edge direction in the rectangular area A) an edge direction detecting device for detecting A, wherein one pixel is an adjacent pixel adjacent to a central pixel of the rectangular region, and the other pixel forms a line segment with the adjacent pixel. Combination pixel storage means for storing at least a plurality of combinations in which the line segments are in parallel with respect to each edge direction, and B) for the designated rectangular area, the absolute value of the difference between the combination pixels in the combination pixel storage means, A difference total value calculation means for calculating a difference total value totaled for each edge direction for each edge direction; C) the combination pixel , A central neighborhood pixel value calculating means for calculating a representative pixel value in each edge direction based on a pixel value of an adjacent pixel adjacent to the central pixel of the rectangular area, and D) each pixel constituting the designated rectangular area E) a representative pixel value calculating means for calculating a representative pixel value in the rectangular area from the value of E, a center for calculating a difference between the central neighboring pixel value and the representative pixel value as a central neighboring pixel difference value for each edge direction Neighboring pixel difference value calculating means, F) Edge detection reliability calculating means for calculating edge detection reliability based on the central neighboring pixel difference value and the difference total value for each edge direction, G) The edge detection reliability Determination means for determining that the edge direction having a high degree is the edge direction in the rectangular region is provided.
このように、前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算し、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算することにより、信頼度の高いエッジ検出が可能となる。 Thus, for each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as a central neighborhood pixel difference value, and for each edge direction, the center neighborhood pixel difference value and the difference total value are calculated. By calculating the edge detection reliability based on the above, edge detection with high reliability can be performed.
(2)本発明にかかるエッジ方向検出装置は、前記組み合わせ画素記憶手段に記憶されるエッジ方向は、前記矩形領域における実在画素を結ぶ線分に平行で且つ、矩形の中央画素を通過する方向である。したがって、実在画素単位を越える補間仮想画素におけるエッジ方向の検出が可能となる。 (2) In the edge direction detection apparatus according to the present invention, the edge direction stored in the combination pixel storage means is a direction parallel to a line segment connecting the existing pixels in the rectangular region and passing through a rectangular central pixel. is there. Accordingly, it is possible to detect the edge direction in the interpolation virtual pixel exceeding the actual pixel unit.
(3)本発明にかかるエッジ方向検出装置は、各エッジ方向における画素の組み合わせは、少なくとも３であり、その中央の重み付け係数を高くしている。したがって、複数の画素の組み合わせを用いるともに、中央近傍の画素に基づいたエッジが検出される。 (3) In the edge direction detection device according to the present invention, the number of combinations of pixels in each edge direction is at least 3, and the weighting coefficient at the center is increased. Accordingly, a combination of a plurality of pixels is used, and an edge based on a pixel near the center is detected.
(4)本発明にかかるエッジ方向検出装置は、M画素＊N画素の矩形領域における所定のエッジ方向候補についてエッジ検出信頼度を演算し、前記エッジ検出信頼度に基づいて前記矩形領域におけるエッジ方向を検出するエッジ方向検出装置であって、Ａ）一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する組み合わせ画素記憶手段、Ｂ）指定された矩形領域について、前記組み合わせ画素記憶手段における組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する差分総計値演算手段、Ｃ）前記各エッジ方向について、前記差分総計値に基づいて、エッジ検出信頼度を演算するエッジ検出信頼度演算手段、Ｄ）前記エッジ検出信頼度が高いエッジ方向が前記矩形領域におけるエッジ方向であると決定する決定手段を備え、Ｅ）前記組み合わせ画素記憶手段に記憶された各エッジ方向における画素の組み合わせは、少なくとも３であり、総計する際に、その中央の重み付け係数を高くしている。 (4) The edge direction detection device according to the present invention calculates edge detection reliability for a predetermined edge direction candidate in a rectangular area of M pixels * N pixels, and based on the edge detection reliability, the edge direction in the rectangular area A) an edge direction detecting device for detecting A, wherein one pixel is an adjacent pixel adjacent to a central pixel of the rectangular region, and the other pixel forms a line segment with the adjacent pixel. Combination pixel storage means for storing at least a plurality of combinations in which the line segments are in parallel with respect to each edge direction, and B) for the designated rectangular area, the absolute value of the difference between the combination pixels in the combination pixel storage means, Difference total value calculation means for calculating the difference total value totaled for each edge direction for each edge direction; C) for each edge direction An edge detection reliability calculation means for calculating an edge detection reliability based on the difference total value; and D) a determination means for determining that an edge direction having a high edge detection reliability is an edge direction in the rectangular area. E) The combination of the pixels in each edge direction stored in the combination pixel storage means is at least 3, and the center weighting coefficient is increased when totaling.
このように、複数の画素の組み合わせを用いるともに、中央近傍の画素に基づいたエッジが検出される。 In this way, an edge based on a pixel near the center is detected while using a combination of a plurality of pixels.
(5)本発明にかかるエッジ方向検出装置は、前記矩形領域における水平方向の差分と垂直方向の差分をそれぞれ求めて、水平方向の最小値が閾値よりも小さい場合には垂直方向でないと、垂直方向の最小値が閾値よりも大きい場合には水平方向でないと判断する。したがって、垂直方向または水平方向を構成する画素の組みあわせによる誤検出を防止できる。 (5) The edge direction detection device according to the present invention obtains a horizontal direction difference and a vertical direction difference in the rectangular area, respectively, and if the minimum value in the horizontal direction is smaller than the threshold value, the vertical direction is not the vertical direction. When the minimum value of the direction is larger than the threshold value, it is determined that the direction is not horizontal. Therefore, it is possible to prevent erroneous detection due to a combination of pixels constituting the vertical direction or the horizontal direction.
(6)本発明にかかるエッジ方向検出装置は、前記矩形領域における第１象限と第３象限を結ぶ正方向、または第２象限と第４象限を結ぶ負方向に隣接する画素の組み合わせについて、差分の総計を正方向および負方向について求め、総計の大きな方向に属するエッジ方向ではないと判断する。したがって、誤検出を防止できる。 (6) The edge direction detection device according to the present invention provides a difference between a combination of adjacent pixels in the positive direction connecting the first quadrant and the third quadrant or the negative direction connecting the second quadrant and the fourth quadrant in the rectangular area. Are obtained in the positive direction and the negative direction, and are determined not to be edge directions belonging to the larger direction. Therefore, erroneous detection can be prevented.
(7)本発明にかかるエッジ方向検出装置においては、前記矩形領域は正方形であり、記組み合わせ画素記憶手段は、前記エッジ方向が、前記正方形の対角線と平行である場合には、前記正方形の縦辺側に位置する組み合わせ、および横辺に位置する組み合わせの双方向を前記組み合わせとして記憶しており、前記差分総計値演算手段は、前記縦辺側に位置する組み合わせ、および横辺に位置する組み合わせの双方の総和を前記差分総計値として演算する。このように、前記組み合わせとして、前記双方向の組み合わせが存在する様な場合でも、正確な検出が可能となる。 (7) In the edge direction detection device according to the present invention, the rectangular region is a square, and the combination pixel storage means is configured such that when the edge direction is parallel to the diagonal of the square, A combination located on the side and a combination located on the side are stored as the combination, and the difference total value calculation means is a combination located on the side and a side located on the side. Is calculated as the difference total value. Thus, even when the bidirectional combination exists as the combination, accurate detection is possible.
(８)本発明にかかるエッジ方向検出方法は、M画素＊N画素の矩形領域における所定のエッジ方向候補についてエッジ検出信頼度を演算し、前記エッジ検出信頼度に基づいて前記矩形領域におけるエッジ方向を検出するエッジ方向検出方法であって、一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶しておき、指定された矩形領域について、前記記憶した組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算し、前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値と、前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値との差分を代表画素差分として、各エッジ方向について演算し、各エッジ方向について、前記代表画素差分および前記差分総計値に基づいて、エッジ検出信頼度を演算する。 (8) The edge direction detection method according to the present invention calculates an edge detection reliability for a predetermined edge direction candidate in a rectangular area of M pixels * N pixels, and based on the edge detection reliability, the edge direction in the rectangular area The edge direction is detected when one pixel is an adjacent pixel adjacent to the central pixel of the rectangular area and the other pixel forms a line segment with the adjacent pixel. At least a plurality of combinations in which the minutes are in parallel relation are stored in each edge direction, and for the designated rectangular area, the absolute value of the difference between the stored combination pixels is summed up for each edge direction. For each edge direction, and each of the combined pixels is based on the pixel value of an adjacent pixel adjacent to the central pixel of the rectangular area. The difference between the representative pixel value in the wedge direction and the value of each pixel constituting the specified rectangular area is calculated as the representative pixel difference for each edge direction, and for each edge direction The edge detection reliability is calculated based on the representative pixel difference and the difference total value.
このように、前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算し、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算することにより、信頼度の高いエッジ検出が可能となる。 Thus, for each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as a central neighborhood pixel difference value, and for each edge direction, the center neighborhood pixel difference value and the difference total value are calculated. By calculating the edge detection reliability based on the above, edge detection with high reliability can be performed.
(9)本発明にかかるエッジ方向判定方法は、１画面の所定領域における所定のエッジ方向候補についてエッジ検出信頼度を演算し、前記エッジ検出信頼度に基づいて前記所定領域におけるエッジ方向を判定するエッジ方向判定方法であって、一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶しておき、指定された所定領域について、前記記憶した組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算し、前記組み合わせ画素のうち、前記所定領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値と、前記指定された所定領域を構成する各画素の値から当該所定領域における代表画素値との差分を代表画素差分として、各エッジ方向について演算し、各エッジ方向について、前記代表画素差分および前記差分総計値に基づいて、エッジ方向を判定する。 (9) In the edge direction determination method according to the present invention, the edge detection reliability is calculated for a predetermined edge direction candidate in a predetermined area of one screen, and the edge direction in the predetermined area is determined based on the edge detection reliability. In this edge direction determination method, when one pixel is an adjacent pixel adjacent to the central pixel of the rectangular area and the other pixel forms a line segment with the adjacent pixel, the edge direction and the line segment are parallel to each other. At least a plurality of combinations to be related are stored for each edge direction, and the absolute value of the difference of the stored combination pixels is summed for each edge direction with respect to the specified predetermined area. Each edge direction is calculated based on a pixel value of an adjacent pixel adjacent to a central pixel of the predetermined region among the combination pixels. The difference between the representative pixel value in the predetermined area and the value of each pixel constituting the specified predetermined area is calculated as a representative pixel difference for each edge direction, and the representative direction value is calculated for each edge direction. The edge direction is determined based on the pixel difference and the difference total value.
このように、前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算し、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算することにより、信頼度の高いエッジ検出が可能となる。 Thus, for each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as a central neighborhood pixel difference value, and for each edge direction, the center neighborhood pixel difference value and the difference total value are calculated. By calculating the edge detection reliability based on the above, edge detection with high reliability can be performed.
(10)本発明にかかるエッジ方向判定プログラムは、コンピュータを下記手段として機能させるためのプログラムである。一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する手段、指定された矩形領域について、前記記憶した組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する手段、前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値と、前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値との差分を代表画素差分として、各エッジ方向について演算する手段、各エッジ方向について、前記代表画素差分および前記差分総計値に基づいて、エッジ方向を判定する手段。 (10) The edge direction determination program according to the present invention is a program for causing a computer to function as the following means. When each pixel is an adjacent pixel adjacent to the central pixel of the rectangular area, and the other pixel connects the adjacent pixel and the line segment, a combination in which the edge direction and the line segment are in a parallel relationship, Means for storing at least a plurality of edge directions, means for calculating, for each edge direction, an absolute difference value of the stored combination pixels for a specified rectangular area, and calculating a difference total value for each edge direction; Based on the pixel value of the adjacent pixel adjacent to the central pixel of the rectangular area, the representative pixel value in each edge direction and the representative value in the rectangular area from the value of each pixel constituting the designated rectangular area Means for calculating for each edge direction using the difference from the pixel value as a representative pixel difference, and for each edge direction, the representative pixel difference and Based on the serial differential total value, means for determining an edge direction.
このように、前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算し、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算することにより、信頼度の高いエッジ検出が可能となる。 Thus, for each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as a central neighborhood pixel difference value, and for each edge direction, the center neighborhood pixel difference value and the difference total value are calculated. By calculating the edge detection reliability based on the above, edge detection with high reliability can be performed.
なお、本明細書において「エッジ」とは、画素の輝度値、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。「エッジ方向検出」とは、このエッジの方向を検出することをいう。また、「組み合わせ画素記憶手段」は実施形態ではエッジ方向検出プログラム２６ｐ内における１２のエッジ方向についての演算を行う場合にどの画素を用いるのかを特定している部分が該当する。 In this specification, the term “edge” means that the above-mentioned features change abruptly when a region having similar features such as the luminance value, density value, color, and pattern of a pixel is defined as one region. , Refers to the boundary between regions. “Edge direction detection” means detecting the direction of this edge. In the embodiment, the “combined pixel storage unit” corresponds to a part that specifies which pixel is used when performing calculations for 12 edge directions in the edge direction detection program 26p.
以下、本発明における実施形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
（１.第１実施形態）
（１．１ 機能ブロック）
図５に、本発明の１実施形態にかかるエッジ方向検出装置１の機能ブロック図を示す。
(1. First embodiment)
(1.1 Function block)
FIG. 5 is a functional block diagram of the edge direction detection device 1 according to the embodiment of the present invention.
エッジ方向検出装置１は、M画素＊N画素の矩形領域における所定のエッジ方向候補についてエッジ検出信頼度を演算し、前記エッジ検出信頼度に基づいて前記矩形領域におけるエッジ方向を検出するエッジ方向検出装置であって、組み合わせ画素記憶手段３、差分総計値演算手段５、中央近傍画素値演算手段７、代表画素値演算手段９、中央近傍画素差分値演算手段１１、エッジ検出信頼度演算手段１３、および決定手段１５を備えている。 The edge direction detection device 1 calculates edge detection reliability for a predetermined edge direction candidate in a rectangular area of M pixels * N pixels, and detects an edge direction in the rectangular area based on the edge detection reliability. A combined pixel storage means 3, a difference total value calculation means 5, a central neighborhood pixel value calculation means 7, a representative pixel value calculation means 9, a central neighborhood pixel difference value calculation means 11, an edge detection reliability calculation means 13, And determining means 15.
組み合わせ画素記憶手段３は、一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する。 The combination pixel storage means 3 is such that when one pixel is an adjacent pixel adjacent to the central pixel of the rectangular area and the other pixel forms a line segment with the adjacent pixel, the edge direction and the line segment are in a parallel relationship. Are stored for each of the edge directions.
差分総計値演算手段５は、指定された矩形領域について、組み合わせ画素記憶手段３における組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する。中央近傍画素値演算手段７は、前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値を演算する。代表画素値演算手段９は、前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値を演算する。中央近傍画素差分値演算手段１１は、前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算する。 The difference total value calculation means 5 calculates, for each edge direction, the difference total value obtained by totaling the absolute values of the difference between the combination pixels in the combination pixel storage means 3 in each edge direction for the designated rectangular area. The center neighborhood pixel value calculation means 7 calculates the representative pixel value in each edge direction based on the pixel value of the adjacent pixel adjacent to the center pixel of the rectangular area among the combination pixels. The representative pixel value calculation means 9 calculates the representative pixel value in the rectangular area from the value of each pixel constituting the designated rectangular area. The center neighborhood pixel difference value calculation means 11 calculates the difference between the center neighborhood pixel value and the representative pixel value as the center neighborhood pixel difference value for each edge direction.
エッジ検出信頼度演算手段１３は、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算する。 The edge detection reliability calculation means 13 calculates an edge detection reliability for each edge direction based on the central neighborhood pixel difference value and the difference total value.
決定手段１５は前記エッジ検出信頼度が高いエッジ方向が前記矩形領域におけるエッジ方向であると決定する。 The determining unit 15 determines that the edge direction having the high edge detection reliability is the edge direction in the rectangular region.
このように、前記各エッジ方向について、中央近傍画素値と代表画素値との差分を、中央近傍画素差分値として演算し、前記各エッジ方向について、前記中央近傍画素差分値および前記差分総計値に基づいて、エッジ検出信頼度を演算することにより、信頼度の高いエッジ検出が可能となる。 Thus, for each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as the central neighborhood pixel difference value, and for each edge direction, the center neighborhood pixel difference value and the difference total value are calculated. Based on the calculation of the edge detection reliability, edge detection with high reliability can be performed.
（１．２ ハードウェア構成）
図６にエッジ検出装置１のハードウェア構成の一例を示す。エッジ検出装置１は、ＣＰＵ２３、フレームメモリ２７、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、エッジ方向検出プログラム２６ｐが記憶されている。エッジ方向検出プログラム２６ｐには、１２のエッジ方向について、演算に用いる画素の組み合わせおよびその演算手法が記憶されている。詳細は後述する。
(1.2 Hardware configuration)
FIG. 6 shows an example of the hardware configuration of the edge detection apparatus 1. The edge detection apparatus 1 includes a CPU 23, a frame memory 27, a RAM 25, and a flash memory 26. The flash memory 26 stores an edge direction detection program 26p. The edge direction detection program 26p stores combinations of pixels used for calculation and calculation methods for 12 edge directions. Details will be described later.
ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。 The RAM 25 stores calculation results and the like. The frame memory 27 holds image data for one screen.
ＣＰＵ２３は、エッジ方向検出プログラム２６Ｐに従い、フレームメモリ２７に記憶された画像データに対し、所定の４＊４画素のウインドウを設定し、設定した画素についての画素データ（輝度）を読み出し、後述するようなエッジ検出信頼度を求め、結果をＲＡＭ２６に記憶する。 The CPU 23 sets a predetermined 4 * 4 pixel window for the image data stored in the frame memory 27 in accordance with the edge direction detection program 26P, reads pixel data (luminance) for the set pixel, and will be described later. The edge detection reliability is obtained, and the result is stored in the RAM 26.
なお、本実施形態においては、１つのウインドウにおけるエッジ検出処理についてのみ説明するが、実際は、１画素分ウインドウをずらし、エッジ検出処理が繰り返し行なわれる。 In the present embodiment, only the edge detection process in one window will be described, but actually, the edge detection process is repeatedly performed by shifting the window by one pixel.
（１．３ フローチャートの説明）
図７にフラッシュメモリ２５に記憶されたプログラムのフローチャートを示す。ＣＰＵ２３は、演算対象のウインドウが決定されると、当該ウインドウについての値PXを演算する（図７ステップＳ１）。本実施形態においては４＊４画素のウインドウにLPF フィルタを用いて、妥当性検証用の画素の値PXを算出した。具体的には値PXを式（４）で求めた。式（４）のようなフィルタを用いて算出された画素は、平均的な注目位置の画素値を示す。値PXを利用することで、各エッジに沿って生成した仮の補間画素との差によって検出されたエッジの信頼性が判別できる。
(1.3 Explanation of flowchart)
FIG. 7 shows a flowchart of the program stored in the flash memory 25. When the calculation target window is determined, the CPU 23 calculates a value PX for the window (step S1 in FIG. 7). In the present embodiment, the pixel value PX for validity verification is calculated using an LPF filter in a 4 * 4 pixel window. Specifically, the value PX was determined by equation (4). A pixel calculated using a filter such as Expression (4) indicates a pixel value of an average target position. By using the value PX, it is possible to determine the reliability of the detected edge by the difference from the provisional interpolation pixel generated along each edge.
PX＝A*WND4* AT ・・・式（４） ?
ここで、行列Aは平行化行列であり、行列ATは行列Aの転置行列である
つぎに、ＣＰＵ２３は、１２のエッジ方向についてエッジ検出信頼性基準値SDIF(t)（以下、値SDIF(t)という）を演算する（図７ステップＳ３）。
PX = A * WND4 * A T・ ・ ・ Formula (4)?
Here, the matrix A is a parallelization matrix, and the matrix AT is a transposed matrix of the matrix A. Next, the CPU 23 performs edge detection reliability reference value SDIF (t) (hereinafter referred to as value SDIF ( t)) (step S3 in FIG. 7).
（１．３．１ エッジ方向）
以下、値SDIF(t)を演算するにあたって必要なエッジ方向について説明する。本実施形態においては、図８Ａ、Ｂに示すように１２のエッジ方向を採用した。
(1.3.1 Edge direction)
Hereinafter, an edge direction necessary for calculating the value SDIF (t) will be described. In this embodiment, twelve edge directions are adopted as shown in FIGS.
図８Ａにおいて、４＊４画素の中央に仮想画素Ｇ１が定義される。なお、同図においてハッチング画素は補間画素を示している。仮想画素Ｇ１の周辺には、実画素Ｃ２〜Ｃ４が存在するので、これらの内側において、半画素の関係となる補間画素Ｇ２〜Ｇ５を定義する。さらに、実画素Ｃ２〜Ｃ４の外側にも半画素の関係となる補間画素Ｇ１２〜Ｇ１９を定義する。 In FIG. 8A, a virtual pixel G1 is defined at the center of 4 * 4 pixels. In the figure, hatched pixels indicate interpolation pixels. Since there are real pixels C2 to C4 around the virtual pixel G1, interpolation pixels G2 to G5 having a half-pixel relationship are defined inside these pixels. Furthermore, interpolation pixels G12 to G19 having a half-pixel relationship are defined outside the actual pixels C2 to C4.
このようにして定義した補間画素および実画素を用いることにより、仮想画素Ｇ１を通るほぼ均等な１２方向が定義される。具体的には、図８Ａに示すように、補間画素Ｇ２と補間画素Ｇ４を結ぶ方向１、実画素Ｃ１２と実画素Ｃ１６を結ぶ方向２、補間画素Ｇ１２と補間画素Ｇ１６を結ぶ方向３、実画素Ｃ２と実画素Ｃ４を結ぶ方向４、補間画素Ｇ１３と補間画素Ｇ１７を結ぶ方向５、実画素Ｃ１３と実画素Ｃ１７を結ぶ方向６である。以下同様にして、図８Ｂに示すように、方向７〜１２を定義する。これにより図９に示すように、方向１〜１２についての角度が９０度、１０８．４度・・・と定義される。図９に示すように、これらの角度構成は完全に均等ではないがほぼ１２等分される。 By using the interpolation pixel and the real pixel defined in this way, approximately equal 12 directions passing through the virtual pixel G1 are defined. Specifically, as shown in FIG. 8A, a direction 1 connecting the interpolation pixel G2 and the interpolation pixel G4, a direction 2 connecting the real pixel C12 and the real pixel C16, a direction 3 connecting the interpolation pixel G12 and the interpolation pixel G16, and the real pixel The direction 4 connects C2 and the real pixel C4, the direction 5 connects the interpolation pixel G13 and the interpolation pixel G17, and the direction 6 connects the real pixel C13 and the real pixel C17. Similarly, directions 7 to 12 are defined as shown in FIG. 8B. As a result, as shown in FIG. 9, the angles with respect to directions 1 to 12 are defined as 90 degrees, 108.4 degrees, and so on. As shown in FIG. 9, these angular configurations are not completely equal, but are divided into approximately 12 equal parts.
前記１２方向は、演算する処理としては、エッジ種類１〜４の４種類に分類可能である。エッジ方向１とエッジ方向７は、垂直、水平方向であり、エッジ種類１とする。演算処理の画素が90度配置が異なるだけで同様に求めることができるからである。エッジ方向２、エッジ方向６、エッジ方向８、エッジ方向１２は整数精度方向であり、エッジ種類２とする。これらも演算処理としては同様に求めることができる。エッジ方向４、エッジ方向10は整数精度方向であり、エッジ種類３とする。エッジ方向３、エッジ方向５、エッジ方向９、エッジ方向１１は半画素精度であり、エッジ種類４とする。これらも水平・垂直の差はあるが同様に求めることができるからである。 The 12 directions can be classified into four types of edge types 1 to 4 as processing to be calculated. Edge direction 1 and edge direction 7 are vertical and horizontal directions, and are of edge type 1. This is because the calculation processing pixels can be obtained in the same manner only by being different by 90 degrees. Edge direction 2, edge direction 6, edge direction 8, and edge direction 12 are integer precision directions and are of edge type 2. These can be obtained in the same manner as the arithmetic processing. Edge direction 4 and edge direction 10 are integer precision directions, and are edge type 3. Edge direction 3, edge direction 5, edge direction 9, and edge direction 11 have half-pixel accuracy and are of edge type 4. This is because these can also be obtained in the same manner, although there is a difference between horizontal and vertical.
各エッジ方向における値SDIF(t)の演算手法に用いる領域例である領域WND4を図１０に示す。領域WND4は仮想画素Ｇ１を中心として、４＊４の実画素で構成されている。以下、実画素を座標で表す。すなわち、一番左上の画素（1，1）、その右横の画素（1，2）・・・最右下の画素（4，4）とする。また、これらの画素値をWND4(1，1)、（1，2）・・・、WND4(4,4)で表す。 FIG. 10 shows a region WND4 that is an example of a region used for the calculation method of the value SDIF (t) in each edge direction. The region WND4 is composed of 4 * 4 real pixels with the virtual pixel G1 as the center. Hereinafter, real pixels are represented by coordinates. That is, the upper left pixel (1, 1), the right pixel (1, 2)... The lower right pixel (4, 4). These pixel values are represented by WND4 (1, 1), (1, 2)..., WND4 (4, 4).
値SDIF(t)は、エッジ方向に沿った画素の差分（SDIF1）と、エッジ方向を用いた注目位置の補間画素および下記PXの差分（SDIF2）との和で求められる。 The value SDIF (t) is obtained by the sum of the pixel difference along the edge direction (SDIF1), the interpolation pixel at the target position using the edge direction, and the difference between the following PX (SDIF2).
（１．３．２ エッジ種類における演算手法）
以下に、上記エッジ種類１〜４における値SDIF(t)の計算方法について詳述する。
(1.3.2 Calculation method for edge types)
Hereinafter, a method of calculating the value SDIF (t) in the edge types 1 to 4 will be described in detail.
（１．３．２．１ エッジ種類１）
図１１Ａに示すように、エッジ方向１の値SDIF(1)を計算する場合には、画素（１，２）、（２，２）、（３，２）、（４，２）、（１，３）、（２，３）、（３，３）、（４，３）を用いる。
(1.3.2.1 Edge type 1)
As shown in FIG. 11A, when the value SDIF (1) in the edge direction 1 is calculated, the pixels (1, 2), (2, 2), (3, 2), (4, 2), (1 , 3), (2, 3), (3, 3), (4, 3) are used.
上記画素から2列目における差分DIF1（ｔ,２）は、式（４−１）で求められる。 The difference DIF1 (t, 2) in the second column from the pixel is obtained by Expression (4-1).
すなわち、列２における差分DIF1（１,２）は、画素（１，２）の値と画素（２，２）の値の差分の絶対値であり、差分DIF1（２,２）は、画素（２，２）の値と画素（３，２）の値の差分の絶対値であり、差分DIF1（３,２）は、画素（３，２）の値と画素（４，２）の値の差分の絶対値である。 That is, the difference DIF1 (1, 2) in column 2 is the absolute value of the difference between the value of the pixel (1, 2) and the value of the pixel (2, 2), and the difference DIF1 (2, 2) is the pixel ( 2, 2) and the absolute value of the difference between the pixel (3, 2) value, and the difference DIF1 (3, 2) is the difference between the value of the pixel (3, 2) and the value of the pixel (4, 2). The absolute value of the difference.
同様に３列目における差分DIF2（ｔ,３）は、式（４−２）で求められる。 Similarly, the difference DIF2 (t, 3) in the third column is obtained by Expression (4-2).
これらの差分の絶対値の値SDIF1(1)は、式（４−３）で求められる。このように、本実施形態においては、そのまま差分を加算するのではなく、ｔ=2 の際、係数ｗｔを他の場合の２倍としている。これは、注目画素に一番隣接している画素の組み合わせの重みを高くするためであるが、かかる重み付けについてはこれに限定されない。 The absolute value SDIF1 (1) of these differences is obtained by Expression (4-3). Thus, in the present embodiment, the difference is not added as it is, but the coefficient wt is doubled in the other cases at t = 2. This is for increasing the weight of the combination of the pixels closest to the target pixel, but the weight is not limited to this.
つぎに、方向に沿って算出した補間画素参考値VAL(t)を式（５−１）により算出する。 Next, the interpolated pixel reference value VAL (t) calculated along the direction is calculated by Expression (5-1).
具体的には、補間画素参考値VAL(２)として、画素（２,２）と画素（３,２）の平均値が、補間画素参考値VAL(３)として、画素（２,３）と画素（３,３）の平均値が求められる。 Specifically, the average value of the pixel (2, 2) and the pixel (3, 2) is used as the interpolation pixel reference value VAL (2), and the pixel (2, 3) is used as the interpolation pixel reference value VAL (3). An average value of the pixels (3, 3) is obtained.
つぎに、補間画素参考値VAL(２)とPXの差、補間画素参考値VAL(３)と値PXの差の平均値SDIF２を式（６）により算出する。 Next, the difference between the interpolation pixel reference values VAL (2) and PX and the average value SDIF2 of the difference between the interpolation pixel reference value VAL (3) and the value PX are calculated by the equation (6).
もしエッジ方向が正しければ補間画素参考値VAL(t)と値PXの差は小さくなる。 If the edge direction is correct, the difference between the interpolated pixel reference value VAL (t) and the value PX becomes small.
総和SDIF1と平均値SDIF２の和がエッジ方向１の場合の値SDIF(1)となる。 The sum of the sum SDIF1 and the average value SDIF2 is the value SDIF (1) when the edge direction is 1.
SDIF＝SDIF1＋SDIF2・・・式（７−０）
エッジ方向７の場合は、エッジ方向１の場合と比べて、使用する画素位置がちょうど90度回転した状態であり、図８Ｂに示すように、エッジ方向７の値SDIF(7)を計算する場合には、画素（２，１）、（２，２）、（２，３）、（２，４）、（３，１）、（３，２）、（３，３）、（３，４）を用いて、同様に演算すればよい。
SDIF = SDIF1 + SDIF2 ... Formula (7-0)
In the case of the edge direction 7, compared to the case of the edge direction 1, the pixel position to be used is just 90 degrees rotated. As shown in FIG. 8B, the value SDIF (7) of the edge direction 7 is calculated. Includes pixels (2,1), (2,2), (2,3), (2,4), (3,1), (3,2), (3,3), (3,4) ) To calculate in the same manner.
他のエッジ方向についても、基本的な考え方は同じであるが、用いる画素が異なり、SDIF(t)の演算手法が具体的に異なるので、以下説明する。 The basic concept is the same for the other edge directions, but the pixel used is different and the SDIF (t) calculation method is specifically different.
（１．３．２．２ エッジ種類２）
図１２Ａに示すように、エッジ方向２の値SDIF(2)を計算する場合には、画素（１，１）、（４，２）、（１，２）、（４，３）、（１，３）、（４，４）を用いる。
(1.3.2.2 Edge type 2)
As shown in FIG. 12A, when the value SDIF (2) in the edge direction 2 is calculated, the pixels (1, 1), (4, 2), (1, 2), (4, 3), (1 , 3) and (4, 4) are used.
上記画素から差分DIF（ｔ）は、式（７−１）で求められる。 The difference DIF (t) from the pixel is obtained by Expression (7-1).
すなわち、差分DIF（１）は、画素（１，１）の値と画素（４，２）の値の差分の絶対値であり、差分DIF（２）は、画素（１，２）の値と画素（４，３）の値の差分の絶対値であり、差分DIF（３）は、画素（１，３）の値と画素（４，４）の値の差分の絶対値である。 That is, the difference DIF (1) is the absolute value of the difference between the value of the pixel (1, 1) and the value of the pixel (4, 2), and the difference DIF (2) is the value of the pixel (1, 2). The absolute value of the difference between the values of the pixel (4, 3), and the difference DIF (3) is the absolute value of the difference between the value of the pixel (1, 3) and the value of the pixel (4, 4).
これらの差分の絶対値の総和SDIF1は、式（７−２）で求められる。エッジ方向２についても、エッジ方向１と同様の理由で、そのまま差分を加算するのではなく、ｔ=2 の際、係数ｗｔを他の場合の２倍としている。 The sum SDIF1 of the absolute values of these differences is obtained by Expression (7-2). For the edge direction 2 as well, the difference is not added as it is for the same reason as in the edge direction 1, but the coefficient wt is doubled compared to the other cases at t = 2.
つぎに、ＣＰＵ２３は、方向に沿って算出した補間画素参考値VAL(t)を式（８−１）により算出する。 Next, the CPU 23 calculates the interpolated pixel reference value VAL (t) calculated along the direction by the equation (8-1).
具体的には、補間画素参考値VALとして、画素（１,２）と画素（４,３）の平均値が求められる。 Specifically, an average value of the pixel (1, 2) and the pixel (4, 3) is obtained as the interpolation pixel reference value VAL.
つぎに、ＣＰＵ２３は式（８−２）により、補間画素参考値VALとPXの差をSDIF2として算出する。 Next, the CPU 23 calculates the difference between the interpolated pixel reference values VAL and PX as SDIF2 by Expression (8-2).
総和SDIF1と平均値SDIF2の和がエッジ方向２の場合の算出値SDIF(2)となる。 The sum of the sum SDIF1 and the average value SDIF2 is the calculated value SDIF (2) when the edge direction is 2.
SDIF＝SDIF1＋SDIF2・・・式（７−０）
エッジ方向６、エッジ方向８、エッジ方向１２の場合は、図１２Ｂ〜Ｄに示すように、エッジ方向２の場合と比べて、使用する画素位置がちょうど90度ずつ回転した状態であり、同様にして算出値SDIFを求めることができる。
SDIF = SDIF1 + SDIF2 ... Formula (7-0)
In the case of the edge direction 6, the edge direction 8, and the edge direction 12, as shown in FIGS. 12B to 12D, compared to the case of the edge direction 2, the pixel position to be used is rotated by 90 degrees. Thus, the calculated value SDIF can be obtained.
（１．３．２．３ エッジ種類４）
エッジ方向４の値SDIF(4)を計算する場合には、水平方向および垂直方向のそれぞれが考えられる。したがって、エッジ連続判定のロバスト性を考慮して、図１３Ａに示すように、画素（２，１）、（３，２）、（２，２）、（３，３）、（２，３）、（３，４）と、図１３Ｂに示ように、画素（１，２）、（２，３）、（２，２）、（３，３）、（３，２）、（４，３）を用いる。
(1.3.2.3 Edge type 4)
When calculating the value SDIF (4) of the edge direction 4, each of the horizontal direction and the vertical direction can be considered. Therefore, considering the robustness of edge continuity determination, as shown in FIG. 13A, pixels (2,1), (3,2), (2,2), (3,3), (2,3) , (3, 4) and pixels (1, 2), (2, 3), (2, 2), (3, 3), (3, 2), (4, 3) as shown in FIG. ) Is used.
上記画素から水平方向における差分DIFh（ｔ）は、式（９−１）で求められる。 The difference DIF h (t) in the horizontal direction from the pixel is obtained by Expression (9-1).
すなわち、差分DIFh（１）は、画素（２，１）と画素（３，２）の値の差分の絶対値であり、差分DIFh（２）は、画素（２，２）の値と画素（３，３）の値の差分の絶対値であり、差分DIFh（３）は、画素（２，３）の値と画素（３，４）の値の差分の絶対値である。 That is, the difference DIF h (1) is the absolute value of the difference between the pixel (2, 1) and the pixel (3, 2), and the difference DIF h (2) is the value of the pixel (2, 2). The absolute value of the difference between the values of the pixel (3, 3), and the difference DIF h (3) is the absolute value of the difference between the value of the pixel (2, 3) and the value of the pixel (3, 4).
同様に垂直方向における差分DIFV（ｔ）は、式（９−２）で求められる。 Similarly, the difference DIF V (t) in the vertical direction is obtained by Expression (9-2).
水平方向における、差分の絶対値の総和SDIF1hは、式（９−３）で求められる。エッジ方向４についても、エッジ方向１と同様の理由で、そのまま差分を加算するのではなく、ｔ=2 の際、係数ｗｔを他の場合の２倍としている。 The sum SDIF1 h of the absolute values of the differences in the horizontal direction is obtained by Expression (9-3). For the edge direction 4 as well, the difference is not added as it is for the same reason as in the edge direction 1, but the coefficient wt is doubled compared to the other cases at t = 2.
同様に、垂直方向における、差分の絶対値の総和SDIF1vは、式（９−４）で求められる。 Similarly, the sum SDIF1 v of the absolute values of the differences in the vertical direction is obtained by Expression (9-4).
総和SDIF1hと総和SDIF1vの最小値をSDIF1とする（式１０−１参照） The minimum value of the sum SDIF1 h and sum SDIF1 v is SDIF1 (see Equation 10-1).
つぎに、方向に沿って算出した補間画素参考値VAL(t)を式（１０−２）により算出する。 Next, the interpolated pixel reference value VAL (t) calculated along the direction is calculated by Expression (10-2).
具体的には、補間画素参考値VALとして、画素（２,２）と画素（３,３）の平均値が求めれる。 Specifically, an average value of the pixel (2, 2) and the pixel (3, 3) is obtained as the interpolation pixel reference value VAL.
つぎに、補間画素参考値VALとPXの差の絶対値SDIF2を算出する。 Next, the absolute value SDIF2 of the difference between the interpolation pixel reference values VAL and PX is calculated.
同様に、総和SDIF１と平均値SDIF２の和がエッジ方向１の場合の算出値SDIFとなる。 Similarly, the sum of the sum SDIF1 and the average value SDIF2 is the calculated value SDIF in the case of the edge direction 1.
SDIF＝SDIF1＋SDIF2・・・式（７−０）
エッジ方向１０の場合は、エッジ方向４の場合と比べて、使用する画素位置がちょうど90度回転した状態であり、図１３Ｃに示すように、画素（３，１）、（２，２）、（３，２）、（２，３）、（３，３）、（２，４）と、図１３Ｄに示すように、画素（２，２）、（１，３）、（３，２）、（２，３）、（４，２）、（３，３）を用いて同様に演算すればよい。
SDIF = SDIF1 + SDIF2 ... Formula (7-0)
In the case of the edge direction 10, the pixel position to be used is just 90 degrees rotated as compared with the case of the edge direction 4, and as shown in FIG. 13C, the pixels (3, 1), (2, 2), (3,2), (2,3), (3,3), (2,4) and pixels (2,2), (1,3), (3,2) as shown in FIG. 13D , (2, 3), (4, 2), (3, 3) may be used in the same manner.
（１．３．２．４ エッジ種類３）
図１４Ａに示すように、エッジ方向３の値SDIF(3)を計算する場合には、画素（２，１）、（４，２）、（１，１）、（３，２）、（２，２）、（４，３）、（１，２）、（３，３）（２，３）、（４，４）、（１，３）、（３，４）を用いる。
(1.3.2.4 Edge type 3)
As shown in FIG. 14A, when the value SDIF (3) in the edge direction 3 is calculated, the pixels (2, 1), (4, 2), (1, 1), (3, 2), (2 , 2), (4, 3), (1, 2), (3, 3) (2, 3), (4, 4), (1, 3), (3,4).
差分DIF1（ｔ）は、式（１１−１）で求められる。 The difference DIF1 (t) is obtained by Expression (11-1).
すなわち、差分DIF1（１）は、画素（１，１）の値と画素（３，２）の値の差分の絶対値であり、差分DIF1（２）は、画素（１，２）の値と画素（３，３）の値の差分の絶対値であり、差分DIF1（３）は、画素（１，３）の値と画素（３，４）の値の差分の絶対値である。 That is, the difference DIF1 (1) is the absolute value of the difference between the value of the pixel (1,1) and the value of the pixel (3,2), and the difference DIF1 (2) is the value of the pixel (1,2). The absolute value of the difference between the values of the pixel (3, 3), and the difference DIF1 (3) is the absolute value of the difference between the value of the pixel (1, 3) and the value of the pixel (3, 4).
同様に差分DIF2（ｔ）は、式（１１−２）で求められる。 Similarly, the difference DIF2 (t) is obtained by Expression (11-2).
これらの差分の絶対値の総和SDIF1は、式（１１−３）で求められる。エッジ方向３についても、エッジ方向１と同様の理由で、そのまま差分を加算するのではなく、ｔ=2 の際、係数ｗｔを他の場合の２倍としている。また、重みをｔ=2の場合に「１」としているのは、（DIF1＋DIF2）とした為である。 The sum SDIF1 of the absolute values of these differences is obtained by Expression (11-3). For the edge direction 3 as well, the difference is not added as it is for the same reason as in the edge direction 1, but the coefficient wt is doubled in other cases at t = 2. The reason why the weight is set to “1” when t = 2 is because (DIF1 + DIF2).
つぎに、方向に沿って算出した補間画素参考値VAL(t)を式（１２−１）により算出する。 Next, the interpolated pixel reference value VAL (t) calculated along the direction is calculated by Expression (12-1).
具体的には、補間画素参考値VAL(１)として、画素（１,２）と画素（３,３）の平均値が、補間画素参考値VAL(２)として、画素（２,２）と画素（４,３）の平均値が求められる。 Specifically, the average value of the pixel (1, 2) and the pixel (3, 3) is used as the interpolation pixel reference value VAL (1), and the pixel (2, 2) is used as the interpolation pixel reference value VAL (2). An average value of the pixels (4, 3) is obtained.
つぎに、補間画素参考値VAL(１)とPXの差、補間画素参考値VAL(２)と値PXの差の平均値SDIF２を式（１２−２）から算出する。 Next, the difference between the interpolation pixel reference values VAL (1) and PX and the average value SDIF2 of the difference between the interpolation pixel reference value VAL (2) and the value PX are calculated from the equation (12-2).
総和SDIF1と平均値SDIF２の和がエッジ方向１の場合の算出値SDIFとなる。 The sum of the sum SDIF1 and the average value SDIF2 is the calculated value SDIF when the edge direction is 1.
SDIF＝SDIF1＋SDIF2・・・式（７−０）
なお、エッジ方向５，９，１１の場合は、エッジ方向３の場合と比べて、使用する画素位置がちょうど90度回転した状態であり、図１４Ｂ〜Ｄに示すように、値SDIFを計算することができる。
SDIF = SDIF1 + SDIF2 ... Formula (7-0)
In the edge directions 5, 9, and 11, the pixel position to be used is just 90 degrees rotated as compared with the edge direction 3, and the value SDIF is calculated as shown in FIGS. be able to.
なお、このエッジ種類については、６の画素組み合わせを採用したが、３以上であればこれに限定されない。または簡易演算をするのであれば、２つであってもよい。すなわち、画素（２，２）と画素（４，３）、画素（１，２）と画素（３，３）の組み合わせから演算するようにしてもよい。 In addition, about this edge type, although the pixel combination of 6 was employ | adopted, if it is 3 or more, it will not be limited to this. Alternatively, two may be used if simple calculation is performed. That is, the calculation may be performed from the combination of the pixel (2, 2) and the pixel (4, 3), and the pixel (1, 2) and the pixel (3, 3).
（１．３．３ 正グループＰＧ，負グループＮＧに属するエッジ方向の決定）
図７ステップＳ５における判定値HOR、値VERを用いた正グループＰＧ，負グループＮＧの決定手法について説明する。まず、判定値HOR、値VERの演算手法について説明する。水平方向の値HDIF(y)を式（１３−１）から求める。
(1.3.3 Determination of edge directions belonging to positive group PG and negative group NG)
A method for determining the positive group PG and the negative group NG using the determination value HOR and the value VER in step S5 in FIG. 7 will be described. First, a method for calculating the determination value HOR and the value VER will be described. The horizontal value HDIF (y) is obtained from Equation (13-1).
例えば、水平方向の値HDIF(1)は、図１５の画素（１,２）と画素（１,３）の差分の絶対値となる。同様にして求めた値HDIF(2)〜値HDIF(4)から、値HDIF(1)〜値HDIF(4)の最大値と最小値を求める。同様にして、垂直方向の値VDIF(x)を式（１３−２）から求め、値VDIF(1)〜値VDIF(4)の最大値と最小値を求める。 For example, the horizontal value HDIF (1) is the absolute value of the difference between the pixel (1, 2) and the pixel (1, 3) in FIG. Similarly, the maximum value and the minimum value of the values HDIF (1) to HDIF (4) are obtained from the values HDIF (2) to HDIF (4) obtained in the same manner. Similarly, the value VDIF (x) in the vertical direction is obtained from Expression (13-2), and the maximum value and the minimum value of the values VDIF (1) to VDIF (4) are obtained.
水平および垂直方向の判定値HOR、値VERを式（１３−３）、（１３−４）から求める。かかる値HOR、値VERは、後述するように、水平および垂直でない場合を判定するのに用いられる。値HORは、垂直方向の値VDIF(x)の最小値が、水平方向の値HDIF(y)の最大値を2倍した値、または、予め定めた閾値ＴＨ１を越える場合には、値HOR＝１となるが、それ以外は、値HOR＝０となる。値VERについても同様である。 The determination value HOR and the value VER in the horizontal and vertical directions are obtained from the equations (13-3) and (13-4). The value HOR and the value VER are used to determine a case where the value is not horizontal or vertical, as will be described later. The value HOR is the value HOR = if the minimum value of the vertical value VDIF (x) exceeds the maximum value of the horizontal value HDIF (y) by two times or exceeds a predetermined threshold TH1. 1 otherwise, the value HOR = 0. The same applies to the value VER.
かかる値HOR、VERを用いて、正グループＰＧに属するエッジ方向，負グループＮＧに属するエッジ方向およびそれぞれにおける順位を決定する。具体的には、図１６に示すように、エッジ方向の角度が０〜９０度の間に属する正エッジグループＰＧと、エッジ方向の角度が９０〜１８０度の間に属する負グループＮＧに分けられる。すなわち、正エッジグループＰＧには、エッジ方向８〜１１が、負グループＮＧには、エッジ方向２〜６が属する。また、水平方向であるエッジ方向１については、値HOR=0の場合は、いずれのグループにも属さない。また、垂直方向であるエッジ方向７についても値VER=0の場合は、いずれのグループにも属さない。 なお、正・負グループ内において、複数のエッジ方向についての値SDIFが同じ場合がある。この場合には、４５度又は１３５度方向に近い方を選択するようにすればよい。４５度又は１３５度エッジの判断用画素が注目画素に近いので遠い画素ペアより信頼性が高いからである。 Using the values HOR and VER, the edge direction belonging to the positive group PG, the edge direction belonging to the negative group NG, and the rank in each are determined. Specifically, as shown in FIG. 16, the edge direction angle is divided into a positive edge group PG belonging to an angle of 0 to 90 degrees and an edge direction angle of 90 to 180 degrees, and a negative group NG belonging to the angle group. . That is, the edge directions 8 to 11 belong to the positive edge group PG, and the edge directions 2 to 6 belong to the negative group NG. Further, the edge direction 1 which is the horizontal direction does not belong to any group when the value HOR = 0. Also, the edge direction 7, which is the vertical direction, does not belong to any group if the value VER = 0. In the positive / negative group, the value SDIF for a plurality of edge directions may be the same. In this case, a direction closer to 45 degrees or 135 degrees may be selected. This is because the 45-degree or 135-degree edge determination pixel is close to the pixel of interest and is therefore more reliable than a distant pixel pair.
（１．３．４ エッジグループ決定）
図７ステップＳ７におけるエッジグループの決定処理について説明する。
(1.3.4 Edge group determination)
The edge group determination process in step S7 of FIG. 7 will be described.
まず、図１７に示すように、４５度方向に隣接する画素間の差分PDIF(1)〜(9)を演算する。 First, as shown in FIG. 17, the differences PDIF (1) to (9) between pixels adjacent in the 45 degree direction are calculated.
かかる差分PDIF(1)〜(9)の総計値PSUMを演算する。同様に、差分NDIF(1)〜(9)およびその総計値NSUMを演算する。 The total value PSUM of the differences PDIF (1) to (9) is calculated. Similarly, the differences NDIF (1) to (9) and the total value NSUM are calculated.
つぎに、エッジ方向決定処理における閾値について説明する。 Next, the threshold value in the edge direction determination process will be described.
つぎに、エッジ方向決定について説明する。本実施形態においては、総計値PSUMと閾値TH3の和が、総計値NSUMより小さいか等しい場合は「GRP＝正」と、総計値NSUMと閾値TH3の和が、総計値PSUMより小さいか等しい場合は「GRP＝負」といずれでもない場合は、「GRP＝０（エッジなし）と判断するようにした。 Next, edge direction determination will be described. In the present embodiment, when the sum of the total value PSUM and the threshold value TH3 is less than or equal to the total value NSUM, “GRP = positive”, and when the sum of the total value NSUM and the threshold value TH3 is less than or equal to the total value PSUM When “GRP = negative” is neither, it is determined that “GRP = 0 (no edge)”.
なお、正負グループを決定するためであれば、総計値PSUMと総計値NSUMを比較して、グループを決定すればよい。ただ、閾値TH3を適切な値に決定することにより、エッジがないような場合（たとえば市松模様）を適切に判断することができる。 In order to determine a positive / negative group, the total value PSUM and the total value NSUM may be compared to determine the group. However, by determining the threshold value TH3 to an appropriate value, it is possible to appropriately determine a case where there is no edge (for example, a checkered pattern).
（１．３．５ エッジ方向決定）
図７ステップＳ９におけるエッジ方向決定処理について説明する。具体的には、値GRPが正である場合には、正グループで最小値を有するエッジ方向が選択される。値GRPが負である場合には、負グループで最小値を有するエッジ方向が選択される。
(1.3.5 Edge direction determination)
The edge direction determination process in step S9 in FIG. 7 will be described. Specifically, when the value GRP is positive, the edge direction having the minimum value in the positive group is selected. If the value GRP is negative, the edge direction having the minimum value in the negative group is selected.
（１．４ 具体例について）
以下、具体的に４＊４画素の値を用いて、図７のフローチャートに基づき説明する。例えば、図１９に示す矩形データが与えられた場合、ＣＰＵ２３は、値PXを演算する(図７ステップＳ１)。この場合、PX=74となる。
(1.4 About specific examples)
Hereinafter, a specific description will be given based on the flowchart of FIG. 7 using 4 * 4 pixel values. For example, when the rectangular data shown in FIG. 19 is given, the CPU 23 calculates the value PX (step S1 in FIG. 7). In this case, PX = 74.
つぎに、ＣＰＵ２３は値SDIF(t)を演算する(図７ステップＳ３)。この場合、SDIF(1)=181；SDIF(2)=400；SDIF(3)=299；SDIF(4)=131；SDIF(5)=59；SDIF(6)=53；SDIF(7)=114；SDIF(8)=324；SDIF(9)=276；SDIF(10)=229；SDIF(11)=372；SDIF(12)=400；となる。 Next, the CPU 23 calculates a value SDIF (t) (step S3 in FIG. 7). In this case, SDIF (1) = 181; SDIF (2) = 400; SDIF (3) = 299; SDIF (4) = 131; SDIF (5) = 59; SDIF (6) = 53; SDIF (7) = 114; SDIF (8) = 324; SDIF (9) = 276; SDIF (10) = 229; SDIF (11) = 372; SDIF (12) = 400.
つぎに、ＣＰＵ２３は値HOR、VERを演算するとともに、値HOR、VERを用いた正グループＰＧ，負グループＮＧの決定を行う(図７ステップＳ５)。図１９に示す矩形データの場合、値HOR=0;値VER=0;となる。 Next, the CPU 23 calculates values HOR and VER and determines a positive group PG and a negative group NG using the values HOR and VER (step S5 in FIG. 7). In the case of the rectangular data shown in FIG. 19, the value HOR = 0; the value VER = 0;
したがって、この場合、正グループＰＧは、エッジ方向「１０」，「９」，「１１」，「８」，「１２」であり、負グループＮＧはエッジ方向「４」，「５」，「３」，「６」，「２」となる。 Therefore, in this case, the positive group PG is the edge directions “10”, “9”, “11”, “8”, “12”, and the negative group NG is the edge directions “4”, “5”, “3”. ”,“ 6 ”,“ 2 ”.
つぎに、ＣＰＵ２３はPSUM、NSUMに基づき、正グループＰＧ、負グループＮＧのいずれを選択するのかを判断する(図７ステップＳ７)。図１９に示す矩形データの場合、値PSUM＝174;値NSUM=414;となるので、値GRPは「負」となる。 Next, the CPU 23 determines which of the positive group PG and the negative group NG is selected based on PSUM and NSUM (step S7 in FIG. 7). In the case of the rectangular data shown in FIG. 19, since the value PSUM = 174; the value NSUM = 414 ;, the value GRP is “negative”.
つぎに、ＣＰＵ２３は決定した負グループＮＧから、最小値である値SDIF(6)=53をエッジ方向として決定する（ステップＳ９）。 Next, the CPU 23 determines the minimum value SDIF (6) = 53 as the edge direction from the determined negative group NG (step S9).
このようにして正しいエッジ方向が特定される。 In this way, the correct edge direction is specified.
（１．５ 平均値SDIF２の意義について）
本実施形態においては、総和SDIF1に、平均値SDIF２を考慮して値SDIFを決定している。かかる意義について説明する。
(1.5 Significance of mean value SDIF2)
In the present embodiment, the value SDIF is determined for the sum SDIF1 in consideration of the average value SDIF2. Such significance will be described.
図１９に示す４＊４ウインドウについて、値SDIF1、値SDIF2、値SDIFを演算すると、以下のようになる。 For the 4 * 4 window shown in FIG. 19, the values SDIF1, SDIF2, and SDIF are calculated as follows.
PX=74;
SDIF1(4)=122;SDIF1(5)=39;SDIF1(3)=289;SDIF1(6)=44;SDIF1(2)=392;
SDIF2(4)=9;SDIF2(5)=20;SDIF2(3)=10;SDIF2(6)=9;SDIF2(2)=8;
SDIF(4)=131;SDIF(5)=59;SDIF(3)=299;SDIF(6)=53;SDIF(2)=400;
かかる状況で、もし、値SDIF1だけで、選択すると、値SDIF1(5)が最小値となり、エッジ方向５が選択されてしまう。しかし、この場合、エッジ方向５は誤りであり、正しいのはエッジ方向６である。
PX = 74;
SDIF1 (4) = 122; SDIF1 (5) = 39; SDIF1 (3) = 289; SDIF1 (6) = 44; SDIF1 (2) = 392;
SDIF2 (4) = 9; SDIF2 (5) = 20; SDIF2 (3) = 10; SDIF2 (6) = 9; SDIF2 (2) = 8;
SDIF (4) = 131; SDIF (5) = 59; SDIF (3) = 299; SDIF (6) = 53; SDIF (2) = 400;
In such a situation, if only the value SDIF1 is selected, the value SDIF1 (5) becomes the minimum value, and the edge direction 5 is selected. In this case, however, the edge direction 5 is incorrect, and the edge direction 6 is correct.
これに対して、平均値SDIF2を採用することにより、以下に説明するように、正しいエッジ方向が選択される。この場合、図７ステップＳ１で算出された値PXは「74」である。エッジ方向５であれば、エッジに沿った補間値は、VAL(１)＝（94＋112)/2＝103；VAL(２)＝（54＋72)/2＝63である。したがって、エッジ方向５の場合、SDIF2＝(ABS(103-74)＋ABS（63-74））/2＝20となる。 On the other hand, by using the average value SDIF2, the correct edge direction is selected as described below. In this case, the value PX calculated in step S1 in FIG. 7 is “74”. If the edge direction is 5, the interpolation value along the edge is VAL (1) = (94 + 112) / 2 = 103; VAL (2) = (54 + 72) / 2 = 63. Therefore, in the case of the edge direction 5, SDIF2 = (ABS (103-74) + ABS (63-74)) / 2 = 20.
一方、エッジ方向６であれば、エッジに沿った補間値は、VAL＝(94＋72)/２＝83であり、SDIF2＝ABS(83-74)＝9となる。 On the other hand, if the edge direction is 6, the interpolation value along the edge is VAL = (94 + 72) / 2 = 83, and SDIF2 = ABS (83-74) = 9.
このように、平均値SDIF2を採用することにより、より誤りの少ない検出が可能となる。 In this manner, by using the average value SDIF2, detection with fewer errors can be performed.
なお、平均値SDIF2の採用については、必須ではない。 Note that the adoption of the average value SDIF2 is not essential.
また、本実施形態においては、値SDIF1と値SDIF2を単純に加算するようにしたが、係数を用いて、重み付けをするようにしてもよい。 Further, in the present embodiment, the value SDIF1 and the value SDIF2 are simply added, but weighting may be performed using a coefficient.
（１．６ 水平及び垂直方向判定の意義）
本実施形態においては、既に説明したように、値HOR、値VERを用いて、これらが「１」でない場合には、水平及び垂直方向ではないと判断する。かかる意義について説明する。
(1.6 Significance of horizontal and vertical judgment)
In the present embodiment, as described above, using the value HOR and the value VER, if these are not “1”, it is determined that the directions are not in the horizontal and vertical directions. Such significance will be described.
図２１に示す４＊４ウインドウについて、値SDIFを演算すると、SDIF(1) = 135；SDIF(2) = 420；SDIF(3) = 259；SDIF(4) = 98；SDIF(5) = 92；SDIF(6) = 68；SDIF(7) = 49；SDIF(8) = 205；SDIF(9) = 179；SDIF(10) = 154；SDIF(11) = 288；SDIF(12) = 420；となる。 When the value SDIF is calculated for the 4 * 4 window shown in FIG. 21, SDIF (1) = 135; SDIF (2) = 420; SDIF (3) = 259; SDIF (4) = 98; SDIF (5) = 92 SDIF (6) = 68; SDIF (7) = 49; SDIF (8) = 205; SDIF (9) = 179; SDIF (10) = 154; SDIF (11) = 288; SDIF (12) = 420; It becomes.
したがって、このままだと、SDIF(7)であるエッジ方向７が選択される。しかし、正しいのはエッジ方向６である。かかる誤選択が起こるのは以下のような理由による。 Therefore, the edge direction 7 which is SDIF (7) is selected as it is. However, edge direction 6 is correct. Such erroneous selection occurs for the following reason.
水平方向においては、値SDIF(7)の計算には、画素（２,１）〜（２,４）と、画素（３,１）〜（３,４）が用いられる。図２１においては画素（３,１）〜（３,４）は、全ての画素値が「１１５」で同じであるので、SDIFが小さくなってしまう。これに対して、正解であるエッジ方向６の場合は、画素（１,１）と画素（２,４）の組み合わせ、画素（２,１）と画素（３,４）の組み合わせで算出される。この場合、画素（１,１）と画素（２,４）の差分が大きいので、エッジ方向６の値SDIF(6)はエッジ方向７の値SDIF(7)よりも、大きな値となってしまう場合がある。 In the horizontal direction, pixels (2, 1) to (2, 4) and pixels (3, 1) to (3,4) are used to calculate the value SDIF (7). In FIG. 21, since all the pixel values of the pixels (3, 1) to (3,4) are the same as “115”, the SDIF becomes small. On the other hand, in the case of the edge direction 6 which is a correct answer, the calculation is performed by a combination of the pixel (1, 1) and the pixel (2, 4), and a combination of the pixel (2, 1) and the pixel (3,4). . In this case, since the difference between the pixel (1, 1) and the pixel (2, 4) is large, the value SDIF (6) in the edge direction 6 is larger than the value SDIF (7) in the edge direction 7. There is a case.
そこで本実施形態においては、値SDIFとは異なる演算式にて、水平または垂直となる場合を抽出し、かかる条件を満たさない場合には、水平および垂直のエッジ方向を後の判定ステップにて、候補対象外とするようにした。 Therefore, in the present embodiment, the case of being horizontal or vertical is extracted with an arithmetic expression different from the value SDIF, and when the condition is not satisfied, the horizontal and vertical edge directions are determined in a later determination step. The candidate was excluded.
なお、値HOR、値VERを用いた判定処理については、これを補う為に説明したが、値SDIFで判断する場合に限定されるわけではない。 Note that the determination process using the value HOR and the value VER has been described in order to compensate for this, but is not limited to the determination based on the value SDIF.
（１．７ 正負グループ判定の意義）
正負グループの判定の意義について説明する。かりに値SDIFだけで、エッジ方向を特定した場合には、当該ウインドウにおけるエッジの幅が小さい場合、エッジの両側の画素値はほぼ同じであるので、誤判定するおそれがある。
(1.7 Significance of positive / negative group judgment)
The significance of positive / negative group determination will be described. If the edge direction is specified only by the value SDIF, if the edge width in the window is small, the pixel values on both sides of the edge are almost the same, so there is a risk of erroneous determination.
例えば、図２０に示す４＊４ウインドウについて、値SDIFを演算すると、SDIF(1) = 769；SDIF(2) = 124；SDIF(3) = 379；SDIF(4) = 634；SDIF(5) = 379；SDIF(6) = 124；SDIF(7) = 769；SDIF(8) = 634；SDIF(9) = 769；SDIF(10) = 131；SDIF(11) = 769；SDIF(12) = 634となる。また、PX=131;HOR=0;VER=0である。したがって、正負グループ判断をしなければ、エッジ方向２又はエッジ方向６が選択されることとなる。 For example, when the value SDIF is calculated for the 4 * 4 window shown in FIG. 20, SDIF (1) = 769; SDIF (2) = 124; SDIF (3) = 379; SDIF (4) = 634; SDIF (5) = 379; SDIF (6) = 124; SDIF (7) = 769; SDIF (8) = 634; SDIF (9) = 769; SDIF (10) = 131; SDIF (11) = 769; SDIF (12) = 634. Further, PX = 131; HOR = 0; VER = 0. Therefore, if the positive / negative group judgment is not made, the edge direction 2 or the edge direction 6 is selected.
これに対して、図７ステップＳ７の処理をすることにより、以下のように正しいエッジ方向１０が選択される。 On the other hand, by performing the process of step S7 in FIG. 7, the correct edge direction 10 is selected as follows.
この場合、負グループのSDIF(4)、SDIF(5)、SDIF(3)、SDIF(6)、SDIF(2)の中は優先順で最も小さいSDIFはエッジ６である。一方、正グループのSDIF(10)、SDIF(9)、SDIF(11)、SDIF(8)、SDIF(12)の中で、優先順で最も小さいSDIFはエッジ10である。この場合、値PSUM＝0;値NSUM=1020;となるのでより値GRPは「正」となる。これにより、SDIF(10)が選択される。 In this case, edge 6 is the smallest SDIF in the priority order among SDIF (4), SDIF (5), SDIF (3), SDIF (6), and SDIF (2) in the negative group. On the other hand, among the SDIF (10), SDIF (9), SDIF (11), SDIF (8), and SDIF (12) of the primary group, the smallest SDIF in the priority order is the edge 10. In this case, the value PSUM = 0; the value NSUM = 1020; thus, the value GRP becomes “positive”. As a result, SDIF (10) is selected.
なお、かかる正負グループの判定処理については、必須ではなく、また、本実施形態においては、上記の値SDIFを採用した場合にこれを補う為に説明したが、値SDIFで判断する場合に限定されるわけではない。 Note that the positive / negative group determination process is not essential, and in the present embodiment, the above-described value SDIF has been described in order to compensate for this. However, the determination process is limited to the value SDIF determination. I don't mean.
（２.他の実施形態）
上記実施形態においては、矩形ウインドウとして４＊４である場合について説明したが、これ以外のM*N画素のウインドウについて適用可能である。この場合、構成するウインドウの画素構成に応じて、エッジ方向の候補を適宜採用すればよい。M*N画素のウインドウについては（２(M-1)+２(N-1)）個のエッジ方向を定義することが可能である。ただし、全て採用する必要はない。
(2. Other embodiments)
In the above-described embodiment, the case where the rectangular window is 4 * 4 has been described. However, the present invention can be applied to windows of other M * N pixels. In this case, a candidate for the edge direction may be appropriately adopted according to the pixel configuration of the window to be configured. For a window of M * N pixels, it is possible to define (2 (M-1) +2 (N-1)) edge directions. However, it is not necessary to adopt all of them.
本実施形態においては、画素値として輝度を採用した場合について説明したが、エッジ検出するための画素値であればどのようなものであってもよく、例えばRGB値を採用してもよい。 In the present embodiment, the case of using luminance as the pixel value has been described. However, any pixel value may be used as long as the pixel value is used for edge detection. For example, an RGB value may be used.
また、本実施形態においては、画素の値の差分から値SDIF (1)を求めるようにしたが、画素値が、複数のパラメータを用いた特性で表される場合（例えば、ＲＧＢ値、または、輝度および色彩成分U,V値）には、差分ベクトルまたはベクトルの距離（例えば、色の場合はΔEという距離指標など）を値SDIF (1)としてもよい。値SDIF (2)についても同様である。本実施形態においては、矩形ウインドウとして４＊４である場合について説明したので、４＊４の中央に仮想画素Ｇ１を定義した。しかし、かかる仮想画素は、実画素と重なる位置に定義してもよい。 Further, in the present embodiment, the value SDIF (1) is obtained from the difference between the pixel values. However, when the pixel value is represented by characteristics using a plurality of parameters (for example, RGB values or For the luminance and color components U and V values), a difference vector or a vector distance (for example, a distance index such as ΔE in the case of color) may be the value SDIF (1). The same applies to the value SDIF (2). In the present embodiment, since the case where the rectangular window is 4 * 4 has been described, the virtual pixel G1 is defined in the center of 4 * 4. However, such a virtual pixel may be defined at a position overlapping the actual pixel.
さらに、矩形ウインドウではない所定形状のウインドウであってもよい。 Further, it may be a window having a predetermined shape that is not a rectangular window.
また、上記実施形態においては、中央近傍の画素値を他の２倍とするようにしたが、かかる重み付けについては任意である。 In the above embodiment, the pixel value in the vicinity of the center is doubled, but such weighting is arbitrary.
上記実施形態においては、図５に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。 In the above embodiment, the CPU 23 is used to realize the function shown in FIG. 5, and this is realized by software. However, some or all of them may be realized by hardware such as a logic circuit. In addition, you may make it make an operating system (OS) process a part of program.
（３.他の発明としての開示）
本件明細書に開示した装置または方法の一部を、下記に述べる装置または方法として把握することもできる。
(3. Disclosure as other inventions)
A part of the apparatus or method disclosed in this specification can be understood as the apparatus or method described below.
（３−１）
所定領域を構成する画素について、複数のエッジ方向候補を記憶しておき、このエッジ方向に位置する画素値に基づいてエッジ方向を検出するエッジ方向検出装置において、
前記エッジ方向は、前記所定領域における実在画素を結ぶ線分に平行で且つ、矩形の中央画素を通過する方向であること、
を特徴とするエッジ方向検出装置。
(3-1)
In an edge direction detection device that stores a plurality of edge direction candidates for pixels constituting a predetermined area and detects the edge direction based on pixel values located in the edge direction,
The edge direction is a direction parallel to a line segment connecting real pixels in the predetermined region and passing through a rectangular central pixel;
An edge direction detection device characterized by the above.
（３−２）
所定領域を構成する画素について、複数のエッジ方向候補を記憶しておき、このエッジ方向に位置する画素値に基づいてエッジ方向を検出するエッジ方向検出装置において、
前記所定領域における水平方向の差分と垂直方向の差分をそれぞれ求めて、
水平方向の最小値が閾値よりも小さい場合には垂直方向でないと、
垂直方向の最小値が閾値よりも大きい場合には水平方向でないと、
判断すること、
を特徴とするエッジ方向検出装置。
(3-2)
In an edge direction detection device that stores a plurality of edge direction candidates for pixels constituting a predetermined area and detects the edge direction based on pixel values located in the edge direction,
Obtain the horizontal difference and the vertical difference in the predetermined area,
If the minimum value in the horizontal direction is smaller than the threshold value,
If the minimum value in the vertical direction is greater than the threshold value,
To judge,
An edge direction detection device characterized by the above.
（３−３）
所定領域を構成する画素について、複数のエッジ方向候補を記憶しておき、このエッジ方向に位置する画素値に基づいてエッジ方向を検出するエッジ方向検出装置において、
前記所定領域における第１象限と第３象限を結ぶ正方向、または第２象限と第４象限を結ぶ負方向に隣接する画素の組み合わせについて、差分の総計を正方向および負方向について求め、総計の大きな方向に属するエッジ方向ではないと判断すること、
を特徴とするエッジ方向検出装置。
(3-3)
In an edge direction detection device that stores a plurality of edge direction candidates for pixels constituting a predetermined area and detects the edge direction based on pixel values located in the edge direction,
For a combination of pixels adjacent in the positive direction connecting the first quadrant and the third quadrant or the negative direction connecting the second quadrant and the fourth quadrant in the predetermined area, a total difference is obtained for the positive direction and the negative direction. Judging that it is not an edge direction belonging to a large direction,
An edge direction detection device characterized by the above.
Claims (3)
一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する組み合わせ画素記憶手段、
指定された矩形領域について、前記組み合わせ画素記憶手段における組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する差分総計値演算手段、
少なくとも前記差分総計値が最小となるエッジ方向が、前記矩形領域におけるエッジ方向と判断する判断手段、
を備えたエッジ方向検出装置において、
前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値を演算する中央近傍画素値演算手段、
前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値を演算する代表画素値演算手段、
前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算する中央近傍画素差分値演算手段、
を備え、
前記判断手段は、前記差分総計値の最小値に前記中央近傍画素差分値の最小値を考慮して前記エッジ方向を判断すること、
を特徴とするエッジ方向検出装置。 An edge direction detection device that calculates edge detection reliability for a predetermined edge direction candidate in a rectangular area of M pixels * N pixels, and detects an edge direction in the rectangular area based on the edge detection reliability,
When each pixel is an adjacent pixel adjacent to the central pixel of the rectangular area, and the other pixel connects the adjacent pixel and the line segment, a combination in which the edge direction and the line segment are in a parallel relationship, Combination pixel storage means for storing at least a plurality of edge directions,
For the specified rectangular area, the difference total value calculation means for calculating the difference total value obtained by summing up the absolute value of the difference between the combination pixels in the combination pixel storage means for each edge direction for each edge direction,
Determining means for determining at least an edge direction in which the difference total value is minimum as an edge direction in the rectangular region;
In the edge direction detection device comprising :
A central neighborhood pixel value calculating means for calculating a representative pixel value in each edge direction based on a pixel value of an adjacent pixel adjacent to a central pixel of the rectangular region among the combined pixels,
Representative pixel value calculating means for calculating a representative pixel value in the rectangular area from the values of the pixels constituting the designated rectangular area;
For each edge direction, a central neighborhood pixel difference value calculating means for calculating a difference between the center neighborhood pixel value and the representative pixel value as a center neighborhood pixel difference value;
With
The determining means determines the edge direction in consideration of the minimum value of the central neighboring pixel difference value in the minimum value of the difference total value;
An edge direction detection device characterized by the above.
一方の画素が前記矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶しておき、
指定された所定領域について、前記記憶した組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算し、前記差分総計値が最小となるエッジ方向を求めるエッジ方向を判定するエッジ方向判定方法において、
前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値を演算し、
前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値を演算し、
前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算し、
前記差分総計値の最小値に前記中央近傍画素差分値の最小値を考慮して前記エッジ方向を判定すること、
を特徴とするエッジ方向判定方法。 An edge direction determination method for calculating edge detection reliability for a predetermined edge direction candidate in a predetermined area of one screen and determining an edge direction in the predetermined area based on the edge detection reliability,
When each pixel is an adjacent pixel adjacent to the central pixel of the rectangular area, and the other pixel connects the adjacent pixel and the line segment, a combination in which the edge direction and the line segment are in a parallel relationship, Store at least multiple edge directions,
The edge direction for calculating the absolute value of the difference of the stored combination pixels for each edge direction for each designated direction and calculating the edge difference value that minimizes the difference total value. In the edge direction determination method for determining
Based on the pixel value of the adjacent pixel adjacent to the central pixel of the rectangular area among the combined pixels, the representative pixel value in each edge direction is calculated,
The representative pixel value in the rectangular area is calculated from the value of each pixel constituting the designated rectangular area,
For each edge direction, the difference between the central neighborhood pixel value and the representative pixel value is calculated as the central neighborhood pixel difference value,
Determining the edge direction in consideration of the minimum value of the central neighborhood pixel difference value to the minimum value of the difference total value;
Edge direction determination method characterized by
一方の画素がM画素＊N画素の矩形領域の中央画素に隣接する隣接画素であり、他方の画素が前記隣接画素と線分を結んだ場合に当該エッジ方向と当該線分が平行関係となる組み合わせを、前記各エッジ方向について少なくともそれぞれ複数記憶する手段、
指定された矩形領域について、前記記憶した組み合わせ画素の差分の絶対値を、各エッジ方向について総計した差分総計値をエッジ方向毎に演算する手段、
前記差分総計値が最小のエッジ方向を求めるエッジ方向と判定する判定手段、
前記組み合わせ画素のうち、前記矩形領域の中央画素に隣接する隣接画素の画素値に基づいて、前記各エッジ方向における代表画素値を演算する中央近傍画素値演算手段、
前記指定された矩形領域を構成する各画素の値から当該矩形領域における代表画素値を演算する手段、
前記各エッジ方向について、中央近傍画素値と前記代表画素値との差分を、中央近傍画素差分値として演算する手段、
として機能させるためのエッジ方向判定プログラムであって、
前記判定手段は、前記差分総計値の最小値に前記中央近傍画素差分値の最小値を考慮して前記エッジ方向を判断すること、
を特徴とするエッジ方向判定プログラム。 The computer,
When one pixel is an adjacent pixel adjacent to the central pixel of the rectangular area of M pixels * N pixels, and the other pixel forms a line segment with the adjacent pixel, the edge direction and the line segment are in a parallel relationship. Means for storing at least a plurality of combinations for each edge direction;
Means for calculating, for each edge direction, a difference total value obtained by summing up the absolute values of the differences of the stored combination pixels with respect to each edge direction for the designated rectangular area;
Determination means for determining an edge direction for obtaining an edge direction with the smallest difference total value ,
A central neighborhood pixel value calculating means for calculating a representative pixel value in each edge direction based on a pixel value of an adjacent pixel adjacent to a central pixel of the rectangular region among the combined pixels,
Means for calculating a representative pixel value in the rectangular area from the value of each pixel constituting the designated rectangular area;
Means for calculating a difference between a central neighborhood pixel value and the representative pixel value as a central neighborhood pixel difference value for each edge direction;
An edge direction determination program for functioning as
The determination means determines the edge direction in consideration of the minimum value of the central neighborhood pixel difference value in the minimum value of the difference total value;
Edge direction determination program characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011269188A JP5373881B2 (en) | 2011-12-08 | 2011-12-08 | Edge direction detection apparatus or method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011269188A JP5373881B2 (en) | 2011-12-08 | 2011-12-08 | Edge direction detection apparatus or method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010271812A Division JP4975861B2 (en) | 2010-12-06 | 2010-12-06 | Edge direction detection apparatus or method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012123805A JP2012123805A (en) | 2012-06-28 |
| JP5373881B2 true JP5373881B2 (en) | 2013-12-18 |
Family
ID=46505120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011269188A Active JP5373881B2 (en) | 2011-12-08 | 2011-12-08 | Edge direction detection apparatus or method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5373881B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5954141B2 (en) * | 2012-11-29 | 2016-07-20 | 株式会社Ｊｖｃケンウッド | Image enlargement apparatus, image enlargement method, and image enlargement program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7242819B2 (en) * | 2002-12-13 | 2007-07-10 | Trident Microsystems, Inc. | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion |
| JP4487179B2 (en) * | 2004-03-16 | 2010-06-23 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP4710635B2 (en) * | 2006-02-07 | 2011-06-29 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP4868249B2 (en) * | 2007-10-10 | 2012-02-01 | 株式会社Ｊｖｃケンウッド | Video signal processing device |
-
2011
- 2011-12-08 JP JP2011269188A patent/JP5373881B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012123805A (en) | 2012-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596975B (en) | Stereo matching algorithm for weak texture region | |
| Lau et al. | Improved updating of Euclidean distance maps and Voronoi diagrams | |
| CN111066065A (en) | System and method for hybrid depth regularization | |
| JP6256475B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6317456B2 (en) | Method and control device for detecting relative yaw angle changes in a vehicle stereo / video system | |
| EP3384466A1 (en) | Quasi-parametric optical flow estimation | |
| JP2012073942A5 (en) | ||
| NL2016660B1 (en) | Image stitching method and device. | |
| JP5476264B2 (en) | Camera tracking device and program thereof | |
| CN108734668B (en) | Image color recovery method and device, computer readable storage medium and terminal | |
| US10142613B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| WO2009014258A1 (en) | Image upscaling based upon directional interpolation | |
| JP2000306108A (en) | Optical flow estimation method | |
| CN112700433B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| JP2011141710A (en) | Device, method and program for estimating depth | |
| JP5373881B2 (en) | Edge direction detection apparatus or method | |
| JP4975861B2 (en) | Edge direction detection apparatus or method | |
| US8582922B2 (en) | Image processing device and method | |
| TWI429274B (en) | Image processing system having scaling and sharpness device and method thereof | |
| JP4850965B1 (en) | Edge interpolation apparatus or method thereof | |
| KR20160138847A (en) | Method and apparatus for generating disparity image | |
| CN114359050A (en) | Image processing method, image processing apparatus, computer device, storage medium, and program product | |
| JP2014192586A (en) | Image processing apparatus, image processing method and image processing program | |
| KR101545064B1 (en) | Apparatus for estimating pixel value of target pixel and method thereof | |
| JP6056659B2 (en) | Video signal processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130212 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5373881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |