KR101453143B1 - Stereo matching process system, stereo matching process method, and recording medium - Google Patents
Stereo matching process system, stereo matching process method, and recording medium Download PDFInfo
- Publication number
- KR101453143B1 KR101453143B1 KR1020117011938A KR20117011938A KR101453143B1 KR 101453143 B1 KR101453143 B1 KR 101453143B1 KR 1020117011938 A KR1020117011938 A KR 1020117011938A KR 20117011938 A KR20117011938 A KR 20117011938A KR 101453143 B1 KR101453143 B1 KR 101453143B1
- Authority
- KR
- South Korea
- Prior art keywords
- line
- line segment
- drawn
- stereo matching
- correspondence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
스테레오 매칭 처리 시스템은, 오퍼레이터에 의한 조작에 의해, 좌화상 상의 보조선(A2)과 우화상 상의 보조선(A1)이 대응지어서 입력됨과 함께, 좌화상 상의 보조선(B2)과 우화상 상의 보조선(B1)이 대응지어서 입력된 경우, 좌화상 상에 있어서의 주사선 및 보조선(A2)의 교점의 좌표(a2)와 우화상 상에 있어서의 주사선 및 보조선(A1)의 교점의 좌표(a1)를 검색 평면 상에서 대응짓는다. 또한, 좌화상 상에 있어서의 주사선 및 보조선(B2)의 교점의 좌표(b2)와 우화상 상에 있어서의 주사선 및 보조선(B1)의 교점의 좌표(b1)를 검색 평면 상에서 대응짓는다. 이에 의해, 스테레오 매칭 처리 시스템(1)은, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선하여, 동일한 위치를 좌화상과 우화상과의 사이에서 정확하게 대응지을 수 있다.The stereo matching processing system inputs the auxiliary line A2 on the left image and the auxiliary line A1 on the right image in correspondence with each other by the operation of the operator and also outputs the auxiliary line B2 on the left image and the auxiliary line B2 on the right image, The coordinates a2 of the intersection of the scanning line and the auxiliary line A2 on the left image and the coordinates of the intersection of the scanning line and the auxiliary line A1 on the right image a1) on the search plane. The coordinate b1 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate b1 of the intersection of the scanning line and the auxiliary line B1 on the right image are associated with each other on the search plane. Thereby, the stereo matching processing system 1 improves erroneous correspondence on the search plane, and can accurately associate the same position between the left image and the right image.
Description
본 발명은, 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 동일한 위치를 복수의 화상간에 있어서 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체에 관한 것이다.The present invention relates to a stereo matching processing system, a stereo matching processing method, and a computer-readable recording medium on which a program is recorded. The stereo matching processing system, stereo matching processing method, And a recording medium.
3차원 데이터 자동 생성 방법에 있어서는, 인공 위성이나 항공기 등으로부터 얻어지는 화상을 기초로, 지형을 나타내는 3차원 데이터[DSM(Digital Surface Model) 데이터]를 스테레오 매칭에 의해서 생성하는 방법이 널리 행해져 있고, 또한 오퍼레이터를 개재시켜 대응이 취해지지 않는 점을 수정시키는 방법도 제안되어 있다.In the method of automatically generating three-dimensional data, a method of generating three-dimensional data (DSM (Digital Surface Model) data representing a terrain) by stereo matching based on an image obtained from a satellite or an aircraft has been widely used There is proposed a method of correcting that the correspondence is not taken through the operator.
여기서, 스테레오 매칭 처리란, 다른 시점으로부터 촬영한 2매의 화상, 소위 스테레오 화상에 대해서, 동일한 점을 촬상하고 있는 각 화상 중의 대응점을 구하고, 그 시차를 이용하여 삼각 측량의 원리에 의해서 대상까지의 깊이나 형상을 구하는 것이다.Here, the stereo matching process is a process in which corresponding points in each image picking up the same point are obtained for two images photographed from different viewpoints, that is, a so-called stereo image, and by using the parallax, It is to seek depth or shape.
이 스테레오 매칭 처리에 대해서는 이미 다양한 수법이 제안되어 있다. 예를 들면 일반적으로 널리 이용되고 있는 면적 상관법으로서, 좌화상 중에 상관창을 설정하여 이것을 템플릿으로 하고, 우화상 중의 탐색창을 움직여서 템플릿과의 상호 상관 계수를 산출하고, 이것을 일치도로 간주하여 높은 것을 탐색함으로써 대응점을 얻는 방법이 개시되어 있다(예를 들면 특허 문헌 1 참조).Various techniques have already been proposed for this stereo matching process. For example, as a commonly used area correlation method, a correlation window is set in a left image, which is used as a template, a search window in a right image is moved to calculate a cross-correlation coefficient with the template, (Refer to
상기의 방법에 있어서는 처리량을 경감하기 위해, 탐색창의 이동 범위를 화상 중의 에피폴라선 방향으로 한정함으로써, 좌화상 중의 각 점에 대해서, 대응하는 우화상 중의 점의 x방향의 위치 어긋남량, 즉 시차를 얻을 수 있다. 여기서, 에피폴라선이란 스테레오 화상에 있어서 한쪽의 화상 중의 어떤 점에 대해서, 다른 쪽의 화상 중에서 그 점에 대응하는 점의 존재 범위로서 그을 수 있는 직선이다(예를 들면 비특허 문헌 1 참조).In the above method, in order to reduce the throughput, the moving range of the search window is limited to the direction of the epipolar line in the image so that the positional shift amount in the x direction of the corresponding point in the right image, Can be obtained. Here, the epipolar line is a straight line that can be drawn as the existence range of a point in one image in the stereo image and a point in the other image corresponding to the point (see, for example, Non-Patent Document 1).
통상, 에피폴라선 방향은 화상의 주사선 방향과는 다르지만, 좌표 변환을 행함으로써, 에피폴라선 방향을 화상의 주사선 방향에 일치시켜, 재배열을 행할 수 있다. 이 좌표 변환의 방법에 대해서는 상기의 비특허 문헌 1에 기재되어 있다.Normally, the epipolar line direction is different from the scanning line direction of the image, but by performing coordinate conversion, the epipolar line direction can be aligned with the scanning line direction of the image, and rearrangement can be performed. The method of this coordinate conversion is described in
상기한 바와 같은 재배열을 행한 스테레오 화상에 있어서는, 대응점의 탐색창의 이동 범위를 주사선 상에 한정할 수 있기 때문에, 시차는 좌우 화상 중의 대응점끼리의 x좌표의 차로서 얻어진다.In the stereoscopic image subjected to the rearrangement as described above, since the range of movement of the search window of the corresponding point can be defined on the scanning line, the parallax is obtained as the difference between the x-coordinates of the corresponding points in the left and right images.
그러나, 관련한 스테레오 매칭에 의한 3차원 데이터 생성 수법에서는, 텍스쳐가 없는 영역이나 상관 계수에 의한 대응이 얻어지지 않는 영역도 포함되기 때문에, 상기의 3차원 데이터의 화상 중에는 주위와 크게 다른 잘못된 높이를 나타내는 점이 많이 포함된다. 특히, 건조물(建造物)의 주위 등에서는 은폐가 발생하므로, 대응이 취해지지 않는 점이 많아져, 현저하게 높은 값을 나타내거나, 혹은 건조물이 크게 결손되거나 하는 경우가 있다.However, in the related art three-dimensional data generation method by stereo matching, since there is included an area in which there is no texture or an area in which correspondence is not obtained by the correlation coefficient, the image of the three-dimensional data has a wrong height There are a lot of points. Particularly, in the surroundings of the building, concealment occurs, so that the countermeasures are not taken in many cases, so that a markedly high value or a large amount of dried product may be lost.
그 때문에, 관련한 스테레오 매칭에 의한 3차원 데이터 생성 수법에서는, 대응점의 미스 매칭에 의한 오차가 발생하여, 정밀도가 높은 3차원 정보가 얻어지지 않으므로, 도시부 등의 건조물이 많은 복잡한 화상에 대해서는 적용하는 것이 어렵다고 하는 과제가 있었다.Therefore, in the related three-dimensional data generation method by stereo matching, errors due to mismatching of the corresponding points occur and three-dimensional information with high precision can not be obtained. Therefore, There was a problem that it was difficult.
본 발명은, 상기 과제를 해결하기 위해 이루어진 것이며, 복수의 화상간에 있어서 동일한 위치를 나타내는 영역끼리를 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a stereo matching processing system, a stereo matching processing method, and a recording medium, which can precisely associate regions indicating the same position between a plurality of images .
상기 목적을 달성하기 위해, 본 발명의 제1 관점에 따른 스테레오 매칭 처리 시스템은, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기부와, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별부를 구비하고, 상기 대응짓기부는, 상기 선분 판별부에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.In order to achieve the above object, in a stereo matching processing system according to a first aspect of the present invention, in a plurality of images obtained by photographing the same object from different directions, regions in which the correlation coefficient is maximized on the same scanning line are set to the same position And a line segment discrimination section for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images, wherein the correspondence establishing section When the line segments are determined to have been drawn, not only the areas where the correlation coefficient becomes the maximum on the same scanning line, but also the intersections of the scanning lines and the line segments are made to correspond to each other so as to indicate the same position.
또한, 본 발명의 제2 관점에 따른 스테레오 매칭 처리 방법은, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 스텝과, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 스텝을 구비하고, 상기 대응짓기 스텝은, 상기 선분 판별 스텝에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.In the stereo matching processing method according to the second aspect of the present invention, in a plurality of images obtained by photographing the same object from different directions, areas in which the correlation coefficient becomes maximum on the same scanning line are represented as the same positions And a line segment discrimination step of discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images, wherein the correspondence constructing step comprises: The intersection points of the scanning line and the line segment are set to correspond to each other so as to indicate the same position, instead of the regions where the correlation coefficient becomes maximum on the same scanning line.
또한, 본 발명의 제3 관점에 따른 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는, 컴퓨터에, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어지는 복수의 화상에 있어서, 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 대응짓기 수순과, 상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 수순을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서, 상기 대응짓기 수순은, 상기 선분 판별 수순에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 한다.A computer-readable recording medium having recorded thereon a program according to the third aspect of the present invention is a computer-readable recording medium having a program recorded thereon for causing a computer to execute: a step of, in a plurality of images obtained by photographing the same object from another direction, Readable recording medium having recorded thereon a program for causing a computer to execute a line segmentation procedure for determining whether or not a corresponding line segment is drawn by indicating a same position in each of the plurality of images, Wherein when the line segment is determined to have been drawn by the line segment determination procedure, not only the areas where the correlation coefficient is maximum on the same scanning line but also the intersections of the scanning line and the line segment are located at the same position To indicate that it corresponds to It characterized.
본 발명에 따르면, 동일한 위치를 복수의 화상간에 있어서 정확하게 대응지을 수 있는 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.According to the present invention, it is possible to provide a stereo matching processing system, a stereo matching processing method, and a computer readable recording medium on which a program is recorded, in which the same position can be accurately associated with a plurality of images.
도 1은 스테레오 매칭 처리 시스템의 구성예를 도시하는 블록도.
도 2는 보조선 입력 화면의 표시예를 도시하는 도면.
도 3a는 스테레오 매칭 결과의 표시예를 도시하는 도면.
도 3b는 스테레오 매칭 결과의 표시예를 도시하는 도면.
도 4는 DP 매칭 처리를 설명하기 위한 도면.
도 5는 검색 평면을 예시하는 도면.
도 6은 스테레오 매칭 처리를 설명하기 위한 도면.
도 7은 보조선 입력 처리의 일례를 나타내는 플로우차트.
도 8은 스테레오 매칭 처리의 일례를 나타내는 플로우차트.
도 9a는 검색 평면을 예시하는 도면.
도 9b는 검색 평면을 예시하는 도면.
도 10은 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면.
도 11은 변형예에 있어서의 검색 평면을 도시하는 도면.
도 12는 변형예에 있어서의 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면.
도 13은 변형예에 있어서의 검색 평면을 도시하는 도면.1 is a block diagram showing a configuration example of a stereo matching processing system;
2 is a diagram showing a display example of an auxiliary line input screen;
3A is a diagram showing an example of display of a stereo matching result;
Fig. 3B is a diagram showing an example of display of a stereo matching result. Fig.
4 is a diagram for explaining DP matching processing;
5 is a diagram illustrating a search plane;
6 is a diagram for explaining a stereo matching process;
7 is a flowchart showing an example of auxiliary line input processing.
8 is a flowchart showing an example of stereo matching processing;
9A is a diagram illustrating a search plane;
9B is a diagram illustrating a search plane;
Fig. 10 is a diagram for explaining improvement of correspondence using an auxiliary line. Fig.
11 is a diagram showing a search plane in a modified example;
Fig. 12 is a diagram for explaining improvement of correspondence using an auxiliary line in the modified example; Fig.
13 is a diagram showing a search plane in a modified example;
다음으로, 본 발명을 실시하기 위한 최량의 형태에 대해서 도면을 참조하여 설명한다. 도 1은, 본 발명의 실시 형태에 따른 스테레오 매칭 처리 시스템의 구성예를 도시하는 블록도이다. 스테레오 매칭 처리 시스템(1)은, 예를 들면 범용 컴퓨터 등으로 구성되고, 도 1에 도시한 바와 같이, 표시부(10)와, 보조선 입력부(11)와, 상호 표정부(12)와, 스테레오 매칭부(13)와, 오쏘(ortho) 처리ㆍ대지 표정부(14)를 구비하고 있다.BEST MODE FOR CARRYING OUT THE INVENTION Next, the best mode for carrying out the present invention will be described with reference to the drawings. 1 is a block diagram showing a configuration example of a stereo matching processing system according to an embodiment of the present invention. 1, the stereo
표시부(10)는, 예를 들면 LCD(Liquid Crystal Display) 등으로 구성된다. 도 2는, 보조선 입력 화면의 표시예를 도시하는 도면이다. 또한, 도 3a 및 도 3b는, 스테레오 매칭 결과의 표시예를 도시하는 도면이다. 표시부(10)는, 동일한 대상물을 다른 방향으로부터 촬영하여 얻어진 2개의 항공 사진의 화상(이하, 좌화상 및 우화상이라고 함)이 포함되는 도 2에 도시한 보조선 입력 화면이나, 도 3a 및 도 3b에 도시한 좌화상과 우화상과의 스테레오 매칭 결과 등을 표시한다.The
보조선 입력부(11)는, 예를 들면 키보드나 마우스 등으로 구성되고, 표시부(10)에 표시된 보조선 입력 화면에 있어서, 오퍼레이터가 좌화상 및 우화상 상에 보조선을 그을 때 등에 이용된다. 여기서, 보조선이란, 좌화상과 우화상과의 사이에서 동일한 위치로 되는 개소를 오퍼레이터의 조작에 의해 대응짓기 위한 선분이다.The auxiliary line input unit 11 is constituted by, for example, a keyboard or a mouse and is used when the operator draws the auxiliary line on the left image and the right image on the auxiliary line input screen displayed on the
상호 표정부(12)는, 예를 들면 CPU(Central Processing Unit)나, ROM(Read Only Memory), RAM(Random Access Memory), 하드 디스크 드라이브 등에 의해서 실현되고, 촬영 시의 카메라 파라미터를 표정(標定)하는 표정 처리나, 좌화상과 우화상을 필요에 따라서 공통 평행면에 재투영하는 평행화 처리 등을 실행한다. 여기서, 표정이란, 평가의 대상에 대해서 소정의 값을 구하는 것을 말한다.The correlation table 12 is realized by a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk drive or the like, ), Parallel processing for re-projecting the left and right images to the common parallel plane as necessary, and the like. Here, expression refers to obtaining a predetermined value for an evaluation target.
구체적으로, 상호 표정부(12)는, 표정 처리에 있어서, 좌화상과 우화상에 공통적으로 영출(映出)되고 있는 대상물의 좌표값을 판독하고, 판독한 2개의 좌표값을 이용하여, 좌화상과 우화상과의 사이에서의 카메라 회전각 등의 촬영 시의 카메라 파라미터를 표정한다. 이에 의해, 상호 표정부(12)는, 통상, 연직에 가까운 방향으로부터 항공 사진을 촬영한 경우에도 항공기의 자세 변화 등의 영향에 의해 파악하는 것이 어려운 촬영 시의 카메라 파라미터를 표정할 수 있다.Specifically, in the facial expression processing, the mutual determining
그 후, 상호 표정부(12)는, 평행화 처리를 실행함으로써, 좌화상 및 우화상 상의 에피폴을 연결하는 에피폴라선이 복수의 주사선의 하나에 일치하도록 좌화상과 우화상을 공통 평행면에 재투영한다.Thereafter, the
스테레오 매칭부(13)는, 예를 들면 CPU나, ROM, RAM, 하드 디스크 드라이브 등에 의해서 실현된다. 그리고, 좌화상 및 우화상의 각각에 보조선이 입력된 것을 나타내는 보조선 입력 플래그나, 보조선과 주사선과의 교점의 좌표를 격납하는 교점 좌표 버퍼 등이 RAM에 구비되어 있다.The
스테레오 매칭부(13)는, 상호 표정부(12)에서 평행화 처리가 실시된 좌화상 및 우화상(평행화된 화상쌍)에 대하여 스테레오 매칭 처리, 구체적으로는 DP(Dynamic Programming) 매칭 처리를 실시함으로써, 좌화상과 우화상과의 사이에서의 위치 어긋남(시차)을 계측하고, 시차 데이터를 생성한다.The
도 4는, DP 매칭 처리를 설명하기 위한 도면이다. 구체적으로, 스테레오 매칭부(13)는, DP 매칭 처리에 있어서, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해서 좌화상 및 우화상 상에 보조선이 입력되어 있지 않은 경우, 도 4에 도시한 바와 같이, 동일 주사선 상에 있어서의 좌화상과 우화상과의 상관을 취해 가며, 상관 계수가 최대로 되는 격자 영역을 검색한다.4 is a diagram for explaining the DP matching process. More specifically, in the DP matching processing, when the operator does not input the auxiliary line on the left image and the right image by the operation of the auxiliary line input section 11, As described above, the left image on the same scanning line is correlated with the right image, and a lattice area in which the correlation coefficient becomes maximum is searched.
도 5는, 검색 평면을 예시하는 도면이다. 스테레오 매칭부(13)는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리를 도 5에 도시한 검색 평면 상에서 대응지어 간다. 이 검색 평면에 있어서, 횡축 x1은, 우화상에 있어서의 x좌표를 나타내고, 종축 x2는, 좌화상에 있어서의 x좌표를 나타내고 있다.5 is a diagram illustrating a search plane. The
그리고, 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 시차 데이터를 생성하여, 도 3a에 도시한 바와 같은 화상을 스테레오 매칭 결과로서 표시부(10)에 표시한다.Then, the
이에 대해, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해서 좌화상 및 우화상의 각각에 보조선이 입력된 경우, 보조선이 입력된 개소에서는, 주사선과 보조선과의 교점의 좌표를 검색 평면 상에 대응지어 간다. 한편, 보조선이 입력되어 있지 않은 개소에서는, 상관 계수가 최대로 되는 격자 영역의 중심 위치의 좌표끼리를 검색 평면 상에 대응지어 간다.On the other hand, when the auxiliary line is inputted to each of the left image and the allegorical image by the operation of the auxiliary line inputting section 11 by the operator, the coordinates of the intersection point of the scanning line and the auxiliary line, . On the other hand, coordinates of the center position of the lattice region at which the correlation coefficient becomes the maximum are associated with each other on the search plane in the portion where the auxiliary line is not input.
도 6은, 스테레오 매칭 처리를 설명하기 위한 도면이다. 스테레오 매칭부(13)는, 도 6에 도시한 바와 같이, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 실시된 시차 데이터를 생성하고, 도 3b에 도시한 바와 같은 화상을 스테레오 매칭 결과로서 표시부(10)에 표시한다.6 is a diagram for explaining the stereo matching process. As shown in Fig. 6, the
그 후, 스테레오 매칭부(13)는, 생성한 시차 데이터와, 상호 표정부(12)에서 표정된 카메라 파라미터를 조합하여, 삼각 측량의 원리에 의해서 각 화소에 대응하는 3차원 좌표계에서의 위치를 계산하고, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 DSM(Digital Surface Model) 데이터를 추출함으로써, 대상물까지의 깊이나 형상을 구한다.Thereafter, the
오쏘 처리ㆍ대지 표정부(14)는, 예를 들면 CPU나, ROM, RAM, 하드 디스크 드라이브 등에 의해서 실현되고, DSM 데이터를 이용하여 항공 사진의 화상과 DSM 데이터를 정사(正射) 변환하는 오쏘 처리나, 오쏘 처리를 실시한 항공 사진의 화상과 DSM 데이터를 이용하여, 지표에 대한 대상물의 정확한 좌표, 구체적으로는 대상물의 경도 및 위도를 구하는 대지 표정 처리를 행함으로써, 오쏘 화상과 오쏘 DSM 데이터를 생성한다.The ortho processing /
여기서, 오쏘 화상에는, 색 데이터와, 대지 표정에 의해서 구해진 위도 및 경도를 나타내는 위도 데이터 및 경도 데이터가 포함되어 있다. 또한, 오쏘 DSM 데이터에는, 대상물의 표층의 높이를 나타내는 표고 데이터와, 위도 데이터 및 경도 데이터가 포함되어 있다. 이와 같은 위도 데이터 및 경도 데이터를 구함으로써, 동일 대상물의 위치를, 다른 타이밍에서 촬영된 항공 사진의 화상간에서 서로 대응지을 수 있게 된다.Here, the ortho image includes latitude data and latitude data indicating latitude and longitude obtained by color data and earth expression. The ortho DSM data includes altitude data indicating the height of the surface layer of the object and latitude data and longitude data. By obtaining such latitude data and longitude data, the positions of the same object can be associated with each other between images of aerial photographs photographed at different timings.
다음으로, 상기 구성을 구비하는 스테레오 매칭 처리 시스템이 실행하는 처리에 대해서 도면을 참조하여 설명한다.Next, processing executed by the stereo matching processing system having the above configuration will be described with reference to the drawings.
스테레오 매칭 처리 시스템에서는, 보조선 입력 처리와, 스테레오 매칭 처리가 정기적으로 실행된다. 보조선 입력 처리, 및, 스테레오 매칭 처리는, 예를 들면 오퍼레이터로부터의 지시가 있는 경우, 소정의 화상이 있는 경우, 소정의 시각으로 된 경우 등, 임의의 타이밍에서 실행된다.In the stereo matching processing system, the auxiliary line input processing and the stereo matching processing are executed periodically. The auxiliary line input processing and the stereo matching processing are executed at arbitrary timings, for example, when there is an instruction from the operator, when there is a predetermined image, or when the time is a predetermined time.
도 7은, 보조선 입력 처리의 상세를 나타내는 플로우차트이다. 보조선 입력 처리에 있어서, 스테레오 매칭부(13)는, 표시부(10)에 표시되는 보조선 입력 화면에 있어서, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해 좌화상 및 우화상의 각각에 보조선이 입력되었는지의 여부를 판별한다(스텝 S11). 이 때, 보조선이 입력되어 있지 않으면(스텝 S11;"아니오"), 스테레오 매칭부(13)는, 그대로 보조선 입력 처리를 종료한다.7 is a flowchart showing the details of the auxiliary line input processing. In the auxiliary line input processing, the
이에 대하여, 스텝 S11의 처리에서 보조선이 입력되었다고 판별한 경우(스텝 S11;"예"), 스테레오 매칭부(13)는, 좌화상 및 우화상의 각각에 대해, 주사선과 보조선과의 교점의 좌표를 구하여 RAM에 설치된 교점 좌표 버퍼에 격납한다(스텝 S12).On the other hand, when it is determined in step S11 that the auxiliary line has been inputted (step S11; Yes), the
그리고, 스테레오 매칭부(13)는, RAM에 설치된 보조선 입력 플래그를 온으로 세트하고 나서(스텝 S13), 보조선 입력 처리를 종료한다.Then, the
도 8은, 스테레오 매칭 처리의 상세를 나타내는 플로우차트이다. 스테레오 매칭 처리에 있어서, 상호 표정부(12)는, 표정 처리를 실행함으로써, 촬영 시의 카메라 파라미터를 표정함과 함께(스텝 S21), 평행화 처리를 실행하여, 에피폴라선이 복수의 주사선의 하나에 일치하도록 좌화상과 우화상을 공통 평행면에 재투영한다(스텝 S22).8 is a flowchart showing the details of the stereo matching process. In the stereo matching process, the
다음으로, 스테레오 매칭부(13)는, RAM에 설치된 보조선 입력 플래그가 온으로 되어 있는지의 여부를 체크함으로써, 좌화상 및 우화상의 각각에 보조선이 입력되었는지의 여부를 판별한다(스텝 S23).Next, the
여기서, 스텝 S23의 처리에서 보조선이 입력되어 있지 않다고 판별한 경우(스텝 S23;"아니오"), 스테레오 매칭부(13)는, 보조선에 의한 보정이 없는 시차 데이터를 생성한다(스텝 S24).If it is determined in step S23 that the auxiliary line is not input (step S23; No), the
스텝 S24의 처리에 있어서, 스테레오 매칭부(13)는, 동일 주사선 상에 있어서의 좌화상과 우화상과의 상관을 취하여 상관 계수가 최대로 되는 격자 영역을 검색해 간다. 그리고, 스테레오 매칭부(13)는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리를 검색 평면 상에서 대응지어 간다. 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 없는 시차 데이터를 생성한다.In the process of step S24, the
이에 대하여, 스텝 S23의 처리에서 보조선이 입력되었다고 판별한 경우(스텝 S23;"예"), 스테레오 매칭부(13)는, 보조선에 의한 보정이 있는 시차 데이터를 생성한다(스텝 S25).On the other hand, when it is determined in step S23 that the auxiliary line has been input (step S23; Yes), the
스텝 S25의 처리에 있어서, 스테레오 매칭부(13)는, 보조선이 입력된 개소에서는, RAM에 설치된 교점 좌표 버퍼에 격납되어 있는 주사선과 보조선과의 교점의 좌표를 검색 평면 상에 대응지어 가는 한편, 보조선이 입력되어 있지 않은 개소에서는, 상관 계수가 최대로 되는 격자 영역의 중심 위치의 좌표끼리를 검색 평면 상에 대응지어 간다. 스테레오 매칭부(13)는, 이와 같은 대응짓기를 주사선마다 실행해 감으로써, 보조선에 의한 보정이 있는 시차 데이터를 생성한다.In the process of step S25, the
그리고, 스테레오 매칭부(13)는, 스텝 S24 또는 스텝 S25의 처리에서 생성한 시차 데이터에 기초한 화상을 스테레오 매칭 결과로서 표시부(10)에 표시함과 함께(스텝 S26), 시차 데이터와 스텝 S21의 처리에서 표정한 카메라 파라미터를 이용하여, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 DSM 데이터를 추출한다(스텝 S27).Then, the
계속해서, 오쏘 처리ㆍ대지 표정부(14)는, 스텝 S27의 처리에서 추출한 DSM 데이터를 이용하여 오쏘 처리를 실행함으로써, 항공 사진의 화상과 DSM 데이터를 정사 변환한다(스텝 S28).Subsequently, the ortho-processing /
그리고, 오쏘 처리ㆍ대지 표정부(14)는, 스텝 S28에서 오쏘 처리를 실시한 DSM 데이터를 이용하여, 대지 표정 처리를 실행함으로써, 오쏘 화상과, 대상물의 표층의 높이를 나타내는 표고 데이터를 포함하는 오쏘 DSM 데이터를 생성한다(스텝 S29).Then, the ortho-processing /
계속해서, 상기 처리를 실행하는 스테레오 매칭 처리 시스템의 동작에 대해서 구체예를 들어 설명한다.Next, a specific example of the operation of the stereo matching processing system for executing the above processing will be described.
우선, 보조선이 입력되어 있지 않을 때에는, 도 8에 도시한 스텝 S23의 처리에서 보조선 입력 플래그가 오프인 것으로 판별되기 때문에, 스텝 S24의 처리에서 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리가 검색 평면 상에서 대응지어져 간다.When the auxiliary line is not input, it is determined that the auxiliary line input flag is turned off in the process of step S23 shown in Fig. 8, so that the center coordinates of the lattice area where the correlation coefficient becomes the maximum in the process of step S24 Are associated with each other on the search plane.
도 9a 및 도 9b는, 검색 평면을 예시하는 도면이다. 또한, 도 10은, 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면이다. 스텝 S24의 처리에서, 도 9a에 도시한 바와 같이, 검색 평면 상에서 잘못된 대응짓기가 이루어진 경우, 오퍼레이터에 의한 보조선 입력부(11)의 조작에 의해, 도 10에 도시한 바와 같이, 좌화상 상의 보조선 A2와 우화상 상의 보조선 A1이 대응지어서 입력됨과 함께, 좌화상 상의 보조선 B2와 우화상 상의 보조선 B1이 대응지어서 입력된다.9A and 9B are diagrams illustrating search planes. 10 is a diagram for explaining the improvement of the correspondence using the auxiliary line. As shown in Fig. 9, when an erroneous correspondence is made on the search plane as shown in Fig. 9A in the process of step S24, the operation of the supplementary line input section 11 by the operator causes the left- The ship A2 and the auxiliary line A1 on the right image are input in association with each other, and the auxiliary line B2 on the left image and the auxiliary line B1 on the right image are input in association with each other.
그 후, 도 7에 도시한 스텝 S12의 처리에서는, 주사선과, 보조선 A1, A2, B1, 및 B2와의 교점의 x좌표 a1, a2, b1, 및 b2가 각각 구해짐과 함께, 스텝 S13의 처리에서 보조선 입력 플래그가 온으로 세트된다.7, the x-coordinates a1, a2, b1, and b2 of the intersection of the scanning line and the auxiliary lines A1, A2, B1, and B2 are obtained, The auxiliary line input flag is set to ON in the process.
그리고, 도 8에 도시한 스텝 S23의 처리에서 이번은 보조선 입력 플래그가 온인 것으로 판별되기 때문에, 스텝 S25의 처리에서는, 도 9b에 도시한 바와 같이, 좌화상 상에 있어서의 주사선 및 보조선 A2의 교점의 좌표 a2와 우화상 상에 있어서의 주사선 및 보조선 A1의 교점의 좌표 a1이, 또한, 좌화상 상에 있어서의 주사선 및 보조선 B2의 교점의 좌표 b2와 우화상 상에 있어서의 주사선 및 보조선 B1의 교점의 좌표 b1이, 각각 검색 평면 상에서 대응지어진다.8, it is determined that the auxiliary line input flag is on at this time. Thus, in step S25, as shown in Fig. 9B, the scanning line on the left image and the auxiliary line A2 The coordinate a1 of the intersection of the scanning line and the auxiliary line A1 on the right image and the coordinate a2 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate a2 of the intersection of the scanning line And the coordinate b1 of the intersection of the auxiliary line B1 are associated with each other on the search plane.
이에 의해, 스테레오 매칭 처리 시스템(1)은, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선하여, 동일한 위치를 좌화상과 우화상과의 사이에서 정확하게 대응지을 수 있다.Thereby, the stereo
이상으로 설명한 바와 같이, 본 실시 형태에 따른 스테레오 매칭 처리 시스템(1)에 따르면, 보조선에 의한 보정을 실시함으로써, 검색 평면 상에 있어서의 잘못된 대응짓기를 개선할 수 있기 때문에, 스테레오 매칭 결과로서의 시차 데이터를 수정할 수 있다. 그리고, 스테레오 매칭 처리 시스템(1)은, 수정된 시차 데이터를 이용하여, DSM 데이터를 추출함으로써, 대상물의 표층의 높이를 정확하게 나타내는 표고 데이터를 취득할 수 있다.As described above, according to the stereo
또한, 본 발명은, 상기 실시 형태에 한정되지 않고, 다양하게 변형, 응용이 가능하다. 이하, 본 발명에 적용 가능한 상기 실시 형태의 변형 양태에 대해서, 설명한다.The present invention is not limited to the above-described embodiment, and various modifications and applications are possible. Modifications of the above-described embodiment applicable to the present invention will be described below.
상기 실시 형태에서는, 도 8에 도시한 스텝 S25의 처리에서, 좌화상 상에 있어서의 주사선 및 보조선 A2의 교점의 좌표 a2와 우화상 상에 있어서의 주사선 및 보조선 A1의 교점의 좌표 a1이, 또한, 좌화상 상에 있어서의 주사선 및 보조선 B2의 교점의 좌표 b2와 우화상 상에 있어서의 주사선 및 보조선 B1의 교점의 좌표 b1이, 각각 검색 평면 상에서 대응지어지고, 그 사이에서는, 상관 계수가 최대로 되는 격자 영역의 중심 좌표끼리가 검색 평면 상에서 대응지어지는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것은 아니다. 도 11은, 변형예에 있어서의 검색 평면을 도시하는 도면이다. 도 11에 도시한 바와 같이, 검색 평면 상의 좌표(a1, a2)와 좌표(b1, b2)를 연결하는 선분 상의 점이 모두 대응지어지도록 하여도 된다.In the above embodiment, the coordinate a2 of the intersection of the scanning line and the auxiliary line A2 on the left image and the coordinate a1 of the intersection of the scanning line and the auxiliary line A1 on the right image in the process of step S25 shown in Fig. , And the coordinate b2 of the intersection of the scanning line and the auxiliary line B2 on the left image and the coordinate b1 of the intersection of the scanning line and the auxiliary line B1 on the right image are associated with each other on the search plane, And the center coordinates of the lattice regions at which the correlation coefficient becomes maximum are associated with each other on the search plane. However, the present invention is not limited to this. 11 is a diagram showing a search plane in a modified example. The point on the line segment connecting the coordinates (a1, a2) on the search plane and the coordinates (b1, b2) may be associated with each other, as shown in Fig.
그리고, 이와 같은 대응짓기를 행하는 보조선(강제 보조선)을 입력할지의 여부는, 오퍼레이터에 의한 보조선 입력부(11)에 의한 조작에 의해 결정되면 된다.Whether or not to input an auxiliary line (forced auxiliary line) for carrying out such a correspondence may be determined by an operation of the auxiliary line input section 11 by the operator.
상기 실시 형태에서는, 보조선이 주사선에 수직으로 그어지는 것을 예로 들어 설명하였지만, 본 발명은 이것에 한정되는 것은 아니다. 도 12는, 변형예에 있어서의 보조선을 사용한 대응짓기의 개선을 설명하기 위한 도면이다. 또한, 도 13은, 변형예에 있어서의 검색 평면을 도시하는 도면이다. 보조선은, 도 12에 도시한 바와 같이, 주사선에 수평으로 그어지는 것이어도 된다. 보조선이 주사선에 수평으로 그어진 경우에는, 좌화상 및 우화상 각각에 있어서의 보조선(선분)을 n(n은 자연수) 등분하는 점(등분점)끼리를, 도 13에 도시한 바와 같이, 선분의 시점으로부터 순서대로 선분의 종점까지 검사 평면 상에서 대응짓도록 하면 된다.In the above embodiment, the auxiliary lines are drawn perpendicularly to the scanning lines. However, the present invention is not limited thereto. 12 is a diagram for explaining the improvement of the correspondence using the auxiliary lines in the modified example. 13 is a diagram showing a search plane in a modified example. The auxiliary lines may be drawn horizontally on the scanning lines as shown in Fig. When the auxiliary line is horizontally drawn on the scanning line, points (equal division points) where the auxiliary lines (line segments) in each of the left image and the right image are equally divided into n (n is a natural number) It is sufficient to make correspondence on the inspection plane from the start point of the line segment to the end point of the line segment in order.
상기 실시 형태에서는, 상호 표정부(12)가, 표정 처리에 있어서, 좌화상과 우화상에 공통적으로 비추어지는 대상물의 좌표값을 판독하고, 판독한 2개의 좌표값을 이용하여, 좌화상과 우화상과의 사이에서의 카메라 회전각 등의 촬영 시의 카메라 파라미터를 표정하는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 촬영 시의 카메라 파라미터를 표정하는 수법은, 임의이며, 예를 들면 도화(figure drawing) 프로그램에 의해서 산출되는 값을 이용하여, 촬영 시의 카메라 파라미터를 표정하여도 된다.In the above embodiment, the mutual
상기 실시 형태에서는, 오쏘 처리ㆍ대지 표정부(14)가, 오쏘 처리를 실시한 항공 사진의 화상과 DSM 데이터를 이용하여, 대상물의 경도 및 위도를 구하는 대지 표정을 행하는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 대지 표정을 행하기 위한 수법은, 임의이며, 예를 들면 미리 경도, 위도, 및 표고값(화상 좌표)이 검출되어 있는 항공 사진의 화상 상의 복수의 점의 화상 좌표로부터, 지상 표면의 지상 좌표(경도, 위도, 및 표고값)로의 변환식을 구하도록 하여도 된다.In the embodiment described above, the osso-processing /
또한, 대공 표식을 찍어 넣어 항공 사진을 촬영함으로써 경도, 위도, 및 표고가 측량된 공중 삼각 측량 데이터를 이용하여도 되고, 이와 같이 하면, 화상 상의 임의의 좌표에 있어서의 지상 좌표를 구하는 것이 가능하게 된다. 여기서, 대공 표식이란, 항공기로부터 각종 센서에 의해 항공 사진을 촬영하였을 때에, 항공 사진의 화상 상에서 명료하게 그 형태를 인식할 수 있고, 또한 그 화상 좌표를 측정할 수 있는 것을 말한다. 따라서, 대공 표식을 설정한(set) 점에서는, 정확한 3차원 좌표가 표시되어 있다.In addition, aerial triangulation data obtained by measuring the hardness, latitude, and altitude by photographing an aerial photograph by taking an airplane marker may be used. In this way, it is possible to obtain the ground coordinates in an arbitrary coordinate on the image do. Here, the anti-aircraft landmark means that when the aerial photograph is taken by the various sensors from the aircraft, the form can be clearly recognized on the image of the aerial photograph and the image coordinates thereof can be measured. Therefore, accurate three-dimensional coordinates are displayed at the point where the anti-air marker is set.
상기 실시 형태에 있어서, 오쏘 화상에는, 색 데이터와 위도 데이터와 경도 데이터가 포함되고, 오쏘 DSM 데이터에는, 표고 데이터와 위도 데이터와 경도 데이터가 포함되어 있는 것으로서 설명하였다. 그러나, 본 발명은 이것에 한정되는 것이 아니라, 오쏘 화상 및 오쏘 DSM 데이터에는, 위도 데이터 및 경도 데이터 대신에, 다른 좌표계에서 표현되는 좌표값 데이터가 포함되어도 되고, 또한 표고값 데이터 대신에, 다른 기준으로부터의 상대적인 높이를 나타내는 높이 데이터가 포함되어도 된다.In the above embodiment, it has been described that the ortho image includes color data, latitude data and longitude data, and ortho DSM data includes elevation data, latitude data and longitude data. However, the present invention is not limited to this. Instead of the latitude data and the longitude data, the ortho-image and ortho DSM data may include coordinate value data expressed in another coordinate system, and in place of the elevation value data, May be included in the height data.
또한, 본원에 대해서는, 일본 특허 출원 제2008-300103호를 기초로 하는 우선권을 주장하고, 본 명세서 중에 일본 특허 출원 제2008-300103호의 명세서, 특허 청구의 범위, 도면 전체를 참조로서 원용하는 것으로 한다.The present application is based on Japanese Patent Application No. 2008-300103, and the specification of Japanese Patent Application No. 2008-300103, the claims of the Japanese Patent Application No. 2008-300103, and the entire drawings are hereby incorporated by reference in this specification .
1 : 스테레오 매칭 처리 시스템
10 : 표시부
11 : 보조선 입력부
12 : 상호 표정부
13 : 스테레오 매칭부
14 : 오쏘 처리ㆍ대지 표정부1: Stereo matching processing system
10:
11: auxiliary line input part
12: Mutual representation government
13: Stereo matching unit
14: Oseo Treatment ㆍ Land Mark Government
Claims (6)
상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별부
를 구비하고,
상기 대응짓기부는, 상기 선분 판별부에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별부에 의해 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 스테레오 매칭 처리 시스템.In a plurality of images obtained by photographing the same object from different directions, regions where the correlation coefficient becomes maximum on the same scan line coinciding with an epipolar line connected to an epipole on the plurality of images are set to the same position A correspondence establishing unit for establishing correspondence,
A line segment discriminating section for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images,
And,
When it is determined that the line segments are drawn by the line segment discrimination unit, the correspondence constructing unit may be configured to not only determine the areas where the correlation coefficient becomes maximum on the same scanning line, but also the intersection points of the scanning line and the line segment, And when it is determined that the line segment is not drawn by the line segment discrimination unit, the correlation is determined to be a correlation Correspondence between the coordinates of the center position of the region where the coefficient is maximized
And the stereo matching processing system.
상기 대응짓기부는, 상기 복수의 화상의 각각에 복수의 상기 선분이 그어진 경우, 상기 주사선과 그 선분과의 교점끼리를 연결하는 선분끼리 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.The method according to claim 1,
Wherein when the plurality of line segments are drawn in each of the plurality of images, the line segments connecting the intersections of the scanning lines and the line segments correspond to each other to indicate the same position. .
상기 대응짓기부는, 상기 복수의 화상의 각각에 상기 주사선과 수평한 상기 선분이 그어진 경우, 상기 선분의 시점끼리와 종점끼리를 각각 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.3. The method of claim 2,
Wherein the correspondence establishing unit associates each of the start points of the line segment and the end points of the line segment with each other so as to indicate the same position when the line segment horizontal to the scan line is drawn in each of the plurality of images.
상기 대응짓기부는, 상기 복수의 화상의 각각에 상기 주사선과 수평한 상기 선분이 그어진 경우, 그 선분을 소정 등분하는 등분점끼리를 상기 시점으로부터 순서대로 각각 동일한 위치를 나타내는 것으로 하여 대응짓는 것을 특징으로 하는 스테레오 매칭 처리 시스템.The method of claim 3,
Wherein when the line segments horizontally aligned with the scanning line are drawn in each of the plurality of images, the equalizing unit associates each of the equal segments dividing the line segments by a predetermined number in order from the viewpoint, The stereo matching processing system.
상기 복수의 화상의 각각에 동일한 위치를 나타내는 것으로 하여 대응지어진 선분이 그어졌는지를 판별하는 선분 판별 스텝
을 포함하고,
상기 대응짓기 스텝은, 상기 선분 판별 스텝에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별 스텝에 의해서 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 스테레오 매칭 처리 방법.In a plurality of images obtained by photographing the same object from different directions, areas in which the correlation coefficient becomes maximum on the same scanning line coinciding with the epipolar lines connected to the epipoles on the plurality of images are represented as the same positions, Step,
A line segment discriminating step for discriminating whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images;
/ RTI >
Wherein when the line segment is judged to have been drawn by the line segment discriminating step, the correspondence determining step determines that the intersection points of the scanning line and the line segment are not the ones where the correlation coefficient becomes the maximum on the same scanning line, In the case where there is an instruction to make a correspondence, a point on a line segment connecting the coordinates of the intersection is all associated on the search plane, and when it is determined by the line segment discrimination step that the segment is not drawn, Correspondence between the coordinates of the center position of the region where the correlation coefficient is maximized
And the stereo matching processing method.
상기 대응짓기 수순은, 상기 선분 판별 수순에 의해서 상기 선분이 그어졌다고 판별한 경우, 상기 동일 주사선 상에서 상관 계수가 최대로 되는 영역끼리가 아니라, 그 주사선과 그 선분과의 교점끼리를 동일한 위치를 나타내는 것으로 하여 대응짓고, 또한, 대응짓기를 행하는 지시가 있는 경우, 상기 교점의 좌표를 연결하는 선분 상의 점을 검색 평면 상에서 모두 대응짓고, 상기 선분 판별 수순에 의해서 상기 선분이 그어져 있지 않다고 판별한 경우, 상관 계수가 최대로 되는 영역의 중심 위치의 좌표끼리를 대응짓는
것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.In a plurality of images obtained by photographing the same object from another direction, the regions where the correlation coefficient becomes maximum on the same scanning line coinciding with the epipolar lines connected to the epipoles on the plurality of images are regarded as the same position And a line segment determination step for determining whether or not a corresponding line segment is drawn by indicating the same position in each of the plurality of images,
Wherein when the line segments are determined to have been drawn by the line segment determination procedure, the matching process is performed so that the intersections of the scanning lines and the line segments are the same, And when it is determined that the line segment is not drawn by the line segment determination procedure in the case where there is an instruction to make the correspondence, a point on the line segment connecting the coordinates of the intersection point is all corresponded on the search plane, Correspondence between the coordinates of the center position of the region where the correlation coefficient is maximized
Wherein the program is recorded on a computer-readable recording medium.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008300103A JP5311465B2 (en) | 2008-11-25 | 2008-11-25 | Stereo matching processing system, stereo matching processing method, and program |
JPJP-P-2008-300103 | 2008-11-25 | ||
PCT/JP2009/069887 WO2010061860A1 (en) | 2008-11-25 | 2009-11-25 | Stereo matching process system, stereo matching process method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110089299A KR20110089299A (en) | 2011-08-05 |
KR101453143B1 true KR101453143B1 (en) | 2014-10-27 |
Family
ID=42225733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117011938A KR101453143B1 (en) | 2008-11-25 | 2009-11-25 | Stereo matching process system, stereo matching process method, and recording medium |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP5311465B2 (en) |
KR (1) | KR101453143B1 (en) |
CN (1) | CN102224523B (en) |
WO (1) | WO2010061860A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210082857A (en) * | 2019-12-26 | 2021-07-06 | 한국전자통신연구원 | Method and apparatus of generating digital surface model using satellite imagery |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101922930B (en) * | 2010-07-08 | 2013-11-06 | 西北工业大学 | Aviation polarization multi-spectrum image registration method |
US8587518B2 (en) * | 2010-12-23 | 2013-11-19 | Tektronix, Inc. | Disparity cursors for measurement of 3D images |
JP5839671B2 (en) * | 2011-09-20 | 2016-01-06 | 株式会社Screenホールディングス | 3D position / attitude recognition device, industrial robot, 3D position / attitude recognition method, program, recording medium |
CN103339651B (en) | 2011-10-11 | 2016-12-07 | 松下知识产权经营株式会社 | Image processing apparatus, camera head and image processing method |
CN108629731A (en) * | 2017-03-15 | 2018-10-09 | 长沙博为软件技术股份有限公司 | A kind of image split-joint method being suitable for rolling screenshotss |
CN112417208B (en) * | 2020-11-20 | 2024-08-13 | 百度在线网络技术(北京)有限公司 | Target searching method, device, electronic equipment, storage medium and program product |
CN113436057B (en) * | 2021-08-27 | 2021-11-19 | 绍兴埃瓦科技有限公司 | Data processing method and binocular stereo matching method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002230527A (en) * | 2001-01-31 | 2002-08-16 | Olympus Optical Co Ltd | Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program |
KR20040101377A (en) * | 2002-07-30 | 2004-12-02 | 미쓰비시덴키 가부시키가이샤 | Method for linking edges in stereo images into chains |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3842988B2 (en) * | 2000-07-19 | 2006-11-08 | ペンタックス株式会社 | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program |
CN100550054C (en) * | 2007-12-17 | 2009-10-14 | 电子科技大学 | A kind of image solid matching method and device thereof |
CN101226636B (en) * | 2008-02-02 | 2010-06-02 | 中国科学院遥感应用研究所 | Method for matching image of rigid body transformation relation |
CN100586199C (en) * | 2008-03-30 | 2010-01-27 | 深圳华为通信技术有限公司 | Method and device for capturing view difference |
-
2008
- 2008-11-25 JP JP2008300103A patent/JP5311465B2/en active Active
-
2009
- 2009-11-25 WO PCT/JP2009/069887 patent/WO2010061860A1/en active Application Filing
- 2009-11-25 KR KR1020117011938A patent/KR101453143B1/en active IP Right Grant
- 2009-11-25 CN CN200980146982.2A patent/CN102224523B/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002230527A (en) * | 2001-01-31 | 2002-08-16 | Olympus Optical Co Ltd | Three-dimensional information acquisition device and method and computer readable storage medium storing three-dimensional information acquisition program |
KR20040101377A (en) * | 2002-07-30 | 2004-12-02 | 미쓰비시덴키 가부시키가이샤 | Method for linking edges in stereo images into chains |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210082857A (en) * | 2019-12-26 | 2021-07-06 | 한국전자통신연구원 | Method and apparatus of generating digital surface model using satellite imagery |
KR102610989B1 (en) * | 2019-12-26 | 2023-12-08 | 한국전자통신연구원 | Method and apparatus of generating digital surface model using satellite imagery |
Also Published As
Publication number | Publication date |
---|---|
WO2010061860A1 (en) | 2010-06-03 |
JP5311465B2 (en) | 2013-10-09 |
CN102224523B (en) | 2014-04-23 |
JP2010128608A (en) | 2010-06-10 |
KR20110089299A (en) | 2011-08-05 |
CN102224523A (en) | 2011-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101453143B1 (en) | Stereo matching process system, stereo matching process method, and recording medium | |
EP2993490B1 (en) | Operating device, operating method, and program therefor | |
JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
US8625851B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
US9094673B2 (en) | Arrangement and method for providing a three dimensional map representation of an area | |
KR102085228B1 (en) | Imaging processing method and apparatus for calibrating depth of depth sensor | |
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
US8571303B2 (en) | Stereo matching processing system, stereo matching processing method and recording medium | |
EP3032818B1 (en) | Image processing device | |
KR102249769B1 (en) | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same | |
Tamas et al. | Targetless calibration of a lidar-perspective camera pair | |
JP2008082870A (en) | Image processing program, and road surface state measuring system using this | |
JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
US11488354B2 (en) | Information processing apparatus and information processing method | |
JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
CN112541973A (en) | Virtual-real superposition method and system | |
CN104166995B (en) | Harris-SIFT binocular vision positioning method based on horse pace measurement | |
CN111476798B (en) | Vehicle space morphology recognition method and system based on contour constraint | |
KR20050061115A (en) | Apparatus and method for separating object motion from camera motion | |
CN111047699A (en) | Seabed detection image display method, device, equipment and storage medium | |
JP2018173882A (en) | Information processing device, method, and program | |
CN112991372B (en) | 2D-3D camera external parameter calibration method based on polygon matching | |
US20230104937A1 (en) | Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product | |
Zhou et al. | Occlusion detection for urban aerial true orthoimage generation | |
JP2001229388A (en) | Matching method for image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130715 Effective date: 20140821 |
|
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
FPAY | Annual fee payment |
Payment date: 20170920 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180920 Year of fee payment: 5 |