[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20240053979A - Method and system for automatically acquiring ground control lines - Google Patents

Method and system for automatically acquiring ground control lines Download PDF

Info

Publication number
KR20240053979A
KR20240053979A KR1020220134166A KR20220134166A KR20240053979A KR 20240053979 A KR20240053979 A KR 20240053979A KR 1020220134166 A KR1020220134166 A KR 1020220134166A KR 20220134166 A KR20220134166 A KR 20220134166A KR 20240053979 A KR20240053979 A KR 20240053979A
Authority
KR
South Korea
Prior art keywords
view image
line
feature
matching
lines
Prior art date
Application number
KR1020220134166A
Other languages
Korean (ko)
Inventor
윤성호
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020220134166A priority Critical patent/KR20240053979A/en
Priority to PCT/KR2023/016104 priority patent/WO2024085631A1/en
Publication of KR20240053979A publication Critical patent/KR20240053979A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 적어도 하나의 프로세서에 의해 수행되는, 그라운드 컨트롤 라인 자동 취득 방법에 관한 것이다. 그라운드 컨트롤 라인 자동 취득 방법은, 지상에서 촬영된 거리뷰 영상을 수신하는 단계, 거리뷰 영상과 연관된 항공 촬영 영상을 수신하는 단계, 거리뷰 영상을 기초로 제1 세트의 특징 라인을 추출하는 단계, 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출하는 단계, 제1 세트의 특징 라인 및 제2 세트의 특징 라인 사이의 특징 라인 매칭을 수행하는 단계 및 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득하는 단계를 포함한다.The present disclosure relates to a method for automatically acquiring a ground control line, performed by at least one processor. The method for automatically acquiring ground control lines includes receiving a street view image captured on the ground, receiving an aerial image associated with the street view image, extracting a first set of feature lines based on the street view image, extracting a second set of feature lines based on the aerial image, performing feature line matching between the first set of feature lines and the second set of feature lines, and a plurality of grounds based on the feature line matching results. and acquiring a control line.

Description

그라운드 컨트롤 라인 자동 취득 방법 및 시스템{METHOD AND SYSTEM FOR AUTOMATICALLY ACQUIRING GROUND CONTROL LINES}Ground control line automatic acquisition method and system {METHOD AND SYSTEM FOR AUTOMATICALLY ACQUIRING GROUND CONTROL LINES}

본 개시는 그라운드 컨트롤 라인 자동 취득 방법 및 시스템에 관한 것으로, 구체적으로, 지상에서 촬영된 거리뷰 영상과 항공 촬영 영상을 이용하여 특징 라인 매칭을 수행함으로써, 복수의 그라운드 컨트롤 라인을 취득하는 방법 및 시스템에 관한 것이다.The present disclosure relates to a method and system for automatically acquiring ground control lines. Specifically, a method and system for acquiring a plurality of ground control lines by performing feature line matching using street view images and aerial images captured on the ground. It's about.

그라운드 컨트롤 포인트(Ground Control Point)는 영상 좌표계와 지도 좌표계 사이의 좌표변환 식을 구하기 위해 사용하는 지상 기준점, 즉 절대좌표 위치 정보를 나타낸다. 그라운드 컨트롤 포인트를 취득하기 위해서는, 고정밀 GPS(global positioning system)와 같은 장비를 이용하여, 지상에 설치된 마커의 위치 정보를 측량함으로써 취득할 수 있다.Ground Control Point refers to the ground reference point used to obtain the coordinate conversion equation between the image coordinate system and the map coordinate system, that is, absolute coordinate location information. In order to acquire ground control points, they can be acquired by measuring the location information of markers installed on the ground using equipment such as a high-precision global positioning system (GPS).

한편, 정보화 기술이 발달함에 따라, 지도 정보 서비스가 상용화되고, 지도 정보 서비스의 한 영역으로서, 거리뷰 영상이 제공되고 있다. 예를 들어, 지도 정보 서비스의 제공자는 지상의 이동체를 이용하여 실제 공간을 촬영한 이미지를 획득한 후, 전자 지도 상의 특정 지점에 대한 거리뷰 영상으로서 해당 지점에서 촬영한 이미지들을 제공할 수 있다.Meanwhile, as information technology develops, map information services are commercialized, and street view images are provided as an area of map information services. For example, a map information service provider can obtain images of a real space using a moving object on the ground and then provide the images taken at a specific point on an electronic map as a street view image.

다만, 거리뷰 영상은 절대좌표 위치 정보를 포함하지 않으며, 지상의 이동체를 이용하여 촬영한 거리뷰 영상에 대한 그라운드 컨트롤 포인트를 취득하기 위해서는, 광범위한 범위에 대해 수많은 양의 마커를 설치해야 하므로, 많은 비용과 노력이 소요되는 문제점이 있다. 또한, 그라운드 컨트롤 포인트만 이용하는 경우, 그라운드 컨트롤 포인트가 많이 취득되지 않는 영역에서는 서비스 품질이 저하될 수 있다.However, street view images do not contain absolute coordinate location information, and in order to acquire ground control points for street view images taken using moving objects on the ground, a large number of markers must be installed over a wide range, which requires many There is a problem that it requires money and effort. Additionally, when only ground control points are used, service quality may deteriorate in areas where many ground control points are not acquired.

본 개시는 상기와 같은 문제점을 해결하기 위한 방법, 기록매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다.The present disclosure provides a method for solving the above problems, a computer program stored in a recording medium, and a device (system).

본 개시는 방법, 장치(시스템) 또는 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.The present disclosure may be implemented in various ways, including as a method, device (system), or computer program stored in a readable storage medium.

본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는, 그라운드 컨트롤 라인 자동 취득 방법은, 지상에서 촬영된 거리뷰 영상을 수신하는 단계, 거리뷰 영상과 연관된 항공 촬영 영상을 수신하는 단계, 거리뷰 영상을 기초로 제1 세트의 특징 라인을 추출하는 단계, 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출하는 단계, 제1 세트의 특징 라인 및 제2 세트의 특징 라인 사이의 특징 라인 매칭을 수행하는 단계 및 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득하는 단계를 포함한다.According to an embodiment of the present disclosure, a method for automatically acquiring a ground control line, performed by at least one processor, includes receiving a street view image captured on the ground, receiving an aerial image associated with the street view image. , extracting a first set of feature lines based on the street view image, extracting a second set of feature lines based on the aerial view image, between the first set of feature lines and the second set of feature lines. It includes performing feature line matching and acquiring a plurality of ground control lines based on the feature line matching results.

본 개시의 일 실시예에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.In order to execute the method according to an embodiment of the present disclosure on a computer, a computer program stored in a computer-readable recording medium is provided.

본 개시의 일 실시예에 따른, 정보 처리 시스템으로서, 통신 모듈, 메모리, 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로그램은, 지상에서 촬영된 거리뷰 영상을 수신하고, 거리뷰 영상과 연관된 항공 촬영 영상을 수신하고, 거리뷰 영상을 기초로 제1 세트의 특징 라인을 추출하고, 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출하고, 제1 세트의 특징 라인 및 제2 세트의 특징 라인 사이의 특징 라인 매칭을 수행하고, 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득하기 위한 명령어들을 포함한다.According to an embodiment of the present disclosure, an information processing system includes a communication module, a memory, and at least one processor connected to the memory and configured to execute at least one computer-readable program included in the memory, and at least one The program receives a street view image captured on the ground, receives an aerial image associated with the street view image, extracts a first set of feature lines based on the street view image, and extracts a second set of feature lines based on the aerial view image. Includes instructions for extracting a set of feature lines, performing feature line matching between the first set of feature lines and the second set of feature lines, and acquiring a plurality of ground control lines based on the feature line matching results. .

본 개시의 일 실시예에 따르면, 절대좌표 정보를 포함하는 항공 촬영 영상과 거리뷰 영상 사이의 특징 라인 매칭을 통해, 그라운드 컨트롤 포인트의 자동 취득이 어려운 도로 지역(예를 들어, 고속화도로, 도심대로 등)에 대해 다수의 고품질 그라운드 컨트롤 라인을 자동으로 취득할 수 있다.According to an embodiment of the present disclosure, through feature line matching between an aerial shot image containing absolute coordinate information and a street view image, a road area in which it is difficult to automatically acquire a ground control point (e.g., a freeway, a downtown street) etc.), multiple high-quality ground control lines can be automatically acquired.

본 개시의 일 실시예에 따르면, 지상에 마커를 설치하는 단계를 생략하여 비용을 절감할 수 있고, 수작업으로 진행되는 지상에 설치된 마커의 위치 정보를 측량하는 단계를 생략하여 일관된 품질의 그라운드 컨트롤 라인을 취득할 수 있다.According to an embodiment of the present disclosure, costs can be reduced by omitting the step of installing markers on the ground, and a ground control line of consistent quality is achieved by omitting the step of manually measuring the location information of markers installed on the ground. can be acquired.

본 개시의 일 실시예에 따르면, 거리뷰 영상에서 선분 검출을 수행하고, 해당 선분의 위치를 탑뷰 영상 내의 위치로 변환함으로써, 선분의 위치 오차가 발생하는 것을 방지할 수 있다.According to an embodiment of the present disclosure, by detecting a line segment in a street view image and converting the position of the line segment to a position in the top view image, it is possible to prevent a position error of the line segment from occurring.

본 개시의 일 실시예에 따르면, 특정 지역에 대한 거리뷰 영상 및 이에 대응하는 지역에 대한 항공 촬영 영상 내에서 차선에 해당하는 선분을 식별하고, 식별된 차선에 대해 특징 라인 매칭을 수행함으로써, 도로 지역의 차선을 이용하여 일반 그라운드 컨트롤 라인 취득 방법보다 더 많은 양의 고품질 그라운드 컨트롤 라인을 자동으로 취득할 수 있다.According to an embodiment of the present disclosure, by identifying line segments corresponding to lanes within a street view image for a specific area and an aerial image of the corresponding area, and performing feature line matching on the identified lane, By using local lanes, a larger amount of high-quality ground control lines can be automatically acquired than with general ground control line acquisition methods.

본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자(“통상의 기술자”라 함)에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned are clear to a person skilled in the art (referred to as “a person skilled in the art”) in the technical field to which this disclosure pertains from the description of the claims. It will be understandable.

본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 3차원 모델과 거리뷰 데이터를 정합시키는 방법의 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템이 복수의 사용자 단말과 통신 가능하도록 연결된 구성을 나타내는 개요도이다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 거리뷰 영상 및 정사 영상 사이의 특징 라인 매칭을 수행하여 그라운드 컨트롤 라인을 취득하는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 거리뷰 데이터 및 3차원 모델 사이의 특징 라인 매칭을 수행하여 그라운드 컨트롤 라인을 취득하는 구체적인 방법을 나타내는 블록도이다.
도 6은 본 개시의 일 실시예에 따른 거리뷰 영상을 탑뷰 영상으로 변환하여 특징 라인을 추출하는 과정의 예시는 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 거리뷰 영상이 변환된 탑뷰 영상의 지면 영역 및 정사 영상의 지면 영역을 이용하여 특징 라인을 추출하는 과정의 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 3차원 모델 및 거리뷰 데이터 사이의 차선 매칭을 수행하여 차선 그라운드 컨트롤 라인을 취득하는 구체적인 방법을 나타내는 블록도이다.
도 9는 본 개시의 일 실시예에 따른 거리뷰 영상 및 정사 영상 사이의 차선 매칭을 수행하는 구체적인 방법의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 탑뷰 영상 및 정사 영상 사이의 차선 매칭 결과의 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 거리뷰 데이터 및 3D 모델을 이용하여 특징 라인 추출 신경망 모델의 학습을 위한 학습 데이터 쌍을 생성하는 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 매칭된 특징 라인의 예시를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 그라운드 컨트롤 라인 자동 취득 방법의 예시를 나타내는 흐름도이다.
Embodiments of the present disclosure will be described with reference to the accompanying drawings described below, in which like reference numerals indicate like elements, but are not limited thereto.
1 is a diagram illustrating an example of a method for matching a 3D model and street view data according to an embodiment of the present disclosure.
Figure 2 is a schematic diagram showing a configuration in which an information processing system according to an embodiment of the present disclosure is connected to enable communication with a plurality of user terminals.
Figure 3 is a block diagram showing the internal configuration of a user terminal and an information processing system according to an embodiment of the present disclosure.
FIG. 4 is a diagram illustrating an example of obtaining a ground control line by performing feature line matching between a street view image and an orthoimage according to an embodiment of the present disclosure.
Figure 5 is a block diagram showing a specific method of obtaining a ground control line by performing feature line matching between street view data and a 3D model according to an embodiment of the present disclosure.
FIG. 6 is a diagram illustrating an example of a process for extracting feature lines by converting a street view image into a top view image according to an embodiment of the present disclosure.
FIG. 7 is a diagram illustrating an example of a process for extracting a feature line using a ground area of a top view image converted from a street view image and a ground area of an orthoimage according to an embodiment of the present disclosure.
Figure 8 is a block diagram showing a specific method of obtaining a lane ground control line by performing lane matching between a 3D model and street view data according to an embodiment of the present disclosure.
FIG. 9 is a diagram showing an example of a specific method of performing lane matching between a street view image and an orthoimage according to an embodiment of the present disclosure.
FIG. 10 is a diagram illustrating an example of a lane matching result between a top-view image and an orthoimage according to an embodiment of the present disclosure.
FIG. 11 is a diagram illustrating an example of generating a learning data pair for training a feature line extraction neural network model using street view data and a 3D model according to an embodiment of the present disclosure.
Figure 12 is a diagram showing an example of a matched feature line according to an embodiment of the present disclosure.
Figure 13 is a flowchart showing an example of a method for automatically acquiring a ground control line according to an embodiment of the present disclosure.

이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.Hereinafter, specific details for implementing the present disclosure will be described in detail with reference to the attached drawings. However, in the following description, detailed descriptions of well-known functions or configurations will be omitted if there is a risk of unnecessarily obscuring the gist of the present disclosure.

첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.In the accompanying drawings, identical or corresponding components are given the same reference numerals. Additionally, in the description of the following embodiments, overlapping descriptions of identical or corresponding components may be omitted. However, even if descriptions of components are omitted, it is not intended that such components are not included in any embodiment.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the disclosed embodiments and methods for achieving them will become clear by referring to the embodiments described below in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the present disclosure is complete and that the present disclosure does not convey the scope of the invention to those skilled in the art. It is provided only for complete information.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in this specification will be briefly described, and the disclosed embodiments will be described in detail. The terms used in this specification are general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but this may vary depending on the intention or precedent of a technician working in the related field, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Accordingly, the terms used in this disclosure should be defined based on the meaning of the term and the overall content of the present disclosure, rather than simply the name of the term.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.In this specification, singular expressions include plural expressions, unless the context clearly specifies the singular. Additionally, plural expressions include singular expressions, unless the context clearly specifies plural expressions. When it is said that a certain part includes a certain element throughout the specification, this does not mean excluding other elements, but may further include other elements, unless specifically stated to the contrary.

또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.Additionally, the term 'module' or 'unit' used in the specification refers to a software or hardware component, and the 'module' or 'unit' performs certain roles. However, 'module' or 'unit' is not limited to software or hardware. A 'module' or 'unit' may be configured to reside on an addressable storage medium and may be configured to run on one or more processors. Thus, as an example, a 'module' or 'part' refers to components such as software components, object-oriented software components, class components and task components, processes, functions and properties. , procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, or variables. Components and 'modules' or 'parts' may be combined into smaller components and 'modules' or 'parts' or further components and 'modules' or 'parts'. Could be further separated.

본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.According to an embodiment of the present disclosure, a 'module' or 'unit' may be implemented with a processor and memory. 'Processor' should be interpreted broadly to include general-purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, etc. In some contexts, 'processor' may refer to an application-specific integrated circuit (ASIC), programmable logic device (PLD), field programmable gate array (FPGA), etc. 'Processor' refers to a combination of processing devices, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such combination of configurations. You may. Additionally, 'memory' should be interpreted broadly to include any electronic component capable of storing electronic information. 'Memory' refers to random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erasable-programmable read-only memory (EPROM), May also refer to various types of processor-readable media, such as electrically erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, etc. A memory is said to be in electronic communication with a processor if the processor can read information from and/or write information to the memory. The memory integrated into the processor is in electronic communication with the processor.

본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.In the present disclosure, 'system' may include at least one of a server device and a cloud device, but is not limited thereto. For example, a system may consist of one or more server devices. As another example, a system may consist of one or more cloud devices. As another example, the system may be operated with a server device and a cloud device configured together.

본 개시에서, '디스플레이'는 컴퓨팅 장치와 연관된 임의의 디스플레이 장치를 지칭할 수 있는데, 예를 들어, 컴퓨팅 장치에 의해 제어되거나 컴퓨팅 장치로부터 제공된 임의의 정보/데이터를 표시할 수 있는 임의의 디스플레이 장치를 지칭할 수 있다.In this disclosure, 'display' may refer to any display device associated with a computing device, e.g., any display device capable of displaying any information/data controlled by or provided by the computing device. can refer to.

본 개시에서, '복수의 A의 각각' 또는 '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다.In the present disclosure, 'each of a plurality of A' or 'each of a plurality of A' may refer to each of all components included in a plurality of A, or may refer to each of some components included in a plurality of A. .

도 1은 본 개시의 일 실시예에 따른 3차원 모델(110)과 거리뷰 데이터(120)를 정합시키는 방법의 예시를 나타내는 도면이다. 정보 처리 시스템은 특정 지역에 대한 3차원 모델(110) 및 거리뷰 데이터(120)를 획득/수신할 수 있다.FIG. 1 is a diagram illustrating an example of a method of matching a 3D model 110 and street view data 120 according to an embodiment of the present disclosure. The information processing system may acquire/receive the 3D model 110 and street view data 120 for a specific area.

3차원 모델(110)은 절대좌표 위치로 표현된 3차원 기하정보 및 그에 대응하는 텍스처 정보를 포함할 수 있다. 여기서, 3차원 모델(110)에 포함된 위치 정보는 거리뷰 데이터(120)에 포함된 위치 정보보다 높은 정확도의 정보일 수 있다. 또한, 3차원 모델(110)에 포함된 텍스처 정보는 거리뷰 데이터(120)에 포함된 텍스처 정보보다 낮은 품질(예를 들어, 낮은 해상도)의 정보일 수 있다. 일 실시예에 따르면, 절대좌표 위치로 표현된 3차원 기하정보는 특정 지역의 상공에서 특정 지역을 촬영한 항공 사진에 기초하여 생성된 것일 수 있다. The 3D model 110 may include 3D geometric information expressed in absolute coordinate positions and texture information corresponding thereto. Here, the location information included in the 3D model 110 may be information of higher accuracy than the location information included in the street view data 120. Additionally, the texture information included in the 3D model 110 may be of lower quality (eg, lower resolution) than the texture information included in the street view data 120. According to one embodiment, 3D geometric information expressed as an absolute coordinate position may be generated based on an aerial photograph taken of a specific area from above the specific area.

특정 지역에 대한 3차원 모델(110)은 3차원 빌딩 모델(112), 수치 표고 모델(Digital Elevation Model; DEM)(114), 특정 지역에 대한 정사 영상(true ortho image)(116), 수치 표면 모델(Digital Surface Model; DSM), 도로 레이아웃, 도로 DEM 등을 포함할 수 있다. 구체적 예로, 특정 지역에 대한 3차원 모델(110)은, 특정 지역의 지면에 대한 기하 정보를 포함하는 수치 표면 모델(Digital Surface Model; DSM) 및 그에 대응하는 특정 지역에 대한 정사 영상(116)을 기초로 생성된 모델일 수 있으나, 이에 한정되지 않는다. 일 실시예에서, 복수의 항공 사진 및 각 항공 사진의 절대좌표 위치 정보 및 방향 정보를 기초로 특정 지역의 정밀한 정사 영상(116)을 생성할 수 있다.The 3D model (110) for a specific area includes a 3D building model (112), a digital elevation model (DEM) (114), a true ortho image (116) for a specific area, and a digital surface. It may include a digital surface model (DSM), road layout, road DEM, etc. As a specific example, the 3D model 110 for a specific area includes a digital surface model (DSM) containing geometric information about the ground of the specific area and an orthoimage 116 for the specific area corresponding thereto. It may be a model created based on, but is not limited to, this. In one embodiment, a precise orthoimage 116 of a specific area may be generated based on a plurality of aerial photos and the absolute coordinate location information and direction information of each aerial photo.

거리뷰 데이터(120)는 특정 지역 내의 복수의 노드에서 촬영된 복수의 거리뷰 영상 및 복수의 거리뷰 영상 각각에 대한 절대좌표 위치 정보를 포함할 수 있다. 여기서, 거리뷰 데이터(120)에 포함된 위치 정보는 3차원 모델(110)에 포함된 위치 정보보다 낮은 정확도의 정보일 수 있고, 거리뷰 영상에 포함된 텍스처 정보는 3차원 모델(110)에 포함된 텍스처 정보보다 높은 품질(예를 들어, 높은 해상도)의 정보일 수 있다. 예를 들어, 거리뷰 데이터(120)에 포함된 위치 정보는 노드에서 거리뷰 영상을 촬영할 때 GPS 장비를 이용하여 획득된 위치 정보일 수 있다. 차량의 GPS 장비를 이용하여 획득된 위치 정보는 5~10 미터 정도의 오차가 있을 수 있다. 추가적으로, 거리뷰 데이터는 복수의 거리뷰 영상 각각에 대한 방향 정보(즉, 이미지 촬영 방향 정보)를 포함할 수 있다.The street view data 120 may include a plurality of street view images captured at a plurality of nodes within a specific area and absolute coordinate location information for each of the plurality of street view images. Here, the location information included in the street view data 120 may be information of lower accuracy than the location information included in the 3D model 110, and the texture information included in the street view image is included in the 3D model 110. It may be information of higher quality (e.g., higher resolution) than the included texture information. For example, the location information included in the street view data 120 may be location information obtained using a GPS device when a node captures a street view image. Location information obtained using a vehicle's GPS device may have an error of about 5 to 10 meters. Additionally, street view data may include direction information (i.e., image shooting direction information) for each of a plurality of street view images.

정보 처리 시스템은 3차원 모델(110)과 거리뷰 데이터(120) 사이의 맵매칭(130)을 수행할 수 있다. 구체적으로, 정보 처리 시스템은 3차원 모델(110)에 포함된 텍스처 정보와 거리뷰 데이터(120)에 포함된 복수의 거리뷰 영상 사이의 특징 매칭(feature matching)을 수행할 수 있다. 맵매칭(130)을 수행하기 위해, 정보 처리 시스템은 거리뷰 데이터(120)에 포함된 복수의 거리뷰 영상 중 적어도 일부를 탑뷰(top view) 영상으로 변환할 수 있다. 맵매칭(130)의 결과로서, 복수의 맵매칭 포인트/맵매칭 라인(132)을 추출할 수 있다.The information processing system may perform map matching 130 between the 3D model 110 and street view data 120. Specifically, the information processing system may perform feature matching between texture information included in the 3D model 110 and a plurality of street view images included in the street view data 120. To perform map matching 130, the information processing system may convert at least some of the plurality of street view images included in the street view data 120 into a top view image. As a result of map matching 130, a plurality of map matching points/map matching lines 132 can be extracted.

맵매칭 포인트는 거리뷰 영상의 한 포인트와 3차원 모델(110)의 한 포인트의 대응쌍을 나타낼 수 있다. 맵매칭(130)에 이용되는 3차원 모델(110)의 종류, 포인트의 위치 등에 따라 맵매칭 포인트의 유형은 다양할 수 있다. 예를 들어, 맵매칭 포인트는, 특정 지역 내의 지면에서의 포인트 대응쌍인 그라운드 컨트롤 포인트(Ground Control Point; GCP), 특정 지역 내의 빌딩에서의 포인트 대응쌍인 빌딩 컨트롤 포인트(Building Control Point; BCP) 또는 특정 지역 내의 구조물에서의 포인트 대응쌍인 구조물 컨트롤 포인트 중 적어도 하나를 포함할 수 있다. 맵매칭 포인트는 상술한 지면, 빌딩, 구조물 뿐만 아니라 거리뷰 영상과 3차원 모델(110)의 임의의 영역에서 추출될 수 있다.The map matching point may represent a corresponding pair of a point in the street view image and a point in the 3D model 110. The type of map matching point may vary depending on the type of 3D model 110 used for map matching 130, the location of the point, etc. For example, map matching points are Ground Control Points (GCP), which are point correspondence pairs on the ground within a specific area, and Building Control Points (BCP), which are point correspondence pairs on buildings within a specific area. Alternatively, it may include at least one of structure control points, which are point correspondence pairs in structures within a specific area. Map matching points can be extracted not only from the ground, buildings, and structures described above, but also from street view images and arbitrary areas of the 3D model 110.

맵매칭 라인은 거리뷰 영상의 한 라인과 3차원 모델(110)의 한 라인의 대응쌍을 나타낼 수 있다. 맵매칭(130)에 이용되는 3차원 모델(110)의 종류, 라인의 위치 등에 따라 맵매칭 라인의 유형은 다양할 수 있다. 예를 들어, 맵매칭 라인은, 특정 지역 내의 지면에서의 라인 대응쌍인 그라운드 컨트롤 라인(Ground Control Line; GCL), 특정 지역 내의 빌딩에서의 라인 대응쌍인 빌딩 컨트롤 라인(Building Control Line; BCL), 특정 지역 내의 구조물에서의 라인 대응쌍인 구조물 컨트롤 라인 또는 특정 지역 내의 차선에서의 라인 대응쌍인 차선 컨트롤 라인 중 적어도 하나를 포함할 수 있다. 맵매칭 라인은 상술한 지면, 빌딩, 구조물, 차선 뿐만 아니라 거리뷰 영상과 3차원 모델(110)의 임의의 영역에서 추출될 수 있다. 본 개시에서는 거리뷰 데이터(120)와 3차원 모델(110)을 이용하여, 특정 지역 내의 지면에서의 라인 대응쌍인 그라운드 컨트롤 라인을 추출하는 방법에 대하여 도 4 내지 도 10을 참조하여 상세히 후술된다.The map matching line may represent a corresponding pair of one line of the street view image and one line of the 3D model 110. The type of map matching line may vary depending on the type of 3D model 110 used for map matching 130, the location of the line, etc. For example, map matching lines include Ground Control Line (GCL), which is a corresponding pair of lines on the ground within a specific area, and Building Control Line (BCL), which is a corresponding pair of lines on buildings within a specific area. , it may include at least one of a structure control line, which is a corresponding pair of lines in a structure within a specific area, or a lane control line, which is a corresponding pair of lines in a lane within a specific area. Map matching lines can be extracted from the ground, buildings, structures, and lanes described above, as well as street view images and arbitrary areas of the 3D model 110. In the present disclosure, a method of extracting ground control lines, which are corresponding pairs of lines on the ground within a specific area, using the street view data 120 and the 3D model 110 will be described in detail later with reference to FIGS. 4 to 10. .

또한, 정보 처리 시스템은 복수의 거리뷰 영상 사이의 특징 매칭(150)을 수행하여 복수의 특징점 대응 세트(152)를 추출할 수 있다. 일 실시예에 따르면, 강인한 특징 매칭을 위해, 3차원 모델(110)의 적어도 일부를 이용하여 복수의 거리뷰 영상 사이의 특징 매칭(150)을 수행할 수 있다. 예를 들어, 3차원 모델(110)에 포함된 3차원 빌딩 모델(112)을 이용하여 거리뷰 영상 사이의 특징 매칭(150)을 수행할 수 있다.Additionally, the information processing system may perform feature matching 150 between a plurality of street view images to extract a plurality of feature point correspondence sets 152. According to one embodiment, for robust feature matching, feature matching 150 between a plurality of street view images may be performed using at least a portion of the 3D model 110. For example, feature matching 150 between street view images can be performed using the 3D building model 112 included in the 3D model 110.

그런 다음, 정보 처리 시스템은 복수의 맵매칭 포인트/맵매칭 라인(132) 중 적어도 하나, 그리고 복수의 특징점 대응 세트(152) 중 적어도 일부에 기초하여 복수의 거리뷰 영상에 대한 절대좌표 위치 정보 및 방향 정보를 추정(160)할 수 있다. 예를 들어, 프로세서는 번들 조정 기법(bundle adjustment)을 이용하여 복수의 거리뷰 영상에 대한 절대좌표 위치 정보 및 방향 정보를 추정(160)할 수 있다. 일 실시예에 따르면, 추정된 절대좌표 위치 정보 및 방향 정보(162)는 3차원 모델(110)을 표현하는 절대 좌표계의 정보로서, 6-자유도(DoF)의 파라미터일 수 있다. 이러한 과정을 통해 추정된 절대좌표 위치 정보 및 방향 정보(162)는 거리뷰 데이터(120)에 포함된 절대좌표 위치 정보 및 방향 정보보다 높은 정밀도의 데이터일 수 있다.Then, the information processing system provides absolute coordinate position information and Direction information can be estimated (160). For example, the processor may estimate absolute coordinate position information and direction information for a plurality of street view images using a bundle adjustment technique (160). According to one embodiment, the estimated absolute coordinate position information and direction information 162 is information in an absolute coordinate system representing the 3D model 110, and may be a parameter of 6 degrees of freedom (DoF). The absolute coordinate location information and direction information 162 estimated through this process may be data with higher precision than the absolute coordinate location information and direction information included in the street view data 120.

본 개시의 일 실시예에 따르면, 3차원 모델(110) 및 거리뷰 데이터(120) 사이의 특징 매칭을 수행하여 특정 지역 내의 지면에서의 라인의 대응쌍인 그라운드 컨트롤 라인을 자동으로 취득함으로써, 그라운드 컨트롤 포인트의 자동 취득이 어려운 도로 지역에 대해 다수의 고품질 그라운드 컨트롤 라인을 자동으로 취득할 수 있다. 또한, 지상에 마커를 설치하는 단계와 수작업으로 진행되는 지상에 설치된 마커의 위치 정보를 측량하는 단계를 생략하여 비용을 절감하고, 일관된 품질의 그라운드 컨트롤 라인을 취득할 수 있다. 자동 취득된 그라운드 컨트롤 라인은 3차원 기하정보와 높은 정확도의 위치 정보 및 방향 정보를 포함하는 3차원 모델(110)과 고품질의 텍스처 정보를 포함하는 거리뷰 데이터(120)를 정합하는데 이용되어, 3차원 기하정보, 높은 정확도의 위치 정보 및 방향 정보, 고품질의 텍스처 정보를 모두 활용한 다양한 서비스에 활용될 수 있다.According to an embodiment of the present disclosure, by performing feature matching between the 3D model 110 and the street view data 120 to automatically obtain ground control lines, which are corresponding pairs of lines on the ground within a specific area, Multiple high-quality ground control lines can be automatically acquired for road areas where automatic acquisition of control points is difficult. In addition, by omitting the steps of installing markers on the ground and manually measuring the location information of markers installed on the ground, costs can be reduced and ground control lines of consistent quality can be obtained. The automatically acquired ground control line is used to match the 3D model 110, which includes 3D geometric information and high-accuracy position and direction information, and the street view data 120, which includes high-quality texture information, 3 It can be used in a variety of services that utilize dimensional geometric information, high-accuracy location and direction information, and high-quality texture information.

도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템(230)이 복수의 사용자 단말(210_1, 210_2, 210_3)과 통신 가능하도록 연결된 구성을 나타내는 개요도이다. 도시된 바와 같이, 복수의 사용자 단말(210_1, 210_2, 210_3)은 네트워크(220)를 통해 지도 정보 서비스를 제공할 수 있는 정보 처리 시스템(230)과 연결될 수 있다. 여기서, 복수의 사용자 단말(210_1, 210_2, 210_3)은 지도 정보 서비스를 제공받는 사용자의 단말을 포함할 수 있다. 추가적으로, 복수의 사용자 단말(210_1, 210_2, 210_3)은 노드에서 거리뷰 영상을 촬영하는 자동차일 수 있다. 일 실시예에서, 정보 처리 시스템(230)은 지도 정보 서비스 제공 등과 관련된 컴퓨터 실행 가능한 프로그램(예를 들어, 다운로드 가능한 애플리케이션) 및 데이터를 저장, 제공 및 실행할 수 있는 하나 이상의 서버 장치 및/또는 데이터베이스, 또는 클라우드 컴퓨팅 서비스 기반의 하나 이상의 분산 컴퓨팅 장치 및/또는 분산 데이터베이스를 포함할 수 있다.Figure 2 is a schematic diagram showing a configuration in which the information processing system 230 according to an embodiment of the present disclosure is connected to communicate with a plurality of user terminals 210_1, 210_2, and 210_3. As shown, a plurality of user terminals 210_1, 210_2, and 210_3 may be connected to an information processing system 230 capable of providing a map information service through a network 220. Here, the plurality of user terminals 210_1, 210_2, and 210_3 may include terminals of users receiving a map information service. Additionally, the plurality of user terminals 210_1, 210_2, and 210_3 may be cars that capture street view images from nodes. In one embodiment, the information processing system 230 includes one or more server devices and/or databases capable of storing, providing, and executing computer-executable programs (e.g., downloadable applications) and data related to providing map information services, etc. Alternatively, it may include one or more distributed computing devices and/or distributed databases based on cloud computing services.

정보 처리 시스템(230)에 의해 제공되는 지도 정보 서비스는 복수의 사용자 단말(210_1, 210_2, 210_3)의 각각에 설치된 애플리케이션 또는 웹 브라우저 등을 통해 사용자에게 제공될 수 있다. 예를 들어, 정보 처리 시스템(230)은 애플리케이션 등을 통해 사용자 단말(210_1, 210_2, 210_3)로부터 수신되는 거리뷰 영상 요청, 영상 기반 위치 인식 요청 등에 대응하는 정보를 제공하거나 대응하는 처리를 수행할 수 있다.The map information service provided by the information processing system 230 may be provided to the user through an application or web browser installed on each of the plurality of user terminals 210_1, 210_2, and 210_3. For example, the information processing system 230 may provide information corresponding to a street view image request, an image-based location recognition request, etc. received from the user terminals 210_1, 210_2, and 210_3 through an application or perform corresponding processing. You can.

복수의 사용자 단말(210_1, 210_2, 210_3)은 네트워크(220)를 통해 정보 처리 시스템(230)과 통신할 수 있다. 네트워크(220)는 복수의 사용자 단말(210_1, 210_2, 210_3)과 정보 처리 시스템(230) 사이의 통신이 가능하도록 구성될 수 있다. 네트워크(220)는 설치 환경에 따라, 예를 들어, 이더넷(Ethernet), 유선 홈 네트워크(Power Line Communication), 전화선 통신 장치 및 RS-serial 통신 등의 유선 네트워크, 이동통신망, WLAN(Wireless LAN), Wi-Fi, Bluetooth 및 ZigBee 등과 같은 무선 네트워크 또는 그 조합으로 구성될 수 있다. 통신 방식은 제한되지 않으며, 네트워크(220)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 사용자 단말(210_1, 210_2, 210_3) 사이의 근거리 무선 통신 역시 포함될 수 있다.A plurality of user terminals 210_1, 210_2, and 210_3 may communicate with the information processing system 230 through the network 220. The network 220 may be configured to enable communication between a plurality of user terminals 210_1, 210_2, and 210_3 and the information processing system 230. Depending on the installation environment, the network 220 may be, for example, a wired network such as Ethernet, a wired home network (Power Line Communication), a telephone line communication device, and RS-serial communication, a mobile communication network, a wireless LAN (WLAN), It may consist of wireless networks such as Wi-Fi, Bluetooth, and ZigBee, or a combination thereof. The communication method is not limited, and may include communication methods utilizing communication networks that the network 220 may include (e.g., mobile communication networks, wired Internet, wireless Internet, broadcasting networks, satellite networks, etc.) as well as user terminals (210_1, 210_2, 210_3). ) may also include short-range wireless communication between

도 2에서 휴대폰 단말(210_1), 태블릿 단말(210_2) 및 PC 단말 (210_3)이 사용자 단말의 예로서 도시되었으나, 이에 한정되지 않으며, 사용자 단말(210_1, 210_2, 210_3)은 유선 및/또는 무선 통신이 가능하고 애플리케이션 또는 웹 브라우저 등이 설치되어 실행될 수 있는 임의의 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말은, AI 스피커, 스마트폰, 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스, 셋톱 박스 등을 포함할 수 있다. 또한, 도 2에는 3개의 사용자 단말(210_1, 210_2, 210_3)이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하는 것으로 도시되어 있으나, 이에 한정되지 않으며, 상이한 수의 사용자 단말이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하도록 구성될 수도 있다.In Figure 2, the mobile phone terminal (210_1), tablet terminal (210_2), and PC terminal (210_3) are shown as examples of user terminals, but they are not limited thereto, and the user terminals (210_1, 210_2, 210_3) use wired and/or wireless communication. This may be any computing device capable of installing and executing an application or a web browser. For example, user terminals include AI speakers, smartphones, mobile phones, navigation, computers, laptops, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), tablet PCs, game consoles, It may include wearable devices, IoT (internet of things) devices, VR (virtual reality) devices, AR (augmented reality) devices, set-top boxes, etc. In addition, in Figure 2, three user terminals (210_1, 210_2, 210_3) are shown as communicating with the information processing system 230 through the network 220, but this is not limited to this, and a different number of user terminals are connected to the network ( It may be configured to communicate with the information processing system 230 through 220).

일 실시예에 따르면, 정보 처리 시스템(230)은 사용자 단말(210_1, 210_2, 210_3)로부터 지상에서 촬영된 거리뷰 영상 및 거리뷰 영상과 연관된 항공 촬영 영상을 수신할 수 있다. 그리고 나서, 정보 처리 시스템(230)은 수신된 거리뷰 영상 및 항공 촬영 영상의 각각 기초로 복수의 특징 라인을 추출하고, 추출된 복수의 특징 라인 사이의 특징 라인 매칭을 수행할 수 있다. 그 후, 정보 처리 시스템(230)은 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득할 수 있으며, 취득된 복수의 그라운드 컨트롤 라인을 사용자 단말(210_1, 210_2, 210_3)로 전송할 수 있다. 이 외에, 정보 처리 시스템(230)은 복수의 그라운드 컨트롤 라인을 이용하여 3차원 모델과 거리뷰 데이터를 정합함으로써 만들어진 데이터에 기초한 다양한 서비스 관련 데이터를 사용자 단말(210_1, 210_2, 210_3)로 전송할 수 있다.According to one embodiment, the information processing system 230 may receive a street view image captured on the ground and an aerial image associated with the street view image from the user terminals 210_1, 210_2, and 210_3. Then, the information processing system 230 may extract a plurality of feature lines based on the received street view image and the aerial image, respectively, and perform feature line matching between the plurality of extracted feature lines. Thereafter, the information processing system 230 may acquire a plurality of ground control lines based on the feature line matching result, and transmit the acquired plurality of ground control lines to the user terminals 210_1, 210_2, and 210_3. In addition, the information processing system 230 can transmit various service-related data based on data created by matching the 3D model and street view data using a plurality of ground control lines to the user terminals 210_1, 210_2, and 210_3. .

도 3은 본 개시의 일 실시예에 따른 사용자 단말(210) 및 정보 처리 시스템(230)의 내부 구성을 나타내는 블록도이다. 사용자 단말(210)은 애플리케이션 또는 웹 브라우저 등을 실행 가능하고 유/무선 통신이 가능한 임의의 컴퓨팅 장치를 지칭할 수 있으며, 예를 들어, 도 2의 휴대폰 단말(210_1), 태블릿 단말(210_2), PC 단말(210_3) 등을 포함할 수 있다. 도시된 바와 같이, 사용자 단말(210)은 메모리(312), 프로세서(314), 통신 모듈(316) 및 입출력 인터페이스(318)를 포함할 수 있다. 이와 유사하게, 정보 처리 시스템(230)은 메모리(332), 프로세서(334), 통신 모듈(336) 및 입출력 인터페이스(338)를 포함할 수 있다. 도 3에 도시된 바와 같이, 사용자 단말(210) 및 정보 처리 시스템(230)은 각각의 통신 모듈(316, 336)을 이용하여 네트워크(220)를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다. 또한, 입출력 장치(320)는 입출력 인터페이스(318)를 통해 사용자 단말(210)에 정보 및/또는 데이터를 입력하거나 사용자 단말(210)로부터 생성된 정보 및/또는 데이터를 출력하도록 구성될 수 있다.Figure 3 is a block diagram showing the internal configuration of the user terminal 210 and the information processing system 230 according to an embodiment of the present disclosure. The user terminal 210 may refer to any computing device capable of executing an application or a web browser and capable of wired/wireless communication, for example, the mobile phone terminal 210_1, tablet terminal 210_2 of FIG. 2, It may include a PC terminal (210_3), etc. As shown, the user terminal 210 may include a memory 312, a processor 314, a communication module 316, and an input/output interface 318. Similarly, information processing system 230 may include memory 332, processor 334, communication module 336, and input/output interface 338. As shown in FIG. 3, the user terminal 210 and the information processing system 230 are configured to communicate information and/or data through the network 220 using respective communication modules 316 and 336. It can be. Additionally, the input/output device 320 may be configured to input information and/or data to the user terminal 210 through the input/output interface 318 or to output information and/or data generated from the user terminal 210.

메모리(312, 332)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(312, 332)는 ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 사용자 단말(210) 또는 정보 처리 시스템(230)에 포함될 수 있다. 또한, 메모리(312, 332)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 사용자 단말(210)에 설치되어 구동되는 애플리케이션 등을 위한 코드)가 저장될 수 있다.Memories 312 and 332 may include any non-transitory computer-readable recording medium. According to one embodiment, the memories 312 and 332 are non-permanent mass storage devices such as read only memory (ROM), disk drive, solid state drive (SSD), flash memory, etc. It can be included. As another example, non-perishable mass storage devices such as ROM, SSD, flash memory, disk drive, etc. may be included in the user terminal 210 or the information processing system 230 as a separate persistent storage device that is distinct from memory. Additionally, the memories 312 and 332 may store an operating system and at least one program code (eg, code for an application installed and running on the user terminal 210).

이러한 소프트웨어 구성요소들은 메모리(312, 332)와는 별도의 컴퓨터에서 판독가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독가능한 기록매체는 이러한 사용자 단말(210) 및 정보 처리 시스템(230)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈을 통해 메모리(312, 332)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 애플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(220)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 메모리(312, 332)에 로딩될 수 있다.These software components may be loaded from a computer-readable recording medium separate from the memories 312 and 332. This separate computer-readable recording medium may include a recording medium directly connectable to the user terminal 210 and the information processing system 230, for example, a floppy drive, disk, tape, DVD/CD- It may include computer-readable recording media such as ROM drives and memory cards. As another example, software components may be loaded into the memories 312 and 332 through a communication module rather than a computer-readable recording medium. For example, at least one program is loaded into memory 312, 332 based on a computer program installed by files provided over the network 220 by developers or a file distribution system that distributes installation files for applications. It can be.

프로세서(314, 334)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(312, 332) 또는 통신 모듈(316, 336)에 의해 프로세서(314, 334)로 제공될 수 있다. 예를 들어, 프로세서(314, 334)는 메모리(312, 332)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processors 314 and 334 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processors 314 and 334 by memories 312 and 332 or communication modules 316 and 336. For example, processors 314 and 334 may be configured to execute received instructions according to program codes stored in recording devices such as memories 312 and 332.

통신 모듈(316, 336)은 네트워크(220)를 통해 사용자 단말(210)과 정보 처리 시스템(230)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 사용자 단말(210) 및/또는 정보 처리 시스템(230)이 다른 사용자 단말 또는 다른 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 사용자 단말(210)의 프로세서(314)가 메모리(312) 등과 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청 또는 데이터(예를 들어, 지상에서 촬영된 거리뷰 영상 및 항공 촬영 영상의 요청과 연관된 데이터 등)는 통신 모듈(316)의 제어에 따라 네트워크(220)를 통해 정보 처리 시스템(230)으로 전달될 수 있다. 역으로, 정보 처리 시스템(230)의 프로세서(334)의 제어에 따라 제공되는 제어 신호나 명령이 통신 모듈(336)과 네트워크(220)를 거쳐 사용자 단말(210)의 통신 모듈(316)을 통해 사용자 단말(210)에 수신될 수 있다. 예를 들어, 사용자 단말(210)은 정보 처리 시스템(230)으로부터 특정 지역에 대한 거리뷰 영상 및 항공 촬영 영상과 연관된 데이터 등을 수신할 수 있다.The communication modules 316 and 336 may provide a configuration or function for the user terminal 210 and the information processing system 230 to communicate with each other through the network 220, and may provide a configuration or function for the user terminal 210 and/or information processing. The system 230 may provide a configuration or function for communicating with other user terminals or other systems (for example, a separate cloud system, etc.). For example, a request or data generated by the processor 314 of the user terminal 210 according to a program code stored in a recording device such as the memory 312 (e.g., street view images and aerial images taken on the ground) data associated with the request, etc.) may be transmitted to the information processing system 230 through the network 220 under the control of the communication module 316. Conversely, a control signal or command provided under the control of the processor 334 of the information processing system 230 is transmitted through the communication module 316 of the user terminal 210 through the communication module 336 and the network 220. It may be received by the user terminal 210. For example, the user terminal 210 may receive data related to a street view image and an aerial image for a specific area from the information processing system 230.

입출력 인터페이스(318)는 입출력 장치(320)와의 인터페이스를 위한 수단일 수 있다. 일 예로서, 입력 장치는 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 키보드, 마이크로폰, 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(318)는 터치스크린 등과 같이 입력과 출력을 수행하기 위한 구성 또는 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 사용자 단말(210)의 프로세서(314)가 메모리(312)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 정보 처리 시스템(230)이나 다른 사용자 단말이 제공하는 정보 및/또는 데이터를 이용하여 구성되는 서비스 화면 등이 입출력 인터페이스(318)를 통해 디스플레이에 표시될 수 있다. 도 3에서는 입출력 장치(320)가 사용자 단말(210)에 포함되지 않도록 도시되어 있으나, 이에 한정되지 않으며, 사용자 단말(210)과 하나의 장치로 구성될 수 있다. 또한, 정보 처리 시스템(230)의 입출력 인터페이스(338)는 정보 처리 시스템(230)과 연결되거나 정보 처리 시스템(230)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 3에서는 입출력 인터페이스(318, 338)가 프로세서(314, 334)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(318, 338)가 프로세서(314, 334)에 포함되도록 구성될 수 있다.The input/output interface 318 may be a means for interfacing with the input/output device 320. As an example, input devices may include devices such as cameras, keyboards, microphones, mice, etc., including audio sensors and/or image sensors, and output devices may include devices such as displays, speakers, haptic feedback devices, etc. You can. As another example, the input/output interface 318 may be a means for interfacing with a device that has components or functions for performing input and output, such as a touch screen, integrated into one. For example, the processor 314 of the user terminal 210 uses information and/or data provided by the information processing system 230 or another user terminal when processing instructions of a computer program loaded in the memory 312. A service screen, etc. constructed by doing so may be displayed on the display through the input/output interface 318. In FIG. 3 , the input/output device 320 is shown not to be included in the user terminal 210, but the present invention is not limited to this and may be configured as a single device with the user terminal 210. Additionally, the input/output interface 338 of the information processing system 230 may be connected to the information processing system 230 or means for interfacing with a device (not shown) for input or output that the information processing system 230 may include. It can be. In FIG. 3, the input/output interfaces 318 and 338 are shown as elements configured separately from the processors 314 and 334, but the present invention is not limited thereto, and the input/output interfaces 318 and 338 may be configured to be included in the processors 314 and 334. there is.

사용자 단말(210) 및 정보 처리 시스템(230)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 일 실시예에 따르면, 사용자 단말(210)은 상술된 입출력 장치(320) 중 적어도 일부를 포함하도록 구현될 수 있다. 또한, 사용자 단말(210)은 트랜시버(transceiver), GPS(Global Positioning system) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수 있다. 예를 들어, 사용자 단말(210)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 구성요소를 포함할 수 있으며, 예를 들어, 가속도 센서, 자이로 센서, 이미지 센서, 근접 센서, 터치 센서, 조도 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 사용자 단말(210)에 더 포함되도록 구현될 수 있다. 일 실시예에 따르면, 사용자 단말(210)의 프로세서(314)는 지도 정보 서비스를 제공하는 애플리케이션 등이 동작하도록 구성될 수 있다. 이 때, 해당 애플리케이션 및/또는 프로그램과 연관된 코드가 사용자 단말(210)의 메모리(312)에 로딩될 수 있다.The user terminal 210 and information processing system 230 may include more components than those in FIG. 3 . However, there is no need to clearly show most prior art components. According to one embodiment, the user terminal 210 may be implemented to include at least some of the input/output devices 320 described above. Additionally, the user terminal 210 may further include other components such as a transceiver, a global positioning system (GPS) module, a camera, various sensors, and a database. For example, if the user terminal 210 is a smartphone, it may include components generally included in a smartphone, such as an acceleration sensor, a gyro sensor, an image sensor, a proximity sensor, a touch sensor, Various components such as an illuminance sensor, a camera module, various physical buttons, buttons using a touch panel, input/output ports, and a vibrator for vibration may be implemented to be further included in the user terminal 210. According to one embodiment, the processor 314 of the user terminal 210 may be configured to operate an application that provides a map information service. At this time, code associated with the corresponding application and/or program may be loaded into the memory 312 of the user terminal 210.

지도 정보 서비스를 제공하는 애플리케이션 등을 위한 프로그램이 동작되는 동안에, 프로세서(314)는 입출력 인터페이스(318)와 연결된 터치 스크린, 키보드, 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 마이크로폰 등의 입력 장치를 통해 입력되거나 선택된 텍스트, 이미지, 영상, 음성 및/또는 동작 등을 수신할 수 있으며, 수신된 텍스트, 이미지, 영상, 음성 및/또는 동작 등을 메모리(312)에 저장하거나 통신 모듈(316) 및 네트워크(220)를 통해 정보 처리 시스템(230)에 제공할 수 있다. 예를 들어, 프로세서(314)는 특정 지역에 대한 거리뷰 영상 및 항공 촬영 영상을 요청하는 사용자의 입력을 수신하여, 통신 모듈(316) 및 네트워크(220)를 통해 정보 처리 시스템(230)에 제공할 수 있다.While a program for an application providing a map information service is running, the processor 314 uses input devices such as a touch screen, a keyboard, a camera including an audio sensor and/or an image sensor, and a microphone connected to the input/output interface 318. It is possible to receive text, images, videos, voices, and/or actions input or selected through, and store the received text, images, videos, voices, and/or actions in the memory 312 or use the communication module 316 and It can be provided to the information processing system 230 through the network 220. For example, the processor 314 receives a user's input requesting street view images and aerial images for a specific area and provides them to the information processing system 230 through the communication module 316 and the network 220. can do.

사용자 단말(210)의 프로세서(314)는 입출력 장치(320), 다른 사용자 단말, 정보 처리 시스템(230) 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 프로세서(314)에 의해 처리된 정보 및/또는 데이터는 통신 모듈(316) 및 네트워크(220)를 통해 정보 처리 시스템(230)에 제공될 수 있다. 사용자 단말(210)의 프로세서(314)는 입출력 인터페이스(318)를 통해 입출력 장치(320)로 정보 및/또는 데이터를 전송하여, 출력할 수 있다. 예를 들면, 프로세서(314)는 수신한 정보 및/또는 데이터를 사용자 단말의 화면에 디스플레이할 수 있다.The processor 314 of the user terminal 210 manages, processes, and/or stores information and/or data received from the input/output device 320, other user terminals, the information processing system 230, and/or a plurality of external systems. It can be configured to do so. Information and/or data processed by processor 314 may be provided to information processing system 230 via communication module 316 and network 220. The processor 314 of the user terminal 210 may transmit information and/or data to the input/output device 320 through the input/output interface 318 and output the information. For example, the processor 314 may display the received information and/or data on the screen of the user terminal.

정보 처리 시스템(230)의 프로세서(334)는 복수의 사용자 단말(210) 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 프로세서(334)에 의해 처리된 정보 및/또는 데이터는 통신 모듈(336) 및 네트워크(220)를 통해 사용자 단말(210)에 제공할 수 있다.The processor 334 of the information processing system 230 may be configured to manage, process, and/or store information and/or data received from a plurality of user terminals 210 and/or a plurality of external systems. Information and/or data processed by the processor 334 may be provided to the user terminal 210 through the communication module 336 and the network 220.

도 4는 본 개시의 일 실시예에 따른 거리뷰 영상(410) 및 정사 영상(430) 사이의 특징 라인 매칭을 수행하여 그라운드 컨트롤 라인을 취득하는 예시를 나타내는 도면이다. 정보 처리 시스템은 거리뷰 영상(410)과 3차원 모델에 포함된 정사 영상(430) 사이의 특징 라인 매칭을 수행하여 복수의 그라운드 컨트롤 라인을 추출할 수 있다. 여기서, 3차원 모델은 항공 촬영 영상을 기초로 생성된 모델일 수 있다. 일 예에서, 3차원 모델은 특정 지역의 3차원 절대좌표 위치 정보(예를 들어, DEM) 및 항공 촬영 영상인 정사 영상(True-Ortho Image)(430)을 포함할 수 있다. 여기서, 정사 영상(430)은 거리뷰 영상(410)을 촬영할 때 취득된 저정밀도의 GPS 위치 정보를 이용하여, GPS 위치 정보를 포함하는 지역의 3차원 모델로부터 획득할 수 있다. 거리뷰 영상(410)은 적어도 하나의 카메라가 구비된 차량을 이용하여, 촬영된 360도 파노라마 영상일 수 있다.FIG. 4 is a diagram illustrating an example of obtaining a ground control line by performing feature line matching between a street view image 410 and an orthoimage 430 according to an embodiment of the present disclosure. The information processing system may extract a plurality of ground control lines by performing feature line matching between the street view image 410 and the orthoimage 430 included in the 3D model. Here, the 3D model may be a model created based on aerial footage. In one example, the 3D model may include 3D absolute coordinate location information (eg, DEM) of a specific area and a true-ortho image (True-Ortho Image) 430, which is an aerial image. Here, the orthoimage 430 can be obtained from a 3D model of the area including GPS location information using low-precision GPS location information acquired when shooting the street view image 410. The street view image 410 may be a 360-degree panoramic image captured using a vehicle equipped with at least one camera.

거리뷰 영상(410)과 정사 영상(430)과 사이의 특징 라인 매칭을 수행하기 전에, 도메인(domain) 갭을 극복하기 위해 정보 처리 시스템은 거리뷰 영상(410)을 탑뷰(top-view) 영상(420)으로 변환할 수 있다. 그 후, 정보 처리 시스템은 변환된 탑뷰 영상(420) 및 정사 영상(430)의 특징 라인을 추출할 수 있다. 탑뷰 영상(420) 및 정사 영상(430)의 특징 라인을 추출하는 구체적인 방법은 도 5 내지 도 7을 참조하여 상세히 후술된다.Before performing feature line matching between the street view image 410 and the orthoimage 430, the information processing system converts the street view image 410 into a top-view image to overcome the domain gap. It can be converted to (420). Afterwards, the information processing system may extract feature lines of the converted top-view image 420 and the orthoimage 430. A specific method for extracting feature lines of the top-view image 420 and the orthoimage 430 will be described in detail later with reference to FIGS. 5 to 7 .

정보 처리 시스템은 복수의 특징 라인이 추출된 탑뷰 영상(422)과 복수의 특징 라인이 추출된 정사 영상(432) 사이의 복수의 라인 대응쌍을 추출하여 특징 라인 매칭 결과로 저장할 수 있다. 그 후, 정보 처리 시스템은 특징 라인 매칭 결과를 기초로, 복수의 그라운드 컨트롤 라인을 취득할 수 있다. 구체적으로, 정보 처리 시스템은 추출된 복수의 라인 대응쌍에 기초하여, 복수의 특징 라인이 추출된 탑뷰 영상(422) 내에서의 복수의 매칭 라인 픽셀 위치 정보와 복수의 특징 라인이 추출된 정사 영상(432) 내에서의 복수의 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그리고 나서, 정보 처리 시스템은 복수의 특징 라인이 추출된 정사 영상(432) 내에서의 복수의 매칭 라인 픽셀 위치 정보와 연관된 복수의 3차원 절대좌표 위치 정보를 획득할 수 있다. 정보 처리 시스템은 복수의 특징 라인이 추출된 탑뷰 영상(422) 내에서의 복수의 매칭 라인 픽셀 위치 정보를 거리뷰 영상(410)에서의 매칭 픽셀 위치 정보로 변환할 수 있다. 그 후, 정보 처리 시스템은 매칭 픽셀 위치 정보를 포함한 거리뷰 영상과 복수의 3차원 절대좌표 위치 정보를 포함한 정사 영상을 이용하여, 복수의 2차원 라인-3차원 라인 대응쌍, 즉 그라운드 컨트롤 라인을 결정할 수 있다.The information processing system may extract a plurality of line correspondence pairs between the top-view image 422 from which a plurality of feature lines are extracted and the orthoimage 432 from which a plurality of feature lines are extracted and store them as a feature line matching result. Afterwards, the information processing system can acquire a plurality of ground control lines based on the feature line matching results. Specifically, based on the extracted plurality of line correspondence pairs, the information processing system provides plurality of matching line pixel position information within the top-view image 422 from which the plurality of feature lines are extracted and the orthoimagery from which the plurality of feature lines are extracted. A plurality of matching line pixel position information within 432 can be identified. Then, the information processing system may acquire a plurality of three-dimensional absolute coordinate position information associated with the plurality of matching line pixel position information within the orthoimage 432 from which the plurality of feature lines are extracted. The information processing system may convert a plurality of matching line pixel position information in the top view image 422 from which a plurality of feature lines are extracted into matching pixel position information in the street view image 410. Afterwards, the information processing system uses a street view image containing matching pixel position information and an orthoimage containing a plurality of 3D absolute coordinate position information to create a plurality of 2D line-3D line correspondence pairs, that is, a ground control line. You can decide.

여기서, 각 그라운드 컨트롤 라인은 거리뷰 영상(410)의 한 라인과 정사 영상의 한 라인(3차원 절대좌표 위치 정보 포함)의 대응쌍을 나타낼 수 있다. 라인을 나타내는 표현 방법으로서 임의의 표현 방법(예를 들어, 두 포인트, 선분 방정식, 한 포인트와 방향 벡터 등)이 사용될 수 있다. 예를 들어, 각 그라운드 컨트롤 라인은 거리뷰 영상(410)에서의 두 포인트 (u1, v1), (u2, v2)와 3차원 절대좌표 위치로 표현된 두 포인트 (x1, y1, z1), (x2, y2, z2)의 대응쌍을 포함할 수 있다.Here, each ground control line may represent a corresponding pair of one line of the street view image 410 and one line of the orthoimage (including 3D absolute coordinate location information). As an expression method for representing a line, any expression method (e.g., two points, line segment equation, one point and direction vector, etc.) can be used. For example, each ground control line includes two points (u1, v1), (u2, v2) in the street view image 410 and two points (x1, y1, z1), ( It may include corresponding pairs of x2, y2, z2).

종래의 방법에 따르면, 영상 내의 특정 포인트에 대한 절대좌표 위치 정보를 추정하기 위해, 직접 기준점(ground point) 측량을 수행하거나, 국가에서 제공하는 표준 기준점을 사용하기 위해 영상의 기준점 위치를 작업자가 수동으로 태깅하는 작업을 수행하였다. 이 방식은 기준점 측량 작업이나 태깅 작업이 비효율적이며, 작업 범위가 넓어짐에 따라 비용이 증가하는 문제점이 있다. 반면 본 개시에 따르면, 거리뷰 영상(410)과 정사 영상(430) 간의 매칭 정보를 이용하여 대량의 그라운드 컨트롤 라인을 자동으로 추출할 수 있고, 그라운드 컨트롤 포인트의 자동 취득이 어려운 도로 지역(예를 들어, 고속화도로, 도심대로 등)에서도 대해 다수의 고품질 그라운드 컨트롤 라인을 자동으로 취득할 수 있다.According to the conventional method, in order to estimate absolute coordinate location information for a specific point in the image, the operator manually performs ground point surveying or manually determines the location of the reference point in the image to use a standard reference point provided by the country. Tagging work was performed. This method has the problem that reference point surveying or tagging work is inefficient, and costs increase as the scope of work expands. On the other hand, according to the present disclosure, a large amount of ground control lines can be automatically extracted using matching information between the street view image 410 and the orthoimage 430, and road areas where it is difficult to automatically acquire ground control points (e.g. For example, freeways, city streets, etc.), multiple high-quality ground control lines can be automatically acquired.

도 5는 본 개시의 일 실시예에 따른 거리뷰 데이터(510) 및 3차원 모델(520) 사이의 특징 라인 매칭(530)을 수행하여 그라운드 컨트롤 라인(550)을 취득하는 구체적인 방법을 나타내는 블록도이다. 정보 처리 시스템은 거리뷰 데이터(510)와 3차원 모델(520)을 기초로 복수의 그라운드 컨트롤 라인(550)을 추출할 수 있다. 여기서, 거리뷰 데이터(510)는 특정 지역 내의 복수의 노드에서 촬영된 복수의 거리뷰 영상을 포함할 수 있다.FIG. 5 is a block diagram showing a specific method of obtaining a ground control line 550 by performing feature line matching 530 between street view data 510 and a 3D model 520 according to an embodiment of the present disclosure. am. The information processing system can extract a plurality of ground control lines 550 based on the street view data 510 and the 3D model 520. Here, the street view data 510 may include a plurality of street view images captured at a plurality of nodes within a specific area.

3차원 모델(520)은 항공 촬영 영상을 기초로 생성된 특정 지역에 대한 모델일 수 있다. 도시된 것과 같이 3차원 모델(520)은 특정 지역에 대한 복수의 정사 영상 및 3차원 절대좌표 위치 정보를 포함할 수 있다. 예를 들어, 3차원 절대좌표 위치 정보는 수치 표고 모델(DEM)일 수 있다.The 3D model 520 may be a model for a specific area created based on aerial images. As shown, the 3D model 520 may include a plurality of orthoimages and 3D absolute coordinate location information for a specific area. For example, the 3D absolute coordinate location information may be a digital elevation model (DEM).

일 실시예에 따르면, 정보 처리 시스템은 거리뷰 데이터(510)로부터 지상에서 촬영된 거리뷰 영상(512)을 획득할 수 있다. 거리뷰 영상(512) 내의 특정 포인트/라인/선분을 나타내는 표현 방법은 거리뷰 영상(512)의 포맷(예를 들어, 정방형 포맷(equirectangular format), 큐빅 포맷(cubic format), 투영 포맷(projective format) 등)에 따라 다양할 수 있다.According to one embodiment, the information processing system may obtain a street view image 512 taken from the ground from the street view data 510. An expression method representing a specific point/line/segment within the street view image 512 is the format of the street view image 512 (e.g., equirectangular format, cubic format, projection format). ), etc.) may vary depending on the condition.

일 실시예에 따르면, 정보 처리 시스템은 거리뷰 영상(512)을 기초로 제1 세트의 특징 라인을 추출할 수 있다. 우선, 정보 처리 시스템은 거리뷰 영상(512)을 탑뷰 영상(514)으로 변환할 수 있다. 거리뷰 영상(512)을 탑뷰 영상(514)으로 변환하는 방법은 특정 방법에 한정되지 않으며, 호모그래피 변환(Homography Transform) 기법 등이 사용될 수 있다. 그 후, 정보 처리 시스템은 거리뷰 영상(512) 내의 선분 추출 및 탑뷰 변환(516)을 수행할 수 있다. 구체적으로, 정보 처리 시스템은 거리뷰 영상(512)에서 복수의 선분을 검출할 수 있다. 그리고 나서, 정보 처리 시스템은 변환 행렬을 이용하여 복수의 선분의 거리뷰 영상 내에서의 위치 정보를 탑뷰 영상에서의 위치 정보로 변환할 수 있다. 여기서, 변환 행렬은 거리뷰 영상(512)을 탑뷰 영상(514)로 변환하기 위한 변환 행렬과 동일한 변환 행렬일 수 있다. 그 후, 정보 처리 시스템은 복수의 선분의 탑뷰 영상에서의 위치 정보를 이용하여 탑뷰 영상(514)으로부터 제1 세트의 특징 라인을 추출할 수 있다.According to one embodiment, the information processing system may extract a first set of feature lines based on the street view image 512. First, the information processing system can convert the street view image 512 into a top view image 514. The method of converting the street view image 512 into the top view image 514 is not limited to a specific method, and a homography transform technique, etc. may be used. Afterwards, the information processing system may perform line segment extraction and top view transformation 516 within the street view image 512. Specifically, the information processing system can detect a plurality of line segments in the street view image 512. Then, the information processing system can convert the position information in the street view image of the plurality of line segments into position information in the top view image using a transformation matrix. Here, the transformation matrix may be the same transformation matrix as the transformation matrix for converting the street view image 512 into the top view image 514. Thereafter, the information processing system may extract a first set of feature lines from the top view image 514 using the position information of the plurality of line segments in the top view image.

탑뷰 영상(514)에서 선분 검출을 수행하는 경우, 해당 선분의 위치를 거리뷰 영상(512) 내의 위치로 변환하게 되면 선분의 위치 오차가 발생하게 된다. 따라서, 상술한 것과 같이 거리뷰 영상(512)에서 선분 검출을 먼저 수행하고, 해당 선분의 위치를 탑뷰 영상(514) 내의 위치로 변환하게 되면 선분의 위치 오차가 발생하는 것을 방지할 수 있다.When detecting a line segment in the top view image 514, if the position of the line segment is converted to a position in the street view image 512, a position error of the line segment occurs. Therefore, as described above, if line segment detection is first performed in the street view image 512 and the position of the line segment is converted to a position in the top view image 514, it is possible to prevent line segment position errors from occurring.

일 실시예에 따르면, 정보 처리 시스템은 정사 영상(522)으로부터 제2 세트의 특징 라인을 추출할 수 있다. 그 후, 정보 처리 시스템은 제1 세트의 특징 라인 및 제2 세트의 특징 라인 사이의 특징 라인 매칭(530)을 수행할 수 있다. 특징 라인 매칭을 수행하는 방법은 특정 방법에 한정되지 않으며, 임의의 특징 매칭 방법이 사용될 수 있다. 일 실시예에 따르면, 정보 처리 시스템은 특징 라인 매칭(530)을 수행함으로써, 탑뷰 영상(514)과 정사 영상(522) 사이의 복수의 라인 대응쌍을 추출하여 특징 라인 매칭 결과로 저장할 수 있다.According to one embodiment, the information processing system may extract a second set of feature lines from the orthoimage 522 . The information processing system may then perform feature line matching 530 between the first set of feature lines and the second set of feature lines. The method of performing feature line matching is not limited to a specific method, and any feature matching method may be used. According to one embodiment, the information processing system may perform feature line matching 530 to extract a plurality of line correspondence pairs between the top view image 514 and the orthoimage 522 and store them as feature line matching results.

일 실시예에 따르면, 정보 처리 시스템은 특징 라인 매칭 결과에 기초하여, 복수의 그라운드 컨트롤 라인(550)을 취득할 수 있다. 구체적으로, 정보 처리 시스템은 추출된 복수의 라인 대응쌍에 기초하여, 탑뷰 영상(514) 내에서의 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그 후, 정보 처리 시스템은 탑뷰 영상 내에서의 매칭 라인 픽셀 위치 정보를 거리뷰 영상 내에서의 매칭 라인 픽셀 위치 정보(542)로 변환할 수 있다. 이 경우, 정보 처리 시스템은 거리뷰 영상(512)을 탑뷰 영상(514)으로 변환하기 위해 사용된 변환 행렬의 역행렬을 이용할 수 있다. 또한, 정보 처리 시스템은 정사 영상(522) 내에서의 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그 후, 정보 처리 시스템은 3차원 모델(520)의 3차원 절대좌표 위치 정보(524)로부터 정사 영상(522) 내에서의 매칭 라인 픽셀 위치 정보와 연관된 복수의 3차원 절대좌표 위치 정보(544)를 획득할 수 있다. 그리고 나서, 정보 처리 시스템은 거리뷰 영상 내에서의 매칭 라인 픽셀 위치 정보(542) 및 복수의 3차원 절대좌표 위치 정보(544)를 연관시켜 제1 복수의 2차원 라인-3차원 라인 대응쌍, 즉 그라운드 컨트롤 라인(550)을 결정할 수 있다.According to one embodiment, the information processing system may acquire a plurality of ground control lines 550 based on the feature line matching result. Specifically, the information processing system may identify matching line pixel position information within the top-view image 514 based on the plurality of extracted line correspondence pairs. Afterwards, the information processing system may convert matching line pixel position information in the top view image into matching line pixel position information 542 in the street view image. In this case, the information processing system may use the inverse matrix of the transformation matrix used to convert the street view image 512 into the top view image 514. Additionally, the information processing system may identify matching line pixel location information within the orthoimage 522. Thereafter, the information processing system generates a plurality of three-dimensional absolute coordinate position information 544 associated with the matching line pixel position information within the orthoimage 522 from the three-dimensional absolute coordinate position information 524 of the three-dimensional model 520. can be obtained. Then, the information processing system associates the matching line pixel position information 542 and the plurality of three-dimensional absolute coordinate position information 544 in the street view image to form a first plurality of two-dimensional line-three-dimensional line correspondence pairs; That is, the ground control line 550 can be determined.

도 5에서는 하나의 거리뷰 영상(512)과 그와 연관된 정사 영상(522) 사이에서 특징 라인 매칭(530)을 수행하여 복수의 그라운드 컨트롤 라인(550)을 추출하는 예시가 도시되었으나 이에 한정되지 않는다. 구체적으로, 정보 처리 시스템은 거리뷰 데이터(510)에 포함된 복수의 거리뷰 영상과 복수의 거리뷰 영상 각각과 연관된 정사 영상 사이에서 특징 라인 매칭을 수행함으로써, 특정 지역에 대한 대량의 그라운드 컨트롤 라인을 자동으로 취득할 수 있다.In Figure 5, an example of extracting a plurality of ground control lines 550 by performing feature line matching 530 between one street view image 512 and the associated orthoimage 522 is shown, but it is not limited thereto. . Specifically, the information processing system performs feature line matching between a plurality of street view images included in the street view data 510 and orthoimages associated with each of the plurality of street view images, thereby generating a large amount of ground control lines for a specific area. can be acquired automatically.

도 6은 본 개시의 일 실시예에 따른 거리뷰 영상(610)을 탑뷰 영상(630)으로 변환하여 특징 라인을 추출하는 과정의 예시는 나타내는 도면이다. 일 실시예에 따르면, 정보 처리 시스템은 거리뷰 영상(610)을 항공 촬영 영상인 정사 영상과 유사한 시점으로 변환하기 위해, 변환 행렬을 이용하여 거리뷰 영상(610)을 탑뷰 영상(630)으로 변환할 수 있다. 여기서, 변환 행렬은 거리뷰 영상을 촬영한 차량에 설치된 카메라의 시점 정보와 지면이 국부적으로 또는 전체적으로 평평하다는 가정을 이용하여 산출된 호모그래피 변환 행렬을 나타낼 수 있다.FIG. 6 is a diagram illustrating an example of a process for extracting feature lines by converting a street view image 610 into a top view image 630 according to an embodiment of the present disclosure. According to one embodiment, the information processing system converts the street view image 610 into a top view image 630 using a transformation matrix in order to convert the street view image 610 into a viewpoint similar to an orthophoto image, which is an aerial image. can do. Here, the transformation matrix may represent a homography transformation matrix calculated using viewpoint information from a camera installed in a vehicle that captured a street view image and the assumption that the ground is locally or entirely flat.

또한, 정보 처리 시스템은 거리뷰 영상(610)에서 복수의 선분을 검출/추출할 수 있다. 그리고, 정보 처리 시스템은 검출된 복수의 선분의 거리뷰 영상 내에서의 위치 정보(620)를 결정할 수 있다. 그 후, 정보 처리 시스템은 변환 행렬을 이용하여 검출된 복수의 선분의 거리뷰 영상 내에서의 위치 정보(620)를 복수의 선분의 탑뷰 영상(즉, 항공 촬영 영상)에서의 위치 정보(640)로 변환할 수 있다. 이 때, 거리뷰 영상(610)을 탑뷰 영상(630)으로 변환할 때 사용한 것과 동일한 변환 행렬이 사용될 수 있다. 또한, 정보 처리 시스템은 탑뷰 영상(630) 및 복수의 선분의 탑뷰 영상에서의 위치 정보(640)를 이용하여 탑뷰 영상(630)으로부터 제1 세트의 특징 라인을 추출할 수 있다. 이와 같은 구성을 통해, 거리뷰 영상(610)과 탑뷰 영상(630) 사이에서 발생할 수 있는 선분의 위치 정보의 오차를 줄일 수 있다.Additionally, the information processing system can detect/extract a plurality of line segments from the street view image 610. And, the information processing system can determine location information 620 within the street view image of the plurality of detected line segments. Afterwards, the information processing system converts the position information 620 in the street view image of the plurality of line segments detected using the transformation matrix into the position information 640 in the top view image (i.e., aerial image) of the plurality of line segments. It can be converted to . At this time, the same transformation matrix used when converting the street view image 610 into the top view image 630 may be used. Additionally, the information processing system may extract a first set of feature lines from the top view image 630 using the top view image 630 and the position information 640 of the plurality of line segments in the top view image. Through this configuration, errors in the positional information of line segments that may occur between the street view image 610 and the top view image 630 can be reduced.

도 7은 본 개시의 일 실시예에 따른 거리뷰 영상(710)이 변환된 탑뷰 영상(720)의 지면 영역(722) 및 정사 영상(730)의 지면 영역(732)을 이용하여 특징 라인을 추출하는 과정의 예시를 나타내는 도면이다. 일 실시예에 따르면, 정보 처리 시스템은 시맨틱 세그멘테이션을 수행하여 거리뷰 영상(710)의 지면 영역을 결정할 수 있다. 시맨틱 세그멘테이션(semantic segmentation)은 인공 신경망 모델을 이용하여 수행될 수 있으나, 이에 한정되지 않으며, 이미지로부터 도로 영역을 검출할 수 있는 임의의 방법이 사용될 수 있다. 그리고 나서, 정보 처리 시스템은 거리뷰 영상(710)의 지면 영역에서 복수의 선분을 검출할 수 있다. 예를 들어, 정보 처리 시스템은 거리뷰 영상에서 선분을 검출하고, 거리뷰 영상의 지면 영역 외의 영역에서의 선분을 제거함으로써, 거리뷰 영상의 지면 영역 내의 복수의 선분을 검출할 수 있다. 대안적으로, 정보 처리 시스템은 거리뷰 영상의 지면 영역에서만 복수의 선분을 검출할 수 있다.FIG. 7 shows a feature line extracted using the ground area 722 of the top view image 720 and the ground area 732 of the orthoimage 730 converted from the street view image 710 according to an embodiment of the present disclosure. This is a drawing showing an example of the process. According to one embodiment, the information processing system may determine the ground area of the street view image 710 by performing semantic segmentation. Semantic segmentation may be performed using an artificial neural network model, but is not limited to this, and any method capable of detecting a road area from an image may be used. Then, the information processing system may detect a plurality of line segments in the ground area of the street view image 710. For example, the information processing system can detect a line segment in a street view image and remove line segments in an area other than the ground area of the street view image, thereby detecting a plurality of line segments within the ground area of the street view image. Alternatively, the information processing system may detect multiple line segments only in the ground area of the street view image.

그 후, 정보 처리 시스템은 변환 행렬을 이용하여 지면 영역 상의 복수의 선분에 대한 거리뷰 영상 내에서의 위치 정보를 탑뷰 영상에서의 위치 정보로 변환할 수 있다. 다른 예에서, 정보 처리 시스템은 거리뷰 영상에서 복수의 선분을 검출하고, 변환 행렬을 이용하여 복수의 선분에 대한 탑뷰 영상에서의 위치 정보를 결정한 후, 탑뷰 영상의 지면 영역(722) 외의 영역에 위치한 선분을 제거할 수 있다. 그 후, 정보 처리 시스템은 복수의 선분의 탑뷰 영상에서의 위치 정보를 이용하여 탑뷰 영상의 지면 영역(722)으로부터 제1 세트의 특징 라인을 추출할 수 있다.Afterwards, the information processing system can convert the position information in the street view image for a plurality of line segments on the ground area into position information in the top view image using a transformation matrix. In another example, the information processing system detects a plurality of line segments in the street view image, determines position information in the top view image for the plurality of line segments using a transformation matrix, and then places the information in an area other than the ground area 722 of the top view image. You can remove a located line segment. Thereafter, the information processing system may extract a first set of feature lines from the ground area 722 of the top-view image using the position information of the plurality of line segments in the top-view image.

일 실시예에 따르면, 정보 처리 시스템은 항공 촬영 영상인 정사 영상(730) 내의 지면 영역을 결정할 수 있다. 예를 들어, 정보 처리 시스템은 항공 촬영 영상과 연관된 수치 표고 모델(DEM) 또는 빌딩에 대한 3차원 메쉬 모델을 이용하여 정사 영상(730) 내의 지면 영역을 결정할 수 있다. 구체적으로, 수치 표고 모델(DEM) 또는 빌딩에 대한 3차원 메쉬 모델에 포함된 3차원 위치 정보를 이용하여, 높이 정보가 임계값 이하인 영역을 지면 영역으로 결정할 수 있다. 대안적으로, 거리뷰 영상(710)과 마찬가지로 시맨틱 세그멘테이션을 수행하여 정사 영상(730) 내의 지면 영역을 검출할 수 있다. 그 후, 정보 처리 시스템은 정사 영상(730)의 지면 영역(732)으로부터 제2 세트의 특징 라인을 추출할 수 있다.According to one embodiment, the information processing system may determine the ground area within the orthoimage 730, which is an aerial image. For example, the information processing system may determine the ground area within the orthoimage 730 using a digital elevation model (DEM) associated with the aerial image or a 3D mesh model for the building. Specifically, using 3D location information included in a digital elevation model (DEM) or a 3D mesh model for a building, an area where height information is below a threshold can be determined as a ground area. Alternatively, as with the street view image 710, semantic segmentation may be performed to detect the ground area in the orthoimage 730. The information processing system may then extract a second set of feature lines from the ground region 732 of the orthoimage 730.

탑뷰 영상의 지면 영역(722)으로부터 추출된 제1 세트의 특징 라인 및 정사 영상(730)의 지면 영역(732)으로부터 추출된 제2 세트의 특징 라인은 특징 라인 매칭을 수행하는데 이용될 수 있다. 도 7에서는 탑뷰 영상의 지면 영역(722)에서 제1 세트의 특징 라인이 추출되고, 정사 영상(730)의 지면 영역(732)으로부터 제2 세트의 특징 라인이 추출되는 것으로 설명되었으나, 이에 한정되지 않는다. 예를 들어, 정보 처리 시스템은 탑뷰 영상의 지면 영역(722)과 정사 영상(730)의 지면 영역(732)이 겹치는 영역을 결정하고, 겹치는 영역을 이용하여 탑뷰 영상으로부터 제1 세트의 특징 라인을 추출하고, 정사 영상(730)으로부터 제2 세트의 특징 라인을 추출할 수 있다.The first set of feature lines extracted from the ground area 722 of the top-view image and the second set of feature lines extracted from the ground area 732 of the orthoimage 730 may be used to perform feature line matching. In FIG. 7, it is explained that the first set of feature lines is extracted from the ground area 722 of the top view image, and the second set of feature lines is extracted from the ground area 732 of the orthoimage 730, but the scope is not limited to this. No. For example, the information processing system determines an area where the ground area 722 of the top view image and the ground area 732 of the orthoimage 730 overlap, and uses the overlapping area to generate a first set of feature lines from the top view image. and extract a second set of feature lines from the orthoimage 730.

도 8은 본 개시의 일 실시예에 따른 3차원 모델(820) 및 거리뷰 데이터(810) 사이의 차선 매칭을 수행하여 차선 그라운드 컨트롤 라인(850)을 취득하는 구체적인 방법을 나타내는 블록도이다. 정보 처리 시스템은 거리뷰 데이터(810)와 3차원 모델(820)을 기초로 복수의 차선 그라운드 컨트롤 라인(850)을 추출할 수 있다. 여기서, 3차원 모델은 절대좌표 위치로 표현된 3차원 기하정보와 텍스처 정보를 포함할 수 있다. 예를 들어, 3차원 모델은 정사 영상(822), 3차원 절대좌표 위치 정보(예, 수치 표고 모델)(824) 등을 포함할 수 있다. 복수의 차선 그라운드 컨트롤 라인(850)은 매칭의 정확도를 높이기 위해 도 5에서 설명된 복수의 그라운드 컨트롤 라인과 함께 사용될 수 있다. 또한, 복수의 차선 그라운드 컨트롤 라인(850)을 이용함으로써, 추후 차량의 몇 차선에 있는지도 식별할 수 있고, 이를 이용하여 차선단위 내비게이션 및 위치 인식에 사용할 수 있다.FIG. 8 is a block diagram illustrating a specific method of obtaining a lane ground control line 850 by performing lane matching between a 3D model 820 and street view data 810 according to an embodiment of the present disclosure. The information processing system can extract a plurality of lane ground control lines 850 based on the street view data 810 and the 3D model 820. Here, the 3D model may include 3D geometric information and texture information expressed in absolute coordinate positions. For example, the 3D model may include an orthoimage 822, 3D absolute coordinate position information (eg, digital elevation model) 824, etc. The plurality of lane ground control lines 850 may be used together with the plurality of ground control lines described in FIG. 5 to increase matching accuracy. Additionally, by using a plurality of lane ground control lines 850, it is possible to later identify which lane the vehicle is in, and this can be used for lane-level navigation and location recognition.

일 실시예에서 정보 처리 시스템은 거리뷰 데이터(810)로부터 지상에서 촬영된 거리뷰 영상(812)을 수신할 수 있다. 정보 처리 시스템은 도 5에서 전술한 바와 같이, 거리뷰 영상(812)으로부터 제1 세트의 특징 라인을 추출할 수 있다. 그리고 나서, 정보 처리 시스템은 추출된 제1 세트의 특징 라인 중에서 차선과 연관된 제3 세트의 특징 라인을 식별할 수 있다. 구체적으로, 정보 처리 시스템은 거리뷰 영상(812)을 기초로 차선 추출 및 탑뷰 변환(816)을 수행할 수 있다. 예를 들어, 정보 처리 시스템은 차선 검출 알고리즘을 이용하여 거리뷰 영상(812)에서 제1 복수의 차선을 검출할 수 있다. 그리고, 정보 처리 시스템은 변환 행렬을 이용하여 제1 복수의 차선에 대한 거리뷰 영상 내에서 위치 정보를 탑뷰 영상(814)에서의 위치 정보로 변환할 수 있다. 그 후, 정보 처리 시스템은 제1 복수의 차선의 탑뷰 영상에서의 위치 정보를 이용하여 제1 세트의 특징 라인 중 차선과 연관된 제3 세트의 특징 라인을 식별할 수 있다.In one embodiment, the information processing system may receive a street view image 812 captured from the ground from the street view data 810. The information processing system may extract a first set of feature lines from the street view image 812, as described above with reference to FIG. 5 . The information processing system may then identify a third set of feature lines associated with the lane among the extracted first set of feature lines. Specifically, the information processing system may perform lane extraction and top view transformation 816 based on the street view image 812. For example, the information processing system may detect the first plurality of lanes in the street view image 812 using a lane detection algorithm. Additionally, the information processing system may convert location information in the street view image for the first plurality of lanes into location information in the top view image 814 using a transformation matrix. Thereafter, the information processing system may use the position information in the top-view image of the first plurality of lanes to identify a third set of feature lines associated with the lanes among the first set of feature lines.

일 실시예에 따르면, 정보 처리 시스템은 도 5에서 전술한 바와 같이, 정사 영상(822)으로부터 제2 세트의 특징 라인을 추출할 수 있다. 그리고 나서, 정보 처리 시스템은 추출된 제2 세트의 특징 라인 중에서 차선과 연관된 제4 세트의 특징 라인을 식별할 수 있다. 구체적으로, 정보 처리 시스템은 정사 영상(822)에서 제2 복수의 차선을 검출할 수 있다. 예를 들어, 정보 처리 시스템은 정사 영상(822)에서 제2 복수의 차선을 검출하기 위해 3차원 모델(820)에 포함된 차선 데이터를 이용할 수 있다. 그 후, 정보 처리 시스템은 검출된 제2 복수의 차선을 이용하여 제2 세트의 특징 라인 중 차선과 연관된 제4 세트의 특징 라인을 식별할 수 있다.According to one embodiment, the information processing system may extract a second set of feature lines from the orthoimage 822, as described above with reference to FIG. 5 . Then, the information processing system may identify a fourth set of feature lines associated with the lane among the extracted second set of feature lines. Specifically, the information processing system may detect a second plurality of lanes in the orthoimage 822. For example, the information processing system may use lane data included in the 3D model 820 to detect a second plurality of lanes in the orthoimage 822. Thereafter, the information processing system may use the detected second plurality of lanes to identify a fourth set of feature lines associated with the lanes among the second set of feature lines.

일 실시예에서, 정보 처리 시스템은 제3 세트의 특징 라인 및 제4 세트의 특징 라인 사이의 차선 매칭(830)을 수행할 수 있다. 제3 세트의 특징 라인 및 제4 세트의 특징 라인 사이의 차선 매칭(830)을 수행하는 구체적인 방법은 도 9를 참조하여 상세히 후술된다. 일 실시예에 따르면, 정보 처리 시스템은 차선 매칭(830)을 수행함으로써, 탑뷰 영상(814)과 정사 영상(822) 사이의 복수의 차선 대응쌍을 추출하여 차선 매칭 결과로 저장할 수 있다.In one embodiment, the information processing system can perform suboptimal matching 830 between a third set of feature lines and a fourth set of feature lines. A specific method of performing lane matching 830 between the third set of feature lines and the fourth set of feature lines will be described in detail later with reference to FIG. 9 . According to one embodiment, the information processing system may perform lane matching 830 to extract a plurality of lane correspondence pairs between the top view image 814 and the orthoimage 822 and store them as lane matching results.

일 실시예에 따르면, 정보 처리 시스템은 차선 매칭 결과에 기초하여, 복수의 차선 그라운드 컨트롤 라인(850)을 취득할 수 있다. 구체적으로, 정보 처리 시스템은 추출된 복수의 차선 대응쌍에 기초하여, 탑뷰 영상(814) 내에서의 제4 세트의 매칭 라인 픽셀 위치 정보 및 정사 영상(822) 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그 후, 정보 처리 시스템은 탑뷰 영상 내에서의 제4 세트의 매칭 라인 픽셀 위치 정보를 거리뷰 영상 내에서의 제6 세트의 매칭 라인 픽셀 위치 정보(842)로 변환할 수 있다. 이 경우, 정보 처리 시스템은 거리뷰 영상(812)을 탑뷰 영상(814)으로 변환하기 위해 사용된 변환 행렬의 역행렬을 이용할 수 있다.According to one embodiment, the information processing system may acquire a plurality of lane ground control lines 850 based on the lane matching result. Specifically, the information processing system uses the fourth set of matching line pixel position information in the top-view image 814 and the fifth set of matching lines in the orthoimage 822 based on the extracted plurality of lane correspondence pairs. Pixel location information can be identified. The information processing system may then convert the fourth set of matching line pixel location information in the top view image into a sixth set of matching line pixel location information 842 in the street view image. In this case, the information processing system may use the inverse matrix of the transformation matrix used to convert the street view image 812 into the top view image 814.

그 후, 정보 처리 시스템은 3차원 모델(820)의 3차원 절대좌표 위치 정보(824)로부터 정사 영상(822) 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보와 연관된 복수의 3차원 절대좌표 위치 정보(844)를 획득할 수 있다. 그리고 나서, 정보 처리 시스템은 거리뷰 영상 내에서의 제6 세트의 매칭 라인 픽셀 위치 정보(842) 및 복수의 3차원 절대좌표 위치 정보(844)를 연관시켜 제2 복수의 2차원 라인-3차원 라인 대응쌍, 즉 차선 그라운드 컨트롤 라인(850)을 결정할 수 있다.Thereafter, the information processing system generates a plurality of three-dimensional absolute coordinate positions associated with the fifth set of matching line pixel position information within the orthoimage 822 from the three-dimensional absolute coordinate position information 824 of the three-dimensional model 820. Information 844 can be obtained. Then, the information processing system associates the sixth set of matching line pixel position information 842 within the street view image and the plurality of three-dimensional absolute coordinate position information 844 to form a second plurality of two-dimensional line-to-three-dimensional coordinates. A line correspondence pair, that is, a suboptimal ground control line 850, can be determined.

도 8에서는 하나의 거리뷰 영상(812)과 그에 연관된 정사 영상(822) 사이에서 차선 매칭(830)을 수행하여 복수의 차선 그라운드 컨트롤 라인(850)을 추출하는 예시가 도시되었으나 이에 한정되지 않는다. 구체적으로, 정보 처리 시스템은 거리뷰 데이터(810)에 포함된 복수의 거리뷰 영상과 복수의 거리뷰 영상 각각과 연관된 정사 영상 사이에서 차선 매칭을 수행함으로써, 특정 지역에 대한 대량의 차선 그라운드 컨트롤 라인을 자동으로 취득할 수 있다.In FIG. 8 , an example of extracting a plurality of lane ground control lines 850 by performing lane matching 830 between one street view image 812 and the orthoimage 822 associated therewith is shown, but the present invention is not limited thereto. Specifically, the information processing system performs lane matching between a plurality of street view images included in the street view data 810 and an orthoimage associated with each of the plurality of street view images, thereby generating a large amount of lane ground control lines for a specific area. can be acquired automatically.

도 9는 본 개시의 일 실시예에 따른 거리뷰 영상 및 정사 영상 사이의 차선 매칭을 수행하는 구체적인 방법의 예시를 나타내는 도면이다. 일 실시예에 따르면, 정보 처리 시스템은 탑뷰 영상에서 추출된 제1 복수의 차선에 대한 제3 세트의 특징 라인 및 정사 영상에서 추출된 제2 복수의 차선에 대한 제4 세트의 특징 라인 사이의 차선 매칭을 수행할 수 있다.FIG. 9 is a diagram showing an example of a specific method of performing lane matching between a street view image and an orthoimage according to an embodiment of the present disclosure. According to one embodiment, the information processing system configures the lane between the third set of feature lines for the first plurality of lanes extracted from the top view image and the fourth set of feature lines for the second plurality of lanes extracted from the orthoimage. Matching can be performed.

구체적으로, 정보 처리 시스템은 제1 복수의 차선에 대한 제3 세트의 특징 라인, 제2 복수의 차선에 대한 제4 세트의 특징 라인 및 제1 복수의 차선과 제2 복수의 차선 사이의 순서 관계를 이용하여 차선 매칭을 수행할 수 있다. 이 때, 정보 처리 시스템은 제3 세트의 특징 라인과 제4 세트의 특징 라인의 복수의 서브 세트 사이의 특징 라인 매칭을 수행할 수 있다. 예를 들어, 도시된 것과 같이, 거리뷰 영상(그리고 탑뷰 영상)에서 4개의 차선(m=4)이 검출되고, 정사 영상에서 6개의 차선(n=6)이 검출될 수 있다. 이 경우, 정보 처리 시스템은 거리뷰 영상(그리고 탑뷰 영상)에서 4개의 차선들의 순서 관계(예, 0차선 옆에 1차선이 위치하고, 1차선 옆에 2차선이 위치하고, 2차선 옆에 3차선이 위치하는 순서 관계) 및 정사 영상에서 6개의 차선의 순서 관계를 이용하여 차선 매칭을 수행할 수 있다.Specifically, the information processing system includes a third set of feature lines for the first plurality of lanes, a fourth set of feature lines for the second plurality of lanes, and an order relationship between the first plurality of lanes and the second plurality of lanes. You can perform lane matching using . At this time, the information processing system may perform feature line matching between a plurality of subsets of the third set of feature lines and the fourth set of feature lines. For example, as shown, four lanes (m=4) may be detected in the street view image (and top view image), and six lanes (n=6) may be detected in the ortho image. In this case, the information processing system determines the order relationship of the four lanes in the street view image (and top view image) (e.g., lane 1 is located next to lane 0, lane 2 is located next to lane 1, and lane 3 is located next to lane 2). Lane matching can be performed using the position order relationship) and the six lane order relationships in the orthoimage.

일 실시예에서, 거리뷰 영상(그리고 탑뷰 영상)에서 한 차선과 정사 영상에서의 한 차선 사이의 특징 매칭은 아래의 수학식 1을 이용하여 수행될 수 있다.In one embodiment, feature matching between one lane in the street view image (and top view image) and one lane in the ortho image can be performed using Equation 1 below.

여기서, 는 거리뷰 영상에서의 번째 차선 상의 임의의 특징 라인을 나타내고, 는 정사 영상에서의 번째 차선 상의 임의의 특징 라인을 나타낼 수 있다.here, is in the street view video. represents an arbitrary feature line on the th lane, In the sexual relationship video Any feature line on the second lane can be displayed.

차선 레벨 디스턴스 매트릭스(900)에서는 차선 사이의 순서 관계가 제약 사항으로 반영되어 있다. 즉, 4차선 도로의 경우, 1차선의 인근에는 2차선이 존재하고, 2차선의 인근에는 1차선 및 3차선이 존재할 수 있다. 또한, 3차선 인근에는 2차선 및 4차선이 존재하고, 4차선 인근에는 3차선이 존재할 수 있다. 이러한 차선 사이의 순서 관계는 거리뷰 영상과 정사 영상 사이의 차선 매칭을 수행하는데 이용될 수 있다.In the lane level distance matrix 900, the order relationship between lanes is reflected as constraints. That is, in the case of a four-lane road, there may be two lanes near the first lane, and there may be one and three lanes near the second lane. Additionally, there may be 2 and 4 lanes near the 3rd lane, and a 3rd lane may exist near the 4th lane. This order relationship between lanes can be used to perform lane matching between street view images and orthoimages.

일 실시예에서, 거리뷰 영상에서 식별된 차선의 수와 정사 영상에서 식별된 차선의 수가 일치하지 않는 경우, 차선 사이의 순서 관계에 대한 제약 사항을 이용하여, 차선의 수가 일치하도록 서브 세트를 식별할 수 있다. 예를 들어, 정사 영상에서 식별된 차선의 수가 6개(j:0, 1, 2, 3, 4, 5)이고, 거리뷰 영상에서 식별된 차선의 수가 4개(i:0, 1, 2, 3)인 경우, 정사 영상에서의 차선의 수가 4개인 복수의 서브 세트를 식별할 수 있다. 도시된 바와 같이 정사 영상에서의 차선에 서브 세트는 각각 4 개의 차선의 수를 나타내도록 제1 서브 세트(j:0, 1, 2, 3), 제2 서브 세트(j:1, 2, 3, 4), 제3 서브 세트(j:2, 3, 4, 5)로 나타낼 수 있다. 이 경우, 각 차선이 4개의 서브 세트로 나뉨에 따라 제4 세트의 특징 라인도 동일하게 4개의 서브 세트로 나뉠 수 있다.In one embodiment, when the number of lanes identified in the street view image and the number of lanes identified in the orthoimage do not match, constraints on the order relationship between lanes are used to identify a subset so that the number of lanes matches. can do. For example, the number of lanes identified in the orthoimagery is 6 (j: 0, 1, 2, 3, 4, 5), and the number of lanes identified in the street view image is 4 (i: 0, 1, 2). , In case 3), a plurality of subsets with 4 lanes in the orthoimage can be identified. As shown, the subsets of the lanes in the orthoimage are a first subset (j: 0, 1, 2, 3) and a second subset (j: 1, 2, 3), each representing the number of lanes. , 4), can be expressed as the third subset (j:2, 3, 4, 5). In this case, as each lane is divided into four subsets, the fourth set of feature lines can also be divided into four subsets.

일 실시예에서, 탑뷰 영상에서 추출된 제1 복수의 차선에 대한 제3 세트의 특징 라인 및 정사 영상에서 추출된 제2 복수의 차선에 대한 제4 세트의 특징 라인 사이의 차선 매칭은 아래의 수학식 2를 이용하여 수행될 수 있다.In one embodiment, the lane matching between the third set of feature lines for the first plurality of lanes extracted from the top view image and the fourth set of feature lines for the second plurality of lanes extracted from the orthoimage is calculated using the equation below: This can be performed using Equation 2.

여기서, 은 차선 인덱스를 나타내고, = 0 내지 n-m+1의 정수이다. 도시된 바와 같이, 는 거리뷰 영상에서의 4개의 차선(i:0, 1, 2, 3)과 정사 영상에서의 제1 서브 세트(j:0, 1, 2, 3)의 대응쌍을 나타내고, 은 거리뷰 영상에서의 4개의 차선과 (j:0, 1, 2, 3)과 정사 영상에서의 제2 서브 세트(j:1, 2, 3, 4) 사이의 대응쌍을 나타내고, 는 거리뷰 영상에서의 4개의 차선과 (i:0, 1, 2, 3)과 정사 영상에서의 제3 서브 세트(j:2, 3, 4, 5) 사이의 대응쌍을 나타낸다. 예를 들어, 의 값이 가장 작은 경우, 차선 매칭 결과로 차선 대응쌍이 결정될 수 있다. 즉, 거리뷰 영상에서의 4개의 차선(i:0, 1, 2, 3)이 정사 영상에서의 4개의 차선(j:0, 1, 2, 3)과 동일한 차선으로 결정될 수 있다. 수학식 2에서의 산술 평균을 이용하여 표현하고 있으나, 이에 한정되지 않으며, 다양한 방법(예: 중위값)으로 표현될 수 있다.here, represents the lane index, = is an integer from 0 to n-m+1. As shown, shows the four lanes in the street view image ( Represents a corresponding pair of i:0, 1, 2, 3) and the first subset (j:0, 1, 2, 3) in the orthoimage, The four lanes in the street view image ( Represents a corresponding pair between j:0, 1, 2, 3) and the second subset (j:1, 2, 3, 4) in the orthoimage, is the four lanes in the street view image ( It represents a corresponding pair between (i:0, 1, 2, 3) and the third subset (j:2, 3, 4, 5) in the orthoimage. for example, When the value of is the smallest, the suboptimal matching result is Next best matching pairs may be determined. That is, the four lanes (i:0, 1, 2, 3) in the street view image may be determined to be the same as the four lanes (j:0, 1, 2, 3) in the orthoimage. Although it is expressed using the arithmetic mean in Equation 2, it is not limited to this and can be expressed in various ways (e.g., median value).

도 10은 본 개시의 일 실시예에 따른 탑뷰 영상 및 정사 영상 사이의 차선 매칭 결과의 예시를 나타내는 도면이다. 일 실시예에 따르면, 정보 처리 시스템은 탑뷰 영상과 정사 영상 사이의 도 8 및 도 9에서 설명한 방식에 따라 복수의 차선 대응쌍을 추출하여 차선 매칭 결과로 저장할 수 있다. 제1 탑뷰 영상(1010)과 제1 정사 영상(1020)은 차선 매칭 결과의 예시를 나타낸다. 예를 들어, 탑뷰 영상에서의 1차선-정사 영상에서의 1차선 차선 대응쌍(초록색), 탑뷰 영상에서의 2차선-정사 영상에서의 2차선 차선 대응쌍(파란색), 그리고 탑뷰 영상에서의 3차선-정사 영상에서의 3차선 대응쌍(보라색)이 차선 매칭 결과로 저장될 수 있다.FIG. 10 is a diagram illustrating an example of a lane matching result between a top-view image and an orthoimage according to an embodiment of the present disclosure. According to one embodiment, the information processing system may extract a plurality of lane correspondence pairs between a top-view image and an orthoimage according to the method described in FIGS. 8 and 9 and store them as a lane matching result. The first top view image 1010 and the first orthoimage 1020 show examples of lane matching results. For example, 1 lane in the top view image - 1 lane lane correspondence pair in the ortho image (green), 2 lanes in the top view image - 2 lane lane correspondence pairs in the ortho image (blue), and 3 in the top view image. The 3-lane corresponding pair (purple) in the lane-orthoimagery can be saved as the lane matching result.

일 실시예에 따르면, 정보 처리 시스템은 차선 매칭 결과에서 각 차선을 구성하는 적어도 하나의 특징 라인 중 가장 긴 특징 라인을 추출하여 차선 그라운드 컨트롤 라인을 생성하는데 사용할 수 있다. 제2 탑뷰 영상(1030)과 제2 정사 영상(1040)은 각 차선에 대해 가장 긴 특징 라인이 추출된 예시를 나타낸다. 예를 들어, 정보 처리 시스템은, 탑뷰 영상의 제1 차선에서 가장 긴 특징 라인의 탑뷰 영상 내에서의 제1 매칭 라인 픽셀 위치 정보와 정사 영상 내에서의 제1 차선의 가장 긴 특징 라인의 제2 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그리고, 정보 처리 시스템은 제2 매칭 라인 픽셀 위치 정보와 연관된 적어도 하나의 3차원 절대 위치 정보를 획득하고, 변환 행렬의 역행렬을 이용하여 제1 매칭 라인 픽셀 위치 정보를 거리뷰 영상 내에서의 제3 매칭 라인 픽셀 위치 정보로 변환할 수 있다. 그 후, 정보 처리 시스템은 제3 매칭 라인 픽셀 위치 정보 및 적어도 하나의 3차원 절대 위치 정보를 연관시켜 2차원 라인-3차원 라인 대응쌍, 즉 차선 그라운드 컨트롤 라인으로 결정/취득할 수 있다. 정보 처리 시스템은 각 차선마다 위의 방법을 반복하여 각 차선마다 차선 그라운드 컨트롤 라인을 취득할 수 있다.According to one embodiment, the information processing system may extract the longest feature line among at least one feature line constituting each lane from the lane matching result and use it to generate a lane ground control line. The second top view image 1030 and the second orthoimage 1040 show examples in which the longest feature line is extracted for each lane. For example, the information processing system may include first matching line pixel position information in the top-view image of the longest feature line in the first lane of the top-view image and the second matching line pixel position information of the longest feature line in the first lane in the orthoimage. Matching line pixel location information can be identified. And, the information processing system obtains at least one 3-dimensional absolute position information associated with the second matching line pixel position information, and uses the inverse matrix of the transformation matrix to convert the first matching line pixel position information into the third position in the street view image. It can be converted to matching line pixel position information. Thereafter, the information processing system may associate the third matching line pixel position information and at least one three-dimensional absolute position information to determine/obtain a two-dimensional line-three-dimensional line corresponding pair, that is, a suboptimal ground control line. The information processing system can repeat the above method for each lane to obtain a lane ground control line for each lane.

도 4 내지 도 7을 참조하여 설명한 그라운드 컨트롤 라인(GCL)을 획득하는 방법 및 도 8 내지 도 10을 참조하여 설명한 차선 그라운드 컨트롤 라인(Lane-GCL)을 획득하는 방법을 이용하여, 그라운드 컨트롤 포인트를 획득하기 어려운 도로 지역에서도 고품질의 3차원 절대좌표 위치 정보를 포함한 2차원 라인-3차원 라인 대응쌍을 획득할 수 있다. 아래의 표 1은 고속도로(highway), 시내도로(cityroad), 골목길(sidestreet), 램프(ramp), 기타(unlist) 지역에서의 수행한 차량 포즈 추정 정확도를 나타낸다.Using the method of acquiring the ground control line (GCL) described with reference to FIGS. 4 to 7 and the method of acquiring the lane ground control line (Lane-GCL) described with reference to FIGS. 8 to 10, the ground control point is obtained. Even in road areas where acquisition is difficult, 2D line-3D line correspondence pairs containing high-quality 3D absolute coordinate location information can be obtained. Table 1 below shows the accuracy of vehicle pose estimation performed on highways, cityroads, sidestreets, ramps, and other areas.

지역region GCLGCL Lane-GCLLane-GCL ALL-GCLALL-GCL highwayhighway 71.3% (186/261)71.3% (186/261) 57.9% (151/261)57.9% (151/261) 78.9% (206/261)78.9% (206/261) cityroadcityroad 83.5% (1935/2318)83.5% (1935/2318) 67.9% (1575/2318)67.9% (1575/2318) 92.6% (2147/2318)92.6% (2147/2318) sidestreetside street 59.8% (168/281)59.8% (168/281) 7.1% (20/281)7.1% (20/281) 63.7% (179/281)63.7% (179/281) rampramp 38.8% (33/85)38.8% (33/85) 12.9% (11/85)12.9% (11/85) 47.1% (40/85)47.1% (40/85) unlistunlist 64.2% (43/67)64.2% (43/67) 25.4% (17/67)25.4% (17/67) 70.1% (47/67)70.1% (47/67)

표 1에 나타난 바와 같이, 그라운드 컨트롤 라인만 사용하는 경우(GCL) 및 차선 그라운드 컨트롤 라인만 사용하는 경우(Lane-GCL)보다 그라운드 컨트롤 라인과 차선 그라운드 컨트롤 라인을 함께 사용하는 경우(All-GCL)에 좋은 결과를 얻을 수 있다. 구체적으로, 고속도로에서는 71.3%에서 78.9%로 향상, 시내도로에서는 83.5%에서 92.6%로 향상, 골목길에서는 59.8%에서 63.7%로 향상, 램프에서는 38.8%에서 47.1%로 향상, 기타 지역에서는 64.2%에서 70.1%로 향상되는 등, 그라운드 컨트롤 라인에 추가하여 차선 그라운드 컨트롤 라인을 함께 사용함으로써 차량 포즈 추정 정확도가 유의미하게 향상되는 것을 확인할 수 있다.As shown in Table 1, when both ground control lines and suboptimal ground control lines are used together (All-GCL), it is better than when only ground control lines are used (GCL) and when only suboptimal ground control lines are used (Lane-GCL). You can get good results. Specifically, on highways it improved from 71.3% to 78.9%, on city roads it improved from 83.5% to 92.6%, on alleys it improved from 59.8% to 63.7%, on ramps it improved from 38.8% to 47.1%, and in other areas it improved from 64.2%. It can be seen that the vehicle pose estimation accuracy is significantly improved by using the lane ground control line in addition to the ground control line, improving to 70.1%.

도 11은 본 개시의 일 실시예에 따른 거리뷰 데이터(1110) 및 3D 모델(1150)을 이용하여 특징 라인 추출 신경망 모델의 학습을 위한 학습 데이터(1190)를 생성하는 예시를 나타내는 도면이다. 여기서, 3D 모델(1150)은 항공 촬영 영상을 기초로 생성된 특정 지역에 대한 모델일 수 있다. 거리뷰 데이터(1110)는 복수의 학습용 탑뷰 영상을 포함하고, 3D 모델은 복수의 학습용 정사 영상을 포함할 수 있다.FIG. 11 is a diagram illustrating an example of generating training data 1190 for training a feature line extraction neural network model using street view data 1110 and a 3D model 1150 according to an embodiment of the present disclosure. Here, the 3D model 1150 may be a model for a specific area created based on aerial images. Street view data 1110 may include a plurality of top view images for learning, and the 3D model may include a plurality of orthoimages for learning.

도시된 바와 같이, 제1 학습 데이터 세트(1192)는 학습용 탑뷰 영상(1120), 왜곡된 탑뷰 영상(1130) 및 학습용 탑뷰 영상(1120)과 왜곡된 탑뷰 영상(1130) 사이의 제1 대응 관계(1140)를 포함할 수 있다. 여기서, 학습용 탑뷰 영상(1120)은 변환 행렬을 이용하여 특정 지역에 대한 거리뷰 영상이 변환된 탑뷰 영상을 나타낼 수 있다. 또한, 왜곡된 탑뷰 영상(1130)은 학습용 탑뷰 영상(1120)을 기초로 생성될 수 있다. 학습용 탑뷰 영상(1120)을 왜곡 변환하여 탑뷰 영상(1130)을 생성하는 방법은 다양한 방식을 이용할 수 있다. 예를 들어, 호모그래피 변환 기법을 이용할 수 있으나, 이에 한정되지 않는다. 학습용 탑뷰 영상(1120)과 왜곡된 탑뷰 영상(1130) 사이의 제1 대응 관계(1140)는 학습용 탑뷰 영상(1120)과 왜곡된 탑뷰 영상(1130) 내의 픽셀들 사이의 위치 대응 관계를 포함할 수 있다. 정보 처리 시스템은 변환 파라미터를 변경하여 하나의 학습용 탑뷰 영상(1120)을 기초로 복수의 서로 다른 왜곡된 탑뷰 영상을 생성함으로써, 다양한 학습 데이터를 생성할 수 있다. 또한, 정보 처리 시스템은 거리뷰 영상(1110)에 포함된 복수의 학습용 탑뷰 영상에 대한 이러한 절차를 반복함으로써 제1 학습 데이터 세트(1192)를 생성할 수 있다.As shown, the first learning data set 1192 includes a top-view image for training 1120, a distorted top-view image 1130, and a first correspondence relationship between the top-view image 1120 for training and the distorted top-view image 1130 ( 1140). Here, the learning top view image 1120 may represent a top view image obtained by converting a street view image for a specific area using a transformation matrix. Additionally, the distorted top view image 1130 may be generated based on the top view image 1120 for learning. Various methods can be used to generate the top view image 1130 by distorting the learning top view image 1120. For example, a homography transformation technique may be used, but is not limited thereto. The first correspondence relationship 1140 between the top view image 1120 for learning and the distorted top view image 1130 may include a position correspondence relationship between pixels in the top view image 1120 for learning and the distorted top view image 1130. there is. The information processing system can generate a variety of learning data by changing transformation parameters and generating a plurality of different distorted top-view images based on one learning top-view image 1120. Additionally, the information processing system may generate a first learning data set 1192 by repeating this procedure for a plurality of top view images for training included in the street view image 1110.

제2 학습 데이터 세트(1194)는 학습용 정사 영상(1160), 왜곡된 정사 영상(1170) 및 학습용 정사 영상(1160)과 왜곡된 정사 영상(1170) 사이의 제2 대응 관계(1180)를 포함할 수 있다. 여기서, 정보 처리 시스템은 학습용 정사 영상(1160)을 왜곡시켜 왜곡된 정사 영상(1170)을 생성될 수 있다. 학습용 정사 영상(1160)을 왜곡 변환하여 왜곡된 정사 영상(1170)을 생성하는 방법은 다양한 방식을 이용할 수 있다. 예를 들어, 호모그래피 변환 기법을 이용할 수 있으나, 이에 한정되지 않는다. 학습용 정사 영상(1160)과 왜곡된 정사 영상(1170) 사이의 제2 대응 관계(1180)는 학습용 정사 영상(1160)과 왜곡된 정사 영상(1170) 내의 픽셀들 사이의 위치 대응 관계를 포함할 수 있다. 정보 처리 시스템은 변환 파라미터를 변경하여 하나의 학습용 정사 영상(1160)을 기초로 복수의 서로 다른 왜곡된 정사 영상을 생성함으로써, 다양한 학습 데이터를 생성할 수 있다. 또한, 정보 처리 시스템은 3D 모델(1110)에 포함된 복수의 학습용 정사 영상에 대한 이러한 절차를 반복함으로써 제2 학습 데이터 세트(1194)를 생성할 수 있다.The second learning data set 1194 may include an orthoimage for training 1160, a distorted orthoimage 1170, and a second correspondence 1180 between the orthoimage for training 1160 and the distorted orthoimage 1170. You can. Here, the information processing system may distort the learning orthoimage 1160 to generate a distorted orthoimage 1170. Various methods can be used to generate a distorted orthoimage 1170 by distorting the learning orthoimage 1160. For example, a homography transformation technique may be used, but is not limited thereto. The second correspondence 1180 between the orthoimage for learning 1160 and the distorted orthoimage 1170 may include a positional correspondence between pixels in the orthoimage for learning 1160 and the distorted orthoimage 1170. there is. The information processing system can generate a variety of learning data by changing transformation parameters and generating a plurality of different distorted orthoimages based on one learning orthoimage 1160. Additionally, the information processing system may generate a second learning data set 1194 by repeating this procedure for a plurality of orthoimages for training included in the 3D model 1110.

그 후, 정보 처리 시스템은 제1 학습 데이터 세트(1192) 및 제2 학습 데이터 세트(1194)를 이용하여 학습 데이터(1190)를 생성할 수 있다. 일 실시예에서, 제1 학습 데이터 세트(1192)의 수 및 제2 학습 데이터 세트(1194)의 수의 비율은 3:7 내지 7:3일 수 있다. 바람직하게, 제1 학습 데이터 세트(1192)의 수 및 제2 학습 데이터 세트(1194)의 수의 비율은 5:5일 수 있다. 그 후, 정보 처리 시스템은 학습 데이터(1190)를 이용하여 특징 라인 추출 신경망 모델의 학습할 수 있다. 이와 같은 구성을 통해, 거리뷰 영상 기반의 탑뷰 영상과 항공 촬영 영상인 정사 영상 사이의 시각 특징 매칭의 품질을 높일 수 있다.Thereafter, the information processing system may generate learning data 1190 using the first learning data set 1192 and the second learning data set 1194. In one embodiment, the ratio of the number of first training data sets 1192 and the number of second training data sets 1194 may be 3:7 to 7:3. Preferably, the ratio of the number of first learning data sets 1192 and the number of second learning data sets 1194 may be 5:5. Afterwards, the information processing system can learn a feature line extraction neural network model using the learning data 1190. Through this configuration, it is possible to improve the quality of visual feature matching between a top view image based on a street view image and an orthoimage that is an aerial image.

도 12는 본 개시의 일 실시예에 따른 차량의 위치 포즈를 추정한 예시를 나타내는 도면이다. 제1 이미지(1210)는 본 개시에 따른 그라운드 컨트롤 라인을 사용하지 시스템(예를 들어, 그라운드 컨트롤 포인트만 사용하는 시스템)에서 차량의 위치와 포즈를 추정한 예시를 나타낸다. 제1 이미지(1210)에서 파란색 선은 3D 모델에 포함된 차선 위치를 추정된 차량의 위치와 포즈에 맞춰 이미지 상에 표시한 것이다. 도시된 것과 같이, 본 개시에 따른 그라운드 컨트롤 라인을 사용하지 않는 시스템을 이용하는 경우, 고속화 도로, 도심대로 등과 같이 그라운드 컨트롤 포인트가 잘 추출되지 않는 위치에서는 차량의 위치와 포즈가 부정확하게 추정되어 정답 차선 위치(파란색 선)가 이미지 상의 차선과 일치하지 않는 것을 확인할 수 있다.FIG. 12 is a diagram illustrating an example of estimating the position pose of a vehicle according to an embodiment of the present disclosure. The first image 1210 shows an example of estimating the position and pose of a vehicle in a system that does not use a ground control line (eg, a system that uses only a ground control point) according to the present disclosure. In the first image 1210, the blue line indicates the lane position included in the 3D model in accordance with the estimated position and pose of the vehicle. As shown, when using a system that does not use a ground control line according to the present disclosure, the position and pose of the vehicle are estimated inaccurately in locations where ground control points are not well extracted, such as expressways, city streets, etc., and the correct lane is You can see that the location (blue line) does not match the lane in the image.

제2 이미지(1220)는 본 개시에 따른 그라운드 컨트롤 라인을 사용하는 시스템(예를 들어, 그라운드 컨트롤 포인트와 그라운드 컨트롤 라인을 함께 사용하는 시스템)에서 차량의 위치와 포즈를 추정한 예시를 나타낸다. 제2 이미지(1220)에서 파란색 선은 3D 모델에 포함된 차선 위치를 추정된 차량의 위치와 포즈에 맞춰 이미지 상에 표시한 것이다. 도시된 것과 같이, 본 개시에 따른 그라운드 컨트롤 라인을 사용하는 시스템을 이용하는 경우, 고속화 도로, 도심대로 등과 같이 그라운드 컨트롤 포인트가 잘 추출되지 않는 위치에서도 차량의 위치와 포즈가 정확하게 추정되어 정답 차선 위치(파란색 선)가 이미지 상의 차선과 일치하는 것을 확인할 수 있다.The second image 1220 shows an example of estimating the position and pose of a vehicle in a system using a ground control line (eg, a system using a ground control point and a ground control line together) according to the present disclosure. In the second image 1220, the blue line indicates the lane position included in the 3D model in accordance with the estimated position and pose of the vehicle. As shown, when using a system using a ground control line according to the present disclosure, the position and pose of the vehicle are accurately estimated even in locations where ground control points are not easily extracted, such as expressways, city streets, etc., and the correct lane position ( You can see that the blue line) matches the lane on the image.

도 13은 본 개시의 일 실시예에 따른 그라운드 컨트롤 라인 자동 취득 방법(1300)의 예시를 나타내는 흐름도이다. 방법(1300)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서)가 지상에서 촬영된 거리뷰 영상을 수신함으로써 개시될 수 있다(S1310). 그리고, 프로세서는 거리뷰 영상과 연관된 항공 촬영 영상을 수신할 수 있다(S1320). 여기서, 항공 촬영 영상은 정사 영상일 수 있다.FIG. 13 is a flowchart illustrating an example of a method 1300 for automatically acquiring a ground control line according to an embodiment of the present disclosure. The method 1300 may be initiated by a processor (eg, at least one processor of an information processing system) receiving a street view image captured from the ground (S1310). Additionally, the processor may receive an aerial shot image associated with the street view image (S1320). Here, the aerial video may be an orthophoto video.

프로세서는 거리뷰 영상을 기초로 제1 세트의 특징 라인을 추출할 수 있다(S1330). 예를 들어, 프로세서는 변환 행렬을 이용하여 거리뷰 영상을 탑뷰(top view) 영상으로 변환하고, 탑뷰 영상으로부터 제1 세트의 특징 라인을 추출할 수 있다. 구체적으로, 프로세서는 거리뷰 영상에서 복수의 선분을 검출할 수 있다. 예를 들어, 프로세서는 시맨틱 세그멘테이션(semantic segmentation)을 수행하여, 거리뷰 영상 내의 지면 영역을 결정하고, 거리뷰 영상의 지면 영역에서 복수의 선분을 검출할 수 있다. 그 후, 프로세서는 변환 행렬을 이용하여 복수의 선분의 거리뷰 영상 내에서의 위치 정보를 탑뷰 영상에서의 위치 정보로 변환할 수 있다. 그리고, 프로세서는 복수의 선분의 탑뷰 영상에서의 위치 정보를 이용하여 탑뷰 영상으로부터 제1 세트의 특징 라인을 추출할 수 있다.The processor may extract a first set of feature lines based on the street view image (S1330). For example, the processor can convert a street view image into a top view image using a transformation matrix and extract a first set of feature lines from the top view image. Specifically, the processor can detect a plurality of line segments in a street view image. For example, the processor may perform semantic segmentation to determine a ground area in the street view image and detect a plurality of line segments in the ground area of the street view image. Afterwards, the processor can convert the position information in the street view image of a plurality of line segments into position information in the top view image using a transformation matrix. Additionally, the processor may extract a first set of feature lines from the top view image using location information of a plurality of line segments in the top view image.

일 실시예에서, 프로세서는 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출할 수 있다(S1340). 예를 들어, 프로세서는 항공 촬영 영상 내의 지면 영역을 결정하고, 항공 촬영 영상의 지면 영역으로부터 제2 세트의 특징 라인을 추출할 수 있다. 여기서, 항공 촬영 영상 내의 지면 영역은 항공 촬영 영상과 연관된 수치 표고 모델(Digital Elevation Model; DEM) 또는 빌딩에 대한 3차원 메쉬 모델을 이용하여 결정될 수 있다.In one embodiment, the processor may extract a second set of feature lines based on the aerial image (S1340). For example, the processor may determine a ground area within the aerial image and extract a second set of feature lines from the ground area of the aerial image. Here, the ground area within the aerial image may be determined using a digital elevation model (DEM) associated with the aerial image or a 3D mesh model for the building.

일 실시예에서, 프로세서는 제1 세트의 특징 라인 및 제2 세트의 특징 라인 사이의 특징 라인 매칭(feature line matching)을 수행할 수 있다(S1350). 구체적으로, 프로세서는 탑뷰 영상과 항공 촬영 영상 사이의 복수의 라인 대응쌍을 추출하여 특징 라인 매칭 결과로 저장할 수 있다.In one embodiment, the processor may perform feature line matching between the first set of feature lines and the second set of feature lines (S1350). Specifically, the processor may extract a plurality of line correspondence pairs between the top view image and the aerial image and store them as a feature line matching result.

그 후, 프로세서는 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득할 수 있다(S1360). 여기서, 각 그라운드 컨트롤 라인은 거리뷰 영상의 지면에서의 한 라인과 항공 촬영 영상의 지면에서의 한 라인의 대응쌍을 나타내고, 각 그라운드 컨트롤 라인은 적어도 하나의 3차원 절대좌표 위치 정보를 가질 수 있다. 구체적으로, 프로세서는 추출된 복수의 라인 대응쌍에 기초하여, 탑뷰 영상 내에서의 제1 세트의 매칭 라인 픽셀 위치 정보와 항공 촬영 영상 내에서의 제2 세트의 매칭 라인 픽셀 위치 정보를 식별할 수 있다. 그리고, 프로세서는 항공 촬영 영상 내에서의 제2 세트의 매칭 라인 픽셀 위치 정보와 연관된 제1 복수의 3차원 절대좌표 위치 정보를 획득할 수 있다. 그 후, 프로세서는 변환 행렬의 역행렬을 이용하여, 탑뷰 영상 내에서의 제1 세트의 매칭 라인 픽셀 위치 정보를 거리뷰 영상 내에서의 제3 세트의 매칭 라인 픽셀 위치 정보로 변환할 수 있다. 프로세서는 제3 세트의 매칭 라인 픽셀 위치 정보 및 제1 복수의 3차원 절대좌표 위치 정보를 연관시켜 제1 복수의 2차원 라인-3차원 라인 대응쌍을 결정할 수 있다.Afterwards, the processor may acquire a plurality of ground control lines based on the feature line matching result (S1360). Here, each ground control line represents a corresponding pair of one line on the ground of the street view image and one line on the ground of the aerial image, and each ground control line may have at least one 3D absolute coordinate position information. . Specifically, the processor may identify a first set of matching line pixel position information in the top view image and a second set of matching line pixel position information in the aerial photography image, based on the extracted plurality of line correspondence pairs. there is. Additionally, the processor may obtain a first plurality of three-dimensional absolute coordinate position information associated with the second set of matching line pixel position information in the aerial image. The processor may then use the inverse of the transformation matrix to convert the first set of matching line pixel location information in the top view image into a third set of matching line pixel location information in the street view image. The processor may determine the first plurality of two-dimensional line-three-dimensional line correspondence pairs by associating the third set of matching line pixel position information and the first plurality of three-dimensional absolute coordinate position information.

일 실시예에서, 프로세서는 복수의 그라운드 컨트롤 라인은 취득하는 것에 더하여 복수의 차선 그라운드 컨트롤 라인을 취득할 수 있다. 구체적으로, 프로세서는 제1 세트의 특징 라인 중 차선과 연관된 제3 세트의 특징 라인을 식별할 수 있다. 예를 들어, 프로세서는 차선 검출 알고리즘을 이용하여 거리뷰 영상에서 제1 복수의 차선을 검출하고, 변환 행렬을 이용하여 제1 복수의 차선의 거리뷰 영상 내에서의 위치 정보를 탑뷰 영상에서의 위치 정보로 변환하고, 제1 복수의 차선의 탑뷰 영상에서의 위치 정보를 이용하여 제1 세트의 특징 라인 중 제3 세트의 특징 라인을 식별할 수 있다. 그 후, 프로세서는 제2 세트의 특징 라인 중 차선과 연관된 제4 세트의 특징 라인을 식별할 수 있다. 예를 들어, 프로세서는 항공 촬영 영상에서 제2 복수의 차선을 검출하고, 검출된 제2 복수의 차선을 이용하여 제2 세트의 특징 라인 중 제4 세트의 특징 라인을 식별할 수 있다.In one embodiment, the processor may acquire a plurality of suboptimal ground control lines in addition to acquiring a plurality of ground control lines. Specifically, the processor may identify a third set of feature lines among the first set of feature lines that are associated with the lane. For example, the processor detects the first plurality of lanes in the street view image using a lane detection algorithm, and uses a transformation matrix to convert the position information of the first plurality of lanes in the street view image to the positions in the top view image. Information can be converted into information, and the third set of feature lines among the first set of feature lines can be identified using the position information in the top view images of the first plurality of lanes. The processor may then identify a fourth set of feature lines among the second set of feature lines that are associated with the lane. For example, the processor may detect a second plurality of lanes in an aerial image, and identify a fourth set of feature lines among the second set of feature lines using the detected second plurality of lanes.

일 실시예에서, 프로세서는 제3 세트의 특징 라인 및 제4 세트의 특징 라인을 이용하여 차선 매칭을 수행할 수 있다. 예를 들어, 차선 매칭은 제1 복수의 차선과 제2 복수의 차선 사이의 순서 관계를 더 이용하여 수행될 수 있다. 구체적으로, 프로세서는 제4 세트의 특징 라인의 복수의 서브 세트를 식별하고, 제3 세트의 특징 라인과 복수의 서브 세트 사이의 특징 라인 매칭을 수행할 수 있다. 그 결과, 프로세서는 탑뷰 영상과 항공 촬영 영상 사이의 복수의 차선 대응쌍을 추출하여 차선 매칭 결과로 저장할 수 있다.In one embodiment, the processor may perform suboptimal matching using a third set of feature lines and a fourth set of feature lines. For example, lane matching may be performed further using an order relationship between the first plurality of lanes and the second plurality of lanes. Specifically, the processor may identify a plurality of subsets of the fourth set of feature lines and perform feature line matching between the third set of feature lines and the plurality of subsets. As a result, the processor can extract a plurality of lane correspondence pairs between the top view image and the aerial image and store them as a lane matching result.

일 실시예에서, 프로세서는 차선 매칭 결과를 기초로 복수의 차선 그라운드 컨트롤 라인(Lane Ground Control Line)을 취득할 수 있다. 구체적으로, 프로세서는 추출된 복수의 차선 대응쌍에 기초하여, 탑뷰 영상 내에서의 제4 세트의 매칭 라인 픽셀 위치 정보와 항공 촬영 영상 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보를 식별하고, 항공 촬영 영상 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보와 연관된 제2 복수의 3차원 절대좌표 위치 정보를 획득하고, 변환 행렬의 역행렬을 이용하여, 탑뷰 영상 내에서의 제4 세트의 매칭 라인 픽셀 위치 정보를 거리뷰 영상 내에서의 제6 세트의 매칭 라인 픽셀 위치 정보로 변환하고, 제6 세트의 매칭 라인 픽셀 위치 정보 및 제2 복수의 3차원 절대좌표 위치 정보를 연관시켜 제2 복수의 2차원 라인-3차원 라인 대응쌍을 결정할 수 있다.In one embodiment, the processor may acquire a plurality of lane ground control lines based on the lane matching result. Specifically, the processor identifies a fourth set of matching line pixel position information in the top view image and a fifth set of matching line pixel position information in the aerial shot image, based on the extracted plurality of lane correspondence pairs, Obtain a second plurality of three-dimensional absolute coordinate position information associated with a fifth set of matching line pixel position information in the aerial photography image, and use the inverse matrix of the transformation matrix to obtain a fourth set of matching lines in the top view image. Convert the pixel position information into a sixth set of matching line pixel position information in the street view image, and associate the sixth set of matching line pixel position information with the second plurality of three-dimensional absolute coordinate position information to create a second plurality of positions. A 2D line-3D line correspondence pair can be determined.

일 실시예에서, 제1 세트의 특징 라인과 제2 세트의 특징 라인은 동일한 특징 라인 추출기(feature line extractor)를 이용하여 추출될 수 있다. 여기서, 특징 라인 추출기는 제1 학습 데이터 세트 및 제2 학습 데이터 세트를 이용하여 학습된 인공 신경망 모델이고, 제1 학습 데이터 세트는 복수의 학습용 탑뷰 영상을 이용하여 생성되고, 제2 학습 데이터 세트는 복수의 학습용 정사 영상을 이용하여 생성될 수 있다. 구체적으로, 제1 학습 데이터 세트는 복수의 학습용 탑뷰 영상, 복수의 학습용 탑뷰 영상을 왜곡시킨 복수의 왜곡된 탑뷰 영상 및 복수의 학습용 탑뷰 영상과 복수의 왜곡된 탑뷰 영상 사이의 위치 대응 관계를 포함할 수 있다. 유사하게, 제2 학습 데이터 세트는 복수의 학습용 정사 영상, 복수의 학습용 정사 영상을 왜곡시킨 복수의 왜곡된 정사 영상 및 복수의 학습용 정사 영상과 복수의 왜곡된 정사 영상 사이의 위치 대응 관계를 포함할 수 있다. 일 실시예에서, 제1 학습 데이터 세트의 수 대 제2 학습 데이터 세트의 수의 비율은 3:7 내지 7:3일 수 있다.In one embodiment, the first set of feature lines and the second set of feature lines may be extracted using the same feature line extractor. Here, the feature line extractor is an artificial neural network model learned using a first learning data set and a second learning data set, the first learning data set is generated using a plurality of top-view images for training, and the second learning data set is It can be generated using a plurality of orthoimages for learning. Specifically, the first learning data set may include a plurality of top-view images for learning, a plurality of distorted top-view images obtained by distorting the plurality of top-view images for learning, and a positional correspondence relationship between the plurality of top-view images for learning and the plurality of distorted top-view images. You can. Similarly, the second training data set may include a plurality of training orthoimages, a plurality of distorted orthoimages obtained by distorting the training orthoimages, and positional correspondence relationships between the training orthoimages and the plurality of distorted orthoimages. You can. In one embodiment, the ratio of the number of first training data sets to the number of second training data sets may be 3:7 to 7:3.

상술한 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The above-described method may be provided as a computer program stored in a computer-readable recording medium for execution on a computer. The medium may continuously store a computer-executable program, or may temporarily store it for execution or download. In addition, the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.The methods, operations, or techniques of this disclosure may be implemented by various means. For example, these techniques may be implemented in hardware, firmware, software, or a combination thereof. Those skilled in the art will understand that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented in electronic hardware, computer software, or combinations of both. To clearly illustrate this interchange of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the specific application and design requirements imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementations should not be interpreted as causing a departure from the scope of the present disclosure.

하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.In a hardware implementation, the processing units used to perform the techniques may include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs). ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic units designed to perform the functions described in this disclosure. , a computer, or a combination thereof.

따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.Accordingly, the various example logical blocks, modules, and circuits described in connection with this disclosure may be general-purpose processors, DSPs, ASICs, FPGAs or other programmable logic devices, discrete gate or transistor logic, discrete hardware components, or It may be implemented or performed as any combination of those designed to perform the functions described in. A general-purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. A processor may also be implemented as a combination of computing devices, such as a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other configuration.

펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.For firmware and/or software implementations, techniques include random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), and PROM ( on computer-readable media such as programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage devices, etc. It may also be implemented as stored instructions. Instructions may be executable by one or more processors and may cause the processor(s) to perform certain aspects of the functionality described in this disclosure.

이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.Although the above-described embodiments have been described as utilizing aspects of the presently disclosed subject matter in one or more standalone computer systems, the disclosure is not limited thereto and may also be implemented in conjunction with any computing environment, such as a network or distributed computing environment. . Furthermore, aspects of the subject matter of this disclosure may be implemented in multiple processing chips or devices, and storage may be similarly effected across the multiple devices. These devices may include PCs, network servers, and portable devices.

본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.Although the present disclosure has been described in relation to some embodiments in this specification, various modifications and changes may be made without departing from the scope of the present disclosure as can be understood by those skilled in the art to which the invention pertains. Additionally, such modifications and changes should be considered to fall within the scope of the claims appended hereto.

110: 3차원 모델
112: 3차원 빌딩 모델 114: 수치 표고 모델 116: 정사 영상
120: 거리뷰 데이터
130: 맵매칭 132: 맵매칭 포인트/라인
150: 특징 매칭 152: 특징점 대응 세트
160: 위치 정보 및 방향 정보 추정
162: 절대좌표 위치 정보 및 방향 정보
110: 3D model
112: 3D building model 114: Digital elevation model 116: Orthoimagery
120: Street view data
130: Map matching 132: Map matching point/line
150: Feature matching 152: Feature point correspondence set
160: Estimation of location information and direction information
162: Absolute coordinate position information and direction information

Claims (20)

적어도 하나의 프로세서에 의해 수행되는, 그라운드 컨트롤 라인(Ground Control Line) 자동 취득 방법에 있어서,
지상에서 촬영된 거리뷰 영상을 수신하는 단계;
상기 거리뷰 영상과 연관된 항공 촬영 영상을 수신하는 단계;
상기 거리뷰 영상을 기초로 제1 세트의 특징 라인(feature line)을 추출하는 단계;
상기 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출하는 단계;
상기 제1 세트의 특징 라인 및 상기 제2 세트의 특징 라인 사이의 특징 라인 매칭(feature line matching)을 수행하는 단계; 및
상기 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
In a method of automatically acquiring a ground control line, performed by at least one processor,
Receiving a street view image captured from the ground;
Receiving an aerial image associated with the street view image;
extracting a first set of feature lines based on the street view image;
extracting a second set of feature lines based on the aerial image;
performing feature line matching between the first set of feature lines and the second set of feature lines; and
Acquiring a plurality of ground control lines based on the feature line matching results
A method for automatically acquiring ground control lines, including:
제1항에 있어서,
상기 제1 세트의 특징 라인을 추출하는 단계는,
변환 행렬을 이용하여 상기 거리뷰 영상을 탑뷰(top view) 영상으로 변환하는 단계; 및
상기 탑뷰 영상으로부터 상기 제1 세트의 특징 라인을 추출하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 1,
The step of extracting the first set of feature lines includes:
Converting the street view image into a top view image using a transformation matrix; and
Extracting the first set of feature lines from the top-view image
A method for automatically acquiring ground control lines, including:
제2항에 있어서,
상기 제1 세트의 특징 라인을 추출하는 단계는,
상기 거리뷰 영상에서 복수의 선분을 검출하는 단계; 및
상기 변환 행렬을 이용하여 상기 복수의 선분의 상기 거리뷰 영상 내에서의 위치 정보를 상기 탑뷰 영상에서의 위치 정보로 변환하는 단계
를 포함하고,
상기 탑뷰 영상으로부터 상기 제1 세트의 특징 라인을 추출하는 단계는,
상기 복수의 선분의 상기 탑뷰 영상에서의 위치 정보를 이용하여 상기 탑뷰 영상으로부터 상기 제1 세트의 특징 라인을 추출하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 2,
The step of extracting the first set of feature lines includes:
detecting a plurality of line segments in the street view image; and
Converting position information of the plurality of line segments in the street view image into position information in the top view image using the transformation matrix.
Including,
The step of extracting the first set of feature lines from the top-view image includes:
Extracting the first set of feature lines from the top view image using location information of the plurality of line segments in the top view image.
A method for automatically acquiring ground control lines, including:
제3항에 있어서,
상기 복수의 선분을 검출하는 단계는,
시맨틱 세그멘테이션(semantic segmentation)을 수행하여, 상기 거리뷰 영상 내의 지면 영역을 결정하는 단계;
상기 거리뷰 영상의 지면 영역에서 상기 복수의 선분을 검출하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 3,
The step of detecting the plurality of line segments is,
Performing semantic segmentation to determine a ground area in the street view image;
Detecting the plurality of line segments in the ground area of the street view image
A method for automatically acquiring ground control lines, including:
제1항에 있어서,
상기 제2 세트의 특징 라인을 추출하는 단계는,
상기 항공 촬영 영상 내의 지면 영역을 결정하는 단계; 및
상기 항공 촬영 영상의 지면 영역으로부터 상기 제2 세트의 특징 라인을 추출하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 1,
The step of extracting the second set of feature lines includes:
determining a ground area within the aerial image; and
Extracting the second set of feature lines from the ground area of the aerial image
A method for automatically acquiring ground control lines, including:
제5항에 있어서,
상기 항공 촬영 영상 내의 지면 영역은 상기 항공 촬영 영상과 연관된 수치 표고 모델(Digital Elevation Model; DEM) 또는 빌딩에 대한 3차원 메쉬 모델을 이용하여 결정되는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 5,
A ground control line automatic acquisition method in which the ground area in the aerial image is determined using a digital elevation model (DEM) associated with the aerial image or a 3D mesh model for the building.
제1항에 있어서,
각 그라운드 컨트롤 라인은 상기 거리뷰 영상의 지면에서의 한 라인과 상기 항공 촬영 영상의 지면에서의 한 라인의 대응쌍을 나타내고,
각 그라운드 컨트롤 라인은 적어도 하나의 3차원 절대좌표 위치 정보를 가지는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 1,
Each ground control line represents a corresponding pair of one line on the ground of the street view image and one line on the ground of the aerial image,
A method of automatically acquiring ground control lines, in which each ground control line has at least one 3D absolute coordinate position information.
제2항에 있어서,
상기 특징 라인 매칭을 수행하는 단계는,
상기 탑뷰 영상과 상기 항공 촬영 영상 사이의 복수의 라인 대응쌍을 추출하여 특징 라인 매칭 결과로 저장하는 단계
를 포함하고,
상기 복수의 그라운드 컨트롤 라인을 취득하는 단계는,
상기 추출된 복수의 라인 대응쌍에 기초하여, 상기 탑뷰 영상 내에서의 제1 세트의 매칭 라인 픽셀 위치 정보와 상기 항공 촬영 영상 내에서의 제2 세트의 매칭 라인 픽셀 위치 정보를 식별하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 2,
The step of performing the feature line matching is,
Extracting a plurality of line correspondence pairs between the top view image and the aerial shot image and storing them as feature line matching results.
Including,
The step of acquiring the plurality of ground control lines includes:
Identifying a first set of matching line pixel position information in the top-view image and a second set of matching line pixel position information in the aerial image, based on the extracted plurality of line correspondence pairs.
A method for automatically acquiring ground control lines, including:
제8항에 있어서,
상기 복수의 그라운드 컨트롤 라인을 취득하는 단계는,
상기 항공 촬영 영상 내에서의 제2 세트의 매칭 라인 픽셀 위치 정보와 연관된 제1 복수의 3차원 절대좌표 위치 정보를 획득하는 단계;
상기 변환 행렬의 역행렬을 이용하여, 상기 탑뷰 영상 내에서의 상기 제1 세트의 매칭 라인 픽셀 위치 정보를 상기 거리뷰 영상 내에서의 제3 세트의 매칭 라인 픽셀 위치 정보로 변환하는 단계; 및
상기 제3 세트의 매칭 라인 픽셀 위치 정보 및 상기 제1 복수의 3차원 절대좌표 위치 정보를 연관시켜 제1 복수의 2차원 라인-3차원 라인 대응쌍을 결정하는 단계
를 더 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 8,
The step of acquiring the plurality of ground control lines includes:
acquiring a first plurality of three-dimensional absolute coordinate position information associated with a second set of matching line pixel position information in the aerial image;
converting the first set of matching line pixel position information in the top view image into a third set of matching line pixel position information in the street view image using an inverse matrix of the transformation matrix; and
determining a first plurality of two-dimensional line-three-dimensional line correspondence pairs by associating the third set of matching line pixel position information with the first plurality of three-dimensional absolute coordinate position information.
A method for automatically acquiring a ground control line, further comprising:
제2항에 있어서,
상기 제1 세트의 특징 라인 중 차선과 연관된 제3 세트의 특징 라인을 식별하는 단계;
상기 제2 세트의 특징 라인 중 차선과 연관된 제4 세트의 특징 라인을 식별하는 단계;
제3 세트의 특징 라인 및 제4 세트의 특징 라인을 이용하여 차선 매칭을 수행하는 단계; 및
상기 차선 매칭 결과를 기초로 복수의 차선 그라운드 컨트롤 라인(Lane Ground Control Line)을 취득하는 단계
를 더 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 2,
identifying a third set of feature lines associated with a lane among the first set of feature lines;
identifying a fourth set of feature lines associated with a lane among the second set of feature lines;
performing suboptimal matching using a third set of feature lines and a fourth set of feature lines; and
Obtaining a plurality of lane ground control lines based on the lane matching results
A method for automatically acquiring a ground control line, further comprising:
제10항에 있어서,
상기 제3 세트의 특징 라인을 식별하는 단계는,
차선 검출 알고리즘을 이용하여 상기 거리뷰 영상에서 제1 복수의 차선을 검출하는 단계;
상기 변환 행렬을 이용하여 상기 제1 복수의 차선의 상기 거리뷰 영상 내에서의 위치 정보를 상기 탑뷰 영상에서의 위치 정보로 변환하는 단계; 및
상기 제1 복수의 차선의 상기 탑뷰 영상에서의 위치 정보를 이용하여 상기 제1 세트의 특징 라인 중 상기 제3 세트의 특징 라인을 식별하는 단계
를 포함하고,
상기 제4 세트의 특징 라인을 식별하는 단계는,
상기 항공 촬영 영상에서 제2 복수의 차선을 검출하는 단계; 및
상기 검출된 제2 복수의 차선을 이용하여 상기 제2 세트의 특징 라인 중 상기 제4 세트의 특징 라인을 식별하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 10,
Identifying the third set of feature lines includes:
detecting a first plurality of lanes in the street view image using a lane detection algorithm;
converting position information in the street view image of the first plurality of lanes into position information in the top view image using the transformation matrix; and
Identifying the third set of feature lines among the first set of feature lines using location information in the top view image of the first plurality of lanes.
Including,
Identifying the fourth set of feature lines includes:
detecting a second plurality of lanes from the aerial image; and
Identifying the fourth set of feature lines among the second set of feature lines using the detected second plurality of lanes.
A method for automatically acquiring ground control lines, including:
제11항에 있어서,
상기 차선 매칭은 상기 제1 복수의 차선과 상기 제2 복수의 차선 사이의 순서 관계를 더 이용하여 수행되는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 11,
The lane matching is performed further using an order relationship between the first plurality of lanes and the second plurality of lanes.
제10항에 있어서,
상기 차선 매칭을 수행하는 단계는,
상기 제4 세트의 특징 라인의 복수의 서브 세트를 식별하는 단계; 및
상기 제3 세트의 특징 라인과 상기 복수의 서브 세트 사이의 특징 라인 매칭을 수행하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 10,
The step of performing the lane matching is,
identifying a plurality of subsets of the fourth set of feature lines; and
performing feature line matching between the third set of feature lines and the plurality of subsets.
A method for automatically acquiring ground control lines, including:
제10항에 있어서,
상기 차선 매칭을 수행하는 단계는,
상기 탑뷰 영상과 상기 항공 촬영 영상 사이의 복수의 차선 대응쌍을 추출하여 차선 매칭 결과로 저장하는 단계
를 포함하고,
상기 복수의 차선 그라운드 컨트롤 라인을 취득하는 단계는,
상기 추출된 복수의 차선 대응쌍에 기초하여, 상기 탑뷰 영상 내에서의 제4 세트의 매칭 라인 픽셀 위치 정보와 상기 항공 촬영 영상 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보를 식별하는 단계
를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 10,
The step of performing the lane matching is,
Extracting a plurality of lane correspondence pairs between the top view image and the aerial shot image and storing them as lane matching results.
Including,
The step of acquiring the plurality of lane ground control lines includes:
Identifying a fourth set of matching line pixel position information in the top-view image and a fifth set of matching line pixel position information in the aerial image, based on the extracted plurality of lane correspondence pairs.
A method for automatically acquiring ground control lines, including:
제14항에 있어서,
상기 복수의 차선 그라운드 컨트롤 라인을 취득하는 단계는,
상기 항공 촬영 영상 내에서의 제5 세트의 매칭 라인 픽셀 위치 정보와 연관된 제2 복수의 3차원 절대좌표 위치 정보를 획득하는 단계;
상기 변환 행렬의 역행렬을 이용하여, 상기 탑뷰 영상 내에서의 상기 제4 세트의 매칭 라인 픽셀 위치 정보를 상기 거리뷰 영상 내에서의 제6 세트의 매칭 라인 픽셀 위치 정보로 변환하는 단계; 및
상기 제6 세트의 매칭 라인 픽셀 위치 정보 및 상기 제2 복수의 3차원 절대좌표 위치 정보를 연관시켜 제2 복수의 2차원 라인-3차원 라인 대응쌍을 결정하는 단계
를 더 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 14,
The step of acquiring the plurality of lane ground control lines includes:
acquiring a second plurality of three-dimensional absolute coordinate position information associated with a fifth set of matching line pixel position information in the aerial image;
converting the fourth set of matching line pixel position information in the top view image into a sixth set of matching line pixel position information in the street view image using an inverse matrix of the transformation matrix; and
determining a second plurality of two-dimensional line-three-dimensional line correspondence pairs by associating the sixth set of matching line pixel position information with the second plurality of three-dimensional absolute coordinate position information.
A method for automatically acquiring a ground control line, further comprising:
제1항에 있어서,
상기 제1 세트의 특징 라인과 상기 제2 세트의 특징 라인은 동일한 특징 라인 추출기(feature line extractor)를 이용하여 추출되고,
상기 특징 라인 추출기는 제1 학습 데이터 세트 및 제2 학습 데이터 세트를 이용하여 학습된 인공 신경망 모델이고,
상기 제1 학습 데이터 세트는 복수의 학습용 탑뷰 영상을 이용하여 생성되고,
상기 제2 학습 데이터 세트는 복수의 학습용 정사 영상을 이용하여 생성되는, 그라운드 컨트롤 라인 자동 취득 방법.
According to paragraph 1,
The first set of feature lines and the second set of feature lines are extracted using the same feature line extractor,
The feature line extractor is an artificial neural network model learned using a first training data set and a second training data set,
The first training data set is generated using a plurality of top-view images for training,
A method of automatically acquiring a ground control line, wherein the second learning data set is generated using a plurality of orthoimages for learning.
제16항에 있어서,
상기 제1 학습 데이터 세트는 복수의 학습용 탑뷰 영상, 상기 복수의 학습용 탑뷰 영상을 왜곡시킨 복수의 왜곡된 탑뷰 영상 및 상기 복수의 학습용 탑뷰 영상과 상기 복수의 왜곡된 탑뷰 영상 사이의 위치 대응 관계를 포함하고,
상기 제2 학습 데이터 세트는 복수의 학습용 정사 영상, 상기 복수의 학습용 정사 영상을 왜곡시킨 복수의 왜곡된 정사 영상 및 상기 복수의 학습용 정사 영상과 상기 복수의 왜곡된 정사 영상 사이의 위치 대응 관계를 포함하는, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 16,
The first learning data set includes a plurality of top-view images for learning, a plurality of distorted top-view images obtained by distorting the plurality of top-view images for learning, and a positional correspondence relationship between the plurality of top-view images for learning and the plurality of distorted top-view images. do,
The second learning data set includes a plurality of orthoimages for learning, a plurality of distorted orthoimages obtained by distorting the plurality of orthoimages for learning, and a positional correspondence relationship between the plurality of orthoimages for learning and the plurality of distorted orthoimages. How to automatically acquire ground control lines.
제16항에 있어서,
상기 제1 학습 데이터 세트의 수 대 상기 제2 학습 데이터 세트의 수의 비율은 3:7 내지 7:3인, 그라운드 컨트롤 라인 자동 취득 방법.
According to clause 16,
A method for automatically acquiring a ground control line, wherein the ratio of the number of the first learning data sets to the number of the second learning data sets is 3:7 to 7:3.
제1항 내지 제18항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium for executing the method according to any one of claims 1 to 18 on a computer. 정보 처리 시스템으로서,
통신 모듈;
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로그램은,
지상에서 촬영된 거리뷰 영상을 수신하고,
상기 거리뷰 영상과 연관된 항공 촬영 영상을 수신하고,
상기 거리뷰 영상을 기초로 제1 세트의 특징 라인을 추출하고,
상기 항공 촬영 영상을 기초로 제2 세트의 특징 라인을 추출하고,
상기 제1 세트의 특징 라인 및 상기 제2 세트의 특징 라인 사이의 특징 라인 매칭을 수행하고,
상기 특징 라인 매칭 결과를 기초로 복수의 그라운드 컨트롤 라인을 취득하기 위한 명령어들을 포함하는, 정보 처리 시스템.
As an information processing system,
communication module;
Memory; and
At least one processor connected to the memory and configured to execute at least one computer-readable program included in the memory
Including,
The at least one program is,
Receive street view images taken from the ground,
Receive an aerial image related to the street view image,
Extract a first set of feature lines based on the street view image,
Extracting a second set of feature lines based on the aerial image,
perform feature line matching between the first set of feature lines and the second set of feature lines;
An information processing system comprising instructions for acquiring a plurality of ground control lines based on the feature line matching result.
KR1020220134166A 2022-10-18 2022-10-18 Method and system for automatically acquiring ground control lines KR20240053979A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220134166A KR20240053979A (en) 2022-10-18 2022-10-18 Method and system for automatically acquiring ground control lines
PCT/KR2023/016104 WO2024085631A1 (en) 2022-10-18 2023-10-18 Method and system for automatically acquiring ground control line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220134166A KR20240053979A (en) 2022-10-18 2022-10-18 Method and system for automatically acquiring ground control lines

Publications (1)

Publication Number Publication Date
KR20240053979A true KR20240053979A (en) 2024-04-25

Family

ID=90738221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220134166A KR20240053979A (en) 2022-10-18 2022-10-18 Method and system for automatically acquiring ground control lines

Country Status (2)

Country Link
KR (1) KR20240053979A (en)
WO (1) WO2024085631A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303103B (en) * 2017-02-07 2020-02-07 腾讯科技(深圳)有限公司 Method and device for determining target lane
KR20220033695A (en) * 2020-09-10 2022-03-17 현대오토에버 주식회사 Apparatus for detecting road based aerial images and method thereof
KR102525281B1 (en) * 2020-11-12 2023-04-25 네이버랩스 주식회사 Method and system for visual localization
KR102248510B1 (en) * 2020-11-12 2021-05-06 주식회사 삼인공간정보 Precise road map system for calculating road layers using mobile mapping system data
KR20220069845A (en) * 2020-11-20 2022-05-27 주식회사 에이치엘클레무브 Method and system for detecting and classifying lanes

Also Published As

Publication number Publication date
WO2024085631A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
Chen et al. City-scale landmark identification on mobile devices
CN108810473B (en) Method and system for realizing GPS mapping camera picture coordinate on mobile platform
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
CN113436338A (en) Three-dimensional reconstruction method and device for fire scene, server and readable storage medium
CN109029488A (en) Navigating electronic map generating method, equipment and storage medium
CN112907746A (en) Method and device for generating electronic map, electronic equipment and storage medium
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
CN114969221A (en) Method for updating map and related equipment
CN110827340B (en) Map updating method, device and storage medium
CN116858215B (en) AR navigation map generation method and device
Brata et al. An Enhancement of Outdoor Location-Based Augmented Reality Anchor Precision through VSLAM and Google Street View
KR20240053979A (en) Method and system for automatically acquiring ground control lines
US9811889B2 (en) Method, apparatus and computer program product for generating unobstructed object views
KR20240071697A (en) Method and system for automatically acquiring building control points
CN111292372B (en) Target object positioning method, target object positioning device, storage medium and electronic equipment
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
KR20240053966A (en) Method and system for automatically acquiring ground control points
KR20240066616A (en) Method and system for generating visual feature map using 3d models and street view images
KR102675282B1 (en) Method and system for estimating absolute pose of road view images using automatically generated control features
KR20240064332A (en) Method and system for automatically acquiring ground feature point matching points between road view images using 3d models
KR20240053391A (en) Method and system for matching street view data with 3d model
KR20240053987A (en) Method and system for learning visual feature extraction neural network
CN112767477A (en) Positioning method, positioning device, storage medium and electronic equipment
KR102700729B1 (en) Method and system for generating 3d street view model using 3d building model and road model
CN117745988B (en) Method and equipment for presenting AR label information