[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20190051253A - 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법 - Google Patents

듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법 Download PDF

Info

Publication number
KR20190051253A
KR20190051253A KR1020170146689A KR20170146689A KR20190051253A KR 20190051253 A KR20190051253 A KR 20190051253A KR 1020170146689 A KR1020170146689 A KR 1020170146689A KR 20170146689 A KR20170146689 A KR 20170146689A KR 20190051253 A KR20190051253 A KR 20190051253A
Authority
KR
South Korea
Prior art keywords
camera
displacement
target
sub
main
Prior art date
Application number
KR1020170146689A
Other languages
English (en)
Other versions
KR102036324B1 (ko
Inventor
이경찬
김성일
심성한
이준화
Original Assignee
한국철도기술연구원
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원, 울산과학기술원 filed Critical 한국철도기술연구원
Priority to KR1020170146689A priority Critical patent/KR102036324B1/ko
Publication of KR20190051253A publication Critical patent/KR20190051253A/ko
Application granted granted Critical
Publication of KR102036324B1 publication Critical patent/KR102036324B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법은 (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, 및 (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계를 포함한다.

Description

듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법{IMAGE DISPLACEMENT MEASUREMENT METHOD FOR CORRECTING THREE DIMENSIONAL POSITION ERROR OF CAMERA USING DUAL CAMERA}
본 발명은 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 관한 것이다.
토목 또는 건축 구조물(이하, 간략히 '구조물'이라 함)은 교통, 지진, 돌풍 등과 같은 다양한 외부 환경 변화에 노출되므로, 합리적이고 정확한 설계 시공도 중요하지만, 구조물의 상태를 최적으로 유지하는 것이 중요하다. 이러한 연유로 구조물의 안전을 진단하는 장치에 대한 관심이 고조되고 있다.
특히, 철도 교량의 크리프 및 건조 수축에 따른 장기 변형은 공중 궤도 건설을 위한 변위 기준을 만족시키기에 문제로 작용되며, 선로 운영 중 지속적인 구조물의 변형으로 인하여 열차의 승차감을 저해할 수 있는 원인이 되고 있다. 이에 따라, 철도 교량 등의 구조물에 대한 변위를 원거리에서 비접촉식으로 측정할 수 있는 방안이 모색되고 있다.
최근 들어, 구조물에 대한 디지털 영상 촬영을 통해 구조물의 장기 변위를 계측하는 방법이 소개되고 있다. 하지만, 이러한 방법은 단기간에 구조물의 동적 변위를 계측하는 데 이용될 뿐이며, 구조물의 장기 변위를 계측하는 데에는 적합하지 못한 단점이 있었다.
다시 말해, 구조물의 장기 변형 계측을 위해 영상 촬영 방식을 적용하려면, 장기 변형의 특성상 장기간에 걸쳐 구조물에 대한 안정적인 영상 촬영이 가능하여야 한다.
하지만, 장시간 동안 구조물의 영상을 촬영해야 하는 카메라의 경우 카메라가 설치된 지반 또는 지지대 등에 미소 변형이 발생됨에 따라 초기 설치 위치 및 자세에 변화가 생길 수 있다.
이 경우, 원거리에 위치한 구조물의 장기 변형을 계측하는데 큰 저해요인으로 작용할 우려가 있었다.
따라서, 구조물의 장기 변형을 원거리에서 정밀하게 계측할 수 있는 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 관한 기술 개발이 요청된다.
본 발명과 관련된 선행기술로는 특허출원 제10-2006-0099620호가 있으며, 상기 선행문헌에는 구조물의 변위 측정 시스템 및 방법에 관한 내용이 개시되어 있다.
본 발명의 목적은 교량의 장기 변위를 계측하기 위한 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다.
본 발명의 다른 목적은 듀얼 카메라를 이용하여 비접촉식으로 교량의 장기 변위를 계측할 수 있는 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다.
본 발명의 또 다른 목적은 간헐적으로 측정된 변위 계측 데이터로 장기 변위 데이터 구성할 수 있는 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 제공하고자 한다.
본 발명의 또 다른 목적은 교량의 장기 변위를 계측하기 위한 영상 변위 계측을 시행할 때 발생할 수 있는 카메라의 위치 변화에 따른 오차를 3차원 공간상에서 정밀하게 보정할 수 있는 알고리즘을 이용한 영상 변위 계측 방법을 제공하고자 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법은 (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, 및 (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계를 포함한다.
여기서, 상기 (a) 단계 이후에, 상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑할 수 있다.
[수학식 1]
Figure pat00001
(여기에서,
Figure pat00002
은 카메라 매트릭스이고,
Figure pat00003
는 카메라 내부 파라미터이고,
Figure pat00004
는 카메라 외부 파라미터임)
또한, 상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해질 수 있다.
[수학식2]
Figure pat00005
또한, 상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해질 수 있다.
[수학식 3]
Figure pat00006
(여기에서,
Figure pat00007
은 WC,i에서 WC,1으로 변환하는 행렬임)
또한, 상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 볼 수 있다.
[수학식 3-1]
Figure pat00008
또한, 상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인
Figure pat00009
는 하기의 수학식 3-2에 근거하여 정해질 수 있다.
[수학식 3-2]
Figure pat00010
또한, 상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출할 수 있다.
또한, 상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해질 수 있다.
[수학식 4]
Figure pat00011
또한, 상기 (a) 단계에서, 상기 메인 카메라를 이용하여 상기 메인 타겟의 변위를 계측하기에 앞서, 상기 서브 카메라를 통해 획득한 상기 서브 타겟의 이미지를 통해 상기 서브 카메라 및 상기 메인 카메라의 변위를 보정하는 한편, 상기 메인 타겟을 정 위치로 보정할 수 있다.
본 발명의 다른 실시예에 따르면, (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계, (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계, (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계, 및 (d) 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계를 포함한다.
본 발명에 의하면 설치된 카메라의 3차원 움직임을 보정할 수 있어 장기간에 걸쳐서 교량에 발생하는 변위를 안정적으로 계측할 수 있는 장점이 있다.
또한, 본 발명에 의하면 바람, 지반 진동에 의해 생기는 카메라 움직임에 의해 유발 가능한 변위 오차를 정밀하게 보정할 수 있는 장점이 있다.
또한, 본 발명에 의하면 간헐적으로 계측된 단기 변위 데이터들을 이어 붙일 수 있으므로 날씨, 교통상황 등에 의해 카메라를 부득이하게 수거하더라도 장기 변위 계측이 가능한 장점이 있다.
또한, 본 발명에 의하면 카메라를 외부 환경에 오랜 시간 노출하지 않으므로 카메라의 성능 저하를 방지할 수 있는 장점이 있다.
또한, 본 발명에 의하면 교량 하부에서 계측해야 하는 기존의 변위 계측 장비와 달리 교량 외곽 지역에서 변위 계측이 가능하므로 교통 차단 등의 사회적 비용을 감소시킬 수 있는 장점이 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 단계 (a)에서 메인 카메라, 서브 카메라, 메인 타겟, 서브 타겟 간의 위치 관계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 따라 보정 전, 후의 변위 데이터를 비교하여 나타낸 그래프들이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 발명의 설명 중 구조물이라 함은, 토목 또는 건축 구조물을 의미할 수 있으며, 구체적인 예로서 철도 교량 등이 이에 해당될 수 있다. 이러한 구조물은 교통, 환경, 날씨 등 다양한 외부 조건에 따라 변형 가능하므로, 정확하게 설계 시공하는 것도 중요하지만, 구조물의 변형 상태를 지속적으로 파악하여 최적의 상태로 유지시켜주는 것도 중요하다. 예컨대, 철도 교량의 경우, 크리프 및 건조 수축에 따른 장기 변형이 발생되면, 공중 궤도 건설을 위한 변위 기준을 만족시키기에 어려움이 따르며, 선로 운영 중 변형이 유발될 경우 열차의 승차감을 저해하는 악영향을 끼친다. 본 발명은 이러한 철도 교량 등의 구조물에 대한 장기간 동안의 변위(이하, 이를 '장기 변위'라 함)를 원거리에서 비접촉식으로 보다 정확하고 간편하게 측정할 수 있도록 제공된 것이다.
도 1은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법의 순서도이다.
도 1을 참조하면, 듀얼 카메라 준비 및 메인 타겟, 서브 타겟 촬영단계(S100), 서브 타겟의 3차원 변위 계측단계(S200), 그리고 메인 타겟의 변위 계측단계(S300)를 포함한다.
듀얼 카메라 준비 및 메인 타겟 , 서브 타겟 촬영단계(S100)
이 단계는 듀얼 카메라 준비 및 메인 타겟, 서브 타겟 촬영단계로서, 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계에 해당한다.
도 2는 메인 카메라, 서브 카메라, 메인 타겟, 서브 타겟 간의 위치 관계를 나타낸 도면이다. 도 2를 참조하면, 이 단계에서 메인 타겟(110)은 장기 변위를 계측하기 위한 대상 구조물(예를 들면 철도 교량 등) 에 설치될 수 있다.
메인 타겟(110)은 플레이트 형상의 부재 위에 설정된 개수의 포인트가 설정된 간격을 두고 다수 배치된 형태로 이루어질 수 있는데, 이에 한정되지 않는다. 구체적인 예로서, 메인 타겟(110)은 센터 부위에 하나의 포인트가 형성되며, 각 모서리마다 하나씩 포인트가 형성된 구조로 이루어질 수 있다.
메인 카메라(210)는 구조물에 설치되는 메인 타겟(110)을 장시간 촬영하는 장비로서, 메인 타겟(110)의 이미지 정보를 획득할 수 있다.
바람직하게는 메인 카메라(210)는 메인 타겟(110)에서 소정의 거리를 두고 위치할 수 있는데, 서브 카메라(220)와 서브 타겟(120) 사이의 거리보다 훨씬 먼 거리를 두고 배치되는 것이 좋다. 그리고 메인 카메라(210)는 메인 타겟(110)과 일직선상으로 마주하여 배치될 수 있다. 이와 같은 구조를 가짐에 따라, 철도 교량 등의 구조물 하부에 설치되어 변위를 계측하는 종래의 기타 계측 장비와 달리 원거리상에서 비접촉식으로 변위 계측이 가능한 장점이 있다. 결과적으로, 교통 차단 등의 사회적 비용을 줄일 수 있는 장점이 있다.
서브 타겟(120)은 메인 카메라(210)를 사이에 두고 메인 타겟(110)의 반대편(예: 반대편 지면 등)에 고정 설치될 수 있다. 따라서, 서브 타겟(120)은 메인 카메라(210)를 이용하여 메인 타겟(110)을 촬영하는 시간 동안 변위, 즉 위치 변화가 있을 수 없으며 초기 설치 위치를 그대로 유지한다.
서브 카메라(220)는 메인 카메라(210)와 서로 다른 방향을 바라보도록 밀착 결합된다. 서브 카메라(220)는 서브 타겟(120)과 일정 거리를 유지하도록 배치되는데, 메인 카메라(210)는 메인 타겟(110) 사이의 거리에 비해 가까운 거리를 두고 배치될 수 있다. 바람직한 예로서, 메인 카메라(210)와 서브 카메라(220)는 서로 측면을 통해 결합되어 서로 다른 방향을 바라보도록 배치될 수 있는데, 서로 반대되는 방향으로 바라보도록 배치할 수도 있으며 이와 달리 서브 카메라(220)는 지면에 설치된 서브 타겟(120)을 바라보도록 소정 각도 기울여 결합될 수도 있다.
서브 타겟의 3차원 변위 계측단계(S200)
이 단계는 서브 타겟의 3차원 변위 계측단계로서, 서브 카메라를 통해 촬영된 서브 타겟의 이미지를 이용하여 서브 타겟의 3차원 변위를 계측하는 단계에 해당한다.
메인 타겟의 변위 계측단계(S300)
이 단계는 메인 타겟의 변위 계측단계로서, 이전 단계에서 계측된 서브 타겟의 3차원 변위로부터 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 메인 타겟의 순수 변위를 계측하는 단계에 해당한다.
이하에서는 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법을 수행하는 알고리즘에 관하여 설명하기로 한다.
메인 카메라(210, 도 2 참조)를 통해 메인 타겟(110, 도 2 참조)을 계측하기 전과, 메인 타겟(110, 도 2 참조)을 계측하는 도중으로 나누어 살펴볼 수 있다.
메인 카메라(210, 도 2 참조)를 이용하여 메인 타겟(110, 도 2 참조)의 변위를 계측하기 전에는, 서브 카메라(220, 도 2 참조)를 통해 획득한 서브 타겟(120, 도 2 참조)의 이미지를 통해 서브 카메라(220, 도 2 참조) 및 메인 카메라(210, 도 2 참조)의 변위 보정(즉, 캘리브레이션)을 수행할 수 있다. 이와 함께 메인 타겟(110)의 위치를 파악할 수 있으며, 이의 위치를 정 위치로 보정할 수도 있다.
메인 카메라(210, 도 2 참조)를 이용하여 메인 타겟(110, 도 2 참조)의 변위를 계측하는 도중에는, 메인 카메라(210, 도 2 참조)로 촬영된 이미지로부터 보정 전의 변위(즉, 구조물의 장기 변위와 카메라의 움직임에 의한 모션 변위의 합)를 계산할 수 있다. 그리고 서브 카메라(220, 도 2 참조)로 촬영된 이미지로부터 메인 카메라(210, 도 2 참조)의 움직임을 파악하고, 메인 카메라(210, 도 2 참조)의 움직임에 따른 모션 변위를 계측할 수 있다. 이에 따라, 메인 카메라(210, 도 2 참조)에서 계측된 변위에서 서브 카메라(220, 도 2 참조)에서 계측된 모션 변위를 제거하는 보정을 거치면 구조물의 장기 변위를 얻을 수 있다.
구체적으로, 이하의 설명에서 IC는 이미지 좌표계(Image coordinate), WC는 월드 좌표계(world coordinate), CC는 카메라 좌표계(camera coordinate), EXT는 카메라 외부 파라미터(extrinsic parameters), K는 카메라 내부 파라미터 (intrinsic parameters), IC1 및 CC1은 메인 카메라의 IC 및 CC, WC,i는 i번째 모션에서의 WC,
Figure pat00012
는 IC1 상의 좌표점을 의미한다.
메인 카메라(210, 도 2 참조)로부터 획득된 메인 타겟(110, 도 2 참조)의 좌표는 하기의 수학식 1에 근거하여 매핑될 수 있다.
[수학식 1]
Figure pat00013
여기에서,
Figure pat00014
은 카메라 매트릭스이고,
Figure pat00015
는 카메라 내부 파라미터이고,
Figure pat00016
는 카메라 외부 파라미터를 말한다.
초기 모션에서 메인 타겟(110, 도 2 참조)의 WC상에서의 좌표를 {X, Y, Z}T라 하면 IC1상의 좌표는 하기의 수학식 2에 근거하여 다음과 같이 표현될 수 있다.
[수학식2]
Figure pat00017
i 번째 모션에서 메인 타겟(110, 도 2 참조)의 IC1상의 좌표는 하기의 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
Figure pat00018
여기에서,
Figure pat00019
은 WC,i에서 WC,1로 변환하는 행렬로서, 서브 카메라(220, 도 2 참조)를 통해 계산될 수 있다.
만일, 메인 타겟(110, 도 2 참조)이 움직이지 않았다면 WC,1과 WC,i 상에서 메인 타겟(110, 도 2 참조)의 좌표
Figure pat00020
는 하기의 [수학식 3-1]과 같이 동일할 수 있다.
[수학식 3-1]
Figure pat00021
상기의 [수학식 1], [수학식 2], [수학식 3], [수학식 3-1]을 통해 하기의 [수학식 3-2]가 유도된다.
[수학식 3-2]
Figure pat00022
상기의 [수학식 3-2]를 정리하면, 하기의 [수학식 3-3]이 유도된다.
[수학식 3-3]
Figure pat00023
상기의 [수학식 3-3]에서 좌변은 메인 카메라(210, 도 2 참조)의 계측결과로 알 수 있고, 우변의
Figure pat00024
와
Figure pat00025
은 보조 카메라의 계측결과로 알 수 있다. 여기서,
Figure pat00026
는 계측 전 다양한 모션에서 찍힌 메인 카메라(210, 도 2 참조)와 서브 카메라(220, 도 2 참조)의 이미지로부터 구할 수 있다. 또한, 계측 중에는(예를 들어, k번째 모션이라고 할 경우) [수학식 3-3]에서
Figure pat00027
와
Figure pat00028
를 서브 카메라(220, 도 2 참조)를 통해 구하면, [수학식 3-3]의 우변 값을 구할 수 있다. 이렇게 계산된 우변 값을 통해 좌변의
Figure pat00029
를 예측할 수 있다.
또한, 상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출할 수 있다.
서브 카메라(220, 도 2 참조)를 통해 예측된
Figure pat00030
, 즉
Figure pat00031
는 카메라 움직임에 의해 발생되는 모션 변위이다. 따라서, 메인 카메라(210, 도 2 참조)를 통해 계측된
Figure pat00032
에서 서브 카메라(220, 도 2 참조)를 통해 예측된
Figure pat00033
를 빼면 순수한 메인 타겟(110, 도 2 참조)의 변위가 되며, 이는 하기의 [수학식 4]와 같이 표현된다.
[수학식 4]
Figure pat00034
여기서,
Figure pat00035
는 서브 타겟(120, 도 2 참조)을 기준으로 한 메인 타겟(110, 도 2 참조)의 변위이므로, 듀얼 카메라의 움직임과 무관하므로 구조물의 장기 변위 계측이 가능해 질 수 있다. 그리고 듀얼 카메라가 3차원으로 움직여도 카메라 움직임에 따른 오차를 3차원 공간상에서 보정할 수 있어 정밀한 장기 변위 계측이 가능해 질 수 있다.
상술한 바와 같이, 본 발명의 구성 및 작용에 따르면, 교량 등의 구조물의 장기 변위를 효과적으로 계측할 수 있다. 특히, 바람, 온도변화 등에 의해 발생하는 카메라 움직임은 변위계측 오차를 유발하는데, 이러한 오차를 보정할 수 있다.
나아가, 본 발명에 의하면 간헐적으로 계측된 단기 변위 데이터들을 이어서 붙일 수 있으므로, 날씨 또는 교통상황 등에 의해 카메라를 부득이하게 수거하더라도 장기 변위 계측이 가능한 장점이 있다.
더 나아가, 본 발명에 의하면 카메라를 외부 환경에 오랜 시간 노출하지 않으므로 카메라의 성능 저하 문제를 감소시킬 수 있다. 그리고 교량 하부에서 계측해야 하는 다른 변위 계측 장비와 달리 교량 외곽 지역에서 원거리 변위 계측이 가능하므로 교통 차단 등의 사회적 비용이 감소될 수 있는 장점이 있다.
이러한 단계들을 거친 후, 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법에 따라 보정 전, 후의 변위 데이터를 비교하여 나타낸 그래프들이다.
도 3을 참조하면, 메인 카메라로 계측된 변위에서 서브 카메라로 계측된 모션 변위를 제거하는 보정 작업의 전, 후 결과를 확인할 수 있다. 도시된 그래프를 통해 파악할 수 있듯이 X변위 결과 및 Y변위 결과 모두에 대해서 카메라 움직임, 즉 카메라 모션에 의해 큰 변위 오차가 나타나는 것을 알 수 있으며, 서브 카메라로 계측된 모션 변위를 제거한 보정 후의 그래프를 보면 카메라 움직임에 따른 오차가 보정되어 5mm 내외의 오차만 계측됨을 알 수 있다. 교량 등의 구조물의 장기 처짐(즉, 변위)이 수십mm라는 점을 감안하면 본 발명을 통해 실제 교량에서의 장치 처짐을 계측하는데 효과적임을 알 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
110: 메인 타겟
120: 서브 타겟
210: 메인 카메라
220: 서브 카메라

Claims (17)

  1. (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계;
    (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계; 및
    (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계;
    를 포함하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
  2. 제1항에 있어서,
    상기 (a) 단계 이후에,
    상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 1]
    Figure pat00036

    (여기에서,
    Figure pat00037
    은 카메라 매트릭스이고,
    Figure pat00038
    는 카메라 내부 파라미터이고,
    Figure pat00039
    는 카메라 외부 파라미터임)
  3. 제2항에 있어서,
    상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식2]
    Figure pat00040

  4. 제3항에 있어서,
    상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3]
    Figure pat00041

    (여기에서,
    Figure pat00042
    은 WC,i에서 WC,1으로 변환하는 행렬임)
  5. 제4항에 있어서,
    상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 보는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3-1]
    Figure pat00043

  6. 제5항에 있어서,
    상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인
    Figure pat00044
    는 하기의 수학식 3-2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3-2]
    Figure pat00045

  7. 제6항에 있어서,
    상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출하는 것을 특징으로 하는 듀얼 카메라 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
  8. 제4항에 있어서,
    상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 4]
    Figure pat00046

  9. 제1항에 있어서,
    상기 (a) 단계에서, 상기 메인 카메라를 이용하여 상기 메인 타겟의 변위를 계측하기에 앞서, 상기 서브 카메라를 통해 획득한 상기 서브 타겟의 이미지를 통해 상기 서브 카메라 및 상기 메인 카메라의 변위를 보정하는 한편, 상기 메인 타겟을 정 위치로 보정하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
  10. (a) 서로 다른 방향을 바라보도록 밀착 고정된 메인 카메라 및 서브 카메라를 준비하고, 상기 메인 카메라로 원거리 구조물에 부착된 메인 타겟을 촬영하는 동시에, 상기 서브 카메라로 근거리에 고정된 서브 타겟을 촬영하는 단계;
    (b) 상기 서브 카메라를 통해 촬영된 상기 서브 타겟의 이미지를 이용하여 상기 서브 타겟의 3차원 변위를 계측하는 단계;
    (c) 상기 계측된 서브 타겟의 3차원 변위로부터 상기 메인 카메라의 움직임에 따른 모션 변위를 계측 및 보정하여, 상기 메인 타겟의 변위를 계측하는 단계; 및
    (d) 상기 메인 타겟의 변위를 실시간 또는 설정 시간 주기마다 기록 보관하여 설정된 기간에 해당하는 상기 구조물의 장기 변위 데이터를 생성 및 저장하는 한편, 상기 저장된 구조물의 장기 변위 데이터를 통해 상기 구조물의 장기 변위를 파악하는 단계;
    를 포함하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
  11. 제10항에 있어서,
    상기 (a) 단계 이후에,
    상기 메인 카메라로부터 획득된 상기 메인 타겟의 좌표를 하기의 수학식 1에 근거하여 매핑하는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 1]
    Figure pat00047

    (여기에서,
    Figure pat00048
    은 카메라 매트릭스이고,
    Figure pat00049
    는 카메라 내부 파라미터이고,
    Figure pat00050
    는 카메라 외부 파라미터임)
  12. 제11항에 있어서,
    상기 메인 타겟의 초기 모션에서 좌표가 {X, Y, Z}T이면, 상기 카메라 매트릭스에 의해 매핑된 이미지 좌표는 하기의 수학식 2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식2]
    Figure pat00051

  13. 제12항에 있어서,
    상기 메인 타겟의 i 번째 모션에서 이미지 좌표는 하기의 수학식 3에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3]
    Figure pat00052

    (여기에서,
    Figure pat00053
    은 WC,i에서 WC,1으로 변환하는 행렬임)
  14. 제13항에 있어서,
    상기 서브 타겟과 상기 메인 타겟이 고정되어 있을 경우, 상기 수학식 2와 상기 수학식 3에서의 {x,y,z,1}T wc,1과 {x,y,z,1}T wc,i는 상기 서브 타겟을 기반으로 본 상기 메인 타겟의 위치이므로 하기의 수학식 3-1에 근거하여 서로 동일하게 보는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3-1]
    Figure pat00054

  15. 제14항에 있어서,
    상기 수학식 3과 상기 수학식 3-1에서 카메라 모션에 독립변수들인
    Figure pat00055
    는 하기의 수학식 3-2에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 3-2]
    Figure pat00056

  16. 제15항에 있어서,
    상기 메인 타겟과 상기 서브 타겟이 고정되어 있는 상태에서, 임의로 메인 카메라 및 서브 카메라에 3차원 움직임을 주어 다양한 데이터 세트를 만든 다음, 회귀법을 이용하여 상기 수학식 3-2의 독립변수들을 산출하는 것을 특징으로 하는 듀얼 카메라 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
  17. 제13항에 있어서,
    상기 (c) 단계에서, 상기 메인 카메라의 움직임에 따른 모션 변위가 보정된 이후에 계측된 상기 메인 타겟의 변위는 하기의 수학식 4에 근거하여 정해지는 것을 특징으로 하는 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법.
    [수학식 4]
    Figure pat00057
KR1020170146689A 2017-11-06 2017-11-06 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법 KR102036324B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170146689A KR102036324B1 (ko) 2017-11-06 2017-11-06 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146689A KR102036324B1 (ko) 2017-11-06 2017-11-06 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법

Publications (2)

Publication Number Publication Date
KR20190051253A true KR20190051253A (ko) 2019-05-15
KR102036324B1 KR102036324B1 (ko) 2019-10-24

Family

ID=66579396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146689A KR102036324B1 (ko) 2017-11-06 2017-11-06 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법

Country Status (1)

Country Link
KR (1) KR102036324B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112066879A (zh) * 2020-09-11 2020-12-11 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法
CN114511620A (zh) * 2021-12-28 2022-05-17 南通大学 一种基于Mask R-CNN的结构位移监测方法
KR102445874B1 (ko) * 2021-03-29 2022-09-21 재단법인대구경북과학기술원 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240218A (ja) * 2006-03-07 2007-09-20 Hitachi Zosen Corp 撮影画像による変位計測時の補正方法
KR20140024745A (ko) * 2012-08-21 2014-03-03 인하대학교 산학협력단 구조물의 변위 측정을 위한 오브젝트의 캘리브레이션 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240218A (ja) * 2006-03-07 2007-09-20 Hitachi Zosen Corp 撮影画像による変位計測時の補正方法
KR20140024745A (ko) * 2012-08-21 2014-03-03 인하대학교 산학협력단 구조물의 변위 측정을 위한 오브젝트의 캘리브레이션 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112066879A (zh) * 2020-09-11 2020-12-11 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法
KR102445874B1 (ko) * 2021-03-29 2022-09-21 재단법인대구경북과학기술원 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법
CN114511620A (zh) * 2021-12-28 2022-05-17 南通大学 一种基于Mask R-CNN的结构位移监测方法
CN114511620B (zh) * 2021-12-28 2024-06-04 南通大学 一种基于Mask R-CNN的结构位移监测方法

Also Published As

Publication number Publication date
KR102036324B1 (ko) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN102798456B (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP6507268B2 (ja) 撮影支援装置及び撮影支援方法
JP2008298685A (ja) 計測装置及びプログラム
CN112629431A (zh) 土木结构变形监测方法及相关设备
IL182799A (en) Method for estimating the ptz camera's pose
CN109887041B (zh) 一种机械臂控制数字相机摄影中心位置和姿态的方法
WO2022126339A1 (zh) 土木结构变形监测方法及相关设备
KR20190051253A (ko) 듀얼 카메라를 이용하여 카메라의 3차원 위치 오차 보정이 가능한 영상 변위 계측 방법
CN105865349A (zh) 一种大型建筑物位移监测方法
KR101387876B1 (ko) 구조물 변위 측정 시스템 및 방법
CN109813509B (zh) 基于无人机实现高铁桥梁竖向动扰度测量的方法
KR20210048220A (ko) 무인비행체를 이용한 송전선로 금구류 위치 추정 장치 및 방법
CN103389072B (zh) 一种基于直线拟合的像点定位精度评估方法
CN108090935B (zh) 混合相机系统及其时间标定方法及装置
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
KR101395544B1 (ko) 구조물의 변위 측정을 위한 오브젝트의 캘리브레이션 방법 및 시스템
JP3465047B2 (ja) 垂直降下時に平坦区域を検出する立体視システム
CN107945166B (zh) 基于双目视觉的待测物体三维振动轨迹的测量方法
CN114018167A (zh) 一种基于单目三维视觉的桥梁挠度测量方法
WO2020145004A1 (ja) 撮影ガイド装置
CN114754695B (zh) 多视场桥梁挠度测量装置、方法及存储介质
WO2023178481A1 (zh) 形变测量方法、装置、电子设备及存储介质
CN116026323A (zh) 一种用于发动机油加注机定位与区域防错方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right