[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100985035B1 - 스캐닝 장치의 움직임 추적 방법 - Google Patents

스캐닝 장치의 움직임 추적 방법 Download PDF

Info

Publication number
KR100985035B1
KR100985035B1 KR1020080100469A KR20080100469A KR100985035B1 KR 100985035 B1 KR100985035 B1 KR 100985035B1 KR 1020080100469 A KR1020080100469 A KR 1020080100469A KR 20080100469 A KR20080100469 A KR 20080100469A KR 100985035 B1 KR100985035 B1 KR 100985035B1
Authority
KR
South Korea
Prior art keywords
scanning device
surrounding environment
environment information
information
speed
Prior art date
Application number
KR1020080100469A
Other languages
English (en)
Other versions
KR20100041336A (ko
Inventor
김진욱
홍승표
고희동
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020080100469A priority Critical patent/KR100985035B1/ko
Priority to PCT/KR2008/006881 priority patent/WO2010044509A1/en
Priority to US13/123,084 priority patent/US8493636B2/en
Publication of KR20100041336A publication Critical patent/KR20100041336A/ko
Application granted granted Critical
Publication of KR100985035B1 publication Critical patent/KR100985035B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047—Detection, control or error compensation of scanning velocity or position

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 이동하는 상기 스캐닝 장치가 1회 스캔 동안 수집되는 주변 환경 정보에 포함되는 정보간에 발생되는 시간차로 인해 왜곡되어 인식되는 주변 환경 정보를 보정하여 스캐닝 장치의 정확한 움직임을 추적하는 방법에 관한 것이다. 본 발명은 주변 환경의 복수의 포인트에 대응되는 주변 환경 정보를 수집하는 스캐닝 장치의 움직임 추적 방법으로서, 주변 환경 정보를 수집하는 단계와, 주변 환경 정보를 이용해서 상기 스캐닝 장치의 변위 데이터를 구하는 단계와, 스캐닝 장치의 변위 데이터를 이용해 상기 스캐닝 장치의 속도를 업데이트하는 단계와, 업데이트된 스캐닝 장치의 속도를 이용하여 주변 환경 정보를 보정하는 단계 및 보정된 주변 환경 정보를 이용해 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는 단계를 포함한다. 본 발명에 의하면, 스캐닝 장치의 속도를 통해 수집된 주변 환경 정보가 보정되어서 스캐닝 장치의 움직임이 더 정확하게 추적될 수 있다.
레이저, 스캔, ICP, 보정, 속도, 업데이트, 움직임, 추적

Description

스캐닝 장치의 움직임 추적 방법{Motion Tracking Method Using Scanning Device}
본 발명은 스캐닝 장치의 움직임을 추적하는 방법에 관한 것으로서, 더욱 상세하게는 이동하는 상기 스캐닝 장치가 1회 스캔 동안 수집되는 주변 환경 정보에 포함되는 정보간에 발생되는 시간차로 인해 왜곡되어 인식되는 주변 환경 정보를 보정하여 스캐닝 장치의 정확한 움직임을 추적하는 방법에 관한 것이다.
어떠한 환경 내에 놓여 있는 움직이는 물체의 정확한 움직임을 추적하는 것은 가상현실 또는 로보틱스 등과 같은 분야의 큰 관심사이다. 움직이는 물체의 움직임을 추적하기 위해서 다양한 방법이 사용되고 있는데, 주변의 환경 정보를 수집하는 스캐닝 장치를 이용하여 물체의 움직임을 추적하는 방법이 널리 이용되고 있다. 상기 주변 환경 정보는 상기 스캐닝 장치의 스캔 가능 범위 내에 있는 장애물까지의 거리 정보를 바탕으로 한 주변 환경에 관한 정보를 말한다.
즉, 물체에 설치된 스캐닝 장치는 주변 환경 정보를 수집하고, 수집된 주변 장애물 까지의 거리 정보를 통해 위치정보 및 자세정보를 계산하게 된다. 여기서 상기 위치정보는 임의의 절대 좌표계에서 스캐닝 장치가 어느 지점 위치하는가를 의미하며, 상기 자세정보란 절대 좌표축을 기준으로 스캐닝 장치가 얼마나 회전되었는가를 의미하는 것이다. 스캐닝 장치는 이동되는 동안에 이러한 정보 수집과 위치정보 및 자세정보 계산을 계속적으로 수행하여 주변 환경 내에서의 상기 스캐닝 장치의 움직임을 추적한다. 상기 스캐닝 장치의 움직임이 추적된다는 것은 바로 상기 물체의 움직임이 추적된다는 것을 의미한다.
이러한 방법에 사용되는 스캐닝 장치로서 레이저 스캐닝 장치가 널리 이용되고 있다. 도 1은 레이저 스캐닝 장치(5)의 개략적인 동작을 설명하는 도면이다. 도 1을 참조하면, 레이저 스캐닝 장치(5)는 모터(6)에 의해 회전되는 회전부를 구비하고, 상기 회전부는 시간(△t) 동안에 1회 회전한다. 레이저 스캐닝 장치(5)는 회전부가 1회전하는 시간(△t) 동안에 일정한 시간 간격(Δts)으로 복수의 포인트에 대해 순차적으로 주변의 환경에 레이저를 조사하고, 레이저가 반사되어 돌아오는 시간을 계산해 주변 환경의 각 포인트에 대한 거리 정보를 수집한다. 즉, 레이저 스캐닝 장치(5)에 의해 시간(△t) 동안에 수집되는 정보는 일정한 시간 간격(Δts)으로 포인트별로 수집되며, 상기 포인트별로 수집된 주변 환경 정보는 동일한 시간에 수집된 정보가 아니라 각 정보별로 일정한 시간차 즉, 시간 간격(Δts)이 있는 정보이다.
만약, 레이저 스캐닝 장치(5)가 이동하지 않고 제자리에 머물러 있다면 각 포인트의 정보가 시간차를 가지고 수집되더라도, 레이저 스캐닝 장치(5)와 주변 환경과의 거리는 불변하므로, 주변 환경과의 거리 정보에 근거한 주변 환경 정보는 원래 환경의 정보와 동일한 정보가 된다. 따라서, 단속적으로 이동하여 수집된 주변 환경 정보만으로도 환경 내에서의 레이저 스캐닝 장치(5)의 정확한 움직임이 계산이 가능하다. 하지만, 스캐닝 장치인 레이저 스캐닝 장치(5)가 연속적으로 이동하게 되면 상술한 바와 같이 시간(△t) 동안에 수집된 주변 환경 정보는 각각의 포인트마다 시간차를 가지고 수집되므로, 1회 스캔에 수집된 주변 환경 정보는 원래의 지형과는 다른 왜곡된 주변 환경 정보가 된다. 따라서, 원래 환경에 대한 레이저 스캐닝 장치(5)의 정확한 위치 및 움직임을 추적할 수 없는 문제점이 발생된다.
도 2a 내지 도 2c는 이동하는 스캐닝 장치에 의해 수집되는 주변 환경 정보의 개념도이다.
도 2a에는 원래의 주변 환경(1)의 모습이 실선으로 도시되어 있다. 스캐닝 장치는 점으로 표시되어 있으며, 화살표 방향으로 이동된다. 도 2b에 점선으로 도시된 바와 같이, 스캐닝 장치가 화살표 방향으로 1회 스캔 시간(△t)에 해당되는 시간동안 이동되면 그 시간 동안 스캐닝 장치가 이동된 거리만큼 근접된 주변 환경 정보(2)가 인식되어야 한다. 원래의 주변 환경(1)은 그 형태가 변하지 않으므로, 스캐닝 장치에 인식된 주변 환경 정보는 원래의 주변 환경(1)과 동일한 모양으로 인식되어야 함은 물론이다.
하지만 상술한 바와 같이, 스캐닝 장치는 시간(△t) 동안에 시간 간격(Δts) 만큼씩의 시간차를 가지고 주변 환경 정보를 수집하므로, 스캐닝 장치가 이동되며 주변 환경 정보를 수집하게 되면, 도 2C에 도시된 바와 같이, 왜곡된 주변 환경 정 보(3)를 인식하게 된다. 따라서, 왜곡된 주변 환경 정보(3)를 통해서 스캐닝 장치의 현재 위치정보 및 자세정보를 결정하게 되면, 스캐닝 장치의 움직임을 정확하게 추적하지 못하는 문제점이 있다. 이러한 문제점은 시간 간격(Δts)가 커질수록, 스캐닝 장치의 이동 속도가 빨라질수록 더 커진다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로서, 1회 스캔에 수집된 주변 환경 정보를 이용하여 구해진 스캐닝 장치의 변위 데이터를 통해 스캐닝 장치의 속도를 계산하고, 상기 스캐닝 장치의 속도를 통해 수집된 주변 환경 정보를 왜곡되지 않은 주변 환경 정보로 보정하여 스캐닝 장치의 정확한 움직임을 추적하는 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서, 본 발명에 따른 스캐닝 장치의 움직임 추적 방법은 1회 스캔 시간(△t) 동안에 시간 간격(△ts)을 가지고 주변 환경의 복수의 포인트에 대응되는 주변 환경 정보를 수집하는 스캐닝 장치의 움직임 추적 방법으로서, n번째 스캔의 주변 환경 정보를 수집하는 단계(n≥2, 자연수)(S1)와, n번째 스캔의 주변 환경 정보와 이전 스캔의 주변 환경 정보를 비교하여 상기 스캐닝 장치의 변위 데이터를 구하는 단계(S2)와, 상기 단계(S2)에서 구한 스캐닝 장치의 변위 데이터를 이용해 상기 스캐닝 장치의 속도를 업데이트하는 단계(S3)와, 상기 단계(S3)에서 업데이트된 스캐닝 장치의 속도와 상기 시간 간격(△ts)을 이용하여 상기 n번째 스캔에 수집된 주변 환경 정보를 보정하는 단계(S4) 및 상기 단계(S4)에서 보정된 상기 n번째 스캔에 수집된 주변 환경 정보를 이용해 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는 단계(S5)를 포함한다.
또한, 상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 수렴되는지 여부를 판단하는 단계(S6)를 더 포함하고, 상기 새로 업데이트된 스캐닝 장치의 속도가 수렴되지 않으면, 상기 단계(S4)에서 보정된 상기 n번째 스캔의 주변 환경 정보를 이용해서 상기 단계(S2) 및 단계(S3)를 다시 수행되고, 상기 새로 업데이트된 스캐닝 장치의 속도가 수렴되면, 상기 단계(S5)가 수행될 수도 있다.
또한, 상기 단계(S2)의 상기 이전 스캔의 환경정보는 n-1번째 스캔에 수집되고 보정되어 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는데 이용된 주변 환경 정보를 비교하여 구해질 수도 있다.
또한, 상기 단계(S3)의 상기 스캐닝 장치의 속도는, 상기 단계(S2)에서 구한 스캐닝 장치의 변위 데이터와 상기 1회 스캔 시간(△t)의 관계를 통해 업데이트될 수도 있다.
또한, 상기 시간 간격(△ts)는 일정할 수도 있다.
또한, 상기 단계(S6)의 상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 수렴하는지 여부는 최초 n-1번째 스캔에 수집된 주변 환경 정보를 이용해 최종적으로 업데이트된 상기 스캐닝 장치의 속도를 기준으로 판단되고, 이후에는 직전에 업데이트된 스캐닝 장치의 속도를 기준으로 판단될 수도 있다.
또한, 상기 단계(S6)의 상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 수렴하는지 여부는 최초 0을 기준으로 판단되고, 이후에는 직전에 업데이트된 스캐닝 장치의 속도를 기준으로 판단될 수도 있다.
또한, 상기 단계(S2)는 ICP 알고리즘에 의할 수도 있다.
또한, 상기 스캐닝 장치는 2D 또는 3D 레이저 스캐닝 장치일 수도 있다.
본 발명에 따른 스캐닝 장치의 움직임 추적 방법에 의하면, 스캐닝 장치의 속도를 통해 수집된 주변 환경 정보가 보정되어서 스캐닝 장치의 움직임이 더 정확하게 추적될 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 하나의 실시예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지 않는다.
도 3은 본 발명의 일 실시예에 따른 스캐닝 장치의 움직임 추적 방법의 개념을 나타내는 순서도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 스캐닝 장치의 움직임 추적 방법은, 주변 환경 정보를 수집하고(S1), 상기 스캐닝 장치의 변위 데이터를 측정하여(S2), 상기 스캐닝 장치의 속도를 측정하고(S3), 주변 환경 정보를 보정하여(S4), 이를 통해 상기 스캐닝 장치의 현재 위치정보 및 자세정보를 결정하여(S5) 움직임을 추적하게 된다.
본 실시예에서 상기 스캐닝 장치는 한 평면상에 위치하는 주변 환경 정보를 수집하는 2D 레이저 스캐닝 장치가 사용된다.
상기 2D 레이저 스캐닝 장치는 모터에 의해 회전되는 회전부를 구비하고, 상 기 회전부가 회전하며 1회 스캔 시간(△t) 동안에 일정한 시간 간격(Δts)으로 순차적으로 주변 환경의 복수의 포인트에 레이저를 조사시켜서 주변 환경 정보를 수집한다(도 1 참조). 여기서 주변 환경 정보란 스캐닝 장치에 의해 조사된 레이저가 주변에 위치하는 장애물에 도달하였다가 되돌아 오는 시간이나 위상차를 분석하여 얻어진 거리 정보를 말한다. 상기 1회 스캔 시간(△t) 및 시간 간격(Δts)가 짧을 수록, 원래의 환경과 근사된 주변 환경 정보가 상기 2D 레이저 스캐닝 장치에 인식된다.
본 실시예에서 스캐닝 장치로 2D 레이저 스캐닝 장치가 사용되었으나 반드시 이에 한정되는 것은 아니다. 주변 환경 정보를 수집하기 위해서 1회 스캔 시간(△t) 동안에 시간 간격(Δts)으로 주변 환경의 정보를 수집하는 장치 즉, 1회 스캔 동안에 수집된 주변 환경 정보가 어느 한 시간에 동시에 수집되지 않고 포인트별로 시간차를 가지고 수집되어, 1회 스캔된 정보간에 시간의 차이가 발생되는 어떠한 스캐닝 장치라도 본 발명에 따른 움직임 추적 방법에 사용될 수 있다. 한 평면상에 위치하는 주변 환경 정보를 수집하는 2D 레이저 스캐닝 장치는 물론 3D 레이저 스캐닝 장치도 사용될 수 있다. 또한, 상기 시간 간격(Δts)가 반드시 일정해야 하는 것은 아니다.
본 실시예에 따르면 우선 2D 레이저 스캐닝 장치가 n번째 스캔의 주변 환경 정보를 수집한다(S1). 여기서 n은 2 이상인 자연수이다. 상기 2D 레이저 스캐닝 장치의 n번째 스캔의 주변 환경 정보는 n번째 스캔이 완료된 시점에서의 스캐닝 장치 에 인식된 주변 환경의 복수의 포인트에 대한 거리 정보의 집합이다.
상술한 바와 같이, 상기 2D 레이저 스캐닝 장치가 제자리에 머물러 있지 않고 연속적으로 이동하게 되면, n번째 스캔의 주변 환경 정보에 포함된 정보는 각 포인트에 대한 정보 간의 시간 간격(Δts)에 의해서 원래의 주변 환경과 다르게 인식되는 왜곡된 정보가 된다. 왜곡된 주변 환경 정보를 이용해 n번째 스캔이 완료된 때의 상기 2D 레이저 스캐닝 장치의 위치정보 및 자세정보를 결정하게 되면 실제 환경 정보와의 오차에 의해서 정확한 움직임을 추적할 수 없게 된다.
따라서, 상기 2D 레이저 스캐닝 장치의 정확한 움직임을 추적하기 위해서는 주변 환경 정보가 왜곡되지 않은 정보로 보정될 필요가 있다. 본 실시예에서는 n번째 스캔의 주변 환경 정보를 보정하기 위해서, n번째 스캔의 주변 환경 정보와 이전 스캔의 주변 환경 정보를 비교하여 상기 2D 레이저 스캐닝 장치의 변위 데이터를 구한다(S2). 즉, 임의의 기준 시점에서의 상기 2D 레이저 스캐닝 장치의 위치와 n번째 스캔이 완료된 시점에서의 상기 2D 레이저 스캐닝 장치의 위치를 비교하여, 상기 기준 시점과 n번째 스캔이 완료된 시점 사이의 상기 2D 레이저 스캐닝 장치의 상대적인 변위를 측정한다.
본 실시예에서는 n번째 스캔이 완료된 시점에서의 상기 2D 레이저 스캐닝 장치의 변위 데이터를 측정하기 위해서 ICP(Iterative Closet Point or Iterative Corresponding Point) 알고리즘이 이용된다. ICP 알고리즘은 2D 레이저 스캐닝 장치와 같은 장치에 의해 수집된 두 정보 즉, 기준이 되는 주변 환경 정보와 새로 수 집된 주변 환경 정보의 가장 근접한 포인트(Closet Point) 또는 대응되는 포인트(Corresponding Point)를 반복적으로 비교하여, 두 주변 환경 정보간의 상대적인 강체 변환(rigid transformation) 데이터를 구할 수 있는 알고리즘이다.
도 4a 내지 4d는 ICP 알고리즘을 이용하여 두 세트의 주변 환경 정보간의 상대적인 강체 변환 데이터를 구하는 방법을 도시한 개념도이다.
도 4a에는 2D 레이저 스캐닝 장치(7)의 변위 측정의 기준이 되는 주변 환경 정보가 도시되어 있다. 도 4b에는 2D 레이저 스캐닝 장치(7)에 의해 수집된 n번째 스캔의 주변 환경 정보가 도시되어 있다.
도 4c에 도시된 바와 같이, ICP 알고리즘에 이용해, 2D 레이저 스캐닝 장치(7)를 기준으로 한 좌표축이 일치되고, 가장 근접한 포인트(Closet Point) 또는 대응되는 포인트(Corresponding Point)가 반복적으로 비교된다. 반복적인 비교 결과가 도 4d에 도시되어 있다. 도 4d에 도시된 바와 같이, 두 주변 환경 정보의 매칭시키면, 2D 레이저 스캐닝 장치(7)를 기준으로 한 좌표축의 상대적인 강체 변환 데이터를 얻을 수 있다. 2D 레이저 스캐닝 장치(7)를 기준으로 하였으므로, 위치(P)와 회전(R)로 표시된 상기 강체 변환 데이터는 두 스캔 사이의 상기 2D 레이저 스캐닝 장치의 이동 변위 정보를 나타낸다.
이러한 ICP 알고리즘은 가상 현실 분야 및 로보틱스 분야 등에서 두 셋트에 걸쳐 수집된 주변 환경 정보를 비교하여 두 정보의 상대적인 강체 변환 데이터를 구하는 방법으로서 널리 알려진 방법이다.
본 실시예에서는 2D 레이저 스캐닝 장치의 변위 데이터를 구하기 위해서 ICP 알고리즘을 이용하였지만 반드시 이에 한정되는 것이 아니다. 즉, 두 셋트에 걸쳐 수집된 주변 환경 정보를 비교하여 2D 레이저 스캐닝 장치의 상대적인 변위를 구할 수 있는 어떠한 방법이라도 본 발명에 이용될 수 있다.
n번째 스캔이 완료된 시점에서의 2D 레이저 스캐닝 장치의 변위 데이터를 구하기 위해서는 기준이 되는 주변 환경 정보가 필요하게 되는데, 상기 기준이 되는 주변 환경 정보는 n번째 스캔 이전에 스캔되어 수집된 임의 번째의 스캔의 지형 정보가 될 수 있다. 다만, 두 세트의 지형 정보가 수집된 시점에 큰 차이가 있다면 측정되는 변위 데이터에 오차가 그만큼 커질 수 있으므로, 본 실시예에서는 기준이 되는 주변 환경 정보로서 n-1번째 스캔의 주변 환경 정보가 이용된다.
다만, 2D 레이저 스캐닝 장치의 정확한 변위 데이터를 구하기 위해서는 기준이 되는 주변 환경 정보가 왜곡되지 않은 정확한 정보일 필요가 있으므로, 기준이 되는 상기 n-1번째 스캔의 주변 환경 정보는 이하에서 상세히 설명하는 방법에 의해 보정되어 상기 2D 레이저 스캐닝 장치의 위치정보 및 자세정보의 결정에 사용된 주변 환경 정보이다.
n번째 스캔이 완료된 시점의 2D 레이저 스캐닝 장치의 변위 데이터를 구하였으므로, 기준이 되는 임의 번째 스캔이 완료된 시점과 n번째 스캔이 완료된 시점의 시간차를 이용하면, n번째 스캔이 완료된 시점의 2D 레이저 스캐닝 장치의 속도를 구할 수 있다. 여기서 상기 시간차 동안의 상기 2D 레이저 스캐닝 장치의 속도는 일정한 것으로 가정한다.
본 실시예에서는 기준이 되는 임의 번째의 스캔의 주변 환경 정보로서 n-1번 째 스캔의 주변 환경 정보로 하고 있으므로, n번째 스캔의 주변 환경 정보와의 시간차는 1회 스캔 시간(△t)이 된다. 이렇게 계산된 2D 레이저 스캐닝 장치의 속도는 n번째 스캔의 주변 환경 정보를 보정하는데 이용된다.
도 5는 n번째 스캔의 주변 환경 정보가 보정되는 결과를 도시한 개념도이다.
상기 2D 레이저 스캐닝 장치에 의해 수집되는 n번째 스캔의 주변 환경 정보는 복수의 포인트에 대한 주변 환경 정보의 집합에 해당되므로, 각각의 정보는 2D 레이저 스캐닝 장치를 기준으로 한 좌표축 상의 점으로 표시될 수 있다.
1회 스캔 시간(△t) 동안에 n번째 스캔의 주변 환경 정보는 수집되는 각각의 포인트에 대한 정보가 수집되는 시간 간격(Δts)으로 인해 원래 환경과는 달리 왜곡된다. 즉, 상기 2D 레이저 스캐닝 장치를 기준으로 한 죄표축에서 -y 축 방향에서 n번째 스캔의 최초 정보가 수집되어 시계 반대 방향으로 정보가 수집된다고 하면, 우측 상방향에 위치한 주변 환경 정보는 좌측 하방향에 위치한 환경의 정보에 비해 먼저 수집된 정보이다. 따라서, 상기 2D 레이저 스캐닝 장치가 화살표로 표시된 방향으로 이동된다고 할 때 먼저 수집된 포인트에 대한 정보는 n번째 스캔이 완료된 시점에서의 실제적인 위치보다 2D 레이저 스캐닝 장치를 기준으로 상대적으로 더 멀리 위치된 것으로 인식된다. 따라서, 수집된 주변 환경 정보는 왜곡되지 않은 형태(10)와 달리 우측 상방향으로 찌그러진 형태(20)로 인식된다.
n번째 스캔의 각각의 포인트에 대한 정보가 수집되는 시간 간격(Δts)을 알고 있으므로, n번째 스캔의 마지막 정보가 수집된 시간과 먼저 수집된 정보가 수집 된 시간 각각의 상대적인 시간차가 계산된다. 2D 레이저 스캐닝 장치의 속도는, 상기 2D 레이저 스캐닝 장치를 기준으로 할 때 주변 환경이 상기 2D 레이저 스캐닝 장치에 대해 이동하는 속도라고 말할 수 있다. n번째 스캔 동안 상기 2D 레이저 스캐닝 장치의 속도는 일정한 것으로 가정하였으므로, n번째 스캔의 마지막으로 수집되는 정보에 대응되는 포인트의 위치를 기준으로 각 포인트에 대하여 시간차만큼의 변위를 가감하면 주변 환경 정보를 보정할 수 있게 된다.
즉, n번째 스캔의 주변 지형 정보를 {P1, P2, P3, ...Pi-1, Pi}의 i개의 포인트에 대한 정보의 집합이라고 하고, 2D 레이저 스캐닝 장치의 속도를 Vn 이라고 하면, i-2번째 포인트에 대한 정보(Pi-2)와 마지막 정보(Pi)가 수집되는 시간(ti)의 시간차는 시간 간격(Δts)의 2배인 2Δts가 된다. 따라서, i-2번째 포인트가 2Δts 동안 속도(-Vn) 만큼 이동된 정보로 인식되도록 보정되면 시간(ti)에서의 i-2번째 포인트가 정확한 위치로 보정된다. 다른 포인트에 대한 정보에 대해서도 상기와 같은 원리에 의해 보정하면 n번째 스캔의 주변 환경 정보는 n번째 스캔이 완료되 시점의 왜곡되지 않은 형태(10)의 주변 환경 정보로 보정될 수 있다.
본 실시예에 따른 주변 환경 정보의 보정은 상술한 바와 같이, 시간 간격(Δts)를 이용하게 되므로, 2D 레이저 스캐닝 장치는 1회 스캔 시간(△t) 동안에 일정한 시간 간격(Δts)을 가지고 주변 환경 정보를 수집하는 장치를 사용하면 보정에 필요한 각각의 포인트의 변위 계산이 용이해지는 장점이 있다.
상기와 같이 보정된 주변 환경 정보는 상기 2D 레이저 스캐닝 장치의 위치정보 및 자세정보를 결정하는데 이용된다(S5). n번째 스캔에 수집되고 보정되어 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는데 이용된 주변 환경 정보는 n+1번째 스캔의 주변 환경 정보와 비교되어 상기 2D 스캐닝 장치의 변위 데이터를 구하는데 다시 이용된다. 구해진 n+1번째 스캔이 완료된 시점의 상기 2D 스캐닝 장치의 변위 데이터를 이용해 상술한 과정을 다시 수행하는 방식으로 1회 스캔 완료시마다 상기 2D 레이저 스캐닝 장치의 위치정보 및 자세정보가 계속적으로 결정되며, 이를 통해 이동되는 상기 2D 레이저 스캐닝 장치의 움직임을 계속적으로 정확하게 추적할 수 있게 된다.
본 실시예에 따르면, 상기 2D 레이저 스캐닝 장치가 주변 환경 정보 수집하고, n번째 스캔이 완료된 시간에 인식되는 주변 환경 정보와 n-1번째 스캔에 수집되어 보정된 주변 환경 정보를 비교하여 얻어진 상기 2D 레이저 스캐닝 장치의 속도를 통해 n번째 스캔의 주변 환경 정보를 보정하는 과정을 거친다. 이러한 과정이계속적으로 반복되어 상기 2D 레이저 스캐닝 장치의 정확한 움직임이 추적될 수 있다
최초 수집된 n번째 스캔의 주변 지형 정보는 왜곡된 정보이고, 이를 이용하여 ICP 알고리즘을 통해 계산된 2D 레이저 스캐닝 장치의 변위 데이터는 실제 데이터와는 약간의 오차가 있는 데이터이므로 계산된 상기 2D 레이저 스캐닝 장치의 속도 역시 실제 값과는 오차가 있는 값이다
따라서, 본 발명의 또 다른 실시예는 상기한 오차를 최소화하여 상기 2D 레 이저 스캐닝 장치의 움직임을 보다 더 추적할 수 있는 방법을 제공한다.
도 6은 본 발명의 또 다른 실시예에 따른 스캐닝 장치의 움직임 추적 방법의 개념을 나타내는 순서도이다.
도 6에 도시된 바와 같이, 본 실시예에서는 최초의 n번째 스캔의 주변 환경 정보를 통해 계산된 상기 2D 레이저 스캐닝 장치의 속도가 일정한 값으로 수렴하지는지 여부를 판단하는 단계(S6)를 더 포함한다. 본 실시예에서의 수렴여부 판단은 n-1번째 스캔에 수집된 주변 환경 정보를 이용해 최종적으로 업데이트된 상기 2D 레이저 스캐닝 장치의 속도를 기준으로 한다. 상기 2D 레이저 스캐닝 장치의 속도가 급격하게 변화되지 않는 경우, 상기와 같이 n-1번째 스캔에 수집된 주변 환경 정보를 이용해 최종적으로 업데이트된 상기 2D 레이저 스캐닝 장치의 속도를 기준으로 하여 n번째 스캔의 주변 환경 정보를 통해 계산된 상기 2D 레이저 스캐닝 장치의 속도가 수렴하는지 여부를 판단하게 되면, 계산 시간이 감소되는 이점이 있다. 그러나 반드시 이에 한정되는 것은 아니고 0과 같은 임의의 값을 기준으로 할 수도 있다. 특히, 0을 기준으로 상기 2D 레이저 스캐닝 장치의 속도가 수렴하는지 여부를 판단하게 되면 n-1번째와 n번째 스캔 동안에 상기 2D 레이저 스캐닝 장치의 속도가 우연히 일정한 것으로 계산된 경우에도, 왜곡된 정보로 인해 오차를 갖는 최초의 n번째 스캔의 주변 환경 정보를 통해 계산된 상기 2D 레이저 스캐닝 장치의 속도가 일정한 값으로 수렴하였다고 판단될 우려를 해소할 수 있는 이점이 있다.
최초의 n번째 스캔의 주변 환경 정보를 통해 계산된 상기 2D 레이저 스캐닝 장치의 속도가 일정한 값으로 수렴되지 않으면, 최초의 n번째 스캔의 주변 환경 정 보를 통해 계산된 상기 2D 레이저 스캐닝 장치의 속도를 통해 보정된 n번째 스캔의 주변 환경 정보를 이용해서 상기 2D 레이저 스캐닝 장치의 보정된 변위 데이터를 구한다.
상기 보정된 2D 레이저 스캐닝 장치의 변위 데이터는 다시 2D 레이저 스캐닝 장치의 속도를 업데이트하는데 사용된다. 다시 업데이트된 상기 2D 레이저 스캐닝 장치의 속도를 이용해 보정된 n번째 스캔의 주변 환경 정보를 다시 보정한다.
다시 업데이트된 2D 레이저 스캐닝 장치의 속도는 최초의 n번째 스캔의 주변 환경 정보를 통해 직전에 업데이트된 2D 레이저 스캐닝 장치의 속도와 비교하여 일정한 값으로 수렴되는지 여부가 다시 판단된다.
이러한 과정은 업데이트되는 상기 2D 레이저 스캐닝 장치의 속도가 일정한 값으로 수렴될 때까지 반복된다. 업데이트되는 상기 2D 레이저 스캐닝 장치의 속도가 일정한 값으로 수렴하는 경우 최종적으로 보정된 n번째 스캔의 주변 환경 정보를 통해 상기 2D 레이저 스캔 장치의 주변 환경에 대한 위치정보 및 자세정보가 결정될 수 있으며, 상기 2D 레이저 스캔 장치의 정확한 움직임이 추적된다.
상기 2D 레이저 스캔 장치의 정확한 위치정보 및 자세정보 결정을 위해서 n번째 스캔의 주변 환경 정보가 더 정확하게 보정될 것이 요구되고, 보정을 위해서는 상기 2D 레이저 스캔 장치의 정확한 속도를 계산할 것이 요구된다. 또한, 상기 2D 레이저 스캔 장치의 정확한 속도를 계산하기 위해서는 더 정확한 n번째 스캔의 주변 환경 정보가 필요하게 된다. 즉, 정확한 속도는 주변 환경 정보가 정확히 보정되어야 얻을 수 있고, 주변 환경 정보를 보정하기 위해서는 정확한 속도가 필요 하므로, 본 실시예에서는 상기와 같은 반복과정을 통해 더 정확한 정보로 수렴시켜 나가는 것이다. 이러한 반복 과정을 통해 상기 2D 레이저 스캐닝 장치의 움직임을 매우 정확하게 계산하여 추적할 수 있게 된다.
본 실시예에는 다른 실시예에서 설명된 주변 환경 정보의 수집(S1), 변위 데이터의 계산(S2) 및 스캐닝 장치의 속도 업데이트(S3) 방법이 그대로 사용될 수 있으므로 이에 대한 자세한 언급은 생략한다.
도 7a 및 도 7b는 본 발명의 또 다른 실시예에 따른 움직임 추적 방법을 적용한 실험 결과를 나타내는 도면이다.
본 실시예에 따른 방법의 적용 결과를 알아보기 위해, 본 실시예의 방법에 의해 움직임을 추적하는 2D 레이저 스캐닝 장치와, 보정되지 않은 주변 환경 정보를 바탕으로 움직임을 추적하는 종래 방법을 적용한 2D 레이저 스캐닝 장치를 원 궤적 및 왕복 직선 이동시키며 상기 스캐닝 장치에 의해 인식되는 움직임 궤적을 알아보았다. 그 결과는 도 7a 및 도 7b에 도시되었다.
실험에 사용된 레이저 스캐닝 장치는 파장이 785nm, 정확도가 ±10mm, 스캔 각도가 240°, 스캔 타임이 100msec/scan 인 장치를 사용되었다.
도 7a 및 도 7b에 도시된 바와 같이, 본 실시예에 따른 방법을 적용한 실험 결과(100)가 보정되지 않은 주변 환경 정보를 바탕으로 움직임을 추적하는 방식의 결과(200)에 비해 훨씬 더 정확하게 이동 궤적을 추적하고 있다. 즉, 본 실시예의 방법을 적용하면 스캐닝 장치의 움직임이 매우 효과적으로 추적되는 것을 알 수 있다.
본 발명에 따른 스캐닝 장치의 움직임을 추적하는 방법이 적용된 스캐닝 장치가 이동하는 물체에 설치되면, 이동하는 물체의 움직임이 정확하게 추적될 수 있다.
도 1은 레이저 스캐닝 장치(5)의 개략적인 동작을 설명하는 도면이다.
도 2a 내지 도 2c는 이동하는 스캐닝 장치에 의해 수집되는 주변 환경 정보의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 스캐닝 장치의 움직임 추적 방법의 개념을 나타내는 순서도이다.
도 4a 내지 4d는 ICP 알고리즘을 이용하여 두 세트의 주변 환경 정보간의 상대적인 강체 변환 데이터를 구하는 방법을 도시한 개념도이다.
도 5는 n번째 스캔의 주변 환경 정보가 보정되는 결과를 도시한 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스캐닝 장치의 움직임 추적 방법의 개념을 나타내는 순서도이다.
도 7a 및 도 7b는 본 발명의 또 다른 실시예에 따른 움직임 추적 방법을 적용한 실험 결과를 나타내는 도면이다.

Claims (10)

1회 스캔 시간(△t) 동안에 시간 간격(△ts)을 가지고 주변 환경의 복수의 포인트에 대응되는 주변 환경 정보를 수집하는 스캐닝 장치의 움직임 추적 방법으로서,
n번째 스캔의 주변 환경 정보를 수집하는 단계(n≥2, 자연수)(S1);
n번째 스캔의 주변 환경 정보와 이전 스캔의 주변 환경 정보를 비교하여 상기 스캐닝 장치의 변위 데이터를 구하는 단계(S2);
상기 단계(S2)에서 구한 스캐닝 장치의 변위 데이터를 이용해 상기 스캐닝 장치의 속도를 업데이트하는 단계(S3);
상기 단계(S3)에서 업데이트된 스캐닝 장치의 속도와 상기 시간 간격(△ts)을 이용하여 상기 n번째 스캔에 수집된 주변 환경 정보를 보정하는 단계(S4); 및
상기 단계(S4)에서 보정된 상기 n번째 스캔에 수집된 주변 환경 정보를 이용해 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는 단계(S5)를 포함하는 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제1항에 있어서,
상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 일정한 값으로 수렴하였는지 여부를 판단하는 단계(S6)를 더 포함하고,
상기 새로 업데이트된 스캐닝 장치의 속도가 일정한 값으로 수렴하지 않았으면, 상기 단계(S4)에서 보정된 상기 n번째 스캔의 주변 환경 정보를 이용해서 상기 단계(S2) 및 단계(S3)를 다시 수행되고,
상기 새로 업데이트된 스캐닝 장치의 속도가 일정한 값으로 수렴하였으면, 상기 단계(S5)가 수행되는 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제1항 또는 제2항에 있어서,
상기 단계(S2)의 상기 이전 스캔의 주변 환경 정보는 n-1번째 스캔에 수집되고 보정되어 상기 스캐닝 장치의 위치정보 및 자세정보를 결정하는데 이용된 주변 환경 정보인 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제3항에 있어서,
상기 단계(S3)의 상기 스캐닝 장치의 속도는, 상기 단계(S2)에서 구한 스캐닝 장치의 변위 데이터와 상기 1회 스캔 시간(△t)의 관계를 통해 업데이트되는 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제1항 또는 제2항에 있어서,
상기 시간 간격(△ts)는 일정한 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제2항에 있어서,
상기 단계(S6)의 상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 일정한 값으로 수렴하였는지 여부는 최초에는 n-1번째 스캔에 수집된 주변 환경 정보를 이용해 최종적으로 업데이트된 상기 스캐닝 장치의 속도를 기준으로 판단되고, 이후에는 직전에 업데이트된 스캐닝 장치의 속도를 기준으로 판단되는 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제2항에 있어서,
상기 단계(S6)의 상기 단계(S3)에서 새로 업데이트된 스캐닝 장치의 속도가 일정한 값으로 수렴하였는지 여부는 최초에는 0을 기준으로 판단되고, 이후에는 직전에 업데이트된 스캐닝 장치의 속도를 기준으로 판단되는 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제1항 또는 제2항에 있어서,
상기 단계(S2)는 ICP 알고리즘에 의한 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
제3항에 있어서,
상기 단계(S2)는 ICP 알고리즘에 의한 것을 특징으로 하는 스캐닝 장치의 움 직임 추적 방법.
제1항 또는 제2항에 있어서,
상기 스캐닝 장치는 2D 또는 3D 레이저 스캐닝 장치인 것을 특징으로 하는 스캐닝 장치의 움직임 추적 방법.
KR1020080100469A 2008-10-14 2008-10-14 스캐닝 장치의 움직임 추적 방법 KR100985035B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080100469A KR100985035B1 (ko) 2008-10-14 2008-10-14 스캐닝 장치의 움직임 추적 방법
PCT/KR2008/006881 WO2010044509A1 (en) 2008-10-14 2008-11-21 Motion tracking method using scanning device
US13/123,084 US8493636B2 (en) 2008-10-14 2008-11-21 Motion tracking method using scanning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080100469A KR100985035B1 (ko) 2008-10-14 2008-10-14 스캐닝 장치의 움직임 추적 방법

Publications (2)

Publication Number Publication Date
KR20100041336A KR20100041336A (ko) 2010-04-22
KR100985035B1 true KR100985035B1 (ko) 2010-10-05

Family

ID=42106663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080100469A KR100985035B1 (ko) 2008-10-14 2008-10-14 스캐닝 장치의 움직임 추적 방법

Country Status (3)

Country Link
US (1) US8493636B2 (ko)
KR (1) KR100985035B1 (ko)
WO (1) WO2010044509A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6557923B2 (ja) * 2014-12-12 2019-08-14 パナソニックＩｐマネジメント株式会社 車載レーダ装置及び領域検出方法
CN111417871A (zh) * 2017-11-17 2020-07-14 迪普迈普有限公司 基于激光雷达利用高清晰度地图的集成运动估计的迭代最近点处理

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000026852A1 (en) 1998-11-04 2000-05-11 University Of Rochester System and method for 4d reconstruction and visualization
US20020141626A1 (en) 2000-11-22 2002-10-03 Anat Caspi Automated registration of 3-D medical scans of similar anatomical structures
WO2003079672A1 (en) 2002-03-12 2003-09-25 Menache, Llc Motion tracking system and method
US20050203385A1 (en) 2004-01-21 2005-09-15 Hari Sundar Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2800797A (en) * 1956-01-11 1957-07-30 John F Honstead Proportional waste line sampler
US6608297B2 (en) * 1997-07-23 2003-08-19 Xeros, Inc. Scanner document speed encoder
US6392762B1 (en) * 1997-09-12 2002-05-21 Mustek Systems Inc. Device for quick and precise determination of scan start point for image scanner
DE19930164B4 (de) * 1998-06-30 2009-04-09 Fujifilm Corp. Bildlesevorrichtung
US7477425B2 (en) * 2002-07-19 2009-01-13 Hewlett-Packard Development Company, L.P. Biasable drive for an image scanner carriage
WO2004105378A1 (ja) * 2003-05-21 2004-12-02 Sharp Kabushiki Kaisha 画像位置補正方法、画像位置補正用治具、及び、画像形成装置
JP2005197922A (ja) * 2004-01-06 2005-07-21 Fuji Xerox Co Ltd 画像読取装置
US7843609B2 (en) * 2004-09-30 2010-11-30 Lexmark International, Inc. Motion control method and apparatus for a flat bed scanner
JP2006238287A (ja) * 2005-02-28 2006-09-07 Ricoh Co Ltd 原稿読取り装置および画像形成装置
US7593144B2 (en) * 2005-06-28 2009-09-22 Xerox Corporation Controlling scanning and copying devices through implicit gestures
US7876477B2 (en) * 2006-06-28 2011-01-25 Panasonic Corporation Image reading method and image expansion method
JP4254829B2 (ja) * 2006-09-14 2009-04-15 セイコーエプソン株式会社 移動体の位置確定装置および位置確定方法
JP4797936B2 (ja) * 2006-11-02 2011-10-19 ブラザー工業株式会社 画像読取装置
JP2010157996A (ja) * 2008-12-05 2010-07-15 Canon Inc 原稿読取装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000026852A1 (en) 1998-11-04 2000-05-11 University Of Rochester System and method for 4d reconstruction and visualization
US20020141626A1 (en) 2000-11-22 2002-10-03 Anat Caspi Automated registration of 3-D medical scans of similar anatomical structures
WO2003079672A1 (en) 2002-03-12 2003-09-25 Menache, Llc Motion tracking system and method
US20050203385A1 (en) 2004-01-21 2005-09-15 Hari Sundar Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images

Also Published As

Publication number Publication date
KR20100041336A (ko) 2010-04-22
US20110194158A1 (en) 2011-08-11
US8493636B2 (en) 2013-07-23
WO2010044509A1 (en) 2010-04-22

Similar Documents

Publication Publication Date Title
EP3160690B1 (en) Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
JP4079690B2 (ja) 物体追跡装置及び方法
JP6591131B1 (ja) 構造物計測装置および構造物計測方法
Martinelli et al. Estimating the odometry error of a mobile robot during navigation
JP4660387B2 (ja) 移動体の位置情報補正装置及び方法、その装置を制御するコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体
CN111007530A (zh) 激光点云数据处理方法、装置及系统
CN109146938A (zh) 动态障碍物的位置校准方法、装置、设备及存储介质
US20140052296A1 (en) Robot system and method for driving the same
CN104615880B (zh) 一种三维激光雷达点云匹配的快速icp方法
CN117769691A (zh) 基于路点的导航地图的拓扑处理
JP2001050741A (ja) ロボットのキャリブレーション方法及び装置
KR100985035B1 (ko) 스캐닝 장치의 움직임 추적 방법
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
JP5953393B2 (ja) ロボットシステム及び地図更新方法
Nasir et al. Autonomous mobile robot localization using Kalman filter
JP2009222568A (ja) ３次元形状データの生成方法および装置ならびにコンピュータプログラム
De Miguel et al. High-Accuracy Patternless Calibration of Multiple 3-D LiDARs for Autonomous Vehicles
KR20110081701A (ko) 캘리브레이션 장치
Wei et al. Orientation correction for hector slam at starting stage
Katz et al. Integrated sensing framework for 3D mapping in outdoor navigation
Qin et al. A novel hierarchical iterative hypothesis strategy for intrinsic parameters calibration of laser structured-light weld vision sensor
Kim et al. Rover mast calibration, exact camera pointing, and camera handoff for visual target tracking
CN116358525A (zh) 基于激光雷达的建图与定位方法、系统及工程车辆
CN113558522B (zh) 应用于清洁机器人的行进控制方法以及清洁机器人
Jiménez et al. Laser interferometry measurements based calibration and error propagation identification for pose estimation in mobile robots

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 10