KR101527876B1

KR101527876B1 - Method of real-time recognizing and tracking for underwater objects using sonar images

Info

Publication number: KR101527876B1
Application number: KR1020130141914A
Authority: KR
Inventors: 이영준; 최현택; 김태균
Original assignee: 한국해양과학기술원
Priority date: 2013-11-21
Filing date: 2013-11-21
Publication date: 2015-06-11
Also published as: KR20150059191A

Abstract

본 발명은 본 발명은 수중 영상 소나(sonar)를 이용하여 수중의 물체를 탐색 및 인식하기 위한 방법에 관한 것으로, 본 발명에 따르면, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공되며, 또한, 그러한 방법을 이용하여 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇이 제공된다. The present invention relates to a method for searching and recognizing an object in water using an underwater image sonar. According to the present invention, there is provided a method for searching and recognizing an object underwater using an underwater image sonar, In order to solve the problems of underwater object detection methods using a conventional image sonar, in which an object can not be easily identified due to a large amount of noise, and which has been difficult to perform posterior image processing, The candidate candidate is determined from the candidate image or the new candidate image candidate in the subsequent image, the final candidate is determined from the candidate image, the robust recognition algorithm is applied to recognize the object from the final candidate, and a plurality of tracking algorithms To perform tracking, it is possible to detect a continuously progressing image in real time A method for recognizing and tracking an underwater object using a real-time image processing of a new sonar image configured to be capable of image processing is provided, and also a method for recognizing and tracking an underwater object A robot is provided.

Description

BACKGROUND OF THE INVENTION Field of the Invention The present invention relates to a method and apparatus for recognizing and tracking underwater objects using real-

본 발명은 영상 소나(image sonar)를 이용하여 수중의 물체를 탐색, 인식 및 추적하기 위한 방법에 관한 것으로, 더 상세하게는, 소나 영상의 특성이나 환경적인 요인 및 부족한 정보의 양으로 인해 안정적이고 명확한 정보의 습득이 어려운 소나 영상의 단점을 해소하기 위해, 찾고자 하는 물체와 다수의 유사한 물체를 후보로서 선택하고 각각의 후보를 모두 확률적 방법에 의해 평가함으로써, 실제로 찾고자 하는 물체가 아닌 것을 제거한 후, 남은 최종 후보에 대하여 여러 영상 인식 방법을 동시에 적용하여 강인한 인식 결과를 얻으며, 인식에 성공한 물체에 대하여 역시 여러 추적 방법을 동시에 적용하여 강인한 추적 결과를 얻을 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
The present invention relates to a method for searching, recognizing and tracking an object in water using an image sonar, and more particularly, to a method for searching, recognizing and tracking an object in water by using sonar, In order to solve the disadvantage of the sonar image which is difficult to acquire clear information, the object to be searched and a large number of similar objects are selected as candidates, and all the candidates are evaluated by the probabilistic method, , Real-time image processing of sonar images to obtain robust recognition results by simultaneously applying multiple image recognition methods to the remaining final candidates, and robust tracking results by simultaneously applying multiple tracking methods to recognized objects And to a method for recognizing and tracking an underwater object.

또한, 본 발명은, 영상이 입력되면 해당 영상에서 수중물체에 대한 후보를 선택하고, 다음 영상에서 다시 후보 선택을 하는 동안 이미 선택된 후보를 최종 후보로 결정할 것인지를 동시에 판단하며, 이미 최종 후보로 선택된 영상이 있다면 해당 영상을 인식하고 인식된 물체에 대하여 추적을 행하는 전체의 과정이 동시에 진행되도록 구성되며, 또한, 연속적인 영상에서 계속 나타나는 후보를 실제 물체로 판단하고 그렇지 않으면 잡음으로 판별하는 것에 의해, 전체 영상이 아닌 선택된 국부적인 영상을 처리함으로써 영상처리 시간이 단축될 수 있어 실시간 처리에 적합하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
In addition, according to the present invention, when an image is input, a candidate for a submerged object is selected from the image, and at the same time, a candidate already selected during the selection of the candidate again in the next image is judged as a final candidate. If there is an image, the entire process of recognizing the image and tracking the recognized object is performed simultaneously. In addition, a candidate continuously appearing in a continuous image is determined as an actual object, and if it is determined as a noise, The present invention relates to a method of recognizing and tracking an underwater object using a real-time image processing of a sonar image configured to be suitable for real-time processing because the image processing time can be shortened by processing a selected local image instead of the whole image.

아울러, 본 발명은, 상기한 바와 같이 실시간 처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 자연물이나 수중에 미리 설치된 인공 표식물을 수중 영상 소나를 통해 식별함으로써 현재 위치 파악 및 이동경로의 결정이 가능하도록 구성되는 자율형 수중 로봇에 관한 것이다.
In addition, the present invention provides a method of recognizing and tracking an underwater object using real-time image processing of a sonar image configured to be capable of real-time processing as described above, So that it is possible to grasp the current position and determine the movement route.

종래, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위하여, 영상 정보를 활용한 물체 탐색 및 인식과 항법에 관한 다양한 연구가 수행되어 왔다(참고문헌 1 내지 3 참조).
Conventionally, in order to obtain information necessary for position recognition and navigation in an underwater environment, various studies have been conducted on object search, recognition, and navigation using image information (refer to References 1 to 3).

더 상세하게는, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위한 종래의 방법으로는, 먼저, 예를 들면, IMU(Inertial Mearsurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.
More specifically, as a conventional method for obtaining information necessary for position recognition and navigation in an underwater environment, first, for example, an IMU (Inertial Marement Unit), a DVL (Doppler Velocity Logs) However, IMU and DVL have a disadvantage in that accurate position information can not be obtained due to large or cumulative errors. USBL is not expensive, but it is very expensive. In addition, Which is very difficult and limited.

또한, 최근에는, 수중 영상처리를 이용하여 직접 상대적인 위치를 계측하거나 다른 센서 결과에 대한 오차를 보정하는 연구가 진행되어 많은 연구에서 광학 카메라를 사용하여 영상을 획득하는 방법을 제시하고 있으나, 광학 영상은 탁도 및 빛의 영향으로 제한된 시계를 극복하기 어렵다는 문제가 있는 것이었다.
In recent years, studies have been carried out to directly measure relative positions using underwater image processing or to correct errors in other sensor results, and many studies have suggested a method of acquiring images using an optical camera, There was a problem that it was difficult to overcome a clock limited by the influence of turbidity and light.

이에, 상기한 바와 같은 광학 카메라에 대한 대안으로, 수중 영상 소나(sonar)를 사용하여 얻어진 영상을 통해 수중의 상황을 판단하는 방법이 널리 사용되고 있다.
As an alternative to the above-mentioned optical camera, a method of determining the underwater situation through an image obtained using an underwater image sonar is widely used.

아울러, 최근에는, 컴퓨터 등을 통해 소나 영상과 이에 대한 후처리(영상처리)를 행하여 탁도에 의한 시야 확보의 어려움을 감소하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술내용이 제시된 바 있으나, 현존하는 최고 성능의 소나로도 자연물의 인식이 매우 어려운 관계로, 현재로서는 해당 분야에 대한 연구가 사실상 정체된 상태에 있다.
Recently, there has been proposed a technology for reducing the difficulty of securing a view due to turbidity and observing an image of an underwater environment by performing post-processing (image processing) on a sonar image and a computer through a computer, The recognition of natural objects is very difficult even with the existing sonar of the highest performance, and at present, research on the relevant field is in fact stagnant.

여기서, 영상 소나는, 초음파를 사용하여 주변 환경을 계측하는 장비로서, 수중의 환경을 파악하는데 유용하게 사용되나, 소나 영상은, 예를 들면, 물체의 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있다(참고문헌 4 내지 6 참조).
Here, the image sonar is an instrument for measuring the surrounding environment using ultrasonic waves, and is useful for grasping the underwater environment. However, the sonar image is a characteristic that is highly influenced by the environment such as the material of the object There is a limit to clearly expressing objects in water (see References 4 to 6).

더 상세하게는, 도 1을 참조하면, 도 1은 실해역에서 획득한 소나 영상을 나타내는 도면으로, 도 1a는 실제 해양 환경에 대한 영상이고, 도 1b는 인공물에 대한 광학 영상과 소나 영상을 비교하여 각각 나타내고 있다.
More specifically, referring to FIG. 1, FIG. 1 is a view showing a sonar image acquired in a sea area, wherein FIG. 1A is an image for an actual ocean environment, FIG. 1B is a comparison between an optical image and a sonar image for an artifact Respectively.

도 1에 나타낸 바와 같이, 영상 소나를 이용하여 획득된 소나 영상은 물체를 정확하게 구별할 수 없으며, 도 1b에 나타낸 인공물의 경우, 형태가 안정적으로 보이는 광학 영상과 달리 소나 영상은 벽돌의 육면체 형태와 고무 주름관의 주름 형태를 확인할 수 없다.
As shown in FIG. 1, the sonar image obtained using the image sonar can not accurately distinguish the object. In the case of the artifact shown in FIG. 1B, the sonar image is different from the optical image in which the shape is stable, The wrinkle shape of the rubber corrugated pipe can not be confirmed.

상기한 바와 같이, 소나 영상은, 물체의 정보를 명확히 전달하지 못하는 한계가 있음으로 인해 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있는 데 더하여, 광학 카메라에 비해 낮은 화질과 노이즈가 많은 영상으로 인해 물체를 보다 용이하게 식별할 수 있도록 하기 위한 사후적인 영상처리에도 많은 어려움이 따르는 것이었다.
As described above, since the sonar image has a limitation that it can not clearly convey the information of the object, it is difficult to search and recognize the object only by the sonar image itself, and in addition to the image having a lower image quality and noise than the optical camera And it was difficult for the post-processing of the image to make it easier to identify the object.

더욱이, 수중에서 자율적으로 활동하는 수중 로봇을 구현하기 위하여는, 수중의 지형이나 장애물 등을 정확히 인식하고 이동경로를 결정할 수 있어야 하나, 상기한 바와 같이, 종래의 소나 영상 처리방법으로는 수중 물체의 식별이 매우 어려움으로 인해 수중 영상 소나만으로 수중 환경 정보를 수중 로봇을 제공하는 데는 한계가 있으며, 그로 인해 수중 로봇의 구현에도 많은 어려움이 따르는 문제도 있었다.
Further, in order to realize an autonomous underwater robot that operates underwater, it is necessary to accurately recognize the terrain or obstacle in the water and determine the movement route. However, as described above, in the conventional sonar image processing method, Due to the difficulties in identification, it is difficult to provide underwater robots with underwater visual information only by using underwater images. Therefore, it is difficult to implement underwater robots.

따라서 상기한 바와 같은 종래기술의 영상 소나를 이용한 방법들의 문제점을 해결하기 위하여는, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제공되지 못하고 있는 실정이다.
Therefore, in order to solve the problems of the conventional methods using the image sonar as described above, it is necessary to determine the candidate for the object to be searched in the image obtained through the underwater image sensor, The final candidate is selected, the object is recognized from the final candidate by applying a robust multiple recognition algorithm, and a plurality of tracking algorithms are applied to the recognized object to track the image, It is desirable to provide a method of recognizing and tracking an underwater object using a real-time image processing of a new sonar image configured to be able to process an image with a predetermined resolution. However, a device or a method satisfying all of such requirements has not been provided yet.

[참고문헌] [references]

1. M. Dunbabin, K. Usher, and P. Corke, "Visual motion estimation for an autonomous underwater reef monitoring robot", in Field and Service Robotics: Results of the 5th International Conference, P. Corke andS. Sukkariah, Eds. Springer Verlag, vol. 25, pp. 31-42, 2006. 1. M. Dunbabin, K. Usher, and P. Corke, "Visual motion estimation for an autonomous underwater reef monitoring robot", in Field and Service Robotics: Results of the 5th International Conference, P. Corke and S. Sukkariah, Eds. Springer Verlag, vol. 25, pp. 31-42, 2006.

2. F. Dalgleish, S. Tetlow, and R. All wood, "Vision-based navigation of unmanned underwater vehicles: a survey part 1: Vision-based cable-, pipeline-, and fish tracking", Journal of Marine Design and Operations, no. B7, pp. 51-56, 2004. 2. F. Dalgleish, S. Tetlow, and R. Allwood, "Vision-based navigation of unmanned underwater vehicles: a survey part 1: Vision-based cable-, pipeline-, and fish tracking" Operations, no. B7, pp. 51-56, 2004.

3. 한경민, 이영준, 최현택, "3 phased state recognition method for close distances docking of underwater robots", 제7회 한국로봇공학회 하계종합 학술대회, 강릉, 대한민국, Jun 21-23, 2012. 3. The 3rd International Conference on Robotics and Robotics, Kangreung, South Korea, Jun 21-23, 2012.

4. 김지영, 안국진, "초음파의 기본 물리와 허상", Journal of Clinical Otolarynology, Vol 18, pp.135-143, 2007. 4. Kim, JH and Ahn, KJ, "Fundamental Physics and Imagery of Ultrasound", Journal of Clinical Otolarynology, Vol. 18, pp.135-143, 2007.

5. S. C. Yu, T. W. Kim, A. Asada S. Weatherwas, B. Collins, J. K. Yuh, "Development of high-resolution acoustic camera based real-time object recognition system by using autonomous underwater vehicle", Proceedings of MTS/IEEE OCEANS 2006 Boston Conference and Exhibition, Boston, USA, Sep 15-21, 2006. 5. SC Yu, TW Kim, A. Asada S. Weatherwas, B. Collins, JK Yuh, "Development of high-resolution acoustic camera based real-time object recognition system using autonomous underwater vehicle", Proceedings of MTS / IEEE OCEANS 2006 Boston Conference & Exhibition, Boston, USA, Sep 15-21, 2006.

6. 이영준, 한경민, 최현택, "수중 초음파 카메라를 위한 인공 표식물 설계 및 구현", 2012 추계 정보 및 제어 심포지움, 대한민국, Oct 18-20, 2012. 6. Lee, Young Kyun, Han Kyung Min, Choi Hyun Taek, "Design and Implementation of Artificial Markers for Underwater Ultrasonic Cameras", 2012 Autumn Information and Control Symposium, Korea, Oct 18-20, 2012.

7. E. Belcher, W. Hanot, and J. Burch, "Dual-Frequency identification Sonar", Proceedings of the 2002 International Symposium on Underwater Technology, Tokyo, Japan, pp.187-192, April 16-19, 2002. 7. E. Belcher, W. Hanot, and J. Burch, "Dual-Frequency identification Sonar", Proceedings of the 2002 International Symposium on Underwater Technology, Tokyo, Japan, pp. 187-192, April 16-19, 2002.

8. 이영준, 최현택, "A Comparative study on feature extraction methods for environment recognition using underwater acoustic image", 제8회 한국로봇종합학술대회, 대한민국, 2013. 8th Korea Robotics Conference, Republic of Korea, 2013, "A Comparative Study on Feature Extraction Methods for Underwater Acoustic Image"

9. Rhody, Harvey. "Lecture 10: Hough Circle Transform", Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005. 9. Rhody, Harvey. "Lecture 10: Hough Circle Transform ", Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, 2005.

10. N. Y. Ko, T. G. Kim, and Y. S. Moon, "Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival", Proc. IEEE/MTS OCEANS 2012. 10. N. Y. Ko, T. G. Kim, and Y. S. Moon, "Particle Filter Approach for Localization of an Underwater Robot Using Time Difference of Arrival", Proc. IEEE / MTS OCEANS 2012.

11. A. Goshtasby, "Description and Discrimination of Planar Shape Using Shape matrices", Pattern Analysis and Machine Intelligence, IEEE Transactios, 1985. 11. A. Goshtasby, " Description and Discrimination of Planar Shape Using Shape matrices ", Pattern Analysis and Machine Intelligence, IEEE Transactios, 1985.

12. D. Comaniciu, V. Ramesh, and P. Meer. "Real-time tracking of non-rigid objects using mean shift." Computer Vision and Pattern Recognition, IEEE, 2000
12. D. Comaniciu, V. Ramesh, and P. Meer. "Real-time tracking of non-rigid objects using mean shift." Computer Vision and Pattern Recognition, IEEE, 2000

[선행기술문헌] [Prior Art Literature]

1. 한국 등록특허 제10-1249374호(2013.03.26.) 1. Korean Registered Patent No. 10-1249374 (Mar.

2. 한국 등록특허 제10-1236970호(2013.02.19.) 2. Korean Patent No. 10-1236970 (Feb.

3. 한국 등록특허 제10-0813577호(2008.03.07.) 3. Korean Patent No. 10-0813577 (Mar. 07, 2008)

4. 한국 등록특허 제10-0439009호(2004.06.24.)
4. Korean Patent No. 10-0439009 (June 24, 2004)

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 제공하고자 하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art and it is an object of the present invention to provide an image pickup apparatus and method which can easily identify an object by using a sonar image, In order to solve the problems of the underwater object detection methods using the conventional image sonar which has many difficulties in the post-processing of the image, the candidates for the object to be searched in the image obtained through the underwater image sonar are determined, The final candidate is determined by selecting the candidate or the new candidate, the object is recognized from the final candidate by applying a robust multiple recognition algorithm, and tracking is performed by applying a plurality of tracking algorithms to the recognized object, Real-time image processing for progressive images It is intended to provide a recognition and tracking method of the underwater object by using a real-time image processing of a new sonar image.

또한, 본 발명의 다른 목적은, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공하고자 하는 것이다.
It is another object of the present invention to provide a real-time image processing of a sonar image, which is capable of enhancing object recognition performance in an underwater environment in which various types of images can be processed in real- And to provide an underwater robot configured to be able to grasp its own position in the water and to perform autonomous actions using the method of recognizing and tracking an underwater object using the underwater robot.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 있어서, 입력되는 소나 영상 내에서 찾고자 하는 대상체와 유사도가 높은 물체를 모두 관심후보로 선택하는 관심후보 선택단계; 상기 유사도 기반 관심후보 선택단계에서 선택된 각각의 상기 관심후보에 대하여 각 후보가 이후의 영상에서 계속하여 나타나는지를 의미하는 연속성 및 잡음 여부를 평가하여 최종후보를 선택하는 최종후보 선택단계; 상기 최종후보 선택단계에서 선정된 각각의 최종후보를 중심으로 미리 정해진 일정 범위에 대하여 설정되는 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하는 지역영상 처리과정을 수행하여 영상 내의 물체를 인식하는 인식단계; 및 상기 인식단계에서 인식된 물체에 대하여 각각 복수의 추적 알고리즘을 적용하여 상기 소나의 움직임이나 상기 물체의 움직임을 추적하는 추적단계를 포함하여 구성되고, 영상 전체에 대하여 영상처리를 반복 수행할 필요 없이 각각의 상기 최종후보들을 중심으로 일정 범위에 대하여만 영상처리가 수행됨으로써, 처리용량 감소 및 처리속도 증가가 가능하여 복수의 알고리즘을 적용하더라도 연속적으로 진행되는 상기 소나 영상에 대하여 실시간으로 영상처리가 가능한 동시에, 실시간으로 영상처리된 상기 소나 영상을 통하여 상기 수중물체의 인식 및 식별의 용이성을 높일 수 있도록 구성되며, 복수의 인식 알고리즘 및 복수의 추적 알고리즘을 동시에 적용하고 각각의 결과를 종합하여 상기 수중물체에 대한 인식 및 추적이 이루어짐으로써, 상기 수중물체에 대한 인식 및 추적의 정확성 및 강인성을 높일 수 있는 동시에, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 불확실성을 개선하여 항상 정확한 결과를 얻을 수 있도록 구성되는 것을 특징으로 하는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공된다.
In order to achieve the above object, according to the present invention, it is difficult to identify an object easily due to high quality and noise of a sonar image, environmental factors, and an optical camera, A method of recognizing and tracking an underwater object using real-time image processing of a sonar image, which is configured to enhance object recognition performance in an underwater environment, in order to solve problems of underwater object detection methods using a conventional image sonar, A point of interest selection step of selecting all objects having similarity to a target object to be searched in the image as interested candidates; A final candidate selection step of selecting a final candidate by evaluating continuity and noise whether each candidate continuously appears in a subsequent image with respect to each of the interested candidates selected in the similarity-based interest candidate selection step; A recognition step of recognizing an object in an image by performing a local image processing process of applying a plurality of recognition algorithms to a region of interest set for a predetermined range centered on each final candidate selected in the final candidate selection step ; And a tracking step of tracking the movement of the sonar or the movement of the object by applying a plurality of tracking algorithms to the object recognized in the recognition step, The processing capacity can be reduced and the processing speed can be increased by performing the image processing only for a certain range centering on each of the final candidates so that the sonar image continuously processed can be processed in real time even if a plurality of algorithms are applied A plurality of recognition algorithms and a plurality of tracking algorithms are applied at the same time, and the results of the simultaneous processing are applied to the underwater object Recognition and tracking are performed, It is possible to improve the accuracy and robustness of the recognition and tracking of the underwater object, and at the same time, it is possible to improve the uncertainty in which recognition is performed well in a specific case when only a single method is applied, And an accurate result is obtained. The method of recognizing and tracking an underwater object using real-time image processing of a sonar image is provided.

여기서, 상기 관심후보 선택단계는, 입력 영상과 상기 대상체 사이의 유사도를 비교하여 유사도 영상을 구하는 단계; 및 상기 유사도 영상으로부터 상기 대상체일 가능성이 있는 것으로 여겨지는 후보를 모두 관심후보로 선택하는 단계를 포함하여 구성되는 것을 특징으로 한다.
The step of selecting the candidate of interest includes the steps of: obtaining a similarity image by comparing the similarity between the input image and the object; And selecting all the candidate candidates that are considered to be the object from the similarity image as the interested candidates.

또한, 상기 유사도 영상을 구하는 단계는, 이하의 수학식을 이용하여, 상기 대상체의 외부 외곽선 실측정보를 소나 영상평면의 (x,y) 픽셀 정보로 변환하는 것에 의해 상기 대상체의 크기를 상기 소나 영상에서 상기 대상체가 위치한 거리와 각도에 따라 변형하는 단계; 및
The step of obtaining the similarity image may further include the step of converting the actual outline information of the target object into the (x, y) pixel information of the sonar image plane using the following equation, A step of deforming the object according to a distance and an angle at which the object is located; And

(여기서, x_distort, y_distort는 각각피치각(pitch angle)에 대하여 왜곡된 외곽선(distorted outline)이고, x_real, y_real은 각각 X축 및 Y축에서 표식물의 외곽선(outline)이며, x_img, y_img는 각각 영상 평면(image plane)에서 픽셀 단위로 추정된 외곽선(estimated outline)임)
(Where x _distort and y _distort are respectively X _real and y _real are the outline of the marker in the X and Y axes respectively and x _img and y _img are the outline of the image plane in the image plane ) &Lt; / RTI > estimated outline in pixel units)

허프 변환(hough circle transform)을 이용하여, 입력 영상의 각 위치에 상기 대상체가 존재할 확률을 밝기값으로 나타낸 유사도 영상을 구하는 단계를 포함하여 구성되는 것을 특징으로 한다.
And calculating a similarity image in which the probability of the object existing at each position of the input image is expressed by a brightness value using a hough circle transform.

아울러, 상기 선택하는 단계는, 상기 유사도 영상에 근거하여 밝기값이 높은 점 또는 지역을 차례로 상기 관심후보로서 선택하는 단계를 포함하여 구성되는 것을 특징으로 한다.
According to another aspect of the present invention, in the selecting step, the point of interest or the region having a high brightness value is sequentially selected as the interested candidate based on the similarity image.

더욱이, 상기 최종후보 선택단계는, 파티클 필터를 이용한 확률 기반 필터링을 통하여 상기 관심후보 선택단계에서 선택된 상기 관심후보들 중 잡음이나 잘못 선택된 후보들을 제외하고, 나머지 후보들을 상기 최종후보로서 선택하도록 구성되는 것을 특징으로 한다.
The final candidate selection step may be configured to select noise candidates or erroneously selected candidates selected from the interest candidates selected in the interest candidate selection step through probability based filtering using the particle filter and to select the remaining candidates as the final candidate .

여기서, 상기 최종후보 선택단계는, 모든 입자 그룹에 대하여, 각각의 입자 그룹이 미리 정해진 특정한 지표값을 만족하는 지에 대한 지표평가 및 입자 그룹간 동일 대상체의 중복 검출 유무에 대한 평가를 포함하는 평가조건에 의해 잡음 및 사라진 후보 여부를 판단하고, 상기 평가조건을 모두 만족하는 입자 그룹을 최종 후보로서 선택하도록 구성되는 것을 특징으로 한다.
Here, the final candidate selection step may include a step of evaluating an index of whether each particle group satisfies a predetermined index value and evaluating whether or not each particle group satisfies a predetermined condition And selects a particle group satisfying all of the evaluation conditions as a final candidate.

또한, 상기 인식단계는, 각각의 상기 최종후보 중에서 찾고자 하는 물체가 어떤 것인지를 판별하기 위해, 상기 최종후보 선택단계에서 선정된 각각의 상기 최종후보를 중심으로 설정되는 상기 관심영역에 대하여 각각 복수의 인식 알고리즘을 적용하여 각각의 결과를 구하고, 각각의 상기 알고리즘에 의한 결과에 대하여 상수 가중치를 적용하거나, 학습에 의하여 변경 가능한 적응 가중치를 적용한 후, 각각의 결과를 통합하여 최종 판단을 도출하도록 구성되는 것을 특징으로 한다.
The recognizing step may include a step of recognizing each of the plurality of ultrasound candidates for each of the plurality of ultrasound images to determine an object to be searched out from each of the ultrasound candidates, A recognition algorithm is applied to each result, a constant weight is applied to the result of each algorithm, a changeable adaptive weight is applied by learning, and the result is combined to derive a final decision .

아울러, 상기 인식단계는, 상기 인식 알고리즘 중 하나로서, 형태를 면적에 근거하여 판단하는 형태행렬 인식(shape matrix identification) 방법을 적용하도록 구성되는 것을 특징으로 한다.
The recognition step may be one of the recognition algorithms, and is configured to apply a shape matrix identification method for determining a shape based on an area.

여기서, 상기 형태행렬 인식방법은, 이미 알고 있는 형태행렬 A와 상기 최종후보 선택단계에서 구해진 형태행렬 B 사이의 매칭 함수(matching function)를 이용하도록 구성되며, 상기 매칭함수는, 이하의 수학식으로 나타내지는 것을 특징으로 한다.
Here, the shape matrix recognition method is configured to use a matching function between an already known shape matrix A and a shape matrix B obtained in the final candidate selection step, and the matching function is expressed by the following equation .

더욱이, 상기 추적단계는, 상기 물체인식단계에서 인식된 각각의 물체에 대하여 평균-이동 추적(mean-shift tracking) 및 확률기반 알고리즘을 포함하는 복수의 추적 알고리즘을 복합적으로 적용하고 각각의 알고리즘으로부터 얻어진 결과를 종합하여 영상 내의 물체를 추적하도록 구성됨으로써, 추적의 정확성 및 강인성을 높이고, 실시간 영상처리를 통해 정확하고 정밀한 추적이 가능하도록 구성되는 것을 특징으로 한다.
Further, the step of tracing may further comprise: applying a plurality of tracking algorithms including a mean-shift tracking and a probability-based algorithm to each object recognized in the object recognition step, And is configured to track an object in the image by combining the results, thereby enhancing the accuracy and robustness of tracking, and enabling accurate and precise tracking through real-time image processing.

또한, 본 발명에 따르면, 수중에서 자율적인 행동이 가능하도록 구성되는 자율형 수중 로봇에 있어서, 상기에 기재된 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 자연물이나 수중에 미리 설치된 인공 표식물을 수중 영상 소나를 통해 식별함으로써 현재 위치 파악 및 이동경로의 결정이 가능하도록 구성되는 것을 특징으로 하는 자율형 수중 로봇이 제공된다.
According to the present invention, there is also provided an autonomous underwater robot configured to be able to perform autonomous actions in water, using a method of recognizing and tracking an underwater object using real-time image processing of the sonar image described above, Wherein the robot is configured to identify a current position and determine a movement route by identifying a preset artificial marker through an underwater image sensor.

상기한 바와 같이, 본 발명에 따르면, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공됨으로써, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결할 수 있다.
As described above, according to the present invention, a candidate for an object to be searched is determined in an image obtained through an underwater image sonar, a final candidate is determined by selecting the candidate or new candidate in a subsequent image, Recognition algorithm is applied to recognize an object from the final candidate and a tracking algorithm is applied to a recognized object to track the image of the sonar image in a real- Since the recognition and tracking method of underwater objects using real-time image processing is provided, there are many characteristics such as sonar image, environmental factors, and low image quality and noise compared with optical cameras, so that the object can not be easily identified. A method of detecting underwater objects using a conventional image sonar You can solve the problem.

또한, 본 발명에 따르면, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공할 수 있다.
In addition, according to the present invention, as described above, real-time image processing of a continuous image can be performed, and real-time image processing of a sonar image configured to improve object recognition performance in various underwater environments It is possible to provide an underwater robot configured to be able to grasp its own position in the water and perform autonomous actions using the method of recognizing and tracking an underwater object.

도 1은 실해역에서 획득한 소나 영상을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 각 단계의 구체적인 구성을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용된 인공 표식물의 전체적인 구성 및 각각의 ID를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용되는 확률기반 필터링 방법의 센서 모델의 구성을 나타내는 도면이다.
도 6은 대상체 모델의 크기에 따라 실제 영상에서 대상물이 적절하게 일치하는지를 검증한 결과를 나타내는 도면이다.
도 7은 다중 후보 선택실험 결과를 나타내는 도면이다.
도 8은 다중 물체 검출실험 결과를 나타내는 도면이다. 1 is a view showing a sonar image acquired in a real sea area.
2 is a diagram schematically showing the overall configuration of an underwater object recognition and tracking method using real-time image processing of a sonar image according to an embodiment of the present invention.
3 is a diagram schematically showing a concrete configuration of each step of a method for recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention.
4 is a diagram schematically showing the overall configuration and IDs of artificial markers applied to a method of recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention.
5 is a diagram showing a configuration of a sensor model of a probability-based filtering method applied to an underwater object recognition and tracking method using real-time image processing of a sonar image according to an embodiment of the present invention.
6 is a diagram showing a result of verifying whether or not an object matches appropriately in an actual image according to the size of the object model.
7 is a diagram showing a result of multiple candidate selection experiments.
FIG. 8 is a diagram showing the results of multiple object detection experiments. FIG.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 구체적인 실시예에 대하여 설명한다.
Hereinafter, a method for recognizing and tracking an underwater object using real-time image processing of a sonar image according to the present invention will be described with reference to the accompanying drawings.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
Hereinafter, it is to be noted that the following description is only an embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
In the following description of the embodiments of the present invention, parts that are the same as or similar to those of the prior art, or which can be easily understood and practiced by a person skilled in the art, It is important to bear in mind that we omit.

즉, 본 발명은, 후술하는 바와 같이, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결하기 위해, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 새로운 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 관한 것이다.
That is, according to the present invention, as described later, since the characteristics and the environmental factors of the sonar image and the image quality and the noise are lower than those of the optical camera, it is difficult to identify the object easily and the post- In order to solve the problems of the underwater object detection methods using sonar, a candidate for an object to be searched is determined in an image obtained through an underwater image sonar, and a final candidate is determined by selecting the candidate or new candidate in a subsequent image , Recognizing objects from final candidates by applying a number of robust recognition algorithms, and applying tracking algorithms to a plurality of recognized objects so that images can be continuously processed in real time Of the underwater object using real-time image processing of new sonar image And a tracking method.

또한, 본 발명은, 후술하는 바와 같이, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇에 관한 것이다.
In addition, the present invention provides a method and apparatus for realizing image processing in a real time image processing of a sonar image, which is configured to enhance object recognition performance in an underwater environment in which various types of images can be processed in real time, The present invention relates to an underwater robot configured to allow its own position and autonomous behavior to be performed in water by using a method of recognizing and tracking an underwater object.

여기서, 이하에 설명하는 본 발명의 실시예에 있어서는, 영상 소나의 한 종류로서 현존하는 최고 성능의 영상 소나 중 하나인 Sound Metrics사의 "Dual-frequency Identification Sonar(DIDSON)"를 사용하는 경우를 예로 하여 본 발명을 설명하였으나(참고문헌 7 참조), 본 발명은 이러한 경우로만 한정되는 것은 아니며, 필요에 따라 얼마든지 다른 종류의 영상 소나에도 적절하게 적용될 수 있는 것임은 당업자라면 누구나 용이하게 이해할 수 있을 것이다.
Here, in the embodiment of the present invention described below, as an example of the case of using "Dual-frequency Identification Sonar (DIDSON)" of Sound Metrics, which is one of the existing highest performance image sonar as one type of image sonar Although the present invention has been described (refer to Reference 7), it is easily understood by those skilled in the art that the present invention is not limited to such a case and can be suitably applied to various types of image signals as required .

또한, 본 발명의 실시예에 따른 수중 영상 소나에 의한 식별 및 영상처리가 용이한 인공 표식물을 설명하기 전에, 먼저, 소나 영상의 특징에 대하여 설명하면, 소나 영상은, 카메라와 물체 간의 상대적인 거리와 방향각을 가로축과 세로축으로 나타내고, 물체에서 반사되어 오는 초음파의 세기를 화소 값(Intensity)으로 표현하여 나타내는 것으로, 여기서, 상기한 DIDSON은, 가로 방향으로 96개의 빔-어레이(Beam array)를 통해 초음파를 보내고 받으며 영상에서 가로축에 표현되고, 세로 방향으로는 512 단계로 거리를 표현하며 영상의 세로축에 표현된다.
Before explaining artificial markers that can be easily identified and processed by an underwater image sonar according to an embodiment of the present invention, first, the characteristics of a sonar image will be described. A sonar image is a distance between a camera and an object The direction angle is represented by a horizontal axis and a vertical axis, and the intensity of an ultrasonic wave reflected from an object is represented by a pixel value (Intensity). Here, the DIDSON includes 96 beam- The ultrasonic waves are transmitted and received and expressed on the horizontal axis in the image, and in the longitudinal direction, the distance is expressed in 512 steps and expressed on the vertical axis of the image.

따라서 DIDSON에 의한 소나 영상은, 가로×세로가 96×512 픽셀(pixel)에 불과한 저화질 영상을 얻게 되어 광학 카메라에 비해 영상이 뚜렷하지 않으며, 이때, 영상의 각 화소는 물체에 부딪히고 돌아오는 초음파의 세기를 나타내는 것으로, 이 값은 물체의 표면 재질에 따라 달라진다.
Therefore, the sonar image by DIDSON obtains a low-quality image with a size of only 96 × 512 pixels (width × height), so that the image is not distinct compared with the optical camera. In this case, each pixel of the image is an ultrasound This value depends on the surface material of the object.

아울러, 광학 카메라는 수중의 탁도와 빛에 민감하여 맑은 물이 아닌 일반적인 바다에서는 매우 가까운 거리만 사용 가능한 반면, 초음파는, 빛과 관계없고 탁도의 영향도 적게 받으므로 광학 카메라에 비하여 수중 환경에 월등히 유리하나, 물체의 표면 재질에 민감하고 이러한 환경적 요인에 의해 화소 값의 차이 및 잡음(noise)이 많이 포함되게 되며, 그것에 의해, 카메라와 물체가 고정된 상태에서 영상을 관찰하여도 물체의 경계선이 뚜렷하게 나오지 않거나 흔들리고, 물체 주변이 뿌옇게 나오는 영상을 얻게 된다.
In addition, since the optical camera is sensitive to turbidity and light in the water, it can be used only in a very short distance in general sea, not in clear water, while ultrasound is not related to light and turbidity affects less, Glass, and the surface material of an object. By this environmental factor, a difference in pixel value and a lot of noise are included so that even if an image is observed while the camera and the object are fixed, The image is not clear or shaky, and the object is blurred.

따라서 이러한 현상은 컴퓨터를 통한 영상처리를 어렵게 만드는 요인이 되며, 더욱이, 이러한 소나 영상의 특징에 의해, 영상 개선(enhancement)과 그 다음 과정인 물체 인식(recognition) 단계로 가기 위해서는, 잡음(Noise) 제거, 물체 외곽선 강조 및 영상의 확장 등과 같은 사전 영상처리가 필요하게 된다.
Therefore, in order to perform the image enhancement and the recognition of the next step of the object according to the characteristics of the sonar image, Elimination, object outline emphasis, and image extension.

또한, 상기한 바와 같이 영상 소나를 이용하여 자연환경을 인식하기란 쉽지 않으며, 즉, 영상이라는 방대한 정보에서 원하는 정보만을 찾는 것은 아직도 매우 어려운 문제이다.
In addition, as described above, it is not easy to recognize the natural environment by using the image sonar. Namely, it is still very difficult to find only the desired information from the vast amount of information.

이에, 본 발명자들은, 이러한 문제점을 극복하기 위해, 후술하는 바와 같이, 연속으로 진행되는 소나 영상에 대하여 실시간 영상처리를 통해 물체를 식별할 수 있도록 구성되는 새로운 물체탐지, 인식 및 추적방법을 제안하였다.
In order to overcome this problem, the present inventors have proposed a new object detection, recognition, and tracking method that can identify an object through real-time image processing on a continuous sonar image as described later .

계속해서, 도면을 참조하여, 상기한 바와 같은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 구체적인 내용에 대하여 설명한다.
Next, with reference to the drawings, the details of the method of recognizing and tracking an underwater object using the real-time image processing of the sonar image according to the embodiment of the present invention will be described.

먼저, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
Referring to FIG. 2, FIG. 2 is a diagram schematically showing the overall configuration of an underwater object recognition and tracking method using real-time image processing of a sonar image according to an embodiment of the present invention.

또한, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 각 단계의 구체적인 구성을 개략적으로 나타내는 도면이다.
3 is a block diagram schematically showing a detailed configuration of each step of a method for recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention.

즉, 도 2 및 도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법은, 크게 나누어, 찾고자 하는 대상체와 유사도가 높은 물체를 모두 관심후보로 선택하는 유사도 기반 관심후보 선택단계와, 확률 기반 필터링을 통해 각 후보의 연속성 및 잡음 여부를 평가하여 적어도 하나 이상의 최종후보를 선택하는 확률 기반 최종후보 선택단계와, 상기 단계에서 선정된 최종후보를 중심으로 지정된 관심영역에 대하여만 집중적으로 지역영상 처리과정을 수행하여 영상 내의 물체를 인식하는 물체인식단계 및 인식된 물체에 대하여 평균-이동 추적(mean-shift tracking) 및 확률기반 알고리즘 등과 같은 적어도 하나 이상의 추적 알고리즘을 동시에 적용하여 소나의 움직임이나 물체의 움직임을 추적하는 추적단계를 포함하여 이루어진다.
2 and 3, the method of recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention is roughly divided into two methods. First, Based candidate candidate selection step of selecting candidate candidate candidates based on the similarity-based candidate candidates, probability-based final candidate selection step of evaluating continuity and noise of each candidate through probability-based filtering to select at least one final candidate, Such as mean-shift tracking and probability-based algorithms, on the recognized object by performing a local image processing process intensively only on the designated region of interest One or more tracking algorithms can be applied simultaneously to track sonar movements or object movements And a tracking step.

더 상세하게는, 먼저, 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 유사도 기반 관심후보 선택단계는, 도 3에 나타낸 바와 같이, 입력 영상과 찾고자 하는 대상체 모델 사이의 유사도를 비교하여 유사도 영상을 구하고, 이러한 유사도 영상으로부터 대상체일 가능성이 있는 것으로 여겨지는 후보를 모두 관심후보로서 선택한다
More specifically, as shown in FIG. 3, the similarity-based candidate selection step of the underwater object recognition and tracking method using the real-time image processing of the sonar image according to the embodiment of the present invention, A similarity image is obtained by comparing similarities between object models, and all the candidates considered to be objects are selected as interest candidates from the similarity image

또한, 확률 기반 최종후보 선택단계는, 확률 기반 필터링을 통하여 상기 단계에서 선택된 관심후보들 중 대상체일 가능성이 없는 후보들을 제외하고 나머지 후보들을 최종후보로서 선택한다.
In addition, the probability-based final candidate selection step removes candidates that are unlikely to be objects among the interested candidates selected in the step through probability-based filtering and selects the remaining candidates as final candidates.

즉, 상기한 관심후보와 최종후보는 모두 복수 개 존재할 수 있으며, 선택된 관심후보들 중에서 확률 기반 필터링을 통해 잡음이나 잘못 인식된 후보들을 제외한 나머지 후보들이 최종후보로서 선택된다.
That is, there may be a plurality of interest candidates and final candidates as described above, and candidates other than noise candidates or misrecognized candidates are selected as final candidates through probability-based filtering among selected interested candidates.

아울러, 물체인식단계는, 최종후보로부터 여러 가지 인식 알고리즘을 복합적으로 적용하고 각각의 알고리즘으로부터 얻어진 결과를 종합하여 영상 내의 물체를 인식하는 과정이다.
In addition, the object recognizing step is a process of recognizing an object in an image by combining various recognition algorithms from final candidates and synthesizing the results obtained from the respective algorithms.

이때, 상기한 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하여 일정 범위에 대하여만 각각의 알고리즘이 적용되므로, 영상 전체에 대하여 여러 번 영상처리를 수행할 필요가 없고, 따라서 그만큼 처리용량은 감소할 수 있고 처리속도는 높일 수 있게 되어 복수의 알고리즘을 적용하더라도 실시간으로 영상처리를 수행하는데 무리가 없게 된다.
At this time, since each algorithm is applied only to a certain range centered on each of the final candidates selected in the final candidate selection step, there is no need to perform image processing several times over the entire image, And the processing speed can be increased, so that even if a plurality of algorithms are applied, the image processing can be performed in real time.

더욱이, 본 발명에 따르면, 상기한 바와 같이 복수의 알고리즘을 동시에 적용하고 각각의 결과를 종합함으로써 인식의 정확성 및 강인성을 높일 수 있을 뿐만 아니라, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 것과 같은 불확실성을 개선하여 항상 정확한 결과를 얻을 수 있다.
Furthermore, according to the present invention, not only can the accuracy and robustness of recognition be increased by applying a plurality of algorithms simultaneously and synthesizing the respective results, as described above, and if only a single method is applied, In other cases, uncertainties such as poor perception can be improved, and accurate results are always obtained.

또한, 상기한 추적단계에서도, 상기한 물체인식단계와 마찬가지로, 인식된 물체에 대하여 여러 가지 다양한 추적 알고리즘을 복합적으로 적용하는 것에 의해 추적의 정확성 및 강인성을 높임으로써, 실시간 영상처리를 통해 보다 정확하고 정밀한 추적이 가능하도록 구성된다.
Also, in the above-described tracking step, similar to the above-described object recognition step, by applying a variety of various tracking algorithms to the recognized object, it is possible to improve accuracy and robustness of tracking, It is configured to enable precise tracking.

여기서, 상기한 관심후보의 선택과정에 있어서, 대상체와 영상정보 사이에 유사도를 계산하기 위해서는 대상체의 모델이 필요하다.
Here, in the process of selecting the candidate of interest, a model of the object is required to calculate the similarity between the object and the image information.

이를 위해, 본 발명에서는, 자연물의 식별이 매우 어려운 수중 영상 소나의 한계를 극복하기 위하여, 도 4에 나타낸 바와 같이, 자연물 대신에 보다 식별이 용이하도록 구성되는 인공 표식물을 사용하였으며, 이때, 각각의 표식물의 구분이 가능하도록 각 표식물에 ID를 부여하였다(참고문헌 6 참조).
In order to overcome the limitations of the underwater image sensor, which is very difficult to identify natural objects, an artificial marker is used instead of a natural object as shown in FIG. 4, IDs were assigned to each marking so that markings could be distinguished (see Reference 6).

즉, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현하기 위해 적용된 인공 표식물의 전체적인 구성을 개략적으로 나타내는 도면이다.
4 is a diagram schematically showing the overall configuration of artificial marker applied to implement a method for recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention. Referring to FIG.

도 4에 나타낸 바와 같이, 본 발명에 사용된 인공 표식물은, 소나 영상의 특징을 고려하여 다른 물체에 비해 식별 성능이 우수하고 영상 평면으로 쉽게 모델링이 가능하도록 설계되며(참고문헌 8 참조), 즉, 상기한 인공 표식물은, 인공 표식물의 본체를 형성하는 본체부 및 상기 본체부에 미리 정해진 임의의 패턴을 형성하여 이루어지는 패턴부를 포함하여 구성된다.
As shown in FIG. 4, the artificial marker used in the present invention is designed to be easily modeled on an image plane, which is superior in recognition performance to other objects in consideration of characteristics of a sonar image (refer to Reference 8) The artificial marker includes the body portion forming the body of the artificial marker and the pattern portion formed by forming an arbitrary pattern predetermined in the body portion.

더 상세하게는, 본 발명자들은, 수중 영상 소나를 위한 인공 표식물의 설계 및 구현에 있어 가장 기본이 될 조건으로서, 수동형 인공 표식물(Passive target) 이고, 주변 환경에 비해 우수한 인식성을 가지며, 정보를 담은 표식물인 동시에, 가능한 소형인 표식물일 것의 4가지로 설정하였다.
More specifically, the present inventors have found that a passive target, which is the most basic condition for designing and implementing an artificial marker for an underwater imaging sonar, is a passive target, has better recognition performance than the surrounding environment, It was set to four kinds of markings, which are fleshy markings and markings as small as possible.

또한, 인공 표식물의 재료로로는, 인공 표식물은 주변 환경과 상관없이 항상 밝고 뚜렷한 형태를 나타내야 하므로, 본 발명자들은, 상기한 바와 같은 조건에 적합한 인공 표식물의 패턴부를 형성하기 위한 주재료로서, 시멘트 또는 콘크리트와 같이 거친 표면을 가지는 재료를 주재료의 조건으로 하였으며, 본 실시예에서는, 주재료로서, 다루기 쉽고 다양한 모양으로 제작할 수 있는 장점을 가지는 겔 스톤(Gel-Stone)이 가장 적합한 것으로 선정되었다.
Since the artificial marker must always have a bright and distinct shape irrespective of the surrounding environment, the inventors of the present invention have found that, as a main material for forming a pattern portion of an artificial marker suitable for the above-mentioned conditions, A material having a rough surface such as concrete was used as a main material. In this embodiment, Gel-Stone having the advantage of being easy to handle and various shapes as a main material was selected as the most suitable.

또한, 소나 영상은 잡음(Noise)이 많은 영상으로 주재료가 초음파 산란이 높아 밝게 나타난다 하더라도 주변 환경의 영향 또는 표식물 자체의 잡음으로 인해 그 윤곽이 뚜렷이 드러나지 못하게 되므로, 이러한 단점을 줄이기 위해, 본 발명자들은, 본체부를 형성하기 위한 부재료로서 표면이 부드러운 철판을 선택하였다.
In addition, although the sonar image has high noise and the main ingredient is bright due to high ultrasonic scattering, the outline of the sonar image can not be clearly displayed due to the influence of the surrounding environment or the noise of the marker itself. In order to reduce such disadvantages, , And a steel sheet whose surface is soft as a material for forming the main body portion was selected.

즉, 표면이 부드러운 철판은 소나 영상에서 검게 나타나며, 이를 이용하여 철판을 놓고 그 위에 주재료로 인공 표식물을 구현한다면, 소나 영상에서 철판에 의해 주변 환경이 사라지게 되고 부재료(철판)와 주재료(Gel-Stone)의 큰 밝기 차가 더욱 명확하게 나타남에 따라 주변 환경 비해 더욱 뚜렷한 표식물을 만들 수 있다.
That is, if a soft iron plate appears black on a sonar image, if the iron plate is placed on the iron plate and the artificial marker is formed on the iron plate, the surrounding environment is disappeared by the iron plate in the sonar image, ), The greater the difference in brightness, the more clearly the markers can be made compared to the surrounding environment.

여기서, 상기한 예에서는 주재료가 겔 스톤(Gel-Stone) 이고 부재료는 표면이 부드러운 철판인 것으로 나타내었으나, 반드시 이러한 구성으로만 한정되는 것은 아니며, 즉, 상기한 부재료는, 표면이 부드러우면서 무게가 어느 정도 있어 수중에서 안정적인 위치 확보가 가능한 것이 상기한 철판 이외에 얼마든지 다른 재료로 구성될 수 있는 것임에 유념해야 한다.
In the above example, the main material is Gel-Stone and the surface of the sub-material is a soft steel plate. However, the present invention is not limited to this configuration. That is, the above- It should be noted that it is possible to secure a stable position in the water to some extent, and it can be made of any material other than the above-mentioned steel plate.

더 상세하게는, 상기한 본체부는, 예를 들면, 철판, 알루미늄, 플라스틱 등과 같이, 소나의 반사를 최소화하는 재질로 형성하고, 상기한 패턴부는, 예를 들면, 표면이 거친 재질이나 상기한 겔 스톤 등과 같이, 소나의 반사를 최대로 유도하는 재질로 형성할 수 있다.
More specifically, the main body portion is formed of a material such as steel plate, aluminum, plastic or the like that minimizes the reflection of sonar. The pattern portion may be formed of, for example, It can be formed of a material that maximizes the reflection of the sonar, such as a stone.

아울러, 인공 표식물의 크기는, 표식물의 모양이나 소나 영상의 관찰영역(시작거리와 범위) 등의 조건에 따라 적절하게 형성할 수 있다.
In addition, the size of the artificial marker can be appropriately formed in accordance with conditions such as the shape of the markers, the observation region (start distance and range) of the sonar image, and the like.

여기서, 도 4에 나타낸 실시예의 인공 표식물의 대상체 모델은 원의 형태를 띤 외곽선 정보이나, 본 발명에 따른 인공 표식물은 반드시 이러한 형태로만 한정되는 것은 아니며, 즉, 본 발명에 따른 인공 표식물은 필요에 따라 얼마든지 다양한 형태로 형성될 수 있는 것임에 유념해야 한다.
Herein, the object model of the artificial marker of the embodiment shown in FIG. 4 is not limited to the shape of the circle, but the artificial marker according to the present invention is not necessarily limited to this form. That is, It should be noted that any number of forms can be formed.

즉, 본 실시예에 제시된 인공 표식물은, 도 4에 나타낸 바와 같이, 외부 형태가 원형으로 형성됨으로써 보는 방향에 민감하지 않고 항상 일정한 형태를 나타낼 수 있으므로, 방향에 상관없이 인식 및 식별이 용이하게 가능한 장점을 가지며, 또한, 내부에 형성되는 부채꼴 패턴의 면적으로 4개의 표식을 용이하게 구분할 수 있는 장점을 가진다.
That is, as shown in Fig. 4, the artificial marker shown in this embodiment is formed in a circular shape so that it is not sensitive to the viewing direction and can always exhibit a constant shape. Therefore, And has the advantage that four markers can be easily distinguished by the area of the internal fan-shaped pattern.

아울러, 본 발명에 따른 인공 표식물은, 제작된 표식물의 외부 외곽선의 실측 자료를 소나 영상 평면의 (x,y) 픽셀 정보로 변환하여 대상체 모델로 활용되며, 이때, 표식물의 실측 정보를 영상 평면으로 변환하는 과정은 이하의 [수학식 1] 및 [수학식 2]와 같이 하여 계산된다.
In addition, the artificial marker according to the present invention is used as a target object model by converting actual measurement data of the outer contour of the produced marker into (x, y) pixel information of the sonar image plane. At this time, The conversion process is calculated in accordance with the following equations (1) and (2).

[수학식 1] [Equation 1]

[수학식 2] &Quot; (2) "

여기서, 상기한 [수학식 1] 및 [수학식 2]에 있어서, x_distort, y_distort는 각각피치각(pitch angle)에 대하여 왜곡된 외곽선(distorted outline)이고, x_real, y_real은 각각 X축 및 Y축에서 표식물의 외곽선(outline)이며, x_img, y_img는 각각 영상 평면(image plane)에서 픽셀 단위로 추정된 외곽선(estimated outline)을 의미한다.
Here, in the above-mentioned equations (1) and (2), x _distort and y _distort are X _real and y _real are the outline of the marker in the X and Y axes respectively and x _img and y _img are the outline of the image plane in the image plane ) Is an estimated outline in pixels.

즉, 상기한 [수학식 1] 및 [수학식 2]는 소나 영상 내에서 인공 표식물을 찾는 방법으로, 인공 표식물의 크기를 소나 영상에서 물체가 위치한 거리와 각도에 따라 변형하기 위한 식이다.
That is, the above-mentioned equations (1) and (2) are methods for finding the artificial marker in the sonar image and transforming the size of the artificial marker according to the distance and angle at which the object is located in the sonar image.

또한, 상기한 [수학식 1] 및 [수학식 2]에 있어서, 인공 표식물의 크기는 미리 알고 있는 것으로 가정하며, 인공 표식물의 형태와 소나 영상에서 나타난 형상을 비교하여 후보를 결정한다.
In the above equations (1) and (2), it is assumed that the size of the artificial marker is known in advance, and the candidate is determined by comparing the shape of the artificial marker with the shape of the sonar image.

이때, 인공 표식물의 크기는 영상에 나타난 거리에 따라 변화하고 소나와 물체 사이의 각도에 따라 형태가 달라지므로 이러한 사항들을 고려할 필요가 있으나, 소나 영상은 거리정보를 포함하고 있고, 또한, 소나가 물체를 보는 각도도 미리 알고 있으므로, 따라서 상기한 [수학식 1] 및 [수학식 2]를 이용하면 영상의 특정 위치에 따라 인공 표식물이 어떤 형태 및 어떤 크기로 나타날지 예측할 수 있으며, 본 발명에서는 그러한 예측된 형태를 실제 영상과 비교하는 것이다.
At this time, the size of the artificial marker changes according to the distance shown in the image, and the shape changes according to the angle between the sonar and the object. Therefore, it is necessary to consider such matters, but the sonar image includes the distance information, Therefore, the shape and size of the artificial marker can be predicted according to the specific position of the image using Equations (1) and (2) described above. In the present invention, And compares it with the actual image.

계속해서, 유사도에 기반하여 관심후보를 선택하기 위해, 대상체 모델과 입력 영상 사이에서 유사도 영상을 얻어야 한다.
Subsequently, in order to select a candidate of interest based on the similarity, a similarity image should be obtained between the object model and the input image.

여기서, 유사도 영상은, 입력 영상의 각 위치에 대상체가 있을 가능성을 밝기값으로 나타낸 정보로서, 밝기값이 높은 점 또는 지역을 차례로 관심 후보로 선택한다.
Here, the degree-of-similarity image is information indicating the possibility that an object exists at each position of the input image as a brightness value, and a point or region having a high brightness value is sequentially selected as a candidate of interest.

이때, 관심 후보의 영역 크기는 대상체 모델을 통해 얻은 크기를 바탕으로 지정하며, 본 실시예에서는 최대 5개까지 선택하였다.
At this time, the size of the region of interest is designated based on the size obtained through the object model, and up to five regions are selected in this embodiment.

아울러, 유사도 영상을 얻는 방법은, 예를 들면, 허프 변환(hough circle transform)을 이용할 수 있다(참고문헌 9 참조).
In addition, a method of obtaining the similarity image can use, for example, a hough circle transform (see Reference 9).

즉, 본 발명에서는, 입력 영상으로 소나의 원본 영상이 아닌 전처리된 외곽선 영상을 사용하고 대상체 모델과 비교하여 유사도 영상을 얻으며, 이때, 상기한 [수학식 1] 및 [수학식 2]에 의해 얻어진 위치에 따른 크기와 허프 변환을 거친 영상을 비교하여 후보를 선택한다.
That is, in the present invention, a similarity image is obtained by using a preprocessed outline image rather than an original image of the sonar as an input image and comparing with the object model. At this time, the similarity image obtained by the above-mentioned Equations 1 and 2 The candidates are selected by comparing the images according to their positions and the images obtained through Hough transform.

다음으로, 확률 기반 필터링을 통한 최종 후보의 선택과정에 대하여 설명하면, 상기한 바와 같이 하여 선택된 관심 후보들은 파티클 필터와 유사한 확률적 방법으로 필터링되고, 남겨진 후보가 최종 후보로 선정된다.
Next, the selection process of the final candidate through the probability-based filtering will be described. The selected interested candidates are filtered by a stochastic method similar to the particle filter, and the remaining candidate is selected as the final candidate.

더 상세하게는, 파티클 필터 방법(참고문헌 10 참조)은, 모션 모델(motion model), 센서 모델(sensor mode) 및 재생성(resampling) 과정을 반복적으로 수행하며, 본 실시예에서는, 이 방법을 응용한 필터링 방법을 영상에서의 물체 검출에 적용하였다.
More specifically, the particle filter method (see Reference 10) repeatedly performs a motion model, a sensor model, and a resampling process. In this embodiment, One filtering method is applied to object detection in image.

이러한 이유로, 본 발명의 실시예에 따른 방법의 모션 모델(motion model)은 대상체의 모션(motion) 정보를 이용하지 않고 대상체에 대한 임의의 불확실성을 고려하여 파티클들을 예측한다.
For this reason, the motion model of the method according to the embodiment of the present invention predicts particles considering any uncertainty with respect to the object without using the motion information of the object.

아울러, 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법에 적용되는 확률기반 필터링 방법의 센서 모델의 구성을 나타내는 도면이다.
5 is a block diagram of a sensor model of a probability-based filtering method applied to a method of recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention.

즉, 도 5에 나타낸 바와 같이, 본 발명의 실시예에 적용된 확률 필터 방법은, 입력 영상 정보에서 관심 후보의 주변 영역에 한하여 사용자에 의해 선택된 충분히 큰 n개의 입자(particle)들을 무작위로 생성하고, 이는 하나의 입자 그룹으로 지정되며, 각 입자는 중심(x_t _, _avg)으로부터 계산된 대상체의 위치

에 윤곽선의 존재 유무를 확인하여 대상체에 대한 확률 P를 획득한다.
That is, as shown in FIG. 5, the probability filter method applied to the embodiment of the present invention randomly generates n particles, which are sufficiently large, selected by the user only in the peripheral region of the candidate of interest in the input image information, This is specified as a group of particles, each particle having a position (x _t _, _{av g} )

The presence or absence of the contour is checked to obtain the probability P for the object.

따라서 상기한 바와 같은 과정을 각 입자마다 N개의 계산된 대상체의 위치만큼 수행하며, 최종적으로 얻게 되는 입자의 신뢰도 q는 재생성(resampling)과정에서 이용된다.
Therefore, the above process is performed for each of the N calculated object positions, and the reliability q of the finally obtained particles is used in the resampling process.

또한, 이러한 과정의 반복을 통해 남겨진 입자 또는 입자 그룹은 평균 위치를 최종 후보의 위치로 반환한다.
In addition, a group of particles or particles left over by repeating this process returns the average position to the position of the final candidate.

아울러, 모든 입자 그룹은 2가지 조건에 의해 잡음 및 사라진 후보 여부를 판단하게 되며, 첫 번째는 각각의 입자 그룹이 미리 정해진 특정 지표에 대한 값을 만족하는지에 대한 지표평가로서, 예를 들면, 각 입자 그룹의 크기가 대상체 모델의 크기보다 25% 이상일 경우 잡음으로 판단하고 해당 입자 그룹을 삭제한다.
In addition, all particle groups are judged as noise and disappearing candidates by two conditions. First, an index evaluation of whether or not each particle group satisfies a predetermined specific index value is used. For example, If the size of the particle group is more than 25% of the size of the object model, it is judged as noise and the corresponding particle group is deleted.

두 번째는 입자 그룹간 동일 대상체의 중복 검출 유무로서, 입자의 특성상 같은 물체를 동시에 찾을 수 있고, 이러한 경우에 1개를 제외한 나머지 입자 그룹은 조건에 의해 제거된다.
The second is the detection of overlapping of the same object between particle groups. Due to the nature of the particles, it is possible to find the same object at the same time. In this case, the remaining particle groups are removed by the condition.

따라서 상기한 두 가지 조건을 만족한 입자 그룹이 최종 후보로서 선택된다.
Therefore, a particle group satisfying the above two conditions is selected as a final candidate.

다음으로, 상기한 물체인식단계는, 상기한 바와 같이, 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하여 일정 범위에 대하여만 복수의 인식 알고리즘을 동시에 적용하는 지역영상 처리를 수행하고 각각의 결과를 종합함으로써 인식의 정확성 및 강인성을 높일 수 있을 뿐만 아니라, 단일의 방법만을 적용하였을 경우 특정한 경우에는 인식이 잘 되고 다른 특정한 경우에는 인식이 잘 안 되는 경우가 발생하는 것과 같은 불확실성을 개선할 수 있도록 구성된다.
Next, in the object recognition step, as described above, the local image processing for simultaneously applying a plurality of recognition algorithms to only a certain range around each final candidate selected in the final candidate selection step is performed, and each result So that the accuracy and robustness of the recognition can be enhanced. In addition, if a single method is applied, the uncertainty can be improved such that recognition in some cases is good and recognition in other cases is difficult. .

더 상세하게는, 도 3에 나타낸 바와 같이, 최종후보 선택단계에서 선택된 각 최종후보들을 중심으로 하는 일정 영역에 대하여 복수의 인식 알고리즘을 각각 적용하여 지역영상 처리를 행하고, 각각의 처리결과들을 종합한 결과에 근거하여 영상 내의 물체를 인식한다.
More specifically, as shown in FIG. 3, a plurality of recognition algorithms are applied to a predetermined region centered on each of the final candidates selected in the final candidate selection step to perform local image processing, And recognizes an object in the image based on the result.

이때, 지역영상 처리의 결과는 이진화된 인공 표식물 영상이며, 이진 영상과 사전에 알고 있는 대상체의 I.D(내부형상)는, 상기한 인식 알고리즘들 중 하나로서, 예를 들면, 형태를 면적에 근거하여 판단하는 형태행렬 인식(shape matrix identification) 방법을 기반으로 인식될 수 있다(참고문헌 11 참조).
At this time, the result of the local image processing is a binary artificial marker image, and the ID (internal shape) of a binary image and an object known in advance is one of the above recognition algorithms, for example, Based on the shape matrix identification method (see ref. 11).

즉, 형태행렬 방법(shape matrix method)은, 먼저, 영상 평면에서의 후보 위치에 대한 형태행렬을 구하고, 각 표식물에 대하여 주어진 형태행렬과 상기한 바와 같이 하여 구해진 형태행렬 사이의 유사도를 계산한다.
That is, the shape matrix method first obtains a shape matrix for a candidate position in an image plane, and calculates a similarity between a given shape matrix and a shape matrix obtained as described above for each mark.

그 결과, 전처리 후의 유사도가 미리 정해진 임계값 이상이면, 해당 후보에 I.D를 부여하고, 그렇지 않으면 후보에서 제외한다.
As a result, if the degree of similarity after the preprocessing is equal to or greater than a predetermined threshold, an ID is assigned to the candidate, and if not, the candidate is excluded.

여기서, 이러한 내용은 모든 대상체가 인공 구조물이라 가정할 경우 적용 가능하며, 이 경우, 가중치 부여와 같은 보다 강력한 논리를 적용할 수 있다.
Here, this is applicable when all objects are assumed to be artificial structures, and in this case, more powerful logic such as weighting can be applied.

상기한 바와 같이, 본 발명은, 연속적인 영상에서 계속 나타나는 후보가 존재하면 실제 물체로 판단하고, 그렇지 않으면 잡음으로 판단하며, 이때, 최종 후보의 영상은 전체 영상이 아니고 선택된 영역의 영상이기 때문에 크기가 작고, 따라서 영상처리 시간이 짧게 걸리게 되어 실시간 처리에 유리한 장점을 가진다.
As described above, according to the present invention, when there is a candidate that continues to appear in a continuous image, it is determined as an actual object, and otherwise, it is determined as a noise. At this time, since the final candidate image is not a whole image, So that the image processing time is short, which is advantageous for real-time processing.

즉, 한 영상에 2개 이상의 물체가 있는 경우 한가지 방법으로만 영상처리를 수행하면 한쪽은 인식이 잘 되는 반면 다른 쪽은 잘 되지 않을 수도 있으나, 이 경우, 여러 가지 방법을 계속 번갈아 적용하기에는 영상의 크기가 커서 처리시간이 많이 걸리게 된다.
In other words, if there are two or more objects in one image, if the image processing is performed by only one method, one side may be recognized well but the other side may not be good. In this case, It takes a lot of processing time because of its large size.

그러나 본 발명에 따른 방법은, 이미 최종후보가 포함된 영역을 작게 만들기 때문에 복수의 방법을 동시에 적용하더라도 처리시간에 여유가 있으며, 따라서 본 발명은, 다수의 방법을 미리 준비하여 인식과정에 적용하고, 각각의 결과를 통계 처리하여 후보선정 결과를 만들도록 구성될 수 있는 것이다.
However, since the method according to the present invention has already made the area including the final candidate small, there is room for processing time even if a plurality of methods are applied at the same time. Therefore, the present invention is applicable to a recognition process , And the results of the respective tests may be statistically processed to form a candidate selection result.

여기서, 상기한 본 발명의 실시예에서는, 설명을 간략히 하기 위해 인식 알고리즘으로서 형태행렬 인식 방법만을 예로 하여 본 발명을 설명하였으나, 본 발명은 이러한 한 가지 방법으로만 한정되는 것은 아니며, 즉, 본 발명은, 상기한 형태행렬 인식 방법뿐만 아니라, 필요에 따라 복수의 다른 알고리즘을 동시에 적용하여 실시간으로 지역영상 처리가 이루어지도록 구성되는 것임에 유념해야 한다.
In order to simplify the description, the present invention has been described with reference to the shape matrix recognition method as a recognition algorithm. However, the present invention is not limited to such a method, It should be noted that local image processing is performed in real time by simultaneously applying a plurality of different algorithms as needed as well as the shape matrix recognition method described above.

즉, 상기한 물체인식단계는, 최종후보 중에서 찾고자 하는 물체가 어떤 것인지를 판별하기 위해 최종후보의 지역 영역에 대하여 다양한 인식 알고리즘을 적용하여 각각의 결과를 통계처리 하며, 그 과정에서 각각의 결과에 대하여 상수 가중치를 적용하거나, 학습 등에 의하여 변경이 가능한 적응 가중치를 적용하고, 각각의 결과를 통합하여 최종 판단을 도출하도록 구성되는 것을 특징으로 하는 것이다.
That is, in the object recognition step, various recognition algorithms are applied to the final region of the final candidate to determine which object is the final candidate, and the result is statistically processed. In each process, A constant weight is applied to the adaptive weight, a changeable adaptive weight is applied by learning or the like, and the final result is integrated by combining the results.

또한, 이를 위한 대표적인 방법으로, 예를 들면, 형태행렬 인식 방법을 적용하여, 이하의 [수학식 3]에 나타낸 바와 같이, 이미 알고 있는 형태행렬 A와 상기 최종후보 선택단계에서 구해진 형태행렬 B 사이의 매칭 함수(matching function)를 이용하도록 구성될 수 있다.
As a typical method for this, for example, a shape matrix recognition method is applied to obtain a shape matrix B between an already known shape matrix A and a shape matrix B obtained in the final candidate selection step, as shown in the following formula (3) Lt; RTI ID = 0.0 > a < / RTI > matching function.

[수학식 3] &Quot; (3) "

아울러, 상기한 추적단계는, 도 3에 나타낸 바와 같이, 물체인식단계에서 인식된 각 물체들에 대하여 복수의 추적 알고리즘을 각각 적용하고, 각각의 처리결과들을 종합한 결과에 근거하여 인식된 물체를 계속 추적한다.
In addition, as shown in FIG. 3, in the tracking step, a plurality of tracking algorithms are applied to each of the objects recognized in the object recognition step, and based on the result of synthesizing the respective processing results, Keep track.

즉, 본 발명에 따른 추적단계는, 상기한 물체인식단계와 마찬가지로, 물체인식단계에서 인식된 물체에 대하여 여러 가지 다양한 추적 알고리즘을 동시에 적용하고 각각의 결과를 종합하는 것에 의해 추적의 정확성 및 강인성을 높이는 동시에, 영상 소나가 움직이거나 물체가 움직이는 경우에도 지속적으로 물체의 위치를 추적 가능하도록 구성되며, 이를 위한 대표적인 방법 중 하나로서, 예를 들면, 평균-이동 추적(mean-shift tracking) 방법을 사용할 수 있다(참고문헌 12 참조).
That is, in the tracking step according to the present invention, similar to the above-described object recognition step, various tracking algorithms are simultaneously applied to an object recognized in the object recognition step, and the results are integrated to thereby improve the accuracy and robustness The height of the object can be continuously tracked even when the image sonar is moving or the object is moving. One representative method for this is to use a mean-shift tracking method, for example, (See reference 12).

더 상세하게는, 일반적으로, 평균-이동 추적방법은, 영상의 입력으로서 색상(hue) 정보를 활용하나, 소나 영상은 1차원 강도(intensity) 정보만을 가지므로 이것을 입력 영상으로 사용한다.
More specifically, in general, the average-movement tracking method uses hue information as an input of an image, but a sonar image has only one-dimensional intensity information, and therefore uses the hue information as an input image.

여기서, 상기한 본 발명의 실시예에서는, 설명을 간략히 하기 위해 추적 알고리즘으로서 평균-이동 추적방법만을 예로 하여 본 발명을 설명하였으나, 본 발명은 이러한 한 가지 방법으로만 한정되는 것은 아니며, 즉, 본 발명은, 상기한 평균-이동 추적방법뿐만 아니라, 필요에 따라 복수의 다른 알고리즘을 동시에 적용하여 실시간으로 영상처리가 이루어지도록 구성되는 것임에 유념해야 한다.
In order to simplify the description of the present invention, the present invention has been described with reference to an average-movement tracking method as a tracking algorithm. However, the present invention is not limited to such a method, It should be noted that the present invention is configured to perform image processing in real time by simultaneously applying a plurality of different algorithms as needed as well as the average-movement tracking method described above.

다음으로, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 성능을 검증하기 위해 실제 실험을 수행한 결과에 대하여 설명한다.
Next, a description will be made of a result of an actual experiment to verify the performance of a method for recognizing and tracking an underwater object using real-time image processing of a sonar image according to an embodiment of the present invention.

즉, 본 발명자들은, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 검증을 위해 다양한 물체가 존재하는 소나 영상을 입력 영상으로 사용하여 실험을 수행하였다.
That is, in order to verify the recognition and tracking method of an underwater object using the real-time image processing of the sonar image according to the embodiment of the present invention configured as described above, the present inventors used a sonar image having various objects as an input image .

여기서, 이하에 설명하는 실험결과에 제시된 소나 영상은 한국해양과학기술원 선박 해양 플랜트 연구소 내에 있는 해양장비 시험용 수조에서 얻은 영상이다.
Here, the sonar image presented in the experimental results described below is obtained from the marine equipment testing tank in the Marine & Offshore Plant Research Institute of the Korea Maritime Institute.

먼저, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 올바른 대상체 모델을 생성하는지를 확인하기 위한 실험결과에 대하여 설명한다.
First, experimental results for confirming whether a recognition and tracking method of an underwater object using a real-time image processing of a sonar image according to an embodiment of the present invention, which is configured as described above, generates a correct object model will be described.

즉, 본 발명자들은, 후보 선택을 위한 대상체 모델 정보 획득시 대상체의 올바른 모델 정보가 생성되었는지 확인하기 위해 실험을 수행하였으며, 실험의 형태는 동일하나 크기가 다른 인공 표식물 두 개를 동시에 촬영하여 찾고자 하는 대상체의 크기를 입력하면 올바르게 검출되는지 확인하였다.
That is, the present inventors conducted an experiment to confirm whether correct model information of the object was generated when acquiring the object model information for the candidate selection. Simultaneously, two artificial artifacts of the same size but different sizes were photographed We confirmed that the size of the object can be correctly detected by entering it.

더 상세하게는, 도 6을 참조하면, 도 6은 대상체 모델의 크기에 따라 실제 영상에서 대상물이 적절하게 일치하는지를 검증한 결과를 나타내는 도면이다.
More specifically, referring to FIG. 6, FIG. 6 is a diagram showing a result of verifying whether an object matches appropriately in an actual image according to the size of the object model.

도 6에 있어서, 본 실시에의 대상체 모델 정보 확인실험에 사용된 인공 표식물은, 지름이 22cm인 인공 표식물과 40cm인 인공표식물의 영상을 각각 나타내고 있다.
In Fig. 6, the artificial marker used in the experiment for confirming the object model information in this embodiment shows an image of an artificial marker having a diameter of 22 cm and an artificial marker having a diameter of 40 cm, respectively.

또한, 도 6에 있어서, 좌측 영상은 지름 22cm인 인공 표식물에 대한 대상체 모델을 생성하여 적용한 것으로 이에 해당한 왼쪽의 표식만을 찾은 결과이며, 우측 영상은 지름 40cm인 표식물 모델을 적용한 것으로, 이때는 이에 해당한 오른쪽 물체만을 찾은 결과를 보여 주는 실험 결과로서, 즉, 모델의 크기에 따라 구분하여 표식을 인식하는 것으로 볼 수 있다.
Also, in FIG. 6, the left image shows an object model for the artificial marker having a diameter of 22 cm, which is the result of finding only the marker on the left side, and the right image is a marker model with a diameter of 40 cm. It can be seen that the result of the finding of one right object only, that is, recognizing the mark by distinguishing it according to the size of the model.

다음으로, 도 7을 참조하면, 도 7은 다중 후보 선택실험 결과를 나타내는 도면이다.
Next, referring to FIG. 7, FIG. 7 is a diagram illustrating a result of multiple candidate selection experiments.

즉, 본 발명자들은, 본 발명에 따른 다중 후보 선택 방법의 성능을 검증하기 위해, 도 7에 나타낸 바와 같이 다양한 형태의 물체가 존재하는 환경에서 관심 후보를 검출하였으며, 또한, 관심 후보를 필터링하여 적절한 최종 후보의 선택이 진행되는지를 실험을 통해 확인하였다.
That is, in order to verify the performance of the multiple candidate selection method according to the present invention, the present inventors have detected interest candidates in an environment in which various types of objects exist as shown in FIG. 7, Experiments were conducted to determine whether the selection of the final candidate is proceeding.

더 상세하게는, 먼저, 도 7a를 참조하면, 도 7a는 최초 소나로부터 들어오는 원본 영상을 나타내는 도면이고, 이러한 영상에 전처리과정을 거친 후 외곽선을 추출하면 도 7b와 같은 외곽선 영상을 얻을 수 있다.
More specifically, referring to FIG. 7A, FIG. 7A is a view showing an original image coming from a first sonar. After extracting an outline after preprocessing the image, an outline image as shown in FIG. 7B can be obtained.

계속해서, 외곽선 영상과 대상체 모델을 허프 변환(hough circle transform) 기법을 이용하여 도 7c에 나타낸 바와 같은 유사도 영상을 얻으며, 이 중에서 유사도 값이 위치가 큰 지점의 후보를 5개까지 선택하여 관심 후보로 선정한다.
Then, a similarity image as shown in FIG. 7C is obtained by using a hough circle transform technique on the contour image and the object model. Of the candidates, .

또한, 관심 후보는 도 7d에 나타낸 바와 같이 실제 표식물(#1, #2, #3) 뿐만 아니라 그와 유사한 후보(#4, #5)까지 선택된 것을 확인할 수 있으며, 특히, #5는 정사각형의 형태를 가지나 원과의 유사도를 확인한 결과 선정기준에 적합하여 관심 후보로 선택되었다.
As shown in FIG. 7D, the interested candidates can be confirmed not only to the actual markers # 1, # 2 and # 3 but also to similar candidates (# 4 and # 5). Particularly, But they were selected as interested candidates in accordance with the selection criteria.

즉, 관심후보 선택 과정을 통해 실제 대상체 뿐만 아니라 그와 유사한 다른 형태까지도 우선적으로 고려할 수 있도록 후보를 선정한다.
That is, candidates are selected so that not only the actual object but also other similar forms can be considered in priority through the candidate selection process.

아울러, 도 7e 및 도 7f는 확률 필터 과정 및 그 결과를 각각 나타내는 도면이며, 도 7e의 영상을 참조하면, 주변 색보다 밝은 흰색 점이 보이는데, 이는 파티클이 이동된 결과를 나타낸다.
FIGS. 7E and 7F are diagrams showing the probability filter process and the result, respectively. Referring to the image of FIG. 7E, a white point that is brighter than the surrounding color appears, which indicates the result of moving the particle.

이때, 동일한 관심 후보에 뿌려진 파티클은 하나의 그룹을 형성하고 평균 위치 또는 삭제 유무를 평가받으며, 즉, 앞서 관심 후보로 선택된 도 7d의 #3, #4, #5는 확률 필터 과정을 통해 사라진 것을 도 7f에서 확인할 수 있다.
In this case, the particles scattered in the same interested candidate form one group and are evaluated for the average position or deletion. That is, # 3, # 4, and # 5 of FIG. 7F.

여기서, 도 7d의 #3은 실제 대상체이며, 관심 후보로 선택되었으나, 확률 필터링 과정에서 삭제되어 최종 후보로 선택되지 못하였다.
Here, # 3 in FIG. 7D is an actual object and is selected as a candidate of interest, but is deleted in the probability filtering process and can not be selected as a final candidate.

다음으로, 도 8을 참조하여, 다중 물체 검출실험 결과에 대하여 설명한다.
Next, with reference to FIG. 8, the results of multiple object detection experiments will be described.

즉, 도 8을 참조하면, 도 8은 다중 물체 검출실험 결과를 나타내는 도면이며, 여기서, 각 물체의 가운데 점은 추적단계에서 물체가 잘 추적되고 있음을 나타낸다.
That is, referring to FIG. 8, FIG. 8 shows a result of multiple object detection experiments, wherein the center point of each object indicates that the object is being tracked well in the tracking step.

더 상세하게는, 본 발명자들은 상기한 바와 같은 본 발명의 실시예에 따른 방법을 이용하여 동일한 영상에서 여러 후보 및 대상체가 존재할 때 검출 및 추적이 동시에 가능한지 실험을 통해 확인하였으며, 도 8은 이러한 실험 결과를 나타내는 것이다.
More specifically, the present inventors have confirmed through experiments that detection and tracking are possible simultaneously when various candidates and objects exist in the same image using the method according to the embodiment of the present invention as described above, Results.

도 8에 나타낸 바와 같이, 상기한 다중 후보 선택실험에서는 I.D #3의 인공 표식물이 제대로 검출되지 못하였으나, 본 실험에서는 올바르게 검출된 것을 확인할 수 있다.
As shown in FIG. 8, although the artificial marker of ID # 3 was not properly detected in the multiple candidate selection experiment, it can be confirmed that the artificial marker was correctly detected in this experiment.

아울러, 추적이 이루어지는 지점의 위치가 I.D #1, #2, #3의 정중앙을 정확히 가리키고 있는 것을 확인할 수 있으며, 이는 추적이 잘 이루어지고 있음을 의미한다.
In addition, it can be confirmed that the position of the point where the tracking is performed accurately indicates the center of the IDs # 1, # 2, and # 3, which means that tracking is well performed.

즉, 어떠한 방법을 사용하던지 인식 과정에서 인식이 잘 되는 경우와 잘 안 되는 경우가 발생할 수 있고, 또는 잘못 인식하는 경우도 발생할 수 있으나, 상기한 바와 같은 본 발명의 방법에 따르면, 연속적으로 입력되는 영상에 대하여 실시간으로 영상처리가 이루어지므로 확률적으로 인식이 될 수밖에 없는 구조를 가지는 것이며, 이는, 일반적으로 복잡한 환경에서 인간이 물체를 인식하는 과정과도 유사한 것이다.
In other words, whichever method is used, the recognition process may be well recognized or may not be performed well or may be erroneously recognized. However, according to the method of the present invention as described above, Since the image is processed in real time with respect to the image, it has a structure that can be stochastically recognized. This is similar to a process in which a human recognizes an object in a complicated environment in general.

따라서 상기한 바와 같이 하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현할 수 있다.
Accordingly, the method of recognizing and tracking an underwater object using real-time image processing of a sonar image according to the present invention can be implemented as described above.

또한, 상기한 바와 같이 하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 구현하는 것에 의해, 본 발명에 따르면, 수중 영상 소나를 통해 얻어진 영상 내에서 찾고자 하는 물체에 대한 후보를 결정하고, 이후의 영상에서 상기 후보 또는 새로운 후보를 선정하여 최종 후보를 결정하며, 강인한 다수의 인식 알고리즘을 적용하여 최종 후보로부터 물체를 인식하고, 인식된 물체에 대하여도 다수의 추적 알고리즘을 적용하여 추적을 행함으로써, 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법이 제공됨으로써, 소나 영상의 특성이나 환경적인 요인 및 광학 카메라에 비해 낮은 화질과 노이즈가 많아 물체를 용이하게 식별할 수 없고 사후적인 영상처리에도 많은 어려움이 있었던 종래의 영상 소나를 이용한 수중물체 탐지방법들의 문제점을 해결할 수 있다.
In addition, according to the present invention, by implementing the method of recognizing and tracking an underwater object using the real-time image processing of a sonar image according to the present invention as described above, according to the present invention, The candidate candidate is determined from the candidate image or the new candidate image candidate in the subsequent image, the final candidate is determined from the candidate image, the robust recognition algorithm is applied to recognize the object from the final candidate, and a plurality of tracking algorithms The present invention provides a method of recognizing and tracking an underwater object using real-time image processing of a sonar image configured to be capable of real-time image processing on a continuously progressing image, Because of the lower image quality and noise compared to the factors and optical cameras, Can not be identified can solve the problems of underwater object detection method using a conventional image of the post office or were more difficult to image processing.

아울러, 본 발명에 따르면, 상기한 바와 같이 연속적으로 진행되는 영상에 대하여 실시간으로 영상처리가 가능하여 다양한 형태가 존재하는 수중 환경에서 물체인식 성능을 높일 수 있도록 구성되는 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법을 이용하여, 수중에서 자신의 위치 파악 및 자율적인 행동이 가능하도록 구성되는 수중 로봇을 제공할 수 있다.
In addition, according to the present invention, as described above, real-time image processing of a continuous image can be performed, and real-time image processing of a sonar image configured to improve object recognition performance in various underwater environments can be performed. It is possible to provide an underwater robot configured to be able to grasp its own position in the water and perform autonomous actions using the method of recognizing and tracking an underwater object.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 소나 영상의 실시간 영상처리를 이용한 수중물체의 인식 및 추적방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. It is a matter of course.

Claims

Solving the problems of underwater object detection methods using the conventional image sonar which can not easily identify the object because of the characteristics of the sonar image and the environmental factors and the image quality and the noise are comparatively lower than those of the optical camera, A method for recognizing and tracking an underwater object using real-time image processing of a sonar image configured to enhance object recognition performance in an underwater environment,
An interest candidate selection step of selecting all objects having similarity to the target object to be searched in the input sonar image as interested candidates;
A final candidate selection step of selecting a final candidate by evaluating continuity and noise whether each candidate continuously appears in a subsequent image with respect to each of the interested candidates selected in the similarity-based interest candidate selection step;
A recognition step of recognizing an object in an image by performing a local image processing process of applying a plurality of recognition algorithms to a region of interest set for a predetermined range centered on each final candidate selected in the final candidate selection step ; And
And a tracking step of tracking the movement of the sonar or the movement of the object by applying a plurality of tracking algorithms to the object recognized in the recognition step,
The image processing is performed only for a certain range centering on each of the final candidates without repeatedly performing the image processing for the entire image, so that the processing capacity can be reduced and the processing speed can be increased, so that even if a plurality of algorithms are applied, Wherein the image processing unit is configured to be able to perform image processing on the sonar image in real time and increase the easiness of recognition and identification of the underwater object through the sonar image processed in real time,
By applying a plurality of recognition algorithms and a plurality of tracking algorithms at the same time and recognizing and tracking the underwater object by synthesizing the respective results, accuracy and robustness of the recognition and tracking of the underwater object can be enhanced, The method of the present invention is configured to improve the uncertainty in which the recognition is good in certain cases and the case where the recognition is not good in certain cases so that the accurate result is always obtained. Recognition and tracking method of underwater objects.

The method according to claim 1,
The method of claim 1,
Comparing the similarity between the input image and the object to obtain a similarity image; And
And selecting all candidate candidates that are considered to be the object from the similarity image as a candidate of interest.

3. The method of claim 2,
Wherein the step of obtaining the similarity image comprises:
(X, y) pixel information of the sonar image plane by using the following equation to determine the size of the target object according to the distance and angle at which the target object is located in the sonar image A deforming step; And

(Where x _distort and y _distort are respectively X _real and y _real are the outline of the marker in the X and Y axes respectively and x _img and y _img are the outline of the image plane in the image plane ) &Lt; / RTI > estimated outline in pixel units)

And calculating a degree of similarity image in which the probability that the object exists at each position of the input image is represented by a brightness value using a hough circle transform. Object recognition and tracking method.

3. The method of claim 2,
The method of claim 1,
And selecting the point or region having a high brightness value on the basis of the similarity image as the point of interest in order.

The method according to claim 1,
The final candidate selection step comprises:
Wherein the candidate is excluded from noise or misrecognized candidates among the interested candidates selected in the interest candidate selection step through probability-based filtering using a particle filter, and the remaining candidates are selected as the final candidate. Recognition and tracking method of underwater objects using processing.

6. The method of claim 5,
The final candidate selection step comprises:
For all particle groups, judging whether the particle group is a noise candidate or a disappearing candidate based on an evaluation condition including evaluation of whether or not each particle group satisfies a predetermined specific indicator value and evaluation of whether duplicate detection of the same object among particle groups is performed And selecting a group of particles satisfying all of the evaluation conditions as a final candidate. A method for recognizing and tracking an underwater object using real-time image processing of a sonar image.

The method according to claim 1,
Wherein,
A plurality of recognition algorithms are applied to each of the ROIs selected in the final candidate selection step to determine an object to be searched out from each of the final candidates, Results are obtained,
Wherein a constant weight is applied to the result of each of the algorithms, or adaptive weights that can be changed by learning are applied, and then the final results are integrated by combining the respective results. Recognition and tracking method of underwater objects.

8. The method of claim 7,
Wherein,
A method of recognizing and tracking an underwater object using real-time image processing of a sonar image, characterized in that one of the recognition algorithms is configured to apply a shape matrix identification method for determining a shape based on an area.

9. The method of claim 8,
The shape matrix recognition method includes:
A matching function between the known shape matrix A and the shape matrix B obtained in the final candidate selection step is used,
Wherein the matching function is expressed by the following equation: < EMI ID = 17.0 >

The method according to claim 1,
Wherein the tracking step comprises:
A plurality of tracking algorithms including mean-shift tracking and probability-based algorithms are applied to each of the objects recognized in the object recognition step, and the results obtained from the respective algorithms are combined, The tracking accuracy and robustness can be enhanced, and accurate and precise tracking can be achieved through real-time image processing. A method for recognizing and tracking an underwater object using real-time image processing of a sonar image.

An autonomous underwater robot configured to be able to perform autonomous actions in water,
A method of recognizing and tracking an underwater object using a real-time image processing of a sonar image according to any one of claims 1 to 10, And a determination unit configured to determine a movement path of the robot.