KR101533905B1 - 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법 - Google Patents
비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법 Download PDFInfo
- Publication number
- KR101533905B1 KR101533905B1 KR1020137024843A KR20137024843A KR101533905B1 KR 101533905 B1 KR101533905 B1 KR 101533905B1 KR 1020137024843 A KR1020137024843 A KR 1020137024843A KR 20137024843 A KR20137024843 A KR 20137024843A KR 101533905 B1 KR101533905 B1 KR 101533905B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- runway
- damage
- debris
- aerodrome
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006378 damage Effects 0.000 title claims abstract description 202
- 238000000034 method Methods 0.000 title claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000012544 monitoring process Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims description 89
- 230000008569 process Effects 0.000 claims description 36
- 230000003068 static effect Effects 0.000 claims description 33
- 238000004880 explosion Methods 0.000 claims description 30
- 239000003550 marker Substances 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 24
- 238000005286 illumination Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 230000004438 eyesight Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000013439 planning Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000007619 statistical method Methods 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 claims description 4
- 238000004091 panning Methods 0.000 claims description 4
- 239000000779 smoke Substances 0.000 claims description 4
- 239000000428 dust Substances 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 230000004297 night vision Effects 0.000 claims description 2
- 239000000356 contaminant Substances 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000000153 supplemental effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 28
- 238000007726 management method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008439 repair process Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000001932 seasonal effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000195493 Cryptophyta Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000003471 anti-radiation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/02—Mechanical actuation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft
- G08G5/50—Navigation or guidance aids
- G08G5/51—Navigation or guidance aids for control when on the ground, e.g. taxiing or rolling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 감시 시스템 및 방법에 관한 것으로서, 감시 시스템은 비행장의 이미지 또는 비디오를 캡처하기 위한 하나 이상의 카메라; 하나 이상의 카메라로 캡처한 이미지로부터 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 프로세싱 장치; 그리고 비행장에서 무기 충격을 검출하고 검출된 무기 충격의 영역 내의 이미지를 캡처하도록 하나 이상의 카메라를 안내하기 위한 무기 충격 감시 시스템을 포함한다.
Description
본 발명은 넓게 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 감시 시스템 및 방법에 관한 것으로서, 특히(비행장 내의 활주로 및/또는 유도로 및/또는 접근 경로 및/또는 인필드 및/또는 에이프런(apron) 및/또는 포장 도로를 포함하는) 비행장 감시, 이물질, 파편(FOD) 및 손상(균열, 큰 구멍, 스폴, UXO, 폭발로 생긴 구멍) 검출/측정/분류 및 비행장 손상 평가를 위한 감시 시스템 및 방법에 관한 것이다.
활주로 감시는 항공 운행에서 매우 중요하다. 활주로는, 활주로를 사용하는 항공기 또는 다른 운송 수단들에 의한 마모의 결과로서 만들어진 구덩이와 같은 손상을 계속적으로 겪게 된다. 때때로, 파편 또는 이물질이 활주로 상에 존재할 수도 있는데, 이는 제트 폭발, 항공기 이륙/착륙, 자연적인 원인 등에 의할 수도 있다. 항공기의 이동에 관련된 실제의 활주로상에서, 이물질, 파편 또는 손상(FOD)의 존재는 항공기 회사의 상당한 손실을 야기하는 항공기 충돌 및 그에 따른 인명사고를 야기할 수도 있다.
활주로 감시를 수행하는데 다른 방법들이 사용된다. 통상적으로, 감시원은 주기적으로 항공기 활주로 근처를 이동하면서 육안과 수동적인 방법으로 감시를 수행한다. 육안 감시는 느리고, 노동력이 많이 든다. 나아가, 육안 감시는, 활주로 근처의 상태에 충격을 받기 때문에 신뢰할 수 없다.
일부 비행장들은, 비행장 활주로 및 그의 인접 영역상에 손상, 파편 및 다른 위험 요소들이 있는지 검출하기 위해 레이더를 사용하는 자동화된 시스템을 사용한다. 레이더를 사용하는 시스템에서, 마이크로웨이브 신호는 일반적으로 활주로를 넘어서 전송되고 어느 다른 이물질로부터 반영된 신호가 검출되고 분석된다. 마이크로웨이브 신호들은 펄스화되거나 구조화되기 때문에, 신호가 수신기에 도달하는데 걸리는 시간은 이물질까지의 거리가 무엇으로부터 유래 되었는지로 부터 계산된다. 더 작은 파장과 더 높은 펄스 반복 주파수를 갖는 레이더 센서를 사용하는 것에 의해, 더 높은 감도 해상도(resolution)를 달성할 수 있으며, 나아가 그 범위에서 배경 간섭을 감소시킬 수 있다.
그러나, 활주로 감시를 위해 레이더를 사용하는 시스템은 한계를 갖는다. 레이더는 금속 객체를 검출하는 뛰어난 수단이지만, 고무와 같은 비-금속 객체를 검출하는 데에는 민감하지 않다. 열악한 레이더 신호를 갖는 물질(예, 고무)로 만들어진 객체(object)는 그러한 레이더계 시스템에서 중요한 문제를 야기할 수 있다. 나아가, 레이더는 더 작은 비-금속성 객체를 검출하는데 신뢰할 수 없다. 나아가, 다른 객체 또는 인프라구조에 의해 야기된 장애에 의해, 레이더 블라인드 스팟 또는 섀도우와 같은 한계가 포함된다. 추가적으로, 레이더는 그다지 해롭지 않을 수도 있는 매우 작은 금속 객체에 대한 신호를 강한 신호로 나타냄으로써 잘못된 경보를 일으킬 수 있다. 그러므로, 레이더를 기반으로 하는 감시 시스템은 "지능"이 없고, 운행자에 의해 검증(verification) 및 특징화(characterization)을 위한 객체의 가시적인 이미지를 제공할 수 없다.
일부 비행장들은, 활주로 상에 객체, 갈라진 틈 등을 검출하는데, 적외선 또는 열-이미지(thermal-imaging) 시스템을 사용한다. 그러나, 적외선 또는 열-이미지 시스템을 사용하는 시스템은 오직(객체로부터 발산되는) 적외선 복사를 검출할 수 있는데, 이러한 적외선 복사는 주변의 열 평형을 벗어난 것으로, 즉 충분한 열 콘트라스트(thermal contrast)를 갖는 객체(예를 들어, 차가운 활주로 상의 따뜻한 금속 파편의 조각)만을 검출할 수 있다. 열악한 열 콘트라스트를 갖는 작은 객체들은 적외선/열 이미지 시스템의 중요한 도전을 제기할지도 모른다. 나아가, 그러한 시스템은 불리한 날씨(예를 들어 추운 날씨) 조건 하에서는 예측이 불가능하다. 나아가, 적외선/열 이미지 시스템은 또한 객체의 검출, 특징화 및 분류에 요구되는 감도 한계가 없다.
최근에, 활주로 근처에 위치한 하나 이상의 비디오 카메라를 사용하는 감시도 제안되어 왔다. 카메라로부터 얻는 비디오 신호들은 비행장 통제실의 콘솔에 있는 운행자에 의해 시각적으로 모니터된다.
감시 카메라로부터 수신된 활주로의 비디오 이미지들을 처리하는 것에 의해 임의의 FOD 또는 비행장 활주로 손상을 검출하기 위한, 이미지 처리(예를 들어, 배경 제거(background subtraction))에 따른 방법이 또한 제안되어 왔다.
배경 제거를 사용하는 FOD 또는 비행장 활주로 손상 검출은 많은 문제점을 갖는다. 파편, 픽셀 성질은 배경과 전경(foreground) 픽셀을 올바르게 구분하기에 항상 충분한 것은 아니다. 나아가, 배경은 소음, 간섭, 외부의 작업, 조명 상태에서의 변동, 날씨 조건의 변화에 충격을 받는다.
나아가, 현재 사용되는 이미지 처리 시스템은 주위의 조명 상황에 좌우되고, 낮은 조명 상태에서는 적당하지 않으므로, 이는 픽셀 특성화에 중요한 문제를 야기한다.
존재하는 감시 시스템에 사용되는 비디오 카메라는 추가적인 보조 조명(예를 들어, 야간 감시를 위한 레이저 조명 또는 적외선 조명)이 필요하다. 나아가 이는, 그러한 시스템을 사용하는 비행장에 상당한 인프라 구조를 요구하는데, 이는 비용을 증가시킨다. 또한 광학 조명(예를 들어, 레이저 조명 또는 적외선 조명)의 존재는 비행장에서 사용되는 다른 시스템을 방해할 수 있고, 비행장에서 항공기의 네비게이션에 안전상의 문제를 일으킬 수 있고, 조종사 등에 해를 입힐 수 있다.
또한, 공격력에 대한 가장 효과적인 전략 중 하나는 적의 비행장에 선제 공격하는 것이다. 활주로가 파괴되어 항공기가 묶기면, 이 비행장은 추가 공격에 대한 보다 용이한 타깃이 된다. 이 위협은 활주로의 파괴를 위해 설계된 현대적인 무기, 예를 들어, 클러스터 폭탄, 다중 로켓 발사기(MRL)의 개발에 의해 증가되고 있다.
타깃(예를 들어, 군사 비행장 활주로)에 대한 전투 손상 평가(BDA)는 전쟁 중에 매우 중요하다. 전통적으로, 정찰 팀은 활주로의 전체 길이를 정찰하고 활주로를 기준으로 큰 구멍의 직경, 깊이 및 위치 면에서의 손상을 차트로 보낸다. 일반적인 차트작업은 약 60 내지 120분 정도가 필요하다. 이러한 긴 수동 기반의 활동은 전투 시나리오에서 비효율적이며 필연적으로 더 높은 폭격의 위험이 사람에 노출된다.
따라서, 하나 이상의 상기 문제점을 해결하기 위한 활주로 감시와 비행장 손상 평가를 제공할 필요가 있다.
본 발명의 한 양태에 따라, 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 감시 시스템을 제공하며, 감시 시스템은 비행장의 이미지 또는 비디오를 캡처하기 위한 하나 이상의 카메라; 하나 이상의 카메라로 캡처한 이미지로부터 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 프로세싱 장치; 그리고 비행장에서 무기 충격을 검출하고 검출된 무기 충격의 영역 내의 이미지를 캡처하도록 하나 이상의 카메라를 안내하기 위한 무기 충격 감시 시스템을 포함한다.
하나 이상의 카메라는 정적(static) 및 비-정적(non-static) 카메라의 조합을 포함할 수 있다.
하나 이상의 카메라는 손상의 유형을 검출하기 위해 세부 이미지를 얻기 위해서 검출된 무기 충격의 영역을 줌-인하거나 초점을 맞출 수 있다.
무기 충격은 무기 충격에 의해 발생된 폭발, 연기, 먼지 또는 플래시의 이미지 또는 소리에 의해 검출될 수 있다.
감시 시스템은 비행장 내에서 검출된 이물질, 파편, 또는 손상의 위치에 근거를 둔 항공기 착륙을 위한 최소 운행 스트립(MOS)을 유도하기 위한 계산 모듈을 포함할 수 있다.
감시 시스템은 비행장 내의 균열, 큰 구멍, 폭발로 생긴 구멍, 스폴, UXO 또는 동물을 검출할 수 있다.
프로세싱 장치는 각각 큰 구멍, 폭발로 생긴 구멍 또는 스폴 주위에 파편의 양을 검출하여 큰 구멍, 폭발로 생긴 구멍 또는 스폴의 크기를 결정할 수 있다.
하나 이상의 카메라는 비행장의 광역 이미지 캡처를 제공하기 위해 광각 렌즈를 장착할 수 있다.
하나 이상의 카메라는 비행장의 이미지를 캡처하기 위해 비행장 위를 비행하도록 구성된 항공기에 장착할 수 있다.
감시 시스템은 낮은 시정 또는 낮은 주변 조명 조건에서 인공 조명을 제공하기 위한 하나 이상의 적외선 또는 가시 광선 조명기를 포함할 수 있다.
프로세싱 장치는 이물질, 파편, 손상의 크기 또는 물리적 속성을 측정하기 위해 구성될 수 있다.
비행장에서 검출된 손상은 비행장 맵에 매핑될 수 있다.
감시 시스템은 이물질, 파면 또는 손상일 수 있는, 캡처된 이미지 내에 영역을 검출하기 위한 영역 기반 검출기와, 캡처된 이미지 내의 모든 물질의 에지를 검출하기 위한 에지 기반 검출기를 포함할 수 있으며, 이미지 내의 에지 기반 검출기에 의해 검출된 에지와 중첩되는 이미지 내의 영역 기반 검출기에 의해 검출된 영역이 저장된다.
하나 이상의 카메라로 캡처한 이미지는 함께 스티치(stitch)될 수 있고, 초기에 캡처 스티치된 이미지와 나중에 캡처 스티치된 이미지 사이의 차이의 영역은 나중에 캡처 스티치된 이미지 내에 강조 표시된다(highlighted).
무기 충격 감시 시스템은 무기 충격이 검출되면 시각적 또는 오디오 경고를 트리거하도록 구성할 수 있다.
감시 시스템은 무기 충격의 위치와 손상 정보를 근거해서 복구 작업을 예측하고 계획하기 위한 복구 예측 및 계획 모듈을 포함할 수 있다.
하나 이상의 카메라는 비행장에서 활주로의 양 반대편에 설치될 수 있으며, 이들의 뷰(view)는 중첩될 수 있다.
하나 이상의 카메라의 뷰는 중첩될 수 있다.
감시 시스템은 비행장 내의 손상을 복구하거나 이물질을 제거하기 위해 원격 경보 및 중요한 정보를 수신하기 위한 하나 이상의 모바일 핸드헬드 장치를 포함할 수 있다.
감시 시스템은 현재 캡처된 이미지와, 현재 캡처 이미지와 참조 이미지에 위치된 공통 객체의 위치에 따라 카메라로 찍은 참조 이미지 사이의 오프셋을 정정하기 위한 이미지 오프셋 보상기를 포함할 수 있다.
이미지 오프셋 보상기는 현재 캡처 이미지와 참조 이미지 사이를 정정하도록 오프셋을 결정하기 위해 현재 캡처 이미지와 참조 이미지 내의 하나 이상의 공통 객체를 사용할 수 있다.
선형 회귀(liner regression)는 현재 캡처 이미지와 참조 이미지 사이를 정정하도록 오프셋을 결정하는데 사용될 수 있으며, 현재 캡처 이미지와 참조 이미지 내의 공통 객체를 근거해서 계산된 오프셋 값은 현재 캡처 이미지와 참조 이미지 내의 공통 객체를 매칭함으써 결정된 점수(score)가 소정의 임계값보다 크다면, 선형 회귀에 맞는 것으로 간주된다.
감시 시스템은 비행장에서 검출된 이물질, 파편, 또는 손상의 위치에 근거한 항공기용 최소 비행장 운영 표면(MAOS)을 유도하기 위한 계산 모듈을 더 포함할 수 있다.
감시 시스템은 낮은 시정 또는 낮은 주변 조명 조건에서 인공 조명을 제공하기 위해 하나 이상의 가시 광선 조명기를 포함할 수 있다.
무기 충격은 무기 충격에 의해 발생 된 소리에 의해 검출될 수 있다.
본 발명의 다른 양태에 따라, 비행장 내의 이물질, 파편, 손상을 검출하기 위한 방법을 제공하며, 본 방법은 비행장의 이미지를 캡처하는 단계; 캡처된 이미지로부터 비행장 내의 이물질, 파편 또는 손상을 검출하는 단계와; 검출된 무기 충격의 영역 내의 이미지를 캡처하도록 하나 이상의 카메라를 안내하는 단계를 포함한다.
본 발명은 첨부되는 도면을 참조하여 기술되며, 이러한 실시예에 본 발명이 한정되는 것은 아니다.
도 1a, 도 1b 및 도 1c는 활주로/유도로 상의 이물질(foreign objects), 파편(debris) 또는 손상(damages)(FOD)과 비행장 손상을 검출하기 위한 감시 시스템에서 감시 카메라들의 배치를 도시하는 도면이다.
도 2는 일 실시예에 따른 FOD 및 비행장 손상 검출의 기본 흐름도이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 상세 흐름도이다.
도 4는 도 3a에서 에지 맵(edge map)을 추출하기 위하여 사용되는 룩업 테이블을 도시한 그래프이다.
도 5는 활주로/유도로 상의 FOD 또는 비행장 손상을 검출하기 위한 감시 시스템내의 감시 카메라들의 불필요한 영역을 도시하는 도면이다.
도 6은 다른 실시예에 따른 활주로 표면 스캐닝을 도시하는 도면이다.
도 7은 이미지 교정( 픽셀을 실물로 대응되도록 교정 )을 위하여 활주로 라인을 사용하는 일 실시예에 따라 활주로 라인을 도시한 도면이다.
도 8은 실시예의 시스템 및 방법을 구성하는 컴퓨터 시스템을 도시한 도면이다.
도 9는 이물질, 파편, 손상(FOD) 및 비행장 활주로 손상을 검출하기 위한 시스템과, 및 실시예의 무기 충격 감시 시스템을 포함하는 통합 비행장 손상 평가 시스템을 도시하는 개략도이다.
도 10은 도 9의 무기 충격 감시 시스템을 사용하는 충격 검출 시스템을 도시하는 개략도이다.
도 11은 도 9의 통합 비행장 손상 평가 시스템에 사용되는 소프트웨어 모듈을 표시하는 레이아웃을 보여준다.
도 12는 전쟁기간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다.
도 13은 평화 기간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다.
도 14는 도 9의 통합 비행장 손상 평가 시스템의 하드웨어 레이아웃을 나타낸 개략도이다.
도 15는 강조되는 활주로 이미지 내의 특정 이물질 파편 손상 영역을 가진 활주로의 스티치된 이미지를 보여준다.
도 16은 검출기의 두 가지 유형을 사용하여 비행장 이미지 내의 이물질, 파편(FOD) 또는 손상의 검출을 도시하는 흐름도이다.
도 17은 이미지 교정에 사용되는 비행장의 다른 영역에 존재하는 마커를 나타낸 도면이다.
도 18은 현재 이미지와 기본 이미지 사이의 오프셋 정정을 설명하기 위한 다이어프램이다.
도 19는 현재 이미지와 기본 이미지 사이의 오프셋 정정을 설명하기 위한 다이어프램이다.
도 20은 비행장 이미지 오프셋 보상을 위한 선형 회귀의 사용을 설명하기 위한 흐름도이다.
도 1a, 도 1b 및 도 1c는 활주로/유도로 상의 이물질(foreign objects), 파편(debris) 또는 손상(damages)(FOD)과 비행장 손상을 검출하기 위한 감시 시스템에서 감시 카메라들의 배치를 도시하는 도면이다.
도 2는 일 실시예에 따른 FOD 및 비행장 손상 검출의 기본 흐름도이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 상세 흐름도이다.
도 4는 도 3a에서 에지 맵(edge map)을 추출하기 위하여 사용되는 룩업 테이블을 도시한 그래프이다.
도 5는 활주로/유도로 상의 FOD 또는 비행장 손상을 검출하기 위한 감시 시스템내의 감시 카메라들의 불필요한 영역을 도시하는 도면이다.
도 6은 다른 실시예에 따른 활주로 표면 스캐닝을 도시하는 도면이다.
도 7은 이미지 교정( 픽셀을 실물로 대응되도록 교정 )을 위하여 활주로 라인을 사용하는 일 실시예에 따라 활주로 라인을 도시한 도면이다.
도 8은 실시예의 시스템 및 방법을 구성하는 컴퓨터 시스템을 도시한 도면이다.
도 9는 이물질, 파편, 손상(FOD) 및 비행장 활주로 손상을 검출하기 위한 시스템과, 및 실시예의 무기 충격 감시 시스템을 포함하는 통합 비행장 손상 평가 시스템을 도시하는 개략도이다.
도 10은 도 9의 무기 충격 감시 시스템을 사용하는 충격 검출 시스템을 도시하는 개략도이다.
도 11은 도 9의 통합 비행장 손상 평가 시스템에 사용되는 소프트웨어 모듈을 표시하는 레이아웃을 보여준다.
도 12는 전쟁기간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다.
도 13은 평화 기간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다.
도 14는 도 9의 통합 비행장 손상 평가 시스템의 하드웨어 레이아웃을 나타낸 개략도이다.
도 15는 강조되는 활주로 이미지 내의 특정 이물질 파편 손상 영역을 가진 활주로의 스티치된 이미지를 보여준다.
도 16은 검출기의 두 가지 유형을 사용하여 비행장 이미지 내의 이물질, 파편(FOD) 또는 손상의 검출을 도시하는 흐름도이다.
도 17은 이미지 교정에 사용되는 비행장의 다른 영역에 존재하는 마커를 나타낸 도면이다.
도 18은 현재 이미지와 기본 이미지 사이의 오프셋 정정을 설명하기 위한 다이어프램이다.
도 19는 현재 이미지와 기본 이미지 사이의 오프셋 정정을 설명하기 위한 다이어프램이다.
도 20은 비행장 이미지 오프셋 보상을 위한 선형 회귀의 사용을 설명하기 위한 흐름도이다.
도 1a는 한 실시예에 따라 활주로(106) 상의 이물질(foreign objects), 파편(debris) 또는 손상(damages)(FOD) 및 비행장 손상을 검출하기 위한 비행장 활주로 감시 시스템(100)에서 감시 카메라들의 배치를 도시한 도면이다. 상기 활주로(106)는 유도로(taxiway)(103,104) 및 잔디 필드(102)에 인접하여 중앙에 위치한다. 상기 활주로를 향하는 복수의 감시 카메라(108)들은 상기 유도로(104)의 일측 에지를 따라 배치되고, 각각의 감시 카메라(108)들의 축은 상기 활주로(106)의 길이방향에 수직이다. 각각의 감시 카메라(108)는 수평 각 시점(111)을 갖고서 유효 시야(110)를 캡처하는 것이 가능하다. 각각의 유효 시야(110)는 유도로(103,104), 활주로(106) 및 잔디 필드(102) 각 일부분을 포함한다. 그리고, 각각의 유효 시야(110)는 상기 활주로(106)를 따라 인접한 카메라(108)에 의하여 함께 캡처되는 공통 부분(112)을 포함한다.
감시 카메라(108)들은 활주로에서 150~700m 떨어져서 위치하고, 인접한 카메라에 의한 캡처로 인하여 대략10-50%의 중첩 이미지가 발생한다.
상기 카메라(108) 각각으로 부터 캡처된 비디오 및/또는 이미지는 비행장의 통제 타워 또는 통제실(135)의 응용 컴퓨터 시스템(도시생략)으로 제공된다. 상기 제공된 비디오 및/또는 이미지는 상기 응용 컴퓨터 시스템의 비디오 프로세싱 장치에 의하여 처리된다. 상기 응용 컴퓨터 시스템은 FOD 및 비행장 손상을 검출하기 위하여 상기 감시 카메라로부터 전달되는 이미지를 지속적으로 처리하고, FOD 또는 비행장 손상이 검출되는 때에는 운행자에게 이를 알린다. 그리고, 통제 타워 또는 통제실(135)의 운행자는 비디오 디스플레이(도시생략) 상의 실시간 활주로 이미지를 시각적으로 모니터링 할 수 있다. 상기 응용 컴퓨터 시스템이 상기 비디오 및/또는 이미지를 처리하는 도중에 어떠한 이물질, 파편 또는 손상(FOD)이 검출되면, 운행자는 이러한 사항에 대하여 경고를 받게 된다(시각적 및/또는 음성 알림 및/또는 GSM SMS 또는 MMS와 같은 모바일 통신 수단을 통한 원거리 무선 경보). 상기 알람 및/또는 원거리 무선 경보를 받게 되면, 운행자는 FOD 또는 비행장 활주로 손상을 시각적으로 확인하기 위하여 감시 카메라(108)를 검출된 객체 쪽으로 줌 시킨다. FOD 또는 비행장 활주로 손상이 확인되면, 통제 타워 또는 통제실(135)에서 알람(음성 및/또는 시각적인 것)이 작동된다. 그리고, FOD 또는 비행장 활주로 손상의 검출은 상기 활주로(106) 근처에 위치한 원거리 알람(음성 및/또는 시각적인 것)을 동작시킨다. 그리고, 무선 경보(GSM SMS 또는 MMS와 같은 것)가 동작되어, 활주로 복구 팀 또는 비행장 수선 팀에게 해당 내용이 알려진다. 따라서, 활주로 복구 팀은 즉시 복수 운송수단을 보내어서 상기 이물질, 파편을 제거하고 손상을 수리하는 것과 같은 발견된 FOD의 복구 작업을 수행한다.
사용되는 상기 감시 카메라들은 수동적이며, 조명장치(레이저 또는 적외선 조명장치와 같은 것)가 갖추어져 있지 않다. 감시 카메라(108)들 각각은 고해상도 낮/밤(주간/야간) 비전 카메라, 저룩스(lux) 고감도 칼라 카메라, 광증대장치 CCDs(ICCD 카메라)가 구비된 카메라, 전자 증폭 CCD(EM-CCD 카메라)가 구비된 카메라, 밤 비전 카메라, 정적(static) 카메라, 고해상도 메가-픽셀 카메라, 비-정적(non-static) 카메라, 패닝(panning) 카메라, 팬 틸트 줌(PTZ) 카메라 또는 줌 카메라, 단파 적외선(SWIR) 카메라, 중파 적외선(SWIR) 카메라와 같은 것) 또는 열 이미지 기구(thermal imager) 중 어느 하나가 될 수 있다. 상기 감시 시스템은 추가적인 보조 조명장치(적외선 조명장치 또는 레이저 조명장치와 같은 것)를 설치할 필요없이 오직 수동적인 카메라들을 사용함으로써 동작할 수 있다.
상기 시스템(100)에 사용되는 감시 카메라(108)는 이미지 처리를 위하여 활주로의 비디오 이미지 또는 디지털 사진을 생성할 수 있다. 그러나, 디지털 카메라는 스틸 이미지 처리를 위하여 상기 활주로의 디지털 이미지를 만드는데 사용되고
있다.
예를 들어, 줌 카메라 또는 팬 틸트(PTZ) 카메라는 FOD 또는 비행장 활주로 손상의 상세 시야를 얻기 위하여 활주로의 어느 영역에 대하여 자동적으로 줌(zoom) 시키는데 사용될 수 있다. 줌-인된 비디오 이미지로부터 상기 활주로의 좀 더 상세한 영역을 확인할 수 있으며, 운행자는 발견된 FOD 또는 활주로 손상에 의하여 야기될 수 있는 잠재적 위험을 좀 더 용이하게 판단할 수 있으며, 적절한 행동을 즉시 취할 수 있다. 실시예에서, 상기 응용 컴퓨터 시스템이 FOD 또는 활주로 손상을 검출할 때마다, 상기 PTZ 카메라 또는 줌 카메라는 원격으로 제어되어 상기 활주로의 해당 영역을 줌시킬 수 있다. 변경적으로 PTZ 카메라 또는 줌 카메라는 또한 운행자에 의해 수동으로 제어될 수 있어 비행장 내의 특정 영역을 줌해서 줌-인된 비디오 또는 이미지를 얻을 수 있다.
도 1b는 활주로(106) 상의 FOD 또는 활주로 손상을 검출하기 위한 활주로 감시 시스템(500)에서 감시 카메라들의 다른 배치를 도시한 도면이다. 상기 활주로를 향하는 복수의 감시 카메라(508)들은 유도로(104)의 일측 에지를 따라 배치된다. 상기 활주로를 향하는 다른 복수의 감시 카메라(509)는 유도로(103)의 다른쪽 에지를 따라 배치된다. 각각의 감시 카메라(508,509) 축은 활주로(106)의 길이방향에 대하여 수직이다. 각각의 감시 카메라(508)는 수평각 시야(511)를 갖고서 유효 시야(510)를 감시할 수 있다. 각각의 감시 카메라(509)는 수평각 시야(521)를 갖고서 유효시야(515)를 감시할 수 있다. 각각의 유효 시야(510,515)는 유도로(103,104), 활주로(106) 및 잔디 필드(102) 일부분을 포함한다. 상기 카메라(508,509)들은 인접한 카메라의 유효 시야(510,515)가 서로 교차되도록 서로 교차하여 배치되어, 분명한 경계선을 갖거나, 커버리지의 약간의 중첩을 가진다. 인접한 감시 카메라의 중첩 커버리지(시야)는 또한 약간의 여분을 제공하여 감시 카메라가 고장 날 경우, 인접 감시 카메라는 또한 고장난 카메라의 시야를 확보할 수 있다. 또한, 시야 커버리지 여분을 제공하도록 활주로의 모든 섹터가 적어도 2 감시 카메라에 의해 커버될 수 있도록 감시 카메라를 위치되게 할 수 있다. 그러므로, 적어도 2 감시 카메라는 또한 동일한 활주로 섹터와 동일한 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 또는 FOD를 볼 수 있을 것이다. 이것은 또한 특정 활주로 섹터 또는 비행장의 영역을 커버하는 단일 감시 카메라만을 사용할 때에 일어날 수 있는 비행장 활주로 손상/FOD의 경우의 문제를 극복하는데 도움이 된다. 그러므로, 이 구성으로, 2 다른 카메라로 볼 때 동일한 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 또는 FOD의 2개의 다른 뷰를 캡처할 수 있다.
도 1c는 활주로(105)상의 활주로 손상 또는 FOD를 검출하는 활주로 감시 시스템(550) 내의 감시 카메라의 또 다른 변경 실시예를 도시하는 개략도이다. 활주로와 대면하는 다수의 감시 카메라(551)는 유도로(104)의 에지를 따라서 전개된다. 활주로와 대면하는 다른 다수의 감시 카메라(552)는 유도로(103)의 에지를 따라서 전개된다. 각 감시 카메라(551, 552)의 축선은 활주로(105)의 길이와 수직이다. 각 감시 카메라(551)는 수평 시야각(553)을 가지는 시야(555)를 감시하도록 작동가능하다. 각 감시 카메라(552)는 수평 시야각(554)을 가지는 시야(556)를 감시하도록 작동가능하다. 각 시야(555, 556)는 유도로(103, 104), 활주로(105) 및 잔디 필드(인필드 포함)(102)로부터의 섹터들을 포함한다. 이 구성은 활주로 및/또는 유도로의 각 섹터가 적어도 2 감시 카메라에 의해 커버될 수 있게 하며, 하나가 활주로의 각 측면으로부터 커버한다. 이는 감시 커버리지 여분을 제공한다. 비행장 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 또는 FOD에 대한 감시 카메라 뷰의 장애로 인해 경우의 문제를 극복하는데 도움이 된다. 이런 경우는 감시 카메라의 카메라 뷰내에 놓이는 다른 FOD 객체 또는 활주로 손상에 의해 야기될 수 있고 단일 카메라가 비행장의 특정 영역을 커버하는데 사용될 때에 일어날 수 있다.
활주로의 양 대향 측면상에 감시 카메라의 시야는 약간의 중첩을 가져와 활주로 및/또는 유도로의 커버리지의 여분을 제공한다. 그러므로, 활주로의 양 대향 측면상에 감시 카메라의 설치는 활주로 및/또는 유도로 상의 큰 구멍/폭발로 생긴 구멍/스폴/UXO) 및 FOD의 정확한 검출/측정/분류를 위한 경우에 의한 문제점을 극복하는데 도움을 준다.
이하에서 기술되는 설명 일부는 컴퓨터 메모리 내에서 데이터 동작에 관한 알고리즘 또는 기능적이거나 상징적인 표현과 관련되는 용어로 명확히 또는 암시적으로 표현된다. 이러한 알고리즘 기술과 기능적 또는 상징적인 표현은 데이터 프로세싱 기술분야에서의 당업자가 충분히 실행으로 옮길 수 있는 정도이다. 알고리즘은 일반적으로 바람직한 결과를 이끌어내는 단계의 일관성 있는 시퀀스가 될 수 있다. 상기 단계들은 전기적, 자기적 또는 광학적 신호들이 저장, 전송, 연결, 비교 및 다른 조작이 이루어질 수 있는 것과 같은 물리적인 양의 물리적인 조작을 요구한다.
특별히 다르게 기술되더라도, 아래 기술사항으로부터 분명해지고, 본 상세한 설명을 통하여 기술되는 "계산하는 것", "결정하는 것", "교체하는 것", "발생시키는 것", "초기화하는 것", "출력하는 것" 또는 이와 유사한 기재는 컴퓨터 시스템 내에서 물리적인 양으로서 표현되는 데이터를 상기 컴퓨터 시스템 또는 다른 정보 저장장치, 전송 또는 디스플레이 장치 내에서 물리적인 양으로 유사하게 표현되는 다른 데이터로 조작하고 전송하는 컴퓨터 시스템 또는 유사한 전자 장치의 동작과 프로세스를 나타낸다. 그리고, 본 상세한 설명은 방법의 동작을 실행하기 위한 장치를 개시한다.
이러한 장치는 요구된 목적을 위하여 특별히 구성될 수 있으며, 일반적인 목적의 컴퓨터 또는 컴퓨터 내에 저장되는 컴퓨터 프로그램에 의하여 선택적으로 동작되거나 변경될 수 있는 다른 장치를 포함할 수 있다. 여기서 표현되는 알고리즘과 디스플레이는 어떤 특별한 컴퓨터 또는 다른 장치에 한정되는 것은 아니다. 다양한 일반적인 목적 기계들이 기술되는 기술에 대응하여 프로그램되어 사용될 수 있다. 반면에, 요구되는 방법의 단계를 실행하기 위하여 좀 더 특별히 설계된 장치도 사용될 수 있다. 종래의 일반적인 목적 컴퓨터의 구조는 아래에서 기술되는 것에 의해 명확해 질 수 있다.
그리고, 본 상세한 설명은 컴퓨터 프로그램을 암시적으로 개시하며, 본 기술분야에서의 당업자는 기술되는 상기 방법의 각 단계를 효과적으로 컴퓨터 코드로 실행시킬 수 있다. 상기 컴퓨터 프로그램은 어떤 특별한 프로그래밍 언어에 한정되지 않는다. 다양한 프로그래밍 언어와 그들의 코딩이 여기에 기술되는 기술을 구성시키도록 사용될 수 있다. 그리고, 컴퓨터 프로그램은 어떤 특별한 제어 흐름에 한정되는 것은 아니다. 본 발명의 사상에서 벗어나지 않는 한 다른 제어 흐름을 사용할 수 잇는 다양한 컴퓨터 프로그램이 사용될 수 있다.
또한, 상기 컴퓨터 프로그램의 하나 또는 그 이상의 단계들이 연속적이기 보다는 병행하여 실행될 수 있다. 이러한 컴퓨터 프로그램은 어떠한 컴퓨터 읽기 가능한 매체에 저장될 수 있다. 상기 컴퓨터 읽기 가능한 매체는 자기 또는 광학 디스크, 메모리 칩, 또는 일반적인 목적 컴퓨터와 인터페이스 가능한 다른 저장 장치와 같은 저장장치를 포함할 수 있다. 사기 컴퓨터 읽기 가능한 매체는 인터넷 시스템, 또는 GSM 모바일 전화 시스템이 예가 될 수 있는 무선 매체와 같은 하드-와이어드(hard-wired) 매체를 포함할 수 있다. 이러한 일반-목적 컴퓨터에서 로드되고 실행되는 컴퓨터 프로그램은 바람직한 방법의 단계를 구성하는 장치를 효과적으로 제공할 수 있게 한다.
본 발명은 하드웨어 모듈과 같이 구성될 수 있다. 특히, 하드웨어 측면에서, 모듈은 다른 구성요소 또는 모듈과 함께 사용하기 위하여 디자인된 기능적인 하드웨어 유닛이다. 예를 들면, 별개의 전자 구성요소를 사용하도록 모듈이 구성될 수 있으며, 응용 주문형 집적 회로(Application Specific Integrated Circuit(ASIC))와 같은 전체의 전자 회로의 일부분을 형성할 수 있다. 당업자는 상기 시스템을 하드웨어와 소프트웨어 모듈의 결합으로 구성시킬 수도 있을 것이다.
상기 통제 타워 또는 통제실(135)(도 1a)의 응용 컴퓨터 시스템은 아래의 기능을 갖는다.
1. 카메라의 개수, 각 카메라의 커버리지 영역(유효 시야), 카메라 교정, 발생되어야만 하는 경보에 대한 이벤트, 경보의 여러가지 형태들에 대하여 상기 감시 시스템을 구성시키는 것
2. 운행자가 효과적으로 FOD 또는 활주로 손상을 확인하고, FOD가 이물질인지, 파편인지, 활주로상의 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO)인지 여부를 판단하고,상기 이물질 또는 비행장 활주로 손상을 측정하고 분류할 수 있도록 하기 위하여 각각의 감시 카메라의 유효 시야를 선택(카메라의 시야 각을 원격
으로 조절하는 것에 의하여)하는 것.
3. 상기 비행장 활주로의 관심 영역에 대하여 팬, 틸트 및/또는 줌 기능을 수행하기 위하여 팬 틸트 줌(pan tilt zoom(PTZ)) 또는 줌 카메라를 자동으로 조절함으로써, 팬 틸트 줌(PTZ) 또는 줌 카메라 각각의 유효 시야(시야각)을 선택하는 것. 관련되는 PTZ 또는 줌 카메라는 손상된 영역 또는 파편 또는 이물질을 갖는 비행장 활주로의 부분을 줌하여 자동적으로 캡처하기 위한 응용 컴퓨터 시스템에 의하여 원격으로 제어된다. 이러한 기능은 운행자에 의하여 직접 실행될 수 있으며, 상기 응용 컴퓨터 시스템의 사용과 함께 원격으로 실행될 수 있다.
4. 상기 활주로에 등록된 문제(FOD 또는 활주로 손상이 검출되는 것)가 발생하는 것에 의해 음성 또는 시각적인 경보를 구성시킴으로써, 상기 시스템은 자동으로 경보의 우선순위 리스트를 생성시키고, 가장 우선순위가 높은 것은 가장 큰 구멍이 형성되었거나 가장 위험한 파편 또는 이물질 또는 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO)이 발생한 경우가 수리될 수 있으며, 운행자는 상기 우선순위 리스트에 따라 필요한 적절한 대응을 취할 수 있다. 상기 경보는 음성 및/또는 시각적 또는 양쪽 모두로 구성될 수 있다. 상기 경보는 GSM SMS 또는 MMS 또는 3G 이동 통신과 같은 모바일 통신 수단을 통하여 원격의 무선으로 이루어질 수 있다.
5. 상기 시스템이 활주로 또는 유도로 상에서 FOD 또는 활주로 손상을 검출하였을 경우에 다양한 감시 카메라에 의하여 캡처된 비디오 이미지 및/또는 스틸 사진 이미지의 처리와 기록을 수행하는 것과, 상기 활주로 장면의 기록된 비디오 이미지 및/또는 스틸 사진 이미지의 재생.
6. 저장된 이벤트, 비디오 및/또는 이미지 및 다른 데이터의 관리. 모든 관련 데이터는 데이터베이스에 저장되어, 쉽게 접근할 수 있고 다양한 보고서를 생성할 수 있다.
7. 다른 시스템이 상기 데이터베이스에 억세스할 수 있게 하기 위한 시스템 인터페이스.
8. 다른 시스템이 실시간 데이터 및 모든 필드 장비의 세부사항을 포함하는 시스템-와이드 상태(system-wide status)를 획득할 수 있도록 실시간 데이터를 공유하기 위한 시스템 인터페이스. 항공기 이륙/착륙 제어 시스템으로 실시간 데이터를 집적화하는 것은 항공기와 승무원에게 안전을 제공하는 것이 유용해진다.
도 2는 한 실시예에 따른 FOD 또는 비행장 활주로 손상 검출의 기본 흐름도이다.
단계 201에서, 감시 카메라들은 활주로의 어느 일부분의 이미지을 각각 획득한다. 상기의 획득된 이미지 처리와 관련하여서는 아래의 단락에서 설명된다.
단계 203에서, 상기의 획득된 이미지를 전처리(pre-process)하기 위하여 이미지 향상이 수행된다. 활주로에 평행한 방향으로 높은 그래디언트(gradient) 변화(거의 모든 실제의 3D 이물질, 손상 또는 파편(FOD)는 이러한 특성을 갖는다)를 갖는 특징을 향상시키기 위하여, X축 방향에서의 단계적인 그레이 스케일(grey scale) 변화와, 강하게 대조되는 활주로 흰색 라인은 제거된다.
어떤 두드러진 활주로 조명과 FOD를 제외하고는, 출력 이미지에서 모든 픽셀은 거의 0이 된다(이동하는 구름 또는 비에 의해서 그레이 스케일 그래디언트 변화를 갖는 흰색 활주로 라인과 영역을 포함). 이 단계는 낮은 오류율로 FOD 또는 활주로 손상 검출을 신뢰할 수 있게 해준다.
최적 결과를 얻기 위하여, left_to_right plus_to_left의 Sobel X 또는 Scharr X와 같은 하이 패스 필터가 사용될 수 있다.
단계 205에서, 밤에 검출하는 경우를 위하여 비정상적인 빛(abnormal light) 검출이 적용된다. 활주로에 갑작스러운 불빛 비춤이나 휘점(bright spot)이 상기 감시 카메라(108)를 비출 수 있다. 이것은 항공기가 착륙하거나 이륙하는 때 또는 밤에 지상에서 자동차 등이 이동할 때 발생될 수 있다. 상기 검출 알고리즘은 이러한 상황을 판단한다. 비정상적인 빛이 검출되면, 해당 이미지는 무시된다. 상기 알고리즘은 획득된 이미지를 꾸준히 진행되는 이미지와 비교하기 위하여 글로벌 히스토그램(global histogram)과 통계적인 분석(평균 그레이 스케일)을 수행한다. 상기 알고리즘은 비정상적인 빛 상태가 있는지 여부를 결정하기 위하여, 휘점의 파라미터(사이즈, 면적 등과 같은 것)를 사용한다.
단계 207에서, 최적의 검출 파라미터가 추정되고 적응적 픽셀 수준 에지 맵이 추출된다. 다른 날씨 및 밤/낮 조건 하에서, 비행장 또는 활주로(106)의 이미지는 매우 다르게 보일 수 있다. 이미지는 부드럽거나 거칠거나 또는 많은 반사지점을 가질 수 있다. 이 단계는 적응적으로 최적의 FOD 또는 손상 에지 추출 임계치를 추정하여 최소의 노이즈로 진정한 FOD 또는 손상 에지를 추출하는 것을 목적으로 한다. 알고리즘은 원본(모션 영역을 제외) 또는 점진적으로 학습된 배경 이미지를 기반으로 하는 통계적 방법(예컨대, 평균, 분산)을 사용하여 픽셀 수준 임계치 맵을 생성하기 위해 사용되는 그레이스케일 LUT(LookUp Table)를 결정한다.
단계 209에서, 시간적 필터링(temporal filtering)이 에지 맵의 스택에 적용되어 감소된 노이즈로 강력한(robust) 에지를 유지한다. 시간적 필터링은 픽셀 수준에 적용된다. 특정 임계치를 통과하기 위해 축적된 픽셀들만이 강력한 에지 픽셀로 간주된다(강력한 에지 맵에 사용됨). 깜빡거리는 픽셀들은 임계치를 통과하도록 축적될 수 없으며, 그 결과 삭제된다(강력한 에지 맵에서 사용되지 않음).
단계 211에서, 적응적 배경 학습이 배경 학습(background learning)을 위해 IIR(Infinite Impulse Response) 원리를 사용하여 수행된다.
Bt: 시간 t에서 배경 이미지,
Bt -1: 시간 t-1에서 배경 이미지,
It: 시간 t에서 현재 이미지,
배경 이미지는 다음에 의해 업데이트된다:
Bt = Bt -1 * α + It *(1-α)
시스템은 배경 학습을 위해 우선적으로 에지 맵을 사용한다. 학습된 특징(feature)은 주로 중앙 광(centerlights)을 포함하고, 낮은 카메라 각도로 인해 활주로 영역 내로 소량 포함된 일부 에지 광(edge lights)을 포함한다. 적응적 배경 학습의 주된 목적은 잘못된 경고를 생성하지 않으면서, 배경으로 혼합하기 위해 활주로 상의 느린 특징 변화 프로세스를 캡처하는 것이며, 그리고 다음 날을 위한 배경 에지로서 사용하기 위해 학습된 배경 에지 맵을 나날이 파일 또는 데이터베이스에 저장하는 것이다. 이는 시스템이 가능한 한 신속하게 활주로 표시 변화에 적응할 수 있도록 한다.
단계 213에서, 합성 배경 에지 맵이 획득된다. 합성 배경 에지 맵은 비행장 활주로/유도로 마킹 runway markings)을 나타낸다. 합성 배경 에지 맵은 적응적 배경 에지 맵, 이전에 저장된 배경 에지 맵 및 선택적으로 계절적 마킹(seasonal markings)(계절적 마킹은 특정 계절 또는 눈과 같은 기상 조건 도중 생성된다)으로 구성된다. 이들은 최종 배경 에지를 형성하기 위해 단순하게 추가되거나 또는 더 처리된다.
단계 215에서, 의심되는 에지가 에지 맵 및 합성 배경 에지 맵을 비교함으로써 추출된다. 이 단계에서, 단계 213에서 처리된 이미지로부터의 활주로/유도로 마킹 에지는 제거된다. 남은 에지는 FOD 또는 비행장 손상일 수 있다.
단계 217에서, 에지 필터링은 FOD 또는 활주로/유도로 손상의 일부가 아니지만 눈, 비 또는 아침 햇살과 같은 다른 기상 조건으로 인해 발생할 수 있는 에지의 일부를 필터링하도록 수행된다. 기상 조건은 센서 및/또는 이미지 처리 방법을 통해 검출된다. 이 단계는 하나 또는 그 이상의 선택가능한 알고리즘을 사용하여 이러한 기상 조건을 검출하는 단계를 포함한다(예컨대, 활주로 광은 비로 인해 변환되고, 반사가 활주로에 발생할 수 있다). 특정 필터링 알고리즘은 빛을 위치하고 반사 에지를 필터한다.
다른 분류가 단계 219에서 수행되어 단계 217에서 검출된 객체가 진정한 FOD인지 여부를 결정한다. 객체 분류 방법의 일부 예는 패턴 매칭, 베이즈 분류기(Bayes classifier), 선형 판별 분류기(Linear Discriminant classifier), 신경 네트워크 분류기, 퍼지 분류기 및 가장 이웃 분류기인 신경 퍼지 분류기이다. 또한 비행장 활주로/유도로 손상은 큰 구멍 또는 폭발로 생긴 구멍 또는 스폴이고, 큰 구멍 또는 폭발로 생긴 구멍 또는 스폴 둘레의 파편의 량을 검출하고 측정함으로써 이의 크기를 측정한다.
단계 217로부터 필터링된 에지를 사용하여, 시스템은 상대적 객체 속성, 예를 들어 길이, 높이, 경계(perimeter), 면적, 질감, 색채 속성(chromatic properties)(색상(hue) 및 채도(saturation)), 광도 세기(luminous intensity)(그레이 수준)를 추출한다. 이러한 객체 속성은 객체 분류를 위한 입력 벡터를 형성하여 검출된 객체가 진정한 FOD 또는 비행장 손상인지 결정한다.
단계 221에서, FOD 또는 비행장 활주로 손상이 검출되면, 관제탑 또는 관제실의 운영자(operator)는 시각적 및/또는 청각적 경보 및/또는 무선 경고(예컨대, GSM SMS 또는 MMS) 중 어느 하나에 의해 이를 경고한다. 경보 및/또는 무선 경고를 수신하면, 운영자는 검출된 FOD 또는 비행장 활주로 손상에 감시 카메라를 주밍(zoom)한다. FOD 또는 비행장 활주로/유도로 손상이 확인되면, 다른 경보(청각적 및/또는 시각적)가 통제 타워 또는 통제실에 트리거링된다. FOD 확인은 또한 활주로 또는 유도로 근처에 위치된 원격 경보(청각적 및/또는 시각적)도 트리거링한다. 추가적으로 또는 선택적으로, 무선 경고(예컨대 GSM SMS 또는 MMS)는 또한 활주로 복원 팀에 통지하기 위해 트리거링될 수도 있다. 즉각적으로, 비행장 복구 팀은 복구용 차량을 파견하여 검출된 FOD를 클리어한다(즉, 외부 객체 또는 파편를 제거하거나 비행장 활주로/유도로 손상을 수리한다).
도 3a 및 도 3b는 본 발명의 일 실시예의 상세한 흐름도이다. 단계 301에서 프로세스를 시작하면, 시스템은 단계 302에서 초기화된다. 단계 303에서, 감시 카메라는 비행장 활주로 또는 유도로의 부분에 있는 초기 이미지를 캡처한다.
이미지는 임의의 모션을 검출하도록 분석된다. 어떠한 움직임도 없는 이미지만이 배경 학습을 위해 사용되고 결과적으로 이 예시적인 실시예에서 데이터베이스에 참조 배경 이미지로 저장된다.
단계 305에서, 캡처된 이미지는 이미지 개선으로 제공되어 캡처된 이미지를 처리한다. 이미지 전처리 후, 이미지의 모든 픽셀들은 일부 두드러지는 활주로 빛을 제외하고 영으로 처리된다(백색 활주로 라인 및 움직이는 구름 또는 비로 인한 그레이 스케일 그래디언트(grey scale gradient)에 변화를 가지는 영역에 대응하는 픽셀을 포함).
단계 307에서, 낮에서 밤으로, 또는 밤에서 낮으로의 변화가 있는지 여부를 발견하기 위해 확인이 이루어진다. 예를 들어, 이는 센서 또는 카메라의 광 강도의 차이를 모니터링함으로써 달성될 수 있다. 낮에서 밤으로 또는 밤에서 낮으로의 광 강도의 차이는 일반적으로 기상 변화로 인한 것보다 훨씬 크다. 이 경우, 낮에서 밤으로, 밤에서 낮으로의 변화 또는 밤인 조건이 검출되고, 단계 309에서, 비정상적인 빛(abnormal light) 검출 확인이 수행된다. 비정상적인 빛이 단계 311에서 검출된 경우, 캡처된 이미지는 무시되고 다음 이미지가 단계 303로부터 캡처된다. 비정상적인 빛이 검출되지 않은 경우, 단계 315에서 검출된 다른 환경적 조건들(예컨대, 밤/낮, 비, 눈, 연기 등)에 대해, 추정된 최적의 FOD(Foreign Object, Debris or damage) 검출 파라미터는 단계 313로부터 도출된다.
예를 들어, 다른 환경 조건(예컨대, 밤/낮, 비, 연기 등)은 하나 또는 그 이상의 센서에 의해 검출될 수 있다.변화를 야기하기 위한 하나 이상의 임계치가 내장된(built-in one or more threshold) 시스템을 기반으로 한 카메라 조리개가 사용될 수도 있다. 예를 들어, 임계치는 낮에 대해 50으로 설정되고 밤에 대해서는 70으로 상승될 수 있다. 타임 필터는 또한 사용되어, 밤인지 낮인지 여부를 확인하기 위해 특정 값이 시간 사이클 동안 유지될 수 있다. 응용 컴퓨터 시스템은 또한 RTC(Real Time Clock) 및 밤 또는 낮 조건의 확인을 위한 전자 달력으로부터의 다른 날짜 및 시간 입력을 사용할 수도 있다.
비행장 활주로 또는 유도로의 마킹은 밤과 낮 시간 동안 상이하게 나타난다. 보통, 밤 중에 마킹이 더 많이 나타난다. 밤의 마킹은 낮의 마킹을 대체한다.
단계 317는 적응적 픽셀 수준 에지 맵 추출(도 4를 참조)을 제공하며, 최소의 노이즈 진정한 FOD 또는 손상 에지를 추출하기 위해 최적의 FOD 또는 비행장 활주로/유도로 손상 에지 추출 임계치가 LUT(LookUp Table)로부터 유도된다.
단계 319에서(도 3B), 모션 에지 필터링이 정적 에지 맵을 생성하기 위해 수행된다. 단계 321에서, 시간적 필터링은 강력한 에지 맵을 추출하기 위해 수행된다. 오직 특정 임계치를 통과하여 축적된 픽셀들만이 강력한에지 픽셀로 간주된다(강력한 에지 맵에 사용됨). 깜빡거리는 픽셀들은 임계치를 통과하여 축적될 수 없을 것이며, 그 결과 삭제될 것이다(강력한 에지 맵에 사용되지 않음).
단계 323에서, 적응적 배경이 학습되었는지 결정하도록 확인 작업이 수행된다. 시스템은 배경 학습을 위해 에지 맵을 사용한다. 적응적 배경이 학습되지 않으면, 적응적 배경 에지 맵은 단계 325에서 초기화되거나/업데이트된다. 단계 327에서, 적응적 배경 맵이 기정의된 조건에 도달하는지 여부를 결정하도록 확인 작업이 수행된다. 도달된 경우, 단계 329에서, 표시가 플래그되어(flagged) 적응적 배경이 학습됨을 통지한다. 도달되지 않은 경우, 프로세스는 단계 303(도 3a)으로 되돌아가 이미지를 캡처한다.
단계 323에서 적응적 배경이 학습되면, 단계 331에서, 합성 배경 에지 맵이 생성된다. 합성 배경 맵은 단계 325에서 생성되거나/업데이트된 적응적 배경 맵, 기저장된 낮/밤 배경 맵 및 프로세스가 단계 302(도 3a)에서 초기화되면 단계 333에서 제공되는 계절적 마킹 맵으로 구성된다. 계절적 마킹은 특정 계절 또는 기상 조건(예컨대, 눈 또는 비) 하에서의 활주로 마킹과 결합된다. 이미지를 처리하거나 외부 센서를 사용함으로써, 시스템은 이러한 계절 또는 기상 조건들을 식별하여 잘못된 경보를 줄일 수 있다. 합성 배경 맵은 활주로의 마킹을 포함한다.
단계 335에서, 의심되는 에지 맵이 합성 배경 맵과 에지 맵을 비교함으로써 추출된다. 단계 337에서, 에지 필터가 비로 인한 반사와 같은 갑작스런 환경 변화와 관련된 원치않은 임의의 에지를 필터링하도록 적용된다. 예를 들어, 우천 시, 활주로 빛의 이미지는 FOD 또는 비행장 활주로/유도로 손상과 닮을 수 있는 밝은 지점으로 검출될 수도 있다. 시스템은 기저장된 이미지와 비교함으로써 이러한 잠재적인 잘못된 경보를 검출할 수 있다.
단계 337에서, 적응적 배경 맵이 단계 339에서 업데이트 되고 낮에서 밤으로의 변화가 있는지 발견하도록 확인과정이 수행된다. 만약 낮에서 밤으로의 변화가 있거나, 밤에서 낮으로의 변화가 있다면, 마지막 밤 또는 낮 배경 맵이 단계 343에서 즉각적인 사용을 위해 로딩되고, 적응적 배경 맵은 다음 날의 사용을 위해 단계 345에서 밤/낮 배경 에지 맵으로서 저장된다. 단계 341에서 낮에서 밤으로의 변화, 또는 밤에서 낮으로의 변화가 발견되지 않으면, 프로세스는 단계 303(도 3a)으로 되돌아가 이미지 캡처를 지속한다.
단계 347에서, 단계 337로부터 필터링된 의심되는 에지 맵으로부터의 에지 파라미터(예컨대 사이즈, 면적 등)이 계산된다. 단계 349에서, 에지 파라미터가 임계치를 초과하는지 결정하도록 확인 작업이 수행된다. 초과한다면, 단계 351에서, 활주로 상의 의심되는 영역은 이미지 디스플레이에 겹쳐서 표시되고, 관제탑 또는 관제실의 운영자는 청각적 신호 및/또는 시각적 및/또는 무선 경고(예컨대 GSM SMS 또는 MMS 또는 3G)를 통해 경고를 받는다. 단계 353에서, 경보가 생성되면, 운영자는 시각적 확인을 위해 감시 카메라를 사용하여 팬 및/또는 틸트 및/또는 줌을 수행한다. 단계 353에서, FOD 또는 비행장 활주로 손상이 확인되면, 단계 357에서, 비행장 활주로 복구 팀이 무선 수단(예컨대, GSM SMS 또는 MMS 또는 3G)를 통해 즉각적으로 통지를 받는다. FOD 또는 비행장 활주로/유도로 손상의 이미지는 비디오 디스플레이에 나타나도록 진행되고, 단계 359에서 복구 팀이 복구하거나 비행장 활주로로부터 FOD를 클리어(즉, 비행장 활주로/유도로 손상을 수선하고 이물질 또는 파편을 제거)할 때까지 경고 신호가 지속된다.
도 4는 상기에서 제시된 바와 같이, 단계 207(도 2) 및 단계 317(도 3a)에서의 적응성(adaptive) 픽셀 수준 에지를 추출하기 위해 사용된 룩업 테이블(LUT)을 제시하는 그래프이다.
P1 , P2... Pn 및 T1 , T2..Tn은 캡처화된 이미지, 점진적으로 학습된 이미지 및 외부 센서 입력의 통계적인 분석에 근거하여 측정되어, 최적의 구분적인(optimal piecewise) 룩업 테이블(LUT)은 픽셀 수준 임계치를 발생시키기 위해 연산될 수 있고, 이때 상기 픽셀 수준 임계치는 최소 노이즈로 FOD 또는 손상 에지 맵(edge map)을 추출하기 위해 사용된다.
캡처화된 이미지 또는 점진적으로 학습된 백그라운드 이미지에서의 픽셀 값은 상기의 LUT를 통해 임계치 이미지의 임계값으로 맵핑된다(mapped). 그 후, 상기 캡처화된 이미지는 상기 임계치 이미지를 감산한다. 0 이상인 임의의 픽셀 값은 255로 설정된다. 이 결과의 이미지는 적응성 픽셀 수준 에지 맵에 대응한다(도 2의 단계 207 및 도 3a의 단계 317).
활주로 장면 교정(Runway scene calibration) 및 비행장 활주로/유도로 손상과 FOD 및 손상 위치 설정(positioning) 측정 및/또는 분류는 본 발명의 실시예에서 실행될 수 있다.
본 발명의 실시예들은 또한 색 감시 카메라들(color surveillance cameras)을 사용하고, 색 화상 프로세싱(color imaging processing)을 제공한다.
그러나, 상술된 모든 기술 및 이미지 프로세싱 방법은 단색 이미지 프로세싱 및 색 이미지 프로세싱 모두를 위해 행해진다. 이로써, 활주로 감시 시스템은 단색 카메라들(가시성 스펙트럼 카메라, 적외선 카메라, 열 이미저를 포함) 또는 색 카메라들 중 어느 것을 사용할 수 있다.
한 예의 실시예에서의 감시 카메라들에 의해 얻어진 비행장 활주로/유도로 장면 이미지들은 미리 교정되어, 장면 이미지의 각 픽셀에 대응하는 물리적 위치 및 범위는 수학 공식 또는 미리 연산된 룩업 테이블을 사용하여 계산될 수 있고, 이때 상기 미리 연산된 룩업 테이블은, 활주로 등의 감시 영역에서 정의된 참조 데이텀(reference datum)(WGS 84 또는 비행장 그리드(Airport Grid))의 2D 또는 3D 물리적인 현실-세계 좌표 프레임(frame)(x, y, z)에서 특정 정밀 좌표로 활주로에 장면 이미지의 각 픽셀을 맴핑시킨다(map).
시스템은 활주로 장면 교정을 위해 정적(static) 비행장 활주로/유도로 특징들을 사용한다. 예를 들면, 고정된 현실 세계 참조 위치에 대한 이러한 정적 활주로 특징들의 위치 및 범위는 지상 측량(ground survey), 물리적인 계측으로부터 또는 활주로 맵으로부터 미리 판별될 수 있다. 예를 들면, 상기와 같이 유용한 특징은 마커들(markers)을 위치시키거나, 또는 활주로의 길이 방향 및 활주로의 측으로부터 떨어진 동일한 수직((y 축)) 거리를 따른 활주로 상의 활주로 에지 라이트(edge light)를 사용한다. 이러한 마커들이 활주로의 길이(수평) 방향을 따라, 그리고 활주로의 측으로부터 떨어진 동일한 수직 거리 상에 위치되기 때문에, 이러한 마커들의 수평(x축) 거리 간격(separation)은 활주로 장면 이미지의 픽셀 수로 맵핑화 될 수도 있다. 이로써, 수평(x 축) 픽셀 맵핑 비(미터/픽셀)는 수평 픽셀 폭에 의해 2 개의 마커들 간의 물리적 지상 수평 거리를 분할함으로써, 얻어질수 있다. 활주로 이미지의 2 개의 마커들 간의 픽셀 수). 공지된 위치들을 가진 최소 2 개의 정적 활주로 특징은 각 장면 이미지를 교정하기 위해 사용될 수 있다.
예를 들면, 더 정확한 장면 보정에 대해서, 그리고 고르지 못한 활주로에 대응하기(cater) 위해서, 수많은 쌍의 활주로 마커들은 활주로 상의 일련의 가상 수평선들(virtual horizontal line)을 마크하도록 활주로의 길이 방향(활주로 측으로부터의 수직 거리와 함께)을 따라 위치되는 것이 바람직하다. 이러한 수평 가상선들의 물리적인 지상 거리(각 쌍의 마커들 사이)는 측정 테이프(measuring tape) 또는 측정 휠(wheel) 또는 GPS수신기를 사용하여 측정될 수 있다. 특정 카메라 설정에 대한 상기 수평 가상 선 상의 픽셀들의 수는 활주로 섹션 이미지로부터 측정된다.
예를 들면, 활주로에 있는 감시 카메라의 유효 시야(field of view)는 사다리꼴 형상을 가진다. 그러므로, 활주로 이미지의 픽셀 맵핑비(미터/픽셀)는 활주로의 수직 방향(y 축)의 전역에 걸쳐 다르다. 이로써, 활주로의 먼 측은 더 좁아지고 더 큰 픽셀 맵핑비(미터/픽셀)를 가지면서, 가까운 측은 더 넓고 더 작은 픽셀 맵핑비(미터/픽셀)를 가진다. 상기 시스템은 사용된 데이텀(WGS 84 또는 비행장 그리드 또는 직교좌표계(Cartesian coordinate system)일 수 있음)에 근거하여, 현실-세계 기준 좌표 프레임 상에 정밀 좌표들에 대한 이미지 픽셀들을 맵핑시키는 정확한 픽셀 맵핑비(수직 y 축을 위함)를 판별하도록, 중간 라인의 각 측 및 중간 라인 상에 2 개의 평행 수평 활주로 라인을 사용한다. 이로써, 활주로 수평 라인과 중간 라인 사이의 물리적인 수직(y 축) 거리가 지상에서 측정될 수 있기 때문에, 수직 픽셀 맵핑비(미터/픽셀)는 이러한 라인들(지상에서 측정됨) 사이의 픽셀 수에 의해 이러한 라인들(활주로 이미지에 관한 수직 픽셀 폭으로부터 얻어짐) 사이의 물리적인 수직 거리를 분할함으로써 얻어질 수 있다.
도 7은 한 예의 실시예에 따른 한 예의 활주로 선들을 제시하는 개략적인 도면이다. 활주로의 먼 측에서는 하나의 수평 활주로 라인(802)이 있고, 활주로의 가까운 측에서는 또 다른 수평 활주로 라인(803)이 있다. 라인(802)는 또한 먼 측에서의 활주로 에지 라인일 수 있고, 라인(803)은 활주로의 가까운 측에서의 활주로 에지 라인일 수 있다. 이러한 양 라인들(802, 803)은 중간 라인(801)에 평행하고, 이러한 모든 라인들은 활주로의 수평 방향(x 축)을 따라 위치한다. 가까운 측 수평 라인(803)과 중간 라인(801) 사이의 물리적인 수직 거리는 805이고, 활주로 이미지 상의 이러한 2 개의 라인들 사이의 수직 픽셀 폭(픽셀 없음)은 y1 픽셀들이다. 이로써, 가까운 측에 대한 수직 픽셀 맵핑비는 805을 y1으로 분할함(미터/픽셀)으로써, 얻어진다. 이와 유사하게, 먼 측 수평 라인(802)과 중간 라인(801) 사이의 물리적인 수직 거리는 804이면서, 활주로 이미지 상의 이러한 2 개의 라인들 사이의 수직 픽셀 폭(픽셀 없음)은 y2 픽셀들이다. 이로써, 활주로의 먼 측에 대한 수직 픽셀 맵핑비는 804를 y2로 분할함(미터/픽셀)으로써 얻어진다. 이로써, 2 개의 서로 다른 수직(y 축) 픽셀 맵핑비들(805/y1 및804/y2)은, 참조로서 중간 라인을 사용하여 활주로의 가까운 측 또는 먼 측에서 픽셀이 있는지에 따라서, 활주로 이미지의 픽셀들을 현실-세계 기준 좌표 프레임상의 정밀 좌표로 맵핑시키기 위해 사용된다.
상기 기술은 픽셀 맵핑 정확성을 개선시킬 수 있다. 교정은 서로 다른 현실- 세계 좌표 데이텀, 예를 들면, WGS84, 항공 그리드 또는 직교 좌표계에 근거될 수 있다.
활주로 에지/중간/수평 라인들은 임의의 색일 수 있다. 교정은 활주로 에지/수평/중간 라인들과 활주로 표면 사이에서 대조되어 나타나는 동안 행해질 수 있다. 나아가, 활주로 에지 및 중간 라인들은 연속될 필요가 없다. 연속된 라인들은 보간 인접선들(interpolating adjacent lines)에 의해 얻어질 수 있다.
본 발명의 대안적인 실시예들은, 활주로의 동일한 구획(segment)을 커버하기(cover) 위해서 감시 카메라들 쌍을 사용하여 양안시(stereo vision)을 선택적으로 또는 추가적으로 사용할 수 있다. 양안시를 사용하는 경우, 비행장 활주로/유도로 손상 또는 FOD 범위 및 위치는, 활주로의 감시(유효 시야) 영역 상의 동일 영역을 다루는 2 개의 카메라에 의해 캡처됨에 따라서, 2 개의 이미지들을 비교하여 얻어진 서로 다른 이미지로부터 연산될 수도 있다.
국부화된 특징들은 스테레오 이미지 쌍의 각 이미지에서 검출된 후, 상기 이미지들 사이에서 매칭된다. 이로 인해, 부족하지만 시차 벡터들(disparity vectors)(각 이미지에서 보이는 바와 같이 이미지 특징들의 상대 위치를 측정함)의 높은 품질로 설정될 수 있다. 이러한 시차 벡터들로부터, 특징 위치의 2D 및 3D 평가는 연산되고 활주로 표면의 평평한(또는 적어도 매끄러운) 모델과 비교될 수 있다. 대안적으로, 이미지들은 더 변할 수 있는 품질의 시차 벡터의 밀도 설정을 제공하는 픽셀 수준으로 등록될 수 있다.
스테레오 이미징의 도전 중 하나는 범위 계산에서 사용된 2 개의 이미지들의 대응 픽셀의 판별이다. 사용된 픽셀 대응 기술들은 상관하는 운행자 제약에 관한 심볼 매칭 및 이 기술들의 조합에 걸쳐 사용될 수 있다.
예를 들면, 스테레오 카메라들의 설정에 의해 얻어진 2 개의 이미지들(이미지 1, 이미지 2) 사이의 픽셀들을 상관하기 위해 필요한 경우, 상호 관계는 이미지 1 에서의 주어진 지점 P1에 대해 가정된 것에 기초하고, P1에 대응하는 지점 P2 에서의 이미지 2의 고정된 영역이 발견되어야 한다. 이 영역의 크기는 카메라 보정 처리로부터 얻어진 카메라 셋업에 속하는 파라미터들에 의해 판별된다. 심볼 매칭은 다른 이미지의 특징을 매칭시키는 하나의 이미지의 특징에 대한 해당 검색을 판별하기 위해 접근한다. 사용된 전형적인 특징은 접합들(junctions), 라인 구획들 또는 영역들이다. 해당 접합들은 지점의 작은 세트에서만 공지된 깊이를 가진 스파스 깊이 맵(sparse depth map)을 생성한다. 해당 라인 구획들은 그들의 말단 점에 사이에서 대응되게 할 수 있다.
다른 실시예는 비행장 활주로 및/또는 유도로 및/또는 인필드의 광역 커버리지를 제공하기 위해 광각 렌즈를 탑재한 하나 이상의 정적 감시 카메라를 사용한다. 정적 감시 카메라는 비행장 침입, 급습(RAID) 또는 충격을 검출하고 비행장 활주로/유도로 상의 검출된 손상 또는 FOD의 특정 영역(들)에 하나 이상의 팬 틸트 줌(PTZ) 카메라를 안내하여 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 및 FOD의 신속한 검출/측정/분류를 가능하게 한다.
본 발명의 다른 실시예는 또한 비행장 활주로/유도로의 공중 디지털 사진이나 비디오를 캡처하도록 비행장 활주로/유도로 위를 비행하는 무인 항공기, 무인 항공 차량(UAV)과 같은 항공기를 사용할 수 있다. 수직 이륙 착륙 항공기(VTOL)는 비행장 활주로/유도로의 공중 디지털 사진이나 비디오를 캡처하기 위해 활주로 및/또는 유도로 위를 비행하는데 사용할 수 있다. 디지털 사진이나 비디오는 UAV 또는 VTOL에 장착된 온보드 전자 광학 센서(EO 센서)를 사용함으로써 캡처될 것이다. EO 센서는 수동적일 수 있으며, 인공 조명의 사용을 요구하지 않는다. EO 센서에 의해 캡처된 캡처 디지털 사진 및 비디오는 실시간으로 분석/처리되어서 활주로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 및 FOD의 신속한 검출/측정/분류를 가능하게 한다. 야간과 같은 낮은 조명 조건에서, 적외선(IR) 인공 조명은 또한 활주로 손상 또는 FOD 검출 기능을 향상하는 데 사용할 수 있다.
본 발명의 다른 실시예는 낮은 가시성 및 낮은 주위 조명 조건(야간 등)하에서 인공 조명을 제공하기 위해 적외선(IR) 조명기 또는 가시 광선 조명기를 사용할 수 있을 것이다. IR 또는 가시 광선 조명기는 감시 카메라(들)에 의해 스캔되는 비행장 활주로/유도로/인필드의 섹터에 IR 또는 가시 광선 빛의 좁은 초점 빔을 제공 할이다. IR 또는 가시 광선 조명기는 또한 팬, 틸트, 줌(PTZ) 기능을 가질 수 있다. IR 조명기 또는 가시 광선 조명기의 제어(온/오프, 조명 전원, PTZ)는 낮은 가시성 조건에서 최적의 인공 조명을 위한 비디오 프로세싱 장치(VPU) 또는 중앙 컴퓨터 시스템(CCS)에 의해 제어될 수 있다.
본 발명의 대안적인 실시예는 감시 카메라들의 여분의 적용 범위를 제공한다. 도 5는 활주로 상의 FOD 또는 손상을 검출하기 위해 감시 시스템(600)의 감시 카메라들의 여분의 적용 범위를 제시하는 개략적인 도면이다. 감시 카메라들(601, 603, 605, 607, 609)은 유도로(104)의 하나의 에지 상에 위치된다. 모든 감시 카메라들(601, 603,605, 607, 609)이 정상적으로 기능하는 경우에서, 각 감시 카메라(601, 603, 605, 607, 609)의 적용 범위의 각도(시야 각)(611)는 보통 동일하게 남아 있는다. 카메라(603)가 결점이 있고 충분한 경우에서, 여분의 카메라(603)에 인접한 감시 카메라들(601 및 605) 각각의 적용 범위(시야 각)(611)의 보통 각도는 여분의 카메라(603)의 유효 시야를 향해 613으로 연장된다. 이 방식으로, 감시 시스템(601, 603,605, 607, 609)를 포함하는 비행장 활주로/유도로 감시 시스템은, 하나 이상의 감시 카메라가 기능을 못하는 경우에도 비행장 활주로의 완전한 커버리지를 제공하도록 작업하기 위해 동작될 수 있다. 예를 들면, 카메라의 적용 범위 유효 시야(시야 각)는, 카메라의 줌 또는 PTZ 기능을 원격으로 제어하는 어플리케이션 컴퓨터 시스템을 사용하여, 오퍼레이터에 의해, 원격으로 수동적으로 조정될 수 있거나 실행될 수 있다. 조정은 어플리케이션 컴퓨터 시스템에 의해 자동적으로도 실행될 수 있다. 예를 들면, 줌 기능을 가진 카메라 또는 팬 틸트 줌(pan tilt zoom, PTZ) 카메라는 적용 범위의 유효 시야(시야 각)을 변경시키기 위해 사용될 수 있다.
도 6은 대안적인 실시예에 따른 활주로 표면 스캐닝(scanning)을 제시하는 개략적인 도면이다.
감시하에 있는 활주로 표면 영역(700)은 활주로 표면(700) 상의 작은 영역을 다루는 수많은 구획들(702)로 분할된다. 전체 활주로 표면(700)은 수평 시야각(711)을 가진 유효 시야를 다룰 수 있는 하나 이상의 비-정적 카메라(708)를 사용하여, 구획 단위로(segment-by-segment) 스캔된다. 비-정적 카메라의 한 예는 팬 틸트 줌(PTZ) 카메라 또는 줌 카메라이다. PTZ 카메라의 팬 틸트 줌 기능 또는 줌 카메라의 줌 기능은 어플리케이션 컴퓨터 시스템 또는 카메라 제어기에 의해 원격으로 제어된다. 활주로 표면 영역(700)은 하나 이상의 비-정적 카메라의 사용에 의해 길이 방향(703)을 따라 하나의 말단(710)에서부터 또 다른 말단(720)까지 순차적으로 스캔된다.
대안적인 실시예에 따른 비행장 활주로 표면 스캐닝은 어플리케이션 컴퓨터 시스템 또는 카메라 제어기에 의해 제어된다. FOD 또는 활주로 손상이 스캐닝 사이클의 끝에 가까운 구획에서 위치될 경우, 활주로 스캐닝의 상기 방법의 도전은 특히나 긴 FOD 또는 활주로 손상 검출 시간이다. 활주로 스캐닝 사이클 시간 속도를 높이기 위해서, 대안적인 방법은 1 개 또는 심지어 2개의 구획들을 건너뛰고, 즉, 2 개 또는 심지어 3 개 구획들마다 한 구획를 스캔한다. 다음 스캐닝 사이클 동안, 이전에 스캔 되지 않은 구획들은 스캔되면서, 이전 사이클 동안 스캔된 것은 이 사이클에서 스캔 되지 않는다. 활주로 스캐닝 방법에서의 트레이드-오프(trade-off)는 활주로 표면에서 스캔 되지 않은 구획들에서 일어날 수 있는 FOD 검출하기 위한 긴 시간 검출(long detection)이다.
활주로 상의 FOD가 항공기의 이륙 및 착륙에 의해 주로 일어나고, 대안적인 실시예에서 FOD 검출을 감소시키는 또 다른 방법은 비-정적 또는 정적 감시 카메라들의 조합을 사용하는 것이다. 정적 카메라는 바람직하게 활주로 및/또는 유도로의 주요 섹션을 다루기 위해 충분한 유효 시야(넓은 시야각)를 가진다. 정적 감시 카메라에 의해 캡처된 이미지를 실시간으로 처리함으로써, 어플리케이션 컴퓨터 시스템은 활주로로의 항공기의 이륙 및 착륙의 발생 및 위치를 검출할 수 있다. 그 후, 비-정적 감시 카메라는 활주로의 특정 위치들을 다루는 이러한 구획들을 먼저 스캔하도록 어플리케이션 컴퓨터 시스템에 의해 지시될 수 있고, 이때 상기 활주로는 항공기 착륙 또는 이륙이 막 일어난 상태이다. 이 방법은 FOD 검출 시간을 감소시키는데 조력할 수 있다.
정적 감시 카메라가 FOD 또는 비행장 활주로 손상을 검출하는 경우, 통제 타워 또는 통제실의 어플리케이션 컴퓨터 시스템은 정적 카메라에 의해 캡처된 장면 이미지들에 근거하여 활주로 상의 검출된 FOD 또는 활주로 손상의 위치 및 범위를 판별한다. 비행장 활주로/유도로 표면 상의 검출된 FOD 또는 비행장 활주로/유도로 손상의 위치 및 범위의 판별은 활주로의 보정된 장면 이미지를 가진 단안시(monoscopic vision)를 사용하여 이루게 된다. 예를 들면, 보정된 활주로 장면 이미지에서 각 픽셀은 현실-세계 좌표 프레임(WGS 84 또는 항공 그리드 데이텀에 기초할 수 있음)의 정확한 좌표로 맵핑된다. 대안적으로, 객체 위치 및 범위 기술들에 근거한 입체시(stereoscopic vision)가 사용될 수도 있다.
정적 감시 카메라(단안 또는 양안)에 의해 검출된 바와 같이, FOD 또는 비행장 활주로/유도로 손상의 범위 및 위치에 관한 정보는 비-정적 카메라(예를 들면, 패닝 카메라(panning camera) 또는 팬 틸트 줌(PTZ) 카메라 또는 줌 카메라)을 자동적으로 제어하기 위해 시스템에 의해 이용되어, 활주로에 있는 관심 영역 또는 FOD 또는 비행장 활주로/유도로 손상으로 팬(회전) 및/또는 틸트(기움) 줌하기 위해서, 및/또는 초점을 잡게 하고, 그리고 검출된 FOD 또는 비행장 활주로/유도로 손상의 존재를 확인하기 위해 또는 잘못된 알람을 필터하기 위해 충분한 항목을 가진 관심 영역 또는 FOD 또는 비행장 활주로/유도로 손상의 비디오 표시 상의 망원사진 이미지들을 얻게 한다. 이러한 망원 사진 이미지들은 검출된 FOD 또는 비행장 활주로/유도로 손상의 특징 및 분류를 정확하게 하기 위해 사용될 수도 있다. 객체 길이, 높이, 면적, 곡률, 주변, 직물, 색채 속성들을 포함한 정확한 객체 특징들은 사전에 트레인 된 객체 분류자(pretrained object classifier)로의 입력으로서 사용될 수 있는 이러한 망원사진 이미지들로부터 추출될 수 있다.
본 발명의 실시예는 또한 통합 비행장 및 활주로 유도로 손상 평가 시스템으로서 사용되는 것으로 확장될 수 있으며, 이 시스템은 이물질, 파편, 손상(FOD), 활주로 또는 유도로 손상을 검출/측정/분류하는 시스템(900)(도 9) 및 무기 충격 감시 시스템을 포함한다.
도 9는 실시예에 따른 이물질, 파편, 손상(FOD), 비행장 활주로/유도로 손상을 검출하는 시스템(100) 및 무기 충격 감시 시스템(950)을 포함하는 통합 비행장 손상 평가 시스템(952)을 나타낸 개략도이다.
도 10은 도 9의 무기 충격 감시 시스템을 사용하는 충격 검출 시스템을 나타내는 개략도이다.
비행장에 적의 공격 다음에, 첫째, 모든 손상 예를 들어 1003는 검출되고 정보가 입력값으로서 무기 충격 시스템의 정적 카메라(951)로부터의 비디오 또는 이미지 데이터를 사용하여 비행장 플랜(1000)에 그려진다. 최소 비행장 운영 표면(MAOS) 및/또는 최소 운행 스트립(MOS)(1007)은 다음으로 항공기, 페이로드 및 주위 조건의 종류 및 적어도 비행 작업을 다시 시작하는 데 필요한 초기 복구 작업량에 따라서 유도된다. MAOS 및 MOS(1007)를 설정함에 있어서, 하나 이상을 고려하는데, 적합하게는 큰 구멍(1003)의 크기와 위치, 큰 구멍(1003)의 위치로의 접근의 용이성, 손상된 유도로 또는 접근 루트(1009)를 통해 MOS(907)로의 항공기에 대한 접근의 용이성 및 불발 폭탄(UXO)의 위치 또는 큰 구멍 예를 들어, 1011의 위치 모두를 고려한다.
본 발명의 실시예는, 비행장 활주로/유도로 손상(큰 구멍, 폭발로 생긴 구멍, UXO, 스폴) 및 FOD의 실시간, 자동 검출;
● 비행장 활주로/유도로 손상(큰 구멍, 폭발로 생긴 구멍, UXO, 스폴) 및 FOD의 시각적 확인 및 비행장의 정확한 위치;
● 비행장 활주로/유도로 손상(큰 구멍, 폭발로 생긴 구멍, UXO, 스폴) 및 FOD의 크기/물리적 특성의 측정; 및
● 비행장 손상 또는 비행장 활주로 손상의 정도를 비행장 맵 또는 비행장 활주로 맵상에 매핑;을,
양호하게 제공할 수 있는 지능형 비디오/이미지 프로세싱을 활용한다.
지능형 비디오/이미지 프로세싱 기반 시스템에서 유도된 수집 정보는 바람직하게 효과적인 결정 지원 시스템을 제공한다.
무기 충격 감시 시스템(950) 기반의 컴퓨터 비전은 자동으로 공군, 해군과 육군에 대한 현실적인 무기 훈련과 방어 훈련을 용이하기 위해 로켓과 폭탄의 충격을 검출하고 기록한다. 감시 시스템(950)은 낮과 밤 작업의 모두에서 육지와 물에 하나 또는 여러 개의 타격을 기록할 수 있다. 개방형 아키텍처로 설계된, 무기 충격 감시 시스템(950)은 전자전 훈련 시스템(EWT가)의 서브 시스템 중 하나가 될 수 있는 공중 전투 기동 측정(ACMI)과 통합될 수 있다.
향상 전투 손상 평가(BDA) 시스템(950)은 바람직하게,
● 지능형 비디오/이미지에서의 처리 기술 경험;
● 군사 및/또는 비행장 환경에서 시스템에서의 컴퓨터 비전 기반의 시스템의 필드-검증의 적응;
● 공군에 통합될 수 있는 시스템 설계, 하드웨어 및 소프트웨어에서의 신뢰성 및 견고성;
● 전쟁 시간뿐만 아니라 평화 시간에서의 투자 수익을 최적화하는 관점에서 경제성을 근거해서 실행된다.
본 발명의 실시예들은 무기 충격 감시 시스템(950)(도 9)과 비행장 활주로/유도로 손상 FOD 검출 시스템(100)(도 9)의 통합을 통해 향상된 자동 BDA 시스템(950)을 제공한다.
무기 충격 감시 시스템(1000)(도 10)은 자동으로 정확하게 비행장 영역의 넓은 또는 정상 또는 좁은 시야각으로부터 하나 또는 여러 개의 가시성 무기 충격들을 검출하고 그려낼 수 있는 능력을 가지고 있다. 무기 충격 특징의 유형은 공대지 및 지대지 미사일, 로켓, 폭탄 및 일반적으로 폭발, 연기, 먼지 또는 플래시(밤에) 몇 가지 형태로 나타나는 대포 탄환의 것을 포함한다. 무기 충격 감시 시스템(1000)은 또한 무기 충격에 생긴 소리를 사용하여 무기 충격의 위치를 표시할 수 있다. 이것은 전략적 위치에 배치된 마이크로폰을 가지고 오디오 소스 추적 기술을 사용하여 수행할 수 있다.
반면에, 비행장 활주로/유도로 손상 FOD 검출 시스템(100)(도 9)은 비행장 활주로/유도/에이프런 환경에서 매우 작은 객체(예 : 4cm 크기 FOD), UXO, 비행장 활주로, 비행장 활주로/유도로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴) 및 포장 조건(예를 들면 균열)을 스캔, 검색 및 검출하는 사전 프로그램된 줌-인 뷰로 양호하게 설계된다. 24 시간 운영시에, 전문 전기 광학(EO) 센서를 가진 FOD 검출 시스템(100)(도 9 참조)은 시스템이 야간 작업시에도 매우 작은 객체를 "보고" 검출할 수 있게 이미지 프로세싱 및 향상 소프트웨어 기술을 통합한다. 비행장 활주로/유도로 손상 FOD 검출 시스템(100)(도 9)은 안전한 거리로부터 멀리서 비행장의 지정 포장 도로를 모니터하고 검사하고 검출된 타깃의 위치를 핀 포인트 한다.
도 11은 도 9의 통합 비행장 손상 평가 시스템(952)에 사용되는 소프트웨어 모듈을 표시하는 레이아웃을 보여준다. 변화하는 환경 비행장 조건에 튼튼한 여러 소프트웨어 기술을 사용하여, BDA 소프트웨어는 폭격의 특징(큰 구멍, 폭발로 생긴 구멍, 스폴) 또는 UXO 또는 FOD를 가능한 허위 경보와 구별하기 위해, 자체 학습할 수 있고 변화하는 스크린에 적용할 수 있다. 검출 알고리즘은 타깃을 결정하고 측정하기 위해서, 길이, 높이, 깊이, 경계, 영역, 조직, 곡률, 색채 특성(색조 및 채도), 광도(회색 수준) 등과 같은 타깃의 관련 속성을 추출한다. 본 발명의 실시예에 사용된 기술 중 일부는 다음과 같다:
● 동적 배경 모델링 및 장면 전환 검출 기법에 따라 지능형 이미지 분석. 심지어 활주로상의 타이어 마크가 끊임없이 긍정적인 검출를 위한 배경 장면으로 업데이트;
● 날씨 변화, 열파(heat waves) 등의 효과로 인한 이미지 또는 비디오의 보상 노이즈를 감소(감쇠)하는 노이즈 필터링 프로세스;
● 분석/처리를 위한 낮은 빛/가시성 조건 하에서 최고 품질의 이미지를 생산하는 이미지 합성 기술
● 비행장 활주로/유도로 상에 항공기, 차량, 사람, 동물 등의 이동하는 합법적 객체로부터 정정 타깃을 구분하는 정정 타깃 검출;
● 낮부터 밤, 흐른 안무와 비, 눈으로의 환경 변화와 같은 스크린 변화에 적응하고 자기 학습을 위해 적용된 인공 지능 기술을 포함한다.
동시에, 동시 이미지 처리는 별도의 전용 센서에서 수행된다:
● 무기 충격 감시 및 채점에 사용되는 센서(951)(도 9)의 입력으로부터 처리- 알고리즘은 먼저 다른 배경 효과에서 실제 식별 무기 충격 특징을 검출하고 구별하기 위해 활주로/유도로의 뷰의 지정된 광역 필드를 분석한다. 검출되면, 소프트웨어는 충격의 시점에서 특정 위치에서 자세한 이미지 또는 비디오를 획득하는 하도록 시각 및 청각 경고를 트리거하고 FOD 센서(108)(도 9)의 팬 틸트 줌 기능을 명령한다. FOD 및 손상 검출 알고리즘은 손상의 정도를 검색, 검출 및 측정할 것이다; 그리고
● FOD 센서 입력으로부터 처리 - 알고리즘은 큰 구멍, 폭발로 생긴 구멍, 스폴 또는 UXO를 검출하는 섹터별 비행장 활주로 또는 유도로 포장 도로의 지정된 줌-인 뷰을 스캔해서 분석하도록 사전프로그램된다. 검출되면, 소프트웨어는 이미지 또는 비디오를 캡처하고 정확한 위치를 계산하고, 활주로 또는 유도로의 다음 섹터의 검사를 계속하기 전에 사용자에게 시각 및 청각 경고를 트리거한다.
픽셀 수준의 이미지 해상도를 통해, BDA 소프트웨어는 폭발로 생긴 구멍, 스폴 또는 UXO 또는 FOD를 바람직하게 위치 정확도 ± 1 m(3.28ft)로 위치할 수 있고, 큰 구멍/ 폭발로 생긴 구멍/스폴/UXO/FOD 크기/치수를 측정할 수 있다.
그 후, 소프트웨어는 검출된 큰 구멍, 폭발로 생긴 구멍, 스폴 또는 UXO 또는 FOD(1003)(도 10)의 스냅 샷을 캡처할 수 있고, 발생 날짜 및 시간, 큰 구멍/폭발로 생긴 구멍/스폴/UXO/FOD 타깃(1003)(도 10)의 좌표와 크기를 표시하고, 검출물을 2 차원(2-D) 그래픽 정보 시스템(GIS) 맵(1000)(도 10)상에 그려서 디스플레이할 수 있다.
또한, 모든 센서(951 및 108)(도 9)에서 실시간 비디오 이미지는 전쟁 테미지, 활주로 및 유도로 상태뿐만 아니라 포장 상태의 정도를 평가하기 위해 사용자가 사용할 수 있다.
도 11을 참조하여, BDA 시스템 모듈(1103)은 무기 충격 감시 시스템 모듈과 FOD 검출 모듈을 통합한다. 이는 본 발명의 실시예에서 개방형 표준 모듈 형 설계를 가능하게 해서, 결과적으로 양호하게 확장성, 유지 보수, 주문 제작 및 문제 해결의 용이성을 가져온다.
실시예에서 주요 모듈은 다음과 같다:
● 비행장의 타깃 영역의 비디오 또는 이미지를 캡처하는 무기 충격 감시 시스템의 EO센서(EOS)의 모듈(1129).
● 비행장에서 특정 타깃 영역을 스캔(팬/틸트/줌)하도록 FOD 손상 검출 시스템의 PTZ 수준을 명령하기 위해 비행장 감시 시스템(FOD 및 손상 검출을 위해)의 EO 센서(EOS) 및 팬 - 틸트 - 줌(PTZ) 모듈(1131).
● EO 센서 및 PTZ 센서로부터 VPU(유선/무선)로 이미지를 전송하기 위한 이미지 전송 모듈(1133).
● 이미지의 품질과 프레임 속도를 체크, 정정 및 정밀한 시간 조정하는 이미지 수집 모듈(1135).
● 모든 프레임에 참조 마커를 검출하고 센서 진동이 발생될 때 이미지를 원래의 위치로 안정/복원하는 이미지 안정화 모듈(1137).
● 모든 프레임에서 참조 배경 이미지를 생성하고 업데이트하여, 전경 추상화 모듈에 사용되게 하는 참조 이미지 계산 모듈(1139).
● 이미지 픽셀의 상당한 변화의 검출을 위해서 참조 배경 이미지에서 현재 프레임을 감산하기 위한 전경 추상화 모듈(1141).
● 무기 충격 검출시 여러 연속 프레임에서 발견된 패턴에 근거해서 검출된 상당한 변화를 확인하는 충격 검출 모듈(1143).
● 객체(FOD 또는 비행장 손상과 같은)의 검출에 따라 다양한 속성을 근거해서 검출된 상당한 변화를 확인하는 FOD 검출 모듈(1145).
● 검출된 FOD 또는 손상의 위치(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO의 위치를 포함)을 추출하는 BDA 위치 추출 모듈(1147).
● FOD 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO 포함)의 실제 크기를 측정하는 BDA 크기 측정 모듈(1149).
● 최고(최적) MAOS과 MOS를 계산하는 베스트 MAOS 및 MOS 계산 모듈(1151).
● 최고의 MOS 및/또는 MAOS에 필요한 수리 작업을 예측 및 계획을 포함하는 필요한 수리 작업을 예측하고 계획하는 예측 및 계획 모듈(1153).
● 조사/분석을 위한 비디오 푸티의 녹화와 재생을 허용하는 기록 모듈(1153).
● 그래픽 사용자 인터페이스상에 비디오 또는 이미지 및 계산된 비행장 손상 데이터를 디스플레이하는 디스플레이 모듈(1157).
도 12는 전쟁기간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다. 본 발명의 BDA 시스템(952)(도 9)의 실시예는 전쟁기간 동안 다음과 같은 이점을 제공할 수 있다:
BDA 시스템(952)(도 9)는 전쟁기간 동안 24 시간 비행장 폭격의 검출을 제공하고 큰 구멍, 폭발로 생긴 구멍, 스폴, UXO 및 FOD의 위치를 파악해서 측정한다. 군사 작전 중에 입은 비행장/활주로상의 손상의 적절하고 정확한 평가는 전쟁기간 동안 중요하다. 비행장(활주로 및 유도로 포함)에 일어난 물리적 손상의 정도에 대한 정보를 제공함으로써, 항공기 이착륙 재계획 및 비행장 활주로/유도로 복구 우선 순위를 바람직하게 용이하게 한다.
픽셀 수준의 분석을 통해, BDA 시스템(952)(도 9)은 자동으로 충격을 검출 하고, 큰 구멍, 폭발로 생긴 구멍, 스폴, UXO, FOD의 위치를 찾아 크기를 측정한다. 이 정보를 기반으로, 사용자(비행장 지휘관와 같은)는 가장 빠른 방법으로 비행장 활주로/유도로 손상을 복구하는 데 필요한 자원, 시간 및 재료의 양을 평가하고 결정할 수 있다.
또한, BDA 시스템(952)(도 9)은 비행장 손상의 정도를 매핑할 수 있다.
큰 구멍의 크기와 위치 정보의 자동 분석에 의해서 시스템(952)은 2D 비행장맵에 비행장 손상의 정도를 맵핑하고, 다음을 포함하는 전체 비행장 활주로/유도로의 운행 조건을 결정함에 있어서 사용자를 지능적으로 지지한다:
a. 활주로상의 큰 구멍, 활주로 FOD 폭발로 생긴 구멍, 스폴, UXO의 수량, 위치 및 크기;
b. 항공기 이륙/착륙 운행에 서비스 가능한 활주로상의 위치/"스트립";
c. 손상되어서 복구 작업을 필요로 하는 활주로의 위치/"스트립";
d. 항공기 종류와 비행 중대 위치(squadron locations)에 근거한 권장된 최소 비행장 운영 표면(MAOS) 및 최소 운행 스트립(MOS);
BDA 시스템(952)(도 9)은 지상 및 공중 시스템 모두에 어떤 위험/간섭없이 모든 비행장 환경에서 운행하는 데 안전한 "수동"시스템이다. 이는 완전히 비 간섭이고 제로 활성 방출을 가지고 있으며, 모든 활성 광원에 의해 지지되지 않는다. 이는 인간에게 건강상 위험을 주지 않고, 지상과 항공기내의 기존 장비 또는 미래의 시스템 구현에 운영 간섭을 주지 않는다. 고속 안티-방사선 미사일(HARM)의 공격을 피할 수 있기 때문에 "활성화"시스템과는 달리, 제안된 "수동 기술"은 전쟁 중에 군사 공군 기지에 특히 중요하다.
BDA 시스템의 실시예는 모든 기상 조건에 24 시간 비행장, 활주로 및 유도로를 보호하기 위해 작동하도록 만들 수 있다. BDA 시스템(950)(도 9)의 실시예는 밤낮 작업을 수행하는 동안 매우 작은 객체(FOD) 및 활주로 유도로 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO)을 "보고"로 검출하도록 필드-입증되어 있다. BDA 시스템의 실시예는 무거운 강우(28mm/hr) 및 안개(대기 오염 지수 120; 시정 200m)의 극단적인 기상 조건에서 양호하게 수행한다.
BDA 시스템의 실시예들은 전쟁기간 동안 시스템의 감시를 증가하도록 부분 또는 포괄적인 중첩 커버리지를 갖춘 여분으로 설계될 수 있다.
여분을 제공하기 위해서, FOD 또는 손상 검출 센서(508 및 509)(도 1B는)는 몇 백 미터 떨어져 활주로의 반대편에 설치되며; 어떤 센서 고장의 경우에, 인접 및/또는 반대 센서는 고장난 센서에 의해 모니터링될 예정에 있는 "손실" 섹터에 커버리지를 연속해서 제공한다.
또한, 백엔드 시스템은 계획되지 않은 다운 타임을 최소한으로 줄일 수 있는 중첩 서버를 포함한다. 중요한 스페어는 오류 부품을 적시에 교체할 수 있게 제안되어 있다.
도 13은 평화 시간 동안 도 11의 소프트웨어 모듈의 상호 작용을 보여주는 레이아웃을 보여준다. 본 발명의 BDA 시스템의 실시예는 평화 시간 동안 다음과 같은 이점을 제공할 수 있다:
비행장 활주로 상의 큰 구멍/UXO 스캐닝/검색에 추가해서, FOD EO 센서(108)(도 9)는 다른 FOD 활주로/유도로 손상( 폭발로 생긴 구멍 및 스폴과 같은)검출할 수 있다. 이는 공기기지의 상황 인식과 작전 준비를 향상시키기 위해 실시간으로 FOD 및 활주로 손상 검출을 자동화하는 데 도움이 된다. 내장된 인공 지능 기술은 인간의 관련 오류 또는 자기 만족을 방지하도록 FOD 및 활주로/유도로 손상의 객관적이고, 긍정적인 식별을 보장한다.
FOD EO 센서의 채택은 운영자가 매우 낮은 조명 비행장 환경에서 명확하게 볼 수 있게 한다. FOD EO 센서가 비행장 감시에 기여할 수 있는 시나리오 중 일부는 다음과 같다:
중요한 감시 상황
● 비행장 활주로/유도로 침범/이탈
● 비행장 활주로 및/또는 유도 손상 평가
● 비행장 활주로 및/또는 유도 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UX) 및 FOD 검출/측정/분류
● 윙팁 충돌(Wingtip collision)
● 항공기 고장
● 비상/충돌 착륙
● 일반 감시 상황
● 일반 에어 사이드 감시
● 모니터링 활주로 표면 상태
● 비행장의 안전 규격의 적용(예: 항공기 견인, 포장 또는 건설 작업 등)
활주로/유도로 표면/포장 상태 모니터링
다른 모든 비행장 시스템과 유사하게, 활주로 및 유도로는 수년에 걸쳐 환경 적 요인으로 인한 노화를 받게 된다. 석재 손실의 영역은 일반적으로 자주 시간이 소요되는 수동 검사 중에 발견된다. 활주로 또는 유도로의 특정 부분, 특히 항공기 이착륙 영역은 아스팔트/콘크리트 덩어리의 큰 스트립핑으로 흔히 스트레스를 받는다.
FOD EO 센서는 연속적으로 활주로 및/또는 유도를 검사하고 매우 높은 해상도, 활주로 및/또는 유도로 표면의 줌-인된 이미지를 캡처하기 때문에, 바람직하게 활주로 또는 유도로의 파편, 상당한 균열이나 손상을 검출하는데 표면 상태를 면밀히 조사할 수 있게 한다.
예를 들어, 조류 공격 사건은 지상에 발생할 수 있다. 많은 수의 조류는 일반적으로 일 년 내내 발견되고 통상적으로 철새 이동 개월 동안 조류 활동은 증가한다. 본 발명의 실시예는 활주로 및/또는 유도로에 조류의 존재를 검출하고, 지상에 조류 공격 사건을 방지하는데 비행장 운행자에 도움이 되는 효과적인 결정 지원 시스템을 제공하는데 효과적 일 수 있다.
본 발명의 비행장의 활주로 안전은 또한 바람직하게 활주로에 길 잃은 동물과 같은 문제를 고려해야 한다. 지능형 비전 기술을 사용하여, 본 발명의 실시예는 바람직하게 활주로 및/또는 유도로 상의 얼룩 뱀, 거북이, 도마뱀 및 다른 야생 동물을 모니터해서 찾아낼 수 있다. 항공기 안전을 위해, 활주로 및/또는 유도로에 있는 야생 동물을 검출하는 능력은 활주로 및/또는 유도로에 가까운 비행장 운행자에 지체 없이 알려 지상 승무원을 보내서 활주로로부터 야생 동물을 잡아서 제거할 수 있게 한다.
도 14는 실시예에 따른 통합 비행장 손상 평가 시스템의 하드웨어 시스템(1400) 레이아웃을 설명하는 개략도를 보여준다.
통합 BDA의 하드웨어 시스템(1400)(도 14)은 전자 광학(EO) 시스템(1401) 및 도면부호 1403과 1409를 포함하는 중앙 컴퓨터 시스템(CCS)을 포함한다.
EO 시스템(1401)(도 14)은 일련의 EO 센서 유닛(카메라)(1405a - d)와 이들의 각각의 전용 비디오 프로세싱 장치(VPU)(1407)로 이루어져 있다. EO 센서(카메라)(1405a)는 비행장의 타깃 영역의 라이브 비디오 또는 이미지를 검사하고 캡처하는 타워 또는 건물 구조물에 장착되어 있다. 하나의 실시예에서 자동 감시 시스템은 활주로/유도로 700m(2,297피트) 길이까지 커버하는 넓은 시야를 가진 메가 픽셀 정적 EO 센서를 사용한다. FOD 시스템(EO 센서 장치(1405b- d)는 하나의 실시예에서 서브섹터 의하여 활주로/유도 섹터 서브섹터를 조사/자세히 조사하는 높은 선명도 줌 렌즈를 가진 팬/틸트/줌(PTZ) 매우 낮은 럭스 EO 센서를 적용한다. 모든 서브섹터는 약 5.5m(18피트)이며, PTZ EO 센서의 각각은 350m(1,148피트) 활주로/유도로의 길이까지 커버하도록 계획되어 있다. 각 VPU(1407)은 EO 센서 장치로부터의 이미지를 처리하도록 되어 있다. 광 트랜시버를 통해,이 비디오는 이미지 처리를 위해 VPU로 스트리밍된다. VPU(1407)의 출력은 중앙 컴퓨터 시스템(CCS) 관리 서버(1409)로 이미지 또는 비디오 및/또는 이미지를 모두 전송한다.
확고함을 위해, BDA 시스템(1400)(도 14)은 시스템 운영의 가용성을 보장하기 위해, 여분 설계 메커니즘의 두 수준, 프런트 엔드 및 백엔드 내장 여분을 제공한다. FOD 손상 검출 EO 센서(108)(도 9)와 무기 충격 감시 EO(951)(도 9)는 활주로의 한쪽에 설치하고, 이들 모두는 활주로 중심선에서 적어도 300m(984피트) 떨어져 있다. 무기 충격 감시 센서(951)가 폭격에 의해 타격 되는 경우에, FOD 손상 검출 센서(108)는 FOD 또는 손상(큰 구멍/UXO와 같은)을 검색, 검출 및 측정하는 기능을 계속 사용할 수 있다. FOD 손상 검출 센서가 타격되는 경우에 마찬가지로, 무기 충격 검출(951)은 또한 비행장 활주로/유도로 손상을 검출하고 위치를 알아낼 수 있다.
시스템(1400)이 또한 EO 센서 고장을 고려하고 여분을 제공하면, EO 센서의 충분한 중첩 커버리지가 있어서, 인접 EO 센서는 결함이 있는 EO 센서에 대한 백업 커버리지를 제공한다. 백엔드 여분은 관리 서버 오류를 방지할 수 있다. 즉, 관리 서버는(적어도) 한 쌍의 여분으로 설계되어 배포된다. 고 가용성을 보장하기 위해, 여분 서버는 자동으로 주 서버가 실패하는 경우에 대체된다.
중앙 컴퓨터 시스템(CCS)은 하나의 실시예에서 관리 서버(여분 포함)(1409), 디지털 비디오 레코더(DVR)(1411), 운영자 워크 스테이션(1413), 관리자/유지자 워크 스테이션(1415), 모바일 핸드헬드 장치(1417)로 이루어져 있다.
관리 서버(1409)는 사용자 접근 제어, 시스템 설정, 경고 설정, 이미지 및 관련 정보 관리, 데이터 쿼리 및 보고서 생성을 포함하는 시스템 운영을 위한 중앙 데이터베이스이다. 여분 서버는 관리 서버가 실패하는 경우에 이 기능을 대체한다. DVR(1411)는 모든 센서 유닛으로부터 이미지의 연속적으로 실시간 디지털 비디오 녹화를 제공한다. 일 실시예에서, DVD(1411)는 30일 저장 크기이며, 필요한 경우 비디오는 DVD에 보관할 수 있다. 이 시설은 분석과 조사를 위해 비디오 재생을 할 수 있다.
운영자 워크 스테이션(1413)은 주 사용자 인터페이스로서 시스템(1400)을 로그 인하고, 모니터링하고 운행하는 역할을 한다. 관리자/유지자 워크 스테이션(1415)은 주로 네트워크와 장비에 대한 문제 해결 및 건강 진단을 수행하는 기술 지원을 위해 사용된다. 또한 운영자 워크 스테이션(1413)이 고장인 경우에, 작업에 대한 백업으로 기능을 할 수 있다.
모바일 핸드헬드 장치(1417)는 승무원이 활주로/유도로로부터 큰 구멍을 수선하거나 파편을 제거할 목적으로 이동하기 전에 및/또는 동안, 승무원이 원격 경보와 중요한 정보(날짜/시간, 위치, 손상의 크기, 이미지 등)를 수신할 수 있도록 지상 지원 승무원에게 보급된다. 이 정보는 지상 승무원이 충분한 자원과 재료로 응답할 수 있게 준비하여 신속하게 타깃을 찾을 수 있게 한다.
프런트 엔드에서 전기 광학 시스템(1401)은 EO 센서(1405a-d)와 VPU(1407)로 이루어진다. 활주로/유도로 따른 모든 EO 센서(1405a-d)는 연속 작업을 위해 작동되며, 광섬유 링크를 통해 백엔드 장비실에 연결된다. 각 센서(1407)는 섬유 링크에 의해 전용 VPU(1407)에 연결되고 녹화를 위해 DVR(1411)에 비디오-스플릿(video-split)된다.
백엔드 장비는 관리 서버(1409), DVR(1411) 스위치(1419) 및 운영자/관리자 워크 스테이션(1413, 1415)으로 구성되어 있다. 워크 스테이션(1413, 1415)은 바람직하게 지상 작전 통제 센터 또는 비행장 명령 포스트에 위치되어 있다.
시스템(1400)은 이용가능한 경우에, TCP/IP 통신 프로토콜을 사용하는 기존의 LAN 네트워크에 활용할 수도 있다. 비디오는 VPU(1407)에 의해 처리하고, 예를 들어 큰 구멍이 검출되면, 관리 서버(여분)(1409)에 관련 데이터와 이미지를 전송한다. 관리 서버가 경고 상태를 저장하고, 큰 구멍을 찾아 이의 크기를 측정하고 운행자 워크 스테이션(1413)상에 데이터를 나타낸다. 사용자가 매뉴얼(라이브) 뷰를 선택하면, 실시간 이미지는 선택한 센서로부터 스트리밍될 것이다. 조사 목적을 위해, 사용자는 DVR로부터 저장된 기록물을 다운로드하여 분석을 위한 비디오를 재생할 수 있으며, 예를 들어 활주로마다 하나의 모바일 핸드헬드 장치(1417)가 지상 승무원에 제공될 수 있다.
사용자 타깃의 확인 및 비행장 활주로/유도로 수리를 시작시, 핸드헬드 장치(1417)는 비행장 활주로/유도로 복구 또는 수리를 위해 지상 승무원이 준비하도록 이미지를 포함하는 중요한 정보를 받게 된다.
BDA 시스템의 실시예는 다음과 큰 구멍의 크기를 바람직하게 검출할 수 있다:
● 소형 큰 구멍: 작은 로켓, 속사포, 접촉 융합 병기로부터 10cm 내지 1.5m
● 중형 큰 구멍: 클러스터 병기, 대형 로켓, 작은 콘크리트 관통포 1.5m 내지 6m
● 대형 큰 구멍: 지연 융합 병기에서 대형 콘크리트 관통포 > 6m
큰 구멍 외에, BDA 시스템은 활주로와 유도로에 폭발로 생긴 구멍, 스폴, UXO 및 ROD를 검출하고 측정할 수 있다.
하나의 실시예에서 BDA 시스템의 운행 흐름은 아래에 설명되어 있다:
a) 전용 정적 EO 센서 유닛(1405a)로부터의 비디오 또는 이미지는 실시간으로 자동으로 캡처되고 처리되어 무기 충격의 긍정적인 식별을 제공하고, EO 센서 장치(1405b-d)로부터의 비디오는 검출된 손상/UXO/FOD의 긍정적인 식별을 제공한다;
b) 비디오 및 경고는 활주로/유도로의 완전한 평가를 위한 단일 뷰로 또는 지상 작전 통제 센터 또는 명령 포스트에 디스플레이된다.
c) 어떤 폭격에 대해서, 검출된 큰 구멍, 폭발로 생긴 구멍, 스폴, UXO 또는 FOD은 운행자 워크 스테이션에서 자동적으로 강조 표시되고 경고된다. 정적 EO 센서(1405a)에 의한 무기 충격 검출시, 패닝 EO 센서(1405b-d)는 FOD 또는 비행장 손상의 줌-인 측정을 수행하는 위치로 안내될 것이다.
d) 검출된 타깃의 컴퓨터-보조 줌 이미지뿐만 아니라, 관련된 위치와 크기 정보는 시각적인 확인을 위해 운행자 워크 스테이션에 디스플레이될 것이다.
e) 항공기 종류와 비행 중대 위치에 따라, 시스템은 최소 비행장 운영 표면(MAOS) 및 우선 순위 수리를 위해 최소 운행 스트립(MOS)을 권장할 것이다.
f) 사용자에 의한 확인시, GSM 또는 3G 이동 통신 네트워크를 통해 무선 수단을 통해 원격 경보는 지상 지원 또는 수리 승무원에 의해 소유하고 있는 핸드헬드 장치로 전송된다. 핸드헬드 장치는 날짜/시간, 큰 구멍/폭발로 생긴 구멍/스폴/UXO/FOD 위치(들), 큰 구멍/폭발로 생긴 구멍/스폴/UXO/FOD 사이즈(S), 종류 및 수리의 우선 순위와 같은 정보를 제공한다;
g) 사용자가 항공기 이착륙을 중단하고 지상 승무원을 이동시켜 큰 구멍/폭발로 생긴 구멍/스폴을 수리하거나 또는 활주로/유도로에서 UXO/FOD를 제거한다.
h) 수리/제거가 완료되고 활주로 작업을 다시 시작되면, 비디오, 이미지 및 경고 기록은 보고서 작성 및 사후 사고 분석/조사를 위해 검색될 수 있다.
국제 민간 항공기구(ICAO)와 미국 연방 항공국(FAA) 규제 기준하에서, 오직 중요한 항법 장비는 활주로 중심선으로부터 150m(492피트) 내에 설치되어야 허용되며 기타 모든 필수 설비는 492 피트 마크를 넘어 1 : 7 높이 제한을 따라야 한다. 본 발명의 BDA 시스템의 실시예는 바람직하게 ICAO, FAA 및 기타 공군 표준을 준수한다.
이전에 기술한 바와 같이 본 발명의 실시예들은 비에 의해 배경 간섭을 필터시키는 것을 제공할 수 있다. 전형적으로, 비 간섭(rain clutter)은 활주로 또는 유도로 상에 국부화된 영역에서만 일어날 뿐만 아니라, 전체 활주로 또는 유도로에 걸쳐 일어난다. 비가 활주로 표면을 칠 경우, 튀기는 것과 같은 특정 특성을 가진 활주로 또는 유도로 장면 이미지에서 튀기는 동작을 일으킬 수도 있다. 이로써, 비 간섭을 필터로 제거하는 방법은 전체 활주로 또는 유도로에 걸쳐 일어나는 비와 같은 특성을 가진 활주로 장면에서 튀기는 동작을 검출 및 인지하는 것이다. 비 간섭이 정적되지 않고 프레임들 사이에서 변화되기 때문에, 일시적인 필터링은 비 간섭을 필터하기 위해 사용될 수도 있다. 이로써, 전체 활주로 또는 유도로에 걸쳐 일어날 수 있는 특성과 같은 비로의 동작 간섭(motion clutter)은, 비 간섭으로서 필터될 것이다. 상기의 원리는 대안적인 실시예에서의 눈에 의해 혼란스러운 배경을 필터하는 것에도 적용할 수도 있다. 이로써, 전체 활주로에 걸쳐 일어날 수 있는 특성과 같은 눈으로의 동작 간섭은 일시적인 필터링을 사용하여 눈 간섭으로서 필터될 것이다.
본 발명이 한 예의 실시예들에서, 감시 카메라들로부터 얻어진 기준 배경 이미지들은 조명 변화, 간섭을 회복시키는 시스템을 구현하기 위해 잘못된 알람들을 감소시키기 위해 에지 검출 기술들을 사용하여 미리 처리된다.
에지 향상 및 검출 기술들은 활주로 또는 유도로 특징의 에지들을 확인하기 위해 사용된다. 이미지의 에지는 픽셀 속성들이 갑자기 변화되는 윤곽이다. 에지 개선 및 검출은 백그라운드 감산 및/또는 학습에 근거한 전경 픽셀(foreground pixel) 확인을 위한 조명 변화들 회복시켜 개선시키기 위해 사용된다.
상기에서 설명된 본 발명의 실시예는 하기의 특징 중 하나 이상을 가질 수 있다.
- 활주로에 평행한 방향에서 높은 증감 변화도(gradient change)을 갖는 특성을 향상시키기 위해, 고역 필터(high pass filter)(예를 들어, 소벨 X(sobel X)의 왼쪽부터 오른쪽까지의 필터, 소벨 X의 오른쪽부터 왼쪽까지의 필터, 또는 샤르 X(Scharr X) 필터)를 사용함으로써 활주로 이미지의 이미지 향상.
- FOD 또는 손상 에지 추출 임계의 최적의 평가. 상기 평가는 상이한 주변 환경의 조건(예를 들어, 비, 빛 반사, 밤 시간등...)에 적응성 있고, 적응성 있는 픽셀 수준의 에지 맵 추출에 대한 픽셀 수준의 임계 맵을 발생시키는 데에 사용되는 그레이스케일의 룩업 테이블((grayscale lookup table, LUT)을 결정하기 위해 점진적으로 학습된 배경 에지 맵을 기초로 하여 통계적인 방법을 사용한다.
- 소음을 감소시키는 에지 맵의 스택을 사용함으로써 강력한 에지를 유지하기 위해 픽셀 수준으로 적용된 임시적인 필터링. 임계를 초과하는 픽셀들만이 강력한 에지 픽셀로 분류될 수 있을 것이고, 남아있는 픽셀는 상기 에지 맵을 위해 사용되지는 않을 것이다.
이러한 특성들이 잘못된 알람(alarm)을 발생시키지 않고 배경으로 합성될 수 있도록 활주로 또는 유도로상의 느린 특성 변화 과정을 캡처하기 위해, 현재의 에지 이미지를 이전의 즉각적인 배경 이미지와 비교하는 적응성 있는 배경학습.
- 적응성 있는 배경 에지 맵 및 이전에 학습된 배경 맵 및 선택적으로 계절적인 표지(marking)(특정 계절 또는 눈과 같은 날씨 상태에 대해 발생됨)로 이루어진 합성의 배경 에지 맵.
- 에지 맵과 합성의 배경 맵을 비교함으로써 의심이 되는 에지 맵의 발생.
- 갑작스런 환경 변화, 예를 들어 비 또는 다른 날씨 상태 때문에 발생하는 반사일 수 있는 일부 에지를 걸러내기 위한 에지 필터링(edge filtering).
- 비정상적인 빛 조건을 결정하기 위해 점진적으로 업데이트된 이미지를 비교하기 위해 전역 히스토그램(global histogram)을 사용함으로써, 밤 시간 동안에 비정상적인 빛의 검출(예를 들어, 항공기의 착륙, 항공기의 이륙, 지상의 운송 수단의 이동 등...)로 활주로 상의 FOD 또는 비행장 활주로/유도로 손상 검출.
- 보조적인 조명(예를 들어, 레이저 또는 적외선 조명)의 설치를 필요로 하지 않고 활주로 또는 유도로 상에서 FOD 또는 비행장 활주로/유도로 손상을 검출하는 낮/밤의 감시.
- 모든 이질적인 객체 또는 손상이 비행장 활주로 또는 유도로 상에서 정확하게 검출되고, 확인되고, 그리고 위치가 파악되는 것을 확증하기 위해, 자동화되고, 컴퓨터-보조적이고, 그리고/또는 손으로 줌-인(zoom-in) 보기 능력으로 비행장 활주로 또는 유도로의 이미지를 캡처하는 이미지 수단.
- 어둡거나 낮은 조명 조건에서 보조적인 조명(예를 들어, 레이저 또는 적외선 조명)의 설치를 필요로 하지 않은, 본질적으로 수동임.
- 낮 및 밤 동안에 컬러 이미지.
- FOD 또는 비행장 활주로/유도로 손상을 검출하고, 위치를 파악하거나 확인하기 위해 컴퓨터 영상 처리 기술을 사용하는 감시 카메라의 네트워크로부터 수득되는 비디오 및/또는 사진 이미지를 처리하는 것.
- 카메라는, 존재하는 시스템과 비교할 때 예시적인 실시예에서 적응성 있는 이미지 처리를 사용한 향상된 이미지 처리 때문에 상기 활주로 또는 유도로로부터 더 먼 거리에 전략적으로 배치되고, 사용된 카메라의 수를 감소시키고, 존재하는 기본적인 시설과의 "인터페이스(interface)"를 감소시키고, 그리고/또는 상기 활주로 주위의 장애물을 감소시킬 수 있다.
BDA 시스템은 정상 상태(평화 시간) 동안 이물질, 파편(FOD) 검출 시스템으로서 작동하도록 구성할 수 있다.
긴박한 공습 경보가 수신되면, BDA 시스템은 경고 상태로 해서 운행 중에 비행장 손상 검출, 측정 및 분류를 포함하는 BDA 시스템 스위치로 할 수 있다. 비행장 손상 검출/측정/분류 결과는 비행장 내에서 무기 충격으로 인한 손상을 방지하는 안전 항공기 이착륙에 필요한 MAOS와 MOS의 계산으로 이어질 것이다.
도 14의 비디오 프로세싱 장치(1407)와 도 14내의 관리 서버(1409)에 관련하여, 각 비디오 프로세싱 장치(1407)는 카메라 시야각(단일 ESO로부터의 비디오/이미지에 근거한)으로부터 비행장 활주로 손상 항목을 검출, 측정 및 분류하고, 검출, 측정 및 분류 결과를 통합과 최적화를 위한 관리 서버(1409)에 전송하기 위한 책임이 있다. 관리 서버(1409)는 다중 카메라 뷰에 의해 캡처된 비디오/이미지를 근거해서 다중 비디오 프로세싱 장치(1407)의 의해 출력된 FOD 손상 검출/측정/분류 결과 및 비디오/이미지의 최적화를 수행할 수 있다. 이러한 최적화는 동일 영역의 다중 입력 이미지를 융합하여 입력 이미지의 것보다 더 유익한 영역의 합성 이미지를 제공하는 것을 포함한다. 관리 서버(1409)는 또한 강조 표시된 비행장 손상 영역을 스티치된 비행기 이미지에 제공할 수 있으며, 이는 디스플레이 모듈(1157)(도 11)와(1413)(도 14)상에 디스플레이하는데 유용하다.
관리 서버(1409)는 다양한 비디오 프로세싱 장치(1407) 및 관리 서버(1409)에서 실행중인 여러 프로세스를 포함하는, BDA 시스템의 전체 BDA 프로세스를 시작하기 위한 책임이 있을 수 있다. 서버 프로세스(관리 서버(1409)에서 실행)는 다양한 비디오 프로세싱 장치(1407)에서 FOD 및/또는 손상 검출, 측정 및 분류 결과를 받게 될 것이다.
서버 프로세스가 실행된 후에 추가로 다중 인접 EOS(다른 카메라 시야각을 가짐)에 의해 검출되고 다중 비디오 프로세싱 장치(1407)에 의해 출력된 동일한 FOD 손상 항목(예 큰 구멍 또는 UXO 등)에 속하는 검출, 측정 및 분류 결과를 처리해서 최적화할 것이다. 서버 프로세스는 검출된 각 비행장 손상 항목에 대해 가장 가까운 거리, 유사한 크기 등과 같은 특정 기준에 근거해서 처리를 수행할 수 있다. 계속해서, 서버 프로세스는 검출, 측정 및 분류 정확도의 향상을 위해서, 심지어 발견된 FOD 또는 비행장 손상 항목을 다시 측정 및/또는 재분류하고 적어도 두 개의 카메라 시야각(2 개의 인접 EOS로부터의 비디오/이미지에 근거함)를 사용해서 손상 항목의 치수를 계산할 수 있다. 두 개의 카메라 뷰 각도(시야각)의 이미지를 사용하면 서버 프로세스가 두 카메라 뷰로부터 동일한 영역의 다중 입력 이미지를 융합해서 단일 EOS로부터 받은 입력 이미지의 것보다 더 유익한 영역의 합성 이미지를 제공한다. 이는 또한 비행장의 특정 영역을 커버하는 하나의 EOS를 사용할 때 일어날 수 있는 FOD 또는 손상의 경우의 문제를 극복하는 데 도움이 된다.
경고 상태일 때, BDA 시스템의 서버 프로세스는 무기 충격 감시 시스템(WISS) 프로세스를 시작할 것이다. 비디오 프로세싱 장치(1407)의 다양한 프로세스가 동시에 여러 EOS부터의 비디오/이미지를 처리할 것이다. 서버 프로세스가 WISS 프로세스를 시작하면, WISS 프로세스는 즉시 검출 무기 충격이 즉시 관리 서버(1409)에 경고를 트리거하고 충돌 위치가 운영자 워크 스테이션(1413) 상의 디지털 비행장 맵에 그려질 수 있도록, 무기 충격 검출 프로세스를 시작할 수 있다.
공습이 끝나고 BDA 시스템의 상태가 "공격 포스트"로 변경할 때, 비행장 지휘관은 BDA 손상 검출, 측정 및 분류와 MAOS 및 MOS 계산을 수행하도록 결정할 수 있다. 수동 트리거는 지휘관에 제공되어 지휘관이 상세한 BDA FOD 및/또는 비행장 손상 검출, 측정 및 분류를 시작하도록 다양한 BDA 프로세스를 활성할 수 있다.
BDA 시스템내에 사용된 프로세스가 단일 카메라 뷰 BDA 검출, 측정 및 분류를 완료하면, 그 결과는 서버 프로세스에 의해 통합되고 더 최적화될 수 있다. 복제된 BDA FOD 및 비행장 손상 검출/측정/분류는 서버 프로세스에 의해 고 정확도와확신성으로 재분류되고 재측정될 수 있다.
최종 BDA FOD 및/또는 손상 검출, 측정 및 분류 결과는 MAOS/MOS 계산을 위해 MAOS/MOS 계산 어플리케이션에 전송될 수 있다.
BDA 시스템은 비행장의 이미지(또한 "비행장 기본 이미지"로 알려진)의 완전한 세트를 획득하는 기본 학습 과정을 실행하도록 구성할 수 있다. 기본 이미지는 알 수 없는 이물질, 파편 또는 손상 또는 기본 이미지를 캡처 시점에서 비행장의 카메라 뷰에 없는 알 수 없는 변화가 없는 경우의 비행장의 이미지를 참조한다.
BDA 시스템은 비행장 기본 이미지를 생성하는 EOS를 사용하여 모든 섹터/서브섹터의 원 사이클(one cycle)을 스캔하고 빠른 스캔 스티칭 및 검출 루프(Quic Scan Stitching and Detection Loop)로 들어간다. 섹터는 비행장의 지정된 영역을 의미한다. 서브섹터은 섹터내의 추가의 파티션이다. 빠른 스캔 스티칭 및 검출 루프는 계속해서 비행장을 스캔하고 다양한 서브섹터 이미지를 함께 스티치한다. 또한 기본 이미지와 비교한 후 비행장 이미지의 주요 차이점을 검출한다. 비행장에 큰 차이를 가진 영역은 예를 들어서 색깔에 의해 강조 표시되어, 비행장 지휘관이 전시 또는 이후에 최초의 빠른 손상 평가를 위한 디스플레이상에 이들 영역을 줌-인할 수 있게 한다. 따라서, EOS(즉, 하나 이상의 카메라)로 캡처한 이미지는 함께 스티치되고 초기에 캡처 스티치된 이미지와 나중에 캡처 스티치된 이미지 사이의 차이의 영역은 비행장 활주로 또는 유도로의 나중에 캡처 스티치된 이미지를 강조표시하고 있다.
도 15는 강조 표시된 손상된 부분(1506)과의 스티치된 활주로 이미지(1502)를 보여준다. 스티치 이미지는 빠른 스캔 스티칭 및 검출 루프에 의해 생성된다. 손상된 부분의 줌-인된 뷰는 또한 도 15에 도시되어 있다. 스티치된 비행장 활주로 이미지(1502)는 활주로의 일부(1506)가 심하게 공습 중에 손상되어 있음을 보여준다. 줌- 인 뷰(1504)는 활주로에 손상된 항목을 명확하게 표시하고 비행장 지휘관에 의한 초기 비행장 손상 평가에 유용하다.
빠른 스캔 스티칭 및 검출 루프는 예를 들어 공습이 끝나고 BDA 시스템이 "포스트 공격"으로 될 때까지 업데이트된 스티치된 비행장 활주로 이미지를 제공하기 위해 무한 루프로 계속 실행되도록 구성될 수 있다. 그렇게 되면, 비행장 지휘관은 BDA 시스템을 트리거해서 BDA 비행장 손상 검출 측정 및 분류 프로세스를 시작한다.
그리고 나서, BDA의 시스템은 비행장의 모든 잠재적인 손상 항목을 추출하도록 전체 사이클 검출을 수행할 수 있다. 그 후에는 개별 손상 항목(큰 구멍 또는 UXO와 같은)을 분류하고 측정하기 시작한다. 최종 검출, 측정 및 분류 결과(다양한 비디오 프로세싱 장치(1407)으로부터 출력)은 통합 및 최적화를 위한 서버(즉, 더 많은 정보를 이미지를 얻도록 여러 이미지 및/또는 검출/측정/분류 결과의 융합)로 전송된다.
두 개의 이미지 처리 기반 검출기는 비행장 내의 이물질, 파편 또는 손상을 검출하는 BDA 시스템내에 동시에 사용할 수 있다. 검출기 중 하나는 비행장 내의 이물질, 파편 또는 손상의 존재를 제시할 수 있는 영역 내에서 변경한 영역을 식별하도록 영역의 캡처된 이미지의 그레이스케일 뷰를 비교하는 것을 포함하는 영역 기반의 검출기일 수 있다. 그러나, 날씨 변화 조건 변화에 의해서, 영역 기반 검출기는 신뢰할 수 없다. 이들은 빛의 변화가 영역의 그레이스케일 뷰의 변화를 발생할 때 지나치게 오류 검출을 생성하는 경향이 있다. 다른 한편으로, 이미지 내의 객체의 에지(즉, 테두리 또는 외곽)를 검출하는 데 사용되는 에지 기반 검출기는, 빛 변화에 덜 민감하고 여전히 날씨가 변화 조건이 변경할 때로 객체의 에지를 검출할 수 있다.
사용되는 기본 검출기 에지가 기반 검출기이고 2차 검출기가 영역 기반 검출기일 수 있다. 운행 중에, 아마도 이물질, 파편 또는 손상으로 확인된 캡처된 이미지의 영역은 먼저 영역 기반 검출기에 의해 결정된다. 그 다음으로 영역 기반 검출기의 처리된 출력 이미지는 모든 검출된 에지를 아웃라인 하는, 에지 기반 검출기의 처리된 출력 이미지와 비교된다. 에지 기반 검출기의 출력 이미지 내에 강력한 에지 성분(즉, 좋은 아웃라인)을 보이지 않는 영역 기반 검출기의 처리 출력 이미지 내의 확인된 영역은 무시되고 신뢰할 수 없는 것으로 간주 된다. 강력한 에지 구성 성분을 가지는 확인된 영역은 예를 들어, 검출되어진 강력한 에지 성분을 가진 영역의 위치 정보를 추출하도록 도 11의 BDA 위치 추출 모듈(1147)과 픽셀 수준에 의해 이미지 내의 강력한 에지 성분을 가지는 영역을 측정하고 측정을 물리적 크기로 변환시키도록 도 11의 BDA 크기 측정 모듈(1149)에 의해 추가의 처리를 위해 보내진다. 그리고 나서 물리적 치수는 예를 들어, 이미지 내의 확인된 영역이 실질적으로 어떠한 손상의 유형(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 또는 FOD인지 결정하도록 분류될 수 있다.
도 16은 예를 들어 두 개의 검출기, 영역 기반 검출기 및 에지 기반 검출기가 사용되는 검출 알고리즘의 흐름도를 보여준다.
단계 1602에서, 이미지는 비행장의 이미지를 캡처하도록 구성된 하나 이상의 카메라(즉, EOS)에서 검색된다.
단계 1604에서, 단계 1602에서 검색되는 이미지 내에 존재하는 노이즈를 감소하기 위해 수행된다.
단계 1606에서, 에지 검출은 단계 1604를 거친 이미지 내의 모든 객체의 에지의 존재를 검출하기 위해 에지 기반 검출기에 의해 수행된다.
단계 1608에서, 단계 1606에서 검출된 에지 또는 아웃라인에 관련된 정보가 추출된다. 에지 성분은 이들이 추출되기 전에 강력한 것으로 간주 될 필요가 있다.임계값은 강력한 것으로 간주되는 것을 결정하기 위해 비교되어 질 수 있게 미리 결정될 수 있다.
동시에, 단계 1614는 아마도 이물질, 파편 또는 손상이 될 수 있는 이미지 내의 영역에 관한 정보를 추출하도록 단계 1604를 거친 이미지상에서 영역 기반 검출기에 의해 수행된다.
단계 1610에서, 단계 1614에서 추출된 영역의 정보와 단계 1608에서 에지 검출된 정보는 비교된다. 추출된 에지와 중첩되는 영역만 단계 1610의 출력으로 유지되고 저장된다.
단계 1612에서, 전체 객체 분할은 단계 1610의 출력에서 수행된다. 이는 단계 1610의 출력의 이미지를 분석하고 검출 영역을 분류해서 손상(큰 구멍, 폭발로 생긴 구멍, 스폴, UXO) 또는 FOD의 무슨 유형인지 결정하는 단계를 포함한다.
공습 동안, EOS 노드 타워(즉, 하나 이상의 장착된 카메라를 가진 비행장 내의 타워)는 트위스트, 오프셋 또는 손상될 가능성이 있다. 이 경우, BDA 시스템은 비행장 내의 섹터/서브섹터 내의 비행장 이미지를 캡처하기 시작하고 이들을, 타워가 트위스트, 오프셋 되거나 손상되기 전에, 비행장의 기준(또는 참조) 이미지와 비교하고, 많은 원치않는 인공물은 트위스트, 오프셋 되거나 손상되는 타워에 의해 발생된 영향을 받은 카메라 뷰내의 오 정렬에 의해서 발생 될 수 있다. 이는 허위 경보를 생성하고 검출 오류를 야기한다.
이러한 EOS 노드 타워 오프셋에 의해 야기된 허위 경보의 수를 최소화하기 위해, BDA 시스템은 현재 이미지와 기본 이미지(즉, 참조 이미지)에서 캡처되는 일반적인 EOS 노드 타워의 위치 오프셋의 효과를 교정하는데 사용되는 자동 교정 보정 방법을 수행하기 위한 이미지 오프셋 보상기를 포함하며, 이로써 교정된 이미지가 정확한 손상 검출, 측정 및 분류를 위해 생성될 수 있다.
EOS 노드 정렬 교정에 사용되는 기술은 근처 랜드마크에서 또는 활주로 에지 빛, 간판 및 EOS 타워 구조와 같은 각 비행장 서브섹터내의 랜드마크에서 높은 가시성 마커를 이용하는 것이다. 이들 마커는 교정 프로세스 동안 참조로 캡처된다. 검출 동안, EOS가 검색 사이클을 시작할 때, 먼저 사전 설정된 임계값 수준을 초과하는 신뢰 점수로 다양한 서브섹터에서 모든 마커의 위치를 체크한다. 그리고 나서 적절한 오프셋은 계산된다. 그 후에는 각 서브섹터 이미지에 적용된 계산된 오프셋으로 비행장 손상을 검출하기 시작한다.
도 17은 자동 교정 교정에 사용되는 마커를 보여준다. 4 개의 서브섹터(1710 1712 1714과 1716)내의 4 개 마커(1702 1704 1706 및 1708)는 교정 정정을 위해 비행장 내의 9 개의 서브섹터를 가진 영역으로부터 선택된다.
도 18은 두 개의 이미지(1802 및 1804)를 보여준다. 이미지(1802)(기본 이미지)는 교정 프로세스 동안 서브섹터 3(1712)(도 17)의 기본 이미지를 보여준다. 박스(1808)로 표시된 m2 마커(1806)(이 경우에는 활주로의 에지 빛)을 둘러싸는 영역은 매칭 목적으로 참조 타깃 영역으로 선택된다. 이미지(1804)(현재 이미지)는 서브섹터 3(1712)(도 17)을 캡처하도록 장착된 카메라로 캡처된 현재 이미지 m2 마커(1806)의 현재 위치를 보여준다. 박스(1810)는 현재 이미지 내에 발견된 m2 마커( 1806)를 가리키고 이는 기본 이미지(1802)내의 박스(1808)에 의해 마크된 m2 마커(1806) 영역으로부터 분명하게 오프셋된다.
도 18과 도 19를 참조하여, BDA 시스템은 현재 이미지(1804)내의 m2 마커(1806)의 정확한 위치를 찾을 수 있게, 패턴 매칭 또는 폭탄 검출 또는 이들 두 기술의 조합과 같은 타깃 찾는 방법을 사용할 것이다. X 좌표와 Y 좌표(Δx 1904, Δy 1906)(도 19)에서의 오프셋은 이물질, 파편 또는 손상 검출 및 위치 위한 기본 이미지(1802)와 현재 이미지(1804) 모두 내의 교정 영역(1908) 위치를 찾는데 사용될 수 있다. 각 이미지(1802, 1804)내의 박스(1908)로 마크된 영역은 교정 영역(1908)으로 간주 될 것이다.
기본 이미지(예를 들면 1802)와 현재 이미지(예를 들어 1804) 사이의 매칭의 신뢰 점수가 적절하게 고려될 수 있다. 신뢰 점수가 특정 임계값을 초과하는 경우에만 정정이 시작된다.
멀티플 마커의 사용(즉, 현재의 이미지와 기본 이미지 내의 공통 객체)은 하나의 마커 위치가 너무 무작위 있을 수 있고 매칭이 부정확하거나 잘못된 패턴이 환경 변화 또는 어떤 시간 동안 객체를 통과함으로 인해 매칭될 수 있기 때문에, 교정 정정의 견고성과 안정성을 향상할 것이다. 멀티플 마커를 매칭하면 기본 이미지(예를 들면 1802)와 캡처된 현재 이미지(예를 들어 1804)사이의 실제 오프셋의 검증 및 보다 좋은 표현을 위해 더 많은 데이터를 제공한다.
n 마커 위치가 있다고 가정한다면, 매칭 신뢰 점수는 Ci 이며
i =1, n이다.
그러므로 오프셋은(Δxi , Δyi),i =1, n이다.
최소 신뢰 점수가 Tc라고 가정하면, 실제 오프셋은 임계값 
를 통과하는 유효 마커들의 평균 트리프팅일 수 있거나 또는 선형 회귀를 사용하여 얻을 수 있다.
도 20는 기준(참조) 이미지와 현재 이미지 사이의 오프셋 실제를 결정하는 선형 회귀를 사용하는 방법을 보여준다. 이것은 이미 확인된 멀티플 n 마커 위치가 있다고 가정한다. 마커 매칭은 첫 번째 마커에서 마지막 마커로 시작된다. 마커 i는 첫 번째로부터 마지막까지의 마커들 중 하나를 언급한다. 높은 신뢰 점수를 얻을 수 있는 모든 마커는 픽셀 값으로 표현된 X/Y(즉, X 좌표와 Y 좌표) 오프셋을 가진 리스트에 추가된다. Tc는 계산된 실제 매칭 점수가 이를 초과할 때 높은 신뢰성으로 정정 매칭을 적극적으로 확인하는 소정의 최소 매칭 점수이다.
마지막 마커가 매칭된 후, 리스트는 오프셋이 이미지 내에서 선형인 것으로 제안되면 선형적으로 피팅된다. 피팅 오류가 평가된다. 피팅 오류가 작은 경우, 오프셋이 이들 멀티플 마커 중에서 일치하고, 따라서 현재의 이미지와 기본 이미지를 오프셋하는 데 사용될 수 있다는 것을 의미한다. 피팅 오류가 작지 않은 경우, 오프셋 보정할 수 없다. 이 예에서, Tf는 픽셀로 측정되는 최대 오프셋 오류이다.
단계 2002에서, 실제 오프셋을 결정한다. 마커 i 위치가 검사되며, 여기서 마커 i는 n 수의 마커 위치에서의 마커들 중 하나이다.
단계 2004에서, 마커 i위치가 마지막 마커인지 보도록 체크된다.
마커 i가 마지막 마커이면, 단계 2006에서, 선형 회귀는 각 마커들에 대응하는 모든 오프셋 값을 포함하는 오프셋 리스트를 기반으로 수행된다. 주목하게도 각각의 마커는 기본 이미지와 현재 이미지를 비교한 후 자체적 오프셋 값을 생성할 수 있다.
단계 2008에서, 체크는 선회 오류가 Tf값보다 큰 것인지 보도록 수행된다.
단계 2008에서 체크가, 회귀 오류가 Tf값보다 큰 나타내는 경우, 보정은 단계 2010에서 정정된 영역을 얻도록 현재의 이미지를 오프셋하기 위해 수행된다. 그렇지 않으면, 절차는 종료된다.
마커 i가 단계 2004에서 마지막 마커가 아니면, 마커 i에 매칭하는 마커는 단계 2012에서 기본 이미지와 현재 이미지 사이에 일어난다. 마커 i를 근거한 오프셋 값은 또한 결정된다.
단계 2014에서, 기본 이미지와 현재 이미지 내의 마커 i를 매칭함으로써 결정된 매칭 점수가 임계값 Tc값보다 큰 것인지 보도록 체크가 수행된다.
임계값 Tc값이 단계 2014에서 초과하면, 마커 i에 대한 오프셋 값은 단계 2016에서 오프셋 리스트에 추가될 것이다. 그렇지 않으면, 절차는 단계 2002로 갈것이다.
여기에 설명된 본 발명의 실시예의 방법 및 시스템을 개략적으로 도 8과 같이 컴퓨터 시스템(900)에서 수행될 수 있다. 이는, 상기 컴퓨터 시스템(900) 내에서 실행되고 상기 컴퓨터 시스템(900)이 예시적인 실시예의 방법을 수행하도록 지시하는 컴퓨터 프로그램과 같은 소프트 웨어로 수행될 수 있다.
컴퓨터 시스템(900)은 컴퓨터 모듈(902), 키보드(904) 및 마우스(906)와 같은 입력 모듈 및 디스플레이(908) 및 프린터(910)와 같은 복수의 출력장치를 포함한다.
컴퓨터 모듈(902)은, 예를 들어 로컬 영역 네트워크(LAN) 또는 광대역 네트워크(WAN)과 같은 네트워크 시스템에 접근가능하도록 적당한 송수신 장치(914)를 통해 컴퓨터 네트워크(912)에 연결된다.
본 예에서의 컴퓨터 모듈(902)은 프로세서(918), 랜덤 액세스 메모리(RAM, 920)) 및 판독 전용 메모리(ROM,922)을 포함한다. 상기 컴퓨터 모듈(902)은, 다수의 입력/출력(I/O) 인터페이스(interface), 예를 들어 디스플레이(908)에 대한 I/O 인터페이스(924) 및 키보드(904)에 대한 I/O 인터페이스(926)를 또한 포함한다.
컴퓨터 모듈(902)의 구성요소는 상호연결된 버스(bus)(928) 및 당해 기술분야에서 평균적 지식을 가진 자에게 공지된 방법을 통해 일반적으로 통신한다.
어플리케이션 프로그램은, CD-ROM 또는 플래시 메모리 캐리어(flash memory carrier)와 같은 데이터 저장 매체 상에서 인코딩되고 데이터 저장 장치(930)의 상응하는 데이터 저장 매체 드라이브(drive)를 이용하여 판독하는 컴퓨터 시스템(900)의 사용자에게 일반적으로 공급된다. 어플리케이션 프로그램은 프로세서(918)에 의해 판독되고 실행중에 제어된다. 프로그램 데이터의 중간 저장은 RAM(920)을 사용해서 달성될 수 있다.
여기서 비행장이라고 하는 것이 활주로 및/또는 유도 및/또는 접근 통로 및/또는 인필드/잔디 필드 및/또는 에이프런 및/또는 포장 도로를 포함하는 비행장의 모든 영역을 커버하는 것으로 생각된다. 비행장 활주로 또는 유도로 또는 비행장 활주로/유도로내의 이물질, 파편 또는 어떠한 유형의 손상에 대한 감시와 무기 충격에 대한 감시가 접근 통로 및/또는 인필드/잔디 필드 및/또는 에이프런 및/또는 포장 도로와 같은 비행장의 다른 영역에 역시 적용될 수 있은 것으로 생각된다.
여기서의 손상이 균열, 큰 구멍, UXO, 스폴, 폭발로 생긴 구멍을 포함하는 것으로 생각된다.
본 발명은 상기와 같은 실시예에 제한되지 않는다. 그러나, 당해 기술분야에서 평균적 지식을 가진 자는, 본 발명의 사상으로부터 출발하지 않고 본원에서 포함된 정보에 비추어서 본 발명이 변경되어 실시될 수 있다는 것을 인식할 것이다.
Claims (54)
- 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 감시 시스템으로서,
상기 감시 시스템은 비행장의 이미지 또는 비디오를 캡처하기 위한 하나 이상의 카메라;
하나 이상의 카메라로 캡처한 이미지로부터 비행장 내의 이물질, 파편 또는 손상을 검출하기 위한 프로세싱 장치;
그리고 비행장에서 무기 충격을 검출하고 검출된 무기 충격의 영역 내의 이미지를 캡처하도록 하나 이상의 카메라를 안내하기 위한 무기 충격 감시 시스템을 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항에 있어서,
상기 하나 이상의 카메라는 정적(static) 및 비-정적(non-static) 카메라의 조합을 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라는 손상의 유형을 검출하기 위해 세부 이미지를 얻기 위해서 검출된 무기 충격의 영역을 줌-인하거나 초점을 맞추는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 무기 충격은 무기 충격에 의해 발생된 폭발, 연기, 먼지 또는 플래시의 이미지 또는 소리에 의해 검출되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 비행장 내에서 검출된 이물질, 파편, 또는 손상의 위치에 근거를 둔 항공기 착륙을 위한 최소 운행 스트립(MOS)을 유도하기 위한 계산 모듈을 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 비행장 내의 균열, 큰 구멍, 폭발로 생긴 구멍, 스폴, UXO 또는 동물을 검출하는 것을 특징으로 하는 감시 시스템. - 제 6항에 있어서,
상기 프로세싱 장치는 각각 큰 구멍, 폭발로 생긴 구멍 또는 스폴 주위에 파편의 양을 검출하여 큰 구멍, 폭발로 생긴 구멍 또는 스폴의 크기를 결정하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라는 비행장의 광역 이미지 캡처를 제공하기 위해 광각 렌즈를 장착하고 있는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라는 비행장의 이미지를 캡처하기 위해 비행장 위를 비행하도록 구성된 항공기에 장착되어 있는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 낮은 시정 또는 낮은 주변 조명 조건에서 인공 조명을 제공하기 위한 하나 이상의 적외선 또는 가시 광선 조명기를 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는 이물질, 파편, 손상의 크기 또는 물리적 속성을 측정하기 위해 구성되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 비행장에서 검출된 손상은 비행장 맵에 매핑되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 이물질, 파면 또는 손상일 수 있는, 캡처된 이미지 내에 영역을 검출하기 위한 영역 기반 검출기;와,
캡처된 이미지 내의 모든 물질의 에지를 검출하기 위한 에지 기반 검출기를 포함할 수 있으며,
이미지 내의 에지 기반 검출기에 의해 검출된 에지와 중첩되는 이미지 내의 영역 기반 검출기에 의해 검출된 영역이 저장되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라로 캡처한 이미지는 함께 스티치(stitch)되고, 초기에 캡처 스티치된 이미지와 나중에 캡처 스티치된 이미지 사이의 차이의 영역은 나중에 캡처 스티치된 이미지 내에 강조 표시(highlighted)되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 무기 충격 감시 시스템은 무기 충격이 검출되면 시각적 또는 오디오 경고를 트리거하도록 구성되어 있는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 무기 충격의 위치와 손상 정보를 근거해서 복구 작업을 예측하고 계획하기 위한 복구 예측 및 계획 모듈을 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라는 비행장에서 활주로의 양 반대편에 설치되며, 이들의 뷰(view)는 중첩되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라의 뷰는 중첩되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 비행장 내의 손상을 복구하거나 이물질을 제거하기 위해 원격 경보 및 중요한 정보를 수신하기 위한 하나 이상의 모바일 핸드헬드 장치를 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 현재 캡처된 이미지와, 현재 캡처 이미지와 참조 이미지에 위치된 공통 객체의 위치에 근거해 카메라로 찍은 참조 이미지 사이의 오프셋을 정정하기 위한 이미지 오프셋 보상기를 포함하는 것을 특징으로 하는 감시 시스템. - 제 20항에 있어서,
상기 이미지 오프셋 보상기는 현재 캡처 이미지와 참조 이미지 사이를 정정하도록 오프셋을 결정하기 위해 현재 캡처 이미지와 참조 이미지 내의 하나 이상의 공통 객체를 사용하는 것을 특징으로 하는 감시 시스템. - 제 21항에 있어서,
선형 회귀(liner regression)는 현재 캡처 이미지와 참조 이미지 사이를 정정하도록 오프셋을 결정하는데 사용되며, 현재 캡처 이미지와 참조 이미지 내의 공통 객체를 근거해서 계산된 오프셋 값은 현재 캡처 이미지와 참조 이미지 내의 공통 객체를 매칭함으써 결정된 점수(score)가 소정의 임계값보다 크다면, 선형 회귀에 맞는 것으로 간주되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 비행장에서 검출된 이물질, 파편, 또는 손상의 위치에 근거한 항공기용 최소 비행장 운영 표면(MAOS)을 유도하기 위한 계산 모듈을 더 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 시스템은 낮은 시정 또는 낮은 주변 조명 조건에서 인공 조명을 제공하기 위해 하나 이상의 가시 광선 조명기를 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 무기 충격은 무기 충격에 의해 발생된 소리에 의해 검출되는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는 카메라에 의해 캡처된 이미지의 적응성 있는 이미지 처리를 근거해서 비행장 내의 이물질, 파편, 또는 손상을 검출하고,
상기 감시 시스템은 적외선 또는 레이저 조명과 같은 보조적인 조명이 없이 낮과 밤 둘 모두의 주변 빛의 조건하에서 이물질, 파편, 또는 손상을 검출하기 위해 적응성 있게 작동가능한 것을 특징으로 하는 감시 시스템 - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는 상기 캡처된 이미지를 향상하기 위해 이미지 향상 방법을 적용하는 것을 특징으로 하는 감시 시스템. - 제 27항에 있어서,
상기 캡처된 이미지를 향상시키는 수단은, 상기 캡처된 이미지에 대해 고역 필터(high pass filter), 소벨 X(sobel X)의 왼쪽부터 오른쪽까지의 필터 및 소벨 X의 오른쪽부터 왼쪽까지의 필터, 또는 샤르 X(Scharr X) 필터를 포함하는 것을 특징으로 하는 감시 시스템. - 제 27항에 있어서,
상기 이미지 처리 시스템은, 즉각적인 처리가 낮-시간 또는 밤-시간인지를 결정하고; 그리고 밤-시간 동안에 상기 캡처된 이미지로부터, 항공기 착륙, 항공기 이륙, 또는 지상 운송 수단 때문에 발생하는 비정상적인 빛의 조건을 검출하는 것을 특징으로 하는 감시 시스템. - 제 29항에 있어서,
상기 비정상적인 빛의 조건을 검출하는 것은, 하나 이상의 이전의 이미지와 각각의 이미지를 비교하고 임계값(threshold value)에 대한 기준값으로 강도에서의 변화를 근거로 하여 비정상적인 빛의 조건을 확인하는 것을 특징으로 하는 감시 시스템. - 제 29항에 있어서,
비정상적인 빛의 조건이 검출되어진 이미지는 추가적인 처리로부터 무시되는 것을 특징으로 하는 감시 시스템. - 제 27항에 있어서,
상기 프로세싱 장치는 상이한 주변의 조건에 대해 이물질, 파편 또는 손상 에지 추출(edge extraction)에 대한 하나 이상의 임계값을 적응성 있게
평가하고;
픽셀 수준의 임계 맵(threshold map)을 발생시키는 데에 사용되는 그레이스케일의 룩업-테이블(lookup table, LUT)을 결정하기 위해, 점진적으로 학습된 배경 이미지의 에지 맵(edge map)을 기초로 하는 통계적인 방법을 사용하여 픽셀 수준의 에지 맵을 발생시키는 것을 특징으로 하는 감시 시스템. - 제 32항에 있어서,
상기 프로세싱 장치는, 임계를 지나가도록 축적된 픽셀만으로 이루어진 강력한 에지 맵만을 유지하기 위해 임시적인 필터링(filtering)를 픽셀 수준의 에지 맵의 스택(stack)에 더 적용하는 것을 특징으로 하는 감시 시스템. - 제 33항에 있어서,
상기 프로세싱 장치는 적응성 있는 배경 학습에 대한 강력한 에지 맵을 추가로 하고, 상기 적응성 있는 배경 학습은,
이전에 즉각적으로 습득된 배경 에지 이미지를 현재의 이미지와 비교하고;
상기 비행장 상에서 느린-변화의 특징을 확인하고; 및
상기 배경 에지 이미지를 상기 느린 변화의 특징으로 업데이트하는 것을 특징으로 하는 감시 시스템. - 제 34항에 있어서,
상기 프로세싱 장치는, 적응성 있는 배경 에지 맵, 이전에 학습되고 저장된 낮 또는 밤의 배경 에지 맵, 및 특정 계절 또는 날씨 상태에 대해 발생되는 계절적으로 특징 있는 맵을 포함하는 합성의 배경 에지 맵을 더 발생시키는 것을 특징으로 하는 감시 시스템. - 제 35항에 있어서,
상기 프로세싱 장치는, 상기 합성의 배경 에지 맵과 상기 강력한 에지 맵을 더 비교하고; 및 이물질, 파편 또는 손상의 의심되는 에지 맵을 추출하기 위해 배경 에지를 제거하는 것을 특징으로 하는 감시 시스템. - 제 36항에 있어서,
상기 프로세싱 장치는, 주변의 변화에 관련된 원하지 않은 에지를 상기 의심되는 에지 맵으로부터 걸러내기 위해 에지 필터링을 더 수행하고, 상기 의심되는 에지 맵으로부터 이물질, 파편 또는 손상의 에지 파라미터를 계산(compute)하는 것을 특징으로 하는 감시 시스템. - 제 37항에 있어서,
상기 주변의 조건은 낮에서 밤으로의 변화, 또는 밤에서 낮으로의 변화, 날씨 상태, 비, 안개, 구름을 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치에 의해 수행된 이미지 처리는, 이물질, 파편 또는 손상을 검출하는 통제 타워(control tower) 또는 통제실에서 운행자에게 알람하기 위해, 비행장의 의심되는 영역 상에서 이물질, 파편 또는 손상 그래픽을 비디오 디스플레이 상에 더 중첩(overlay)하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는 이물질, 파편 또는 손상을 더 분류하는 것을 특징으로 하는 감시 시스템. - 제 1항에 있어서,
상기 하나 이상의 카메라는 비행장 활주로의 한 측면상에 놓여 있는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라가 기능을 하지 못하는 경우에, 각각의 인접한 카메라가 상기 기능을 하지 못하는 카메라에 의해 커버(cover)되는 영역을 커버하도록 작동될 수 있는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 하나 이상의 카메라는 하나 이상의 단색(monochrome) 카메라, 하나 이상의 컬러 카메라 또는 둘 모두를 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
하나 이상의 밤 비전 카메라를 더 포함하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
비행장 내의 활주로 표면은 복수의 구획으로 분할되고, 하나 이상의 비-정적 카메라는 이물질, 파편 또는 손상 검출을 위해 상기 활주로의 구획마다 연속적으로 스캔하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
정적 카메라는 활주로 상의 항공기 이륙 및 착륙의 각각의 위치를 검출하여, 비-정적 카메라가 먼저 항공기 이륙 및 착륙의 각각의 위치내의 활주로 구획을 스캔하도록 안내되어 이물질, 파편 또는 손상 검출 시간을 줄이는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는, 전체 활주로에 걸쳐서 발생하는 비(rain) 때문에, 비 모션 간섭(rain motion clutter) 및 상기 모션 간섭을 기초로 한 비와-같은 특성을 인식함으로써, 활주로의 장면 이미지에서 비 간섭(rain clutter)을 걸러내기 위해 임시적인 필터링을 적용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는, 전체 활주로에 걸쳐서 발생하는 눈(snow) 때문에, 눈 모션 간섭(snow motion clutter) 및 상기 모션 간섭을 기초로 한 눈과-같은 특성을 인식함으로써, 활주로의 장면 이미지에서 눈 간섭(rain clutter)을 걸러내기 위해 임시적인 필터링을 적용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는, 실제-세계의 좌표 프레임(co-ordinate frame)상에서 상세한 좌표를 표시하도록 활주로 상의 이미지 상에 픽셀을 맵핑(mapping)하기 위해 활주로 장면의 교정(calibration)에 맞는 활주로의 측면으로부터 동일한 수직 거리 상에 그리고 비행장 내의 활주로상의 길이방향을 따라서 위치되는 마커 또는 활주로 에지 빛을 사용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는, 실제-세계의 좌표 프레임(co-ordinate frame)상에서 상세한 좌표를 표시하도록 비행장 내의 활주로 상의 이미지 상에 픽셀을 맵핑(mapping)하기 위해 활주로 장면의 교정(calibration)에 맞는 2 개의 수직 픽셀 맵핑 비율을 유도하는데 활주로 중간 라인과 활주로 중간 라인이 각 측면상의 두 개의 평행 수평 활주로 라인을 이용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 프로세싱 장치는, 상기 비행장 활주로 상에서 이물질, 파편 또는 손상의 위치 및 범위를 결정하기 위해, 단안시(monoscopic vision) 및 단안시 카메라에 의해 캡처되어 교정된 활주로의 장면 이미지를 이용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 시스템은 검출된 이물질, 파편 또는 손상의 정확성의 검증을 할 수 있거나 허위 알람을 필터하도록 이물질, 파편 또는 손상의 상세한 이미지를 얻기 위해서 이물질, 파편 또는 손상을 팬, 틸트, 줌 또는 초점할 수 있게 비정적 카메라를 자동적으로 제어하기 위해 교정된 활주로 장면 이미지 및 정적 카메라에 의해 결정된 이물질, 파편 또는 손상 위치 및 범위를 이용하는 것을 특징으로 하는 감시 시스템. - 제 1항 또는 제 2항에 있어서,
상기 감시 카메라가 비행장 내의 활주로의 동일한 구획을 커버하도록 한 쌍의 감시 카메라를 포함하는 양안시(stereo vision)를 이용해서, 이물질, 파편 또는 손상 범위 및 위치는 감시 카메라 쌍에 의해 제각기 캡처된 이미지와 뷰의 중첩 필드와 비교함으로써 얻어진 이미지의 차이로부터 계산되는 것을 특징으로 하는 감시 시스템. - 비행장 내의 이물질, 파편, 손상을 검출하기 위한 방법으로서,
비행장의 이미지를 캡처하는 단계;
캡처된 이미지로부터 비행장 내의 이물질, 파편 또는 손상을 검출하는 단계;와,
검출된 무기 충격의 영역 내의 이미지를 캡처하도록 하나 이상의 카메라를 안내하는 단계를 포함하는 것을 특징으로 하는 검출 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SG201101223-4 | 2011-02-21 | ||
| SG2011012234 | 2011-02-21 | ||
| PCT/SG2012/000052 WO2012115594A1 (en) | 2011-02-21 | 2012-02-21 | A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140029394A KR20140029394A (ko) | 2014-03-10 |
| KR101533905B1 true KR101533905B1 (ko) | 2015-07-03 |
Family
ID=46721131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137024843A Expired - Fee Related KR101533905B1 (ko) | 2011-02-21 | 2012-02-21 | 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US20130329052A1 (ko) |
| EP (1) | EP2678835B1 (ko) |
| JP (1) | JP6110316B2 (ko) |
| KR (1) | KR101533905B1 (ko) |
| CN (1) | CN103733234B (ko) |
| AU (1) | AU2012221159B2 (ko) |
| IL (1) | IL228067A (ko) |
| RU (1) | RU2596246C2 (ko) |
| SG (1) | SG192881A1 (ko) |
| WO (1) | WO2012115594A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102369170B1 (ko) * | 2020-08-31 | 2022-03-03 | 한국항공우주산업 주식회사 | 기체 내부의 이물질 검출 방법 및 기체 내부의 이물질 검출 시스템 |
| US12007188B2 (en) | 2019-11-11 | 2024-06-11 | Israel Weapon Industries (I.W.I) Ltd | Firearm with automatic target acquiring and shooting |
Families Citing this family (153)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9518830B1 (en) | 2011-12-28 | 2016-12-13 | Intelligent Technologies International, Inc. | Vehicular navigation system updating based on object presence |
| US10387960B2 (en) * | 2012-05-24 | 2019-08-20 | State Farm Mutual Automobile Insurance Company | System and method for real-time accident documentation and claim submission |
| US9474265B2 (en) * | 2012-11-27 | 2016-10-25 | Elwha Llc | Methods and systems for directing birds away from equipment |
| US9304042B2 (en) * | 2013-01-18 | 2016-04-05 | Delphi Technologies, Inc. | Foreign object detection system and method suitable for source resonator of wireless energy transfer system |
| US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
| US20150161540A1 (en) * | 2013-12-06 | 2015-06-11 | International Business Machines Corporation | Automatic Road Condition Detection |
| CN103729830B (zh) * | 2013-12-31 | 2016-06-22 | 北京交通大学 | 一种机场跑道雷达图像背景抑制方法 |
| JP6293552B2 (ja) * | 2014-03-31 | 2018-03-14 | 株式会社日立製作所 | 監視管理システム |
| EP3537104B1 (en) * | 2014-04-25 | 2021-06-02 | Sony Corporation | Information processing device, information processing method, and computer program |
| US20150326796A1 (en) * | 2014-05-09 | 2015-11-12 | Tobias Oggenfuss | Binal synchronized lens system |
| US10127448B2 (en) * | 2014-08-27 | 2018-11-13 | Bae Systems Information And Electronic Systems Integration Inc. | Method and system for dismount detection in low-resolution UAV imagery |
| EP3026652A1 (en) * | 2014-11-27 | 2016-06-01 | Kapsch TrafficCom AB | Double stereoscopic sensor |
| FR3030091B1 (fr) * | 2014-12-12 | 2018-01-26 | Airbus Operations | Procede et systeme de detection automatique d'un desalignement en operation d'un capteur de surveillance d'un aeronef. |
| US9715009B1 (en) | 2014-12-19 | 2017-07-25 | Xidrone Systems, Inc. | Deterent for unmanned aerial systems |
| US9689976B2 (en) | 2014-12-19 | 2017-06-27 | Xidrone Systems, Inc. | Deterent for unmanned aerial systems |
| JP6500428B2 (ja) * | 2014-12-22 | 2019-04-17 | 日本電気株式会社 | 動体検知装置、動体検知方法および動体検知プログラム |
| RU2601402C2 (ru) * | 2015-01-12 | 2016-11-10 | Анна Евгеньевна Авдюшина | Устройство для измерения координат и распознавания объектов в распределенной системе акустического и видеонаблюдения |
| US10395496B2 (en) * | 2015-06-18 | 2019-08-27 | Ryan L Nuhfer | Alarm and surveillance system and method |
| EP3301913A4 (en) * | 2015-06-23 | 2018-05-23 | Huawei Technologies Co., Ltd. | Photographing device and method for acquiring depth information |
| JP6326009B2 (ja) * | 2015-06-29 | 2018-05-16 | 株式会社オプティム | 無線航空機、位置情報出力方法及び無線航空機用プログラム。 |
| US10498955B2 (en) * | 2015-08-03 | 2019-12-03 | Disney Enterprises, Inc. | Commercial drone detection |
| EP3345129A4 (en) | 2015-08-31 | 2019-07-24 | Cape Analytics, Inc. | SYSTEMS AND METHOD FOR ANALYZING REMOTE IMAGING IMAGES |
| JP6450852B2 (ja) * | 2015-09-17 | 2019-01-09 | 株式会社日立国際電気 | 落下物検知追跡システム |
| US10229329B2 (en) * | 2016-11-08 | 2019-03-12 | Dedrone Holdings, Inc. | Systems, methods, apparatuses, and devices for identifying, tracking, and managing unmanned aerial vehicles |
| US10318819B2 (en) | 2016-01-05 | 2019-06-11 | The Mitre Corporation | Camera surveillance planning and tracking system |
| US10140872B2 (en) | 2016-01-05 | 2018-11-27 | The Mitre Corporation | Camera surveillance planning and tracking system |
| US10190269B2 (en) | 2016-01-15 | 2019-01-29 | Fugro Roadware Inc. | High speed stereoscopic pavement surface scanning system and method |
| US20170314918A1 (en) | 2016-01-15 | 2017-11-02 | Fugro Roadware Inc. | High speed stereoscopic pavement surface scanning system and method |
| US9953239B2 (en) * | 2016-01-21 | 2018-04-24 | Gary L Viviani | Atomatic monitoring systems |
| FR3049744B1 (fr) * | 2016-04-01 | 2018-03-30 | Thales | Procede de representation synthetique d'elements d'interet dans un systeme de visualisation pour aeronef |
| CN106056957A (zh) * | 2016-06-16 | 2016-10-26 | 招商局重庆交通科研设计院有限公司 | 一种全桥面随机车流的精确同步定位方法 |
| EP3293672A1 (en) * | 2016-09-07 | 2018-03-14 | Malvern Panalytical Limited | Particle boundary identification |
| WO2018064408A1 (en) * | 2016-09-29 | 2018-04-05 | Flir Systems, Inc. | Fail-safe detection using thermal imaging analytics |
| US10511762B2 (en) | 2016-10-24 | 2019-12-17 | Rosemount Aerospace Inc. | System and method for aircraft camera image alignment |
| DE102016223185A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
| DE102016223171A1 (de) | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
| EP3151164A3 (en) | 2016-12-26 | 2017-04-12 | Argosai Teknoloji Anonim Sirketi | A method for foreign object debris detection |
| US10198655B2 (en) * | 2017-01-24 | 2019-02-05 | Ford Global Technologies, Llc | Object detection using recurrent neural network and concatenated feature map |
| JP2018132865A (ja) * | 2017-02-14 | 2018-08-23 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器、電子機器の処理代行依頼方法および情報処理システム |
| US11320269B2 (en) * | 2017-03-31 | 2022-05-03 | Nec Corporation | Information processing apparatus, information processing method, and information processing program |
| EP3410688B1 (en) | 2017-06-01 | 2019-03-06 | Axis AB | Method for improving image quality in images acquired by a near-infrared sensitive video camera and such a camera |
| RU2661531C1 (ru) * | 2017-07-27 | 2018-07-17 | Акционерное общество "Научно-производственный комплекс "Дедал" | Мобильный быстроустанавливаемый автономный пост технического наблюдения для контроля обстановки на охраняемой территории |
| US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
| US10762673B2 (en) | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10565457B2 (en) | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10953881B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
| US10649458B2 (en) | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
| US10953880B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
| US10636173B1 (en) | 2017-09-28 | 2020-04-28 | Alarm.Com Incorporated | Dynamic calibration of surveillance devices |
| US11012683B1 (en) | 2017-09-28 | 2021-05-18 | Alarm.Com Incorporated | Dynamic calibration of surveillance devices |
| US10410055B2 (en) * | 2017-10-05 | 2019-09-10 | TuSimple | System and method for aerial video traffic analysis |
| EP3483802B1 (en) * | 2017-11-13 | 2025-01-01 | The Boeing Company | A system and method for determining the runway configuration of an airport |
| CN107728136A (zh) * | 2017-11-29 | 2018-02-23 | 航科院（北京）科技发展有限公司 | 一种机场跑道异物监测和清除引导系统及方法 |
| US10907940B1 (en) | 2017-12-12 | 2021-02-02 | Xidrone Systems, Inc. | Deterrent for unmanned aerial systems using data mining and/or machine learning for improved target detection and classification |
| EP3528081A4 (en) * | 2017-12-26 | 2019-11-13 | Autel Robotics Co., Ltd. | AIRCRAFT PROTECTION AND DEVICE AND PLANE |
| CN112004729B (zh) | 2018-01-09 | 2023-12-01 | 图森有限公司 | 具有高冗余的车辆的实时远程控制 |
| US11305782B2 (en) | 2018-01-11 | 2022-04-19 | Tusimple, Inc. | Monitoring system for autonomous vehicle operation |
| KR102049433B1 (ko) * | 2018-01-19 | 2020-01-22 | 주식회사유넷컨버전스 | Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법 |
| CN108460091A (zh) * | 2018-01-29 | 2018-08-28 | 合肥齐天科技有限公司 | 一种信鸽入笼在线拍照合成系统 |
| US10996683B2 (en) | 2018-02-09 | 2021-05-04 | Skydio, Inc. | Aerial vehicle touchdown detection |
| WO2019157455A1 (en) * | 2018-02-09 | 2019-08-15 | Skydio, Inc. | Aerial vehicle smart landing |
| US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
| US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
| US12270661B2 (en) | 2018-02-14 | 2025-04-08 | Tusimple, Inc. | Lane marking localization and fusion |
| US10685244B2 (en) | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
| CN108647563A (zh) * | 2018-03-27 | 2018-10-12 | 阿里巴巴集团控股有限公司 | 一种车辆定损的方法、装置及设备 |
| EP3776352B1 (en) * | 2018-03-28 | 2023-08-16 | Sika Technology Ag | Crack evaluation of roofing membrane by artificial neural networks |
| CN110378185A (zh) | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| CN116129376A (zh) | 2018-05-02 | 2023-05-16 | 北京图森未来科技有限公司 | 一种道路边缘检测方法和装置 |
| US10974392B2 (en) * | 2018-06-08 | 2021-04-13 | International Business Machines Corporation | Automated robotic security system |
| CN109724152A (zh) * | 2018-07-24 | 2019-05-07 | 永康市蜂蚁科技有限公司 | 供暖设备散热管道流速切换系统 |
| CN109085539B (zh) * | 2018-08-10 | 2021-04-02 | 湖南航天环宇通信科技股份有限公司 | 一种双反射面雷达成像天线 |
| RU2704107C1 (ru) * | 2018-09-10 | 2019-10-24 | Акционерное общество "Опытный завод "Интеграл" | Комплекс защиты объектов на основе осветительного устройства |
| CN112689586B (zh) | 2018-09-13 | 2024-04-16 | 图森有限公司 | 远程安全驾驶方法和系统 |
| CN110927811A (zh) * | 2018-09-19 | 2020-03-27 | 长春奥普光电技术股份有限公司 | 一种机场道面异物检测系统 |
| EP3629226B1 (en) * | 2018-09-26 | 2020-11-25 | Axis AB | Method for converting alerts |
| EP3643235A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Device, system and method for monitoring a subject |
| CN109409282B (zh) * | 2018-10-24 | 2022-07-08 | 珠海瑞天安科技发展有限公司 | 一种机场跑道外来物检测方法及系统 |
| US10942271B2 (en) | 2018-10-30 | 2021-03-09 | Tusimple, Inc. | Determining an angle between a tow vehicle and a trailer |
| EP3881161A1 (en) | 2018-11-14 | 2021-09-22 | Cape Analytics, Inc. | Systems, methods, and computer readable media for predictive analytics and change detection from remotely sensed imagery |
| CN111366938B (zh) | 2018-12-10 | 2023-03-14 | 北京图森智途科技有限公司 | 一种挂车夹角的测量方法、装置及车辆 |
| CN111319629B (zh) | 2018-12-14 | 2021-07-16 | 北京图森智途科技有限公司 | 一种自动驾驶车队的组队方法、装置及系统 |
| US11245875B2 (en) * | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
| WO2020194650A1 (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 異物検出装置、異物検出方法、およびプログラム |
| CN110135296A (zh) * | 2019-04-30 | 2019-08-16 | 上海交通大学 | 基于卷积神经网络的机场跑道fod检测方法 |
| CN110569703B (zh) * | 2019-05-10 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 计算机执行的从图片中识别损伤的方法及装置 |
| US10885625B2 (en) | 2019-05-10 | 2021-01-05 | Advanced New Technologies Co., Ltd. | Recognizing damage through image analysis |
| US11823460B2 (en) | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
| TWI716009B (zh) * | 2019-06-21 | 2021-01-11 | 晶睿通訊股份有限公司 | 影像校正方法及其相關監控攝影系統 |
| US11748991B1 (en) * | 2019-07-24 | 2023-09-05 | Ambarella International Lp | IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations |
| US20210065374A1 (en) * | 2019-08-26 | 2021-03-04 | Organize Everything Inc. | System and method for extracting outlines of physical objects |
| AU2020331567B2 (en) * | 2019-09-12 | 2022-02-03 | Commonwealth Scientific And Industrial Research Organisation | Object moving system |
| CN110781757B (zh) * | 2019-09-29 | 2023-05-09 | 中国航空无线电电子研究所 | 一种机场道面异物识别定位方法及系统 |
| US20240127614A1 (en) * | 2019-10-16 | 2024-04-18 | Purdue Research Foundation | Image processing and authentication of unclonable functions |
| US11361543B2 (en) | 2019-12-10 | 2022-06-14 | Caterpillar Inc. | System and method for detecting objects |
| CN111123261A (zh) * | 2019-12-31 | 2020-05-08 | 上海微波技术研究所（中国电子科技集团公司第五十研究所） | 基于背景学习的机场跑道fod检测方法和系统 |
| CN111368732B (zh) * | 2020-03-04 | 2023-09-01 | 阿波罗智联(北京)科技有限公司 | 用于检测车道线的方法和装置 |
| EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
| CN111652071B (zh) * | 2020-05-08 | 2023-08-29 | 中国工程物理研究院总体工程研究所 | 一种快速的跑道截断分析方法 |
| CN111613176B (zh) * | 2020-05-18 | 2021-07-13 | 维沃移动通信有限公司 | 环境光检测方法及电子设备 |
| CN111562576A (zh) * | 2020-05-20 | 2020-08-21 | 北京望远四象科技有限公司 | 一种机场跑道异物检测系统及方法 |
| KR102418751B1 (ko) * | 2020-05-29 | 2022-07-08 | (주)웨이브텍 | 공항 활주로 고정형 이물질 자동 탐지 시스템 |
| CN111652252B (zh) * | 2020-06-11 | 2022-11-11 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于集成学习的超高速撞击损伤的定量识别方法 |
| AU2021203567A1 (en) | 2020-06-18 | 2022-01-20 | Tusimple, Inc. | Angle and orientation measurements for vehicles with multiple drivable sections |
| KR102232681B1 (ko) * | 2020-07-08 | 2021-03-29 | 공간정보기술 주식회사 | 활주로 피해 분석 시스템 및 방법 |
| CN114002700A (zh) * | 2020-07-28 | 2022-02-01 | 北京理工大学 | 激光末制导飞行器组网控制方法 |
| CN111950456A (zh) * | 2020-08-12 | 2020-11-17 | 成都成设航空科技股份公司 | 一种基于无人机的智能化fod探测方法及系统 |
| CN112184722B (zh) * | 2020-09-15 | 2024-05-03 | 上海传英信息技术有限公司 | 图像处理方法、终端及计算机存储介质 |
| AU2021352833A1 (en) | 2020-10-01 | 2023-05-11 | Rong-Jie David CHEW | A system, a detection system for detecting a foreign object on a runway and a method of the system |
| US11367265B2 (en) * | 2020-10-15 | 2022-06-21 | Cape Analytics, Inc. | Method and system for automated debris detection |
| EP3985561A1 (en) * | 2020-10-19 | 2022-04-20 | SITA Information Networking Computing Canada Inc | Image labelling system and method therefor |
| CN112505050A (zh) * | 2020-11-12 | 2021-03-16 | 中科蓝卓(北京)信息科技有限公司 | 一种机场跑道异物检测系统及方法 |
| CN112668461B (zh) * | 2020-12-25 | 2023-05-23 | 浙江弄潮儿智慧科技有限公司 | 一种具有野生动物识别的智能监管系统 |
| CN112733744B (zh) * | 2021-01-14 | 2022-05-24 | 北京航空航天大学 | 一种基于边缘协同监督与多级约束的伪装物体检测模型 |
| US11479365B2 (en) * | 2021-01-22 | 2022-10-25 | Honeywell International Inc. | Computer vision systems and methods for aiding landing decision |
| CN113106903B (zh) * | 2021-02-24 | 2022-05-27 | 林强 | 一种机场跑道等离子除胶装备 |
| CN112950565A (zh) * | 2021-02-25 | 2021-06-11 | 山东英信计算机技术有限公司 | 一种数据中心漏水检测与定位的方法、设备和数据中心 |
| CN113111703B (zh) * | 2021-03-02 | 2023-07-28 | 郑州大学 | 基于多种卷积神经网络融合的机场道面病害异物检测方法 |
| KR102730009B1 (ko) * | 2021-04-22 | 2024-11-15 | 주식회사 딥인스펙션 | 설명가능인공지능 및 가상현실 기반의 공항 유지관리 및 피해복구 자동화 시스템 및 그 방법 |
| CN113295164B (zh) * | 2021-04-23 | 2022-11-04 | 四川腾盾科技有限公司 | 一种基于机场跑道的无人机视觉定位方法及装置 |
| US12002371B2 (en) * | 2021-05-14 | 2024-06-04 | Rockwell Collins, Inc. | Neuromorphic cameras for aircraft |
| US12045059B1 (en) * | 2021-06-11 | 2024-07-23 | Essential Aero, Inc. | Method and system for autonomous collection of airfield FOD |
| CN113378741B (zh) * | 2021-06-21 | 2023-03-24 | 中新国际联合研究院 | 一种基于多源传感器的飞机牵引车辅助感知方法及其系统 |
| US11875413B2 (en) | 2021-07-06 | 2024-01-16 | Cape Analytics, Inc. | System and method for property condition analysis |
| CN113359155B (zh) * | 2021-07-09 | 2024-07-02 | 王龙林 | 一种基于激光的机场跑道fod旋转识别装置 |
| CN113627517B (zh) * | 2021-08-06 | 2025-06-10 | 西安电子科技大学 | 一种基于碎片化数据的图分类方法 |
| KR102443435B1 (ko) * | 2021-09-07 | 2022-09-15 | 경남도립거창대학산학협력단 | 구조물의 크랙 두께 계측을 위한 라이다 센서가 적용된 무인 비행체 |
| US11742962B2 (en) | 2021-09-13 | 2023-08-29 | Quanta Computer Inc. | Systems and methods for monitoring antenna arrays |
| JP7191178B1 (ja) | 2021-10-27 | 2022-12-16 | 三菱電機株式会社 | 路面劣化検出装置および路面劣化検出方法 |
| CN114486903B (zh) * | 2021-12-06 | 2024-05-14 | 浙江大学台州研究院 | 一种灰度自适应的卷材检测系统及装置、算法 |
| US11676298B1 (en) | 2021-12-16 | 2023-06-13 | Cape Analytics, Inc. | System and method for change analysis |
| US11594141B1 (en) | 2022-01-19 | 2023-02-28 | King Abdulaziz University | System and methods to neutralize an attacking UAV based on acoustic features |
| US20230230250A1 (en) | 2022-01-19 | 2023-07-20 | Cape Analytics, Inc. | System and method for property detection and analysis |
| CN114399498B (zh) * | 2022-01-19 | 2022-08-30 | 浙大网新系统工程有限公司 | 一种机场跑道表面状况评估方法及系统 |
| US11935276B2 (en) | 2022-01-24 | 2024-03-19 | Cape Analytics, Inc. | System and method for subjective property parameter determination |
| FR3134629B1 (fr) * | 2022-04-14 | 2024-08-30 | Comin Sas | Procédé de détermination d’un niveau de salissure d’une chaussée |
| CN114879275A (zh) * | 2022-05-09 | 2022-08-09 | 成都航天凯特机电科技有限公司 | 一种移动式fod光学探测系统 |
| CN114879209B (zh) * | 2022-05-20 | 2025-03-14 | 合肥中科君达视界技术股份有限公司 | 一种用于机场跑道低成本异物检测分类的系统和方法 |
| US12229845B2 (en) | 2022-06-13 | 2025-02-18 | Cape Analytics, Inc. | System and method for property group analysis |
| CN114821484B (zh) * | 2022-06-27 | 2022-10-28 | 广州辰创科技发展有限公司 | 机场跑道fod图像检测方法、系统和存储介质 |
| CN115311428B (zh) * | 2022-10-12 | 2023-02-28 | 珠海翔翼航空技术有限公司 | 数字化机场滑行道模型生成方法、系统及设备 |
| DE102022134631A1 (de) * | 2022-12-22 | 2024-06-27 | Rheinmetall Air Defence Ag | Verfahren zur Überwachung eines Flughafens mittels mehrerer Kameras |
| CN116456058A (zh) * | 2023-04-28 | 2023-07-18 | 南京派拉斯曼工程技术有限公司 | 一种基于改进的视频捕捉检测方法 |
| KR102621722B1 (ko) * | 2023-06-29 | 2024-01-05 | (주)위플로 | 구동 시스템의 점검이 가능한 비행체용 스테이션 장치 |
| CN116573366B (zh) * | 2023-07-07 | 2023-11-21 | 江西小马机器人有限公司 | 基于视觉的皮带跑偏检测方法、系统、设备及存储介质 |
| WO2025034319A2 (en) * | 2023-07-07 | 2025-02-13 | Intelligent Security Systems Corporation | Technologies for usage in airports |
| CN116596922B (zh) * | 2023-07-17 | 2023-09-12 | 山东龙普太阳能股份有限公司 | 一种太阳能热水器生产质量检测方法 |
| CN116704446B (zh) * | 2023-08-04 | 2023-10-24 | 武汉工程大学 | 机场跑道路面异物实时检测方法及系统 |
| CN118072260B (zh) * | 2024-04-18 | 2024-08-16 | 山东双百电子有限公司 | 一种基于图像的车辆偏移分析方法及系统 |
| CN118747330B (zh) * | 2024-05-28 | 2025-06-27 | 云南电网有限责任公司文山供电局 | 一种基于色度图谱映射的设备监测方法及系统 |
| CN118658284B (zh) * | 2024-08-16 | 2024-11-12 | 民航成都电子技术有限责任公司 | 一种机场联动报警通信方法、系统、设备及介质 |
| JP7680096B1 (ja) | 2024-09-09 | 2025-05-20 | スタンダード・リンク株式会社 | 暗視画像を処理するシステム |
| CN118938212B (zh) * | 2024-10-14 | 2024-12-27 | 民航成都电子技术有限责任公司 | 一种基于多传感器的机场跑道外来物检测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277544A (ja) * | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
| JP2005275723A (ja) * | 2004-03-24 | 2005-10-06 | Mitsubishi Electric Corp | 監視移動体及び異物検知センサ及び路面維持管理システム |
| KR20080004601A (ko) * | 2005-04-14 | 2008-01-09 | 키네티큐 리미티드 | 현장에서 목표를 검출하는 방법 및 장치 |
| KR20100069655A (ko) * | 2007-08-24 | 2010-06-24 | 스트라테크 시스템즈 리미티드 | 활주로 감시 시스템 및 방법 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07111734B2 (ja) * | 1989-03-30 | 1995-11-29 | 本田技研工業株式会社 | 走行路判別方法 |
| FR2683356A1 (fr) * | 1991-10-31 | 1993-05-07 | France Etat Armement | Procede et dispositif de detection et de determination de la position de formes. |
| JPH1132322A (ja) * | 1997-07-11 | 1999-02-02 | Hitachi Eng & Services Co Ltd | 凶器所持者自動追尾装置 |
| US6064429A (en) * | 1997-08-18 | 2000-05-16 | Mcdonnell Douglas Corporation | Foreign object video detection and alert system and method |
| JP2000207693A (ja) * | 1999-01-08 | 2000-07-28 | Nissan Motor Co Ltd | 車載用障害物検出装置 |
| JP3272694B2 (ja) * | 1999-07-14 | 2002-04-08 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
| FR2820867A1 (fr) * | 2001-02-09 | 2002-08-16 | Philippe Gouvary | Procede automatise de suivi et d'organisation de deplacement de vehicules au sol et d'identification de corps etrangers sur les pistes dans une zone aeroportuaire |
| JP2004009993A (ja) * | 2002-06-11 | 2004-01-15 | Toshiba Eng Co Ltd | 列車事故回避システム |
| AU2003242974A1 (en) * | 2002-07-15 | 2004-02-02 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
| US6917309B2 (en) * | 2002-10-28 | 2005-07-12 | Integritech System Engineering Ltd. | Foreign object detection system and method |
| US6878939B2 (en) * | 2003-01-31 | 2005-04-12 | Millivision Technologies | Offset drift compensating flat fielding method and camera used in millimeter wave imaging |
| US6977598B2 (en) * | 2003-03-07 | 2005-12-20 | Lockheed Martin Corporation | Aircraft protection system and method |
| JP2008502538A (ja) * | 2004-06-11 | 2008-01-31 | ストラテック システムズ リミテッド | 鉄道軌道スキャニングシステムおよび方法 |
| JP4506308B2 (ja) * | 2004-07-02 | 2010-07-21 | 三菱電機株式会社 | 画像処理装置及び該画像処理装置を用いた画像監視システム |
| WO2008060257A2 (en) * | 2005-05-25 | 2008-05-22 | Lau Daniel L | Projectile tracking system |
| RU61913U1 (ru) * | 2005-11-22 | 2007-03-10 | Аркадий Владимирович Хохлов | Активный инфракрасный рельсовый детектор посторонних предметов на взлетно-посадочной полосе аэропортов |
| US8537222B2 (en) * | 2008-02-28 | 2013-09-17 | Bae Systems Information And Electronic Systems Integration Inc. | Method and system for finding a manpads launcher position |
| CN101753831A (zh) * | 2008-11-28 | 2010-06-23 | 新奥特硅谷视频技术有限责任公司 | 基于三维定位追踪技术的自动摄录方法及系统 |
| JP5487381B2 (ja) * | 2009-02-10 | 2014-05-07 | 国土交通省国土技術政策総合研究所長 | 被覆層異常検出方法 |
| US8355536B2 (en) * | 2009-02-25 | 2013-01-15 | Light Prescriptions Innovators Llc | Passive electro-optical tracker |
| FR2949220B1 (fr) * | 2009-08-21 | 2011-09-09 | Snecma | Procede et systeme de detection de l'ingestion d'un objet par un turboreacteur d'avion au cours d'une mission |
| KR100997497B1 (ko) * | 2010-04-29 | 2010-11-30 | (주)동아이앤씨 | 자동감지/촬영기능을 구비한 감시시스템 및 감시방법 |
| CN101852869A (zh) * | 2010-05-18 | 2010-10-06 | 中国民航大学 | 机场跑道外来物检测系统 |
| CN101968848B (zh) * | 2010-09-27 | 2013-01-16 | 哈尔滨工业大学深圳研究生院 | 一种视频监测方法、系统及视频监测报警系统 |
-
2012
- 2012-02-21 RU RU2013142167/28A patent/RU2596246C2/ru not_active IP Right Cessation
- 2012-02-21 JP JP2013554422A patent/JP6110316B2/ja not_active Expired - Fee Related
- 2012-02-21 WO PCT/SG2012/000052 patent/WO2012115594A1/en active Application Filing
- 2012-02-21 US US14/000,843 patent/US20130329052A1/en not_active Abandoned
- 2012-02-21 AU AU2012221159A patent/AU2012221159B2/en not_active Ceased
- 2012-02-21 CN CN201280019415.2A patent/CN103733234B/zh not_active Expired - Fee Related
- 2012-02-21 SG SG2013063417A patent/SG192881A1/en unknown
- 2012-02-21 KR KR1020137024843A patent/KR101533905B1/ko not_active Expired - Fee Related
- 2012-02-21 EP EP12748886.4A patent/EP2678835B1/en not_active Not-in-force
-
2013
- 2013-08-21 IL IL228067A patent/IL228067A/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002277544A (ja) * | 2001-03-21 | 2002-09-25 | Toshiba Corp | 空港滑走路監視装置 |
| JP2005275723A (ja) * | 2004-03-24 | 2005-10-06 | Mitsubishi Electric Corp | 監視移動体及び異物検知センサ及び路面維持管理システム |
| KR20080004601A (ko) * | 2005-04-14 | 2008-01-09 | 키네티큐 리미티드 | 현장에서 목표를 검출하는 방법 및 장치 |
| KR20100069655A (ko) * | 2007-08-24 | 2010-06-24 | 스트라테크 시스템즈 리미티드 | 활주로 감시 시스템 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12007188B2 (en) | 2019-11-11 | 2024-06-11 | Israel Weapon Industries (I.W.I) Ltd | Firearm with automatic target acquiring and shooting |
| KR102369170B1 (ko) * | 2020-08-31 | 2022-03-03 | 한국항공우주산업 주식회사 | 기체 내부의 이물질 검출 방법 및 기체 내부의 이물질 검출 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2012221159A1 (en) | 2013-10-10 |
| KR20140029394A (ko) | 2014-03-10 |
| IL228067A0 (en) | 2013-09-30 |
| JP6110316B2 (ja) | 2017-04-05 |
| EP2678835A4 (en) | 2014-11-05 |
| RU2013142167A (ru) | 2015-03-27 |
| SG192881A1 (en) | 2013-09-30 |
| JP2014513642A (ja) | 2014-06-05 |
| WO2012115594A1 (en) | 2012-08-30 |
| IL228067A (en) | 2017-03-30 |
| EP2678835B1 (en) | 2017-08-09 |
| RU2596246C2 (ru) | 2016-09-10 |
| CN103733234A (zh) | 2014-04-16 |
| US20130329052A1 (en) | 2013-12-12 |
| CN103733234B (zh) | 2017-05-10 |
| EP2678835A1 (en) | 2014-01-01 |
| AU2012221159B2 (en) | 2015-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101533905B1 (ko) | 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법 | |
| KR101613740B1 (ko) | 활주로 감시 시스템 및 방법 | |
| US8111289B2 (en) | Method and apparatus for implementing multipurpose monitoring system | |
| CN105389921B (zh) | 一种机场跑道异物的监测系统和方法 | |
| US12136232B2 (en) | System for detecting a foreign object on a runway and a method thereof | |
| EP2883209B1 (en) | Strike detection using video images | |
| Dey et al. | A cascaded method to detect aircraft in video imagery | |
| US11955022B2 (en) | Aircraft door camera system for landing gear monitoring | |
| CN112802058A (zh) | 一种非法运动目标的跟踪方法及装置 | |
| US10718613B2 (en) | Ground-based system for geolocation of perpetrators of aircraft laser strikes | |
| HK1196894A (en) | A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield | |
| Task | Development of a Decision Support System for increasing the Resilience of Road Infrastructure based on combined use of terrestrial and airborne sensors and advanced modelling tools | |
| Lindner et al. | MODEAS–a Counter-UAV System with Optical and Radar Sensors | |
| CN119600569A (zh) | 基于图像识别技术的机坪车载fod识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20130920 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20141013 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150330 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150629 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150629 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20190410 |