KR20180053118A - 가시광 통신을 이용한 IoT 모니터링 시스템 - Google Patents
가시광 통신을 이용한 IoT 모니터링 시스템 Download PDFInfo
- Publication number
- KR20180053118A KR20180053118A KR1020160150505A KR20160150505A KR20180053118A KR 20180053118 A KR20180053118 A KR 20180053118A KR 1020160150505 A KR1020160150505 A KR 1020160150505A KR 20160150505 A KR20160150505 A KR 20160150505A KR 20180053118 A KR20180053118 A KR 20180053118A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- visible light
- light communication
- monitoring
- led
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 80
- 230000006854 communication Effects 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 title claims abstract description 59
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000005096 rolling process Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
-
- H04L67/16—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 기존 RF 통신 시스템을 대신하여 가시광 통신을 이용하여 데이터 수집과 모니터링을 수행할 수 있도록 하는 가시광 통신을 이용한 IoT 모니터링 시스템에 관한 것이다.
본 발명에 따른 IoT 모니터링 시스템은 각 센서(110)들에 의해 측정되는 데이터를 수집하는 데이터 수집부(100)와; 상기 데이터 수집부(100)를 통하여 수집된 데이터를 가시광 통신을 통하여 전달받아 패킷 데이터로 인코딩하는 중계 서버(200)와; 상기 중계 서버(200)를 통하여 인코딩된 패킷 데이터를 가시광 통신을 통하여 전달받아, 인코딩된 패킷 데이터를 디코딩하여 식별하고 모니터링하는 모니터링부(300);를 포함하여 이루어져, 특정 영역에 특정 정보를 전송할 수 있고 전파가 제한된 곳에서도 활용될 수 있어, 단거리 및 실내 무선 통신 서비스 등에 적용할 수 있도록 제공된다.
본 발명에 따른 IoT 모니터링 시스템은 각 센서(110)들에 의해 측정되는 데이터를 수집하는 데이터 수집부(100)와; 상기 데이터 수집부(100)를 통하여 수집된 데이터를 가시광 통신을 통하여 전달받아 패킷 데이터로 인코딩하는 중계 서버(200)와; 상기 중계 서버(200)를 통하여 인코딩된 패킷 데이터를 가시광 통신을 통하여 전달받아, 인코딩된 패킷 데이터를 디코딩하여 식별하고 모니터링하는 모니터링부(300);를 포함하여 이루어져, 특정 영역에 특정 정보를 전송할 수 있고 전파가 제한된 곳에서도 활용될 수 있어, 단거리 및 실내 무선 통신 서비스 등에 적용할 수 있도록 제공된다.
Description
본 발명은 IoT 모니터링 시스템에 관한 것으로, 특히 기존 RF 통신 시스템을 대신하여 가시광 통신을 이용하여 데이터 수집과 모니터링을 수행할 수 있도록 하는 가시광 통신을 이용한 IoT 모니터링 시스템에 관한 것이다.
인터넷의 사용이 증가하면서 촉발된 기기들 간의 상호작용이 활발히 일어나는 IoT가 산업 전반에 확산되고 있다. 이러한 IoT(Internet of Things)는 1999년 MIT Auto-ID Sensor의 Kevin Ashton에 의해서 탄생 되었는데, 무선 통신기술을 통하여 모든 사물이 인터넷으로 연결되어, 이를 기반으로 지능적 서비스를 제공할 수 있도록 제공된다.
이러한 IoT 기술이 댁내에 적용되는 경우 IoT 모니터링 시스템이 구축될 수 있는데, IoT 모니터링 시스템은 각 세대에 설치되는 도어락, 가스 감지센서, 화재 감지센서, 방범 센서, 보일러 등의 사물(전자 장치)을 인터넷으로 연결하여 원격에서 컨트롤러나 스마트폰을 이용하여 사물의 동작 상태를 모니터링 할 수 있도록 해준다.
일반적으로, IoT 모니터링 시스템에서 컨트롤러나 스마트폰은 Wi-Fi, LTE 등의 RF 통신을 이용하여 댁내의 사물과 무선으로 통신을 연결하여, 사물의 동작 데이터를 수집하여 모니터링을 수행하며 필요한 경우 제어도 하게 된다. 이러한 IoT 모니터링 시스템에 적용되는 RF 통신은 장애물을 넘어서 통신이 가능하기 때문에 비교적 광범위한 영역에서 활용될 수 있지만, 불필요한 영역에까지 신호가 전달되어 보안문제가 발생할 수 있으며, RF 신호 사용이 제한되는 장소에는 이용할 수 없는 문제점이 있었다.
본 발명은 종래 RF 통신을 이용하는 IoT 모니터링 시스템의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 특정 장소에 특정 정보를 전송할 수 있는 가시광 통신을 이용하여 데이터 수집과 모니터링을 수행할 수 있도록 하는 가시광 통신을 이용한 IoT 모니터링 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 IoT 모니터링 시스템은 각 센서들에 의해 측정되는 데이터를 수집하는 데이터 수집부와; 상기 데이터 수집부를 통하여 수집된 데이터를 가시광 통신을 통하여 전달받아 패킷 데이터로 인코딩하는 중계 서버와; 상기 중계 서버를 통하여 인코딩된 패킷 데이터를 가시광 통신을 통하여 전달받아, 인코딩된 패킷 데이터를 디코딩하여 식별하고 모니터링하는 모니터링부;를 포함한다.
여기에서, 상기 데이터 수집부는 센서를 통하여 측정되는 데이터를 가시광 통신을 위한 데이터로 변환하는 MCU와, 상기 MCU의 제어에 의해 발광하여 데이터를 가시광 통신으로 전송하는 LED가 구비된 송신모듈을 포함한다.
또한, 상기 중계 서버는 데이터 수집부로부터 가시광 통신을 통하여 전송되는 센서 측정 데이터를 수신하는 수신모듈과, 상기 수신모듈을 통하여 수신된 센서 측정 데이터를 송신모듈로 전달하는 제어부와, 상기 제어부로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신을 통해 모니터링부에 전송하는 송신모듈을 포함하되, 상기 수신모듈에는 데이터 수집부의 LED 발광신호를 수신하는 LED와, 상기 LED를 통하여 수신되는 신호로부터 센서 측정 데이터를 인식하여 제어부에 전송하는 MCU가 구비되고, 상기 송신모듈에는 제어부로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신 데이터로 변환하는 MCU와, 상기 MCU의 제어에 의해 발광되어 인코딩된 패킷 데이터를 가시광 통신을 통해 모니터링부에 전송하는 LED가 구비된다. 상기 송신모듈의 MCU는 센서 측정 데이터를 인코딩하여 인코딩 데이터를 생성하고, 상기 인코딩 데이터의 앞뒤에 헤더(Header)와 ETX를 추가하여 패킷 데이터를 생성한 후, 상기 LED를 통하여 모니터링부에 전송하게 된다. 또한, 상기 송신모듈의 MCU는 설정된 시간 단위마다 제어부로부터 전달받은 데이터를 갱신하여 패킷 데이터로 변환한 후, 상기 LED를 통해 모니터링부로 전송하게 된다.
한편, 상기 모니터링부는 안드로이드 운영체계 계열의 스마트폰으로 이루어져, 상기 중계 서버의 LED로부터 전송되는 LED 발광신호를 촬영하는 롤링 셔터(Rolling Shutter)와, 상기 롤링 셔터에 의해 촬영된 영상을 분석하여 인코딩된 패킷 데이터를 인식하고 이를 디코딩하여 화면에 표시하는 모니터링 앱이 구비된다.
여기에서 상기 모니터링 앱은 롤링 셔터에 의해 촬영된 이미지를 NDK(Native Development Kit)를 통하여 영상 처리하여 큐(Queue)에 저장하고, 상기 큐에 저장된 이미지를 출력하여 디코딩 기준선 위치를 지정한 후, 지정된 기준선 위치에 있는 검은색 밴드와 흰색 밴드를 구분하여 밴드 색상에 따른 디코딩 값을 생성하여 스트링 변수에 저장하며, 상기 스트링 변수에 저장된 데이터를 인출하여 중계 서버에서 전송한 패킷 데이터인지 검증한 후, 검증된 패킷 데이터의 인코딩 데이터를 디코딩하여 출력하게 된다. 상기 모니터링 앱은 상기 이미지의 디코딩 기준선 위치에 있는 검은색 밴드와 흰색 밴드를 구분하여 밴드 색상에 따른 디코딩 값을 생성할 때, 상기 검은색 밴드와 흰색 밴드의 픽셀 수를 계산하여, 계산된 픽셀 수의 범위가 픽셀 수 범위에 따라 미리 설정된 문자 '0', '1', '00', '11'에 해당하는 지를 판단한 후, 픽셀 수에 해당하는 문자를 스트링 변수에 추가하여 디코딩 값을 생성하게 된다.
본 발명에 따른 IoT 모니터링 시스템은 RF 통신 대신 가시광 통신을 이용하여 사물의 동작 데이터를 수집하고 모니터링 할 수 있도록 함으로써, 특정 영역에 특정 정보를 전송할 수 있고 전파가 제한된 곳에서도 활용될 수 있어, 단거리 및 실내 무선 통신 서비스 등에 적용이 가능한 효과가 있다.
또한, 가시광통신에 사용되는 LED는 기존에 사용하던 형광등과 백열등에 비해 광원 효율이 뛰어나며, 응답시간이 빠르고 5만 시간이상의 긴 수명을 가지고 있으며, 에너지 전환 효율이 뛰어나 열 손실이 거의 없어 전기 효율이 높은 특징이 있다. 또한, 실내 이외에도 공항이나 교통시스템 등에서 적용이 된다면 주파수가 민감한 공항에서 유용하게 쓰일 수 있고, 교통시스템에서는 자동차의 앞뒤에 있는 LED를 통하여 교통정보를 릴레이로 전달하여 사고가 발생했을 경우 연속 추돌 사고를 방지할 수 있는 효과가 있다.
도 1은 본 발명에 따른 IoT 모니터링 시스템의 블록 구성도,
도 2는 본 발명에 따른 IoT 모니터링 시스템의 전체적인 네트워크 연결도,
도 3은 본 발명에 따른 데이터 수집부와 중계 서버의 가시광 통신 과정 일례,
도 4는 본 발명에 따라 중계 서버의 송신모듈에 의해 인코딩되는 패킷 데이터의 일례,
도 5는 본 발명에 따른 중계 서버와 모니터링부의 가시광 통신 과정 일례,
도 6은 본 발명에 따른 모니터링부에서 패킷 데이터를 인식하는 과정을 나타낸 일례,
도 7은 본 발명에 따른 모니터링부의 모니터링 앱 동작 과정을 나타낸 흐름도,
도 8은 본 발명에 따른 모니터링부의 NDK 레벨에서의 영상 처리 과정 일례,
도 9는 본 발명에 따른 모니터링부에서 이미지에 디코딩 위치를 지정한 일례,
도 10은 본 발명에 따른 모니터링부에서 각각의 밴드를 이루는 픽셀의 개수를 나타낸 일례,
도 11은 본 발명에 따른 모니터링부의 TextView를 통해 출력되는 화면의 일례를 나타낸 것이다.
도 2는 본 발명에 따른 IoT 모니터링 시스템의 전체적인 네트워크 연결도,
도 3은 본 발명에 따른 데이터 수집부와 중계 서버의 가시광 통신 과정 일례,
도 4는 본 발명에 따라 중계 서버의 송신모듈에 의해 인코딩되는 패킷 데이터의 일례,
도 5는 본 발명에 따른 중계 서버와 모니터링부의 가시광 통신 과정 일례,
도 6은 본 발명에 따른 모니터링부에서 패킷 데이터를 인식하는 과정을 나타낸 일례,
도 7은 본 발명에 따른 모니터링부의 모니터링 앱 동작 과정을 나타낸 흐름도,
도 8은 본 발명에 따른 모니터링부의 NDK 레벨에서의 영상 처리 과정 일례,
도 9는 본 발명에 따른 모니터링부에서 이미지에 디코딩 위치를 지정한 일례,
도 10은 본 발명에 따른 모니터링부에서 각각의 밴드를 이루는 픽셀의 개수를 나타낸 일례,
도 11은 본 발명에 따른 모니터링부의 TextView를 통해 출력되는 화면의 일례를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 IoT 모니터링 시스템의 블록 구성도이고, 도 2는 IoT 모니터링 시스템의 전체적인 네트워크 연결도를 나타낸 것이다.
도 1과 도 2에 도시된 바와 같이, 본 발명에 따른 IoT 모니터링 시스템은 실내 또는 실외에 설치된 각 센서(110)로부터 동작 데이터를 수집하는 데이터 수집부(100)와, 상기 데이터 수집부(100)를 통하여 수집된 데이터를 가시광 통신을 통해 전달받는 중계 서버(200)와, 상기 중계 서버(200)로부터 가시광 통신을 통해 전달되는 수집 데이터를 식별하여 모니터링하는 모니터링부(300)를 포함한다.
상기 데이터 수집부(100)는 실내 또는 실외에 설치되어 주변 환경, 예를 들면 온도, 습도, 가스, 연기 등의 정보, 또는 가전제품의 동작 상태를 측정하여 수집하는 장치로서, 이 데이터 수집부(100)에는 실내외의 각종 데이터를 측정하는 센서(110)와, 상기 센서(110)를 통하여 측정되는 데이터를 가시광 통신을 통해 중계 서버(200)에 전송하는 송신모듈(120)을 포함하는데, 이 송신모듈(120)에는 센서 측정 데이터를 가시광 통신을 위한 데이터로 변환하는 MCU(Micro Controller Unit)(121) 및 이 MCU(121)의 제어에 의해 발광하여 측정 데이터를 가시광 통신으로 전송하는 LED(122)가 구비된다. 본 발명에서 명칭되는 센서(110)는 주변 환경 데이터를 측정하는 온도 센서(110)나 습도 센서(110) 및 가스 센서(110) 등의 감지 장치 뿐만 아니라, 도어 장치나 TV, 보일러 등 사물 인터넷이 적용될 수 있는 모든 전자 장치를 포함하는 개념으로 명칭된다.
상기 중계 서버(200)는 데이터 수집부(100)와 모니터링부(300)의 가시광 통신을 중계하는 컴퓨터로서, 이 중계 서버(200)는 데이터 수집부(100)로부터 가시광 통신을 통하여 전송되는 센서 측정 데이터를 수신하는 수신모듈(210)과, 상기 수신모듈(210)을 통하여 수신된 센서 측정 데이터를 송신모듈(230)로 전달하는 제어부(220)와, 상기 제어부(220)로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신을 통해 모니터링부(300)에 전송하는 송신모듈(230)을 포함한다. 상기 수신모듈(210)에는 데이터 수집부(100)의 LED(122) 발광신호를 수신하는 LED(212)와, 상기 LED(212)를 통하여 수신되는 신호로부터 센서 측정 데이터를 인식하여 제어부(220)에 전송하는 MCU(211)가 구비된다. 또한, 송신모듈(230)에는 제어부(220)로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신 데이터로 변환하는 MCU(231) 및 이 MCU(231)의 제어에 의해 발광되어 패킷 데이터를 가시광 통신을 통해 모니터링부(300)에 전송하는 LED(232)가 구비된다. 본 발명의 실시예에서 상기 중계 서버(200)는 소형 컴퓨터인 라즈베리파이 컴퓨터로 이루어져, 이 라즈베리파이 컴퓨터에 가시광 통신을 위한 수신모듈(210) 및 송신모듈(230)을 시리얼 통신으로 연결하여 구현하였다.
상기 모니터링부(300)는 중계 서버(200)로부터 가시광 통신을 통해 전송되는 인코딩된 패킷 데이터를 디코딩하여 식별하고 이를 화면에 표시하여 사용자가 확인할 수 있도록 제공하는 단말장치로서, 본 발명의 실시예에서 상기 모니터링부(300)는 사용자가 휴대하는 안드로이드 운영체계 계열의 스마트폰으로 구현된다. 이 모니터링부(300)에는 중계 서버(200)의 LED(232) 발광신호를 촬영하는 롤링 셔터(Rolling Shutter)(320)와, 상기 롤링 셔터(320)에 의해 촬영된 영상을 분석하여 인코딩된 패킷 데이터를 인식하고 이를 디코딩하여 화면에 표시하는 모니터링 앱(310)이 구비된다. 상기 모니터링 앱(Application)(310)은 롤링 셔터(320)의 동작을 제어하고, 롤링 셔터(320)에 의해 촬영된 영상을 분석하여 인코딩된 패킷 데이터를 인식하여, 인식된 패킷 데이터를 디코딩하여 센서 측정 데이터로 식별하여 화면에 표출함으로써 사용자가 실시간으로 실내 또는 실외의 상태를 모니터링 할 수 있도록 제공한다.
도 3은 본 발명의 실시예에 따른 데이터 수집부와 중계 서버의 가시광 통신 과정 일례를 나타낸 것이다.
도 3에 도시된 바와 같이, 실내에 설치되어 주변 환경 데이터를 측정하는 데이터 수집부(100)의 센서(110)는 측정된 데이터를 MCU(121)로 전송하고, MCU(121)는 센서(110)로부터 전송되는 측정 데이터를 가시광 통신 데이터로 변환한 후 LED(122)를 발광시켜 중계 서버(200)로 전송하게 된다. 본 발명의 실시예에서 상기 센서(110)는 RS-232 통신을 통하여 MCU(121)에 측정 데이터를 전송하며, MCU(121)는 Atmel사의 Atmega328p MCU(121)로 이루어져 LED(122)의 발광 동작을 제어하게 된다.
상기 데이터 수집부(100)의 LED(122) 발광 신호를 수신하는 중계 서버(200)의 수신모듈(210)에 구비된 LED(212)는 수신된 신호를 증폭하여 MCU(211)로 전송하고, MCU(211)는 수신된 LED 신호를 원래의 센서 측정 데이터로 변환하여 시리얼 통신을 통해 연결된 제어부(220)에 전송하게 된다. 상기 제어부(220)는 MCU(211)로부터 전송되는 센서 측정 데이터를 송신모듈(230)로 전달하게 된다.
도 4는 본 발명의 실시예에 따라 중계 서버의 송신모듈에 의해 인코딩되는 패킷 데이터의 일례를 나타낸 것이다.
본 발명의 실시예에서 상기 데이터 수집부(100)를 통하여 중계 서버(200)의 수신모듈(210)로 전송되는 측정 데이터는 8비트로 이루어지는데, 중계 서버(200)의 제어부(220)는 수신모듈(210)로부터 전송된 8비트의 측정 데이터를 송신모듈(230)에 전송하게 된다. 제어부(220)로부터 측정 데이터를 전송받은 송신모듈(230)의 MCU(231)는 8비트의 측정 데이터를 맨체스터 인코딩 방식을 이용하여 16비트의 데이터로 인코딩(Encoding Data)하게 된다. 그리고 인코딩 데이터의 앞뒤에 헤더(Header) 5비트와 ETX 2비트를 추가하여 모두 23비트의 패킷으로 패킷화 시키게 된다. 본 발명의 실시예에서는 모니터링부(300)의 디코딩 과정에서 패킷 인식을 확실히 할 수 있도록 헤더를 '01110'으로 구성하였는데, 이 헤더와 ETX는 인코딩을 하지 않는다.
도 5는 본 발명의 실시예에 따른 중계 서버와 모니터링부의 가시광 통신 과정 일례를 나타낸 것이다.
도 5에 도시된 바와 같이, 중계 서버(200)의 송신모듈(230)에 구비된 MCU(231)는 제어부(220)로부터 전송되는 8비트 측정 데이터를 인코딩하고 헤더를 추가하여 패킷 데이터로 변환한 후, LED(232)를 통하여 가시광 통신으로 모니터링부(300)에 전송하게 된다. 본 발명의 실시예에서 중계 서버(200)의 송신모듈(230)에 구비된 LED(232)는 설정된 시간 단위, 예를 들면 10초 동안 동일한 패킷 데이터를 전송하고, 10초 후 MCU(231)는 제어부(220)로부터 전달받은 데이터를 인코딩된 패킷 데이터로 만들어 LED(232)를 통해 전송하게 된다. 즉, 중계 서버(200)의 제어부(220)는 실시간으로 데이터를 계속 송신모듈(230)에 전송하지만, 송신모듈(2300)의 MCU(231)는 10초마다 데이터를 갱신하여 패킷화시켜 LED(232)를 통해 모니터링부(300)로 전송하게 된다.
도 6은 본 발명의 실시예에 따른 모니터링부에서 패킷 데이터를 인식하는 과정을 나타낸 일례이다.
상기 모니터링부(300)는 사용자가 휴대하는 안드로이드 운영체제 계열의 스마트폰으로 구현되는데, 이 스마트폰에는 CMOS 센서에 채용되는 전자식 셔터인 롤링 셔터(Rolling Shutter) 메카니즘이 적용된다. 이 롤링 셔터(320)는 스마트폰의 촬영 속도보다 빠르게 변하는 물체를 촬영할 때 해당 이미지의 행(가로, Row) 값을 순차적으로 읽어들이게 되는데, 도 6에서 보이는 바와 같이 이러한 원리로 인해 촬영된 이미지가 흰색과 검은색의 밴드로 이루어지는 것을 확인할 수 있다. 이러한 롤링 셔터(320)의 기능은 모니터링 앱(310)에 의해 활성화되어 중계 서버(200)의 송신모듈(230)을 통해 전송되는 패킷 데이터를 인식하게 된다.
도 7은 본 발명의 실시예에 따른 모니터링부의 모니터링 앱 동작 과정을 나타낸 흐름도이다.
본 발명에서 모니터링부(300)인 스마트폰에 탑재되어 구동되는 모니터링 앱(310)은 데이터의 저장을 위한 저장소로 큐(Queue)와 배열(Array)을 사용하는데, 큐는 롤링 셔터(320)에 의해 촬영된 모든 프레임을 저장하고, 배열은 디코딩된 값들을 저장하는 역할을 하게 된다.
먼저, 스마트폰의 모니터링 앱(310)이 실행되어(S10), 롤링 셔터(320)에 의해 촬영된 이미지가 입력되면(S11), 입력된 이미지 영상은 스마트폰의 메인 쓰레드에 의해 캡쳐되어 NDK 레벨에서 영상 처리된 후, 큐에 저장된다(S12).
상기 스마트폰의 영상 처리에서 사용되는 NDK(Native Development Kit)는 일반적인 SDK(Software Development Kit)와 마찬가지로 앱(Application)을 개발하는데에 사용되는 프레임워크(Framework) 이지만, Java 대신에 C/C++ Language를 이용하여 개발하기 때문에 훨씬 빠른 성능을 가지는 특성이 있다. 도 8은 상기 NDK 레벨에서의 영상 처리 과정의 일례를 나타낸 것으로, 캡처된 원본 이미지는 먼저 Blurring 과정을 거치게 되는데, 이 Blurring 과정은 kernel 1x1로 수행되어 원본의 오류율을 줄여주는 역할을 하게 된다. 이후, AdaptiveThresold 메소드를 통해 이진화 과정을 거치게 되는데, 이 AdaptiveThreshold는 적응형 임계값으로 임계치를 정해주게 된다. 그리고 HoughCircle 메소드를 통하여 LED 이미지의 중심과 반지름을 구하게 된다.
상기 과정을 통하여 영상 처리된 이미지는 큐에 배열 상태로 저장되는데(S13), 큐에 이미지 데이터가 쌓이게 되면 큐에 저장된 이미지들을 하나씩 출력하여 디코딩 스레드에 의해 디코딩이 수행된다(S14). 디코딩 수행을 위해 먼저 이미지에서 디코딩 위치를 지정해야 하는데, 도 9는 이미지에 디코딩 위치를 지정한 일례를 나타낸 것이다. 디코딩 위치 지정 기준은 상기 영상 처리 과정 중 HoughCircle 메소드를 통하여 얻은 반지름과 중심위치를 이용하여 지정된다. 본 발명의 실시예에서 상기 디코딩을 위한 기준선 위치는 중심에서 반지름의 1.5배로 지정하였는데, 이는 도 9의 주황색 점선으로 표시되어 있다.
상기 과정을 통해 디코딩될 이미지의 기준선 위치가 지정되면, 지정된 기준선 위치에 있는 모든 검은색과 흰색 밴드의 픽셀 수를 계산하게 된다(S15). 즉, 도 9에도 주황색 점선이 디코딩 위치가 되는데, 이 위치에서 이미지는 검은색과 흰색 밴드로 이루어져 있으므로, 디코딩을 위해 이러한 디코딩 위치에서의 검은색 및 흰색 밴드들의 길이를 계산하여 디코딩 값인 0과 1을 구분하게 된다. 이를 위해, 상기 검은색 밴드와 흰색 밴드의 픽셀 수를 계산하여, 계산된 픽셀 수의 범위가 픽셀 수 범위에 따라 미리 설정된 문자 '0', '1', '00', '11'에 해당하는 지를 판단하게 되는데, 도 10은 각각의 밴드를 이루는 픽셀의 개수를 나타낸 것이다. 각 밴드는 픽셀로 이루어져 있으므로, 픽셀의 개수가 지정된 범위 내에 포함되면 해당 문자를 스트링(String) 변수에 추가하게 된다. 이러한 규칙에 의해 만약, 다음의 이미지 '
'을 디코딩 한다면 결과값은 '01010101010101010101'이 된다. 여기에서 0은 검은색 밴드 하나를 의미하고 1은 흰색 밴드 1개를 의미한다.
상기의 과정을 통해 디코딩된 값들은 스티링 변수에 저장되는데, 이후 스트링 변수에서 저장된 데이터를 추출하고, 추출된 데이터에 헤더로 설정한 '01110'이 존재하는지 검사를 한다(S16). 상기 헤더의 검사는 문자열 검색 알고리즘인 KMP(Knuth-Morris-Pratt algorithm) 알고리즘을 통하여 이루어지는데, 헤더가 존재한다면 이후 18개의 데이터 비트(인코딩 데이터 16비트, ETX 2비트)가 존재하는지 확인하게 된다(S17). 만약, 디코딩 결과가 '01110101010101010101010' 경우 '01110' 이후 18개의 비트수를 충족하지만, 디코딩 결과가 '10110101110110100101101'의 경우 '01110' 뒤에 있는 비트의 수가 18개가 되지 않아 패킷의 인코딩 데이터 부분과 ETX 부분을 정확히 디코딩하지 못한 것이 된다.
상기 과정을 통하여 정확하게 디코딩된 것으로 확인되면, 인코딩 데이터 블록부분을 맨체스터 디코딩 방식으로 디코딩하여 배열에 저장하고(S18), 배열이 다 차게 되면 디코딩된 값들의 최빈값들을 찾아 TextView에 출력하게 된다(S19). 본 발명의 실시예에서 상기 배열은 50의 크기로 생성되어 디코딩된 값들이 저장되는데, 중계 서버(200)의 송신모듈(230)에 구비된 LED(232)에서 보내는 데이터 패킷 자체가 10초 동안 동일한 값을 보내므로, 배열이 다 찼을 경우 디코딩된 값들 중 빈도수가 가장 많은 최빈값을 찾아서 모니터링 앱(310)의 TextView를 통하여 표출하게 된다. 도 11은 이러한 TextView를 통해 출력되는 화면의 일례를 나타낸 것이다.
이와 같이, 본 발명에 따른 가시광 통신을 이용한 IoT 모니터링 시스템은 실내의 데이터 수집부(100)를 통하여 수집되는 데이터를 가시관 통신을 통해 중계 서버(200)를 거쳐 모니터링부(300)에 전달할 수 있으며, 모니터링부(300)에서 가시광 통신을 통해 수신된 신호를 디코딩하여 데이터로 인식하여 표출함으로써 모니터링 할 수 있도록 제공된다.
한편, 상술한 실시예에서는 주로 실내를 대상으로 데이터를 가시광 통신으로 전송하는 것으로 설명하였지만, 이는 실내 뿐만 아니라 실외에서도 적용될 수 있음은 당연하다. 예를 들면, 공항이나 교통시스템 등에서 자동차의 앞뒤에 있는 LED를 통하여 교통정보를 순차적으로 전달하는 경우, 사고가 발생했을 경우 연속 추돌 사고를 방지할 수 있도록 할 수 있다.
이와 같이 본 발명은 상술한 실시예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
100 : 데이터 수집부 110 : 센서
120 : 송신모듈 121 : MCU(Micro Controller Unit)
122 : LED 200 : 중계 서버
210 : 수신모듈 220 : 제어부
230 : 송신모듈 300 : 모니터링부
310 : 모니터링 앱 320 : 롤링 셔터(Rolling Shutter)
120 : 송신모듈 121 : MCU(Micro Controller Unit)
122 : LED 200 : 중계 서버
210 : 수신모듈 220 : 제어부
230 : 송신모듈 300 : 모니터링부
310 : 모니터링 앱 320 : 롤링 셔터(Rolling Shutter)
Claims (8)
- IoT 모니터링 시스템에 있어서,
각 센서(110)들에 의해 측정되는 데이터를 수집하는 데이터 수집부(100)와;
상기 데이터 수집부(100)를 통하여 수집된 데이터를 가시광 통신을 통하여 전달받아 패킷 데이터로 인코딩하는 중계 서버(200)와;
상기 중계 서버(200)를 통하여 인코딩된 패킷 데이터를 가시광 통신을 통하여 전달받아, 인코딩된 패킷 데이터를 디코딩하여 식별하고 모니터링하는 모니터링부(300);를 포함하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 1항에 있어서,
상기 데이터 수집부(100)는
상기 센서(110)를 통하여 측정되는 데이터를 가시광 통신을 위한 데이터로 변환하는 MCU(121)와, 상기 MCU(121)의 제어에 의해 발광하여 데이터를 가시광 통신으로 전송하는 LED(122)가 구비된 송신모듈(120)을 포함하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 2항에 있어서,
상기 중계 서버(200)는
상기 데이터 수집부(100)로부터 가시광 통신을 통하여 전송되는 센서 측정 데이터를 수신하는 수신모듈(210)과, 상기 수신모듈(210)을 통하여 수신된 센서 측정 데이터를 송신모듈(230)로 전달하는 제어부(220)와, 상기 제어부(220)로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신을 통해 모니터링부(300)에 전송하는 송신모듈(230)을 포함하되,
상기 수신모듈(210)에는 데이터 수집부(100)의 LED(122) 발광신호를 수신하는 LED(212)와, 상기 LED(212)를 통하여 수신되는 신호로부터 센서 측정 데이터를 인식하여 제어부(220)에 전송하는 MCU(211)가 구비되고,
상기 송신모듈(230)에는 제어부(220)로부터 전송되는 센서 측정 데이터를 패킷 데이터로 인코딩한 후 가시광 통신 데이터로 변환하는 MCU(231)와, 상기 MCU(231)의 제어에 의해 발광되어 인코딩된 패킷 데이터를 가시광 통신을 통해 모니터링부(300)에 전송하는 LED(232)가 구비된 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 3항에 있어서,
상기 송신모듈(230)의 MCU(231)는
상기 센서 측정 데이터를 인코딩하여 인코딩 데이터를 생성하고, 상기 인코딩 데이터의 앞뒤에 헤더(Header)와 ETX를 추가하여 패킷 데이터를 생성한 후, 상기 LED(232)를 통하여 모니터링부(300)에 전송하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 4항에 있어서,
상기 송신모듈(230)의 MCU(231)는 설정된 시간 단위마다 제어부(220)로부터 전달받은 데이터를 갱신하여 패킷 데이터로 변환한 후, 상기 LED(232)를 통해 모니터링부(300)로 전송하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 4항에 있어서,
상기 모니터링부(300)는 안드로이드 운영체계 계열의 스마트폰으로 이루어져,
상기 중계 서버(200)의 LED(232)로부터 전송되는 LED 발광신호를 촬영하는 롤링 셔터(Rolling Shutter)(320)와,
상기 롤링 셔터(320)에 의해 촬영된 영상을 분석하여 인코딩된 패킷 데이터를 인식하고 이를 디코딩하여 화면에 표시하는 모니터링 앱(310)이 구비된 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 6항에 있어서,
상기 모니터링 앱(310)은
상기 롤링 셔터(320)에 의해 촬영된 이미지를 NDK(Native Development Kit)를 통하여 영상 처리하여 큐(Queue)에 저장하고,
상기 큐에 저장된 이미지를 출력하여 디코딩 기준선 위치를 지정한 후, 지정된 기준선 위치에 있는 검은색 밴드와 흰색 밴드를 구분하여 밴드 색상에 따른 디코딩 값을 생성하여 스트링 변수에 저장하며,
상기 스트링 변수에 저장된 데이터를 인출하여 중계 서버(200)에서 전송한 패킷 데이터인지 검증한 후, 검증된 패킷 데이터의 인코딩 데이터를 디코딩하여 출력하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
- 제 1항에 있어서,
상기 모니터링 앱(310)은
상기 이미지의 디코딩 기준선 위치에 있는 검은색 밴드와 흰색 밴드를 구분하여 밴드 색상에 따른 디코딩 값을 생성할 때,
상기 검은색 밴드와 흰색 밴드의 픽셀 수를 계산하여, 계산된 픽셀 수의 범위가 픽셀 수 범위에 따라 미리 설정된 문자 '0', '1', '00', '11'에 해당하는 지를 판단한 후, 픽셀 수에 해당하는 문자를 스트링 변수에 추가하여 디코딩 값을 생성하는 것을 특징으로 하는 가시광 통신을 이용한 IoT 모니터링 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160150505A KR20180053118A (ko) | 2016-11-11 | 2016-11-11 | 가시광 통신을 이용한 IoT 모니터링 시스템 |
| PCT/KR2017/012757 WO2018088854A1 (ko) | 2016-11-11 | 2017-11-10 | 가시광 통신을 이용한 iot 모니터링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160150505A KR20180053118A (ko) | 2016-11-11 | 2016-11-11 | 가시광 통신을 이용한 IoT 모니터링 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180053118A true KR20180053118A (ko) | 2018-05-21 |
Family
ID=62110795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160150505A KR20180053118A (ko) | 2016-11-11 | 2016-11-11 | 가시광 통신을 이용한 IoT 모니터링 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20180053118A (ko) |
| WO (1) | WO2018088854A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190136358A (ko) * | 2018-05-30 | 2019-12-10 | 경희대학교 산학협력단 | Ｌｅｄ 조명 시스템 기반 홈 케어 네트워크 시스템 |
| KR20210105279A (ko) * | 2020-02-18 | 2021-08-26 | 국민대학교산학협력단 | IoT 기기의 모니터링을 위한 장치 및 방법 그리고 이를 포함하는 시스템 |
| KR20220136733A (ko) * | 2021-04-01 | 2022-10-11 | 디플러스(주) | 부품 검사 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210031803A (ko) | 2019-09-11 | 2021-03-23 | 삼성전자주식회사 | 배터리 관리 장치 및 이의 동작 방법과 배터리 관리 시스템 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102158319B1 (ko) * | 2014-11-26 | 2020-09-22 | 주식회사 케이티 | 라이파이 네트워크 관리 장치 및 방법 |
| KR102325822B1 (ko) * | 2015-03-10 | 2021-11-11 | 삼성전자주식회사 | 사물 인터넷 디바이스 및 사물 인터넷 통신 방법 |
| KR102378822B1 (ko) * | 2015-04-30 | 2022-03-30 | 삼성전자주식회사 | Led 구동 장치 |
| KR101670984B1 (ko) * | 2015-09-24 | 2016-10-31 | (주)헤리트 | IoT 출력 공유장치 및 이를 이용한 컨텐츠 출력 방법 |
-
2016
- 2016-11-11 KR KR1020160150505A patent/KR20180053118A/ko not_active Application Discontinuation
-
2017
- 2017-11-10 WO PCT/KR2017/012757 patent/WO2018088854A1/ko active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190136358A (ko) * | 2018-05-30 | 2019-12-10 | 경희대학교 산학협력단 | Ｌｅｄ 조명 시스템 기반 홈 케어 네트워크 시스템 |
| KR20210105279A (ko) * | 2020-02-18 | 2021-08-26 | 국민대학교산학협력단 | IoT 기기의 모니터링을 위한 장치 및 방법 그리고 이를 포함하는 시스템 |
| KR20220136733A (ko) * | 2021-04-01 | 2022-10-11 | 디플러스(주) | 부품 검사 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018088854A1 (ko) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101200433B1 (ko) | 폐쇄회로 텔레비전 카메라를 이용한 실시간 화재 감시 시스템 및 그 방법 | |
| KR102148638B1 (ko) | 외부 환경의 변화에 따른 발열 감지 장치 | |
| KR102006933B1 (ko) | 출입문용 감시 시스템 및 이의 동작 방법 | |
| US9965835B2 (en) | Defogging images and video | |
| WO2015182752A1 (ja) | 無線通信装置及び無線通信システム | |
| KR20180053118A (ko) | 가시광 통신을 이용한 IoT 모니터링 시스템 | |
| CN108073890A (zh) | 视频序列中的动作识别 | |
| KR101731995B1 (ko) | 화재 감시용 카메라 장치 | |
| CN112257554B (zh) | 基于多光谱的森林火灾识别方法、系统、程序及存储介质 | |
| CN106878668A (zh) | 对物体的移动检测 | |
| CN111294526B (zh) | 一种摄像机防太阳灼伤处理方法及装置 | |
| KR20140127574A (ko) | 화재 오보 감소를 위한 무인 비행체를 이용한 화재 감시 시스템 | |
| KR20210097500A (ko) | 화재감지장치 및 이를 포함하는 화재감지시스템 | |
| KR20150074893A (ko) | 화재 감지 센서 및 카메라를 이용한 화재 감지 방법 및 장치 | |
| KR20150134472A (ko) | 재난현장 모니터링 시스템 | |
| CN108432232A (zh) | 安全摄像系统 | |
| CN114913663B (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
| US9401964B2 (en) | Information conveyance effect measuring system, information conveyance effect measuring method, determination device, determination method, and recording medium | |
| Fort et al. | Quasi-real time remote video surveillance unit for lorawan-based image transmission | |
| US20190280770A1 (en) | Method and apparatus for free-space optical transmission | |
| CN103108173A (zh) | 具有隐私保护的智能视频监控系统 | |
| Yuwono et al. | Design and implementation of human detection feature on surveillance embedded IP camera | |
| KR102024436B1 (ko) | Multi to one 가시광 통신을 이용한 IoT 시스템 | |
| KR20220161679A (ko) | 하이브리드 소방용 시설물 관리시스템 | |
| US12063451B2 (en) | Modification of camera functionality based on orientation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |