KR101723076B1 - 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 - Google Patents
사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 Download PDFInfo
- Publication number
- KR101723076B1 KR101723076B1 KR1020140125733A KR20140125733A KR101723076B1 KR 101723076 B1 KR101723076 B1 KR 101723076B1 KR 1020140125733 A KR1020140125733 A KR 1020140125733A KR 20140125733 A KR20140125733 A KR 20140125733A KR 101723076 B1 KR101723076 B1 KR 101723076B1
- Authority
- KR
- South Korea
- Prior art keywords
- smart device
- user
- thumb
- index finger
- emg signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 210000003811 finger Anatomy 0.000 claims abstract description 56
- 238000006073 displacement reaction Methods 0.000 claims abstract description 42
- 210000003813 thumb Anatomy 0.000 claims abstract description 40
- 238000007635 classification algorithm Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 9
- 210000003205 muscle Anatomy 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 239000000853 adhesive Substances 0.000 claims description 2
- 230000001070 adhesive effect Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 실시예는 사용자가 스마트 기기 화면을 비접촉식으로 인터페이싱하는 장치로서, 엄지와 검지 손가락 사이의 거리에 따른 근전도 신호를 측정하는 근전도 전극, 상기 근전도 신호를 스마트 기기로 전송하는 전송부, 상기 근전도 전극과 전송부를 사용자의 손에 고정시키는 부착 수단, 상기 스마트 기기로 전송된 근전도 신호와 매칭되는 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 연산부 및 상기 스마트 기기의 화면에 대해 핀치 투 줌 동작을 수행하는 제어부를 포함할 수 있다. 실시예는 사용자의 손가락의 움직임에 따른 근전도 신호를 입력 신호로 이용함으로써 보다 정밀한 동작인식이 가능하고, 거리에 큰 영향없이 비접촉식으로 사용자와 스마트 기기간의 인터페이싱을 수행할 수 있다.
Description
본 발명은 근전도 신호를 이용한 기기와의 인터페이싱 장치에 관한 것으로, 보다 구체적으로는 사용자의 손가락 움직임에 따른 근전도 신호를 활용하여 전자기기의 화면을 인터페이싱할 수 있는 장치 및 방법에 관한 것이다.
최근 통신 기술 및 디지털 전자 장비의 기술이 급속히 발전하면서 스마트폰, 태블릿 등을 포함한 전자기기의 보급이 전세계적으로 대중화되고, 스마트폰 및 태블릿 PC의 발전에 따라 다양한 장소에서 네트워크에 접속하여 업무를 처리하거나 동영상을 시청하는 것이 가능해졌다. 이러한 기기들과 인터페이싱하는 장치는 현대인의 생활에 필수 불가결한 요소가 되었다.
스마트폰 및 태블릿 PC와 같은 개인용 단말기는 휴대성이 보장되어야 하기에 전체적인 크기 및 화면 크기는 일반적인 PC나 노트북에 비해 작으며, 대부분 터치 인터페이스를 통해 장비의 조작이 이루어진다.
현재 대부분의 스마트 폰 및 태블릿 PC는 터치 인터페이스를 이용하고 있으며, 이러한 터치 인터페이스는 대부분의 상황에서 유용한 인터페이스로서의 기능을 담당하고 있다.
최근에는 전자기기에 내장된 카메라를 이용하여 사용자의 제스처를 인식하고, 영상신호처리 기술을 이용하여 단말기 화면과의 비접촉식 인터페이싱을 수행하는 방법들이 제안되고 있다. 그러나, 영상을 이용한 동작 인식 시스템을 사용한 방법들은 기기가 사용자의 움직임을 포착하기 위하여 일정한 거리유지가 필요하며, 사용자의 세밀한 움직임에 대해서는 인식이 어려운 문제점이 있다. 또한, 조명과 같은 외부 환경의 변화에 따라서도 인식의 정밀도에 영향을 미쳐 사용자의 의도대로 전자기기의 인터페이싱을 수행하기 어려운 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 사용자가 스마트폰과 같은 스마트 기기의 디스플레이 화면을 제어하는데 있어서, 화면과의 터치없이 비접촉식으로 디스플레이의 핀치 투 줌과 같은 동작을 수행할 수 있는 사용자와 스마트 기기간의 인터페이싱 장치 및 인터페이싱 방법을 제공하는데 그 목적이 있다.
본 발명의 실시예는 사용자가 스마트 기기 화면을 비접촉식으로 인터페이싱하는 장치로서, 엄지와 검지 손가락 사이의 거리에 따른 근전도 신호를 측정하는 근전도 전극; 상기 근전도 신호를 스마트 기기로 전송하는 전송부; 상기 근전도 전극과 전송부를 사용자의 손에 고정시키는 부착 수단; 상기 스마트 기기로 전송된 근전도 신호와 매칭되는 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 연산부; 및 상기 변위값의 변화에 따라 상기 스마트 기기의 화면에 대해 핀치 투 줌 동작을 수행하는 제어부를 포함할 수 있다.
사용자가 스마트 기기 화면을 비접촉식으로 인터페이싱하는 방법으로서, 사용자의 엄지와 검지 손가락 사이의 근육에서 발생되는 근전도 신호를 측정하는 단계; 측정된 근전도 신호를 스마트 기기로 전송하는 단계; 스마트 기기에 내장된 분류 알고리즘을 통해 근전도 신호에 따른 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 단계; 상기 변위값에 따라 스마트 기기 화면을 확대 또는 축소하는 핀치 투 줌 동작을 수행하는 단계를 포함할 수 있다.
본 발명에 따르면, 사용자의 손가락의 움직임에 따른 근전도 신호를 입력 신호로 이용함으로써 보다 정밀한 동작인식이 가능하고, 기기와 사용자간의 거리에 큰 영향없이 비접촉식으로 인터페이싱을 수행할 수 있다.
본 발명에 따르면, 사용자의 동작을 스마트 기기에 인터페이싱함에 있어서 조명과 같은 외부환경의 변화에 상관없이 일관된 인식 정확도를 나타내므로 사용자의 의도대로 기기의 인터페이싱을 수행할 수 있다.
도 1은 실시예에 따른 인터페이싱 장치를 나타낸 도면
도 2는 실시예에 따른 인터페이싱 장치 중 부착 수단을 여러 방향에서 나타낸 도면
도 3은 실시예에 따른 인터페이싱 장치와 스마트 기기와의 인터페이싱 시스템을 개략적으로 나타낸 도면
도 4는 실시예에 따른 인터페이싱 장치로 핀치 투 줌 동작을 수행하는 모습을 나타낸 도면
도 5는 손가락 사이 거리에 따른 근전도 신호의 파워 스펙트럼 밀도를 나타낸 그래프
도 6은 실시예에 따른 다중(multi-class) 인식 분류 알고리즘에서 훈련 단계를 나타낸 도면
도 7은 실시예에 따른 다중(multi-class) 인식 분류 알고리즘에서 테스트 단계를 나타낸 도면
도 8은 실시예에 따른 근전도 신호를 이용한 인터페이싱 방법을 나타낸 흐름도
도 2는 실시예에 따른 인터페이싱 장치 중 부착 수단을 여러 방향에서 나타낸 도면
도 3은 실시예에 따른 인터페이싱 장치와 스마트 기기와의 인터페이싱 시스템을 개략적으로 나타낸 도면
도 4는 실시예에 따른 인터페이싱 장치로 핀치 투 줌 동작을 수행하는 모습을 나타낸 도면
도 5는 손가락 사이 거리에 따른 근전도 신호의 파워 스펙트럼 밀도를 나타낸 그래프
도 6은 실시예에 따른 다중(multi-class) 인식 분류 알고리즘에서 훈련 단계를 나타낸 도면
도 7은 실시예에 따른 다중(multi-class) 인식 분류 알고리즘에서 테스트 단계를 나타낸 도면
도 8은 실시예에 따른 근전도 신호를 이용한 인터페이싱 방법을 나타낸 흐름도
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명의 실시예에 의해 제한되거나 한정되는 것은 아니다. 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명료하게 하기 위해 생략될 수 있다.
근전도(Electromyogram)는 근수축 정도를 측정할 수 있는 전기생리학적 신호로서, 인간과 기계가 상호작용하는 분야에서 사용자의 동작 의도를 추출하기 위해 사용되는 대표적인 생체 신호이다. 본 실시예에서는 근전도 신호를 통해 동작의 여부만을 판별하는 것이 아니라, 두 손가락 사이의 근전도 신호를 추출하여 두 손가락 사이의 변위를 추정하고, 이를 통해 스마트폰, 태블릿 PC 등의 전자기기 등과 인터페이싱 할 수 있는 장치 및 방법에 대해 제안한다. 실시예에서는 스마트폰과 같은 스마트 기기를 예시로 하여 설명하지만, 이에 한정되지는 않는다.
실시예는 사용자와 기기와의 인터페이싱 방식 중에서 멀티 터치 기능 중 대표적인 핀치 투 줌(pinch-to-zoom) 동작을 인식할 수 있는 시스템에 관한 것이다. 핀치 투 줌은 화면에 터치된 엄지와 검지 손가락 사이의 거리(d)를 추정하여 추정된 거리에 따라 화면 또는 이미지의 크기를 조절하는 기능으로서, 본 실시예에서는 두 손가락 사이에서 추출되는 근전도 신호를 이용하여 화면을 터치하지 않고 사용자의 의도대로 스마트 전자기기를 제어할 수 있는 인터페이스를 제안한다.
스마트 기기와의 인터페이싱에 가장 접촉 빈도가 많으며, 가장 많이 사용되는 손가락인 검지와 엄지의 수축과 관련된 근육은 First dorsal interosseous muscle로 명명되어 있다. 실시예에서는 엄지와 검지 사이에서 발생되는 근전도 신호를 이용하기 위해 상기 근육에 해당하는 위치에 근전도 전극을 부착하여 근전도 신호를 추출하였다.
도 1은 실시예에 따른 인터페이싱 장치를 나타낸 도면이다.
도 1을 참조하면, 실시예의 인터페이싱 장치는 사용자의 근전도 신호를 검출하는 근전도 전극(110), 검출된 근전도 신호를 전송하기 위한 전송부(130) 및 상기 전송부(130)를 사용자의 손에 고정하기 위한 부착 수단(120)으로 구성될 수 있다.
근전도 전극(110)은 표면 전극으로서 피부 접촉면을 통해 피부의 전류를 감지하는 검출표면으로 구성되어 있고, 피부에 부착되는 부분이 작은 접시 모양으로 형성된다. 근전도 신호는 근섬유막 양단의 이온의 흐름에 따라 발생되는 전류로서 조직을 통해 전파되어 검출표면에 도달하게 된다. 실시예에서 근전도 전극(110)은 사용자의 엄지와 검지 손가락 사이의 변위에 따른 근전도 신호를 발생시키는 근육이 위치하는 영역에 부착될 수 있다.
전송부(130)는 상기 근전도 전극(110)과 연결되며, 상기 부착 수단(120) 상면에 고정되도록 부착될 수 있다.
전송부(130)는 근전도 전극(110)에서 추출된 근전도 신호를 받아 이를 사용자의 스마트 기기로 전송하기 위한 블루투스 모듈(132)과, 상기 블루투스 모듈(132)의 전송 동작을 제어하기 위한 마이크로 컨트롤 유닛(MCU, 131)을 포함할 수 있다.
도 2는 실시예에 따른 인터페이싱 장치 중 부착 수단을 여러 방향에서 나타낸 도면이다.
부착 수단(120)은 주로 사용자의 엄지 손가락에 끼워지면서, 상기 근전도 전극(110)에서 추출된 근전도 신호를 제어하는 전송부(130)가 부착되기 위한 부재이다.
부착 수단(120)을 측면에서 바라본 (a)와 상면에서 바라본 (c)를 참조하면, 부착 수단(120)은 엄지 손가락에 끼워지면서 신축성 재질로 형성되는 고리형의 착용부(121), 상기 착용부(121)와 연결되고 상기 근전도 전극(110) 상면에 배치되는 원판형의 지지부(122), 상기 지지부(122) 상면에는 전송부(130)를 부착하기 위한 접착수단이 더 마련될 수 있다.
실시예에서는 사용자의 편의를 위해 착용부(121)가 사용자의 엄지 손가락에 착용되고, 지지부(122)가 사용자의 엄지와 검지 손가락 사이에 위치되도록 설계되었으나, 이에 한정되지는 않는다.
그리고, 상기 지지부(122)는 전송부(130)의 동작을 제어하기 위한 수단이 구비될 수 있다. 상기 지지부(122)의 측면에는 근전도 전극 및 제어부에 전원을 충전하거나, 제어부의 펌웨어를 업그레이드하기 위한 USB 포트 단자(123)가 마련될 수 있고, 상기 지지부(122)의 일측에는 전원 표시를 위한 상태 표시등(124) 및 스마트 기기와의 블루투스 인식을 식별하는 페어링 버튼(125)이 구비될 수 있다.
도 3은 실시예에 따른 인터페이싱 장치와 스마트 기기와의 인터페이싱 시스템을 개략적으로 나타낸 도면이다. 도 3을 참조하면, 실시예의 인터페이싱 장치는 근전도 전극(110), 부착 수단(120) 및 전송부(130)로 구성될 수 있고, 스마트 기기(140)는 연산부(141)와 제어부(142)로 구성될 수 있다.
사용자의 손가락 움직임에 따른 근전도 신호가 근전도 전극(110)에서 얻어지면, 상기 근전도 신호는 전송부(130)에 구비된 블루투스 모듈(132)에 의해 스마트 기기(140)에 구비된 연산부(141)로 전송된다. 상기 연산부(141)에서는 다중 인식 분류 알고리즘을 통해 전송된 근전도 신호에 따라 사용자의 손가락 사이의 변위값을 판별하는 과정을 수행한다. 제어부(142)는 연산부(141)에서 도출된 변위값에 따라 스마트 기기 디스플레이의 핀치 투 줌 동작을 실시간으로 수행할 수 있다.
본 실시예에서 상기 연산부(141)는 사용자의 스마트 기기 내부에 내장되어 있는 것으로 설명하지만, 이에 한정되지 않는다. 예를 들면, 상기 연산부(141)는 PC 또는 외부장치에 마련될 수 있으며, 상기 PC에 마련된 알고리즘의 수행에 따라 변위값을 도출한 후 스마트 기기로 전송하여, 스마트 기기의 핀치 투 줌 동작에 대한 제어를 수행할 수도 있다.
도 4는 실시예에 따른 인터페이싱 장치로 핀치 투 줌 동작을 수행하는 모습을 나타낸 도면이다.
도 4를 참조하면, 실시예에 따른 인터페이싱 장치는 사용자의 엄지와 검지 사이 근육(First dorsal interosseous)에 부착되는 근전도 전극(110)과 근전도 전극에서 얻어지는 근전도 신호 전송하는 전송부가 부착 수단에 의해 사용자의 손에 부착된 형태로 구성될 수 있고, 전송부는 스마트 기기에 내장된 연산부에 실시간으로 근전도 신호를 전송하고, 연산부는 전송된 근전도 신호에 따른 사용자의 의도를 검출하기 위한 과정을 수행한다.
사용자의 엄지와 검지 손가락 사이의 거리(d)가 변화함에 따라 근전도 신호의 파워가 변경되며, 실시예는 변경된 근전도 신호의 파워값에 따라 손가락 사이의 거리를 예측하고, 실시간으로 스마트 기기의 핀치 투 줌 동작을 수행할 수 있다.
도 5는 손가락 사이 거리에 따른 근전도 신호의 파워 스펙트럼 밀도를 나타낸 그래프이다.
실시예에서는 엄지와 검지 손가락 사이에 근전도 전극을 부착한 상태에서, 두 손가락 사이의 변위를 네가지 경우(0㎝, 4㎝, 8㎝, 12㎝)로 설정하고, 이 경우에 대해 바꾸어가며 각 1초씩 80번을 측정하여 320개의 데이터를 획득하였다.
도 5를 참조하면, 상기 네가지의 두 손가락 사이의 변위에 대해 최대 차이가 나는 주파수 구간을 도출하기 위해 파워 스펙트럼 밀도를 계산한 것이며, 상기 파워 스펙트럼 밀도의 특정 주파수 구간에서는 각각의 변위에 대해 근전도 신호의 파워가 가장 크게 차이가 나는 구간이 있음을 알 수 있다.
상기 그래프의 80~120㎐, 180~200㎐ 구간에서는 각각의 변위에 대해 근전도 신호의 차이값이 가장 크게 나타나며, 각각의 변위에 해당하는 파워값이 서로 중첩(overlap)되는 구간이 발생하지 않음을 알 수 있다. 이는, 스마트 기기에서 사용되는 핀치 투 줌 동작의 수행시 엄지와 검지의 거리에 따라 근전도 신호의 파워가 다르게 나타나며, 특정 주파수 구간에서는 엄지와 검지의 거리 차이를 구분할 수 있음을 의미하는 것이다.
따라서, 엄지와 검지 손가락 사이의 거리에 따른 근전도 신호를 분류하기 위해 분류기를 구성하고, 엄지와 검지 손가락 거리 차이가 구분되는 특정 주파수 구간의 파워를 분류기의 입력으로 설정하여, 조합 가능한 경우의 모델을 훈련시키는 과정을 수행하여 테스트 단계에서 최종적으로 선택되는 분류값을 도출할 수 있다.
이어서는, 엄지와 검지 손가락 사이의 거리 변위에 의해 발생되는 근전도 신호를 분류하여, 최종적으로 핀치 투 줌을 수행하는 방법에 대해 살펴본다. 실시예에서는 엄지와 검지 손가락 사이의 거리 변위를 도출하기 위해 분류 알고리즘을 적용하였으며, 구체적으로 서포트 벡터 머신(Support Vector Machine, SVM)을 적용할 수 있다. 실시예의 분류 과정은 훈련 단계와 테스트 단계를 포함할 수 있다.
도 6은 실시예에 따른 다중 인식 분류 알고리즘에서 훈련 단계를 나타낸 도면이다. 본 실시예에서 사용된 서포트 벡터 머신은 기본적으로 이 분류 분류기이며, One-versus-One(OvO)방식을 채택하여 다중 부류의 분류를 수행할 수 있도록 하였다.
도 6을 참조하면, 훈련 단계(Training phase)에서 실시예의 분류 알고리즘은 엄지와 검지 손가락의 거리 변위를 4개의 분류(0㎝, 4㎝, 8㎝, 12㎝)라고 가정하였을때, 총 6개(0㎝ vs 4㎝, 0㎝ vs 8㎝, 0㎝ vs 12㎝, 4㎝ vs 8㎝, 4㎝ vs 12㎝, 8㎝ vs 12㎝)의 분류기를 구성할 수 있다. 즉, n개의 분류에 대해서 nC2개의 분류기를 구성할 수 있다.
훈련 단계에서는 각각의 변위(0㎝, 4㎝, 8㎝, 12㎝)에 해당하는 근전도 신호 다수개를 획득하여 6개(0㎝ vs 4㎝, 0㎝ vs 8㎝, 0㎝ vs 12㎝, 4㎝ vs 8㎝, 4㎝ vs 12㎝, 8㎝ vs 12㎝) 분류기 각각을 학습시키는 과정을 포함할 수 있다.
도 7은 실시예에 따른 분류 알고리즘에서 테스트 단계를 나타낸 도면이다. 도 7을 참조하면, 테스트 단계(Testing phase)에서는 획득된 근전도 신호를 상기 6개의 분류기의 입력값으로 하여, 6개의 분류기 중에서 가장 많이 도출된 변위값을 테스트 단계의 변위값으로 추정한다.
예를 들면, 4㎝에 해당하는 근전도 신호를 6개의 분류기 입력값으로 넣은 경우, 6개의 분류기는 각각 4㎝, 0㎝, 0㎝, 4㎝, 4㎝, 8㎝ 의 결과값을 도출하게 된다. 4㎝가 상기 6개의 분류기 중에서 가장 많이 선택된 다수의 의견(major opinion)이므로, 해당 알고리즘은 획득된 근전도 신호가 4㎝에 해당하는 것이라고 판단하게 된다.
상기와 같은 분류 방법에 따라서, 전송되는 근전도 신호에 의해 도출된 변위값을 10-fold-cross validation을 통해 분류 정확도를 추정하였으며 네가지의 분류(0㎝, 4㎝, 8㎝, 12㎝)에 대해서 1초 이내 길이의 근전도 신호들을 사용하여 93.51±4.67%의 분류 정확도를 나타내었다. 이는, 근전도 신호를 통해서 엄지와 검지 사이의 거리의 변위값을 실시간으로 파악할 수 있다는 것을 의미한다.
실시예에서는 단일 전극을 사용하여 손가락 사이의 거리를 네가지로 분류하는 경우를 설명하였으나, 상기 전극을 복수개로 구성한 다중 채널을 적용하여 더 많은 분류기를 제공하여 변위값을 정밀하게 나누는 실시예 또한 적용될 수 있다.
도 8은 실시예에 따른 근전도 신호를 이용한 인터페이싱 방법을 나타낸 흐름도이다. 도 8을 참조하면, 실시예의 인터페이싱 방법은 측정 단계(S1), 전송 단계(S2), 예측 단계(S3), 제어 단계(S4)로 구성될 수 있다.
측정 단계(S1)에서는 사용자의 엄지와 검지 손가락 사이의 근육에서 추출되는 전기적 신호인 표면 근전도를 실시간으로 측정하는 과정이 수행될 수 있다.
전송 단계(S2)에서는 실시간으로 측정되는 근전도 신호를 블루투스 모듈과 같은 무선통신 기술을 통해, 사용자의 스마트 기기로 전송하는 과정을 포함할 수 있다.
예측 단계(S3)에서는 스마트 기기로 전송된 근전도 신호를 다중 인식 분류 알고리즘을 통해 분류하는 과정이 수행될 수 있다. 여기서, 다중 인식 분류 알고리즘은 도 6 및 도 7에서 설명된 바와 같이 서포트 벡터 머신(SVM)이 활용될 수 있으며, 서포트 벡터 머신의 분류과정에 따라 전송된 근전도 신호에 해당하는 손가락 사이의 변위값이 결정될 수 있다.
제어 단계(S4)에서는 결정된 변위값에 따라서 스마트 기기의 동작을 제어하는 과정을 포함할 수 있다. 실시간으로 전송되는 근전도 신호에 따라 변위값이 실시간으로 변동하며 상기 변위값은 사용자의 의도를 포함하고 있는 결과값이다. 즉, 상기 변위값을 실시간으로 제어함에 따라 스마트 기기의 이미지 또는 화면을 확대 또는 축소하는 핀치 투 줌 동작을 실시간으로 수행할 수 있다.
상술한 바와 같이 본 발명은 사용자의 손가락의 움직임에 따른 근전도 신호를 입력 신호로 이용함으로써 보다 정밀한 동작인식이 가능하고, 스마트 기기와 사용자간의 거리에 큰 영향없이 스마트 기기의 핀치 투 줌과 같은 인터페이싱을 수행할 수 있다.
또한, 스마트 기기와의 인터페이싱에 있어서 조명과 같은 외부환경의 변화에 상관없이 일관된 인식 정확도를 나타내므로 사용자의 의도대로 기기의 인터페이싱을 수행할 수 있다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (13)
- 사용자가 스마트 기기 화면을 비접촉식으로 인터페이싱하는 장치로서,
엄지와 검지 손가락 사이의 거리에 따른 근전도 신호를 측정하는 근전도 전극;
상기 근전도 신호를 상기 스마트 기기로 전송하는 전송부;
상기 근전도 전극과 전송부를 사용자의 손에 고정시키는 부착 수단;
상기 스마트 기기로 전송된 근전도 신호와 매칭되는 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 연산부; 및
상기 변위값의 변화에 따라 상기 스마트 기기의 화면에 대해 핀치 투 줌 동작을 수행하는 제어부를 포함하고,
상기 연산부는 상기 전송부에서 전송되는 근전도 신호에 대해 서포트 벡터 머신을 사용한 다중 인식 분류 알고리즘의 분류기를 구성하고, 상기 서포트 벡터 머신은 손가락 사이의 거리를 다수개로 분류하고 이에 대한 One-versus-One 방식의 분류기를 구성하며, 입력되는 근전도 신호에 대한 분류기를 선택하여 최종적인 손가락 사이의 변위값을 결정하는 것을 특징으로 하는 스마트 기기의 인터페이싱 장치. - 제 1항에 있어서,
상기 근전도 전극은 사용자의 엄지와 검지 손가락의 거리에 따른 근전도 신호를 발생하는 근육인 First dorsal interosseous에 해당하는 영역에 부착되는 스마트 기기의 인터페이싱 장치. - 제 1항에 있어서,
상기 전송부는 상기 근전도 전극에서 발생되는 근전도 신호를 무선으로 전송하는 블루투스 모듈과, 상기 블루투스 모듈의 전송을 실시간으로 제어하는 마이크로 컨트롤 유닛(MCU)을 포함하는 스마트 기기의 인터페이싱 장치. - 제 1항에 있어서,
상기 제어부는 사용자의 엄지 및 검지 손가락의 거리에 해당하는 변위값을 설정하여, 상기 변위값에 따라 상기 스마트 기기의 화면 또는 이미지를 확대 또는 축소하는 핀치 투 줌 동작을 수행하는 스마트 기기의 인터페이싱 장치. - 삭제
- 삭제
- 제 1항에 있어서,
상기 분류기의 입력값은 사용자의 엄지 및 검지 손가락 사이의 거리에 따른 근전도 신호의 파워가 파워 스펙트럼 상에서 중첩되지 않으며, 각각의 변위값을 구분할 수 있는 구간에 해당되는 80~120㎐, 180~200㎐ 영역의 주파수 값으로 설정되는 스마트 기기의 인터페이싱 장치. - 삭제
- 제 1항에 있어서,
상기 부착 수단은 사용자의 엄지손가락에 끼워지는 착용부, 상기 착용부와 연결되며 전송부를 지지하는 지지부, 상기 지지부 상에 전송부를 접착하기 위한 접착수단을 포함하는 스마트 기기의 인터페이싱 장치. - 제 9항에 있어서,
상기 지지부는 상기 전송부와 전기적으로 연결되며, 상기 지지부의 측면에는 상기 전송부의 펌웨어 업그레이드 또는 전력을 충전하기 위한 USB 포트 단자가 마련되고, 상기 지지부의 일측에는 전원 표시를 위한 상태 표시등 및 스마트 기기와의 블루투스 인식을 식별하는 페어링 버튼이 구비되는 스마트 기기의 인터페이싱 장치. - 사용자가 스마트 기기 화면을 비접촉식으로 인터페이싱하는 방법으로서,
사용자의 엄지와 검지 손가락 사이의 근육에서 발생되는 근전도 신호를 측정하는 단계;
측정된 근전도 신호를 스마트 기기로 전송하는 단계;
상기 스마트 기기에 내장된 다중 인식 분류 알고리즘을 통해 근전도 신호에 따른 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 단계;
상기 변위값에 따라 스마트 기기 화면을 확대 또는 축소하는 핀치 투 줌 동작을 수행하는 단계를 포함하고,
상기 스마트 기기에 내장된 다중 인식 분류 알고리즘을 통해 근전도 신호에 따른 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 단계는,
상기 스마트 기기로 전송되는 근전도 신호에 대해 서포트 벡터 머신을 사용한 분류기를 통해 손가락 사이의 거리를 다수개로 분류하는 단계 및 이에 대한 One-versus-One 방식의 분류기를 구성하고, 입력되는 근전도 신호에 대한 분류기를 선택하여 최종적인 손가락 사이의 변위값을 결정하는 단계를 포함하는 스마트 기기의 인터페이싱 방법. - 제 11항에 있어서,
상기 스마트 기기에 내장된 분류 알고리즘을 통해 근전도 신호에 따른 사용자의 엄지와 검지 손가락 사이의 변위값을 도출하는 단계는,
엄지와 검지 손가락 사이의 거리를 복수개의 모델들로 분류하여, 상기 모델들 간의 조합에 따른 분류기를 구성하고, 엄지와 검지 손가락 사이의 변위값에 따른 근전도 신호가 매칭되도록 분류기를 훈련하는 단계와,
임의의 근전도 신호를 훈련된 분류기의 입력값으로 설정한 후, 상기 분류기 중에서 다수개로 선택된 결과값을 최종적인 엄지와 검지 손가락 사이의 변위값으로 결정하는 단계를 포함하는 스마트 기기의 인터페이싱 방법. - 제 11항에 있어서,
상기 근전도 신호는 실시간으로 스마트 기기로 전송되고, 전송된 근전도 신호는 실시간으로 분류되어 엄지와 검지 손가락 사이의 변위값이 설정되어, 상기 변위값에 따라 상기 스마트 기기 화면에 대한 핀치 투 줌 동작이 실시간으로 수행되는 스마트 기기의 인터페이싱 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125733A KR101723076B1 (ko) | 2014-09-22 | 2014-09-22 | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125733A KR101723076B1 (ko) | 2014-09-22 | 2014-09-22 | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160147755A Division KR101771927B1 (ko) | 2016-11-07 | 2016-11-07 | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160034598A KR20160034598A (ko) | 2016-03-30 |
| KR101723076B1 true KR101723076B1 (ko) | 2017-04-06 |
Family
ID=55660226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140125733A Expired - Fee Related KR101723076B1 (ko) | 2014-09-22 | 2014-09-22 | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101723076B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933270B (zh) * | 2019-04-15 | 2024-06-14 | 华南理工大学 | 一种基于手指开关的人机交互系统及其交互方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101234111B1 (ko) * | 2009-10-13 | 2013-02-19 | 한국전자통신연구원 | 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100994408B1 (ko) * | 2008-11-19 | 2010-11-16 | 한국과학기술원 | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 |
| KR101302138B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
-
2014
- 2014-09-22 KR KR1020140125733A patent/KR101723076B1/ko not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101234111B1 (ko) * | 2009-10-13 | 2013-02-19 | 한국전자통신연구원 | 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160034598A (ko) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
| US11422623B2 (en) | Wrist worn computing device control systems and methods | |
| Truong et al. | Capband: Battery-free successive capacitance sensing wristband for hand gesture recognition | |
| US9367139B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
| US9389694B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
| JP2021072136A (ja) | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 | |
| US9483123B2 (en) | Systems, articles, and methods for gesture identification in wearable electromyography devices | |
| CN109690455A (zh) | 具有传感器和触觉部件的指戴式装置 | |
| US9427158B2 (en) | Wearable mobile device and method of measuring biological signal with the same | |
| US20170215768A1 (en) | Wearable controller for wrist | |
| JP6344032B2 (ja) | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム | |
| EP2839774B1 (en) | Biosignal interface apparatus and operation method of biosignal interface apparatus | |
| US11921471B2 (en) | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source | |
| US10120444B2 (en) | Wearable device | |
| CN105022471A (zh) | 基于压力传感器阵列进行手势识别的装置与方法 | |
| EP2691954B1 (en) | Method and apparatus for detecting facial changes | |
| US20230073303A1 (en) | Wearable devices for sensing neuromuscular signals using a small number of sensor pairs, and methods of manufacturing the wearable devices | |
| US12056284B2 (en) | Method and system for gesture recognition | |
| CN103631368B (zh) | 检测装置、检测方法以及电子设备 | |
| CN105511750A (zh) | 一种切换方法及电子设备 | |
| US10884504B2 (en) | Wearable wrist device and method of detecting a physical change in the epidermis and wirelessly inputting sensor information using the same | |
| KR20190098806A (ko) | 동작 인식을 위한 지능형 장치 및 그 제어 방법 | |
| US11705748B2 (en) | Wearable gesture recognition device for medical screening and associated operation method and system | |
| KR101771927B1 (ko) | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 | |
| KR101723076B1 (ko) | 사용자와 스마트 기기간의 근전도 신호를 이용한 비접촉 인터페이싱 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140922 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20151202 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20140922 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160805 Patent event code: PE09021S01D |
|
| A107 | Divisional application of patent | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20161107 Patent event code: PA01071R01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170327 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170329 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170330 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200102 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210104 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220215 Start annual number: 6 End annual number: 6 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20240109 |