KR102156570B1 - 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 소리 데이터를 분석하여 판단되는 자연어 또는 비자연어에 대해 제어 파라미터 및 피드백을 제공하는 스마트 히어링 디바이스에 관한 것으로, 일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신하는 수신부, 상기 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단하는 판단부, 자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭하는 처리부 및 상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공하는 제공부를 포함한다.

Description

자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법{SMART HEARING DEVICE FOR DISTINGUISHING NON-NATURAL LANGUAGE OR NATURAL LANGUAGE AND THE METHOD THEREOF, AND ARTIFICIAL INTELLIGENCE HEARING SYSTEM}

본 발명은 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 소리 데이터를 분석하여 판단되는 자연어 또는 비자연어에 대해 제어 파라미터 및 피드백을 제공하는 기술에 관한 것이다.

최근에는 의공학적 기술의 도약적인 발전에 의하여 이전에 보청기를 착용하여 큰 도움을 받지 못하던 환자들이 적합한 보청기를 선정하여 착용함으로써, 훌륭한 청력 개선을 도모할 수 있게 되었다.

보청기는 의료기기 중에도, 늘 몸에 부착하여 사용하는 첨단 의료기기 이다. 보청기는 청력의 변화에 따라 꾸준히 관리를 받아야 하고, 습기와 귀 내 이물질로 인해 손상되는 부분에 대한 A/S를 받아야 한다. 따라서, 보청기는 의공학적 기술 중에서도 가장 중요한 기술 중의 하나라고 여겨진다.

기존의 보청기는 나팔형의 집음기의 형태였으나, 현재는 보통 음의 증폭을 돕는 전기보청기의 형태로 사용된다. 또한, 보청기는 유돌부에 장착하는 골도식이 있으나 대개는 기도식의 구조이며, 음파를 마이크로폰으로 받아 전기 진동으로 바꾸고, 이것을 확대하여 이어폰으로 다시 음파를 변환하여 귀에 들리게 한다.

최근에는 보다 강력한 보청기 전용 프로세서에 대한 연구가 진행되고 있다. 보청기 전용 프로세서는 기존의 프로세서에 비해 2배 이상 빨라진 처리 속도와 메모리를 탑재하고, 진화된 나노 기술로 작게 구성된 칩과 부품들로 구성된다.

다만, 기존의 보청기에 대한 기술은 난청인(이하에서는 ‘사용자’로 칭함)의 청력 데이터를 기반으로 설정된 것이므로, 사용자의 실시간 주변 소음에 대한 데이터를 적용하지 못한다는 한계가 존재하였다.

또한, 기존의 보청기에 대한 기술은 단순히 음역대 분류를 통해 사람의 목소리를 추측하고 외부 소음과 사람의 목소리를 구분하고 있으나, 이는 성능이 좋지 못하며 자연어와 비자연어를 구분하지 못한다. 또한, 인간의 목소리 음역대 구간은 대략 500Hz 내지 5000Hz 정도로 범위가 상당히 넓으나, 기존의 보청기에 대한 기술은 목소리의 특정 음역대 구간이 외부 소음으로 인식되어 목소리 부각 기능과 노이즈 제거 기능을 잘 구현하지 못한다는 한계가 존재하였다.

본 발명의 목적은 자연어와 비자연어의 구분을 통해 사용자의 목소리와 소음을 판별하여 서로 다른 파라미터와 피드백으로 보다 효과적인 보청 성능을 제공하고자 한다.

또한, 본 발명의 목적은 사용자의 우측 및 좌측 각각에 착용되는 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스를 이용하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공하고자 한다.

본 발명의 실시예에 따른 스마트 히어링 디바이스는 일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신하는 수신부, 상기 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단하는 판단부, 자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭하는 처리부 및 상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공하는 제공부를 포함한다.

또한, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 상기 매칭된 유사 데이터에 따른 상기 특정된 자연어 또는 비자연어에 대한 응답으로 피드백을 제공하는 피드백 전달부를 더 포함할 수 있다.

상기 수신부는 서로 다른 위치에 형성된 상기 제1 마이크 및 상기 제2 마이크로부터 상기 음성 신호 및 상기 소음 신호를 감지하며, 상기 음성 신호 및 상기 소음 신호를 디지털로 전환하여 상기 소리 데이터로 수신할 수 있다.

상기 판단부는 디지털로 전환된 상기 소리 데이터의 디지털 흐름과 기 저장된 시간에 대한 음량 그래프 및 주파수에 대한 음량 그래프의 그래프 패턴을 비교하며, 그래프의 값들에서 특정 패턴을 나타내는 자연어 또는 비자연어를 판단할 수 있다.

상기 처리부는 상기 데이터베이스를 기반으로, 자연어로 판단된 상기 소리 데이터에 유사한 단어 및 문장의 유사 데이터를 매칭하거나, 비자연어로 판단된 상기 소리 데이터에 유사한 환경 소음, 노이즈(잡음) 및 새로운 소리의 유사 데이터를 매칭할 수 있다.

상기 제공부는 사용자의 청력 데이터와 상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제어 파라미터를 설정하여 사용자 맞춤형으로 일측의 소리를 제공할 수 있다.

상기 제공부는 상기 제1 마이크 및 상기 제2 마이크로부터 수신되는 디지털 신호의 상기 소리 데이터에 상기 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 일측의 소리를 제공할 수 있다.

상기 피드백 전달부는 상기 처리부를 통해 자연어 또는 비자연어로 판단된 상기 소리 데이터에 유사한 단어 및 문장의 상기 유사 데이터가 매칭되는 경우, 상기 유사 데이터에 대한 응답으로 단어 및 문장의 피드백을 제공할 수 있다.

상기 피드백 전달부는 인공지능(Artificial Intelligence; AI)에 기반하여 상기 소리 데이터에 대한 유사한 단어 및 문장의 상기 유사 데이터가 매칭되는 경우, 상기 사용자의 목소리로 인한 질문에 대한 응답으로 단어 및 문장의 피드백을 추출하여 음성 메시지로 전달할 수 있다.

본 발명의 실시예에 따른 인공지능 히어링 시스템은 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 유사 데이터의 매칭으로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공하는 제1 스마트 히어링 디바이스, 타측에 형성된 제3 마이크 및 제4 마이크롤부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 상기 유사 데이터의 매칭으로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공하는 제2 스마트 히어링 디바이스 및 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스를 제어하는 모바일 디바이스를 포함한다.

상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자의 입 부근에 위치하는 상기 제1 마이크 및 상기 제3 마이크를 포함하고, 상기 사용자의 입을 기준으로 이격거리에 위치된 상기 제2 마이크 및 상기 제4 마이크를 포함할 수 있다.

상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자에게 맞춤형 일측의 소리 및 타측의 소리를 각기 제공하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공할 수 있다.

상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 상기 제1 제어 파라미터 및 상기 제2 파라미터를 설정할 수 있다.

상기 모바일 디바이스는 사용자의 선택 입력에 따라 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각의 전원 온(On)/오프(Off), 신호 수집 및 제어 파라미터 설정 중 어느 하나 이상을 제어할 수 있다.

본 발명의 실시예에 따른 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스의 동작 방법에 있어서, 일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신하는 단계, 상기 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단하는 단계, 자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭하는 단계 및 상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공하는 단계를 포함한다.

또한, 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법은 상기 매칭된 유사 데이터에 따른 상기 특정된 자연어 또는 비자연어에 대한 응답으로 피드백을 제공하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 자연어와 비자연어의 구분을 통해 사용자의 목소리와 소음을 판별하여 서로 다른 파라미터와 피드백으로 보다 효과적인 보청 성능을 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 사용자의 우측 및 좌측 각각에 착용되는 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스를 이용하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화에서의 맞춤형 보청 서비스를 제공하고, 그에 따른 보청기 사용의 편의성을 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법을 흐름도로 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 자연어 또는 비자연어를 구분하여 피드백을 제공하는 예를 설명하기 위해 도시한 것이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 실시 예를 도시한 것이다.
도 5, 도 6a 및 도 6b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 적용 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 인공지능 히어링 시스템의 구성을 도시한 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법에 관한 기술로, 사용자의 귀에 착용되는 스마트 히어링 디바이스로부터 수신되는 음성 신호 및 소음 신호의 소리 데이터를 분석하여 자연어 또는 비자연어로 판단하고, 판단 결과에 따라 유사 데이터의 매칭에 따른 제어 파라미터 설정 및 피드백을 제공하는 것을 그 요지로 한다.

이 때, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 청각 능력이 떨어지는 사용자가 들을 수 있도록 증폭된 소리를 제공하는 보청기이다.

이하에서는 판별되는 자연어 또는 비자연어에 따라 신호의 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상을 제어하고, 그에 따른 피드백을 제공함으로써, 사용자에게 맞춤형 보청 서비스에 따른 편의를 향상시킬 수 있는 본 발명의 실시예에 따른 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법에 대해 도 1 내지 도 7을 참조하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이다.

도 1을 참조하면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 소리 데이터를 분석하여 판단되는 자연어 또는 비자연어에 대해 제어 파라미터 및 피드백을 제공한다.

이하에서 설명하고자 하는 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 사용자의 좌측 또는 우측 귀에 착용되는 것으로, 제1 스마트 히어링 디바이스 또는 제2 스마트 히어링 디바이스일 수 있으며, 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스는 도 1에 도시되어 이하에서 설명되는 세부적인 구성을 동일하게 포함하는 것을 특징으로 한다.

이를 위해, 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 수신부(110), 판단부(120), 처리부(130) 및 제공부(140)를 포함한다. 또한, 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 피드백 전달부(150) 및 데이터베이스(160)를 더 포함할 수 있다.

수신부(110)는 일측에 형성된 제1 마이크(101) 및 제2 마이크(102)로부터 음성 신호 및 소음 신호의 소리 데이터를 수신한다.

수신부(110)는 서로 다른 위치에 형성된 제1 마이크(101) 및 제2 마이크(102)로부터 음성 신호 및 소음 신호를 감지하며, 음성 신호 및 소음 신호를 디지털로 전환하여 소리 데이터로 수신할 수 있다.

이 때, 제1 마이크(101)는 사용자의 음성 신호를 수신할 수 있고, 제2 마이크(102)는 사용자 주변의 소음 신호를 수신할 수 있다. 보다 구체적으로, 제1 마이크(101) 및 제2 마이크(102)는 사용자의 입을 기준으로 서로 다른 거리에 위치하므로, 제1 마이크(101)는 사용자의 입 부근에 인정하게 위치하여 사용자의 목소리 위주의 음성 신호를 수신하고, 제2 마이크(102)는 제1 마이크(101)에 비해 상대적으로 사용자의 입에서 가능한 멀리 위치하여 주변 소음 위주의 소음 신호를 수신할 수 있다.

본 발명의 실시예에 따른 제1 마이크(101) 및 제2 마이크(102)는 스마트 히어링 디바이스(100) 내 서로 다른 위치에 배치되나, 제1 마이크(101) 및 제2 마이크(102)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 감지하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다. 여기서, 상기 적정 소음은 마이크의 위치에서 수집되는 음성 신호 및 소음 신호 외의 소음 및 수치값을 의미할 수 있다.

이에 따라, 수신부(110)는 제1 마이크(101) 및 제2 마이크(102)에서 감지된 음성 신호 및 소음 신호를 수신하여 전기 신호 즉, 디지털로 변환하여 소리 데이터로 수신할 수 있다.

판단부(120)는 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 소리 데이터에 대한 자연어 또는 비자연어를 판단한다.

판단부(120)는 인공지능(Artificial Intelligence; AI)에 기반하여 디지털로 변환된 소리 데이터의 디지털 흐름과 기 저장된 시간에 대한 음량 그래프 및 주파수에 대한 음량 그래프의 그래프 패턴을 비교하며, 그래프의 값들에서 특정 패턴을 나타내는 자연어 또는 비자연어를 판단할 수 있다.

본 발명의 실시예에 따른 자연어는 사람 간의 대화, 사용자의 질문과 같은 단어 또는 문장을 나타내고, 비자연어는 공사 현장의 시끄러운 소리, 자동차 소리, 사물에서 일시적으로 발생되는 소리와 같은 소음과 사람에게 생소한 소리(또는 새로운 소리)를 나타낸다. 각 자연어 및 비자연어는 시간 - 음량 그래프, 주파수 - 음량 그래프에서 서로 다른 특정 패턴을 나타내며, 그래프에 따른 특정 패턴은 데이터베이스(160)에 저장되어 유지될 수 있다. 예를 들면, 사용자의 대화는 공사 현장에서 발생되는 소음에 비해 소리의 높낮이가 존재하며, 지속성이 발생된다. 이에, 사용자의 대화에 따른 문장에 대한 시간 - 음량 그래프 및 주파수 - 음량 그래프에서의 특정 패턴이 존재하며, 공사 현장에서 발생되는 소음에 대한 시간 - 음량 그래프 및 주파수 - 음량 그래프에서의 특정 패턴이 존재할 수 있다.

판단부(120)는 디지털로 변환된 소리 데이터의 디지털 흐름과 데이터베이스(160)에 저장되어 유지되는 자연어 및 비자연어에 대한 그래프 패턴을 비교하여 특정 패턴을 나타내는 자연어 또는 비자연어를 판단할 수 있다. 예를 들면, 판단부(120)는 디지털로 변환된 소리 데이터를 비교 분석하여 자연어로 판단 또는 비자연어로 판단할 수 있다.

처리부(130)는 자연어 영역 및 비자연어 영역을 포함하는 데이터베이스(160)를 기반으로, 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭한다.

판단부(120)에 의해 소리 데이터가 자연어 또는 비자연어로 판단되는 경우, 처리부(130)는 데이터베이스(160)를 기반으로, 자연어로 판단된 소리 데이터에 유사한 단어 및 문장의 유사 데이터를 매칭하거나, 비자연어로 판단된 소리 데이터에 유사한 환경 소음, 노이즈(잡음) 및 새로운 소리의 유사 데이터를 매칭할 수 있다. 보다 구체적으로, 데이터베이스(160)는 자연어에 관련된 단어 또는 문장을 포함하는 자연어 영역과 소음 및 생소한 소리에 관련된 정보를 포함하는 비자연어 영역을 포함할 수 있으며, 판단부(120)에 의해 소리 데이터가 자연어로 판단되는 경우, 처리부(130)는 데이터베이스(160)를 기반으로, 자연어 영역에서 소리 데이터에 유사한 단어 또는 문장의 유사 데이터를 매칭할 수 있다.

일 예로, 판단부(120)에 의해 공사 현장의 시끄러운 소리 또는 자동차 소리가 비자연어로 판단되는 경우, 처리부(130)는 공사 현장의 소음 또는 자동차 소음으로 유사 데이터를 매칭할 수 있다. 또한, 판단부(120)에 의해 생소한 소리가 비자연어로 판단되는 경우, 처리부(130)는 새로운 소리 또는 새로운 소음으로 유사 데이터를 매칭할 수 있다.

다른 예로, 판단부(120)에 의해 사용자와 주변 사람의 목소리가 자연어로 판단되는 경우, 처리부(130)는 목소리에 의한 “안녕”, “오랜만이야”와 같은 유사 데이터를 매칭할 수 있다. 또한, 판단부(120)에 의해 사용자의 질문이 자연어로 판단되는 경우, 처리부(130)는 데이터베이스(160)의 연관 검색을 통해 “오늘 날씨는 어때?” 또는 “배고파”와 같은 유사 데이터를 매칭할 수 있다.

제공부(140)는 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공한다.

이 때, 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 보청기를 사용하는 사용자의 청력 데이터(Personal Hearing Profile)를 기본적으로 포함할 수 있다. 예를 들면, 제공부(140)는 사용자가 선호하는 볼륨 및 주파수와, 이질감을 느끼지 않을 정도의 증폭값, 볼륨 및 주파수 범위를 포함하는 사용자의 청력 데이터를 포함할 수 있다. 실시예에 따라서, 전술한 데이터는 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)와 연동되는 모바일 디바이스(500) 또는 외부 서버(600)에 의해 수신될 수 있으며, 디바이스(500) 또는 외부 서버(600)에 저장되어 유지될 수도 있다.

다만, 상기 청력 데이터는 증폭값, 볼륨 및 주파수 등의 항목 또는 수치값에 한정되지 않는다. 예를 들면, 상기 청력 데이터는 작은 소리는 크게 증폭해주고 큰 소리는 작게 줄여주는 비선형 압축 정보, 소리가 들리는 방향을 정확히 잡아낼 수 있는 방향성 정보, 마이크로 수신된 소리를 증폭해 다른 잡음 없이 잘 들을 수 있도록 도와주는 피드백 정보 및 소음을 줄여주는 소음 제거 정보 중 적어도 어느 하나 이상의 정보에 대한 사용자의 선호도 및 수치값을 더 포함할 수도 있다.

제공부(140)는 사용자의 청력 데이터와 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제어 파라미터를 설정하여 사용자 맞춤형으로 일측의 소리를 제공할 수 있다. 이 때, 제공부(140)는 자연어 및 비자연어에 서로 다른 제어 파라미터 값을 적용하는 것을 특징으로 한다. 예를 들면, 동일하게 볼륨을 높이는 제어 파라미터를 적용하더라도, 제공부(140)는 비자연어보다 자연어에 적용되는 제어 파라미터 값을 더 높일 수 있다.

보다 상세하게는, 제공부(140)는 제1 마이크(101) 및 제2 마이크(102)로부터 수신되는 디지털 신호의 소리 데이터에 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 일측의 소리를 제공할 수 있다.

예를 들면, 제1 마이크(101) 및 제2 마이크(102)로부터 수신된 소리 데이터에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상이 사용자가 기 설정하거나, 선호하는 기준 범위를 벗어날 수 있다. 이는 사용자가 위치하는 환경 변화에 따른 요인, 사용자의 음성 변화에 따른 요인, 기계적 오류의 요인 및 자연어 또는 비자연어에 의한 높낮이 요인 중 어느 하나에 의해 발생될 수 있다. 이에, 제공부(140)는 처리부(130)에 의해 매칭된 자연어 또는 비자연어에 대한 유사 데이터에 기초하여 음성 신호 및 소음 신호의 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 밸런스를 조절할 수 있으며, 조절된 밸런스에 따른 디지털 신호를 아날로그 신호(음향 에너지)로 변환시켜 소리로 사용자에게 제공할 수 있다.

일 예로, 처리부(130)에 의해 공사 현장의 소음 또는 자동차 소음으로 유사 데이터가 매칭되는 경우, 제공부(140)는 소음에 대한 볼륨을 낮추는 밸런스를 조절하여 사용자에게 제공할 수 있다.

다른 예로, 처리부(130)에 의해 사용자와 주변 사람의 목소리가 “안녕” 또는 “오랜만이야”와 같은 유사 데이터로 매칭되는 경우, 제공부(140)는 주변 소음보다 매칭된 유사 데이터의 증폭값, 볼륨 및 주파수를 높이는 밸런스를 조절하여 보다 정확히 사용자에게 정보가 전달되도록 제공할 수 있다.

즉, 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 사용자의 환경 변화에 따라 제1 마이크(101) 및 제2 마이크(102)로부터 수신된 음성 신호 및 소음 신호를 포함하는 소리 데이터를 분석하여 자연어 또는 비자연어로 판단하고, 자연어 또는 비자연어에 대한 유사 데이터를 매칭하여 소리 데이터에 대한 제어 파라미터를 설정함으로써, 사용자가 별도로 볼륨을 조절하거나, 주파수를 조절하지 않아도 변화되는 상황에 최적화되는 보청 서비스를 제공할 수 있으며, 보청기 사용의 편의성을 향상시킬 수 있다.

본 발명의 실시예에 따른 스마트 히어링 디바이스(100)의 피드백 전달부(150)는 매칭된 유사 데이터에 따른 특정된 자연어에 대한 응답으로 피드백을 제공할 수 있다.

피드백 전달부(150)는 처리부(130)를 통해 자연어 또는 비자연어로 판단된 소리 데이터에 유사한 단어 및 문장의 유사 데이터가 매칭되는 경우, 유사 데이터에 대한 응답으로 단어 및 문장의 피드백을 제공할 수 있다.

피드백 전달부(150)는 인공지능(Artificial Intelligence; AI)에 기반하여 소리 데이터에 대한 유사한 단어 및 문장의 유사 데이터가 매칭되는 경우, 사용자의 목소리로 인한 질문에 대한 응답으로 단어 및 문장의 피드백을 추출하여 음성으로 전달할 수 있다.

일 예로, 판단부(120)에 의해 공사 현장의 시끄러운 소리 또는 자동차 소리가 비자연어로 판단되고, 처리부(130)에 의해 공사 현장의 소음 또는 자동차 소음의 유사 데이터로 매칭되는 경우, 비자연어에 해당하는 소리 데이터는 제어 파라미터에 의해 밸런스가 조절될 수 있다. 이후에, 피드백 전달부(150)는 비자연어에 해당하는 소리 데이터에 대한 피드백을 사용자에게 제공할 수 있다. 예를 들면, 자동차 소음으로 유사 데이터가 매칭되는 경우, 피드백 전달부(150)는 “주의하세요”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다. 또 다른 예로, 사용자에게 익숙하지 않은 새로운 소음으로 유사 데이터가 매칭되는 경우, 피드백 전달부(150)는 “새로운 소리입니다” 또는 “새로운 환경입니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다.

다른 예로, 판단부(120)에 의해 사용자의 질문이 자연어로 판단되고, 처리부(130)에 의해 “오늘 날씨는 어때?” 또는 “배고파”와 같은 유사 데이터로 매칭되는 경우, 자연어에 해당하는 소리 데이터는 제어 파라미터에 의해 밸런스가 조절될 수 있다. 이후에, 피드백 전달부(150)는 자연어에 해당하는 소리 데이터에 대한 피드백을 사용자에게 제공할 수 있다. 예를 들면, “오늘 날씨는 어때?”의 유사 데이터가 매칭되는 경우, 피드백 전달부(150)는 “오늘 날씨는 맑습니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다. 또 다른 예로, “배고파”와 같은 유사 데이터가 매칭되는 경우, 피드백 전달부(150)는 “근처 음식점은 OOO가 있습니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다.

본 발명의 실시예에 따른 스마트 히어링 디바이스(100)는 소리 데이터, 유사 데이터, 제어 파라미터 및 피드백에 관련된 정보를 모바일 디바이스 또는 외부 서버로 전송하고, 모바일 디바이스로부터 사용자의 입력을 수신하는 통신부(미도시)를 더 포함할 수 있다.

예를 들면, 상기 통신부는 블루투스(bluetooth), Wi-Fi(Wireless Fidelity), 지그비(Zigbee), BLE(Bluetooth Low Energy) 중 어느 하나의 근거리 무선통신 모듈을 통해 사용자가 소지하는 모바일 디바이스로 소리 데이터, 유사 데이터, 제어 파라미터 및 피드백에 관련된 정보를 전송하며, 모바일 디바이스로부터 사용자의 선택 입력에 따른 스마트 히어링 디바이스의 전원 온/오프(On/Off) 또는 제어 파라미터를 제어하는 제어 커맨드를 수신할 수 있다.

실시예에 따라서, 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)의 통신부는 근거리 무선통신 모듈뿐만 아니라, 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있다.

이러한 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi-MAX, LTE(Long Term Evolution), 지그비(Zigbee), Z-wave, BLE(Bluetooth Low Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service), SMS(Short Message Service), LoRa 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다.

도 2는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법을 흐름도로 도시한 것이다.

도 2의 동작 방법은 도 1의 본 발명의 실시예에 따른 스마트 히어링 디바이스(100)에 의해 수행된다.

도 2를 참조하면, 단계 210에서, 일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신한다.

단계 210은 서로 다른 위치에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호를 감지하며, 단계 220은 음성 신호 및 소음 신호를 디지털로 전환하여 소리 데이터로 수신할 수 있다.

단계 230에서, 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단한다.

단계 230은 인공지능(Artificial Intelligence; AI)에 기반하여 디지털로 변환된 소리 데이터의 디지털 흐름과 기 저장된 시간에 대한 음량 그래프 및 주파수에 대한 음량 그래프의 그래프 패턴을 비교하며, 그래프의 값들에서 특정 패턴을 나타내는 자연어 또는 비자연어를 판단할 수 있다.

단계 230에 의해 소리 데이터는 자연어 또는 비자연어로 구분되며, 단계 241 및 단계 251은 자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭한다. 예를 들면, 단계 241은 단계 230에 의해 공사 현장의 시끄러운 소리 또는 자동차 소리가 비자연어로 판단되는 경우, 공사 현장의 소음 또는 자동차 소음으로 유사 데이터를 매칭할 수 있다. 또한, 단계 251은 단계 230에 의해 사용자와 주변 사람의 목소리가 자연어로 판단되는 경우, 목소리에 의한 “안녕”, “오랜만이야”와 같은 유사 데이터를 매칭할 수 있으며, 단계 230에 의해 사용자의 질문이 자연어로 판단되는 경우에는 데이터베이스의 연관 검색을 통해 “오늘 날씨는 어때?” 또는 “배고파”와 같은 유사 데이터를 매칭할 수 있다.

이후에, 단계 242 및 단계 252에서, 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공한다.

단계 242 및 단계 252는 사용자의 청력 데이터와 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제어 파라미터를 설정하여 사용자 맞춤형으로 일측의 소리를 제공할 수 있다.

예를 들면, 단계 241에 의해 공사 현장의 소음 또는 자동차 소음으로 유사 데이터가 매칭되는 경우, 단계 242는 소음에 대한 볼륨을 낮추는 밸런스를 조절하여 사용자에게 제공할 수 있다. 또한, 단계 251에 의해 사용자와 주변 사람의 목소리가 “안녕” 또는 “오랜만이야”와 같은 유사 데이터로 매칭되는 경우, 단계 252는 주변 소음보다 매칭된 유사 데이터의 증폭값, 볼륨 및 주파수를 높이는 밸런스를 조절하여 보다 정확히 사용자에게 정보가 전달되도록 제공할 수 있다.

이 때, 단계 242 및 단계 252 각각은 자연어 또는 비자연어에 서로 다른 제어 파라미터 값을 적용하는 것을 특징으로 한다. 보다 상세하게는, 동일하게 볼륨을 높이는 제어 파라미터를 적용하더라도, 자연어에 적용되는 제어 파라미터가 비자연어에 적용되는 제어 파라미터에 비해 더 높을 수 있다.

이후에, 단계 243 및 단계 253에서, 매칭된 유사 데이터에 따른 특정된 자연어 또는 비자연어에 대한 응답으로 피드백을 제공할 수 있다.

단계 243 및 단계 253은 인공지능(Artificial Intelligence; AI)에 기반하여 소리 데이터에 대한 유사한 단어 및 문장의 유사 데이터가 매칭되는 경우, 사용자의 질문에 대한 응답으로 단어 및 문장의 피드백을 추출하여 음성으로 전달할 수 있다.

예를 들면, 자동차 소음으로 유사 데이터가 매칭되는 경우에, 단계 243은 “주의하세요”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있으며, 사용자에게 익숙하지 않은 새로운 소음으로 유사 데이터가 매칭되는 경우에는 “새로운 소리입니다” 또는 “새로운 환경입니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다. 또한, “오늘 날씨는 어때?”의 유사 데이터가 매칭되는 경우에, 단계 253은 “오늘 날씨는 맑습니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있으며, “배고파”와 같은 유사 데이터가 매칭되는 경우에는 “근처 음식점은 OOO가 있습니다”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다.

단계 241, 단계 242 및 단계 243의 비자연어 영역에서, 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법은 소음에 대해서는 제어 파라미터를 설정하여 사용자에게 적합한 소리로 제공하나, 위협적인 소리 또는 새로운 소리에 대해서는 “주의하세요” 또는 “새로운 소리입니다”와 같은 음성 메시지 알림을 피드백으로 제공할 수 있다.

마찬가지로, 단계 251, 단계 252 및 단계 253의 자연어 영역에서, 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법은 사용자 간의 대화 소리에 대해서는 제어 파라미터를 설정하여 사용자에게 적합한 소리로 제공하나, 사용자의 질문에 대해서는 그에 상응하는 답변을 피드백으로 제공할 수 있다. 이 때, 본 발명의 실시예에 따른 스마트 히어링 디바이스의 동작 방법은 인공지능(Artificial Intelligence; AI)에 기반하여 자연어인 사용자의 질문에 적합한 답변을 추출할 수 있다.

도 3a 및 도 3b는 본 발명의 실시예에 따른 자연어 또는 비자연어를 구분하여 피드백을 제공하는 예를 설명하기 위해 도시한 것이다.

보다 상세하게는, 도 3a는 본 발명의 실시예에 따른 자연어를 판단하여 피드백을 제공하는 예를 설명하기 위해 도시한 것이며, 도 3b는 본 발명의 실시예에 따른 비자연어를 판단하여 피드백을 제공하는 예를 설명하기 위해 도시한 것이다.

도 3a를 참조하면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 일측에 형성된 제1 마이크 및 제2 마이크로부터 “안녕하세요”의 소리 데이터를 감지할 수 있다. 이 때, “안녕하세요”의 소리 데이터는 도 3a에 도시된 바와 같은 시간 - 음량 그래프 및 주파수 - 음량 그래프에서 특정 패턴을 나타내며, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 소리 데이터에 대한 디지털 흐름과 데이터베이스에 기 저장된 그래프 패턴을 비교하여 소리 데이터를 자연어로 판단할 수 있다.

자연어의 판단 이후에, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 자연어에 대한 유사 데이터를 매칭한다. 예를 들면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 감지된 “안녕하세요”에 근접하는 유사 데이터를 매칭하고자 하며, ‘안녕’, ‘안녕히시오’, ‘안녕하시’와 같은 데이터 중에서 “안녕하세요”의 소리 데이터와 유사한 ‘안녕하세요’의 유사 데이터를 매칭할 수 있다.

유사 데이터의 매칭에 따라, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 자연어에 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제어 파라미터를 설정하며, “안녕하세요”의 소리 데이터에 대한 응답으로 피드백을 추출하여 소리로 사용자에게 제공할 수 있다. 예를 들면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 “안녕하세요”의 소리 데이터에 대한 피드백으로 “네, 안녕하세요”, “오랜만이네요”, “무엇을 도와드릴까요?”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다.

도 3b를 참조하면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 일측에 형성된 제1 마이크 및 제2 마이크로부터 “콜록 콜록”의 소리 데이터를 감지할 수 있다. 이 때, “콜록 콜록”의 소리 데이터는 도 3b에 도시된 바와 같은 시간 - 음량 그래프 및 주파수 - 음량 그래프에서 특정 패턴을 나타내며, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 소리 데이터에 대한 디지털 흐름과 데이터베이스에 기 저장된 그래프 패턴을 비교하여 소리 데이터를 비자연어로 판단할 수 있다. 도 3a 및 도 3b에 도시된 바와 같이, 자연어 및 비자연어는 시간 - 음량 그래프 및 주파수 - 음량 그래프에서 서로 다른 그래프 패턴을 나타내는 것을 확인할 수 있으며, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 이러한 그래프 패턴의 차이로 자연어 또는 비자연어를 구분 및 판단할 수 있게 된다.

비자연어의 판단 이후에, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 비자연어에 대한 유사 데이터를 매칭한다. 예를 들면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 감지된 “콜록 콜록”에 유사한 데이터를 매칭하고자 하며, ‘콜’, ‘코올’, ‘탁탁’과 같은 데이터 중에서 “콜록 콜록”의 소리 데이터와 유사한 ‘콜록 콜록’의 유사 데이터를 매칭할 수 있다.

유사 데이터의 매칭에 따라, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 비자연어에 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제어 파라미터를 설정하며, “콜록 콜록”의 소리 데이터에 대한 응답으로 피드백을 추출하여 소리로 사용자에게 제공할 수 있다. 예를 들면, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 “콜록 콜록”의 소리 데이터에 대한 피드백으로 “근처 약국을 알려드릴게요”, “감기에 걸리셨나봐요”, “따뜻한 차를 마시세요”, “괜찮으세요?”와 같은 음성 메시지 알림을 사용자에게 제공할 수 있다.

도 4a 및 도 4b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 실시 예를 도시한 것이다.

도 4a 및 도 4b에 도시된 바와 같이, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 사용자의 좌측 귀와 우측 귀 각각에 착용되도록 2개가 한 쌍일 수 있다.

이하에서 설명할 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 앞서 도 1 내지 도 3b를 통해 설명한 본 발명의 실시예에 따른 스마트 히어링 디바이스와 동일한 기능을 포함한다.

도 4a를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300)는 제1 마이크(301), 제2 마이크(302) 및 온/오프 스위치(303)를 포함하고, 제2 스마트 히어링 디바이스(400)는 제3 마이크(401), 제4 마이크(402) 및 온/오프 스위치(403)를 포함한다. 제1 스마트 히어링 디바이스(300)는 사용자의 좌측 귀에 착용되고, 제2 스마트 히어링 디바이스(400)는 사용자의 우측 귀에 착용되는 것으로 도시하였으나, 스마트 히어링 디바이스가 착용되는 위치 및 형태는 이에 제한하지 않는다.

이 때, 제1 마이크(301) 및 제3 마이크(401)는 사용자의 목소리 위주의 음성 신호를 수신하기 위해 사용자의 입 부근에 인접하게 위치할 수 있으며, 온/오프 스위치(303, 403)의 아래 쪽에 위치하여 제2 마이크(302) 및 제4 마이크(402)에 비해 상대적으로 사용자의 입에 근접한 것을 특징으로 한다.

또한, 제2 마이크(302) 및 제4 마이크(402)는 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신하기 위해 사용자의 입에서 가능한 멀리 위치하며, 온/오프 스위치(303, 403)의 위쪽에 위치하여 제1 마이크(301) 및 제3 마이크(401)에 비해 상대적으로 사용자의 입에서 멀리 떨어져 위치한 것을 특징으로 한다.

나아가, 제1 마이크(301) 및 제2 마이크(302), 그리고 제3 마이크(401) 및 제4 마이크(402)의 공구(또는 구멍)가 향하는 방향은 동일한 것을 특징으로 하며, 이는 균일한 음성 신호 및 소음 신호를 각각 수집하고, 그에 따른 적정 소음을 제거하기 위함이다.

도 4a에 도시된 바와 같이, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 위치가 서로 다른 두 개의 마이크(301, 302와 401, 402)를 포함하며, 소프트웨어적으로 제1 마이크(301) 및 제3 마이크(401)를 메인으로 세팅하고, 제2 마이크(302) 및 제4 마이크(402)를 2차 입력 소스로 적용하여 서로 다른 음성 신호 및 소음 신호를 균일하게 수집할 수 있다.

이 때, 제1 스마트 히어링 디바이스(300)의 제1 마이크(301)와 제2 스마트 히어링 디바이스(400)의 제3 마이크(401)는 서로 페어링되고, 제1 스마트 히어링 디바이스(300)의 제2 마이크(302)와 제2 스마트 히어링 디바이스(400)의 제4 마이크(402)는 서로 페어링되는 것을 특징으로 하며, 어느 하나의 마이크에 적용된 설정에 따라 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정될 수 있다.

예를 들면, 제어 파라미터에 의해 제1 마이크(301)의 볼륨이 일정 값으로 업(up)되는 경우, 페어링된 제3 마이크(401)의 볼륨 또한 일정 값으로 자동 업(up) 조절이 가능하다. 또 다른 예로, 제1 스마트 히어링 디바이스(300)의 제2 마이크(302) 전원이 온(on)되는 경우, 페어링된 제2 스마트 히어링 디바이스(400)의 제4 마이크(402) 전원 또한 자동으로 온(on)될 수 있다.

도 4a를 참조하면, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 온/오프 스위치(303, 403)를 포함하며, 온/오프 스위치(303, 403)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)의 전원을 온(on) 또는 오프(off)한다. 예를 들면, 사용자가 스위치 형태의 온/오프 스위치(303, 403)를 터치, 푸시 또는 길게 누르면 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 온(on) 또는 오프(off)될 수 있다. 이 때, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 중 적어도 어느 하나가 온(on) 또는 오프(off)되는 경우, 페어링된 다른 한 쪽의 스마트 히어링 디바이스 또한 동일하게 온(on) 또는 오프(off)될 수 있다.

도 4b를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 충전모듈(305, 405) 및 스피커(304, 404)를 포함한다.

본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 충전식 디바이스로, 충전모듈(Charging Terminals, 305, 405)을 포함할 수 있다.

예를 들면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 충전식 리튬 이온 폴리머 배터리(Li-ion Polymer Battery) 및 모바일 장치의 배터리 미터(Battery Meter)를 포함할 수 있으며, 충전모듈(305, 405)을 통해 배터리를 충전할 수 있다.

또한, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 스피커(304, 404)를 통해 디지털 신호에서 아날로그 신호(음향 에너지)로 변환된 소리를 제공할 수 있다.

예를 들면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 제1 마이크(301), 제2 마이크(302), 제3 마이크(401), 제4 마이크(402)로부터 수집된 음성 신호 및 소음 신호에 분석 결과에 관련된 정보에 따른 제1 제어 파라미터 및 제2 제어 파라미터를 설정하며, 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스가 조절된 디지털 신호를 아날로그 신호로 변환시켜 스피커(304, 404)를 통해 사용자에게 소리로 제공할 수 있다.

도 5, 도 6a 및 도 6b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 적용 예를 도시한 것이다.

보다 상세하게는, 도 5는 본 발명의 실시예에 따른 스마트 히어링 디바이스를 착용한 사용자를 상면에서 바라본 예를 도시한 것이고, 도 6a은 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스를 착용한 사용자를 좌측에서 바라본 예를 도시한 것이며, 도 6b는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스를 착용한 사용자를 우측에서 바라본 예를 도시한 것이다.

도 5를 참조하면, 사용자(10)는 좌측 귀에 제1 스마트 히어링 디바이스(300)를 착용하고, 우측 귀에 제2 스마트 히어링 디바이스(400)를 착용한다. 사용자(10)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)를 모두 착용함으로써, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 보다 입체적으로 인지할 수 있으며, 맞춤형 보청 서비스를 받을 수 있다.

도 6a를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300)는 사용자(10)의 좌측 귀에 장착되며, 제1 마이크(301) 및 제2 마이크(302)는 사용자의 입을 기준으로 서로 다른 거리에 위치할 수 있다.

예를 들면, 제1 마이크(301)는 제2 마이크(302)에 비해 사용자의 입 부근에 인접하게 위치하며, 사용자의 목소리 위주의 음성 신호를 수신할 수 있다. 반면, 제2 마이크(302)는 제1 마이크(301)에 비해 사용자의 입에서 가능한 멀리 위치하며, 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신할 수 있다.

이 때, 도 6a에 도시된 바와 같이, 제1 마이크(301) 및 제2 마이크(302)는 온/오프 스위치(303)를 기준으로 사용자의 입에 근접하거나, 멀리 위치한 것을 확인할 수 있다.

제1 마이크(301) 및 제2 마이크(302)는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 내 서로 다른 위치에 포함되나, 제1 마이크(301) 및 제2 마이크(302)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다.

도 6b를 참조하면, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(400)는 사용자(10)의 우측 귀에 장착되며, 제3 마이크(401) 및 제4 마이크(402)는 사용자의 입을 기준으로 서로 다른 거리에 위치할 수 있다.

예를 들면, 제3 마이크(401)는 제4 마이크(402)에 비해 사용자의 입 부근에 인접하게 위치하며, 사용자의 목소리 위주의 음성 신호를 수신할 수 있다. 반면, 제4 마이크(402)는 제3 마이크(401)에 비해 사용자의 입에서 가능한 멀리 위치하며, 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신할 수 있다.

이 때, 도 6b에 도시된 바와 같이, 제3 마이크(401) 및 제4 마이크(402)는 온/오프 스위치(403)를 기준으로 사용자의 입에 근접하거나, 멀리 위치한 것을 확인할 수 있다.

제3 마이크(401) 및 제4 마이크(402)는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(400) 내 서로 다른 위치에 포함되나, 제3 마이크(401) 및 제4 마이크(402)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다.

도 7은 본 발명의 실시예에 따른 인공지능 히어링 시스템의 구성을 도시한 것이다.

도 7을 참조하면, 본 발명의 실시예에 따른 인공지능 히어링 시스템은 일측에 형성된 제1 스마트 히어링 디바이스(300) 및 타측에 형성된 제2 스마트 히어링 디바이스(400)를 포함하며, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)를 제어하는 모바일 디바이스(500)를 포함한다. 또한, 본 발명의 실시예에 따른 인공지능 히어링 시스템은 외부 서버(600)를 더 포함할 수 있다.

제1 스마트 히어링 디바이스(300)는 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 유사 데이터의 매칭으로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공한다. 또한, 제2 스마트 히어링 디바이스(400)는 타측에 형성된 제3 마이크 및 제4 마이크롤부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 상기 유사 데이터의 매칭으로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공한다.

제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 사용자의 입 부근에 위치하는 제1 마이크 및 제3 마이크를 포함하고, 사용자의 입을 기준으로 이격거리에 위치된 제2 마이크 및 제4 마이크를 포함할 수 있다. 이 때, 제1 마이크 및 제3 마이크는 일측 및 타측에서 사용자의 음성 신호를 수집하고, 제2 마이크 및 제4 마이크는 일측의 소음 신호 및 타측의 소음 신호를 수집할 수 있다.

보다 상세하게는, 제1 스마트 히어링 디바이스(300)는 사용자의 좌측 귀에 장착될 수 있으며, 사용자의 입 부근에 위치하는 제1 마이크를 통해 좌측에서의 사용자의 음성 신호를 수신하고, 사용자의 입을 기준으로 이격거리에 위치된 제2 마이크를 통해 좌측에서의 소음 신호를 수신할 수 있다. 또한, 제2 스마트 히어링 디바이스(400)는 사용자의 우측 귀에 장착될 수 있으며, 사용자의 입 부근에 위치하는 제3 마이크를 통해 우측에서의 사용자의 음성 신호를 수신하고, 사용자의 입을 기준으로 이격거리에 위치된 제4 마이크를 통해 우측에서의 소음 신호를 수신할 수 있다.

이 때, 제1 스마트 히어링 디바이스(300)의 제1 마이크와 제2 스마트 히어링 디바이스(400)의 제3 마이크, 및 제1 스마트 히어링 디바이스(300)의 제2 마이크와 제2 스마트 히어링 디바이스(400)의 제4 마이크 각각은 서로 페어링되는 것을 특징으로 하며, 어느 하나의 마이크에 적용된 설정에 따라 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정될 수 있다. 예를 들면, 제1 제어 파라미터에 의해 제1 마이크의 볼륨이 조절되는 경우, 페어링된 제3 마이크의 볼륨 또한 자동 조절이 가능하다. 또 다른 예로, 제1 스마트 히어링 디바이스(300)의 제2 마이크 전원이 온(on)되는 경우, 페어링된 제2 스마트 히어링 디바이스(400)의 제4 마이크 전원 또한 자동으로 온(on)될 수 있다.

제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각은 사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 제1 제어 파라미터 및 제2 제어 파라미터를 설정할 수 있다.

실시 예로, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각은 보청기를 사용하는 사용자의 좌측 및 우측에 대한 청력 데이터(Personal Hearing Profile)를 포함할 수 있다. 예를 들면, 사용자의 좌측과 우측의 청력 데이터가 상이할 수 있으므로, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각은 사용자가 선호하는 볼륨, 인지 가능한 특정 볼륨, 특정 주파수와, 이질감을 느끼지 않을 정도의 증폭값, 볼륨 및 주파수 범위를 포함하는 사용자 맞춤형의 청력 데이터를 포함할 수 있다. 이 때, 사용자의 청력 데이터는 모바일 디바이스(500) 및 외부 서버(600)에도 저장되어 유지될 수 있다.

다만, 상기 청력 데이터는 증폭값, 볼륨 및 주파수 등의 항목 또는 수치값에 한정되지 않는다. 예를 들면, 상기 청력 데이터는 작은 소리는 크게 증폭해주고 큰 소리는 작게 줄여주는 비선형 압축 정보, 소리가 들리는 방향을 정확히 잡아낼 수 있는 방향성 정보, 마이크로 수신된 소리를 증폭해 다른 잡음 없이 잘 들을 수 있도록 도와주는 피드백 정보 및 소음을 줄여주는 소음 제거 정보 중 적어도 어느 하나 이상의 정보에 대한 사용자의 선호도 및 수치값을 더 포함할 수 있다.

본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 사용자의 청력 데이터와 자연어 또는 비자연어로 판단된 유사 데이터에 대한 결과 정보에 기초하여, 환경 변화 및 소음 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제1 제어 파라미터 및 제2 파라미터를 설정하여 좌측 및 우측에서의 맞춤형 보청 서비스를 제공할 수 있다.

실시 예로, 제1 스마트 히어링 디바이스(300)는 제1 마이크 및 제2 마이크로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호의 소리 데이터를 분석하여 자연어 또는 비자연어를 판단하고, 판단 결과에 따라 매칭된 유사 데이터에 제1 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 신호 및 피드백에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 좌측의 소리로 전달할 수 있다.

다른 예로, 제2 스마트 히어링 디바이스(400)는 제3 마이크 및 제4 마이크로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호의 소리 데이터를 분석하여 자연어 또는 비자연어를 판단하고, 판단 결과에 따라 매칭된 유사 데이터에 제2 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 신호 및 피드백에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 우측의 소리로 전달할 수 있다.

예를 들면, 제1 마이크, 제2 마이크, 제3 마이크 및 제4 마이크로부터 수신된 소리 데이터에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상이 사용자가 기 설정하거나, 선호하는 기준 범위를 벗어날 수 있다. 이는 사용자가 위치하는 환경 변화에 따른 요인, 사용자의 음성 변화에 따른 요인, 기계적 오류의 요인 및 자연어 또는 비자연어에 의한 높낮이 요인 중 어느 하나에 의한 것 수 있다. 이에 따라서, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 소리 데이터에 제1 제어 파라미터 및 제2 파라미터를 적용하여 소리 데이터에 대한 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 밸런스에 따른 디지털 신호를 아날로그 신호(음향 에너지)로 변환시켜 소리로 사용자에게 제공할 수 있다.

즉, 본 발명의 실시예에 따른 인공지능 히어링 시스템의 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)는 사용자의 환경 변화 및 소음 변화에 따라 제1 마이크, 제2 마이크, 제3 마이크 및 제4 마이크로부터 수신된 음성 신호 및 소음 신호를 포함하는 소리 데이터를 분석하여 자연어 또는 비자연어로 판단하고, 매칭되는 유사 데이터에 대한 제1 제어 파라미터 및 제2 제어 파라미터를 설정함으로써, 사용자가 별도로 볼륨을 조절하거나, 주파수를 조절하지 않아도 변화하는 상황에 최적화되는 보청 서비스를 제공할 수 있으며, 보청기 사용의 편의성을 향상시킬 수 있다.

또한, 즉, 본 발명의 실시예에 따른 인공지능 히어링 시스템의 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각은 사용자에게 맞춤형으로 좌측의 소리 및 우측의 소리를 제공하며, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공할 수 있다.

모바일 디바이스(500)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)를 제어한다.

도 7에 도시된 바와 같이, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)와 모바일 디바이스(500)는 근거리 무선 통신 모듈인 블루투스(Bluetooth) 통신으로 데이터를 송수신할 수 있다. 예를 들면, 모바일 디바이스(500)는 블루투스 통신을 통해 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)로부터 음성 신호 및 소음 신호를 포함하는 소리 데이터, 자연어 또는 비자연어로 판단된 판단 결과, 유사 데이터 및 피드백에 관련된 정보를 수신할 수 있다.

이후, 모바일 디바이스(500)는 Ethernet/3G, 4G, 5G의 무선 데이터 통신을 통해 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)로부터 수신된 정보를 외부 서버(600)로 전송할 수 있다.

이 때, 모바일 디바이스(500)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)를 사용하는 사용자가 소지하는 단말 장치로, PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿(tablet) 및 웨어러블 컴퓨터(wearable computer) 중 적어도 어느 하나일 수 있으며, 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다. 또한, 모바일 디바이스(500)는 모바일 디바이스 내에 다운로드되어 설치된 어플리케이션(Application)을 일컫을 수 있다.

실시예에 따라서, 모바일 디바이스(500)는 디스플레이부(미도시)를 통해 다수의 영역들 각각에 위치하는 다수의 아이템들을 포함하는 화면을 표시할 수 있으며, 햅틱(haptic) 접촉 또는 택틸(tactile) 접촉에 기초하여 사용자로부터의 입력을 받아들이는 터치-감지 표면, 센서 또는 센서 집합에 기초하여 기능과 관련된 적어도 하나 이상의 아이템을 포함하는 또 다른 화면을 표시할 수 있다. 또한, 모바일 디바이스(500)는 키보드, 터치 디스플레이, 다이얼, 슬라이더 스위치, 조이스틱, 마우스 등의 입력부(미도시)를 통해 사용자의 선택 입력을 수신할 수 있으며, 오디오 모듈, 스피커 모듈 및 진동 모듈을 포함하는 출력부(미도시)를 통해 맞춤형 보청 서비스에 관련된 정보를 출력할 수도 있다.

모바일 디바이스(500)는 각각의 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)와 연동되어 사용자의 청력을 테스트하기 위한 화면과, 그에 따른 각종 리포트에 관련된 정보를 제공할 수 있다. 이 때, 상기 리포트는 시간에 따른 맞춤형 보청 서비스에 대한 히스토리(history) 지표 또는 기록일 수 있다.

또한, 모바일 디바이스(500)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)로부터 음성 신호 및 소음 신호를 포함하는 소리 데이터, 자연어 또는 비자연어로 판단된 판단 결과, 유사 데이터 및 피드백에 관련된 정보를 데이터베이스화할 수도 있다.

또한, 모바일 디바이스(500)는 사용자의 선택 입력에 따라 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각의 전원을 온(on) 또는 오프(off)할 수 있으며, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)의 증폭값, 볼륨 및 주파수 등의 수치를 수동으로 제어할 수도 있다.

또한, 모바일 디바이스(500)는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400) 각각에 부여되는 일련번호 또는 디바이스 정보와 페어링된 것으로, 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)의 배터리 관리, 분실 관리, 고장 관리를 수행할 수 있다.

외부 서버(600)는 사용자 정보와, 사용자 정보에 따른 청력 데이터 및 사용자가 선호하는 증폭값, 볼륨 및 주파수 등의 적정 범위를 수치화하여 저장하며, 사용자 정보에 대응하는 제1 스마트 히어링 디바이스(300), 제2 스마트 히어링 디바이스(400) 및 모바일 디바이스(500)를 매칭시켜 데이터베이스화할 수 있다. 예를 들면, 외부 서버(600)는 기 설정된 시간 간격으로 모바일 디바이스(500)를 통해 수신되는 제1 스마트 히어링 디바이스(300) 및 제2 스마트 히어링 디바이스(400)에 의한 소리 데이터, 자연어 또는 비자연어로 판단된 판단 결과, 유사 데이터 및 피드백에 관련된 정보를 데이터베이스화할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100, 300, 400: 스마트 히어링 디바이스
301: 제1 마이크
302: 제2 마이크
303, 403: 온/오프 스위치
304, 404: 스피커
305, 405: 충전모듈
401: 제3 마이크
402: 제4 마이크
500: 모바일 디바이스
600: 외부 서버

Claims (16)

1. 일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신하는 수신부;
   상기 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단하는 판단부;
   자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭하는 처리부; 및
   상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공하는 제공부
   를 포함하고,
   상기 제1 마이크는
   사용자의 입 부근에 위치하여 상기 사용자의 음성 신호를 수집하며,
   상기 제2 마이크는
   상기 사용자의 입을 기준으로 이격거리에 위치하여 소음 신호를 수집하고,
   상기 제1 마이크와 다른 스마트 히어링 디바이스에서 상기 사용자의 음성 신호를 수집하는 제3 마이크는
   서로 페어링되며, 어느 하나의 마이크에 적용된 설정에 따라 상기 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되고,
   상기 제2 마이크와 상기 다른 스마트 히어링 디바이스에서 소음 신호를 수집하는 제4 마이크는
   서로 페어링되며, 상기 제2 마이크와 상기 제4 마이크 중 어느 하나의 마이크에 적용된 설정에 따라 상기 제2 마이크와 상기 제4 마이크 중 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되는 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
2. 제1항에 있어서,
   상기 매칭된 유사 데이터에 따른 상기 특정된 자연어 또는 비자연어에 대한 응답으로 피드백을 제공하는 피드백 전달부
   를 더 포함하는 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
3. 제1항에 있어서,
   상기 수신부는
   서로 다른 위치에 형성된 상기 제1 마이크 및 상기 제2 마이크로부터 상기 음성 신호 및 상기 소음 신호를 감지하며, 상기 음성 신호 및 상기 소음 신호를 디지털로 전환하여 상기 소리 데이터로 수신하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
4. 제3항에 있어서,
   상기 판단부는
   디지털로 전환된 상기 소리 데이터의 디지털 흐름과 기 저장된 시간에 대한 음량 그래프 및 주파수에 대한 음량 그래프의 그래프 패턴을 비교하며, 그래프의 값들에서 특정 패턴을 나타내는 자연어 또는 비자연어를 판단하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
5. 제1항에 있어서,
   상기 처리부는
   상기 데이터베이스를 기반으로, 자연어로 판단된 상기 소리 데이터에 유사한 단어 및 문장의 유사 데이터를 매칭하거나, 비자연어로 판단된 상기 소리 데이터에 유사한 환경 소음, 노이즈(잡음) 및 새로운 소리의 유사 데이터를 매칭하는 것을 특징으로 하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
6. 제5항에 있어서,
   상기 제공부는
   사용자의 청력 데이터와 상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제어 파라미터를 설정하여 사용자 맞춤형으로 일측의 소리를 제공하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
7. 제6항에 있어서,
   상기 제공부는
   상기 제1 마이크 및 상기 제2 마이크로부터 수신되는 디지털 신호의 상기 소리 데이터에 상기 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 일측의 소리를 제공하는 것을 특징으로 하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
8. 제2항에 있어서,
   상기 피드백 전달부는
   상기 처리부를 통해 자연어 또는 비자연어로 판단된 상기 소리 데이터에 유사한 단어 및 문장의 상기 유사 데이터가 매칭되는 경우, 상기 유사 데이터에 대한 응답으로 단어 및 문장의 피드백을 제공하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
9. 제8항에 있어서,
   상기 피드백 전달부는
   인공지능(Artificial Intelligence; AI)에 기반하여 상기 소리 데이터에 대한 유사한 단어 및 문장의 상기 유사 데이터가 매칭되는 경우, 상기 사용자의 목소리로 인한 질문에 대한 응답으로 단어 및 문장의 피드백을 추출하여 음성 메시지로 전달하는 것을 특징으로 하는, 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스.
10. 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 유사 데이터의 매칭으로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공하는 제1 스마트 히어링 디바이스;
    타측에 형성된 제3 마이크 및 제4 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 소리 데이터에 대한 자연어 또는 비자연어를 판단하며, 판단된 자연어 또는 비자연어에 대한 상기 유사 데이터의 매칭으로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공하는 제2 스마트 히어링 디바이스; 및
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스를 제어하는 모바일 디바이스
    를 포함하고,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자의 입 부근에 위치하는 상기 제1 마이크 및 상기 제3 마이크를 포함하고, 상기 사용자의 입을 기준으로 이격거리에 위치된 상기 제2 마이크 및 상기 제4 마이크를 포함하며,
    상기 제1 마이크 및 상기 제3 마이크는
    일측 및 타측에서 사용자의 음성 신호를 수집하고,
    상기 제2 마이크 및 상기 제4 마이크는
    일측의 소음 신호 및 타측의 소음 신호를 수집하며,
    상기 제1 마이크와 상기 제3 마이크, 그리고 상기 제2 마이크와 상기 제4 마이크 각각은 서로 페어링되며, 어느 하나의 마이크에 적용된 설정에 따라 상기 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되는 인공지능 히어링 시스템.
11. 삭제
12. 제10항에 있어서,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자에게 맞춤형 일측의 소리 및 타측의 소리를 각기 제공하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공하는, 인공지능 히어링 시스템.
13. 제10항에 있어서,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 상기 제1 제어 파라미터 및 상기 제2 제어 파라미터를 설정하는 것을 특징으로 하는, 인공지능 히어링 시스템.
14. 제10항에 있어서,
    상기 모바일 디바이스는
    사용자의 선택 입력에 따라 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각의 전원 온(On)/오프(Off), 신호 수집 및 제어 파라미터 설정 중 어느 하나 이상을 제어하는, 인공지능 히어링 시스템.
15. 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스의 동작 방법에 있어서,
    일측에 형성된 제1 마이크 및 제2 마이크로부터 음성 신호 및 소음 신호의 소리 데이터를 수신하는 단계;
    상기 소리 데이터의 디지털 흐름과 기 저장된 그래프 패턴을 비교하여 상기 소리 데이터에 대한 자연어 또는 비자연어를 판단하는 단계;
    자연어 영역 및 비자연어 영역을 포함하는 데이터베이스를 기반으로, 상기 판단된 자연어 또는 비자연어에 대한 유사 데이터를 매칭하는 단계; 및
    상기 매칭된 유사 데이터에 따라 특정된 자연어 또는 비자연어에 제어 파라미터를 설정하여 변환되는 일측의 소리를 사용자에게 제공하는 단계
    를 포함하고,
    상기 제1 마이크는
    상기 사용자의 입 부근에 위치하여 상기 사용자의 음성 신호를 수집하며,
    상기 제2 마이크는
    상기 사용자의 입을 기준으로 이격거리에 위치하여 소음 신호를 수집하고,
    상기 제1 마이크와 다른 스마트 히어링 디바이스에서 상기 사용자의 음성 신호를 수집하는 제3 마이크는
    서로 페어링되며, 어느 하나의 마이크에 적용된 설정에 따라 상기 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되고,
    상기 제2 마이크와 상기 다른 스마트 히어링 디바이스에서 소음 신호를 수집하는 제4 마이크는
    서로 페어링되며, 상기 제2 마이크와 상기 제4 마이크 중 어느 하나의 마이크에 적용된 설정에 따라 상기 제2 마이크와 상기 제4 마이크 중 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되는 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스의 동작 방법.
16. 제15항에 있어서,
    상기 매칭된 유사 데이터에 따른 상기 특정된 자연어 또는 비자연어에 대한 응답으로 피드백을 제공하는 단계
    를 더 포함하는 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스의 동작 방법.
    

Images