RU2568281C2 - Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате - Google Patents
Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате Download PDFInfo
- Publication number
- RU2568281C2 RU2568281C2 RU2013125243/08A RU2013125243A RU2568281C2 RU 2568281 C2 RU2568281 C2 RU 2568281C2 RU 2013125243/08 A RU2013125243/08 A RU 2013125243/08A RU 2013125243 A RU2013125243 A RU 2013125243A RU 2568281 C2 RU2568281 C2 RU 2568281C2
- Authority
- RU
- Russia
- Prior art keywords
- hearing
- signal
- telephone
- audio signal
- impaired user
- Prior art date
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 13
- 208000016354 hearing loss disease Diseases 0.000 title claims abstract description 13
- 231100000888 hearing loss Toxicity 0.000 title claims abstract description 12
- 230000010370 hearing loss Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims description 42
- 230000005236 sound signal Effects 0.000 claims abstract description 100
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 80
- 238000004891 communication Methods 0.000 claims abstract description 78
- 230000006870 function Effects 0.000 claims abstract description 21
- 230000001413 cellular effect Effects 0.000 claims abstract description 10
- 238000007906 compression Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 40
- 206010048865 Hypoacusis Diseases 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 9
- 239000000126 substance Substances 0.000 abstract 1
- 238000012012 milestone trend analyses Methods 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 15
- 238000002156 mixing Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 14
- 230000008447 perception Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 8
- 206010011891 Deafness neurosensory Diseases 0.000 description 5
- 208000009966 Sensorineural Hearing Loss Diseases 0.000 description 5
- 231100000879 sensorineural hearing loss Toxicity 0.000 description 5
- 208000023573 sensorineural hearing loss disease Diseases 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 208000000114 Pain Threshold Diseases 0.000 description 1
- 101001120757 Streptococcus pyogenes serotype M49 (strain NZ131) Oleate hydratase Proteins 0.000 description 1
- 229940083712 aldosterone antagonist Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 230000037040 pain threshold Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42391—Systems providing special services or facilities to subscribers where the subscribers are hearing-impaired persons, e.g. telephone devices for the deaf
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
- H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Изобретение относится к средствам компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате. Технический результат заключается в возможности совмещения функции телефона с функцией слухового аппарата, в увеличении разборчивости речи слабослышащему пользователю и в мобильном переключении на телефонный разговор. Формируют персонализированные аудиосигналы (А) для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм - частотных характеристик слуха слабослышащего пользователя, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей. На сервере обрабатывают А в широкополосном частотном диапазоне на основе атрибутов слуха слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей. В качестве сети связи используют сотовую сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат (МТА). Осуществляют режим, совмещающий функции мобильного телефонного и слухового аппарата. 4 з.п. ф-лы, 18 ил.
Description
Область техники
Изобретение относится к вычислительной технике, системам телекоммуникаций и может быть использовано для повышения разборчивости речи для пользователей с ослабленным слухом (с нейросенсорной тугоухостью).
Предшествующий уровень техники
Люди с нейросенсорной тугоухостью обычно имеют приподнятый порог восприятия акустической информации, который мешает услышать звуки низкой интенсивности. Однако восприятие громких звуков часто такое же, как и у здоровых людей. Порог потери слухового восприятия является частотно зависимым и определяется для каждого пациента на заданных частотах (200, 500, 1000, 2000, 3000, 4000 и 6000 Гц), используя чистые тональные сигналы.
Задача повышения разборчивости у тугоухих людей заключается в компоновке динамического диапазона речевых и повседневных звуков в ограниченный динамический диапазон нарушенного слуха. Этот процесс компрессии динамического диапазона представляет собой отображение слышимого диапазона сигнала в область остаточного восприятия пациента. При этом усиленный сигнал не должен превышать максимального уровня, в противном случае это вызовет болевые ощущения у человека. Более того, тугоухость обычно частотно зависимая, т.е. компрессор должен выдерживать различные динамические уровни в различных частотных диапазонах. Решение данной проблемы в общем случае достигается применением многоканальных систем, таких как банки фильтров с различной степенью компрессии в каждом канале. При проектировании многоканального компрессора динамического диапазона требуется найти:
1) компромисс между частотным разрешением и временной задержкой. У известных решений увеличение частотного разрешения анализа приводит к увеличению времени обработки сигнала;
2) максимально согласовать частотное разрешение многоканального компрессора динамического диапазона с частотным разрешением восприятия акустической информации человеком;
3) компромисс между частотным разрешением и групповой задержкой. Задержка обработки сигнала в многоканальном компрессоре динамического диапазона с неравнополосным банком фильтров больше в диапазоне нижних частот, чем в высокочастотных каналах, однако она меньше, чем в равнополосных системах с аналогичным частотным разрешением. При наличии большой задержки (свыше 8 мс) возникает паразитное эхо, которое отрицательно сказывается на восприятии и ухудшается разборчивость.
Известен способ повышения разборчивости речи у пользователей с нейросенсорной тугоухостью в цифровых телекоммуникационных системах, базирующийся на слуховом аппарате (СА) и мобильном телефонном аппарате (ТА), когда для приема сигнала из ТА, пользователь подносит его к своему СА (A. Boothroyd, K. Fitz, J. Kindred, etc. Hearing aids and wireless technology, TheHearingReview, March 2008). Но в этом способе возникают проблемы как акустической совместимости, так и электромагнитной совместимости данных двух приборов. Обеспечение акустической совместимости обуславливает необходимость изменения усиления в динамиках ТА и чувствительности микрофона в СА, что может приводить к образованию обратной акустической связи в системе, и как следствие понижение разборчивости речи, а при определенных уровнях усиления и чувствительности микрофона к болезненным ощущениям пользователя.
Например, в США, разработан специальный стандарт на проверку совместимости разных типов СА и мобильных ТА между собой. В настоящее время часто добавляется дополнительное устройство к СА, имеющее автономное питание и работающее с ТА через беспроводной канал, например, Bluetooth (Yanz J.L. Phone sand hearing aids: issues, resolutions, and a new approach. Hearing Journal, 2005, 58 (10), pp.41-48). Это позволяет разнести СА и ТА на определенное расстояние друг от друга, при этом исключив проблему акустической и электромагнитной совместимости двух приборов. Однако недостатком такого способа является необходимость дополнительного устройства - ретранслятора сигнала между СА и ТА.
Известен также способ повышения разборчивости речи у слабослышащих пользователей в цифровых телекоммуникационных системах, базирующийся на СА со встроенным беспроводным каналом связи (R. Dong, D. Hermann, R. Brennan, E. Chau, Joint filter bank structures for integrating audio coding into hearing aid applications. - ICASSP-2008, - pp.1533-1536). Этот способ включает формирование входного аудиосигнала путем микширования сигнала микрофона с аудиосигналом, принятым из канала беспроводной связи от удаленного терминала (телевизор, мультимедийный проигрыватель, другой СА с беспроводным каналом связи и других устройств аудиосигналов со встроенными беспроводными каналами связи), динамическую компрессию входного аудиосигнала, заключающуюся в формировании субполосных аудиосигналов и управлении уровнем сигнала в соответствующих субполосах для обеспечения требуемой динамики уровней субполосных сигналов, обусловленных аудиограммой пользователя СА, последующее восстановление аудиосигнала на основе банка фильтров синтеза. Достоинством данного аналога со встроенным беспроводным каналом связи является исключение негативного влияния шумовой обстановки и реверберации в помещении на разборчивость речи пользователем СА в принятом аудиосигнале от удаленного терминала. Имеется возможность подключить пользователей в сеть СА, которая не подвержена влиянию акустической обстановки в помещении, и транслировать, например, экстренные сообщения. Недостатком здесь является повышенная сложность и стоимость СА, короткое расстояние связи, увеличенная потребляемая мощность СА. Но главным ограничением данного способа является то, что организация общения пользователей СА через ТА предполагает использование по существу способа первого аналога со всеми присущими ему недостатками, проблема как акустической совместимости, так и электромагнитной совместимости СА и ТА.
Известно персональное коммуникационное устройство, включающее передатчик и приемник, которые передают и принимают коммуникационные сигналы, кодирующие аудио сигналы, аудиопреобразователь, который делает аудиосигнал слышимым, микрофон, и схему управления, связанную с передатчиком, приемником, аудиопреобразователем и микрофоном, содержащую логику, применяющую многополосную компрессию к аудиосигналам, включая генерацию параметров для многополосной компрессии на основе хранимых пользовательских данных и на основе данных окружающей среды, установленные при управлении преобразователем, делающим аудиосигналы слышимыми.
Устройство, способно содержать три подпрофиля - аудиопрофиль пользователя, хранимый и получаемый, в том числе, с помощью удаленных средств, обладающих возможностью осуществить передачу аудиопрофиля устройству, профиль персональных предпочтений пользователя, данные об окружающей среде, а именно профиль окружающего шума, которые в любой комбинации друг с другом применяются к аудиосигналу, получаемому после декодирования коммуникационного сигнала, поступающего на приемник устройства (US, 7529545).
Ограничениями этого устройства являются:
- невозможность использования пользователем данного устройства персонализированного аудиосигнала, необходимого во время личного общения с человеком-собеседником;
- отсутствие возможности пользователем данного устройства получить персонализированный аудиосигнал при одновременном общении пользователя с другим абонентом по телефону и с собеседником лично, при приеме аудиосигнала из динамиков различных устройств, например во время просмотра передач телевидения, прослушивания музыки и т.п.;
- неосуществимость получения персонализированного аудиосигнала слабослышащими абонентами сетей связи, не имеющими подобных устройств, непосредственно из сетей связи, в частности при общении пользователя известного устройства с другим слабослышащим абонентом сети связи, не обладающего подобным устройством;
- отсутствие у пользователя данного устройства в соответствии с его предпочтениями реализации различных режимов: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков разнообразных устройств.
Наиболее близким к предлагаемому способу является способ компенсации потери слуха в телефонной системе, основанный на резолюции номера телефона (US, 6061431). В этом способе формируют персонализированный аудиосигнал для слабослыших пользователей на основе их атрибутов, полученных из их аудиограмм, хранящихся в базе данных и имеющих привязку к телефонным номерам слабослышащих пользователей.
Этот способ реализуется в сети связи, состоящей из ТА ближнего пользователя (абонента) и удаленного пользователя, устройств доступа в сеть данных ТА, а также автоматической телефонной станции - сервера сети, на котором размещается база атрибутов слабослышащих абонентов, программы обработки сигналов ближнего и удаленного абонентов и система селекции атрибутов по номеру слабослышащего пользователя. На сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, усиливают и/или ограничивают мощность обработанных аудиосигналов в соответствии с функцией обратной к частотной характеристике слуха слабослышащего пользователя для сохранения умеренной громкости, передают усиленные и/или ограниченные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей. В зависимости от того, кто из абонентов - ближний или удаленный является слабослышащим, можно выделить два варианта реализации способа.
В первом варианте удаленный абонент имеет нормальный слух, а ближний абонент - слабослышащий. В данном случае способ обработки речевого сигнала следующий. Речевой сигнал ближнего абонента без обработки через устройство доступа в сеть передается по сети связи в устройство доступа в сеть удаленного абонента и далее в ТА удаленного абонента. Аудиосигнал удаленного абонента через устройство доступа в сеть на основании номера телефона слабослышащего абонента (ближнего пользователя) поступает на сервер сети, где в программном модуле обработки сигнала удаленного абонента подвергается обработке сервером согласно атрибутам аудиограммы ближнего абонента, которая выбирается из базы атрибутов в соответствии с номером телефона ближнего абонента. Далее обработанный сигнал удаленного абонента через устройство доступа в сеть передается по сети связи в устройство доступа в сеть ближнего абонента и далее в телефонный аппарат ближнего абонента.
Во втором варианте удаленный и ближний абоненты оба слабослышащие. Тогда способ обработки речевых сигналов в коммуникационной сети реализуется следующим образом. Аудиосигналы (речевые) ближнего и удаленного абонентов через соответствующие устройства доступа в сеть поступают на сервер сети, где в соответствующих программных модулях подвергаются обработке сервером согласно атрибутам аудиограммы удаленного абонента (для речевого сигнала ближнего абонента) и атрибутам аудиограммы ближнего абонента (для речевого сигнала удаленного абонента), которые выбраны из базы атрибутов в соответствии с номерами удаленного абонента и ближнего абонента. Далее обработанные сигналы через соответствующие устройства доступа в сеть передаются по сети связи к телефонным аппаратам абонентов.
Достоинством данного способа компенсации потери слуха в системах телефонии является возможность формирования персонализируемого аудиосигнала для слабослышащих пользователей на основе обработки речевого сигнала пользователя на сервере сети согласно атрибутам слабослышащего пользователя сети, которые хранятся в базе атрибутов на сервере сети связи и доступны по номеру его телефона. При этом слабослышащий пользователь не использует свой СА во время телефонного разговора. По окончании разговора слабослышащий пользователь может снова использовать свой СА, что вызывает определенные неудобства для человека. СА у данного пользователя является основным инструментом в его активной жизнедеятельности. В тоже время слабослышащий человек со слуховым аппаратом испытывает ряд неудобств, обусловленных акустикой помещения, например, при восприятии звука от различных мультимедийных устройств, таких как музыкальные проигрыватели аудиосигнала, телевизоры и т.п.
Следует отметить, что этот известный способ не функционирует в цифровых телефонных сетях. Например, в сотовой телефонной сети требуется введение дополнительного декодирования/кодирования аудиосигнала на сервере сети, чтобы получить сигнал в виде импульсно-кодовой модуляции (ИКМ) для выполнения обработки сигналов ближнего и удаленного пользователей. Обработка сигналов пользователей в данном способе на сервере сети связи ведется в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, а также для компенсации потери слуха может включаться дополнительное усиление применяемое к широкополосному сигналу и ограничитель мощности выходного сигнала, чтобы аудиосигнал всегда сохранял умеренную громкость даже, если пользователь на другом конце сети начинает говорить очень громко. Однако у слабослышащих людей наблюдается утрата частотной избирательности - для чего необходимо обрабатывать аудиосигнал, в соответствии с психоакустической шкалой и необходимо увеличивать отношение сигнал-шум в принимаемом ТА аудиосигнале для одинакового уровня разборчивости речи с нормально слышащим человеком. Разборчивость речи выше, если частотное разрешение компрессора динамического диапазона максимально согласуется с частотным разрешением восприятия акустической информации человеком - шкалой барков (J.M. Kates and K.H. Arehart, "Multichannel dynamicrange compression using digital frequency warping," EURASIP J. Adv. Sig. Proc, vol. 2005, no. 18, pp.3003-3014, 2005).
Таким образом, известный способ обладает следующими недостатками:
- искажения аудиосигнала и низкая разборчивость речи;
- невозможность формирования персонализированного аудиосигнала, позволяющего пользователю возможность прослушивания аудиофайлов, радио и т.д.;
- отсутствие возможности у пользователя получить персонализированный аудиосигнал, необходимый ему во время личного общения с рядом находящимся собеседником при одновременном приеме аудиосигнала из динамиков различных устройств;
- неосуществимость одновременного ведения слабослышащим пользователем переговоров с удаленным абонентом сети связи, с находящимся рядом собеседником, и прослушивания аудиосигналов с мультимедийных устройств;
- невозможность использования в качестве сервера сети, кроме автоматической телефонной станции (АТС), компьютерных устройств в минимальной комплектации, состоящих из процессора, оперативного запоминающего устройства, устройства долговременного хранения информации и устройства обеспечивающего доступ в сеть связи;
- отсутствие у пользователя данного устройства в соответствии с его предпочтениями реализации различных режимов: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков разнообразных устройств.
Раскрытие изобретения
Решаемая изобретением задача - повышение качества и технико-эксплуатационных характеристик.
Технический результат, который может быть получен при осуществлении заявленного способа, - расширение функциональных возможностей, повышение качества звука и разборчивости речи в мобильных телефонных аппаратах и системах связи для слабослышащих абонентов.
Для решения поставленной задачи с достижением указанного технического результата в известном способе компенсации потери слуха в телефонной системе, заключающемся в том, что формируют персонализированные аудиосигналы для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм - частотных характеристик слуха слабослышащего пользователя, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей, при этом на сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе атрибутов слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей, согласно заявленному техническому решению в качестве сети связи используют сотовую сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат, при этом осуществляют режим, совмещающий функции мобильного телефонного и слухового аппарата.
Возможны дополнительные варианты осуществления способа, в которых целесообразно, чтобы:
- для осуществления режима, совмещающего функции мобильного телефонного и слухового аппарата, инсталлировали (с помощью электронного носителя информации или с персонального компьютера при помощи сети Интернет) в мобильный телефонный аппарат слабослышащего пользователя со встроенным беспроводным каналом связи программные модули - динамической компрессии аудиосигнала на основе атрибутов слуха пользователя и компенсации акустической обратной связи, микшируют сигнал микрофона мобильного телефонного аппарата для человека-собеседника, находящегося рядом со слабослышащим пользователем, с аудиосигналом, принятым по каналу беспроводной связи от мультимедийного устройства, производят динамическую компрессию микшированного аудиосигнала модулем динамической компрессии и компенсацию акустической обратной связи модулем компенсации акустической обратной связи, получая широкополосный аудиосигнал, который передают для воспроизведения мобильным телефонным аппаратом слабослышащего пользователя, при телефонном вызове мобильного телефонного аппарата слабослышащего пользователя битовый поток сигнала оборудования оператора сотовой сети передают по привязанным телефонным номерам на сервер сети связи, который преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции и по этому сигналу импульсно-кодовой модуляции формирует персонализированный аудиосигнал для слабослышащего пользователя на основе его атрибутов, далее на сервере сети связи персонализированный аудиосигнал кодируют и формируют битовый поток сигнала для данного персонализированного аудиосигнала, который передают по сети связи на мобильный телефонный аппарат слабослышащего пользователя для воспроизведения;
- на сервере связи дополнительно производили динамическую компрессию;
- при динамической компрессии формировали комплект субполосных аудиосигналов и управляли динамическим уровнем каждого субполосного аудиосигнала в каждой отдельной неравномерной субполосе частот в соответствии с частотной характеристикой слуха слабослышащего пользователя, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в отдельных неравномерных субполосах;
- при компенсации акустической обратной связи микшированный аудиосигнал дополнительно микшировали с выходным сигналом модуля компенсации акустической обратной связи, входным сигналом которого служит восстановленный широкополосный аудиосигнал модуля динамической компрессии, при этом расщепляют микшированный аудиосигнал и выходной сигнал модуля динамической компрессии на отдельные частотные каналы, оценивают коэффициенты адаптивной фильтрации в каждом отдельном частотном канале, осуществляют адаптивную фильтрацию, сигнал которой служит выходным сигналом модуля компенсации акустической обратной связи.
Достоинством предложенного способа в мобильных телефонах и системах связи является совмещение функции телефона на мобильном телефоне с функцией СА. В отличие от известных технических решений, наряду с коэффициентами динамической компрессии аудиосигнала, введена функция редактирования шумов окружающей среды, подавления обратной акустической связи. Это дает возможность, благодаря функции формирования персонализированного аудиосигнала для слабослышащих пользователей сети, реализованной на сервере сети связи без использования СА и дополнительных устройств, увеличивать разборчивость речи слабослышащему пользователю, комфортно общаться с собеседником даже в неблагоприятной акустической обстановке (ресторанах, вокзалах), исключить «свист» обратной связи, мобильно переключаться на телефонный разговор. Наличие беспроводного канала связи на мобильном ТА и функции СА дает возможность тугоухому человеку с высокой разборчивостью принимать сигнал аудиосигнал телевизора, сохранить качество звука музыкального центра и т.д., исключив шумовую обстановку среды.
Таким образом, существенными отличиями настоящего изобретения являются совмещение функции СА и ТА в одном устройстве - мобильном телефонном аппарате.
Специалистам понятно, что заявленный способ компенсации потери слуха в системе телефонии, формирующий персонализированный аудиосигнал для слабослышащих пользователей может быть осуществлен при помощи различных алгоритмов, не изменяющих его сущности, изложенной в независимом пункте формулы изобретения.
Указанные преимущества, а также особенности настоящего изобретения, поясняются лучшим вариантом его осуществления со ссылками на прилагаемые фигуры.
Краткий перечень чертежей
Фиг.1 изображает диапазон восприятия сигнала человека с нормальным слухом;
Фиг.2 - то же, что фиг.1, человека с поврежденной слуховой системой;
Фиг.3 - функциональная схема системы связи, с помощью которой осуществляется реализация заявленного способа;
Фиг.4 - функциональная схема формирования центральным процессором персонализированного аудиосигнала для слабослышащих пользователей сети;
Фиг.5 - характеристика вход/выход компрессора;
Фиг.6 - входной сигнал;
Фиг.7 - входной сигнал на фиг.6, полученный в результате компрессии динамического диапазона (КДД);
Фиг.8 - спектральная гистограмма аудиосигнала (речевого);
Фиг.9 - спектральная гистограмма сигнала, обработанного при помощи КДД;
Фиг.10 - диаграмма входного аудиосигнала;
Фиг.11 - то же, что фиг.10, после обработки алгоритмом редактирования шума;
Фиг.12 - амплитудно-частотная характеристика (АЧХ) банка фильтров анализа;
Фиг.13 - амплитудно-частотная характеристика (АЧХ) канала акустической обратной связи (АОС);
Фиг.14 - групповая задержка канала акустической обратной связи (АОС);
Фиг.15 - модель частотной характеристики мобильного телефонного аппарата для реализации заявленного способа;
Фиг.16 - входной аудиосигнал до подавления акустической обратной связи (АОС);
Фиг.17 - аудиосигнал на выходе громкоговорителя мобильного телефонного аппарата (без АОС);
Фиг.18 - аудиосигнал на выходе громкоговорителя мобильного телефонного аппарата, полученного в результате обработки входного аудиосигнала алгоритмом подавления акустической обратной связи (АОС).
Осуществление изобретения
На фиг.1 изображен диапазоны восприятия сигнала человеком с нормальным слухом, а на фиг.2 - человеком с нейросенсорной тугоухостью. Задача, которую решают современные цифровые слуховые аппараты, это - преобразование характеристики для слабослышащего пользователя (фиг.1) в характеристику нормально слышащего человека (фиг.2). Основной сложностью, возникающей при проектировании слуховых аппаратов, является ограничение допустимой задержки, вносимой в звуковой сигнал. При наличии большой задержки (свыше 8 мс) возникает паразитное эхо, которое отрицательно сказывается на восприятии. В современных СА обработка выполняется в частотных субполосах сигнала, что требует применения банков фильтров анализа и синтеза, которые вносят дополнительную групповую задержку и не обеспечивают задержки ниже 6-8 мс. Кроме того, при использовании СА с ТА по отдельности возникают проблемы, описанные в предшествующем уровне техники.
Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате может быть осуществлен с помощью устройств, изображенных на фигуре 3 функциональной схемы.
Способ реализуется в сети связи, состоящей из ТА ближнего абонента и удаленного абонента - мобильного телефонного аппарата (МТА) слабослышащего пользователя, устройств доступа в сеть данных ТА, а также сервера сети связи, на котором размещается база атрибутов слабослышащих пользователей, программное обеспечение обработки сигналов ближнего и удаленного абонентов и система селекции атрибутов по номеру тугоухого абонента.
Под МТА в настоящем изобретении понимается любое программируемое персональное коммуникационное устройство, например смартфон, iPhone, iPad, а под телефонными номерами любые идентификационные признаки пользователя, например, принятые в голосовой связи по протоколу IP-«Skype» и др.
Для работы МТА по первому варианту - в режиме слухового аппарата (СА) в существующие МТА со встроенным беспроводным каналом связи инсталлируются с помощью электронного носителя информации или с персонального компьютера при помощи сети Интернет программный модуль (программное обеспечение) динамической компрессии аудио сигнала на основе атрибутов слуха пользователя, полученные на основе аудиограмм слабослышащего пользователя, и модуль компенсации акустической обратной связи
При работе в режиме СА коммутатор находится в положении 2 (фиг.3). МТА включается, подключается беспроводной канал связи для прослушивания мультимедийных устройств (музыкальный центр, телевизор и т.п.). Сигнал беспроводного канала связи поступает на вход модуля динамической компрессии аудиосигнала подвергаясь двойному микшированию (программными средствами). На первое средство микширования из микрофона МТА через устройство ввода/вывода, выполненное на базе аналого-цифрового преобразователя (АЦП) и цифроаналогового преобразователя, поступают окружающие шумы. С выхода первого средства микширования сигнал d[n] поступает на первый вход модуля компенсации акустической обратной связи (АОС) и на первый вход второго средства микширования, на второй вход которого поступает сигнал с выхода модуля компенсации АОС. Сигнал e[n] после второго микширования поступает на вход модуля динамической компрессии аудиосигнала, в котором подвергается сужению динамического диапазона в соответствии атрибутами (аудиограммой) слабослышащего пользователя. С выхода модуля динамической компрессии аудиосигнала восстановленный сигнал s[n] (блок восстановления находится на выходе модуля динамической компрессии и служит для восстановления широкополосности, на фиг.3 не показан) поступает на второй вход модуля компенсации АОС и на вход устройства ввода/вывода для его воспроизведения громкоговорителем МТА (преимущественно наушниками слабослышащего пользователя). Модуль компенсации акустической обратной связи выполнен на базе двух банков фильтров анализа АОС, банка фильтров синтеза АОС, блока субполосной обработки сигналов и предназначен для подавления акустической обратной связи.
Для работы МТА по второму варианту - в режиме слухового аппарата (СА) человек-собеседник, находящийся рядом со слабослышащим пользователем, разговаривает с ним. Аудиосигнал (речевой) с выхода микрофона через устройство ввода/вывода поступает вместе с окружающими шумами на первое средство микширования, поэтому основной входной аудиосигнал для модуля динамической компрессии формируется путем микширования сигнала микрофона с аудиосигналом, принятым из канала беспроводной связи от мультимедийного устройства. Далее функционирование осуществляется согласно первому варианту. Слабослышащий пользователь, не прерываясь, может прослушивать как фразы собеседника, так и музыку, например, звучащую из музыкального центра.
Если поступает телефонный звонок слабослышащий пользователь МТА переключает коммутатор в положение 1 (фиг.3), МТА подключается к сети сотовой связи и находится в режиме функционирования телефона.
Учитывая, что разработчики операционной системы МТА типа iPhone не дают возможности доступа к GSM кодеру-декодеру (преимущественно это обусловлено целями безопасности), битовый поток (например, GSM) канала перехватывается по телефонному номеру сервером сети связи (фиг.3) у оборудования оператора мобильной связи (услуга сотового оператора). Сервер сети связи преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции (ИКМ). Дальнейшая обработка сигнала ИКМ производится в соответствии с находящейся на сервере программой формирования персоанализированного аудиосигнала для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих абонентов. Сервер связи обрабатывает аудиосигналы в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, усиливает и/или ограничивает мощность обработанных аудиосигналов в соответствии с функцией обратной к частотной характеристике слуха слабослышащего пользователя для сохранения умеренной громкости. После обработки сервером связи формируется ИКМ код сигнала с учетом патологии слабослышащего пользователя. Далее данный код кодируется GSM кодером и передается в устройство доступа в сеть, а далее МТА принимает данный битовый поток из канала сети связи (приемо-передатчик МТА для простоты на фиг.3 не показан), декодирует его устройством декодера, декодированный сигнал поступает на вход устройства ввода/вывода и речевой аудиосигнал воспроизводится громкоговорителем МТА (наушниками).
В зависимости от того, кто из абонентов: ближний или удаленный - является слабослышащим, возможны варианты способа, реализующего телефонный режим.
При работе МТА по третьему варианту - в режиме телефонного аппарата, удаленный абонент имеет нормальный слух, а ближний абонент - слабослышащий. В этом случае речевой аудиосигнал в обычном режиме передается через устройство кодера МТА в устройство доступа в сеть ближнего абонента, минуя сервер связи, и передается по сети связи при помощи оборудования оператора сотовой связи через устройство доступа в сеть удаленного абонента к ТА удаленного абонента. Аудиосигнал удаленного абонента через устройство доступа в сеть на основании номера телефона слабослышащего абонента (ближнего абонента) поступает на сервер сети. На сервере связи сигнал удаленного абонента подвергается динамической компрессии согласно атрибутам аудиограммы ближнего абонента, которая выбирается из базы атрибутов в соответствии с номером телефона ближнего абонента. Далее обработанный и восстановленный сигнал удаленного абонента через устройство доступа в сеть передается по сети связи в устройство доступа в сеть ближнего абонента. Как было описано выше, МТА ближнего абонента принимает данный битовый поток из канала сети связи, декодирует его устройством декодера. Декодированный сигнал поступает на вход устройства ввода/вывода и речевой аудиосигнал удаленного абонента воспроизводится громкоговорителем МТА (наушниками).
При работе МТА по четвертому варианту - в режиме телефонного аппарата, удаленный и ближний абоненты оба слабослышащие. В этом случае речевые сигналы ближнего и удаленного абонентов через соответствующие устройства доступа в сеть поступают на сервер сети связи, где подвергаются динамической компрессии согласно атрибутам аудиограммы удаленного абонента (для речевого сигнала ближнего абонента) и атрибутам аудиограммы ближнего абонента (для речевого сигнала удаленного абонента), которые выбраны из базы атрибутов в соответствии с телефонными номерами удаленного абонента и ближнего абонента. Далее обработанные сигналы восстановленные через соответствующие устройства доступа в сеть передаются по сети связи к МТА обоих абонентов.
При работе МТА по пятому варианту - в режиме телефонного разговора, общения с рядом находящимся собеседником, прослушивания аудиосигнала из мультимедийных внешних устройств и принятого от мультимедийного программного обеспечения, находящегося в МТА и предназначенного для воспроизведения аудиофайлов, радио и т.п., пользователь переключает коммутатор в одновременное положение 1 и 2. При этом одновременно реализуются все предыдущие четыре варианта режимов. Поэтому пользователь имеет возможность получить персонализированный аудиосигнал при одновременном общении пользователя с другим абонентом по телефону и с собеседником лично, при приеме аудио сигнала из динамиков различных устройств, например во время просмотра передач телевидения, прослушивания музыки и т.п.
Специалистам понятно, что переключением коммутатора слабослышащий пользователь имеет возможность управлять режимами: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков и мультимедийных устройств.
Для формирования персонализированного сигнала слабослышащего пользователя центральный процессор его МТА функционирует следующим образом (фиг.4).
Формирование персонализированного аудиосигнала на центральном процессоре МТА осуществляется с помощью следующего программного обеспечения: динамической компрессии аудио сигналов, состоящего из неравнополосного банка фильтров, канальных умножителей на корректирующие коэффициенты усиления, выходного сумматора восстановления широкополосности сигнала, компенсации акустической обратной связи на основе субполосной адаптивной фильтрации, в программный модуль которой включены два банка фильтров анализа АОС, банк фильтров синтеза АОС, (для краткости показаны на фиг.4, блок анализа АОС и банк синтеза АОС), блок субполосной обработки сигнала, который оценивает и обновляет коэффициенты адаптивной фильтрации, измеряет спектральную плотность мощности шума на основе вероятностной оценки наличия речевой паузы, определенной программой детектора речевой активности, и рассчитывает весовые коэффициенты алгоритма редактирования шума окружающей среды.
Сигнал d[n] (см. фиг.1, 3) поступает с выхода первого средства микширования на вход детектора речевой активности, на вход первого банка фильтров анализа АОС и на первый вход второго средства микширования, на второй вход которого поступает сигнал 
с первого выхода банка фильтров синтеза АОС. Сигнал e[n] с выхода второго средства микширования поступает на вход неравнополосного банка фильтров. Сигналы с выходов детектора речевой активности, первого банка анализа АОС, соответственно поступают на первый и второй входы блока субполосной обработки сигнала. Неравнополосный банк фильтров имеет К выходов, на которых с каждого фильтра, входящего в состав банка, получают сигналы e0[n]…eK-1[n]. Эти сигналы поступают на соответствующие входы данных блока субполосной обработки сигнала. Блок субполосной обработки сигнала производит расчет субполосных коэффициентов усиления g0…gK-1. Сигналы e0[n]…eK-1[n] и g0…gK-1 соответственно поступают с выходов данных неравнополосного банка фильтров и с выходов данных блока субполосной обработки сигнала на первый и второй входы набора средств микширования, выходы которых соответственно подсоединены к входам многовходового сумматора, служащего для восстановления широкополосности, с выхода которого получают сигнал s[n] для его воспроизведения МТА слабослышащего пользователя. Выход сумматора соединен со вторым блоком анализа АОС, выход которого подсоединен к третьему входу блока субполосной обработки сигнала. Выход блока субполосной обработки сигнала соединен со входом блока синтеза АОС. В блок субполосной обработки сигнала вводятся данные об атрабутах, соответствующих аудиограмме конкретного пользователя.
Сигнал d[n] (см. фиг.1, 3) поступает с выхода первого средства микширования на вход детектора речевой активности, на вход первого банка анализа АОС и на первый вход второго средства микширования, на второй вход которого поступает сигнал
с первого выхода банка синтеза АОС. Сигнал e[n] с выхода второго средства микширования поступает на вход неравнополосного банка фильтров. Сигналы с выходов детектора речевой активности, первого банка анализа АОС, со второго выхода банка синтеза АОС соответственно поступают на первый, второй и третий входы блока субполосной обработки сигнала. Неравнополосный банк фильтров имеет К выходов, на которых с каждого фильтра, входящего в состав банка, получают сигналы e0[n]…eK-1[n]. Эти сигналы поступают на соответствующие входы данных блока субполосной обработки сигнала. Блок субполосной обработки сигнала производит расчет субполосных коэффициентов усиления gK. Отсчеты канальных сигналов e0[n]…eK-1[n] и коэффициенты g0…gK-1 соответственно поступают на первый и второй входы канальных умножителей на корректирующие коэффициенты усиления, выходы которых соответственно подсоединены к входам многовходового сумматора, служащего для восстановления широкополосности, с выхода которого получают сигнал s[n] для его воспроизведения МТА слабослышащего пользователя. Выход сумматора соединен со входом второго блока анализа АОС, выход которого подсоединен к третьему входу блока субполосной обработки сигнала. В блок субполосной обработки сигнала вводятся данные об атрибутах, соответствующих аудиограмме конкретного пользователя.
Блок субполосной обработки управляет уровнем сигнала в соответствующих субполосах для обеспечения требуемой динамики уровней субполосных сигналов, обусловленных аудиограммой (атрибутами) слабослышащего пользователя МТА, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в соответствующих субполосах, которые интегрируются в соответствующие коэффициенты субполосного усиления gk.
Компрессия динамического диапазона (КДД) используется для уменьшения разницы в уровнях компонент с большой и малой интенсивностью в аудиосигнале. При этом широкий динамический диапазон речевого сигнала отображается в суженный динамический диапазон остаточного слуха.
В настоящем способе в качестве неравнополосного банка фильтров использовалась схема фильтрации с малой (менее 4 мс) групповой задержкой на основе кохлеарного банка фильтров, который реализован в виде набора параллельных полосовых фильтров с бесконечной импульсной характеристикой (БИХ) второго порядка. Кохлеарный банк фильтров обладает несколькими важными желательными свойствами: 1) декомпозиция сигнала выполняется на критические полосы слуховой системы человека; 2) маленькая (менее 4 мс) групповая задержка; 3) высокая вычислительная эффективность (фильтрация в каждом канале выполняется при помощи БИХ фильтра второго порядка). В техническом решении использовался 22-канальный банк фильтров, основанный на разностной кохлеарной модели второго порядка.
В соответствии с имеющимися пороговыми значениями по атрибутам слабослышащего пользователя блок субполосной обработки сигнала вычисляет корректирующие коэффициенты усиления g0…gK-1 сигнала в каждой субполосе. Далее используется алгоритм компрессии, поскольку динамический диапазон выходного сигнала ограничен болевым порогом. Основная идея алгоритма компрессии динамического диапазона (КДД) заключается в автоматическом управлении коэффициентами усиления в зависимости от текущего уровня входного сигнала. Основными параметрами КДД являются функция ввода/вывода и время атаки и восстановления.
Сигналы в субполосах с высокой мощностью ослабляются, а с малой мощностью усиливаются. Благодаря такой обработке тихие звуки становятся слышимыми, а громкие звуки не вызывают дискомфортных ощущений. Таким образом, КДД заключается в автоматическом управлении коэффициентами усиления в зависимости от текущего уровня входного сигнала. Основными параметрами КДД являются следующие: порог компрессии (СТ); коэффициент сжатия (CR); время атаки и отпускания; коэффициент усиления слухового аппарата (GdB). Порог компрессии (СТ), измеряемый в децибелах, определяет точку изгиба характеристики вход/выход компрессора, после которой алгоритм КДД становится активным. Если уровень входного сигнала ниже СТ, то выходной сигнал усиливается линейно. В случае, когда уровень выходного сигнала выше порога компрессии (СТ), коэффициент усиления компрессора уменьшается. Параметр CR определяет степень сжатия динамического диапазона. Например, значение CR=5 (или 5:1) означает, что на каждые 5 дБ увеличения уровня входного сигнала, уровень выходного сигнала возрастет только на 1 дБ. На фиг.5 приводится характеристика вход/выход компрессора для параметров CR=2, CT=70 дБ и GdB=10 дБ. Данный график определяет соотношение между входным и выходным уровнями звукового давления (soundpressurelevel - SPL) в компрессоре.
На фигурах 6 и 7 показан пример результата обработки входного сигнала (фиг.6), состоящего из двух частей - громкого и тихого участка алгоритмом КДД (фиг.7). Отчетливо виден эффект нелинейного усиления (обе части приблизительно выровнялись по громкости (фиг.7). Видимые в спектре после обработки искажения появляются в результате нелинейной обработки в компрессоре, но не оказывают ощутимого влияния на разборчивость речи и узнаваемость диктора.
Тестовый речевой сигнал (фиг.8) обрабатывался при помощи алгоритма КДД, настроенного на конкретный профиль потери слуха. Полученная после обработки сигнала спектральная гистограмма представлена на фиг.9. Результаты показывают, что алгоритм КДД позволяет адаптировать уровень выходного сигнала к слуховой характеристике слабослышащего пользователя.
В основе используемого алгоритма редактирования шума окружающей среды лежит психоакустически мотивированное правило спектрального взвешивания. Алгоритм использует настраиваемый параметр ζ=10-RL/10, который определяет желаемый уровень остаточного шума RL в дБ. Оценка спектральной плотности мощности шума (СПМ) выполняется для каждого канала алгоритма КДД при помощи вычислительно эффективного и устойчивого к ошибкам алгоритма на основе модифицированного метода MCRA (Minima Controlled Recursive Averagmg). Текущее значение СПМ шума Rn (где n - номер отсчета) вычисляется усреднением предыдущих значений СПМ Re(n), используя сглаживающие параметры, зависящие от вероятности наличия полезного сигнала, который определяет детектор речевой активности, например, кепстрального анализа. Параметры обновляются каждые 4 мс.
На сервере связи также может быть произведена аналогичная динамическая компрессия, но без компенсации АОС и шумоподавления.
На фигурах 10 и 11 представлены результаты работы алгоритма редактирования шума окружающей среды: фиг.10 - сигнал на входе микрофона, а на фиг.11 - обработанный.
Подавление акустической обратной связи выполняется следующим образом (фиг.4). При помощи первого банка фильтров анализа АОС выполняется расщепление сигнала d[n] на входе КДД на М спектральных компонент. При помощи второго банка анализа АОС, идентичного первому, выполняется расщепление сигнала s[n] выходе КДД на M спектральных компонент. Поскольку спектры сигналов внутри каналов занимают более узкие частотные полосы, выполняется переход на более низкую частоту дискретизации. В банке фильтров синтеза АОС (банк фильтров) исходная частота дискретизации восстанавливается. Блок субполосной обработки сигналов (фиг.4) в каждом канале банка фильтров оценивает свой вектор коэффициентов адаптивного фильтра. Последние результаты в области адаптивной фильтрации показывают, что неравнополосные адаптивные структуры превосходят равнополосные по таким параметрам как скорость сходимости и/или модельная ошибка, благодаря их повышенной гибкости. Для субполосной декомпозиции сигнала в техническом решении используется передискретизированный неравнополосный косинусно-модулированный банк фильтров (КМБФ), амплитудно-частотная характеристика которого показана на фиг.12.
В каждом канале оценивается свой набор коэффициентов адаптивного фильтра. Процедура оценки одинакова для всех каналов и отличается лишь значениями параметров, таких как порядок фильтра, коэффициент потерь и шаг адаптации. Обновление коэффициентов реализуется на основе алгоритма наименьших квадратов (для упрощения записи индекс номера канала опущен):
1. Каждому коэффициенту фильтра w[l], l=0, 1, …, L-1 присваивается нулевое значение, L - порядок адаптивного фильтра.
2. Вычисляется выходной отсчет фильтра: 
, где m - номер текущего отсчета входного сигнала, s[m] - входной сигнал.
3. Вычисляется оценка ошибки: 
, где d[m] - желаемый сигнал.
4. Обновляются весовые коэффициенты: w[l]=δw[l]+2µe[m]×[m-l], где 0<δ<1 -коэффициент потерь. Параметр µ, представляет собой шаг адаптации алгоритма. Увеличивается номер текущего отсчета: m=m+1. Алгоритм переходит к шагу 2.
На фигурах 13 и 14 изображены частотные характеристики моделируемого канала акустической обратной связи.
Для моделирования прямого канала, т.е. обработки сигнала в МТА, выбрана усредненная АЧХ (фиг.15), которая компенсирует типичное повреждение слуховой системы. Наибольшие потери происходят в районе 1,5 кГц, т.е. в том диапазоне частот, где речь имеет наибольшую информативность.
На фигурах 16, 17, 18 показаны результаты работы модуля АОС: фиг.16 - входной аудиосигнал, фиг.17 - аудиосигнал на выходе динамика, из характеристики отчетливо видно возбуждение системы на частоте около 5000 Гц, фиг.18 результат обработки входного аудиосигнала алгоритмом подавления акустической обратной связи. Из приведенных спектрограмм видно, что использование алгоритма подавления АОС позволяет использовать более высокие коэффициенты усиления для обработки сигнала в прямом канале, что приводит к увеличению разборчивости речи слабослышащим пользователем.
Промышленная применимость
Наиболее успешно заявленный способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате промышленно применим как мультимедийное приложение для людей с нейросенсорной тугоухостью.
Claims (5)
1. Способ компенсации потери слуха в телефонной системе, заключающийся в том, что формируют персонализированные аудиосигналы для слабослышащих пользователей на основе их атрибутов, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей, при этом на сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе атрибутов слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей, при этом в качестве сети связи используют беспроводную сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат, при этом осуществляют режим телефонного аппарата для абонента, имеющего нормальный слух, и слабослышащего абонента, отличающийся тем, что в качестве атрибутов слабослышащего пользователя используют аудиограмму - частотную характеристику слуха слабослышащего пользователя, при этом мобильный телефонный аппарат осуществляет:
- режим слухового аппарата для прослушивания слабослышащим пользователем мультимедийных устройств,
- режим слухового аппарата для разговора с человеком-собеседником, находящимся рядом со слабослышащим пользователем,
- режим телефонного аппарата для слабослышащих.
- режим слухового аппарата для прослушивания слабослышащим пользователем мультимедийных устройств,
- режим слухового аппарата для разговора с человеком-собеседником, находящимся рядом со слабослышащим пользователем,
- режим телефонного аппарата для слабослышащих.
2. Способ по п.1, отличающийся тем, что инсталлируют в мобильный телефонный аппарат слабослышащего пользователя со встроенным беспроводным каналом связи программные модули - динамической компрессии аудиосигнала на основе атрибутов слуха пользователя и компенсации акустической обратной связи, микшируют сигнал микрофона мобильного телефонного аппарата для человека-собеседника, находящего рядом со слабослышащим пользователем, с аудиосигналом, принятым по каналу беспроводной связи от мультимедийного устройства, производят динамическую компрессию микшированного аудиосигнала модулем динамической компрессии и компенсацию акустической обратной связи модулем компенсации акустической обратной связи, получая широкополосный аудиосигнал, который передают для воспроизведения мобильным телефонным аппаратом слабослышащего пользователя, при телефонном вызове мобильного телефонного аппарата слабослышащего пользователя битовый поток сигнала оборудования оператора сотовой сети передают по привязанным телефонным номерам на сервер сети связи, который преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции, и по этому сигналу импульсно-кодовой модуляции формируется персонализированный аудиосигнал для слабослышащего пользователя на основе его атрибутов, далее на сервере сети связи персонализированный аудиосигнал кодируют и формируют битовый поток сигнала для данного персонализированного аудиосигнала, который передают по сети связи на мобильный телефонный аппарат слабослышащего пользователя для воспроизведения.
3. Способ по п.2, отличающийся тем, что при динамической компрессии формируют комплект субполосных аудиосигналов и управляют динамическим уровнем каждого субполосного аудиосигнала в каждой отдельной неравномерной субполосе частот в соответствии с частотной характеристикой слуха слабослышащего пользователя, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в отдельных неравномерных субполосах.
4. Способ по п.2, отличающийся тем, что при компенсации акустической обратной связи микшированный аудиосигнал дополнительно микшируют с выходным сигналом модуля компенсации акустической обратной связи, входным сигналом которого служит восстановленный широкополосный аудиосигнал модуля динамической компрессии, при этом расщепляют микшированный аудиосигнал и выходной сигнал модуля динамической компрессии на отдельные частотные каналы, оценивают коэффициенты адаптивной фильтрации в каждом отдельном частотном канале, осуществляют адаптивную фильтрацию, сигнал которой служит выходным сигналом модуля компенсации акустической обратной связи.
5. Способ по п.1, отличающийся тем, что упомянутые режимы осуществляют по отдельности или одновременно.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013125243/08A RU2568281C2 (ru) | 2013-05-31 | 2013-05-31 | Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате |
| CN201480043111.9A CN105531764A (zh) | 2013-05-31 | 2014-04-23 | 用于在电话系统和移动电话装置中补偿听力损失的方法 |
| US14/894,958 US20160142538A1 (en) | 2013-05-31 | 2014-04-23 | Method for compensating for hearing loss in a telephone system and in a mobile telephone apparatus |
| PCT/RU2014/000297 WO2014193264A1 (ru) | 2013-05-31 | 2014-04-23 | Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013125243/08A RU2568281C2 (ru) | 2013-05-31 | 2013-05-31 | Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013125243A RU2013125243A (ru) | 2015-04-10 |
| RU2568281C2 true RU2568281C2 (ru) | 2015-11-20 |
Family
ID=51989169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013125243/08A RU2568281C2 (ru) | 2013-05-31 | 2013-05-31 | Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20160142538A1 (ru) |
| CN (1) | CN105531764A (ru) |
| RU (1) | RU2568281C2 (ru) |
| WO (1) | WO2014193264A1 (ru) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10687155B1 (en) * | 2019-08-14 | 2020-06-16 | Mimi Hearing Technologies GmbH | Systems and methods for providing personalized audio replay on a plurality of consumer devices |
| US9943253B2 (en) * | 2015-03-20 | 2018-04-17 | Innovo IP, LLC | System and method for improved audio perception |
| US10446018B1 (en) | 2015-09-25 | 2019-10-15 | Apple Inc. | Controlled display of warning information |
| JP6416446B1 (ja) * | 2017-03-10 | 2018-10-31 | 株式会社Ｂｏｎｘ | 通信システム、通信システムに用いられるａｐｉサーバ、ヘッドセット、及び携帯通信端末 |
| EP3665910B1 (en) * | 2017-08-07 | 2021-08-04 | Sonova AG | Online automatic audio transcription for hearing aid users |
| US10951994B2 (en) * | 2018-04-04 | 2021-03-16 | Staton Techiya, Llc | Method to acquire preferred dynamic range function for speech enhancement |
| NL2020909B1 (en) | 2018-05-09 | 2019-11-18 | Audus B V | Method for personalizing the audio signal of an audio or video stream |
| CN109147808B (zh) * | 2018-07-13 | 2022-10-21 | 南京工程学院 | 一种言语增强助听方法 |
| DE102019201456B3 (de) * | 2019-02-05 | 2020-07-23 | Sivantos Pte. Ltd. | Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes |
| US11252518B2 (en) | 2019-06-01 | 2022-02-15 | Apple Inc. | Media system and method of accommodating hearing loss |
| DE102020114026A1 (de) * | 2019-06-01 | 2020-12-03 | Apple Inc. | Mediensystem und verfahren zur berücksichtigung eines hörverlustes |
| CN110996143B (zh) * | 2019-11-26 | 2022-02-22 | 音科有限公司 | 数字电视信号处理方法、电视机、装置及存储介质 |
| CN111050261A (zh) * | 2019-12-20 | 2020-04-21 | 深圳市易优斯科技有限公司 | 听力补偿方法、装置及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU156U1 (ru) * | 1993-07-29 | 1994-11-25 | Товарищество с ограниченной ответственностью - Фирма "Дуэт" | Устройство для компенсации потери слуха |
| US5737389A (en) * | 1995-12-18 | 1998-04-07 | At&T Corp. | Technique for determining a compression ratio for use in processing audio signals within a telecommunications system |
| US6061431A (en) * | 1998-10-09 | 2000-05-09 | Cisco Technology, Inc. | Method for hearing loss compensation in telephony systems based on telephone number resolution |
| US6094489A (en) * | 1996-09-13 | 2000-07-25 | Nec Corporation | Digital hearing aid and its hearing sense compensation processing method |
| EP1448022A1 (en) * | 2003-02-14 | 2004-08-18 | GN ReSound A/S | Dynamic Compression in a hearing aid |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020150219A1 (en) * | 2001-04-12 | 2002-10-17 | Jorgenson Joel A. | Distributed audio system for the capture, conditioning and delivery of sound |
| CA2354755A1 (en) * | 2001-08-07 | 2003-02-07 | Dspfactory Ltd. | Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank |
| EP3157271A1 (en) * | 2004-03-05 | 2017-04-19 | Etymotic Research, Inc | Companion microphone system and method |
| CN101237814B (zh) * | 2005-06-10 | 2012-11-14 | 纽诺莫尼可斯有限公司 | 用于频谱地调整数字音频信号的数字回放设备和方法及装置 |
| US7634098B2 (en) * | 2005-07-25 | 2009-12-15 | Sony Ericsson Mobile Communications, Ab | Methods, devices, and computer program products for operating a mobile device in multiple signal processing modes for hearing aid compatibility |
| US7689248B2 (en) * | 2005-09-27 | 2010-03-30 | Nokia Corporation | Listening assistance function in phone terminals |
| US7680465B2 (en) * | 2006-07-31 | 2010-03-16 | Broadcom Corporation | Sound enhancement for audio devices based on user-specific audio processing parameters |
| US8670355B1 (en) * | 2007-10-18 | 2014-03-11 | At&T Mobility Ii Llc | System and method for network based hearing aid compatible mode selection |
| US20090192793A1 (en) * | 2008-01-30 | 2009-07-30 | Desmond Arthur Smith | Method for instantaneous peak level management and speech clarity enhancement |
| US20100056050A1 (en) * | 2008-08-26 | 2010-03-04 | Hongwei Kong | Method and system for audio feedback processing in an audio codec |
| DK2211339T3 (en) * | 2009-01-23 | 2017-08-28 | Oticon As | listening System |
| US9020621B1 (en) * | 2009-11-18 | 2015-04-28 | Cochlear Limited | Network based media enhancement function based on an identifier |
| EP2521377A1 (en) * | 2011-05-06 | 2012-11-07 | Jacoti BVBA | Personal communication device with hearing support and method for providing the same |
| US8811638B2 (en) * | 2011-12-01 | 2014-08-19 | Elwha Llc | Audible assistance |
-
2013
- 2013-05-31 RU RU2013125243/08A patent/RU2568281C2/ru not_active IP Right Cessation
-
2014
- 2014-04-23 CN CN201480043111.9A patent/CN105531764A/zh active Pending
- 2014-04-23 US US14/894,958 patent/US20160142538A1/en not_active Abandoned
- 2014-04-23 WO PCT/RU2014/000297 patent/WO2014193264A1/ru active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU156U1 (ru) * | 1993-07-29 | 1994-11-25 | Товарищество с ограниченной ответственностью - Фирма "Дуэт" | Устройство для компенсации потери слуха |
| US5737389A (en) * | 1995-12-18 | 1998-04-07 | At&T Corp. | Technique for determining a compression ratio for use in processing audio signals within a telecommunications system |
| US6094489A (en) * | 1996-09-13 | 2000-07-25 | Nec Corporation | Digital hearing aid and its hearing sense compensation processing method |
| US6061431A (en) * | 1998-10-09 | 2000-05-09 | Cisco Technology, Inc. | Method for hearing loss compensation in telephony systems based on telephone number resolution |
| EP1448022A1 (en) * | 2003-02-14 | 2004-08-18 | GN ReSound A/S | Dynamic Compression in a hearing aid |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160142538A1 (en) | 2016-05-19 |
| WO2014193264A1 (ru) | 2014-12-04 |
| CN105531764A (zh) | 2016-04-27 |
| RU2013125243A (ru) | 2015-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2568281C2 (ru) | Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате | |
| US8964998B1 (en) | System for dynamic spectral correction of audio signals to compensate for ambient noise in the listener's environment | |
| KR100623411B1 (ko) | 능동 등화를 구비한 통신 장치 및 이를 위한 방법 | |
| US8918197B2 (en) | Audio communication networks | |
| US6768795B2 (en) | Side-tone control within a telecommunication instrument | |
| US7483831B2 (en) | Methods and apparatus for maximizing speech intelligibility in quiet or noisy backgrounds | |
| JP5151762B2 (ja) | 音声強調装置、携帯端末、音声強調方法および音声強調プログラム | |
| US20080254753A1 (en) | Dynamic volume adjusting and band-shifting to compensate for hearing loss | |
| JP4282317B2 (ja) | 音声通信装置 | |
| US10805741B2 (en) | Audio systems, devices, and methods | |
| AU4704900A (en) | Hearing aid device incorporating signal processing techniques | |
| WO2002093876A2 (en) | Final signal from a near-end signal and a far-end signal | |
| EP1385324A1 (en) | A system and method for reducing the effect of background noise | |
| US11978469B1 (en) | Ambient noise aware dynamic range control and variable latency for hearing personalization | |
| US9875754B2 (en) | Method and apparatus for pre-processing speech to maintain speech intelligibility | |
| CN116208879A (zh) | 具有主动降噪功能的耳机及主动降噪方法 | |
| Sauert et al. | Near end listening enhancement with strict loudspeaker output power constraining | |
| CN116367066A (zh) | 具有音频质量检测的音频设备及相关方法 | |
| EP2247082A1 (en) | Telecommunication device, telecommunication system and method for telecommunicating voice signals | |
| EP3072314B1 (en) | A method of operating a hearing system for conducting telephone calls and a corresponding hearing system | |
| CN115714948A (zh) | 一种音频信号处理方法、装置及存储介质 | |
| US20240276171A1 (en) | Method for processing audio input data and a device thereof | |
| US20240144947A1 (en) | Near-end speech intelligibility enhancement with minimal artifacts | |
| US11463809B1 (en) | Binaural wind noise reduction | |
| US20230267910A1 (en) | Method for reducing echo in a hearing instrument and hearing instrument |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190601 |