JP7518357B2 - Auscultation system, stethoscope, and method - Google Patents
Auscultation system, stethoscope, and method Download PDFInfo
- Publication number
- JP7518357B2 JP7518357B2 JP2020109205A JP2020109205A JP7518357B2 JP 7518357 B2 JP7518357 B2 JP 7518357B2 JP 2020109205 A JP2020109205 A JP 2020109205A JP 2020109205 A JP2020109205 A JP 2020109205A JP 7518357 B2 JP7518357 B2 JP 7518357B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- auscultatory
- collected
- sound
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002555 auscultation Methods 0.000 title claims description 91
- 238000000034 method Methods 0.000 title claims description 12
- 230000002159 abnormal effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、聴診システム、聴診器、及び、方法に関する。 The present invention relates to an auscultation system, a stethoscope, and a method.
聴診器の中には、マイク等のセンサーにより電子的に心音等の音を採取し、採取した音を増幅し、増幅した音を医師等に聴取させる、いわゆる電子聴診器と呼ばれるものがある(例えば、特許文献1参照。)。電子聴診器により取得された音は、例えば、周波数解析が行われる場合がある。特許文献2には、以下の記載がある。「テレビ電話などを用いた遠隔診療において、聴診器による診断を行う場合、マイクロフォンを内蔵したチェストピースを有する聴診器を患者自身が自己の身体に接触させて、心音などをマイクロフォンで電気信号に変換し、これを通信により遠隔の医師に送信するという方法が用いられる。しかし、患者は聴診器の使用に慣れておらず、チェストピースが体表面に適切に接触できていないことがある。このような場合、従来の聴診器では、遠隔の映像からの視覚情報を見て、チェストピースが体に接触しているかどうかを医師が判断をすることは非常に困難であり、チェストピースが体表面に適切に接触していないことによる誤診を招く恐れがあった。」
Among stethoscopes, there are so-called electronic stethoscopes that electronically pick up sounds such as heart sounds using sensors such as microphones, amplify the picked up sounds, and allow doctors and others to listen to the amplified sounds (see, for example, Patent Document 1). The sounds picked up by the electronic stethoscope may be subjected to, for example, frequency analysis.
上述した特許文献2に記載の課題の他、遠隔医療(診療)、在宅医療において、一般ユーザー(患者)が、聴診器で心音等を採取するとき、聴診器を身体の適切な位置に接触させる(位置合わせする)ことは容易ではなく、安定した聴診音の採取が難しいという問題があった。
In addition to the issues described in
本発明の目的は、容易に、安定した聴診音が採取可能な手段を提供することである。 The object of the present invention is to provide a means for easily and stably obtaining auscultatory sounds.
第1の発明の聴診システムは、接触面の略中央に配置され、聴診音を採取するための第1センサーと、前記接触面において、前記第1センサーの周囲に配置され、聴診音を採取するための複数の第2センサーと、報知部と、制御部と、を備え、前記制御部は、前記第1センサーによる聴診音と、前記第2センサーによる聴診音と、に基づいて、採取すべき聴診音の方向を判断し、判断した聴診音の方向を、前記報知部により報知することを特徴とする。 The auscultation system of the first invention comprises a first sensor arranged at approximately the center of the contact surface for collecting auscultatory sounds, a plurality of second sensors arranged around the first sensor on the contact surface for collecting auscultatory sounds, an alarm unit, and a control unit, and is characterized in that the control unit determines the direction of the auscultatory sounds to be collected based on the auscultatory sounds from the first sensor and the auscultatory sounds from the second sensor, and notifies the determined direction of the auscultatory sounds via the alarm unit.
本発明では、制御部は、第1センサーによる聴診音と、第2センサーによる聴診音と、に基づいて、採取すべき聴診音の方向を判断し、判断した聴診音の方向を、報知部により報知する。これにより、ユーザーは、報知された方向に、聴診器を移動させ、採取すべき聴診音を採取することができるため、容易に、安定した聴診音を採取することができる。 In the present invention, the control unit determines the direction of the auscultatory sound to be collected based on the auscultatory sound from the first sensor and the auscultatory sound from the second sensor, and notifies the determined direction of the auscultatory sound via the notification unit. This allows the user to move the stethoscope in the notified direction and collect the auscultatory sound to be collected, making it possible to easily collect stable auscultatory sounds.
第2の発明の聴診システムは、第1の発明の聴診システムにおいて、前記制御部は、前記第1センサーと前記第2センサーとによる聴診音のうち、採取すべき聴診音に最も近い聴診音を採取したセンサーを判別することを特徴とする。 The auscultation system of the second invention is the auscultation system of the first invention, characterized in that the control unit distinguishes the sensor that picked up the auscultation sound closest to the auscultation sound to be picked up from among the auscultation sounds picked up by the first sensor and the second sensor.
第3の発明の聴診システムは、第2の発明の聴診システムにおいて、前記制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第2センサーである場合、判別した前記第2センサーの方向を報知することを特徴とする。 The auscultation system of the third invention is the auscultation system of the second invention, characterized in that, when the sensor that has been determined to have collected the auscultation sound closest to the auscultation sound to be collected is the second sensor, the control unit notifies the direction of the second sensor that has been determined.
第4の発明の聴診システムは、第2又は第3の発明の聴診システムにおいて、前記制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第1センサーとなるまで、採取すべき聴診音の方向を判断し、判断した聴診音の方向を、前記報知部により報知することを特徴とする。 The auscultation system of the fourth invention is the auscultation system of the second or third invention, characterized in that the control unit determines the direction of the auscultation sound to be collected until the sensor that has determined that it has collected the auscultation sound closest to the auscultation sound to be collected becomes the first sensor, and reports the determined direction of the auscultation sound by the reporting unit.
第5の発明の聴診システムは、第4の発明の聴診システムにおいて、前記制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第1センサーとなった場合、前記第1センサーによる聴診音の取得を開始することを特徴とする。 The auscultation system of the fifth invention is the auscultation system of the fourth invention, characterized in that when the sensor that has been determined to have collected the auscultation sound closest to the auscultation sound to be collected is the first sensor, the control unit starts acquiring the auscultation sound using the first sensor.
第6の発明の聴診システムは、第4又は第5の発明の聴診システムにおいて、前記制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第1センサーとなった場合、前記第2センサーをノイズキャンセルのために用いることを特徴とする。 The auscultation system of the sixth invention is the auscultation system of the fourth or fifth invention, characterized in that when the sensor that has been determined to have collected the auscultation sound closest to the auscultation sound to be collected is the first sensor, the control unit uses the second sensor for noise cancellation.
第7の発明の聴診システムは、第2~第6のいずれかの発明の聴診システムにおいて、 前記制御部は、前記第1センサーと前記第2センサーとによる聴診音のうち、音量が最大の聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサーと判別することを特徴とする。 The seventh invention is an auscultation system according to any one of the second to sixth inventions, characterized in that the control unit distinguishes the sensor that picked up the auscultation sound with the largest volume among the auscultation sounds made by the first sensor and the second sensor as the sensor that picked up the auscultation sound closest to the auscultation sound to be picked up.
第8の発明の聴診システムは、第2~第6のいずれかの発明の聴診システムにおいて、前記制御部は、前記第1センサーと前記第2センサーとによる聴診音のうち、採取すべき聴診音の波形に最も近い聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサーと判別することを特徴とする。 The auscultation system of the eighth invention is the auscultation system of any one of the second to sixth inventions, characterized in that the control unit distinguishes the sensor that picked up the auscultation sound closest to the waveform of the auscultation sound to be picked up from among the auscultation sounds picked up by the first sensor and the second sensor as the sensor that picked up the auscultation sound closest to the auscultation sound to be picked up.
第9の発明の聴診システムは、第8の発明の聴診システムにおいて、採取すべき聴診音の波形は、機械学習により取得されていることを特徴とする。 The auscultation system of the ninth invention is characterized in that in the auscultation system of the eighth invention, the waveform of the auscultation sound to be collected is obtained by machine learning.
第10の発明の聴診システムは、第8の発明の聴診システムにおいて、採取すべき聴診音の波形は、聴診音が採取されるユーザーの聴診音に基づく波形であることを特徴とする。 The auscultation system of the tenth invention is characterized in that in the auscultation system of the eighth invention, the waveform of the auscultation sound to be collected is a waveform based on the auscultation sound of the user whose auscultation sound is to be collected.
第11の発明の聴診システムは、第8の発明の聴診システムにおいて、採取すべき聴診音の波形は、聴診音が採取されるユーザーの聴診音に基づいて学習された波形であることを特徴とする。 The auscultation system of the eleventh invention is characterized in that in the auscultation system of the eighth invention, the waveform of the auscultation sound to be collected is a waveform learned based on the auscultation sound of the user whose auscultation sound is to be collected.
第12の発明の聴診システムは、第8の発明の聴診システムにおいて、採取すべき聴診音の波形は、複数人において特徴が共通する聴診音の波形であることを特徴とする。 The auscultation system of the twelfth invention is characterized in that in the auscultation system of the eighth invention, the waveform of the auscultation sound to be collected is a waveform of auscultation sound that has common characteristics among multiple people.
第13の発明の聴診システムは、第8の発明の聴診システムにおいて、採取すべき聴診音の波形は、複数人の聴診音に基づいて学習された波形であることを特徴とする。 The auscultation system of the thirteenth invention is characterized in that in the auscultation system of the eighth invention, the waveform of the auscultation sound to be collected is a waveform that has been learned based on the auscultation sounds of multiple people.
第14の発明の聴診システムは、第3の発明の聴診システムにおいて、採取すべき聴診音の波形は、異常波形であることを特徴とする。 The auscultation system of the fourteenth invention is characterized in that in the auscultation system of the third invention, the waveform of the auscultation sound to be collected is an abnormal waveform.
第15の発明の聴診システムは、第1~第14のいずれかの発明の聴診システムにおいて、前記第1センサー、及び、前記第2センサーは、それぞれ、ダイアフラムと、前記ダイアフラムに貼り付けられたピエゾ素子と、から構成されることを特徴とする。 The auscultation system of the fifteenth invention is the auscultation system of any one of the first to fourteenth inventions, characterized in that the first sensor and the second sensor are each composed of a diaphragm and a piezoelectric element attached to the diaphragm.
第16の発明の聴診システムは、第1~第14のいずれかの発明の聴診システムにおいて、前記第1センサー、及び、前記第2センサーは、それぞれ、ダイアフラムと、マイクと、から構成されることを特徴とする。 The auscultation system of the 16th invention is the auscultation system of any one of the first to 14th inventions, characterized in that the first sensor and the second sensor each include a diaphragm and a microphone.
第17の発明の聴診システムは、第1~第14のいずれかの発明の聴診システムにおいて、前記第1センサー、及び、前記第2センサーは、それぞれ、マイクであることを特徴とする。 The auscultation system of the seventeenth invention is the auscultation system of any one of the first to fourteenth inventions, characterized in that the first sensor and the second sensor are each a microphone.
第18の発明の聴診システムは、第1~第17のいずれかの発明の聴診システムにおいて、前記報知部は、電子機器の表示画面であることを特徴とする。 The auscultation system of the 18th invention is the auscultation system of any one of the first to 17th inventions, characterized in that the notification unit is a display screen of an electronic device.
第19の発明の聴診システムは、第1~第17のいずれかの発明の聴診システムにおいて、前記報知部は、複数の発光素子から構成されることを特徴とする。 The auscultation system of the 19th invention is the auscultation system of any one of the first to seventeenth inventions, characterized in that the notification unit is composed of a plurality of light-emitting elements.
第20の発明の聴診器は、接触面の略中央に配置され、聴診音を採取するための第1センサーと、前記接触面において、前記第1センサーの周囲に配置され、聴診音を採取するための複数の第2センサーと、報知部と、制御部と、を備え、前記制御部は、前記第1センサーによる聴診音と、前記第2センサーによる聴診音と、に基づいて、採取すべき聴診音の方向を判断し、判断した聴診音の方向を、前記報知部により報知することを特徴とする。 The stethoscope of the twentieth invention comprises a first sensor arranged at approximately the center of the contact surface for collecting auscultatory sounds, a plurality of second sensors arranged around the first sensor on the contact surface for collecting auscultatory sounds, an alarm unit, and a control unit, and is characterized in that the control unit determines the direction of the auscultatory sounds to be collected based on the auscultatory sounds from the first sensor and the auscultatory sounds from the second sensor, and notifies the determined direction of the auscultatory sounds via the alarm unit.
第21の発明の方法は、第1センサーによる聴診音と、前記第1センサーの周囲に配置された複数の第2センサーによる聴診音と、に基づいて、採取すべき聴診音の方向を判断し、判断した聴診音の方向を報知することを特徴とする。 The method of the 21st invention is characterized in that the direction of the auscultatory sound to be collected is determined based on the auscultatory sound from a first sensor and the auscultatory sounds from a plurality of second sensors arranged around the first sensor, and the determined direction of the auscultatory sound is notified.
本発明によれば、容易に、安定した聴診音を採取することができる。 The present invention makes it possible to easily obtain stable auscultatory sounds.
以下、本発明の実施形態について説明する。本発明の実施形態に係る聴診システムは、例えば、聴診器と、スマートフォンと、から構成される。聴診システムでは、聴診器により採取された聴診音が、スマートフォンに送信され、スマートフォンにおいて、聴診音の解析等が行われる。なお、聴診システムは、聴診器のみから構成されていてもよい。また、聴診音の解析等を行う機器は、スマートフォンでなくてもよく、専用の機器等であってもよい。 The following describes an embodiment of the present invention. The auscultation system according to the embodiment of the present invention is composed of, for example, a stethoscope and a smartphone. In the auscultation system, auscultation sounds collected by the stethoscope are transmitted to the smartphone, and the smartphone performs analysis of the auscultation sounds. Note that the auscultation system may be composed of only a stethoscope. Also, the device that performs analysis of the auscultation sounds does not have to be a smartphone, and may be a dedicated device, etc.
図1は、本発明の実施形態に係る聴診器1を下面側から模式的に示す斜視図である。図2は、本発明の実施形態に係る聴診器1を上面側から模式的に示す斜視図である。図示するように、聴診器1は、例えば、略円柱状の下部2と、下部2の上方に位置し、下部2よりも径が小さい略円柱状の上部3と、が組み合わされた形状である。
Figure 1 is a perspective view showing a
聴診器1(下部2)の下面2aは、聴診音が採取される人体に対する接触面となる。接触面2aには、略中央にセンサー4(第1センサー)が配置され、センサー4の周囲に複数のセンサー5(第2センサー)が配置されている。センサー4、5は、聴診音を採取するためのものである。図1では、複数のセンサー5として、4つのセンサーが示されているが、センサー5の数は、4つに限られない。
The
センサー4、5は、それぞれ、例えば、ダイアフラムと、ダイアフラムに貼り付けられたピエゾ素子と、から構成される。また、センサー4、5は、それぞれ、例えば、ダイアフラムと、マイクと、から構成される。また、センサー4、5は、それぞれ、例えば、マイクである。なお、センサー4、5は、上記構成に限られず、また、上記構成のセンサーの組み合わせから構成されていてもよい。センサー4、5により採取された聴診音は、スマートフォンに送信される。
Each of the
下部2の上面2bは、複数のLED6(発光素子)が取り付けられる取付面となる。複数のLED6は、ユーザーが聴診器1を移動すべき方向(採取すべき聴診音の方向)を報知する報知部として機能する。なお、ここでは、発光素子として、LED6を例示したが、これに限られない。複数のLED6は、取付面2bに、円周状に均等に配置されている。図2においては、図示されている5つのLED6のうち、真ん中のLED6が発光しており、発光しているLED6の方向が、ユーザーが聴診器1を移動すべき方向(採取すべき聴診音の方向)となる。
The
スマートフォンは、例えば、CPU(Central Processing Unit)等の制御部を備えている。なお、以下で説明する処理等は、基本的に制御部によって実行されるが、「制御部は、~する。」という「~する」処理において、「制御部は」の文言を省略している場合がある。スマートフォンの制御部は、聴診器1から送信される、センサー4による聴診音と、センサー5による聴診音と、に基づいて、採取すべき聴診音の方向を判断する。このとき、制御部は、センサー4とセンサー5とによる聴診音のうち、採取すべき聴診音に最も近い聴診音を採取したセンサーを判別する。
The smartphone is equipped with a control unit such as a CPU (Central Processing Unit). Note that the processes described below are basically executed by the control unit, but in processes such as "the control unit does...", the wording "the control unit" may be omitted. The control unit of the smartphone determines the direction of the auscultatory sound to be collected based on the auscultatory sound from
例えば、通常、制御部は、センサー4、5による聴診音のうち、音量(振幅)が最大の聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサーと判別する。以下、センサー4、5による聴診音のうち、音量が最大の聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサー(採取すべき聴診音の方向)と判別するモードを、「通常モード」ともいう。また、例えば、オプションとして、制御部は、センサー4、5による聴診音のうち、採取すべき聴診音の波形に最も近い聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサーと判別する。以下、センサー4、5による聴診音のうち、採取すべき聴診音の波形に最も近い聴診音を採取したセンサーを、採取すべき聴診音に最も近い聴診音を採取したセンサー(採取すべき聴診音の方向)と判別するモードを、「オプションモード」ともいう。例えば、採取すべき聴診音の波形は、機械学習により取得されている。
For example, normally, the control unit distinguishes the sensor that has collected the auscultatory sound with the largest volume (amplitude) among the auscultatory sounds produced by
「オプションモード」において、採取すべき聴診音の波形は、例えば、予め学習された個人の聴診音(例えば、心音)の波形である。何らかの理由で、聴診音に異常がある場合、制御部は、予め学習された聴診音異常波形(典型的な異常波形)との照合を行い、一致する場合、その音が最大感度でとれる方向を、採取すべき聴診音の方向であると判断する。一方で、予め学習された聴診音異常波形と類似性がない場合、制御部は、音量が最大の聴診音を採取したセンサーの方向を、採取すべき聴診音の方向と判別する。このとき、制御部は、異常フラグを立てたうえで、聴診音を記録する。 In the "option mode", the waveform of the auscultatory sound to be collected is, for example, the waveform of an individual's auscultatory sound (e.g., heart sound) that has been learned in advance. If the auscultatory sound is abnormal for some reason, the control unit compares it with a previously learned abnormal auscultatory sound waveform (typical abnormal waveform), and if there is a match, it determines that the direction in which the sound can be picked up with maximum sensitivity is the direction of the auscultatory sound to be collected. On the other hand, if there is no similarity to the previously learned abnormal auscultatory sound waveform, the control unit determines that the direction of the sensor that picked up the auscultatory sound with the greatest volume is the direction of the auscultatory sound to be collected. At this time, the control unit sets an abnormality flag and records the auscultatory sound.
次に、聴診音を機械学習に取り込むための方法について説明する。以下の手順で、心音(聴診音)の同期と間隔の掌握を行い、対象の心音の切り取りと機械学習による比較とを行う。 Next, we will explain the method for incorporating auscultatory sounds into machine learning. The following steps are used to synchronize heart sounds (auscultatory sounds) and grasp the intervals, extract the target heart sounds, and compare them using machine learning.
(1)心音波形をセンサーで採取する。図3に、心音波形の一例を示す。
(2)波形の実効値、又は、STFT(Short-time Fourier transform)した後の全周波数のエネルギー(和、又は、二乗平均)を足し合わせ、時間対振幅の推移を示すエネルギートレンドデータを作成する。図4に、実波形、STFFTデータ、及び、エネルギートレンドデータの一例を示す。図4では、図3における鎖線、及び、一点鎖線の領域における実波形、STFTデータ、及び、エネルギートレンドデータが示されている。
(3)エネルギートレンドデータのピークにマークを打ち、マークの間隔から心拍同期の時間位置と心拍の周期Tを採取する。図5に、エネルギートレンドデータの一例を示す。なお、図では、センサーから採取した心音が示されており、I音に大きなピークが確認できる。
(4)周期を測定した区間について、ピークを中心として、前後に周期Tの1/2の時間で、心音波形を切り取る。図6(a)に、波形の切り取りを説明するための図を示す。
(5)切り取った区間の心音を、FFT(Fast Fourier transform)、MFCC(Mel-Frequency Cepstrum Coefficients)、又は、波形そのままの形で、学習データ、又は、テストデータとして取得する。図6(b)に、信号処理後の図を示す。
(6)未知のデータの類似性を判定する場合、(5)で予め既知の学習データ(学習モデル)を読み込ませた学習モデルを作成する。図7(c)に、機械学習による分類、学習を説明するための図を示す。機械学習アルゴリズムとしては、SVM、KNN等があるが、これらに限られない。
(7)学習モデルに対して、未知の各センサーのデータを取り込み、どのセンサーの類似度が高いか判定させる。図8に、類似度の判定を説明するための図を示す。
(8)複数のセンサーのうち、最も類似性の高い信号を採取しているセンサーの方向を、採取すべき聴診音の方向であると判定する。
(9)いずれにも類似性がない場合、異常を疑い、心音異常波形の学習モデルで類似性を確認する。類似性があれば、その音が、最大限取得できる方向を、採取すべき聴診音の方向と判定する。
(10)希望波形、異常波形ともに類似性がない場合、最大音量の方向を、採取すべき聴診音の方向であると判定する。
(1) The heart sound waveform is collected by a sensor. Figure 3 shows an example of the heart sound waveform.
(2) The effective value of the waveform or the energy (sum or root mean square) of all frequencies after STFT (Short-time Fourier transform) is added to generate energy trend data showing the transition of amplitude versus time. Fig. 4 shows an example of the real waveform, STFFT data, and energy trend data. Fig. 4 shows the real waveform, STFT data, and energy trend data in the areas of the dashed line and the dashed dotted line in Fig. 3.
(3) Mark the peaks of the energy trend data, and obtain the time position of heartbeat synchronization and the heartbeat period T from the interval between the marks. Figure 5 shows an example of energy trend data. In the figure, the heart sounds collected from the sensor are shown, and a large peak can be confirmed for the first sound.
(4) For the section where the period was measured, the heart sound waveform is cut out with a time of 1/2 the period T before and after the peak. Figure 6(a) is a diagram for explaining how the waveform is cut out.
(5) The heart sounds in the cut out sections are acquired as training data or test data in the form of FFT (Fast Fourier transform), MFCC (Mel-Frequency Cepstrum Coefficients), or the waveform itself. Figure 6(b) shows the diagram after signal processing.
(6) When determining the similarity of unknown data, a learning model is created by loading known learning data (learning model) in advance in (5). Figure 7(c) shows a diagram for explaining classification and learning by machine learning. Machine learning algorithms include, but are not limited to, SVM, KNN, etc.
(7) The learning model inputs data from each unknown sensor and determines which sensor has a high degree of similarity. FIG. 8 is a diagram for explaining how to determine the degree of similarity.
(8) Among the multiple sensors, the direction of the sensor that has picked up the most similar signal is determined to be the direction of the auscultatory sound to be picked up.
(9) If there is no similarity in either case, an abnormality is suspected and similarity is confirmed using a learning model of abnormal heart sound waveforms. If there is similarity, the direction in which the sound can be obtained to the maximum extent is determined to be the direction of the auscultatory sound to be collected.
(10) If there is no similarity between the desired waveform and the abnormal waveform, the direction of the maximum volume is determined to be the direction of the auscultatory sound to be collected.
上述したオプションモードは、聴診音の過去データ、及び、異常聴診音(例えば、心音)との比較機能を有する。なお、本実施形態では、通常モードとオプションモードとについて説明するが、通常モードのみから構成されていてもよい。 The above-mentioned optional mode has a function for comparing past auscultatory sound data and abnormal auscultatory sounds (e.g., heart sounds). Note that, in this embodiment, the normal mode and the optional mode are described, but the system may be configured with only the normal mode.
オプションモードを実行するために、学習済みの聴診データは、別途データベースに保存されている。過去の自身のデータと典型的波形との比較・類似度で、略中央に位置するセンサーにより、該当音が聴取されるまで、採取すべき聴診音の方向の判定が繰り返される。ただし、心音の異常等で、学習データと変わってしまったような場合、判定できなくなる。図9に、異常波形のため、判定できない場合の例を示す。 To execute the optional mode, the learned auscultation data is stored in a separate database. The direction of the auscultation sound to be collected is repeatedly determined by comparing and gauging the similarity between the device's own past data and typical waveforms, until the relevant sound is heard by the sensor located approximately in the center. However, if the heart sounds have changed from the learned data due to an abnormality, etc., it will no longer be possible to make a determination. Figure 9 shows an example of a case where a determination cannot be made due to an abnormal waveform.
判定できない場合、典型的な異常波形と類似する聴診音を採取しているセンサーがないか確認し、ない場合、上述の通常モードに移行する。図10に、典型的な異常心音との類似度の確認を説明するための図を示す。 If a judgment cannot be made, a check is made to see if there is a sensor that has picked up auscultatory sounds similar to typical abnormal waveforms, and if not, the system switches to the normal mode described above. Figure 10 shows a diagram for explaining how to check the similarity to typical abnormal heart sounds.
典型的な異常波形に類似すると判断した場合、異常音を取得する。このとき、5つのセンサーのうち、最も典型的な異常音との類似度が高い、聴取音を採取したセンサーを検出し、典型的な異常音が、略中央に位置するセンサーにより採取されるまで、判定を繰り返す。また、異常音を取得する場合、時間切れ機能が設けられており、長時間取得できなかった場合、エラー表示する。ただし、一回でも異常音に近しい波形を発見した場合、異常フラグを立て、ユーザーに通知する。これにより、波形取得に失敗したものの、異常音が発見された記録のみを残せる。 If it is determined to resemble a typical abnormal waveform, it captures the abnormal sound. At this time, of the five sensors, the sensor that has collected the sound most similar to the typical abnormal sound is detected, and the determination is repeated until a typical abnormal sound is collected by the sensor located approximately in the center. In addition, when capturing abnormal sounds, a timeout function is provided, and if a sound cannot be captured for a long period of time, an error is displayed. However, if a waveform similar to an abnormal sound is found even once, an abnormality flag is raised and the user is notified. This makes it possible to keep a record of only the abnormal sound being found, despite failure to capture the waveform.
制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、センサー5である場合、判別したセンサー5の方向を、採取すべき聴診音の方向として、報知する。図3は、スマートフォンの表示画面を示す図である。スマートフォン(電子機器)の表示画面は、ユーザーが聴診器1を移動すべき方向(採取すべき聴診音の方向)を報知する報知部として機能する。例えば、図3では、4つの矢印が表示されており、4つの矢印により、ユーザーが聴診器1を移動すべき方向が報知される。図3では、右向きの矢印が塗りつぶされており、ユーザーが聴診器1を移動すべき方向として、右方向が報知されている。なお、図3では、4つの矢印でユーザーが聴診器1を移動すべき方向が報知されているが、矢印の数(方向)は、4つ(4方向)に限られない。また、矢印以外で、ユーザーが聴診器1を移動すべき方向が報知されてもよい。
When the sensor that has been determined to have collected the auscultatory sound closest to the auscultatory sound to be collected is
本実施形態では、複数のLED6とスマートフォンの表示画面とが、ユーザーが聴診器1を移動すべき方向を報知する報知部として機能するが、いずれか一方のみであってもよい。また、聴診システムが、聴診器1のみで構成される場合、聴診器1には、CPU等の制御部が設けられ、制御部は、複数のLED6により、ユーザーが聴診器1を移動すべき方向を報知する。また、本実施形態では、「表示」により、ユーザーが聴診器1を移動すべき方向を報知するようになっているが、「音」により、ユーザーが聴診器1を移動すべき方向を報知するようになっていてもよい。
In this embodiment, the
制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、センサー4となるまで、採取すべき聴診音の方向を判断し、判断した聴診音の方向を報知する。制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、センサー4となった場合、聴診器1が、聴診音を採取すべき位置となったため、センサー4による聴診音の取得を開始する。このとき、制御部は、センサー5をノイズキャンセルのために用いる。
The control unit determines the direction of the auscultatory sound to be collected until the sensor that has determined that it has collected the auscultatory sound closest to the auscultatory sound to be collected is
以下、聴診システムの処理動作を、図12~14に示すフローチャートに基づいて説明する。制御部は、時間内に採取すべき聴診音を採取できなかった場合にエラー表示等を行うため、走査タイムアップタイマーをスタートする(S1)。次に、制御部は、通常モードが優先であるか否か、すなわち、通常モード、オプションモードのいずれが優先であるかを判断する(S2)。制御部は、通常モードが優先であると判断した場合(S2:Yes)、センサー4、5による聴診音を取得する(S3)。次に、制御部は、最大音方向を算出する(S4)。次に、制御部は、最大音方向を報知する(S5)。
The processing operation of the auscultation system will be described below based on the flowcharts shown in Figures 12 to 14. The control unit starts a scan time-up timer to display an error message or the like if the auscultatory sounds that should be collected cannot be collected within the time limit (S1). Next, the control unit determines whether the normal mode has priority, that is, whether the normal mode or the option mode has priority (S2). If the control unit determines that the normal mode has priority (S2: Yes), it acquires auscultatory sounds from
次に、制御部は、センサー4、5による聴診音を取得する(S6)。次に、制御部は、略中央に位置するセンサー4が、最大音を採取したか否かを判断する(S7)。制御部は、略中央に位置するセンサー4が、最大音を採取していないと判断した場合(S7:No)、タイマーを確認する(S8)。次に、制御部は、タイマーが、タイムアップしているか否かを判断する(S9)。制御部は、タイマーが、タイムアップしていると判断した場合(S9:Yes)、時間内に採取すべき聴診音を採取できなかった旨等のエラー表示を行う(S10)。制御部は、タイマーが、タイムアップしていないと判断した場合(S9:No)、S3の処理を実行する。
Next, the control unit acquires auscultatory sounds from
制御部は、通常モードが優先でない、すなわち、オプションモードが優先であると判断した場合(S2:No)、センサー4、5による聴診音を取得する(S11)。次に、制御部は、センサー4、5により採取した聴診音の波形を認識する(S12)。次に、制御部は、センサー4、5により採取した聴診音の波形のうち、典型的な異常波形と一致する波形を採取したセンサーが、1つ以上あるか否かを判断する(S13)。ここで、「典型的な異常波形」とは、個人に特化した波形ではなく、例えば、複数人において、異常であると考えられる特徴が共通する波形である。
When the control unit determines that the normal mode is not a priority, i.e., that the option mode is a priority (S2: No), it acquires auscultatory sounds from
制御部は、センサー4、5により採取した聴診音の波形のうち、典型的な異常波形と一致する波形を採取したセンサーが、1つもないと判断した場合(S13:No)、センサー4、5により採取した聴診音の波形のうち、採取すべき聴診音の波形と類似する波形を採取したセンサーがないか否かを判断する(S14)。ここで、「採取すべき聴診音の波形」は、過去に教師データとして学習された、聴診音が採取されるユーザーの聴診音波形、又は、典型的な聴診音波形(例えば、複数人において、特徴が共通する聴診音の波形)である。
When the control unit determines that none of the auscultatory sound waveforms collected by
制御部は、センサー4、5により採取した聴診音の波形のうち、採取すべき聴診音の波形と類似する波形を採取したセンサーがないと判断した場合(S14:Yes)、通常モードに移行するため、S3の処理に移行する。一方で、制御部は、センサー4、5により採取した聴診音の波形のうち、採取すべき聴診音の波形と類似する波形を採取したセンサーがあると判断した場合(S14:No)、採取すべき聴診音の波形に最も合致した聴診音を採取したセンサーを判別する(S15)。次に、制御部は、判別したセンサーの方向を報知する(S16)。次に、制御部は、センサー4、5による聴診音を取得する(S17)。次に、制御部は、採取すべき聴診音の波形に最も合致した聴診音を採取したセンサーが、略中央に位置するセンサー4であるか否かを判断する(S18)。
When the control unit determines that there is no sensor that has collected a waveform of auscultatory sounds similar to the waveform of the auscultatory sounds to be collected among the waveforms of the auscultatory sounds collected by the
制御部は、採取すべき聴診音の波形に最も合致した聴診音を採取したセンサーが、略中央に位置するセンサー4でないと判断した場合(S18:No)、タイマーを確認する(S19)。次に、制御部は、タイマーが、タイムアップしているか否かを判断する(S20)。制御部は、タイマーが、タイムアップしていると判断した場合(S20:Yes)、時間内に採取すべき聴診音を採取できなかった旨等のエラー表示を行う(S10)。制御部は、タイマーが、タイムアップしていないと判断した場合(S20:No)、S15の処理を実行する。
If the control unit determines that the sensor that collected the auscultatory sound that best matches the waveform of the auscultatory sound to be collected is not
制御部は、センサー4、5により採取した聴診音の波形のうち、典型的な異常波形と一致する波形を採取したセンサーが、1つ以上あると判断した場合(S13:Yes)、異常音を略中央に位置するセンサー4が採取するようにするため、センサー4、5により採取した聴診音の波形と、機械学習による異常波形と、の類似度を確認する(S21)。次に、制御部は、異常波形が最大となる方向を報知する(S22)。次に、制御部は、センサー4、5による聴診音を取得する(S23)。次に、制御部は、略中央に位置するセンサー4が採取した聴診音の波形が、異常波形と最も適合しているか否かを判断する(S24)。
When the control unit determines that one or more of the auscultatory sound waveforms collected by the
制御部は、略中央に位置するセンサー4が採取した聴診音の波形が、異常波形と最も適合していないと判断した場合(S24:No)、タイマーを確認する(S25)。次に、制御部は、タイマーが、タイムアップしているか否かを判断する(S26)。制御部は、タイマーが、タイムアップしていると判断した場合(S26:Yes)、異常フラグを立て(S27)、時間内に採取すべき聴診音を採取できなかった旨等のエラー表示を行う(S10)。制御部は、タイマーが、タイムアップしていないと判断した場合(S26:No)、センサー4、5による聴診音を取得し(S28)、S15の処理を実行する。
When the control unit determines that the waveform of the auscultatory sounds collected by the
制御部は、略中央に位置するセンサー4が採取した聴診音の波形が、異常波形と最も適合していると判断した場合(S24:Yes)、異常フラグを立てる(S29)。
If the control unit determines that the waveform of the auscultatory sound collected by the
制御部は、略中央に位置するセンサー4が、最大音を採取していると判断した場合(S7:Yes)、又は、採取すべき聴診音の波形に最も合致した聴診音を採取したセンサーが、略中央に位置するセンサー4であると判断した場合(S18:Yes)、又は、S29の処理の後、センサー4による聴診音の取得を開始する(S31)。
If the control unit determines that the
以上説明したように、本実施形態では、制御部は、センサー4による聴診音と、センサー5による聴診音と、に基づいて、採取すべき聴診音の方向を判断し、判断した聴診音の方向を報知する。これにより、ユーザーは、報知された方向に、聴診器1を移動させ、採取すべき聴診音を採取することができるため、容易に、安定した聴診音を採取することができる。
As described above, in this embodiment, the control unit determines the direction of the auscultatory sound to be collected based on the auscultatory sound from
なお、上述した「採取すべき聴診音の波形」は、例えば、以下のとおりとなる。
(1)聴診音が採取されるユーザーの聴診音に基づく波形。具体的には、聴診音が採取されるユーザーの聴診音に基づいて学習された波形
(2)複数人において特徴が共通する聴診音の波形。具体的には、複数人の聴診音に基づいて学習された波形。
(3)採取すべき聴診音の波形は、異常波形である。
The above-mentioned "waveform of the auscultatory sound to be collected" is, for example, as follows:
(1) A waveform based on the auscultatory sounds of a user whose auscultatory sounds are collected. Specifically, a waveform learned based on the auscultatory sounds of a user whose auscultatory sounds are collected. (2) A waveform of auscultatory sounds having common characteristics among multiple people. Specifically, a waveform learned based on the auscultatory sounds of multiple people.
(3) The waveform of the auscultatory sound to be collected is abnormal.
以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、以下に例示するように、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。 Although the embodiments of the present invention have been described above, the forms to which the present invention can be applied are not limited to the above-mentioned embodiments, and as exemplified below, appropriate modifications can be made without departing from the spirit of the present invention.
上述した実施形態では、制御部は、採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、センサー5である場合、判別したセンサー5の方向を、採取すべき聴診音の方向として報知するが、これに限られず、センサー5の方向以外を、採取すべき聴診音の方向として報知するようになっていてもよい。例えば、制御部は、隣り合うセンサー5が同じ聴診音を採取している場合、隣り合うセンサー5の中間位置の方向を報知するようになっていてもよい。
In the above-described embodiment, when the sensor that has been determined to have collected the auscultatory sound closest to the auscultatory sound to be collected is
本発明は、聴診システム、聴診器、及び、方法に好適に採用され得る。 The present invention can be suitably used in auscultation systems, stethoscopes, and methods.
1 聴診器
2 下部
2a 接触面
2b 取付面
3 上部
4 センサー(第1センサー)
5 センサー(第2センサー)
6 LED(発光素子)
1
5 Sensor (Second Sensor)
6. LED (light emitting element)
Claims (6)
前記第1センサーの周囲に配置され、聴診音を採取するための第2センサーと、
報知部と、
制御部と、を備え、
前記制御部は、
前記第1センサーと前記第2センサーとによる聴診音のうち、採取すべき聴診音に最も近い聴診音を採取したセンサーを判別し、
採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第2センサーである場合、判別した前記第2センサーの方向を前記報知部により報知することを特徴とする聴診システム。 a first sensor disposed on the contact surface for collecting auscultatory sounds;
a second sensor disposed around the first sensor for collecting auscultatory sounds;
A notification department;
A control unit,
The control unit is
discriminating the sensor that picked up the auscultatory sound closest to the auscultatory sound to be picked up from among the auscultatory sounds picked up by the first sensor and the second sensor;
An auscultation system characterized in that when the sensor determined to have collected the auscultatory sound closest to the auscultatory sound to be collected is the second sensor, the direction of the second sensor determined is notified by the notification unit .
前記第1センサーの周囲に配置され、聴診音を採取するための複数の第2センサーと、
報知部と、
制御部と、を備え、
前記制御部は、
前記第1センサーと前記第2センサーとによる聴診音のうち、採取すべき聴診音に最も近い聴診音を採取したセンサーを判別し、
採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第2センサーである場合、判別した前記第2センサーの方向を前記報知部により報知することを特徴とする聴診器。 a first sensor disposed at approximately the center of the contact surface for collecting auscultatory sounds;
a plurality of second sensors arranged around the first sensor for collecting auscultatory sounds;
A notification department;
A control unit,
The control unit is
discriminating the sensor that picked up the auscultatory sound closest to the auscultatory sound to be picked up from among the auscultatory sounds picked up by the first sensor and the second sensor;
A stethoscope characterized in that, when the sensor determined to have collected the auscultatory sound closest to the auscultatory sound to be collected is the second sensor, the direction of the second sensor determined is notified by the notification unit .
採取すべき聴診音に最も近い聴診音を採取したと判別したセンサーが、前記第2センサーである場合、判別した前記第2センサーの方向を報知することを特徴とする方法。 determining a sensor that has picked up an auscultatory sound that is closest to the auscultatory sound to be picked up from among the auscultatory sound picked up by the first sensor and the auscultatory sounds picked up by a plurality of second sensors arranged around the first sensor;
A method characterized in that, when the sensor determined to have collected the auscultatory sound closest to the auscultatory sound to be collected is the second sensor, the direction of the second sensor determined to have collected the auscultatory sound is notified.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020109205A JP7518357B2 (en) | 2020-06-25 | 2020-06-25 | Auscultation system, stethoscope, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020109205A JP7518357B2 (en) | 2020-06-25 | 2020-06-25 | Auscultation system, stethoscope, and method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022006758A JP2022006758A (en) | 2022-01-13 |
JP2022006758A5 JP2022006758A5 (en) | 2023-06-27 |
JP7518357B2 true JP7518357B2 (en) | 2024-07-18 |
Family
ID=80110847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109205A Active JP7518357B2 (en) | 2020-06-25 | 2020-06-25 | Auscultation system, stethoscope, and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7518357B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023136175A1 (en) * | 2022-01-12 | 2023-07-20 | ||
WO2023189443A1 (en) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | Biological sound measurement device, biological sound measurement method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129933A (en) | 2004-11-02 | 2006-05-25 | At Lab:Kk | Heart rate / respiration sensor and biological monitoring apparatus using the same |
JP2012024391A (en) | 2010-07-26 | 2012-02-09 | Sharp Corp | Determining apparatus of measurement position, determining method of measurement position, control program, and recording medium |
US20150297105A1 (en) | 2014-01-21 | 2015-10-22 | California Institute Of Technology | Portable electronic hemodynamic sensor systems |
JP2019531101A (en) | 2016-08-17 | 2019-10-31 | カリフォルニア インスティチュート オブ テクノロジー | Improved stethoscope device and method |
-
2020
- 2020-06-25 JP JP2020109205A patent/JP7518357B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129933A (en) | 2004-11-02 | 2006-05-25 | At Lab:Kk | Heart rate / respiration sensor and biological monitoring apparatus using the same |
JP2012024391A (en) | 2010-07-26 | 2012-02-09 | Sharp Corp | Determining apparatus of measurement position, determining method of measurement position, control program, and recording medium |
US20150297105A1 (en) | 2014-01-21 | 2015-10-22 | California Institute Of Technology | Portable electronic hemodynamic sensor systems |
JP2019531101A (en) | 2016-08-17 | 2019-10-31 | カリフォルニア インスティチュート オブ テクノロジー | Improved stethoscope device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2022006758A (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021004345A1 (en) | Heart sound acquisition and analysis system and method employing cloud architecture | |
US10561362B2 (en) | Sleep assessment using a home sleep system | |
US20230016673A1 (en) | Method for detecting blockage in a fluid flow vessel | |
EP2440139B1 (en) | Method and apparatus for recognizing moving anatomical structures using ultrasound | |
CN112804941A (en) | Apparatus and method for detecting physiological events | |
US20220007964A1 (en) | Apparatus and method for detection of breathing abnormalities | |
Qu et al. | Monitoring of physiological sounds with wearable device based on piezoelectric MEMS acoustic sensor | |
JP7177443B2 (en) | Biological vibration signal detector | |
JP7518357B2 (en) | Auscultation system, stethoscope, and method | |
WO2015170772A2 (en) | Circular breathing function measurement device | |
TW202339667A (en) | Wearable heart sound detection system and method thereof | |
KR102528906B1 (en) | Electronic stethoscope with electrocardiogram(ECG) device | |
Monika et al. | Embedded Stethoscope for Real Time Diagnosis of Cardiovascular Diseases | |
JP2022006758A5 (en) | ||
JP2023532386A (en) | Systems and methods for remote patient screening and triage | |
US20240008750A1 (en) | Diagnosis of respiratory diseases | |
US20240000321A1 (en) | Multi-function diagnostic device | |
JP7662932B2 (en) | Auscultation system, stethoscope, and method | |
Oktivasari et al. | Active filter analysis on designing electronic stethoscope | |
TWI822508B (en) | Multi-dimensional artificial intelligence auscultation device | |
CN206612808U (en) | A kind of heart and lung diseases real-time monitoring system | |
US20170258350A1 (en) | Heart Murmur Detection Device and Method Thereof | |
US20230210489A1 (en) | Extended auscultation device | |
EP3692922A1 (en) | A system and method for identifying a location of the heart responsible for a particular sound | |
KR20050111263A (en) | Dianostic system using electronic stethoscope with piezoelectric microphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230619 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240513 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7518357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |