[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7375140B2 - 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム - Google Patents

超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP7375140B2
JP7375140B2 JP2022138642A JP2022138642A JP7375140B2 JP 7375140 B2 JP7375140 B2 JP 7375140B2 JP 2022138642 A JP2022138642 A JP 2022138642A JP 2022138642 A JP2022138642 A JP 2022138642A JP 7375140 B2 JP7375140 B2 JP 7375140B2
Authority
JP
Japan
Prior art keywords
fetal heart
image
information
heart
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022138642A
Other languages
English (en)
Other versions
JP2022169774A (ja
Inventor
康彦 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2022138642A priority Critical patent/JP7375140B2/ja
Publication of JP2022169774A publication Critical patent/JP2022169774A/ja
Application granted granted Critical
Publication of JP7375140B2 publication Critical patent/JP7375140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02Measuring pulse or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • A61B8/065Measuring blood flow to determine blood output from the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • A61B8/543Control of the diagnostic device involving acquisition triggered by a physiological signal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラムに関する。
従来、心臓に対して、2次元又は3次元のスペックルトラッキングによる壁運動解析が広く行われている。特に、壁運動解析により得られる指標として、GLS(Global Longitudinal Strain)やEF(Ejection Fraction)は、再現性や精度が高いことが知られており診断に役立てられている。近年、これらの公知技術を胎児の心臓(胎児心臓)に適用することで、胎児の心機能評価を行う試みが行われるようになって来ている。
特開2016-54818号公報 特開2013-528458号公報 特開2005-74225号公報 特開2009-195613号公報
("東北大学病院で日本初国際医療機器の臨床試験を開始-メイドインジャパンの胎児心電図装置開発に向けて-"、[online]、平成25年3月22日、東北大学病院、東北大学大学院医学系研究科、東北大学大学院情報科学系研究科、[平成30年4月12日検索]、インターネット(URL:https://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press_20130315_02web.pdf)。 ("胎児の心臓疾患の無侵襲な検査方法を開発-SQUIDを応用し、胎児と母親の信号の分離を実現することで、出生前診断の道を開拓-"、[online]、平成9年7月3日、筑波大学、株式会社日立製作所、[平成30年4月12日検索]、インターネット(URL: http://www.hitachi.co.jp/New/cnews/9707/0703.html)
本発明が解決しようとする課題は、胎児の心機能評価に有用な情報を得ることができる超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラムを提供することである。
実施形態の超音波診断装置は、収集部と、推定部とを備える。収集部は、胎児心臓が含まれる2次元又は3次元の輝度信号に基づく動画像を収集する。推定部は、前記動画像データに基づいて、前記胎児心臓の位置の情報及び姿勢の情報を推定する。
図1は、第1の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図2は、第1の実施形態に係る超音波診断装置により実行される処理の一例を説明するための図である。 図3は、第1の実施形態に係る超音波画像の一例を示す図である。 図4は、第1の実施形態に係るデータ処理機能により得られた高分散分布像VH(x,y)の一例を示す図である。 図5は、第1の実施形態に係るデータ処理機能が実行する処理の一例を説明するための図である。 図6は、心室内腔面積VA(t)を示す波形(時間変化波形)、及び、判定機能により判定された拡張末期EDの時相及び収縮末期ESの時相の一例を示す図である。 図7は、前処理の効果を説明するための図である。 図8は、前処理の効果を説明するための図である。 図9は、第1の実施形態に係るデータ処理機能が実行する処理の流れの一例を示すフローチャートである。 図10は、第1の変形例に係るデータ処理機能が実行する処理の一例を説明するための図である。 図11は、第1の変形例に係る判定機能が実行する処理の一例について説明するための図である。 図12は、僧帽弁、三尖弁、大動脈弁及び肺動脈弁と、A2C像、A3C像及びA4C像の断面との位置関係の一例を説明するための図である。 図13は、第2の実施形態に係る弁部位探索用の領域の位置関係の一例を説明するための図である。 図14は、第2の実施形態に係る表示例を示す図である。 図15は、第4の実施形態に係るデータ処理機能が実行する処理の一例を説明するための図である。 図16は、第5の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図17は、第5の実施形態に係る選択ボタンの一例を説明するための図である。 図18は、第5の実施形態に係るED-ED区間及びES-ES区間の選択例を示す図である。 図19は、第6の実施形態に係る医用画像処理装置の構成の一例を示す図である。
以下、図面を参照しながら、実施形態に係る超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラムを説明する。なお、一つの実施形態又は変形例に記載した内容は、他の実施形態又は他の変形例にも同様に適用されてもよい。
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断装置1の構成例を示すブロック図である。図1に例示するように、第1の実施形態に係る超音波診断装置1は、装置本体100と、超音波プローブ101と、入力装置102と、ディスプレイ103とを有する。超音波診断装置1は、医用画像診断装置の一例である。
超音波プローブ101は、例えば、圧電振動子等の複数の素子を有する。これら複数の素子は、後述する装置本体100が有する送信回路110から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ101は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ101は、例えば、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ101は、装置本体100と着脱自在に接続される。
超音波プローブ101から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ101が有する複数の素子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
超音波プローブ101は、装置本体100と着脱可能に設けられる。被検体P内の2次元領域の走査(2次元走査)を行なう場合、操作者は、例えば、複数の圧電振動子が一列で配置された1Dアレイプローブを超音波プローブ101として装置本体100に接続する。1Dアレイプローブは、リニア型超音波プローブ、コンベックス型超音波プローブ、セクタ型超音波プローブ等である。また、被検体P内の3次元領域の走査(3次元走査)を行なう場合、操作者は、例えば、メカニカル4Dプローブや2Dアレイプローブを超音波プローブ101として装置本体100と接続する。メカニカル4Dプローブは、1Dアレイプローブのように一列で配列された複数の圧電振動子を用いて2次元走査が可能であるとともに、複数の圧電振動子を所定の角度(揺動角度)で揺動させることで3次元走査が可能である。また、2Dアレイプローブは、マトリックス状に配置された複数の圧電振動子により3次元走査が可能であるとともに、超音波を集束して送信することで2次元走査が可能である。
入力装置102は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等の入力手段により実現される。入力装置102は、超音波診断装置1の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体100に転送する。
ディスプレイ103は、例えば、超音波診断装置1の操作者が入力装置102を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データにより示される超音波画像等を表示したりする。ディスプレイ103は、液晶モニタやCRT(Cathode Ray Tube)モニタ等によって実現される。ディスプレイ103は、表示部の一例である。
装置本体100は、超音波プローブ101が受信した反射波信号に基づいて超音波画像データを生成する。なお、超音波画像データは、画像データの一例である。装置本体100は、超音波プローブ101が受信した被検体Pの2次元領域に対応する反射波データに基づいて2次元の超音波画像データを生成可能である。また、装置本体100は、超音波プローブ101が受信した被検体Pの3次元領域に対応する反射波データに基づいて3次元の超音波画像データを生成可能である。図1に示すように、装置本体100は、送信回路110と、受信回路120と、Bモード処理回路130と、ドプラ処理回路140と、画像生成回路150と、画像メモリ160と、記憶回路170と、データ処理回路180と、制御回路190とを有する。
送信回路110は、超音波プローブ101から超音波を送信させる。送信回路110は、レートパルサ発生回路と、送信遅延回路と、送信パルサとを有し、超音波プローブ101に駆動信号を供給する。送信回路110は、被検体P内の2次元領域を走査する場合、超音波プローブ101から2次元領域を走査するための超音波ビームを送信させる。また、送信回路110は、被検体P内の3次元領域を走査する場合、超音波プローブ101から3次元領域を走査するための超音波ビームを送信させる。
レートパルサ発生回路は、所定のレート周波数(PRF:Pulse Repetition Frequency)で、送信超音波(送信ビーム)を形成するためのレートパルスを繰り返し発生する。レートパルスが送信遅延回路を経由することで、異なる送信遅延時間を有した状態で送信パルサに電圧が印加される。例えば、送信遅延回路は、超音波プローブ101から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの送信遅延時間を、レートパルサ発生回路により発生される各レートパルスに対して与える。送信パルサは、かかるレートパルスに基づくタイミングで、超音波プローブ101に駆動信号(駆動パルス)を印加する。なお、送信遅延回路は、各レートパルスに与える送信遅延時間を変化させることで、圧電振動子面からの超音波の送信方向を任意に調整する。
駆動パルスは、送信パルサからケーブルを介して超音波プローブ101内の圧電振動子まで伝達した後に、圧電振動子において電気信号から機械的振動に変換される。この機械的振動によって発生した超音波は、生体内部に送信される。ここで、圧電振動子ごとに異なる送信遅延時間を持った超音波は、集束されて、所定方向に伝搬していく。
なお、送信回路110は、制御回路190による制御を受けて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有する。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。
超音波プローブ101により送信された超音波の反射波は、超音波プローブ101内部の圧電振動子まで到達した後、圧電振動子において、機械的振動から電気的信号(反射波信号)に変換され、受信回路120に入力される。受信回路120は、プリアンプと、A/D(Analog to Digital)変換器と、直交検波回路等を有し、超音波プローブ101が受信した反射波信号に対して各種処理を行なって反射波データを生成する。受信回路120は、超音波プローブ101が受信した2次元の反射波信号から2次元の反射波データを生成する。また、受信回路120は、超音波プローブ101が受信した3次元の反射波信号から3次元の反射波データを生成する。そして、受信回路120は、生成した反射波データをBモード処理回路130及びドプラ処理回路140に出力する。
プリアンプは、反射波信号をチャンネルごとに増幅してゲイン調整(ゲイン補正)を行なう。A/D変換器は、ゲイン補正された反射波信号をA/D変換することでゲイン補正された反射波信号をデジタル信号に変換する。直交検波回路は、A/D変換された反射波信号をベースバンド帯域の同相信号(I信号、I:In-phase)と直交信号(Q信号、Q:Quadrature-phase)とに変換する。そして、直交検波回路は、I信号及びQ信号(IQ信号)を反射波データとしてBモード処理回路130及びドプラ処理回路140に出力する。
Bモード処理回路130は、受信回路120が出力した反射波データに対して、対数増幅、包絡線検波処理及び対数圧縮等を行なって、サンプル点ごとの信号強度(振幅強度)が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。Bモード処理回路130は、生成したBモードデータを画像生成回路150に出力する。Bモード処理回路130は、例えば、プロセッサにより実現される。
ドプラ処理回路140は、受信回路120が出力した反射波データを周波数解析することで、ドプラ効果に基づく移動体(血流や組織、造影剤エコー成分等)の運動情報を抽出し、抽出した運動情報を示すデータ(ドプラデータ)を生成する。例えば、ドプラ処理回路140は、移動体の運動情報として、平均速度、分散及びパワー等を多点に渡り抽出し、抽出した移動体の運動情報を示すドプラデータを生成する。ドプラ処理回路140は、生成したドプラデータを画像生成回路150に出力する。ドプラ処理回路140は、例えば、プロセッサにより実現される。
Bモード処理回路130及びドプラ処理回路140は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。
画像生成回路150は、Bモード処理回路130及びドプラ処理回路140が出力したデータから超音波画像データを生成する。画像生成回路150は、プロセッサにより実現される。ここで、画像生成回路150は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。例えば、画像生成回路150は、超音波プローブ101による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成回路150は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なう。また、画像生成回路150は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
更に、画像生成回路150は、Bモード処理回路130により生成された3次元のBモードデータに対して座標変換を行なうことで、3次元Bモード画像データを生成する。また、画像生成回路150は、ドプラ処理回路140により生成された3次元のドプラデータに対して座標変換を行なうことで、3次元ドプラ画像データを生成する。すなわち、画像生成回路150は、「3次元のBモード画像データ及び3次元ドプラ画像データ」を「3次元超音波画像データ(ボリュームデータ)」として生成する。そして、画像生成回路150は、ボリュームデータをディスプレイ103にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対して様々なレンダリング処理を行なう。
Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成回路150が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。
画像メモリ160は、画像生成回路150により生成された各種の画像データを記憶するメモリである。また、画像メモリ160は、Bモード処理回路130及びドプラ処理回路140により生成されたデータも記憶する。画像メモリ160が記憶するBモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成回路150を経由して表示用の超音波画像データとなる。また、画像メモリ160は、受信回路120が出力した反射波データも記憶する。例えば、画像メモリ160は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。
記憶回路170は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路170は、必要に応じて、画像メモリ160が記憶するデータの保管等にも使用される。例えば、記憶回路170は、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。
データ処理回路180は、各種のデータ処理を実行する。データ処理回路180は、データ処理機能180a、判定機能180b及び実行機能180cを有する。ここで、例えば、図1に示すデータ処理回路180の構成要素であるデータ処理機能180a、判定機能180b及び実行機能180cの各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路170に記録されている。データ処理回路180は、各プログラムを記憶回路170から読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態のデータ処理回路180は、図1のデータ処理回路180内に示された各機能を有することとなる。データ処理回路180は、例えば、プロセッサにより実現される。データ処理機能180aは、取得部の一例であり、推定部の一例でもある。判定機能180bは、判定部の一例である。実行機能180cは、実行部の一例である。データ処理機能180a、判定機能180b及び実行機能180cの詳細については後述する。
制御回路190は、超音波診断装置の処理全体を制御する。具体的には、制御回路190は、入力装置102を介して操作者から入力された各種設定要求や、記憶回路170から読込んだ各種制御プログラム及び各種データに基づき、送信回路110、受信回路120、Bモード処理回路130、ドプラ処理回路140、画像生成回路150及びデータ処理回路180の処理を制御する。また、制御回路190は、画像メモリ160に記憶された表示用の超音波画像データにより示される超音波画像を表示するようにディスプレイ103を制御する。制御回路190は、例えば、プロセッサにより実現される。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、若しくは、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、又は、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、記憶回路170に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路170にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。更に、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
以上、第1の実施形態に係る超音波診断装置1の全体構成について説明した。ここで、上述したように、近年、公知のスペックルトラッキングアプリケーション(以下、単にスペックルトラッキングと称する)を胎児心臓に適用することで、胎児の心機能評価を行う試みが行われるようになって来ている。ここで、スペックルトラッキングでは、被検体から2次元又は3次元の動画像データと共に心電図(ECG(Electrocardiogram))信号を取得することで、ECG信号から検出されたR波の時相を用いて解析用の時間定義域(R-R区間で定めるのが好適)を、入力された動画像から自動的に選択して設定する。更に、スペックルトラッキングでは、ECG信号を参照波形として表示することで、心時相を把握することが可能となっている。
しかしながら、胎児の心機能評価を行う際に、上述したスペックルトラッキングに用いられるような胎児心臓由来の心拍信号であるECG信号(胎児心時相信号)を得るのは困難である。この理由について、以下説明する。胎児心臓は母体(子宮)中の胎児の体内にある。従って、母体から得られる母体心臓由来のECG信号は、胎児心臓由来のECG信号とは非同期なので、スペックルトラッキングにおいて参照される胎児心時相信号としては使用できない。
なお、胎児心臓由来のECG信号を母体の体表経由で取得する試みとして、上述した2つの従来技術(非特許文献1,2の技術)が知られている。例えば、非特許文献1の従来技術では、多数のセンサが母体の腹部に付けられて母体のECG信号が除去されて胎児心臓のECG信号が抽出される。また、非特許文献2の従来技術では、SQUIDセンサが母体の腹部に押しつけられて胎児の心臓が発する微弱な磁気を母親の信号と分離して測定することにより胎児の心磁図が得られる。
しかしながら、上述した2つの従来技術では、多数のセンサ又はSQUIDセンサが母体に対して設けられるため、超音波診断装置ないしMRI(Magnetic Resonance Imaging)装置と併用して胎児心臓の動画像を得る目的に対しては現実的でない。
したがって、上述した2つの従来技術では、スペックルトラッキングを胎児心臓に適用する際に、胎児心時相に由来する解析用の時間定義域(例えば、R-R区間)を自動的に設定できない。このため、用手的に時間定義域(例えば、開始時相と終了時相)を設定する必要があり操作が煩雑となる。また、上述した2つの従来技術では、解析時に拡張末期や収縮末期といった胎児の心時相を識別可能な心電波形を得ることが困難である。
更に、スペックルトラッキングにおいては、関心領域の一例として左心室の心筋境界となる内膜輪郭や内膜面が設定される。近年では、これらの関心領域をトラッキング処理(追跡処理)の対象となる初期境界位置として自動的に検出する技術(ナレッジベースの形状データベースを機械学習しておき、入力画像と照合する方法が一般的である)も公知技術(例えば、斉藤、超音波検査技術 vol.31 No.4, 30(382)-36(388), 2006)として広く用いられている。
このような自動検出技術においては、画像に含まれる心臓の位置及び姿勢を把握する工程の後に、把握された位置及び姿勢を心臓の形状データベースに記憶された心臓の位置及び姿勢と合致させてから照合を行う。なお、かかる自動検出技術においては、心臓の大きさ(サイズ)も把握され、この心臓の大きさを、データベースにおいて定義された大きさに規格化してから照合処理が行われる。
ここで、一般的な被検体の心臓を含む画像を超音波診断装置により体表アプローチ(肋間)で得る場合は、得られる画像中の心臓の位置及び姿勢は概略決まっている。また、心尖アプローチであれば、画像浅部(肋間組織の脂肪層や筋肉の厚さに依存して2~4cm程度)に心尖部があり、心臓サイズ(大人なら長軸長8cm程度)に対応する深さの走査範囲の方位方向に弁輪部があると期待される。従って、これらの先天的情報を前提として利用して、限定された範囲内における探索や照合処理により高精度な心臓の位置及び姿勢の推定を高速に演算することが可能である。被検体として小児を除けば、標準的な心臓のサイズも上述のように予め想定可能である。
ところが、母体のお腹(又は経膣)からのアプローチで得られる胎児心臓の場合には、千差万別の位置及び姿勢の心臓を含む画像が得られる。従って、入力画像中のどの位置に、どのような姿勢で胎児心臓が含まれているかは不明で、予め定まっていない。しかも、観察する妊娠週数により心臓のサイズは大きく変動する。
このため、スペックルトラッキングを胎児心臓に適用する際に、関心領域を自動的に設定する処理(探索や照合を必要とする技術)は、前提が成り立たず上手く機能しないか、又は、以下に説明するように性能が低下してしまう。
例えば、上述した先天的情報を前提情報として使わずに、探索範囲や照合パタンを必要なだけ拡大して検出を行うと演算時間が増加する。更に、対象領域(例えば、左心室)以外の構造物(例えば、左心室以外の右心室や心房や血管等)を誤検出する頻度も増すので、精度が低下する。特に演算時間の増加については、2次元の処理量だと誤検出を許容すれば実用的な範囲内で実現しやすいが、3次元の場合はべき乗で処理量が増えるので、誤検出を許容しても実用的な範囲で実現するのが難しくなる。
以上のことから、従来技術では、胎児心臓の位置の情報及び姿勢の情報、並びに、胎児心臓由来の心電波形等の胎児の心機能評価に有用な情報を得ることが困難である。なお、スペックルトラッキングに限られず、胎児心臓の位置の情報及び姿勢の情報、並びに、胎児心臓由来の心電波形を用いて実行される他のアプリケーションについても、同様の問題が生じる。
そこで、本実施形態に係る超音波診断装置1は、胎児の心機能評価に有用な情報を得ることができるように、以下で説明する各種の処理を実行する。
図2は、第1の実施形態に係る超音波診断装置1により実行される処理の一例を説明するための図である。第1の実施形態では、例えば、超音波プローブ101としてコンベックス型超音波プローブが採用され、超音波プローブ101により胎児心臓の基準断面である心尖4腔像(A4C像)を含む2次元の反射波信号が次々に収集される。図3は、第1の実施形態に係る超音波画像の一例を示す図である。このようにして収集されたA4C像を含む2次元の複数の反射波信号は、受信回路120、Bモード処理回路130及び画像生成回路150を経由して、図2に示すように、A4C像を含む複数の超音波画像データ10a(図3参照)から構成される2次元の動画像データ10に変換される。
上述したように、本実施形態では、超音波プローブ1、受信回路120、Bモード処理回路130及び画像生成回路150により、A4C像を含む2次元の動画像データ10が収集される。すなわち、本実施形態では、超音波プローブ1、受信回路120、Bモード処理回路130及び画像生成回路150により、胎児心臓が含まれる2次元の輝度信号に基づく動画像データ10が収集される。超音波プローブ1、受信回路120、Bモード処理回路130及び画像生成回路150は、収集部の一例である。本実施形態では、例えば、120bpmを越える速い胎児心拍に伴う心筋の動き成分を、2次元のスペックルトラッキングにて十分に解析可能な速いフレームレート(100~200fps程度が望ましい)設定の2次元の動画像データ10が用いられる。また、動画像データ10の収集期間としては、例えば、胎児心臓の5~6心拍が含まれる2秒程度が好適である。
データ処理回路180のデータ処理機能180aは、まず、図2に示すように、動画像データ10の輝度I(x,y,t)について、各点(x,y)上で時間t方向での分散値である時間分散値を演算し、分散分布Var(x,y)を取得する。なお、図2には、分散分布Var(x,y)を示す分散分布像11が示されている。
ここで、空間内で相対的に分散が大きい領域は時間的な変化(動き)が大きい部位と考えられる。そこで、データ処理機能180aは、以下の式(1)により心臓領域として高分散分布像VH(x,y)12を抽出する。
Figure 0007375140000001
式(1)において、Vthは、以下の式(2)により示される閾値であり、Vmaxは、以下の式(3)により示される閾値である。
Figure 0007375140000002
Figure 0007375140000003
式(2)において、αは、1前後の係数である。また、式(3)において、βは、10程度か、又は、10よりも十分に大きい値の係数である。また、式(2)及び式(3)において、mean(Var(x,y))は、全ての点(x,y)で演算された分散分布Var(x,y)の和を全ての点(x,y)の個数で除した平均値(分散分布Var(x,y)の平均値)である。すなわち、meanは、平均値を出力する関数である。また、sqrt(vari(Var(x,y)))は、全ての点(x,y)で演算された分散分布Var(x,y)の分散の正の平方根である標準偏差(分散分布Var(x,y)の標準偏差)である。すなわち、variは、分散を出力する関数であり、sqrtは、正の平方根を出力する関数である。
Vthが空間内で相対的に分散が大きい領域を抽出するための下限閾値である。Vmaxは、上限閾値である。ただし、βを十分に大きい数として設定すれば上限はない。また、スパイク状の変動ノイズ成分を除外するために、βを10程度としてもよい。本実施形態では、分散分布Var(x,y)の平均値mean(Var(x,y))に、分散分布Var(x,y)の標準偏差sqrt(vari(Var(x,y)))をα又はβ倍したものを加算して、高分散分布像VH(x,y)の抽出範囲を指定している。すなわち、本実施形態では、データ処理機能180aは、図2に示すように、平均値mean(Var(x,y))及び標準偏差sqrt(vari(Var(x,y)))を用いて、閾値であるVth,Vmaxを設定する。この他にも、データ処理機能180aは、平均値mean(Var(x,y))を数倍(2~3倍程度)した値をVthとして用いてもよい。
ここで、このような時間分散値の空間分布が有効に心臓部位を反映するためには、1~2心拍期間(1秒程度)の短い処理時間定義域では十分ではないため、5~6心拍以上(例えば、2秒以上)の在る程度長い期間を処理時間定義域として用いるのが望ましい。
図4は、第1の実施形態に係るデータ処理機能180aにより得られた高分散分布像VH(x,y)12の一例を示す図である。なお、図4には、γ=Var(x,y)である場合の高分散分布像VH(x,y)12が示されている。図4に示す高分散分布像VH(x,y)12から分かるように、データ処理機能180aにより心臓組織の領域のみが抽出されていることが分かる。
このように、データ処理機能180aは、動画像データ10の時間的な分散画像(分散分布像11)を取得し、時間的な分散画像の空間的な分散値が下限閾値を超える条件を満たす領域を胎児心臓の組織の領域とすることにより、胎児心臓の組織位置の分布情報を取得する。
そして、データ処理機能180aは、以下の式(4)及び式(5)を用いて、高分散分布像VH(x,y)12内で、x,y各々の重心値xg,ygを算出し、胎児心臓の中心位置C(xg,yg)を取得する。
Figure 0007375140000004
Figure 0007375140000005
ただし、式(4)及び式(5)において、Σ_xは、x方向への和を示し、Σ_yはy方向への和を示す。
ここで、γ=1とする場合には、xg,ygは画像(高分散分布像VH(x,y))範囲内でのx,y各々の単純な平均座標値となる。また、γ=Var(x,y)とする場合には、分散値による重みを加味した重心座標値となる。
ロバストで正確な胎児心臓の中心位置C(xg,yg)を推定する上では、データ処理機能180aは、高分散分布像VH(x,y)12を生成する際にγ=Var(x,y)を用いるのが好適である。胎児心臓を含む画像(胎児心臓画像)には胎盤(高輝度)や胎児の肝臓(高輝度)と羊水(低輝度)との境界といった、弁のように時間分散値が大きくなる部位があるので、心臓内にあって最も速く動く弁によって生じる高い分散値が示す部位の重みが重心位置として反映されやすくなるためである。
次に、データ処理機能180aは、以下の式(6)~(8)により、高分散分布像VH(x,y)12に関する空間分散値vx,vy及び空間共分散値vxyを演算し、以下の式(9)により、2×2の分散共分散行列A2を生成する。
Figure 0007375140000006
Figure 0007375140000007
Figure 0007375140000008
Figure 0007375140000009
空間分散値vx,vy及び空間共分散値vxyを演算する際のγとしては、全ての抽出部位の分散値重みが等しいγ=1を用いるのが好適である。より分散値が大きい弁領域や、弁よりは分散値が小さい心筋領域を全て同等の心臓領域として扱うためである。もちろん、データ処理機能180aは、γ=Var(x,y)として位置(x,y)に分散値の重みを付けた空間分散値vx,vy及び空間共分散値vxyを用いて分散共分散行列A2を生成しても構わない。
データ処理機能180aは、分散共分散行列A2を用いた主成分分析により、主軸m1と副軸m2の方向(2つの固有値σiに対応する固有ベクトル)と、各軸上での分散σ1,σ2(2つの固有値)を求めて心臓のサイズ(楕円半径:Ri*sqrt(σi); i=1,2、Riは1.5~2.0程度が好適)を推定する。ここでいう楕円半径とは、例えば、楕円の長軸の半分の長さである長半径又は短軸の半分の長さである短半径をいう。データ処理機能180aは、主成分分析として、Jacobi法で2×2の行列を定義して用いるか、固有方程式(2次元の動画像データを扱う場合には2次方程式)を解くのが一般的である。この場合の固有値σ1,σ2は位置の分散値なので、分散値σ1,σ2の平方根は長さの次元を持つ標準偏差値となる。よって、仮に、高分散分布像VH(x,y)12により示される分散分布が正規分布であれば、Ri=2.0を選ぶと、抽出された高分散の点のうち約94%がこの楕円半径で定義される楕円内に含まれる。実際の高分散分布像VH(x,y)の分散分布は胎児心臓を含む胎児組織および母体組織の構造に依存するので一般に正規分布とはならないが、Riを適切に設定すれば心室と心房を含む心臓のサイズが推定可能である。
また、主軸m1と副軸m2は直交しており、主軸m1及び副軸m2のそれぞれは、心臓の長軸及び短軸のいずれかに対応していると考えられる。高分散分布像VH(x,y)12として、先に述べた弁や、心腔(低輝度)と心筋(高輝度)の境界として収縮拡張する心筋のみが支配的に抽出できていれば、主軸m1と副軸m2は心臓の姿勢(向き)に対応するためである。ここで、仮に心室と心房を含む全長軸の長さ(心尖位置と心房の血流流入部の位置間の距離)が、左心系と右心系を含む弁輪部での全短軸の長さよりも常に長いのであれば、主軸を長軸側および副軸を短軸側へ割り付けることが可能となる。しかしながら、胎児心臓は成人よりも円形形状をしているために、必ずしもこのような前提は成り立たない。従って、この段階では、ペア1(主軸=長軸、副軸=短軸)及びペア2(主軸=短軸、副軸=長軸)のいずれかの組み合わせとして心臓の姿勢が決まる。
心室と心房は逆位相で拡張及び収縮するので、心室及び心房の双方を含む心尖像では心室のみから得られる情報を用いないと拡張末期/収縮末期を正しく区別できない。具体的には、全心臓を対象とすると、互いに逆位相の心室由来の情報と心房由来の情報とが混在するので、後述する心室内腔面積VA(t)や平均心筋速度VV(t)といった、本来、心時相識別が可能な信号(波形)の時間的な変化幅が小さくなり、後述する心室内腔面積VA(t)や平均心筋速度VV(t)から心時相を識別することが困難となるためである。
そこで本実施形態では、データ処理機能180aは、先に得られた心臓の領域から心室の範囲を限定する。このために、データ処理機能180aは、上述した主成分分析で得られた2つの主成分軸(主軸m1及び副軸m2)それぞれについて、心臓の短軸であるのか又は長軸であるのかを判定すると共に、長軸の心尖側(心室側)を判定する。これらの判定のために、以下の2つのキーとなる心臓の生理的な特徴を利用する。
1つ目の特徴は、「最も早く動く(変化の大きな)のは弁で、弁の運動方向は長軸方向に概平行である」という特徴である。2つ目の特徴は、「心房よりも心室の方が大きく、長軸方向のサイズは心室側の方が長い」という特徴である。
1つ目の特徴から、主成分分析により得られた2つの軸(主軸m1及び副軸m2)のうちいずれか一方の軸に平行でVar(x,y)が大きな塊として分布している部位が弁であり、その軸の方向は短軸方向となる。これは、心室や心房の心腔内では超音波画像の輝度が小さく、輝度が大きい弁尖は心腔内で開閉する際に長軸方向内で往復運動を行うことで、弁尖が通過する領域の輝度の時間分散値が大きくなり、長軸方向に幅を持った帯状の分布として時間分散像が得られるためである。この際に弁尖が接続されている根本の弁輪部も長軸方向に対して平行に動くので、弁尖と共に弁輪部もこの帯状の分散分布を形成している。
また、2つ目の特徴から、最終的に胎児心臓の中心位置C(xg,yg)は、心室と心房を含む全長軸において、心室側にシフトして得られる確率が高いことが分かる。時間分散値が大きくなるのは、先に述べた弁尖と弁輪部および収縮拡張を行う心室の心筋と心房の心筋である。ここで、2つ目の特徴により心室の心筋長は心房の心筋長よりも長いことが分かる。弁部位の往復運動は長軸方向内で明瞭な非対称性がないために、弁部位に対応する高分散領域の重心は移動幅(帯状の分布の幅)の中央にあることが期待される。従って、高分散領域の長軸方向での重心位置は、心室の心筋に対応する高分散領域と心房の心筋に対応する高分散領域との大きさの違いに依存して心室側に偏る可能性が高くなる。
本実施形態に係るデータ処理機能180aは、上述した特徴を利用して長軸と短軸の方向を区別し、更に長軸の心尖側を判定する。
データ処理機能180aが実行する具体的な処理の一例について説明する。図5は、第1の実施形態に係るデータ処理機能180aが実行する処理の一例を説明するための図である。図5には、胎児心臓の中心位置C(xg,yg)、主軸m1、副軸m2が高分散分布像VH(x,y)12に重畳された場合が示されている。なお、図5に示す高分散分布像VH(x,y)12は、γ=1の場合に得られた画像である。
図5に示すように、データ処理機能180aは、高分散分布像VH(x,y)12に対して、胎児心臓の中心位置C(xg,yg)近傍において中心位置C(xg,yg)を挟む4つの帯状の長方形の領域m1-1,m1-2,m2-1,m2-2を設定する。領域m1-1及び領域m1-2は、主軸m1に平行で中心位置C(xg,yg)を挟む2つの領域である。領域m2-1及び領域m2-2は、副軸m2に平行で中心位置C(xg,yg)を挟む2つの領域である。
そして、データ処理機能180aは、4つの帯状の長方形の領域m1-1,m1-2,m2-1,m2-2の中で、VH(x,y)の和(時間的な分散画像の画像値の和)が最大となる領域を弁部位として抽出する。ここで、弁部位として抽出される領域(弁領域)と成り得る領域には、僧帽弁と三尖弁の双方の弁尖と弁輪が含まれるのでVH(x,y)の和は大きくなる。一方で、胎児心臓の中心位置C(xg,yg)に対して反対側の領域には輝度の小さい心室心腔内の分散が対応するのでVH(x,y)の和は小さくなる。また、長軸方向に対して長方形の長手方向が平行な2つの領域には、長手方向よりも小さく設定されている幅の領域にしか高分散な弁部位が含まれていないので、弁領域よりもVH(x,y)の和が小さくなる。
なお、このような弁部位を探索するための4つの帯状の領域(弁部位探索用の領域)m1-1,m1-2,m2-1,m2-2のサイズ(大きさ)が同一でない場合には、データ処理機能180aは、弁部位を抽出する際に、VH(x,y)の平均値を用いてもよい。データ処理機能180aは、帯状の弁部位探索用の各領域のサイズ設定としては、長手方向は楕円半径(主軸m1に対応する楕円半径(R1*sqrt(σ1))又は副軸m2に対応する半径(R2*sqrt(σ2))か、若しくは、双方の平均半径のいずれか)又は心臓サイズとして期待される数cm程度の所定の値を用いる。また、データ処理機能180aは、幅としては弁尖の移動距離の期待値として数mm程度を用いるのが好適である。
ここで、弁部位として抽出された帯状の弁領域の軸方向(帯の長手方向に平行な方向)が短軸方向に対応するので、長軸方向として短軸に垂直な方向(帯の幅の方向)が定められる。すなわち、データ処理機能180aは、弁部位として抽出された帯状の領域の長手方向に平行な方向を短軸方向として定め、短軸方向に垂直な方向を長軸方向として定める。また、データ処理機能180aは、心臓の生理学的な2つ目の特徴に基づき、分散分布の重心の偏りにより、胎児心臓の中心位置C(xg,yg)に対して弁部位と判定された領域と反対側の方向を、長軸上の心尖側として判定する。
すなわち、データ処理機能180aは、胎児心臓の中心位置C(xg,yg)の周辺において、複数の固有ベクトルそれぞれの方向に平行で幅を有する複数の領域m1-1,m1-2,m2-1,m2-2を設定する。そして、データ処理機能180aは、複数の領域m1-1,m1-2,m2-1,m2-2のうち空間的な分散値の和又は平均値が最大となる領域を胎児心臓弁の領域として検出する。そして、データ処理機能180aは、胎児心臓の大きさとして、胎児心臓弁の領域に平行な固有ベクトルの方向を胎児心臓の短軸と判定し、胎児心臓弁の領域の幅方向に平行な方向を胎児心臓の長軸と判定する。
例えば、図5に示す高分散分布像VH(x,y)12や4つの領域m1-1,m1-2,m2-1,m2-2を見てみると、実際に胎児心臓の中心位置C(xg,yg)が心尖方向に寄っており、高分散分布像VH(x,y)12から弁領域と認識される領域に対応する領域m2-2に含まれるVH(x,y)が、他の領域m1-1,m1-2,m2-1に比べて最も大きいことが目視でも判定可能である。
したがって、図5に示す場合には、データ処理機能180aは、副軸m2の方向を短軸方向とし、主軸m1の方向を長軸方向として定める。また、データ処理機能180aは、胎児心臓の中心位置C(xg,yg)に対して領域m2-2の反対側に心尖(心室側)があると判定する。すなわち、データ処理機能180aは、胎児心臓の中心位置C(xg,yg)に対して領域m2-2の反対側の領域を心室側の領域として判定し、中心位置C(xg,yg)に対して領域m2-2側の領域を心房側の領域と判定する。このようにして、データ処理機能180aは、胎児心臓の中心位置、及び、胎児心臓弁の領域の位置に基づいて、長軸の心室側と心房側とを区別する。
そして、データ処理機能180aは、高分散分布像VH(x,y)12に、長軸方向の延長線上に心尖位置を示す「+」を重畳させる。なお、図5に示すように、心尖位置は、長半径(長軸の楕円半径)よりも大きめ(長半径の1.3倍程度)の値を有する長軸方向の位置として定義するのが好適である。これは心尖部の心筋移動(変化)速度が小さいことにより、時間分散値が他部位の心臓組織よりも相対的に小さくなる影響を考慮して、心尖位置の推定精度を高める工夫である。
胎児心臓の中心位置C(xg,yg)、心尖位置、心室側の領域、心房側の領域、長軸(長軸方向)及び短軸(短軸方向)のそれぞれは、胎児心臓の大きさの情報、胎児心臓の位置の情報及び姿勢の情報の少なくとも1つである。このようにして、データ処理機能180aは、動画像データ10に基づいて、胎児心臓の大きさの情報、胎児心臓の位置の情報及び姿勢の情報を推定する。
また、データ処理機能180aは、胎児心臓の組織位置の分布情報に基づいて、胎児心臓の大きさの情報、胎児心臓の位置の情報及び姿勢の情報を推定する。また、データ処理機能180aは、胎児心臓の組織位置の分布情報を用いて動画像データ10に含まれる胎児心臓の位置情報を取得し、胎児心臓の位置情報及び組織位置の分布情報に関する主成分分析の結果に基づいて、動画像データ10に含まれる胎児心臓の大きさの情報及び姿勢の情報を推定する。
また、データ処理機能180aは、胎児心臓の組織位置の2次元の分布情報の重心を胎児心臓の中心位置として推定する。データ処理機能180aは、主成分分析により2つの固有値及び2つの固有ベクトルを取得し、2つの固有値に基づいて胎児心臓の大きさの情報を推定し、2つの固有ベクトルに基づいて胎児心臓の姿勢の情報を推定する。
次に、データ処理機能180aは、心室側の領域と判定した領域内で、2次元の動画像データ10の輝度I(x,y,t)が相対的に小さい部位を心室の心腔内のピクセルとして抽出する。具体例を挙げて説明すると、データ処理機能180aは、図2に示すように、2次元の動画像データ10の輝度I(x,y,t)について、各点(x,y)上で時間t方向での時間平均値を演算し、平均分布Ave(x,y)を生成する。なお、図2には、平均分布Ave(x,y)を示す平均分布像13が示されている。次に、データ処理機能180aは、輝度値が、以下の式(10)で定められる閾値cAthを下回る領域を、輝度値が空間内で相対的に小さい部位に対応する領域として抽出する。
Figure 0007375140000010
式(10)において、mean(Ave(x,y))は、全ての点(x,y)で演算された平均分布Ave(x,y)の和を全ての点(x,y)の個数で除した平均値(平均分布Ave(x,y)の平均値)である。また、sqrt(vari(Ave(x,y)))は、全ての点(x,y)で演算された平均分布Ave(x,y)の分散の正の平方根である標準偏差(平均分布Ave(x,y)の標準偏差)である。また、kcは0.7前後の係数である。データ処理機能180aは、このような閾値cAthを設定して、図2に示すように、輝度値が空間内で相対的に小さい部位に対応する領域を抽出する。なお、図2には、輝度値が空間内で相対的に小さい部位に対応する領域を示す画像14が示されている。
画像中で輝度値が相対的に小さい部位は、羊水や大血管およびエコーの通りにくい場所(音響陰影等)のように心腔内以外にもあるので、データ処理機能180aは、閾値cAthを下回る領域を抽出する処理を施す対象を、予め上述した処理で推定された心室側の領域の範囲内に限定することで、心室の心腔内の領域のみを効率的に抽出することが可能となる。
そして、データ処理機能180aは、抽出した心室の心腔内の領域を構成するピクセルの画面内総和(抽出したピクセルの数*ps)を算出する。ただし、ps=ピクセルサイズ[mm]である。すなわち、(抽出したピクセルの数*ps)は、心室の心腔内の領域を構成するピクセルが占める面積[mm]である。そして、データ処理機能180aは、上述したピクセルの画面内総和を、胎児心臓の心室内腔面積VA(t)として取得する。このように、データ処理機能180aは、時間変化波形S(t)として、心室内腔面積VA(t)を取得する。
ここで、心室内腔面積VA(t)が示す波形では、拡張末期EDで極大値をとり、収縮末期ESで極小値をとる。すなわち、データ処理機能180aは、動画像データ10に基づいて、胎児心時相を推定可能な参照波形として心室内腔面積VA(t)を取得する。心室内腔面積VA(t)は、胎児心臓の心室内腔サイズの時間変化波形の一例である。また、データ処理機能180aは、胎児心臓の組織位置の分布情報に基づいて心室内腔面積VA(t)を取得する。また、データ処理機能180aは、胎児心臓の大きさの情報及び胎児心臓の姿勢の情報に基づいて心室内腔面積VA(t)を取得する。
このため、データ処理回路180の判定機能180bは、心室内腔面積VA(t)を示す波形(時間変化波形)において、極大値をとる点(ピーク)を検出することにより、極大値をとる点に対応する時間tを拡張末期EDの心時相として判定する。また、判定機能180bは、心室内腔面積VA(t)を示す波形において、極小値をとる点(ピーク)を検出することにより、極小値をとる点に対応する時間tを収縮末期ESの心時相として判定する。
すなわち、判定機能180bは、心室内腔面積VA(t)を示す時間変化波形において、極大値をとる時相を拡張末期EDとし、極小値をとる時相を収縮末期として胎児心時相を判定する。
図6は、心室内腔面積VA(t)を示す波形(時間変化波形)20、及び、判定機能180bにより判定された拡張末期EDの時相21a及び収縮末期ESの時相21bの一例を示す図である。図6に示す横軸は時間を示し、縦軸は振幅を示す。なお、図6の例では、心室内腔面積VA(t)を示す波形20の振幅が規格化されている。
図6において、複数の拡張末期EDの時相21aのうち、最大の振幅値(波形値)を有する時相21aを「+1.5」で標識し、他の時相21aは「+1.0」で標識している。同様に、複数の収縮末期ESの時相21bのうち最小の振幅値を有する時相21bを「-2.0」で標識し、他の時相21bは「-1.0」で標識している。
データ処理回路180の実行機能180cは、拡張末期EDの時相21aを用いて、拡張末期EDから次の拡張末期EDまでの区間(ED-ED区間、拡張末期時相間隔)を1心周期の心拍期間として定義し、定義された心拍期間を2次元のスペックルトラッキングで用いられる時間定義域の初期心拍とする。例えば、実行機能180cは、拡張末期の時相21aをR波の時相とみなして、ED-ED区間を設定することにより、R-R区間を設定する。なお、実行機能180cは、収縮末期ESから次の収縮末期ESまでの区間(ES-ES区間、収縮末期時相間隔)を1心周期の心拍期間として定義してもよい。実行機能180aは、初期心拍として、最新の心拍期間、複数の心拍期間のうち最も平均に近い心拍期間、又は、最大の振幅値(波形値)を含む心拍期間を用いることができる。そして、実行機能180cは、かかる心拍期間、胎児心臓の中心位置C(xg,yg)、並びに、データ処理機能180aにより取得された胎児心臓の長軸及び短軸の各種情報から所定の情報を用いて、2次元の動画像データ10に対してスペックルトラッキングを実行し、壁運動解析を実行する。壁運動解析の結果として、GLS等の指標が得られる。
また、制御回路190は、心室内腔面積VA(t)を示す波形を、心時相の参照波形としてECG信号の代わりにディスプレイ103に表示させる。なお、先の図6に示すように、拡張末期EDの時相21a及び収縮末期ESの時相21bのうち少なくとも1つを、心室内腔面積VA(t)を示す波形とともにディスプレイ103に表示させてもよい。
また、データ処理機能180aにより得られた心時相の情報(拡張末期EDの時相21a及び収縮末期ESの時相21b)は、スペックルトラッキングで活用する以外の場合にも用いられる。例えば、実行機能180cは、心時相の情報を用いて、画像に含まれていた胎児心臓に関する基本的な特性として、複数の心拍期間[sec]又は心拍数[bpm]の平均値やばらつき(標準偏差)値を算出してもよい。そして、制御回路190は、複数の心拍期間[sec]又は心拍数[bpm]の平均値やばらつき(標準偏差)値をディスプレイ103に表示させてもよい。また、実行機能180cは、拡張末期容積EDV[mL]、収縮末期容積ESV[ml]およびEF[%]といった容積情報を得るためのアプリケーションにおいて用いられる心時相の情報として、データ処理機能180aにより得られた心時相の情報を用いてもよい。
ここで、実際には、データ処理機能180aは、心室内腔面積VA(t)を得る場合に幾つかの前処理を実行する。かかる前処理について、以下、説明する。
心室内腔面積VA(t)には母体の呼吸動や母体の心拍動、プローブ101の動き及び胎児の動きに起因するクラッタ成分CL(t)が含まれる。このため、データ処理機能180aは、クラッタ成分CL(t)を推定し、心室内腔面積VA(t)からクラッタ成分CL(t)を除去する。
具体例を挙げて説明すると、データ処理機能180aは、心室内腔面積VA(t)の周波数分析により拍動の主周波数f(例えば、120bpmなら2Hz)を推定する。そして、データ処理機能180aは、Tc=1/fの時間幅で心室内腔面積VA(t)を畳み込んでクラッタ成分CL(t)を得る。そして、データ処理機能180aは、心室内腔面積VA(t)からクラッタ成分CL(t)を減算(ハイパスフィルタ処理)したVA´(t)=VA(t)-CL(t)を得る。これは適応的にクラッタ成分CL(t)を推定して除去する場合の一例となっている。クラッタ成分CL(t)を除去することで心室の拍動に由来する成分のみが抽出され、正負のピーク分離や波形のゼロクロス検出が機能するようになる。
また、データ処理機能180aは、変動性ノイズを除去するために、心室内腔面積VA(t)又はクラッタ成分CL(t)が除去された心室内腔面積VA´(t)にローパスフィルタ処理(平滑化処理)をかけて、安定したピーク検出を行えるようにする。
図7及び図8は、前処理の効果を説明するための図である。図7には、ローパスフィルタ処理前の心室内腔面積VA(t)が示す波形25、ローパスフィルタ処理後の心室内腔面積VA(t)が示す波形26、及び、クラッタ成分CL(t)が示す波形27の一例が示されている。また、図8には、クラッタ成分CL(t)が除去された心室内腔面積VA´(t)が示す波形28の一例が示されている。なお、図8に示す波形28が先の図6に示す波形20と実質的に同等なもの(振幅規格化前の波形)である。上述したクラッタ成分CL(t)を除去する処理やローパスフィルタ処理が非線形処理を含まない場合、最終的に得られる心室内腔面積VA´(t)は処理の順番を問わずに同じになる。図8には、ローパスフィルタ処理後にクラッタ成分CL(t)を除去する処理が行われた場合の波形28が示されている。このように、データ処理機能180aは、心室内腔面積VA(t)に含まれるクラッタ成分CL(t)を低減させるとともに、心室内腔面積VA(t)に含まれる変動性ノイズを低減させる。
適応的にクラッタ成分CL(t)を推定する処理の他の例について説明する。例えば、データ処理機能180aは、心室内腔面積VA(t)に関する周波数分析の代わりに、以下の処理を行ってもよい。例えば、データ処理機能180aは、最初に予め初期心拍数B0(例えば、120bpm)を設定してTc=60/B0を与えることで心室内腔面積VA(t)_1が示す波形を得てから、1回目のピーク(極小値をとる点や極大値をとる点)を検出する処理を行う。そして、データ処理機能180aは、1回目のピークを検出する処理の結果得られた複数のED-ED区間や複数のES-ES区間について平均区間Tmを算出することにより心周期を推定する。そして、データ処理機能180aは、Tc=Tmとして与えた心室内腔面積VA(t)_2の波形を得て、2回目のピークを検出する処理を行い、2回目のピークを検出する処理の結果と心室内腔面積VA(t)_2の波形情報を用いても良い。
このように、データ処理機能180aは、心室内腔面積VA(t)を示す時間変化波形から心周期を推定する処理と、心周期に基づいて心室内腔面積VA(t)を取得する処理とを適応的に切り替える。
更には、データ処理機能180aは、Tc又はfの値に応じて、ローパスフィルタのカットオフ周波数fcを適応的に変えてもよい。例えば、データ処理機能180aは、平均心拍数60/Tmに応じてカットオフ周波数fcを大きくしてもよい。なお、データ処理機能180aは、上述したような適応的な処理を行わず、心拍数としてB0を用いた1回目のピークを検出する処理の結果と心室内腔面積VA(t)_1の波形情報をそのまま用いてもよい。
図9は、第1の実施形態に係るデータ処理機能180aが実行する処理の流れの一例を示すフローチャートである。図9に示すように、データ処理機能180aは、動画像データ10の輝度I(x,y,t)について、各点(x,y)上で時間t方向での分散値である時間分散値を演算し、分散分布Var(x,y)を取得する(ステップS101)。
そして、データ処理機能180aは、上記の式(1)により、心臓領域として高分散分布像VH(x,y)12を抽出する(ステップS102)。そして、データ処理機能180aは、上記の式(6)~(8)により、空間分散値vx,vy及び空間共分散値vxyを演算し、上記の式(9)により分散共分散行列A2を生成する(ステップS103)。
そして、データ処理機能180aは、分散共分散行列A2を用いた主成分分析により、主軸m1と副軸m2の方向(2つの固有値σiに対応する固有ベクトル)と、各軸上での分散σ1,σ2(2つの固有値)を求める(ステップS104)。そして、データ処理機能180aは、主軸m1及び副軸m2の方向、並びに、分散σ1,σ2に基づいて、胎児心臓の長軸及び短軸、並びに、長軸の心尖側を判定する(ステップS105)。そして、データ処理機能180aは、判定結果を用いて、心室内腔面積VA(t)を取得し(ステップS106)、処理を終了する。
以上、第1の実施形態に係る超音波診断装置1について説明した。第1の実施形態では、胎児の心時相を識別可能な参照波形(時間変化波形S(t))が得られる。そして、このような参照波形から、自動的に、拡張末期EDの心時相や収縮末期ESの心時相などの胎児の心時相が得られる。更に、胎児心臓の位置の情報、大きさの情報及び姿勢の情報も得られる。この結果、スペックルトラッキング等のアプリケーションにおいて、自動的に時間定義域を設定することが可能になり、操作の簡便化を図ることができるとともに、処理時間を短縮することができる。また、得られた胎児心臓の位置の情報及び姿勢の情報は、画像に含まれる胎児心臓の位置を抽出する(segmentation)要素技術として種々の自動化処理の前処理として適応可能である。これらの自動化処理に対して処理時間短縮と処理精度改善により性能の向上が実現される。以上のことから、第1の実施形態に係る超音波診断装置1によれば、胎児の心機能評価に有用な情報を得ることができる。
(第1の実施形態の第1の変形例)
第1の実施形態では、データ処理機能180aが、胎児心臓の心時相を識別することが可能な時間変化波形として、心室内腔面積VA(t)を取得する場合について説明した。しかしながら、データ処理機能180aは、胎児心臓の心時相を識別することが可能な他の時間変化波形を取得してもよい。そこで、このような変形例を第1の実施形態の第1の変形例として以下説明する。
図10は、第1の変形例に係るデータ処理機能180aが実行する処理の一例を説明するための図である。例えば、第1の変形例に係るデータ処理機能180aは、図10に示すように、第1の実施形態と同様に、胎児心臓の中心位置C(xg,yg)を特定し、胎児心臓の短軸及び長軸、並びに、胎児心臓の心室側の領域及び心房側の領域を判定する。
そして、データ処理機能180aは、心室側の領域と判定した領域内で輝度値が相対的に大きい部位、又は、心室側の領域と判定した領域内で高分散分布像VH(x,y)において高分散値の点として抽出された部位を心室組織として抽出する。なお、図10の例は、心室側の領域と判定した領域内で高分散分布像VH(x,y)において高分散値の点として抽出された部位が、心室組織として抽出された場合を示す。ここでは、高分散分布像VH(x,y)が心臓の組織部位を効率的に抽出可能なことを利用している。
そして、データ処理機能180aは、抽出した心室組織上の複数の点p(x,y)を特定する。そして、データ処理機能180aは、2次元の動画像データ10における心室組織部位を構成する複数の点p(x,y)に対してフレーム間(1/フレームレート[sec])の2次元的なパターンマッチング処理により、図10に示すように、移動ベクトルVp(t)を算出する。次に、データ処理機能180aは、各点p(x,y)において、図10に示すように、心尖位置へ向かう方向の射影速度成分aVp(t)[cm/sec]を算出する。例えば、データ処理機能180aは、点p(x,y)毎に、点p(x,y)の位置と心尖位置とを結ぶ単位方向ベクトルnpと、移動ベクトルVp(t)との内積を射影速度成分aVp(t)として算出する。
そして、データ処理機能180aは、有効な組織部位の全点p(x,y)に対する射影速度成分aVp(t)の平均を、平均心筋速度VV(t)[cm/sec]として算出する。このようにして、データ処理機能180aは、時間変化波形S(t)として平均心筋速度VV(t)を取得する。すなわち、データ処理機能180aは、参照波形として、胎児心臓の心尖へ向かう方向の心筋速度の成分の時間変化波形を取得する。
なお、図10を参照して、データ処理機能180aが、高分散分布像VH(x,y)において高分散値の点として抽出された部位を心室組織として抽出する場合について説明したが、輝度値が相対的に大きい部位を心室組織として抽出する場合について説明する。
例えば、データ処理機能180aは、平均輝度の空間平均値である上述したmean(Ave(x,y))と空間標準偏差値である上述したsqrt(vari(Ave(x,y)))とを用いて、以下の式(11)により定められた閾値mAthを越える領域を心臓の組織部位として抽出する。
Figure 0007375140000011
ただし、式(11)において、kmは、0.3前後の係数である。
画像中で輝度の時間分散値が大きくなる部位や時間平均値が大きくなる部位は心室部分以外にもあるが、データ処理機能180aは、閾値mAthを超える領域を抽出する処理を施す対象を、心室側の領域と判定された領域の範囲内に限定することで、心室の組織のみを効率的に抽出することが可能となる。
図11は、第1の変形例に係る判定機能180bが実行する処理の一例について説明するための図である。ここで、平均心筋速度VV(t)を示す波形では、収縮期に極大値をとり、拡張期に極小値をとる。このため、図11に示すように、第1の変形例に係る判定機能180bは、平均心筋速度VV(t)を示す波形30において、極大値をとる点(ピーク)31を検出し、検出した点31から時間を遡って心筋速度の成分がゼロとなる点32に対応する時間tを拡張末期EDの心時相として判定する。また、判定機能180bは、波形30において、点31から時間を進めて心筋速度の成分がゼロとなる点33に対応する時間tを収縮末期ESの心時相として判定する。このように、判定機能180bは、波形30のゼロクロスを検出することにより、胎児心臓の心時相を判定する。
すなわち、判定機能180bは、平均心筋速度VV(t)を示す時間変化波形において極大値をとる点31から時間を遡って、時間変化波形において心筋速度の成分がゼロとなる時相を拡張末期EDとし、点31から時間を進めて、時間変化波形において心筋速度の成分がゼロとなる時相を収縮末期ESとして胎児心時相を判定する。
データ処理機能180aは、平均心筋速度VV(t)を取得する際には、上述したような時間変化波形30のゼロクロスを検出する処理が機能するようにするために、平均心筋速度VV(t)から上述したクラッタ成分CL(t)を除去する処理を行う。更に、データ処理機能180aは、安定したピーク検出のために、平均心筋速度VV(t)に対してクラッタ成分CL(t)を除去する処理とともに平滑化の処理を併用するのが好適である。
以上、A4C像を想定した心尖像に対して、第1の実施形態では心室内腔面積VA(t)を取得する処理を適用する場合について説明し、第1の変形例では平均心筋速度VV(t)を取得する処理を適用する場合について説明した。しかしながら、他の心尖像(A3C像やA2C像)に対しても、同様に、心室内腔面積VA(t)を取得する処理及び平均心筋速度VV(t)を取得する処理を適用してもよい。
一方、短軸像の場合には、心室のみからの情報と仮定できるため、データ処理機能180aは、楕円の全領域を対象に心室内腔面積VA(t)を算出してもよい。また、短軸像の場合には、データ処理機能180aは、各点p(x,y)において、胎児心臓の中心位置C(xg,yg)へ向かう射影速度成分cVp(t)を求め、有効な組織部位の全点p(x,y)に対する射影速度成分cVp(t)の平均を、平均心筋速度VV(t)[cm/sec]として算出してもよい。すなわち、データ処理機能180aは、参照波形として、胎児心臓の心室の収縮中心へ向かう方向の心筋速度の成分の時間変化波形を取得してもよい。
(第1の実施形態の第2の変形例)
また、第1の実施形態に係る判定機能180bによる心時相の判定方法(第1判定方法)と、第1の変形例に係る判定機能180bによる心時相の判定方法(第2判定方法)とでは、心時相判定の原理が異なる。また、第1の実施形態に係る判定機能180bは、心室内腔面積VA(t)を用いて心時相を判定するのに対して、第1の変形例に係る判定機能180bは、平均心筋速度VV(t)を用いて心時相を判定する。このように、第1の実施形態に係る判定機能180bと第1の変形例に係る判定機能180bとでは、互いに異なる独立な意味を持つ物理量を用いて、心時相を判定する。
したがって、判定機能180bは、双方の方法により得られた心時相を組み合わせて利用することで、よりロバスト性の高い心時相推定(心時相判定)が可能となる。そこで、このような変形例を、第1の実施形態の第2の変形例として説明する。
具体的には、第1判定方法により得られた拡張末期EDの心時相や収縮末期ESの心時相と、第2判定方法により得られた拡張末期EDの心時相や収縮末期ESの心時相との対応する心時相同士の差違δがED-ED区間(又は、ES-ES区間)に対して十分に小さい場合には、同時相(収縮期/拡張期)の検出ができていると考えられる。このため、第2の変形例に係る判定機能180bは、第1判定方法により得られた心時相及び第2判定方法により得られた心時相の結果を平均して最終的な拡張末期EDの心時相や収縮末期ESの心時相を推定することで精度向上が期待できる。なお、差違δがED-ED区間(又は、ES-ES区間)に対して十分に小さい場合とは、例えば、差違δをED-ED区間(又は、ES-ES区間)で除した値が、所定の閾値以下となるような場合である。
すなわち、判定機能180bは、心室内腔面積VA(t)を示す時間変化波形から得られた第1の心時相及び平均心筋速度VV(t)を示す第2の心時相が組み合わされて得られた第3の心時相を用いて心時相を判定する。
一方で、差違δがED-ED区間(又は、ES-ES区間)に対して同程度である場合には、第1判定方法及び第2判定方法のうち、どちらかの判定方法により得られた心時相が誤っていると考えられる。このため、第2の変形例に係る判定機能180bは、初期設定において予め定められたいずれかの判定方法により得られた心時相を最終的な心時相として選択して用いてもよい。なお、差違δがED-ED区間(又は、ES-ES区間)に対して同程度である場合とは、例えば、差違δをED-ED区間(又は、ES-ES区間)で除した値が、(1-ζ)以上(1+ζ)以下の範囲内となるような場合である。ζは、所定の係数である。
また、判定機能180bは、心室内腔面積VA(t)に信頼度を示す指標である信頼度指標QAを定義するとともに、平均心筋速度VV(t)に信頼度指標QVを定義してもよい。この場合、判定機能180bは、心室内腔面積VA(t)及び平均心筋速度VV(t)の2つの信号変化波形S(t)うち、より信頼度の高い方の信号変化波形S(t)を選択し、選択した信号変化波形S(t)から得られる心時相を選択して用いてもよい。なお、心室内腔面積VA(t)が選択された場合には、第1判定方法により心時相が得られ、平均心筋速度VV(t)が選択された場合には、第2判定方法により心時相が得られる。
信頼度指標QA,QVを定義する方法の一例について説明する。例えば、判定機能180bは、心室内腔面積VA(t)や平均心筋速度VV(t)の時間波形に対して時間方向への分散VQCを算出し、分散VQCが小さい方が波形の定常性が高いものとして、分散VQCが小さくなるほど信頼度指標QA,QVが示す信頼度が高くなるように信頼度指標QA,QVを定義してもよい。
また、他の例では、判定機能180bは、判定した拡張末期EDの心時相や収縮末期ESの心時相に基づく複数のED-ED区間(又は、複数のES-ES区間)についての分散VQTを算出してもよい。そして、判定機能180bは、分散VQTが小さい方が安定的なピーク検出ができているとして、分散VQTが小さくなるほど信頼度指標QA,QVが示す信頼度が高くなるように信頼度指標QA,QVを定義してもよい。
これらは、いずれも胎児心拍期間が定常的である場合には有効に機能し、特殊な疾患を除いて5~6心拍程度の比較的短い収集期間においては、ある程度の定常的な心拍期間が期待できる。
(第1の実施形態の第3の変形例)
上記の第1の実施形態では、データ処理回路180が、心臓の領域から心室の領域を限定し、限定された心室の領域に対して各種の処理を行って心時相を判定する場合について説明した。しかしながら、データ処理回路180は、心臓の領域から心房の領域を限定し、限定された心房の領域に対して各種の処理を行って心時相を判定してもよい。そこで、このような変形例を、第1の実施形態の第3の変形例として説明する。
この場合は、上述した心臓の生理的な2つの特徴のうち2つ目の特徴から、データ処理機能180aは、胎児心臓の中心位置C(xg,yg)に対して弁部位と同じ側の領域を長軸の心房側の領域として判定する。
そして、データ処理機能180aは、心尖の位置の代わりに心房の血流流入部の位置を用いて、第1の実施形態と同様の方法で、時間変化波形S(t)として、心室内腔面積VA(t)に代えて心房内腔面積AA(t)を取得する。なお、データ処理機能108aは、胎児心臓の位置の情報、大きさの情報及び姿勢の情報から、心房の血流流入部の位置を取得する。
また、データ処理機能180aは、心尖の位置の代わりに心房の血流流入部の位置又は心房の収縮中心の位置を用いて、第1の実施形態の第1の変形例と同様の方法で、時間変化波形S(t)として、平均心筋速度VV(t)に代えて心房組織の平均速度AV(t)を取得する。すなわち、データ処理機能180aは、参照波形として、胎児心臓の心房の血流流入部又は心房の収縮中心へ向かう方向の心筋速度の成分の時間変化波形を取得する。
データ処理機能180aは、心房内腔面積AA(t)及び心房組織の平均速度AV(t)を得る際にも、上述した方法と同様の方法で、心房内腔面積AA(t)及び心房組織の平均速度AV(t)に対してクラッタ成分CL(t)を除去する処理や平滑化の処理を行うのが好適である。
なお、心室と心房の心時相は収縮期と拡張期が反転しているので、心房を対象領域とした場合の拡張末期EDの心時相と収縮末期ESの心時相の判定は心室を対象領域とした場合と反対となる。従って、心房内腔面積AA(t)を示す波形では、拡張末期EDで極小値をとり、収縮末期ESで極小値をとる。すなわち、データ処理機能180aは、動画像データ10に基づいて、胎児心時相を推定可能な参照波形として心房内腔面積AA(t)を取得する。心房内腔面積AA(t)は、胎児心臓の心房内腔サイズの時間変化波形の一例である。
このため、第3の変形例に係る判定機能180bは、心房内腔面積AA(t)を示す波形において、極小値をとる点(ピーク)を検出することにより、極小値をとる点に対応する時間tを拡張末期EDの心時相として判定する。また、判定機能180bは、心房内腔面積AA(t)を示す波形において、極大値をとる点(ピーク)を検出することにより、極大値をとる点に対応する時間tを収縮末期ESの心時相として判定する。すなわち、判定機能180bは、心房内腔面積AA(t)を示す時間変化波形において極小値をとる時相を拡張末期EDとし、極大値をとる時相を収縮末期ESとして胎児心時相を判定する。
心房組織の平均速度AV(t)を示す波形では、収縮期に極小値をとり、拡張期に極大値をとる。このため、第3の変形例に係る判定機能180bは、心房組織の平均速度AV(t)を示す波形において、極小値をとる点(ピーク)を検出し、検出した点から時間を遡って心筋速度の成分がゼロとなる最初の点に対応する時間tを拡張末期EDの心時相として判定する。また、判定機能180bは、心房組織の平均速度AV(t)を示す波形において、検出した点から時間を進めて心筋速度の成分がゼロとなる点に対応する時間tを収縮末期ESの心時相として判定する。
すなわち、判定機能180bは、心房組織の平均速度AV(t)を示す時間変化波形において極小値をとる点から時間を遡って、時間変化波形において心筋速度の成分がゼロとなる時相を拡張末期EDとし、当該点から時間を進めて、時間変化波形において心筋速度の成分がゼロとなる時相を収縮末期ESとして胎児心時相を判定する。
(第1の実施形態の第4の変形例)
また、データ処理機能180aは、心室由来の時間変化波形S(t)と心房由来の時間変化波形S(t)とを同時に取得してもよい。そこで、このような変形例を第1の実施形態の第4の変形例として説明する。
ここで、推定された心臓中心位置や長軸や短軸の方向が十分に正確である場合には、心室由来の時間変化波形S(t)の時相と、心房由来の時間変化波形S(t)の時相とは反転している。このため、データ処理機能180aは、一方の時間変化波形S(t)の符号を反転してから2つの時間変化波形S(t)を加算(合成)して、合成時間変化波形を生成してもよい。そして、データ処理機能180aは、合成時間変化波形を用いて拡張末期EDの心時相及び収縮末期ESの心時相を判定してもよい。
画像には画角の制約や音響シャドー等のアーティファクトが存在するので、心室領域又は心房領域の全ての領域が必ずしも十分に高いS/N比の画質で画像中に描出されていないことがある。このような場合には、心室領域や心房領域単独の波形に基づく時相判定よりも、合成時間変化波形を用いた時相判定の方がロバスト性の向上が期待される。
又は、このような場合において、判定機能180bは、合成時間変化波形を用いる代わりに、判定済みの心室由来の拡張末期EDの心時相と、判定済みの心房由来の拡張末期EDの心時相との平均を最終的な拡張末期EDの心時相として推定してもよい。同様に、判定機能180bは、合成時間変化波形を用いる代わりに、判定済みの心室由来の収縮末期ESの心時相と、判定済みの心房由来の収縮末期ESの心時相との平均を最終的な収縮末期ESの心時相として推定してもよい。このような最終的な拡張末期EDの心時相及び最終的な収縮末期ESの心時相によっても、同様に、ロバスト性の向上が期待される。
このような2つの時間変化波形の組み合わせる場合には、判定機能180bは、第1の実施形態の第2の変形例において説明した心時相同士の差違δによる心時相の判定方法や、信頼度指標を用いた心時相の判定方法等の方法と同様の方法を用いて、心時相を判定することができる。
例えば、判定機能180bは、心房内腔面積AA(t)を示す時間変化波形から得られた第4の心時相及び心房組織の平均速度AV(t)を示す第5の心時相が組み合わされて得られた第6の心時相を用いて心時相を判定してもよい。
(第1の実施形態の第5の変形例)
次に、第1の実施形態の第5の変形例に係る超音波診断装置1について説明する。更なる時相判定のロバスト性向上のために、第5の変形例に係る判定機能180bは、以下に説明する処理を行ってもよい。
例えば、判定機能180bは、第1の実施形態の第2の変形例において説明したように、第1判定方法及び第2判定方法の双方の判定方法を組み合わせて心室由来の心時相を判定する。同様に、判定機能180bは、第1判定方法及び第2判定方法の双方の判定方法を組み合わせて心房由来の時相を判定する。そして、判定機能180bは、第1の実施形態の第2の変形例において説明した方法と同様の方法で、心室由来の心時相と心房由来の心時相とを用いて、最終的な心時相を推定してもよい。例えば、判定機能180bは、心室由来の心時相と心房由来の心時相との平均を最終的な心時相として推定してもよい。
同様の目的で、判定機能180bは、第1判定方法により得られた心室由来の時間変化波形及び心房由来の時間変化波形の2つの時間変化波形を用いて、一方の時間変化波形の符号を反転してから2つの時間変化波形を加算(合成)して、第1の合成時間変化波形を生成してもよい。同様に、判定機能180bは、第2判定方法により得られた心室由来の時間変化波形及び心房由来の時間変化波形の2つの時間変化波形を用いて、一方の時間変化波形の符号を反転してから2つの時間変化波形を加算(合成)して、第2の合成時間変化波形を生成する。そして、判定機能180bは、第1の実施形態の第2の変形例において説明した方法と同様の方法で、第1の合成時間変化波形及び第2の合成時間変化波形を用いて、心時相を判定してもよい。
(第1の実施形態の第6の変形例)
次に、第1の実施形態の第6の変形例に係る超音波診断装置1について説明する。第6の変形例では、各種の表示制御について説明する。例えば、データ処理機能108aは、胎児心臓の位置の情報、大きさの情報及び姿勢の情報から、心房の血流流入部の位置を取得する。そして、制御回路190は、心房の血流入部の位置を示す情報(例えば、マーカ等)を画像に重畳し、血流入部の位置を示す情報が重畳された画像をディスプレイ103に表示させる。
なお、制御回路190は、胎児心臓の位置の情報、大きさの情報及び姿勢の情報、心尖位置を示す情報(例えば上述した「+」)、並びに、血流入部の位置を示す情報の少なくとも1つをディスプレイ103に表示してもよい。
また、データ処理機能108aは、推定された複数のED-ED区間の平均区間を1心周期の心拍期間として算出してもよい。同様に、データ処理機能108aは、推定された複数のES-ES区間の平均区間を1心周期の心拍期間として算出してもよい。また、データ処理機能108aは、ED-ED区間を1心周期とした場合に、推定された複数のED-ED区間から心周期の変動の値を算出してもよい。同様に、データ処理機能108aは、ES-ES区間を1心周期とした場合に、推定された複数のES-ES区間から心周期の変動の値を算出してもよい。
そして、制御回路190は、複数のED-ED区間の平均区間、複数のES-ES区間の平均区間、複数のED-ED区間から算出された心周期の変動の値、及び、複数のES-ES区間から算出された心周期の変動の値のうち少なくとも1つをディスプレイ103に表示させてもよい。すなわち、制御回路190は、推定された複数のED-ED区間又は複数のES-ES区間から得られた平均的な心周期の値、又は、心周期の変動の値をディスプレイ103に表示させてもよい。
また、制御回路190は、推定された拡張末期EDの時相及び収縮末期ESの時相の少なくとも一方を、時間変化波形S(t)とともにディスプレイ103に表示させてもよい。
(第2の実施形態)
第1の実施形態では、2次元の動画像データ10が収集され、データ処理回路180が、収集された2次元の動画像データ10に対して各種の処理を行う場合について説明した。すなわち、第1の実施形態では、データ処理回路180による処理の対象となるデータが、2次元の動画像データ10である場合について説明した。しかしながら、3次元の動画像データが収集され、データ処理回路180が、3次元の動画像データに対して各種の処理を行ってもよい。そこで、このような実施形態を第2の実施形態として説明する。
第2の実施形態では、例えば、超音波プローブ101として高周波の2Dアレイプローブが採用される。そして、第2の実施形態では、胎児の心尖4腔像を基準断面として描出した状態で、3次元の動画像データが収集される。具体的には、超音波プローブ1、受信回路120、Bモード処理回路130及び画像生成回路150により、A4C像を含む3次元の動画像データが収集される。また、成人心臓ではECG同期を用いたフル4Dスキャンが可能であるが、胎児心臓ではECG信号がないので連続的なライブ4Dスキャンが用いられる。但し、胎児心臓はサイズが小さいため、走査画角を小さくすることでフレームレートを高めることができる。心尖4腔像を基準断面として描出しながら、胎児心臓をカバーできる最小限の画角設定が行われる。120bpmを越える速い胎児心拍に伴う心筋の動き成分を、3次元のスペックルトラッキングにて十分に解析可能な速いフレームレート(100fps前後が望ましい)設定の3次元の動画像データが用いられる。3次元の動画像データの収集期間としては、5~6心拍が含まれる2秒程度が好適である。
第2の実施形態では、第1の実施形態が2次元で行っていた処理を3次元に拡張するだけである。このため、第1の実施形態で行われていた処理と同様の処理が、第2の実施形態でも行われる。但し、空間の次元が1つ増えているので、その違いに伴う処理定義の差違と、出力の差違について以下に説明する。
第2の実施形態では、データ処理回路180による処理の対象となるデータが3次元の動画像データなので、第1の実施形態において点がp(x,y)で表されていたのに対して、第2の実施形態では、点がp(x,y,z)で表される。同様に、全ての座標値はzの次元が増すので、輝度がI(x,y,z,t)、分散分布がVar(x,y,z)、高分散分布像がVH(x,y,z)(γ=1又はγ=Var(x,y,z))、平均分布がAve(x,y,z)と表される。また、第2の実施形態では、分散を出力する関数variは、x,y,zの3次元のデータに対して各種の演算を行って分散を出力する。同様に、平均値を出力する関数meanは、x,y,zの3次元のデータに対して各種の演算を行って平均値を出力する。
また、第2の実施形態では、データ処理機能180aは、以下の式(12)、式(13)及び式(14)を用いて、高分散分布像VH(x,y,z)内で、x,y,z各々の重心値xg,yg,zgを算出し、胎児心臓の中心位置C(xg,yg,zg)を取得する。
Figure 0007375140000012
Figure 0007375140000013
Figure 0007375140000014
ただし、式(12)、式(13)及び式(14)において、Σ_xは、x方向への和を示し、Σ_yはy方向への和を示し、Σ_zはz方向への和を示す。
そして、主成分分析に用いられる分散共分散行列は、以下の式(15)に示す行列A3となる。
Figure 0007375140000015
ここで、データ処理機能180aは、以下の式(16)~式(21)により、分散共分散行列A3の要素であるVH(x,y,z)に関する空間分散値vx,vy,vz及び空間共分散値vxy,vxz,vyzを演算することで、分散共分散行列A3を生成する。なお、第2の実施形態では、第1の実施形態と比べて、z座標が増えることで、空間分散値vzと空間共分散vxz,vyzとが増えている。
Figure 0007375140000016
Figure 0007375140000017
Figure 0007375140000018
Figure 0007375140000019
Figure 0007375140000020
Figure 0007375140000021
データ処理機能180aは、分散共分散行列A3を用いた主成分分析により、3つの軸(主成分軸)m1,m2,m3の方向(3つの固有値σiに対応する固有ベクトル)と、各軸上での各軸上での分散σ1,σ2,σ3(3つの固有値)を求めて心臓のサイズ(楕円半径:Ri*sqrt(σi); i=1,2,3、Riは1.5~2.0程度が好適)を推定する。データ処理機能180aは、主成分分析として、Jacobi法で3×3行列を定義して用いるか、固有方程式(3次元の動画像データを扱う場合には3次方程式)を解く。
本実施形態では、データ処理機能180aは、胎児心臓の組織位置の3次元の分布情報の重心を胎児心臓の中心位置として推定する。そして、データ処理機能180aは、主成分分析により3つの固有値及び3つの固有ベクトルを取得し、3つの固有値に基づいて胎児心臓の大きさの情報を推定し、3つの固有ベクトルに基づいて胎児心臓の姿勢の情報を推定する。
心臓組織を対象としているので、高分散分布像VH(x,y,z)の主軸となる確率の高い長軸は2次元の処理を行う場合と共通であるが、3次元の処理を行う本実施形態では短軸方向に対して軸が1つ増える。これは、基準断面としてA4C像を選ぶと、長軸を回転軸として90度回転させた断面の方向に相当し、臨床的には心尖部二腔像(A2C像)に近い概A2C位置(厳密にはA2C像と心尖部三腔像(A3C像)との中間位置)となる。ここで、実際に、分散共分散行列A3の主成分分析で得られる短軸の2方向は、空間的に直交こそしているが、臨床的に意味のあるA4C像、A2C像又はA3C像の位置に合致しているとは限らない。しかしながら、第1の実施形態で説明したように、弁尖や弁輪部においてVH(x,y,z)の分散値が最も大きくなることにより、短軸の第一軸は僧帽弁と三尖弁の双方の弁が含まれる断面の方向であるA4C像の位置となる確率がもっと高くなると期待される。
図12は、僧帽弁41、三尖弁42、大動脈弁43及び肺動脈弁44と、A2C像、A3C像及びA4C像の断面との位置関係の一例を説明するための図である。図12に示すように、A4C像の断面は、動脈弁(大動脈弁43及び肺動脈弁44)のサイズ(弁輪径)よりも大きなサイズを有する僧帽弁41及び三尖弁42の双方の弁が含まれる断面である。このため、上述したように、短軸の第一軸が僧帽弁41及び三尖弁42の双方の弁が含まれる断面の方向であるA4C像の位置となる確率が高くなると期待されるのは、長軸に平行となる弁尖と弁輪の主な移動領域(高分散領域に対応する)が空間内で相対的に大きくなるためである。なお、動脈弁同士は双方の開閉タイミングが同じであるが、動脈弁のサイズは、相対的に小さい。また、大動脈弁43が向かう血管の方向と、肺動脈弁44が向かう血管の方向とが異なることで、大動脈弁43及び肺動脈弁44は、同一面内にない。
一方、僧帽弁41及び三尖弁42は同一面内にあって同一の時相で開閉していることもA4C像が短軸の第一軸となりやすい一因である。なお、図12にも示されているように、僧帽弁41及び大動脈弁43は、A3C像の位置にあるが、同じ面内(心尖から見て等距離上)にないのと、サイズの差から短軸の主軸として検出される確率はA4C像よりも低くなる。
結果として、軸m1,m2,m3の方向は、長軸方向とA4C像の短軸方向および概A2C像の短軸方向となることが期待される(確率的には一番高い)。ここで、第1の実施形態において説明した心臓の生理学的な2つの特徴は、第2の実施形態においても用いることができる。ここで、長軸と短軸との区別、及び、長軸上での心尖側(心室側)の判定が要点であるので、図13を参照して、3次元の処理を行う場合における弁部位探索用の領域の位置関係を説明する。図13は、A4C像のMPR(Multi Planar Reconstruction)断面に対応し、第2の実施形態に係る弁部位探索用の領域の位置関係の一例を説明するための図である。
2次元の処理が行われる第1の実施形態では、領域m1-1,m1-2,m2-1,m2-2は、長方形の形状で、胎児心臓の中心位置C(xg,yg)を挟む4つの領域である。
一方、3次元の処理が行われる第2の実施形態では、弁探索用の領域は、方向が長手方向に1軸が増えて平面(各軸の長手方向の長さを同一とすると正方形)となって弁部位の移動範囲に対応する幅wを有する板状の形状を有し、6つの領域m1-1,m1-2,m2-1,m2-2,m3-1,m3-2となる。なお、図13では、板状の領域m1-1,m1-2,m2-1,m2-2の各領域が、表示されているMPR断面を横切る位置として長方形として示されている。また、紙面(MPR断面)に垂直な方向へはみ出ている領域m3-1,m3-2の図示が省略されている。
データ処理機能180aは、6つの板状の領域m1-1,m1-2,m2-1,m2-2,m3-1,m3-2の中で、VH(x,y,z)(γ=Var(x,y,z))の和(又は領域内平均値)が最大となる領域を弁領域として抽出する。そして、データ処理機能180aは、弁領域と判定された領域の平面に対する法線ベクトルの方向を長軸の方向とする。長軸となり得る候補は法線ベクトルの個数に等しい3通りである。また、データ処理機能180aは、図13に示す場合には、以下の様にして長軸上の心尖側の方向を定める。
例えば、長軸が軸m3である場合について説明する。この場合、データ処理機能180aは、弁領域が軸m3の一端側にあるときには、軸m3の他端側の方向を長軸上の心尖側として判定する。また、データ処理機能180aは、弁領域が軸m3の他端側にあるときには、軸m3の一端側の方向を長軸上の心尖側として判定する。
次に、長軸が軸m2である場合について説明する。この場合、データ処理機能180aは、弁領域が軸m2の一端側にあるときには、軸m2の他端側の方向を長軸上の心尖側として判定する。また、データ処理機能180aは、弁領域が軸m2の他端側にあるときには、軸m2の一端側の方向を長軸上の心尖側として判定する。
次に、長軸が軸m1である場合について説明する。この場合、データ処理機能180aは、弁領域が軸m1の一端側にあるときには、軸m1の他端側の方向を長軸上の心尖側として判定する。また、データ処理機能180aは、弁領域が軸m1の他端側にあるときには、軸m1の一端側の方向を長軸上の心尖側として判定する。
データ処理機能180aは、上述したような方法で、3次元の画像データ空間内での基準断面の位置、長軸方向及び心尖位置を推定する。基準断面としては主となる短軸位置としてA4C像が抽出される。第2の実施形態に係る超音波診断装置1は、この結果を用いて、以下に説明するように、3次元のスペックルトラッキングに必要な設定を自動的に行う。
3次元のスペックルトラッキングでは、長軸のMPR像と短軸のMPR像を複数同時に表示することで、3次元画像空間における基本軸(例えば、長軸)と対象物(例えば、左心室)の位置関係を示すのが一般的である。
第2の実施形態において推定された長軸と短軸の方向の情報をMPR像の表示に反映させた場合の表示例について図14を参照して説明する。図14は、第2の実施形態に係る表示例を示す図である。3次元のスペックルトラッキングではA面がA4C像に対応しており、図14に示すように、制御回路190は、推定されたA4C像のMPR面の像51をディスプレイ103に表示させると共に、長軸方向を示すラインも表示させる。
また、制御回路190は、B面として、長軸を回転軸にしてA4C像を90度回転させた長軸像(概A2C像)をディスプレイ103に表示させるとともに、B面内での長軸方向を示すラインも表示させる。
また、制御回路190は、3つのC面のMPR像53,54,55をディスプレイ103に表示させる。推定された心尖位置と弁輪位置間の長さを心室の大きさとして、心室の中央から心室の大きさを概4等分して長軸上での各C面のレベル位置を定めるのが好適である。第2の実施形態に係る実行機能180cは、このような各種MPR位置および長軸位置の自動設定と、推定された心時相と参照波形を用いて、第1の実施形態で説明したような2次元のスペックルトラッキングで用いる時間定義域の初期心拍設定と同様に、ED-ED区間の自動初期設定を行うことで、胎児心臓に関する3次元のスペックルトラッキングによる壁運動解析が非常に容易となる。
また、制御回路190は、時間変化波形S(t)56もディスプレイ103に表示させる。
第2の実施形態では、第1の実施形態と比較して、2次元から3次元への拡張により入力信号の次元は1つ多くなるが、出力となる時間変化波形S(t)を用いた心時相判定の考え方や、時間変化波形S(t)を得るために必要な信号処理は第1の実施形態で説明した処理と同様である。特に、第1の実施形態の心室内腔面積VA(t)は、第2の実施形態では、心室内腔の「体積」の時間変化を示す心室内腔体積Vv(t)に変わるが、空間次元の拡張に伴う当然の帰結である。心室内腔面積VA(t)及び心室内腔体積Vv(t)は、共に、心室内腔の「サイズ」の時間変化を示す。
第2の実施形態における心室内腔体積Vv(t)を取得する方法の一例について説明する。例えば、データ処理機能180aは、第1の実施形態と同様に、輝度値が空間内で相対的に小さい部位に対応する領域を心室の心腔内の領域として抽出する。そして、データ処理機能180aは、抽出した心室の心腔内の領域を構成するボクセルの画面内総和(抽出したボクセルの数*vs)を算出する。ただし、vs=ボクセルサイズ[mm]である。すなわち、(抽出したボクセルの数*vs)は、心室の心腔内の領域を構成するボクセルの占める体積[mm]である。そして、データ処理機能180aは、上述したボクセルの画面内総和を、胎児心臓の心室内腔体積Vv(t)として取得する。このように、データ処理機能180aは、心室内腔体積Vv(t)として、時間変化波形S(t)を取得する。
また、第2の実施形態における移動ベクトルVp(t)を算出する方法の一例について説明する。例えば、データ処理機能180aは、第1の実施形態と同様に、心室側の領域と判定した領域内で輝度値が相対的に大きい部位、又は、心室側の領域と判定した領域内で高分散分布像VH(x,y,z)において高分散値の点として抽出された部位を心室組織として抽出する。そして、データ処理機能180aは、抽出した心室組織上の複数の点p(x,y,z)を特定する。そして、データ処理機能180aは、3次元の動画像データ10における心室組織部位を構成する複数の点p(x,y,z)に対してフレーム間(1/フレームレート[sec])の3次元的なパターンマッチング処理により、移動ベクトルVp(t)を算出する。
(第3の実施形態)
次に、第3の実施形態に係る超音波診断装置1について説明する。上述した第2の実施形態では、3次元の動画像データに対して3次元的な処理を行う場合について説明した。第3の実施形態では、画像生成回路150が、3次元の動画像データから、先ず心臓の基準断面を示す複数のMPR像データから構成される2次元の動画像データを生成する。次に、第3の実施形態に係るデータ処理回路180は、この2次元の動画像データに対して、第1の実施形態と同様の処理を行う。
このようにしても、第2の実施形態で説明したような3次元の画像データに対する所定の作用が提供可能である。A4C像のような基準断面がMPR像として得られていれば、3次元のスペックルトラッキングの前処理として長軸の方向設定、C面の位置設定及びED-ED区間の時間定義域の初期設定が自動で可能となる。
心臓の基準断面を示すMPRの動画像を得る手段としては、超音波診断装置1が備える3Dレンダリング機能を有する3D-Viewerを用いて、使用者がA4Cの様な基準断面をMPR画像として設定するのが好適な一例である。先の図14で示した3次元のスペックルトラッキングによるMPR像の表示例は3D-Viewerの機能により実現される。表示された複数のMPR像のうち使用者がA面にA4C像が表示されるように3次元画像の位置関係を調整する。
例えば、第3の実施形態では、データ処理機能180aは、3次元の動画像データから得られる、胎児心臓の基準断面に関する2次元のMPR動画像に基づいて、時間変化波形S(t)を取得する。データ処理機能180aは、3次元の動画像データから得られる、胎児心臓の基準断面に関する2次元のMPR動画像に基づいて、胎児心臓の位置の情報及び姿勢の情報を推定する。
又は、第2の実施形態において上述したように、胎児のA4C像を基準断面として描出した状態で、収集された3次元の動画像データを用いるのも同様の効果を奏する。上述した3D-Viewerでは、収集時に描出した基準断面がそのまま対象となるMPR画像として使われるためである。
別の手段としては、特開2011-78625号公報に記載されているような、A4C像を一例とする心臓の基準断面に関して機械学習されたデータベースとの識別過程を含む処理により、3次元画像データ空間から基準断面を自動検出する公知技術を用いる方法もある。
(第4の実施形態)
次に、第4の実施形態に係る超音波診断装置1について説明する。上述した第1の実施形態から第3の実施形態では、胎児心時相を推定可能な時間変化波形S(t)を取得するために、胎児心臓の位置の情報及び姿勢の情報を推定する場合について説明した。
第4の実施形態では、超音波診断装置1は、以下に説明するように、推定した胎児心臓の位置の情報及び姿勢の情報を活用する。以下では、3つの活用例について説明する。
まず、1つ目の活用例について説明する。例えば、データ処理機能180aが、胎児心臓の領域を限定し、胎児心臓の大きさの情報、位置の情報及び姿勢の情報を推定した後に、実行機能180cは、胎児心臓の大きさの情報、位置の情報及び姿勢の情報を前提情報として利用して、引き続き、左心室の内腔境界や左心房の内腔境界といった、心臓に含まれる個別の関心領域を自動で設定する公知技術を行ってもよい。また、実行機能180cは、組織位置の分布情報、胎児心臓の位置の情報、大きさの情報及び姿勢の情報を用いて、胎児心臓についての関心領域を設定してもよい。このような関心領域を自動で設定する処理は、例えば、探索や照合を含む処理である。上述したように、胎児心臓の位置の情報及び姿勢の情報が分からないと、このような公知技術が機能しにくいが、予め胎児心臓の位置の情報及び姿勢の情報が得られていれば、公知技術の前提が成り立つようになる。従って、実行機能180cは、胎児心臓の位置の情報及び姿勢の情報を推定する処理を前処理として活用することで、このような公知技術が高い性能を維持しつつ効果的に機能するようになる。
なお、実行機能180cは、データ処理機能108aにより推定された心室側の領域及び心房側の領域、並びに、胎児心臓の大きさの情報、位置の情報及び姿勢の情報を用いると、胎児心臓の構造を大まかに把握することができる。すなわち、実行機能180cは、胎児心臓の中で、左心室、左心房、右心室及び右心房の胎児心臓の4つの部屋それぞれが位置する領域を把握することができる。
ここで、実行機能180cは、胎児心臓の4つの部屋それぞれが位置する領域を把握できるので、例えば、既に設定済みの関心領域(第1の関心領域)に含まれる胎児心臓の部屋(例えば、左心室)に対して更に自動的に関心領域(第2の関心領域)を設定してもよい。なお、実行機能180cは、第1の関心領域に含まれる、少なくとも1つ以上の胎児心臓の部屋に対して第2の関心領域を設定すればよい。
次に、2つ目の活用例について説明する。成人心臓では超音波プローブ101の体表への当て方を調整することで心尖像であれば心尖が画像上部にあり、長軸が表示画像の縦方向に概一致させるのが一般的である。従って、2次元のスペックルトラッキングや3次元のスペックルトラッキングといったアプリケーションでは、このような成人心臓での前提を用いて画像表示状態が設計されている。
一方で画像中に含まれる胎児心臓の姿勢は千差万別であり、心尖の位置も長軸の方向も定まらず、先の成人心臓での前提を用いた画像表示状態の設計では、使い難い場合がある。例えば、左心室を対象とした初期輪郭位置設定のために左室心内腔をトレースするような場合には、逆さまにトレースする場合や、横向きにトレースする場合が生じ、慣れていないトレース方法を使用者に強いるために設定が難しくなる。
また、妊娠週数を経て時系列的な胎児心臓の成長や心臓疾患の変化の様子を画像上で観察するために、2画面表示や4画面表示を用いて、同じ断面に関する過去画像と現在画像を並べて表示するような場合では、全ての画像における心臓(長軸)の方向が一致していないと違いを観察するのが困難である。
そこで、制御回路190は、データ処理機能180aにより得られた長軸の方向と心尖の位置を用いて、心尖が画像の上部にあり、長軸が表示画像の縦方向に一致する(成人心臓での一般的な表示書式と同一にする)ように表示画像を自動的に回転させる。すなわち、制御回路190は、表示画像の座標系(ディスプレイ103の座標系)に長軸の方向を一致させた画像をディスプレイ103に表示させる。このように、制御回路190が自動的に表示画像を回転させることにより、表示画像を用手的に回転させる場合に比べて、簡便性が大幅に高められる。
なお、制御回路190は、データ処理機能180aにより得られた長軸の方向と心房の血流流入部の位置を用いて、血流流入部が画面の下部にあり、長軸が表示画像の縦方向に一致するように表示画像を自動的に回転させてもよい。
すなわち、制御回路190は、胎児心臓の長軸と、心尖の位置又は心房の血流流入部の位置とに基づいて、表示画像の座標系に長軸の方向を一致させた画像を表示させる。
次に、3つ目の活用例について説明する。組織ドプラ(TDI:Tissue Doppler Imaging)を用いて弁輪速度から収縮末期ピーク速度s´や拡張早期ピーク速度e´の計測を行うのが成人心臓での心機能評価のためのルーティン検査となっているが、胎児心臓に対しても同様の心機能評価を行ってもよい。この際には、弁輪部に関心領域を設定する必要がある、データ処理機能180aによる弁輪部を推定する処理はドプラ画像の背景として得られているBモード画像に適用可能である。このため、データ処理機能180aが、背景のBモード画像に対して弁輪部を推定する処理を行って、弁輪部を推定し、実行機能180cが、計測時の関心領域を弁輪部に自動設定することができる。
図15は、第4の実施形態に係るデータ処理機能180aが実行する処理の一例を説明するための図である。データ処理機能180aは、心尖位置を得ているので、図15に示すように、組織ドプラにより得られた弁輪部の位置での速度Vに対して、弁輪部から心尖方向へ向かう速度成分V´を角度補正を行うことにより求めてもよい。具体的には、データ処理機能180aは、弁輪部から既知である超音波プローブ101の位置へ向かう方向の線分と、弁輪部から心尖部へ向かう方向の線分とが成す角度をθとすると、V´=V/cosθと求めることができる。
この活用例では胎児心時相を推定可能な時間変化波形S(t)を得る必然性は無いが、第1の実施形態~第3の実施形態と同様に、データ処理機能180aが、心時相(例えば、拡張末期EDの心時相)を得て、制御回路190が、2次元のスペックルトラッキング又は3次元のスペックルトラッキングのように、心時相をディスプレイ103に表示させてもよい。
(第5の実施形態)
次に、第5の実施形態に係る超音波診断装置1について説明する。図16は、第5の実施形態に係る超音波診断装置1の構成例を示すブロック図である。第5の実施形態では、データ処理回路180が、修正機能180dを有する点が、第1の実施形態と異なる。第1の実施形態~第4の実施形態と同様の構成については、同一の符号を付して、説明を省略する。
図16に示すデータ処理回路180の構成要素である修正機能180dは、コンピュータによって実行可能なプログラムの形態で記憶回路170に記録されている。データ処理回路180は、修正機能180dに対応するプログラムを記憶回路170から読み出し、読み出したプログラムを実行することで修正機能180dを実現する。修正機能180dは、修正部の一例である。
ここで、データ処理機能180aにより推定された胎児心臓の位置の情報及び姿勢の情報として、先の図5の例のように、画像(高分散分布像VH(x,y)12)に重畳表示された心尖の位置「+」や胎児心臓の中心位置C(xg,yg)、及び、長軸や短軸の線分は、胎児心臓のサイズ、短軸の方向、長軸の方向、及び、心尖の位置の妥当性について、使用者が判定するのに役立つ。なお、データ処理機能180aは、推定された胎児心臓のサイズを明示するために楕円状のマーカーを画像に重畳してもよい。また、データ処理機能180aは、限定された心室の範囲を示すために、楕円を弁輪部の短軸方向(胎児心臓の中心位置C(xg,yg)を含む線分)で打ち切った半楕円状のマーカーを画像に重畳してもよい。
ここで、背景の画像に描出されている胎児心臓の像と、胎児心臓の位置の情報及び姿勢の情報を比較して、妥当な位置や方向に示されていれば、得られている拡張末期EDの心時相や収縮末期ESの心時相といった各種の心時相に関わる情報の信頼性も高いと期待される。
一方で、胎児心臓の位置の情報及び姿勢の情報が、明らかに背景の画像から期待される位置と乖離が大きい場合には、得られている各種の心時相に関わる情報の信頼性も低いことが言える。すなわち、使用者は、胎児心臓の位置の情報及び姿勢の情報を参照することで、各種の誤判定を判断することができる。
データ処理機能180aは、理想的な高分散分布像VH(x,y)が得られている場合には、長軸の方向及び短軸の方向の判定、並びに、長軸の心尖側の判定を、高い確率で実際の状態と合致するように行う。しかしながら、上述した心臓の生理的な2つの特徴が高分散分布像VH(x,y)に反映されない場合もある。特に2つ目の特徴に基づく、心臓中心が心室側に偏るという状態は、心尖部のエコー信号が十分に得られていない場合、病気や描出断面(特に2次元画像)の制約により心房側のサイズが心室側よりも大きい場合、及び、心房側に激しく動く組織が相対的に多い場合には高分散分布像VH(x,y)に反映されない。これらのことに起因して長軸方向は妥当であっても、心尖側の判定における誤検出が最も頻繁に起こり得る。
又は、弁部位が最も高分散になる確率は高いが、上述した心房側に激しく動く組織が相対的に多い場合のように胎児心臓周辺での時間的変動成分が大きい場合(先に説明したクラッタ成分が胎児心臓の変動成分に比べて大きすぎる場合)は、高分散分布像VH(x,y)に基づく主軸の方向が心臓の方向(主に弁部位の長手方向である短軸方向)に合致しない状態も発生する。この誤検出は先の誤検出ケースよりも相対頻度は低いが、得られた画像(高分散分布像VH(x,y))の状態によっては発生し得る。
前者の誤検出を軽減する手段としては、データ処理機能180aは、心臓の生理的な2つ目の特徴を用いて、心室内腔面積VA(t)を示す時間変化波形及び心房内腔面積AA(t)を示す時間変化波形から、最大の内腔面積が得られた側又は最大の面積変化幅(正のピーク値-負のピーク値)が得られた側を心室側として再判定し直す。心室側の内腔の面積の方が大きいと期待されるからである。上述した心尖部のエコー信号が十分に得られていない場合、及び、心房側に激しく動く組織が相対的に多い場合であれば、このような再判定により、心室側の判定の誤検出を減らすことが可能と期待される。
このような工夫を行っても前者の誤検出が発生すると、心室側と心房側の判定が反転してしまう。すると、拡張末期EDの心時相と収縮末期ESの心時相の判定がちょうど反対となる。そこで、本実施形態では、修正機能180dが、使用者が心尖位置、心室側の領域、並びに、長軸の方向及び短軸の方向を画像上で参照して心房側に心尖を誤検出していることを認識した場合に、簡便に修正可能な手段の実例を提供する。
例えば、超音波診断装置1が、時相反転用のスイッチPhSWを備え、使用者がスイッチPhSWの設定を切り替える。スイッチPhSWの設定が切り替えられたことに伴い、修正機能180dは、心尖側の判定を反対側に置き換える。そして、修正機能180dは、心尖側の領域が反対側に置き換えられたため、時間変化波形S(t)を再び生成する。同様に、修正機能180dは、胎児の心時相を再び推定する。また、修正機能180dは、心線位置も再び推定する。
図17は、第5の実施形態に係る選択ボタンの一例を説明するための図である。図17に示すように、第5の実施形態に係る超音波診断装置1は、複数のED-ED区間からアプリケーションによる解析対象となるED-ED区間を選択するための選択ボタン61,62と、複数のES-ES区間からアプリケーションによる解析対象となるES-ES区間を選択するための選択ボタン63,64を有していてもよい。
図18は、第5の実施形態に係るED-ED区間及びES-ES区間の選択例を示す図である。例えば、図18に示すように、現在、1つのED-ED区間70が選択されている場合に、選択ボタン61が押下されると、修正機能180dは、現在選択中のED-ED区間70の隣のED-ED区間71であって、現在選択中のED-ED区間70から時間を遡る方向に位置するED-ED区間71を選択する。また、選択ボタン62が押下されると、修正機能180dは、現在選択中のED-ED区間70の隣のED-ED区間72であって、現在選択中のED-ED区間70から時間を進めた方向に位置するED-ED区間72を選択する。
また、図18に示すように、現在、1つのES-ES区間74が選択されている場合に、選択ボタン63が押下されると、修正機能180dは、現在選択中のES-ES区間74の隣のES-ES区間73であって、現在選択中のES-ES区間74から時間を遡る方向に位置するES-ES区間73を選択する。また、選択ボタン64が押下されると、修正機能180dは、現在選択中のES-ES区間74の隣のES-ES区間であって、現在選択中のES-ES区間74から時間を進めた方向に位置するES-ES区間を選択する。
また、図18に示すように、現在、1つのED-ED区間70が選択されている場合に、選択ボタン63が押下されると、修正機能180dは、現在選択中のED-ED区間70の近くのES-ES区間73であって、現在選択中のED-ED区間70から時間を遡る方向に位置するES-ES区間73を選択する。また、選択ボタン64が押下されると、修正機能180dは、現在選択中のED-ED区間70の近くのES-ES区間74であって、現在選択中のED-ED区間70から時間を進めた方向に位置するES-ES区間74を選択する。
また、図18に示すように、現在、1つのES-ES区間74が選択されている場合に、選択ボタン61が押下されると、修正機能180dは、現在選択中のES-ES区間74の近くのED-ED区間70であって、現在選択中のES-ES区間74から時間を遡る方向に位置するED-ED区間70を選択する。また、選択ボタン62が押下されると、修正機能180dは、現在選択中のES-ES区間74の近くのED-ED区間72であって、現在選択中のES-ES区間74から時間を進めた方向に位置するED-ED区間73を選択する。
例えば、使用者は、超音波診断装置1が心室側の領域と心房側の領域を誤って検出していると認識した場合に、先ずボタン63又はボタン64を押下する。例えば、使用者は、心室内腔面積VA(t)を示す時間変化波形を観察していたが、ディスプレイ103に表示された心尖の位置などから、観察中の時間変化波形は、心室内腔の面積の時間変化ではなく、心房内腔の面積の時間変化を示す波形であると認識した場合には、ボタン63又はボタン64を押下する。これにより、修正機能180dは、現在の判定(実際は心房側)と反対の判定結果(心室側)による心時相を選択する。この後に、操作者が、別の心拍を解析したい場合、一旦このボタン63又はボタン64を押下した後は、ボタン61又はボタン62を押下することで所望の時相の心拍選択が行われる。このようにして、修正機能180dは、操作者の指示に基づいて、区別された長軸の心室側及び心房側を入れ替える。
このように、実行機能108cは、推定された複数の拡張末期EDの時相21aを用いて処理対象の定義域としてED-ED区間70~72を設定する。また、実行機能108cは、推定された複数の収縮末期ESの時相21bを用いて処理対象の定義域としてES-ES区間73,74を設定する。そして、修正機能108dは、ED-ED区間70~72、及び、ES-ES区間73,74を処理対象の定義域として選択することができる。
なお、使用者は、誤検出でないと認識した場合には、ボタン63又はボタン64の押下を行わずにボタン61又はボタン62を押下することで所望の心拍選択が可能である。従って、ボタン63又はボタン64の押下が行われた時点で「誤検出の修正」が意図されたと考えることができ、修正機能180dは、ボタン63又はボタン64の押下を、スイッチPhSWの設定切り替えとしてみなしても構わない。この場合、修正機能180dは、心室内腔面積VA(t)を示す時間変化波形を更新することなく維持しつつ、選択中の区間(ED-ED区間、ES-ES区間)を切り替える。また、修正機能180dは、画像に心尖位置等の胎児心臓の位置の情報及び姿勢の情報が重畳されている場合には、これらの位置の情報及び姿勢の情報を更新する。
又は、修正機能180dは、ボタン63又はボタン64の押下をスイッチPhSWの設定切り替えとしてみなす場合には、ディスプレイ103に表示されている時間変化波形S(t)の符号を反転させると共に、対応する心時相区間を選択し直して表示を更新しても良い。勿論、上述したように、時間変化波形S(t)を再び生成し直すことも可能である。
すなわち、修正機能180dは、胎児心臓の長軸の心室側及び心房側の区別が誤りである場合に、使用者の指示に基づいて、このような区別を用いた処理の処理結果を修正する。
上述した後者の誤検出では長軸の方向が合致せず、左心系と右心系(心室と心房)が混在した状態の心時相を含む時間変化波形S(t)が得られてしまう。そこで本実施形態では、使用者が、データ処理機能108aにより推定された軸の方向、心尖位置等を画像上で観察して、心室と心房が混在した状態の心時相を含む時間変化波形S(t)が得られていることを認識した場合に、簡便に修正することを可能とする手段として以下の方法を用いる。
例えば、ディスプレイ103に表示されている2次元画像又はMPR画像上で、軸(長軸又は短軸)を示すマーカーにマウス矢印(マウスポインタ、マウスカーソル)が当たると、修正機能108dは、軸を回転可能な状態に変化させる。操作者が、この状態でドラッグ操作を行うと、修正機能108dは、ドラッグ操作に応じて軸を回転させる。そして、修正機能108dは、軸の回転位置に対応して、現在の位置姿勢設定に対応した時間変化波形S(t)を生成し、心時相の判定結果を更新する。そしてドラッグ操作を終了した時点で、修正機能108dは、時間変化波形S(t)と心時相とを確定させる。
同様に、心尖位置を示すマーカーにマウス矢印が当たると、修正機能108dは、心尖位置を移動可能な状態に変化させる。操作者が、この状態でドラッグ操作を行うと、修正機能108dは、ドラッグ操作に応じて画像上での心尖位置を示すマーカーを平行移動させる。そして、修正機能108dは、心尖位置に対応して、現在の位置姿勢設定に対応した時間変化波形S(t)を生成し、心時相の判定結果を更新する。そしてドラッグ操作を終了した時点で、修正機能108dは、時間変化波形S(t)と心時相を確定させる。なお、心尖位置が長軸の延長線上にあることを用いて、長軸の回転制御も一緒に行うのが好適である。
修正機能108dは、使用者からの指示に基づいて、ディスプレイ103に表示されている胎児心臓の中心位置C(xg,yg)を同様の操作手順で平行移動させて、中心位置C(xg,yg)の位置を修正してもよい。また、修正機能108dは、ディスプレイ103に表示されている軸のサイズ又は楕円マーカーのサイズを同様の操作手順で変更して、軸のサイズ又は楕円マーカーのサイズを修正してもよい。また、修正機能108dは、使用者からの指示に基づいて、ディスプレイ103に表示されている心尖位置を示す「+」を平行移動させて、心尖位置を修正してもよい。また、修正機能108dは、使用者からの指示に基づいて、ディスプレイ103に表示されている血流流入部の位置を示すマーカーを平行移動させて、血流流入部の位置を修正してもよい。
このような構成によれば、胎児心臓の位置や姿勢、又は、胎児心臓のサイズの自動推定結果に誤差が認められる場合に、誤差の程度に応じて使用者が任意に調整することが可能となる。
ここで、第4の実施形態で説明したように、制御回路190が、データ処理機能180aにより得られた長軸の方向と心尖の位置を用いて、心尖が画像の上部にあり、長軸が表示画像の縦方向に一致するように表示画像を自動的に回転させる場合について説明する。例えば、修正機能108dによりディスプレイ103に表示された心尖が移動された場合には、制御回路190は、心尖の移動に連動して、移動後の心尖が画像の上部にあり、長軸が表示画像の縦方向に一致するように表示画像を回転させる。
また、制御回路190が、データ処理機能180aにより得られた長軸の方向と心房の血流流入部の位置を用いて、血流流入部が画面の下部にあり、長軸が表示画像の縦方向に一致するように表示画像を自動的に回転させる場合について説明する。例えば、修正機能108dによりディスプレイ103に表示された血流流入部が移動された場合には、制御回路190は、血流流入部の移動に連動して、移動後の血流流入部が画像の下部にあり、長軸が表示画像の縦方向に一致するように表示画像を回転させる。
なお、制御回路190を修正部の一例としてみなすこともできる。すなわち、超音波診断装置1が、修正機能180d及び制御回路190の複数の修正部を備えているとみなすこともできる。
例えば、修正機能(一の修正部)180dは、胎児心臓の長軸の心室側と心房側の区別を用いた処理によって定められた心尖位置を修正する。そして、制御回路(他の修正部)190は、修正機能180dによる修正の結果に対して整合するように、修正機能180dによる修正に連動して、胎児心臓の長軸の心室側と心房側の区別を用いた処理によって位置が定められた心尖が画面の上部にあり、長軸が表示画像の縦方向に一致するように表示画像を回転させる。
(第6の実施形態)
次に、第6の実施形態について説明する。図19は、第6の実施形態に係る医用画像処理装置300の構成の一例を示す図である。図19に示すように、医用画像処理装置300は、ネットワーク500を介して、医用画像診断装置200及び画像保管装置400に接続される。なお、図19に示す構成はあくまでも一例であり、図示する医用画像診断装置200、画像保管装置400及び医用画像処理装置300以外にも、端末装置などの種々の装置がネットワーク500に接続されてもよい。
医用画像診断装置200は、例えば、超音波診断装置である。医用画像診断装置200は、上述した超音波診断装置1と同様に、A4C像を含む2次元又は3次元の動画像データを収集する。そして、医用画像診断装置200は、収集した動画像データを画像保管装置400及び医用画像処理装置300に送信する。なお、医用画像診断装置200は、MRI装置であってもよい。
画像保管装置400は、医用画像診断装置200によって収集された動画像データを保管する。例えば、画像保管装置400は、サーバ装置等のコンピュータ機器によって実現される。画像保管装置400は、ネットワーク500を介して医用画像診断装置200から動画像データを取得し、取得した動画像データを装置内又は装置外に設けられたハードディスク又は光ディスク等のメモリに記憶させる。また、画像保管装置400は、医用画像処理装置300からの要求に応じて、メモリに記憶させた動画像データを医用画像処理装置300に送信する。
医用画像処理装置300は、ネットワーク500を介して医用画像診断装置200及び画像保管装置400から動画像データを取得し、取得した動画像データを処理する。例えば、医用画像処理装置300は、医用画像診断装置200又は画像保管装置400から動画像データを取得し、取得した動画像データを後述するメモリ320に格納し、メモリ320に記憶された動画像データに対して各種処理を行う。そして、医用画像処理装置300は、処理後の画像等を後述するディスプレイ340に表示させる。
図1に示すように、医用画像処理装置300は、通信インターフェース310と、メモリ320と、入力装置330と、ディスプレイ340と、処理回路350とを有する。
通信インターフェース310は、処理回路350に接続され、ネットワーク500を介して接続された医用画像診断装置200及び画像保管装置400との間で行われる各種データの伝送、及び、医用画像診断装置200及び画像保管装置400との間で行われる通信を制御する。例えば、通信インターフェース310は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。例えば、通信インターフェース310は、医用画像診断装置200又は画像保管装置400から動画像データを受信し、受信した動画像データを処理回路350に出力する。
メモリ320は、処理回路350に接続され、各種データを記憶する。例えば、メモリ320は、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスクによって実現される。本実施形態では、メモリ320は、医用画像診断装置200又は画像保管装置400から受信した動画像データを記憶する。
また、メモリ320は、処理回路350の処理に用いられる種々の情報や、処理回路350による処理結果等を記憶する。例えば、メモリ320は、処理回路350によって生成された表示用の画像データ等を記憶する。メモリ320は、記憶部の一例である。
入力装置330は、処理回路350に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路350に出力する。例えば、入力装置330は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力装置、又は、音声入力装置によって実現される。
ディスプレイ340は、処理回路350に接続され、処理回路350から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ340は、液晶モニタやCRTモニタ等によって実現される。例えば、ディスプレイ340は、操作者の指示を受け付けるためのGUIや、種々の表示用の画像、処理回路350による種々の処理結果を表示する。ディスプレイ340は、表示部の一例である。
処理回路350は、入力装置330を介して操作者から受け付けた入力操作に応じて、医用画像処理装置300が有する各構成要素を制御する。例えば、処理回路350は、プロセッサによって実現される。本実施形態では、処理回路350は、通信インターフェース310から出力された動画像データをメモリ320に記憶させる。また、処理回路350は、画像データにより示される画像を表示するようにディスプレイ340を制御する。
図19に示すように、処理回路350は、データ処理機能351と、判定機能352と、実行機能353と、修正機能354とを有する。ここで、例えば、図19に示す処理回路350の構成要素であるデータ処理機能351、判定機能352、実行機能353及び修正機能354の各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ320に記憶されている。処理回路350は、各プログラムをメモリ320から読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路350は、図19の処理回路350内に示された各機能を有することとなる。
なお、データ処理機能351、判定機能352、実行機能353及び修正機能354の全ての処理機能がコンピュータによって実行可能な1つのプログラムの形態で、メモリ320に記憶されていてもよい。例えば、このようなプログラムは、医用画像処理プログラムとも称される。この場合、処理回路350は、医用画像処理プログラムをメモリ320から読み出し、読み出した医用画像処理プログラムを実行することで医用画像処理プログラムに対応するデータ処理機能351、判定機能352、実行機能353及び修正機能354を実現する。
データ処理機能351は、上述したデータ処理機能108aに対応する。データ処理機能351は、メモリ320に記憶されている2次元又は3次元の動画像データを用いて、データ処理機能108aと同様の処理を行う。データ処理機能351は、取得部の一例でもあり、推定部の一例でもある。
判定機能352は、上述した判定機能108bに対応する。判定機能352は、判定機能108bと同様の処理を行う。判定機能352は、判定部の一例である。
実行機能353は、上述した実行機能108cに対応する。実行機能353は、実行機能108cと同様の処理を行う。実行機能353は、実行部の一例である。
修正機能354は、上述した修正機能108dに対応する。修正機能354は、修正機能108dと同様の処理を行う。修正機能354は、修正部の一例である。
以上、第6の実施形態に係る医用画像処理装置300について説明した。第6の実施形態に係る医用画像処理装置300によれば、上述した超音波診断装置1と同様に、胎児の心機能評価に有用な情報を得ることができる。
なお、上述した実施形態では、医用画像診断装置として、超音波診断装置1が用いられた場合について説明したが、MRI装置を用いてもよい。例えば、胎児への侵襲性の低い検査としてMRI検査が胎児画像取得に適用された場合において、ある程度の高い時間分解能を有する撮像条件で得られたMRI画像(例えば、cine-MRIの2次元画像)を用いてもよい。
以上述べた少なくとも1つの実施形態によれば、胎児の心機能評価に有用な情報を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 超音波診断装置

Claims (20)

  1. 胎児心臓が含まれる2次元又は3次元の輝度信号に基づく動画像データを収集する収集部と、
    前記動画像データに基づいて、前記胎児心臓の位置の情報及び姿勢の情報として前記胎児心臓の長軸及び短軸を推定する推定部と、
    を備える、超音波診断装置。
  2. 前記推定部は、前記動画像データの時間的な分散画像を取得し、前記時間的な分散画像の空間的な分散値が閾値を超える条件を満たす領域を前記胎児心臓の組織の領域とすることにより、前記胎児心臓の組織位置の分布情報を取得し、当該分布情報に基づいて前記胎児心臓の位置の情報及び姿勢の情報を推定する、請求項1に記載の超音波診断装置。
  3. 前記推定部は、前記組織位置の分布情報を用いて前記動画像データに含まれる前記胎児心臓の位置の情報を推定し、当該胎児心臓の位置情報及び前記組織位置の分布情報に関する主成分分析の結果に基づいて、前記動画像データに含まれる前記胎児心臓の大きさの情報及び姿勢の情報を推定する、請求項2に記載の超音波診断装置。
  4. 前記収集部は、2次元の前記動画像データを収集し、
    前記推定部は、前記組織位置の2次元の分布情報の重心を前記胎児心臓の中心位置として推定し、前記主成分分析により2つの固有値及び2つの固有ベクトルを取得し、当該2つの固有値に基づいて前記胎児心臓の大きさの情報を推定し、当該2つの固有ベクトルに基づいて前記胎児心臓の姿勢の情報を推定する、請求項3に記載の超音波診断装置。
  5. 前記収集部は、3次元の前記動画像データを収集し、
    前記推定部は、前記組織位置の3次元の分布情報の重心を前記胎児心臓の中心位置として推定し、前記主成分分析により3つの固有値及び3つの固有ベクトルを取得し、当該3つの固有値に基づいて前記胎児心臓の大きさの情報を推定し、当該3つの固有ベクトルに基づいて前記胎児心臓の姿勢の情報を推定する、請求項3に記載の超音波診断装置。
  6. 前記収集部は、3次元の前記動画像データを収集し、
    前記推定部は、前記3次元の動画像データから得られる、前記胎児心臓の基準断面に関する2次元のMPR動画像に基づいて、前記胎児心臓の位置の情報及び姿勢の情報を推定する、請求項1に記載の超音波診断装置。
  7. 前記推定部は、前記中心位置の周辺において、複数の前記固有ベクトルそれぞれの方向に平行で幅を有する複数の領域を設定し、当該複数の領域のうち前記時間的な分散画像の画像値の和又は平均値が最大となる領域を胎児心臓弁の領域として検出し、前記胎児心臓の大きさとして、当該胎児心臓弁の領域に平行な固有ベクトルの方向を当該胎児心臓の短軸と判定し、当該胎児心臓弁の領域の幅方向に平行な方向を当該胎児心臓の長軸と判定する、請求項4又は5に記載の超音波診断装置。
  8. 前記推定部は、前記胎児心臓の中心位置、及び、前記胎児心臓弁の領域の位置に基づいて、前記長軸の心室側と心房側とを区別する、請求項7に記載の超音波診断装置。
  9. 前記胎児心臓の位置の情報及び姿勢の情報を用いて、所定の処理を実行する実行部を更に備える、請求項1に記載の超音波診断装置。
  10. 前記胎児心臓の長軸と、心尖の位置又は心房の血流流入部の位置とに基づいて、表示画像の座標系に長軸の方向を一致させた画像を表示部に表示させる表示制御部を備える、請求項7又は8に記載の超音波診断装置。
  11. 前記長軸の心室側及び心房側の区別が誤りである場合に、使用者の指示に基づいて、当該区別を用いた処理の処理結果を修正する修正部を備える、請求項8に記載の超音波診断装置。
  12. 前記修正部は、使用者の指示に基づいて、区別された前記長軸の心室側及び心房側を入れ替える、請求項11に記載の超音波診断装置。
  13. 推定された複数の拡張末期時相を用いて処理対象の定義域として拡張末期時相間隔を設定し、推定された複数の収縮末期時相を用いて処理対象の定義域として収縮末期時相間隔を設定する実行部を備え、
    前記修正部は、前記拡張末期時相間隔、及び、前記収縮末期時相間隔を前記処理対象の定義域として選択する、請求項11又は12に記載の超音波診断装置。
  14. 前記修正部は、表示部に表示されている心尖、血流流入部、長軸又は短軸を修正する、請求項11~13のいずれか1つに記載の超音波診断装置。
  15. 前記胎児心臓の長軸と、心尖の位置又は心房の血流流入部の位置とに基づいて、表示画像の座標系に長軸の方向を一致させた画像を表示部に表示させる表示制御部を備え、
    前記修正部は、表示部に表示された前記心尖又は前記血流流入部を移動させ、
    前記表示制御部は、前記長軸と、移動後の心尖の位置又は心房の血流流入部の位置とに基づいて、前記座標系に長軸の方向を一致させた画像を前記表示部に表示させる、請求項12に記載の超音波診断装置。
  16. 複数の前記修正部を備え、
    前記複数の修正部のうち、
    一の修正部は、前記区別を用いた処理の第一の処理結果を修正し、
    他の修正部は、前記一の修正部による修正の結果に対して整合するように、当該一の修正部による修正に連動して前記区別を用いた処理の第二の処理結果を修正する、請求項11~15のいずれか1つに記載の超音波診断装置。
  17. 前記推定部は、前記動画像データの時間的な分散画像を取得し、
    前記分散画像に前記胎児心臓の前記位置の情報及び前記姿勢の情報を重畳して表示する表示部を更に備える、請求項1に記載の超音波診断装置。
  18. 胎児心臓が含まれる2次元又は3次元の輝度信号に基づく動画像データを収集する収集部と、
    前記動画像データに基づいて、前記胎児心臓の位置の情報及び姿勢の情報として前記胎児心臓の長軸及び短軸を推定する推定部と、
    を備える、医用画像診断装置。
  19. 胎児心臓が含まれる2次元又は3次元の輝度信号に基づく動画像データを記憶する記憶部と、
    前記動画像データに基づいて、前記胎児心臓の位置の情報及び姿勢の情報として前記胎児心臓の長軸及び短軸を推定する推定部と、
    を備える、医用画像処理装置。
  20. 胎児心臓が含まれる2次元又は3次元の輝度信号に基づく動画像データを記憶する記憶部から前記動画像データを取得し、
    前記動画像データに基づいて、前記胎児心臓の位置の情報及び姿勢の情報として前記胎児心臓の長軸及び短軸を推定する、
    各処理をコンピュータに実行させるための医用画像処理プログラム。
JP2022138642A 2018-05-14 2022-08-31 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム Active JP7375140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022138642A JP7375140B2 (ja) 2018-05-14 2022-08-31 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018093346A JP7136588B2 (ja) 2018-05-14 2018-05-14 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP2022138642A JP7375140B2 (ja) 2018-05-14 2022-08-31 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018093346A Division JP7136588B2 (ja) 2018-05-14 2018-05-14 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2022169774A JP2022169774A (ja) 2022-11-09
JP7375140B2 true JP7375140B2 (ja) 2023-11-07

Family

ID=66529917

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018093346A Active JP7136588B2 (ja) 2018-05-14 2018-05-14 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP2022138642A Active JP7375140B2 (ja) 2018-05-14 2022-08-31 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018093346A Active JP7136588B2 (ja) 2018-05-14 2018-05-14 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Country Status (4)

Country Link
US (2) US20190343482A1 (ja)
EP (1) EP3571999A1 (ja)
JP (2) JP7136588B2 (ja)
CN (1) CN110477952B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082236A1 (zh) * 2018-10-23 2020-04-30 深圳迈瑞生物医疗电子股份有限公司 一种心脏运动定量分析方法和超声系统
CN114845642A (zh) * 2019-11-22 2022-08-02 皇家飞利浦有限公司 用于超声成像的智能测量辅助以及相关联的设备、系统和方法
KR20210112807A (ko) * 2020-03-06 2021-09-15 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
JP2022074392A (ja) * 2020-11-04 2022-05-18 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
TWI768774B (zh) 2021-03-17 2022-06-21 宏碁股份有限公司 輔助評估心臟運動狀態的方法
EP4091550A1 (en) 2021-05-21 2022-11-23 Koninklijke Philips N.V. Cardiac image analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265480A (ja) 2002-03-19 2003-09-24 Toshiba Corp 医用運動解析装置及びその方法
US20100099987A1 (en) 2008-10-16 2010-04-22 Takuya Sasaki Ultrasonic diagnostic device, ultrasonic image processing apparatus, ultrasonic image acquiring method and ultrasonic diagnosis display method
US20100198073A1 (en) 2009-02-05 2010-08-05 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and controlling method of ultrasonic diagnostic apparatus
US20200202551A1 (en) 2017-05-11 2020-06-25 Koninklijke Philips N.V. Fetal development monitoring

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE30397E (en) * 1976-04-27 1980-09-09 Three-dimensional ultrasonic imaging of animal soft tissue
WO1998040014A1 (en) * 1997-03-10 1998-09-17 Robin Medical Inc. Method and apparatus for the assessment and display of variability in mechanical activity of the heart, and enhancement of ultrasound contrast imaging by variability analysis
US6120453A (en) * 1997-11-17 2000-09-19 Sharp; William A. Three-dimensional ultrasound system based on the coordination of multiple ultrasonic transducers
JP2005342006A (ja) * 2004-05-31 2005-12-15 Toshiba Corp 超音波診断装置、超音波画像処理装置、及び超音波信号処理プログラム
JP2006061581A (ja) * 2004-08-30 2006-03-09 Toshiba Corp 医用運動解析装置、医用運動解析方法および医用運動解析プログラム
US20060074315A1 (en) * 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
US8019139B2 (en) * 2005-10-12 2011-09-13 Carestream Health, Inc. Method and system for processing an image of body tissues
JP4206107B2 (ja) * 2006-07-05 2009-01-07 アロカ株式会社 超音波診断装置
WO2010064663A1 (ja) * 2008-12-02 2010-06-10 株式会社 東芝 超音波診断装置、ドプラ計測装置及びドプラ計測方法
US8478388B2 (en) * 2009-04-07 2013-07-02 Pacesetter, Inc. Cardiac coordinate system for motion analysis
JP5586203B2 (ja) 2009-10-08 2014-09-10 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5889886B2 (ja) * 2010-06-17 2016-03-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3d超音波胎児イメージングのための自動心拍数検出
JP5597492B2 (ja) * 2010-09-08 2014-10-01 株式会社東芝 超音波診断装置、画像処理装置およびプログラム
JP5944645B2 (ja) * 2010-11-02 2016-07-05 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置
JPWO2012090658A1 (ja) * 2010-12-27 2014-06-05 株式会社日立メディコ 超音波診断装置および画像処理方法
US8849005B2 (en) * 2011-09-28 2014-09-30 Siemens Aktiengesellschaft Coronary artery motion modeling
WO2013146710A1 (ja) * 2012-03-30 2013-10-03 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
CN103429164B (zh) * 2012-03-30 2015-04-22 东芝医疗系统株式会社 超声波诊断装置、图像处理装置以及图像处理方法
CN105073014B (zh) * 2013-03-25 2017-08-22 株式会社日立制作所 超声波摄像装置以及超声波图像显示方法
JP5842039B1 (ja) * 2014-08-15 2016-01-13 日立アロカメディカル株式会社 超音波画像処理装置
JP2016097256A (ja) * 2014-11-26 2016-05-30 日立アロカメディカル株式会社 超音波画像処理装置
JP2017127528A (ja) * 2016-01-21 2017-07-27 株式会社日立製作所 超音波診断装置
US20190192229A1 (en) * 2017-11-21 2019-06-27 The Charles Stark Draper Laboratory, Inc. System and method for guiding invasive medical treatment procedures based upon enhanced contrast-mode ultrasound imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265480A (ja) 2002-03-19 2003-09-24 Toshiba Corp 医用運動解析装置及びその方法
US20100099987A1 (en) 2008-10-16 2010-04-22 Takuya Sasaki Ultrasonic diagnostic device, ultrasonic image processing apparatus, ultrasonic image acquiring method and ultrasonic diagnosis display method
JP2010115483A (ja) 2008-10-16 2010-05-27 Toshiba Corp 超音波診断装置、超音波画像処理装置、超音波画像取得プログラム及び超音波診断表示プログラム
US20100198073A1 (en) 2009-02-05 2010-08-05 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and controlling method of ultrasonic diagnostic apparatus
JP2010178905A (ja) 2009-02-05 2010-08-19 Toshiba Corp 超音波診断装置及び超音波診断装置の制御プログラム
US20200202551A1 (en) 2017-05-11 2020-06-25 Koninklijke Philips N.V. Fetal development monitoring

Also Published As

Publication number Publication date
CN110477952A (zh) 2019-11-22
JP2022169774A (ja) 2022-11-09
JP2019198389A (ja) 2019-11-21
US20190343482A1 (en) 2019-11-14
EP3571999A1 (en) 2019-11-27
JP7136588B2 (ja) 2022-09-13
CN110477952B (zh) 2023-04-07
US20240324986A1 (en) 2024-10-03

Similar Documents

Publication Publication Date Title
JP7375140B2 (ja) 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP6640922B2 (ja) 超音波診断装置及び画像処理装置
US8565504B2 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
JP5645811B2 (ja) 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム
JP6173886B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
US11100665B2 (en) Anatomical measurements from ultrasound data
US9877698B2 (en) Ultrasonic diagnosis apparatus and ultrasonic image processing apparatus
JP6393698B2 (ja) 3dイメージングシステムのためのデータ表示及び処理アルゴリズム
US11766245B2 (en) Ultrasonic diagnostic apparatus and control method
JP6835587B2 (ja) 医用4dイメージングにおける動き適応型可視化
JP6925824B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP5982602B2 (ja) 解剖学的に知的な心エコー法における肺組織同定
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
US20200205772A1 (en) Ultrasonic detection method and ultrasonic imaging system for fetal heart
JP5788230B2 (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
WO2007049207A1 (en) System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
JP5885234B2 (ja) 疾患判定装置および超音波画像形成装置における画像解析方法
JP2018507738A (ja) 単一自由度の心腔セグメント化による心臓性能の超音波診断
US20230240645A1 (en) Systems and methods for measuring cardiac stiffness
JP6502070B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
JP2021194164A (ja) 超音波診断装置、医用画像処理装置、及び医用画像処理プログラム
Antunes Reconstruction of Echocardiographic Images for the Detection of Several Congenital Heart Defects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7375140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150