[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6902625B2 - 確率マップに基づいた超音波検査 - Google Patents

確率マップに基づいた超音波検査 Download PDF

Info

Publication number
JP6902625B2
JP6902625B2 JP2019561958A JP2019561958A JP6902625B2 JP 6902625 B2 JP6902625 B2 JP 6902625B2 JP 2019561958 A JP2019561958 A JP 2019561958A JP 2019561958 A JP2019561958 A JP 2019561958A JP 6902625 B2 JP6902625 B2 JP 6902625B2
Authority
JP
Japan
Prior art keywords
information
interest
subject
probability
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561958A
Other languages
English (en)
Other versions
JP2020519369A (ja
Inventor
ファン チョイ、ジュン
ファン チョイ、ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verathon Inc
Original Assignee
Verathon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verathon Inc filed Critical Verathon Inc
Publication of JP2020519369A publication Critical patent/JP2020519369A/ja
Application granted granted Critical
Publication of JP6902625B2 publication Critical patent/JP6902625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318Evaluation of the lower reproductive system
    • A61B5/4325Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381Prostate evaluation or disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30084Kidney; Renal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Pregnancy & Childbirth (AREA)

Description

本出願は、米国特許法第119条に基づき、2017年5月11日に出願された米国仮特許出願第62/504,709号の優先権を主張するものであり、その内容はその全体が参照により本明細書に組み込まれる。
超音波スキャナは、典型的には、身体内の対象臓器若しくはその他の構造体を特定し、且つ/又は臓器/構造体のサイズ若しくは臓器内の流体の容積など、対象臓器/構造体に関連付けられた特徴を判定するため使用される。例えば、超音波スキャナは、患者の膀胱を特定し、膀胱内の流体の容積を推定するために使用される。典型的な事例では、超音波スキャナは、患者の上に配置され、特定の周波数での音波出力を含む超音波信号を生じるように始動される。超音波信号のエコーは、スキャナによって受信され、膀胱内の流体の容積を判定するために分析され得る。例えば、受信したエコーを使用して、分析して膀胱壁などの対象臓器の境界を検出できる対応する画像を生成することができる。次に、膀胱の容積は、検出された境界情報に基づいて推定され得る。
しかし、通常の超音波スキャナは、患者によって関心の対象臓器のサイズ及び/又は形状が変わりやすいこと、対象臓器/構造体の境界を正確に検出することを難しくする身体内の障害など、複数の要因によって引き起こされる不正確性を被ることが多い。
例示的な実装形態に従ったスキャン・システムの例示的な構成を示す。 患者の臓器を検出することに関する図1Aのスキャン・システムの運用を示す。 図1Aのスキャン・システムに含まれる論理構成要素の例示的な構成を示す。 例示的な実装形態における図2のデータ取得装置の一部を示す。 例示的な実装形態における図2のオートエンコーダ装置の一部を示す。 図2の構成要素の1つ以上に含まれるコンポーネントの例示的な構成を示す。 例示的な実装形態による、図2に示す様々なコンポーネントによる処理を示す流れ図である。 例示的な実装形態における、図2のオートエンコーダによって生成される出力を示す。 図6の処理による二値化処理を示す。 図1Aのベース・ユニットを介して情報を表示することに関連する流れ図である。 図9の処理と関連するベース・ユニットによる例示的な画像データ出力を示す。
以下の詳細な説明は、添付の図面を参照する。異なる図面における同一の参照番号は、同一又は同様の構成要素を特定することがある。また、以下の詳細な説明は、本発明を制限することはない。
本明細書に記載された実装形態は、超音波スキャナを介して取得する情報に基づいて患者の関心の臓器又は構造体を特定するためにニューラル・ネットワーク及び深層学習を用いることを含む、機械学習を用いることに関する。例えば、スキャナを使用して、複数の超音波信号を対象臓器に向けて伝送することができ、伝送された信号に関連付けられたエコー情報を機械学習技術/アルゴリズムを用いて処理することができる。機械学習処理を使用して、関心の対象を特定することができ、受信した超音波エコー・データに基づいて生成された画像の各部分又は各画素に関連付けられた確率情報を生成することができる。
例えば、一実装形態では、対象臓器に向けられた複数の異なる走査面上に伝送された超音波信号に関連付けられたBモード・エコー・データなどの超音波エコー・データは、各Bモード画像の確率マップを生成するために使用され得る。一実装形態では、Bモード画像内の各画素は、その特定の画素が対象臓器/構造体内にあるか、又はその一部であるかを示す確率にマッピングされ得る。画素毎の分析結果は、対象確率マップを生成するために使用される。次に、二値化処理及び後処理を実施して雑音を取り除いて、対象臓器に対する境界壁を判定し境界情報に基づいてサイズを推定しようとする従来のスキャナに比べて、より正確な臓器の表現を提供することができる。実装形態によっては、後処理からの出力を医療関係者に表示して、超音波スキャンを実施しながら、簡単に臓器を位置決めすることを支援できる。また、追加の後処理を実施して、患者の膀胱内の流体の容積などの対象臓器の容積を推定することができる。
図1Aは、例示的な実施例に従ったスキャン・システム100を示す図である。図1を参照すると、スキャン・システム100は、プローブ110、ベース・ユニット120及びケーブル130を含む。
プローブ110は、ハンドル部112(ハンドル112とも呼ばれる)、トリガ114及びノーズ部116(ドーム若しくはドーム部116とも呼ばれる)を含む。医療関係者は、ハンドル112を介してプローブ110を保持してトリガ114を押して、ノーズ部116に位置する1つ又は複数の超音波送受信機及び変換器を起動して、関心の対象臓器に向けて超音波信号を伝送することができる。例えば、図1Bは、患者150の骨盤部上及び本実例では患者の膀胱152である関心の対象臓器上に位置するプローブ110を示す。
ハンドル112により、ユーザはプローブ110を患者150に対して移動することが可能になる。上述の通り、選択された解剖学的部分がスキャンされるとき、ドーム116が患者150の表面部に接触した状態で、トリガ114が、選択された解剖学的部分の超音波スキャンを開始する。ドーム116は、通常、解剖学的部分に適切な音響インピーダンス整合を提供し、且つ/又は超音波エネルギーが解剖学的部分に投射されるときに適切に焦点を合わせることができる材料で形成される。例えば、図1Bの領域154に図示する音響ゲル又はゲル・パッドが、関心領域(ROI:Region of Interest)にわたる患者150の皮膚に塗布されて、ドーム116が患者150の皮膚に押し付けて配置されたときに音響インピーダンス整合を提供することができる。
ドーム116は、1つ又は複数の超音波送受信機素子及び1つ又は複数の変換器素子(図1A又は図1Bには図示せず)を含む。送受信機素子は、超音波エネルギーをドーム116から外に向かって伝送し、解剖学的部分内の内部構造体/組織によって生成された音響反射すなわちエコーを受信する。1つ又は複数の超音波変換器素子は、モータによってドーム116内を移動して送受信機素子による超音波信号の伝送に対して様々なスキャン方向を提供できる一次元又は二次元アレイの圧電素子を含み得る。或いは、変換器素子は、選択された解剖学的領域がアレイの素子に選択的に通電することによってスキャンされ得るように、プローブ110に対して静止していることができる。
実装形態によっては、プローブ110は、初期対象化及びROI内の臓器又は構造体の対象にユーザがアクセスするのを案内するため点灯することができる複数の矢印を含む方向インジケータ・パネル(図1Aに図示せず)を含み得る。例えば、実装形態によっては、臓器又は構造体が、患者150の第1の位置で皮膚表面に押し付けて配置されたプローブ110の配置を中心とする場合、方向矢印は点灯されなくてもよい。しかし、臓器が中心を外れている場合、矢印又は矢印の組が、プローブ110を患者150の第2の又はその後の皮膚位置に再配置するようにユーザを誘導するために点灯することができる。他の実装形態では、方向インジケータは、ベース・ユニット120のディスプレイ122上に提示されてもよい。
プローブ110内に位置する1つ又は複数の送受信機は、好ましくはドーム116内又はそれに隣接して位置付けられる加速度計及び/又はジャイロスコープを含む慣性基準装置を含んでもよい。加速度計は、好ましくは座標システムに対して送受信機の加速度を感知するように動作することができ得るが、ジャイロスコープは、同一又は別の座標システムに対して送受信機の角速度を感知するように動作可能であり得る。したがって、ジャイロスコープは、動的要素を使用する従来の構成であってもよく、又は、光リング・ジャイロスコープなどの光電子デバイスであってもよい。一実施例では、加速度計及びジャイロスコープは、一般にパッケージ化されたデバイス及び/又はソリッド・ステート・デバイスを含んでもよい。他の実施例では、加速度計及び/又はジャイロスコープは、一般にパッケージ化された微小電気機械システム(MEMS:Micro−ElectroMechanical System)デバイスを含んでもよい。いずれの場合も、加速度計及びジャイロスコープは、患者の関心の解剖学的領域に隣接する既知の位置に対する位置の及び/又は角度の変化の決定を協働して可能にする。
プローブ110は、ケーブル130などの有線接続を介してベース・ユニット120と通信することができる。他の実装形態では、プローブ110は、無線接続(例えば、ブルートゥース(登録商標)、WiFi(登録商標)など)を介してベース・ユニット120と通信できる。いずれの場合も、ベース・ユニット120は、ディスプレイ122を含むことにより、ユーザが超音波スキャンで処理された結果を見られるようにし、且つ/又はプローブ110の動作中、ユーザに対して操作のための対話を可能にする。例えば、ディスプレイ122は、液晶ディスプレイ(LCD:Liquid Crystal Display)、発光ダイオード(LED:Light Emitted Diode)ベースのディスプレイ、又は、ユーザに文字及び/又は画像データを提供するその他の種類のディスプレイなどの出力ディスプレイ/スクリーンを含み得る。例えば、ディスプレイ122は、患者150の選択された解剖学的部分に対してプローブ110を位置付けるための命令を与えることができる。ディスプレイ122はまた、選択された解剖学的領域の二次元画像又は三次元画像を表示できる。
実装形態によっては、ディスプレイ122は、超音波スキャンに関連付けられた様々な特徴をユーザが選択できるグラフィカル・ユーザ・インタフェース(GUI:Graphical User Interface)を含み得る。例えば、ディスプレイ122は、患者150が男性であるか、女性であるか又は子供であるかをユーザが選択できるようにしてもよい。それにより、システム100は男性患者及び女性患者の様々な解剖学的詳細に適応するようにシステム100を適合するなど、選択された患者の解剖学に対する超音波信号の伝送、受け取り及び処理を自動的に適合することが可能になる。例えば、男性患者が、ディスプレイ122上のGUIを介して選択された場合、システム100は、男性患者に膀胱などの単一の空洞を位置決めするように構成することができる。逆に、GUIを介して女性患者が選択された場合、システム100は、膀胱及び子宮を含む身体領域など、複数の空洞を有する解剖学的部分を撮像するように構成することができる。同様に、子供の患者が選択されると、システム100は、より小さいサイズの子供の患者に基づいて伝送を調節するように構成できる。代替の実装形態では、システム100は、男性患者及び/又は女性患者と共に使用され得る単一空洞スキャン・モード、又は複数の空洞スキャン・モードを選択するように構成された空洞セレクタを含んでもよい。したがって、空洞セレクタは、単一空洞が撮像され、又は、大動脈及び心臓を含む領域などの複数の空洞領域が撮像されるようになされてもよい。さらに、患者の種類の選択(例えば、男性、女性、子供)は、画像を分析するときに使用されて、以下に詳細に説明されるように、対象臓器を正確に表すのを支援することができる。
患者の選択された解剖学的部分をスキャンするため、ドーム116は、スキャンされる解剖学的部分に隣接する図1Bに示すように、患者150の表面部分に押し付けて位置付けられてもよい。ユーザは、トリガ114を押して送受信機を起動する。それに応答して、変換器素子が送受信機を任意に位置付け、送受信機は、超音波信号を身体内に伝送し、対応するリターン・エコー信号を受信し、リターン・エコー信号は少なくとも部分的に送受信機によって処理されて、選択された解剖学的部分の超音波画像を生成できる。特定の実施例では、システム100は、約2メガヘルツ(MHz)から約10MHz以上(例えば、18MHz)にわたる範囲に超音波信号を伝送する。
一実施例では、プローブ110は、事前決定された周波数及び/又はパルス繰り返し数で超音波エネルギーを発生するように、且つ超音波エネルギーを送受信機に移動するように構成されるベース・ユニット120に結合され得る。ベース・ユニット120は、送受信機によって受信されてスキャンされた解剖学的領域の画像を生成する、反射された超音波エネルギーを処理するように構成された1つ又は複数のプロセッサ或いは処理ロジックも含む。
さらに別の特定の実施例では、プローブ110は、プローブ110内に位置付けられたマイクロプロセッサ及びマイクロプロセッサに関連付けられて送受信機を動作可能に制御するソフトウェアを含んで、反射された超音波エネルギーを処理して超音波画像を生成する自立型デバイスであってもよい。したがって、プローブ110上のディスプレイを使用して、生成された画像を表示し、且つ/又は送受信機の動作に関連付けられたその他の情報を閲覧することができる。例えば、その情報は一連のスキャンを実施する前に送受信機の好ましい位置を示す英数字データを含んでもよい。他の実装形態では、送受信機は、少なくとも部分的に送受信機の動作を制御するソフトウェアを含み、且つスキャンされた解剖学的領域の画像を生成できるように送受信機から転送された情報を処理するソフトウェアも含む、ラップトップ又はデスクトップ・コンピュータなどの汎用コンピュータに結合されてもよい。
図2は、例示的な実装形態に従ってシステム100に実装された関数型論理構成要素のブロック図である。図2を参照すると、システム100は、データ取得装置210、畳み込みニューラル・ネットワーク(CNN:Convolutional Neural Network)オートエンコーダ装置220、後処理装置230、照準ロジック240、及び量推定ロジック250を含む。例示的な実装形態では、プローブ110は、データ取得装置210を含むことができ、他の関数型装置(例えば、CNNオートエンコーダ装置220、後処理装置230、照準ロジック240及び量推定ロジック250)は、ベース・ユニット120に実装することができる。他の実装形態では、特定の装置及び/又はロジックは、コンピューティング・デバイス又はプローブ110及びベース・ユニット120の両方に対して外部に位置するサーバ(例えば、無線接続経由でインターネット又は病院内ローカル・エリア・ネットワークにアクセス可能)経由などで、他のデバイスによって実施され得る。例えば、プローブ110は、プローブ110及びベース・ユニット120から遠隔に位置する処理システムへ、例えば、無線接続(例えば、WiFi(登録商標)又はいくつかの他の無線プロトコル/技術)を介してエコー・データ及び/又は画像データを伝送することができる。
上述のように、プローブ110は、超音波信号を生成し、伝送された信号からエコーを受信し、受信したエコー(例えば、受信したエコーの大きさ又は強さ)に基づいてBモード画像データを生成する送受信機を含んでもよい。例示的な実装形態では、データ取得装置210は、患者150の関心の領域に対応する複数のスキャン面に関連付けられたデータを取得する。例えば、プローブ110は、データ取得装置210によって処理されて、2次元(2D)Bモード画像データを生成して膀胱の大きさ及び/又は容積を判定するエコー・データを受信できる。他の実装形態では、プローブ110は、処理されて、膀胱のサイズ及び/又は容積を判定するために使用できる3次元(3D)画像データを生成するエコー・データを受信できる。
例えば、図3は、3D画像データを取得するために使用される例示的なデータ取得装置210を示す。図3を参照すると、データ取得装置210は、変換器310、ドーム部116の外部表面320及びベース360を含む。図3に示す要素は、プローブ110のドーム部116内に含まれ得る。
変換器310は、図3の330によって示される、プローブ110から超音波信号を伝送することができる。変換器310は、変換器310が2つの垂直軸の周りを回転できるように取り付けられ得る。例えば、変換器310は、ベース360に対して第1の軸340の周りを回転することができ、ベース360に対して第2の軸350の周りを回転することができる。第1の軸340は、本明細書ではシータ軸と呼ばれ、第2の軸350は、本明細書ではファイ軸と呼ばれる。一例示的な実装形態では、シータ及びファイの動きの範囲は、180度より小さくてもよい。一実装形態では、スキャンは、シータの動き及びファイの動きに対してインターレースされ得る。例えば、変換器310の移動は、シータ方向に起こり、その後ファイ方向の移動が続いてもよい。これにより、データ取得装置210は滑らかな連続した容積スキャンを取得できるほか、スキャン・データを取得する速度を向上させることもできる。
一例示的な実装形態では、データ取得装置210は、画像をCNNオートエンコーダ装置220に送る前に、Bモード画像をリサイズできる。例えば、データ取得装置210は、縮小処理又はデシメーション処理を介してBモード画像のサイズを縮小するためのロジックを含むことができる。次に、縮小されたサイズのBモード画像を、CNNオートエンコーダ装置220に入力することができる。CNNオートエンコーダ装置220は、以下により詳細に説明するように、出力確率マッピングを生成する。代替の実装形態では、CNNオートエンコーダ装置220は、入力Bモード画像自体を入力層で縮小又は間引くことができる。いずれの場合も、Bモード画像データの大きさ/量を縮小することにより、CNNオートエンコーダ装置220が必要とする処理時間及び処理能力を低減して、Bモード画像データを処理することができる。他の実装形態では、Bモード画像データをCNNオートエンコーダ装置220に入力する前に、リサイズがデータ取得装置210によって実施されなくてもよい。さらに他の実装形態では、輝度正規化、コントラスト強調、走査変換などの画像強調操作が、データ取得装置210及び/又はCNNオートエンコーダ装置220によって実施されて、出力データの生成に関して正確さを向上させることができる。
図2に戻ると、CNNオートエンコーダ装置220は、データ取得装置210を介して受信したデータを処理するためロジックを含み得る。一例示的な実装形態では、CNNオートエンコーダ装置220は、以下により詳細に説明するように、複数の畳み込み層処理及び各層に対して複数のカーネル又はフィルタを含むディープ・ニューラル・ネットワーク(DNN)処理を実施してもよい。本明細書で使用される用語「CNNオートエンコーダ装置」又は「オートエンコーダ装置」は、空間情報なしでグローバル・ラベルを出力する分類器と異なり、入力と出力の両方が空間情報を有するニューラル・ネットワーク・システム/装置及び/又は機械学習システム/装置を含むと広く解釈されるものとする。
例えば、CNNオートエンコーダ装置220は、受信した画像入力をマッピングして、できるだけ少ない歪みの量で出力するロジックを含む。CNN処理は、その他の種類のニューラル・ネットワーク処理と同様であり得るが、CNN処理は、CNN処理が様々な特性/処理への制限を容易に符号化することができる、入力が画像である明らかな仮定を使用し、それにより、CNNオートエンコーダ装置220によって処理されるか、又は組み込まれる必要があるパラメータの量を減らす。例示的な実装形態では、CNNオートエンコーダ装置220は、畳み込み処理を実施して入力画像に関連付けられた特徴マップを生成する。次に、特徴マップは、複数回サンプリングされて出力を生成することができる。一例示的な実装形態では、CNNオートエンコーダ装置220が使用するCNNのカーネルのサイズは、出力を生成する際の適切な速度をもたらすように、17×17かそれより小さくてよい。さらに、17×17のカーネルのサイズにより、CNNオートエンコーダ装置220はBモード画像データ内の関心の点の周りの適切な情報をキャプチャすることができる。加えて、例示的な実装形態によれば、畳み込み層の数は、各層ごとに5つ以下のカーネルを有する8層以下であり得る。しかし、より小さいカーネル(例えば、3×3、7×7、9×9)又はより大きいカーネル(例えば、17×17より大きい)、層毎の追加のカーネル(例えば、6以上)及び追加の畳み込み層(例えば、11以上100以下)が、他の実装形態で使用されてもよいことを理解されたい。
CNN処理に関わる典型的なアプリケーションでは、関心のデータのみが狭い層を通過できるように処理内に狭いボトルネック層を追加することにより、データの寸法が縮小される。このデータ寸法縮小は、「プーリング」層を追加する、又は大きい「ストライド」を使用して、ニューラル・ネットワークで処理される画像のサイズを縮小することによって通常達成される。しかし、検出された膀胱壁の位置の空間的正確さが正確な容積の計算に重要である、膀胱の検出に関する本明細書に記載の実装形態によっては、プーリング及び/又は大きいストライドは、最小限使用されるか、スキップ結合又は拡張畳み込み(dilated convolution)などの他の空間的解決、すなわち保存技術と組み合わされる。
例示的なシステム100は、CNNオートエンコーダ装置220を使用して、Bモード入力データを処理することを示すと同時に、他の実装形態では、システム100が、他の種類のオートエンコーダ装置又は機械学習装置を含み得る。例えば、CNNオートエンコーダ装置220は、出力層が入力層と同じ数のノードを有するニューラル・ネットワーク構造を含み得る。他の実装形態では、入力層のサイズが出力層のサイズと異なる他の種類の機械学習モジュール又は装置を使用することができる。例えば、機械学習モジュールは、入力画像の2倍、又は半分(層の数に関して)である確率マッピング出力を生成することができる。他の実装形態では、システム100に含まれる機械学習装置は、決定木、サポート・ベクター・マシン、ベイジアン・ネットワークなどの様々な機械学習技術及び機械学習アルゴリズムを使用できる。いずれの場合も、システム100は、以下に詳細に説明するように、機械学習アルゴリズムを使用して、次に、関心の対象臓器の容積を推定するために使用できるBモード入力データに関する確率情報を生成する。
図4は、例示的な実装形態に従ったCNNオートエンコーダ装置220の一部を概略的に示す。図4を参照すると、CNNオートエンコーダ装置220は、空間の入力410、FFTの入力420、ルックアップ422、特性マップ430、特性マップ440、ルックアップ442、カーネル450、バイアス452、カーネル460及びバイアス462を含み得る。入力空間410は、データ取得装置210により提供される2D Bモード画像データを表すことができる。CNNオートエンコーダ220は、高速フーリエ変換(FFT:Fast Fourier Transform)を実施して、画像データを周波数領域に変換する、フィルタを適用する又はカーネルFFT450を介して入力FFTに重みを加えることができる。畳み込み処理の出力は、バイアス値452及び空間特性マップ430を生成するためにルックアップ・テーブル422に送られた結果を適用された逆高速フーリエ変換(IFFT:Inverse Fast Fourier Transform)関数を介してバイアスされ得る。CNNオートエンコーダ装置220は、FFTを空間特性マップ430に適用して、FFT特性マップ440を生成することができ、プロセスは追加の畳み込み及びカーネルに対して繰り返すことができる。例えば、CNNオートエンコーダ装置220が8つの畳み込み層を含む場合、プロセスはさらに7回継続し得る。さらに、後続の特性マップそれぞれに適用されるカーネルは、図4の4つのカーネル460に示すように、カーネルの数×特性マップの数に対応することができる。バイアス452及びバイアス462は、CNN処理の性能を向上させるためにも適用され得る。
上述のように、CNNオートエンコーダ装置220は、FFTを使用して、周波数領域で畳み込みを実施することができる。こうした方法により、システム100は、複数のコンピュータを使用してCNNアルゴリズムを実施するより大きいシステムよりも少ない計算能力を使用するCNNアルゴリズムを実装することができる。この方法では、システム100は、プローブ110及びベース・ユニット120などのハンド・ヘルド式装置及びベース・ステーションを使用して、CNN処理を実施できる。他の実装形態では、空間領域アプローチが使用され得る。空間領域アプローチは、ネットワーク経由でシステム100に接続された(例えば、無線又は有線ネットワーク)処理デバイス及び/又はクライアント/サーバ方法(例えば、システム100がクライアントである)経由でシステム100と動作する処理デバイスなど、他の処理デバイスとシステム100が通信できる状況で追加の処理能力を使用できる。
CNNオートエンコーダ装置220の出力は、処理された入力画像の処理された各部又は画素が、関心の対象臓器内にある確率に関連付けられた確率情報である。例えば、以下でより詳細に説明するように、CNNオートエンコーダ装置220は、処理された入力画像データに関連付けられた各画素が0と1の間の値に対応する確率にマッピングされる確率マップを生成することができ、ここで、値0は、画素が対象臓器内にある0%の確率を表し、値1は、画素が対象臓器内にある100%の確率を表す。CNNオートエンコーダ装置220は、入力画像と対照的に、処理された画像上で画素分析又は空間位置分析を実施する。結果として、処理された画像の画素毎の分析は、入力画像と一対一に対応しなくてもよい。例えば、CNNオートエンコーダ装置220によって分析されて確率情報を生成する1つの処理された画素又は空間的位置は、入力画像のリサイズに基づいて入力画像内の複数の画素に対応してもよく、又はその逆であってもよい。さらに、本明細書で使用される用語「確率」は、画素又は画像の一部が対象内又は関心の臓器内にある可能性を広く含むと解釈されるべきである。本明細書で使用される用語「確率情報」も、二進値又は他の値などの離散値を含むと広く解釈されるべきである。
他の実装形態では、CNNオートエンコーダ装置220は、各画素が−10〜10の範囲の値、256階調値の1つに対応する値など確率値又は指標に関連し得る様々な値にマッピングされる確率マップを生成できる。いずれの場合も、CNNオートエンコーダ装置220によって生成される値又は単位を使用して、画素又は画像の一部が対象臓器内にある確率を判定することができる。例えば、256階調の実例では、1の値は、画素又は画像の一部が対象臓器内にあることの0%の確率を示し得、256の値は、画素又は画像が対象臓器内にあることの100%の確率を示し得る。
さらに他の実装形態では、CNNオートエンコーダ装置220は、画素又は出力領域が対象臓器内にあるかどうかを示す二進値などの離散出力値を生成し得る。例えば、CNNオートエンコーダ装置220は、画素が対象臓器内にあるときに「1」などの離散値を、画素が対象臓器内にないときに「0」を生成する二値化又は分類プロセスを含み得る。他の例では、生成された値は二進数でなくてもよいが、画素が対象臓器内にあるか、又は対象臓器の外側にあるかどうかに関連することができる。
実装形態によっては、CNNオートエンコーダ装置220は、画素毎のデータを分析するとき、様々な要因を考慮してもよい。例えば、CNNオートエンコーダ装置220は、患者150が男性であるか、女性であるか又は子供であるかを示す、ベース・ユニット120(図1A)のディスプレイ122上に表示されたGUIを介したユーザからの入力を受信することができ、ありそうなサイズ、形状、量などに関する、特定の種類の患者の対象臓器に関する記憶された情報に基づいて確率値を調節することができる。こうした実装形態では、CNNオートエンコーダ装置220は、男性、女性及び子供のデータで訓練された3つの異なるCNNを含むことができ、CNNオートエンコーダ装置220は、選択に基づいて適切なCNNを使用できる。
実装形態によっては、CNNオートエンコーダ装置220は、例えば、被験者に関連付けられたBモード画像データを用いて性別、年齢、年齢の範囲、大人又は子供の状態など被験者の患者の人口統計学的情報を自動的に特定できる。CNNオートエンコーダ装置220は、例えば、肥満度指数(BMI)、身長及び/又は体重などのBモード画像データを用いて被験者の臨床状態を自動的に特定することもできる。CNNオートエンコーダ装置220は、プローブ110の位置情報、関心の対象に関するプローブ110の照準品質など、システム100によって実施されるスキャンに対するデバイス情報も自動的に特定できる。
他の実装形態では、別の処理デバイス(例えば、オートエンコーダ装置220及び/又はプロセッサ520に類似する)が、例えば、別のニューラル・ネットワーク又は他の処理ロジックを用いて患者の属性、臨床状態及び/又はデバイス情報の自動検出を実施でき、自動判定の出力が、CNNオートエンコーダ装置220への入力として提供され得る。さらに、他の実装形態では、患者の属性情報、臨床状態及び/又はデバイス情報、患者のデータなどが、例えば、ベース・ユニット120のディスプレイ122又はプローブ110上の入力選択を介して手動で入力され得る。いずれの場合も、CNNオートエンコーダ装置220によって自動的に特定された情報又はCNNオートエンコーダ装置220/システム100への手動入力を使用して、画像データの処理のための適切なCNNを選択することができる。
さらに他の実装形態では、CNNオートエンコーダ装置220は、他の情報で訓練されてもよい。例えば、CNNオートエンコーダ装置220は、患者の病歴データを用いて取得された情報並びに関心の対象をスキャンする前に患者の健康診断を経由して取得された情報を含み得る被験者に関連付けられた患者のデータで訓練されてもよい。例えば、患者のデータには、患者の手術歴、傷病歴(例えば、膀胱疾患情報)、関心の対象の以前の画像(例えば、被験者の膀胱の以前の画像)などの患者の病歴情報、並びに妊娠状態、瘢痕組織の存在、水和問題、対象領域の異常性(例えば、むくみ又は膨隆腹)などの患者/被験者の健康診断を経由して取得されたデータが含まれてもよい。例示的な実装形態では、患者のデータは、ベース・ユニット120のディスプレイ122を介するシステム100への入力であってもよい。いずれの場合も、CNNオートエンコーダ装置220及び/又は別の処理デバイスによって自動的に生成された情報、並びに/或いはシステム100へ手動で入力された情報は、システム100によって実施される機械学習処理への入力として提供されて、システム100によって生成される関心の対象に関連付けられたデータの正確さを向上させる支援をすることができる。
さらに他の例では、オートエンコーダ装置220は、臓器の種類(例えば、膀胱、大動脈、前立腺、心臓、腎臓、子宮、血管、羊水、胎児など)に関する入力情報をディスプレイ122上に備えられたGUIを介して受信し、臓器の数などを画像化し、選択された臓器に従って訓練された適切なCNNを用いることができる。
後処理装置230は、画素毎の確率情報を受け取るためのロジックを含み、「スマートな」二値化確率アルゴリズムを適用する。例えば、後処理装置230は、以下に詳細に記載するように、補間を実施して輪郭の詳細をより明瞭に定義することができる。さらに、後処理装置230は、被験者の種類に基づいてCNNオートエンコーダ装置220の出力を調節することができる。例えば、プローブ110を使用して超音波スキャンを開始する前にディスプレイ122上でGUIを介して「子供」が選択された場合、後処理装置230は、ある特定の深さより深い位置に対応するCNNオートエンコーダ装置220からの出力を無視することができる。というのも、通常の子供はサイズが小さいため、子供の膀胱の深さは普通浅いからである。別の実例として、後処理装置230は、臓器の種類に基づいて、単一の主要な領域を選択するか、又は複数の関心の領域を選択するかを判定することができる。例えば、スキャン中の臓器の種類が膀胱の場合、身体には1つしか膀胱がないので、後処理装置230は、単一の主要な領域を選択することができる。しかし、対象が恥骨の場合、後処理装置230は、2つの側の恥骨に対応する2つの関心の領域まで選択できる。
照準ロジック240は、超音波検査中プローブ110に対して対象臓器が適切に中心にあるかを判定するためのロジックを含む。実装形態によっては、照準ロジック240は文字又は図を生成して、プローブ110の位置を調節する際に対象臓器のより良いスキャンを取得できるようにユーザを案内することができる。例えば、照準ロジック240は、プローブ110からのデータを分析して、プローブ110を患者150の左に移動させる必要があると判定できる。この場合、照準ロジック240は、文字及び/又は図(例えば、点滅する矢印)をディスプレイ122に出力して、プローブ110を適切な方向に移動するようにユーザに指示できる。
量推定ロジック250は、対象臓器の容積を推定するためのロジックを含むことができる。例えば、以下に詳細に記載されるように、量推定ロジック250は、後処理装置230によって生成された2D画像に基づいて容積を推定できる。3D画像が与えられる事例では、量推定ロジック250は、単に3D画像を使用して対象臓器の容積を判定できる。量推定ロジック250は、ディスプレイ122及び/又はプローブ110上のディスプレイを介して推定した容積を出力できる。
図2に示す例示的な構成は、単純化のため提供される。システム100は、図2に示すより多くのロジック装置/デバイスを含んでも、より少ないロジック装置/デバイスを含んでもよいことを理解されたい。例えば、システム100は、複数のデータ取得装置210及び受信したデータを処理する複数の処理装置を含んでもよい。さらに、システム100は、外部ネットワークを介して情報を送信及び受信する通信インタフェース(例えば、無線周波送受信機)などの追加の構成要素を含んで、超音波信号を分析して関心の対象臓器を特定する支援をすることができる。
さらに、以下に、システム100の特定のコンポーネントによって実施される様々な機能を記載する。他の実装形態では、1つのデバイスで実行されていると説明される様々な機能は、別のデバイス又は複数の他のデバイスで実施されてもよく、且つ/又は複数のデバイスで実施されていると説明される様々な機能が、単一のデバイスを組み合わせて、実施されてもよい。例えば、一実装形態では、以下に記載するように、CNNオートエンコーダ装置220は、入力画像を確率情報に変換し、中間マッピング出力を生成することができ、中間出力を、例えば、容積情報、長さ情報、面積情報などに変換することもできる。すなわち、単一のニューラル・ネットワーク処理デバイス/装置が、入力画像データを受信し、容積及び/又はサイズ情報と共に処理された画像出力データを出力することができる。この実例では、別々の後処理装置230及び/又は量推定ロジック250が必要でないこともあり得る。さらに、この実例では、任意の中間マッピング出力は、システム100のオペレータに利用可能又は可視であっても、利用不可又は可視でなくてもよい(例えば、中間マッピングは、ユーザが直に利用可能でない/可視でない内部処理の一部であってもよい)。すなわち、システム100に含まれるニューラル・ネットワーク(例えば、CNNオートエンコーダ装置220)は、システム100のユーザによる追加の入力を必要としないで、又はほとんど追加の入力を必要としないで、受信した超音波エコー情報及び/又は画像を変換し、関心の対象の容積情報又は他のサイズ情報を出力できる。
図5は、デバイス500の例示的な構成を示す。デバイス500は、例えば、CNNオートエンコーダ装置220、後処理装置230、照準ロジック240、及び量推定ロジック250のコンポーネントに対応し得る。図5を参照すると、デバイス500は、バス510、プロセッサ520、メモリ530、入力デバイス540、出力デバイス550及び通信インタフェース560を含み得る。バス510は、デバイス500の構成要素間の通信を可能にする経路を含み得る。例示的な実装形態では、図5に示すコンポーネントの全て又は一部は、メモリ530内に記憶されたソフトウェア命令を実行するプロセッサ520によって実装及び/又は制御され得る。
プロセッサ520は、1つ又は複数のプロセッサ、マイクロプロセッサ、又は命令を理解し、実行することができる処理ロジックを含み得る。メモリ530は、プロセッサ520による実行のための情報及び命令を記憶することができるランダム・アクセス・メモリ(RAM:Random Access Memory)又は別の種類の動的記憶デバイスを含み得る。メモリ530は、プロセッサ520によって使用される静的情報及び命令を記憶できる読み出し専用メモリ(ROM)デバイス又は別の種類の静的記憶デバイスも含み得る。メモリ530は、ソリッド・ステート・ドライブ(SSD:Solid State Drive)をさらに含み得る。メモリ530は、磁気及び/又は光記憶媒体(例えば、ハード・ディスク)並びにその対応ドライブも含み得る。
入力デバイス540は、キーボード、キーパッド、マウス、ペン、マイク、タッチ・スクリーン、音声認識及び/又は生体機構などの、ユーザがデバイス500に情報を入力することができる機構を含み得る。出力デバイス550は、ディスプレイ(例えば、液晶ディスプレイ(LCD))、プリンタ、スピーカなどを含む、情報をユーザに出力する機構を含み得る。実装形態によっては、タッチ・スクリーン・ディスプレイは入力デバイスと出力デバイスの両方の役割をし得る。
通信インタフェース560は、デバイス500が有線、無線、又は光機構を介して他のデバイスと通信するためにする使用する1つ又は複数の送受信機を含み得る。例えば、通信インタフェース560は、ネットワークを介してRFデータを伝送及び受信するための1つ又は複数の無線周波(RF)送信機、受信機及び/又は送受信機並びに1つ又は複数のアンテナを含み得る。通信インタフェース560はまた、ネットワーク内の構成要素と通信するためLAN又は他の機構にモデム又はイーサネット(登録商標)インタフェースを含み得る。
図5に示す例示的な構成は、単純化のため提供される。デバイス500は、図5に示すより多くのデバイス又は少ないデバイスを含んでもよいことを理解されたい。例示的な実装形態では、デバイス500は、メモリ530などのコンピュータ可読媒体に含まれた連続した命令を実行するプロセッサ520に応答して動作を実施する。コンピュータ可読媒体は、物理的又は論理的メモリ・デバイスとして定義され得る。ソフトウェア命令は、別のコンピュータ可読媒体(例えば、ハード・ディスク・ドライブ(HDD:Hard Disk Drive)、SSD)又は通信インタフェース560を介した別のデイバスからメモリ530内に読み込まれ得る。或いは、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、フィールド・プログラマブル・ゲート・アレイ(FPGA:Field Programmable Gate Array)などのハード・ワイヤード回路は、ソフトウェア命令の代わりに又はそれと組み合わせて使用されて、本明細書に記載の実装形態に従ったプロセスを実施することができる。したがって、本明細書に記載の実装形態は、ハードウェア回路及びソフトウェアのいずれの特定の組み合わせにも制限されない。
図6は、関心の対象を特定すること、並びに関心の対象に関連付けられたパラメータ(例えば、容積)を特定することに関する例示的な処理を示す流れ図である。処理は、関心の対象臓器をスキャンするためユーザの操作するプローブ110を用いて開始し得る。この実例では、対象臓器は、膀胱であると仮定する。本明細書に記載の特徴を使用して、他の臓器又は身体内の構造体を特定することができることを理解されたい。
例示的な実装形態では、ユーザがトリガ114を押し、プローブ110に含まれる送受信機が超音波信号を伝送し、プローブ110によって受信されたエコー信号に関連付けられたBモード・データを取得できる(ブロック610)。一実装形態では、データ取得装置210は、膀胱を貫通して12ヶ所の異なる平面に超音波信号を伝送し、12ヶ所の異なる平面に対応する12個のBモード画像を生成できる。この実装形態では、データは、2D画像データに対応し得る。他の実装形態では、データ取得装置210は、3D画像データを生成し得る。例えば、図3に関連して上述したように、データ取得装置210は、インターレース・スキャンを実施して、3D画像を生成できる。いずれの場合も、伝送される超音波信号/スキャン面の数は、特定の実装形態に基づいて変わり得る。上述のように、実装形態によっては、データ取得装置210は、Bモード画像のサイズを縮小して、その後CNNオートエンコーダ装置220にBモード・データを転送できる。例えば、データ取得装置210は、Bモード画像のサイズを10%以上縮小できる。
いずれの場合も、CNNオートエンコーダ装置220は、2D Bモード・データを受信し、データを処理して、受信したデータからノイズを取り除くと仮定する。例えば、図7を参照すると、CNNオートエンコーダ装置220は、膀胱に対応する暗い区域又は領域712を有するBモード画像データ710を受信し得る。図示のように、Bモード画像データは不規則な区域を含むか、或いは不明瞭又はぼやけてユーザに見える可能性がある。例えば、図7の領域712は、膀胱の周囲内並びに明確でない境界内により明るい区域を含む。こうしたノイズの多い区域は、膀胱の容積を正確に推定することを難しくし得る。
この場合、CNNオートエンコーダ装置220は、対象確率マップを生成することにより取得したBモード画像710のノイズ除去を実施する(ブロック620)。例えば、上述のように、CNNオートエンコーダ220は、CNN技術を使用して、入力画像内の各画素に対して確率情報を生成することができる。
次に、ベース・ユニット120は、完全な円錐データ(すなわち、全てのスキャン面データ)が取得され、処理されたかを判定することができる(ブロック630)。例えば、ベース・ユニット120は、膀胱を貫通する12ヶ所の異なるスキャンに対応する全ての12個のBモード画像が処理されたかを判定することができる。全てのBモード画像データが処理されていない場合、(ブロック630−いいえ)、ベース・ユニット120は、次のスキャン面の位置に動きを制御して(ブロック640)、処理がブロック610に続いて、別のスキャン面に関連付けられたBモード画像を処理する。
全てのBモード画像データが処理された場合(ブロック630−はい)、ベース・ユニット120は、3D情報を用いて確率マップを修正することができる(ブロック650)。例えば、CNNオートエンコーダ装置220は、患者が男性であるか、女性であるか、子供であるかなどに基づく膀胱の3D形状及びサイズに関する記憶された想定情報を使用して、CNNオートエンコーダ装置220によって生成された確率情報の一部を修正することができ、それにより、膀胱のサイズ及び/又は形状を効果的に修正できる。すなわち、上述のように、CNNオートエンコーダ装置220は、患者の人口統計学的情報、患者の臨床状態、システム100(例えば、プローブ110)に関連付けられたデバイス情報、患者の患者データ(例えば、患者の病歴情報及び患者の検査データ)などに基づいて訓練されたCNNを使用することができる。例えば、CNNオートエンコーダ装置220は、患者150が男性の場合には男性患者のデータで訓練されたCNNを使用し、患者150が女性の場合には女性患者のデータで訓練されたCNNを使用し、患者150が子供の場合には子供のデータで訓練されたCNNを使用し、患者の年齢の範囲に基づいて訓練されたCNNを使用し、患者の病歴で訓練されたCNNを使用することなどができる。ベース・ユニット120によって3D画像データが受信され、処理される場合などの他の実装形態では、追加の処理が実施されなくてもよく、ブロック650はスキップされてもよい。いずれの場合も、システム100は、図7に示す画像720などのPモード画像データ(ブロック660)を表示できる。
いずれの場合も、ベース・ユニット120は、確率マップを使用して、二値化処理を介して対象領域をセグメント化できる(ブロック670)。例えば、後処理装置230は、CNNオートエンコーダ装置220の出力を受信し、確率マッピングをリサイズする(例えば、補間を介して)、平滑化する、且つ/又はノイズ除去する(例えば、フィルタリングを介して)ことができる。例えば、一実装形態では、確率マップは、補間を通じてより大きいサイズにリサイズされて、より良い解像度を取得でき、且つ/又は、少なくとも部分的にサイズを縮小された可能性がある元のBモード画像データの空間的解像度を回復できる。一実装形態では、2Dランチョス補間を実施して、対象確率マップに関連付けられた画像をリサイズできる。
さらに、ベース・ユニット120は、分類、すなわち二値化処理を実施して、確率情報を確率マッピング単位から二値化出力データに変換できる。例えば、後処理装置230は、確率値を二進値に変換できる。複数の候補の確率値が特定の画素用に識別された場合、後処理装置230は最大の突出値を選択できる。この方法では、後処理装置230は、ある「賢さ(smartness)」を用いて、複数の候補が特定されたときに、最もありそうな値を選択することができる。
図8は、例示的なスマートな二値化処理を概略的に示す。図8を参照すると、画像810は、確率情報が様々な輝度を有するグレースケール画像に変換される2D超音波画像に対応する画素分類又は確率マップからの出力を示す。図示のように、画像810は、膀胱の部分に対する可能性のある位置を表す812と表示されるグレー区域及び814と表示されるグレー区域を含む。画像820に示す十字線822によって示されるように、後処理装置230は、ピーク点又は最も輝度が高い画像810内の点を特定する。次に、後処理装置230は、画像830の領域832が示すように、輝度が閾値の輝度より大きい領域について、ピーク点の周りの領域を埋めることができる。この場合、その閾値の輝度値が閾値の輝度より低い区域820内の領域は埋められず、画像810に示すグレー区域814の除去をもたらす。その後、後処理装置230は、画像840の領域842が示すように、背景を埋めることができる。そして、後処理装置230は、画像850の区域852に示すように、任意の穴すなわち、画像内の開領域を埋める。領域842の穴は、ノイズの多い領域又は患者150の何か障害に関連する領域に対応し得る。この方法では、後処理装置230は、膀胱に対して最もありそうな位置及びサイズを特定する。すなわち、区域852は、患者150の膀胱の一部であると考えられる。
他の実装形態では、後処理装置230は、画像810内のピーク輝度値以外の情報を使用できる。例えば、後処理装置230は、平滑化された確率マップのピークなどの処理された確率のピーク値を使用する、複数のピーク値を使用して、複数の埋められた領域を特定することなどができる。他の実例として、後処理装置230は、区域、ピーク確率又は各領域の平均確率に基づいた「主要な」領域を選択できる。さらに他の実装形態では、後処理装置230は、例えば、ディスプレイ122を介してオペレータが手動で入力する1つ又は複数の速度点を使用する、1つ又は複数の速度点を生成するアルゴリズムを使用する、速度点を使わない別の種類の閾値を実施するなどして、患者の膀胱の領域を特定することができる。
この方法で画像810を処理した後、ベース・ユニット120は、図7に示す画像720などの画像を出力することができる。図7を参照すると、画像720は、膀胱に対応する領域722を含む。図示のように、膀胱722の縁は、画像712の境界よりはるかに明確になり、はるかにより正確な膀胱の表現を提供している。この方法では、ベース・ユニット120は、各画素の輝度値及び隣接する画素の局所勾配値並びに隠れマルコフ・モデル及びニューラル・ネットワーク・アルゴリズム(例えば、CNN)などの統計的方法を使用して、Bモード画像内の各画素に対する確率値を生成し、Bモード・データをノイズ除去することができる。
次に、ベース・ユニット120は、セグメント化の結果を対象容積に変換できる(ブロック670)。例えば、後処理装置230は、二値マップ内のそれぞれの有効な対象画素に対応する3D空間内の全てのボクセルの容積を合計できる。すなわち、量推定ロジック250は、12の区分された対象画像内のボクセルを合計して、膀胱の容積を推定できる。例えば、寄与率又は各ボクセルの容積を事前計算し、ベース・ユニット120内のルックアップ・テーブルに記憶できる。この場合、量推定ロジック250は、ルックアップ・テーブルへのインデックスとしてボクセルの合計を使用して、推定された容積を判定することができる。量推定ロジック250はまた、ベース・ユニット120のディスプレイ122を介して容積を表示できる。例えば、量推定ロジック250は、図7の区域724で膀胱の推定された容積(すなわち、この実例では135ミリリットル(mL))を表示することができ、これはベース・ユニット120のディスプレイ122に出力される。或いは、量推定ロジック250は、プローブ110上のディスプレイを介して容積情報を表示できる。後処理装置230は、セグメント化の結果を表示することもできる(ブロック690)。すなわち、後処理装置230は、ベース・ユニット120のディスプレイ122を介して膀胱の12の区分を表示できる。
実装形態によっては、システム100は、確率マッピング情報上で二値化処理を実施しなくてもよい。例えば、実装形態によっては、CNNオートエンコーダ装置220及び/又は後処理装置230は、ルックアップ・テーブルを確率マッピング情報に適用して、関心の対象臓器のありそうな部分を特定し、ディスプレイ122を介して出力を表示できる。
再度ブロック620を参照すると、実装形態によっては、確率マッピング装置230が、生成されるのに伴って情報をリアル・タイムで表示することができる。図9は、ユーザへの追加の表示情報を提供することに関連付けられた例示的な処理を示す。例えば、後処理装置230は、確率モード情報(本明細書でPモードと呼ばれる)を、生成されるのに伴ってディスプレイ122を介してリアル・タイムで表示できる(図9、ブロック910)。後処理装置230はまた、対象をセグメント化し(ブロック920)、セグメント化の結果をBモード画像で表示できる(ブロック930)。例えば、図10は、3つのBモード画像1010、1012及び1014並びに対応するPモード画像1020、1022及び1024を示す。他の実装形態では、全ての12個のBモード画像及び12個の対応するPモード画像を表示できる。図示のように、Pモード画像1020、1022及び1024は、Bモード画像1010、1012及び1014よりはるかに明確になっている。さらに、実装形態によっては、後処理装置230は、Pモード画像それぞれに表示された膀胱の境界の外形を提供することができる。例えば、Pモード画像1020、1022及び1024それぞれは、図10に示すように、例えば、膀胱の内部と異なる色又はより明るい色の外形を含み得る。
本明細書に記載の実装形態は、機械学習を用いて、超音波スキャナを介して取得される情報に基づいて、患者の臓器又は関心の構造体を特定する。機械学習処理は、画像データを受信し、画像(例えば、画素)の各特定の部分に対する確率情報を生成して、特定の部分が対象臓器内にある確率を判定できる。後処理分析は、患者の性別又は年齢、特定の対象臓器などの追加の情報を使用して、確率情報をさらに改良することができる。一部の例では、対象臓器の容積も、リアル・タイム確率モード画像と共にユーザに提供されてもよい。
例示的な実装形態の上記の記載は、例示及び説明を提供するが、網羅的であるか、又は正確に開示された形に実施例を制限することを意図しない。変更及び変形は、上述の教示に照らして可能であるか、又はそれらを実施例の実践から取得することができる。
例えば、特徴を患者の膀胱などの関心の対象を特定すること、及びCNN処理を用いて、対象(例えば、膀胱)の容積を推定することに関連して説明してきた。他の実装形態では、他の臓器又は構造体を特定でき、サイズ又は臓器/構造体に関連付けられた他のパラメータを推定できる。例えば、本明細書に記載の処理を使用して、前立腺、腎臓、子宮、卵巣、大動脈、心臓、血管、羊水、胎児など、並びに容積及び/又はサイズに関連する測定値などのこれらの対象に関連付けられた特定の特徴を特定し表示することができる。
例えば、本明細書に記載の処理が膀胱以外の(例えば、大動脈、前立腺、腎臓、心臓、子宮、卵巣、血管、羊水、胎児など)様々な臓器又は対象に関連して使用される実装形態では、追加のサイズに関連した測定値が生じ得る。例えば、臓器又は関心の領域の長さ、高さ、幅、深さ、直径、面積などが計算され得る。実例として、大動脈のスキャンでは、大動脈の直径の測定は、動脈瘤などの異常を特定しようとするのに重要であり得る。前立腺スキャンでは、前立腺の幅及び高さの測定が必要とされ得る。これらの場合、長さ、高さ、幅、深さ、直径、面積などの測定値は、上述の機械学習処理を使用して、生成/推定され得る。すなわち、上述の機械学習を使用して、境界壁又は他の関心の項目を特定し、特定のサイズに関連した医療関係者に関心のパラメータを推定することができる。
さらに、特徴を、主にエコー・データを使用してBモード画像を生成すること及び機械学習をBモード画像に適用して容積、長さ、又は対象に関連付けられた他の情報を特定することに関連して説明してきた。他の実装形態では、その他の種類の超音波入力画像データを使用してもよい。例えば、通常、Bモード画像に垂直に向けられた平面に形成された関心の対象(例えば、膀胱)の表示を含むCモード画像データが、他の実装形態では使用されてもよい。そしてさらに、他の実装形態では、無線周波(Radio Frequency)又は直交信号(例えば、IQ信号)がCNNオートエンコーダ装置220への入力として使用されて、対象に関連付けられた確率出力マッピングを生成できる。
さらに、特徴を、単一の確率マップを生成することに関連して説明してきた。他の実装形態では、複数の確率マップが生成され得る。例えば、システム100は、関心の対象臓器に対する(例えば、膀胱)1つの確率マップ、恥骨/恥骨影に対する別の確率マップ、及び前立腺に対する別の確率マップを生成できる。この方法では、患者150の内臓をより正確に表示することができ、対象臓器(例えば、膀胱)に対してより正確に容積を推定できるようになる。
さらに、本明細書に記載の特徴は、Bモード画像データを画素毎に分析することに関する。他の実装形態では、画素毎にマッピングする代わりに、エッジ・マップが使用され得る。この実装形態では、対象の縁がCNNアルゴリズムを用いて検出され得る。さらなる実装形態では、多角形座標アプローチを使用して、膀胱の不連続的な部分を特定することができ、次に点をつなげることができる。この実装形態では、輪郭エッジ追跡アルゴリズムを使用して、対象臓器の点を接続できる。
そしてさらに、患者が男性であるか、女性であるか、子供であるかなどを示す情報などの様々な入力を説明してきた。確率マッピング及び/又は二値化へのその他の入力も使用され得る。例えば、肥満度指数(BMI:Body Mass Index)、年齢又は年齢の範囲をベース・ユニット120に入力することができ、ベース・ユニット120は、自動的に特定のBMI、年齢又は年齢の範囲に基づいて処理を調節できる。各画素の深度、平面配向などの確率マッピング及び/又は二値化処理へのさらに他の入力を使用して、出力画像及び/又はシステム100が生成する容積推定の精度を改善できる。
さらに、上述のように、様々な種類の患者、男性、女性及び子供に関連付けられたトレーニング・データを使用して、Pモード・データを生成する支援をすることができる。例えば、数千以上のトレーニング・データ画像を使用して、Bモード入力データを処理するために使用されるCNNアルゴリズムを生成して、対象又は関心を特定することができる。その上、数千以上の画像をベース・ユニット120に入力又は記憶して、CNNオートエンコーダ装置220の出力を修正するのを支援することができる。これは、膀胱スキャンに対する恥骨などの予想される障害が、画像に悪影響を与える場合に特に役立ち得る。これらの実装形態では、ベース・ユニット120は、如何に障害の影響を考慮するか、且つそれを最小化するかに関する情報を記憶できる。そして、CNNオートエンコーダ装置220及び/又は後処理装置230は、障害をより正確に考慮することができる。
そしてさらに、本明細書に記載の特徴は、CNNオートエンコーダ装置220への入力としてBモード画像データを使用することに言及する。他の実装形態では、その他のデータを使用してもよい。例えば、伝送された超音波信号に関連付けられたエコー・データは、膀胱などの対象臓器を検出するために使用され得る高調波情報を含み得る。この場合、伝送された超音波信号の周波数に関する高次高調波エコー情報(例えば、第二高調波以上)を使用して、Bモード画像を生成せずに確率マッピング情報を生成できる。さらに他の実装形態では、高次高調波情報を上述のBモード・データに加えて使用して、Pモード画像データを向上させることができる。そしてさらなる実装形態では、プローブ110は、複数の周波数の超音波信号を伝送でき、複数の周波数に関連付けられたエコー情報は、CNNオートエンコーダ装置220又はその他の機械学習モジュールへの入力として使用されて、対象臓器を検出し、対象臓器の容積、サイズなどを推定できる。
例えば、基本周波数の複数のBモード画像及び1つ又は複数の高次高調波周波の複数のBモード画像をCNNオートエンコーダ装置220への入力として使用できる。そしてさらに、基本周波数及び高調波周波数情報は、事前処理され、CNNオートエンコーダ装置220への入力として使用されて、確率マップを生成する際の支援となり得る。例えば、高調波と基本周波数電力との間の比が、CNNオートエンコーダ装置220への入力として使用されて、確率マッピングの精度を向上させることができる。
さらに、実装形態によっては、上述の後処理は、第2の機械学習(例えば、CNN)アルゴリズムを使用して、画像データのノイズを除去し、且つ/又は画像の外形/エッジ追跡を実施することができる。
そしてさらに、実装形態を、2次元(2D)Bモード画像データを取得するデータ取得装置210に関して説明してきた。他の実装形態では、高次元画像日付(例えば、2.5D又は3D)データをCNNオートエンコーダ装置220へ入力できる。例えば、2.5Dの実装形態では、CNNオートエンコーダ装置220は、いくつかのスキャン面のほか、精度を向上させるため隣接するスキャン面に関連付けられたBモード画像を使用できる。3Dの実装形態では、CNNオートエンコーダ装置220は、12個の各スキャン面に対して12個の確率マップを生成し、後処理装置230は、全ての12個の確率マップを使用して、12個の確率マップに基づいた3D画像(例えば、3D塗りつぶしアルゴリズム(3D flood−filling algorithm)を介して)を生成できる。次に、分類及び/又は二値化処理を、2.5D又は3D画像に実施して、例えば、3D出力画像を生成することができる。
さらに、図6及び図9に関して連続した動作を説明してきたが、動作の順番は、他の実装形態では違っていてもよい。その上、依存しない動作が並行して実施されてもよい。
上述の様々な特徴を、図に示す実装形態では、ソフトウェア、ファームウェア、及びハードウェアの多くの異なる形態で実施できることが明らかであろう。様々な特徴を実施するために使用される実際のソフトウェア・コード又は専用制御ハードウェアは、制限的ではない。したがって、特徴の動作及び行為は、特定のソフトウェア・コードを参照せずに説明され、同業者であれば、ソフトウェアを設計し、ハードウェアを制御して、本明細書の記載に基づいて様々な特徴を実施することができることが理解されよう。
さらに、本発明の所定の部分を、1つ又は複数の機能を実施する「ロジック」として実装できる。このロジックは、1つ又は複数のプロセッサ、マイクロプロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイ又はその他の処理ロジック、ソフトウェア若しくはハードウェアとソフトウェアの組み合わせなどのハードウェアを含んでもよい。
前述の明細書では、様々な好ましい実施例を、添付の図面を参照しながら説明してきた。しかし、以下の特許請求の範囲に記載されるように本発明の広範な範囲を逸脱することなく、様々な変更及び変形を行うことができ、追加の実施例を実施できるのは明白であろう。したがって、本明細書及び図面は、制限を意味するのではなく例示的とみなされるものである。
本願の説明で使用される構成要素、行為、又は命令は、別段の定めがない限り、本発明に対して重要又は本質的と解釈されるべきではない。また、本明細書で使用される冠詞「1つ(a)」は、1つ以上の品目を含むことを意図する。さらに、「基づいて(based on)」という句は、「少なくとも部分的に基づいて」と意味するように意図されるが、別途定められている場合はその限りではない。

Claims (15)

  1. 関心の対象に超音波信号を伝送し、
    前記伝送された超音波信号に関連付けられたエコー情報を受信する
    ように構成されたプローブと、
    前記受信したエコー情報を機械学習アルゴリズムを使用して処理して、前記関心の対象に関連付けられた確率情報を生成し、当該確率情報は、処理された前記エコー情報に関連する部分または画像の画素が前記関心の対象内にある値を含むように構成され、
    前記関心の対象を識別するために前記確率情報を処理し、ここで、当該確率情報を処理するとき、少なくとも1つの処理デバイスは、前記確率情報を二値化または分類するか、またはルックアップテーブルを前記確率情報に適用するように構成され、
    前記処理された確率情報に基づいて前記関心の対象に対応する画像情報を出力する
    ように構成された少なくとも1つの処理デバイスと、を備えるシステム。
  2. 前記確率情報を処理するとき、前記少なくとも1つの処理デバイスが、前記確率情報を二値化するように構成され、前記少なくとも1つの処理デバイスが、
    前記二値化された確率情報に基づいて、前記関心の対象に関連付けられた容積、長さ、高さ、幅、深さ、直径、又は面積のうちの少なくとも1つを推定するようにさらに構成される、請求項1に記載のシステム。
  3. 前記機械学習アルゴリズムが、畳み込みニューラル・ネットワーク・アルゴリズムを含み、
    前記画像情報を受信し、前記画像情報を表示するように構成されたディスプレイをさらに備える、請求項1または請求項2に記載のシステム。
  4. 前記ディスプレイが、
    前記受信したエコー情報に対応するBモード画像データと、前記関心の対象に対応する出力画像情報とを同時に表示するようにさらに構成される、請求項3に記載のシステム。
  5. 前記関心の対象が膀胱を含み、
    前記少なくとも1つの処理デバイスが、
    前記プローブを前記関心の対象に向けるために照準命令を生成するようにさらに構成される、請求項1に記載のシステム。
  6. 前記少なくとも1つの処理デバイスが、
    被験者の性別情報、前記被験者が子供であることを示す情報、前記被験者の年齢情報、前記被験者の年齢の範囲情報、前記被験者の肥満度指数情報、前記被験者の対象の病歴情報または前記被験者の身体検査によって得られた情報のうちの少なくとも1つを含む情報を受信し、
    前記受信した情報に基づいて前記受信したエコー情報を処理するようにさらに構成される、請求項1に記載のシステム。
  7. 前記少なくとも1つの処理デバイスが、
    被験者の人口統計学的情報、前記被験者の臨床情報、又は前記プローブに関連付けられたデバイス情報のうちの少なくとも1つを自動的に判定し、
    前記自動的に判定された情報に基づいて前記受信したエコー情報を処理するようにさらに構成される、請求項1に記載のシステム。
  8. 前記受信したエコー情報を処理するとき、前記少なくとも1つの処理デバイスが、
    前記受信したエコー情報を処理して、出力画像データを生成し、
    前記出力画像データに関連付けられた画素を処理し、
    処理された画素それぞれの値を判定し、
    ピーク値を特定し、
    前記ピーク値に関連付けられた点の周りの区域を埋めて、前記関心の対象の一部を特定するように構成される、請求項1に記載のシステム。
  9. 前記受信したエコー情報を処理するとき、前記少なくとも1つの処理デバイスが、
    前記伝送された超音波信号に関連付けられた周波数に関連する高次高調波情報を特定し、
    前記確率情報を処理するとき、前記少なくとも1つの処理デバイスが、前記特定された高次高調波情報に基づいて前記確率情報を生成するように構成される、請求項1に記載のシステム。
  10. 前記プローブが、前記受信したエコー情報を、無線インタフェースを介して前記少なくとも1つの処理デバイスに伝送するように構成される、請求項1に記載のシステム。
  11. 前記関心の対象が、大動脈、前立腺、心臓、子宮、腎臓、血管、羊水、又は胎児のうちの1つを含む、請求項1に記載のシステム。
  12. 超音波スキャナを介して、超音波信号を関心の対象に伝送するステップと、
    前記伝送された超音波信号に関連付けられたエコー情報を受信するステップと、
    前記受信したエコー情報を機械学習アルゴリズムを使用して処理して、前記関心の対象に関連付けられた確率情報を生成するステップであって、当該確率情報は、処理された前記エコー情報に関連する部分または画像の画素が前記関心の対象内にある値を含むように構成される、ステップと、
    前記関心の対象を識別するために前記確率情報を処理するステップであって、当該確率情報を処理するとき、少なくとも1つの処理デバイスは、前記確率情報を二値化または分類するか、またはルックアップテーブルを前記確率情報に適用するように構成される、ステップと、
    前記処理された確率情報に基づいて前記関心の対象に対応する画像情報を出力するステップと、を含む方法。
  13. 前記確率情報を分類するステップが、前記確率情報を二値化することを含み、前記方法が、
    前記二値化された確率情報に基づいて、前記関心の対象に関連付けられた容積、長さ、高さ、幅、深さ、直径、又は面積のうちの少なくとも1つを推定するステップと、
    前記容積、長さ、高さ、幅、深さ、直径、又は面積のうちの前記少なくとも1つをディスプレイに出力するステップと、をさらに含む、請求項12に記載の方法。
  14. 前記エコー情報に対応するBモード画像データと、前記関心の対象に対応する出力画像情報とを同時に表示するステップをさらに含む、請求項12に記載の方法。
  15. 被験者の性別情報、前記被験者の年齢情報、前記被験者の年齢の範囲情報、前記被験者の肥満度指数情報、前記被験者の対象の病歴情報または前記被験者の身体検査によって得られた情報のうちの少なくとも1つを含む情報を受信するステップと、
    前記受信した情報に基づいて前記受信したエコー情報を処理するステップと、をさらに含む、請求項12に記載の方法。
JP2019561958A 2017-05-11 2018-05-11 確率マップに基づいた超音波検査 Active JP6902625B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762504709P 2017-05-11 2017-05-11
US62/504,709 2017-05-11
PCT/US2018/032247 WO2018209193A1 (en) 2017-05-11 2018-05-11 Probability map-based ultrasound scanning

Publications (2)

Publication Number Publication Date
JP2020519369A JP2020519369A (ja) 2020-07-02
JP6902625B2 true JP6902625B2 (ja) 2021-07-14

Family

ID=62685100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561958A Active JP6902625B2 (ja) 2017-05-11 2018-05-11 確率マップに基づいた超音波検査

Country Status (7)

Country Link
US (1) US20180330518A1 (ja)
EP (1) EP3621525A1 (ja)
JP (1) JP6902625B2 (ja)
KR (2) KR102409090B1 (ja)
CN (1) CN110753517A (ja)
CA (1) CA3062330A1 (ja)
WO (1) WO2018209193A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163195B2 (ja) 2016-03-09 2022-10-31 エコーノース インコーポレーテッド 人工知能ネットワークを活用した超音波画像認識システムと方法
KR102139856B1 (ko) * 2017-06-23 2020-07-30 울산대학교 산학협력단 초음파 영상 처리 방법
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
WO2019009919A1 (en) * 2017-07-07 2019-01-10 Massachusetts Institute Of Technology SYSTEM AND METHOD FOR AUTOMATIC MONITORING OF OVARIAN FOLLICLES
EP3777699A4 (en) * 2018-03-30 2021-05-26 FUJIFILM Corporation ULTRASONIC DIAGNOSTIC DEVICE AND CONTROL METHOD FOR ULTRASONIC DIAGNOSTIC DEVICE
US11372086B2 (en) * 2018-05-11 2022-06-28 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
CN112470028A (zh) * 2018-07-20 2021-03-09 皇家飞利浦有限公司 通过深度学习进行的超声成像及关联的设备、系统和方法
EP3895600A4 (en) 2018-12-11 2022-03-02 Synergy A.I. Co. Ltd. METHOD FOR MEASURING THE VOLUME OF AN ORGAN BY MEANS OF AN ARTIFICIAL NEURONAL NETWORK, AND ASSOCIATED APPARATUS
JP7192512B2 (ja) * 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
US20200281570A1 (en) * 2019-01-17 2020-09-10 Canon Medical Systems Corporaion Apparatus
JP7273518B2 (ja) * 2019-01-17 2023-05-15 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び学習プログラム
US11684344B2 (en) * 2019-01-17 2023-06-27 Verathon Inc. Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
JP7258568B2 (ja) * 2019-01-18 2023-04-17 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム
JP7302988B2 (ja) * 2019-03-07 2023-07-04 富士フイルムヘルスケア株式会社 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
JP7242409B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
CA3143192A1 (en) 2019-06-12 2020-12-17 Carnegie Mellon University System and method for labeling ultrasound data
CA3145782A1 (en) * 2019-07-12 2021-01-21 Verathon Inc. Representation of a target during aiming of an ultrasound probe
US20210045716A1 (en) * 2019-08-13 2021-02-18 GE Precision Healthcare LLC Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module
CN110567558B (zh) * 2019-08-28 2021-08-10 华南理工大学 一种基于深度卷积特征的超声导波检测方法
CN112568935B (zh) * 2019-09-29 2024-06-25 中慧医学成像有限公司 基于三维追踪相机的三维超声成像方法和系统
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images
US20210183521A1 (en) * 2019-12-13 2021-06-17 Korea Advanced Institute Of Science And Technology Method and apparatus for quantitative imaging using ultrasound data
JP7093093B2 (ja) * 2020-01-08 2022-06-29 有限会社フロントエンドテクノロジー 超音波尿量測定装置、学習モデル生成方法、学習モデル
KR102246966B1 (ko) * 2020-01-29 2021-04-30 주식회사 아티큐 신체의 목적 타겟 위치 확인 방법
JP7461501B2 (ja) * 2020-04-07 2024-04-03 ベラソン インコーポレイテッド 前立腺自動解析システム
CN113616235B (zh) * 2020-05-07 2024-01-19 中移(成都)信息通信科技有限公司 超声检测方法、装置、系统、设备、存储介质及超声探头
CN112184683B (zh) * 2020-10-09 2024-10-15 深圳度影医疗科技有限公司 一种超声图像的识别方法、终端设备及存储介质
KR102238280B1 (ko) * 2020-12-09 2021-04-08 박지현 수중 물체 감지 시스템 및 그 방법
US20230070062A1 (en) * 2021-08-27 2023-03-09 Clarius Mobile Health Corp. Method and system, using an ai model, for identifying and predicting optimal fetal images for generating an ultrasound multimedia product
JP2023034400A (ja) * 2021-08-31 2023-03-13 DeepEyeVision株式会社 情報処理装置、情報処理方法及びプログラム
JP2023087273A (ja) 2021-12-13 2023-06-23 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2023143418A (ja) * 2022-03-25 2023-10-06 富士フイルム株式会社 超音波診断装置とその作動方法
WO2024101255A1 (ja) * 2022-11-08 2024-05-16 富士フイルム株式会社 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
CN118071746B (zh) * 2024-04-19 2024-08-30 广州索诺星信息科技有限公司 基于人工智能的超声影像数据管理系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081933A (en) * 1990-03-15 1992-01-21 Utdc Inc. Lcts chassis configuration with articulated chassis sections between vehicles
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
US5734739A (en) * 1994-05-31 1998-03-31 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
WO2001082787A2 (en) * 2000-05-03 2001-11-08 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US20050089205A1 (en) 2003-10-23 2005-04-28 Ajay Kapur Systems and methods for viewing an abnormality in different kinds of images
US8167803B2 (en) 2007-05-16 2012-05-01 Verathon Inc. System and method for bladder detection using harmonic imaging
US20090082691A1 (en) * 2007-09-26 2009-03-26 Medtronic, Inc. Frequency selective monitoring of physiological signals
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8265390B2 (en) * 2008-11-11 2012-09-11 Siemens Medical Solutions Usa, Inc. Probabilistic segmentation in computer-aided detection
US20100158332A1 (en) 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
US20110257527A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
EP2793703B1 (en) * 2011-12-21 2020-07-15 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
US9033887B2 (en) * 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
US20160270757A1 (en) * 2012-11-15 2016-09-22 Konica Minolta, Inc. Image-processing apparatus, image-processing method, and program
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
DK3338642T3 (da) 2015-08-21 2020-07-06 Fujifilm Corp Ultralydsdiagnoseanordning og fremgangsmåde til styring af ultralydsdiagnoseanordning
US9536054B1 (en) * 2016-01-07 2017-01-03 ClearView Diagnostics Inc. Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations

Also Published As

Publication number Publication date
EP3621525A1 (en) 2020-03-18
JP2020519369A (ja) 2020-07-02
KR102409090B1 (ko) 2022-06-15
KR20200003400A (ko) 2020-01-09
US20180330518A1 (en) 2018-11-15
WO2018209193A1 (en) 2018-11-15
KR20220040507A (ko) 2022-03-30
CN110753517A (zh) 2020-02-04
CA3062330A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6902625B2 (ja) 確率マップに基づいた超音波検査
US9483821B2 (en) Method and ultrasound apparatus for displaying ultrasound image corresponding to region of interest
US7819806B2 (en) System and method to identify and measure organ wall boundaries
CN112603361B (zh) 用于在超声图像中跟踪解剖特征的系统和方法
US20080146932A1 (en) 3D ultrasound-based instrument for non-invasive measurement of Amniotic Fluid Volume
KR102539901B1 (ko) 2차원 초음파 이미지를 음영화하는 방법 및 시스템
JP7022217B2 (ja) 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ
US10470744B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method performed by the ultrasound diagnosis apparatus, and computer-readable storage medium having the ultrasound diagnosis method recorded thereon
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
WO2020117486A1 (en) Implant assessment using ultrasound and optical imaging
US11278259B2 (en) Thrombus detection during scanning
US11684344B2 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
US20150250455A1 (en) Medical image processing apparatus and method, and computer-readable recording medium
WO2020133236A1 (zh) 一种脊柱的成像方法以及超声成像系统
CN114098795B (zh) 用于生成超声探头引导指令的系统和方法
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
CN115869006A (zh) 超声成像装置和超声成像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6902625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250