JP2022519979A - 心臓病の自動化された心臓測定および診断、予測、および予後のために２ｄおよびドップラーモダリティ心エコー図画像を認識および分析する自動臨床ワークフロー - Google Patents

Abstract

少なくとも１つのプロセッサ上で実行されるソフトウェアによって実施される自動化されたワークフローは、超音波デバイスによって撮影された複数の心エコー図画像を受信するステップを含む。第１のフィルタは、画像メタデータを分析するステップに基づいて、２Ｄ画像およびドップラーモダリティ画像別に、複数の心エコー図画像を分離する。第１のニューラルネットワークは、視像タイプ別に、２Ｄ画像を分類し、第２のニューラルネットワークは、視像タイプ別に、ドップラーモダリティ画像を分類する。第３のニューラルネットワークは、２Ｄ画像内の心室をセグメント化し、第４のニューラルネットワークは、ドップラーモダリティ画像をセグメント化し、波形トレースを生成し、セグメント化された２Ｄ画像およびセグメント化されたドップラーモダリティ画像を生産する。

Description

本発明は、疾患予測のための画像分類に関し、より具体的には、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー図画像を認識および分析する、自動臨床ワークフローに関する。

心不全を含む、心血管疾患は、世界中のヒトの死亡の約３０％を占める、主な健康問題である。心不全はまた、６５歳を上回る成人における、入院の主要な原因である。心エコー検査は、心臓の形態学的および機能的査定のための心臓病学における重要な診断補助である。典型的患者心エコー図（エコー）検査では、超音波検査士と呼ばれる、臨床医が、超音波デバイスを患者の胸部に対して設置し、患者の心臓のいくつかの２Ｄ画像／ビデオを捕捉する。反射された音波は、心臓壁の内側構造および血流の速度を明らかにする。超音波デバイス位置は、エコー検査の間、変動され、異なる視点または視像からの心臓の２Ｄスライスとして、異なる解剖学的断面を捕捉する。臨床医は、これらの２Ｄ画像に、持続波ドップラー、ｍモード、パルス状波ドップラー、およびパルス状波組織ドップラーを含む、種々の可能性として考えられるモダリティから捕捉された波形を追加するオプションを有する。２Ｄ画像／ビデオおよびドップラーモダリティ画像は、典型的には、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマットファイルにおいて保存される。モダリティのタイプは、部分的に、ＤＩＣＯＭファイルのメタデータに示されるが、どの心臓構造が撮像されたかの最終決定要因である、モダリティおよび２Ｄ視像の両方における超音波デバイス位置は、示されない。

患者検査後、臨床医／技術者は、ＤＩＣＯＭファイルを読影し、左心室（ＬＶ）のような心室および構造に手動で注釈を付け、それらの構造の測定値を求める。プロセスは、各画像内の視像を認識し、適切な測定を行うために、臨床医の訓練に依拠する。経過観察検査では、心臓専門医は、ＤＩＣＯＭ画像および測定値を精査し、それらとメモリ化されたガイドライン値を比較し、心エコー図から行われる解釈に基づいて、診断を行う。

ＤＩＣＯＭ画像を分析し、画像内の心臓構造を測定し、心臓病を決定、予測、および予知するための現在のワークフロープロセスは、高度に手動的であって、時間がかかり、かつ誤差を受けやすい。

最近、非専門家による心臓機能の低コスト査定を可能にするための自動化された心臓画像解釈が、提案されている。提案される自動化されたシステムは、手動プロセスと比較して、改良された性能の有望性を保持するが、システムは、いくつかの短所を有する。１つの短所は、システムが、２Ｄ画像のみを認識することである。加えて、提案されるシステムは、正常心臓と罹患心臓を区別し得るが、提案されるシステムは、類似外観疾患を有する、心臓を区別することが不可能である。その結果、提案されるシステムによって識別される心臓病の数は、非常に限定され、他のタイプの心臓病を識別するために、手動介入を要求する。

例えば、心不全は、従来的には、収縮性機能不全と見なされており、左心室駆出率（ＬＶ ＥＦ）が、収縮期機能を画定し、予後を査定し、療法介入のための患者を選択するために、広く使用されている。しかしながら、心不全は、正常またはほぼ正常ＥＦの存在下でも生じ得ることが認識されており、いわゆる「駆出率が保たれた心不全（ＨＦＰＥＦ）」であって、これは、心不全の臨床症例の実質的割合を占める。深刻な拡張および／または著しく低減されたＥＦを伴う心不全、いわゆる「駆出率が低減された心不全（ＨＦＲＥＦ）」は、病態生理学および治療の観点から最も明らかに理解されるタイプの心不全である。心不全の症状は、突然、「急性心不全」を発症し、病院収容につながり得るが、それらはまた、徐々に発症する可能性もある。タイムリーな診断、心不全の下位型、すなわち、ＨＦＲＥＦまたはＨＦＰＥＦのカテゴリ化、および改良されたリスク層別化は、心不全の管理および治療のために重要であるが、提案されるシステムは、これに対処しない。

提案されるシステムはまた、識別された心臓病に基づいて、予後を生成することが不可能であって、代わりに、心臓専門医が、予後を手動で形成することを要求するであろう。

故に、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析する、改良された完全自動の臨床ワークフローの必要性が存在する。

例示的実施形態は、少なくとも１つのプロセッサを実行させるソフトウェアコンポーネントによって実施される、自動化されたワークフローのための方法およびシステムを提供する。例示的実施形態の側面は、超音波デバイスによって撮影された患者の心臓の複数の心エコー画像を備える、患者研究を受信するステップを含む。第１のフィルタは、画像メタデータを分析するステップに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、複数の心エコー画像を分離する。第１のニューラルネットワークは、視像タイプ別に、２Ｄ画像を分類し、第２のニューラルネットワークは、視像タイプ別に、ドップラーモダリティ画像を分類する。第３のニューラルネットワークは、２Ｄ画像内の心室をセグメント化し、第４のニューラルネットワークは、ドップラーモダリティ画像をセグメント化し、波形トレースを生成し、それによって、セグメント化された２Ｄ画像およびセグメント化されたドップラーモダリティ画像を生産する。セグメント化された２Ｄ画像およびセグメント化されたドップラーモダリティ画像の両方を使用して、ソフトウェアコンポーネントは、患者研究に関して、心臓の左側および右側の両方に関する心臓特徴の測定値を計算する。結論が、次いで、計算された測定値と国際心臓ガイドラインを比較することによって生成され、報告が、生成され、国際ガイドライン外にある、計算された測定値のうちの値をハイライトして出力される。

本明細書に開示される方法およびシステムによると、開示される実施形態は、機械学習を使用して、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析し、本システムは、ワークステーションまたはモバイルベースの超音波診療現場システム内で展開されることができる。

図１Ａ－１Ｃは、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析する、自動化された臨床ワークフローを実装するためのシステムの実施形態を図示する、略図である。 図１Ａ－１Ｃは、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析する、自動化された臨床ワークフローを実装するためのシステムの実施形態を図示する、略図である。 図１Ａ－１Ｃは、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析する、自動化された臨床ワークフローを実装するためのシステムの実施形態を図示する、略図である。

図２は、エコーワークフローエンジンのアーキテクチャ層を図示する。

図３は、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するために、エコーワークフローエンジンによって実施されるためのプロセスの一実施形態を図示する、フロー図である。

図４Ａは、一実施形態による、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するためのプロセスの詳細を図示する、フロー図である。 図４Ａは、一実施形態による、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するためのプロセスの詳細を図示する、フロー図である。 図４Ａは、一実施形態による、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するためのプロセスの詳細を図示する、フロー図である。 図４Ａは、一実施形態による、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するためのプロセスの詳細を図示する、フロー図である。

図４Ｂは、エコーワークフローエンジンの高度な機能を図示する、フロー図である。

図５は、例示的２Ｄエコー画像および例示的ドップラーモダリティ画像を図示する、略図である。

図６は、エコーワークフローエンジンによって自動的に分類される、いくつかの例示的視像タイプを図示する、略図である。 図６は、エコーワークフローエンジンによって自動的に分類される、いくつかの例示的視像タイプを図示する、略図である。 図６は、エコーワークフローエンジンによって自動的に分類される、いくつかの例示的視像タイプを図示する、略図である。

図７は、心室を示す注釈を生産するようにセグメント化された例示的２Ｄ画像と、マスクおよびトレース波形を生産するようにセグメント化された例示的ドップラーモダリティ画像とを図示する、略図である。

図８は、収縮期／拡張期終点を見出す実施例を図示する、略図である。

図９は、２Ｄエコー画像内の撮像ウィンドウの処理および区域外注釈の自動化された検出を図示する、略図である。 図９は、２Ｄエコー画像内の撮像ウィンドウの処理および区域外注釈の自動化された検出を図示する、略図である。

図１０は、２Ｄ画像内の心室の注釈から自動的に生成された構造測定値と、ドップラーモダリティ内の波形の注釈から自動的に生成された速度測定値とを図式的に図示する、略図である。

図１１は、２Ｄ画像内の心室の注釈から自動的に生成された、大域的縦方向歪みの測定値を図式的に図示する、略図である。

図１２Ａは、最大容積心室に基づく最良測定データの例示的セットおよびリポジトリへの最良測定データの保存を図式的に図示する、略図である。

図１２Ｂは、患者が、正常拡張期機能、拡張期機能不全、または未確定を有するという結論を決定するためのルールのセットへの正常ＬＶ ＥＦ測定値を伴う患者から自動的に導出される測定値の入力を図式的に図示する、略図である。

図１３は、例示的ＪＳＯＮファイルへの分類、注釈、および測定データの出力を図式的に図示する、略図である。

図１４は、国際ガイドラインの範囲外にあるハイライト値を示す、例示的報告の一部を図示する、略図である。

図１５は、ユーザによって印刷および／または表示され得る、主要所見の例示的報告の一部を図示する、略図である。

図１６は、ＰＣＷＰおよびＨＦｐＥＦスコアをプロット化する、グラフＡと、ＨＦに関するＣＶ死亡率または入院をプロット化する、グラフＢとを示す、略図である。

例示的実施形態は、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像を認識および分析する、自動臨床ワークフローに関する。以下の説明は、当業者が、本発明を作製および使用することを可能にするために提示され、特許出願およびその要件の文脈において提供される。本明細書に説明される例示的実施形態および汎用原理および特徴への種々の修正は、容易に明白となるであろう。例示的実施形態は、主に、特定の実装において提供される、特定の方法およびシステムの観点から説明される。しかしながら、本方法およびシステムは、他の実装でも、事実上、動作するであろう。「例示的実施形態」、「一実施形態」、および「別の実施形態」等の語句は、同一または異なる実施形態を指し得る。実施形態は、あるコンポーネントを有する、システムおよび／またはデバイスに対して説明されるであろう。しかしながら、本システムおよび／またはデバイスは、示されるものより多いまたはより少ないコンポーネントを含んでもよく、コンポーネントの配列およびタイプにおける変動が、本発明の範囲から逸脱することなく、行われてもよい。例示的実施形態はまた、あるステップを有する、特定の方法の文脈においても説明されるであろう。しかしながら、本方法およびシステムは、例示的実施形態と矛盾しない、異なるおよび／または付加的ステップおよび異なる順序におけるステップを有する、他の方法に関しても、事実上、動作する。したがって、本発明は、示される実施形態に限定されることを意図するものではなく、本明細書に説明される原理および特徴と一貫する、最広範囲を与えられるべきである。

開示される実施形態は、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析し、ワークステーションまたはモバイルベースの超音波診療現場システム内で展開され得る、機械学習を使用して、ソフトウェアベースの自動臨床ワークフローを実装するための方法およびシステムを提供する。

図１Ａ－１Ｃは、心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析する、自動化された臨床ワークフローを実装するためのシステムの実施形態を図示する、略図である。図１Ａは、自動化された臨床ワークフローシステム１０Ａのための基本独立型構成を示す。自動化された臨床ワークフロー１０Ａは、主に、ネットワーク２６上の他のデバイスから接続解除される、独立型設定において動作する、コンピュータ１４上で実行される、エコーワークフローエンジン１２と称される、ソフトウェアアプリケーションとして実装される。コンピュータ１４は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）（例えば、Ｗｉｎｄｏｗｓ７（登録商標）、Ｗｉｎｄｏｗｓ１０（登録商標））、Ａｐｐｌｅ ｍａｃＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｐｐｌｅ ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、および同等物等のオペレーティングシステムを起動させることが可能なワークステーション、デスクトップ、ノートブック、ラップトップサーバ、またはタブレットを含む、任意の形状因子内に実装されてもよい。

コンピュータ１４は、プロセッサ、入力デバイス（例えば、キーボード、ポインティングデバイス、音声コマンドのためのマイクロホン、ボタン、タッチスクリーン等）、出力デバイス（例えば、ディスプレイデバイス、スピーカ、および同等物）、および通信のための有線または無線ネットワーク通信インターフェース（図示せず）を含む、典型的ハードウェアコンポーネント（図示せず）を含んでもよい。コンピュータ１４は、１つ以上のコンピュータプロセッサによって実行されると、本明細書に開示される機能性を実装する、エコーワークフローエンジン１２を備える、コンピュータ命令を含有する、メモリ（図示せず）等の内部コンピュータ可読媒体を含んでもよい。

コンピュータ１４はさらに、１つ以上のデータベース１６と、画像ファイルアーカイブ１８とを記憶するためのローカル内部記憶装置を含んでもよい。一実施形態では、画像ファイルアーカイブ１８のコンテンツは、いくつかの実施形態では、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマットで記憶され得る、心エコー図画像ファイル（本明細書には、エコー画像とも称される）を含む。

一実施形態では、コンピュータ１４は、次いで、データベース１６および画像ファイルアーカイブ１８を使用して、患者研究として記憶され得る、患者の器官（例えば、心臓）の心エコー図画像を捕捉する、超音波撮像デバイス２４等の周辺デバイスと通信する。例えば、コンピュータ１４は、心エコー検査が、心臓の形態学的および機能的査定のための心臓病学における診断補助として実施される、病院または臨床実験室環境内に位置してもよい。典型的患者心エコー図検査（研究と称される）の間、超音波検査士または技術者は、超音波撮像デバイス２４を患者の胸部に対して設置し、心臓の２Ｄエコー画像／ビデオを捕捉し、特定の心臓病を診断することに役立てる。構造および血流の測定は、典型的には、心臓の２Ｄスライスを使用して行われ、超音波撮像デバイス２４の位置は、エコー検査の間、変動され、異なる視点から心臓の異なる解剖学的断面を捕捉する。技術者は、これらの２Ｄエコー画像に、持続波ドップラー、ｍモード、パルス状波ドップラー、およびパルス状波組織ドップラーを含む、種々の可能性として考えられるモダリティから捕捉された波形を追加するオプションを有する。２Ｄ画像およびドップラー波形画像は、ＤＩＣＯＭファイルとして保存されてもよい。モダリティのタイプは、時として、ＤＩＣＯＭファイルのメタデータに示されるが、２Ｄ視像は、示されない。

コンピュータ１４はさらに、光ディスク２０および／またはフラッシュメモリ２２およびエコー画像の記憶のための同等物等のリムーバブル記憶デバイスを含んでもよい。いくつかの実施形態では、リムーバブル記憶デバイスは、超音波撮像デバイス２４ではなく、またはそれに加え、内部画像ファイルアーカイブ１８の中へのエコー画像および関連データ構造のインポート源として使用されてもよい。リムーバブル記憶デバイスはまた、データベース１６および／または画像ファイルアーカイブ１８内に記憶された心電図データのためのアーカイブとして使用されてもよい。

接続構成１０Ｂと称される、高度な実施形態では、コンピュータ１４は、ネットワーク２６およびルータ２８を通して、ＤＩＣＯＭサーバ３０、ネットワークファイル共有デバイス３２、エコーワークステーション３４、および／またはＤＩＣＯＭファイルをホストするクラウド記憶サービス３６等の他のＤＩＣＯＭベースのデバイスに接続されてもよい。接続構成１０Ｂでは、データベース１６および画像ファイルアーカイブ１８とのいくつかの可能性として考えられる相互作用が、下記に説明されるように、可能性として考えられる。

１つの可能性として考えられる相互作用は、クラウド記憶サービス３６を内部アーカイブとして使用することである。大量のＤＩＣＯＭファイルから成る、非常に大規模なアーカイブの場合、コンピュータ１４は、全てのファイルをホストするために十分な記憶容量を有していない場合があり、エコーワークフローエンジン１２は、ファイル記憶のために、クラウド記憶サービス３６の外部ネットワーク記憶装置を使用するように構成されてもよい。

別の可能性として考えられる相互作用は、ｉ）ＤＩＣＯＭおよびドップラー波形画像および患者データおよび検査情報を含む、ＤＩＣＯＭファイルセットまたは患者研究を選択することによって、クラウド記憶サービス３６をインポート源として使用することである。患者研究はまた、そこから患者、検査、および画像ファイルが、読み取られる、留保されたＤＩＣＯＭＤＩＲファイルインスタンスによって選択されてもよい。

なおもさらなる可能性として考えられる相互作用は、ＣＦｉｎｄ動作を実施し、その後、ＣＭｏｖｅ動作が続き、遠隔デバイスに、ＣＦｉｎｄ動作から生じる画像を送信するように要求することによって、患者、検査、および画像を読み出すために、ＤＩＣＯＭサーバ（モダリティＣＦｉｎｄ、ＣＭｏｖｅ、およびＣＳｔｏｒｅを伴う、ワークステーション）として作用する、ＤＩＣＯＭサーバ３０、ネットワークファイル共有デバイス３２、エコーワークステーション３４、および／またはＤＩＣＯＭクライアント（図１Ｃ）を使用することである。

ここで図１Ｂを参照すると、自動化された臨床ワークフローシステムのためのハンドヘルド構成１０Ｃが、示される。本実施形態では、図１Ａのコンピュータ１４は、エコー画像をハンドヘルドデバイス１４’に伝送する、有線または無線ポータブル超音波スキャナプローブ２４’に接続される、タブレットまたは携帯電話等のハンドヘルドデバイス１４’として実装される。そのような実施形態では、エコーワークフローエンジン１２は、ハンドヘルドデバイス１４’によって実行される、アプリケーションとして実装されてもよい。

図１Ｃは、自動化された臨床ワークフローのためのサービス（ＳａａＳ）構成１０Ｄとしてのソフトウェアを図示する。本実施形態では、エコーワークフローエンジン１２は、ネットワーク２６を経由して、複数のクライアントデバイス４２と通信する、サーバ４０上で起動される。本実施形態では、サーバ４２およびエコーワークフローエンジン１２は、心臓病の自動化された測定および診断、予測、および予後を、インターネットを経由して、クライアントデバイス（例えば、病院、医院、または医師コンピュータ）に提供する、第三者サービスの一部であってもよい。サーバ４０は、単一コンピュータとして示されるが、サーバ４０の機能は、１つを上回るサーバにわたって分散されてもよいことを理解されたい。代替実施形態では、図１Ｃのサーバ４０およびエコーワークフローエンジン１２は、その機能が複数のクライアントデバイス４２にわたって分散される、仮想エンティティとして実装されてもよい。同様に、エコーワークフローエンジン１２は、各実施形態では、単一コンポーネントとして示されるが、エコーワークフローエンジン１２の機能性は、より多数のモジュール／コンポーネントに分離されてもよいことを理解されたい。

従来、エコー画像が捕捉および記憶される、患者検査後、臨床医／技術者は、ＤＩＣＯＭファイルを読影し、心室および構造に手動で注釈を付け、測定値を求め、これは、報告に提示される。経過観察検査では、医師は、ＤＩＣＯＭ画像および測定値を精査し、それらとメモリ化されたガイドライン値を比較し、診断を行うであろう。そのようなプロセスは、適切な診断が行われ得るように、視像を認識し、適切な測定を行うために、臨床医の訓練に依拠する。そのようなプロセスは、誤差を受けやすく、時間がかかる。

開示される実施形態によると、エコーワークフローエンジン１２は、下記に説明されるように、標準的臨床実践を模倣し、機械学習、画像処理、およびＤＩＣＯＭワークフロー技法の組み合わせを使用して、臨床測定値を導出することによって、患者のＤＩＣＯＭファイルを処理し、具体的疾患を診断し、患者転帰を予知する。機械学習を使用したエコー画像解釈に対する自動化されたソリューションは、以前に提案されているが、そのソリューションは、２Ｄエコー画像のみを分析し、ドップラーモダリティ波形画像を分析しない。そのソリューションはまた、疾患予測を述べるが、２つの疾患（肥大型心筋症および心アミロイドーシス）のみを取り扱うことを試み、その対照は、正常患者と罹患患者のみを比較する。

しかしながら、開示される実施形態のエコーワークフローエンジン１２は、機械学習を利用して、２Ｄエコー画像だけではなく、また、ドップラーモダリティ波形画像も自動的に認識および分析することによって、自動化されたソリューションを改良する。エコーワークフローエンジン１２はまた、類似外観の心臓病を有する、患者を比較し（正常患者と罹患患者を比較するのではなく）、駆出率が低減された心不全（ＨＦｒＥＦ）および駆出率が保たれた心不全（ＨＦｐＥＦ）の両方を含む、付加的疾患を自動的に識別することが可能である。ＨＦｒＥＦは、左心室収縮期機能不全または収縮期心不全に起因し、駆出率が４０％未満であるときに生じる、心不全として知られる。ＨＦｐＥＦは、各拍動に伴って心臓の左心室から圧送される血液の量（駆出率）が５０％を上回る、鬱血性心不全の形態である。最後に、提案される自動化されたソリューションと異なり、エコーワークフローエンジン１２は、医療決定支援のために、分析の結果とともに、報告を自動的に生成する。

図２は、エコーワークフローエンジン１２のアーキテクチャ層を図示する。一実施形態では、エコーワークフローエンジン１２は、１つのソフトウェアアプリケーション内にともにパッケージ化される、いくつかのサーバを含んでもよい。例えば、エコーワークフローエンジン１２は、機械学習層２００と、提示層２０２と、データベース層２０４とを含んでもよい。

機械学習層２００は、いくつかのニューラルネットワークを備え、着信エコー画像および対応するメタデータを処理する。一実施形態では、機械学習層２００は、視像分類のための１つ以上の分類畳み込みニューラルネットワーク（ＣＮＮ）２００Ａのセット、室セグメント化および波形マスク／トレースのための１つ以上のセグメント化ＣＮＮ２００Ｂのセット、疾患予測のための１つ以上の予測ＣＮＮ２００Ｃのセット、および随意に、疾患予後のための１つ以上の予後ＣＮＮ２００Ｄのセットを利用する。

機械学習では、ＣＮＮは、典型的には、視覚的画像を分析するために使用される、深層フィードフォワード人工ニューラルネットワークのクラスである。各ＣＮＮは、入力および出力層および複数の隠れ層を備える。ニューラルネットワークでは、各ノードまたはニューロンは、入力を前の層内のある数の場所から受信する。各ニューロンは、ある関数を前の層から生じる入力値に適用することによって、出力値を算出する。入力値に適用される、関数は、加重のベクトルおよびバイアス（典型的には、実数）によって規定される。ニューラルネットワーク内の学習は、インクリメント調節をバイアスおよび加重に行うことによって進捗する。加重のベクトルおよびバイアスは、フィルタと呼ばれ、入力のある特徴（例えば、特定の形状）を表す。

機械学習層２００は、エコーワークフローエンジン１２が、分析モードに置かれ、患者研究内のエコー画像を自動的に認識および分析することに先立って、訓練モードで動作し、ＣＮＮ２００Ａ－２００Ｄのそれぞれを訓練する。一実施形態では、ＣＮＮ２００Ａ－２００Ｄは、オンラインパブリックまたはプライベート心エコー図ＤＩＣＯＭデータベースからの数千のエコー画像を使用して、種々のエコー画像視像を認識およびセグメント化するように訓練されてもよい。

提示層２０２は、情報をフォーマットし、ユーザに提示するために使用される。一実施形態では、提示層は、ＨＴＭＬ５、Ａｎｇｕｌａｒ４、および／またはＪａｖａＳｃｒｉｐｔ（登録商標）で記述される。提示層２０２は、報告を表示し、ユーザ（例えば、医師／技術者）が、報告を編集することを可能にする、軽量のブラウザベースのユーザインターフェースを実装するために、Ｗｉｎｄｏｗｓ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）グラフィカルサブシステム２０２Ａを含んでもよい。提示層２０２はまた、エコー画像を閲覧するための画像ビューワ２０２Ｂ（例えば、ＤＩＣＯＭビューワ）と、ＣＮＮアルゴリズムを起動させ、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）フォーマットにおける結果のファイルを生成するためのｐｙｔｈｏｎサーバ２０２Ｃとを含んでもよい。

データベース層２０４は、一実施形態では、ＳＱＬデータベース２０４Ａと、システムが使用し得る、他の外部サービスとを備える。ＳＱＬデータベース２０４Ａは、システムに入力される個々の患者研究に関する患者研究情報を記憶する。いくつかの実施形態では、データベース層２０４はまた、図１の画像ファイルアーカイブ１８を含んでもよい。

図３は、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するために、エコーワークフローエンジン１２によって実施されるためのプロセスの一実施形態を図示する、フロー図である。プロセスは、いったんエコーワークフローエンジン１２が、訓練され、分析モードに置かれると、生じる。

プロセスは、エコーワークフローエンジン１２が、メモリから、超音波デバイスによって撮影された心臓等の患者の器官の複数の心エコー図画像を備える、１つ以上の患者研究を受信するステップから開始し得る（ブロック３００）。一実施形態では、患者研究は、７０～９０の画像およびビデオを含んでもよい。

エコーワークフローエンジン１２の第１のフィルタは、画像メタデータを分析するステップに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、複数の心エコー図画像を分離するために使用される（ブロック３０２）。フィルタは、画像内に組み込まれるＤＩＣＯＭタグまたはメタデータを分析し、タグ情報に基づいて、アルゴリズムを起動し、２Ｄとモダリティ画像を区別し、次いで、モダリティ画像をパルス波、持続波、ＰＷＴＤＩ、またはｍモード群のいずれかに分離する。

超音波検査士は、エコー画像内の視像タイプを標識しないため、ＣＮＮ２００のうちの１つ以上のものが、視像タイプ別に、エコー画像を分類するために使用される。一実施形態では、第１のニューラルネットワークは、エコーワークフローエンジン１２によって使用され、視像タイプ別に、２Ｄ画像を分類し（ブロック３０４）、第２のニューラルネットワークは、エコーワークフローエンジン１２によって使用され、視像タイプ別に、ドップラーモダリティ画像を分類する（ブロック３０６）。示されるように、２Ｄ画像の処理は、ドップラーモダリティ画像の処理と別個である。一実施形態では、第１および第２のニューラルネットワークは、分類畳み込みニューラルネットワーク（ＣＮＮ）２００Ａのセットを使用して実装されてもよい。１つの具体的実施形態では、５クラスＣＮＮが、視像タイプ別に、２Ｄ画像を分類するために使用されてもよく、１１クラスＣＮＮが、視像タイプ別に、ドップラーモダリティ画像を分類するために使用されてもよい。代替実施形態では、第１および第２のニューラルネットワークは、１つのニューラルネットワークに組み合わせられてもよい。

一実施形態では、エコーワークフローエンジン１２は、多くの異なる視像タイプを分類するように訓練される。例えば、エコーワークフローエンジン１２は、傍胸骨長軸（ＰＬＡＸ）、心尖部二腔、三腔、および四腔（Ａ２Ｃ、Ａ３Ｃ、およびＡ４Ｃ）、Ａ４Ｃ＋僧帽弁のパルス波、Ａ４Ｃ＋中隔側上のパルス波組織ドップラー、Ａ４Ｃ＋側壁側上のパルス波組織ドップラー、Ａ４Ｃ＋三尖弁側上のパルス波組織ドップラー、Ａ５Ｃ＋大動脈弁の持続波、Ａ４Ｃ＋Ｍモード（ＴｒＶ）、Ａ５Ｃ＋ＰＷ（ＬＶＯＴ）を含む、少なくとも１１の異なる視像タイプを分類してもよい。

分類された画像に基づいて、第３のニューラルネットワークは、エコーワークフローエンジン１２によって使用され、２Ｄ画像内の着目領域（例えば、心室）をセグメント化し、注釈が付けられたまたはセグメント化された２Ｄ画像を生産する（ブロック３０８）。第４のニューラルネットワークは、エコーワークフローエンジン１２によって使用され、ドップラーモダリティ画像に関する波形トレースを生成し、注釈が付けられたまたはセグメント化されたドップラーモダリティ画像を生成する（ブロック３０９）。セグメント化のプロセスは、心室のそれぞれが起始および終了する場所を決定し、各画像および／またはビデオに描写される、心臓の構造（例えば、心室）の輪郭を生成するステップを含む。セグメント化はまたは、ドップラーモダリティ内の血流の速度を描写する、波形の輪郭をトレースするために使用されることができる。一実施形態では、第３および第４のニューラルネットワークは、１つ以上のセグメント化ＣＮＮ２００Ｂのセットを使用して実装されてもよい。使用されるセグメント化ＣＮＮの選択肢は、画像の視像タイプによって決定され、これは、視像タイプの以前の正しい分類を重大なステップにする。

セグメント化された２Ｄ画像およびセグメント化されたドップラーモダリティ画像の両方を使用して、エコーワークフローエンジン１２は、患者研究に関して、心臓の左側および右側の両方に関する心臓特徴の測定値を計算する（ブロック３１０）。

エコーワークフローエンジン１２は、次いで、計算された測定値と国際心臓ガイドラインを比較することによって、結論を生成する（ブロック３１２）。エコーワークフローエンジン１２はさらに、国際ガイドライン外にある、計算された測定値のものをハイライトする、報告をユーザに出力する（ブロック３１４）。一実施形態では、報告は、医師および／または患者に、電子デバイスのディスプレイ上において電子的に、および／または紙の報告として、表示されてもよい。いくつかの実施形態では、電子報告は、ルールまたは役割ベースの許可に従って、ユーザによって編集可能であってもよく、例えば、心臓専門医は、報告を修正することを可能にされ得るが、患者は、閲覧特権のみを有してもよい。

図４Ａは、一実施形態による、２Ｄおよびドップラーモダリティエコー画像の両方を自動的に認識および分析し、心臓病の自動化された測定および診断、予測、および予後を実施するためのプロセスのさらなる詳細を図示する、フロー図である。

プロセスは、ブロック４００－４０１０を備える、１つ以上の患者研究（図３のブロック３００）を受信するステップから開始し得る。一実施形態では、患者研究のそれぞれからのエコー画像は、自動的に、画像ファイルアーカイブ１８の中にダウンロードされる（ブロック４００）。エコー画像は、コンピュータ１４のローカルまたは遠隔記憶源から受信されてもよい。ローカル記憶源は、リムーバブル記憶デバイスを含む、コンピュータ１４の内部／外部記憶装置を含んでもよい。遠隔記憶源は、超音波撮像デバイス２４、ＤＩＣＯＭサーバ３０、ネットワークファイル共有デバイス３２、エコーワークステーション３４、および／またはクラウド記憶サービス３６（図１参照）を含んでもよい。一実施形態では、エコーワークフローエンジン１２は、写真アーカイブおよび通信サーバ（ＰＡＣＳ）として動作するための機能を含み、これは、多重モダリティ（源機械タイプであって、そのうちの１つは、超音波撮像デバイス２４である）からの画像を取り扱うことが可能である。エコーワークフローエンジン１２は、ＰＡＣＳを使用して、エコー画像を画像ファイルアーカイブ１８の中にダウンロードおよび記憶し、エコーワークフローエンジン１２に、自動化されたワークフローの間、エコー画像へのアクセスを提供する。ＰＡＣＳ画像記憶および転送のためのフォーマットは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）である。

患者研究のそれぞれからの患者情報は、抽出され、データベース１６内に記憶される（ブロック４０２）。非画像患者データは、ＤＩＣＯＭ画像および／または走査文書内に埋設されるメタデータを含んでもよく、これは、いったんＤＩＣＯＭ内にカプセル化されると、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）等の消費者産業標準フォーマットを使用して組み込まれてもよい。一実施形態では、受信される患者研究は、将来的処理のために、処理待ち行列内に入れられ、各患者研究の処理の間、エコーワークフローエンジン１２は、待ち行列を処理し、未処理エコー画像をチェックする（ブロック４０４）。エコーワークフローエンジン１２は、患者研究のステータスを監視し、待ち行列内のそれらを追跡し、どれが処理されたかと、どれが依然として保留中であるかとを決定する。一実施形態では、待ち行列内の患者研究の優先順位化が、ユーザによって構成されてもよい。例えば、患者研究は、処理のために、エコー検査の日付、患者研究の受信時間に従って、または患者の心臓病の推定される重症度別に、待ち行列内で優先順位化されてもよい。

任意の未処理エコー画像は、次いで、有効ＤＩＣＯＭ画像フォーマットを有するために、フィルタ処理され、エコー研究内の非ＤＩＣＯＭファイルは、破棄される（ブロック４０６）。一実施形態では、エコー画像は、特定のタイプのフォーマット、例えば、有効ＤＩＣＯＭファイルフォーマットを有するために、フィルタ処理され、任意の他のファイルフォーマットは、無視されてもよい。有効画像ファイルフォーマットを有するためのエコー画像フィルタ処理は、処理のために、無効ＤＩＣＯＭ画像を否認することによって、エコーワークフローエンジン１２の信頼性を向上させる。

任意の未処理有効エコー画像は、次いで、コンピュータ１４のメモリ内で開かれ、処理される（ブロック４０８）。コンピュータ１４のメモリ内の患者研究に関するエコー画像を開くことは、エコーワークフローエンジン１２による処理速度を向上させるために行われる。これは、処理速度を有意に減速させ得る、エコーファイルをサブプロセスとして開き、エコーファイルをディスクに保存し、次いで、処理の間、各エコー画像を再び開くアプローチとは対照的である。

エコーワークフローエンジン１２は、次いで、メタデータをエコー画像から抽出し、記憶し、次いで、画像上に記述される個人情報を被覆することによって、患者データプライバシを保護するために、画像をブラックアウトし、メタデータを上書きすることによって、画像を匿名化する（ブロック４１０）。実施例として、ＤＩＣＯＭフォーマット画像ファイルは、患者情報、医師情報、超音波製造情報、研究情報等の様々な情報を記憶するために使用され得る、ＤＩＣＯＭタグと称される、メタデータを含む。一実施形態では、抽出されたメタデータは、データベース１６内に記憶されてもよく、画像ファイル内のメタデータは、プライバシのために上書きされる。

患者研究の受信および処理後、エコーワークフローエンジン１２は、２Ｄ画像をドップラーモダリティ画像から分離し、したがって、２つの異なる画像タイプが、下記に説明される、異なるパイプラインフローによって処理されることができる。一実施形態では、画像の分離（図３のブロック３０２）は、ブロック４１２－４１４を備えてもよい。最初に、２Ｄ画像が、メタデータを分析することによって、ドップラーモダリティ画像から分離される（ブロック４１２）。

図５は、例示的２Ｄエコー画像５００と、波形を含む、例示的ドップラーモダリティ画像５０２とを図示する、略図である。エコーワークフローエンジン１２は、メタデータ／ＤＩＣＯＭタグを調べることによって、画像タイプを決定してもよい。一実施形態では、ＤＩＣＯＭタグ内の情報が、画像を、以下の４つのクラス、すなわち、２Ｄのみ、パルス状波（ＰＷ）、持続波（ＣＷ）、およびｍモードのうちの１つに群化するために抽出されてもよい。同様に、メタデータ内の超音波撮像デバイス２４のトランスデューサ周波数は、ＰＷ画像のうちのいくつかを第５のクラス、すなわち、パルス状波組織ドップラー撮像（ＰＷＴＤＩ）にさらに分離するために使用されてもよい。

再び図４Ａを参照すると、エコーワークフローエンジン１２はまた、同様にメタデータを分析することによって決定され得る、ズーム視像を伴う、画像をフィルタ除去してもよい（ブロック４１４）。拡大画像捕捉の間に拡大されている、エコー画像のいずれも、ズームするとき、有用な情報が、必然的に、画像から脱落され、元々の画像が、欠測データに関して参照される必要があり、これが、処理速度を減速させる、労力の重複であることを意味するため、パイプラインを通して処理されない。故に、潜在的に、そのような様式において、プロセスを減速させるのではなく、エコーワークフローエンジン１２は、拡大画像をフィルタ除去または破棄し、処理時間を節約する。代替実施形態では、ブロック４１４における拡大画像をフィルタ除去するステップは、ブロック４１２において画像を分離するステップに先立って、実施されてもよい。

２Ｄ画像をドップラーモダリティ画像から分離後、エコーワークフローエンジン１２は、画像データを各エコー画像から抽出し、数値アレイ４１６に変換する（ブロック４１６）。２Ｄのみのエコー画像に関して、ピクセルデータは、シーケンスで再生され、ビデオを作成する、一連の画像フレームを備える。画像フレームは、標識されていないため、視像角度が、決定される必要がある。波形モダリティを含む、ドップラーモダリティ画像に関して、後続視像識別のために使用され得る、ＤＩＣＯＭファイル内には、２つの画像、すなわち、心臓の波形画像と、エコー画像とが存在する。ピクセルデータは、ＤＩＣＯＭファイルから抽出され、ＤＩＣＯＭファイル内のタグは、画像をクロッピングするための座標を決定する。クロッピングされたピクセルデータは、さらなる処理のために、数値アレイ内に記憶される。一実施形態では、ブロック４１２、４１４、および４１６は、図３の画像を分離するブロック３０２に対応し得る。

画像を分離後、エコーワークフローエンジン１２は、視像タイプ別に、エコー画像のそれぞれを分類することを試みる。一実施形態では、視像分類（図３ブロック３０４および３０６）は、ブロック４１８－４２２に対応する。

開示される実施形態によると、エコーワークフローエンジン１２は、パラレルパイプラインフローを利用することによって、視像タイプ別に、エコー画像のそれぞれを分類することを試みる。パラレルパイプラインは、２Ｄ画像パイプラインと、ドップラーモダリティ画像パイプラインとを含む。２Ｄパイプラインフローは、第１のＣＮＮによって、図３からのブロック３０４に対応する、視像タイプ別に、２Ｄ画像を分類するステップによって開始する（ブロック４１８）。ドップラーモダリティ画像パイプラインフローは、第２のＣＮＮによって、図３からのブロック３０６に対応する、視像タイプ別に、ドップラーモダリティ画像を分類するステップによって開始する（ブロック４２０）。

図６は、エコーワークフローエンジン１２によって自動的に分類される、いくつかの例示的視像タイプを図示する、略図である。上記に記載されるように、例示的視像タイプは、傍胸骨長軸（ＰＬＡＸ）、心尖部二腔、三腔、および四腔（Ａ２Ｃ、Ａ３Ｃ、およびＡ４Ｃ）、Ａ４Ｃ＋僧帽弁のパルス波、Ａ４Ｃ＋中隔側上のパルス波組織ドップラー、Ａ４Ｃ＋側壁側上のパルス波組織ドップラー、Ａ４Ｃ＋三尖弁側上のパルス波組織ドップラー、Ａ５Ｃ＋大動脈弁の持続波、Ａ４Ｃ＋Ｍモード（ＴｒＶ）、Ａ５Ｃ＋ＰＷ（ＬＶＯＴ）を含んでもよい。

再び図４Ａを参照すると、一実施形態では、２Ｄ画像分類は、以下のように実施される。ＤＩＣＯＭファイルが、２Ｄ視像からのビデオフレームを含有する場合、より効率的処理のために、ビデオフレームの小サブセットのみが、分析され、２Ｄ視像分類を決定する。一実施形態では、ビデオフレームのサブセットは、約８～１２ビデオフレームの範囲であってもよいが、好ましくは、１０フレームが、実際の視像を決定するために、２Ｄのために訓練されたＣＮＮ２００Ａのうちの１つの中に入力される。代替実施形態では、ビデオフレームのサブセットは、ビデオファイルからランダムに選択されてもよい。一実施形態では、ＣＮＮ２００Ａは、分析されるビデオフレームのそれぞれを、Ａ２Ｃ、Ａ３Ｃ、Ａ４Ｃ、Ａ５Ｃ、ＰＬＡＸ修正、ＰＬＡＸ、ＰＳＡＸ ＡｏＶレベル、ＰＳＡＸ中央レベル、肋骨下Ａｏ、肋骨下Ｈｅｐ静脈、肋骨下ＩＶＣ、肋骨下ＬＡＸ、肋骨下ＳＡＸ、胸骨上窩、およびその他のうちの１つとして分類する。

ドップラーモダリティ画像は、２つの画像、すなわち、心臓の心エコー図画像と、対応する波形とを備え、その両方とも、画像処理のために、エコーファイルから抽出される。一実施形態では、持続波（ＣＷ）、パルス状波（ＰＷ）、およびＭモード画像のドップラーモダリティ画像分類は、以下のように実施される。ＤＩＣＯＭファイルが、波形モダリティ（ＣＷ、ＰＷ、ＰＷＴＤＩ、Ｍモード）を含有する場合、２つの抽出された画像が、ＣＷ、ＰＷ、ＰＷＴＤＩ、およびＭモード視像分類のために訓練されたＣＮＮ２００Ａのうちの１つに入力され、さらにエコー画像をＣＷ（ＡｏＶ）、ＣＷ（ＴｒＶ）、ＣＷその他、ＰＷ（ＬＶＯＴ）、ＰＷ（ＭＶ）、ＰＷその他、ＰＷＴＤＩ（側壁）、ＰＷＴＤＩ（中隔）、ＰＷＴＤＩ（三尖弁）、Ｍモード（ＴｒＶ）、およびＭモードその他、のうちの１つとして分類する。

モダリティのために利用可能なより多くの潜在的分類が存在するが、本実施形態は、処理効率性を最大限にするために、方略的に、上記のクラスを選択しながら、残りの潜在的クラスを「その他」に群化する一方、さらなる処理および定量化のために、最も臨床上重要な画像を識別する。ＣＮＮ２００Ａのカスタマイズは、使用される所望の数の層および各層内のフィルタの数量において生じる。訓練相の間、ＣＮＮの正しいサイズが、最適性能レベルに到達するまで、繰り返される訓練および調節を通して、決定されてもよい。

視像分類の間、エコーワークフローエンジン１２は、視像分類が正しいことの信頼度レベルを示す、分類信頼度スコアを維持する。エコーワークフローエンジン１２は、閾値を満たすことができない、分類信頼度スコア、すなわち、低分類信頼度スコアを有する、エコー画像をフィルタ除去する（ブロック４２２）。複数のアルゴリズムが、当該視像に応じて、分類信頼度スコアを導出するために採用されてもよい。心臓構造注釈、画質、心周期検出内で検出された異常、および画像アーチファクトの存在は全て、分類信頼度スコアを減少させ、エコー画像を自動化されたエコーワークフローから外に破棄する役割を果たし得る。

信頼度スコアに対して、エコーワークフローエンジン１２は、分類、注釈、および測定を含む、処理の異なる段階において、いくつかの異なるタイプの信頼度スコアを生成し、分析する（例えば、ブロック４２２、４３４、および４４２）。例えば、標準下画質に起因し得る、不良な品質注釈または分類は、分類信頼度スコアをフィルタ処理することによって、フィルタ除去される。別の実施例では、患者研究では、同一視像が、１回を上回って入手されてもよく、その場合、最良測定値が、下記にさらに説明されるように、ブロック４４２において、低測定値信頼度スコアをフィルタ除去することによって選定される。所定の閾値を満たす、信頼度スコアを有する、任意のデータは、ワークフローを通して継続する。両方とも高信頼度を伴う、測定値の重複の場合、最も臨床上関連する測定値が、選定され得る。

次に、エコーワークフローエンジン１２は、画像セグメント化を実施し、着目領域（ＲＯＩ）を画定する。コンピュータビジョンでは、画像セグメント化は、デジタル画像を複数のセグメント（ピクセルのセット）にパーティション化し、物体の境界（線、曲線、および同等物）を位置特定するプロセスである。典型的には、注釈は、セグメント境界／縁をハイライトするために画像上にオーバーレイされたオーバーレイの一連の境界線である。一実施形態では、ＲＯＩを画定するためのセグメント化（図３のブロック３０８）は、ブロック４２６－４３６に対応する。

一実施形態では、２Ｄ画像パイプラインは、第３のＣＮＮによって、２Ｄ画像内の心室等の着目領域に注釈を付け、注釈が付けられた２Ｄ画像を生産する（ブロック４２６）。注釈後処理が、次いで、注釈を減退させ、その寸法を低減させ、心臓構造の輪郭をスプライン適合させ、着目領域（ＲＯＩ）のより近くに境界線の場所を調節する（ブロック４２７）。２Ｄ画像パイプラインは、注釈が付けられた２Ｄ画像内のＲＯＩ（例えば、心室）を分析し、容積を推定し、収縮期／拡張期終点を見出すことによって、心周期内の特徴点を決定するステップに継続する（ブロック４３０）。２Ｄのみ視像に関して、測定値が、心周期の収縮期または拡張期相において、すなわち、左心室が最小容積（収縮期）または最大容積（拡張期）に到達するときに求められる。２Ｄビデオ画像から、左心室の推定された容積のサイズに基づいて、どの終点が、収縮期および拡張期であるかが、決定されなければならない。例えば、有意に大きい左心室は、拡張期終点を示し得る一方、有意に小さい容積は、収縮期終点を示し得る。全てのビデオフレームは、注釈が付けられ、左心室の容積が、全体的心周期全体を通して計算される。最小および最大容積を伴う、フレームが、ピーク検出アルゴリズムを用いて検出される。

ドップラーモダリティパイプラインは、ドップラーモダリティ画像を分析し、第４のＣＮＮによって、マスクおよび波形トレースをドップラーモダリティ画像内に生成し、注釈が付けられたドップラーモダリティ画像を生産する（ブロック４３１）。

図７は、心室を示す注釈７００を生産するために、ブロック４２６においてセグメント化された例示的２Ｄ画像と、マスクおよび波形トレース７０２を生産するために、ブロック４３１においてセグメント化された例示的ドップラーモダリティ画像とを図示する、略図である。

一実施形態では、第３および第４のＣＮＮは、セグメント化ＣＮＮ２００Ｂに対応し得る。一実施形態では、２Ｄ画像およびドップラーモダリティ画像をセグメント化するために使用される、ＣＮＮ２００Ｂはそれぞれ、Ｕ－Ｎｅｔ ＣＮＮとして実装されてもよく、これは、生体医療画像セグメント化のために開発された畳み込みニューラルネットワークである。複数のＵ－ＮＥＴが、使用されてもよい。例えば、２Ｄ画像に関して、第１のＵ－Ｎｅｔ ＣＮＮは、Ａ２Ｃ、Ａ３Ｃ、Ａ４Ｃ視像から心臓の心室および心房に注釈を付けるように訓練されることができる。第２のＵ－ｎｅｔ ＣＮＮは、ＰＬＡＸ視像内の室に注釈を付けるように訓練されることができる。Ｍモード視像に関して、第３のＵ－Ｎｅｔ ＣＮＮは、波形をセグメント化し、セグメントの小片を除去し、着目領域に関する可能性が高い候補を見出し、次いで、セグメントを再接続し、僧帽弁の移動の完全トレースを提供するように訓練されることができる。ＣＷ視像に関して、第４のＵ－ｎｅｔ ＣＮＮは、血流に注釈を付け、トレースするように訓練されることができる。ＰＷ視像に関して、第５のＵ－ｎｅｔ ＣＮＮは、血流に注釈を付け、トレースするように訓練される。ＰＷＴＤＩ視像に関して、第６のＵ－ｎｅｔ ＣＮＮは、組織構造（側壁／中隔／三尖弁）の移動に注釈を付けるおよびトレースするように訓練されることができる。

再び図４Ａを参照すると、ドップラーモダリティパイプラインは、スライディングウィンドウを用いて、注釈が付けられたドップラーモダリティ画像を処理し、周期、周期内で測定されたピーク、および収縮期／拡張期終点を見出すことによって決定される、心周期内の特徴点を識別することによって継続する（ブロック４３２）。典型的には、ドップラーモダリティビデオは、３つの心周期を捕捉してもよく、スライディングウィンドウが、サイズ調節され、１つのみの選択された周期が分析されるように、周期のうちの２つをブロック除去する。選択された周期内では、スライディングウィンドウが、周期、周期内で測定されたピーク、および収縮期／拡張期終点を見出すことによって決定される、心周期内の特徴点を識別するために使用される。

図８は、２Ｄおよびドップラーモダリティの両方に関して、正確な心臓測定値を求めるための特徴点である、心周期内の収縮期／拡張期終点を見出す実施例を図示する、略図である。

再び図４Ａを参照すると、一実施形態では、エコーワークフローエンジン１２は、推定された容積、収縮期／拡張期終点、識別された周期、および測定されたピークに対応する、注釈信頼度スコアを維持する。エコーワークフローエンジン１２は、閾値を満たすことができない、注釈信頼度スコア、すなわち、注釈が付けられた低信頼度スコアを有する、注釈が付けられた画像をフィルタ除去する（ブロック４３４）。低信頼度注釈の実施例は、過剰に小さい面積／容積、突然の幅変化、比例区域外、部分的心周期、および不十分な心周期のうちの１つ以上のものを有する、注釈が付けられた画像を含んでもよい。

低注釈信頼度スコアを有する、画像が、フィルタ除去された後、エコーワークフローエンジン１２は、画像毎に、撮像ウィンドウを画定し、撮像ウィンドウ外にある、注釈をフィルタ除去する（ブロック４３５）。

図９は、２Ｄエコー画像９００内の撮像ウィンドウの処理を図示する、略図である。左画像では、陰影付きＲＯＩ９０２が、非陰影付き領域または孔９０４をその中に有するように示される。Ｏｐｅｎ ＣＶモルフォロジー変換が、右画像に示されるように、ＲＯＩの内側の孔９０４を充填するために使用される。その後、ハフライン変換が、撮像ウィンドウ境界９０６を見出すために使用されてもよい。周知のように、ハフ変換は、あるクラスの形状内の物体の不完全なインスタンスを見出すために、デジタル画像処理において使用される、特徴抽出技法である。撮像ウィンドウ境界が、見出された後、撮像ウィンドウ境界を越えた注釈のピクセル計数が、行われる。撮像ウィンドウの境界外に有意な数のピクセルを伴う、注釈９０８は、次いで、破棄される。

再び図４Ａを参照すると、自動化された臨床ワークフローシステム１０Ｃのためのハンドヘルド構成（図１Ｂ参照）では、患者研究は、ドップラーモダリティ画像を含まなくてもよい。さらなる側面によると、開示される実施形態は、左心室（ＬＶ）および左心房（ＬＡ）容積測定値を使用して、Ｅ、ｅ’、およびＡ（例えば、早期および後期拡張期送達血流量および早期／平均拡張期組織速度）測定値を導出することにより、２Ｄ画像を使用して、ドップラーモダリティ測定値をシミュレートすることによって、そのようなハンドヘルド構成に適応する（ブロック４３６）。一実施形態では、ドップラーモダリティ測定値をシミュレートするステップは、随意であってもよく、ハンドヘルド構成の存在および／または現在の患者研究に関するドップラーモダリティ画像の不在を示す、ソフトウェア設定に基づいて、呼び出されてもよい。

再び図４Ａを参照すると、一実施形態では、いったん心臓特徴が、セグメント化の間、注釈が付けられると、心臓特徴は、次いで、一実施形態では、ブロック４３８－４４８を備え得る、測定プロセスの間に測定された（図３のブロック３１０）。心臓特徴を測定するプロセスは、注釈を使用して、複数の測定値を定量化することによって開始し得る。最初に、２Ｄパイプラインは、２Ｄ画像に関して、左心室／右心室、左心房／右心房、左心室流出量（ＬＶＯＴ）、および心膜を測定する（ブロック４３８）。ドップラーモダリティ画像に関して、ドップラーモダリティ画像パイプラインは、血流速度を測定する（ブロック４４０）。

より具体的には、Ａ２Ｃ、Ａ３Ｃ、およびＡ４Ｃ画像視像に関して、室サイズの容積測定が、ビデオの収縮期および拡張期フレーム上で行われ、画像処理技法は、Ｍｅｔｈｏｄ ｏｆ Ｄｉｓｃ法（ＭＯＤ）を使用して、容積を測定する際の訓練された臨床医を模倣する。２Ｄ Ｐｌａｘ画像視像に関して、室サイズおよび室間距離の線形測定が、訓練された臨床医を模倣するための画像処理技法を使用して、ビデオの収縮期および拡張期フレーム上で行われる。Ｍモード画像視像に関して、僧帽弁の移動の注釈が付けられたセグメントから、中心線が、抽出および平滑化され、次いで、ピークおよび底が、心周期にわたる最小および最大逸脱を決定するために測定される。ＰＷ画像視像に関して、血流の注釈から、マスクが、波形の一部を単離するために作成される。スライディングウィンドウが、次いで、テンプレートとして使用するためのＤＩＣＯＭタグからの心拍数データと組み合わせて、１つの完全心周期を識別するために、トレースを横断して起動される。本テンプレートは、次いで、画像内の全ての他の心周期を識別するために使用される。ピーク検出が、次いで、各周期上で実施され、次いで、アルゴリズムを通して起動され、各ピークを表す、心周期の部分を識別する。ＣＷ画像視像に関して、血流のトレースの注釈から、曲線適合が、注釈上で実施され、次いで、所望の測定値を定量化する。ＰＷＴＤＩ画像視像に関して、組織の移動の注釈から、マスクが、波形の一部を単離するために作成される。スライディングウィンドウが、次いで、テンプレートとして使用するためのＤＩＣＯＭタグからの心拍数データと組み合わせて、１つの完全心周期を識別するために、トレースを横断して起動される。本テンプレートは、次いで、画像内の全ての他の心周期を識別するために使用される。ピーク検出が、次いで、各周期上で実施され、次いで、アルゴリズムを通して起動され、各ピークが表す、心周期の部分を識別する。

図１０は、２Ｄ画像内の心室の注釈から自動的に生成された構造測定値（左）と、ドップラーモダリティ内の波形の注釈から自動的に生成された速度測定値（右）とを図式的に図示する、略図である。

下記の測定表は、一実施形態による、エコーワークフローエンジン１２によってコンパイルされ得る、測定値を一覧化する。

再び図４Ａを参照すると、一実施形態では、エコーワークフローエンジン１２は、測定された左心室／右心室、左心房／右心房、ＬＶＯＴ、心膜、および測定された速度に対応する、測定値信頼度スコアを維持する。エコーワークフローエンジン１２は、閾値を満たすことができない、測定値信頼度スコア、すなわち、低測定値信頼度スコアを有する、エコー画像をフィルタ除去する（ブロック４４２）。

心臓特徴の測定は、ＣＮＮによって生成された注釈を使用して、縦方向歪みグラフを計算するステップに継続する（ブロック４４４）。その後、第５のＣＮＮは、心膜液４４６を検出する。

図１１は、２Ｄ画像内の心室の注釈から自動的に生成された、大域的縦方向歪みの測定値を図式的に図示する、略図である。

再び図４Ａを参照すると、全ての残りのフィルタ除去されていないデータに関して、エコーワークフローエンジン１２は、最良測定データとして、最大容積を伴う心室と関連付けられる測定値を選択し、最良測定データとともに、画像場所、分類、注釈、および最良測定値と関連付けられる他の測定データを保存する（ブロック４４７）。

図１２Ａは、最大容積心室に基づく最良測定データ１２００の例示的セットと、図１のデータベース１６等のリポジトリへの最良測定データ１２００の保存とを図式的に図示する、略図である。

再び図４Ａを参照すると、エコーワークフローエンジン１２は、次いで、国際測定値ガイドラインに基づいて、最良測定データ１２００をルールのセットに入力し、医療決定支援のための結論を生成することによって、結論を生成する（ブロック４４８）。

図１２Ｂは、患者が、正常拡張期機能、拡張期機能不全、または未確定を有することの結論を決定するための、ルールのセットへの正常ＬＶ ＥＦ測定値の入力を図式的に図示する、略図である。

再び図４Ａを参照すると、結論が生成された後、報告が、生成および出力され（図３のブロック３１４）、これは、ブロック４５０－４５６を備え得る。報告生成は、エコーワークフローエンジン１２が、他のアプリケーションへのエクスポートの柔軟性のために、最良測定データ１２００をＪＳＯＮファイルに出力することによって開始し得る（ブロック４５０）。

図１３は、例示的ＪＳＯＮファイルへの分類、注釈、および測定データの出力を図式的に図示する、略図である。

再び図４Ａを参照すると、軽量のブラウザベースのユーザインターフェース（ＵＩ）が、ＪＳＯＮファイルからの最良測定データ１２００を可視化し、ヒト照合のために、ユーザ（例えば、医師／技術者）によって編集可能である、報告を示すように表示される（ブロック４５２）。周知のように、軽量のウェブブラウザは、特に、メモリ占有面積を最小限にするために、かつメインストリームウェブブラウザの特徴のうちのいくつかを犠牲にすることによって、システムリソースの消費を低減させるように最適化する、ウェブブラウザである。一実施形態では、データに行われた任意の編集は、データベース１６内に記憶され、ＵＩに表示される。

臨床上関連する提案をユーザに行うために、最良測定データ１２００と関連付けられる、測定値は、自動的に、現在の国際ガイドライン値と比較され、任意の範囲外値は、ユーザのためにハイライトされる（ブロック４５４）。

図１４は、国際ガイドラインの範囲外にある、ハイライト値を示す、例示的報告の一部を図示する、略図である。

再び図４Ａを参照すると、ユーザは、主要所見（すなわち、検査に到達した結論）および患者の健康の基礎測定値の自動化された概要を示す、印刷可能報告を生成するオプションを提供される（ブロック４５６）。

図１５は、ユーザによって印刷および／または表示され得る、主要所見の例示的報告の一部を図示する、略図である。

一実施形態では、エコーワークフローエンジン１２の自動化されたワークフローは、ブロック４５６において終了し得る。しかしながら、開示される実施形態のさらなる側面では、プロセスは、下記に説明されるように、高度な機能を伴って継続し得る。

図４Ｂは、エコーワークフローエンジンの高度な機能を図示する、フロー図である。本実施形態によると、エコーワークフローエンジン１２は、入力として、機械学習を使用して自動的に導出された具体的測定値の値をとり（ブロック３１０参照）、具体的測定値を分析し、罹患および合致された対照および正常患者対照の両方に対して疾患診断／予測／予後を決定する（ブロック４６０）。一実施形態では、エコーワークフローエンジン１２は、疾患予測を使用して、心アミロイドーシス、肥大型心筋症、拘束型心膜炎、心毒性、早期拡張期機能不全、およびドップラーフリー拡張期機能不全査定の任意の組み合わせの診断を実施してもよい（ブロック４６２）。自動化されたスコアの形態における予後が、次いで、将来における死亡率および入院率を予測するために生成されてもよい（ブロック４６４）。

心エコー検査は、駆出率が保たれた心不全（ＨＦｐＥＦ）の診断のために重要である。しかしながら、既存のガイドラインは、心エコー図基準に関するその推奨においてまちまちであって、利用可能なガイドラインのいずれも、ＨＦｐＥＦにおける至適基準の侵襲性血行動態測定値に対して検証されていない。

一実施形態によると、エコーワークフローエンジン１２は、予測を理解するために、診断スコアをさらに生成する（ブロック４６６）。機械学習を使用して、エコーワークフローエンジン１２は、侵襲的に測定された肺毛細血管楔入圧（ＰＣＷＰ）に対して診断スコアを検証し、大ＨＦｐＥＦコホートにおけるスコアの予後有用性を決定する。

一実施形態では、エコーワークフローエンジン１２は、入力として、機械学習ワークフローを使用して自動的に導出された、具体的測定値の値をとり、ＨＦｐＥＦアルゴリズムを使用して、入力値を分析し、ＨＦｐＥＦ診断スコアを算出する。

高血圧性心臓病が、ＨＦｐＥＦの最も一般的前兆であって、ＨＦｐＥＦと重複心エコー図特性を有することを認識して、ＨＦｐＥＦ（ＬＶＥＦ≧５０％）を伴う２３３名の患者の心エコー図特徴が、正常駆出率を伴うが、心不全ではない、２７３名の高血圧性対照と比較された。非依存モデルが、ペナルティ付与ロジスティック回帰モデルおよび分類および回帰ツリー（ＣＡＲＴ）分析を使用して開発された。導出された心エコー図スコアと侵襲的に測定されたＰＣＷＰの関連付けが、９６名の患者の別個のコホートにおいて調査された。スコアとＨＦ入院の心血管死亡率の組み合わせられた臨床転帰の関連付けが、ＴＯＰＣＡＴ試験の米国人の心エコー図下位研究からのＨＦｐＥＦを伴う６５３名の患者において調査された。

一実施形態によると、左心室駆出率（ＬＶＥＦ＜６０％）、ピークＴＲ速度（＞２．３ｍ／秒）、相対的壁厚（ＲＷＴ＞０．３９ｍｍ）、心室中隔間厚さ（＞１２．２ｍｍ）、およびＥ波（＞１ｍ／秒）が、ＨＦｐＥＦを高血圧性対照から識別するための変数の最低限の組み合わせとして選択された。これらの５つの心エコー図変数に基づいて加重されたスコア（範囲０～９）が、ＨＦｐＥＦを高血圧性対照から識別するために、０．９の組み合わせられた曲線下面積を有していた。

図１６は、ＰＣＷＰおよびＨＦｐＥＦスコアをプロット化する、グラフＡと、ＨＦに関するＣＶ死亡率または入院率をプロット化する、グラフＢとを示す、略図である。グラフＡは、独立コホートにおいて、ＨＦｐＥＦスコアが、ＨＦｐＥＦを伴う患者におけるＰＣＷＰと有意に関連付けられることを示す（Ｒ²＝０．２２、Ｐ＝０．０３４）。グラフＢは、１ポイントの増加が、多可変補正後の組み合わせられた転帰に関して、１２％のリスク増加と関連付けられたことを示す（危険率［ＨＲ］１．１２；９５％ＣＩ１．０２－１．２３、Ｐ＝０．０１５）。

開示される実施形態によると、心エコースコアは、ＨＦｐＥＦを高血圧性対照から区別することができ、ＨＦｐＥＦにおける重症度および転帰の客観的測定値と関連付けられる。

心臓病の自動化された測定および診断、予測、および予後のために、２Ｄおよびドップラーモダリティ心エコー画像の両方を認識および分析し、ワークステーションまたはモバイルベースの超音波診療現場システム内で展開され得る、機械学習を使用して、ソフトウェアベースの自動臨床ワークフローを実装するための方法およびシステムが、開示されている。本発明は、示される実施形態に従って説明されているが、実施形態に対する変形例が、存在し得、任意の変形例は、本発明の精神および範囲内となるであろう。例えば、例示的実施形態は、ハードウェア、ソフトウェア、プログラム命令を含有するコンピュータ可読媒体、またはそれらの組み合わせを使用して、実装されることができる。本発明に従って記述されるソフトウェアは、メモリ、ハードディスク、または光学ＲＯＭ等のコンピュータ可読媒体のいずれかのある形態内に記憶されることになり、プロセッサによって実行されることになる。故に、多くの修正が、添付の請求項の精神および範囲から逸脱することなく、当業者によって行われてもよい。

Claims (43)

1. 少なくとも１つのプロセッサを実行させるソフトウェアコンポーネントによって実施される自動化されたワークフローのためのコンピュータ実装方法であって、前記方法は、
   メモリから、患者の心臓の超音波デバイスによって撮影された複数の心エコー図画像を備える患者研究を受信することと、
   第１のフィルタによって、画像メタデータを分析することに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、前記複数の心エコー図（エコー）画像を分離することと、
   第１のニューラルネットワークによって、視像タイプ別に、前記２Ｄ画像を分類することと、
   第２のニューラルネットワークによって、視像タイプ別に、前記ドップラーモダリティ画像を分類することと、
   第３のニューラルネットワークによって、前記２Ｄ画像内の着目領域をセグメント化し、セグメント化された２Ｄ画像を生産することと、
   第４のニューラルネットワークによって、前記ドップラーモダリティ画像をセグメント化し、波形トレースを生成し、セグメント化されたドップラーモダリティ画像を生産することと、
   前記セグメント化された２Ｄ画像および前記セグメント化されたドップラーモダリティ画像の両方を使用して、前記患者研究に関して、前記心臓の左側および右側の両方に関する心臓特徴の測定値を計算することと、
   前記計算された測定値と国際心臓ガイドラインを比較することによって、結論を生成することと、
   前記国際心臓ガイドライン外にある前記計算された測定値のものをハイライトする報告を出力することと
   を含む、方法。
2. メモリから、患者研究を受信することはさらに、
   前記プロセッサによって、直接、前記超音波デバイスを含むローカルまたは遠隔源から、前記エコー画像を受信することと、
   前記エコー画像を画像アーカイブ内に記憶することと、
   処理のために、前記メモリ内に記憶されたエコー画像を開くことと
   を含む、請求項１に記載の方法。
3. 前記エコー画像を待ち行列に入れ、任意の未処理エコー画像をチェックし、有効画像フォーマットを有するために、前記エコー画像をフィルタ処理することをさらに含む、請求項２に記載の方法。
4. 前記第１のニューラルネットワークによって、視像タイプ別に、前記２Ｄ画像を分類することはさらに、前記第１のニューラルネットワークを訓練し、前記２Ｄ画像のフレームを、Ａ２Ｃ、Ａ３Ｃ、Ａ４Ｃ、Ａ５Ｃ、ＰＬＡＸ修正、ＰＬＡＸ、ＰＳＡＸ ＡｏＶレベル、ＰＳＡＸ中央レベル、肋骨下Ａｏ、肋骨下Ｈｅｐ静脈、肋骨下ＩＶＣ、肋骨下ＬＡＸ、肋骨下ＳＡＸ、胸骨上窩、およびその他のうちの１つとして分類することを含む、請求項１に記載の方法。
5. 第２のニューラルネットワークによって、視像タイプ別に、前記ドップラーモダリティ画像を分類することはさらに、エコー画像ファイルが、波形モダリティ（ＣＷ、ＰＷ、ＰＷＴＤＩ、Ｍモード）を含有する場合、前記ドップラーモダリティ画像から抽出されたエコー画像を、ＣＷ、ＰＷ、ＰＷＴＤＩ、およびＭモード視像分類のために訓練されたＣＮＮに入力し、さらに前記エコー画像を、ＣＷ（ＡｏＶ）、ＣＷ（ＴｒＶ）、ＣＷその他、ＰＷ（ＬＶＯＴ）、ＰＷ（ＭＶ）、ＰＷその他、ＰＷＴＤＩ（側壁）、ＰＷＴＤＩ（中隔）、ＰＷＴＤＩ（三尖弁）、Ｍモード（ＴｒＶ）、およびＭモードその他のうちの１つとして分類することによって、持続波（ＣＷ）、パルス状波（ＰＷ）、およびＭモードドップラーモダリティ画像を分類することを含む、請求項１に記載の方法。
6. 画像メタデータを分析することに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、前記エコー画像を分離することはさらに、
   前記画像を以下の４つのクラス、すなわち、２Ｄのみ、パルス状（ＰＷ）、持続波（ＣＷ）、およびｍモードのうちの１つに群化するために、メタデータを使用することと、
   前記メタデータ内の前記超音波デバイスのトランスデューサ周波数を使用して、前記ＰＷ画像のうちのいくつかを第５のクラス、すなわち、パルス状波組織ドップラー撮像（ＰＷＴＤＩ）に分離することと
   を含む、請求項１に記載の方法。
7. 前記エコー画像を分離することはさらに、ズーム視像を有する前記エコー画像をフィルタ除去することを含む、請求項１に記載の方法。
8. 第３のニューラルネットワークによって、前記２Ｄ画像内の着目領域をセグメント化し、セグメント化された２Ｄ画像を生産することはさらに、前記心室のそれぞれが起始および終了する場所を決定し、心臓構造の輪郭を生成することを含む、請求項１に記載の方法。
9. 第３のニューラルネットワークによって、前記２Ｄ画像内の着目領域をセグメント化し、セグメント化された２Ｄ画像を生産することはさらに、心臓構造の輪郭をスプライン適合させる注釈後処理を実施し、前記着目領域のより近くに境界線の場所を調節することを含む、請求項１に記載の方法。
10. セグメント化することはさらに、前記エコー画像毎に、撮像ウィンドウを画定し、前記撮像ウィンドウ外にある注釈をフィルタ除去することを含む、請求項１に記載の方法。
11. セグメント化することはさらに、左心室（ＬＶ）および左心房（ＬＡ）容積測定値を使用して、Ｅ、ｅ’、およびＡ（例えば、早期および後期拡張期送達血流量および早期／平均拡張期組織速度）測定値を導出することによって、前記２Ｄ画像を使用して、ドップラーモダリティ測定値をシミュレートすることを含む、請求項１に記載の方法。
12. 前記セグメント化された２Ｄ画像および前記セグメント化されたドップラーモダリティ画像の両方を使用して、前記患者研究に関して、前記心臓の左側および右側の両方に関する心臓特徴の測定値を計算することはさらに、２Ｄパイプラインを使用して、前記２Ｄ画像に関して、左心室／右心室、左心房／右心房、左心室流出量（ＬＶＯＴ）および心膜を測定し、ドップラーモダリティ画像パイプラインを使用して、前記ドップラーモダリティ画像に関して、血流速度を測定することを含む、請求項１に記載の方法。
13. 前記第１のニューラルネットワーク、前記第２のニューラルネットワーク、前記第３のニューラルネットワーク、および前記第４のニューラルネットワークを、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）として実装することをさらに含む、請求項１に記載の方法。
14. 前記自動化されたワークフローを実装し、機械学習層、提示層、およびデータベース層を含むことをさらに含み、前記機械学習層は、少なくとも前記第１のニューラルネットワーク、前記第２のニューラルネットワーク、前記第３のニューラルネットワーク、および前記第４のニューラルネットワークを備える、請求項１に記載の方法。
15. 前記機械学習層を実装し、視像分類のための１つ以上の分類畳み込みニューラルネットワーク（ＣＮＮ）のセット、室セグメント化および波形マスク／トレースのための１つ以上のセグメント化ＣＮＮのセット、疾患予測のための１つ以上の予測ＣＮＮのセットを備えることをさらに含む、請求項１４に記載の方法。
16. 処理の間、分類信頼度スコア、注釈信頼度スコア、および測定値信頼度スコアを維持し、閾値を満たすことができない前記信頼度スコアのものをフィルタ除去することをさらに含む、請求項１に記載の方法。
17. 全てのフィルタ除去されていないデータに関して、最良測定データとして、最大容積を伴う心室と関連付けられる前記測定値を選択し、前記最良測定データとともに、画像場所、分類、注釈、および前記最良測定値と関連付けられる他の測定データを保存することをさらに含む、請求項１６に記載の方法。
18. 国際測定値ガイドラインに基づいて、前記最良測定データをルールのセットに入力し、医療決定支援のための結論を生成することをさらに含む、請求項１７に記載の方法。
19. 前記報告を出力することはさらに、電子デバイスのディスプレイ上において前記報告をユーザに電子的に表示することと、紙の報告を印刷することとのうちの少なくとも１つを含む、請求項１に記載の方法。
20. 前記報告を電子的に表示することはさらに、前記計算された測定値を可視化するブラウザベースのＵＩ内に、ヒト照合のために前記ユーザによって編集可能な様式において、前記報告を表示することを含む、請求項１９に記載の方法。
21. 前記自動化されたワークフローを、
    ｉ）独立型設定において動作するコンピュータ、
    ｉｉ）コンピュータであって、前記コンピュータは、ネットワークを通して、ＤＩＣＯＭサーバ、ネットワークファイル共有デバイス、エコーワークステーション、およびＤＩＣＯＭファイルをホストするクラウド記憶サービスのうちの１つ以上のものを含む他のＤＩＣＯＭベースのデバイスに接続される、コンピュータ、
    ｉｉｉ）エコー画像をハンドヘルドデバイスに伝送するポータブル超音波スキャナプローブに接続されるハンドヘルドデバイス、および
    ｉｖ）ネットワークを経由して複数のクライアントデバイスと通信するサーバであって、前記サーバおよびソフトウェアアプリケーションは、自動化された心臓病診断を前記クライアントデバイスにインターネットを経由して提供する第三者サービスの一部である、サーバ
    の上で実行されるように構成されるソフトウェアアプリケーションとして実装すること
    をさらに含む、請求項１に記載の方法。
22. システムであって、
    患者の心臓の超音波デバイスによって撮影された複数の心エコー図画像を備える患者研究を記憶するメモリと、
    前記メモリに結合されるプロセッサと、
    前記プロセッサによって実行されるワークフローエンジンであって、前記ワークフローエンジンは、
    第１のフィルタによって、画像メタデータを分析することに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、前記複数の心エコー図画像を分離することと、
    第１のニューラルネットワークによって、視像タイプ別に、前記２Ｄ画像を分類することと、
    第２のニューラルネットワークによって、視像タイプ別に、前記ドップラーモダリティ画像を分類することと、
    第３のニューラルネットワークによって、前記２Ｄ画像内の着目領域をセグメント化し、セグメント化された２Ｄ画像を生産することと、
    第４のニューラルネットワークによって、前記ドップラーモダリティ画像をセグメント化し、波形トレースを生成し、セグメント化されたドップラーモダリティ画像を生産することと、
    前記セグメント化された２Ｄ画像および前記セグメント化されたドップラーモダリティ画像の両方を使用して、前記患者研究に関して、前記心臓の左側および右側の両方に関する心臓特徴の測定値を計算することと、
    前記計算された測定値と国際心臓ガイドラインを比較することによって、結論を生成することと、
    前記国際ガイドライン外にある前記計算された測定値のものをハイライトする報告を出力することと
    を行うように構成される、ワークフローエンジンと、
    を備える、システム。
23. 前記ワークフローエンジンは、直接、前記超音波デバイスを含むローカルまたは遠隔源から、前記患者研究を受信し、前記画像を画像アーカイブ内に記憶し、処理のために、前記メモリ内の前記記憶された画像を開く、請求項２２に記載のシステム。
24. 前記ワークフローエンジンは、前記画像を待ち行列に入れ、任意の未処理画像をチェックし、有効画像フォーマットを有するために、前記画像をフィルタ処理する、請求項２３に記載のシステム。
25. 前記第１のニューラルネットワークは、前記２Ｄ画像のフレームを、Ａ２Ｃ、Ａ３Ｃ、Ａ４Ｃ、Ａ５Ｃ、ＰＬＡＸ修正、ＰＬＡＸ、ＰＳＡＸ ＡｏＶレベル、ＰＳＡＸ中央レベル、肋骨下Ａｏ、肋骨下Ｈｅｐ静脈、肋骨下ＩＶＣ、肋骨下ＬＡＸ、肋骨下ＳＡＸ、胸骨上窩、およびその他のうちの１つとして分類するように訓練される、請求項２２に記載のシステム。
26. 前記第２のニューラルネットワークは、エコー画像ファイルが、波形モダリティ（ＣＷ、ＰＷ、ＰＷＴＤＩ、Ｍモード）を含有する場合、前記ドップラーモダリティ画像から抽出される画像を、ＣＷ、ＰＷ、ＰＷＴＤＩ、およびＭモード視像分類のために訓練されたＣＮＮに入力し、さらに前記画像を、ＣＷ（ＡｏＶ）、ＣＷ（ＴｒＶ）、ＣＷその他、ＰＷ（ＬＶＯＴ）、ＰＷ（ＭＶ）、ＰＷその他、ＰＷＴＤＩ（側壁）、ＰＷＴＤＩ（中隔）、ＰＷＴＤＩ（三尖弁）、Ｍモード（ＴｒＶ）、およびＭモードその他のうちの１つとして分類することによって、持続波（ＣＷ）、パルス状波（ＰＷ）、およびＭモードドップラーモダリティ画像を分類する、請求項２２に記載のシステム。
27. 画像メタデータを分析することに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、前記画像を分離することは、前記画像を以下の４つのクラス、すなわち、２Ｄのみ、パルス状（ＰＷ）、持続波（ＣＷ）、およびｍモードのうちの１つに群化するために、メタデータを使用し、前記メタデータ内の前記超音波デバイスのトランスデューサ周波数を使用して、前記ＰＷ画像のうちのいくつかを第５のクラス、すなわち、パルス状波組織ドップラー撮像（ＰＷＴＤＩ）に分離する、請求項２２に記載のシステム。
28. 前記画像を分離するとき、前記ワークフローエンジンは、ズーム視像を有する前記画像をフィルタ除去する、請求項２２に記載のシステム。
29. 前記第３のニューラルネットワークによるセグメント化の間、前記心室のそれぞれが起始および終了する場所が、決定され、心臓構造の輪郭を生成する、請求項２２に記載のシステム。
30. 前記第３のニューラルネットワークによるセグメント化の間、注釈後処理が、心臓構造の輪郭をスプライン適合させ、前記着目領域のより近くに境界線の場所を調節する、請求項２２に記載のシステム。
31. セグメント化の間、撮像ウィンドウが、前記画像毎に画定され、前記撮像ウィンドウ外にある注釈をフィルタ除去する、請求項２２に記載のシステム。
32. セグメント化の間、前記２Ｄ画像は、左心室（ＬＶ）および左心房（ＬＡ）容積測定値を使用して、Ｅ、ｅ’、およびＡ（例えば、早期および後期拡張期送達血流量および早期／平均拡張期組織速度）測定値を導出することによって、ドップラーモダリティ測定値をシミュレートするために使用される、請求項２２に記載のシステム。
33. 前記ワークフローエンジンは、２Ｄパイプラインを使用して、前記２Ｄ画像に関して、左心室／右心室、左心房／右心房、左心室流出量（ＬＶＯＴ）および心膜を測定し、ドップラーモダリティ画像パイプラインを使用して、前記ドップラーモダリティ画像に関して、血流速度を測定する、請求項２２に記載のシステム。
34. 前記第１のニューラルネットワーク、前記第２のニューラルネットワーク、前記第３のニューラルネットワークおよび前記第４のニューラルネットワークは、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）として実装される、請求項２２に記載のシステム。
35. 前記ワークフローエンジンは、機械学習層、提示層、およびデータベース層を含み、前記機械学習層は、少なくとも前記第１のニューラルネットワーク、前記第２のニューラルネットワーク、前記第３のニューラルネットワーク、および前記第４のニューラルネットワークを備える、請求項２２に記載のシステム。
36. 前記機械学習層は、視像分類のための１つ以上の分類畳み込みニューラルネットワーク（ＣＮＮ）のセット、室セグメント化および波形マスク／トレースのための１つ以上のセグメント化ＣＮＮのセット、疾患のための１つ以上の予測ＣＮＮのセットを備える、請求項３５に記載のシステム。
37. 分類信頼度スコア、注釈信頼度スコア、および測定値信頼度スコアは、処理の間、維持され、閾値を満たすことができない前記信頼度スコアのものは、フィルタ除去される、請求項２２に記載のシステム。
38. 全てのフィルタ除去されていないデータに関して、前記ワークフローエンジンは、最良測定データとして、最大容積を伴う心室と関連付けられる前記測定値を選択し、前記最良測定データとともに、画像場所、分類、注釈、および前記最良測定値と関連付けられる他の測定データを保存する、請求項３７に記載のシステム。
39. 前記ワークフローエンジンは、国際測定値ガイドラインに基づいて、前記最良測定データをルールのセットに入力し、医療決定支援のための結論を生成する、請求項３８に記載のシステム。
40. 前記ワークフローエンジンは、電子デバイスのディスプレイ上において前記報告をユーザに電子的に表示することと、紙の報告を印刷することとのうちの少なくとも１つによって、前記報告を出力する、請求項２２に記載のシステム。
41. 前記報告は、ヒト照合のために前記ユーザによって編集可能な様式において、前記計算された測定値を可視化するブラウザベースのＵＩ内に表示される、請求項４０に記載のシステム。
42. 前記ワークフローエンジンは、
    ｉ）独立型設定において動作するコンピュータ、
    ｉｉ）コンピュータであって、前記コンピュータは、ネットワークを通して、ＤＩＣＯＭサーバ、ネットワークファイル共有デバイス、ワークステーション、およびＤＩＣＯＭファイルをホストするクラウド記憶サービスのうちの１つ以上のものを含む他のＤＩＣＯＭベースのデバイスに接続される、コンピュータ、
    ｉｉｉ）画像をハンドヘルドデバイスに伝送するポータブル超音波スキャナプローブに接続されるハンドヘルドデバイス、および
    ｉｖ）ネットワークを経由して複数のクライアントデバイスと通信するサーバであって、前記サーバおよびワークフローエンジンは、自動化された心臓病診断を前記クライアントデバイスにインターネットを経由して提供する第三者サービスの一部である、サーバ
    の上で実行されるように構成される、請求項２２に記載のシステム。
43. 自動化されたワークフローを実装するためのプログラム命令を含有するコンピュータ可読媒体上に記憶された実行可能ソフトウェア製品であって、前記プログラム命令は、
    メモリから、患者の心臓の超音波デバイスによって撮影された複数の心エコー図画像を備える患者研究を受信することと、
    第１のフィルタによって、画像メタデータを分析することに基づいて、２Ｄ画像およびドップラーモダリティ画像に従って、前記複数の心エコー図画像を分離することと、
    第１のニューラルネットワークによって、視像タイプ別に、前記２Ｄ画像を分類することと、
    第２のニューラルネットワークによって、視像タイプ別に、前記ドップラーモダリティ画像を分類することと、
    第３のニューラルネットワークによって、前記２Ｄ画像内の心室をセグメント化し、第４のニューラルネットワークによって、前記ドップラーモダリティ画像をセグメント化し、波形トレースを生成し、それによって、セグメント化された２Ｄ画像およびセグメント化されたドップラーモダリティ画像を生産することと、
    前記セグメント化された２Ｄ画像および前記セグメント化されたドップラーモダリティ画像の両方を使用して、前記患者研究に関して、前記心臓の左側および右側の両方に関する心臓特徴の測定値を計算することと、
    前記計算された測定値と国際心臓ガイドラインを比較することによって、結論を生成することと、
    前記国際ガイドライン外にある前記計算された測定値のものをハイライトする報告を出力することと
    のためのものである、実行可能ソフトウェア製品。

Images