以下、図面を参照しながら本実施形態に係わる超音波診断装置を説明する。なお、以下の説明において、略同一の構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る超音波診断装置1のブロック構成図を示している。同図に示すように、超音波診断装置1は、超音波プローブ11、装置本体13、表示部15、装置本体13に接続され操作者からの各種指示・命令・情報を装置本体13に取り込むための入力部17を有する。加えて本超音波診断装置1には、心電計、心音計、脈波計、呼吸センサに代表される生体信号計測部19およびネットワークが、インターフェース部31を介して接続されてもよい。
超音波プローブ11は、圧電セラミックス等の音響/電気可逆的変換素子としての圧電振動子を有する。複数の圧電振動子は並列され、超音波プローブ11の先端に装備される。なお、一つの圧電振動子が一チャンネルを構成するものとして説明する。圧電振動子は、後述する送受信部21から供給される駆動信号に応答して超音波を発生する。圧電振動子は、被検体Pの生体組織で反射された超音波(以下、エコー信号と呼ぶ)の受信に応答して、受信エコー信号を発生する。以下、超音波プローブ11は、1次元アレイを複数の振動子の配列方向と直交する方向に揺動させて3次元走査を実行するメカニカル4次元プローブとして説明する。なお、超音波プローブ11は、メカニカル4次元プローブに限定されず、2次元アレイプローブであってもよい。
装置本体13は、送受信部21と、Bモード処理部23と、ドプラ処理部25と、画像発生部27と、画像合成部29と、インターフェース部31と、制御部(中央演算処理装置:Central Processing Unit:以下CPUと呼ぶ)33と、記憶部35と、検査手順発生部37とを有する。
送受信部21は、図示していないトリガ発生回路、送信遅延回路、パルサ回路、プリアンプ回路、アナログディジタル(Analog to Digital:以下A/Dと呼ぶ)変換器、受信遅延回路、加算器等を有する。送受信部21は、後述する検査手順発生部37により発生された検査手順における検査内容に従って、送受信部21における各部を制御する。
トリガ発生回路は、所定のレート周波数で送信超音波を形成するためのレートパルスを繰り返し発生する。トリガ発生回路は、例えば5kHzのレート周波数でレートパルスを繰り返し発生する。このレートパルスは、チャンネル数に分配され、送信遅延回路に送られる。送信遅延回路は、チャンネル毎に超音波をビーム状に収束し且つ送信指向性を決定するのに必要な遅延時間を、各レートパルスに与える。パルサ回路は、このレートパルスに基づくタイミングで、超音波プローブ11の振動子ごとに電圧パルス(駆動信号)を印加する。これにより、超音波ビームが被検体Pに送信される。
被検体Pの生体組織で反射されたエコー信号は、超音波プローブ11を介して受信エコー信号としてチャンネル毎に取り込まれる。プリアンプ回路は、超音波プローブ11を介して取り込まれた被検体Pからの受信エコー信号をチャンネル毎に増幅する。A/D変換器は、増幅された受信エコー信号をディジタル信号に変換する。受信遅延回路は、ディジタル信号に変換された受信エコー信号に、受信指向性を決定するために必要な遅延時間を与える。加算器は、遅延時間が与えられた複数の受信エコー信号を加算する。この加算により、送受信部21は、受信指向性に応じた方向からの反射成分を強調した受信信号を発生する。この送信指向性と受信指向性とにより超音波送受信の総合的な指向性が決定される(この指向性により、いわゆる「超音波走査線」が決まる)。
送受信部21は、被走査領域内の各走査線における深さごとの受信信号を、後述するBモード処理部23に出力する。なお、送受信部21は、1回の超音波送信で複数の走査線上に生じたエコー信号を同時に受信する並列受信機能を有していてもよい。
Bモード処理部23は、図示していない包絡線検波器、対数変換器などを有する。包絡線検波器は、送受信部21から出力された受信信号に対して包絡線検波を実行する。Bモード処理部23は、後述する検査手順発生部37により発生された一連の検査手順における検査内容に従って、Bモード処理部23における各部を制御する。
包絡線検波器は、包絡線検波された信号を、後述する対数変換器に出力する。対数変換器は、包絡線検波された信号に対して対数変換して弱い信号を相対的に強調する。Bモード処理部23は、対数変換器により強調された信号に基づいて、各走査線における深さごとの信号値(Bモードデータ)を発生する。なお、Bモード処理部23は、Bモードデータを、後述する記憶部35に出力してもよい。
ドプラ処理部25は、図示していないドプラ信号発生部とカラードプラデータ生成部とを有する。ドプラ信号発生部は、図示していないミキサーと低域通過フィルタ(以下LPF)を有する。ドプラ処理部25は、後述する検査手順発生部37により発生された一連の検査手順の検査内容に従って、ドプラ処理部25における各部を制御する。
ミキサーは、送受信部21から出力された信号に、送信周波数と同じ周波数f0を有する基準信号を掛け合わせる。この掛け合わせにより、ドプラ偏移周波数fdの成分の信号と(2f0+fd)の周波数成分を有する信号とが得られる。LPFは、ミキサーからの2種の周波数成分を有する信号のうち、高い周波数成分(2f0+fd)の信号を取り除く。ドプラ信号発生部は、高い周波数成分(2f0+fd)の信号を取り除くことにより、ドプラ偏移周波数fdの成分を有するドプラ信号を発生する。なお、ドプラ信号発生部として、直交検波方式を採用することも可能である。
カラードプラデータ生成部は、2チャンネルから構成される図示していないアナログディジタル(以下A/Dと呼ぶ)変換器、速度/分散/Power演算部を有する。A/D変換器は、ドプラ信号発生部のLPFから出力されたドプラ信号、または、直交検波されたアナログ信号をディジタル信号に変換する。速度/分散/Power演算部は、図示していないMTI(Moving Target Indicator)フィルタ、自己相関演算器を有する。
MTIフィルタは、A/D変換器から出力されたドプラ信号に対して、臓器の呼吸性移動や拍動性移動などに起因するドプラ成分(クラッタ成分)を除去する。自己相関演算器は、MTIフィルタによって血流情報のみが抽出されたドプラ信号に対して、自己相関値を算出する。自己相関演算器は、算出された自己相関値に基づいて、血流の平均速度値および分散値等を算出する。カラードプラデータ生成部は、複数のドプラ信号に基づく血流の平均速度値や分散値等からカラードプラデータを生成する。以下、ドプラ信号発生部により発生されたドプラ信号とカラードプラデータ生成部で生成されたカラードプラデータとをまとめて、ドプラデータと呼ぶ。ドプラ処理部25は、発生したドプラデータを、画像発生部27に出力する。
画像発生部27は、図示していないディジタルスキャンコンバータ(Digital Scan Converter:以下DSCと呼ぶ)を有する。画像発生部27は、後述する検査手順発生部37により発生された一連の検査手順における検査内容に従って、DSCを制御する。
画像発生部27は、DSCに対して、座標変換処理(リサンプリング)を実行する。座標変換処理とは、例えば、ローデータからなる超音波スキャンの走査線信号列を、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換することである。ここで、ローデータとは、ドプラデータまたはBモードデータのことである。画像発生部27は、座標変換処理に続けて補間処理を、DSCに対して実行する。補間処理とは、隣り合う走査線信号列におけるローデータを用いて、走査線信号列間にデータを補間する処理である。
画像発生部27は、ローデータに対して座標変換処理と補間処理とを実行することにより、表示画像としての超音波画像を発生する。なお、画像発生部27は、発生した超音波画像に対応するデータ(以下、画像データと呼ぶ)を記憶する画像メモリを有していてもよい。画像発生部27は、画像データを後述する画像合成部29に出力する。以下、Bモードデータを用いて発生された超音波画像をBモード画像と呼ぶ。また、ドプラデータを用いて発生された超音波画像をドプラ画像と呼ぶ。以下の説明において、Bモード画像およびドプラ画像をまとめて断層像と呼ぶ。
画像合成部29は、超音波画像に、種々のパラメータの文字情報および目盛等を合成する。画像合成部29は、合成された超音波画像を後述する表示部15のモニタに出力する。なお、画像合成部29は、図示していないシネメモリに記憶された画像を発生してもよい。この時、シネメモリに記憶された画像は、シネ表示(ループ再生)される。
画像合成部29は、後述する検査手順発生部37により発生された一連の検査手順における検査内容に応じて、所定のパラメータ、文字情報、計測マーカなどを、超音波画像に合成する。
インターフェース部31は、後述する入力部17、ネットワーク、図示していない外部記憶装置および生体信号計測部に関するインターフェースである。装置本体13によって得られた超音波画像等のデータおよび解析結果等は、インターフェース部31とネットワークとを介して他の装置に転送可能である。なお、インターフェース部31は、ネットワークを介して、図示していない他の医用画像診断装置で取得された被検体に関する医用画像を、ダウンロードすることも可能である。
図2は、本実施形態に係るハードウェアおよびソフトウェア制御の一例を示す構成図である。本実施形態に係るハードウェアは、入力部17、制御部(CPU)33、記憶部35、検査手順発生部37、表示部15を有する。
入力部17は、インターフェース部31に接続され操作者からの各種指示・命令・情報・選択・設定を装置本体13に取り込む。入力部17は、図示していないトラックボール、スイッチボタン、マウス、キーボード等を有するコントロールパネル171およびタッチコマンドスクリーン173を有する。タッチコマンドスクリーン173は、電磁誘導式、電磁歪式、感圧式等の座標読み取り原理でタッチ指示された座標を検出し、検出した座標を後述するCPU33に出力する。また、操作者が入力部17の終了ボタンまたはフリーズボタンを操作すると、超音波の送受信は終了し、装置本体13は一時停止状態となる。入力部17は、被検体Pに対する超音波検査において、操作者の指示に従って複数の操作を、装置本体13に入力する。入力部17は、複数の操作に対応する複数の信号を、後述するCPU33に出力する。
図2は、本実施形態に係るハードウェアおよびソフトウェア制御の一例を示す図である。
CPU33は、図2に示すように、例えば、入力識別部331、入力変換部333、変換内容出力部335、ソフトウェア呼び出し部337とを有する。CPU33は、操作者により入力部17を介して入力されたBモードとドプラモードとの選択、フレームレート、被走査深度、サンプリングゲートの設定などに基づいて、記憶部35に記憶された送信遅延パターン、受信遅延パターンと装置制御プログラムとを読み出し、これらに従って装置本体13を制御する。ここで、ソフトウェアとは、例えば、後述する検査手順発生プログラムなどである。
入力識別部331は、入力部17から送信された入力情報を受信する。入力識別部331は、受信した入力情報を入力変換部333に出力する。入力変換部333は、入力識別部331から出力された入力情報を、記憶部35に記憶されたソフトウェアで利用可能なコードに変換する。入力変換部333は、変換されたコード(変換内容)を変換内容出力部335に出力する。
変換内容出力部335は、変換内容を、記憶部35に記憶されたソフトウェアに出力する。また、変換内容出力部335は、変換内容のうち、被検体Pに対する超音波検査において、操作者に入力された複数の操作に関する複数の操作履歴と、この操作により実行された複数の検査内容とを、記憶部35の入力保存部351に出力する。複数の操作履歴と複数の検査内容とは、入力保存部351に記憶される。
ソフトウェア呼び出し部337は、入力識別部331、入力変換部333、変換内容出力部335における各種処理と平行して、各種処理の背後で、機械学習を実行するソフトウェアを、記憶部35から呼び出す。ソフトウェア呼び出し部335は、呼び出したソフトウェアを、検査手順発生部37の機械学習部375に出力する。呼び出されるソフトウェアとは、例えば、後述する検査手順発生プログラムである。
記憶部35は、フォーカス深度の異なる複数の受信遅延パターンおよび複数の送信遅延パターン、送信条件、本超音波診断装置1の制御プログラム、後述する検査手順発生部37により発生された一連の検査手順(検査プロトコル)等の各種データ群、Bモード処理部23およびドプラ処理部25で発生されたローデータ、画像発生部27で発生された超音波画像などを記憶する。記憶部35は、検査手順を発生する検査手順発生プログラムを記憶する。また、記憶部35は、検査手順発生プログラムに関する所定の統計解析を記憶する。所定の統計解析とは、機械学習機能であって、例えば、データマイニング、ニューラルネットワーク、相関ルールなどである。
具体的には、記憶部35は、図2に示すように、例えば、入力保存部351と検査プロトコル(検査手順)保存部353とを有する。入力保存部351は、変換内容出力部335から出力された変換内容を記憶する。入力保存部351は、例えば、被検体Pに対する超音波検査において、操作者に入力された複数の操作に関する操作履歴と、この操作により実行された検査内容とを記憶する。具体的には、入力保存部351は、上記操作履歴と上記検査内容とを、操作ごとに属性ベクトルとして保存する。属性ベクトルは、操作履歴と検査内容とを、属性ベクトルの成分として有する。属性ベクトルの成分は、形質パラメータとも称される。入力保存部351は、入力部17を介した操作者の入力に応じて属性ベクトルを作成し、保存する。入力保存部351に保存された属性ベクトルは、後述する入力内容読込部371により、検査手順発生部37に読み込まれる。
図3は、操作履歴および検査内容に対応する属性ベクトルXの成分(形質パラメータ)の一例を示す図である。図3における属性ベクトルのx1成分は、一つの超音波検査における操作番号を示している。また、図3における属性ベクトルのx2成分は、操作者により入力された入力内容(検査内容)に対応する番号を示している。図3における属性ベクトルのx3成分は、一つの超音波検査において、操作番号x1の1つ前の操作(以下、既出操作と呼ぶ)において、操作者に入力された入力内容に対応する番号を示している。操作履歴とは、既出操作において入力内容に対応する番号と操作番号とを含む。属性ベクトルXは、X=X(x1、x2、x3)で表現される。属性ベクトルXは、入力標本(機械学習に必要な操作履歴のうちの一つの操作)に対応する。
なお、属性ベクトルの成分は、3成分に限定されない。例えば、操作番号x1からm(mは自然数)つ前の操作において操作者に入力された入力内容に対応する番号が、属性ベクトルの第(m+2)成分として、定義されてもよい。属性ベクトルXの数はn(nは自然数)で規定されるものとする。nが20のとき、すなわち、超音波検査に係り20の操作が操作者により入力された場合、操作履歴の数は20であり、例えば後述するデータマイニングに用いられる標本は、X1乃至X20となる。図3において、イベントコードを示すx2は、装置本体13の記憶部35に予め記憶されている入力上の機能分類を示している。ここで、機能分類は、図3におけるイベントコードのうち、例えば、上から3ケタの記号(0x0、…、0xF)を示している。イベントコードを示すx2は、さらにサブモード単位での機能分類を有している。x2において、サブモード単位でのイベントコードは、上から4桁目以降の数字により規定される。このサブモード単位での機能分類において、装置本体13におけるシステム仕様としての区分は、定義されておらず、機能開発プロジェクトに一任されている。
ここで、サブモードとは、例えば、造影検査向けの機能であるContrast Harmonic Imaging(CHI)機能、ドップラ効果により反射した音波の周波数が変化することを利用し、血流が超音波プローブ11に対して近づいているのか遠ざかっているのかを赤方偏移(遠ざかる)、青方偏移(近づく)で表現するColor Doppler Imaging(CDI)機能などである。
CDI機能は、さらにサブモードとして、組織ドプライメージング(Tissue Doppler Imaging:TDI)、組織高調波イメージング(Tissue Harmonic Imaging:THI)、高分解能・高フレームレート低ブルーミングな血流イメージング(ADF)などを有する。また、CHI機能は、サブモードとして、基本波(Fundamental)CHI、CHI−Low、CHI−Hi、ADF−CHI、灌流を示すバブルを表示するVRIなどを有する。
サブモードは、図3におけるx2における入力内容(検査内容)を示すコード(以下、入力内容コードと呼ぶ)から判別可能である。このため、サブモードは、属性ベクトルにおける属性として、定義不要である。また、ソフトウェアレベルでは、図2に示した入力変換部333により変換されたイベント文字列の授受によるイベントドリブン方式が採用されている。
イベント文字列そのものは、定義ファイルから入力内容コードにより逆引き可能である。このため、イベント文字列も属性ベクトルにおける属性として、定義不要である。加えて、一部の機能には、この機能を利用するための機能間依存がある。この機能間依存についても、入力内容コードを用いて、定義ファイルから逆引き可能である。このため、機能間依存も属性ベクトルにおける属性として、定義不要である。ここで、定義ファイルとは、例えば、入力内容コードと、サブモード、イベント文字列、機能間依存との対応を示す対応表に相当する。定義ファイルは、記憶部35に記憶される。
検査プロトコル保存部353は、後述する検査プロトコル生成部377により生成された検査プロトコル(検査手順)を保存する。記憶部35は、後述するデータマイニングで統合されるクラスタ間または属性ベクトル間の距離を、所定の閾値として記憶する。クラスタ間の距離とは、例えば、所定の操作が実行された時点から過去に遡る操作回数に相当する。以下、説明を簡単にするために、所定の閾値は4であるものとする。
なお、記憶部35に記憶される所定の閾値は、被検体に対する検査対象部位に応じて適宜変更されてもよい。例えば、記憶部35は、検査対象部位に対する所定の閾値の対応表(Look Up Table)を記憶する。このとき、対応表において、例えば、検査対象部位が腹部の場合、所定の閾値は、例えば4である。また、検査対象部位が循環器である場合、所定の閾値は、例えば6である。また、検査対象部位が胎児である場合、所定の閾値は、例えば、6である。なお、所定の閾値は、上記対応表に記載に値に限定されず、入力部17を介した操作者の指示により適宜変更可能である。
検査手順発生部37は、記憶部35に記憶された操作履歴と検査内容とに基づいて、予め設定された所定の統計解析により、超音波検査に関する一連の検査手順を発生する。例えば、検査手順発生部37は、記憶部35に記憶された操作履歴と検査内容と、操作者により入力された最新の操作若しくは直近に実行された検査内容との比較に基づく、予め設定された所定の統計解析により、次に行われる一連の操作若しくは一連の検査内容の候補として、一連の検査手順を発生する。検査手順発生部37は、発生した検査手順を、後述する表示部15に出力する。
検査手順発生部37は、図2に示すように、例えば、入力内容読込部371と、機械学習内容決定部373と、機械学習部375と、検査プロトコル生成部377とを有する。入力内容読込部371は、操作履歴と検査内容とを記憶部35から読み込み、機械学習内容決定部373に出力する。機械学習内容決定部373は、操作履歴と検査内容とに基づいて、所定の統計解析を実行する機械学習を決定する。例えば、機械学習内容決定部373は、記憶部35に記憶された操作履歴と検査内容と、操作者により入力された最新の操作若しくは直近に実行された検査内容との比較に基づいて、予め設定された所定の統計解析を実行する機械学習を決定する。決定される機械学習とは、例えば、「教師あり学習(ニューラルネット、相関ルール)」または「教師なし学習(データマイニング)」の何れかである。
具体的には、機械学習内容決定部373は、記憶部35に記憶された複数の操作履歴および複数の検査内容が所定の数を下回っている場合、機械学習機能として、データマイニングを決定する。また、機械学習内容決定部373は、記憶部35に記憶された複数の操作履歴および複数の検査内容が所定の数を超えている場合、機械学習機能として、教師有り学習機能を決定する。教師有り学習機能とは、例えばニューラルネットワークおよび相関ルールである。なお、機械学習内容決定部373は、教師データが記憶部35に記憶されていない場合、機械学習機能としてデータマイニングを決定してもよい。また、機械学習内容決定部373は、教師データが記憶部35に記憶されている場合、機械学習機能として、教師有り学習機能を決定してもよい。
以下、機械学習機能は、データマイニングに決定されたものとして、説明する。なお、機械学習機能として、教師有り学習機能が決定された場合、教師データを基準として、同様な処理が実行される。
機械学習部375は、機械学習内容決定部373により決定された機械学習機能に対応するソフトウェアを、ソフトウェア呼び出し部337を介して、記憶部35から読み出す。機械学習部375は、読み出したソフトウェアを用いて、記憶部35に記憶された複数の操作履歴と、複数の検査内容とに基づいて、機械学習(Genetic Algorithm:GA)を実行する。
検査プロトコル生成部377は、機械学習部375により学習された結果に基づいて、検査プロトコル(検査手順)を生成する。例えば、検査プロトコル生成部377は、機械学習部375により学習された結果に基づいて、次に行われる一連の操作若しくは一連の検査内容の候補として、一連の検査手順を発生する。検査プロトコル生成部377は、生成した検査プロトコルを、記憶部35における検査プロトコル保存部353に出力する。また、検査プロトコル生成部377は、生成した検査プロトコルを、表示部15に出力する。生成された検査プロトコルは、入力部17を介した操作者の指示に従って、制御部33により実行される。機械学習(GA)および検査プロトコルの生成については、後ほど図面を参照して詳述する。
表示部15は、画像合成部29からの出力に基づいて、超音波画像を表示する。表示部15は、検査手順発生部37により発生された検査手順(検査プロトコル)を表示する。なお、表示部15は、画像合成部29で発生された超音波画像に対して、ブライトネス、コントラスト、ダイナミックレンジ、γ補正などの調整および、カラーマップの割り当てを実行してもよい。
(検査手順発生機能)
検査手順発生機能とは、複数の操作履歴と複数の検査内容とに基づいて、決定された機械学習機能を用いて、検査手順を発生する機能である。例えば、検査手順発生機能は、記憶部35に記憶された操作履歴と検査内容と、操作者により入力された最新の操作若しくは直近に実行された検査内容との比較に基づく、予め設定された所定の統計解析により、次に行われる一連の操作若しくは一連の検査内容の候補として、一連の検査手順を発生する機能である。以下、検査手順発生機能に係る処理(以下、検査手順発生処理と呼ぶ)について説明する。
図4Aおよび図4Bは、検査手順発生処理に係る処理手順の一例を示すフローチャートである。図4Aおよび図4Bにおいて、機械学習内容決定部373により決定された機械学習は、データマイニングであるものとする。
データマイニングでは、例えば、クラスタリングによる手法が実行される。クラスタリングによる手法とは、例えば、クラスタをCとおいた場合、本実施形態で解決したい課題は「Cを検査プロトコル(検査手順)になり得るCの集合と、検査プロトコルになり得ないCの集合とに分類する」こととなる。そのため、クラスタリング手法としては大きく「階層的手法(Hierarchical)」「分割最適化手法(Partition Optimization)」による解法が可能である。
本実施形態で解決する課題は「検査スループットの向上」であるため、クラスタリングを早急に完了可能な手法である階層的手法を用いる。階層的手法とは、まず、n個の対象からなる入力データ標本が与えられたときに、1個の対象(データ標本)だけを含むn個のクラスタCがある初期状態が生成される。次いで、この初期状態から機械学習を開始して、例えば、2つの対象X1とX2の間の距離d(X1、X2)から複数のクラスタC1とC2と間の距離d(C1、C2)を計算して近傍距離にあるCを逐次的に合併・統合する手法である。d(C1、C2)を具体的な数式に展開すると、d(C1、C2)=min_(X1∈C1、X2∈C2)(d(X1、X2))となる。この距離関数を用いて、検査プロトコルの最適解となる複数のクラスタCを選択する。
以下、説明を簡単にするために、操作履歴は、3種類であるものとする。図5は、3種類の操作履歴の一例を示す図である。また、図6は、図5における入力内容コードに関する定義の一例を示す図である。図6を参照すると、図5における操作履歴1において、第1の操作X1における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=1、x2=0x7640(パルスドプラ)、x3=Nil(無し)である。換言すると、操作履歴1の属性ベクトルX1は、その成分として、操作番号が1であり、入力内容がパルスドプラであり、既出操作が無いことを示している。
また、図5における操作履歴1において、第2の操作X2における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=2、x2=0x2D25(静止画保存)、x3=0x7640(パルスドプラ)である。換言すると、操作履歴1の属性ベクトルX2は、その成分として、操作番号2であり、入力内容が静止画保存であり、既出操作がパルスドプラであることを示している。
また、図5における操作履歴1において、第3の操作X3における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=3、x2=0x7011(2画面モード)、x3=0x2D25(静止画保存)である。換言すると、操作履歴1の属性ベクトルX3は、その成分として、操作番号3であり、入力内容が2画面モードであり、既出操作が静止画保存であることを示している。
図6を参照すると、図5における操作履歴2において、第1の操作X1における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=1、x2=0x7640(パルスドプラ)、x3=Nil(無し)である。換言すると、操作履歴1の属性ベクトルX1は、その成分として、操作番号が1であり、入力内容がパルスドプラであり、既出操作が無いことを示している。
また、図5における操作履歴2において、第2の操作X2における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=2、x2=0x8050(キャリパ計測)、x3=0x7640(パルスドプラ)である。換言すると、操作履歴2の属性ベクトルX2は、その成分として、操作番号2であり、入力内容がキャリパ計測であり、既出操作がパルスドプラであることを示している。
また、図5における操作履歴2において、第3の操作X3における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=3、x2=0x2D25(静止画保存)、x3=0x8050(キャリパ計測)である。換言すると、操作履歴2の属性ベクトルX3は、その成分として、操作番号3であり、入力内容が静止画保存であり、既出操作がキャリパ計測であることを示している。
図6を参照すると、図5における操作履歴3において、第1の操作X1における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=1、x2=0x0850(キャリパ計測)、x3=Nil(無し)である。換言すると、操作履歴3の属性ベクトルX1は、その成分として、操作番号が1であり、入力内容がキャリパ計測であり、既出操作が無いことを示している。
また、図5における操作履歴3において、第2の操作X2における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=2、x2=0x7640(パルスドプラ)、x3=0x8050(キャリパ計測)である。換言すると、操作履歴3の属性ベクトルX2は、その成分として、操作番号2であり、入力内容がパルスドプラであり、既出操作がキャリパ計測であることを示している。
また、図5における操作履歴3において、第3の操作X3における属性ベクトルの成分(x1、x2、x3)は、それぞれx1=3、x2=0x8051(トレース計測)、x3=0x7640(パルスドプラ)である。換言すると、操作履歴3の属性ベクトルX3は、その成分として、操作番号3であり、入力内容がトレース計測であり、既出操作がパルスドプラであることを示している。
ずなわち、図5によれば、操作履歴1は、パルスドプラ、静止画保存、2画面モードを順に実行した操作履歴である。また、操作履歴2は、パルスドプラ、キャリパ計測、静止画保存を順に実行した操作履歴である。操作履歴3は、キャリパ計測、パルスドプラ、トレース計測を順に実行した操作履歴である。これら3つの操作履歴から、パルスドプラモードによる検査を実施した後に、静止画保存が実行される検査(操作履歴1および2)と、計測(キャリパ計測またはトレース計測)が実行される検査(操作履歴2および操作履歴3)とが存在する。また、操作履歴3におけるx1=1∈X1とx1=3∈X3とにおいて、計測が2度実行されている(キャリパ計測とトレース計測)。
ここで重要となる属性(属性ベクトルの成分)は、x1およびx3である。すなわち、重要な属性は、計測が実行されたのが何番目の操作で、どの入力内容コードの入力の後(すなわち、どの機能の実行の後)に実行されたのかという点である。属性x1およびx3は、検査における機能間の依存関係を示す属性である。属性x1およびx3は、データマイニングのクラスタリングにおいて、クラスタを生成するための情報として用いられる。
図5における操作履歴1乃至3によれば、操作履歴2が上記2つの検査(パルスドプラ後に、静止画保存が実行される検査と、計測が実行される検査)を含んでいるため、検査手順発生部37で発生されるクラスタは、操作履歴1の属性ベクトルX1と操作履歴2における属性ベクトルX1とを統合したクラスタと、操作履歴2の属性ベクトルX2と操作履歴3における属性ベクトルX3とを統合したクラスタとの2種類となる。
以下に示す検査手順発生処理は、検査手順発生部37により実行される。まず、複数の操作履歴と複数の検査内容とを示す複数の属性ベクトルが、入力内容読込部371により、記憶部35から読み出される(ステップSa1)。以下に続く処理は、機械学習内容決定部373により決定された機械学習(データマイニングなど)と、記憶部35から読み出された複数の属性ベクトルを用いて、機械学習部375によりクラスタリングを実行し、クラスタリングの結果に基づいて、検査プロトコル生成部377により検査手順(検査プロトコル)を生成することである。
まず、属性ベクトルを規定するための番号を示すn(nは自然数)が初期化される(ステップSa2)。複数の属性ベクトルの入力内容(x2)において、第n属性ベクトルの入力内容(x2)における機能分類(x2における上から3ケタ)と同じ機能分類がなければ(ステップSa3)、第n属性ベクトルは異なるクラスタとして決定される(ステップSa4)。複数の属性ベクトルの入力内容(x2)において、第n属性ベクトルの入力内容(x2)における機能分類(x2における上から3ケタ)と同じ機能分類があれば(ステップSa3)、既出操作における機能分類に移行する。
複数の操作履歴が図5で与えられる場合、操作履歴1の属性ベクトルX1に対して、x2の上3ケタが等しい操作履歴1の属性ベクトルX3と、操作履歴2の属性ベクトルX1と、操作履歴3の属性ベクトルX2とが特定される。
入力内容の機能分類が同一である複数の属性ベクトルの既出操作(x3)において、第n属性ベクトルの既出操作(x3)における機能分類(x3における上から3ケタ)と同一の機能分類がなければ(ステップSa5)、第n属性ベクトルは異なるクラスタとして決定される(ステップSa4)。入力内容の機能分類が同一である複数の属性ベクトルの既出操作(x3)において、第n属性ベクトルの既出操作(x3)における機能分類(x3における上から3ケタ)と同一の機能分類があれば(ステップSa5)、後述する既出操作平均値の計算のステップに移行する。
複数の操作履歴が図5で与えられる場合、操作履歴1の属性ベクトルX1に対して、操作履歴1の属性ベクトルX3と、操作履歴2の属性ベクトルX1と、操作履歴3の属性ベクトルX2とのうち、x3の上3ケタが等しい操作履歴2の属性ベクトルX1が、特定される。
ステップSa5の処理においてYesであれば、第n属性ベクトルにおける既出操作のイベントコード(x3)と、入力内容および既出操作の機能分類が同一な属性ベクトル(以下、機能分類同一ベクトルと呼ぶ)における既出操作のイベントコード(x3)との平均を示す既出操作平均値が計算される(ステップSa6)。既出操作平均値は、サブモードを考慮する必要が生じるため、[{第n属性ベクトルにおける既出操作のイベントコード(x3)}+{機能分類同一ベクトルにおける既出操作のイベントコード(x3)}]/2として計算される。
複数の操作履歴が図5で与えられる場合、操作履歴1の属性ベクトルX1の既出操作のイベントコード(x3=Nil)と、操作履歴2の属性ベクトルX1の既出操作のイベントコード(x3=Nil)との平均(Nil)が既出操作平均値として決定される。
ステップSa6に続いて、機能分類同一ベクトルの操作番号から所定の閾値を加えた数の範囲内に、第n属性ベクトルの操作番号がなければ(ステップSa7)、第n属性ベクトルは、異なるクラスタとして決定される(ステップSa4)。機能分類同一ベクトルの操作番号から所定の閾値を加えた数の範囲内に、第n属性ベクトルの操作番号があれば(ステップSa7)、後述する平均イベントコードが計算される。すなわち、操作履歴において所定の閾値に対応する数の操作だけ過去に遡った複数の過去操作と、過去操作にそれぞれ対応する複数の検査内容とに基づいて、前記操作履歴と前記検査内容とが複数のクラスタに分類される。
所定の閾値は、例えばデフォルトで4であるが、上述したように、被検体に対する検査対象部位に応じて、例えば入力部17を介して適宜変更されてもよい。また、所定の閾値は、入力部17を介して入力された検査対象部位に応じて決定されてもよい。なお、ステップSa6の処理は、ステップSa7の処理の後に実行されてもよい。
ステップSa7の処理においてYesであれば、第n属性ベクトルにおける入力内容のイベントコード(x2)と、機能分類同一ベクトルのイベントコード(x2)との平均を示す平均イベントコードが計算される(ステップSa8)。次いで、第n属性ベクトルの操作番号(x1)と、機能分類同一ベクトルの操作番号(x1)との平均を示す平均操作番号が計算される(ステップSa9)。平均操作番号と平均イベントコードと既出操作平均値とを成分とする属性ベクトルを新たなクラスタの要素として、第n属性ベクトルと機能分類同一ベクトルとが、統合(クラスタリング)される(ステップSa10)。
複数の操作履歴が図5で与えられる場合、操作履歴1の属性ベクトルX1と操作履歴2の属性ベクトルX1とが一つのクラスタとして統合される。また、操作履歴2の属性ベクトルX2と、操作履歴3の属性ベクトルX3とが、一つのクラスタとして統合される。
すべてのn(クラスタまたは属性ベクトル)についてクラスタリングが終了していなければ(ステップSa11)、nがインクリメントされて(ステップSa12)、ステップSa3乃至ステップSa11の処理が繰り返される。すべてのn(クラスタまたは属性ベクトル)についてクラスタリングが終了すれば(ステップSa11)、クラスタリングされた複数のクラスタ各々における平均操作番号に基づいて、検査内容の手順を示す一連の検査手順が発生される(ステップSa12)。例えば、以上の処理手順により、記憶部35に記憶された操作履歴と検査内容と、操作者により入力された最新の操作若しくは直近に実行された検査内容との比較に基づく、予め設定された所定の統計解析により、次に行われる一連の操作若しくは一連の検査内容の候補として、一連の検査手順が発生される。発生された一連の検査手順が表示部15に表示される(ステップSa14)。
上記ステップSa2乃至ステップSa11に係るクラスタリング処理は、一例であり、属性ベクトルの成分の類似度に基づいて、属性ベクトルをクラスタリングしている。このことから、本実施形態に係るクラスタリング処理は、属性ベクトルの類似度に基づいてクラスタリングを実行する処理は、上記ステップSa2乃至ステップSa11に限定されず、任意の方法で実行することも可能である。
図7は、クラスタリングの概要の一例を示す概要図である。図7に示すように、クラスタリングが実行される前の初期状態では、クラスタの数は、属性ベクトルの数に等しくなる。すなわち、クラスタの数C=属性ベクトルの数Xとなる。図7の左側のグラフに示すように、初期状態のクラスタの数(属性ベクトルの数)kは、18であるものとする。検査手順発生処理におけるステップSa11の終了後、図7の右側のグラフに示すように、類似度が高いクラスタは、一つのクラスタに統合されるため、クラスタの数は減少する(k=12)。クラスタリング処理により、初期状態の複数のクラスタは、2極化される。
すなわち、機械学習におけるクラスタリングは、クラスタリングを繰り返しクラスタCに割り当てに変化がなくなった時点で学習を終了する。同一のクラスタCに属する要素は、X=(x1、x2、x3)である。また、同一クラスタに属する属性ベクトルXのx1成分は、属性ベクトルとクラスタのx1成分を平均化することにより決定される。また、同一クラスタに属する属性ベクトルXのx3成分は、属性ベクトルとクラスタのx3成分を平均化することにより決定される。
図8は、クラスタリングされた複数のクラスタに基づいて、一連の検査手順(プロトコル)を生成する一例を示す図である。図8の左側のグラフは、クラスタリング処理の終了後において、クラスタリングされた複数のクラスタの一例を示す図である。図8の左側のグラフおよび図7の右側のグラフは、機械学習部375により学習された結果(クラスタリング結果)に相当する。図8の右側のグラフに示すように、クラスタリング結果に基づいて、次に行われる一連の操作若しくは一連の検査内容の候補として、プロトコル(検査手順)が、検査手順発生部37により構築される。
機械学習を経て導出した複数のクラスタCk(図8の左側のグラフの右下の複数のクラスタ、k(自然数)<n)において、x1成分(平均操作番号)を昇順で結んだ集合が、一連の検査手順(プロトコル)として生成される。具体的には、検査プロトコル生成部377は、図8に示すように、クラスタリングされた複数のクラスタ(図8の右側のグラフにおける右下の「最終的に導出されたC群」)において、平均操作番号(x1)の小さい順(昇順)に複数のクラスタを関連づけることにより、一連の検査手順を発生する。
なお、検査プロトコル生成部377は、クラスタリングされた複数のクラスタ間における相関関係(相関ルール)に基づいて、一連の検査手順を発生してもよい。具体的には、検査プロトコル生成部377は、複数のクラスタ各々における成分(x1、x2、x3)の相関関係(相関ルール)を発生する。次いで、検査プロトコル生成部377は、発生した相関関係に基づいて、一連の検査手順を生成する。
また、本実施形態では、検査手順発生処理におけるデータマイニングの代わりに、例えば、少なくともと一つの属性ベクトルを教師として、ニューラルネットワークを用いて、属性ベクトルの類似度に応じて検査手順を生成してもよい。また、類似度に関する特徴は、入力部17を介して入力されてもよい。また、検査手順発生処理は、データマイニング、ニューラルネットワーク、相関ルールなどの各種機械学習内容(統計処理)を複合的に組み合わせて実行されてもよい。
なお、これまでに述べた学習は線形計画法による解法も可能であるが、通常のルーチンで用いる機能および検査数を考慮すると、線形計画法での解法は組み合わせ爆発もしくは局所的最適解に収束し、期待する結果を得られないリスクが高いため、機械学習(Genetic Algorithm:GA)による解法を実施していることを補足する。
以上に述べた構成によれば、以下の効果を得ることができる。
本超音波診断装置1によれば、記憶部35に記憶された複数の操作履歴と複数の検査内容とに対応する属性ベクトルに対して、データマイニング、相関ルール、ニューラルネットワークなどの所定の統計解析を実行することにより、一連の検査手順(検査プロトコル)を発生することができる。例えば、本実施形態によれば、所定の閾値以下すなわち計測手順が近い検査内容(例えば、4計測以内)の属性ベクトルに対して分類を行い、一連の検査手順を発生することができる。
すなわち、本超音波診断装置によれば、記憶部35に記憶された操作履歴と検査内容と、操作者により入力された最新の操作若しくは直近に実行された検査内容との比較に基づく、予め設定された所定の統計解析により、次に行われる一連の操作若しくは一連の検査内容の候補として、一連の検査手順を発生することができる。
これらのことから、本実施形態によれば、検査プロトコル実行機能を利用する前段階の作業である検査プロトコル生成作業を簡略化するとともに、これまでの操作履歴から操作者に最適と考えられる検査プロトコルについて、機械学習を用いて提示することができる。すなわち、検査プロトコルを自動的に生成する自動生成機能(検査手順発生機能)により超音波画像診断の円滑な進行に寄与することができる。本実施形態における本機能を利用すれば、超音波診断装置が保持する既存プロトコルよりも優れたプロトコルを提示できる可能性もある。加えて、本実施形態によれば、検査手順において、単に次の操作を予測するのではなく、検査手順全体の設計を行うことができ、検査効率が向上する。
また、上記実施形態の変形例として、本超音波診断装置1の技術的思想を医用画像診断装置で実現する場合には、例えば図1の構成図における破線内の構成要素を有するものとなる。医用画像診断装置は、医用画像診断検査に関する一連の検査手順を発生する。この時、検査手順発生機能は、本超音波診断装置1に関する機能と同様であり、上記実施形態における超音波検査を医用画像診断検査に置き換えることで理解される。
また、超音波診断装置を含む医用画像診断装置において、超音波診断装置から出力されたDICOMファイルなどのデータ(例えば、操作履歴、検査内容など)を読み込んで、上記処理を実行することも可能である。加えて、実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。