JP2020188991A - 医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム - Google Patents
医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム Download PDFInfo
- Publication number
- JP2020188991A JP2020188991A JP2019097046A JP2019097046A JP2020188991A JP 2020188991 A JP2020188991 A JP 2020188991A JP 2019097046 A JP2019097046 A JP 2019097046A JP 2019097046 A JP2019097046 A JP 2019097046A JP 2020188991 A JP2020188991 A JP 2020188991A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reconstructed image
- timing
- data set
- projection data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002872 contrast media Substances 0.000 claims abstract description 39
- 230000009467 reduction Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 118
- 230000033001 locomotion Effects 0.000 claims description 99
- 238000003384 imaging method Methods 0.000 claims description 93
- 206010028980 Neoplasm Diseases 0.000 claims description 67
- 230000017531 blood circulation Effects 0.000 claims description 8
- 231100000588 tumorigenic Toxicity 0.000 claims description 3
- 230000000381 tumorigenic effect Effects 0.000 claims description 3
- 208000005623 Carcinogenesis Diseases 0.000 claims 1
- 230000036952 cancer formation Effects 0.000 claims 1
- 231100000504 carcinogenesis Toxicity 0.000 claims 1
- 230000006870 function Effects 0.000 description 58
- 238000000034 method Methods 0.000 description 37
- 210000004185 liver Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 238000010801 machine learning Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 238000010186 staining Methods 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 11
- 241001669679 Eleotris Species 0.000 description 8
- 201000007270 liver cancer Diseases 0.000 description 7
- 208000014018 liver neoplasm Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 206010006322 Breath holding Diseases 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005748 tumor development Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】回転撮影を用いた多相撮影に伴うアーチファクトを効率的に低減すること。【解決手段】実施形態に係る医用画像処理装置は、造影剤が注入された被検体に対して第1のタイミングで実行された回転撮影により生成される第1の投影データセットと、被検体に対して第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットとを取得する取得部と、第1の投影データセットに基づいて第1の再構成画像を生成し、第2の投影データセットに基づいて第2の再構成画像を生成する再構成部と、第1の再構成画像と第2の再構成画像とに基づいて、第2のタイミングに対応し、第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する低減部と、を含む。【選択図】 図1
Description
本発明の実施形態は、医用画像処理装置、医用画像処理プログラム、X線診断装置及びX線診断システムに関する。
X線循環器診断装置には肝臓内の癌などを診断するため、回転撮影を用いた多相撮影による観察技術がある。多相撮影では同一部位を2回以上撮影するため、被検体は撮影のたびに息止めしなければならない。被検体が特に高齢者である場合、息止が負担になり、息止不良によるモーションアーチファクトが再構成画像に発生してしまうことがある。
本発明が解決しようとする課題は、回転撮影を用いた多相撮影に伴うアーチファクトを効率的に低減することである。
実施形態に係る医用画像処理装置は、造影剤が注入された被検体に対して第1のタイミングで実行された回転撮影により生成される第1の投影データセットと、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットとを取得する取得部と、前記第1の投影データセットに基づいて第1の再構成画像を生成し、前記第2の投影データセットに基づいて第2の再構成画像を生成する再構成部と、前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する低減部と、を具備する。
以下、図面を参照しながら本実施形態に係る医用画像処理装置、医用画像処理プログラム、X線診断装置及びX線診断システムを説明する。
本実施形態に係る医用画像処理装置は、X線診断装置により収集されるデータを処理するコンピュータである。本実施形態に係る医用画像処理装置は、X線診断装置に含まれるコンピュータでもよいし、X線診断装置とは別体のコンピュータでもよい。以下、医用画像処理装置は、X線診断装置に含まれるコンピュータであるとする。
図1は、本実施形態に係るX線診断装置1の構成を示す図である。図1に示すように、X線診断装置1は、X線撮影部3とコンソール5とを有する。コンソール5は医用画像処理装置として機能する。例えば、X線撮影部3は撮影室に設置され、コンソール5は撮影室に隣接する制御室に設置される。
図1に示すように、X線撮影部3は、X線管保持装置10と寝台装置30とを有する。図1に示すように、X線管保持装置10は、X線管11とX線検出器13とを保持する機械装置である。X線管保持装置10としては、天井吊りタイプと床置きタイプとの何れでも良い。床置きタイプとしては、X線管11とX線検出器13とを装備するCアーム15を移動自在に保持する循環器撮影タイプが好適である。また、X線管保持装置10は、床置きタイプのX線管保持装置と天井吊りタイプのX線管保持装置との何れかを備えるシングルプレーン方式であっても良いし、床置きタイプのX線管保持装置と天井吊りタイプのX線管保持装置との両方を備えるバイプレーン方式の何れの方式でもよい。以下、X線管保持装置は、一例としてシングルプレーン方式の床置きタイプであるとする。
図2は、本実施形態に係るX線診断装置1のX線撮影部3の外観を示す図である。図1及び図2に示すように、X線管保持装置10は、例えば、X線管11、X線検出器13、Cアーム15及びCアーム保持系17を有している。X線管11は、高圧ケーブルを介して高電圧発生器12に接続されている。高電圧発生器12は、コンソール5のシステム制御回路56からの制御信号に応じて、X線に印加する高電圧を発生する。X線管11は、高電圧発生器12からの高電圧の印加を受けてX線を発生する。X線検出器13は、X線管11から発生されたX線を検出する。具体的には、X線検出器13は、2次元平面状に配列された複数の検出器画素と読出回路とA/D変換回路とを有するFPD(Flat Panel Detector)であるとする。各検出器画素は、X線管11から発生されたX線を検出し、検出されたX線の強度に応じた電気信号(検出信号)を生成する。読出回路は、複数の検出器画素から所定のタイミングで検出信号をフレーム単位で読み出す。A/D変換回路は、複数の検出器画素から読み出された検出信号をA/D変換し、被検体に関する投影データをフレーム単位で生成する。生成された投影データは、コンソール5の記憶装置52に伝送される。
図1及び図2に示すように、X線管11とX線検出器13とはCアーム15に取り付けられている。Cアーム15は、X線管11とX線検出器13とを装備する支持構造体である。Cアーム15の一端にX線管11が取り付けられ、X線管11に対向するCアーム15の他端にX線検出器13が取り付けられている。Cアーム15は、Cアーム保持系17に移動自在に保持されている。Cアーム保持系17は、Cアーム15を3次元的に移動自在に保持する。Cアーム保持系17は、Cアーム15の可動の自由度に応じて設計され、互いに係り合う複数の構造体(以下、保持構造体と呼ぶ)から構成される。Cアーム保持系17は、少なくとも回転撮影を行うため、Cアーム15を介して、回転軸AR回りにX線管11とX線検出器13とを回転可能に支持する。X線管11の焦点とX線検出器13の検出面中心とを結ぶ軸は撮影軸AIと称される。回転軸ARと撮影軸AIとの交点ICはアイソセンタと称される。
回転軸AR回りのX線管11とX線検出器13との回転は、Cアーム15のいわゆるプロペラ回転により実現されてもよいし、Cアーム15のC形状に沿ってスライドするオービタル回転により実現されてもよい。
図1に示すように、X線管保持装置10は、X線管保持装置10を駆動するための動力を発生するCアーム駆動系19を有している。典型的には、Cアーム駆動系19は、Cアーム保持系17に搭載されている。例えば、図2に例示するCアーム保持系17に対応するCアーム駆動系19としては、Cアーム15を回転軸AR回りに回転するための駆動装置を有する。駆動装置は、例えば、コンソール5のシステム制御回路56からの駆動信号を受けて駆動する。各駆動装置は、例えば、サーボモータ等の既存のモータが用いられる。
図1及び図2に示すように、撮影室には寝台31が設けられている。寝台31は、基台37と天板39とを有している。基台37は床面に設置され、天板39を移動自在に支持する。天板39には被検体が載置される。基台37には寝台駆動系33が搭載されている。寝台駆動系33は、例えば、天板39を長手方向にスライドするための駆動装置、天板39を鉛直方向に昇降するための駆動装置を有している。各駆動装置は、例えば、コンソール5のシステム制御回路56からの駆動信号を受けて駆動する。
本実施形態に係るX線撮影部3は、上記の通り回転撮影を使用した多相撮影を実行する。回転撮影においてCアーム駆動系19は、システム制御回路56の指示に従いCアーム15を所定速度で回転し、Cアーム15の回転時において高電圧発生器12は、システム制御回路56の指示に従いX線管11からX線を発生させる。Cアーム15を画像再構成に必要な回転角度範囲だけ回転する。画像再構成に必要な回転角度範囲(以下、再構成角度範囲と呼ぶ)は、例えば、360度であるが、180度+ファン角以上であれば如何なる角度範囲でもよい。X線検出器13は、X線管11から発生され被検体を透過したX線を検出し、検出されたX線の強度に応じた投影データを生成する。再構成角度範囲分の投影データを投影データセットと呼ぶことにする。投影データセットに画像再構成処理が施されることにより再構成画像が生成される。
多相撮影は、例えば、肝臓等の臓器内に発生する癌を、造影剤により造影して観察するために用いられる。多相撮影では、被検体に造影剤が注入された後、複数のタイミングで回転撮影が行われる。例えば、肝臓を検査対象とする多相撮影においては早期相のタイミングと後期相のタイミングとで回転撮影が行われる。早期相で造影剤が栄養血管を介して癌に集積し、腫瘍濃染として可視化され、後期相で造影剤が癌から流れ出てコロナ濃染又はウォッシュアウト(washout)として可視化される。
図3は、早期相に関する再構成画像I1を模式的に示す図である。図4は、後期相に関する再構成画像I2を模式的に示す図である。図3及び図4は、一例として、肝臓癌を撮影対象にする再構成画像を例示している。図3及び図4に示すように、再構成画像I1及びI2は、肝臓に関する画像領域(以下、肝臓領域と呼ぶ)R1を有する。肝臓領域には肝臓癌に関する画像領域(以下、癌領域と呼ぶ)R2を有する。再構成画像I1は早期相において収集されているので、再構成画像I1における癌領域R2は、再構成画像I2の癌領域R2に比して、造影剤により強く造影されている。早期相に関する再構成画像I1における癌領域を腫瘍濃染領域と呼ぶこともある。再構成画像I2は後期相において収集されているので、再構成画像I2における癌領域R2は、再構成画像I1の癌領域R2に比して、造影されない。再構成画像I2は癌領域R2の周囲に、コロナ濃染に関する画像領域(以下、コロナ濃染領域と呼ぶ)R3を有する。多相撮影による造影剤濃染パターンに基づいて肝臓癌等が診断される。
図1に示すように、コンソール5は、X線診断装置を統括するコンピュータである。コンソール5は、システム制御回路56を中枢として、処理回路51、記憶装置52、入力機器53、通信機器54及び表示機器55を有する。処理回路51、記憶装置52、入力機器53、通信機器54及び表示機器55及びシステム制御回路56は互いにバス(bus)を介して通信可能に接続されている。
処理回路51は、ハードウェア資源としてプロセッサを有する。処理回路51は、本実施形態に係る処理プログラムを実行し、取得機能511、再構成機能512、位置特定機能513、アーチファクト低減機能514及び表示制御機能515を実現する。なお、各機能511〜515は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能511〜515を実現するものとしても構わない。
取得機能511において処理回路51は、造影剤が注入された被検体に対して第1のタイミングで実行された回転撮影により生成される第1の投影データセットと、前記被検体に対して第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットとを取得する。例えば、第1のタイミングは早期相であり、第2のタイミングは後期相である。第2のタイミングの投影データセットは、第1のタイミングの投影データセットに比して強い及び/又は多いアーチファクト成分を含むものとする。
再構成機能512において処理回路51は、投影データセットに再構成処理を施して再構成画像を生成する。具体的には、処理回路51は、X線検出器13からの投影データセットにゲイン補正やオフセット補正等の前処理を施し、前処理後の投影データセットに再構成処理を施す。再構成処理としては、フィルタ補正逆投影法や逐次近似再構成法、機械学習を使用した画像再構成等が適宜使用可能である。処理回路51は、第1のタイミングの投影データセットに基づいて第1のタイミングの再構成画像を生成し、第2のタイミングの投影データセットに基づいて第2のタイミングの再構成画像を生成する。第2のタイミングの再構成画像は、第1のタイミングの再構成画像に比して強い及び/又は多いアーチファクトを含むものとする。
本実施形態に係る再構成画像は、特に言及しない限り、投影データに再構成処理を施して生成された3次元画像データ(ボリュームデータ)と当該3次元画像データに3次元画像処理を施して生成された2次元画像データとの双方を含む概念であるとする。3次元画像処理としては、MPR処理やボリュームレンダリング処理、サーフェスレンダリング処理、画素値投影処理等、3次元画像データを2次元画像データに変換する任意の処理である。3次元画像処理は再構成機能512により実現されるものとする。
位置特定機能513において処理回路51は、再構成画像に含まれる各種の画像領域を画像処理により特定する。例えば、処理回路51は、第1のタイミングの再構成画像における腫瘍発生組織領域の位置と第2のタイミングの再構成画像における腫瘍発生組織領域の位置とを特定する。腫瘍発生組織領域は、腫瘍が発生している組織に関する画像領域である。例えば、肝臓に癌が発生している場合、腫瘍発生組織領域は、肝臓領域である。また、処理回路51は、第1のタイミングの再構成画像に含まれる腫瘍濃染領域の位置と第2のタイミングの再構成画像に含まれるコロナ濃染領域の位置とを特定する。
アーチファクト低減機能514において処理回路51は、第1のタイミングの再構成画像と第2のタイミングの再構成画像とに基づいて、第2のタイミングに対応し、第2のタイミングの再構成画像よりもアーチファクトが低減された再構成画像を生成する。以下、アーチファクト低減機能514により生成される再構成画像を補正画像と呼ぶことにする。処理回路51は、第1のタイミングの再構成画像と第2のタイミングの再構成画像と第1のタイミングの再構成画像における腫瘍発生組織領域の位置と第2のタイミングの再構成画像における腫瘍発生組織領域の位置とに基づいて、第2のタイミングに関する補正画像を生成してもよい。処理回路51は、第1のタイミングの再構成画像と第2のタイミングの再構成画像と第1のタイミングの再構成画像における腫瘍濃染領域の位置と第2のタイミングの再構成画像におけるコロナ濃染領域の位置とに基づいて、第2のタイミングに関する補正画像を生成してもよい。
表示制御機能515において処理回路51は、種々のデータを表示機器55を介して表示する。例えば、処理回路51は、再構成機能512により生成された再構成画像やアーチファクト低減機能514により生成された補正画像等を、表示機器55を介して表示する。
記憶装置52は、種々のデータを記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。例えば、記憶装置52は、X線検出器13から伝送された投影データ、再構成機能512により生成された再構成画像、アーチファクト低減機能514により生成された補正画像を記憶する。
入力機器53は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して出力する。入力機器53としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜使用可能である。入力機器53は、物理的な機器だけでなく、通信機器54を介して接続されたコンピュータ端末や無線通信可能なタブレット端末等でもよい。
通信機器54は、図示しない有線又は無線を介して、他のコンピュータとの間でデータ通信を行う。例えば、通信機器54は、投影データや再構成画像、補正画像等を通信する。
表示機器55は、処理回路51の表示制御機能515の実現により、種々のデータを表示する。表示機器55としては、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜使用可能である。また、表示機器55は、プロジェクタであってもよい。例えば、表示機器55は、再構成機能512により生成された再構成画像やアーチファクト低減機能514により生成された補正画像等を表示する。
システム制御回路56は、ハードウェア資源としてプロセッサを有する。システム制御回路56は、多相撮影プログラムの実行によりX線診断装置1の全体を制御する。システム制御回路56は、回転撮影を行うために高電圧発生器12とCアーム駆動系19とを連動して制御する。回転撮影においてシステム制御回路56は、予め設定されたX線条件に対応するX線曝射を行うように高電圧発生器12に制御信号を供給する。制御信号の供給を受けた高電圧発生器12は、当該制御信号に応じた高電圧をX線管11に印加し、高電圧の印加を受けてX線管11はX線を発生する。回転撮影においてシステム制御回路56は、Cアームを回転するためにCアーム駆動系19を制御する。また、システム制御回路56は、天板39の位置決めのために寝台駆動系33を制御してもよい。
なお、上記のX線診断装置1の構成は一例であり、これに限定されず、種々の変形が可能である。例えば、システム制御回路56と処理回路51とは別個の回路ではなく、単一の回路により構成されてもよい。また、処理回路51、記憶装置52、入力機器53、通信機器54及び表示機器55及びシステム制御回路56の全てが単一のコンピュータに搭載されている必要はなく、複数のコンピュータに分散して搭載されても良い。
次に、X線診断装置1の動作例について説明する。
以下の動作例において多相撮影における第1のタイミングは早期相であるとし、第2のタイミングは後期相であるとする。アーチファクト低減機能514による低減対象のアーチファクトは、如何なるアーチファクトでもよいが、回転撮影時における被検体の体動等に起因するモーションアーチファクトであるとする。モーションアーチファクトは、早期相に関する再構成画像と後期相に関する再構成画像との何れにも生じ得る。早期相の回転撮影から数秒から数十秒経過後に後期相の回転撮影が行われる。よって後期相の回転撮影時の方が、早期相の回転撮影時に比して被検体が動きやすい。よって以下の動作例においては、後期相に関する再構成画像にモーションアーチファクトが有意に発生しているものとする。なお、以下、早期相に関する再構成画像を早期相画像、後期相に関する再構成画像を後期相画像と呼ぶ。
上記の通り、アーチファクト低減機能514において処理回路51は、早期相画像と後期相画像とに基づいて、当該後期相画像に比してモーションアーチファクトが低減された、後期相に関する補正画像を生成する。具体的には、処理回路51は、予め生成された、モーションアーチファクトを含まない早期相画像とモーションアーチファクトを含まない後期相画像との相関と、モーションアーチファクトを含む後期相画像とモーションアーチファクトを含まない後期相画像との相関とを使用して、被検体に関する早期相画像及び後期相画像から後期相に関する補正画像を生成する。当該相関は、例えば、機械学習の手法により学習される。このような機械学習のアルゴリズムとしては、生物の脳の神経回路を模した多層のネットワークモデルである深層ニューラルネットワーク(DNN:Deep Neural Network)であるとする。DNNは、複数の調整可能な関数及びパラメータの組合せにより定義されるパラメータ付きの合成関数を含む。パラメータが学習された機械学習モデル又はDNNを学習済モデルと呼ぶことにする。本実施形態に係る学習済モデルは、様々な構造を取り得る。例えば、本実施形態に係る学習済モデルは、入力層、出力層及び中間層を含む。中間層としては、少なくとも一以上の畳み込み層(Convolutional Layer)や全結合層(Fully Connected Layer)、プーリング層(Pooling Layer)等を含む。学習済モデルは、ResNet(Residual Network)やDenseNet(Dense Convolutional Network)、U-Net等のネットワーク構造でもよい。なお、「学習済モデル」という語は、追加の学習がなされることを排除するものではない。例えば、学習済モデルに対して適宜追加の学習を施すことにより、調整済みのパラメータをさらに更新してもよい。
図5は、アーチファクト低減機能514において使用される学習済モデルの入出力の一例を示す図である。図5に示すように、学習済モデルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像とを入力する。上記の通り早期相画像には腫瘍濃染が描出され、後期相画像にはコロナ濃染が描出される。出力データとして、学習済モデルは、モーションアーチファクトを含まない後期相画像を出力する。なお、以下の説明において、アーチファクト無しの画像とは他の画像に比して弱い及び/又は少ないアーチファクトを含む又は所定基準よりも弱い及び/又は少ないアーチファクトを含むことを意味し、アーチファクト有りの画像とは他の画像に比して強い及び/又は多いアーチファクトを含む又は所定基準よりも強い及び/又は多いアーチファクトを含むことを意味するものとする。
ここで、図5を参照しながら、図5の学習済モデルの生成について説明する。学習済モデルは、処理回路51や他のコンピュータにより生成される。学習済モデルを生成する処理回路51又は他のコンピュータを学習装置と呼ぶことにする。
学習装置は、複数の学習サンプルに基づいてDNNのパラメータを学習する。各学習サンプルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像との組合せを含み、教師データとして、モーションアーチファクト無しの後期相画像(以下、正解後期相画像と呼ぶ)を含む。これら学習サンプルは、被検体をX線診断装置により回転撮影することにより生成される。同一の学習サンプルに含まれる各画像は全て同一の被検体を回転撮影することにより生成される。複数の学習サンプル間について同一の被検体である必要はなく、様々な被検体を回転撮影することにより学習サンプルが収集されればよい。
各学習サンプルとしては、例えば、再撮影が行われた場合のデータを用いることができる。すなわち、早期相及び後期相の回転撮影を実施した後に、さらに後期相の回転撮影を再度行った場合、モーションアーチファクト無しの早期相画像と、モーションアーチファクト有りの後期相画像と、モーションアーチファクト無しの後期相画像とが得られる。これらの組を学習サンプルとすることができる。
なお、全ての学習サンプルが回転撮影により収集されたものである必要はない。例えば、回転撮影と略同一の撮像原理であるCT撮影を行うX線コンピュータ断層撮影装置により学習サンプルが収集されてもよい。また、全ての学習サンプルが実測の学習サンプルである必要はなく、回転撮影又はCT撮影を模擬するコンピュータシミュレーションにより計算された、計算上の学習サンプルでもよい。また、実測の学習サンプルに任意の画像処理を施すことにより生成された半実測の学習サンプルでもよい。
学習サンプルに含まれる早期相画像、後期相画像及び正解後期相画像は、3次元画像データでもよいし、2次元画像データでもよい。2次元画像データである場合、断面はアキシャル断面、サジタル断面、コロナル断面及びオブリーク断面の如何なる向きでもよい。また、腫瘍濃染領域やコロナ濃染領域に交差する一断面の2次元画像データが入力及び出力に用いられてもよいし、腫瘍濃染領域やコロナ濃染領域に様々な位置及び向きで交差する複数断面の2次元画像データが入力及び出力に用いられてもよい。複数断面の2次元画像データに基づく最大値投影画像や平均値投影画像等の画素値投影画像が入力及び出力に用いられてもよい。
学習済モデルの生成過程において学習装置は、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像とを機械学習モデルに適用して順伝播処理を行い、推定後期相画像を出力する。次に学習装置は、推定後期相画像と正解後期相画像との差分(誤差)に当該機械学習モデルを適用して逆伝播処理を行い、勾配ベクトルを計算する。次に学習装置は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することにより学習済モデルが完成する。完成後の学習済モデルは記憶装置52に記憶される。
早期相画像と後期相画像との双方にモーションアーチファクトが無い場合、早期相画像と後期相画像との違いは、理想的には、早期相から後期相までの期間における造影剤の流れに起因する画素値の相違である。また、モーションアーチファクト有りの後期相画像とモーションアーチファクト無しの後期相画像との違いは、理想的には、モーションアーチファクトの有無に起因する画素値の相違である。従って、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像との組合せと、モーションアーチファクト無しの後期相画像とに基づいて機械学習を行うことにより、早期相から後期相までの期間における造影剤の流れに起因する画素値の相違とモーションアーチファクトの有無に起因する画素値の相違とをDNNに学習させることができる。このように生成された学習済モデルを使用することにより処理回路51は、後期相画像に含まれる造影剤領域を維持しつつ、後期相で実行された回転撮影での体動に起因するモーションアーチファクトを低減することができる。
ところで、モーションアーチファクト無しの早期相画像を入力せずモーションアーチファクト有りの後期相画像のみを入力としてモーションアーチファクト無しの後期相画像を出力するような学習済モデルを作成することも考えられる。この場合でも、モーションアーチファクトの低減は可能であるが、学習済モデルにおける処理によるアーチファクトが生じるリスクがある。これに対し、本実施形態による学習済モデルは、モーションアーチファクト無しの早期相画像をさらに入力することにより、学習済モデルにおける処理によるアーチファクトが生じるリスクを低減することができる。
なお、学習済モデルの生成方法は、教師有り学習に限定されず、敵対的生成ネットワーク(GAN:Generative Adversarial Nets)やpix2pix等の手法を使用して学習済モデルが生成されてもよい。
図5の学習済モデルは一例であり、入出力関係等は図5に示すもののみに限定されない。例えば、学習済モデルは、モーションアーチファクト無しの後期相画像とモーションアーチファクト有りの早期相画像とを入力とし、モーションアーチファクト無しの(モーションアーチファクトが低減された)早期相画像を出力してもよい。また、入力及び出力の各画像は、3次元画像データでもよいし、2次元画像データでもよい。
また、学習済モデルの入力は、早期相画像及び後期相画像のみに限定されず、位置特定機能513により特定された腫瘍濃染領域の位置、コロナ濃染領域の位置及び腫瘍発生組織領域の位置のうちの少なくとも1つに関する情報が補助的に入力されてもよい。これにより、造影剤の影響の無い、早期相画像と補正後の後期相画像とにおいて略一致するべき領域が特定され、より精度の高いアーチファクトの補正が可能となる。
次に、X線診断装置1による多相撮影を、肝臓癌を臨床例に挙げて説明する。
図6は、X線診断装置1による多相撮影の典型的な流れを示す図である。図6に示す多相撮影において学習済モデルは、早期相画像、後期相画像、腫瘍濃染領域の位置、コロナ濃染領域の位置及び腫瘍発生組織領域の位置を入力とする。当該学習済モデルの詳細については後述する。被検体が寝台31に載置され造影剤が注入され造影剤が早期相のタイミングにあると判断した場合、医療従事者であるユーザは、撮影スイッチを押下する。撮影スイッチの押下を契機としてシステム制御回路56は、多相撮影プログラムを実行し、図6に示す処理を開始する。
まずシステム制御回路56は、高電圧発生器12とCアーム駆動系19とを制御し、早期相で回転撮影を行い、X線検出器13を介して早期相に関する投影データセットを収集する(ステップS1)。収集された投影データセットは記憶装置52に記憶され、処理回路51の取得機能511の実現により処理回路51により取得される。
ステップS1が行われると処理回路51は、再構成機能512の実現により、早期相に関する投影データセットに基づいて早期相画像を生成する(ステップS2)。より詳細には、ステップS2において処理回路51は、早期相に関する投影データセットに基づいて3次元画像データを生成し、3次元画像データの中から腫瘍濃染領域を画像処理により抽出し、抽出された腫瘍濃染領域を含む断面に関する断面画像を生成する。断面は、アキシャル断面、コロナル断面及びサジタル断面の何れかでもよいし、オブリーク断面でもよい。本実施形態において断面は、特に言及しない限り、厚さが1ボクセルであるスライスと厚さが2ボクセル以上のスラブとの双方の概念を含むものとする。断面がスラブである場合、断面画像として、スラブに限定して最大値投影処理を行うことにより生成された最大値投影画像が生成されるとよい。なお、最大値投影処理のみに限定されず、造影剤の性質等に応じ、平均値投影処理や中間値装置処理、最小値投影処理が行われてもよい。以下、早期相画像は、腫瘍濃染領域を含むスライスに関する2次元画像であるとする。
システム制御回路56は、早期相の回転撮影からある時間間隔後、再び高電圧発生器12とCアーム駆動系19とを制御し、後期相で回転撮影を行い、X線検出器13を介して早期相に関する投影データセットを収集する(ステップS3)。当該ある時間間隔は、早期相から後期相までの時間間隔として経験的に定められた値でもよいし、シミュレーションにより計算された値でもよいし、造影剤濃度のモニタリングによりリアルタイムに定められた値でもよい。収集された投影データセットは記憶装置52に記憶され、処理回路51の取得機能511の実現により処理回路51により取得される。
ステップS3が行われると処理回路51は、再構成機能512の実現により、後期相に関する投影データセットに基づいて後期相画像を生成する(ステップS4)。より詳細には、ステップS4において処理回路51は、後期相に関する投影データセットに基づいて3次元画像データを生成し、3次元画像データの中からコロナ濃染領域を画像処理により抽出し、抽出されたコロナ濃染領域を含む断面に関する断面画像を生成する。以下、後期相画像は、コロナ濃染領域を含むスライスに関する2次元画像であるとする。
ステップS4が行われると処理回路51は、表示制御機能515の実現により、ステップS2において生成された早期相画像とステップS4において生成された後期相画像とを表示する(ステップS5)。
図7は、早期相画像I1と後期相画像I2との表示画面IS1の一例を示す図である。図7に示すように、表示画面IS1には早期相画像I1と後期相画像I2とが並べて配置される。ユーザは、早期相画像I1と後期相画像I2とを見比べて肝臓癌の診断を行う。表示画面IS1には早期相画像I1についての「動きあり」ボタンB11及び「動きなし」ボタンB12、後期相画像I2についての「動きあり」ボタンB21及び「動きなし」ボタンB22が配置される。ボタンB11、B12、B21及びB22は、マウス等の入力機器53を介して押下可能な、グラフィカルユーザインタフェース(GUI:Graphical User Interface)ボタンである。ユーザは、早期相画像I1を観察して、早期相画像I1にモーションアーチファクトが発生していると判断した場合、「動きあり」ボタンB11を押下し、モーションアーチファクトが発生していないと判断した場合、「動きなし」ボタンB12を押下する。同様に、ユーザは、後期相画像I2を観察して、後期相画像I2にモーションアーチファクトが発生していると判断した場合、「動きあり」ボタンB21を押下し、モーションアーチファクトが発生していないと判断した場合、「動きなし」ボタンB22を押下する。
処理回路51は、「動きあり」ボタンB11及び「動きなし」ボタンB22が押下された場合、早期相画像I1のモーションアーチファクトを低減すると判断し、「動きあり」ボタンB21及び「動きなし」ボタンB12が押下された場合、後期相画像I2のモーションアーチファクトを低減すると判断する(ステップS6:YES)。一方、処理回路51は、「動きなし」ボタンB12及び「動きなし」ボタンB22が押下された場合、早期相画像I1及び後期相画像I2の双方にモーションアーチファクトが発生していないことを意味し、モーションアーチファクトを低減しないと判断する(ステップS6:NO)。
一方、処理回路51は、「動きあり」ボタンB11及び「動きあり」ボタンB21が押下された場合、早期相画像I1及び後期相画像I2の双方にモーションアーチファクトが発生していることを意味し、モーションアーチファクトを低減しないと判断する(ステップS6:NO)。この場合、ユーザは、システム制御回路56は、再度、Cアーム15を初期位置に移動させ、ステップS1からステップS4を実行することにより、早期相及び後期相について回転撮影を行う。なお、図7に示すように、表示画面IS2には「再撮影」ボタンB3が配置されてもよい。「再撮影」ボタンB3は、マウス等の入力機器53を介して押下可能なGUIボタンである。「再撮影」ボタンB3が押下された場合にも、システム制御回路56は、再度、Cアーム15を初期位置に移動させ、ステップS1からステップS4を実行することにより、早期相及び後期相について回転撮影を行う。なお、このとき、再撮影前の回転撮影により得られた早期相画像I1及び後期相画像I2と、再撮影により得られる再構成画像とを学習サンプルとして記憶装置52に保存し、又は、通信機器54を通じてサーバ等の他の装置へ出力してもよい。
なお、以下では、早期相画像がモーションアーチファクト無し、後期相画像がモーションアーチファクト有りであるものとする。
ステップS6においてモーションアーチファクトを低減すると判定された場合(ステップS6:YES)、処理回路51は、位置特定機能513の実現により、早期相画像から肝臓領域及び腫瘍濃染領域の位置データ(以下、早期相位置データと呼ぶ)を生成する(ステップS7)。
図8は、早期相位置データI3の一例を示す図である。ステップS7において処理回路51は、早期相画像に画像処理を施して肝臓領域の位置と腫瘍濃染領域の位置とを特定し、早期相画像における肝臓領域の位置と腫瘍濃染領域の位置との空間分布を示す画像データを、早期相位置データとして生成する。例えば、腫瘍濃染領域に対応する画素には「2」が割り当てられ、肝臓領域に対応する画素には「1」が割り当てられ、それ以外の背景領域に対応する画素には「0」が割り当てられる。早期相位置データI3は、記憶装置52に記憶される。画像処理としては、各領域を特定できるのであれば特に限定されず、テンプレートマッチングや閾値処理、画像認識、機械学習等の如何なる方法でもよい。早期相位置データI3のマトリクスサイズは、典型的には、早期相画像のマトリクスサイズと同一である。
なお、画素値「2」、「1」及び「0」は一例であり、腫瘍濃染領域、肝臓領域及び背景領域が区別できるのであれば如何なる値でもよい。また、早期相位置データI3のマトリクスサイズは、早期相画像のマトリクスサイズと同一であることに限定されず、所定の倍率で縮小又は拡大されてもよい。また、早期相位置データI3は、画像データである必要もなく、腫瘍濃染領域、肝臓領域及び背景領域の座標を示す数値データでもよい。
ステップS7が行われると処理回路51は、位置特定機能513の実現により、後期相画像から肝臓領域及びコロナ濃染領域の位置データ(以下、後期相位置データと呼ぶ)を生成する(ステップS8)。
図9は、後期相位置データI4の一例を示す図である。ステップS8において処理回路51は、後期相画像に画像処理を施して肝臓領域の位置とコロナ濃染領域の位置とを特定し、後期相画像における肝臓領域の位置とコロナ濃染領域の位置との空間分布を示す画像データを、後期相位置データとして生成する。例えば、コロナ濃染領域に対応する画素には「3」が割り当てられ、肝臓領域に対応する画素には「1」が割り当てられ、それ以外の背景領域に対応する画素には「0」が割り当てられる。後期相位置データI4は、記憶装置52に記憶される。ステップS8における画像処理はステップS7における画像処理と同様である。後期相位置データI4のマトリクスサイズは、典型的には、後期相画像のマトリクスサイズと同一である。
なお、画素値「3」、「1」及び「0」は一例であり、コロナ濃染領域、肝臓領域及び背景領域が区別できるのであれば如何なる値でもよい。また、後期相位置データI4のマトリクスサイズは、後期相画像のマトリクスサイズと同一であることに限定されず、所定の倍率で縮小又は拡大されてもよい。また、早期相位置データI3は、画像データである必要もなく、コロナ濃染領域、肝臓領域及び背景領域の座標を示す数値データでもよい。
ステップS8が行われると処理回路51は、アーチファクト低減機能514の実現により、学習済モデルを、早期相画像と後期相画像と早期相位置データと後期相位置データとに適用し、モーションアーチファクトが低減された、後期相に関する補正画像を生成する(ステップS9)。
図10は、ステップS9において使用される学習済モデルの入出力の一例を示す図である。図10に示すように、学習済モデルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と早期相位置データと後期相位置データとを入力する。出力データとして、学習済モデルは、モーションアーチファクト無しの(モーションアーチファクトが低減された)後期相画像を出力する。
ここで、図10を参照しながら、図10の学習済モデルの生成について説明する。なお、図10の学習済モデルの生成方法は、学習サンプルの内容以外、図5の学習済モデルと同様である。説明の簡単のため、図5の学習済モデルとの差分のみを説明する。
学習装置は、複数の学習サンプルに基づいてDNNのパラメータを学習する。各学習サンプルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と早期相位置データと後期相位置データとの組合せを含み、教師データとして、モーションアーチファクト無しの後期相画像(正解後期相画像)を含む。学習済モデルの生成過程において学習装置は、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と早期相位置データと後期相位置データとを機械学習モデルに適用して順伝播処理を行い、推定後期相画像を出力する。次に学習装置は、推定後期相画像と正解後期相画像との差分(誤差)に当該機械学習モデルを適用して逆伝播処理を行い、勾配ベクトルを計算する。次に学習装置は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することにより学習済モデルが完成する。完成後の学習済モデルは記憶装置52に記憶される。
図10の学習済モデルは、図5の学習済モデルに比して、入力データとして更に、肝臓領域及び腫瘍濃染領域の位置を示す早期相位置データと、肝臓領域及びコロナ濃染領域の位置を示す後期相位置データとを入力する。これにより学習済モデルに、早期相における肝臓領域及び腫瘍濃染領域の位置と後期相における肝臓領域及びコロナ濃染領域の位置とを容易に判別させることにより、モーションアーチファクト低減の精度を向上させたり、学習効率を高めたりすることができる。このように生成された学習済モデルを使用することにより処理回路51は、後期相画像に含まれる造影剤領域を維持しつつ、後期相で実行された回転撮影での体動に起因するモーションアーチファクトを高精度で低減することができる。
ステップS9が行われると処理回路51は、表示制御機能515の実現により、後期相に関する補正画像を表示機器55に表示させる(ステップS10)。ステップS10において表示機器55は、例えば、ステップS2において生成された早期相画像とステップS9において生成された後期相に関する補正画像とを並べて表示する。ステップS9において生成された補正画像は、ステップS4において生成された後期相画像に比してモーションアーチファクトが低減されているので、より正確且つ効率的に肝臓癌の診断が行われることが期待される。
以上により図6に示す多相撮影が終了する。
なお、図6に示す処理の流れは一例であり、これに限定されるものではない。例えば、ステップS7がステップS2の後に行われてもよく、同様にステップS8がステップS4の後に行われてもよい。また、ステップS8の後にステップS7が行われてもよい。
図6においては、早期相位置データは肝臓領域及び腫瘍濃染領域の双方の位置を示すデータであるとしたが、肝臓領域及び腫瘍濃染領域の何れか一方のみの位置を示すデータであってもよい。同様に、後期相位置データは肝臓領域及びコロナ濃染領域の双方の位置を示すデータであるとしたが、肝臓領域及びコロナ濃染領域の何れか一方のみの位置を示すデータであってもよい。
上記の実施形態において、学習済モデルには、2次元画像データが入力されるものとしたが、3次元画像データが入力されてもよい。また、学習済モデルに2次元画像データが入力される場合であっても、診断に用いられる複数の断面に関する2次元画像データが学習済モデルに一断面ずつ入力されてもよい。あるいは、診断に用いられる単一の断面に関する2次元画像データが学習済モデルに入力されてもよい。これにより効率良く診断を行うことが可能になる。
上記の実施形態において、早期相位置データは早期相画像から生成され、後期相位置データは後期相画像から生成されるものとした。しかしながら、後期相位置データと早期相位置データとの双方が早期相画像から生成されてもよい。当該処理は、例えば、機械学習処理により実現される。
図11は、位置データの生成のための学習済モデルの入出力の一例を示す図である。図11に示すように、学習済モデルは、入力データとして、腫瘍濃染が描出された早期画像を入力する。出力データとして、学習済モデルは、早期相位置データと後期相位置データとを出力する。出力の早期相位置データは、入力の早期相画像に含まれる肝臓領域及び腫瘍濃染領域の位置に対応し、出力の後期相位置データは、入力の早期相画像から推測される後期相の肝臓領域及びコロナ濃染領域の位置に対応する。
ここで、図11を参照しながら、図11の学習済モデルの生成について説明する。なお、図11の学習済モデルの生成方法は、学習サンプルの内容以外、図5や図10の学習済モデルと同様である。説明の簡単のため、図5や図10の学習済モデルとの差分のみを説明する。
学習装置は、複数の学習サンプルに基づいてDNNのパラメータを学習する。各学習サンプルは、入力データとして、早期相画像を含み、教師データとして、早期相位置データ(以下、正解早期相位置データと呼ぶ)と後期相位置データ(以下、正解後期相位置データと呼ぶ)との組合せを含む。学習サンプルの早期相画像は、例えば、回転撮影を使用した多相撮影により得られた早期相画像である。学習サンプルの早期相画像は、モーションアーチファクト有りでもよいし、モーションアーチファクト無しでもよい。学習サンプルの早期相位置データは、入力の早期相画像から画像処理又はユーザ指示に従い生成される。学習サンプルの後期相位置データは、回転撮影を使用した多相撮影により得られた後期相画像であり、入力の早期相画像に続き収集されたものが望ましい。なお、学習サンプルの早期相画像及び後期相画像は同一の多相撮影に属する必要はなく、別々の多相撮影により収集されたものでもよい。
学習済モデルの生成過程において学習装置は、早期相画像を機械学習モデルに適用して順伝播処理を行い、推定早期相位置データ及び推定後期相位置データを出力する。次に学習装置は、推定早期相位置データ及び推定後期相位置データの組合せと正解早期相位置データ及び正解後期相位置データの組合せとの差分(誤差)に当該機械学習モデルを適用して逆伝播処理を行い、勾配ベクトルを計算する。次に学習装置は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することにより学習済モデルが完成する。完成後の学習済モデルは記憶装置52に記憶される。
早期相画像には肝臓領域と腫瘍濃染領域とが含まれているので、早期相画像と早期相位置データとには相関があるといえる。早期相画像に含まれる肝臓領域及び腫瘍濃染領域と後期相位置データとの違いは、理想的には、肝臓領域の位置は不動であるので、早期相から後期相までの期間における造影剤の流れに起因する造影剤領域の変化である。このように生成された学習済モデルを使用することにより処理回路51は、早期相画像から早期相位置データと後期相位置データとを出力することができる。
なお、位置データの生成のための学習済モデルは、早期相画像を入力として、後期相位置データを出力するように構成されてもよい。この場合、早期相位置データは、早期相画像に閾値処理等の画像処理又は入力機器53を介したユーザ指示に従い生成されればよい。また、位置データの生成のための学習済モデルは、後期相画像を入力して後期相位置データと早期相位置データとを出力するように構成されてもよいし、後期相画像を入力して早期相位置データを出力するように構成されてもよい。また、早期相の腫瘍濃染領域の位置は、腫瘍及び血管のセグメンテーションを行うアプリケーションにより得られた結果が用いられてもよい。
モーションアーチファクト無しの(モーションアーチファクトが低減された)後期相画像を出力する学習済モデルは、入力データとして、位置データの代わりに、付加情報が入力されてもよい。
図12は、モーションアーチファクト無しの(モーションアーチファクトが低減された)後期相画像を出力する他の学習済モデルの入出力の一例を示す図である。図12に示すように、学習済モデルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と付加情報とを入力する。上記の通り早期相画像には腫瘍濃染が描出され、後期相画像にはコロナ濃染が描出される。付加情報としては、造影剤の流れに影響するあらゆる情報が該当する。例えば、付加情報は、解剖学的情報、造影剤情報及び血流情報を含む。解剖学的情報は、被検体のCT画像やMR画像等の形態画像や標準的な解剖学的構造に関する人体モデルが挙げられる。学習済モデルに入力される解剖学的情報としては、早期相画像及び後期相画像と同じ撮影部位のものが用いられるとよい。造影剤情報は、被検体に注入される造影剤の特性等に関する情報であり、具体的には、濃度、種類、流速等である。血流情報は、被検体の血流に関する情報であり、具体的には、血圧や超音波ドプラの計測情報である。学習済モデルには付加情報として、解剖学的情報、造影剤情報及び血流情報の全ての情報が入力される必要はなく、少なくとも一種の情報が入力されればよい。出力データとして、学習済モデルは、モーションアーチファクト無しの後期相画像を出力する。
ここで、図12を参照しながら、図12の学習済モデルの生成について説明する。なお、図12の学習済モデルの生成方法は、学習サンプルの内容以外、図5や図10の学習済モデルと同様である。説明の簡単のため、図5や図10の学習済モデルとの差分のみを説明する。
学習装置は、複数の学習サンプルに基づいてDNNのパラメータを学習する。各学習サンプルは、入力データとして、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と付加情報との組合せを含み、教師データとして、モーションアーチファクト無しの後期相画像(正解後期相画像)を含む。学習済モデルの生成過程において学習装置は、モーションアーチファクト無しの早期相画像とモーションアーチファクト有りの後期相画像と付加情報とを機械学習モデルに適用して順伝播処理を行い、推定後期相画像を出力する。次に学習装置は、推定後期相画像と正解後期相画像との差分(誤差)に当該機械学習モデルを適用して逆伝播処理を行い、勾配ベクトルを計算する。次に学習装置は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。多数の学習サンプルについて順伝播処理及び逆伝播処理を繰り返してパラメータを更新することにより学習済モデルが完成する。完成後の学習済モデルは記憶装置52に記憶される。
図12の学習済モデルは、図5の学習済モデルに比して、更に付加情報を入力する。付加情報を入力することにより、学習済モデルに、早期相画像及び後期相画像からは得られない情報を取り込むことが可能になる。このように生成された学習済モデルを使用することにより処理回路51は、後期相画像に含まれる造影剤領域を維持しつつ、後期相で実行された回転撮影での体動に起因するモーションアーチファクトを高精度で低減することができる。
上記の実施形態において学習済モデルは、腫瘍の大きさに応じて生成されてもよい。すなわち、記憶装置52は、腫瘍の大きさに応じた複数の学習済モデルを記憶する。典型的には、腫瘍の大きさの区分毎に学習済モデルが生成される。腫瘍の大きさの区分としては、例えば、2cm未満の小さい腫瘍、2cm以上の大きい腫瘍、の2区分に分けられるとよい。腫瘍の大きさに応じて学習済モデルを使い分けることにより、学習済モデルが腫瘍領域や造影剤領域、アーチファクトをより正確に識別することができるので、補正画像の画質を向上させることが期待される。
学習済モデルの使用時において処理回路51は、早期相画像、後期相画像、早期相位置データ又は後期相位置データから腫瘍領域の大きさを特定する。例えば、早期相画像又は早期相位置データから腫瘍濃染領域の大きさを計算し、当該大きさを腫瘍領域の大きさとして特定する。また、後期相画像又は後期相位置データからコロナ濃染領域に囲まれた画像領域の大きさを計算し、当該大きさを腫瘍領域の大きさとして特定する。大きさは、腫瘍領域の画素数により規定してもよいし、腫瘍領域の短軸や長軸の長さにより規定されてもよい。あるいは、被検体の電子カルテ等に記載された腫瘍の大きさの情報が用いられてもよい。そして処理回路51は、特定された大きさに対応する上記区分を判別し、当該区分に関連付けられた学習済モデルを読み出し、読み出した学習済モデルを早期相画像と後期相画像とに適用して補正画像を生成する。
学習済モデルは、被検体の体型、造影剤情報又は血流情報に応じて生成されてもよい。被検体の体型は、具体的には、被検体の身長や体重、性別、年齢等である。造影剤情報は、被検体に注入される造影剤の特性等に関する情報であり、具体的には、濃度、種類、流速等である。血流情報は、被検体の血流に関する情報であり、具体的には、血圧や超音波ドプラの計測情報である。これら情報に応じて学習済モデルを使い分けることにより、学習済モデルが腫瘍領域や造影剤領域、アーチファクトをより正確に識別することができるので、補正画像の画質を向上させることが期待される。
上記の説明の通り、本実施形態に係るX線診断装置1は、処理回路51を有する処理回路51は、取得機能511、再構成機能512及びアーチファクト低減機能514を実現する。取得機能511は、造影剤が注入された被検体に対して第1のタイミングで実行された回転撮影により生成される第1の投影データセットと、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットとを取得する。再構成機能512は、前記第1の投影データセットに基づいて第1の再構成画像を生成し、前記第2の投影データセットに基づいて第2の再構成画像を生成する。アーチファクト低減機能514は、前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する。
上記の構成によれば、例えば、同一被検体に関するモーションアーチファクトが低減された早期相画像とモーションアーチファクト有りの後期相画像とに基づいて、当該被検体に関するモーションアーチファクト無しの後期相画像を生成することができるので、回転撮影を使用した多相撮影においてモーションアーチファクト等のアーチファクトが発生した場合、再撮影を回避することができる。したがって息止不良の患者を対象とした回転撮影を使用した多相撮影のワークフローを改善し、且つ正確な診断を支援することができる。
上記の説明において、本実施形態に係る医用画像処理装置は、X線診断装置に搭載されるものとした。しかしながら、本実施形態はこれに限定されず、X線診断装置と同様に複数角度に関する複数の投影データセットを収集可能なX線コンピュータ断層撮影装置に搭載されてもよい。
本実施形態に係る医用画像処理装置は、X線診断装置により収集されるデータを処理するコンピュータである。本実施形態に係る医用画像処理装置は、X線診断装置に含まれるコンピュータでもよいし、X線診断装置とは別体のコンピュータでもよい。以下、医用画像処理装置は、X線診断装置に含まれるコンピュータであるとする。
上記の実施形態において回転撮影、画像再構成、アーチファクト低減及び画像表示がX線診断装置1で行われるものとした。しかしながら、本実施形態はこれに限定されない。回転撮影、画像再構成、アーチファクト低減及び画像表示が、X線診断システムを構成する複数の装置に分散して行われてもよい。
図13は、本実施形態に係るX線診断システム100の構成を示す図である。図13に示すように、X線撮影部3、コンソール5、画像処理コンピュータ7及び表示装置9を有する。X線撮影部3とコンソール5とはX線診断装置を構成する。コンソール5、画像処理コンピュータ7及び表示装置9はネットワークを介して通信可能に接続されている。ネットワークの通信規格としては、例えば、DICOM(Digital Imaging and Communications and in Medicine)が用いられる。
上記の通り、X線撮影部3により回転撮影が行われ、早期相に関する投影データセットと後期相に関する投影データセットとが収集されコンソール5に伝送される。コンソール5には再構成機能512が搭載される。コンソール5により、早期相に関する投影データセットに画像再構成処理が施され早期相画像が生成され、後期相に関する投影データセットに画像再構成処理が施され後期相画像が生成される。早期相画像と後期相画像とはネットワークを介して画像処理コンピュータ7に送信される。画像処理コンピュータ7は、ワークステーション等のコンピュータである。画像処理コンピュータ7には、学習済モデルが格納され、また、アーチファクト低減機能514が搭載される。画像処理コンピュータ7は、当該学習済モデルを早期相画像と後期相画像とに適用し、アーチファクトが低減された補正画像を生成する。補正画像は表示装置9に送信される。表示装置9は、ビューワと呼ばれるコンピュータである。表示装置9には、表示制御機能515が搭載される。表示装置9は、補正画像を表示する。読影医等の医療従事者は、表示された補正画像を観察し、肝臓癌等の診断を行う。
上記の構成によれば、アーチファクト低減機能514が画像処理コンピュータ7に搭載されるので、X線診断装置を既存の構成にすることができる。なお、図13においてネットワークにはX線撮影部3及びコンソール5を含むX線診断装置1台が接続されているが、複数台のX線診断装置が接続されてもよい。
なお、上記の実施形態によれば、学習済モデルは、第1のタイミングに対応する再構成画像と第2のタイミングに対応する再構成画像とを入力し、第2のタイミングに対応し且つアーチファクトが低減された再構成画像を出力するものとした。しかしながら、本実施形態はこれに限定されない。学習済モデルは、第1のタイミングに対応する投影データセットと第2のタイミングに対応する投影データセットとを入力し、第2のタイミングに対応し且つアーチファクトが低減された再構成画像を出力するように学習されてもよい。この学習済モデルによれば、例えば、早期相の投影データセットと後期相の投影データセットとを入力し、後期相に対応し且つモーションアーチファクトが低減された補正画像を出力することが可能になる。よって、補正画像を生成する処理において、投影データセットから再構成画像を生成する工程を省くことが可能になる。
以上説明した少なくとも1つの実施形態によれば、回転撮影を用いた多相撮影に伴うアーチファクトを効率的に低減することができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1及び図13における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 X線診断装置
3 X線撮影部
5 コンソール
7 画像処理コンピュータ
9 表示装置
10 X線管保持装置
11 X線管
12 高電圧発生器
13 X線検出器
15 Cアーム
17 Cアーム保持系
19 Cアーム駆動系
30 寝台装置
31 寝台
33 寝台駆動系
37 基台
39 天板
51 処理回路
52 記憶装置
53 入力機器
54 通信機器
55 表示機器
56 システム制御回路
100 X線診断システム
511 取得機能
512 再構成機能
513 位置特定機能
514 アーチファクト低減機能
515 表示制御機能
3 X線撮影部
5 コンソール
7 画像処理コンピュータ
9 表示装置
10 X線管保持装置
11 X線管
12 高電圧発生器
13 X線検出器
15 Cアーム
17 Cアーム保持系
19 Cアーム駆動系
30 寝台装置
31 寝台
33 寝台駆動系
37 基台
39 天板
51 処理回路
52 記憶装置
53 入力機器
54 通信機器
55 表示機器
56 システム制御回路
100 X線診断システム
511 取得機能
512 再構成機能
513 位置特定機能
514 アーチファクト低減機能
515 表示制御機能
Claims (15)
- 造影剤が注入された被検体に対して第1のタイミングで実行された回転撮影により生成される第1の投影データセットと、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットとを取得する取得部と、
前記第1の投影データセットに基づいて第1の再構成画像を生成し、前記第2の投影データセットに基づいて第2の再構成画像を生成する再構成部と、
前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する低減部と、
を具備する医用画像処理装置。 - 前記低減部は、前記第2の再構成画像に含まれる造影剤領域を維持しつつ、前記アーチファクトとして、前記第2のタイミングで実行された回転撮影における前記被検体の体動に起因するモーションアーチファクトを低減する、請求項1記載の医用画像処理装置。
- 予め生成された前記第1のタイミングに対応しアーチファクト無しの再構成画像と前記第2のタイミングに対応しアーチファクト有りの再構成画像とを入力とし前記第2のタイミングに対応しアーチファクト無しの再構成画像を出力とする学習済モデルを、前記第1の再構成画像と前記第2の再構成画像とに適用し、前記第3の再構成画像を生成する、請求項1記載の医用画像処理装置。
- 前記学習済モデルは、腫瘍の大きさに応じた複数のモデルを有し、
前記低減部は、前記複数のモデルの中から、前記被検体に含まれる腫瘍の大きさに対応するモデルを選択し、前記選択されたモデルを、前記第1の再構成画像と前記第2の再構成画像とに適用し、前記第3の再構成画像を生成する、
請求項3記載の医用画像処理装置。 - 前記学習済モデルは、更に解剖学的情報、造影剤情報及び血流情報の少なくとも一の付加情報を入力とし、
前記低減部は、前記学習済モデルを、前記第1の再構成画像と前記第2の再構成画像と前記被検体に関する付加情報とに適用し、前記第3の再構成画像を生成する、
請求項3記載の医用画像処理装置。 - 前記第1のタイミングは、多相撮影における早期相及び後期相のうちの何れか一相であり、
前記第2のタイミングは、前記早期相及び前記後期相のうちの他の相である、
請求項1記載の医用画像処理装置。 - 前記第1の再構成画像は、造影剤による腫瘍濃染領域及びコロナ濃染領域のうちの何れか一領域を含み、
前記第2の再構成画像は、前記腫瘍濃染領域又は前記コロナ濃染領域のうちの他の領域を含む、
請求項1記載の医用画像処理装置。 - 前記第1の再構成画像における腫瘍発生組織領域の第1の位置と前記第2の再構成画像における腫瘍発生組織領域の第2の位置とを特定する特定部を更に備え、
前記低減部は、前記第1の再構成画像と前記第2の再構成画像と前記第1の位置と前記第2の位置とに基づいて、前記第3の再構成画像を生成する、
請求項1記載の医用画像処理装置。 - 前記第1の再構成画像に含まれる腫瘍濃染領域の第1の位置と前記第2の再構成画像に含まれるコロナ濃染領域の第2の位置とを特定する特定部を更に備え、
前記低減部は、前記第1の再構成画像と前記第2の再構成画像と前記第1の位置と前記第2の位置とに基づいて、前記第3の再構成画像を生成する、
請求項1記載の医用画像処理装置。 - 前記特定部は、前記第1の再構成画像から前記コロナ濃染領域の前記第2の位置を特定する、請求項9記載の医用画像処理装置。
- 前記第2の再構成画像と前記第3の再構成画像の生成指示のための第1の表示要素とを表示する表示部を更に備え、
前記低減部は、前記第1の表示要素が操作された事を契機として、前記第3の再構成画像を生成する、
請求項1記載の医用画像処理装置。 - コンピュータに、
造影剤が注入された被検体に対して第1のタイミングで実行される回転撮影により生成された第1の投影データセットに基づいて第1の再構成画像を生成する機能と、
前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで実行された回転撮影により生成される第2の投影データセットに基づいて第2の再構成画像を生成する機能と、
前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する機能と、
を実現させる医用画像処理プログラム。 - X線管とX線検出器とを回転自在に支持する支持機構と、
前記X線管と前記X線検出器と前記支持機構とを制御し、造影剤が注入された被検体に対して第1のタイミングで回転撮影を実行して第1の投影データセットを収集し、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで回転撮影を実行して第2の投影データセットを収集する撮影制御部と、
前記第1の投影データセットに基づいて第1の再構成画像を生成し、前記第2の投影データセットに基づいて第2の再構成画像を生成する再構成部と、
前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する低減部と、
を具備するX線診断装置。 - 造影剤が注入された被検体に対して第1のタイミングで第1の回転撮影を実行して第1の投影データセットを収集し、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで第2の回転撮影を実行して第2の投影データセットを収集する撮影部と、
前記第1の投影データセットに基づいて第1の再構成画像を生成し、前記第2の投影データセットに基づいて第2の再構成画像を生成する再構成部と、
前記第1の再構成画像と前記第2の再構成画像とに基づいて、前記第2のタイミングに対応し、前記第2の再構成画像よりもアーチファクトが低減された第3の再構成画像を生成する低減部と、
前記第3の再構成画像を表示する表示部と、
を具備するX線診断システム。 - 造影剤が注入された被検体に対して第1のタイミングで実行される第1の回転撮影により生成される第1の投影データセットと、前記被検体に対して前記第1のタイミングとは異なる第2のタイミングで実行される第2の回転撮影により生成される第2の投影データセットとを取得する取得部と、
前記第1の投影データセットと前記第2の投影データセットとに基づいて、前記第2のタイミングに対応し、アーチファクトが低減された再構成画像を生成する低減部と、
を具備する医用画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097046A JP2020188991A (ja) | 2019-05-23 | 2019-05-23 | 医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097046A JP2020188991A (ja) | 2019-05-23 | 2019-05-23 | 医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020188991A true JP2020188991A (ja) | 2020-11-26 |
Family
ID=73453035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097046A Pending JP2020188991A (ja) | 2019-05-23 | 2019-05-23 | 医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020188991A (ja) |
-
2019
- 2019-05-23 JP JP2019097046A patent/JP2020188991A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220117570A1 (en) | Systems and methods for contrast flow modeling with deep learning | |
KR102522539B1 (ko) | 의료영상 표시장치 및 의료영상 처리방법 | |
US10098602B2 (en) | Apparatus and method for processing a medical image of a body lumen | |
US9230334B2 (en) | X-ray CT apparatus and image processing method | |
JP5068516B2 (ja) | 医用画像を表示する方法及びシステム | |
EP3264985B1 (en) | Tomography imaging apparatus and method of reconstructing tomography image | |
US10537293B2 (en) | X-ray CT system, image display device, and image display method | |
CN106163405B (zh) | 断层扫描设备及由断层扫描设备显示断层扫描图像的方法 | |
US20170042494A1 (en) | Computed tomography apparatus and method of reconstructing a computed tomography image by the computed tomography apparatus | |
US10032293B2 (en) | Computed tomography (CT) apparatus and method of reconstructing CT image | |
KR20170060698A (ko) | 컴퓨터 단층 촬영장치 및 그 제어방법 | |
KR20170095695A (ko) | 영상처리장치, 영상처리방법 및 이를 기록한 기록매체 | |
JP2005103263A (ja) | 断層撮影能力のある画像形成検査装置の作動方法およびx線コンピュータ断層撮影装置 | |
KR101686635B1 (ko) | 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법 | |
JP6929695B2 (ja) | 医用画像診断装置及び管理装置 | |
CN112005314A (zh) | 用于训练成像系统的深度学习模型的系统和方法 | |
US9636076B2 (en) | X-ray CT apparatus and image processing method | |
JP7483437B2 (ja) | 放射線照射制御装置、放射線治療システム及び放射線照射制御方法 | |
JP6956514B2 (ja) | X線ct装置及び医用情報管理装置 | |
CN111919264A (zh) | 用于使成像系统和边缘计算系统同步的系统和方法 | |
JP2020188991A (ja) | 医用画像処理装置、医用画像処理プログラム、x線診断装置及びx線診断システム | |
US20240127450A1 (en) | Medical image processing apparatus and non-transitory computer readable medium | |
JP7387399B2 (ja) | 核医学診断装置、および制御プログラム | |
US11955228B2 (en) | Methods and system for simulated radiology studies based on prior imaging data | |
JP7568426B2 (ja) | 医用情報処理装置、x線診断装置及びプログラム |