JP5498185B2 - Ultrasonic diagnostic apparatus and ultrasonic image display program - Google Patents
Ultrasonic diagnostic apparatus and ultrasonic image display program Download PDFInfo
- Publication number
- JP5498185B2 JP5498185B2 JP2010022504A JP2010022504A JP5498185B2 JP 5498185 B2 JP5498185 B2 JP 5498185B2 JP 2010022504 A JP2010022504 A JP 2010022504A JP 2010022504 A JP2010022504 A JP 2010022504A JP 5498185 B2 JP5498185 B2 JP 5498185B2
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- data
- region
- volume data
- positional deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、被検体を含む３次元（３Ｄ）超音波データを時系列に連続して収集して成る４次元（４Ｄ）超音波データをリアルタイムに表示するときの表示方向を補正する超音波診断装置及び超音波画像表示プログラムに関する。 The present invention provides an ultrasonic diagnosis for correcting a display direction when displaying four-dimensional (4D) ultrasonic data including three-dimensional (3D) ultrasonic data including a subject continuously in time series. The present invention relates to an apparatus and an ultrasound image display program.
３Ｄ／４Ｄ超音波診断装置は、被検体を含む３次元（３Ｄ）超音波データを時系列に連続して収集して成る４Ｄ超音波データを取得し、この４Ｄ超音波データをリアルタイムにディスプレイ等に表示する。この３Ｄ／４Ｄ超音波診断装置は、超音波プローブとして２次元（２Ｄ）アレイプローブ又はメカニカル４Ｄプローブを利用して３Ｄ超音波データを時系列に連続して収集することにより、リアルタイムの３次元表示を可能とする。超音波データの表示に関する技術としては、例えば特許文献１がある。
The 3D / 4D ultrasonic diagnostic apparatus acquires 4D ultrasonic data obtained by continuously collecting three-dimensional (3D) ultrasonic data including a subject in time series, and displays the 4D ultrasonic data in real time. To display. This 3D / 4D ultrasonic diagnostic apparatus uses a two-dimensional (2D) array probe or a mechanical 4D probe as an ultrasonic probe, and continuously collects 3D ultrasonic data in time series, thereby enabling real-time three-dimensional display. Is possible. As a technique related to the display of ultrasonic data, there is, for example,
超音波診断装置によって診断する対象の被検体が例えば胎児である場合がある。この胎児の対象部位、例えば顔部位（baby face）をディスプレイ等に表示して診断する場合、超音波診断装置では、胎児の顔部位を撮影して３Ｄ超音波データを時系列に連続して収集して成る４Ｄ超音波データを取得し、リアルタイムにディスプレイ等に表示する。
ディスプレイに胎児の４Ｄ超音波画像を表示して診断する場合、医師等の観察者は、ディスプレイの表示画面上に表示される胎児のビュー方向（view direction）を常に同一方向、例えば表示画面上に常に胎児の顔部位の正面が向いて表示されるように設定したいという要求がある。又、超音波診断装置におけるフレキシブル・カット・ライン（flexible cut line）という機能を用い、例えば母体の腹壁等からのエコーデータを画像上から除去し、胎児の顔部位を体表側から観察できるように視点を維持したいという要求がある。
The subject to be diagnosed by the ultrasonic diagnostic apparatus may be a fetus, for example. When diagnosing this fetal target part, for example, a face part (baby face) on a display or the like, the ultrasonic diagnostic apparatus shoots the fetal face part and continuously collects 3D ultrasonic data in time series. 4D ultrasonic data is acquired and displayed on a display or the like in real time.
When diagnosing by displaying a 4D ultrasound image of the fetus on the display, an observer such as a doctor always sets the view direction of the fetus displayed on the display screen of the display in the same direction, for example, on the display screen. There is a demand for setting so that the front of the fetal face always faces. In addition, by using a function called flexible cut line in the ultrasonic diagnostic apparatus, for example, echo data from the abdominal wall of the mother can be removed from the image so that the fetal face can be observed from the body surface side. There is a demand to maintain the viewpoint.
しかしながら、被検体が胎児である場合に、体全体が動くために顔部位も動く。この顔部位の動きに伴って表示画像上における胎児の顔部位の表示位置が移動すると共に、当該顔部位の向きも変化する。このため、ビュー方向を常に胎児の顔正面に設定することができず、安定して胎児の顔部位の３Ｄ超音波像を観察することが困難となり、かつフレキシブル・カット・ラインを最適に維持することもできない。 However, when the subject is a fetus, the whole body moves, so the face part also moves. Along with the movement of the facial part, the display position of the fetal facial part on the display image moves, and the orientation of the facial part also changes. For this reason, the view direction cannot always be set in front of the fetal face, it becomes difficult to stably observe the 3D ultrasonic image of the fetal face, and the flexible cut line is optimally maintained. I can't do that either.
例えば心臓、脳部又は胃部の癌等を被検体の対象臓器として、超音波診断装置によって診断する場合がある。この場合、心臓は、自身の鼓動により動く。脳部又は胃部の癌等は、呼吸による肺臓の動きに伴う身体全体の動きと共に移動する。このために、ディスプレイの表示画面上における心臓、脳部又は胃部の癌等のビュー方向を常に同一方向に設定したり、フレキシブル・カット・ラインを最適に維持することができない。 For example, there is a case in which an ultrasonic diagnostic apparatus diagnoses a cancer of the heart, brain, or stomach as a target organ of a subject. In this case, the heart moves with its own heartbeat. Cancers of the brain or stomach move with the movement of the entire body accompanying the movement of the lungs due to respiration. For this reason, it is impossible to always set the view direction such as cancer of the heart, brain, or stomach on the display screen of the display to the same direction, or to keep the flexible cut line optimally.
又、超音波プローブを動かして走査方向を変える状況等でも、医師等の観察者は、ビュー方向を常に同一方向に設定し、フレキシブル・カット・ラインを最適に維持したい要求がある。しかしながら、この場合でもビュー方向を常に同一方向に設定することや、フレキシブル・カット・ラインを最適に維持することができない。 Further, even in a situation where the scanning direction is changed by moving the ultrasonic probe, an observer such as a doctor needs to always set the view direction to the same direction and maintain the flexible cut line optimally. However, even in this case, the view direction cannot always be set to the same direction, and the flexible cut line cannot be optimally maintained.
本発明の目的は、リアルタイムに表示される被検体の所定部位の像を常に３次元的な同一方向及び同一向きとして安定して表示できる超音波診断装置及び超音波画像表示プログラムを提供することにある。 An object of the present invention is to provide an ultrasonic diagnostic apparatus and an ultrasonic image display program capable of stably displaying an image of a predetermined part of a subject displayed in real time in the same three-dimensional direction and direction. is there.
請求項１に対応する超音波診断装置は、被検体を撮影して取得される時系列に連続する複数の超音波ボリュームデータを表示するもので、超音波ボリュームデータ間の３次元的な位置ずれを検出する位置ずれ検出部と、位置ずれに基づいて超音波ボリュームデータの位置ずれを補正し、複数の超音波ボリュームデータに基づいて生成される被検体の画像データの向きを補正する位置合わせ処理部と、位置合わせ処理部により位置合わせされた超音波ボリュームデータを表示する表示部と、超音波ボリュームデータ中に関心領域を設定する関心領域設定部とを具備し、位置ずれ検出部は、関心領域設定部により設定された関心領域において３次元的な位置ずれを検出し、位置合わせ処理部は、超音波ボリュームデータの位置ずれ補正に合わせて、関心領域内の超音波ボリュームデータを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を補正する。
請求項２に対応する超音波診断装置は、被検体を撮影して取得される時系列に連続する複数の超音波ボリュームデータを表示するもので、超音波ボリュームデータ間の３次元的な位置ずれを検出する位置ずれ検出部と、位置ずれに基づいて超音波ボリュームデータの位置ずれを補正し、複数の超音波ボリュームデータに基づいて生成される被検体の画像データの向きを補正する位置合わせ処理部と、位置合わせ処理部により位置合わせされた超音波ボリュームデータを表示する表示部と、超音波ボリュームデータ中に関心領域を設定する関心領域設定部とを具備し、位置ずれ検出部は、関心領域設定部により設定された関心領域において３次元的な位置ずれを検出し、位置合わせ処理部は、超音波ボリュームデータの位置ずれ補正に合わせて、関心領域を基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを補正する。
An ultrasonic diagnostic apparatus corresponding to claim 1 displays a plurality of time-series ultrasonic volume data acquired by imaging a subject, and a three-dimensional positional shift between the ultrasonic volume data. a displacement detection unit which detect, and based on the positional deviation to correct the positional deviation of the ultrasound volume data, a position for correcting the orientation of the image data of the subject is generated based on the plurality of ultrasound volume data comprising a combined processing unit, and the ultrasonic volume data table Shimesuru display unit that is by Ri position location registration in the alignment processing unit, and a region-of-interest setting unit that sets a region of interest in the ultrasound volume data, location The deviation detection unit detects a three-dimensional positional deviation in the region of interest set by the region of interest setting unit, and the alignment processing unit adjusts the positional deviation correction of the ultrasonic volume data. Either or both of the quality conditions or 3-dimensional display condition for rendering based on the ultrasound volume data in the region of interest to correct.
An ultrasonic diagnostic apparatus corresponding to
請求項１５に対応する超音波画像表示プログラムは、被検体を撮影して取得される時系列に連続する複数の超音波ボリュームデータを表示する超音波画像表示プログラムであって、コンピュータに、超音波ボリュームデータ間の３次元的な位置ずれを検出させる検出機能と、位置ずれに基づいて超音波ボリュームデータの位置ずれを補正し、複数の超音波ボリュームデータに基づいて生成される被検体の画像データの向きを補正させる位置合わせ機能と、位置合わせ機能により位置合わせされた超音波ボリュームデータを表示させる表示機能と、超音波ボリュームデータ中に関心領域を設定させる関心領域設定機能とを含み、検出機能は、関心領域設定機能により設定された関心領域において３次元的な位置ずれを検出させ、位置合わせ機能は、超音波ボリュームデータの位置ずれ補正に合わせて、関心領域内の超音波ボリュームデータを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を補正させることを実現させる。
請求項１６に対応する超音波画像表示プログラムは、被検体を撮影して取得される時系列に連続する複数の超音波ボリュームデータを表示する超音波画像表示プログラムであって、コンピュータに、超音波ボリュームデータ間の３次元的な位置ずれを検出させる検出機能と、位置ずれに基づいて超音波ボリュームデータの位置ずれを補正し、複数の超音波ボリュームデータに基づいて生成される被検体の画像データの向きを補正させる位置合わせ機能と、位置合わせ機能により位置合わせされた超音波ボリュームデータを表示させる表示機能と、超音波ボリュームデータ中に関心領域を設定させる関心領域設定機能とを含み、検出機能は、関心領域設定機能により設定された関心領域において３次元的な位置ずれを検出させ、位置合わせ機能は、超音波ボリュームデータの位置ずれ補正に合わせて、関心領域を基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを補正させることを実現させる。
An ultrasound image display program corresponding to
An ultrasound image display program corresponding to
本発明によれば、リアルタイムに表示される被検体の所定部位の像を常に３次元的な同一方向及び同一向きとして安定して表示できる超音波診断装置及び超音波画像表示プログラムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the ultrasonic diagnostic apparatus and ultrasonic image display program which can display stably the image of the predetermined part of the subject displayed in real time always in the same three-dimensional direction and the same direction can be provided.
以下、本発明の一実施の形態について図面を参照して説明する。
図１は超音波診断装置（４Ｄ超音波診断装置）のブロック構成図を示す。本装置の概要を図２を参照して説明する。超音波診断装置本体部１には、超音波プローブ２が接続されている。この超音波プローブ２には、例えばメカニカル４Ｄプローブがある。このメカニカル４Ｄプローブは、通常の１次元（１Ｄ）アレイプローブを機械的に揺動して３次元データを連続的に収集する。このメカニカル４Ｄプローブにより連続的に人体等の被検体Ｈ中の対象臓器の３Ｄデータが収集される。この収集された３Ｄデータは、ボリュームデータＪとして処理され、例えばリアルタイムにＭＰＲ表示（直交３断面）される。ＭＰＲ表示は、例えばアキシャル像Ｋ１、アキシャル像Ｋ２、サジタル像Ｋ３である。３Ｄデータの収集は、メカニカル４Ｄプローブのみならず、電子的に超音波を３次元に送受信する２Ｄアレイプローブを利用することができる。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an ultrasonic diagnostic apparatus (4D ultrasonic diagnostic apparatus). The outline of this apparatus will be described with reference to FIG. An
図３は本装置における３次元表示までの処理の流れと当該処理により生成される各種画像データとを示す。本装置には、それぞれ異なる各断面の複数の超音波画像データを取得し、これら超音波画像データに基づいて３Ｄ超音波画像データを生成して立体的に表示する３Ｄ表示と、この３Ｄ超音波画像データに時間的な変化を加えた４Ｄ表示とがある。
ここで、複数の超音波画像データを収集し、この超音波画像データを表示するまでの各段階における処理技術について説明する。
（１）３次元／４次元データの収集技術
１Ｄアレイプローブを３Ｄ的に走査することにより、３Ｄの超音波画像データの収集が可能である。さらに、メカニカル４Ｄプローブを利用して４Ｄの超音波画像データの収集が可能である。又、２Ｄアレイプローブを利用して３次元的な走査の繰り返しを行い、この３次元的な走査の繰り返しにより時間軸を含めた４Ｄの超音波画像データの収集が可能である。なお、メカニカル４Ｄプローブは、あるエンクロージャ内に１Ｄアレイプローブとプローブ揺動用モータとを備え、煽り走査や回転走査を機械的に行う。２Ｄアレイプローブは、２次元面上に配置された微小振動子を用いて電子的な走査により３次元データを収集する。
FIG. 3 shows a flow of processing up to three-dimensional display in this apparatus and various image data generated by the processing. The apparatus acquires a plurality of ultrasonic image data of each different cross section, generates a 3D ultrasonic image data based on the ultrasonic image data, and displays the 3D stereoscopically, and the 3D ultrasonic wave There is a 4D display in which temporal changes are added to image data.
Here, a processing technique in each stage from collecting a plurality of ultrasonic image data and displaying the ultrasonic image data will be described.
(1) 3D / 4D data collection technology
By scanning the 1D array probe in 3D, 3D ultrasound image data can be collected. Furthermore, it is possible to collect 4D ultrasound image data using a mechanical 4D probe. Also, 3D scanning is repeated using a 2D array probe, and 4D ultrasound image data including a time axis can be collected by repeating the 3D scanning. The mechanical 4D probe includes a 1D array probe and a probe swinging motor in an enclosure, and mechanically scans and rotates. The 2D array probe collects three-dimensional data by electronic scanning using micro-vibrators arranged on a two-dimensional surface.
（２）３次元データの再構成技術
図３に示すように超音波プローブ２の走査によってスタックデータである複数の断層画像データが収集される。これら断層画像データは、それぞれ異なる座標系上にあるので、当該複数の断層画像データを共通に使用できる座標系を導入する必要がある。これにより、複数の断層画像データは、等方的なボクセルとして３Ｄ画像データのボリュームデータに再構成（リサンプリング）される。
(2) 3D data reconstruction technology
As shown in FIG. 3, a plurality of tomographic image data as stack data is acquired by scanning with the
（３）３次元データの表示技術
一般に３Ｄ画像データを２Ｄ面上に投影表示することをレンダリングと称する。次に、超音波診断装置で用いられているレンダリング手法について説明する。
（ａ）ＭＰＲ（Ｍulti・Ｐlanar Ｒeconstruction / Ｒeformation）法
ＭＰＲ法は、任意方向の断層像を作成する手法である。このＭＰＲ法は、指定した断層面近傍のボクセル値を補間することで画素値を求める。このＭＰＲ法は、通常の超音波撮像では見えない断面を観測できるという点で有用である。このＭＰＲ法では、通常、立体構造を把握するために指定断面とこの指定断面に直交する２断面とを合わせた３断面を同時表示する。
(3) 3D data display technology
In general, projection display of 3D image data on a 2D surface is called rendering. Next, a rendering method used in the ultrasonic diagnostic apparatus will be described.
(A) MPR (Multi / Planar Reconstruction / Reformation) method
The MPR method is a method for creating a tomographic image in an arbitrary direction. In the MPR method, a pixel value is obtained by interpolating voxel values in the vicinity of a designated tomographic plane. This MPR method is useful in that a cross section that cannot be seen by normal ultrasonic imaging can be observed. In the MPR method, usually, three cross sections including a designated cross section and two cross sections orthogonal to the designated cross section are simultaneously displayed in order to grasp the three-dimensional structure.
（ｂ）ＭＩＰ(Ｍaximum Ｉntensity Ｐrojection）法
ＭＩＰ法は、視点と投影面との間の直線上に存在するボクセル値とを調べ、その中の最大値を投影面に投影する表示手法である。このＭＩＰ法は、カラードプラ法による血管像や超音波造影エコー法における造影エコー像の立体描出などに有用である。但し、ＭＩＰ法は、奥行き情報が消えるので、角度を変えて作成した画像を回転させてシネ表示する必要がある。
(B) MIP (Maximum Intensity Projection) method
The MIP method is a display method in which voxel values existing on a straight line between the viewpoint and the projection plane are examined and the maximum value among them is projected onto the projection plane. This MIP method is useful for, for example, rendering a blood vessel image by a color Doppler method and a three-dimensional image of a contrast echo image by an ultrasonic contrast echo method. However, since the depth information disappears in the MIP method, it is necessary to rotate the image created by changing the angle and display it in cine.
（ｃ）ＶＲ（Ｖolume Ｒendering）法
ＶＲ法は、仮想スクリーンから一様な光が発せられ、その光がボクセル値によって表現される３次元物体によって反射・減衰・吸収されるという仮想的な物理現象をシミュレーションする。このＶＲ法は、スタート点である仮想スクリーン上の点から一定のステップ間隔で透過光、反射光を更新する。このＶＲ法では、更新の処理時にボクセル値に応じた不透明度（Ｏpacity）を設定することで、表面から内部構造の表現まで多様な表現ができる。このＶＲ法は、特に微細構造の抽出に優れている。
(C) VR (Volume Rendering) method
The VR method simulates a virtual physical phenomenon in which uniform light is emitted from a virtual screen and reflected, attenuated, or absorbed by a three-dimensional object represented by a voxel value. In this VR method, transmitted light and reflected light are updated at a constant step interval from a point on the virtual screen which is a start point. In this VR method, by setting opacity according to the voxel value at the time of update processing, various expressions from the surface to the expression of the internal structure can be performed. This VR method is particularly excellent in extracting a fine structure.
次に、本装置の構成について図１に示すブロック構成図に戻って説明する。
超音波診断装置本体部１には、超音波プローブ２の他に、入力装置３と、操作パネル４と、モニタ５とが接続されている。本装置は、超音波ビームの走査を３次元的に行い、３次元超音波画像を連続的にリアルタイムに表示する４Ｄ超音波診断装置である。これにより、超音波プローブ２は、例えば２次元アレイプローブ又は機械式に１次元プローブを揺動させるメカニカル４Ｄプローブを用い。
Next, the configuration of the present apparatus will be described with reference to the block configuration diagram shown in FIG.
In addition to the
入力装置３と操作パネル４とは、それぞれ医師等の観察者の操作を受けて例えば超音波診断装置本体部１に対して操作指示を与えるもので、それぞれ位置合わせ用の関心領域（ＲＯＩ）の設定、Ｂモード又はカラーモードの表示モードの選択、３次元超音波画像の表示断面の選択・変更、３次元超音波画像の断面位置や表示形式、観察方向などの変更等の操作指示を発する。入力装置３は、例えばキーボード、トラックボールから成る。操作パネル４は、例えば複数の操作ボタンを表示する液晶のパネル又は機械的な操作ボタンを備えたパネルから成る。
The
モニタ５は、超音波診断装置本体部１からの画像データを入力して例えば３Ｄ又は４Ｄの超音波画像データ、レンダリングにより取得された超音波画像データ等を表示する。このモニタ５は、例えば液晶ディスプレイ等から成る。
The
超音波診断装置本体部１は、超音波送信部１１と、超音波受信部１２と、Ｂモード処理部１３と、カラーモード処理部１４と、３Ｄ処理部１５と、表示部１６と、ＣＰＵ１７と、画像データベース１８と、画像データを記憶するシネメモリ１９とを有する。
The ultrasonic diagnostic apparatus
超音波送信部１１は、超音波プローブ２の各振動子に対して電気パルスを印加し、超音波プローブ２から例えば人体の心臓、胃部又は母体中の胎児等の被検体に対して３次元的に超音波ビームを走査する。
超音波受信部１２は、超音波プローブ２から３次元的に超音波ビームを走査したときの被検体からのエコー信号を受信してその反射波信号を出力する。
Ｂモード処理部１３は、Ｂモードに設定されている場合、被検体からのエコー信号の受信毎に超音波受信部１２から出力される反射波信号に対して例えばフィルタ処理、ゲイン調整、包絡線検出、所望の信号処理を行う。
カラーモード処理部１４は、カラーモードに設定されている場合、被検体からのエコー信号の受信毎に、超音波受信部１２から出力される反射波信号に対して例えばフィルタ処理や速度検出などを行う。
The
The
When the B
When the color
３Ｄ処理部１５は、被検体からのエコー信号の受信毎に、Ｂモード処理部１３又はカラーモード処理部１４から出力される超音波データを３Ｄ超音波データに再構成する。
表示部１６は、選択されているＢモード又はカラーモードに応じて３Ｄ処理部１５により再構成された３Ｄ超音波データを、例えばボリュームレンダリング像やＭＰＲ像に加工してリアルタイムにモニタ５に表示する。この表示部１６は、３Ｄ超音波データに対してレンダリングの手法としてＭＰＲ法、ＭＩＰ法、ＶＲ法等を行う。
Each time the echo signal is received from the subject, the
The
画像データベース１８には、例えば人体の心臓、胃部又は母体中の胎児等の被検体の静止画データ、動画データ、３Ｄ画像データ、４Ｄ画像データ等の超音波画像データが保管されている。この画像データベース１８は、ネットワークＮを介して例えばＤＩＣＯＭサーバやＣＴ装置やＭＲＩ装置などの他のモダリティーＭに接続されている。これにより、画像データベース１８には、ネットワークＮを介してＤＩＣＯＭサーバ上から各種画像データを読み込んで保管したり、ＣＴ装置やＭＲＩ装置などの他のモダリティーＭからＣＴ画像データ、ＭＲ画像データ等を読み込んで保管可能である。なお、画像データベース１８には、ネットワークＮを通して読み込んだ各種画像データを保管するに限らず、例えばＭＯ、ＣＤ−Ｒ、ＤＶＤなどメディアから所望の画像データを読み込んで保管することも可能である。
The
参照画像用３Ｄ画像処理部２０は、画像データベース１８に保管されている例えば人体の心臓、胃部又は母体中の胎児等の被検体の静止画、動画、３Ｄ像、４Ｄ像等の超音波画像データ、ＣＴ装置やＭＲＩ装置などの他のモダリティーＭのＣＴ画像データ、ＭＲ画像データ等のいずれかの画像データを読み出し、この読み出した画像データから例えば所望の断面や３Ｄ表示画像等の参照画像データを生成する。
The
又、上記ＣＰＵ１７には、プログラムメモリ２１が接続されている。このプログラムメモリ２１には、予め超音波画像表示プログラムが記憶されている。この超音波画像表示プログラムは、被検体を撮影して取得される時系列に連続する複数の３Ｄ超音波データをモニタ５に表示させるもので、３Ｄ超音波データの３次元的な位置ずれを逐次検出し、逐次検出される位置ずれに基づいて複数の３Ｄ超音波データの位置ずれを補正し、複数の３Ｄ超音波データに含まれる被検体の画像データを３次元的な一定の向きに位置合わせし、逐次位置合わせされた超音波ボリュームデータをモニタ５に表示させる。
A
ＣＰＵ１７は、プログラムメモリ２１に記憶されている超音波画像表示プログラムを実行することにより、位置ずれ検出部２２と、３Ｄ画像位置合わせ処理部２３とを有するものとなる。又、ＣＰＵ１７は、超音波送信部１１と、超音波受信部１２と、Ｂモード処理部１３と、カラーモード処理部１４と、３Ｄ処理部１５と、表示部１６と、参照画像用３Ｄ画像処理部２０と、関心領域設定部２４となどを動作制御する。
位置ずれ検出部２２は、３Ｄ処理部１５により再構成された３Ｄ超音波データの３次元的な位置ずれを逐次検出する。
より具体的には、位置ずれ検出部２２は、例えば、ＲＯＩ内における時間的に連続する各３Ｄ超音波データ間における相互情報量、エントロピー、相互相関量、信号値の差分のうち少なくとも１つを指標として各３Ｄ超音波データ間の位置ずれを検出する。
The
The positional
More specifically, the positional
３Ｄ画像位置合わせ処理部２３は、位置ずれ検出部２２により逐次検出される位置ずれに基づいて３Ｄ超音波データの位置ずれを補正し、３Ｄ超音波データに含まれる被検体の画像データを３次元的な一定の向きに位置合わせする。
関心領域設定部２４は、例えば入力装置３又は操作パネル４により操作指示されたＲＯＩの位置情報に基づいて３Ｄ処理部１５により再構成された３Ｄ超音波データ中に位置合わせＲＯＩを設定する。
The 3D image
The region-of-
図４は３Ｄ画像位置合わせ処理部２３による位置合わせ処理の流れ図を示す。３Ｄ画像位置合わせ処理部２３は、複数の３Ｄ超音波データ等の各データを比較し、これらデータ間の位置合わせを行う。ここでは２つの３Ｄデータ、すなわち参照となる３Ｄデータ（Ｖolume１）と、この３Ｄデータ（Ｖolume１）に位置合わせする３Ｄデータ（Ｖolume２）とを対象とする。
FIG. 4 shows a flowchart of the alignment processing by the 3D image
参照３Ｄデータ（Ｖolume１）は、例えば更新前の直前の３Ｄデータ、又は事前に指定した３Ｄデータである。典型的に３Ｄデータ（Ｖolume１）は、位置合わせ開始時の３Ｄデータである。又は参照３Ｄデータ（Ｖolume１）は、画像データベース１８に過去に収集記憶された３Ｄ超音波データ、又はＤＩＣＯＭサーバやＣＴ装置やＭＲＩ装置などの他のモダリティーＭからの各種画像データである。
３Ｄデータ（Ｖolume２）は、３Ｄ処理部１５により再構成された３Ｄ超音波データである。
The
The 3D data (Volume 2) is 3D ultrasound data reconstructed by the
３Ｄ画像位置合わせ処理部２３は、ステップＳ１において、３Ｄデータ（Ｖolume２）上の座標を変えながら次のステップＳ２において、例えばＲＯＩ内をチェックし、次のステップＳ３において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との各類似度に関係する特徴量を計算する。
次に、３Ｄ画像位置合わせ処理部２３は、ステップＳ４において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との各類似度に関係する特徴量に基づいて３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数を求める。
In step S1, the 3D image
Next, in step S4, the 3D image
次に、３Ｄ画像位置合わせ処理部２３は、ステップＳ５において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数が最適値を満たすか否か、すなわち３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断する。
この判断の結果、一致していなければ、３Ｄ画像位置合わせ処理部２３は、ステップＳ６において最適化基準に基づく変換パラメータを変更し、ステップＳ１に戻り、３Ｄデータ（Ｖolume２）上の座標を変えて３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数を求め、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断することを繰り返す。
しかるに、３Ｄ画像位置合わせ処理部２３は、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致するまで３Ｄデータ（Ｖolume２）上の座標を変えながら評価関数を求め、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置ずれ量を推定する。３Ｄ画像位置合わせ処理部２３は、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置ずれ量を３Ｄ処理部１５及び表示部１６に送る。これにより、表示部１６は、位置合わせされた３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）とをモニタ５に並列表示する。
Next, in step S5, the 3D image
If the result of this determination is that they do not match, the 3D image
However, the 3D image
図５Ａは３Ｄデータ（Ｖolume１）を用いて生成される３Ｄ画像を示す。この画像は、例えば胎児における顔部位の顔正面を映像化したものである。この３Ｄデータ（Ｖolume１）は、位置合わせ開始時に取得されたか、又は画像データベース１８から読み出される。
例えば、胎児の体全体や顔部位が動くことにより３Ｄデータ（Ｖolume２）を用いて生成される３次元画像において、例えば図５Ｂに示すように胎児の顔部位が正面から横顔になることがある。このように胎児の顔部位が画像上で正面から横顔になるのは、超音波プローブ２を被検体に接触するときの角度が変化する場合も同様である。
FIG. 5A shows a 3D image generated using 3D data (Volume 1). This image is, for example, an image of the face front of the facial part of the fetus. This 3D data (Volume 1) is acquired at the start of alignment or is read from the
For example, in a three-dimensional image generated using 3D data (Volume 2) by moving the whole body or face part of the fetus, the face part of the fetus may become a profile from the front as shown in FIG. 5B, for example. In this way, the face part of the fetus changes from the front to the side on the image in the same manner when the angle when the
３Ｄ画像位置合わせ処理部２３は、上記の通り３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置ずれ量を推定し、３Ｄデータ（Ｖolume２）に含まれる胎児の顔部位の画像データを３Ｄデータ（Ｖolume１）と同一の３次元的な一定の向きに位置合わせし、胎児における顔部位の顔正面の画像データにする。
As described above, the 3D image
又、３Ｄ画像位置合わせ処理部２３は、以下の機能を有する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩ内の３Ｄ超音波データを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定されたマーカーの向きの位置ずれを逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された断面変換の各断面像データ、すなわち上記アキシャル像Ｋ１、アキシャル像Ｋ２、サジタル像Ｋ３のＭＰＲ（直交３断面）の各断面像データ、マルチビュー（Ｍulti Ｖiew）表示するための複数の断面像データ、又は３Ｄ超音波データを表示するための被検体の断層面の画像データの位置ずれを逐次補正する。
The 3D image
The 3D image
The 3D image
The 3D image
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定されたカラー像の３Ｄ超音波データに対して平面方向にカットされた断面像データ、立方体状にカットされた断面像データ、又は複数の３Ｄ超音波データ中に含まれる被検体の断面像データの位置ずれを逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に指定された表示指定領域のみの向きの位置ずれを逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された計測領域の向きの位置ずれを逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを逐次補正する。
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩに指定された視点からの画像データの位置ずれを逐次補正する。
The 3D image
The 3D image
The 3D image
The 3D image
The 3D image
３Ｄ画像位置合わせ処理部２３は、位置ずれ検出部２２により位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が存在しなければ、位置合わせ処理を停止する。
３Ｄ画像位置合わせ処理部２３は、位置合わせ処理の停止の状態で、位置ずれ検出部２２により位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が検出されると、位置合わせ処理を再開する。
The 3D image
The 3D image
すなわち、図６は３Ｄ画像位置合わせ処理部２３による位置ずれを検出する領域内に位置合わせする対象領域が存在しないときの位置合わせ処理の流れ図を示す。なお、図４と同一部分には同一符号を付してその詳しい説明は省略する。
３Ｄ画像位置合わせ処理部２３は、ステップＳ５において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数が最適値を満たすか否か、すなわち３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断する。
この判断の結果、評価関数が最適値を満たさなければ、３Ｄ画像位置合わせ処理部２３は、ステップＳ７に移り、予め設定された最低値基準と３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数とを比較し、評価関数が最低値基準を満たさなければ、位置合わせ処理を停止する。
一方、評価関数が最低値基準を満たせば、３Ｄ画像位置合わせ処理部２３は、位置合わせ処理を再開し、ステップＳ６を通してステップＳ１に戻る。
That is, FIG. 6 shows a flowchart of the alignment process when the target area to be aligned does not exist in the area where the positional deviation is detected by the 3D image
In step S5, the 3D image
If the evaluation function does not satisfy the optimum value as a result of this determination, the 3D image
On the other hand, if the evaluation function satisfies the minimum value criterion, the 3D image
表示部１６は、３Ｄ画像位置合わせ処理部２３により逐次位置合わせされた３Ｄ超音波ボリュームデータをリアルタイムに例えば液晶ディスプレイ等のモニタ５に表示する。
The
次に、上記の如く構成された装置におけるリアルタイムな３Ｄ位置合わせ表示の処理の流れについて図７に示す３Ｄ位置合わせ表示の処理の流れ図に従って説明する。
超音波プローブ２は、超音波送信部１１からの電気パルスの印加により３次元的に超音波ビームを送信する。この超音波ビームは、例えば母体中の胎児、人体の心臓、胃部等の被検体に対して３次元的に超音波ビームを走査させる。
超音波受信部１２は、超音波プローブ２から３次元的に超音波ビームを走査したときの被検体からのエコー信号を受信してその反射波信号を出力する。
Next, the flow of processing for real-
The
The
Ｂモード処理部１３は、Ｂモードに設定されている場合、超音波受信部１２から出力される反射波信号に対して例えばフィルタ処理、ゲイン調整、包絡線検出、所望の信号処理を行う。
カラーモード処理部１４は、カラーモードに設定されている場合、被検体からのエコー信号の受信毎に、超音波受信部１２から出力される反射波信号に対して例えばフィルタ処理や速度検出などを行う。
When the B mode is set, the B
When the color
３Ｄ処理部１５は、被検体からのエコー信号の受信毎に、Ｂモード処理部１３又はカラーモード処理部１４から出力される超音波データを３Ｄ超音波データに再構成する。
表示部１６は、選択されているＢモード又はカラーモードに応じて３Ｄ処理部１５により再構成された３Ｄ超音波データを、例えばボリュームレンダリング像や、図８に示すようなＭＰＲ像（アキシャル像Ｋ１、アキシャル像Ｋ２、サジタル像Ｋ３）に加工してリアルタイムにモニタ５に表示する。
Each time the echo signal is received from the subject, the
The
一方、入力装置３又は操作パネル４に対して医師等の観察者によって位置合わせ開始前に、例えば図８に示すようにモニタ５に表示されているＭＰＲ像において位置合わせＲＯＩが設定される。この位置合わせＲＯＩは、例えば四辺形に形成されている。
関心領域設定部２４は、例えば入力装置３又は操作パネル４により操作指示されたＲＯＩの位置情報に基づいて３Ｄ処理部１５により再構成された例えば図８に示すようなＭＰＲ像（アキシャル像Ｋ１、アキシャル像Ｋ２、サジタル像Ｋ３）中に位置合わせＲＯＩを設定する。
On the other hand, an alignment ROI is set in the MPR image displayed on the
The region-of-
次に、位置ずれ検出部２１は、例えば、ＲＯＩ内における時間的に連続する各３Ｄ超音波データ間における相互情報量、エントロピー、相互相関量、信号値の差分のうち少なくとも１つを指標として各３Ｄ超音波データ間の位置ずれを検出する。
Next, the
次に、３Ｄ画像位置合わせ処理部２３は、上記図４の位置合わせ処理の流れ図に示すように、ステップＳ１において、３Ｄデータ（Ｖolume２）上の座標を変えながら次のステップＳ２において、例えばＲＯＩ内をチェックし、次のステップＳ３において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との各類似度に関係する特徴量を計算し、次のステップＳ４において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との各類似度に関係する特徴量に基づいて３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数を求め、次のステップＳ５において、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数が最適値を満たすか否か、すなわち３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断する。
Next, as shown in the flowchart of the alignment process in FIG. 4, the 3D image
この判断の結果、一致していなければ、３Ｄ画像位置合わせ処理部２３は、ステップＳ６において最適化基準に基づく変換パラメータを変更し、ステップＳ１に戻り、３Ｄデータ（Ｖolume２）上の座標を変えながら３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数を求め、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断することを繰り返し、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置ずれ量を推定する。
If the result of this determination is that they do not match, the 3D image
次に、３Ｄ画像位置合わせ処理部２３は、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置ずれ量を３Ｄ処理部１５及び表示部１６に送る。これにより、表示部１６は、位置合わせされた３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）とをモニタ５に並列表示する。
Next, the 3D image
この結果、例えば、胎児の体全体が動いたり、超音波プローブ２を被検体に接触するときの角度が変化しても、モニタ５に表示される３Ｄデータ（Ｖolume２）は、顔部位が動いて例えば図５Ｂに示すように胎児の顔部位の横顔にならず、３Ｄデータ（Ｖolume１）と同一の３次元的な一定の向きの胎児における顔部位の顔正面の画像データに位置合わせされて表示される。なお、モニタ５に表示されるのは、位置合わせされた任意の断層像、ＭＰＲ像、３Ｄ表示像、或いは参照の３Ｄデータ（Ｖolume１）の画像と３Ｄ処理部１５により再構成される３Ｄ超音波データのリアルタイム像との２画像などの各種画像データである。
As a result, for example, even if the whole body of the fetus moves or the angle when the
次に、胎児の顔部位等の３Ｄ画像データの表示条件の設定例について説明する。
胎児の顔部位等を３Ｄ表示をする場合、超音波診断装置本体部１のＣＰＵ１７は、図９に示すようにフレキシブル・カット・ライン（flexible cut line）Ｃという機能を用い、例えば母体の腹壁等からのエコーデータを３次元表示上から除去する。例えば、同図に示す胎児の顔部位の画像は、胎児ファントムを用いた画像である。医師等の観察者は、入力装置３又は操作パネル４を操作してフレキシブル・カット・ラインＣを胎児の顔部位の少し上側に設定する。これにより、超音波診断装置本体部１のＣＰＵ１７は、フレキシブル・カット・ラインＣよりも上側のエコーデータを３Ｄ表示より除去する。この結果、胎児の顔部位は、体表側からの視点から観察できるように維持される。なお、不要領域を３Ｄ表示より除去するために超音波診断装置本体部１のＣＰＵ１７は、図９に示すようにボリューム表示ＲＯＩを設定することが可能である。このボリューム表示ＲＯＩは、四辺形状に形成されている。
Next, an example of setting display conditions for 3D image data such as a fetal facial part will be described.
When 3D display of the fetal facial part or the like is performed, the
ボリューム表示ＲＯＩを設定すると、当該ボリューム表示ＲＯＩにより囲われた領域の外側の画像データは、超音波診断装置本体部１のＣＰＵ１７によって３Ｄ表示より除去する処理が行われる。この除去処理によって視線に対して障害物なく様々な方向より胎児が観察可能になる。
又、位置合わせＲＯＩは、例えば胎児の顔部位の鼻付近に設定されると、３Ｄ画像位置合わせ処理部２３は、胎児の顔部位の鼻付近において３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに関する評価関数を求め、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置が一致しているか否かを判断することを繰り返し、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との位置合わせを行う。これにより、モニタ５には、例えば図５Ｂに示すような逐次位置合わせされた胎児の顔部位の３Ｄデータ（Ｖolume２）が表示される。
When the volume display ROI is set, the image data outside the area surrounded by the volume display ROI is removed from the 3D display by the
When the alignment ROI is set, for example, near the nose of the fetal facial part, the 3D image
この場合、超音波診断装置本体部１のＣＰＵ１７は、位置合わせ用のＲＯＩを基準にして相対的に同様な位置関係で、フレキシブル・カット・ラインＣ、ボリューム表示ＲＯＩを設定する。すなわち、フレキシブル・カット・ラインＣ、ボリューム表示ＲＯＩは、３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに応じて位置補正されて胎児の顔部位の３Ｄデータ（Ｖolume２）上に表示される。
In this case, the
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩ内の３Ｄ超音波データを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を逐次補正する。レンダリングの画質条件は、例えば、ビュー方向（Ｖiew Ｄirection）や光源位置、例えば遠くを暗くすると共に近くを明るくする等の距離に応じて明るさを変化させる（Ｄepth Ｃueing）の開始点などである。これにより、３Ｄデータ（Ｖolume２）は、３Ｄデータ（Ｖolume１）と同様のレンダリングの画質条件でモニタ５に表示でき、医師等の観察者は、安定的に胎児の顔を観察することができる。
The 3D image
又、本装置は、胎児の顔部位のみならず、観察時に位置ずれする全ての被検体、例えば人体の臓器等にも適用できる。画質条件は、距離に応じて明るさを変化させる（Ｄdepth Ｃuing）の開始点を例示したが、様々な画質条件を位置合わせＲＯＩの領域内を基準として相対的に同等化することが可能である。 Further, the present apparatus can be applied not only to the fetal face but also to all subjects that are displaced during observation, such as human organs. The image quality condition has exemplified the starting point of changing the brightness according to the distance (Ddepth Cuing), but various image quality conditions can be relatively equalized with reference to the region of the alignment ROI. .
図１０Ａ乃至図１０Ｃは上述の通り設定された位置合わせＲＯＩに対して相対的に同等なＭＰＲ断面（直交３断面）を逐次位置合わせ処理して表示する例を示す。図１０ＡはＭＰＲ断面像を示し、図１０Ｂはマルチビュー表示を示し、図１０Ｃはボリュームビューの３Ｄ超音波データを示す。 10A to 10C show examples in which MPR cross sections (three orthogonal cross sections) that are relatively equivalent to the alignment ROI set as described above are sequentially aligned and displayed. FIG. 10A shows an MPR cross-sectional image, FIG. 10B shows a multi-view display, and FIG. 10C shows 3D ultrasound data of a volume view.
すなわち、３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された例えば図１０Ａ乃至図１０Ｃに示すような断面変換の各断面像データ、すなわちアキシャル像Ｋ１、アキシャル像Ｋ２、サジタル像Ｋ３のＭＰＲ（直交３断面）の各断面像データ、又はマルチビュー（Ｍulti Ｖiew）表示するための複数の断面像データ、又は３Ｄ超音波データを表示するための被検体の断層面の画像データの位置ずれを逐次補正する。この位置ずれ補正は、例えば３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに応じて行われる。これにより、例えば３Ｄデータ（Ｖolume１）と３Ｄデータ（Ｖolume２）との間の位置ずれに応じて位置補正されたＭＰＲ（直交３断面）の各断面像データ、マルチビュー（Ｍulti Ｖiew）表示するための複数の断面像データ、又は３Ｄ超音波データを表示するための被検体の断層面の画像データがモニタ５に表示できる。
That is, the 3D image
３Ｄ画像位置合わせ処理部２３は、３Ｄ超音波データの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された図１１に示すようなマーカーＷの向きの位置ずれを逐次補正する。このマーカーＷは、基準座標で位置が定義されるもので、例えば点、矢印、文字、線、図形により表示される。このマーカーＷは、複数の同心球により形成される。このマーカーＷは、例えば位置合わせされて逐次更新される３Ｄ超音波データ、又はＭＰＲ（直交３断面）の各断面像データ上に表示される。
The 3D image
３Ｄ画像位置合わせ処理部２３は、位置合わせＲＯＩを基準座標として位置を定義した計測ＲＯＩを設定する。この計測ＲＯＩとして図１１に示す同心球のマーカーＷを設定する。超音波診断装置本体部１のＣＰＵ１７は、同心球のマーカーＷの領域内の輝度の積算値の時間変化を観察し、この輝度の積算値の時間変化を図１２に示すようにプロットすることができる。
The 3D image
次に、フライスルー（仮想化内視鏡システム：Ｆly Ｔhru）への適用例について説明する。図１３は門脈を含む血管４０を示す。３Ｄ画像位置合わせ処理部２３は、血管４０を含む３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを逐次補正する。
Next, an application example to fly-through (virtualized endoscope system: Fly Thru ) will be described. FIG. 13 shows a
この場合、３Ｄ画像位置合わせ処理部２３は、図１４に示すようにＭＰＲ画像上で位置合わせ用ＲＯＩを設定する。この位置合わせ用ＲＯＩは、例えば四辺形に形成された赤色の枠である。３Ｄ画像位置合わせ処理部２３は、血管４０を含む３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された視点、視線、近平面又は遠平面から透視投影する透視投影像データの位置ずれを逐次補正する。これにより、モニタ５には、図１５に示すような透視投影像が表示される。
In this case, the 3D image
透視投影時には、視線やレンダリングされる領域として近平面と遠平面が設定される。フライスルーの機能により位置合わせＲＯＩを基準として設定された視点付近より管腔内を軌道に沿って前後自由に移動して、観察可能である。観察は、透視投影像のみならず、平行投影像や任意断層像と切り替えて行うことができる。 During perspective projection, a near plane and a far plane are set as the line of sight and the rendered area. The fly-through function allows observation within the lumen freely moving back and forth along the trajectory from the vicinity of the viewpoint set with the alignment ROI as a reference. The observation can be performed by switching not only a perspective projection image but also a parallel projection image or an arbitrary tomographic image.
又、上記説明の通り、３Ｄ画像位置合わせ処理部２３は、位置ずれ検出部２２により位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が存在しなければ、位置合わせ処理を停止する。
３Ｄ画像位置合わせ処理部２３は、位置合わせ処理の停止の状態で、位置ずれ検出部２２により位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が検出されると、位置合わせ処理を再開する。
In addition, as described above, the 3D image
The 3D image
このように上記一実施の形態によれば、３Ｄ超音波データの３次元的な位置ずれを逐次検出し、逐次検出される位置ずれに基づいて複数の３Ｄ超音波データの位置ずれを補正し、複数の３Ｄ超音波データに含まれる被検体の画像データを３次元的な一定の向きに位置合わせし、逐次位置合わせされた超音波ボリュームデータをモニタ５に表示させるので、リアルタイムに表示される被検体の像を常に３次元的な同一方向及び同一向きとして安定して表示できる。例えば、胎児の体全体が動いたり、超音波プローブ２を被検体に接触するときの角度が変化しても、モニタ５に表示される胎児の像は、顔部位が動いて例えば図５Ｂに示すように胎児の顔部位の横顔にならず、参照とする３Ｄデータ（Ｖolume１）と同一の３次元的な一定の向きの胎児における顔部位の顔正面の画像データに位置合わせして表示できる。
As described above, according to the one embodiment, the three-dimensional positional deviation of the 3D ultrasonic data is sequentially detected, and the positional deviation of the plurality of 3D ultrasonic data is corrected based on the positional deviation detected sequentially. The image data of the subject included in the plurality of 3D ultrasonic data is aligned in a certain three-dimensional direction, and the sequentially aligned ultrasonic volume data is displayed on the
又、フレキシブル・カット・ライン（flexible cut line）Ｃという機能を用いることにより、例えば母体の腹壁等からのエコーデータを３次元表示上から除去できるので、胎児の顔部位を体表側からの視点から観察できるように維持できる。この結果、胎児の顔部位を常に正面側より障害物を除去して安定して表示することができる。又、胎動する胎児の任意断面、例えば心臓や脳などを安定して表示し、観察することができる。 In addition, by using a function called flexible cut line C, for example, echo data from the abdominal wall of the mother can be removed from the three-dimensional display, so that the fetal face can be viewed from the viewpoint from the body surface side. It can be maintained so that it can be observed. As a result, the fetal face can always be stably displayed by removing the obstacle from the front side. Moreover, it is possible to stably display and observe an arbitrary cross section of a fetus that moves, for example, the heart or the brain.
さらに、３Ｄ超音波データの位置ずれ補正に合わせて３Ｄ超音波データのレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を逐次補正したり、マーカーの向きの位置ずれを逐次補正し、ＭＰＲ（直交３断面）の各断面像データ、マルチビュー（Ｍulti Ｖiew）表示するための複数の断面像データ、又は３Ｄ超音波データを表示するための被検体の断層面の画像データの位置ずれを逐次補正できる。 Further, in accordance with the positional deviation correction of the 3D ultrasonic data, either one or both of the image quality condition of rendering of the 3D ultrasonic data and the three-dimensional display condition are sequentially corrected, or the positional deviation of the marker direction is sequentially corrected, The positional deviation of each cross-sectional image data of MPR (three orthogonal cross sections), a plurality of cross-sectional image data for displaying multi-view (Multi View), or image data of a tomographic plane of a subject for displaying 3D ultrasonic data. Can be corrected sequentially.
又、フライスルー（仮想化内視鏡システム：Ｆly Ｔhru）に適用した場合、血管４０を含む３Ｄ超音波ボリュームデータの位置ずれ補正に合わせて、位置合わせＲＯＩを基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを逐次補正し、透視投影像をモニタ６に表示できる。
In addition, when applied to fly-through (virtualized endoscope system: Fly Thru ), the viewpoint, line of sight, and the like set based on the alignment ROI in accordance with the positional deviation correction of the 3D ultrasonic volume data including the blood vessel 40 A positional deviation of image data to be perspectively projected from a near plane or a far plane can be sequentially corrected, and a perspective projection image can be displayed on the
さらに、位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が存在しなければ、位置合わせ処理を停止し、この位置合わせ処理の停止の状態で、位置ずれを検出する領域内に位置合わせする対象領域、例えば胎児の顔部位、心臓、脳部又は胃部の癌等が検出されると、位置合わせ処理を再開できる。 Further, if there is no target region to be aligned within the region for detecting misalignment, for example, a facial region of the fetus, heart, brain, or stomach, etc., the alignment process is stopped, and this alignment process is performed. When the target region to be aligned within the region for detecting misalignment is detected in the stopped state, for example, the fetal facial region, heart, brain, or stomach cancer, the alignment process can be resumed.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
例えば、超音波プローブ２は、メカニカル４Ｄプローブに限らず、２Ｄアレイプローブなどの３Ｄデータを連続的に収集可能なプローブに適用可能である。例えば上記実施形態では、３Ｄボリュームデータから再構成する処理を超音波診断装置で行う例について述べたが、保存された時系列の３Ｄデータに対して同様の処理を外部のワークスステーションにおいて行うことも可能である。
For example, the
１：超音波診断装置本体部、２：超音波プローブ、３：入力装置、４：操作パネル、５：モニタ、１１：超音波送信部、１２：超音波受信部、１３：Ｂモード処理部、１４：カラーモード処理部、１５：３Ｄ処理部、１６：表示部、１７：ＣＰＵ、１８：画像データベース、１９：シネメモリ、２０：参照画像用３Ｄ画像処理部、２１：プログラムメモリ、２２：位置ずれ検出部、２３：３Ｄ画像位置合わせ処理部、２４：関心領域設定部。 1: ultrasonic diagnostic apparatus main body part, 2: ultrasonic probe, 3: input device, 4: operation panel, 5: monitor, 11: ultrasonic transmission part, 12: ultrasonic reception part, 13: B mode processing part, 14: Color mode processing unit, 15: 3D processing unit, 16: Display unit, 17: CPU, 18: Image database, 19: Cine memory, 20: 3D image processing unit for reference image, 21: Program memory, 22: Misalignment Detection unit, 23: 3D image alignment processing unit, 24: region of interest setting unit.
Claims (16)
前記超音波ボリュームデータ間の３次元的な位置ずれを検出する位置ずれ検出部と、
前記位置ずれに基づいて前記超音波ボリュームデータの位置ずれを補正し、前記複数の超音波ボリュームデータに基づいて生成される前記被検体の画像データの向きを補正する位置合わせ処理部と、
前記位置合わせ処理部により位置合わせされた前記超音波ボリュームデータを表示する表示部と、
前記超音波ボリュームデータ中に関心領域を設定する関心領域設定部と、
を具備し、
前記位置ずれ検出部は、前記関心領域設定部により設定された前記関心領域において前記３次元的な前記位置ずれを検出し、
前記位置合わせ処理部は、前記超音波ボリュームデータの位置ずれ補正に合わせて、前記関心領域内の前記超音波ボリュームデータを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を補正する、
ことを特徴とする超音波診断装置。 In an ultrasonic diagnostic apparatus that displays a plurality of time series ultrasonic volume data acquired by imaging a subject,
A displacement detection unit that detect the three-dimensional positional deviation between the ultrasound volume data,
Correcting the positional deviation of the previous SL ultrasound volume data based on the previous SL misalignment and alignment processing unit for correcting the orientation of the image data of the subject is generated based on the plurality of ultrasound volume data ,
The ultrasound volume data Ri position was location aligned by the positioning process unit and table Shimesuru display unit,
A region-of-interest setting unit that sets a region of interest in the ultrasound volume data;
Equipped with,
The positional deviation detection unit detects the three-dimensional positional deviation in the region of interest set by the region of interest setting unit;
The alignment processing unit corrects one or both of a rendering image quality condition and a three-dimensional display condition based on the ultrasound volume data in the region of interest in accordance with the displacement correction of the ultrasound volume data. To
An ultrasonic diagnostic apparatus.
前記超音波ボリュームデータ間の３次元的な位置ずれを検出する位置ずれ検出部と、
前記位置ずれに基づいて前記超音波ボリュームデータの位置ずれを補正し、前記複数の超音波ボリュームデータに基づいて生成される前記被検体の画像データの向きを補正する位置合わせ処理部と、
前記位置合わせ処理部により位置合わせされた前記超音波ボリュームデータを表示する表示部と、
前記超音波ボリュームデータ中に関心領域を設定する関心領域設定部と、
を具備し、
前記位置ずれ検出部は、前記関心領域設定部により設定された前記関心領域において前記３次元的な前記位置ずれを検出し、
前記位置合わせ処理部は、前記超音波ボリュームデータの位置ずれ補正に合わせて、前記関心領域を基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを補正する、
ことを特徴とする超音波診断装置。 In an ultrasonic diagnostic apparatus that displays a plurality of time series ultrasonic volume data acquired by imaging a subject,
A displacement detector for detecting a three-dimensional displacement between the ultrasonic volume data;
A registration processing unit that corrects a positional deviation of the ultrasonic volume data based on the positional deviation and corrects an orientation of image data of the subject generated based on the plurality of ultrasonic volume data;
A display unit for displaying the ultrasonic volume data aligned by the alignment processing unit;
A region-of-interest setting unit that sets a region of interest in the ultrasound volume data;
Comprising
The positional deviation detection unit detects the three-dimensional positional deviation in the region of interest set by the region of interest setting unit;
The alignment processing unit corrects a positional shift of image data to be perspectively projected from a viewpoint, a line of sight, a near plane, or a far plane set based on the region of interest in accordance with the positional shift correction of the ultrasonic volume data. ,
Ultrasonic diagnostic apparatus you wherein a.
前記表示部は、前記位置合わせ処理部により逐次補正された前記画像データに基づいて仮想内視鏡画像として表示する、
ことを特徴とする請求項１又は２記載の超音波診断装置。 The alignment processing unit sequentially corrects the positional deviation of the image data from the viewpoint specified in the region of interest in accordance with the positional deviation correction of the ultrasonic volume data,
The display unit displays a virtual endoscopic image based on the image data sequentially corrected by the alignment processing unit;
The ultrasonic diagnostic apparatus according to claim 1 or 2.
コンピュータに、
前記超音波ボリュームデータ間の３次元的な位置ずれを検出させる検出機能と、
前記位置ずれに基づいて前記超音波ボリュームデータの位置ずれを補正し、前記複数の超音波ボリュームデータに基づいて生成される前記被検体の画像データの向きを補正させる位置合わせ機能と、
前記位置合わせ機能により位置合わせされた前記超音波ボリュームデータを表示させる表示機能と、
前記超音波ボリュームデータ中に関心領域を設定させる関心領域設定機能と、
を含み、
前記検出機能は、前記関心領域設定機能により設定された前記関心領域において前記３次元的な前記位置ずれを検出させ、
前記位置合わせ機能は、前記超音波ボリュームデータの位置ずれ補正に合わせて、前記関心領域内の前記超音波ボリュームデータを基準としてレンダリングの画質条件又は３次元表示条件のいずれか一方又は両方を補正させる、
ことを実現させる超音波画像表示プログラム。 An ultrasound image display program for displaying a plurality of time series continuous ultrasound volume data acquired by imaging a subject,
On the computer,
A detection function of detected three-dimensional positional deviation between the ultrasound volume data,
Before Symbol correcting the positional deviation of the ultrasound volume data, the alignment function of correcting the orientation of the image data of the subject is generated based on the plurality of ultrasound volume data based on the previous SL positional deviation,
A display function that presents the ultrasound volume data Ri position was location aligned by the alignment function,
A region of interest setting function for setting a region of interest in the ultrasonic volume data;
Including
The detection function detects the three-dimensional displacement in the region of interest set by the region of interest setting function,
The alignment function corrects one or both of a rendering image quality condition and a three-dimensional display condition based on the ultrasound volume data in the region of interest in accordance with a positional deviation correction of the ultrasound volume data. ,
Ultrasonic image display program for realizing that.
コンピュータに、On the computer,
前記超音波ボリュームデータ間の３次元的な位置ずれを検出させる検出機能と、A detection function for detecting a three-dimensional displacement between the ultrasonic volume data;
前記位置ずれに基づいて前記超音波ボリュームデータの位置ずれを補正し、前記複数の超音波ボリュームデータに基づいて生成される前記被検体の画像データの向きを補正させる位置合わせ機能と、A positioning function for correcting a positional shift of the ultrasonic volume data based on the positional shift and correcting an orientation of image data of the subject generated based on the plurality of ultrasonic volume data;
前記位置合わせ機能により位置合わせされた前記超音波ボリュームデータを表示させる表示機能と、A display function for displaying the ultrasonic volume data aligned by the alignment function;
前記超音波ボリュームデータ中に関心領域を設定させる関心領域設定機能と、A region of interest setting function for setting a region of interest in the ultrasonic volume data;
を含み、Including
前記検出機能は、前記関心領域設定機能により設定された前記関心領域において前記３次元的な前記位置ずれを検出させ、The detection function detects the three-dimensional displacement in the region of interest set by the region of interest setting function,
前記位置合わせ機能は、前記超音波ボリュームデータの位置ずれ補正に合わせて、前記関心領域を基準に設定された視点、視線、近平面又は遠平面から透視投影する画像データの位置ずれを補正させる、The alignment function corrects misalignment of image data to be perspectively projected from the viewpoint, line of sight, near plane, or far plane set based on the region of interest in accordance with the misalignment correction of the ultrasonic volume data.
ことを実現させる超音波画像表示プログラム。Ultrasonic image display program that realizes this.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010022504A JP5498185B2 (en) | 2010-02-03 | 2010-02-03 | Ultrasonic diagnostic apparatus and ultrasonic image display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010022504A JP5498185B2 (en) | 2010-02-03 | 2010-02-03 | Ultrasonic diagnostic apparatus and ultrasonic image display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011156286A JP2011156286A (en) | 2011-08-18 |
| JP5498185B2 true JP5498185B2 (en) | 2014-05-21 |
Family
ID=44588798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010022504A Active JP5498185B2 (en) | 2010-02-03 | 2010-02-03 | Ultrasonic diagnostic apparatus and ultrasonic image display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5498185B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101323334B1 (en) | 2012-05-14 | 2013-10-29 | 삼성메디슨 주식회사 | Apparatus and method for generating volume image |
| JP6173899B2 (en) * | 2013-12-11 | 2017-08-02 | 東芝メディカルシステムズ株式会社 | Ultrasound diagnostic imaging equipment |
| CN105979879B (en) * | 2014-01-24 | 2023-01-17 | 皇家飞利浦有限公司 | Virtual images with optical shape sensing device perspective |
| US10905400B2 (en) * | 2015-02-23 | 2021-02-02 | Canon Medical Systems Corporation | Apparatus and method for optimization of ultrasound images |
| GB201617444D0 (en) * | 2016-10-14 | 2016-11-30 | Fujitsu Ltd | Processing digital image to remove unwanted portion |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4389081B2 (en) * | 2002-09-12 | 2009-12-24 | 株式会社日立メディコ | Region-of-interest tracking control method, diagnostic imaging apparatus using the method, and region-of-interest tracking control program |
| US8083678B2 (en) * | 2003-04-16 | 2011-12-27 | Eastern Virginia Medical School | System, method and medium for acquiring and generating standardized operator independent ultrasound images of fetal, neonatal and adult organs |
| JP5208415B2 (en) * | 2003-04-16 | 2013-06-12 | イースタン バージニア メディカル スクール | Method, system and computer program for generating ultrasound images |
-
2010
- 2010-02-03 JP JP2010022504A patent/JP5498185B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011156286A (en) | 2011-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11103200B2 (en) | Medical device approaches | |
| US10426345B2 (en) | System for generating composite images for endoscopic surgery of moving and deformable anatomy | |
| JP6242569B2 (en) | Medical image display apparatus and X-ray diagnostic apparatus | |
| Mohamed et al. | A survey on 3D ultrasound reconstruction techniques | |
| US10231704B2 (en) | Method for acquiring ultrasonic data | |
| EP3003161B1 (en) | Method for 3d acquisition of ultrasound images | |
| US20230414201A1 (en) | Ultrasonic diagnostic apparatus | |
| US20130158405A1 (en) | 3D View of 2D Ultrasound Images | |
| JP2019517291A (en) | Image-based fusion of endoscopic and ultrasound images | |
| KR101538658B1 (en) | Medical image display method and apparatus | |
| US20160270757A1 (en) | Image-processing apparatus, image-processing method, and program | |
| JPH11164833A (en) | Medical image diagnostic apparatus | |
| US20150320391A1 (en) | Ultrasonic diagnostic device and medical image processing device | |
| US20180214133A1 (en) | Ultrasonic diagnostic apparatus and ultrasonic diagnostic assistance method | |
| US9582936B2 (en) | Method and apparatus for combining plurality of 2D images with 3D model | |
| JP4122463B2 (en) | Method for generating medical visible image | |
| JP5498185B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic image display program | |
| JP2001276066A (en) | Three-dimensional image processor | |
| WO2010109514A1 (en) | Ultrasonograph | |
| Zenbutsu et al. | 3D ultrasound assisted laparoscopic liver surgery by visualization of blood vessels | |
| JP2013048688A (en) | Image processing device, image processing method and program | |
| JP5751993B2 (en) | Image processing apparatus, image processing method, and program | |
| Viola et al. | High-Quality 3D Visualization of In-Situ Ultrasonography. | |
| Hoskins et al. | Three-dimensional ultrasound | |
| CN114027975A (en) | CT three-dimensional visualization system of puncture surgical robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131219 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140109 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5498185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |