[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7574123B2 - Image alignment device, method and program - Google Patents

Image alignment device, method and program Download PDF

Info

Publication number
JP7574123B2
JP7574123B2 JP2021050707A JP2021050707A JP7574123B2 JP 7574123 B2 JP7574123 B2 JP 7574123B2 JP 2021050707 A JP2021050707 A JP 2021050707A JP 2021050707 A JP2021050707 A JP 2021050707A JP 7574123 B2 JP7574123 B2 JP 7574123B2
Authority
JP
Japan
Prior art keywords
image
comparison
slice
slice image
inertia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021050707A
Other languages
Japanese (ja)
Other versions
JP2022148869A (en
Inventor
研一 吉田
Original Assignee
富士フイルム医療ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム医療ソリューションズ株式会社 filed Critical 富士フイルム医療ソリューションズ株式会社
Priority to JP2021050707A priority Critical patent/JP7574123B2/en
Publication of JP2022148869A publication Critical patent/JP2022148869A/en
Application granted granted Critical
Publication of JP7574123B2 publication Critical patent/JP7574123B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像位置合わせ装置、方法およびプログラムに関する。 This disclosure relates to an image alignment device, method, and program.

近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、CT画像およびMRI画像等の3次元画像を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。 In recent years, advances in medical equipment such as CT (Computed Tomography) and MRI (Magnetic Resonance Imaging) devices have made it possible to perform diagnostic imaging using higher quality, higher resolution medical images. In particular, diagnostic imaging using three-dimensional images such as CT and MRI images makes it possible to pinpoint the area of a lesion with high accuracy, and appropriate treatment can now be performed based on the results of this identification.

また、同一の患者について、撮影時期が異なる複数の3次元画像を同時に表示して経過観察を行う場合がある。このような場合、複数の3次元画像について対応する解剖学的位置のスライス画像を表示することにより、複数の3次元画像の比較読影を容易に行うことができる。 In addition, follow-up observations of the same patient may be performed by simultaneously displaying multiple 3D images taken at different times. In such cases, by displaying slice images of the corresponding anatomical positions for the multiple 3D images, it is easy to compare and interpret the multiple 3D images.

このため、複数の3次元画像間において位置合わせを行うための各種手法が提案されている。例えば特許文献1および非特許文献1,2には、比較元の画像および比較先の画像についての結合ヒストグラムを導出し、結合ヒストグラムから相互情報量と称される評価値を算出することにより位置合わせを行う手法が提案されている。相互情報量は、比較元の画素の濃度が決まったときに、対応する比較先の画素の濃度が高い確率で予測できる場合に高くなるような評価指標であり、CT画像とMRI画像とのように異なるモダリティ間の画像であっても位置合わせを行うことができる。 For this reason, various methods have been proposed for aligning multiple 3D images. For example, Patent Document 1 and Non-Patent Documents 1 and 2 propose a method for deriving joint histograms for a source image and a target image, and calculating an evaluation value called mutual information from the joint histogram to align the images. Mutual information is an evaluation index that is high when the density of the corresponding target pixel can be predicted with a high probability when the density of the source pixel is determined, and it is possible to align images even between different modalities such as CT images and MRI images.

また、同一部位を撮影した複数の画像間において、各画像の重心および慣性主軸を求め、画像間で重心および慣性主軸を一致させることにより、画像間の位置合わせを行う手法も提案されている(特許文献2参照)。 A method has also been proposed for aligning images by calculating the center of gravity and the principal axis of inertia of each of multiple images taken of the same part of the body and aligning the centers of gravity and the principal axis of inertia between the images (see Patent Document 2).

特開2011-239812号公報JP 2011-239812 A 特開平05-015525号公報Japanese Patent Application Publication No. 05-015525

“Alignment by maximization of mutual information”, P. Viola & W.M. Wells, Proceedings of IEEE International Conference on Computer Vision, 1995, DOI: 10.1109/ICCV.1995.466930“Alignment by maximization of mutual information”, P. Viola & W.M. Wells, Proceedings of IEEE International Conference on Computer Vision, 1995, DOI: 10.1109/ICCV.1995.466930 “Multimodality image registration by maximization of mutual information”, F. Maes et al., IEEE Transactions on Medical Imaging, Volume: 16, Issue: 2, April 1997, P.187-198, DOI: 10.1109/42.563664“Multimodality image registration by maximization of mutual information”, F. Maes et al., IEEE Transactions on Medical Imaging, Volume: 16, Issue: 2, April 1997, P.187-198, DOI: 10.1109/42.563664

しかしながら、相互情報量を用いた位置合わせは、最適解が得られるまでに相互情報量を繰り返し複数回評価する必要がある。このため、複数のスライス画像からなる3次元画像間で同一の解剖学的位置となるスライス画像の位置合わせを行う場合、比較対象となる画像が特定されるまでの演算量が多くなる。したがって、相互情報量を用いた位置合わせを行う場合、比較読影の際にリアルタイムで演算することは不向きである。また、特許文献2に記載された手法は、画像間の重心および慣性主軸を一致させる処理を行うのみであるため、位置合わせの精度がそれほど高くない。 However, in alignment using mutual information, it is necessary to repeatedly evaluate the mutual information multiple times before an optimal solution is obtained. For this reason, when aligning slice images that are in the same anatomical position between three-dimensional images consisting of multiple slice images, the amount of calculation required to identify the images to be compared increases. Therefore, when aligning using mutual information, it is not suitable to perform calculations in real time during comparative interpretation. In addition, the method described in Patent Document 2 only performs processing to match the centers of gravity and principal axes of inertia between images, and therefore the accuracy of alignment is not very high.

本開示は上記事情に鑑みなされたものであり、3次元画像間におけるスライス画像の位置合わせを比較的少ない演算量にて精度よく行うことができるようにすることを目的とする。 The present disclosure has been made in consideration of the above circumstances, and aims to enable accurate alignment of slice images between three-dimensional images with a relatively small amount of calculations.

本開示による画像位置合わせ装置は、少なくとも1つのプロセッサを備え、
プロセッサは、少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
第1の3次元画像に含まれる1つの比較元スライス画像と第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、比較元スライス画像と2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
評価値に基づいて比較先スライス画像のうちの比較元スライス画像に対応する比較対象スライス画像を決定する。
An image alignment apparatus according to the present disclosure includes at least one processor,
The processor acquires a first three-dimensional image comprising at least one slice image and a second three-dimensional image comprising a plurality of slice images;
At least one of the center of gravity of the subject region in the slice image plane and the inclination of the principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among the plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
A comparison target slice image corresponding to the comparison source slice image is determined from among the comparison target slice images based on the evaluation value.

なお、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像と2以上の比較先スライス画像のそれぞれとの間で、評価値を1回のみ導出するものであってもよい。 In addition, in the image registration device according to the present disclosure, the processor may derive an evaluation value only once between the comparison source slice image and each of two or more comparison destination slice images.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像における被写体領域の重心および慣性主軸の傾きの少なくとも一方を導出し、
2以上の比較先スライス画像のそれぞれにおける被写体領域の重心および慣性主軸の傾きの少なくとも一方を導出するものであってもよい。
In the image registration apparatus according to the present disclosure, the processor derives at least one of the center of gravity and the inclination of the principal axis of inertia of the object region in the comparison source slice image;
At least one of the center of gravity and the inclination of the principal axis of inertia of the subject region in each of the two or more comparison target slice images may be derived.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像および比較先スライス画像の濃度を、その面密度に持つ剛体と見なすことにより、比較元スライス画像における被写体領域の重心および慣性主軸の傾き、並びに比較先スライス画像における被写体領域の重心および慣性主軸の傾きを導出するものであってもよい。 In addition, in the image alignment device according to the present disclosure, the processor may derive the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison source slice image and the inclination of the principal axis of inertia of the subject region in the comparison destination slice image by regarding the densities of the comparison source slice image and the comparison destination slice image as rigid bodies having their surface densities.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像および比較先スライス画像を被写体領域と背景領域とに二値化処理し、
被写体領域を一定の面密度を持つ剛体と見なすことにより、比較元スライス画像における被写体領域の重心および慣性主軸の傾き、並びに比較先スライス画像における被写体領域の重心および慣性主軸の傾きを導出するものであってもよい。
In the image registration device according to the present disclosure, the processor performs binarization processing on the comparison source slice image and the comparison destination slice image into a subject region and a background region;
By regarding the subject region as a rigid body with a constant surface density, the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison source slice image, as well as the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison target slice image, may be derived.

また、本開示による画像位置合わせ装置においては、二値化処理は、二値化された画像に対する膨張および収縮の組み合わせによるフィルタ処理を含むものであってもよい。 In addition, in the image alignment device according to the present disclosure, the binarization process may include a filtering process that combines dilation and erosion of the binarized image.

また、本開示による画像位置合わせ装置においては、評価値は、比較元スライス画像と2以上の比較先スライス画像のそれぞれとの相互情報量、差の絶対値の総和、差の二乗和および正規化相互相関係数のいずれかであってもよい。 In addition, in the image alignment device according to the present disclosure, the evaluation value may be any one of the mutual information between the comparison source slice image and each of two or more comparison target slice images, the sum of the absolute values of the differences, the sum of the squared differences, and the normalized cross-correlation coefficient.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像および2以上の比較先スライス画像の双方における被写体領域の重心および慣性主軸の傾きの少なくとも一方を、基準となる位置および軸の少なくとも一方に一致させることにより、被写体領域の重心および慣性主軸の傾きの少なくとも一方を、比較元スライス画像と2以上の比較先スライス画像との間で一致させるものであってもよい。 In addition, in the image registration device according to the present disclosure, the processor may match at least one of the center of gravity and the tilt of the principal axis of inertia of the subject region in both the comparison source slice image and the two or more comparison destination slice images with at least one of a reference position and axis, thereby matching at least one of the center of gravity and the tilt of the principal axis of inertia of the subject region between the comparison source slice image and the two or more comparison destination slice images.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像および比較対象スライス画像をディスプレイに表示するものであってもよい。 In addition, in the image registration device according to the present disclosure, the processor may display the comparison source slice image and the comparison target slice image on a display.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像と比較対象スライス画像との間において、被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための比較元スライス画像と比較対象スライス画像との位置合わせ量を保存するものであってもよい。 In addition, in the image alignment device according to the present disclosure, the processor may store an amount of alignment between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像が切り替えられた場合、保存された位置合わせ量を用いて、切り替えられた比較元スライス画像と2以上の比較先スライス画像のそれぞれとの間で、被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるものであってもよい。 In addition, in the image alignment device according to the present disclosure, when the comparison source slice image is switched, the processor may use the stored alignment amount to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region between the switched comparison source slice image and each of two or more comparison destination slice images.

また、本開示による画像位置合わせ装置においては、プロセッサは、比較元スライス画像が切り替えられた場合、切り替えられた比較元スライス画像があらかじめ定められた条件を満足するか否かを判定し、判定が否定された場合、保存された位置合わせ量を用いて、切り替えられた比較元スライス画像と2以上の比較先スライス画像のそれぞれとの間で、被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
判定が肯定された場合、切り替えられた比較元スライス画像と2以上の比較先スライス画像のそれぞれとの間で、新たに位置合わせ量を導出して被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるものであってもよい。
In addition, in the image registration device according to the present disclosure, when the comparison source slice image is switched, the processor determines whether or not the switched comparison source slice image satisfies a predetermined condition, and if the determination is negative, matches at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region between the switched comparison source slice image and each of the two or more comparison destination slice images using the stored registration amount;
If the judgment is positive, a new alignment amount may be derived between the switched comparison source slice image and each of the two or more comparison destination slice images to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area.

本開示による画像位置合わせ方法は、少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
第1の3次元画像に含まれる1つの比較元スライス画像と第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、比較元スライス画像と2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
評価値に基づいて比較先スライス画像のうちの比較元スライス画像に対応する比較対象スライス画像を決定する。
The image registration method according to the present disclosure includes obtaining a first three-dimensional image including at least one slice image and a second three-dimensional image including a plurality of slice images;
At least one of the center of gravity of the subject region in the slice image plane and the inclination of the principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among the plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
A comparison target slice image corresponding to the comparison source slice image is determined from among the comparison target slice images based on the evaluation value.

なお、本開示による画像位置合わせ方法をコンピュータに実行させるためのプログラムとして提供してもよい。 The image alignment method disclosed herein may be provided as a program for causing a computer to execute the method.

本開示によれば、3次元画像間におけるスライス画像の位置合わせを比較的少ない演算量にて精度よく行うことができる。 According to the present disclosure, it is possible to perform accurate alignment of slice images between 3D images with a relatively small amount of calculations.

本開示の第1の実施形態による画像位置合わせ装置を適用した医療情報システムの概略構成を示す図FIG. 1 is a diagram showing a schematic configuration of a medical information system to which an image registration apparatus according to a first embodiment of the present disclosure is applied; 第1の実施形態による画像位置合わせ装置の概略構成を示す図FIG. 1 is a diagram showing a schematic configuration of an image alignment apparatus according to a first embodiment; 第1の実施形態による画像位置合わせ装置の機能構成図Functional configuration diagram of an image alignment device according to a first embodiment 被写体領域を特定する処理を説明するための図FIG. 1 is a diagram for explaining a process for identifying a subject region; 第1の位置合わせの概念を示す図FIG. 1 is a diagram illustrating a first alignment concept. 第1の位置合わせを説明するための図FIG. 1 is a diagram for explaining a first alignment; 比較対象スライス画像の決定を説明するための図FIG. 1 is a diagram for explaining determination of a comparison slice image; CT画像の表示画面を示す図FIG. 1 shows a display screen of a CT image. 第1の実施形態において行われる処理を示すフローチャート1 is a flowchart showing a process performed in the first embodiment. 第2の実施形態において行われる処理を示すフローチャート1 is a flowchart showing a process performed in a second embodiment. 第2の実施形態において行われる処理を示すフローチャート1 is a flowchart showing a process performed in a second embodiment. 第3の実施形態において行われる処理を示すフローチャート10 is a flowchart showing the process performed in the third embodiment. 第3の実施形態において行われる処理を示すフローチャート10 is a flowchart showing the process performed in the third embodiment.

以下、図面を参照して本開示の実施形態について説明する。まず、第1の実施形態による画像位置合わせ装置を適用した医療情報システム1の構成について説明する。図1は、医療情報システム1の概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された3次元画像等の医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。 Below, an embodiment of the present disclosure will be described with reference to the drawings. First, the configuration of a medical information system 1 to which an image alignment device according to a first embodiment is applied will be described. FIG. 1 is a diagram showing a schematic configuration of the medical information system 1. The medical information system 1 shown in FIG. 1 is a system for photographing the subject's examination target area, storing medical images such as three-dimensional images acquired by photographing, interpreting the medical images by a radiologist and creating an interpretation report, and allowing the requesting doctor in the medical department to view the interpretation report and observe the details of the medical image to be interpreted, based on an examination order from a doctor in a medical department using a known ordering system.

図1に示すように、医療情報システム1は、複数の撮影装置2、読影端末である複数の読影WS(WorkStation)3、診療WS4、画像サーバ5、画像データベース(以下、画像DB(DataBase)とする)6、レポートサーバ7およびレポートデータベース(以下レポートDBとする)8が、有線または無線のネットワーク10を介して互いに通信可能な状態で接続されて構成されている。なお、医療情報システム1の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。 As shown in FIG. 1, the medical information system 1 is configured by connecting multiple imaging devices 2, multiple image interpretation WSs (Work Stations) 3 that are image interpretation terminals, a medical treatment WS 4, an image server 5, an image database (hereinafter referred to as image DB (DataBase)) 6, a report server 7, and a report database (hereinafter referred to as report DB) 8 in a state in which they can communicate with each other via a wired or wireless network 10. A specific example of the medical information system 1 is a PACS (Picture Archiving and Communication System).

各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク10に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)およびCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。 Each device is a computer installed with an application program that enables the device to function as a component of the medical information system 1. The application program is stored in a state accessible from outside in the storage device of a server computer connected to the network 10 or in network storage, and is downloaded and installed on the computer upon request. Alternatively, the application program is distributed on a recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory), and is installed on the computer from the recording medium.

撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置(モダリティ)である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。本実施形態においては、撮影装置2において、複数のスライス画像からなる3次元画像を医用画像として取得するものとする。撮影装置2により生成された医用画像は画像サーバ5に送信され、画像DB6に保存される。 The imaging device 2 is a device (modality) that generates medical images representing the diagnostic target part of the subject by capturing an image of the diagnostic target part. Specifically, it is a plain X-ray device, a CT device, an MRI device, a PET (Positron Emission Tomography) device, etc. In this embodiment, the imaging device 2 acquires a three-dimensional image consisting of multiple slice images as a medical image. The medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6.

読影WS3は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、第1の実施形態による画像位置合わせ装置を内包する。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像の読影、読影結果に基づく読影レポートの作成、レポートサーバ7に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、読影WS3が各処理のためのソフトウェアプログラムを実行することにより行われる。 The image interpretation WS3 is a computer used by, for example, a radiologist to interpret medical images and create image interpretation reports, and includes an image alignment device according to the first embodiment. The image interpretation WS3 performs the following operations: requesting the image server 5 to view medical images, performing various image processing on medical images received from the image server 5, displaying medical images, interpreting medical images, creating image interpretation reports based on the image interpretation results, making requests to the report server 7 to register and view image interpretation reports, and displaying image interpretation reports received from the report server 7. These processes are performed by the image interpretation WS3 executing software programs for each process.

診療WS4は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療WS4では、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、レポートサーバ7に対する読影レポートの閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、診療WS4が各処理のためのソフトウェアプログラムを実行することにより行われる。 The clinical WS4 is a computer used by doctors in the clinical department for detailed observation of images, viewing of interpretation reports, and creation of electronic medical records, and is composed of a processing device, a display device such as a monitor, and an input device such as a keyboard and a mouse. The clinical WS4 makes image viewing requests to the image server 5, displays images received from the image server 5, makes viewing requests to the report server 7 for interpretation reports, and displays interpretation reports received from the report server 7. These processes are performed by the clinical WS4 executing the software programs for each process.

画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像DB6が構成されるストレージを備えている。ストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク10に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像DB6に登録する。 The image server 5 is a general-purpose computer with a software program installed that provides the functions of a database management system (DBMS). The image server 5 also has storage in which the image DB 6 is configured. The storage may be a hard disk device connected to the image server 5 via a data bus, or a disk device connected to a NAS (Network Attached Storage) or SAN (Storage Area Network) connected to the network 10. When the image server 5 receives a request to register a medical image from the imaging device 2, it prepares the medical image in a database format and registers it in the image DB 6.

画像DB6には、撮影装置2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、本実施形態においては、画像DB6は、複数の患者についての複数の医用画像を保管して管理している。複数の医用画像は、同一患者についての撮影日時が異なる医用画像、または同一患者についての撮影装置(すなわちモダリティ)が異なる複数の医用画像も含む。例えば、画像DB6は、同一患者について撮影時期が異なるCT画像、並びに同一患者についてCT装置およびMRI装置により同時期に取得されたCT画像およびMRI画像を保管して管理している。 In the image DB 6, image data of medical images acquired by the imaging device 2 and supplementary information are registered. The supplementary information includes, for example, an image ID (identification) for identifying each medical image, a patient ID for identifying the subject, an examination ID for identifying the examination, a unique ID (UID: unique identification) assigned to each medical image, the examination date when the medical image was generated, the examination time, the type of imaging device used in the examination to acquire the medical image, patient information such as the patient's name, age, and gender, the examination site (imaging site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast agent, etc.), and a series number or collection number when multiple medical images are acquired in one examination. In this embodiment, the image DB 6 stores and manages multiple medical images of multiple patients. The multiple medical images include medical images of the same patient with different imaging dates and times, or multiple medical images of the same patient with different imaging devices (i.e., modalities). For example, image DB6 stores and manages CT images taken at different times for the same patient, as well as CT images and MRI images taken at the same time for the same patient by a CT device and an MRI device.

また、画像サーバ5は、読影WS3および診療WS4からの閲覧要求をネットワーク10経由で受信すると、画像DB6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3および診療WS4に送信する。 When the image server 5 receives a viewing request from the image interpretation WS 3 and medical treatment WS 4 via the network 10, it searches for medical images registered in the image DB 6 and transmits the searched medical images to the image interpretation WS 3 and medical treatment WS 4 that made the request.

レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートDB8に登録する。 The report server 7 is equipped with a software program that provides a general-purpose computer with the functionality of a database management system. When the report server 7 receives a request to register an image reading report from the image reading WS 3, it formats the image reading report in a database format and registers it in the report DB 8.

レポートDB8には、読影医が読影WS3を用いて作成した読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ID、読影を行った読影医を識別するための読影医ID、病変名、および病変の位置情報等を含んでいてもよい。 The report DB8 stores image interpretation reports created by image interpretation physicians using the image interpretation WS3. The image interpretation report may include, for example, the medical image to be interpreted, an image ID for identifying the medical image, an image interpretation physician ID for identifying the image interpretation physician who performed the image interpretation, the lesion name, and location information of the lesion.

また、レポートサーバ7は、読影WS3および診療WS4からの読影レポートの閲覧要求をネットワーク10経由で受信すると、レポートDB8に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影WS3および診療WS4に送信する。 When the report server 7 receives a request to view an image reading report from the image reading WS 3 and the medical treatment WS 4 via the network 10, it searches for the image reading report registered in the report DB 8 and transmits the searched image reading report to the image reading WS 3 and the medical treatment WS 4 that made the request.

ネットワーク10は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。ネットワーク10に接続される各種機器は、同一の施設内にあるものには限定されない。他の病院および診療所等の地理的に遠隔地にある施設にあってもよい。この場合、ネットワーク10は、各施設のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成とすればよい。 Network 10 is a wired or wireless local area network that connects various devices within a hospital. The various devices connected to network 10 are not limited to those located within the same facility. They may be located in facilities in geographically remote locations, such as other hospitals and clinics. In this case, network 10 may be configured to connect the local area networks of each facility via the Internet or a dedicated line.

次いで、本開示の第1の実施形態による画像位置合わせ装置について説明する。図2は、第1の実施形態による画像位置合わせ装置のハードウェア構成を説明する。図2に示すように、画像位置合わせ装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、画像位置合わせ装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク10に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。CPU11は、本開示におけるプロセッサの一例である。 Next, an image alignment device according to a first embodiment of the present disclosure will be described. FIG. 2 describes the hardware configuration of the image alignment device according to the first embodiment. As shown in FIG. 2, the image alignment device 20 includes a CPU (Central Processing Unit) 11, non-volatile storage 13, and memory 16 as a temporary storage area. The image alignment device 20 also includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I/F (InterFace) 17 connected to a network 10. The CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I/F 17 are connected to a bus 18. The CPU 11 is an example of a processor in the present disclosure.

ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、画像位置合わせプログラム12が記憶される。CPU11は、ストレージ13から画像位置合わせプログラム12を読み出してからメモリ16に展開し、展開した画像位置合わせプログラム12を実行する。 The storage 13 is realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, etc. The image alignment program 12 is stored in the storage 13 as a storage medium. The CPU 11 reads the image alignment program 12 from the storage 13, expands it in the memory 16, and executes the expanded image alignment program 12.

次いで、第1の実施形態による画像位置合わせ装置の機能的な構成を説明する。図3は、第1の実施形態による画像位置合わせ装置の機能的な構成を示す図である。図3に示すように画像位置合わせ装置20は、画像取得部21、第1導出部22、第1位置合わせ部23、第2導出部24、第2位置合わせ部25および表示制御部26を備える。そしてCPU11が画像位置合わせプログラム12を実行することにより、CPU11は、画像取得部21、第1導出部22、第1位置合わせ部23、第2導出部24、第2位置合わせ部25および表示制御部26として機能する。 Next, the functional configuration of the image alignment device according to the first embodiment will be described. FIG. 3 is a diagram showing the functional configuration of the image alignment device according to the first embodiment. As shown in FIG. 3, the image alignment device 20 includes an image acquisition unit 21, a first derivation unit 22, a first alignment unit 23, a second derivation unit 24, a second alignment unit 25, and a display control unit 26. When the CPU 11 executes the image alignment program 12, the CPU 11 functions as the image acquisition unit 21, the first derivation unit 22, the first alignment unit 23, the second derivation unit 24, the second alignment unit 25, and the display control unit 26.

ここで、本実施形態による画像位置合わせ装置20は、同一患者について撮影時期が異なる2つの3次元画像の比較読影を行う場合の画像位置合わせを行うものである。なお、本実施形態においては、3次元画像は複数のアキシャル断面のスライス画像からなるCT画像であるものとする。以下、2つの3次元画像のうち撮影時期が新しい3次元画像を第1の3次元画像G1、撮影時期が古い3次元画像を第2の3次元画像G2とする。 The image alignment device 20 according to this embodiment aligns images when performing comparative reading of two three-dimensional images taken at different times for the same patient. In this embodiment, the three-dimensional images are CT images consisting of slice images of multiple axial sections. Hereinafter, the two three-dimensional images that were taken more recently will be referred to as the first three-dimensional image G1, and the one that was taken earlier will be referred to as the second three-dimensional image G2.

比較読影を行うために、後述するように表示制御部26は第1の3次元画像G1と第2の3次元画像G2とを並べてディスプレイ14に表示する。この際、第1の3次元画像G1について所望とされる解剖学的位置のスライス画像が表示される。表示されたスライス画像が比較元スライス画像となる。本実施形態においては、表示された1つの比較元スライス画像と解剖学的位置が対応する比較対象スライス画像を、第2の3次元画像G2に含まれる複数のスライス画像のうちの2以上の比較先スライス画像から決定することにより、第1の3次元画像G1と第2の3次元画像G2との位置合わせを行う。したがって、本実施形態における画像位置合わせとは、第1および第2の3次元画像G1,G2における対応する解剖学的位置のスライス画像を一致させる処理となる。 To perform comparative interpretation, the display control unit 26 displays the first three-dimensional image G1 and the second three-dimensional image G2 side by side on the display 14, as described below. At this time, a slice image of a desired anatomical position for the first three-dimensional image G1 is displayed. The displayed slice image becomes a comparison source slice image. In this embodiment, the first three-dimensional image G1 and the second three-dimensional image G2 are aligned by determining a comparison target slice image whose anatomical position corresponds to the one displayed comparison source slice image from two or more comparison target slice images among the multiple slice images included in the second three-dimensional image G2. Therefore, image alignment in this embodiment is a process of matching slice images of corresponding anatomical positions in the first and second three-dimensional images G1 and G2.

画像取得部21は、操作者である読影医による入力デバイス15からの指示により、画像サーバ5から読影レポートを作成するための第1の3次元画像G1および第2の3次元画像G2を取得する。 The image acquisition unit 21 acquires a first three-dimensional image G1 and a second three-dimensional image G2 from the image server 5 in response to instructions from the operator, the radiologist, via the input device 15 for creating an interpretation report.

第1および第2の3次元画像G1,G2は、ディスプレイ14に表示して観察が可能なようにウィンドウレベルおよびウィンドウ幅が設定されている。ウィンドウレベルとは、CT画像のような信号値の幅が広い3次元画像をディスプレイ14に表示する際に、ディスプレイ14が表示可能な階調における、観察したい部位の中心となるCT値である。ウィンドウ幅とは、観察したい部位のCT値の下限値と上限値との幅である。また、第1および第2の3次元画像G1,G2の座標系は被写体の足から頭に向かう方向をz方向、スライス面において被写体の左に向かう方向をx方向、スライス面において被写体の後に向かう方向をy方向とする。 The window level and window width are set for the first and second three-dimensional images G1, G2 so that they can be displayed and observed on the display 14. The window level is the CT value that is the center of the area to be observed in the gradation that the display 14 can display when a three-dimensional image with a wide range of signal values such as a CT image is displayed on the display 14. The window width is the range between the lower and upper limits of the CT value of the area to be observed. In addition, the coordinate system of the first and second three-dimensional images G1, G2 has the direction from the subject's feet to the head as the z direction, the direction toward the left of the subject on the slice plane as the x direction, and the direction toward the rear of the subject on the slice plane as the y direction.

第1導出部22は、第1の3次元画像G1に含まれる1つの比較元スライス画像における被写体領域の重心および慣性主軸の傾きを導出する。なお、比較元スライス画像は、表示制御部26によりディスプレイ14に表示されている1つのスライス画像である。また、第1導出部22は、第2の3次元画像G2に含まれる複数のスライス画像のうちの2以上の比較先スライス画像における被写体領域の重心および慣性主軸の傾きを導出する。なお、2以上の比較先スライス画像とは、第2の3次元画像G2に含まれるすべてのスライス画像であってもよく、一部のスライス画像であってもよい。一部のスライス画像は、第2の3次元画像G2に含まれるすべてのスライス画像のうちの、あらかじめ定められた間隔で間引かれたスライス画像であってもよい。また、一部のスライス画像は、第2の3次元画像G2に含まれるすべてのスライス画像のうちの、比較元スライス画像と対応すると予測されるスライス画像およびこれに隣接する1以上のスライス画像であってもよい。 The first derivation unit 22 derives the center of gravity of the subject region and the inclination of the principal axis of inertia in one comparison source slice image included in the first three-dimensional image G1. The comparison source slice image is one slice image displayed on the display 14 by the display control unit 26. The first derivation unit 22 also derives the center of gravity of the subject region and the inclination of the principal axis of inertia in two or more comparison target slice images among the multiple slice images included in the second three-dimensional image G2. The two or more comparison target slice images may be all slice images included in the second three-dimensional image G2, or may be a part of the slice images. The part of the slice images may be slice images thinned out at a predetermined interval among all slice images included in the second three-dimensional image G2. The part of the slice images may be slice images predicted to correspond to the comparison source slice image and one or more slice images adjacent thereto among all slice images included in the second three-dimensional image G2.

以下、比較元スライス画像における被写体領域の重心および慣性主軸の傾きの導出について説明する。第1導出部22は、比較元スライス画像における被写体領域の重心および慣性主軸の傾きの導出に際して、比較元スライス画像における被写体領域を特定する。図4は被写体領域を特定する処理を説明するための図である。図4において左右方向がx方向、上下方向がy方向となる。まず、第1導出部22は比較元スライス画像SL1を被写体領域と背景領域とに二値化処理する。二値化処理のしきい値は、比較元スライス画像SL1に含まれる被写体領域と背景領域とを分けるために適切な値に設定される。図4においては、二値化された比較元スライス画像SL1-1の背景領域を白、被写体領域を黒で示している。 The following describes the derivation of the center of gravity of the subject region in the comparison source slice image and the tilt of the principal axis of inertia. When deriving the center of gravity of the subject region in the comparison source slice image and the tilt of the principal axis of inertia, the first derivation unit 22 identifies the subject region in the comparison source slice image. FIG. 4 is a diagram for explaining the process of identifying the subject region. In FIG. 4, the left-right direction is the x-direction, and the up-down direction is the y-direction. First, the first derivation unit 22 binarizes the comparison source slice image SL1 into a subject region and a background region. The threshold value for the binarization process is set to an appropriate value for separating the subject region and the background region included in the comparison source slice image SL1. In FIG. 4, the background region of the binarized comparison source slice image SL1-1 is shown in white, and the subject region is shown in black.

ここで、図4に示すように二値化された比較元スライス画像SL1-1には、ノイズ等の影響により、被写体領域内に値が0となる小領域(以下、穴とする)が存在する。第1導出部22は、穴40を被写体領域に含めるために、二値化された比較元スライス画像SL1-1に対する膨張および収縮の組み合わせによるフィルタ処理を行う。フィルタ処理は、例えば、モフォロジーフィルタを用いたオープニング処理またはクロージング処理を用いることができる。これにより、図4に示すように、被写体領域に含まれる穴40が除去された、二値化された比較元スライス画像SL1-2を導出する。なお、オープニング処理またはクロージング処理に代えて、被写体領域に含まれる、任意のフィルタを用いてあらかじめ定められたしきい値以下の面積となる背景領域を被写体領域と同じ色に修正するフィルタ処理を行うようにしてもよい。 As shown in FIG. 4, the binarized comparison source slice image SL1-1 has a small area (hereinafter, referred to as a hole) in the subject area where the value is 0 due to the influence of noise, etc. The first derivation unit 22 performs a filter process on the binarized comparison source slice image SL1-1 by combining expansion and contraction in order to include the hole 40 in the subject area. The filter process may be, for example, an opening process or a closing process using a morphological filter. As a result, as shown in FIG. 4, the binarized comparison source slice image SL1-2 is derived from which the hole 40 included in the subject area has been removed. Note that instead of the opening process or the closing process, a filter process may be performed to modify a background area included in the subject area, which has an area equal to or smaller than a predetermined threshold value using an arbitrary filter, to the same color as the subject area.

第1導出部22は、二値化され、かつフィルタ処理された比較元スライス画像SL1-2の被写体領域を一定の面密度を持つ2次元的な平板状の剛体と見なすことにより、比較元スライス画像SL1における被写体領域の重心および画像面内における慣性主軸の傾きを導出する。具体的には、まず以下の式(1)により、重心(x0,y0)を導出する。なお、式(1)においてρ(i,j)は二値化された比較元スライス画像SL1-2の画素位置(i,j)における濃度に対応する面密度である。
The first derivation unit 22 derives the center of gravity of the subject region in the comparison source slice image SL1 and the inclination of the principal axis of inertia in the image plane by regarding the binarized and filtered comparison source slice image SL1-2 as a two-dimensional, flat, rigid body having a constant surface density. Specifically, the first derivation unit 22 derives the center of gravity (x0, y0) by the following formula (1). In formula (1), ρ(i, j) is the surface density corresponding to the density at the pixel position (i, j) of the binarized comparison source slice image SL1-2.

一方、第1導出部22は慣性主軸の傾きの導出に際して、まず慣性テンソルIを下記の式(2)により導出する。
On the other hand, when deriving the inclination of the principal axis of inertia, the first derivation unit 22 first derives the inertia tensor I by the following equation (2).

画像面内における慣性主軸の傾きは、慣性テンソルIの非対角成分(慣性乗積)が0になるような座標変換に対応する。このため、非対角成分が0になるという条件から、2次方程式の解の公式を利用して、慣性主軸の傾きθは下記の式(3)により求められる。
The inclination of the principal axis of inertia in the image plane corresponds to a coordinate transformation in which the off-diagonal components (product of inertia) of the inertia tensor I become 0. Therefore, based on the condition that the off-diagonal components become 0, the inclination θ of the principal axis of inertia can be obtained by the following formula (3) using the formula for solving a quadratic equation.

ここで、3次元画像のアキシャル断面のスライス画像に含まれる被写体領域は、一般に頭部は縦長、胴体は横長になる。このため、慣性主軸は縦になったり横になったりする。本実施形態において、第1導出部22が慣性主軸の傾きθを求める目的は、比較元スライス画像SL1と比較先スライス画像SL2との相対的な傾きの相違を求めるためである。したがって、第1導出部22は、式(3)により算出される2つの解のうち、絶対値が小さい方の解(x軸となす角度を0度とした場合の±90度に近くない方の解)を被写体の傾きと解釈し、慣性主軸の傾きθとして導出する。 Here, the subject region included in the slice image of the axial section of the three-dimensional image is generally vertical for the head and horizontal for the torso. Therefore, the principal axis of inertia can be vertical or horizontal. In this embodiment, the first derivation unit 22 determines the tilt θ of the principal axis of inertia in order to determine the relative difference in tilt between the comparison source slice image SL1 and the comparison target slice image SL2. Therefore, of the two solutions calculated by equation (3), the first derivation unit 22 interprets the solution with the smaller absolute value (the solution that is not close to ±90 degrees when the angle with the x-axis is 0 degrees) as the tilt of the subject, and derives it as the tilt θ of the principal axis of inertia.

なお、第1導出部22は、第2の3次元画像G2に含まれる2以上の比較先スライス画像SL2の被写体領域の重心および慣性主軸の傾きも上記と同様に導出する。 The first derivation unit 22 also derives the center of gravity and the inclination of the principal axis of inertia of the subject region of two or more comparison slice images SL2 included in the second three-dimensional image G2 in the same manner as described above.

第1位置合わせ部23は、被写体領域の重心および慣性主軸の傾きの少なくとも一方を、比較元スライス画像SL1と2以上の比較先スライス画像SL2との間で一致させる第1の位置合わせを行う。図5は第1の位置合わせの概念を示す図である。本実施形態においては、図5に示すように、1つの比較元スライス画像SL1と、2以上の比較先スライス画像SL2との間で第1の位置合わせを行う。 The first alignment unit 23 performs a first alignment to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region between the comparison source slice image SL1 and two or more comparison destination slice images SL2. FIG. 5 is a diagram showing the concept of the first alignment. In this embodiment, as shown in FIG. 5, the first alignment is performed between one comparison source slice image SL1 and two or more comparison destination slice images SL2.

なお、本実施形態においては、被写体領域の重心および慣性主軸の傾きの双方を比較元スライス画像SL1と2以上の比較先スライス画像SL2との間で一致させるものとするが、これに限定されるものではない。被写体領域の重心および慣性主軸の傾きのいずれか一方のみを、比較元スライス画像SL1と2以上の比較先スライス画像SL2との間で一致させるものとしてもよい。 In this embodiment, both the center of gravity of the subject region and the inclination of the principal axis of inertia are made to coincide between the comparison source slice image SL1 and two or more comparison target slice images SL2, but this is not limited to the above. Only one of the center of gravity of the subject region and the inclination of the principal axis of inertia may be made to coincide between the comparison source slice image SL1 and two or more comparison target slice images SL2.

図6は第1の位置合わせを説明するための図である。図6に示すように比較元スライス画像SL1と比較先スライス画像SL2とでは、重心g1と重心g2とが異なる位置にある。また、慣性主軸41の傾きθ1と慣性主軸42の傾きθ2とが異なる。なお、図6に示した重心g1,g2の位置の相違および慣性主軸41,42の傾きθ1,θ2の相違は例示に過ぎないものであり、実際には図6に示す相違よりも小さいものである。 Figure 6 is a diagram for explaining the first alignment. As shown in Figure 6, the comparison source slice image SL1 and the comparison target slice image SL2 have centers of gravity g1 and g2 at different positions. Also, the inclination θ1 of the principal axis of inertia 41 and the inclination θ2 of the principal axis of inertia 42 are different. Note that the difference in the positions of the centers of gravity g1 and g2 and the difference in the inclinations θ1 and θ2 of the principal axes of inertia 41 and 42 shown in Figure 6 are merely examples, and in reality, the difference is smaller than that shown in Figure 6.

第1位置合わせ部23は、重心g1と重心g2とを一致させるための、比較元スライス画像SL1と比較先スライス画像SL2との相対的な平行移動量を導出する。そして、比較元スライス画像SL1と比較先スライス画像SL2とを、導出した平行移動量に基づいて相対的に平行移動することにより、重心g1と重心g2とを一致させる。さらに、第1位置合わせ部23は、比較元スライス画像SL1の慣性主軸41の傾きθ1と比較先スライス画像SL2の慣性主軸42の傾きθ2とを一致させるための、一致後の重心g1,g2を中心とした相対的な回転量を導出する。そして、第1位置合わせ部23は、導出した回転量に基づいて、比較元スライス画像SL1と比較先スライス画像SL2とを、一致させた重心g1,g2の周りに相対的に回転することにより慣性主軸41,42の傾きを一致させる。導出された平行移動量および回転量が位置合わせ量の一例である。 The first alignment unit 23 derives a relative translation amount between the comparison source slice image SL1 and the comparison target slice image SL2 to align the centers of gravity g1 and g2. Then, the comparison source slice image SL1 and the comparison target slice image SL2 are translated relatively based on the derived translation amount, so that the centers of gravity g1 and g2 are aligned. Furthermore, the first alignment unit 23 derives a relative rotation amount around the centers of gravity g1 and g2 after alignment to align the inclination θ1 of the principal axis of inertia 41 of the comparison source slice image SL1 and the inclination θ2 of the principal axis of inertia 42 of the comparison target slice image SL2. Then, the first alignment unit 23 aligns the inclinations of the principal axes of inertia 41 and 42 by rotating the comparison source slice image SL1 and the comparison target slice image SL2 relatively around the aligned centers of gravity g1 and g2 based on the derived rotation amount. The derived translation and rotation amounts are examples of alignment amounts.

この際、比較元スライス画像SL1を比較先スライス画像SL2に一致させるように第1の位置合わせを行ってもよく、比較先スライス画像SL2を比較元スライス画像SL1に一致させるように第1の位置合わせを行ってもよい。さらに、重心g1および重心g2が基準位置と一致し、慣性主軸の傾きθ1および慣性主軸の傾きθ2が基準角度と一致するように比較元スライス画像SL1および比較先スライス画像SL2の双方を移動および回転させることにより、第1の位置合わせを行ってもよい。なお、基準位置としては比較元スライス画像SL1および比較先スライス画像SL2の画像の中心位置を用いることができる。基準角度としては0度を用いることができる。0度は慣性主軸が比較元スライス画像SL1および比較先スライス画像SL2におけるx軸と一致する角度である。 At this time, the first alignment may be performed so that the comparison source slice image SL1 coincides with the comparison target slice image SL2, or the first alignment may be performed so that the comparison target slice image SL2 coincides with the comparison source slice image SL1. Furthermore, the first alignment may be performed by moving and rotating both the comparison source slice image SL1 and the comparison target slice image SL2 so that the centers of gravity g1 and g2 coincide with the reference positions and the inclinations θ1 and θ2 of the principal axes of inertia coincide with the reference angles. Note that the center positions of the images of the comparison source slice image SL1 and the comparison target slice image SL2 can be used as the reference position. 0 degrees can be used as the reference angle. 0 degrees is the angle at which the principal axes of inertia coincide with the x-axis in the comparison source slice image SL1 and the comparison target slice image SL2.

第2導出部24は、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出する。類似度を表す評価値としては、例えば相互情報量を用いることができる。相互情報量の導出に際して、第2導出部24は、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの結合ヒストグラムを導出する。 The second derivation unit 24 derives an evaluation value representing the similarity between the comparison source slice image SL1 after the first alignment and each of the two or more comparison destination slice images SL2. For example, mutual information can be used as the evaluation value representing the similarity. When deriving the mutual information, the second derivation unit 24 derives a joint histogram between the comparison source slice image SL1 after the first alignment and each of the two or more comparison destination slice images SL2.

結合ヒストグラムは、比較元スライス画像SL1の画素値と1つの比較先スライス画像SL2の画素値との2次元の度数分布を表したものである。本実施形態においては、比較元スライス画像SL1および比較先スライス画像SL2の階調を256段階とすると、結合ヒストグラムは256画素×256画素のサイズを有し、各画素の画素値が度数となる2次元画像で表すことが可能である。 The combined histogram represents a two-dimensional frequency distribution of pixel values of the comparison source slice image SL1 and one comparison destination slice image SL2. In this embodiment, if the comparison source slice image SL1 and comparison destination slice image SL2 have 256 gradation levels, the combined histogram has a size of 256 pixels x 256 pixels, and can be represented as a two-dimensional image in which the pixel value of each pixel is a frequency.

第2導出部24は、結合ヒストグラムを用いて相互情報量を導出する。相互情報量は例えば上記特許文献1および非特許文献1,2に記載された手法等、任意の手法を用いることができる。ここで、相互情報量とは、2つの事象AとBについて、事象Aが有している事象Bに関する情報量を定量化した尺度である。画像の位置合わせにおいて用いられる相互情報量は正規化相互情報量と称される。正規化相互情報量NMI(A,B)は、事象Aと事象Bとの2次元の結合ヒストグラムHist(a,b)から下式(4)によって求められる。
The second derivation unit 24 derives the mutual information using the joint histogram. Any method can be used for the mutual information, such as the methods described in Patent Document 1 and Non-Patent Documents 1 and 2. Here, the mutual information is a measure that quantifies the amount of information about event B that event A has for two events A and B. The mutual information used in image registration is called normalized mutual information. The normalized mutual information NMI(A,B) is calculated from the two-dimensional joint histogram Hist(a,b) of events A and B by the following formula (4).

式(4)において、H(A)は事象Aのエントロピー、H(B)は事象Bのエントロピー、H(A,B)は事象A,Bの結合エントロピーである。p(a)はaの確率密度分布、p(b)はbの確率密度分布、p(a,b)はa,bの同時確率分布であり、式(4)に示すように、Hist(a,b)から求められる。すなわち、同時確率分布p(a,b)は結合ヒストグラムH(a,b)を結合ヒストグラムH(a,b)の総度数で除算したものである。確率分布p(a)は同時確率分布p(a,b)をb方向に加算したものである。確率分布p(b)は同時確率分布p(a,b)をa方向に加算したものである。 In equation (4), H(A) is the entropy of event A, H(B) is the entropy of event B, and H(A,B) is the joint entropy of events A and B. p(a) is the probability density distribution of a, p(b) is the probability density distribution of b, and p(a,b) is the joint probability distribution of a and b, which can be calculated from Hist(a,b) as shown in equation (4). In other words, the joint probability distribution p(a,b) is obtained by dividing the joint histogram H(a,b) by the total frequency of the joint histogram H(a,b). The probability distribution p(a) is obtained by adding the joint probability distribution p(a,b) in the b direction. The probability distribution p(b) is obtained by adding the joint probability distribution p(a,b) in the a direction.

第2導出部24は、式(4)において、事象Aおよびaに比較元スライス画像SL1、事象Bおよびbに比較先スライス画像SL2を当てはめることにより、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの相互情報量NMIj(jは比較先スライス画像SL2の順序を示す番号)を導出する。なお、第2導出部24は、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの相互情報量を1回のみ導出する。 The second derivation unit 24 derives the mutual information NMIj (j is a number indicating the order of the comparison target slice image SL2) between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2 by substituting the comparison source slice image SL1 for events A and a and the comparison target slice image SL2 for events B and b in formula (4). Note that the second derivation unit 24 derives the mutual information between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2 only once.

第2位置合わせ部25は、評価値に基づいて2以上の比較先スライス画像SL2のうちの比較元スライス画像SL1に対応する比較対象スライス画像SLT2を決定する。具体的には、相互情報量が最大となる比較先スライス画像を比較対象スライス画像SLT2に決定する。図7は比較対象スライス画像の決定を説明するための図である。なお、図7においては説明のために、比較先スライス画像は5つであるものとする。図7に示すように、5つの比較先スライス画像SL2-1~SL2-5のそれぞれについての比較元スライス画像SL1との相互情報量が、1.1、1.2、1.9、1.5、1.4であったとする。この場合、第2位置合わせ部25は、5つの比較先スライス画像SL2-1~SL2-5のうち、相互情報量が最大の1.9となる比較先スライス画像SL2-3を比較対象スライス画像SLT2に決定する。 The second alignment unit 25 determines a comparison target slice image SLT2 corresponding to the comparison source slice image SL1 from among the two or more comparison target slice images SL2 based on the evaluation value. Specifically, the comparison target slice image with the maximum mutual information is determined as the comparison target slice image SLT2. FIG. 7 is a diagram for explaining the determination of the comparison target slice image. For the sake of explanation, it is assumed that there are five comparison target slice images in FIG. 7. As shown in FIG. 7, it is assumed that the mutual information between the five comparison target slice images SL2-1 to SL2-5 and the comparison source slice image SL1 is 1.1, 1.2, 1.9, 1.5, and 1.4. In this case, the second alignment unit 25 determines the comparison target slice image SL2-3 with the maximum mutual information of 1.9 from among the five comparison target slice images SL2-1 to SL2-5 as the comparison target slice image SLT2.

表示制御部26は、第1および第2の3次元画像G1,G2をディスプレイ14に表示する。図8は3次元画像の表示画面を示す図である。図8に示すように3次元画像の表示画面50は、画像表示領域51および文章表示領域52を含む。画像表示領域51には、第1の3次元画像G1および第2の3次元画像G2に含まれるスライス画像が表示される。表示されるスライス画像は、入力デバイス15を用いて比較元となる第1の3次元画像G1を選択し、入力デバイス15のマウスが備えるスクロールホイール等を用いて切り替え表示することができる。なお、第2の3次元画像G2を選択して切り替え表示した場合は、第2の3次元画像G2が比較元となる。また、画像表示領域51に表示される第1の3次元画像G1と第2の3次元画像G2とのxy方向の位置合わせは、第1導出部22が導出した、比較元スライス画像SL1の重心と比較先スライス画像SL2の重心とを、それぞれの画像の表示領域の中心と一致させ、さらに比較元スライス画像SL1の慣性主軸の傾きと比較先スライス画像SL2の慣性主軸の傾きとを一致させることにより行えばよい。 The display control unit 26 displays the first and second three-dimensional images G1 and G2 on the display 14. FIG. 8 is a diagram showing a display screen of the three-dimensional image. As shown in FIG. 8, the display screen 50 of the three-dimensional image includes an image display area 51 and a text display area 52. The image display area 51 displays slice images contained in the first three-dimensional image G1 and the second three-dimensional image G2. The displayed slice images can be switched by selecting the first three-dimensional image G1 to be used as the comparison source using the input device 15 and switching the display using a scroll wheel or the like provided on the mouse of the input device 15. Note that when the second three-dimensional image G2 is selected and switched, the second three-dimensional image G2 becomes the comparison source. Furthermore, the alignment in the xy direction between the first three-dimensional image G1 and the second three-dimensional image G2 displayed in the image display area 51 can be performed by matching the center of gravity of the comparison source slice image SL1 and the center of gravity of the comparison target slice image SL2 derived by the first derivation unit 22 with the center of the display area of each image, and further matching the inclination of the principal axis of inertia of the comparison source slice image SL1 with the inclination of the principal axis of inertia of the comparison target slice image SL2.

文章表示領域52には、読影医による第1の3次元画像G1および第2の3次元画像G2の読影結果を表す所見文が、入力デバイス15を用いて入力される。 In the text display area 52, a finding text representing the interpretation result of the first 3D image G1 and the second 3D image G2 by the radiologist is input using the input device 15.

なお、読影の仕方によっては、第1の3次元画像G1と第2の3次元画像G2とで表示されるスライス画像の解剖学的位置を一致させたい場合もあれば、一致させたくない場合もある。このため、本実施形態においては、画像表示領域51の下方に表示された同期ボタン56により、表示されるスライス画像の位置の同期および非同期を切り替え可能としている。読影医は、同期ボタン56を選択することにより、表示される第1の3次元画像G1と第2の3次元画像G2との、表示されるスライス面の同期および非同期を切り替えるようにしている。 Depending on the method of image interpretation, there may be cases where the anatomical positions of the slice images displayed in the first three-dimensional image G1 and the second three-dimensional image G2 need to match, and cases where they do not need to match. For this reason, in this embodiment, the synchronization button 56 displayed below the image display area 51 makes it possible to switch between synchronous and asynchronous display of the positions of the displayed slice images. By selecting the synchronization button 56, the image interpretation physician can switch between synchronous and asynchronous display of the slice planes of the first three-dimensional image G1 and the second three-dimensional image G2.

スライス面すなわち解剖学的位置の一致は、第1の3次元画像G1に含まれる表示された比較元スライス画像SL1について、上述したように第1導出部22、第1位置合わせ部23、第2導出部24および第2位置合わせ部25により行われる。この場合、第1の3次元画像G1について画像表示領域51に表示されるスライス画像が比較元スライス画像となる。本実施形態においては表示される比較元スライス画像が切り替えられる毎に、上述したように第1導出部22、第1位置合わせ部23、第2導出部24および第2位置合わせ部25によりスライス画像の位置合わせが行われ、表示制御部26が、第2位置合わせ部25により決定された比較対象スライス画像SLT2を画像表示領域52に表示する。 The matching of slice planes, i.e., anatomical positions, is performed for the displayed comparison source slice image SL1 included in the first three-dimensional image G1 by the first derivation unit 22, the first alignment unit 23, the second derivation unit 24, and the second alignment unit 25 as described above. In this case, the slice image displayed in the image display area 51 for the first three-dimensional image G1 becomes the comparison source slice image. In this embodiment, each time the displayed comparison source slice image is switched, the slice images are aligned by the first derivation unit 22, the first alignment unit 23, the second derivation unit 24, and the second alignment unit 25 as described above, and the display control unit 26 displays the comparison target slice image SLT2 determined by the second alignment unit 25 in the image display area 52.

これにより、画像表示領域51には、第1の3次元画像G1および第2の3次元画像G2のそれぞれに関して同一の解剖学的位置のスライス画像が表示される。したがって、第1の3次元画像G1の表示されるスライス画像を切り替えることによって、第2の3次元画像G2のスライス画像も第1の3次元画像G1と同一の解剖学的位置を表すものとなるように同期して切り替えることができる。なお、同期ボタン56が再度選択されると、同期が解除される。これにより、第1の3次元画像G1と第2の3次元画像G2とで別々のスライス面のスライス画像を表示することが可能となる。 As a result, slice images of the same anatomical position are displayed in the image display area 51 for each of the first three-dimensional image G1 and the second three-dimensional image G2. Therefore, by switching the slice image displayed in the first three-dimensional image G1, the slice image in the second three-dimensional image G2 can also be switched in synchronization so as to represent the same anatomical position as the first three-dimensional image G1. Note that when the synchronization button 56 is selected again, synchronization is released. This makes it possible to display slice images of different slice planes in the first three-dimensional image G1 and the second three-dimensional image G2.

文章表示領域52の下方には確定ボタン57が表示されている。読影医は、所見文の入力後、入力デバイス15を用いて確定ボタン57を選択することにより、所見文の入力内容を確定することができる。 A Confirm button 57 is displayed below the text display area 52. After inputting the findings, the radiologist can confirm the input contents of the findings by selecting the Confirm button 57 using the input device 15.

次いで、第1の実施形態において行われる処理について説明する。図9は第1の実施形態において行われる処理を示すフローチャートである。なお、位置合わせの対象となる第1および第2の3次元画像G1,G2は画像サーバ5から取得されてストレージ13に記憶されているものとする。また、同期ボタン56はスライス画像を同期させるように選択されているものとする。第1および第2の3次元画像G1,G2を表示する指示がなされることにより処理が開始され、表示制御部26が第1および第2の3次元画像G1,G2を表示画面50の画像表示領域51に表示する(ステップST1)。なお、最初に表示されるスライス画像は第1および第2の3次元画像G1,G2ともに、例えばスライス番号が先頭のスライス画像とすればよい。 Next, the process performed in the first embodiment will be described. FIG. 9 is a flowchart showing the process performed in the first embodiment. It is assumed that the first and second three-dimensional images G1, G2 to be aligned are acquired from the image server 5 and stored in the storage 13. It is also assumed that the synchronization button 56 is selected to synchronize the slice images. The process is started when an instruction to display the first and second three-dimensional images G1, G2 is given, and the display control unit 26 displays the first and second three-dimensional images G1, G2 in the image display area 51 of the display screen 50 (step ST1). It is to be noted that the slice image displayed first may be, for example, the slice image with the top slice number for both the first and second three-dimensional images G1, G2.

次いで、表示されるスライス画像の切り替えの指示がなされたか否かが判定され(ステップST2)、ステップST2が肯定されると、第1導出部22が第1の3次元画像G1において現在表示されている比較元スライス画像SL1を特定する(ステップST3)。なお、ステップST2が否定されると後述するステップST10の処理に進む。 Next, it is determined whether or not an instruction to switch the slice image to be displayed has been given (step ST2). If step ST2 is positive, the first derivation unit 22 identifies the comparison source slice image SL1 currently displayed in the first three-dimensional image G1 (step ST3). If step ST2 is negative, the process proceeds to step ST10, which will be described later.

次いで、第1導出部22が比較元スライス画像SL1における被写体領域の重心および慣性主軸の傾きを導出する(ステップST4)。また、第1導出部22は、第2の3次元画像G2に含まれる複数のスライス画像のうちの2以上の比較先スライス画像SL2のそれぞれにおける被写体領域の重心および慣性主軸の傾きを導出する(ステップST5)。 Next, the first derivation unit 22 derives the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison source slice image SL1 (step ST4). The first derivation unit 22 also derives the center of gravity and the inclination of the principal axis of inertia of the subject region in each of two or more comparison target slice images SL2 among the multiple slice images included in the second three-dimensional image G2 (step ST5).

そして、第1位置合わせ部23が、被写体領域の重心および慣性主軸の傾きの少なくとも一方を、比較元スライス画像SL1と2以上の比較先スライス画像SL2との間で一致させる第1の位置合わせを行う(ステップST6)。 Then, the first alignment unit 23 performs a first alignment to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region between the comparison source slice image SL1 and two or more comparison destination slice images SL2 (step ST6).

続いて、第2導出部24が、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出する(ステップST7)。さらに、第2位置合わせ部25が、評価値に基づいて2以上の比較先スライス画像SL2のうちの比較元スライス画像SL1に対応する比較対象スライス画像SLT2を決定する(ステップST8)。表示制御部26は、決定された比較対象スライス画像SLT2を画像表示領域51に表示する(ステップST9)。 Then, the second derivation unit 24 derives an evaluation value representing the degree of similarity between the comparison source slice image SL1 after the first alignment and each of the two or more comparison target slice images SL2 (step ST7). Furthermore, the second alignment unit 25 determines a comparison target slice image SLT2 corresponding to the comparison source slice image SL1 among the two or more comparison target slice images SL2 based on the evaluation value (step ST8). The display control unit 26 displays the determined comparison target slice image SLT2 in the image display area 51 (step ST9).

続いて、確定ボタン57が選択されたか否かが判定され(ステップST10)、ステップST10が否定されるとステップST2に戻り、ステップST2以降の処理を繰り返す。なお、ステップST2以降の処理が繰り返される間に、第1の3次元画像G1において表示された比較元スライス画像SL1以外のスライス画像については、ステップST2以降の処理と並列に、比較元の重心および慣性主軸の傾きの導出、および類似度を表す評価値を導出するために必要な演算を行うことが好ましい。 Next, it is determined whether the confirm button 57 has been selected (step ST10), and if step ST10 is negative, the process returns to step ST2, and the processes from step ST2 onwards are repeated. Note that while the processes from step ST2 onwards are being repeated, it is preferable to perform the calculations required to derive the center of gravity and the inclination of the principal axis of inertia of the comparison source, and to derive an evaluation value representing the degree of similarity, in parallel with the processes from step ST2 onwards, for slice images other than the comparison source slice image SL1 displayed in the first three-dimensional image G1.

読影医はこのようにして第1および第2の3次元画像G1,G2の比較読影を行い、読影レポートを文字表示領域52に入力する。ステップST10が肯定されると、処理を終了する。なお、作成された読影レポートは読影レポートサーバ6に送信されて保存される。 In this way, the image interpretation doctor performs comparative image interpretation of the first and second three-dimensional images G1, G2, and inputs the image interpretation report into the character display area 52. If step ST10 is positive, the process ends. The created image interpretation report is sent to the image interpretation report server 6 and stored there.

このように、本実施形態においては、被写体領域の重心および慣性主軸の傾きの少なくとも一方を、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの間で一致させる第1の位置合わせを行った後に、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出し、評価値に基づいて2以上の比較先スライス画像SL2のうちの比較元スライス画像SL1に対応する比較対象スライス画像SLT2を決定するようにした。 In this manner, in this embodiment, after performing a first alignment in which at least one of the center of gravity and the tilt of the principal axis of inertia of the subject region is matched between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2, an evaluation value representing the similarity between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2 is derived, and a comparison target slice image SLT2 corresponding to the comparison source slice image SL1 is determined from among the two or more comparison target slice images SL2 based on the evaluation value.

このため、第1の位置合わせを行うことなく、類似度を表す評価値を導出する場合と比較して、比較対象スライス画像SLT2を決定するための演算量を低減することができ、その結果、高速に処理を行うことができる。これにより、第1の3次元画像G1においてスライス画像を切り替えても、体感的に遅滞なく第2の3次元画像G2において比較対象スライス画像SLT2を表示することができる。また、被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる処理のみを行う場合よりも、精度よく比較対象スライス画像SLT2を決定することができる。したがって、本実施形態によれば高速かつ精度よく比較対象スライス画像SLT2を決定することができる。 Therefore, compared to deriving an evaluation value representing the similarity without performing the first alignment, the amount of calculation required to determine the comparison slice image SLT2 can be reduced, and as a result, processing can be performed at high speed. This allows the comparison slice image SLT2 to be displayed in the second three-dimensional image G2 without any sensory delay, even when the slice image is switched in the first three-dimensional image G1. Furthermore, the comparison slice image SLT2 can be determined with higher accuracy than when only processing is performed to match at least one of the center of gravity of the subject region and the tilt of the principal axis of inertia. Therefore, according to this embodiment, the comparison slice image SLT2 can be determined with high speed and accuracy.

また、上記実施形態においては、比較先スライス画像SL2のそれぞれについての相互情報量を1回のみしか導出していない。このため、相互情報量が収束するまで相互情報量の導出を繰り返す場合と比較して、大幅に演算時間を短縮することができる。 In addition, in the above embodiment, the mutual information for each comparison slice image SL2 is derived only once. Therefore, the calculation time can be significantly reduced compared to the case where the mutual information is repeatedly derived until the mutual information converges.

ここで、本願発明者による実装例について説明する。本願発明者は、CPUとしてIntel Xeon E-2124G 3.40GHzを使用し、256階調の512×512画素のサイズを有する第1および第2の3次元画像間で位置合わせを行った。比較先スライス画像1枚に対する相互情報量の演算時間は、重心位置の平行移動のみで慣性主軸の回転を考慮しない場合で2ms程度、回転も考慮する場合で3ms程度であった。なお、演算時間とは、比較元スライス画像SL1に対する比較先スライス画像SL2のそれぞれについての重心および慣性主軸の傾きの導出、第1の位置合わせおよび相互情報量を導出するための演算時間である。 Here, an implementation example by the inventor of the present application will be described. The inventor of the present application used an Intel Xeon E-2124G 3.40 GHz CPU and performed alignment between first and second three-dimensional images having a size of 512 x 512 pixels with 256 gradations. The calculation time for the mutual information for one comparison target slice image was about 2 ms when only the translation of the center of gravity position was performed without considering the rotation of the principal axis of inertia, and about 3 ms when the rotation was also considered. The calculation time refers to the calculation time for deriving the inclination of the center of gravity and the principal axis of inertia for each of the comparison target slice image SL2 with respect to the comparison source slice image SL1, and for deriving the first alignment and mutual information.

したがって、本実施形態によれば、第1の3次元画像G1についてスライス画像を切り替えても、体感的に遅滞なく第2の3次元画像G2のスライス画像を第1の3次元画像G1のスライス画像と同期させることができることが分かった。 Therefore, according to this embodiment, it was found that even if the slice images of the first three-dimensional image G1 are switched, the slice images of the second three-dimensional image G2 can be synchronized with the slice images of the first three-dimensional image G1 without any perceived delay.

なお、上記第1の実施形態においては、表示される比較元スライス画像SL1が切り替えられる毎に、2以上の比較先スライス画像SL2のそれぞれについて重心および慣性主軸の傾きを導出しているが、これに限定されるものではない。例えば、比較対象スライス画像SLT2を決定した後、比較対象スライス画像SLT2に関しての第1の位置合わせを行った際の重心の平行移動量および慣性主軸の回転量を用いて、他の比較元スライス画像SL1と2以上の比較先スライス画像SL2との第1の位置合わせを行うようにしてもよい。これにより、演算時間を一層低減してより高速に処理を行うことができる。以下、この処理を第2の実施形態として説明する。 In the first embodiment, the center of gravity and the inclination of the principal axis of inertia are derived for each of the two or more comparison target slice images SL2 each time the displayed comparison source slice image SL1 is switched, but this is not limited to the above. For example, after the comparison target slice image SLT2 is determined, the first alignment between the other comparison source slice image SL1 and the two or more comparison target slice images SL2 may be performed using the amount of translation of the center of gravity and the amount of rotation of the principal axis of inertia when the first alignment is performed for the comparison target slice image SLT2. This allows the calculation time to be further reduced and processing to be performed at a higher speed. This processing will be described below as the second embodiment.

図10および図11は第2の実施形態による画像位置合わせ装置において行われる処理を示すフローチャートである。なお、図10におけるステップST11~ステップST16の処理は図9に示すステップST1~ステップST6の処理と同一であるため、ここでは詳細な説明は省略する。第2の実施形態においては、第1の位置合わせが行われると、第1位置合わせ部23は、第1の位置合わせの際に導出した重心位置の平行移動量および慣性主軸の回転量を、位置合わせ量として保存する(ステップST17)。 Figures 10 and 11 are flow charts showing the processing performed in the image alignment device according to the second embodiment. Note that the processing of steps ST11 to ST16 in Figure 10 is the same as the processing of steps ST1 to ST6 shown in Figure 9, so detailed explanations are omitted here. In the second embodiment, when the first alignment is performed, the first alignment unit 23 saves the amount of translation of the center of gravity position and the amount of rotation of the principal axis of inertia derived during the first alignment as alignment amounts (step ST17).

続いて、第2導出部24が、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出する(ステップST18)。さらに、第2位置合わせ部25が、評価値に基づいて比較対象スライス画像SLT2を決定する(ステップST19)。表示制御部26は、決定された比較対象スライス画像SLT2を画像表示領域51に表示する(ステップST20)。 Then, the second derivation unit 24 derives an evaluation value representing the similarity between the comparison source slice image SL1 after the first alignment and each of the two or more comparison target slice images SL2 (step ST18). Furthermore, the second alignment unit 25 determines a comparison target slice image SLT2 based on the evaluation value (step ST19). The display control unit 26 displays the determined comparison target slice image SLT2 in the image display area 51 (step ST20).

続いて、確定ボタン57が選択されたか否かが判定され(ステップST21)、ステップST21が否定されると、表示されるスライス画像の切り替えの指示がなされたか否かが判定される(ステップST22)。ステップST22が否定されると、ステップST21へ戻る。ステップST22が肯定されると、第1導出部22が、第1の3次元画像G1において切り替えられた比較元スライス画像SL1を特定する(ステップST23)。さらに、第1位置合わせ部23が、保存された位置合わせ量を読み出し(ステップST24)、読み出した位置合わせ量を用いて第1の位置合わせを行う(ステップST25)。 Then, it is determined whether the confirm button 57 has been selected (step ST21), and if step ST21 is negative, it is determined whether an instruction to switch the slice image to be displayed has been given (step ST22). If step ST22 is negative, the process returns to step ST21. If step ST22 is positive, the first derivation unit 22 identifies the comparison source slice image SL1 that has been switched to in the first three-dimensional image G1 (step ST23). Furthermore, the first alignment unit 23 reads out the stored alignment amount (step ST24), and performs the first alignment using the read alignment amount (step ST25).

続いて、第2導出部24が、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出する(ステップST26)。ステップST26の処理後、ステップST19の処理に戻り、第2位置合わせ部25が、評価値が最大となる比較先スライス画像SL2を比較対象スライス画像SLT2に決定する。 Then, the second derivation unit 24 derives an evaluation value representing the degree of similarity between the comparison source slice image SL1 after the first alignment and each of the two or more comparison target slice images SL2 (step ST26). After the processing of step ST26, the process returns to the processing of step ST19, and the second alignment unit 25 determines the comparison target slice image SL2 with the maximum evaluation value as the comparison target slice image SLT2.

このように、第2の実施形態においては、位置合わせ量は一度のみ導出される。これにより、演算量をより低減することができるため、より高速に比較対象スライス画像SLT2を決定することができる。 In this way, in the second embodiment, the alignment amount is derived only once. This allows the amount of calculation to be further reduced, and the comparison slice image SLT2 can be determined more quickly.

一方、第2の実施形態のように、一度のみ位置合わせ量を導出することに代えて、切り替えられた比較元スライス画像があらかじめ定められた条件を満足する場合に、比較元スライス画像SL1および2以上の比較先スライス画像SL2の重心および慣性主軸の傾きを導出し、重心位置の平行移動量および慣性主軸の回転量を導出して位置合わせ量を導出するようにしてもよい。以下、これを第3の実施形態として説明する。なお、あらかじめ定められた条件としては、前回位置合わせ量を保存してから、比較元スライス画像があらかじめ定められた枚数切り替えられたこと(例えば10枚等)、あるいはアキシャル方向においてあらかじめ定められた距離分スライス画像が切り替えられたこと(例えばスライス間隔が0.5mmである場合、5mm)等とすることができる。 On the other hand, instead of deriving the alignment amount only once as in the second embodiment, if the switched comparison source slice image satisfies a predetermined condition, the center of gravity and the inclination of the principal axis of inertia of the comparison source slice image SL1 and two or more comparison target slice images SL2 may be derived, and the amount of translation of the center of gravity position and the amount of rotation of the principal axis of inertia may be derived to derive the alignment amount. This will be described below as the third embodiment. Note that the predetermined condition may be that the comparison source slice images have been switched a predetermined number of times (e.g., 10 images, etc.) since the last time the alignment amount was saved, or that the slice images have been switched a predetermined distance in the axial direction (e.g., 5 mm when the slice interval is 0.5 mm), etc.

図12および図13は第3の実施形態による画像位置合わせ装置において行われる処理を示すフローチャートである。なお、図12に示すステップST31~ステップST41の処理は、図11に示す第2の実施形態におけるステップST11~ステップST21の処理と同一であるため、ここでは詳細な説明は省略する。 Figures 12 and 13 are flowcharts showing the processing performed in the image alignment device according to the third embodiment. Note that the processing of steps ST31 to ST41 shown in Figure 12 is the same as the processing of steps ST11 to ST21 in the second embodiment shown in Figure 11, so a detailed description will be omitted here.

第3の実施形態においては、ステップST41が否定されると、表示されるスライス画像の切り替えの指示がなされたか否かが判定される(ステップST42)。ステップST42が否定されるとステップST41へ戻る。ステップST42が肯定されると、第1導出部22が第1の3次元画像G1において切り替えられた比較元スライス画像SL1を特定する(ステップST43)。続いて、第1導出部22は、特定された比較元スライス画像SL1が、あらかじめ定められた条件を満足するか否かを判定する(ステップST44)。 In the third embodiment, if step ST41 is negative, it is determined whether or not an instruction to switch the slice image to be displayed has been given (step ST42). If step ST42 is negative, the process returns to step ST41. If step ST42 is positive, the first derivation unit 22 identifies the comparison source slice image SL1 that has been switched to in the first three-dimensional image G1 (step ST43). Next, the first derivation unit 22 determines whether or not the identified comparison source slice image SL1 satisfies a predetermined condition (step ST44).

ステップST44が肯定されると、ステップST34に戻る。これにより、切り替えられた比較元スライス画像SL1の重心および慣性主軸の傾き、並びに2以上の比較先スライス画像SL2のそれぞれの重心および慣性主軸の傾きが導出されて、第1の位置合わせおよび第2の位置合わせが行われる。また、導出された新たな位置合わせ量が保存される。 If step ST44 is positive, the process returns to step ST34. As a result, the center of gravity and the inclination of the principal axis of inertia of the switched comparison source slice image SL1, as well as the center of gravity and the inclination of the principal axis of inertia of each of the two or more comparison target slice images SL2, are derived, and the first alignment and the second alignment are performed. In addition, the derived new alignment amount is saved.

ステップST44が否定されると、第1位置合わせ部23が、保存された位置合わせ量を読み出し(ステップST45)、読み出した位置合わせ量を用いて第1の位置合わせを行う(ステップST46)。 If step ST44 is negative, the first alignment unit 23 reads out the stored alignment amount (step ST45) and performs the first alignment using the read alignment amount (step ST46).

続いて、第2導出部24が、第1の位置合わせ後の比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの類似度を表す評価値を導出する(ステップST47)。ステップST47の処理後、ステップST39の処理に戻り、第2位置合わせ部25が、評価値が最大となる比較先スライス画像SL2を比較対象スライス画像SLT2に決定する。 Then, the second derivation unit 24 derives an evaluation value representing the degree of similarity between the comparison source slice image SL1 after the first alignment and each of the two or more comparison target slice images SL2 (step ST47). After the processing of step ST47, the process returns to the processing of step ST39, and the second alignment unit 25 determines the comparison target slice image SL2 with the maximum evaluation value as the comparison target slice image SLT2.

なお、第3の実施形態においては、重心の平行移動量および慣性主軸の回転量が導出されていない比較先スライス画像SL2と比較元スライス画像SL1との間においては、導出された平行移動量および回転量を用いた補間演算により、重心の平行移動量および慣性主軸の回転量を導出するようにしてもよい。 In the third embodiment, between the comparison target slice image SL2 and the comparison source slice image SL1, in which the translation amount of the center of gravity and the rotation amount of the principal axis of inertia have not been derived, the translation amount of the center of gravity and the rotation amount of the principal axis of inertia may be derived by an interpolation calculation using the derived translation amount and rotation amount.

また、上記各実施形態においては、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの相互情報量を1回のみ導出しているが、これに限定されるものではない。導出した相互情報量が収束するまで、相互情報量の導出と位置合わせとを繰り返すようにしてもよい。本実施形態においては、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとは第1の位置合わせがなされている。このため、相互情報量が収束するまで相互情報量を導出する演算を行っても、第1の位置合わせを行わない場合と比較して演算量を低減することができ、その結果、第1の3次元画像G1と第2の3次元画像との同期を高速に行うことができる。 In addition, in each of the above embodiments, the mutual information between the comparison source slice image SL1 and each of the two or more comparison destination slice images SL2 is derived only once, but this is not limited to this. The derivation of the mutual information and the alignment may be repeated until the derived mutual information converges. In this embodiment, the comparison source slice image SL1 and each of the two or more comparison destination slice images SL2 are aligned first. Therefore, even if the calculation to derive the mutual information is performed until the mutual information converges, the amount of calculation can be reduced compared to the case where the first alignment is not performed, and as a result, the first three-dimensional image G1 and the second three-dimensional image can be synchronized quickly.

また、上記各実施形態においては、第2導出部24は、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの相互情報量を類似度を表す評価値として導出しているが、これに限定されるものではない。相互情報量に代えて、比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとの対応する画素位置における画素値の差の絶対値の総和、差の二乗和、あるいは正規化相互相関係数を類似度を表す評価値として導出してもよい。この場合、評価値の種類に応じて、評価値が最大となるあるいは最小となる比較先スライス画像を比較対象スライス画像SLT2に決定するようにすればよい。なお、これらを類似度を表す評価値として用いる場合においても、評価値は1回のみ導出するようにしてもよく、評価値が収束するまで導出するようにしてもよい。 In addition, in each of the above embodiments, the second derivation unit 24 derives the mutual information between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2 as an evaluation value representing the similarity, but this is not limited to this. Instead of the mutual information, the sum of the absolute values of the differences in pixel values at corresponding pixel positions between the comparison source slice image SL1 and each of the two or more comparison target slice images SL2, the sum of the squared differences, or the normalized cross-correlation coefficient may be derived as an evaluation value representing the similarity. In this case, the comparison target slice image with the maximum or minimum evaluation value may be determined as the comparison target slice image SLT2 depending on the type of evaluation value. Note that even when these are used as evaluation values representing the similarity, the evaluation value may be derived only once, or may be derived until the evaluation value converges.

また、上記実施形態においては、第1の3次元画像G1が複数のスライス画像を含むものとしているが、これに限定されるものではない。第1の3次元画像G1は1つのスライス画像のみを含むものであってもよい。 In addition, in the above embodiment, the first three-dimensional image G1 includes multiple slice images, but this is not limited to this. The first three-dimensional image G1 may include only one slice image.

また、上記各実施形態においては、第1および第2の3次元画像G1,G2ともにCT画像を用いているがこれに限定されるものではない。第1の3次元画像G1としてCT画像を使用し、第2の3次元画像G2としてMRI画像あるいはPET画像を使用してもよい。この場合、同一の解剖学的位置となるようにCT画像のスライス面とPET画像のスライス面とを位置合わせできるため、CT画像とPET画像とのフュージョン画像を容易に導出することが可能となる。また、超音波画像からなる3次元画像間、あるいは超音波画像からなる3次元画像と他のモダリティにより取得された3次元画像との間においてスライス画像の位置合わせを行う場合にも、上記各実施形態と同様に位置合わせを行うことができる。なお、比較元スライス画像と比較先スライス画像とにおいて画素間隔(画素ピッチ)が異なるものとなる場合がある。この場合、あらかじめ一方または双方のスライス画像を拡大または縮小して画素間隔を合わせてから上記各実施形態の処理を行えばよい。 In addition, in each of the above embodiments, CT images are used for both the first and second three-dimensional images G1 and G2, but this is not limited thereto. A CT image may be used as the first three-dimensional image G1, and an MRI image or a PET image may be used as the second three-dimensional image G2. In this case, the slice plane of the CT image and the slice plane of the PET image can be aligned so as to be in the same anatomical position, so that a fusion image of the CT image and the PET image can be easily derived. In addition, when aligning slice images between three-dimensional images made of ultrasound images, or between a three-dimensional image made of ultrasound images and a three-dimensional image acquired by another modality, alignment can be performed in the same manner as in each of the above embodiments. Note that the pixel interval (pixel pitch) may differ between the comparison source slice image and the comparison target slice image. In this case, it is sufficient to enlarge or reduce one or both slice images in advance to align the pixel interval before performing the processing of each of the above embodiments.

また、上記各実施形態においては、第1および第2の3次元画像G1,G2の比較読影のためにスライス画像の位置合わせを行っているが、これに限定されるものではない。同一被写体についての撮影時期が異なる第1の3次元画像G1と第2の3次元画像G2とを用いて差分画像を導出する場合にも、本実施形態の技術を適用できる。すなわち、比較元スライス画像SL1と、本実施形態の処理により決定された比較対象スライス画像SLT2との差分画像を導出することにより、同一スライス面についての疾患の経時変化を容易に確認することができる。 In addition, in each of the above embodiments, the slice images are aligned for comparative reading of the first and second three-dimensional images G1 and G2, but this is not limited to this. The technology of this embodiment can also be applied to the case where a difference image is derived using a first three-dimensional image G1 and a second three-dimensional image G2 captured at different times for the same subject. In other words, by deriving a difference image between the comparison source slice image SL1 and the comparison target slice image SLT2 determined by the processing of this embodiment, it is possible to easily check the change over time of a disease on the same slice surface.

また、上記各実施形態においては、同一被写体についての第1の3次元画像G1と第2の3次元画像G2とを用いてスライス画像の位置合わせを行っているが、これに限定されるものではない。異なる被写体について同一部位を撮影することにより取得された第1の3次元画像G1のスライス画像と第2の3次元画像G2のスライス画像との位置合わせを行う場合にも本実施形態の技術を適用することが可能である。この場合、異なる被写体についての同一モダリティの3次元画像であっても、異なる被写体についての異なるモダリティの3次元画像であっても、上記と同様にスライス画像の位置合わせを行うことが可能である。この場合においても、比較元スライス画像と比較先スライス画像とにおいて画素間隔が異なる場合には、あらかじめ一方または双方のスライス画像を拡大または縮小して画素間隔を合わせてから上記各実施形態の処理を行えばよい。 In addition, in each of the above embodiments, the slice images are aligned using the first three-dimensional image G1 and the second three-dimensional image G2 of the same subject, but this is not limited to this. The technology of this embodiment can also be applied to the case of aligning the slice images of the first three-dimensional image G1 and the second three-dimensional image G2 acquired by photographing the same part of different subjects. In this case, even if the slice images are three-dimensional images of the same modality of different subjects or three-dimensional images of different modalities of different subjects, the slice images can be aligned in the same manner as described above. Even in this case, if the pixel intervals are different between the comparison source slice image and the comparison target slice image, one or both slice images can be enlarged or reduced in advance to align the pixel intervals before performing the processing of each of the above embodiments.

また、上記各実施形態においては、アキシャル方向にスライス面が並ぶアキシャル断面のスライス画像について画像の位置合わせを行っているが、これに限定されるものではない。コロナル断面、サジタル断面またはこれら以外の任意方向の断面についてのスライス画像の位置合わせを行うようにしてもよい。さらにはMPR(Multi Planar Reconstruction、任意断面再構成)のスライス画像についても上記各実施形態と同様に画像の位置合わせを行うようにしてもよい。これにより、第1および第2の3次元画像G1,G2について、所望とされるスライス面のスライス画像の位置合わせを行うことができる。 In addition, in each of the above embodiments, image registration is performed for slice images of axial sections in which slice planes are arranged in the axial direction, but this is not limited to this. Slice images may be registered for coronal sections, sagittal sections, or sections in any other direction. Furthermore, image registration may be performed for slice images of MPR (Multi Planar Reconstruction) in the same manner as in each of the above embodiments. This allows the slice images of the desired slice planes to be registered for the first and second three-dimensional images G1 and G2.

また、上記各実施形態においては、第1導出部22において、比較元スライス画像SL1および比較先スライス画像SL2のそれぞれについて、二値化処理に際してフィルタ処理を行ってから重心および慣性主軸の傾きを導出しているが、これに限定されるものではない。フィルタ処理を行うことなく重心および慣性主軸の傾きを導出してもよい。また、二値化処理を行うことなく、比較元スライス画像および比較先スライス画像の濃度を、その面密度に持つ剛体と見なすことにより、重心および慣性主軸の傾きを導出してもよい。 In addition, in each of the above embodiments, the first derivation unit 22 performs filtering during binarization processing on each of the comparison source slice image SL1 and the comparison destination slice image SL2, and then derives the center of gravity and the tilt of the principal axis of inertia, but this is not limited to the above. The center of gravity and the tilt of the principal axis of inertia may be derived without performing filtering processing. Furthermore, the center of gravity and the tilt of the principal axis of inertia may be derived without performing binarization processing by regarding the densities of the comparison source slice image and the comparison destination slice image as rigid bodies having their surface densities.

また、上記各実施形態においては、第1および第2の3次元画像G1,G2を表示する際に、最初に表示されるスライス画像をスライス番号が先頭のスライス画像としているが、これに限定されるものではない。最初に表示されるスライス画像について、上記各実施形態と同様に比較元スライス画像SL1と2以上の比較先スライス画像SL2のそれぞれとで位置合わせを行うことにより比較対象スライス画像SLT2を特定し、特定された比較対象スライス画像SLT2を表示するようにしてもよい。 In addition, in each of the above embodiments, when displaying the first and second three-dimensional images G1, G2, the slice image displayed first is the slice image with the top slice number, but this is not limited to this. For the slice image displayed first, a comparison target slice image SLT2 may be identified by aligning the comparison source slice image SL1 with each of two or more comparison target slice images SL2 as in each of the above embodiments, and the identified comparison target slice image SLT2 may be displayed.

また、上記各実施形態においては、比較読影を行う際に表示される比較元スライス画像と比較先スライス画像との位置合わせを行っているが、これに限定されるものではない。例えば比較読影を行う前に比較元スライス画像を特定し、比較先スライス画像との位置合わせをあらかじめ行っておく場合にも、本実施形態による画像位置合わせ装置により位置合わせを行うことが可能である。 In addition, in each of the above embodiments, the comparison source slice image displayed when performing comparative reading is aligned with the comparison target slice image, but this is not limited to this. For example, even if the comparison source slice image is identified before performing comparative reading and aligned with the comparison target slice image in advance, alignment can be performed by the image alignment device according to this embodiment.

また、上記各実施形態においては、比較元スライス画像と比較対象スライス画像との位置合わせ量を、スライス画像と関連付けてストレージ13あるいは画像サーバ5等に保存するようにしてもよい。位置合わせ量としては、比較元スライス画像SL1と比較先スライス画像SL2との相対的な平行移動量および慣性主軸の傾きを一致させるための相対的な回転量に限定されるものではない。第1および第2の3次元画像G1,G2において、スライス画像毎に導出した重心および慣性主軸の傾きを位置合わせ量として、各スライス画像と関連付けて保存するようにしてもよい。この場合、比較元スライス画像SL1と比較先スライス画像SL2のそれぞれとの平行移動量および回転量は、保存された重心および慣性主軸の傾きを用いて導出すればよい。 In addition, in each of the above embodiments, the amount of alignment between the comparison source slice image and the comparison target slice image may be stored in the storage 13 or the image server 5 in association with the slice image. The amount of alignment is not limited to the relative amount of translation between the comparison source slice image SL1 and the comparison target slice image SL2 and the relative amount of rotation for matching the inclination of the principal axis of inertia. In the first and second three-dimensional images G1 and G2, the center of gravity and the inclination of the principal axis of inertia derived for each slice image may be stored in association with each slice image as the amount of alignment. In this case, the amount of translation and rotation between the comparison source slice image SL1 and the comparison target slice image SL2 may be derived using the stored center of gravity and inclination of the principal axis of inertia.

このように、スライス画像毎に導出した重心および慣性主軸の傾きを保存することにより、平行移動量および回転量をスライス画像間のすべての組み合わせについて導出する場合と比較して、保存するデータ量を少なくすることができる。また、比較の対象となる双方の3次元画像が異なるものとなった場合に、保存された重心および慣性主軸の傾きを利用してスライス画像間の位置合わせを行うことが可能となる。 In this way, by storing the center of gravity and the inclination of the principal axis of inertia derived for each slice image, the amount of data to be stored can be reduced compared to the case where the amount of translation and rotation is derived for all combinations between slice images. Furthermore, when the two 3D images to be compared are different, it is possible to align the slice images using the stored center of gravity and the inclination of the principal axis of inertia.

また、上記各実施形態において、例えば、画像取得部21、第1導出部22、第1位置合わせ部23、第2導出部24、第2位置合わせ部25および表示制御部26といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。 In each of the above embodiments, the following various processors can be used as the hardware structure of the processing unit that executes various processes, such as the image acquisition unit 21, the first derivation unit 22, the first alignment unit 23, the second derivation unit 24, the second alignment unit 25, and the display control unit 26. As described above, the above various processors include a CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, as well as dedicated electrical circuits that are processors having a circuit configuration designed specifically to execute specific processes, such as a GPU (Graphics Processing Unit), a Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacture, such as an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit).

1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。 A single processing unit may be configured with one of these various processors, or may be configured with a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs or a combination of a CPU and an FPGA). Also, multiple processing units may be configured with a single processor.

複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip: SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。 As an example of configuring multiple processing units with a single processor, first, there is a form in which one processor is configured with a combination of one or more CPUs and software, as typified by computers such as client and server, and this processor functions as multiple processing units. Secondly, there is a form in which a processor is used to realize the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip, as typified by systems on chips (SoC). In this way, the various processing units are configured as a hardware structure using one or more of the various processors mentioned above.

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。 More specifically, the hardware structure of these various processors can be an electrical circuit that combines circuit elements such as semiconductor elements.

1 医療情報システム
2 撮影装置
3 読影WS
4 診療科WS
5 画像サーバ
6 画像DB
7 レポートサーバ
8 レポートDB
10 ネットワーク
11 CPU
12 画像位置合わせプログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 バス
20 画像位置合わせ装置
21 画像取得部
22 第1導出部
23 第1位置合わせ部
24 第2導出部
25 第2位置合わせ部
26 表示制御部
40 穴
41,42 慣性主軸
50 表示画面
51 画像表示領域
52 文章表示領域
56 同期ボタン
57 確定ボタン
g1,g2 重心
G1 第1の3次元画像
G2 第2の3次元画像
SL1、SL1-1、SL1-2 比較元スライス画像
SL2、SL2-1、SL2-2、SL2-3、SL2-4、SL2-5 比較先スライス画像
θ1,θ2 慣性主軸の傾き
1 Medical information system 2 Imaging device 3 Image interpretation WS
4. Department Workshop
5 Image server 6 Image DB
7 Report server 8 Report DB
10 network 11 CPU
12 Image alignment program 13 Storage 14 Display 15 Input device 16 Memory 17 Network I/F
Reference Signs List 18 Bus 20 Image alignment device 21 Image acquisition section 22 First derivation section 23 First alignment section 24 Second derivation section 25 Second alignment section 26 Display control section 40 Hole 41, 42 Principal axis of inertia 50 Display screen 51 Image display area 52 Text display area 56 Synchronization button 57 Confirmation button g1, g2 Center of gravity G1 First three-dimensional image G2 Second three-dimensional image SL1, SL1-1, SL1-2 Comparison source slice image SL2, SL2-1, SL2-2, SL2-3, SL2-4, SL2-5 Comparison target slice image θ1, θ2 Tilt of principal axis of inertia

Claims (14)

少なくとも1つのプロセッサを備え、
前記プロセッサは、
少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定し、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存し、
前記比較元スライス画像が切り替えられた場合、前記保存された位置合わせ量を用いて、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる画像位置合わせ装置。
At least one processor;
The processor,
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
At least one of the center of gravity of a subject region in a slice image plane and the inclination of a principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison destination slice images among a plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison destination slice images based on the evaluation value ;
storing a position matching amount between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
An image alignment device that, when the comparison source slice image is switched, uses the stored alignment amount to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area between the switched comparison source slice image and each of the two or more comparison destination slice images .
少なくとも1つのプロセッサを備え、
前記プロセッサは、
少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定し、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存し、
前記比較元スライス画像が切り替えられた場合、前記切り替えられた比較元スライス画像があらかじめ定められた条件を満足するか否かを判定し、前記判定が否定された場合、前記保存された位置合わせ量を用いて、前記切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記判定が肯定された場合、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、新たに位置合わせ量を導出して前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる画像位置合わせ装置。
At least one processor;
The processor,
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
At least one of the center of gravity of a subject region in a slice image plane and the inclination of a principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among a plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison destination slice images based on the evaluation value ;
storing a position matching amount between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
When the comparison source slice image is switched, it is determined whether or not the switched comparison source slice image satisfies a predetermined condition, and when the determination is negative, at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region is matched between the switched comparison source slice image and each of the two or more comparison destination slice images using the stored registration amount;
If the judgment is positive, an image alignment device derives new alignment amounts between the switched comparison source slice image and each of the two or more comparison destination slice images, thereby matching at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area .
前記プロセッサは、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記評価値を1回のみ導出する請求項1または2に記載の画像位置合わせ装置。 The image registration device according to claim 1 , wherein the processor derives the evaluation value only once between the comparison source slice image and each of the two or more comparison target slice images. 前記プロセッサは、前記比較元スライス画像における被写体領域の重心および慣性主軸の傾きの少なくとも一方を導出し、
前記2以上の比較先スライス画像のそれぞれにおける被写体領域の重心および慣性主軸の傾きの少なくとも一方を導出する請求項1から3のいずれか1項に記載の画像位置合わせ装置。
The processor derives at least one of a center of gravity and a tilt of a principal axis of inertia of a subject region in the comparison source slice image;
4. The image registration apparatus according to claim 1, further comprising: a processor for deriving at least one of a center of gravity and a tilt of a principal axis of inertia of an object region in each of the two or more comparison target slice images.
前記プロセッサは、前記比較元スライス画像および前記比較先スライス画像の濃度を、その面密度に持つ剛体と見なすことにより、前記比較元スライス画像における前記被写体領域の重心および慣性主軸の傾き、並びに前記比較先スライス画像における前記被写体領域の重心および慣性主軸の傾きを導出する請求項に記載の画像位置合わせ装置。 The image alignment device of claim 4, wherein the processor derives the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison source slice image, and the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison destination slice image, by considering the densities of the comparison source slice image and the comparison destination slice image as rigid bodies having their surface densities . 前記プロセッサは、前記比較元スライス画像および前記比較先スライス画像を前記被写体領域と背景領域とに二値化処理し、
前記被写体領域を一定の面密度を持つ剛体と見なすことにより、前記比較元スライス画像における前記被写体領域の重心および慣性主軸の傾き、並びに前記比較先スライス画像における前記被写体領域の重心および慣性主軸の傾きを導出する請求項に記載の画像位置合わせ装置。
The processor binarizes the comparison source slice image and the comparison destination slice image into the subject region and the background region;
The image alignment device of claim 4, wherein the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison source slice image and the center of gravity and the inclination of the principal axis of inertia of the subject region in the comparison target slice image are derived by regarding the subject region as a rigid body having a constant surface density .
前記二値化処理は、二値化された前記比較元スライス画像および前記比較先スライス画像に対する膨張および収縮の組み合わせによるフィルタ処理を含む請求項に記載の画像位置合わせ装置。 The image registration apparatus according to claim 6 , wherein the binarization process includes a filtering process using a combination of dilation and erosion on the binarized comparison source slice image and comparison target slice image. 前記評価値は、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの相互情報量、差の絶対値の総和、差の二乗和および正規化相互相関係数のいずれかである請求項1からのいずれか1項に記載の画像位置合わせ装置。 The image alignment device according to any one of claims 1 to 7, wherein the evaluation value is any one of the mutual information between the comparison source slice image and each of the two or more comparison destination slice images, the sum of the absolute values of the differences, the sum of the squared differences, and the normalized cross-correlation coefficient. 前記プロセッサは、前記比較元スライス画像および前記2以上の比較先スライス画像の双方における前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を、基準となる位置および軸の少なくとも一方に一致させることにより、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を、前記比較元スライス画像と前記2以上の比較先スライス画像との間で一致させる請求項1からのいずれか1項に記載の画像位置合わせ装置。 The image alignment device of any one of claims 1 to 8, wherein the processor aligns at least one of the center of gravity and the tilt of the principal axis of inertia of the subject region in both the comparison source slice image and the two or more comparison destination slice images with at least one of a reference position and axis, thereby aligning at least one of the center of gravity and the tilt of the principal axis of inertia of the subject region between the comparison source slice image and the two or more comparison destination slice images. 前記プロセッサは、前記比較元スライス画像および前記比較対象スライス画像をディスプレイに表示する請求項1からのいずれか1項に記載の画像位置合わせ装置。 The image registration device according to claim 1 , wherein the processor displays the comparison source slice image and the comparison target slice image on a display. 少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定し、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存し、
前記比較元スライス画像が切り替えられた場合、前記保存された位置合わせ量を用いて、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる画像位置合わせ方法。
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
At least one of the center of gravity of a subject region in a slice image plane and the inclination of a principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among a plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison destination slice images based on the evaluation value ;
storing a position matching amount between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
An image alignment method in which, when the comparison source slice image is switched, the stored alignment amount is used to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area between the switched comparison source slice image and each of the two or more comparison destination slice images .
少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得し、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出し、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定し、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存し、
前記比較元スライス画像が切り替えられた場合、前記切り替えられた比較元スライス画像があらかじめ定められた条件を満足するか否かを判定し、前記判定が否定された場合、前記保存された位置合わせ量を用いて、前記切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させ、
前記判定が肯定された場合、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、新たに位置合わせ量を導出して前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる画像位置合わせ方法。
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
At least one of the center of gravity of a subject region in a slice image plane and the inclination of a principal axis of inertia is matched between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among a plurality of slice images included in the second three-dimensional image;
deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of the center of gravity and the principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison destination slice images based on the evaluation value ;
storing a position matching amount between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
When the comparison source slice image is switched, it is determined whether or not the switched comparison source slice image satisfies a predetermined condition, and when the determination is negative, at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region is matched between the switched comparison source slice image and each of the two or more comparison destination slice images using the stored registration amount;
If the judgment is positive, an image alignment method is provided in which a new alignment amount is derived between the switched comparison source slice image and each of the two or more comparison destination slice images to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area .
少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得する手順と、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる手順と、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出する手順と、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定する手順と、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存する手順と、
前記比較元スライス画像が切り替えられた場合、前記保存された位置合わせ量を用いて、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる手順とをコンピュータに実行させる画像位置合わせプログラム。
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
a step of matching at least one of a center of gravity of a subject region in a slice image plane and a tilt of a principal axis of inertia between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among a plurality of slice images included in the second three-dimensional image;
a step of deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of a center of gravity and a principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison target slice images based on the evaluation value ;
a step of storing an amount of alignment between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
An image alignment program that causes a computer to execute a procedure in which, when the comparison source slice image is switched, the stored alignment amount is used to align at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area between the switched comparison source slice image and each of the two or more comparison destination slice images .
少なくとも1つのスライス画像からなる第1の3次元画像および複数のスライス画像からなる第2の3次元画像を取得する手順と、
前記第1の3次元画像に含まれる1つの比較元スライス画像と前記第2の3次元画像に含まれる複数のスライス画像のうちの2以上の比較先スライス画像のそれぞれとの間で、スライス画像面内の被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる手順と、
前記被写体領域の重心および慣性主軸の少なくとも一方を一致させた後の、前記比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの類似度を表す評価値を導出する手順と、
前記評価値に基づいて前記比較先スライス画像のうちの前記比較元スライス画像に対応する比較対象スライス画像を決定する手順と、
前記比較元スライス画像と前記比較対象スライス画像との間において、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させるための前記比較元スライス画像と前記比較対象スライス画像との位置合わせ量を保存する手順と、
前記比較元スライス画像が切り替えられた場合、前記切り替えられた比較元スライス画像があらかじめ定められた条件を満足するか否かを判定し、前記判定が否定された場合、前記保存された位置合わせ量を用いて、前記切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる手順と、
前記判定が肯定された場合、切り替えられた比較元スライス画像と前記2以上の比較先スライス画像のそれぞれとの間で、新たに位置合わせ量を導出して前記被写体領域の重心および慣性主軸の傾きの少なくとも一方を一致させる手順とをコンピュータに実行させる画像位置合わせプログラム。
acquiring a first three-dimensional image consisting of at least one slice image and a second three-dimensional image consisting of a plurality of slice images;
a step of matching at least one of a center of gravity of a subject region in a slice image plane and a tilt of a principal axis of inertia between one comparison source slice image included in the first three-dimensional image and each of two or more comparison target slice images among a plurality of slice images included in the second three-dimensional image;
a step of deriving an evaluation value representing a similarity between the comparison source slice image and each of the two or more comparison target slice images after at least one of a center of gravity and a principal axis of inertia of the subject region is aligned;
determining a comparison target slice image corresponding to the comparison source slice image among the comparison target slice images based on the evaluation value ;
a step of storing an amount of alignment between the comparison source slice image and the comparison target slice image for matching at least one of the center of gravity of the subject region and the inclination of the principal axis of inertia between the comparison source slice image and the comparison target slice image;
a step of, when the comparison source slice image is switched, determining whether the switched comparison source slice image satisfies a predetermined condition, and, when the determination is negative, using the stored registration amount, matching at least one of the center of gravity and the inclination of the principal axis of inertia of the subject region between the switched comparison source slice image and each of the two or more comparison destination slice images;
If the judgment is positive, an image alignment program causes a computer to execute a procedure for deriving new alignment amounts between the switched comparison source slice image and each of the two or more comparison destination slice images to match at least one of the center of gravity and the inclination of the principal axis of inertia of the subject area .
JP2021050707A 2021-03-24 2021-03-24 Image alignment device, method and program Active JP7574123B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021050707A JP7574123B2 (en) 2021-03-24 2021-03-24 Image alignment device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021050707A JP7574123B2 (en) 2021-03-24 2021-03-24 Image alignment device, method and program

Publications (2)

Publication Number Publication Date
JP2022148869A JP2022148869A (en) 2022-10-06
JP7574123B2 true JP7574123B2 (en) 2024-10-28

Family

ID=83462486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021050707A Active JP7574123B2 (en) 2021-03-24 2021-03-24 Image alignment device, method and program

Country Status (1)

Country Link
JP (1) JP7574123B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259622A (en) 2007-04-11 2008-10-30 Fujifilm Corp Report writing supporting apparatus and its program
JP2011254959A (en) 2010-06-08 2011-12-22 Canon Inc Image processor, image processing method, and program
JP2012084114A (en) 2010-09-16 2012-04-26 Imagequest Inc Person identification information correspondence system and program
JP2013522712A (en) 2010-03-08 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Region of interest definition in cardiac imaging
JP2017127474A (en) 2016-01-20 2017-07-27 横河電機株式会社 Mage extraction apparatus and image extraction method
JP2017502772A5 (en) 2015-01-06 2018-05-31

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6434036B2 (en) 2014-01-06 2018-12-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Articulated structure registration in magnetic resonance imaging of the brain

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259622A (en) 2007-04-11 2008-10-30 Fujifilm Corp Report writing supporting apparatus and its program
JP2013522712A (en) 2010-03-08 2013-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Region of interest definition in cardiac imaging
JP2011254959A (en) 2010-06-08 2011-12-22 Canon Inc Image processor, image processing method, and program
JP2012084114A (en) 2010-09-16 2012-04-26 Imagequest Inc Person identification information correspondence system and program
JP2017502772A5 (en) 2015-01-06 2018-05-31
JP2017127474A (en) 2016-01-20 2017-07-27 横河電機株式会社 Mage extraction apparatus and image extraction method

Also Published As

Publication number Publication date
JP2022148869A (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
JP2021106887A (en) Medical image display device, method and program
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
Pietka et al. Integration of computer assisted bone age assessment with clinical PACS
US20160321427A1 (en) Patient-Specific Therapy Planning Support Using Patient Matching
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
JP2020096773A (en) Medical image processor, method and program
JP6981940B2 (en) Diagnostic imaging support devices, methods and programs
JP7237089B2 (en) MEDICAL DOCUMENT SUPPORT DEVICE, METHOD AND PROGRAM
JP6832880B2 (en) Learning data creation support device, learning data creation support method, and learning data creation support program
WO2019102917A1 (en) Radiologist determination device, method, and program
CA3034814C (en) System and method for using imaging quality metric ranking
JP7574123B2 (en) Image alignment device, method and program
US20230027544A1 (en) Image alignment apparatus, method, and program
JP2019097961A (en) Medical information processing device, and program
JP6829175B2 (en) Alignment device, method and program
WO2020066132A1 (en) Device, method, and program for assisting medical image diagnosis
JP7376715B2 (en) Progress prediction device, method of operating the progress prediction device, and progress prediction program
JP2021175454A (en) Medical image processing apparatus, method and program
US20230225681A1 (en) Image display apparatus, method, and program
US20240037738A1 (en) Image processing apparatus, image processing method, and image processing program
EP4343780A1 (en) Information processing apparatus, information processing method, and information processing program
JP7361930B2 (en) Medical image processing device, method and program
US20230022549A1 (en) Image processing apparatus, method and program, learning apparatus, method and program, and derivation model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241016

R150 Certificate of patent or registration of utility model

Ref document number: 7574123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150