[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2019046057A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2019046057A
JP2019046057A JP2017167253A JP2017167253A JP2019046057A JP 2019046057 A JP2019046057 A JP 2019046057A JP 2017167253 A JP2017167253 A JP 2017167253A JP 2017167253 A JP2017167253 A JP 2017167253A JP 2019046057 A JP2019046057 A JP 2019046057A
Authority
JP
Japan
Prior art keywords
image
calculation
pixel
difference
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017167253A
Other languages
English (en)
Other versions
JP6995535B2 (ja
Inventor
田中 亨
Toru Tanaka
亨 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017167253A priority Critical patent/JP6995535B2/ja
Priority to US15/992,011 priority patent/US10810717B2/en
Publication of JP2019046057A publication Critical patent/JP2019046057A/ja
Application granted granted Critical
Publication of JP6995535B2 publication Critical patent/JP6995535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 画素サイズが異なる画像間において、信号データの離散化位置が異なることで生じる差分画像上のアーチファクトを低減すること。【解決手段】 第1の画像と、該第1の画像より画素サイズが小さい第2の画像とを取得する。第1の画像の画素サイズに基づいて、第2の画像に設定する計算領域の領域サイズを算出する。第1の画像上の注目位置に対応する第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の計算領域を、第2の画像上に設定する。複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出し、注目位置の画素の濃度値と複数の代表値とに基づいて、注目位置における第1の画像と第2の画像との差分値を決定する。【選択図】 図3

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
医療の分野において、医師は、種々のモダリティで撮像した医用画像を用いて診断を行う。特に、被検体の状態の経過観察を目的とした場合、異なる時刻に同一のモダリティで撮像された複数の画像を医師が対比し、被検体の経時的な変化を観察することが行われている。医療以外の分野においても、物体の経時的な変化を観察する際に、同様の作業が実施される場合がある。また、経時比較以外にも、同じ被検体を異なる造影条件や異なる撮像パラメータで撮像した二つの画像を対比して診断する場合がある。
二つの画像の位置合わせを行い、その画像間の差異を可視化した差分画像を表示することにより、画像間の対比を支援する経時差分技術が知られている。しかしながら、二つの画像間の画素サイズが異なることで、パーシャルボリューム効果の影響が大きくなり、画像間で対応する部位であっても、画像間の濃度値に差異が生じる場合がある。そして、画像間の濃度値の差異が、差分画像上にアーチファクトとして発生するという課題がある。特許文献1では、低画素サイズ画像(第1の画像)と高画素サイズ画像(第2の画像)において、第1の画像と、第1の画像の画素サイズと同じになるように第2の画像の画素サイズを変換した第2の変換画像との間で、差分画像を生成する技術を開示している。これによると、第1の画像の画素と対応する位置の第2の画像の画素の濃度値を、第1の画像の濃度値に近似させることができるため、差分画像上のアーチファクトを低減できる。
特開2009−147830号公報
しかしながら、特許文献1では、画像間で画素サイズを一致させたとしても、画像を生成する際の被検体に対する信号データの離散化位置が画像間で異なると、画像間で各画素が有する濃度値に差異が発生する。これにより、差分画像上にアーチファクトが発生してしまうという課題があった。
本発明は上記課題に鑑みてなされたものであり、画素サイズが異なる画像間において、信号データの離散化位置が異なることで生じる差分画像上のアーチファクトを低減することの可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本発明に係る画像処理装置は、以下の構成を備える。すなわち、第1の画像と、該第1の画像より画素サイズが小さい第2の画像を取得する画像取得手段と、前記第1の画像の画素サイズに基づいて、前記第2の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、前記第1の画像上の注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第2の画像上に設定する計算領域設定手段と、前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、前記注目位置の画素の濃度値と前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、を有する。また、第1の画像と、該第1の画像より画素サイズが大きい第2の画像を取得する画像取得手段と、前記第2の画像の画素サイズに基づいて、前記第1の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第1の画像上に設定する計算領域設定手段と、前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、前記注目位置に対応する前記第2の画像上の対応位置の画素の濃度値と、前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、を有する。
本発明によれば、画素サイズが異なる画像間において、信号データの離散化位置が異なることで生じる差分画像上のアーチファクトを低減することが可能となる。
第1実施形態に係る画像処理装置の機器構成を示す図。 第1実施形態における全体の処理手順を示すフロー図。 第1実施形態における計算領域の設定方法を説明する図。 第2実施形態における全体の処理手順を示すフロー図。 第2実施形態における差分値の算出方法を説明する図。 第3実施形態に係る画像処理装置の機器構成を示す図。 第3実施形態における全体の処理手順を示すフロー図。 第1の実施形態〜第3の実施形態における画像処理装置のハードウェア構成を示す図。
以下、添付図面に従って本発明に係る画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
<第1実施形態>
本実施形態に係る画像処理装置は、二つの3次元画像(第1の画像と第2の画像)の間の3次元差分画像を生成する装置である。本実施形態に係る画像処理装置は、第1の画像と第2の画像の画素サイズが異なる場合であっても、画素サイズの違いに起因したアーチファクトの発生を抑制した差分画像を生成することを特徴とする。なお、以下の説明では、画素サイズが小さい方の画像を小画素画像、画素サイズが大きい方の画像を大画素画像と呼ぶ。また、第1の画像と第2の画像が、3次元の医用画像である前提で説明をするが、これに限らない。
通常、CT画像のように被検体から得られた連続的な信号データを離散化された画素の濃度値に変換して画像を再構成する際、所定の区間(例えば、スライス画像の面内の画素サイズやスライス厚)の信号データの重み付き平均の値を利用する。すなわち、画素サイズが大きい画素の濃度値は、小さい画素と比較して、広範囲の信号データが平滑化されて算出されている。本実施形態の画像処理装置は、小画素画像の濃度値を近似的に信号データとみなす。ここで、第1の画像上の注目位置と、それに対応する第2の画像上の対応位置が与えられた時の、注目位置の差分値の算出について考える。
まず、第1の画像の画素サイズが第2の画像より大きい場合には、第2の画像(小画素画像)上に、第1の画像(大画素画像)の1画素と同じサイズの計算領域を、第2の画像(小画素画像)上の対応位置を含むように複数設定する。次に、第2の画像(小画素画像)上に設定された複数の計算領域ごとに領域内の濃度値を平滑化して代表値を取得することにより、第1の画像(大画素画像)の1画素と同じサイズの領域の信号データから生成した濃度値を近似的に求める。そして、第1の画像(大画素画像)上の注目位置の濃度値と、第2の画像(小画素画像)上の複数の代表値とを比較して、複数の代表値の中から最も該注目位置の濃度値に近い代表値を選択する。最後に、注目位置の濃度値と選択された代表値との差分値を算出し、画像内の各画素位置(注目位置)に関してその値を濃度値とした3次元差分画像を生成する。
一方、第1の画像の画素サイズが第2の画像より小さい場合には、第1の画像(小画素画像)上に、第2の画像(大画素画像)の1画素と同じサイズの計算領域を、第1の画像(小画素画像)上の注目位置を含むように複数設定する。次に、第1の画像(小画素画像)上に設定された複数の計算領域ごとに領域内の濃度値を平滑化して代表値を取得することにより、第2の画像(大画素画像)の1画素と同じサイズの領域の信号データから生成した濃度値を近似的に求める。そして、第2の画像(大画素画像)上の対応位置の濃度値と、第1の画像(小画素画像)上の複数の代表値とを比較して、複数の代表値の中から最も該対応位置の濃度値に近い代表値を選択する。最後に、対応位置の濃度値と選択された代表値との差分値を算出し、画像内の各画素位置(注目位置)に関してその値を濃度値とした3次元差分画像を生成する。
これにより、大画素画像の1画素と同サイズの小画素画像上の対応領域から計算された濃度値を近似して取得できるため、大画素画像と小画素画像の間で差分を算出する際の画像の粗さを概ね合わせることができる。さらに、差分算出時に最も注目位置(あるいは対応位置)の濃度値に近い代表値が属する計算領域を取得することで、大画素画像の再構成条件(信号データの離散化位置)に最も合致する小画素画像の対応領域との差分を算出できる。これにより、ユーザは、画素サイズと再構成条件の違いで生じるアーチファクトが低減された3次元差分画像を観察できる。以下、図1から図3を用いて本実施形態の構成および処理を説明する。
まず図8を用いて、本実施形態に係る画像処理装置のハードウェア構成の一例を説明する。尚、本実施形態のハードウェア構成はあくまで一例であり、これ以外のハードウェアを備える画像処理装置であってもよい。図8は、本実施形態の画像処理装置を含む画像処理システム(医用画像処理システムともいう。)の構成例を示すブロック図である。画像処理システムは、その機能的な構成として、画像処理装置100、ネットワーク21、及びデータベース22を有するデータサーバ110を備える。画像処理装置100は、ネットワーク21を介してデータサーバ110に通信可能に接続されている。ネットワーク21は、例えば、LAN(Local Area Network)やWAN(Wide Area Network)を含む。
データサーバ110は、差分画像を生成する対象としてユーザが指定した、第1の画像と第2の画像を保持している。第1の画像および第2の画像は、同一のモダリティで異なる条件(日時、造影条件、撮像パラメータ等)下において、被検体を予め撮像して得られた3次元断層画像(ボリュームデータ)である。3次元断層画像を撮像するモダリティは、MRI装置、X線CT装置、3次元超音波撮影装置、光音響トモグラフィ装置、PET/SPECT、OCT装置などであってもよい。また、第1の画像および第2の画像は、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよいし、同一患者を異なる造影条件や異なる撮像パラメータで撮像した画像であってもよい。また、異なる患者を撮像した画像でもよいし、患者の画像と標準画像でもよい。標準画像とは、例えば、多数の患者の画像から取得される平均的な情報(画素値、部位情報など)から生成される画像である。画像処理装置100は、ネットワーク21を介してデータベース22で保持されている画像を取得することが可能である。
画像処理装置100は、通信IF(Interface)31(通信部)、ROM(Read Only Memory)32、RAM(Random Access Memory)33、記憶部34、操作部35、表示部120、及び制御部37を備える。
通信IF31(通信部)は、LANカードなどにより構成され、外部装置(例えば、データサーバ110など)と画像処理装置100との通信を実現する。ROM32は、不揮発性のメモリなどにより構成され、各種プログラムを記憶する。RAM33は、揮発性のメモリなどにより構成され、各種情報をデータとして一時的に記憶する。記憶部34は、HDD(Hard Disk Drive)などにより構成され、各種情報をデータとして記憶する。操作部35は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ(例えば、医師)からの指示を各種装置に入力する。
表示部120は、ディスプレイなどにより構成され、画像処理装置100が生成する画像を表示するモニタである。制御部37は、CPU(Central Processing Unit)などにより構成され、画像処理装置100における処理を統括制御する。制御部37は、図1に示す各機能を実行する機能部として動作する。
図1は、本実施形態に係る画像処理装置の構成を示す。同図に示すように、本実施形態における画像処理装置100は、データサーバ110および表示部120と接続されている。
画像処理装置100の制御部37は、以下の構成要素として機能する。データ取得部1010は、画像処理装置100に入力される第1の画像と第2の画像を取得する。変形情報取得部1020は、第1の画像と第2の画像の画像上の位置の対応関係を表す変形情報を取得する。計算領域サイズ算出部1030は、大画素画像の画素サイズに基づいて計算領域サイズを算出する。変換画像取得部1040は、小画素画像の画素サイズを変換した変換画像を取得する。位置取得部1050は、第1の画像上の注目位置を取得し、変形情報取得部1020で取得した変形情報を用いて、注目位置と対応する第2の画像上の対応位置を取得する。計算領域設定部1060は、変換画像上の対応位置(あるいは注目位置)を含むように計算領域サイズからなる複数の計算領域を設定する。差分算出部1070は、大画素画像上の注目位置(あるいは対応位置)の画素の濃度値と変換画像上の複数の計算領域内の画素の濃度値とに基づいて、注目位置の差分値を算出する。差分画像生成部1080は、算出した差分値を注目位置の濃度値とした差分画像を生成する。表示制御部1090は、第1の画像および第2の画像、差分画像を並べて表示部120に表示させる表示制御を行う。
図2は、画像処理装置100が行う全体の処理手順のフローチャートを示している。
(S2000)(データの取得)
ステップS2000において、データ取得部1010は、画像処理装置100に入力される第1の画像と第2の画像を取得する。すなわち、第1の画像と、該第1の画像より画素サイズが小さい第2の画像を取得する画像取得手段の一例に相当する。また、第1の画像と、該第1の画像より画素サイズが大きい第2の画像を取得する画像取得手段の一例に相当する。そして、取得した第1の画像と第2の画像を、変換画像取得部1040、変形情報取得部1020、差分算出部1070へと出力する。また、第1の画像と第2の画像の画素サイズに関する情報を、計算領域サイズ算出部1030へと出力する。
(S2010)(変形情報の取得)
ステップS2010において、変形情報取得部1020は、第1の画像と第2の画像間で同一部位を表す画素が略一致するような変形情報を取得する。すなわち、第1の画像と第2の画像との間の位置合わせ処理(変形推定処理)を行う。そして、取得した変形情報を位置取得部1050へと出力する。
本実施形態において、変形情報は公知の画像処理手法により求める。例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像類似度としては、一般的に用いられているSum of Squared Difference(SSD)や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像の変形のモデルとしては、Thin Plate Spline(TPS)などの放射基底関数に基づく変形モデルがある。他にも、Free Form Deformation(FFD)、Large Deformation Diffeomorphic Metric Mapping(LDDMM)等の公知の変形モデルを利用できる。なお、第1の画像と第2の画像の間に位置と姿勢の差異しか存在しない(そのように近似できる)場合には、画像間の剛体位置合わせを行い、位置と姿勢の変換パラメータを変形情報として取得するようにしてもよい。また、画像間のアフィン変換パラメータを変形情報として取得するようにしてもよい。また、画像間の位置ずれがない(そのように近似できる)場合には、本ステップの処理は不要となる。
(S2020)(計算領域サイズの算出)
ステップS2020において、計算領域サイズ算出部1030は、小画素画像の画素サイズを大画素画像の画素サイズに近似させるための平滑化処理を施すべく、計算領域サイズを算出する。そして、算出した計算領域サイズを計算領域設定部1060へと出力する。
本実施形態において、大画素画像と小画素画像の夫々の1画素が表す領域のサイズは異なり、小画素画像の方が1画素で表すことができる領域が小さい。画素サイズが大きい画像を近似するための平滑化処理の計算領域サイズは、画像間で画像の粗さが概ね一致するように設定する。すなわち、大画素画像の1画素と小画素画像上の対応領域のサイズが等しくなるように計算領域サイズを算出する。これは、第1の画像の画素サイズに基づいて、第2の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段の一例に相当する。また、第2の画像の画素サイズに基づいて、第1の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段の一例に相当する。なお、大画素画像と小画素画像上に同じサイズの領域を設定できれば、必ずしも計算領域のサイズは大画素画像の1画素ではなくてもよい。大画素画像の所定の画素数と同じサイズとなるように算出してもよい。
本実施形態において、計算領域サイズは大画素画像の画素サイズと同じサイズとしたが、軸ごとにサイズを変えてもよい。例えば、一般的なCT画像ではスライス内(x、y方向)の画素サイズは十分に小さい場合が多いため、x、y方向についてはアーチファクト低減を行わない構成であってもよい。この場合は、x、y軸方向の計算領域サイズを0に設定(つまり、平滑化処理しない)し、z軸方向の計算領域サイズのみを上記の方法で算出すればよい。これによると、計算を高速化できる。
(S2030)(変換画像の取得)
ステップS2030において、変換画像取得部1040は、大画素画像の画素サイズ(すなわち、計算領域サイズ)が小画素画像の画素サイズの奇数倍となるように、小画素画像を変換する。すなわち、第2の画像の画素サイズに対して、第1の画像の画素サイズが奇数倍となるように第2の画像の画素サイズを変換する画素サイズ変換手段の一例に相当する。また、第1の画像の画素サイズに対して、第2の画像の画素サイズが奇数倍となるように第1の画像の画素サイズを変換する画素サイズ変換手段の一例に相当する。そして、変換した小画素画像を位置取得部1050、計算領域設定部1060、差分算出部1070へと出力する。
一般的に、後段で行う平滑化処理のカーネルサイズは奇数個の画素数で構成されるため、小画素画像の画素サイズに対して、カーネルサイズとなる計算領域サイズが奇数倍となるように、小画素画像の画素サイズを変換する。これにより、処理対象の画素を中心として、計算領域サイズからなるカーネルを変換後の画像に配置することができる。より具体的な方法としては、変換画像の画素サイズを、大画素画像の画素サイズが変換画像の画素サイズの奇数倍となり、かつ小画素画像の画素サイズよりも小さいサイズの中で最も小画素画像の画素サイズと近い画素サイズとすることができる。例えば、大画素画像のx、y、z軸方向の夫々の画素サイズが1.5mm、1.5mm、3.0mmで、計算領域サイズがこれと同じサイズであり、小画素画像の画素サイズが0.7mm、0.7mm、2mmである場合の変換画像の画素サイズを説明する。この場合、例えば、変換画像の画素サイズが、0.5mm、0.5mm、1.0mmとなるように小画素画像の画素サイズを変換する。
小画素画像の画素サイズに対して、大画素画像の画素サイズが奇数倍である場合、本ステップの処理は省略できる。この場合、小画素画像を変換画像として、ステップS2040へと処理を進める。
(S2040)(位置の取得)
ステップS2040において、位置取得部1050は、第1の画像の画素サイズが第2の画像より大きい場合には、第1の画像(大画素画像)上の注目位置を取得する。そして、変形情報を利用して、第2の画像(小画素画像)の画素サイズを変換した変換画像上の、注目位置に対応する対応位置を取得する。一方、第2の画像の画素サイズが第1の画像より大きい場合には、第1の画像(小画素画像)の画素サイズを変換した変換画像上の注目位置を取得する。そして、変形情報を利用して、第2の画像(大画素画像)上の、注目位置に対応する対応位置を取得する。取得した位置は、計算領域設定部1060および差分算出部1070へと出力する。
本実施形態において、注目位置を取得する位置の間隔は、大画素画像の画素サイズと合わせて、大画素画像の画素の位置ごとに取得してもよいし、小画素画像もしくは変換画像の画素サイズの間隔で取得してよい。例えば、画素サイズが小さい画像の画素の間隔で注目位置を取得した場合、後段で生成する差分画像の画素サイズも小さくなり、鮮鋭度が高い差分画像を生成できる。一方、画素サイズが大きい画像の画素の間隔で注目位置を取得した場合、差分画像の画素サイズが大きくなることにより、差分画像の画素数が少なくなるため、データサーバの使用容量を抑えることができる。これは、画素サイズが小さい方の間隔で取得するように、画素サイズに基づいてあらかじめ決めてもよいし、ユーザが最も関心の高い画像の画素サイズに合わせて注目位置を取得してもよい。ユーザが最も関心の高い画像の画素サイズに合わせた場合、関心の高い画像と生成された差分画像を並べて対比する際に、同じ座標系で観察できるため、互いに対応する画像上の位置を把握しやすくなる。
(S2050)(複数の計算領域の設定)
ステップS2050において、計算領域設定部1060は、ステップS2020で算出した計算領域サイズからなる計算領域を、変換画像上の対応位置(あるいは注目位置)を含むように複数の位置に設定する。すなわち、第1の画像上の注目位置に対応する第2の画像上の対応位置を含み、且つ算出された領域サイズからなる複数の計算領域を、第2の画像上に設定する計算領域設定手段の一例に相当する。また、第1の画像上の注目位置を含み、且つ算出された領域サイズからなる複数の計算領域を、第1の画像上に設定する計算領域設定手段の一例に相当する。そして、設定した複数の計算領域の情報を差分算出部1070へと出力する。
本実施形態において、第1の画像が大画素画像であった場合、大画素画像上の注目位置と変換画像上の対応位置の位置情報だけでは、変換画像上で、大画素画像上の注目位置の画素と対応する領域を同定できない。なぜなら、画像の再構成時に信号データを離散化する位置によって、生成される画素の濃度値は異なり、大画素画像上の注目位置の画素が、信号データをどの位置で離散化して生成されたかは、画像から特定できないためである。そのため、変換画像を信号データとみなしたとき、信号データの離散化位置として可能性のある複数の位置に計算領域を設定し、大画素画像上の注目位置の画素と対応する離散化位置を探索的に求める必要がある。
一方、第1の画像が小画素画像であった場合も同様に、変換画像上で、大画素画像上の対応位置の画素と対応する領域を同定できない。そのため、変換画像を信号データとみなし、信号データの離散化位置として可能性のある複数の位置に計算領域を設定し、大画素画像上の対応位置の画素と対応する離散化位置を探索的に求める必要がある。
図3は、第1の画像が大画素画像であり、第2の画像が小画素画像である場合の複数の計算領域を、変換画像に設定する位置の例を示している。図3では、変換画像をx−y平面で切った断面画像を画像3000で表しており、大画素画像上の注目位置に対応する対応位置3010を含むように計算領域3020を設定している。計算領域のx方向のサイズ3030は、大画素画像のx方向の1画素サイズと同じサイズであり、y方向のサイズ3040は、大画素画像のy方向の1画素サイズと同じサイズである。すなわち、図3では、大画素画像の画素サイズは、小画素画像の画素サイズと比較して、xとy軸方向ともに画素サイズが3倍大きい関係にある。計算領域3050は、計算領域3020の位置をx方向に1画素分ずらした位置に設定した計算領域である。さらに、x方向だけでなくy方向にも位置をずらして計算領域を設定することもできる。例えば、計算領域3060は、計算領域3020をxとy方向夫々に3画素ずつずらして設定した計算領域である。ここでは、計算領域を画素単位でずらして複数設定したが、任意の位置に設定することもできる。また、上記のように1画素ずつずらさずに、所定の画素ずつずらして設定してもよい。また、ランダムに複数の計算領域の位置を設定してもよい。これにより、設定する計算領域の数を少なくすることが可能であり、処理の高速化ができる。なお、図3では、図示を簡単化するため、2次元画像を用いたが、実際の3次元画像においては、xとy方向だけでなく、z方向にも複数の位置に計算領域を設定できる。
(S2060)(複数の代表値の算出)
ステップS2060において、差分算出部1070は、変換画像上に設定した複数の計算領域ごとに代表値を算出する。すなわち、設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段の一例に相当する。
計算領域内の代表値は、変換画像上の計算領域内のすべての画素の濃度値の平均値でもよいし、計算領域内でランダムにサンプリングした画素の濃度値の平均値でもよい。平均値は、計算領域サイズと同じサイズのカーネルを利用して、フィルタ処理によって算出できる。平均値は、計算領域内の画素の濃度値を均等に平均した値や、計算領域の中心に近い位置の画素の濃度値に大きな重みを与えて算出する(例えば、ガウシアンフィルタ)重み付き平均の値でもよい。あるいは、任意の平滑化処理でもよい。通常、CT画像のように被検体から得られた連続的な信号データを離散化された濃度値に変換する際、所定の区間(例えば、スライス画像の面内画素サイズやスライス厚)の信号データの重み付き平均の値を利用する。すなわち、大画素画像の画素は、小画素画像の画素と比較して、広範囲の信号データが平均化されて生成されている。そのため、大画素画像の1画素と同じサイズの小画素画像上の領域の画素の濃度値を平滑化することにより、大画素画像の1画素と同じ領域から生成した濃度値を近似的に求めることができる。
(S2070)(差分値の算出)
ステップS2060において、差分算出部1070は、大画素画像上の注目位置(あるいは対応位置)の濃度値と変換画像上の夫々の計算領域の代表値とに基づいて、注目位置の差分値を算出する。すなわち、注目位置の画素の濃度値と算出された複数の代表値とに基づいて、注目位置における第1の画像と第2の画像との差分値を決定する差分手段の一例に相当する。また、注目位置に対応する第2の画像上の対応位置の画素の濃度値と、算出された複数の代表値とに基づいて、注目位置における第1の画像と第2の画像との差分値を決定する差分手段の一例に相当する。そして、算出した差分値を差分画像生成部1080へと出力する。
本実施形態において、第1の画像が大画素画像であった場合、大画素画像上の注目位置(あるいは対応位置)の濃度値と変換画像上で離散化する領域(計算領域)の位置を変えた場合の複数の濃度値(代表値)との夫々の差分値を算出する。そして、差分が最小となる(大画素画像上の注目位置(あるいは対応位置)の濃度値と最も代表値が近い)対応領域を選択する。そして、この代表値を利用して大画素画像の濃度値との差分を算出することにより、画素サイズの違いによる濃度値の違いを補正して、画像間の画素の差分値を算出できる。これにより、大画素画像の注目位置(あるいは対応位置)の画素を生成する際に離散化した領域と最も合致する変換画像上の領域との差分を算出できる。すなわち、注目位置の画素の濃度値と複数の代表値の夫々との差に基づいて、差分値を決定することを特徴とする差分手段の一例に相当する。より具体的には、複数の代表値のうち、注目位置の画素の濃度値との差が小さい代表値と、注目位置の画素の濃度値とに基づく差分値を、注目位置における第1の画像と第2の画像との差分値として決定することを特徴とする差分手段の一例に相当する。また、対応位置の画素の濃度値と複数の代表値の夫々との差に基づいて、差分値を決定することを特徴とする差分手段の一例に相当する。より具体的には、複数の代表値のうち、対応位置の画素の濃度値との差が小さい代表値と、対応位置の画素の濃度値とに基づく差分値を、注目位置における第1の画像と第2の画像との差分値として決定することを特徴とする差分手段の一例に相当する。
一方、第1の画像が小画素画像であった場合は、上述の大画素画像上の注目位置を対応位置として置き換えて同様に差分値を算出することで、大画素画像上の対応位置の画素を生成する際に離散化した領域と最も合致する変換画像上の領域との差分を算出できる。
本実施形態において、計算領域内の代表値は、計算領域内の複数の濃度値を近似的に撮像時の信号データとみなし、その信号データから代表値を算出している。すなわち、信号データから代表値を算出する方法は、実際に大画素画像の濃度値を信号データから生成する方法と類似していることが好ましい。すなわち、大画素画像の再構成アルゴリズムが既知の場合、そのアルゴリズムに従って計算領域内の代表値を算出してもよい。
なお、大画素画像上の複数の位置(注目位置あるいは対応位置)に対して、同様の処理を行う場合、複数の位置(第1の位置と第2の位置)の画素が、小画素画像上の同一の計算領域(第1の計算領域)と対応づく場合がある。例えば、第1の位置の濃度値と第1の計算領域の代表値の差分値が、第2の位置の濃度値と第1の計算領域の代表値との差分値より小さい場合、第1の位置を第1の計算領域と対応づけることができる。そして、第2の位置は第1の計算領域を除いた他の計算領域との間で差分値が最小となる領域を探索し、対応づけることができる。第1の画像の画素サイズが第2の画像より大きい場合は、第1の注目位置に対応する第1の対応位置と第2の注目位置に対応する第2の対応位置において、第1の計算領域の中心と近い方の注目位置を第1の計算領域と対応づけてもよい。あるいは、画像全体において、夫々の注目位置に対応する対応位置と計算領域の中心のずれの総和が小さくなるように、計算領域と対応づけてもよい。
(S2080)(注目位置を変更する?)
ステップS2080において、位置取得部1050は、第1の画像(あるいは変換画像)上のすべての位置における差分値を算出したか否かの判定を行う。すべての位置の差分値を算出した場合、ステップS2090へと処理を進める。一方、すべての位置における差分値を取得していない場合、ステップS2040へと処理を戻す。
なお、本実施形態において、差分値の算出を行うのは第1の画像(あるいは変換画像)上のすべての位置ではなく、あらかじめ公知の画像処理技術により抽出した一部の位置でもよい。これにより、アーチファクト低減に要する処理時間を低減できる。
(S2090)(差分画像の生成)
ステップS2090において、差分画像生成部1080は、第1の画像(あるいは変換画像)上の夫々の注目位置における差分値を濃度値とした差分画像(第1の差分画像)を生成する。そして、得られた差分画像をデータサーバ110へと保存する。また、表示制御部1090へと出力する。なお、ステップS2070で算出した第2の差分値(第1の画像(あるいは変換画像)上の注目位置の濃度値と第2の画像上の対応位置の濃度値との差分値)を濃度値とした一般的な差分画像(第2の差分画像)も合わせて生成するようにしてもよい。
本実施形態において、差分画像の画素サイズは、小画素画像と同じ画素サイズとしてもよいし、変換画像と同じ画素サイズとしてもよい。
(S2100)(差分画像の表示)
ステップS2100において、表示制御部1090は、ステップS2090で生成した差分画像(第1の差分画像)を表示部120に表示する制御を行う。
表示の例としては、例えば一つの画面を縦または横に分割して第1の画像、第2の画像、差分画像を夫々並べて表示してもよいし、第1の画像または第2の画像と異なる色で描画した差分画像(第1の差分画像)を重ね合わせて表示してもよい。または、第1の画像および第2の画像、差分画像のいずれか一つのみを選択して(同一位置に自由に切り替えて)表示できるようにしてもよい。また、いずれかの画像の画素サイズに合わせ、他方の画像を拡大または縮小して表示してもよいし、第1の画像上の一つの注目位置に対応する第2の画像の対応位置および差分画像の注目位置が合うように、夫々並べて表示してもよい。また、第1の差分画像と第2の差分画像を切り替えて表示できるようにしてもよい。
以上によって、画像処理装置100の処理が実施される。
以上により、一方の画像が、x、y、z軸方向の夫々において、他方の画像よりも画素サイズが小さい画像間において、濃度値を算出する領域のサイズを合わせ、画素サイズと再構成条件の違いにより生じる濃度値の差異を補正し、差分を算出できる。これにより、差分画像上のアーチファクトが低減された差分画像をユーザが観察できる。
(変形例1−1)(画素区切りではない平滑化方法)
本実施形態において、大画素画像の画素サイズが小画素画像に対して奇数倍となるように、小画素画像の画素サイズを変換した画像を平滑化したが、必ずしも画素サイズを変換しなくてもよい。例えば、小画素画像上の平滑化対象の画素を中心に、大画素画像の画素サイズと同じ第1の領域を設定し、第1の領域に含まれる画素の濃度値を第1の領域に含まれる画素の体積比に応じて、平滑化処理を施してもよい。より具体的には、第1の領域内に小画素画像の画素が完全に含まれている場合、その画素の濃度値に係る重み係数を1とする。一方、第1の領域内に画素の半分しか含まれていない画素は、その濃度値に係る重み係数を0.5とする。そして、第1の領域に含まれる全画素の濃度値の重み付き平均値を濃度値とした第2の平滑化画像を取得できる。これによると、大画素画像の画素サイズが小画素画像に対して奇数倍となるように、小画素画像の画素サイズを変換しなくとも、同等の効果を得ることができる。
<第2実施形態>
第1実施形態では、一方の画像の画素サイズが、x、y、z軸方向の夫々において、他方の画像よりも画素サイズが小さい、もしくは、同じ画素サイズの画像であった。本実施形態に係る画像処理装置は、一つの軸方向では第1の画像の画素サイズの方が小さく、他の一つ軸方向では、第2の画像の画素サイズの方が小さい画像間で3次元差分画像を生成する装置である。
なお、本実施形態においては、軸方向ごとに画素サイズが小さい画像を小画素画像とし、画素サイズが大きい方の画像を大画素画像とする。例えば、第1の画像の方がx方向の画素サイズが小さく、第2の画像の方がy方向の画像サイズが小さい場合、x方向に対しては第1の画像を小画素画像とし、y方向に対しては第2の画像を小画素画像として処理する。
本実施形態に係る画像処理装置の構成は、第1実施形態と同様である。しかし、変換画像取得部1040、位置取得部1050、計算領域設定部1060、差分算出部1070は、第1実施形態と機能が異なるため、以下でその機能を説明する。その他の構成は、第1実施形態と機能が同じであるため、説明を省略する。
画像処理装置100は、以下の構成要素により構成される。変換画像取得部1040は、第1の画像と第2の画像夫々の画素サイズを変換した第1の変換画像と第2の変換画像を取得する。位置取得部1050は、第1の変換画像上の注目位置を取得し、変形情報取得部1020で取得した変形情報を用いて、第1の変換画像上の注目位置と対応する第2の変換画像上の対応位置を取得する。計算領域設定部1060は、第1の変換画像上の注目位置を含むように計算領域サイズからなる複数の計算領域を設定し、第2の変換画像上の対応位置を含むように計算領域サイズからなる複数の計算領域を設定する。差分算出部1070は、第1の変換画像上の複数の計算領域内の画素の濃度値と、第2の変換画像上の複数の計算領域内の画素の濃度値とに基づいて、注目位置の差分値を算出する。
図4は、画像処理装置100が行う全体の処理手順のフローチャートを示している。ステップS4000、S4010、S4100は、第1実施形態のステップS2000,S2010とS2100と同様の処理を行うため、説明を省略する。以下、図2のフローチャートとの相違部分のみ説明する。
(S4020)(計算領域サイズの算出)
ステップS4020において、計算領域サイズ算出部1030は、大画素画像の画素サイズに基づいて、差分値の算出に用いる計算領域サイズを算出する。そして、算出した計算領域サイズを計算領域設定部1060へと出力する。
本実施形態において、夫々の軸方向で画素サイズが大きい画像が異なるため、夫々の軸方向における計算領域サイズは、第1の画像と第2の画像の画素サイズが大きい方の画素サイズと同じサイズにする。すなわち、少なくとも、画像を基底する第一の軸において第1の画像の画素サイズが第2の画像の画素サイズよりも大きく、且つ第二の軸において第2の画像の画素サイズが第1の画像の画素サイズよりも大きい場合に、該軸ごとに、画素サイズが一方の画像よりも大きい画像の画素サイズに基づいて、計算領域の領域サイズを算出する領域サイズ算出手段の一例に相当する。
(S4030)(変換画像の取得)
ステップS4030において、変換画像取得部1040は、各軸方向において、大画素画像の画素サイズが小画素画像の画素サイズの奇数倍となるように、第1の画像の画素サイズを変換した第1の変換画像を取得する。更に、同様にして、第2の画像の画素サイズを変換した第2の変換画像を取得する。そして、取得した変換画像を計算領域設定部1060と差分算出部1070へと出力する。
本実施形態では、夫々の軸方向の画素サイズが、第1の変換画像と第2の変換画像との間で奇数倍となるように画素サイズを変換する。また、夫々の軸方向ごとに、画素サイズが小さい方の画像の画素サイズを変換する。例として、第1の画像のx、y、z軸方向の夫々の画素サイズが1.5mm、1.5mm、2mmであり、第2の画像のx、y、z軸方向の夫々の画素サイズが1.0mm、1.0mm、3mmである場合の変換画像の画素サイズを説明する。この場合、x、y軸方向では、画素サイズが小さい方の画像である第2の画像の画素サイズを変換する。例えば、画素サイズが奇数倍となり、1.0mmと最も近い画素サイズとする場合、0.5mmとする。z軸方向では、画素サイズが小さい方の第1の画像の画素サイズを変換する。x、y軸方向と同様の方法で、変換後のz軸方向の画素サイズを1mmと決められる。すなわち、上記の例では、第1の変換画像は、x、y、z軸方向の夫々の画素サイズを1.5mm、1.5mm、1mmとなるように第1の画像の画素サイズを変換する。そして、第2の変換画像は、0.5mm、0.5mm、3mmとなるように第2の画像の画素サイズを変換して生成する。
(S4040)(位置の取得)
ステップS4040において、位置取得部1050は、第1の変換画像上の注目位置を取得し、ステップS4020で取得した変形情報を利用して注目位置と対応する第2の変換画像上の対応位置を取得する。そして、取得した位置を計算領域設定部1060および差分算出部1070へと出力する。
(S4050)(複数の計算領域の設定)
ステップS4050において、計算領域設定部1060は、第1の変換画像と第2の変換画像を信号データとみなしたとき、第1実施形態と同様に、信号データの離散化位置として可能性のある複数の位置に計算領域を設定する。すなわち、ステップS4030で算出した計算領域サイズからなる計算領域を、第1の変換画像上の注目位置と第2の変換画像上の対応位置を夫々含むように複数の位置に設定する。そして、設定した複数の計算領域の情報を差分算出部1070へと出力する。
図5を用いて具体的に説明する。図5(a)と(b)において、矩形領域5000および5010は夫々、各画素を物理サイズ(mm)で区切った第1の画像および第2の画像の領域を表している。夫々の領域内の点線からなる矩形は、各画素が表す領域を示している。すなわち、図5においては、第1の画像は第2の画像と比較して、y軸方向には画素サイズが大きく、x軸方向に画素サイズが小さい画像である。図5(c)は、矩形領域5000において、第1の変換画像の各画素が示す領域を示しており、注目位置5020を含むように1つの計算領域5030を設定している。図5(d)は、矩形領域5010において、対応位置5040を含むように1つの計算領域5050を設定している。図5(c)と(d)では、図の簡単化のため1つの計算領域を図示したが、第1の変換画像と第2の変換画像を信号データとみなしたとき、第1実施形態と同様に、信号データの離散化位置として可能性のある複数の位置に計算領域を小画素画像上に設定する必要がある。本実施形態では、各軸方向の小画素画像夫々に対して、複数の計算領域を設定する。具体的には、第1の変換画像においては、第2の変換画像よりも画素サイズが小さい軸方向(x方向)に位置をずらした計算領域を設定する。すなわち、計算領域5030を、注目位置5020を含むようにx軸方向の小画素画像(第1の変換画像)の画素単位でx軸方向に位置をずらした複数の計算領域を設定する。これにより、x方向に対して、信号データとみなした第1の変換画像上で離散化位置として可能性のある複数の位置に計算領域を設定できる。第2の変換画像も同様に、第1の変換画像よりも画素サイズが小さい軸方向(y方向)に位置をずらした計算領域を設定する。すなわち、計算領域5050を、対応位置5040を含むようにy軸方向の小画素画像(第2の変換画像)の画素単位でy軸方向に位置をずらした複数の計算領域を設定する。これにより、y方向にも離散化位置として可能性のある複数の位置に計算領域を設定できる。すなわち、第1の画像上の注目位置を含み、且つ算出された領域サイズからなる複数の計算領域を第1の画像上に設定すると共に、注目位置に対応する第2の画像上の対応位置を含み、且つ算出された領域サイズからなる複数の計算領域を第2の画像上に設定する計算領域設定手段の一例に相当する。
(S4060)(複数の代表値の算出)
ステップS4060において、差分算出部1070は、第1の変換画像上に設定した複数の計算領域と、第2の変換画像上に設定した複数の計算領域ごとに代表値を算出する。すなわち、第1の画像上に設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第1の代表値を算出し、第2の画像上に設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第2の代表値を算出する代表値算出手段の一例に相当する。
第1の変換画像上の複数の計算領域夫々の代表値は、第1の実施形態において、第2の変換画像上の複数の計算領域夫々の代表値を算出した方法と同様の方法で算出できる。
(S4070)(差分値の算出)
ステップS4070において、差分算出部1070は、ステップS4060で取得した第1の変換画像上の複数の代表値と第2の変換画像上の複数の代表値とに基づいて、差分画像に与える差分値を算出する。そして、算出した差分値を差分画像生成部1080へと出力する。すなわち、複数の第1の代表値の夫々と複数の第2の代表値の夫々との差に基づいて、注目位置における第1の画像と第2の画像との差分値を決定する差分手段の一例に相当する。
差分値は、第1の変換画像上の複数の代表値と第2の変換画像上の複数の代表値の組み合わせの中から、差分が最小となる値を算出する。これにより、差分が最小となった第1の変換画像上の代表値が属する計算領域と第2の変換画像上の代表値が属する計算領域とを対応する領域とすることができる。そして、一つの軸方向のみ第1の画像の画素サイズの方が小さく、他の一つの軸方向のみ第2の画像の画素サイズの方が小さい場合においても、画像間で同じサイズの領域を参照することできる。そのため、画素サイズの違いによる濃度値の違いを補正して、画像間の画素の差分値を算出できる。
本実施形態において、第1の変換画像から算出した複数の代表値と、第2の変換画像から算出した複数の代表値との組み合わせの中から、最小となる差分値を算出したが、一方の画像は算出する代表値を1つとしてもよい。計算領域を複数設定することにより、画像からは特定できない信号データを離散化した位置を探索しているが、離散化の位置のずれによる濃度値の変化の影響が少ない場合は、離散化の位置を探索しなくてもよい。例えば、一方の画像の画素サイズが高く、濃度値の変化の影響が少ない場合は、離散化の位置を探索せずに1つの代表値と、他方の画像の複数の代表値との差分値から、最小となる差分値を算出してもよい。これによると、差分値を算出する処理を高速化できる。
(S4080)(注目位置を変更する?)
ステップS4080において、位置取得部1050は、第1の変換画像上のすべての位置における差分値を算出したか否かの判定を行う。すべての位置の差分値を算出した場合、ステップS4090へと処理を進める。一方、すべての位置における差分値を取得していない場合、ステップS4040へと処理を戻す。
(S4090)(差分画像の生成)
ステップS4090において、差分画像生成部1080は、第1の変換画像上の夫々の注目位置における差分値を濃度値とした差分画像を生成する。そして、得られた差分画像をデータサーバ110へと保存する。また、表示制御部1090へと出力する。
本実施形態において、差分画像の画素サイズは、第1の画像と同じ画素サイズとしてもよいし、第2の画像と同じ画素サイズとしてもよい。また、第1の変換画像や第2の変換画像と同じ画素サイズでもよい。
以上によって、画像処理装置100の処理が実施される。
以上により、一つの軸方向では一方の画像の画素サイズの方が小さく、他の一つ軸方向では、他方の画像の画素サイズの方が小さい画像間おいて、濃度値を参照する領域のサイズを合わせ、画素サイズの違いにより生じる濃度値の差異を補正し、差分を算出できる。これにより、差分画像上のアーチファクトが低減された差分画像をユーザが観察できる。
<第3実施形態>
第1実施形態では、変形情報を用いて第1の画像と第2の画像から直接取得した濃度値に基づいて、差分値を算出した。本実施形態に係る画像処理装置は、第2の画像を変形情報に基づいて変形させた第2の変形画像を生成し、第2の変形画像の濃度値に基づいて、第1の画像の濃度値との差分値を算出し、差分画像を生成する。これにより、第1の画像と画像上の同一部位の位置が略一致した第2の変形画像と差分画像を取得できる。そのため、これらの画像を並べて表示することで、差分画像上の差分値を第1の画像と第2の変形画像のどの位置の濃度値から算出したかをユーザが容易に確認できる。
図6は、本実施形態に係る画像処理装置の構成を示す。ここで、データサーバ110、表示部120は、第1実施形態と同様であるため説明を省略する。
画像処理装置600は、以下の構成要素により構成されている。データ取得部1010、変換画像取得部1040、変形情報取得部1020、計算領域サイズ算出部1030、位置取得部1050、計算領域設定部1060、差分画像生成部1080は、第1実施形態と同じ機能であるため説明を省略する。
変形画像取得部1610は、変形情報に基づいて、小画素画像を変形した変形画像を取得する。計算領域投影部1620は、変形情報に基づいて、小画素画像上に設定した複数の計算領域を変形画像上に投影し、変形画像上に複数の変形計算領域を設定する。差分算出部1070は、大画素画像の注目位置の濃度値と変形画像上の複数の変形計算領域内の画素の濃度値とに基づいて、注目位置の差分値を算出する。表示制御部1090は、大画素画像および変形画像、差分画像を並べて表示部120に表示させる表示制御を行う。
図7は、画像処理装置600が行う全体の処理手順のフローチャートを示している。ステップS7000からS7050と、S7080、S7090は、第1実施形態のステップS2000からS2050と、S2080、S2090と同様の処理を行うため、説明を省略する。以下、図2のフローチャートとの相違部分のみ説明する。
(S7052)(変形画像の取得)
ステップS7052において、変形画像取得部1610は、変形情報に基づいて、小画素画像を変形させた変形画像を取得する。そして、取得した変形画像を、計算領域投影部1620および差分算出部1070へと出力する。すなわち、第1の画像と第2の画像とを位置合わせするための変形情報を取得する変形情報取得手段、及び、取得された変形情報に基づいて、第2の画像を変形させた変形画像を取得する変形画像取得手段の一例に相当する。
(S7054)(計算領域の投影)
ステップS7054において、計算領域投影部1620は、変形画像上で小画素画像上の計算領域に対応する領域を取得するため、変形情報に基づいて、小画素画像上に設定した夫々の計算領域を変形画像上に変形計算領域として投影する。すなわち、変形情報に基づいて、第2の画像上に設定された複数の計算領域を、取得された変形画像に投影する投影手段の一例に相当する。そして、複数の変形計算領域を差分算出部1070へと出力する。
ここで、投影する小画素画像上の計算領域は、計算領域内の領域すべてでもよいし、計算領域内からサンプリングした複数の位置でもよい。計算領域内の領域すべてを投影する場合、変形画像上に変形情報を利用して投影した変形領域の輪郭の内部領域すべてを変形計算領域とすることができる。
(S7060)(複数の代表値の算出)
ステップS7060において、差分算出部1070は、第1実施形態のステップS2060と同様の方法で、変形画像上の夫々の変形計算領域内の画素の濃度値の代表値を算出する。すなわち、変形画像上に投影された複数の計算領域の夫々において、代表値を算出することを特徴とする代表値算出手段の一例に相当する。そして、算出した差分値を差分画像生成部1080へと出力する。
(S7070)(差分値の算出)
ステップS7070において、差分算出部1070は、第1実施形態のステップS2070と同様の方法で、大画素画像上の注目位置の濃度値と変形画像上の夫々の変形計算領域内の画素の濃度値とに基づいて、注目位置の差分値を算出する。そして、算出した差分値を差分画像生成部1080へと出力する。
(S7100)(差分画像の表示)
ステップS7100において、表示制御部1090は、ステップS7090で生成した差分画像を表示部120に表示する制御を行う。
表示の例としては、例えば一つの画面を縦または横に分割して大画素画像、変形画像、差分画像を夫々並べて表示してもよいし、小画素画像と変形画像を切り替えて表示できるようにしてもよい。
以上によって、画像処理装置600の処理が実施される。
以上により、大画素画像と画像上の同一部位が略一致した小画素画像を変形させた変形画像と、アーチファクトが低減された差分画像間の同一部位を容易に比較しながら観察できる。これにより、第1実施形態と比較して、ユーザは、差分画像上の差分値が病変による差分か否かを容易に判断できるという効果がある。
なお、大画素画像を変形させる場合は、計算領域を投影する必要がないため、第1実施形態の大画素画像を、大画素画像を変形した画像と置き換えることで、本実施形態と同様のアーチファクト低減効果を得ることができる。このとき、大画素画像を変形させた画像と小画素画像は、位置合わせが実施されており、同じ座標系で表現されているため、注目位置と対応位置は画像上の同じ位置(第3の位置)とすることができる。そのため、変形情報を取得する処理はスキップすることができる。すなわち、小画素画像上の第3の位置を含むように設定した複数の計算領域の代表値を取得し、大画素画像を変形させた画像上の第3の位置の濃度値と代表値との間で差分を算出すればよい。
<その他の実施形態>
上述した複数の変形例のうち少なくとも二つを組み合わせることも可能である。
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、1つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
100 画像処理装置
110 データサーバ
21 ネットワーク
22 データベース
31 通信IF
32 ROM
33 RAM
34 記憶部
35 操作部
120 表示部
37 制御部

Claims (18)

  1. 第1の画像と、該第1の画像より画素サイズが小さい第2の画像を取得する画像取得手段と、
    前記第1の画像の画素サイズに基づいて、前記第2の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第2の画像上に設定する計算領域設定手段と、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、
    前記注目位置の画素の濃度値と前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、
    を有することを特徴とする画像処理装置。
  2. 前記差分手段は、前記注目位置の画素の濃度値と前記複数の代表値の夫々との差に基づいて、前記差分値を決定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記差分手段は、前記複数の代表値のうち、前記注目位置の画素の濃度値との差が小さい代表値と、前記注目位置の画素の濃度値とに基づく差分値を、前記注目位置における前記第1の画像と前記第2の画像との差分値として決定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第2の画像の画素サイズに対して、前記第1の画像の画素サイズが奇数倍となるように前記第2の画像の画素サイズを変換する画素サイズ変換手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記第1の画像と前記第2の画像とを位置合わせするための変形情報を取得する変形情報取得手段と、
    前記取得された変形情報に基づいて、前記第2の画像を変形させた変形画像を取得する変形画像取得手段と、
    前記変形情報に基づいて、前記第2の画像上に設定された前記複数の計算領域を、前記取得された変形画像に投影する投影手段と、
    を有し、
    前記代表値算出手段は、前記変形画像上に投影された複数の計算領域の夫々において、前記代表値を算出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 第1の画像と、該第1の画像より画素サイズが大きい第2の画像を取得する画像取得手段と、
    前記第2の画像の画素サイズに基づいて、前記第1の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第1の画像上に設定する計算領域設定手段と、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、
    前記注目位置に対応する前記第2の画像上の対応位置の画素の濃度値と、前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、
    を有することを特徴とする画像処理装置。
  7. 前記差分手段は、前記対応位置の画素の濃度値と前記複数の代表値の夫々との差に基づいて、前記差分値を決定することを特徴とする請求項6に記載の画像処理装置。
  8. 前記差分手段は、前記複数の代表値のうち、前記対応位置の画素の濃度値との差が小さい代表値と、前記対応位置の画素の濃度値とに基づく差分値を、前記注目位置における前記第1の画像と前記第2の画像との差分値として決定することを特徴とする請求項7に記載の画像処理装置。
  9. 前記第1の画像の画素サイズに対して、前記第2の画像の画素サイズが奇数倍となるように前記第1の画像の画素サイズを変換する画素サイズ変換手段を更に有することを特徴とする請求項6乃至8のいずれか1項に記載の画像処理装置。
  10. 前記計算領域設定手段は、前記第1の画像の画素サイズと前記第2の画像の画素サイズとの差あるいは比に基づいて、前記計算領域を設定するかを決定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記第1の画像と前記第2の画像は、3次元の医用画像であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 第1の画像と、該第1の画像より画素サイズが小さい第2の画像を取得する画像取得ステップと、
    前記第1の画像の画素サイズに基づいて、前記第2の画像に設定する計算領域の領域サイズを算出する領域サイズ算出ステップと、
    前記第1の画像上の注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第2の画像上に設定する計算領域設定ステップと、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出ステップと、
    前記注目位置の画素の濃度値と前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分ステップと、
    を有することを特徴とする画像処理方法。
  13. 画像処理装置を、
    第1の画像と、該第1の画像より画素サイズが小さい第2の画像を取得する画像取得手段と、
    前記第1の画像の画素サイズに基づいて、前記第2の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第2の画像上に設定する計算領域設定手段と、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、
    前記注目位置の画素の濃度値と前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、
    として機能させることを特徴とするプログラム。
  14. 第1の画像と、該第1の画像より画素サイズが大きい第2の画像を取得する画像取得ステップと、
    前記第2の画像の画素サイズに基づいて、前記第1の画像に設定する計算領域の領域サイズを算出する領域サイズ算出ステップと、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第1の画像上に設定する計算領域設定ステップと、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出ステップと、
    前記注目位置に対応する前記第2の画像上の対応位置の画素の濃度値と、前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分ステップと、
    を有することを特徴とする画像処理方法。
  15. 画像処理装置を、
    第1の画像と、該第1の画像より画素サイズが大きい第2の画像を取得する画像取得手段と、
    前記第2の画像の画素サイズに基づいて、前記第1の画像に設定する計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を、前記第1の画像上に設定する計算領域設定手段と、
    前記設定された複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく代表値を算出する代表値算出手段と、
    前記注目位置に対応する前記第2の画像上の対応位置の画素の濃度値と、前記算出された複数の前記代表値とに基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段、
    として機能させることを特徴とするプログラム。
  16. 第1の画像と第2の画像とを取得する画像取得手段と、
    少なくとも、画像を基底する第一の軸において前記第1の画像の画素サイズが前記第2の画像の画素サイズよりも大きく、且つ第二の軸において前記第2の画像の画素サイズが前記第1の画像の画素サイズよりも大きい場合に、該軸ごとに、画素サイズが一方の画像よりも大きい画像の画素サイズに基づいて、計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第1の画像上に設定すると共に、前記注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第2の画像上に設定する計算領域設定手段と、
    前記第1の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第1の代表値を算出し、前記第2の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第2の代表値を算出する代表値算出手段と、
    前記複数の第1の代表値の夫々と前記複数の第2の代表値の夫々との差に基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段と、
    を有することを特徴とする画像処理装置。
  17. 第1の画像と第2の画像とを取得する画像取得ステップと、
    少なくとも、画像を基底する第一の軸において前記第1の画像の画素サイズが前記第2の画像の画素サイズよりも大きく、且つ第二の軸において前記第2の画像の画素サイズが前記第1の画像の画素サイズよりも大きい場合に、該軸ごとに、画素サイズが一方の画像よりも大きい画像の画素サイズに基づいて、計算領域の領域サイズを算出する領域サイズ算出ステップと、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第1の画像上に設定すると共に、前記注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第2の画像上に設定する計算領域設定ステップと、
    前記第1の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第1の代表値を算出し、前記第2の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第2の代表値を算出する代表値算出ステップと、
    前記複数の第1の代表値の夫々と前記複数の第2の代表値の夫々との差に基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分ステップと、
    を有することを特徴とする画像処理方法。
  18. 画像処理装置を、
    第1の画像と第2の画像とを取得する画像取得手段と、
    少なくとも、画像を基底する第一の軸において前記第1の画像の画素サイズが前記第2の画像の画素サイズよりも大きく、且つ第二の軸において前記第2の画像の画素サイズが前記第1の画像の画素サイズよりも大きい場合に、該軸ごとに、画素サイズが一方の画像よりも大きい画像の画素サイズに基づいて、計算領域の領域サイズを算出する領域サイズ算出手段と、
    前記第1の画像上の注目位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第1の画像上に設定すると共に、前記注目位置に対応する前記第2の画像上の対応位置を含み、且つ前記算出された領域サイズからなる複数の前記計算領域を前記第2の画像上に設定する計算領域設定手段と、
    前記第1の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第1の代表値を算出し、前記第2の画像上に設定された前記複数の計算領域の夫々において、該計算領域に含まれる画素の濃度値に基づく第2の代表値を算出する代表値算出手段と、
    前記複数の第1の代表値の夫々と前記複数の第2の代表値の夫々との差に基づいて、前記注目位置における前記第1の画像と前記第2の画像との差分値を決定する差分手段、
    として機能させることを特徴とするプログラム。
JP2017167253A 2017-08-31 2017-08-31 画像処理装置、画像処理方法およびプログラム Active JP6995535B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017167253A JP6995535B2 (ja) 2017-08-31 2017-08-31 画像処理装置、画像処理方法およびプログラム
US15/992,011 US10810717B2 (en) 2017-08-31 2018-05-29 Image processing apparatus, image processing method, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017167253A JP6995535B2 (ja) 2017-08-31 2017-08-31 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019046057A true JP2019046057A (ja) 2019-03-22
JP6995535B2 JP6995535B2 (ja) 2022-01-14

Family

ID=65435331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167253A Active JP6995535B2 (ja) 2017-08-31 2017-08-31 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10810717B2 (ja)
JP (1) JP6995535B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146926A (ja) * 2018-02-28 2019-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2020209013A1 (ja) * 2019-04-10 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111821032B (zh) * 2019-04-16 2022-06-07 上银科技股份有限公司 医疗影像对位方法
CN112085707B (zh) * 2020-08-18 2024-09-06 北京华夏视科技术股份有限公司 印刷品颜色检测方法、装置、设备及介质
JP2023019113A (ja) * 2021-07-28 2023-02-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165664A (ja) * 1998-11-30 2000-06-16 Sony Corp 画像の解像度変換装置及び方法
JP2007044276A (ja) * 2005-08-10 2007-02-22 Hitachi Medical Corp 医用画像診断支援装置
US20090074276A1 (en) * 2007-09-19 2009-03-19 The University Of Chicago Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4355744B2 (ja) 2007-12-17 2009-11-04 シャープ株式会社 画像処理装置
EP2468207A1 (en) * 2010-12-21 2012-06-27 Renishaw (Ireland) Limited Method and apparatus for analysing images
CN108140655A (zh) * 2015-09-25 2018-06-08 株式会社尼康 拍摄元件以及拍摄装置
US20170294033A1 (en) * 2016-04-06 2017-10-12 Varex Imaging Corporation Dose efficient x-ray detector and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165664A (ja) * 1998-11-30 2000-06-16 Sony Corp 画像の解像度変換装置及び方法
JP2007044276A (ja) * 2005-08-10 2007-02-22 Hitachi Medical Corp 医用画像診断支援装置
US20090074276A1 (en) * 2007-09-19 2009-03-19 The University Of Chicago Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MASASHI MINASHIMA ET AL.: ""Temporal Subtraction Method for Abdominal Contrast and Non-contrast Image Based on Image Matching T", 2012 12TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS, JPN6021029570, 17 October 2012 (2012-10-17), US, pages 1805 - 1808, XP032291497, ISSN: 0004639190 *
杉本 藍子、外3名: ""胸部単純X線画像におけるピクセルマッチング法を用いた経時的差分画像法の開発"", 日本放射線技術学会誌, vol. 69, no. 8, JPN6021029572, 20 August 2013 (2013-08-20), JP, pages 855 - 863, ISSN: 0004639189 *
板井 善則、外4名: ""ボクセルマッチング法による経時差分画像上のアーチファクトの低減法"", 電子情報通信学会技術研究報告, vol. 107, no. 461, JPN6021029574, 18 January 2008 (2008-01-18), JP, pages 281 - 284, ISSN: 0004566402 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146926A (ja) * 2018-02-28 2019-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2019167731A1 (ja) * 2018-02-28 2019-09-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11593941B2 (en) 2018-02-28 2023-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2020209013A1 (ja) * 2019-04-10 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2020171481A (ja) * 2019-04-10 2020-10-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7387280B2 (ja) 2019-04-10 2023-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6995535B2 (ja) 2022-01-14
US10810717B2 (en) 2020-10-20
US20190066280A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
US11468589B2 (en) Image processing apparatus, image processing method, and program
JP6318739B2 (ja) 画像処理装置、およびプログラム
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3355273B1 (en) Coarse orientation detection in image data
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
JP5943353B2 (ja) 画像処理装置及び画像処理方法
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
WO2019167731A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2020006150A (ja) 基準系の妥当性
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
JP2010194086A (ja) 医用画像表示装置及びプログラム
JP7551419B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7387280B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6732593B2 (ja) 画像処理装置および画像処理方法
US20170287174A1 (en) Methods and apparatuses for image processing and display
CN110709888B (zh) 信息处理装置和用于控制信息处理装置的方法
JP7562799B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7106096B2 (ja) 心機能解析装置、解析方法、プログラムおよび記録媒体
JP2021086260A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021086263A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017225670A (ja) 画像処理装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211215

R151 Written notification of patent or utility model registration

Ref document number: 6995535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151