[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5533198B2 - 医用画像表示装置及びプログラム - Google Patents

医用画像表示装置及びプログラム Download PDF

Info

Publication number
JP5533198B2
JP5533198B2 JP2010103065A JP2010103065A JP5533198B2 JP 5533198 B2 JP5533198 B2 JP 5533198B2 JP 2010103065 A JP2010103065 A JP 2010103065A JP 2010103065 A JP2010103065 A JP 2010103065A JP 5533198 B2 JP5533198 B2 JP 5533198B2
Authority
JP
Japan
Prior art keywords
image
region
medical image
abnormal shadow
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010103065A
Other languages
English (en)
Other versions
JP2011229707A (ja
Inventor
仁 二村
昭教 角森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2010103065A priority Critical patent/JP5533198B2/ja
Publication of JP2011229707A publication Critical patent/JP2011229707A/ja
Application granted granted Critical
Publication of JP5533198B2 publication Critical patent/JP5533198B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、医用画像表示装置及びプログラムに関する。
近年、女性の乳癌の罹患率の上昇に伴い、乳癌検診への関心が高まっている。乳癌検診では、乳房を撮影した医用画像を医師が読影し、異常の有無を診断している。しかしながら、診断を行う読影医の数は不足しており、診断が滞る問題が発生している。
このような問題を改善すべく、診断作業の支援を目的として、医用画像から乳癌等の病変の特徴を示す異常陰影候補を自動的に検出する異常陰影候補検出装置(CAD(Computer-Aided Detection))が開発されている。
例えば、特許文献1には、左右一対の乳房画像の一方から異常陰影候補が検出された場合、検出された異常陰影候補の領域に対応する他方の領域を局所表示せしめる技術が記載されている。
特開2001−204721号公報
ところで、医用画像の読影において、読影医が注目領域(異常陰影の疑いのある領域)を視認したのち、その確信度を高めるために同一部位を他方向から撮影した他の医用画像(他方向画像という)上で対応する領域を観察することがある。臨床現場では、目視にて実施する場合が多い。これは安定性に欠ける手法であり、読影時間がかかる。また、万が一、医師が対応する領域を見誤った場合には、対応所見を拾えず、当初注目した領域を病巣候補から落としてしまう可能性がある。
本発明の課題は、読影医が医用画像から注目領域を視認した場合に、同一部位を他方向から撮影した他方向画像におけるその注目領域に対応する領域に存在する異常陰影候補を観察しやすくし、読影効率及び読影精度の向上を図ることである。
上記課題を解決するため、請求項1に記載の発明は、
一又は異なる複数の検出感度の検出アルゴリズムを用いて一の医用画像及び当該一の医用画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の医用画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置であって、
前記一の医用画像及び前記他方向画像を表示する表示手段と、
前記表示手段に表示された前記一の医用画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段と、
前記操作手段により指定された注目領域に対応する領域を前記他方向画像から抽出し、前記他方向画像から抽出された前記注目領域に対応する領域を識別可能に前記表示手段に表示させるとともに、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記制御手段は、前記一の医用画像及び前記他方向画像のそれぞれに、予め定められた検出感度で検出された異常陰影候補領域を示す情報を表示させ、前記操作手段からの指示に応じて、前記他方向画像の前記注目領域に対応する領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる。
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記医用画像は、乳房画像である。
請求項4に記載の発明は、請求項3に記載の発明において、
前記制御手段は、前記一の医用画像における乳頭位置から注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の医用画像の注目領域に対応する領域として抽出する。
請求項5に記載の発明は
一又は異なる複数の検出感度の検出アルゴリズムを用いて一の乳房画像及び当該一の乳房画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の乳房画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置であって、
前記一の乳房画像及び前記他方向画像を表示する表示手段と、
前記表示手段に表示された前記一の乳房画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段と、
前記一の乳房画像における乳頭位置から前記操作手段により指定された注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の乳房画像の注目領域に対応する領域として抽出し、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段と、
を備える
請求項6に記載の発明は、請求項5に記載の発明において、
前記制御手段は、前記一の乳房画像及び前記他方向画像のそれぞれに、予め定められた検出感度で検出された異常陰影候補領域を示す情報を表示させ、前記操作手段からの指示に応じて、前記他方向画像の前記注目領域に対応する領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる
請求項に記載の発明のプログラムは、
一又は異なる複数の検出感度の検出アルゴリズムを用いて一の医用画像及び当該一の医用画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の医用画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置に用いられるコンピュータを、
前記一の医用画像及び前記他方向画像を表示する表示手段、
前記表示手段に表示された前記一の医用画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段、
前記操作手段により指定された注目領域に対応する領域を前記他方向画像から抽出し、前記他方向画像から抽出された前記注目領域に対応する領域を識別可能に前記表示手段に表示させるとともに、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段、
として機能させる。
請求項8に記載の発明のプログラムは、
一又は異なる複数の検出感度の検出アルゴリズムを用いて一の乳房画像及び当該一の乳房画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の乳房画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置に用いられるコンピュータを、
前記一の乳房画像及び前記他方向画像を表示する表示手段、
前記表示手段に表示された前記一の乳房画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段、
前記一の乳房画像における乳頭位置から前記操作手段により指定された注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の乳房画像の注目領域に対応する領域として抽出し、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段、
として機能させる。
本発明によれば、読影医が医用画像から注目領域(病巣候補領域)を視認した場合に、同一部位を他方向から撮影した他方向画像におけるその注目領域に対応する領域に存在する異常陰影候補を観察しやすくすることができるので、読影効率及び読影精度の向上を図ることが可能となる。
本実施の形態における医用画像表示システムの全体構成例を示す図である。 異常陰影候補の検出アルゴリズムに用いられる閾値、検出感度及び検出結果の関係を示す図である。 図1の画像表示装置の機能的構成を示すブロック図である。 第1の実施の形態において図3の制御部により実行される医用画像表示処理を示すフローチャートである。 (a)は、図4のステップS3で表示されるビューア画面の一例を示す図、(b)は、図4のステップS5で表示されるビューア画面の一例を示す図、(c)は、図4のステップS7で表示されるビューア画面の一例を示す図である。 乳頭の検出においてフィルタ処理済みの画像に設定される座標系を説明するための図である。 乳頭の座標の検出方法を説明するための図である。 (a)は、乳頭から注目領域までの最短の直線距離d1、最長の直線距離d2を説明するための図であり、(b)は、d1、d2に基づき抽出された、注目領域に対応する領域を示す図であり、(c)は、図4のステップS10において表示されるビューア画面の一例を示す図である。る。 第2の実施の形態において図1の画像表示装置及び異常陰影候補検出装置により実行される医用画像表示処理Bのフローを示す図である。
〔第1の実施の形態〕
(医用画像表示システム100の構成)
まず、本発明の第1の実施の形態について説明する。
図1に、医用画像表示システム100のシステム構成を示す。
医用画像表示システム100は、医用画像を撮影し、当該医用画像から異常陰影候補を検出し、医用画像とともにその検出結果情報を読影医に提供するシステムである。
図1に示すように、医用画像表示システム100は、画像生成装置1、異常陰影候補検出装置2、画像サーバ3、画像表示装置4を備えて構成されている。これら各装置1〜4は、LAN(Local Area Network)等の医療機関内で構築された通信ネットワークNを介して相互にデータを送受信可能に接続されている。通信ネットワークNは、DICOM(Digital Imaging and Communication in Medicine)規格が適用されている。なお、各装置の台数は特に限定されない。
以下、各構成装置1〜4について説明する。
画像生成装置1は、人体を撮影し、その撮影画像(医用画像)のデジタルデータを生成するものであり、例えばCR(Computed Radiography)、FPD(Flat Panel Detector
)、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、カセッテ専用の読取装置、フィルムディジタイザ等のモダリティを適用可能である。本実施形態では、画像生成装置1として、左右乳房のX線撮影を行う乳房専用のCRを適用し、乳房画像のデータが生成されるものとする。
なお、画像生成装置1は、上述したDICOM規格に準拠した装置であり、生成した医用画像に付帯させる各種情報、例えば、患者情報や検査情報を外部から入力可能であるとともに、自動生成することもできる。患者情報には、患者を識別するための患者識別情報(例えば、患者ID)、患者の名前、性別、生年月日等の情報が含まれる。検査情報は、検査を識別するための検査識別情報(例えば、検査ID)、検査日、検査条件(検査部位、側性(左、右)、方向(例えば、上下方向(CC)、斜位方向(MLO))、モダリティ種等の情報が含まれる。画像生成装置1は、生成された医用画像に上記患者情報や検査情報、画像を識別するためのUID(Unique ID)等をヘッダ情報として付加して通信ネットワークNを介して異常陰影候補検出装置2及び画像サーバ3へ送信する。なお、DICOM規格に準拠していない場合には、図示しないDICOM変換装置を用いて付帯情報を画像生成装置1に入力させることも可能である。
異常陰影候補検出装置(CAD)2は、画像生成装置1から供給される医用画像の画像解析を行って異常陰影候補の検出処理を行うコンピュータである。異常陰影候補検出装置2は、CPU(Central Processing Unit)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶部、LANカード等の通信部を備える。異常陰影候補検出装置2の記憶部には、異常陰影の種類に応じた検出アルゴリズムの検出プログラムが記憶されている。例えば、腫瘤陰影候補の検出プログラム、微小石灰化クラスタ陰影候補の検出プログラム等が記憶されている。異常陰影候補検出装置2のCPUは、記憶部に記憶された検出プログラムとの協働により、通信部を介して入力された各医用画像から乳房画像における腫瘤、微小石灰化クラスタ等の異常陰影候補の領域を検出する。
異常陰影候補の検出アルゴリズムとしては、公知のものを適用可能である。例えば、乳房画像における腫瘤陰影候補のアルゴリズムとしては、特開平10−91758号公報に開示されているアイリスフィルタを用いた手法や、ラプラシアンフィルタを用いた手法(電気情報通信学会論文誌(D-II),Vol.J76-D-II,no.2,pp.241-249,1993)等が適用可能である。また、微小石灰化クラスタ陰影候補の検出アルゴリズムとしては、例えばモルフォルジーフィルタ(電気情報通信学会論文誌(D-II),Vol.J71-D-II,no.7,pp.1170-1176,1992)、ラプラシアンフィルタ(電気情報通信学会論文誌(D-II),Vol.J71-D-II,no.10,pp.1994-2001,1998)、3重リングフィルタ等を用いた方法等を適用可能である。
異常陰影候補の検出アルゴリズムは、医用画像から検出対象の異常陰影候補の種類に応じた所定の特徴を持つ領域を抽出して特徴量を算出し、算出された特徴量を閾値と比較することによりその領域が異常陰影候補領域であるか否かを最終的に判定している。この閾値が変わると、異常陰影候補検出装置2における検出感度は変化する。例えば、閾値を下げれば、図2に示すように検出感度が高くなり、より多くの異常陰影候補が検出されることとなり、閾値を上げれば検出感度が低くなり、異常陰影候補の検出数は抑えられることとなる。なお、図2において、○で示した領域が異常陰影候補として検出された領域である。
異常陰影候補検出装置2は、各異常陰影候補の種類毎に、検出感度の異なる(即ち、検出に用いられる閾値の異なる)複数の検出アルゴリズムを有しており、一又は複数の検出アルゴリズムを用いて異常陰影候補の検出を行う。本実施の形態においては、予め定められた標準の検出感度(標準検出感度)と、それよりも高い検出感度(高検出感度)の2つの検出感度の検出アルゴリズムで検出を行うこととして説明する。なお、検出感度は、操作部により操作者が設定可能な構成としてもよい。
異常陰影候補検出装置2は、上記検出アルゴリズムによる異常陰影候補の検出処理が終了すると、検出アルゴリズム毎に、異常陰影候補の検出結果情報(以下、CAD情報と呼ぶ)を生成する。CAD情報は、検出対象の異常陰影候補の種類の情報、検出感度の情報、検出された各異常陰影候補の領域(輪郭)の位置情報等が含まれる。そして、異常陰影候補検出装置2は、生成されたCAD情報に検出元の医用画像のヘッダ情報を付加して通信部により画像サーバ3に送信する。
画像サーバ3は、CPU、RAM、HDD等の記憶部、LANカード等の通信部を備えたコンピュータである。画像サーバ3の記憶部には、画像DB(Data Base)351が備えられている。画像サーバ3は、画像生成装置1から受信された医用画像と異常陰影候補検出装置2から受信された当該医用画像についてのCAD情報とを対応付けて記憶し、その入出力を管理する。
例えば、画像DB351は、画像DB351に記憶されている各医用画像に関する管理情報を格納する画像管理テーブルを有している。画像管理テーブルには、各医用画像についての管理情報が1レコードとして格納される。管理情報には、UID、患者情報、検査情報、ファイル情報(医用画像のファイル名及びこれに対応するCAD情報のファイル名、ファイル格納場所、更新日付、ファイルサイズ等)が含まれる。
画像サーバ3において、画像生成装置1からの医用画像が受信されると、受信された医用画像が画像DB351に格納されるとともに、受信された医用画像のヘッダ情報に基づいて管理情報が作成され、画像管理テーブルに格納される。また、異常陰影候補検出装置2からのCAD情報が受信されると、受信されたCAD情報が画像DB351に格納されるとともに、画像管理テーブルからCAD情報のヘッダに含まれるUIDとUIDが一致するレコードが検索され、検索されたレコードにCAD情報のファイル名、格納場所等が追加書き込みされる。このようにして、画像DB351には、医用画像と当該医用画像から検出された異常陰影候補のCAD情報が対応付けて検索可能に記憶される。
図1に戻り、画像表示装置4は、読影医の操作により指定された医用画像及びこれに対応するCAD情報を画像サーバ3から取得して表示する医用画像表示装置である。
図3に、画像表示装置4の機能構成例を示す。
図3に示すように、画像表示装置4は、制御部41、操作部42、表示部43、通信部44、記憶部45を備えて構成され、各部はバス46により接続されている。
制御部41は、CPU、RAM等により構成される。制御部41のCPUは、記憶部45に記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してRAMに展開し、展開されたプログラムに従って各種処理を実行する。
例えば、制御部41は、後述する医用画像表示処理を実行する。
操作部42は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部41に出力する。
表示部43は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部41から入力される表示信号の指示に従って、各種画面を表示する。
通信部44は、LANカード等により構成され、スイッチングハブを介して通信ネットワークNに接続された外部機器との間でデータの送受信を行う。
記憶部45は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリ等で構成
されている。記憶部45には、前述のように各種プログラムが記憶されている。また、記憶部45には、医用画像を診断に適した画質に調整するための画像処理パラメータ(階調処理に用いる階調曲線を定義したルックアップテーブル、周波数処理の強調度等)等を記憶している。
(医用画像表示システム100の動作)
次に、医用画像表示システム100の動作について説明する。
図4に、第1の実施の形態において画像表示装置4により実行される医用画像表示処理のフローチャートを示す。医用画像表示処理は、制御部41と記憶部45に記憶されているプログラムとの協働により実行される。
まず、操作部42の操作により読影対象の医用画像G1の選択が行われる(ステップS1)。具体的には、操作部42による操作に応じて、表示部43に、医用画像の検索画面が表示される。検索画面において操作部42により検索条件(患者ID、検査部位、側性、方向等)が入力されると、入力された検索条件及び検索要求が通信部44により画像サーバ3に送信される。画像サーバ3においては、画像DB351の画像管理テーブルから検索条件に合致した医用画像の管理情報が検索され、検索条件に合致した医用画像のリストデータが作成されて画像表示装置4に送信される。画像表示装置4においては、通信部44によりリストデータが受信されると、当該リストデータに基づく画像選択画面が表示部43に表示される。画像選択画面は、例えば、検査ID、患者ID、患者氏名、検査日、モダリティ種、検査部位、側性、方向等の項目を有するリストが検査単位又は画像で表示され、表示部43への表示対象とする医用画像を操作部42を介して選択可能な構成となっている。読影医は、操作部42の操作により読影対象の医用画像(G1とする)を選択する。
読影対象の医用画像G1が選択されると、選択された読影対象の医用画像G1、当該選択された読影対象の医用画像G1と同一部位を他方向から撮影した医用画像G2(他方向画像と呼ぶ)、及びこれらの画像に対応するCAD情報の取得要求が通信部44により画像サーバ3に送信され、読影対象の医用画像G1、他方向画像G2及びこれらの医用画像に対応するCAD情報(複数感度のCAD情報。ここでは、標準検出感度及び高検出感度のCAD情報)が画像サーバ3から取得される(ステップS2)。
ここで、他方向画像G2としては、例えば、読影対象の医用画像G1が乳房を斜位方向から撮影したMLO画像である場合、同一患者の乳房を上下方向から撮影したCC画像が挙げられる。また、読影対象の医用画像G1がCC画像である場合、他方向画像G2としてはMLO画像が挙げられる。他方向画像G2は、読影対象の医用画像G1と略同時期に撮影されたものであり、本実施の形態においては、読影対象の医用画像G1と同日に撮影されたものとする。
画像サーバ3においては、上述の読影対象の医用画像G1等の取得要求が受信されると、要求された読影対象の医用画像G1、他方向画像G2及びこれらの医用画像に対応する複数感度のCAD情報が医用画像DB351から検索されて読み出され、画像表示装置4に送信される。
読影対象の医用画像G1、他方向画像G2及びこれらの画像に対応するCAD情報が取得されると、読影対象の医用画像G1及び他方向画像G2が表示部43のビューア画面431に表示される(ステップS3)。
図5(a)に、ステップS3におけるビューア画面431の表示の一例を示す。
図5(a)に示すように、ステップS3においては、読影対象の医用画像G1と他方向画像G2が並べて表示される。また、CAD結果の表示、すなわち、異常陰影候補検出装置2により検出された異常陰影候補領域の表示を指示するためのCAD結果ボタンB1が表示される。
次いで、操作部42によりCADの検出結果(即ち、異常陰影候補検出装置2により検出された異常陰影候補の領域)の表示が指示されたか否かが判断される(ステップS4)。操作部42によりCAD結果ボタンB1が押下されることによりCADの検出結果の表示が指示されたと判断されると(ステップS4;YES)、標準検出感度のCAD情報に基づいて、ビューア画面431に表示されている読影対象の医用画像G1、他方向画像G2のそれぞれに、それぞれから検出された異常陰影候補領域を示すマークM1が表示される(ステップS5)。
図5(b)に、ステップS5におけるビューア画面431の表示の一例を示す。図5(b)に示すように、ステップS5においては、読影対象の医用画像G1、他方向画像G2のそれぞれに、標準検出感度の検出アルゴリズムを用いてそれぞれから検出された異常陰影候補領域を示すマークM1が表示される。マークM1は、異常陰影候補検出装置2により検出された異常陰影候補領域を示す情報であり、異常陰影候補領域の代表点(例えば、重心等)を示す○や矢印等の記号や、指定された注目領域を線で表した描画情報等が含まれる。図5(b)においては、他方向画像G2においてはマークM1は表示されていない。即ち、他方向画像G2においては標準検出感度で異常陰影候補が検出されなかったことを示している。
ここで、一般的に、異常陰影候補検出装置2により検出された異常陰影候補領域にマークを表示すると、読影医が読影に要する時間は、マーク数に応じて増加する傾向がある。また、検出感度を高くすればするほど偽陽性が増える傾向がある。そのため、はじめから高検出感度で検出された異常陰影候補領域をマーク表示することは、読影効率や診断性能の面から好ましくない。そこで、ステップS5においては、まず、予め定められた標準検出感度の検出アルゴリズムで検出されたCAD情報を用いて異常陰影候補領域を示すマークM1が表示される。マークM1は、例えば、異常陰影候補の種類毎に異なる色で表示する等、読影医がその種類を識別可能に表示することが好ましい。
読影医は、ビューア画面431に表示された読影対象の医用画像G1を観察し、注目領域が存在するか否かを視認する。ビューア画面431には、読影対象の医用画像G1とともに他方向画像G2が表示されているので、読影医は、読影対象の医用画像G1に注目領域が存在した場合、他方向画像G2における注目領域に対応する領域を観察し、その注目領域が真に異常陰影候補であるか否かの確認を行うことができる。即ち、他方向から撮影した医用画像の対応する領域に異常陰影候補が存在すれば、注目領域が異常陰影候補領域であることの確信を高めることができる。
しかし、本来異常陰影が存在しているにも拘らず、図5(b)に示すように、撮影時の乳房の圧迫の状態の違い等により標準検出感度では他方向画像G2における注目領域に対応する対応領域から異常陰影候補領域が検出されなかった場合、読影医がその注目領域は異常陰影ではなかったと判断してしまうことがあり得る。また、読影医が目視で他方向画像G2から注目領域に対応する領域を抽出すると、領域を見誤ることもあり得る。
そこで、本実施の形態においては、読影医が読影対象の医用画像G1から注目領域を指定すると、他方向画像G2における、指定された注目領域に対応する領域を自動的に抽出し、その抽出された領域を識別可能に示すとともに、その抽出された領域に対しては高検出感度の検出アルゴリズムで検出されたCAD情報を用いてマークM1の表示を行う。これにより、他方向画像G2における注目領域に対応する領域を読影医が間違いなく認識できるようにするとともに、当該領域に存在する異常陰影候補を観察しやすくし、効率良く、安定した読影が行えるようになっている。
なお、注目領域の指定は、読影対象の医用画像G1の注目領域を操作部42のマウスによりクリックする等により行うことができる。注目領域としては、マークM1の示す領域であってもそれ以外であっても指定することができる。
操作部42により、表示部43に表示された読影対象の医用画像G1上から注目領域が指定されると(ステップS6;YES)、指定された注目領域の位置情報がRAMに記憶され、表示された医用画像G1上の指定された注目領域にマークM2が表示される(ステップS7)。医用画像G1上から注目領域が指定されず、操作部42により読影の終了を指示する終了ボタンB2が押下されると(ステップS6;NO)、医用画像表示処理は終了する。
図5(c)に、ステップS7におけるビューア画面431の表示の一例を示す。図5(c)に示すように、ステップS7においては、読影対象の医用画像G1の、操作部42により指定された注目領域にマークM2が表示される。マークM2は、読影医が指定した注目領域を示す情報であり、注目領域の代表点(例えば、重心等)を示す○や矢印等の記号や、指定された注目領域を線で表した描画情報等が含まれる。マークM2は、マークM1と異なる態様で表示することが好ましい。また、ステップS7において、ビューア画面431には、併せて他方向画像G2における対応する領域の検出感度を引き上げる指示を入力するための検出感度変更ボタンB3が表示される。
操作部42により検出感度変更ボタンB3が押下されると(ステップS8;YES)、指定された注目領域に対応する領域が他方向画像G2から抽出される(ステップS9)。
ステップS9においては、例えば、以下の(1)〜(3)の処理が行われることにより、指定された注目領域に対応する領域が他方向画像G2から抽出される。
(1)まず、読影対象の医用画像G1と他方向画像G2から乳頭位置の検出が行われる。
乳頭位置の検出は、以下の(a)〜(d)処理により行うことができる。ここでは読影対象の医用画像G1から乳頭位置を検出する処理について説明するが、他方向画像G2についても同様の処理で検出される。
(a)まず、読影対象の医用画像G1の各画素を注目画素としてソベル(Sobel)フィルタによりフィルタ処理が施され、フィルタ処理済みの画像(画像g1とする)が取得される。
以下の説明において、画像g1における各画素の位置は、図6に示すように、乳房の上下方向をX軸、これと垂直方向をY軸とした座標(X,Y)で表す。また、画像g1、g2における座標(X,Y)の画素値をV(X,Y)と表す。また、X軸方向の画像端の座標をXmax、Y軸方向の画像端をYmaxとして表す。
(b)次いで、画像g1の各X座標(0〜Xmax)において、Y軸方向に探索が行われ、V(X,Y)が最大となる座標S(X)が抽出される。これにより、画像gの各X座標におけるエッジが抽出される。抽出されたエッジは、図6に示すように、フィルタ処理後の画像gにおける乳房領域Saと乳房外領域Sb(背景)との境界点であり、スキンラインSLを構成する。
(c)次いで、図7に示すように、各S(X)について、S(X)とS(X+d(dは、例えば10))とを結んだ直線と、S(X)〜S(X+d)の各点との最短の距離Dがそれぞれ算出され、算出された距離Dの最大値D(X)が算出される。
(d)次いで、算出されたD(X)のうち最も大きい値をもつS(X)が乳頭位置を表す乳頭座標として検出される。
(2)乳頭位置が検出されると、図8(a)に示すように、読影対象の医用画像G1において、乳頭位置の点(図8(a)において黒丸で示す)と上記指定された注目領域内の各点とを結ぶ直線の距離が算出され、乳頭位置から最短の直線距離d1、最長の直線距離d2が取得される。
(3)次いで、他方向画像G2において、乳頭位置からd1以上d2以下の距離にある領域(図8(b)において点線で挟まれた領域)が対応領域として抽出される。
乳房のある場所に病変が存在する場合、撮影方向に拘わらず、乳頭から同じ距離にその病変は存在しているはずである。そこで、ステップS9の上記処理により、乳頭からの距離が注目領域と同じ領域を他方向画像G2から抽出する。
他方向画像G2における注目領域と対応する領域の抽出が終了すると、抽出された領域が識別可能に他方向画像G2に表示されるとともに、その領域についての検出感度を引き上げて異常陰影候補領域を示すマークM1が表示され(ステップS10)、医用画像表示処理は終了する。具体的には、ステップS9で抽出された領域が点線等により囲まれて表示されるとともに、その領域については、高検出感度の検出アルゴリズムで検出された検出結果を示すCAD情報に基づいて、マークM1が表示される。
図8(c)に、ステップS10におけるビューア画面431の表示の一例を示す。ステップS10においては、ステップS9で抽出された注目領域に対応する領域が点線等により識別可能に表示されるとともに、注目領域に対応する領域の検出感度を引き上げてマークM1が表示される。従って、読影医が他方向画像G2において注目する領域に対応する領域がどこであるかを一瞥して認識することが可能となるとともに、注目領域に相当する陰影が他方向画像G2に存在するか否かを容易に観察することが可能となるので、読影効率及び読影精度の向上を図ることが可能となる。
一方、ステップS8において、操作部42により検出感度変更ボタンB3が押下されず、終了ボタンB2が押下されると(ステップS8;NO)、医用画像表示処理は終了する。
〔第2の実施の形態〕
次に、本発明の第2の実施の形態について説明する。
第2の実施の形態の構成は、第1の実施の形態で説明したものと同様であるので説明を援用し、以下、第2の実施の形態の動作について説明する。
第2の実施の形態において、異常陰影候補検出装置2は、画像生成装置1から医用画像を受信すると、予め定められた標準検出感度の検出アルゴリズムで異常陰影候補の検出を行う。
画像サーバ3は、画像生成装置1から受信された医用画像と異常陰影候補検出装置2から受信されたCAD情報とを対応付けて画像DB351に記憶しておき、画像表示装置4からの要求に応じて、画像DB351に記憶されている医用画像、他方向画像及び標準検出感度での異常陰影候補検出結果を示すCAD情報を読み出して画像表示装置4に送信する。
異常陰影候補検出装置2は、画像表示装置4からの要求に応じて、高検出感度の検出アルゴリズムでの異常陰影候補の検出を行い、その検出結果を示すCAD情報を画像表示装置4に送信する。
画像表示装置4は、操作部42による操作に応じて、読影対象の医用画像G1等を表示する。
図9に、画像表示装置4の操作部42からの操作に応じて画像表示装置4及び異常陰影候補検出装置2により実行される医用画像表示処理(医用画像表示処理Bとする)のフローチャートを示す。図9に示す画像表示装置4側の処理は、制御部41と記憶部45に記憶されているプログラムとの協働により実行され、異常陰影候補検出装置2側の処理は、当該装置のCPUと記憶部に記憶されているプログラムとの協働により実行される。
まず、図9のステップS21〜27の処理が実行される。図9のステップS21〜ステップS27の処理は、第1の実施の形態において図4を用いて説明した医用画像表示処理におけるステップS1〜S7の処理と同様である。ただし、ステップS22において取得されるCAD情報は、画像サーバ3の画像DB351に既に記憶されている、予め定められた標準検出感度によるCAD情報のみである。
画像表示装置4において、操作部42により検出感度の変更が指示されると(ステップS28;YES)、通信部44により異常陰影候補検出装置2に他方向画像G2が送信され、高検出感度の検出アルゴリズムを用いて異常陰影候補の検出を行うよう要求が行われる(ステップS29)。
異常陰影候補装置2においては、画像表示装置4からの他方向画像G2及び検出要求が受信されると、標準検出感度より検出感度の高い高検出感度の検出アルゴリズムを用いて異常陰影候補の検出が行われる(ステップS30)。そして、検出結果を示すCAD情報が画像表示装置4に送信される(ステップS31)。
画像表示装置4においては、ステップS26において指定された注目領域に対応する領域が他方向画像G2から抽出される(ステップS32)。指定された注目領域に対応する対応領域の抽出は、図4のステップS9で説明したものと同様であるので説明を援用する。
なお、異常陰影候補検出装置2への他方向画像G2の送信に先立って注目領域に対応する領域の抽出を行い、抽出された領域に対して高検出感度で異常陰影候補検出装置2に検出を行わせる態様としてもよい。
画像表示装置4において、通信部44により異常陰影候補検出装置2からのCAD情報が受信されると、ステップS32で抽出された領域が識別可能に他方向画像G2に表示されるとともに、その領域についての検出感度を引き上げて異常陰影候補を示すマークM1が表示され(ステップS33)、医用画像表示処理Bは終了する。具体的には、他方向画像G2におけるステップS32で抽出された領域が点線等により囲まれて表示されるとともに、その領域については、異常陰影候補検出装置2から受信されたCAD情報、即ち、現在のビューア画面431上の表示に用いられているCAD情報より高い、高検出感度で検出した結果を示すCAD情報に基づいて異常陰影候補領域を示すマークM1が表示される。
ステップS33におけるビューア画面431上の表示は、図8(c)に示したものと同様である。ステップS33においては、ステップS32で抽出された注目領域に対応する領域が点線等により識別可能に表示されるとともに、注目領域に対応する領域の検出感度を引き上げてマークM1が表示される。従って、読影医が他方向画像G2において注目する領域に対応する領域がどこであるかを一瞥して認識することが可能となるとともに、注目領域に相当する陰影が他方向画像G2に存在するか否かを容易に観察することが可能となるので、読影効率及び読影精度の向上を図ることが可能となる。
一方、ステップS28において、操作部42により検出感度変更ボタンB3が押下されず、終了ボタンB2が押下されると(ステップS28;NO)、医用画像表示処理Bは終了する。
第1の実施の形態では、異常陰影候補検出装置2において予め複数の検出感度で異常陰影候補領域の検出を行っておくので、画像表示装置4において迅速に表示を行うことが可能となる。一方、第2の実施の形態では、必要なときにのみ標準よりも高い検出感度での検出を行うので、異常陰影候補検出装置2における処理を必要最低限に抑えることができる。また、画像サーバ3の記憶装置の使用量も低減することができる。
以上説明したように、医用画像表示システム100の医用画像表示装置4によれば、読影対象の医用画像G1から操作部42により注目領域が指定されると、指定された注目領域に対応する領域を他方向画像G2から抽出し、表示部43に表示された他方向画像G2の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示すマークM1を表示させる。
従って、画像全体における偽陽性の異常陰影候補の表示を抑えつつ、読影対象の医用画像G1から指定された注目領域に対応する領域については、他の領域と同じ検出感度では検出されなかった異常陰影候補を表示することができるので、注目領域に対応する領域に存在する異常陰影候補が観察しやすくなり、読影効率及び読影精度の向上を図ることが可能となる。
例えば、読影対象の医用画像G1が乳房画像の場合、MLO画像とCC画像の何れかで視認された異常陰影候補が他方の対応する領域に存在するか否かを読影医が効率よく、精度よく観察することが可能となる。
読影対象の医用画像G1が乳房画像である場合、注目領域に対応する領域は、読影対象の医用画像G1における乳頭位置から注目領域までの最短の直線距離d1と最長の直線距離d2とを算出し、他方向画像G2における乳頭位置からの距離が前記算出された最短の直線距離d1以上最長の直線距離d2以内の領域を読影対象の医用画像G1の注目領域に対応する領域として抽出する。従って、他方向画像G2における注目領域に対応する領域を精度良く容易に算出することが可能となる。
また、他方向画像G2に注目領域に対応する領域を識別可能に表示することで、読影医が注目領域に対応する領域を一瞥して認識することが可能となるので、読影効率の向上を図ることが可能となる。また、読影医が注目領域に対応する領域を見誤ることがなくなり、読影精度の向上を図ることが可能となる。
なお、上記第1及び第2の実施の形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記第1及び第2の実施の形態においては、医用画像表示システム100を構成する各装置、即ち、異常陰影候補を検出する異常陰影候補検出装置2、医用画像を記憶する記憶装置としての画像サーバ3、医用画像を表示する画像表示装置4をそれぞれ別体の装置として説明したが、これに限定されない。例えば、医用画像表示システム100を構成する全ての装置を一つの筐体のコンピュータ装置により実現することとしてもよいし、何れか2つの装置を一つの筐体のコンピュータ装置により実現し、残りの装置の機能を別体のコンピュータ装置により実現することとしてもよい。
また、上記実施の形態においては、乳房画像を例として説明したが、部位は乳房に限定されない。
また、上記第1及び第2の実施の形態においては、異常陰影候補検出装置2において、標準検出感度及びそれよりも検出感度の高い高検出感度の2つの異なる検出感度を用いて他方向画像G2から異常陰影候補を検出する場合を例にとり説明したが、これに限定されない。例えば、異常陰影候補検出装置2においては、3以上の異なる検出感度を用いて他方向画像G2から異常陰影候補を検出し、画像表示装置4においては、検出感度変更ボタンB3が押下される毎に、検出感度を段階的に引き上げて異常陰影候補領域を示すマークM1を表示させていくこととしてもよい。
また、上記第1及び第2の実施の形態においては、画像生成装置1から医用画像が生成されると、異常陰影候補検出装置2において検出を行い、CAD情報を画像サーバ3の画像DB351に格納しておくこととして説明したが、これに限定されない。例えば、画像表示装置4において注目領域が指定され、他方向画像G2から注目領域に対応する領域が抽出された後に、抽出された領域とそれ以外の領域のそれぞれに異なる検出アルゴリズムで、具体的には、抽出された領域にそれ以外の領域より高い検出感度の検出アルゴリズムで検出を行うようにしてもよい。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、医用画像表示システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 医用画像表示システム
1 画像生成装置
2 異常陰影候補検出装置
3 画像サーバ
351 画像DB
4 画像表示装置
41 制御部
42 操作部
43 表示部
44 通信部
45 記憶部
46 バス

Claims (8)

  1. 一又は異なる複数の検出感度の検出アルゴリズムを用いて一の医用画像及び当該一の医用画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の医用画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置であって、
    前記一の医用画像及び前記他方向画像を表示する表示手段と、
    前記表示手段に表示された前記一の医用画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段と、
    前記操作手段により指定された注目領域に対応する領域を前記他方向画像から抽出し、前記他方向画像から抽出された前記注目領域に対応する領域を識別可能に前記表示手段に表示させるとともに、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段と、
    を備える医用画像表示装置。
  2. 前記制御手段は、前記一の医用画像及び前記他方向画像のそれぞれに、予め定められた検出感度で検出された異常陰影候補領域を示す情報を表示させ、前記操作手段からの指示に応じて、前記他方向画像の前記注目領域に対応する領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる請求項1に記載の医用画像表示装置。
  3. 前記医用画像は、乳房画像である請求項1又は2に記載の医用画像表示装置。
  4. 前記制御手段は、前記一の医用画像における乳頭位置から注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の医用画像の注目領域に対応する領域として抽出する請求項3に記載の医用画像表示装置。
  5. 一又は異なる複数の検出感度の検出アルゴリズムを用いて一の乳房画像及び当該一の乳房画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の乳房画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置であって、
    前記一の乳房画像及び前記他方向画像を表示する表示手段と、
    前記表示手段に表示された前記一の乳房画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段と、
    前記一の乳房画像における乳頭位置から前記操作手段により指定された注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の乳房画像の注目領域に対応する領域として抽出し、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段と、
    を備える医用画像表示装置。
  6. 前記制御手段は、前記一の乳房画像及び前記他方向画像のそれぞれに、予め定められた検出感度で検出された異常陰影候補領域を示す情報を表示させ、前記操作手段からの指示に応じて、前記他方向画像の前記注目領域に対応する領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる請求項に記載の医用画像表示装置。
  7. 一又は異なる複数の検出感度の検出アルゴリズムを用いて一の医用画像及び当該一の医用画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の医用画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置に用いられるコンピュータを、
    前記一の医用画像及び前記他方向画像を表示する表示手段、
    前記表示手段に表示された前記一の医用画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段、
    前記操作手段により指定された注目領域に対応する領域を前記他方向画像から抽出し、前記他方向画像から抽出された前記注目領域に対応する領域を識別可能に前記表示手段に表示させるとともに、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段、
    として機能させるためのプログラム。
  8. 一又は異なる複数の検出感度の検出アルゴリズムを用いて一の乳房画像及び当該一の乳房画像と同一部位を他方向から撮影した他方向画像のそれぞれから検出された異常陰影候補領域を示す情報を、前記一の乳房画像及び前記他方向画像上にそれぞれ表示する医用画像表示装置に用いられるコンピュータを、
    前記一の乳房画像及び前記他方向画像を表示する表示手段、
    前記表示手段に表示された前記一の乳房画像において、操作者が異常陰影の疑いがあると判断した注目領域を指定するための操作手段、
    前記一の乳房画像における乳頭位置から前記操作手段により指定された注目領域までの最短直線距離と最長直線距離とを算出し、前記他方向画像における乳頭位置からの距離が前記算出された最短直線距離以上最長直線距離以内の領域を前記一の乳房画像の注目領域に対応する領域として抽出し、前記表示手段に表示された前記他方向画像の当該抽出された領域に、他の領域よりも検出感度の高い検出アルゴリズムを用いて検出された異常陰影候補領域を示す情報を表示させる制御手段、
    として機能させるためのプログラム。
JP2010103065A 2010-04-28 2010-04-28 医用画像表示装置及びプログラム Expired - Fee Related JP5533198B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010103065A JP5533198B2 (ja) 2010-04-28 2010-04-28 医用画像表示装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010103065A JP5533198B2 (ja) 2010-04-28 2010-04-28 医用画像表示装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2011229707A JP2011229707A (ja) 2011-11-17
JP5533198B2 true JP5533198B2 (ja) 2014-06-25

Family

ID=45319680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010103065A Expired - Fee Related JP5533198B2 (ja) 2010-04-28 2010-04-28 医用画像表示装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5533198B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048204A (ja) * 2012-08-31 2014-03-17 Canon Inc 放射線撮像装置及び放射線撮像システム
JP7500372B2 (ja) 2020-09-24 2024-06-17 キヤノンメディカルシステムズ株式会社 画像観察装置及び画像観察プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108859A (ja) * 1996-10-07 1998-04-28 Fuji Photo Film Co Ltd 異常陰影候補の検出方法および装置
JP2001346787A (ja) * 2000-06-08 2001-12-18 Fuji Photo Film Co Ltd 異常陰影候補検出方法および検出システム
JP4554921B2 (ja) * 2003-12-25 2010-09-29 富士フイルム株式会社 異常陰影検出装置の作動方法および異常陰影検出装置並びにプログラム

Also Published As

Publication number Publication date
JP2011229707A (ja) 2011-11-17

Similar Documents

Publication Publication Date Title
JP4911029B2 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
US10950204B2 (en) Diagnosis support apparatus and diagnosis support method
JP6183177B2 (ja) 医用画像システム及びプログラム
US10916010B2 (en) Learning data creation support apparatus, learning data creation support method, and learning data creation support program
JP6755192B2 (ja) 診断支援装置および診断支援装置の作動方法
WO2011132468A1 (ja) 医用画像表示装置及びプログラム
JP6331922B2 (ja) 医用画像システム及びプログラム
JP2011103095A (ja) 医用画像表示システム及びプログラム
US20150150531A1 (en) Medical Imaging System And Program
JP2017080389A (ja) 医用画像システム及びプログラム
JP2011101759A (ja) 医用画像表示システム及びプログラム
JP5556674B2 (ja) 医用画像表示装置及びプログラム
JP2007151645A (ja) 医用画像診断支援システム
JP2012143368A (ja) 医用画像表示装置及びプログラム
JP2016195655A (ja) 医用画像システム及びプログラム
CN104809331A (zh) 一种计算机辅助诊断技术(cad)检测放射图像发现病灶的方法和系统
JP5533198B2 (ja) 医用画像表示装置及びプログラム
WO2012005023A1 (ja) 医用画像表示システム及びプログラム
JP2018033657A (ja) 医用画像システム及びプログラム
WO2010026791A1 (ja) 画像診断支援装置
JP7404555B2 (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP5605246B2 (ja) 異常陰影候補検出システム、サーバ装置及びプログラム
JP2006325640A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP4483250B2 (ja) 画像診断支援装置、画像診断支援方法及びプログラム
JP2006340835A (ja) 異常陰影候補の表示方法及び医用画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130416

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5533198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

LAPS Cancellation because of no payment of annual fees