[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6026982B2 - 画像表示制御装置およびその作動方法並びに画像表示制御プログラム - Google Patents

画像表示制御装置およびその作動方法並びに画像表示制御プログラム Download PDF

Info

Publication number
JP6026982B2
JP6026982B2 JP2013203027A JP2013203027A JP6026982B2 JP 6026982 B2 JP6026982 B2 JP 6026982B2 JP 2013203027 A JP2013203027 A JP 2013203027A JP 2013203027 A JP2013203027 A JP 2013203027A JP 6026982 B2 JP6026982 B2 JP 6026982B2
Authority
JP
Japan
Prior art keywords
image
tomographic
display control
displayed
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013203027A
Other languages
English (en)
Other versions
JP2015066169A (ja
Inventor
元中 李
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013203027A priority Critical patent/JP6026982B2/ja
Priority to CN201480053395.XA priority patent/CN105578964B/zh
Priority to PCT/JP2014/004954 priority patent/WO2015045410A1/ja
Priority to DE112014004519.5T priority patent/DE112014004519B4/de
Publication of JP2015066169A publication Critical patent/JP2015066169A/ja
Priority to US15/079,697 priority patent/US9597049B2/en
Application granted granted Critical
Publication of JP6026982B2 publication Critical patent/JP6026982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、3次元画像を構成する断層画像のサムネイル画像を表示させ、その3次元画像の表示指示を受け付けた際に、3次元画像を構成する複数の断層画像を順次切り替えて表示させる画像表示制御装置およびその作動方法並びに画像表示制御プログラムに関するものである。
近年、患者に対して行った各種検査の画像や読影レポートを一覧できる診療情報統合システムが普及し始めている(たとえば非特許文献1参照)。
このような診療情報統合システムにおいては、多くの場合、そのシステムの画面に表示されているCT(Computed Tomography)画像などサムネイル画像をクリックすることで、別途、ビューワアプリケーションが起動され、そのサムネイル画像に対応するCT画像が表示される。
小山和夫、「診療情報統合システムNEXTAS」、横河技法、Vol.48、No.4(2004)、P125-P128
特開2007−144179号公報 特開2002−253545号公報 特開2001−120541号公報 特開2011−120827号公報
ここで、上述したようなシステムの画面において表示されるサムネイル画像は、CT画像の撮影対象部位などを大まかに把握するためのものであるため、CT画像を構成する複数の断層画像のうちのどの断層画像を用いてサムネイル画像を生成するかについては、これまで特に考慮されていなかった。サムネイル画像を生成するために用いられる断層画像としては、たとえば最も端の断層位置の断層画像などが用いられ、固定されたものであった。
なお、特許文献1には、サムネイル表示された3次元画像上において断面の選択を受け、その選択された選択画像を表示させることが開示されておりますが、上述したように3次元画像を構成する複数の断層画像のうちの1つの断層画像をサムネイル表示することは開示されていない。
また、特許文献2には、複数の断層画像をシネ表示することが開示されておりますが、特許文献3にも、上述したように3次元画像を構成する複数の断層画像のうちの1つの断層画像をサムネイル表示することは開示されていない。
また、特許文献3および特許文献4には、複数の断層画像を比較読影することが開示されておりますが、サムネイル画像の表示については何も提案されていない。
本発明は、上記事情に鑑み、ユーザが断層画像のサムネイル画像を観察した際、撮影対象部位などを大まかに把握できるだけなく、過去の読影情報も確認することができる画像表示制御装置および方法並びにプログラムを提供することを目的とするものである。
本発明の画像表示制御装置は、複数の断層画像から構成される3次元画像の断層画像のサムネイル画像を表示させるサムネイル画像表示制御部と、3次元画像の表示指示を受け付ける表示指示受付部と、表示指示受付部によって3次元画像の表示指示が受け付けられた際、サムネイル画像が表示された表示画面とは異なる表示画面に、3次元画像を構成する複数の断層画像を順次切替え可能に表示させる断層画像表示制御部とを備え、サムネイル画像表示制御部が、断層画像の表示を終了する直前に断層画像表示制御部によって表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させるものであることを特徴とする。
また、上記本発明の画像表示制御装置においては、表示指示受付部を、複数の3次元画像の中から複数の表示対象の3次元画像の表示指示を受け付けるものとし、断層画像表示制御部を、表示指示受付部において複数の表示対象の3次元画像の表示指示が受け付けられた際、その複数の表示対象の3次元画像の断層画像を並べて表示させるものとできる。
また、断層画像表示制御部を、並べて表示される複数の断層画像が同じ断層位置の断層画像となるように複数の断層画像を連動させて切り替えて表示させるものとできる。
また、断層画像表示制御部を複数の表示対象の3次元画像のそれぞれについて予め検出されたランドマークに基づいて、複数の断層画像を連動させて切り替えて表示させるものとできる。
また、断層画像表示制御部を、複数の表示対象の3次元画像の撮影方向が異なる場合には、同じ撮影方向の断層画像を生成して表示させるものとできる。
また、3次元画像を構成する複数の断層画像のうち表示対象の断層画像の断層位置の変更を受け付ける断層位置変更指示受付部を設け、断層画像表示制御部を、断層位置変更指示受付部によって変更された断層位置の断層画像を表示させるものとできる。
また、サムネイル画像が表示された表示画面内に、現在表示されているサムネイル画像の断層位置を示す画像を表示させる断層位置表示制御部を設けることができる。
また、断層位置表示制御部を、人型のアイコン表示上に断層位置を示す画像を表示させるものとできる。
また、サムネイル画像が表示された表示画面内に、現在表示されているサムネイル画像が属する3次元画像の撮影範囲を示す画像を表示させる撮影範囲示制御部を設けることができる。
また、撮影範囲表示制御部を、人型のアイコン表示上に撮影範囲を示す画像を表示させるものとできる。
本発明の画像表示制御装置の作動方法は、サムネイル画像表示制御部と、表示指示受付部と、断層画像表示制御部とを備えた画像表示制御装置の作動方法であって、サムネイル画像表示制御部が、複数の断層画像から構成される3次元画像の断層画像のサムネイル画像を表示させ、表示指示受付部が、3次元画像の表示指示を受け付け、
断層画像表示制御部が、3次元画像の表示指示が受け付けられた際、サムネイル画像が表示された表示画面とは異なる表示画面に、3次元画像を構成する複数の断層画像を順次切替え可能に表示させ、サムネイル画像表示制御部が、さらに断層画像の表示を終了する直前に表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させることを特徴とする。
本発明の画像表示制御プログラムは、コンピュータを、複数の断層画像から構成される3次元画像の断層画像のサムネイル画像を表示させるサムネイル画像表示制御部と、3次元画像の表示指示を受け付ける表示指示受付部と、表示指示受付部によって3次元画像の表示指示が受け付けられた際、サムネイル画像が表示された表示画面とは異なる表示画面に、3次元画像を構成する複数の断層画像を順次切替え可能に表示させる断層画像表示制御部として機能させる画像表示制御プログラムであって、サムネイル画像表示制御部が、断層画像の表示を終了する直前に断層画像表示制御部によって表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させるものであることを特徴とする。
本発明の画像表示制御装置およびその作動方法並びに画像表示制御プログラムによれば、3次元画像を構成する断層画像のサムネイル画像を表示させ、3次元画像の表示指示が受け付けられた際に、そのサムネイル画像が表示された表示画面とは異なる表示画面に、3次元画像を構成する複数の断層画像を順次切替え可能に表示させる場合において、断層画像の表示を終了した際、その直前に表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させるようにしたので、ユーザはその変更表示されたサムネイル画像を観察した際に、前回の読影においてどの断層画像を中心に観察したのかを即座に把握することができ、診断効率を向上させることができる。
本発明の画像表示制御装置およびその作動方法並びに画像表示制御プログラムの一実施形態を用いた診療情報表示システムの概略構成を示すブロック図 診療情報統合アプリケーションによって表示される診療情報表示画面の一例を示す図 ビューワアプリケーションによって表示される画像表示画面の一例を示す図 本発明の画像表示制御装置およびその作動方法並びに画像表示制御プログラムの一実施形態を用いた診療情報表示システムの作用を説明するためのフローチャート 複数の3次元画像の選択を受け付け、複数の断層画像を並べて表示する場合を説明するための図 複数の3次元画像において検出されたランドマークに基づいて、各3次元画像の断層画像の断層位置を連動させて表示させる場合を説明するための図 図1に示す診療情報表示システムの変形例を示すブロック図 サムネイル画像の断層位置および撮影範囲をアイコン表示した診療情報表示画面の一例を示す図 3次元画像の撮影範囲が胸部であって、撮影方向がアキシャル方向である場合におけるアイコンの一例を示す図 3次元画像の撮影範囲が胸部であって、撮影方向がアキシャル方向である場合におけるアイコンの一例を示す図 3次元画像の撮影範囲が胸部であって、撮影方向がサジタル方向である場合におけるアイコンの一例を示す図 3次元画像の撮影範囲が腹部であって、撮影方向がコロナル方向である場合におけるアイコンの一例を示す図
以下、本発明の画像表示制御装置およびその作動方法並びに画像表示制御プログラムの一実施形態を用いた診療情報表示システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の診療情報表示システム1の概略構成を示すブロック図である。
本実施形態の診療情報表示システム1は、図1に示すように、診療情報表示制御装置10と、診療科端末20と、電子カルテシステム30と、検査部門システム40と、画像診断システム50とを備えている。
まず、診療情報表示制御装置10について説明する。なお、診療情報表示制御装置10は、本発明の画像表示制御装置の一実施形態を含むものである。
診療情報表示制御装置10は、診療科端末20において入力された患者の識別情報を受け付け、その患者に関する診療情報を電子カルテシステム30、検査部門システム40および画像診断システム50からそれぞれ収集し、その収集した情報を統合した診療情報表示画面を生成して診療科端末20に表示させる診療情報統合アプリケーション11と、診療情報表示画面上において選択された患者の画像診断情報を診療情報表示画面とは異なる画像表示画面上に表示させるビューワアプリケーション16とがコンピュータにインストールされたものである。この診療情報統合アプリケーション11およびビューワアプリケーション16が、本実施形態における診療情報表示制御プログラムに相当するものである。
診療情報統合アプリケーション11およびビューワアプリケーション16は、別々のアプリケーションであって、CD−ROMなどの記録媒体に記録されたものを用いてもよいし、インターネットを経由してサーバなどからダウンロードしたものを用いてもよいし、インターネットを介してSaaS(Software as a Service)によって提供されるものを用いてもよい。
そして、診療情報統合アプリケーション11がコンピュータのCPU(Central Processing Unit)によって実行されることによって、図1に示す診療情報取得部12と、表示指示受付部13と、診療情報表示制御部14と、サムネイル画像表示制御部15とが機能する。
また、ビューワアプリケーション16がコンピュータのCPU(Central Processing Unit)によって実行されることによって、図1に示す断層画像表示制御部17と、断層位置変更指示受付部18とが機能する。
診療情報取得部12は、診療科端末20において入力された患者の識別情報に基づいて、その患者の識別情報に紐付けされた診療情報を各サーバから取得するものである。診療情報としては、その患者の名前や年齢や性別などといった基本情報、検体検査やバイタルなどの種々の検査データ、医師などによって作成された読影レポートおよび被検体の3次元画像などの画像情報などがある。
診療情報表示制御部14は、診療情報取得部12によって取得された患者の診療情報を解析し、その内容を示す診療情報表示画面を生成して診療科端末20のモニタ上に表示させるものである。
図2は、診療情報表示制御部14によって表示される診療情報表示画面W1の一例を示すものである。なお、図2においては、患者の基本情報については図示省略している。図2に示すように、診療情報表示画面W1内には、所定の患者について登録された診療情報の名称が、日付毎にリスト表示される。
具体的には、2月20日には、「レポート1」という名称の読影レポートと、「CT1」という名称のCT画像とが登録されており、これらの名称が、2月20日の欄の中にリスト表示される。また、3月10日には、「所見」という名称の読影レポートと、「内視鏡」という名称の内視鏡画像とが登録されており、これらの名称が、3月10日の欄の中にリスト表示される。また、5月8日には、「レポート2」という名称の読影レポートと、「CT2」という名称のCT画像とが登録されており、これらの名称が、5月8日の欄の中にリスト表示される。また、10月12日には、「レポート3」という名称の読影レポートと、「血液検査」という名称の血液検査データと、「CT3」という名称のCT画像とが登録されており、これらの名称が、10月12日の欄の中にリスト表示される。
そして、図2に示すように、診療情報の中に複数の断層画像から構成されるCT画像情報のような3次元画像情報がある場合には、サムネイル画像表示制御部15によってその3次元画像を構成する断層画像のサムネイル画像が生成され、そのサムネイル画像が診療情報表示画面W1内の各日付欄の中に表示される。図2においては、2月20日と、5月8日と、10月12日とにCT画像情報が含まれているので、それぞれサムネイル画像SI1〜SI3が表示されている。医師などのユーザは、このサムネイル画像SI1〜SI3を観察することによって、登録されているCT画像情報の概略を認識することができる。
そして、診療情報表示画面W1内に表示される各名称は、ユーザによって診療科端末20の入力装置を用いて選択可能に表示されている。
ユーザによって各名称が選択されると、その選択情報が表示指示情報として表示指示受付部13によって受け付けられる。診療情報表示画面W1内に表示される各名称には診療情報取得部12に対するリンク情報が付加されており、表示指示受付部13によって各名称の表示指示情報が受け付けられると、診療情報表示制御部14は、その名称に付加されたリンク先を参照し、診療情報取得部12からその名称の具体的な診療情報を読み出し、診療科端末20のモニタに表示させる。
具体的には、たとえば2月20日の「レポート1」をユーザがクリックなどして選択した場合には、「レポート1」の具体的な内容が診療情報表示制御部14によって診療情報取得部12から読み出され、診療科端末のモニタ上に表示される。2月20日の「CT1」をユーザがクリックなどして選択した場合には、CT1の具体的なCT画像が診療情報表示制御部14によって診療情報取得部12から読み出され、診療科端末のモニタ上に表示される。また、10月12日の「血液検査」をユーザがクリックなどして選択した場合には、「血液検査」の具体的な検査データが診療情報表示制御部14によって診療情報取得部12から読み出され、診療科端末のモニタ上に表示される。
ここで、本実施形態においては、診療情報表示画面W1内における画像情報の名称がユーザによって選択され、その選択情報が表示指示受付部13によって受け付けられた場合には、ビューワアプリケーション16が起動される。
そして、診療情報表示制御部14によって読み出された画像情報が、ビューワアプリケーション16に出力され、ビューワアプリケーション16は、入力された画像情報を診療科端末20のモニタ上に表示させるものであるが、この際、診療情報表示画面とは異なる画像表示画面上に画像情報を表示させる。なお、本実施形態では、画像表示画面上にCT画像を構成する複数の断層画像を表示する場合を中心に説明する。
ビューワアプリケーション16は、上述したように断層画像表示制御部17と、断層位置変更指示受付部18とを備えている。
診療情報表示画面W1内におけるCT画像の名称がユーザによって選択されると、診療情報表示制御部14から出力されたCT画像は、断層画像表示制御部17によって取得される。断層画像表示制御部17は、入力されたCT画像を構成する各断層画像を画像表示画面内に表示させるものである。図3は、画像表示画面W2の一例を示すものであり、図3に示す画像表示画面W2内には、所定の断層画像Gが表示されている。
そして、断層位置変更指示受付部18は、画像表示画面W2内に表示される断層画像の断層位置の変更指示を受け付けるものである。具体的には、ユーザによって診療科端末20の入力装置を用いて断層位置の変更指示が入力され、その断層位置の変更指示が、断層位置変更指示受付部18によって受け付けられる。
断層位置変更指示受付部18によって断層位置の変更指示が受け付けられると、断層画像表示制御部17は、その変更指示に応じて画像表示画面W2内に表示される断層画像を順次切り替えて表示する。なお、断層位置の変更指示は、具体的な断層位置を指定する指示でもよいし、重なり順に断層位置を変更する指示でもよい。
そして、ユーザによる断層画像の観察が終了し、ビューワアプリケーション16の終了指示が診療科端末20の入力装置において入力された場合には、断層画像表示制御部17は、断層画像の表示を終了するが、その終了直前に表示していた断層画像の情報を診療情報統合アプリケーション11のサムネイル画像表示制御部15に出力する。断層画像の情報としては、ビューワアプリケーション16の終了直前に表示されていた断層画像そのものでもよいし、断層画像の断層位置を示す情報でもよい。
サムネイル画像表示制御部15は、上述したようにビューワアプリケーション16の終了直前の断層画像の情報が入力されると、その断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させるものである。すなわち、図2に示すサムネイル画像SI1〜SI3を、ビューワアプリケーション16の終了直前の断層画像のサムネイル画像に変更して表示するものである。以上が、診療情報表示制御装置10の説明である。
次に、診療科端末20は、上述したように、図2に示す診療情報表示画面W1および図3に示す画像表示画面W2を表示するディスプレイと、患者の識別情報の入力、診療情報の表示指示(選択指示)の入力、断層画像の断層位置の変更の入力、診療情報統合アプリケーション11の開始指示の入力およびビューワアプリケーション16の終了指示の入力などを受け付けるキーボードおよびマウスなどの入力装置を備えたものである。
電子カルテシステム30は、複数の患者の電子カルテを管理するシステムである。電子カルテシステム30は、電子カルテ保管サーバ31を備えており、この電子カルテ保管サーバ31には、複数の患者の電子カルテが患者の識別情報と紐付けされて保管されている。電子カルテシステム30は、診療科端末20において入力された患者の識別情報を取得し、その識別情報に紐付けされた電子カルテの情報を診療情報表示制御装置10に出力するものである。電子カルテには、患者の基本情報や、投薬および点滴の薬剤の種類や投薬期間、既往歴などの情報や、医師による問診検査のデータが含まれている。
検査部門システム40は、複数の患者の検査データを管理するシステムである。検査部門システム40は、検査データ保管サーバ41を備えており、この検査データ保管サーバ41には、複数の患者の検査データが患者の識別情報と紐付けされて保管されている。検査部門システム40は、診療科端末20において入力された患者の識別情報を取得し、その識別情報に紐付けされた検査データを診療情報表示制御装置10に出力するものである。
画像診断システム50は、複数の患者の画像診療情報を管理するシステムである。画像診断システム50は、画像管理サーバ51と、読影レポートサーバ52とを備えている。画像管理サーバ51には、複数の患者の3次元画像などの画像情報が患者の識別情報と紐付けされて保管されている。また、読影レポートサーバ52には、放射線画像などを観察して医師が作成した読影レポートが保管されており、この読影リポートは画像管理サーバ51に保管された放射線画像などと紐付けされて保管されている。
画像診断システム50は、診療科端末20において入力された患者の識別情報を取得し、その識別情報に紐付けされた3次元画像やその読影レポートを診療情報表示制御装置10に出力するものである。
次に、本実施形態の診療情報表示システム1の作用について、図4に示すフローチャートを参照しながら説明する。なお、本実施形態の診療情報表示システム1は、上述した診療情報表示画面W1内における断層画像のサムネイル画像の変更に特徴を有するものであるため、以下、その点を中心に説明する。
まず、診療科端末20において、診療情報統合アプリケーション11の開始指示が入力され、この入力に応じて診療情報統合アプリケーション11が起動される(S10)。
次に、患者の識別情報が入力され、その患者の識別情報は、診療情報表示制御装置10の診療情報取得部12によって取得される(S12)。
診療情報取得部12は、入力された患者の識別情報に基づいて、電子カルテ保管サーバ31、検査データ保管サーバ41、画像管理サーバ51および読影レポートサーバ52からその患者に関する診療情報を収集し、その診療情報を一旦記憶する(S14)。
そして、診療情報表示制御部14によって診療情報取得部12に記憶された診療情報が解析され、その内容を示す診療情報表示画面W1を生成して診療科端末20のモニタ上に表示させる(S16)。そして、このとき、診療情報に3次元画像が含まれる場合には、サムネイル画像表示制御部15によって3次元画像を構成する所定の断層画像のサムネイル画像が生成され、診療情報表示画面W1内に表示される(S18)。
なお、本実施形態においては、初期の診療情報表示画面W1においては、たとえば最も端の断層位置の断層画像のサムネイル画像が表示されるものとする。具体的には、たとえば3次元画像を構成する断層画像が、胸部を撮影したアキシャル断層画像である場合には、最も頭部側の断層画像のサムネイル画像が表示される。ただし、これに限らず、初期の診療情報表示画面W1に表示されるサムネイル画像の断層位置は、ユーザが任意に設定可能である。
次いで、診療情報表示画面W1内における3次元画像情報の名称がユーザによって選択されることによって、その3次元画像情報の表示指示が入力された場合には、その表示指示が表示指示受付部13によって受け付けられ(S20)、これに応じてビューワアプリケーション16が起動される(S22)。
そして、ユーザによって選択された3次元画像が、診療情報表示制御部14によって診療情報取得部12から読み出されてビューワアプリケーション16に出力される。ビューワアプリケーション16の断層画像表示制御部17は、入力された3次元画像を構成する複数の断層画像のうちの所定の断層画像を、診療科端末20のモニタ上に表示された画像表示画面W2内に表示させる(S24)。このとき表示される断層画像は、診療情報表示画面W1内に表示されたサムネイル画像と同じ断層位置の縮小前の断層画像である。
そして、ユーザによって画像表示画面W2内に表示される断層画像の断層位置の変更指示が入力された場合には(S26,YES)、その変更指示が断層位置変更指示受付部18によって受け付けられ、これに応じて断層画像表示制御部17は、画像表示画面W2内に表示される断層画像を切り替えて表示する(S28)。
そして、ユーザによる断層画像の切り替えおよび観察が終了し、ビューワアプリケーション16の終了指示が入力された場合には、画像表示画面W2が閉じられてビューワアプリケーション16が終了する(S30,YES)。そして、このときビューワアプリケーション16の終了直前に表示された断層画像の情報が、診療情報統合アプリケーション11のサムネイル画像表示制御部15に入力される。サムネイル画像表示制御部15は、入力された断層画像の情報に基づいて、新たにサムネイル画像を生成し、診療情報表示画面W1内に現在表示されているサムネイル画像から新たに生成したサムネイル画像に変更にして表示させる(S32)。
なお、ユーザによって画像表示画面W2内に表示される断層画像の断層位置の変更指示が入力されないままビューワアプリケーションの終了指示が入力された場合には、(S26,NO、S34,YES)、上述したようなサムネイル画像の変更は行われない。
上記実施形態の診療情報表示システムによれば、ビューワアプリケーション16による断層画像の表示を終了した際、その終了直前に表示された断層画像のサムネイル画像を新たに生成し、現在、診療情報表示画面に表示されているサムネイル画像から新たに生成したサムネイル画像に変更して表示させるようにしたので、ユーザはその変更表示されたサムネイル画像を観察した際に、前回の読影においてどの断層画像を中心に観察したのかを即座に把握することができ、診断効率を向上させることができる。
また、上記実施形態の説明においては、診療情報表示画面W1内に表示されている複数の3次元画像の名称のうちの1つがユーザによって選択された場合について説明したが、これに限らず、複数の3次元画像の名称を選択可能としてもよい。具体的には、たとえば図5に示すような診療情報表示画面W1内において、3次元画像の名称である「CT1」と「CT2」と「CT3」とを同時に選択可能にしてもよい。これらを同時に選択する方法としては、たとえば診療科端末20のキーボードにおいて所定のキーを押しながらこれらの名称をマウスでクリックすることによって同時の選択可能とすればよい。そして、これらの名称を選択後にエンターキーが押されることによってビューワアプリケーション16が起動される。
そして、上述したように複数の3次元画像の名称が選択された場合には、断層画像表示制御部17が、図5に示すように画像表示画面W2内にこれらの3次元画像の断層画像を並べて表示するようにすればよい。このように複数の3次元画像の断層画像を並べて表示することによって、比較読影を容易に行うことができる。
複数の3次元画像の断層画像のレイアウトとしては、たとえば2つの断層画像を並べて表示する場合には、1×2のレイアウトで表示し、3つの断層画像を並べて表示する場合には、1×3のレイアウトで表示し、4つの断層画像を並べて表示する場合には、2×2のレイアウトで表示するようにすればよい。
また、上述したように複数の3次元画像の断層画像を並べて表示する場合には、断層画像表示制御部17が、複数の断層画像が同じ断層位置の断層画像となるように連動させて切り替えて表示させることが望ましい。このように複数の断層画像を連動させて切り替えて表示させる方法としては、たとえば、最初に手動で複数の断層画像の断層位置を同じ断層位置に合わせた後、DICOMなどに予め設定されている断層間隔で、複数の断層画像を連動させて切り替えて表示させるようにすればよい。
または、3次元画像を構成する複数の断層画像から解剖学的特徴点などのランドマークを自動的に検出し、図6に示すように複数の3次元画像について、それぞれ検出された共通のランドマークLMの位置の断層画像をそれぞれ表示させることによって複数の断層画像の断層位置を連動させて切り替えるようにしてもよい。なお、ランドマークLMとしては、肺尖部や、肋骨や、肝臓などの臓器の中心点などを用いることができるが、これらの限らず、その他のランドマークを検出するようにしてもよい。なお、ランドマークLMの検出方法については、公知の手法を用いることができる。
また、上述したように複数の3次元画像の断層画像をそれぞれ並べて表示する際、その複数の3次元画像同士の撮影方向が異なる場合には、同じ撮影方向の断層画像を再構成して同じ撮影方向の断層画像を並べて表示することが望ましい。具体的には、たとえば一方の3次元画像の撮影方向がアキシャル方向であって、他方の3次元画像の撮影方向がサジタル方向である場合には、たとえば撮影方向がアキシャル方向の3次元画像を用いてサジタル方向の断層画像を再構成し、これによりサジタル方向の2つの断層画像を並べて表示するようにしてもよい。なお、3次元画像の撮影方向の情報は、たとえばDICOMなどに予め設定されるものである。また、同じ撮影方向の断層画像の生成方法については、たとえば特開2011−120827号に記載の方法を用いることができる。
また、図7に示すように、断層位置表示制御部19と撮影範囲表示制御部21とをさらに設けるようにしてもよい。そして、図8に示すように、診療情報表示画面W1内の3次元画像情報の名称が示されている欄にさらに人型のアイコンIC1〜IC3を表示させ、このアイコンIC1〜IC3上に、断層位置表示制御部19によって断層位置を示す画像を表示させるとともに、撮影範囲表示制御部21によって撮影範囲を示す画像を表示させるようにしてもよい。
ここで、断層位置表示制御部19によって表示される断層位置は、現在、診療情報表示画面W1に表示されているサムネイル画像の人体上における断層位置を示している。したがって、たとえばビューワアプリケーション16において断層画像の断層位置が変更され、診療情報表示画面W1において表示されているサムネイル画像が新しいサムネイル画像に変更された場合には、その新しいサムネイル画像の断層位置が人型のアイコン上に表示されることになる。
また、撮影範囲表示制御部21によって表示される撮影範囲は、3次元画像を撮影した際の撮影範囲であり、たとえば胸部や腹部の範囲である。この撮影範囲の情報は、DICOMなどに予め設定されるものである。
以下、図9から図11を参照しながら、上述したアイコン表示の例について説明する。
図9は、3次元画像の撮影範囲が胸部であって、撮影方向がアキシャル方向である場合における初期の診療情報表示画面W1に表示されるアイコンICである。3次元画像の撮影範囲が胸部であって、撮影方向がアキシャル方向である場合、上述したように初期の診療情報表示画面W1では、最も頭部側の断層画像のサムネイル画像を表示させるので、アイコンIC上には、最も頭部側の断層位置を示す画像PIが表示され、また、胸部の撮影範囲を示す画像RIが表示される。
また、図10は、図9に示すアイコンICが表示された診療情報表示画面W1の状態から、ビューワアプリケーション16において断層画像の断層位置が変更され、診療情報表示画面W1に表示されるサムネイル画像が変更された場合におけるアイコンICである。この図10に示すアイコンICによれば、断層位置を示す画像PIが胸部の中央位置に表れているので、ビューワアプリケーション16の終了直前にユーザによって観察された断層画像の断層位置が胸部の中央であり、現在表示されているサムネイル画像の断層位置が胸部の中央であることを即座に認識することができる。
図11は、3次元画像の撮影範囲が胸部であって、撮影方向がサジタル方向である場合におけるアイコンICであり、図12は、3次元画像の撮影範囲が腹部であって、撮影方向がコロナル方向である場合におけるアイコンICである。図11においては、胸部の撮影範囲を示す画像RIと、その胸部におけるサムネイル画像の断層位置を示す画像PIとがアイコンIC上に表示され、図12において、腹部の撮影範囲を示す画像RIと、その腹部におけるサムネイル画像の断層位置を示す画像PIとがアイコンIC上に表示されている。
なお、アイコン表示の例はこれに限らず、人体のおける3次元画像の撮影範囲と、サムネイル画像の断層位置とを認識することができるものであればその他の形態のアイコン表示としてもよい。
1 診療情報表示システム
10 診療情報表示制御装置
10 診療情報表示制御装置
11 診療情報統合アプリケーション
12 診療情報取得部
12 診療情報取得部
13 表示指示受付部
14 診療情報表示制御部
15 サムネイル画像表示制御部
16 ビューワアプリケーション
17 断層画像表示制御部
18 断層位置変更指示受付部
19 断層位置表示制御部
20 診療科端末
21 撮影範囲表示制御部
30 電子カルテシステム
31 電子カルテ保管サーバ
40 検査部門システム
41 検査データ保管サーバ
50 画像診断システム
51 画像管理サーバ
52 読影レポートサーバ

Claims (12)

  1. 複数の断層画像から構成される3次元画像の前記断層画像のサムネイル画像を表示させるサムネイル画像表示制御部と、
    前記3次元画像の表示指示を受け付ける表示指示受付部と、
    該表示指示受付部によって前記3次元画像の表示指示が受け付けられた際、前記サムネイル画像が表示された表示画面とは異なる表示画面に、前記3次元画像を構成する複数の断層画像を順次切替え可能に表示させる断層画像表示制御部とを備え、
    前記サムネイル画像表示制御部が、前記断層画像の表示を終了する直前に前記断層画像表示制御部によって表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から前記新たに生成したサムネイル画像に変更して表示させるものであることを特徴とする画像表示制御装置。
  2. 前記表示指示受付部が、複数の前記3次元画像の中から複数の表示対象の3次元画像の表示指示を受け付けるものであり、
    前記断層画像表示制御部が、前記表示指示受付部において複数の表示対象の3次元画像の表示指示が受け付けられた際、該複数の表示対象の3次元画像の断層画像を並べて表示させるものである請求項1記載の画像表示制御装置。
  3. 前記断層画像表示制御部が、前記並べて表示される複数の断層画像が同じ断層位置の断層画像となるように前記複数の断層画像を連動させて切り替えて表示させるものである請求項2記載の画像表示制御装置。
  4. 前記断層画像表示制御部が、前記複数の表示対象の3次元画像のそれぞれについて予め検出されたランドマークに基づいて、前記複数の断層画像を連動させて切り替えて表示させるものである請求項3記載の画像表示制御装置。
  5. 前記断層画像表示制御部が、前記複数の表示対象の3次元画像の撮影方向が異なる場合には、同じ撮影方向の断層画像を生成して表示させるものである請求項2から4いずれか1項記載の画像表示制御装置。
  6. 前記3次元画像を構成する複数の断層画像のうち表示対象の断層画像の断層位置の変更を受け付ける断層位置変更指示受付部を備え、
    前記断層画像表示制御部が、前記断層位置変更指示受付部によって変更された断層位置の断層画像を表示させるものであることを特徴とする請求項1から5いずれか1項記載の画像表示制御装置。
  7. 前記サムネイル画像が表示された表示画面内に、現在表示されているサムネイル画像の断層位置を示す画像を表示させる断層位置表示制御部を備えたことを特徴とする請求項1から6いずれか1項記載の画像表示制御装置。
  8. 前記断層位置表示制御部が、人型のアイコン表示上に前記断層位置を示す画像を表示させるものであることを特徴とする請求項7記載の画像表示制御装置。
  9. 前記サムネイル画像が表示された表示画面内に、現在表示されているサムネイル画像が属する3次元画像の撮影範囲を示す画像を表示させる撮影範囲示制御部を備えたことを特徴とする請求項1から8いずれか1項記載の画像表示制御装置。
  10. 前記撮影範囲表示制御部が、人型のアイコン表示上に前記撮影範囲を示す画像を表示させるものであることを特徴とする請求項9記載の画像表示制御装置。
  11. サムネイル画像表示制御部と、表示指示受付部と、断層画像表示制御部とを備えた画像表示制御装置の作動方法であって、
    前記サムネイル画像表示制御部が、複数の断層画像から構成される3次元画像の前記断層画像のサムネイル画像を表示させ、
    前記表示指示受付部が、前記3次元画像の表示指示を受け付け、
    前記断層画像表示制御部が、前記3次元画像の表示指示が受け付けられた際、前記サムネイル画像が表示された表示画面とは異なる表示画面に、前記3次元画像を構成する複数の断層画像を順次切替え可能に表示させ、
    前記サムネイル画像表示制御部が、さらに前記断層画像の表示を終了する直前に表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から前記新たに生成したサムネイル画像に変更して表示させることを特徴とする画像表示制御方法。
  12. コンピュータを、
    複数の断層画像から構成される3次元画像の前記断層画像のサムネイル画像を表示させるサムネイル画像表示制御部と、
    前記3次元画像の表示指示を受け付ける表示指示受付部と、
    該表示指示受付部によって前記3次元画像の表示指示が受け付けられた際、サムネイル画像が表示された表示画面とは異なる表示画面に、前記3次元画像を構成する複数の断層画像を順次切替え可能に表示させる断層画像表示制御部として機能させる画像表示制御プログラムであって、
    前記サムネイル画像表示制御部が、前記断層画像の表示を終了する直前に前記断層画像表示制御部によって表示された断層画像のサムネイル画像を新たに生成し、現在の表示されているサムネイル画像から前記新たに生成したサムネイル画像に変更して表示させるものであることを特徴とする画像表示制御プログラム。
JP2013203027A 2013-09-30 2013-09-30 画像表示制御装置およびその作動方法並びに画像表示制御プログラム Active JP6026982B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013203027A JP6026982B2 (ja) 2013-09-30 2013-09-30 画像表示制御装置およびその作動方法並びに画像表示制御プログラム
CN201480053395.XA CN105578964B (zh) 2013-09-30 2014-09-26 图像显示控制装置及其动作方法以及图像显示控制程序
PCT/JP2014/004954 WO2015045410A1 (ja) 2013-09-30 2014-09-26 画像表示制御装置およびその作動方法並びに画像表示制御プログラム
DE112014004519.5T DE112014004519B4 (de) 2013-09-30 2014-09-26 Bildanzeige-Steuervorrichtung, Verfahren zum Betätigen einer Bildanzeige-Steuervorrichtung und Medium mit einem darin gespeicherten Bildanzeige-Steuerprogramm
US15/079,697 US9597049B2 (en) 2013-09-30 2016-03-24 Image display control device, operating method for same, and image display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013203027A JP6026982B2 (ja) 2013-09-30 2013-09-30 画像表示制御装置およびその作動方法並びに画像表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2015066169A JP2015066169A (ja) 2015-04-13
JP6026982B2 true JP6026982B2 (ja) 2016-11-16

Family

ID=52742578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013203027A Active JP6026982B2 (ja) 2013-09-30 2013-09-30 画像表示制御装置およびその作動方法並びに画像表示制御プログラム

Country Status (5)

Country Link
US (1) US9597049B2 (ja)
JP (1) JP6026982B2 (ja)
CN (1) CN105578964B (ja)
DE (1) DE112014004519B4 (ja)
WO (1) WO2015045410A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6072097B2 (ja) * 2015-01-30 2017-02-01 キヤノン株式会社 放射線撮影装置、制御装置、長尺撮影システム、制御方法、及びプログラム
CN106407687A (zh) * 2016-09-22 2017-02-15 沈阳东软医疗系统有限公司 一种dicom图像组合的方法及装置
JP7540883B2 (ja) * 2019-11-20 2024-08-27 キヤノンメディカルシステムズ株式会社 X線診断装置
JP2021118837A (ja) * 2020-01-30 2021-08-12 コニカミノルタ株式会社 放射線撮影制御装置、放射線撮影システム、表示制御方法及びプログラム
JP2023017143A (ja) * 2021-07-26 2023-02-07 コニカミノルタ株式会社 制御プログラム、医用画像表示装置及び医用画像表示システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4202461B2 (ja) * 1998-04-09 2008-12-24 株式会社日立メディコ 医用画像表示装置
JP4491091B2 (ja) 1999-10-28 2010-06-30 株式会社日立メディコ 医用画像表示装置
JP4460180B2 (ja) 2001-02-28 2010-05-12 日本電信電話株式会社 医用画像読影支援装置、医用画像読影支援処理用プログラム及びそのプログラムの記録媒体
JP2005270328A (ja) * 2004-03-24 2005-10-06 Toshiba Corp 医用画像表示装置
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
US20070118408A1 (en) 2005-11-23 2007-05-24 General Electric Company System and method for radiology decision support using picture-in-picture
EP1825805B1 (en) * 2005-11-25 2019-11-06 Toshiba Medical Systems Corporation Medical Image Diagnostic System
JP2008200085A (ja) * 2007-02-16 2008-09-04 Konica Minolta Medical & Graphic Inc 小規模医用システム
JP4218772B2 (ja) 2007-02-16 2009-02-04 国立大学法人名古屋大学 画像診断支援装置
JP5127286B2 (ja) * 2007-04-12 2013-01-23 株式会社東芝 画像診断支援システム
JP5159150B2 (ja) * 2007-04-19 2013-03-06 株式会社東芝 画像リスト表示装置、画像リスト表示方法、及び画像リスト表示プログラム
US20090132274A1 (en) * 2007-11-15 2009-05-21 General Electric Company Systems and Methods for Image and Report Preview in a Healthcare Worklist
JP5228848B2 (ja) * 2008-11-28 2013-07-03 コニカミノルタエムジー株式会社 画像表示装置
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP5582755B2 (ja) * 2009-10-06 2014-09-03 株式会社東芝 医用画像管理装置、及び医用画像表示装置
JP5363962B2 (ja) * 2009-12-14 2013-12-11 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
US9117008B2 (en) * 2010-08-31 2015-08-25 Canon Kabushiki Kaisha Display apparatus and display method for displaying the radiographing range of a human body to be examined
US9196091B2 (en) * 2012-01-24 2015-11-24 Kabushiki Kaisha Toshiba Image processing method and system
JP2013242745A (ja) * 2012-05-22 2013-12-05 Astrostage Inc 診療データ統合管理システム及びこの診療データ統合管理システムを連携した病診連携システム

Also Published As

Publication number Publication date
JP2015066169A (ja) 2015-04-13
US20160199015A1 (en) 2016-07-14
US9597049B2 (en) 2017-03-21
WO2015045410A1 (ja) 2015-04-02
CN105578964A (zh) 2016-05-11
DE112014004519B4 (de) 2021-06-24
DE112014004519T5 (de) 2016-06-23
CN105578964B (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
JP4820680B2 (ja) 医用画像表示装置
JP5309187B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
JP5487157B2 (ja) 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム
JP2011083591A (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2011092685A (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP4401741B2 (ja) 画像表示装置、画像表示方法及びそのプログラム
JP6026982B2 (ja) 画像表示制御装置およびその作動方法並びに画像表示制御プログラム
JP4786246B2 (ja) 画像処理装置及び画像処理システム
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP2018173776A (ja) 医用情報処理装置及び医用情報処理方法
JP2008253681A (ja) 医用支援システム、及び医用支援プログラム
JP2009148422A (ja) 医用画像処理装置、及び医用画像撮影装置
JP2008003783A (ja) 医用画像管理システム
JP2008245737A (ja) 医用情報処理装置
JP6143451B2 (ja) 撮影装置、その制御方法、プログラム、及び記憶媒体、並びに撮影処理システム、その制御方法、プログラム、及び記憶媒体
JP5398791B2 (ja) 医用画像表示装置
JP6711675B2 (ja) 読影支援装置
JP2010264234A (ja) 医療情報の利用促進システムおよび方法
JP6645904B2 (ja) 医用画像表示装置及び表示プログラム
WO2014156081A1 (ja) 検査データ表示制御装置および方法並びにプログラム
JP7474568B2 (ja) 医用情報表示装置、及び医用情報表示システム
JP5824264B2 (ja) 検査情報表示システム、検査情報表示方法、検査情報表示装置
US12094120B2 (en) Determine image processing candidate medical images based on a number of the selected one or more medical images
JP5997082B2 (ja) 検査データ表示制御装置および方法並びにプログラム
JP2013229043A (ja) 医用画像管理システムおよび画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161013

R150 Certificate of patent or registration of utility model

Ref document number: 6026982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250