[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106157297A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN106157297A
CN106157297A CN201610307354.XA CN201610307354A CN106157297A CN 106157297 A CN106157297 A CN 106157297A CN 201610307354 A CN201610307354 A CN 201610307354A CN 106157297 A CN106157297 A CN 106157297A
Authority
CN
China
Prior art keywords
image
finding
unit
faultage
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610307354.XA
Other languages
English (en)
Other versions
CN106157297B (zh
Inventor
宇治彰人
关口博之
岩濑好彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106157297A publication Critical patent/CN106157297A/zh
Application granted granted Critical
Publication of CN106157297B publication Critical patent/CN106157297B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

公开了图像处理装置和图像处理方法。图像处理装置包括检测单元，被配置成通过对由获取单元获取的断层图像执行结构分析来检测被检眼睛的异常部位；和显示控制单元，被配置成使显示单元以重叠在断层图像上的方式将由检测单元检测的异常部位的所见作为句子或字词进行显示。

Description

图像处理装置和图像处理方法
技术领域
公开的技术涉及图像处理装置以及图像处理方法。
背景技术
日本专利特开No.2010-268916公开了从前眼部的断层图像自动提取所见(finding)(形态的异常)并显示异常的内容。
然而，日本专利早期公开No.2010-268916未公开如何关联异常的内容和断层图像并显示两者。对医生来说，难以容易地识别异常的内容与断层图像之间的关系。
为了解决上述问题产生了公开的技术，公开的技术提供了允许容易地识别所见和断层图像之间的关系的显示。
公开的技术还可得到由用于实现(后述)发明的实施例的各个结构得出的但未被现有技术提供的有益效果。
发明内容
本公开提供一种图像处理装置，包括：获取单元，被配置成获取被检眼睛的断层图像；检测单元，被配置成通过对由获取单元获取的断层图像执行结构分析来检测被检眼睛的异常部位；和显示控制单元，被配置成使显示单元以重叠在断层图像上的方式将由检测单元检测的异常部位的所见作为句子或字词进行显示。
参考附图，根据示例实施例的以下描述，本发明的其它特征将变得清楚。
附图说明
图1是示出医疗诊断支持装置的功能结构的例子的图示。
图2A和图2B提供示出医疗诊断支持装置的硬件结构的例子的图示。
图3A和图3B提供示出医疗诊断支持装置的处理的例子的流程图。
图4A-图4C提供示出图像处理的例子的图示。
图5A和图5B提供示出表格信息的例子的图示。
图6是示出图像处理和位置指定的例子的图示。
图7是示出根据第一实施例的显示单元的示例显示的图示。
图8是示出根据第一实施例的显示单元的示例显示的图示。
图9是示出医疗诊断支持装置的功能结构的例子的图示。
图10是示出医疗诊断支持装置的处理的例子的流程图。
图11是示出根据第二实施例的显示单元的示例显示的图示。
图12是示出医疗诊断支持装置的处理的例子的流程图。
图13是示出医疗诊断支持装置的处理的例子的流程图。
图14是示出根据第三实施例的显示单元的示例显示的图示。
图15A和图15B是示出光学相干断层扫描仪的成像方法的例子的图示。
图16是示出根据第四实施例的显示单元的示例显示的图示。
图17是示出根据第四实施例的显示单元的示例显示的图示。
图18是示出医疗诊断支持装置的功能结构的例子的图示。
图19是示出医疗诊断支持装置的处理的例子的流程图。
图20A-图20D是描述根据第五实施例的估计处理的图示。
图21是示出根据第五实施例的显示单元的示例显示的图示。
具体实施方式
下面参考附图，描述根据实施例的图像处理装置。注意，在以下实施例中描述的结构仅仅是例子，本发明不限于在说明书和附图中公开的结构。
第一实施例
根据第一实施例的诊断支持装置(图像处理装置)获取作为诊断的对象的医学图像，通过使用获取的医学图像的图像处理结果来提供关于医学图像的支持信息，从而支持与医学图像相关的诊断。
在第一实施例中，描述如下示例情况，其中，对于眼科领域中的光学相干断层图像(下面仅仅称为断层图像)执行图像处理，基于图像处理结果识别所见，并在断层图像上提供信息。在此实施例中，假定断层图像是沿通过视盘和中心凹(黄斑部)的方向拍摄的单个二维眼底图像。下面，沿通过视盘和中心凹的方向拍摄的图像有时可被称为H扫描图像。当然，图像处理的对象不限于上述对象。例如，断层图像可以是包括视盘和黄斑部中至少一个的图像，或者可以是不包括视盘或黄斑部的图像。另外，下面描述的任意所见等仅仅是用于描述诊断支持装置的过程的例子。在下面描述的实施例中，描述主要对于作为医学图像的眼底断层图像的图像处理；下面描述的图像处理可应用于前眼部的断层图像。
图1是指示根据第一实施例的诊断支持装置100的功能结构的例子的图示。例如，诊断支持装置100是桌上型个人计算机(PC)、笔记本PC或平板PC。根据此实施例的诊断支持装置(图像处理装置)100以有线或无线方式与光学相干断层扫描仪(OCT)200相连。例如，光学相干断层扫描仪200由谱域OCT(SD-OCT)、扫频源OCT(SS-OCT)或偏振敏感OCT(PS-OCT)构成。由于光学相干断层扫描仪200是已知装置，因此省略其详细说明。光学相干断层扫描仪200通过使用通过用近红外光照射眼底得到的返回光与参照光之间的干涉，获取指示视网膜的截面的断层图像(即，医学图像)。随后，光学相干断层扫描仪200通过与通用串行总线(USB)、局域网(LAN)等的通信，将获取的医学图像以及与成像信息相关的数据(图像种类、成像部位、成像尺寸、扫描模式等)输出给诊断支持装置100。例如，成像信息包括图像种类“OCT”，成像部位“黄斑部”，成像尺寸“12mm”和扫描模式“线扫描”等。考虑另一个例子，成像信息包括图像种类“OCT”，成像部位“视盘部”，成像尺寸“6mm”和扫描模式“3D扫描”等。成像信息不限于此，并且不是所有上述信息都是必需的。图像种类未必仅仅是OCT，OCT的种类(例如SD-OCT、SS-OCT或PS-OCT)可被包含在信息中。另外，成像尺寸的单位未必是长度，可以是角度。例如，图像种类是与模态一致的医学图像的种类，比如OCT图像(利用光学相干断层扫描仪获取的断层图像)、单纯的X射线图像或者计算机断层(CT)图像。
诊断支持装置100包括医学图像获取单元102、存储单元104、分析信息获取单元106、图像处理单元108、判定单元110、位置获取单元112、显示控制单元116和显示单元118。
医学图像获取单元102获取从光学相干断层扫描仪200传送给诊断支持装置100的医学图像和与医学图像的成像信息有关的数据。医学图像和医学图像的成像信息可被存储在存储单元104中，可响应于来自用户的请求被读取自存储单元104。可替代地，诸如固态盘(SSD)、硬盘驱动器(HDD)、软盘驱动器(FDD)、USB存储器、光盘(CD)驱动器、数字通用光盘(DVD)驱动器、磁光(MO)盘驱动器或Zip驱动器之类的外部存储装置(未示出)可与诊断支持装置100相连，医学图像获取单元102可从外部存储装置获取信息。在此实施例中，假定医学图像获取单元102从光学相干断层扫描仪200获取断层图像以及断层图像的成像信息。即，医学图像获取单元102对应于配置成获取被检眼睛的断层图像的获取单元的例子。
医学图像获取单元102将获取的医学图像输出给图像处理单元108和显示控制单元116，并将拍摄的医学图像的成像信息输出给分析信息获取单元106。
存储单元104存储包括待分别应用于作为诊断对象的医学图像的各个部位的多个所见候选的第一表格信息，和包括分别对应于所见候选的图像处理参数的第二表格信息。图像处理参数各自是在指定多个所见候选中的每一个的图像处理中使用的参数。第一表格信息和第二表格信息的细节将在后面参考图5A和图5B描述。
分析信息获取单元106基于关于由医学图像获取单元102获取的医学图像的种类和部位的信息，从存储单元104获取分析信息(图像处理参数)。具体地，分析信息获取单元106从存储在存储单元104中的第一表格信息获取与从由医学图像获取单元102获取的医学图像的种类和部位对应的多个所见候选。此外，分析信息获取单元106基于多个获取的所见候选，从存储在存储单元104中的第二表格信息获取分别与候选对应的图像处理参数。分析信息获取单元106将多个所见候选输出给判定单元110，并将图像处理参数输出给图像处理单元108。
图像处理单元108基于由医学图像获取单元102获取的医学图像和由分析信息获取单元106获取的图像处理参数，对医学图像执行图像处理。图像处理单元108将图像处理的结果输出给判定单元110和位置获取单元112。
判定单元110基于由分析信息获取单元106获取的多个所见候选和由图像处理单元108执行的图像处理的结果，判定多个所见候选中的哪一个存在于医学图像中。即，判定单元110判定哪个所见候选对应于医学图像。判定单元110将判定结果输出给位置获取单元112。
位置获取单元112基于由图像处理单元108执行的图像处理的结果和由判定单元110判定为对应所见的所见候选，获取指示对应于所见的病变(异常部位)在医学图像中的位置的信息。指示位置的信息的获取在后面描述。位置获取单元112使获取的指示位置的信息与由判定单元110判定为对应所见的所见候选关联，并将该信息输出给显示控制单元116。
显示控制单元116基于由医学图像获取单元102获取的医学图像和由位置获取单元112获取的并与判定为对应所见的所见候选关联的指示在医学图像中的位置的信息来控制显示。与所见候选关联的在医学图像中的位置是对应于该所见的病变(异常部位)在医学图像中的位置。具体地，显示控制单元116使显示单元118显示医学图像，并将判定为对应所见的所见候选重叠在显示的医学图像上。显示控制单元116可使显示单元118显示指示该所见的位置的指示(后面描述的标记等)。
显示单元118显示由显示控制单元116控制的显示内容。显示单元118包含在诊断支持装置100中；不过，并不局限于此。可以与诊断支持装置100分离地设置显示单元118。
图1中图示出的诊断支持装置100的各个单元中的至少一部分可被实现成独立的设备。可替代地，各个单元可被实现成配置成实现相应功能的软件。在此实施例中，假定各个单元各自是利用软件实现的。
图2A和图2B提供示出诊断支持装置100的硬件结构的例子的图示。中央处理器(CPU)1001主要控制各个组件的操作。主存储器1002存储由CPU 1001执行的控制程序，并在由CPU 1001执行该程序期间提供工作区。磁盘1003存储操作系统(OS)、外围设备的设备驱动程序和实现包括用于执行(后述)处理等的程序的各种应用软件的程序。CPU 1001执行存储在主存储器1002和磁盘1003中的程序，从而实现图1中图示出的诊断支持装置100的功能(软件)和(后述)流程图中的处理。
显示存储器1004临时存储显示数据。监视器1005是显示单元118的例子，例如是阴极射线管(CRT)监视器或液晶监视器。监视器1005基于来自显示存储器1004的数据来显示图像、文本等。鼠标1006和键盘1007分别接收用户利用点选的输入和利用文字的输入。上述各个组件由公共总线1008互连，从而使组件之间的通信成为可能。
可替代地，如图2B中所示，可用触摸面板监视器1015代替图2A中的监视器1005、鼠标1006和键盘1007。触摸面板监视器1015例如是触摸面板液晶监视器。触摸面板监视器1005基于来自显示存储器1004的数据来显示图像和文本，并且接收用户利用点选的输入和利用文字的输入。除了触摸面板监视器1015之外，还可设置鼠标1006和键盘1007。如果利用包括触摸面板监视器1015的装置选择患者，那么通过操作员轻击(tap)显示在显示单元118上的多项患者信息(患者标识(ID))之中的一项患者信息，临时选择期望的患者信息。随后，在临时选择之后，通过操作员挥击(swipe)该患者信息，选择该患者信息。触摸面板上待被挥击的位置可以是与显示期望的患者信息的位置不同的位置。CPU1001检测轻击和挥击的操作，并选择期望的患者信息。即，CPU 1001是选择单元的例子，该选择单元被配置成如果利用显示单元以列表形态显示的多项患者信息之中的一项患者信息被轻击，那么临时选择该一项患者信息，并且如果在轻击之后执行挥击，那么选择该一项患者信息。当选择患者信息时，医学图像获取单元102获取与由选择单元选择的患者信息对应的断层图像。通过采用患者信息的这种选择方法，能够从利用小文字指示的多项患者信息中，容易地选择与操作员的意图对应的患者信息。例如，如果利用双击选择患者信息，那么可能难以双击相同位置，从而难以快速选择期望的患者信息。患者信息的上述选择方法解决了这样的问题。
下面利用图3A中的流程图，描述由诊断支持装置100执行的处理的例子。图3A是示出由诊断支持装置100执行的处理的例子的流程图。在此实施例中，通过CPU 1001执行存储在主存储器1002中的用于实现各个单元的功能的程序，实现图3A中所示的处理。
在步骤S3000，医学图像获取单元102获取从光学相干断层扫描仪200传送的医学图像，与拍摄的医学图像的种类相关的信息，和与该医学图像的部位相关的信息。在此实施例的例子中，医学图像是利用光学相干断层扫描仪200拍摄的断层图像(H扫描图像)，从而医学图像获取单元102获取“OCT”作为与医学图像的种类相关的信息并且获取“黄斑部”作为与医学图像的部位相关的信息。注意，与医学图像的部位相关的信息不限于“黄斑部”。
在步骤S3010，分析信息获取单元106基于在步骤S3000中获取的与医学图像的种类相关的信息和与医学图像的部位相关的信息，从存储在存储单元104中的第一表格信息获取多个对应的所见候选。
图5A是示出存储在存储单元104中的第一表格信息的例子的图示。该表格信息以关联的方式存储被检眼睛的眼底部位和关于图像种类的信息，并且以关联的方式存储关于图像种类的信息和多个所见候选。在此实施例的例子中，由于部位是“黄斑部”，图像种类是“OCT”，因此分析信息获取单元106获取多个所见候选，比如中心凹胞囊状孔、纤维层胞囊状孔和黄斑孔。这是因为待判定的所见随部位和图像种类而不同。注意，与图像种类关联的所见候选不一定是多个所见候选。例如，如果部位被分成更小的部分，那么与图像种类关联的所见候选的数目可能为1。可替代地，在图5A的例子中，图像种类可被省略，可以关联部位和所见。即，第一表格信息不限于图5A中所示的例子。
在步骤S3020，分析信息获取单元106基于在步骤S3010中获取的多个所见候选，从存储单元104的第二表格信息中获取为分别指定多个所见候选所需的图像处理参数。在此实施例中，假定除了关于所见候选的信息之外，分析信息获取单元106还利用在步骤S3000中获取的与医学图像的种类有关的信息来获取图像处理参数。
图5B是示出存储在存储单元104中的第二表格信息的例子的图示。例如，如果所见是“纤维层胞囊状孔”，图像种类是“OCT”，那么图像处理参数“X：25％～75％、Z：30％～70％、像素值：10或者更小”与该所见关联。对于在步骤S3010中获取的多个所见候选，分析信息获取单元106分别获取这样的图像处理参数。这种情况下，例如，Z：30％～70％代表断层图像中的视网膜区域。
在此实施例的例子中，由于医学图像的种类为“OCT”，因此在步骤S3010中，获取“中心凹胞囊状孔”作为所见候选。于是，分析信息获取单元106从第二表格信息获取图像处理参数“X：40％～60％、Z：30％～70％、像素值：10或者更小”。
可替代地，在图5B的例子中，可以省略图像种类，可关联所见和图像处理参数。即，第二表格信息不限于图5B中所示的例子。
在步骤S3030，图像处理单元108基于在步骤S3000中获取的医学图像和在步骤S3020中获取的图像处理参数，对医学图像执行图像处理。在下面描述的例子中，假定与具有256灰度级的单色图像的背景对应的低反射区域为黑色(像素值为0)。
参考图3B中的流程图和图4A-图4C，描述图像处理。图3B是示出步骤S3030中的处理的例子的详细说明的流程图。图4A是示出断层图像的例子的图示。在图4A中，附图标记400表示断层图像，401表示视网膜层区域，402表示黄斑部，403表示内界膜(ILM)或神经纤维层(NFL)的上部，及404表示视网膜色素上皮(RPE)。此外，在图4A中，附图标记405表示后部玻璃体剥离，406表示盖(lid)，410表示背景区域，420表示视盘区域，421表示视盘部，视网膜层之上的斜线区域的430表示玻璃体。如图4A中所示，断层图像包括指示视网膜的区域和背景区域410(除视网膜外的区域)。
在步骤S3031，图像处理单元108从断层图像中降低噪声。在OCT成像中，在线扫描或交叉扫描期间，光学相干断层扫描仪200执行眼睛的跟踪，在空间上相同的位置多次拍摄图像。随后，在相同位置拍摄的多个断层图像被定位(对准)，对断层图像之中的多个对应像素执行平均化处理。因而，对于断层图像执行噪声降低的处理。这种情况下，假定图像处理单元108已对断层图像执行定位和平均化处理。如上，由于图像处理单元108对多次拍摄的断层图像执行定位和平均化处理，因此随机噪声被减小。然而，定位期间断层图像之间的相似性随着拍摄期间被检眼睛的状态(注视不良)而降低。从而，可不对相似性低于预定阈值的预定数目的断层图像执行平均化处理。这种情况下，图像的噪声水平可随用于平均化的断层图像的数目而不同。例如，图4B和图4C示出图4A中的区域410的直方图。图4B是用于平均化处理的图像的数目小(例如，1～3个图像)的直方图411的例子。图4C是用于平均化处理的图像的数目大(例如，10个或更多图像)的直方图412的例子。图4B和图4C中的黑色部分指示区域410的直方图。在各个图4B和图4C中，垂直轴指示频率，水平轴指示亮度。如图中所示，噪声随用于平均化处理的断层图像的数目而不同。归因于此，图像处理单元108随噪声水平变更噪声降低参数。作为从断层图像中噪声降低的方法，例如，图像处理单元108首先从与断层图像的视网膜内层的背景对应的区域410(玻璃体和巩膜中至少一个)估计噪声。随后，图像处理单元108取决于噪声量，变更用于噪声降低的中值滤波器、高斯滤波器等的滤波器大小。如果噪声量大，那么图像处理单元108增大滤波器大小，而如果噪声量小，那么图像处理单元108减小滤波器大小。因而，噪声降低引起的图像模糊被减小。如果噪声量大，那么噪声可被降低。另外，理想地，依据每个像素的物理尺寸，决定滤波器大小的上限值。例如，利用100线的A扫描拍摄1mm范围的情况和利用50线的A扫描拍摄1mm范围的情况可具有与图像像素对应的不同图像范围。即，当X方向的噪声降低滤波器的参数被设定为10时，在利用100线执行拍摄的情况下，每个像素的物理尺寸约为0.1mm；然而，在利用50线执行拍摄的情况下，每个像素的物理尺寸约为0.2mm。从而，调整参数以在等同的范围中执行噪声降低。
在步骤S3032，图像处理单元108使断层图像的浓度规格化。这是在作为基准的断层图像和作为处理对象的断层图像之间尽可能地匹配亮度的浓度水平的处理。因而，对于每只被检眼睛来说，图像的亮度的差异被吸收。校正浓度的方法可以是在基准图像和对象图像之间匹配直方图的方法，或者通过使用浓度变换表匹配浓度水平的方法。另外，就背景为白色(像素值为255)的断层图像来说，图像处理单元108执行黑/白反转。在此图像处理中，描述断层图像的背景为黑色的情况。然而不限于此。断层图像的背景为白色的情况可被视为基准。这种情况下，作为图像处理参数的阈值的设定为10或更小的像素值可以是245或更大的像素值。
在步骤S3033，图像处理单元108检测视盘部。在关于黄斑疾病的情况下，视盘区域被除去，然后执行处理。在关于视盘部的情况下，视盘部被提取。例如，这里描述对于黄斑疾病的诊断支持。这种情况下，图像处理单元108从断层图像中除去视盘区域。如图4A中所示，视盘部在断层图像中具有大的杯状形状(凹陷形状)。归因于此，图像处理单元108从断层图像中检测大的凹陷区域。可替代地，如果存在扫描激光眼底镜(SLO)图像或眼底照片(眼底图像)，那么图像处理单元108可从图像中检测圆形视盘部，使检测的视盘部对应于断层图像的成像范围。从而，图像处理单元108可从断层图像中检测视盘部。在位于黄斑部的中心的水平扫描的情况下，由于从前面看时视盘部存在于左眼的左侧，并且从前面看时视盘部存在于右眼的右侧，因此断层图像的端部(视盘部侧)可被简单地判定为无效区域。在位于黄斑部的中心的垂直扫描的情况下，由于视盘部未被拍摄，因此不需要执行此步骤中的处理。
在步骤S3034，图像处理单元108检测视网膜区域。具体地，图像处理单元108从断层图像中检测ILM和RPE，并检测布置在层边界之间的区域作为视网膜区域。可替代地，不限于布置在ILM和RPE之间的区域，图像处理单元108可检测布置在ILM和NFL中的一个与RPE和感光细胞内节/外节边界(IS/OS)中的一个之间的区域，作为视网膜区域。
另外，由于视网膜区域比背景区域明亮，因此图像处理单元108通过使用判别分析方法执行二值化，并从图像中检测明亮的区域。图像处理单元108执行形态变换(封闭或打开)，从而连接明亮区域，消除噪声部分。图像处理单元108获取该区域的中心线，在位于中心线上方并在区域中的上部(例如，上端)中的位置设定ILM的初始边界线，在位于中心线下方并在区域中的下部(例如，下端)中的位置设定RPE的初始边界线。图像处理单元108将诸如Snakes之类的轮廓提取算法应用于边界线，从而检测层边界。Snakes定义形状能量Eshape和图像能量EImage，并借助反复计算使能量最小化。形状Eshape被定义成随着视网膜层的形状变得越平滑而减小，图像能量EImage被定义成随着某个部分具有更高的边缘强度而减小。图像处理单元108在移动利用初始值设定的边界线的所有检测点的同时，找出具有最小能量的部分。从而，初始边界线最终被输出为具有层边界(强边缘)和平滑形状。即，图像处理单元108对应于配置成从断层图像中提取层边界的提取单元的例子。在上述例子中，图像处理单元108提取ILM(内界膜)和RPE(视网膜色素上皮)；然而，并不局限于此。例如，图像处理单元108可提取内界膜和神经纤维层边界中的至少一个，及视网膜色素上皮边界和感光细胞内节/外节边界中的至少一个。
通常，由于利用Snakes层边界被检测为平滑边界线，因此即使归因于黄斑孔而在视网膜层中产生孔，ILM的边界线也被检测为平滑边界线。当测量视网膜厚度时，为了基于边界线信息执行测量，图像处理单元108可基于这里检测的ILM的边界线，在(后述)步骤S3037中检测到玻璃体存在区域时校正ILM边界线。可替代地，各种已知方法任意之一可用于检测层边界。
在步骤S3035，图像处理单元108使视网膜在深度方向(Z方向)的位置规格化。为了满足事先设定的基准图像，通过使用在步骤S3034中得到的中心线对准视网膜的深度方向的位置和基准图像中的视网膜的位置，使视网膜的位置规格化。为了在检测所见候选时更容易地指定位置，并且为了确保在断层图像中显示所见的场所，执行规格化。
在步骤S3036，图像处理单元108检测黄斑部的候选区域。在断层图像中，黄斑部具有小的杯状形状(凹陷形状)。例如，黄斑部的杯形小于视盘部的杯形。归因于此，图像处理单元108从断层图像中检测小的凹陷区域。可替代地，如果存在SLO图像或眼底照片(眼底图像)，那么图像处理单元108可通过从图像中检测黄斑部并使检测的黄斑部对应于断层图像的成像范围来从断层图像中检测黄斑部。可替代地，如果在黄斑部的中心执行成像，那么由于黄斑部位于断层图像的中心附近，因此图像处理单元108可简单地将在断层图像的中心附近的区域检测为黄斑部。还可替代地，图像处理单元108可参照在步骤S3033中检测的视盘部的位置来检测黄斑部。视盘直径(DD)与从视盘的中心到黄斑中心凹的距离(DM)之比一般在2.4～3.0的范围中。从而，图像处理单元108可利用该比例粗略地指定黄斑区域。
在步骤S3037，图像处理单元108检测玻璃体存在区域(图4A中的斜线部分430)。图像处理单元108检测相对于在步骤S3034中检测的视网膜区域(或ILM)、断层图像的在Z方向的深度小侧(上侧)作为玻璃体区域。此外，图像处理单元108可在玻璃体区域中执行细化处理(thinning process)，并提取405作为后部玻璃体剥离候选(参见图5B)。可替代地，可在步骤S3038中，执行后部玻璃体剥离候选405的提取。现在，描述其中在图像处理单元108检测到玻璃体存在区域430之后图像处理单元108校正ILM的情况。如果黄斑部具有归因于黄斑孔的孔，那么检测为平滑线的ILM边界线穿过玻璃体存在区域430。由于玻璃体存在区域430被ILM边界线分割，因此对于该部分，可再次检测ILM边界线。
随后，在步骤S3038，图像处理单元108基于分别对应于多个所见候选的图像处理参数，执行图像处理(对于病变候选的区域提取)。这里，举例描述“纤维层胞囊状孔”的图像处理参数“X：25％～75％、Z：30％～70％、像素值：10或更小”。这种情况下，图像处理单元108基于图像处理参数，从利用预处理规格化的断层图像中，提取在断层图像中的X坐标从25％～75％、Z坐标从30％～70％的矩形范围中的像素值为10或更小的像素。对于多个所见候选中的每一个，执行这样的处理。在此实施例中，断层图像的数目为1。然而，如果存在多个断层图像，那么对多个断层图像中的每个断层图像执行该处理。
处理返回图3A中的步骤S3040。在步骤S3040，判定单元110基于在步骤S3020中获取的多个所见候选和在步骤S3030中执行的图像处理的结果，判定多个所见候选中的每一个是否是对应的所见(多个所见候选中的每一个是否存在于断层图像中)。
例如，对于“纤维层胞囊状孔”，判定单元110在提取的像素中将相邻的像素识别为单一区域，并计算每个区域的纵横比(短边/长边)。随后，例如，判定单元110将纵横比为0.7或更小的区域判定为对应于“纤维层胞囊状孔”。在“后部玻璃体剥离”的情况下，如果利用细化处理提取的线的长度为阈值(例如，图像在X方向的长度的20％)或更大，那么判定单元110将区域判定为对应于“后部玻璃体剥离”。即，图像处理单元108和判定单元110对应于检测单元的例子，该检测单元被配置成通过对由获取单元获取的断层图像执行结构分析来检测被检眼睛的异常部位。
判定标准可被存储为第二表格信息的一部分，或者存储单元104可包括存储判定标准的第三表格信息(未示出)。
另外，在步骤S3038，具有30％～70％的Z坐标的区域用作处理对象；然而，可以利用层边界的检测结果来确定处理对象的区域。例如，具有30％～70％的Z坐标的区域可用布置在ILM和RPE之间的区域(第一区域的例子)替换。即，为了检测纤维层胞囊状孔的区域(第一异常部位的例子)，图像处理单元108可提取在断层图像中的具有25％～75％的X坐标并且布置在ILM和RPE之间的范围中的像素值为10或更小的像素。另外，如在图5B的第二表格中所示，图像处理单元108在作为层边界的检测结果的位于ILM上方的区域(第二区域的例子)中执行细化处理，以检测后部玻璃体剥离的区域(第二异常部位的例子)。即，图像处理单元108和判定单元110将具有不同算法的结构分析应用于由提取单元提取的层边界(例如，ILM)限定的断层图像中的第一区域和第二区域，以从第一区域中检测第一异常部位，并从第二区域中检测不同于第一异常部位的第二异常部位。
可替代地，布置在内界膜和神经纤维层边界中的一个与视网膜色素上皮边界和感光细胞内节/外节边界中的一个之间的区域可用作第一区域。另外，相对于内界膜和神经纤维层边界中的一个在玻璃体上的区域可用作第二区域。随后，可通过将具有不同算法的结构分析应用于如上定义的第一区域和第二区域来生成第一异常部位和第二异常部位。
图6是示出步骤S3030中的图像处理结果的例子和步骤S3040中的判定结果的例子的图示。图6中所示的RPE层610和ILM 620是利用步骤S3030中的处理从断层图像600中提取的层边界。
对应于纤维层胞囊状孔的区域630和不对应于纤维层胞囊状孔的区域635指示在步骤S3030通过使用用于“纤维层胞囊状孔”的图像处理参数提取的区域。如在图6中所示，对应于纤维层胞囊状孔的区域630具有为0.7或更小的纵横比(即，横向长)，从而，判定单元110判定区域630对应于“纤维层胞囊状孔”。相反，不对应于纤维层胞囊状孔的区域635具有超过0.7的纵横比，从而判定单元110判定区域635不对应于“纤维层胞囊状孔”。类似地，对应于后部玻璃体剥离的区域640指示在步骤S3030中利用用于“后部玻璃体剥离”的图像处理参数提取的线。在此例的情况下，由于线的X方向长度超过图像的X方向长度的20％，因此判定单元110判定为对应于“后部玻璃体剥离”。对于多个所见候选中的每一个执行这样的判定。在图6的例子中，除了上述所见之外，黄斑孔650和盖660也被判定为对应所见。假定在此实施例中利用计算机(诊断支持装置100)判定的所见被称为计算机辅助诊断(CAD)所见。
在步骤S3050，位置获取单元112基于在步骤S3030中执行的图像处理的结果和在步骤S3040中判定为对应所见的所见候选，获取指示医学图像中的与所见对应的位置的信息(指示所见的位置的信息)。指示位置的信息可以是任意信息，只要该信息能够指定位置即可。在此实施例中，位置获取单元112获取关于包括被判定为对应于所见的图像区域的矩形的信息(例如，4个顶点的坐标)，作为指示所见的位置的信息。换句话说，位置获取单元112获取关于外接被判定为对应于所见的图像区域的矩形的信息(例如，该矩形的4个顶点的坐标)，作为指示该所见的位置的信息。由位置获取单元112获取的信息不限于关于包括图像区域或外接图像区域的矩形的信息，该区域可具有除矩形外的任意形状，只要该区域包括图像区域即可。
在图6中所示的例子中，位置获取单元112获取在步骤S3040中被判定为“纤维层胞囊状孔”的区域的纤维层胞囊状孔位置信息632，和被判定为“后部玻璃体剥离”的区域的后部玻璃体剥离位置信息642。这种情况下，纤维层胞囊状孔位置信息632是关于外接对应于纤维层胞囊状孔的区域630的矩形区域的位置信息，后部玻璃体剥离位置信息642是关于外接对应于后部玻璃体剥离的区域640的矩形区域的位置信息。
位置获取单元112对于多个判定的所见候选中的每一个获取指示所见的位置的这种信息。在图6中所示的例子中，获取黄斑孔位置信息652和盖位置信息662。对于每个相应的区域，可以获取指示相同所见的位置的信息。可替代地，可向相应区域应用优先级，并且可获取指示优先级最高的区域中的位置的信息作为指示所见的位置的信息。例如，可关于矩形的面积、到图像的中心的距离和到图像的端部的距离中的至少一个，确定优先级。例如，如果在断层图像中存在多个相同的所见，那么向矩形面积大的所见给予高优先级，并且可以只获取指示相同所见之中矩形面积大的所见的位置的信息。
在步骤S3060，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。
具体地，显示控制单元116使用在步骤S3050中获取的指示在步骤S3040中被判定为对应所见的所见在断层图像中的位置的信息，并使关于被判定为对应所见的所见的信息被以重叠方式显示在步骤S3000中获取的断层图像上。更具体地，显示控制单元116使显示单元118显示断层图像，并以重叠方式将所见作为句子或字词进行显示。即，显示控制单元116对应于显示控制单元的例子，该显示控制单元被配置成使显示单元将由检测单元检测的异常部位的所见在断层图像上以重叠方式作为句子或字词进行显示。另外，显示控制单元116使所见被显示在断层图像上的与被判定为对应于该所见的图像区域(异常部位)的位置对应的位置。
在此实施例中，假定显示控制单元116对于对应所见在以下显示规则下确定在断层图像上的重叠的位置。(1)重叠不被设置在指示被判定为对应所见的另一个所见的位置的信息之上。(2)所见的文字信息被显示在相对于RPE层的Z方向下侧，或者相对于ILM的Z方向上侧。即，所见的文字信息不被重叠在视网膜上。(3)如果指示被判定为对应所见的所见的位置的信息在Z方向位于RPE层和ILM之间，那么向在该信息指示的所见的位置附近的位置应用标记(例如，箭头)。当然，显示规则不限于上述例子。例如，条件(2)可被变更成如下条件：所见的文字信息被显示在除布置在内界膜和神经纤维层边界中的一个与视网膜色素上皮边界和感光细胞内节/外节边界中的一个之间的区域之外的区域中。可替代地，条件(2)可被变更成如下条件：所见的文字信息的至少一部分被显示在相对于RPE层的Z方向下侧或者相对于ILM的Z方向上侧。即使条件如上所述被变更，也不是所有的文字信息都被重叠在断层图像上。因而，能够防止断层图像的可见性降低。在条件(3)中，除了显示标记之外，还可在相对于RPE层的Z方向下侧和相对于ILM的Z方向上侧的区域之中更靠近对应于所见的图像区域的区域中，显示该所见的文字信息。因而，能够防止由图7中所示的标记712的大小的不必要增大而引起的断层图像的可见性的降低。
图7图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700包括病例信息701、对象病例的断层图像710、重叠在断层图像上的所见711、标记712、对应于对象病例的断层图像的眼底图像715和重叠在眼底图像715上的水平箭头717。水平箭头717指示断层图像710在眼底图像上的获取位置。此外，显示内容700包括分析处理结果图像720、模式730、信息显示740、选项750和图像处理参数760。
显示控制单元116基于上述显示规则和指示所见711的位置的信息，将所见711的文字信息重叠在断层图像上。例如，对于“纤维层胞囊状孔”，指示纤维层胞囊状孔的区域713的位置的信息在Z方向位于RPE层和ILM之间，所见711的文字信息被显示在相对于RPE层的Z方向下侧。在此实施例中，与在相对于ILM的Z方向上侧的区域相比，纤维层胞囊状孔的区域713更靠近在相对于RPE层的Z方向下侧的区域，字词“纤维层胞囊状孔”被显示在相对于RPE层的Z方向下侧的区域中。此外，向在指示所见711的位置的信息附近的位置应用箭头712。即，标记712被显示在靠近作为异常部位的纤维层胞囊状孔的区域713的位置。另外，对于“后部玻璃体剥离”，指示“后部玻璃体剥离”的位置的信息位于相对于ILM的Z方向上侧，从而所见711的文字信息以该文字信息不覆盖ILM的方式显示在靠近指示“后部玻璃体剥离”的位置的信息的位置。在图7中所示的例子中，以所见711的文字信息不覆盖检测的玻璃体剥离的方式显示该文字信息。可替代地，可以以至少部分的所见711的文字信息不覆盖检测的玻璃体剥离的方式显示该文字信息。
类似于上述处理，对于“黄斑孔”和“盖”，所见711的文字信息被显示在靠近异常部位的位置。待显示的所见711的文字信息可以是像“后部玻璃体剥离”这样的字词，或者可以是句子“在后部玻璃体存在剥离”。
分析处理结果图像720是指示上述图像分析结果的图像。分析处理结果图像720指示玻璃体区域721(斜线部分)、盖722、纤维层胞囊状孔723、后部玻璃体剥离724、ILM 725、视网膜层区域726、RPE 727和脉络膜下区域728。这些指示对于作为输出所见711的基础的断层图像的图像分析的分析结果。在此实施例中，描述其中盖722、纤维层胞囊状孔723和后部玻璃体剥离724被检测为病变部(异常部位)的例子；不过并不局限于此。如果存在黄斑上膜、视网膜萎缩、硬性渗出物(exudate)等，那么指示那些的检测结果。可以显示和可以不显示分析处理结果图像720。
模式730指示显示模式。在此实施例中，在断层图像上显示所见的模式被用作诊断图像模式731。在实施例(后面描述，图11和图14)中，作为模式730，显示能够选择多个模式中的一个的界面。
信息显示740是用于选择显示在断层图像上的信息的用户界面。例如，通过点击或轻击显示的用户界面，诸如医生之类的用户能够变更待显示在断层图像上的信息。作为用户界面，诊断图像显示(全部信息显示)741被显示在显示单元118上。诊断图像显示741开启/关闭诸如层检测结果、医生的所见、CAD的所见和手写备注之类的全部信息在断层图像710上的重叠。此外，作为用户界面，为了单独切换待重叠的信息，在显示单元118上显示层检测显示(层显示)742。层检测显示742开启/关闭层检测结果的显示。另外，在显示单元118上，显示开启/关闭医生确认的所见的显示的医生所见显示743。作为该用户界面，在显示单元118上显示开启/关闭由CAD检测的所见的显示的CAD所见显示744，和开启/关闭手写备注的显示的手写备注显示745。例如，用于指定信息显示740的用户界面是按钮或复选框。
所见不仅包括CAD所见，而且包括医生确认的所见。CAD所见指示由计算机确定的所见。医生的所见指示从计算机输出并由医生确认(认可)的所见，或者由CAD检测并由医生修正的所见。另外，所见可包括医生新增的所见。为了确认CAD所见，可以通过诸如医生之类的操作员选择认可复选框(未示出)等来确认CAD所见。这种情况下，可以总的确认多个CAD所见。利用具有鼠标的PC装置，通过点击复选框选择CAD所见，可以确认CAD所见。例如，在各个所见711附近，显示复选框。另外，利用触摸面板监视器，通过轻击屏幕选择CAD所见，能够确认CAD所见。为了总的确认所见，通过双点击或双轻击断层图像710上未被所见711占据的位置，可以总的确认所见。对于修正CAD所见的方法，医生等可通过轻击或点击显示在显示单元118上的所见711选择预定的所见711，然后利用键盘1007等修正选择的所见711。
另外，可以个别地选择和确认所见711。这种情况下，通过在所见上右击可以显示菜单，然后可以选择包含在该菜单中的“确认”。可替代地，所见711可以被双点击或双轻击从而被确认。此外，通过触摸可以临时选择所见711，然后通过在临时选择状态下在触摸面板监视器上作出滑动手势(挥击)，可以确认所见711。为了修正所见，当选择所见711时，其它所见名称作为列表框显示在所见711附近，并且可以选择并确认所见中的一个期望的所见。为了删除不必要的所见，可以选择所见711，然后可以从菜单中选择删除，或者所见711可被拖到断层图像710的外部并被删除。即，显示控制单元116可检测对于所见711的操作，并从显示屏幕中删除该所见711。
另外，对于所见的总的确认和个别确认，也提供确认取消功能。在复选框的情况下，复选框可被取消选中。在双点击或双轻击的情况下，可以通过再次执行相同的操作来取消确认。
由于所见包括由医生确认的所见，因此期望利用与由CAD(诊断支持装置100)确定的所见的文字的颜色不同的文字的颜色来显示由医生确认的所见。例如，CAD所见可以使用红色，而医生所见可以使用蓝色。因而，能够看一眼就容易地识别所见是CAD的所见还是医生的所见。不局限于文字的颜色，可以提供任意形态的显示，只要显示提供CAD所见和医生所见之间的差异即可，例如，通过添加图标、用矩形环绕字词、向文字添加阴影或者变更文字的字体。例如，如果显示控制单元116收到通过键盘1007等输入的医生对CAD所见的修正，那么显示控制单元116可在修正前的所见711和在医生的修正之后的所见711之间以不同的显示形态显示所见711。例如，显示控制单元116在修正前的所见711和修正后的所见711之间变更所见711的文字的颜色。即，显示控制单元116对应于配置成由操作员显示在显示单元上并接收对于所见的修正的接收单元的例子。显示控制单元116使显示单元以与修正前的所见的形态不同的显示形态显示修正后的所见。
显示控制单元116变更文字的颜色的时间点可以紧跟在医生做出变更之后，或者可以是通过选择认可复选框等(未示出)确认修正的时间点。
此外，显示控制单元116可在根据所见的种类变更所见711的文字的颜色之后，控制显示单元118显示所见711。这种情况下，在CAD的所见和医生的所见之间变更图标、字体等，并且对于相同的所见应用相同的颜色。例如，黄斑孔使用浅蓝色，盖使用紫色。CAD的所见使用斜体，而医生的所见使用粗体。
另外，除了所见之外，可以写入所希望的注释作为手写备注。下面描述手写备注和所见输入之间的差别。当输入文字时，可以设置用于选择手写备注输入或所见输入的选择部分(未示出)，并且CPU 1001可基于医生的选择，判定输入是手写备注输入还是所见输入。可替代地，在所见输入的情况下，可从事先登记的所见字典中选择并添加所见的字词，而自由输入可以用作手写备注。再可替代地，分析输入的字词的文字，登记在所见字典中的字词被判定为所见。又可替代地，通过修正从CAD输出的所见而得到的所见或者通过医生确认从CAD输出的所见而得到的所见可以用作所见，而自由输入可以用作书写备注。
选项750是用于对断层图像执行处理或者显示关于CAD的信息的用户界面。诸如医生之类的用户可以例如通过点击或轻击显示的用户界面，来通过图像处理单元108对断层图像执行处理或者通过显示控制单元116显示关于CAD的信息。作为选项750，显示诸如黑/白反转显示751、梯度校正显示752、噪声降低753、浓度校正754和CAD详情755之类的用户界面。用于指定显示图像的黑/白反转的黑/白反转显示751是用于在断层图像中的低反射区域的显示颜色为黑色而高反射区域的显示颜色为白色的显示和低反射区域的显示颜色为白色而高反射区域的显示颜色为黑色的显示之间切换显示的用户界面。梯度校正显示752是用于校正视网膜层的梯度的用户界面。梯度校正显示752基于图像处理参数760校正待显示的视网膜层的梯度。噪声降低753是用于基于图像处理参数760从断层图像中降低噪声的用户界面。浓度校正754是用于校正断层图像的窗宽/窗位(WW/WL)的用户界面。CAD详情755是用于选择分析处理结果图像720和图像处理参数760的显示的开启/关闭的用户界面。即，当CAD详情755被选择时，由显示控制单元116将分析处理结果图像720和图像处理参数760显示在显示单元118上。另外，分析处理结果图像720可显示分析处理执行期间的中途结果。图像处理参数760的窗口显示为图像处理所需的参数项目761及其数值762。基于显示的数值执行处理。可以通过使用鼠标1006、键盘1007等编辑数值762。
图8图示出根据此实施例的另一个显示例子。在图8中，代替图7中的分析处理结果图像720和图像处理参数760，显示分析数据820和分析值860。其它显示与图7中所示的例子相同。通过开启/关闭CAD详情755来切换显示。在诊断图像模式731下，CAD详情755的开启状态是默认状态。然而，通过设定(未示出)，CAD详情755的关闭状态可以是默认状态，而分析数据820和分析值860的显示可以是默认的。分析数据820指示统计正常眼睛数据库821和显示的断层图像710的层厚图822。例如，正常眼睛数据库821是对于“正常值的上限之外”的范围(99％或更高)、“上侧边界线”的范围(95％～99％)、“正常值”的范围(5％～95％)、“下侧边界线”的范围(1％～5％)和“正常值的下限之外”的范围(1％或更低)颜色编码的。通过与正常眼睛数据库821的比较，层厚图822可提供与在正常值之外的视网膜层的范围有关的视图。图像分析值860是基于步骤S3030中的图像处理和步骤S3040中的对于所见候选的判定结果、关于判定的病变的大小和数目的测量结果。
就此实施例来说，诊断支持装置100基于医学图像的部位的信息，获取对应的所见候选和与所见候选的导出有关的图像处理参数。随后，诊断支持装置100基于获取的图像处理参数执行图像处理，判定对应的所见并指定位置，并提供这些结果。因而，医生能够在医学图像上识别被判定为对应所见的所见及其位置以及分析结果。因而，由于医生能够看见作为当前对象的医学图像的状态以及诊断名称，因此能够减轻诊断的负担。
更具体地，就此实施例来说，由于所见被显示在断层图像上，医生等能够容易地识别断层图像和所见之间的关系。另外，由于所见是取决于断层图像中的异常部位的位置显示的，因此医生等能够容易地识别异常部位和所见之间的关系，从而能够迅速做出诊断。
此外，由于所见被显示成尽可能不覆盖断层图像中的视网膜区域，因此可在防止断层图像本身的可见性降低的同时将所见显示在断层图像上。
第二实施例
在第一实施例中，获取作为诊断对象的医学图像，通过使用图像处理结果在医学图像上提供诸如CAD所见之类的支持信息，并提供图像处理的分析图像和分析数据。此实施例中描述的是在医学图像上的支持信息的提供以及相似病例(或相似图像)的结果的提供。
参考图9，描述根据第二实施例的诊断支持装置900的功能结构的例子。与图1相比，在功能上，向诊断支持装置900添加搜索单元914和数据库300。数据库300以有线或无线方式与诊断支持装置900相连以使它们之间的通信成为可能。数据库300以关联方式存储医学图像以及对应于该图像的所见和诊断名称。即，数据库300对应于被配置成与各个所见关联地存储多个断层图像的存储单元的例子。
另外，存储在数据库300中的医学图像与患者信息(比如性别和年龄)关联。响应于来自诊断支持装置900的请求，数据库300将对应于该请求的医学图像和所见输出给诊断支持装置900。可替代地，数据库300可被存储在诊断支持装置900中的存储单元104中。通过使用由判定单元110判定为对应所见的所见候选作为关键字，搜索单元914请求来自数据库300的与对象医学图像相似的图像的信息。搜索单元914从数据库300接收请求的信息。搜索单元914将接收的图像的信息连同与对象医学图像的相似度一起输出给显示控制单元116。诊断支持装置900具有与根据第一实施例的图2A和图2B中的硬件结构相似的硬件结构。即，CPU 1001执行存储在主存储器1002和磁盘1003中的程序，从而实现根据此实施例的诊断支持装置900的功能(软件)和流程图中的处理。
图10示出描述由诊断支持装置900执行的处理的例子的流程图。该流程图基本上类似于根据第一实施例的图3A中的流程；不过，部分的处理不同于第一实施例。具体地，对于相似图像的搜索(S10060)和信息的显示(S10070)，此流程图不同于图3A中的流程。对于由根据此实施例的诊断支持装置900执行的处理，下面参考图10中的流程图和图11中的显示内容的例子，只描述与第一实施例不同的部分。
在图10中的流程图中，从步骤S3000到步骤S3050的处理类似于根据第一实施例的处理。从而省略描述。
在步骤S10060，通过使用在步骤S3040中被判定为对应所见的所见候选作为关键字，搜索单元914从数据库300获取相似的图像。即，搜索单元914对应于相似图像获取单元的例子，该相似图像获取单元被配置成从存储单元获取与如下所见关联的断层图像，该所见与由检测单元检测的异常部位的所见匹配。
搜索关键字例如是“后部玻璃体剥离”或“黄斑孔”。各自用作搜索关键字的所见的数目可以是多个或一个。存储在数据库300中的所见例如是由医生事先对于病例指定的所见。假定数据库300还包括与由医生指定的所见的位置相关的信息。代替由医生事先指定的信息，包含在数据库300中的所见的信息可以是诸如教科书之类的文献信息，或者可以是对于为数据库收集的病例由医生指定的所见的信息。
搜索单元914获取相似图像的方法可以是从数据库300只获取具有完全匹配的搜索关键字的相似图像，或者可以是获取具有部分匹配的搜索关键字的相似图像。例如，如果多个所见用作搜索关键字，那么搜索单元914可以获取与多个所见中的仅部分所见匹配的相似图像。可替代地，可以通过某种方法计算相似度，并且可以按相似度的降序获取预定数目的图像。在此实施例中，假定只获取具有完全匹配的搜索关键字的图像。后面作为变形例描述使用相似度的方法。
在步骤S10070，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。具体地，显示控制单元116使用在步骤S3050中获取的指示在步骤S3040中被判定为对应所见的所见在医学图像中的位置的信息，使被判定为对应所见的所见的信息被重叠在步骤S3000中获取的医学图像上。所见信息的显示规则与第一实施例的显示规则类似。此外，显示控制单元116基于在步骤S10060中获取的相似图像的信息，使相似图像和与相似图像关联的诊断名称的信息按相似度的降序被显示。在此实施例中，由于在步骤S10060中只获取具有完全匹配的关键字的图像，因此关于与在步骤S3000中获取的医学图像相关的患者信息，首先显示性别相同且年龄相近的相似图像。可替代地，如果除了成像信息之外还可获取与生活习惯相关的信息，那么可以向搜索关键字添加生活习惯的项目。例如，可通过使用患者是否有糖尿病或者患者是否吸烟的信息来执行搜索。另外，可以首先显示在最近日期捕获的信息。另外，在此实施例中，在列表中管理相似图像和与之关联的诊断名称的信息，显示列表的信息，并且以与在步骤S3000中获取的医学图像可比较的方式显示列表中的病例中的一个。以可比较的方式显示的一个病例可由诊断支持装置900选择，或者诊断支持装置900可接收通过用户输入的选择。例如，作为用户界面，可以准备存储类似病例的列表的列表框，并且可从列表框中选择一个病例。
在此实施例中，假定显示控制单元116将在最近日期拍摄的相似图像判定为以可比较的方式显示的一个初始病例，之后，显示控制单元116根据通过用户输入的选择确定以可比较的方式显示的病例。显示方法不限于此。例如，可以与在步骤S3000中获取的医学图像可比较的方式，显示多个相似图像和与之关联的诊断名称的信息，或者可以以可比较的方式显示所有的相似图像。
图11图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700基于第一实施例中参考图7描述的图示。第二实施例和第一实施例的不同之处在于，将相似病例模式1132显示为用户界面。如果通过医生等轻击或点击相似病例模式1132选择相似病例模式，那么显示控制单元116使相似病例列表(即，其中按相似度的降序显示相似图像的列表)1160被显示。显示控制单元116使显示单元118显示相似病例列表中的一个病例(这种情况下，如上所述，在最近的日期拍摄的图像)的断层图像1120、所见1121、诊断名称1122和与该断层图像对应的眼底图像1125。如果相似病例模式1132被选择，那么向选项750添加作为用于执行病例搜索的用户界面的病例搜索1155。通过诸如医生之类的操作员轻击或点击病例搜索1155，执行对于与对象断层图像710相似的病例的搜索。在此实施例中，描述其中用于执行病例搜索的用户界面不同于相似病例模式1132的例子；不过，当选择相似病例模式1132时，可以同时执行病例搜索。
在重叠有所见的断层图像710和1120中，按照上述显示规则，重叠基于指示所见的位置的信息被判定为对应所见的所见711和1121的信息。如上所述，如果作为通过用户输入的选择的结果，相似病例列表中的另一个病例被判定为将以可比较的方式显示的病例，那么显示控制单元116控制显示单元118的显示内容。具体地，显示控制单元116使显示单元118显示与在相似病例列表1160中选择的病例对应的如下内容：重叠有所见的断层图像1120、诊断名称1122和对应于该断层图像的眼底图像1125。
就此实施例来说，诊断支持装置900基于医学图像的部位的信息，获取对应的所见候选和与所见候选的导出相关的图像处理参数。随后，诊断支持装置900根据获取的图像处理参数执行图像处理，判定对应的所见并指定位置，基于判定为对应所见的所见搜索相似图像，并提供这些结果。因而，医生能够在医学图像上识别被判定为对应所见的所见及其位置，以及与相似图像关联的诊断名称。因而，由于医生能够看见作为当前对象的医学图像的状态和相似病例的诊断名称，因此能够减轻诊断的负担。
另外，在默认状态下，以可比较的方式显示与作为当前对象的医学图像最相似的图像，从而，诸如医生之类的操作员能够节省为选择适合于比较的图像所需的时间。
存储在数据库300中的信息不限于上述例子。例如，数据库300可以关联方式存储医学图像；对应于该图像的所见和诊断名称；和对应所见在断层图像中的位置、诊断名称和所见。这种情况下，通过使用所见和所见的位置作为搜索关键字，搜索单元914可搜索相似图像。例如，搜索单元914可从数据库300获取其中所见匹配、所见的位置匹配或者对象断层图像中的所见的位置与数据库300中的断层图像中的所见的位置之差为预定阈值或更小的断层图像(相似图像)。即，数据库300可以与所见及该所见在断层图像中的位置关联地存储多个断层图像中的每一个。另外，作为相似图像获取单元的例子的搜索单元914获取与如下所见和所见的位置关联的断层图像，该所见和所见的位置与由检测单元检测的异常部位的所见和所见的位置匹配。
因而，能够获取具有匹配的所见和匹配的所见的位置的相似图像。能够获取症状与对象断层图像更接近的断层图像。
第一变形例
在上述实施例中，通过使用所见作为搜索关键字搜索具有匹配的所见的相似病例。然而，相似病例搜索的方法不限于此。例如，可基于图像特征值搜索相似病例。下面参考图12中的流程图描述该处理。图12图示出图10的流程图中的步骤S10060中的处理的细节。
在步骤S10061，作为全局特征提取，图像处理单元108从断层图像中提取视网膜层的厚度特征。对于视网膜层的厚度，假定ILM和RPE的边界线之间的在Z方向的差异用作视网膜层的厚度。作为用于计算视网膜层的厚度的区域，图像处理单元108从黄斑部中心区域、除黄斑部的中心外的左右区域和整个区域提取特征值。作为分割区域的方法，断层图像可在X方向上被简单地分割成3个部分，或者可被分割成5个部分，左右区域各占2/5，黄斑区域占中心处的1/5。当计算厚度时，期望从用于计算厚度的区域中除去视盘区域。各区域中的厚度的特征值可以是平均厚度、最大厚度、最小厚度、离差或标准偏差之一。图像处理单元108根据这些特征值创建全局特征向量。如上所述，全局特征表示整个视网膜的形状特征。
在步骤S10062，作为局部特征提取，图像处理单元108计算视网膜内层中的局部区域中的方向梯度直方图(HOG)特征。HOG特征是用于计算局部区域中的亮度的梯度方向和梯度强度并创建使水平轴标示梯度方向而使垂直轴标示梯度强度的直方图的特征值。如果视网膜内层正常，那么视网膜内层具有层结构。从而，亮度的梯度方向在局部区域中被对准。然而，如果层结构因病变而混乱，那么亮度的梯度方向也混乱。以这种方式，局部特征表示视网膜内层中的层的排列状态。其中计算HOG特征的区域不是OCT的整个断层图像，而期望是根据第一实施例在步骤S3034中描述的视网膜区域。这种情况下待得到的局部特征值是几千个维度，于是，通过图像表现(后面描述)来减小维度的数目。
在步骤S10063，图像处理单元108通过特征包(Bag of Features)将在步骤S10062中获取的局部特征值转换成图像表现。特征包是一种根据登记在图像特征值的字典(码本)中的图像特征的出现频率对图像分类的方法。在学习期间，从所有学习用图像中提取局部特征值，在特征空间中对提取的局部特征值执行聚类，并且每个群集的重心用作视觉词(码本)。此时的聚类使用K均值。在步骤S10063中的图像表现处，图像处理单元108将在步骤S10062中获取的局部特征值投票给最接近在学习期间创建的视觉词的视觉词。因而，图像处理单元108将局部特征值转换成计数视觉词的出现频率的局部特征向量。
在步骤S10064中的搜索中，搜索单元914通过使用在步骤S10061中获取的全局特征向量和在步骤S10063中获取的局部特征向量来搜索相似图像。搜索方法可以是计算全局特征向量和局部特征向量的相似度，并通过使用总相似度提供搜索结果。例如，相似度可以是余弦相似度。余弦相似度由如下所示的式(1)提供：
cos ( V → t , V → s ) = V → t · V → | V → t | | V → | ... ( 1 ) ,
其中Vt是作为对象的图像特征向量，Vs是存储在数据库300中的图像特征向量。
随着相似度更接近于1，两个向量更加彼此相似。随着相似度更接近于0，两个向量不相似。
计算相似度的方法不限于此，可以计算偏差模式相似度。与每个元素所属于的组中的平均值的偏差表示相似度，并且最大值为1。即，偏差模式相似度是反映特征空间中的数据的分布的相似度。如果使用这样的相似度，那么期望在步骤S10070中按相似度的降序在病例列表中提供显示。如上所述，代替基于所见的搜索，可基于图像特征值搜索相似病例。
数据库300可以与所见、基于断层图像中的预定层的厚度的信息和基于包含在断层图像中的视网膜的亮度的信息关联地存储多个断层图像中的每一个。这种情况下，基于断层图像中的预定层的厚度的信息例如是全局特征向量，基于包含在断层图像中的视网膜的亮度的信息例如是局部特征向量。如果数据库300存储上述信息，那么搜索单元914从存储单元获取与如下异常部位的所见、基于层的厚度的信息和基于亮度的信息关联的断层图像，该异常部位的所见、基于层的厚度的信息和基于亮度的信息与由检测单元检测的异常部位的所见、基于层的厚度的信息和基于亮度的信息对应。本变形例可适用于任何其它实施例而不局限于第二实施例。
第二变形例
在第二实施例中，在步骤S3060，通过使用在步骤S3040中被判定为对应所见的所见候选作为搜索关键字，搜索单元914从数据库300中只获取具有完全匹配的关键字的图像(病例)。然而，可以获取具有部分匹配的搜索关键字的图像，或者可以通过使用计算搜索关键字的相似度的方法获取图像。
对于相似度，例如，可以使用借助向量相似度的计算的余弦相似度。下面给出具体描述。首先，图像处理单元108通过使用在步骤S3010中获取的多个所见候选和在步骤S3040中被判定为对应所见的所见候选来创建所见向量。通过将各所见候选视为向量的元素，并且如果所见候选对应于对象图像中的所见那么赋值1，而如果所见候选不对应于对象图像中的所见那么赋值0，可以生成所见向量。例如，如果存在20个所见候选，那么提供20个维度的所见向量。随后，图像处理单元108生成如上所述生成的所见向量和存储在数据库300中的医学图像的所见向量。搜索单元914计算这些向量的相似度。可替代地，数据库300可事先存储所见向量。
当Vt是对象医学图像的所见向量而Vs是存储在数据库300中的医学图像的所见向量时，由根据第一变形例描述的式(1)示出余弦相似度。
本变形例可适用于任何其它实施例，而不限于第二实施例。可以通过使用在第一变形例中描述的图像特征的相似度和所见的相似度两者来搜索相似病例。具体地，由于相似度各自被用1规格化，因此相似度的总和可简单地表示最终相似度，或者可通过向图像特征相似度和所见相似度添加相应的权重来计算最终相似度。
第三变形例
在第二实施例中，医生事先指定存储在数据库300中的病例的对应所见和所见的位置。然而，可以使用其他方法指定所见。例如，可以对存储在数据库30中的病例执行从步骤S3010到步骤S3050的处理，对应的所见和所见的位置信息可以与医学图像关联。另外，在执行步骤S10070中的处理之后，对应的病例可被存储在数据库中。
第四变形例
在第二实施例中，搜索单元914从存储在数据库300中的病例中搜索相似病例。然而，不一定从外部连接的数据库300中搜索相似病例。例如，具有与数据库300等同的信息的病例信息可被存储在存储单元104中，搜索单元914可从存储在存储单元104中的病例信息中搜索相似病例。这种情况下，可根据各种条件(比如用户、安装位置和时间)切换存储在存储单元104中的病例信息。类似地，可根据条件切换第一表格信息和第二表格信息。
第三实施例
在第二实施例中，获取作为诊断对象的医学图像，通过使用图像处理结果在医学图像上提供支持信息，并提供图像处理的分析图像和相似病例。在此实施例中，描述其中在医学图像上提供诸如CAD所见之类的支持信息并为诊断提供用作准则的信息的例子。根据此实施例的准则是用于诊断的支持的信息。准则包括文本或图形信息，比如指示诊断过程的诊断手册、图册、射线照相检查点、相同模态的图像及不同模态的图像(例如，眼底照片、荧光素血管造影(FA)图像、吲哚青绿血管造影(IA)图像等)。即，准则是指示疾病的诊断过程的信息。另外，数据库300存储多个准则。即，数据库300存储指示多种疾病的诊断过程的信息。准则可以是电子书。
根据此实施例的诊断支持装置900的功能结构与根据第二实施例的图9中的功能结构类似。数据库300以关联方式存储医学图像和对应于该图像的准则和所见。即，数据库300与各个所见关联地存储指示多种疾病的诊断过程的信息。响应于来自诊断支持装置900的请求，数据库300将与请求对应的准则和所见输出给诊断支持装置900。可替代地，数据库300可被存储在诊断支持装置900中的存储单元104中。通过使用由判定单元110判定为对应所见的所见候选作为搜索关键字，搜索单元914请求来自数据库300的与对象医学图像对应的准则。随后，搜索单元914从数据库300接收(获取)准则。即，搜索单元914对应于信息获取单元的例子，该信息获取单元被配置成基于由检测单元检测的异常部位的所见，从指示多种疾病的诊断过程的信息中获取指示至少一种疾病的诊断过程的信息。具体地，作为信息获取单元的例子的搜索单元914获取指示与由检测单元检测的异常部位的所见关联的疾病的诊断过程的信息。
此外，搜索单元914将接收的准则连同与对象医学图像的关联度一起输出给显示控制单元116。随后，显示控制单元116使显示单元118显示准则。即，显示控制单元116使显示单元显示由信息获取单元获取的指示疾病的诊断过程的信息。
诊断支持装置900具有与根据第一实施例的图2A和图2B的硬件结构类似的硬件结构。即，CPU 1001执行存储在主存储器1002和磁盘1003中的程序，从而实现根据此实施例的诊断支持装置900的功能(软件)和流程图中的处理。图13示出描述由诊断支持装置900执行的处理的例子的流程图。该流程图基本上类似于第一实施例；然而，该处理的一部分不同于第一实施例。具体地，对于准则的搜索(S13060)和信息的显示(S13070)，该流程图不同于图3A中的流程。对于由根据此实施例的诊断支持装置900执行的处理的例子，下面参考图13中的流程图和图14中的显示内容的例子，只描述与第一和第二实施例不同的部分。
在图13的流程图中，从步骤S3000到步骤S3050的处理与根据第一和第二实施例的处理类似。从而，省略描述。
在步骤S13060，通过使用在步骤S3040中被判定为对应所见的所见候选作为关键字，搜索单元914从数据库300获取准则。例如，搜索关键字是“后部玻璃体剥离”或“黄斑孔”。各自用作搜索关键字的所见的数目可以是多个或一个。存储在数据库300中的所见例如是医生事先对于病例指定的所见。假定数据库300还包括与医生指定的所见的位置相关的信息。代替医生事先指定的所见的信息，包含在数据库300中的所见的信息可以是诸如教科书之类的文献信息，或者可以是对于为数据库收集的病例由医生指定的所见的信息。
获取准则的方法可以是只获取具有完全匹配的搜索关键字的准则，或者可以是获取具有部分匹配的搜索关键字的准则。例如，如果多个所见用作搜索关键字，那么搜索单元914可以获取与多个所见中的仅部分所见匹配的准则。可替代地，可以使用某种方法计算相似度，并按相似度的降序获取预定数目的准则。对于使用相似度的方法，可以类似于在第二实施例的变形例中描述的方法，通过使用特征向量之间的匹配度进行计算。在此实施例中，相似度被描述成关联度。
在步骤S13070，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。这将参考图14进行描述。
图14图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700基于第一实施例中参考图7描述的图示。第三实施例和第一实施例的不同之处在于，将准则模式1433显示为用于选择准则模式的用户界面。当操作员通过轻击或点击准则模式1433选择准则模式时，显示控制单元116使准则列表1460(即，按准则的关联度的降序的病例的列表)被显示。此外，显示控制单元116使显示单元118显示准则列表中的病例中的一个的断层图像1420、所见1421、病例的诊断名称1422、射线照相检查点1424及与该断层图像对应的眼底图像1425和眼底照片1426。射线照相检查点1424例如包括关于射线照相检查的期望过程的信息。准则列表1460包括病例的ID、诊断名称和关联度。关联度等同于相似度。在此实施例中，关联度(相似度)用5级评价指示。例如，由于相似度被用1规格化，因此相似度为0.9或更高的病例被评价为5，相似度为0.8～0.9的病例被评价为4，相似度为0.6～0.8的病例被评价为3，相似度为0.4～0.6的病例被评价为2，而相似度为0.4或更低的病例被评价为1。这些数值仅仅是例子。可以直接显示相似度，或者可以代替5级而分10级地进行评价。另外，如果通过使用相似度提供显示，那么相似度为某个值或更高的病例可被显示在列表中，而相关性低的病例可不被显示在列表中。
如果准则模式1433被选择，那么向选项750添加作为用于执行准则搜索的界面的准则搜索1455。通过轻击或点击准则搜索1455，执行与对象断层图像710相关的准则搜索。在此实施例中，描述其中用于执行准则搜索的用户界面不同于准则模式1433的例子；不过，可以在选择准则模式1433时同时执行准则搜索。
在重叠有所见的断层图像710中，按照上述显示规则，重叠基于指示所见的位置的信息被判定为对应所见的所见711的信息。如上所述，如果作为通过用户输入的选择的结果，准则列表中的另一个病例被选择，那么显示控制单元116控制显示单元118的显示内容。具体地，显示控制单元116使显示单元118显示与在准则列表1460中选择的病例对应的如下内容：重叠有所见的断层图像1420、诊断名称1422、射线照相检查点1424及对应于该断层图像的眼底图像1425和眼底照片1426。
就此实施例来说，诊断支持装置900基于医学图像的部位的信息，获取对应的所见候选和与所见候选的导出相关的图像处理参数。随后，诊断支持装置900根据获取的图像处理参数执行图像处理，判定对应所见并指定位置，基于判定为对应所见的所见搜索准则，并提供这些结果。因而，医生能够在医学图像上识别被判定为对应所见的所见及其位置，与准则关联的诊断名称，通过其他模态拍摄的图像，以及射线照相检查点。因而，由于医生能够看见作为当前对象的医学图像的状态和相似病例的诊断名称，因此能够减轻诊断的负担。
如在第二实施例中描述的，所见的位置可用于相似图像的搜索。
第一变形例
在第三实施例中，通过使用所见作为搜索关键字搜索具有匹配的所见的准则。然而，准则搜索的方法不限于此。例如，可通过从多个所见中只选择某个所见来执行准则搜索。当执行准则搜索时，如果在医生所见显示743被开启而CAD所见显示744被关闭时执行准则搜索，那么可以通过只使用由医生确认的所见搜索准则。另外，如果在医生所见显示743被关闭而CAD所见显示744被开启时执行准则搜索，那么可以通过只使用CAD所见搜索准则。此外，如果通过从显示在断层图像中的所见711中只选择某个所见来执行准则搜索，那么可以通过只使用选择的某个所见来执行准则搜索。这种变形例可适用于任何其它实施例，而不限于第三实施例。
第四实施例
在第一到第三实施例中，通过使用单个拍摄的断层图像提供诸如CAD所见之类的支持信息。在使用光学相干断层扫描仪的检查中，在单次检查中，可在多个方向拍摄和获取断层图像。例如，如图15A中所示，可能有时获取两个断层图像，一个是通过视盘和中心凹的断层图像，另一个是通过中心凹并与通过视盘和中心凹的断层图像正交的断层图像。另外，如图15B中所示，可能通过对于眼底执行光栅搜索(3D扫描)来执行3维成像。
根据此实施例的诊断支持装置获取沿多个方向或者在多个位置拍摄的多个医学图像，并通过使用获取的医学图像的图像处理结果在医学图像上提供支持信息，从而支持与医学图像相关的诊断。
根据此实施例的诊断支持装置900的功能结构和根据第二实施例的图9中的功能结构类似。诊断支持装置900具有与根据第一实施例的图2A和图2B中的硬件结构类似的硬件结构。即，CPU 1001执行存储在主存储器1002和磁盘1003中的程序，从而实现根据此实施例的诊断支持装置900的功能(软件)和流程图中的处理。另外，描述诊断支持装置900执行的处理的例子的流程图类似于图3A、图3B、图10和图13中任意一个。在此实施例中，描述图10中的对于相似病例的搜索。对于由根据此实施例的诊断支持装置900执行的处理，下面参考图10中的流程图，只描述与第一到第三实施例不同的部分。在此实施例中，描述如图15A中所示的获取两个断层图像的例子，和如图15B中所示的获取3维断层图像的例子。即，这里描述的是其中医学图像获取单元102获取在被检眼睛的不同位置的多个断层图像的例子。
首先描述图15A中的交叉扫描。在下面的描述中，通过视盘和中心凹的断层图像被称为H扫描图像，而通过中心凹并且与H扫描图像正交的断层图像被称为V扫描图像。
在步骤S3000，医学图像获取单元102获取从光学相干断层扫描仪200传送的通过在多个方向用光进行扫描而拍摄的多个医学图像，与拍摄的医学图像的种类相关的信息，及与医学图像的部位相关的信息。即，医学图像获取单元102获取通过对被检眼睛沿不同方向用测量光进行扫描而得到的多个断层图像。在此实施例中，不同方向是正交方向。
可通过各自用于多个医学图像的单项信息或者可通过对应于各个医学图像的多项信息，获取与拍摄的医学图像的种类相关的信息和与医学图像的部位相关的信息。在下面的描述中，对于多个医学图像，获取与医学图像的种类相关的单项信息和与医学图像的部位相关的单项信息。
步骤S3010中的处理类似于第一实施例中的处理，从而省略描述。
除了对于多个医学图像中的每一个都执行处理之外，从步骤S3020到步骤S3050的处理类似于第一实施例的那些处理，从而省略描述。
在步骤S10060，搜索单元914通过使用在步骤S3040中被判定为对应所见的所见候选作为搜索关键字，从数据库300中获取相似图像。在此实施例中，通过使用多个医学图像之中的一个医学图像(即，沿某个方向拍摄的医学图像)中被判定为对应所见的所见候选，从数据库300中获取相似图像。在此实施例中，通过使用从H扫描图像得到的所见，获取相似图像。在此实施例中，注意，待搜索的图像只是在与拍摄作为搜索源的医学图像的方向相同的方向拍摄的医学图像。即，对应于相似图像获取单元的例子的搜索单元914从存储单元获取通过在如下方向上用测量光进行扫描而得到的断层图像，该方向与当得到具有由检测单元检测的异常部位的断层图像时的测量光的扫描方向相同。
另外，类似于第二实施例，只获取具有完全匹配的搜索关键字的图像作为相似图像。如果存在对应于相似图像的并且沿与相似图像不同的方向拍摄的医学图像，那么作为单个相似图像总的获取这些医学图像。
在步骤S10070，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。具体地，在类似于第二实施例的控制下，显示多个医学图像中的至少一个。另外，类似于第二实施例，显示控制单元116使相似图像和与之关联的诊断名称的信息按相似度的降序被显示。
另外，在此实施例中，类似于第二实施例，在列表中管理相似图像和与之关联的诊断名称的信息，显示列表的信息，并以与在步骤S3000中获取的多个医学图像可比较的方式显示列表中的病例中的一个。即，如果存在沿不同方向拍摄的多个医学图像，那么以可比较的方式显示医学图像中的至少一个。此时待显示的图像是沿与在步骤S3000中获取的多个医学图像相同的方向拍摄的图像。可替代地，可以显示沿不同方向拍摄的图像。
在此实施例中，显示在步骤S3000中获取的多个医学图像中的一个和以可比较的方式显示的、作为被判定为病例的相似图像的多个医学图像中的一个。待显示的图像由诊断支持装置900确定，或者由通过用户输入的选择确定。可以通过使用诸如按钮之类的用户界面来实现通过用户输入的选择。
图16图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700包括对象病例的断层图像710和与对象病例的断层图像对应的眼底图像715。
指示断层图像的拍摄方向的箭头717被重叠在眼底图像715上。水平箭头717对应于H扫描图像，垂直箭头1619对应于V扫描图像。另外，显示内容700包括相似病例列表1160。此外，类似于对象病例，显示内容700包括在相似病例列表中确定的单个病例的断层图像1120及其诊断名称1122，以及对应于该断层图像的眼底图像1125、水平箭头1127和垂直箭头1639。所见在断层图像710和1120上的重叠以及用户从相似病例列表中的选择与第二实施例类似，从而省略描述。
在断层图像1120的初始状态(即，通过用户输入进行选择之前的状态)下，显示控制单元116使显示单元118显示拍摄包括在步骤S10060中用于搜索的所见的断层图像710的方向上的断层图像。即，如果断层图像710是H扫描图像，那么断层图像1120也是H扫描图像。在此实施例中，如上所述，凭借通过用户输入的选择，可以显示多个医学图像中的单个医学图像。具体地，例如通过点击鼠标或轻击，选择重叠在眼底图像715和1125上的水平箭头717和1127以及垂直箭头1619和1639。如果选择垂直箭头1619和1639，那么显示控制单元116使显示单元118显示在与被点击的箭头对应的方向拍摄的医学图像(V扫描图像)作为断层图像710和1120。这种情况下，期望以可区别于其它箭头的方式显示当前选择的箭头。在图16的例子中，用实线指示的箭头是选择的箭头，用点划线指示的箭头是未被选择的箭头。可替代地，通过选择垂直箭头1619和1639之一，两个断层图像710和1120可被以关联方式变更成V扫描图像。
在各个断层图像上，可以只显示V扫描图像的所见和H扫描图像的所见之中的共有所见。即，基于从多个断层图像获取的多个异常部位，显示控制单元116可使显示单元显示为多个断层图像所共有的异常部位的所见。
下面描述图15B中所示的3维扫描的情况。对于由根据此实施例的诊断支持装置900执行的处理，下面参考图10中的流程图，只描述与第二实施例不同的部分。在3维扫描中，在假定通过图像处理单元108或定位单元(未示出)在多个断层图像之中已执行定位处理的情况下，描述以下处理。
步骤S3010中的处理类似于第一实施例中的处理，从而省略描述。
在步骤S3020，对于多个医学图像中的每一个，执行类似于其它实施例的处理。不过，存储在第二表格信息中的图像处理参数可包括作为空间参数的Y方向的参数。例如，如果由于在黄斑部生成黄斑孔，因此在黄斑的中心执行图像拍摄，那么黄斑存在于X轴和Y轴两者的中心附近。因而，区域可被限定为X：40％～60％和Y：40％～60％的成像范围。只对包含在该范围中的断层图像应用图像处理参数。
在步骤S3030，对使用光栅扫描获取的多个断层图像执行结构分析，从而检测被检眼睛的异常部位。即，对多个断层图像中的每个断层图像，应用在其它实施例中描述的图像处理。
在步骤S3030，可以执行三维图像处理。不对多个断层图像中的每个断层图像使亮度规格化。对于多个断层图像全体调整直方图。另外，可以3维地定义用于图像处理的各个滤波器。
在步骤S3040，还3维地判定所见。例如，可对于多个断层图像中的每个断层图像进行判定自身，并且可对相邻断层图像中的相邻所见候选的区域再次进行判定。可替代地，对于在步骤S3030中检测的候选疾病，通过使用3维连接的区域的尺寸比等，可以确定所见候选。
在步骤S3050，位置获取单元112基于在步骤S3030中执行的图像处理的结果和在步骤S3040中被判定为对应所见的所见候选，获取指示医学图像中的所见的位置的信息。指示该位置的信息可以是任意种类的信息，只要能够指定位置即可。在此实施例中，将指示位置的信息获取为指示邻接被判定为对应于所见的图像处理区域的长方体或立方体的位置的信息。
在步骤S10060，通过使用在步骤S3040中被判定为对应所见的所见候选作为搜索关键字，搜索单元914从数据库300获取相似图像。在此实施例中，通过使用多个医学图像中被判定为对应所见的所见候选，搜索单元914从数据库300获取相似图像。另外，类似于第二实施例，只获取具有完全匹配的搜索关键字的图像或者具有高相似度的图像作为相似图像。在具有相似所见特征或相似图像特征的相似图像中，如果存在沿不同方向拍摄的多个图像或者沿相同方向拍摄的多个图像，那么搜索单元914总的获取这些图像作为单个相似图像。
在步骤S10070，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。具体地，在类似于第二实施例的控制下，显示多个医学图像中的至少一个。另外，类似于第二实施例，显示控制单元116使相似图像和与之关联的诊断名称的信息按相似度的降序被显示。
另外，在此实施例中，类似于第二实施例，在列表中管理相似图像和与之关联的诊断名称的信息，显示列表的信息，并以与在步骤S3000中获取的多个医学图像可比较的方式显示列表中的病例中的一个。在此实施例中，显示在步骤S3000中获取的多个医学图像中的一个和以可比较的方式显示的作为被判定为一个病例的相似图像的多个医学图像中的一个。待显示的图像由诊断支持装置900确定，或者由用户输入的选择确定。可以通过使用诸如按钮之类的用户界面来实现通过用户输入的选择。
图17图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700包括对象病例的断层图像710和与对象病例的断层图像对应的眼底图像715。眼底图像715是通过沿深度方向积分由医学图像获取单元102获取的多个断层图像而生成的积分图像。医学图像获取单元102可生成积分图像。由于眼底图像715是基于断层图像生成的图像，因此可以使断层图像上的所见的位置与眼底图像715上的位置关联。另外，眼底图像715可以是使用SLO或眼底照相机拍摄的图像。这种情况下，医学图像获取单元102从SLO或眼底照相机(未示出)获取眼底图像。即，医学图像获取单元102获取被检眼睛的眼底图像。通过定位由SLO或眼底照相机得到的眼底图像和基于断层图像生成的积分图像，可以使断层图像上的所见与由SLO或眼底照相机得到的眼底图像715关联。如上所述，由于可以使断层图像上的所见与眼底图像715关联，因此显示控制单元116可使所见被显示在眼底图像715上。即，显示控制单元可使显示单元进一步显示眼底图像，并且还将所见显示在眼底图像上。
指示断层图像710在眼底上的位置的箭头717、所见1711和标记1712被重叠在眼底图像715上。显示标记1712以指示对在步骤S3050中获取的所见位置的区域进行指示的长方体或立方体的重心位置。
在此实施例中，对于对应的所见，按照如下显示规则，确定在眼底图像715上重叠对应所见的位置。当然，显示规则不限于下述例子。(1)不在被判定为对应所见的其他所见的文字信息上设置重叠。(2)对于指示被判定为对应所见的所见的位置的信息，在指示所见的位置的信息附近的位置添加标记(例如，箭头)。(3)如果存在多个相同的所见，那么在空间接近区域中的代表性位置显示所见。(4)如果存在数目大于N的相同所见，那么显示的所见的数目为N或更小。
对于规则(3)，例如，在接近的区域中存在多个硬性渗出物。在这种情况下，总的显示空间上接近的硬性渗出物。具体地，如果在XY平面中，在直径1mm的圆中存在5个硬性渗出物，那么在眼底图像上只显示一个所见而不是5个所见。即，如果与由检测单元从不同的断层图像检测的异常部位对应的所见是相同的所见，并且从不同的断层图像检测的异常部位之间的距离小于阈值，那么显示控制单元116使相同的所见作为一个所见被显示在眼底图像上。如果硬性渗出物之间的距离等于或小于阈值，那么所见可被成组，或者如果检测出具有硬性渗出物的多个断层图像之间的距离等于或小于阈值，那么所见可被成组。
关于上述规则(4)，即使虽然按照上述规则(3)成组空间上接近的所见，但所见出现在宽的范围中，那么按比数目N大的数目显示所见。在这种情况下，待显示的相同所见的数目被调整为数目N或更小。例如，N为3。如果待显示的所见的数目大于3，那么可以留下空间上接近于黄斑中心凹的所见，或者可以选择接近于黄斑中心凹的一个所见并且留下空间上分离的其它两个所见。例如，选择在中心的一个所见，从上侧和下侧各一个地选择两个剩余的2个所见。与其它所见相比，接近于中心凹的所见对看见功能影响更大，从而该所见是医生等所需的信息。
如上所述在第一实施例中，通过信息显示740的用户界面，可以开启/关闭重叠在眼底图像上的所见1711和标记1712。另外，医生的所见和CAD的所见的显示也可被开启/关闭。可根据点击的次数，开启/关闭这些所见的显示。例如，随着点击次数的增大，显示可从“两者都开启”变更成“断层图像上的所见开启，眼底图像上的所见关闭”，“断层图像上的所见关闭，眼底图像上的所见开启”，随后变更成“两者都关闭”。可替代地，可以通过用户界面(未示出)指定待开启/关闭的所见的种类。从计算机输出的CAD所见可被确认(认可)，或者CAD所见可被修正。可通过使用重叠在断层图像710上的所见711和重叠在眼底图像715上的所见1711中的任意一个执行该处理。如果用所见711和1711中任意一个进行确认(或修正)，那么对应的所见也被确认(修正)。即，当在CAD所见和医生所见之间所见的文字的颜色被变更时，认为如果所见1711的“盖”被确认，那么所见711的“盖”也被确认。显示控制单元116变更这两个所见的文字。在3维拍摄的数据的情况下，由于病变3维地扩展，因此相同的所见显示在多个断层图像中。例如，“盖”显示在邻近的5个断层图像中。这种情况下，如果用眼底图像进行确认，或者用断层图像中任意一个进行确认，那么显示控制单元116类似地使显示单元118在其它断层图像中用指示确认的所见的颜色显示该所见。
通过操作滑动条(未示出)或箭头717，可以变更多个断层图像的切片位置。可替代地，通过选择所见1711，可以变更断层图像的位置。即，通过轻击或点击眼底图像上的所见1711，显示包括所见1711的断层图像。这种情况下，显示控制单元116使显示单元118显示与邻近被判定为对应于所选所见1711的图像处理区域的长方体或立方体的重心的中心的位置对应的断层图像。因而，可以基于眼底图像和所见，快速显示待关注的断层图像。
另外，显示内容700包括相似病例列表1160。此外，类似于对象病例，显示内容700包括在相似病例列表中确定的单个病例的断层图像1120及其诊断名称1122，以及对应于该断层图像的眼底图像1125，指示断层图像1120的位置的箭头1127，和所见1721。断层图像710和1120上的所见的重叠以及用户对相似病例列表的选择类似于第二实施例，从而省略描述。
在此实施例中，如上所述，凭借通过用户输入的选择，可以显示多个医学图像中的单个医学图像。
就此实施例来说，如果医学图像包括多个图像，那么使用简单的操作，不仅能够识别沿与搜索对象相同的方向拍摄的图像，而且能够识别沿其他方向拍摄的图像。即，能够识别散布在宽范围中的所见，从而能够减轻诊断的负担。
第一变形例
在根据第四实施例的步骤S10060中，通过使用在多个医学图像中的一个中被判定为对应所见的所见候选作为搜索关键字，搜索单元914只从数据库300中沿相同方向拍摄的医学图像中获取相似图像。然而，要使用的所见可能不只是在单个医学图像中被判定为对应所见的所见。例如，可在多个医学图像之中的至少两个图像的每一个中或者在所有医学图像的每一个中创建搜索关键字，并且可在所有方向获取相似图像。例如，考虑其中作为搜索源的多个医学图像包括H扫描图像和V扫描图像的情况。这种情况下，搜索单元914从存在于数据库300中的图像之中，获取具有与作为搜索源的H扫描图像相似的H扫描图像和与作为搜索源的V扫描图像相似的V扫描图像的医学图像，作为相似图像。
另外，在第四实施例中，从数据库300只获取沿与拍摄作为搜索源的医学图像的方向相同的方向拍摄的医学图像。不过，沿其他方向拍摄的医学图像可以是待从数据库300获取的对象。例如，如果作为搜索源的图像是H扫描图像，那么可获取存在于数据库300中的V扫描图像，作为相似图像。此外，搜索单元914可以并不仅仅使用在单个医学图像中被判定为对应所见的所见。在AND的OR的消除之后，多个医学图像中的两个或更多图像中或者在所有医学图像中被判定为对应所见的所见可用作搜索关键字。
第五实施例
在第四实施例中，获取沿多个方向拍摄的多个医学图像，并且通过使用获取的医学图像的图像处理结果在医学图像上提供诸如CAD所见之类的支持信息。在此实施例中，使用获取的医学图像的图像处理结果，通过在医学图像上提供支持信息并估计和提供疾病名称(诊断名称)，执行与医学图像相关的诊断支持。下面参考图18，描述根据第五实施例的诊断支持装置1800的功能结构的例子。除了图9中所示的功能结构之外，诊断支持装置1800还包括估计单元1811。通过CPU 1001执行程序而实现的估计单元1811通过使用从断层图像检测的异常部位来估计疾病名称。图19示出描述由诊断支持装置1800执行的处理的例子的流程图。该流程图基本上类似于第一实施例；不过，部分处理不同于第一实施例。具体地，估计疾病名称候选的步骤S19060和显示信息的步骤S19070不同于第一实施例。对于由根据此实施例的诊断支持装置1800执行的整个处理的例子，下面参考图19中的流程图及图20A-图20D和图21中的显示内容的例子，只描述与第一到第四实施例不同的部分。在此实施例中，描述如图15A中所示的交叉扫描。此实施例可应用于任意其它扫描模式。
从步骤S3000到S3050的处理与第四实施例类似，从而省略描述。
在步骤S19060，估计单元1811基于获取的所见，估计疾病名称候选。即，估计单元1811对应于配置成基于所见估计疾病名称的估计单元的例子。估计单元1811通过使用图像的所见候选的位置，对于在步骤S3050中获取的H扫描图像和V扫描图像，估计疾病名称候选。即，估计单元1811基于眼底图像上的所见和位置，估计疾病名称候选。参考图20A-图20D，描述眼底图像上的所见的位置的指定。图20A-图20D示出各自分割眼底图像的区域的多个例子。图20A和图20B各自是其中取决于离黄斑中心凹的距离，相对于黄斑中心凹，朝着耳侧、上侧、鼻侧和下侧将眼底图像的区域分成多个扇形的例子。例如，扇形具有1mm、3mm或10mm的直径。数值不限于上述值。图20A是以黄斑中心凹为基准分割圆形区域的例子。图20B是分割在从中心凹起直径3mm的区域之外的整个区域的例子。
另外，图20C和图20D各自是其中整个眼底图像被分割成网格的例子。图20C是在眼底图像的成像范围中用水平线和垂直线分割眼底图像的区域的例子。图20D是相对于连接视盘部和黄斑中心凹的线用水平线和垂直线分割眼底图像的区域的例子。如这里所述，相对于黄斑部和视盘部中的至少一个，眼底图像被分成期望的区域。
下面描述其中如图20A中所示分割眼底图像的区域的情况。例如，如果在V扫描图像的上侧或下侧检测到视网膜肥大部，在V扫描图像的中心检测到中心凹胞囊状孔，并且如果在H扫描图像中检测到中心凹胞囊状孔，那么估计单元1811将疾病名称候选估计(检测)为视网膜分支静脉阻塞。以这种方式，估计单元1811基于V扫描图像中的所见和H扫描图像中的所见来估计疾病名称。即，估计单元1811基于从多个断层图像中的每个断层图像获取的异常部位的所见来估计疾病名称。
估计单元1811可以使用诸如随机森林(Random forest)之类的决策树方法，或者诸如支持向量机(SVM)之类的标识符来估计疾病名称候选。可替代地，估计单元1811可通过使用所见或图像特征执行相似病例搜索，对于所见在眼底图像中出现的空间特征执行搜索，并提供与搜索结果关联的疾病名称。在交叉扫描的情况下，空间特征表示对于在中心、上侧和下侧区域中的特征向量和在中心、鼻侧和耳侧区域中的特征向量计算的相似度。
在步骤S19070，显示控制单元116控制待显示在显示单元118上的内容。随后，显示单元118显示由显示控制单元116控制的显示内容。具体地，在类似于第二实施例的控制下，显示多个医学图像中的至少一个医学图像。图21图示出由显示单元118显示的显示内容的例子。由显示单元118显示的显示内容700包括对象病例的断层图像2110、所见2111、标记2112和与作为对象病例的断层图像对应的眼底图像2115。指示显示的断层图像2110(H扫描图像)的位置的箭头2117被重叠在眼底图像2115上。类似地，对于V扫描图像，显示内容700包括断层图像2120、所见2121、标记2122和与作为对象病例的断层图像对应的眼底图像2115。指示显示的断层图像2120(V扫描图像)的位置的箭头2119被重叠在眼底图像2115上。如图21中所示，在眼底图像2115的底部的宽范围中，见到出血区域2116。另外，显示内容700包括疾病名称候选模式2134和疾病名称候选列表2160。通过轻击或点击疾病名称候选模式2134，选择候选诊断名称模式。因而，执行显示候选诊断名称的上述处理。
在此实施例中，显示H扫描图像和V扫描图像。然而，并不局限于此。例如，在屏幕的上部(例如，在断层图像2110的位置)，可以显示多个断层图像，并且可使用用户界面(未示出)切换并显示断层图像。即，可以显示H扫描图像2110和V扫描图像2120中的一个，并且可用用户界面切换待显示的图像。另外，如在第三实施例中所述，在屏幕的下部，可以显示与候选诊断名称列表对应的诊断的准则。通过切换显示在候选诊断名称列表中的诊断名称的选择，诊断的准则被切换。
就此实施例来说，所见被显示并且诊断名称候选被显示。此外，能够参照相关诊断的准则。医生的诊断负担可被减轻。另外，就此实施例来说，由于基于两个正交的断层图像估计疾病名称，因此能够进一步正确地估计疾病名称。
其它实施例
上述全部功能或部分功能可被放置在网络上。这种情况下，可以采用服务器客户端结构，其中在本地侧只能操作显示功能或者部分的功能。另外，上述各个实施例可以是独立的实施例或者可以被组合。
本发明的实施例也可用系统或装置的计算机实现，该计算机读出并执行记录在存储介质(也可被更完全地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)，以实现一个或多个上述实施例的功能，和/或该计算机包括用于实现一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，本发明的实施例也可通过例如从存储介质读出并执行计算机可执行指令以实现一个或多个上述实施例的功能和/或控制一个或多个电路实现一个或多个上述实施例的功能的、由系统或装置的计算机执行的方法实现。计算机可包含一个或多个处理器(例如，中央处理器(CPU)、微处理器(MPU))，并且可包括分离的计算机或分离的处理器的网络以读出并执行计算机可执行指令。计算机可执行指令例如可从网络或存储介质被提供给计算机。存储介质例如可包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(比如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置、存储卡等之中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考示例实施例描述了本发明，不过应理解本发明不限于公开的示例实施例。以下权利要求的范围应被赋予最宽的解释，以便包含所有这样的修改及等同结构和功能。

Claims (19)

1.一种图像处理装置，包括：
获取单元，被配置成获取被检眼睛的断层图像；
检测单元，被配置成通过对由获取单元获取的断层图像执行结构分析来检测被检眼睛的异常部位；和
显示控制单元，被配置成使显示单元以重叠在断层图像上的方式将由检测单元检测的异常部位的所见作为句子或字词进行显示。
2.根据权利要求1所述的图像处理装置，其中，显示控制单元使所见被显示在断层图像上的与由检测单元检测的异常部位的位置对应的位置。
3.根据权利要求1或2所述的图像处理装置，其中，显示控制单元使所见被显示在包含在断层图像中的、除布置在内界膜和神经纤维层边界中的一个与视网膜色素上皮边界和感光细胞内节/外节边界中的一个之间的区域之外的区域中。
4.根据权利要求1所述的图像处理装置，还包括：
提取单元，被配置成从断层图像中提取层边界，
其中，检测单元将具有不同算法的结构分析应用于断层图像中的由提取单元提取的层边界所定义的第一区域和第二区域，并且从第一区域中检测第一异常部位，从第二区域中检测不同于第一异常部位的第二异常部位，并且
其中，显示控制单元使显示单元以重叠在断层图像上的方式将第一异常部位的所见和第二异常部位的所见作为句子或字词进行显示。
5.根据权利要求4所述的图像处理装置，
其中，提取单元提取内界膜和神经纤维层边界中的至少一个以及视网膜色素上皮边界和感光细胞内节/外节边界中的至少一个，并且
其中，检测单元将具有不同算法的结构分析应用于第一区域和第二区域，并且生成第一异常部位和第二异常部位，第一区域是布置在内界膜和神经纤维层边界中的一个与视网膜色素上皮边界和感光细胞内节/外节边界中的一个之间的区域，第二区域是相对于内界膜和神经纤维层边界中所述一个在玻璃体侧的区域。
6.根据权利要求1所述的图像处理装置，还包括：
接收单元，被配置成接收操作员对于显示在显示单元上的所见的修正，
其中，显示控制单元使显示单元以与修正前的显示形态不同的显示形态显示修正后的所见。
7.根据权利要求1所述的图像处理装置，还包括：
信息获取单元，被配置成基于由检测单元检测的异常部位的所见，从指示多种疾病的诊断过程的信息中获取指示至少一种疾病的诊断过程的信息，
其中，信息获取单元获取指示与由检测单元检测的异常部位的所见关联的疾病的诊断过程的信息，并且
其中，显示控制单元使显示单元显示指示由信息获取单元获取的疾病的诊断过程的信息。
8.根据权利要求1所述的图像处理装置，还包括：
存储单元，被配置成与对应所见关联地存储多个断层图像；和
相似图像获取单元，被配置成从存储单元获取与如下所见关联的断层图像，该所见与由检测单元检测的异常部位的所见匹配。
9.根据权利要求8所述的图像处理装置，其中，相似图像获取单元从存储单元获取如下断层图像，该断层图像是通过沿与当得到具有由检测单元检测的异常部位的断层图像时的测量光的扫描方向相同的方向用测量光进行扫描而得到的断层图像。
10.根据权利要求8所述的图像处理装置，
其中，存储单元与对应所见和所见在断层图像中的位置关联地存储多个断层图像，并且
其中，相似图像获取单元从存储单元获取与如下所见和所见的位置关联的断层图像，该所见和所见的位置与由检测单元检测的异常部位的所见和所见的位置匹配。
11.根据权利要求1所述的图像处理装置，
其中，获取单元获取被检眼睛的眼底图像，并且
其中，显示控制单元使显示单元还显示眼底图像并在眼底图像上显示所见。
12.根据权利要求11所述的图像处理装置，
其中，获取单元获取在被检眼睛中的不同位置的多个断层图像，并且
其中，检测单元通过对所述多个断层图像执行结构分析来检测被检眼睛的异常部位。
13.根据权利要求12所述的图像处理装置，其中，如果与由检测单元从不同断层图像中检测的异常部位对应的所见是相同的所见，并且从不同断层图像中检测的异常部位之间的距离小于阈值，那么显示控制单元使所述相同的所见作为单个所见被显示在眼底图像上。
14.根据权利要求1所述的图像处理装置，
其中，获取单元获取通过沿不同方向用测量光对被检眼睛进行扫描而得到的多个断层图像，
其中，检测单元通过对所述多个断层图像执行结构分析来检测被检眼睛的多个异常部位，并且
其中，基于从所述多个断层图像得到的多个异常部位，显示控制单元使显示单元显示所述多个断层图像所共有的异常部位的所见。
15.根据权利要求1所述的图像处理装置，还包括：
估计单元，被配置成基于所见来估计疾病名称，
其中，获取单元获取通过沿不同方向用测量光对被检眼睛进行扫描而得到的多个断层图像，
其中，检测单元通过对所述多个断层图像执行结构分析来检测被检眼睛的多个异常部位，并且
其中，估计单元基于从所述多个断层图像获取的异常部位的所见来估计疾病名称。
16.根据权利要求14所述的图像处理装置，其中，所述不同方向是正交方向。
17.根据权利要求1所述的图像处理装置，
其中，显示单元包括触摸面板，
其中，图像处理装置还包括选择单元，该选择单元被配置成如果显示在显示单元上的多项患者信息之中的一项患者信息被轻击，那么临时选择所述一项患者信息，并且如果在所述轻击之后进行了挥击，那么选择所述一项患者信息，并且
其中，获取单元获取与由选择单元选择的患者信息对应的断层图像。
18.根据权利要求8或9所述的图像处理装置，
其中，存储单元与所见、基于断层图像中的预定层的厚度的信息和基于包含在断层图像中的视网膜的亮度的信息关联地存储所述多个断层图像中的每一个，并且
其中，相似图像获取单元获取与如下异常部位的所见、基于所述层的厚度的信息和基于所述亮度的信息关联的断层图像，该异常部位的所见、基于所述层的厚度的信息和基于所述亮度的信息与由检测单元检测的异常部位的所见、基于所述层的厚度的信息和基于所述亮度的信息对应。
19.一种图像处理方法，包括：
获取被检眼睛的断层图像；
通过对所获取的断层图像执行结构分析来检测被检眼睛的异常部位；和
使显示单元以重叠在断层图像上的方式将所检测的异常部位的所见作为句子或字词进行显示。
CN201610307354.XA 2015-05-14 2016-05-10 图像处理装置和图像处理方法 Expired - Fee Related CN106157297B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-099470 2015-05-14
JP2015099470A JP6594033B2 (ja) 2015-05-14 2015-05-14 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106157297A true CN106157297A (zh) 2016-11-23
CN106157297B CN106157297B (zh) 2019-11-15

Family

ID=57275834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610307354.XA Expired - Fee Related CN106157297B (zh) 2015-05-14 2016-05-10 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (2) US9826896B2 (zh)
JP (1) JP6594033B2 (zh)
KR (1) KR102027276B1 (zh)
CN (1) CN106157297B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833631A (zh) * 2017-11-20 2018-03-23 新乡医学院 一种医学影像计算机辅助分析方法
CN108984587A (zh) * 2017-05-31 2018-12-11 佳能株式会社 信息处理装置、信息处理方法、信息处理系统和存储介质
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置
CN114450753A (zh) * 2019-07-31 2022-05-06 株式会社尼康 信息处理系统、信息处理装置、信息处理程序及信息处理方法
CN114782337A (zh) * 2022-04-08 2022-07-22 平安国际智慧城市科技股份有限公司 基于人工智能的oct图像推荐方法、装置、设备及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP3216431B1 (en) * 2015-10-15 2022-06-29 Sony Group Corporation Image processing device and surgical microscope
US9652846B1 (en) * 2015-10-22 2017-05-16 International Business Machines Corporation Viewpoint recognition in computer tomography images
JP6852371B2 (ja) * 2015-12-02 2021-03-31 株式会社ニデック 眼科情報処理装置、および眼科情報処理プログラムに関する。
JP6551316B2 (ja) * 2016-06-10 2019-07-31 京セラドキュメントソリューションズ株式会社 画像読取装置および画像形成装置
US9943225B1 (en) * 2016-09-23 2018-04-17 International Business Machines Corporation Early prediction of age related macular degeneration by image reconstruction
EP3599987A4 (en) 2017-03-23 2020-12-16 Doheny Eye Institute SYSTEMS, METHODS AND DEVICES FOR AVERAGE MULTI-FACE ANGIOGRAPHS BY OPTICAL COHERENCE TOMGRAPHY
JP7230800B2 (ja) * 2017-03-31 2023-03-01 株式会社ニデック 眼科情報処理システム
CN110913749B (zh) * 2017-07-03 2022-06-24 富士胶片株式会社 医疗图像处理装置、内窥镜装置、诊断支持装置、医疗业务支持装置及报告书制作支持装置
JP6796725B2 (ja) * 2017-09-26 2020-12-09 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP7185255B2 (ja) * 2018-05-16 2022-12-07 株式会社トーメーコーポレーション 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム
JP7099925B2 (ja) * 2018-09-27 2022-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR102195850B1 (ko) * 2018-11-27 2020-12-28 울산대학교 산학협력단 딥러닝 기반 혈관 구분 방법 및 시스템
KR102333670B1 (ko) * 2018-12-06 2021-12-02 주식회사 메디웨일 안구 이미지 기반의 진단 보조 이미지 제공 장치
KR20210101271A (ko) * 2018-12-11 2021-08-18 타스밋 가부시키가이샤 화상 매칭 방법, 및 화상 매칭 처리를 실행하기 위한 연산 시스템
US11134836B2 (en) 2019-01-16 2021-10-05 Topcon Corporation Ophthalmologic information processing apparatus, ophthalmologic apparatus and ophthalmologic information processing method
US11439301B2 (en) 2019-01-16 2022-09-13 Topcon Corporation Ophthalmologic information processing apparatus, ophthalmologic apparatus and ophthalmologic information processing method
US11141060B2 (en) 2019-01-16 2021-10-12 Topcon Corporation Ophthalmologic apparatus and method of controlling the same
JP7143504B2 (ja) 2019-02-26 2022-09-28 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
EP3936026B1 (en) 2019-03-08 2023-10-04 FUJIFILM Corporation Medical image processing device, processor device, endoscopic system, medical image processing method, and program
US11068052B2 (en) * 2019-03-15 2021-07-20 Microsoft Technology Licensing, Llc Holographic image generated based on eye position
ES2988511T3 (es) 2019-04-04 2024-11-20 Optos Plc Predicción de una condición patológica a partir de una imagen médica
KR102108401B1 (ko) * 2019-06-27 2020-05-28 주식회사 딥노이드 인공지능 판독서버, 이를 포함하는 pacs 기반 영상 처리 시스템 및 방법
JP7335107B2 (ja) * 2019-07-23 2023-08-29 株式会社トプコン 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
JP7423237B2 (ja) * 2019-09-30 2024-01-29 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
CN112115888B (zh) * 2020-09-22 2022-06-03 四川大学 一种基于病斑相关性的植物病害诊断系统
WO2022181729A1 (ja) * 2021-02-25 2022-09-01 株式会社ニコン 画像処理方法、画像処理装置、及び画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288175A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image processing apparatus and method
CN103211574A (zh) * 2012-01-20 2013-07-24 佳能株式会社 图像处理设备和图像处理方法
CN103222848A (zh) * 2012-01-25 2013-07-31 佳能株式会社 图像处理设备和图像处理方法
CN103767679A (zh) * 2012-10-25 2014-05-07 佳能株式会社 图像处理装置及图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332104B2 (ja) * 1993-07-19 2002-10-07 株式会社東芝 読影レポート作成支援装置
JP2002306415A (ja) * 2001-04-13 2002-10-22 Japan Science & Technology Corp 眼科診断支援システム
JP4638131B2 (ja) * 2003-03-19 2011-02-23 株式会社リコー 画像処理装置管理システムおよび画像処理装置の管理方法
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
JP5486215B2 (ja) * 2009-05-20 2014-05-07 株式会社トプコン 前眼部観察装置
JP5704879B2 (ja) * 2009-09-30 2015-04-22 株式会社ニデック 眼底観察装置
US9797002B2 (en) * 2010-06-25 2017-10-24 University Of Southern California Methods and kits for genome-wide methylation of GpC sites and genome-wide determination of chromatin structure
JP5701024B2 (ja) * 2010-11-26 2015-04-15 キヤノン株式会社 画像処理装置及び方法
JP5618787B2 (ja) * 2010-11-29 2014-11-05 キヤノン株式会社 レポート作成支援装置及びその作成支援方法、並びにプログラム
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
JP2014155694A (ja) * 2013-01-16 2014-08-28 Canon Inc 眼科装置及び眼科方法
JP6184231B2 (ja) * 2013-07-31 2017-08-23 キヤノン株式会社 画像処理装置および画像処理方法
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288175A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image processing apparatus and method
CN103211574A (zh) * 2012-01-20 2013-07-24 佳能株式会社 图像处理设备和图像处理方法
CN103222848A (zh) * 2012-01-25 2013-07-31 佳能株式会社 图像处理设备和图像处理方法
CN103767679A (zh) * 2012-10-25 2014-05-07 佳能株式会社 图像处理装置及图像处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984587A (zh) * 2017-05-31 2018-12-11 佳能株式会社 信息处理装置、信息处理方法、信息处理系统和存储介质
CN107833631A (zh) * 2017-11-20 2018-03-23 新乡医学院 一种医学影像计算机辅助分析方法
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置
CN114450753A (zh) * 2019-07-31 2022-05-06 株式会社尼康 信息处理系统、信息处理装置、信息处理程序及信息处理方法
CN114782337A (zh) * 2022-04-08 2022-07-22 平安国际智慧城市科技股份有限公司 基于人工智能的oct图像推荐方法、装置、设备及介质
CN114782337B (zh) * 2022-04-08 2024-09-13 深圳平安智慧医健科技有限公司 基于人工智能的oct图像推荐方法、装置、设备及介质

Also Published As

Publication number Publication date
US20160331224A1 (en) 2016-11-17
US10349826B2 (en) 2019-07-16
JP6594033B2 (ja) 2019-10-23
JP2016214312A (ja) 2016-12-22
US20180049635A1 (en) 2018-02-22
CN106157297B (zh) 2019-11-15
KR20160134585A (ko) 2016-11-23
US9826896B2 (en) 2017-11-28
KR102027276B1 (ko) 2019-10-01

Similar Documents

Publication Publication Date Title
CN106157297B (zh) 图像处理装置和图像处理方法
US9943224B2 (en) Image processing apparatus and image processing method
JP6907563B2 (ja) 画像処理装置、および画像処理プログラム
CN103717122B (zh) 眼科诊断支持设备和眼科诊断支持方法
CN102469935B (zh) 图像处理设备和图像处理方法
WO2018143180A1 (ja) 画像処理装置、および画像処理プログラム
GB2610712A (en) Medical image processing apparatus, optical coherence tomography apparatus, learned model, learning apparatus, medical image processing method and program
JP6878923B2 (ja) 画像処理装置、画像処理システム、および画像処理プログラム
US20110137157A1 (en) Image processing apparatus and image processing method
KR20120024847A (ko) 화상처리장치, 그 제어방법 및 기억매체
WO2019207800A1 (ja) 眼科画像処理装置および眼科画像処理プログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6825058B2 (ja) 画像処理装置、画像処理方法及びプログラム
Valmaggia et al. Feasibility of automated segmentation of pigmented choroidal lesions in OCT data with deep learning
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
JP6033478B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP5871890B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP2018020179A (ja) 眼科装置、層厚比較方法およびプログラム
Al-Kanany et al. General Awareness and Knowledge about Glaucoma Cataracts for Diabetic
JP2019202183A (ja) 眼科情報処理システムおよび眼科情報処理方法
JP2017012921A (ja) 眼科装置、層厚比較方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191115