DE102014105826A1

DE102014105826A1 - Läsionsevaluierungsinformationsgenerator sowie Verfahren und computerlesbares Medium hierfür

Info

Publication number: DE102014105826A1
Application number: DE102014105826.7A
Authority: DE
Inventors: c/o HOYA CORPORATION Ikemoto Yousuke; c/o Kyoto University Nakase Hiroshi; c/o Kyoto University Matsuura Minoru; c/o Kyoto University Yoshino Takuya; c/o Kyoto University Higuchi Hirokazu
Original assignee: Hoya Corp; Kyoto University NUC
Current assignee: Hoya Corp; Kyoto University NUC
Priority date: 2013-04-26
Filing date: 2014-04-25
Publication date: 2014-11-13
Also published as: CN104116485A; US20140320620A1; JP6097629B2; CN104116485B; JP2014213094A; US9468356B2

Abstract

Ein Läsionsevaluierungsinformationsgenerator umfasst ein Farbinformationsbestimmungsmittel, das einen Farbwert und einen Sättigungswert jedes Pixels eines endoskopischen Bildes auf Grundlage erfasster endoskopischer Farbbilddaten bestimmt, ein Korrelationswertbestimmungsmittel, das für zumindest einen Teil der Pixel des endoskopischen Bildes einen Korrelationswert zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten auf Grundlage eines Farbtonkorrelationswertes zwischen dem Farbtonwert jedes einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten sowie einen Sättigungskorrelationswert zwischen dem Sättigungswert jedes einzelnen Pixels und einem Referenzsättigungswert der Referenzfarbdaten bestimmt, und einen Evaluierungswertgenerator, der einen Evaluierungswert zum Evaluieren eines Schweregrads einer Läsion in dem endoskopischen Bild erzeugt, indem er den Korrelationswert für jedes einzelne Pixel integriert.

Description

Hintergrund der Erfindung
Die vorliegende Erfindung betrifft Techniken für eine Einrichtung, die ausgebildet ist, den Schweregrad einer Läsion eines Patienten zu evaluieren, insbesondere für einen Läsionsevaluierungsinformationsgenerator, der ausgebildet ist, eine Evaluierungsinformation zu erzeugen, die dazu dient, den Schweregrad der Läsion auf Grundlage der Farbinformation eines endoskopischen Farbbildes zu evaluieren.
Im Allgemeinen hat eine Läsion eine Farbe, die von der Farbe eines normalen Schleimhautgewebes verschieden ist. Mit Steigerung der Leistung einer Farbendoskopeinrichtung wird es möglich, eine Läsion zu identifizieren, die eine Farbe aufweist, die geringfügig verschieden von der Farbe normalen Gewebes ist. Um jedoch die Fähigkeit zu erlangen, die Läsion auf Grundlage eines solchen geringfügigen Farbunterschiedes in einem endoskopischen Bild von normalem Gewebe zu unterscheiden, muss ein Operateur der Farbendoskopeinrichtung von einem Fachmann über lange Zeit geschult werden. Außerdem ist es selbst für einen Fachmann nicht einfach, auf Grundlage eines solchen geringfügigen Farbunterschiedes die Läsion von dem normalen Gewebe zu unterscheiden, so dass es eines sorgfältigen Vorgehens bedarf. Mit Blick auf diese Probleme wurde eine elektronische Endoskopeinrichtung vorgeschlagen, die ausgebildet ist, einen Farbumwandlungsprozess zum Hervorheben von Farbunterschieden in mit Weißlicht aufgenommenen endoskopischen Bilddaten durchzuführen, um eine Identifizierung einer Läsion zu erleichtern (vgl. z. B. die vorläufige japanische Patentveröffentlichung 2009-106424 , die im Folgenden als '424-Veröffentlichung bezeichnet wird).
Kurzdarstellung der Erfindung
Ein Bild, das von der in der '424 -Veröffentlichung offenbarten elektronischen Endoskopeinrichtung erzeugt wird, macht es einfacher, eine Läsion von normalem Gewebe zu unterscheiden, als dies mit einem gewöhnlichen endoskopischen Bild möglich ist. Dennoch zeigt die Läsion eine subtile Farbänderung in Abhängigkeit des Schweregrads der Läsion. Obgleich es einem unerfahrenen Operateur somit möglich ist, unter Anwendung bekannter Techniken, wie etwa der in der '424-Veröffentlichung offenbarten Technik, die Läsion von normalem Gewebe zu unterscheiden, ist es deshalb für den unerfahrenen Operateur schwierig, präzise den Schweregrad der Läsion zu evaluieren. Selbst für einen Fachmann ist es überdies unmöglich, eine objektive und reproduzierbare Evaluierung (unabhängig vom Können des Operateurs) vorzunehmen. Der Grund hierfür liegt darin, dass es im Allgemeinen von den auf Erfahrung und Wissen einzelner Operateure basierenden Fähigkeiten, ein Bild zu lesen, abhängt, ob der Schweregrad der Läsion richtig evaluiert wird.
Die vorteilhaften Aspekte der vorliegenden Erfindung sind darin zu sehen, ob eine odere mehrere verbesserte Techniken für einen Läsionsevaluierungsinformationsgenerator zu präsentieren, die es ermöglichen, eine objektive und reproduzierbare Evaluierung der Schwere einer Läsion durchzuführen.
Erfindungsgemäß ist ein Läsionevaluierungsinformationsgenerator, umfassend ein Bilddatenerfassungsmittel, das ausgebildet ist, endoskopische Farbbilddaten, die ein eine Läsion zeigendes endoskopisches Bild darstellen, zu erfassen, ein Farbinformationsbestimmungsmittel, das ausgebildet ist, auf Grundlage der erfassten endoskopischen Farbbilddaten einen Farbtonwert und einen Sättigungswert jedes in dem endoskopischen Bild enthaltenen Pixels zu bestimmen, ein Korrelationswertbestimmungsmittel, das ausgebildet ist, zumindest für einen Teil der Pixel des endoskopischen Bildes einen Korrelationswert, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten repräsentiert, zu erfassen, und zwar auf Grundlage eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmten Farbtonwert jeden einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten repräsentiert, und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und einem Referenzsättigungswert der Referenzfarbbilddaten repräsentiert, und einen Evaluierungswertgenerator, der ausgebildet ist, einen Evaluierungswert zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild zu erzeugen, indem er aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte gewinnt.
Erfindungsgemäß ist ferner ein Verfahren vorgesehen, implementierbar durch einen Prozessor, der mit einem Bilddatenerfassungsmittel gekoppelt ist, das ausgebildet ist, endoskopische Farbbilddaten zu erfassen, die ein eine Läsion zeigendes endoskopisches Bild darstellen, wobei das Verfahren umfasst: Bestimmen eines Farbtonwertes und eines Sättigungswertes jedes in dem endoskopischen Bild enthaltenen Pixels auf Grundlage der erfassten endoskopischen Farbbilddaten, für zumindest einen Teil der Pixel des endoskopischen Bildes Bestimmen eines Korrelationswertes, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten darstellt, auf Grundlageeines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmen Farbtonwert jedes einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten darstellt, und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und eines Referenzsättigungswertes der Referenzfarbdaten darstellt, und Erzeugen eines Evaluierungswertes zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild, indem aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte abgeleitet wird.
Erfindungsgemäß ist ferner ein nicht-flüchtiges, computerlesbares Medium vorgesehen, das prozessorausführbare Befehle speichert, die bei Ausführung durch einen Prozessor, der mit einem Bilddatenerfassungsmittel zum Erfassen endoskopischer Farbbilddaten, die ein eine Läsion zeigendes endoskopisches Bild darstellen, gekoppelt ist, ausgebildet sind, den Prozessor zu veranlassen, einen Farbtonwert und einen Sättigungswert jedes in dem endoskopischen Bild enthaltenen Pixels auf Grundlage der erfassten endoskopischen Farbbilddaten zu bestimmen, für zumindest einen Teil der Pixel des endoskopischen Bildes einen Korrelationswert, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten darstellt, zu bestimmen, und zwar auf Grundlage eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmen Farbtonwert jedes einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten darstellt, und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und eines Referenzsättigungswertes der Referenzfarbdaten darstellt, und einen Evaluierungswert zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild zu erzeugen, indem aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte abgeleitet wird.
Kurzbeschreibung der beigefügten Zeichnungen
1 ist ein Blockdiagramm, das einen Aufbau einer elektronischen Endoskopeinrichtung in einem erfindungsgemäßen Ausführungsbeispiel zeigt.
2 ist ein Flussdiagramm, das den Ablauf eines Pozesses zur Erzeugung einer Läsionsevaluierungsinformation zeigt, der von einem Prozessor der elektronischen Endoskopeinrichtung in dem erfindungsgemäßen Ausführungsbeispiel durchzuführen ist.
3 ist ein Flussdiagramm, das eine Prozedur von S11 (Erfassung von Läsionspixeln) nach 2 als Unterroutine des Prozesses zur Erzeugung der Läsionsevaluierungsinformation in dem erfindungsgemäßen Ausführungsbeispiel zeigt.
4 ist ein Streudiagramm, das in dem erfindungsgemäßen Ausführungsbeispiel durch Auftragen von Pixeldaten von Biogewebebildern, die aus endoskopischen Bilddaten aus einer Vielzahl von Patienten mit einer entzündlichen Darmerkrankung (IBD) extrahiert sind, erhalten werden.
5 ist ein Flussdiagramm, das eine Prozedur von S13 (Bestimmung einer Bewertungsgröße für jedes Läsionspixel) nach 2 als Unterroutine des Prozesses zur Erzeugung der Läsionsevaluierungsinformation in dem erfindungsgemäßen Ausführungsbeispiel zeigt.
6A ist ein Streudiagramm mit den Blutprobendaten aus einer Vielzahl von IBD-Fällen in dem erfindungsgemäßen Ausführungsbeispiel, wobei Sättigungswerte nicht korrigiert worden sind.
6B ist ein Streudiagramm mit den Blutprobendaten aus der Vielzahl von IBD-Fällen in dem erfindungsgemäßen Ausführungsbeispiel, wobei Sättigungswerte korrigiert worden sind.
7A ist ein Streudiagramm (Verteilungsdiagramm) mit den Blutprobendaten und Pixeldaten von Läsionsbereichen und normalen Bereichen in einem endoskopischen Bild in dem erfindungsgemäßen Ausführungsbeispiel, wobei Sättigungswerte nicht korrigiert worden sind.
7B ist ein Streudiagramm (Verteilungsdiagramm) mit den Blutprobendaten und den Pixeldaten der Läsionsbereiche und der normalen Bereiche innerhalb des endoskopischen Bildes in dem erfindungsgemäßen Ausführungsbeispiel, wobei Sättigungswerte korrigiert worden sind.
8A ist ein Diagramm zur Veranschaulichung, wie ein Farbtonabstand und ein Sättigungsabstand für jedes Läsionspixel in den erfindungsgemäßen Ausführungsbeispielen definiert sind.
8B ist eine Farbtonkorrelationstabelle zur Definition einer Beziehung zwischen den Farbtonabständen und Korrelationswerten in dem erfindungsgemäßen Ausführungsbeispiel.
8C ist eine Sättigungskorrelationstabelle zur Definition einer Beziehung zwischen den Sättigungsabständen und Sättigungskorrelationswerten in dem erfindungsgemäßen Ausführungsbeispiel.
9 ist ein konzeptionelles Diagramm einer Anzeigefarbtabelle, in der Korrelationswerte vorbestimmten Anzeigefarben in dem erfindungsgemäßen Ausführungsbeispiel zugeordnet sind.
10 veranschaulicht beispielhaft ein in dem erfindungsgemäßen Ausführungsbeispiel auf einem Bildschirm eines Monitors angezeigtes Evaluierungsbild.
Detaillierte Beschreibung der Ausführungsbeispiele
Es wird darauf hingewiesen, dass in der folgenden Beschreibung verschiedenartige Verbindungen zwischen Elementen dargelegt werden. Diese Verbindungen können im Allgemeinen, sofern nichts anderes spezifiziert ist, direkt oder indirekt sein, und die folgende Beschreibung soll diesbezüglich nicht beschränkend sein. Aspekte der Erfindung können auf Schaltkreisen (etwa auf anwendungsspezifischen integrierten Schaltkreisen) oder in Computersoftware als Programme implementiert werden, die auf computerlesbaren Medien speicherbar sind, welche RAMs, ROMs, Flash-Speicher, EEPROMs, CD-Medien, DVD-Medien, temporäre Speicher, Festplattenlaufwerke, Diskettenlaufwerke, Permanentspeicher und dgl. einschließen, hierauf jedoch nicht beschränkt sind.
Im Folgenden wird ein erfindungsgemäßes Ausführungsbeispiel unter Bezugnahme auf die anliegenden Zeichnungen beschrieben.
1 ist ein Blockdiagramm, das einen Aufbau einer elektronischen Endoskopeinrichtung 1 in dem Ausführungsbeispiel zeigt. Wie in 1 gezeigt, umfasst die elektronische Endoskopeinrichtung 1 eine elektronische Beobachtungseinheit 100, einen Prozessor 200, einen Monitor 300 und einen Drucker 400.
Der Prozessor 200 enthält eine Systemsteuerung 202 und eine Zeitsteuerung 206. Die Systemsteuerung 202 ist ausgebildet, prozessorausführbare Programme, die in einem Speicher 204 gespeichert sind, auszuführen und die Gesamtsteuerung der elektronischen Endoskopeinrichtung 1 zu übernehmen. Die Systemsteuerung 202 ist ferner ausgebildet, verschiedenartige, auf die elektronische Endoskopeinrichtung 1 bezogene Einstellungen auf einen Befehl hin, den ein Benutzer (z. B. ein Operateur oder ein Assistent) über ein Bedienfeld 208 eingibt, zu aktualisieren. Die Zeitsteuerung 206 ist ausgebildet, Taktimpulse zur zeitlichen Steuerung von Prozessen/Operationen, die von einzelnen, in der elektronischen Endoskopeinrichtung 1 enthaltenen Elementen durchgeführt werden, an Schaltkreise zu senden, die in der elektronischen Endoskopeinrichtung 1 vorhanden sind.
Der Prozessor 200 enthält eine Lichtquelle, die ausgebildet ist, der elektronischen Beobachtungseinheit 100 Beleuchtungslicht zuzuführen. Die Lichtquelle 230 enthält eine Lampe 232, eine Lampenstromquelle 234, eine Sammellinse 236 und einen Lichteinsteller 240. Die Lampe 232 ist eine Lampe hoher Leuchtdichte, die ausgebildet ist, weißes Beleuchtungslicht auszusenden, wenn sie von der Lampenstromschaltung 234 mit elektrischer Antriebsenergie gespeist wird. Beispiele für die Lampe 232 beinhalten etwa (ohne hierauf beschränkt zu sein) eine Xenon-Lampe, eine Metallhalogenid-Lampe, eine Quecksilber-Lampe und eine Halogen-Lampe. Das von der Lampe 232 ausgesendete Beleuchtungslicht wird durch die Sammellinse 236 gebündelt und fällt dann über den Lichtmengeneinsteller 240 auf eine Eintrittsendfläche eines LCB (Lichtleiterbündel) 102 der elektronischen Beobachtungseinheit 100.
Der Lichtmengeneinsteller 240 ist ausgebildet, die auf die Eintrittsendfläche des LCB 102 fallende Beleuchtungslichtmenge unter der Kontrolle der Systemsteuerung 202 einzustellen. Der Lichtmengeneinsteller 240 umfasst eine Blende 242, einen Motor 243 und einen Treiber 244. Der Treiber 244 ist ausgebildet, einen Treiberstrom zum Antreiben des Motors 243 zu erzeugen und den Motor 243 mit dem Treiberstrom zu versorgen. Die Blende 242 ist ausgebildet, angetrieben von dem Motor 243 eine variable Öffnung zu ändern und die Menge des durch die Öffnung gesendeten Beleuchtungslichtes einzustellen.
Das über die Eintrittsendfläche in den LCB 102 eingeleitete Beleuchtungslicht wird durch den LCB 102 geleitet und aus einer Austrittsendfläche des LCB 102 ausgesendet, die an einem distalen Endabschnitt der elektronischen Beobachtungseinheit 100 angeordnet ist. Das Beleuchtungslicht fällt dann über eine Zerstreuungslinse 104 auf ein Objekt. An dem Objekt reflektiertes Licht wird durch eine Objektlinse 106 geleitet, um auf eine Lichtempfangsfläche eines Festkörperbildsensors 108 ein optisches Bild zu erzeugen.
Der Festkörperbildsensor 108 ist ein Einfarben-CCD-Bildsensor (ladungsgekoppeltes Bauelement), der verschiedene Filter enthält, z. B. ein IR-Sperrfilter (Infrarot) 108a und ein Bayer-Array-Farbfilter 108b, die auf der Lichtempfangsfläche des Sensors 108 angeordnet sind. Der Festkörperbildsensor 108 ist ausgebildet, Primärfarbsignale von R (rot), G (grün) und B (blau) entsprechend dem auf der Lichtempfangsfläche geformten optischen Bild zu erzeugen.
Die elektronische Beobachtungseinheit 100 enthält ferner eine Treibersignalverarbeitungsschaltung 112, die innerhalb eines Verbindungsteils der elektronischen Beobachtungseinheit 100 angeordnet ist. Die Treibersignalverarbeitungsschaltung 112 ist ausgebildet, an den von dem Festkörperbildsensor 108 empfangenen Primärfarbsignalen eine vorbestimmte Signalverarbeitung (z. B. eine Farbinterpolation, eine Matrixoperation und eine Y/C-Separation) vorzunehmen, um Bildsignale (z. B. ein Luminanzsignal Y und Farbdifferenzsignal Cb und Cr) zu erzeugen und die erzeugten Bildsignale an eine Bildverarbeitungseinheit 220 des Prozessors 100 zu senden. Die Treibersignalverarbeitungsschaltung 112 ist ausgebildet, auf einen Speicher 114 zuzugreifen, um eine Information auszulesen, die spezifisch für die elektronische Beobachtungseinheit 100 ist. Diese spezifische Information der elektronischen Beobachtungseinheit 100 beinhaltet beispielsweise die Pixelzahl, die Empfindlichkeit, eine verfügbare Framerate und eine Modellnummer des Festkörperbildsensors 108. Die Treiberverarbeitungsschaltung 112 ist ferner ausgebildet, die aus dem Speicher 114 ausgelesene spezifische Information an die Systemsteuerung 202 zu senden.
Die Systemsteuerung 202 ist ausgebildet, auf Grundlage der spezifischen Information der elektronischen Beobachtungseinheit 100 verschiedene arithmetische Operationen durchzuführen und Steuersignale zu erzeugen. Die Systemsteuerung 202 ist ausgebildet, unter Verwendung der erzeugten Steuersignale Operationen und die Zeiteinstellungen von Schaltkreisen in dem Prozessor 200 zu steuern, um Prozesse auszuführen, die für die gerade mit dem Prozessor 200 verbundene elektronische Beobachtungseinheit 100 geeignet sind.
Die Zeitsteuerung 206 ist ausgebildet, der Treibersignalverarbeitungsschaltung 112 und der Bildverarbeitungseinheit 220 entsprechend der von der Systemsteuerung 202 vorgenommenen zeitlichen Steuerungskontrolle Taktimpulse zuzuführen. Die Treibersignalverarbeitungsschaltung 112 ist ausgebildet, den Festkörperbildsensor 108 entsprechend den von der Zeitsteuerung 206 gelieferten Taktimpulsen mit einer zeitlichen Abstimmung anzutreiben und zu steuern, die mit einer Framerate für Bilder synchronisiert ist, die von dem Prozessor 200 zu verarbeiten sind.
Die Bildverarbeitungseinheit 220 ist ausgebildet, unter der Steuerung der Systemsteuerung 202 Videosignale zu erzeugen, um auf einem Bildschirm des Monitors 300 Bilder (z. B. endoskopische Bilder) auf Grundlage von Bildsignalen, die von der Treibersignalverarbeitungsschaltung 112 empfangen werden, anzuzeigen und die erzeugten Videosignale an den Monitor 300 zu senden. Dadurch ist es dem Operateur möglich, über das auf dem Bildschirm des Monitors 300 angezeigte Bild eine Diagnose des Gewebes (z. B. innerhalb eines Gastrointestinaltraktes) zu erstellen.
Der Prozessor 200 ist über eine NIC (Netzwerkkarte) 210 und ein Netzwerk 500 mit einem Server 600 verbunden. Der Prozessor 200 ist ausgebildet, von dem Server 600 Endoskopieinformationen (z. B. Informationen über eine elektronische Patientenakte und Informationen über den Operateur) herunterzuladen. Die heruntergeladenen Informationen können z. B. auf dem Bildschirm des Monitors 300 oder dem Bedienfeld 208 angezeigt werden. Ferner ist der Prozessor 200 ausgebildet, Endoskopieergebnisse (z. B. endoskopische Bilddaten, Endoskopiebedingungen, Bildanalyseergebnisse sowie klinische Erkenntnisse und Standpunkte des Operateurs) auf den Server 600 hochzuladen, um die Endoskopieergebnisse zu speichern.
[Prozess zur Erzeugung der Läsionsevaluierungsinformation]
2 ist ein Flussdiagramm, das den Ablauf eines von dem Prozessor 200 ausgeführen Prozesses zur Erzeugung einer Läsionsevaluierungsinformation zeigt.
Der weiter unten beschriebene Prozess zur Erzeugung der Läsionsevaluierungsinformation ist ein Prozess, der dazu dient, eine objektive Evaluierung des Schweregrads einer Läsion (z. B. von Erythrochromie-Läsionen einschließlich eines Ödems und einer hämorrhagischen Läsion) einer entzündlichen Darmerkrankung (IBD) innerhalb eines Sichtfeldes, das zur Abbildung mit der elektronischen Beobachtungseineit 100 vorgesehen ist, durchzuführen. In dem Prozess zur Erzeugung der Läsionsevaluierungsinformation wird allgemein für jedes einzelne Pixel, das in endoskopischen Farbbilddaten enthalten ist, bestimmt, ob ein zu untersuchendes Pixel ein Pixel ist, das eine partielle Läsion abbildet (im Folgenden als Läsionspixel bezeichnet), z. B. in der Reihenfolge vorbestimmter Pixeladressen ausgehend von einem Pixel, das in einer oberen linken Ecke der Lichtempfangsfläche angeordnet ist. Dann wird eine Bewertungsgröße (Score) bestimmt, welche den Schweregrad der partiellen Läsion darstellt, die mit dem Pixel, das als Läsionspixel bestimmt worder ist, abgebildet wird. Nachdem die Bewertungsgröße für jedes Läsionspixel bestimmt worden ist, wird ein Evaluierungswert (Evaluierungsinformation) zur Bewertung des Schweregrads der Läsion auf Grundlage aller bestimmter Bewertungsgrößen ermittelt. Der Evaluierungswert ist ein reproduzierbares nummerisches Datum, das zu ermitteln ist, indem der in 2 gezeigte Prozess zur Erzeugung der Läsionsevaluierungsinformation ausgeführt wird. Indem der Evaluierungswert erfasst wird, wird es dem Operateur demnach ermöglicht, eine objektive Evaluierung des Schweregrads der Läsion vorzunehmen.
[S11 in Fig. 2 (Erfassung von Läsionspixeln)]
In S11 des Prozesses zur Erzeugung der Läsionsevaluierungsinformation (vgl. 2) bestimmt der Prozessor 200, ob ein zu untersuchendes Pixel (x, y) ein Läsionspixel ist. Indem S11 zur Erfassung von Läsionpixeln durchgeführt wird, werden die in den folgenden Schritten zu untersuchenden Pixel auf die erfassten Läsionspixel beschränkt. Dadurch ist es möglich, die Gesamtzahl an Operationen, die in dem Prozess zur Erzeugung der Läsionsevaluierungsinformation auszuführen sind, zu verringern. 3 ist ein Flussdiagramm, das den Ablauf von Schritt S11 als Unterroutine des Prozesses zur Erzeugung der Läsionsevaluierungsinformation zeigt.
(S11a in Fig. 3)
In S11a (vgl. 3) wandelt der Prozessor 200 für die zu untersuchenden Pixel (x, y) von der Treibersignalverarbeitungsschaltung 112 empfangene Bildsignale (Luminanzsignal Y sowie Farbdifferenzsignale Cb und Cr) mit einem vorbestimmten Matrixkoeffizienten in Primärfarbsignale (R, G und B) um.
(S11b in Fig. 3)
In S11b wandelt der Prozessor 200 einen Pixelwert (R(x, y), G(x, y), B(x, y)) in einem RGB-Farbraum, der durch die drei Primärfarben R, G und B definiert ist, in einen Pixelwert (H(x, y), S(x, y), I(x, y)) in einem HSI-Farbraum (Hue-Saturation-Intensity) um, der durch die Faktoren Farbton, Sättigung und Intensität definiert ist. Der gewandelte Pixelwert (H(x, y), S(x, y), I(x, y)) wird in einem Speicher 220a in der Bildverarbeitungseinheit 220 gespeichert. Es ist darauf hinzuweisen, dass der Pixelwert (R(x, y), G(x, y), B(x, y)) in dem RGB-Farbraum in einem Pixelwert (H(x, y), S(x, y), V(x, y)) in einen HSV-Farbraum (Hue-Saturation-Value), der durch die drei Faktoren Farbton, Sättigung und Wert definiert ist, umgewandelt werden kann, anstatt in den Pixelwert (H(x, y), S(x, y), I(x, y)) in dem HSI-Farbraum.
(S11c in Fig. 3)
In S11c bestimmt der Prozessor 200 auf Grundlage von H(x, y) (d. h. Farbton des Pixels (x, y)) und S(x, y) (d. h. Sättigung des Pixels (x, y)), ob das zu untersuchende Pixel (x, y) ein Läsionspixel ist. 4 zeigt, als in S11c verwendete Referenzdaten, ein Streudiagramm, das durch Auftragen von Pixeldaten (d. h. Datenpaaren von H(x, y) und S(x, y)) von Biogewebebildern, die aus endoskopischen Bilddaten mehrerer IBD-Patienten extrahiert sind, erhalten wird. Das in 4 gezeigte Streudiagramm ist in einen Bereich A, der von einer strichpunktierten Linie umschlossen ist, und einen Bereich B, welcher der Bereich außerhalb des Bereichs A ist, unterteilt ist. Der Bereich A enthält den größten Teil von Pixeldaten, die auf Pixel bezogen sind, die von einem in der diagnostischen Endoskopie erfahrenen Arzt als Pixel bestimmt worden sind, die IBD-entzündete Stellen abbilden. Der Bereich B enthält den größten Teil von Pixeldaten, die auf Pixel bezogen sind, die von dem in der diagnostischen Endoskopie erfahrenen Arzt als Pixel bestimmt worden sind, die normale Stellen abbilden. Die Bereiche A und B sind also auf Grundlage von Erfahrung und Wissen der Erfinder definiert und somit als Forschungsleistungen (Beiträge) der Erfinder anzusehen.
In S11c bestimmt der Prozessor 200, ob die Pixeldaten (H(x, y), S(x, y)) der zu untersuchenden Pixel (x, y) in dem Bereich A aufzutragen sind. Insbesondere bestimmt der Prozessor 200, dass die Pixeldaten (H(x, y), S(x, y)) der zu untersuchenden Pixel (x, y) in dem Bereich A aufzutragen sind, wenn festgestellt wird, dass die folgenden Beziehungen (1) und (2) erfüllt sind (S11c: Ja). Dagegen bestimmt der Prozessor 200, dass die Pixeldaten (H(x, y), S(x, y)) der zu untersuchenden Pixel (x, y) nicht in dem Bereich A aufzutragen sind, wenn festgestellt wird, dass mindestens eine der Beziehungen (1) und (2) nicht erfüllt ist (S11c: Nein). Es ist darauf hinzuweisen, dass δ_H1, δ_S1, und δ_S2 in den Beziehungen (1) und (2) Korrekturwerte sind, die von dem Operateur einstellbar sind. Dem Operateur ist es möglich, die Strenge (Empfindlichkeit) der in S11c vorgenommenen Bestimmung durch Ändern der Korrekturwerte δ_H1, δ_S1, und δ_S2 nach Bedarf einzustellen.
Beziehung (1)

130 + δ_H1 ≤ H(x, y)

Beziehung (2)

60 + δ_S1 ≤ S(x, y) ≤ 100 + δ_S2

(S11d in Fig. 3)
Ein Pixel (x, y) mit Pixeldaten (H(x, y), S(x, y)), das in dem Bereich A aufzutragen ist, wird als ein Pixel bestimmt, das eine IBD-entzündete Stelle abbildet (d. h. ein Läsionspixel) (S11c: Ja). Der Speicher 220a speichert eine Flag-Tabelle, die für jedes in den endoskopischen Farbbilddaten enthaltene Pixel (x, y) ein Flag f(x, y) enthält. In S11d setzt der Prozessor 200 den Wert eines Flags f(x, y), das zu einem als Läsionspixel bestimmten Pixel (x, y) gehört, auf „1”.
(S11e in Fig. 3)
Unterdessen wird ein Pixel (x, y) mit Pixeldaten (H(x, y), S(x, y)), das in dem Bereich B aufzutragen ist, als ein Pixel bestimmt, das normales Gewebe abbildet (S11c: Nein). In S11e setzt der Prozessor 200 ein Flag f(x, y), das zu dem Pixel gehört, welches als ein normales Gewebe abbildendes Pixel bestimmt worden ist, auf „0”.
[S12 in Fig. 2 (Bestimmung des Flag-Wertes)]
In S12 (vgl. 2) bestimmt der Prozessor 200, ob ein Wert des Flags f(x, y), der in S11d oder S11e eingestellt worden ist, gleich „1” ist. Wird festgestellt, dass der Wert des Flags f(x, y) auf „1” gesetzt ist (S12: Ja), so geht der Prozessor 200 zu Schritt S13 über, in dem der Prozessor 200 für das zu untersuchende Pixel (x, y) eine Bewertungsgröße der entzündeten Stelle bestimmt (berechnet). Wird dagegen festgestellt, dass der gesetzte Wert des Flags f(x, y) gleich „0” ist (S12: Nein), so geht der Prozessor 200 zu Schritt S16 über, ohne S13 bis S15 auszuführen, da der Prozessor 200 keine Bewertungsgröße für das zu untersuchende Pixel (x, y) bestimmen muss.
[S13 in Fig. 2 (Bestimmung einer Bewertungsgröße für jedes Läsionspixel)]
In S13 bestimmt (berechnet) der Prozessor 200 die Bewertungsgröße der entzündeten Stelle für das zu untersuchende Pixel (x, y). 5 zeigt eine Prozedur von S13 als Unterroutine des Prozesses zur Erzeugung der Läsionsevaluierungsinformation.
(S13a in Fig. 5)
In S13a (vgl. 5) liest der Prozessor 200 aus dem Speicher 220a für das zu untersuchende Läsionspixel (x, y) Pixeldaten (H(x, y), S(x, y), I(x, y)) aus.
(S13b in Fig. 5)
Die Beleuchtungsstärke des Beleuchtungslichtes, das der Beleuchtung des Objektes dient, ist nicht in unerheblichem Maße ungleichmäßig innerhalb des Sichtfeldes. Ferner ist bekannt, dass die IBD-Entzündung mit der Dilatation von Blutgefäßen und mit dem Ausströmen einer Blutplasmakomponente aus dem Blutgefäßen einhergeht; außerdem lösen sich mit weiterem Fortschreiten der IBD-Symptome normale Schleimhäute in Oberflächen, die in einer entzündeten Stelle vorhanden sind, in stärkerem Maße ab. Es ist demnach auch bekannt, dass sich die Farbe der entzündeten Stelle mit weiterem Voranschreiten der IBD-Symptome mehr einer Blutfarbe annähert. Außerdem ist es bekannt, dass die Sättigung und die Intensität der Blutfarbe eine negative Korrelation zueinander aufweisen. Aus diesen Umständen haben die Erfinder folgende Befunde und Erkenntnisse gewonnen. Die Intensität der entzündeten Stelle enthält infolge der Ungleichmäßigkeit der Beleuchtungsstärke des Beleuchtungslichtes potenziell Fehler, und diese in der Intensität enthaltenen Fehler beeinflussen die Sättigung der entzündeten Stelle, deren Farbe nahe an die Blutfarbe herankommt (dies bedeutet, dass die Sättigung der entzündeten Stelle infolge der Ungleichmäßigkeit der Beleuchtungsstärke des Beleuchtungslichtes Fehler aufweist). In S13b korrigiert der Prozessor 200 deshalb den Sättigungswert S(x, y) des zu untersuchenden Läsionspixels (x, y) auf Grundlage des Intensitätswertes I(x, y). Dabei wird in S13b der Sättigungswert S(x, y) auf Grundlage der folgenden Beziehung (3) korrigiert. Beziehung (3)
In der Beziehung (3) bezeichnen INT und SAT den Intensitätswert I(x, y) bzw. den Sättigungswert S(x, y) des zu untersuchenden Läsionspixels (x, y). REFER_{_INT} und REFER_{_SAT} bezeichnen einen Intensitätswert bzw. einen Sättigungswert von Blutprobendaten als Referenzwert. θ bezeichnet einen Winkel, der einem Korrelationskoeffizienten zwischen dem Intensitätswert und dem Sättigungswert der Blutprobendaten entspricht. INT_{_correction} und SAT_{_correction} bezeichnen einen korregierten Intensitätswert bzw. einen korrigierten Sättigungswert des zu untersuchenden Läsionspixels (x, y). Es ist darauf hinzuweisen, dass die Erfinder herausgefunden haben, dass der Korrelationskoeffizient zwischen dem Intensitätswert und dem Sättigungswert der Blutprobendaten auf –0,86 (θ = 149,32) festzulegen ist.
So ist es möglich, die in dem Sättigungswert S(x, y) enthaltenen Fehler infolge der Ungleichmäßigkeit der Beleuchtungsstärke des Beleuchtungslichtes zu korrigieren, indem der Sättigungswert S(x, y) unter Verwendung des Intensitätswertes I(x, y) korrigiert wird.
Die 6A und 6B sind Streudiagramme von Blutprobendaten, die aus einer Vielzahl von IBD-Fällen gewonnen sind. In den 6A und 6B bezeichnet eine vertikale Achse die Sättigungswerte S und eine horizontale Achse den Intensitätswert I. 6A ist ein Streudiagramm, in dem Sättigungswerte S nicht unter Verwendung der Beziehung (3) korrigiert worden sind. 6B ist ein Streudiagramm, in dem Sättigungswerte S unter Verwendung der Beziehung (3) korrigiert worden sind. Wie in 6A gezeigt, weisen die Blutprobendaten in weiten Grenzen variierende Sättigungswerte S auf. Wie in 6B gezeigt, unterdrückt dagegen die Korrektur unter Anwendung der Beziehung (3) die Variation in den Sättigungswerten S der Blutprobendaten. So sind die Sättigungswerte S der Blutprobendaten ungeachtet ihrer Intensitätswerte I weitgehend konstant.
Die 7A und 7B sind Streudiagramme (Verteilungsdiagramme) für die Blutprobendaten und für Pixeldaten von Bereichen R₁, R₂ und R₃ innerhalb eines endoskopischen Bildes. Zudem zeigt 7A das endoskopische Bild, um eine korrespondierende Beziehung zwischen dem endoskopischen Bild und den Bereichen R₁, R₂ und R₃ visuell erfassbar darzustellen. Die Bereiche R₁ und R₂ sind Läsionsbereiche, die Läsionspixel enthalten. Der Bereich R₃ ist ein normaler Bereich, der Pixel enthält, welche normales Gewebe abbilden. In den 7A und 7B bezeichnet eine vertikale Achse den Farbtonwert H(x, y) und eine horizontale Achse den Sättigungswert S(x, y). 7A ist ein Verteilungsdiagramm, in dem Sättigungswerte S(x, y) nicht unter Anwendung der Beziehung (3) korrigiert sind und zwischen individuellen Blutprobendatensätzen in weiten Grenzen variieren. 7B ist ein Verteilungsdiagramm, in dem Sättigungswerte S(x, y) unter Anwendung der Beziehung (3) korrigiert worden sind, um so die Variation in den Sättigungswerten S(x, y) der Blutprobendaten zu verringern.
Wie oben beschrieben, lösen sich normale Schleimhäute in Oberflächen, die in einer entzündeten Stelle vorhanden sind, mit weiter fortschreitenden IBD-Symptomen stärker ab, so dass die Farbe der entzündeten Stelle zu einem helleren Rot (Rot mit einer höheren Sättigung) wird und damit sich mehr der Blutfarbe annähert. Ist dagegen das IBD-Symptom weniger schwerwiegend, so verbleibt eine dickere Schicht normaler Schleimhäute in den in der entzündeten Stelle vorhandenen Oberflächen, so dass die Farbe der entzündeten Stelle zu einem dunkleren Rot (Rot mit geringerer Sättigung) wird. Eine stärker entzündete Stelle weist deshalb eine höhere Korrelation mit der Blutfarbe auf. In dem in den 7A und 7B gezeigten Beispiel ist das IBD-Symptom in dem Läsionsbereich R₁ gravierender als das IBD-Symptom in dem Läsionsbereich R₂. Wie in 7A gezeigt, treten in den unkorrigierten Sättigungswerten S(x, y) infolge der durch die Ungleichmäßigkeit der Beleuchtungsstärke des Beleuchtungslichtes verursachten Variation in dem Sättigungswert S(x, y) geringe Unterschiede zwischen dem Läsionsbereich R₁ und dem Läsionsbereich R₂ auf. Dennoch kann erkannt werden, dass die Sättigungswerte des Läsionsbereichs R₁ den Sättigungswerten der Blutprobendaten näher kommen als die Sättigungswerte des Läsionsbereichs R₂. Demgegenüber treten, wie in 7B gezeigt, in den korrigiertren Sättigungswerten S(x, y) deutlichere Unterschiede zwischen dem Läsionsbereich R₁ und dem Läsionsbereich R₂ auf, da die Variation in dem Sättigungswert S(x, y) infolge der Ungleichmäßigkeit der Beleuchtungsstärke des Beleuchtungslichtes verringert ist. Außerdem kann deutlicher erkannt werden, dass die Sättigungswerte des Läsionsbereichs R₁ den Sättigungswerten der Blutprobendaten näher kommen. Somit spiegeln die Sättigungswerte S(x, y) den Schweregrad der Entzündung der entzündeten Stellen genauer wider als die unkorrigierten Sättigungswerte S(x, y). Durch Korrigieren der Sättigungswerte S(x, y) ist es somit möglich, die Genauigkeit der Evaluierung des Schweregrades der Entzündung zu verbessern.
(S13c in Fig. 5)
In S13 (vgl. 2) bestimmt (berechnet) der Prozessor 200 einen Korrelationswert (Bewertungsgröße) auf Basis einer allgemeinen Regel, nach der Datenpunkte, die in dem Verteilungsdiagramm nach 7B näher aneinander angeordnet sind, stärker miteinander korreliert sind. 8A ist ein Diagramm, das ergänzenden Erläuterungen zu dem Prozess der Bestimmung des Korrelationswertes dient. In 8A, in der die Sättigungswerte S(x, y) korrigiert worden sind, werden Abstände zwischen den Farbtonwerten H(x, y) der Läsionspixel und einem Farbtonwert H(x_C, y_C) eines Schwerpunktes C für eine Gruppe der Blutgruppendaten als Farbtonabstände D_{_FARBTON} definiert. Ferner werden Abstände zwischen den korrigierten Sättigungswerte S(x, y) der Läsionspixel und einem korrigierten Sättigungswerte S(x_C, y_C) des Schwerpunktes C für die Gruppe der Blutprobendaten als Sättigungsabstände D_{_SAT} definiert.
8B ist eine Farbtonkorrelationstabelle, die dazu dient, eine Beziehung zwischen den Farbtonabständen D_{_FARBTON} und Farbtonkorrelationswerten HCV zu definieren. Die Farbtonkorrelationswerte HCV können beispielsweise normierte Werte sein (im Bereich von 0,0 bis 1,0). Die Farbtonkorrelationstabelle ist in dem Speicher 220a gespeichert. Ist in 8B der Farbtonabstand D_{_FARBTON} für ein Läsionspixel gleich 0, so fällt ein Farbtonwert H(x, y) des Läsionspixels mit dem Farbtonwert H(x_C, y_C) des auf die Gruppe von Blutprobendaten bezogenen Schwerpunktes C zusammen. Ist der Farbtonabstand D_{_FARBTON} für ein Läsionspixel kleiner als 0 (d. h. hat er einen negativen Wert), so ist ein Farbtonwert H(x, y) des Läsionspixels kleiner als der Farbtonwert H(x_C, y_C) des auf die Gruppe der Blutprobendaten bezogenen Schwerpunktes C. Ist der Farbtonabstand D_{_FARBTON} für ein Läsionspixel größer als 0 (d. h. hat er einen positiven Wert), so ist ein Farbtonwert H(x, y) des Läsionspixels größer als der Farbtonwert H(x_C, y_C) des auf die Gruppe der Blutprobendaten bezogenen Schwerpunktes C. Liegt der Farbtonabstand D_{_FARBTON} für ein Läsionspixel innerhalb eines Bereichs von –30 Grad bis +30 Grad (im Folgenden als „Farbtonapproximationsbereich R₁₁” bezeichnet), so weist eine dem Läsionspixel entsprechende entzündete Stelle eine Farbe auf, die gleich dem Rot von Blutgefäßen ist oder nahe an dieses herankommt. Je kleiner ein Absolutwert des Farbtonabstandes D_{_FARBTON} ist, desto größer ist deshalb der Farbtonkorrelationswert HCV (d. h. desto näher kommt der Farbtonkorrelationswert HCV dem Wert 1), wie in 8B gezeigt ist. Befindet sich dagegen der Farbtonabstand D_{_FARBTON} für ein Läsionspixel in Bereichen außerhalb des Farbtonapproximationsbereichs R₁₁ (im Folgenden als „Außer-Farbtonapproximationsbereiche R₁₂” bezeichnet), so hat eine dem Läsionspixel entsprechende entzündete Stelle eine Farbe, die dem Rot von Blutgefäßen nicht mehr nahe kommt. Wie in 8B gezeigt, ist deshalb der Farbtonkorrelationswert HCV über die Außer-Farbtonapproximationsbereiche R₁₂ gleichmäßig gleich 0.
In S13c bestimmt der Prozessor 200, ob der Farbtonabstand D_{_FARBTON} für das zu untersuchende Läsionspixel (x, y) innerhalb des Farbtonapproximationsbereiches R₁₁ liegt.
(S13d in Fig. 5)
Wird festgestellt, dass der Farbtonabstand D_{_FARBTON} für das zu untersuchende Läsionspixel (x, y) innerhalb des Farbtonapproximationsbereiches R₁₁ liegt (S13c: Ja), so versieht der Prozessor 200 das zu untersuchende Läsionspixel (x, y) entsprechend der Farbtonkorrelationstabelle (S13d) mit einem Farbtonkorrelationswert HCV, der von dem Farbtonabstand D_{_FARBTON} abhängt.
(S13e in Fig. 5)
Wird festgestellt, dass der Farbtonabstand D_{_FARBTON} für das zu untersuchende Läsionpixel (x, y) in dem Außer-Farbtonapproximationsbereichen R₁₂ liegt (S13c: Nein), so versieht der Prozessor 200 das zu untersuchende Läsionpixel (x, y) entsprechend der Farbtonkorrelationstabelle mit einem Farbtonkorrelationswert HCV, der gleich 0 ist (S13e).
(S13f in Fig. 5)
8C ist eine Sättigungskorrelationstabelle, die dazu dient, eine Beziehung zwischen den Sättigungsabständen D_{_SAT} und Sättigungskorrelationswerten SCV zu definieren. Beispielsweise können die Sättigungskorrelationswerte SCV normierte Werte sein (im Bereich von 0,0 bis 1,0). Die Sättigungskorrelationstabelle ist in dem Speicher 220a gespeichert. Ist in 8C der Sättigungsabstand D_{_SAT} für ein Läsionspixel gleich 0, so fällt ein Sättigungswert S(x, y) des Läsionspixels mit dem Sättigungswert S(x_C, y_C) des auf die Gruppe der Blutprobendaten bezogenen Schwerpunkt des C zusammen. Ist der Sättigungsabstand D_{_SAT} für ein Läsionspixel kleiner als 0 (d. h. hat er einen negativen Wert), so ist ein Sättigungswert S(x, y) des Läsionspixels kleiner als der Sättigungswert S(x_C, y_C) des auf die Gruppe der Blutprobendaten bezogenen Schwerpunkt des C. Ist der Sättigungsabstand D_{_SAT} für ein Läsionspixel größer als 0 (d. h. hat er einen positiven Wert), so ist ein Sättigungswert S(x, y) des Läsionspixels größer als der Sättigungswert S(x_C, y_C), des auf die Gruppe der Blutprobendaten bezogenen Schwerpunktes C. Liegt der Sättigungsabstand D_{_SAT} für ein Läsionspixel in einem Bereich gleich oder größer als 0 (im Folgenden als „Sättigungskoinsidenzbereich R₂₁” bezeichnet), so befindet sich eine entzündete Stelle, die dem Läsionspixel entspricht, in einem ersthaft entzündeten Zustand, in dem sich normale Schleimhäute ablösen, und die entzündete Stelle hat eine Farbe, die einem hellen Rot von Blut sehr nahe kommt. Wie in 8C gezeigt, ist deshalb der Sättigungskorrelationswert SCV über den Sättigungskoinsidenzbereich R₂₁ gleichmäßig gleich 1. Befindet sich der Sättigungsabstand D_{_SAT} für ein Läsionspixel innerhalb eines Bereichs kleiner als 0 und gleich oder größer als ein vorbestimmter Wert PV (im Folgenden als „Sättigungsapproximationsbereich R₂₂” bezeichnet), so ist eine entzündete Stelle, die dem Läsionspixel entspricht, in einem ersthaft entzündeten Zustand (obgleich dessen Schweregrad weniger drastisch als der des Sättigungskoinsidenzbereichs R₂₁ ist), in dem sich normale Schleimhäute ablösen, und die entzündete Stelle hat eine Farbe, die nahe an das helle Rot von Blut herankommt. Je kleiner ein Absolutwert des Sättigungsabstands D_{_SAT} in dem Sättigungsapproximationsbereich R₂₂ ist, desto größer ist deshalb der Sättigungskorrelationswert SCV (d. h. desto näher kommt der Sättigungskorrelationswert SCV dem Wert 1), wie in 8C gezeigt ist. Je kleiner nämlich der Absolutewert des Sättigungsabstandes D_{_SAT} ist, desto näher kommt die Farbe der entzündeten Stelle dem hellen Rot von Blut. Liegt der Sättigungsabstand D_{_SAT} für ein Läsionspixel innerhalb eines Bereichs kleiner als der vorbestimmte Wert PV (im Folgenden als „Außer-Sättigungsapproximationsbereich R₂₃” bezeichnet), so hat eine dem Läsionpixel entsprechende entzündete Stelle eine dicke Schicht normaler Schleimhäute, und weist deshalb ein dunkles Rot auf. Wie in 8C gezeigt, ist deshalb der Sättigungskorrelationswert SCV über den Außer-Sättigungsapproximationsbereich R₂₃ gleichmäßig gleich 0.
In S13f bestimmt der Prozessor 200 aus den Sättigungskoinsidenzbereich R₂₁, den Sättigungsapproximationsbereich R₂₂ und den Außer-Sättigungsapproximationsbereich R₂₃ denjenigen Bereich, in dem sich der Sättigungsabstand D_{_SAT} für das zu untersuchende Läsionspixel (x, y) befindet.
(S13g in Fig. 5)
Wird festgestellt, dass der Sättigungsabstand D_{_SAT} für das zu untersuchende Läsionpixel (x, y) in dem Sättigungskoinsidenzbereich R₂₁ liegt (S13f: R₂₁), so versieht der Prozessor 200 das zu untersuchende Läsionpixel (x, y) entsprechend der Sättigungskorrelationstabelle (S13g) mit einem Sättigungskorrelationswert SCV, der gleich 1 ist.
(S13h in Fig. 5)
Wird festgestellt, dass der Sättigungsabstand D_{_SAT} für das zu untersuchende Läsionspixel (x, y) in dem Sättigungsapproximationsbereich R₂₂ liegt (S13f R₂₂), so vollzieht der Prozessor 200 das zu untersuchende Läsionspixel (x, y) entsprechend der Sättigungskorrelationstabelle (S13h) mit einem Sättigungskorrelationswert SCV, der von dem Sättigungsabstand D_{_SAT} abhängt.
(S13i in Fig. 5)
Wird festgestellt, dass der Sättigungsabstand D_{_SAT} für das zu untersuchende Läsionspixel (x, y) in dem Außer-Sättigungsapproximationsbereich R₂₃ liegt (S13f: R₂₃), so versieht der Prozessor 200 das zu untersuchende Läsionspixel (x, y) entsprechend der Sättigungskorrelationstabelle mit einem Sättigungskorrelationswert SCV, der gleich 0 ist.
(S13j in Fig. 5)
In S13j erfasst der Prozessor 200 einen Korrelationswert CV (im Bereich von 0,0 bis 1,0) zwischen den zu untersuchenden Läsionspixeln (x, y) und den Blutprobendaten, indem er den Farbtonkorrelationswert HCV mit dem Sättigungskorrelationswert SCV multipliziert, wobei beide Werte dem zu untersuchenden Läsionspixel (x, y) zugeordnet sind. Durch Berechnen des Korrelationswertes zwischen dem zu untersuchenden Läsionspixel (x, y) und der Blutprobendaten auf Grundlage der durch den Farbtonwert und dem Sättigungswert gegebenen zweidimensionalen Information ist es möglich, eine Information zu erfassen, die genau den Schweregrad der entzündeten Stelle repräsentiert.
[S14 in Fig. 2 (Integration von Korrelationswerten CV)]
In S14 (vgl. 2) addiert der Prozessor 200 den in S13 für das zu untersuchende Läsionspixel (x, y) bestimmten Korrelationswert CV zu einer Summe von Korrelationswerten CV auf, die jemals für individuelle Läsionspixel bestimmt worden sind. Indem die Korrelationswerte CV für individuelle Läsionspixel integriert werden, ist es somit möglich, einen objektiven und reproduzierbaren Evaluierungswert (d. h. eine vom Qualifikationsniveau des Operateurs unabhängige Evaluierungsinformation) zu erfassen, um den Schweregrad der Entzündung zu quantifizieren.
[S15 in Fig. 2 (Farbersetzungsprozess)]
Der Speicher 220a speichert eine Anzeigefarbtabelle, in der die Korrelationswerte CV vorbestimmten Anzeigefarben zugeordnet sind. 9 ist ein konzeptionelles Diagramm der Anzeigefarbtabelle. Wie in 9 gezeigt, weist die Anzeigefarbtabelle 11 Niveaus auf, von denen jedes einer vorbestimmten Anzeigefarbe zugeordnet ist und in die die Korrelationswerte CV (im Bereich von 0,0 bis 1,0) klassifiziert sind. In S15 ersetzt der Prozessor 200 Farbinformation des zu untersuchenden Pixels (x, y) entsprechend der Anzeigefarbtabelle mit Farbinformation einer Anzeigefarbe, die dem für das zu untersuchende Pixel (x, y) bestimmten Korrelationswert CV zugeordnet ist. Kommt beispielsweise der für das zu untersuchende Pixel (x, y) bestimmte Korrelationswert CV näher an 0 heran, so kann die Farbinformation des zu untersuchenden Pixels (x, y) mit Farbinformation einer kalten Farbe ersetzt werden. Kommt dagegen der Korrelationswert CV, der für das zu untersuchende Pixel (x, y) bestimmt worden ist, näher an 1 heran, so kann die Farbinformation des zu untersuchenden Pixels (x, y) durch Farbinformation einer wärmeren Farbe ersetzt werden.
[S16 in Fig. 2 (Bestimmung der für alle Pixel abgeschlossenen Evaluierung)]
In S16 bestimmt der Prozessor 200, ob die Evaluierung von S11 bis S15 für alle Pixel vollständig durchgeführt worden ist. Wird festgestellt, dass die Evaluierung für alle Pixel noch nicht vollständig durchgeführt worden ist (d. h. ein Pixel verbleibt, für das die Evaluierung noch nicht durchgeführt worden ist) (S16: Nein), so geht der Prozessor 200 zurück zu S11.
[S17 in Fig. 2 (Anzeige des Evaluierungsbildes)]
Wird festgestellt, dass die Evaluierung für alle Pixel vollständig durchgeführt worden ist (S16: Ja), so geht der Prozessor 200 zu Schritt S17 über, in dem der Prozessor 200 auf dem Bildschirm des Monitors 300 ein Evaluierungsbild anzeigt. 10 veranschaulicht das Evaluierungsbild beispielhaft. Wie in 10 gezeigt, enthält das Evaluierungsbild das endoskopische Bild, in dem die Farbinformation jedes Läsionspixels in S15 ersetzt worden ist (vgl. 2). Wie in 10 gezeigt, ist das endoskopische Bild ein Grauwertbild, in dem jedes Pixel in Abhängigkeit des Schweregrades der entzündeten Stelle, die dem jeweiligen Pixel entspricht, mit einer der in 11 Niveaus unterteilten Farben versehen. Dem Operateur ist es somit möglich, ohne jede Schwierigkeit eine Stelle in dem Sichtfeld sowie einen Schweregrad jeder einzelnen entzündeten Stelle visuell zu erfassen.
Zudem wird in dem Evaluierungsbild eine Summe, die durch Integrieren der Korrelationswerte CV für sämtliche Läsionspixel erhalten wird, als eine auf die Entzündung bezogene Evaluierungsinformation angezeigt (d. h. ein Evaluierungswert, der von 0 bis zu einem der Zahl der Pixel äquivalenten Wert reicht). In dem in 10 gezeigten Beispiel wird angezeigt „SCORE: 1917”. In dem Ausführungsbeispiel wird somit der Schweregrad der Entzündung evaluiert und als objektiver und reproduzierbarer Wert angezeigt. Dem Operateur ist es deshalb möglich, den Schweregrad der Entzündung objektiv zu erfassen.
Bisher wird der Schweregrad der IBD-Entzündung entsprechend einer medizinischen Evaluierung, z. B. unter Anwendung von MAYO-Berwertungsgrößen in vier Niveaus unterteilt. Jedoch ist kürzlich bekannt geworden, dass eine Korrelation zwischen dem Erfolg einer mukosalen Heilung und der Remissionsdauer besteht. Deshalb wird es für die IBD-Behandlung als wirksam angesehen, eine detaillierte Evaluierung eines milden Falles von IBD entsprechend MAYO 0 oder MAYO 1 vorzunehmen. In dem Ausführungsbeispiel wird der Schweregrad der Entzündung als numerischer Wert angezeigt, der von 0 bis zu einem Wert reicht, der äquivalent zur Zahl an Pixeln ist, so dass der Operateur eine detailliertere Evaluierung des Schweregrades der Entzündung vornehmen kann. Somit ist es in dem Ausführungsbeispiel möglich, selbst für einen milden IBD-Fall, der MAYO 0 oder MAYO 1 entspricht, eine detailliertere Evaluierung durchzuführen. Die für das Ausführungsbeispiel beschriebene Evaluierung ist deshalb für die Behandlung von IBD wirksam.
Vorstehend wurde das Ausführungsbeispiel in Aspekten der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung kann durch Anwendung herkömmlicher Materialien, Methoden und Ausstattung praktisch umgesetzt werden. Die Details solcher Materialien, Ausstattung und Methoden werden hier nicht im Einzelnen beschrieben. In der vorstehenden Beschreibung wurden zahlreiche spezifische Details (wie spezifische Materialien, Strukturen, Chemikalien, Prozesse, etc.) angeführt, um für ein gründliches Verständnis der vorliegenden Erfindung zu sorgen. Jedoch ist darauf hinzuweisen, dass die vorliegende Erfindung praktisch umgesetzt werden kann, ohne wieder auf die spezifisch angegebenen Details Bezug zu nehmen. Andererseits wurden wohlbekannte Verarbeitungsstrukturen nicht im Detail beschrieben, um das Verständnis der vorliegenden Erfindung nicht unnötig zu erschweren.
In der vorliegenden Offenbarung wurde nur eine beispielhafte Ausführungsform der Erfindung gezeigt und beschrieben, jedoch wurden einige Beispiele für deren vielseitige Verwendbarkeit angegeben. Es ist darauf hinzuweisen, dass die vorliegende Erfindung in unterschiedlichen anderen Kombinationen und Umgebungen verwendbar ist und Änderungen oder Abwandlungen innerhalb des Umfangs des hier erläuterten erfinderischen Konzeptes möglich sind. Beispielsweise sind folgende Abwandlungen möglich.
In dem vorstehend beschriebenen Ausführungsbeispiel werden die Korrelationswerte CV für die Läsionspixel bestimmt. Die Korrelationswerte CV können jedoch für alle Pixel bestimmt werden.
In dem vorstehend beschriebenen Ausführungsbeispiel wird als Festkörperbildsensor 108 der CCD-Bildsensor eingesetzt. Jedoch kann auch ein anderer Festkörperbildsensor wie ein CMOS-Bildsensor (komplementärer Metall-Oxid-Halbleiter) verwendet werden.
In dem vorstehend beschriebenen Ausführungsbeispiel wird der Festkörperbildsensor 108 mit dem Bayer-Array-Farbfilter 108b der Primärfarben R, G und B verwendet. Jedoch kann auch ein anderer Festkörperbildsensor eingesetzt werden, der ein Farbfilter der Komplementärfarben Cy (Cyan), Mg (Magenta), Ye (Gelb) und G (Grün) enthält.
In dem vorstehend beschriebenen Ausführungsbeispiel werden Aspekte der vorliegenden Erfindung auf die IBD-Endoskopie angewandt. Aspekte der vorliegenden Erfindung können jedoch auch auf die für andere Krankheiten bestimmte Endoskopie angewandt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009-106424 [0002, 0003]

Claims

Läsionsevaluierungsinformationsgenerator, umfassend: ein Bilddatenerfassungsmittel, das ausgebildet ist, endoskopische Farbbilddaten, die ein eine Läsion zeigendes endoskopisches Bild darstellen, zu erfassen; ein Farbinformationsbestimmungsmittel, das ausgebildet ist, auf Grundlage der erfassten endoskopischen Farbbilddaten einen Farbtonwert und einen Sättigungswert jedes in dem endoskopischen Bild enthaltenen Pixels zu bestimmen; ein Korrelationswertbestimmungsmittel, das ausgebildet ist, zumindest für einen Teil der Pixel des endoskopischen Bildes einen Korrelationswert, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten repräsentiert, zu erfassen, und zwar auf Grundlage: eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmten Farbtonwert jeden einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten repräsentiert; und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und einem Referenzsättigungswert der Referenzfarbbilddaten repräsentiert; und einen Evaluierungswertgenerator, der ausgebildet ist, einen Evaluierungswert zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild zu erzeugen, indem er aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte gewinnt.
Läsionsevaluierungsinformationsgenerator nach Anspruch 1, bei dem das Korrelationswertbestimmungsmittel ferner ausgebildet ist: den Farbtonkorrelationswert auf Grundlage eines Farbtonabstandes zwischen dem bestimmten Farbtonwert jedes einzelnen Pixels und dem Referenzfarbtonwert der Referenzfarbdaten in zweidimensionalen Koordinaten zu bestimmen, die durch eine Koordinatenachse für Farbtonwerte und eine Koordinatenachse für Sättigungswerte definiert sind; den Sättigungskorrelationswert auf Grundlage eines Sättigungsabstandes zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und dem Referenzsättigungswert der Referenzfarbdaten in den zweidimensionalen Koordinaten zu bestimmen, die durch die Koordinatenachse für Farbtonwerte und die Koordinatenachse für Sättigungswerte definiert sind; und den Korrelationswert zwischen einer Farbinformation jedes einzelnen Pixels und der Referenzfarbdaten auf Grundlage des bestimmten Farbtonkorrelationswertes und des bestimmten Sättigungskorrelationswertes zu bestimmen.
Läsionsevaluierungsinformationsgenerator nach Anspruch 2, bei dem das Korrelationswertbestimmungsmittel ferner ausgebildet ist, den Korrelationswert zwischen der Farbinformation jedes einzelnen Pixels und der Referenzfarbdaten zu bestimmen, indem es den bestimmten Farbtonkorrelationswert mit den bestimmten Sättigungskorrelationswert multipliziert.
Läsionsevaluierungsinformationsgenerator nach Anspruch 3, bei dem der Farbtonkorrelationswert ein normierter Wert im Bereich von 0 bis 1 ist, bei dem, wenn ein Absolutwert des Farbtonabstandes größer als ein vorbestimmter Abstandswert ist, der Farbtonkorrelationswert gleich 0 ist, und bei dem, wenn der Absolutwert des Farbtonabstandes gleich oder kleiner als der vorbestimmte Abstandswert ist, mit kleiner werdendem Absolutwert des Farbtonabstandes sich der Farbtonkorrelationswert 1 annähert.
Läsionsevaluierungsinformationsgenerator nach Anspruch 3 oder 4, bei dem der Sättigungskorrelationswert ein normierter Wert in einem Bereich von 0 bis 1 ist, bei dem, wenn der bestimmte Sättigungswert kleiner als der Referenzsättigungswert der Referenzfarbdaten ist und der Sättigungsabstand kleiner als ein vorbestimmter Sättigungswert ist, der Sättigungskorrelationswert gleich 0 ist, bei dem, wenn der bestimmte Sättigungswert kleiner als der Referenzsättigungswert der Referenzfarbdaten ist und ein Absolutwert des Sättigungsabstandes gleich oder kleiner als der vorbestimmte Sättigungswert ist, mit abnehmendem Absolutwert des Sättigungsabstandes sich der Sättigungskorrelationswert 1 annähert, und bei dem, wenn der bestimmte Sättigungswert gleich oder größer als der Referenzsättigungswert der Referenzfarbdaten ist, der Sättigungskorrelationswert ungeachtet des Absolutwertes des Sättigungsabstandes gleich 1 ist.
Läsionsevaluierungsinformationsgenerator nach einem der Ansprüche 1 bis 5, bei dem das Farbinformationsbestimmungsmittel ferner ausgebildet ist, den Farbtonwert und den Sättigungswert jedes einzelnen Pixels zu bestimmen, indem es einen Farbraum der erfassten endoskopischen Farbbilddaten in einen HSI-Farbraum oder einen HSV-Farbraum wandelt.
Läsionsevaluierungsinformationsgenerator nach einem der Ansprüche 1 bis 6, bei dem das Farbinformationsbestimmungsmittel ferner ausgebildet ist, einen Intensitätswert jedes einzelnen Pixels, das in dem endoskopischen Bild enthalten ist, auf Grundlage der erfassten endoskopischen Farbbilddaten sowie des Farbtonwertes und des Sättigungswertes zu bestimmen, bei dem das Korrelationswertbestimmungsmittel ein Sättigungswertkorrekturmittel umfasst, das ausgebildet ist, den Sättigungswert unter Verwendung des bestimmten Intensitätswertes zu korrigieren, und bei dem das Korrelationswertbestimmungsmittel ferner ausgebildet ist, den Korrelationswert zwischen der Farbinformation jedes einzelnen Pixels und der Referenzfarbdaten unter Verwendung des korrigierten Sättigungswertes zu bestimmen.
Läsionsevaluierungsinformationsgenerator nach Anspruch 7, bei dem das Sättigungswertekorrekturmittel ferner ausgebildet ist, den Sättigungswert auf Grundlage folgender Beziehung zu korrigieren:
worin INT und SAT den Intensitätswert bzw. den Sättigungsewert darstellen, REFER_{_INT} und REFER_{_SAT} einen Referenzintensitätswert bzw. den Referenzsättigungswert der Referenzfarbdaten darstellen, θ einen Winkel darstellt, der einen Korrelationskoeffizienten zwischen dem Referenzintensitätswert und dem Referenzsättigungswert der Referenzfarbdaten entspricht, und INT_{_correction} und SAT_{_correction} einen korrigierten Intensitätswert bzw. den korrigierten Sättigungswert darstellen.
Läsionsevaluierungsinformationsgenerator nach einem der Ansprüche 1 bis 8, bei dem die Referenzfarbdaten Referenzfarbdaten von Blut sind.
Läsionsevaluierungsinformationsgenerator nach einem der Ansprüche 1 bis 9, bei dem das Farbinformationsbestimmungsmittel ein Läsionspixelbestimmungsmittel umfasst, das ausgebildet ist, zu bestimmen, ob jedes einzelne Pixel ein Läsionspixel ist, welches zumindest einen Teil der Läsion abbildet, und bei dem das Korrelationswertbestimmungsmittel ferner ausgebildet ist, den Korrelationswert nur für jedes der Pixel zu bestimmen, die als Läsionspixel bestimmt sind.
Läsionsevaluierungsinformationsgenerator nach einem der Ansprüche 1 bis 10, ferner umfassend eine Anzeige, die ausgebildet ist, den erzeugten Evaluierungswert anzuzeigen.
Läsionsevaluierungsinformationsgenerator nach Anspruch 11, ferner umfassend ein Farbinformationsersetzungsmittel, das ausgebildet ist, die Farbinformation jedes einzelnen Pixels durch Ersatzfarbinformation zu ersetzen, die dem Korrelationswert zugeordnet ist, der für jedes einzelne Pixel bestimmt ist, wobei das Anzeigemittel ferner ausgebildet ist, ein Bild anzuzeigen, in dem jedes einzelne Pixel, die dem Korrelationswert zugeordnete Ersatzfarbinformation aufweist.
Verfahren, implementierbar durch einen Prozessor, der mit einem Bilddatenerfassungsmittel gekoppelt ist, das ausgebildet ist, endoskopische Farbbilddaten zu erfassen, die ein eine Läsion zeigendes endoskopisches Bild darstellen, wobei das Verfahren umfasst: Bestimmen eines Farbtonwertes und eines Sättigungswertes jedes in dem endoskopischen Bild enthaltenen Pixels auf Grundlage der erfassten endoskopischen Farbbilddaten; für zumindest einen Teil der Pixel des endoskopischen Bildes Bestimmen eines Korrelationswertes, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten darstellt, auf Grundlage: eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmen Farbtonwert jedes einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten darstellt; und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und eines Referenzsättigungswertes der Referenzfarbdaten darstellt; und Erzeugen eines Evaluierungswertes zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild, indem aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte abgeleitet wird.
Nicht-flüchtiges, computerlesbares Medium, das prozessorausführbare Befehle speichert, die bei Ausführung durch einen Prozessor, der mit einem Bilddatenerfassungsmittel zum Erfassen endoskopischer Farbbilddaten, die ein eine Läsion zeigendes endoskopisches Bild darstellen, gekoppelt ist, ausgebildet sind, den Prozessor zu veranlassen: einen Farbtonwert und einen Sättigungswert jedes in dem endoskopischen Bild enthaltenen Pixels auf Grundlage der erfassten endoskopischen Farbbilddaten zu bestimmen; für zumindest einen Teil der Pixel des endoskopischen Bildes einen Korrelationswert, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten darstellt, zu bestimmen, und zwar auf Grundlage: eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmen Farbtonwert jedes einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten darstellt; und eines Sättigungskorrelationswertes, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und eines Referenzsättigungswertes der Referenzfarbdaten darstellt; und einen Evaluierungswert zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild zu erzeugen, indem aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte abgeleitet wird.