DE112017002933B4

DE112017002933B4 - Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem

Info

Publication number: DE112017002933B4
Application number: DE112017002933.3T
Authority: DE
Inventors: Takao Makino; Yousuke IKEMOTO
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2016-08-31
Filing date: 2017-08-30
Publication date: 2020-09-17
Anticipated expiration: 2037-08-31
Also published as: US20190343369A1; DE112017002933T5; CN109310299A; WO2018043551A1; US10646102B2; JPWO2018043551A1; DE112017002933T8; CN109310299B; JP6433634B2

Abstract

Elektronische Endoskopverarbeitungseinrichtung (200) miteiner Umwandlungseinrichtung (220a) zur Umwandlung jedes Stücks einer Vielzahl von Stücken von Bildelementdaten, die aus n Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m Typen von Farbkomponenten gebildet ist, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl gleich 2 ist, und m kleiner als n ist,einer Korrelationswertberechnungseinrichtung (220d) zur Einstellung einer Referenzachse, die sich auf eine Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt in einer Farbebene läuft, die durch die m Typen von Farbkomponenten definiert ist, und zur Berechnung eines Korrelationswerts mit einer vorbestimmten Referenz, die sich auf die Zielerkrankung bezieht, für jedes einer Vielzahl von Bildelementen des Farbbildes beruhend auf einem Winkel, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht, undeiner Bewertungswertberechnungseinrichtung (220e) zum Integrieren der für die Bildelemente berechneten Korrelationswerte und Einstellen einer durch die Integration erhaltenen Summe der Korrelationswerte als Bewertungswert, der sich auf die Zielerkrankung bezieht.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht auf eine Vorrichtung zur Bewertung des Symptomniveaus einer Läsionsstelle in einem Patienten, und bezieht sich insbesondere auf eine elektronische Endoskopverarbeitungseinrichtung und ein elektronisches Endoskopsystem, die Bewertungsinformationen zur Bewertung des Symptomniveaus einer Läsionsstelle beruhend auf Farbkomponenten in einem Farbendoskopbild erzeugen.
Technischer Hintergrund
Eine Läsionsstelle hat im Allgemeinen eine andere Farbe als normales Schleimhautgewebe. Über Verbesserungen der Fähigkeiten von Farbendoskopvorrichtungen ist es auch möglich geworden, Läsionsstellen zu identifizieren, die eine etwas andere Farbe als normales Gewebe haben. Allerdings braucht ein Bediener intensives Training unter einem erfahrenen Bediener, um normales Gewebe und eine Läsionsstelle beruhend auf einem kleinen Farbunterschied in einem Endoskopbild genau identifizieren zu können. Selbst für einen erfahrenen Bediener ist es nicht einfach, eine Läsionsstelle beruhend auf einem kleinen Farbunterschied zu identifizieren, und eine derartige Identifizierung braucht sorgfältige Arbeit. In Anbetracht dessen schlägt beispielsweise das Patentdokument 1 ein elektronisches Endoskopsystem zur Erleichterung der Identifizierung von Läsionsstellen und dergleichen vor, das eine Funktion zur Durchführung einer Farbumwandlungsverarbeitung zum Hervorheben von Farbunterschieden in Endoskopbilddaten enthält, die unter Verwendung von weißem Licht erhalten wurden.
Zitierliste
Patentdokument
[Patentdokument 1] JP 2009-106424 A
Die DE 10 2014 105 826 A1 beschreibt ein Erzeugen von Läsionsevaluierungsinformationen. Dabei werden endoskopische Farbbilddaten erfasst, die ein endoskopisches Bild mit einer Läsion zeigen. Auf Grundlage der erfassten endoskopischen Farbbilddaten werden ein Farbtonwert und ein Sättigungswert jedes in dem endoskopischen Bild enthaltenen Pixels bestimmt. Zumindest für einen Teil der Pixel des endoskopischen Bildes werden ein Korrelationswert, der eine Korrelation zwischen einer Farbinformation jedes einzelnen Pixels und Referenzfarbdaten repräsentiert, auf Grundlage eines Farbtonkorrelationswertes, der eine Korrelation zwischen dem bestimmten Farbtonwert jeden einzelnen Pixels und einem Referenzfarbtonwert der Referenzfarbdaten repräsentiert, und ein Sättigungskorrelationswert bestimmt, der eine Korrelation zwischen dem bestimmten Sättigungswert jedes einzelnen Pixels und einem Referenzsättigungswert der Referenzfarbbilddaten repräsentiert. Schließlich wird ein Evaluierungswert zum Evaluieren eines Schweregrads der Läsion in dem endoskopischen Bild erzeugt, indem aus der Integration des für jedes einzelne Pixel bestimmten Korrelationswertes eine Summe der Korrelationswerte gewonnen wird.
Kurzzusammenfassung der Erfindung
Technische Aufgaben
Bilder, die durch das im Patentdokument 1 beschriebene elektronische Endoskopsystem erzeugt werden, erlauben ein leichteres Identifizieren von Normalgewebe und Läsionsstellen als normale Endoskopbilder. Allerdings ändert sich die Farbe einer Läsionsstelle mit dem Ausmaß der Symptome. Die Änderung, die mit dem Ausmaß der Symptome auftritt, ist sehr klein, und selbst wenn ein unerfahrener Bediener Normalgewebe und Läsionsstellen unter Verwendung bekannter Verfahren, wie des im Patentdokument 1 beschriebenen Verfahrens, identifizieren kann, ist es schwierig, das Symptomniveau von Läsionsstellen genau zu bewerten. Selbst bei einem erfahrenen Bediener hängt die Bewertung des Symptomniveaus von der Fähigkeit ab, ein Bild lesen zu können, was vom Erfahrungsschatz und Wissen jedes Bedieners abhängt, und es ist bisher nicht möglich, Bewertungen zu machen, die objektiv und wiederholbar (nicht abhängig vom Können des Bedieners) sind.
Vorliegende Erfindung wurde im Lichte der vorstehend beschriebenen Umstände geschaffen, und eine Aufgabe vorliegender Erfindung besteht in der Bereitstellung einer elektronischen Endoskopverarbeitungseinrichtung und eines elektronischen Endoskopsystems, die die Bewertung des Symptomniveaus einer Zielerkrankung an einer Läsionsstelle mit garantierter Objektivität und Reproduzierbarkeit ermöglichen.
Lösung der Aufgabe
Gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst eine elektronische Endoskopverarbeitungseinrichtung eine Umwandlungseinrichtung zur Umwandlung jedes Stücks einer Vielzahl von Stücken von Bildelementdaten, die aus n (n ≥ 3) Typen von Farbkomponenten gebildet sind, und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m (m = 2) Typen von Farbkomponenten gebildet ist, wobei m kleiner n ist, eine Korrelationswertberechnungseinrichtung zur Einstellung einer Referenzachse, die sich auf die Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt in einer Farbebene läuft, die durch die m Typen von Farbkomponenten definiert ist, und zur Berechnung, für jedes einer Vielzahl von Bildelementen des Farbbildes, eines Korrelationswerts mit einer vorbestimmten Referenz, die sich auf die Zielerkrankung bezieht, beruhend auf einem Winkel, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht, und eine Bewertungswertberechnungseinrichtung zum Integrieren der für die Bildelemente berechneten Korrelationswerte und Einstellen einer Summe der Korrelationswerte, die durch das Integrieren erhalten wird, als Bewertungswert, der sich auf die Zielerkrankung bezieht.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist der Korrelationswert vorzugsweise kleiner oder gleich einem ersten Wert und größer oder gleich einem zweiten Wert, wenn der Winkel kleiner oder gleich einem vorbestimmten Winkel ist, nähert sich der Korrelationswert desto enger dem ersten Wert, je kleiner der Winkel ist, und wenn der Winkel größer als der vorbestimmte Winkel ist, ist der Korrelationswert der zweite Wert.
Gemäß einem Ausführungsbeispiel ist der Korrelationswert vorzugsweise insbesondere ein normalisierter Wert, und der erste Wert ist 1, und der zweite Wert ist null.
Gemäß einem Ausführungsbeispiel kann die Umwandlungseinrichtung zum orthographischen Projizieren der Stücke von Bildelementdaten auf eine Farbebene eingerichtet sein, die sich in einem durch die n Typen von Farbkomponenten definierten Farbraum befinden.
Gemäß einem Ausführungsbeispiel ist die Referenzachse vorzugsweise eine Achse, zu der die umgewandelten Bildelemententsprechungspunkte bei Anstieg eines Symptomniveaus der Zielerkrankung vorwiegend konvergieren.
Gemäß einem Ausführungsbeispiel ist die Referenzachse vorzugsweise eine Achse, die eine entzündete Stelle mit höchstem Symptomniveau der Zielerkrankung angibt.
Gemäß einem Ausführungsbeispiel enthalten die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten vorzugsweise zwei aus einer R-Komponente, einer G-Komponente und einer B-Komponente. In diesem Fall enthalten die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten vorzugsweise die R-Komponente und eine aus der G-Komponente und der B-Komponente.
Gemäß einem Ausführungsbeispiel ist die Farbebene vorzugsweise eine Ebene, die eine R-Komponentenachse und eine G-Komponentenachse enthält.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung enthält die elektronische Endoskopverarbeitungseinrichtung vorzugsweise eine Anzeigeeinrichtung zur Anzeige des Bewertungswerts auf einem vorbestimmten Anzeigeschirm.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst die elektronische Endoskopverarbeitungseinrichtung vorzugsweise ferner eine Farbkomponentenersetzungseinrichtung zum Ersetzen einer Farbkomponente des Bildelements durch eine Farbkomponente, die dem Korrelationswert entspricht, für jedes der Bildelemente, für das der Korrelationswert berechnet wurde. In diesem Fall zeigt die Anzeigeeinrichtung vorzugsweise ein Endoskopbild auf dem Anzeigeschirm an, das durch die Bildelemente mit den ersetzten Farbkomponenten gebildet ist.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung kann die elektronische Endoskopverarbeitungseinrichtung ferner eine Farbkomponentenkorrektureinrichtung zum Korrigieren der Stücke von Bildelementdaten aus den m Typen von Farbkomponenten unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten enthalten, die durch die durch die Umwandlungseinrichtung durchgeführte Umwandlung erhalten werden. In diesem Fall berechnet die Korrelationswertberechnungseinrichtung den Korrelationswert für jedes Bildelement vorzugsweise beruhend auf einem Winkel, der durch die Referenzachse und ein Liniensegment gebildet wird, die den Referenzpunkt und den Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht, das aus den m Typen von Farbkomponenten gebildet ist und durch den Farbkomponentenkorrektureffizienten korrigiert wurde.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst eine elektronische Endoskopverarbeitungseinrichtung eine Korrelationswertberechnungseinrichtung zur Einstellung einer Referenzrichtung, die sich auf eine Zielerkrankung bezieht und von einem vorbestimmten Referenzpunkt in einem Farbraum erstreckt, der durch m-Typen von Farbkomponenten unter n-Typen von Farbkomponenten definiert ist, die Stücke von Bildelementdaten eines Farbbildes eines biologischen Gewebes in einer Körperhöhle bilden, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl größer oder gleich 2 ist, und m kleiner n ist, und Berechnen eines Korrelationswerts mit einem vorbestimmten Referenzzustand für jedes einer Vielzahl von Bildelementen des Farbbildes, der sich auf die Zielerkrankung bezieht, beruhend auf einem Ausmaß, mit der eine Richtung von dem Referenzpunkt zu einem Bildelemententsprechungspunkt, der dem Stück von Bildelementdaten in dem Farbraum entspricht, von der Referenzrichtung abweicht, und eine Bewertungswertberechnungseinrichtung zum Integrieren der für die Bildelemente berechneten Korrelationswerte und Einstellen einer durch das Integrieren erhaltenen Summe der Korrelationswerte als Bewertungswert, der sich auf die Zielerkrankung bezieht.
Der Korrelationswert ist vorzugsweise ein Wert, der einen Entzündungsgrad einer Schleimhaut eines biologischen Gewebes in einer Körperhöhle angibt.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist der Farbkomponentenkorrekturkoeffizient vorzugsweise ein vorbestimmter Korrekturmatrixkoeffizient zum Korrigieren der Stücke von Bildelementdaten aus den m Typen von Farbkomponenten.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst das elektronische Endoskopsystem eine elektronische Endoskopverarbeitungseinrichtung nach einer beliebigen der vorstehend angeführten, ein elektronisches Endoskop zur Erzeugung von Daten, die das Farbbild ausdrücken, und Ausgabe der Daten zu der elektronischen Endoskopverarbeitungseinrichtung, und eine Anzeigevorrichtung zur Anzeige des durch die elektronische Endoskopverarbeitungseinrichtung erhaltenen Bewertungswerts.
Gemäß einem Ausführungsbeispiel vorliegender Erfindung sind Farbton und Sättigung aus den Farbkomponenten ausgenommen.
Vorteilhafte Wirkungen der Erfindung
Mit einer elektronischen Endoskopverarbeitungseinrichtung und einem elektronischen Endoskopsystem gemäß einem Ausführungsbeispiel vorliegender Erfindung können Bewertungsinformationen, die beim Bewerten des Symptomniveaus einer Zielerkrankung von Vorteil sind, mit garantierter Objektivität und Reproduzierbarkeit erhalten werden.
Figurenliste

1 zeigt ein Blockschaltbild einer Konfiguration eines elektronischen Endoskopsystems gemäß einem Ausführungsbeispiel vorliegender Erfindung.
2 zeigt eine Darstellung eines Beispiels einer Konfiguration einer in 1 gezeigten Bildverarbeitungseinheit.
3 zeigt eine Darstellung eines Ablaufdiagramms einer Läsionsbewertungsinformationserzeugungsverarbeitung, die durch eine elektronische Endoskopverarbeitungseinrichtung ausgeführt wird, die in dem elektronischen Endoskopsystem gemäß dem Ausführungsbeispiel vorliegende Erfindung vorgesehen ist.
4 zeigt eine Darstellung einer RG-Ebene, auf der Bildelemententsprechungspunkte aufgetragen sind.
5 zeigt eine Darstellung einer Referenzachse, die in der RG-Ebene eingestellt ist.
6 zeigt eine schematische Darstellung einer Korrelationstabelle, die eine Beziehung zwischen Winkeln θ und Korrelationswerten CV definiert.
7 zeigt eine Darstellung einer Unterroutine von Verarbeitungsschritt S16 (Korrelationswert CV-Berechnung) in 3.
8 zeigt eine schematische Darstellung einer Anzeigefarbtabelle.
9 zeigt ein Beispiel eines Bewertungsbildes für eine Anzeige auf einem Anzeigeschirm eines Monitors.

Beschreibung der Ausführungsbeispiele
Nachstehend werden Ausführungsbeispiele vorliegender Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Im Folgenden wird ein Beispiel eines elektronischen Endoskopsystems als Ausführungsbeispiel vorliegender Erfindung beschrieben.
1 zeigt ein Blockschaltbild der Konfiguration eines elektronischen Endoskopsystems 1 gemäß einem Ausführungsbeispiel vorliegender Erfindung. Wie es in 1 gezeigt ist, umfasst das elektronische Endoskopsystem 1 ein elektronisches Endoskop 100, eine elektronische Endoskopverarbeitungseinrichtung 200, einen Monitor 300 und eine Druckeinrichtung 400.
Die elektronische Endoskopverarbeitungseinrichtung 200 umfasst eine Systemsteuereinrichtung 202 und eine Zeitsteuereinrichtung 206. Die Systemsteuereinrichtung 202 führt verschiedene Programme aus, die in einem Speicher 204 gespeichert sind, und führt eine Gesamtsteuerung des elektronischen Endoskopsystems 1 durch. Die Systemsteuereinrichtung 202 ändert auch verschiedene Einstellungen im elektronischen Endoskopsystem 1 gemäß Anweisungen, die durch einen Benutzer (Bediener oder Assistenten) in ein Bedienfeld 208 eingegeben werden. Die Zeitsteuereinrichtung 206 gibt Taktimpulse zu Schaltungen im elektronischen Endoskopsystem 1 aus, um die Betriebszeitvorgaben verschiedener Einheiten anzupassen.
Die elektronische Endoskopverarbeitungseinrichtung 200 umfasst eine Lichtquellenvorrichtung 230, die dem elektronischen Endoskop 100 Beleuchtungslicht zuführt. Die Lichtquellenvorrichtung 230 umfasst eine Lampe 232, eine Lampenstromversorgung 234, eine Kondensatorlinse 236 und eine Lichtanpassungsvorrichtung 240. Die Lampe 232 ist eine Hochenergielampe, die weißes Beleuchtungslicht bei Zufuhr einer Ansteuerleistung von der Lampenstromversorgung 234 emittiert, und beispielsweise wird ein Xenonlampe, eine Halogenmetalldampflampe, eine Quecksilberlampe oder eine Halogenlampe als Lampe verwendet. Durch die Lampe 232 emittiertes Beleuchtungslicht wird durch die Kondensatorlinse 236 kondensiert und tritt dann über die Lichtanpassungsvorrichtung 240 in das Eingangsende eines LCB (Lichtträgerbündels) 102 des elektronischen Endoskops 100 ein.
Es wird angemerkt, dass die Lampe 232 durch ein lichtemittierendes Halbleiterelement, wie eine LD (Laserdiode) oder LED (Licht emittierende Diode) ersetzt werden kann. Ein Licht emittierendes Halbleiterelement weist ein Merkmal auf, wie einen geringeren Energieverbrauch und einen geringeren Wärmeverlust als andere Lichtquellen, und hat daher den Vorteil, dass die Beschaffung heller Bilder ermöglicht wird, während Energieverbrauch und Wärmeverlust unterdrückt werden. Die Fähigkeit zur Beschaffung heller Bilder führt zu einer Verbesserung der Präzision eines nachstehend beschriebenen Bewertungswerts hinsichtlich einer Entzündung. Das Licht emittierende Halbleiterelement ist nicht darauf beschränkt, dass es in der Verarbeitungseinrichtung 200 vorgesehen ist, und kann im elektronischen Endoskop 100 vorgesehen sein. Das Licht emittierende Halbleiterelement kann beispielsweise am distalen Endabschnitt des elektronischen Endoskops 100 vorgesehen sein.
Die Lichtanpassungsvorrichtung 240 ist eine Vorrichtung, die die Beleuchtungslichtmenge, die in das Eingangsende des LCB 102 eintritt, unter der Steuerung der Systemsteuereinrichtung 202 anpasst, und umfasst eine Blende 242, einen Motor 243 und eine Ansteuereinrichtung 244. Die Ansteuereinrichtung 244 erzeugt Ansteuerstrom zur Ansteuerung des Motors 243 und führt dem Motor 243 den Ansteuerstrom zu. Die Blende 242 wird durch den Motor 243 derart angetrieben, dass die Größe einer Öffnung für die Passage des Beleuchtungslichts verändert wird, um die Beleuchtungslichtmenge anzupassen, die durch die Öffnung tritt.
Das Beleuchtungslicht tritt in das LCB 102 über dessen Eintrittsende ein, breitet sich im LCB 102 aus, wird vom Austrittsende des LCB 102 emittiert, das sich am distalen Endabschnitts des elektronischen Endoskops 100 befindet, und bestrahlt ein Subjekt über eine Lichtverteilungslinse 104. Vom Subjekt zurückkehrendes reflektiertes Licht geht durch eine Objektivlinse 106 und erzeugt ein optisches Bild auf der Lichtaufnahmefläche eines Festkörperbildsensors 108.
Der Festkörperbildsensor 108 ist ein Einzelplattenfarb-CCD (Ladungskopplungsbaustein) -Bildsensor, der verschiedene Filter aufweist, wie ein IR (Infrarot) -Abschneidefilter 108a und ein Bayer-Farbfilter 108b, die auf der Lichtaufnahmefläche angeordnet sind, und erzeugt drei aufgenommene Bildsignale von Primärfarben R (Rot), G (Grün) und B (Blau) gemäß dem optischen Bild, das auf der Lichtaufnahmefläche erzeugt wird.
Eine Ansteuersignalverarbeitungsschaltung 112 ist in einem Verbindungsabschnitt des elektronischen Endoskops 100 vorgesehen. Die Ansteuersignalverarbeitungsschaltung 112 erzeugt Bildsignale (Luminanzsignal Y und Farbdifferenzsignale Cb und Cr), indem sie die von dem Festkörperbildsensor 108 empfangenen Primärfarbsignale einer vorbestimmten Signalverarbeitung unterzieht, wie einer Farbinterpolation, Matrixoperationen und Y/C-Trennung, und gibt die erzeugten Bildsignale zu einer Bildverarbeitungseinheit 220 der elektronischen Endoskopverarbeitungseinrichtung 200 aus. Die Ansteuersignalverarbeitungsschaltung 112 greift auch auf einen Speicher 114 zu und liest eindeutige Informationen über das elektronische Endoskop 100 aus. Die eindeutigen Informationen hinsichtlich des elektronischen Endoskops 100, die im Speicher 114 aufgezeichnet sind, enthalten beispielsweise die Bildelementzahl, Empfindlichkeit, betreibbare Bildfrequenz und Modellnummer des Festkörperbildsensors 108. Die aus dem Speicher 114 ausgelesenen eindeutigen Informationen werden durch die Ansteuersignalverarbeitungsschaltung 112 zu der Systemsteuereinrichtung 202 ausgegeben.
Es wird angemerkt, dass vorzugsweise ein Primärfarb- (RGB-) Filter als Bayer-Farbfilter 108b verwendet wird, das im Festkörperbildsensor 108 verwendet wird. Ein Primärfarb- (RGB-) Filter hat bessere Farbentwicklungseigenschaften als ein Komplementärfarbfilter. Wenn daher ein RGB-Formatbildsignal, das durch einen Bildsensor erhalten wird, der ein Primärfarbfilter aufweist, zur Berechnung eines nachstehend beschriebenen Bewertungswerts hinsichtlich einer Entzündung verwendet wird, kann die Präzision dieser Bewertung verbessert werden. Die Verwendung eines Primärfarbfilters beseitigt auch das Erfordernis einer Durchführung einer Signalumwandlung bei der Verarbeitung zur Berechnung des entzündungsbezogenen Bewertungswerts. Dies ermöglicht daher die Unterdrückung des Verarbeitungsaufwands bei der Bewertungsberechnung.
Die Systemsteuereinrichtung 202 erzeugt Steuersignale durch Durchführen verschiedener Arithmetikoperationen beruhend auf den eindeutigen Informationen hinsichtlich des elektronischen Endoskops 100. Die Systemsteuereinrichtung 202 verwendet die erzeugten Steuersignale zur Steuerung der Arbeitsvorgänge und der Zeitvorgabe verschiedener Schaltungen in der elektronischen Endoskopverarbeitungseinrichtung 200 zur Durchführung einer für das elektronische Endoskop 100 geeigneten Verarbeitung, das mit der elektronischen Endoskopverarbeitungseinrichtung 200 verbunden ist.
Die Zeitsteuereinrichtung 206 führt der Ansteuersignalverarbeitungsschaltung 112 und der Bildverarbeitungseinheit 220 gemäß einer durch die Systemsteuereinrichtung 202 durchgeführten Zeitsteuerung Taktimpulse zu. Die Ansteuersignalverarbeitungsschaltung 112 steuert gemäß dem von der Zeitsteuereinrichtung 206 zugeführten Taktimpuls die Ansteuerung des Festkörperbildsensors 108 gemäß einer Zeitvorgabe, die mit der Bildfrequenz der durch die elektronische Bildverarbeitungseinrichtung 200 verarbeiteten Bilder synchronisiert ist.
Unter der Steuerung der Systemsteuereinrichtung 202 erzeugt die Bildverarbeitungseinheit 220 ein Videosignal zur Anzeige von Endoskopbildern und dergleichen auf einen Monitor beruhend auf von der Ansteuersignalverarbeitungsschaltung 112 empfangenen Bildsignalen und gibt das Videosignal zum Monitor 300 aus. Die Bildverarbeitungseinheit 220 führt ferner eine nachstehend beschriebene Läsionsbewertungsinformationserzeugungsverarbeitung durch und erzeugt ein Farbabbildungsbild, in dem Farben in einem aufgenommenen Bild beruhend auf den Ergebnissen der Läsionsbewertungsinformationserzeugungsverarbeitung ersetzt sind. Die Bildverarbeitungseinheit 220 erzeugt ein Videosignal zur Anzeige der Ergebnisse der Läsionsbewertungsinformationserzeugungsverarbeitung und des Farbabbildungsbildes auf einem Monitor und gibt das Videosignal zum Monitor 300 aus. Der Bediener kann so eine Gastrointestinaltraktdiagnose oder dergleichen über die auf dem Anzeigeschirm des Monitors 300 angezeigten Endoskopbilder durchführen.
Die elektronische Endoskopverarbeitungseinrichtung 200 ist über eine NIC (Netzwerkschnittstellenkarte) 210 und ein Netzwerk 500 mit einem Server 600 verbunden. Die elektronische Endoskopverarbeitungseinrichtung 200 kann Informationen hinsichtlich einer endoskopischen Untersuchung (beispielsweise elektronische Patientendatensatzinformationen und Bedienerinformationen) vom Server 600 herunterladen. Die heruntergeladenen Informationen werden auf dem Anzeigeschirm des Monitors 300, dem Bedienfeld 208 oder dergleichen angezeigt. Die elektronische Endoskopverarbeitungseinrichtung 200 kann endoskopische Untersuchungsergebnisse (beispielsweise Endoskopbilddaten, Untersuchungsbedingungen, Bildanalyseergebnisse und Bedienermeinungen) durch Hochladen der endoskopischen Untersuchungsergebnisse zum Server 600 im Server 600 speichern.
2 zeigt eine Darstellung eines Beispiels der Konfiguration der Bildverarbeitungseinheit 220.
Die Bildverarbeitungseinheit 220 enthält einen RGB-Umwandlungsabschnitt 220a, einen Farbraumumwandlungsabschnitt 220b, einen Farbkorrekturabschnitt 220c, einen Korrelationswertberechnungsabschnitt 220d, einen Bewertungswertberechnungsabschnitt 220e, einen Bewertungsbilderzeugungsabschnitt 220f, einen Speicher 222 und einen Bildspeicher 224. Die Bildverarbeitungseinheit 220 kann ein Softwaremodul sein, gemäß dem die Systemsteuereinrichtung 202 ein Programm startet und die Funktionen verschiedener Abschnitte ausbildet, oder kann ein Hardwaremodul sein, das durch dedizierte Schaltungen wie ein FPGA (feldprogrammierbares Gate Array) gebildet ist.
Der RGB-Umwandlungsabschnitt 220a ist zur Durchführung der Verarbeitung des nachstehend beschriebenen Verarbeitungsschritts S11 in 3 eingerichtet.
Der Farbraumumwandlungsabschnitt 220b ist zur Durchführung der Verarbeitung der nachstehend beschriebenen Verarbeitungsschritte S12 und 13 in 3 eingerichtet.
Der Farbkorrekturabschnitt 220c ist zur Durchführung der Verarbeitung des nachstehend beschriebenen Verarbeitungsschritts S14 in 3 eingerichtet.
Der Korrelationswertberechnungsabschnitt 220d ist zur Durchführung der Verarbeitung der nachstehend beschriebenen Verarbeitungsschritte S15 und 16 in 3 eingerichtet.
Der Bewertungswertberechnungsabschnitt 220e ist zur Durchführung der Verarbeitung des nachstehend beschriebenen Verarbeitungsschritts S17 in 3 eingerichtet.
Der Bewertungsbilderzeugungsabschnitt 220f ist zur Durchführung der Verarbeitung der nachstehend beschriebenen Verarbeitungsschritte S18 und 19 in 3 eingerichtet.
Der Speicher 222 speichert Informationen, die für eine durch die Bildverarbeitungseinheit 220 ausgeführte Verarbeitung erforderlich sind. Die gespeicherten Informationen enthalten unter anderem einen Korrekturmatrixkoeffizienten, der verwendet wird, wenn der Farbkorrekturabschnitt 220c eine Farbkorrektur durchführt, eine Korrelationstabelle, die verwendet wird, wenn der Bewertungswertberechnungsabschnitt 220e einen Bewertungswert berechnet, und eine Anzeigefarbtabelle, die verwendet wird, wenn der Bewertungsbilderzeugungsabschnitt 220f ein Farbabbildungsbild erzeugt.
Von der Ansteuersignalverarbeitungsschaltung 112 empfangene Bildsignale werden im Bildspeicher 224 als aufgenommene Bilder aufgezeichnet/ gespeichert, und verarbeitete Bilder, die die Ergebnisse der durch die Bildverarbeitungseinheit 220 ausgeführten Verarbeitung darstellen, werden nach Bedarf im Bildspeicher 224 aufgezeichnet/ gespeichert. Im Bildspeicher 224 aufgezeichnete/ gespeicherte Bilder werden für die Verarbeitung nach Bedarf abgerufen. Nachstehend werden Ausgestaltungen der Verarbeitung beschrieben.
Läsionsbewertungsinformationserzeugungsverarbeitung
3 zeigt ein Ablaufdiagramm der durch die elektronische Endoskopverarbeitungseinrichtung 200 ausgeführten Läsionsbewertungsinformationserzeugungsverarbeitung. Die nachstehend beschriebene Läsionsbewertungsinformationserzeugungsverarbeitung ist eine Verarbeitung zur objektiven Bewertung des Symptomniveaus einer Zielerkrankung (typischerweise einer Entzündung (Rotverfärbungsläsion einschließlich eines Ödems und einer Blutung), die eine Läsion bei einer entzündlichen Autoimmunerkrankung des Darms (IBD) ist) eines biologischen Gewebes, das durch das elektronische Endoskop 100 abgebildet wird. Im Allgemeinen wird bei der Läsionsbewertungsinformationserzeugungsverarbeitung ein Korrelationswert (Entzündungsgrad), der das Symptomniveau der Zielerkrankung angibt, für jedes Bildelement berechnet, das in Farbendoskopiebilddaten enthalten ist. Als nächstes wird ein Bewertungswert (das heißt ein Entzündungsbewertungswert) berechnet, um das Symptomniveau hinsichtlich der Entzündung für die Zielerkrankung in biologischem Gewebe, das das Subjekt darstellt, beruhend auf den Korrelationswerten zu bewerten, die für all die Bildelemente berechnet wurden.
Der Entzündungsbewertungswert stellt numerische Wertdaten dar, die durch Ausführen eines vorbestimmten Algorithmus (der in 3 gezeigten Läsionsbewertungsinformationserzeugungsverarbeitung) berechnet werden und eine garantierte Reproduzierbarkeit aufweisen. Durch Verstehen des Entzündungsbewertungswerts kann der Bediener daher das Symptomniveau der Zielerkrankung objektiv bewerten.
S11 (RGB-Umwandlung) in Figur 3
In diesem Verarbeitungsschritt S11 werden von der Ansteuersignalverarbeitungsschaltung 112 empfangene Bildsignale (Luminanzsignal Y, Farbdifferenzsignale Cb und Cr) unter Verwendung eines vorbestimmten Matrixkoeffizienten in Primärfarbsignale (R, G, B) umgewandelt.
S12 (Orthographische Projektion auf RG-Ebene) in Figur 3
Als nächstes werden die in Primärfarbsignale umgewandelten Bilddaten orthographisch auf eine RG-Ebene projiziert.
4 zeigt eine RG-Ebene, die durch eine R-Achse und eine G-Achse definiert ist, die zueinander orthogonal sind. Es wird angemerkt, dass die R-Achse die Achse für die R-Komponente (R-Bildelementwerte) ist, und die G-Achse die Achse für die G-Komponente (G-Bildelementwerte) ist.
In diesem Verarbeitungsschritt S12 werden für jedes Bildelement Bildelementdaten im RGB-Farbraum, der durch die drei Primärfarben RGB (dreidimensionale Bildelementdaten, die durch drei Typen von Farbkomponenten gebildet sind) definiert ist, in RG-Bildelementdaten (zweidimensionale Bildelementdaten, die durch zwei Typen von Farbkomponenten gebildet sind) umgewandelt. Wie es schematisch in 4 gezeigt ist, sind die Bildelementdaten für jedes Bildelement im RGB-Farbraum entsprechend den R- und G- Bildelementwerten in der RG-Ebene aufgetragen (insbesondere in einer Sektion der RG-Ebene aufgetragen, die die Werte von R=0 bis 255 und G=0 zu 255 annimmt). Nachstehend werden der Einfachheit halber die Punkte, die den Bildelementdaten von Bildelementen im RGB-Farbraum entsprechen, und die Punkte, die den in der RG-Ebene aufgetragenen Bildelementdaten entsprechen, als „Bildelemententsprechungspunkte“ bezeichnet. Es wird angemerkt, dass in 4 aus Klarheitsgründen Bildelemententsprechungspunkte nur für einige Bildelemente anstelle aller Bildelemente gezeigt sind. Die RGB-Farbkomponenten im RGB-Farbraum sind jeweils Farbkomponenten mit Wellenlängen von beispielsweise 620 bis 750 nm, 495 bis 570 nm und 450 bis 495 nm.
Es wird angemerkt, dass erfindungsgemäß die Farbkomponenten den Farbraum bilden (der auch die Farbebene enthält). Ferner sind Farbton und Sättigung von dem Ausdruck „Farbkomponente“ ausgenommen.
Auf diese Weise werden im Verarbeitungsschritt S12 Stücke von Bildelementdaten im RGB-Farbraum (dreidimensionale Daten) orthographisch auf die RG-Ebene projiziert, so dass für jedes Stück von Bildelementdaten der Fuß einer vertikalen Linie, die sich vom Entsprechungspunkt im RGB-Farbraum herunter auf die RG-Ebene erstreckt, als Bildelemententsprechungspunkt (zweidimensionale Daten) erachtet wird.
Es wird angemerkt, dass der Vorgang, mit dem die Bildelementdaten von Bildelementen im RGB-Farbraum in Bildelementdaten in der RG-Ebene umgewandelt werden (das heißt, die orthographische Projektion), die in diesem Verarbeitungsschritt S12 durchgeführt wird, durch eine Umwandlungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Farbumwandlungsabschnitt 22a die Funktionen der Umwandlungseinrichtung aus.
S13 (Referenzachseneinstellung) in Figur 3
In diesem Verarbeitungsschritt S13 wird eine Referenzachse in der RG-Ebene eingestellt, die zur Berechnung des Entzündungsgrades erforderlich ist, der objektive numerische Wertdaten hinsichtlich einer Zielerkrankung darstellt. 5 zeigt eine Darstellung zur Unterstützung der Beschreibung der Referenzachse.
Aufgrund von Einflüssen, wie Hämoglobinfarbstoff, ist die R-Komponente gegenüber den anderen Komponenten (G-Komponente und B-Komponente) in biologischem Gewebe in der Körperhöhle des Patienten, der das Subjekt darstellt, dominant, und je intensiver die Entzündung ist, ist die Rötung (R-Komponente) relativ zu den anderen Farbtönen (G-Komponente und B-Komponente) typischerweise erhöht. In Bildern aber, die in einer Körperhöhle aufgenommen werden, schwankt der Farbton gemäß Abbildungsbedingungen, die die Helligkeit beeinflussen (beispielsweise Beleuchtungsgrad mit Beleuchtungslicht). Beispielsweise erscheinen dunkel getönte Abschnitte, die vom Beleuchtungslicht nicht erreicht werden, schwarz (achromatisch, beispielsweise mit R-, G- und B-Werten von oder nahe null), und Abschnitte, wo das Beleuchtungslicht intensiv auftrifft und spiegelförmig reflektiert wird, erscheinen weiß (achromatisch, mit R-, G- und B-Werten an oder nahe 255). Das heißt, selbst wenn dieselbe entzündete anormale Stelle abgebildet wird, wird der Bildelementwert in dem Bild der anormalen Stelle größer sein, je intensiver das Beleuchtungslicht ihn trifft. Aus diesem Grund kann der Bildelementwert in Abhängigkeit vom Beleuchtungsgrad mit dem Beleuchtungslicht einen Wert annehmen, der keine Korrelation mit dem Entzündungsgrad hat.
Im Allgemeinen sind normale Stellen in einer Körperhöhle, die nicht entzündet sind, ausreichend mit Schleimhaut bedeckt. Anormale Stellen in einer Körperhöhle jedoch, die entzündet sind, sind nicht ausreichend mit Schleimhaut bedeckt. Wenn sich ein Blutgefäß erweitert, treten insbesondere Blut und Körperflüssigkeiten aus dem Blutgefäß aus, und daher wird die Schleimhaut relativ dünner, und die Farbe von Blut wird leichter sichtbar. Schleimhaut hat im Wesentlichen eine weiße Farbe, hat jedoch einen leicht gelblichen Farbton, und der Farbton (gelber Farbton), der in einem Bild erscheint, verändert sich gemäß der Dunkelheit/ Helligkeit (Membrandicke). Daher wird auch die Dunkelheit/ Helligkeit der Schleimhaut als Indikator zur Bewertung des Entzündungsgrades betrachtet.
In Anbetracht dessen wird im Verarbeitungsschritt S13, wie in 5 gezeigt, eine Gerade, die durch (50,0) und (255,76) in der RGB-Ebene läuft, als eine Referenzachse eingestellt, und eine Gerade, die durch (0,0) und (255,192) geht, wird als eine Referenzachse eingestellt. Der Einfachheit halber wird in der Beschreibung die erstgenannte Referenzachse „Hämoglobinvariationsachse AX1“ genannt, und die zweitgenannte Referenzachse wird „Schleimhautvariationsachse AX2“ genannt.
Die in 5 gezeigte graphische Darstellung ist das Ergebnis des Erfinders vorliegender Erfindung, der eine große Anzahl von Musterbildern von Körperhöhlen analysiert hat. Die bei der Analyse verwendeten Musterbilder enthielten Beispiele von Bildern verschiedener Stufen einer Entzündung, einschließlich Beispielen von Bildern einer Entzündung des höchsten Symptomniveaus (Beispiele von Bildern einer Entzündung des schwersten Grades) und Beispiele von Bildern einer Entzündung des niedrigsten Symptomniveaus (Beispiele von Bildern, die als im Wesentlichen normale Stellen erachtet werden). Es wird angemerkt, dass in dem Beispiel in 5 aus Klarheitsgründen lediglich ein Teil der Punkte in der Figure gezeigt ist, die als Analyseergebnisse erhalten werden. Die als Analyseergebnisse erhaltenen tatsächlichen Punkte sind viel mehr als die in 5 gezeigte Anzahl der Punkte.
Wie vorstehend beschrieben ist die R-Komponente relativ zu den anderen Komponenten (G-Komponente und B-Komponente) desto intensiver, je höher der Entzündungsgrad an einer anormalen Stelle ist. Aus diesem Grund wird eine Achse an der Grenzlinie, die Regionen trennt, wo Punkte verteilt sind und nicht verteilt sind, und die näher an der R-Achse als an der G-Achse ist, die die Grenzlinie ist, die durch (50,0) und (255,76) im Beispiel in 5 geht, als die Achse mit einer hohen Korrelation mit einer Läsionsstelle eingestellt, die das höchste Symptomniveau hat (eine entzündete (anormale Stelle) mit dem höchsten Symptomniveau). Diese Achse ist die Hämoglobinvariationsachse AX1. Punkte, die entzündeten Stellen entsprechen, die das höchste Symptomniveau aufweisen und unter verschiedenen Abbildungsbedingungen abgebildet wurden (beispielsweise Beleuchtungsgrad mit Beleuchtungslicht) befinden sich auf der Hämoglobinvariationsachse AX1. Demnach ist die Hämoglobinvariationsachse AX1 eine Achse, zu der die aufgetragenen Bildelemententsprechungspunkte zunehmend konvergieren, wenn das Symptomniveau der Zielerkrankung steigt.
Andererseits ist die G-Komponente (oder die B-Komponente) relativ zur R-Komponente desto intensiver, je stärker sich eine Stelle einer normalen Stelle nähert. Aus diesem Grund wird eine Achse auf der Grenzlinie, die Regionen trennt, wo Punkte verteilt sind und nicht verteilt sind, und die näher an der G-Achse als an der R-Achse liegt, die die Grenzlinie ist, die durch (0,0) und (255,192) im Beispiel in 5 geht, als die Achse mit einer hohen Korrelation mit einer Läsionsstelle mit niedrigstem Symptomniveau eingestellt (einer entzündeten (anormalen) Stelle mit dem niedrigsten Symptomniveau, die als im Wesentlichen normale (gesunde) Stelle erachtet wird). Diese Achse ist die Schleimhautvariationsachse AX2. Punkte, die entzündeten Stellen entsprechen, die das niedrigste Symptomniveau haben (die als im Wesentlichen normale Stellen erachtet werden) und unter verschiedenen Abbildungsbedingungen (beispielsweise Beleuchtungsgrad mit dem Beleuchtungslicht) abgebildet wurden, befinden sich auf der Schleimhautvariationsachse AX2. Demnach ist die Schleimhautvariationsachse AX2 eine Achse, zu der die aufgetragenen Bildelemententsprechungspunkte zunehmend konvergieren, wenn das Symptomniveau der Zielerkrankung fällt (je näher es an einer gesunden Stelle liegt).
Es wird ferner angemerkt, dass eine entzündete Stelle mit dem höchsten Symptomniveau für eine Zielerkrankung durch eine Blutung begleitet wird. Andererseits ist eine entzündete Stelle mit dem niedrigsten Symptomniveau eine im Wesentlichen normale Stelle oder gesunde Stelle, und ist daher mit ausreichend Schleimhaut bedeckt. Aus diesem Grund ist ersichtlich, dass die Punkte in der in 5 gezeigten RG-Ebene in der Region verteilt sind, die zwischen der Achse, die den höchsten Korrelationsgrad mit Blut (Blutfarbstoff) hat, und der Achse liegt, die die höchste Korrelation mit dem Farbton von Schleimhaut hat. Daher entspricht aus den Grenzlinien, die Regionen trennen, wo Punkte verteilt sind und nicht verteilt sind, die Grenzlinie näher an der R-Achse (höhere R-Komponente) der Achse, die eine entzündete Stelle mit dem höchsten Symptomniveau angibt (Hämoglobinvariationsachse AX1), und die Grenzlinie näher der G-Achse (höhere G-Komponente) entspricht der Achse, die eine entzündete Stelle mit dem niedrigsten Symptomniveau angibt (Schleimhautvariationsachse AX2). Nach der Durchführung dieser Referenzachseneinstellung wird die Verarbeitung des nachstehend beschriebenen Verarbeitungsschritts S15 bei den Bildelementdaten durchgeführt, die in S12 orthographisch projiziert wurden. Vor Verarbeitungsschritt S15 werden die orthographisch projizierten Bildelementdaten einer Farbkorrektur im Verarbeitungsschritt S14 unterzogen.
S14 (Bildelementdatenkorrektur) in Figur 3
Ein Korrekturmatrixkoeffizient ist im Speicher 222 gespeichert. In diesem Verarbeitungsschritt S14 werden zur Unterdrückung einer Schwankung in Scorewerten, wenn dieselbe Läsionsstelle mit unterschiedlichen elektronischen Endoskopsystemen abgebildet wird (das heißt, individuellen Unterschieden zwischen elektronischen Endoskopen), die Bildelementdaten (R, G) am Bildelemententsprechungspunkt jedes effektiven Bildelements unter Verwendung eines Korrekturmatrixkoeffizienten korrigiert.
Beispiele einer Korrekturmatrix

R_new: korrigierte Bildelementdaten (R-Komponente)
G_new: korrigierte Bildelementdaten (G-Komponente)
M₀₀-M₁₁: Korrekturmatrixkoeffizient
R: nichtkorrigierte Bildelementdaten (R-Komponente)
G: nichtkorrigierte Bildelementdaten (G-Komponente)

Es wird angemerkt, dass der Vorgang der Durchführung der Farbkorrektur bei dem Bildelemententsprechungspunkt jedes Bildelements unter Verwendung eines Korrekturmatrixkoeffizienten, der in diesem Verarbeitungsschritt S14 ausgeführt wird, durch eine Farbkomponentenkorrektureinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Farbkorrekturabschnitt 220c die Funktionen der Farbkomponentenkorrektureinrichtung aus.
S15 (Winkelberechnung) in Figur 3
In diesem Verarbeitungsschritt S15 wird ein Winkel zur Berechnung eines Entzündungsgrades für die Bildelementdaten (R_new, G_new,) jedes Bildelements berechnet, das durch die Korrektur erhalten wurde, die im Verarbeitungsschritt S14 durchgeführt wird (Farbkorrektur von Bildelementdaten). Insbesondere ist dieser Verarbeitungsschritt S15 eine Verarbeitung zur Berechnung eines Winkels θ für jedes Bildelement, der durch die Hämoglobinvariationsachse AX1 und ein Liniensegment L gebildet wird, das den Bildelemententsprechungspunkt (R_new, G_new) und einen Schnittpunkt (Referenzpunkt) O' der Hämoglobinvariationsachse AX1 und der Schleimhautvariationsachse AX2 verbindet (siehe 4). Es wird angemerkt, dass sich der Referenzpunkt O' an den Koordinaten (-150, -75) befindet.
Wenn sich die Helligkeit des aufgenommenen Bildes einer Körperhöhle gemäß dem Beleuchtungsgrad mit dem Beleuchtungslicht ändert, wird der Farbton des aufgenommenen Bildes durch individuelle Unterschiede, dem abgebildeten Ort, den Entzündungszustand und dergleichen beeinflusst, jedoch ändert sich in der RG-Ebene der Farbton ungefähr entlang der Hämoglobinvariationsachse AX1 bei einer entzündeten Stelle mit dem höchsten Symptomniveau, und ändert sich der Farbton ungefähr entlang der Schleimhautvariationsachse AX2 bei einer entzündeten Stelle mit dem niedrigsten Symptomniveau, das heißt einer gesunden Stelle. Es wird auch gefolgert, dass sich der Farbton des aufgenommenen Bildes an einer entzündeten Stelle mit moderatem Symptomniveau auch mit der gleichen Tendenz ändert. Wenn sich ein einer entzündeten Stelle entsprechender Bildelemententsprechungspunkt mit dem Beleuchtungsgrad mit dem Beleuchtungslicht ändert, tritt insbesondere eine Verschiebung in der Azimuthwinkelrichtung auf, wobei der Referenzpunkt O' als Ursprung dient. Das heißt, wenn sich ein einer entzündeten Stelle entsprechender Bildelemententsprechungspunkt mit dem Beleuchtungsgrad mit dem Beleuchtungslicht ändert, ändert sich die Entfernung vom Referenzpunkt O', während der Winkel θ konstant bleibt. Das heißt, dass der Winkel θ ein Parameter ist, der durch eine Änderung in der Helligkeit des aufgenommenen Bildes im Wesentlichen nicht beeinflusst wird.
Je kleiner der Winkel θ ist, desto intensiver ist die R-Komponente relativ zur G-Komponente, was angibt, dass das Symptomniveau der entzündeten Stelle höher ist. Je größer der Winkel θ ist, desto intensiver ist die G-Komponente relativ zur R-Komponente, was wiederum angibt, dass das Symptomniveau der entzündeten Stelle niedriger ist.
S16 (Korrelationswert CV-Berechnung) in Figur 3
Im Verarbeitungsschritt S16 in 3 werden Korrelationswerte CV beruhend auf den Winkeln θ berechnet, die im Verarbeitungsschritt S15 (Winkelberechnung) berechnet wurden. Der Korrelationswert CV (Entzündungsgrad) wird für jedes Bildelement beruhend auf der hohen Korrelation berechnet, dass, je kleiner der Winkel θ an einem Bildelement ist, desto wahrscheinlicher die Stelle an dem Bildelement eine entzündete Stelle ist, die das höchste Symptomniveau aufweist, oder anders gesagt, eine entzündete Stelle, die eine Farbkomponente auf der Hämoglobinvariationsachse AX1 hat, die eine der Referenzachsen ist.
6 zeigt eine schematische Darstellung einer Korrelationstabelle, die die Beziehung zwischen Winkeln θ und Korrelationswerten CV definiert. Die Korrelationswerte in dieser Korrelationstabelle sind kleiner oder gleich einem ersten Wert und größer oder gleich einem zweiten Wert. Die Korrelationstabelle ist derart konfiguriert, dass, wenn der Winkel θ kleiner oder gleich einem vorbestimmten Winkel ist, je kleiner der Winkel θ ist, desto stärker sich der Korrelationswert dem ersten Wert nähert, und wenn der Winkel θ größer als der vorbestimmte Winkel ist, der Korrelationswert der zweite Wert ist. Wenn der Winkel θ in der Korrelationstabelle kleiner oder gleich dem vorbestimmten Winkel ist, kann sich der Korrelationswert linear mit Änderung des Winkels θ ändern, oder sich nicht linear ändern. Der Korrelationswert CV ist beispielsweise ein normalisierter Wert (gleich 0,0 bis 1,0). Die Korrelationstabelle ist im Speicher 22 gespeichert.
Ein Bildelement, für das der Winkel θ kleiner oder gleich einem vorbestimmten Schwellenwert T ist (der Winkel θ ist größer oder gleich 0 und kleiner oder gleich dem vorbestimmten Schwellenwert T, was der Einfachheit halber als „erster Bereich“ R1 bezeichnet wird), hat Farbinformationen, die Blut (Blutfarbstoff) entsprechen oder diesem nahe sind. Je kleiner der Winkel θ im ersten Bereich R1 ist, desto höher ist die Korrelation mit Hämoglobinfarbstoff, und desto höher ist das Symptomniveau hinsichtlich der Zielerkrankung, und daher ist der Korrelationswert CV wie in 6 gezeigt desto höher.
Ein Bildelement jedoch, für das der Winkel θ außerhalb des ersten Bereichs R1 liegt (der Winkel θ ist größer als der vorbestimmte Schwellenwert T und ist kleiner oder gleich einem Winkel θ_MAX, der durch die Hämoglobinvariationsachse AX1 und die Schleimhautvariationsachse AX2 gebildet wird, was der Einfachheit halber als „zweiter Bereich“ R2 bezeichnet wird), weist eine Farbe auf, die Blut (Blutfarbstoff) nicht einmal nahe ist. Aus diesem Grund ist der Korrelationswert CV im zweiten Bereich R2 wie in 6 gezeigt gleichförmig 0.
7 zeigt eine Darstellung einer Unterroutine dieses Verarbeitungsschritts S16.
S16a in Figur 7
In diesem Verarbeitungsschritt S16a wird für jedes interessierende Bildelement, das in einer vorbestimmten Sequenz ausgewählt wird, bestimmt, ob der im Verarbeitungsschritt S15 (Winkelberechnung) berechnete Winkel θ im ersten Bereich R1 liegt oder nicht.
S16b in Figur 7
Dieser Verarbeitungsschritt S16b wird ausgeführt, wenn im Verarbeitungsschritt S16 bestimmt wurde, dass der Winkel θ des interessierenden Bildelements im ersten Bereich R1 liegt (S16a: Ja). In diesem Verarbeitungsschritt S16b wird dem interessierenden Bildelement der Korrelationswert CV (=0,0 bis 1,0) zugewiesen, der dem Winkel θ gemäß der Korrelationstabelle entspricht.
S16c in Figur 7
Dieser Verarbeitungsschritt S16c wird ausgeführt, wenn im Verarbeitungsschritt S16a bestimmt wird, dass der Winkel θ des interessierenden Bildelements nicht im ersten Bereich R1 liegt, das heißt, der Winkel θ des interessierenden Bildelements liegt im zweiten Bereich R2 (S16a: Nein). In diesem Verarbeitungsschritt S16c wird dem interessierenden Bildelement gemäß der Korrelationstabelle der Korrelationswert CV gleich 0 zugewiesen.
S16d in Figur 7
In diesem Verarbeitungsschritt S16d wird bestimmt, ob der Verarbeitungsschritt S16a für alle Bildelemente ausgeführt wurde. Verbleibt ein Bildelement, das dem Verarbeitungsschritt S16a nicht unterzogen wurde (S16d: Nein), kehrt die Prozedur zum Verarbeitungsschritt S16a zurück, und die Verarbeitung des Verarbeitungsschritts S16a und danach wird für das nächste interessierende Bildelement ausgeführt. Wurde der Verarbeitungsschritt S16a für alle Bildelemente ausgeführt (S16d: Ja), geht die Prozedur zu einem Verarbeitungsschritt S17 (Korrelationswert CV-Integration).
Durch die Ausführung dieses Verarbeitungsschritts S16 werden Korrelationswerte CV (gleich 0,0 bis 1,0) zwischen den Bildelementen und dem Hämoglobinfarbstoff erhalten. Indem die zweidimensionalen R- und G-Informationen zur Berechnung der Korrelationswerte CV zwischen den Bildelementen und dem Hämoglobinfarbstoff verwendet werden, können präzise Bewertungsergebnisse erhalten werden, die das Symptomniveau der entzündeten Stelle für alle Bildelemente reflektieren.
Es wird angemerkt, dass der Vorgang der Berechnung des Korrelationswerts CV für jedes Bildelement, der in diesem Verarbeitungsschritt S16 ausgeführt wird, durch eine Korrelationswertberechnungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Korrelationswertberechnungsabschnitt 220d die Funktionen der Korrelationswertberechnungseinrichtung aus.
S17 (Entzündungsbewertungswertberechnung) in Figur 3
In diesem Verarbeitungsschritt S17 werden die Korrelationswerte CV, die im Verarbeitungsschritt S16 (Korrelationswert CV-Berechnung) für alle Bildelemente berechnet wurden, integriert, und die durch diese Integration erhaltene Summe wird als Entzündungsbewertungswert berechnet, der zur Bewertung des Symptomniveaus der Zielerkrankung dient, eine numerische Darstellung des Symptomniveaus an der Läsionsstelle ist, die im Endoskopbild erscheint, und objektiv und reproduzierbar ist (nicht von Bedienerfähigkeiten abhängt).
Es wird angemerkt, dass der Vorgang der Berechnung des Entzündungsbewertungswerts, der in diesem Verarbeitungsschritt S17 ausgeführt wird, durch eine Bewertungswertberechnungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Bewertungswertberechnungsabschnitt 220e die Funktionen der Korrelationswertberechnungseinrichtung aus.
S18 (Bestimmung von Anzeigefarbe im Farbabbildungsbild) in Figur 3
Bei diesem Ausführungsbeispiel kann ein Farbabbildungsbild angezeigt werden, das ein aufgenommenes Bild in Mosaikform unter Verwendung von Anzeigefarben ausdrückt, die den Korrelationswerten (Entzündungsgraden) entsprechen. Um dieses Farbabbildungsbild anzeigen zu können, wird eine Anzeigefarbtabelle, die Korrelationswerte CV mit vorbestimmten Anzeigefarben assoziiert, in einem Speichermedium, das heißt dem Speicher 222 gespeichert.
8 zeigt eine schematische Darstellung der Anzeigefarbtabelle. Wie es in 8 gezeigt ist, sind die Korrelationswerte CV (= 0,0 bis 1,0) in der Anzeigefarbtabelle in 11 Stufen unterteilt, und jeder Stufe ist eine vorbestimmte Anzeigefarbe zugeordnet. In diesem Verarbeitungsschritt S18 wird die Farbe jedes Bildelements durch die Anzeigefarbe ersetzt die gemäß der Anzeigefarbtabelle mit dem Korrelationswert CV assoziiert ist, das heißt, die Anzeigefarbe in dem Farbabbildungsbild wird beruhend auf der Anzeigefarbtabelle bestimmt. Für jedes Bildelement gilt beispielsweise, dass, je näher der Korrelationswert CV an null liegt, desto kühler die Farbe zum Ersetzen ist, und je näher der Korrelationswert CV an eins liegt, desto wärmer die Farbe zum Ersetzen ist.
Es wird angemerkt, dass der Vorgang des Ersetzens der Farbe jedes Bildelements durch die mit dem Korrelationswert CV assoziierte Anzeigefarbe, der in diesem Verarbeitungsschritt S18 ausgeführt wird, durch eine Farbersetzungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Bewertungsbilderzeugungsabschnitt 220f die Funktionen der Farbersetzungseinrichtung aus.
S19 (Bewertungsbildanzeige) in Figur 3
In diesem Verarbeitungsschritt S19 wird auf dem Anzeigeschirm des Monitors 300 ein vorbestimmtes Bewertungsbild angezeigt. 9 zeigt ein Beispiel eines Bewertungsbildes. Wie es in 9 gezeigt ist, enthält das Bewertungsbild ein Farbabbildungsbild, in dem die Farben von Bildelementen im Verarbeitungsschritt S18 (Bestimmung einer Anzeigefarbe im Farbabbildungsbild) ersetzt wurden. Wie es in 9 gezeigt ist, ist ein Farbabbildungsbild ein Gradationsbild, in dem die Bildelemente in elf Stufen von Farben nach dem Symptomniveau der Zielerkrankung unterteilt sind. Der Bediener kann so das Ausmaß der Entzündung, die auftritt, an einer beliebigen Position im Bildwinkel des aufgenommenen Bildes leicht wahrnehmen.
In dem Bewertungsbild wird auch der Entzündungsbewertungswert auf dem Monitor 300 angezeigt, der die Summe der Korrelationswerte CV der Bildelemente darstellt. In dem Beispiel in 9 wird „Score: 1917“ angezeigt. Auf diese Weise wird bei diesem Ausführungsbeispiel das Symptom der Zielerkrankung als numerischer Wert angezeigt, der eine garantierte Objektivität und Reproduzierbarkeit hat. Demnach kann der Bediener das Symptom der Zielerkrankung objektiv verstehen.
Es wird angemerkt, dass der Vorgang des Anzeigens des Bewertungsbildes, das das Farbabbildungsbild und den Entzündungsbewertungswert enthält, der in diesem Verarbeitungsschritt S19 ausgeführt wird, durch eine Anzeigeeinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise der in 2 gezeigte Bewertungsbilderzeugungsabschnitt 220f die Funktionen der Anzeigeeinrichtung aus.
Herkömmlicherweise ist das Symptom der Entzündung einer entzündlichen Autoimmunerkrankung des Darms gemäß einer Beobachtungsbewertung, wie dem MAYO Score, in vier Stufen unterteilt. In letzter Zeit wurde herausgefunden, dass eine Korrelation zwischen dem Erreichen einer Schleimhautheilung und der Remissionserhaltungsperiode eine Korrelation besteht. Aus diesem Grund wird angenommen, dass eine detailliertere Bewertung von Symptomen für milde Fälle entsprechend MAYO 0 und MAYO 1 einen Vorteil bei der Behandlung der entzündlichen Autoimmunerkrankung des Darms hat. Bei diesem Ausführungsbeispiel wird das Symptom an einer entzündeten Stelle unter Verwendung eines detaillierten numerischen Werts angezeigt, und der Bediener kann eine detaillierte Bewertung des Symptoms an der entzündeten Stelle durchführen. Das heißt, mit diesem Ausführungsbeispiel ist es möglich, eine detaillierte Bewertung von Symptomen in milden Fällen durchzuführen, die MAYO 0 und MAYO 1 entsprechen, und daher ist dies bei der Behandlung einer entzündlichen Autoimmunerkrankung des Darms von Vorteil.
Die Bildverarbeitungseinheit 220 stellt auf diese Weise eine Referenzachse, beispielsweise die Hämoglobinvariationsachse AX1, die sich auf eine Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt geht, beispielsweise den Referenzpunkt O', in einer Farbebene ein, die durch m Typen von Farbkomponenten, beispielsweise zwei Typen von Farbkomponenten definiert ist, und berechnet für jedes Bildelement eines Farbbildes einen Korrelationswert mit einer vorbestimmten Referenz hinsichtlich der Zielerkrankung beruhend auf einem Winkel θ, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet. Insbesondere stellt die Bildverarbeitungseinheit 220 eine Referenzrichtung ein, die sich auf die Zielerkrankung bezieht und sich von einem vorbestimmten Referenzpunkt in einem Farbraum erstreckt, der durch m Typen von Farbkomponenten definiert ist, die kleiner als die Anzahl von Farbkomponenten ist, die Bildelementdaten eines Farbbildes einer Körperhöhle bilden, und berechnet für jedes Bildelement des Farbbildelements einen Korrelationswert mit einem vorbestimmten Referenzzustand hinsichtlich der Zielerkrankung beruhend auf einem Ausmaß, mit dem eine Richtung von dem Referenzpunkt zu einem Bildelemententsprechungspunkt in dem Farbraum von der Referenzrichtung abweicht. Demnach können Bewertungsinformationen mit garantierter Objektivität und Reproduzierbarkeit erhalten werden, die beim Bewerten des Symptomniveaus einer Zielerkrankung von Vorteil sind.
In dem vorstehenden Ausführungsbeispiel ist der Korrelationswert kleiner oder gleich einem ersten Wert und größer oder gleich einem zweiten Wert; wenn der Winkel θ kleiner oder gleich einem vorbestimmten Winkel ist (beispielsweise der in 6 gezeigte erste Bereich R1), nähert sich der Korrelationswert dem ersten Wert stärker, je kleiner der Winkel θ ist, und wenn der Winkel θ größer als der vorbestimmte Winkel ist (beispielsweise der in 6 gezeigte zweite Bereich R2), ist der Korrelationswert der zweite Wert. In dem in 4 gezeigten Beispiel kann der vorbestimmte Winkel auf den Winkel eingestellt werden, der zwischen der Hämoglobinachse AX1 und der Schleimhautvariationsachse AX2 gebildet wird. Im Wesentlichen befinden sich keine Bildelemententsprechungspunkte in der Region an der steigenden G-Komponentenseite der in 4 gezeigten Schleimhautvariationsachse AX2, und selbst wenn sich ein Bildelemententsprechungspunkt in dieser Region befinden würde, wäre er ein Bildelemententsprechungspunkt mit geringer Zuverlässigkeit aufgrund des Enthaltens von Rauschen oder dergleichen. Das Bereitstellen nichtlinearer Bewertungswerte gemäß der Größe des Winkels θ ist in Anbetracht des Bereitstellens eines Korrelationswerts für jeden Bildelemententsprechungspunkt, der auf dessen tatsächlichem Symptomniveau beruht, von Vorteil. Durch Normalisieren der Korrelationswerte zwischen 0 und 1 und Einstellen des zweiten Werts auf 0 haben die Korrelationswerte von Bildelemententsprechungspunkten, für die der Winkel θ größer als der vorbestimmte Winkel ist, insbesondere keinen Einfluss auf den Entzündungsbewertungswert, der durch Integrieren aller Korrelationswerte erhalten wird, wodurch eine objektive Bewertung des Symptomniveaus der Zielerkrankung gemäß der Größe des Entzündungsbewertungswerts ermöglicht wird.
In dem vorstehenden Ausführungsbeispiel wird eine Referenzachse, wie die Hämoglobinachse AX1, zur Berechnung des Winkels θ verwendet. Diese Referenzachse ist eine Achse, zu der die Bildelemententsprechungspunkte zunehmend konvergieren, wenn das Symptomniveau der Zielerkrankung steigt. Es kann daher gesagt werden, dass das Symptomniveau steigt, wenn der Winkel θ erreicht wird. Unter Ausnutzung dieser Tatsache kann der Korrelationswert präzise berechnet werden.
Hinsichtlich der Farbkomponenten von biologischem Gewebe in einer Körperhöhle, die durch das elektronische Endoskopsystem 1 abgebildet wird, ist der Anteil der R-Komponente aufgrund von Hämoglobinfarbstoff oder dergleichen groß. Auch der Anteil der G-Komponente und der B-Komponente ist aufgrund von Schleimhaut und anderem Gewebe relativ groß. Aus dem Gesichtspunkt der präzisen Bewertung des Symptomniveaus zwischen normalen Stellen und Läsionsstellen wird aus diesem Grund bevorzugt, dass die Farbkomponenten, die einen Bildelemententsprechungspunkt bilden, zumindest zwei aus der R-Komponente, der G-Komponente und der B-Komponente enthalten, und es wird insbesondere bevorzugt, dass die R-Komponente und eine Farbkomponente aus der G-Komponente und der B-Komponente enthalten sind. Gelbliche bis grünliche Schleimhäute befinden sich in einer Körperhöhle an der Oberfläche von biologischem Gewebe. In Abhängigkeit vom Grad der Entzündung der Schleimhaut ändern sich die gelben bis grünen Farbkomponenten, und die rote Farbkomponente ändert sich auch, und daher wird bevorzugt, dass die Farbebene, die bei der Berechnung des Winkels θ verwendet wird, eine Ebene ist, die eine R-Komponentenachse und eine G-Komponentenachse enthält. Demnach wird bevorzugt, dass der Korrelationswert ein Wert ist, der das Ausmaß einer Entzündung einer Schleimhaut eines biologischen Gewebes in einer Körperhöhle angibt.
Die elektronische Endoskopverarbeitungseinrichtung 200 enthält eine Farbersetzungseinrichtung zum Ersetzen der Farben von Bildelementen eines Farbbildes durch Farben, die den Korrelationswerten der Bildelemente entsprechen, unter Verwendung einer Anzeigefarbtabelle, und eine Anzeigesteuereinrichtung zur Anzeige eines Farbabbildungsbildes, das durch das Farbersetzen erhalten wird, auf einem Anzeigeschirm des Monitors 300, und der Monitor 300 ist zur Anzeige eines Entzündungsbewertungswerts und des Farbabbildungsbildes gleichzeitig eingerichtet, wie es in 9 gezeigt ist. Der Bediener kann demnach den Anzeigeschirm betrachten und eine Bewertung des Symptomniveaus an einer Läsionsstelle mit garantierter Objektivität und Reproduzierbarkeit durchführen.
Das elektronische Endoskopsystem gemäß diesem Ausführungsbeispiel erzielt auf den anwendbaren technischen Gebieten Wirkungen und Problemlösungen wie die Folgenden.
Erstens ist das elektronische Endoskopsystem gemäß diesem Ausführungsbeispiel eine Diagnosehilfe für eine Früherkennung einer entzündlichen Erkrankung.
Zweitens ist es mit der Konfiguration des Ausführungsbeispiels möglich, einen Bildschirm anzuzeigen, der das Ausmaß einer Entzündung (beispielsweise ein Bewertungsbild) zeigt, oder das Bild in einer Region zu verbessern, in der eine Entzündung auftritt, so dass der Bediener eine milde Entzündung entdecken kann, die schwer zu sehen ist. Insbesondere ist eine milde Entzündung von einer normalen Stelle schwer zu unterscheiden, und daher sind die Wirkungen, die durch die Konfiguration des Ausführungsbeispiels hinsichtlich der Bewertung einer milden Entzündung erzielt werden, bemerkenswert.
Drittens ist es mit der Konfiguration des Ausführungsbeispiels möglich, dem Bediener einen objektiven Bewertungswert als Bewertung des Grads einer Entzündung bereitzustellen, wodurch es möglich wird, Unterschiede in Diagnosen unter Bedienern zu reduzieren. Insbesondere besteht ein großer Vorteil darin, einem Bediener mit wenig Erfahrung einen objektiven Bewertungswert bereitstellen zu können, der durch die Konfiguration dieses Ausführungsbeispiels erhalten wird.
Viertens wird mit der Konfiguration des vorliegenden Ausführungsbeispiels der Bildverarbeitungsaufwand reduziert, wodurch eine Echtzeitanzeige von Bildern einer entzündeten Stelle möglich wird. Dies ermöglicht die Verbesserung einer Diagnosegenauigkeit.
Die Stelle, die bei dem Ausführungsbeispiel zu betrachten ist, ist beispielsweise ein Atmungsorgan oder dergleichen oder ein Verdauungsorgan oder dergleichen. Hier beinhaltet „Atmungsorgan oder dergleichen“ beispielsweise die Lungen, die Ohren, die Nase und die Kehle. „Verdauungsorgan oder dergleichen“ beinhaltet beispielsweise den Dickdarm, den Dünndarm, den Magen, den Zwölffingerdarm und den Uterus. Von dem elektronischem Endoskopsystem gemäß diesem Ausführungsbeispiel wird angenommen, dass es noch bemerkenswertere Effekte hat, wenn das Beobachtungsziel der Dickdarm ist. Im Folgenden sind spezielle Gründe dafür aufgeführt.
Der Dickdarm ist anfällig für Erkrankungen, die unter Verwendung einer Entzündung als Referenz bewertet werden können, und der Vorteil der Entdeckung entzündeter Stellen ist größer als im Fall anderer Organe. Insbesondere ist der im Ausführungsbeispiel veranschaulichte Entzündungsbewertungswert als Indikator einer entzündlichen Autoimmunerkrankung des Darms (IBD) effektiv, die durch Colitis ulcerosa verkörpert wird. Ein Behandlungsverfahren ist für Colitis ulcerosa noch nicht etabliert, und daher ist die Verwendung des elektronischen Endoskopsystems mit dem Aufbau dieses Ausführungsbeispiels beim Treffen einer frühen Diagnose und Unterdrücken des Fortschreitens der Erkrankung sehr effektiv.
Der Dickdarm ist ein engeres und längeres Organ als der Magen und dergleichen, und die enthaltenen Bilder haben eine größere Tiefe und sind dunkler, wenn sich die Tiefe erhöht. Gemäß der Konfiguration des Ausführungsbeispiels kann eine Variation im Bewertungswert unterdrückt werden, die durch Änderungen der Helligkeit im Bild verursacht wird. Wenn das elektronische Endoskopsystem gemäß dem Ausführungsbeispiel bei der Betrachtung des Dickdarms angewendet wird, sind demnach die Effekte des Ausführungsbeispiels bemerkenswert. Das heißt, das elektronische Endoskopsystem gemäß dem Ausführungsbeispiel ist vorzugsweise ein elektronisches Atmungsorganendoskopsystem oder ein elektronisches Verdauungsorganendoskopsystem, und ist noch besser ein elektronisches Dickdarmendoskopsystem.
Obwohl eine milde Entzündung im Allgemeinen schwer zu diagnostizieren ist, kann gemäß der Konfiguration des Ausführungsbeispiels durch Anzeigen der Ergebnisse einer Entzündungsgradbewertung beispielsweise auf dem Bildschirm eine Situation vermieden werden, in der der Bediener eine milde Entzündung übersieht. Insbesondere im Fall einer milden Entzündung sind die Bestimmungskriterien nicht klar, und dies ist ein Faktor, der große individuelle Unterschiede unter Bedienern verursacht. Auch in dieser Hinsicht kann der Bediener gemäß der Konfiguration des Ausführungsbeispiels mit einem objektiven Bewertungswert versehen werden, wodurch eine Variation in Diagnosen reduziert werden kann, die durch individuelle Unterschiede verursacht wird.
Es wird angemerkt, dass die vorstehend beschriebene Konfiguration des Ausführungsbeispiels bei der Berechnung eines Bewertungswerts nicht nur des Grads einer Entzündung sondern von Krebs, Polypen und verschiedenen anderen Läsionen anwendbar ist, die durch eine Farbänderung begleitet werden, und vorteilhafte Wirkungen ähnlich der vorstehend beschriebenen auch in diesen anderen Fällen erreicht werden können. Das heißt, der Bewertungswert des vorliegenden Ausführungsbeispiels ist vorzugsweise ein Bewertungswert für eine Läsion, die durch eine Farbänderung begleitet wird, und enthält einen Bewertungswert einer Entzündung und/ oder von Krebs und/ oder von Polypen.
Vorstehend ist ein veranschaulichendes Ausführungsbeispiel vorliegender Erfindung beschrieben. Die Ausführungsbeispiele vorliegender Erfindung sind nicht auf die vorstehende Beschreibung beschränkt, und es können verschiedene Änderungen durchgeführt werden, ohne vom Schutzbereich der technischen Idee vorliegender Erfindung abzuweichen. Beispielsweise sind geeignete Kombinationen von Ausführungsbeispielen und dergleichen, die explizit als Beispiele in dieser Beschreibung angeführt sind, und offensichtliche Ausführungsbeispiele und dergleichen auch in den Ausführungsbeispielen vorliegender Erfindung enthalten. Anstelle für alle Bildelemente berechnet zu werden, kann der Korrelationswert beispielsweise lediglich für einen Teil von Bildelementen berechnet werden, die eine vorbestimmte Bedingung erfüllen (beispielsweise für Bildelemente, für die der Luminanzwert in einem geeigneten Bereich liegt).
In dem vorstehenden Ausführungsbeispiel werden RGB-Farbraumbildelementdaten in RG-Ebene-Bildelementdaten umgewandelt, und ein Entzündungsbewertungswert hinsichtlich einer Zielerkrankung wird unter Verwendung der R-Komponente und der G-Komponente berechnet, die in den umgewandelten Bildelementdaten enthalten sind, jedoch ist bei einem anderen Ausführungsbeispiel eine Konfiguration möglich, bei der Anstelle des RGB-Farbraums Bildelementdaten in einem anderen Farbraum (einem durch n (n ≥ 3) Typen von Farbkomponenten definierten Farbraum), wie dem CIE 1976 L*a*b*-Farbraum, dem CIE LCh-Farbraum, dem CIE 1976 L*u*v*-Farbraum, dem HSB-Farbraum, dem sRGB-Farbraum, dem CMK-Farbraum, dem CMYK-Farbraum oder dem CMYG-Farbraum, in Bildelementdaten in einem Farbraum niedrigerer Ordnung (einem durch n > m ≥ 2) Typen von Farbkomponenten definierten Farbraum) umgewandelt werden, und diese Bildelementdaten zur Durchführung einer Bewertung verwendet werden, die jedem Farbraum entspricht, und sich auf eine andere Zielerkrankung als in dem vorstehenden Ausführungsbeispiel bezieht (Magenatrophie, Dickdarmtumor oder dergleichen).
Als die im elektronischen Endoskopsystem 1 verwendete Lichtquelle können verschiedene Arten von Lichtquellen verwendet werden. Allerdings ist auch ein Modus möglich, in dem der Lichtquellentyp in Abhängigkeit vom Betrachtungsziel des elektronischen Endoskopsystems 1 oder dergleichen begrenzt ist (beispielsweise ist ein Lasertyp als Lichtquellentyp ausgeschlossen). Hier ändert sich in dem Korrekturmatrixkoeffizient der optimale Wert gemäß den spektralen Eigenschaften der verwendeten Lichtquelle. Wenn die Verarbeitungseinrichtung 200 beispielsweise eine Vielzahl von Lichtquellentypen verwendet (oder eine Vielzahl von Typen externer Lichtquellen wird während der Verwendung umgeschaltet), kann der Speicher 222 einen Korrekturmatrixkoeffizienten für jeden Lichtquellentyp speichern. So kann eine Variation in den Bewertungswerten unterdrückt werden, die durch die spektralen Eigenschaften der verwendeten Lichtquelle verursacht wird.
Bei dem vorstehenden Ausführungsbeispiel wird der Winkel θ berechnet, der durch die Hämoglobinvariationsachse AX1 und ein Liniensegment L gebildet wird, das den Referenzpunkt O' und den Bildelemententsprechungspunkt verbindet, und eine Bewertung hinsichtlich einer Zielerkrankung wird beruhend auf dem berechneten Winkel θ durchgeführt, jedoch ist vorliegende Erfindung nicht darauf beschränkt. Beispielsweise ist eine Konfiguration möglich, in der der Winkel berechnet wird, der durch das Liniensegment L und die Schleimhautvariationsachse AX2 gebildet wird, und die Bewertung hinsichtlich einer Zielerkrankung beruhend auf diesem berechneten Winkel durchgeführt wird. Je kleiner der berechnete Winkel ist, desto intensiver ist in diesem Fall die G-Komponente relativ zur R-Komponente, was angibt, dass die Schwere der entzündeten Stelle geringer ist, und je größer der berechnete Winkel ist, desto intensiver ist die R-Komponente relativ zur G-Komponente, was angibt, dass die Schwere der entzündeten Stelle größer ist.
In dem vorstehenden Ausführungsbeispiel ist der Schnittpunkt der Hämoglobinvariationsachse AX1 und der Schleimhautvariationsachse AX2 ferner als Referenzpunkt O' zum Minimieren des Einflusses eingestellt, den die Helligkeit des aufgenommenen Bildes auf den Entzündungsbewertungswert hat, jedoch ist vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann der Ursprung (0,0) der RG-Ebene als Referenzpunkt O' eingestellt werden, der sich auf der Schleimhautvariationsachse AX2 befindet. In diesem Fall ist die minimal erforderliche Referenzachse lediglich eine Achse (die Schleimhautvariationsachse AX2), wodurch sich der Verarbeitungsaufwand verringert und die Verarbeitungsgeschwindigkeit erhöht.
Obwohl die Lichtquellenvorrichtung 230 in dem vorstehenden Ausführungsbeispiel mit der elektronischen Endoskopverarbeitungseinrichtung 200 integriert vorhanden ist, kann die Lichtquellenvorrichtung 230 als Vorrichtung vorgesehen sein, die von der elektronischen Endoskopverarbeitungseinrichtung 200 getrennt ist.
Anstelle eines CCD-Bildsensors kann ein CMOS (Komplementärmetalloxidhalbleiter) -Bildsensor als Festkörperbildsensor 108 verwendet werden. Im Allgemeinen tendiert das Bild mit einem CMOS-Bildsensor dazu, insgesamt dunkler als im Fall eines CCD-Bildsensors zu sein. Demnach ist der vorteilhafte Effekt der Konfiguration des vorstehenden Ausführungsbeispiels, dass eine Variation im Bewertungswert unterdrückt werden kann, die durch eine Bildhelligkeit verursacht wird, in einer Situation noch bemerkenswerter, in der ein CMOS-Bildsensor als Festkörperbildsensor verwendet wird.
Um eine Diagnose präzise zu stellen, wird das Erhalten von Hochauflösungsbildern bevorzugt. Vom Gesichtspunkt einer weiteren Verbesserung der Diagnosegenauigkeit mittels des elektronischen Endoskopsystems 1 beträgt die Bildauflösung vorzugsweise 1 Million Bildelemente oder mehr, besser 2 Millionen Bildelemente oder mehr und noch besser 8 Millionen Bildelemente oder mehr. Je höher die Auflösung des Bildes ist, desto größer wird der Verarbeitungsaufwand zur Berechnung des vorstehend beschriebenen Bewertungswerts für alle Bildelemente. Mit der Konfiguration des vorstehenden Ausführungsbeispiels ist es allerdings möglich, den Verarbeitungsaufwand bei der Bewertungswertberechnung zu unterdrücken, und daher ist der vorteilhafte Effekt der Konfiguration vorliegenden Ausführungsbeispiels in der Situation der Verarbeitung eines Hochauflösungsbildes bemerkenswert.
Obwohl der Festkörperbildsensor 108, der das RGB-Bayer-Farbfilter 108b aufweist, bei diesem Ausführungsbeispiel verwendet wird, kann ein Festkörperbildsensor verwendet werden, der ein komplementäres Farbfilter mit den Farben Cy (cyan), Mg (magenta), Ye (gelb) und G (grün) aufweist.
Bezugszeichenliste

1: Elektronisches Endoskopsystem
100: Elektronisches Endoskop
200: Elektronische Endoskopverarbeitungseinrichtung
220: Bildverarbeitungseinheit
220a: RGB-Umwandlungsabschnitt
220b: Farbraumumwandlungsabschnitt
220c: Farbkorrekturabschnitt
220d: Korrelationswertberechnungsabschnitt
220e: Bewertungswertberechnungsabschnitt
220f: Bewertungsbilderzeugungsabschnitt
222: Speicher
224: Bildspeicher
300: Monitor
400: Druckeinrichtung
600: Server

Claims

Elektronische Endoskopverarbeitungseinrichtung (200) mit einer Umwandlungseinrichtung (220a) zur Umwandlung jedes Stücks einer Vielzahl von Stücken von Bildelementdaten, die aus n Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m Typen von Farbkomponenten gebildet ist, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl gleich 2 ist, und m kleiner als n ist, einer Korrelationswertberechnungseinrichtung (220d) zur Einstellung einer Referenzachse, die sich auf eine Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt in einer Farbebene läuft, die durch die m Typen von Farbkomponenten definiert ist, und zur Berechnung eines Korrelationswerts mit einer vorbestimmten Referenz, die sich auf die Zielerkrankung bezieht, für jedes einer Vielzahl von Bildelementen des Farbbildes beruhend auf einem Winkel, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht, und einer Bewertungswertberechnungseinrichtung (220e) zum Integrieren der für die Bildelemente berechneten Korrelationswerte und Einstellen einer durch die Integration erhaltenen Summe der Korrelationswerte als Bewertungswert, der sich auf die Zielerkrankung bezieht.
Elektronische Endoskopverarbeitungseinrichtung (200) nach Anspruch 1, wobei der Korrelationswert kleiner oder gleich einem ersten Wert und größer oder gleich einem zweiten Wert ist, wenn der Winkel kleiner oder gleich einem vorbestimmten Winkel ist, je kleiner der Winkel ist, desto stärker sich der Korrelationswert an den ersten Wert annähert, und wenn der Winkel größer als der vorbestimmte Winkel ist, der Korrelationswert der zweite Wert ist.
Elektronische Endoskopverarbeitungseinrichtung (200) nach Anspruch 2, wobei der Korrelationswert ein normalisierter Wert ist, und der erste Wert 1 ist und der zweite Wert 0 ist.
Elektronische Endoskopverarbeitungseinrichtung (200) nach einem der Ansprüche 1 bis 3, wobei die Referenzachse eine Achse ist, zu der die umgewandelten Bildelemententsprechungspunkte vermehrt konvergieren, wenn ein Symptomniveau der Zielerkrankung ansteigt.
Elektronische Endoskopverarbeitungseinrichtung (200) nach einem der Ansprüche 1 bis 4, wobei die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten zwei aus einer R-Komponente, einer G-Komponente und einer B-Komponente enthalten.
Elektronische Endoskopverarbeitungseinrichtung (200) nach einem der Ansprüche 1 bis 5, wobei die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten die R-Komponente und entweder die G-Komponente oder die B-Komponente enthalten.
Elektronische Endoskopverarbeitungseinrichtung (200) nach einem der Ansprüche 1 bis 6, wobei die Farbebene eine Ebene ist, die eine R-Komponentenachse und eine G-Komponentenachse enthält.
Elektronische Endoskopverarbeitungseinrichtung (200) mit einer Korrelationswertberechnungseinrichtung (220d) zur Einstellung einer Referenzrichtung, die sich auf eine Zielerkrankung bezieht und sich von einem vorbestimmten Referenzpunkt in einem Farbraum erstreckt, die durch m Typen von Farbkomponenten unter n Typen von Farbkomponenten definiert ist, die Stücke von Bildelementdaten eines Farbbildes eines biologischen Gewebes in einer Körperhöhle bilden, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl gleich 2 ist, und m kleiner als n ist, und zur Berechnung eines Korrelationswerts mit einem vorbestimmten Referenzzustand, der sich auf die Zielerkrankung bezieht, für jedes einer Vielzahl von Bildelementen des Farbbildes beruhend auf einem Ausmaß, mit dem eine Richtung von dem Referenzpunkt zu einem Bildelemententsprechungspunkt, der dem Stück von Bildelementdaten in dem Farbraum entspricht, von der Referenzrichtung abweicht, und einer Bewertungswertberechnungseinrichtung (220e) zum Integrieren der für die Bildelemente berechneten Korrelationswerte und Einstellen einer durch das Integrieren erhaltenen Summe der Korrelationswerte als Bewertungswert, der sich auf die Zielerkrankung bezieht.
Elektronisches Endoskopsystem (1) mit der elektronischen Endoskopverarbeitungseinrichtung (200) nach einem der Ansprüche 1 bis 8, einem elektronischen Endoskop (100) zur Erzeugung von Daten, die das Farbbild ausdrücken, und Ausgeben der Daten zu der elektronischen Endoskopverarbeitungseinrichtung (200), und einer Anzeigevorrichtung (300) zur Anzeige des durch die elektronische Endoskopverarbeitungseinrichtung (200) erhaltenen Bewertu ngswerts.
Elektronisches Endoskopsystem (1) nach Anspruch 9, wobei die elektronische Endoskopverarbeitungseinrichtung (200) umfasst eine Farbersetzungseinrichtung (220f) zum Ersetzen von Farben von Bildelementen des Farbbildes durch Farben, die den Korrelationswerten der Bildelemente entsprechen, und eine Anzeigesteuereinrichtung zum Anzeigen eines Farbabbildungsbildes auf einem Anzeigeschirm der Anzeigevorrichtung (300), das durch die Bildelemente mit ersetzten Farben gebildet wird, und die Anzeigevorrichtung (300) zum gleichzeitigen Anzeigen des Bewertungswerts und des Farbabbildungsbildes eingerichtet ist.