DE112019004880T5

DE112019004880T5 - Elektronisches endoskopsystem

Info

Publication number: DE112019004880T5
Application number: DE112019004880.5T
Authority: DE
Inventors: Takao Makino
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2018-09-27
Filing date: 2019-09-18
Publication date: 2021-07-01
Also published as: US20210259515A1; CN112351724B; US12029385B2; CN112351724A; JP7068487B2; WO2020066807A1; JPWO2020066807A1

Abstract

Ein elektronisches Endoskopsystem umfasst ein elektronisches Endoskop zum Abbilden eines lebenden Gewebes im Inneren eines Organs, einen Prozessor, der eine Evaluierungseinheit zum Verarbeiten einer Vielzahl aufgenommener Bilder des lebenden Gewebes enthält, um den Läsionsgrad in dem Organ zu evaluieren, und einen Monitor zum Anzeigen eines Evaluierungsergebnisses des Läsionsgrades. Die Evaluierungseinheit enthält eine Evaluierungswertberechnungseinheit, die einen Läsionsevaluierungswert, der eine Intensität der Läsion in dem lebenden Gewebe in jedem der Bilder angibt, berechnet, eine Abbildungspositionsinformationserfassungseinheit, die eine Information über die Abbildungsposition jedes Bildes erfasst, eine Läsionspositionsberechnungseinheit, die das Vorhandensein oder Nichtvorhandensein der Läsion basierend darauf bestimmt, ob der Läsionsevaluierungswert einen vorbestimmten Schwellenwert überschreitet, und eine Startposition und eine Endposition einer Region eines Läsionsbereichs ermittelt, und eine Organläsionsevaluierungseinheit, die einen Läsionsgrad in dem Organ unter Verwendung einer Länge des Läsionsbereichs, die anhand der Startposition und der Endposition berechnet wird, und eines Repräsentativwerts des Läsionsevaluierungswerts evaluiert.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein elektronisches Endoskopsystem, das den Läsionsgrad in einem Organ durch Abbilden eines lebenden Gewebes in dem Organ evaluiert.
Stand der Technik
Läsionsbereiche in einem lebenden Gewebe haben unterschiedliche Schweregrade, die von einer Entzündung, bei der die Schleimhautschicht des lebenden Gewebes dünn und rau und rot wird, bis hin zu Geschwüren reichen, bei denen die Schleimhautschicht und deren untere Schichten teilweise fehlen. Beispielsweise ist der ulzerative Teil einer Colitis ulcerosa (UC)-Läsion weiß mit weißem Moos und eitrigem Schleim, und der entzündete Teil zeigt rote Bereiche mit Ödemen und leichter Blutung. Solche Läsionsbereiche können mit einem Endoskopsystem abgebildet und beobachtet werden.
Es ist jedoch eine längerfristige Schulung unter der Anleitung einer erfahrenen Person erforderlich, damit ein Chirurg in der Lage ist, zwischen einem normalen Bereich (auch als gesunder Bereich bezeichnet) und einem Läsionsbereich aufgrund des Farbunterschieds, der in einem Bild des Endoskops vorhanden ist, zu unterscheiden. Selbst für einen erfahrenen Chirurgen ist es ferner nicht leicht, einen Läsionsbereich anhand eines leichten Farbunterschieds zu identifizieren, und eine sorgfältige Arbeit ist notwendig. Deshalb bevorzugt man, dass das Endoskopsystem ein Evaluierungsergebnis liefert, in dem der Läsionsgrad in dem Läsionsbereich in dem Organ objektiv quantifiziert ist.
Dagegen ist ein Endoskopsystem bekannt, dass Schwankungen des Evaluierungswertes des entzündeten Bereichs aufgrund der Helligkeit des Bildes unterdrücken kann, um den Evaluierungswert stabil zu berechnen, und die Verarbeitungslast der Berechnung des Evaluierungswertes reduzieren kann (Patentdokument 1).
Liste von Entgegenhaltungen
Patentdokument
Patentdokument 1: WO 2017/057680 A
Zusammenfassung der Erfindung
Technisches Problem
Das oben genannte Endoskopsystem enthält eine Lichtquellenvorrichtung, die ein Objekt mit Beleuchtungslicht bestrahlt, eine Bilderfassungseinheit, die das von dem Objekt reflektierte Licht mit einem Bildsensor erfasst und ein Farbbild erfasst, das mindestens drei oder mehr Farbkomponenten enthält, und eine Evaluierungseinheit ermittelt ein Evaluierungsergebnis bezüglich einer Zielkrankheit jedes Pixels basierend auf einem Winkel, der von einem Liniensegment, das einen vorbestimmten Referenzpunkt, der in einer Farbebene gesetzt ist, und einen Pixelkorrespondenzpunkt in einer Farbebene jedes Pixels des Farbbildes verbindet, das von der Bilderfassungseinheit erfasst wird, und einer Referenzachse gebildet ist, die eine Korrelation mit der Zielerkrankung in der Farbebene hat, die durch mindestens zwei oder mehr Farbkomponenten unter den mindestens drei oder mehr Farbkomponenten definiert ist. Die Referenzachse wird so festgelegt, dass sie durch den vorbestimmten Referenzpunkt hindurchgeht. Die Referenzachse ist mindestens eine von einer Achse mit einer Korrelation mit einer Zielerkrankung, die einen Entzündungsgrad mit einem vorbestimmten Wert oder weniger zeigt, und einer Achse mit einer Korrelation mit einer Zielerkrankung, die einen Entzündungsgrad mit einem vorbestimmten Wert oder größer in der Farbebene zeigt.
Gemäß einer solchen Konfiguration ist es möglich, Schwankungen des Entzündungsevaluierungswertes aufgrund der Helligkeit des Bildes zu unterdrücken, eine stabile Berechnung des Entzündungsevaluierungswertes durchzuführen und die Verarbeitungslast der Berechnung des Entzündungsevaluierungswertes zu reduzieren.
Wenn jedoch das Endoskopsystem eine Läsion eines lebenden Gewebes in dem Organ evaluiert, ist die Evaluierung auf den Teil des lebenden Gewebes beschränkt, von dem das Bild gemacht wurde. Es ist nicht möglich, genau zu evaluieren, wie weit sich die Intensität des Läsionsbereichs in der Tiefenrichtung im Inneren des Organs ausgebreitet hat und wie breit der Läsionsbereich ist.
Der Läsionsgrad (Schweregrad der Läsion) in einem Organ wird vorzugsweise durch die Intensität der Läsion in dem Läsionsbereich und die Ausdehnung des Läsionsbereichs evaluiert, aber das herkömmliche Endoskopsystem ist nicht in der Lage, den Läsionsgrad in dem Organ, der die Ausdehnung des Läsionsbereichs einschließt, umfassend zu evaluieren.
Deshalb ist ein Ziel der Erfindung, ein elektronisches Endoskopsystem vorzusehen, das imstande ist, den Läsionsgrad in einem Organ basierend auf der Intensität der Läsion in dem Läsionsbereich und der Ausdehnung des Läsionsbereichs umfassend zu evaluieren, wenn der Läsionsgrad in einem Organ (Schweregrad der Läsion) evaluiert wird.
Lösung der Aufgabe
Ein Aspekt der Erfindung ist ein elektronisches Endoskopsystem, das eine Läsion in einem lebenden Gewebe im Inneren eines Organs evaluiert. Das elektronische Endoskopsystem umfasst
ein elektronisches Endoskop, das ausgebildet ist, um ein lebendes Gewebe in einem Organ abzubilden,
einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl aufgenommener Bilder des lebenden Gewebes zu verarbeiten, um den Läsionsgrad in dem Organ zu evaluieren, und
einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis der Läsion auf einem Bildschirm anzuzeigen.
Die Evaluierungseinheit enthält
eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert, der eine Intensität einer Läsion des lebenden Gewebes in jedem der Bilder angibt, anhand des Pixelevaluierungswertes für jedes der Vielzahl von Bildern des lebenden Gewebes zu berechnen,
eine Abbildungspositionsinformationserfassungseinheit, die ausgebildet ist, um eine Information einer Abbildungsposition im Inneren des Organs, an der jedes der Bilder aufgenommen ist, in Verbindung mit jedem der Bilder zu erfassen, und
eine Läsionspositionsberechnungseinheit, die das Vorhandensein oder Nichtvorhandensein der Läsion in jedem der Bilder basierend darauf bestimmt, ob der Bildevaluierungswert einen vorbestimmten Schwellenwert überschreitet, um so eine Startposition und eine Endposition einer Region eines Läsionsbereichs zu erhalten, in dem sich die Läsion kontinuierlich in einer Tiefenrichtung im Inneren des Organs ausbreitet, und
eine Organläsionsevaluierungseinheit, die ausgebildet ist, um eine Länge des zu evaluierenden Läsionsbereichs anhand der Startposition und der Endposition als Ausdehnungsinformation des Läsionsbereichs einzustellen, und den Läsionsgrad in dem Organ unter Verwendung der Ausdehnungsinformation und eines Repräsentativwerts des Bildevaluierungswerts eines aufgenommenen Läsionsbereichsbildes, das durch Abbilden des Läsionsbereichs erhalten wird, zu evaluieren.
Wenn die Läsionen an mehreren Stellen vorhanden sind, verwendet die Läsionspositionsberechnungseinheit vorzugweise den Läsionsbereich mit der größten Länge in Tiefenrichtung, in der sich die Läsion kontinuierlich ausbreitet, als den zu evaluierenden Läsionsbereich.
Ein weiterer Aspekt der Erfindung ist ein elektronisches Endoskopsystem, das eine Läsion eines lebenden Gewebes im Inneren eines Organs evaluiert. Das elektronische Endoskopsystem enthält
ein elektronisches Endoskop, das ausgebildet ist, ein lebendes Gewebe in einem Organ abzubilden,
einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl aufgenommener Bilder des lebenden Gewebes zu verarbeiten, um den Läsionsgrad in dem Organ zu evaluieren, und
einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis der Läsion auf einem Bildschirm anzuzeigen.
Die Evaluierungseinheit enthält
eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Pixelevaluierungswert, der eine Intensität der Läsion in dem lebenden Gewebe in jedem der Vielzahl von Bildern des Organs für jedes Pixel der Vielzahl von Bildern des lebenden Gewebes angibt, zu berechnen und einen Bildevaluierungswert, der eine Intensität der Läsion des lebenden Gewebes in jedem der Bilden angibt, anhand des Pixelevaluierungswertes zu berechnen,
eine Abbildungspositionsinformationserfassungseinheit, die ausgebildet ist, um eine Information einer Abbildungsposition im Inneren des Organs, an der jedes der Bilder aufgenommen wurde, in Verbindung mit jedem der Bilder zu erfassen,
eine Läsionspositionsberechnungseinheit, die das Vorhandensein oder Nichtvorhandensein der Läsion in jedem der Bilder basierend darauf bestimmt, ob der Bildevaluierungswert einen vorbestimmten Schwellenwert überschreitet, und eine Startposition und eine Endposition eines Läsionsbereichs ermittelt, in dem sich die Läsion kontinuierlich in einer Tiefenrichtung im Inneren des Organs ausbreitet, und
eine Organläsionsevaluierungseinheit, die ausgebildet ist, um eine Flächeninformation des Läsionsbereichs, die anhand eines Pixels, dessen Pixelevaluierungswert gleich oder größer als ein Schwellenwert zum Bestimmen der Läsion in der Vielzahl von aufgenommenen Läsionsbereichsbilder ist, die durch Abbilden des Läsionsbereichs zwischen der Startposition und der Endposition erhalten werden, eingestellt wird, als Ausdehnungsinformation des Läsionsreichs einzustellen, und den in dem Organ zu evaluierenden Läsionsgrad unter Verwendung der Ausdehnungsinformation und eines Repräsentativwerts des Bildevaluierungswerts in dem aufgenommen Läsionsbereichsbild zu evaluieren.
Es wird bevorzugt, dass die Organläsionsevaluierungseinheit die Flächeninformation basierend auf der Anzahl an Pixeln ermittelt, die durch Zählen von Pixeln erhalten wird, deren Pixelevaluierungswert gleich oder größer als ein Schwellenwert zum Bestimmen der Läsion in dem aufgenommenen Läsionsbereichsbild ist.
Es wird bevorzugt, dass die Organläsionsevaluierungseinheit die Flächeninformation basierend auf einem Produkt aus einem Mittelwert in dem aufgenommenen Läsionsbereichsbild eines Belegungsverhältnisses, in dem aufgenommenen Läsionsbereichsbild, von Pixeln, deren Pixelevaluierungswert gleich oder größer als der Schwellenwert zum Bestimmen der Läsion ist, und einer Länge des zu evaluierenden Läsionsbereichs, die aus der Startposition und der Endposition berechnet wird, ermittelt.
Es wird bevorzugt, dass der Repräsentativwert ein maximaler Wert unter den Bildevaluierungswerten des aufgenommenen Läsionsbereichsbildes ist.
Es wird bevorzugt, dass die Organläsionsevaluierungseinheit eine Läsionsprobenkorrespondenz für jede der Läsionsproben hat, die unter Verwendung einer Bildgruppe, die Bilder einer Vielzahl von Läsionsproben enthält, die durch Aufnehmen von Bildern des Inneren des Organs erhalten wird, die eine vorbestimmte Evaluierungsstufe des Läsionsgrades haben, unter einem Läsionsproben-Repräsentativwert der Läsionsprobe, der dem Repräsentativwert entspricht, einer Läsionsproben-Ausdehnungsinformation der Läsionsprobe, die der Ausdehnungsinformation des Läsionsbereichs entspricht, und der Evaluierungshöhe.
Die Organläsionsevaluierungseinheit evaluiert den zu evaluierenden Läsionsgrad auf der Stufe unter Verwendung der Läsionsprobenkorrespondenz anhand der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs, der durch Abbildung eines Inneren des Organs erhalten wird, und des Repräsentativwerts des zu evaluierenden Läsionsbereichs.
Ferner wird bevorzugt, dass die Läsionsevaluierungseinheit ein prädiktives Modell zum Vorhersagen der Evaluierungsstufe des zu evaluierenden Läsionsbereichs ist, einen Läsionsproben-Repräsentativwert einer Läsionsprobe, der dem Repräsentativwert entspricht, eine Läsionsproben-Ausdehnungsinformation der Läsionsprobe, die der Ausdehnungsinformation des Läsionsbereichs entspricht, und eine Evaluierungsstufe als Lerndaten für jede der Läsionsproben einstellt, die unter Verwendung einer Bildergruppe erhalten werden, die Bilder einer Vielzahl von Läsionsproben einschließt, die eine vorbestimmte Evaluierungsstufe des Läsionsgrades haben, und ein prädiktives Modell einschließt, das dadurch erhalten wird, dass eine Korrespondenz zwischen dem Läsionsproben-Repräsentativwert, der Läsionsproben-Ausdehnungsinformation und der Evaluierungshöhe maschinell gelernt wird.
Die Organläsionsevaluierungseinheit veranlasst das prädiktive Modell, eine Evaluierungsstufe des zu evaluierenden Läsionsbereichs anhand des Repräsentativwerts des zu evaluierenden Läsionsbereichs und der Ausdehnungsinformation des Läsionsbereichs vorherzusagen.
Es wird bevorzugt, dass der Monitor ein zweidimensionales Streudiagramm auf einem Bildschirm anzeigt, in dem der Repräsentativwert des zu evaluierenden Läsionsbereichs und die Ausdehnungsinformation des zu evaluierende Läsionsbereichs zusammen mit dem Läsionsproben-Repräsentativwert und der Läsionsproben-Ausdehnungsinformation aufgetragen werden.
Vorteilhafte Wirkungen der Erfindung
Gemäß dem oben genannten elektronischen Endoskopsystem kann beim Evaluieren des Läsionsgrades in einem Organ (Schweregrad der Läsion) der Läsionsgrad in dem Organ umfassend durch die Intensität der Läsion in dem Läsionsbereich und die Ausdehnung des Läsionsbereichs bestimmt werden.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Endoskopsystems gemäß einem Ausführungsbeispiel zeigt.
2 ist ein Diagramm zum Erläutern einer Konfiguration eines Bereichs der in 1 gezeigten Bildverarbeitungseinheit zum Evaluieren der Ausdehnung der Läsion in der Tiefenrichtung eines Organs.
3 ist ein Diagramm zum Erläutern eines Beispiels einer Referenzachse in einem Farbraum, der in einem Ausführungsbeispiel verwendet wird.
4 ist ein Diagramm zum Erläutern eines Verfahrens zum Berechnen eines Abweichungswinkels zum Berechnen einer Rötung eines lebenden Gewebes, das in einem Ausführungsbeispiel verwendet wird.
5 ist ein Diagramm zum Erläutern eines Verarbeitungsbeispiels, das von einer Organläsionsevaluierungseinheit eines Ausführungsbeispiels durchgeführt wird.
6 ist ein Diagramm zum Erläutern eines Beispiels, in dem die Organläsionsevaluierungseinheit eines Ausführungsbeispiels eine Stufe anhand der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs und eines Repräsentativwertes des zu evaluierenden Läsionsbereichs berechnet.
7A ist ein Diagramm, das ein Beispiel für einen Ablauf eines Verfahrens zum Berechnen des Läsionsgrades in einem Organ anhand der Erfassung eines Bildes zeigt, das von der Bildverarbeitungseinheit eines Ausführungsbeispiels durchgeführt wird.
7B ist ein Diagramm, das ein Beispiel für den Ablauf eines Verfahrens zum Berechnen des Läsionsgrades in einem Organ anhand der Erfassung eines Bildes zeigt, das von der Bildverarbeitungseinheit eines Ausführungsbeispiels durchgeführt wird.

Beschreibung von Ausführungsbeispielen
Bevor ein elektronisches Endoskopsystem eines Ausführungsbeispiels der Erfindung unter Bezugnahme auf die Zeichnungen erläutert wird, wird nachstehend zunächst die Evaluierung des Läsionsgrades in dem Organ konzeptionell beschrieben.
(Übersichtserläuterung der Evaluierung des Läsionsgrades)
In den nachstehend beschriebenen Ausführungsbeispielen wird der Läsionsgrad durch Verarbeitung eines Bildes eines lebenden Gewebes in einem Organ evaluiert, das von einem elektronischen Endoskop abgebildet wird. Der Läsionsgrad in einem Organ wird unter Verwendung der Ausdehnung der Läsion und der Intensität der Läsion, die den Grad der Fortschreitung der Läsion an jeder Stelle darstellen, umfassend evaluiert. Beim Abbilden eines lebenden Gewebes in einem Organ wird beispielsweise ein elektronisches Beobachtungsinstrument von dem offenen Ende eines röhrenförmigen Organs zu der tiefsten Position im Inneren des abzubildenden Organs in der Tiefenrichtung eingeführt (einschließlich einer Richtung zur Rückseite und einer Richtung zur Öffnungsseite entgegengesetzt zur Rückseite), und nimmt die Bilder des lebenden Gewebes im Inneren des Organs auf, während es sich im Wesentlichen von dort aus zum offenen Ende des Organs bewegt.
Die aufgenommenen Bilder des lebenden Gewebes können Bewegtbilder sein, die kontinuierlich in bestimmten Zeitintervallen aufgenommen werden, oder können Standbilder sein, die intermittierend aufgenommen werden, während das elektronische Endoskop in dem Organ bewegt wird. Im Falle von Bewegtbildern bevorzugt man, ein Bild aufzunehmen, während das elektronische Endoskop in die gleiche Richtung mit im Wesentlichen der gleichen Bewegungsgeschwindigkeit bewegt wird.
Bei der Evaluierung des Läsionsgrades im Inneren eines Organs wird beispielsweise ein Bildevaluierungswert, der die Intensität der Läsion in dem lebenden Gewebe in jedem Bild angibt, für jedes einer Vielzahl von Bildern des lebenden Gewebes, das mit Weißlicht beleuchtet wird, berechnet. Dieser Bildevaluierungswert ist nicht spezifisch beschränkt, sondern kann ein Entzündungsevaluierungswert zum Evaluieren der Intensität der Entzündung des Läsionsbereichs (entzündeter Bereich) sein, der auf der Information (zum Beispiel Rötung) der Farbkomponente eines Läsionsbereichs, wenn die Läsion beispielsweise eine Entzündung ist, basiert.
Das zu evaluierende Organ ist nicht spezifisch beschränkt, und Beispiele hierfür können einen Verdauungstrakt wie z. B. vom Rachen zur Speiseröhre, Magen, Dünndarm und Dickdarm einschließen.
Ferner wird beispielsweise ein lebendes Gewebe unter Verwendung von Speziallicht beleuchtet und abgebildet, das einen Laserstrahl mit einer Wellenlänge von 405 nm, einen Laserstrahl mit einer Wellenlänge von 445 nm und eine Fluoreszenz von 445 bis 700 nm einschließt, die durch Emittieren eines fluoreszierenden Körpers mit einem Laserstrahl mit einer Wellenlänge von 445 nm erhalten wird. Dann wird das Verhältnis von zwei Bildsignalen aus den drei durch Abbildung erhaltenen RGB-Bildsignalen erzeugt, und der Evaluierungswert für jedes Bild, der durch Verwendung des Verarbeitungsergebnisses einer vorbestimmten Hervorhebungsverarbeitung an diesen beiden Bildsignalen erzeugt wird, beispielsweise ein Evaluierungswert zum Evaluieren von Schleimhaut oder dergleichen bei einer atrophischen Gastritis, kann als Bildevaluierungswert verwendet werden.
Ferner wird beispielsweise ein lebendes Gewebe mit Licht mit einer Wellenlänge von 600 nm, Licht mit einer Wellenlänge von 630 nm und Licht mit einer Wellenlänge von 540 nm als Beleuchtungslicht beleuchtet und abgebildet, und ein Verarbeitungsergebnis, das durch Durchführen einer vorbestimmten Hervorhebungsverarbeitung an dem durch die Beleuchtung erhaltenen Bild erhalten wird, um einen Evaluierungswert für jedes Bild zu erzeugen, beispielsweise einen Evaluierungswert zum Evaluieren des Zustands von Blutgefäßen der tiefen Schleimhaut, kann als Bildevaluierungswert verwendet werden.
Darüber hinaus werden die Zellen der Schleimhaut des Verdauungstraktes, die mit Licht beleuchtet werden und durch Färbung oder dergleichen vorbehandelt wurden, vergrößert und abgebildet, und ein Mittelwert der Merkmalsgrößen (Forminformationen von Länge, Durchmesser, Umfang, Rundheit, etc.) des Zellkerns kann als Bildevaluierungswert zum Evaluieren der Intensität der Läsion wie z. B. ein Nicht-Tumor, Adenom, Krebs und dergleichen verwendet werden.
Ferner kann der Bildevaluierungswert eine Evaluierungsstufe sein, wie z. B ein Mayo-Score, der für jedes Bild ermittelt wird. In diesem Fall werden ein Repräsentativwert des Bildevaluierungswertes des Läsionsbereichs, der aus dem Bild der Läsionsprobe des Läsionsbereichs, die vorab abgebildet wurde, ermittelt wird, die Ausdehnungsinformation (wird später beschrieben) des Läsionsbereichs und die Evaluierungsstufe, wie z. B. der Mayo-Score als Lerndaten verwendet, damit ein prädiktives Modell die Übereinstimmung zwischen dem Repräsentativwert, der Ausdehnungsinformation des Läsionsbereichs und der Evaluierungsstufe maschinell lernt. Unter Verwendung des maschinell lernenden prädiktiven Modells wird die Evaluierungsstufe aus dem Repräsentativwert des Bildevaluierungswertes des Läsionsbereichs, der aus dem neu aufgenommenen Bild des lebenden Gewebes in dem Organ erhalten wird, und der Ausdehnungsinformation (wird später beschrieben) des Läsionsbereichs vorhergesagt. Ferner kann der Bildevaluierungswert ein nummerischer Wert der histopathologischen Evaluierung für jedes Bild sein.
Ferner wird bei der Aufnahme jedes Bildes die Information der Abbildungsposition in dem Organ, dessen Bild aufgenommen wird, mit jedem Bild verknüpft, und das Bild wird erfasst. Die Information über die Abbildungsposition kann beispielweise durch Vorsehen eines Sensors erhalten werden, der imstande ist, die Positionsinformation in der Nähe des Bildsensors an dem Spitzenendabschnitt des in das Organ eingeführten elektronischen Beobachtungsinstruments zu detektieren. Darüber hinaus kann das Organ in eine Vielzahl von Segmenten unterteilt werden, die identifizierbare Merkmale haben, und das Segment, in dem sich der Spitzenendabschnitt des elektronischen Beobachtungsinstruments befindet, kann als Positionsinformation verwendet werden. In diesem Fall werden die Charakteristiken der Segmente in dem aufgenommenen Bild durch eine Bildverarbeitung extrahiert, um das Segment der Abbildungsposition zu spezifizieren, und die Positionsinformation bezüglich des Segments, in dem sich der Spitzenendabschnitt des elektronischen Beobachtungsinstruments befindet, kann ermittelt werden. Ferner drückt der Chirurg eine vorbestimmte Taste, während er das auf dem Monitor angezeigte Bild betrachtet, und gibt ein Signal ein, das angibt, dass der Spitzenendabschnitt des elektronischen Beobachtungsinstruments begonnen hat, ein vorbestimmtes Segment zu durchlaufen. Auch so ist es möglich, eine Positionsinformation bezüglich des Segments zu erhalten, in dem sich der Spitzenendabschnitt des elektronischen Beobachtungsinstruments befindet.
In dem unten beschriebenen Ausführungsbeispiel wird ferner das Vorhandensein oder Nichtvorhandensein einer Läsion in jedem Bild basierend darauf bestimmt, ob der berechnete Bildevaluierungswert einen vorbestimmten Schwellenwert überschreitet, und eine Startposition und eine Endposition der Region des Läsionsbereichs, an der sich die Läsion kontinuierlich in die Tiefenrichtung in dem Organ ausbreitet, werden bestimmt.
Die Länge des zu evaluierenden Läsionsbereichs, die anhand der erhaltenen Startposition und Endposition berechnet wird, wird als Ausdehnungsinformation verwendet, und der Grad der Läsion in dem Organ wird unter Verwendung der Ausdehnungsinformation und des Repräsentativwertes des Bildevaluierungswertes des aufgenommenen Läsionsbereichsbildes des Läsionsbereichs evaluiert, das durch Abbildung des zu evaluierenden Läsionsbereichs erhalten wird.
Der Repräsentativwert kann beispielsweise ein maximaler Wert, ein Medianwert oder ein Mittelwert sein, ist aber vorzugsweise der maximale Wert, da so die Intensität der Läsion genau evaluiert werden kann.
Bei der Evaluierung des Läsionsgrades in dem Organ wird beispielweise der Läsionsgrad so voreingestellt, dass er in eine Vielzahl von Stufen unterteilt ist, und der Läsionsgrad in dem Organ wird gemäß dieser Einstellung anhand der Stufen evaluiert. Ferner können die Ausdehnungsinformation und die Information des Repräsentativwerts des Bildevaluierungswerts auf dem Monitor angezeigt werden, oder das zweidimensionale Streudiagramm, das durch Auftragen dieser Informationen auf einer Ebene erhalten wird, kann auf dem Monitor zusammen mit der obigen Stufe angezeigt werden.
Auf diese Weise wird die Länge des zu evaluierenden Läsionsbereichs, die anhand der Startposition und der Endposition des zu evaluierenden Läsionsbereichs berechnet wird, als Ausdehnungsinformation verwendet, und der Läsionsgrad in dem Organ wird unter Verwendung der Ausdehnungsinformation und des Repräsentativwerts des Bildevaluierungswerts des aufgenommen Läsionsbereichsbildes des Läsionsbereichs, der durch Abbilden des zu evaluierenden Läsionsbereichs erhalten wird, evaluiert, sodass der Läsionsgrad in dem Organ umfassend evaluiert werden kann.
Beispielsweise ist es möglich, zwischen der Morphologie einer Läsion mit einem niedrigen Repräsentativwert des Bildevaluierungswerts und einer großen Ausdehnung des Läsionsbereichs und der Morphologie einer Läsion mit einem hohen Repräsentativwert des Bildevaluierungswerts und einer kleinen Ausdehnung des Läsionsbereichs zu unterscheiden.
Darüber hinaus kann hinsichtlich der Information über die Ausdehnung der Läsion in jedem der aufgenommenen Läsionsbereichsbilder, die durch Abbilden des Läsionsbereichs zwischen der Startposition und der Endposition erhalten werden, die Flächeninformation des Läsionsbereichs, die aus den Pixeln bestimmt wird, die als Teil der Läsion in dem aufgenommenen Läsionsbereichsbildes bestimmt werden, auch anstelle der Länge des Läsionsbereichs, die anhand der Startposition und der Endposition des Läsionsbereichs berechnet wird, verwendet werden. Wie später beschrieben wird, ist es möglich, zu bestimmen, ob das Pixel, das in dem aufgenommenen Läsionsbereichsbild als Läsionsbereich bestimmt wurde, ein Läsionsbereich ist, indem der Pixelevaluierungswert für jedes Pixel verwendet wird, der beim Berechnen des Bildevaluierungswertes verwendet wird. Wenn beispielsweise die später beschriebene Läsion eine Entzündung ist, wird die Rötung des lebenden Gewebes (Pixelevaluierungswert) für jedes Pixel berechnet, um den Entzündungsevaluierungswert als Bildevaluierungswert zu berechnen. In diesem Fall kann bestimmt werden, ob es sich um einen Läsionsbereich handelt, je nachdem, ob die Rötung des lebenden Gewebes einen Wert hat, der gleich oder größer als ein Schwellenwert zum Bestimmen der Läsion ist, der vorab definiert wird. Deshalb kann die Flächeninformation des Läsionsbereichs anhand der Pixel bestimmt werden, die in dem aufgenommenen Läsionsbereichsbild als Läsion bestimmt wurden. In diesem Fall wird vorzugweise die Bildrate der Bildaufnahme oder die Bewegungsgeschwindigkeit des elektronischen Beobachtungsinstruments so eingestellt, dass der gleiche Läsionsbereich in den verschiedenen aufgenommenen Läsionsbereichsbildern nicht doppelt erfasst wird.
(Elektronisches Endoskopsystem)
1 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration eines elektronischen Endoskopsystems 1 dieses Ausführungsbeispiels der Erfindung zeigt. Wie in 1 gezeigt, umfasst das elektronische Endoskopsystem 1 ein elektronisches Beobachtungsinstrument 100, einen elektronischen Endoskopprozessor 200, einen Monitor 300 und einen Drucker 400.
Der elektronische Endoskopprozessor 200 enthält eine Systemsteuerung 202 und eine Zeitvorgabesteuerung 206. Die Systemsteuerung 202 führt verschiedene in einem Speicher 204 gespeicherte Programme aus und steuert das gesamte elektronische Endoskopsystem 1 ganzheitlich. Ferner ändert die Systemsteuerung 202 verschiedene Einstellungen des elektronischen Endoskopsystems 1 gemäß einer Anweisung durch den Nutzer (Chirurg oder Assistent), die in ein Bedienfeld 208 eingegeben wird. Die Zeitvorgabesteuerung 206 gibt einen Taktpuls zum Anpassen von Zeitvorgaben des Betriebs einzelner Einheiten an einzelne Schaltungen in dem elektronischen Endoskopsystem 1 aus.
Der elektronische Endoskopprozessor 200 umfasst eine Lichtquelleneinheit 230, die Beleuchtungslicht an das elektronische Beobachtungsinstrument 100 liefert. Obgleich dies nicht gezeigt ist, enthält die Lichtquelleneinheit 230 beispielsweise eine Lampe mit hoher Helligkeit, die weißes Beleuchtungslicht emittiert, indem sie Antriebsleistung von einer Lampenstromquelle empfängt, beispielsweise eine Xenonlampe, eine Metallhalogenidlampe, eine Quecksilberlampe oder eine Halogenlampe. Die Lichtquelleneinheit 230 ist so ausgebildet, dass das aus der Lampe mit hoher Helligkeit emittierte Licht durch eine Kondensorlinse (nicht gezeigt) fokussiert wird und dann auf das Eintrittsende eines LCBs (Lichtwellenleiterbündels) 102 des elektronischen Beobachtungsinstruments 100 über einen Dimmer (nicht gezeigt) auftrifft.
Alternativ dazu enthält die Lichtquelleneinheit 230 eine Vielzahl von lichtemittierenden Dioden, die Licht in einem Wellenlängenband einer vorbestimmten Farbe emittieren. Die Lichtquelleneinheit 230 ist so ausgebildet, dass das aus der lichtemittierenden Diode emittierte Licht unter Verwendung eines optischen Elements wie z. B. eines dichroitischen Spiegels synthetisiert wird und das kombinierte Licht als Beleuchtungslicht durch eine Kondensorlinse (nicht gezeigt) gesammelt wird und dann auf das Eintrittsende des LCBs (Lichtwellenleiterbündels) 102 des elektronischen Beobachtungsinstruments auftrifft. Eine Laserdiode kann anstelle der lichtemittierenden Diode verwendet werden. Die lichtemittierende Diode und die Laserdiode haben Merkmale wie z. B. einen niedrigen Stromverbrauch und eine niedrige Wärmeerzeugungsmenge verglichen mit anderen Lichtquellen, und haben deshalb den Vorteil, dass helle Bilder erfasst werden können, während der Stromverbrauch und die Wärmeerzeugungsmenge reduziert werden. Durch Erfassen eines hellen Bildes ist es möglich, die Genauigkeit des Evaluierungswertes bezüglich der Entzündung zu verbessern, wie später beschrieben.
In dem in 1 gezeigten Beispiel ist die Lichtquelleneinheit 230 in dem elektronischen Endoskopprozessor 200 eingebaut, kann aber in dem elektronischen Endoskopsystem 1 als eine von dem elektronischen Endoskopprozessor 200 getrennte Vorrichtung vorgesehen werden. Ferner kann die Lichtquelle 230 an dem Spitzenendabschnitt des elektronischen Beobachtungsinstruments 100 vorgesehen werden, wie später beschrieben. In diesem Fall ist das LCB 102, das das Beleuchtungslicht leitet, nicht erforderlich.
Das aus dem Eintrittsende auf das LCB 102 auftreffende Beleuchtungslicht breitet sich in dem LCB 102 aus und wird aus dem Ende des LCBs 102, das in dem Spitzenendabschnitt des elektronischen Beobachtungsinstruments 100 angeordnet ist, emittiert und wird durch eine Lichtzerstreuungslinse 104 auf das lebende Gewebe im Inneren des Organs, welches das Objekt ist, emittiert. Das von dem lebenden Gewebe reflektierte Licht bildet über eine Objektivlinse 106 ein optisches Bild auf der Lichtempfangsfläche eines Festkörperbildsensors 108.
Der Festkörperbildsensor 108 ist beispielsweise ein Einplatten-CCD-(ladungsgekoppelter)-Farbbildsensor, in dem verschiedene Filter wie z. B. ein IR (Infrarot)-Sperrfilter 108a und ein Farbfilter 108b mit Bayer-Anordnung auf der Lichtempfangsfläche angeordnet sind, und erzeugt Primärfarbensignale von R (Rot), G (Grün) und B (Blau) gemäß dem auf der Lichtempfangsfläche gebildeten optischen Bild. Anstelle des Einplatten-CCD-(ladungsgekoppelten)-Farbbildsensors kann auch ein Einplatten-CMOS (komplementärer Metall-Oxid-Halbleiter)-Bildsensor verwendet werden. CMOS-Bildsensoren neigen im Allgemeinen dazu, ein insgesamt dunkleres Bild als CCD-Bildsensoren zu haben. Deshalb ist die vorteilhafte Wirkung des Unterdrückens der Schwankungen des Schweregrades der Läsion in dem Läsionsbereich aufgrund der Helligkeit des Bildes deutlicher als im Falle der Verwendung des CMOS-Bildsensors bei der numerischen Verarbeitung zum Evaluieren des Läsionsgrades, wie nachstehend beschrieben. Auf diese Weise nutzt das elektronische Beobachtungsinstrument 100 den Festkörperbildsensor 108, um das lebende Gewebe im Inneren des Organs abzubilden und ein Bewegtbild zu erzeugen.
Eine Treibersignalverarbeitungsschaltung 112 ist in einem Verbindungsabschnitt vorgesehen, in dem das elektronische Beobachtungsinstrument 100 mit dem Prozessor 200 verbunden ist. Die Treibersignalverarbeitungsschaltung 112 erzeugt ein Bildsignal (Helligkeitssignal Y, Farbdifferenzsignale Cb und Cr) durch Durchführen einer vorbestimmten Signalverarbeitung wie z. B. einer Farbinterpolation und einer Matrixberechnung an dem Primärfarbsignal, das aus dem Festkörperbildsensor 108 eingegeben wird, und gibt das erzeugte Bildsignal an die Bildverarbeitungseinheit 220 des elektronischen Endoskopprozessors 200 aus. Die Treibersignalverarbeitungsschaltung 112 greift auch auf einen Speicher 114 zu und liest vorrichtungsspezifische Informationen des elektronischen Beobachtungsinstruments 100 aus. Die vorrichtungsspezifischen Informationen des elektronischen Beobachtungsinstruments 100, die in dem Speicher 114 aufgezeichnet sind, schließen beispielweise die Anzahl der Pixel und die Empfindlichkeit des Festkörperbildsensors 108, eine betreibbare Bildrate, eine Modellnummer oder dergleichen ein. Die Treibersignalverarbeitungsschaltung 112 gibt die aus dem Speicher 114 ausgelesenen vorrichtungsspezifischen Informationen an die Systemsteuerung 202 aus.
Die Systemsteuerung 202 führt verschiedene Berechnungen basierend auf den im Speicher 204 gespeicherten Informationen und den vorrichtungsspezifischen Informationen des elektronischen Beobachtungsinstruments 100 durch und erzeugt ein Steuersignal. Die Systemsteuerung 202 steuert den Betrieb und das Timing verschiedener Schaltungen in dem elektronischen Endoskopprozessor 200 unter Verwendung des erzeugten Steuersignals, um so eine Verarbeitung durchzuführen, die für das mit dem elektronischen Endoskopprozessor 200 verbundene elektronische Beobachtungsinstrument 100 geeignet ist.
Die Zeitvorgabesteuerung 206 liefert Taktpulse an die Treibersignalverarbeitungsschaltung 112, die Bildverarbeitungseinheit 220 und die Lichtquelleneinheit 230 in Übereinstimmung mit der Zeitvorgabesteuerung durch die Systemsteuerung 202. Die Treibersignalverarbeitungsschaltung 112 führt eine Antriebssteuerung des Festkörperbildsensors 108 mit einer Zeitvorgabe durch, die mit der Bildrate des Videobildes synchronisiert ist, das auf der Seite des elektronischen Endoskopprozessors 200 in Übereinstimmung mit den aus der Zeitvorgabesteuerung 206 gelieferten Taktpulsen verarbeitet wird.
Die Bildverarbeitungseinheit 220 ist ein Abschnitt, der imstande ist, eine Bildverarbeitung gemäß einer Anweisung eines Chirurgen oder gemäß eines vorbestimmten Verarbeitungsinhalts durchzuführen. Unter der Steuerung der Systemsteuerung 202 erzeugt die Bildverarbeitungseinheit 220 ein Videosignal zum Anzeigen eines endoskopischen Bildes oder dergleichen auf einem Monitor basierend auf dem Bildsignal des aufgenommenen Bildes, das aus der Treibersignalverarbeitungsschaltung 112 eingegeben wird, und gibt das Videosignal an den Monitor 300 aus. Ferner verarbeitet die Bildverarbeitungseinheit 220 als Teil der Bildverarbeitung eine Vielzahl von aufgenommenen Bildern des lebenden Gewebes, um den Läsionsgrad in dem Organ zu evaluieren, und erzeugt ein Videosignal zum Anzeigen des Evaluierungsergebnisses auf einem Monitor und gibt das Videosignal an den Monitor 300 aus. Insbesondere berechnet die Bildverarbeitungseinheit 220 einen Bildevaluierungswert, wird später beschrieben, der die Läsionsintensität des lebenden Gewebes in jedem Bild aus der Vielzahl von Bildern des lebenden Gewebes angibt, die aus dem elektronischen Beobachtungsinstrument 100 erhalten werden. Das elektronische Beobachtungsinstrument 100 bildet das lebende Gewebe im Inneren des Organs mit einer eingestellten Bildrate ab, während es sich kontinuierlich entlang der Tiefenrichtung des Organs bewegt (dies schließt auch einen Fall ein, in dem die Abbildungsposition in der Tiefenrichtung teilweise in die entgegengesetzte Richtung verschoben ist). Deshalb spezifiziert die Bildverarbeitungseinheit 220 die Position des Läsionsbereichs unter Verwendung des Bildevaluierungswertes des Bewegtbildes, der im Wesentlichen kontinuierlich entlang der im Wesentlichen Tiefenrichtung aufgenommen wird, und der Information der Abbildungsposition im Inneren des Organs, in dem jedes der Vielzahl von Bildern abgebildet wird, um so die Ausdehnungsinformation der Tiefenrichtung des Organs des Läsionsbereichs zu berechnen. Ferner berechnet die Bildverarbeitungseinheit 220 den Repräsentativwert des Bildevaluierungswerts aus den Bildevaluierungswerten der Vielzahl von Bildern, die durch Abbilden des Läsionsbereichs erhalten werden, d.h. die Vielzahl von aufgenommenen Läsionsbereichsbildern, und evaluiert den Grad der Läsion in dem Organ unter Verwendung des Repräsentativwerts und der Ausdehnungsinformation.
Ferner erzeugt die Bildverarbeitungseinheit 220 ein Farbkartenbild, in dem jedem Pixel in dem Bild eine Farbe gemäß einem Pixelevaluierungswert zugeordnet wird, wie später beschrieben. Die Bildverarbeitungseinheit 220 erzeugt ein Videosignal zum Anzeigen der Information über das Evaluierungsergebnis des Läsionsgrades in dem Organ und des Farbkartenbildes auf dem Monitor und gibt das Videosignal an den Monitor 300 aus. Dies ermöglicht dem Chirurgen, den Grad der Läsion, die sich in der Tiefenrichtung des Organs von Interesse ausbreitet, durch das auf dem Anzeigeschirm des Monitors 300 angezeigte Bild zu evaluieren. Die Bildverarbeitungseinheit 220 gibt das Farbkartenbild und die Information über das Evaluierungsergebnis des Läsionsgrades in dem Organ bei Bedarf an den Drucker 400 aus.
Der elektronische Endoskopprozessor 200 ist mit einem Server 600 über eine NIC (Netzwerk-Schnittstellenkarte) 210 und ein Netzwerk 500 verbunden. Der elektronische Endoskopprozessor 200 kann Informationen über eine endoskopische Untersuchung (beispielsweise elektronische medizinische Aufzeichnungsinformationen eines Patienten, Informationen eines Chirurgen, Evaluierungsergebnis des Läsionsgrades in dem gleichen Organ in der Vergangenheit) aus dem Server 600 herunterladen. Die heruntergeladenen Informationen werden beispielsweise auf dem Anzeigeschirm des Monitors 300 oder dem Bedienfeld 208 angezeigt. Darüber hinaus lädt der elektronische Endoskopprozessor 200 die endoskopischen Untersuchungsergebnisse (endoskopische Bilddaten, Untersuchungsbedingungen, Evaluierungsergebnisse des Läsionsgrades eines Organs, Sicht des Chirurgen etc.) auf den Server 600, um die Ergebnisse in dem Server 600 zu speichern.
2 ist ein Diagramm zum Erläutern der Konfiguration eines Teils der Bildverarbeitungseinheit 220, die den Läsionsgrad in einem Organ evaluiert. Die Bildverarbeitungseinheit 220 ist ein Abschnitt, der ausgebildet ist, um eine Vielzahl von Bildern eines lebenden Gewebes, die von dem elektronischen Beobachtungsinstrument 100 aufgenommen werden, zu verarbeiten und den Läsionsgrad zu evaluieren. Die Bildverarbeitungseinheit 220 enthält eine Vorverarbeitungseinheit 220a, eine Bildevaluierungswertberechnungseinheit 220b, eine Abbildungspositionsinformationserfassungseinheit 200c, eine Läsionspositionsberechnungseinheit 220d, eine Organläsionsevaluierungseinheit 220e und eine Evaluierungsergebnisintegrationseinheit 220f. Die Vorverarbeitungseinheit 220a, die Bildevaluierungswertberechnungseinheit 220b, die Abbildungspositionsinformationserfassungseinheit 220c, die Läsionspositionsberechnungseinheit 220d und die Organläsionsevaluierungseinheit 220e bilden eine Evaluierungseinheit 225, die ausgebildet ist, um eine Vielzahl aufgenommener Bilder des lebenden Gewebes zu verarbeiten, um so den Läsionsgrad in dem Organ zu evaluieren.
Die Vorverarbeitungseinheit 220a, die Bildevaluierungswertberechnungseinheit 220b, die Abbildungspositionsinformationserfassungseinheit 220c, die Läsionspositionsberechnungseinheit 220d, die Organläsionsevaluierungseinheit 220e und die Evaluierungsergebnisintegrationseinheit 220f können ein Softwaremodul sein, das durch Aktivieren eines in dem Speicher 204 gespeicherten Softwareprogramms gebildet wird, oder können als Hardware ausgebildet sein.
Gemäß einem Ausführungsbeispiel evaluiert die Bildevaluierungswertberechnungseinheit 220b für jedes Bild die Intensität der Entzündung, die ein Beispiel für die Intensität der Läsion ist. Nachstehend wird eine durch Colitis ulcerosa oder dergleichen erzeugte Entzündung als Beispiel für eine Läsion beschrieben.
Die Bildevaluierungswertberechnungseinheit 220b verwendet die Rötung des lebenden Gewebes, die durch Quantifizieren des Rötungsgrades des lebenden Gewebes für jedes Pixel ermittelt wird, als Pixelevaluierungswert und führt beispielweise eine Integrationsverarbeitung oder Mittelwertverarbeitung an den Pixelevaluierungswerten des gesamten Bildes durch, um die Werte zu einem Zahlenwert (Entzündungsevaluierungswert) zu kombinieren, um so einen Bildevaluierungswert zu berechnen. Das heißt der Grad der Entzündung des lebenden Gewebes wird evaluiert, indem der Rötungsgrad des lebenden Gewebes verwendet wird. Nachstehend wird eine Form zum Berechnen der Rötung des lebenden Gewebes, die die Intensität der Entzündung angibt, als Beispiel beschrieben.
Die Vorverarbeitungseinheit 220a ist ein Abschnitt zur Vorverarbeitung eines Bildes zum Evaluieren des Grades der Rötung, die ein lebendes Gewebe aufweist. Wie als Beispiel gezeigt, führt die Vorverarbeitungseinheit 220a eine RGB-Umwandlung, eine Farbraumumwandlung, eine Referenzachsenfestlegung und eine Farbkorrektur durch.
Die Vorverarbeitungseinheit 220a wandelt das Bildsignal (Helligkeitssignal Y, Farbdifferenzsignale Cb und Cr), das von der Treibersignalverarbeitungsschaltung 112 eingegeben wird, unter Verwendung vorbestimmter Matrixkoeffizienten in Bildfarbkomponenten (R, G, B) um.
Die Vorverarbeitungseinheit 220a führt ferner eine Farbumwandlung durch, bei der die in die Bildfarbkomponenten umgewandelten Bilddaten normal auf die RG-Ebene projiziert werden. Insbesondere werden die Bildfarbkomponenten jedes Pixels im RGB-Farbraum, der von den drei Primärfarben von RGB definiert ist, in die Bildfarbkomponenten von RG umgewandelt. Konzeptionell werden die Bildfarbkomponenten jedes Pixels im RGB-Farbraum in der RG-Ebene gemäß den Pixelwerten der R- und G-Komponenten aufgetragen (beispielsweise nimmt ein Abschnitt in der RG-Ebene den Pixelwert der R-Komponente = 0 bis 255 und den Pixelwert der G-Komponente = 0 bis 255 an). Nachstehend wird zur leichteren Erläuterung der Punkt der Bildfarbkomponente jedes Pixels im RGB-Farbraum und der Punkt der Bildfarbkomponente, die im RG-Farbraum aufgetragen ist, als „Pixel-Korrespondenzpunkt“ bezeichnet. Die RGB-Bildfarbkomponenten des RGB-Farbraums sind beispielsweise Farbkomponenten mit Wellenlängen von 620 bis 750 nm, Wellenlängen von 495 bis 570 nm bzw. Wellenlängen von 450 bis 495 nm. Die Farbkomponenten bilden einen Farbraum (einschließlich einer Farbebene). Farbton und Sättigung sind von den „Farbkomponenten“ ausgeschlossen.
Ferner legt die Vorverarbeitungseinheit 220a eine Referenzachse in der RG-Ebene fest, die zum Evaluieren der Rötung des lebenden Gewebes erforderlich ist.
In dem lebenden Gewebe im Inneren des Organs des Patienten, dsa ein Objekt sein soll, ist die R-Komponente unter den Bildfarbkomponenten gegenüber den anderen Komponenten (G-Komponente und B-Komponente) aufgrund des Einflusses des Hämoglobinpigments und der gleichen dominant. Wenn der Läsionsgrad in dem Läsionsbereich niedrig ist und der Läsionsbereich ein entzündeter Bereich ist, ist das Rot (R-Komponente) in Bezug auf die anderen Farben (G-Komponente und B-Komponente) umso stärker, je stärker die Entzündung ist. Jedoch ändert sich die Farbe des aufgenommenen Bildes in dem Organ je nach Abbildungsbedingungen, die die Helligkeit beeinflussen (beispielsweise eine Beleuchtungslichtsituation). So ist beispielsweise ein abgeschatteter Bereich, den das Beleuchtungslicht nicht erreicht, schwarz (achromatische Farbe; beispielsweise sind die Werte der Bildfarbkomponenten von R, G und B Null oder nahe Null), und ein Bereich, auf den das Beleuchtungslicht stark auftrifft und von dem es reflektiert wird, ist normalerweise weiß (achromatische Farbe; wenn die Werte der R-, G- und B-Farbbildkomponenten beispielsweise 8- bit Farbtöne sind, sind die Werte 255 oder nahe 255). Das heißt, selbst wenn der gleiche entzündete Bereich, in dem die Entzündung auftritt, abgebildet wird, nimmt der Pixelwert des entzündeten Bereichs zu, wenn das Beleuchtungslicht stark auf das Bild auftrifft. Abhängig von der Beleuchtungslichtsituation kann deshalb der Wert der Farbkomponente des Bildes einen Wert annehmen, der nicht mit der Intensität der Entzündung korreliert.
Im Allgemeinen ist ein gesunder Bereich im Inneren des Organs, der keine Entzündung hat, mit ausreichend Schleimhaut bedeckt. Die Schleimhaut ist grundsätzlich weiß, aber die Farbe ist leicht gelblich und die Farbe (gelb), die auf dem Bild erscheint, ändert sich abhängig von dem Farbton (Dicke der Schleimhaut). Deshalb wird auch der Farbton der Schleimhaut als einer der Indizes zum Evaluieren der Intensität der Entzündung berücksichtigt. Dagegen ist der entzündete Bereich im Inneren des Organs mit der Entzündung nicht ausreichend mit Schleimhaut bedeckt. Insbesondere wenn sich die Blutgefäße ausdehnen, treten Blut und Körperflüssigkeiten aus den Blutgefäßen aus, sodass die Schleimhaut relativ dünn wird, und die Farbe des Blutes wird leicht sichtbar. Die Schleimhaut ist zwar grundsätzlich weiß, aber die Farbe ist leicht gelblich und die Farbe (gelb), die auf dem Bild erscheint, ändert sich abhängig von dem Farbton (Dicke der Schleimhaut). Deshalb wird auch der Farbton der Schleimhaut als einer der Indizes zum Evaluieren des Grades der Entzündung berücksichtigt.
Wie in 3 gezeigt, wird deshalb die gerade Linie, die durch (50,0) und (255,76) verläuft, als eine der Referenzachsen im RG-Farbraum festgelegt, und die gerade Linie, die durch (0,0) und (255, 192) verläuft, wird als eine der Referenzachsen festgelegt. Zur Vereinfachung der Erklärung wird die zuerst genannte Referenzachse als „Hämoglobin-Änderungsachse AX1“ bezeichnet und die letztere Referenzachse wird als „Schleimhaut-Änderungsachse AX2“ bezeichnet. 3 ist ein Diagramm zum Erläutern eines Beispiels für Referenzachsen in dem Farbraum, der in einem Ausführungsbeispiel verwendet wird.
Die in 3 gezeigte Darstellung ist das Ergebnis der Analyse einer großen Anzahl von Referenzbildern im Inneren des Organs. Zu den bei der Analyse verwendeten Referenzbildern gehören Beispiele von Entzündungsbildern in verschiedenen Stadien wie z. B. ein Beispiel für ein Entzündungsbild mit dem höchsten Entzündungsgrad (ein Beispiel für ein Entzündungsbild mit der schwersten Stufe) und ein Beispiel für ein Entzündungsbild mit dem niedrigsten Entzündungsgrad (ein Beispiel für ein Bild, das im Wesentlichen als gesunder Bereich angesehen wird). In dem in 3 gezeigten Beispiel ist zur Verdeutlichung der Zeichnung nur ein Teil der als Ergebnis der Analyse erhaltenen Darstellung gezeigt. Die tatsächliche Anzahl der aufgetragenen Punkte, die als Ergebnis der Analyse erhalten werden, ist viel größer als die Anzahl der in 3 gezeigten aufgetragenen Punkte.
Wie oben beschrieben ist die R-Komponente der Farbkomponenten des Bildes in Bezug auf die anderen Komponenten (G-Komponente und B-Komponente) umso stärker, je stärker die Entzündung ist. Deshalb ist die Grenzlinie zwischen dem Bereich, in dem die aufgetragenen Punkte verteilt sind, und dem Bereich, in dem die aufgetragenen Punkte nicht verteilt sind, die die Achse auf der Grenzlinie ist, die näher zur R-Achse als zur G-Achse ist, d.h. die Achse auf der Grenzlinie, die durch (50,0) und (255,76) in dem in 3 gezeigten Beispiel verläuft, als eine Achse festgelegt, die eine hohe Korrelation mit dem Bereich mit einem höchsten Entzündungsgrad hat, der der Bereich mit dem höchsten Entzündungsgrad ist. Diese Achse ist die Hämoglobin-Änderungsachse AX1. Auf der Hämoglobin-Änderungsachse AX1 sind aufgetragene Punkte, die dem entzündeten Bereich mit dem höchsten Entzündungsgrad entsprechen, die unter verschiedenen Abbildungsbedingungen, beispielsweise einer Beleuchtungslichtsituation, abgebildet werden, überlagert. Deshalb ist die Hämoglobin-Änderungsachse AX1 die Achse, auf der die aufgetragenen Pixel-Korrespondenzpunkte mit zunehmendem Entzündungsgrad konvergieren.
Dagegen ist die G-Komponente (oder B-Komponente) der Farbkomponenten des Bildes in Bezug auf die R-Komponente umso stärker, je näher das Bild zum gesunden Bereich liegt. Deshalb ist die Grenzlinie zwischen dem Bereich, in dem die aufgetragenen Punkte verteilt sind, und dem Bereich, in dem die aufgetragenen Punkte nicht verteilt sind, welche die Achse auf der Grenzlinie ist, die näher zur G-Achse als zur R-Achse ist, d.h. die Achse auf der Grenzlinie, die durch (0,0) und (255,192) in dem in 3 gezeigten Beispiel verläuft, als eine Achse festgelegt, die eine hohe Korrelation mit dem Bereich mit dem niedrigsten Entzündungsgrad hat, der ein Bereich ist, der als ein im Wesentlichen gesunder Bereich betrachtet wird. Diese Achse ist die Schleimhaut-Änderungsachse AX2. Die Schleimhaut-Änderungsachse AX2 ist von aufgetragenen Punkten überlagert, die verschiedenen Abbildungsbedingungen entsprechen, beispielsweise der Bereich mit dem niedrigsten Entzündungsgrad, der unter Beleuchtungslicht abgebildet wird, d.h. was als im Wesentlichen normaler Bereich angesehen wird. Deshalb ist die Schleimhaut-Änderungsachse AX2 die Achse, auf der die aufgetragenen Pixel-Korrespondenzpunkte konvergieren, wenn der Entzündungsgrad abnimmt (näher zum gesunden Abschnitt).
Ferner wird der höchste Läsionsgrad in dem Läsionsbereich von einer Blutung begleitet. Dagegen ist der Bereich mit dem niedrigsten Läsionsgrad ein im Wesentlichen normaler gesunder Bereich und ist deshalb mit ausreichend Schleimhaut bedeckt. Deshalb können die aufgetragenen Punkte im RG-Farbraum, die in 3 gezeigt sind, als verteilt in dem Bereich angesehen werden, der zwischen der Achse mit der höchsten Korrelation mit Blut (Hämoglobinpigment) und der Achse mit der höchsten Korrelation mit der Farbe der Schleimhaut angeordnet ist. Deshalb entspricht von den Grenzlinien zwischen den Bereichen, in denen die aufgetragenen Punkte verteilt sind, und den Bereichen, in denen die aufgetragenen Punkte nicht verteilt sind, die Grenzlinie, die näher zur R-Achse ist (starke R-Komponente), der Achse, die den entzündeten Abschnitt mit dem höchsten Entzündungsgrad (Hämoglobin-Änderungsachse AX1) angibt, und die Grenzlinie, die näher zur G-Achse ist (starke G-Komponente), entspricht der Achse, die den entzündeten Abschnitt mit dem niedrigsten Entzündungsgrad (Schleimhaut-Änderungsachse AX2) angibt.
Nachdem die Referenzachse auf diese Weise festgelegt wurde, wird ein Verfahren zum Berechnen der Rötung des lebenden Gewebes, das die Intensität von Rot angibt, was später beschrieben wird, an der Farbkomponente des normal projizierten Bildes durchgeführt. Vor dem Verfahren zum Berechnen der Rötung des lebenden Gewebes wird eine Farbkorrektur an den normal projizierten Pixeldaten durchgeführt.
Die in 3 gezeigte Referenzachse ist ein Beispiel, und die Referenzachse ändert sich je nach Krankheitstyp.
Die Verarbeitungseinheit 220a führt eine Farbkorrektur an den Farbkomponenten des Bildes durch, die im RG-Farbraum dargestellt sind, ehe der Entzündungsevaluierungswert berechnet wird. Der Korrekturmatrixkoeffizient wird in dem Speicher 204 gespeichert. Die Vorverarbeitungseinheit 220a korrigiert die Pixeldaten (R, G), die den Pixel-Korrespondenzpunkt im RG-Farbraum jedes Pixels darstellen, wie in der folgenden Gleichung unter Verwendung des Korrekturmatrixkoeffizienten gezeigt, damit die später beschriebenen Entzündungsevaluierungswerte nicht variieren (mit anderen Worten um einen interindividuellen Fehler des elektronischen Beobachtungsinstruments zu unterdrücken), wenn Bilder mit verschiedenen elektronischen Endoskopsystemen trotz des gleichen entzündeten Bereichs aufgenommen werden.
$(\begin{matrix} R_{n e u} \\ G_{n e u} \end{matrix}) = (\begin{matrix} M_{00} & M_{01} \\ M_{10} & M_{11} \end{matrix}) (\begin{matrix} R \\ G \end{matrix})$

Rneu: korrigierte Pixeldaten (R-Komponente)
Gneu: korrigierte Pixeldaten (G-Komponente)
M00 bis M11: Korrekturmatrixkoeffizient
R: Pixeldaten vor Korrektur (R-Komponente)
G: Pixeldatent vor Korrektur (G-Komponente)

Die Bildevaluierungswertberechnungseinheit 220b wählt aus den Pixeln ein Pixel von Interesse aus und berechnet den Abweichungswinkel zum Berechnen des Entzündungsgrades des ausgewählten Pixels von Interesse basierend auf der Information der Farbkomponente des Pixels von Interesse. Das heißt, es wird ein Quantifizierungsverfahren durchgeführt, um den Rötungsgrad des lebenden Gewebes basierend auf der Information der Farbkomponente des Pixels zu quantifizieren. 4 ist ein Diagramm zum Erläutern eines Verfahrens zum Berechnen eines Abweichungswinkels zum Berechnen der Rötung des lebenden Gewebes, das in einem Ausführungsbeispiel verwendet wird. Wie in 4 gezeigt, legt insbesondere die Bildevaluierungswertberechnungseinheit 220b den Schnittpunkt der Hämoglobin-Änderungsachse AX1 und der Schleimhaut-Änderungsachse AX2 als Referenzpunkt O' fest und berechnet den Abweichungswinkel θ, mit dem die Richtung des Liniensegments L, das den Referenzpunkt O' und den Pixel-Korrespondenzpunkt P des Pixels von Interesse verbindet, in Bezug auf die Hämoglobin-Änderungsachse AX1 abweicht. Der Referenzpunkt O' befindet sich an den Koordinaten (-150, -75). Das Beispiel, in dem der Referenzpunkt O' auf die Koordinaten (-150, -75) festgelegt ist, ist vorgegeben, aber die Erfindung ist nicht darauf beschränkt. Der Referenzpunkt O' kann je nach Bedarf geändert werden und kann beispielweise der Schnittpunkt der R-Achse und der G-Achse im RG-Farbraum sein.
Eine geeignete Koordinatenposition für den Referenzpunkt O' ist beispielsweise eine Position, an der ein Fehler im Evaluierungsergebnis aufgrund von Schwankungen der Helligkeit reduziert werden kann. Insbesondere wird der Referenzpunkt O' vorzugweise festgelegt durch vorheriges Erhalten eines Punktes, an dem ein Fehler zwischen dem Evaluierungsergebnis in dem dunklen Bereich (die Helligkeit ist geringer als ein vorgegebener Wert) und dem Evaluierungsergebnis in dem nicht dunklen Bereich (die Helligkeit ist über einem vorgegebenen Wert) auf ein Minimum herabgesetzt ist.
Wenn beispielsweise der Referenzpunkt O' zwischen den Koordinaten (-10, -10) und (10, 10) festgelegt wird, wird es mit dem Fall verglichen, bei dem die Koordinaten (-150, -75) und dergleichen als Referenzpunkt O' festgelegt werden. Deshalb wird die Änderungsgröße des Winkels θ groß, wenn sich der Pixel-Korrespondenzpunkt ändert, sodass die Auflösung verbessert wird. Folglich kann ein sehr genaues Evaluierungsergebnis erhalten werden.
Wird dagegen der Referenzpunkt O' zwischen den Koordinaten (-50, -50) und (-200, - 200) festgelegt, wird das Evaluierungsergebnis, das die Entzündungsintensität angibt, kaum durch Rauschen beeinträchtigt.
Wenn sich die Helligkeit eines Bildes eines lebenden Gewebes im Inneren eines Organs abhängig von der Bedingung unter Weißlicht ändert, ist die Farbe des Bildes im Allgemeinen von individuellen Unterschieden, dem Ort des Bildes, dem Zustand der Entzündung etc. beeinflusst. Im RG-Farbraum ändert sich jedoch die Farbe des Bildes entlang der Hämoglobin-Änderungsachse AX1 in dem entzündeten Bereich, in dem die Entzündung am weitesten fortgeschritten ist, und entlang der Schleimhaut-Änderungsachse AX2 in dem entzündeten Bereich, wo der Entzündungsgrad am niedrigsten ist. Ferner wird angenommen, dass sich die Farbe des Bildes des entzündeten Bereich, in dem der Entzündungsgrad dazwischen liegt, mit der gleichen Tendenz ändert. Das heißt, der Pixelkorrespondenzpunkt, der dem entzündeten Bereich entspricht, verschiebt sich ausgehend von dem Referenzpunkt O' in der Azimuthwinkelrichtung, wenn sich die Helligkeit des Pixels abhängig von der Beleuchtungslichtsituation ändert. Mit anderen Worten, wenn sich die Helligkeit des Pixels abhängig von der Beleuchtungslichtsituation ändert, verschiebt sich der Pixelkorrespondenzpunkt, der dem entzündeten Bereich entspricht, während der Abweichungswinkel θ in Bezug auf die Hämoglobin-Änderungsachse AX1 gleich bleibt, sodass sich der Abstand zum Referenzpunkt O' ändert. Dies bedeutet, dass der Abweichungswinkel θ ein Parameter ist, der im Wesentlichen von Änderungen der Helligkeit des Bildes nicht betroffen ist.
Je kleiner der Abweichungswinkel θ ist, umso stärker ist die R-Komponente in Bezug auf die G-Komponente, was angibt, dass der Rötungsgrad in dem Läsionsbereich relativ groß ist. Je größer der Abweichungswinkel θ ist, umso stärker ist ferner die G-Komponente in Bezug auf die R-Komponente, und gibt an, dass der Rötungsgrad relativ klein ist. Deshalb normalisiert die Bildevaluierungswertberechnungseinheit 220b den Winkel θ, sodass der Wert 255 wird, wenn der Abweichungswinkel θ Null ist, und der Wert wird Null, wenn der Abweichungswinkle θ bei θ_MAX liegt. Ferner ist θ_MAX gleich dem Winkel, der von der Hämoglobin-Änderungsachse AX1 und der Schleimhaut-Änderungssachse AX2 gebildet wird. Das heißt, dass die Evaluierungswertberechnungseinheit 220b den Wert in einem Bereich von 0 bis 255 für jedes Pixel von Interesse berechnet, was durch Normalisieren des Abweichungswinkels θ erhalten wird, der basierend auf der Information der Farbkomponente des Pixels von Interesse als Rötung des lebenden Gewebes (Pixelevaluierungswert) berechnet wird.
Das Pixel von Interesse wird nacheinander für alle Pixel des Bildes ausgewählt. In dem in 4 gezeigten Beispiel wird der RG-Farbraum als Farbraum verwendet, es kann aber auch der RB-Farbraum anstelle des RG-Farbraums verwendet werden.
Die Bildevaluierungswertberechnungseinheit 220b berechnet die Rötung des lebenden Gewebes, die ein Wert ist, der durch Normalisieren des Abweichungswinkels θ erhalten wird, als Pixelevaluierungswert. In einigen Fällen kann auch der Weißgrad des lebenden Gewebes, der die Intensität der Charakteristik des Geschwürs des lebenden Gewebes angibt, als Pixelevaluierungswert berechnet werden. Beispielsweise wird der Pixelwert jeder Farbkomponente jedes Pixels des Bildes des lebenden Gewebes angepasst, um eine lineare Verstärkung (Verstärkung) zu geben, und eine Tonwertverbesserungsverarbeitung zum Erhöhen der effektiven Auflösung des Farbausdrucks wird durchgeführt, indem ein dynamischer Bereich nahe der Farbskala, die für die Läsion eigen ist, wesentlich erweitert wird. Beispielsweise können ein Geschwürteil, der weißes Moos enthält, und eitriger Schleim von Colitis ulcerosa von einem entzündeten Bereich und einem gesunden Bereich durch die Farbkomponente unterschieden werden. Der Geschwürbereich ist weiß, während der entzündete Bereich, der Ödeme und eine Blutung enthält, rot ist, und der gesunde Bereich ist gelb oder grün. Der Weißgrad des lebenden Gewebes kann unter Verwendung des Abweichungswinkels in Bezug auf die Referenzachse berechnet werden, die sich von der Hämoglobin-Änderungsachse AX1 unterscheidet, die im Farbraum mit zwei Farbkomponenten (zwei aus R-Komponente, G-Komponente und B-Komponente) wie in 4 gezeigt, oder drei Farbkomponenten (R-Komponente, G-Komponente und B-Komponente) als Koordinatenachsen dargestellt sind. Die Tonwertverbesserungsverarbeitung wird von der Vorverarbeitungseinheit 220a durchgeführt.
Die Bildevaluierungswertverarbeitungseinheit 220b berechnet einen Bildevaluierungswert unter Verwendung des Pixelevaluierungswerts jedes Pixels, beispielsweise die oben genannte Rötung des lebenden Gewebes. Die Bildevaluierungswertberechnungseinheit 220b kann beispielsweise den integrierten Wert oder den Mittelwert der Pixelevaluierungswerte aller Pixel in dem aufgenommenen Bild als einen Bildevaluierungswert berechnen, oder kann Pixel auswählen, die das Bild des zu evaluierenden lebenden Gewebes in dem aufgenommenen Bild darstellen und den integrierten Wert oder den Mittelwert der Pixelevaluierungswerte der ausgewählten Pixel als einen Bildevaluierungswert berechnen. Alternativ dazu werden beispielsweise die zu evaluierenden Pixel unter den RGB-Farbkomponenten oder den Pixelhelligkeitskomponenten für jedes Pixel basierend auf den Farbkomponenten oder den Helligkeitskomponenten in einem vorbestimmten Bereich extrahiert, und der Mittelwert der Pixelevaluierungswerte der extrahierten Pixel wird erhalten oder eine Integrationsverarbeitung wird durchgeführt, sodass die Bildevaluierungswertberechnungseinheit 220b einen Bildevaluierungswert berechnen kann. Der in dem Bild zu evaluierende Teil des Pixels ist ein Teil, der einen Farbkomponentenwert innerhalb eines vorbestimmten Bereichs hat, der im lebenden Gewebe angenommen wird, um den Grad der Entzündung in einem Organ mit hoher Genauigkeit zu evaluieren, und ist vorzugsweise der Teil des Pixels, der eine Helligkeitskomponente hat, die gleich oder höher als ein vorbestimmter Wert ist, der mit einem Beleuchtungslicht beleuchtet wird.
Der von der Bildevaluierungswertberechnungseinheit 220b berechnete Bildevaluierungswert wird an die Organläsionsevaluierungseinheit 220e gesendet.
Die Bildevaluierungswertberechnungseinheit 220b erzeugt ferner ein Farbkartenbild, in dem das Bild des lebenden Gewebes als Mosaik mit einer Anzeigefarbe dargestellt ist, die sich entsprechend der Rötung des lebenden Gewebes ändert. Um das Farbkartenbild zu erzeugen, wird eine Tabelle, in der der Pixelevaluierungswert und die vorbestimmte Anzeigefarbe miteinander verknüpft sind, in dem Speicherbereich des Speichers 204 abgelegt. In der obigen Tabelle sind beispielsweise verschiedene Anzeigefarben mit jedem Wert in Schritten von 5 verknüpft. Beispielsweise wird Blau einem Pixelevaluierungswert in einem Bereich von 0 bis 5 zugeordnet, und jeder Erhöhung des Pixelevaluierungswerts um 5 wird eine andere Anzeigefarbe gemäß der Reihenfolge von Farben in dem Farbrad zugeordnet, und Rot ist dem Pixelevaluierungswert in einem Bereich von 250 bis 255 zugeordnet. Die Anzeigefarbe ist eine Farbe, die sich von einer kalten Farbe an eine warme Farbe annähert, beispielsweise von blau nach gelb zu rot, wenn sich die Rötung des lebenden Gewebes erhöht. Die Bildevaluierungswertberechnungseinheit 220b bestimmt die Anzeigefarbe des ausgewählten Pixels von Interesse auf dem Farbkartenbild basierend auf der obigen Tabelle entsprechend der Rötung des lebenden Gewebes des Pixels von Interesse.
Auf diese Weise erzeugt die Bildevaluierungswertberechnungseinheit 220b ein Farbkartenbild, zu dem Farben entsprechend dem Pixelevaluierungswert hinzugefügt werden.
Die Abbildungspositionsinformationserfassungseinheit 220c erfasst die Abbildungspositionsinformation, die aus einem in dem elektronischen Endoskopsystem 1 vorgesehenen Positionsmesssystem 250 gesendet wird, entsprechend dem aufgenommenen Bild. Das Positionsmesssystem 250 verwendet einen Sensor, um beispielweise die Position des Festkörperbildsensors 108 zu erfassen, der sich an dem Spitzenendabschnitt des elektronischen Beobachtungsinstruments 100 befindet, das in das Organ eingeführt ist, sowie die Position jedes der nachfolgenden flexiblen Rohre. Das System, das die Einführungslänge des elektronischen Beobachtungsinstruments 100, das über die Öffnung des Organs eingeführt wird, erfasst, wird verwendet, oder das aufgenommene Bild wird auf dem Monitor 300 angezeigt, und der Chirurg, der dieses Bild sieht, gibt von Hand eine Eingabeanweisung. Ein Beispiel ist ein System, das ein Durchlaufsignal, das einen spezifischen Teil durchläuft, erfasst, welches angibt, dass die Spitze des elektronischen Beobachtungsinstruments 100 einen charakteristischen Bereich im eingeführten Organ durchquert hat.
In dem System, das die Position des Festkörperbildsensors 108 unter Verwendung eines Sensors erfasst, sind beispielsweise mehrere Magnetsensoren an Positionen nahe dem Festkörperbildsensor 108 an dem Spitzenendabschnitt des elektronischen Beobachtungsinstruments 100 und in dem flexiblen Rohr, das auf den Spitzenendabschnitt zur Seite des elektronischen Endoskopprozessors 200 hin folgt, in vorbestimmten Abständen vorgesehen. Die Magnetfelder mit unterschiedlichen Stärken je nach Position werden von außerhalb des menschlichen Körpers, in den das elektronische Beobachtungsinstrument 100 in das Organ eingeführt wird, angelegt, um die Stärken der Magnetfelder durch den Magnetsensor zu messen. Dadurch kann die Position des Magnetsensors, der an dem Spitzenendabschnitt vorgesehen ist, bekannt sein, und die Krümmungsform des flexiblen Rohrs in dem Organ kann aus den Positionen der mehreren Magnetsensoren bekannt sein. Dadurch kann die Position des Spitzenendabschnittes des Festkörperbildsensors 108 bekannt sein, und die Form des elektronischen Beobachtungsinstruments 100 im Organ und die Einführungslänge des elektronischen Endoskops 100 ab dem offenen Ende in das Organ ist bekannt.
Im Falle eines Systems, das die Einführungslänge des elektronischen Beobachtungsinstruments 100, das von dem offenen Ende eines Organs eingeführt wird, erfasst, wird beispielsweise die Bewegungsdistanzinformation bezüglich der Distanz, um die sich das lebende Gewebe zwischen Einzelbildern mit benachbarten Aufnahmezeitpunkten in dem aufgenommenen Bewegtbild bewegt hat, unter Verwendung der Verarbeitung des optischen Flusses erfasst, und die Bewegungsdistanzinformation wird bei jedem Wechsel des Einzelbildes integriert, um die Bewegungsdistanz zu berechnen, sodass die Information der aktuellen Einführungslänge des elektronischen Beobachtungsinstruments 100 erfasst werden kann. Beispielsweise kann ferner die Information der aktuellen Einführungslänge des elektronischen Beobachtungsinstruments 100 dadurch erfasst werden, dass die Länge des flexiblen Rohrs gemessen wird, das sich von dem Spitzenendabschnitt des eingeführten elektronischen Beobachtungsinstruments 100 in Richtung des Inneren des Organs erstreckt.
In einem System, das ein Durchlaufsignal erfasst, das einen spezifischen Teil eines Organs durchläuft, während der Chirurg das auf dem Monitor 300 angezeigte Bild sieht, drückt der Chirurg die Taste mit der Hand, um ein Durchlaufsignal, das einen spezifischen Teil durchläuft, zu einem Zeitpunkt zu erzeugen, wenn ein identifizierbarer spezifischer Teil im Inneren des Organs in dem Bild erscheint und dieses durchquert, und die Abbildungspositionsinformationserfassungseinheit 220c kann dieses Durchlaufsignal, das den spezifischen Teil durchläuft, erfassen. Die Positionen der spezifischen Teile im Inneren des Organs sind beispielsweise dann, wenn es sich bei dem Organ um den Dickdarm handelt, eine Position, an der ein aufsteigendes Kolon anfängt, eine Position, an der ein aufsteigendes Kolon endet und sich der Dickdarm krümmt und ein Querkolon beginnt, und eine Position, an der das Querkolon endet, sich der Dickdarm krümmt und ein absteigendes Kolon anfängt, eine Position, an der das absteigende Kolon endet, sich der Dickdarm krümmt und das Sigma anfängt, eine Position, an der das Sigma endet und das Rektum beginnt, und eine Position, an der das Rektum endet und den Anus erreicht.
Die von der Abbildungspositionsinformationserfassungseinheit 220c erfasste Information über die Abbildungsposition wird an die Organläsionsevaluierungseinheit 220e gesendet.
Die Läsionspositionsberechnungseinheit 220d bestimmt das Vorhandensein oder Nichtvorhandensein einer Läsion in jedem Bild basierend darauf, ob der Bildevaluierungswert, der von der Bildevaluierungswertberechnungseinheit 220b berechnet wird, einen vorbestimmten Schwellenwert überschreitet, und einer Startposition und einer Endposition der Region des Läsionsbereichs, wo sich die Läsion kontinuierlich in der Tiefenrichtung im Inneren des Organs ausbreitet. Der Schwellenwert zum Bestimmen des Vorhandenseins oder Nichtvorhandenseins einer Läsion wird unter Verwendung eines zuvor aufgenommenen Bildes, das zuvor von einem Arzt als eine Läsion aufweisend evaluiert wurde, eingestellt.
Gemäß einem Ausführungsbeispiel bevorzugt man, wenn die Läsionen an mehreren Stellen vorhanden sind, dass die Läsionspositionsberechnungseinheit 220d die Läsion, die die größte Länge in der Tiefenrichtung hat, in der sich die Läsionen kontinuierlich ausbreiten, als zu evaluierenden Läsionsbereich verwendet. Von der Vielzahl von Läsionsbereichen ist der Läsionsbereich mit der größten Länge des Läsionsbereichs derjenige, der den Läsionsgrad in dem Organ am meisten dominiert, und der Grad (Schweregrad) der Läsion in dem Organ wird genau evaluiert. Deshalb wird bevorzugt, dass der Läsionsbereich, der die größte Länge in der Tiefenrichtung im Inneren des Organs hat, der zu evaluierende Läsionsbereich ist.
Die Organläsionsevaluierungseinheit 220e verwendet die Länge des zu evaluierenden Läsionsbereichs, die aus der ermittelten Startposition und Endposition des Läsionsbereichs berechnet wird, als die Ausdehnungsinformation, und evaluiert den Läsionsgrad in dem Organ unter Verwendung der Ausdehnungsinformation und dem Repräsentativwert des Bildevaluierungswertes des aufgenommenen Läsionsbereichsbildes des Läsionsbereichs, das durch Abbilden des zu evaluierenden Läsionsbereichs erhalten wird. Hierbei ist der Repräsentativwert eine statistische Kenngröße bezüglich der Bildevaluierungswerte einer Vielzahl von aufgenommenen Läsionsbereichsbildern, und ist beispielsweise ein maximaler Wert, ein Medianwert oder ein Mittelwert. Insbesondere ist der Repräsentativwert vorzugsweise der maximale Wert, da er als Index verwendet wird, der die Intensität der Läsion in dem Läsionsbereich behandelt.
5 ist ein Diagramm zum Erläutern eines Beispiels einer Verarbeitung, die von der Organläsionsevaluierungseinheit 220e durchgeführt wird. 5 zeigt beispielhaft den Bildevaluierungswert (beschrieben als „Evaluierungswert“ in 5) und die Abbildungspositionsinformation jedes der aufgenommenen Bilder IM im Inneren des Dickdarms. In dem in 5 gezeigten Beispiel ist die Position der Abbildungspositionsinformation „232“ die Startposition des Läsionsbereichs, und die Position der Abbildungspositionsinformation „38“ ist die Endposition des Läsionsbereichs. Das heißt, die Reichweite des Läsionsbereichs ist die Reichweite von der Position der Abbildungspositionsinformation „232“ zur Position der Abbildungspositionsinformation „38“. Deshalb beträgt die Länge des Läsionsbereichs „194“ (= 232 - 38).
Ferner ist in dem in 5 gezeigten Beispiel der Repräsentativwert ein Beispiel, das den maximalen Wert des Bildevaluierungswerts in dem aufgenommenen Läsionsbereichsbild verwendet. In dem in 5 gezeigten Beispiel wird der Bildevaluierungswert in dem aufgenommenen Läsionsbereichsbild an der Position der Abbildungspositionsinformation „38“ der maximale Wert, der als der Repräsentativwert verwendet wird. Deshalb ist der Repräsentativwert „127“.
Gemäß einem Ausführungsbeispiel ist die Information über die Ausdehnung der Läsion vorzugsweise eine Flächeninformation, die die Ausdehnung des Läsionsbereichs angibt. Die Läsion ist nicht an jeder Stelle von der Startposition bis zur Endposition der Läsion über den gesamten Innenumfang des Organs vorhanden, und die Läsion kann ungleichmäßig in einem Teil des Innenumfangs des Organs verteilt sein. In einigen Fällen ist es genauer, die Flächeninformation als Ausdehnungsinformation des Läsionsbereichs zu verwenden als die Länge des Läsionsbereichs als Ausdehnungsinformation des Läsionsbereichs. In einem Fall, in dem die Ausdehnung des Läsionsbereichs durch die Flächeninformation ausgedrückt wird, wird die Flächeninformation des Läsionsbereichs, die anhand der Pixel bestimmt wird, die als Teil der Läsion in dem aufgenommenen Läsionsbereichsbild bestimmt werden, in jedem der aufgenommenen Läsionsbereichsbilder verwendet, die durch Abbilden des Läsionsbereichs zwischen der Startposition und der Endposition erhalten werden. Es ist möglich, das Pixel, das als Läsionsbereich in dem aufgenommenen Läsionsbereichsbild bestimmt ist, als Läsionsbereich zu bestimmen, indem der Pixelevaluierungswert für jedes verwendete Pixel verwendet wird, wenn der Bildevaluierungswert berechnet wird, und indem die Rötung des lebenden Gewebes in dem Beispiel verwendet wird, in dem der Entzündungsevaluierungswert als Bildevaluierungswert berechnet wird. Insbesondere ist ein Pixel, dessen Rötung des lebenden Gewebes gleich oder größer als ein vorgegebener Schwellenwert ist, als Läsions-(Entzündungs-)-Bereich definiert.
Gemäß einem Ausführungsbeispiel zählt die Organläsionsevaluierungseinheit 220e die Anzahl der Pixel, in denen der Pixelevaluierungswert (beispielsweise die Rötung des lebenden Gewebes) gleich oder größer als der Schwellenwert zum Bestimmen einer Läsion in jedem einer Vielzahl von aufgenommenen Läsionsbereichsbildern ist. Es wird bevorzugt, die Flächeninformation des Läsionsbereichs basierend auf der Anzahl an Pixeln zu ermitteln, die in dem gesamten aufgenommenen Läsionsbereichsbild gezählt werden. Als Flächeninformation kann die Anzahl der gezählten Pixel multipliziert mit einem vorbestimmten Koeffizienten verwendet werden, oder die Anzahl der Pixel selbst kann verwendet werden. In diesem Fall wird bevorzugt, dass die Einzelbildrate der Bildaufnahme oder die Bewegungsgeschwindigkeit des elektronischen Beobachtungsinstruments angepasst wird, sodass der gleiche Läsionsbereich in den verschiedenen aufgenommenen Läsionsbereichsbildern nicht doppelt erfasst wird.
Gemäß einem Ausführungsbeispiel wird bevorzugt, dass die Organläsionsevaluierungseinheit 220e ein Belegungsverhältnis in dem aufgenommenen Läsionsbereichsbild von Pixeln, deren Pixelevaluierungswert (beispielsweise die Rötung des lebenden Gewebes) gleich oder größer als der Schwellenwert zum Bestimmen einer Läsion für jedes aufgenommene Läsionsbereichsbild ist, ermittelt und die Flächeninformation basierend auf einem Mittelwert der Belegungsverhältnisse in dem gesamten aufgenommenen Läsionsbereichsbild und der Länge des Läsionsbereichs, die aus der Startposition und der Endposition berechnet wird, ermittelt. Als Flächeninformation kann das Produkt multipliziert mit einem vorbestimmten Koeffizienten oder das Produkt selbst verwendet werden. Da der Mittelwert der Belegungsverhältnisse als das Verhältnis des Läsionsbereichs zum Innenumfang im Inneren des Organs angesehen werden kann, kann das Produkt aus dem Mittelwert der Belegungsverhältnisse und der Länge des Läsionsbereichs als Index der Flächeninformation des Läsionsbereichs verwendet werden.
Auf diese Weise evaluiert die Organläsionsevaluierungseinheit 220e den Läsionsgrad in dem Organ unter Verwendung der ermittelten Ausdehnungsinformation und des Repräsentativwertes des Bildevaluierungswertes. Gemäß einem Ausführungsbeispiel wird die Evaluierung des Läsionsgrades in dem Organ vorzugsweise wie folgt durchgeführt.
Insbesondere ruft die Organläsionsevaluierungseinheit 220e aus dem Speicher 204 eine Läsionsprobenkorrespondenz ab, in der eine Läsionsprobenausdehnungsinformation, die einen Läsionsprobenrepräsentativwert und die Ausdehnung eines Läsionsbereichs der Läsionsprobe angibt, mit einem bekannten Evaluierungsstufe verknüpft ist, die der Bildgruppe der Läsionsprobe für jede Läsionsprobe entspricht, die unter Verwendung einer Bildgruppe einer Vielzahl von Läsionsproben erhalten wird, für die die Evaluierungsstufe bezüglich des Läsionsgrades bestimmt wurden, und hält die Beziehung. Der Läsionsprobenrepräsentativwert und die Ausdehnungsinformation des Läsionsbereichs der Läsionsprobe werden vorzugsweise durch das gleiche Verfahren wie das oben beschriebene Verfahren zum Berechnen des Repräsentativwertes und der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs berechnet. Die Bildgruppe der Läsionsprobe enthält Bilder einer Vielzahl von Läsionsproben, die durch Abbilden des Inneren des Organs erhalten werden, und der Läsionsgrad in dieser Läsionsprobe wird auf einer Stufe evaluiert, und die Evaluierungsstufe wurde bereits bestimmt. Die Bildgruppe der Läsionsprobe ist vorzugsweise eine, die von einem Arzt auf einer Evaluierungsstufe, wie z. B. dem Mayo-Score, evaluiert wird. Die Organläsionsevaluierungseinheit 220e evaluiert den zu evaluierenden Läsionsgrad auf der Evaluierungsstufe unter Verwendung der Läsionsprobenkorrespondenz anhand der Ausdehnungsinformation des Läsionsbereichs, die durch Abbilden des Inneren des Organs erhalten und evaluiert wird, und des Repräsentativwerts des zu evaluierenden Läsionsbereichs.
Bezüglich der Läsionsprobenkorrespondenz wird beispielsweise eine Vielzahl von Sätzen von Läsionsproben vorbereitet und eine Regressionsgleichung erhalten, indem eine Regressionsanalyse an dem Repräsentativwert in der Bildgruppe der Läsionsproben und der Evaluierungsstufe der Läsionsprobe in Bezug auf die Läsionsproben-Ausdehnungsinformation durchgeführt wird, sodass eine Läsionsprobenkorrespondenz konstruiert wird. Darüber hinaus werden durch Durchführen einer Clusteranalyse mehrerer Sätze von Bildgruppen der Läsionsproben eine Vielzahl von Clustern basierend auf dem Läsionsproben-Repräsentativwert und der Läsionsproben-Ausdehnungsinformation der Läsionsproben-Bildgruppe erzeugt, und Evaluierungsstufen werden jedem Cluster zugeordnet, sodass eine Läsionsprobenkorrespondenz konstruiert wird. Darüber hinaus wird eine Vielzahl von Sätzen von Bildgruppen der Läsionsproben, die eine feste Evaluierungsstufe haben, vorbereitet, und der Läsionsproben-Repräsentativwert, die Läsionsproben-Ausdehnungsinformation und die Evaluierungsstufe der entsprechenden Läsionsprobe werden als Lerndaten verwendet. Die Läsionsprobenkorrespondenz zwischen dem Repräsentativwert und der Läsionsproben-Ausdehnungsinforation in der Bildgruppe der Läsionsprobe und der Evaluierungsstufe der Läsionsprobe kann von einem prädiktiven Modell maschinell gelernt werden, und das maschinell gelernte prädiktive Modell kann in der Organläsionsevaluierungseinheit 220e vorgesehen werden. Das prädiktive Modell kann die Evaluierungsstufe des zu evaluierenden Läsionsteils anhand der Ausdehnungsinformation des zu evaluierenden Läsionsteils und des Repräsentativwerts des zu evaluierenden Läsionsbereichs vorhersagen. Das heißt, die Läsionsprobenkorrespondenz enthält auch die Korrespondenz basierend auf künstlicher Intelligenz, die durch maschinelles Lernen konstruiert wird. Für ein maschinelles Lernen des prädiktiven Modells wird beispielsweise „Tiefes Lernen“ durch eine neurales Netzwerk verwendet. Darüber hinaus kann ein Random Forest unter Verwendung einer Baumstruktur verwendet werden. Als prädiktives Modell kann ein bekanntes Modell wie z. B. ein Convolutional Neural Network (zu deutsch etwa ein „faltendes neuronales Netzwerk“) verwendet werden.
6 ist ein Diagramm zum Erläutern eines Beispiels, in dem die Organläsionsevaluierungseinheit 220e die Evaluierungsstufe anhand der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs und des Repräsentativwerts der zu evaluierenden Läsionsprobe unter Verwendung der Läsionsprobenkorrespondenz berechnet. Die Bildgruppe der Vielzahl von Sätzen von Läsionsproben enthält die Bildgruppe der Läsionsproben von Patient 1,..., Patient n und die evaluierten Stufen der dazugehörigen Läsionsproben. In 6 ist die Evaluierungsstufe als „Stufe“ beschrieben. Von dieser Bildgruppe werden der Läsionsprobenrepräsentativwert und die Länge des Läsionsbereichs (Läsionsproben-Ausdehnungsinformation) in der Läsionsprobe berechnet und eingestellt. Eine Vielzahl von Sätzen von Bildgruppen solcher Läsionsproben werden vorbereitet, und eine Läsionsprobenkorrespondenz zur Verknüpfung zwischen dem Läsionsproben-Repräsentativwert und der Läsionsproben-Ausdehnungsinformation und der Evaluierungsstufe wird konstruiert und in dem Speicher 204 gespeichert. Beim Evaluieren des zu evaluierenden Läsionsgrades ruft die Organläsionsevaluierungseinheit 220e die Läsionsprobenkorrespondenz ab und hält sie, und verwendet diese Korrespondenz, um die Evaluierungsstufe anhand der Länge (Ausdehnungsinformation) der zu evaluierenden Läsionsprobe und des Repräsentativwertes des zu evaluierenden Läsionsbereichs vorherzusagen und zu bestimmen.
Auf diese Weise evaluiert die Organläsionsevaluierungseinheit 220e den Läsionsgrad in dem Organ unter Verwendung der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs, die aus der Startposition und der Endposition des zu evaluierenden Läsionsbereichs berechnet wird, und des Repräsentativwerts des Bildevaluierungswerts des aufgenommenen Läsionsbereichsbildes, sodass der Läsionsgrad umfassend evaluiert werden kann.
Die Evaluierungsergebnisintegrationseinheit 220f erzeugt einen Bildschirm zum Anzeigen einer von der Organläsionsevaluierungseinheit 220e evaluierten Evaluierungsstufe, ggf. eines zweidimensionalen Streudiagramms, eines aufgenommenen Läsionsbereichsbildes, in dem der Bildevaluierungswert ein maximaler Wert wird, und eines von diesem Bild verarbeiteten Farbkartenbildes auf dem Monitor 300. In dem zweidimensionalen Streudiagramm ist eine der horizontalen Achse und der vertikalen Achse die Achse des Repräsentativwertes des Läsionsbereichs, und die andere Achse aus horizontaler Achse und vertikaler Achse ist die Achse der Ausdehnungsinformation des Läsionsbereichs. Der Repräsentativwert des zu evaluierenden Läsionsbereichs und die Ausdehnungsinformation des zu evaluierenden Läsionsbereichs werden zusammen mit dem Läsionsproben-Repräsentativwert und der Läsionsproben-Ausdehnungsinformation aufgetragen.
Auf einem solchen Bildschirm oder separat von diesem Bildschirm kann ein Bild des Inneren des Organs als Bewegtbild wiedergegeben werden.
Da der Monitor 300 das zweidimensionale Streudiagramm anzeigt, in dem der Repräsentativwert des zu evaluierenden Läsionsbereichs und die Ausdehnungsinformation des zu evaluierenden Läsionsbereichs in einem Bildschirm aufgetragen sind, kann der Chirurg den Schweregrad des zu evaluierenden Läsionsbereichs leicht erfassen.
7A und 7B sind Diagramme, die ein Beispiel für einen Ablauf eines Verfahrens zum Berechnen des Läsionsgrades in einem Organ aus der Erfassung von Bildern zeigen, das von der Evaluierungseinheit 225 durchgeführt wird. Der gezeigte Ablauf ist ein Beispiel, bei dem der Repräsentativwert der maximale Wert der Bildevaluierungswerte ist, und der zu evaluierende Läsionsbereich ist ein Beispiel, in dem die größte Länge einer Vielzahl von Läsionsbereichen in dem Organ symmetrisch evaluiert wird.
Zunächst werden in der Evaluierungseinheit 225 die Länge des Läsionsbereichs und ein Läsionsflag, die interne Variablen sind, gesetzt. Insbesondere wird die Länge des Läsionsbereichs auf Null gesetzt, und das Läsionsflag, das das Vorhandensein oder Nichtvorhandensein des Läsionsbereichs angibt, wird auf „Falsch“ gesetzt (Falsch gibt an, dass die Läsion nicht vorhanden ist) (Schritt S10). Das Läsionsflag ist entweder „Falsch“ oder „Wahr“.
Als nächstes erfasst die Vorverarbeitungseinheit 220a ein Bild (Schritt S12) und für die oben genannte RGB-Umwandlung, Farbraumumwandlung, Referenzachseneinstellung und Farbkorrekturverarbeitung durch.
Ferner erfasst die Abbildungspositionsinformationserfassungseinheit 220c die Abbildungspositionsinformation, die mit dem Bild verknüpft ist, das von der Vorverarbeitungseinheit 220a erfasst wird, aus dem Positionsmesssystem 250 (Schritt S14). Dagegen berechnet die Bildevaluierungswertberechnungseinheit 220b den Bildevaluierungswert unter Verwendung des von der Vorverarbeitungseinheit 220a verarbeiteten Bildes (Schritt S16). Die Organläsionsevaluierungseinheit 220e bestimmt, ob der berechnete Bildevaluierungswert einen Schwellenwert zum Bestimmen des Vorhandenseins oder Nichtvorhandenseins einer Läsion übersteigt (Schritt S18). Wenn das Ergebnis dieser Bestimmung positiv ist, bestimmt die Organläsionsevaluierungseinheit 220e, ob das Läsionsflag „Wahr“ ist (Schritt S20). Wenn das Ergebnis dieser Bestimmung negativ ist, das heißt, wenn das Läsionsflag „Falsch“ ist, setzt die Läsionspositionsberechnungseinheit 220d das Läsionsflag auf „Wahr“, da der Läsionsbereich erfasst wurde (Schritt S22). Ferner wird die Information der aktuellen Abbildungsposition, die in Schritt S14 erfasst wird, in dem Speicher 204 gespeichert. Folglich wird die Information der Startposition des Läsionsbereichs in dem Speicher 204 gespeichert. Ferner geht das Verfahren weiter zum Schritt S26, der später beschrieben wird.
Dagegen, wird, wenn das Ergebnis der Bestimmung im Schritt S20 positiv ist, das heißt, wenn das Läsionsflag „Wahr“ ist, angezeigt, dass der Läsionsbereich kontinuierlich aufritt, sodass die Organläsionsevaluierungseinheit 220e den im Schritt S16 berechneten Bildevaluierungswert in dem Speicher 204 speichert (Schritt S26). Das heißt, der Bildevaluierungswert in dem Läsionsbereich wird sequentiell in dem Speicher 204 gespeichert. Danach bestimmt die Vorverarbeitungseinheit 220a, ob die Erfassung des Bildes abgeschlossen ist (Schritt S40). Wenn die Erfassung des Bildes fortgesetzt wird (wenn das Ergebnis der Bestimmung negativ ist), geht das Verfahren weiter zum Schritt S12, und die Vorverarbeitungseinheit 220a erfasst ein neues Bild und setzt das Verfahren fort. Wenn die Erfassung des Bildes abgeschlossen ist, geht das Verfahren bei der Bestimmung weiter, ob das in 7B gezeigte Läsionsflag „Wahr“ ist (Schritt S42).
Wenn das Bestimmungsergebnis im Schritt S18 negativ ist, bestimmt dagegen die Organläsionsevaluierungseinheit 220e, ob das Läsionsflag „Wahr“ ist (Schritt S28). Wenn das Ergebnis dieser Bestimmung positiv ist, wird die Endposition unter der Annahme bestimmt, dass die aktuelle Abbildungsposition an der Endposition des Läsionsbereichs ist. Deshalb bestimmt die Läsionspositionsberechnungseinheit 220d als eine temporäre Länge einen Wert, der durch Abziehen der Information der aktuellen Abbildungsposition von der Information der in dem Speicher 204 gespeicherten Abbildungsposition erhalten wird, das heißt, die Information der Position des Startpunktes des Läsionsbereichs (Schritt S30). Ferner bestimmt die Organläsionsevaluierungseinheit 220e, ob die bestimmte temporäre Länge größer als die Länge des Läsionsbereichs ist, die eine interne Variable ist (Schritt S32). Wenn das Ergebnis dieser Bestimmung positiv ist, stellt die Läsionspositionsberechnungseinheit 220d die vorbestimmte temporäre Länge als die Länge des Läsionsbereichs ein (Schritt S34). Ferner stellt die Organläsionsberechnungseinheit 204 den maximalen Wert unter den Bildevaluierungswerten, die im Speicher 204 gespeichert sind, als Repräsentativwert ein (Schritt S36). Anschließend setzt die Organläsionsevaluierungseinheit 220e das Läsionsflag auf „Falsch“ (Schritt S38) und fährt mit dem Schritt S40 fort.
Wenn das Ergebnis dieser Bestimmung im Schritt S28 negativ ist, geht das Verfahren dagegen weiter zum oben beschriebenen Schritt S40. Das heißt, wenn das Ergebnis der Bestimmung im Schritt S28 negativ ist, ist der Läsionsbereich immer noch nicht gefunden, und das Verfahren geht weiter mit der Evaluierung des als nächstes zu erfassenden Bildes.
Wenn das Ergebnis der Bestimmung im Schritt S32 negativ ist, das heißt, wenn die temporäre Länge kürzer als die Länge des bereits eingestellten Läsionsbereichs ist, hat dieser Läsionsbereich ferner eine kleine Wirkung auf den Läsionsgrad des Organs und wird deshalb nicht als Evaluierungsziel angesehen. Da der Läsionsbereich an der aktuellen Abbildungsposition zu Ende ist, geht diesmal das Verfahren weiter zum Schritt S38, in dem das Läsionsflag auf „Falsch“ gesetzt wird. Danach geht das Verfahren weiter zum Schritt S40.
Obgleich die Erfassung des Bildes abgeschlossen ist, werden die Schritte S42 bis S50 unter Berücksichtigung des Falls durchgeführt, in dem sich der Läsionsbereich in dem letzten erfassten Bild fortsetzt. Das heißt, die Organläsionsevaluierungseinheit 220e bestimmt, ob das Läsionsflag „Wahr“ ist. Wenn das Ergebnis der Bestimmung positiv ist, das heißt, wenn das Läsionsflag „Wahr“ ist, bedeutet das, dass sich der Läsionsbereich sogar in dem letzten erfassten Bild fortsetzt, sodass die gleichen Verfahren wie in den Schritten S30 bis S38 durchgeführt werden (Schritte S44 bis S52). Da die Verfahren der Schritte S44 bis 52 die gleichen wie diejenigen der Schritte S30 bis S38 sind, entfällt die Beschreibung derselben.
Auf diese Weise erhält die Organläsionsevaluierungseinheit 220e den Läsionsgrad in dem Organ auf der Evaluierungsstufe aus der Länge des Läsionsbereichs mit der größten Länge in dem Organ und seinem Repräsentativwert unter Verwendung der oben genannten voreingestellten Korrespondenz (Schritt S54).
Auf diese Weise kann das elektronische Endoskopsystem 1 Informationen über die Intensität der Läsion in dem Läsionsbereich und die Ausdehnung der Läsion durch Verarbeiten des erfassten Bildes erhalten, sodass es möglich ist, den Läsionsgrad in dem Organ umfassend zu evaluieren.
Vorstehend wurde das Endoskopsystem der vorliegenden Erfindung im Detail beschrieben. Das Endoskopsystem der vorliegenden Erfindung ist nicht auf das oben beschriebene Ausführungsbeispiel beschränkt und kann selbstverständlich auf verschiedene Arten in einem Umfang, der von dem Schutzumfang und dem Geist der vorliegenden Erfindung nicht abweicht, modifiziert oder verändert werden.
Bezugszeichenliste

1: elektronisches Endoskopsystem
100: elektronisches Beobachtungsinstrument
200: Prozessor
220: Bildverarbeitungseinheit
225: Evaluierungseinheit
220a: Vorverarbeitungseinheit
220b: Bildevaluierungswertberechnungseinheit
220c: Abbildungspositionsinformationserfassungseinheit
220d: Läsionspositionsberechnungseinheit
220e: Organläsionsevaluierungseinheit
220f: Evaluierungsergebnisintegrationseinheit
225: Evaluierungseinheit
230: Lichtquelleneinheit
250: Positionsmesssystem
300: Monitor
400: Drucker
600: Server

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2017/057680 A [0005]

Claims

Elektronisches Endoskopsystem zum Evaluieren einer Läsion eines lebenden Gewebes in einem Organ, umfassend: ein elektronisches Endoskop, das ausgebildet ist, um das lebende Gewebe in dem Organ abzubilden; einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um eine Vielzahl von aufgenommenen Bildern des lebenden Gewebes zu verarbeiten, um einen Läsionsgrad in dem Organ zu evaluieren; und einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis der Läsion auf einem Bildschirm anzuzeigen, wobei die Evaluierungseinheit enthält eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Bildevaluierungswert, der eine Intensität der Läsion des lebenden Gewebes in jedem der Vielzahl von Bildern des lebenden Gewebes angibt, zu berechnen, eine Abbildungspositionsinformationserfassungseinheit, die ausgebildet ist, um eine Information an einer Abbildungsposition in dem Organ, in dem jedes der Bilder aufgenommen ist, in Verbindung mit jedem der Bilder zu erfassen, eine Läsionspositionsberechnungseinheit, die eine Startposition und eine Endposition einer Region eines Läsionsbereichs, in der sich die Läsion kontinuierlich in einer Tiefenrichtung im Inneren des Organs ausbreitet, ermittelt, indem das Vorhandensein oder Nichtvorhandensein der Läsion in jedem der Bilder basierend darauf, ob der Bildevaluierungswert einen vorbestimmten Schwellenwert übersteigt, bestimmt, und eine Organläsionsevaluierungseinheit, die ausgebildet ist, um eine Länge des Läsionsbereichs, die anhand der Startposition und der Endposition als Ausdehnungsinformation der Läsionsbereichs berechnet wird, einzustellen und den Läsionsgrad in dem Organ unter Verwendung der Ausdehnungsinformation und eines Repräsentativwertes des Bildevaluierungswertes eines aufgenommenen Läsionsbereichsbildes, das durch Abbilden des Läsionsbereichs erhalten wird, zu evaluieren.
Elektronisches Endoskopsystem nach Anspruch 1, wobei die Läsionspositionsberechnungseinheit, wenn die Läsionen an mehreren Stellen vorhanden sind, einen Läsionsbereich, der die größte Länge in der Tiefenrichtung hat, in der sich die Läsion kontinuierlich ausbreitet, als den zu evaluierenden Läsionsbereich verwendet.
Elektronisches Endoskopsystem zum Evaluieren einer Läsion eines lebenden Gewebes in einem Organ, umfassend: ein elektronisches Endoskop, das ausgebildet ist, um das lebende Gewebe in dem Organ abzubilden; und einen Prozessor, der eine Evaluierungseinheit enthält, die ausgebildet ist, um einen Läsionsgrad in dem Organ durch Verarbeiten einer Vielzahl aufgenommener Bilder des lebenden Gewebes zu evaluieren; und einen Monitor, der ausgebildet ist, um ein Evaluierungsergebnis der Läsion auf einem Bildschirm anzuzeigen, wobei die Evaluierungseinheit enthält: eine Bildevaluierungswertberechnungseinheit, die ausgebildet ist, um einen Pixelevaluierungswert, der eine Intensität der Läsion des lebenden Gewebes für jedes Pixel der Vielzahl von Bildern des lebenden Gewebes angibt, zu berechnen, und einen Bildevaluierungswert, der eine Intensität der Läsion des lebenden Gewebes in jedem der Bilder anhand des Pixelevaluierungswertes angibt, zu berechnen, eine Abbildungspositionsinformationserfassungseinheit, die ausgebildet ist, um eine Information einer Abbildungsposition in dem Organ, an der jedes der Bilder aufgenommen ist, in Verbindung mit jedem der Bilder zu erfassen, eine Läsionspositionsberechnungseinheit, die das Vorhandensein oder Nichtvorhandensein der Läsion in jedem der Bilder basierend darauf bestimmt, ob der Bildevaluierungswert einen vorbestimmten Schwellenwert übersteigt, und eine Startposition und eine Endposition eines Läsionsbereichs ermittelt, in dem sich die Läsion kontinuierlich in einer Tiefenrichtung im Inneren des Organs ausbreitet, und eine Organläsionsevaluierungseinheit, die ausgebildet ist, um eine Flächeninformation des Läsionsbereichs, die anhand eines Pixels eingestellt wird, dessen Pixelevaluierungswert gleich oder größer als ein Schwellenwert zum Bestimmen der Läsion in der Vielzahl von aufgenommenen Läsionsbereichsbilder ist, die durch Abbilden des Läsionsbereichs zwischen der Startposition und der Endposition erhalten werden, als Ausdehnungsinformation des Läsionsbereichs einzustellen, und den zu evaluierenden Läsionsgrad in dem Organ unter Verwendung der Ausdehnungsinformation und eines Repräsentativwertes des Bildevaluierungswerts in dem aufgenommenen Läsionsbereichsbild zu evaluieren.
Elektronisches Endoskopsystem nach Anspruch 3, wobei die Organläsionsevaluierungseinheit die Flächeninformation basierend auf der Anzahl von Pixeln ermittelt, die durch Zählen der Pixel erhalten wird, deren Pixelevaluierungswert gleich oder größer als ein Schwellenwert zum Bestimmen der Läsion in dem aufgenommenen Läsionsbereichsbild ist.
Elektronisches Endoskopsystem nach Anspruch 3, wobei die Organläsionsevaluierungseinheit die Flächeninformation basierend auf einem Produkt aus einem Mittelwert in dem aufgenommenen Läsionsbereichsbildes eines Belegungsverhältnisses in dem aufgenommene Läsionsbereichsbildes von Pixeln, deren Pixelevaluierungswert gleich oder größer als der Schwellenwert zum Bestimmen der Läsion ist, und einer Länge des zu evaluierenden Läsionsbereichs ermittelt, die aus der Startposition und der Endposition berechnet wird.
Elektronisches Endoskopsystem nach einem der Ansprüche 1 bis 5, wobei der Repräsentativwert ein maximaler Wert unter den Bildevaluierungswerten des aufgenommenen Läsionsbereichsbildes ist.
Elektronisches Endoskopsystem nach einem der Ansprüche 1 bis 6, wobei die Organläsionsevaluierungseinheit eine Läsionsprobenkorrespondenz für jede der Läsionsproben hat, die unter Verwendung einer Bildgruppe erhalten werden, die Bilder einer Vielzahl von Läsionsproben einschließt, die durch Aufnehmen von Bildern des Inneren des Organs erhalten werden, die eine vorbestimmte Evaluierungsstufe des Läsionsgrades haben, zwischen einem Läsionsproben-Repräsentativwert der Läsionsprobe, der dem Repräsentativwert entspricht, einer Läsionsproben-Ausdehnungsinformation der Läsionsprobe, die der Ausdehnungsinformation des Läsionsbereichs entspricht, und der Evaluierungsstufe, und wobei die Organläsionsevaluierungseinheit den zu evaluierenden Läsionsgrad auf der Evaluierungsstufe unter Verwendung der Läsionsprobenkorrespondenz anhand der Ausdehnungsinformation des zu evaluierenden Läsionsbereichs, die durch Abbilden eines Inneren des Organs erhalten wird, und des Repräsentativwerts des zu evaluierenden Läsionsbereichs evaluiert.
Elektronisches Endoskopsystem nach einem der Ansprüche 1 bis 6, wobei die Organläsionsevaluierungseinheit ein prädiktives Modell zum Vorhersagen der Evaluierungsstufe des zu evaluierenden Läsionsbereichs ist, einen Läsionsproben-Repräsentativwert einer Läsionsprobe, der dem Repräsentativwert entspricht, eine Läsionsproben-Ausdehnungsinformation der Läsionsprobe, die der Ausdehnungsinformation der Läsionsbereichs entspricht, und eine Evaluierungsstufe als Lerndaten für jede der Läsionsproben einstellt, die unter Verwendung einer Bildgruppe erhalten werden, die Bilder einer Vielzahl von Läsionsproben einschließt, die eine vorbestimmte Evaluierungsstufe des Läsionsgrades haben, und ein prädiktives Model einschließt, das dadurch erhalten wird, dass eine Korrespondenz zwischen dem Läsionsproben-Repräsentativwert, der Läsionsproben-Ausdehnungsinformation und der Evaluierungshöhe maschinell gelernt wird, und wobei die Organläsionsevaluierungseinheit das prädiktive Modell veranlasst, eine Evaluierungsstufe des zu evaluierenden Läsionsbereichs anhand des Repräsentativwerts des zu evaluierenden Läsionsbereichs und der Ausdehnungsinformation des Läsionsbereichs vorherzusagen.
Elektronisches Endoskopsystem nach Anspruch 7 oder 8, wobei der Monitor ein zweidimensionales Streudiagramm auf einem Bildschirm anzeigt, in dem der Repräsentativwert des zu evaluierenden Läsionsbereichs und die Ausdehnungsinformation des zu evaluierenden Läsionsbereichs zusammen mit dem Läsionsproben-Repräsentativwert und der Läsionsproben-Ausdehnungsinformation aufgetragen werden.