JPH04193254A - 内視鏡画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は電子式の内視鏡から得られる画像信号を処理す
る内視鏡画像処理装置に関する。

［従来の技術］ 近年、細長の挿入部を体腔内に挿入することによって、
切開を必要とすることなく、体腔内の患部等を観察した
り、必要に応じ処置具を用いて治療処置のできる内視鏡
が広く用いられるようになった。

上記内視鏡には、イメージガイドを像伝送手段に用いた
光学式の内視鏡（ファイバースコープ）の他に、最近の
ＣＣＤ等の固体撮像手段を用いた電子式の内視鏡（以下
、電子内視鏡又は電子スコープ）が実用化されるように
なった。

また、ファイバースコープの接眼部にＣＣＤ等の固体撮
像素子を用いた撮像カメラを接続してモニタでカラー表
示できるようにしたものもある。

さらに、最近ではこの様な内視鏡から得られる映像信号
に対し、様々な強調処理を施すことにより、人間の認識
を補助し、診断能力を向上させる試みが成されている。

これらの技術により、診断を行うにあたっての最大の情
報である画像の品質は近年大幅に向上しつつある。（例
えば色空間に対する強調処理としては米国特許４８１９
０７７号、あるいは特願昭６２−２９６１４３号等に開
示されている。） ところで、内視鏡による医療行為は、経内視鏡的に得ら
れる画像から、観察対象の正常、異常の判定を行う、あ
るいは、病変の程度を把握し、進行状態、治癒過程に関
する詳細な分類、評価を行うことを目標のひとつとして
いる。

診断を行う為には、内視鏡を操作することにより所望の
画像を得る撮像ステップと、画像から得られる情報を評
価し識別する画像理解ステップが必要である。

後者の画像理解ステップは現時点では主観判断が主とな
っており、術者の経験と知識とに依存している。この為
、同等の練炭を有する術者にあっても、いわゆる境界病
変と呼ばれるような種類の、判定の難しい対象に対して
は、人により異なった判定をすることも少なくない。

この為、例えば癌、非癌等の、判定がきわめて重要な病
変に対して生検等により生体組織の一部を取り出し、病
理診断により法定を行う等の手段を併用することが多い
。しかし、この場合も生検部位が正しく疑診部位の要所
を捉えたか否かにより、結果が左右されてしまう為、内
視鏡画像からの判断で的確に病変部位が識別されている
ことはやはり極めて重要なこととなる。

対象の識別についは色、形状、模様の３種類の情報が何
等かの寄与をしており、これらの情報に対して、それぞ
れ客観的な評価を与える試みが行われている。例えば形
状についてはステレオ内視鏡等による、立体情報取得の
試みがあり、色については７関心領域の色度座標を算出
することが行われている。さらに、狭帯域の分光フィル
タを用いて撮像した画像間で演算を行い評価値を算出す
る　−等の試みがなされている。

模様についても、例えば本出願人による特願昭６３−１
２１９３５号、あるいは特願昭６３−２７７９１８号に
模様（テクスチャー）を評価する手法が開示されている
。これらの手法は経内視鏡的に得ちる多様な画像のうち
、幾つかの種類の画像（対象）に対しては有効なもので
あるが、未だ、その再現性、適用可能な対象の範囲等多
くの点で改善すべき点があった。

［発明が解決しようとする課題］ 上記の如く、従来の内視鏡画像処理装置では、内視鏡画
像を有効に処理し、活用するには不備な点が多かった。

本発明は、上記の点に鑑みてなされたもので、内視鏡操
作者が画像診断を行うにあたって、画像に対する種々の
客観的評価値を算出することにより、診断の参考とする
ことが可能な内視鏡画像処理装置を提供することを目的
とする。

［課題を解決するための手段及び作用コ本発明の内視鏡
画像処理装置は、内視鏡による画像を構成する少なくと
も−っの映像信号に対して、内視鏡の被観察体の画像パ
ターンから診断に必要な特微量を抽出する手段と、その
特微量に基づき、画像の判別評価を行う手段を備えたこ
とを特徴とする。

［実施例コ 以下、図面を参照して本発明の詳細な説明する。

第１図乃至第２０図は本発明の第１乃至第３の実施例に
係り、第１図は内視鏡装置の構成を示すブロック図、第
２図は画像処理装置の構成を示すブロック図、第３図は
内視鏡装置の全体を示す側面図、第４図は画像処理装置
の第１の実施例の動作の全体の流れを説明するためのフ
ローチャート、第５図及び第６図は第１の実施例の動作
における各処理の動作を説明するためのフローチャート
、第７図は第１の実施例の動作により得られた処理結果
データの説明図、第８図は第１の実施例の動作により得
られた処理結果を基に判別処理を行うためのデータの処
理例を説明するグラフ、第９図は平滑化手法の処理を説
明するための図、第１０図は濃液レベル数を表わす図、
第１１図は濃液レベル、ＲｕｎＲｕｎ−１ｅｎ行列を表
わす図、第１２図、第１３図は画像処理装置の第２の実
施例の動作を表わすフローチャート、第１４図は横縞模
様の原画像を表わす図、第１５図は星くず模様の原画像
を表わす図、第１６図は第２実施例での評価関数の結果
を表わすグラフ、第１７図はアフィン変換を表わす図、
第１８図、第１９図は画像処理装置の第３の実施例の動
作を表わすフローチャート、第２０図は第３の実施例で
の評価関数の結果を表わすグラフである。

本実施例の内視鏡装置は、第３図に示すように、電子内
視鏡１を備えている。この電子内視鏡１は、細長で例え
ば可視性の挿入部２を有し、この挿入部２の後端に大径
の操作部３が連設されている。

前記操作部３の後端部からは側方に可視性のユニバーサ
ルコード４が延設され、このユニバーサルコード４の先
端部にコネクタ５が設けられている。

前記電子内視鏡１は、前記コネクタ５を介して、光源装
置及び信号処理回路が内蔵されたビデオプロセッサ６に
接続されるようになっている。さらに、前記ビデオプロ
セッサ６には、モニタ７が接続されるようになっている
。

前記挿入部２の先端側には、硬性の先端部９及びこの先
端部９に隣接する後方側に湾曲可能な湾曲部１０が順次
設けられている。また、前記操作部３に設けられた湾曲
操作ノブ１１を回動操作することによって、前記湾曲部
１０を左右方向あるいは上下方向に湾曲できるようにな
っている。また、前記操作部３には、前記挿入部２内に
設けられた処置具チャンネルに連通ずる挿入口１２が設
けられている。

第１図に示すように、電子内視鏡１の挿入部２内には、
照明光を伝達するライトガイド１４が挿通されている。

このライトガイド１４の先端面は、挿入部２の先端部９
に配置され、この先端部９から照明光を出射できるよう
になっている。また、前記ライトガイド１４の入射端側
は、ユニバーサルコード４内に挿通されてコネクタ５に
接続されている。また、前記先端部９には、対物レンズ
系１５が設けられ、この対物レンズ系１５の結像位置に
、固体撮像素子１６が配置されている。この固体撮像素
子１６は、可視領域を含め紫外領域から赤外領域に至る
広い波長域で感度を有している。

前記固体撮像素子１６には、信号！１２６．２７が接続
され、これら信号線２６．２７は、前記挿入部２及びユ
ニバーサルコード４内に挿通されて前記コネクタ５に接
続されている。

一方、ビデオプロセッサ６内には、紫外光から赤外光に
至る広帯域の光を発光するランプ２１が設けられている
。このランプ２１としては、−船釣なキセノンランプや
ストロボランプ等を用いることができる。前記キセノン
ランプやストロボランプは、可視光のみなちず紫外光及
び赤外光を大量に発光する。このランプ２１は、電源部
２２によって電力が供給されるようになっている。前記
ランプ２１の前方には、モータ２３によって回転駆動さ
れる回転フィルタ５ｏが配設されている。

この回転フィルタ５０には、通常観察用の赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の各波長領域の光を透過するフィルタ
が、周方向に沿って配列されている。

また、前記モータ２３は、モータドライバ２５によって
回転が制御されて駆動されるようになっている。

前記回転フィルタ５ｏを透過し、Ｒ，Ｇ、Ｂの各波長領
域の光に時系列的に分離された光は、前記ライトガイド
１４の入射端に入射され、このライトガイド１４を介し
て先端部９に導かれ、この先端部９から出射されて、観
察部位を照明するようになっている。

この照明光による観察部位からの戻り光は、対物レンズ
系１５によって、固体撮像素子１６上に結像され、光電
変換されるようになっている。この固体撮像素子１６に
は、前記信号！！２６を介して、前記ビデオプロセッサ
６内のドライバ回路３１からの駆動パルスが印加され、
この駆動パルスによって読み出し、転送が行われるよう
になっている。この固体撮像素子１６から読み出された
映像信号は、前記信号１！２７を介して、前記ビデオプ
ロセッサ６内訣たは電子内視鏡１内に設けられたプリア
ンプ３２に入力されるようになっている。

このプリアンプ３２で増幅された映像信号は、プロセス
回路３３に入力され、γ補正及びホワイトバランス等の
信号処理を施され、Ａ／Ｄコンバータ３４によって、デ
ジタル信号に変換されるようになっている。このデジタ
ルの映像信号は、セレクト回路３５によって、例えば赤
（Ｒ）、Ｍ　（Ｇ）、青（Ｂ）の各色に対応するメモリ
（１）３６ａ。

メモリ（２）３６ｂ、メモリ（３）’　３６　ｃに選択
的に記憶されるようになっ′ている。前記メモリ（１）
３６ａ、メモリ（２）３６ｂ、メモリ（３）３６ｃは、
同時に読み出され、Ｄ／Ａコンノ〈−タ３７によって、
アナログ信号に変換され、入出力インターフェース３８
を介して、Ｒ，Ｇ、Ｂ信号として、カラーモニタフに入
力され、このカラーモニタ７によって、観察部位がカラ
ー表示されるようになっている。

また、前記ビデオプロセッサ６内には、システム全体の
タイミングを作るタイミングジェネレータ４２が設けら
れ、このタイミングジェネレータ４２によって、モータ
ドライバ２５、ドライノく回路３１、セレクト回、路３
５等の各回路間の同期が取られている。

本実施例では、前記メモリ（１〜Ｂ）３６ａ〜３６ｃの
出力端は、画像処理装置１０４に接続されている。また
、前記画像処理装置１０４には、入出力インターフェー
ス１０５を介して、モニタ１０６が接続され、このモニ
タ１０６に、前記画像処理装置１０４による演算処理結
果が表示されるようになっている。

前記画像処理装置１０４は、第２図に示すような構成に
なっている。

すなわち、画像処理装置１０４は、ＣＰＬ１１２１、情
報入力装置１２２、ＲＡＭからなる主記憶装置１２３、
画像入力インターフェース１２５及び表示インターフェ
ース１２８を備え、これらは、バスによって互いに接続
されている。前記情報入力装置１２２は、キーボード等
であり、電子内視鏡１の種別等のデータを入力できるよ
うになっている。前記画像入力インターフェース１２５
は、メモリ（１）３６ａ、メモリ（２）３６ｂ、メモリ
（３）３６ｃに接続され、これらからの画像データの受
信を行うようになっている。また、前記表示インターフ
ェース１２８は、入出力インターフェース１０５に接続
され、モニタ１０６に入力する画像データを送るように
なっている。

本実施例では、電子内視鏡１で得た対象部位の画像に対
し、画像処理装置１０４で処理を行い、モニタ１０６に
処理結果を出力する。

次に、前記画像処理装置１０４の処理の第１の実施例に
ついて説明する。

経内視鏡観察により得られる画像において、臓器粘膜表
面の模様の特徴の違いから、症例に対する診断を行うこ
とが試みられている。しかしながら、この診断は主観判
断となり、また、肉眼ては明確な判定を下すことが非常
に困難であるという欠点を持っている。そこで、内視鏡
画像に対し、画像処理装置１０４において、後述する最
大最小計測法なる手法を利用した処理を適用する。この
処理により、前記特徴の違いから、症例に対して例えば
癌あるいはポリープの判別を自動的に行うことが可能と
なり、前述の問題を解決し、主観判断を介さずに正確な
診断を行うことができる。

第４図は画像処理装置１０４の動作を説明するためのフ
ローチャートである。例えば原画像における０画像に対
し、ステップＳ１において後述の最大最小計測法を施し
た後、ステップＳ２において画像判別処理を適用する。

第５図は前述のステップＳ１における最大最小計測法に
基づく処理部のフローチャートである。

最大最小計測法は、基本的には画像において水平方向に
隣接する画素の輝度ｘｋ−１、ｘｋ　、　ｘｋ＋１がｘ
ｋ−１＜ｘｋかつｘｋ＋１＜ｘｋであるときｘｋを局所
極大値、ｘｋ−１）ｘｋかつｘｋ＋１＞ｘｋであるとき
ｘｋを局所極小値とし、それらを与える局所極大・極小
点（１ｏｃａｌ　ｅｘｔｒｅｍａ　ｏ−カル・エクスト
リーマ）の合計個数を求めることを特徴とする手法であ
る。実際は、処理のパラメータである指定輝度差Ｔ　＜
Ｔ＝０．２，４，６．・・・）に関して後述する平滑化
処理をステップＳｌｌにおいて施した処理結果に対する
局所極大・極小点の個数を求めている。局所極大　極小
点の個数はステップＳＬ２において出力される。また、
同様な処理を垂直方向に対して適用することも可能であ
る。

具体的な処理では、ディジタル化した原画像に対して、
まずギヤ・バックラッシュ法と呼ばれる平滑化を施す。

第６図はギヤ・バックラッシュ法の水平方向処理におけ
るフローチャートである。この平滑化手法は、原画像に
おいて水平方向にｎ画素、垂直方向にｍ画素のデータが
存在する場合（ｎ＝１．２゜３．　　、ｍ＝１．２．３
．・・）、各列について、水平方向に見てに番目の画素
（ｋ＝１．２，３゜・・、ｎ）の輝度をｘｋ−処理後の
画素にの輝度をｙｋ　　（ただし、ｙ１＝ｘ＋　）とし
、指定輝度差Ｔに基づいて第９図に示すような変換をｍ
列すべてに対して行うものである。垂直方向に対する処
理では、同平滑化を垂直方向のｍ画素に関し、ｎ列につ
いて行う。次いで、平滑化処理適用後の画像に対し、前
述の局所極大・極小点の個数を求める。

本実施例においては、胃における良性ポリープ及び癌の
内視鏡画像に対し、上記手法に基づく処理を実行する画
像処理装置１０４を適用した例を示す。

第７図は、良性ポリープ及び癌の内視鏡画像（画像サイ
ズ＝６４Ｘ６４、階調＝２５６）に対し、最大最小計測
法を水平・垂直の各方向にそれぞれ適用した場合の、各
種の指定輝度差Ｔに関する局所極大値及び局所極小値の
合計個数の例である。良性ポリープ及び癌のそれぞれの
画像から得られる各Ｔに対する値はγなっている。また
、同様な症例に対しては類似した結果を示すことが分か
っている。これらの情報を基に、画像判別処理ステップ
Ｓ２において、胃における良性ポリープ及び癌の判別を
行うことが可能である。

具体的には、前述の最大最小計測法に基づく処理を、胃
における良性ポリープ及び癌の内視鏡画像各３例に適用
した処理結果において、例えば第８図（ａ）に示すよう
に、水平方向の処理結果データに関して、横軸に指定輝
度差Ｔ、縦軸に各Ｔに対する局所極大・極小点の個数の
自然対数をとった値を設定し、グラフ化する。その結果
、良性ポリープと癌のそれぞれの画像から得られたデー
タに関して明確な傾向が現れる。この傾向の違いから両
者を判別することが可能である。また、第８図（ｂ）に
示すように、Ｔ＝Ｏ及びＴ＝１０に対する局所極大・極
小点の個数の自然対数をとった値の差を、横軸に水平方
向に関する処理結果、縦軸に垂直方向に関する処理結果
に対してグラフ化すると、良性ポリープ及び癌の各画像
から得られたデータは異なった領域に分布する。この結
果から両者の判別を行うことも可能である。

最大最小計測法を用いた画像処理装置１０４の適用は、
本実施例に示した胃における良性ポリープと癌との判別
に限定されるものではなく、使用する原画像も０画像に
限定されない。また、判別における各データの利用法は
本実施例に限定されるものではなく、適用性に即した扱
いが可能である。

次に、前記画像処理装置１０４の第２の実施例について
述べる。

初めに、ＲｔｌＮ−ＬＥＮＧＴＨ評価法について説明を
する。

ここで、ＲＵＮ−ＬＥＮＧＴＨとは、同じ濃度レベル値
が一直線上に連続する個数を示すものと定義する。第１
０図は原画像のある領域のドツト単位の濃度レベルを示
す行列である。例えば、直線の傾きが０°に対して濃度
値が１であるものは、３個連続しているものが１組あり
、１個のものが１組ある。

この処理をすべての濃度レベルに対して行ったものが第
１１図の行列であり、行が濃度レベル、列がＲＵＮ−Ｌ
ＥＮＧＴＨを示す、さらに直線の傾きが４５°。

９０°、１３５°に対して同様な処理を行って濃度レベ
ルとＲＵＮ−ＬＥＮＧＴＨの行列を作成することができ
る０次に作成した行列を以下の評価関数によって画像の
特徴を評価する。

（注）Ｐ（Ｉ、Ｊ）は作成した行列の要素１　：　ＨＯ
ＲＴ　ＲＵＮＳ　ＥＨＰＨＡＳＩＳ　（短イＬＥＮＧＴ
Ｈを強調）２　：　ＬＯＮＧ　ＲＵＮＳ　ＥＨＰＨＡＳ
ＩＳ　（長イＬＥＮＧＴＨを強調）３　：　ＧＲＥＹ　
ＬＥＶＥＬ　Ｎ０ＮＵＮＩＦＯＲＨＩＴＹ（濃度レベル
不均一性強調） ４　：　ＲＵＮ　ＬＥＮＧＴＨＮ０ＮＵＮＩＦＯＲＨＩ
Ｔ’Ｖ〈長さ不均一性強調） ５　：　ＲＵＮ　ＰＥＲＣＥＮＴ＾ＧＥ次に、前記画像
処理装置ｔ　０４の動作についての例を第１２図、第１
３図の２種類のフローで述べる。まず、第１２図のフロ
ーについて述べる。

原画像に対してノイズ除去フィルタ（例えばメデイアン
フィルタ）をかけ、ノイズを除去する（ＳＯ）。次に、
どの評価関数を使用するかを指定する（Ｓｌ）。さらに
、前記画像処理装置１０４で処理を行う画像領域を指定
する（Ｓ２）。上記領域はあらかじめ設定された大きさ
であり、任意に変更可能である。上記領域に対してヒス
トグラムの平坦化処理（公知）をして、さらに、その濃
度レベル（０−２５５）の値をグループ化して（例えば
８グループ（０，−２１，３２−６３，６４−９５、・
・・・・・、２２４−２２５））各グループの中心の値
をとるように値を変える。これはノイズが原因でＲＵＮ
−ＬＥＮＧＴＨに影響を及ぼすのを防ぐためである（Ｓ
３）。次に８３で処理をした画像に対して、上記濃度レ
ベルとＲＵＮ−ＬＥＮＧＴＨの行列を作成しくＳ４）　
、その行列を指定した評価関数で評価する（Ｓ５）、ま
た、別の上記直線の傾きに対する同様な処理を行う。こ
れは、同一評価関数において直線の頷きを変化させるこ
とによって画像の評価を行う手法である。

次に、第１３図のフローについて述べる。初めに上記Ｓ
Ｏと同様な処理を行い、どの直線の傾きを使用するかを
指定する（Ｔ１）。以下上記Ｓ２−８５と同様な処理を
行う。また、別の上記評価関数で同様な処理を行う。こ
れは、同一の直線の傾きに対して評価関数を変化させる
ことによって画像の評価を行う手法である。

次に、２種類の原画像を例にして、上記評価法がいかに
効果があるかを説明する。原画像は横縞模様である第１
４図、星屑模様である第１５図を例とし、第１２図での
評価法を使用する。評価関数は上記２　：　ＬＯＮＧ　
ＲＵＮＳ　ＥＨＰＨＡＳＩＳで評価し、直線の傾きを０
°、４５°、９０°、１３５°に変化させて評価した結
果が第１６図のグラフであり、Ｘ軸の１に対する値が横
縞模様の画像、２に対する値が星屑模様の画像で各傾き
に対する評価関数の値がプロットしである。グラフから
れかるように横縞模様＜Ｘ＝１）の傾きが０°に対する
値が他の傾きに対する値よりかなり大きい値であること
がわかる。つまり、第１４図の横縞模様が傾きが０°の
時だけ強調され、他の傾きでは同じような評価となり、
最大値と最小値の差が大きい。これに比べて、星屑模様
（Ｘ＝２）については、どの傾きに対しても同じような
値をとり、最大値と最小値の差が小さくなる。従って、
この評価法によって画像の特徴を比較検討できるのであ
る。これを内視鏡画像に応用することによって胃などの
潰瘍部分においてその模様を調べることによって治癒状
態を比較検討することに有効である。

次に、前記画像処理装置１０４の第３の実施例について
述べる。

上記ＲＵＮ−ＬＥＮＧＴＨ評価法での別の手法を説明す
る。

Ｒ１１Ｎ−ＬＥＮＧＴＨノ定ｉ、評価関数、濃度レベル
トＲ１１Ｎ−ＬＥＮＧフ８行列作成法は上記と同様とす
る。上記ＲＵＮ−ＬＥＮＧＴＨ評価法では、同じ濃度レ
ベル値が位置直線上に連続する個数を求めるため直線の
傾きがＯｏ。

４５°、９０°、１３５°に対してのみ処理を行って濃
度レベルとＲＵＮ−ＬＥＮＧＴＨの行列を作成した。

二こでは、第１７図のように直線の傾きを固定して（図
では０°）評価すべき領域を任意の傾きに回転させて（
アフィン変換（公知））、領域と直線を任意の傾きにな
るようにした。そして、各々の濃度レベルとＲＩＪＮ−
ＬＥＮＧＴｌｌの行列を作成して評価関数によって画像
の特徴を評価する。以上によって直線の傾きに対する情
報量が増えることで、より正確に画像の特徴を評価でき
る。

次に、前記画像処理装置１０４の動作についての例を第
１８図、第１９図の２種類のフローで述べる。まず、第
１８図のフローについて述べる。

原画像に対してノイズ除去フィルタ（例えばメデイアン
フィルタ）をかけ、ノイズを除去する（ＳＯ）。次に、
どの評価関数を使用するかを指定する（Ｓｌ）。さらに
、前記画像処理装置１０４で処理を行う画像領域を指定
する。上記領域はあらかじめ設定された大きさであり、
任意に変更可能である。この領域を領域中心に回転移動
させる（アフィン変換）（Ｓ２）。上記領域に対してヒ
ストグラムの平坦化処理（公知）をして、さらに、その
濃度レベル（０−２５５＞値をグループ化をして（例え
ば８グループ（０−３１，３２−６３゜６４−９５．・
・・、２２４−２２５＞）各グループの中心の値をとる
ように値を変える。これはノイズが原因でＲＵＮ−ＬＥ
ＮＧＴＨに影響を及ぼすのを防ぐためである（Ｓ３）。

次に８３で処理をした画像に対して、上記濃度レベルと
ＲＵＮ−ＬＥＮＧＴＨの行列を作成しく３４）、その行
列を指定した評価関数で評価する（Ｓ５）。また、別の
上記直線の傾きに対する同様な処理を行う。これは、同
一評価関数において直線の傾きを変化させることによっ
て画像の評価を行う手法であ゛る。

次に、第１９区のフローについて述べる。初めに上記Ｓ
Ｏと同様な処理を行い、どの直線の傾きを使用するかを
指定する（Ｔ１）。以下上記Ｓ２−３５と同様な処理を
行う。また、別の上記評価関数で同様な処理を行う。こ
れは、同一の直線の傾きに対して評価関数を変化させる
ことによって画像の評価を行う手法である。

次に、２種類の原画像を例にして、上記評価法がいかに
効果があるがを説明する。原画像は横縞模様である第１
４図、星屑模様である第１５図を例として、第１８図で
の評価法を使用する。評価関数は上記２　：　ＬＯＮＧ
　ＲＵＮＳ　ＥＨＰＨＡＳＩＳで評価し、直線の傾きを
０°から１７０°まで＋１０°ずっ変化させて評価した
結果が第２０図のグラフであり、Ｘ軸は直線の傾きの値
、Ｙ軸は評価関数の値に対してグラフ化しである。口は
横縞模様の画像、＋は星屑模様の画像で、各傾きに対す
る評価関数の値がプロットしである。グラフかられがる
ように横縞模様の傾きが０°前後に対する値が、他の傾
きに対する値よりかなり大きい値であることがわかる。

つまり、第１４図の横縞模様が傾きが０°前後の時に強
調され、他の傾きでは同じような評価となり、最大値と
最小値の差が大きい。これに比べて、第１５図の星屑模
様については、どの傾きに対しても同じような値をとり
、最大値と最小値の差が小さくなる。従って、この評価
法によって画像の特徴を比較検討できるのである。これ
を内視鏡画像に使用することによって胃などの潰瘍部分
において、その模様を調べることによって治療状態を比
較検討することに有効である。

ｉ後に、本実施例で述べた評価法、適用する症例は限定
されるものではない。

次に本発明の第４の実施例を説明する。

本実施例は、大腸におけるポリープ、癌及びポリープが
癌へと進行子ろ過程にあると思われる、いわゆる境界病
変の識別及び診断を、各症例が示す粘膜表面の模様の特
徴の違いを定量化するための手法に関するものである。

第２１図は、本実施例における処理の全体の流れを示す
フローチャートである。内視鏡撮像装置から得られる画
像において、例えば０画像に対し本手法を適用する。基
本的には、ステップＳ２１において、例えば３×３の大
きさのメデイアンフィルタを用いてノイズ除去を施した
画像ＸＯを基に、ステップＳ３１及びＳ３２の処理によ
り原画像からのエツジ抽出画像Ｘ１を作成する。また、
ステップＳ４１及びステップＳ４２での処理により後述
する参照用２値化画像Ｘ２を個別に作成する。さらに、
前述の処理により得られた２種の画像より、ステップＳ
２２においてエツジ抽出画像Ｘ１に対する後述の領域決
定なる処理を行い、ステップ３２３での微小領域消去処
理適用後の画像に対してステップＳ２４での判定処理を
実行する。

第２１図のフローチャートに従い、各ステップにおける
より具体的な処理の内容について説明する。

エツジ抽出画像ｘ１を作成する処理において、ステップ
Ｓ３１ではノイズ除去画像ＸＯに対し、以下に示すガウ
シアン・ラプラシアン・フィルタを用いた畳み込み演算
処理を行う。ガウシアン・ラプラシアン・フィルタにお
けるオペレータは、マスクの中心画素からの距離をｒと
した場合、（ｒ２／σ２−２）　　ｅＸｐ（−ｒ２／２
σ２）で表される。σはオペレータにおけるパラメータ
である。例えば、第２７図に示すように１１×１１のマ
スクを設定する場合、マスク上の各画素に対する重み付
けの値をマスク内の各画素の中心画素からの距離ｒに対
して、上式により決定する。

第２８図は畳み込み演算処理の流れを示すフローチャー
トである。作成したマスクをステップＳ４１において、
処理対象画像内の各画素に適用し、マスクに含まれる画
素と、それらの画素に対応する重み付けの値との積を求
め、さらにマスク内のすべての画素の計算値の和を中心
画素すなわち注目画素の計算値とする。

さらに、第２１図におけるステラ、ブＳ３１より得られ
た画像に対し、ステップＳ３２においてゼロクロス法な
る手法を適用する。ゼロクロス法は、２次微分により抽
出されたエツジ部において、計算値がＯとなる画像“の
真のエツジとして導出する手法である。例えば第２２図
（ａ）に示す計算値変化を持つ１次元画像に対し、前述
のガウシアン・ラプラシアン・フィルタを適用すること
により得られるエツジ抽出画像の計算値変化は、一般に
第２２図（ｂ）のようなものになる。ゼロクロス法では
、第２２図（ｂ）において画像のエツジ部位を構成する
一連の計算値変化に関し、計算値が０を示す点Ｐを真の
エツジとして判断し、第２２図（Ｃ）に示す計算値の変
化を持つ２値画１象を出力する。

なお、ステップＳ３１及びステップＳ３２における処理
動作内容は「画像処理アルゴリズムの最新動向Ｊ　　（
１ｍ新技術］ミュニケーションズ）Ｉ）、２０６に詳し
い。ステ・ツブＳ３１及びステップＳ３２の適用により
得られた処理結果画像をエツジ抽出画像Ｘ１とする。

参照用２値化画像Ｘ２を作成するための処理としては、
ステップＳ２１でのノイズ除去処理適用画像ＸＯに対し
て、まずステップ５４１において平滑化処理を施した画
像Ｘ３が作成される。平滑化処理を行う手法は例えば−
様重み付は平滑化を使用すればよい。続いて、ノイズ除
去画像ＸＯ及び平滑化処理結果画像Ｘ３を用いた２値化
処理をステップＳ４２において適用する。

第２３図はステップＳ４２における処理の流れを示すフ
ローチャートである。ステップＳ５１においては、ノイ
ズ除去画像ｘＯと平滑化処理結果画像χ３における各画
素の輝度値の差分がとられる。第２４図はステップＳ５
Ｌにおける処理の例である。第２４図（ａ）に示す輝度
変化（イ）を持つノイズ除去画像ＸＯ′に対し、平滑化
処理を施した処理結果画像ｘ３′の輝度変化を輝度変化
（ロ）とする。ノイズ除去画像ＸＯ′と平滑化処理結果
画像Ｘ３′との差分は、両画像において対応する各画素
の輝度の差分であるため、第２４図（Ｃ）に示す計算値
変化（ハ）が得られる。

ステップＳ５２では、ノイズ除去画像ＸＯに対し、ステ
ップＳ５１における前述の差分導出処理結果において、
値が０（この値を２値化処理の境界値と呼ぶ）より大で
ある画素（例えば第２４図（Ｃ）における領域Ａ、Ｂ、
Ｃ）を１．０以下である画素を０として２値化を行う。

第２４図（ｄ）はステップＳ５１及びステップＳ５２に
おける処理をノイズ除去画像ＸＯ′に対して適用し要処
理結果画像の輝度変化を示す、また、必要に応じて２値
化処理の境界値を補正してもよい、第２４図（ｅ）は、
前述の境界値を第２４図（Ｃ）におけるＴとした場合に
おける、ノイズ除去画像ＸＯ′に対するステップＳ５１
及びステップＳ５２の適用結果画像の輝度変化を示す。

以上の処理の適用により得られた２値化画像を参照用２
値化画像Ｘ２とする。

第２１図に示すステップＳ２２においては、参照用２値
化画像ｘ２を用いて、エツジ抽出画像Ｘ１に対する領域
決定なる処理を行う。領域決定は、エツジ抽出画像Ｘ１
において抽出された輪郭線によって区界された連結領域
に対し、参照用２値化画像Ｘ２を基に領域内の度を改め
て０あるいは１として決定する処理である。

例えば、エツジ抽出画像χ１及び参照用２値化画像χ２
として、それぞれ第２５図（ａ）及び（ｂ）に示す画像
Ｘ１′、画像Ｘ２’が得られたものとする。画像ＸＩ′
においては連結領域ａｌ、ａ２゜ａ３が存在する。これ
らの各連結領域に一致する画像Ｘ２′の領域において、
領域内部の画素の２値化データがある一定の割合に以上
で１であれば対応する画像Ｘ１′の連結領域内部の画素
の２値化データを１、そうでなければＯとする。第２５
図（Ｃ）は、画像Ｘ１′における各連結領域を画像Ｘ２
’に対応させた図である。連結領域ａ１及びａ２によっ
て囲まれる画像Ｘ２’の画素の２値化データは、主に１
であり、その割合はｋを越える値である。また、連結領
域ａ３に含まれる画像Ｘ２′の画素の２値化データは主
にＯであり、その１の値を持つ画素の割合はｋに満たな
いものとする。よって、領域決定処理適用後の画像ＸＩ
’は、第２５図（ｄ）に示す領域決定画像Ｘ１″となる
。

第２１図に示すステップ３２３においては、ステップＳ
２２までの一連の処理により得られた領域決定画像に対
し、明らかにノイズ等による領域と見なし得る微小領域
が消去される。

以上の処理群により最終的に得られた処理結果画像Ｘ４
に対して、ステップＳ２４における判定処理が適用され
る。

判定処理は、処理結果画像Ｘ４から抽出した関心領域Ｒ
に対して施される。判定処理には、例えば後述するＧ／
Ｓ及びＢ／Ｉなるデータを利用する。Ｇ／Ｓは関心領域
Ｒにおける画素の２値化データ値０及び１の占める面積
比を示す値である。

Ｇ／Ｓは「胃と腸１８巻４号１９８３年４月Ｊ　Ｆｌ、
４２３「大腸腺種及び癌の病理形態学的研究」　（東郷
他）において記述のある「乱れ係数」に相当する意味を
持つ数値である。Ｂ／Ｉは関心領域Ｒ内に含まれる全エ
ツジ長（輪郭画素数）を面積で除した値である。なお１
判定処理に使用するデータとして、伸長度、領域の幅、
領域の面積等の特徴量を利用することも考えられる。伸
長度については「ディジタル画像処理」　（近代化学社
　長尾真）　ｐ、４１０に詳しい。

第２６図は、大腸における癌、ポリープ及び前述の境界
病変の各症例の内視鏡画像数例に対して本実施例におけ
る画像処理及び判定処理を適用し、得られた結果をグラ
フ化したものである。各画像から導出されたデータを、
横軸を前述のＢ／Ｉ、縦軸をＧ／Ｓに設定し、プロット
した結果、症例によって分布する領域が異なることが分
る。この傾向を利用し、内視鏡画像から症例を客観的に
評価することが可能となる。

なお、前述の一連の画像処理及び判定処理の適用対象は
本実施例に限定されるものではなく、生体の粘膜一般に
対して適用可能である。また、判定処理に使用するデー
タは本実施例に限定されるものではなく、適用する症例
に対して適宜決定することが可能である。

次に本発明の第５の実施例を説明する。

本実施例は、内視Ｍ撮像画像から得られる臓器粘膜表面
の模様の特徴の違いを基に、画像処理装置による症例の
定量的評価を実現するための手法に関するものである。

内視鏡撮像画像ににおいて、例えば０画像に関し、注目
画素にの輝度をｘｋとする。注目画素ｋにおいて、第２
９図に示す８近傍点に対応する点の輝度が、すべてｘｋ
以下（即ち、ｘｋと同値であってもよい）であれば、画
素ｋを極大点と呼ぶ。

本実施例における手法は、原画像上に存在する極大点に
間して何らかのデータを定義し、解析・定量化を行うこ
とを目的とする。

第３０図は、本実施例における画像処理及び判定処理の
全体的なアルゴリズムを示すフローチャートである。ス
テップＳ７１からステップＳ７４までの処理により、原
画像における極大点の抽出が行われ、ステップＳ７５に
おいて解析処理が施される。

第３０図のフローチャートに従い、各ステップにおける
処理の説明を行う。ステップＳ７１では、原画像に対し
、例えば３×３の大きさのメデイアンフィルタを適用し
てノイズ除去を行う。続いて、ステップＳ７２において
後述のガウシアン・フィルタの畳み込み演算処理による
平滑化を施す。これらのノイズ除去処理あるいは平滑化
処理の適用は、以後の解析に必要ではないと思われるノ
イズ成分等による極大点の出現を抑制する。

ガウシアン・フィルタの畳み込み演算処理は、第２８図
のフローチャートに準じ、ステップＳ６１におけるガウ
シアン・ラプラシアン・フィルタの適用をガウシアン・
フィルタの適用に置き換えればよい、ガウシアン・フィ
ルタの実現は、マスクの中心画素からの距離ｒに関して α・　ｅｘｐ（−ｒ２／２σ２） で与えられる。ただし、σ及びαはガウシアン・フィル
タにおけるパラメータである。

ステップ８７３では第３１図に示すアルゴリズムに従う
処理により、極大点の抽出が行われる。

原画像上の各画素に対し、注目画素と８近傍画素との輝
度を逐次比較し、注目画素の輝度値がすべての８近傍画
素の輝度値以上であれば極大点と見なす。

ステップＳ７４では、ステップＳ７３までの処理により
得られた画像の極大点に対して、公知の縮退なる処理を
適用する。この処理により、複数の極大点が連結してい
る場合においては、連結部位のほぼ中心に位置する画素
のみが、新たな極大点として抽出される。なお、縮退処
理については「コンピュータ画像処理入門」　（総研出
版　口材他）　ｐ、８０に詳しい。

ステップＳ７５における解析処理は、様々な方法が考え
られる。ここでは、２通りの処理例を示す。

第１の解析処理例は、第３２図に示すような、抽出した
極大点を中心とする、指定した半径（注目極大点からの
距離）の円周上に位置する各画素の輝度値に関するもの
である６例えば、第３２図の極大点Ｐに対し、点Ｓを始
点とし、半径ｒに関する円周上の画素の輝度値を反時計
回りに求め、第３３図に示すグラフのようにプロットす
る。第３４図は、大腸内視鏡画像に存在する各種模様の
極大点Ｐ及び上述の解析半径ｒを示し、また等値の輝度
を持つ画素を等高級げに結んだ例である。

極大点Ｐを与える画像上の模様が、例えば第３４図（ａ
）のように円形に近いものであｔＬば、得られるグラフ
は第３５図（ａ）のようになだらかな変化を示す。また
、第３４図（ｂ）のような楕円状の模様であれば、グラ
フはほぼ第３５図（ｂ）のような変化を示す。また、第
３４図（Ｃ）のような模様であれば、そのグラフは第３
５図（Ｃ）のようなものになる。このように、極大点を
中心とした円周上の画素の輝度の変化は、模様の形状に
関する情報として利用可能である。また、解析に用いる
半径の値は可変であり、一つの極大点に対して複数の解
析データを得ることができる。

第２の解析処理例は、極大点からの各方向において、極
大点に対しである一定の輝度差を持つ画素を抽出し、そ
れらの画素が形成する形状に関して処理を行う。

例えば、第３６図に示すような、ある方向においての極
大点Ｐがらの輝度の変化を仮定すれば、極大点Ｐとの輝
度差Ｔを持つことを条件とすると、抽出される画素はＱ
となる。第３７図（ａ）は、極大点Ｐに対しその周囲３
２方向において上述の条件を満たす画素を抽出した例で
ある。これらの画素を結ぶことによって形成される図形
の形状の特徴を利用した解析手法として、例えば、第３
７図（ｂ）に示すように、その長径１１ａＸと短径１　
ｗｉｎを測定し、１　ｇｌａＸ　／　Ｉ　Ｓｉｎによる
定量化を行う。

また、第３７図（Ｃ）に示すように、抽出された図形に
対して各画素によるベクトル群を規定し、例えばａとｂ
に対し、精成される角度θを内積の式 ％式％ の利用により求める。このようにして各ベクトルがなす
各角度を求め、それちの合計値と３６０（２πｒａｄｉ
ａｎに相当）との差を解析データとする。

この値は、図形が完全な凸多角形であれば０となり、図
形即ち模様の形状に関して定量化を行うためのデータと
して利用できる。

第３の解析処理例は、注目極大点に対し設定した関心領
域内における、注目極大点とその他の画素との連結性な
る特徴量に基づくものである。

輝度ｄ（＾）を持つ注目画素Ａ及びその８近傍（第２９
図参照）に存在する輝度ｄ（Ｂ）を持つ画素Ｂにおいて
、類似関数Ｆ（Ａ、Ｂ）なる評価関数を、次式により定
義する。

Ｆ　（Ａ、Ｂ）　＝　ｌ　１ｏＱ（ｄ　（＾））　−ｌ
ｏｇ（ｄ　（Ｂ））　ｌさらに、画素Ａ及び画素Ｂの連
結性を示す関数ｃｏｎ（Ａ、　Ｂ）を、次式により定義
する。

数をとった輝度値の標準偏差） また、第３８図に示す、輝度ｄ（［）を持つ画素Ｅのよ
うに、画素Ａの８近傍以外に位置する画素については、
画素Ａ及び画素Ｅを連結するための、ｐａｔｈ（Ａ、Ｅ
）なる集合を定義する。ｐａｔｈ（＾、Ｅ）は、点Ａか
ら点Ｅに至る道筋の集合であり、第３８図においては、
例えばＡ−Ｂ−＞Ｃ−Ｄ−Ｅや、Ａ→Ｇ−＋Ｄ−Ｅ等が
考えられる。画素Ａと画素Ｅの例のように、両画素が８
近傍の関係にない場合には、ｃｏｎ（＾、Ｅ）をｐａｔ
ｈ（Ａ、Ｅ）における連結画素間のｃｏｎの値の積によ
り表されるものとする。例えば、ｃｏｎ（＾、Ｅ）＝　
ｃｏｎ（Ａ、Ｂ）　・ｃｏｎ（Ｂ、Ｃ）　−ｃｏｎ（Ｃ
，ＤＪｃｏｎ（Ｄ、　Ｅ） となる。しかしながら、画素Ａと画素Ｅを含む連結は無
数（実際は画像サイズの制限により有限であるが）に存
在するため、ｃｏｎ（Ａ、　Ｅ）を改めて次式のように
再定義する。

ｃｏｎ（Ａ、Ｅ）＝　ｍａｘ（ｃｏｎ（ｐａｔｈ（Ａ、
Ｅ）））即ちｐａｔｈ（Ａ、Ｅ）において、各近傍画素
間のｃｏｎの値の積が最大となるものを、ｃｏｎ（Ａ、
　Ｅ）の値とする。

以上に定義した連結性間数ｃｏｎに基づき、関心領域内
の画素に対する数種の評価値を算出する。

注目極大点Ｐ及び、Ｐに対する関心領域内に存在する（
ｉ、ｊ）番目の画素をＸｉｊとし、第３９図に示す評価
値を定義する。第３９図において、（Ｄｌ）ないしくＤ
４）におけるｒ　（Ｐ、　Ｘ１ｊ）は、画素Ｐ及び画素
Ｘ１ｊ間の距離値である。また、（Ｄ５）におけるｄ（
Ｘｉｊ）は、例えば第４０図に示すような、極大点Ｐを
通る線分（以後、この線分を軸と呼ぶ）１を考えた場合
のＸ１ｊと軸Ｉとの距離即ちｘＩＪから軸１に下ろした
垂線の長さを示す。

これらの各評価値を基に、解析処理を行うことかできる
。

なお、本実施例における一連の画像処理及び解析の適用
対象は、本実施例に限定されるものではなく、臓器粘膜
一般に対しての適用が考えられる。

また、極大点抽出処理後の解析処理手法は、本実施例に
限定されるものではなく、臓器粘膜表面における模様の
定量化に対する処理は適宜考えられるものである。

［発明の効果］ 本発明によれば、画像診断に必要な種々の客観的評価値
を得ることが可能となり、被観察体に対する有用なデー
タを得ることができる。

【図面の簡単な説明】

第１図ないし第２０図は本発明の第１ないし第３の実施
例に係り、第１図は内視鏡装置の構成を示すブロック図
、第２図は画像処理装置の構成を示すブロック図、第３
図は内視鏡装置の全体を示す側面図、第４図は画像処理
装置の第１の実施例の動作の全体の流れを説明するため
のフローチャート、第５図及び第６図は第１の実施例の
動作における各処理の動作を説明するためのフローチャ
ート、第７図は第１の実施例の動作により得られた処理
結果データの説明図、第８図は第１の実施例の動作によ
り得られた処理結果を基に判別処理を行うためのデータ
の処理例を説明するためのグラフ、第９図は平滑化手法
を説明するための図、第１０図は濃液レベル数を表わす
図、第１１図は濃液レベル、Ｒｕｎ−１ｅｎ（１ｔｈ行
列を表わす図、第１２図、第１３図は画像処理装置の第
２の実施例の動作を表わすフローチャート、第１４図は
横縞模様の原画像を表わす図、第１５図は星くず模様の
原画像を表わす図、第１６図は第２の実施例での評価関
数の結果を表わすグラフ、第１７図はアフィン変換を表
わす図、第１８図、第１９図は画像処理装置の第３の実
施例の動作を表わすフローチャート、第２０図は第３実
施例での評価関数の結果を表わすグラフ、第２１図は本
発明の第４の実施例における処理を説明するためのすフ
ローチャート、第２２図はゼロクロス法の説明図、第２
３図はステップＳ４２における処理を説明するためのフ
ローチャート、第２４図は差分導出利用による２値化処
理の説明図、第２５図は第４の実施例における領域決定
処理の説明図、第２６図は第４の実施例における判別処
理の適用結果の例を示す図、第２７図は１１×１１のマ
スクの図、第２８図は畳み込み演算処理を説明するため
のフローチャート、第２９図は８近傍点の説明図、第３
０図は本発明の第５の実施例における全体的な処理の流
れを説明するためのフローチャート、第３１図は極大点
抽出処理におけるアルゴリズムを示すフローチャート、
第３２図ないし第３５図は第１の解析処理例における説
明図、第３６図及び第３７図は第２の解析処理例におけ
る説明図、第３８図は第３の解析処理例における説明図
、第３９図は第３の解析処理例における各種評価値の定
義式、第４０図は評価値定義式を説明するための図であ
る。 １、・・電子内視鏡装置、　　１６・・・固体撮像素子
、１０４・・・画像処理装置。 第２図 ６ｂＯ５ｂｉ）　　　　５ｂＣ 第３図 第４図 第７図 ｔｊ虚ヨ三７ｒ？ｉノー７゜ 第８図（０） 第８図（ｂ） ＬＮ（ＩＨＳＴ　［０１）−ＬＮ（ＩＨＳＴ　００３）
ｄ〜ｆ　−ぜＩノーフ′ 第９図 Ｉｆ　　　　　　　　　　　　　　　　　Ｔｈｅｎχに
＋１＋ン＜　ｙｋ　　　　　　　　　　　　　ｙｋ＋＋
・χに＋＋十うχに：ｋ［目のｈ東グｌト画ｆ争０九帆
ａハ・ｄＥＶ後のに県目の画零〇崩牲隻 Ｔ　：揚足）！Ｍ差 第１０図 第１１図 第１２図　　　　第１３図 第１４図 第１５図 第１６図 第１７図 第旧図　　　　第１９図 第２０図 ０９ＴＲＩＰＥ　＋５ＴＡＲＤＩＪＳＴ第２１図 第２２図 第２３図 第２４図　　　　　第２５図 第２６図 ■・・・ｆｎｌｔ 第３０図 第′２８図 面角咲Ｖイス　ｎｘｍ 駆込　−Ｉ− 第３７図 第３９図 （Ｄ３）ΣΣｃｏｎ２（ｐ　、χｉｊ）Ｉ 帽１とカ距釣辻） 第４０図 平成３年　１月２５日　　　像 需庁長官　植松　敏殿　　　　　　　　　すあ ２、発明の名称　　　内視鏡画像処理装置３、補正をす
る者 事件と（羽引系　　特許圧潰り入 □下山敏部 少 ５、補正命令の日付　　（自　発） ６、補正の対象　　　明細書の「発明の詳細な説明」の
欄＋１１＋□− 一−Ｔ′１ 、明細書第２７頁、第１２行目に「０となる画の」とあ
るのを「０となる点を画像の」と訂正る。 、明細書第３７頁、第１７行目に「ａとｂ」とるのを「
宮と甘」と訂正する。 、明細書第３７頁、第１９行目に ｒａ　−ｂ＝　ｌ　ａ　ｌ　ｌ　ｂ　ｌ　　ＣＯ３１９
Ｊ　トアルノヲ「言・せ＝ｌ′ｔｌｌせ１ｃｏｓθ」と
訂正する。

Claims (1)

1. 【特許請求の範囲】 内視鏡による画像信号を処理する内視鏡画像処理装置に
   おいて、 内視鏡による画像を構成する少なくとも一つの画像信号
   に対して、内視鏡の被観察体の画像パターンから診断に
   必要な特徴量を抽出する手段と、その特徴量に基づき、
   画像の判別評価を行う手段を備えたことを特徴とする内
   視鏡画像処理装置。