[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2004049638A - Endoscope apparatus - Google Patents

Endoscope apparatus Download PDF

Info

Publication number
JP2004049638A
JP2004049638A JP2002212852A JP2002212852A JP2004049638A JP 2004049638 A JP2004049638 A JP 2004049638A JP 2002212852 A JP2002212852 A JP 2002212852A JP 2002212852 A JP2002212852 A JP 2002212852A JP 2004049638 A JP2004049638 A JP 2004049638A
Authority
JP
Japan
Prior art keywords
image
distortion
measurement
optical system
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002212852A
Other languages
Japanese (ja)
Inventor
Kiyotomi Ogawa
小川 清富
Katsunori Sakiyama
崎山 勝則
Masayoshi Yokota
横田 政義
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002212852A priority Critical patent/JP2004049638A/en
Publication of JP2004049638A publication Critical patent/JP2004049638A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an endoscope apparatus having a reduced diameter of an insertion part and high measurement accuracy which alleviates fatigue when stereoscopic viewing is carried out. <P>SOLUTION: This endoscope apparatus 2 comprises a pair of objective-optical systems; an imaging device 28 on which images are formed through an image transmitting optical system for transmitting optical images from the objective-optical systems; and a means for correcting multi-distortions; at a tip 21 of the endoscope 2. The means for correcting the multi-distortions corrects the multi-distortions formed due to overlapping of a first distortion caused by the pair of the objective-optional systems and a second distortion caused by an image transmitting optical device 27. This endoscope apparatus 2 stores table data to correct the multi-distortions and optical data such as a focal distance in a memory card 33 and carries out excellent measurement by using the optical data. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明が属する技術分野】
本発明は、複数の対物光学系による被計測物像を内視鏡に設けられた撮像素子上の異なる位置に結像し、その画像を用いて計測を行う内視鏡装置に関する。
【0002】
【従来の技術】
計測用内視鏡装置として、例えば特開平10−248806号公報に開示された第1の従来例がある。
【0003】
この従来例は、挿入部の先端に設けた複数の対物光学系のそれぞれの像がそのまま撮像素子上に結像する例で、それぞれの光学系に対して像の光学的歪み補正を行う。
【0004】
挿入部の外径を細くするために撮像素子を小さくすると、対物光学系の間隔が狭くなり、計測精度が低下し、得られる立体感が減少する。
【0005】
この従来例の不具合を解消する第2の従来例として特開平11−109257号公報がある。第2の従来例では上記不具合を解決するために、対物光学系と撮像素子の間に複数の対物光学系の像をまとめて伝送する像伝送光学系を入れた。これにより、対物光学系の間隔を小さくすることなく、小型の撮像素子を採用することができるようにしている。
【0006】
【発明が解決しようとする課題】
複数の像をまとめて伝送する像伝送光学系が間にはいることで、それぞれの対物光学系による光学的歪みに加えて、像伝送光学系自体による歪みが重畳される。
【0007】
それぞれの対物光学系の画像上の光学中心を基点にした歪み補正では、充分な歪み補正が行えず、計測精度の低下と、立体視(ステレオ観察)するときの疲労が大きくなる欠点がある。
【0008】
(発明の目的)
本発明は上述した点に鑑みてなされたもので、挿入部の外径を細くでき、かつ計測精度が高く、立体視を行うときの疲労を軽減できる内視鏡装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
異なる視点からの像を得るための複数の対物光学系と、
前記複数の対物光学系の像を伝送する像伝送光学系と、
前記像伝送光学系に伝送された複数の像を結像させる撮像素子と、
前記撮像素子からの信号を受けて映像信号を生成する処理部と、
を備える内視鏡装置において、
前記映像信号の光学的歪みを補正するために前記複数の対物光学系による第1の幾何学的歪みと、前記像伝送光学系による第2の幾何学的歪みが重なった歪みである多重歪みを補正する幾何学的多重歪み補正手段を設けることにより、像伝送光学系による幾何学的歪みと、複数の対物光学系による幾何学的歪みの両方を考慮した幾何学多重的歪み補正を行い、挿入部の外径を細くでき、かつ計測精度が高く、立体視を行うときの疲労を軽減できるようにしている。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【0011】
(第1の実施の形態)
図1ないし図17は本発明の第1の実施の形態に係り、図1は本発明の第1の実施の形態の計測内視鏡装置の全体構成を斜視図で示し、図2は図1における内部構成等を示し、図3は挿入部の先端部付近の外観を示し、図4は図3のA−A断面の構造を示し、図5は幾何学的歪みの補正前の画像と補正後の画像のピクセル配置図を示し、図6は補正前の画像ピクセルと補正後の画像ピクセルを示し、、図7は多重歪み補正を含む座標変換の処理の内容を示し、図8はステレオ計測処理の内容を示し、図9は図8のステレオ計測処理でコールされるサブルーチンの内容を示し、図10は図の計測処理でコールされるサブルーチンの内容を示し、図11は計測内視鏡装置を用いて深さ計測状態のパイプを斜視図で示し、図12は図11のパイプの計測部分の拡大図を示し、図13は計測内視鏡装置を用いて長さ計測状態のパイプを斜視図で示し、図14は計測内視鏡装置を用いてくぼみ計測状態のタービンブレードを斜視図で示し、図15は図10の計測処理でコールされるサブルーチンのフローチャートであって、図15(A)は、3次元座標解析処理のフローチャート、図15(B)は、パターンマッチング処理のフローチャート、図16は計測内視鏡装置における3次元座標解析処理の基本原理を説明するためのx,y,z軸をもつ3次元座標系上の右,左2画像位置関係を示し、図17は計測内視鏡装置による左右の2画面の画像をLCD上に表示したステレオ計測画面を示す。
【0012】
図1に示すように本発明の第1の実施の形態の計測用内視鏡装置1は、細長で可撓性の挿入部20を有する内視鏡2と、この内視鏡2の挿入部20を収納する収納部を備えた制御装置であるコントロールユニット3と、装置全体の各種動作制御を実行する際に必要な操作を行うリモートコントローラ4と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う表示装置である液晶モニタ(以下、LCDと記載)5と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視を可能にするフェイスマウントディスプレイ(以下、FMDと記載)6と、このFMD6に画像データを供給するFMDアダプタ6a等で主に構成されている。
【0013】
前記挿入部20は先端側から順に硬質な先端部21、例えば上下左右に湾曲可能な湾曲部22、柔軟性を有する可撓管部23が連設して構成され、前記先端部21には図3に示すように2つの照明窓24と観察窓25とが設けてある。
【0014】
観察窓25には、図4で説明するように立体視を可能とする1対の対物光学系、つまり右画像用対物レンズ26R、左画像用対物レンズ26Lとが視差を有するように左右に離間して取り付けられている。つまり、異なる視点からの像を得るようにしている。1対の対物レンズ26R、26Lによりパイプ内面や、タービンブレードの検査など、検査対象物の光学像を、共通の像伝送光学系27を介してCCD等の固体撮像素子(単に撮像素子と略記)28に結像するようにしている。
【0015】
本実施の形態においては、第2の従来例のところで説明したように、1対の対物光学系と撮像素子28との間に、1対の対物光学系による像をまとめて伝送する像伝送光学系27を介挿することにより、1対の対物光学系の間隔を小さくすることなく、小型の撮像素子28を採用して、精度の高い立体(ステレオ)計測を行えるようにしている。
【0016】
図2に示すように前記コントロールユニット3内には内視鏡ユニット8、映像信号を生成する処理を行うカメラコントロールユニット(以下、CCUと記載)9及び計測制御等を行う制御ユニット10が設けられており、前記挿入部20の基端部は内視鏡ユニット8に接続されている。
【0017】
前記内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)、前記挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)を備えて構成されている。
【0018】
前記CCU9には、前記挿入部20の先端部21に内蔵されている撮像素子28から出力された撮像信号が入力される。この撮像信号は、CCU9内で信号処理されて例えばNTSC信号等の映像信号に変換されて、前記制御ユニット10へ供給される。
【0019】
前記制御ユニット10内には音声信号処理回路11、前記映像信号が入力される映像信号処理回路12、ROM13、RAM14、PCカードインターフェイス(以下、PCカードI/Fと記載)15、USBインターフェイス(以下、USB I/Fと記載)16及びRS−232Cインターフェイス(以下、RS−232C I/Fと記載)17等と、これら各種機能を主要プログラムに基づいて実行させて動作制御を行うとともに、計測処理を行う計測処理部18を形成するCPU18aとがバスを介して相互に接続されている。
【0020】
この計測処理部18は計測処理を行うCPU18aと、このCPU18aの動作プログラム等を格納したROM18bと、CPU18aの作業エリアに利用されたり、必要なデータの格納等に利用されるメモリとしてのRAM18cとを備え、これらはバスに接続されている。
【0021】
また、CPU18aは後述するように(例えばメモリカード33に記録された光学データを読み込んで)計測を行う場合に、撮像光学系、つまり対物レンズ26R、26L及び像伝送光学系27の幾何学的多重歪みの補正を含む座標変換を行い、高精度の計測を行うことができるようにしている。尚、CPU18a内に2点鎖線で示す多重歪み補正処理18dの機能については後述する。
【0022】
前記RS−232C I/F17には前記CCU9、内視鏡ユニット8及びこれらCCU9、内視鏡ユニット8等の制御及び動作指示を行うリモートコントローラ(以下、リモコンと略記)4がそれぞれ接続されている。このことにより、リモコン4の操作に基づいてCCU9、内視鏡ユニット8を動作制御する際に必要な通信が行われる。
【0023】
前記USB I/F16は、前記コントロールユニット3とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介して前記コントロールユニット3とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や計測時における画像処理などの各種の指示制御を行うことが可能になるとともに、コントロールユニット3とパーソナルコンピュータ31との間での各種の処理に必要な制御情報や、データの入出力を行うことが可能になる。
【0024】
また、前記PCカードI/F15には、PCMCIAメモリカード32やコンパクトフラッシュ(R)メモリカード33等の記録媒体であるいわゆるメモリカードが自由に着脱されるようになっている。
【0025】
前記メモリカード32,33を前記PCカードI/F15に装着することにより、前記CPU18による制御によって、このメモリーカード32、33に記憶されている制御処理情報や画像情報等のデータの取り込み、あるいは制御処理情報や画像情報等のデータのメモリーカード32,33への記録も行える。
【0026】
また、本実施の形態では計測内視鏡装置1にパーソナルコンピュータ(パソコンと略記)31を接続し、内視鏡2の先端部に設けた対物レンズ26R、26Lと像伝送光学系27による歪み補正のための光学データを測定する処理を行い、その光学データをメモリカード33に記録し、3次元計測等の計測を行う場合には計測処理部18はその光学データを読み出す。
【0027】
そして、その光学データを参照することにより、計測処理部18のCPU18aは、対物レンズ26R、26Lと像伝送光学系27、つまり撮像光学系による歪み補正を行った座標変換を行い、その画像をLCD5等に表示することができるようにしている。
【0028】
前記映像信号処理回路12では、前記CCU9から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、CCU9からの映像信号をCPU18aの制御により生成する操作メニューに基づく表示信号との合成処理や、前記LCD5の画面上に表示するのに必要な処理等を施してLCD5に供給する。
【0029】
また、この映像信号処理回路12では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、LCD5の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
【0030】
また、画像補正の指示操作が行われた場合には、CCU9から映像信号処理回路12に出力された映像信号は、この映像信号処理回路12内部の図示しないA/D変換器でデジタル信号に変換されて、計測処理部18を構成するCPU18aに取り込まれ、多重歪み補正が行われた後、再び映像信号処理回路12内部のD/A変換器でアナログの映像信号に戻され、LCD5に出力され、歪み補正された画像が表示される。
【0031】
前記音声信号処理回路11には、マイク34によって集音されて生成された、メモリーカード等の記録媒体に記録する音声信号、メモリカード等の記録媒体の再生によって得られた音声信号、あるいはCPU18aによって生成処理された音声信号が供給される。この音声信号処理回路11では、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ35に出力する。このことによって、スピーカ35から音声が出力される。
【0032】
また、CPU18aは、ROM18bに格納されているプログラムを実行することによって、上述した歪み補正の処理以外の機能に対応した処理を行うように各種回路部等を制御して、システム全体の動作制御も行う。
【0033】
図1に示すようにリモートコントローラ4の一面には、湾曲部22の湾曲動作の指示を行うジョイスティック4a、グラフィック表示される各種メニュー操作や計測を行う場合のポインタ移動操作を行うレバースイッチ4b、前記LCD5に静止画の表示を指示するフリーズスイッチ4c、メモリカード33等に静止画を記録するストアスイッチ4d及び計測ソフトを実行する際に用いる計測実行スイッチ4e、FMD6アダプタ6aが接続されるコネクタ部4f等が設けられている。
【0034】
図3は、上記内視鏡2の挿入部20の先端部21の拡大斜視図であり、図4は、図3のA−A断面図である。
【0035】
図3に示すように内視鏡2の先端部21の先端面には2つの照明窓24と、立体視を可能とする観察窓25とが設けてある。
【0036】
図4に示すように先端部21を構成する先端部本体29に設けた観察窓25は、カバーガラス30で閉塞され、その内側にはレンズ枠36を介して1対の対物光学系、つまり右画像用対物光学系26R、左画像用対物光学系26Lとが取り付けてある。
【0037】
このレンズ枠36は後方側に延出され、共通の像伝送光学系27の前段側(光学系)27aが取り付けてある。また、レンズ枠36の後端側の孔部に収納固定された撮像素子固定枠37には、撮像素子28が固定されている。この撮像素子28の撮像面の前部側には像伝送光学系27の後段側(光学系)27bがレンズ枠を介して取り付けてある。
【0038】
また、先端部本体29の前端側の外周は円筒状のカバー部材38で覆われ、このカバー部材38はネジで先端部本体29に固定されている。なお、カバー部材38と先端部本体29との間には、シール用のOリングが介挿され、水密構造にされている。
【0039】
上記対物光学系26R、対物光学系26Lによる像は、像伝送光学系27を介して撮像素子28上で左右に異なる位置に結像される。つまり、対物光学系26Rと像伝送光学系27による光学系である右結像光学系と、対物光学系26Lと像伝送光学系27による光学系である左結像光学系とが構成される。
【0040】
次に本実施の形態の動作を説明する。
【0041】
本計測内視鏡装置1に適用される内視鏡2では、次の(a1)〜(d)に示すように、各内視鏡2特有の撮像光学系の光学データが測定される。その光学データを記録媒体である例えば、メモリカード33に記録される。この特有の光学データが撮像光学系と一対一で対応することになって、出荷後、1つの組み合わせのものとして扱われる。
【0042】
上述の特有の光学データは、
(a1)2つの対物光学系の幾何学的歪み補正テーブル
(a2)像伝送光学系の幾何学歪み補正テーブル
(b)左右の結像光学系それぞれの焦点距離
(c)左右の結像光学系の主点間の距離
(d)左右の結像光学系それぞれの画像上での光軸位置座標
である。
【0043】
上記特有の光学データの収集を行った後の計測内視鏡装置1にパソコン31を接続して、次に示す(1)〜(5)の処理を行って各種寸法計測を行うことができる。すなわち、
(1)上記メモリカード33から上記(a1)〜(d)の光学データを読み込む。(2)本内視鏡2にて被写体である被計測物を撮像し、画像を取り込む。
【0044】
(3)上記の取り込んだ画像を、上記(a1)〜(d)の光学データをもとに座標変換する。
【0045】
(4)座標変換された画像を基に、撮像データのマッチングにより任意の点の3次元座標を求める。
【0046】
(5)上記3次元座標を基に各種寸法計測を行う。
【0047】
この計測内視鏡装置1は生産時、光学データの取り込みを行う場合、図2で示すように計測内視鏡装置1にパソコン31を接続し、ここでは図示しないチャート(第2の実施の形態における図20の符号54参照)を用いて行う。
【0048】
本計測内視鏡装置1では、上述の処理を行って被計測物の精度の優れた計測を行うことができる。
【0049】
次に、上記撮像光学系に特有の各光学データを具体的に説明する。
【0050】
(a1)、(a2)幾何学的歪み補正テーブルについて、
一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となるため、座標変換を行うことによりこの歪みを取り除くことができる。座標変換は、光軸中心を中心にして行ってもよいし、より正確に補正する場合は、光学系の幾何学的歪みの中心を用いるとよい。
【0051】
また、2つの画像の幾何学的歪み補正テーブルは、右画像、左画像別々に設けてもよいし、2つをまとめて1つのテーブルにしてもよい。以下、1つのテーブルにした場合について、図5,図6をもとに補正テーブルを説明する。
【0052】
図5,図6において、撮像画面40上の点p1〜p4は、座標変換前のピクセルを示す。p1〜p4をf(x,y)により座標変換すると、p1’〜p4’とする。このときのp1’〜p4’を与える座標は必ずしも整数ではなく実数値の座標として求められる。変換後の液晶モニタ上の変換後画面41に表示するには変換後画素P(X,Y)の座標(X,Y)をピクセル単位の整数値へ変換しなければならない。
【0053】
上記座標の整数値化のための補正は、ウエイトテーブルW1〜W4によって行われる。すなわち、変換画面1ピクセルにつき、そのピクセルが撮像画面上の光学上の幾何学的歪み上対応する座標の4つのピクセルの撮像データを上記ウエイトテーブルW1〜W4の比率を乗じ、変換画面ピクセルの画素データP(X,Y)を求めることになる。
【0054】
そこで、多重歪み補正(具体的には、第2歪み補正、第1歪み右補正、第1歪み左補正)の処理を含めた座標変換の式は、以下のようになる。
【0055】
第2歪み補正:
2x(u,v)≡k(a00+a12uv+a14uv+a16uv+a30+a32
+a34+a50+a52+a70)+c (1−1)
2y(u,v)≡k((b00+b21v+b41v+b61v+b03+b23
+b43+b05+b25+b07)+c (1−2)
=f2x(x−c,y−c) (1−3)
=f2y(x−c,y−c) (1−4)
第1歪み右補正:
Rx(u,v)≡kRx(aR00+aR12uv+aR14uv+aR16uv+aR30+aR32
+aR34+aR50+aR52+aR70)+cRx (1−5)
Ry(u,v)≡kRy(bR00+bR21v+bR41v+bR61v+bR03+bR23
+bR43+bR05+bR25+bR07)+cRy (1−6)
’=fRx(x−cRx,y−cRy) (1−7)
’=fRy(x−cRx,y−cRy) (1−8)
第1歪み左補正:
Lx(u,v)≡kLx(aL00+aL12uv+aL14uv+aL16uv+aL30+aL32
+aL34+aL50+aL52+aL70)+cLx (1−9)
Ly(u,v)≡kLy(bL00+bL21v+bL41v+bL61v+bL03+bL23
+bL43+bL05+bL25+bL07)+cLy (1−10)
’=fLx(x−cLx,y−cLy) (1−11)
’=fLy(x−cLx,y−cLy) (1−12)
上式における符号は以下のよう意味を持つ。
【0056】
x,y:補正前座標
’,y’:補正後右画面座標
’,y’:補正後左画面座標
,c:第2歪み中心座標
Rx,cRy:第1歪み右中心座標
Lx,cLy:第1歪み左中心座標
,k,aij,bij:第2歪み補正係数
Rx,kRy,aRij,bRij:第1歪み右補正係数
Lx,kLy,aLij,bLij:第1歪み左補正係数
なお、上記k等のkを除く係数aij、bij、aRij、bRij、aLij、bLij、c、c、cRx、cRy、cLx、cLyは、格子画像の直線性より求める。また、k,k 等は、2画像の倍率を合わせる係数で焦点距離fR ,fL の関数となる。
【0057】
上式を用いて、p1〜p4のx,y 座標を代入し、p1’(x’,y’)〜p4’(x’,y’)を与える座標(x’,y’)を得る。このx’,y’の値は、前述した様に必ずしも整数ではなく、上記ウエイトテーブルW1〜W4で補正して、整数の変換後座標(X,Y)に対する画素データを求めることになる。
【0058】
そこで、変換後画素データP(X,Y)を与える変換画面上の4つの点p1’〜p4’の座標を(x’,y’)とし、その変換画面上の4つの点p1’〜p4’に対応する撮像画面(原画)上の4つの点の座標(x,y)〜(x+1,y+1)のうちの左上点p1の座標(x,y)のx座標をQX(X,Y)とし、また、y座標をQY(X,Y)として、幾何学的歪み補正テーブルの座標参照テーブルとして、まず、メモリカード33に記録する。
【0059】
なお、図5及び図6では補正後の右画像座標xR’,yR’と左画像座標xL’,yL’との各場合をまとめてx’,y’で示している。
【0060】
変換後のピクセル単位の整数値で与えられる座標(X,Y)の変換後画素データP(X,Y)は、p1’〜p4’とW1〜W4により求められる。但し、図6に示すようにdnをp1’〜p4’からP(X,Y)までの距離を示すとして、
S=d2・d3・d4+d1・d3・d4+d1・d2・d4
+d1・d2・d3 …(2)
さらに、
W1=d2・d3・d4/S
W2=d1・d3・d4/S
W3=d1・d2・d4/S
W4=d1・d2・d3/S  …(3)
とする。そして、P(X,Y)の値は、
P(X,Y)=W1×p1’+W2×p2’+W3×p3’+W4×p4’…(4)
によって求められる。
【0061】
上記W1,W2,W3,W4は、各変換画面上の各ピクセル点(X,Y)についてウエイトテーブルとして、上記座標参照テーブルQX(X,Y),QY(X,Y)とともに上記メモリカード33に記録される。
【0062】
次に、(b)〜(d)に関して、
(b)右結像光学系の焦点距離fRと、左結像光学系の焦点距離fLを求める。(c)右結像光学系と左結像光学系それぞれの主点位置から、その間の距離Lを求めて記録する。
【0063】
(d)右結像光学系の画像上での光軸位置座標XR、YRと、左結像光学系の画像上での光軸位置座標XL,YLとを求める。
【0064】
上述した第2歪み補正、第1歪み右補正、第1歪み左補正の処理を含めた座標変換処理は図7のように行われる。
【0065】
座標変換の処理がスタートすると、ステップS1に示すようにCPU18aは第2歪み補正テーブルから第2歪み補正のデータを取り込み、ステップS2に示すようにCPU18aは上式(1−1)〜(1−4)により第2歪み補正の処理を行う。
【0066】
次のステップS3ではCPU18aは第1歪み補正テーブルから第1歪み補正のデータを取り込み、ステップS4に示すように第1歪み補正の処理を行う。
この場合、上式(1−5)〜(1−8)と(1−9)〜(1−12)とにより第1歪み補正の処理を行い、座標変換を終了する。
【0067】
その後、上述したようにウエイトテーブルW1〜W4を用いて整数値の座標(X,Y)を算出することになる。
【0068】
上記歪み補正を含むテーブルや対物光学系と像伝送光学系27の焦点距離等の光学データはメモリカード33に記録され、以下に説明するように計測内視鏡装置1で計測を行う場合には読み出されて利用される。
【0069】
以上のように構成された本実施の形態の計測内視鏡装置1による計測動作としてのステレオ計測処理について、図8,9,10,15のフローチャート、および、図11〜図14等を用いて説明する。
【0070】
ステレオ計測処理がスタートすると、図8の最初のステップS11により設定されている補正画像情報データをオリジナルデータとして読み込み、ステップS12に進む。
【0071】
ステップS12において、イメージデータを取り込む。すなわち、計測すべき物体を撮像し、メモリ上に原画像データとして取り込む。そして、ステップS13で後述するサブルーチンの画像補正処理(図9参照)を実行し、原画像の画像補正を行う。すなわち、ステップS12で取り込んだ原画像データをオリジナルテーブルに基づいて座標変換し、計測を行うための計測画像データを得る。
【0072】
続いて、ステップS14にて上記計測画像データに基づき、後述するサブルーチンの計測処理(図10参照)を実行し、3次元座標の演算等を行って選択された計測を行い、本ステレオ計測処理を終了する。
【0073】
上記ステップS13(図8参照)において、コールされるサブルーチンの画像補正処理について、図9のフローチャートを用いて説明する。
【0074】
本サブルーチンの処理により計測画像上の画素データP(X,Y)を得ることができる。まず、ステップS21において、工場にて作成した補正テーブルであるオリジナルデータを取り込む。ステップS22では、補正した画像の座標、すなわち、計測画像の座標をX,Yと設定する。
【0075】
ステップS23において、補正座標X,Yを得るために必要な原画像の座標を参照座標とし、図7のフローチャートで作成したQX(X,Y)、QY(X,Y)により補正座標X,Yを得る。そして、ステップS24にて、ウエイトテーブルを取り込み、ステップS25で補正後の座標上の画素データP(X,Y)を次式より求める。
【0076】
すなわち、

Figure 2004049638
により求められる。
【0077】
続いて、ステップS26において、補正画像範囲を設定し、本ルーチンを終了する。なお、このサブルーチンの画像補正処理は、左右2画像に対して行い、原画像を計測画像に変換する。
【0078】
次に、図8のステップS14にてコールされるサブルーチンの計測処理について、図10のフローチャートにより説明する。
【0079】
まず、ステップS171において、LCD5に表示されるメニュー上にて3つの計測方式を選択する。その1つは、深さ計測であり、点と平面間の距離を計測する場合、例えば、図11の斜視図に示すようにパイプ41等の内面の腐食の深さh(図12部分拡大図参照)を計る場合に用いられる。
【0080】
この計測方式を選択するとステップS172にジャンプする。他の1つは、長さ計測であり、2点間の距離を計測する場合、例えば、図13の斜視図に示すように立体的被計測物であるパイプ42の2点の3次元座標を求め、2点間の距離dを求める場合に適用される。
【0081】
この計測方式を選択するとステップS190にジャンプする。他の1つは、くぼみ計測であり、点と直線間の距離を計測する場合、例えば、図14の斜視図に示すように、タービンブレード43の欠損等の大きさ(欠け部分の寸法h)等を計測する場合に適用される。この計測方式が選択されるとステップS200にジャンプする。
【0082】
上記ステップS172にジャンプした場合、ステップS173〜ステップS175において、基準平面設定用の3点の基準点PTを設定する。例えば、図11に示す被計測物のパイプ51の場合、測定基準点PT1,PT2,PT3を設定する。そして、後述するサブルーチン3次元座標解析処理(図15(A)参照)により上記3点の3次元座標を求める。
【0083】
ステップS176で点PT指示値をインクリメントし、ステップS177で上記3点が作る平面の深さの基準平面として設定する。図11の場合、点PT1,PT2,PT3を含む平面M1を設定する。さらに、ステップS178で測定点、例えば、PT4を設定し 、S179でサブルーチン3次元座標解析処理(図15(A)参照)を呼び出して実行して測定点の座標を求める。図12の場合、点PT4の座標を求める。
【0084】
ステップS180において、基準平面から測定点間の距離、図12の場合、測定点PT4から前記基準平面M1までの腐食の深さを与える距離hを演算し、本ルーチンを終了する。
【0085】
次に、ステップS190にジャンプした場合は、ステップS191で第1測定点を設定し、ステップS192でサブルーチン3次元座標解析処理を実行し、上記第1測定点の座標を求める。さらに、ステップS193で第2測定点を設定し、ステップS194でサブルーチン3次元座標解析処理を実行し、上記第2測定点の座標を求める。その後、ステップS195において上記第1,第2測定点の座標から上記2点間の距離dを演算し、本サブルーチンを終了する。
【0086】
なお、上記の処理において、被計測物が図13に示すパイプ42であって、第1,第2測定点がPT5,PT6であった場合、上記計測により上記2測定点間の距離dが求められる。
【0087】
さらに、ステップS200にジャンプした場合は、ステップS201でくぼみの一端に第1基準点を設定し、ステップS202でサブルーチン3次元座標解析処理を実行し、上記第1基準点の座標を求める。さらに、ステップS203でくぼみの他端に第2基準点を設定し、ステップS204でサブルーチン3次元座標解析処理を実行し、上記第2基準点の座標を求める。ステップS205において上記第1,第2基準点の座標から上記2点間を結ぶ基準直線を設定する。
【0088】
ステップS206でくぼみの測定点を設定する。ステップS207でサブルーチン3次元座標解析処理を実行し、上記測定点の座標を求める。ステップS208で上記基準点を結ぶ直線と測定点の垂線の長さhをくぼみ量として演算し、本ルーチンを終了する。
【0089】
なお、上記のサブルーチンの処理で被計測物が図14に示すタービンブレード43であった場合、第1,第2基準点PT7,PT8を結ぶ基準直線とくぼみの測定点PT9までの距離hを求めることになる。
【0090】
次に、上記ステップS175,S192,S202、その他のステップでコールされるサブルーチンの3次元座標解析処理について、図15(A)のフローチャートにより説明する。
【0091】
ステップS211にてサブルーチンのパターンマッチング処理を実行して、左右の2画像(ステレオ画像)の対応点であるマッチングポイントを検出する。ステップS212にて対応点の座標から左右の2画像のずれ量を求める。ステップS213にて対象としている点の3次元座標を計算し、本ルーチンを終了する。ここで、上記サブルーチンにおける3次元座標解析処理の基本原理について、図16を用いて説明する。
【0092】
図16は、x,y,z 軸をもつ3次元座標系上の右左2画像位置関係を示す図であって、被写体の点Pが撮像素子28の右結像面28R、左結像面28L上に結像した状態を示している。本図16において、点OR,OLを光学系の主点とし、距離fを焦点距離とし、点QR,QLを点Pの結像位置とし、さらに、距離Lを点OR−点OL間の距離とする。
【0093】
図16において、直線QR−ORから次式が成立する。すなわち、
x/x’={y−(L/2)}/{y’−(L/2)}=z/(−f)…(6)
また、直線QL−OLから次式が成立する。すなわち、
x/x’={y+(L/2)}/{y’+(L/2)}=z/(−f)…(7)
この式をx、y、z について解けば、点Pの3次元座標が得られる。
【0094】
なお、実際は像伝送光学系27の効果により、左右2つの像の光線は折り曲げられて右結像面28Rと左結像面28Lの間隔はもっと小さくなるが、ここでは図を簡略にするために像伝送光学系27の効果を省いて図示している。
【0095】
次に、図15(A)の3次元座標解析処理のステップS211にてコールされるサブルーチンのパターンマッチング処理について、図15(B)のフローチャートにより説明する。
【0096】
本ルーチンでは、2画像間の対応点を検出するパターンマッチングを行う。図17は、左右2画面65,66の画像をLCD5上に表示したステレオ計測画面64を示しており、左画面65の画像ポイントPP1が右画面66の画像ポイントPP2に対応していることを示している。
【0097】
まず、ステップS221,222にて、パターンマッチングを行うパターンの大きさの設定するパターンエリアの絞り込みを行う。本実施の形態の例では、値kに対応したパターンエリアを設定する。すなわち、
k=1ではパターンエリアを35×35(ピクセル)、
k=2ではパターンエリアを23×23(ピクセル)、
k=3ではパターンエリアを11×11(ピクセル)、
とし、値kを小から大へ切り換えて領域を大から小へ絞り込んでいき、対応点検出の精度を上げるようにする。
【0098】
ステップS223にて検索範囲を設定する。すなわち、パターンを探す右画像の領域を決定する。その検索範囲の設定には、エピポーララインに誤差を考慮してエピポーラ±5ピクセル以内とする場合と、モニタ画面上で水平に±7ピクセル以内とする場合と、画面上で手動により指示された略マッチング点を中心に±10ピクセル以内とする場合がある。なお、上記±10ピクセルは、手動による誤差を考慮した最適な値である。
【0099】
ステップS224〜S226において、設定された検索範囲でのパターンマッチングを行う。このパターンマッチングは、正規化相互相関による対応点検出を行い、最も正規化相互相関係数の大きな座標(X、Y)を上記対応点とする。
【0100】
ステップS227において、値kをインクリメントし、その値kに対応してパターンを絞り込み、対応点検出を行う。
【0101】
ステップS228においてマッチングポイントの設定を行う。そのとき、正規化相互相関の値をモニタ画面上に表示、これをマッチングの信頼性の尺度としてもよい。また、正規化相互相関の値(−1〜1)が所定の値よりも小さい場合は、手動式のマッチング処理に切り換えてもよい。
【0102】
上記パターンマッチングに利用する正規化相互相関関数M(u,v)は、一般的に以下の式を用いる。すなわち、t(x,y)をテンプレートとし、g(x,y)を画像データとし、t’をテンプレートの平均輝度とし、さらに、g’を画像の平均輝度として、
M(u,v)={ΣΣ(g(x+u,y+v)−g’)(t(x,y)−t’)}
/{ΣΣ(g(x+u,y+v)ーg’)×ΣΣ(t(x,y)−t’)1/2  (8)
が適用される。ここでΣΣは画素の和をとることを表す。
【0103】
本実施の形態による計測例として、例えば補正した画像上で計測を行う。この場合には、リモートコントローラ4で計測実行スイッチ4eが操作された場合には、補正された左右の画像がLCD5に表示される。
【0104】
さらにリモートコントローラ4のレバースイッチ4bを操作して左右の画像上で、それぞれ計測しようとする点の指示入力を行うことにより、ステレオ計測を行うことができる。
【0105】
また、補正した画像を作成して立体視を行うこともできる。この場合にはリモートコントローラ4の計測実行スイッチ4eが操作された場合には、補正された左右の画像がLCD5に表示され、また補正された左右の画像の映像信号がFMDアダプタ6aに入力され、左右の映像信号に切り離す処理がされた後、FMD6に入力される。
【0106】
ユーザはFMD6を装着して、立体視することにより、左右でそれぞれ歪みが補正された良好な画質の左右画像を観察することができ、補正されない左右画像を観察する場合よりもユーザに負担をかけることなく、立体視ができ、ユーザの疲労を大幅に軽減することができる。
【0107】
上述の実施の形態の画像データの処理は、簡潔に説明するために画像にモノクロ画像を用いた場合として説明したが、これらの処理は、R、G、B信号によるカラー画像に拡張しても同様に有効であることは勿論である。
【0108】
以上述べたように本実施の形態によれば、内視鏡2の先端部21に1対の対物光学系と、該対物光学系による光学像を伝送する像伝送光学系27とからなる撮像光学系を設けて撮像素子28に結像するようにしているので、挿入部20の外径を細くできると共に、1対の対物光学系により発生する第1の歪みと像伝送光学系27により発生する第2の歪みとが重なった多重歪みを補正する多重歪み補正手段を設けているので、精度の良い計測ができると共に、多重歪みを補正することにより立体視した場合の疲労を軽減することができる。
【0109】
なお、上述の説明では、(a1)〜(d)の光学データを作成する場合、計測内視鏡装置1にパソコン31を接続してパソコンタ31の動作により行うようにしていたが、第1の実施の形態の変形例として、パソコン31を接続することなく、計測内視鏡装置1自体で行うようにしても良い。
【0110】
この場合には、図2に示す計測処理部18における例えばCPU18aは、メモリカード33に記録されている光学データに基づいてステレオ計測を行う処理の他に、(1−1)〜(1−12)の多重歪み補正の処理、つまり多重歪み補正処理18dの機能等を含む処理を行う。CPU18aによるこの多重歪み補正処理18dの機能を図2では2点鎖線で示している。
【0111】
(第2の実施の形態)
次に本発明の第2の実施の形態を図18ないし図25を参照して説明する。本実施の形態の計測内視鏡装置は、図1の計測内視鏡装置1において、内視鏡2の先端部21の構成を変更したものである。
【0112】
つまり、内視鏡2の先端部21は図18に示すように先端部本体39と、この先端部本体39に着脱自在の光学アダプタ46とから構成されるようになっている。
【0113】
光学アダプタ46には2つの照明窓24と、観察窓25とが設けてある。図18のB−B断面による先端部21の構成を図19に示す。
【0114】
図19に示すように先端部本体39には撮像素子28が取り付けてあり、この撮像素子28の前面側はカバーガラス47で保護され、このカバーガラス47は光学アダプタ46側のカバーガラス48と対向する。
【0115】
この光学アダプタ46の後端側の外周面には、固定リング49が設けてあり、先端部本体39の外周面に設けた雄ネジ部にこの固定リング49の後端内視鏡内周面に設けた雌ネジ部を螺合させることにより、着脱自在に取り付けられるようにしている。
【0116】
なお、先端部本体39の先端面の外周面には位置決め用の凹部が、光学アダプタ39側には位置決め用ピンが設けてあり、光学アダプタ39を取り付ける際に凹部とピンとにより周方向の位置決めがされる。この光学アダプタ46側には、対物レンズ26R、26Lと像伝送光学系27とが取り付けられている。
【0117】
その他は基本的には第1の実施の形態と同様の構成である。
【0118】
次に本実施の形態の作用を説明する。
【0119】
本計測内視鏡装置に適用される光学アダプタ46は、生産工程にて個体の異なる光学アダプタ毎に図20に示す生産測定治具51を構成する撮像素子内蔵のマスタ撮像ユニット52に取り付けて、次の(a1)〜(d)に示す各光学アダプタ46の特有の光学データが測定される。その光学データを記録媒体である例えば、メモリカード33に記録する。このメモリカード33に記録された特有の光学データは、光学アダプタ46の特性と、一対一で対応することになって、出荷後、1つの組み合わせのものとして扱われる。
【0120】
上述の特有の光学データは、
(a1)2つの対物光学系の幾何学的歪み補正テーブル
(a2)像伝送光学系の幾何学歪み補正テーブル
(b)左右の結像光学系それぞれの焦点距離
(c)左右の結像光学系の主点間の距離
(d)左右の結像光学系それぞれの画像上での光軸位置座標
(e)左右の結像光学系それぞれの画像がマスタの撮像素子上に結像するときの位置情報である。
【0121】
本実施の形態は、(e)の項目が加わったことが第1の実施の形態と異なる点であり、その他は第1の実施の形態と同様である。
【0122】
上記特有の光学データ採りを行った後の光学アダプタ46は、内視鏡2に取り付け、計測内視鏡装置において、次に示す(1)〜(8)の処理を行って各種寸法計測を行うことができる。
【0123】
すなわち、
(1)上記メモリカード33から上記(a1)〜(e)の光学データを読み込む。(2)本計測内視鏡装置を用いて白い被写体を撮像する。
【0124】
(3)上記(e)のデータおよび上記(2)の撮像データを用いて本光学アダプタ46と内視鏡2との組み合わせによる画像位置のずれを求める。
【0125】
(4)上記(3)のデータおよび上記(1)のデータを用いて、本内視鏡2に対する幾何学的歪み補正を行う変換テーブルを作成する。
【0126】
(5)本内視鏡2にて被写体である被計測物を撮像し、画像を取り込む。
【0127】
(6)上記の取り込んだ画像を上記(3)で作成したテーブルをもとに座標変換する。
【0128】
(7)座標変換された画像を基に、上記(2)の撮像データのマッチングにより任意の点の3次元座標を求める。
【0129】
(8)上記3次元座標を基に各種寸法計測を行う。
【0130】
図20は、前述した光学アダプタ46に特有の光学データを測定するための生産測定治具51による測定状態を示す斜視図である。
【0131】
上記生産測定治具51は、光学アダプタ46が装着可能であって、内視鏡2の先端部本体39と同様の構造を有するマスタ撮像ユニット52と、このマスタ撮像ユニット52からの信号線が接続されるCCU53と、メモリカード33が着脱可能なメモリカードスロット54を有し、上記CCU53からの画像データに対する画像処理を行うパソコン31、および光学アダプタ46の光学特性を解析するためのチャート54とで構成されている。
【0132】
上記生産測定治具51による光学データの取り込みを行う場合、まず、図20に示すように、光学アダプタ46をマスタ撮像ユニット52に取り付け、チャート54の像を光学アダプタ46を介して取り込み、その画像データに基づいてパーソナルコンピュータ31にて、画像処理を行い、前記(a1)〜(e)の光学データを求め、メモリカード33に記録する。
【0133】
次に、上記光学アダプタ46に特有の各光学データを具体的に説明する。
【0134】
(a1)(a2)幾何学的歪み補正テーブルについて、
一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となるため、座標変換を行うことによりこの歪みを取り除くことができる。座標変換は、光軸中心を中心にして行ってもよいし、より正確に補正する場合は、光学系の幾何学的歪みの中心を用いるとよい。また、2つの画像の幾何学的歪み補正テーブルは、右画像、左画像別々に設けてもよいし、2つをまとめて1つのテーブルにしてもよい。この補正は第1の実施の形態と同様に行うことができる。
【0135】
また、(b)、(c)、(d)は第1の実施の形態と同様であるのでその説明を省略する。
【0136】
(e)2つの画像がマスタの撮像素子上に結像するときの位置情報に関しては、基準ラインV(垂直ライン)の輝度データとして、
PV(100,Yn) 但し、Yn=1,2,3,…480
および、基準ラインH(水平ライン)の輝度データとして、
PH(Xn,100) 但し、Xn=1,2,3,…640
を測定して記録する。
【0137】
次に計測動作としてのステレオ計測処理について、図21,22のフローチャート、および図23〜図25等を用いて説明する。
【0138】
本ステレオ計測処理は、光学アダプタ46の2つの対物レンズ26R、対物レンズ26Lにより取り込まれる視差のある右左の画像データに基づいて、3次元座標の計測を行う処理である。
【0139】
まず、図21のステップS30において、初期化を行うか否かをチェックする。すなわち、本計測ソフト立ち上げて最初の状態の場合と、光学アダプタ46を交換したか、内視鏡を交換した場合には、ステップS31〜35のルーチンに進み、初期化を実行する。それ以外の場合は、ステップS11に進み、すでに設定されている補正画像情報データをオリジナルデータとして読み込み、ステップS12に進む。
【0140】
上記ステップS31においては、補正画像データの読み込みが行われる。すなわち、光学アダプタ46と一対一で対応した前記(a1)〜(e)の特有の光学データをメモリカード33から読み込み、これをマスタデータとする。
【0141】
続いて、ステップS32では、白い被写体のイメージを取り込む。すなわち、光学アダプタ46を取り付けた計測内視鏡装置により白い被写体を写し出し、その画像を映像信号処理回路12を介して計測処理部18のCPU18aはRAM18c上に取り込む。
【0142】
続いて、ステップS33では、後述するサブルーチン画像位置設定処理(図22(A)参照)を実行する。このサブルーチンの処理は、光学アダプタ46の生産時に光学データを取得したマスタ撮像ユニット52と内視鏡2との特性の違いにより生じる画像の座標のずれ量を求める処理である。
【0143】
ステップS34では、テーブルの設定を行う。この処理では、ステップS31で取り込んだ前記光学データのうち(a1)、(a2)の2種類の画像の幾何学的歪み補正テーブルをステップS33で求めた座標のずれ量に応じて補正した補正テーブルが作成される。すなわち、以下の2つで構成されるオリジナルデータが作成される。
【0144】
ウエイトテーブルとして
W1’(X,Y)=W1(X+ΔX,Y+ΔY)
W2’(X,Y)=W2(X+ΔX,Y+ΔY)
W3’(X,Y)=W3(X+ΔX,Y+ΔY)
W4’(X,Y)=W4(X+ΔX,Y+ΔY)…(9)
また、座標参照テーブルとして、
QX’(X,Y)=QX(X,Y)+ΔX
QY’(X,Y)=QY(X,Y)+ΔY   …(10)
但し、「’付き」は、補正後を示し、「’なし」は、補正前を示す。また、ΔX,ΔYは、マスタで測定した画像と光学アダプタ46を本装置に装着したときの画像のずれ量を示す。
【0145】
ステップS35では、補正画像情報データの保存を行う。すなわち、ステップS34で求めたオリジナルデータをメモリカード33に保存する。
【0146】
そこで、ステップS12において、イメージデータを取り込む。すなわち、計測すべき物体を撮像し、メモリ上に原画像データとして取り込む。そして、ステップS13で後述するサブルーチンの画像補正処理(図22(B)参照)を実行し、原画像の画像補正を行う。すなわち、ステップS12で取り込んだ原画像データをステップS34で作成したオリジナルテーブルの基づいて座標変換し、計測を行うための計測画像データを得る。
【0147】
続いて、ステップS14にて上記計測画像データに基づき、上述したサブルーチンの計測処理(図10参照)を実行し、3次元座標の演算等を行って選択された計測を行い、本ステレオ計測処理を終了する。
【0148】
ここで、上記ステップS33においてコールされるサブルーチンの画像位置設定処理について、図22(A)のフローチャートを用いて説明する。
【0149】
まず、ステップS152において、視野形状パターンを呼び出す。すなわち、上記ステップS31で取り込んだ特有の光学データのうち(e)のマスタの撮像素子に対する結像の位置情報を示す輝度データとして、
PV(100,Yn),但し、Yn=1,2,3,…480
PH(Xn,100),但し、Xn=1,2,3,…640
を呼び出す。図23は、光学アダプタ46をマスタ撮像ユニット52に装着した状態で白色チャート54を撮像した画像を示す図であり、垂直ラインPV,水平ラインPHがそれぞれ上記輝度データを与えるラインである。
【0150】
ステップS153にてパターンマッチングおよび視野位置設定、光軸位置設定を行う。図24は、光学アダプタ46を装着した計測内視鏡装置により白色チャート54の画像を取り込んだ画像を示す図である。結像の位置情報を示す輝度データとして、
PV’(100,Yn),但し、Yn=1,2,3,…480
PH’(Xn,100),但し、Xn=1,2,3,…640
で与えられる。
【0151】
また、図25は、上記マスタ、および、計測内視鏡装置1に対する視野形状パターンを与える輝度とを縦軸とし、横軸を画像のアドレスとした輝度の変化を示す図であって、図25(A)がラインPV、および、ラインPV’の輝度変化を示し、図25(B)がラインPH、および、ラインPH’の輝度変化を示している。
【0152】
上記ステップS153のパターンマッチング処理では、図25(A)、および、図25(B)の輝度変化に基づき、正規化相互相関を用いてマスタに対する画像の位置ずれΔX、ΔYを求める。さらに、計測系光軸位置は、右左光学系に関して水平,垂直座標xR’,yR’とxL’,yL’は、次の式で求められる。すなわち、
xR’=XR+ΔX
yR’=YR+ΔY
xL’=XL+ΔX
yL’=YL+ΔY …(11)
となる。
【0153】
また、上記ステップS13(図21参照)において、コールされるサブルーチンの画像補正処理について、図22(B)のフローチャートを用いて説明する。本サブルーチンの処理により計測画像上の画素データP(X,Y)を得ることができる。まず、ステップS162において、前記ステップS34(図21参照)にて作成した補正テーブルであるオリジナルデータを取り込む。ステップS163では、補正した画像の座標、すなわち、計測画像の座標をX,Yと設定する。
【0154】
ステップS164において、補正座標X,Yを得るために必要な原画像の座標を参照座標とし、前記ステップS34で作成したQX’(X,Y)、QY’(X,Y)により補正座標X,Yを得る。そして、ステップS165にて、前記ステップS34で作成したウエイトテーブルを取り込み、ステップS166で補正後の座標上の画素データP(X,Y)を次式より求める。すなわち、
Figure 2004049638
により求められる。
【0155】
続いて、ステップS167において、補正画像範囲を設定し、本ルーチンを終了する。なお、このサブルーチンの画像補正処理は、左右2画像に対して行い、原画像を計測画像に変換する。
【0156】
図21のステップS14にてコールされるサブルーチンの計測処理は図10で説明したので省略する。
【0157】
また、本実施の形態の計測例として、補正は輝度情報に対してのみ内部で行い画像は作成せず、補正前の画像上で計測点を指定するようにしても良い。
【0158】
この場合には、補正画像作成処理を簡略化できるので、画像取り込みから計測開始までの時間を短縮できる。
【0159】
本実施の形態の使用例としては、第1の実施の形態で説明したように行うことができると共に、以下のように補正は輝度情報に対してのみ内部で行い、その場合には補正された画像を作成しないで、補正前の画像上で計測点を指定するようにしても良い。
【0160】
この使用例では、補正画像の作成処理を簡略化できるので、画像取り込みから計測開始までの時間を短縮することができる。
【0161】
なお、本実施の形態では、ステレオ式の光学アダプタ46を装着した場合で説明したが、他の光学アダプタを装着して使用することもできる。
【0162】
以上、説明したように本実施の形態の計測内視鏡装置によれば、計測精度を向上するのために、光学アダプタ46に一対一で対応するように特有の光学データを記録媒体のメモリカード33で提供し、生産測定治具51(マスタ撮像ユニット52)と内視鏡画像との座標のずれを補正したことにより、計測精度を向上させることができる。
【0163】
また、計測用の光学アダプタ46の生産に生産測定治具51(マスタ撮像装置52)を用いて特有の光学データ取りを行ったため、生産性が向上して計測内視鏡装置を低価格で提供できるようになる。
【0164】
また、先端部21に計測用の光学アダプタ46を着脱自在に設けたため、他の計測以外の光学アダプタとの交換が可能になり、内視鏡の汎用性を向上させ、ユーザの金銭的負担を抑えることができる。
【0165】
また、本実施の形態の例では画像の座標変換に使用するウエイトテーブルW1〜W4、座標参照テーブルQX、QYを生産測定治具51のコンピュータ31で作成して記録媒体のメモリカード33に記録したため、内視鏡装置内部の計測処理部でテーブルを作成する必要がない。したがって、計測処理を短時間で行うことができる。
【0166】
さらに、正規化相互相関の値をLCD5の画面上に表示することにより、操作者は、マッチングの信頼性、あるいは、計測の信頼性を知ることができる。また、正規化相互相関の値が小さい場合は、手動式のマッチングに切り換えることができ、精度の高い計測が可能になる。
【0167】
(第3の実施の形態)
次に本発明の第3の実施の形態を図26を参照して説明する。第2の実施の形態では、対物光学系及び像伝送光学系27がすべて光学アダプタ46側にあり、第2歪みはまとめて補正するようにしていたが、本実施の形態では対物光学系と像伝送光学系27の一部が光学アダプタ46側にあり、第2歪みはまとめて補正するようにしている。
【0168】
本実施の形態における内視鏡2の先端部21の構成を図26に示す。先端部21は先端部本体59と、この先端部本体59に着脱自在の光学アダプタ60とからなり、先端部本体59には撮像素子28と像伝送光学系27の後段側光学系27bとが設けてある。
【0169】
また、光学アダプタ60には2つの対物レンズ26R、26Lと、像伝送光学系27の前段光学系27a、を備え、先端部本体59に固定リング49で着脱自在である。この場合における先端部本体59と光学アダプタ60とに分割する部分、つまりカバーガラス61,62の面で光束径が太くなり、かつ実像が結像しないことでごみが付いても画像への影響が小さいようにしている。
【0170】
本実施の形態では式(1−1)〜(1−4)で前段と後段を合わせた像伝送光学系27の幾何学的歪みを補正し、式(1−5)〜(1−12)で対物光学系の幾何学的歪みを補正する。
【0171】
その他は第2の実施の形態と同様の構成及び作用となる。また、本実施の形態の効果も第2の実施の形態とほぼ同様となる。
【0172】
(第4の実施の形態)
次に本発明の第4の実施の形態を図27を参照して説明する。本実施の形態における内視鏡装置は第3の実施の形態と同様である。
【0173】
つまり、内視鏡2の先端部21は図26に示す構成であり、像伝送光学系27の前段側光学系27aが光学アダプタ60側にあり、後段側光学系27bは先端部本体59側に設けてある。
【0174】
しかし、本実施の形態では第2歪みを前段側と後段側とで別々に補正を行うようにしたものである。
【0175】
計測処理部18には幾何学的な多重歪み補正処理の機能が設けてあり、幾何学的な多重歪み補正処理の機能は第1歪み補正処理の機能とと第2歪み前段補正処理の機能と、第2歪み後段補正処理の機能とから構成される。
【0176】
以下に示した式(13−1)〜(13−4)で伝送光学系後段の幾何学的歪みを補正し、式(13−5)〜(13−8)で像伝送光学系前段の幾何学的歪みを補正し、式(13−9)〜(13−16)で対物光学系の幾何学的歪みを補正する。
【0177】
x,y:補正前座標
’,y’:補正後右画面座標
’,y’:補正後左画面座標
Bx,cBy:第2歪み後段中心座標
Fx,cFy:第2歪み前段中心座標
Rx,cRy:第1歪み右中心座標
Lx,cLy:第1歪み左中心座標
,k,aij,bij:第2歪み補正係数
Rx,kRy,aRij,bRij:第1歪み右補正係数
Lx,kLy,aLij,bLij:第1歪み左補正係数
第2歪み後段補正:
2Bx(x,y)≡kBx(aB00+aB12xy+aB14xy+aB16xy+aB30+aB32+aB34
+aB50+aB52+aB70)+cBx (13−1)
2By(x,y)≡kBy(bB00+bB21y+bB41y+bB61y+bB03+bB23+bB43
+bB05+bB25+bB07)+cBy (13−2)
21=f2x(x−cBx,y−cBy) (13−3)
21=f2y(x−cBx,y−cBy) (13−4)
第2歪み前段補正:
2Fx(x,y)≡kFx(aF00+aF12xy+aF14xy+aF16xy+aF30+aF32+aF34
+aF50+aF52+aF70)+cFx (13−5)
2Fy(x,y)≡kFy(bF00+bF21y+bF41y+bF61y+bF03+bF23+bF43
+bF05+bF25+bF07)+cFy (13−6)
=f2x(x21−cFx,y21−cFy) (13−7)
=f2y(x21−cFx,y21−cFy) (13−8)
第1歪み右補正:
Rx(x,y)≡kRx(aR00+aR12xy+aR14xy+aR16xy+aR30+aR32+aR34
+aR50+aR52+aR70)+cRx (13−9)
Ry(x,y)≡kRy(bR00+bR21y+bR41y+bR61y+bR03+bR23+bR43
+bR05+bR25+bR07)+cRy (13−10)
=fRx(x−cRx,y−cRy) (13−11)
=fRy(x−cRx,y−cRy) (13−12)
第1歪み左補正:
Lx(x,y)≡kLx(aL00+aL12xy+aL14xy+aL16xy+aL30+aL32+aL34
+aL50+aL52+aL70)+cLx (13−13)
Ly(x,y)≡kLy(bL00+bL21y+bL41y+bL61y+bL03+bL23+bL43
+bL05+bL25+bL07)+cLy (13−14)
’=fLx(x−cLx,y−cLy) (13−15)
’=fLy(x−cLx,y−cLy) (13−16)
光学アダプタ59を実際に装着される内視鏡2に応じて、第2歪み後段中心と第2歪み前段中心の位置のずれ量が変化した場合にも対応でき、より高精度な補正を行えるようにしている。
【0178】
この場合の光学データは、
(a1)2つの対物光学系の幾何学的歪み補正テーブル
(a2)像伝送光学系前段の幾何学歪み補正テーブル
(a3)像伝送光学系後段の幾何学歪み補正テーブル
(b)左右の結像光学系それぞれの焦点距離
(c)左右の結像光学系の主点間の距離
(d)左右の結像光学系それぞれの画像上での光軸位置座標
(e)左右の結像光学系それぞれの画像がマスタの撮像素子上に結像するときの位置情報である。
【0179】
上記光学データを参照して、図27に示すように幾何学的な多重歪み補正を行う。
【0180】
つまり、図27に示すように座標変換が開始すると、最初のステップS41で第2歪み後段補正テーブルから第2歪み後段補正データを読み出し、次のステップS42で像伝送光学系27の後段側光学系27bの第2歪み後段補正を行う。次のステップS43で第2歪み前段補正テーブルから第2歪み前段補正データを読み出し、次のステップS44で像伝送光学系27の前段側光学系27aの第2歪み後段補正を行う。
【0181】
次のステップS45で第1歪み補正テーブルから第1歪み補正データを読み出し、次のステップS46で対物光学系の第1歪み補正を行う。
【0182】
このように補正を行うことにより、光学アダプタ59を実際に装着される内視鏡2に応じて、より高精度な補正を行える。その他は第3の実施の形態と同様の効果を有する。
【0183】
(第5の実施の形態)
次に本発明の第5の実施の形態を説明する。本実施の形態は第1〜第3の実施の形態において、式(1−1)〜(1−4)の第2歪み補正式の代わりに以下の式(14−1)〜(14−5)を採用したものである。この場合の効果は第1〜第3の実施の形態とほぼ同様のものとなる。
【0184】
(x,y)≡K sin−1{(x+y1/2/(d)} (14−1)
(x,y)≡K tan−1{(x+y1/2/(d)} (14−1’)
(14−1)と(14−1’)はレンズの幾何学的歪みの特性により使い分ける。
【0185】
2x(x,y)≡k2x cos{tan−1(y/x)}tan{h(x,y)}+c (14−3)
2y(x,y)≡k2y cos{tan−1(y/x)}tan{h(x,y)}+c (14−3)
=f2x(x−c,y−c) (14−4)
=f2y(x−c,y−c) (14−5)
ここで、
x,y:補正前座標
,y:第2歪み補正後座標
,c:第2歪み中心座標
,d,k2x,k2y:第2歪み補正係数
である。
【0186】
また、第4の実施の形態に対しては、式(13−1)〜(13−8)の第2歪み補正式の代わりに以下の式(15−1)〜(15−10)を採用すれば良い。この場合の効果は第4の実施の形態とほぼ同様のものとなる。
【0187】
第2歪み後段補正:
(x,y)≡K sin−1{(x+y1/2/(d)} (15−1)
(x,y)≡K tan−1{(x+y1/2/(d)} (15−1’)
(15−1)と(15−1’)はレンズの幾何学的歪みの特性により使い分ける。
【0188】
Bx(x,y)≡kBx cos{tan−1(y/x)}tan{h(x,y)}+cBx (15−2)
By(x,y)≡kBy cos{tan−1(y/x)}tan{h(x,y)}+cBy (15−3)
=fBx(x−cBx,y−cBy) (15−4)
=fBy(x−cBx,y−cBy) (15−5)
第2歪み前段補正:
(x,y)≡K sin−1{(x+y1/2/(d)} (15−6)
(x,y)≡K tan−1{(x+y1/2/(d)} (15−6’)
(15−6)と(15−6’)はレンズの幾何学的歪みの特性により使い分ける。
【0189】
Fx(x,y)≡kFx cos{tan−1(y/x)}tan{h(x,y)}+cFx (15−7)
Fy(x,y)≡kFy cos{tan−1(y/x)}tan{h(x,y)}+cFy (15−8)
=fFx(x−cFx,y−cFy) (15−9)
=fFy(x−cFx,y−cFy) (15−10)
ここで、
x,y:補正前座標
,y:第2歪み補正後座標
Fx,cFy:第2歪み前段中心座標
Bx,cBy:第2歪み後段中心座標
,d,kFx,kFy:第2歪み前段中心座標
,d,kBx,kBy:第2歪み後段中心座標
また、上述した第1ないし第4の実施の形態において、第1歪み補正の座標変換式を以下のようにしても良い。
【0190】
第1歪み右補正:
(x,y)≡K sin−1{(x+y1/2/(d)} (16−1)
(x,y)≡K tan−1{(x+y1/2/(d)} (16−1’)
(16−1)と(16−1’)はレンズの幾何学的歪みの特性により使い分ける。
【0191】
Rx(x,y)≡k cos{tan−1(y/x)}tan{h(x,y)}+cRx (16−2)
Ry(x,y)≡k cos{tan−1(y/x)}tan{h(x,y)}+cRy (16−3)
=fRx(x−cRx,y−cRy) (16−4)
=fRy(x−cRx,y−cRy) (16−5)
第1歪み左補正:
(x,y)≡K sin−1{(x+y1/2/(d)} (16−6)
(x,y)≡K tan−1{(x+y1/2/(d)} (16−6’)
(16−6)と(16−6’)はレンズの幾何学的歪みの特性により使い分ける。
【0192】
Lx(x,y)≡k cos{tan−1(y/x)}tan{h(x,y)}+cLx (16−7)
Ly(x,y)≡k cos{tan−1(y/x)}tan{h(x,y)}+cLy (16−8)
=fLx(x−cLx,y−cLy) (16−9)
=fLy(x−cLx,y−cLy) (16−10)
ここで、
,y:第2歪み補正後座標
,y:補正後右画面座標
,y:補正後左画面座標
Rx,cRy:第1歪み右中心座標
Lx,cLy:第1歪み左中心座標
,d,kRx,kRy:第1歪み右補正係数
,d,kLx,kLy:第1歪み左補正係数
である。
【0193】
なお、上述したように多重歪みを補正する光学データを用いて、1対の対物光学系と像伝送光学系を介して撮像素子に結像する構成を備えた既存の内視鏡に対して、その画像を補正するのに適用することもできる。
【0194】
この場合には、例えば光学データを記録したメモリカード33等の記録媒体を介して画像補正を行う画像処理手段に読み込ませる等して多重歪み補正を行うことにより、精度の高い計測や画像表示が可能となる。また、光学データと共に、その光学データを用いて多重歪み補正を行う動作プログラムも記録し、その動作プログラムに従って多重歪み補正を行うようにしても良い。
【0195】
[付記]
1.請求項3において、幾何学的多重歪み補正は、まず第2の歪み補正を行った後に第1歪み補正を行う。
【0196】
2.請求項5において、幾何学的多重歪み補正は、まず第2歪み後段補正を行い、次に第2歪み前段補正を行い、最後に第1歪み補正を行う。
【0197】
3.異なる視点からの像を得るための複数の対物光学系と、前記複数の対物光学系の像を伝送する像伝送光学系とによる複数の像が結像させる撮像素子からの出力信号に対して、前記複数の対物光学系による第1の幾何学的歪みと、前記像伝送光学系による第2の幾何学的歪みが重なった歪みである多重歪みを補正する幾何学的多重歪み補正手段を設けた画像処理装置。
【0198】
4.異なる視点からの像を得るための複数の対物光学系と、前記複数の対物光学系の像を伝送する像伝送光学系とによる複数の像が結像させる撮像素子からの出力信号に対して、前記複数の対物光学系による第1の幾何学的歪みと、前記像伝送光学系による第2の幾何学的歪みが重なった歪みである多重歪みを補正するデータを記録した記録媒体。
【0199】
【発明の効果】
以上説明したように本発明によれば、内視鏡の先端部に1対の対物光学系と、該対物光学系による光学像を伝送する像伝送光学系とからなる撮像光学系を設けて撮像素子に結像するようにしているので、挿入部の外径を細くできると共に、1対の対物光学系により発生する第1の歪みと像伝送光学系により発生する第2の歪みとが重なった多重歪みを補正する多重歪み補正手段を設けているので、精度の良い計測ができると共に、多重歪みを補正することにより立体視した場合の疲労感を軽減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示す計測内視鏡装置の全体を示す斜視図。
【図2】図1の計測内視鏡装置の構成を示すブロック図。
【図3】内視鏡の挿入部の先端部を拡大して示す斜視図。
【図4】図3のA−A断面図。
【図5】幾何学的歪みの補正前の画像と補正後の画像のピクセル配置図。
【図6】補正前の画像ピクセルと補正後の画像ピクセル図。
【図7】多重歪み補正を含む座標変換の処理の内容を示すフローチャート図。
【図8】ステレオ計測処理の内容を示すフローチャート図。
【図9】図8のステレオ計測処理でコールされるサブルーチンの内容を示すフローチャート図。
【図10】図8の計測処理でコールされるサブルーチンの内容を示すフローチャート図。
【図11】計測内視鏡装置を用いて深さ計測状態のパイプを示す斜視図。
【図12】図11のパイプの計測部分の拡大図。
【図13】計測内視鏡装置を用いて長さ計測状態のパイプを示す斜視図。
【図14】計測内視鏡装置を用いてくぼみ計測状態のタービンブレードを示す斜視図。
【図15】図10の計測処理でコールされるサブルーチンを示し、図15(A)は、3次元座標解析処理のフローチャート図、図15(B)は、パターンマッチング処理のフローチャート図。
【図16】計測内視鏡装置における3次元座標解析処理の基本原理を説明するためのx,y,z軸をもつ3次元座標系上の右,左2画像位置関係を示す図。
【図17】計測内視鏡装置による左右の2画面の画像をLCD上に表示したステレオ計測画面を示す図。
【図18】本発明の第2の実施の形態における挿入部の先端部を示す斜視図。
【図19】図18のB−B断面図。
【図20】光学アダプタを生産測定治具のマスタ撮像ユニットに接続して光学データを採集する様子を示す斜視図。
【図21】ステレオ計測処理の内容を示すフローチャート図。
【図22】図21のステレオ計測処理でコールされるサブルーチンの内容を示すフローチャート図。
【図23】光学アダプタをマスタ撮像ユニットに接続して撮像された白色チャートの画像を示す図。
【図24】撮像された白色チャートの画像を表示した図。
【図25】計測内視鏡装置およびマスタに対する視野形状パターンを与える輝度波形であって、図25(A)は、画像の垂直方向のPV,PV’の輝度変化、図25(B)は、画像の水平方向のPH,PH’の輝度変化を示す図。
【図26】本発明の第3の実施の形態における挿入部の先端部の構造を示す断面図。
【図27】本発明の第4の実施の形態における座標変換の処理内容を示すフローチャート図。
【符号の説明】
1…計測内視鏡装置
2…内視鏡
3…コントロールユニット
4…リモコン
5…LCD
6…FMD
9…CCU
18…計測処理部
18a…CPU
20…挿入部
21…先端部
26R,26L…対物光学系
27…像伝送光学系
31…パソコン
33…メモリカード[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an endoscope apparatus that forms images of an object to be measured by a plurality of objective optical systems at different positions on an image sensor provided in an endoscope, and performs measurement using the images.
[0002]
[Prior art]
As a measurement endoscope apparatus, for example, there is a first conventional example disclosed in Japanese Patent Application Laid-Open No. Hei 10-248806.
[0003]
This conventional example is an example in which respective images of a plurality of objective optical systems provided at the distal end of an insertion section are directly formed on an image sensor, and optical distortion correction of images is performed for each optical system.
[0004]
When the size of the imaging element is reduced in order to reduce the outer diameter of the insertion portion, the interval between the objective optical systems is reduced, the measurement accuracy is reduced, and the obtained three-dimensional effect is reduced.
[0005]
JP-A-11-109257 discloses a second conventional example which solves the problem of the conventional example. In the second conventional example, in order to solve the above-described problem, an image transmission optical system that collectively transmits images of a plurality of objective optical systems is provided between the objective optical system and the imaging device. As a result, a small-sized image sensor can be adopted without reducing the distance between the objective optical systems.
[0006]
[Problems to be solved by the invention]
Since an image transmission optical system that transmits a plurality of images collectively is interposed, distortion due to the image transmission optical system itself is superimposed in addition to optical distortion due to each objective optical system.
[0007]
In the distortion correction based on the optical center on the image of each objective optical system, sufficient distortion correction cannot be performed, and there is a disadvantage that measurement accuracy is reduced and fatigue in stereoscopic viewing (stereo observation) is increased.
[0008]
(Object of the invention)
The present invention has been made in view of the above points, and an object of the present invention is to provide an endoscope apparatus capable of reducing the outer diameter of an insertion portion, having high measurement accuracy, and reducing fatigue when performing stereoscopic viewing. I do.
[0009]
[Means for Solving the Problems]
A plurality of objective optical systems for obtaining images from different viewpoints,
An image transmission optical system for transmitting images of the plurality of objective optical systems,
An imaging element that forms a plurality of images transmitted to the image transmission optical system,
A processing unit that receives a signal from the image sensor and generates a video signal;
In an endoscope device comprising:
In order to correct the optical distortion of the video signal, the first geometric distortion by the plurality of objective optical systems and the multiple distortion, which is a distortion obtained by overlapping the second geometric distortion by the image transmission optical system, are used. By providing a geometric multiple distortion correction means for correcting, the geometric multiple distortion correction taking into account both the geometric distortion due to the image transmission optical system and the geometric distortion due to the plurality of objective optical systems is performed, and inserted. The outer diameter of the part can be reduced, the measurement accuracy is high, and fatigue when performing stereoscopic vision can be reduced.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0011]
(First Embodiment)
FIGS. 1 to 17 relate to the first embodiment of the present invention, FIG. 1 is a perspective view showing the entire configuration of the measurement endoscope apparatus according to the first embodiment of the present invention, and FIG. 3 shows the appearance near the distal end of the insertion portion, FIG. 4 shows the structure taken along the line AA in FIG. 3, and FIG. 5 shows the image before correction of the geometric distortion and the correction. FIG. 6 shows an image pixel before correction and an image pixel after correction, FIG. 7 shows the contents of coordinate conversion processing including multiple distortion correction, and FIG. 8 shows stereo measurement. 9 shows the contents of a subroutine called in the stereo measurement processing of FIG. 8, FIG. 10 shows the contents of a subroutine called in the measurement processing of FIG. 8, and FIG. 11 shows the measurement endoscope apparatus. FIG. 12 is a perspective view of the pipe in a depth measurement state using FIG. FIG. 13 is an enlarged view of a measurement portion, FIG. 13 is a perspective view of a pipe in a length measurement state using a measurement endoscope device, and FIG. 14 is a perspective view of a turbine blade in a dent measurement state using the measurement endoscope device. FIG. 15 is a flowchart of a subroutine called in the measurement processing of FIG. 10. FIG. 15 (A) is a flowchart of three-dimensional coordinate analysis processing, and FIG. 15 (B) is a flowchart of pattern matching processing. FIG. 16 shows a right and left image positional relationship on a three-dimensional coordinate system having x, y, and z axes for explaining a basic principle of a three-dimensional coordinate analysis process in the measurement endoscope apparatus. 4 shows a stereo measurement screen in which two left and right images by the measurement endoscope apparatus are displayed on an LCD.
[0012]
As shown in FIG. 1, an endoscope apparatus 1 for measurement according to a first embodiment of the present invention includes an endoscope 2 having an elongated and flexible insertion portion 20, and an insertion portion of the endoscope 2. The control unit 3 is a control device having a storage unit for storing the control unit 20, a remote controller 4 for performing operations necessary for performing various operation controls of the entire device, an endoscope image and operation control contents (for example, processing A liquid crystal monitor (hereinafter, referred to as LCD) 5 which is a display device for displaying menus, etc., and a face which enables stereoscopic viewing as a normal endoscope image or a pseudo stereo image using the endoscope image. It is mainly composed of a mount display (hereinafter referred to as FMD) 6, an FMD adapter 6a for supplying image data to the FMD 6, and the like.
[0013]
The insertion portion 20 is configured by connecting a rigid distal end portion 21 in order from the distal end side, for example, a bending portion 22 that can be bent vertically and horizontally, and a flexible tube portion 23 having flexibility. As shown in FIG. 3, two illumination windows 24 and observation windows 25 are provided.
[0014]
As shown in FIG. 4, a pair of objective optical systems that enable stereoscopic viewing, that is, the right image objective lens 26R and the left image objective lens 26L are separated from each other so that the observation window 25 has parallax. It is attached. That is, images are obtained from different viewpoints. An optical image of an object to be inspected, such as an inspection of a pipe inner surface or a turbine blade, is inspected by a pair of objective lenses 26R and 26L through a common image transmission optical system 27 and a solid-state image sensor such as a CCD (simply referred to as an image sensor). 28.
[0015]
In the present embodiment, as described in the second conventional example, image transmission optics that collectively transmits images by a pair of objective optical systems between a pair of objective optical systems and the imaging device 28. By interposing the system 27, a small-sized image pickup device 28 is employed without reducing the distance between the pair of objective optical systems, so that highly accurate three-dimensional (stereo) measurement can be performed.
[0016]
As shown in FIG. 2, the control unit 3 includes an endoscope unit 8, a camera control unit (hereinafter referred to as CCU) 9 for performing processing for generating a video signal, and a control unit 10 for performing measurement control and the like. The base end of the insertion section 20 is connected to the endoscope unit 8.
[0017]
The endoscope unit 8 includes a light source device (not shown) for supplying illumination light necessary for observation, and a bending device (not shown) for bending the bending portion 22 constituting the insertion section 20. .
[0018]
The CCU 9 receives an image signal output from an image sensor 28 built in the distal end portion 21 of the insertion section 20. This image pickup signal is subjected to signal processing in the CCU 9, converted into a video signal such as an NTSC signal, and supplied to the control unit 10.
[0019]
The control unit 10 includes an audio signal processing circuit 11, a video signal processing circuit 12 to which the video signal is input, a ROM 13, a RAM 14, a PC card interface (hereinafter, referred to as a PC card I / F) 15, and a USB interface (hereinafter, a USB interface). , USB @ I / F) 16 and an RS-232C interface (hereinafter, referred to as "RS-232C @ I / F") 17 and the like, and various functions are executed based on a main program to perform operation control and measurement processing. And a CPU 18a that forms a measurement processing unit 18 that performs the measurement are connected to each other via a bus.
[0020]
The measurement processing unit 18 includes a CPU 18a that performs a measurement process, a ROM 18b that stores an operation program and the like of the CPU 18a, and a RAM 18c that is used as a work area of the CPU 18a or used as a memory for storing necessary data. And these are connected to the bus.
[0021]
Further, as described later, when performing measurement (for example, by reading optical data recorded on the memory card 33), the CPU 18a performs geometric multiplexing of the imaging optical system, that is, the objective lenses 26R and 26L and the image transmission optical system 27. Coordinate transformation including distortion correction is performed so that highly accurate measurement can be performed. The function of the multiple distortion correction processing 18d indicated by a two-dot chain line in the CPU 18a will be described later.
[0022]
The RS-232C @ I / F 17 is connected to the CCU 9, the endoscope unit 8, and a remote controller (hereinafter, abbreviated as a remote controller) 4 for controlling and operating the CCU 9, the endoscope unit 8, and the like. . Accordingly, communication necessary for controlling the operation of the CCU 9 and the endoscope unit 8 based on the operation of the remote controller 4 is performed.
[0023]
The USB I / F 16 is an interface for electrically connecting the control unit 3 to the personal computer 31. By connecting the control unit 3 to the personal computer 31 via the USB I / F 16, the personal computer 31 can control various instructions such as an instruction to display an endoscope image and image processing at the time of measurement. And control information and data necessary for various processes between the control unit 3 and the personal computer 31 can be input and output.
[0024]
A so-called memory card, which is a recording medium such as a PCMCIA memory card 32 or a compact flash (R) memory card 33, can be freely inserted into and removed from the PC card I / F 15.
[0025]
When the memory cards 32 and 33 are mounted on the PC card I / F 15, the control of the CPU 18 allows the control cards to fetch or control data such as control processing information and image information stored in the memory cards 32 and 33. Data such as processing information and image information can also be recorded on the memory cards 32 and 33.
[0026]
Further, in the present embodiment, a personal computer (abbreviated as a personal computer) 31 is connected to the measurement endoscope apparatus 1, and distortion correction is performed by the objective lenses 26 R and 26 L provided at the distal end of the endoscope 2 and the image transmission optical system 27. Is performed, the optical data is recorded in the memory card 33, and the measurement processing unit 18 reads the optical data when performing measurement such as three-dimensional measurement.
[0027]
Then, by referring to the optical data, the CPU 18a of the measurement processing unit 18 performs the coordinate conversion in which the distortion is corrected by the objective lenses 26R and 26L and the image transmission optical system 27, that is, the imaging optical system, and the image is displayed on the LCD 5. And so on.
[0028]
In the video signal processing circuit 12, an operation menu for generating a video signal from the CCU 9 under the control of the CPU 18a so as to display a synthesized image obtained by synthesizing the endoscopic image supplied from the CCU 9 and an operation menu by graphics. Based on the display signal, a synthesizing process with a display signal, a process necessary for displaying the image on the screen of the LCD 5, and the like are supplied to the LCD 5.
[0029]
In addition, the video signal processing circuit 12 can also perform processing for simply displaying an image such as an endoscope image or an operation menu alone. Therefore, an endoscope image, an operation menu image, a composite image of the endoscope image and the operation menu image, and the like are displayed on the screen of the LCD 5.
[0030]
When the image correction instruction operation is performed, the video signal output from the CCU 9 to the video signal processing circuit 12 is converted into a digital signal by an A / D converter (not shown) inside the video signal processing circuit 12. Then, it is taken into the CPU 18a constituting the measurement processing unit 18 and subjected to multiple distortion correction. Then, the D / A converter in the video signal processing circuit 12 returns to an analog video signal again and is output to the LCD 5. Then, the image with the distortion corrected is displayed.
[0031]
The audio signal processing circuit 11 includes an audio signal generated by collecting sound by the microphone 34 and recorded on a recording medium such as a memory card, an audio signal obtained by reproducing a recording medium such as a memory card, or the CPU 18a. The generated audio signal is supplied. The audio signal processing circuit 11 performs processing such as amplification necessary for reproducing the supplied audio signal and outputs the processed audio signal to the speaker 35. As a result, sound is output from the speaker 35.
[0032]
Further, the CPU 18a controls the various circuit sections and the like so as to execute processing corresponding to functions other than the above-described distortion correction processing by executing a program stored in the ROM 18b, and also controls the operation of the entire system. Do.
[0033]
As shown in FIG. 1, on one surface of the remote controller 4, a joystick 4a for instructing a bending operation of the bending section 22, a lever switch 4b for performing various menu operations displayed graphically and a pointer moving operation for performing measurement, A freeze switch 4c for instructing the LCD 5 to display a still image, a store switch 4d for recording a still image on the memory card 33 and the like, a measurement execution switch 4e used when executing measurement software, and a connector unit 4f to which the FMD6 adapter 6a is connected. Etc. are provided.
[0034]
FIG. 3 is an enlarged perspective view of the distal end portion 21 of the insertion section 20 of the endoscope 2, and FIG. 4 is a sectional view taken along line AA of FIG.
[0035]
As shown in FIG. 3, two illumination windows 24 and an observation window 25 that enables stereoscopic viewing are provided on the distal end surface of the distal end portion 21 of the endoscope 2.
[0036]
As shown in FIG. 4, the observation window 25 provided in the distal end portion main body 29 constituting the distal end portion 21 is closed by a cover glass 30, and a pair of objective optical systems, that is, a right An image objective optical system 26R and a left image objective optical system 26L are attached.
[0037]
The lens frame 36 extends rearward, and a front side (optical system) 27a of the common image transmission optical system 27 is attached. The image sensor 28 is fixed to the image sensor fixing frame 37 housed and fixed in the hole on the rear end side of the lens frame 36. A rear stage (optical system) 27b of the image transmission optical system 27 is mounted on the front side of the imaging surface of the imaging device 28 via a lens frame.
[0038]
Further, the outer periphery of the front end side main body 29 on the front end side is covered with a cylindrical cover member 38, and the cover member 38 is fixed to the front end main body 29 with screws. In addition, an O-ring for sealing is interposed between the cover member 38 and the distal end main body 29 to have a watertight structure.
[0039]
The images formed by the objective optical system 26R and the objective optical system 26L are formed on the image sensor 28 via the image transmission optical system 27 at different positions on the left and right. That is, a right imaging optical system, which is an optical system including the objective optical system 26R and the image transmission optical system 27, and a left imaging optical system, which is an optical system including the objective optical system 26L and the image transmission optical system 27, are configured.
[0040]
Next, the operation of the present embodiment will be described.
[0041]
In the endoscope 2 applied to the present measurement endoscope apparatus 1, as shown in the following (a1) to (d), optical data of an imaging optical system unique to each endoscope 2 is measured. The optical data is recorded on a recording medium, for example, a memory card 33. This specific optical data corresponds to the imaging optical system on a one-to-one basis, and is handled as one combination after shipping.
[0042]
The above specific optical data is
(A1) Geometric distortion correction table for two objective optical systems
(A2) Geometric distortion correction table of image transmission optical system
(B) The focal length of each of the left and right imaging optical systems
(C) Distance between principal points of left and right imaging optical systems
(D) Optical axis position coordinates on each image of the left and right imaging optical systems
It is.
[0043]
The personal computer 31 is connected to the measurement endoscope apparatus 1 after the above-mentioned specific optical data has been collected, and the following processes (1) to (5) can be performed to measure various dimensions. That is,
(1) The optical data (a1) to (d) is read from the memory card 33. (2) The endoscope 2 captures an image of an object to be measured, and captures the image.
[0044]
(3) The captured image is coordinate-transformed based on the optical data (a1) to (d).
[0045]
(4) Three-dimensional coordinates of an arbitrary point are obtained by matching imaging data based on the image after the coordinate conversion.
[0046]
(5) Various dimensions are measured based on the three-dimensional coordinates.
[0047]
When the measurement endoscope apparatus 1 captures optical data during production, a personal computer 31 is connected to the measurement endoscope apparatus 1 as shown in FIG. 2 and a chart not shown here (second embodiment) (See reference numeral 54 in FIG. 20).
[0048]
In the present measurement endoscope apparatus 1, the above-described processing can be performed to perform measurement with high accuracy on the object to be measured.
[0049]
Next, each optical data specific to the above-described imaging optical system will be specifically described.
[0050]
(A1), (a2) Regarding the geometric distortion correction table,
Generally, an image obtained by a lens system has optical distortion. When performing measurement, this distortion causes a large error. Therefore, this distortion can be removed by performing coordinate transformation. The coordinate conversion may be performed with the center of the optical axis as the center. For more accurate correction, the center of the geometric distortion of the optical system may be used.
[0051]
Also, the geometric distortion correction tables for the two images may be provided separately for the right image and the left image, or the two may be combined into one table. Hereinafter, the correction table in the case of one table will be described with reference to FIGS.
[0052]
5 and 6, points p1 to p4 on the imaging screen 40 indicate pixels before coordinate conversion. When coordinates of p1 to p4 are transformed by f (x, y), they are p1 'to p4'. The coordinates giving p1 'to p4' at this time are not necessarily integers but are obtained as real-valued coordinates. To display on the converted screen 41 on the liquid crystal monitor after the conversion, the coordinates (X, Y) of the converted pixel P (X, Y) must be converted into an integer value in pixel units.
[0053]
The correction for converting the coordinates into an integer value is performed by weight tables W1 to W4. That is, for each pixel of the conversion screen, the image data of four pixels whose coordinates correspond to the optical geometric distortion on the imaging screen is multiplied by the ratio of the weight tables W1 to W4, and the pixel of the conversion screen pixel is obtained. Data P (X, Y) is obtained.
[0054]
Therefore, an expression of coordinate conversion including the processing of the multiple distortion correction (specifically, the second distortion correction, the first distortion right correction, the first distortion left correction) is as follows.
[0055]
Second distortion correction:
f2x(U, v) ≡kx(A00+ A12uv2+ A14uv4+ A16uv6+ A30u3+ A32u3v2
+ A34u3v4+ A50u5+ A52u5v2+ A70u7) + Cx(1-1)
f2y(U, v) ≡ky((B00+ B21u2v + b41u4v + b61u6v + b03v3+ B23u2v3
+ B43u4v3+ B05v5+ B25u2v5+ B07u7) + Cy(1-2)
x2= F2x(Xcx, Y-cy) (1-3)
y2= F2y(Xcx, Y-cy) (1-4)
First distortion right correction:
fRx(U, v) ≡kRx(AR00+ AR12uv2+ AR14uv4+ AR16uv6+ AR30u3+ AR32u3v2
+ AR34u3v4+ AR50u5+ AR52u5v2+ AR70u7) + CRx(1-5)
fRy(U, v) ≡kRy(BR00+ BR21u2v + bR41u4v + bR61u6v + bR03v3+ BR23u2v3
+ BR43u4v3+ BR05v5+ BR25u2v5+ BR07u7) + CRy(1-6)
xR’= FRx(X2-CRx, Y2-CRy) (1-7)
yR’= FRy(X2-CRx, Y2-CRy) (1-8)
First distortion left correction:
fLx(U, v) ≡kLx(AL00+ AL12uv2+ AL14uv4+ AL16uv6+ AL30u3+ AL32u3v2
+ AL34u3v4+ AL50u5+ AL52u5v2+ AL70u7) + CLx(1-9)
fLy(U, v) ≡kLy(BL00+ BL21u2v + bL41u4v + bL61u6v + bL03v3+ BL23u2v3
+ BL43u4v3+ BL05v5+ BL25u2v5+ BL07u7) + CLy(1-10)
xL’= FLx(X2-CLx, Y2-CLy) (1-11)
yL’= FLy(X2-CLx, Y2-CLy) (1-12)
The signs in the above equation have the following meanings.
[0056]
x, y: coordinates before correction
xR’, YR’: Right screen coordinate after correction
xL’, YL’: Left screen coordinate after correction
cx, Cy: Second distortion center coordinates
cRx, CRy: 1st distortion right center coordinate
cLx, CLy: 1st distortion left center coordinate
kx, Ky, Aij, Bij: Second distortion correction coefficient
kRx, KRy, ARij, BRij: 1st distortion right correction coefficient
kLx, KLy, ALij, BLij: 1st distortion left correction coefficient
Note that kxCoefficient a excluding k such asij, Bij, ARij, BRij, ALij, BLij, Cx, Cy, CRx, CRy, CLx, CLyIs determined from the linearity of the grid image. Also, kx, KyAnd the like are coefficients for adjusting the magnification of the two images and are functions of the focal lengths fR and fL.
[0057]
Using the above equation, the x, y coordinates of p1 to p4 are substituted to obtain coordinates (x ', y') that give p1 '(x', y ') to p4' (x ', y'). The values of x 'and y' are not necessarily integers as described above, but are corrected by the weight tables W1 to W4 to obtain pixel data for the integer converted coordinates (X, Y).
[0058]
Therefore, the coordinates of the four points p1 'to p4' on the conversion screen for providing the converted pixel data P (X, Y) are defined as (x ', y'), and the four points p1 'to p4 on the conversion screen. The x coordinate of the coordinate (x, y) of the upper left point p1 among the coordinates (x, y) to (x + 1, y + 1) of the four points on the imaging screen (original image) corresponding to '′ is QX (X, Y) And the y coordinate is QY (X, Y), which is first recorded in the memory card 33 as a coordinate reference table of the geometric distortion correction table.
[0059]
5 and 6, the cases of the corrected right image coordinates xR 'and yR' and the left image coordinates xL 'and yL' are collectively indicated by x 'and y'.
[0060]
The converted pixel data P (X, Y) of the coordinates (X, Y) given by the converted pixel unit integer value is obtained from p1 'to p4' and W1 to W4. However, as shown in FIG. 6, assuming that dn indicates the distance from p1 'to p4' to P (X, Y),
S = d2 · d3 · d4 + d1 · d3 · d4 + d1 · d2 · d4
+ D1, d2, d3 (2)
further,
W1 = d2 · d3 · d4 / S
W2 = d1 · d3 · d4 / S
W3 = d1 · d2 · d4 / S
W4 = d1 · d2 · d3 / S (3)
And And the value of P (X, Y) is
P (X, Y) = W1 × p1 ′ + W2 × p2 ′ + W3 × p3 ′ + W4 × p4 ′ (4)
Required by
[0061]
W1, W2, W3, and W4 are weight tables for each pixel point (X, Y) on each conversion screen together with the coordinate reference tables QX (X, Y) and QY (X, Y). Recorded in.
[0062]
Next, regarding (b) to (d),
(B) Find the focal length fR of the right imaging optical system and the focal length fL of the left imaging optical system. (C) The distance L between the principal points of the right imaging optical system and the left imaging optical system is obtained and recorded.
[0063]
(D) The optical axis position coordinates XR and YR on the image of the right imaging optical system and the optical axis position coordinates XL and YL on the image of the left imaging optical system are obtained.
[0064]
The coordinate conversion process including the above-described processes of the second distortion correction, the first distortion right correction, and the first distortion left correction is performed as shown in FIG.
[0065]
When the coordinate conversion process starts, the CPU 18a fetches the second distortion correction data from the second distortion correction table as shown in step S1, and the CPU 18a executes the above equations (1-1) to (1--1) as shown in step S2. The second distortion correction process is performed according to 4).
[0066]
In the next step S3, the CPU 18a fetches the data of the first distortion correction from the first distortion correction table, and performs the processing of the first distortion correction as shown in step S4.
In this case, the first distortion correction processing is performed by the above equations (1-5) to (1-8) and (1-9) to (1-12), and the coordinate conversion ends.
[0067]
Thereafter, the coordinates (X, Y) of the integer value are calculated using the weight tables W1 to W4 as described above.
[0068]
Optical data such as a table including the distortion correction and focal lengths of the objective optical system and the image transmission optical system 27 are recorded on the memory card 33. When measurement is performed by the measurement endoscope apparatus 1 as described below, Read and used.
[0069]
The stereo measurement processing as the measurement operation by the measurement endoscope apparatus 1 according to the present embodiment configured as described above will be described with reference to the flowcharts of FIGS. 8, 9, 10, and 15, and FIGS. explain.
[0070]
When the stereo measurement process starts, the corrected image information data set in the first step S11 of FIG. 8 is read as original data, and the process proceeds to step S12.
[0071]
In step S12, image data is fetched. That is, an object to be measured is imaged and taken into a memory as original image data. Then, in step S13, an image correction process of a subroutine described later (see FIG. 9) is executed to perform image correction of the original image. That is, the original image data captured in step S12 is subjected to coordinate transformation based on the original table, and measurement image data for performing measurement is obtained.
[0072]
Subsequently, in step S14, based on the measurement image data, a subroutine measurement process (see FIG. 10), which will be described later, is executed, and three-dimensional coordinates are calculated and the selected measurement is performed. finish.
[0073]
The image correction processing of the subroutine called in step S13 (see FIG. 8) will be described with reference to the flowchart of FIG.
[0074]
The pixel data P (X, Y) on the measurement image can be obtained by the processing of this subroutine. First, in step S21, original data, which is a correction table created at a factory, is fetched. In step S22, the coordinates of the corrected image, that is, the coordinates of the measured image are set as X and Y.
[0075]
In step S23, the coordinates of the original image necessary to obtain the corrected coordinates X and Y are set as reference coordinates, and the corrected coordinates X and Y are calculated using QX (X, Y) and QY (X, Y) created in the flowchart of FIG. Get. Then, in step S24, the weight table is fetched, and in step S25, pixel data P (X, Y) on the coordinates after correction is obtained by the following equation.
[0076]
That is,
Figure 2004049638
Required by
[0077]
Subsequently, in step S26, a corrected image range is set, and this routine ends. Note that the image correction processing of this subroutine is performed on the left and right images, and the original image is converted into a measurement image.
[0078]
Next, the measurement processing of the subroutine called in step S14 of FIG. 8 will be described with reference to the flowchart of FIG.
[0079]
First, in step S171, three measurement methods are selected on a menu displayed on the LCD 5. One of them is depth measurement. When the distance between a point and a plane is measured, for example, as shown in the perspective view of FIG. (See Reference).
[0080]
When this measurement method is selected, the process jumps to step S172. The other one is a length measurement. When measuring a distance between two points, for example, as shown in a perspective view of FIG. 13, three-dimensional coordinates of two points of a pipe 42 which is a three-dimensional object to be measured are used. This is applied when obtaining the distance d between two points.
[0081]
When this measurement method is selected, the process jumps to step S190. Another one is dent measurement, and when measuring the distance between a point and a straight line, for example, as shown in the perspective view of FIG. It is applied when measuring etc. When this measurement method is selected, the process jumps to step S200.
[0082]
When jumping to step S172, in steps S173 to S175, three reference points PT for setting a reference plane are set. For example, in the case of the pipe 51 of the measured object shown in FIG. 11, measurement reference points PT1, PT2, PT3 are set. Then, the three-dimensional coordinates of the above three points are obtained by a subroutine three-dimensional coordinate analysis process described later (see FIG. 15A).
[0083]
In step S176, the point PT instruction value is incremented, and in step S177, the designated value is set as a reference plane of the depth of the plane formed by the three points. In the case of FIG. 11, a plane M1 including the points PT1, PT2, and PT3 is set. Further, a measurement point, for example, PT4 is set in step S178, and a subroutine three-dimensional coordinate analysis process (see FIG. 15A) is called and executed in S179 to obtain the coordinates of the measurement point. In the case of FIG. 12, the coordinates of the point PT4 are obtained.
[0084]
In step S180, the distance from the reference plane to the measurement point, in the case of FIG. 12, the distance h that gives the corrosion depth from the measurement point PT4 to the reference plane M1 is calculated, and this routine ends.
[0085]
Next, when jumping to step S190, a first measurement point is set in step S191, and a subroutine three-dimensional coordinate analysis process is executed in step S192 to obtain the coordinates of the first measurement point. Further, a second measurement point is set in step S193, and a subroutine three-dimensional coordinate analysis process is executed in step S194 to obtain the coordinates of the second measurement point. Thereafter, in step S195, the distance d between the two measurement points is calculated from the coordinates of the first and second measurement points, and the present subroutine ends.
[0086]
In the above processing, when the object to be measured is the pipe 42 shown in FIG. 13 and the first and second measurement points are PT5 and PT6, the distance d between the two measurement points is obtained by the above measurement. Can be
[0087]
Further, when jumping to step S200, a first reference point is set at one end of the depression in step S201, and a subroutine three-dimensional coordinate analysis process is executed in step S202 to obtain the coordinates of the first reference point. Further, a second reference point is set at the other end of the depression in step S203, and a subroutine three-dimensional coordinate analysis process is executed in step S204 to obtain the coordinates of the second reference point. In step S205, a reference straight line connecting the two points is set from the coordinates of the first and second reference points.
[0088]
In step S206, a measurement point of the depression is set. In step S207, a subroutine three-dimensional coordinate analysis process is executed to determine the coordinates of the measurement point. In step S208, the length h of the perpendicular line between the straight line connecting the reference points and the measurement point is calculated as the depression amount, and the routine ends.
[0089]
When the object to be measured is the turbine blade 43 shown in FIG. 14 in the processing of the above subroutine, the distance h between the reference straight line connecting the first and second reference points PT7 and PT8 and the measurement point PT9 of the depression is obtained. Will be.
[0090]
Next, the three-dimensional coordinate analysis processing of the subroutine called in steps S175, S192, S202 and other steps will be described with reference to the flowchart of FIG.
[0091]
In step S211, a pattern matching process of a subroutine is executed to detect a matching point that is a corresponding point of the two left and right images (stereo images). In step S212, the amount of displacement between the left and right images is obtained from the coordinates of the corresponding point. In step S213, the three-dimensional coordinates of the target point are calculated, and this routine ends. Here, the basic principle of the three-dimensional coordinate analysis processing in the above subroutine will be described with reference to FIG.
[0092]
FIG. 16 is a diagram showing a right-left two-image positional relationship on a three-dimensional coordinate system having x, y, z axes, in which a point P of a subject is a right image plane 28R and a left image plane 28L of the image sensor 28. The upper image is shown. In FIG. 16, points OR and OL are the principal points of the optical system, distance f is the focal length, points QR and QL are the imaging positions of point P, and distance L is the distance between point OR and point OL. And
[0093]
In FIG. 16, the following equation is established from the straight line QR-OR. That is,
x / xR'= {Y- (L / 2)} / {yR'-(L / 2)} = z / (-f) (6)
Further, the following equation is established from the straight line QL-OL. That is,
x / xL′ = {Y + (L / 2)} / {yL'+ (L / 2)} = z / (-f) (7)
By solving this equation for x, y, z, the three-dimensional coordinates of the point P can be obtained.
[0094]
Note that, actually, due to the effect of the image transmission optical system 27, the light beams of the two left and right images are bent and the distance between the right imaging surface 28R and the left imaging surface 28L becomes smaller, but here, in order to simplify the figure, The illustration does not show the effect of the image transmission optical system 27.
[0095]
Next, the pattern matching processing of a subroutine called in step S211 of the three-dimensional coordinate analysis processing of FIG. 15A will be described with reference to the flowchart of FIG.
[0096]
In this routine, pattern matching for detecting a corresponding point between two images is performed. FIG. 17 shows a stereo measurement screen 64 in which images on the left and right two screens 65 and 66 are displayed on the LCD 5, and shows that the image point PP1 on the left screen 65 corresponds to the image point PP2 on the right screen 66. ing.
[0097]
First, in steps S221 and S222, a pattern area for setting the size of a pattern to be subjected to pattern matching is narrowed down. In the example of the present embodiment, a pattern area corresponding to the value k is set. That is,
When k = 1, the pattern area is 35 × 35 (pixel),
When k = 2, the pattern area is 23 × 23 (pixels),
When k = 3, the pattern area is 11 × 11 (pixels),
The value k is switched from small to large, and the area is narrowed from large to small, so that the accuracy of corresponding point detection is increased.
[0098]
In step S223, a search range is set. That is, the area of the right image to search for the pattern is determined. The search range is set in the case where the epipolar line is set within ± 5 pixels in consideration of an error, in the case where the epipolar line is set within ± 7 pixels horizontally on the monitor screen, or in the case where the outline is manually designated on the screen. In some cases, it is within ± 10 pixels around the matching point. Note that the above ± 10 pixels is an optimal value in consideration of a manual error.
[0099]
In steps S224 to S226, pattern matching in the set search range is performed. In this pattern matching, corresponding points are detected by normalized cross-correlation, and coordinates (X, Y) having the largest normalized cross-correlation coefficient are set as the corresponding points.
[0100]
In step S227, the value k is incremented, patterns are narrowed down in accordance with the value k, and corresponding points are detected.
[0101]
In step S228, a matching point is set. At this time, the value of the normalized cross-correlation may be displayed on a monitor screen, and this may be used as a measure of the reliability of the matching. If the value of the normalized cross-correlation (−1 to 1) is smaller than a predetermined value, the process may be switched to a manual matching process.
[0102]
The following equation is generally used as the normalized cross-correlation function M (u, v) used for the pattern matching. That is, t (x, y) is used as a template, g (x, y) is used as image data, t 'is used as the average luminance of the template, and g' is used as the average luminance of the image.
M (u, v) = {ΣΣs(G (x + u, y + v) -g ') (t (x, y) -t')}
/ {ΣΣs(G (x + u, y + v) -g ')2× ΣΣs(T (x, y) -t ')21/2(8)
Is applied. Here ΣΣsRepresents the sum of pixels.
[0103]
As an example of measurement according to the present embodiment, for example, measurement is performed on a corrected image. In this case, when the measurement execution switch 4 e is operated by the remote controller 4, the corrected left and right images are displayed on the LCD 5.
[0104]
Further, by operating the lever switch 4b of the remote controller 4 to input an instruction of a point to be measured on each of the left and right images, stereo measurement can be performed.
[0105]
It is also possible to create a corrected image and perform stereoscopic viewing. In this case, when the measurement execution switch 4e of the remote controller 4 is operated, the corrected left and right images are displayed on the LCD 5, and the corrected left and right image signal is input to the FMD adapter 6a. After a process of separating the video signal into left and right video signals, the video signal is input to the FMD 6.
[0106]
By wearing the FMD 6 and stereoscopically viewing, the user can observe the left and right images of good image quality in which distortion has been corrected on the left and right, respectively, which places a greater burden on the user than observing the uncorrected left and right images. Without this, stereoscopic vision can be achieved, and user fatigue can be greatly reduced.
[0107]
Although the processing of the image data in the above-described embodiment has been described as a case where a monochrome image is used as an image for the sake of simplicity, the processing may be extended to a color image using R, G, and B signals. Of course, it is equally effective.
[0108]
As described above, according to the present embodiment, the imaging optics including the pair of objective optical systems and the image transmission optical system 27 for transmitting an optical image by the objective optical system to the distal end portion 21 of the endoscope 2. Since an image is formed on the image sensor 28 by providing a system, the outer diameter of the insertion section 20 can be reduced, and the first distortion generated by the pair of objective optical systems and the image distortion generated by the image transmission optical system 27. Since the multi-distortion correcting means for correcting the multi-distortion overlapping with the second distortion is provided, accurate measurement can be performed, and the fatigue when stereoscopically viewed can be reduced by correcting the multi-distortion. .
[0109]
In the above description, when the optical data of (a1) to (d) is created, the personal computer 31 is connected to the measurement endoscope apparatus 1 and the operation is performed by the personal computer 31. As a modified example of the embodiment, the measurement endoscope apparatus 1 itself may be used without connecting the personal computer 31.
[0110]
In this case, for example, the CPU 18 a in the measurement processing unit 18 shown in FIG. 2 performs the processes (1-1) to (1-12) in addition to the process of performing the stereo measurement based on the optical data recorded on the memory card 33. ), A process including the function of the multiple distortion correction process 18d and the like. The function of the multiple distortion correction processing 18d by the CPU 18a is shown by a two-dot chain line in FIG.
[0111]
(Second embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. The measurement endoscope apparatus of the present embodiment is obtained by changing the configuration of the distal end portion 21 of the endoscope 2 in the measurement endoscope apparatus 1 of FIG.
[0112]
That is, as shown in FIG. 18, the distal end portion 21 of the endoscope 2 includes a distal end main body 39 and an optical adapter 46 detachably attached to the distal end main body 39.
[0113]
The optical adapter 46 is provided with two illumination windows 24 and an observation window 25. FIG. 19 shows the configuration of the distal end portion 21 along the line BB in FIG.
[0114]
As shown in FIG. 19, an image pickup device 28 is attached to the distal end main body 39, and the front side of the image pickup device 28 is protected by a cover glass 47. The cover glass 47 faces a cover glass 48 on the optical adapter 46 side. I do.
[0115]
A fixing ring 49 is provided on the outer peripheral surface on the rear end side of the optical adapter 46, and a male screw portion provided on the outer peripheral surface of the distal end main body 39 is provided on the inner peripheral surface of the rear end endoscope of the fixing ring 49. The female screw portion provided is screwed together so as to be detachably attached.
[0116]
A positioning recess is provided on the outer peripheral surface of the distal end surface of the distal end body 39, and a positioning pin is provided on the optical adapter 39 side. When the optical adapter 39 is attached, positioning in the circumferential direction is performed by the concave portion and the pin. Is done. The objective lenses 26R and 26L and the image transmission optical system 27 are attached to the optical adapter 46 side.
[0117]
Other configurations are basically the same as those of the first embodiment.
[0118]
Next, the operation of the present embodiment will be described.
[0119]
The optical adapter 46 applied to the present measurement endoscope apparatus is attached to a master imaging unit 52 with a built-in imaging element constituting a production measurement jig 51 shown in FIG. Optical data unique to each optical adapter 46 shown in the following (a1) to (d) is measured. The optical data is recorded on a recording medium, for example, a memory card 33. The specific optical data recorded on the memory card 33 corresponds one-to-one with the characteristics of the optical adapter 46, and is handled as one combination after shipment.
[0120]
The above specific optical data is
(A1) Geometric distortion correction table for two objective optical systems
(A2) Geometric distortion correction table of image transmission optical system
(B) The focal length of each of the left and right imaging optical systems
(C) Distance between principal points of left and right imaging optical systems
(D) Optical axis position coordinates on each image of the left and right imaging optical systems
(E) Position information when images of the left and right imaging optical systems are formed on the master image sensor.
[0121]
This embodiment is different from the first embodiment in that an item (e) is added, and the other points are the same as the first embodiment.
[0122]
The optical adapter 46 after taking the above-mentioned specific optical data is attached to the endoscope 2, and the measurement endoscope apparatus performs the following processes (1) to (8) to measure various dimensions. be able to.
[0123]
That is,
(1) The optical data (a1) to (e) is read from the memory card 33. (2) Image a white subject using the present measurement endoscope apparatus.
[0124]
(3) Using the data of (e) and the imaging data of (2), an image position shift due to the combination of the optical adapter 46 and the endoscope 2 is obtained.
[0125]
(4) Using the data of (3) and the data of (1), a conversion table for performing geometric distortion correction on the endoscope 2 is created.
[0126]
(5) The object to be measured, which is a subject, is imaged by the endoscope 2 and an image is captured.
[0127]
(6) The captured image is subjected to coordinate conversion based on the table created in (3).
[0128]
(7) Three-dimensional coordinates of an arbitrary point are obtained by matching the imaging data in the above (2) based on the coordinate-converted image.
[0129]
(8) Various dimensions are measured based on the three-dimensional coordinates.
[0130]
FIG. 20 is a perspective view showing a measurement state by the production measuring jig 51 for measuring optical data specific to the optical adapter 46 described above.
[0131]
The production measuring jig 51 has an optical adapter 46 attachable thereto, and is connected to a master imaging unit 52 having the same structure as the distal end main body 39 of the endoscope 2 and a signal line from the master imaging unit 52. A CCU 53 to be used, a personal computer 31 having a memory card slot 54 in which the memory card 33 is detachable and performing image processing on image data from the CCU 53, and a chart 54 for analyzing optical characteristics of the optical adapter 46. It is configured.
[0132]
When optical data is captured by the production measurement jig 51, first, as shown in FIG. 20, an optical adapter 46 is attached to the master imaging unit 52, and an image of the chart 54 is captured via the optical adapter 46, and the image is obtained. The personal computer 31 performs image processing based on the data, obtains the optical data (a1) to (e), and records the optical data on the memory card 33.
[0133]
Next, each optical data specific to the optical adapter 46 will be specifically described.
[0134]
(A1) (a2) Regarding the geometric distortion correction table,
Generally, an image obtained by a lens system has optical distortion. When performing measurement, this distortion causes a large error. Therefore, this distortion can be removed by performing coordinate transformation. The coordinate conversion may be performed with the center of the optical axis as the center. For more accurate correction, the center of the geometric distortion of the optical system may be used. Also, the geometric distortion correction tables for the two images may be provided separately for the right image and the left image, or the two may be combined into one table. This correction can be performed in the same manner as in the first embodiment.
[0135]
In addition, (b), (c), and (d) are the same as in the first embodiment, and a description thereof will be omitted.
[0136]
(E) Regarding position information when two images are formed on the image sensor of the master, the luminance data of the reference line V (vertical line)
PV (100, Yn) where Yn = 1, 2, 3,... 480
And, as luminance data of the reference line H (horizontal line),
PH (Xn, 100) where Xn = 1, 2, 3,... 640
Measure and record.
[0137]
Next, stereo measurement processing as a measurement operation will be described with reference to the flowcharts of FIGS. 21 and 22 and FIGS.
[0138]
The stereo measurement process is a process of measuring three-dimensional coordinates based on right and left image data having parallax captured by the two objective lenses 26R and 26L of the optical adapter 46.
[0139]
First, in step S30 of FIG. 21, it is checked whether or not to perform initialization. That is, in the initial state after starting the measurement software, and when the optical adapter 46 is replaced or the endoscope is replaced, the process proceeds to the routine of steps S31 to S35, and initialization is performed. Otherwise, the process proceeds to step S11, where the already set corrected image information data is read as original data, and the process proceeds to step S12.
[0140]
In step S31, the correction image data is read. That is, the specific optical data (a1) to (e) corresponding to the optical adapter 46 on a one-to-one basis is read from the memory card 33 and is used as master data.
[0141]
Subsequently, in step S32, an image of a white subject is captured. That is, a white subject is captured by the measurement endoscope apparatus to which the optical adapter 46 is attached, and the CPU 18a of the measurement processing unit 18 loads the image into the RAM 18c via the video signal processing circuit 12.
[0142]
Subsequently, in step S33, a subroutine image position setting process (see FIG. 22A) described later is executed. The process of this subroutine is a process of calculating a shift amount of image coordinates caused by a difference in characteristics between the endoscope 2 and the master imaging unit 52 that has acquired optical data during the production of the optical adapter 46.
[0143]
In step S34, a table is set. In this process, of the optical data fetched in step S31, the correction table obtained by correcting the geometric distortion correction tables of the two types of images (a1) and (a2) in accordance with the displacement of the coordinates obtained in step S33. Is created. That is, original data composed of the following two items is created.
[0144]
As a weight table
W1 '(X, Y) = W1 (X + [Delta] X, Y + [Delta] Y)
W2 '(X, Y) = W2 (X + [Delta] X, Y + [Delta] Y)
W3 '(X, Y) = W3 (X + [Delta] X, Y + [Delta] Y)
W4 '(X, Y) = W4 (X + [Delta] X, Y + [Delta] Y) (9)
Also, as a coordinate reference table,
QX '(X, Y) = QX (X, Y) + [Delta] X
QY ′ (X, Y) = QY (X, Y) + ΔY (10)
However, “with” indicates a state after correction, and “without” indicates a state before correction. Further, ΔX and ΔY indicate the amount of deviation between the image measured by the master and the image when the optical adapter 46 is attached to the apparatus.
[0145]
In step S35, the corrected image information data is stored. That is, the original data obtained in step S34 is stored in the memory card 33.
[0146]
Therefore, in step S12, image data is fetched. That is, an object to be measured is imaged and taken into a memory as original image data. Then, in step S13, an image correction process of a subroutine described later (see FIG. 22B) is executed to perform image correction of the original image. That is, the original image data captured in step S12 is subjected to coordinate conversion based on the original table created in step S34, and measurement image data for performing measurement is obtained.
[0147]
Subsequently, in step S14, based on the measured image data, the above-described subroutine measurement processing (see FIG. 10) is executed, three-dimensional coordinates are calculated, and the selected measurement is performed. finish.
[0148]
Here, the image position setting processing of the subroutine called in step S33 will be described with reference to the flowchart of FIG.
[0149]
First, in step S152, a visual field shape pattern is called. That is, as the luminance data indicating the position information of the image formation of the master (e) with respect to the image pickup device in the specific optical data captured in step S31,
PV (100, Yn), where Yn = 1, 2, 3,... 480
PH (Xn, 100), where Xn = 1, 2, 3,... 640
Call. FIG. 23 is a diagram showing an image obtained by capturing the white chart 54 with the optical adapter 46 attached to the master image capturing unit 52, and the vertical line PV and the horizontal line PH are lines that provide the above-described luminance data, respectively.
[0150]
In step S153, pattern matching, visual field position setting, and optical axis position setting are performed. FIG. 24 is a diagram illustrating an image in which the image of the white chart 54 is captured by the measurement endoscope apparatus to which the optical adapter 46 is attached. As luminance data indicating the position information of the imaging,
PV '(100, Yn), where Yn = 1, 2, 3,... 480
PH '(Xn, 100), where Xn = 1, 2, 3,... 640
Given by
[0151]
FIG. 25 is a diagram showing a change in luminance with the vertical axis representing the luminance that gives the visual field shape pattern to the master and the measurement endoscope apparatus 1 and the horizontal axis representing the address of the image. (A) shows a change in luminance of the line PV and the line PV ′, and FIG. 25 (B) shows a change in luminance of the line PH and the line PH ′.
[0152]
In the pattern matching processing in step S153, the positional deviations ΔX and ΔY of the image with respect to the master are obtained using normalized cross-correlation based on the luminance changes in FIGS. 25A and 25B. Further, the horizontal and vertical coordinates xR ', yR' and xL ', yL' of the measurement system optical axis position with respect to the right and left optical systems are obtained by the following equations. That is,
xR '= XR + [Delta] X
yR '= YR + [Delta] Y
xL '= XL + [Delta] X
yL ′ = YL + ΔY (11)
It becomes.
[0153]
The image correction processing of the subroutine called in step S13 (see FIG. 21) will be described with reference to the flowchart in FIG. The pixel data P (X, Y) on the measurement image can be obtained by the processing of this subroutine. First, in step S162, the original data which is the correction table created in step S34 (see FIG. 21) is fetched. In step S163, the coordinates of the corrected image, that is, the coordinates of the measured image are set as X and Y.
[0154]
In step S164, the coordinates of the original image necessary to obtain the corrected coordinates X and Y are used as reference coordinates, and the corrected coordinates X and Y are obtained by using QX '(X, Y) and QY' (X, Y) created in step S34. Get Y. Then, in step S165, the weight table created in step S34 is fetched, and in step S166, the pixel data P (X, Y) on the coordinates after correction is obtained by the following equation. That is,
Figure 2004049638
Required by
[0155]
Subsequently, in step S167, a corrected image range is set, and this routine ends. Note that the image correction processing of this subroutine is performed on the left and right images, and the original image is converted into a measurement image.
[0156]
The measurement processing of the subroutine called in step S14 of FIG. 21 has been described with reference to FIG.
[0157]
Further, as an example of measurement in the present embodiment, correction may be performed internally only on luminance information and an image may not be created, and a measurement point may be specified on an image before correction.
[0158]
In this case, since the correction image creation processing can be simplified, the time from image capture to measurement start can be reduced.
[0159]
As an example of use of this embodiment, it can be performed as described in the first embodiment, and correction is performed internally only on luminance information as described below. Instead of creating an image, a measurement point may be specified on the image before correction.
[0160]
In this use example, since the process of creating the corrected image can be simplified, the time from image capture to the start of measurement can be reduced.
[0161]
In the present embodiment, the case where the stereo optical adapter 46 is mounted has been described, but another optical adapter can be mounted and used.
[0162]
As described above, according to the measurement endoscope apparatus of the present embodiment, in order to improve measurement accuracy, specific optical data is stored in a memory card of a recording medium so as to correspond to the optical adapter 46 on a one-to-one basis. 33, the accuracy of measurement can be improved by correcting the displacement of the coordinates between the production measurement jig 51 (master imaging unit 52) and the endoscope image.
[0163]
In addition, since specific optical data was collected using the production measurement jig 51 (master imaging device 52) in the production of the measurement optical adapter 46, the productivity was improved and the measurement endoscope device was provided at a low price. become able to.
[0164]
In addition, since the optical adapter 46 for measurement is detachably provided at the distal end portion 21, it can be replaced with an optical adapter other than for other measurement, thereby improving the versatility of the endoscope and reducing the user's financial burden. Can be suppressed.
[0165]
Further, in the example of the present embodiment, the weight tables W1 to W4 and the coordinate reference tables QX and QY used for the image coordinate conversion are created by the computer 31 of the production measuring jig 51 and recorded on the memory card 33 of the recording medium. Therefore, there is no need to create a table in the measurement processing unit inside the endoscope apparatus. Therefore, the measurement process can be performed in a short time.
[0166]
Further, by displaying the value of the normalized cross-correlation on the screen of the LCD 5, the operator can know the reliability of the matching or the reliability of the measurement. When the value of the normalized cross-correlation is small, it is possible to switch to manual matching, and highly accurate measurement can be performed.
[0167]
(Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIG. In the second embodiment, the objective optical system and the image transmission optical system 27 are all provided on the optical adapter 46 side, and the second distortion is corrected collectively. A part of the transmission optical system 27 is on the optical adapter 46 side, and the second distortion is corrected collectively.
[0168]
FIG. 26 shows the configuration of the distal end portion 21 of the endoscope 2 according to the present embodiment. The distal end portion 21 includes a distal end main body 59 and an optical adapter 60 that is detachably attached to the distal end main body 59. The distal end main body 59 is provided with an image sensor 28 and a rear optical system 27b of the image transmission optical system 27. It is.
[0169]
The optical adapter 60 includes two objective lenses 26R and 26L and an optical system 27a in front of the image transmission optical system 27. The optical adapter 60 is detachably attached to the distal end main body 59 by a fixing ring 49. In this case, the diameter of the luminous flux at the portion divided into the distal end main body 59 and the optical adapter 60, that is, at the surfaces of the cover glasses 61 and 62 becomes large, and the real image is not formed. I keep it small.
[0170]
In this embodiment, the equations (1-1) to (1-4) are used to correct the geometric distortion of the image transmission optical system 27 including the first and second stages, and the equations (1-5) to (1-12) are corrected. Corrects the geometric distortion of the objective optical system.
[0171]
The other configuration and operation are the same as those of the second embodiment. The effects of the present embodiment are almost the same as those of the second embodiment.
[0172]
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described with reference to FIG. The endoscope device according to the present embodiment is the same as that of the third embodiment.
[0173]
In other words, the distal end portion 21 of the endoscope 2 has the configuration shown in FIG. 26, the upstream optical system 27a of the image transmission optical system 27 is on the optical adapter 60 side, and the rear optical system 27b is on the distal end body 59 side. It is provided.
[0174]
However, in the present embodiment, the second distortion is separately corrected for the former stage and the latter stage.
[0175]
The measurement processing unit 18 has a function of geometric multiple distortion correction processing, and the function of geometric multiple distortion correction processing is a function of a first distortion correction processing and a function of a second distortion pre-stage correction processing. , And the function of the second distortion post-stage correction process.
[0176]
Equations (13-1) to (13-4) shown below correct the geometric distortion at the later stage of the transmission optical system, and equations (13-5) to (13-8) show the geometric distortion at the earlier stage of the image transmission optical system. The geometrical distortion of the objective optical system is corrected by the equations (13-9) to (13-16).
[0177]
x, y: coordinates before correction
xR’, YR’: Right screen coordinate after correction
xL’, YL’: Left screen coordinate after correction
cBx, CBy: Center coordinate of the second stage after the second distortion
cFx, CFy: Center coordinate of the second stage before the second distortion
cRx, CRy: 1st distortion right center coordinate
cLx, CLy: 1st distortion left center coordinate
kx, Ky, Aij, Bij: Second distortion correction coefficient
kRx, KRy, ARij, BRij: 1st distortion right correction coefficient
kLx, KLy, ALij, BLij: 1st distortion left correction coefficient
Second distortion second-stage correction:
f2Bx(X, y) ≡kBx(AB00+ AB12xy2+ AB14xy4+ AB16xy6+ AB30x3+ AB32x3y2+ AB34x3y4
+ AB50x5+ AB52x5y2+ AB70x7) + CBx(13-1)
f2 By(X, y) ≡kBy(BB00+ BB21x2y + bB41x4y + bB61x6y + bB03y3+ BB23x2y3+ BB43x4y3
+ BB05y5+ BB25x2y5+ BB07y7) + CBy(13-2)
x21= F2x(XcBx, Y-cBy) (13-3)
y21= F2y(XcBx, Y-cBy) (13-4)
Second distortion pre-stage correction:
f2Fx(X, y) ≡kFx(AF00+ AF12xy2+ AF14xy4+ AF16xy6+ AF30x3+ AF32x3y2+ AF34x3y4
+ AF50x5+ AF52x5y2+ AF70x7) + CFx(13-5)
f2Fy(X, y) ≡kFy(BF00+ BF21x2y + bF41x4y + bF61x6y + bF03y3+ BF23x2y3+ BF43x4y3
+ BF05y5+ BF25x2y5+ BF07y7) + CFy(13-6)
x2= F2x(X21-CFx, Y21-CFy) (13-7)
y2= F2y(X21-CFx, Y21-CFy) (13-8)
First distortion right correction:
fRx(X, y) ≡kRx(AR00+ AR12xy2+ AR14xy4+ AR16xy6+ AR30x3+ AR32x3y2+ AR34x3y4
+ AR50x5+ AR52x5y2+ AR70x7) + CRx(13-9)
fRy(X, y) ≡kRy(BR00+ BR21x2y + bR41x4y + bR61x6y + bR03y3+ BR23x2y3+ BR43x4y3
+ BR05y5+ BR25x2y5+ BR07y7) + CRy(13-10)
XR= FRx(X2-CRx, Y2-CRy) (13-11)
YR= FRy(X2-CRx, Y2-CRy) (13-12)
First distortion left correction:
fLx(X, y) ≡kLx(AL00+ AL12xy2+ AL14xy4+ AL16xy6+ AL30x3+ AL32x3y2+ AL34x3y4
+ AL50x5+ AL52x5y2+ AL70x7) + CLx(13-13)
fLy(X, y) ≡kLy(BL00+ BL21x2y + bL41x4y + bL61x6y + bL03y3+ BL23x2y3+ BL43x4y3
+ BL05y5+ BL25x2y5+ BL07y7) + CLy(13-14)
xL’= FLx(X2-CLx, Y2-CLy) (13-15)
yL’= FLy(X2-CLx, Y2-CLy) (13-16)
According to the endoscope 2 on which the optical adapter 59 is actually mounted, it is possible to cope with a case where the amount of displacement between the center of the second stage of the second stage and the center of the second stage of the second stage is changed, so that more accurate correction can be performed. I have to.
[0178]
The optical data in this case is
(A1) Geometric distortion correction table for two objective optical systems
(A2) Geometric distortion correction table before image transmission optical system
(A3) Geometric distortion correction table after image transmission optical system
(B) The focal length of each of the left and right imaging optical systems
(C) Distance between principal points of left and right imaging optical systems
(D) Optical axis position coordinates on each image of the left and right imaging optical systems
(E) Position information when images of the left and right imaging optical systems are formed on the master image sensor.
[0179]
Referring to the optical data, geometric multiple distortion correction is performed as shown in FIG.
[0180]
That is, when the coordinate conversion is started as shown in FIG. 27, the second post-distortion correction data is read from the second post-distortion correction table in the first step S41, and the rear optical system of the image transmission optical system 27 is read in the next step S42. The second-stage correction of the second distortion of 27b is performed. In the next step S43, the second distortion pre-stage correction data is read from the second distortion pre-stage correction table, and in the next step S44, the second distortion post-stage correction of the pre-stage optical system 27a of the image transmission optical system 27 is performed.
[0181]
In the next step S45, the first distortion correction data is read from the first distortion correction table, and in the next step S46, the first distortion correction of the objective optical system is performed.
[0182]
By performing the correction in this manner, a more accurate correction can be performed according to the endoscope 2 on which the optical adapter 59 is actually mounted. The other effects are the same as those of the third embodiment.
[0183]
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. This embodiment is different from the first to third embodiments in that the following equations (14-1) to (14-5) are used instead of the second distortion correction equations of equations (1-1) to (1-4). ). The effect in this case is almost the same as in the first to third embodiments.
[0184]
h2(X, y) ≡K2Sin-1{(X2+ Y2)1/2/ (D2K2)} (14-1)
h2(X, y) ≡K2Tan-1{(X2+ Y2)1/2/ (D2K2)} (14-1 ’)
(14-1) and (14-1 ') are selectively used depending on the characteristic of the geometric distortion of the lens.
[0185]
f2x(X, y) ≡k2xd2Cos {tan-1(Y / x) @ tan @ h2(X, y)} + cx(14-3)
f2y(X, y) ≡k2yd2Cos {tan-1(Y / x) @ tan @ h2(X, y)} + cy(14-3)
x2= F2x(Xcx, Y-cy) (14-4)
y2= F2y(Xcx, Y-cy) (14-5)
here,
x, y: coordinates before correction
x2, Y2: Coordinates after the second distortion correction
cx, Cy: Second distortion center coordinates
K2, D2, K2x, K2y: Second distortion correction coefficient
It is.
[0186]
For the fourth embodiment, the following equations (15-1) to (15-10) are used instead of the second distortion correction equations of equations (13-1) to (13-8). Just do it. The effect in this case is almost the same as that of the fourth embodiment.
[0187]
Second distortion second-stage correction:
hB(X, y) ≡KBSin-1{(X2+ Y2)1/2/ (DBKB)} (15-1)
hB(X, y) ≡KBTan-1{(X2+ Y2)1/2/ (DBKB)} (15-1 ’)
(15-1) and (15-1 ') are selectively used depending on the characteristic of the geometric distortion of the lens.
[0188]
fBx(X, y) ≡kBxdBCos {tan-1(Y / x) @ tan @ hB(X, y)} + cBx(15-2)
fBy(X, y) ≡kBydBCos {tan-1(Y / x) @ tan @ hB(X, y)} + cBy(15-3)
xB= FBx(XcBx, Y-cBy) (15-4)
yB= FBy(XcBx, Y-cBy) (15-5)
Second distortion pre-stage correction:
hF(X, y) ≡KFSin-1{(X2+ Y2)1/2/ (DFKF)} (15-6)
hF(X, y) ≡KFTan-1{(X2+ Y2)1/2/ (DFKF)} (15-6 ')
(15-6) and (15-6 ') are selectively used depending on the geometric distortion characteristics of the lens.
[0189]
fFx(X, y) ≡kFxdFCos {tan-1(Y / x) @ tan @ hF(X, y)} + cFx(15-7)
fFy(X, y) ≡kFydFCos {tan-1(Y / x) @ tan @ hF(X, y)} + cFy(15-8)
x2= FFx(XcFx, Y-cFy) (15-9)
y2= FFy(XcFx, Y-cFy) (15-10)
here,
x, y: coordinates before correction
x2, Y2: Coordinates after the second distortion correction
cFx, CFy: Center coordinate of the second stage before the second distortion
cBx, CBy: Center coordinate of the second stage after the second distortion
KF, DF, KFx, KFy: Center coordinate of the second stage before the second distortion
KB, DB, KBx, KBy: Center coordinate of the second stage after the second distortion
In the above-described first to fourth embodiments, the coordinate transformation formula for the first distortion correction may be as follows.
[0190]
First distortion right correction:
hR(X, y) ≡KRSin-1{(X2+ Y2)1/2/ (DRKR)} (16-1)
hR(X, y) ≡KRTan-1{(X2+ Y2)1/2/ (DRKR)} (16-1 ’)
(16-1) and (16-1 ') are selectively used depending on the characteristic of the geometric distortion of the lens.
[0191]
fRx(X, y) ≡kRdRCos {tan-1(Y / x) @ tan @ hR(X, y)} + cRx(16-2)
fRy(X, y) ≡kRdRCos {tan-1(Y / x) @ tan @ hR(X, y)} + cRy(16-3)
xR= FRx(XcRx, Y-cRy) (16-4)
yR= FRy(XcRx, Y-cRy) (16-5)
First distortion left correction:
hL(X, y) ≡KLSin-1{(X2+ Y2)1/2/ (DLKL)} (16-6)
hL(X, y) ≡KLTan-1{(X2+ Y2)1/2/ (DLKL)} (16-6 ')
(16-6) and (16-6 ') are selectively used depending on the characteristic of the geometric distortion of the lens.
[0192]
fLx(X, y) ≡kLdLCos {tan-1(Y / x) @ tan @ hL(X, y)} + cLx(16-7)
fLy(X, y) ≡kLdLCos {tan-1(Y / x) @ tan @ hL(X, y)} + cLy(16-8)
xL= FLx(X2-CLx, Y2-CLy) (16-9)
yL= FLy(X2-CLx, Y2-CLy) (16-10)
here,
x2, Y2: Coordinates after the second distortion correction
xR, YR: Right screen coordinates after correction
xL, YL: Left screen coordinates after correction
cRx, CRy: 1st distortion right center coordinate
cLx, CLy: 1st distortion left center coordinate
KR, DR, KRx, KRy: 1st distortion right correction coefficient
KL, DL, KLx, KLy: 1st distortion left correction coefficient
It is.
[0193]
Note that, as described above, using the optical data for correcting the multiple distortion, for an existing endoscope having a configuration in which an image is formed on an image sensor through a pair of objective optical systems and an image transmission optical system, It can also be applied to correct the image.
[0194]
In this case, by performing multiple distortion correction, for example, by reading the image data through an image processing unit that performs image correction via a recording medium such as a memory card 33 that stores optical data, highly accurate measurement and image display can be performed. It becomes possible. In addition, an operation program for performing the multiple distortion correction using the optical data may be recorded together with the optical data, and the multiple distortion correction may be performed according to the operation program.
[0195]
[Appendix]
1. In claim 3, in the geometric multiple distortion correction, first the second distortion correction is performed, and then the first distortion correction is performed.
[0196]
2. In claim 5, the geometric multiple distortion correction includes first performing a second distortion second-stage correction, then performing a second distortion first-stage correction, and finally performing a first distortion correction.
[0197]
3. A plurality of objective optical systems for obtaining images from different viewpoints, and an output signal from an image sensor that forms a plurality of images by an image transmission optical system that transmits images of the plurality of objective optical systems, Geometric multiple distortion correction means for correcting multiple distortion, which is a distortion in which the first geometric distortion by the plurality of objective optical systems and the second geometric distortion by the image transmission optical system, are provided. Image processing device.
[0198]
4. A plurality of objective optical systems for obtaining images from different viewpoints, and an output signal from an image sensor that forms a plurality of images by an image transmission optical system that transmits images of the plurality of objective optical systems, A recording medium that records data for correcting multiple distortion, which is distortion in which a first geometric distortion caused by the plurality of objective optical systems and a second geometric distortion caused by the image transmission optical system overlap.
[0199]
【The invention's effect】
According to the embodiments of the present invention described above, an imaging optical system including a pair of objective optical systems and an image transmission optical system for transmitting an optical image by the objective optical system is provided at the distal end of the endoscope. Since an image is formed on the element, the outer diameter of the insertion portion can be reduced, and the first distortion generated by the pair of objective optical systems and the second distortion generated by the image transmission optical system overlap. Since the multiple distortion correcting means for correcting multiple distortions is provided, accurate measurement can be performed, and by correcting the multiple distortions, the feeling of fatigue when stereoscopically viewed can be reduced.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an entire measurement endoscope apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of the measurement endoscope apparatus of FIG.
FIG. 3 is an enlarged perspective view showing a distal end portion of an insertion section of the endoscope.
FIG. 4 is a sectional view taken along line AA of FIG. 3;
FIG. 5 is a pixel arrangement diagram of an image before correction of geometric distortion and an image after correction.
FIG. 6 is a diagram showing an image pixel before correction and an image pixel after correction.
FIG. 7 is a flowchart showing the contents of coordinate conversion processing including multiple distortion correction.
FIG. 8 is a flowchart showing the contents of a stereo measurement process.
FIG. 9 is a flowchart showing the contents of a subroutine called in the stereo measurement processing of FIG. 8;
FIG. 10 is a flowchart showing the contents of a subroutine called in the measurement processing of FIG. 8;
FIG. 11 is a perspective view showing a pipe in a depth measurement state using the measurement endoscope apparatus.
FIG. 12 is an enlarged view of a measurement part of the pipe of FIG. 11;
FIG. 13 is a perspective view showing a pipe in a length measurement state using the measurement endoscope device.
FIG. 14 is a perspective view showing the turbine blade in a dent measurement state using the measurement endoscope apparatus.
15 shows a subroutine called in the measurement processing of FIG. 10, FIG. 15 (A) is a flowchart of a three-dimensional coordinate analysis processing, and FIG. 15 (B) is a flowchart of a pattern matching processing.
FIG. 16 is a diagram showing a right and left two image positional relationship on a three-dimensional coordinate system having x, y, and z axes for explaining a basic principle of three-dimensional coordinate analysis processing in the measurement endoscope apparatus.
FIG. 17 is a diagram showing a stereo measurement screen in which two left and right images by the measurement endoscope apparatus are displayed on an LCD.
FIG. 18 is a perspective view showing a distal end portion of an insertion section according to the second embodiment of the present invention.
FIG. 19 is a sectional view taken along line BB of FIG. 18;
FIG. 20 is a perspective view showing a state in which an optical adapter is connected to a master imaging unit of a production measurement jig to collect optical data.
FIG. 21 is a flowchart showing the contents of a stereo measurement process.
FIG. 22 is a flowchart showing the contents of a subroutine called in the stereo measurement processing of FIG. 21;
FIG. 23 is a diagram illustrating an image of a white chart captured by connecting an optical adapter to a master imaging unit.
FIG. 24 is a view showing a captured white chart image.
25A and 25B are luminance waveforms that give a visual field shape pattern to the measurement endoscope apparatus and the master, where FIG. 25A shows a change in luminance of PV and PV ′ in the vertical direction of an image, and FIG. The figure which shows the brightness | luminance change of PH and PH 'of the horizontal direction of an image.
FIG. 26 is a sectional view showing the structure of the distal end portion of the insertion section according to the third embodiment of the present invention.
FIG. 27 is a flowchart showing the contents of processing of coordinate conversion according to the fourth embodiment of the present invention.
[Explanation of symbols]
1. Measurement endoscope device
2. Endoscope
3. Control unit
4: Remote control
5 LCD
6 ... FMD
9 ... CCU
18 Measurement processing unit
18a CPU
20 ... insertion part
21 ... Tip
26R, 26L: Objective optical system
27 ... Image transmission optical system
31 ... PC
33… Memory card

Claims (5)

異なる視点からの像を得るための複数の対物光学系と、
前記複数の対物光学系の像を伝送する像伝送光学系と、
前記像伝送光学系に伝送された複数の像を結像させる撮像素子と、
前記撮像素子からの信号を受けて映像信号を生成する処理部と、
前記映像信号の光学的歪みを補正する画像歪み補正手段と、
を備える内視鏡装置において、
前記画像歪み補正手段は、
前記複数の対物光学系による第1の幾何学的歪みと、前記像伝送光学系による第2の幾何学的歪みが重なった歪みである多重歪みを補正する幾何学的多重歪み補正手段であることを特徴とする内視鏡装置。
A plurality of objective optical systems for obtaining images from different viewpoints,
An image transmission optical system for transmitting images of the plurality of objective optical systems,
An imaging element that forms a plurality of images transmitted to the image transmission optical system,
A processing unit that receives a signal from the image sensor and generates a video signal;
Image distortion correction means for correcting optical distortion of the video signal,
In an endoscope device comprising:
The image distortion correction means,
Geometric multiple distortion correction means for correcting multiple distortion, which is distortion in which the first geometric distortion by the plurality of objective optical systems and the second geometric distortion by the image transmission optical system overlap. An endoscope apparatus characterized by the above-mentioned.
前記幾何学的多重歪み補正手段は、
前記複数の対物光学系による第1の歪みを複数あるそれぞれの対物光学系ごとに補正する第1歪み補正手段と、
前記像伝送光学系による第2の歪みを補正する第2歪み補正手段と、
からなることを特徴とする請求項1記載の内視鏡装置。
The geometric multiple distortion correction means,
First distortion correction means for correcting the first distortion by the plurality of objective optical systems for each of the plurality of objective optical systems;
Second distortion correction means for correcting a second distortion caused by the image transmission optical system;
The endoscope apparatus according to claim 1, comprising:
前記対物光学系と前記像伝送光学系は光学アダプタ内に構成され、前記光学アダプタは前記撮像素子が設けられた挿入部先端部本体に対して着脱自在に構成されることを特徴とする請求項2記載の内視鏡装置。The optical system according to claim 1, wherein the objective optical system and the image transmission optical system are configured in an optical adapter, and the optical adapter is configured to be detachable from an insertion unit distal end main body provided with the imaging device. 3. The endoscope device according to 2. 前記像伝送光学系は対物光学系側と撮像素子側に分割され、
前記対物光学系と前記伝送光学系の対物光学系側が光学アダプタ内に構成され、前記光学アダプタは前記像伝送系の撮像素子側に対して着脱自在に構成されることを特徴とする請求項2記載の内視鏡装置。
The image transmission optical system is divided into an objective optical system side and an image sensor side,
The objective optical system and the objective optical system side of the transmission optical system are configured in an optical adapter, and the optical adapter is configured to be detachable from the image sensor side of the image transmission system. The endoscope device according to claim 1.
前記第2歪み補正手段は、前記伝送系の対物光学系側による幾何学的歪みを補正する第2歪み前段補正手段と、前記像伝送系の撮像素子側による幾何学的歪みを補正する第2歪み後段補正手段とを備えることを特徴とする請求項4記載の内視鏡装置。The second distortion correction means corrects geometric distortion caused by the objective optical system in the transmission system, and the second distortion correction means corrects geometric distortion caused by the image sensor in the image transmission system. The endoscope apparatus according to claim 4, further comprising a post-distortion correction unit.
JP2002212852A 2002-07-22 2002-07-22 Endoscope apparatus Pending JP2004049638A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002212852A JP2004049638A (en) 2002-07-22 2002-07-22 Endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002212852A JP2004049638A (en) 2002-07-22 2002-07-22 Endoscope apparatus

Publications (1)

Publication Number Publication Date
JP2004049638A true JP2004049638A (en) 2004-02-19

Family

ID=31935663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002212852A Pending JP2004049638A (en) 2002-07-22 2002-07-22 Endoscope apparatus

Country Status (1)

Country Link
JP (1) JP2004049638A (en)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007167630A (en) * 2005-11-22 2007-07-05 Olympus Corp Endoscope device, and endoscope image distortion correction method
JP2007171941A (en) * 2005-11-22 2007-07-05 Olympus Corp Endoscope and method for correcting image distortion of endoscope
JP2008005966A (en) * 2006-06-28 2008-01-17 Olympus Corp Optical adapter and endoscope unit
JP2008029497A (en) * 2006-07-27 2008-02-14 Olympus Corp Endoscope apparatus
JP2008049149A (en) * 2006-07-27 2008-03-06 Olympus Corp Endoscope system
US7443488B2 (en) 2005-05-24 2008-10-28 Olympus Corporation Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
JP2010167031A (en) * 2009-01-21 2010-08-05 Olympus Corp Endoscope apparatus and program
JP2011182977A (en) * 2010-03-09 2011-09-22 Olympus Corp Endoscope apparatus and program
US8194948B2 (en) 2007-01-31 2012-06-05 Olympus Corporation Instrumentation endoscope apparatus
US8200042B2 (en) 2007-01-31 2012-06-12 Olympus Corporation Endoscope apparatus and program
JP2012147160A (en) * 2011-01-11 2012-08-02 Nec Personal Computers Ltd Three-dimensional image processing apparatus
US8372002B2 (en) 2006-07-27 2013-02-12 Olympus Corporation Endoscope apparatus
US8480563B2 (en) 2008-11-25 2013-07-09 Olympus Corporation Endoscope apparatus and method
JP2014026053A (en) * 2012-07-25 2014-02-06 Olympus Corp Measuring endoscope device and program
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
US8903144B2 (en) 2010-12-01 2014-12-02 Olympus Corporation Endoscope apparatus and method of measuring object
US8929628B2 (en) 2012-07-02 2015-01-06 Olympus Corporation Measuring device and measuring method
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
US8979743B2 (en) 2008-07-07 2015-03-17 Olympus Corporation Endoscope device and endoscopic image distortion correction method
US10019643B2 (en) 2013-01-22 2018-07-10 Olympus Corporation Measurement apparatus and program
JP2019020628A (en) * 2017-07-19 2019-02-07 オリンパス株式会社 Measurement device and measurement device actuation method
US10379058B2 (en) 2017-06-14 2019-08-13 Olympus Corporation Measurement device and method for operating the same
US10573015B2 (en) 2017-01-11 2020-02-25 Olympus Corporation Measuring device and operating method of measuring device
US10742958B2 (en) 2015-06-25 2020-08-11 Olympus Corporation Endoscope apparatus
US11317014B2 (en) 2018-07-10 2022-04-26 Olympus Corporation Image pickup apparatus, image correction method, and medium storing program
US12067672B2 (en) 2019-11-28 2024-08-20 Evident Corporation Endoscopic image processing apparatus, endoscope system, and method of operating endoscopic image processing apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261099A (en) * 1994-03-17 1995-10-13 Olympus Optical Co Ltd Stereoscopic endoscope device
JPH07294827A (en) * 1994-04-20 1995-11-10 Olympus Optical Co Ltd Endoscope
JPH0829701A (en) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd Stereoscopic viewing endoscope system
JPH10248806A (en) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd Measuring endoscopic device
JPH116967A (en) * 1997-06-13 1999-01-12 Fuji Photo Optical Co Ltd Stereoscopic endoscope
JPH11109257A (en) * 1997-10-03 1999-04-23 Olympus Optical Co Ltd Image pickup optical system of endoscope
JP2001075019A (en) * 1999-09-01 2001-03-23 Olympus Optical Co Ltd Endoscope device
JP2001275934A (en) * 2000-04-03 2001-10-09 Olympus Optical Co Ltd Measuring endoscopic device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261099A (en) * 1994-03-17 1995-10-13 Olympus Optical Co Ltd Stereoscopic endoscope device
JPH07294827A (en) * 1994-04-20 1995-11-10 Olympus Optical Co Ltd Endoscope
JPH0829701A (en) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd Stereoscopic viewing endoscope system
JPH10248806A (en) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd Measuring endoscopic device
JPH116967A (en) * 1997-06-13 1999-01-12 Fuji Photo Optical Co Ltd Stereoscopic endoscope
JPH11109257A (en) * 1997-10-03 1999-04-23 Olympus Optical Co Ltd Image pickup optical system of endoscope
JP2001075019A (en) * 1999-09-01 2001-03-23 Olympus Optical Co Ltd Endoscope device
JP2001275934A (en) * 2000-04-03 2001-10-09 Olympus Optical Co Ltd Measuring endoscopic device

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7443488B2 (en) 2005-05-24 2008-10-28 Olympus Corporation Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
JP2007167630A (en) * 2005-11-22 2007-07-05 Olympus Corp Endoscope device, and endoscope image distortion correction method
JP2007171941A (en) * 2005-11-22 2007-07-05 Olympus Corp Endoscope and method for correcting image distortion of endoscope
JP2008005966A (en) * 2006-06-28 2008-01-17 Olympus Corp Optical adapter and endoscope unit
JP2008029497A (en) * 2006-07-27 2008-02-14 Olympus Corp Endoscope apparatus
JP2008049149A (en) * 2006-07-27 2008-03-06 Olympus Corp Endoscope system
US9113806B2 (en) 2006-07-27 2015-08-25 Olympus Corporation Endoscope apparatus for measuring a spatial characteristic
US8372002B2 (en) 2006-07-27 2013-02-12 Olympus Corporation Endoscope apparatus
US8194948B2 (en) 2007-01-31 2012-06-05 Olympus Corporation Instrumentation endoscope apparatus
US8200042B2 (en) 2007-01-31 2012-06-12 Olympus Corporation Endoscope apparatus and program
JP2013238860A (en) * 2007-01-31 2013-11-28 Olympus Corp Endoscope apparatus
US8979743B2 (en) 2008-07-07 2015-03-17 Olympus Corporation Endoscope device and endoscopic image distortion correction method
US8480563B2 (en) 2008-11-25 2013-07-09 Olympus Corporation Endoscope apparatus and method
JP2010167031A (en) * 2009-01-21 2010-08-05 Olympus Corp Endoscope apparatus and program
US8730313B2 (en) 2009-01-21 2014-05-20 Olympus Corporation Endoscope apparatus and method
US8965103B2 (en) 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
US8675950B2 (en) 2009-07-31 2014-03-18 Olympus Corporation Image processing apparatus and image processing method
US8791998B2 (en) 2009-07-31 2014-07-29 Olympus Corporation Image processing apparatus and method for displaying images
JP2011182977A (en) * 2010-03-09 2011-09-22 Olympus Corp Endoscope apparatus and program
US8913110B2 (en) 2010-03-09 2014-12-16 Olympus Corporation Endoscope apparatus and measurement method
US8903144B2 (en) 2010-12-01 2014-12-02 Olympus Corporation Endoscope apparatus and method of measuring object
JP2012147160A (en) * 2011-01-11 2012-08-02 Nec Personal Computers Ltd Three-dimensional image processing apparatus
US8929628B2 (en) 2012-07-02 2015-01-06 Olympus Corporation Measuring device and measuring method
CN103576309A (en) * 2012-07-25 2014-02-12 奥林巴斯株式会社 Measuring endoscope apparatus and program
JP2014026053A (en) * 2012-07-25 2014-02-06 Olympus Corp Measuring endoscope device and program
US9295371B2 (en) 2012-07-25 2016-03-29 Olympus Corporation Measuring endoscope apparatus and program
CN103576309B (en) * 2012-07-25 2018-01-09 奥林巴斯株式会社 Measure endoscope apparatus and its method of operating
US10019643B2 (en) 2013-01-22 2018-07-10 Olympus Corporation Measurement apparatus and program
US10742958B2 (en) 2015-06-25 2020-08-11 Olympus Corporation Endoscope apparatus
US10573015B2 (en) 2017-01-11 2020-02-25 Olympus Corporation Measuring device and operating method of measuring device
US10379058B2 (en) 2017-06-14 2019-08-13 Olympus Corporation Measurement device and method for operating the same
JP2019020628A (en) * 2017-07-19 2019-02-07 オリンパス株式会社 Measurement device and measurement device actuation method
US10733717B2 (en) 2017-07-19 2020-08-04 Olympus Corporation Measurement device and method for operating the same
US11317014B2 (en) 2018-07-10 2022-04-26 Olympus Corporation Image pickup apparatus, image correction method, and medium storing program
US12067672B2 (en) 2019-11-28 2024-08-20 Evident Corporation Endoscopic image processing apparatus, endoscope system, and method of operating endoscopic image processing apparatus

Similar Documents

Publication Publication Date Title
JP2004049638A (en) Endoscope apparatus
US6063023A (en) Measuring endoscope system
US7443488B2 (en) Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
JPH067289A (en) Endoscopic image processor
JPH05108819A (en) Picture processor
WO2017168986A1 (en) Control device, endoscope image pickup device, control method, program, and endoscope system
JP4373037B2 (en) Measuring endoscope device
JPH03102202A (en) Testing method of objective part by photographing means
JP3438937B2 (en) Image processing device
JP5953443B2 (en) Endoscope system
JP2009175692A (en) Measuring endoscope apparatus and program
JP5026769B2 (en) Endoscope device for measurement, program, and recording medium
JP3070022B2 (en) Ultra wide-angle endoscope
JPWO2017221507A1 (en) Endoscope system
JP4885479B2 (en) Endoscope device for measurement and program for endoscope
JP5113990B2 (en) Endoscope device for measurement
US9113806B2 (en) Endoscope apparatus for measuring a spatial characteristic
US8979743B2 (en) Endoscope device and endoscopic image distortion correction method
JP4759184B2 (en) Measuring endoscope device
JP2016095458A (en) Endoscope device
US20140253685A1 (en) Medical apparatus
JP5153381B2 (en) Endoscope device
JP4975417B2 (en) Endoscope apparatus and endoscope image distortion correction method
JP5042550B2 (en) Endoscope device
JP4418162B2 (en) Measuring endoscope device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090616