JP2012137665A - Endoscope apparatus - Google Patents
Endoscope apparatus Download PDFInfo
- Publication number
- JP2012137665A JP2012137665A JP2010290802A JP2010290802A JP2012137665A JP 2012137665 A JP2012137665 A JP 2012137665A JP 2010290802 A JP2010290802 A JP 2010290802A JP 2010290802 A JP2010290802 A JP 2010290802A JP 2012137665 A JP2012137665 A JP 2012137665A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- gravity
- endoscope apparatus
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、内視鏡装置に関し、特に、被観察物の内部の観察を行うことが可能な内視鏡装置に関するものである。 The present invention relates to an endoscope apparatus, and more particularly to an endoscope apparatus capable of observing the inside of an object to be observed.
工業用分野の内視鏡装置は、例えば、工場の配管等の被観察物に対する検査の際に広く用いられている。特に、工業用分野の内視鏡装置においては、被観察物の内部の検査を容易に行うために、例えば、30メートル等の長尺な挿入部を有するものが使用されることもある。 Endoscope apparatuses in the industrial field are widely used, for example, when inspecting an object to be observed such as piping in a factory. In particular, in an endoscope apparatus in the industrial field, in order to easily inspect the inside of an object to be observed, an apparatus having a long insertion portion such as 30 meters may be used.
しかしながら、長尺な挿入部を有する内視鏡装置においては、例えば、作業者が挿入部を被観察物の内部に挿入してゆく際に、挿入部の先端部の回転に伴ってモニタ等の表示部に表示される観察画像の向きが回転してしまうことにより、観察画像の上下左右方向と挿入部の湾曲操作方向とが一致しないような違和感を生じさせる観察画像が表示されてしまう、という問題が生じ得る。 However, in an endoscope apparatus having a long insertion portion, for example, when an operator inserts the insertion portion into the object to be observed, a monitor or the like is provided along with the rotation of the distal end portion of the insertion portion. By rotating the direction of the observation image displayed on the display unit, an observation image that causes a sense of incongruity that the vertical and horizontal directions of the observation image do not match the bending operation direction of the insertion unit is displayed. Problems can arise.
ここで、前述の問題に対応するためのものとして、例えば、特許文献1には、表示部に表示される観察画像の回転角度に応じて挿入部の湾曲部の湾曲方向を補正するように構成された内視鏡装置が開示されている。
Here, for example,
また、前述の問題に対応するためのものとして、例えば、特許文献2には、内視鏡の先端部の観察対象物に対する回転角度を検知して得られた情報に基づいて表示部に表示される観察画像の回転角度を算出し、この回転角度に基づいて観察画像を回転させ、回転後の観察画像の方向と湾曲指示方向とを一致させるように構成された内視鏡装置が開示されている。
Further, for example, in
しかし、特許文献1及び2に開示された内視鏡装置によれば、例えば、直視または側視の視野方向が重力方向に対してどのような向きに向けられているか等を考慮していないことに起因して、観察画像の回転補正が適正に行われない状況が発生するため、前述の違和感を生じさせるような観察画像が表示されてしまう、という課題がある。
However, according to the endoscope devices disclosed in
本発明は、前述した事情に鑑みてなされたものであり、視野方向と重力方向との関係を考慮して画像の回転を行うことにより、作業者の違和感を極力生じさせないような観察画像を表示させることが可能な内視鏡装置を提供することを目的としている。 The present invention has been made in view of the above-described circumstances, and displays an observation image that causes the operator to feel as much as possible by rotating the image in consideration of the relationship between the visual field direction and the gravity direction. An object of the present invention is to provide an endoscope apparatus that can be made to operate.
本発明の一態様の内視鏡装置は、被観察物の内部に挿入可能な形状を具備し、前記被観察物の内部の被写体を撮像して撮像信号を出力する撮像部が先端部に設けられた挿入部と、前記撮像部の撮像対象となる前記被写体の像を取得可能な光学レンズ部と、前記光学レンズ部の視野方向に関する情報が格納されている情報格納部と、を具備し、前記先端部に対して着脱可能に構成された光学アダプタ部と、少なくとも前記先端部の変位量を検出する変位量検出部と、前記撮像部から出力される撮像信号に基づいて画像データを生成する信号処理部と、前記画像データに応じた観察画像が表示される際の上下方向を基準方向に一致させるように回転する処理を行う画像処理部と、前記変位量検出部の検出結果に基づき、少なくとも前記先端部の現在の姿勢を示す姿勢情報を算出する演算処理部と、前記先端部に装着された前記光学アダプタ部の前記情報格納部に格納されている情報と、前記演算処理部における前記姿勢情報の算出結果と、に基づき、前記基準方向を重力方向に設定可能な方向、または、前記基準方向を重力方向に設定不可能な方向のいずれに前記挿入部が挿入されているかを判定する判定部と、を有する。 An endoscope apparatus according to an aspect of the present invention has a shape that can be inserted into an object to be observed, and an image pickup unit that picks up an image of a subject inside the object and outputs an image pickup signal is provided at a distal end portion. An inserted lens, an optical lens unit capable of acquiring an image of the subject to be imaged by the imaging unit, and an information storage unit storing information relating to a visual field direction of the optical lens unit, Image data is generated based on an optical adapter configured to be detachable from the distal end, a displacement detection unit that detects at least the displacement of the distal end, and an imaging signal output from the imaging unit Based on the detection results of the signal processing unit, the image processing unit that performs the rotation process so that the vertical direction when the observation image corresponding to the image data is displayed matches the reference direction, and the displacement amount detection unit, At least the current tip A calculation processing unit that calculates posture information indicating the posture of the camera, information stored in the information storage unit of the optical adapter unit attached to the tip, and a calculation result of the posture information in the calculation processing unit; And a determination unit that determines which of the direction in which the reference direction can be set as the gravitational direction and the direction in which the reference direction cannot be set as the gravitational direction is inserted. .
本発明における内視鏡装置によれば、視野方向と重力方向との関係を考慮して画像の回転を行うことにより、作業者の違和感を極力生じさせないような観察画像を表示させることができる。 According to the endoscope apparatus of the present invention, an observation image that does not cause the operator to feel uncomfortable as much as possible can be displayed by rotating the image in consideration of the relationship between the visual field direction and the gravity direction.
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。 Embodiments of the present invention will be described below with reference to the drawings.
図1から図11は、本発明の実施例に係るものである。 1 to 11 relate to an embodiment of the present invention.
図1は、本発明の実施例に係る内視鏡装置の要部の構成を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration of a main part of an endoscope apparatus according to an embodiment of the present invention.
内視鏡装置1は、図1に示すように、管体等の被観察物の内部に挿入可能な細長形状を具備する挿入部2と、挿入部2の先端部2aに着脱可能な形状等を具備する光学アダプタ部3と、挿入部2の基端部に接続される本体部4と、を有している。
As shown in FIG. 1, the
挿入部2は、図1に示すように、硬性の部材により形成された先端部2aと、先端部2aの基端側に連設されている湾曲自在な湾曲部2bと、湾曲部2bの基端側に連設されている軟性部2cと、を有して構成されている。
As shown in FIG. 1, the
先端部2aの内部には、撮像部21と、湾曲コマ22と、ジャイロ等からなる角速度センサ25aと、が設けられている。また、湾曲部2bの内部には、ジャイロ等からなる角速度センサ25bが設けられている。さらに、軟性部2cの内部には、ジャイロ等からなる角速度センサ25cが設けられている。
An
一方、挿入部2の湾曲部2bから軟性部2cにかけての部分には、一端側が湾曲コマ22に接続され、他端側が本体部4に接続されたワイヤ23が1本または複数本挿通されている。
On the other hand, one or a plurality of
撮像部21は、CCD等からなる撮像素子21aを具備して構成されており、光学アダプタ部3の視野領域内の被写体を撮像し、当該撮像した被写体に応じた撮像信号を生成して本体部4へ出力する。
The
湾曲コマ22は、先端部2aの内部に1つ以上設けられており、ワイヤ23の張力に応じて回動することにより、挿入部2を湾曲させることができるように構成されている。
One or more
ワイヤ23は、本体部4から出力される湾曲駆動信号に応じて緊張または弛緩することにより、湾曲コマ22を回動させるための張力を変化させることができるように形成されている。
The
角速度センサ25aは、先端部2aの変位量に相当する先端部2aの3軸方向の角速度を随時検出し、検出結果を先端部角速度情報として本体部4へ出力する。
The
角速度センサ25bは、湾曲部2bの変位量に相当する湾曲部2bの3軸方向の角速度を随時検出し、検出結果を湾曲部角速度情報として本体部4へ出力する。
The
角速度センサ25cは、軟性部2cの変位量に相当する軟性部2cの3軸方向の角速度を随時検出し、検出結果を軟性部角速度情報として本体部4へ出力する。
The
なお、本実施例において、角速度センサ25a、25b及び25cは、湾曲部2bをいずれの方向にも湾曲させていない状態において、挿入部2の長軸方向に沿った直線上に略並ぶ位置に各々位置されているものとする。
In the present embodiment, the
光学アダプタ部3は、図1に示すように、照明部31と、光学レンズ部32と、アダプタ識別情報格納部33と、を有している。
As shown in FIG. 1, the
照明部31は、1つ以上のLED等を具備して構成されており、本体部4から出力される照明駆動信号に応じて照明光を出射するように構成されている。
The
光学レンズ部32は、1つ以上のレンズを具備して構成されており、撮像部21の撮像対象となる被写体の像を取得できるように構成されている。
The
アダプタ識別情報格納部33は、例えば、不揮発性のメモリ等を具備して構成されている。また、アダプタ識別情報格納部33には、光学レンズ部32の視野方向が直視または側視のいずれであるかに関する情報を含むアダプタ識別情報が予め格納されている。なお、本実施例によれば、アダプタ識別情報格納部33は、不揮発性のメモリ等を具備して構成されるものに限らず、他の構成を具備するものであってもよい。
The adapter identification
本体部4は、図1に示すように、信号処理部41と、照明駆動部42と、湾曲駆動部43と、画像処理部45と、表示部46と、メモリ部48と、入力部49と、発音部50と、記録媒体51と、制御部52と、を有している。
As shown in FIG. 1, the
信号処理部41は、挿入部2の撮像部21から出力される撮像信号に対してA/D変換及びノイズ除去等の信号処理を施すことにより、デジタルの画像データを生成して画像処理部45及び制御部52へ出力する。
The
照明駆動部42は、制御部52の制御に基づき、照明部31を駆動させるための照明駆動信号を生成して出力する。
The
湾曲駆動部43は、制御部52の制御に基づき、ワイヤ23の牽引長さを変化させることによりワイヤ23を緊張または弛緩させるための湾曲駆動信号を生成して出力する。なお、前述の牽引長さは、例えば、湾曲部2bをいずれの方向にも湾曲させていない状態を0とした場合の相対的な値として設定される。
The
画像処理部45は、信号処理部41からリアルタイムに出力される画像データを表示部46へ出力する。また、画像処理部45は、制御部52の制御に基づき、信号処理部41から出力される画像データを回転して表示部46へ出力する。さらに、画像処理部45は、制御部52の制御に基づき、後述の告知情報を生成して表示部46に表示させる。
The
表示部46は、LCD(液晶ディスプレイ)等を具備して構成されており、画像処理部45から出力される画像データに応じた観察画像、及び、後述の告知情報等を表示する。
The
メモリ部48は、フラッシュメモリ等を具備して構成されている。また、メモリ部48においては、制御部52により生成された画像ファイル等の読み書きが行われる。
The memory unit 48 includes a flash memory or the like. Further, the memory unit 48 reads and writes the image file generated by the
入力部49は、湾曲部2bの湾曲方向(及び湾曲量)に関する入力操作に応じた指示信号を出力する湾曲指示部49aを有している。また、入力部49は、押しボタンスイッチ等のユーザインターフェースを具備して構成されており、作業者の入力操作に応じた指示信号を制御部52へ出力する。
The
発音部50は、音声信号生成回路及びスピーカ等を具備して構成されており、制御部52の制御に応じた音声を発する。
The
記録媒体51は、本体部4に着脱可能なメモリカード等により構成されており、制御部52から出力される画像ファイルを記録する。
The
制御部52は、種々の演算処理等を行うCPU52aと、CPU52aが行う演算処理に関するプログラム等が予め書き込まれたROM52bと、CPU52aによる演算処理結果が一時的に格納されるRAM52cと、を有して構成されている。
The
制御部52は、入力部49から出力される指示信号等に基づき、内視鏡装置1の各部に対する制御を行う。
The
例えば、制御部52は、静止画または動画の記録を行う旨の指示信号が入力部49から出力されたことを検出すると、信号処理部41から出力される画像データに圧縮処理を施し、当該圧縮処理後の画像データに図示しないRTC(リアルタイムクロック)から取得した時刻情報等の所定の情報を付与した画像ファイルを生成し、当該生成した画像ファイルをメモリ部48及び記録媒体51に記録させる。
For example, when the
制御部52は、角速度センサ25aから出力される先端部角速度情報に基づき、重力方向と、先端部2aの現在の姿勢を示す先端部姿勢データと、を算出する。
The
制御部52は、角速度センサ25bから出力される湾曲部角速度情報に基づき、湾曲部2bの現在の姿勢を示す湾曲部姿勢データを算出する。
The
制御部52は、角速度センサ25cから出力される軟性部角速度情報に基づき、軟性部2cの現在の姿勢を示す軟性部姿勢データを算出する。
The
そして、制御部52は、重力方向、先端部姿勢データ、湾曲部姿勢データ、及び、軟性部姿勢データの算出結果に基づき、後述の画像回転補正処理を画像処理部45に行わせる。また、制御部52は、画像回転補正処理の処理結果に基づき、後述の湾曲指示補正処理を行う。
Then, the
ここで、本実施例の内視鏡装置1において行われる処理について、図2及び図3のフローチャート等を参照しながら説明を行う。なお、本実施例の制御部52は、挿入部2の任意の位置を基準点とした場合に、重力方向の角度が0°となり、水平方向の角度が90°または−90°となり、重力方向の逆方向の角度が180°または−180°となるような、図4に例示する仮想的な座標系を用いて図2及び図3のフローチャートの処理を行うものとする。
Here, processing performed in the
図2は、本実施例の内視鏡装置において行われる処理の一例を示すフローチャートである。図3は、図2のフローチャートから分岐した処理の一例を示すフローチャートである。図4は、本実施例の内視鏡装置の処理において用いられる仮想的な座標系の一例を示す図である。 FIG. 2 is a flowchart illustrating an example of processing performed in the endoscope apparatus according to the present embodiment. FIG. 3 is a flowchart showing an example of processing branched from the flowchart of FIG. FIG. 4 is a diagram illustrating an example of a virtual coordinate system used in the processing of the endoscope apparatus according to the present embodiment.
まず、制御部52は、入力部49の回転観察モードスイッチ(図示せず)がオンされない場合においては、内視鏡装置1の動作モードを、画像回転補正処理等の処理を行わないモードである通常観察モードに設定する(図2のステップS1及びS2)。なお、通常観察モードに設定された場合における内視鏡装置1の具体的な動作については、公知のものと同様であるため、説明を省略する。
First, when the rotation observation mode switch (not shown) of the
また、制御部52は、入力部49の回転観察モードスイッチ(図示せず)がオンされたことを検出すると、内視鏡装置1の動作モードを、画像回転補正処理等の処理を行うモードである回転観察モードに設定した(図2のステップS1)後、アダプタ識別情報格納部33に格納されているアダプタ識別情報を取得する(図2のステップS3)。
Further, when the
その後、制御部52は、アダプタ識別情報格納部33から取得したアダプタ識別情報に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視側視のいずれであるかを判定する(図2のステップS4)。
Thereafter, based on the adapter identification information acquired from the adapter identification
制御部52は、図2のステップS4において、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であるとの判定結果を得た場合には、後述の図3のステップS13の処理を行う。
When the
ここで、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であるとの判定結果が得られた場合に行われる処理等について説明を行う。
Here, the process etc. performed when the determination result that the visual field direction of the
制御部52は、図2のステップS4において、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であるとの判定結果を得た場合には、さらに、挿入部2が重力に従う(逆らう)方向に挿入されているか否か、すなわち、挿入部2の挿入方向が画像回転補正処理における基準方向を重力方向に設定可能な方向であるか否かを判定する(図2のステップS5)。なお、図2のステップS5においては、以下のような判定処理が行われている。
When the
図5は、直視の視野方向が水平方向に向けられている場合の一例を示す図である。 FIG. 5 is a diagram illustrating an example when the visual field direction of direct view is directed in the horizontal direction.
制御部52は、重力方向、湾曲部姿勢データ、及び、軟性部姿勢データの算出結果に基づき、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の45°≦θ≦135°、または、−135°≦θ≦−45°の範囲に入っていることを検出すると、例えば図5に示すように、直視の視野方向が水平方向に向けられていると推定する。そして、制御部52は、この推定結果に基づき、挿入部2が重力に従う方向に挿入されていないとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定可能な方向に挿入部2が挿入されているとの判定結果を得る。
Based on the calculation results of the gravity direction, the bending portion posture data, and the soft portion posture data, the
図6は、直視の視野方向が重力方向に向けられている場合の一例を示す図である。 FIG. 6 is a diagram illustrating an example in which the visual field direction of direct view is directed to the direction of gravity.
また、制御部52は、重力方向、湾曲部姿勢データ、及び、軟性部姿勢データの算出結果に基づき、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の−45°<θ<45°の範囲に入っていることを検出すると、例えば図6に示すように、直視の視野方向が重力方向に向けられていると推定する。そして、制御部52は、この推定結果に基づき、挿入部2が重力に従う方向に挿入されているとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定不可能な方向に挿入部2が挿入されているとの判定結果を得る。
Further, the
なお、制御部52は、図2のステップS5の判定処理において、例えば、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の−180°≦θ<−135°、または、135°<θ≦180°の範囲に入っていることを検出した際に、挿入部2が重力に逆らう方向に挿入されているとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定不可能な方向に挿入部2が挿入されているとの判定結果を得る。
In the determination process of step S5 in FIG. 2, for example, the
図7は、表示部に表示される告知情報の一例を示す図である。 FIG. 7 is a diagram illustrating an example of notification information displayed on the display unit.
一方、制御部52は、図2のステップS4及びステップS5の判定結果に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であり、かつ、挿入部2が重力に従う(逆らう)方向に挿入されていない場合には、画像回転補正処理における基準方向の設定を自動または手動のいずれかで実施可能な旨を示す告知情報を表示させるための制御を画像処理部45に対して行う。そして、このような制御に応じ、例えば図7に示すような告知情報101aが表示部46に表示される。また、このような告知情報101aの表示に伴って入力部49が操作されることにより、画像回転補正処理における基準方向を自動または手動のどちらで設定するかが選択され、さらに、この選択結果が手動設定であった場合には、画像回転補正処理における基準方向が任意の方向に設定される。
On the other hand, based on the determination results of step S4 and step S5 in FIG. Is not inserted in a direction that follows (reverses) gravity, control is performed to display notification information indicating that setting of the reference direction in image rotation correction processing can be performed either automatically or manually. To the
図8は、表示部に表示される告知情報の、図7とは異なる例を示す図である。 FIG. 8 is a diagram showing an example of the notification information displayed on the display unit, which is different from FIG.
制御部52は、図2のステップS4及びステップS5の判定結果に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であり、かつ、挿入部2が重力に従う(逆らう)方向に挿入されている場合には、画像回転補正処理における基準方向の設定を手動で行うように促す告知情報を表示させるための制御を画像処理部45に対して行う。そして、このような制御に応じ、例えば図8に示すような告知情報101bが表示部46に表示される。また、このような告知情報101bの表示に伴って入力部49が操作されることにより、画像回転補正処理における基準方向が任意の方向に設定される。
Based on the determination results of step S4 and step S5 in FIG. 2, the
制御部52は、図2のステップS5において、挿入部2が重力に従う(逆らう)方向に挿入されているとの判定結果を得た場合には、後述の図2のステップS11の処理を続けて行う。また、制御部52は、図2のステップS5において、挿入部2が重力に従う(逆らう)方向に挿入されていないとの判定結果を得た場合には、さらに、入力部49における選択操作に応じて出力される指示信号に基づき、画像回転補正処理における基準方向の設定を自動で行うか否かを判定する(図2のステップS6)。
When the
制御部52は、図2のステップS6において、画像回転補正処理における基準方向の設定を自動で行うとの判定結果を得た場合には、重力方向及び先端部姿勢データの算出結果に基づき、重力方向と撮像素子21aの撮像面の上下方向との位置関係を特定するとともに、重力方向を画像回転補正処理における基準方向に設定する(図2のステップS7)。
When the
そして、制御部52は、先端部姿勢データの算出結果と、図2のステップS7において設定した基準方向(重力方向)と、図2のステップS7において特定した位置関係と、に基づき、表示部46に表示される観察画像の上下方向を重力方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図2のステップS8)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を重力方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
And the
また、制御部52は、図2のステップS6において、画像回転補正処理における基準方向の設定を自動で行わないとの判定結果を得た場合には、先端部姿勢データの算出結果に基づいて撮像素子21aの撮像面の上下方向を特定するとともに、入力部49から出力される指示信号に基づく任意の方向を画像回転補正処理における基準方向に設定する(図2のステップS9)。
When the
そして、制御部52は、先端部姿勢データの算出結果と、図2のステップS9において設定した基準方向と、図2のステップS9において特定した撮像素子21aの撮像面の上下方向と、に基づき、表示部46に表示される観察画像の上下方向を基準方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図2のステップS10)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を、図2のステップS9において設定済の基準方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
And the
一方、制御部52は、図2のステップS5において、挿入部2が重力に従う(逆らう)方向に挿入されているとの判定結果を得た場合には、先端部姿勢データの算出結果に基づいて撮像素子21aの撮像面の上下方向を特定するとともに、入力部49から出力される指示信号に基づく任意の方向を画像回転補正処理における基準方向に設定する(図2のステップS11)。
On the other hand, when the
制御部52は、先端部姿勢データの算出結果と、図2のステップS11において設定した基準方向と、図2のステップS11において特定した撮像素子21aの撮像面の上下方向と、に基づき、表示部46に表示される観察画像の上下方向を基準方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図2のステップS12)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を、図2のステップS11において設定済の基準方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
Based on the calculation result of the tip portion attitude data, the reference direction set in step S11 of FIG. 2, and the vertical direction of the imaging surface of the
制御部52は、図2のステップS8、ステップS10、または、ステップS12のいずれかの画像回転補正処理の処理結果に基づき、湾曲指示部49aの入力操作に応じた湾曲部2bの湾曲方向と、画像回転補正処理後に表示部46に表示される観察画像の向きと、を一致させる処理である湾曲指示補正処理を行うための補正値を算出した(図2のステップS13)後、後述の図2のステップS23の処理を続けて行う。なお、前述の湾曲指示補正処理の実施方法及び補正値の算出方法としては、例えば、特開2006−218027号公報に開示された手法等の公知の手法を適宜応用して用いることができる。そのため、図2のステップS13の処理については、詳細な説明を省くものとする。
Based on the processing result of the image rotation correction process in either step S8, step S10, or step S12 of FIG. 2, the
次に、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であるとの判定結果が得られた場合に行われる処理等について説明を行う。
Next, a description will be given of processing performed when a determination result is obtained that the visual field direction of the
制御部52は、図2のステップS4において、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であるとの判定結果を得た場合には、さらに、挿入部2が重力に従う(逆らう)方向に挿入されているか否か、すなわち、挿入部2の挿入方向が画像回転補正処理における基準方向を重力方向に設定可能な方向であるか否かを判定する(図3のステップS14)。なお、図3のステップS14においては、以下のような判定処理が行われている。
When the
図9は、側視の視野方向が水平方向に対して垂直な方向に向けられている場合の一例を示す図である。 FIG. 9 is a diagram illustrating an example when the viewing direction of the side view is oriented in a direction perpendicular to the horizontal direction.
制御部52は、重力方向、湾曲部姿勢データ、及び、軟性部姿勢データの算出結果に基づき、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の45°≦θ≦135°、または、−135°≦θ≦−45°の範囲に入っていることを検出すると、例えば図9に示すように、側視の視野方向が水平方向に対して垂直な方向(重力方向)に向けられていると推定する。そして、制御部52は、この推定結果に基づき、挿入部2が重力に従う方向に挿入されていないとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定不可能な方向に挿入部2が挿入されているとの判定結果を得る。
Based on the calculation results of the gravity direction, the bending portion posture data, and the soft portion posture data, the
図10は、側視の視野方向が重力方向に対して垂直な方向に向けられている場合の一例を示す図である。 FIG. 10 is a diagram illustrating an example when the viewing direction of the side view is oriented in a direction perpendicular to the direction of gravity.
また、制御部52は、重力方向、湾曲部姿勢データ、及び、軟性部姿勢データの算出結果に基づき、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の−45°<θ<45°の範囲に入っていることを検出すると、例えば図10に示すように、側視の視野方向が重力方向に対して垂直な方向(水平方向)に向けられていると推定する。そして、制御部52は、この推定結果に基づき、挿入部2が重力に従う方向に挿入されているとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定可能な方向に挿入部2が挿入されているとの判定結果を得る。
Further, the
なお、制御部52は、図3のステップS14の判定処理において、例えば、角速度センサ25bと角速度センサ25cとを結ぶ線分の傾きが図4の仮想的な座標系の−180°≦θ<−135°、または、135°<θ≦180°の範囲に入っていることを検出した際に、挿入部2が重力に逆らう方向に沿う方向に挿入されているとの判定結果、すなわち、画像回転補正処理における基準方向を重力方向に設定可能な方向に挿入部2が挿入されているとの判定結果を得る。
Note that, in the determination process of step S14 in FIG. 3, the
一方、制御部52は、図2のステップS4及び図3のステップS14の判定結果に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であり、かつ、挿入部2が重力に従う(逆らう)方向に挿入されている場合には、画像回転補正処理における基準方向の設定を自動または手動のいずれかで実施可能な旨を示す告知情報を表示させるための制御を画像処理部45に対して行う。そして、このような制御に応じ、例えば図7に示すような告知情報101aが表示部46に表示される。
On the other hand, based on the determination results of step S4 of FIG. 2 and step S14 of FIG. 3, the
また、制御部52は、図2のステップS4及び図3のステップS14の判定結果に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であり、かつ、挿入部2が重力に従う(逆らう)方向に挿入されていない場合には、画像回転補正処理における基準方向の設定を手動で行うように促す告知情報を表示させるための制御を画像処理部45に対して行う。そして、このような制御に応じ、例えば図8に示すような告知情報101bが表示部46に表示される。
Further, the
その後、制御部52は、図3のステップS14において、挿入部2が重力に従う(逆らう)方向に挿入されていないとの判定結果を得た場合には、後述の図3のステップS20の処理を続けて行う。また、制御部52は、図3のステップS14において、挿入部2が重力に従う(逆らう)方向に挿入されているとの判定結果を得た場合には、さらに、入力部49における選択操作に応じて出力される指示信号に基づき、画像回転補正処理における基準方向の設定を自動で行うか否かを判定する(図3のステップS15)。
Thereafter, when the
制御部52は、図3のステップS15において、画像回転補正処理における基準方向の設定を自動で行うとの判定結果を得た場合には、重力方向及び先端部姿勢データの算出結果に基づき、重力方向と撮像素子21aの撮像面の上下方向との位置関係を特定するとともに、重力方向を画像回転補正処理における基準方向に設定する(図3のステップS16)。
When the
そして、制御部52は、先端部姿勢データの算出結果と、図3のステップS16において設定した基準方向(重力方向)と、図3のステップS16において特定した位置関係と、に基づき、表示部46に表示される観察画像の上下方向を重力方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図3のステップS17)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を重力方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
And the
また、制御部52は、図3のステップS15において、画像回転補正処理における基準方向の設定を自動で行わないとの判定結果を得た場合には、先端部姿勢データの算出結果に基づいて撮像素子21aの撮像面の上下方向を特定するとともに、入力部49から出力される指示信号に基づく任意の方向を画像回転補正処理における基準方向に設定する(図3のステップS18)。
In addition, when the
そして、制御部52は、先端部姿勢データの算出結果と、図3のステップS18において設定した基準方向と、図3のステップS18において特定した撮像素子21aの撮像面の上下方向と、に基づき、表示部46に表示される観察画像の上下方向を基準方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図3のステップS19)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を、図3のステップS18において設定済の基準方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
And the
一方、制御部52は、図3のステップS14において、挿入部2が重力に従う(逆らう)方向に挿入されていないとの判定結果を得た場合には、先端部姿勢データの算出結果に基づいて撮像素子21aの撮像面の上下方向を特定するとともに、入力部49から出力される指示信号に基づく任意の方向を画像回転補正処理における基準方向に設定する(図3のステップS20)。
On the other hand, if the
制御部52は、先端部姿勢データの算出結果と、図3のステップS20において設定した基準方向と、図2のステップS11において特定した撮像素子21aの撮像面の上下方向と、に基づき、表示部46に表示される観察画像の上下方向を基準方向に一致させるような画像回転補正処理を、画像処理部45において行わせる(図3のステップS21)。これに伴い、画像処理部45は、信号処理部41から出力される画像データに応じた観察画像が表示部46に表示される際の上下方向を、図3のステップS20において設定済の基準方向に一致させるように、信号処理部41から出力される画像データを回転して表示部46へ出力する。
Based on the calculation result of the tip portion attitude data, the reference direction set in step S20 of FIG. 3, and the vertical direction of the imaging surface of the
制御部52は、図3のステップS17、ステップS19、または、ステップS21のいずれかの画像回転補正処理の処理結果に基づき、湾曲指示部49aの入力操作に応じた湾曲部2bの湾曲方向と、画像回転補正処理後に表示部46に表示される観察画像の向きと、を一致させる処理である湾曲指示補正処理を行うための補正値を算出した(図3のステップS22)後、後述の図2のステップS23の処理を続けて行う。なお、前述の湾曲指示補正処理の実施方法及び補正値の算出方法としては、例えば、特開2006−218027号公報に開示された手法等の公知の手法を適宜応用して用いることができる。そのため、図3のステップS22の処理については、詳細な説明を省くものとする。
Based on the processing result of the image rotation correction process in either step S17, step S19, or step S21 of FIG. 3, the
制御部52は、図2のステップS13または図3のステップS22の処理を経た後、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図2のステップS5または図3のステップS14の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、当該指示信号の湾曲指示が画像回転補正処理及び湾曲指示補正処理を好適に行うことが可能な有効範囲内に入っているか否かを判定する(図2のステップS23)。
After the processing of step S13 in FIG. 2 or step S22 in FIG. 3, the
具体的には、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図2のステップS5の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であり、かつ、挿入部2が重力に従う方向に挿入されていない場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の45°≦θ≦135°、または、−135°≦θ≦−45°の範囲内になるような湾曲指示がなされたか否かを判定する。
Specifically, the
また、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図2のステップS5の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であり、かつ、挿入部2が重力に従う方向に挿入されている場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の−45°<θ<45°の範囲内になるような湾曲指示がなされたか否かを判定する。
Further, the
なお、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図2のステップS5の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が直視であり、かつ、挿入部2が重力に逆らう方向に挿入されている場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の−180°≦θ<−135°、または、135°<θ≦180°の範囲内になるような湾曲指示がなされたか否かを判定する。
The
一方、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図3のステップS14の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であり、かつ、挿入部2が重力に従う方向に挿入されていない場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の45°≦θ≦135°、または、−135°≦θ≦−45°の範囲内になるような湾曲指示がなされたか否かを判定する。
On the other hand, the
さらに、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図3のステップS14の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であり、かつ、挿入部2が重力に従う方向に挿入されている場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の−45°<θ<45°の範囲内になるような湾曲指示がなされたか否かを判定する。
Further, the
なお、制御部52は、先端部姿勢データの算出結果と、湾曲部姿勢データの算出結果と、図2のステップS4の判定結果と、図3のステップS14の判定結果と、湾曲指示部49aの入力操作に応じて出力される指示信号と、に基づき、先端部2aに装着された光学アダプタ部3の光学レンズ部32の視野方向が側視であり、かつ、挿入部2が重力に逆らう方向に挿入されている場合には、角速度センサ25aと角速度センサ25bとを結ぶ線分の傾きが図4の仮想的な座標系の−180°≦θ<−135°、または、135°<θ≦180°の範囲内になるような湾曲指示がなされたか否かを判定する。
The
そして、制御部52は、図2のステップS23の判定結果に基づき、湾曲指示部49aによる湾曲指示が画像回転補正処理及び湾曲指示補正処理を好適に行うことが可能な有効範囲内に入っているとの判定結果を得た場合、画像回転補正処理及び湾曲指示補正処理を継続または再開する(図2のステップS24)。
Then, based on the determination result of step S23 of FIG. 2, the
また、制御部52は、図2のステップS23の判定結果に基づき、湾曲指示部49aによる湾曲指示が画像回転補正処理及び湾曲指示補正処理を好適に行うことが可能な有効範囲内から外れているとの判定結果を得た場合、画像回転補正処理及び湾曲指示補正処理をそれぞれ中断する(図2のステップS25)。
Further, based on the determination result of step S23 of FIG. 2, the
図11は、表示部に表示される告知情報の、図7及び図8とは異なる例を示す図である。 FIG. 11 is a diagram illustrating an example of the notification information displayed on the display unit, which is different from FIGS. 7 and 8.
さらに、制御部52は、図2のステップS25の処理に伴い、過剰な湾曲指示により画像回転補正処理及び湾曲指示補正処理が中断された旨を示す告知情報を表示させるための制御を画像処理部45に対して行う。そして、このような制御に応じ、例えば図11に示すような告知情報101cが表示部46に表示される。
Furthermore, the
制御部52は、図2のステップS24またはステップS25の処理を経た後、入力部49の回転観察モードスイッチから出力される指示信号に基づき、回転観察モードを終了する旨の指示がなされたか否かを判定する(図2のステップS26)。
Whether or not the
具体的には、制御部52は、入力部49の回転観察モードスイッチがオンされたままであることを検出すると、内視鏡装置1の動作モードを回転観察モードに維持したまま、図2のステップS23の処理を再度行う。また、制御部52は、入力部49の回転観察モードスイッチがオンからオフに切り替えられたことを検出すると、図2のステップS2に戻り、内視鏡装置1の動作モードを回転観察モードから通常観察モードへ移行する。
Specifically, when the
以上に述べたように、本実施例によれば、視野方向が重力方向(または重力方向の逆方向)に向けられ、すなわち、表示部46に表示される観察画像の上下方向と重力方向とを一致させるように画像回転補正を行うことが不可能な場合においては、当該画像回転補正に用いる基準方向を、入力部49の入力操作に応じた任意の方向に設定できるようにしている。また、本実施例によれば、視野方向が水平方向に向けられ、すなわち、表示部46に表示される観察画像の上下方向と重力方向とを一致させるように画像回転補正を行うことが可能な場合においては、当該画像回転補正に用いる基準方向を、制御部52の演算処理結果に応じて決定される方向、または、入力部49の入力操作に応じた任意の方向のいずれかから選択して設定できるようにしている。その結果、本実施例によれば、作業者の違和感を極力生じさせないような観察画像を表示させることができる。
As described above, according to the present embodiment, the viewing direction is directed to the gravitational direction (or the direction opposite to the gravitational direction), that is, the vertical direction of the observation image displayed on the
なお、本実施例においては、少なくとも、重力方向と先端部2aの現在の姿勢を示す先端部姿勢データとを制御部52において算出することができれば、前述の効果が十分に発揮される。そのため、本実施例においては、例えば、先端部2aに角速度センサ25aを設けるとともに、角速度センサ25b及び25cの少なくとも一方を除いて挿入部2を構成してもよい。また、本実施例においては、角速度センサ25a、25b及び25cのうちのいずれか1つの角速度センサを設けて挿入部2を構成してもよい。
In the present embodiment, if the
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。 The present invention is not limited to the above-described embodiments, and it is needless to say that various modifications and applications can be made without departing from the spirit of the invention.
1 内視鏡装置
2 挿入部
2a 先端部
2b 湾曲部
2c 軟性部
3 光学アダプタ部
4 本体部
21 撮像部
21a 撮像素子
22 湾曲コマ
23 ワイヤ
25a 角速度センサ
25b 角速度センサ
25c 角速度センサ
31 照明部
32 光学レンズ部
33 アダプタ識別情報格納部
41 信号処理部
42 照明駆動部
43 湾曲駆動部
45 画像処理部
46 表示部
48 メモリ部
49 入力部
49a 湾曲指示部
50 発音部
51 記録媒体
52 制御部
DESCRIPTION OF
Claims (6)
前記撮像部の撮像対象となる前記被写体の像を取得可能な光学レンズ部と、前記光学レンズ部の視野方向に関する情報が格納されている情報格納部と、を具備し、前記先端部に対して着脱可能に構成された光学アダプタ部と、
少なくとも前記先端部の変位量を検出する変位量検出部と、
前記撮像部から出力される撮像信号に基づいて画像データを生成する信号処理部と、
前記画像データに応じた観察画像が表示される際の上下方向を基準方向に一致させるように回転する処理を行う画像処理部と、
前記変位量検出部の検出結果に基づき、少なくとも前記先端部の現在の姿勢を示す姿勢情報を算出する演算処理部と、
前記先端部に装着された前記光学アダプタ部の前記情報格納部に格納されている情報と、前記演算処理部における前記姿勢情報の算出結果と、に基づき、前記基準方向を重力方向に設定可能な方向、または、前記基準方向を重力方向に設定不可能な方向のいずれに前記挿入部が挿入されているかを判定する判定部と、
を有することを特徴とする内視鏡装置。 An insertion unit provided with a shape that can be inserted into the object to be observed, an imaging unit that images an object inside the object to be observed and outputs an imaging signal;
An optical lens unit capable of acquiring an image of the subject to be imaged by the imaging unit, and an information storage unit in which information relating to a viewing direction of the optical lens unit is stored. An optical adapter configured to be detachable;
A displacement amount detector that detects at least the amount of displacement of the tip; and
A signal processing unit for generating image data based on an imaging signal output from the imaging unit;
An image processing unit that performs a process of rotating the vertical direction when the observation image according to the image data is displayed to match the reference direction;
An arithmetic processing unit that calculates posture information indicating at least the current posture of the tip based on the detection result of the displacement amount detection unit;
The reference direction can be set to the direction of gravity based on information stored in the information storage unit of the optical adapter unit mounted on the tip and the calculation result of the posture information in the arithmetic processing unit. A determination unit that determines whether the insertion unit is inserted in a direction or a direction in which the reference direction cannot be set as a gravity direction;
An endoscope apparatus characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010290802A JP2012137665A (en) | 2010-12-27 | 2010-12-27 | Endoscope apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010290802A JP2012137665A (en) | 2010-12-27 | 2010-12-27 | Endoscope apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012137665A true JP2012137665A (en) | 2012-07-19 |
Family
ID=46675118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010290802A Withdrawn JP2012137665A (en) | 2010-12-27 | 2010-12-27 | Endoscope apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012137665A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018235608A1 (en) * | 2017-06-21 | 2018-12-27 | ソニー株式会社 | Surgery system and surgical image capture device |
US11496695B2 (en) | 2018-09-26 | 2022-11-08 | Olympus Corporation | Endoscope apparatus and method of processing radial images |
EP4232804A4 (en) * | 2020-10-21 | 2024-10-23 | Baker Hughes Holdings Llc | Inspection device articulation transformation based on image transformation |
-
2010
- 2010-12-27 JP JP2010290802A patent/JP2012137665A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018235608A1 (en) * | 2017-06-21 | 2018-12-27 | ソニー株式会社 | Surgery system and surgical image capture device |
CN110740677A (en) * | 2017-06-21 | 2020-01-31 | 索尼公司 | Surgical system and surgical image capturing device |
US11503980B2 (en) | 2017-06-21 | 2022-11-22 | Sony Corporation | Surgical system and surgical imaging device |
US11496695B2 (en) | 2018-09-26 | 2022-11-08 | Olympus Corporation | Endoscope apparatus and method of processing radial images |
EP4232804A4 (en) * | 2020-10-21 | 2024-10-23 | Baker Hughes Holdings Llc | Inspection device articulation transformation based on image transformation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4709946B2 (en) | MEDICAL DEVICE SYSTEM AND MEDICAL DEVICE CALIBRATION METHOD | |
US8913110B2 (en) | Endoscope apparatus and measurement method | |
JP4632577B2 (en) | Measuring endoscope device | |
JP6519144B2 (en) | Endoscope system, image processing apparatus, image processing method, and program | |
US7517314B2 (en) | Endoscopic imaging with indication of gravity direction | |
JP2007319622A (en) | Endoscope system | |
US20050154260A1 (en) | Gravity referenced endoscopic image orientation | |
EP1844696B1 (en) | Endoscopic imaging with indication of gravity direction | |
JP5231173B2 (en) | Endoscope device for measurement and program | |
JP6332524B2 (en) | Endoscope system, endoscope image processing apparatus, and image processing method | |
JP3070022B2 (en) | Ultra wide-angle endoscope | |
JP2012137665A (en) | Endoscope apparatus | |
JP5026769B2 (en) | Endoscope device for measurement, program, and recording medium | |
JP4607043B2 (en) | Endoscopic image forming method with display of gravity direction | |
JP5307407B2 (en) | Endoscope apparatus and program | |
EP2550908A1 (en) | Apparatus for determining a spatial path of a flexible or semi-rigid elongated body | |
JP4916114B2 (en) | Endoscope device | |
JP2006218027A (en) | Endoscope apparatus | |
JP5113990B2 (en) | Endoscope device for measurement | |
JP5153381B2 (en) | Endoscope device | |
CA2541759C (en) | Endoscopic imaging with indication of gravity direction | |
JP5005980B2 (en) | Endoscope device | |
JP2012150231A (en) | Endoscopic device | |
JP4674093B2 (en) | Endoscope apparatus and program | |
JP2008229219A (en) | Electronic endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140304 |