JP5980604B2 - 内視鏡システム - Google Patents

Description

本発明は、内視鏡システムに関し、特に、検査結果の確認を効率的に行うことができる内視鏡システムに関する。

従来より、内視鏡装置は、医療用分野及び工業用分野で広く用いられている。内視鏡装置は、観察対象物内に挿入する挿入部を有し、例えば挿入部の先端部には撮像素子が設けられている。内視鏡装置は、工業分野においては、挿入部を配管、ボイラ、タービン、エンジン等の内部に挿入して、内部の傷や腐食を観察、検査するために使用される。

また、内視鏡装置は、検査中に検査対象内の観察部位の内視鏡画像をモニタに表示可能なだけでなく、内視鏡画像を静止画または動画として記録もすることもできる。その場合、内視鏡画像は、内視鏡装置内の記憶装置あるいは内視鏡装置に着脱可能な記憶媒体に記録される。
記録された内視鏡画像は、検査後に、検査部位の状態を確認するために、内視鏡装置で、あるいはパーソナルコンピュータ（以下、PCと略す）などの外部機器で、再生することができる。

内視鏡検査において例えば傷等が発見されると、検査者である内視鏡装置のユーザは、その傷等が写っている内視鏡画像の動画記録を行う場合がある。その場合、ユーザは、動画で内視鏡画像を撮影して記録した後、記録した動画を再生しながら、再度、検査結果を確認することができる。

また、特開２００５−３４１２４１号公報に開示のように、トリミング画像の生成のために、画像記録時に、各フレーム中の注目点の情報を生成して記録する画像記録再生装置が提案されている。その画像記録再生装置によれば、再生時に、注目点を含む一部の画像が切り出されてトリミング画像データとして出力される。

特開２００２−１２３３４５号公報

内視鏡検査において記録される動画の内視鏡画像が長時間に亘る場合、ユーザは、再生された動画を長時間に亘って見続けなければならない。
検査時間が長い場合に、ユーザにとって、確認したい検査箇所が動画のどの時間帯の、どの箇所に、欠陥部等の注目すべき箇所の動画が記録されているかが分かり難い虞がある。その結果、検査結果の確認に時間が掛かったり、傷等の欠陥部の見逃したりしてしまう虞がある。

例えば、動画中に傷等の注目すべき箇所が写っている場合、動画の全てに注目すべき箇所が写っているわけではない。そのため、ユーザが検査後の再生時に、注目すべき箇所を見つけ出して確認するために、ユーザは、長時間に亘る集中力が要求される。

さらにユーザは、動画を全て確認しても、見逃しの虞があると思えば、再度その動画を再生する必要がある。
また、上記の提案に係る技術を利用しても、ユーザは、動画を長時間に亘って再生しなければならず、かつ注目すべき箇所が分からない。よって、ユーザは長時間に亘って集中力を持って再生画像を見続けなければならない。従って、検査結果の確認に長時間を要し、かつ欠陥部の見逃しの虞もある。

そこで、本発明は、動画の再生時に、動画の記録時に入力された位置の座標情報に基づいて所定のマークを表示するようにして、検査結果の確認を効率的に行うことができる内視鏡システムを提供することを目的とする。

本発明の一態様による内視鏡システムは、記録される動画の内視鏡画像上の位置の入力を検出する位置入力検出部と、前記位置入力検出部において検出された前記位置の座標情報を、前記動画の内視鏡画像の各フレームに対応付けて記憶する座標情報記憶部と、前記動画のフレームデータを記録する記録部と、前記記録部から前記動画のフレームデータを読み出して前記各フレームについて前記座標情報が対応付けられているか否かを判定し、前記座標情報が対応付けられているフレームについては、前記座標情報に基づき前記位置に所定の第１のマークを重畳して、前記動画の内視鏡画像を再生する動画再生部と、を有する。

本発明によれば、動画の再生時に、動画の記録時に入力された位置の座標情報に基づいて所定のマークを表示するようにして、検査結果の確認を効率的に行うことができる内視鏡システムを実現することができる。

本発明の実施の形態に係わる内視鏡装置の構成を示すブロック図である。 本発明の実施の形態に係わる動画記録処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、動画記録時にLCD４の画面上がユーザの指でタッチされた場合の画面の例を説明するための図である。 本発明の実施の形態に係わる動画再生処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる記録された動画の再生時の画面の例を説明するための図である。 本発明の実施の形態に係わるスキップ再生の機能を説明するための図である。 本発明の実施の形態に係わる、再生時に表示される動画と共に表示される再生位置表示バーの例を示す図である。 本発明の実施の形態のオプション１に係る動画再生処理の流れの例を示すフローチャートである。 本発明の実施の形態のオプション２に係る動画再生処理の流れの例を示すフローチャートである。 本発明の実施の形態のオプション３に係る動画再生処理の流れの例を示すフローチャートである。 本発明の実施の形態のオプション４に係る動画再生処理の流れの例を示すフローチャートである。 本発明の実施の形態のオプション６に係る、フレームデータと座標情報の関連を説明するための図である。 本発明の実施の形態のオプション７に係る動画記録処理の流れの例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡システムである内視鏡装置１は、メインユニットである本体部２と、本体部２に接続されるスコープユニット３とを含んで構成される。本体部２は、内視鏡画像、操作メニュー等が表示される表示装置としての液晶パネル（以下、LCDと略す）４を有する。スコープユニット３は挿入部を有し、スコープユニット３と本体部２とは接続ケーブルにより接続されている。
スコープユニット３は、操作部５をさらに有し、ユーザは、操作部５の各種操作ボタンを操作して、被写体の静止画記録、動画記録等を行うことができる。操作部５には、フリーズボタン、記録指示ボタン（以下、RECボタン）、等の各種機能のための操作ボタンが設けられている。

検査者であるユーザは、検査対象の検査部位に挿入部の先端部を近付ける。そしてユーザが検査部位を撮影することにより、内視鏡画像が得られる。内視鏡画像は、LCD４に表示され、また必要に応じて記録媒体であるメモリカード１１に記録される。メモリカード１１は、本体部２に対して着脱可能である。

なお、本実施の形態では、複数のフォルダ及び画像データは、本体部２に対して着脱可能な記録媒体としてのメモリカード１１に記録されるが、本体部２に内蔵されたメモリに記録されるようにしてもよい。

本体部２は、中央処理装置（以下、CPUという）２１と、ROM２２と、RAM２３とを含み、互いにバス２４を介して接続されている。さらに、バス２４には、複数の各種インターフェース（以下、I/Fという）２５〜３１が接続されている。

I/F２５は、スコープユニット３の撮像ユニット４１への駆動信号の送信と、撮像ユニット４１からの撮像信号の受信を行うための駆動及び受信回路である。
撮像ユニット４１は、撮像素子、例えばCCDセンサやCMOSセンサ等、と、撮像素子の撮像面側に配置されたレンズ等の撮像光学系から構成される撮像部である。
I/F２６は、照明部としてのLED４２へ駆動信号を送信するための駆動回路である。
I/F２７は、操作部５からの各種操作信号を受信するための回路である。
LCD４には、タッチパネル３２が設けられている。I/F２８は、タッチパネル３２への駆動信号及びタッチパネル３２からの操作信号を受信するための回路である。I/F２９は、LCD４への画像信号を供給するための回路である。

I/F３０は、メモリカード１１への画像信号の書き込みとメモリカード１１からの画像信号の読み出しを行うための回路である。I/F３０は、本体部２に設けられたコネクタ３３を介して、メモリカード１１に接続されている。メモリカード１１は、コネクタ３３に着脱可能に装着される。

I/F３１は、外部機器であるPC４３を、本体部２に接続するための回路である。PC４３は、図示しないコネクタを介して、本体部２と接続される。本体部２は、コネクタと接続されているI/F３１を介して、PC４３とデータのやりとりをすることができる。
点線で示すように、PC４３は、CPU４３ａとモニタ４４を有する。PC４３には、記憶装置４５が接続されている。さらに、PC４３は、図示しないメモリカード用のコネクタを有する。ユーザは、PC４３にメモリカード１１を装着して、メモリカード１１に記憶された内視鏡画像をモニタ４４に表示し、あるいは記憶装置４５に転送して記憶することができる。

本体部２は、内部にバッテリ３４を内蔵している。バッテリ３４は、本体部２内の各種回路へ電源を供給する。
各I/Fは、CPU２１の制御の下で、動作する。内視鏡装置１が起動されると、CPU２１は、各種駆動信号をI/F２５を介して撮像ユニット４１へ出力する。撮像ユニット４１は、撮像信号をCPU２１へ出力する。CPU２１は、LED４２の駆動指示信号をI/F２６へ出力し、LED４２はI/F２６の出力により駆動される。その結果、LED４２からの照明光が照射された被写体の内視鏡画像がLCD４に表示される。

操作部５は、I/F２７を介して、CPU２１と接続されている。操作部５は、操作部５に対するユーザによる操作内容を示す各種操作信号をCPU２１へ供給する。ユーザが所定のボタンを操作すると、CPU２１は、撮像ユニット４１からの撮像信号に基づいて静止画あるいは動画を、メモリカード１１に記録することができる。また、ユーザは、操作部５を操作して、メモリカード１１に記録された画像を、LCD４に表示させることもできる。

さらに、内視鏡装置１のROM２２に、各種モードに応じた各種プログラムが格納されている。検査者であるユーザの指示に応じて、CPU２１が指示に対応するプログラムを読み出して実行可能に構成されている。内視鏡装置１は、通常の内視鏡検査を行うときのモードである内視鏡検査モードに加えて、他にも各種モードを有している。その複数のモードの１つに、内視鏡画像の動画記録時に、所定のマークを表示して記憶する注目箇所記録モードがある。以下に説明するように、ユーザは、動画記録において注目箇所記録モードが設定されていると、動画データに注目箇所の位置情報を含めて、メモリカード１１内に記録することができる。
（動画記録処理）
図２は、動画記録処理の流れの例を示すフローチャートである。

内視鏡装置１が注目箇所記録モードに設定され、ユーザが内視鏡画像をLCD4に表示させて内視鏡検査を行っているときに、動画記録指示を行うと、図２の処理が実行される。図２の処理は、CPU２１によって実行される。ここで、撮像ユニット４１から出力される撮像信号に基づく内視鏡画像が略リアルタイムにLCD４に表示されるときの内視鏡画像を、ライブ画像とする。
動画記録処理が開始されると、CPU２１は、撮像ユニット４１からの出力される撮像信号から、１フレームの画像データ（すなわちフレームデータ）を取得する（S1）。

１フレームの画像データを取得すると、CPU２１は、タッチパネル３２への操作、すなわちタッチ、があったか、を検知したか否かを判定する（S2）。S2の判定は、タッチパネル３２からの操作信号の受信によって、行うことができる。S2の処理は、記録される動画の内視鏡画像上の位置の入力を検出する位置入力検出部を構成する。

タッチパネル３２への操作を検知した場合（S2:YES）、CPU２１は、そのタッチパネル３２上すなわちLCD4の画面上でタッチされた位置に、所定のマークとしてのインジケータM1を重畳表示する（S3）。S3の処理が、S2において検出された位置の座標情報に基づきその位置に所定のマークM1を、記録される動画の内視鏡画像に重畳して表示する内視鏡画像表示部を構成する。

CPU２１は、S2において検出されたタッチ位置の座標情報をそのフレームデータに追加する（S4）。タッチされた位置の座標情報は、タッチパネル３２からの操作信号に含まれている。

動画データには種々のフォーマットがあるが、フレームデータへの座標情報の追加は、例えば、フレームデータのヘッダ情報に、その座標情報を書き込むことによって行うことができる。なお、座標情報は、フレームデータとは別なファイルに、フレーム番号と対応付けて記憶するようにしてもよい。

図３は、動画記録時に、LCD４の画面上がユーザの指でタッチされた場合の画面の例を説明するための図である。ユーザが指FINでLCD４の画面上を触れると、タッチパネル３２は、そのタッチされた位置の座標情報を、I/F２８を介してCPU２１に出力する。

CPU２１は、指FINで触れられた位置に、図３に示すような円形のインジケータM1を表示する（S3）。インジケータM1は、タッチされた画面上の座標位置を中心に所定の半径を有する円状の図形である。
なお、図３では、インジケータM1は、所定の大きさの直径を有する円の図形であるが、他の形状の図形、例えば、矩形、点、矢印、アニメーションなどでもよい。

タッチパネル３２への操作を検知しない場合（S2:NO）あるいはフレームデータへの座標情報の追加処理（S4）の後、CPU２１は、そのフレームデータの記録処理を実行する（S5）。S5の処理では、各フレームの画像データが、記録媒体であるメモリカード１１に書き込まれる。S4とS5の処理が、S2において検出された位置の座標情報を、動画の内視鏡画像の各フレームに対応付けて記憶する座標情報記憶部を構成する。

そして、動画記録の終了が指示されたか否かが判定される（S6）。動画記録終了の指示は、ユーザが操作部５に対して所定の操作が行うことによって行われる。CPU２１は、その所定の操作の有無により、S6の判定を行う。

動画記録の終了が指示されなければ（S6:NO）、CPU２１は、インジケータM1の表示を消去し（S7）、処理は、S1に移行して、次のフレームについて、上述した処理を実行する。
動画記録の終了が指示されたときは（S6:YES）、動画記録の処理は終了する。

よって、タッチパネル３２へのタッチを検出し続けている間、動画の各フレームには、座標情報が追加されてメモリカード１１への記録が行われ、かつタッチしているLCD４の画面上に所定のインジケータM1が表示される。メモリカード１１は、動画のフレームデータを記録する記録部である。そして、S5では、動画の内視鏡画像を記録する記録部であるメモリカード１１に座標情報が記憶される。このとき座標情報は、各フレームのフレームデータ内に書き込まれることによって、前記各フレームに対応付けて記憶される。

なお、上記の例では、各フレームに対応して座標情報が記憶されるが、検知された座標情報が変化しない場合あるいは略変化しない場合、最初のフレームにのみ対応付けて座標情報を記憶し、最初フレームよりも後のフレームについては座標情報を対応付けて記憶しないようにしてもよい。
（再生処理）
内視鏡画像の動画再生においてその注目箇所表示モードが設定されていると、記録時に記録された位置の座標情報に基づいて、所定のマークが重畳表示される。
図４は、動画再生処理の流れの例を示すフローチャートである。

メモリカード１１に記録された動画は、内視鏡装置１で再生することができる。内視鏡装置１が注目箇所表示モードに設定され、かつユーザがCPU２１に所定の指示を入力して動画の再生処理の指示を行ったときに、図４の処理が実行される。図４の処理は、CPU２１によって実行される。

再生処理が開始されると、CPU２１は、メモリカード１１から、再生指定されたファイルの動画の１フレームの画像データ（すなわちフレームデータ）を取得する（S11）。
CPU２１は、そのフレームに対応付けられた座標情報があるか否かを判定する（S12）。上述した例では、動画記録時に、座標情報が各フレームデータに追加されている。CPU２１は、取得したフレームデータに座標情報が含まれているか否かを検出することによって、S12の判定を行うことができる。

取得したフレームに対応付けられた座標情報がある場合（S12:YES）、CPU２１は、その座標情報で指定される位置にインジケータM2を重畳表示する（S13）。
図５は、記録された動画の再生時の画面の例を説明するための図である。CPU２１は、取得したフレームに対応付けられた座標情報がある場合（S12:YES）、その座標情報で指定された位置に、所定のマークとしての図５に示すような円形のインジケータM2を重畳表示する。本実施形態ではインジケータM2は、上述したインジケータM1と同一である。すなわちインジケータM2は、その座標位置を中心に所定の半径を有する円状の図形である。

以上のように、S12からS15の処理が、記録部であるメモリカード１１から動画のフレームデータを読み出して各フレームについて座標情報が対応付けられているか否かを判定し、座標情報が対応付けられているフレームについては、座標情報に基づきその位置に所定のマークM2を重畳して、動画の内視鏡画像を再生する動画再生部を構成する。

なお、再生時のインジケータM2の形状及び色は、記録時のインジケータM1の形状あるいは色と異なっていてもよい。さらに、図５では、インジケータM2も、所定の大きさの直径を有する円の図形であるが、他の形状の図形、例えば、矩形、点、アニメーションなどでもよい。

取得したフレームに座標情報がない場合（S12:NO）あるいはインジケータM2の表示処理（S13）の後、再生処理が実行され（S14）、スキップ再生の指示の有無が判定される（S15）。よって、座標情報が対応付けられていないフレームについては、所定のマークであるインジケータM2が重畳されないで、動画の内視鏡画像は再生される。

再生画面には、各種コマンドボタンが表示され、そのコマンドの一つとしてスキップ再生を指示するためのボタンが設けられている。ユーザは、LCD４の画面４ａ上で、そのスキップ再生ボタンを選択する（すなわちカーソルで指定する）と、再生位置がスキップされる。このS15のスキップ再生の指示により、現在の再生位置から次に座標情報を有しているフレーム位置へ再生位置を変更して、再生することが実行される。
図６は、スキップ再生の機能を説明するための図である。図６は、再生時間ｔの経過に沿って、座標情報が付加された２つのフレームデータ群F1,F2が存在することを示している。２つのフレームデータ群F1,F2は、時間的に間隔Dだけ離れている。

今、再生位置が位置P1で、動画が再生されてLCD４に表示されているときに、ユーザがスキップ再生を指示すると、再生位置は、位置P1から、座標情報が付加されたフレームデータ群F2の最初の位置P2に変更される。よって、再生位置がP1からP2にジャンプして、位置P2から再生される。位置P1から位置P2までは、座標情報を有さないフレームであるので、ユーザは、位置P1以降の座標情報が有さないフレームを再生せずに飛ばして、座標情報が有しているフレーム位置P2から、動画を再生させることができる。

また、再生位置が位置P3で、動画が再生されてLCD４に表示されているときに、ユーザがスキップ再生を指示すると、再生位置は、位置P3から、連続して座標情報を有するフレームであるフレームデータ群F1を除いて、次に座標情報を有するフレームデータ群F2の最初の位置P2に変更される。

図４に戻り、S14のスキップ再生が指示されると（S15:YES）、CPU２１は、連続して座標情報を有するフレームは除いて、次に座標情報を有するフレームを検索する（S16）。具体的には、S16では、CPU２１は、スキップ再生ボタンの押下を検知すると、メモリカード１１内の再生中の動画ファイル中の現在の再生位置より後のフレームデータを順番に読み出して、座標情報の有無をチェックする。図６の例では、再生位置が位置P1あるいはP3にあるときに、位置P2を検索する処理がS16で行われる。

そして、CPU２１は、検索して得られた座標情報を有するフレームの位置に、再生位置を変更する（S17）。すなわち、S16における座標情報を有するフレームデータの有無のチェックの結果、座標情報を有するフレームを検出すると、その検出されたフレームの位置に、再生位置が変更される。

以上のように、S15からS17において、記録された動画の再生時に、スキップ再生のコマンド入力があると、現在の再生位置のフレームよりも時間的に後のフレームについて、座標情報が対応付けられているフレームを検索し、現在の再生位置から、検索して検出された座標情報が対応付けられているフレームの位置に、再生位置が変更される。
なお、S15のスキップ再生が指示されなければ（S15:NO）、処理は、S18に移行する。

そして、動画再生の終了が指示されたか否かが判定される（S18）。動画再生終了の指示は、ユーザが操作部５に対して所定の操作が行うことによって行われるので、CPU２１は、その所定の操作の有無により、S18の判定を行う。
動画再生の終了が指示されていない場合（S18:NO）、インジケータが表示されているときは、インジケータの表示を消去する（S19）。

以上のように、動画記録処理においては、タッチパネル３２へのタッチが検出されている間は、タッチされた位置（すなわちユーザが注目箇所として指定した位置）の座標情報が各フレームデータに追加あるいは付加しかつインジケータM1をその座標位置に表示し、タッチパネル３２へのタッチが検出されていないときは、各フレームデータはそのまま記録される（すなわち、各フレームデータに座標情報は追加されない）。

そして、動画再生処理においては、読み出して取得したフレームに座標情報が追加されているときは、その座標位置に、注目箇所の目印となるインジケータM2を重畳してフレーム画像の表示を行い、読み出して取得したフレームに座標情報が追加されていないときは、インジケータM2を表示しないで、フレーム画像の表示を行う。
さらに、スキップ再生により、座標情報を有さないフレームデータを、再生しないで、すなわち飛ばして、次に座標情報を有するフレームデータの再生をすることができる。
特に、スキップボタンを繰り返し押すことで、座標情報を有するフレームデータだけを次々と飛ばして表示させることが出来るので、動画の検査内容のチェック時間を大きく短縮することが出来る。

以上のように、ユーザは、動画の記録時に注目箇所を指定することができ、その動画の再生時には、指定された注目箇所を示すマークが動画と共に表示されるので、検査後に容易に注目箇所を見つけ出すことができる。

図７は、再生時に表示される動画と共に表示される再生位置表示バーの例を示す図である。再生位置表示バー５１が、LCD４の画面４ａの下側に表示される。
CPU２１は、動画の再生指示を受信すると、まず、再生の指示された動画のファイルの全フレームデータから、座標情報が付加されたフレームデータの全時間情報を取得する。CPU２１は、その取得した全フレームデータの全時間情報に基づいて、再生位置表示バー５１を生成すると共に、再生位置表示バー５１中の座標情報を有するフレームの存在する位置の色を、背景の色と異なる色に変更する。その結果、再生位置表示バー５１上には、注目箇所が指定された動画が存在する部分を示す注目箇所位置指示部５２が、識別可能に表示される。
以上の再生位置表示バー５１の表示後に、図４に示した動画の再生処理が実行される。

図７に示す再生位置表示バー５１は、再生位置指示マーク５３によって、再生中の位置がユーザに分かるようになっている。さらに、ユーザは、再生位置指示マーク５３をカーソルを利用して移動させると、移動された位置から、動画の再生が行われる。CPU２１は、動画の再生中、常に動画の現在の再生位置を、再生位置指示マーク５３によって示すように、再生位置表示バー５１の表示を更新する。

よって、ユーザは、動画の再生中に、実際に座標情報が付加されたフレームデータを再生しなくても、再生位置表示バー５１に表示された注目箇所位置指示部５２によって、動画中のどの時間帯に注目箇所が存在するかを一目で把握でき、かつその注目箇所の存在する時間帯のみを再生することにより、検査の確認時間の短縮化を図ることができる。

なお、以上説明した実施の形態では、画面上の位置はタッチパネル３２への接触位置に指定されているが、タッチパネルではなく、マウス、ジョイスティックのようなポインティングデバイスにより、画面上の位置を指定するようにしてもよい。

さらになお、上述した実施の形態では、動画の再生は、内視鏡装置１において行われるが、PC４３にメモリカード１１を装着して、PC４３において、図４に示す処理を実行可能なプログラムをCPU４３ａによって実行することにより、上述した動画再生処理を実行することができる。その場合、内視鏡装置１とPC４３により、内視鏡システムが構成され、図４の処理プログラムは、記憶装置４５に記憶され、CPU４３ａにより読み出されて実行される。

また、上述した実施の形態では、注目箇所は１つ指定できるが、複数の注目箇所を指定するようにしてもよい。例えば、タッチパネル３２の画面上を複数の指で同時にタッチすることによって、複数の位置が指定できる。その場合、S4とS5の処理において、検出された位置の複数の座標情報が、動画の内視鏡画像の各フレームに対応付けて記憶可能である。

なお、上述した動画の再生においては、フレームに座標情報が対応付けられているときに、インジケータM2が表示されているが、座標情報が変化しない場合は、インジケータM2は、最初のフレームの表示から、予め設定された時間だけ表示するようにしてもよい。

以上のように、上述した実施の形態の内視鏡システムによれば、内視鏡画像の動画記録において、注目箇所の位置の座標情報を記録することができる。
そして、動画の内視鏡画像の再生時には、動画の記録時に入力された内視鏡画像上の注目箇所の位置の座標情報に基づいて所定のマークを表示して、注目箇所が容易に認識できるようにしたので、ユーザの注目箇所の見逃しを防止することが出来る。

次に、上述した実施の形態についての変形例について説明する。
（変形例１）
変形例１では、再生時、座標情報が対応付けられているフレームデータの再生が開始されると一時停止するようにして、注目箇所の画像の見逃しを防止する。

図８は、変形例１に係る動画再生処理の流れの例を示すフローチャートである。図８において、図４と同じ処理については、同じステップ符号を付し、説明は省略する。図４に示すように、座標情報が対応付けられているフレームデータについて、インジケータM2を重畳表示した後、座標情報が、直前のフレームデータの座標情報と異なるか否かが判定される（S21）。S21における座標情報が直前のフレームデータの座標情報と異なる場合は、当該フレームに座標情報が対応付けられているが直前のフレームデータには座標情報が対応付けられていない場合を含むものである。

CPU２１は、座標情報が、直前のフレームデータの座標情報と異なる場合（前のフレームには注目箇所の座標情報が対応付けられていなかったが、現フレームには座標情報が対応付けられている場合も含む）（S21:YES）、動画の再生の一時停止を行う（S22）。この一時停止の状態では、LCD４には、インジケータM2が重畳された静止画が表示されている。

一時停止されると、動画の再生は一時停止し、前のフレームとは座標情報が異なるフレームの静止画が表示された状態となる。そして、ユーザが、再生を再開する指示をCPU２１に与えると、CPU２１は、座標情報が直前のフレームデータの座標情報と異なるフレームデータからの再生を実行する。

S23では、CPU２１は、再開が指示されたか否かを判定し（S23）、再開が指示されると（S23:YES）、処理は、S14に移行する。再開が指示されないと（S23:NO）、処理は、何もされない。

以上のように、S13からS14の処理では、記録された動画の再生時に、座標情報が対応付けられていないフレームから座標情報が対応付けられているフレームへの再生の変化があったときは、再生を一時停止し、再生の再開が指示されると、一時停止した座標情報が対応付けられているフレームからの再生が開始される。

よって、ユーザは、LCD４から目を離していても、注目箇所を含む画像の再生直後に動画の再生は一時停止されているので、ユーザは、再生の再開を指示することによって、注目箇所の画像から見ることができるので注目箇所の見逃しをすることがない。また、当該フレームと直前のフレームデータが共に座標情報を有している場合に、注目箇所の位置が異なったフレームでも、再生は一時停止されているので、ユーザは、再生の再開を指示することによって、注目箇所の位置の変更のあった画像から見ることができるので注目箇所の見逃しをすることがない。

なお、S21では、取得したフレームの座標情報が直前のフレームデータの座標情報と異なるか否かを判定しているが、座標情報の差が所定の値以内であるような、ほとんど異ならない場合、すなわち２つの座標が略同じである場合は、２つの座標情報が異ならないというようにしてもよい。わずかな差異で一時停止するのを防止するためである。
（変形例２）
変形例２では、再生時、座標情報が対応付けられているフレームデータの再生が開始されると、所定の時間だけ前に戻って再生をするようにして、注目箇所の画像の見逃しを防止する。

図９は、変形例２に係る動画再生処理の流れの例を示すフローチャートである。図９の処理は、図４の処理のS13とS14の間に追加されて実行される処理である。
S12で、取得したフレームに座標情報があると判定されると（S12:YES）、CPU２１は、インジケータM2の表示を行い（S13）、所定の時間、例えば５秒前からの現時点までのフレームデータを、RAM２３の所定の領域にコピーする（S31）。

CPU２１は、そのコピーされたフレームデータを再生し（S32）、コピーしたフレームデータの最後まで再生する。
CPU２１は、コピーしたフレームデータの最後まで再生したか否かを判定し（S33）、最後まで再生していなければ（S33:NO）、コピーの再生を行う（S32）。

コピーしたフレームデータが最後まで再生されると（S33:YES）、処理は、S13へ移行して、座標情報を有するフレーム以降のフレームの再生が行われる。
図９の処理は、例えば、CPU２１がRAM２３あるいは別のバッファメモリに、再生した直近の所定の時間分のフレームデータを常に格納して、その格納された所定の時間分（例えば直近の５秒分）のフレームデータをRAM２３の所定の領域にコピーすることによって、実現することができる。

以上のように、S13からS14の処理では、記録された動画の再生時に、座標情報が対応付けられていないフレームから座標情報が対応付けられているフレームへの再生の変化があったときは、座標情報が対応付けられていないフレームよりも所定の時間だけ前のフレームに一回だけ戻って、所定の時間だけ前のフレームからの再生が行われる。

よって、ユーザは、注目箇所の撮影されているフレームよりも、所定の時間だけ前から、インジケータM2の重畳表示がされた状態で、注目箇所を注意して見て確認することができる。特に、動画記録時の座標指定の時間が短い場合の見逃しの防止に有効である。
（変形例３）
変形例３では、再生時、座標情報が対応付けられているフレームデータについての静止画を記録するようにして、動画から注目箇所についての静止画を切り出して作成する作業を自動化する。

図１０は、本オプション３に係る動画再生処理の流れの例を示すフローチャートである。図１０の処理は、図４の処理のS13とS14の間に追加されて実行される処理である。
S12で、取得したフレームに座標情報が対応付けられていると判定されると（S12:YES）、CPU２１は、インジケータM2の表示を行い（S13）、CPU２１は、現フレームの座標情報が、前フレームの座標情報と異なるか否かを判定する（S41）。

なお、S41では、取得したフレームの座標情報が直前のフレームデータの座標情報と異なるか否かを判定しているが、S21の判定と同様に、座標情報の差が所定の値以内であるようなほとんど異ならない場合、すなわち２つの座標が略同じである場合は、２つの座標情報が異ならないというようにしてもよい。

現フレームの座標情報が前フレームの座標情報と異なる場合（前のフレームには注目箇所の座標情報が対応付けられていなかったが、現フレームには座標情報が対応付けられている場合も含む）（S41:YES）、CPU２１は、現フレームの静止画ファイルを作成する（S42）。そして、CPU２１は、作成された静止画ファイルをメモリカード１１に記録する（S43）。
なお、作成される静止画ファイルには、現フレームに対応付けられている座標情報を含めてもよいし、含めなくてもよい。
現フレームに対応付けられている座標情報が前フレームに対応付けられている座標情報と異ならない場合（S41:NO）、処理は、何もしない。

以上のように、S13からS14の処理が、動画の再生時に、座標情報が対応付けられていないフレームから座標情報が対応付けられているフレームへの再生の変化があったときは、その変化における座標情報が対応付けられているフレームの静止画を生成して、記録部であるメモリカード１１に記録する静止画記録部を構成する。

よって、変形例３によれば、座標情報を有しているフレームであると判断された場合、そのフレームの静止画が自動的に保存されるので、便利である。
（変形例４）
変形例４では、再生時、座標情報が対応付けられているフレームデータについての動画を記録するようにして、注目箇所についての動画を切り出して作成する作業を自動化する。

図１１は、変形例４に係る動画再生処理の流れの例を示すフローチャートである。なお、図１１の処理は、CPU２１が、動画再生時に、いわゆるバックグラウンド処理として実行される。
CPU２１は、再生している動画ファイルの最初フレームデータから順番に読み出し、前のフレームと座標情報が異なるか否かを判定する（S51）。

なお、S51では、取得したフレームの座標情報が直前のフレームデータの座標情報と異なるか否かを判定しているが、S21の判定と同様に、座標情報の差が所定の値以内であるような略異ならない場合、すなわち２つの座標が略同じである場合は、２つの座標情報が異ならないというようにしてもよい。

読み出したフレームに対応付けられている座標情報と前のフレームに対応付けられている座標情報が異なる場合（S51:YES）、CPU２１は、読み出したフレームの前後のフレームデータをRAM２３にコピーする（S52）。例えば、読み出したフレームの前後それぞれ５秒（合わせて１０秒）のフレームデータがコピーされる。

CPU２１は、コピーしたフレームデータから動画ファイルを作成し（S53）、作成された動画ファイルをメモリカード１１に記録する（S54）。
なお、作成される動画ファイルには、各フレームに対応付けられている座標情報を含めてもよいし、含めなくてもよい。

現フレームに対応付けられている座標情報が前フレームに対応付けられている座標情報と異ならない場合（S51:NO）、処理は、何もしない。
以上のように、S13からS14の処理が、動画の再生時に、座標情報が対応付けられていないフレームから座標情報が対応付けられているフレームへの再生の変化があったときは、その変化の前後に亘る所定の時間のフレームを含む動画を生成して、記録部であるメモリカード１１に記録する動画記録部を構成する。

よって、変形例４によれば、座標情報を有しているフレームであると判断された場合、そのフレームの前後のフレームを含む動画が自動的に保存されるので、便利である。
（変形例５）
変形例５では、動画の再生時に、インジケータの軌跡が表示される。

上述した実施の形態及び各変形例では、インジケータM1とM2は、各フレームについての注目箇所を示す。そのため、注目箇所が変化すると、変化に従ってインジケータM1とM2は移動する。

しかし、注目箇所の位置の変化が、軌跡として表示した方が、より検査し易い場合がある。
そこで、変形例５では、インジケータM1とM2の軌跡を表示するようにした。インジケータM1とM2の軌跡表示は、例えば、図２におけるS7の処理及び図４におけるS19の処理、すなわちインジケータM1とM2が表示されているときにインジケータ表示を消去する処理、を行わないようにすることによって実現することができる。すなわち、図２及び図４において、S7とS19の処理を実行させないようにすることによって、インジケータM1とM2の軌跡が表示される。

なお、軌跡の表示は、動画の記録時、あるいは再生時の一方においてのみ行うようにしてもよい。
以上のように、動画の記録処理と再生処理の少なくとも一方において、S2において検出された位置に基づいて、その位置の軌跡が表示される。インジケータM1及びM2が、点である場合、点の軌跡となるので、フリーハンドで描いた図形として表示される。

その結果、インジケータM2の表示は、重畳表示されるので、注目箇所の指示が、インジケータM2の軌跡として再現表示されるので、ユーザは、注目箇所を把握し易い。
（変形例６）
変形例６では、再生時、インジケータの表示位置が変更可能に構成されている。
再生された動画に付加されたインジケータM2の位置が、適切な位置からずれている場合がある。そのような場合、ユーザは、動画を一時停止して、内視鏡装置１をインジケータM2の座標を変更する座標変更モードにすると、ユーザは、インジケータM2をカーソルで選択状態にして、移動することができる。

座標変更モードでは、ユーザが画面上で、選択状態のインジケータM2を移動して、所望の位置で確定を指示すると、そのフレームに対応付けられている座標情報が、その移動された位置の座標情報で更新される。

図１２は、フレームデータと座標情報の関連を説明するための図である。動画データファイルは、図１２に示すように、ヘッダー部と、映像データ部と、音声データ部とを含む。図１２に示すように、フレームFnに対応付けられている座標情報は、ヘッダー部のPDｎの記憶領域に記憶されている。

よって、座標変更モードで、ユーザが画面上で、フレームFnに対するインジケータM2を移動して所望の位置で確定を指示すると、CPU２１は、その移動と確定を検知して、ヘッダー部のPDｎのデータを、その変更後の位置の座標情報に更新する。
以上のように、記録された動画の再生時に、再生を一時停止し、その一時停止においてされているフレームについての座標情報が変更可能となっている。

よって、変形例６によれば、表示されるインジケータM2の表示位置が、より適切な位置を修正されて記録されることで、さらに検査効率の向上になる。
（変形例７）
変形例７は、動画の記録中に、動画を一時的に静止画にして、その静止画に対して複数の注目箇所を指定できるようにしたものである。

図１３は、変形例７に係る動画記録処理の流れの例を示すフローチャートである。図１３の処理は、図２の処理のS1とS2の間に追加されて実行される処理である。
S1でフレームの画像データを取得した後、CPU２１は、ユーザによりフレームの停止の指示がされたか否かを判定する（S61）。フレームの停止の指示は、ユーザがLCD４上に表示された所定のボタンを選択することによって、行われる。

フレームの停止の指示があると（S61:YES）、タッチパネル３２への操作の有無を検知する（S62）。タッチパネル３２への操作が検知されると（S62:YES）、そのタッチ位置の座標情報をそのフレームデータに記録する（S63）。フレームの停止の指示がなければ（S61:NO）、処理は何もしない。

フレームの停止の指示がないとき（S61:NO）及びタッチ位置の座標情報の記録（S63）後、CPU２１は、フレームの停止が解除されたか否かを判定する（S64）。
フレームの停止が解除されなければ（S64:NO）、処理は、S62へ移行し、フレームの停止が解除されれば（S64:YES）、処理は、終了する。

以上のように、動画の記録時に、複数の座標情報を、動画の内視鏡画像の各フレームに対応付けて記憶可能である。インジケータM1及びM2が点である場合、点の軌跡となるので、各フレームに、フリーハンドで描いた図形にように表示させることもできる。 よって、複数の注目箇所を１つのフレームに指示できるので、検査効率の向上に繋がる。

なお、以上７つの変形例を説明したが、７つの変形例は、適用が可能な範囲で、任意の組み合わせて同時に実行可能である。

以上のように、上述した実施の形態及び各オプションの内視鏡システムによれば、動画の内視鏡画像の再生時に、動画の記録時に入力された内視鏡画像上の位置の座標情報に基づいて所定のマークを表示するようにして、検査結果の確認を効率的に行うことができる内視鏡システムを実現することができる。ひいては、より検査のミスの低減、検査にかかる労力の低減にも繋がる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１ 内視鏡装置、２ 本体部、３ スコープユニット、４ LCD、５ 操作部、１１ メモリカード、２１ CPU、２２ ROM、２３ RAM、２４ バス、２５〜３１ インターフェース、４１ 撮像ユニット、４２ LED、４３ PC、４３ａ CPU、４４ モニタ。

Claims (15)

1. 記録される動画の内視鏡画像上の位置の入力を検出する位置入力検出部と、
   前記位置入力検出部において検出された前記位置の座標情報を、前記動画の内視鏡画像の各フレームに対応付けて記憶する座標情報記憶部と、
   前記動画のフレームデータを記録する記録部と、
   前記記録部から前記動画のフレームデータを読み出して前記各フレームについて前記座標情報が対応付けられているか否かを判定し、前記座標情報が対応付けられているフレームについては、前記座標情報に基づき前記位置に所定の第１のマークを重畳して、前記動画の内視鏡画像を再生する動画再生部と、
   を有することを特徴とする内視鏡システム。
2. 前記座標情報記憶部は、前記座標情報を、前記各フレームのフレームデータ内に書き込むことによって、前記各フレームに対応付けて記憶することを特徴とする請求項１に記載の内視鏡システム。
3. 前記座標情報記憶部は、前記動画の内視鏡画像を記録する記録部に前記座標情報を記憶することを特徴とする請求項１または２に記載の内視鏡システム。
4. 前記位置入力検出部において検出された前記位置の前記座標情報に基づき前記位置に所定の第２のマークを、前記記録される動画の内視鏡画像に重畳して表示する内視鏡画像表示部を有することを特徴とする請求項１から３のいずれか１つに記載の内視鏡システム。
5. 前記動画再生部は、前記座標情報が対応付けられていないフレームについては、前記所定の第１のマークを重畳しないで、前記動画の内視鏡画像を再生することを特徴とする請求項１から４のいずれか１つに記載の内視鏡システム。
6. 前記位置入力検出部は、前記内視鏡画像が表示される表示部の画面上の、タッチパネル又はポインティングデバイスにより指定された位置を、前記位置として検出することを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
7. 前記動画再生部は、記録された前記動画の再生時に、スキップ再生のコマンド入力があると、現在の再生位置のフレームよりも時間的に後のフレームについて、前記座標情報が対応付けられているフレームを検索し、前記現在の再生位置から、検索して検出された前記座標情報が対応付けられているフレームの位置に、再生位置を変更することを特徴とする請求項１から６のいずれか１つに記載の内視鏡システム。
8. 前記動画再生部は、記録された前記動画の再生時に、前記座標情報が対応付けられていないフレームから前記座標情報が対応付けられているフレームへの再生の変化があったときは、再生を一時停止し、再生の再開が指示されると、前記一時停止した前記座標情報が対応付けられているフレームからの再生を開始することを特徴とする請求項１から７のいずれか１つに記載の内視鏡システム。
9. 前記動画再生部は、記録された前記動画の再生時に、前記座標情報が対応付けられていないフレームから前記座標情報が対応付けられているフレームへの再生の変化があったときは、前記座標情報が対応付けられていないフレームよりも所定の第１の時間だけ前のフレームに一回だけ戻って、前記所定の第１の時間だけ前のフレームからの再生を行うことを特徴とする請求項１から７のいずれか１つに記載の内視鏡システム。
10. 前記動画再生部による前記動画の再生時に、
    前記座標情報が対応付けられていないフレームから前記座標情報が対応付けられているフレームへの再生の変化があったときは、
    前記変化における前記座標情報が対応付けられているフレームの静止画を生成して、前記記録部に記録する静止画記録部を有することを特徴とする請求項１から９のいずれか１つに記載の内視鏡システム。
11. 前記動画再生部による前記動画の再生時に、前記座標情報が対応付けられていないフレームから前記座標情報が対応付けられているフレームへの再生の変化があったときは、前記変化の前後に亘る所定の第２の時間のフレームを含む動画を生成して、前記記録部に記録する動画記録部を有することを特徴とする請求項１から１０のいずれか１つに記載の内視鏡システム。
12. 前記動画再生部は、前記位置入力検出部において検出された前記位置に基づいて、前記位置の軌跡を表示することを特徴とする請求項１から１１のいずれか１つに記載の内視鏡システム。
13. 前記動画再生部は、記録された前記動画の再生時に、再生を一時停止し、前記一時停止においてされているフレームについての前記座標情報を変更可能であることを特徴とする請求項１から７のいずれか１つに記載の内視鏡システム。
14. 前記座標情報記憶部は、複数の座標情報を、前記動画の内視鏡画像の各フレームに対応付けて記憶可能であることを特徴とする請求項１から１３のいずれか１つに記載の内視鏡システム。
15. 前記動画再生部による前記動画の再生時に、
    取得した現フレームの座標情報が直前のフレームの座標情報と異なる場合、
    前記現フレームの静止画を生成して、前記記録部に記録する静止画記録部を有すること
    を特徴とする請求項１から９のいずれか１つに記載の内視鏡システム。

Images