JP2006334297A

JP2006334297A - Image display device

Info

Publication number: JP2006334297A
Application number: JP2005165696A
Authority: JP
Inventors: Akira Matsui; 亮松井
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2005-06-06
Filing date: 2005-06-06
Publication date: 2006-12-14
Anticipated expiration: 2025-06-06
Also published as: JP4716794B2

Abstract

【課題】長時間撮像された画像であっても、容易に必要な画像を表示および選択すること。
【解決手段】カプセル型内視鏡で取得された画像に対し、連続する画像における特徴量の変化が所定量変化した変化点の画像を画像検知部５５で検知し、この画像検知部５５で検知された変化点の画像の位置情報を、時刻表示制御部５７によって時刻表示部４０ｂに表示させるとともに、変化点の画像の表示を指定する入力部２０の指定に基づき、画像選択部５３が選択した変化点の画像を、画像表示制御部５６が画像表示部４０ａに表示させて、不要な画像をスキップする。
【選択図】図２To display and select a necessary image easily even for an image captured for a long time.
An image detecting unit detects an image of a change point where a change in a feature amount in a continuous image is changed by a predetermined amount with respect to an image acquired by a capsule endoscope, and the image detecting unit detects the detected image. The position information of the image of the changed point is displayed on the time display unit 40b by the time display control unit 57, and the image selection unit 53 selects based on the specification of the input unit 20 that specifies the display of the image of the change point. The image display control unit 56 displays the image of the change point on the image display unit 40a, and skips an unnecessary image.
[Selection] Figure 2

Description

本発明は、取り込まれた被検体内導入装置からの画像とともに、この画像の変化点を表示部に表示する画像表示装置に関するものである。 The present invention relates to an image display apparatus that displays a change point of this image on a display unit together with the captured image from the intra-subject introduction apparatus.

近年、内視鏡の分野では、撮像機能と無線通信機能とが装備されたカプセル型内視鏡が登場している。このカプセル型内視鏡は、観察（検査）のために被検体である被検者の口から飲み込まれた後、被検者の生体（人体）から自然排出されるまでの観察期間、たとえば食道、胃、小腸などの臓器の内部（体腔内）をその蠕動運動に伴って移動し、撮像機能を用いて所定の撮像レートで順次撮像する構成を有する。 In recent years, in the field of endoscopes, capsule endoscopes equipped with an imaging function and a wireless communication function have appeared. This capsule endoscope is an observation period, for example, the esophagus, after it is swallowed from the subject's mouth for observation (examination) until it is naturally discharged from the subject's living body (human body). In addition, the inside (inside the body cavity) of an organ such as the stomach and the small intestine is moved along with its peristaltic movement, and images are sequentially captured at a predetermined imaging rate using an imaging function.

また、これら臓器内を移動するこの観察期間、カプセル型内視鏡によって体腔内で撮像された画像データは、順次無線通信などの無線通信機能により、被検体の外部に送信され、外部の受信装置内に設けられたメモリに蓄積される。被検者がこの無線通信機能とメモリ機能を備えた受信装置を携帯することにより、被検者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間であっても、不自由を被ることなく自由に行動が可能になる。観察後は、医者もしくは看護士によって、受信装置のメモリに蓄積された画像データに基づいて、体腔内の画像をディスプレイなどの表示手段に表示させて診断を行うことができる（特許文献１参照）。 Also, during this observation period of moving through these organs, image data imaged in the body cavity by the capsule endoscope is sequentially transmitted to the outside of the subject by a wireless communication function such as wireless communication, and an external receiving device It is stored in a memory provided in the inside. When the subject carries the receiving device equipped with the wireless communication function and the memory function, the subject is incapable of performing the observation even during the observation period from swallowing the capsule endoscope until it is discharged. It is possible to act freely without incurring freedom. After the observation, a doctor or a nurse can make a diagnosis by displaying an image in the body cavity on a display means such as a display based on the image data stored in the memory of the receiving device (see Patent Document 1). .

ところで、近年では、ワークステーションなどの画像表示装置のディスプレイ（表示部）に体腔内の画像を表示させることがあり、この場合には、表示部に上記画像を順次表示するほか、たとえば画像認識の容易化や診断の迅速化をはかるために、表示される画像の時刻を認識可能なタイムバーや医師などによって上記画像から選択された選択画像（サムネイル画像）を合わせて表示するとともに、このタイムバーとサムネイル画像を撮像時間に対応させて結線させて、表示部に表示するものも考案されている。 By the way, in recent years, an image in a body cavity may be displayed on a display (display unit) of an image display device such as a workstation. In this case, in addition to sequentially displaying the image on the display unit, for example, image recognition In order to facilitate and speed up diagnosis, a time bar that can recognize the time of the displayed image and a selected image (thumbnail image) selected from the above images by a doctor or the like are displayed together. In addition, there has been devised a method in which thumbnail images are connected in correspondence with imaging time and displayed on a display unit.

特開２００３−１９１１１号公報Japanese Patent Laid-Open No. 2003-19111 特開２０００−３３３１１７号公報JP 2000-333117 A

しかしながら、カプセル型内視鏡によって取得された検査画像は、たとえば１０時間の長時間にわたり、膨大な枚数の画像となり、通常はこれら画像を１コマ毎、表示部に連続表示させて医者などが観察していた。そして、所望の画像を見たい場合には、適当な画像で表示を止めて、１コマ１コマ、コマ送りをして所望の画像を選択して表示させていたので、これら画像の中から医者などが見たい画像を素早く選択することができないという問題があった。 However, the examination images acquired by the capsule endoscope become a huge number of images over a long period of time, for example, 10 hours. Usually, these images are continuously displayed on the display unit for each frame and observed by a doctor or the like. Was. When the user wants to see a desired image, the display is stopped at an appropriate image, and the frame is advanced by one frame, and the desired image is selected and displayed. There is a problem that it is not possible to quickly select an image to be viewed.

また、特許文献２に示すように、表示されるシーンのシーンチェンジ単位で巻き戻しや早送りを行う再生装置もあるが、カプセル型内視鏡によって取得される検査画像は連続画像であり、シーンチェンジなどはなく、また医者などが認識したい画像は、たとえば出血部位などが表示されている画像であり、たとえシーンチェンジがあったとしても、単純にシーンチェンジなどで変化点を設定したのでは、認識の必要な出血部位などの認識したい画像を見逃す恐れがある。 Also, as shown in Patent Document 2, there is a playback device that performs rewinding and fast-forwarding in units of scene changes of a displayed scene. However, an inspection image acquired by a capsule endoscope is a continuous image, and scene change The image that the doctor wants to recognize is, for example, an image showing the bleeding site, etc. Even if there is a scene change, if the change point is simply set by scene change etc., it will be recognized There is a risk of missing an image that you want to recognize, such as a necessary bleeding site.

本発明は、上記問題に鑑みてなされたものであって、長時間撮像された画像であっても、容易に必要な画像を選択および表示することが可能となる画像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an image display device that can easily select and display a necessary image even for an image captured for a long time. Objective.

また、本発明の他の目的は、画像観察時の操作を効率的に行うことができる画像表示装置を提供することにある。 Another object of the present invention is to provide an image display apparatus capable of efficiently performing operations during image observation.

上述した課題を解決し、目的を達成するために、本発明にかかる画像表示装置は、取り込んだ画像を表示部内の画像表示領域に順次表示する画像表示手段と、連続する前記画像における所定の特徴を表す特徴量の変化が所定量変化した画像を変化点の画像として検知する画像検知手段と、前記画像検知手段によって検知された前記変化点の画像のうち、現に前記画像表示手段に表示された画像の近傍に位置する前記変化点の画像を表示させることを指定する指定手段と、前記指定手段による指定をもとに前記変化点の画像を選択する画像選択手段と、前記取り込んだ画像を前記画像表示手段に順次表示させるとともに、前記指定手段による指定があった場合、前記順次表示される画像に代えて、前記画像選択手段によって選択された前記変化点の画像を、前記画像表示手段に表示させる制御を行う表示制御手段と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an image display device according to the present invention includes image display means for sequentially displaying captured images in an image display area in a display unit, and predetermined features in the continuous images. An image detecting means for detecting an image in which a change in a feature amount representing a predetermined amount has changed as an image of a changing point, and among the images of the changing point detected by the image detecting means, the image is actually displayed on the image display means Designation means for designating display of the image of the change point located in the vicinity of the image; image selection means for selecting the image of the change point based on designation by the designation means; and The image display means sequentially displays the change selected by the image selection means in place of the sequentially displayed images when designated by the designation means. The image, characterized in that it comprises a display control means for performing control to display on the image display unit.

また、請求項２の発明にかかる画像表示装置は、上記発明において、前記取り込んだ画像全体の時刻を示す時間情報を前記表示部内の時刻表示領域に表示する時刻表示手段と、前記画像検知手段によって検知された前記変化点の画像の時刻を示す時間情報を、前記時刻表示手段に表示させる制御を行う時刻表示制御手段と、をさらに備えることを特徴とする。 According to a second aspect of the present invention, in the image display device according to the second aspect, the time display means for displaying time information indicating the time of the entire captured image in the time display area in the display section, and the image detection means. Time display control means for performing control to display time information indicating the time of the detected image of the change point on the time display means is further provided.

また、請求項３の発明にかかる画像表示装置は、上記発明において、前記画像検知手段は、前記所定の特徴を表す特徴量として、前記各画像における特定の赤色成分をもつ領域が含まれる割合を示す赤色レベル値が所定レベル値変化した画像を前記変化点の画像として検知することを特徴とする。 According to a third aspect of the present invention, in the image display device according to the third aspect, the image detection unit includes a ratio of a region having a specific red component in each image as the feature amount representing the predetermined feature. An image in which a red level value shown is changed by a predetermined level value is detected as an image of the change point.

また、請求項４の発明にかかる画像表示装置は、上記発明において、前記画像表示装置に取り込まれる画像は、被検体内導入装置で取得された画像であり、前記変化点検知手段は、前記所定の特徴を表す特徴量として、前記被検体内導入装置の移動量が所定量移動したことを示す前記画像を前記変化点の画像として検知することを特徴とする。 In the image display device according to a fourth aspect of the present invention, in the above invention, the image captured by the image display device is an image acquired by an in-subject introduction device, and the change point detection means As the feature amount representing the above feature, the image indicating that the movement amount of the intra-subject introduction apparatus has moved by a predetermined amount is detected as the image of the change point.

また、請求項５の発明にかかる画像表示装置は、上記発明において、前記表示制御手段は、経時的に前記画像を前記画像表示手段に順次表示させることを特徴とする。 According to a fifth aspect of the present invention, in the image display apparatus according to the fifth aspect, the display control means causes the image display means to sequentially display the images over time.

また、請求項６の発明にかかる画像表示装置は、上記発明において、前記画像選択手段が前記指定手段による指定をもとに選択する前記変化点の画像は、現に前記画像表示手段に表示された画像の次または直前に位置する前記変化点の画像であることを特徴とする。 According to a sixth aspect of the present invention, in the image display device according to the sixth aspect, the image of the change point selected by the image selection unit based on the designation by the designation unit is actually displayed on the image display unit. It is an image of the change point located next or immediately before the image.

また、請求項７の発明にかかる画像表示装置は、上記発明において、前記時刻表示制御手段は、前記時刻表示手段に前記変化点の画像の時刻を指示する時刻指示部を表示させ、かつ前記指定手段の指定毎に前記位置指定部を、現指示位置の次または直前の前記変化点の画像の時刻を指示する位置に表示させる制御を行うことを特徴とする。 Further, in the image display device according to the invention of claim 7, in the above invention, the time display control means causes the time display means to display a time instruction section for instructing the time of the image at the change point, and the designation. Each time the means is specified, the position specifying unit is controlled to display at a position indicating the time of the image of the change point next to or immediately before the current specified position.

本発明にかかる画像表示装置は、連続する画像における所定特徴を表す特徴量の変化が所定量変化した画像を変化点の画像として画像検知手段によって検知し、指定手段による変化点の画像の表示指定をもとに前記変化点の画像を画像選択手段によって選択し、さらに表示制御手段がこの選択された前記変化点の画像を、順次表示される画像に代えて、画像表示手段に表示させるので、たとえば前記指定手段による指定があった場合、不要な画像をスキップすることができるようになり、長時間撮像された画像であっても、容易に必要な画像を選択および表示することが可能となるという効果を奏する。 An image display device according to the present invention detects an image in which a change in a feature amount representing a predetermined feature in a continuous image has changed by a predetermined amount by an image detection unit as a change point image, and designates display of the change point image by a specification unit The image of the change point is selected by the image selection unit based on the image display unit, and the display control unit displays the selected image of the change point on the image display unit instead of the sequentially displayed image. For example, when there is a designation by the designation means, an unnecessary image can be skipped, and a necessary image can be easily selected and displayed even for an image captured for a long time. There is an effect.

以下に、本発明にかかる画像表示装置の実施の形態を図１〜図１１の図面に基づいて詳細に説明する。なお、本発明は、これらの実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更実施の形態が可能である。 Embodiments of an image display apparatus according to the present invention will be described below in detail with reference to the drawings of FIGS. The present invention is not limited to these embodiments, and various modifications can be made without departing from the scope of the present invention.

（実施の形態１）
図１は、本発明にかかる被検体内情報取得システムの構成概念を示すシステム概念図である。図１において、この被検体内情報取得システムは、被検体１の外部に配置され、受信機能を有する受信装置２と、被検体１の体腔内に導入され、体腔内画像を撮像して受信装置２に対してデータ送信を行う飲み込み型のカプセル型内視鏡３とを備えている。また、被検体内情報取得システムは、受信装置２が受信したデータに基づいて体腔内画像の表示を行う画像表示装置４と、受信装置２と画像表示装置４間でデータの受け渡しを行うための携帯型記録媒体５とを備えている。なお、受信装置２は、被検体１によって着用される受信ジャケット２ａと、受信ジャケット２ａを介して受信される無線信号の処理などを行う外部装置２ｂとを備える。 (Embodiment 1)
FIG. 1 is a system conceptual diagram showing a configuration concept of an in-vivo information acquiring system according to the present invention. In FIG. 1, this in-subject information acquisition system is arranged outside a subject 1 and has a receiving function 2 and a receiving device introduced into the body cavity of the subject 1 and captures an in-vivo image. 2 is a swallowable capsule endoscope 3 that transmits data to 2. The in-subject information acquisition system is configured to display an intra-body cavity image based on data received by the receiving device 2 and to exchange data between the receiving device 2 and the image display device 4. And a portable recording medium 5. The receiving device 2 includes a receiving jacket 2a worn by the subject 1 and an external device 2b that performs processing of a radio signal received through the receiving jacket 2a.

画像表示装置４は、カプセル型内視鏡３によって撮像された体腔内画像を表示するためのものであり、携帯型記録媒体５によって得られるデータに基づいて画像表示を行うワークステーションなどのような構成を有する。具体的には、画像表示装置４は、ＣＲＴディスプレイ、液晶ディスプレイなどによって、カプセル型内視鏡３が撮像した複数の静止画像を、静止画像のフレーム番号にしたがって順次表示するように構成される。 The image display device 4 is for displaying an in-vivo image picked up by the capsule endoscope 3, such as a workstation that displays an image based on data obtained by the portable recording medium 5. It has a configuration. Specifically, the image display device 4 is configured to sequentially display a plurality of still images captured by the capsule endoscope 3 in accordance with the frame number of the still image, using a CRT display, a liquid crystal display, or the like.

携帯型記録媒体５は、外部装置２ｂおよび画像表示装置４にも接続可能であって、両者に対して挿入されて、接続された時に情報の出力または記録が可能な構造を有する。この実施の形態では、携帯型記録媒体５は、カプセル型内視鏡３が被検体１の体腔内を移動している間は、外部装置２ｂに挿入されてカプセル型内視鏡３から送信されるデータを記録する。次に、カプセル型内視鏡３が被検体１から排出された後、つまり、被検体１の内部の撮像が終了した後には、外部装置２ｂから取り出されて画像表示装置４に挿入され、この画像表示装置４によって、画像表示装置４に記録されたデータが読み出される構成を有する。たとえば、この携帯型記録媒体５は、コンパクトフラッシュ（登録商標）メモリなどから構成され、外部装置２ｂと画像表示装置４とのデータの入出力を、携帯型記録媒体５を介して間接的に行うことができ、外部装置２ｂと画像表示装置４との間が有線で直接接続された場合と異なり、被検体１が体腔内の撮影中に自由に動作することが可能となる。 The portable recording medium 5 can be connected to the external device 2b and the image display device 4, and has a structure in which information can be output or recorded when inserted and connected to both. In this embodiment, the portable recording medium 5 is inserted into the external device 2 b and transmitted from the capsule endoscope 3 while the capsule endoscope 3 is moving in the body cavity of the subject 1. Record data. Next, after the capsule endoscope 3 is ejected from the subject 1, that is, after imaging of the inside of the subject 1 is completed, the capsule endoscope 3 is taken out from the external device 2b and inserted into the image display device 4. The image display device 4 is configured to read data recorded in the image display device 4. For example, the portable recording medium 5 is composed of a compact flash (registered trademark) memory or the like, and inputs / outputs data between the external device 2 b and the image display device 4 indirectly via the portable recording medium 5. Unlike the case where the external device 2b and the image display device 4 are directly connected by wire, the subject 1 can freely operate during imaging in the body cavity.

次に、図２のブロック図の一例を用いて画像表示装置４の構成を説明する。図２において、画像表示装置４は、入力部２０と、記憶部３０と、表示部４０と、制御部５０とを備える。 Next, the configuration of the image display device 4 will be described using an example of the block diagram of FIG. In FIG. 2, the image display device 4 includes an input unit 20, a storage unit 30, a display unit 40, and a control unit 50.

入力部２０は、キーボードやマウスなどのポインティングデバイスなどによって実現され、画像表示装置４の動作指示および画像表示装置４が行う処理の指示情報を入力し、各指示情報を制御部５０に送出している。また、入力部２０は、表示部４０の画像表示領域に表示された画像の中から所望の画像を選択する選択情報を入力する。たとえば、入力部２０のマウスを操作し、画面上に表示されたカーソルを、画像表示領域に表示された画像上に移動させて、所望の画像に対してボタンをクリックした場合、入力部２０は、この画像を選択するための選択情報としての指示情報を入力する。 The input unit 20 is realized by a pointing device such as a keyboard or a mouse, inputs an operation instruction of the image display device 4 and instruction information of processing performed by the image display device 4, and sends each instruction information to the control unit 50. Yes. The input unit 20 inputs selection information for selecting a desired image from images displayed in the image display area of the display unit 40. For example, when the mouse of the input unit 20 is operated, the cursor displayed on the screen is moved onto the image displayed in the image display area, and the button is clicked on the desired image, the input unit 20 The instruction information as selection information for selecting this image is input.

たとえば、入力部２０のマウスを操作し、後述する画面上のカーソル２１を体腔内画像上に移動させた状態で、マウスの左ボタンがダブルクリックされた場合に、入力部２０は、所望の体腔内画像の縮小表示（サムネイル表示）を指示する指示情報を入力する。また、入力部２０のマウスを操作し、後述する画面上のカーソル２１を画像再生ボタン４１上に移動させた状態でマウスの左ボタンがクリックされた場合に、体腔内画像の再生を指示する指示情報を入力する。 For example, when the mouse of the input unit 20 is operated and the cursor 21 on the screen to be described later is moved onto the in-vivo image and the left button of the mouse is double-clicked, the input unit 20 displays the desired body cavity. Instruction information for instructing reduction display (thumbnail display) of the inner image is input. Further, when the left button of the mouse is clicked while the mouse of the input unit 20 is operated and the cursor 21 on the screen to be described later is moved onto the image playback button 41, an instruction for instructing the playback of the in-vivo image Enter information.

また、指定手段としての入力部２０は、マウスを操作し、後述する画面上のカーソル２１をコマ送りボタン４７上に移動させた状態で、マウスの左ボタンがクリックされた場合（画像の表示が順送りの場合）に、現に画像表示手段としての画像表示部４０ａに表示された画像の近傍、つまり現に画像表示部４０ａに表示された画像の次に位置する後述する変化点の画像を表示させることを指定するための指定情報としての指示情報を入力する。また、指定手段としての入力部２０は、マウスを操作し、後述する画面上のカーソル２１をコマ送りボタン４８上に移動させた状態で、マウスの左ボタンがクリックされた場合（画像の表示が逆送りの場合）に、入力部２０は、現に画像表示部４０ａに表示された画像の直前に位置する変化点の画像を表示させることを指定するための指定情報としての指示情報を入力する。 Further, the input unit 20 as a designation unit operates the mouse and moves the cursor 21 on the screen to be described later onto the frame advance button 47, and when the left button of the mouse is clicked (the image is displayed). In the case of sequential feeding), an image of a change point, which will be described later, is displayed in the vicinity of the image currently displayed on the image display unit 40a as the image display means, that is, next to the image currently displayed on the image display unit 40a. Input instruction information as designation information for designating. Further, the input unit 20 serving as a designation unit operates the mouse and moves the cursor 21 on the screen, which will be described later, onto the frame advance button 48, and when the left button of the mouse is clicked (the image is displayed). In the case of reverse feed), the input unit 20 inputs instruction information as designation information for designating display of an image at a change point located immediately before the image actually displayed on the image display unit 40a.

記憶部３０は、たとえばハードディスク装置などによって実現され、各種画像などを保持する。たとえば、記憶部３０は、フォルダＦ１とフォルダＦ２とフォルダＦ３を有し、フォルダＦ１内には、カプセル型内視鏡３によって撮像された画像群Ｐａが格納される。フォルダＦ１に格納された画像群Ｐａには、画像ごとに、受信装置２における画像データの受信順にしたがってフレーム番号と時間が付与されている。 The storage unit 30 is realized by a hard disk device, for example, and holds various images. For example, the storage unit 30 includes a folder F1, a folder F2, and a folder F3, and an image group Pa captured by the capsule endoscope 3 is stored in the folder F1. The image group Pa stored in the folder F1 is given a frame number and a time for each image according to the order of reception of the image data in the receiving device 2.

フォルダＦ２内には、画像群Ｐａの各フレーム番号と、入力部２０によって選択指示された体腔内画像を示すためのフラグとを対応付けたテーブルＴａが格納される。なお、体腔内画像のフレーム番号は、撮像順に１からＮ（Ｎは任意の正数）まで順番に番号が付されており、選択指示された体腔内画像のフレーム番号には、フラグ“１”が立っている。また、フォルダＦ３内には、画像処理部５１の画像処理によって生成された情報が格納される。たとえば、フォルダＦ３内には、画像群Ｐａの各画像のフレーム番号と赤色レベル値などの特徴量とを対応させたテーブルＴｂが格納される。 Stored in the folder F2 is a table Ta in which each frame number of the image group Pa is associated with a flag for indicating an in-vivo image selected and designated by the input unit 20. The frame numbers of the in-vivo images are numbered sequentially from 1 to N (N is an arbitrary positive number) in the order of imaging, and the flag number “1” is included in the frame number of the in-vivo image that has been selected. Is standing. Further, information generated by the image processing of the image processing unit 51 is stored in the folder F3. For example, in the folder F3, a table Tb in which the frame number of each image in the image group Pa is associated with a feature amount such as a red level value is stored.

表示部４０は、ＣＲＴディスプレイ、液晶ディスプレイなどによって実現され、入力部２０の指示情報あるいは指示結果などを表示する。表示部４０は、記憶部３０のフォルダＦ１に格納された画像群Ｐａにおける体腔内画像、指示情報によって指示された縮小画像（サムネイル画像）などが表示される画像表示領域を有する。すなわち、表示部４０は、図３の表示画面の一例に示すように、表示画面に画像表示領域（ウィンドウ）Ｗが表示される。このウィンドウＷには、大きくは、体腔内画像を表示する体腔内画像表示領域Ａ１、サムネイル画像を表示するサムネイル画像表示領域Ａ２、検査ＩＤや患者ＩＤなどの識別情報を表示する識別情報表示領域Ａ３が設けられている。サムネイル画像表示領域Ａ２は、体腔内画像表示領域Ａ１の下方の領域に、識別情報表示領域Ａ３は、体腔内画像表示領域Ａ１の向かって左側の領域に設けられ、体腔内画像表示領域Ａ１とサムネイル画像表示領域Ａ２との間には、再生ボタン４１などの動画表示制御ボタン群とタイムバー４２ａとがそれぞれ設けられている。 The display unit 40 is realized by a CRT display, a liquid crystal display, or the like, and displays instruction information or an instruction result of the input unit 20. The display unit 40 has an image display area in which an intra-body cavity image in the image group Pa stored in the folder F1 of the storage unit 30, a reduced image (thumbnail image) instructed by instruction information, and the like are displayed. That is, the display unit 40 displays an image display area (window) W on the display screen as shown in the example of the display screen of FIG. In this window W, there are mainly an in-vivo image display area A1 for displaying an in-vivo image, a thumbnail image display area A2 for displaying a thumbnail image, and an identification information display area A3 for displaying identification information such as examination ID and patient ID. Is provided. The thumbnail image display area A2 is provided below the body cavity image display area A1, and the identification information display area A3 is provided on the left side of the body cavity image display area A1. A moving image display control button group such as a playback button 41 and a time bar 42a are provided between the image display area A2.

この表示部４０は、図２に示すように、画像表示手段としての画像表示部４０ａと、時刻表示手段としての時刻表示部４０ｂとを有する。画像表示部４０ａは、フォルダＦ１に格納された画像群Ｐａにおける体腔内画像Ｐｂを、所望の再生フレームレート（画像を再生するための表示レート）で順次表示する。また、時刻表示部４０ｂは、被検体内の体腔内画像全体のたとえば撮像時間を示す情報を表示する。この撮像時間の情報は、被検体内の体腔内画像の撮像時間を示すタイムバー４２ａと、１時間ごとに表示される時間情報４２ｂとからなる。なお、この実施の形態では、体腔内画像全体の撮像時間を１０時間に想定している。このタイムバー４２ａと選択されてサムネイル画像表示領域Ａ２に表示されているサムネイル画像とは、体腔内画像Ｐｂに付与された時間情報によって互いに結線４４でリンクされている。 As shown in FIG. 2, the display unit 40 includes an image display unit 40a as an image display unit and a time display unit 40b as a time display unit. The image display unit 40a sequentially displays the in-vivo images Pb in the image group Pa stored in the folder F1 at a desired playback frame rate (display rate for playing back images). The time display unit 40b displays information indicating, for example, the imaging time of the entire body cavity image in the subject. This imaging time information includes a time bar 42a indicating the imaging time of the in-vivo image in the subject and time information 42b displayed every hour. In this embodiment, the imaging time of the whole body cavity image is assumed to be 10 hours. The time bar 42a and the thumbnail image selected and displayed in the thumbnail image display area A2 are linked to each other by a connection line 44 based on time information given to the body cavity image Pb.

また、時刻表示部４０ｂは、図５に示すように、タイムバー４２ａ中に後述する画像検知部５５によって検知された変化点の画像の位置（たとえば撮像時刻）を示す位置情報４５と、位置情報４５上に変化点の画像の位置を示す位置表示部としての表示位置マーカー４６とを合わせて表示する。この表示位置マーカー４６は、現に画像表示部４０ａに表示された画像の、たとえば画像の表示が順送りの場合には、次に位置する変化点の画像、また画像の表示が逆送りの場合には、直前の変化点の画像の位置を示している。 Further, as shown in FIG. 5, the time display unit 40b includes position information 45 indicating the position (for example, imaging time) of an image of a change point detected by an image detection unit 55 described later in the time bar 42a, and position information. A display position marker 46 serving as a position display unit indicating the position of the image of the change point is displayed on 45. The display position marker 46 is displayed when the image currently displayed on the image display unit 40a is, for example, when the image display is forward-forwarding, when the next change point image is displayed, or when the image display is reverse-feeding. , Shows the position of the image at the previous change point.

再生ボタン４１は、入力部２０のマウスを操作し、画面上のカーソルを移動させて、たとえば右クリックされると、図４に示すように、表示制御部５２の表示制御によって停止ボタン４３に表示が切り替わるとともに、体腔内画像Ｐｂが体腔内画像表示領域Ａ１に順次表示される。また、停止ボタン４３がたとえば右クリックされると、再生ボタン４１に表示が切り替わるとともに、停止指示時の体腔内画像Ｐｂが体腔内画像表示領域Ａ１に停止表示される。すなわち、再生ボタン４１と停止ボタン４３は、互いに切り替わってトグル表示されることとなる。 The playback button 41 is displayed on the stop button 43 by the display control of the display control unit 52 as shown in FIG. 4 when the mouse on the input unit 20 is operated to move the cursor on the screen and, for example, is right-clicked. Are switched and the body cavity image Pb is sequentially displayed in the body cavity image display area A1. For example, when the stop button 43 is right-clicked, the display is switched to the playback button 41, and the body cavity image Pb at the time of the stop instruction is stopped and displayed in the body cavity image display area A1. That is, the play button 41 and the stop button 43 are toggled and switched to each other.

制御部５０は、入力部２０、記憶部３０、表示部４０の各処理または動作を制御する。制御部５０は、画像群Ｐａに含まれる画像などを処理する画像処理部５１と、表示部４０における表示処理を制御する表示制御部５２と、入力部２０によって選択指示された所定の画像を抽出する画像選択手段としての画像選択部５３とを備える。 The control unit 50 controls each process or operation of the input unit 20, the storage unit 30, and the display unit 40. The control unit 50 extracts an image processing unit 51 that processes images included in the image group Pa, a display control unit 52 that controls display processing in the display unit 40, and a predetermined image that is selected and instructed by the input unit 20. And an image selection unit 53 serving as an image selection unit.

画像処理部５１は、画像群Ｐａに含まれる画像などを処理するとともに、画像群Ｐａの各画像のフレーム番号と、フラグとを対応付けたテーブルＴａを生成する。また、画像処理部５１は、このテーブルＴａに、入力部２０からの指示情報に基づく、画像のフレーム番号にサムネイル画像である旨を示すフラグを付与して出力する。たとえば、テーブルＴａにおいて、フラグ“１”はサムネイル画像であることを示し、フラグ“０”は、サムネイル画像でないことを示す。 The image processing unit 51 processes an image included in the image group Pa and generates a table Ta in which the frame number of each image in the image group Pa is associated with a flag. Further, the image processing unit 51 assigns a flag indicating that the image is a thumbnail image to the frame number of the image based on the instruction information from the input unit 20 and outputs the table Ta. For example, in the table Ta, the flag “1” indicates that the image is a thumbnail image, and the flag “0” indicates that the image is not a thumbnail image.

また、画像処理部５１は、特徴量取得部５４と、画像検知手段としての画像検知部５５とを備える。特徴量取得部５４は、特願２００４−１２０３６７に示すように、画像情報の中に所定の色情報（所定の特徴に相当）に該当する領域が含まれていた場合、この所定の色情報が含まれる領域の割合をレベル化した特徴量を取得する。たとえば、特徴量取得部５４は、画像情報の色情報のうち、赤色情報の有無および分布をもとに画像全体に占める赤色情報の割合を求め、この割合をレベル化した赤色レベル値を特徴量として取得する。 The image processing unit 51 includes a feature amount acquisition unit 54 and an image detection unit 55 as an image detection unit. As shown in Japanese Patent Application No. 2004-120367, the feature amount acquisition unit 54, when an area corresponding to predetermined color information (corresponding to a predetermined feature) is included in the image information, the predetermined color information is A feature value obtained by leveling the ratio of the included area is acquired. For example, the feature quantity acquisition unit 54 obtains the ratio of red information in the entire image based on the presence and distribution of red information in the color information of the image information, and uses the red level value obtained by leveling this ratio as the feature quantity. Get as.

画像検知部５５は、特徴量取得部５４が取得した各画像の特徴量をもとに、所定量の閾値に基づく特徴量を有する画像を変化点の画像として検知する。たとえば、画像検知部５５は、特徴量取得部５４によって取得された各画像の特定の赤色成分をもつ領域の割合を示す赤色レベル値が所定量の閾値を超えた場合には、この画像に出血部がある可能性が高いと判断し、変化点の画像として検知する。この場合、図２に示すように、画像処理部５１は、画像群Ｐａの各画像のフレーム番号と、赤色レベル値などの特徴量とを対応付けたテーブルＴｂとを生成する。そして、画像処理部５１は、このテーブルＴｂに、画像検知部５５によって変化点の画像として検知された画像のフレーム番号に、変化点の画像である旨を示唆するフラグを付与して出力する。たとえば、テーブルＴｂにおいて、フラグ“１”は変化点の画像であることを示し、フラグ“０”は、変化点の画像でないことを示す。 The image detection unit 55 detects an image having a feature amount based on a predetermined amount of threshold as an image of a change point based on the feature amount of each image acquired by the feature amount acquisition unit 54. For example, when the red level value indicating the ratio of the area having the specific red component of each image acquired by the feature amount acquisition unit 54 exceeds a predetermined amount of threshold, the image detection unit 55 bleeds the image. It is determined that there is a high possibility that there is a part, and is detected as an image of a change point. In this case, as illustrated in FIG. 2, the image processing unit 51 generates a table Tb in which the frame number of each image in the image group Pa is associated with a feature amount such as a red level value. Then, the image processing unit 51 assigns a flag indicating that the image is a change point image to the frame number of the image detected as the change point image by the image detection unit 55 and outputs the table Tb. For example, in the table Tb, the flag “1” indicates that the image is a change point, and the flag “0” indicates that the image is not a change point.

表示制御部５２は、表示部４０における表示処理を制御する機能であり、画像の表示処理を制御する画像表示制御手段としての画像表示制御部５６と、タイムバー４２ａなどの時刻の表示処理を制御する時刻表示制御手段としての時刻表示制御部５７とを備える。 The display control unit 52 is a function for controlling display processing in the display unit 40, and controls image display control unit 56 as image display control means for controlling image display processing, and time display processing such as a time bar 42a. And a time display control unit 57 as time display control means.

画像表示制御部５６は、フォルダＦ１に格納された画像群ＰａおよびフォルダＦ２に格納されたテーブルＴａの情報をもとに、表示部４０に対して、体腔内画像表示領域Ａ１に画像群Ｐａにおける体腔内画像を、フレーム番号順にしたがって表示させる。また、画像表示制御部５６は、選択画像の表示処理を制御する選択画像表示制御機能を有する。すなわち、画像表示制御部５６は、画像選択部５３で選択された画像（変化点の画像を含む）を画像表示部４０ａに表示させる表示制御を行う。 Based on the information in the image group Pa stored in the folder F1 and the table Ta stored in the folder F2, the image display control unit 56 displays the image group Pa in the body cavity image display area A1 with respect to the display unit 40. The body cavity images are displayed in the order of the frame numbers. The image display control unit 56 has a selection image display control function for controlling the display processing of the selection image. That is, the image display control unit 56 performs display control for displaying the image (including the image of the change point) selected by the image selection unit 53 on the image display unit 40a.

時刻表示制御部５７は、取り込んだ画像全体の時刻を表示部４０の時刻表示部４０ｂに表示させる表示制御を行う。すなわち、時刻表示部４０ｂは、時刻表示制御部５７の制御によって、体腔内画像の撮像時間を示すタイムバー４２ａと、１時間ごとの時間情報４２ｂと、変化点の画像の位置（時刻）を示す位置情報４５と、変化点の画像の位置を示す表示位置マーカー４６とを表示する。なお、この実施の形態では、この時刻表示部４０ｂに表示されるタイムバー４２ａは、１０時間のデフォルト値として設定されている。 The time display control unit 57 performs display control to display the time of the entire captured image on the time display unit 40b of the display unit 40. That is, under the control of the time display control unit 57, the time display unit 40b indicates a time bar 42a indicating the imaging time of the intra-body cavity image, time information 42b for each hour, and the position (time) of the image at the change point. Position information 45 and a display position marker 46 indicating the position of the image of the change point are displayed. In this embodiment, the time bar 42a displayed on the time display unit 40b is set as a default value of 10 hours.

画像選択部５３は、入力部２０からの指示情報に基づき、フォルダＦ１に格納された画像群Ｐａの中から指示された体腔内画像を抽出する。そして、画像表示制御部５６は、画像選択部５３によって画像群Ｐａの中から抽出された体腔内画像における縮小画像であるサムネイル画像を、サムネイル画像表示領域Ａ２にフレーム番号順にしたがって表示させる。また、画像表示制御部５６は、タイムバー４２ａとサムネイル画像表示領域Ａ２に表示させたサムネイル画像とを体腔内画像Ｐｂに付与された時間情報に基づき、結線４４でリンク表示させている。 Based on the instruction information from the input unit 20, the image selection unit 53 extracts the in-vivo image designated from the image group Pa stored in the folder F1. Then, the image display control unit 56 displays thumbnail images, which are reduced images of the in-vivo images extracted from the image group Pa by the image selection unit 53, in the thumbnail image display area A2 in the order of the frame numbers. In addition, the image display control unit 56 displays the time bar 42a and the thumbnail image displayed in the thumbnail image display area A2 in a linked manner by the connection line 44 based on the time information given to the body cavity image Pb.

次に、図６のフローチャートを用いて、図２に示した画像表示装置４の画像表示の動作を説明する。図６において、まず、画像処理部５１は、記憶部３０のフォルダＦ１に格納されている画像群Ｐａの画像情報を取得する（ステップ１０１）。特徴量取得部５４は、取得した画像群Ｐａの各画像情報をもとに、各画像の特徴量を取得し、画像検知部５５は、特徴量取得部５４が取得した各画像の特徴量をもとに、所定の閾値を超えた特徴量を有する画像を、連続画像のうちの変化点の画像として検知する（ステップ１０２）。なお、画像処理部５１は、特徴量取得部５４が取得した各画像の特徴量をもとに、フォルダＦ３にフレーム番号に対応した赤色レベル値などの特徴量を対応付けたテーブルＴｂを生成して出力する。 Next, the image display operation of the image display device 4 shown in FIG. 2 will be described using the flowchart of FIG. In FIG. 6, first, the image processing unit 51 acquires image information of the image group Pa stored in the folder F1 of the storage unit 30 (step 101). The feature amount acquisition unit 54 acquires the feature amount of each image based on each image information of the acquired image group Pa, and the image detection unit 55 calculates the feature amount of each image acquired by the feature amount acquisition unit 54. Originally, an image having a feature amount exceeding a predetermined threshold is detected as an image of a change point in the continuous image (step 102). Note that the image processing unit 51 generates a table Tb in which a feature amount such as a red level value corresponding to the frame number is associated with the folder F3 based on the feature amount of each image acquired by the feature amount acquisition unit 54. Output.

次に、表示制御部５２は、画像群Ｐａの画像表示を指示する指示情報が入力部２０から入力したかどうか判断する（ステップ１０３）。ここでは、たとえば入力部２０のマウスを操作し、図３に示す画面上のカーソル２１を画像再生ボタン４１上に移動させた状態でマウスの左ボタンがクリックされた場合に、体腔内画像の再生、すなわち画像群Ｐａの画像表示を指示する指示情報が入力される。 Next, the display control unit 52 determines whether instruction information for instructing image display of the image group Pa is input from the input unit 20 (step 103). Here, for example, when the left button of the mouse is clicked in a state where the mouse of the input unit 20 is operated and the cursor 21 on the screen shown in FIG. That is, instruction information for instructing image display of the image group Pa is input.

ここで、表示制御部５２が、画像群Ｐａの画像表示を指示する指示情報を入力しないと判断した場合（ステップ１０３：Ｎｏの場合）、制御部５０は、画像群Ｐａに対する画像処理を終了する。また、表示制御部５２が、画像群Ｐａの画像表示を指示する指示情報を入力したと判断した場合（ステップ１０３：Ｙｅｓの場合）、時刻表示制御部５７は、各変化点の表示位置を示す位置情報４５と、この変化点の表示位置を示す表示位置マーカー４６とをタイムバー４２ａ上に表示する（ステップ１０４）。 Here, when the display control unit 52 determines that the instruction information for instructing the image display of the image group Pa is not input (step 103: No), the control unit 50 ends the image processing for the image group Pa. . Further, when the display control unit 52 determines that the instruction information for instructing image display of the image group Pa is input (step 103: Yes), the time display control unit 57 indicates the display position of each change point. The position information 45 and the display position marker 46 indicating the display position of the change point are displayed on the time bar 42a (step 104).

また、画像表示制御部５６は、表示部４０に対して、体腔内画像表示領域Ａ１に画像群Ｐａにおける体腔内画像を、フレーム番号順にしたがって表示させるとともに、サムネイル画像を、サムネイル画像表示領域Ａ２にフレーム番号順にしたがって表示させる（ステップ１０５）。 In addition, the image display control unit 56 causes the display unit 40 to display the body cavity images in the image group Pa in the body cavity image display area A1 in the order of frame numbers, and the thumbnail images to the thumbnail image display area A2. The frames are displayed in the order of frame numbers (step 105).

次に、表示制御部５２は、変化点の画像の表示指示があるかどうか判断する（ステップ１０６）。ここでは、たとえば入力部２０のマウスを操作し、図４に示す画面上のカーソル２１を停止ボタン４３上に移動させた状態で、マウスの左ボタンがクリックされた場合に、画像群Ｐａの画像表示を停止させるための指示情報が入力して、次に入力部２０のマウスを操作し、図４に示す画面上のカーソル２１をコマ送りボタン４７または４８上に移動させた状態で、マウスの左ボタンがクリックされた場合に、連続画像の変化点を指定して表示させるための指示情報を入力する。表示制御部５２は、これらの指示情報の入力によって、変化点の画像の表示指示を判断する。 Next, the display control unit 52 determines whether there is an instruction to display the image of the change point (step 106). Here, for example, when the left button of the mouse is clicked in a state where the mouse of the input unit 20 is operated and the cursor 21 on the screen shown in FIG. Instruction information for stopping the display is input, and then the mouse of the input unit 20 is operated to move the cursor 21 on the screen shown in FIG. When the left button is clicked, instruction information for designating and displaying a change point of a continuous image is input. The display control unit 52 determines an instruction to display the change point image based on the input of the instruction information.

ここで、変化点の画像の表示指示がない場合（ステップ１０６：Ｎｏの場合）、画像表示制御部５６は、ステップ１０５の画像表示を続行する。また、変化点の画像の表示指示があった場合（ステップ１０６：Ｙｅｓの場合）、すなわちステップ１０６では変化点の画像の表示指示があるかどうか判断するが、画像表示制御部５６は、体腔内画像表示領域Ａ１での画像群Ｐａの表示を停止し、画像選択部５３は、たとえば順送りのコマ送りボタン４７がクリックされた場合には、図５に示すように、表示位置マーカーの存在する現表示位置の次の変化点（図中、右方向への矢印による変化点）４５の画像を選択し、また画像選択部５３は、逆送りのコマ送りボタン４８がクリックされた場合には、現表示位置の直前の変化点（図中、左方向への矢印による変化点）４５の画像を選択する。そして、画像表示制御部５６は、この画像選択部５３で選択された変化点の画像を体腔内画像表示領域Ａ１に表示する。また、時刻表示制御部５７は、表示位置マーカー４６を、上記現表示位置の次または直前の変化点を示す位置情報４５に、表示位置マーカー４６を移動表示させる（ステップ１０７）。 Here, when there is no instruction to display the image of the change point (step 106: No), the image display control unit 56 continues the image display of step 105. In addition, when there is an instruction to display an image of a change point (step 106: Yes), that is, in step 106, it is determined whether there is an instruction to display an image of a change point. When the display of the image group Pa in the image display area A1 is stopped, and the forward frame advance button 47 is clicked, for example, the image selection unit 53 displays the current position where the display position marker exists as shown in FIG. When the image at the next change point of the display position (change point by the arrow in the right direction in the figure) 45 is selected and the reverse frame advance button 48 is clicked, the image selection unit 53 clicks the current change point. An image of a change point 45 immediately before the display position (change point by a leftward arrow in the figure) 45 is selected. Then, the image display control unit 56 displays the image of the change point selected by the image selection unit 53 in the body cavity image display area A1. Further, the time display control unit 57 moves and displays the display position marker 46 on the position information 45 indicating the change point next to or immediately before the current display position (step 107).

次に、表示制御部５２は、コマ送りボタン４７または４８がクリックされたかどうか判断する（ステップ１０８）。ここで、コマ送りボタンがクリックされた場合（ステップ１０８：Ｙｅｓの場合）、ステップ１０６と同様に、順送りまたは逆送りのコマ送りボタン４７または４８がクリックされたかによって、画像表示制御部５６がステップ１０７においては現表示位置の次または直前の変化点の画像表示を行う。また、いずれのコマ送りボタン４７または４８もクリックされない場合（ステップ１０８：Ｎｏの場合）、現表示の画像を維持し（ステップ１０９）、画像表示の指示があるかどうか判断する（ステップ１１０）。 Next, the display control unit 52 determines whether or not the frame advance button 47 or 48 is clicked (step 108). Here, when the frame advance button is clicked (step 108: Yes), the image display control unit 56 determines whether the forward or reverse frame advance button 47 or 48 is clicked, as in step 106. In 107, the image of the change point immediately after or immediately before the current display position is displayed. If none of the frame advance buttons 47 or 48 is clicked (step 108: No), the currently displayed image is maintained (step 109), and it is determined whether there is an image display instruction (step 110).

ここでは、ステップ１０３と同様の判断を行い、画像表示の指示があった場合（ステップ１１０：Ｙｅｓの場合）、次に最終画像まで表示したかどうか判断し（ステップ１１２）、最終画像まで表示していない場合（ステップ１１２：Ｎｏの場合）には、ステップ１０５に戻って、画像表示制御部５６による画像表示を行い、また最終画像まで表示した場合（ステップ１１２：Ｙｅｓの場合）には、上記動作を終了する。 Here, the same determination as in step 103 is performed, and when there is an instruction to display an image (step 110: Yes), it is determined whether or not the last image has been displayed (step 112), and the image is displayed up to the final image. If not (step 112: No), the process returns to step 105 to display the image by the image display control unit 56, and if the final image is displayed (step 112: Yes), End the operation.

また、画像表示の指示がない場合（ステップ１１０：Ｎｏの場合）、最終変化点の画像まで表示したかどうか判断し（ステップ１１１）、最終変化点の画像まで表示してない場合（ステップ１１１：Ｎｏの場合）、ステップ１０８にコマ送りボタンのクリックがあったかどうか判断して上記動作を繰り返し、また最終変化点の画像まで表示した場合（ステップ１１１：Ｙｅｓの場合）、上記動作を終了する。 If there is no image display instruction (step 110: No), it is determined whether or not the image at the final change point has been displayed (step 111). If the image at the final change point has not been displayed (step 111: In the case of No), it is determined whether or not the frame advance button has been clicked in Step 108 and the above operation is repeated. When the image of the final change point is displayed (Step 111: Yes), the above operation is terminated.

このように、この実施の形態では、画像の赤色レベル値（出血部位）から、連続画像の変化点を検知し、各変化点をタイムバーに表示するとともに、変化点の画像表示の指示があった場合には、該当する変化点の画像表示を行うので、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができる。 As described above, in this embodiment, the change point of the continuous image is detected from the red level value (bleeding site) of the image, each change point is displayed on the time bar, and there is an instruction to display the image of the change point. In such a case, since the image of the corresponding change point is displayed, the necessary image can be easily displayed and selected even for an image captured for a long time.

なお、実施の形態１では、画像の出血部位などの変化点を検知したが、本発明はこれに限らず、カプセル型内視鏡３の移動距離から画像の変化点を検知することも可能である。以下に、この実施の形態を説明する。 In the first embodiment, the change point such as the bleeding part of the image is detected. However, the present invention is not limited to this, and it is also possible to detect the change point of the image from the moving distance of the capsule endoscope 3. is there. This embodiment will be described below.

（実施の形態２）
この実施の形態では、カプセル型内視鏡３から取得した画像からカプセル型内視鏡３がどのくらい移動したかを、動きベクトルで推測して所定距離移動したと判断した画像を、変化点の画像として検知する。この動きベクトルによる移動量（移動距離）の推測では、図７に示すように、テンプレートマッチングを行う。なお、実施の形態２における画像表示装置４の構成は、図２とほぼ同様であり、記憶部３０には、テーブルＴｂの代わりに、後述するテンプレートの動きベクトルに基づいて求めた変化点の画像のフレーム番号が記憶される。 (Embodiment 2)
In this embodiment, an image that has been determined to have moved a predetermined distance by estimating the amount of movement of the capsule endoscope 3 from the image acquired from the capsule endoscope 3 by using a motion vector is used as the image of the change point. Detect as. In the estimation of the movement amount (movement distance) based on this motion vector, template matching is performed as shown in FIG. The configuration of the image display device 4 in the second embodiment is almost the same as that in FIG. 2, and the storage unit 30 has an image of a change point obtained based on a template motion vector, which will be described later, instead of the table Tb. Are stored.

図７は、実施の形態２における画像の変化点検知を説明するためのフレームの概念図である。図において、この実施の形態では、たとえば表示部４０の画像上で、あるテンプレート１を設定し、画像検知部５５が時間的に遠隔する連続画像上でテンプレートマッチングを行い、テンプレート１の画像間での移動量から動きベクトル（Ｘｃ１−Ｘｃ，Ｙｃ１−Ｙｃ）を求めて変化点を検知する。すなわち、図８より図９のフレームの図を用いて具体的に説明すると、フレームｆ（ｔ）におけるマスタ画像（テンプレート）と次のフレームｆ（ｔ＋１）の画像を重ね合わせ、フレームｆ（ｔ）のテンプレート１と画素値が最も近いところを検出することによって、フレームｆ（ｔ＋１）からテンプレート１を探し出し、動きベクトルを求める。この動きベクトルは、連続する画像毎に求められる。 FIG. 7 is a conceptual diagram of a frame for explaining image change point detection in the second embodiment. In this figure, in this embodiment, for example, a certain template 1 is set on the image of the display unit 40, and the image detection unit 55 performs template matching on continuous images that are temporally remote, and the images of the template 1 are matched. The motion vector (Xc1-Xc, Yc1-Yc) is obtained from the amount of movement of the change point to detect the change point. That is, to explain more concretely using FIGS. 8 to 9, the master image (template) in the frame f (t) and the image of the next frame f (t + 1) are overlapped to obtain the frame f (t). The template 1 is found from the frame f (t + 1) by detecting the position where the pixel value is closest to the template 1 and the motion vector is obtained. This motion vector is obtained for each successive image.

次に、画像検知部５５は、図９に示すように、連続する各画像毎に求めた上記動きベクトルの累積値を求め、この累積値が予め設定した所定値（閾値レベル）を超えた場合に、その画像を変化点の画像として検知する。実施の形態１と同様に、画像表示制御部５６は、変化点の画像の表示指示に基づいて、連続画像の変化点の画像を画像表示部４０ａに表示させる制御を行い、時刻表示制御部５７は、タイムバー４２ａ、１時間ごとに表示される時間情報４２ｂ、各変化点の画像の撮影時刻を示す時間情報４５および表示位置マーカー４６を時刻表示部４０ｂに表示させる制御を行う（図３、図４参照）。 Next, as shown in FIG. 9, the image detection unit 55 obtains a cumulative value of the motion vector obtained for each successive image, and this cumulative value exceeds a predetermined value (threshold level) set in advance. In addition, the image is detected as an image of a change point. As in the first embodiment, the image display control unit 56 performs control to display the image of the change point of the continuous image on the image display unit 40a based on the display instruction of the image of the change point, and the time display control unit 57. Controls to display the time bar 42a, the time information 42b displayed every hour, the time information 45 indicating the shooting time of the image of each change point, and the display position marker 46 on the time display unit 40b (FIG. 3, FIG. 3). (See FIG. 4).

このように、この実施の形態では、カプセル型内視鏡の移動量に相当するテンプレートの動きベクトルの累積値から連続画像における変化点の画像を検知し、各時間情報をタイムバーに表示するとともに、変化点の画像を表示する旨の指示があった場合には、該当する変化点の画像表示を行うので、この長時間撮像された画像であっても、容易に必要な画像を表示および選択することができる。 Thus, in this embodiment, the image of the change point in the continuous image is detected from the accumulated value of the motion vector of the template corresponding to the movement amount of the capsule endoscope, and each time information is displayed on the time bar. When there is an instruction to display the image of the change point, the image of the corresponding change point is displayed. Therefore, even if this image is captured for a long time, the necessary image can be easily displayed and selected. can do.

なお、上記実施の形態では、出血部位やカプセル型内視鏡の移動量から連続画像の変化点を検知したが、本発明はこれに限らず、たとえば臓器の違いから連続画像の変化点を検知することも可能である。特開２００４−３２１６０３号公報には、連続画像の平均色の時間軸方向の変化点を検出することで、撮像された画像の臓器を判別する方法が開示されている。このような方法により、食道から胃、胃から小腸、小腸から大腸といった連続画像の臓器が変化する箇所を変化点として検知する。この変形例の場合も実施の形態１と同様、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができるという効果を奏する。また、この変形例の臓器の違いの検知と、実施の形態１の赤色レベル値の検知とを組み合わせて、実施することも無論可能である。 In the above embodiment, the change point of the continuous image is detected from the bleeding site and the amount of movement of the capsule endoscope. However, the present invention is not limited to this. For example, the change point of the continuous image is detected from the difference in organs. It is also possible to do. Japanese Patent Application Laid-Open No. 2004-321603 discloses a method of discriminating an organ of a captured image by detecting a change point in the time axis direction of the average color of continuous images. By such a method, a location where the organs of the continuous images change from the esophagus to the stomach, the stomach to the small intestine, and the small intestine to the large intestine is detected as a change point. In the case of this modified example, as in the first embodiment, even if the image is captured for a long time, it is possible to easily display and select a necessary image. It is of course possible to combine the detection of the difference in organs of this modification with the detection of the red level value of the first embodiment.

また、変化点の検知では、たとえばサムネイル画像を選択した時に、このサムネイル画像を変化点の画像として、画像検知部５５が自動的に検知することも可能である。さらに、たとえば変化点を編集する編集モードを画像表示装置に予め設定しておき、操作者が一度観察してから、この編集モードにおいて入力部２０などを用いて手入力で変化点を設定することも可能である。これらの変形例の場合も実施の形態１と同様、長時間撮像された画像であっても、容易に必要な画像を表示および選択することができるという効果を奏するとともに、画像表示装置の汎用性を向上させることができる。 In detecting the change point, for example, when a thumbnail image is selected, the image detection unit 55 can automatically detect the thumbnail image as an image of the change point. Further, for example, an edit mode for editing the change point is set in advance in the image display device, and after the operator observes once, the change point is set manually by using the input unit 20 or the like in this edit mode. Is also possible. In the case of these modified examples, as in the first embodiment, it is possible to easily display and select a necessary image even for an image captured for a long time, and versatility of the image display device. Can be improved.

なお、画像表示装置４は、実施の形態１に示すように、静止画像を１枚ずつ順次表示するほか、静止画像を複数枚、たとえば４枚ずつ順次表示してもよい。以下に、この実施の形態を説明する。 As shown in the first embodiment, the image display device 4 may sequentially display still images one by one, or may sequentially display a plurality of still images, for example, four each. This embodiment will be described below.

（実施の形態３）
図１０は、図２に示した実施の形態３にかかる表示部の表示画面を示す図であり、図１１は、実施の形態３にかかる操作パネルとしてのマウスの上面を示す上面図である。図１０において、体腔内画像表示領域Ａ１には、画像表示制御部５６の表示制御によって、フォルダＦ１に格納された画像群Ｐａにおける体腔内画像が所望の再生フレームレート（画像を再生するための表示レート）で４つの画像表示部４０ａ１〜４０ａ４に順次表示される。この実施の形態では、たとえば撮像時間順に体腔内画像Ｐｂ１〜Ｐｂ４が表示されている例を示しており、マウス２２には、この４つの画像表示部４０ａ１〜４０ａ４（この実施の形態では、体腔内画像Ｐｂ１〜Ｐｂ４の表示位置）に対応させた画像選択ボタン２３が設けられている。 (Embodiment 3)
FIG. 10 is a diagram illustrating a display screen of the display unit according to the third embodiment illustrated in FIG. 2, and FIG. 11 is a top view illustrating an upper surface of a mouse as an operation panel according to the third embodiment. In FIG. 10, in the body cavity image display area A1, the images in the body cavity in the image group Pa stored in the folder F1 are displayed in a desired reproduction frame rate (display for reproducing an image) by the display control of the image display control unit 56. Rate) and sequentially displayed on the four image display units 40a1 to 40a4. In this embodiment, for example, images of body cavities Pb1 to Pb4 are displayed in order of imaging time, and the mouse 22 has four image display portions 40a1 to 40a4 (in this embodiment, the body cavity An image selection button 23 corresponding to the display position of the images Pb1 to Pb4) is provided.

したがって、操作者は、この表示部４０の画面に表示される体腔内画像Ｐｂ１〜Ｐｂ４のうちの所望の体腔内画像、たとえば体腔内画像Ｐｂ２を選択する場合、マウス２２の画像選択ボタン２３のうちの該当する画像選択ボタンＰｂ２をクリックすることで、サムネイル画像の登録指示が入力する。画像表示制御部５６は、この登録指示情報が入力すると、該当画像を記憶部３０にサムネイル登録することができる。 Therefore, when the operator selects a desired body cavity image among the body cavity images Pb1 to Pb4 displayed on the screen of the display unit 40, for example, the body cavity image Pb2, the operator selects one of the image selection buttons 23 of the mouse 22. By clicking the corresponding image selection button Pb2, a thumbnail image registration instruction is input. When this registration instruction information is input, the image display control unit 56 can register the corresponding image as a thumbnail in the storage unit 30.

このように、この実施の形態では、表示部の画面表示領域（体腔内画像の表示位置）とマウスの画像選択ボタンを対応付け、所望の画像選択ボタンをクリックすることで、簡単に該当する体腔内画像を選択することができるので、画像観察時の操作を効率的に行うことができ、これによって必要な画像の選択を容易に行うことができる。 As described above, in this embodiment, the screen display area (the display position of the intra-body cavity image) of the display unit is associated with the mouse image selection button, and the desired body cavity is simply clicked by clicking the desired image selection button. Since the inner image can be selected, the operation at the time of image observation can be performed efficiently, and thus the necessary image can be easily selected.

なお、上記実施の形態１では、マウスカーソルによって変化点の画像表示の指示を行ったが、本発明はこれに限らず、マウスのジョグダイヤル２４（図１１参照）によって変化点の画像表示の指示を行うことも可能である。この場合には、たとえば図５に示すタイムバー４２ａ上をマウスカーソルで右クリックすることにより、ジョグダイヤル２４を起動させて、変化点の画像表示の指示を行う。なお、この場合、たとえばジョグダイヤル２４を時計方向に回すと、順方向のコマ送りを可能とし、またジョグダイヤル２４を時計方向と逆に回すと、逆方向のコマ送りを可能とする。 In the first embodiment, the change point image display is instructed by the mouse cursor. However, the present invention is not limited to this, and the change point image display is instructed by the mouse jog dial 24 (see FIG. 11). It is also possible to do this. In this case, for example, by right-clicking on the time bar 42a shown in FIG. 5 with a mouse cursor, the jog dial 24 is activated to instruct the image display of the changing point. In this case, for example, turning the jog dial 24 clockwise enables forward frame advancement, and turning the jog dial 24 counterclockwise enables reverse frame advancement.

この変形例の場合には、マウスカーソルで１回１回コマ送りボタンを選んで変化点の画像のコマ送りを行う手間が省け、ジョグダイヤル２４を回すだけで、変化点の画像のコマ送りを行うことができるので、画像観察時の操作を効率的に行うことができ、これによって必要な画像の選択を容易に行うことができる。 In the case of this modification, it is possible to save the trouble of selecting the frame advance button once with the mouse cursor and performing the frame advance of the image at the change point, and simply rotating the jog dial 24 performs the frame advance of the image at the change point. Therefore, the operation at the time of image observation can be performed efficiently, and a necessary image can be easily selected.

本発明にかかる被検体内情報取得システムの構成概念を示すシステム概念図である。It is a system conceptual diagram which shows the structural concept of the in-subject information acquisition system concerning this invention. 本発明にかかる画像表示装置の概略構成の一例を示すブロック図である。It is a block diagram which shows an example of schematic structure of the image display apparatus concerning this invention. 図２に示した実施の形態１にかかる表示部の表示画面を示す図である。FIG. 3 is a diagram illustrating a display screen of the display unit according to the first exemplary embodiment illustrated in FIG. 2. 同じく、実施の形態１にかかる表示部の表示画面を示す図である。Similarly, it is a figure which shows the display screen of the display part concerning Embodiment 1. FIG. 図３に示したタイムバーの拡大図である。FIG. 4 is an enlarged view of the time bar shown in FIG. 3. 画像表示の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement of an image display. 実施の形態２における画像の変化点検知を説明するためのフレームの概念図である。FIG. 10 is a conceptual diagram of a frame for explaining change point detection of an image in a second embodiment. 同じく、画像の変化点検知を具体的に説明するためのフレームの図である。Similarly, it is a figure of the frame for explaining change point detection of an image concretely. 同じく、画像の変化点検知を具体的に説明するためのフレームの図である。Similarly, it is a figure of the frame for explaining change point detection of an image concretely. 図２に示した実施の形態３にかかる表示部の表示画面を示す図である。It is a figure which shows the display screen of the display part concerning Embodiment 3 shown in FIG. 実施の形態３にかかるマウスの上面を示す上面図である。FIG. 6 is a top view showing the top surface of a mouse according to a third embodiment.

Explanation of symbols

１被検体
２受信装置
２ａ受信ジャケット
２ｂ外部装置
３カプセル型内視鏡
４画像表示装置
５携帯型記録媒体
２０入力部
２１カーソル
２２マウス
２３画像選択ボタン
２４ジョグダイヤル
３０記憶部
４０表示部
４０ａ，４０ａ１〜４０ａ４画像表示部
４０ｂ時刻表示部
４１再生ボタン
４２ａタイムバー
４２ｂ時間情報
４３停止ボタン
４４結線
４５位置情報
４６表示位置マーカー
４７，４８コマ送りボタン
５０制御部
５１画像処理部
５２表示制御部
５３画像選択部
５４特徴量取得部
５５画像検知部
５６画像表示制御部
５７時刻表示制御部
Ａ１体腔内画像表示領域
Ａ２サムネイル画像表示領域
Ａ３識別情報表示領域
Ｆ１〜Ｆ３フォルダ
Ｔａ，Ｔｂテーブル
Ｗウィンドウ DESCRIPTION OF SYMBOLS 1 Subject 2 Reception apparatus 2a Reception jacket 2b External apparatus 3 Capsule endoscope 4 Image display apparatus 5 Portable recording medium 20 Input part 21 Cursor 22 Mouse 23 Image selection button 24 Jog dial 30 Storage part 40 Display part 40a, 40a1 40a4 Image display unit 40b Time display unit 41 Play button 42a Time bar 42b Time information 43 Stop button 44 Connection 45 Position information 46 Display position marker 47, 48 Frame advance button 50 Control unit 51 Image processing unit 52 Display control unit 53 Image selection unit 54 feature quantity acquisition unit 55 image detection unit 56 image display control unit 57 time display control unit A1 body cavity image display area A2 thumbnail image display area A3 identification information display area F1 to F3 folder Ta, Tb table W window

Claims

Image display means for sequentially displaying the captured images in an image display area in the display unit;
Image detecting means for detecting, as an image of a change point, an image in which a change in a feature amount representing a predetermined feature in the continuous image has changed by a predetermined amount;
A designating unit for designating display of the image of the change point located in the vicinity of the image displayed on the image display unit among the images of the change point detected by the image detection unit;
Image selection means for selecting an image of the change point based on designation by the designation means;
The captured image is sequentially displayed on the image display means, and when designated by the designation means, instead of the sequentially displayed image, the image of the change point selected by the image selection means, Display control means for performing control to display on the image display means;
An image display device comprising:

Time display means for displaying time information indicating the time of the entire captured image in a time display area in the display unit;
Time display control means for controlling the time display means to display time information indicating the time of the image of the change point detected by the image detection means;
The image display apparatus according to claim 1, further comprising:

The image detection means uses, as the image of the change point, an image in which a red level value indicating a ratio of a region having a specific red component in each image is changed by a predetermined level as a feature amount representing the predetermined feature. The image display device according to claim 1, wherein the image display device is detected.

The image captured by the image display device is an image acquired by the in-subject introduction device,
The change point detecting means detects the image indicating that the movement amount of the in-subject introduction apparatus has moved a predetermined amount as a feature amount representing the predetermined feature as an image of the change point. The image display apparatus as described in any one of Claims 1-3.

The image display device according to claim 1, wherein the display control unit causes the image display unit to sequentially display the images over time.

The image of the change point selected by the image selection unit based on the designation by the designation unit is the image of the change point located next or immediately before the image displayed on the image display unit. The image display device according to claim 1 or 2.

The time display control unit causes the time display unit to display a time indicating unit for indicating the time of the image of the change point, and for each designation by the designation unit, the position designation unit is displayed next to or immediately before the current designated position. The image display apparatus according to claim 2, wherein control is performed to display the time of the image of the change point at a position indicating the time.