[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2010233185A - Apparatus, system and program for processing image - Google Patents

Apparatus, system and program for processing image Download PDF

Info

Publication number
JP2010233185A
JP2010233185A JP2009081485A JP2009081485A JP2010233185A JP 2010233185 A JP2010233185 A JP 2010233185A JP 2009081485 A JP2009081485 A JP 2009081485A JP 2009081485 A JP2009081485 A JP 2009081485A JP 2010233185 A JP2010233185 A JP 2010233185A
Authority
JP
Japan
Prior art keywords
image
gaze
partial
unit
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009081485A
Other languages
Japanese (ja)
Inventor
Kazutaka Sakida
一貴 崎田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saxa Inc
Original Assignee
Saxa Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saxa Inc filed Critical Saxa Inc
Priority to JP2009081485A priority Critical patent/JP2010233185A/en
Publication of JP2010233185A publication Critical patent/JP2010233185A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To store only a partial image-of-interest obtained by surely tracking a mobile without any processing burden, and to efficiently retrieve a desired image from among stored images. <P>SOLUTION: A gaze area is set in a panoramic image of a monitoring area, an image in the set gaze area is analyzed by an image analyzing means to detect a mobile, and a zoom camera of a camera unit 21 is operated on the basis of the detection to photograph the mobile. In that case, information of a spatial relationship with the panoramic image for the partial image-of-interest is created together with information of a temporal relationship indicating the transition of the partial image-of-interest on a time base in the panoramic image, and the partial image-of-interest is stored in an image storage section 13 after giving the relational information thereto, When retrieving, each piece of the relational information is used to retrieve the panoramic image and the partial image-of-interest and both the images are overlapped and displayed on a display section 14. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置に関し、とくに、広角画像とズーム画像とを関係情報と共に保存すると共に、前記関係情報を手掛かりに保存した画像を検索することができる画像処理装置、画像処理システム及びプログラムに関する。   The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus, an image processing system, and a program that can store a wide-angle image and a zoom image together with related information and can search for an image stored using the related information as a clue. .

例えば、防犯システムなどにおいて監視カメラの画像で監視する場合、全方位カメラと、ズームカメラを用いて撮影した画像、即ち、全方位画像と、ズーム画像とを同じ視野内で確認できるように画像を重ね合わせて表示するものが知られている(特許文献1参照)。
この従来の監視システムは、図6に示すように、ズームカメラ1と、光学系2aを介して最大周囲360°の視野を有する全方位画像を撮影する全方位カメラ2と、全方位画像を表示する表示部3eと、全方位画像の所定範囲を監視領域として設定し、監視領域内に存在する被写体の動きを検知する検知部35aと、一つの監視領域を検知部35aの検知結果または手動により指定する指定部32aと、この指定監視領域に対して予めズームカメラ1の位置・倍率が設定された制御情報に基づいてズーム撮影するようズームカメラ1を制御するズームカメラ制御ユニット4とから構成されている。
For example, when monitoring with an image of a surveillance camera in a security system or the like, an image is captured so that an omnidirectional camera and an image taken using a zoom camera, that is, an omnidirectional image and a zoom image can be confirmed within the same field of view. An image displayed in an overlapping manner is known (see Patent Document 1).
This conventional monitoring system, as shown in FIG. 6, displays an omnidirectional image, an omnidirectional camera 2 that captures an omnidirectional image having a maximum field of view of 360 ° via an optical system 2a. Display unit 3e, a predetermined range of an omnidirectional image is set as a monitoring region, a detection unit 35a that detects the movement of a subject existing in the monitoring region, and one monitoring region is detected by a detection result of detection unit 35a or manually. The designation unit 32a to be designated and the zoom camera control unit 4 for controlling the zoom camera 1 to perform zoom photographing based on the control information in which the position / magnification of the zoom camera 1 is set in advance for the designated monitoring area. ing.

これにより、全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することができる。
ところで、このようにして撮影された画像情報は後に利用できるように記憶装置に記憶させておくが、そのデータ量は膨大であるため、その検索を効率よく行うことが喫緊の課題となっている。
As a result, omnidirectional images captured over a wide range with an omnidirectional camera are set as a plurality of monitoring areas, and one monitoring area is designated automatically or manually from the plurality of monitoring areas. It is possible to zoom with high accuracy.
By the way, the image information captured in this way is stored in a storage device so that it can be used later. However, since the amount of data is enormous, it is an urgent task to perform the search efficiently. .

従来の検索手法としては、特許文献に記載されたものではないが、(1)単純なモーションディテクト(動き検知)機能を用いてリアルタイムでイベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うもの、(2)画像記録後に、画像を解析し、画像の場面が大きく変わる部分を推定して、イベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うものが知られている。   As a conventional search method, it is not described in patent literature, but (1) picking up event information in real time using a simple motion detect (motion detection) function, and adding the meta information to a recorded image (2) Search by the meta information, (2) After recording the image, analyze the image, estimate the part where the scene of the image changes greatly, pick up the event information, add the meta information to the recorded image, What performs a search based on the meta information is known.

しかしながら、(1)の手法では、ノイズ的なイベントを拾い上げる結果、検索時にノイズが多くなる。また、(2)の画像記録後に画像を解析する手法は現在のところ、監視現場で日常的に使用出来るレベルには到達していない。
また、従来の手法では、注視した対象が小さくしか捉えられず、したがって情報が十分に得られず、或いは注視した対象が他の対象に埋もれてしまい、追跡し難いことがある。そこで、上記欠点を補うため注視した対象の画像を高解像度化することが考えられるが、その場合には、データ処理量が大きくなるため処理負担が重くなり過ぎて実用的ではない等の問題がある。
However, in the method (1), as a result of picking up a noise-like event, noise increases during a search. In addition, the method (2) for analyzing an image after image recording has not reached a level that can be used on a daily basis at a monitoring site.
In addition, in the conventional method, the gaze target is captured only small, and therefore, sufficient information is not obtained, or the gaze target is buried in another target, which may be difficult to track. Therefore, it is conceivable to increase the resolution of the image of the object being watched in order to compensate for the above drawbacks, but in that case, the amount of data processing becomes large, so that the processing burden becomes too heavy and is not practical. is there.

特開2003−259350号公報JP 2003-259350 A

本発明は、画像検索手段における上記従来の問題に鑑みてなされたものであって、その目的は、情報処理負担を増大させずに、広角カメラ画像である全景画像と全景画像内の注視領域を撮影したズームカメラ画像である注視部分画像を、対応関係を付けて保存し、保存画像から、保存時に入力した全景画像と注視部分画像の対応関係を規定する関係情報に基づき所望の画像を、確実かつ効率よく検索できるようにすることである。   The present invention has been made in view of the above-described conventional problems in image search means, and its purpose is to provide a wide-angle camera image full view image and a gaze area in the full view image without increasing the information processing burden. The gaze partial image, which is the captured zoom camera image, is saved with a correspondence relationship, and the desired image is surely obtained from the saved image based on the relationship information that defines the correspondence relationship between the panoramic image input at the time of saving and the gaze partial image. And to be able to search efficiently.

請求項1の発明は、監視領域の全景画像内に注視領域を設定する注視領域設定部と、設定した注視領域の画像を解析して対象物を検出する画像解析部と、前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、前記撮影した注視部分画像を取得する注視部分画像取得部と、前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置である。
請求項2の発明は、請求項1に記載された画像処理装置において、対象物の判断条件を設定する条件設定部を有し、前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置である。
請求項3の発明は、請求項2に記載された画像処理装置において、前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置である。
請求項4の発明は、請求項1ないし3の何れかに記載された画像処理装置において、前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置である。
請求項5の発明は、コンピュータにより、請求項1ないし4の何れかに記載された画像処理装置の各部の機能を実現するためのプログラムである。
請求項6の発明は、請求項1ないし4の何れかに記載された画像処理装置と、全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システムである。
According to the first aspect of the present invention, a gaze area setting unit that sets a gaze area in the entire view image of the monitoring area, an image analysis unit that detects an object by analyzing the image of the set gaze area, and detects the object A camera control unit that controls the operation of a gaze partial image capturing camera that captures the target object, a gaze partial image acquisition unit that acquires the captured gaze partial image, and a gaze partial image acquired by the gaze partial image acquisition unit A spatial relationship information creation unit that creates spatial relationship information between the image and the full-view image, a temporal relationship information creation unit that creates time-related information indicating a transition on the time axis of the gaze partial image in the full-view image, and the full view An image processing apparatus characterized by having an image storage unit that records an image and adds the related information to a gaze partial image.
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect of the present invention, the image processing apparatus further includes a condition setting unit that sets a determination condition for the target, and the gaze partial image acquisition unit detects the target when the target is detected. The image processing apparatus is characterized in that the gaze partial image and the related information are recorded in the image storage unit only when it is determined that the object matches the set determination condition.
According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the determination condition is an operation different from a route, a flow line, or a preset operation of the moving body. Device.
According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects of the present invention, an image search is performed for searching the stored full-view image and gaze partial image based on the spatial and temporal relationship information. And an image display control unit that displays the retrieved images in a superimposed manner.
The invention according to claim 5 is a program for realizing the functions of the respective units of the image processing apparatus according to any one of claims 1 to 4 by a computer.
A sixth aspect of the present invention includes the image processing device according to any one of the first to fourth aspects, and a photographing device including a wide-angle image photographing camera and a gaze partial image photographing camera for panoramic photographing. Is an image processing system.

本発明によれば、全景画像中に注視領域を設定することで監視のための情報処理負担を軽減できる。また、注視部分画像であるための判断条件を設定しておくことで、ノイズを低減しつつ全景画像と注視部分画像を記録・保存することができる。
検索時には、全景画像と注視部分領域画像を保存する際に用いた両画像の対応関係情報を検索キー(検索手掛かり)として、蓄積した前記画像から、所望の画像を効率よく確実に検索することができる。
According to the present invention, it is possible to reduce an information processing burden for monitoring by setting a gaze area in a full-view image. In addition, by setting a determination condition for the gaze partial image, it is possible to record and save the entire view image and the gaze partial image while reducing noise.
At the time of search, it is possible to efficiently and reliably search for a desired image from the stored images using the correspondence information of both images used when saving the full-view image and the gaze partial area image as a search key (search clue). it can.

本発明の実施形態に係る画像処理システム構成を示すブロック図である。1 is a block diagram showing a configuration of an image processing system according to an embodiment of the present invention. 本発明の実施形態に係る画像処理装置の制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the control part of the image processing apparatus which concerns on embodiment of this invention. 全景画像と注視部分画像との関係を説明するための図である。It is a figure for demonstrating the relationship between a full view image and a gaze partial image. 画像データの蓄積手順を説明するフロー図である。It is a flowchart explaining the storage procedure of image data. 蓄積した画像データの検索手順を説明するためのフロー図である。It is a flowchart for demonstrating the search procedure of the accumulate | stored image data. 従来の監視システムを示すブロック図である。It is a block diagram which shows the conventional monitoring system.

図1は、本発明の実施形態に係る画像処理システム構成を示すブロック図である。
本実施形態に係る画像処理システムは、互いに通信可能に接続された画像処理装置10と撮影装置20とからなっている。
画像処理装置10は、画像処理装置10全体を制御する制御部11と、撮影装置20との有線又は無線で通信を行う通信部12と、例えば、DVD―ROM(Digital Versatile Disk Read Only Memory)、BD(Blue-ray Disc)―ROMなど画像を記録する任意の記憶媒体で構成された画像記憶部13と,画像表示可能な例えば液晶(LC)やEL(エレクトロルミネッセンス)等の表示装置からなる表示部14と、設定などの操作のための入力部15と、を有している。
撮影装置20は、広角画像カメラと、全景画像(広角画像)中の注視した部分情報が不足しない程度の解像度の高解像度カメラ又はPTZ(パン・チルト・ズーム)カメラ(ズーム画像カメラ)からなる撮影部21と、画像処理装置10との間で画像データやコマンドの送信を行うための通信部22とを有している。
FIG. 1 is a block diagram showing a configuration of an image processing system according to an embodiment of the present invention.
The image processing system according to the present embodiment includes an image processing apparatus 10 and a photographing apparatus 20 that are connected to be communicable with each other.
The image processing apparatus 10 includes a control unit 11 that controls the entire image processing apparatus 10, a communication unit 12 that performs wired or wireless communication with the photographing apparatus 20, a DVD-ROM (Digital Versatile Disk Read Only Memory), for example, BD (Blue-ray Disc) -Display comprising an image storage unit 13 composed of an arbitrary storage medium for recording images such as a ROM, and a display device such as liquid crystal (LC) or EL (electroluminescence) capable of displaying images And an input unit 15 for operations such as setting.
The photographing device 20 is a photographing composed of a wide-angle image camera and a high-resolution camera or a PTZ (pan / tilt / zoom) camera (zoom image camera) having a resolution that does not lack the gaze partial information in the full-scale image (wide-angle image). And a communication unit 22 for transmitting image data and commands between the image processing apparatus 10 and the image processing apparatus 10.

図2は、本発明の実施形態に係る画像処理装置10の制御部11を示すブロック図である。
本画像処理装置10は、撮影装置20の撮影部21で全景画像(広角画像)及び注視部分画像(ズーム画像)を取得し、それをそのまま記録するのではなく、粗い解像度の全景画像(広角画像)と、高解像度であるが小領域に限定される注視部分画像の組合わせと、それに両画像の空間的関係情報、並びに全景画像における注視部分画像の時間軸上の変化情報、つまり両画像の時間的関係情報を付加して上記画像記憶部13に記録する。
また、記録した上記画像情報は、上記各関係情報を検索キーとして検索する。
FIG. 2 is a block diagram showing the control unit 11 of the image processing apparatus 10 according to the embodiment of the present invention.
The image processing apparatus 10 does not acquire a full-view image (wide-angle image) and a gaze partial image (zoom image) with the photographing unit 21 of the photographing apparatus 20 and record them as they are. ) And a combination of high resolution but limited gaze partial images, and spatial relationship information between the two images, as well as change information on the time axis of the gaze partial images in the full-view images, that is, Temporal relationship information is added and recorded in the image storage unit 13.
The recorded image information is searched using the related information as a search key.

画像処理装置10の制御部11は、上記処理の制御を行うため、上記撮影部21のカメラを制御するカメラ制御部111と、全景画像中に注視領域を設定する注視領域設定部112と、注視領域内の注視したい対象物(移動体)を検知するため、例えば全景画像の前後のフレーム毎にパターンマッチングにより差分画像を作成する等の処理を行う画像解析部113と、検知した移動体が注視部分画像であるか否かを判断するための条件を設定する条件設定部114と、設定条件に合致したとき注視部分画像としてその画像を取得する注視部分画像取得部115と、全景画像(広角画像)のフレーム内における注視部分画像のフレームの空間的な関係を記録する空間関係情報作成部116と、時間軸上の注視部分画像の各イベント、即ち、移動体画像の発生点、所定程度以上に変化する変化時点(大きな変化点という)、消失時点を記録して時間関係情報を作成する時間関係情報作成部117と、記録した画像情報を検索する画像検索部118と、表示部14を制御する画像表示制御部119とを有している。   The control unit 11 of the image processing apparatus 10 controls the processing described above, and includes a camera control unit 111 that controls the camera of the photographing unit 21, a gaze area setting unit 112 that sets a gaze area in the full-scale image, and a gaze. In order to detect an object (moving body) to be watched in the area, for example, an image analysis unit 113 that performs processing such as creating a difference image by pattern matching for each frame before and after the whole-view image, and the detected moving body is watching A condition setting unit 114 for setting a condition for determining whether or not the image is a partial image, a gaze partial image acquisition unit 115 for acquiring the image as a gaze partial image when the set condition is met, and a panoramic image (wide-angle image) ) And the spatial relationship information creating unit 116 that records the spatial relationship of the frames of the gaze partial image within the frame, and each event of the gaze partial image on the time axis, that is, movement A time relationship information creation unit 117 that records time point information by recording an image generation point, a change time point that changes more than a predetermined level (referred to as a large change point), and a disappearance time point, and an image search unit that searches the recorded image information 118 and an image display control unit 119 for controlling the display unit 14.

また、上記制御部11は、制御部11の動作のための一時的な記憶手段となるRAM120と、画像処理装置10における画像処理を行うためのプログラムを格納したROM121とを備えている。   The control unit 11 includes a RAM 120 serving as a temporary storage unit for the operation of the control unit 11 and a ROM 121 that stores a program for performing image processing in the image processing apparatus 10.

注視領域の設定は、例えば、画像取得時に表示部14で画像をモニタしている操作者が、モニタ画面上において注視領域をポインティングデバイスなどで指定する。
ここで、注視部分画像を取得する注視部分画像取得部115が、上記のように設定した画像内の注視領域において、監視対象物、例えば侵入者などの移動体を検知したときは、カメラ制御部111により撮影装置20の撮影部21の注視部分画像取得カメラ(ズームカメラ)を作動する。
The gaze area is set by, for example, an operator who monitors the image on the display unit 14 at the time of image acquisition specifying the gaze area on the monitor screen with a pointing device or the like.
Here, when the gaze partial image acquisition unit 115 that acquires the gaze partial image detects a moving object such as an intruder in the gaze area in the image set as described above, the camera control unit In 111, the gaze partial image acquisition camera (zoom camera) of the photographing unit 21 of the photographing apparatus 20 is operated.

また、注視部分画像取得部115は、注視部分画像内で移動体を検知したとき、これを注視部分画像候補として、これも前記条件設定部114で設定した移動体の経路や動線、注視領域での動作などを前記画像解析部113により自動判別して、前記の注視部分画像候補を注視部分画像か否かを決定する。注視部分画像と決定した場合、前記の取得開始(注視部分画像の発生)から条件設定部114で設定した特定の取得停止条件(例えば、注視領域から出る等)に至るまで記録対象とする。
他方、注視部分画像でないと決定した場合は、注視部分画像候補として取得した内容を記録対象から外す(或いは優先度が付されていれば、優先度を下げる)処理を行う。
Further, when the gaze partial image acquisition unit 115 detects a moving body in the gaze partial image, the gaze partial image acquisition unit 115 sets this as a gaze partial image candidate, which is also set by the condition setting unit 114, and the moving body path, flow line, and gaze area The image analysis unit 113 automatically discriminates the movement of the gaze and determines whether or not the gaze partial image candidate is a gaze partial image. When it is determined as a gaze partial image, it is a recording target from the acquisition start (generation of the gaze partial image) to a specific acquisition stop condition set by the condition setting unit 114 (for example, exit from the gaze area).
On the other hand, when it is determined that the image is not the gaze partial image, the content acquired as the gaze partial image candidate is removed from the recording target (or the priority is lowered if priority is given).

注視部分画像と全景画像との時間的関係情報を作成する時間関係情報作成部117は、例えば、15フレーム/秒で記録すると仮定したとき、注視部分画像の各フレームが全景画像のどのフレームに対応するかの情報(時間軸上の対応関係情報)を作成する。注視部分画像と全景画像との空間的関係情報を作成する空間関係情報作成部116は、注視部分画像のフレームが全景画像フレーム内のどの領域に対応するかの空間関係情報を作成し、密なデータ組として画像記憶部13に記録(保存)する。或いは、疎なデータ組とデータ組間を補間する特性式若しくはデータテーブルとして記録してもよい。
本実施形態では、この対応関係情報を後に検索時における検索手掛かり(検索キー)として利用する。
The temporal relationship information creation unit 117 that creates temporal relationship information between the gaze partial image and the full view image, for example, assumes that each frame of the gaze partial image corresponds to which frame of the full view image when recording at 15 frames / second. To create information (corresponding relationship information on the time axis). A spatial relationship information creating unit 116 that creates spatial relationship information between the gaze partial image and the full view image creates spatial relationship information indicating which region in the full view image frame the frame of the gaze partial image corresponds to. The data set is recorded (saved) in the image storage unit 13. Alternatively, it may be recorded as a characteristic expression or a data table for interpolating between sparse data sets.
In this embodiment, this correspondence information is used later as a search clue (search key) at the time of search.

ここで、密なデータ組は、例えば15フレーム/秒の各フレームについて対応情報をデータとして用意して組み込むという意味であり、疎なデータ組では、例えば15フレーム/秒の画像の場合、1秒に1フレームだけデータ組を保存し、残りの14フレームについては、補間テーブルを構成するデータであるパラメータ或いは補間特性式による算出のためのパラメータを組み込む。   Here, a dense data set means that correspondence information is prepared and incorporated as data for each frame of 15 frames / second, for example, and a sparse data set is 1 second for an image of 15 frames / second, for example. The data set is stored in only one frame, and the parameters which are data constituting the interpolation table or the parameters for calculation by the interpolation characteristic formula are incorporated in the remaining 14 frames.

時間関係情報作成部117は、注視部分画像発生時点、大きな変化時点、注視部分画像の消失時点、記録注視時点の各時点を記録し、基準となる時間軸上のある時点から、どの程度偏移しているかを表現するデータ組形式で記録する。
例えば、基準とする時点(基準時点)が0時0分00秒で、注視部分画像候補発生時点が、0時5分20秒50だったとすると、この「注視部分画像候補発生時点」というイベントに付随するデータ組に「基準時点からの偏移:5分20秒50」を含める。
The time-related information creating unit 117 records each time point when the gaze partial image is generated, a large change time, the disappearance time of the gaze partial image, and the recording gaze time point, and how much deviation from a certain time point on the reference time axis. Record in a data set format that expresses whether
For example, if the reference time (reference time) is 0:00:00 and the gaze partial image candidate occurrence time is 0: 5: 20: 50, the event “gaze partial image candidate occurrence time” In the accompanying data set, “deviation from reference time: 5 minutes 20 seconds 50” is included.

図3は、注視領域及び判断条件の設定を説明するための図である。
図は、全景画面30中における注視部分画像(移動体)32を示している。ここでは例えば室内の全景画像内で予め設定された通路などの注視領域Rにおいて、移動体を検知したときこれを追跡して注視部分画像を取得する場合について説明する。
即ち、移動体32を時問t1で検知したときは、注視部分画像取得部115は、移動体32を注視部分画像候補として画像の取得を開始し、空間関係情報作成部116は、注視部分画像と全景画像(広角画像)との空間位置の対応関係情報を作成してその記録を開始し、時間関係情報作成部117は、時間軸上の注視部分画像候補の発生時点、上記大きな変化時点、消失時点について画像記憶部13への記録を開始する。
FIG. 3 is a diagram for explaining the setting of the gaze area and the determination condition.
The figure shows a gaze partial image (moving body) 32 in the whole view screen 30. Here, for example, a case will be described in which a gaze partial image is acquired by tracking a moving object when a moving object is detected in a gaze region R such as a passage set in advance in an indoor panoramic image.
That is, when the moving body 32 is detected at the time t1, the gaze partial image acquisition unit 115 starts acquiring images using the mobile body 32 as the gaze partial image candidate, and the spatial relationship information creation unit 116 detects the gaze partial image. The spatial relationship correspondence information between the image and the full-view image (wide-angle image) is created and recording thereof is started, and the time relationship information creation unit 117 generates the gaze partial image candidate on the time axis, the large change point, Recording to the image storage unit 13 starts at the time of disappearance.

図3において、移動体32が注視領域Rを移動している間は、注視部分画像取得部115は、移動体32を注視部分画像候補として画像の取得を継続し、かつ空間関係情報作成部116及び時間関係情報作成部117は、上記時間軸上の対応関係情報と、空間位置の対応関係情報の作成及び記録を継続し、時間t3で移動体32が全景画像30から消失したときは、注視部分画像取得部115は、移動体32を注視部分画像と判断して、画像記憶部13に記録(保存)する。   In FIG. 3, while the moving body 32 is moving in the gaze region R, the gaze partial image acquisition unit 115 continues to acquire an image using the mobile body 32 as the gaze partial image candidate, and the spatial relationship information creation unit 116. And the time relation information creating unit 117 continues to create and record the correspondence information on the time axis and the spatial position correspondence information, and when the moving body 32 disappears from the full-view image 30 at time t3, the gaze is received. The partial image acquisition unit 115 determines that the moving body 32 is a gaze partial image and records (saves) it in the image storage unit 13.

他方、上記注視部分画像候補である移動体32が表示された全景画像中において、往視領域Rの途中で外れて消失したときは、注視部分画像取得部115は、上記移動体32は注視部分画像でないと判断して、それまで継続して取得及び記録していた注視部分画像データ及び関連情報を全て記録対象から外す処理を行うか、又はデータに優先度を付けて保存する場合には、その優先度を下げて保存を行う。
なお、これとは逆に、移動体32が注視領域Rをそのまま通過して全景画像から消えたときは、上記注視部分画像候補は注視部分画像でないと判断し、注視領域Rの途中で外れて時間t2で消失したときは、注視部分画像と判断して、それを関連情報と共に画像記憶部13に登録するようにしてもよい。
On the other hand, when the moving body 32 that is the gaze partial image candidate is displayed and disappears in the middle of the outward viewing region R, the gaze partial image acquisition unit 115 determines that the moving body 32 is the gaze portion. When judging that it is not an image and performing the process of excluding all the gaze partial image data and related information that have been continuously acquired and recorded from the recording target, or prioritizing and storing the data, Save at a lower priority.
On the other hand, when the moving body 32 passes through the gaze area R as it is and disappears from the full-view image, it is determined that the gaze partial image candidate is not a gaze partial image, and deviates in the middle of the gaze area R. When it disappears at time t2, it may be determined as a gaze partial image and registered in the image storage unit 13 together with related information.

次に、以上の構成からなる画像処理装置の動作について説明する。
図4は本実施形態に係る画像処理装置の画像データの処理手順を示すフロー図である。
本処理手順を実施するに当たり、まず、注視領域及び判断条件(移動体の移動経路、動線、動作など)を事前に設定しておく。
その状態で、映像取得処理を開始し(Sl01)、まず、広角画像カメラによる録画を開始する(S102)。ここで、設定した注視領域に移動体32があれば(S103、Yes)、カメラ制御部111の制御によりズーム画像カメラの録画を開始し(S104)、ズーム画像カメラにより移動体32を追跡する(S105)。その移動体32の追跡中に、空間関係情報作成部116及び時間関係情報作成部117は、広角(全景)画像とズーム画像との空間的な関係情報と、時間軸上における変化点情報を作成する(S106)。その後、例えば移動体32が注視領域外に出たり、或いは移動体32の動作画像が顕著に変化したなど、注視領域設定部112で設定した判断条件にしたがって録画を区切るべきイベントが発生したときは(S107、Yes)、イベントや移動体32について、条件設定部114で予め設定した判断条件(事前設定条件)に合致しているか否か判断し(S108)、合致しているときは(S108、Yes)、検索手掛かり(注視部分画像と全景画像(広角画像)との関係付け情報、時間軸上での注視部分画像候補の発生時点、上記大きな変化時点、消失時点発生情報)と注視部分画像(ズーム画像)とを組にして画像記憶部13に保存して、ステップSl03に戻り次の移動体の監視を開始する。
Next, the operation of the image processing apparatus having the above configuration will be described.
FIG. 4 is a flowchart showing a processing procedure of image data of the image processing apparatus according to the present embodiment.
In carrying out this processing procedure, first, a gaze area and determination conditions (such as a moving path, a flow line, and an operation of a moving body) are set in advance.
In this state, video acquisition processing is started (S101), and recording by a wide-angle image camera is first started (S102). Here, if the moving object 32 is in the set gaze area (S103, Yes), recording of the zoom image camera is started under the control of the camera control unit 111 (S104), and the moving object 32 is tracked by the zoom image camera ( S105). During the tracking of the moving body 32, the spatial relationship information creation unit 116 and the temporal relationship information creation unit 117 create spatial relationship information between the wide-angle (full view) image and the zoom image, and change point information on the time axis. (S106). After that, when an event that should divide the recording according to the determination condition set by the gaze area setting unit 112 occurs, for example, the moving body 32 goes out of the gaze area or the operation image of the mobile body 32 changes significantly. (S107, Yes), it is determined whether or not the event or the moving body 32 matches the determination condition (preliminary setting condition) set in advance by the condition setting unit 114 (S108). Yes), search cues (association information between the gaze partial image and the panoramic image (wide-angle image), the occurrence time of the gaze partial image candidate on the time axis, the large change time, the disappearance time occurrence information) and the gaze partial image ( The zoom image is stored in the image storage unit 13, and the process returns to step S103 to start monitoring the next moving object.

ステップS108において、経路、動線、注視領域内での動作等が事前設定条件に合致しないときは(S108、No)、ズーム画像カメラの録画を停止し(S109)、ズーム画像カメラ画像の消去又は優先度の格下げを行う(S110)。
以上のようにして、予め設定した注視領域の移動体を監視して、事前に設定した判断条件に合致した注視部分画像を上記検索手掛かりと共に画像記憶部13に記憶する。
In step S108, when the route, flow line, movement in the gaze area, etc. do not match the preset condition (S108, No), the recording of the zoom image camera is stopped (S109), and the zoom image camera image is deleted or deleted. The priority is downgraded (S110).
As described above, the moving object in the preset gaze area is monitored, and the gaze partial image that matches the judgment condition set in advance is stored in the image storage unit 13 together with the search clue.

次に、上記のように画像記憶部13に記憶した画像の検索手順について図5のフロー図を参照して説明する。
検索に当たり、まず、検索で読み出す順番、時点、場所などの検索条件を設定し(S201)、検索を開始すると(S202)、まず、記録画像中の、指定された順番の検索手掛かり(検索キー)に飛ぶか、又は指定された時点の過去例の最近検索手掛かり時点に飛ぶか、又は指定された場所の近傍に関係付けられる検索手掛かりの時点に飛ぶ(S203)。そこで広角画像カメラ記録画像再生を開始し(S204)、検索手掛かり情報を用いてズーム画像カメラ記録画像を再生すると共に、広角画像カメラ記録画像と画像カメラ記録画像との空間的関係を表示部14に表示する(S205)。ここで、ユーザが入力部15から、サーチ、巻き戻し、停止等の操作を行ったとき(S206、Yes)、かつその操作が停止操作でない場合は(S207、No)、ユーザによって指定された操作にしたがって、時間関係情報を検索手掛かり(検索キー)にして時点を移動して(S208)、ステップ(S203)に戻る。ステップS207の操作が停止操作である場合は(S207、Yes)、ズーム画像カメラの記録画像の再生を停止し(S209)、広角画像カメラ記録画像の再生を停止し(S210)、検索処理を終了する。
Next, the search procedure for the image stored in the image storage unit 13 as described above will be described with reference to the flowchart of FIG.
In the search, first, search conditions such as the order, time point, and location to be read in the search are set (S201). When the search is started (S202), first, a search clue (search key) in the specified order in the recorded image. Or the latest search clue time of the past example at the designated time point, or the search clue time related to the vicinity of the designated location (S203). Therefore, the reproduction of the wide-angle image camera recording image is started (S204), the zoom image camera recording image is reproduced using the search clue information, and the spatial relationship between the wide-angle image camera recording image and the image camera recording image is displayed on the display unit 14. It is displayed (S205). Here, when the user performs an operation such as search, rewind, and stop from the input unit 15 (S206, Yes), and when the operation is not a stop operation (S207, No), an operation designated by the user Accordingly, the time-related information is used as a search clue (search key) to move the time (S208), and the process returns to step (S203). If the operation in step S207 is a stop operation (S207, Yes), playback of the recorded image of the zoom image camera is stopped (S209), playback of the wide-angle image camera recorded image is stopped (S210), and the search process is terminated. To do.

本実施形態によれば蓄積されたズームカメラの記録画像及び広角画像カメラ記録画像と、検索手掛かり情報に基づき、任意の時点、任意の場所における移動体の画像を、それぞれの画像蓄積時に付与した検索手掛かり情報に基づき無駄なく効率的に検索することができる。   According to the present embodiment, based on the stored zoom camera recording image and wide-angle image camera recording image, and search clue information, a search that gives an image of a moving body at an arbitrary time and an arbitrary place at the time of each image storage It is possible to search efficiently based on clue information without waste.

10・・・画像処理装置、12・・・通信部、20・・・撮影装置、21・・・撮影部、22・・・通信部、111・・・カメラ制御部、112・・・注視領域設定部、113・・・画像解析部、114・・・条件設定部、115・・・注視部分画像取得部、117・・・時間関係情報作成部、118・・・画像検索部、119・・・画像表示制御部、120・・・RAM、121・・・ROM。   DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 12 ... Communication part, 20 ... Imaging device, 21 ... Imaging part, 22 ... Communication part, 111 ... Camera control part, 112 ... Gaze area Setting unit 113 ... Image analysis unit 114 ... Condition setting unit 115 ... Gaze partial image acquisition unit 117 ... Time relation information creation unit 118 ... Image search unit 119 Image display control unit, 120... RAM, 121.

Claims (6)

監視領域の全景画像内に注視領域を設定する注視領域設定部と、
設定した注視領域の画像を解析して対象物を検出する画像解析部と、
前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、
前記撮影した注視部分画像を取得する注視部分画像取得部と、
前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、
全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、
前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置。
A gaze area setting unit for setting a gaze area in the whole view image of the monitoring area;
An image analysis unit that detects an object by analyzing an image of a set gaze area;
A camera control unit that controls the operation of a gaze partial image capturing camera that captures the object when the object is detected;
A gaze partial image obtaining unit for obtaining the photographed gaze partial image;
A spatial relationship information creating unit that creates spatial relationship information between the gaze partial image acquired by the gaze partial image acquisition unit and the panoramic image;
A time-related information creating unit that creates time-related information indicating a transition on the time axis of the gaze partial image in the whole view image;
An image processing apparatus, comprising: an image storage unit that records the full-view image and adds the related information to a gaze partial image.
請求項1に記載された画像処理装置において、
対象物の判断条件を設定する条件設定部を有し、
前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置。
The image processing apparatus according to claim 1,
It has a condition setting part that sets the judgment condition of the object,
The gaze partial image acquisition unit records the gaze partial image and the related information in the image storage unit only when it is determined that the target matches the set determination condition when the target is detected. An image processing apparatus.
請求項2に記載された画像処理装置において、
前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置。
The image processing apparatus according to claim 2,
The image processing apparatus according to claim 1, wherein the determination condition is a path different from the path of the moving object, a flow line, or a preset action.
請求項1ないし3の何れかに記載された画像処理装置において、
前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置。
The image processing device according to any one of claims 1 to 3,
An image having an image search unit for searching for the accumulated whole-view image and gaze partial image based on the spatial and temporal relationship information, and an image display control unit for displaying the searched images in an overlapping manner. Processing equipment.
コンピュータにより、請求項1ないし4の何れかに記載された画像処理装置の各部の機能を実現するためのプログラム。   The program for implement | achieving the function of each part of the image processing apparatus as described in any one of Claim 1 thru | or 4 with a computer. 請求項1ないし4の何れかに記載された画像処理装置と、
全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システム。
An image processing device according to any one of claims 1 to 4,
An image processing system comprising: a wide-angle image capturing camera for panoramic image capturing, and an image capturing apparatus including a gaze partial image capturing camera.
JP2009081485A 2009-03-30 2009-03-30 Apparatus, system and program for processing image Pending JP2010233185A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009081485A JP2010233185A (en) 2009-03-30 2009-03-30 Apparatus, system and program for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009081485A JP2010233185A (en) 2009-03-30 2009-03-30 Apparatus, system and program for processing image

Publications (1)

Publication Number Publication Date
JP2010233185A true JP2010233185A (en) 2010-10-14

Family

ID=43048538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009081485A Pending JP2010233185A (en) 2009-03-30 2009-03-30 Apparatus, system and program for processing image

Country Status (1)

Country Link
JP (1) JP2010233185A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116912A (en) * 2012-12-12 2014-06-26 Canon Inc Image processing apparatus, control method for image processing apparatus, and program
JP2015039125A (en) * 2013-08-19 2015-02-26 キヤノン株式会社 Monitoring device
JP2017011464A (en) * 2015-06-22 2017-01-12 リコーイメージング株式会社 Imaging system
CN106861100A (en) * 2017-03-17 2017-06-20 大连希尔德安全技术有限公司 Detection based on full-view camera, position and put out method and device
JP2019110546A (en) * 2019-02-05 2019-07-04 リコーイメージング株式会社 Photographing system
WO2023079623A1 (en) * 2021-11-04 2023-05-11 株式会社ソニー・インタラクティブエンタテインメント Image display system, image transmission device, display control device, and image display method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162542A (en) * 1993-12-03 1995-06-23 Hitachi Ltd Monitoring equipment
JPH0918849A (en) * 1995-07-04 1997-01-17 Matsushita Electric Ind Co Ltd Photographing device
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JP2001251608A (en) * 2000-03-07 2001-09-14 Nec Eng Ltd Remote monitoring camera system
JP2007336353A (en) * 2006-06-16 2007-12-27 Canon Inc Information processor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162542A (en) * 1993-12-03 1995-06-23 Hitachi Ltd Monitoring equipment
JPH0918849A (en) * 1995-07-04 1997-01-17 Matsushita Electric Ind Co Ltd Photographing device
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JP2001251608A (en) * 2000-03-07 2001-09-14 Nec Eng Ltd Remote monitoring camera system
JP2007336353A (en) * 2006-06-16 2007-12-27 Canon Inc Information processor

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116912A (en) * 2012-12-12 2014-06-26 Canon Inc Image processing apparatus, control method for image processing apparatus, and program
JP2015039125A (en) * 2013-08-19 2015-02-26 キヤノン株式会社 Monitoring device
JP2017011464A (en) * 2015-06-22 2017-01-12 リコーイメージング株式会社 Imaging system
CN106861100A (en) * 2017-03-17 2017-06-20 大连希尔德安全技术有限公司 Detection based on full-view camera, position and put out method and device
CN106861100B (en) * 2017-03-17 2019-07-02 大连希尔德安全技术有限公司 Fire detection based on full-view camera positions and puts out method and device
JP2019110546A (en) * 2019-02-05 2019-07-04 リコーイメージング株式会社 Photographing system
WO2023079623A1 (en) * 2021-11-04 2023-05-11 株式会社ソニー・インタラクティブエンタテインメント Image display system, image transmission device, display control device, and image display method

Similar Documents

Publication Publication Date Title
JP6399356B2 (en) Tracking support device, tracking support system, and tracking support method
JP4140591B2 (en) Imaging system and imaging method
US8224027B2 (en) Method and apparatus for managing video data
KR100883632B1 (en) System and method for intelligent video surveillance using high-resolution video cameras
JP2007243699A (en) Method and apparatus for video recording and playback
JP2010233185A (en) Apparatus, system and program for processing image
JP4325541B2 (en) Image processing apparatus, reproduction image processing apparatus, image processing method, and reproduction image processing apparatus
KR20110093040A (en) Apparatus and method for monitoring an object
JP2007318431A (en) Display control system and method for controlling display
JP2002344897A (en) Video display device
JP2006245648A (en) Information processing system, information processing apparatus, information processing method, program and recording medium
JP2004266623A (en) Monitoring camera management system
KR20210108691A (en) apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same
KR20110051308A (en) Apparatus and method for photographing face image
JP2004088558A (en) Monitoring system, method, program, and recording medium
JP3969172B2 (en) Monitoring system and method, program, and recording medium
JP3838149B2 (en) Monitoring system and method, program and recording medium
KR20220003779A (en) apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same
KR101698864B1 (en) Media Being Recorded with the Program Executing Method for Detecting Image Using Metadata
US11172159B2 (en) Monitoring camera system and reproduction method
KR101373456B1 (en) Apparatus and method for controlling motion detection
JP2002027434A (en) Image recording device
JP2004241834A (en) Moving picture generating apparatus and method, moving picture transmission system, program, and recording medium
JP2005080172A (en) Moving image storage management method and storage management apparatus
KR101915199B1 (en) Apparatus and method of searching image based on imaging area of the PTZ camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130712