JP2010233185A - Apparatus, system and program for processing image - Google Patents
Apparatus, system and program for processing image Download PDFInfo
- Publication number
- JP2010233185A JP2010233185A JP2009081485A JP2009081485A JP2010233185A JP 2010233185 A JP2010233185 A JP 2010233185A JP 2009081485 A JP2009081485 A JP 2009081485A JP 2009081485 A JP2009081485 A JP 2009081485A JP 2010233185 A JP2010233185 A JP 2010233185A
- Authority
- JP
- Japan
- Prior art keywords
- image
- gaze
- partial
- unit
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置に関し、とくに、広角画像とズーム画像とを関係情報と共に保存すると共に、前記関係情報を手掛かりに保存した画像を検索することができる画像処理装置、画像処理システム及びプログラムに関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus, an image processing system, and a program that can store a wide-angle image and a zoom image together with related information and can search for an image stored using the related information as a clue. .
例えば、防犯システムなどにおいて監視カメラの画像で監視する場合、全方位カメラと、ズームカメラを用いて撮影した画像、即ち、全方位画像と、ズーム画像とを同じ視野内で確認できるように画像を重ね合わせて表示するものが知られている(特許文献1参照)。
この従来の監視システムは、図6に示すように、ズームカメラ1と、光学系2aを介して最大周囲360°の視野を有する全方位画像を撮影する全方位カメラ2と、全方位画像を表示する表示部3eと、全方位画像の所定範囲を監視領域として設定し、監視領域内に存在する被写体の動きを検知する検知部35aと、一つの監視領域を検知部35aの検知結果または手動により指定する指定部32aと、この指定監視領域に対して予めズームカメラ1の位置・倍率が設定された制御情報に基づいてズーム撮影するようズームカメラ1を制御するズームカメラ制御ユニット4とから構成されている。
For example, when monitoring with an image of a surveillance camera in a security system or the like, an image is captured so that an omnidirectional camera and an image taken using a zoom camera, that is, an omnidirectional image and a zoom image can be confirmed within the same field of view. An image displayed in an overlapping manner is known (see Patent Document 1).
This conventional monitoring system, as shown in FIG. 6, displays an omnidirectional image, an
これにより、全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することができる。
ところで、このようにして撮影された画像情報は後に利用できるように記憶装置に記憶させておくが、そのデータ量は膨大であるため、その検索を効率よく行うことが喫緊の課題となっている。
As a result, omnidirectional images captured over a wide range with an omnidirectional camera are set as a plurality of monitoring areas, and one monitoring area is designated automatically or manually from the plurality of monitoring areas. It is possible to zoom with high accuracy.
By the way, the image information captured in this way is stored in a storage device so that it can be used later. However, since the amount of data is enormous, it is an urgent task to perform the search efficiently. .
従来の検索手法としては、特許文献に記載されたものではないが、(1)単純なモーションディテクト(動き検知)機能を用いてリアルタイムでイベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うもの、(2)画像記録後に、画像を解析し、画像の場面が大きく変わる部分を推定して、イベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うものが知られている。 As a conventional search method, it is not described in patent literature, but (1) picking up event information in real time using a simple motion detect (motion detection) function, and adding the meta information to a recorded image (2) Search by the meta information, (2) After recording the image, analyze the image, estimate the part where the scene of the image changes greatly, pick up the event information, add the meta information to the recorded image, What performs a search based on the meta information is known.
しかしながら、(1)の手法では、ノイズ的なイベントを拾い上げる結果、検索時にノイズが多くなる。また、(2)の画像記録後に画像を解析する手法は現在のところ、監視現場で日常的に使用出来るレベルには到達していない。
また、従来の手法では、注視した対象が小さくしか捉えられず、したがって情報が十分に得られず、或いは注視した対象が他の対象に埋もれてしまい、追跡し難いことがある。そこで、上記欠点を補うため注視した対象の画像を高解像度化することが考えられるが、その場合には、データ処理量が大きくなるため処理負担が重くなり過ぎて実用的ではない等の問題がある。
However, in the method (1), as a result of picking up a noise-like event, noise increases during a search. In addition, the method (2) for analyzing an image after image recording has not reached a level that can be used on a daily basis at a monitoring site.
In addition, in the conventional method, the gaze target is captured only small, and therefore, sufficient information is not obtained, or the gaze target is buried in another target, which may be difficult to track. Therefore, it is conceivable to increase the resolution of the image of the object being watched in order to compensate for the above drawbacks, but in that case, the amount of data processing becomes large, so that the processing burden becomes too heavy and is not practical. is there.
本発明は、画像検索手段における上記従来の問題に鑑みてなされたものであって、その目的は、情報処理負担を増大させずに、広角カメラ画像である全景画像と全景画像内の注視領域を撮影したズームカメラ画像である注視部分画像を、対応関係を付けて保存し、保存画像から、保存時に入力した全景画像と注視部分画像の対応関係を規定する関係情報に基づき所望の画像を、確実かつ効率よく検索できるようにすることである。 The present invention has been made in view of the above-described conventional problems in image search means, and its purpose is to provide a wide-angle camera image full view image and a gaze area in the full view image without increasing the information processing burden. The gaze partial image, which is the captured zoom camera image, is saved with a correspondence relationship, and the desired image is surely obtained from the saved image based on the relationship information that defines the correspondence relationship between the panoramic image input at the time of saving and the gaze partial image. And to be able to search efficiently.
請求項1の発明は、監視領域の全景画像内に注視領域を設定する注視領域設定部と、設定した注視領域の画像を解析して対象物を検出する画像解析部と、前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、前記撮影した注視部分画像を取得する注視部分画像取得部と、前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置である。
請求項2の発明は、請求項1に記載された画像処理装置において、対象物の判断条件を設定する条件設定部を有し、前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置である。
請求項3の発明は、請求項2に記載された画像処理装置において、前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置である。
請求項4の発明は、請求項1ないし3の何れかに記載された画像処理装置において、前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置である。
請求項5の発明は、コンピュータにより、請求項1ないし4の何れかに記載された画像処理装置の各部の機能を実現するためのプログラムである。
請求項6の発明は、請求項1ないし4の何れかに記載された画像処理装置と、全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システムである。
According to the first aspect of the present invention, a gaze area setting unit that sets a gaze area in the entire view image of the monitoring area, an image analysis unit that detects an object by analyzing the image of the set gaze area, and detects the object A camera control unit that controls the operation of a gaze partial image capturing camera that captures the target object, a gaze partial image acquisition unit that acquires the captured gaze partial image, and a gaze partial image acquired by the gaze partial image acquisition unit A spatial relationship information creation unit that creates spatial relationship information between the image and the full-view image, a temporal relationship information creation unit that creates time-related information indicating a transition on the time axis of the gaze partial image in the full-view image, and the full view An image processing apparatus characterized by having an image storage unit that records an image and adds the related information to a gaze partial image.
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect of the present invention, the image processing apparatus further includes a condition setting unit that sets a determination condition for the target, and the gaze partial image acquisition unit detects the target when the target is detected. The image processing apparatus is characterized in that the gaze partial image and the related information are recorded in the image storage unit only when it is determined that the object matches the set determination condition.
According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the determination condition is an operation different from a route, a flow line, or a preset operation of the moving body. Device.
According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects of the present invention, an image search is performed for searching the stored full-view image and gaze partial image based on the spatial and temporal relationship information. And an image display control unit that displays the retrieved images in a superimposed manner.
The invention according to claim 5 is a program for realizing the functions of the respective units of the image processing apparatus according to any one of
A sixth aspect of the present invention includes the image processing device according to any one of the first to fourth aspects, and a photographing device including a wide-angle image photographing camera and a gaze partial image photographing camera for panoramic photographing. Is an image processing system.
本発明によれば、全景画像中に注視領域を設定することで監視のための情報処理負担を軽減できる。また、注視部分画像であるための判断条件を設定しておくことで、ノイズを低減しつつ全景画像と注視部分画像を記録・保存することができる。
検索時には、全景画像と注視部分領域画像を保存する際に用いた両画像の対応関係情報を検索キー(検索手掛かり)として、蓄積した前記画像から、所望の画像を効率よく確実に検索することができる。
According to the present invention, it is possible to reduce an information processing burden for monitoring by setting a gaze area in a full-view image. In addition, by setting a determination condition for the gaze partial image, it is possible to record and save the entire view image and the gaze partial image while reducing noise.
At the time of search, it is possible to efficiently and reliably search for a desired image from the stored images using the correspondence information of both images used when saving the full-view image and the gaze partial area image as a search key (search clue). it can.
図1は、本発明の実施形態に係る画像処理システム構成を示すブロック図である。
本実施形態に係る画像処理システムは、互いに通信可能に接続された画像処理装置10と撮影装置20とからなっている。
画像処理装置10は、画像処理装置10全体を制御する制御部11と、撮影装置20との有線又は無線で通信を行う通信部12と、例えば、DVD―ROM(Digital Versatile Disk Read Only Memory)、BD(Blue-ray Disc)―ROMなど画像を記録する任意の記憶媒体で構成された画像記憶部13と,画像表示可能な例えば液晶(LC)やEL(エレクトロルミネッセンス)等の表示装置からなる表示部14と、設定などの操作のための入力部15と、を有している。
撮影装置20は、広角画像カメラと、全景画像(広角画像)中の注視した部分情報が不足しない程度の解像度の高解像度カメラ又はPTZ(パン・チルト・ズーム)カメラ(ズーム画像カメラ)からなる撮影部21と、画像処理装置10との間で画像データやコマンドの送信を行うための通信部22とを有している。
FIG. 1 is a block diagram showing a configuration of an image processing system according to an embodiment of the present invention.
The image processing system according to the present embodiment includes an
The
The photographing
図2は、本発明の実施形態に係る画像処理装置10の制御部11を示すブロック図である。
本画像処理装置10は、撮影装置20の撮影部21で全景画像(広角画像)及び注視部分画像(ズーム画像)を取得し、それをそのまま記録するのではなく、粗い解像度の全景画像(広角画像)と、高解像度であるが小領域に限定される注視部分画像の組合わせと、それに両画像の空間的関係情報、並びに全景画像における注視部分画像の時間軸上の変化情報、つまり両画像の時間的関係情報を付加して上記画像記憶部13に記録する。
また、記録した上記画像情報は、上記各関係情報を検索キーとして検索する。
FIG. 2 is a block diagram showing the
The
The recorded image information is searched using the related information as a search key.
画像処理装置10の制御部11は、上記処理の制御を行うため、上記撮影部21のカメラを制御するカメラ制御部111と、全景画像中に注視領域を設定する注視領域設定部112と、注視領域内の注視したい対象物(移動体)を検知するため、例えば全景画像の前後のフレーム毎にパターンマッチングにより差分画像を作成する等の処理を行う画像解析部113と、検知した移動体が注視部分画像であるか否かを判断するための条件を設定する条件設定部114と、設定条件に合致したとき注視部分画像としてその画像を取得する注視部分画像取得部115と、全景画像(広角画像)のフレーム内における注視部分画像のフレームの空間的な関係を記録する空間関係情報作成部116と、時間軸上の注視部分画像の各イベント、即ち、移動体画像の発生点、所定程度以上に変化する変化時点(大きな変化点という)、消失時点を記録して時間関係情報を作成する時間関係情報作成部117と、記録した画像情報を検索する画像検索部118と、表示部14を制御する画像表示制御部119とを有している。
The
また、上記制御部11は、制御部11の動作のための一時的な記憶手段となるRAM120と、画像処理装置10における画像処理を行うためのプログラムを格納したROM121とを備えている。
The
注視領域の設定は、例えば、画像取得時に表示部14で画像をモニタしている操作者が、モニタ画面上において注視領域をポインティングデバイスなどで指定する。
ここで、注視部分画像を取得する注視部分画像取得部115が、上記のように設定した画像内の注視領域において、監視対象物、例えば侵入者などの移動体を検知したときは、カメラ制御部111により撮影装置20の撮影部21の注視部分画像取得カメラ(ズームカメラ)を作動する。
The gaze area is set by, for example, an operator who monitors the image on the
Here, when the gaze partial image acquisition unit 115 that acquires the gaze partial image detects a moving object such as an intruder in the gaze area in the image set as described above, the camera control unit In 111, the gaze partial image acquisition camera (zoom camera) of the photographing unit 21 of the photographing
また、注視部分画像取得部115は、注視部分画像内で移動体を検知したとき、これを注視部分画像候補として、これも前記条件設定部114で設定した移動体の経路や動線、注視領域での動作などを前記画像解析部113により自動判別して、前記の注視部分画像候補を注視部分画像か否かを決定する。注視部分画像と決定した場合、前記の取得開始(注視部分画像の発生)から条件設定部114で設定した特定の取得停止条件(例えば、注視領域から出る等)に至るまで記録対象とする。
他方、注視部分画像でないと決定した場合は、注視部分画像候補として取得した内容を記録対象から外す(或いは優先度が付されていれば、優先度を下げる)処理を行う。
Further, when the gaze partial image acquisition unit 115 detects a moving body in the gaze partial image, the gaze partial image acquisition unit 115 sets this as a gaze partial image candidate, which is also set by the
On the other hand, when it is determined that the image is not the gaze partial image, the content acquired as the gaze partial image candidate is removed from the recording target (or the priority is lowered if priority is given).
注視部分画像と全景画像との時間的関係情報を作成する時間関係情報作成部117は、例えば、15フレーム/秒で記録すると仮定したとき、注視部分画像の各フレームが全景画像のどのフレームに対応するかの情報(時間軸上の対応関係情報)を作成する。注視部分画像と全景画像との空間的関係情報を作成する空間関係情報作成部116は、注視部分画像のフレームが全景画像フレーム内のどの領域に対応するかの空間関係情報を作成し、密なデータ組として画像記憶部13に記録(保存)する。或いは、疎なデータ組とデータ組間を補間する特性式若しくはデータテーブルとして記録してもよい。
本実施形態では、この対応関係情報を後に検索時における検索手掛かり(検索キー)として利用する。
The temporal relationship
In this embodiment, this correspondence information is used later as a search clue (search key) at the time of search.
ここで、密なデータ組は、例えば15フレーム/秒の各フレームについて対応情報をデータとして用意して組み込むという意味であり、疎なデータ組では、例えば15フレーム/秒の画像の場合、1秒に1フレームだけデータ組を保存し、残りの14フレームについては、補間テーブルを構成するデータであるパラメータ或いは補間特性式による算出のためのパラメータを組み込む。 Here, a dense data set means that correspondence information is prepared and incorporated as data for each frame of 15 frames / second, for example, and a sparse data set is 1 second for an image of 15 frames / second, for example. The data set is stored in only one frame, and the parameters which are data constituting the interpolation table or the parameters for calculation by the interpolation characteristic formula are incorporated in the remaining 14 frames.
時間関係情報作成部117は、注視部分画像発生時点、大きな変化時点、注視部分画像の消失時点、記録注視時点の各時点を記録し、基準となる時間軸上のある時点から、どの程度偏移しているかを表現するデータ組形式で記録する。
例えば、基準とする時点(基準時点)が0時0分00秒で、注視部分画像候補発生時点が、0時5分20秒50だったとすると、この「注視部分画像候補発生時点」というイベントに付随するデータ組に「基準時点からの偏移:5分20秒50」を含める。
The time-related
For example, if the reference time (reference time) is 0:00:00 and the gaze partial image candidate occurrence time is 0: 5: 20: 50, the event “gaze partial image candidate occurrence time” In the accompanying data set, “deviation from reference time: 5
図3は、注視領域及び判断条件の設定を説明するための図である。
図は、全景画面30中における注視部分画像(移動体)32を示している。ここでは例えば室内の全景画像内で予め設定された通路などの注視領域Rにおいて、移動体を検知したときこれを追跡して注視部分画像を取得する場合について説明する。
即ち、移動体32を時問t1で検知したときは、注視部分画像取得部115は、移動体32を注視部分画像候補として画像の取得を開始し、空間関係情報作成部116は、注視部分画像と全景画像(広角画像)との空間位置の対応関係情報を作成してその記録を開始し、時間関係情報作成部117は、時間軸上の注視部分画像候補の発生時点、上記大きな変化時点、消失時点について画像記憶部13への記録を開始する。
FIG. 3 is a diagram for explaining the setting of the gaze area and the determination condition.
The figure shows a gaze partial image (moving body) 32 in the
That is, when the moving
図3において、移動体32が注視領域Rを移動している間は、注視部分画像取得部115は、移動体32を注視部分画像候補として画像の取得を継続し、かつ空間関係情報作成部116及び時間関係情報作成部117は、上記時間軸上の対応関係情報と、空間位置の対応関係情報の作成及び記録を継続し、時間t3で移動体32が全景画像30から消失したときは、注視部分画像取得部115は、移動体32を注視部分画像と判断して、画像記憶部13に記録(保存)する。
In FIG. 3, while the moving
他方、上記注視部分画像候補である移動体32が表示された全景画像中において、往視領域Rの途中で外れて消失したときは、注視部分画像取得部115は、上記移動体32は注視部分画像でないと判断して、それまで継続して取得及び記録していた注視部分画像データ及び関連情報を全て記録対象から外す処理を行うか、又はデータに優先度を付けて保存する場合には、その優先度を下げて保存を行う。
なお、これとは逆に、移動体32が注視領域Rをそのまま通過して全景画像から消えたときは、上記注視部分画像候補は注視部分画像でないと判断し、注視領域Rの途中で外れて時間t2で消失したときは、注視部分画像と判断して、それを関連情報と共に画像記憶部13に登録するようにしてもよい。
On the other hand, when the moving
On the other hand, when the moving
次に、以上の構成からなる画像処理装置の動作について説明する。
図4は本実施形態に係る画像処理装置の画像データの処理手順を示すフロー図である。
本処理手順を実施するに当たり、まず、注視領域及び判断条件(移動体の移動経路、動線、動作など)を事前に設定しておく。
その状態で、映像取得処理を開始し(Sl01)、まず、広角画像カメラによる録画を開始する(S102)。ここで、設定した注視領域に移動体32があれば(S103、Yes)、カメラ制御部111の制御によりズーム画像カメラの録画を開始し(S104)、ズーム画像カメラにより移動体32を追跡する(S105)。その移動体32の追跡中に、空間関係情報作成部116及び時間関係情報作成部117は、広角(全景)画像とズーム画像との空間的な関係情報と、時間軸上における変化点情報を作成する(S106)。その後、例えば移動体32が注視領域外に出たり、或いは移動体32の動作画像が顕著に変化したなど、注視領域設定部112で設定した判断条件にしたがって録画を区切るべきイベントが発生したときは(S107、Yes)、イベントや移動体32について、条件設定部114で予め設定した判断条件(事前設定条件)に合致しているか否か判断し(S108)、合致しているときは(S108、Yes)、検索手掛かり(注視部分画像と全景画像(広角画像)との関係付け情報、時間軸上での注視部分画像候補の発生時点、上記大きな変化時点、消失時点発生情報)と注視部分画像(ズーム画像)とを組にして画像記憶部13に保存して、ステップSl03に戻り次の移動体の監視を開始する。
Next, the operation of the image processing apparatus having the above configuration will be described.
FIG. 4 is a flowchart showing a processing procedure of image data of the image processing apparatus according to the present embodiment.
In carrying out this processing procedure, first, a gaze area and determination conditions (such as a moving path, a flow line, and an operation of a moving body) are set in advance.
In this state, video acquisition processing is started (S101), and recording by a wide-angle image camera is first started (S102). Here, if the moving
ステップS108において、経路、動線、注視領域内での動作等が事前設定条件に合致しないときは(S108、No)、ズーム画像カメラの録画を停止し(S109)、ズーム画像カメラ画像の消去又は優先度の格下げを行う(S110)。
以上のようにして、予め設定した注視領域の移動体を監視して、事前に設定した判断条件に合致した注視部分画像を上記検索手掛かりと共に画像記憶部13に記憶する。
In step S108, when the route, flow line, movement in the gaze area, etc. do not match the preset condition (S108, No), the recording of the zoom image camera is stopped (S109), and the zoom image camera image is deleted or deleted. The priority is downgraded (S110).
As described above, the moving object in the preset gaze area is monitored, and the gaze partial image that matches the judgment condition set in advance is stored in the image storage unit 13 together with the search clue.
次に、上記のように画像記憶部13に記憶した画像の検索手順について図5のフロー図を参照して説明する。
検索に当たり、まず、検索で読み出す順番、時点、場所などの検索条件を設定し(S201)、検索を開始すると(S202)、まず、記録画像中の、指定された順番の検索手掛かり(検索キー)に飛ぶか、又は指定された時点の過去例の最近検索手掛かり時点に飛ぶか、又は指定された場所の近傍に関係付けられる検索手掛かりの時点に飛ぶ(S203)。そこで広角画像カメラ記録画像再生を開始し(S204)、検索手掛かり情報を用いてズーム画像カメラ記録画像を再生すると共に、広角画像カメラ記録画像と画像カメラ記録画像との空間的関係を表示部14に表示する(S205)。ここで、ユーザが入力部15から、サーチ、巻き戻し、停止等の操作を行ったとき(S206、Yes)、かつその操作が停止操作でない場合は(S207、No)、ユーザによって指定された操作にしたがって、時間関係情報を検索手掛かり(検索キー)にして時点を移動して(S208)、ステップ(S203)に戻る。ステップS207の操作が停止操作である場合は(S207、Yes)、ズーム画像カメラの記録画像の再生を停止し(S209)、広角画像カメラ記録画像の再生を停止し(S210)、検索処理を終了する。
Next, the search procedure for the image stored in the image storage unit 13 as described above will be described with reference to the flowchart of FIG.
In the search, first, search conditions such as the order, time point, and location to be read in the search are set (S201). When the search is started (S202), first, a search clue (search key) in the specified order in the recorded image. Or the latest search clue time of the past example at the designated time point, or the search clue time related to the vicinity of the designated location (S203). Therefore, the reproduction of the wide-angle image camera recording image is started (S204), the zoom image camera recording image is reproduced using the search clue information, and the spatial relationship between the wide-angle image camera recording image and the image camera recording image is displayed on the
本実施形態によれば蓄積されたズームカメラの記録画像及び広角画像カメラ記録画像と、検索手掛かり情報に基づき、任意の時点、任意の場所における移動体の画像を、それぞれの画像蓄積時に付与した検索手掛かり情報に基づき無駄なく効率的に検索することができる。 According to the present embodiment, based on the stored zoom camera recording image and wide-angle image camera recording image, and search clue information, a search that gives an image of a moving body at an arbitrary time and an arbitrary place at the time of each image storage It is possible to search efficiently based on clue information without waste.
10・・・画像処理装置、12・・・通信部、20・・・撮影装置、21・・・撮影部、22・・・通信部、111・・・カメラ制御部、112・・・注視領域設定部、113・・・画像解析部、114・・・条件設定部、115・・・注視部分画像取得部、117・・・時間関係情報作成部、118・・・画像検索部、119・・・画像表示制御部、120・・・RAM、121・・・ROM。
DESCRIPTION OF
Claims (6)
設定した注視領域の画像を解析して対象物を検出する画像解析部と、
前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、
前記撮影した注視部分画像を取得する注視部分画像取得部と、
前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、
全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、
前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置。 A gaze area setting unit for setting a gaze area in the whole view image of the monitoring area;
An image analysis unit that detects an object by analyzing an image of a set gaze area;
A camera control unit that controls the operation of a gaze partial image capturing camera that captures the object when the object is detected;
A gaze partial image obtaining unit for obtaining the photographed gaze partial image;
A spatial relationship information creating unit that creates spatial relationship information between the gaze partial image acquired by the gaze partial image acquisition unit and the panoramic image;
A time-related information creating unit that creates time-related information indicating a transition on the time axis of the gaze partial image in the whole view image;
An image processing apparatus, comprising: an image storage unit that records the full-view image and adds the related information to a gaze partial image.
対象物の判断条件を設定する条件設定部を有し、
前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
It has a condition setting part that sets the judgment condition of the object,
The gaze partial image acquisition unit records the gaze partial image and the related information in the image storage unit only when it is determined that the target matches the set determination condition when the target is detected. An image processing apparatus.
前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus according to claim 1, wherein the determination condition is a path different from the path of the moving object, a flow line, or a preset action.
前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置。 The image processing device according to any one of claims 1 to 3,
An image having an image search unit for searching for the accumulated whole-view image and gaze partial image based on the spatial and temporal relationship information, and an image display control unit for displaying the searched images in an overlapping manner. Processing equipment.
全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システム。 An image processing device according to any one of claims 1 to 4,
An image processing system comprising: a wide-angle image capturing camera for panoramic image capturing, and an image capturing apparatus including a gaze partial image capturing camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009081485A JP2010233185A (en) | 2009-03-30 | 2009-03-30 | Apparatus, system and program for processing image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009081485A JP2010233185A (en) | 2009-03-30 | 2009-03-30 | Apparatus, system and program for processing image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010233185A true JP2010233185A (en) | 2010-10-14 |
Family
ID=43048538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009081485A Pending JP2010233185A (en) | 2009-03-30 | 2009-03-30 | Apparatus, system and program for processing image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010233185A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014116912A (en) * | 2012-12-12 | 2014-06-26 | Canon Inc | Image processing apparatus, control method for image processing apparatus, and program |
JP2015039125A (en) * | 2013-08-19 | 2015-02-26 | キヤノン株式会社 | Monitoring device |
JP2017011464A (en) * | 2015-06-22 | 2017-01-12 | リコーイメージング株式会社 | Imaging system |
CN106861100A (en) * | 2017-03-17 | 2017-06-20 | 大连希尔德安全技术有限公司 | Detection based on full-view camera, position and put out method and device |
JP2019110546A (en) * | 2019-02-05 | 2019-07-04 | リコーイメージング株式会社 | Photographing system |
WO2023079623A1 (en) * | 2021-11-04 | 2023-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | Image display system, image transmission device, display control device, and image display method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162542A (en) * | 1993-12-03 | 1995-06-23 | Hitachi Ltd | Monitoring equipment |
JPH0918849A (en) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | Photographing device |
JPH09330415A (en) * | 1996-06-10 | 1997-12-22 | Hitachi Ltd | Picture monitoring method and system therefor |
JP2001251608A (en) * | 2000-03-07 | 2001-09-14 | Nec Eng Ltd | Remote monitoring camera system |
JP2007336353A (en) * | 2006-06-16 | 2007-12-27 | Canon Inc | Information processor |
-
2009
- 2009-03-30 JP JP2009081485A patent/JP2010233185A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162542A (en) * | 1993-12-03 | 1995-06-23 | Hitachi Ltd | Monitoring equipment |
JPH0918849A (en) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | Photographing device |
JPH09330415A (en) * | 1996-06-10 | 1997-12-22 | Hitachi Ltd | Picture monitoring method and system therefor |
JP2001251608A (en) * | 2000-03-07 | 2001-09-14 | Nec Eng Ltd | Remote monitoring camera system |
JP2007336353A (en) * | 2006-06-16 | 2007-12-27 | Canon Inc | Information processor |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014116912A (en) * | 2012-12-12 | 2014-06-26 | Canon Inc | Image processing apparatus, control method for image processing apparatus, and program |
JP2015039125A (en) * | 2013-08-19 | 2015-02-26 | キヤノン株式会社 | Monitoring device |
JP2017011464A (en) * | 2015-06-22 | 2017-01-12 | リコーイメージング株式会社 | Imaging system |
CN106861100A (en) * | 2017-03-17 | 2017-06-20 | 大连希尔德安全技术有限公司 | Detection based on full-view camera, position and put out method and device |
CN106861100B (en) * | 2017-03-17 | 2019-07-02 | 大连希尔德安全技术有限公司 | Fire detection based on full-view camera positions and puts out method and device |
JP2019110546A (en) * | 2019-02-05 | 2019-07-04 | リコーイメージング株式会社 | Photographing system |
WO2023079623A1 (en) * | 2021-11-04 | 2023-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | Image display system, image transmission device, display control device, and image display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6399356B2 (en) | Tracking support device, tracking support system, and tracking support method | |
JP4140591B2 (en) | Imaging system and imaging method | |
US8224027B2 (en) | Method and apparatus for managing video data | |
KR100883632B1 (en) | System and method for intelligent video surveillance using high-resolution video cameras | |
JP2007243699A (en) | Method and apparatus for video recording and playback | |
JP2010233185A (en) | Apparatus, system and program for processing image | |
JP4325541B2 (en) | Image processing apparatus, reproduction image processing apparatus, image processing method, and reproduction image processing apparatus | |
KR20110093040A (en) | Apparatus and method for monitoring an object | |
JP2007318431A (en) | Display control system and method for controlling display | |
JP2002344897A (en) | Video display device | |
JP2006245648A (en) | Information processing system, information processing apparatus, information processing method, program and recording medium | |
JP2004266623A (en) | Monitoring camera management system | |
KR20210108691A (en) | apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same | |
KR20110051308A (en) | Apparatus and method for photographing face image | |
JP2004088558A (en) | Monitoring system, method, program, and recording medium | |
JP3969172B2 (en) | Monitoring system and method, program, and recording medium | |
JP3838149B2 (en) | Monitoring system and method, program and recording medium | |
KR20220003779A (en) | apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same | |
KR101698864B1 (en) | Media Being Recorded with the Program Executing Method for Detecting Image Using Metadata | |
US11172159B2 (en) | Monitoring camera system and reproduction method | |
KR101373456B1 (en) | Apparatus and method for controlling motion detection | |
JP2002027434A (en) | Image recording device | |
JP2004241834A (en) | Moving picture generating apparatus and method, moving picture transmission system, program, and recording medium | |
JP2005080172A (en) | Moving image storage management method and storage management apparatus | |
KR101915199B1 (en) | Apparatus and method of searching image based on imaging area of the PTZ camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130603 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130712 |