JP2008301191A

JP2008301191A - Video monitoring system, video monitoring control device, video monitoring control method, and video monitor controlling program

Info

Publication number: JP2008301191A
Application number: JP2007145199A
Authority: JP
Inventors: Masaaki Takemoto; 雅昭竹本
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-05-31
Filing date: 2007-05-31
Publication date: 2008-12-11

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem that an image taken by a network camera at a certain time deviates from a display image of a display device due to a transmission delay or the like, and operations of pan, tilt, and zoom are difficult. <P>SOLUTION: Actual PTZ present location information is periodically acquired from a network camera 11, and a pickup image frame 45 associated with the size and location corresponding to an actual photographing range based on the PTZ present location information is displayed on a pattern diagram display portion 43 of a display device 15. On the other hand, JPEG data with PTZ present location information, which is obtained by adding the PTZ present location information acquired at photographing to JPEG data obtained by photographing, is acquired from the network camera 11, and the data is extended for display on a video display portion 42 of the display device 15. Also, the PTZ present location information is extracted, and based on this information, a display image frame 46 associated with the size and location corresponding to the display range of the video display portion 42 is displayed on the pattern diagram display portion 43. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラムに係り、特に、遠隔操作によるネットワークカメラのパン、チルト、及びズームの各操作についての作業性改善を目的とした技術に関する。 The present invention relates to a video surveillance system, a video surveillance control device, a video surveillance control method, and a video surveillance control program, and in particular, to improve workability for panning, tilting, and zooming operations of a network camera by remote operation. It relates to the intended technology.

監視カメラで撮影した監視映像を監視者側に設けた表示装置に表示して監視させる映像監視システムにおいて、監視者側のコントローラである映像監視装置から監視カメラを遠隔操作してパン、チルト、ズーム等の撮影条件を変更することは従来行われている。特に、ＩＴ技術やネットワーク技術が発展した近年においては、複数の監視カメラと映像監視装置とをネットワークを介してそれぞれ接続すると共に、監視映像を表示するための表示装置と、監視カメラの撮影条件を変更させるための操作入力手段とを映像監視装置に接続した映像監視システムが用いられるようになっている。 Panning, tilting, and zooming by remotely operating the monitoring camera from the video monitoring device, which is the controller on the supervisor side, in a video surveillance system that displays and monitors the surveillance video captured by the surveillance camera on a display device provided on the supervisor side It has been conventionally performed to change imaging conditions such as the above. In particular, in recent years when IT technology and network technology have been developed, a plurality of surveillance cameras and video surveillance devices are connected to each other via a network, a display device for displaying surveillance video, and shooting conditions of the surveillance cameras. A video monitoring system in which an operation input means for changing is connected to a video monitoring device is used.

このような構成の映像監視システムでは、監視カメラから送信された映像信号を映像監視装置で受信して表示装置に表示する一方、監視者による操作入力手段の操作により、映像監視装置が監視カメラの撮影条件の変更要求信号を生成して監視カメラに送信し、これを受信した監視カメラがパン、チルト、ズーム等の撮影条件を変更することにより、監視者が所望する監視対象の映像監視を行えるようにしている。 In the video monitoring system configured as described above, the video signal transmitted from the monitoring camera is received by the video monitoring device and displayed on the display device. An imaging condition change request signal is generated and transmitted to the surveillance camera, and the surveillance camera that receives the signal changes the imaging conditions such as pan, tilt, zoom, etc., so that the surveillance target can monitor the desired video. I am doing so.

上記のような映像監視システムにおいては、ネットワークを介して映像信号を伝送する必要から、監視カメラが、撮影して得た映像信号をＪＰＥＧ方式やＭＰＥＧ方式等の画像データ圧縮方式により符号化して伝送し、この符号化データを受信した映像監視装置が、データ伸長処理して得た復号映像を表示装置に表示させるのが一般的である。 In the video surveillance system as described above, since it is necessary to transmit the video signal via the network, the surveillance camera encodes and transmits the video signal obtained by photographing using an image data compression method such as the JPEG method or the MPEG method. In general, the video monitoring device that has received the encoded data causes the display device to display the decoded video obtained by the data expansion processing.

しかし、上記のような映像監視システムにおいては、映像信号のデータ圧縮処理やデータ伸長処理により生ずる処理時間遅延と、ネットワークを介して伝送することにより生ずる伝送時間遅延との影響を主に受けるため、表示装置が表示する復号映像は、監視カメラが実際に撮影した時点の映像よりも遅れたものとなる。このような状況において、監視カメラをパン、チルト、又はズームさせた場合、監視カメラの撮影領域と表示装置の表示領域とが実時間上で一致しなくなる。 However, in the video monitoring system as described above, because it is mainly affected by the processing time delay caused by the data compression processing and data decompression processing of the video signal and the transmission time delay caused by transmission over the network, The decoded video displayed by the display device is delayed from the video actually captured by the surveillance camera. In such a situation, when the surveillance camera is panned, tilted, or zoomed, the imaging area of the surveillance camera and the display area of the display device do not match in real time.

ここで、図９に、従来の映像監視システムにおいて、監視カメラを撮影動作させながらパンさせた場合に生ずる、監視カメラの撮影領域と表示装置の表示領域との実時間上のずれを模式的に表した図を示し、以下具体的に説明する。同図には、監視カメラが撮影可能な全体領域９１の中に、監視カメラが実際に撮影している撮影領域を示す撮影領域枠９２と、同一時点において表示装置に表示される表示領域を示す表示領域枠９３とがそれぞれ表されている。まず、監視カメラの撮影条件を固定したままで撮影した場合、撮影領域枠９２と表示領域枠９３との大きさ及び位置はそれぞれ一致する。次に、監視カメラを同図において左方向にパンさせた場合、実際の撮影領域に該当する撮影領域枠９２が左方向に移動を開始し、所定の時間が経過した後に表示装置の表示領域に該当する表示領域枠９３が移動を開始する。その後、監視カメラのパンを停止させると、撮影領域枠９２の移動が停止してから所定時間が経過した後、表示領域枠９３が撮影領域枠９２に重なった位置で停止する。 Here, FIG. 9 schematically shows a shift in real time between the imaging area of the surveillance camera and the display area of the display device, which occurs when the surveillance camera is panned while performing the imaging operation in the conventional video surveillance system. The figure which represents is shown and it demonstrates concretely below. In the same figure, in the entire area 91 that can be photographed by the monitoring camera, a photographing area frame 92 indicating a photographing area that is actually photographed by the surveillance camera and a display area displayed on the display device at the same time are shown. A display area frame 93 is shown. First, when shooting is performed with the monitoring camera shooting conditions fixed, the size and position of the shooting area frame 92 and the display area frame 93 match each other. Next, when the surveillance camera is panned to the left in the figure, the shooting area frame 92 corresponding to the actual shooting area starts to move in the left direction, and after a predetermined time has elapsed, the display area of the display device is displayed. The corresponding display area frame 93 starts moving. Thereafter, when panning of the surveillance camera is stopped, the display area frame 93 stops at a position where it overlaps the imaging area frame 92 after a predetermined time has elapsed since the movement of the imaging area frame 92 stopped.

このような撮影領域と表示領域との時間的なずれは、監視カメラのパンの他、チルト、ズームイン、及びズームアウトによっても生ずるものである。また、ネットワークのトラヒックに応じて伝送遅延量が変化するため、ずれの時間量は動的に変化することとなる。 Such a time lag between the photographing area and the display area is caused not only by panning of the surveillance camera but also by tilting, zooming in, and zooming out. In addition, since the transmission delay amount changes according to the traffic of the network, the amount of time of deviation changes dynamically.

上記のような時間的なずれが生じるため、従来の映像監視システムでは、監視者が表示装置に表示された映像を見ながら操作入力装置を操作してパン、チルト、又はズームの操作を行った場合、実際の監視カメラの移動やズーミングの動作は監視時の表示状態よりも先に進んでいるため、監視者が所望の位置で動作を停止させることが容易くなかった。そこで、このような問題を解決するための改善技術が知られている（例えば、特許文献１〜３参照）。 Due to the time lag as described above, in the conventional video monitoring system, the observer operates the operation input device while watching the video displayed on the display device, and performs pan, tilt, or zoom operations. In this case, since the actual movement of the monitoring camera and the zooming operation are advanced before the display state at the time of monitoring, it is not easy for the monitor to stop the operation at a desired position. Therefore, improvement techniques for solving such problems are known (see, for example, Patent Documents 1 to 3).

具体的に、特許文献１には、監視カメラ及びこれを旋回させるための旋回装置に加えて、監視カメラで撮影した映像の中から操作者により選択された画像を目標対象とし、旋回装置を駆動制御してこの目標対象を自動追尾させる画像追尾装置が備えられた監視カメラシステムが開示されている。この監視カメラシステムによれば、監視者は、監視カメラから送信された映像中の画像をシステムコントローラにより選択するだけであり、監視カメラの旋回操作は不要である。そして、画像追尾装置が目標対象を自動追尾するように旋回装置を制御するため、前述したような時間遅延による旋回操作の操作性の問題がないものとしている。 Specifically, in Patent Document 1, in addition to the surveillance camera and the turning device for turning the surveillance camera, the image selected by the operator from the images captured by the monitoring camera is targeted and the turning device is driven. There is disclosed a surveillance camera system provided with an image tracking device that controls and automatically tracks the target object. According to this surveillance camera system, the supervisor only selects the image in the video transmitted from the surveillance camera by the system controller, and the turning operation of the surveillance camera is unnecessary. Since the image tracking device controls the turning device so as to automatically track the target object, there is no problem of the operability of the turning operation due to the time delay as described above.

また、特許文献２には、カメラ側の画像送信部に、映像信号をＭＰＥＧデータに符号化するためのＭＰＥＧエンコーダと、フレーム画像を１／ｎに間引くための１／ｎ間引きエンコーダとを備えると共に、表示装置側の画像受信部に、ＭＰＥＧデータを復号するためのＭＰＥＧデコーダと、１／ｎ間引きエンコードされたフレーム画像を間引きのないフレーム画像にデコードするための１／ｎ間引きデコーダとを備えた遠隔監視システムが開示されている。この遠隔監視システムによれば、カメラの首振りやズーム等の動作中は、１／ｎ間引きエンコードされたフレーム画像が伝送されるため、時間遅延の影響を少なくすることができるものである。 Japanese Patent Application Laid-Open No. 2004-228620 includes an MPEG encoder for encoding a video signal into MPEG data and a 1 / n decimation encoder for decimation of frame images to 1 / n in an image transmission unit on the camera side. The image receiving unit on the display device side includes an MPEG decoder for decoding MPEG data and a 1 / n decimation decoder for decoding a frame image encoded by 1 / n decimation into a frame image without decimation. A remote monitoring system is disclosed. According to this remote monitoring system, the frame image encoded by 1 / n thinning is transmitted during operations such as camera swinging and zooming, so that the influence of time delay can be reduced.

さらに、特許文献３には、撮像装置と、この撮像装置の撮像条件を変更するための操作装置とがネットワークを介して接続されると共に、操作装置には、撮像条件を変更する操作を受け付けるための操作受付手段と、撮像装置から伝送された画像を表示するための表示手段とがそれぞれ接続された撮像システムにおいて、操作受付手段による操作の受付時に、表示手段に表示されている画像を用いて、受け付けた操作量が反映された操作反映画像や、これを表示枠として表した画像を提示する提示手段を備えた撮像システムが開示されている。この撮像システムによれば、表示手段には操作量が反映された画像又は表示枠が表示されるため、操作と画面表示との間の見かけ上の時間ずれが改善され、これにより操作性が向上される。
特開２００４−１２９１３１号公報特開２０００−２９５６０１号公報特開２００４−２８９６５８号公報 Further, in Patent Document 3, an imaging device and an operation device for changing the imaging condition of the imaging device are connected via a network, and the operation device accepts an operation for changing the imaging condition. In the imaging system in which the operation accepting unit is connected to the display unit for displaying the image transmitted from the imaging device, when the operation accepting unit accepts the operation, the image displayed on the display unit is used. In addition, an imaging system is disclosed that includes a presentation unit that presents an operation-reflected image in which the received operation amount is reflected, and an image that represents this as a display frame. According to this imaging system, an image or a display frame that reflects the operation amount is displayed on the display means, so that an apparent time lag between the operation and the screen display is improved, thereby improving operability. Is done.
JP 2004-129131 A JP 2000-295601 A JP 2004-289658 A

しかしながら、特許文献１記載の監視カメラシステムでは、映像の中から所望の画像が選択された場合には、この画像を目標対象として監視カメラを自動追尾させることができるが、操作者が所望の方向に手動で監視カメラを旋回させる場合については、前述した従来の課題を解決することができない。例えば、倉庫内で不審人物が居ないかどうかを監視するような目的に使用された場合には、この発明による自動追尾は適用できず、撮像領域と表示領域との時間的ずれの影響を受けた旋回の操作となってしまう。また、この監視カメラシステムでは、監視カメラを旋回させる旋回装置側に画像追尾装置を設ける必要があるため、この画像追尾装置にかかるハードウェア及び制御ソフトウェアのコスト的な負担が大きなものになるという懸念がある。 However, in the surveillance camera system described in Patent Document 1, when a desired image is selected from the video, the surveillance camera can be automatically tracked with this image as a target target. In the case where the surveillance camera is manually rotated, the above-described conventional problem cannot be solved. For example, when used for the purpose of monitoring whether there is a suspicious person in a warehouse, the automatic tracking according to the present invention cannot be applied and is affected by the time lag between the imaging area and the display area. Would be a turning operation. Further, in this surveillance camera system, since it is necessary to provide an image tracking device on the side of the turning device for turning the surveillance camera, there is a concern that the cost burden of hardware and control software related to this image tracking device becomes large. There is.

また、特許文献２記載の遠隔監視システムでは、カメラの首振りやズーム等の動作中に伝送される映像信号が、カメラの首振り等の非動作中に伝送される映像信号よりも画質が劣化したものとなるため、カメラの首振り等の動作中に捉えた被写体が不審人物等の重要な画像であった場合に、それを高画質で確認することができないという問題がある。 In addition, in the remote monitoring system described in Patent Document 2, the video signal transmitted while the camera is swinging or zooming is deteriorated in image quality than the video signal transmitted when the camera is swinging or not. Therefore, there is a problem that when the subject captured during the camera swinging operation is an important image such as a suspicious person, it cannot be confirmed with high image quality.

さらに、特許文献３記載の撮像システムでは、操作装置が、操作受付手段による単位操作に対応する画像の変化量を予め記憶する構成であるため、操作受付手段により受け付けた操作量に基づき、操作反映画像や表示枠の移動量は一義的に決定されてしまう。よって、この撮像システムの構成では、前述したネットワークを介した伝送による動的な伝送遅延に対応することができない。 Furthermore, in the imaging system described in Patent Document 3, the operation device is configured to store in advance an image change amount corresponding to the unit operation by the operation reception unit, and therefore, the operation reflection is performed based on the operation amount received by the operation reception unit. The amount of movement of the image and the display frame is uniquely determined. Therefore, the configuration of the imaging system cannot cope with the dynamic transmission delay due to the transmission through the network described above.

本発明は、上記問題に鑑みてなされたものであり、ネットワークカメラを、ネットワークを介した遠隔操作によりパン、チルト、及びズーム動作させる場合に、操作者が所望の位置で操作を停止させることを容易にし、快適な操作環境を実現する映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラムを提供することを目的とする。そして、この目的を達成させるうえで、遠隔操作中の表示映像が画質劣化を伴うことがなく、更には動的なネットワーク遅延量にも対応するようにして実現することをも目的とする。 The present invention has been made in view of the above-described problem. When a network camera is panned, tilted, and zoomed by remote operation via a network, an operator can stop the operation at a desired position. An object of the present invention is to provide a video monitoring system, a video monitoring control apparatus, a video monitoring control method, and a video monitoring control program that facilitate and realize a comfortable operating environment. In order to achieve this object, an object is to realize that the display image during remote operation is not accompanied by image quality deterioration, and further corresponds to a dynamic network delay amount.

本発明は、上記の課題を解決するために、以下［１］〜［４］の手段を提供するものである。
［１］ネットワークカメラ（１１）と映像監視制御装置（１２）とがネットワーク（１３）を介してそれぞれ接続されると共に、操作入力装置（１４）と表示装置（１５）とが前記映像監視制御装置（１２）に接続された映像監視システム（１）であって、
前記ネットワークカメラ（１１）は、
パン、チルト、及びズームのうち少なくとも１つを駆動すると共に、前記駆動に伴い変化する現在位置情報を取得可能な駆動手段（１０５）と、
前記映像監視制御装置（１２）から送信された、パン、チルト、又はズームの設定に関する変更要求信号を受信した場合、この受信した信号に基づき前記駆動手段（１０５）を駆動させる駆動制御手段（１０４，１０６，１０７）と、
前記駆動手段（１０５）に現在位置情報を取得させておくと共に、撮影して得られた映像データをデータ圧縮して、前記取得された現在位置情報を前記データ圧縮された映像データに付加して符号化データを生成する符号化手段（１０３，１０６，１０７）と、
前記生成された符号化データを前記映像監視制御装置（１２）に送信するデータ送信手段（１０４，１０６，１０７）と、
前記映像監視制御装置（１２）から所定の時間おきに送信される現在位置情報取得要求信号を受信する毎に、前記駆動手段（１０５）から現在位置情報を取得して前記映像監視制御装置（１２）に送信する位置情報取得送信手段（１０４，１０６，１０７）と、
を備え、
前記映像監視制御装置（１２）は、
操作に従って前記操作入力装置（１４）から供給された操作信号に基づき、パン、チルト、又はズームの設定に関する変更要求信号を生成し、前記ネットワークカメラ（１１）に送信する変更要求信号生成送信手段（３０１，３０３，３０４，３０５）と、
所定の時間おきに現在位置情報取得要求信号を発生させて前記ネットワークカメラ（１１）に送信し、これに対応して前記ネットワークカメラ（１１）から送信された現在位置情報を受信して取得する位置情報受信取得手段（３０１，３０３，３０４）と、
前記ネットワークカメラ（１１）から送信された符号化データを受信し、これをデータ伸長して復号映像データを生成する復号手段（３０１，３０２，３０３，３０４）と、
前記受信された符号化データから、これに付加されている現在位置情報を抽出する位置情報抽出手段（３０３，３０４）と、
前記表示装置（１５）の表示部（４１，４１ａ）に、映像表示部（４２）を設けて前記生成された復号映像データを表示させると共に、前記ネットワークカメラ（１１）が撮影可能な最大領域を示す最大領域表示部（４３，４３ａ）を前記映像表示部（４２）の近傍に設けて、この最大領域表示部（４３，４３ａ）に、前記取得された現在位置情報に基づき実際の撮影領域に該当する大きさ及び位置に対応させた第１の表示枠（４５，４５ａ）を生成して表示させ、前記抽出された現在位置情報に基づき前記映像表示部（４２）の表示領域に該当する大きさ及び位置に対応させた第２の表示枠（４６，４６ａ）を生成して表示させる表示制御手段（３０３，３０４，３０６）と、
を備えた構成の映像監視システム（１）。
［２］パン、チルト、及びズームのうち少なくとも１つが駆動可能であると共に、前記駆動により変化する現在位置情報を取得可能なネットワークカメラ（１１）と、映像監視制御装置（１２）とがネットワーク（１３）を介してそれぞれ接続されると共に、操作入力装置（１４）と表示装置（１５）とが前記映像監視制御装置（１２）に接続された映像監視システム（１）において用いられる映像監視制御装置（１２）であって、
操作に従って前記操作入力装置（１４）から供給された操作信号に基づき、前記ネットワークカメラ（１１）におけるパン、チルト、又はズームの設定に関する変更要求信号を生成し、前記ネットワークカメラ（１１）に送信する変更要求信号生成送信手段（３０１，３０３，３０４，３０５）と、
所定の時間おきに現在位置情報取得要求信号を発生させて前記ネットワークカメラ（１１）に送信し、これに対応して前記ネットワークカメラ（１１）から送信された現在位置情報を受信して取得する位置情報受信取得手段（３０１，３０３，３０４）と、
前記ネットワークカメラ（１１）から、撮影時点で取得された現在位置情報が、データ圧縮された圧縮映像データに付加されて送信された符号化データを受信してデータ伸長し復号映像データを生成する復号手段（３０１，３０２，３０３，３０４）と、
前記受信された符号化データから、これに付加されている現在位置情報を抽出する位置情報抽出手段（３０３，３０４）と、
前記表示装置（１５）の表示部（４１，４１ａ）に、映像表示部（４２）を設けて前記生成された復号映像データを表示させると共に、前記ネットワークカメラ（１１）が撮影可能な最大領域を示す最大領域表示部（４３，４３ａ）を前記映像表示部（４２）の近傍に設けて、この最大領域表示部（４３，４３ａ）に、前記取得された現在位置情報に基づき実際の撮影領域に該当する大きさ及び位置に対応させた第１の表示枠（４５，４５ａ）を生成して表示させ、前記抽出された現在位置情報に基づき前記映像表示部（４２）の表示領域に該当する大きさ及び位置に対応させた第２の表示枠（４６，４６ａ）を生成して表示させる表示制御手段（３０３，３０４，３０６）と、
を備えた構成の映像監視制御装置（１２）。
［３］パン、チルト、及びズームのうち少なくとも１つが駆動可動であると共に、前記駆動により変化する現在位置情報を取得可能なネットワークカメラ（１１）と、映像監視制御装置（１２）とがネットワーク（１３）を介してそれぞれ接続されると共に、操作入力装置（１４）と表示装置（１５）とが前記映像監視制御装置（１２）に接続された映像監視システム（１）に適用される、映像監視制御装置（１２）の映像監視制御方法であって、
現在位置情報取得要求信号を発生させて前記ネットワークカメラ（１１）に送信し、これに対応して前記ネットワークカメラ（１１）から送信された現在位置情報を受信して取得する第１ステップ（Ｓ５０１）と、
前記表示装置（１５）の表示部（４１，４１ａ）に設けられた、前記ネットワークカメラ（１１）が撮影可能な最大領域を示す最大領域表示部（４３，４３ａ）の中に、前記取得された現在位置情報に基づき実際の撮影領域に該当する大きさ及び位置に対応させた第１の表示枠（４５，４５ａ）を生成して表示する第２ステップ（Ｓ５０１）と、
操作に従って前記操作入力装置（１４）から供給された操作信号に基づき、前記ネットワークカメラ（１１）におけるパン、チルト、又はズームの設定に関する変更要求信号を生成し、前記ネットワークカメラ（１１）に送信する第３ステップ（Ｓ５０２）と、
前記ネットワークカメラ（１１）から、撮影時点で取得された現在位置情報が、データ圧縮された圧縮映像データに付加されて送信された符号化データを受信する第４ステップ（Ｓ５０４）と、
この受信された符号化データから、これに付加されている現在位置情報を抽出する第５ステップ（Ｓ５０４）と、
前記受信された符号化データをデータ伸長させて復号映像データを生成する第６ステップ（Ｓ５０４）と、
前記表示装置（１５）の表示部（４１，４１ａ）に設けられた映像表示部（４２）に、前記生成された復号映像データを表示する第７ステップ（Ｓ５０４）と、
前記最大領域表示部（４３，４３ａ）に、前記抽出された現在位置情報に基づき前記映像表示部（４２）の表示領域に該当する大きさ及び位置に対応させた第２の表示枠（４６，４６ａ）を生成して表示する第８ステップ（Ｓ５０５）と、
を有した映像監視制御装置（１２）の映像監視制御方法。
［４］パン、チルト、及びズームのうち少なくとも１つが駆動可能であると共に、前記駆動により変化する現在位置情報を取得可能なネットワークカメラ（１１）と、映像監視制御装置（１２）とがネットワーク（１３）を介してそれぞれ接続されると共に、操作入力装置（１４）と表示装置（１５）とが前記映像監視制御装置（１２）に接続された映像監視システム（１）における、前記映像監視制御装置（１２）の制御手段（３０３）に実行させるための映像監視制御用プログラムであって、
現在位置情報取得要求信号を発生させて前記ネットワークカメラ（１１）に送信させ、これに対応して前記ネットワークカメラ（１１）から送信された現在位置情報を受信させて取得する第１ステップ（Ｓ５０１）と、
前記表示装置（１５）の表示部（４１，４１ａ）に設けられた、前記ネットワークカメラ（１１）が撮影可能な最大領域を示す最大領域表示部（４３，４３ａ）の中に、前記取得された現在位置情報に基づき実際の撮影領域に該当する大きさ及び位置に対応させた第１の表示枠（４５，４５ａ）を生成して表示させる第２ステップ（Ｓ５０１）と、
操作に従って前記操作入力装置（１４）から供給された操作信号に基づき、前記ネットワークカメラ（１１）におけるパン、チルト、又はズームの設定に関する変更要求信号を生成し、前記ネットワークカメラ（１１）に送信させる第３ステップ（Ｓ５０２）と、
前記ネットワークカメラ（１１）から、撮影時点で取得された現在位置情報が、データ圧縮された圧縮映像データに付加されて送信された符号化データを受信させる第４ステップ（Ｓ５０４）と、
この受信された符号化データから、これに付加されている現在位置情報を抽出する第５ステップ（Ｓ５０４）と、
前記受信された符号化データをデータ伸長させて復号映像データを生成する第６ステップ（Ｓ５０４）と、
前記表示装置（１５）の表示部（４１，４１ａ）に設けられた映像表示部（４２）に、前記生成された復号映像データを表示させる第７ステップ（Ｓ５０４）と、
前記最大領域表示部（４３，４３ａ）に、前記抽出された現在位置情報に基づき前記映像表示部（４２）の表示領域に該当する大きさ及び位置に対応させた第２の表示枠（４６，４６ａ）を生成して表示させる第８ステップ（Ｓ５０５）と、
を有して前記映像監視制御装置（１２）の制御手段（３０３）に実行させるための映像監視制御用プログラム。 The present invention provides the following means [1] to [4] in order to solve the above problems.
[1] A network camera (11) and a video surveillance control device (12) are connected to each other via a network (13), and an operation input device (14) and a display device (15) are connected to the video surveillance control device. A video surveillance system (1) connected to (12),
The network camera (11)
Driving means (105) for driving at least one of pan, tilt, and zoom and capable of acquiring current position information that changes with the driving;
When a change request signal regarding pan, tilt, or zoom setting transmitted from the video surveillance control device (12) is received, a drive control means (104) that drives the drive means (105) based on the received signal. , 106, 107),
The drive unit (105) acquires current position information, compresses video data obtained by shooting, and adds the acquired current position information to the data-compressed video data. Encoding means (103, 106, 107) for generating encoded data;
Data transmission means (104, 106, 107) for transmitting the generated encoded data to the video surveillance controller (12);
Each time a current position information acquisition request signal transmitted from the video monitoring control device (12) is transmitted every predetermined time, current position information is acquired from the driving means (105) and the video monitoring control device (12 Position information acquisition and transmission means (104, 106, 107) to be transmitted to
With
The video surveillance control device (12)
Based on the operation signal supplied from the operation input device (14) according to the operation, a change request signal generation / transmission means for generating a change request signal regarding pan, tilt or zoom setting and transmitting the change request signal to the network camera (11). 301, 303, 304, 305),
A position where a current position information acquisition request signal is generated and transmitted to the network camera (11) every predetermined time, and the current position information transmitted from the network camera (11) is received and acquired correspondingly. Information reception acquisition means (301, 303, 304);
Decoding means (301, 302, 303, 304) for receiving encoded data transmitted from the network camera (11) and decompressing the encoded data to generate decoded video data;
Position information extraction means (303, 304) for extracting current position information added to the received encoded data from the received encoded data;
The display unit (41, 41a) of the display device (15) is provided with a video display unit (42) to display the generated decoded video data, and the maximum area that the network camera (11) can capture is displayed. The maximum area display section (43, 43a) to be shown is provided in the vicinity of the video display section (42), and the maximum area display section (43, 43a) is provided in the actual shooting area based on the acquired current position information. A first display frame (45, 45a) corresponding to the corresponding size and position is generated and displayed, and the size corresponding to the display area of the video display unit (42) based on the extracted current position information. Display control means (303, 304, 306) for generating and displaying a second display frame (46, 46a) corresponding to the height and position;
A video surveillance system (1) comprising:
[2] A network camera (11) that can drive at least one of pan, tilt, and zoom and that can acquire current position information that is changed by the driving, and a video surveillance control device (12) are connected to a network ( 13) and a video surveillance control device used in the video surveillance system (1) in which the operation input device (14) and the display device (15) are connected to the video surveillance control device (12). (12)
Based on the operation signal supplied from the operation input device (14) according to the operation, the network camera (11) generates a change request signal relating to pan, tilt, or zoom settings, and transmits the change request signal to the network camera (11). Change request signal generation and transmission means (301, 303, 304, 305);
A position where a current position information acquisition request signal is generated and transmitted to the network camera (11) every predetermined time, and the current position information transmitted from the network camera (11) is received and acquired correspondingly. Information reception acquisition means (301, 303, 304);
Decoding of the current position information acquired at the time of shooting from the network camera (11) added to the compressed video data that has been data-compressed and transmitted and decompressed to generate decoded video data Means (301, 302, 303, 304);
Position information extraction means (303, 304) for extracting current position information added to the received encoded data from the received encoded data;
The display unit (41, 41a) of the display device (15) is provided with a video display unit (42) to display the generated decoded video data, and the maximum area that the network camera (11) can capture is displayed. The maximum area display section (43, 43a) to be shown is provided in the vicinity of the video display section (42), and the maximum area display section (43, 43a) is provided in the actual shooting area based on the acquired current position information. A first display frame (45, 45a) corresponding to the corresponding size and position is generated and displayed, and the size corresponding to the display area of the video display unit (42) based on the extracted current position information. Display control means (303, 304, 306) for generating and displaying a second display frame (46, 46a) corresponding to the height and position;
A video surveillance control device (12) having a configuration comprising:
[3] At least one of pan, tilt, and zoom is movable, and a network camera (11) capable of acquiring current position information changed by the driving and a video surveillance control device (12) are connected to a network ( 13), and the operation input device (14) and the display device (15) are applied to the video monitoring system (1) connected to the video monitoring control device (12). A video surveillance control method for a control device (12), comprising:
A first step of generating a current position information acquisition request signal and transmitting it to the network camera (11), and receiving and acquiring the current position information transmitted from the network camera (11) correspondingly (S501) When,
In the maximum area display part (43, 43a), which is provided in the display part (41, 41a) of the display device (15) and indicates the maximum area that the network camera (11) can shoot, the acquired A second step (S501) for generating and displaying a first display frame (45, 45a) corresponding to the size and position corresponding to the actual shooting area based on the current position information;
Based on the operation signal supplied from the operation input device (14) according to the operation, the network camera (11) generates a change request signal relating to pan, tilt, or zoom settings, and transmits the change request signal to the network camera (11). A third step (S502);
A fourth step (S504) of receiving encoded data transmitted from the network camera (11) by adding the current position information acquired at the time of shooting to the compressed video data that has been compressed;
A fifth step (S504) for extracting current position information added to the received encoded data from the encoded data;
A sixth step (S504) of generating decoded video data by decompressing the received encoded data;
A seventh step (S504) of displaying the generated decoded video data on the video display unit (42) provided in the display unit (41, 41a) of the display device (15);
A second display frame (46, 43) corresponding to the size and position corresponding to the display area of the video display unit (42) on the maximum area display unit (43, 43a) based on the extracted current position information. An eighth step (S505) for generating and displaying 46a);
A video surveillance control method of the video surveillance control device (12) having the above.
[4] A network camera (11) that can drive at least one of pan, tilt, and zoom and that can acquire current position information that is changed by the driving, and a video surveillance control device (12) are connected to a network ( 13) and the video surveillance control device in the video surveillance system (1) in which the operation input device (14) and the display device (15) are connected to the video surveillance control device (12). A video surveillance control program to be executed by the control means (303) of (12),
A first step (S501) of generating a current position information acquisition request signal and transmitting it to the network camera (11) and receiving and acquiring the current position information transmitted from the network camera (11) correspondingly When,
In the maximum area display part (43, 43a), which is provided in the display part (41, 41a) of the display device (15) and indicates the maximum area that the network camera (11) can shoot, the acquired A second step (S501) for generating and displaying a first display frame (45, 45a) corresponding to the size and position corresponding to the actual shooting area based on the current position information;
Based on the operation signal supplied from the operation input device (14) according to the operation, a change request signal relating to pan, tilt, or zoom setting in the network camera (11) is generated and transmitted to the network camera (11). A third step (S502);
A fourth step (S504) of receiving encoded data transmitted by adding the current position information acquired at the time of shooting from the network camera (11) to the compressed video data that has been compressed;
A fifth step (S504) for extracting current position information added to the received encoded data from the encoded data;
A sixth step (S504) of generating decoded video data by decompressing the received encoded data;
A seventh step (S504) of displaying the generated decoded video data on the video display unit (42) provided in the display unit (41, 41a) of the display device (15);
A second display frame (46, 43) corresponding to the size and position corresponding to the display area of the video display unit (42) on the maximum area display unit (43, 43a) based on the extracted current position information. An eighth step (S505) for generating and displaying 46a);
A video surveillance control program that is executed by the control means (303) of the video surveillance control device (12).

本発明によれば、映像監視制御装置から、ネットワークを介して接続されたネットワークカメラのパン、チルト、及びズームの制御を行う場合に、映像監視制御装置に接続された表示装置の表示部に、ネットワークカメラが撮影可能な最大領域を示す最大領域表示部を設けて、その中にネットワークカメラが実際に撮影している撮影領域に該当する第１の表示枠と、映像監視制御装置で復号された復号映像データが表示されている映像表示部の表示領域に該当する第２の表示枠とをそれぞれ表示することを特徴とする。これにより、監視者は、表示部に表示されたこれらの情報を参照しながら操作入力装置を操作することにより、実際の撮影領域と復号映像の表示領域とのずれを視認しながら考慮しつつ、所望の位置で操作を停止させることを容易にすることができる。特に、本発明によれば、復号映像の画質が遠隔操作中に劣化することがなく、更には第１及び第２の表示枠を、動的なネットワーク遅延量に対応させて表示することができる。 According to the present invention, when controlling pan, tilt, and zoom of a network camera connected via a network from the video monitoring control device, the display unit of the display device connected to the video monitoring control device A maximum area display unit indicating the maximum area that the network camera can shoot is provided, and the first display frame corresponding to the shooting area that is actually captured by the network camera is decoded by the video surveillance control device. A second display frame corresponding to the display area of the video display unit on which the decoded video data is displayed is displayed. Thereby, the observer operates the operation input device while referring to these pieces of information displayed on the display unit, and while considering the deviation between the actual shooting area and the display area of the decoded video, It is possible to easily stop the operation at a desired position. In particular, according to the present invention, the image quality of the decoded video is not deteriorated during remote operation, and the first and second display frames can be displayed in correspondence with the dynamic network delay amount. .

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。図１に、本発明の実施形態である映像監視システムの概略構成図を示す。同図において、映像監視システム１は、ネットワークカメラ１１と映像監視制御装置１２とがネットワーク１３を介してそれぞれ接続されると共に、操作入力装置１４と表示装置１５とが映像監視制御装置１２にそれぞれ接続されて構成されている。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings. FIG. 1 shows a schematic configuration diagram of a video surveillance system according to an embodiment of the present invention. In the figure, in the video monitoring system 1, a network camera 11 and a video monitoring control device 12 are connected via a network 13, and an operation input device 14 and a display device 15 are connected to the video monitoring control device 12, respectively. Has been configured.

そして、ネットワークカメラ１１がカメラ制御用プログラムを実行することにより、そして、映像監視制御装置１２が映像監視制御用プログラムを実行することにより、映像監視システム１として機能するものである。本実施形態においては、カメラ制御用プログラムと映像監視制御用プログラムとで映像監視システム制御用プログラムを構成している。 The network camera 11 functions as the video monitoring system 1 when the camera control program is executed, and the video monitoring control apparatus 12 executes the video monitoring control program. In the present embodiment, the camera monitoring program and the video surveillance control program constitute a video surveillance system control program.

まず、ネットワークカメラ１１の概略機能について説明する。ネットワークカメラ１１は、撮影して得た映像信号をＪＰＥＧ方式によりデータ圧縮処理して映像監視制御装置１２に伝送する機能を有する。また、ネットワークカメラ１１は、映像監視制御装置１２からの制御により、又は当該カメラ自身のオート駆動制御により、当該カメラのパン、チルト、及びズームのうち少なくとも１つの撮影条件を変更する機能を有する。これにおいて、ズームはズームイン及びズームアウトのいずれもの動作が含まれる。また、ネットワークカメラ１１は、映像監視制御装置１２からの要求に応じて、要求を受けた時点におけるパン、チルト、及びズームに関する現在位置情報を取得して送信する機能を有する。さらに、ネットワークカメラ１１は、撮影した時点におけるパン、チルト、及びズームに関する現在位置情報を取得し、撮像画像データを圧縮処理して生成したＪＰＥＧデータの所定セグメントに記録する機能を有する。さらにまた、ネットワークカメラ１１は、当該カメラで実行されるべきカメラ制御用プログラムと、映像監視制御装置１２にインストールされて実行されるべき映像監視制御用プログラムとを格納し、また読み出す機能を有する。 First, an outline function of the network camera 11 will be described. The network camera 11 has a function of transmitting a video signal obtained by photographing to the video monitoring control device 12 by performing data compression processing by the JPEG method. Further, the network camera 11 has a function of changing at least one shooting condition among pan, tilt, and zoom of the camera by control from the video monitoring control device 12 or by auto drive control of the camera itself. In this case, zooming includes both zoom-in and zoom-out operations. In addition, the network camera 11 has a function of acquiring and transmitting current position information regarding pan, tilt, and zoom at the time of receiving the request in response to a request from the video surveillance control device 12. Furthermore, the network camera 11 has a function of acquiring current position information regarding pan, tilt, and zoom at the time of shooting and recording the captured image data in a predetermined segment of JPEG data generated by compression processing. Furthermore, the network camera 11 has a function of storing and reading out a camera control program to be executed by the camera and a video monitor control program to be installed and executed in the video monitoring control device 12.

次に、映像監視制御装置１２の概略機能について説明する。映像監視制御装置１２は、ネットワークカメラ１１から伝送されたＪＰＥＧデータを受信し、データ伸長処理して復号映像を生成する機能を有する。また、映像監視制御装置１２は、監視者による操作入力装置１４の操作により生成された操作信号が入力された場合、この操作信号に基づき、ネットワークカメラ１１のパン、チルト、及びズームのうち少なくとも１つを駆動させるための制御を行う機能を有する。また、映像監視制御装置１２は、ネットワークカメラ１１に対して、パン、チルト、及びズームに関する現在位置情報の取得を要求し、この要求に応じて当該カメラにから現在位置情報を取得する機能を有する。さらに、映像監視制御装置１２は、表示装置１５に表示されるべき、復号映像の表示部やパン、チルト、及びズーム操作のためのＧＵＩ等の監視用画面を作成して表示装置１５に表示する機能を有する。さらにまた、映像監視制御装置１２は、ネットワークカメラ１１から映像監視制御用プログラムを読み出して当該装置にコピーしインストールし実行する機能を有する。 Next, an outline function of the video surveillance control device 12 will be described. The video surveillance control device 12 has a function of receiving JPEG data transmitted from the network camera 11 and generating a decoded video by performing data decompression processing. Further, when an operation signal generated by the operation of the operation input device 14 by the supervisor is input, the video monitoring control device 12 is based on the operation signal, and at least one of pan, tilt, and zoom of the network camera 11 is selected. Has a function of performing control for driving the two. Further, the video surveillance control device 12 has a function of requesting the network camera 11 to acquire current position information regarding pan, tilt, and zoom, and acquiring current position information from the camera in response to the request. . Furthermore, the video monitoring control device 12 creates a display screen for the decoded video to be displayed on the display device 15 and a monitoring screen such as a GUI for panning, tilting, and zooming operation, and displays them on the display device 15. It has a function. Furthermore, the video surveillance control device 12 has a function of reading a video surveillance control program from the network camera 11, copying it to the device, installing it, and executing it.

映像監視制御装置１２は、パーソナルコンピュータ（以下、ＰＣと記す。）を用いて構成することができる。よって、本実施形態では、映像監視制御装置１２をＰＣで構成すると共に、このＰＣに接続される操作入力装置１４をポインティングデバイスであるマウスにより構成し、表示装置１５を一般的なＰＣに用いられているＲＧＢモニタで構成した例について説明する。 The video surveillance control device 12 can be configured using a personal computer (hereinafter referred to as PC). Therefore, in this embodiment, the video surveillance control device 12 is configured by a PC, the operation input device 14 connected to the PC is configured by a mouse as a pointing device, and the display device 15 is used for a general PC. An example of an RGB monitor will be described.

ネットワーク１３は、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）制御による通信網であり、ＬＡＮや広域ネットワークが適用できる。 The network 13 is a communication network based on IP (Internet Protocol) control, and a LAN or a wide area network can be applied.

次に、映像監視システム１の各装置の機能についてより詳細に説明する。まずは、図２に、ネットワークカメラ１１の概略機能ブロック図を示す。同図において、ネットワークカメラ１１は、光学系１０１と、撮像部１０２と、画像処理部１０３と、ネットワークインタフェース（Ｉ／Ｆ）部１０４と、パン・チルト・ズーム（ＰＴＺ）駆動部１０５と、制御部１０６と、メモリ１０７とを備えている。 Next, functions of each device of the video monitoring system 1 will be described in more detail. First, FIG. 2 shows a schematic functional block diagram of the network camera 11. In the figure, a network camera 11 includes an optical system 101, an imaging unit 102, an image processing unit 103, a network interface (I / F) unit 104, a pan / tilt / zoom (PTZ) driving unit 105, and a control. A unit 106 and a memory 107.

ネットワークカメラ１１においては、制御部１０６が、メモリ１０７に記憶したカメラ制御用プログラムを実行することにより、ネットワークカメラ１１の各構成部を制御する。 In the network camera 11, the control unit 106 controls each component of the network camera 11 by executing a camera control program stored in the memory 107.

メモリ１０７には、カメラ制御用プログラムと映像監視制御用プログラムとの他、ＰＴＺ駆動部１０５に通知すべきパン、チルト、及びズームに関する各種コマンド情報（以下、ＰＴＺコマンドと記す。）が、制御部１０６の制御により記憶される。具体例として、このＰＴＺコマンドには、パン、チルト、及びズームについての、ＰＴＺ駆動部１０５に設定すべき位置情報設定コマンド、駆動開始設定コマンド、駆動停止設定コマンド、オート駆動設定コマンド等の設定用コマンド、並びに、ＰＴＺ駆動部１０５からパン、チルト、及びズームの現在位置情報を取得するためのＰＴＺ現在位置情報取得コマンド等がある。 In the memory 107, in addition to the camera control program and the video surveillance control program, various command information (hereinafter referred to as PTZ commands) relating to pan, tilt, and zoom to be notified to the PTZ drive unit 105 are also stored in the control unit. It is stored under the control of 106. As a specific example, the PTZ command is for setting a position information setting command, a driving start setting command, a driving stop setting command, an auto driving setting command, etc. to be set in the PTZ driving unit 105 for pan, tilt and zoom. There are a command and a PTZ current position information acquisition command for acquiring current position information of pan, tilt, and zoom from the PTZ drive unit 105.

そして、ＰＴＺ駆動部１０５は、このＰＴＺコマンドが制御部１０６によって通知されることにより、このＰＴＺコマンドの内容に応じた駆動動作を行う。例えば、ＰＴＺ駆動部１０５は、ＰＴＺコマンドとして位置情報設定コマンドを受信すると、このコマンドに含まれたパン、チルト、及びズームのうち少なくとも１つの撮影条件の指定と、設定すべき位置情報とに基づき、その指定された撮影条件をその指定された位置情報に合わせるべく駆動する。また、駆動開始設定コマンドや駆動停止設定コマンドを受信すると、そのコマンドで指定された撮影条件の駆動を開始したり停止したりする。また、ＰＴＺ駆動部１０５は、オート駆動設定コマンドを受信すると、そのコマンドに含まれた撮影条件の指定と、オート動作の動作条件の指定とに基づき、その指定された撮影条件をその指定された動作条件でオート駆動する。さらに、ＰＴＺ駆動部１０５は、ＰＴＺ現在位置情報取得コマンドを受信すると、現在駆動しているパン、チルト、及びズームの現在位置情報を即時的に取得する。 Then, when the PTZ command is notified by the control unit 106, the PTZ driving unit 105 performs a driving operation according to the content of the PTZ command. For example, when the PTZ driving unit 105 receives a position information setting command as a PTZ command, the PTZ driving unit 105 is based on designation of at least one shooting condition among pan, tilt, and zoom included in the command and position information to be set. Then, the designated shooting condition is driven to match the designated position information. Further, when a drive start setting command or a drive stop setting command is received, driving of the imaging condition specified by the command is started or stopped. When the PTZ driving unit 105 receives the auto drive setting command, the designated shooting condition is designated based on the designation of the photographing condition included in the command and the designation of the operating condition of the auto operation. Auto drive under operating conditions. Furthermore, when receiving the PTZ current position information acquisition command, the PTZ driving unit 105 immediately acquires the current position information of the currently driven pan, tilt, and zoom.

被写体からの光束を、光学系１０１を通して撮像部１０２に結像させると、撮像部１０２は光電変換処理により映像信号を生成する。画像処理部１０３は、この映像信号をＪＰＥＧ方式によりフレームを単位としてデータ圧縮処理してＪＰＥＧデータを生成し、メモリ１０７に記憶していく。ここで、メモリ１０７は、画像処理部１０３側とネットワークＩ／Ｆ部１０４側との間のバッファとしての役目を担っている。 When the light flux from the subject is imaged on the imaging unit 102 through the optical system 101, the imaging unit 102 generates a video signal by photoelectric conversion processing. The image processing unit 103 performs data compression processing on the video signal in units of frames by the JPEG method to generate JPEG data, and stores it in the memory 107. Here, the memory 107 serves as a buffer between the image processing unit 103 side and the network I / F unit 104 side.

制御部１０６は、画像処理部１０３に対して、データ圧縮処理におけるフレームレートや圧縮率等の設定を行うことができる。また、制御部１０６は、撮像部１０２で生成された映像信号が画像処理部１０３でデータ圧縮処理される前に、すなわち、撮像された時点で、ＰＴＺ駆動部１０５からパン、チルト、及びズームの現在位置情報（以下、ＰＴＺ現在位置情報と記す。）を取得しておき、ＪＰＥＧデータが画像処理部１０３からメモリ１０７に記憶される際、又は記憶された後に、この取得されたＰＴＺ現在位置情報をＪＰＥＧデータのコメントセグメント又はアプリケーションセグメントの領域に書き込む。なお、制御部１０６は、毎フレームや、数フレーム毎というように、ＰＴＺ現在位置情報をＪＰＥＧデータに書き込むタイミングを決定することができる。そして、制御部１０６は、メモリ１０７の記憶状態を監視しながら、ＰＴＺ現在位置情報が書き込まれたＪＰＥＧデータ（以下、ＰＴＺ現在位置情報付ＪＰＥＧデータと記す。）をメモリ１０７から読み出してネットワークＩ／Ｆ部１０４に供給する。 The control unit 106 can set the frame rate, the compression rate, and the like in the data compression process for the image processing unit 103. Further, the control unit 106 performs panning, tilting, and zooming from the PTZ driving unit 105 before the video signal generated by the imaging unit 102 is subjected to data compression processing by the image processing unit 103, that is, at the time when the video signal is captured. Current position information (hereinafter referred to as PTZ current position information) is acquired, and when the JPEG data is stored in the memory 107 from the image processing unit 103 or after the storage, the acquired PTZ current position information is acquired. Is written in the comment segment or application segment area of the JPEG data. The control unit 106 can determine the timing for writing the PTZ current position information to the JPEG data, such as every frame or every few frames. Then, while monitoring the storage state of the memory 107, the control unit 106 reads out the JPEG data in which the PTZ current position information is written (hereinafter referred to as JPEG data with PTZ current position information) from the memory 107 and reads out the network I / O. This is supplied to the F unit 104.

ネットワークＩ／Ｆ部１０４は、ＰＴＺ現在位置情報付ＪＰＥＧデータをＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）パケットにフォーマット変換してネットワーク１３に送出する。また、ネットワークＩ／Ｆ部１０４は、映像監視制御装置１２から送信されたＰＴＺ現在位置情報取得要求信号を受信すると制御部１０６に通知し、これに応答して制御部１０６からＰＴＺ現在位置情報が供給されると、このＰＴＺ現在位置情報をＩＰパケット化して映像監視制御装置１２に送信する。さらに、ネットワークＩ／Ｆ部１０４は、映像監視制御装置１２から送信されたＰＴＺ変更要求信号を受信すると制御部１０６に通知し、制御部１０６は、この通知されたＰＴＺ変更要求信号に含まれたＰＴＺコマンドをメモリ１０７に記憶し、ＰＴＺ駆動部１０５に対して通知する。 The network I / F unit 104 converts the format of JPEG data with PTZ current position information into an IP (Internet Protocol) packet and transmits the packet to the network 13. Further, when the network I / F unit 104 receives the PTZ current position information acquisition request signal transmitted from the video surveillance control device 12, it notifies the control unit 106, and in response thereto, the PTZ current position information is received from the control unit 106. When supplied, the PTZ current position information is converted into an IP packet and transmitted to the video surveillance control device 12. Further, when the network I / F unit 104 receives the PTZ change request signal transmitted from the video surveillance control device 12, it notifies the control unit 106, and the control unit 106 is included in the notified PTZ change request signal. The PTZ command is stored in the memory 107 and notified to the PTZ drive unit 105.

次に、図３に、映像監視制御装置１２の概略機能ブロック図を示す。同図において、映像監視制御装置１２は、ネットワークＩ／Ｆ部３０１と、画像処理部３０２と、制御部３０３と、メモリ３０４と、操作Ｉ／Ｆ部３０５と、表示Ｉ／Ｆ部３０６とを備えている。 Next, FIG. 3 shows a schematic functional block diagram of the video surveillance control apparatus 12. In the figure, the video monitoring control apparatus 12 includes a network I / F unit 301, an image processing unit 302, a control unit 303, a memory 304, an operation I / F unit 305, and a display I / F unit 306. I have.

映像監視制御装置１２においては、制御部３０３が、メモリ３０４に展開された映像監視制御用プログラムを実行することにより、映像監視制御装置１２の各構成部を制御する。 In the video monitoring control device 12, the control unit 303 controls each component of the video monitoring control device 12 by executing a video monitoring control program developed in the memory 304.

ネットワークカメラ１１から伝送された、ＩＰパケット化されたＰＴＺ現在位置情報付ＪＰＥＧデータをネットワークＩ／Ｆ部３０１で受信すると、制御部３０３は、パケット解除されたＰＴＺ現在位置情報付ＪＰＥＧデータをメモリ３０４に記憶する。制御部３０３は、このデータをメモリ３０４に記憶する際、又は記憶した後で、ＪＰＥＧデータにおけるコメントセグメント又はアプリケーションセグメントに書き込まれたＰＴＺ現在位置情報を読み出す。 When the network I / F unit 301 receives the IP packetized JPEG data with PTZ current position information transmitted from the network camera 11, the control unit 303 stores the PPEG current position information with JPEG data released from the packet in the memory 304. To remember. The controller 303 reads the PTZ current position information written in the comment segment or application segment in the JPEG data when or after storing this data in the memory 304.

画像処理部３０２は、メモリ３０４からＰＴＺ現在位置情報付ＪＰＥＧデータを読み込み、データ伸長処理を行って復号画像データを生成する。そして、制御部３０３は、復号画像データを表示Ｉ／Ｆ部３０６の画像メモリに展開し、表示Ｉ／Ｆ部３０６は画像フォーマット変換を行って表示装置１５に表示する。 The image processing unit 302 reads JPEG data with PTZ current position information from the memory 304, performs data decompression processing, and generates decoded image data. Then, the control unit 303 develops the decoded image data in the image memory of the display I / F unit 306, and the display I / F unit 306 performs image format conversion and displays it on the display device 15.

一方、制御部３０３は、ＰＴＺ現在位置情報付ＪＰＥＧデータから読み出したＰＴＺ現在位置情報に基づき、ネットワークカメラ１１が撮影可能な全体領域における復号画像データの範囲及び位置を計算し（以下、復号画像位置情報と記す。）、この復号画像位置情報に基づき表示画像枠データを生成して表示Ｉ／Ｆ部３０６の画像メモリに展開する。そして、表示Ｉ／Ｆ部３０６は、画像フォーマット変換を行って表示装置１５に表示する。 On the other hand, the control unit 303 calculates the range and position of the decoded image data in the entire area that the network camera 11 can shoot based on the PTZ current position information read from the JPEG data with PTZ current position information (hereinafter referred to as the decoded image position). Display image frame data is generated based on the decoded image position information and developed in the image memory of the display I / F unit 306. Then, the display I / F unit 306 performs image format conversion and displays it on the display device 15.

これにより、ネットワークカメラ１１が撮像可能な全体領域において、表示画像枠データにより示される大きさ及び位置に該当する画像は、復号画像データによる画像となる。 As a result, in the entire area that can be imaged by the network camera 11, the image corresponding to the size and position indicated by the display image frame data is an image based on the decoded image data.

また、制御部３０３は、所定の時間おき、例えば定期的にＰＴＺ現在位置情報取得要求コマンドを発行し、ネットワークＩ／Ｆ部３０１を介して、ネットワークカメラ１１にＰＴＺ現在位置情報取得要求信号を送信する。なお、制御部３０３は、この定期の時間間隔の設定値を変更することができる。 In addition, the control unit 303 issues a PTZ current position information acquisition request command periodically, for example, at predetermined intervals, and transmits a PTZ current position information acquisition request signal to the network camera 11 via the network I / F unit 301. To do. The control unit 303 can change the set value of the regular time interval.

そして、ネットワークカメラ１１から送信されたＩＰパケット化されたＰＴＺ現在位置情報をネットワークＩ／Ｆ部３０１で受信すると、制御部３０３は、パケット解除したＰＴＺ現在位置情報に基づき、ネットワークカメラ１１が撮影可能な全体領域における撮像画像の範囲及び位置を計算し（以下、撮像画像位置情報と記す。）、この撮像画像位置情報に基づき撮像画像枠データを生成して表示Ｉ／Ｆ部３０６の画像メモリに展開する。そして、表示Ｉ／Ｆ部３０６は、画像フォーマット変換を行って表示装置１５に表示する。 When the network I / F unit 301 receives the IP packetized PTZ current position information transmitted from the network camera 11, the control unit 303 can shoot the network camera 11 based on the PTZ current position information whose packet is released. The range and position of the captured image in the entire area are calculated (hereinafter referred to as captured image position information), and captured image frame data is generated based on the captured image position information and stored in the image memory of the display I / F unit 306. expand. Then, the display I / F unit 306 performs image format conversion and displays it on the display device 15.

映像監視制御装置１２とネットワークカメラ１１との間で行われるＰＴＺ現在位置情報取得要求及びＰＴＺ現在位置情報取得応答の処理においては、ネットワーク１３で通信されるデータ量がＰＴＺ現在位置情報付ＪＰＥＧデータに比べて極めて少ないものであるためネットワーク伝送遅延は極めて小さく、且つ、データ圧縮伸長処理のような処理負荷もないため、データ処理遅延も殆どない。よって、ネットワークカメラ１１が撮影可能な全体領域において撮像画像枠データにより示される大きさ及び位置に該当する画像は、ネットワークカメラ１１が実際に撮像している撮像画像と略等しいものとなる。 In the processing of the PTZ current position information acquisition request and the PTZ current position information acquisition response performed between the video surveillance controller 12 and the network camera 11, the amount of data communicated over the network 13 is converted into JPEG data with PTZ current position information. Since the network transmission delay is extremely small as compared with the above, the network transmission delay is extremely small, and since there is no processing load such as data compression / decompression processing, there is almost no data processing delay. Therefore, the image corresponding to the size and position indicated by the captured image frame data in the entire area that can be captured by the network camera 11 is substantially equal to the captured image actually captured by the network camera 11.

また、監視者が操作入力装置１４であるマウスを操作すると、操作入力装置１４から操作信号が出力されて映像監視制御装置１２の操作Ｉ／Ｆ部３０５に入力される。操作Ｉ／Ｆ部３０５は、操作信号が入力されると制御部３０３に通知され、制御部３０３は、操作信号に基づきネットワークカメラ１１のパン、チルト、又はズームのうちいずれが選択されたか、及びその操作に基づく移動量を計算する。そして、これらの計算結果に基づき前述したＰＴＺコマンドを発行し、ネットワークＩ／Ｆ部３０１を介して、ネットワークカメラ１１にＰＴＺ変更要求信号を送信する。 When the monitor operates the mouse as the operation input device 14, an operation signal is output from the operation input device 14 and input to the operation I / F unit 305 of the video monitoring control device 12. When the operation signal is input, the operation I / F unit 305 is notified to the control unit 303, and the control unit 303 determines which one of pan, tilt, or zoom of the network camera 11 is selected based on the operation signal, and The movement amount based on the operation is calculated. Based on these calculation results, the PTZ command described above is issued, and a PTZ change request signal is transmitted to the network camera 11 via the network I / F unit 301.

ここで、制御部３０３が映像監視制御用プログラムを実行することにより表示装置１５に表示される監視用画面について、画面例を示して具体的に説明する。図４に、監視用画面の例を模式的に示す。同図において、監視用画面４１は、映像表示部４２と、模式図表示部４３と、操作用ＧＵＩ４４とで構成されている。監視用画面４１は、表示装置１５の表示画面における全体画面であってもよく、その一部画面であってもよいが、本実施形態においては、表示装置１５の表示画面の一部分にウィンドウとして表示されるものとする。そして、特に、映像表示部４２及び模式図表示部４３は、監視者が両方の表示部を併せ見ることが容易となるよう、互いが近傍に設けられることが望ましい。 Here, the monitoring screen displayed on the display device 15 when the control unit 303 executes the video monitoring control program will be specifically described with reference to a screen example. FIG. 4 schematically shows an example of a monitoring screen. In the figure, a monitoring screen 41 is composed of a video display unit 42, a schematic diagram display unit 43, and an operation GUI 44. The monitoring screen 41 may be an entire screen of the display screen of the display device 15 or a partial screen thereof. In the present embodiment, the monitoring screen 41 is displayed as a window on a part of the display screen of the display device 15. Shall be. In particular, it is desirable that the video display unit 42 and the schematic diagram display unit 43 be provided in the vicinity of each other so that the observer can easily see both display units together.

そして、映像表示部４２には、画像処理部３０２でデータ伸長処理された復号画像データが表示される。模式図表示部４３には、ネットワークカメラ１１が撮影可能な全体領域を表す模式図が表示される。そして模式図表示部４３には、ネットワークカメラ１１が現在撮影している撮影領域に該当する領域を示すための撮像画像枠４５が表示される。さらに、模式図表示部４３には、映像表示部４２に表示されている復号画像データの画面領域に該当する領域を示すための表示画像枠４６が表示される。 The video display unit 42 displays the decoded image data that has been subjected to the data expansion processing by the image processing unit 302. The schematic diagram display unit 43 displays a schematic diagram representing the entire area that the network camera 11 can capture. The schematic diagram display unit 43 displays a captured image frame 45 for indicating an area corresponding to the imaging area currently captured by the network camera 11. Further, the schematic diagram display unit 43 displays a display image frame 46 for indicating an area corresponding to the screen area of the decoded image data displayed on the video display unit 42.

操作用ＧＵＩ４４には、監視者が操作入力装置１４を用いて操作するためのＧＵＩである複数のボタンが表示される。監視者は、操作入力装置１４の操作に応じて画面に表示されるカーソルポインタをいずれかのボタンに重ね合わせてクリック、又はプレス・リリースし、操作入力装置１４から操作信号を出力させる。そして、映像監視制御装置１２は、その操作信号に基づく座標計算等により、ネットワークカメラ１１のパン若しくはチルトによる回転操作、又はズームイン若しくはズームアウト操作の制御を行う。この操作用ＧＵＩ４４を用いた入力インタフェースについては、公知技術により実現するものであるため、その詳細については説明を省略する。 The operation GUI 44 displays a plurality of buttons that are GUIs for the monitor to operate using the operation input device 14. The supervisor superimposes a cursor pointer displayed on the screen on one of the buttons according to the operation of the operation input device 14 and clicks or presses and releases the operation signal from the operation input device 14. Then, the video surveillance control device 12 controls a rotation operation by panning or tilting of the network camera 11 or a zoom-in or zoom-out operation by coordinate calculation based on the operation signal. The input interface using the operation GUI 44 is realized by a publicly known technique, and therefore, detailed description thereof is omitted.

次に、映像監視システム１における映像監視制御装置１２の処理の例について、図５のフローチャートを併せ参照して説明する。ネットワークカメラ１１がカメラ制御用プログラムの実行により撮影状態になると共に、映像監視制御装置１２が映像監視制御用プログラムの実行により稼動状態になると、映像監視制御装置１２の制御部３０３は、ＰＴＺ現在位置情報取得要求コマンドを発行し、ネットワークＩ／Ｆ部３０１を介してネットワークカメラ１１にＰＴＺ現在位置情報取得要求信号を送信する。その後、ネットワークカメラ１１からＰＴＺ現在位置情報取得要求信号に対する応答として、パン、チルト、及びズームに関する実際の位置情報であるＰＴＺ現在位置情報をネットワークＩ／Ｆ部３０１で受信すると、制御部３０３は、この受信したＰＴＺ現在位置情報に基づき、ネットワークカメラ１１が撮影可能な全体領域における撮像画像の範囲及び位置である撮像画像位置情報を計算する。そして、この情報に基づく撮像画像枠データを生成して表示Ｉ／Ｆ部３０６の画像メモリにおける模式図表示部４３に撮像画像枠４５を展開し、表示装置１５に表示させる（ステップＳ５０１）。 Next, an example of processing of the video monitoring control device 12 in the video monitoring system 1 will be described with reference to the flowchart of FIG. When the network camera 11 is in the shooting state by executing the camera control program and the video monitoring control device 12 is in the operating state by executing the video monitoring control program, the control unit 303 of the video monitoring control device 12 determines the PTZ current position. An information acquisition request command is issued, and a PTZ current position information acquisition request signal is transmitted to the network camera 11 via the network I / F unit 301. After that, as a response to the PTZ current position information acquisition request signal from the network camera 11, when the network I / F unit 301 receives PTZ current position information that is actual position information regarding pan, tilt, and zoom, the control unit 303 Based on the received PTZ current position information, the captured image position information, which is the range and position of the captured image in the entire area that the network camera 11 can capture, is calculated. Then, captured image frame data based on this information is generated, the captured image frame 45 is developed on the schematic diagram display unit 43 in the image memory of the display I / F unit 306, and is displayed on the display device 15 (step S501).

次に、制御部３０３は、監視者の操作により操作入力装置１４から入力される操作信号について、操作用ＧＵＩ４４に設けられたボタンが操作されたことによるパン、チルト、又はズームの操作であるかを調べ、いずれかの操作である場合には、その操作対象を示す撮影条件と、駆動開始若しくは駆動停止の指定、又はネットワークカメラ１１のＰＴＺ駆動部１０５に設定すべき位置情報とを含むＰＴＺコマンドを発行し、ネットワークＩ／Ｆ部３０１を介してネットワークカメラ１１にＰＴＺ変更要求信号を送信する（ステップＳ５０２）。 Next, regarding the operation signal input from the operation input device 14 by the operation of the supervisor, the control unit 303 is a pan, tilt, or zoom operation when a button provided on the operation GUI 44 is operated. If the operation is any of the operations, a PTZ command including a shooting condition indicating the operation target and designation of driving start or driving stop or position information to be set in the PTZ driving unit 105 of the network camera 11 And a PTZ change request signal is transmitted to the network camera 11 via the network I / F unit 301 (step S502).

次に、制御部３０３は、映像表示部４２及び模式図表示部４３の表示を更新するか否かを判断する（ステップＳ５０３）。具体的には、制御部３０３は、例えば予め決定された一定時間が経過したかどうかで判断する。ステップＳ５０３の処理において画面を更新しないと判断した場合（ステップＳ５０３Ｎｏ）はステップＳ５０１に処理を移行する。 Next, the control unit 303 determines whether or not to update the display of the video display unit 42 and the schematic diagram display unit 43 (step S503). Specifically, the control unit 303 determines, for example, whether a predetermined time has elapsed. If it is determined in step S503 that the screen is not updated (No in step S503), the process proceeds to step S501.

一方、ステップＳ５０３の処理において画面を更新すると判断した場合（ステップＳ５０３Ｙｅｓ）は、制御部３０３は、ネットワークカメラ１１から伝送されてネットワークＩ／Ｆ部３０１で受信されているＰＴＺ現在位置情報付ＪＰＥＧデータをメモリ３０４に記憶させる。そして、制御部３０３は、メモリ３０４に記憶する際、又は記憶した後で、ＰＴＺ現在位置情報付ＪＰＥＧデータのコメントセグメント又はアプリケーションセグメントに記録されているＰＴＺ現在位置情報を読み出す。そして、画像処理部３０２は、メモリ３０４からＰＴＺ現在位置情報付ＪＰＥＧデータを読み込み、データ伸長処理を行って復号画像データを生成し、この復号画像データを表示Ｉ／Ｆ部３０６の画像メモリにおける映像表示部４２に展開して表示装置１５に表示させる（ステップＳ５０４）。 On the other hand, when it is determined that the screen is updated in the process of step S503 (step S503 Yes), the control unit 303 transmits the JPEG with PTZ current position information transmitted from the network camera 11 and received by the network I / F unit 301. Data is stored in the memory 304. Then, the control unit 303 reads the PTZ current position information recorded in the comment segment or the application segment of the JPEG data with PTZ current position information when or after the data is stored in the memory 304. The image processing unit 302 reads the JPEG data with PTZ current position information from the memory 304, performs data decompression processing to generate decoded image data, and displays the decoded image data in the image memory of the display I / F unit 306. The data is expanded on the display unit 42 and displayed on the display device 15 (step S504).

次に、制御部３０３は、ステップＳ５０４の処理において制御部３０３が読み出したＰＴＺ現在位置情報に基づき、ネットワークカメラ１１が撮影可能な全体領域における復号画像データの範囲及び位置である復号画像位置情報を計算する。そして、この情報に基づく表示画像枠データを生成して表示Ｉ／Ｆ部３０６の画像メモリにおける模式図表示部４３に表示画像枠４６を展開し、表示装置１５に表示させる（ステップＳ５０５）。 Next, based on the PTZ current position information read out by the control unit 303 in the process of step S504, the control unit 303 obtains decoded image position information that is the range and position of the decoded image data in the entire area that the network camera 11 can capture. calculate. Then, display image frame data based on this information is generated, the display image frame 46 is developed on the schematic diagram display unit 43 in the image memory of the display I / F unit 306, and is displayed on the display device 15 (step S505).

次に、制御部３０３は、処理を終了させるか否かを判断する（ステップＳ５０６）。処理の終了の判断処理は、例えば、操作用ＧＵＩ４４の操作により終了ボタンが押されたか否かを調べることにより行う。制御部３０３は、処理を終了させないと判断した場合（ステップＳ５０６Ｎｏ）はステップＳ５０１に処理を移行し、処理を終了させると判断した場合（ステップＳ５０６Ｙｅｓ）は処理を終了させる。 Next, the control unit 303 determines whether or not to end the process (step S506). The process end determination process is performed, for example, by examining whether or not the end button has been pressed by operating the operation GUI 44. If the control unit 303 determines not to end the process (No in step S506), the process proceeds to step S501. If the control unit 303 determines to end the process (Yes in step S506), the process ends.

ここで、図６に、ネットワークカメラ１１の動作に伴って映像監視制御装置１２が表示装置１５に表示する監視用画面４１の例を示す。同図（ａ）は、ネットワークカメラ１１がパン、チルト、及びズーム動作のいずれも行っていない場合の表示例である。映像表示部４２には、ネットワークカメラ１１で撮影された被写体である人物の映像が表示され、模式図表示部４３には、撮像画像枠４５と表示画像枠４６とが重なった状態で表示される。これは、ネットワークカメラ１１のパン及びチルトの回転動作、並びにズーム動作が停止しているため、実際の撮影領域と復号画像データの表示位置とについての、大きさ及び位置が共に一致していることによる。 Here, FIG. 6 shows an example of the monitoring screen 41 displayed on the display device 15 by the video monitoring control device 12 in accordance with the operation of the network camera 11. FIG. 6A shows a display example when the network camera 11 is not performing any of pan, tilt and zoom operations. The video display unit 42 displays a video of a person who is a subject photographed by the network camera 11, and the schematic diagram display unit 43 displays the captured image frame 45 and the display image frame 46 in an overlapping state. . This is because the panning and tilting rotation operations and zooming operations of the network camera 11 are stopped, so that the size and position of the actual shooting area and the display position of the decoded image data are the same. by.

図６（ｂ）は、ネットワークカメラ１１が監視用画面４１に対して左方向にパン動作を行っている場合の表示例である。操作用ＧＵＩ４４により左方向へのパンの操作がなされると、ネットワークカメラ１１のパン回転動作に伴って模式図表示部４３中の撮像画像枠４５が左方向に移動を開始する。そして、ネットワーク伝送遅延及びデータ圧縮伸長処理遅延に基づく遅延時間の経過後、映像表示部４２に表示された復号画像データが左方向にパン移動を開始（被写体である人物像が右に移動する。）すると共に、模式図表示部４３に表示された表示画像枠４６が左方向に移動を開始する。 FIG. 6B is a display example when the network camera 11 is panning leftward with respect to the monitoring screen 41. When a panning operation in the left direction is performed by the operation GUI 44, the captured image frame 45 in the schematic diagram display unit 43 starts moving in the left direction in accordance with the pan rotation operation of the network camera 11. Then, after the delay time based on the network transmission delay and the data compression / decompression processing delay elapses, the decoded image data displayed on the video display unit 42 starts panning in the left direction (the person image as the subject moves to the right). ) And the display image frame 46 displayed on the schematic diagram display unit 43 starts moving in the left direction.

このような監視用画面４１の表示により、監視者は、模式図表示部４３中の撮像画像枠４５と表示画像枠４６との位置関係により、撮影領域と表示領域とのずれの発生やその程度を知ることができる。そして、監視者は、模式図表示部４３の近傍に設けられた映像表示部４２に表示された復号映像をも併せ見ることにより、パン動作の停止のタイミングを容易に且つ適切に捉えることができる。すなわち、撮像画像枠４５で示される現在の撮影位置が所望の位置になった時点で停止操作を行えば、映像表示部４２におけるパン移動はその所望の位置に該当する位置に遅れて停止することになる。 By displaying the monitoring screen 41 in this manner, the monitor can cause or cause a shift between the imaging region and the display region depending on the positional relationship between the captured image frame 45 and the display image frame 46 in the schematic diagram display unit 43. Can know. The supervisor can easily and appropriately grasp the stop timing of the pan operation by also viewing the decoded video displayed on the video display unit 42 provided in the vicinity of the schematic diagram display unit 43. . That is, if the stop operation is performed when the current shooting position indicated by the captured image frame 45 reaches a desired position, the pan movement in the video display unit 42 stops after a delay corresponding to the desired position. become.

図６（ｃ）は、ネットワークカメラ１１がズームアウト動作を行っている場合の表示例である。操作用ＧＵＩ４４によりズームアウトの操作がなされると、ネットワークカメラ１１のズームアウト動作に伴って模式図表示部４３中の撮像画像枠４５がズームアウトを開始する（大きくなり始める）。そして、ネットワーク伝送遅延及びデータ圧縮伸長処理遅延に基づく遅延時間の経過後、映像表示部４２に表示された復号画像データがズームアウトを開始すると共に、模式図表示部４３に表示された表示画像枠４６がズームアウトを開始する。 FIG. 6C is a display example when the network camera 11 is performing a zoom-out operation. When the zoom-out operation is performed by the operation GUI 44, the captured image frame 45 in the schematic diagram display unit 43 starts zooming out (becomes larger) in accordance with the zoom-out operation of the network camera 11. Then, after the delay time based on the network transmission delay and the data compression / decompression processing delay elapses, the decoded image data displayed on the video display unit 42 starts zooming out, and the display image frame displayed on the schematic diagram display unit 43 46 starts zooming out.

このような監視用画面４１の表示により、監視者は、同図（ｂ）の場合と同様に、模式図表示部４３中の撮像画像枠４５と表示画像枠４６との位置関係により、撮像領域と表示領域とのずれの発生やその程度を知ることができる。そして、監視者は、映像表示部４２に表示された復号映像をも併せ見ることにより、ズーム動作の停止のタイミングを容易に且つ適切に捉えることができる。すなわち、撮像画像枠４５で示される現在の撮影位置が所望の位置になった時点で停止操作を行えば、映像表示部４２におけるズーミングはその所望の位置に該当する位置に遅れて停止することになる。 By displaying the monitoring screen 41 in this manner, the monitor can change the imaging region according to the positional relationship between the captured image frame 45 and the display image frame 46 in the schematic diagram display unit 43 as in the case of FIG. It is possible to know the occurrence and degree of deviation between the display area and the display area. The supervisor can easily and appropriately grasp the timing of stopping the zoom operation by also viewing the decoded video displayed on the video display unit 42. That is, if the stop operation is performed when the current shooting position indicated by the captured image frame 45 reaches a desired position, zooming in the video display unit 42 stops after a delay corresponding to the desired position. Become.

＜監視用画面の変形例１＞
本実施形態においては、図４に示したように模式図表示部４３を矩形状の表示部としたが、ネットワークカメラ１１が円周上略全方向のパン回転、及び略９０度のチルト回転により略半球状の領域をカバーできるものであれば、模式図表示部を円形状に表示するようにしてもよい。図７に、円形状の模式図表示部が設けられた監視用画面の例の模式図を示す。同図において、監視用画面４１ａの模式図表示部４３ａは円形状であり、模式図表示部４３ａ中には、ネットワークカメラ１１のチルト動作に伴って撮像画像枠４５ａ及び表示画像枠４６ａがそれぞれ扇形状の枠として表示されている。このように、半球状の範囲を円形状に表現する方法としては、地図で用いられている周知の方位図法を適用することができる。 <Variation 1 of monitoring screen>
In the present embodiment, as shown in FIG. 4, the schematic diagram display unit 43 is a rectangular display unit, but the network camera 11 is operated by pan rotation in almost all directions on the circumference and tilt rotation of about 90 degrees. If the substantially hemispherical region can be covered, the schematic diagram display unit may be displayed in a circular shape. FIG. 7 shows a schematic diagram of an example of a monitoring screen provided with a circular schematic diagram display unit. In the figure, the schematic diagram display unit 43a of the monitoring screen 41a has a circular shape. In the schematic diagram display unit 43a, the captured image frame 45a and the display image frame 46a are respectively fan-shaped as the network camera 11 is tilted. It is displayed as a shape frame. Thus, as a method of expressing the hemispherical range in a circular shape, a well-known azimuth projection method used in maps can be applied.

＜監視用画面の変形例２＞
ネットワークカメラ１１がズームイン動作した場合、図４及び図７に示した模式図表示部４３，４３ａに表示される撮像画像枠４５，４５ａや表示画像枠４６，４６ａは、ズームイン動作に伴ってより小さくなるため、監視者による位置の判断が難しくなる場合が予想される。そこで、模式図表示部４３，４３ａにおける撮像画像枠４５，４５ａ及び表示画像枠４６，４６ａを含んだ部分領域を拡大して表示する構成にしてもよい。 <Modification 2 of the monitoring screen>
When the network camera 11 performs a zoom-in operation, the captured image frames 45 and 45a and the display image frames 46 and 46a displayed on the schematic diagram display units 43 and 43a illustrated in FIGS. 4 and 7 are smaller as the zoom-in operation is performed. For this reason, it may be difficult to determine the position by the supervisor. Therefore, a configuration may be adopted in which the partial area including the captured image frames 45 and 45a and the display image frames 46 and 46a in the schematic diagram display units 43 and 43a is enlarged and displayed.

図８に、図７の監視用画面４１ａに模式図拡大表示部を追加して構成した監視用画面の例を示す。同図において、監視用画面４１ｂにおける模式図拡大表示部４７は、模式図表示部４３ａにおける撮像画像枠４５ａ及び表示画像枠４６ａを含む部分領域を拡大した表示画面である。映像監視制御装置１２の制御部３０３は、撮像画像位置情報及び復号画像位置情報に基づき、両方の画像枠が含まれる範囲となる拡大率で模式図拡大表示部４７を生成して表示Ｉ／Ｆ部３０６の画像メモリに展開し、表示装置１５に表示させる。 FIG. 8 shows an example of a monitoring screen configured by adding a schematic diagram enlarged display section to the monitoring screen 41a of FIG. In the drawing, a schematic diagram enlarged display unit 47 in the monitoring screen 41b is a display screen in which a partial region including the captured image frame 45a and the display image frame 46a in the schematic diagram display unit 43a is enlarged. Based on the captured image position information and the decoded image position information, the control unit 303 of the video surveillance control device 12 generates the schematic diagram enlarged display unit 47 at an enlargement ratio that includes both image frames, and displays the display I / F. The data is expanded in the image memory of the unit 306 and displayed on the display device 15.

以上詳述したように、本実施形態による映像監視システム１によれば、監視者が映像監視制御装置１２に接続された操作入力装置１４を操作することによってネットワークカメラ１１を遠隔操作しパン、チルト、又はズーム動作させる場合に、監視者が表示装置１５を見ながら所望の位置でパン、チルト、又はズーム操作を停止させることを極めて容易にし、これにより快適な操作環境を実現することができる。しかも、遠隔操作中であっても画質劣化しない復号画像データを得ることができ、そして、動的なネットワーク遅延にも十分対応している。 As described above in detail, according to the video monitoring system 1 according to the present embodiment, the network camera 11 is remotely operated by operating the operation input device 14 connected to the video monitoring control device 12 by the supervisor, and panning and tilting. When the zoom operation is performed, it is extremely easy for the supervisor to stop the pan, tilt, or zoom operation at a desired position while looking at the display device 15, thereby realizing a comfortable operation environment. Moreover, it is possible to obtain decoded image data that does not deteriorate the image quality even during remote operation, and sufficiently copes with dynamic network delay.

なお、本実施形態では、ネットワーク１３に接続されるネットワークカメラ１１を１台として説明したが、これのみならず、ネットワーク１３には複数のネットワークカメラが接続されるものであってもよい。また、操作入力装置１４及び表示装置１５のうち少なくともいずれかの装置が映像監視制御装置１２に組み込まれた構成であってもよい。 In the present embodiment, the network camera 11 connected to the network 13 is described as one unit. However, not only this, but a plurality of network cameras may be connected to the network 13. Further, a configuration in which at least one of the operation input device 14 and the display device 15 is incorporated in the video surveillance control device 12 may be adopted.

また、本実施形態では、映像監視制御装置１２が所定の時間おきにＰＴＺ現在位置情報取得要求信号をネットワークカメラ１１に送信し、これに応答してネットワークカメラ１１が実際の位置情報であるＰＴＺ現在位置情報を取得して映像監視制御装置１２に返送する構成及び手順について説明した。その他の変形例として、映像監視制御装置１２がＰＴＺ現在位置情報取得要求信号を送信することなく、ネットワークカメラ１１が定期的に且つ自発的に、ＰＴＺ駆動部１０５から得たＰＴＺ現在位置情報を映像監視制御装置１２に送信し、これを映像監視制御装置１２が受信するような構成としてもよい。 In the present embodiment, the video surveillance control device 12 transmits a PTZ current position information acquisition request signal to the network camera 11 every predetermined time, and in response to this, the network camera 11 is the actual PTZ current position information. The configuration and procedure for acquiring position information and returning it to the video surveillance control apparatus 12 have been described. As another modification, the video monitoring control device 12 transmits the PTZ current position information obtained from the PTZ drive unit 105 periodically and spontaneously without transmitting the PTZ current position information acquisition request signal. It is good also as a structure which transmits to the monitoring control apparatus 12, and the image | video monitoring control apparatus 12 receives this.

また、本実施形態では、ビデオカメラとしてネットワークカメラ１１を使用する構成としたが、ネットワークカメラ１１の代わりに、アナログビデオカメラ及びネットワークエンコーダを用いる構成としてもよい。この場合のネットワークエンコーダは、アナログビデオ信号を入力してデータ圧縮処理、及びＩＰパケット処理を行ってネットワーク１３に出力すると共に、ネットワーク１３側からパン、チルト、及びズーム設定等の信号（コマンド）を入力してアナログビデオカメラを制御するよう構成される。 In this embodiment, the network camera 11 is used as the video camera. However, instead of the network camera 11, an analog video camera and a network encoder may be used. In this case, the network encoder inputs an analog video signal, performs data compression processing and IP packet processing and outputs the result to the network 13, and also outputs signals (commands) such as pan, tilt, and zoom settings from the network 13 side. It is configured to input and control an analog video camera.

また、本実施形態では、ネットワークカメラ１１を全体的に制御する制御部１０６と、画像処理部１０３とを別の構成として説明したが、これらを一体化した構成にしてもよい。同様に、映像監視制御装置１２においても、制御部３０３と画像処理部３０２とを一体化した構成にしてもよい。また、これらにより実行されるデータ圧縮の処理方式は、ＪＰＥＧ方式以外にも、ＭＰＥＧ方式等の高能率符号化方式が適用できる。 In the present embodiment, the control unit 106 that controls the network camera 11 as a whole and the image processing unit 103 have been described as separate configurations. However, the configuration may be integrated. Similarly, in the video monitoring control apparatus 12, the control unit 303 and the image processing unit 302 may be integrated. In addition to the JPEG method, a high-efficiency encoding method such as the MPEG method can be applied as the data compression processing method executed by these.

また、本実施形態では、操作入力装置１４をマウスで構成すると共に、操作用ＧＵＩ４４を用いる構成としたが、もちろん、操作入力装置１４は表示装置１５の画面上に設けられたタッチパネルを用いる構成であってもよく、更には、操作用ＧＵＩ４４を設けることなく、パン、チルト、及びズームを操作するための専用操作卓を用いる構成であってもよい。 In the present embodiment, the operation input device 14 is configured with a mouse and the operation GUI 44 is used. Of course, the operation input device 14 is configured with a touch panel provided on the screen of the display device 15. There may be a configuration in which a dedicated console for operating pan, tilt, and zoom is used without providing the operation GUI 44.

また、本実施形態及び変形例では、模式図表示部４３，４３ａや模式図拡大表示部４７を単なる模式図としたが、この模式図上に実写の画像を重ね合わせて表示する構成にしてもよい。この実写の画像としては、予め撮像した画像であってもよく、又は映像監視制御装置１２でデータ伸長処理された復号画像データで随時更新するようにしてもよい。 Further, in the present embodiment and the modified example, the schematic diagram display units 43 and 43a and the schematic diagram enlarged display unit 47 are merely schematic diagrams. However, a configuration in which a live-action image is superimposed on the schematic diagram and displayed. Good. This live-action image may be an image captured in advance, or may be updated as necessary with decoded image data that has been subjected to data decompression processing by the video surveillance control device 12.

また、本実施形態及び変形例では、監視用画面４１，４１ａに操作用ＧＵＩ４４を設けてパン、チルト、及びズーム等の操作を行わせる構成としたが、模式図表示部４３，４３ａ又は模式図拡大表示部４７の中の所望の位置をマウスポインタで指し示し、クリック操作やプレス・ドラッグ操作することにより、パン、チルト、及びズームの操作を指定する構成にしてもよい。 In this embodiment and the modification, the operation GUI 44 is provided on the monitoring screens 41 and 41a to perform operations such as panning, tilting, and zooming. However, the schematic diagram display units 43 and 43a or schematic diagrams are used. A desired position in the enlarged display unit 47 may be pointed with a mouse pointer, and a panning, tilting, and zooming operation may be designated by a click operation or a press / drag operation.

本発明の実施形態である映像監視システムの概略構成を示した図である。It is the figure which showed schematic structure of the video surveillance system which is embodiment of this invention. 本発明の実施形態におけるネットワークカメラの概略機能構成を示したブロック図である。It is the block diagram which showed the schematic function structure of the network camera in embodiment of this invention. 本発明の実施形態における映像監視制御装置の概略機能構成を示したブロック図である。It is the block diagram which showed the schematic function structure of the video surveillance control apparatus in embodiment of this invention. 本発明の実施形態における監視用画面の例を模式的に表した図である。It is the figure which represented typically the example of the screen for monitoring in embodiment of this invention. 本発明の実施形態における映像監視制御装置の処理を説明するためのフローチャート図である。It is a flowchart figure for demonstrating the process of the video surveillance control apparatus in embodiment of this invention. 本発明の実施形態におけるネットワークカメラの動作に伴い、映像監視制御装置が表示装置に表示する監視用画面の例を示した図である。It is the figure which showed the example of the monitoring screen which a video surveillance control apparatus displays on a display apparatus with operation | movement of the network camera in embodiment of this invention. 本発明の実施形態における監視用画面の変形例を模式的に表した図である。It is the figure which represented typically the modification of the screen for monitoring in embodiment of this invention. 本発明の実施形態における監視用画面に模式図拡大表示部を追加して構成した監視用画面の例を模式的に表した図である。It is the figure which represented typically the example of the monitoring screen comprised by adding the schematic diagram expansion display part to the monitoring screen in embodiment of this invention. 従来の映像監視システムにおいて、監視カメラを撮影動作させながらパンさせた場合に生ずる、監視カメラの撮影領域と表示装置の表示領域との実時間上のずれを模式的に表した図である。In the conventional video surveillance system, it is the figure which represented typically the shift | offset | difference in the real time of the imaging | photography area | region of a surveillance camera and the display area | region of a display apparatus which arises when panning while carrying out imaging | photography operation | movement of a surveillance camera.

Explanation of symbols

１映像監視システム
１１ネットワークカメラ
１２映像監視制御装置
１３ネットワーク
１４操作入力装置
１５表示装置
１０１光学系
１０２撮像部
１０３，３０２画像処理部
１０４，３０１ネットワークインタフェース部
１０５パン・チルト・ズーム駆動部
１０６，３０３制御部
１０７，３０４メモリ
３０５操作Ｉ／Ｆ部
３０６表示Ｉ／Ｆ部 DESCRIPTION OF SYMBOLS 1 Image | video monitoring system 11 Network camera 12 Image | video monitoring control apparatus 13 Network 14 Operation input device 15 Display apparatus 101 Optical system 102 Imaging part 103,302 Image processing part 104,301 Network interface part 105 Pan / tilt / zoom drive part 106,303 Control unit 107, 304 Memory 305 Operation I / F unit 306 Display I / F unit

Claims

A network camera and a video surveillance control device are connected to each other via a network, and an operation input device and a display device are connected to the video surveillance control device.
The network camera
Driving means for driving at least one of pan, tilt, and zoom, and capable of acquiring current position information that changes with the driving;
Drive control means for driving the drive means based on the received signal when receiving a change request signal regarding pan, tilt, or zoom settings transmitted from the video surveillance control device;
The drive means acquires the current position information, compresses the video data obtained by photographing, and adds the acquired current position information to the data-compressed video data. Encoding means for generating
Data transmission means for transmitting the generated encoded data to the video surveillance control device;
Position information acquisition and transmission means for acquiring current position information from the driving means and transmitting it to the video monitoring and control apparatus every time receiving a current position information acquisition request signal transmitted from the video monitoring and control apparatus every predetermined time When,
With
The video surveillance control device
Based on the operation signal supplied from the operation input device according to the operation, a change request signal generation and transmission means for generating a change request signal related to pan, tilt, or zoom settings and transmitting to the network camera;
A position information reception acquisition means for generating a current position information acquisition request signal every predetermined time and transmitting it to the network camera, and correspondingly receiving and acquiring the current position information transmitted from the network camera;
Decoding means for receiving encoded data transmitted from the network camera and decompressing it to generate decoded video data;
Position information extracting means for extracting current position information added to the received encoded data from the received encoded data;
A display unit of the display device is provided with a video display unit to display the generated decoded video data, and a maximum area display unit indicating a maximum area that can be taken by the network camera is provided in the vicinity of the video display unit. Then, the maximum area display unit generates and displays a first display frame corresponding to the size and position corresponding to the actual shooting area based on the acquired current position information, and the extracted current position is displayed. Display control means for generating and displaying a second display frame corresponding to the size and position corresponding to the display area of the video display unit based on position information;
A video surveillance system with a configuration.

A network camera capable of acquiring at least one of pan, tilt, and zoom, and capable of acquiring current position information that is changed by the drive, and a video surveillance control device are respectively connected via a network and operated. A video surveillance control device used in a video surveillance system in which an input device and a display device are connected to the video surveillance control device,
Based on an operation signal supplied from the operation input device in accordance with an operation, a change request signal generation / transmission unit that generates a change request signal related to pan, tilt, or zoom settings in the network camera and transmits the change request signal to the network camera;
A position information reception acquisition means for generating a current position information acquisition request signal every predetermined time and transmitting it to the network camera, and correspondingly receiving and acquiring the current position information transmitted from the network camera;
Decoding means for receiving the encoded data transmitted by adding the current position information acquired at the time of shooting from the network camera, which is added to the compressed video data, and generating the decoded video data;
Position information extracting means for extracting current position information added to the received encoded data from the received encoded data;
A display unit of the display device is provided with a video display unit to display the generated decoded video data, and a maximum area display unit indicating a maximum area that can be taken by the network camera is provided in the vicinity of the video display unit. Then, the maximum area display unit generates and displays a first display frame corresponding to the size and position corresponding to the actual shooting area based on the acquired current position information, and the extracted current position is displayed. Display control means for generating and displaying a second display frame corresponding to the size and position corresponding to the display area of the video display unit based on position information;
A video surveillance control device having a configuration comprising:

At least one of pan, tilt, and zoom is movable, and a network camera capable of acquiring current position information changed by the drive and a video surveillance control device are connected to each other via a network and operated. A video surveillance control method for a video surveillance control device, applied to a video surveillance system in which an input device and a display device are connected to the video surveillance control device,
A first step of generating and transmitting a current position information acquisition request signal to the network camera, and correspondingly receiving and acquiring current position information transmitted from the network camera;
A size and position corresponding to an actual shooting area based on the acquired current position information in a maximum area display section showing a maximum area that can be shot by the network camera provided in the display section of the display device. A second step of generating and displaying a first display frame corresponding to
A third step of generating a change request signal regarding pan, tilt, or zoom setting in the network camera based on an operation signal supplied from the operation input device according to an operation, and transmitting the change request signal to the network camera;
A fourth step of receiving, from the network camera, encoded data transmitted by adding the current position information acquired at the time of shooting to the compressed video data that has been compressed;
A fifth step of extracting current position information added thereto from the received encoded data;
A sixth step of generating decoded video data by decompressing the received encoded data;
A seventh step of displaying the generated decoded video data on a video display unit provided in a display unit of the display device;
An eighth step of generating and displaying a second display frame corresponding to the size and position corresponding to the display region of the video display unit on the maximum region display unit based on the extracted current position information;
Video surveillance control method for video surveillance control apparatus having

At least one of pan, tilt, and zoom is movable, and a network camera capable of acquiring current position information changed by the drive and a video surveillance control device are connected to each other via a network and operated. In a video monitoring system in which an input device and a display device are connected to the video monitoring control device, a video monitoring control program for causing the control means of the video monitoring control device to execute,
A first step of generating a current position information acquisition request signal to be transmitted to the network camera, and correspondingly receiving and acquiring the current position information transmitted from the network camera;
A size and position corresponding to an actual shooting area based on the acquired current position information in a maximum area display section showing a maximum area that can be shot by the network camera provided in the display section of the display device. A second step of generating and displaying a first display frame corresponding to
A third step of generating a change request signal related to pan, tilt, or zoom settings in the network camera based on an operation signal supplied from the operation input device according to an operation, and transmitting the change request signal to the network camera;
A fourth step of receiving, from the network camera, encoded data transmitted by adding the current position information acquired at the time of shooting to the compressed video data that has been compressed;
A fifth step of extracting current position information added thereto from the received encoded data;
A sixth step of generating decoded video data by decompressing the received encoded data;
A seventh step of displaying the generated decoded video data on a video display unit provided in a display unit of the display device;
An eighth step of causing the maximum area display unit to generate and display a second display frame corresponding to the size and position corresponding to the display area of the video display unit based on the extracted current position information;
A video surveillance control program for causing the control means of the video surveillance control apparatus to execute the program.