JP2008283230A - Image processing system - Google Patents
Image processing system Download PDFInfo
- Publication number
- JP2008283230A JP2008283230A JP2007122972A JP2007122972A JP2008283230A JP 2008283230 A JP2008283230 A JP 2008283230A JP 2007122972 A JP2007122972 A JP 2007122972A JP 2007122972 A JP2007122972 A JP 2007122972A JP 2008283230 A JP2008283230 A JP 2008283230A
- Authority
- JP
- Japan
- Prior art keywords
- image
- transmission
- monitoring
- importance
- transmission rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、例えば、複数のカメラにより撮影された映像(画像)の信号をネットワークを介して伝送する画像処理システムに関し、特に、各カメラの送信レートを効果的に制御する画像処理システムに関する。 The present invention relates to, for example, an image processing system that transmits video (image) signals taken by a plurality of cameras via a network, and more particularly to an image processing system that effectively controls the transmission rate of each camera.
例えば、近年の監視システムでは、MPEGなどの動画像圧縮技術の発展や、光ケーブルやADSL(Asynchronous Digital Subscriber Line)といったブロードバンドのインフラが整備されたことにより、遠隔地からの映像監視が容易となった。また、顔認識や動体検知といった画像処理技術の進歩により、単に映像をモニタリングするだけでなく、不審者を検知して追尾しながらモニタリングするインテリジェンスな監視システムも登場している。 For example, in recent monitoring systems, video development from remote locations has become easier due to the development of video compression technology such as MPEG and the development of broadband infrastructure such as optical cables and ADSL (Asynchronous Digital Subscriber Line). . Also, with the advance of image processing technology such as face recognition and moving object detection, intelligent monitoring systems that not only monitor video but also detect and track suspicious people have appeared.
このように、監視システムの性能が日々進歩しているにもかかわらず、年々、犯罪事件の発生件数が増加し、社会的に問題となっている。このため、企業や個人を問わず監視システムの導入が増加している。また、監視市場のグローバル化に伴って監視機器が低価格化したこともあり、監視カメラの設置台数を増加するなど、システム規模を増大する傾向がある。また、ADSLなどの高速なブロードバンドのインフラが低価格化したことも受けて、監視システム市場では、高画質の監視カメラを複数台設置して監視画像を配信したいという要求が増加している。 As described above, despite the progress of the performance of the monitoring system every day, the number of crime cases is increasing year by year, which is a social problem. For this reason, the introduction of monitoring systems is increasing regardless of companies or individuals. In addition, with the globalization of the surveillance market, the price of surveillance equipment has decreased, and there is a tendency to increase the system scale, such as increasing the number of surveillance cameras installed. In addition, in response to the low cost of high-speed broadband infrastructure such as ADSL, there is an increasing demand in the surveillance system market to install a plurality of high-quality surveillance cameras and distribute surveillance images.
このような複数台の監視カメラを設置した監視システムでは、各監視カメラから送信するビットレートをどのように設定するかが、監視映像の画質を大きく左右するため、重要となる。ビットレートの設定方法としては、各監視カメラに対して、インフラの伝送容量を等分配する値を設定する方法や、或いは、特に重視したい監視カメラのビットレートだけを高めの値に設定する方法があり、予めユーザーが決めたビットレートを設定する。 In such a surveillance system in which a plurality of surveillance cameras are installed, how to set the bit rate transmitted from each surveillance camera greatly affects the image quality of the surveillance video, which is important. As a bit rate setting method, there is a method of setting a value for equally distributing the transmission capacity of the infrastructure to each monitoring camera, or a method of setting only the bit rate of the monitoring camera to be particularly emphasized to a higher value. Yes, a bit rate determined in advance by the user is set.
例えば、伝送容量が8Mbpsであるインフラに対して、3台の監視カメラを設置したとする。監視カメラの圧縮符号化方式をMPEG−2として監視画像を配信すると、1台の監視カメラに割り当てられるビットレートは約2.6Mbpsとなる。このビットレートでは、ブロックノイズやモスキートノイズといった圧縮符号化による劣化の影響が大きく、監視映像として適切とはいえない。一方、ビットレートを等配分するのではなく、重要性が高いと想定される監視カメラだけに高いビットレートを割り当てると、想定した環境・状況下では期待した監視映像が得られるが、想定外となった場合には適切な監視映像が得られないことが予想される。 For example, assume that three surveillance cameras are installed for an infrastructure having a transmission capacity of 8 Mbps. When monitoring images are distributed using MPEG-2 as the surveillance camera compression encoding method, the bit rate assigned to one monitoring camera is about 2.6 Mbps. At this bit rate, the influence of deterioration due to compression coding such as block noise and mosquito noise is large, and it cannot be said to be appropriate as a monitoring video. On the other hand, if a high bit rate is assigned only to surveillance cameras that are assumed to be highly important, instead of equally allocating the bit rate, the expected surveillance video can be obtained under the assumed environment and situation. In such a case, it is expected that an appropriate monitoring image cannot be obtained.
一例として、コンビニエンスストアの監視システムでは、レジの前などのように、客(監視対象)の顔を(広角で)撮影しやすい位置に設置している監視カメラのビットレートを高めに設定すると、客(監視対象)の顔を高画質に撮影できて効果的である。しかしながら、この場合、客(監視対象)が買い物をせずに店外へ出てしまうと、客の顔を高画質で捉えることができない。
このように、従来の監視システムでは、複数台の監視カメラを用いても、監視対象の状況変化に応じて最適な監視映像を得ることができないといった問題があった。
As an example, in a convenience store surveillance system, if you set the bit rate of a surveillance camera installed at a position where it is easy to photograph the face of the customer (monitoring target) (at a wide angle), such as in front of a cash register, It is effective to photograph the face of the customer (monitoring target) with high image quality. However, in this case, if the customer (monitoring target) goes out of the store without shopping, the customer's face cannot be captured with high image quality.
As described above, the conventional monitoring system has a problem that even when a plurality of monitoring cameras are used, an optimal monitoring video cannot be obtained in accordance with a change in the status of the monitoring target.
上述のように、従来の監視システムでは、複数台の監視カメラを設置した場合、各監視カメラから送信するビットレートを等分割に設定し、或いは、特に重視したい監視カメラのビットレートだけを高めに設定するといった具合に、予めユーザーが決めたビットレートを設定する構成であった。しかしながら、この構成では、各監視カメラから配信する画像としては、想定した環境・状況下では期待した画像を得られるが、想定外の状況となった場合には、期待通りの画像が得られるとは限らないといった問題があった。 As described above, when a plurality of surveillance cameras are installed in the conventional surveillance system, the bit rate transmitted from each surveillance camera is set to be equally divided, or only the bit rate of the surveillance camera to be particularly emphasized is increased. In other words, the bit rate predetermined by the user is set. However, in this configuration, as an image distributed from each surveillance camera, an expected image can be obtained under an assumed environment / situation, but if an unexpected situation is obtained, an expected image can be obtained. There was a problem that was not limited.
本発明は、このような従来の事情に鑑み為されたもので、例えば、複数の画像送信装置(例えば、カメラ)から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができる画像処理システムを提供することを目的とする。 The present invention has been made in view of such conventional circumstances. For example, when transmitting images from a plurality of image transmission apparatuses (for example, cameras) via a network, the transmission rate of each image transmission apparatus is effective. An object of the present invention is to provide an image processing system that can be controlled automatically.
上記目的を達成するため、本発明では、複数の画像送信手段から送信される画像を処理する画像処理システムにおいて、次のような構成とした。
すなわち、画像受信手段が、前記複数の画像送信手段から伝送媒体を介して送信された画像を受信する。送信レート制御手段が、前記画像受信手段により受信された各画像送信手段からの画像に基づいて、各画像送信手段に割り当てる送信レートを決定する。送信レート指示手段が、前記送信レート制御手段により決定された送信レートが各画像送信手段により使用されるように、各画像送信手段に対して送信レートを指示する。
In order to achieve the above object, in the present invention, an image processing system for processing images transmitted from a plurality of image transmission means has the following configuration.
That is, the image receiving unit receives images transmitted from the plurality of image transmitting units via a transmission medium. The transmission rate control means determines a transmission rate to be assigned to each image transmission means based on the image from each image transmission means received by the image reception means. The transmission rate instructing unit instructs each image transmitting unit on the transmission rate so that the transmission rate determined by the transmission rate controlling unit is used by each image transmitting unit.
従って、複数の画像送信手段からの画像に基づいて各画像送信手段に割り当てる送信レートが決定されるため、例えば、複数の画像送信装置(例えば、カメラ)から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができる。具体例として、常に複数の画像送信装置から画像を共通なネットワークを介して伝送するに際して、当該ネットワークに許容される伝送容量を複数の画像送信装置に効果的に分配して利用することができる。 Accordingly, since the transmission rate to be assigned to each image transmission unit is determined based on the images from the plurality of image transmission units, for example, when transmitting images from a plurality of image transmission apparatuses (for example, cameras) via a network, The transmission rate of each image transmission device can be effectively controlled. As a specific example, when images are always transmitted from a plurality of image transmission apparatuses via a common network, the transmission capacity allowed for the network can be effectively distributed to the plurality of image transmission apparatuses.
ここで、複数の画像送信手段の数としては、種々な数が用いられてもよい。
また、各画像送信手段としては、種々なものが用いられてもよく、例えば、画像を撮影して送信するカメラや、画像のデータを記憶して送信する画像記憶装置(レコーダー)などを用いて構成することができる。
また、複数のカメラ(画像送信手段の一例)の配置としては、任意であってもよく、例えば、同一の領域(例えば、同一の店内や、同一の部屋など)を異なる位置から撮影するような配置に設置することができる。
Here, various numbers may be used as the number of the plurality of image transmission units.
Various image transmission means may be used, for example, using a camera that captures and transmits an image, an image storage device (recorder) that stores and transmits image data, and the like. Can be configured.
Further, the arrangement of a plurality of cameras (an example of image transmission means) may be arbitrary. For example, the same region (for example, the same store, the same room, etc.) is shot from different positions. Can be installed in the arrangement.
また、伝送媒体としては、種々なものが用いられてもよく、例えば、種々なネットワークを用いることができる。
また、送信レートとしては、種々なものが用いられてもよく、例えば、ビットレートや、フレームレートを用いることができる。
Various transmission media may be used. For example, various networks can be used.
Various transmission rates may be used. For example, a bit rate or a frame rate can be used.
また、各画像送信手段からの画像に基づいて各画像送信手段に割り当てる送信レートを決定する手法としては、種々なものが用いられてもよく、例えば、注目する対象(例えば、人や物体など)に関する情報の重要度が高い画像に対して、大きい送信レートを割り当てるような手法を用いることができる。
また、各画像送信手段は、送信レート指示手段により指示された送信レートで、画像を送信する。
このような送信レートの制御を行うタイミングとしては、種々なタイミングが用いられてもよい。
Various methods may be used as a method for determining a transmission rate to be assigned to each image transmission unit based on an image from each image transmission unit. For example, a target of interest (for example, a person or an object) It is possible to use a technique that assigns a large transmission rate to an image having a high degree of importance of the information regarding.
Each image transmission means transmits an image at the transmission rate instructed by the transmission rate instruction means.
Various timings may be used as timing for performing such transmission rate control.
本発明に係る画像処理システムでは、一構成例として、次のような構成とした。
すなわち、前記送信レート制御手段では、画像認識手段が、各画像送信手段からの画像について、画像に映る対象の大きさを含む1つ以上の認識対象を認識し、また、重要度判定手段が、前記画像認識手段により認識対象が認識された結果に基づいて、各画像送信手段からの画像について重要度を判定し、また、送信レート決定手段が、前記重要度判定手段により判定された重要度に基づいて、各画像送信手段に割り当てる送信レートを決定する。
また、前記重要度判定手段は、対象の大きさについては、大きい方の重要度を高める。
また、前記送信レート決定手段は、重要度が高い方の送信レートを大きくする。
The image processing system according to the present invention has the following configuration as a configuration example.
That is, in the transmission rate control means, the image recognition means recognizes one or more recognition objects including the size of the object appearing in the image for each image transmission means, and the importance level determination means includes: Based on the recognition result of the recognition by the image recognition unit, the importance level is determined for the image from each image transmission unit, and the transmission rate determination unit determines the importance level determined by the importance level determination unit. Based on this, the transmission rate assigned to each image transmission means is determined.
In addition, the importance level determination means increases the importance level of the larger object size.
Further, the transmission rate determining means increases the transmission rate having the higher importance.
従って、各画像送信手段からの画像について対象(例えば、人や物体など)の大きさを含む1つ以上の認識対象を認識した結果に基づいて各画像に対して重要度を判定し、各画像の重要度に基づいて各画像送信手段に割り当てる送信レートを決定することができる。これにより、画像に映る注目する対象の大きさなどに基づいて、より重要であると判定された画像(画像送信手段)に対して、より大きい送信レートを割り当てて、その画像の品質を向上させることができる。 Therefore, the importance level of each image is determined based on the result of recognizing one or more recognition targets including the size of the target (for example, a person or an object) for the image from each image transmission unit. The transmission rate assigned to each image transmission means can be determined based on the importance of As a result, a higher transmission rate is assigned to an image (image transmission means) that is determined to be more important based on the size of a target object that appears in the image, and the quality of the image is improved. be able to.
ここで、画像に映る対象としては、種々なものが用いられてもよく、例えば、人や物体など、注目するものを用いることができる。
また、対象の大きさとしては、例えば、画像中における面積(例えば、占有する画素の数)を用いることができる。
また、画像に対する認識対象としては、種々なものが用いられてもよく、例えば、対象の大きさのみが用いられてもよく、或いは、更に、対象の向き、対象の速度(例えば、所定時間における移動距離)、対象の縦幅(縦方向の長さ)、対象の横幅(横方向の長さ)、対象の明るさ(例えば、輝度)などの1つ以上を用いることもでき、また、対象の環境(例えば、明るさなど)ばかりでなく、画面の環境(例えば、画像全体の明るさなど)を用いることも可能である。
Here, various objects may be used as an object to be reflected in the image. For example, a target such as a person or an object can be used.
Further, as the size of the object, for example, an area in the image (for example, the number of pixels to be occupied) can be used.
Various recognition targets for the image may be used. For example, only the size of the target may be used, or the direction of the target and the speed of the target (for example, at a predetermined time). One or more of a distance (moving distance), a target vertical width (vertical length), a target horizontal width (horizontal length), a target brightness (for example, luminance), etc. It is possible to use not only the environment (for example, brightness) but also the screen environment (for example, brightness of the entire image).
また、認識対象の認識結果に基づいて重要度を判定する手法としては、種々なものが用いられてもよく、例えば、予め設定された判定方式に従って、重要度として、連続的な点数の値、或いは、離散的な点数の値(例えば、複数の段階)を決定するようなことができる。
また、対象の大きさについては、一例として、大きい方の重要度を高める。この場合、連続的に変化し得る対象の大きさに対して重要度も連続的に変化させることが可能であり、或いは、対象の大きさに関して1つ以上の閾値(2つ以上の範囲)を設けて、対象の大きさが属する範囲が変化する毎に重要度を変化させることも可能である。
Various methods may be used as a method for determining the importance based on the recognition result of the recognition target. For example, according to a predetermined determination method, the importance is determined as a continuous score value, Alternatively, discrete score values (eg, multiple stages) can be determined.
As for the size of the target, as an example, the importance of the larger one is increased. In this case, the importance can be continuously changed with respect to the size of the target that can be continuously changed, or one or more threshold values (two or more ranges) can be set for the size of the target. It is also possible to change the importance each time the range to which the target size belongs changes.
また、重要度に基づいて送信レートを決定する手法としては、種々なものが用いられてもよく、例えば、予め設定された決定方式に従って、送信レートとして、重要度に比例などする値、或いは、複数の画像送信手段の中における重要度の大きさの順位に応じた値を決定するようなことができる。 Various methods may be used as a method for determining the transmission rate based on the importance, for example, a value proportional to the importance as the transmission rate according to a predetermined determination method, or It is possible to determine a value corresponding to the order of importance in the plurality of image transmission means.
本発明に係る画像処理システムでは、一構成例として、次のような構成とした。
すなわち、前記送信レート制御手段では、画像認識手段が、各画像送信手段からの画像について、画像に映る対象の向きを含む1つ以上の認識対象を認識し、また、重要度判定手段が、前記画像認識手段により認識対象が認識された結果に基づいて、各画像送信手段からの画像について重要度を判定し、また、送信レート決定手段が、前記重要度判定手段により判定された重要度に基づいて、各画像送信手段に割り当てる送信レートを決定する。
また、前記重要度判定手段は、対象の向きについては、正面を向いている方の重要度を高める。
また、前記送信レート決定手段は、重要度が高い方の送信レートを大きくする。
The image processing system according to the present invention has the following configuration as a configuration example.
That is, in the transmission rate control means, the image recognition means recognizes one or more recognition objects including the orientation of the object appearing in the image for each image transmission means, and the importance level determination means Based on the result of recognition of the recognition target by the image recognition means, the importance is determined for the image from each image transmission means, and the transmission rate determination means is based on the importance determined by the importance determination means. Thus, the transmission rate assigned to each image transmission means is determined.
Further, the importance level determination means increases the importance level of the object facing the front.
Further, the transmission rate determining means increases the transmission rate having the higher importance.
従って、各画像送信手段からの画像について対象(例えば、人や物体など)の向きを含む1つ以上の認識対象を認識した結果に基づいて各画像に対して重要度を判定し、各画像の重要度に基づいて各画像送信手段に割り当てる送信レートを決定することができる。これにより、画像に映る注目する対象の向きなどに基づいて、より重要であると判定された画像(画像送信手段)に対して、より大きい送信レートを割り当てて、その画像の品質を向上させることができる。 Therefore, the importance of each image is determined based on the result of recognizing one or more recognition targets including the direction of the target (for example, a person or an object) for the image from each image transmission unit. The transmission rate assigned to each image transmission unit can be determined based on the importance. As a result, a higher transmission rate is assigned to an image (image transmission means) that is determined to be more important based on the orientation of the target of interest in the image, and the quality of the image is improved. Can do.
ここで、画像に対する認識対象としては、種々なものが用いられてもよく、例えば、対象の向きのみが用いられてもよく、或いは、更に、他の認識対象が用いられてもよい。
また、対象の向きについては、一例として、正面(画面の方向)を向いている方の重要度を高める。この場合、連続的に変化し得る対象の向き(例えば、角度)に対して重要度も連続的に変化させることが可能であり、或いは、対象の向きに関して1つ以上の閾値(例えば、正面と側面と裏面などといった2つ以上の範囲)を設けて、対象の向きが属する範囲が変化する毎に重要度を変化させることも可能である。
なお、画像に対する認識対象としては、例えば、対象の大きさ及び対象の向きを使用せずに、1つ以上の他の認識対象を使用することも可能である。
Here, various recognition targets for the image may be used. For example, only the orientation of the target may be used, or another recognition target may be used.
Moreover, about the direction of object, the importance of the direction which faces the front (direction of a screen) as an example is raised. In this case, the importance can be continuously changed with respect to the direction of the target (for example, the angle) that can be continuously changed, or one or more threshold values (for example, front and It is also possible to provide two or more ranges such as a side surface and a back surface, and to change the importance every time the range to which the target direction belongs changes.
In addition, as the recognition target for the image, for example, one or more other recognition targets can be used without using the size and direction of the target.
ここで、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の手段として当該コンピュータを機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理(手順)を当該コンピュータに実行させる。
Here, the present invention can also be provided as a method, a program, a recording medium, and the like.
In the method according to the present invention, each unit executes various processes in the apparatus or system.
The program according to the present invention is executed by a computer constituting the apparatus or system, and causes the computer to function as various means.
In the recording medium according to the present invention, a program to be executed by a computer constituting an apparatus or system is recorded so as to be readable by input means of the computer, and the program executes various processes (procedures) on the computer. Let
以上説明したように、本発明に係る画像処理システムによると、例えば、複数の画像送信装置(例えば、カメラ)から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができ、ネットワークに許容される伝送容量を複数の画像送信装置に効果的に分配して利用することができる。 As described above, according to the image processing system of the present invention, for example, when transmitting images from a plurality of image transmission apparatuses (for example, cameras) via a network, the transmission rate of each image transmission apparatus is effectively set. The transmission capacity that can be controlled and allowed in the network can be effectively distributed to a plurality of image transmission apparatuses.
本発明に係る一実施例を図面を参照して説明する。
図1には、本発明に係る画像監視システムの一例を示してある。
本例の画像監視システムは、複数台(本例では、3台)のカメラ(監視カメラ)1−1、1−2、1−3と、ネットワーク2と、PC(パーソナルコンピュータ)3を備えている。各監視カメラ1−1、1−2、1−3とPC3は、ネットワーク2と接続されている。
PC3は、映像表示処理部11と、画像認識処理部12と、重要度判定処理部13と、ビットレート配分処理部14を備えている。本例では、これらの各処理部11〜14の機能は、PC3に備えられたCPU(Central Processing Unit)が所定のソフトウエア(本例では、プログラム)を実行することにより実現される。
An embodiment according to the present invention will be described with reference to the drawings.
FIG. 1 shows an example of an image monitoring system according to the present invention.
The image monitoring system of this example includes a plurality of (three in this example) cameras (monitoring cameras) 1-1, 1-2, and 1-3, a network 2, and a PC (personal computer) 3. Yes. Each surveillance camera 1-1, 1-2, 1-3 and the PC 3 are connected to the network 2.
The PC 3 includes a video
本例では、各監視カメラ1−1、1−2、1−3は、コンビニエンスストアの店内の異なる位置に設置されている。また、PC3は、店の奥などに設置されており、店の従業員などにより操作等される。
また、本例では、コンビニエンスストアの店内の人(客)を監視対象21a、21b、21cとして監視する。
なお、図1では、同一の人について、位置Aにいるときの監視対象21a、位置Bにいるときの監視対象21b、位置Cにいるときの監視対象21cを示してあり、これらは同一の人が移動したものである。
In this example, each monitoring camera 1-1, 1-2, 1-3 is installed in a different position in the store of the convenience store. The PC 3 is installed in the back of the store and is operated by store employees.
Moreover, in this example, the person (customer) in the store of a convenience store is monitored as
In FIG. 1, for the same person, a monitoring target 21 a when in position A, a
本例の画像監視システムにおいて行われる動作の一例を示す。
各監視カメラ1−1、1−2、1−3は、リアルタイムで常に、それぞれの監視対象領域の映像を動画像として撮影し、撮影した映像(監視映像)に対して圧縮符号化処理を行い、これにより得られた圧縮データをネットワーク2上に配信可能となるようにネットワークパケットデータへ変換し、このパケットデータを任意の受信機器(本例では、PC3)へ配信する。また、各監視カメラ1−1、1−2、1−3は、ネットワーク2上のPC3からパラメータの設定指示を受けて、ビットレートの設定などを変更する。
An example of the operation performed in the image monitoring system of this example will be shown.
Each of the monitoring cameras 1-1, 1-2, and 1-3 always captures a video of each monitoring target area as a moving image in real time, and performs compression encoding processing on the captured video (monitoring video). The compressed data obtained thereby is converted into network packet data so that it can be distributed on the network 2, and this packet data is distributed to an arbitrary receiving device (PC3 in this example). In addition, each of the monitoring cameras 1-1, 1-2, 1-3 receives a parameter setting instruction from the PC 3 on the network 2 and changes the bit rate setting and the like.
各監視カメラ1−1、1−2、1−3の監視対象領域に監視対象21a〜21cが存在する場合には、監視対象21a〜21cの動画像が取得される。
本例では、監視対象21a〜21cとしては、画像監視システムにより監視モニタリングすべき主体であり、監視エリア内を移動する人物である。
ネットワーク2は、一般的に使用されている伝送インフラであり、本例では、伝送容量が8Mbpsであるローカルネットワークである。
When the monitoring targets 21a to 21c exist in the monitoring target area of each of the monitoring cameras 1-1, 1-2, and 1-3, moving images of the monitoring targets 21a to 21c are acquired.
In this example, the monitoring targets 21a to 21c are subjects that should be monitored and monitored by the image monitoring system, and are persons who move within the monitoring area.
The network 2 is a transmission infrastructure that is generally used. In this example, the network 2 is a local network having a transmission capacity of 8 Mbps.
PC3は、WEBアクセスが可能な一般的なパーソナルコンピュータである。
映像表示処理部11は、各監視カメラ1−1、1−2、1−3から配信された監視映像の圧縮データをネットワーク2を介して受信し、受信した圧縮データに対して圧縮復号化処理を行ってベースバンドの監視映像を取得し、この監視映像をPC3のディスプレイ画面に表示する。
The PC 3 is a general personal computer capable of WEB access.
The video
画像認識処理部12は、映像表示処理部11により取得された各監視カメラ1−1、1−2、1−3からの監視映像に対して画像認識処理を行う。本例の画像認識処理では、監視対象21a〜21cの特徴・状態などを認識する。具体例としては、各監視カメラ1−1、1−2、1−3毎に、撮影された画像に映っている監視対象21a〜21cの大きさを認識することや、撮影された画像に映っている監視対象21a〜21cの向き(例えば、「正面からみた顔」、「側面からみた顔」など)を認識することや、或いは、撮影された画像中には監視対象21a〜21cが映っていないこと(「監視対象なし」といった撮影状態)を認識することなどを行い、この認識結果の情報をメモリに記憶する。
The image
重要度判定処理部13は、画像認識処理部12により認識した各監視カメラ1−1、1−2、1−3からの監視映像における特徴・状態(認識結果の情報)に基づいて、各監視カメラ1−1、1−2、1−3の重要度を判定して決定する。
本例では、監視対象21a〜21cの人物像を特定することができる画像ほど重要度が高いとする。具体例としては、画像中における監視対象21a〜21cの大きさが大きい方が高い重要度と判定することや、「正面からみた顔」などを認識した場合には高い重要度と判定することや、逆に、「監視対象なし」という情報を認識した場合には最も低い重要度と判定することなどを行う。
The importance level
In this example, it is assumed that the importance is higher in the images that can specify the human images of the monitoring targets 21a to 21c. As a specific example, when the size of the monitoring targets 21a to 21c in the image is larger, it is determined that the importance is higher, or when the “face viewed from the front” is recognized, it is determined that the importance is higher. On the contrary, when the information “no monitoring object” is recognized, the lowest importance is determined.
ビットレート配分処理部14は、重要度判定処理部13により判定された重要度に従って、各監視カメラ1−1、1−2、1−3で許容されるビットレートを配分する。そして、ビットレート配分処理部14は、各監視カメラ1−1、1−2、1−3に対して、ビットレートの配分結果を指示するために、ビットレートの再設定指示(パラメータの設定指示)をネットワーク2を介して各監視カメラ1−1、1−2、1−3に対して出力する。
The bit rate
ここで、画像認識処理部12、重要度判定処理部13、ビットレート配分処理部14により行われる処理について詳しく説明する。
画像認識処理部12により画像中の監視対象21a〜21cに関して認識する内容(認識対象)としては、種々なものが用いられてもよく、例えば、監視対象の大きさ(例えば、面積)、向き、速度(例えば、所定時間における移動距離)、縦幅(縦方向の長さ)、横幅(横方向の長さ)、明るさ(例えば、輝度)などを用いることができる。また、監視対象の環境(例えば、明るさなど)ばかりでなく、画面の環境(例えば、明るさなど)の変化を用いることも可能である。
なお、本例では、監視対象21a〜21cとして、人(人物)を検出するが、他の構成例として、人以外の物体や、或いは、人を含む全ての物体、などを監視対象としてもよい。
Here, processing performed by the image
Various contents (recognition objects) recognized by the image
In this example, a person (person) is detected as the monitoring targets 21a to 21c. However, as another configuration example, an object other than a person or all objects including a person may be monitored. .
ここで、画像中から人(人の特徴を有する画像部分)を検出する手法や、画像中から特定の物体(特定の物体の特徴を有する画像部分)を検出する手法としては、例えば、一般的な技術を利用することができ、本例では詳しい説明を省略する。
また、画像中の人(或いは、他の物体)が向いている向きを検出する手法としては、例えば、一般的な技術を利用することができ、本例では詳しい説明を省略する。一例として、人の目が2つ映っている場合にはその人は監視カメラ1−1、1−2、1−3に対して正面を向いていると判定することができ、人の目が1つ映っている場合にはその人は監視カメラ1−1、1−2、1−3に対して側面を向いていると判定することができ、人の目が0つ映っている場合にはその人は監視カメラ1−1、1−2、1−3に対して裏面を向いていると判定することができる。
Here, as a technique for detecting a person (an image part having a human characteristic) from an image or a method for detecting a specific object (an image part having a characteristic of a specific object) from an image, for example, a general technique is used. Therefore, detailed description is omitted in this example.
Further, as a method for detecting the direction in which the person (or other object) in the image is facing, for example, a general technique can be used, and detailed description is omitted in this example. As an example, when two human eyes are shown, it can be determined that the person is facing the front with respect to the monitoring cameras 1-1, 1-2, and 1-3. When one is shown, it can be determined that the person is facing the side with respect to the surveillance cameras 1-1, 1-2, 1-3. Can determine that the person is facing the back with respect to the monitoring cameras 1-1, 1-2, and 1-3.
重要度判定処理部13は、画像認識処理部12により得られた監視対象21a〜21cに関する1つ以上の認識対象の認識結果(認識度)に基づいて、監視カメラ1−1、1−2、1−3の重要度を決定する。
一例として、1つの認識対象の認識結果に基づいて重要度を決定する場合には、大きさについては大きい方が重要度が高く、向きについては正面に向いている方が重要度が高く、速度については速い方が重要度が高く、縦幅或いは横幅については長い方が重要度が高く、明るさについては明るい方が重要度が高い、といった条件に基づいて、各監視カメラ1−1、1−2、1−3の重要度を決定することができる。なお、例えば、大きさについては小さい方が重要度が高い、などというように、前記とは重要度の高低が逆になるような条件を用いることも可能である。
The importance level
As an example, when determining the importance based on the recognition result of one recognition target, the larger the size, the higher the importance, and the direction facing the front, the more important, the speed For each of the surveillance cameras 1-1, 1, 1, 1, 1, 1, 1, 1, 1 are fast. -2 and 1-3 can be determined. It should be noted that, for example, it is possible to use a condition in which the degree of importance is opposite to the above, such that the smaller the size, the higher the importance.
この場合に、大きさ、向き、速度、縦幅、横幅、明るさのそれぞれの認識結果に対して予め定められた条件により点数を付けて、各監視カメラ1−1、1−2、1−3に与えられた点数を重要度として決定することもできる。このような点数を付ける条件としては、例えば、大きさなどについて得られた値そのものを点数とする態様や、或いは、1つ以上の閾値(2つ以上の範囲)と点数との対応関係をメモリに記憶しておいて、大きさなどについて得られた値が属する範囲に対応した点数とする態様などを用いることができる。 In this case, each surveillance camera 1-1, 1-2, 1- 1 is given a score according to a predetermined condition for each recognition result of size, direction, speed, vertical width, horizontal width, and brightness. The score given to 3 can be determined as the importance. As a condition for assigning such a score, for example, a mode in which the value obtained for the size or the like is used as a score, or a correspondence relationship between one or more threshold values (two or more ranges) and the score is stored in memory. In other words, the number of points corresponding to the range to which the value obtained for the size or the like belongs can be used.
他の例として、2つ以上の認識対象の認識結果に基づいて重要度を決定することもできる。具体例としては、監視対象21a〜21cの大きさと向き(或いは、更に他の認識対象)の認識結果に基づいて重要度を決定するようなことができる。
この場合、例えば、各監視カメラ1−1、1−2、1−3毎に映された監視対象21a〜21cに関して、それぞれの認識対象(大きさや向きなど)について点数を付け、考慮する全ての認識対象についての点数を合計した値(合計点)を重要度とすることができる。なお、点数の付け方としては、例えば、上記と同様な手法を用いることが可能である。
As another example, the importance can be determined based on the recognition results of two or more recognition targets. As a specific example, the importance can be determined based on the recognition results of the sizes and orientations (or other recognition objects) of the monitoring objects 21a to 21c.
In this case, for example, with respect to the monitoring targets 21a to 21c projected for each of the monitoring cameras 1-1, 1-2, and 1-3, all recognition targets (size, orientation, etc.) are scored and considered. A value (total score) obtained by summing up the points for the recognition target can be set as the importance. Note that, for example, a method similar to the above can be used as a method of assigning points.
また、上記のようにして決定された各監視カメラ1−1、1−2、1−3の重要度は、そのままの値で用いられてもよく、或いは、全ての監視カメラ1−1、1−2、1−3に与えられた重要度の合計値で各監視カメラ1−1、1−2、1−3の重要度を割った結果の値が各監視カメラ1−1、1−2、1−3の(最終的に決定される)重要度として用いられてもよい(つまり、正規化されてもよい)。
また、例えば、点数の重要度を複数の段階の重要度として決定することもでき、一例として、8段階の重要度を決定する場合には、7個の閾値(8つの範囲)を設けて、与えられた点数が属する範囲に対応する段階の重要度とする。
Further, the importance of each of the monitoring cameras 1-1, 1-2, 1-3 determined as described above may be used as it is, or all the monitoring cameras 1-1, 1, 1 may be used as they are. -2, 1-3 are obtained by dividing the importance of each of the monitoring cameras 1-1, 1-2, 1-3 by the total value of the importance given to the monitoring cameras 1-1, 1-2. It may be used as a 1-3 (finally determined) importance (ie may be normalized).
Further, for example, the importance of the score can be determined as the importance of a plurality of stages. For example, when determining the importance of 8 stages, seven threshold values (eight ranges) are provided, The importance of the stage corresponding to the range to which the given score belongs.
ビットレート配分処理部14は、各監視カメラ1−1、1−2、1−3に決定された重要度(例えば、点数や段階など)に基づいて、各監視カメラ1−1、1−2、1−3に対してビットレートを割り当てて通知する。
一例として、重要度の値からビットレートを算出する数式を予めメモリに記憶しておいて、各監視カメラ1−1、1−2、1−3の重要度の値から当該数式を用いてビットレートを算出することができる。この場合に、例えば、インフラの伝送容量(本例では、ネットワーク2の最大容量)を超えないようにするために、各監視カメラ1−1、1−2、1−3に決定されたビットレートを所定の値で割った結果の値を最終的なビットレートとすることも可能である。
The bit rate
As an example, a mathematical formula for calculating the bit rate from the importance value is stored in the memory in advance, and the bit value is calculated using the mathematical formula from the importance value of each of the monitoring cameras 1-1, 1-2, and 1-3. The rate can be calculated. In this case, for example, the bit rate determined for each of the monitoring cameras 1-1, 1-2, and 1-3 so as not to exceed the transmission capacity of the infrastructure (in this example, the maximum capacity of the network 2). It is also possible to obtain a final bit rate by dividing the value by a predetermined value.
或いは、各監視カメラ1−1、1−2、1−3の重要度の大きさの割合に応じて、インフラの伝送容量(最大のビットレート)を各監視カメラ1−1、1−2、1−3に分配するように、ビットレートを決定することもできる。
また、決定されたビットレートが小数点以下の細かい数値となってしまうような場合に、所定の位で四捨五入することや、所定の位で切り上げ又は切り捨てすることが行われてもよい。
Alternatively, the transmission capacity of the infrastructure (maximum bit rate) is set to each of the monitoring cameras 1-1, 1-2, The bit rate can also be determined so as to be distributed to 1-3.
Further, when the determined bit rate becomes a small numerical value after the decimal point, it may be rounded off at a predetermined place, or rounded up or down at a predetermined place.
他の例として、予め、重要度の大きさの順位(第1位、第2位、第3位、・・・)とビットレートとの対応関係をメモリに記憶しておいて、各監視カメラ1−1、1−2、1−3に決定された重要度の大きさの順位に従ってビットレートを割り当てることができる。なお、2つ以上の監視カメラの重要度の大きさが同一である場合には、例えば、任意の優先度の条件に従って順位を付けることや、或いは、これら2つ以上の監視カメラに同一のビットレートを割り当てることなどができる。 As another example, the correspondence relationship between the order of importance (first, second, third,...) And the bit rate is stored in a memory in advance, and each surveillance camera The bit rate can be assigned according to the order of importance determined to 1-1, 1-2, and 1-3. When the importance levels of two or more surveillance cameras are the same, for example, ranking is performed according to an arbitrary priority condition, or the same bit is assigned to these two or more surveillance cameras. You can assign rates.
PC3(本例では、ビットレート配分処理部14)は、各監視カメラ1−1、1−2、1−3に対して、割り当てたビットレートを送信に使用するように指示する。この場合に、各監視カメラ1−1、1−2、1−3に対してビットレートを指示するタイミング(ビットレートを制御するタイミング)としては、種々なタイミングが用いられてもよく、例えば、1秒単位などの周期的なタイミングが用いられてもよく、或いは、PC3の操作者(人)により指示されたタイミングや、或いは、1つ以上の監視カメラ1−1、1−2、1−3の重要度又はビットレートが変化したときのタイミングや、或いは、1つ以上の監視カメラ1−1、1−2、1−3の重要度又はビットレートが所定の閾値以上に(又は、所定の閾値を超えて)変化したときのタイミングなどを用いることができる。 The PC 3 (in this example, the bit rate distribution processing unit 14) instructs each of the monitoring cameras 1-1, 1-2, and 1-3 to use the allocated bit rate for transmission. In this case, various timings may be used as the timing for instructing the bit rate to each of the monitoring cameras 1-1, 1-2, and 1-3 (timing for controlling the bit rate). Periodic timing such as one second unit may be used, timing instructed by an operator (person) of the PC 3, or one or more monitoring cameras 1-1, 1-2, 1- 3 when the degree of importance or bit rate changes, or the degree of importance or bit rate of one or more surveillance cameras 1-1, 1-2, 1-3 exceeds a predetermined threshold (or a predetermined value). The timing at which the change occurs (beyond the threshold value) can be used.
なお、画像認識処理部12における監視対象(人や物体など)や、画像認識処理部12における認識対象(大きさや向きなど)や、重要度判定処理部13により重要度を判定する手法や、ビットレート配分処理部14によりビットレートを配分する手法としては、それぞれ、使用状況などに応じて、任意に切り替えられてもよい。
It should be noted that a monitoring target (such as a person or an object) in the image
次に、本例の画像監視システムにおいて行われる監視映像配信及びモニタリングの動作の具体例を示す。
各監視カメラ1−1、1−2、1−3は、それぞれが設置された撮影エリアを撮影する。各監視カメラ1−1、1−2、1−3は、撮影した画像データを圧縮符号化処理して、ネットワーク2を介してPC3へ配信する。
初期の時点では、各監視カメラ1−1、1−2、1−3の圧縮符号化処理におけるビットレートの初期設定値として、インフラの伝送容量(本例では、8Mbps)を等配分した約2.6Mbpsを設定する。
各監視カメラ1−1、1−2、1−3から監視映像の圧縮データを受信したPC3は、映像表示処理部11により各監視カメラ1−1、1−2、1−3の監視映像をディスプレイ画面に表示する。
Next, a specific example of monitoring video distribution and monitoring operations performed in the image monitoring system of this example will be described.
Each of the surveillance cameras 1-1, 1-2, and 1-3 captures an image capturing area in which each is installed. Each surveillance camera 1-1, 1-2, 1-3 compresses and encodes the captured image data and distributes it to the PC 3 via the network 2.
At the initial time point, the infrastructure transmission capacity (8 Mbps in this example) is equally distributed as the initial setting value of the bit rate in the compression encoding process of each monitoring camera 1-1, 1-2, 1-3. Set 6 Mbps.
The PC 3 that has received the compressed data of the monitoring video from each of the monitoring cameras 1-1, 1-2, and 1-3 receives the monitoring video of each of the monitoring cameras 1-1, 1-2, and 1-3 by the video
まず、図1において、監視対象21aが位置Aに移動したときの動作について説明する。
図2(a)、(b)、(c)には、監視対象21aが位置Aに移動したときについて、(a)監視カメラ1−1により撮影された映像のイメージを示してあり、(b)監視カメラ1−2により撮影された映像のイメージを示してあり、(c)監視カメラ1−3により撮影された映像のイメージを示してある。
この場合、監視カメラ1−1は監視対象21aの正面から撮影することになり、監視カメラ1−2は監視対象21aの側面から撮影することになる。また、監視カメラ1−3は、監視対象21aまでの距離が他の監視カメラ1−1、1−2よりも遠い位置にあり、更に監視対象21aの斜め前方から撮影することになる。
First, an operation when the monitoring target 21a moves to the position A in FIG. 1 will be described.
FIGS. 2A, 2B, and 2C show images of the video imaged by the monitoring camera 1-1 when the monitoring target 21a moves to the position A, and (b) ) Shows an image of a video taken by the surveillance camera 1-2, and (c) shows an image of a video taken by the surveillance camera 1-3.
In this case, the monitoring camera 1-1 will shoot from the front of the monitoring target 21a, and the monitoring camera 1-2 will shoot from the side of the monitoring target 21a. In addition, the monitoring camera 1-3 is located at a position farther from the other monitoring cameras 1-1 and 1-2 to the monitoring target 21a, and is further photographed obliquely in front of the monitoring target 21a.
各監視カメラ1−1、1−2、1−3により撮影された映像は、ネットワーク2を介してPC3へ配信される。
PC3では、映像表示処理部11により各映像をディスプレイ画面に表示し、画像認識処理部12により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部13へ送られる。
重要度判定処理部13は、各映像の特徴に対して、所定の重要度判定処理により、監視対象21aの人物を特定し易い画像ほど重要度が高くなるような判定を行う。
Images taken by the monitoring cameras 1-1, 1-2, and 1-3 are distributed to the PC 3 via the network 2.
In the PC 3, each video is displayed on the display screen by the video
The importance level
本例では、重要度を8段階で判定する。
監視カメラ1−1により撮影された図2(a)の映像は、監視対象21aの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であることから、重要度が高く、例えば「重要度5」であると判定する。
監視カメラ1−2により撮影された図2(b)の映像は、監視対象21aの側面から撮影していて、人物像を部分的に把握できる程度の画像であることから、重要度は高くないが、人物特定の情報を含んでいるため、例えば「重要度2」であると判定する。
監視カメラ1−3により撮影された図2(c)の映像は、監視対象21aが小さく辛うじて撮影している程度であり、人物像を見極めるには情報が少ないため、重要度は非常に低く、例えば「重要度1」であると判定する。
なお、本例では、全ての監視カメラ1−1、1−2、1−3の重要度の合計値が8(他の例として、8以下)となるようにしている。
In this example, the importance is determined in 8 stages.
The video of FIG. 2A taken by the monitoring camera 1-1 is taken from the front of the monitoring target 21a, and is an image in which the face and physique are easy to understand and the person image is easy to identify. For example, it is determined that the importance level is “5”.
The video in FIG. 2B taken by the monitoring camera 1-2 is taken from the side of the monitoring target 21a and is an image that can partially grasp the person image, so the importance is not high. However, since it includes information specifying a person, it is determined that the degree of importance is “2”, for example.
The video of FIG. 2 (c) taken by the surveillance camera 1-3 is the extent that the surveillance subject 21a is barely photographed, and since there is little information to determine the person image, the importance is very low. For example, it is determined that the importance level is 1.
In this example, the total importance of all the monitoring cameras 1-1, 1-2, and 1-3 is set to 8 (8 or less as another example).
各監視カメラ1−1、1−2、1−3の重要度はビットレート配分処理部14に通知されて、ビットレート配分処理部14により各監視カメラ1−1、1−2、1−3のビットレートの設定値が再調整される。
本例では、(式1)を用いて、ビットレートの再調整を行う。
すると、監視カメラ1−1のビットレートの設定値は5Mbpsとなり、監視カメラ1−2のビットレートの設定値は2Mbpsとなり、監視カメラ1−3のビットレートの設定値は1Mbpsとなる。
図3には、各監視カメラ1−1、1−2、1−3に設定されるビットレートの一例を示してある。
The importance of each of the monitoring cameras 1-1, 1-2, and 1-3 is notified to the bit rate
In this example, the bit rate is readjusted using (Equation 1).
Then, the bit rate setting value of the monitoring camera 1-1 is 5 Mbps, the bit rate setting value of the monitoring camera 1-2 is 2 Mbps, and the bit rate setting value of the monitoring camera 1-3 is 1 Mbps.
FIG. 3 shows an example of the bit rate set for each of the monitoring cameras 1-1, 1-2, and 1-3.
(数1)
ビットレート設定[bps]
=インフラの伝送容量(本例では、8Mbps)×重要度/8
・・(式1)
(Equation 1)
Bit rate setting [bps]
= Infrastructure transmission capacity (8Mbps in this example) x Importance / 8
.. (Formula 1)
次いで、図1において、監視対象21bが位置Bに移動したときの動作について説明する。
図4(a)、(b)、(c)には、監視対象21bが位置Bに移動したときについて、(a)監視カメラ1−1により撮影された映像のイメージを示してあり、(b)監視カメラ1−2により撮影された映像のイメージを示してあり、(c)監視カメラ1−3により撮影された映像のイメージを示してある。
この場合、監視カメラ1−1は監視対象21bを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ1−2は監視対象21bの正面から撮影することになり、監視カメラ1−3は監視対象21bを画角内に捉えておらず映像には何も撮影されていない。
Next, an operation when the
FIGS. 4A, 4B, and 4C show images of the video imaged by the monitoring camera 1-1 when the
In this case, the monitoring camera 1-1 does not capture the
各監視カメラ1−1、1−2、1−3により撮影された映像は、ネットワーク2を介してPC3へ配信される。
PC3では、映像表示処理部11により各映像をディスプレイ画面に表示し、画像認識処理部12により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部13へ送られる。
重要度判定処理部13は、各映像の特徴に対して、所定の重要度判定処理により、監視対象21bの人物を特定し易い画像ほど重要度が高くなるような判定を行う。
Images taken by the monitoring cameras 1-1, 1-2, and 1-3 are distributed to the PC 3 via the network 2.
In the PC 3, each video is displayed on the display screen by the video
The importance level
本例では、重要度を8段階で判定する。
監視カメラ1−1により撮影された図4(a)の映像は、監視対象21bを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度1」であると判定する。
監視カメラ1−2により撮影された図4(b)の映像は、監視対象21bの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であるため、重要度が高く、例えば「重要度6」であると判定する。
監視カメラ1−3により撮影された図4(c)の映像は、監視対象21bを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度1」であると判定する。
In this example, the importance is determined in 8 stages.
The video in FIG. 4A taken by the monitoring camera 1-1 is an image that does not have the information for identifying the person image because it does not capture the
The video in FIG. 4B taken by the monitoring camera 1-2 is taken from the front of the
The video in FIG. 4C captured by the monitoring camera 1-3 is an image that does not have the information to identify the person image because it does not capture the
各監視カメラ1−1、1−2、1−3の重要度はビットレート配分処理部14に通知されて、ビットレート配分処理部14により各監視カメラ1−1、1−2、1−3のビットレートの設定値が再調整される。
本例では、(式1)を用いて、ビットレートの再調整を行う。
すると、監視カメラ1−1のビットレートの設定値は1Mbpsとなり、監視カメラ1−2のビットレートの設定値は6Mbpsとなり、監視カメラ1−3のビットレートの設定値は1Mbpsとなる。
図5には、各監視カメラ1−1、1−2、1−3に設定されるビットレートの一例を示してある。
The importance of each of the monitoring cameras 1-1, 1-2, and 1-3 is notified to the bit rate
In this example, the bit rate is readjusted using (Equation 1).
Then, the bit rate setting value of the monitoring camera 1-1 is 1 Mbps, the bit rate setting value of the monitoring camera 1-2 is 6 Mbps, and the bit rate setting value of the monitoring camera 1-3 is 1 Mbps.
FIG. 5 shows an example of the bit rate set for each of the monitoring cameras 1-1, 1-2, and 1-3.
次いで、図1において、監視対象21cが位置Cに移動したときの動作について説明する。
図6(a)、(b)、(c)には、監視対象21cが位置Cに移動したときについて、(a)監視カメラ1−1により撮影された映像のイメージを示してあり、(b)監視カメラ1−2により撮影された映像のイメージを示してあり、(c)監視カメラ1−3により撮影された映像のイメージを示してある。
この場合、監視カメラ1−1は監視対象21cを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ1−2は監視対象21cを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ1−3は監視対象21cの正面から撮影することになる。
Next, an operation when the
6 (a), 6 (b), and 6 (c) show images of the images taken by the monitoring camera 1-1 when the
In this case, the monitoring camera 1-1 does not capture the
各監視カメラ1−1、1−2、1−3により撮影された映像は、ネットワーク2を介してPC3へ配信される。
PC3では、映像表示処理部11により各映像をディスプレイ画面に表示し、画像認識処理部12により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部13へ送られる。
重要度判定処理部13は、各映像の特徴に対して、所定の重要度判定処理により、監視対象21cの人物を特定し易い画像ほど重要度が高くなるような判定を行う。
Images taken by the monitoring cameras 1-1, 1-2, and 1-3 are distributed to the PC 3 via the network 2.
In the PC 3, each video is displayed on the display screen by the video
The importance level
本例では、重要度を8段階で判定する。
監視カメラ1−1により撮影された図6(a)の映像は、監視対象21cを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度1」であると判定する。
監視カメラ1−2により撮影された図6(b)の映像は、監視対象21cを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度1」であると判定する。
監視カメラ1−3により撮影された図6(c)の映像は、監視対象21cの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であるため、重要度が高く、例えば「重要度6」であると判定する。
In this example, the importance is determined in 8 stages.
Since the video of FIG. 6A photographed by the monitoring camera 1-1 does not capture the
The video in FIG. 6B captured by the monitoring camera 1-2 is an image that does not have the information for identifying the person image because it does not capture the
The video shown in FIG. 6C taken by the monitoring camera 1-3 is taken from the front of the
各監視カメラ1−1、1−2、1−3の重要度はビットレート配分処理部14に通知されて、ビットレート配分処理部14により各監視カメラ1−1、1−2、1−3のビットレートの設定値が再調整される。
本例では、(式1)を用いて、ビットレートの再調整を行う。
すると、監視カメラ1−1のビットレートの設定値は1Mbpsとなり、監視カメラ1−2のビットレートの設定値は1Mbpsとなり、監視カメラ1−3のビットレートの設定値は6Mbpsとなる。
図7には、各監視カメラ1−1、1−2、1−3に設定されるビットレートの一例を示してある。
The importance of each of the monitoring cameras 1-1, 1-2, and 1-3 is notified to the bit rate
In this example, the bit rate is readjusted using (Equation 1).
Then, the setting value of the bit rate of the monitoring camera 1-1 is 1 Mbps, the setting value of the bit rate of the monitoring camera 1-2 is 1 Mbps, and the setting value of the bit rate of the monitoring camera 1-3 is 6 Mbps.
FIG. 7 shows an example of the bit rate set for each of the monitoring cameras 1-1, 1-2, and 1-3.
このように、本例では、監視映像の重要性に着目し、重要度が高い映像(監視カメラ)に対して高いビットレートを割り当てることで、例えば、伝送インフラのパフォーマンスを最大限に利用しつつ、監視対象21a〜21cを高画質で撮影することが可能となる。更に、重要度の判定及びビットレートの割り当てを動的に実行することにより、監視対象21a〜21cや環境の変化に追従しながら最適な監視映像を得ることができ、効率的な監視システムを実現することができる。
なお、ビットレートが高い方が、画像圧縮している場合には圧縮劣化(例えば、ブロックノイズ)が小さくなり、画像圧縮していない場合には解像度が高くなるといったように、見易い映像(画像)を得ることができる。
Thus, in this example, paying attention to the importance of surveillance video, assigning a high bit rate to video (surveillance camera) with high importance, for example, while maximizing the performance of transmission infrastructure It becomes possible to photograph the monitoring targets 21a to 21c with high image quality. Furthermore, by determining the importance and allocating the bit rate dynamically, it is possible to obtain an optimal monitoring video while following changes in the monitoring targets 21a to 21c and the environment, thereby realizing an efficient monitoring system. can do.
It should be noted that the higher the bit rate, the easier it is to see the image (image), such as compression deterioration (for example, block noise) is smaller when the image is compressed, and the resolution is higher when the image is not compressed. Can be obtained.
ここで、本例では、映像表示処理部11や、画像認識処理部12や、重要度判定処理部13や、ビットレート配分処理部14の機能をPC3に内蔵したが、他の構成例として、各処理部の機能を監視カメラ1−1、1−2、1−3などの他の機器に内蔵してもよく、或いは、専用機器として構成してもよい。
Here, in this example, the functions of the video
以上のように、本例では、監視対象21a〜21bを撮影する複数台の監視カメラ1−1、1−2、1−3により得られた映像を送信し、受信機(本例では、PC3)が受信した映像を表示装置に映し出すことで、監視対象21a〜21cを遠隔監視する画像監視システムにおいて、各監視カメラ1−1、1−2、1−3からの監視映像の特徴を抽出して、抽出した特徴に応じて各監視カメラ1−1、1−2、1−3のビットレートを調整する。 As described above, in this example, images obtained by the plurality of monitoring cameras 1-1, 1-2, and 1-3 that shoot the monitoring targets 21a to 21b are transmitted and received by a receiver (in this example, PC3 In the image monitoring system for remotely monitoring the monitoring targets 21a to 21c, the characteristics of the monitoring images from the monitoring cameras 1-1, 1-2, and 1-3 are extracted. Then, the bit rates of the monitoring cameras 1-1, 1-2, and 1-3 are adjusted according to the extracted features.
また、本例では、監視映像の特徴に対して重要度を定めて、監視映像として重要性が高い映像を配信する監視カメラ1−1、1−2、1−3に対して高いビットレートを設定する。
また、本例では、監視映像の変化に追従して、動的に監視映像の重要性の判定を行い、自動的にビットレートを再設定する。
また、本例では、伝送インフラが許容するビットレートの最大値を超えないように、各監視カメラ1−1、1−2、1−3のビットレートを割り振る。
Also, in this example, importance is set for the characteristics of the monitoring video, and a high bit rate is set for the monitoring cameras 1-1, 1-2, and 1-3 that distribute the video having high importance as the monitoring video. Set.
In this example, the importance of the monitoring video is dynamically determined following the change of the monitoring video, and the bit rate is automatically reset.
In this example, the bit rates of the monitoring cameras 1-1, 1-2, and 1-3 are allocated so as not to exceed the maximum bit rate allowed by the transmission infrastructure.
従って、本例では、監視対象21a〜21cを常時モニタリングするに際して、複数台の監視カメラ1−1、1−2、1−3により撮影された映像(画像)に対して画像認識処理を行って、各監視カメラ1−1、1−2、1−3における撮影の重要度を常に更新し、この重要度に応じて各監視カメラ1−1、1−2、1−3のビットレートを自動的に再設定することにより、例えば、監視機器や伝送インフラのパフォーマンスを(例えば、最大限に)活かしつつ、監視対象21a〜21cの変化に追従しながら最適な監視画像を得ることが可能となる。 Therefore, in this example, when the monitoring targets 21a to 21c are constantly monitored, image recognition processing is performed on images (images) taken by the plurality of monitoring cameras 1-1, 1-2, and 1-3. The importance of shooting in each monitoring camera 1-1, 1-2, 1-3 is constantly updated, and the bit rate of each monitoring camera 1-1, 1-2, 1-3 is automatically updated according to this importance. By re-setting, for example, it is possible to obtain an optimal monitoring image while following the changes of the monitoring targets 21a to 21c while utilizing (for example, maximizing) the performance of the monitoring device and the transmission infrastructure. .
なお、本例の画像監視システム(画像処理システムの一例)では、複数の監視カメラ1−1、1−2、1−3の機能により複数の画像送信手段が構成されており、ネットワーク2により伝送媒体が構成されており、PC3が各監視カメラ1−1、1−2、1−3からの画像をネットワーク2を介して受信する機能により画像受信手段が構成されており、画像認識処理部12(画像認識手段)や重要度判定処理部13(重要度判定手段)やビットレート配分処理部14(送信レート決定手段)の機能により送信レート制御手段が構成されており、PC3のビットレート配分処理部14が各監視カメラ1−1、1−2、1−3に対して送信レートを指示する機能により送信レート指示手段が構成されている。
In the image monitoring system of this example (an example of an image processing system), a plurality of image transmission units are configured by the functions of the plurality of monitoring cameras 1-1, 1-2, 1-3 and transmitted by the network 2. The medium is configured, and the image receiving unit is configured by the function of the PC 3 receiving the images from the monitoring cameras 1-1, 1-2, and 1-3 via the network 2, and the image
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configuration of the system and apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various systems and devices.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the system and apparatus according to the present invention, for example, the processor executes a control program stored in a ROM (Read Only Memory) in hardware resources including a processor and a memory. A controlled configuration may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
The present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the control program, and the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.
1−1、1−2、1−3・・監視カメラ、 2・・ネットワーク、 3・・PC、 11・・映像表示処理部、 12・・画像認識処理部、 13・・重要度判定処理部、 14・・ビットレート配分処理部、 21a、21a、21b・・監視対象、
1-1, 1-2, 1-3 ··· Surveillance camera, 2 ·· Network, 3 ·· PC, 11 ·· Video display processing unit, 12 ·· Image recognition processing unit, 13 ·· Importance
Claims (3)
前記複数の画像送信手段から伝送媒体を介して送信された画像を受信する画像受信手段と、
前記画像受信手段により受信された各画像送信手段からの画像に基づいて、各画像送信手段に割り当てる送信レートを決定する送信レート制御手段と、
前記送信レート制御手段により決定された送信レートが各画像送信手段により使用されるように各画像送信手段に対して送信レートを指示する送信レート指示手段と、
を備えたことを特徴とする画像処理システム。 In an image processing system for processing images transmitted from a plurality of image transmission means,
Image receiving means for receiving images transmitted from the plurality of image transmitting means via a transmission medium;
A transmission rate control means for determining a transmission rate to be assigned to each image transmission means based on an image from each image transmission means received by the image reception means;
Transmission rate instruction means for instructing the transmission rate to each image transmission means so that the transmission rate determined by the transmission rate control means is used by each image transmission means;
An image processing system comprising:
前記送信レート制御手段は、各画像送信手段からの画像について画像に映る対象の大きさを含む1つ以上の認識対象を認識する画像認識手段と、前記画像認識手段により認識対象が認識された結果に基づいて各画像送信手段からの画像について重要度を判定する重要度判定手段と、前記重要度判定手段により判定された重要度に基づいて各画像送信手段に割り当てる送信レートを決定する送信レート決定手段と、を有しており、
前記重要度判定手段は、対象の大きさについては、大きい方の重要度を高め、
前記送信レート決定手段は、重要度が高い方の送信レートを大きくする、
ことを特徴とする画像処理システム。 The image processing system according to claim 1,
The transmission rate control means includes an image recognition means for recognizing one or more recognition objects including the size of the object shown in the image for each image transmission means, and a result of recognition of the recognition object by the image recognition means. Importance level determination means for determining the importance level of the image from each image transmission means, and transmission rate determination for determining a transmission rate to be assigned to each image transmission means based on the importance level determined by the importance level determination means Means, and
The importance determining means increases the importance of the larger one for the size of the object,
The transmission rate determining means increases the transmission rate of the higher importance,
An image processing system characterized by that.
前記送信レート制御手段は、各画像送信手段からの画像について画像に映る対象の向きを含む1つ以上の認識対象を認識する画像認識手段と、前記画像認識手段により認識対象が認識された結果に基づいて各画像送信手段からの画像について重要度を判定する重要度判定手段と、前記重要度判定手段により判定された重要度に基づいて各画像送信手段に割り当てる送信レートを決定する送信レート決定手段と、を有しており、
前記重要度判定手段は、対象の向きについては、正面を向いている方の重要度を高め、
前記送信レート決定手段は、重要度が高い方の送信レートを大きくする、
ことを特徴とする画像処理システム。 The image processing system according to claim 1 or 2,
The transmission rate control means includes an image recognition means for recognizing at least one recognition target including an orientation of an object shown in the image with respect to an image from each image transmission means, and a result of recognition of the recognition target by the image recognition means. An importance level determination unit that determines an importance level for an image from each image transmission unit, and a transmission rate determination unit that determines a transmission rate to be assigned to each image transmission unit based on the importance level determined by the importance level determination unit And
The importance determination means increases the importance of the person facing the front for the direction of the object,
The transmission rate determining means increases the transmission rate of the higher importance,
An image processing system characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007122972A JP2008283230A (en) | 2007-05-08 | 2007-05-08 | Image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007122972A JP2008283230A (en) | 2007-05-08 | 2007-05-08 | Image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008283230A true JP2008283230A (en) | 2008-11-20 |
Family
ID=40143721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007122972A Pending JP2008283230A (en) | 2007-05-08 | 2007-05-08 | Image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008283230A (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200757A (en) * | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | Video data processing apparatus, program, and method |
JP2010028754A (en) * | 2008-07-24 | 2010-02-04 | Hitachi Kokusai Electric Inc | Video-recording transfer device |
JP2010279004A (en) * | 2009-06-01 | 2010-12-09 | Canon Inc | Monitoring camera system, monitoring camera, and monitoring camera controller |
JP2011234343A (en) * | 2010-04-06 | 2011-11-17 | Canon Inc | Video processing apparatus and video processing method |
JP2013207706A (en) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | Video signal transmission system, video signal transmission control device, video signal transmission method, and program |
JP2014036414A (en) * | 2012-08-10 | 2014-02-24 | Hitachi Kokusai Electric Inc | Monitoring system |
JP2014179830A (en) * | 2013-03-15 | 2014-09-25 | Panasonic Corp | Image encoding apparatus, photographing system, photographing recording system, image quality encoding method and image encoding control program |
JP2018088672A (en) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
JP2018121163A (en) * | 2017-01-24 | 2018-08-02 | 三菱電機株式会社 | Surveillance camera system |
JP2018195883A (en) * | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Image processing system, control device, control method, and program |
JP2020102773A (en) * | 2018-12-21 | 2020-07-02 | キヤノン株式会社 | Image processing device, control method and program executed by image processing device |
WO2021182190A1 (en) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
WO2021199350A1 (en) * | 2020-03-31 | 2021-10-07 | 日本電気株式会社 | Remote monitoring system, device, method, and computer-readable medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274390A (en) * | 2002-03-18 | 2003-09-26 | Olympus Optical Co Ltd | Video distributing server and video receiving client system |
JP2004361989A (en) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | Image selection system, image selection program, and image selection method |
JP2005348157A (en) * | 2004-06-03 | 2005-12-15 | Canon Inc | Camera system, camera and method for controlling camera |
JP2006229631A (en) * | 2005-02-17 | 2006-08-31 | Konica Minolta Holdings Inc | Image processor |
-
2007
- 2007-05-08 JP JP2007122972A patent/JP2008283230A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274390A (en) * | 2002-03-18 | 2003-09-26 | Olympus Optical Co Ltd | Video distributing server and video receiving client system |
JP2004361989A (en) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | Image selection system, image selection program, and image selection method |
JP2005348157A (en) * | 2004-06-03 | 2005-12-15 | Canon Inc | Camera system, camera and method for controlling camera |
JP2006229631A (en) * | 2005-02-17 | 2006-08-31 | Konica Minolta Holdings Inc | Image processor |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200757A (en) * | 2008-02-21 | 2009-09-03 | Fujitsu Ltd | Video data processing apparatus, program, and method |
JP2010028754A (en) * | 2008-07-24 | 2010-02-04 | Hitachi Kokusai Electric Inc | Video-recording transfer device |
JP4603603B2 (en) * | 2008-07-24 | 2010-12-22 | 株式会社日立国際電気 | Recording transfer device |
JP2010279004A (en) * | 2009-06-01 | 2010-12-09 | Canon Inc | Monitoring camera system, monitoring camera, and monitoring camera controller |
US8811661B2 (en) | 2009-06-01 | 2014-08-19 | Canon Kabushiki Kaisha | Monitoring camera system, monitoring camera, and monitoring camera control apparatus |
JP2011234343A (en) * | 2010-04-06 | 2011-11-17 | Canon Inc | Video processing apparatus and video processing method |
JP2013207706A (en) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | Video signal transmission system, video signal transmission control device, video signal transmission method, and program |
JP2014036414A (en) * | 2012-08-10 | 2014-02-24 | Hitachi Kokusai Electric Inc | Monitoring system |
JP2014179830A (en) * | 2013-03-15 | 2014-09-25 | Panasonic Corp | Image encoding apparatus, photographing system, photographing recording system, image quality encoding method and image encoding control program |
JP7029586B2 (en) | 2016-11-21 | 2022-03-04 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
JP2018088672A (en) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
JP2018121163A (en) * | 2017-01-24 | 2018-08-02 | 三菱電機株式会社 | Surveillance camera system |
JP2018195883A (en) * | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Image processing system, control device, control method, and program |
JP7121470B2 (en) | 2017-05-12 | 2022-08-18 | キヤノン株式会社 | Image processing system, control method, and program |
JP2020102773A (en) * | 2018-12-21 | 2020-07-02 | キヤノン株式会社 | Image processing device, control method and program executed by image processing device |
JP7195135B2 (en) | 2018-12-21 | 2022-12-23 | キヤノン株式会社 | Image processing device, control method and program performed by image processing device |
WO2021182190A1 (en) * | 2020-03-11 | 2021-09-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
WO2021199350A1 (en) * | 2020-03-31 | 2021-10-07 | 日本電気株式会社 | Remote monitoring system, device, method, and computer-readable medium |
JPWO2021199350A1 (en) * | 2020-03-31 | 2021-10-07 | ||
JP7459932B2 (en) | 2020-03-31 | 2024-04-02 | 日本電気株式会社 | Remote monitoring system, device, method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008283230A (en) | Image processing system | |
US8922649B2 (en) | Method and apparatus for processing video frame | |
US8675065B2 (en) | Video monitoring system | |
US8284992B2 (en) | Monitoring system, monitoring method and program | |
CN100473154C (en) | Image pickup apparatus and image distributing method | |
US10609426B2 (en) | Method and system for playing back recorded video | |
US8451329B2 (en) | PTZ presets control analytics configuration | |
KR101365237B1 (en) | Surveilance camera system supporting adaptive multi resolution | |
US20110255590A1 (en) | Data transmission apparatus and method, network data transmission system and method using the same | |
US9065975B2 (en) | Method and apparatus for hands-free control of a far end camera | |
JP5693147B2 (en) | Photographic interference detection method, interference detection device, and surveillance camera system | |
KR101077777B1 (en) | Network camera system, method for processing video data thereof and method for managing thereof | |
KR101178886B1 (en) | High resolution digital ptz camera, monitoring system including high resolution digital ptz camera and data transmisson method thereof | |
KR102263071B1 (en) | Method for video monitoring, Apparatus for video monitoring and Computer program for the same | |
CN102610182A (en) | Exhibition hall image playing system with self-adaptation effect to people stream distribution | |
KR20210038156A (en) | Apparatus and method for adaptive video compression based on tactical situation | |
JP5150943B2 (en) | Monitoring system, monitoring method, and program | |
KR102126794B1 (en) | Apparatus and Method for Transmitting Video Data | |
KR102201241B1 (en) | Apaptive Object Recognizing Apparatus and Method for Processing Data Real Time In Multi Channel Video | |
WO2023013328A1 (en) | Method, apparatus, and system for monitoring motion in video stream | |
JP2005033649A (en) | Monitor circuit, monitor camera and monitor system | |
JP6942959B2 (en) | Image processing system | |
JP4653154B2 (en) | Status change distribution display device and method thereof | |
KR101741240B1 (en) | network camera apparatus | |
JP2016220148A (en) | Control apparatus, control method, and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100409 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101216 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120306 |