JP2008283230A - 画像処理システム - Google Patents

Abstract

【課題】複数の画像送信手段１−１、１−２、１−３から送信される画像を処理する画像処理システムにおいて、各画像送信手段の送信レートを効果的に制御する。
【解決手段】画像受信手段３が複数の画像送信手段から伝送媒体２を介して送信された画像を受信し、送信レート制御手段（画像認識手段１２、重要度判定手段１３、送信レート決定手段１４）が受信された各画像送信手段からの画像に基づいて各画像送信手段に割り当てる送信レートを決定し、送信レート指示手段１４が決定された送信レートが各画像送信手段により使用されるように各画像送信手段に対して送信レートを指示する。
【選択図】 図１

Description

本発明は、例えば、複数のカメラにより撮影された映像（画像）の信号をネットワークを介して伝送する画像処理システムに関し、特に、各カメラの送信レートを効果的に制御する画像処理システムに関する。

例えば、近年の監視システムでは、ＭＰＥＧなどの動画像圧縮技術の発展や、光ケーブルやＡＤＳＬ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）といったブロードバンドのインフラが整備されたことにより、遠隔地からの映像監視が容易となった。また、顔認識や動体検知といった画像処理技術の進歩により、単に映像をモニタリングするだけでなく、不審者を検知して追尾しながらモニタリングするインテリジェンスな監視システムも登場している。

このように、監視システムの性能が日々進歩しているにもかかわらず、年々、犯罪事件の発生件数が増加し、社会的に問題となっている。このため、企業や個人を問わず監視システムの導入が増加している。また、監視市場のグローバル化に伴って監視機器が低価格化したこともあり、監視カメラの設置台数を増加するなど、システム規模を増大する傾向がある。また、ＡＤＳＬなどの高速なブロードバンドのインフラが低価格化したことも受けて、監視システム市場では、高画質の監視カメラを複数台設置して監視画像を配信したいという要求が増加している。

このような複数台の監視カメラを設置した監視システムでは、各監視カメラから送信するビットレートをどのように設定するかが、監視映像の画質を大きく左右するため、重要となる。ビットレートの設定方法としては、各監視カメラに対して、インフラの伝送容量を等分配する値を設定する方法や、或いは、特に重視したい監視カメラのビットレートだけを高めの値に設定する方法があり、予めユーザーが決めたビットレートを設定する。

例えば、伝送容量が８Ｍｂｐｓであるインフラに対して、３台の監視カメラを設置したとする。監視カメラの圧縮符号化方式をＭＰＥＧ−２として監視画像を配信すると、１台の監視カメラに割り当てられるビットレートは約２．６Ｍｂｐｓとなる。このビットレートでは、ブロックノイズやモスキートノイズといった圧縮符号化による劣化の影響が大きく、監視映像として適切とはいえない。一方、ビットレートを等配分するのではなく、重要性が高いと想定される監視カメラだけに高いビットレートを割り当てると、想定した環境・状況下では期待した監視映像が得られるが、想定外となった場合には適切な監視映像が得られないことが予想される。

一例として、コンビニエンスストアの監視システムでは、レジの前などのように、客（監視対象）の顔を（広角で）撮影しやすい位置に設置している監視カメラのビットレートを高めに設定すると、客（監視対象）の顔を高画質に撮影できて効果的である。しかしながら、この場合、客（監視対象）が買い物をせずに店外へ出てしまうと、客の顔を高画質で捉えることができない。
このように、従来の監視システムでは、複数台の監視カメラを用いても、監視対象の状況変化に応じて最適な監視映像を得ることができないといった問題があった。

特開２０００−２０９５６８号公報

上述のように、従来の監視システムでは、複数台の監視カメラを設置した場合、各監視カメラから送信するビットレートを等分割に設定し、或いは、特に重視したい監視カメラのビットレートだけを高めに設定するといった具合に、予めユーザーが決めたビットレートを設定する構成であった。しかしながら、この構成では、各監視カメラから配信する画像としては、想定した環境・状況下では期待した画像を得られるが、想定外の状況となった場合には、期待通りの画像が得られるとは限らないといった問題があった。

本発明は、このような従来の事情に鑑み為されたもので、例えば、複数の画像送信装置（例えば、カメラ）から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができる画像処理システムを提供することを目的とする。

上記目的を達成するため、本発明では、複数の画像送信手段から送信される画像を処理する画像処理システムにおいて、次のような構成とした。
すなわち、画像受信手段が、前記複数の画像送信手段から伝送媒体を介して送信された画像を受信する。送信レート制御手段が、前記画像受信手段により受信された各画像送信手段からの画像に基づいて、各画像送信手段に割り当てる送信レートを決定する。送信レート指示手段が、前記送信レート制御手段により決定された送信レートが各画像送信手段により使用されるように、各画像送信手段に対して送信レートを指示する。

従って、複数の画像送信手段からの画像に基づいて各画像送信手段に割り当てる送信レートが決定されるため、例えば、複数の画像送信装置（例えば、カメラ）から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができる。具体例として、常に複数の画像送信装置から画像を共通なネットワークを介して伝送するに際して、当該ネットワークに許容される伝送容量を複数の画像送信装置に効果的に分配して利用することができる。

ここで、複数の画像送信手段の数としては、種々な数が用いられてもよい。
また、各画像送信手段としては、種々なものが用いられてもよく、例えば、画像を撮影して送信するカメラや、画像のデータを記憶して送信する画像記憶装置（レコーダー）などを用いて構成することができる。
また、複数のカメラ（画像送信手段の一例）の配置としては、任意であってもよく、例えば、同一の領域（例えば、同一の店内や、同一の部屋など）を異なる位置から撮影するような配置に設置することができる。

また、伝送媒体としては、種々なものが用いられてもよく、例えば、種々なネットワークを用いることができる。
また、送信レートとしては、種々なものが用いられてもよく、例えば、ビットレートや、フレームレートを用いることができる。

また、各画像送信手段からの画像に基づいて各画像送信手段に割り当てる送信レートを決定する手法としては、種々なものが用いられてもよく、例えば、注目する対象（例えば、人や物体など）に関する情報の重要度が高い画像に対して、大きい送信レートを割り当てるような手法を用いることができる。
また、各画像送信手段は、送信レート指示手段により指示された送信レートで、画像を送信する。
このような送信レートの制御を行うタイミングとしては、種々なタイミングが用いられてもよい。

本発明に係る画像処理システムでは、一構成例として、次のような構成とした。
すなわち、前記送信レート制御手段では、画像認識手段が、各画像送信手段からの画像について、画像に映る対象の大きさを含む１つ以上の認識対象を認識し、また、重要度判定手段が、前記画像認識手段により認識対象が認識された結果に基づいて、各画像送信手段からの画像について重要度を判定し、また、送信レート決定手段が、前記重要度判定手段により判定された重要度に基づいて、各画像送信手段に割り当てる送信レートを決定する。
また、前記重要度判定手段は、対象の大きさについては、大きい方の重要度を高める。
また、前記送信レート決定手段は、重要度が高い方の送信レートを大きくする。

従って、各画像送信手段からの画像について対象（例えば、人や物体など）の大きさを含む１つ以上の認識対象を認識した結果に基づいて各画像に対して重要度を判定し、各画像の重要度に基づいて各画像送信手段に割り当てる送信レートを決定することができる。これにより、画像に映る注目する対象の大きさなどに基づいて、より重要であると判定された画像（画像送信手段）に対して、より大きい送信レートを割り当てて、その画像の品質を向上させることができる。

ここで、画像に映る対象としては、種々なものが用いられてもよく、例えば、人や物体など、注目するものを用いることができる。
また、対象の大きさとしては、例えば、画像中における面積（例えば、占有する画素の数）を用いることができる。
また、画像に対する認識対象としては、種々なものが用いられてもよく、例えば、対象の大きさのみが用いられてもよく、或いは、更に、対象の向き、対象の速度（例えば、所定時間における移動距離）、対象の縦幅（縦方向の長さ）、対象の横幅（横方向の長さ）、対象の明るさ（例えば、輝度）などの１つ以上を用いることもでき、また、対象の環境（例えば、明るさなど）ばかりでなく、画面の環境（例えば、画像全体の明るさなど）を用いることも可能である。

また、認識対象の認識結果に基づいて重要度を判定する手法としては、種々なものが用いられてもよく、例えば、予め設定された判定方式に従って、重要度として、連続的な点数の値、或いは、離散的な点数の値（例えば、複数の段階）を決定するようなことができる。
また、対象の大きさについては、一例として、大きい方の重要度を高める。この場合、連続的に変化し得る対象の大きさに対して重要度も連続的に変化させることが可能であり、或いは、対象の大きさに関して１つ以上の閾値（２つ以上の範囲）を設けて、対象の大きさが属する範囲が変化する毎に重要度を変化させることも可能である。

また、重要度に基づいて送信レートを決定する手法としては、種々なものが用いられてもよく、例えば、予め設定された決定方式に従って、送信レートとして、重要度に比例などする値、或いは、複数の画像送信手段の中における重要度の大きさの順位に応じた値を決定するようなことができる。

本発明に係る画像処理システムでは、一構成例として、次のような構成とした。
すなわち、前記送信レート制御手段では、画像認識手段が、各画像送信手段からの画像について、画像に映る対象の向きを含む１つ以上の認識対象を認識し、また、重要度判定手段が、前記画像認識手段により認識対象が認識された結果に基づいて、各画像送信手段からの画像について重要度を判定し、また、送信レート決定手段が、前記重要度判定手段により判定された重要度に基づいて、各画像送信手段に割り当てる送信レートを決定する。
また、前記重要度判定手段は、対象の向きについては、正面を向いている方の重要度を高める。
また、前記送信レート決定手段は、重要度が高い方の送信レートを大きくする。

従って、各画像送信手段からの画像について対象（例えば、人や物体など）の向きを含む１つ以上の認識対象を認識した結果に基づいて各画像に対して重要度を判定し、各画像の重要度に基づいて各画像送信手段に割り当てる送信レートを決定することができる。これにより、画像に映る注目する対象の向きなどに基づいて、より重要であると判定された画像（画像送信手段）に対して、より大きい送信レートを割り当てて、その画像の品質を向上させることができる。

ここで、画像に対する認識対象としては、種々なものが用いられてもよく、例えば、対象の向きのみが用いられてもよく、或いは、更に、他の認識対象が用いられてもよい。
また、対象の向きについては、一例として、正面（画面の方向）を向いている方の重要度を高める。この場合、連続的に変化し得る対象の向き（例えば、角度）に対して重要度も連続的に変化させることが可能であり、或いは、対象の向きに関して１つ以上の閾値（例えば、正面と側面と裏面などといった２つ以上の範囲）を設けて、対象の向きが属する範囲が変化する毎に重要度を変化させることも可能である。
なお、画像に対する認識対象としては、例えば、対象の大きさ及び対象の向きを使用せずに、１つ以上の他の認識対象を使用することも可能である。

ここで、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の手段として当該コンピュータを機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理（手順）を当該コンピュータに実行させる。

以上説明したように、本発明に係る画像処理システムによると、例えば、複数の画像送信装置（例えば、カメラ）から画像をネットワークを介して伝送するに際して、各画像送信装置の送信レートを効果的に制御することができ、ネットワークに許容される伝送容量を複数の画像送信装置に効果的に分配して利用することができる。

本発明に係る一実施例を図面を参照して説明する。
図１には、本発明に係る画像監視システムの一例を示してある。
本例の画像監視システムは、複数台（本例では、３台）のカメラ（監視カメラ）１−１、１−２、１−３と、ネットワーク２と、ＰＣ（パーソナルコンピュータ）３を備えている。各監視カメラ１−１、１−２、１−３とＰＣ３は、ネットワーク２と接続されている。
ＰＣ３は、映像表示処理部１１と、画像認識処理部１２と、重要度判定処理部１３と、ビットレート配分処理部１４を備えている。本例では、これらの各処理部１１〜１４の機能は、ＰＣ３に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のソフトウエア（本例では、プログラム）を実行することにより実現される。

本例では、各監視カメラ１−１、１−２、１−３は、コンビニエンスストアの店内の異なる位置に設置されている。また、ＰＣ３は、店の奥などに設置されており、店の従業員などにより操作等される。
また、本例では、コンビニエンスストアの店内の人（客）を監視対象２１ａ、２１ｂ、２１ｃとして監視する。
なお、図１では、同一の人について、位置Ａにいるときの監視対象２１ａ、位置Ｂにいるときの監視対象２１ｂ、位置Ｃにいるときの監視対象２１ｃを示してあり、これらは同一の人が移動したものである。

本例の画像監視システムにおいて行われる動作の一例を示す。
各監視カメラ１−１、１−２、１−３は、リアルタイムで常に、それぞれの監視対象領域の映像を動画像として撮影し、撮影した映像（監視映像）に対して圧縮符号化処理を行い、これにより得られた圧縮データをネットワーク２上に配信可能となるようにネットワークパケットデータへ変換し、このパケットデータを任意の受信機器（本例では、ＰＣ３）へ配信する。また、各監視カメラ１−１、１−２、１−３は、ネットワーク２上のＰＣ３からパラメータの設定指示を受けて、ビットレートの設定などを変更する。

各監視カメラ１−１、１−２、１−３の監視対象領域に監視対象２１ａ〜２１ｃが存在する場合には、監視対象２１ａ〜２１ｃの動画像が取得される。
本例では、監視対象２１ａ〜２１ｃとしては、画像監視システムにより監視モニタリングすべき主体であり、監視エリア内を移動する人物である。
ネットワーク２は、一般的に使用されている伝送インフラであり、本例では、伝送容量が８Ｍｂｐｓであるローカルネットワークである。

ＰＣ３は、ＷＥＢアクセスが可能な一般的なパーソナルコンピュータである。
映像表示処理部１１は、各監視カメラ１−１、１−２、１−３から配信された監視映像の圧縮データをネットワーク２を介して受信し、受信した圧縮データに対して圧縮復号化処理を行ってベースバンドの監視映像を取得し、この監視映像をＰＣ３のディスプレイ画面に表示する。

画像認識処理部１２は、映像表示処理部１１により取得された各監視カメラ１−１、１−２、１−３からの監視映像に対して画像認識処理を行う。本例の画像認識処理では、監視対象２１ａ〜２１ｃの特徴・状態などを認識する。具体例としては、各監視カメラ１−１、１−２、１−３毎に、撮影された画像に映っている監視対象２１ａ〜２１ｃの大きさを認識することや、撮影された画像に映っている監視対象２１ａ〜２１ｃの向き（例えば、「正面からみた顔」、「側面からみた顔」など）を認識することや、或いは、撮影された画像中には監視対象２１ａ〜２１ｃが映っていないこと（「監視対象なし」といった撮影状態）を認識することなどを行い、この認識結果の情報をメモリに記憶する。

重要度判定処理部１３は、画像認識処理部１２により認識した各監視カメラ１−１、１−２、１−３からの監視映像における特徴・状態（認識結果の情報）に基づいて、各監視カメラ１−１、１−２、１−３の重要度を判定して決定する。
本例では、監視対象２１ａ〜２１ｃの人物像を特定することができる画像ほど重要度が高いとする。具体例としては、画像中における監視対象２１ａ〜２１ｃの大きさが大きい方が高い重要度と判定することや、「正面からみた顔」などを認識した場合には高い重要度と判定することや、逆に、「監視対象なし」という情報を認識した場合には最も低い重要度と判定することなどを行う。

ビットレート配分処理部１４は、重要度判定処理部１３により判定された重要度に従って、各監視カメラ１−１、１−２、１−３で許容されるビットレートを配分する。そして、ビットレート配分処理部１４は、各監視カメラ１−１、１−２、１−３に対して、ビットレートの配分結果を指示するために、ビットレートの再設定指示（パラメータの設定指示）をネットワーク２を介して各監視カメラ１−１、１−２、１−３に対して出力する。

ここで、画像認識処理部１２、重要度判定処理部１３、ビットレート配分処理部１４により行われる処理について詳しく説明する。
画像認識処理部１２により画像中の監視対象２１ａ〜２１ｃに関して認識する内容（認識対象）としては、種々なものが用いられてもよく、例えば、監視対象の大きさ（例えば、面積）、向き、速度（例えば、所定時間における移動距離）、縦幅（縦方向の長さ）、横幅（横方向の長さ）、明るさ（例えば、輝度）などを用いることができる。また、監視対象の環境（例えば、明るさなど）ばかりでなく、画面の環境（例えば、明るさなど）の変化を用いることも可能である。
なお、本例では、監視対象２１ａ〜２１ｃとして、人（人物）を検出するが、他の構成例として、人以外の物体や、或いは、人を含む全ての物体、などを監視対象としてもよい。

ここで、画像中から人（人の特徴を有する画像部分）を検出する手法や、画像中から特定の物体（特定の物体の特徴を有する画像部分）を検出する手法としては、例えば、一般的な技術を利用することができ、本例では詳しい説明を省略する。
また、画像中の人（或いは、他の物体）が向いている向きを検出する手法としては、例えば、一般的な技術を利用することができ、本例では詳しい説明を省略する。一例として、人の目が２つ映っている場合にはその人は監視カメラ１−１、１−２、１−３に対して正面を向いていると判定することができ、人の目が１つ映っている場合にはその人は監視カメラ１−１、１−２、１−３に対して側面を向いていると判定することができ、人の目が０つ映っている場合にはその人は監視カメラ１−１、１−２、１−３に対して裏面を向いていると判定することができる。

重要度判定処理部１３は、画像認識処理部１２により得られた監視対象２１ａ〜２１ｃに関する１つ以上の認識対象の認識結果（認識度）に基づいて、監視カメラ１−１、１−２、１−３の重要度を決定する。
一例として、１つの認識対象の認識結果に基づいて重要度を決定する場合には、大きさについては大きい方が重要度が高く、向きについては正面に向いている方が重要度が高く、速度については速い方が重要度が高く、縦幅或いは横幅については長い方が重要度が高く、明るさについては明るい方が重要度が高い、といった条件に基づいて、各監視カメラ１−１、１−２、１−３の重要度を決定することができる。なお、例えば、大きさについては小さい方が重要度が高い、などというように、前記とは重要度の高低が逆になるような条件を用いることも可能である。

この場合に、大きさ、向き、速度、縦幅、横幅、明るさのそれぞれの認識結果に対して予め定められた条件により点数を付けて、各監視カメラ１−１、１−２、１−３に与えられた点数を重要度として決定することもできる。このような点数を付ける条件としては、例えば、大きさなどについて得られた値そのものを点数とする態様や、或いは、１つ以上の閾値（２つ以上の範囲）と点数との対応関係をメモリに記憶しておいて、大きさなどについて得られた値が属する範囲に対応した点数とする態様などを用いることができる。

他の例として、２つ以上の認識対象の認識結果に基づいて重要度を決定することもできる。具体例としては、監視対象２１ａ〜２１ｃの大きさと向き（或いは、更に他の認識対象）の認識結果に基づいて重要度を決定するようなことができる。
この場合、例えば、各監視カメラ１−１、１−２、１−３毎に映された監視対象２１ａ〜２１ｃに関して、それぞれの認識対象（大きさや向きなど）について点数を付け、考慮する全ての認識対象についての点数を合計した値（合計点）を重要度とすることができる。なお、点数の付け方としては、例えば、上記と同様な手法を用いることが可能である。

また、上記のようにして決定された各監視カメラ１−１、１−２、１−３の重要度は、そのままの値で用いられてもよく、或いは、全ての監視カメラ１−１、１−２、１−３に与えられた重要度の合計値で各監視カメラ１−１、１−２、１−３の重要度を割った結果の値が各監視カメラ１−１、１−２、１−３の（最終的に決定される）重要度として用いられてもよい（つまり、正規化されてもよい）。
また、例えば、点数の重要度を複数の段階の重要度として決定することもでき、一例として、８段階の重要度を決定する場合には、７個の閾値（８つの範囲）を設けて、与えられた点数が属する範囲に対応する段階の重要度とする。

ビットレート配分処理部１４は、各監視カメラ１−１、１−２、１−３に決定された重要度（例えば、点数や段階など）に基づいて、各監視カメラ１−１、１−２、１−３に対してビットレートを割り当てて通知する。
一例として、重要度の値からビットレートを算出する数式を予めメモリに記憶しておいて、各監視カメラ１−１、１−２、１−３の重要度の値から当該数式を用いてビットレートを算出することができる。この場合に、例えば、インフラの伝送容量（本例では、ネットワーク２の最大容量）を超えないようにするために、各監視カメラ１−１、１−２、１−３に決定されたビットレートを所定の値で割った結果の値を最終的なビットレートとすることも可能である。

或いは、各監視カメラ１−１、１−２、１−３の重要度の大きさの割合に応じて、インフラの伝送容量（最大のビットレート）を各監視カメラ１−１、１−２、１−３に分配するように、ビットレートを決定することもできる。
また、決定されたビットレートが小数点以下の細かい数値となってしまうような場合に、所定の位で四捨五入することや、所定の位で切り上げ又は切り捨てすることが行われてもよい。

他の例として、予め、重要度の大きさの順位（第１位、第２位、第３位、・・・）とビットレートとの対応関係をメモリに記憶しておいて、各監視カメラ１−１、１−２、１−３に決定された重要度の大きさの順位に従ってビットレートを割り当てることができる。なお、２つ以上の監視カメラの重要度の大きさが同一である場合には、例えば、任意の優先度の条件に従って順位を付けることや、或いは、これら２つ以上の監視カメラに同一のビットレートを割り当てることなどができる。

ＰＣ３（本例では、ビットレート配分処理部１４）は、各監視カメラ１−１、１−２、１−３に対して、割り当てたビットレートを送信に使用するように指示する。この場合に、各監視カメラ１−１、１−２、１−３に対してビットレートを指示するタイミング（ビットレートを制御するタイミング）としては、種々なタイミングが用いられてもよく、例えば、１秒単位などの周期的なタイミングが用いられてもよく、或いは、ＰＣ３の操作者（人）により指示されたタイミングや、或いは、１つ以上の監視カメラ１−１、１−２、１−３の重要度又はビットレートが変化したときのタイミングや、或いは、１つ以上の監視カメラ１−１、１−２、１−３の重要度又はビットレートが所定の閾値以上に（又は、所定の閾値を超えて）変化したときのタイミングなどを用いることができる。

なお、画像認識処理部１２における監視対象（人や物体など）や、画像認識処理部１２における認識対象（大きさや向きなど）や、重要度判定処理部１３により重要度を判定する手法や、ビットレート配分処理部１４によりビットレートを配分する手法としては、それぞれ、使用状況などに応じて、任意に切り替えられてもよい。

次に、本例の画像監視システムにおいて行われる監視映像配信及びモニタリングの動作の具体例を示す。
各監視カメラ１−１、１−２、１−３は、それぞれが設置された撮影エリアを撮影する。各監視カメラ１−１、１−２、１−３は、撮影した画像データを圧縮符号化処理して、ネットワーク２を介してＰＣ３へ配信する。
初期の時点では、各監視カメラ１−１、１−２、１−３の圧縮符号化処理におけるビットレートの初期設定値として、インフラの伝送容量（本例では、８Ｍｂｐｓ）を等配分した約２．６Ｍｂｐｓを設定する。
各監視カメラ１−１、１−２、１−３から監視映像の圧縮データを受信したＰＣ３は、映像表示処理部１１により各監視カメラ１−１、１−２、１−３の監視映像をディスプレイ画面に表示する。

まず、図１において、監視対象２１ａが位置Ａに移動したときの動作について説明する。
図２（ａ）、（ｂ）、（ｃ）には、監視対象２１ａが位置Ａに移動したときについて、（ａ）監視カメラ１−１により撮影された映像のイメージを示してあり、（ｂ）監視カメラ１−２により撮影された映像のイメージを示してあり、（ｃ）監視カメラ１−３により撮影された映像のイメージを示してある。
この場合、監視カメラ１−１は監視対象２１ａの正面から撮影することになり、監視カメラ１−２は監視対象２１ａの側面から撮影することになる。また、監視カメラ１−３は、監視対象２１ａまでの距離が他の監視カメラ１−１、１−２よりも遠い位置にあり、更に監視対象２１ａの斜め前方から撮影することになる。

各監視カメラ１−１、１−２、１−３により撮影された映像は、ネットワーク２を介してＰＣ３へ配信される。
ＰＣ３では、映像表示処理部１１により各映像をディスプレイ画面に表示し、画像認識処理部１２により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部１３へ送られる。
重要度判定処理部１３は、各映像の特徴に対して、所定の重要度判定処理により、監視対象２１ａの人物を特定し易い画像ほど重要度が高くなるような判定を行う。

本例では、重要度を８段階で判定する。
監視カメラ１−１により撮影された図２（ａ）の映像は、監視対象２１ａの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であることから、重要度が高く、例えば「重要度５」であると判定する。
監視カメラ１−２により撮影された図２（ｂ）の映像は、監視対象２１ａの側面から撮影していて、人物像を部分的に把握できる程度の画像であることから、重要度は高くないが、人物特定の情報を含んでいるため、例えば「重要度２」であると判定する。
監視カメラ１−３により撮影された図２（ｃ）の映像は、監視対象２１ａが小さく辛うじて撮影している程度であり、人物像を見極めるには情報が少ないため、重要度は非常に低く、例えば「重要度１」であると判定する。
なお、本例では、全ての監視カメラ１−１、１−２、１−３の重要度の合計値が８（他の例として、８以下）となるようにしている。

各監視カメラ１−１、１−２、１−３の重要度はビットレート配分処理部１４に通知されて、ビットレート配分処理部１４により各監視カメラ１−１、１−２、１−３のビットレートの設定値が再調整される。
本例では、（式１）を用いて、ビットレートの再調整を行う。
すると、監視カメラ１−１のビットレートの設定値は５Ｍｂｐｓとなり、監視カメラ１−２のビットレートの設定値は２Ｍｂｐｓとなり、監視カメラ１−３のビットレートの設定値は１Ｍｂｐｓとなる。
図３には、各監視カメラ１−１、１−２、１−３に設定されるビットレートの一例を示してある。

（数１）
ビットレート設定［ｂｐｓ］
＝インフラの伝送容量（本例では、８Ｍｂｐｓ）×重要度／８
・・（式１）

次いで、図１において、監視対象２１ｂが位置Ｂに移動したときの動作について説明する。
図４（ａ）、（ｂ）、（ｃ）には、監視対象２１ｂが位置Ｂに移動したときについて、（ａ）監視カメラ１−１により撮影された映像のイメージを示してあり、（ｂ）監視カメラ１−２により撮影された映像のイメージを示してあり、（ｃ）監視カメラ１−３により撮影された映像のイメージを示してある。
この場合、監視カメラ１−１は監視対象２１ｂを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ１−２は監視対象２１ｂの正面から撮影することになり、監視カメラ１−３は監視対象２１ｂを画角内に捉えておらず映像には何も撮影されていない。

各監視カメラ１−１、１−２、１−３により撮影された映像は、ネットワーク２を介してＰＣ３へ配信される。
ＰＣ３では、映像表示処理部１１により各映像をディスプレイ画面に表示し、画像認識処理部１２により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部１３へ送られる。
重要度判定処理部１３は、各映像の特徴に対して、所定の重要度判定処理により、監視対象２１ｂの人物を特定し易い画像ほど重要度が高くなるような判定を行う。

本例では、重要度を８段階で判定する。
監視カメラ１−１により撮影された図４（ａ）の映像は、監視対象２１ｂを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度１」であると判定する。
監視カメラ１−２により撮影された図４（ｂ）の映像は、監視対象２１ｂの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であるため、重要度が高く、例えば「重要度６」であると判定する。
監視カメラ１−３により撮影された図４（ｃ）の映像は、監視対象２１ｂを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度１」であると判定する。

各監視カメラ１−１、１−２、１−３の重要度はビットレート配分処理部１４に通知されて、ビットレート配分処理部１４により各監視カメラ１−１、１−２、１−３のビットレートの設定値が再調整される。
本例では、（式１）を用いて、ビットレートの再調整を行う。
すると、監視カメラ１−１のビットレートの設定値は１Ｍｂｐｓとなり、監視カメラ１−２のビットレートの設定値は６Ｍｂｐｓとなり、監視カメラ１−３のビットレートの設定値は１Ｍｂｐｓとなる。
図５には、各監視カメラ１−１、１−２、１−３に設定されるビットレートの一例を示してある。

次いで、図１において、監視対象２１ｃが位置Ｃに移動したときの動作について説明する。
図６（ａ）、（ｂ）、（ｃ）には、監視対象２１ｃが位置Ｃに移動したときについて、（ａ）監視カメラ１−１により撮影された映像のイメージを示してあり、（ｂ）監視カメラ１−２により撮影された映像のイメージを示してあり、（ｃ）監視カメラ１−３により撮影された映像のイメージを示してある。
この場合、監視カメラ１−１は監視対象２１ｃを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ１−２は監視対象２１ｃを画角内に捉えておらず映像には何も撮影されておらず、監視カメラ１−３は監視対象２１ｃの正面から撮影することになる。

各監視カメラ１−１、１−２、１−３により撮影された映像は、ネットワーク２を介してＰＣ３へ配信される。
ＰＣ３では、映像表示処理部１１により各映像をディスプレイ画面に表示し、画像認識処理部１２により各映像の特徴を抽出する。抽出された特徴の情報は、重要度判定処理部１３へ送られる。
重要度判定処理部１３は、各映像の特徴に対して、所定の重要度判定処理により、監視対象２１ｃの人物を特定し易い画像ほど重要度が高くなるような判定を行う。

本例では、重要度を８段階で判定する。
監視カメラ１−１により撮影された図６（ａ）の映像は、監視対象２１ｃを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度１」であると判定する。
監視カメラ１−２により撮影された図６（ｂ）の映像は、監視対象２１ｃを捉えていないことから、人物像を特定する情報を持っていない画像であり、重要性が低いため、例えば「重要度１」であると判定する。
監視カメラ１−３により撮影された図６（ｃ）の映像は、監視対象２１ｃの正面から撮影していて、顔や体格が分かり易く、人物像を特定し易い画像であるため、重要度が高く、例えば「重要度６」であると判定する。

各監視カメラ１−１、１−２、１−３の重要度はビットレート配分処理部１４に通知されて、ビットレート配分処理部１４により各監視カメラ１−１、１−２、１−３のビットレートの設定値が再調整される。
本例では、（式１）を用いて、ビットレートの再調整を行う。
すると、監視カメラ１−１のビットレートの設定値は１Ｍｂｐｓとなり、監視カメラ１−２のビットレートの設定値は１Ｍｂｐｓとなり、監視カメラ１−３のビットレートの設定値は６Ｍｂｐｓとなる。
図７には、各監視カメラ１−１、１−２、１−３に設定されるビットレートの一例を示してある。

このように、本例では、監視映像の重要性に着目し、重要度が高い映像（監視カメラ）に対して高いビットレートを割り当てることで、例えば、伝送インフラのパフォーマンスを最大限に利用しつつ、監視対象２１ａ〜２１ｃを高画質で撮影することが可能となる。更に、重要度の判定及びビットレートの割り当てを動的に実行することにより、監視対象２１ａ〜２１ｃや環境の変化に追従しながら最適な監視映像を得ることができ、効率的な監視システムを実現することができる。
なお、ビットレートが高い方が、画像圧縮している場合には圧縮劣化（例えば、ブロックノイズ）が小さくなり、画像圧縮していない場合には解像度が高くなるといったように、見易い映像（画像）を得ることができる。

ここで、本例では、映像表示処理部１１や、画像認識処理部１２や、重要度判定処理部１３や、ビットレート配分処理部１４の機能をＰＣ３に内蔵したが、他の構成例として、各処理部の機能を監視カメラ１−１、１−２、１−３などの他の機器に内蔵してもよく、或いは、専用機器として構成してもよい。

以上のように、本例では、監視対象２１ａ〜２１ｂを撮影する複数台の監視カメラ１−１、１−２、１−３により得られた映像を送信し、受信機（本例では、ＰＣ３）が受信した映像を表示装置に映し出すことで、監視対象２１ａ〜２１ｃを遠隔監視する画像監視システムにおいて、各監視カメラ１−１、１−２、１−３からの監視映像の特徴を抽出して、抽出した特徴に応じて各監視カメラ１−１、１−２、１−３のビットレートを調整する。

また、本例では、監視映像の特徴に対して重要度を定めて、監視映像として重要性が高い映像を配信する監視カメラ１−１、１−２、１−３に対して高いビットレートを設定する。
また、本例では、監視映像の変化に追従して、動的に監視映像の重要性の判定を行い、自動的にビットレートを再設定する。
また、本例では、伝送インフラが許容するビットレートの最大値を超えないように、各監視カメラ１−１、１−２、１−３のビットレートを割り振る。

従って、本例では、監視対象２１ａ〜２１ｃを常時モニタリングするに際して、複数台の監視カメラ１−１、１−２、１−３により撮影された映像（画像）に対して画像認識処理を行って、各監視カメラ１−１、１−２、１−３における撮影の重要度を常に更新し、この重要度に応じて各監視カメラ１−１、１−２、１−３のビットレートを自動的に再設定することにより、例えば、監視機器や伝送インフラのパフォーマンスを（例えば、最大限に）活かしつつ、監視対象２１ａ〜２１ｃの変化に追従しながら最適な監視画像を得ることが可能となる。

なお、本例の画像監視システム（画像処理システムの一例）では、複数の監視カメラ１−１、１−２、１−３の機能により複数の画像送信手段が構成されており、ネットワーク２により伝送媒体が構成されており、ＰＣ３が各監視カメラ１−１、１−２、１−３からの画像をネットワーク２を介して受信する機能により画像受信手段が構成されており、画像認識処理部１２（画像認識手段）や重要度判定処理部１３（重要度判定手段）やビットレート配分処理部１４（送信レート決定手段）の機能により送信レート制御手段が構成されており、ＰＣ３のビットレート配分処理部１４が各監視カメラ１−１、１−２、１−３に対して送信レートを指示する機能により送信レート指示手段が構成されている。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る画像監視システムの構成例を示す図である。 （ａ）〜（ｃ）は監視対象が位置Ａにいるときにおける各監視カメラの監視映像の一例を示す図である。 監視対象が位置Ａにいるときにおける各監視カメラのビットレートの一例を示す図である。 （ａ）〜（ｃ）は監視対象が位置Ｂにいるときにおける各監視カメラの監視映像の一例を示す図である。 監視対象が位置Ｂにいるときにおける各監視カメラのビットレートの一例を示す図である。 （ａ）〜（ｃ）は監視対象が位置Ｃにいるときにおける各監視カメラの監視映像の一例を示す図である。 監視対象が位置Ｃにいるときにおける各監視カメラのビットレートの一例を示す図である。

符号の説明

１−１、１−２、１−３・・監視カメラ、 ２・・ネットワーク、 ３・・ＰＣ、 １１・・映像表示処理部、 １２・・画像認識処理部、 １３・・重要度判定処理部、 １４・・ビットレート配分処理部、 ２１ａ、２１ａ、２１ｂ・・監視対象、

Claims (3)

1. 複数の画像送信手段から送信される画像を処理する画像処理システムにおいて、
   前記複数の画像送信手段から伝送媒体を介して送信された画像を受信する画像受信手段と、
   前記画像受信手段により受信された各画像送信手段からの画像に基づいて、各画像送信手段に割り当てる送信レートを決定する送信レート制御手段と、
   前記送信レート制御手段により決定された送信レートが各画像送信手段により使用されるように各画像送信手段に対して送信レートを指示する送信レート指示手段と、
   を備えたことを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記送信レート制御手段は、各画像送信手段からの画像について画像に映る対象の大きさを含む１つ以上の認識対象を認識する画像認識手段と、前記画像認識手段により認識対象が認識された結果に基づいて各画像送信手段からの画像について重要度を判定する重要度判定手段と、前記重要度判定手段により判定された重要度に基づいて各画像送信手段に割り当てる送信レートを決定する送信レート決定手段と、を有しており、
   前記重要度判定手段は、対象の大きさについては、大きい方の重要度を高め、
   前記送信レート決定手段は、重要度が高い方の送信レートを大きくする、
   ことを特徴とする画像処理システム。
3. 請求項１又は請求項２に記載の画像処理システムにおいて、
   前記送信レート制御手段は、各画像送信手段からの画像について画像に映る対象の向きを含む１つ以上の認識対象を認識する画像認識手段と、前記画像認識手段により認識対象が認識された結果に基づいて各画像送信手段からの画像について重要度を判定する重要度判定手段と、前記重要度判定手段により判定された重要度に基づいて各画像送信手段に割り当てる送信レートを決定する送信レート決定手段と、を有しており、
   前記重要度判定手段は、対象の向きについては、正面を向いている方の重要度を高め、
   前記送信レート決定手段は、重要度が高い方の送信レートを大きくする、
   ことを特徴とする画像処理システム。

Images