JP4384607B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像装置により得られた画像を圧縮符号化して配信する画像処理装置に関し、特に、圧縮符号化処理などを効果的に行う画像処理装置に関する。

近年、カメラのメガピクセル化が進んでいる。例えば、監視カメラで撮影した映像を伝送回線（ネットワーク）により送信装置から受信装置（クライアント側）に伝送して遠隔監視するネットワーク型の監視システムにおいても、高精細化、高画質化のニーズがある。従って、今後、監視システムはメガピクセル化へ移行していくことが想定される。ここで、例えば、メガピクセル画像として代表的なものにＳＸＧＡ（Super eXtended Graphics Array）と呼ばれるメガピクセル画像がある。このＳＸＧＡの画素数は１２８０×１０２４であり、監視システムで一般的に用いられているＶＧＡ（Video Graphics Array）の画素数６４０×４８０の約４倍の高精細さを持つ。しかし、（１）クライアント側において監視映像を表示するディスプレイはＸＧＡ（eXtended Graphics Array）と呼ばれる画素数１０２４×７６８のディスプレイが主流である、及び、（２）監視システムにおいてはクライアント側からカメラ側に対して行う制御（例えば、雲台の制御など）が必要になるため、ディスプレイ表示画面には常に監視映像と制御画面（メニュー欄など）を同時に表示することが要求される、以上のこと等から、ディスプレイに本来の高精細さを保ったままメガピクセル画像の全画面を表示することは困難である。

そこで、本来の高精細さを保ったメガピクセル画像の一部分の映像を切り出し、ディスプレイに拡大表示する機能、いわゆる電子パンチルトズーム（ＰＴＺ）機能は監視システムにおいて重要となる。

なお、従来、画像上の必要な部分のみのデータを切り出して圧縮し、伝送／記録を効率化する画像伝送装置が検討されている（例えば、特許文献１参照）。
特開平８−１０６５３６号公報

しかしながら、従来の画像の一部分を切り出して遠隔地の複数のクライアントに対して伝送するようなシステムにおいては、送信側の処理負荷の低減等を考慮したシステムが存在しないという問題があった。

本発明は、このような従来の事情に鑑み為されたもので、撮像装置により得られた画像を圧縮符号化して配信するに際して、圧縮符号化処理などを効果的に行う画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、画像を複数のエリアに分割する画像分割手段と、該画像分割手段により分割されたエリア毎に前記画像を圧縮符号化する画像圧縮符号化手段と、ネットワークを介してクライアントからの画像送信要求を受信する画像送信要求受信手段と、前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択する送信画像エリア選択手段と、該送信画像エリア選択手段により選択されたエリアに対応する圧縮符号化画像を前記クライアントに対して送信する選択エリア画像送信手段とを備えた。

ここで、画像としては、例えば、動画像や、静止画像や、準動画像など、種々なものが用いられても良い。また、画像を複数のエリアに分割する態様としては、種々なものが用いられても良い。

また、上記目的を達成するため、本発明に係る画像処理装置において、前記画像分割手段は、各エリアが他のエリアと重なりを持つように画像を分割する。
また、上記目的を達成するため、本発明に係る画像処理装置において、前記選択エリア画像送信手段は、より多くのクライアントからの画像送信要求の対象となっているエリアに対応する圧縮符号化画像を優先的に送信する。

また、上記目的を達成するため、本発明に係る画像処理装置において、前記選択エリア画像送信手段は、優先度の高いクライアントへ送信する圧縮符号化画像を優先度の低いクライアントへ送信する圧縮符号化画像より先に送信する。

また、上記目的を達成するため、本発明に係る画像処理装置において、前記画像圧縮符号化手段は、各エリアの画像を圧縮符号化するための複数のプロセッサから構成されており、同じエリアの画像の圧縮符号化を毎回同じプロセッサが行うようにはしないことにより、各プロセッサの処理負荷を平均化する。

以上説明したように、本発明に係る画像処理装置によると、画像分割手段により分割されたエリア毎に画像を圧縮符号化するようにしたため、撮像装置により得られた画像を圧縮符号化して配信するに際して、圧縮符号化処理などを効果的に行うことができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１には、本発明の一実施例に係るＷｅｂエンコーダ（画像処理装置）１の構成例を示してある。

本実施例のＷｅｂエンコーダ１は、Ａ／Ｄ変換部１０と、メモリ書き込み制御部１１と、メモリ１２と、画像分割制御部１３と、圧縮処理部１４−１と、圧縮処理部１４−１６（圧縮処理部を総称する場合は１４で代表するものとする）と、圧縮データメモリ１５−１と、圧縮データメモリ１５−１６（圧縮データメモリを総称する場合は１５で代表するものとする）と、要求エリア映像圧縮データ読み出し部１６と、ネットワーク配信部１７とを備えて構成されており、Ｗｅｂエンコーダ１はネットワーク網１８と接続されている。

次に、図１に示される本実施例のＷｅｂエンコーダ１により行われる処理の一例を示す。
Ａ／Ｄ変換部１０は、カメラ（不図示）から入力されるアナログ映像信号１００をＡ／Ｄ変換して得られたデジタル映像信号１０１、Ｈｓｙｎｃ信号（水平同期信号）１０２、及び、Ｖｓｙｎｃ（垂直同期信号）信号１０３と、デジタル映像信号１０１に同期したクロック信号１０４をメモリ書き込み制御部１１に出力する。

メモリ書き込み制御部１１は、デジタル映像信号１０１と、Ｈｓｙｎｃ信号１０２と、Ｖｓｙｎｃ信号１０３と、クロック信号１０４を受信し、デジタル映像信号１０１内のアクティブ映像信号１１１を抽出する。ここで、ＮＴＳＣ信号の場合、１フレームに５２５ライン分の映像信号が存在し、アクティブ映像信号とは、１フレーム分の映像信号の５２５ラインに存在するブランキング領域等を除いた４８０ライン分の信号のことを言う。また、メモリ書き込み制御部１１は、アクティブ映像信号１１１の位置を示す信号を生成し、アクティブ映像信号１１１とアクティブ映像信号１１１の書き込み信号１１２とクロック信号１１３をメモリ１２へ出力する。また、メモリ書き込み制御部１１は、メモリ１２に１フレームのアクティブ映像信号１１１の書き込みが終了したことを示す書き込み終了信号１１４を画像分割制御部１３へ出力する。

画像分割制御部１３は、書き込み終了信号１１４を受信すると、メモリ１２に格納された１フレームのアクティブ映像の読み出し信号１３１を生成してメモリ１２へ出力し、メモリ１２から１フレームのアクティブ映像データ１２１を読み出し、読み出した映像データ１２１を均等に分割して複数のエリア映像データとする。そして、画像分割制御部１３は、分割した各エリア映像データと、映像情報をそれぞれ圧縮処理部１４へ出力する。なお、映像情報とは、圧縮処理部１４へ出力するエリア映像の画像サイズなどの圧縮に必要な情報のことを言う。ここで、本実施例では、画像分割制御部１３は、アクティブ映像を均等に１６分割し、分割したそれぞれのエリア映像データを各圧縮処理部１４へ出力する。この場合、圧縮処理部１４は分割数である１６個必要になる（圧縮処理部１４−１〜１４−１６）。なお、以下では、説明の簡単化のため、１つ目のエリア映像データと、１６つ目のエリア映像データについてを代表して説明し、他のエリア映像データについては説明を省略する。

即ち、画像分割制御部１３は、１つ目のエリア映像データ１３３−１と、映像情報１３４−１を圧縮処理部１４−１へ出力し、１６つ目のエリア映像データ１３３−１６と、映像情報１３４−１６を圧縮処理部１４−１６へ出力する。

圧縮処理部１４−１は、画像分割制御部１３からエリア映像データ１３３−１と、映像情報１３４−１を受信し、受信したエリア映像データ１３３−１の圧縮符号化処理を行い、圧縮データ１４１−１と、書き込み信号１４２−１を圧縮データメモリ１５−１へ出力する。また、圧縮処理部１４−１は、圧縮データメモリ１５−１に１エリア分の圧縮データの書き込みが終了したことを示す書き込み終了信号１４３−１を要求エリア映像圧縮データ読み出し部１６へ出力する。

同様に、圧縮処理部１４−１６は、画像分割制御部１３からエリア映像データ１３３−１６と、映像情報１３４−１６を受信し、受信したエリア映像データ１３３−１６の圧縮符号化処理を行い、圧縮データ１４１−１６と、書き込み信号１４２−１６を圧縮データメモリ１５−１６へ出力する。また、圧縮処理部１４−１６は、圧縮データメモリ１５−１６に１エリア分の圧縮データの書き込みが終了したことを示す書き込み終了信号１４３−１６を要求エリア映像圧縮データ読み出し部１６へ出力する。

圧縮データメモリ１５は、圧縮処理部１４から得たエリア映像の圧縮データを格納する。この場合、圧縮データメモリ１５は分割数である１６個必要になる。
ネットワーク配信部１７は、ネットワーク網１８を介してクライアントから要求映像情報１８１を受信し、要求エリア映像圧縮データ読み出し部１６に要求映像情報１７１を出力する。なお、要求映像情報とは、映像の１画面のうち、クライアントが配信を要求する映像のエリアに関する情報のことを言い、例えば、クライアントは配信を要求する映像のエリアに変更がある度に新たな要求映像情報をネットワーク網を介してＷｅｂエンコーダ１に送信する。

要求エリア映像圧縮データ読み出し部１６は、ネットワーク配信部１７から受信したクライアントの要求映像情報１７１に基づいて、クライアントの要求した映像を構成するために、上記の通り１６分割した映像のエリア圧縮データを圧縮データメモリ１５−１〜１５−１６から選択的に読み出し、エリア圧縮データ１６３をネットワーク配信部１７へ出力する。例えば、要求エリア映像圧縮データ読み出し部１６は、読み出し信号１６１と読み出し信号１６２をそれぞれ圧縮データメモリ１５−１と圧縮データメモリ１５−１６に出力し、圧縮データメモリ１５−１と圧縮データメモリ１５−１６から圧縮データ１５１と圧縮データ１５２を読み出し、エリア圧縮データ１６３をネットワーク配信部１７へ出力する。

ネットワーク配信部１７は、要求エリア映像圧縮データ読み出し部１６から受信したエリア圧縮データ１６３にネットワークプロトコルを付加してネットワーク配信データ１７２を生成し、ネットワーク網１８へ配信する。

このように、本実施例のＷｅｂエンコーダ１では、複数のクライアントが要求したエリア映像において、重複した映像のエリアが存在しても、映像を均等に１６分割して圧縮符号化処理を行い、エリア映像の圧縮データを圧縮データメモリ１５に格納し、要求映像を構成する１６分割したエリア映像の圧縮データを選択してクライアントに配信するのみであり、重複したエリア映像の圧縮処理は一度で済むため、Ｗｅｂエンコーダ１の圧縮符号化処理の負荷が軽減する。

なお、本実施例における圧縮符号化方式は、ＭＰＥＧ−４やＪＰＥＧ、また、可逆符号化、不可逆符号化など種類を問わない。また、本実施例では、Ｗｅｂエンコーダ１からクライアントへエリア圧縮データの配信を行う構成を示したが、他の構成例として、映像蓄積配信サーバを介してクライアントにエリア圧縮データを配信するような構成が用いられても良い。また、映像の分割数の１６は一例であり、分割数は実際のシステムの設定状況に応じて任意に設定すれば良い。

次に、アクティブ映像とクライアントの要求した映像の関係を図２を用いて説明する。
図２に示すように、本実施例の映像配信システムは、Ｗｅｂエンコーダ１と、クライアントＡ２−１、クライアントＢ２−２、及び、クライアントＣ２−３とをネットワーク網１８により接続して構成されており、ここでは、アクティブ映像２−４のうち、クライアントＡの要求した映像のエリアを映像２−５、クライアントＢの要求した映像のエリアを映像２−６、クライアントＣの要求した映像のエリアを映像２−７とする。

図２に示す映像配信システムにおいて、Ｗｅｂエンコーダ１は、例えば、１フレームのアクティブ映像を均等に１６分割し、分割したエリア映像をそれぞれ圧縮する。そして、各クライアントが要求する映像を構成する１６分割したエリア映像の圧縮データを選択し、各クライアントに送信する。

具体的には、図２に示すように、クライアントＡ２−１の要求した映像２−５を構成するエリアは、エリア２、３、４、６、７、８、１０、１１、１２である。また、クライアントＢ２−２の要求した映像２−６を構成するエリアは、エリア６、７、８、１０、１１、１２、１４、１５、１６である。また、クライアントＣ２−３の要求した映像２−７を構成するエリアは、エリア９、１０、１１、１３、１４、１５である。このように、クライアントＡ、Ｂ、Ｃからの要求では重複した映像が存在するが、重複した映像を構成するエリア映像の圧縮符号化処理は一度で済み、以後の処理は１６分割した映像の圧縮データを選択してクライアントに送信するだけであり、重複したエリア映像に対して圧縮符号化処理を重複して行うような必要はない。

従って、本実施例のＷｅｂエンコーダ１では、１フレームのアクティブ映像を複数のエリアに均等に分割し、各エリアの映像を各圧縮処理部１４で圧縮し、各エリアの圧縮データを対応したメモリに書き込み、クライアントが要求した映像を構成するエリア圧縮データを選択し、メモリから読み出し、エリア圧縮データをクライアントに送信し、クライアント側において、受信したエリア圧縮データを伸張し、伸張したエリアの映像を組み合せ、クライアントが要求した映像を再生することにより、特に複数のクライアントが要求した映像において、重複した映像が存在した場合でも、映像の圧縮処理は重複せず、効率の良い圧縮処理が可能になる。

なお、クライアントに各エリアの圧縮データを送信する順序は、どのエリアの圧縮データからでも構わない。例えば、クライアント毎に優先順位を付け、優先順位が高いクライアントへ送信するエリア圧縮データを先に送り、優先順位が低いクライアントへ送信するエリア圧縮データを後から送信することも可能である。この優先順位の付け方はシステムが要求する内容により種々なものを用いることが可能である。例えば、リアルタイム性を重視するクライアントであれば、優先順位を高くすることで、Ｗｅｂエンコーダ１で映像を取り込んでから、クライアントで表示するまでの遅延時間が短くなる。また、選択したエリアの個数が少ないクライアントほど優先順位を高くすれば、１台目のクライアントへの送信した後、２台目のクライアントへ送信を開始するまでの時間が短くて済む。

更に、他の構成例として、エリア毎に何クライアントからそのエリアが選択されているかの統計をとり、もっとも多くのクライアントから選択されているエリアを優先的に送信するような構成を用いることも可能である。この場合、クライアント全体のエリア圧縮データの受信開始が早くなり、システム全体のパフォーマンス向上に繋がる。例えば、図２に示すクライアントＡ２−１、Ｂ２−２、Ｃ２−３から映像要求があった場合、各エリアの選択数は、エリア１０、１１が３つのクライアントから選択され、もっとも選択数が多い。そこで、エリア１０、１１の優先順位をもっとも高くする。次に優先順位が高くなるのは２つのクライアントから選択されているエリア６、７、８、１２、１４、１５であり、その次は１つのクライアントから選択されているエリア２、３、４、９、１３、１６となる。

次に、本実施例のＷｅｂエンコーダ１における圧縮符号化処理の負荷について具体例を挙げて説明する。例えば、入力画像の画像サイズを１０２４×９６０、接続クライアント数をｎ台、ＶＧＡ（画像サイズ：６４０×４８０）の圧縮処理能力を１と仮定する。なお、入力画像の画像サイズは、ＶＧＡの画像サイズの４倍である。ここで、入力画像は、均等に１６分割する。１分割の画像サイズは３２０×２４０となる。従って、分割した１つのエリアに対する圧縮処理部１４の圧縮処理能力は１／４で済む。圧縮処理部１４が１６個あるため、Ｗｅｂエンコーダ１の圧縮処理能力は１／４の１６倍、即ち４となる。ここで、接続クライアント数が５０台になっても、Ｗｅｂエンコーダ１の圧縮処理能力は４のままとなり、クライアント数に依存しない。

なお、本実施例では、アクティブ映像を均等に１６分割する構成を示したが、本発明は、複数のクライアントで重複した映像を必要とする場合でも、圧縮処理は各エリアに付き一度で済むという効果を実現するものであるため、他の構成例として、均等な分割以外にも均等でない分割や、各エリア同士の重なりを許容する分割を行うような構成が用いられても良い。

例えば、均等でない分割を行う場合、一例として、入力画像の画像サイズ１０２４×９６０を右から３２０、４８０、３２０、１６０画素で分割し（均等に分割する例では、右から３２０、３２０、３２０、３２０画素で分割している）、上から２４０、３６０、１２０、２４０画素で分割する（均等に分割する例では、上から２４０、２４０、２４０、２４０画素で分割している）こともできる。更に、他の例として、アクティブ映像に映る道路や建物などの構成要素毎のエリアに分割して、それぞれ圧縮するようなことも可能である。この場合、分割した領域が、入力画像の構成要素を表しており、クライアント上で構成要素に対して所定の画像処理（先鋭化処理や平滑化処理、コントラスト強調など）を施すことができる。これにより、アクティブ映像中で特定の着目する構成要素の部分映像を強調表示することが可能となる。

また、各エリア同士の重なりを許容する分割を行う場合、均等に分割する例では、横３２０、縦２４０画素に均等分割していたところを、例えば、図５に示すように、各エリアを上下左右８画素ずつ拡大したエリア５０１〜５１６とすることもできる。この場合、クライアントで必要なエリアを受信し、復号化処理を実行すると、各エリアに重なり部分が生じるため、重なった部分は平均化する等して、エリアの画像を繋ぎ合わせる。上述した均等に分割する例では、重なりがないように分割して、各エリアを独立に圧縮処理しているため、各エリアを繋ぎ合わせると、表示映像に継ぎ目が見える可能性がある。しかし、このように各エリア同士の重なりを許容してエリアを分割することで、表示映像に継ぎ目が見えることはなく、より自然な映像を表示することが可能となる。

また、本実施例では、Ｗｅｂエンコーダ１は、アクティブ映像を均等に１６分割し、クライアントからの要求映像情報に基づいて少なくとも１つのエリア圧縮データを選択して、画像全体のうちの一部のエリアの圧縮データをクライアントに配信する構成を示したが、例えば、クライアントにおいてオペレータが配信を要求する映像のエリアを設定する際の参照のために、Ｗｅｂエンコーダ１はアクティブ映像全体を定期的にクライアントに配信するような構成が用いられても良い。なお、この場合、クライアントにおいては、配信を要求する映像のエリアを設定するためにアクティブ映像全体のおおまかな情報が確認できれば十分であるので、ネットワーク網１８の伝送帯域の節約のために、一例として、Ｗｅｂエンコーダ１は、アクティブ映像全体を間引いた縮小画像を圧縮符号化した圧縮データをクライアントに配信する構成、或いは、分割されたエリア映像データを圧縮符号化処理する際よりも高く設定された圧縮率によりアクティブ映像全体を圧縮符号化した圧縮データをクライアントに配信する構成を用いる。

ここで、本実施例のＷｅｂエンコーダ１の圧縮処理部１４−１〜圧縮処理部１４−１６をそれぞれＤＳＰ（Digital Signal Processor）等の独立したプロセッサで構成した場合について説明する。この場合、各エリアの映像データの複雑さに応じて各圧縮処理部１４の処理負荷が異なる。例えば、エリア１の映像データの圧縮符号化処理を圧縮処理部１４−１で行い、エリア２の映像データの圧縮符号化処理を圧縮処理部１４−２で行うとする。そして、例えば、エリア１の映像データがホワイトノイズを含む複雑な画像であり、エリア２の映像データが比較的簡易な映像である場合、エリア１の映像データの圧縮符号化処理を行う圧縮処理部１４−１の処理負荷（処理時間）は大きくなり、エリア２の映像データの圧縮符号化処理を行う圧縮処理部１４−２の処理付加は小さくなる。つまり、負荷が大きいエリア１の処理時間は長く、エリア２の処理時間は短い。従って、例えば、各圧縮処理部１４は毎回同じエリアの映像データの圧縮符号化処理を行うのではなく、例えば、エリア１の映像データの圧縮符号化処理が終了しない間にエリア２の圧縮符号化処理が完了した場合、次のフレームのエリア１の映像データの圧縮符号化処理を圧縮処理部１４−２で行うようにする。つまり、例えば、圧縮符号化処理が終了してないエリアの次のフレームの映像データの圧縮符号化処理を既に圧縮符号化処理が完了した圧縮処理部１４に担わせる。

即ち、各圧縮処理部１４が毎回同じエリアの映像データの圧縮符号化処理を行い、圧縮符号化処理が終わったエリア映像データから次々にクライアントに配信するような構成とすると、例えば、一部のエリアだけ複雑な映像データが続き処理負荷が大きくなって、その一部のエリアの圧縮データの配信が遅れると、クライアント側で全体の映像を再生した場合、一部のエリアだけフレームレートが落ちた再生となる。従って、上述した通り、処理負荷の大きい圧縮符号化処理を特定の圧縮処理部１４が連続して行わないようにして各圧縮処理部１４の処理負荷を平均化することで、クライアント側においてフレームレートの落ちない映像を再生することができる。なお、圧縮処理部１４を複数のプロセッサにより構成する場合は、エリア１に対しては圧縮処理部１４−１を設けて、エリア２に対しては圧縮処理部１４−２を設けるといったように、映像の分割数と同数のプロセッサを設けるように構成しても良いし、例えば、エリア１と２に対しては圧縮処理部１４−１を設けて、エリア３と４に対しては圧縮処理部１４―２を設けるといったように、映像の分割数とは異なる個数のプロセッサを設けるような構成としても良い。

次に、本発明に関する比較例を示す。なお、ここで記載する事項は、必ずしも全てが従来技術であるとは限らない。
図３には、本発明の比較例に係るＷｅｂエンコーダ３の構成例を示してある。

本比較例のＷｅｂエンコーダ３は、Ａ／Ｄ変換部１０と、メモリ書き込み制御部１１と、メモリ１２と、要求エリア映像読み出し制御部３３と、圧縮処理部３４−１と、圧縮処理部３４−ｎ（圧縮処理部を総称する場合は３４で代表するものとする）と、圧縮データメモリ３５−１と、圧縮データメモリ３５−ｎ（圧縮データメモリを総称する場合は３５で代表するものとする）と、ネットワーク配信部３６とを備えて構成されており、Ｗｅｂエンコーダ３はネットワーク網１８と接続されている。

次に、図３に示される本比較例のＷｅｂエンコーダ３により行われる処理の一例を示す。ここで、Ａ／Ｄ変換部１０と、メモリ書き込み制御部１１と、メモリ１２の動作は、図１に示したＷｅｂエンコーダ１と同様であるため、以下では図１に示したＷｅｂエンコーダ１とは異なる処理についてを中心に説明する。

ネットワーク配信部３６は、ネットワーク網１８を介してクライアントから要求映像情報３８１を受信し、要求エリア画像読み出し制御部３３に要求映像情報３６１を出力する。

要求エリア画像読み出し制御部３３は、ネットワーク配信部３６から受信したクライアントの要求映像情報３６１に基づいて、メモリ１２に格納された１フレームのアクティブ映像の中で、要求映像情報３６１に対応した要求エリア映像データが格納されているメモリ１２のアドレス３３１と、読み出し信号３３２を生成し、メモリ１２から当該クライアントが要求した映像の要求エリア映像データ３２１を読み出し、要求エリア映像データ３３３と、映像情報３３４を圧縮処理部３４−１へ出力する。

圧縮処理部３４−１は、要求エリア映像読み出し制御部３３から要求エリア映像データ３３３と、映像情報３３４を受信して圧縮符号化処理を行い、圧縮データ３４１と書き込み信号３４２を圧縮データメモリ３５−１へ出力する。

同様に、要求エリア画像読み出し制御部３３は、ネットワーク配信部３６から先程とは別の他のクライアントからの要求映像情報３６１を受信し、メモリ１２に格納された１フレームのアクティブ映像の中で、当該要求映像情報３６１に対応した要求エリア映像データが格納されているメモリ１２のアドレス３３１と読み出し信号３３２を生成し、メモリ１２から当該他のクライアントが要求した映像の要求エリア映像データ３２１を読み出し、要求エリア映像データ３３５と、映像情報３３６を圧縮処理部３４−ｎへ出力する。

圧縮処理部３４−ｎは、要求エリア映像読み出し制御部３３から要求エリア映像データ３３５と、映像情報３３６を受信して圧縮符号化処理を行い、圧縮データ３４３と書き込み信号３４４を圧縮データ格納メモリ３５−ｎへ出力する。

なお、圧縮処理部３４及び圧縮データ格納メモリ３５は接続するクライアント数と同数必要になる。
ネットワーク配信部３６は、読み出し信号３６２と読み出し信号３６３をそれぞれ圧縮データ格納メモリ３５−１と圧縮データ格納メモリ３５−ｎに出力し、圧縮データ３５１と圧縮データ３５２を読み出し、ネットワークプロトコルを付加してネットワーク配信データ３６４を生成し、ネットワーク網１８へ配信する。

次に、本比較例に係るアクティブ映像とクライアントの要求した映像の関係を図４を用いて説明する。
図４に示すように、本比較例の映像配信システムは、Ｗｅｂエンコーダ３と、クライアントＡ４−１、クライアントＢ４−２、及び、クライアントＣ４−３とをネットワーク網１８により接続して構成されており、ここでは、アクティブ映像４−４のうち、クライアントＡの要求した映像のエリアを映像４−５、クライアントＢの要求した映像のエリアを映像４−６、クライアントＣの要求した映像のエリアを映像４−７とする。

この場合、本比較例のＷｅｂエンコーダ３は、クライアントＡが要求した映像４−５を圧縮し、クライアントＢが要求した映像４−６を圧縮し、クライアントＣが要求した映像４−７を圧縮する。つまり、各クライアントが要求した映像に対して圧縮処理部３４はクライアント数と同数必要になり、また、それぞれ独立した圧縮符号化処理となる。

ここで、クライアントＡ、Ｂ、Ｃが要求した映像において、重複した映像が存在する場合がある。例えば、図４に示す重複映像４−８である。上述した通り、圧縮処理はそれぞれ独立しているため、重複した映像の圧縮は各クライアントＡ、Ｂ、Ｃに対応した圧縮処理部３４で行われる。

次に、本比較例のＷｅｂエンコーダ３の圧縮符号化処理の負荷について具体例を挙げて説明する。
例えば、入力画像の画像サイズを１０２４×９６０、接続クライアント数をｎ台、ＶＧＡ（画像サイズ：６４０×４８０）の圧縮処理能力を１と仮定する。なお、入力画像サイズはＶＧＡ画像サイズの４倍である。まず、クライアントが要求する映像サイズの最大が１０２４×９６０となるため、圧縮処理部３４の処理能力は４となる。また、圧縮処理部３４がクライント数と等しいため、Ｗｅｂエンコーダ３の圧縮処理能力は上記圧縮処理能力４のｎ倍となる。例えば、接続クライアント数が５０台であれば、Ｗｅｂエンコーダ３の圧縮処理能力は４×５０＝２００ということになる。従って、本比較例におけるＷｅｂエンコーダ３の処理能力４×ｎに対し、本発明におけるＷｅｂエンコーダ１の処理能力は４となる。従って、Ｗｅｂエンコーダ１はＷｅｂエンコーダ３に比べて１／ｎの処理能力軽減が可能になる。

このように、本比較例におけるＷｅｂエンコーダ３は、各クライアントに対応した圧縮処理部３４が必要で、また互いに独立した圧縮処理を行う。例えば、接続クライアント数が無限であれば、圧縮処理部３４も無限に必要になる。従って、エンコーダの規模は大きくなる。また、クライアントが要求する映像において、重複した映像が存在する場合、互いに独立した圧縮処理となるため、例えば、５０台のクライアントが要求した映像において、全て重複映像が存在する場合、重複映像の圧縮処理はクライアント数と同数の５０回行うことになる。従って、圧縮処理が過負荷となる。

一方、本発明におけるＷｅｂエンコーダ１では、１フレームのアクティブ映像を複数のエリアに分割し、分割したエリアの映像をそれぞれ圧縮するようにしたため、圧縮処理部１４がクライアント数に依存せず、また圧縮処理部１４の圧縮処理負荷を軽減した電子ＰＴＺ機能の実現が可能になる。

なお、本実施例のＷｅｂエンコーダ１では、圧縮処理部１４の機能により画像圧縮符号化手段が構成されており、ネットワーク配信部１７の機能により画像送信要求受信手段が構成されており、要求エリア映像圧縮データ読み出し部１６の機能により送信画像エリア選択手段が構成されており、要求エリア映像圧縮データ読み出し部１６やネットワーク配信部１７の機能により選択エリア画像送信手段が構成されている。

ここで、本発明に係る画像処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、Ｗｅｂエンコーダの機能と、カメラの機能を一体化したような構成の装置が用いられても良い。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る画像処理装置の構成例を示す図である。 本発明の一実施例に係るアクティブ映像とクライアントが要求した映像の関係を説明するための図である。 画像処理装置の構成例を示す図である。 アクティブ映像とクライアントが要求した映像の関係を説明するための図である。 本発明の一実施例に係る画像の分割単位を示す図である。

符号の説明

１：Ｗｅｂエンコーダ、１０：Ａ／Ｄ変換部、１１：メモリ書き込み制御部、１２：メモリ、１３：画像分割制御部、１４：圧縮処理部、１５：圧縮データメモリ、１６：要求エリア映像圧縮データ読み出し部、１７：ネットワーク配信部、１８：ネットワーク網。

Claims (4)

1. 各エリアが他のエリアと重なりを持つように画像を均等に分割して複数のエリアに分割する画像分割手段と、
   複数のプロセッサから構成され、
   前記プロセッサは、前記画像分割手段により前記均等に分割されたエリア毎に前記画像を圧縮符号化した圧縮符号化画像を出力する画像圧縮符号化手段であって、圧縮符号化処理の処理時間が長いエリアの次の圧縮符号化処理を圧縮符号化処理の処理時間が短いエリアの圧縮符号化処理を行ったプロセッサが行う画像圧縮符号化手段と、
   ネットワークを介してクライアントからの画像送信要求を受信する画像送信要求受信手段と、
   前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択する送信画像エリア選択手段と、
   該送信画像エリア選択手段により選択されたエリアに対応する前記圧縮符号化画像を前記クライアントに対して送信する選択エリア画像送信手段と、
   前記プロセッサのそれぞれと対応する同数のメモリを備え、前記メモリは、前記プロセッサが出力する前記圧縮符号化画像をそれぞれ書き込み、
   前記送信画像エリア選択手段は、前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択し選択された画像のエリアに関する圧縮符号化画像を前記メモリから読み出すことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像圧縮符号化手段は、前記圧縮符号化処理の処理時間が長いエリアの次の圧縮符号化処理をすでに圧縮符号化処理が完了したプロセッサが行うことを特徴とする画像処理装置。
3. 請求項１乃至請求項２のいずれか１つに記載の画像処理装置において、
   前記画像送信要求受信手段と前記選択エリア画像送信手段が、ネットワークを介して前記クライアントと送信又は受信を行うネットワーク配信手段を構成することを特徴とする画像処理装置。
4. 請求項１乃至請求項３のいずれか１つに記載の画像処理装置において、
   前記画像圧縮符号化手段を構成するプロセッサの数は、前記画像分割手段が分割するエリアの数と同数であることを特徴とする画像処理装置。

Images