JP2008311831A - 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路 - Google Patents

Abstract

【課題】ネットワークが混雑している場合や物理的にネットワークが切断された場合においても、撮像データの欠落のないネットワーク送信が行えるようにする。
【解決手段】画像データを生成する画像処理部４と、生成された画像データを符号変換して符号化データを生成する符号処理部５と、ネットワークが送信可能か判断し、送信不可のときに蓄積要求信号を送出する通信処理部７と、生成された符号化データからパケットを生成しネットワークに送信するパケット生成部８と、送信不可のときに生成された符号化データを蓄積するバッファメモリ９と、蓄積要求信号が有効のときは符号化データをバッファメモリに蓄積させ、無効のときはバッファメモリに蓄積された符号化データがあればそれを読み出して、なければ符号処理部からの符号化データを直接にパケット生成部に送出するデータ処理部６を備える。
【選択図】図１

Description

本発明は、直接にまたはＬＡＮケーブルを介してインターネットまたはイントラネット等のネットワークに接続され、クライアントに動画像データを送信する動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路に関する。

従来の動画像圧縮技術の進歩により、イントラネットやインターネットなどのネットワークを用いてデジタル動画像の配信を行うネットワークカメラシステムが増加している。このようなシステムでは、デジタルカメラをネットワークにＬＡＮまたは無線ＬＡＮを介して接続し、動画像通信装置で生成した動画像データを特定の再生装置に宛ててネットワーク上に送信する。信頼性が低いネットワークを用いることから、データのパケット化を行い、通信経路の末端でパケット到着の監視を行う。到着していないパケットが存在する場合は、再送処理を行う等、パケットの欠落を防ぐための対策を行い、送信の前後でのデータの同一性の保証をする。

動画像通信装置での動画像データはリアルタイムに絶え間なく生成されるものであるため、リアルタイム送信が保証されないと通信がボトルネックとなり、再生装置での動画像再生が不可能となる。リアルタイム送信を保証するには、ネットワーク上で消失したパケットを無視して送信を継続すればよい。しかし、動画像データの正確な再生はできなくなる。すなわち、ネットワークカメラシステムの目的である動画像の配信機能が実現できない。

そこで、ネットワーク蓄積型のカメラシステムが提案され、ネットワークを介した動画像データ蓄積サーバにおいてパケットを管理し、動画像通信装置との通信を行うことにより、ネットワーク上で欠落したパケットを補間し蓄積するようにしている。
特開２００３−１８５２５号公報（第５−６頁、第３図）

上記の従来の技術は、動画像通信装置、動画像蓄積用サーバ間のネットワークが確立し、通信状態が保たれている状況において、パケットを補間することにより欠落のないリアルタイム送信を行うが、通信状況に依存してデータの欠落が発生するという課題がある。すなわち、（１）ネットワーク帯域が混雑しているためにリアルタイムの送信ができない場合、（２）物理的にネットワークが切断してしまった場合等に対応できない。

本発明は、このような事情に鑑みて創作したものであり、ネットワークが混雑している場合や物理的にネットワークが切断された場合においても、撮像で得られた画像データのデータ欠落のないネットワーク送信が行える動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路を提供することを目的としている。

本発明による動画像通信装置は、
画像データを生成する画像処理部と、
前記画像処理部によって生成された画像データを符号変換して符号化データを生成する符号処理部と、
ネットワークの通信状況から送信が可能か否かを判断し、送信不可のときに蓄積要求信号を送出する通信処理部と、
前記符号処理部よって生成された符号化データからパケットを生成しネットワークに送信するパケット生成部と、
ネットワークの通信状況が送信不可のときに、前記符号処理部によって生成された符号化データを蓄積するバッファメモリと、
前記符号処理部から符号化データを受け取り、前記通信処理部からの前記蓄積要求信号が有効のときは前記符号化データを前記バッファメモリに蓄積させ、前記蓄積要求信号が無効のときは、前記バッファメモリに蓄積された符号化データがあればそれを読み出して、なければ前記符号処理部からの符号化データを直接に前記パケット生成部に送出するデータ処理部とを備えたものである。

上記の構成において、通信処理部はネットワークの通信状況から送信が可能か否かを判断する。判断結果が送信可能であれば、データ処理部は符号処理部によって生成された動画像の符号化データをパケット生成部に送り、パケットを生成した上でネットワークへ送信する。一方、通信処理部の判断結果が通信不可であれば、蓄積要求信号を生成してデータ処理部に送り、データ処理部は、符号処理部によって生成された符号化データをバッファメモリに蓄積する。これでリアルタイム送信は中断されるが、符号化データは保存される。ネットワーク状況が通信不可から通信可能へ復帰すると、これを通信処理部が検出しデータ処理部に伝えるので、データ処理部はバッファメモリに蓄積されている符号化データを送信のために読み出す。よって、ネットワークに混雑や切断などの異常が生じて符号化データの送信ができなくなった場合においても、符号化データを蓄積しておき、回線回復時には蓄積しておいた符号化データをネットワークを介して相手先に送信することにより、相手先の再生装置では通信中断中の動画像をあとで確認することが可能となる。なお、ネットワーク混雑時などにおいて、送信する符号化データが実時間に対して遅延することは許容する。

上記構成の動画像通信装置において、前記データ処理部は、前記蓄積要求信号が有効のときは前記符号処理部での符号化パラメータを制御して画像解像度を高解像度側に調整するという態様がある。このように構成すれば、不具合発生期間において、動画像の符号化データをより鮮明な画像状態でバッファメモリに保存することが可能となる。

また上記構成の動画像通信装置において、前記データ処理部は、前記蓄積要求信号が有効のときは前記符号処理部での符号化パラメータを制御して画像解像度を低解像度側に調整するという態様がある。このように構成すれば、不具合発生期間において、動画像の符号化データをより長期間にわたってバッファメモリに蓄積することが可能となる。

また上記構成の動画像通信装置において、さらに、前記画像処理部による画像データに対して画像の動き検出を行い、動きを検出した画像データに対して動き検出フラグを付加する動き検出処理部を備え、前記データ処理部は、前記蓄積要求信号が有効のときは、前記動き検出処理部による動き検出結果に基づいて前記バッファメモリへの符号化データの蓄積を制御するという態様がある。

さらに、前記データ処理部は、前記蓄積要求信号が有効のときの符号化データのバッファメモリの蓄積について、前記動き検出処理部による動き検出結果が有効のときに限って蓄積を行うという態様がある。

以上のように構成すれば、蓄積期間中のバッファメモリへの符号化データの蓄積を、撮像画像の動きに連動させる状態で効率的に行うことが可能となる。

また、前記データ処理部は、前記動き検出処理部による動き検出結果が有効のときの符号化データでのバッファメモリへの蓄積について、動き検出フレームを中心とした前ｍフレーム、後ｎフレーム（ｍ，ｎは任意の自然数）を除き、バッファメモリの蓄積フレームを削除するという態様がある。このように構成すれば、動き検出中心を挟む前後フレームをバッファメモリから削除するので、バッファメモリの有効利用が可能となる。

また、前記データ処理部は、現在フレームの前ｋフレーム（ｋは任意の自然数）以内に動き検出フレームが存在しない場合は、前記バッファメモリへの蓄積は停止するという態様がある。このように構成すれば、バッファメモリに蓄積する符号化データにつき、動き検出があってから、後ろへｋフレーム内に制限することが可能となる。

また上記構成の動画像通信装置において、前記画像処理部は、画像データをａ個（ａは２以上の自然数）の小領域に分割した管理を行う領域管理処理部を備え、前記符号処理部は、前記ａ個の小領域ごとに符号変換して符号化データを生成し、前記データ処理部は、前記ａ個の小領域ごとに前記バッファメモリへの蓄積を制御するという態様がある。このように構成すれば、小領域ごとの処理が可能となり、バッファメモリの容量削減に寄与することが可能となる。

また上記の構成において、前記符号処理部は、前記ａ個の小領域ごとに個別のパラメータを用いて異なる圧縮率で符号化を行うという態様がある。この構成によれば、低圧縮率とすれば鮮明な画像で蓄積し、高圧縮率とすれば不鮮明ではあっても認識しやすい動きのある画像とすることが可能となる。

また上記構成の動画像通信装置において、前記画像処理部は、画像データを分割したａ個の小領域ごとに動き検出を行う動き検出処理部を備え、前記符号処理部は、前記ａ個の小領域ごとに符号化を行い、前記データ処理部は、前記ａ個の小領域ごとに前記バッファメモリへの蓄積を制御するという態様がある。さらに、前記符号処理部は、動きが検出された小領域のみに対して符号化を行い、小領域情報とともにバッファメモリへ蓄積するという態様がある。

上記のように構成すれば、小領域と動き検出とが連係され、動きが検出されない小領域は廃棄されるので、バッファメモリのさらなる容量削減に寄与することが可能となる。

また上記構成の動画像通信装置において、前記データ処理部は、前記蓄積要求信号が有効のときは、前記画像処理部における画質補正パラメータを制御するという態様がある。そして、前記データ処理部の前記画質補正パラメータは、前記画像処理部においてモノクロ画像を生成するパラメータであるという態様がある。このように構成すれば、蓄積期間中は通常送信期間中よりも鮮明な画質で動画像データを生成したり、逆により低画質で動画像データを生成することが可能となる。

また上記の動き検出処理部に言及した動画像通信装置において、前記画像処理部は、前記蓄積要求信号が有効のときに、動き検出フレームの画像を強調する補正パラメータを制御するという態様がある。通信中断中の蓄積動画像について、これを強調することが可能となる。

また上記構成の動画像通信装置において、前記データ処理部は、前記蓄積要求信号が有効のときに、前記バッファメモリへ蓄積するフレームレートを調整するという態様がある。そして、この場合、前記データ処理部は、蓄積するフレームレートを通常時の送信フレームレートより高めに調整するのが好ましい。

また上記構成の動画像通信装置において、前記符号処理部は、前記蓄積要求信号が有効のときに、通常通信中の連続画像とは異なる連続画像として符号化を行うという態様がある。この場合、前記画像処理部は、前記蓄積要求信号が有効のときに、通常通信中の画像とは異なる動画像サイズにおいて画像処理を行うのが好ましい。動画像サイズの調整により、バッファメモリの有効利用が可能となる。

また上記構成の動画像通信装置において、前記通信処理部は、ネットワークの相手先から蓄積要求信号を受信したときは、そのときのネットワークの通信状況にかかわらず、前記データ処理部へ前記蓄積要求信号を転送するという態様がある。相手先でリアルタイムに監視する担当者が離席する場合などにおいて、蓄積要求を行えば、離席期間中の画像はバッファメモリに蓄積されることになり、監視担当者の復席後に蓄積期間中の画像を確認することが可能となる。この場合に、リアルタイム動画像と並行して表示するようにすると、確認がより的確なものになる。

上記の動画像通信装置に対応する本発明の動画像通信用の半導体集積回路は、上記のいずれかの動画像通信装置の前記画像処理部と、前記符号処理部と、前記通信処理部と、前記パケット生成部と、前記データ処理部とが搭載されているものである。

さらに、本発明による動画像通信装置は、
画像データを生成する画像処理部と、
前記画像処理部によって生成された画像データを符号変換して符号化データを生成する符号処理部と、
前記符号処理部よって生成された符号化データからパケットを生成しネットワークに送信するパケット生成部と、
ネットワークの通信状況が送信不可のときに、前記符号処理部によって生成された符号化データを蓄積するバッファメモリと、
前記符号処理部から符号化データを受け取り、ネットワークの相手先からの蓄積要求信号が有効のときは前記符号化データを前記バッファメモリに蓄積させ、前記蓄積要求信号が無効のときは、前記バッファメモリに蓄積された符号化データがあればそれを読み出して、なければ前記符号処理部からの符号化データを直接に前記パケット生成部に送出するデータ処理部とを備えたものである。これは、上述の通信処理部が省略されたものに相当する。

上記の構成において、ネットワークの相手先から蓄積要求があれば、データ処理部は符号処理部によって生成された動画像の符号化データをパケット生成部に送り、パケットを生成した上でネットワークへ送信する。一方、蓄積要求がなければ、データ処理部は、符号処理部によって生成された符号化データをバッファメモリに蓄積する。これでリアルタイム送信は中断されるが、符号化データは保存される。そして蓄積要求があると、データ処理部はバッファメモリに蓄積されている符号化データを送信のために読み出す。この場合も、ネットワークの通信状況にかかわらず、相手先でリアルタイムに監視する担当者が離席する場合などにおいて、蓄積要求を行えば、離席期間中の画像はバッファメモリに蓄積されることになり、監視担当者の復席後に蓄積期間中の画像を確認することが可能となる。

また上記構成の動画像通信装置において、さらに、被写体を撮像するためのレンズと、同レンズからの撮像光学像を電気信号に変換しデジタルの画像データに変換して前記画像処理部に送出する画像入力部とを備えているという態様がある。

また上記構成の動画像通信装置において、さらに、音声入力装置からの音声信号をデジタルの音声データに変換する音声入力部と、前記音声入力部により生成された音声データを信号処理し、前記符号処理部に送出する音声処理部とを備え、
前記符号処理部は、前記画像処理部によって生成された画像データと、前記音声処理部によって生成された音声データとを同期させて符号変換を行うという態様がある。

上記の動画像通信装置に対応する本発明の動画像通信用の半導体集積回路は、前記画像処理部と、前記符号処理部と、前記パケット生成部と、前記データ処理部とが搭載されているものである。

本発明による動画像通信システムは、上記いずれかの動画像通信装置と、前記動画像通信装置より配信されたパケットを復号化する復号処理部を有する再生装置とを備えたものである。

本発明によれば、ネットワークに混雑や切断などの異常が生じて符号化データの送信ができなくなった場合は、符号化データをバッファメモリに蓄積し、送信可能状態に復帰すればバッファメモリから符号化データを読み出してネットワークに送信するので、通信の状況に依存してデータ欠落が発生することは解消され、通信状況に適応する状態で符号化データを再生装置へ送信でき、再生装置では動画像の記録・再生を行える。

また、当該の動画像通信装置を用いて信頼性の低いネットワークで監視を行う場合には、不審者等の映像をスキップさせることなく、連続した動画像のもとで記録・再生が可能となる。また、リアルタイム性を必須とはしないテレビ電話会議システムでも、効果的な動画像送信が実現される。

以下、本発明にかかわる動画像通信装置の実施の形態を図面を用いて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における動画像通信装置の構成を示すブロック図である。図１において、１はマイク等の音声入力装置からの音声信号をデジタルの音声データに変換する音声入力部、２は音声入力部１により生成された音声データを信号処理する音声処理部、３は被写体を撮像するためのレンズからの撮像光学像を電気信号に変換し、さらにデジタルの画像信号に変換する画像入力部、４は画像入力部３により生成された画像信号を補正し画像データを生成する画像処理部、５は音声処理部２より生成された音声データと画像処理部４により生成された画像データを同期させ、任意の形式の符号化データに変換する符号処理部である。６は後述するバッファメモリ９の管理を行って、符号処理部５から入力した符号化データをバッファメモリ９へ蓄積したり廃棄する処理を行うデータ処理部、７はネットワークにおける帯域を管理し現在の通信状況に基づき送信可能か否かの判定を行い、データ処理部６へ蓄積要求信号を送信する通信処理部、８はバッファメモリ９に蓄積された符号化データや符号処理部５より出力された符号化データからパケットを生成するパケット生成部、９は符号処理部５において生成された符号化データを蓄積するバッファメモリである。

通信処理部７は、現在のネットワークの状況を監視し、画像データの送信が不可能であると判断した場合には蓄積要求信号を生成し、データ処理部６に送出する。データ処理部６は、符号処理部５で生成された符号化データを受け取り、通信処理部７からの蓄積要求信号の有無に応じて符号化データのデータ流れを制御する。すなわち、データ処理部６は、蓄積要求信号を受け取っていない場合には、パケット生成部８に対して符号化データをパケット化する指示を行い、蓄積要求信号を受け取った場合には、バッファメモリ９へ符号化データを蓄積する処理を行う。このような通信処理部７とデータ処理部６との連携により、ネットワークの状況に応じた符号化データの管理を行う。

また、データ処理部６は、符号処理部５における符号化パラメータおよび画像処理部４における画質補正パラメータを任意に制御できるようになっている。上記のとおり、動画像通信装置とネットワークの接続状態やネットワークの通信状況に不具合が発生した場合には、データ処理部６は通信処理部７から蓄積要求信号を受け取る。蓄積要求信号を受け取ったときのデータ処理部６の動作態様としては、次のような２種類がある。

すなわち、これらのパラメータにつき、蓄積期間中は通常送信期間中よりも鮮明な画質で動画像データを生成するように制御するパラメータを用いるモードと、逆に、より低画質で生成するモードとがある。鮮明な画質のモードでは、通常送信期間中よりも高画質の状態で符号化データをバッファメモリ９に蓄積することができる。すなわち、不具合発生期間において、撮像データを鮮明な画像状態で蓄積することができる。逆に、低画質のモードでは、不具合発生期間において、長期間にわたり撮像データをバッファメモリ９に蓄積することができる。

以上のように、本実施の形態の動画像通信装置は、監視カメラなどの用途においてきわめて有用である。不具合時に、鮮明記録に切り替えるか、長時間記録に切り替えるかは、使用目的に応じて選択すればよい。

なお、バッファメモリ９については、動画像通信装置本体の内部メモリに限らず、ＳＤメモリカードなどの外部メモリを用いることも可能とする。

本実施の形態の動画像通信装置では、バッファメモリ９を動画像通信装置に内蔵している（またはＳＤメモリカードなどの外部メモリを接続して用いる）ため、記憶容量は一定量に限られている。つまり、長時間の切断に対応するために、バッファメモリ９に対しての効率的な画像データの蓄積が求められ、データ処理部６が制御するデータサイズは縮小することが求められる。

本実施の形態の動画像通信装置では、データ処理部６において、蓄積期間中の画像処理部４および符号処理部５のパラメータを制御することを可能としているため、蓄積期間中に生成される符号化データを任意に変動させることができる。つまり、蓄積期間中の画像データに対して、画像処理部４においてモノクロ画像を生成するためのパラメータを設定するなどの制御を行い、生成される画像データのデータ量を削減すること、符号化パラメータを調整し低画質の画像を生成し符号化データを削減することが可能となることにより、バッファメモリ９に蓄積するデータサイズの縮小を実現できる。

図２は本実施の形態の動画像通信装置におけるフレームレートの制御処理を表す。

蓄積期間中の画像の解析を実施する際には蓄積期間の画像は高いフレームレートであることが望ましいが、本実施の形態の動画像通信装置においてはバッファメモリ９の容量が限られているため、符号化データを効率良く蓄積するものとする。そのため、本システムでは、蓄積要求時において、符号処理部５における符号化実行をデータ処理部６で制御することにより、任意のフレームレートで符号化を行い、バッファメモリ９へ蓄積する。このとき、フレームレートは通常通信時よりも、高フレームレートで蓄積することも、低フレームレートで蓄積することも可能である。また、蓄積期間中のフレームレートは任意に制御でき、蓄積期間の状況に基づく効果的な蓄積が可能となる。

つまり、フレーム数ｆｎのフレームが存在する環境において、通常通信期間中においてはｆ１の通常時のフレームレートで動画像を生成し、蓄積期間中においては通常時よりも低いｆ２のフレームレートで蓄積したり、通常時よりも高いｆ３のフレームレートで蓄積する。なお、通常期間中および蓄積期間中のフレームレートはそれぞれ任意に変更することが可能とし、図２に記載のフレームレートに特化するものではない。

図３は本実施の形態の動画像通信装置においてネットワーク送信した動画像の再生イメージを表す。Ｐ１は動画像通信装置より生成され、送信されている実時間における動画像を再生したリアルタイム動画像であり、Ｐ２はネットワークに不具合が生じてバッファメモリ９に蓄積していた蓄積動画像を表す。

動画像通信装置において接続が何らかの要因により遮断された後に通信が回復した場合においては、再生装置において蓄積期間中の動画像のみではなく、実時間の動画像も並行して表示できることが望ましい。本実施の形態の動画像通信装置においては、蓄積期間中の動画像を、通常の通信期間中のリアルタイム動画像とは別の、異なる連続した動画像として画像処理および符号化処理を行うことにより、別の動画像として管理を行うことを可能とする。そして、リアルタイム動画像と蓄積動画像を同時系列において送信し、再生装置において同時再生する。

さらに、通常通信におけるリアルタイム動画像、蓄積期間中の蓄積動画像を個別の連続した動画像として管理することにより、リアルタイム動画像と蓄積動画像の動画像サイズを異なるサイズに設定することができる。つまり、蓄積動画像をリアルタイム動画像よりも小さなサイズでバッファメモリ９へ蓄積し、通信環境の回復後に再生装置へ送信することが可能となる。これにより、バッファメモリ９の使用領域を節約するとともに、通信回復時に送信する動画像サイズを縮小することが可能となり、トラフィックの有効な活用が実現できる。

図４は本実施の形態の動画像通信装置と再生装置の構成を表す。１１は復号処理部、１２は音声処理部、１３はスピーカ、１４は画像処理部、１５は表示部、１６は蓄積要求処理部である。

再生装置Ｍ２の利用者が蓄積要求処理部１６での操作に基づいて蓄積要求信号を動画像通信装置Ｍ１に対して送信すると、蓄積要求信号を受信した動画像通信装置Ｍ１は、バッファメモリ９にリアルタイム動画像の符号化データを蓄積する。つまり、再生装置Ｍ２において、蓄積タイミングの動的制御が可能となる。

これにより、再生装置Ｍ２をリアルタイムに監視する担当者が意図的に離席する場合などにおいて蓄積要求処理部１６を操作することにより、離席期間中の画像を動画像通信装置Ｍ１において蓄積させることができる。その結果、監視担当者の復席後に蓄積期間中の動画像をリアルタイム動画像と並行した状態で確認することができる。なお、動画像通信装置Ｍ１が保有するバッファメモリ９はＳＤカードなどの外付けの記憶媒体であってもかまわない。

また、動画像通信装置Ｍ１の通信処理部７においてネットワークの状況を監視し蓄積要求に基づきデータ処理部６において符号化データの蓄積・廃棄を管理している場合においても、再生装置Ｍ２より蓄積要求信号を受信した場合には、動画像通信装置Ｍ１の内部処理を無視し、符号化データを蓄積することにより、再生装置Ｍ２よりの動的な蓄積制御を実現する。

（実施の形態２）
図５は本発明の実施の形態２における動画像通信装置の構成を示すブロック図である。本実施の形態の動画像通信装置は、実施の形態１の場合の図１の動画像通信装置の構成に対して、画像処理部４の機能をさらに拡張するために動き検出処理部４ａが設けられている。この動き検出処理部４ａは、画像処理部４が生成した画像データに対して画像の動き検出を行い、動きを検出した画像データに対して動き検出フラグを有効化して付加するように構成されている。これは、蓄積期間中のバッファメモリ９への符号化データの蓄積を、撮像画像の動きに連動させる状態で効率的に行うものである。

図６は連続動画像における動き検出のイメージを表す。

フレームＦ０からフレームＦ５は連続した動画像データであり、それぞれに前フレームとの差分に基づく動き検出を行い、動き検出フラグを付加する。フレームＦ０，Ｆ１，Ｆ２，Ｆ４，Ｆ５は、前フレームとの差分が存在するため、動き検出された動き検出フレームとなる。フレームＦ３は、前フレームＦ２との差分が存在しないため、動きなしフレームと判定し、動き検出フラグは付加しない。以下、動き検出フレームと動きなしフレームに対する処理を説明する。

データ処理部６は、通信処理部７から蓄積要求信号を受け取ると、符号処理部５に対して符号化要求信号、蓄積期間中設定信号、符号化パラメータ制御信号および符号化モード制御信号を送出する。符号処理部５は、データ処理部６から符号化要求信号を受け取ると、画像データの符号化を行う。符号化要求信号には符号化モードが含まれており、その符号化モードによって符号化対象フレームを制御する。

符号化モードには、動き検出フレームに対してのみ符号化処理を行うモードや、過去の動き検出フラグの管理を通じて動き検出フレームの後ろのｋフレームに対してのみ符号化処理を行うモードや、動き検出の有無にかかわらずすべてのフレームに対して符号化処理を行うモードなどがある。この符号化モードをデータ処理部６から符号処理部５に指示する。符号処理部５は、蓄積期間中において、指示された符号化モードに従って符号化のタイミングを制御する。符号処理部５は、画像処理部４から入力した画像データに付加されている動き検出フラグの識別を行い、符号化を実行するフレームと符号化をキャンセルする。動き検出フラグが有効であれば、動きが検出されたフレームの画像データに対してのみ符号化処理を行う。動き検出がなければ符号化は行わない。

動き検出フラグは、符号処理部５だけでなく、データ処理部６でも利用される。すなわち、データ処理部６は、動き検出フラグに基づいてバッファメモリ９への蓄積フレームを制御する。その制御の方式には、次のようないくつかのパターンがある。

（ａ）データ処理部６において、符号処理部５から入力されてくる符号化データに動き検出フラグが付加されているか否かを判断し、動き検出フラグが付加されている符号化データのみをバッファメモリ９に蓄積する。動き検出フラグが付加されていない符号化データについては、その符号化データを廃棄する。このように、蓄積期間中の連続した動画像における動き検出フレームのみに特化した蓄積を行う。そして、ネットワークの通信状況が回復した後に、バッファメモリ９から読み出してネットワークを介して再生装置に送信する。その結果、再生装置では、蓄積期間中の連続した画像の動き検出フレームのみに特化した動画像再生が可能となる。

（ｂ）あるいは、データ処理部６において、符号処理部５から入力されてくる全フレームの符号化データをバッファメモリ９に蓄積し、次いで、蓄積されたフレームにおいて動き検出フラグが付加されているフレーム（動き検出フレーム）の前ｍフレームおよび後ｎフレーム（ｍ，ｎは任意の自然数）を除いた範囲のフレームを順次廃棄する。このようにすれば、蓄積期間中の連続した動画像における動き検出フレームを中心とした数フレームのみをバッファメモリ９に蓄積することができる。結果として、再生装置では、蓄積期間中の連続した画像の動き検出フレームを中心とした前ｍフレーム、後ｎフレームのみに限定した動画像再生が可能となる。

（ｃ）あるいは、現在のフレームの前ｋフレーム以内に動き検出フレームが存在する場合のみに限定し、バッファメモリ９へ蓄積する。この場合、動き検出フレームの後ｋフレームに限定した蓄積が可能となる。結果として、再生装置では、蓄積期間中の連続した画像の動き検出フレームの後ろのｋフレームのみに限定した動画像再生が可能となる。

（ｄ）あるいは、蓄積期間中の全フレームを蓄積しておけば、通信状況の回復後に蓄積期間中の全画像を送信することができる。

以上のように本実施の形態によれば、符号処理部５およびデータ処理部６では、動き検出処理部４ａで付加した動き検出フラグに基づいてリアルタイムでの入力画像の処理を制御することにより、蓄積期間中の符号化データをバッファメモリ９へ効率的に蓄積することができる。すなわち、ネットワーク型監視カメラ等において、接続不具合期間中の画像を欠損させることなく効率的に蓄積し、ネットワーク環境の回復後に、再生装置で蓄積期間中の画像を再生することができる。

さらに、データ処理部６は、画像処理部４で付加した動き検出フラグの内容に基づき蓄積期間中の画像処理部４および符号処理部５のパラメータを制御し、蓄積期間中に動き検出フレームの符号化パラメータを低圧縮率とすることにより、鮮明な画像として蓄積することができる。また、動きなしフレームの符号化パラメータを高圧縮率とすることにより、再生装置での再生において動き検出フレームは不鮮明ではあっても認識しやすい動きのある画像とすることができる。

また同様に、データ処理部６は、画像処理部４での動き検出フレームに対するパラメータを高画質に制御し、動きなしフレームに対するパラメータはモノクロ画像やエッジ成分のみを抽出するように制御することにより、再生装置での再生において動き検出フレームを認識しやすい動きのある画像とすることができる。

（実施の形態３）
図７は本発明の実施の形態における動画像通信装置の構成を示すブロック図である。本実施の形態の動画像通信装置は、実施の形態２の場合の図５の動画像通信装置の構成に対して、画像処理部４の機能をさらに拡張するために、領域管理処理部４ｂが設けられている。この領域管理処理部４ｂは、画像入力部３が生成した画像データを複数ａ個の小領域に分割して管理を行うものである。

図８は領域管理処理部４ｂによる領域分割管理の具体的なイメージを表す。画像データの全画面Ａ０を４個の小領域Ａ１，Ａ２，Ａ３，Ａ４に分割する。このとき、小領域Ａ１，Ａ２，Ａ３，Ａ４のそれぞれは、全画面Ａ０に対する座標位置情報に基づいて、画像データの画素開始位置に対する相対的位置関係が認識されるようになっている。なお、これは基本的な小領域分割の考え方の一例であり、小領域分割数ａの値、小領域の認識方法、各小領域の管理方法については、他の任意の方法であってもかまわない。

図９は連続動画像データについて小領域Ａ１〜Ａ４に分割管理した場合のイメージ図を表す。領域管理処理部４ｂは、連続動画像Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５のそれぞれをＡ１〜Ａ４の小領域に分割し、符号処理部５およびデータ処理部６はそれぞれ、各動画像の小領域ごとに管理を行う。

符号処理部５は、各動画像の小領域ごとに符号化処理および符号化パラメータの補正を行うことにより、各動画像各小領域を個別の画像データとして扱うことが可能となっている。さらに、データ処理部６によるバッファメモリ９に対する符号化データの蓄積および廃棄は、各動画像の小領域ごとで管理するため、蓄積期間中のデータ管理については、ａ個の小領域別に効率的に管理することができる。

さらに、動き検出フラグについては、連続動画像のａ個の小領域ごとに動き検出を行い、動き検出フラグを小領域に対して付加するので、小領域ごとの動き検出フラグとなる。そして、符号処理部５は、動き検出フラグが付加された小領域のみを符号化することも可能である。また、データ処理部６は、動き検出フラグが付加された小領域を基準としてバッファメモリ９に対する符号化データの蓄積および廃棄を行うので、動き検出フレームにおける動き検出領域のみの蓄積が可能である。また、動き検出フレームにおける動き検出小領域の前ｍフレーム、後ｎフレームを除いてバッファメモリ９のデータを順次廃棄することにより、動き検出フレームの動き検出領域のみに特化した蓄積が可能である。なお、再生装置においては、小領域ごとの動画像への復号処理が可能な機構を持つものとする。

本発明の技術は、信頼性の低いネットワークを使用する環境においても、動画像のスキップを発生させないシステムを実現することが可能であり、監視等の目的として搭載するネットワーク動画像通信装置として有用である。同様の理由により、ネットワーク型ＴＶ電話においても有用な利用が可能である。

本発明の実施の形態１における動画像通信装置の構成を示すブロック図 本発明の実施の形態におけるフレームレートの説明図 本発明の実施の形態１における再生装置での表示画面図 本発明の実施の形態１における動画像通信装置および再生装置の構成を示すブロック図 本発明の実施の形態２における動画像通信装置の構成を示すブロック図 本発明の実施の形態２における画像処理の説明図 本発明の実施の形態３における動画像通信装置の構成を示すブロック図 本発明の実施の形態３における画像処理部の領域分割の説明図 本発明の実施の形態３における画像処理部の領域分割の説明図

符号の説明

１ 音声入力部
２ 音声処理部
３ 画像入力部
４ 画像処理部
４ａ 動き検出処理部
４ｂ 領域管理処理部
５ 符号処理部
６ データ処理部
７ 通信処理部
８ パケット生成部
９ バッファメモリ
１１ 復号処理部
１６ 蓄積要求処理部
Ｍ１ 動画像通信装置
Ｍ２ 再生装置

Claims (26)

1. 画像データを生成する画像処理部と、
   前記画像処理部によって生成された画像データを符号変換して符号化データを生成する符号処理部と、
   ネットワークの通信状況から送信が可能か否かを判断し、送信不可のときに蓄積要求信号を送出する通信処理部と、
   前記符号処理部よって生成された符号化データからパケットを生成しネットワークに送信するパケット生成部と、
   ネットワークの通信状況が送信不可のときに、前記符号処理部によって生成された符号化データを蓄積するバッファメモリと、
   前記符号処理部から符号化データを受け取り、前記通信処理部からの前記蓄積要求信号が有効のときは前記符号化データを前記バッファメモリに蓄積させ、前記蓄積要求信号が無効のときは、前記バッファメモリに蓄積された符号化データがあればそれを読み出して、なければ前記符号処理部からの符号化データを直接に前記パケット生成部に送出するデータ処理部とを備えた動画像通信装置。
2. 前記データ処理部は、前記蓄積要求信号が有効のときは前記符号処理部での符号化パラメータを制御して画像解像度を高解像度側に調整する請求項１に記載の動画像通信装置。
3. 前記データ処理部は、前記蓄積要求信号が有効のときは前記符号処理部での符号化パラメータを制御して画像解像度を低解像度側に調整する請求項１に記載の動画像通信装置。
4. さらに、前記画像処理部による画像データに対して画像の動き検出を行い、動きを検出した画像データに対して動き検出フラグを付加する動き検出処理部を備え、
   前記データ処理部は、前記蓄積要求信号が有効のときは、前記動き検出処理部による動き検出結果に基づいて前記バッファメモリへの符号化データの蓄積を制御する請求項１に記載の動画像通信装置。
5. 前記データ処理部は、前記蓄積要求信号が有効のときの符号化データのバッファメモリの蓄積について、前記動き検出処理部による動き検出結果が有効のときに限って蓄積を行う請求項４に記載の動画像通信装置。
6. 前記データ処理部は、前記動き検出処理部による動き検出結果が有効のときの符号化データでのバッファメモリへの蓄積について、動き検出フレームを中心とした前ｍフレーム、後ｎフレーム（ｍ，ｎは任意の自然数）を除き、バッファメモリの蓄積フレームを削除する請求項４に記載の動画像通信装置。
7. 前記データ処理部は、現在フレームの前ｋフレーム（ｋは任意の自然数）以内に動き検出フレームが存在しない場合は、前記バッファメモリへの蓄積は停止する請求項４に記載の動画像通信装置。
8. 前記画像処理部は、画像データをａ個（ａは２以上の自然数）の小領域に分割した管理を行う領域管理処理部を備え、
   前記符号処理部は、前記ａ個の小領域ごとに符号変換して符号化データを生成し、
   前記データ処理部は、前記ａ個の小領域ごとに前記バッファメモリへの蓄積を制御する請求項１から請求項７までのいずれかに記載の動画像通信装置。
9. 前記符号処理部は、前記ａ個の小領域ごとに個別のパラメータを用いて異なる圧縮率で符号化を行う請求項８に記載の動画像通信装置。
10. 前記画像処理部は、画像データを分割したａ個の小領域ごとに動き検出を行う動き検出処理部を備え、
    前記符号処理部は、前記ａ個の小領域ごとに符号化を行い、
    前記データ処理部は、前記ａ個の小領域ごとに前記バッファメモリへの蓄積を制御する請求項１から請求項９までのいずれかに記載の動画像通信装置。
11. 前記符号処理部は、動きが検出された小領域のみに対して符号化を行い、小領域情報とともにバッファメモリへ蓄積する請求項１０に記載の動画像通信装置。
12. 前記データ処理部は、前記蓄積要求信号が有効のときは、前記画像処理部における画質補正パラメータを制御する請求項１から請求項１１までのいずれかに記載の動画像通信装置。
13. 前記データ処理部の前記画質補正パラメータは、前記画像処理部においてモノクロ画像を生成するパラメータである請求項１２に記載の動画像通信装置。
14. 前記画像処理部は、前記蓄積要求信号が有効のときに、動き検出フレームの画像を強調する補正パラメータを制御する請求項４または請求項１０に記載の動画像通信装置。
15. 前記データ処理部は、前記蓄積要求信号が有効のときに、前記バッファメモリへ蓄積するフレームレートを調整する請求項１から請求項１４までのいずれかに記載の動画像通信装置。
16. 前記データ処理部は、前記蓄積要求信号が有効のときに、前記バッファメモリへ蓄積するフレームレートを通常時の送信フレームレートより高めに調整する請求項１５に記載の動画像通信装置。
17. 前記符号処理部は、前記蓄積要求信号が有効のときに、通常通信中の連続画像とは異なる連続画像として符号化を行う請求項１から請求項１６までのいずれかに記載の動画像通信装置。
18. 前記画像処理部は、前記蓄積要求信号が有効のときに、通常通信中の画像とは異なる動画像サイズにおいて画像処理を行う請求項１７に記載の動画像通信装置。
19. 前記通信処理部は、ネットワークの相手先から蓄積要求信号を受信したときは、そのときのネットワークの通信状況にかかわらず、前記データ処理部へ前記蓄積要求信号を転送する請求項１から請求項１８までのいずれかに記載の動画像通信装置。
20. 画像データを生成する画像処理部と、
    前記画像処理部によって生成された画像データを符号変換して符号化データを生成する符号処理部と、
    前記符号処理部よって生成された符号化データからパケットを生成しネットワークに送信するパケット生成部と、
    ネットワークの通信状況が送信不可のときに、前記符号処理部によって生成された符号化データを蓄積するバッファメモリと、
    前記符号処理部から符号化データを受け取り、ネットワークの相手先からの蓄積要求信号が有効のときは前記符号化データを前記バッファメモリに蓄積させ、前記蓄積要求信号が無効のときは、前記バッファメモリに蓄積された符号化データがあればそれを読み出して、なければ前記符号処理部からの符号化データを直接に前記パケット生成部に送出するデータ処理部とを備えた動画像通信装置。
21. さらに、被写体を撮像するためのレンズと、同レンズからの撮像光学像を電気信号に変換しデジタルの画像データに変換して前記画像処理部に送出する画像入力部とを備えている請求項１から請求項２０までのいずれかに記載の動画像通信装置。
22. さらに、音声入力装置からの音声信号をデジタルの音声データに変換する音声入力部と、前記音声入力部により生成された音声データを信号処理し、前記符号処理部に送出する音声処理部とを備え、
    前記符号処理部は、前記画像処理部によって生成された画像データと、前記音声処理部によって生成された音声データとを同期させて符号変換を行う請求項１から請求項２１までのいずれかに記載の動画像通信装置。
23. 請求項１から請求項１９までのいずれかまたは請求項２１または請求項２２に記載の動画像通信装置と、
    前記動画像通信装置より配信されたパケットを復号化する復号処理部を有する再生装置とを備えた動画像通信システム。
24. 請求項２０または請求項２１または請求項２２に記載の動画像通信装置と、
    前記動画像通信装置より配信されたパケットを復号化する復号処理部を有する再生装置とを備えた動画像通信システム。
25. 請求項１から請求項１９までのいずれかまたは請求項２１または請求項２２に記載の動画像通信装置の前記画像処理部と、前記符号処理部と、前記通信処理部と、前記パケット生成部と、前記データ処理部とが搭載されている動画像通信用の半導体集積回路。
26. 請求項２０または請求項２１または請求項２２に記載の動画像通信装置の前記画像処理部と、前記符号処理部と、前記パケット生成部と、前記データ処理部とが搭載されている動画像通信用の半導体集積回路。

Images