JP4196085B2 - 映像信号符号化装置およびそれを用いたテレビ会議システム - Google Patents
映像信号符号化装置およびそれを用いたテレビ会議システム Download PDFInfo
- Publication number
- JP4196085B2 JP4196085B2 JP2003183477A JP2003183477A JP4196085B2 JP 4196085 B2 JP4196085 B2 JP 4196085B2 JP 2003183477 A JP2003183477 A JP 2003183477A JP 2003183477 A JP2003183477 A JP 2003183477A JP 4196085 B2 JP4196085 B2 JP 4196085B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- encoding
- video signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多地点間の端末同士で通信回線を介して双方向の映像伝送を行うテレビ会議システムおよびそれに用いられる映像信号符号化装置に関するものである。
【０００２】
【従来の技術】
従来より、インターネットやＬＡＮを使用したマルチメディアアプリケーションの需要が高まっている。特に近年はインターネットで使用される回線の高速化、広帯域化が進んでおり、映像や音声を高速インターネット回線を通して双方向通信を行うテレビ会議などのシステムが現実的に利用可能になってきている。
【０００３】
一般的なテレビ会議システムとして、ここでは最大５人まで参加可能なテレビ会議システムの構成例を図４に示す。図４において、端末４１〜４５は通信回線を通じて多地点制御装置４６につながっており、相互に通信が可能なシステムとなっている。多地点制御装置４６は各端末から送信される映像や音声データを適切に切替えながら、会議に参加している相手の映像や音声をそれぞれの端末に振り分けて送信する。各端末は多地点制御装置４６から受信した映像データを処理してテレビ画面に表示したり、音声データをスピーカーから出力したりして相手との対話が可能なように適切なユーザインタフェースを備えている。これらのシステムでは映像信号をデジタルデータに変換した後、それぞれの使用する通信回線の帯域に適合した速度で映像データを送受信できるように、データ量の削減を目的として圧縮符号化が行われるのが通常である。ここで用いられる圧縮符号化の方式としては例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格やＨ．２６３規格などの国際標準規格がよく知られている。これらの圧縮符号化方式を用いることにより映像データを通信回線を通して効率良く伝送を行うことが可能となっている。
【０００４】
このような構成のテレビ会議システムにおいては、複数の相手の映像をテレビ画面に表示する場合、画面を小画面に分割して表示することにより全員の映像を表示する手法が一般的である。そのような手法で表示される画面の一例を図５に示す。図５はユーザ１が操作している端末４１側のテレビ画面に表示される映像を表しており、会議の他の参加者ユーザ２〜ユーザ５の映像が小画面に分割されて表示される様子である。このように受信した複数の映像データを小画面に分割して表示する手法としては、従来では各々の相手から受信した映像データを複数のデコーダ（復号化装置）で並列処理でデコードを行い、その結果の映像を受信側の端末で合成して表示する手法が多く用いられていた。
【０００５】
そのような手法を用いたシステムでの端末構成の例を図６に示す。図６において、端末６１に入力された映像信号は入力処理手段６０１でデジタル変換された後に符号化手段６０２に出力される。符号化手段６０２はデジタル化された映像信号を圧縮符号化を行いデータストリーム形式にして送信手段６０３に出力する。送信手段６０３は映像データストリームを通信回線を通して多地点制御装置６３に向けて送信を行う。ここまでが端末の送信処理の様子である。次に端末の受信処理としては、多地点制御装置６３から受信した複数の参加者の映像データを端末６２の受信手段６０４が受信した後、それらを複数の復号化手段６０５にて並列に復号化を行ってそれぞれのデジタル映像信号に変換して出力する。それらのデジタル映像信号は合成表示手段６０６にてひとつの映像として合成され、図５のような表示形式にてテレビ画面に表示される。しかしこのような手法では、端末の受信処理の中で複数の復号化装置を備えたり、合成表示装置を備える必要があり、複雑な回路構成になって規模が大きくなるという問題点があった。そのような問題を解決するため、特許文献１に記載されているように、端末側で合成するのではなく、多地点制御装置側で合成を行うようにする手法がある。本手法の動作を図７を用いて簡単に説明する。端末７１における入力処理手段７０１および符号化手段７０２の動作は図６における入力処理手段６０１および符号化手段６０２と同様である。図７において、送信手段７０３は符号化手段７０２から入力される映像データストリームの内、映像の１／４の領域部分だけ取り出した映像データストリームを通信回線に送信する。多地点制御装置７３では、各端末から送信された１／４領域部分の映像データストリームを合成して４画面分でひとつの映像データストリームを再構成して各端末に送信する。端末７２では多地点制御装置７３からの映像データを受信手段７０４が受信した後、復号化手段７０５にて復号化を行ってデジタル映像信号に変換して出力する。多地点制御装置７３からのデジタル映像信号は端末の受信側では４画面を意識することなくひとつの映像データストリームとして復号化を行い表示するだけで、図５に示すような４画面分の映像を表示することができる。
【０００６】
このような手法によれば、端末の受信側の回路構成を簡素化することができる。
【０００７】
【特許文献１】
特開平４−７２８８７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記のような従来手法ではＭＰＥＧ規格のような圧縮符号化方式を用いた場合、符号化出力のデータストリーム上では画面内及び画面間での相関があるために、符号化データから単純に１／４領域部分のデータだけ取り出しても正しい映像として合成することはできない。また、これらの圧縮符号化方式では可変長符号化を行っており、画像ごとのデータ量は一般に変動しているため、多地点制御装置側で合成を行うとデータ量の変動が原因となって合成遅延が発生するという問題がある。
【０００９】
本発明は上記従来の問題点を解決するもので、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、より映像品質の高いテレビ会議システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１に記載の発明は、通信回線を介して双方向の映像伝送を行うテレビ会議システムに用いられる映像信号符号化装置であって、入力された映像信号をデジタル処理して変換しデジタル映像として出力する入力処理手段と、前記入力処理手段から出力されたデジタル映像を蓄積するフレームメモリと、前記フレームメモリからデジタル映像を取り出し圧縮符号化して出力する符号化手段と、前記符号化手段から出力されたデータを一時的に蓄積しておくバッファと、前記バッファから出力されたデータを通信路を介して送信する送信手段と、前記バッファに蓄積されるデータのデータ量を監視して、前記データ量が所定のしきい値を越えると入力フレーム制御手段と符号化制御手段とにデータ量が閾値を超えたことを通知するための制御情報を出力するデータ量監視手段と、前記データ量監視手段から出力される制御情報に基づいて次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう前記フレームメモリに蓄積されているデジタル映像の配置を制御する入力フレーム制御手段と、前記データ量監視手段から出力される制御情報に基づいて符号化処理を打ち切って残りの画像領域はｎｏｔ＿ｃｏｄｅｄデータとして出力するよう前記符号化手段を制御する符号化制御手段を有することを特徴とする映像信号符号化装置である。
【００１１】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１２】
本発明の請求項２に記載の発明は、前記入力処理手段は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力することを特徴とする請求項１記載の映像信号符号化装置である。
【００１３】
このように構成することにより、縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減する。
【００１４】
本発明の請求項３に記載の発明は、前記符号化手段はＭＰＥＧ４規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置である。
【００１５】
このように構成することにより、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１６】
本発明の請求項４に記載の発明は、前記符号化手段はＭＰＥＧ４規格のビデオパケットをひとつのマクロブロックラインごとに構成し、動きベクトルは必ず画面内を指すよう符号化することを特徴とする請求項３記載の映像信号符号化装置である。
【００１７】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１８】
本発明の請求項５に記載の発明は、前記符号化手段はＨ．２６３規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置である。
【００１９】
このように構成することにより、Ｈ．２６３規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にＧＯＢ単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００２０】
本発明の請求項６に記載の発明は、請求項１〜５のいずれかに記載の映像信号符号化装置を備えたテレビ会議システムである。
【００２１】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位またはＧＯＢ単位で組み替えるだけで、一つのデータストリームとして受信側に送信することができる。受信側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図３を用いて説明する。
【００２３】
（実施の形態１）
図１は本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図である。図１において、映像信号符号化装置は、テレビ会議を行うために自分の映像を映すカメラなどからの映像信号を入力とする。入力された映像信号は入力処理手段１０１においてデジタル映像信号に変換される。このとき、入力処理手段１０１は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力するようにする。すなわち、例えば入力映像信号を水平垂直方向ともに１／２にして全体の１／４の大きさになるよう縮小してデジタル映像として出力する。このように縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減するという効果も期待できる。１／４に縮小化されたデジタル映像データはフレームメモリ１０２にて一時的に蓄積される。通常はここで一時的に蓄積されたデジタル映像データはそのまま符号化手段１０３に入力され、例えばＭＰＥＧ４規格にて圧縮符号化処理が行われる。
【００２４】
ここで符号化手段１０３の処理について図２を用いて詳細に説明する。ＭＰＥＧ４規格においては１枚の映像フレームを複数の領域に分割したビデオパケットという符号化単位がある。またビデオパケットをさらに１６画素×１６画素単位で分割したマクロブロックという符号化単位がある。符号化手段１０３では、図２（ａ）に示すように水平方向に一列分のマクロブロックラインでひとつのビデオパケットとなるように構成して符号化処理を行う。またフレーム間符号化を行う際に用いられる動きベクトルの探索範囲を必ず画像の内側を指すように符号化処理を行う。このような条件で符号化することにより、図２（ｂ）に示すように多地点制御装置では複数の端末から送信された映像データをビデオパケットごとに組み替えて合成することで、映像の乱れのない正しい合成映像を生成することが可能となる。なお、Ｈ．２６３規格においてはＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋ）という符号化単位がある。ＧＯＢも１枚の映像フレームを複数の領域に分割する一要素であり、複数のマクロブロックから構成される。前記ＭＰＥＧ４規格においてビデオパケット単位で処理を行う場合と同様に、Ｈ．２６３規格ではＧＯＢ単位で処理を行うことにより、同様の効果が得られる。
【００２５】
このようにして符号化処理された結果のデータストリームは、ビデオパケット単位でバッファ１０４に出力され一時的に蓄積される。ここで一時的に蓄積されるビデオパケット単位のデータストリームのデータ量は、データ量監視手段１０７によって監視されており、１画像フレーム分のデータが蓄積されるまでにある一定の閾値（ＶＯＰｍａｘ）以内にデータ量がおさまっているかどうかが常にチェックされる。１画像フレーム分のデータ量が閾値（ＶＯＰｍａｘ）以内におさまっているときはそのまま送信手段１０８によって通信回線を介して多地点制御装置に向けて送信される。
【００２６】
一方、１画像フレーム分のデータが蓄積されるまでにデータ量が閾値（ＶＯＰｍａｘ）を超えるとき、データ量監視手段１０７は、入力フレーム制御手段１０５と符号化制御手段１０６に対して、データ量が閾値を超えたことを通知するための制御情報を出力する。このとき、制御情報を受けた符号化制御手段１０６は符号化手段１０３に対して、現在の画像フレームの符号化処理をその時点のビデオパケットで打ち切って残りの画像領域のビデオパケットはｎｏｔ＿ｃｏｄｅｄデータとして出力するよう制御を行う。ｎｏｔ＿ｃｏｄｅｄデータとは、ＭＰＥＧ規格においてフレーム間符号化の際に、時間軸上でひとつ前の画像フレームとまったく同じ画像であることを示す符号である。ｎｏｔ＿ｃｏｄｅｄデータ自身のデータ量は著しく小さいため、データ量を増加させることなく１画像フレーム分のデータとして完結させることができる。このような打ち切り処理を行った場合、その該当画像フレームを復号化すると、途中のビデオパケット以降の領域はひとつ前の画像データとして復号される。残りの領域の画像データを次の画像フレームで復号化処理時に再構成可能とするため、入力フレーム制御手段１０５は、フレームメモリ１０２に蓄積されている次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう制御する。このような書き換え処理を行うことにより、符号化手段１０３は次の画像フレームの符号化処理の際に、打ち切り処理を行った一つ前の画像フレームの残りの領域を符号化することになり、復号化処理時にはここで完結した画像フレームを再構成することが可能となる。このような打ち切り処理を行うことにより、符号化結果のデータストリームのデータ量の変動を最小限に抑えることができ、通信路を介して送信される映像データを均一化することができ、多地点制御装置での合成処理による遅延を抑えることが可能となる。この作用については次にさらに詳細な説明を行う。
【００２７】
ここで本実施の形態の映像信号符号化装置が処理を行う打ち切り処理について、図３を用いて説明する。
【００２８】
一般的にＭＰＥＧ規格やＨ．２６３規格などの映像信号に対する圧縮符号化方式では映像の特徴によって、また可変長符号化を行うため符号化結果のデータ量が変動する。
【００２９】
図３（ａ）はその様子を模式的に表したものである。Ｐ１〜Ｐ４は時間順に並べた映像フレームを表している。矩形の高さがそれぞれの映像フレームに対するデータ量を表している。図３（ａ）の場合では、映像フレームＰ２の符号化結果のデータ量が多くなっている。このようなとき、このデータを通信路を介して送信すると、データ量が多い映像フレームＰ２の映像データの送信には他よりも時間がかかり、多地点制御装置への到着も遅延することになる。すると、多地点制御装置ではこの映像フレームＰ２の映像データが到着しないために他の端末から受信した映像データとの合成処理に支障をきたすことになる。もしも映像フレームＰ２の映像データが到着するまで合成処理を待つとその分の遅延が発生し、その後の映像フレームＰ３、Ｐ４の合成処理にも遅延が影響するという問題がある。一方、映像フレームＰ２の映像データの到着を待たず、映像フレームＰ２の映像を捨てて合成処理を行うと次の映像フレームＰ３以降の映像データと整合が取れず、復号化処理で映像の乱れが発生するという問題がある。そこで本発明では、映像フレームＰ２の符号化時にデータ量が閾値（ＶＯＰｍａｘ）を超えるときには符号化をその時点のビデオパケットで打ち切って、それ以上データ量が増加するのを防ぐ。その様子を表したのが図３（ｂ）である。映像フレームＰ２の符号化時には途中で打ち切っているため、映像フレームＰ２の映像データを完結させるために次の映像フレームＰ３の符号化を行う前に映像フレームＰ２の映像で書き換える。そうすることにより、映像フレームＰ２の映像の残りの領域の符号化が行われて、この時点で映像フレームＰ２の映像データが完結する。
【００３０】
このような処理を行うことにより、ＭＰＥＧ規格などの圧縮符号化方式においてもデータ量の変動を抑えて均一化されたデータストリームを生成することができる。その結果、そのデータストリームを通信回線を介して多地点制御装置に送信した際に、均一なデータ受信が可能となり、多地点制御装置での映像合成処理が正しく行われ、ユーザにとっても違和感の少ない高品質な合成映像を提供することが可能となる。
【００３１】
【発明の効果】
以上のように本発明によれば、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、遅延が少なくより映像品質の高い映像信号符号化装置およびテレビ会議システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図
【図２】本発明の映像信号符号化装置の符号化処理のデータ構成を示す説明図
【図３】本発明の映像信号符号化装置の符号化処理の詳細を示す説明図
【図４】多地点間のテレビ会議システムの装置構成を示すブロック図
【図５】端末側のテレビ画面で表示される合成映像を示す模式図
【図６】従来のテレビ会議システムの構成を示すブロック図
【図７】従来のテレビ会議システムの構成を示すブロック図
【符号の説明】
１０１ 入力処理手段
１０２ フレームメモリ
１０３ 符号化手段
１０４ バッファ
１０５ 入力フレーム制御手段
１０６ 符号化制御手段
１０７ データ量監視手段
１０８ 送信手段
【発明の属する技術分野】
本発明は、多地点間の端末同士で通信回線を介して双方向の映像伝送を行うテレビ会議システムおよびそれに用いられる映像信号符号化装置に関するものである。
【０００２】
【従来の技術】
従来より、インターネットやＬＡＮを使用したマルチメディアアプリケーションの需要が高まっている。特に近年はインターネットで使用される回線の高速化、広帯域化が進んでおり、映像や音声を高速インターネット回線を通して双方向通信を行うテレビ会議などのシステムが現実的に利用可能になってきている。
【０００３】
一般的なテレビ会議システムとして、ここでは最大５人まで参加可能なテレビ会議システムの構成例を図４に示す。図４において、端末４１〜４５は通信回線を通じて多地点制御装置４６につながっており、相互に通信が可能なシステムとなっている。多地点制御装置４６は各端末から送信される映像や音声データを適切に切替えながら、会議に参加している相手の映像や音声をそれぞれの端末に振り分けて送信する。各端末は多地点制御装置４６から受信した映像データを処理してテレビ画面に表示したり、音声データをスピーカーから出力したりして相手との対話が可能なように適切なユーザインタフェースを備えている。これらのシステムでは映像信号をデジタルデータに変換した後、それぞれの使用する通信回線の帯域に適合した速度で映像データを送受信できるように、データ量の削減を目的として圧縮符号化が行われるのが通常である。ここで用いられる圧縮符号化の方式としては例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格やＨ．２６３規格などの国際標準規格がよく知られている。これらの圧縮符号化方式を用いることにより映像データを通信回線を通して効率良く伝送を行うことが可能となっている。
【０００４】
このような構成のテレビ会議システムにおいては、複数の相手の映像をテレビ画面に表示する場合、画面を小画面に分割して表示することにより全員の映像を表示する手法が一般的である。そのような手法で表示される画面の一例を図５に示す。図５はユーザ１が操作している端末４１側のテレビ画面に表示される映像を表しており、会議の他の参加者ユーザ２〜ユーザ５の映像が小画面に分割されて表示される様子である。このように受信した複数の映像データを小画面に分割して表示する手法としては、従来では各々の相手から受信した映像データを複数のデコーダ（復号化装置）で並列処理でデコードを行い、その結果の映像を受信側の端末で合成して表示する手法が多く用いられていた。
【０００５】
そのような手法を用いたシステムでの端末構成の例を図６に示す。図６において、端末６１に入力された映像信号は入力処理手段６０１でデジタル変換された後に符号化手段６０２に出力される。符号化手段６０２はデジタル化された映像信号を圧縮符号化を行いデータストリーム形式にして送信手段６０３に出力する。送信手段６０３は映像データストリームを通信回線を通して多地点制御装置６３に向けて送信を行う。ここまでが端末の送信処理の様子である。次に端末の受信処理としては、多地点制御装置６３から受信した複数の参加者の映像データを端末６２の受信手段６０４が受信した後、それらを複数の復号化手段６０５にて並列に復号化を行ってそれぞれのデジタル映像信号に変換して出力する。それらのデジタル映像信号は合成表示手段６０６にてひとつの映像として合成され、図５のような表示形式にてテレビ画面に表示される。しかしこのような手法では、端末の受信処理の中で複数の復号化装置を備えたり、合成表示装置を備える必要があり、複雑な回路構成になって規模が大きくなるという問題点があった。そのような問題を解決するため、特許文献１に記載されているように、端末側で合成するのではなく、多地点制御装置側で合成を行うようにする手法がある。本手法の動作を図７を用いて簡単に説明する。端末７１における入力処理手段７０１および符号化手段７０２の動作は図６における入力処理手段６０１および符号化手段６０２と同様である。図７において、送信手段７０３は符号化手段７０２から入力される映像データストリームの内、映像の１／４の領域部分だけ取り出した映像データストリームを通信回線に送信する。多地点制御装置７３では、各端末から送信された１／４領域部分の映像データストリームを合成して４画面分でひとつの映像データストリームを再構成して各端末に送信する。端末７２では多地点制御装置７３からの映像データを受信手段７０４が受信した後、復号化手段７０５にて復号化を行ってデジタル映像信号に変換して出力する。多地点制御装置７３からのデジタル映像信号は端末の受信側では４画面を意識することなくひとつの映像データストリームとして復号化を行い表示するだけで、図５に示すような４画面分の映像を表示することができる。
【０００６】
このような手法によれば、端末の受信側の回路構成を簡素化することができる。
【０００７】
【特許文献１】
特開平４−７２８８７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記のような従来手法ではＭＰＥＧ規格のような圧縮符号化方式を用いた場合、符号化出力のデータストリーム上では画面内及び画面間での相関があるために、符号化データから単純に１／４領域部分のデータだけ取り出しても正しい映像として合成することはできない。また、これらの圧縮符号化方式では可変長符号化を行っており、画像ごとのデータ量は一般に変動しているため、多地点制御装置側で合成を行うとデータ量の変動が原因となって合成遅延が発生するという問題がある。
【０００９】
本発明は上記従来の問題点を解決するもので、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、より映像品質の高いテレビ会議システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の請求項１に記載の発明は、通信回線を介して双方向の映像伝送を行うテレビ会議システムに用いられる映像信号符号化装置であって、入力された映像信号をデジタル処理して変換しデジタル映像として出力する入力処理手段と、前記入力処理手段から出力されたデジタル映像を蓄積するフレームメモリと、前記フレームメモリからデジタル映像を取り出し圧縮符号化して出力する符号化手段と、前記符号化手段から出力されたデータを一時的に蓄積しておくバッファと、前記バッファから出力されたデータを通信路を介して送信する送信手段と、前記バッファに蓄積されるデータのデータ量を監視して、前記データ量が所定のしきい値を越えると入力フレーム制御手段と符号化制御手段とにデータ量が閾値を超えたことを通知するための制御情報を出力するデータ量監視手段と、前記データ量監視手段から出力される制御情報に基づいて次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう前記フレームメモリに蓄積されているデジタル映像の配置を制御する入力フレーム制御手段と、前記データ量監視手段から出力される制御情報に基づいて符号化処理を打ち切って残りの画像領域はｎｏｔ＿ｃｏｄｅｄデータとして出力するよう前記符号化手段を制御する符号化制御手段を有することを特徴とする映像信号符号化装置である。
【００１１】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１２】
本発明の請求項２に記載の発明は、前記入力処理手段は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力することを特徴とする請求項１記載の映像信号符号化装置である。
【００１３】
このように構成することにより、縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減する。
【００１４】
本発明の請求項３に記載の発明は、前記符号化手段はＭＰＥＧ４規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置である。
【００１５】
このように構成することにより、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１６】
本発明の請求項４に記載の発明は、前記符号化手段はＭＰＥＧ４規格のビデオパケットをひとつのマクロブロックラインごとに構成し、動きベクトルは必ず画面内を指すよう符号化することを特徴とする請求項３記載の映像信号符号化装置である。
【００１７】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００１８】
本発明の請求項５に記載の発明は、前記符号化手段はＨ．２６３規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置である。
【００１９】
このように構成することにより、Ｈ．２６３規格のような圧縮符号化方式を用いた場合でも、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にＧＯＢ単位で組み替えるだけで、一つのデータストリームとして受信端末側に送信することができる。受信端末側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００２０】
本発明の請求項６に記載の発明は、請求項１〜５のいずれかに記載の映像信号符号化装置を備えたテレビ会議システムである。
【００２１】
このように構成することにより、多地点制御装置は、それぞれの端末から送信されるデータをフレーム毎にビデオパケット単位またはＧＯＢ単位で組み替えるだけで、一つのデータストリームとして受信側に送信することができる。受信側では受信した一つのデータストリームとして単にデコードするだけで、複数画面が合成された映像を表示することができ、かつ合成による遅延の少ない高品質な映像が得られる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図３を用いて説明する。
【００２３】
（実施の形態１）
図１は本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図である。図１において、映像信号符号化装置は、テレビ会議を行うために自分の映像を映すカメラなどからの映像信号を入力とする。入力された映像信号は入力処理手段１０１においてデジタル映像信号に変換される。このとき、入力処理手段１０１は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力するようにする。すなわち、例えば入力映像信号を水平垂直方向ともに１／２にして全体の１／４の大きさになるよう縮小してデジタル映像として出力する。このように縮小処理を入力段階で行うことによって符号化処理やデータ処理の負荷が軽減するという効果も期待できる。１／４に縮小化されたデジタル映像データはフレームメモリ１０２にて一時的に蓄積される。通常はここで一時的に蓄積されたデジタル映像データはそのまま符号化手段１０３に入力され、例えばＭＰＥＧ４規格にて圧縮符号化処理が行われる。
【００２４】
ここで符号化手段１０３の処理について図２を用いて詳細に説明する。ＭＰＥＧ４規格においては１枚の映像フレームを複数の領域に分割したビデオパケットという符号化単位がある。またビデオパケットをさらに１６画素×１６画素単位で分割したマクロブロックという符号化単位がある。符号化手段１０３では、図２（ａ）に示すように水平方向に一列分のマクロブロックラインでひとつのビデオパケットとなるように構成して符号化処理を行う。またフレーム間符号化を行う際に用いられる動きベクトルの探索範囲を必ず画像の内側を指すように符号化処理を行う。このような条件で符号化することにより、図２（ｂ）に示すように多地点制御装置では複数の端末から送信された映像データをビデオパケットごとに組み替えて合成することで、映像の乱れのない正しい合成映像を生成することが可能となる。なお、Ｈ．２６３規格においてはＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋ）という符号化単位がある。ＧＯＢも１枚の映像フレームを複数の領域に分割する一要素であり、複数のマクロブロックから構成される。前記ＭＰＥＧ４規格においてビデオパケット単位で処理を行う場合と同様に、Ｈ．２６３規格ではＧＯＢ単位で処理を行うことにより、同様の効果が得られる。
【００２５】
このようにして符号化処理された結果のデータストリームは、ビデオパケット単位でバッファ１０４に出力され一時的に蓄積される。ここで一時的に蓄積されるビデオパケット単位のデータストリームのデータ量は、データ量監視手段１０７によって監視されており、１画像フレーム分のデータが蓄積されるまでにある一定の閾値（ＶＯＰｍａｘ）以内にデータ量がおさまっているかどうかが常にチェックされる。１画像フレーム分のデータ量が閾値（ＶＯＰｍａｘ）以内におさまっているときはそのまま送信手段１０８によって通信回線を介して多地点制御装置に向けて送信される。
【００２６】
一方、１画像フレーム分のデータが蓄積されるまでにデータ量が閾値（ＶＯＰｍａｘ）を超えるとき、データ量監視手段１０７は、入力フレーム制御手段１０５と符号化制御手段１０６に対して、データ量が閾値を超えたことを通知するための制御情報を出力する。このとき、制御情報を受けた符号化制御手段１０６は符号化手段１０３に対して、現在の画像フレームの符号化処理をその時点のビデオパケットで打ち切って残りの画像領域のビデオパケットはｎｏｔ＿ｃｏｄｅｄデータとして出力するよう制御を行う。ｎｏｔ＿ｃｏｄｅｄデータとは、ＭＰＥＧ規格においてフレーム間符号化の際に、時間軸上でひとつ前の画像フレームとまったく同じ画像であることを示す符号である。ｎｏｔ＿ｃｏｄｅｄデータ自身のデータ量は著しく小さいため、データ量を増加させることなく１画像フレーム分のデータとして完結させることができる。このような打ち切り処理を行った場合、その該当画像フレームを復号化すると、途中のビデオパケット以降の領域はひとつ前の画像データとして復号される。残りの領域の画像データを次の画像フレームで復号化処理時に再構成可能とするため、入力フレーム制御手段１０５は、フレームメモリ１０２に蓄積されている次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう制御する。このような書き換え処理を行うことにより、符号化手段１０３は次の画像フレームの符号化処理の際に、打ち切り処理を行った一つ前の画像フレームの残りの領域を符号化することになり、復号化処理時にはここで完結した画像フレームを再構成することが可能となる。このような打ち切り処理を行うことにより、符号化結果のデータストリームのデータ量の変動を最小限に抑えることができ、通信路を介して送信される映像データを均一化することができ、多地点制御装置での合成処理による遅延を抑えることが可能となる。この作用については次にさらに詳細な説明を行う。
【００２７】
ここで本実施の形態の映像信号符号化装置が処理を行う打ち切り処理について、図３を用いて説明する。
【００２８】
一般的にＭＰＥＧ規格やＨ．２６３規格などの映像信号に対する圧縮符号化方式では映像の特徴によって、また可変長符号化を行うため符号化結果のデータ量が変動する。
【００２９】
図３（ａ）はその様子を模式的に表したものである。Ｐ１〜Ｐ４は時間順に並べた映像フレームを表している。矩形の高さがそれぞれの映像フレームに対するデータ量を表している。図３（ａ）の場合では、映像フレームＰ２の符号化結果のデータ量が多くなっている。このようなとき、このデータを通信路を介して送信すると、データ量が多い映像フレームＰ２の映像データの送信には他よりも時間がかかり、多地点制御装置への到着も遅延することになる。すると、多地点制御装置ではこの映像フレームＰ２の映像データが到着しないために他の端末から受信した映像データとの合成処理に支障をきたすことになる。もしも映像フレームＰ２の映像データが到着するまで合成処理を待つとその分の遅延が発生し、その後の映像フレームＰ３、Ｐ４の合成処理にも遅延が影響するという問題がある。一方、映像フレームＰ２の映像データの到着を待たず、映像フレームＰ２の映像を捨てて合成処理を行うと次の映像フレームＰ３以降の映像データと整合が取れず、復号化処理で映像の乱れが発生するという問題がある。そこで本発明では、映像フレームＰ２の符号化時にデータ量が閾値（ＶＯＰｍａｘ）を超えるときには符号化をその時点のビデオパケットで打ち切って、それ以上データ量が増加するのを防ぐ。その様子を表したのが図３（ｂ）である。映像フレームＰ２の符号化時には途中で打ち切っているため、映像フレームＰ２の映像データを完結させるために次の映像フレームＰ３の符号化を行う前に映像フレームＰ２の映像で書き換える。そうすることにより、映像フレームＰ２の映像の残りの領域の符号化が行われて、この時点で映像フレームＰ２の映像データが完結する。
【００３０】
このような処理を行うことにより、ＭＰＥＧ規格などの圧縮符号化方式においてもデータ量の変動を抑えて均一化されたデータストリームを生成することができる。その結果、そのデータストリームを通信回線を介して多地点制御装置に送信した際に、均一なデータ受信が可能となり、多地点制御装置での映像合成処理が正しく行われ、ユーザにとっても違和感の少ない高品質な合成映像を提供することが可能となる。
【００３１】
【発明の効果】
以上のように本発明によれば、ＭＰＥＧ規格のような圧縮符号化方式を用いた場合でも多地点制御装置側で合成が可能となり、端末の回路構成の簡素化を実現できるようになる。また可変長符号化によるデータ量変動を考慮した符号化制御を行うことにより、遅延が少なくより映像品質の高い映像信号符号化装置およびテレビ会議システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である映像信号符号化装置の構成を示すブロック図
【図２】本発明の映像信号符号化装置の符号化処理のデータ構成を示す説明図
【図３】本発明の映像信号符号化装置の符号化処理の詳細を示す説明図
【図４】多地点間のテレビ会議システムの装置構成を示すブロック図
【図５】端末側のテレビ画面で表示される合成映像を示す模式図
【図６】従来のテレビ会議システムの構成を示すブロック図
【図７】従来のテレビ会議システムの構成を示すブロック図
【符号の説明】
１０１ 入力処理手段
１０２ フレームメモリ
１０３ 符号化手段
１０４ バッファ
１０５ 入力フレーム制御手段
１０６ 符号化制御手段
１０７ データ量監視手段
１０８ 送信手段
Claims (6)
- 通信回線を介して映像伝送を行うテレビ会議システムに用いられる映像信号符号化装置であって、
入力された映像信号をデジタル処理して変換しデジタル映像として出力する入力処理手段と、
前記入力処理手段から出力されたデジタル映像を蓄積するフレームメモリと、
前記フレームメモリからデジタル映像を取り出し圧縮符号化して出力する符号化手段と、
前記符号化手段から出力されたデータを一時的に蓄積しておくバッファと、
前記バッファから出力されたデータを通信回線を介して送信する送信手段と、
前記バッファに蓄積されるデータのデータ量を監視して、前記データ量が所定のしきい値を越えると入力フレーム制御手段と符号化制御手段とにデータ量が閾値を超えたことを通知するための制御情報を出力するデータ量監視手段と、
前記データ量監視手段から出力される制御情報に基づいて次のデジタル映像データを現在符号化処理に使用しているひとつ前のデジタル映像データで書き換えるよう前記フレームメモリに蓄積されているデジタル映像の配置を制御する入力フレーム制御手段と、
前記データ量監視手段から出力される制御情報に基づいて符号化処理を打ち切って残りの画像領域はｎｏｔ＿ｃｏｄｅｄデータとして出力するよう前記符号化手段を制御する符号化制御手段とを有することを特徴とする映像信号符号化装置。 - 前記入力処理手段は入力された映像信号をデジタル変換する際に、あらかじめ符号化すべき映像の大きさに変換してデジタル映像を生成して出力することを特徴とする請求項１記載の映像信号符号化装置。
- 前記符号化手段はＭＰＥＧ４規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置。
- 前記符号化手段はＭＰＥＧ４規格のビデオパケットをひとつのマクロブロックラインごとに構成し、動きベクトルは必ず画面内を指すよう符号化することを特徴とする請求項３記載の映像信号符号化装置。
- 前記符号化手段はＨ．２６３規格に基づいて符号化することを特徴とする請求項１記載の映像信号符号化装置。
- 請求項１〜５のいずれかに記載の映像信号符号化装置を備えたテレビ会議システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183477A JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183477A JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020466A JP2005020466A (ja) | 2005-01-20 |
| JP4196085B2 true JP4196085B2 (ja) | 2008-12-17 |
Family
ID=34183572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003183477A Expired - Fee Related JP4196085B2 (ja) | 2003-06-26 | 2003-06-26 | 映像信号符号化装置およびそれを用いたテレビ会議システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4196085B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4795141B2 (ja) * | 2006-06-29 | 2011-10-19 | パナソニック株式会社 | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム |
-
2003
- 2003-06-26 JP JP2003183477A patent/JP4196085B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020466A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4712238B2 (ja) | 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法 | |
| US8687114B2 (en) | Video quality adaptation based upon scenery | |
| US8184636B2 (en) | Information processing device and method, and computer readable medium for packetizing and depacketizing data | |
| US8649426B2 (en) | Low latency high resolution video encoding | |
| US8760492B2 (en) | Method and system for switching between video streams in a continuous presence conference | |
| US20110274180A1 (en) | Method and apparatus for transmitting and receiving layered coded video | |
| WO2016126749A1 (en) | Video decoding | |
| JP2004529553A (ja) | 固定帯域幅ネットワークにおける複数の圧縮ビデオストリームのための適応帯域幅フットプリントマッチング | |
| KR100878809B1 (ko) | 비디오 신호의 디코딩 방법 및 이의 장치 | |
| JP4244394B2 (ja) | 多地点会議システム | |
| EP1575294A1 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
| US20070195878A1 (en) | Device and method for receiving video data | |
| JP2933132B2 (ja) | 多地点テレビ会議制御装置及び画面合成符号化方法 | |
| JP2000224584A (ja) | 画像符号化装置および動画像伝送システム | |
| US6560280B1 (en) | Video transmission system | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| JP2006197321A (ja) | 画像処理方法および装置、並びにプログラム | |
| US20100037281A1 (en) | Missing frame generation with time shifting and tonal adjustments | |
| US20080008241A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| JP3913726B2 (ja) | 多地点テレビ会議制御装置及び多地点テレビ会議システム | |
| JP3655363B2 (ja) | 情報通信システムおよびセンター局 | |
| US20070242747A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| JPH10262228A (ja) | 通信システム、多地点制御装置、映像情報表示方法 | |
| JP2001346207A (ja) | 画像情報変換装置及び方法 | |
| JP3359143B2 (ja) | 画像処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060223 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |