JP3586484B2 - 多地点会議用画面合成システムおよび方法 - Google Patents
多地点会議用画面合成システムおよび方法 Download PDFInfo
- Publication number
- JP3586484B2 JP3586484B2 JP30497594A JP30497594A JP3586484B2 JP 3586484 B2 JP3586484 B2 JP 3586484B2 JP 30497594 A JP30497594 A JP 30497594A JP 30497594 A JP30497594 A JP 30497594A JP 3586484 B2 JP3586484 B2 JP 3586484B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- data
- gob
- signal
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、複数のテレビ会議端末の各テレビ画面をデータ圧縮した符号化データで画面合成して、合成した符号化データを端末へ送出する多地点会議用画面合成システムおよび方法に関し、特に、符号化データの蓄積回路を簡素化し、復号器で画像を再生するまでの遅延時間を短縮した多地点会議用画面合成システムおよび方法に関する。
【０００２】
【従来の技術】
従来、この種の多地点会議用画面合成システムでは、多地点制御装置（ＭＣＵ）２６が、図７に示されるように、例えば、４つの地点の各テレビ会議端末Ａ〜Ｄから符号化された画面データを受け、合成多重化して各テレビ会議端末Ａ〜Ｄへ送出する場合、端末Ａ〜Ｄからの画面データが１画面分揃った時、符号化データの最小単位として規定されるＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ）の単位で読み出して、１画面分の画像データを作成している。
【０００３】
各テレビ会議端末Ａ〜Ｄは符号器２１ａ〜２１ｄを有し、これら符号器２１ａ〜２１ｄが、テレビジョンの連続した画像信号、即ち、カメラ信号Ａ〜Ｄを受け、受けた画像信号をＩＴＵ−Ｔで標準化されたＨ．２６１方式に準拠した符号化手順により符号化し、音声、制御信号等と多重化して出力する。
【０００４】
ここで、画面データの構造について説明する。画面データのフォーマットとして採用されるＣＩＦ（共通中間フォーマット）方式は、ＮＴＳＣ方式とＰＡＬ方式とに共通なフォーマットとして定められており、１画面（ピクチャ）を１フレームとして、ＧＯＢ、マクロブロック、ブロックの順に階層構造を採用している。１フレームはＧＯＢを６×２（縦×横）個集めたものであり、ＧＯＢは３×１１のマクロブロックのデータから構成され、マクロブロックは２×２個のブロックで構成され、また、ブロックは８×８の画素から構成されている。
【０００５】
フレーム、及びＧＯＢは、ユニーク語からなる識別符号、モード符号等、必要な情報を付加され、符号化データとして形成される。マクロブロック、及びブロックは、アドレスを付加され、必要なビットデータだけで構成される。このように、ＧＯＢは、ユニーク語の識別符号を有するため、復号化する際、符号化された画像データのブロックの区切りを識別出来る最小の単位を構成している。また、縦と横とを各々１／２に解像度を落としたものがＱＣＩＦ（４分共通中間フォーマット）方式として定められ、このＱＣＩＦ方式では、１画面は３つのＧＯＢによって構成されている。
【０００６】
ここで、図示された各端末Ａ〜Ｄの符号器２１ａ〜２１ｄは、ＱＣＩＦ方式により、１画面について３つのＧＯＢを多地点制御装置（ＭＣＵ）２６に送出しているものとする。即ち、図８に示されるように、符号器２１ａからはＧＯＢａ１〜ａ３が送出され、他の各符号器２１ｂ〜２１ｄからはＧＯＢｂ１、ｂ２、ｂ３，〜ｄ１、ｄ２、ｄ３、がそれぞれ送出されている。
【０００７】
図７の多地点制御装置（ＭＣＵ）２６は、バッファメモリ２２ａ〜２２ｄ、画面蓄積回路２３、制御回路２４、及び、合成多重化回路２５を有している。バッファメモリ２２ａ〜２２ｄは、各符号器２１ａ〜２１ｄから出力された画像信号の符号化データを、１画面について３つずつのＧＯＢａ１〜ａ３、ＧＯＢｂ１〜ｂ３、ＧＯＢｃ１〜ｃ３、ＧＯＢｄ１〜ｄ３を受け、一時記憶し蓄えておく。
【０００８】
画面蓄積回路２３は、各々のバッファメモリ２２ａ〜２２ｄに、１画面分，各々３つ、４端末に対する合計１２のＧＯＢの画面データが蓄えられたことを検出して制御回路２４に通知する。この通知を受けた制御回路２４からの制御信号に基き、、合成多重化回路２５は、バッファメモリ２２ａ〜２２ｄから符号化データを最小単位のＧＯＢで各３つずつ読み出し、図８に示されるように、ＱＣＩＦ方式の４画面のデータ、即ち、１２個のＧＯＢをＣＩＦ方式の１画面のフォーマットに並び変えて画面データを形成し出力する。この場合、各端末Ａ〜Ｄから送られてくる符号化データは、合成多重化回路２５から出力されるビットレートの１／４のビットレートである。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の多地点会議用画面合成システムでは、多地点制御装置（ＭＣＵ）は、各端末Ａ〜Ｄから受けるＱＣＩＦ方式による４画面の全てを、バッファメモリに蓄積された後、ＣＩＦ方式による１画面に合成多重化して出力している。この構成では、各端末Ａ〜Ｄから送られてくる画面データは、同期がとれていないので、各々のバッファメモリに一時蓄積され、全バッファメモリに蓄積され、１フレーム分の画面データが揃った後、合成画面を形成する順序で逐次読み出すことが必要である。
【００１０】
このため、送出が最も遅れた端末からの一画面データがバッファメモリに蓄えられるまでの間に、他の端末からの画面データがバッファメモリからオーバフローしないように、バッファメモリの記憶容量を十分大きくとっておく必要があり、バッファメモリの記憶容量が大きくなるという問題点がある。
【００１１】
また、バッファメモリの記憶容量が大きく、バッファメモリにおける符号化データの出し入れに時間が多くかかるような場合等では、画面が送信端末で送出されてから受信側で４画面合成された復号信号を再生するまでの遅延時間が大きくなる。このような場合、画面を見ながら行う会議形態の画像伝送では、画面の遅延が大きくなる結果、相互の応答に遅れが目立つようになり、違和感が感じられて会議の円滑化を阻害するという問題点がある。
【００１２】
本発明の課題は、各端末から画面データを受けて一時蓄積するバッファメモリの記憶容量の大きさを限定し、且つ、画面データの画面合成、及び送出による遅延時間を短縮出来る多地点会議用画面合成システムを提供することである。
【００１３】
【課題を解決するための手段】
本発明による多地点会議用画面合成システムは、複数のテレビ会議端末から受ける各テレビ画面をデータ圧縮した符号化データで画面合成し、合成した符号化データを各端末が受けて画面表示する多地点会議用画面合成システムにおいて、
前記各端末でＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ，画像信号の符号化データの最小単位）毎に発生する画像信号を受信し、受信する画像信号を前記ＧＯＢ毎に蓄積するバッファメモリ手段と、
少なくとも１つの端末について、その端末のテレビ画面を構成するＧＯＢが１画面分の画面データとして前記バッファメモリの所定箇所に揃っていることを判定し出力するＧＯＢ検出手段と、
この判定出力により画面合成を行うのに必要な順番に前記バッファメモリ手段から前記ＧＯＢを読み出し、読み出すべきＧＯＢの符号化データが蓄積されていなければ蓄積されていないＧＯＢの部分に符号化データ無しであることを示す符号化データＧＯＢ０を挿入して、合成画面の符号化データを合成多重化する合成多重化手段と、前記符号化データＧＯＢ０を挿入しても合成画面の符号化データのビットレートが伝送路のビットレートを超えないように各端末の符号器の出力ビットレートの合計を伝送路ビットレートより小さくしておくビットレート調整手段とを有する多地点制御装置を備え、かつ、前記各端末では、前記符号化データＧＯＢ０が含まれた符号化データを受信した際に受信した符号化データＧＯＢ０による増加分を補償した処理時間で復号化を行う復号化手段とを備えている。
【００１４】
このように、多地点制御装置は画面の符号化データにおける未受信のＧＯＢ部分に符号化データＧＯＢ０を挿入するが、挿入した際でも伝送路のビットレートを超えないようにしているため、他方のこれを受信する各端末の復号化手段が受けた符号化データＧＯＢ０分を削除する処理時間を短縮またはスキップすることにより、各端末から画面データを受けて一時蓄積するバッファメモリの記憶容量の大きさが限定され、且つ、画面データの画面合成、及び送出による遅延時間が短縮される。
【００１５】
すなわち、前記復号化手段は、符号化データを受け、受けた符号化データから画像信号になる画面データを分離して出力する分離回路と、受けた画面データから変換係数の量子化データを分離して送出すると共に、ＧＯＢ番号、動きベクトル等の信号を送出する可変長復号器と、当該可変長復号器から受けた前記ＧＯＢ番号、動きベクトル等の信号を送出して、復号処理の制御を行う制御器と、前記可変長復号器から受けた量子化データを、逆量子化して元の量子化レベルの信号に伸長して送出する逆量子化器と、当該逆量子化器から受けた信号を逆離散コサイン変換して量子化された予測誤差信号を得て送出するＩＤＣＴ（逆離散コサイン変換）器と、当該ＩＤＣＴ器からの予測誤差信号と別に生成する予測信号とを加算し、復号信号を得て送出する加算器と、前記制御器から受けた動きベクトルに応じて適応的に予測信号を求め、次の予測信号を予測出力する動き適応予測器と、前記加算器から受けた復号信号をほぼ１フレーム周期の遅延回路で遅延させ、遅延された信号を前記動き適応予測器へ送出するフレームメモリと、前記加算器から受けた復号信号をディジタル／アナログ変換して出力するＤ／Ａ（ディジタル／アナログ）変換器とを備えることを特徴としている。
【００１６】
【実施例】
次に、本発明について図面を参照して説明する。
【００１７】
図１は本発明の一実施例を示す機能ブロック図である。図１に示された多地点会議用画面合成システムでは、従来例と同様に、画像信号の合成機能を図示して説明し、他の機能については省略する。図１に示される多地点制御装置（ＭＣＵ）１６は端末Ａ〜Ｄに対応するバッファメモリ１２ａ〜１２ｄ、ＧＯＢ検出回路１３、制御回路１４、及び、合成多重化回路１５を有し、制御回路１４内にビットレート調整部１８を有している。図１のＭＣＵ１６が図７のＭＣＵと相違する点は、ＧＯＢ検出回路１３が画面検出回路の代わりに設けられ、また、制御回路１４内にビットレート調整部１８が設けられていることである。
【００１８】
画像を扱うデータ端末Ａ〜Ｄでは、カメラ信号Ａ〜Ｄが各々の符号器１１ａ〜１１ｄにより、画面データ化されると共に、ＱＣＩＦ方式でＧＯＢ単位にデータ圧縮符号化されて、伝送路へ送出される。
【００１９】
各符号器１１ａ〜１１ｄから送出される１フレームの画面は、従来の技術で説明したように、３つのＧＯＢに分割して符号化される。即ち、図２に示されるように、符号器１１ａからはＧＯＢａ１〜ａ３が送出され、各符号器１１ｂ〜１１ｄからはＧＯＢｂ１、ｂ２、ｂ３，〜ｄ１、ｄ２、ｄ３がそれぞれ送出される。送出されるＧＯＢａ１〜ａ３はＭＣＵ１６のバッファメモリ１２ａに一時記憶蓄積される。同様に、ＧＯＢｂ１、ｂ２、ｂ３，〜ＧＯＢｄ１、ｄ２、ｄ３は、バッファメモリ１２ｂ〜１２ｄそれぞれに一時記憶蓄積される。
【００２０】
ＭＣＵ１６のＧＯＢ検出回路１３は、各バッファメモリ１２ａ〜１２ｄに対して画面のどこの位置のＧＯＢが送られてきたかを検出する。バッファメモリ１２ａ〜１２ｄの１つ以上に３つのＧＯＢによる１画面分の画面データが蓄積されると、ＧＯＢ検出回路１３は、制御回路１４にＧＯＢ蓄積の検出信号を送る。制御回路１４は、検出結果に基いて予め定められた周期で４つの画面データを１つの合成画面データに合成するための制御信号を合成多重化回路１５に出力する。合成多重化回路１５は、この制御信号にしたがってバッファメモリ１２ａ〜１２ｄからの４つの画面を合成し、多重化する処理を行い、合成多重化した信号を出力する。
【００２１】
例えば、図２に示されるように、３つのバッファメモリ１２ａ、１２ｃ、１２ｄに各々１画面分のデータ、即ち、各々３つのＧＯＢａ１〜ａ３、ｃ１〜ｃ３、ｄ１〜ｄ３が蓄積された場合、合成多重化回路１５は、バッファメモリ１２ａ、１２ｃ、１２ｄに蓄積されたデータを、制御回路１４の制御にしたがってＣＩＦ方式の１フレームの画面に対応する順番に、ＧＯＢ単位で読み出す。
【００２２】
この場合、合成多重化回路１５は、端末Ｂからの欠けた画面データを、“画面データ無し”、即ち、前の画面と同じである、“前の画面と変化無し”と判定して、３つのＧＯＢｂ１〜ＧＯＢｂ３の代わりにＧＯＢ０のデータを強制的に作成し出力する。この結果、図２に示されるように、１２個のＧＯＢによって構成されるフォーマットがＣＩＦ方式のデータ列として合成され、合成多重化回路１５によって出力される。
【００２３】
上記したように、１画面が蓄積されていない場所のＧＯＢ０には、差分が“０”であることを示すＧＯＢのデータが挿入され、送り出される。このため、各符号器１１ａ〜１１ｄ毎のデータレートを合計したものは、挿入に際して追加されるデータ分だけ、合成多重化回路１５の出力のレートより小さくしておく必要がある。即ち、符号器１１ａ〜１１ｄを同じ伝送レートで出力する場合は、各符号器の出力はＭＣＵ１６の出力の伝送レートの１／４より小さなビットレートに設定しておくことになる。これらのビットレートは、制御回路１４のビットレート調整部１８に予め所定値を設定されてあってもよい。
【００２４】
多地点会議を制御するＭＣＵ１６の制御回路１４は、画面合成を行う場合にビットレート調整部１８を駆動して調整情報を得、必要に応じて端末Ａ〜Ｄに制御信号を送って各符号器１１ａ〜１１ｄの送出ビットレートを設定する。
【００２５】
各端末からの送出ビットレ−トを細かく設定して画面合成できる場合、動きの少い画面の端末には少いビットレートを、また、動きの多い画面の端末には多いビットレートを配分するように制御することもできる。
【００２６】
また、各ＧＯＢにはヘッダが付けられている。このため、ＣＩＦ方式の１画面のデータとして画面合成した各ＧＯＢのデータにも、送出するのに合せて新しいヘッダが付け替えられる。
【００２７】
符号化されたデータは、フレーム毎に階層構造状に構成されて送られる。各フレームのデータは、フレームヘッダとそれに続くＧＯＢ毎に分割されるＧＯＢデータとから構成される。前述のように、ＧＯＢは、ＣＩＦフレームの１／１２に、また、ＱＣＩＦフレームの１／３に相当する。
【００２８】
復号器１７は、ＭＣＵ１６の出力フレームを受け、ＧＯＢ０の箇所を差分信号ゼロとして処理する。このため、復号器１７の出力であるモニタ信号では、端末Ｂの画面は変化はせず、他の端末Ａ、Ｃ、Ｄに関する画面だけが変化することになる。復号器１７へ送られてきた画面データのＧＯＢの数は、４つの符号器１１ａ〜１１ｄで発生するＧＯＢの数に比べて、ＧＯＢ０を含んでいる分だけ多くなっている。このため、復号器１７は符号器１１ａ〜１１ｄより早い処理で復号化を行う必要がある。即ち、１フレームの画面毎の復号化の処理時間を速くするか、ＧＯＢ０で差分信号ゼロのブロックの処理をスキップする方策が採られ、等価的に処理スピードを速くしている。復号器１７の詳細については、後の図５に一実施例を示して説明する。
【００２９】
次に、図１に図３を併せ参照して、他の合成多重化出力の具体例について説明する。この例では、端末Ａ、Ｂ、Ｃ、Ｄの画面それぞれのＱＣＩＦフレームで、各バッファメモリ１２ａ〜１２ｄ毎に画面の２／３、１／３、１／３、３／３のＧＯＢの符号化データが蓄積されており、一つの端末Ｄからだけ、画面全部に対する３つのＧＯＢｄ１〜ｄ３がバッファメモリ１１ｄに蓄積されたことを、ＧＯＢ検出回路１３で検出された場合が示されている。
【００３０】
図３に示されるように、ＱＣＩＦフレームにおけるＧＯＢｄ１〜ｄ３以外のフレームに蓄積中のＧＯＢは、ＧＯＢａ１、ＧＯＢａ２、ＧＯＢｂ１、ＧＯＢｃ２の４つであるとする。また、このＧＯＢデータを用いた画面合成上のＣＩＦフレームは、蓄積されていないＧＯＢの場所に、ＧＯＢ０を挿入される。即ち、画面合成を開始して、ＣＩＦフレームの並び順にＧＯＢのデータを読み出す際、各バッファメモリにＧＯＢデータが蓄積されている場合には蓄積されているＧＯＢが読み出され、蓄積されていない場合にはそのＧＯＢのデータとしては差分信号が無しであることを示す符号ＧＯＢ０が挿入される。
【００３１】
このようにして、ＧＯＢのブロック毎に符号化データのまま画面合成が行われる。また、ヘッダもＣＩＦフレームに合せて付け替えられる。この構成では、ＭＣＵ１６のバッファメモリ１２ａ〜１２ｄに蓄積されるＧＯＢの数、及び滞留時間は最小で済み、この結果、バッファメモリ１２ａ〜１２ｄの記憶容量と、伝送遅延時間との短縮が可能となる。
【００３２】
この場合、復号器１７ではＧＯＢ０の箇所を差分信号ゼロとして復号処理される。復号画像信号をモニタで表示する際、強制的に差分信号をゼロにしたことにより、合成画面の部分画面において、画面の途中で復号化されたものが表示される。視覚的に目障りの場合は、復号化処理用のフレームメモリとは別に、出力用のフレームメモリを設けてもよい。
【００３３】
この構成では、合成画面中の４つの各々の部分画面において、第３番目のＧＯＢが送られてきて復号化され、３つのＧＯＢが揃った時、その部分画面は出力用のフレームメモリに一時書込みされる。復号化装置が、部分画面を出力用のフレームメモリに一時書込みしたのち、出力表示するように構成されれば、各部分画面の表示がフレーム毎に切替わるように改善される。
【００３４】
合成した画面で端末Ａ、Ｂ、Ｃ、Ｄの画面が各々本来のフレームレートと若干前後してもその差は誤差の範囲と見なせる。各部分画面でＧＯＢが３つ揃ったことの判定は、ＧＯＢの画面データに付加されている１フレームの内のどのＧＯＢであるかを示す番号を検出して、各部分画面の第３番のＧＯＢの番号か否かをチェックすることによって実施できる。
【００３５】
次に、図４を参照して図１に示される復号器１７の具体例について説明する。図示されるように、復号器１７は、分離回路６１、可変長復号器６２、制御器６３、逆量子化器６４、ＩＤＣＴ（逆離散コサイン変換）器６５、加算器６６、動き適応予測器６７、フレームメモリ６８、及び、Ｄ／Ａ（ディジタル／アナログ）変換器６９を有する。
【００３６】
復号器１７では、分離回路６１が符号化データを受け、受けた符号化データから画像信号になる画面データを分離して可変長復号器６２に出力する。可変長復号器６２は受けた画面データから変換係数の量子化データを分離して逆量子化器６４へ送出すると共に、ＧＯＢ番号、動きベクトル、モード信号等の信号を制御器６３へ送出する。制御器６３は、動きベクトル信号、ＧＯＢ０の有無の信号等を動き適応予測器６７、及びフレームメモリ６８に送出して、復号処理の制御を行う。
【００３７】
逆量子化器６４は、可変長復号器６２から受けた量子化データを逆量子化して元の量子化レベルの信号に伸長してＩＤＣＴ器６５へ送出する。ＩＤＣＴ器６４は、受けた信号を逆離散コサイン変換して量子化された予測誤差信号を得て、加算器６６へ送出する。加算器６６は、ＩＤＣＴ器６４からの予測誤差信号と、動き適応予測器６７からの予測信号とを加算して復号信号を得、この復号信号をフレームメモリ６８とＤ／Ａ変換器６９とへ送出する。
【００３８】
動き適応予測器６７は、送信側から送られてきた動きベクトルに応じて適応的に予測信号を求め、次の予測信号を出力する。フレームメモリ６８は、受けた復号信号をおおよそ１フレーム周期の遅延回路で遅延させ、遅延された信号を動き適応予測器６７へ送出する。
【００３９】
この構成の復号器１７は、受けたＧＯＢ０のブロックのデータを復号化処理せず、次のＧＯＢの復号化動作に進む。フレームメモリ６８は、ＧＯＢのブロック単位に任意のアドレスから復号画像信号を読み出すことをできるように構成されており、ＧＯＢ０のブロックを飛ばして次のＧＯＢのブロックの先頭から復号画像信号を読み出す。尚、ブロックの周辺の復号画像信号は、動き適応予測器６７で、動きベクトルに応じた予測信号を出力するために必要であり、この復号画像信号も併せて読み出される。このために、フレームメモリは、ＧＯＢの先頭にある範囲だけ別に読出しが出来るように、二重にメモリを設けて並列に読出し出来るようにするか、または、フレーム周期の２倍の速さで読出し出来るように構成する。
【００４０】
また、別の復号器では、復号のフレーム周期を速くして復号処理時間を短縮し、ＧＯＢ０のブロックを差分信号“０”としてそのまま復号化することにより、ＧＯＢ０ブロックの対策が出来る。
【００４１】
次に図５は、本発明の第２の実施例を示すブロック図である。会議端末７１１〜７１４は、画像信号と音声信号とをそれぞれ符号化して多重化した符号化データを出力する従来の機能に加えて、図１でＭＣＵに含まれていた復号器の機能を有する。また、多地点会議制御装置（ＭＣＵ）７９は図１のＭＣＵから復号器を削除する一方、会議端末７１１〜７１４からのディジタル回線を接続する回線制御回路７２を追加して備えた構成を有している。
【００４２】
回線制御装置７２は、一方で会議端末７１１〜７１４とディジタル回線を介して接続され、他方で画像データ分離回路７３１〜７３４への送出回線と、合成多重化回路７５の出力とを接続して、会議参加回線の接続制御を行う。画像データ分離回路７３１〜７３４は、会議端末７１１〜７１４から受けた符号化データから音声データと分離され各々の画面データを出力する。
【００４３】
分離された画面データは、ＧＯＢ単位でバッファメモリ７４１〜７４４へ供給される。バッファメモリ７４１〜７４４、合成多重化回路７５、ＧＯＢ検出回路７６、及び、制御回路７７は、図１に示された同一名称のものと同一の機能を有する。即ち、ＧＯＢ検出回路７６はバッファメモリ７４１〜７４４におけるＧＯＢ蓄積の検出を行う。制御回路７７は、画面合成の制御信号を合成多重化回路７５に出力し、合成多重化回路７５は、ＧＯＢデータがバッファメモリに届いていないブロックに、“そのブロックの画面データは無し”であることを示すＧＯＢ０の信号を挿入しつつ、４つの画面の画面データから１つの合成画面となるように合成した画面データによる画像信号を得る。
【００４４】
ＭＣＵ７９を制御する制御部７８は、図示されていない従来通りの経路による音声信号等の信号を合成多重化回路７５によって多重化された符号化データを送受する回線制御回路７２を制御する。回線制御回路７２を通して回線制御回路７２に与えられた符号化データは、制御部７８の制御のもとに会議端末７１１〜７１４にそれぞれ設けられた復号化装置へ送られ、この復号化装置によって復号化される。この結果、４つの画面を１つの画面に合成された信号が各会議端末７１１〜７１４それぞれにおいて画面に出力される。
【００４５】
次に、図６は６つの端末の画面を合成する場合の実施例を示しており、この実施例では、以下の説明からも明らかなように、遅延時間を短縮できる。
【００４６】
図６には、６つの端末から送出されるＱＣＩＦフレームによる６画面それぞれからＱＣＩＦの３つのＧＯＢ（合計１８）が取出されている。この例では、各端末からのＱＣＩＦフレームに含まれる３つのＧＯＢの中、２つのＧＯＢには有効な画面データが配置され、残りの１つのＧＯＢには差分符号化データ“０”であるＧＯＢ０の信号が配置されたＱＣＩＦフレームが、各端末からＭＣＵに送出されている。
【００４７】
ＭＣＵでは、３つのＧＯＢの中から有効な２つだけが取出され、６つの端末からの合計１２のＧＯＢが、順番に並べられ、１つのＣＩＦフレームに形成されて送出される。ＭＣＵは、ＧＯＢ単位で検出を行い、ＧＯＢ単位でＧＯＢデータがある箇所だけにこのＧＯＢデータを配置し、他の箇所には、差分“０”のデータ、ＧＯＢ０を挿入することによって、ＣＩＦフレームの画面を合成する。この構成によって、遅延時間が短縮出来る。
【００４８】
上記説明では、ＱＣＩＦフレームによる４つの画面（図１〜図３）、または、６つの画面（図６）が、ＣＩＦフレームの１つの合成画面に形成されている。しかし、合成画面でなく、ある端末の１画面を他の端末へそのまま送る場合は、ＭＣＵが、各端末からの要求に応じて切替え制御し、所望の端末からの符号化データをそのまま切替え選択して、送出してもよい。この場合、端末からの画像信号は、ＣＩＦフレームのモードに切替えられた画面データにより送出される。
【００４９】
また、４画面合成表示と１画面表示との２つの要求がＭＣＵにあった場合、ＭＣＵは、全ての端末からＱＣＩＦフレームのモードで画面データを受け、１画面表示の要求の端末へもＱＣＩＦフレームの画面データを送出してもよい。この場合、ＭＣＵは、ＱＣＩＦフレームによる１画面ではなく、４画面のＱＣＩＦフレームによる合成画面データを端末に送出し、且つ、１画面を要求する受信側端末が所望の１画面を選択して表示する機能を有している。
【００５０】
更に、１画面表示を要求された端末がＣＩＦフレームによるモードで出力し、ＭＣＵが画面合成する構成でもよい。この場合は、ＣＩＦフレームによるモードの画面のＧＯＢの箇所に強制的にブラックバー等に相当する符号化データを発生挿入させるか、または、直前のＱＣＩＦのデータを保存する等の構成が採用されてもよい。この、直前のＱＣＩＦのデータを保存する構成により１画面表示の画像の解像度を上げることが出来る。
【００５１】
また、この構成では、端末において、ＣＩＦフレームからＱＣＩＦフレームに変換する必要がなく、ダミーデータの多重化処理はＭＣＵで行うことになる。ダミーデータが入る領域であることを区別出来る信号のみをＭＣＵで多重化すれば、受信側で復号した３画面の他に所望の合成画像信号を多重化して４画面合成の画面を表示することも可能である。
【００５２】
音声信号については、図示されず、また、説明されていないが、音声信号は、従来どうりの方法により音声信号処理部で処理される。画像データ分離回路が音声データの分離機能を有する場合、分離された音声データは音声信号処理部に送出される。音声信号処理部は、各地点からの音声データから得た音声信号を加算合成する。加算合成された音声信号をそのまま各端末に分配すると、各端末では、自分が送出した音声信号がエコーとして戻ってくることになるので、発生する音声が耳障りになる。これを防止するため、音声信号処理部は、対応する各端末から送出されてきた音声信号それぞれを、加算合成された音声信号から減算して合成音声信号を求め、この合成音声信号を合成音声データに変換して、それぞれに対応する端末へ送出している。
【００５３】
各合成音声データは、合成画面データと多重化され、符号化データとして、各端末に送られる。したがって、合成音声データと合成画面データとの多重化機能は、合成多重化回路にその機能を含めることもできる。
【００５４】
実施例では省いているが、誤り訂正符号化等を行ったデータの場合、ＧＯＢの構造が見えないので、バッファメモリが、誤り訂正復号化したデータ列に作成し、画面多重でＣＩＦのＧＯＢデータ列に多重化してから誤り訂正符号化を行う必要がある。音声データも多重化されている場合は、音声のデータは別に分離して必要な処理を行う。
【００５５】
以上説明したように、図１の実施例のバッファメモリ１２ａ〜１２ｄでは、端末毎に別々のメモリ構成で示してあるが、書込み、及び、読出しのスピードを速くすれば、１つのメモリ装置で、各々の端末に対応するメモリ領域を別々に定め、多重化したメモリ構成にすることが出来る。
【００５６】
また、ＧＯＢ単位で検出して合成し出力するため、いずれかの部分画面が１フレーム揃えばよく、更に、ＧＯＢが１つでもあれば合成して送り出すので、１フレーム分が揃うまで全てのＧＯＢを蓄積しておく必要が無く、ＧＯＢの単位の遅延時間となり、更に、端末の符号器の最良のフレームレートの遅延時間までに短縮できる。また、バッファメモリ容量も、遅延時間が小さくできる分、小さな容量にすることができ、ハードウェアの規模も小さくできる。
【００５７】
なお、上記では、ＧＯＢ単位で合成する場合についてのみ説明したが、本発明では、ＧＯＢに代るデータ単位に合成する場合にも適用できる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、画面合成をＧＯＢ単位で合成し、画面データがない箇所には強制的に差分“０”のデータをＧＯＢ単位で挿入している。この構成によって、従来、画面が揃うのを待ってから画面合成を行う構成に比較して、ＭＣＵでの画面合成による遅延時間を短縮でき、また、バッファメモリの記憶容量も少なくできる多地点会議用画面合成システムを得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す機能ブロック図である。
【図２】図１によって合成される一実施例を示す合成画面説明図である。
【図３】図１によって合成される別の実施例を示す合成画面説明図である。
【図４】図１の復号器の一実施例を示す機能ブロック図である。
【図５】本発明の別の実施例を示す機能ブロック図である。
【図６】図２、図３とは別の実施例をしめす合成画面説明図である。
【図７】従来の一例を示す機能ブロック図である。
【図８】図７によって合成される一例を示す合成画面説明図である。
【符号の説明】
Ａ〜Ｄ 端末
１１ａ〜１１ｄ 符号器
１２ａ〜１２ｄ、７４１〜７４４ バッファメモリ
１３、７６ ＧＯＢ検出回路
１４、７７ 制御回路
１５、７５ 合成多重化回路
１６ 多地点制御装置（ＭＣＵ）
１７ 復号器
６１ 分離回路
６２ 可変長復号器
６３ 制御器
６４ 逆量子化器
６５ ＩＤＣＴ（逆離散コサイン変換）器
６６ 加算器
６７ 動き適応予測器
６８ フレームメモリ
６９ Ｄ／Ａ変換器
７２ 回線制御回路
７８ 制御部
７９ 多地点会議制御装置
７１１〜７１４ 会議端末
７３１〜７３４ 画像データ分離回路
【産業上の利用分野】
本発明は、複数のテレビ会議端末の各テレビ画面をデータ圧縮した符号化データで画面合成して、合成した符号化データを端末へ送出する多地点会議用画面合成システムおよび方法に関し、特に、符号化データの蓄積回路を簡素化し、復号器で画像を再生するまでの遅延時間を短縮した多地点会議用画面合成システムおよび方法に関する。
【０００２】
【従来の技術】
従来、この種の多地点会議用画面合成システムでは、多地点制御装置（ＭＣＵ）２６が、図７に示されるように、例えば、４つの地点の各テレビ会議端末Ａ〜Ｄから符号化された画面データを受け、合成多重化して各テレビ会議端末Ａ〜Ｄへ送出する場合、端末Ａ〜Ｄからの画面データが１画面分揃った時、符号化データの最小単位として規定されるＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ）の単位で読み出して、１画面分の画像データを作成している。
【０００３】
各テレビ会議端末Ａ〜Ｄは符号器２１ａ〜２１ｄを有し、これら符号器２１ａ〜２１ｄが、テレビジョンの連続した画像信号、即ち、カメラ信号Ａ〜Ｄを受け、受けた画像信号をＩＴＵ−Ｔで標準化されたＨ．２６１方式に準拠した符号化手順により符号化し、音声、制御信号等と多重化して出力する。
【０００４】
ここで、画面データの構造について説明する。画面データのフォーマットとして採用されるＣＩＦ（共通中間フォーマット）方式は、ＮＴＳＣ方式とＰＡＬ方式とに共通なフォーマットとして定められており、１画面（ピクチャ）を１フレームとして、ＧＯＢ、マクロブロック、ブロックの順に階層構造を採用している。１フレームはＧＯＢを６×２（縦×横）個集めたものであり、ＧＯＢは３×１１のマクロブロックのデータから構成され、マクロブロックは２×２個のブロックで構成され、また、ブロックは８×８の画素から構成されている。
【０００５】
フレーム、及びＧＯＢは、ユニーク語からなる識別符号、モード符号等、必要な情報を付加され、符号化データとして形成される。マクロブロック、及びブロックは、アドレスを付加され、必要なビットデータだけで構成される。このように、ＧＯＢは、ユニーク語の識別符号を有するため、復号化する際、符号化された画像データのブロックの区切りを識別出来る最小の単位を構成している。また、縦と横とを各々１／２に解像度を落としたものがＱＣＩＦ（４分共通中間フォーマット）方式として定められ、このＱＣＩＦ方式では、１画面は３つのＧＯＢによって構成されている。
【０００６】
ここで、図示された各端末Ａ〜Ｄの符号器２１ａ〜２１ｄは、ＱＣＩＦ方式により、１画面について３つのＧＯＢを多地点制御装置（ＭＣＵ）２６に送出しているものとする。即ち、図８に示されるように、符号器２１ａからはＧＯＢａ１〜ａ３が送出され、他の各符号器２１ｂ〜２１ｄからはＧＯＢｂ１、ｂ２、ｂ３，〜ｄ１、ｄ２、ｄ３、がそれぞれ送出されている。
【０００７】
図７の多地点制御装置（ＭＣＵ）２６は、バッファメモリ２２ａ〜２２ｄ、画面蓄積回路２３、制御回路２４、及び、合成多重化回路２５を有している。バッファメモリ２２ａ〜２２ｄは、各符号器２１ａ〜２１ｄから出力された画像信号の符号化データを、１画面について３つずつのＧＯＢａ１〜ａ３、ＧＯＢｂ１〜ｂ３、ＧＯＢｃ１〜ｃ３、ＧＯＢｄ１〜ｄ３を受け、一時記憶し蓄えておく。
【０００８】
画面蓄積回路２３は、各々のバッファメモリ２２ａ〜２２ｄに、１画面分，各々３つ、４端末に対する合計１２のＧＯＢの画面データが蓄えられたことを検出して制御回路２４に通知する。この通知を受けた制御回路２４からの制御信号に基き、、合成多重化回路２５は、バッファメモリ２２ａ〜２２ｄから符号化データを最小単位のＧＯＢで各３つずつ読み出し、図８に示されるように、ＱＣＩＦ方式の４画面のデータ、即ち、１２個のＧＯＢをＣＩＦ方式の１画面のフォーマットに並び変えて画面データを形成し出力する。この場合、各端末Ａ〜Ｄから送られてくる符号化データは、合成多重化回路２５から出力されるビットレートの１／４のビットレートである。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の多地点会議用画面合成システムでは、多地点制御装置（ＭＣＵ）は、各端末Ａ〜Ｄから受けるＱＣＩＦ方式による４画面の全てを、バッファメモリに蓄積された後、ＣＩＦ方式による１画面に合成多重化して出力している。この構成では、各端末Ａ〜Ｄから送られてくる画面データは、同期がとれていないので、各々のバッファメモリに一時蓄積され、全バッファメモリに蓄積され、１フレーム分の画面データが揃った後、合成画面を形成する順序で逐次読み出すことが必要である。
【００１０】
このため、送出が最も遅れた端末からの一画面データがバッファメモリに蓄えられるまでの間に、他の端末からの画面データがバッファメモリからオーバフローしないように、バッファメモリの記憶容量を十分大きくとっておく必要があり、バッファメモリの記憶容量が大きくなるという問題点がある。
【００１１】
また、バッファメモリの記憶容量が大きく、バッファメモリにおける符号化データの出し入れに時間が多くかかるような場合等では、画面が送信端末で送出されてから受信側で４画面合成された復号信号を再生するまでの遅延時間が大きくなる。このような場合、画面を見ながら行う会議形態の画像伝送では、画面の遅延が大きくなる結果、相互の応答に遅れが目立つようになり、違和感が感じられて会議の円滑化を阻害するという問題点がある。
【００１２】
本発明の課題は、各端末から画面データを受けて一時蓄積するバッファメモリの記憶容量の大きさを限定し、且つ、画面データの画面合成、及び送出による遅延時間を短縮出来る多地点会議用画面合成システムを提供することである。
【００１３】
【課題を解決するための手段】
本発明による多地点会議用画面合成システムは、複数のテレビ会議端末から受ける各テレビ画面をデータ圧縮した符号化データで画面合成し、合成した符号化データを各端末が受けて画面表示する多地点会議用画面合成システムにおいて、
前記各端末でＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ，画像信号の符号化データの最小単位）毎に発生する画像信号を受信し、受信する画像信号を前記ＧＯＢ毎に蓄積するバッファメモリ手段と、
少なくとも１つの端末について、その端末のテレビ画面を構成するＧＯＢが１画面分の画面データとして前記バッファメモリの所定箇所に揃っていることを判定し出力するＧＯＢ検出手段と、
この判定出力により画面合成を行うのに必要な順番に前記バッファメモリ手段から前記ＧＯＢを読み出し、読み出すべきＧＯＢの符号化データが蓄積されていなければ蓄積されていないＧＯＢの部分に符号化データ無しであることを示す符号化データＧＯＢ０を挿入して、合成画面の符号化データを合成多重化する合成多重化手段と、前記符号化データＧＯＢ０を挿入しても合成画面の符号化データのビットレートが伝送路のビットレートを超えないように各端末の符号器の出力ビットレートの合計を伝送路ビットレートより小さくしておくビットレート調整手段とを有する多地点制御装置を備え、かつ、前記各端末では、前記符号化データＧＯＢ０が含まれた符号化データを受信した際に受信した符号化データＧＯＢ０による増加分を補償した処理時間で復号化を行う復号化手段とを備えている。
【００１４】
このように、多地点制御装置は画面の符号化データにおける未受信のＧＯＢ部分に符号化データＧＯＢ０を挿入するが、挿入した際でも伝送路のビットレートを超えないようにしているため、他方のこれを受信する各端末の復号化手段が受けた符号化データＧＯＢ０分を削除する処理時間を短縮またはスキップすることにより、各端末から画面データを受けて一時蓄積するバッファメモリの記憶容量の大きさが限定され、且つ、画面データの画面合成、及び送出による遅延時間が短縮される。
【００１５】
すなわち、前記復号化手段は、符号化データを受け、受けた符号化データから画像信号になる画面データを分離して出力する分離回路と、受けた画面データから変換係数の量子化データを分離して送出すると共に、ＧＯＢ番号、動きベクトル等の信号を送出する可変長復号器と、当該可変長復号器から受けた前記ＧＯＢ番号、動きベクトル等の信号を送出して、復号処理の制御を行う制御器と、前記可変長復号器から受けた量子化データを、逆量子化して元の量子化レベルの信号に伸長して送出する逆量子化器と、当該逆量子化器から受けた信号を逆離散コサイン変換して量子化された予測誤差信号を得て送出するＩＤＣＴ（逆離散コサイン変換）器と、当該ＩＤＣＴ器からの予測誤差信号と別に生成する予測信号とを加算し、復号信号を得て送出する加算器と、前記制御器から受けた動きベクトルに応じて適応的に予測信号を求め、次の予測信号を予測出力する動き適応予測器と、前記加算器から受けた復号信号をほぼ１フレーム周期の遅延回路で遅延させ、遅延された信号を前記動き適応予測器へ送出するフレームメモリと、前記加算器から受けた復号信号をディジタル／アナログ変換して出力するＤ／Ａ（ディジタル／アナログ）変換器とを備えることを特徴としている。
【００１６】
【実施例】
次に、本発明について図面を参照して説明する。
【００１７】
図１は本発明の一実施例を示す機能ブロック図である。図１に示された多地点会議用画面合成システムでは、従来例と同様に、画像信号の合成機能を図示して説明し、他の機能については省略する。図１に示される多地点制御装置（ＭＣＵ）１６は端末Ａ〜Ｄに対応するバッファメモリ１２ａ〜１２ｄ、ＧＯＢ検出回路１３、制御回路１４、及び、合成多重化回路１５を有し、制御回路１４内にビットレート調整部１８を有している。図１のＭＣＵ１６が図７のＭＣＵと相違する点は、ＧＯＢ検出回路１３が画面検出回路の代わりに設けられ、また、制御回路１４内にビットレート調整部１８が設けられていることである。
【００１８】
画像を扱うデータ端末Ａ〜Ｄでは、カメラ信号Ａ〜Ｄが各々の符号器１１ａ〜１１ｄにより、画面データ化されると共に、ＱＣＩＦ方式でＧＯＢ単位にデータ圧縮符号化されて、伝送路へ送出される。
【００１９】
各符号器１１ａ〜１１ｄから送出される１フレームの画面は、従来の技術で説明したように、３つのＧＯＢに分割して符号化される。即ち、図２に示されるように、符号器１１ａからはＧＯＢａ１〜ａ３が送出され、各符号器１１ｂ〜１１ｄからはＧＯＢｂ１、ｂ２、ｂ３，〜ｄ１、ｄ２、ｄ３がそれぞれ送出される。送出されるＧＯＢａ１〜ａ３はＭＣＵ１６のバッファメモリ１２ａに一時記憶蓄積される。同様に、ＧＯＢｂ１、ｂ２、ｂ３，〜ＧＯＢｄ１、ｄ２、ｄ３は、バッファメモリ１２ｂ〜１２ｄそれぞれに一時記憶蓄積される。
【００２０】
ＭＣＵ１６のＧＯＢ検出回路１３は、各バッファメモリ１２ａ〜１２ｄに対して画面のどこの位置のＧＯＢが送られてきたかを検出する。バッファメモリ１２ａ〜１２ｄの１つ以上に３つのＧＯＢによる１画面分の画面データが蓄積されると、ＧＯＢ検出回路１３は、制御回路１４にＧＯＢ蓄積の検出信号を送る。制御回路１４は、検出結果に基いて予め定められた周期で４つの画面データを１つの合成画面データに合成するための制御信号を合成多重化回路１５に出力する。合成多重化回路１５は、この制御信号にしたがってバッファメモリ１２ａ〜１２ｄからの４つの画面を合成し、多重化する処理を行い、合成多重化した信号を出力する。
【００２１】
例えば、図２に示されるように、３つのバッファメモリ１２ａ、１２ｃ、１２ｄに各々１画面分のデータ、即ち、各々３つのＧＯＢａ１〜ａ３、ｃ１〜ｃ３、ｄ１〜ｄ３が蓄積された場合、合成多重化回路１５は、バッファメモリ１２ａ、１２ｃ、１２ｄに蓄積されたデータを、制御回路１４の制御にしたがってＣＩＦ方式の１フレームの画面に対応する順番に、ＧＯＢ単位で読み出す。
【００２２】
この場合、合成多重化回路１５は、端末Ｂからの欠けた画面データを、“画面データ無し”、即ち、前の画面と同じである、“前の画面と変化無し”と判定して、３つのＧＯＢｂ１〜ＧＯＢｂ３の代わりにＧＯＢ０のデータを強制的に作成し出力する。この結果、図２に示されるように、１２個のＧＯＢによって構成されるフォーマットがＣＩＦ方式のデータ列として合成され、合成多重化回路１５によって出力される。
【００２３】
上記したように、１画面が蓄積されていない場所のＧＯＢ０には、差分が“０”であることを示すＧＯＢのデータが挿入され、送り出される。このため、各符号器１１ａ〜１１ｄ毎のデータレートを合計したものは、挿入に際して追加されるデータ分だけ、合成多重化回路１５の出力のレートより小さくしておく必要がある。即ち、符号器１１ａ〜１１ｄを同じ伝送レートで出力する場合は、各符号器の出力はＭＣＵ１６の出力の伝送レートの１／４より小さなビットレートに設定しておくことになる。これらのビットレートは、制御回路１４のビットレート調整部１８に予め所定値を設定されてあってもよい。
【００２４】
多地点会議を制御するＭＣＵ１６の制御回路１４は、画面合成を行う場合にビットレート調整部１８を駆動して調整情報を得、必要に応じて端末Ａ〜Ｄに制御信号を送って各符号器１１ａ〜１１ｄの送出ビットレートを設定する。
【００２５】
各端末からの送出ビットレ−トを細かく設定して画面合成できる場合、動きの少い画面の端末には少いビットレートを、また、動きの多い画面の端末には多いビットレートを配分するように制御することもできる。
【００２６】
また、各ＧＯＢにはヘッダが付けられている。このため、ＣＩＦ方式の１画面のデータとして画面合成した各ＧＯＢのデータにも、送出するのに合せて新しいヘッダが付け替えられる。
【００２７】
符号化されたデータは、フレーム毎に階層構造状に構成されて送られる。各フレームのデータは、フレームヘッダとそれに続くＧＯＢ毎に分割されるＧＯＢデータとから構成される。前述のように、ＧＯＢは、ＣＩＦフレームの１／１２に、また、ＱＣＩＦフレームの１／３に相当する。
【００２８】
復号器１７は、ＭＣＵ１６の出力フレームを受け、ＧＯＢ０の箇所を差分信号ゼロとして処理する。このため、復号器１７の出力であるモニタ信号では、端末Ｂの画面は変化はせず、他の端末Ａ、Ｃ、Ｄに関する画面だけが変化することになる。復号器１７へ送られてきた画面データのＧＯＢの数は、４つの符号器１１ａ〜１１ｄで発生するＧＯＢの数に比べて、ＧＯＢ０を含んでいる分だけ多くなっている。このため、復号器１７は符号器１１ａ〜１１ｄより早い処理で復号化を行う必要がある。即ち、１フレームの画面毎の復号化の処理時間を速くするか、ＧＯＢ０で差分信号ゼロのブロックの処理をスキップする方策が採られ、等価的に処理スピードを速くしている。復号器１７の詳細については、後の図５に一実施例を示して説明する。
【００２９】
次に、図１に図３を併せ参照して、他の合成多重化出力の具体例について説明する。この例では、端末Ａ、Ｂ、Ｃ、Ｄの画面それぞれのＱＣＩＦフレームで、各バッファメモリ１２ａ〜１２ｄ毎に画面の２／３、１／３、１／３、３／３のＧＯＢの符号化データが蓄積されており、一つの端末Ｄからだけ、画面全部に対する３つのＧＯＢｄ１〜ｄ３がバッファメモリ１１ｄに蓄積されたことを、ＧＯＢ検出回路１３で検出された場合が示されている。
【００３０】
図３に示されるように、ＱＣＩＦフレームにおけるＧＯＢｄ１〜ｄ３以外のフレームに蓄積中のＧＯＢは、ＧＯＢａ１、ＧＯＢａ２、ＧＯＢｂ１、ＧＯＢｃ２の４つであるとする。また、このＧＯＢデータを用いた画面合成上のＣＩＦフレームは、蓄積されていないＧＯＢの場所に、ＧＯＢ０を挿入される。即ち、画面合成を開始して、ＣＩＦフレームの並び順にＧＯＢのデータを読み出す際、各バッファメモリにＧＯＢデータが蓄積されている場合には蓄積されているＧＯＢが読み出され、蓄積されていない場合にはそのＧＯＢのデータとしては差分信号が無しであることを示す符号ＧＯＢ０が挿入される。
【００３１】
このようにして、ＧＯＢのブロック毎に符号化データのまま画面合成が行われる。また、ヘッダもＣＩＦフレームに合せて付け替えられる。この構成では、ＭＣＵ１６のバッファメモリ１２ａ〜１２ｄに蓄積されるＧＯＢの数、及び滞留時間は最小で済み、この結果、バッファメモリ１２ａ〜１２ｄの記憶容量と、伝送遅延時間との短縮が可能となる。
【００３２】
この場合、復号器１７ではＧＯＢ０の箇所を差分信号ゼロとして復号処理される。復号画像信号をモニタで表示する際、強制的に差分信号をゼロにしたことにより、合成画面の部分画面において、画面の途中で復号化されたものが表示される。視覚的に目障りの場合は、復号化処理用のフレームメモリとは別に、出力用のフレームメモリを設けてもよい。
【００３３】
この構成では、合成画面中の４つの各々の部分画面において、第３番目のＧＯＢが送られてきて復号化され、３つのＧＯＢが揃った時、その部分画面は出力用のフレームメモリに一時書込みされる。復号化装置が、部分画面を出力用のフレームメモリに一時書込みしたのち、出力表示するように構成されれば、各部分画面の表示がフレーム毎に切替わるように改善される。
【００３４】
合成した画面で端末Ａ、Ｂ、Ｃ、Ｄの画面が各々本来のフレームレートと若干前後してもその差は誤差の範囲と見なせる。各部分画面でＧＯＢが３つ揃ったことの判定は、ＧＯＢの画面データに付加されている１フレームの内のどのＧＯＢであるかを示す番号を検出して、各部分画面の第３番のＧＯＢの番号か否かをチェックすることによって実施できる。
【００３５】
次に、図４を参照して図１に示される復号器１７の具体例について説明する。図示されるように、復号器１７は、分離回路６１、可変長復号器６２、制御器６３、逆量子化器６４、ＩＤＣＴ（逆離散コサイン変換）器６５、加算器６６、動き適応予測器６７、フレームメモリ６８、及び、Ｄ／Ａ（ディジタル／アナログ）変換器６９を有する。
【００３６】
復号器１７では、分離回路６１が符号化データを受け、受けた符号化データから画像信号になる画面データを分離して可変長復号器６２に出力する。可変長復号器６２は受けた画面データから変換係数の量子化データを分離して逆量子化器６４へ送出すると共に、ＧＯＢ番号、動きベクトル、モード信号等の信号を制御器６３へ送出する。制御器６３は、動きベクトル信号、ＧＯＢ０の有無の信号等を動き適応予測器６７、及びフレームメモリ６８に送出して、復号処理の制御を行う。
【００３７】
逆量子化器６４は、可変長復号器６２から受けた量子化データを逆量子化して元の量子化レベルの信号に伸長してＩＤＣＴ器６５へ送出する。ＩＤＣＴ器６４は、受けた信号を逆離散コサイン変換して量子化された予測誤差信号を得て、加算器６６へ送出する。加算器６６は、ＩＤＣＴ器６４からの予測誤差信号と、動き適応予測器６７からの予測信号とを加算して復号信号を得、この復号信号をフレームメモリ６８とＤ／Ａ変換器６９とへ送出する。
【００３８】
動き適応予測器６７は、送信側から送られてきた動きベクトルに応じて適応的に予測信号を求め、次の予測信号を出力する。フレームメモリ６８は、受けた復号信号をおおよそ１フレーム周期の遅延回路で遅延させ、遅延された信号を動き適応予測器６７へ送出する。
【００３９】
この構成の復号器１７は、受けたＧＯＢ０のブロックのデータを復号化処理せず、次のＧＯＢの復号化動作に進む。フレームメモリ６８は、ＧＯＢのブロック単位に任意のアドレスから復号画像信号を読み出すことをできるように構成されており、ＧＯＢ０のブロックを飛ばして次のＧＯＢのブロックの先頭から復号画像信号を読み出す。尚、ブロックの周辺の復号画像信号は、動き適応予測器６７で、動きベクトルに応じた予測信号を出力するために必要であり、この復号画像信号も併せて読み出される。このために、フレームメモリは、ＧＯＢの先頭にある範囲だけ別に読出しが出来るように、二重にメモリを設けて並列に読出し出来るようにするか、または、フレーム周期の２倍の速さで読出し出来るように構成する。
【００４０】
また、別の復号器では、復号のフレーム周期を速くして復号処理時間を短縮し、ＧＯＢ０のブロックを差分信号“０”としてそのまま復号化することにより、ＧＯＢ０ブロックの対策が出来る。
【００４１】
次に図５は、本発明の第２の実施例を示すブロック図である。会議端末７１１〜７１４は、画像信号と音声信号とをそれぞれ符号化して多重化した符号化データを出力する従来の機能に加えて、図１でＭＣＵに含まれていた復号器の機能を有する。また、多地点会議制御装置（ＭＣＵ）７９は図１のＭＣＵから復号器を削除する一方、会議端末７１１〜７１４からのディジタル回線を接続する回線制御回路７２を追加して備えた構成を有している。
【００４２】
回線制御装置７２は、一方で会議端末７１１〜７１４とディジタル回線を介して接続され、他方で画像データ分離回路７３１〜７３４への送出回線と、合成多重化回路７５の出力とを接続して、会議参加回線の接続制御を行う。画像データ分離回路７３１〜７３４は、会議端末７１１〜７１４から受けた符号化データから音声データと分離され各々の画面データを出力する。
【００４３】
分離された画面データは、ＧＯＢ単位でバッファメモリ７４１〜７４４へ供給される。バッファメモリ７４１〜７４４、合成多重化回路７５、ＧＯＢ検出回路７６、及び、制御回路７７は、図１に示された同一名称のものと同一の機能を有する。即ち、ＧＯＢ検出回路７６はバッファメモリ７４１〜７４４におけるＧＯＢ蓄積の検出を行う。制御回路７７は、画面合成の制御信号を合成多重化回路７５に出力し、合成多重化回路７５は、ＧＯＢデータがバッファメモリに届いていないブロックに、“そのブロックの画面データは無し”であることを示すＧＯＢ０の信号を挿入しつつ、４つの画面の画面データから１つの合成画面となるように合成した画面データによる画像信号を得る。
【００４４】
ＭＣＵ７９を制御する制御部７８は、図示されていない従来通りの経路による音声信号等の信号を合成多重化回路７５によって多重化された符号化データを送受する回線制御回路７２を制御する。回線制御回路７２を通して回線制御回路７２に与えられた符号化データは、制御部７８の制御のもとに会議端末７１１〜７１４にそれぞれ設けられた復号化装置へ送られ、この復号化装置によって復号化される。この結果、４つの画面を１つの画面に合成された信号が各会議端末７１１〜７１４それぞれにおいて画面に出力される。
【００４５】
次に、図６は６つの端末の画面を合成する場合の実施例を示しており、この実施例では、以下の説明からも明らかなように、遅延時間を短縮できる。
【００４６】
図６には、６つの端末から送出されるＱＣＩＦフレームによる６画面それぞれからＱＣＩＦの３つのＧＯＢ（合計１８）が取出されている。この例では、各端末からのＱＣＩＦフレームに含まれる３つのＧＯＢの中、２つのＧＯＢには有効な画面データが配置され、残りの１つのＧＯＢには差分符号化データ“０”であるＧＯＢ０の信号が配置されたＱＣＩＦフレームが、各端末からＭＣＵに送出されている。
【００４７】
ＭＣＵでは、３つのＧＯＢの中から有効な２つだけが取出され、６つの端末からの合計１２のＧＯＢが、順番に並べられ、１つのＣＩＦフレームに形成されて送出される。ＭＣＵは、ＧＯＢ単位で検出を行い、ＧＯＢ単位でＧＯＢデータがある箇所だけにこのＧＯＢデータを配置し、他の箇所には、差分“０”のデータ、ＧＯＢ０を挿入することによって、ＣＩＦフレームの画面を合成する。この構成によって、遅延時間が短縮出来る。
【００４８】
上記説明では、ＱＣＩＦフレームによる４つの画面（図１〜図３）、または、６つの画面（図６）が、ＣＩＦフレームの１つの合成画面に形成されている。しかし、合成画面でなく、ある端末の１画面を他の端末へそのまま送る場合は、ＭＣＵが、各端末からの要求に応じて切替え制御し、所望の端末からの符号化データをそのまま切替え選択して、送出してもよい。この場合、端末からの画像信号は、ＣＩＦフレームのモードに切替えられた画面データにより送出される。
【００４９】
また、４画面合成表示と１画面表示との２つの要求がＭＣＵにあった場合、ＭＣＵは、全ての端末からＱＣＩＦフレームのモードで画面データを受け、１画面表示の要求の端末へもＱＣＩＦフレームの画面データを送出してもよい。この場合、ＭＣＵは、ＱＣＩＦフレームによる１画面ではなく、４画面のＱＣＩＦフレームによる合成画面データを端末に送出し、且つ、１画面を要求する受信側端末が所望の１画面を選択して表示する機能を有している。
【００５０】
更に、１画面表示を要求された端末がＣＩＦフレームによるモードで出力し、ＭＣＵが画面合成する構成でもよい。この場合は、ＣＩＦフレームによるモードの画面のＧＯＢの箇所に強制的にブラックバー等に相当する符号化データを発生挿入させるか、または、直前のＱＣＩＦのデータを保存する等の構成が採用されてもよい。この、直前のＱＣＩＦのデータを保存する構成により１画面表示の画像の解像度を上げることが出来る。
【００５１】
また、この構成では、端末において、ＣＩＦフレームからＱＣＩＦフレームに変換する必要がなく、ダミーデータの多重化処理はＭＣＵで行うことになる。ダミーデータが入る領域であることを区別出来る信号のみをＭＣＵで多重化すれば、受信側で復号した３画面の他に所望の合成画像信号を多重化して４画面合成の画面を表示することも可能である。
【００５２】
音声信号については、図示されず、また、説明されていないが、音声信号は、従来どうりの方法により音声信号処理部で処理される。画像データ分離回路が音声データの分離機能を有する場合、分離された音声データは音声信号処理部に送出される。音声信号処理部は、各地点からの音声データから得た音声信号を加算合成する。加算合成された音声信号をそのまま各端末に分配すると、各端末では、自分が送出した音声信号がエコーとして戻ってくることになるので、発生する音声が耳障りになる。これを防止するため、音声信号処理部は、対応する各端末から送出されてきた音声信号それぞれを、加算合成された音声信号から減算して合成音声信号を求め、この合成音声信号を合成音声データに変換して、それぞれに対応する端末へ送出している。
【００５３】
各合成音声データは、合成画面データと多重化され、符号化データとして、各端末に送られる。したがって、合成音声データと合成画面データとの多重化機能は、合成多重化回路にその機能を含めることもできる。
【００５４】
実施例では省いているが、誤り訂正符号化等を行ったデータの場合、ＧＯＢの構造が見えないので、バッファメモリが、誤り訂正復号化したデータ列に作成し、画面多重でＣＩＦのＧＯＢデータ列に多重化してから誤り訂正符号化を行う必要がある。音声データも多重化されている場合は、音声のデータは別に分離して必要な処理を行う。
【００５５】
以上説明したように、図１の実施例のバッファメモリ１２ａ〜１２ｄでは、端末毎に別々のメモリ構成で示してあるが、書込み、及び、読出しのスピードを速くすれば、１つのメモリ装置で、各々の端末に対応するメモリ領域を別々に定め、多重化したメモリ構成にすることが出来る。
【００５６】
また、ＧＯＢ単位で検出して合成し出力するため、いずれかの部分画面が１フレーム揃えばよく、更に、ＧＯＢが１つでもあれば合成して送り出すので、１フレーム分が揃うまで全てのＧＯＢを蓄積しておく必要が無く、ＧＯＢの単位の遅延時間となり、更に、端末の符号器の最良のフレームレートの遅延時間までに短縮できる。また、バッファメモリ容量も、遅延時間が小さくできる分、小さな容量にすることができ、ハードウェアの規模も小さくできる。
【００５７】
なお、上記では、ＧＯＢ単位で合成する場合についてのみ説明したが、本発明では、ＧＯＢに代るデータ単位に合成する場合にも適用できる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、画面合成をＧＯＢ単位で合成し、画面データがない箇所には強制的に差分“０”のデータをＧＯＢ単位で挿入している。この構成によって、従来、画面が揃うのを待ってから画面合成を行う構成に比較して、ＭＣＵでの画面合成による遅延時間を短縮でき、また、バッファメモリの記憶容量も少なくできる多地点会議用画面合成システムを得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す機能ブロック図である。
【図２】図１によって合成される一実施例を示す合成画面説明図である。
【図３】図１によって合成される別の実施例を示す合成画面説明図である。
【図４】図１の復号器の一実施例を示す機能ブロック図である。
【図５】本発明の別の実施例を示す機能ブロック図である。
【図６】図２、図３とは別の実施例をしめす合成画面説明図である。
【図７】従来の一例を示す機能ブロック図である。
【図８】図７によって合成される一例を示す合成画面説明図である。
【符号の説明】
Ａ〜Ｄ 端末
１１ａ〜１１ｄ 符号器
１２ａ〜１２ｄ、７４１〜７４４ バッファメモリ
１３、７６ ＧＯＢ検出回路
１４、７７ 制御回路
１５、７５ 合成多重化回路
１６ 多地点制御装置（ＭＣＵ）
１７ 復号器
６１ 分離回路
６２ 可変長復号器
６３ 制御器
６４ 逆量子化器
６５ ＩＤＣＴ（逆離散コサイン変換）器
６６ 加算器
６７ 動き適応予測器
６８ フレームメモリ
６９ Ｄ／Ａ変換器
７２ 回線制御回路
７８ 制御部
７９ 多地点会議制御装置
７１１〜７１４ 会議端末
７３１〜７３４ 画像データ分離回路
Claims (10)
- 複数のテレビ会議端末から受ける各テレビ画面をデータ圧縮した符号化データで画面合成し、合成した符号化データを各端末が受けて画面表示する多地点会議用画面合成システムにおいて、
前記各端末でＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ，画像信号の符号化データの最小単位）毎に発生する画像信号を受信し、受信する画像信号を前記ＧＯＢ毎に蓄積するバッファメモリ手段と、
少なくとも１つの端末について、その端末のテレビ画面を構成するＧＯＢが１画面分の画面データとして前記バッファメモリの所定箇所に揃っていることを判定し出力するＧＯＢ検出手段と、
この判定出力により画面合成を行うのに必要な順番に前記バッファメモリ手段から前記ＧＯＢを読み出し、読み出すべきＧＯＢの符号化データが蓄積されていなければ蓄積されていないＧＯＢの部分に符号化データ無しであることを示す符号化データＧＯＢ０を挿入して、合成画面の符号化データを合成多重化する合成多重化手段と、前記符号化データＧＯＢ０を挿入しても合成画面の符号化データのビットレートが伝送路のビットレートを超えないように各端末の符号器の出力ビットレートの合計を伝送路ビットレートより小さくしておくビットレート調整手段とを有する多地点制御装置を備え、かつ、前記各端末では、前記符号化データＧＯＢ０が含まれた符号化データを受信した際に受信した符号化データＧＯＢ０による増加分を補償した処理時間で復号化を行う復号化手段とを備えることを特徴とする多地点会議用画面合成システム。 - 請求項１において、多地点制御装置は、前記端末とディジタル回線で接続し各端末との間でディジタル信号を授受し、会議参加回線を接続制御する回線制御手段と、当該回線制御手段を介して端末から受けたディジタル信号から画像信号になる画像データを取出し、この画像信号になる画像データを前記ＧＯＢごとに送出する画像データ分離手段とを更に備え、前期バッファメモリ手段は前記ＧＯＢごとに符号化データを前記画像データ分離手段から受けて蓄積することを特徴とする多地点会議用画面合成システム。
- 請求項１において、前記復号化手段が、符号化データを受け、受けた符号化データから画像信号になる画面データを分離して出力する分離回路と、受けた画面データから変換係数の量子化データを分離して送出すると共に、ＧＯＢ番号、動きベクトル等の信号を送出する可変長復号器と、当該可変長復号器から受けた前記ＧＯＢ番号、動きベクトル等の信号を送出して、復号処理の制御を行う制御器と、前記可変長復号器から受けた量子化データを、逆量子化して元の量子化レベルの信号に伸長して送出する逆量子化器と、当該逆量子化器から受けた信号を逆離散コサイン変換して量子化された予測誤差信号を得て送出するＩＤＣＴ（逆離散コサイン変換）器と、当該ＩＤＣＴ器からの予測誤差信号と別に生成する予測信号とを加算し、復号信号を得て送出する加算器と、前記制御器から受けた動きベクトルに応じて適応的に予測信号を求め、次の予測信号を予測出力する動き適応予測器と、前記加算器から受けた復号信号をほぼ１フレーム周期の遅延回路で遅延させ、遅延された信号を前記動き適応予測器へ送出するフレームメモリと、前記加算器から受けた復号信号をディジタル／アナログ変換して出力するＤ／Ａ（ディジタル／アナログ）変換器とを備えることを特徴とする多地点会議用画面合成システム。
- 請求項３において、前記フレームメモリは、ＧＯＢの先頭にある範囲だけ別に読み出し出来る、二重メモリを設けられていることを特徴とする多地点会議用画面合成システム。
- 請求項３において、前記フレームメモリは、フレーム周期の２倍の早さで読み出すことによって、受信した符号化データＧＯＢ０のブロックを読み飛ばして次のＧＯＢの先頭にある範囲だけ別に読み出すことを特徴とする多地点会議用画面合成システム。
- 請求項３において、前記フレームメモリは、復号のフレーム周期を早くして、ＧＯＢ０のブロックを差分信号“０”としてそのまま復号化することにより受信した符号化データＧＯＢ０による増加分を補償することを特徴とする多地点会議用画面合成システム。
- 請求項１において、各端末がＱＣＩＦ（４分共通中間フォーマット）方式の３つの前記ＧＯＢにおける最後の１つを前記ＧＯＢ０として形成した符号化データを送出し、当該符号化データを受けた前記合成多重化回路が６つの端末に対してＣＩＦ方式による１つの画面を形成することを特徴とする多地点会議用画面合成システム。
- 複数のテレビ会議端末の各テレビ画面をデータ圧縮した符号化データで画面合成して、合成した符号化データを各端末へ送出する多地点会議用画面合成方法において、
前記各端末でＧＯＢ（Ｇｒｏｕｐ Ｏｆ Ｂｌｏｃｋｓ，画像信号の符号化データの最小単位）毎に発生する画像信号を受信し、受信した画像信号を前記ＧＯＢ毎に蓄積するバッファメモリを備え、少なくとも１つの端末についてその端末のテレビ画面を構成するＧＯＢが１テレビ画面分の画面データとして前記バッファメモリの所定箇所に揃っていることを判定し出力し、この判定出力により画面合成を行うのに必要な順番に前記バッファメモリから前記ＧＯＢを読み出し、読み出すべきＧＯＢの符号化データが蓄積されていなければ蓄積されていないＧＯＢの部分に符号化データ無しであることを示す符号化データＧＯＢ０を挿入して合成画面の符号化データを合成多重化して送信することにより、一括伝送する一画面分の符号化データの伝送ビットレート以内に収まるように小さく抑え、前記各端末では、前記符号化データＧＯＢ０が含まれた符号化データを受信した際に、受信した符号化データＧＯＢ０の増加分を補償した処理時間で復号化することを特徴とする多地点会議用画面合成方法。 - 請求項８において、符号化データＧＯＢ０の前記増加分はより速い復号化処理により補償することを特徴とする多地点会議用画面合成方法。
- 請求項８において、前記符号化データＧＯＢ０の増加分は符号化データＧＯＢ０のスキップ処理により補償することを特徴とする多地点会議用画面合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30497594A JP3586484B2 (ja) | 1993-12-10 | 1994-12-08 | 多地点会議用画面合成システムおよび方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31071293 | 1993-12-10 | ||
| JP5-310712 | 1993-12-10 | ||
| JP30497594A JP3586484B2 (ja) | 1993-12-10 | 1994-12-08 | 多地点会議用画面合成システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07222131A JPH07222131A (ja) | 1995-08-18 |
| JP3586484B2 true JP3586484B2 (ja) | 2004-11-10 |
Family
ID=26564113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30497594A Expired - Fee Related JP3586484B2 (ja) | 1993-12-10 | 1994-12-08 | 多地点会議用画面合成システムおよび方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3586484B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100238085B1 (en) * | 1997-05-20 | 2000-01-15 | Samsung Electronics Co Ltd | Video split board of mcu |
| KR100275930B1 (ko) * | 1998-02-25 | 2000-12-15 | 강상훈 | 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법 |
| KR100330162B1 (ko) * | 2000-04-11 | 2002-03-28 | 윤종용 | 멀티 소오스 인터페이스 회로 |
| JP3913726B2 (ja) * | 2003-10-30 | 2007-05-09 | 株式会社リコー | 多地点テレビ会議制御装置及び多地点テレビ会議システム |
| NO320115B1 (no) * | 2004-02-13 | 2005-10-24 | Tandberg Telecom As | Anordning og fremgangsmate for a generere CP-bilder. |
| JP7521604B2 (ja) * | 2020-12-22 | 2024-07-24 | 日本電信電話株式会社 | 映像信号を合成する装置、方法及びプログラム |
-
1994
- 1994-12-08 JP JP30497594A patent/JP3586484B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07222131A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100213048B1 (ko) | 아날로그와 디지탈 비디오 모드를 갖는 수신기와 그 수신방법 | |
| US5995150A (en) | Dual compressed video bitstream camera for universal serial bus connection | |
| EP1323308B1 (en) | Delay reduction for transmission and processing of video data | |
| JPH0654322A (ja) | 多地点制御装置を用いたｔｖ会議の画像データ適応制御方式 | |
| US6992692B2 (en) | System and method for providing video quality improvement | |
| US5801777A (en) | Device and method for decoding digital video data | |
| US6188727B1 (en) | Simplicity HDTV video decoder and its decoding method | |
| JP3586484B2 (ja) | 多地点会議用画面合成システムおよび方法 | |
| US20040071212A1 (en) | System and method for decreasing end-to-end-delay during video conferencing session | |
| JP4171940B2 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
| JP2573177B2 (ja) | 電子会議システムにおける図形表示装置 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JPH09247667A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP3078990B2 (ja) | 低遅延モード画像復号方法 | |
| JP2002016921A (ja) | 動画像符号化装置および動画像復号化装置 | |
| KR980013375A (ko) | 아날로그와 디지털 비디오 모드를 갖는 수신기와 그 수신방법(Receiver having analog and digital video moed and receiving method thereof) | |
| JP4184223B2 (ja) | トランスコーダ | |
| JP2001045495A (ja) | 画面合成装置 | |
| JPH0846973A (ja) | 画像通信装置及びシステム | |
| JPH0294886A (ja) | 映像信号の符号化・復号化方法およびその装置 | |
| JPH08237599A (ja) | フレーム間帯域圧縮信号切り替え回路 | |
| JP2002094996A (ja) | 受信装置 | |
| JP2002077910A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP2002094949A (ja) | 映像情報再生装置及び再生方法 | |
| JP3750217B2 (ja) | 動画像符号化伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |