JPH0715609A

JPH0715609A - 画像伝送方法並びに画像送信装置、画像受信装置および画像伝送装置

Info

Publication number: JPH0715609A
Application number: JP5146410A
Authority: JP
Inventors: Yoshito Tobe; 辺義人戸; Tatsuya Kimura; 村達也木; Yoshifumi Nakamura; 村善史中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-06-17
Filing date: 1993-06-17
Publication date: 1995-01-17

Abstract

(57)【要約】【目的】画像送信側の伝送媒体であるネットワークの
伝送能力および画像送信装置の符号化能力に対し、画像
受信側の伝送媒体であるネットワークの伝送能力および
画像受信装置の復号化能力が劣っていても、後者の能力
に応じた画像伝送を行うことができる画像伝送方法並び
に画像送信装置、画像受信装置および画像伝送装置を実
現すること。【構成】画像データをウェーブレット帯域毎にパケッ
ト化し、そのパケットに所定の識別子を設定し、その識
別子をもとに画像を復元する画像伝送方法並びに画像送
信装置、画像受信装置および画像伝送装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像を伝送するための画
像伝送方法並びに画像送信装置、画像受信装置および画
像伝送装置に関する。

【０００２】

【従来の技術】最近、パケット通信を基本とするネット
ワーク上での画像伝送が広まりつつある。ネットワーク
そのものの帯域が広がってきたことに加え、画像取り込
み機器の低価格化、画像を表示するフレームバッファを
構築するＲＡＭの大容量化、メディア蓄積デバイスの集
積度・アクセス速度の向上、高精細ディスプレイの進
歩、ディジタル信号処理技術の進歩といった環境が、画
像プロセス伝送および取り込み、表示を可能にしてい
る。一方、需要の面からは、プロセス制御システム、医
療システム、遠隔共同作業等で画像伝送が求められてい
る。特にプロセス制御システムにおいては、ますます複
雑・巨大化していく制御システムの監視に、臨場感を持
たせて、操作員にヒューマンインタフェースのよい操作
支援環境を与える上で、画像伝送は不可欠である。

【０００３】画像は、データ量が膨大である（水平方向
６４０ピクセル、垂直方向４８０ピクセル、１ピクセル
当たり１６ビットの画像を３０フレーム／秒のフレーム
レートで伝送する場合、１４７．５Ｍｂｐｓの帯域が必
要となる）ので大容量のネットワーク回線を使用できる
とき以外は、ディジタル信号処理技術により情報を圧縮
して伝送する。この情報量の圧縮は、画像が持つ２次元
空間上（フレーム上）および時間上（フレーム間）の相
関性を利用して情報冗長度を除去することと人間の視覚
特性を応用することを基本原理とする。フレーム間の圧
縮には、ＤＰＣＭ（ディファレンシャル・パルス・コー
ド・モジュレーション）や動き補償ベクトル法が用いら
れている。フレーム内の圧縮は、ＤＣＴ（ディスクリー
ト・コサイン変換）出力を周波数スペクトラム分布に応
じて変化を持たせた量子化ステップで量子化することで
行われる。

【０００４】図１４はネットワークにおける画像送信装
置と画像受信装置と伝送路とを示す図である。同図にお
いて、画像送信装置１から取り込まれた画像データは、
画像送信装置１内部の符号化およびパケット化処理を経
て、高速伝送路４へ送り出される。画像受信装置２ａお
よび２ｂは、ネットワークから画像データを受信し、画
像受信装置内部のパケットの分離および復号化過程を経
て、画像を画像表示装置６に表示する。画像受信装置２
ｂはゲートウェイ３を介して接続される別のネットワー
クである低速伝送路５に接続されている。

【０００５】従来の画像送信装置を図１６を基に説明す
る。図１６は従来技術の画像送信装置のブロック図を示
している。画像入力部７から入力された画像信号は動き
補償変化部８を経てＤＣＴ符号器９ａにおいてＤＣＴが
行われる。ＤＣＴが行われた信号は、量子化器１０で量
子化されて伝送符号器１１で可変長符号化された後、パ
ケット多重化部１２ａでパケットに組み立てられてネッ
トワークインタフェース１３に送られる。

【０００６】次に従来の画像受信装置を図１５を基に説
明する。図１５は従来技術の画像受信装置のブロック図
を示している。画像受信装置は、パケットを受信する
と、ネットワークインタフェース１３を介してパケット
分離部１２ｂでパケットから画像データを抽出して、伝
送復号器１５で可変長符号化されたデータを復号して、
逆量子化器１６において逆量子化を施す。続いて、ＤＣ
Ｔ復号器１７ａで逆ＤＣＴ変換して、動き補償逆変換部
１８で動き補償の補正を行って画像のディジタル信号が
取り出される。この信号を適宜Ｄ／Ａ変換してＰＡＬも
しくはＮＴＳＣフォーマットの再生可能な画像信号が取
り出せる。

【０００７】フレーム内画像符号化としてＤＣＴ方式
は、CCITT 、H.261 、ISO 、JPEG,MPEG 等の標準化委員
会で採用されているが、単純なＤＣＴ方式以外に階層型
画像符号化方式が提案されている。階層型画像符号化方
式は送信側がまず画像のおおまかな情報を送信し、順に
より詳細な情報を送信して、受信側が段階的に画像の精
度を上げて再現し、必要な段階で画像情報の受信を打ち
切ることを意図して考えられた方法である。ＤＣＴ方式
を応用して階層型画像伝送を行う方式も知られている
（K. R. Rao, P. Yip 共著オーム社発行、「画像符号
化技術」３４５頁）。しかし、ＤＣＴ方式を用いた従来
の方法では、画像情報が少ない場合、画像中の物体の輪
郭のような明るさや色が急に変わる部分が明確になら
ず、細かい様子は必要ないが物体の外形だけは知りたい
ような場合でも、より詳細な情報を必要とした。

【０００８】階層型画像符号化方式として、ＤＣＴ方式
の欠点を補うものとして、ウェーブレット変換が注目を
浴びている。その基本的な原理は、文献（１）IngridDa
ubechies, "Orthonomal Bases of Compactly Supported
Wavelets",Communicationson Pure and Applied Mathe
matics, Vol. XLI, pp. 909-996(1988), 文献（２）太
田他"Topics on Wavelet Transform (1)",電子情報通信
学会技術研究報告IE92-7, pp. 47-51(1992) 等に記され
ている。

【０００９】以下、ウェーブレット変換の方式を文献
（１）、文献（２）を基に簡単に説明する。ウェーブレ
ット変換は空間信号あるいは時間信号を複数の周波数領
域に帯域分割する方式であり、完全な分割再合成が可能
な変換方式である。

【００１０】いまｈ（ｘ）を基本関数として、Ｈａ，ｂ（ｘ）＝｜ａ｜^-1/2ｈ（（ｘ−ｂ）／ａ）
ａ，ｂ：実行，ａ≠０を考えると、ａは伸縮率を表し、ｂは基底間の移動の度
合いを表す。パラメータａを調節することにより、低周
波領域で変換の基底を大きく、高周波領域で変換の基底
を小さくすることができる。したがって人間の視覚特性
にあう低周波領域での空間解像度を大きくとることがで
きる。また、パラメータｂにより隣接する基底とオーバ
ラップさせることができ、ブロック歪は発生しない。

【００１１】ウェーブレット変換を画像符号化に適用す
る場合、本質的に２次元のフィルタが必要になる。ウェ
ーブレット変換において、二次元フィルタＨは、Ｈ＝ＨｘＨｙと垂直方向（ｘ方向）の一次元フィルタＨｘと水平方向
（ｙ方向）の一次元フィルタＨｙとの積で表される。こ
こで、ＨｘとＨｙに同一形のフィルタを用いることが可
能である。この共通のフィルタで、低周波成分を取り出
すフィルタ（ローパスフィルタ）をＬＰＦ、高周波成分
を取り出すフィルタ（ハイパスフィルタ）をＨＰＦとす
ると、ＨｘおよびＨｙをＦＩＲ（有限インパルス応答）
フィルタで実現するときのフィルタ計数は、文献（１）
で求められている。例えば素子数が８個のときＬＰＦの
係数ｈは、ｈ［０］＝０．２３０３７７８１３３０９ｈ［１］＝０．７１４８４６５７０５５３ｈ［２］＝０．６３０８８０７６７９３０ｈ［３］＝ −０．０２７９８３７６９４１７ｈ［４］＝ −０．１８７０３４８１１７１９ｈ［５］＝０．０３０８４１３８１８３６ｈ［６］＝０．０３２８８３０１１６６７ｈ［７］＝ −０．０１０５９７４０１７８５で与えられ、ＨＰＦの係数ｇは、ｇ［ｋ］＝ｈ［ｋ］（ｋ：偶数）ｇ［ｋ］＝ −ｈ［ｋ］（ｋ：奇数）となる。

【００１２】実際の画像信号のウェーブレット変換の方
法を図１７、図１８、図２０をもとに説明する。図１７
はウェーブレット符号器のブロック図を示し、図１８は
ウェーブレット変換による周波数帯域分割を説明するた
めの図であり、図２０はダウンサンプリングを説明する
ための図である。図１７に示すように、ウェーブレット
符号器では、まず第１段で、入力信号の水平方向（Ｘ方
向）に対して、ローパスフィルタ２８とハイパスフィル
タ２９を通してフィルタ処理を行い２つの帯域に分割す
る。それから、分割したデータをダウンサンプリング器
２０に通してダウンサンプリングを行う。

【００１３】ここでダウンサンプリング器２０の前の信
号を図２０の（ａ）に、後の信号を図２０の（ｂ）に示
す。図２０に示すようにダウンサンプリング器２０によ
って、入力信号と出力信号が２：１の割合でダウンサン
プリングされる。

【００１４】続いて第２段で、分割された２つの信号の
それぞれの垂直方向（Ｙ方向）成分に対しても、同様の
処理を行い、図１８に示す４つのＬＬ１，ＬＨ１，ＨＬ
１，ＨＨ１を得る。以上の処理をＬＬ１成分に対して第
３段、第４段、第５段、第６段と順次繰り返し、最終的
に図１８に示すように１０個のウェーブレット帯域成分
ＬＬ３、ＬＨ３、ＨＬ３、ＨＨ３、ＬＨ２、ＨＬ２、Ｈ
Ｈ２、ＬＨ１、ＨＬ１、ＨＨ１に分割され、それぞれ量
子化器に送信される。

【００１５】他方、画像を復元するのに必要なウェーブ
レット逆変換の方法を図１９、図１８、図２１をもとに
説明する。図１９はウェーブレット復号器のブロック図
を示し、図２１はアップサンプリングを説明するための
図である。図１９に示すようにウェーブレット復号器に
は図１８に示す各ウェーブレット帯域のデータが入力さ
れる。ウェーブレット復号器では、まず、第１段でウェ
ーブレット帯域成分ＬＬ３とＬＨ３それぞれを、垂直方
向（Ｙ方向）に対して、アップサンプリング器２１でア
ップサンプリングを行う。

【００１６】ここでアップサンプリング器２１の前の信
号を図２１の（ａ）に、後の信号を図２１の（ｂ）に示
す。

【００１７】アップサンプリングされた信号に対して第
１段でフィルタ処理（ＬＰＦとＨＰＦ）を行い、それぞ
れの出力が加算器２２で加算される。同様に、第１段で
ウェーブレット帯域成分ＨＬ３とＨＨ３それぞれに対し
て、アップサンプリングを行いそれらの信号に対してフ
ィルタ処理を行い、加算器２１で加算される。上述した
加算器２１からの２つの出力信号に対して、第２段で同
様の処理を垂直方向に対しても行い、ウェーブレット帯
域成分ＬＬ２を抽出する。他方、ウェーブレット帯域成
分ＬＨ２と抽出されたウェーブレット帯域成分ＬＬ２そ
れぞれを、垂直方向に対して第３段でアップサンプリン
グを行い、フィルタ処理を行い、加算器２２で加算す
る。また同様に、ウェーブレット帯域成分ＨＬ２とＨＨ
２それぞれを、垂直方向に対して第３段でアップサンプ
リングを行い、それらの信号の対してフィルタ処理を行
い、加算器２２で加算する。第３段で加算された２つの
信号は、それぞれ第４段でアップサンプリング、フィル
タ処理が行われ、加算器で加算されウェーブレット帯域
成分ＬＬ１が抽出される。以下同様に、第５段、第６段
と復号処理が行われ、元の画像の量子データが復号され
る。

【００１８】

【発明が解決しようとする課題】従来の画像送信装置と
画像受信装置との間で画像伝送を行う場合、画像受信装
置の処理能力が送られてくる画像データのスループット
に追随できず画像表示が停止してしまったり、低速のネ
ットワークに高速ネットワークで流れる画像データがそ
のまま流れこみ、画像データのシーケンスが乱れてしま
うという問題があった。たとえば、図１４において、低
速伝送路５の速度が高速伝送路４の速度に比して極端に
小さい場合、画像送信装置１から画像受信装置２ａと画
像受信装置２ｂに同時に同一の動画像を送信することは
不可能であった。

【００１９】そこで本発明の目的は、送信側の伝送媒体
であるネットワークおよび画像送信装置の能力に対し、
受信側の伝送媒体であるネットワークおよび画像受信装
置の能力が劣っていても、後者の能力に応じた画像伝送
を行うことができる画像伝送方法並びに画像送信装置、
画像受信装置および画像伝送装置を実現することであ
る。

【００２０】

【課題を解決するための手段】本発明の画像伝送方法
は、画像送信装置から画像受信装置に画像データを送信
する画像伝送方法であり、１つのパケットに特定のウェ
ーブレット帯域のみからなる画像データが含まれ、パケ
ットのヘッダにウェーブレット帯域に対応する所定の識
別子が設定されていることを特徴とする。

【００２１】また本発明の画像送信装置は、画像信号を
入力する画像入力部と、画像入力された信号を符号化す
る符号化部と、符号化部を制御する符号化制御部と、符
号化部で符号化された信号を外部伝送路に送出するネッ
トワークインタフェースとを有し、符号化部は、画像入
力部からの画像信号の動き補償フレーム間予測を行う動
き補償変換部と、ウェーブレット変換を用いて画像符号
化を行う画像符号化部と、画像符号化されたデータを量
子化する量子化部と、量子化されたデータを伝送用デー
タに変換する伝送符号化部と、伝送用データをパケット
化して多重化するパケット多重化部とを備えたものであ
り、符号化制御部は、画像符号化部からのウェーブレッ
ト変換された画像データ毎にパケット化し、所定のウェ
ーブレット帯域の識別子をパケットヘッダに設定するよ
うに制御するものであることを特徴とする。

【００２２】一方、本発明の画像受信装置は、外部伝送
路からパケットを受信するネットワークインタフェース
と、受信したパケットから画像を復号する復号化部と、
復号化部を制御する復号化制御部とを有し、復号化部
は、受信したパケットを分離・分割するパケット分離部
と、分離・分割された伝送用データを画像用データに復
号する伝送復号化部と、画像用データに復号されたデー
タを逆量子化する逆量子化部と、逆量子化されたデータ
に対してウェーブレット逆変換を用いて画像復号化を行
う画像復号化部と、ウェーブレット逆変換されたデータ
に対して画像信号の動き補償フレーム間予測を補正する
動き補償逆変換部とを備えたものであり、復号化制御部
は、パケット分離部で検出したパケットのヘッダに含ま
れる所定のウェーブレット帯域の識別子が、復号に必要
な所定のウェーブレット帯域データを示している時の
み、画像復号化部に対して、パケットに含まれる画像デ
ータを復号させるように制御するものであることを特徴
とする。

【００２３】さらに、本発明の画像伝送装置は、上述し
た画像送信装置と画像受信装置とを備えたことを特徴と
する。

【００２４】

【作用】画像送信装置は、画像データを複数のウェーブ
レット帯域毎に分割し、分割された帯域毎にパケット化
し、そのパケットヘッダにウェーブレット帯域に対応す
る識別子を設定しパケットを送信する。一方、画像受信
装置では、パケット受信時にこのヘッダの識別子を参照
しながら、自装置で復号可能なパケットのみを復号し、
そうでないパケットは破棄する。

【００２５】このように、画像データをウェーブレット
帯域毎にパケット化し、そのパケットにそのウェーブレ
ット帯域識別子を設定し、その識別子をもとに画像を復
元する画像伝送方法、画像送信装置、画像受信装置およ
び画像伝送装置によって、送信側の伝送媒体であるネッ
トワークの伝送能力や画像送信装置の符号化能力に対
し、受信側の伝送媒体であるネットワークの伝送能力や
画像受信装置の復号能力が劣っていても、後者の能力に
応じた画像伝送を行うことができる。

【００２６】

【実施例】図２は、本発明による画像送信装置の一実施
例を示すブロック図である。画像送信装置は、画像デー
タを入力する画像入力部７と、入力画像データの動き補
償を行う動き補償変換部８と、動き補償変換部８からの
データに対してウェーブレッド変換を行うウェーブレッ
ド符号器９ｂと、ウェーブレッド符号器９ｂで符号化さ
れたデータを量子化する量子化器１０と、量子化器１０
で量子化されたデータを伝送用データに変換する伝送符
号器１１と、伝送符号器１１で符号化された伝送データ
をパケット化して多重化するパケット多重化部１２ａ
と、動き補償変換部８とウェーブレッド符号器９ｂと量
子化器１０とパケット多重化部１２ａとを制御する符号
化制御部１４ａと、ネットワークインタフェース１３と
を有する。

【００２７】一般に動画像信号は、時間軸上で連続的に
発生する画像フレームからなる。例えば、フレームレー
トが２０フレーム／秒であれば、タイムステップ幅５０
ｍｓｅｃに１回画像フレームが発生する。画像入力部７
から取り込まれた画像１フレーム分の信号は、動き補償
をするために、動き補償変換部８の中で、図示していな
い画像メモリに蓄積されている前タイムステップの画像
データと共に加算され、その信号は、ウェーブレット符
号器９ｂに入力される。ウェーブレット符号器９ｂに入
力された信号は、図１８に示した１０個のＨＨ１，ＬＨ
１，ＨＬ１，ＨＨ２，ＨＬ２，ＬＨ２，ＨＨ３，ＨＬ
３，ＬＨ３，ＬＬ３バンドの順に、ウェーブレット帯域
データとして変換される。ウェーブレット符号器９ｂで
変換されたデータは、量子化器１０の中でウェーブレッ
ト帯域別の量子化テーブルに基づき符号化制御部１４ａ
によって、量子化される。量子化されたデータは、伝送
符号器１８と、次のタイムステップのための動き補償を
行うため動き補償変換部８とに送られる。動き補償変換
部８に送られたデータは、次のタイムステップの動き補
償を行うため、適当な形に変換される。一方、伝送符号
器１８に送られたデータは、伝送符号器１８内で、ハフ
マン化方式に従い、可変長符号化される。

【００２８】符号化されたデータには，図１に示すよう
に、パケット多重化部１２ａで、宛先に応じて、ＭＡＣ
（メディア・アクセス・コントロール）副層ヘッダＩ
１、ＬＬＣ（ロジカル・リンク・コントロール）副層ヘ
ッダＩ２、ネットワーク層プロトコルヘッダＩ３、トラ
ンスポート層プロトコルヘッダＩ４と共に、画像再生に
必要なヘッダが付加される。このヘッダには、他の画像
シーケンスとの識別子であるストリームＩＤフィールド
Ｉ５２、発生時刻を示すタイムスタンプＩ５３、符号化
されたデータのサイズを表わすデータサイズＩ５５の他
に、ウェーブレット帯域識別子Ｉ５４を付加する。この
ウェーブレット帯域識別子には例えば、と割り当てる。

【００２９】図３は、図２に示す画像送信装置から送信
されたパケットを、パケットヘッダ情報に含まれるウェ
ーブレット帯域識別子を基に、複数のウェーブレット帯
域のデータから画像を復号する画像受信装置を示すブロ
ック図である。受信されたパケットはネットワークイン
タフェース１３を通し、パケット分離部１２ｂでヘッダ
が検査される。つまり、パケット分離部１２ｂで、図１
に示すストリームＩＤフィールドＩ５２とタイムスタン
プＩ５３が確認され、ウェーブレット帯域識別子Ｉ５４
を参照して、自受信装置に必要な帯域のデータのみを取
り出し、不要なパケットは廃棄する。パケットから取り
出された伝送データは、復号化制御部１４ｂ内部の情報
と伝送復号器１５内部の既に説明した伝送符号器１１で
用いられたハフマン符号の情報テーブルとを基に、伝送
復号器１５で復号される。そのデータは、逆量子器１６
を経て、ウェーブレット復号器１７ｂで復号される。復
号されたデータは、動き補償逆変換部１８によって、前
フレームの画像データを用いて動き補償逆変換を行い、
画像出力部１９から画像信号として出力される。

【００３０】図５は、図３に示したウェーブレット復号
器１７ｂを示すブロック図である。図中のＧＡ１、ＧＡ
２、……とＧＢ１、ＧＢ２……は、図３に示した復号化
制御部１４ｂからウェーブレット復号器１７ｂに送られ
る制御信号を示している。図５において、演算はＩＥＥ
Ｅ浮動少数点形式で行われるものとする。復号化制御部
１４ｂには、例えばＬＬ３，ＬＨ３，ＨＬ３，ＨＨ３の
ウェーブレット帯域データだけで復号し、残りのＬＨ
２、ＨＬ２、ＨＨ２、ＬＨ１、ＨＬ１、ＨＨ１帯域デー
タは使用しないように設定されているとする。今、ＬＬ
３帯域データが到着するとアップサンプリング器２１で
アップサンプリングされ、ローパスフィルタ２８でフィ
ルタ処理が行われ、ウェーブレット復号器１７ｂの内部
のバッファＢ１に処理結果が書き込まれる。次にＬＨ３
帯域データが到着するとアップサンプリング器２１でア
ップサンプリングされ、ハイパスフィルタ２９でフィル
タ処理が行われ、ウェーブレット復号器１７ｂの内部の
バッファＢ２に処理結果が書き込まれる。その後、復号
化制御部１４ｂからの制御信号ＧＢ１，ＧＢ２，ＧＡ１
を通して、バッフャＢ１内のデータからバッファＢ２内
のデータが個別にＩＥＥＥ浮動少数点毎に加算器２２に
よって減ぜらる（図５の第１段）。減じられたデータが
さらにアップサンプリングされ、ローパスフィルタ２８
でフィルタ処理が行われ、バッファＢ５にその結果が書
き込まれる（図５の第２段）。同様にバッファＢ６にＨ
Ｌ３帯域データとＨＨ３帯域データの合成結果が書かれ
る（図５の第１段）。バッファＢ５とバッファＢ６両者
にデータが書き込まれると、制御信号ＧＡ３により加算
器２２による減算される（図５の第２段）。その減算さ
れた信号は、アップサンプリング器２１によりアップサ
ンプリングされ、その信号はローパスフィルタ２８でフ
ィルタ処理され，バッファＢ７に書き込まれる。ＬＨ２
帯域データも，アップサンプリング器２１によりアップ
サンプリングされ、その信号はハイパスフィルタ２９で
フィルタ処理されバッファＢ８に書き込まれるが、制御
信号ＧＢ８により加算器２２の入力端子にはバッファＢ
８のデータは伝わらず、加算器２２の出力信号はバッフ
ァ７のデータのみとなる（図５の第３段）。ＨＬ２帯域
データも、ＬＨ２帯域データと同様に制御信号ＧＢ１０
によって復号化に使用されない（図５の第４段）。こう
して、復号化制御部１４ｂに設定されたＬＬ３，ＬＨ
３，ＨＬ３，ＨＨ３帯域データのみが復号される。

【００３１】なお、上記実施例に限定されるものではな
く、動き補償により復号したデータがＣＩＦであると
き、ＣＩＦ変換部があってもよい。

【００３２】このように、１つのパケットの中に、１つ
のウェーブレッド帯域成分のみから成る画像データと、
そのウェーブレッド帯域の識別子を含ませることによっ
て、送信装置側で書き込まれたウェーブレット帯域識別
子等のヘッダ情報に従い、例えば上述したように上記Ｌ
Ｌ３，ＬＨ３，ＨＬ３，ＨＨ３帯域データのみ選択して
画像を復号化する等、処理能力に応じた画像再生が可能
になる。

【００３３】図４は、図２で説明した画像送信装置と図
３で説明した画像受信装置とを備えた画像伝送装置の実
施例を示すブロック図である。図４に示す画像伝送装置
には、図２と図３で説明した符号化制御部１４ａと復号
化制御部１４ｂとを統合した符号化復号化制御部１４ｃ
と、パケット多重部１２ａとパケット分離部１２ｂとを
統合したパケット多重分離部１２ｃとが備えられてい
る。図４に示す画像伝送装置は、図２、図３で示したネ
ットワークインタフェース１３を１個にし、送受信を共
通ポートで行うものである。なお、ネットワークインタ
フェース１３およびパケット多重分離部１２ｃは複数個
あってもよい。

【００３４】ここで、既に説明した図１４と図４とを基
に画像伝送装置の説明をする。今、図１４において画像
伝送装置がゲートウェイ３である場合を考える。画像伝
送装置３は図示していない１個のネットワークインタフ
ェース（ＮＩ１）が高速伝送路４に接続され、図示して
いない他方のネットワークインタフェース（ＮＩ２）が
低速伝送路５に接続されている。画像伝送装置３は、高
速伝送路４に接続された画像送信装置１から画像データ
を受信し、低速伝送路５に接続された画像受信装置に画
像データを送信する。ここで、高速伝送路４側と低速伝
送路５側の伝送速度の比から、高速伝送路５から受信し
た画像データ全てを低速伝送路４側に送ることはできな
い。そのため、あらかじめ低速伝送路４で伝送できるウ
ェーブレット帯域データの範囲を画像伝送装置３に設定
しておく。画像伝送装置３が、ＮＩ１を介して画像送信
装置１から画像データを受信すると、パケット多重分離
部１２ｃによって画像データのヘッダが分離、検出され
る。検出された後、符号化復号化制御部１４ｃによっ
て、あらかじめ設定された低速伝送路４側に送信ができ
るウェーブレット帯域データと検出されたヘッダ部にあ
るウェーブレット帯域識別子とが比較される。検出され
た画像データが、低速伝送路４側に送信できるウェーブ
レット帯域データであれば、そのまま、パケット多重分
離部１２ｃによって再びヘッダが多重化され、ＮＩ２か
ら画像データが低速伝送路５に送信される。そうでなけ
れば、符号化復号化制御部１４ｃによって、その画像デ
ータは破棄される。このように画像送受信装置は、伝送
路の能力に応じた画像データ中継機能の役目を果たす。

【００３５】図６は、画像を画像送信装置から画像受信
装置に画像データを送信する前に、画像送信装置から画
像受信装置に送られる画像に関するパラメータ信号の通
信手順を表わしている。まず、画像送信装置は画像デー
タ３４そのものを送信する前に、コネクション開設メッ
セージ３３を、受信装置に送信する。コネクション開設
メッセージ３３は、図７に示されるフォーマットのデー
タを含んでいる。コネクション開設メッセージ３３は、
上述したＭＡＣ副層ヘッダＩ１、ＬＬＣ副層ヘッダＩ
２、ネットワーク層プロトコルヘッダＩ３、トランスポ
ート層プロトコルヘッダＩ４と、ストリームＩＤフィー
ルドＩ５２とを含んでいる。

【００３６】画像受信装置はネットワークインタフェー
スからパケット分離部に送られたコネクション開設メッ
セージ３３を検査し、このデータに画像パラメータが含
まれていることをコマンド・フィールドＩ５１で判断す
る。そして、これから送られてくる画像データの垂直方
向サイズＩ５８、水平方向サイズＩ５９、フレームレー
トＩ６０の各フィールドを読みとる。復号化制御部は内
部メモリに記録された処理能力からどのウェーブレット
帯域まで読み取れるかを判断して、その帯域番号をＮｗ
ｂとして復号化制御部にＮｗｂを通知する。復号化制御
部は受信したコネクション開設メッセージ３３から抽出
したストリームＩＤとＮｗｂをパケット分離部にセット
する。次に画像送信装置から画像受信装置へ伝送画像デ
ータ３４が送信されると、画像受信装置のパケット分離
部は、ネットワークインタフェースを介して受信した伝
送画像データ３４からストリームＩＤおよびウェーブレ
ット帯域識別子Ｎとを読みとり、あらかじめセットされ
たストリームＩＤおよびＮｗｂと比較する。もしストリ
ームＩＤが同じならば、受信したウェーブレット帯域識
別子ＮとＮｗｂとが、Ｎｗｂ＜Ｎのときには該データフレームを廃棄し、１≦Ｎ≦Ｎｗｂのときには、伝送復号器へデータを渡す。

【００３７】このように、画像データを送る前に、コネ
クション開設メッセージ３３の中に、その画像データの
パラメータを含ませることにより、復号および画像の再
生能力を超えた帯域成分を受信しないようにすることが
できる。なお、上記実施例に限定されるものではなく、
たとえば、ネットワーク層プロトコルとトランスポート
層プロトコルがない、単一ネットワーク内に限定しても
よい。

【００３８】画像受信装置のウェーブレット復号過程に
おいて、復号に必要な信号を全て受信しなくとも、ある
信号を受け取った段階で、画像復号作業を開始する画像
復号化部の動作の実施例を図１９を基に説明する。図１
９は、既に説明したウェーブレッド逆変換器のブロック
図を示している。従来技術では、既に説明したように、
ＬＬ３帯域データとＬＨ３帯域データが揃ってから合成
データＬＬ２−ｌが，ＨＬ３帯域データとＨＨ３帯域デ
ータが揃ってから合成データＬＬ２−ｈが，合成データ
ＬＬ２−ｌと合成データＬＬ２−ｈが揃ってからＬＬ２
合成データが求められる。同様にして、合成データＬＬ
１を求めるには合成データＬＬ２，ＬＨ２帯域データ，
ＨＬ２帯域データ，ＨＨ２帯域データのすべてが揃って
から合成データＬＬ１が求められ、結局、復号信号Ｙを
求めるにはすべてのウェーブレット帯域が必要になる。
これに対して、本実施例の画像復号化部の動作は、例え
ばＬＬ３帯域データを受け取るとただちに復号動作を開
始するものである。このとき、他の帯域データは０と見
なして処理を行う。こうして得られた復号信号Ｙは、Ｌ
Ｌ３帯域データのみから復号したものであり、粗い画質
の画像ではあるが再生することができる。次にＬＨ３帯
域データを受け取ると既にあるＬＬ３帯域データの復号
結果とを用いて合成データＬＬ２−ｌを生成する。以
下、同様にして復号信号Ｙを生成する。新たなウェーブ
レット帯域データが到着すると、それまでの中間信号を
利用して復号信号Ｙを生成する。このように１フレーム
分の全ウェーブレット帯域の信号が到着するのを待たず
に、復号できるデータを受信した段階で画像を復号し、
順次画質を向上させていくことによって、静止画像ある
いはフレームレートの低い準動画像を伝送する時に、早
く画像を見せることができるようになる図８は、非同期
転送モード方式のネットワークにおけるＵＮＩ（ユーザ
・ネットワーク・インタフェース）セルフォーマットを
示している。５３オクテッドからなる第４オクテットの
ＬＳＢ（最下位ビット）３０はセル廃棄優先度ビットを
表す。該優先度ビットは、たとえば、非同期転送モード
方式交換機において輻輳制御に用いられ、輻輳時に優先
度の高いビット１のセルが優先度の低いビット０のセル
よりもセル廃棄率が低くなるように制御される。これか
らこのセル廃棄優先度ビットを使用することによって、
画像伝送を担うネットワークが混雑してきた時に、視覚
上重要な成分のみを伝送させるための方法を説明する。
非同期転送モード方式交換ネットワーク網において、輻
輳時に視覚上重要な成分を優先的に伝送させるために、
まず伝送したい画像をウェーブレット帯域に分解し、既
に説明したように識別子をふり、その最大値をＮとす
る。輻輳時の優先度を２つに（優先、非優先）に分ける
とすると、優先度を分割するスレショホールルド値をＮ
ｔｈ（１≦Ｎｔｈ±Ｎ）とし、帯域識別子としてふられ
たウェーブレット帯域番号Ｎｗが、Ｎｗ≦Ｎｔｈならば
該優先度ビットを１として（優先）、Ｎｗ＞Ｎｔｈなら
ば該優先度ビットを０として（非優先）とＬＳＢに設定
する。このようにして、画像伝送を担うネットワークが
混雑してきたときに、視覚上重要な成分を含む画像デー
タは非同期転送モード方式交換機で破棄されない。この
ようにして、ネットワーク網が輻輳していても、セル廃
棄の影響を最小にすることができる。

【００３９】図９は、画像送信装置から画像受信装置に
対して１対１で画像通信を行う際に、画像データの送信
に先だって、送信装置から受信装置に伝送する画像に関
するパラメータ信号の通信手順を表わしている。まず図
７に示すデータフレームフォーマットを含むコネクショ
ン開設メッセージ３３が、画像送信装置から画像受信装
置に送信される。画像受信装置は、受信したメッセージ
３３のコマンドフィールドＩ５１の値から、自装置の画
像復号能力を画像送信装置に返答すべきことを判断す
る。画像受信装置は、復号化制御部の内部に記録された
自装置の受信処理能力を調べてウェーブレット帯域数を
決定する。そして決定したウェーブレット帯域数を、コ
ネクション応答メッセージ３１に設定し、画像送信装置
に送る。図１０は、コネクション応答メッセージ３１の
データフレームのフォーマットの一部を示している。こ
のフォーマットは、既述のＭＡＣヘッダＩ１からトラン
スポート層Ｉ４までと、コネクション開設メッセージ３
３に対しての応答であることを示すレスポンスフィール
ドＲ１と既述のストリームＩＤフィールドＲ２と自装置
で決定したウェーブレット帯域数を設定するウェーブレ
ット帯域数フィールドＲ３などのフィールドを含んでい
る。画像送信装置は受信したコネクション応答メッセー
ジ３１のウェーブレット帯域数フィールドＲ３の値に基
づき、必要なウェーブレット帯域だけを符号化して画像
データを送信する。なお、画像伝送を単一ネットワーク
内に限定するすることによって、ネットワーク層プロト
コルとトランスポート層プロトコル用のヘッダがなくて
もよい。このように画像データを送信する前に、画像受
信装置の画像復号能力を画像送信装置に伝えることによ
って、画像受信装置の画像復号能力に応じた画像データ
の伝送ができるようになる。

【００４０】図１１は、画像送信前に画像送受信装置間
であらかじめフレームレートを送受信する時に、画像受
信装置から画像送信装置に送信するデータフレームのフ
ォーマットを示している。まず図９に示すように、画像
送信装置から画像受信装置に、図７に示すデータフレー
ムフォーマットを含むコネクション開設メッセージ３１
が送信される。画像受信装置は、コネクション開設メッ
セージ３３のコマンドフィールドＩ５１の値から、自装
置で処理可能なサンプリングレートを画像送信装置に返
答すべきことを判断する。画像受信装置は、自装置でサ
ンプリング可能なサンプリングレートを選択し、コネク
ション応答メッセージ３１に選択したサンプリングレー
トを設定し、画像送信装置に送る。図１１に示すフォー
マットは、上述した図１０のフォーマットとはウェーブ
レット帯域数フィールドＲ３の領域がフレームレートを
設定するフレームレートフィールドＲ４に変更されてい
ることを除けば同一である。画像送信装置は、コネクシ
ョン応答メッセージ３１のフレームレートフィールドＲ
４の値に基づき指定されたフレーム間隔で符号化し送信
する。なお、上記実施例に限定されるものではなく、た
とえば、画像伝送を単一ネットワーク内に限定して、ネ
ットワーク層プロトコルとトランスポート層プロトコル
用のヘッダがなくてもよい。このように画像データを送
信する前に、あらかじめ画像受信装置の受信処理能力を
画像送信装置に伝えることによって、画像受信装置の画
像処理能力に応じた画像データの伝送ができるようにな
る。

【００４１】図１２はトランスポート層プロトコルの１
つの信号フォーマットの一例を示している。ヘッダフォ
ーマットは、先頭から順に、送信先ポート番号３６、受
信先ポート番号３７、オプションフィールド３８と並ん
でおり、オプションフィールド３８の先頭に３ビットの
優先度フィールド３２が含まれている。この優先度フィ
ールドの使用方法は、インプリメントに依存し、トラン
スポート層での輻輳制御に用いることができる。例え
ば、図１３に示すトランスポート層プロトコルの１つで
あるＶＭＴＰ（バーサティリティ・メッセージ・トラン
ザクション・フォーマット・プロトコル）のヘッダフォ
ーマットにおいては、この３ビットの優先度フィールド
３２は、Priorityフィールド３９の4 ビットに対応す
る。

【００４２】ここで、この３ビットの優先度フィールド
３２に対応させて、優先度を８クラスに分割し、ＬＬ３
からＨＨ１のウェーブレット帯域に１から１０までの番
号をつけ、クラスとして例えば次のように割り当てる。

【００４３】画像送信装置は、トランスポート層のヘッダの優先度フ
ィールド３２に、あらかじめ割り当てたクラスを設定し
画像データを送信する。画像受信装置は、輻輳状態のと
き受信データの上記優先度フィールドの指定に従い、画
像を復号する。つまり、優先度の高いパケットつまり視
覚度の高い低周波数のウェーブレッド帯域のパケットを
取得、復号し、優先度の低いパケットつまり視覚度の低
い高周波数のウェーブレッド帯域パケットを廃棄する。
このようにあらかじめ、パケットの特定のフィールド
に、輻輳時に優先するクラスをウェーブレット帯域に対
応して設定しておくことによって、画像受信装置で必要
な画像データのみを選択し復号することができるように
なる。

【００４４】

【発明の効果】本発明によって、送信側の伝送媒体であ
るネットワークの伝送能力および画像送信装置の符号化
能力に対し、受信側の伝送媒体であるネットワークの伝
送能力および受信装置の復号化能力が劣っていても、後
者の能力に応じた画像伝送を行うことができる画像伝送
方法並びに画像送信装置、画像受信装置および画像伝送
装置が実現できる。

【図面の簡単な説明】

【図１】本発明の画像送信装置から画像受信装置の送ら
れるパケットの一部を示す信号フォーマット。

【図２】本発明の画像送信装置を示すブロック図

【図３】本発明の画像受信装置を示すブロック図。

【図４】本発明の画像伝送装置を示すブロック図。

【図５】本発明の画像受信装置のウェーブレット復号器
を示すブロック図。

【図６】本発明の画像伝送方法の別の実施例を示す信号
シーケンス。

【図７】本発明の画像伝送方法の別の実施例を示す信号
フォーマット。

【図８】非同期転送モード方式ネットワークのＵＮＩセ
ルを示すフォーマット。

【図９】本発明の画像伝送方法の別の実施例を示す信号
シーケンス。

【図１０】図９の実施例における画像受信装置から画像
送信装置への応答メッセージのデータフレームを示すフ
ォーマット。

【図１１】図９における画像受信装置から画像送信装置
への別の応答メッセージのデータフレームを示すフォー
マット。

【図１２】トランスポート層プロトコルヘッダの一部を
示すフォーマット。

【図１３】ＶＭＴＰヘッダの一部を示すフォーマット。

【図１４】画像送信装置と画像受信装置と伝送路とを示
す図。

【図１５】従来技術の画像受信装置を示すブロック図。

【図１６】従来技術の画像送信装置を示すブロック図。

【図１７】従来技術のウェーブレット符号器のブロック
図。

【図１８】ウェーブレット変換による周波数帯域分割を
説明するための図。

【図１９】従来技術のウェーブレット復号器を示すブロ
ック図。

【図２０】ダウンサンプリングを説明するための図。

【図２１】アップサンプリングを説明するための図。

【符号の説明】

７画像入力部８動き補償変換部９ｂウェーブレット符号器１０量子化器１１伝送符号器１２ａパケット多重化部１２ｂパケット分離部１２ｃパケット多重分離部１３ネットワークインタフェース１４ａ符号化制御部１４ｂ復号化制御部１４ｃ符号化復号化制御部１５伝送復号器１６逆量子化器１７ｂウェーブレッド復号器１８動き補償逆変換部１９画像出力部Ｉ５１コマンドＩ５２ストリームＩＤフィールドＩ５３タイムスタンプＩ５４ウェーブレット帯域識別子Ｉ５５データサイズ

Claims

【特許請求の範囲】

【請求項１】画像送信装置から画像受信装置に画像デー
タを送信する画像伝送方法であって、１つのパケットに
特定のウェーブレット帯域のみからなる画像データが含
まれ、前記パケットのヘッダに前記ウェーブレット帯域
に対応する所定の識別子が設定されていることを特徴と
する画像伝送方法。
【請求項２】画像信号を入力する画像入力部と、画像入
力された信号を符号化する符号化部と、前記符号化部を
制御する符号化制御部と、前記符号化部で符号化された
信号を外部伝送路に送出するネットワークインタフェー
スとを有し、前記符号化部は、前記画像入力部からの画像信号の動き
補償フレーム間予測を行う動き補償変換部と、ウェーブ
レット変換を用いて前記動き補償変換部からの信号に対
して画像符号化を行う画像符号化部と、画像符号化され
たデータを量子化する量子化部と、量子化されたデータ
を伝送用データに変換する伝送符号化部と、伝送用デー
タをパケット化して多重化するパケット多重化部とを備
えたものである画像送信装置において、前記符号化制御部は、前記画像符号化部によってウェー
ブレット変換された画像データ毎にパケット化し、所定
のウェーブレット帯域の識別子をパケットヘッダに設定
するように制御するものであることを特徴とする画像送
信装置。
【請求項３】外部伝送路からパケットを受信するネット
ワークインタフェースと、受信したパケットから画像を
復号する復号化部と、前記復号化部を制御する復号化制
御部とを有し、前記復号化部は、受信したパケットを分離・分割するパ
ケット分離部と、分離分割された伝送用データを画像用
データに復号する伝送復号化部と、画像用データに復号
されたデータを逆量子化する逆量子化部と、逆量子化さ
れたデータに対してウェーブレット逆変換を用いて画像
復号化を行う画像復号化部と、ウェーブレット逆変換さ
れたデータに対して動き補償フレーム間予測を補正する
動き補償逆変換部とを備えたものである画像受信装置に
おいて、前記復号化制御部は、前記パケット分離部で検出したパ
ケットのヘッダに含まれるウェーブレット帯域の識別子
が、復号に必要な所定のウェーブレット帯域データを示
している時のみ、前記画像復号化部に対して、前記パケ
ットに含まれる画像データを復号させるように制御する
ものであることを特徴とする画像受信装置。
【請求項４】請求項２の画像送信装置および請求項３の
画像受信装置を備えたことを特徴とする画像伝送装置。