[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3068002B2 - 画像符号化装置、画像復号化装置及び画像伝送システム - Google Patents

画像符号化装置、画像復号化装置及び画像伝送システム

Info

Publication number
JP3068002B2
JP3068002B2 JP9862996A JP9862996A JP3068002B2 JP 3068002 B2 JP3068002 B2 JP 3068002B2 JP 9862996 A JP9862996 A JP 9862996A JP 9862996 A JP9862996 A JP 9862996A JP 3068002 B2 JP3068002 B2 JP 3068002B2
Authority
JP
Japan
Prior art keywords
frame
image
decoding
unit
frame number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP9862996A
Other languages
English (en)
Other versions
JPH09149421A (ja
Inventor
茂 福永
敏久 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP9862996A priority Critical patent/JP3068002B2/ja
Priority to DE69625145T priority patent/DE69625145T2/de
Priority to EP19960113836 priority patent/EP0763944B1/en
Priority to US08/710,405 priority patent/US6169821B1/en
Priority to KR1019970006316A priority patent/KR100374245B1/ko
Priority to CNB971034788A priority patent/CN1143544C/zh
Publication of JPH09149421A publication Critical patent/JPH09149421A/ja
Priority to HK98104226A priority patent/HK1004975A1/xx
Application granted granted Critical
Publication of JP3068002B2 publication Critical patent/JP3068002B2/ja
Priority to US09/659,065 priority patent/US6487316B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809Selective-repeat protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • H04N21/43853Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6583Acknowledgement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607Details of the supervisory signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像伝送システム、
画像符号化装置及び画像復号化装置に関し、例えば、画
像伝送におけるフレーム欠落やコマ落としなどによる画
像品質低下に対する改善に適用し得るものである。
【0002】
【従来の技術】近年、テレビ電話システム、テレビ会議
システム又は、ビデオオンデマンド(VOD:Video On
Demand)システムなどといった、ネットワークを伝送
路とする画像信号の伝送システムが普及しつつあり、こ
れに伴い、画像符号化方法の国際標準化作業が進められ
ている。
【0003】画像符号化方法は、フレーム内符号化とフ
レーム間符号化とを併用するものと、フレーム内符号化
のみを使用するものの2種類に分類することができる。
【0004】このうち、フレーム内符号化方式とフレー
ム間符号化方式とを併用するものは、ITU−T勧告
H.261やMPEG(Moving Picture Experts Group)な
どの動画像通信/蓄積用の符号化方式に適用されてい
る。図2は時間順に並べたフレームの例を示すものであ
る。ITU−T勧告H.261では、図2のように、定期的
にフレーム内符号化(Iフレームa、i)を行うが、そ
の間のPフレーム(フレーム間符号化フレーム)(b〜
h、j〜)に対する前フレームを参照画像としたフレー
ム間符号化を行うことにより、時間的変化に関わる冗長
度を除いている。以下、フレーム内符号化したフレーム
をIフレームと呼び、フレーム間符号化したフレームを
Pフレームと呼ぶことにする。
【0005】一方、フレーム内符号化のみを使用するも
のは、JPEG(Joint Photographic Coding Experts
Group )などの静止画用符号化方式を連続利用し、図3
のように、全フレームに対してフレーム内符号化を行
う。
【0006】
【発明が解決しようとする課題】H.261は、前フレーム
を参照してフレーム間符号化を行うため、全フレームが
確実に順序良く伝送される必要がある。電話回線やIS
DN回線のように相手との回線を確立してからデータ伝
送を行う場合には、データが途中で欠落することなく順
次相手に届くので問題はないが、イーサネットなどのL
ANやATMでは回線を確立せず、小さなデータ単位
(パケットやセル)に分割して伝送するため、パケット
が途中で欠落したり、経路の違いから順序が入れ替わっ
たりすることがある。
【0007】一般的にはこれを解決するために、送信側
でパケットに通し番号を付加して伝送し、受信側で順番
を並べ変えたり、到着確認や、届かなかったパケットの
再送要求を送信側に返送したりするプロトコル(TC
P:Transmission Control Protocol 等)を用いてネッ
トワークの信頼性を向上させている。
【0008】しかしながら、ネットワークの動作が不安
定でパケットが頻繁に欠落するような場合には、上記プ
ロトコルを用いて再送処理を行うと遅延が蓄積されるの
で、動画像のリアルタイム伝送には不適切である。特に
新しい画像データが表示可能であるのなら、古いデータ
をわざわざ再送して表示するよりも、コマ落としになっ
ても新しいデータを表示した方が良い場合もある。
【0009】また、多地点へデータを伝送する際に使用
するブロードキャストやマルチキャストは、1回のパケ
ット送信で複数地点へデータを伝送するための仕組みで
ある。ところが、この仕組みにおいて、1地点へのパケ
ット伝送時に欠落が生じた場合に、上述のプロトコルの
ような再送処理を行うと、他地点のネットワークについ
ては、最初のパケットが正常に到着しているにも関わら
ず、同じパケットを再送しなければならないので、ネッ
トワークの負荷が著しく上昇してしまう。そこで、ブロ
ードキャストやマルチキャストでは再送処理を行わない
プロトコル(UDP:User Datagram Protocol等)を使
用するのが普通であり、パケットの欠落が発生する確率
が高くなっている。
【0010】また、無線ネットワークを利用する場合に
は、パケット分割して伝送する場合だけでなく、回線を
確立して伝送する場合であってもデータの誤り率や欠落
率が高くなる傾向にある。特に、受信側で誤りを検出し
ても、誤り訂正能力以上の誤りがのっている場合は、他
の部分を正常に処理するためにある区間のデータを廃棄
する方法も採られるため、データ欠落は有線ネットワー
クと比較して大きい。
【0011】この他、送受信端末間の処理速度は必ずし
も一致しないという問題もある。例えば、受信端末の処
理速度の方が遅い場合、全画像フレームを復号処理して
表示すると、処理待ちのフレームデータが蓄積され、遅
延が大きくなる。そこで、このような場合には、受信側
が適応的にコマ落としをする必要がある。ところが、従
来の手法でフレームをフレーム間符号化すると、前フレ
ームの復号データがない場合には、現フレームを復号で
きず、コマ落しが自由に行えないという問題があった。
【0012】図4にH.261の場合のフレーム欠落の例を
示す。ここで、フレームeが途中で欠落したり、処理が
間に合わずに復号できなかった場合、次のIフレームi
が到着するまでは、その間のPフレーム(f、g、h)
は復号できない。
【0013】そこで、従来はこのようなフレームの欠落
やコマ落しが頻繁に発生するネットワークにおいて全フ
レームを確実に伝送するには、フレーム間符号化を用い
ず、全フレームをフレーム内符号化だけで伝送するJP
EGのような方法を採用していた。例えば、図5に示す
JPEGによる符号化方法の場合には、フレームeが欠
落しても、次のフレームから正常に復号が可能である。
しかしながら、この場合に、フレーム間符号化をしない
ので、時間的な変化の冗長度が除かれず、符号化効率が
悪く伝送データ量が大きいという問題があった。
【0014】以上のようなことから、誤りが少ない時の
符号化効率低下は少なく、誤りが発生した場合でも、後
に送られてくるIフレームを待つことなく、Pフレーム
の復号が可能であり、かつ、画質劣化が少ない画像符号
化方法が要望されている。
【0015】
【課題を解決するための手段】(1) かかる課題を解決す
るため、本発明においては、参照画像を基準に、入力画
像を順次予測符号化して符号化データを生成する画像符
号化装置において、以下のようにしたことを特徴とす
る。
【0016】すなわち、(i) 画像復号化装置から通知さ
れる符号化データの復号結果を表す復号異常有無信号と
当該符号化データに対応するフレーム番号に基づいて、
参照画像の更新を制御する参照画像更新手段と、(ii)前
記参照画像更新手段が更新した参照画像を用いて入力画
像を予測符号化して符号化データを生成し出力する符号
化手段と、(iii) 前記符号化手段が符号化した符号化デ
ータとそのフレーム番号と共に、当該符号化データを生
成した際に参照した参照画像に対応する参照フレーム番
号を前記画像復号化装置へ送信する送信手段とを備えた
ことを特徴とする。
【0017】また、本発明においは、参照画像を基準
に、予測符号化されてなる符号化データを復号する画像
復号化装置において、以下のようにしたことを特徴とす
る。
【0018】すなわち、(i) 符号化データとそのフレー
ム番号と共に、当該符号化データを生成した際に参照し
た参照画像に対応する参照フレーム番号を伝送路を介し
て受信する受信手段と、(ii)前記受信手段によって受信
された符号化データを参照フレーム番号が示す参照画像
を用いて復号する復号化手段と、(iii) 前記復号化手段
における各符号化データの復号結果を表す復号異常有無
信号と当該符号化データに対応するフレーム番号を画像
符号化装置へ出力する復号異常有無信号送信手段とを備
えたことを特徴とする。
【0019】これらの構成により、符号化データを送信
する伝送路が、フレーム欠落が少ない伝送品質の高い伝
送路であるか、それともフレーム欠落が多く発生する伝
送品質の低い伝送路であるかを画像符号化装置側で認識
することができ、伝送状態に応じた符号化を実現でき
る。すなわち、フレーム欠落の少ない伝送路では、頻繁
に参照画像を更新することにより画像品質を向上させる
一方、フレーム欠落の多い伝送路では、参照画像の更新
頻度は低下するものの画像復号化装置側で確実に復号す
ることができた画像を参照画像に用いて符号化できるの
で、後に送られてくるIフレームを待たずにPフレーム
を復号することができる。
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【発明の実施の形態】以下、本発明の実施形態を、図面
を参照しながら説明する。
【0026】(A)第1の実施形態 第1の実施形態では、最近のIフレームを参照して符号
化して中間符号を生成する手段と、中間符号を復号化し
て中間画像を生成する手段と、中間画像を直前Pフレー
ムを参照して符号化する手段とを備え、2段階に分けて
符号化するように画像符号化装置を構成する。
【0027】更に、画像復号化装置を、受信した中間符
号を最近のIフレームを参照して復号化して中間画像を
生成する手段と、第2符号を直前Pフレームを参照して
復号化して、この復号結果を中間画像へ加算する手段と
を備えて、2段階に分けて復号化するように構成する。
【0028】(A−1)動画像符号化装置(送信側)1
00の構成 図6は動画像符号化装置(送信側)100の機能構成図
である。この図6において、動画像符号化装置(送信
側)100は、動画像入力部101と、intra/inter 判
断部102と、Iフレームメモリ部103と、Pフレー
ムメモリ部104と、符号化部105と、復号化部10
6と、符号データ送信部107とから構成されている。
【0029】動画像入力部101は、ビデオカメラ等か
ら入力された動画像データをフレーム毎に符号化部10
5へ与えるものである。intra/inter 判断部102は、
フレーム内符号化を行うか、フレーム間符号化を行うか
を判断するものである。
【0030】ここで、intra とはフレーム内符号化であ
り、inter とはフレーム間符号化を表す。通常は定期的
(例えば、30フレームごと)にフレーム内符号化を行
い、その他の期間はフレーム間符号化を行うが、受信側
(動画像復号化装置200)からリフレッシュ信号を受
信した場合は、強制的にフレーム内符号化を行う。フレ
ーム内符号化と判断した場合は、符号化部105と復号
化部106へその旨を通知する。
【0031】Iフレームメモリ部103は、固定参照す
るIフレームデータを記憶するメモリ回路である。Pフ
レームメモリ部104は直前のPフレームデータを記憶
するメモリ回路である。符号化部105は、intra/inte
r 判断部102の指示に従って、入力されたフレームデ
ータを符号化するものである。この符号化は、『第1段
階』と『第2段階』の2段階に分けて行われる。
【0032】『第1段階』では、動画像入力部101か
らのデータをIフレームメモリ部103を参照してフレ
ーム間符号化を行い、符号化されたデータを符号データ
送信部107へ渡すと同時に復号化部106へも渡す。
『第2段階』では、復号化部106からのデータをPフ
レームメモリ部104を参照してフレーム間符号化を行
い、符号化されたデータを符号データ送信部107へ与
える。但し、Iフレームの場合は通常通りフレーム内符
号化を行う。また、例外としてIフレームの直後のPフ
レームは、第1段階だけのフレーム間符号化を行い、符
号化されたデータを符号データ送信部107へ渡す。
【0033】復号化部106は、符号化部105で一度
符号化されたデータを復号するものであり、復号データ
を符号化部105へ返すと同時に、intra/inter判断部
102の指示に従いIフレームメモリ部103、又はP
フレームメモリ部104へフレーム番号と共に書き込
む。この際にフレーム内符号化の指示の場合だけIフレ
ームメモリ部103へ書き込み、フレーム間符号化の指
示の場合はPフレームメモリ部104へ書き込む。
【0034】符号データ送信部107は、符号化された
動画像データを受信側の動画像復号化装置200へ送信
するものである。データにはintra/inter を表すフラグ
や第1段階符号を表すフラグ、第2段階符号を表すフラ
グなどを多重する。また、必要に応じて送信元情報や送
信先情報などを多重して伝送する。ここで、第1段階符
号と第2段階符号とを多重して送信してもよい。
【0035】(A−2)動画像復号化装置(受信側)2
00の構成 図7は、動画像復号化装置(受信側)200の機能構成
図である。この図7において、動画像復号化装置(受信
側)200は、符号データ受信部201と、復号化部2
02と、Iフレームメモリ部203と、Pフレームメモ
リ部204と、動画像出力部205と、リフレッシュ信
号送信部206とから構成されている。
【0036】符号データ受信部201は、符号化された
動画像データを送信側の動画像符号化装置100から受
信するものである。符号データとデータに多重されてin
tra/inter を表すフラグや、第1段階符号を表すフラグ
や、第2段階符号を表すフラグなどを復号化部202へ
渡し、必要に応じて多重されている送信元情報などを復
号化部202へ渡すものである。
【0037】復号化部202は、入力された符号データ
を復号化して動画像出力部205へ与えるものであり、
復号化に際しては『第1段階』と『第2段階』との2段
階に分けて行う。『第1段階』では、符号データ受信部
201からの第1段階符号データをIフレームメモリ部
203を参照してフレーム間復号化する。『第2段階』
では、更に第2段階符号データをPフレームメモリ部2
04を参照してフレーム間復号化し、第1段階で復号さ
れたデータに加算する。但し、Iフレームの場合は通常
通りフレーム内復号化を行う。また、例外としてIフレ
ームの直後のPフレームは、第1段階だけのフレーム間
復号化を行う。
【0038】Iフレームメモリ部203は、固定参照す
るIフレームデータを記憶するメモリ回路である。Pフ
レームメモリ部204は、直前のPフレームデータを記
憶するメモリ回路である。
【0039】動画像出力部205は、復号化部202か
ら受けた復号データをモニタ用表示装置などに出力する
ものである。リフレッシュ信号送信部206は、ユーザ
からのリフレッシュ要求信号に従って送信側の動画像符
号化装置100にリフレッシュ信号を送信するものであ
る。
【0040】(A−3)動作説明 本発明は特開平7−95571号公報『画像符号化装
置、画像復号化装置及び多地点間データ伝送方法』で示
したことと同じように、Iフレームを固定参照フレーム
として符号化する(図8の説明図)。更に、『直前のP
フレームを参照して再度符号化するようにして、2段階
の符号化を行う』ものである。
【0041】図9は、本第1の実施形態の画像符号化の
概念を示す説明図である。この図9において、上段A〜
Eが入力された原画像を表し、c0、d0、e0が中間
的な第1段階画像を表し、a〜eが最終画像を表すもの
である。
【0042】1フレーム目の原画像Aは、そのままフレ
ーム内符号化を行い、Iフレームaとなる。2フレーム
目の原画像Bは、原画像Aを参照した通常のフレーム間
符号化を行ってPフレームbとなる。3フレーム目の画
像Cは、原画像Aを参照したフレーム間符号化を行って
符号化部105で第1段階符号を生成する。この第1段
階符号を復号化部106で一度復号化した画像がc0で
ある。更に、原画像Bを参照したフレーム間符号化を行
って最終画像Pフレームcを生成する。このようにして
4フレーム目以降も同様に符号化を行う。
【0043】即ち、『Iフレーム直後のPフレーム以外
は全てIフレームと直前のPフレームの両方を参照した
フレーム間符号化を行う』。ここで、符号量を抑えるに
は、第1段階符号化で量子化サイズを大きくして大まか
な画像を生成して、第2段階符号化で量子化サイズを小
さくして詳細なデータを生成する。
【0044】即ち、入力動画像データは、動画像入力部
101に与えられると、この動画像データはフレーム毎
に符号化部105へ与えられる。リフレッシュ信号がin
tra/inter 判断部102に与えられるとフレーム内符号
化を行うか、フレーム間符号化を行うかを判断し、符号
化部105と、復号化部106とを制御する。フレーム
毎の動画像データは、符号化部105でintra/inter 判
断部102の指示に従って、入力されたフレームデータ
を符号化して、符号データが符号データ送信部107に
与えられる。
【0045】この符号化では、第1段階では動画像入力
部101からのデータがIフレームメモリ部103を参
照してフレーム間符号化を行い、符号化されたデータが
符号データ送信部107へ与えられると同時に復号化部
106へも与えられる。第2段階では復号化部106か
らのデータがPフレームメモリ部104を参照してフレ
ーム間符号化が行われて、符号化されたデータが符号デ
ータ送信部107へ与えられる。符号データは符号デー
タ送信部107から送信される。
【0046】受信側の動画像復号化装置200では、先
ず第1段階符号を画像Aを参照して復号して第1段階画
像を生成し、更に、第2段階符号を直前Pフレームを参
照して復号して最終画像を生成する。即ち、動画像復号
化装置(受信側)200では、符号データが符号データ
受信部201に与えられると、符号データとデータに多
重されてintra/inter を表すフラグや、第1段階符号を
表すフラグや、第2段階符号を表すフラグなどが、復号
化部202へ与えられる。復号化部202では、入力さ
れた符号データを復号化が2段階に分けて行われる。第
1段階では符号データ受信部201からの第1段階符号
データに対してIフレームメモリ部203を参照してフ
レーム間復号化が行われる。第2段階では更に第2段階
符号データがPフレームメモリ部204を参照してフレ
ーム間復号化され、第1段階で復号されたデータに加算
される。復号化部202で復号された復号データは動画
像出力部205からモニタ用表示装置などに出力される
ものである。
【0047】図10は、本第1の実施形態において、フ
レーム欠落した場合の説明図である。Pフレームeが欠
落しても、次のPフレームfは第1段階画像まで復号す
ることができる。また、その後のPフレームgもfが正
しい画像でないため、第2段階復号を行っても実際には
完璧な正しい最終画像を得ることはできないが、第1段
階復号のままと比較すると画像品質を向上させることが
できる。
【0048】本第1の実施形態において安定した伝送路
では全フレームが受信できるので、復号画像の画像品質
はH.261のような前フレームだけを参照する場合に近付
くことができる。また、フレーム欠落が多い伝送路では
特開平7−95571号公報の画像符号化装置、画像復
号化装置と同じ程度の画像品質を得ることができる。こ
のように伝送路の状態に合わせてスケーラブルに復号画
像品質を変化させて向上させることができる。
【0049】(A−4)第1の実施形態の効果 以上のように、本発明の第1の実施形態によれば、フレ
ーム欠落の少ない伝送路ではH.261などの一般の符号化
方式と復号画像品質が同じ程度となる。
【0050】また、フレーム欠落が多い伝送路では、多
くのフレームがIフレームを参照した復号しかできない
が、受信できた全フレームは復号可能である。更に、伝
送路の状態に合わせて復号画像の画像品質がスケーラブ
ルに変化する符号化方式を実現することができる。
【0051】(A−5)第1の実施形態の変形例 (1) 上述の図6で符号化部105で一度符号化したデー
タを復号化部106で復号したものをフレームメモリ部
103、104へ記憶するようにしたが、これに限定す
るものではない。例えば、図11は、第1の実施形態の
変形例の動画像符号化装置110の機能構成図である。
この図11において、動画像符号化装置110は、符号
データ送信部107と、動画像入力部111と、intra/
inter 判断部112と、Iフレームメモリ113と、P
フレームメモリ部114と、符号化部115と、復号化
部116とから構成されている。
【0052】この図11において、動画像入力部111
から直接画像をIフレームメモリ部113と、Pフレー
ムメモリ部114とへ記憶する構成にしている。このよ
うな構成において、符号化部115では原画像をIフレ
ームメモリ部113と、Pフレームメモリ部114とで
参照することになるので、動き補償などの精度が向上す
るという効果がある。
【0053】(2) また、上述の図7の受信側の動画像復
号化装置200のリフレッシュ信号送信部206はユー
ザからのリフレッシュ要求信号にだけ反応するように説
明したが、これに限定するものではない。例えば、復号
化部202が復号の状態をチェックするようにし、復号
状態が良くない場合は、リフレッシュ信号送信部206
へリフレッシュ要求信号を自動的に出すようにしても良
い。この場合、ユーザからの要求がなくても画像品質が
劣化すると自動的にリフレッシュされるので、ユーザの
負担を軽減することができる。
【0054】(3) 以上までは、2段階の符号化における
参照フレームをIフレームと直前のPフレームに対して
説明したが、これに限定するものではない。例えば、任
意の2つのフレームを参照して符号化を行うようにして
もよい。
【0055】(B)第2の実施形態 第2の実施形態では、画像符号化装置を、受信側から復
号に成功したフレーム番号を受信する手段と、受信側が
復号に成功したフレームに参照フレームを切り替える手
段と、切り替えられた参照フレームを利用して符号化す
る手段と、復号データと参照フレーム番号とを送信する
手段とを備えて、参照フレームを適宜更新しながら符号
化するように構成する。
【0056】また、第2の実施形態では、画像復号化装
置を、受信した参照フレーム番号に合わせて参照フレー
ムを切り替える手段と、切り替えられた参照フレームを
利用して復号する手段と、復号に成功したフレーム番号
を送信側へ送信する手段とを備えて、参照フレームを適
宜更新しながら復号化するように構成する。
【0057】更に、上述の画像符号化装置の構成におい
て、多地点間接続している場合には、送信側で全受信端
末が復号に成功したフレームを算出して参照フレームを
切り替えるように構成することも好ましい。
【0058】更にまた、上述の画像符号化装置と画像復
号化装置との構成において、参照フレームだけを記録す
るフレームメモリと、その他のフレームを記録するフレ
ームメモリとを備えて、参照フレームを更新する際にフ
レームメモリから該当フレームデータをコピーするよう
に構成することも好ましい。
【0059】また、上述の画像符号化装置と画像復号化
装置との構成において、全フレームを記録するフレーム
メモリと、参照フレームを指示して示すポインタとを備
えて、参照フレームを更新する際に、ポインタ位置だけ
を更新するように構成することも好ましい。
【0060】(B−1)動画像符号化装置(送信側)3
00の構成 図12は、第2の実施形態の動画像符号化装置(送信
側)300の機能構成図である。この図12において、
動画像符号化装置(送信側)300は、動画像入力部3
01と、符号化部302と、復号化部303と、フレー
ムメモリ部304と、参照フレームメモリ部305と、
intra/inter 判断部306と、符号データ送信部307
と、確認信号受信部308と、参照フレーム更新部30
9とから構成されている。
【0061】動画像入力部301は、ビデオカメラなど
から入力された動画像データをフレーム毎に符号化部3
02に与えるものである。符号化部302は、入力され
たフレームデータを符号化するものであり、符号データ
を復号化部303と符号データ送信部307へ与える。
この符号化に際しては、intra/inter 判断部306の指
示に従ってフレーム内符号化とフレーム間符号化を切り
替えて行う。ここで、intra とはフレーム内符号化を表
し、inter とはフレーム間フレーム間符号化を表すもの
である。『フレーム間符号化時には参照フレームメモリ
部305にあるフレームデータを参照して符号化す
る』。
【0062】復号化部303は、符号データを再度復号
化して、復号したフレームデータをフレームメモリ部3
04へフレーム番号と共に書き込むものである。フレー
ムメモリ部304は、毎フレームデータを記憶するメモ
リ回路であり、参照フレーム更新部309によって参照
フレームが更新される毎に古いデータが消去されるもの
である。参照フレームメモリ部305は、フレーム間符
号化に使用する参照フレームデータを記憶するメモリ回
路であり、参照フレーム更新部309によって更新され
るものである。
【0063】intra/inter判断部306は、フレーム内
符号化を行うか、フレーム間符号化を行うかを判断する
ものである。通常は定期的(例えば、30フレームご
と)にフレーム内符号化を行い、その他の期間はフレー
ム間符号化を行うが、受信側の動画像復号化装置200
からリフレッシュ信号を受信した場合は、強制的にフレ
ーム内符号化を行うように制御する。フレーム内符号化
と判断した場合は、符号化部302と参照フレーム更新
部309とへその旨を通知する。
【0064】符号データ送信部307は、符号化された
動画像データを受信側の動画像復号装置400へ送信す
るものである。この送信データには、intra/inter を表
すフラグや、参照フレーム番号などを多重する。また、
必要に応じて送信元情報や送信先情報などを多重して伝
送する。確認信号受信部308は、受信側の動画像復号
化装置400がどのフレームを復号できたかの確認信号
を受信するものであり、確認されたフレーム番号を参照
フレーム更新部309へ与える。多地点間通信時には、
各地点から確認信号を受け取って、全地点が受信できた
フレーム番号を算出して参照フレーム更新部309へ与
える。
【0065】参照フレーム更新部309は、intra/inte
r 判断部306や確認信号受信部308からの指示に従
って参照フレームを更新するものである。intra/inter
判断部306からフレーム内符号化の指示を受けた場合
は、現フレームのデータをフレームメモリ部304から
参照フレームメモリ部305へコピーしてフレームメモ
リ部304の全フレームデータを消去する。また、確認
信号受信部308からフレーム番号を受けた場合は、そ
の番号のフレームデータをフレームメモリ部304から
参照フレームメモリ部305へコピーしてその番号以前
のフレームデータをフレームメモリ部304から消去す
るものである。
【0066】(B−2)動画像復号化装置(受信側)4
00の構成 図13は、第2の実施の形態の動画像復号化装置(受信
側)400の機能構成図である。この図13において、
動画像復号化装置(受信側)400は、符号データ受信
部401と、参照フレーム比較部402と、参照フレー
ム更新部403と、参照フレームメモリ部404と、フ
レームメモリ部405と、復号化部406と、確認信号
送信部407と、動画像出力部408と、リフレッシュ
信号送信部409とから構成されている。
【0067】符号データ受信部401は、符号化された
動画像データを送信側の動画像符号化装置300から受
信するものであり、符号データとデータに多重されてい
るintra/inter を表すフラグや参照フレーム番号などを
復号化部406へ与え、必要に応じて多重されている送
信元情報なども復号化部406へ与える。また、参照フ
レーム番号を参照フレーム比較部402へ与える。
【0068】参照フレーム比較部402は、受信した参
照フレーム番号と参照フレームメモリ部404に記憶さ
れている自端末の参照フレーム番号とを比較して、受信
した参照フレーム番号の方が新しい場合は、参照フレー
ム更新部403へ参照フレーム更新要求を通知して、新
しい参照フレーム番号を与える。
【0069】参照フレーム更新部403は、参照フレー
ム比較部402から更新要求を受けると、フレームメモ
リ部405から新しい参照フレーム番号のデータを読み
込み、参照フレームメモリ部404へフレーム番号と共
に書き込み更新を行う。このときに、フレームメモリ上
の古いフレームデータは消去する。
【0070】参照フレームメモリ部404は、フレーム
間復号に使用する参照フレームデータを記憶するメモリ
回路であり、参照フレーム更新部403と復号化部40
6とによって更新される。フレームメモリ部405は、
復号したフレームデータを記憶するメモリ回路であり、
参照フレーム更新部403によって参照フレームが更新
される毎に古いデータが消去される。
【0071】復号化部406は、入力された符号データ
を復号化するものであり、復号データを動画像出力部4
08へ与える。この復号に際して、Iフレームの場合は
復号データをフレーム番号と共に参照フレームメモリ部
404へ書き込んで参照フレームを更新する。また、P
フレームの場合は、参照フレームメモリ部404のデー
タを参照して復号し、復号データをフレーム番号と共に
フレームメモリ部405へ書き込む。また、CRCなど
による誤り検査によって復号に成功したと判断された場
合は、フレーム番号を確認信号送信部407へ与える。
【0072】確認信号送信部407は、どのフレームを
復号できたかの確認信号を送信側の動画像符号化装置3
00へ送信するものであり、復号化部406から受けた
復号異常の有無とフレーム番号とを合わせて送信するも
のである。動画像出力部408は、復号化部406から
復号データをモニタ用の表示装置などに出力するもので
ある。リフレッシュ信号送信部409は、ユーザからの
リフレッシュ要求信号に従って送信側の動画像符号化装
置300へリフレッシュ信号を送信するものである。
【0073】(B−3)動作説明 第2の実施形態の動画像符号装置、動画像復号化装置に
おいても、特開平7−95571号公報『画像符号化装
置、画像復号化装置及び多地点間データ伝送方法』で示
したことと同じように、Iフレームを固定参照フレーム
として符号化する(図8の説明図)。更に、受信側から
受信確認のあったフレームに随時参照フレームを移行し
ながらフレーム間符号化を行うものである。
【0074】図1は、本第2の実施の形態の画像符号化
の概念を説明する図である。この図1は受信確認後に次
フレームの符号化を始めた場合を示すものである。この
図1において、最初はIフレームを参照して符号化を行
うが、受信側からPフレームeの受信確認が得られる
と、それ以降は参照フレームをフレームeに切り替えて
符号化/復号化する。
【0075】ここで、受信確認を待ってから符号化を行
うと遅延発生の原因にもなり、また、毎フレーム、確認
信号を送ってくるとは限らない。そこで、実際には受信
確認が届いたときは既に送信側では次のフレームを符号
化し始めている場合が多く、その場合は参照フレームが
切り替わるのは、図14(受信確認前に次フレームの符
号化を始めた場合)のようにその次のフレームからとな
る。多地点間接続している場合は、全受信端末からの確
認信号を合わせて、全端末が受信できているフレームを
参照フレームとして更新する。
【0076】即ち、動画像符号化装置(送信側)300
において、入力動画像データは動画像入力部301から
フレーム毎に符号化部302に与えられる。符号化部3
02では、入力されたフレームデータが符号化され、符
号データは復号化部303と符号データ送信部307と
に与えられる。符号化に際しては、intra/inter 判断部
306からの指示に従ってフレーム内符号化とフレーム
間符号化とが切り替えられて行われる。
【0077】復号化部303では、符号データが再度復
号化されて、復号されたフレームデータはフレームメモ
リ部304へフレーム番号と共に書き込まれる。フレー
ムメモリ部304で、毎フレームデータを記憶され、参
照フレーム更新部309によって参照フレームが更新さ
れる毎に古いデータが消去される。参照フレームメモリ
部305で、フレーム間符号化に使用する参照フレーム
データが記憶され、参照フレーム更新部309によって
更新される。
【0078】intra/inter 判断部306で、リフレッシ
ュ信号の受信によってフレーム内符号化を行うか、フレ
ーム間符号化を行うかが判断される。リフレッシュ信号
が受信された場合は、強制的にフレーム内符号化を行う
ように制御される。フレーム内符号化と判断した場合
は、符号化部302と参照フレーム更新部309とへそ
の旨が通知される。符号データ送信部307では、符号
化された動画像データが受信側の動画像復号装置400
へ送信される。
【0079】確認信号受信部308では、受信側の動画
像復号化装置400がどのフレームを復号できたかの確
認信号が受信され、確認されたフレーム番号が参照フレ
ーム更新部309へ与えられる。多地点間通信時には、
各地点から確認信号を受け取って、全地点が受信できた
フレーム番号が算出されて参照フレーム更新部309へ
与えられる。参照フレーム更新部309では、intra/in
ter 判断部306や確認信号受信部308からの指示に
従って参照フレームが更新される。intra/inter 判断部
306からフレーム内符号化の指示を受けた場合は、現
フレームのデータをフレームメモリ部304から参照フ
レームメモリ部305へコピーしてフレームメモリ部3
04の全フレームデータが消去される。また、確認信号
受信部308からフレーム番号を与えられた場合は、そ
の番号のフレームデータがフレームメモリ部304から
参照フレームメモリ部305へコピーされて、その番号
以前のフレームデータがフレームメモリ部304から消
去されるのである。
【0080】動画像復号化装置(受信側)400の符号
データ受信部401では、符号化された動画像データを
送信側の動画像符号化装置300から受信され、符号デ
ータとデータに多重されているintra/inter を表すフラ
グや参照フレーム番号などが復号化部406へ与えら
れ、必要に応じて多重されている送信元情報なども復号
化部406へ与えられる。参照フレーム比較部402で
は、受信された参照フレーム番号と参照フレームメモリ
部404に記憶されている自端末の参照フレーム番号と
が比較されて、受信された参照フレーム番号の方が新し
い場合は、参照フレーム更新部403へ参照フレーム更
新要求が通知されて、新しい参照フレーム番号が与えら
れる。
【0081】参照フレーム更新部403では、参照フレ
ーム比較部402から更新要求が与えられると、フレー
ムメモリ部405から新しい参照フレーム番号のデータ
が読み込まれ、参照フレームメモリ部404へフレーム
番号と共に書き込み更新が行われる。このときに、フレ
ームメモリ上の古いフレームデータは消去される。
【0082】参照フレームメモリ部404で、フレーム
間復号に使用する参照フレームデータが記憶され、参照
フレーム更新部403と復号化部406とによって更新
される。フレームメモリ部405では、復号されたフレ
ームデータが記憶され、参照フレーム更新部403によ
って参照フレームが更新される毎に古いデータが消去さ
れる。
【0083】復号化部406では、入力された符号デー
タが復号化され、復号データが動画像出力部408へ与
えられる。この復号に際して、Iフレームの場合は復号
データがフレーム番号と共に参照フレームメモリ部40
4へ書き込まれ参照フレームが更新される。また、Pフ
レームの場合は、参照フレームメモリ部404のデータ
が参照され復号されて、復号データがフレーム番号と共
にフレームメモリ部405へ書き込まれる。また、復号
に成功した場合には、フレーム番号が確認信号送信部4
07に与えられる。
【0084】確認信号送信部407では、どのフレーム
が復号できたかの確認信号が送信側の動画像符号化装置
300へ送信され、復号化部406から受けたフレーム
番号も合わせて送信される。動画像出力部408で、復
号化部406からの復号データがモニタ用の表示装置な
どに出力される。リフレッシュ信号送信部409では、
ユーザからのリフレッシュ要求信号に従って送信側の動
画像符号化装置300へリフレッシュ信号が送信され
る。
【0085】図15はフレーム欠落の場合の説明図であ
る。この図15において、欠落フレームに対しては受信
確認を送らないので、参照フレームとなることはない。
従って、常に受信したフレームは復号・表示可能とな
る。
【0086】また、本第2の実施の形態の構成では、参
照フレームを次々と更新していくので、参照フレームと
現フレームとの時間差が小さくなり、符号化効率も向上
するのである。特に安定した伝送路では全フレームを受
信できる可能性が高いので、参照フレームがほぼ毎回切
り替わるため、符号化効率はITU−T勧告H.261
のように前フレームを参照する場合と同じようになる。
【0087】また、フレーム欠落が多く、参照フレーム
が殆ど更新されることのない伝送路では、特開平7−9
5571号公報の『画像符号化装置、画像復号化装置及
び多地点間データ伝送方法』と同じ程度の符号化効率を
得ることができるようになる。このように、伝送路の状
態に合わせてスケーラブルに符号化効率を変化させる符
号化方式を実現することができる。
【0088】(B−4)第2の実施形態の効果 以上の本発明の第2の実施の形態によれば、参照フレー
ムを次々と更新するため符号化効率を向上させることが
できる。また、欠落フレームが参照フレームになること
がないため、受信できた全フレームを復号することがで
きる。更に、フレーム欠落の少ない伝送路では、殆ど毎
回参照フレームを更新するので、ITU−T勧告H.261
などの一般の符号化方式に比べ符号化効率を同じ程度に
することができる。
【0089】更にまた、フレーム欠落の多い伝送路で
は、参照フレームが殆ど固定されるが、受信できた全フ
レームは復号可能となる。また、伝送路の状態に合わせ
て符号化効率もスケーラブルな符号化方式を実現するこ
とができる。また、特開平7−95571号公報の『画
像符号化装置、画像復号化装置及び多地点間データ伝送
方法』と同じようにIフレームに特別なプロトコルを用
いる必要がないという効果がある。
【0090】(B−5)第2の実施形態の変形例 (1) 尚、以上の第2の実施形態の図12の動画像符号化
装置300において、符号化部302で一度符号化した
データを復号化部303で復号したものをフレームメモ
リ部304へ記憶するようにしたが、このような構成に
限定するものではない。
【0091】例えば、図16が上述の第2の実施の形態
の変形例の動画像符号化装置500の機能構成図であ
る。この図16において、動画像符号化装置500は、
動画像入力部511と、符号化部512と、フレームメ
モリ部513と、参照フレームメモリ部305と、intr
a/inter判断部306と、符号データ送信部307と、
確認信号受信部308と、参照フレーム更新部309と
から構成されている。この図16において、動画像入力
部511から直接原画像をフレームメモリ部513へ記
憶するようにしても上述と同じように好ましい。この場
合に復号処理を省略することができると共に、符号化部
512では原画像を参照することによって動き補償など
の精度を向上させることができる。
【0092】(2) また、フレーム内符号化時には参照フ
レーム更新部309がフレームメモリ部104からフレ
ームデータを参照フレームメモリ部305へコピーする
ように説明したが、これに限定するものではない。例え
ば、intra/inter 判断部306からのフレーム内符号化
要求信号を復号化部303へ与えるようにするとと共
に、フレーム内符号化時には復号化部303から直接参
照フレームメモリ部305へフレームデータを書き込む
ように構成しても好ましい。この場合に、コピーする処
理を省略することができるので構成を簡略化することが
できる。
【0093】(3) 更に、上述の図12の動画像符号化装
置、図13の動画像復号化装置では、参照フレームメモ
リ部305と、フレームメモリ部304とを別々に分け
て構成していたが、このような構成に限定するものでは
ない。一つのメモリ上にフレームデータを書き込み、参
照フレームはメモリ位置を示すポインタなどで表すよう
にしても好ましい。この場合に、参照フレーム更新時に
フレームメモリ部から参照フレームメモリ部へデータを
コピーする必要がなく、ポインタを移動させるだけで実
現することができるので、回路構成を簡単にすることが
できるという効果もある。
【0094】(4) 更にまた、参照フレーム更新時にフレ
ームメモリ部から古いデータを消去するように説明した
が、これに限定するものではない。一定サイズのフレー
ムメモリを用意しておき、フレームデータを順に書き込
むように構成し、メモリが一杯になったら古いデータに
上書きして新しいデータを書き込むように構成しても好
ましい。この場合に、かなり古いフレームは参照フレー
ムとして選定できなくなるが、データを消去する処理が
不要になり、処理時間の短縮を図ることができるという
効果がある。
【0095】(5) また、上述の図13の動画像復号化装
置400において、リフレッシュ信号送信部409はユ
ーザからのリフレッシュ要求信号にだけ反応するように
説明したが、これに限定するものではない。例えば、復
号化部406が復号の状態をチェックするように構成
し、復号状態が良くない場合は、リフレッシュ信号送信
部409へリフレッシュ要求信号を自動的に出すように
構成しても好ましい。この場合に、ユーザからの要求が
なくても画像品質が劣化すると自動的にリフレッシュさ
れるので、ユーザの負担を軽減することができるという
効果がある。
【0096】(6) 更に、以上までの説明においては、フ
レームを受信したことを確認する例を示したが、これに
限定するものではない。例えば、逆にフレームが受信で
きなかったときに信号を送るように構成しても好まし
い。この場合に、通常は確認信号は伝送されないので、
送信側では確認を待たずに次々と符号化を行うことがで
きる。ここで、画像フレームの不受信信号を受けたとき
は、参照フレームを不受信フレームの一つ前に戻して符
号化する。これによって、受信側では受信できなかった
フレームから数フレームは復号不可能であるが、直ぐに
受信できているフレームを参照したデータに切り替へる
ことができるので復号可能となるという効果がある。
【0097】(7) これまでの説明では、フレーム欠落を
例にとり、フレーム毎に参照画像を更新する例を示した
がこれに限定されるものではない。例えば、フレームを
複数のブロックに分割し、ブロック毎に符号化を行うシ
ステムにおいて、それぞれのブロックで伝送誤りを検出
して、参照画像をブロック毎に更新するようにしても良
い。ブロックを小さくするほど、伝送誤りの確率が減少
するので、参照画像の更新の割合が向上し、符号化効率
が向上する。
【0098】(C)第3の実施形態 以下、第2の実施形態で説明した参照フレーム更新部3
09の形態例を、第3の実施形態として説明する。従っ
て、画像符号化装置のその他の構成については第2の実
施形態の構成と同様であり、同様に動作する。
【0099】(C−1)参照フレーム更新部309Aの
構成 図17は、動画像復号化装置400から与えられる確認
信号が復号異常無し(ACK) 信号である場合に参照フレー
ム更新部309が採り得る構成を示すものであり、ここ
では、参照フレーム更新部309Aとして説明する。各
部は以下の通りである。
【0100】フレーム番号設定部310は、確認信号受
信部308から知らされた復号異常の無いフレーム番号
を、コピーすべきフレーム番号として設定する手段であ
り、設定したフレーム番号をデータコピー部311へ渡
すよう動作する。
【0101】データコピー部311は、フレーム番号設
定部310から転送されたフレーム番号のフレームデー
タをフレームメモリ部304から参照フレームメモリ部
305へコピーする手段である。
【0102】(C−2)動作説明 この参照フレーム更新部309Aは、受信側の動画像復
号化装置400から送られて来る復号異常無し(ACK) 信
号を元に参照フレームの更新/非更新を切り替える。こ
の参照フレーム更新部309Aを、動画像符号化装置3
00に適用した場合における符号化動作例を示したのが
図18である。
【0103】まず、フレームa、b、cについては、受
信側の動画像復号化装置400において正常な復号動作
が行われており、その事実が復号異常無し(ACK) 信号と
して動画像復号化装置400から動画像符号化装置30
0に通知される。
【0104】このとき、動画像符号化装置300は、か
かる通知のあった時点で参照フレームの切り替えを行
い、更新された参照フレームに基づいて、次に伝送する
フレームの符号化処理を継続する。
【0105】ここで、フレームdの伝送中に誤りが発生
したとする。すると、復号異常無し(ACK )信号の動画
像符号化装置300に対する通知が途切れることにな
る。この場合、フレームdを参照フレームに使えないの
で、既に受信側で正常に復号できたことが確認されてい
るフレームcをそのまま参照フレームに用い、次のフレ
ームeを符号化する。
【0106】このように送信側では、常に正しく復号さ
れたことが確認されたフレームのみを参照フレームとし
て用いて伝送フレームを符号化するので、受信側におい
ても後に送られてくるIフレームを待たずに、Pフレー
ムの復号動作が可能になる。かくして、フレーム欠落発
生時にも符号化効率をほとんど下げずに済ませることが
できる。
【0107】以上は、動画像符号化装置300から動画
像復号装置400にフレームを伝送する伝送路上に誤り
が発生した場合における動作例を説明したものである
が、この逆の場合についても、同じく符号化効率の低下
を起こさずに済む効果が得られる。
【0108】すなわち、復号異常無し(ACK )信号を伝
送する伝送路に誤りが生じた場合、図19に示すよう
に、受信側では正しく受信されているにも拘わらず、フ
レームdの復号異常無し(ACK )信号が動画像符号化装
置300に到着しないことがあり得る。この場合、動画
像符号化装置300は、受信側にて正常な復号ができな
かったものと見なして、参照フレームの更新を中止し、
フレームeの符号化に用いたフレームcを再度、参照フ
レームとしてフレームfの符号化が行われることにな
る。
【0109】このように、動画像符号化装置300は、
本来予定されていたフレームを参照フレームとして用い
て符号化動作を実現することはできないが、受信側に確
実に届いているフレームを参照フレームとして符号化さ
れたフレームを伝送することができるので、伝送路上の
誤り発生の有無に拘わらず、正常な復号動作を保証する
ことができる。
【0110】(C−3)第3の実施形態の効果 以上のように、第3の実施形態によれば、第2の実施形
態の場合と同様の効果が得られ、さらに、復号異常無し
(ACK )信号の伝送路上に誤りの発生が見込まれるよう
なシステムにおいても、受信側である動画像復号装置4
00での復号動作に破綻を来さずに、高い画質を維持で
きる動画像符号化装置及び伝送システムを実現すること
ができる。
【0111】(D)第4の実施形態 第3の実施形態と同じく、第2の実施形態にて説明した
参照フレーム更新部309の一形態を、第4の実施形態
として説明する。従って、動画像符号化装置のその他の
構成については、第2の実施形態の構成と同様であり、
同様に動作する。
【0112】(D−1)参照フレーム更新部309Bの
構成 図20は、動画像復号化装置400から与えられる確認
信号が復号異常有り(NACK)信号である場合に、参照フレ
ーム更新部309が採り得る構成を示すものであり、こ
こでは、参照フレーム更新部309Bとして説明する。
各部は以下の通りである。
【0113】フレーム番号設定部310Aは、確認信号
受信部308から得られた復号異常有りの誤りフレーム
番号を最新受信番号検出部312に渡す手段であり、最
新受信番号検出部312から返された最新受信番号を参
照フレームとしてコピーすべきフレーム番号として設定
し、これをデータコピー部311Aに渡すよう動作す
る。なお、ここでは、復号異常有りの誤りフレーム番号
だけを受信するものとしたが、このフレーム番号設定部
310Aによって、受信側が希望する参照フレーム番号
も同時に受けるようにしても良い。その場合、その希望
フレーム番号をそのままデータコピー部311Aに渡し
ても良い。
【0114】最新受信番号検出部312は、フレームメ
モリ部304に記録してあるフレーム番号を管理し、フ
レーム番号設定部310Aから受けた誤りフレーム番号
より古い番号のうち、最も新しいフレーム番号を最新受
信番号として検出する手段であり、最新受信番号をフレ
ーム番号設定部310Aへ返すよう動作する。
【0115】データコピー部311Aは、通常、符号化
部302の処理タイミングに合わせてフレームデータを
フレームメモリ部304から参照フレームメモリ部30
5へコピーする手段である。なお、データコピー部31
1Aは、フレーム番号設定部310Aから最新受信番号
を受けた場合は、そのフレームデータをフレームメモリ
部304から参照フレームメモリ部305へコピーする
よう動作する。
【0116】(D−2)動作説明 この参照フレーム更新部309Bは、受信側の動画像復
号化装置400から送られて来る復号異常有り(NACK)信
号を元に参照フレームの更新/非更新を切り替える。こ
の参照フレーム更新部309Bを、動画像符号化装置3
00に適用した場合における符号化動作例を示したのが
図21である。
【0117】参照フレーム更新部309Bは、復号異常
有り(NACK)信号による通知がないとき、受信側に伝送
されたフレームが正常に復号されていると見なして、参
照フレームを毎回切替え、新たなフレームを順次符号化
する。例えば、フレームa、b、cについては、受信側
から復号異常有り(NACK)信号による異常発生の通知が
ないので、更新された参照フレームについて次フレーム
を符号化する。
【0118】さて、この伝送過程で、フレームdに伝送
誤りがあると、受信側から復号異常有り(NACK)信号の
通知がなされる。このとき、参照フレーム更新部309
Bは、復号異常有り(NACK)信号の通知が受信された時
点(フレームfの符号化前)において、正常受信が確認
されている最も新しいフレーム(ここでは、フレーム
c)まで更新フレームを引き戻し、次の伝送対象である
フレームfの符号化に移る。なお、フレームd及びeに
ついては、今後参照フレームに用いることができないた
め、この時点で、フレームメモリ部304から消去して
も良い。
【0119】さて、このように参照フレームが以前の状
態に引き戻されると、伝送誤りの発生から復号異常有り
(NACK)信号による通知があるまでに符号化が完了した
フレームeについては、正常な復号を期待し得ない。し
かし、その後符号化対象となるフレームf以降はIフレ
ームを待たなくとも正常に復号化可能であり、伝送誤り
発生時の符号化効率をほとんど下げずに済ませることが
可能となる。
【0120】(D−3)第4の実施形態の効果 以上のように、第4の実施形態によれば、伝送誤りがな
い場合には、参照フレームが毎回更新されるので符号化
効率の低下のおそれがない。
【0121】また、伝送誤りが発生した場合、既に符号
化が完了しているフレームについては、その正常な復号
を保証し得ないが、それ以降に符号化されるフレームに
ついては、Iフレームを待つまでもなく正常に復号化で
き、符号化効率が低下するおそれがないという効果が得
られる。
【0122】(E)第5の実施形態 この第5の実施形態も、第4の実施形態の場合と同様、
復号異常有り(NACK)信号を元に参照フレームを更新する
参照フレーム更新部309の構成例を説明するものであ
る。従って、動画像符号化装置のその他の構成について
は、第4の実施形態の構成と同様であり、同様に動作す
る。
【0123】(E−1)参照フレーム更新部309Cの
構成 図22は、参照フレーム更新部309が採り得る構成を
示すものであり、ここでは、参照フレーム更新部309
Cとして説明する。各部は以下の通りである。
【0124】フレーム番号設定部310Bは、確認信号
受信部308から受けた復号異常有りの誤りフレーム番
号を最新受信番号検出部312Aに渡すと共に、最新受
信番号検出部312Aから最新受信番号を受けるよう動
作する。
【0125】次に、フレーム番号設定部310Bは、候
補番号消去部313へ誤りフレーム番号を渡すと同時
に、最新受信番号検出部312Aから受けた最新受信番
号をコピーすべきフレーム番号として設定し、データコ
ピー部311Bへ渡すよう動作する。
【0126】また、フレーム番号設定部310Bは、最
新受信番号検出部312Aから「候補番号無し」という
情報を受けた場合、復号異常有り(NACK)信号を受信し
なかったものとして無視し、処理を中断するよう動作す
る。
【0127】なお、ここでは、復号異常有りの誤りフレ
ーム番号だけを受信するものとしたが、このフレーム番
号設定部310Bによって、受信側が希望する参照フレ
ーム番号も同時に受けるようにしても良い。その場合、
希望参照フレーム番号も最新受信番号検出部312Aへ
渡す。特に、復号異常有り(NACK)信号が伝送される伝
送路上に伝送誤りが発生し得るシステムでは、必ず希望
参照フレーム番号を添付する。
【0128】最新受信番号検出部312Aは、参照フレ
ーム候補番号記録部314に記録されている候補番号リ
ストを検索し、フレーム番号設定部310Bから受けた
誤りフレーム番号が記録されているかどうかチェックす
る。
【0129】ここで、フレーム番号設定部310Bが受
けた誤りフレーム番号が参照フレーム候補番号記録部3
14に記録されている場合には、当該誤りフレーム番号
より古いフレームのうち、最も新しいフレーム番号を最
新受信番号としてフレーム番号設定部310Bへ返すよ
う動作する。ただし、希望参照フレーム番号を同時に受
けている場合には、この最新受信番号検出部312A
は、希望参照フレーム番号をそのまま最新受信番号とし
てフレーム番号設定部310Bへ返す。
【0130】なお、フレーム番号設定部310Bが受け
た誤りフレーム番号が参照フレーム候補番号記録部31
4に記録されていない場合には、最新受信番号検出部3
12Aは、「候補番号無し」という情報をフレーム番号
設定部310Bへ返すよう動作する。
【0131】候補番号消去部313は、フレーム番号設
定部310Bから受けた誤りフレーム番号と、それより
新しい全てのフレーム番号とを参照フレーム候補番号記
録部314から消去する手段である。ただし、希望参照
フレーム番号を同時に受けている場合は、希望参照フレ
ーム番号より新しい全てのフレーム番号を参照フレーム
候補番号記録部314から消去する。これにより、参照
フレーム候補番号記録部314に、復号異常の無いフレ
ーム番号だけを残すことができる。なお、このとき同時
に、対応する番号のフレームデータを、フレームメモリ
部304から消去しても良い。
【0132】参照フレーム候補番号記録部314は、フ
レームメモリ部304に記録されているフレーム番号を
管理し、参照フレームに用いて良い候補のフレーム番号
リストを記録する手段である。従って、参照フレーム候
補番号記録部314は、符号化部302で符号化された
フレームがフレームメモリ部304に記録される度に、
そのフレーム番号を候補リストへ追加する。なお、参照
フレーム候補番号記録部314では、候補フレーム番号
のリストを用意するように説明したが、直接フレームメ
モリ部304にヘッダ情報として追加記入し、その情報
を管理するようにしても良い。
【0133】データコピー部311Bは、通常、符号化
部302の処理タイミングに合わせてフレームデータを
フレームメモリ部304から参照フレームメモリ部30
5へコピーする手段である。なお、データコピー部31
1Bは、フレーム番号設定部310Bから最新受信番号
を受けた場合には、そのフレームデータをフレームメモ
リ部304から参照フレームメモリ部305へコピーす
るよう動作する。
【0134】なお、以上の説明では、復号異常有り(NAC
K)信号のみが受信側より伝送されて来るものとして説明
したが、復号異常有り(NACK)信号と共に、復号異常無し
(ACK) 信号も受信側より伝送されて来る場合には、復号
異常無し(ACK) 信号を受けた時に得られたフレーム番号
を最新受信番号として管理すれば良い。
【0135】(E−2)動作説明 この参照フレーム更新部309Cは、受信側の動画像復
号化装置400から送られて来る復号異常有り(NACK)信
号を元に参照フレームの更新/非更新を切り替える。こ
の参照フレーム更新部309Cを、動画像符号化装置3
00に適用した場合における符号化動作例を示したのが
図23である。
【0136】この参照フレーム更新部309Cは、受信
側から復号異常有り(NACK)信号による通知がない場合に
は、全て正常な受信がなされたと見なして、参照フレー
ムを毎回更新するよう動作する。
【0137】例えば、図23に示すフレームa、b、c
では、受信側から復号異常有り(NACK)信号による通知が
ないので、参照フレーム更新部309Cは、参照フレー
ムを毎回切り替え、次のフレームを符号化する。すなわ
ち、フレームdはフレームcを参照フレームとして符号
化され、フレームeはフレームdを参照フレームとして
符号化される。
【0138】ここで、フレームdに伝送誤りが発生した
とすると、受信側より送信側に復号異常有り(NACK)信号
による通知がなされる。
【0139】このとき、参照フレーム更新部309C
は、通知のあった時点(ここでは、フレームfの符号化
前)において正常に受信されていることが確認されてい
るフレームcまで参照フレームを戻すよう指示を出し、
次のフレームfを符号化する。同時に、参照フレーム候
補番号リストからフレームdとeを消去し、フレームf
を追加する。
【0140】伝送誤りが発生してから復号異常有り(NAC
K)信号の通知があるまでの間に伝送されたフレームeに
ついては、既に符号化処理が終了してしまっているので
正常に復号できないが、その後に伝送されるフレームf
以降はIフレームを待つことなく正常に復号可能であ
り、伝送誤り発生時の符号化効率をほとんど下げずに済
ませることができる。
【0141】なお、フレームeについては、伝送誤りは
なく受信側に届いているが、伝送誤りのあったフレーム
dを参照して復号しなければならないので、受信側での
正常な復号はできない。そこで、この場合にも、受信側
は伝送誤りの時と同様に送信側に対して復号異常有り(N
ACK)信号が返される。この点が第4の実施形態と大きく
異なり、後述するように復号異常有り(NACK)信号の伝
送誤りが発生した場合でも、効率の良い符号化が可能と
なる。
【0142】このとき、送信側は、フレームeについて
復号異常有り(NACK)信号を受け取ると、フレームeが参
照フレーム候補番号記録リストに存在するか否かチェッ
クする。フレームeは、上述のフレームdの誤り処理の
時に既にリストから消去されているので、参照フレーム
更新部309Cは、この復号異常有り(NACK)信号を無視
し、通常通り直前のフレームfを参照フレームとして符
号化する。
【0143】次に、復号異常有り(NACK)信号の伝送され
る伝送路上に誤りが発生した場合の符号化動作を説明す
る。図24はこの動作例の説明に供するものである。
【0144】図24に示したように、伝送路の状態によ
っては、受信側から伝送路側に伝送されるフレームdの
復号異常有り(NACK)信号に誤りが生じる可能性がないと
は言えない場合がある。このようなシステムでは、受信
側が希望参照フレーム番号を復号異常有り(NACK)信号に
付加することを必須とする。
【0145】この場合、参照フレーム更新部309C
は、フレームfの符号化時点ではフレームdの誤りに気
づかず、通常通り、フレームeを参照してフレームfを
符号化するよう処理を進めてしまう。すなわち、フレー
ムdの復号処理に異常が生じているにも拘わらず、フレ
ームfまで通常通りの符号化処理が進行してしまう。
【0146】なお、受信側では、次のフレームeについ
ても正常に復号できないので、続けて復号異常有り(NAC
K)信号が送信側に送出され、この復号異常有り(NACK)信
号が届いた時点で、希望参照フレーム番号に従って参照
フレームをフレームcに戻す処理がなされる。この結
果、フレームgについてはフレームcを参照フレームと
する符号化処理がなされる。なお、参照フレーム更新部
309Cは、これと同時に、参照フレーム候補番号リス
トからフレームd、e、fを消去し、新たにフレームg
を追加する。
【0147】この後、送信側にはフレームfについての
復号異常有り(NACK)信号が通知されることになるが、こ
の時点では、既に参照フレーム候補番号リストから当該
フレームfが消去されているのでこの復号異常有り(NAC
K)信号は無視され、通常通り参照フレームの更新処理に
戻ることになる。
【0148】このように、前フレームの伝送異常により
正常復号不可能な場合にも復号異常有り(NACK)信号を
返すこととし、参照フレーム候補番号リストをチェック
する機能と、希望参照フレーム番号を復号異常有り(NAC
K)信号に付加して伝送する機能の両方を備えることによ
り、復号異常有り(NACK)信号に伝送誤りが生じても、大
幅な画質劣化を防ぐことができる。
【0149】なお、参照フレーム候補番号リストをチェ
ックする機能が必要であることを補足説明しておく。仮
に、このチェック機能がないと、復号異常有り(NACK)信
号に誤りがない場合に図25のような事態、すなわち、
フレームeの復号異常有り(NACK)信号に対しても希望参
照フレーム番号に従って参照フレームをフレームcへ戻
してしまうので、符号化効率が低下してしまう。
【0150】(E−3)第5の実施形態の効果 以上のように、第5の実施形態によれば、確認信号とし
て復号異常有り(NACK)信号を受信側から送信側に送出す
ることにし、復号異常有り(NACK)信号が受信されない場
合には、参照フレームを毎回更新するようにしたので、
符号化効率が低下しなくて済む符号化を実現することが
できる。
【0151】また、伝送誤りが復号異常有り(NACK)信号
によって通知された場合には、希望参照フレーム番号で
指定されたフレームまで参照フレームを戻して復号動作
を継続するようにしたことにより、伝送路上で誤りが生
じた場合にも、復号異常有り(NACK)信号自身の伝送に誤
りが生じた場合にも、その後に符号化されるフレームに
ついてIフレームを待つことなく、正常な復号動作を継
続することができる符号化効率の低下がほとんどない符
号化を実現できる。
【0152】さらに、参照フレーム候補番号リストをチ
ェックする機能を設けたことにより、必要以上に過去の
時点のフレームまで参照フレームが遡る事態を避けるこ
とができ、符号化効率の低下がほとんど見られない符号
化を実現できる。
【0153】(F)第6の実施形態 ここでは、確認信号として、復号異常無し(ACK) 信号と
復号異常有り(NACK)信号との両方を用い、これらを伝送
路の状態に応じて適応的に切り替える伝送システムにつ
いて説明する。
【0154】この伝送システムを構成する動画像符号化
装置(送信側)は、受信側から通知される確認信号とし
ての復号異常有無信号に従って参照フレーム画像を更新
する手段と、確認信号を利用して伝送路の状態を判定す
る手段と、判定した伝送路の状態により参照フレーム画
像の更新方法を切替える手段の3つを備える点を特徴と
する。
【0155】また、この伝送システムを構成する動画像
復号化装置(受信側)は、送信側からの符号データを復
号し復号異常の有無を判定して、復号異常有無信号を送
信側へ通知する手段を備える点を特徴とする。
【0156】そして、伝送路の状態が良いと判定された
場合には、毎フレームごと参照フレーム画像を更新し、
伝送異常がある時だけ受信確認したフレームに参照フレ
ーム画像を戻する。一方、伝送路の状態が悪いと判定さ
れた場合には、受信の確認がなされた時に、参照フレー
ム画像を随時更新する。
【0157】次に、かかる特徴を有する動画像符号化装
置と動画像復号化装置の構成を説明する。
【0158】(F−1)動画像符号化装置(送信側)6
00の構成 図26に、第6の実施形態に係る動画像符号化装置(送
信側)600の構成例を示す。なお、図26において
は、第2の実施形態に係る動画像符号化装置300の構
成を示した図12との同一、対応部分に、同一、対応符
号を付して示している。図26に示すように、多くの構
成は第2の実施形態と同様であるため、異なる部分、す
なわち、確認信号受信部308A、参照フレーム更新部
309D、伝送状態判定部315、更新方法切替部31
6についてのみ説明する。
【0159】確認信号受信部308Aは、受信側の動画
像復号化装置700がどのフレーム(又は、ブロック)
を復号できたかという確認信号を受信する手段であり、
復号異常の有無とそのフレーム番号(又は、ブロック番
号)とを参照フレーム更新部309D及び伝送状態判定
部315にそれぞれ渡す。
【0160】ここで、確認信号受信部308Aは、復号
異常有無信号が一定時間以上経過しても到着しない場合
に、そのフレーム(又は、ブロック)を復号異常有りと
判定する。
【0161】なお、多地点間通信時の場合、確認信号受
信部308Aは、各地点から確認信号を受信し、全地点
において受信できたフレーム番号(又は、ブロック番
号)を算出して参照フレーム更新部309Dへ渡す。こ
の時、伝送状態判定部315に対しても、全地点におい
て受信できたフレーム番号(又は、ブロック番号)を算
出して渡しても良いが、各地点からの結果を別々に渡す
方法を採用することもできる。
【0162】参照フレーム更新部309Dは、intra/in
ter 判断部306や確認信号受信部308A、更新方法
切替部316からの指示に従い、参照フレームを更新す
る手段である。
【0163】本実施形態の場合、この参照フレーム更新
方法には2つの方法がある。一つは、復号異常の無かっ
たフレーム(又は、ブロック)を随時参照フレーム画像
として更新する方法であり、もう一つは、通常は毎フレ
ームを参照フレーム画像として用い、復号異常が有る時
に、参照フレームを復号異常の無い古いフレーム(又
は、ブロック)に戻す方法である。以下、前者の更新方
法を復号異常無し(ACK)モード、後者の更新方法を復号
異常有り(NACK)モードと呼ぶ。
【0164】この参照フレーム更新部309Dは、更新
方法切替部316からの指示により、 ACKモードとNACK
モードとを切替える。
【0165】例えば、 ACKモード時、確認信号受信部3
08Aから「復号異常無し」を受けると、参照フレーム
更新部309Dは、そのフレームデータ(又は、ブロッ
クデータ)をフレームメモリ部304から参照フレーム
メモリ部305へコピーする。このとき、その番号以前
のデータをフレームメモリ部304から消去しても良
い。なお、「復号異常有り」を受けたときは、何も行な
わない。
【0166】一方、NACKモード時、参照フレーム更新部
309Dは、通常、符号化部302の符号化タイミング
と同期して、毎フレームデータ(又は、ブロックデー
タ)をフレームメモリ部304から参照フレームメモリ
部305へコピーする。ここで、確認信号受信部308
Aから「復号異常無し」を受けた場合には、それまでに
到着した古いフレーム(又は、ブロック)のうち、復号
異常無しの確認が取れている最新のフレーム番号(又
は、ブロック番号)を記録している最新受信番号を更新
する。この時、フレームメモリ部304から最新受信番
号より古いデータを消去しても良い。なお、「復号異常
有り」を受けたときは、参照フレームを戻すために最新
受信番号のフレームデータ(又は、ブロックデータ)を
フレームメモリ部304から参照フレームメモリ部30
5へコピーする。
【0167】因みに、intra/inter 判断部306からフ
レーム内符号化の指示を受けた場合、参照フレーム更新
部309Dは、現フレームのデータをフレームメモリ部
304から参照フレームメモリ部305へコピーし、フ
レームメモリ部304の全フレームデータを消去する。
【0168】伝送状態判定部315は、確認信号受信部
308Aから受けた復号異常の有無通知をもとに、現在
の伝送状態を判定する手段であり、判定結果を更新方法
切替部316へ渡す。ここで、伝送状態には「良」と
「悪」との2段階がある。例えば最近のNフレーム(又
は、Nブロック)のうちMフレーム(又は、Mブロッ
ク)以上に伝送異常があると「悪」と判定し、それ未満
の時は「良」とする(N≧M)。
【0169】また、Lフレーム(又は、Lブロック)以
上連続で伝送異常があると「悪」と判定する。判定基準
は同時に複数存在しても良く、その場合は全ての基準で
「良」の時だけ「良」と判定し、どれか1つの基準でも
「悪」の場合は「悪」と判定する。また、全ての基準で
「悪」の場合のみ「悪」と判定するようにしても良い。
【0170】更新方法切替部316は、伝送状態判定部
315で判定された伝送状態に合わせて、参照フレーム
更新部309Dで実行する更新方法のモード切替を行な
う手段である。例えば、判定結果が「良」である場合に
は、NACKモードに切替え、判定結果が「悪」である場合
には、 ACKモードに切替える。
【0171】(F−2)動画像復号化装置(受信側)7
00の構成 続いて、図27に、第6の実施形態に係る動画像復号化
装置(受信側)700の構成例を示す。なお、図27に
おいては、第2の実施形態に係る動画像復号化装置40
0の構成を示した図13との同一、対応部分に、同一、
対応符号を付して示している。基本的に本実施形態に係
る動画像復号化装置700の構成は、第2の実施形態と
同じである。但し、一部機能や動作が異なる部分もある
ので、この点についてのみ説明する。
【0172】参照フレーム比較部402Aは、フレーム
ごと(又は、ブロックごと)に受信した参照フレーム番
号と参照フレームメモリ部404に記憶されている自端
末の参照フレーム番号とを比較する手段であり、参照フ
レーム番号が異なる場合、参照フレーム更新部403へ
参照フレーム更新要求を通知し、新しい参照フレーム番
号を渡す。なお、この点について、第2の実施形態で
は、 ACKモードを例にして参照フレームが新しくなって
いる場合のみ更新するように説明しているが、NACKモー
ドでは古いフレームに更新することもあり得る点が異な
っている。
【0173】復号化部406Aは、入力された符号デー
タを復号化する手段であり、復号データを動画像出力部
408へ送る。ここで、復号化部406Aは、復号画像
がIフレームである場合、復号データをフレーム番号と
ともに参照フレームメモリ部404へ書き込み、参照フ
レーム画像を更新する。また、復号化部406Aは、復
号画像がPフレームである場合、参照フレームメモリ部
405のデータを参照して復号し、復号データをフレー
ム番号とともにフレームメモリ部405へ書き込む。
【0174】なお、復号化部406Aは、CRCなどに
よる誤り検査によって復号異常の有無を判定し、判定結
果をフレーム番号とともに確認信号送信部407へ渡
す。但し、画像データを全て復号してから復号異常の有
無を判定しても良い。
【0175】(F−3)動作説明 次に、本実施形態に係る伝送システムによる動画像の伝
送処理を説明する。この実施形態に係る伝送システム
は、前述したように、受信側から得られる確認信号によ
って伝送状態を判定し、伝送状態に応じた参照フレーム
の更新方法を適宜選択しながらフレーム間符号化処理を
行っている。
【0176】なお、受信側の動作については、モードに
依存しない。すなわち、受信側は、常に復号異常の有無
を送信側へ返すだけで良く、第2の実施形態にて説明し
たのと同様、符号データに多重された参照フレーム番号
をもとに参照フレームを更新して復号動作を繰り返して
いる。
【0177】従って、以下、送信側の動作を説明する。
送信側は、 ACK信号とNACK信号により伝送路の状態を判
定し、更新モードを切替えている。ここで、 ACK信号も
NACK信号も到着しない場合には、確認信号に誤りが発生
したと判断し、NACK信号が到着した時と同様の処理を行
なう。
【0178】まず、通常時、送信側は、NACKモードで参
照フレーム画像を更新し、更新された参照フレーム画像
に基づいてフレーム画像の符号化を行っている。
【0179】ここで、伝送状態判定部315は、伝送状
態を常に監視しており、いくつかの判定基準により伝送
状態が「悪」であることが判定されると、参照フレーム
更新方法をNACKモードから ACKモードに切替え、伝送状
態が劣悪な場合に適した符号化モードに移行する。図2
8の例では、伝送異常が1回でも判定された段階で、伝
送状態が「悪」であると判定されている。
【0180】すなわち、フレームdについての伝送異常
を通知する復号異常有り(NACK)信号がフレームfを符号
化する前に到着した段階で、伝送状態が「悪」であると
判定され、フレームfを符号化するのに用いる参照フレ
ームがフレームcに戻されている。なお、フレームeに
ついては、既に符号化が終了し、伝送された後なので受
信側での復号は不可能である。
【0181】このようにして、送信側の動作モードが A
CKモードに移ると、送信側は、受信側よりフレームfに
ついて送られてくる復号異常無し(ACK) 信号を受信し、
異常の認められなかったフレームfを参照フレームとし
てフレームhを符号化する。
【0182】続く、フレームiの符号化前にもフレーム
gについての復号異常無し(ACK) 信号が受信されるの
で、送信側は参照フレームをフレームgに変更し、フレ
ームiを符号化する。
【0183】ところが、図28の場合、次のフレームj
の符号化前にフレームhについての復号異常有り(NACK)
信号が受信されるので、送信側は参照フレームの更新を
行わず、フレームgをそのまま参照フレームとしてフレ
ームjを符号化する。
【0184】なお、次のフレームkの符号化前には、フ
レームiについての復号異常無し(ACK) 信号が受信され
るので、送信側は参照フレームをフレームiに変更し、
フレームkを符号化する。
【0185】以下、同様の動作が繰り返され、伝送状態
判定部315による伝送状態の判定が「良」と判定され
た時点で、再び、NACKモードに戻る。図28では、伝送
異常無しが4フレーム連続した時点で伝送状態が「良」
と判定されている。
【0186】このように、伝送異常の無い通常時には、
NACKモードにより参照フレーム画像を毎フレーム更新す
るので、往復伝送遅延が大きい場合でも符号化効率の低
下を心配しなくて良い。また、NACKモードを採用すると
伝送異常発生後に復号不可能なフレームが現れるが、伝
送異常が少ない時には、これによる画質劣化はあまり目
立たず、逆に伝送異常の無い区間での画質が主観的に有
効となるため、NACKモードでの画質の劣化は少ない。
【0187】一方、伝送異常の多い時は、 ACKモードを
採用することにより、復号不可能なフレームもなく、極
端な画質劣化はない。特に、誤りが連続する時には、従
来の符号化はもちろん、NACKモードと比較しても1〜5dB
程度良い結果が得られる。
【0188】(F−4)第6の実施形態の効果 以上のように、第6の実施形態によれば、前述の他の実
施形態の場合と同様、受信できたフレームを参照して符
号化を行なうため、次のIフレームを待たずに復号処理
を行うことができ、符号化効率も良い。
【0189】また、伝送状態によって、参照フレームの
更新方法を適応的に切替えるようにしたので、最適な符
号化効率を実現することができた。
【0190】さらに、伝送異常が無い通常時には、参照
フレーム画像を毎フレームごと更新できるので、往復伝
送遅延が大きい場合でも符号化効率を低下させなくて良
い。
【0191】また、伝送異常が少ない時には、定常時の
符号化効率の良いNACKモードを採用するので、画質劣化
が少なくて済む。
【0192】さらに、伝送異常の多い時には、誤り発生
時の画質劣化の少ないACKモードを採用するので、画質
劣化が少ないだけでなく、正常に復号できないフレーム
がないので、急激な劣化もなく画質を安定させることが
できる。
【0193】また、送信側で行なうモード切替のための
伝送状況判定には、復号異常有無信号を流用するので、
伝送状況判定のために新しく伝送する情報を追加する必
要がなくて済む。
【0194】さらに、受信側の動作は参照フレームの更
新モードに依存しないので、切替えは送信側のみで行え
ば良く、受信側へ通知する必要がない。従って、受信側
の構成を変更する必要がないだけでなく、モード切替に
よる余分な伝送負荷の増加を抑えることができる。特
に、モード切替が発生する時は、伝送路の状態が変化す
る時であり、送受信間で確実に情報を交換するには誤り
訂正符号を付加したり、再送処理を行なうなどかなりの
誤り保護を行なう必要がある。従って、モード切替えの
情報を伝送する必要のないことは、極めて有効である。
【0195】(F−5)第6の実施形態の変形例 (1) なお、上述の実施形態においては、伝送状態を
「良」と「悪」との2段階とし、更新方法を2モードで
実現する例について説明をしたが、これに限定するもの
ではない。例えば、変更方法として3モード以上設定し
ても良い。この場合、例えば、「極悪」段階を追加し、
連続してほとんどのデータに異常がある場合には、量子
化を荒くした符号化を行ない、符号量を削減することに
より誤りの発生する確率を低くするようにしても良い。
【0196】(2) また、上述の実施形態においては、確
認信号としてACK 信号とNACK信号とを常に通知する場合
について説明したが、これに限定するものではない。例
えば、伝送異常のない場合には、ACK 信号だけを通知す
るようにしても良い。その場合、一定時間待ってもACK
信号が到着しない時は、NACK信号が到着したものとみな
して処理を行なう。
【0197】(3) さらに、上述の実施形態においては、
モード切替えは送信側だけで行ない、受信側へは通知し
ない構成を説明したが、これに限定するものではない。
受信側へ通知する構成にしても良く、これにより受信側
がフレームメモリ部の消去等を最適に行なうようにして
も良い。例えば、ACK モードの時は、参照フレームに選
定されたフレーム(又は、ブロック)より古いデータは
消去することができる。
【0198】(4) また、上述の実施形態においては、モ
ード切替えは送信側だけで行う場合について述べたが、
モード切替えを受信側で行なうようにしても良い。確認
信号ではフレームやブロック単位の誤り率しか検出でき
ないが、受信側ではCRCにより伝送路のビット単位の
誤り率が検出できるので、きめの細かい対応が可能とな
る。また、受信側では検出した誤り率をもとに、モード
指定まで行なっても良く、また、検出した誤り率を送信
側へ送り、それをもとに送信側でモード切替を行なって
も良い。
【0199】(5) さらに、上述の実施形態においては、
フレーム内符号化時には参照フレーム更新部309Dが
フレームメモリ部304からフレームデータを参照フレ
ームメモリ部305へコピーするように説明したが、こ
れに限定するものではない。例えば、intra/inter 判断
部306からのフレーム内符号化要求信号を復号化部3
03へ渡すようにし、フレーム内符号化時には復号化部
303から直接参照フレームメモリ部305へフレーム
データを書き込むようにしても良い。この場合、コピー
する処理を省略できる。
【0200】(6) また、上述の実施形態においては、参
照フレームメモリ部305とフレームメモリ部304と
を別々に分けて説明したが、これに限定するものではな
い。1つのメモリ上にフレームデータを書き込み、参照
フレームはメモリ位置を示すポインタなどで表すように
しても良い。この場合、参照フレーム更新時にフレーム
メモリから参照フレームメモリへデータをコピーするす
る必要がなく、ポインタを移動させるだけで良い。
【0201】(7) さらに、上述の実施形態においては、
Lフレーム以上連続して異常が検出された場合又はLブ
ロック以上連続して異常が検出された場合に、伝送路の
状態が悪いと判定したが、連続する数フレームのうち同
じ位置のブロックについて復号異常が連続した場合に伝
送路の状態が悪いと判定しても良い。
【0202】(8) また、伝送状態判定部315について
は、複数の判定基準を用意しておき、これら複数の判定
基準のうちいずれか一つの基準について伝送状態が悪い
と判断されたとされたときに、伝送路の状態が悪いと判
断させるようにしても良い。
【0203】(G)第7の実施形態 この第7の実施形態で説明する伝送システムは、第6の
実施形態において説明したモードの切替を送信側端末を
使用する使用者の指示により強制的に切り替えることが
できるようにし、使用者の好みを反映できるようにする
機能を付加したものである。
【0204】従って、本実施形態において第6の実施形
態の構成に追加された部分は、送信側において、使用者
からの伝送状態判定基準の変更要求を受け、判定基準を
変更する手段と、使用者からの更新方法変更要求を受
け、強制的に更新モードを切替える手段との2つであ
る。以下、動画像符号化装置(送信側)の構成を説明す
る。なお、動画像復号化装置(受信側)の構成について
は、第6の実施形態と同じであるため説明は省略する。
【0205】(G−1)動画像符号化装置(送信側)8
00の構成 図29は、図26との同一、対応部分に同一、対応符号
を付して示す動画像符号化装置800の構成例である。
ここでは、第6の実施形態の構成と異なる部分について
のみ説明する。
【0206】伝送状態判定部315Aは、第6の実施形
態で説明した伝送状態判定部315と同等の機能を有す
るのに加え、判定基準変更部317から指示がある場合
に、判定基準を変更し、以降は新しい判定基準に基づき
伝送状態を判定する手段である。
【0207】更新方法切替部316Aは、第6の実施形
態で説明した更新方法切替部316と同等の機能を有す
るのに加え、更新方法変更部318から指示がある場合
に、伝送路状態に関係なく指示された更新モードを固定
する手段である。なお、リセット指示があった場合、更
新方法切替部316Aは、伝送路状態に従って、更新モ
ードを切替える処理に戻るようになっている。
【0208】判定基準変更部317は、使用者からの判
定基準変更要求を受け付け、要求に従って新しい判定基
準を決定し、伝送状態判定部315Aへ渡す手段であ
る。
【0209】更新方法変更部318は、使用者からの更
新方法変更要求を入力し、要求に従って更新方法を決定
し、更新方法切替部316Aへ渡す手段である。
【0210】(G−2)動作説明 次に、本実施形態に係る伝送システムによる動画像の伝
送処理を説明する。この実施形態に係る伝送システムに
ついても、基本的な符号化処理の内容は前述した第6の
実施形態と同様であるので、ここでは、本実施形態に特
有な動作について説明する。
【0211】動画像符号化装置800を使用する使用者
は、次の2通りの方法で更新モードを変更操作すること
ができる。
【0212】1つは、伝送路状態を判定する時の判定基
準の変更操作である。例えば、10ブロックのうち3ブ
ロックが復号異常有りの場合に「悪」と判定していたの
を、20ブロックのうち7ブロックなどと変更できる。
これにより、更新モードの切替タイミングを使用者の好
みや経験に応じて変更することが可能になる。
【0213】もう1つは、直接更新モードを変更する操
作である。これにより、現在の伝送状態の如何に拘わら
ず、更新方法を強制的かつ直接的に指定することが可能
になる。
【0214】(G−3)第7の実施形態の効果 以上のように、第7の実施形態によれば、第6の実施形
態で説明したのと同様の効果が得られるのに加え、伝送
路の判定基準を使用者の意志に応じて変更できるので、
送信端末使用者の僅かな好みの違いを反映した符号化方
法を実現することができる。また、伝送路の特性の違い
にも容易に適合することができる。
【0215】また、更新方法を直接指定できるので、送
信端末使用者の好みを反映でき、各更新モードによる符
号化効率の差異等の評価も容易に行うことができるよう
になる。
【0216】(H)第8の実施形態 この第8の実施形態で説明する伝送システムは、第6の
実施形態において説明したモードの切替を受信側端末を
使用する使用者の指示により強制的に切り替えることが
できるようにし、使用者の好みを反映できるようにする
機能を付加したものである。すなわち、第7の実施形態
とは、使用者の位置が異なる点を除いて同じものであ
る。
【0217】このため、本実施形態の受信側において
は、第6の実施形態の構成に対して、使用者からの伝送
状態判定基準の変更要求を受けて送信側へ判定基準変更
信号を送信する手段と、使用者からの更新方法変更要求
を受けて送信側へ更新方法変更信号を送信する手段とを
付加した点を特徴とする。
【0218】また、送信側においては、第6の実施形態
の構成に対して、受信側からの判定基準変更信号を受け
て判定基準を変更する手段と、受信側からの更新方法変
更信号を受けて強制的に更新モードを切替える手段とを
付加した点を特徴とする。
【0219】以下、更新方法切替に受信側使用者の好み
を反映させることができる本実施形態の伝送システムを
構成する各部の構成について説明する。
【0220】(H−1)動画像符号化装置(送信側)9
00の構成 図30は、図26との同一、対応部分に同一、対応符号
を付して示す動画像符号化装置900の構成例である。
ここでは、第6の実施形態の構成と異なる部分について
のみ説明する。
【0221】伝送状態判定部315Aは、第6の実施形
態で説明した伝送状態判定部315と同等の機能を有す
るのに加え、判定基準変更部317Aから指示がある場
合に、判定基準を変更し、以降は新しい判定基準に基づ
き伝送状態を判定する手段である。
【0222】更新方法切替部316Aは、第6の実施形
態で説明した更新方法切替部316と同等の機能を有す
るのに加え、更新方法変更部318Aから指示がある場
合に、伝送路状態に関係なく指示された更新モードを固
定する手段である。なお、リセット指示があった場合、
更新方法切替部316Aは、伝送路状態に従って、更新
モードを切替える処理に戻るようになっている。
【0223】判定基準変更部317Aは、受信側の動画
像復号化装置1000を使用する使用者からの判定基準
変更要求を伝送路を介して受信し、要求に従って新しい
判定基準を決定し、伝送状態判定部315Aへ渡す手段
である。
【0224】更新方法変更部318Aも、同じく、受信
側の動画像復号化装置1000を使用する使用者からの
更新方法変更要求を伝送路を介して受信し、要求に従っ
て更新方法を決定し、更新方法切替部316Aへ渡す手
段である。
【0225】(H−2)動画像復号化装置(受信側)1
000の構成 図31は、図27との同一、対応部分に同一、対応符号
を付して示す動画像復号化装置1000の構成例であ
る。ここでは、第6の実施形態の構成と異なる部分につ
いてのみ説明する。
【0226】判定基準変更信号送信部410は、受信端
末を使用する使用者からの判定基準変更要求を入力し、
要求に従い判定基準変更信号を送信側の動画像符号化装
置900へ伝送路を介して送信する手段である。
【0227】また、更新方法変更信号送信部411は、
同じく、受信端末を使用する使用者からの更新方法変更
要求を入力し、要求に従い更新方法変更信号を送信側の
動画像符号化装置900へ送信する手段である。
【0228】(H−3)動作説明 次に、本実施形態に係る伝送システムによる動画像の伝
送処理を説明する。この実施形態に係る伝送システムに
ついても、基本的な符号化処理の内容は前述した第6の
実施形態と同様であるので、ここでは、本実施形態に特
有な動作について説明する。
【0229】受信端末である動画像復号化装置1000
を使用する使用者は、次の2通りの方法で更新モードを
変更操作することができる。
【0230】1つは、伝送路状態を判定する時の判定基
準の変更操作であり、1つは、直接変更モードを変更す
る操作である。
【0231】いずれにしても、図示されていない操作入
力装置より動画像復号化装置1000に入力された操作
内容は、判定基準変更信号送信部410及び更新方法変
更信号送信部411より伝送路を介して送信側へ伝送さ
れ、送信側の判定基準及び更新モードが変更されること
になる。
【0232】(H−4)第8の実施形態の効果 以上のように、第8の実施形態によれば、第6の実施形
態で説明したのと同様の効果が得られるのに加え、伝送
路の判定基準を使用者の意志に応じて変更できるので、
受信端末使用者の僅かな好みの違いを反映した符号化方
法を実現することができる。また、伝送路の特性の違い
にも容易に適合することができる。特にこの場合は、使
用者が受信端末において、実際に伝送された画像データ
を見ながら操作できるので、よりきめの細かい操作が可
能となる。
【0233】また、更新方法を直接指定できるので、送
信端末使用者の好みを反映でき、各更新モードによる符
号化効率の差異等の評価も容易に行うことができるよう
になる。
【0234】(H−5)第8の実施形態の変形例 (1) なお、上述の第8の実施形態では、第6の実施形態
をもとに説明したが、第7の実施形態と組み合わせてた
構成とすることも可能である。このように、2つの実施
形態を組み合わせて構成すれば、それぞれの効果を合わ
せて得ることができる。
【0235】(I)他の利用形態 (1) 上述の各実施形態において説明した動画像符号化装
置及び動画像復号化装置のそれぞれは、ハードウェアに
よって実現してもソフトウェアによって実現しても良
い。
【0236】(2) また、上述の各実施形態においては、
被伝送データを動画像データとして説明したが、被伝送
データは、音声データであっても、2値データであって
も良い。
【0237】
【発明の効果】以上のように、本発明によれば、画像復
号化装置から画像符号化装置に対して、復号異常有無信
号とフレーム番号と参照フレーム番号とを送信させるこ
とにし、一方、画像符号化装置側では、当該復号異常有
無信号及びフレーム番号及び参照フレーム番号とに基づ
いて、参照画像の更新を制御させるようにしたことによ
り、符号化データを送信する伝送路が、フレーム欠落が
少ない伝送品質の高い伝送路である場合には高画質を維
持でき、フレーム欠落が多く発生する伝送品質の低い伝
送路である場合には後に送られてくるIフレームを待た
ずにPフレームを復号できるようになる。
【0238】
【図面の簡単な説明】
【図1】第2の実施形態に係る動画像符号化装置が受信
を確認した後に次フレームの符号化を始めた場合におけ
る画像符号化の一例を示す説明図である。
【図2】従来例であるH.261符号化による画像符号化の
概念図である。
【図3】従来例であるJPEG符号化による画像符号化
の概念図である。
【図4】従来例であるH.261符号化においてフレーム欠
落が生じた場合の説明図である。
【図5】従来例であるJPEG符号化においてフレーム
欠落が生じた場合の説明図である。
【図6】第1の実施形態に係る動画像符号化装置の構成
例を示すブロック図である。
【図7】第1の実施形態に係る動画像復号化装置の構成
例を示すブロック図である。
【図8】第1の実施形態に係る動画像符号化装置が前提
とする画像の符号化原理を示す説明図である。
【図9】第1の実施形態に係る動画像符号化装置による
画像の符号化原理を示す概念図である。
【図10】第1の実施形態においてフレーム欠落が生じ
た場合の動作説明図である。
【図11】第1の実施形態に係る動画像符号化装置の変
形例を示すブロック図である。
【図12】第2の実施形態に係る動画像符号化装置の構
成例を示すブロック図である。
【図13】第2の実施形態に係る動画像復号化装置を構
成例示すブロック図である。
【図14】第2の実施形態に係る動画像符号化装置が受
信を確認する前に次フレームの符号化を始めた場合にお
ける画像符号化の一例を示す説明図である。
【図15】第2の実施形態においてフレーム欠落が生じ
た場合の動作説明図である。
【図16】第2の実施形態に係る動画像符号化装置の変
形例を示すブロック図である。
【図17】第3の実施形態に係る動画像符号化装置の参
照フレーム更新部を示すブロック図である。
【図18】確認信号としてACK 信号を使用する場合の画
像符号化例を示す説明図である。
【図19】確認信号であるACK 信号の伝送に誤りがある
場合の画像符号化例を示す説明図である。
【図20】第4の実施形態に係る動画像符号化装置の参
照フレーム更新部を示すブロック図である。
【図21】確認信号としてNACK信号を使用する場合の画
像符号化例を示す説明図である。
【図22】第5の実施形態に係る動画像符号化装置の参
照フレーム更新部を示す説明図である。
【図23】確認信号としてNACK信号を使用する場合の画
像符号化例を示す説明図である。
【図24】確認信号であるNACK信号の伝送に誤りがある
場合の画像符号化例を示す説明図である。
【図25】参照フレーム候補番号リストをチェックする
機能がない場合に生じ得る不都合の説明に供する説明図
である。
【図26】第6の実施形態に係る動画像符号化装置の構
成例を示すブロック図である。
【図27】第6の実施形態に係る動画像復号化装置の構
成例を示すブロック図である。
【図28】更新モードの切替え機能を利用した参照フレ
ーム更新動作例を示す説明図である。
【図29】第7の実施形態に係る画像符号化装置の構成
例を示すブロック図である。
【図30】第8の実施形態に係る画像符号化装置の構成
例を示すブロック図である。
【図31】第8の実施形態に係る画像復号化装置の構成
例を示すブロック図である。
【符号の説明】
100、110、300、500、600、800、9
00……動画像符号化装置(送信側)、103、113
……Iフレームメモリ部、104、114……Pフレー
ムメモリ部、105、115、302……符号化部、1
07、307……符号データ送信部、308……確認信
号受信部、309、309A、309B、309D……
参照フレーム更新部、310、310A、310B……
フレーム番号設定部、311、311A、311B……
データコピー部、312、312A……最新受信番号検
出部、313……候補番号消去部、314……参照フレ
ーム候補番号記録部、315、315A……伝送状態判
定部、316、316A……更新方法切替部、317、
317A……判定基準変更部、318、318A……判
定方法変更部、200、400、700、1000……
動画像復号化装置(受信側)、202、406……復号
化部、203……Iフレームメモリ部、204……Pフ
レームメモリ部、205、408……動画像出力部、2
06、409……リフレッシュ信号送信部、407……
確認信号送信部、410……判定基準変更信号送信部、
411……変更方法変更信号送信部。
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (29)

    (57)【特許請求の範囲】
  1. 【請求項1】 参照画像を基準に、入力画像を順次予測
    符号化して符号化データを生成する画像符号化装置にお
    いて、 画像復号化装置から通知される符号化データの復号結果
    を表す復号異常有無信号と当該符号化データに対応する
    フレーム番号に基づいて、参照画像の更新を制御する参
    照画像更新手段と、 前記参照画像更新手段が更新した参照画像を用いて入力
    画像を予測符号化して符号化データを生成し出力する符
    号化手段と、 前記符号化手段が生成した符号化データとそのフレーム
    番号と共に、当該符号化データを生成した際に参照した
    参照画像に対応する参照フレーム番号を前記画像復号化
    装置へ送信する送信手段と を備えることを特徴とする画
    像符号化装置。
  2. 【請求項2】 前記参照画像更新手段は、前記入力画像
    をフレームからブロックに分割し、当該ブロックごとに
    前記参照画像の更新を制御することを特徴とする請求項
    1に記載の画像符号化装置。
  3. 【請求項3】 伝送路を介して接続された複数の画像復
    号化装置より、前記復号異常有無信号及びフレーム番号
    がそれぞれ受信された場合には、これら複数の画像復号
    化装置において最も共通に復号することができた画像
    を、次の参照画像に選定することを特徴とする請求項1
    又は請求項2に記載の画像符号化装置。
  4. 【請求項4】 前記参照画像更新手段は、前記復号異常
    有無信号が復号異常無しを表すとき、当該復号異常の無
    いことが確認されたフレーム番号の画像を、次の参照画
    像に選定することを特徴とする請求項1、請求項2又は
    請求項3に記載の画像符号化装置。
  5. 【請求項5】 前記参照画像更新手段は、前記復号異常
    有無信号が復号異常有りを表すとき、当該復号異常が確
    認されたフレーム番号より過去の時点において送信され
    た画像の中の1つを、次の参照画像に選定することを特
    徴とする請求項1、請求項2又は請求項3に記載の画像
    符号化装置。
  6. 【請求項6】 前記参照画像更新手段は、正常に復号す
    ることができた画像のフレーム番号を希望フレーム番号
    として受信した場合に、その希望フレーム番号に対応す
    る画像を、次の参照画像に選定することを特徴とする請
    求項5に記載の画像符号化装置。
  7. 【請求項7】 前記参照画像更新手段は、前記符号化手
    段による符号化が終了した入力画像のフレーム番号を、
    前記参照画像の候補として記憶するフレーム番号記憶部
    と、 前記復号異常有無信号が復号異常有りを表すとき、当該
    復号異常が確認されたフレーム番号と、これより新しい
    時点において符号化された入力画像のフレーム番号を前
    記フレーム番号記憶部から消去する消去部とを備え、フ
    レーム番号記憶部に記憶されているフレーム番号の画像
    を参照画像に選択することを特徴とする請求項5に記載
    の画像符号化装置。
  8. 【請求項8】 前記参照画像更新手段は、前記符号化手
    段による符号化が終了した入力画像のフレームデータを
    前記参照画像の候補として記憶するフレームメモリ部
    と、 前記復号異常有無信号が復号異常有りを表すとき、当該
    復号異常が確認されたフレーム番号に対応するフレーム
    データと、当該フレーム番号より新しい時点において符
    号化された入力画像のフレーム番号に対応するフレーム
    データを前記フレームメモリ部から消去する消去部と
    備え、フレームメモリ部に記憶されているフレームデー
    タを参照画像に選択することを特徴とする請求項5に記
    載の画像符号化装置。
  9. 【請求項9】 前記参照画像更新手段は、前記符号化手
    段による符号化が終了した入力画像のフレーム番号を、
    前記参照画像の候補として記憶するフレーム番号記憶部
    と、 前記復号異常有無信号が復号異常有りを表すとき、当該
    復号異常が確認されたフレーム番号と、当該フレーム番
    号の画像を参照して符号化された一連の入力画像のフレ
    ーム番号を前記フレーム番号記憶部から消去する消去部
    を備え、フレーム番号記憶部に記憶されているフレー
    ム番号の画像を参照画像に選択することを特徴とする請
    求項5に記載の画像符号化装置。
  10. 【請求項10】 前記参照画像更新手段は、前記符号化
    手段による符号化が 終了した入力画像のフレームデータ
    を前記参照画像の候補として記憶するフレームメモリ部
    と、 前記復号異常有無信号が復号異常有りを表すとき、当該
    復号異常が確認されたフレーム番号に対応するフレーム
    データと、当該フレーム番号の画像を参照して符号化さ
    れた一連の入力画像のフレーム番号に対応するフレーム
    データを前記フレームメモリ部から消去する消去部と
    備え、フレームメモリ部に記憶されているフレームデー
    タを参照画像に選択することを特徴とする請求項5に記
    載の画像符号化装置。
  11. 【請求項11】 前記参照画像更新手段は、前記画像復
    号化装置が正常に復号することができた画像のフレーム
    番号を希望フレーム番号として受信した場合、前記フレ
    ーム番号記憶部に記憶されているフレーム番号のうち前
    記希望フレーム番号に対応する画像を参照画像に選択す
    ことを特徴とする請求項7又は9に記載の画像符号化
    装置。
  12. 【請求項12】 前記参照画像更新手段は、前記画像復
    号化装置が正常に復号することができた画像のフレーム
    番号を希望フレーム番号として受信した場合、前記フレ
    ームメモリ部に記憶されているフレームデータのうち前
    記希望フレーム番号に対応するフレームデータを参照画
    像に選択する ことを特徴とする請求項8又は10に記載
    の画像符号化装置。
  13. 【請求項13】 前記参照画像更新手段は、前記画像復
    号化装置が正常に復号することができた画像のフレーム
    番号を希望フレーム番号として受信した場合で前記フレ
    ーム番号記憶部に前記希望フレーム番号より新しいフレ
    ーム番号がある場合に、当該新しいフレーム番号に対応
    する画像を参照画像に選択する ことを特徴とする請求項
    7又は9に記載の画像符号化装置。
  14. 【請求項14】 前記参照画像更新手段は、前記画像復
    号可装置が正常に復号することができた画像のフレーム
    番号を希望フレーム番号として受信した場合で前記フレ
    ームメモリ部に前記希望フレーム番号より新しいフレー
    ム番号に対応するフレームデータがある場合に、当該新
    しいフレーム番号に対応するフレームデータを参照画像
    に選択する ことを特徴とする請求項8又は10に記載の
    画像符号化装置。
  15. 【請求項15】 前記復号異常有無信号及びフレーム番
    号に基づいて、伝送路の状態を判定する伝送路状態判定
    手段と、 前記伝送路状態判定手段の判定結果に基づいて、前記参
    照画像更新手段による参照画像の更新方法を切り替え制
    御する更新方法切替手段と を備えたことを特徴とする請
    求項1、請求項4又は請求項5に記載の画像符号化装
    置。
  16. 【請求項16】 前記伝送路状態判定手段は、最近受信
    された複数の復号異常有無信号のうち一定個数以上の復
    号異常有りが検出された場合、伝送路の状態が悪いと判
    定する ことを特徴とする請求項15に記載の画像符号化
    装置。
  17. 【請求項17】 前記伝送路状態判定手段は、復号異常
    有りの復号異常有無信号が一定個数以上連続して検出さ
    れた場合、伝送路の状態が悪いと判定する ことを特徴と
    する請求項15に記載の画像符号化装置。
  18. 【請求項18】 前記伝送路状態判定手段は、連続する
    数フレームの画像のうち同じ位置のブロックに復号異常
    有りの復号異常有無信号が一定個数以上連続した場合、
    伝送路の状態が悪いと判定する ことを特徴とする請求項
    15に記載の画像符号化装置。
  19. 【請求項19】 前記伝送路状態判定手段は、伝送路の
    状態を判定するのに使用する複数個の判定基準を有する
    場合、いづれか一つの基準について伝送路の状態が悪い
    と判定されたとき、伝送路の状態が悪いと判定する こと
    を特徴とする請求項15に記載の画像符号化装置。
  20. 【請求項20】 前記更新方法切替手段は、前記伝送路
    状態判定手段において伝送路の状態が良いと判断された
    場合、前記復号異常有無信号が復号異常無しであるとき
    に限り次の参照画像を選定する変更方法から、前記復号
    異常有無信号が復号異常有りであるときに限り次の参照
    画像を選定する変更方法に、変更方法を切り替える こと
    を特徴とする請求項15に記載の画像符号化装置。
  21. 【請求項21】 前記更新方法切替手段は、前記伝送路
    状態判定手段において伝送路の状態が悪いと判断された
    場合、前記復号異常有無信号が復号異常有り であるとき
    に限り次の参照画像を選定する変更方法から、前記復号
    異常有無信号が復号異常無しであるときに限り次の参照
    画像を選定する変更方法に、変更方法を切り替える こと
    を特徴とする請求項15に記載の画像符号化装置。
  22. 【請求項22】 使用者から直接入力され又は受信側の
    使用者から伝送路を介して入力された更新方法の切替要
    求に基づいて、前記更新方法切替手段が決定する更新方
    法を強制的に切り替える更新方法変更手段 を備えたこと
    を特徴とする請求項15に記載の画像符号化装置。
  23. 【請求項23】 使用者から直接入力され又は受信側の
    使用者から伝送路を介して入力された判断基準の切替要
    求に基づいて、前記伝送路状態判定手段の判断基準を強
    制的に切り替える判断基準変更手段 を備えたことを特徴
    とする請求項15に記載の画像符号化装置。
  24. 【請求項24】 参照画像を基準に、予測符号化されて
    なる符号化データを復号する画像復号化装置において、 符号化データとそのフレーム番号と共に、当該符号化デ
    ータを生成した際に参照した参照画像に対応する参照フ
    レーム番号を伝送路を介して受信する受信手段と、 前記受信手段によって受信された符号化データを参照フ
    レーム番号が示す参照画像を用いて復号する復号化手段
    と、 前記復号化手段における各符号化データの復号結果を表
    す復号異常有無信号と当該符号化データに対応するフレ
    ーム番号を画像符号化装置へ出力する復号異常有無信号
    送信手段と を備えたことを特徴とする画像復号化装置。
  25. 【請求項25】 前記復号異常有無信号送信手段は、以
    後受信される符号化データを正常に復号する上で必要な
    フレーム番号を特定する希望参照フレーム番号を復号異
    常有無信号に付加して画像符号化装置に送信する ことを
    特徴とする請求項24に記載の画像復号化装置。
  26. 【請求項26】 前記復号異常有無信号及びフレーム番
    号に基づいて、伝送路の状態を判定する伝送路状態判定
    手段と、前記伝送路状態判定手段の判定結果 に基づい
    て、前記参照画像更新手段による参照画像の更新方法を
    切り替え制御する更新方法切替手段とを有する前記画像
    符号化装置に対し、前記伝送路状態判定手段の判定基準
    の強制的な切り替えを指示する切替要求信号を、使用者
    からの指示に基づき、伝送路を介して前記伝送路状態判
    定手段へ送信する判定基準変更信号送信手段 を備えたこ
    とを特徴とする請求項24に記載の画像復号化装置。
  27. 【請求項27】 前記復号異常有無信号及びフレーム番
    号に基づいて、伝送路の状態を判定する伝送路状態判定
    手段と、前記伝送路状態判定手段の判定結果に基づい
    て、前記参照画像更新手段による参照画像の更新方法を
    切り替え制御する更新方法切替手段とを有する前記画像
    符号化装置に対し、前記更新方法切替手段の変更方法の
    強制的な切り替えを指示する切替要求を、使用者からの
    指示に基づき、伝送路を介して前記更新方法切替手段へ
    送信する更新方法変更信号送信手段 を備えたことを特徴
    とする請求項24に記載の画像復号化装置。
  28. 【請求項28】 請求項1〜請求項14のいずれかに記
    載の画像符号化装置と、 請求項24又は請求項25に記載の画像復号化装置と
    備えたことを特徴とする画像伝送システム。
  29. 【請求項29】 請求項15〜請求項23のいずれかに
    記載の画像符号化装置と、 請求項26又は請求項27に記載の画像復号化装置と
    備えたことを特徴とする画像伝送システム。
JP9862996A 1995-09-18 1996-04-19 画像符号化装置、画像復号化装置及び画像伝送システム Expired - Lifetime JP3068002B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP9862996A JP3068002B2 (ja) 1995-09-18 1996-04-19 画像符号化装置、画像復号化装置及び画像伝送システム
DE69625145T DE69625145T2 (de) 1995-09-18 1996-08-29 Videobildcodierer, -decodierer, und -übertragungsverfahren
EP19960113836 EP0763944B1 (en) 1995-09-18 1996-08-29 Video coder, decoder and transmission method
US08/710,405 US6169821B1 (en) 1995-09-18 1996-09-17 Picture coder, picture decoder, and picture transmission system
KR1019970006316A KR100374245B1 (ko) 1996-04-19 1997-02-27 화상부호화장치,화상복호화장치및화상전송시스템
CNB971034788A CN1143544C (zh) 1996-04-19 1997-03-17 图像编码器,图像解码器及图象发送系统
HK98104226A HK1004975A1 (en) 1996-04-19 1998-05-15 Picture coder, picture decoder, and picture transmission system.
US09/659,065 US6487316B1 (en) 1995-09-18 2000-09-11 Picture decoder for a picture transmission system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-238650 1995-09-18
JP23865095 1995-09-18
JP9862996A JP3068002B2 (ja) 1995-09-18 1996-04-19 画像符号化装置、画像復号化装置及び画像伝送システム

Publications (2)

Publication Number Publication Date
JPH09149421A JPH09149421A (ja) 1997-06-06
JP3068002B2 true JP3068002B2 (ja) 2000-07-24

Family

ID=26439757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9862996A Expired - Lifetime JP3068002B2 (ja) 1995-09-18 1996-04-19 画像符号化装置、画像復号化装置及び画像伝送システム

Country Status (4)

Country Link
US (2) US6169821B1 (ja)
EP (1) EP0763944B1 (ja)
JP (1) JP3068002B2 (ja)
DE (1) DE69625145T2 (ja)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JP3748895B2 (ja) * 1997-02-13 2006-02-22 三菱電機株式会社 符号化装置及び復号装置及び符号化方法及び復号方法
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
JP3687293B2 (ja) * 1997-08-11 2005-08-24 横河電機株式会社 動画通信管理装置
US6282240B1 (en) 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
EP0902593B1 (en) * 1997-09-12 2006-11-08 Oki Electric Industry Co., Ltd. Video coder, decoder and transmission system
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
EP0940989A3 (en) 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
US6408029B1 (en) 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
US7046734B2 (en) * 1998-04-02 2006-05-16 Intel Corporation Method and apparatus for performing real-time data encoding
US6904174B1 (en) * 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US6314369B1 (en) * 1998-07-02 2001-11-06 Kabushikikaisha Equos Research Communications navigation system, and navigation base apparatus and navigation apparatus both used in the navigation system
JP3606306B2 (ja) * 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3483806B2 (ja) * 1999-07-28 2004-01-06 松下電器産業株式会社 動画像信号の符号化装置及び符号化方法
US6658618B1 (en) * 1999-09-02 2003-12-02 Polycom, Inc. Error recovery method for video compression coding using multiple reference buffers and a message channel
US6882637B1 (en) * 1999-10-14 2005-04-19 Nokia Networks Oy Method and system for transmitting and receiving packets
JP3840020B2 (ja) 1999-12-14 2006-11-01 株式会社東芝 動画像符号化装置
JP3589343B2 (ja) * 2000-01-25 2004-11-17 株式会社エヌ・ティ・ティ・ドコモ フレーム伝送方法及びフレーム伝送装置
KR100677083B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 디지털 영상 데이터 통신 시스템에서의 오류 전파 억제를위한 송수신 데이터의 처리 방법 및 이를 위한 기록 매체
US7539130B2 (en) 2000-03-28 2009-05-26 Nokia Corporation Method and system for transmitting and receiving packets
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
GB2364459B (en) 2000-06-30 2004-03-31 Nokia Mobile Phones Ltd Video error resilience
EP1301038A4 (en) * 2000-07-10 2007-11-28 Hitachi Ltd MULTIMEDIAKOMMUN9IKATIONSTERMINAL
US6637001B1 (en) 2000-08-30 2003-10-21 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image/voice transmission
GB0021891D0 (en) 2000-09-06 2000-10-25 Wave Ltd M Adaptive video delivery
JP2002165804A (ja) * 2000-09-22 2002-06-11 Mitaka Koki Co Ltd 医療用スタンド装置
US7103096B2 (en) * 2000-10-12 2006-09-05 3Com Corporation Performance evaluation of multicarrier channels with forward error correction and automatic retransmission request
AU2001295922A1 (en) 2000-10-13 2002-04-22 Sony Corporation Data communication speed control system, transmitter apparatus and receiver apparatus
EP1338131B1 (en) 2000-11-29 2009-08-19 BRITISH TELECOMMUNICATIONS public limited company Transmitting and receiving real-time data
GB0031537D0 (en) * 2000-12-22 2001-02-07 Pa Consulting Services Feedback control from decoder
GB0031539D0 (en) * 2000-12-22 2001-02-07 Pa Consulting Services Feedback control to encoder
EP1368762B1 (en) * 2000-12-22 2005-11-09 Koninklijke Philips Electronics N.V. Internet payment process based on return traffic
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1725038A3 (en) * 2001-03-12 2009-08-26 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
US7136394B2 (en) 2001-03-12 2006-11-14 Polycom, Inc. Low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
US6941343B2 (en) 2001-06-02 2005-09-06 Polycom, Inc. System and method for point to point integration of personal computers with videoconferencing systems
KR20030001625A (ko) * 2001-06-25 2003-01-08 (주)아이디스 동영상 압축시 예측 프레임 생성 및 재생 방법
US6865374B2 (en) * 2001-09-18 2005-03-08 Koninklijke Philips Electronics N.V. Video recovery system and method
US20030081685A1 (en) * 2001-10-31 2003-05-01 Montgomery Dennis L. Method and apparatus for determining patterns within adjacent blocks of data
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
US20060133514A1 (en) * 2002-03-27 2006-06-22 Walker Matthew D Video coding and transmission
US7509553B2 (en) 2002-11-04 2009-03-24 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus, and computer program product
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
FI115589B (fi) * 2003-10-14 2005-05-31 Nokia Corp Redundanttien kuvien koodaaminen ja dekoodaaminen
US8116370B2 (en) 2003-10-20 2012-02-14 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7634146B2 (en) 2003-10-20 2009-12-15 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7826526B2 (en) 2003-10-20 2010-11-02 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
EP1713277A4 (en) * 2004-01-23 2010-02-03 Nec Corp DEVICE, SYSTEM AND METHOD FOR COMMUNICATING IMAGES
TWI261195B (en) * 2004-02-25 2006-09-01 Via Tech Inc Optical drive control chip capable of transmitting command messages in advance and transmission method thereof
JP4702928B2 (ja) 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4688873B2 (ja) * 2004-07-01 2011-05-25 オーワイ ゲームクラスター リミテッド 予測および非予測データフレームを伝送するための方法および装置
US7543064B2 (en) * 2004-09-30 2009-06-02 Logitech Europe S.A. Multiplayer peer-to-peer connection across firewalls and network address translators using a single local port on the local host
KR100669634B1 (ko) * 2004-12-06 2007-01-15 엘지전자 주식회사 동영상 압축 및 복원 방법
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
FR2880745A1 (fr) * 2005-01-07 2006-07-14 France Telecom Procede et dispositif de codage video
EP1834489A1 (fr) * 2005-01-07 2007-09-19 France Telecom Procede et dispositif de codage video
JP4659838B2 (ja) * 2005-01-10 2011-03-30 株式会社エヌ・ティ・ティ・ドコモ 一連のフレームを予測的にコード化する装置
US20060179392A1 (en) * 2005-02-08 2006-08-10 Takaaki Ota Handshakeless retransmission protocol
US7738468B2 (en) 2005-03-22 2010-06-15 Logitech Europe S.A. Method and apparatus for packet traversal of a network address translation device
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8295343B2 (en) 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US7716551B2 (en) * 2005-12-07 2010-05-11 Microsoft Corporation Feedback and frame synchronization between media encoders and decoders
CN105049894B (zh) * 2005-12-08 2018-03-16 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US8259802B2 (en) 2006-03-15 2012-09-04 British Telecommunications Public Limited Company Reference pictures for inter-frame differential video coding
JP5248802B2 (ja) * 2006-06-16 2013-07-31 カシオ計算機株式会社 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
FR2911234B1 (fr) * 2007-01-05 2009-02-20 Thales Sa Procede d'envoi de paquets de donnees d'un serveur vers un client, le client utilisant simultanement a un debit constant d les donnees qu'il recoit
JP5221562B2 (ja) * 2007-01-10 2013-06-26 クゥアルコム・インコーポレイテッド マルチメディア電話のためのコンテンツ依存およびリンク依存のコード化適応
US8494049B2 (en) 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US20090089852A1 (en) * 2007-10-01 2009-04-02 At&T Knowledge Ventures, Lp Automated Multimedia Channel Error Reporting from Viewer Premises
US8797850B2 (en) * 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
US8629893B2 (en) 2008-04-02 2014-01-14 Cisco Technology, Inc. Video switching without instantaneous decoder refresh-frames
JP5098784B2 (ja) * 2008-04-30 2012-12-12 サクサ株式会社 映像通信装置
JP2010004142A (ja) * 2008-06-18 2010-01-07 Hitachi Kokusai Electric Inc 動画像符号化装置、復号化装置、符号化方法及び復号化方法
US8270307B2 (en) 2008-09-05 2012-09-18 Cisco Technology, Inc. Network-adaptive preemptive repair in real-time video
CN101360243A (zh) * 2008-09-24 2009-02-04 腾讯科技(深圳)有限公司 基于反馈参考帧的视频通信系统及方法
US20100125768A1 (en) * 2008-11-17 2010-05-20 Cisco Technology, Inc. Error resilience in video communication by retransmission of packets of designated reference frames
JP5141656B2 (ja) * 2009-09-07 2013-02-13 ブラザー工業株式会社 通信制御装置、通信制御方法、および通信制御プログラム
JP5884076B2 (ja) * 2010-12-22 2016-03-15 パナソニックIpマネジメント株式会社 無線伝送端末及び無線伝送方法、それに用いる符号化装置及び符号化方法、並びにコンピュータ・プログラム
JP5367687B2 (ja) * 2010-12-27 2013-12-11 株式会社フォーラムエイト データ配信システム、データ配信装置、及びデータ配信方法
US9049447B2 (en) * 2010-12-30 2015-06-02 Pelco, Inc. Video coding
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
JP5853142B2 (ja) * 2011-01-24 2016-02-09 パナソニックIpマネジメント株式会社 動画伝送システム
US20130058409A1 (en) * 2011-02-25 2013-03-07 Shinya Kadono Moving picture coding apparatus and moving picture decoding apparatus
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
JP6242824B2 (ja) * 2012-02-24 2017-12-06 ヴィド スケール インコーポレイテッド パケットロス検出を使用するビデオコーディング
US20130223524A1 (en) * 2012-02-29 2013-08-29 Microsoft Corporation Dynamic insertion of synchronization predicted video frames
KR101858695B1 (ko) * 2012-04-09 2018-05-16 엘지전자 주식회사 데이터 관리 방법
WO2014073170A1 (ja) * 2012-11-07 2014-05-15 パナソニック株式会社 映像送信端末、映像送信方法、映像送信プログラム、及び映像伝送システム
US9774869B2 (en) * 2013-03-25 2017-09-26 Blackberry Limited Resilient signal encoding
EP3550838B1 (en) * 2013-03-25 2020-10-28 BlackBerry Limited Resilient signal encoding
US20150326884A1 (en) * 2014-05-12 2015-11-12 Silicon Image, Inc. Error Detection and Mitigation in Video Channels
US9641867B2 (en) 2014-10-24 2017-05-02 Megachips Corporation Image processor
JP6490946B2 (ja) * 2014-10-24 2019-03-27 株式会社メガチップス 画像処理装置
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US10313685B2 (en) * 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
CN109937578B (zh) 2016-07-05 2022-01-21 高讯科技有限公司 用于视频流的方法和系统
US10567757B2 (en) * 2018-05-31 2020-02-18 Agora Lab, Inc. Dynamic reference picture reconstruction
US10567756B2 (en) 2018-05-31 2020-02-18 Agora Lab, Inc. Slice level reference picture reconstruction
US12099739B2 (en) * 2020-07-28 2024-09-24 International Business Machines Corporation Trace data protection
WO2022205064A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 视频编码器、视频解码器及相应方法
KR20230128066A (ko) * 2021-04-09 2023-09-01 구글 엘엘씨 키 프레임 라이브러리를 사용한 고급 비디오 코딩
US20240291882A1 (en) * 2023-02-27 2024-08-29 Microsoft Technology Licensing, Llc Video Encoding Dynamic Reference Frame Selection

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4448200A (en) * 1978-03-27 1984-05-15 University Of Southern California System and method for dynamic background subtraction
US4422171A (en) * 1980-12-29 1983-12-20 Allied Corporation, Law Department Method and system for data communication
US4670851A (en) * 1984-01-09 1987-06-02 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
US4751742A (en) * 1985-05-07 1988-06-14 Avelex Priority coding of transform coefficients
JPS62193383A (ja) * 1986-02-20 1987-08-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号伝送方式
US4774587A (en) * 1987-06-02 1988-09-27 Eastman Kodak Company Still video transceiver processor
US5426513A (en) * 1989-06-16 1995-06-20 Harris Corporation Prioritized image transmission system and method
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP2700843B2 (ja) * 1991-12-10 1998-01-21 三菱電機株式会社 多重通信制御装置
CA2088753C (en) * 1992-02-04 1999-02-16 Tomoki Osawa Point-to-multipoint communication network capable of retransmitting a multicast signal
JPH05219056A (ja) * 1992-02-04 1993-08-27 Nec Corp 同報通信方式
US6101313A (en) * 1992-06-29 2000-08-08 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
KR100238133B1 (ko) * 1993-05-31 2000-01-15 윤종용 영상전화기의 화상 복구 장치 및 방법
JPH0795584A (ja) * 1993-07-30 1995-04-07 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH0795571A (ja) * 1993-09-27 1995-04-07 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び多地点間データ伝送方法
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JP3130464B2 (ja) * 1996-02-02 2001-01-31 ローム株式会社 データ復号装置

Also Published As

Publication number Publication date
JPH09149421A (ja) 1997-06-06
DE69625145T2 (de) 2003-09-11
EP0763944B1 (en) 2002-12-04
DE69625145D1 (de) 2003-01-16
EP0763944A2 (en) 1997-03-19
EP0763944A3 (en) 1999-03-17
US6169821B1 (en) 2001-01-02
US6487316B1 (en) 2002-11-26

Similar Documents

Publication Publication Date Title
JP3068002B2 (ja) 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10191356A (ja) 画像符号化装置
EP0868086B1 (en) Video decoder
US6282240B1 (en) Picture coder, picture decoder, and transmission system
JPH1079949A (ja) 画像符号化装置、画像復号化装置及び画像伝送システム
US7116714B2 (en) Video coding
JP4790446B2 (ja) 動画像復号装置及び動画像符号化装置
KR20030014709A (ko) 비디오 오류 회복
JP2009518981A (ja) ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
KR100374245B1 (ko) 화상부호화장치,화상복호화장치및화상전송시스템
US8340180B2 (en) Camera coupled reference frame
US9467639B2 (en) Video transmission apparatus and control method for video transmission apparatus
JP3323057B2 (ja) 符号化装置、復号化装置及び伝送システム
EP0902593B1 (en) Video coder, decoder and transmission system
JPH1023431A (ja) 動画像復号装置
JPH1118086A (ja) 画像通信方法および装置
KR100670220B1 (ko) 부호화장치,복호화장치및전송시스템
JPH11317946A (ja) 画像通信方法、画像通信システム、および、画像通信プログラムを記録した記録媒体
JPH07184189A (ja) 映像情報蓄積制御装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080519

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140519

Year of fee payment: 14

EXPY Cancellation because of completion of term