[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN1741619A - 动画图像解码方法和装置、 动画图像编码方法和装置 - Google Patents

动画图像解码方法和装置、 动画图像编码方法和装置 Download PDF

Info

Publication number
CN1741619A
CN1741619A CNA2005100819748A CN200510081974A CN1741619A CN 1741619 A CN1741619 A CN 1741619A CN A2005100819748 A CNA2005100819748 A CN A2005100819748A CN 200510081974 A CN200510081974 A CN 200510081974A CN 1741619 A CN1741619 A CN 1741619A
Authority
CN
China
Prior art keywords
mentioned
field
decoding
frame
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100819748A
Other languages
English (en)
Other versions
CN1741619B (zh
Inventor
铃木芳典
文仲丞
堀越力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN1741619A publication Critical patent/CN1741619A/zh
Application granted granted Critical
Publication of CN1741619B publication Critical patent/CN1741619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明的实施例的动画图像解码方法是对包含Top field和Bottom field的隔行扫描图像的编码数据进行解码的动画图像解码方法，包括：从编码数据中取得表示Top field和Bottom field是否是构成立体图像的2个图像的立体信息的立体信息取得步骤；根据编码数据对相互对应的2个半帧进行解码，生成2个解码半帧的解码步骤；输出2个解码半帧的输出步骤，其中在输出步骤中，参照立体信息同时输出2个解码半帧。

Description

动画图像解码方法和装置、 动画图像编码方法和装置
技术领域
本发明涉及动画图像解码方法、动画图像解码程序、动画图像解码装置、动画图像编码方法、动画图像编码程序和动画图像编码装置。
背景技术
在作为动画图像编码方式的H.264扩展方式的提案规格中，能够将立体图像(stereo image)中的用左眼看到的图像(左眼图像)和用右眼看到的图像(右眼图像)的各个作为隔行析像(interlace)信号(隔行扫描图像)中的奇数线半帧(field)和偶数线半帧的任意一个而进行编码。另外，作为表示编码了的动画图像数据是否与立体图像有关的识别信息，定义了立体视频半帧信息(立体信息)。通过参照包含在编码了的动画图像数据中的立体视频半帧信息的数据而对动画图像数据进行解码的解码器能够识别出解码的各半帧是立体图像的左眼还是右眼图像(例如参考Text of ISO/IEC 14496-10：2003/FPDAM1(AVC Professional Extensions)，2004年3月)。另外，在此所述的半帧是指构成动画图像的图像，表示一张图像的帧中的由奇数线的扫描线形成的图像(奇数线半帧)和由偶数线的扫描线形成的图像(偶数线半帧)的任意一个。
另一方面，在H.264方式中，用Picture order count(POC)这样的信息，定义作为动画图像的重放单位的重放画像(画像是指帧、半帧和2个半帧的对(以下称为2半帧对)的总称)的输出时刻的相对关系，进而将Top field和Bottom field的POC定义为Top POC、Bottom POC。在Top field和Bottom field是相同的帧或2半帧对的情况下(向2个半帧附加相同的帧编号)，将Top POC和Bottom POC中的小的值定义为POC。因此，2个半帧的POC值是相同的值。在Top field和Bottom field是不同的半帧的情况下(向2个半帧附加不同的帧编号)，2个半帧的POC值是不同的。该信息表示各画像间的时间方向的相对关系，在图像间的预测处理等中使用。另外，在H.264方式中，规定了重放画像的时间标记(timestamp)的编码。在保存了H.264方式的上述时间标记的信息的画像定时信息中，能够用画像类型信息(picture_struct)指定编码了的时间标记的个数(帧是一个，半帧是一个，2半帧对是2个等)。另外，也有用综合了影像和声音的系统数据定义时刻信息的情况。
虽然上述那样地对重放编码了的动画图像数据的定时进行了规定，但在上述规格中并没有考虑到将包含立体影像地编码了的动画图像数据作为立体影像而重放输出。因此，如果重放立体影像，则有以下的问题：左右图像错开地在不同时刻被输出，无法作为立体图像看到。
发明内容
本发明就是为了解决上述问题而提出的，其目的就在于提供一种能够同时输出编码了的立体影像的左右图像的动画图像解码方法、动画图像解码程序、动画图像解码装置、动画图像编码方法、动画图像编码程序和动画图像编码装置。
为了达到上述目的，本发明的动画图像解码方法是一种对隔行扫描图像的编码数据进行解码的动画图像解码方法，其特征在于包括：取得表示包含在隔行扫描图像中的画像是否构成了立体图像的立体信息的立体信息取得步骤；根据编码数据对作为立体图像而相互对应的第1画像和第2画像进行解码，生成第1解码画像和第2解码画像的解码步骤；输出在解码步骤中解码了的第1解码画像和第2解码画像的输出步骤，在输出步骤中，参照在立体信息取得步骤中取得的立体信息，判断第1解码画像和第2解码画像是否构成了立体图像，在判断出构成立体图像的情况下，作为立体图像使第1解码画像和第2解码画像对应起来而输出。
根据上述动画图像解码方法，能够根据所取得的立体信息同时输出各画像，因此能够同时输出编码了的立体影像的左右图像。
另外，动画图像解码程序是使计算机对隔行扫描图像的编码数据进行解码的动画图像解码程序，执行以下的处理：从编码数据中取得表示包含在隔行扫描图像中的画像是否构成立体图像的立体信息的立体信息取得处理；根据编码数据对作为立体图像而相互对应的第1画像和第2画像进行解码，生成第1解码画像和第2解码画像的解码处理；输出通过解码处理解码了的第1解码画像和第2解码画像的输出处理，其特征在于：输出处理参照通过立体信息取得处理取得的立体信息，判断第1解码画像和第2解码画像是否构成立体图像，在判断为构成立体图像的情况下，作为立体图像使第1解码画像和第2解码画像对应起来输出。
另外，动画图像解码装置包括：输入隔行扫描图像的编码数据的输入装置；从编码数据中取得表示包含在隔行扫描图像中的画像是否构成立体图像的立体信息的立体信息取得装置；根据编码数据对作为立体图像而相互对应的第1画像和第2画像进行解码，生成第1解码画像和第2解码画像的解码装置；输出通过解码装置解码了的第1解码画像和第2解码画像的输出装置，其特征在于：输出装置参照通过立体信息取得装置取得的立体信息，判断第1解码画像和第2解码画像是否构成立体图像，在判断为构成立体图像的情况下，作为立体图像使第1解码画像和第2解码画像对应起来输出。
另外，动画图像编码方法是对隔行扫描图像进行编码生成编码数据的动画图像编码方法，其特征在于包括：对表示包含在隔行扫描图像中的画像是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加步骤；对保存了与作为立体图像而输出画像的定时有关的信息的输出定时信息、或保存了与作为立体图像而输出画像的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加步骤。
另外，动画图像编码程序是使计算机对隔行扫描图像进行编码生成编码数据的动画图像编码程序，其特征在于执行以下处理：对表示包含在隔行扫描图像中的画像是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加处理；对保存了与作为立体图像而输出画像的定时有关的信息的输出定时信息、或保存了与作为立体图像而输出画像的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加处理。
另外，动画图像编码装置是对隔行扫描图像进行编码生成编码数据的动画图像编码装置，其特征在于包括：对表示包含在隔行扫描图像中的画像是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加装置；对保存了与作为立体图像而输出画像的定时有关的信息的输出定时信息、或保存了与作为立体图像而输出画像的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加装置。
为了达到上述目的，本发明的动画图像解码方法是对包含第1半帧和第2半帧的隔行扫描图像的编码数据进行解码的动画图像解码方法，其特征在于包括：从编码数据中取得表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息的立体信息取得步骤；根据编码数据对相互对应的第1半帧和第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码步骤；输出在解码步骤中解码了的第1解码半帧和第2解码半帧的输出步骤，其中在输出步骤中，参照在立体信息取得步骤中取得的立体信息，判断第1半帧和第2半帧是否构成立体图像，在判断出构成立体图像的情况下，同时输出第1解码半帧和第2解码半帧。另外，在输出步骤的判断中还包含：在立体信息取得步骤中的立体信息的取得中，根据是否取得了立体信息，而判断是否构成立体图像。
根据上述动画图像解码方法，能够根据所取得的立体信息同时输出各半帧，因此能够同时输出编码了的立体影像的左右图像。
另外，动画图像解码程序是使计算机对由第1半帧和第2半帧构成的隔行扫描图像的编码数据进行解码的动画图像解码程序，其特征在于包括：从编码数据中取得表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息的立体信息取得处理；根据编码数据对相互对应的第1半帧和第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码处理；生成通过解码处理解码了的第1解码半帧和第2解码半帧的输出处理，其中输出处理参照通过立体信息取得处理取得的立体信息，判断第1半帧和第2半帧是否构成立体图像，在判断出构成立体图像的情况下，同时输出第1解码半帧和第2解码半帧。
动画图像解码装置的特征在于包括：输入包含第1半帧和第2半帧的隔行扫描图像的编码数据的输入装置；从编码数据中取得表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息的立体信息取得装置；根据编码数据对相互对应的第1半帧和第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码装置；输出通过解码装置解码了的第1解码半帧和第2解码半帧的输出装置，其中输出装置参照通过立体信息取得装置取得的立体信息，判断第1半帧和第2半帧是否构成立体图像，在判断出构成立体图像的情况下，同时输出第1解码半帧和第2解码半帧。
另外，理想的是在输出步骤中，在判断出第1半帧和第2半帧不构成立体图像的情况下，在不同的时刻输出第1解码半帧和第2解码半帧。
另外，动画图像编码方法是对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码方法，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加步骤；对保存了与输出第1半帧和第2半帧的定时有关的信息的输出定时信息进行编码，并附加到编码数据中的输出定时信息附加步骤。另外，在“附加到编码数据中”的过程中还包含：对编码了的半帧等和立体信息进行多路复用，生成编码数据。
另外，理想的是动画图像编码方法是对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码方法，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加步骤；对与同时输出第1半帧和第2半帧的时刻有关的输出时刻信息进行编码，并附加到编码数据中的输出时刻信息附加步骤。
另外，动画图像解码方法还包括：从编码数据中解码并取得保存了与输出第1半帧和第2半帧的定时有关的信息的输出定时信息的输出定时信息取得步骤，其中在输出步骤中，根据在输出定时信息取得步骤中取得的输出定时信息，输出第1解码半帧和第2解码半帧。
另外，理想的是动画图像解码方法还包括：从编码数据中解码并取得与同时输出第1半帧和第2半帧的时刻有关的输出时刻信息的输出时刻信息取得步骤，其中在输出步骤中，根据在输出时刻信息取得步骤中取得的输出时刻信息，输出第1解码半帧和第2解码半帧。
另外，理想的是输出定时信息是包含在编码数据中的表示将与第1半帧和第2半帧的任意一个的输出时刻的信息对应的时刻作为输出时刻的信息。
另外，理想的是输出定时信息是包含在编码数据中的表示对第1半帧和第2半帧分配的输出顺序的编号的大小关系的信息。
另外，动画图像编码程序是使计算机对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码程序，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加处理；对保存了与输出第1半帧和第2半帧的定时有关的信息的输出定时信息进行编码，并附加到编码数据中的输出定时信息附加处理。
另外，动画图像编码程序是使计算机对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码程序，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加处理；对与同时输出第1半帧和第2半帧的时刻有关的输出时刻信息进行编码，并附加到编码数据中的输出时刻信息附加处理。
另外，动画图像编码装置是对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码装置，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加装置；对保存了与输出第1半帧和第2半帧的定时有关的信息的输出定时信息进行编码，并附加到编码数据中的输出定时信息附加装置。
另外，动画图像编码装置是对包含第1半帧和第2半帧的隔行扫描图像进行编码生成编码数据的动画图像编码装置，其特征在于包括：对表示第1半帧和第2半帧是否是构成立体图像的2个图像的立体信息进行编码，并附加到编码数据中的立体信息附加装置；对与同时输出第1半帧和第2半帧的时刻有关的输出时刻信息进行编码，并附加到编码数据中的输出时刻信息附加装置。
另外，动画图像解码方法是对包含帧的隔行扫描图像的编码数据进行解码的动画图像解码方法，其特征在于包括：从编码数据中取得表示帧是否构成立体图像的立体信息的立体信息取得步骤；根据编码数据对作为立体图像相互对应的第1帧和第2帧进行解码，生成第1解码帧和第2解码帧的解码步骤；输出在解码步骤中解码了的第1解码帧和第2解码帧的输出步骤，其中在输出步骤中，参照在立体信息取得步骤中取得的立体信息，判断帧是否构成立体图像，在判断出构成立体图像的情况下，作为立体图像使第1解码帧和第2解码帧对应起来并输出。
另外，理想的是动画图像解码方法还包括：对包含在编码数据中的帧的与作为立体图像的对应关系有关的对应关系信息进行解码的对应信息解码步骤，在输出步骤中，参照在对应信息解码步骤中解码了的对应关系信息，作为立体图像使第1解码帧和第2解码帧对应起来输出。
另外，动画图像解码程序是使计算机对包含帧的隔行扫描图像的编码数据进行解码的动画图像解码程序，其特征在于包括：从编码数据中取得表示帧是否构成立体图像的立体信息的立体信息取得处理；根据编码数据对作为立体图像相互对应的第1帧和第2帧进行解码，生成第1解码帧和第2解码帧的解码处理；输出通过解码处理解码了的第1解码帧和第2解码帧的输出处理，其中输出处理参照通过立体信息取得处理取得的立体信息，判断帧是否构成立体图像，在判断出构成立体图像的情况下，作为立体图像使第1解码帧和第2解码帧对应起来并输出。
另外，动画图像解码装置的特征在于包括：输入包含帧的隔行扫描图像的编码数据的输入装置；从编码数据中取得表示帧是否构成立体图像的立体信息的立体信息取得装置；根据编码数据对作为立体图像相互对应的第1帧和第2帧进行解码，生成第1解码帧和第2解码帧的解码装置；输出通过解码装置解码了的第1解码帧和第2解码帧的输出装置，其中输出装置参照通过立体信息取得装置取得的立体信息，判断帧是否构成立体图像，在判断出构成立体图像的情况下，作为立体图像使第1解码帧和第2解码帧对应起来并输出。
另外，动画图像编码方法是对包含帧的隔行扫描图像进行编码生成编码数据的动画图像编码方法，其特征在于包括：对表示包含在隔行扫描图像中的帧是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加步骤；对保存了与作为立体图像而输出帧的定时有关的信息的输出定时信息、或与作为立体图像而输出帧的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加步骤。
另外，理想的是动画图像编码方法还包括：对帧的与作为立体图像的对应关系有关的对应关系信息进行编码，并附加到编码数据中的对应信息附加步骤。
另外，动画图像编码程序是使计算机对包含帧的隔行扫描图像进行编码生成编码数据的动画图像编码程序，其特征在于包括：对表示包含在隔行扫描图像中的帧是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加处理；对保存了与作为立体图像而输出帧的定时有关的信息的输出定时信息、或与作为立体图像而输出帧的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加处理。
另外，动画图像编码装置是对包含帧的隔行扫描图像进行编码生成编码数据的动画图像编码装置，其特征在于包括：对表示包含在隔行扫描图像中的帧是否构成立体图像的立体信息进行编码，并附加到编码数据中的立体信息附加装置；对保存了与作为立体图像而输出帧的定时有关的信息的输出定时信息、或与作为立体图像而输出帧的时刻有关的信息的输出时刻信息进行编码，并附加到编码数据中的输出信息附加装置。
附图说明
图1是表示实施例1的动画图像的编码处理的流程图。
图2是表示编码了的动画图像(立体影像)的结构的图。
图3是表示实施例1的动画图像的解码处理的流程图。
图4是表示实施例2的动画图像的编码处理的流程图。
图5是表示实施例2的动画图像的解码处理的流程图。
图6是表示实施例的动画图像编码装置的结构的图。
图7是表示实施例的动画图像解码装置的结构的图。
图8是表示实施例的动画图像的解码处理的变形例子的流程图。
图9是表示本发明的动画图像编码程序的结构的图。
图10是表示本发明的动画图像解码程序的结构的图。
具体实施方式
以下，参照附图说明本发明的实施例。
在以H.264扩展方式的数据结构，即立体视频半帧信息(以下称为立体信息)和画像定时信息(以下称为时刻信息)以及H.264扩展方式的编码方法(帧/半帧/帧半帧适应)以基础的例子中，说明本发明的输出定时信息、输出时刻信息的编码和解码处理以及实现它们的编码和解码装置的结构。另外，输出定时信息是指保存了输出第1半帧和第2半帧的定时的信息。后面将详细说明。
[实施例1]
作为编码和解码处理的实施例1，说明使用了输出定时信息的立体图像的编码和解码处理。在本实施例中，以计算机的程序处理为例子，说明编码和解码处理。
在图1中，表示使用了输出定时信息的立体图像的编码处理的流程。在本实施例中，使用用于从2个半帧各自的输出时刻中选择对与左眼图像和右眼图像对应的2半帧对进行输出处理的定时的指示信息(输出定时信息)。如果将该指示信息包含在立体图像中进行编码，则只通过追加立体信息的编码步骤，就能够不改变其他编码处理地对立体图像进行编码。
通过由动画图像编码装置调用编码处理开始程序而开始进行处理(S301)。编码程序使动画图像编码装置在进行存储器的确保等编码准备(未图示)的同时，使其生成立体信息11(S302，立体信息附加步骤)。如图2(a)所示，立体信息11是包含在编码了的数据10中的信息。图2(b)表示立体信息11的格式。立体信息类型21是表示立体信息的开始的标示信息，在数据解码时，通过检测出该信息，能够识别出立体信息的存在。半帧结构信息22是表示是否作为相互对应的Top field(第1半帧)和Bottom field(第2半帧)的任意一个半帧地对左眼图像和右眼图像进行编码的信息。限制信息23是对Topfield和Bottom field的编码方法施加限制的标志，能够禁止对Topfield和Bottom field之间进行参照，而单独地对单眼图像进行解码。输出定时信息24是用于同时对相互对应的2个半帧进行输出处理的信息，在解码处理中，例如，在该信息表示“Top field”的情况下，在Topfield的输出时刻同时对相互对应的2个半帧进行输出处理(或者以Top POC为基准进行输出处理)，在表示“Bottom field”的情况下，在Bottom field的输出时刻对相互对应的2个半帧进行输出处理(或者以Bottom POC为基准进行输出处理)。在本实施例中，假设在S302中，根据半帧结构信息22，分别将左眼图像和右眼图像分别为Topfield和Bottom field，另外根据输出定时信息24将Top field指定为输出定时(将Top POC作为输出时刻的基准值)。接着，编码程序使得输入一个立体图像(S303)，并进行转换使得能够作为编码对象的2个半帧地输入它(S304)。
进而，编码程序使得选择半帧的编码方式(S305)。在H.264公式中，有帧编码、半帧编码、帧/半帧适应编码的3种编码方式，但对于本申请的发明点的时刻信息来说，由于同样地对帧编码和帧/半帧适应编码进行处理，所以在本申请中，只考虑帧编码和半帧编码。通过由操作者使用键盘或预先准备的编码条件的GUI，来进行编码方式的选择。另外，也可以用选择装置自动地进行。例如，有以下的方法：用2种方法对半帧进行编码并选择编码效率高的方法的方法；计算半帧间的统计相关性并通过阈值处理进行选择的方法等。
接着，编码程序根据选择出的编码条件对各画像进行编码。在此，画像是帧和半帧的总称。在半帧编码中，编码程序首先设置Top field的输出时刻tT，并对其进行编码(S311，输出定时信息附加步骤)。这样，编码了的时刻信息与各画像数据对应。例如，如图2(a)所示，时刻信息12与画像数据13对应，时刻信息14与画像数据15对应。在图2(c)中表示时刻信息的格式。从作为表示时刻信息的开始的标示信息的时刻信息类型31开始，后面是画像类型32、时间标记33。画像类型是表示该画像的结构的信息，在该结构中有帧、半帧(Topfield/Bottom field)、半帧对(通过帧编码或帧/半帧适应编码对2个半帧进行处理)等。时间标记是表示输出时刻的信息，在画像类型是帧或半帧的情况下对1个，在是半帧对的情况下是对2个(各半帧的输出时刻)输出时刻信息(时间标记)进行编码。在本实施例中，编码程序将画像类型32编码为半帧，以时间标记的形式对tT进行编码。
接着，编码程序实施Top field的编码处理(S312，输出定时信息附加步骤)。同样，编码程序接着进行Bottom field的输出时刻tB(tB＝tT+1/60秒)的编码(S313，输出定时信息附加步骤)、Bottomfield的编码处理(S314，输出定时信息附加步骤)。另外，在H.264中，这时如果向2个半帧附加相同的帧编号，则POC值成为相同的值，对于解码处理是有效的。由于在解码侧作为相同帧的数据而管理POC值相同的2个半帧的解码图像，所以容易同时进行输出。这样，在具有将2个半帧保存到同一帧存储器中那样的方法的编码方式中，通过生成编码数据使得将构成左右图像的2个半帧保存在同一帧存储器中，而容易地进行解码处理中的同时输出处理。本实施例包含以下的编码方法：向2个半帧附加相同的画像编号，使得通过解码处理将构成左右图像的2个半帧保存到同一帧存储器中。
另一方面，在帧编码中，编码程序首先对2个半帧的输出时刻tT和tB进行编码(S321)。将画像类型32设置为帧，根据2个时间标记33对2个输出时刻进行编码。然后，对2半帧对进行帧编码(S322)。
接着，编码程序对编码了的各要素数据进行多路复用，构成比特流(S306，立体信息附加步骤，输出定时信息附加步骤)。图2(a)表示比特流(编码数据10)的例子。在比特流中，从序列头等表示序列全体的特征的信息开始(未图示)，后面是各画像的信息。立体信息11由于是与序列全体有关的信息，所以配置在比特流的最初的画像的前面。另外，考虑到从比特流的中间进行解码的情况等，也随时地配置在随机访问单位的先头部分(未图示)。时刻信息12、14基本配置在各画像数据13、15的前面。另外，立体信息和时刻信息也可以被定义为对于视频数据和音频数据通用的系统数据。在该情况下，解码顺序的位置关系也一样。以下，编码程序循环进行S303到S306的处理，在输入画像结束了的时刻(S307)，结束编码处理(S308)。
接着，说明立体图像的解码处理。在图3中，表示使用了本发明的输出定时信息的立体图像的解码处理的流程。如果由动画图像解码装置调用解码处理开始程序(S401)，则解码程序使动画图像解码装置从输入编码数据的先头部分开始对与序列全体的处理有关的信息进行解码，进行存储器的确保等编码准备(未图示)。这时，取得并参照立体信息(S402，立体信息取得步骤)，判断解码图像是否是立体数据(S403，输出步骤)。另外，S403的判断也可以是以下这样的判断：在S402中取得了立体信息的情况下判断为构成立体图像，在S402中没有取得立体信息的情况下判断为不构成立体信息。在编码数据是立体数据的情况下，对立体信息的要素数据进行解码，将由解码了的输出定时信息24(参照图2(b))指定的半帧设置为输出定时基准(S450，输出定时信息取得步骤)。在本实施例中，输出定时信息24包含Top field的输出时刻和表示同时地输出2个半帧的信息，并那样地进行设置(将Top POC作为输出时刻的基准值)。
接着，解码程序对下面输出的画像的时刻信息进行解码(S404)，根据画像类型判断是帧还是半帧(S405)。然后，在画像类型是帧的情况下，将作为时间标记解码了的时刻t1和t2(数值是解码顺序)分别作为tT和tB(S408，输出步骤)，对对应的帧数据进行解码，取得解码帧(S452，输出步骤)。在画像类型是半帧的情况下，在将作为时间标记解码了的t作为tT的基础上(S406，输出步骤)，对画像数据进行解码，取得解码Top field(解码半帧)(S451，解码步骤)。进而，对时刻信息进行解码(S404，输出步骤)，将作为时间标记解码了的t作为tB(S407，输出步骤)，同时对画像数据进行解码，取得解码Bottom field(解码半帧)(S451，解码步骤)。
接着，解码程序与在S450中设置为输出定时的半帧相位的信息对应地，修正输出时刻。具体地说，判断输出定时设置是Top field还是Bottom field(S453，输出步骤)，在Top field的情况下，将tB的值改写为tT(S454，输出步骤)，在Bottom field的情况下，将tT的值改写为tB(S455，输出步骤)。在本实施例中，由于将输出定时设置为Top field，所以成为tB＝tT，其结果是与左眼图像和右眼图像对应的2个半帧的输出时刻设置成为同一时刻。然后，解码程序将解码帧、输出时刻(在本实施例中为tT)、半帧结构22传送到显示处理，根据上述时刻，在同一时刻输出各半帧(S410，输出步骤)。在此，作为显示处理的具体例子，考虑以下的方法，即将左右图像同时输出到显示缓存器(保存输出到显示装置前的显示图像的缓存器)、放映缓存器(显示处理用的缓存器(包含用软件形式实现的方式))。在H.264方式中，将具有相同的POC值的2个半帧记录到同一帧存储器(解码处理部件内的缓存器)中。因此，也可以在编码处理中，向与左右图像对应的2个半帧附加相同的帧编号，使得构成左右图像的2个半帧具有相同的POC值。另外，作为另一个具体例子，考虑以下的方法，即在不同的定时下将左右图像输出到缓存器中，在实际在显示装置中进行显示时，使得同时显示左右图像。以下，到编码数据结束为止，循环进行从S404到S410的处理(S411)，在对所有编码数据进行了解码后的时刻，结束解码处理。
另一方面，在S403中判断出编码数据不是立体数据的情况下，首先解码程序对下一个画像的时刻信息进行解码(S404)，判断画像类型是帧还是半帧(S405)。然后，在画像类型是帧的情况下，将作为时间标记解码了的时刻t1和t2(数值是解码顺序)分别作为tT和tB(S408)。在画像类型是半帧的情况下，进而根据画像类型判断是Topfield还是Bottom field(S405)，在Top field的情况下，将作为时间标记解码了的t作为tT(S406)，在Bottom field的情况下，将作为时间标记解码了的t作为tB(S407)。在解码时刻信息和设置输出时刻后，对一个画像数据进行解码，取得解码帧或解码半帧(S409)。然后，解码程序将解码画像和输出时刻传送到显示处理(S410)。以下，到编码数据结束为止循环进行从S404到S410的处理(S411)，在对所有的编码数据进行了解码后的时刻，结束解码处理。另外，在编码数据不是立体数据的情况下，也可以不进行S404到S411的处理。或者，也可以置换为其他的处理。
在上述说明中，向各画像附加了时刻信息，但并不只限于一定对每个画像进行指定。对于没有指定时刻信息的画像，从附加了时刻信息的画像的时间参照(在H.264中是POC)和没有附加时刻信息的画像的时间参照之间的关系，根据输入图像的更新率决定时间标记。在利用了本实施例这样的输出定时信息的立体编码的情况下，进而需要对相互对应的2个半帧决定一个输出时刻信息。在该情况下，将立体信息的输出定时作为用于进行输出时刻换算的基准半帧来利用。例如，在基准半帧是Top field的情况下，也可以根据附加了时刻信息tT的Top field的Top POC和没有附加时刻信息的半帧对的Top POC之间的关系计算tT，并将其作为立体图像的输出时刻。进而，也有以下的解码方法，即使用POC那样的画像编号和解码处理部件的帧缓存器进行显示处理。在该情况下，根据由解码处理所规定的帧缓存器的管理法则，以画像编号的顺序，将帧缓存器内的帧存储器的数据输出到显示缓存器(或者放映缓存器)并进行显示处理。这时，由于具有相同的画像编号的2半帧对被记录在同一帧存储器中，所以同时被输出到显示缓存器中。
根据上述那样的本实施例，能够同时输出编码了的立体图像的左右图像。
[实施例2]
作为编码和解码处理的实施例2，说明使用了输出时刻信息的立体图像的编码和解码处理。与实施例1一样，在本实施例中，将计算机的程序处理作为例子，说明编码和解码处理。
在图4中，表示使用了本实施例的输出时刻信息的立体图像的编码处理的流程。与实施例1的使用了输出定时信息的方法的不同点在于：与编码方法是半帧编码还是帧编码无关地，作为同时对2个半帧的对即左眼图像和右眼图像进行输出处理的时刻，而对一个时间标记tFR进行编码。在本实施例中，需要对编码和解码方法中的时刻信息的步骤进行变更，但与实施例1的流程进行比较(图1和图4、图3和图5)可以知道，有处理步骤数比实施例1少的优点。以下，说明与实施例1(图1)的不同点。在本实施例(图4)中，代替实施例1的S311、S313和S321，在判断分支处理(S305)之前实施S309。在S309中，作为两眼图像的时刻信息，编码程序对以帧为单位的时间标记tFR进行编码。具体地说，规定为只在根据立体信息识别出是立体数据的情况下，将时刻信息的画像类型设置为帧，而能够对一个时间标记进行编码。通过该处理，在编码处理中，能够指定用于对时间参照(在H.264中为Top POC和Bottom POC)不同的2个半帧同时进行输出处理的输出时刻。
另外，在图4所示的编码处理中，在分支判断(S305)之前实施输出时刻的编码(S309)，但作为变形例子，可以考虑以下的情况：在各画像的编码(S312、S314、S322)之前分别实施输出时刻信息的编码(S309)。在该情况下，由于在各画像数据之前必然存在时刻信息，所以在解码处理后的显示处理中，构成左右图像的2个半帧的关系更明确。特别地，在如H.264方式那样能够向2个半帧分配同一画像编码(POC值)的方式中，可以规定为在解码处理后，将具有相同的POC值的2个半帧记录到同一帧存储器中。因此，通过向构成左右图像的2个半帧分配相同的POC值，进而向2个半帧分配相同的时刻信息，解码处理部件能够同时将记录在同一帧存储器中的左右图像输出到显示处理部件。进而，在如H.264那样能够向2个半帧分配相同的画像编号(POC值)的方式中，由于通过向构成左右图像的2个半帧分配相同的帧编号，而2个半帧的POC值成为相同的值，所以能够将时刻信息置换考虑为画像数据内的帧编号。在本实施例中，如上述帧编号那样，实质上用于确定输出半帧的时刻的信息也包含在输出时刻信息中。
图5表示了使用了本实施例的输出时刻信息的立体图像的解码处理的流程。与实施例1(图3)一样，如果调用了解码处理开始程序(S401)，则解码程序使动画图像解码装置从输入编码数据的先头部分开始对与序列全体的处理有关的信息进行解码，进行存储器的确保等编码准备(未图示)。这时，参照立体信息(S402)，判断解码图像是否是立体数据(S403)。另外，S403的判断也可以是以下这样的判断：在S402中取得了立体信息的情况下判断为构成立体图像，在S402中没有取得立体信息的情况下判断为不构成立体信息。在不是立体数据的情况下，由于是与实施例1一样的处理，所以省略说明。在是立体数据的情况下，对立体信息进行解码，将由解码了的输出定时信息指定的半帧设置为输出定时基准(S450)。该输出定时如实施例1所说明的那样，作为在对不具有时刻信息的帧(2个半帧的对)的输出时刻进行换算时的基准半帧而利用。接着，解码程序对下一个帧的时刻信息t进行解码(S404)，将作为时间标记解码了的t作为tFR(S456)，同时对画像数据进行解码(S409)。然后，判断解码了的画像是帧还是半帧(S405)，在半帧的情况下，进而同样地在S409中对与上述在S409中解码了的Top field同时输出的半帧进行解码。然后，解码程序将解码帧和输出时刻tFR传送到显示处理(S410)。以下，与实施例一样。如上述那样根据本实施例，能够同时输出编码了的立体图像的左右图像。
另外，与实施例1一样，作为显示处理的具体例子，考虑以下的情况，即将左右图像同时输出到显示缓存器(在输出到显示装置之前保存显示数据的缓存器)、放映缓存器(显示处理用的缓存器)。在H.264方式中，具有相同的POC值的2个半帧被记录在同一帧存储器(解码处理部件内的缓存器)中。因此，在编码处理中，可以向与左右图像对应的2个半帧附加相同的帧编号，使得构成左右图像的2个半帧具有相同的POC值。另外，在图5所示的解码处理中，只在最初的画像的解码(最初的S409)之前实施输出时刻信息的解码和设置(S404，S456)，但在向上述2个半帧分配了相同的时刻信息的情况下，在第2个解码(第2个S409)之前，也实施与该半帧对应的输出时刻信息的解码和设置(S404，S456)。进而，在将上述时刻信息置换为帧编号的情况下，通过将在S409的处理中取得的帧编号置换为时刻信息，来代替S404和S456的处理。
[装置结构]
接着，说明使用输出定时信息、输出时刻信息实施立体图像的编码和解码处理的动画图像编码装置200和动画图像解码装置100的结构。由于已经说明了编码处理和解码处理，所以在此说明构成装置的各处理部件的作用。
图6表示动画图像编码装置200的处理框图。首先，通过数据总线201，将输入立体图像暂时保存到帧存储器211中。在输入设备212中，生成在各实施例中说明了的那样的立体信息以及时刻信息，并通过数据总线204输出到数据多路复用部件214。进而，输入设备212通过数据总线205读入输入立体图像，在将其转换为编码处理部件213的对象图像格式(在此是从图3等的S304所示的左右图像转换为2个半帧)的被编码图像后，通过数据总线202输出到编码处理部件213。在该输入设备的转换处理中包含：进而从输入RGB信号转换为YUV组成信号和将图像转换为适合于编码的噪声少的图像的滤波处理等。编码处理部件213(立体信息附加装置、输出时刻信息附加装置)对输入的被编码图像进行编码，生成视频数据。数据多路复用部件214(立体信息附加装置、输出时刻信息附加装置)对通过数据总线203取得的视频数据、通过数据总线204取得的立体信息和时刻信息等配置数据进行合成，生成编码数据。这样，通过向输入设备和数据多路复用部件追加与立体信息和时刻信息对应的处理功能，能够不变更编码处理部件而对应立体图像的编码。
图7表示动画图像解码装置的处理框图。首先，将通过数据总线101输入到服务器111(输入装置)的编码数据，分离为配置数据和视频数据。然后，将视频数据通过数据总线102传送到解码处理部件112(立体信息取得装置、解码装置、输出装置)，将立体信息和时刻信息通过数据总线104传送到显示设备。解码处理部件112对视频数据进行解码并重放画像，通过数据总线103暂时保存到帧存储器113中(由于解码处理部件112通过通常的循环缓存器管理多个解码图像，所以在解码处理部件的内部也包含解码图像的帧存储器113的情况也很多)。显示设备114使用解码了的立体信息和时刻信息，将通过数据总线105输入的解码画像保存到内部的显示缓存器中，将其转换为与显示装置115的形式对应的显示图像，并通过数据总线106显示在显示装置115上。在该显示设备的转换处理中包含：从YUV组成信号转换为RGB信号和与显示装置115的彩色滤波器等对应的影像整形处理。这样，通过在分析器和显示设备的处理中只变更与立体信息和时刻信息对应的功能，能够不变更解码处理部件而实施立体图像的解码处理。更具体地说，显示设备将左眼图像和右眼图像的解码图像读入到显示缓存器中，将2个图像合成为显示装置的格式。另外，这时在构成上述左右图像的2个半帧具有相同的POC值的情况下，同时将构成左眼图像和右眼图像的解码图像的2个半帧输出到显示缓存器中。另外，另一方面，在不同的定时输出到显示缓存器的情况下，在实际进行显示装置的显示时同时显示左右图像。根据输出定时信息和时刻信息，通过在各实施例中说明了的处理方法，设置合成图像的输出时刻。
[变形例子]
也可以如下这样变形地实施上述实施例。
在上述实施例中，以H.264方式为基础进行了说明，但由于将本发明的输出定时信息和输出时刻信息与视频数据分离地处理，所以其适用范围并不只限于特定的编码方式。另外，在不具备H.264的帧编码、半帧编码、帧/半帧适应编码的任意一个的编码方式和其他具备半帧图像的编码方法的编码方式中，如果是在不同的时刻输出2个半帧的编码方式，则也能够适用本发明。
本实施例的输出定时信息是用于指示在与左右图像对应的2个半帧中，是否在任意的半帧的输出定时同时输出2个半帧的信息。因此，如果是满足该目的的形式，则并不只限于图2的立体信息11的格式。在上述实施例中，将输出定时信息的要素假设为Top field、Bottomfield，但即使在其他的方法中，如果规定了选择的方法，则唯一地知道输出时刻，因此并不只限于此。例如，本发明也包括将识别2个半帧的值(例如POC)的大小作为输出定时信息的要素的方法等。
另外，如果预先决定一个输出定时的要素，则并不必须有输出定时信息。但是，在该情况下，必须通过立体信息的语义来规定预先决定的输出定时的信息。例如，能够作为输出定时的信息来利用POC和与POC对应的输出时刻等。使用图8进行说明。将在S420中解码了的画像保存到帧存储器中(S423)。在将保存在帧存储器中的解码画像输出到显示装置时，根据立体信息判断解码画像是否是立体图像(S403)，在立体数据的情况下，同时将2个半帧输出到显示装置(S421)，在不是立体数据的情况下，作为隔行析像图像，将每个半帧输出到显示装置(S422)。在该情况下，从解码器(帧存储器)输出的立体图像的输出目的地也可以不是显示装置，而是显示设备内的显示缓存器。
在上述实施例中，与画像数据分开地对输出时刻的信息进行编码，但在画像数据内进行编码的情况下，也可以基于第1和第2实施例所示的输出定时信息实现输出时刻的指定处理。但是，在该情况下，由于根据画像数据的画像头来进行编码，所以通常省略时刻信息中的画像类型信息32。另外，通过对在实施例2中说明了的时刻信息进行单纯的编码顺序的替换，也可以作为画像数据进行编码，并且该情况也包含在本发明中。
在上述实施例中，在视频的编码数据内处理时刻信息，但同样也可以是对声音的编码数据和视频的编码数据通用的系统数据的时刻信息。这时，由于即使不明确表示为数据也可以通过立体信息的有无来进行表示，所以可以省略用于对时刻信息进行编码和解码的画像类型。另外，同样可以通过系统数据来处理立体信息。
在上述实施例中，将时刻信息设置为时间标记的形式，但本发明并不受时刻的表示形式的影响，所以其他的时刻表示形式的情况也包含在本发明中。
在图6所示的动画图像编码装置200中，将帧存储器、输入设备以及数据多路复用部件设置为与编码处理部件不同的处理要素，但本发明也包含以下情况，即其一部分包含在编码处理部件中的编码装置也能够实现本发明的编码处理方法。同样，在图7所示的动画图像解码装置100中，将分析器、帧存储器以及显示设备设置为与解码处理部件不同的处理要素，但本发明也包含以下情况，即其一部分包含在解码处理部件中的解码装置也能够实现本发明的解码处理方法。
在实施例2的说明中，将存在立体信息时的时刻信息的画像类型作为帧，但如果能够针对2个半帧将时间标记规定为一个，则并不只限于此。例如，本发明也包含以下的情况，即在画像类型的候补中追加将编码的时间标记的个数规定为一个的“立体”的情况等。
在上述实施例中，表示了在Bottom field之前先对Top field进行编码和解码处理的例子，但由于本发明的特征并不受Top field和Bottom field的编码和解码处理顺序的影响，所以本发明也包含先对Bottom field进行编码和解码处理的情况。另外，在向Top field和Bottom field的任意一个分配了立体图像的左眼图像和右眼图像的情况，也能够适用本发明。因此，该分配并不限定本发明的权利的范围。
在上述实施例中，以隔行析像编码为前提进行了说明，但在不同的时刻对左右眼的图像进行顺序(progressive)编码的情况下，也能够适用本发明。例如，在交替对左右眼的图像进行顺序编码的情况下，左右眼图像的输出时刻是不同的。在该情况下，作为本发明的应用，可以考虑以下的方法：作为输出定时信息将奇数帧和偶数帧的任意一个设置为输出时刻的方法；在时刻信息的画像类型中设置同时输出2个帧的类型的方法等。
在上述实施例中，以左右2眼的立体图像的隔行析像编码为例子进行了说明，但在N眼的情况下也能够适用。同样地，在将N眼图像作为不同的帧进行顺序编码的情况下，也能够适用。在此，N眼图像是指例如不只是左右2眼，而且通过上下2眼也能够进行立体观察的立体图像(在该情况下，由于是上下和左右所以是4眼图像)，或者能够根据角度而进行不同的立体观察的立体图像等。
在该情况下，连续地从解码器将构成N眼图像的解码帧输出到显示缓存器(或者放映缓存器)。因此，解码处理部件和帧存储器需要识别连续的N眼图像的组合。作为该方法的具体例子，有以下的方法：在将画像编号(在H.264方式中是POC)除以N时，将与舍去了其小数点以下的除法值一样的值的帧的组合作为N眼图像。另外，在上述计算中，也可以将从画像编号减去了偏移值(例如任意帧的画像编号)的值除以N。另外，判断构成N眼图像的帧的组合的方法也可以是利用了将上述值作为输入的其他计算的方法，或者利用了由编码方式所确定的基准值等的方法。从能够随机访问的帧开始进行组合的识别。在H.264方式中，能够随机访问的数据单位有2种。一个是具有没有预测参照关系的特别画像类型的画像，根据该画像将POC的计数值复位为0。第2个是使帧存储器的管理进行复位的画像。由于切断了画像间的预测关系，所以可以识别为随机访问画像。另外，如果用编码方式进行规定，则能够根据任意的帧进行组合的识别。另外，例如如果预先决定为左右图像的2个，则可以通过立体信息的存在来规定N的值，但在N的值不固定的编码方式中，也可以考虑根据图2的立体信息11明确地将该值编码为组合识别信息(对应关系信息的例子)的方法。该组合识别信息也与其他立体信息11的要素数据和时刻信息一样，可以通过其他的通信装置进行传送，还可以作为系统数据进行处理。另外，可以通过将上述半帧结构置换为帧结构，来实现帧与构成N眼图像的哪个图像对应的解码处理中的判断，例如可以将该信息保存到与图2(b)所示的立体信息11的半帧结构22对应的部分中。另外，如以上所述，通过在N帧的画像数据之前对相同的时刻信息进行编码，解码器和系统能够识别出是应该将N帧的重放图像作为构成N眼图像的图像连续输出到显示缓存器或放映缓存器并在同一时刻显示的图像。
在上述实施例中，将立体信息、时刻信息、组合识别信息等作为编码数据，但在通过其他通信装置进行传送的情况下，由于编码和解码处理是一样的，所以也包含在本发明中。
但是，用于执行上述一连串处理的动画图像编码程序和动画图像解码程序具有如下的结构。如图9所示，动画图像编码程序241被存储在形成在动画图像编码装置200内的记录介质240中的程序存储区域240a内。另外，如图10所示那样，动画图像解码程序141被存储在形成在动画图像解码装置100内的记录介质140中的程序存储区域140a内。
动画图像编码程序241由以下部分构成：统一地控制动画图像编码处理的主模块241a；对立体信息进行编码并附加到编码数据中的立体信息附加模块241b；对输出定时信息进行编码并附加到编码数据中的输出定时信息附加模块241c。另外，在进行将输出时刻信息附加到编码数据中的处理的情况下，也具备输出时刻信息附加模块241d(未图示)。通过执行这些模块，来进行上述处理。另外，动画图像解码程序141由以下部分构成：统一地控制动画图像解码处理的主模块141a；取得立体信息的立体信息取得模块141b；对各半帧进行解码的解码模块141c；输出解码半帧的输出模块141d。通过执行这些模块，来进行上述处理。另外，在进行取得输出定时信息的处理的情况下，还具备输出定时信息取得模块141e(未图示)，在进行从编码数据中取得输出时刻信息的处理的情况下，还具备输出时刻信息取得模块141f(未图示)。
例如可以通过CD-ROM、DVD-ROM等记录介质、或者半导体存储器，来提供上述动画图像编码程序和动画图像解码程序。另外，也可以经由网络作为重叠在载波中的计算机数据信号，来提供上述动画图像编码程序和动画图像解码程序。
根据本发明，能够根据所取得的立体信息同时输出各画像(帧或半帧)，因此能够同时输出编码了的立体影像的左右图像。

Claims (18)

1.一种动画图像编码方法，构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于包括：
向上述立体信息附加以下这样的信息的步骤，即该信息表示与对上述第1半帧进行了解码后的第1解码半帧和对上述第2半帧进行了解码后的第2解码半帧的任意一个的输出定时一致地同时输出该第1解码半帧和第2解码半帧。
2.一种动画图像解码方法，对编码数据进行解码，该编码数据是构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码方法的特征在于包括：
取得上述立体信息的立体信息取得步骤；
对上述第1半帧和上述第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码步骤；
输出在上述解码步骤中解码了的上述第1解码半帧和上述第2解码半帧的输出步骤，其中
在上述输出步骤中，在上述立体信息取得步骤中取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码半帧和上述第2解码半帧的输出定时有关的信息，与该第1解码半帧和第2解码半帧的任意一个的输出定时一致地同时输出上述第1解码半帧和上述第2解码半帧。
3.根据权利要求2所述的动画图像解码方法，其特征在于：
在上述输出步骤中，在上述立体信息取得步骤中不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码半帧和上述第2解码半帧。
4.一种动画图像编码方法，构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于包括：
向上述立体信息附加以下这样的信息的步骤，即该信息表示与对上述第1帧进行了解码后的第1解码帧和对上述第2帧进行了解码后的第2解码帧的任意一个的输出定时一致地同时输出该第1解码帧和第2解码帧。
5.一种动画图像解码方法，对编码数据进行解码，该编码数据是构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码方法的特征在于包括：
取得上述立体信息的立体信息取得步骤；
对上述第1帧和上述第2帧进行解码，生成第1解码帧和第2解码帧的解码步骤；
输出在上述解码步骤中解码了的上述第1解码帧和第2解码帧的输出步骤，其中
在上述输出步骤中，在上述立体信息取得步骤中取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码帧和上述第2解码帧的输出定时有关的信息，与该第1解码帧和第2解码帧的任意一个的输出定时一致地同时输出上述第1解码帧和上述第2解码帧。
6.根据权利要求5所述的动画图像解码方法，其特征在于：
在上述输出步骤中，在上述立体信息取得步骤中不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码帧和上述第2解码帧。
7.一种动画图像编码装置，构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于包括：
向上述立体信息附加以下这样的信息的装置，即该信息表示与对上述第1半帧进行了解码后的第1解码半帧和对上述第2半帧进行了解码后的第2解码半帧的任意一个的输出定时一致地同时输出该第1解码半帧和第2解码半帧。
8.一种动画图像解码装置，对编码数据进行解码，该编码数据是构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码装置的特征在于包括：
取得上述立体信息的立体信息取得装置；
对上述第1半帧和上述第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码装置；
输出由上述解码装置解码了的上述第1解码半帧和第2解码半帧的输出装置，其中
上述输出装置在通过上述立体信息取得装置取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码半帧和上述第2解码半帧的输出定时有关的信息，与该第1解码半帧和第2解码半帧的任意一个的输出定时一致地同时输出上述第1解码半帧和上述第2解码半帧。
9.根据权利要求8所述的动画图像解码装置，其特征在于：
上述输出装置在由上述立体信息取得装置不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码半帧和上述第2解码半帧。
10.一种动画图像编码装置，构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于包括：
向上述立体信息附加以下这样的信息的装置，即该信息表示与对上述第1帧进行了解码后的第1解码帧和对上述第2帧进行了解码后的第2解码帧的任意一个的输出定时一致地同时输出该第1解码帧和第2解码帧。
11.一种动画图像解码装置，对编码数据进行解码，该编码数据是构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码装置的特征在于包括：
取得上述立体信息的立体信息取得装置；
对上述第1帧和上述第2帧进行解码，生成第1解码帧和第2解码帧的解码装置；
输出由上述解码装置解码了的上述第1解码帧和第2解码帧的输出装置，其中
上述输出装置在通过上述立体信息取得装置取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码帧和上述第2解码帧的输出定时有关的信息，与该第1解码帧和第2解码帧的任意一个的输出定时一致地同时输出上述第1解码帧和上述第2解码帧。
12.根据权利要求11所述的动画图像解码装置，其特征在于：
上述输出装置在通过上述立体信息取得装置不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码帧和上述第2解码帧。
13.一种动画图像编码程序，使计算机执行以下处理：构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于：进而使计算机执行以下处理：
向上述立体信息附加以下这样的信息的处理，即该信息表示与对上述第1半帧进行了解码后的第1解码半帧和对上述第2半帧进行了解码后的第2解码半帧的任意一个的输出定时一致地同时输出该第1解码半帧和第2解码半帧。
14.一种动画图像解码程序，使计算机执行以下处理：对编码数据进行解码，该编码数据是构成将通过隔行扫描得到的第1半帧和第2半帧分别作为左眼图像和右眼图像的立体图像，在对该第1半帧和第2半帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码程序的特征在于：进而使计算机执行以下处理：
取得上述立体信息的立体信息取得处理；
对上述第1半帧和上述第2半帧进行解码，生成第1解码半帧和第2解码半帧的解码处理；
输出通过上述解码处理解码了的上述第1解码半帧和第2解码半帧的输出处理，其中
上述输出处理在通过上述立体信息取得处理取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码半帧和上述第2解码半帧的输出定时有关的信息，与该第1解码半帧和第2解码半帧的任意一个的输出定时一致地同时输出上述第1解码半帧和上述第2解码半帧。
15.根据权利要求14所述的动画图像解码程序，其特征在于：
上述输出处理在通过上述立体信息取得处理不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码半帧和上述第2解码半帧。
16.一种动画图像编码程序，使计算机执行以下的处理：构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息，生成编码数据，其特征在于：使计算机进而执行以下的处理：
向上述立体信息附加以下这样的信息的处理，即该信息表示与对上述第1帧进行了解码后的第1解码帧和对上述第2帧进行了解码后的第2解码帧的任意一个的输出定时一致地同时输出该第1解码帧和第2解码帧。
17.一种动画图像解码程序，对编码数据进行解码，该编码数据是构成将第1帧和该第1帧后面的第2帧分别作为左眼图像和右眼图像的立体图像，在对该第1帧和第2帧进行压缩编码的基础上，附加表示上述立体图像的结构的立体信息而生成的编码数据，该动画图像解码程序的特征在于：使计算机进而执行以下的处理：
取得上述立体信息的立体信息取得处理；
对上述第1帧和上述第2帧进行解码，生成第1解码帧和第2解码帧的解码处理；
输出通过上述解码处理解码了的上述第1解码帧和第2解码帧的输出处理，其中
上述输出处理在通过上述立体信息取得处理取得了上述立体信息的情况下，根据包含在该立体信息中的与上述第1解码帧和上述第2解码帧的输出定时有关的信息，与该第1解码帧和第2解码帧的任意一个的输出定时一致地同时输出上述第1解码帧和上述第2解码帧。
18.根据权利要求17所述的动画图像解码程序，其特征在于：
上述输出处理在通过上述立体信息取得处理不能取得上述立体信息的情况下，在各自的输出定时下输出上述第1解码帧和上述第2解码帧。
CN2005100819748A 2004-07-14 2005-07-14 动画图像解码方法和装置、 动画图像编码方法和装置 Active CN1741619B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004207790 2004-07-14
JP2004207790 2004-07-14
JP2004-207790 2004-07-14
JP2004216384A JP4361435B2 (ja) 2004-07-14 2004-07-23 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
JP2004216384 2004-07-23
JP2004-216384 2004-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2012100849194A Division CN102638691A (zh) 2004-07-14 2005-07-14 动画图像解码方法和装置、动画图像编码方法和装置

Publications (2)

Publication Number Publication Date
CN1741619A true CN1741619A (zh) 2006-03-01
CN1741619B CN1741619B (zh) 2012-05-16

Family

ID=35464100

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2005100819748A Active CN1741619B (zh) 2004-07-14 2005-07-14 动画图像解码方法和装置、 动画图像编码方法和装置
CN2012100849194A Pending CN102638691A (zh) 2004-07-14 2005-07-14 动画图像解码方法和装置、动画图像编码方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2012100849194A Pending CN102638691A (zh) 2004-07-14 2005-07-14 动画图像解码方法和装置、动画图像编码方法和装置

Country Status (6)

Country Link
US (2) US8811471B2 (zh)
EP (2) EP1628485A3 (zh)
JP (1) JP4361435B2 (zh)
KR (1) KR100676099B1 (zh)
CN (2) CN1741619B (zh)
TW (1) TWI277349B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088599A (zh) * 2009-12-02 2011-06-08 索尼公司 图像处理设备和图像处理方法
CN102388616A (zh) * 2009-04-03 2012-03-21 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023917A1 (en) * 2006-08-25 2008-02-28 Enhanced Chip Technology Inc. Method and apparatus for encoding/decoding stereoscopic images/videos
US20090296826A1 (en) * 2007-01-04 2009-12-03 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
SG166796A1 (en) * 2009-01-19 2010-12-29 Panasonic Corp Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit
JP5289386B2 (ja) * 2010-06-10 2013-09-11 Ｎｔｔエレクトロニクス株式会社 映像伝送システム
JP2012034138A (ja) * 2010-07-29 2012-02-16 Toshiba Corp 信号処理装置及び信号処理方法
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
KR101090981B1 (ko) * 2011-05-09 2011-12-08 주식회사 쓰리디누리 3차원 영상신호 처리방법 및 이를 구현하는 휴대형 3차원 디스플레이 장치
JP2012244411A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置
KR20140111039A (ko) * 2012-01-19 2014-09-17 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법 및 화상 부호화 방법
JP5727398B2 (ja) * 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
MX352916B (es) * 2013-10-14 2017-12-14 Ericsson Telefon Ab L M Alineación de conteo de orden de imágenes en video escalable.
US9605373B2 (en) * 2013-11-12 2017-03-28 Dongbu Daewoo Electronics Corporation Water supply valve and water supply valve assembly for wall mounted drum type washing machine
CN113473221B (zh) * 2020-04-27 2023-02-03 海信集团有限公司 一种智能设备、视频播放方法及视频处理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851901A (en) * 1986-09-03 1989-07-25 Kabushiki Kaisha Toshiba Stereoscopic television apparatus
EP0737405B1 (de) * 1993-12-29 1999-02-10 Leica Mikroskopie Systeme AG Verfahren und vorrichtung zur aufzeichnung und wiedergabe von stereoskopischen videobildern
KR0180026B1 (ko) 1994-05-13 1999-05-01 마츠모도 세이야 입체표시방법 및 장치
US6088006A (en) * 1995-12-20 2000-07-11 Olympus Optical Co., Ltd. Stereoscopic image generating system for substantially matching visual range with vergence distance
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP2101495B1 (en) 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
JPH09289655A (ja) * 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
EP1094674B1 (en) * 1996-12-04 2014-04-02 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JPH10243419A (ja) 1997-02-26 1998-09-11 Toshiba Corp 立体視画像符号化・復号化方法及び装置
JP4319268B2 (ja) * 1998-08-07 2009-08-26 富士通株式会社 動画像復号方法及び装置
JP2000092519A (ja) 1998-09-10 2000-03-31 Toshiba Corp 立体画像受信装置及び立体画像表示システム
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CN1254773C (zh) * 2002-05-27 2006-05-03 矽统科技股份有限公司 交错式立体影像的产生装置及方法
JP2004040455A (ja) 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
KR100488804B1 (ko) 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388616A (zh) * 2009-04-03 2012-03-21 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序
CN103220531A (zh) * 2009-04-03 2013-07-24 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序
CN103237218A (zh) * 2009-04-03 2013-08-07 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序
CN103281529A (zh) * 2009-04-03 2013-09-04 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序
CN102388616B (zh) * 2009-04-03 2014-04-09 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法
US9036930B2 (en) 2009-04-03 2015-05-19 Sony Corporation Image signal decoding apparatus and image signal decoding method
CN103237218B (zh) * 2009-04-03 2016-03-23 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序
CN103281529B (zh) * 2009-04-03 2016-05-25 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法
US9426480B2 (en) 2009-04-03 2016-08-23 Sony Corporation Image signal decoding apparatus and image signal decoding method
CN102088599A (zh) * 2009-12-02 2011-06-08 索尼公司 图像处理设备和图像处理方法

Also Published As

Publication number Publication date
TWI277349B (en) 2007-03-21
US8811471B2 (en) 2014-08-19
EP1628485A2 (en) 2006-02-22
EP1628485A3 (en) 2009-07-15
CN1741619B (zh) 2012-05-16
US20060013297A1 (en) 2006-01-19
EP2477410B1 (en) 2018-09-12
CN102638691A (zh) 2012-08-15
TW200607360A (en) 2006-02-16
EP2477410A1 (en) 2012-07-18
JP4361435B2 (ja) 2009-11-11
KR20060050172A (ko) 2006-05-19
JP2006054500A (ja) 2006-02-23
EP2477410B8 (en) 2019-03-06
US20120013717A1 (en) 2012-01-19
KR100676099B1 (ko) 2007-02-02

Similar Documents

Publication Publication Date Title
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
CN1741619A (zh) 动画图像解码方法和装置、 动画图像编码方法和装置
CA2950964C (en) Method and apparatus of candidate generation for single sample mode in video coding
RU2716156C1 (ru) Способ и устройство для составления всенаправленного изображения в выходной формат макета
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
US20180152716A1 (en) Transmitting Apparatus and Method Thereof for Video Processing
KR102548048B1 (ko) 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
CN106878752B (zh) 一种视频编码模式的编解码方法和装置
CN1739304A (zh) 图像数据生成装置和再生该数据的图像数据再生装置
CN1745589A (zh) 用于立体图像的视频滤波
KR20210128442A (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US20160100161A1 (en) Decoder, encoder, decoding method, encoding method, and codec system
CN105103556A (zh) 用于亮度补偿的双向预测的方法和装置
EP2920970A1 (en) Method and apparatus for prediction value derivation in intra coding
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
EP3992911A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7448660B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US20230379499A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR20220147641A (ko) 영상 특징 정보 시그널링을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP2015050584A (ja) 画像符号化装置及びその制御方法
Song et al. Unified depth intra coding for 3D video extension of HEVC
CN105122808B (zh) 三维或多视图视频编码或解码的方法及装置
CN105103543B (zh) 兼容的深度依赖编码方法
CN1784906A (zh) 编码和/或解码画面组的方法
KR20240125601A (ko) 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant