[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI452892B - Image data transmission device, control method and program - Google Patents

Image data transmission device, control method and program Download PDF

Info

Publication number
TWI452892B
TWI452892B TW99118574A TW99118574A TWI452892B TW I452892 B TWI452892 B TW I452892B TW 99118574 A TW99118574 A TW 99118574A TW 99118574 A TW99118574 A TW 99118574A TW I452892 B TWI452892 B TW I452892B
Authority
TW
Taiwan
Prior art keywords
image data
data
information
unit
stereoscopic image
Prior art date
Application number
TW99118574A
Other languages
English (en)
Other versions
TW201119352A (en
Inventor
Ikuo Tsukagoshi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201119352A publication Critical patent/TW201119352A/zh
Application granted granted Critical
Publication of TWI452892B publication Critical patent/TWI452892B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/005Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Stored Programmes (AREA)

Description

影像資料送訊裝置、控制方法及程式
本發明係有關於影像資料送訊裝置、控制方法及程式,尤其是有關於,利用數位介面而將影像資料發送至外部機器的影像資料送訊裝置等。
例如,在專利文獻1中係提出了立體影像資料的使用電視播送電波之傳輸方式。該情況下,含有左眼用影像資料及右眼用影像資料的立體影像資料係被發送,於電視收訊機中,會進行利用兩眼視差的立體影像顯示。
圖64係圖示了,在利用兩眼視差之立體影像顯示時,於螢幕上的物件(物體)的左右像之顯示位置、與該立體像之再生位置的關係。例如,在螢幕上如圖所示,關於左像La往右側偏移而右像Ra往左側偏移而顯示的物件A,由於左右視線是在螢幕面前就交叉,因此該立體像的再生位置是在螢幕面的前方。
又,例如,在螢幕上如圖所示,關於左像Lb及右像Rb是在同一位置而顯示的物件B,由於左右視線是在螢幕面上交叉,因此該立體像的再生位置是在螢幕面上。然後,例如,在螢幕上如圖所示,關於左像Lc往左側偏移而右像Rc往右側偏移而顯示的物件C,由於左右視線是在螢幕面之後才交叉,因此該立體像的再生位置是在螢幕面的後方。
近年來,例如,作為從訊源端機器往接收端機器高速傳輸影像及聲音之資料的通訊介面,係有HDMI(High Definition Multimedia Interface)等介面日益普及。訊源端機器係為例如遊戲機、DVD(Digital Versatile Disc)錄影機、機上盒、其他AV訊源(Audio Visual source)。接收端機器係為例如電視收訊機、投影機、其他的顯示器。例如,非專利文獻1、非專利文獻2中,係記載著HDMI規格之細節。
[先行技術文獻]
[專利文獻]
[專利文獻1]日本特開2005-6114號公報
[非專利文獻]
[非專利文獻1]High-Definition Multimedia Interface Specification Version 1.3a,November 10 2006
[非專利文獻2]High-Definition Multimedia Interface Specification Version 1.4,June 5 2009
例如,考慮將機上盒與電視收訊機(監視器裝置)以HDMI纜線連接,將機上盒所接收到的影像資料,以HDMI的數位介面發送至電視收訊機。此情況下,當以機上盒接收到立體影像資料時,即使電視收訊機是可處理立體影像資料,有時候仍無法將立體影像資料良好地發送至電視收訊機。亦即,機上盒的HDMI送訊部的版本是HDMI1.3或以下的版本時,就是無法處理立體影像資料的情形。
本發明的目的在於,對於立體影像資料透過數位介面之送訊之必要性,能夠良好地對應。
本發明的概念係在於,一種影像資料送訊裝置,其特徵為,具備:數位介面部,係將影像資料發送至外部機器;和狀態變更部,係將上記數位介面部,以所定之時序,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
於本發明中,藉由數位介面部,影像資料會被發送至外部機器。該影像資料係為收訊影像資料或再生影像資料等。例如,收訊影像資料,係從串流伺服器透過網路而被接收。又,例如,收訊影像資料係從播送訊號而被接收。藉由狀態變更部,數位介面部係在所定之時序上,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
所謂所定之時序係為,例如,產生了要把立體影像資料發送至外部機器之必要性的時候。藉此,對於立體影像資料透過數位介面之送訊之必要性,能夠良好地對應。例如,當資料收訊部所接收到的影像資料是立體影像資料,且外部機器是可處理立體影像資料時,數位介面部係從不可處理立體影像資料之狀態,被變更成可處理其之狀態。
例如,數位介面部的狀態變更,係藉由向用來控制數位介面部的數位介面部,安裝更新用之數位介面控制軟體而進行之。例如,該更新用之數位介面控制軟體,係從下載伺服器透過網路介面部下載而取得。又,例如,該更新用之數位介面控制軟體,係從外部記憶體取得。
例如,於數位介面部中,被變更成可處理立體影像資料之狀態,當作為影像資料是發送立體影像資料時,在該影像資料的遮沒期間(例如Vendor Specific InfoFrame),會被插入用來表示這是立體影像資料的識別資訊。
若依據本發明,則數位介面部是在所定之時序上從不可處理立體影像資料之狀態被變更成可處理其之狀態,可良好地對應立體影像資料透過數位介面送訊之必要性。
以下,說明用以實施發明的形態(以下稱作「實施形態」)。此外,說明是按照以下順序進行。
1.實施形態
2.變形例
<1.實施形態>
[立體影像送收訊系統之構成例]
圖1係圖示,作為實施形態的立體影像送收訊系統10的構成例。該立體影像送收訊系統10係具有:播送台100、機上盒(STB:Set Top Box)200、電視收訊機300。
機上盒200及電視收訊機300,係透過HDMI(High Definition Multimedia Interface)纜線400而連接。在機上盒200上設有HDMI端子202。在電視收訊機300上設有HDMI端子302。HDMI纜線400的一端係被連接至機上盒200的HDMI端子202,該HDMI纜線400的另一端係被連接至電視收訊機300的HDMI端子302。
[播送台的說明]
播送台100係將位元串流資料,裝載於載波中而發送。該位元串流資料中係包含有:含左眼影像資料及右眼影像資料的立體影像資料、聲音資料、重疊資訊資料、還含有視差資訊(視差向量)等。此處,重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。
「送訊資料生成部之構成例」
圖2係圖示,於播送台100中,生成上述位元串流資料的送訊資料生成部110之構成例。該構成例,係將視差向量以數值資訊方式發送的例子。該送訊資料生成部110係具有:攝影機111L,111R、視訊畫格化部112、視訊編碼器113、視訊編碼器113、視差向量偵測部114、視差向量編碼器115。又,該送訊資料生成部110係具有麥克風116、音訊編碼器117。再者,該送訊資料生成部110係還具有:字幕圖形產生部118、字幕圖形編碼器119、文字產生部120、文字編碼器121、多工器122。
攝影機111L,係拍攝左眼影像而獲得立體影像顯示所需之左眼影像資料。攝影機111R,係拍攝右眼影像而獲得立體影像顯示所需之右眼影像資料。視訊畫格化部112,係將攝影機111L所得之左眼影像資料及攝影機111R所得之右眼影像資料,加工處理成符合傳輸方式的狀態。
[立體影像資料的傳輸方式例]
此處,作為立體影像資料(3D影像資料)的傳輸方式,係舉出以下第1~第3方式,但亦可為這些以外的方式。此處,如圖3所示,以左眼(L)及右眼(R)的影像資料分別是已決定之解析度、例如1920×1080p的像素格式的影像資料時為例子來說明。
第1傳輸方式,係「Top & Bottom」方式,如圖4(a)所示,是在垂直方向的前半是傳輸左眼影像資料的各掃描線之資料,在垂直方向的後半是傳輸左眼影像資料的各掃描線之資料的方式。此時,由於左眼影像資料及右眼影像資料的掃描線被抽掉了1/2,因此對於原訊號而言垂直解析度係減半。
第2傳輸方式,係「Side By Side」方式,如圖4(b)所示,是在水平方向的前半是傳輸左眼影像資料的像素資料,在水平方向的後半是傳輸右眼影像資料的像素資料的方式。此情況下,左眼影像資料及右眼影像資料,其水平方向的像素資料是分別被抽略了1/2。對原訊號而言,水平解析度係減半。
第3傳輸方式,係「Frame Sequential」方式,如圖4(c)所示,是將左眼影像資料與左眼影像資料按照每一圖場依序切換進行傳輸之方式,回到圖2,視訊編碼器113,係對於已被視訊畫格化部112加工處理過的立體影像資料,施以MPEG4-AVC、MPEG2、VC-1等編碼處理而獲得編碼視訊資料。又,視訊編碼器113,係在後段具備有串流格式化器113a。藉由該串流格式化器113,會生成在酬載部中含有編碼視訊資料的視訊之元素串流。
視差向量偵測部114,係基於左眼影像資料及右眼影像資料,於影像內的所定位置,偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊亦即視差向量。此處,影像內的所定位置係為所有的像素位置、由複數像素所成之各領域的代表位置、或者,重疊資訊、在此係為要將圖形資訊或文字資訊加以重疊之領域的代表位置等。
[視差向量的偵測]
說明視差向量的偵測例。此處說明,相對於左眼影像的右眼影像之視差向量的偵測例。如圖5所示,令左眼影像為偵測影像,右眼影像為參照影像。在此例中,在(xi,yi)及(xj,yj)之位置上的視差向量,會被偵測出來。
以偵測(xi,yi)之位置上的視差向量時為例來說明。此時,在左眼影像中,令(xi,yi)之位置的像素為左上,設定例如8×8或16×16的像素區塊(視差偵測區塊)Bi。然後,於右眼影像中,探索出與像素區塊Bi契合的像素區塊。
此時,在右眼影像中,設定以(xi,yi)之位置為中心的探索範圍,將該探索範圍內的各像素逐一當作注目像素,而逐次設定與上述像素區塊Bi同樣之例如8×8或16×16的比較區塊。在像素區塊Bi與逐次設定之比較區塊之間,求出對應之每一像素的差分絕對值之總和。此處,如圖6所示,令像素區塊Bi的像素值為L(x,y),比較區塊的像素值為R(x,y)時,像素區塊Bi與某個比較區塊之間的差分絕對值之總和,係以Σ∣L(x,y)-R(x,y)∣來表示。
右眼影像中所被設定的探索範圍裡含有n個像素時,最終會求出n個總和S1~Sn,其中最小的總和Smin會被選擇。然後,從獲得該總和Smin的比較區塊可得到左上之像素位置是(xi',yi')。藉此,(xi,yi)之位置上的視差向量,係被偵測為(xi'-xi,yi'-yi)。詳細說明雖然省略,但關於(xj,yj)之位置上的視差向量,也是在左眼影像中,令(xj,yj)之位置的像素為左上,設定例如8×8或16×16的像素區塊Bj,以同樣的處理過程而偵測出來。
圖7(a)係圖示了,被視差向量偵測部114所偵測出來的影像內的所定位置上的視差向量VV之一例。此時係意味著,如圖7(b)所示,於該影像內的所定位置上,若將左眼影像(偵測影像)偏移了視差向量VV的份量,則會與右眼影像(參照影像)重疊。
回到圖2,視差向量編碼器115,係生成含有視差向量偵測部114所測出之視差向量等之視差向量的元素串流。此處,視差向量的元素串流中,含有以下的內容。亦即,ID(ID_Block)、垂直位置資訊(Vertical_Position)、水平位置資訊(Horizontal_Position)、視差向量(View_Vector)是呈1組。然後,該1組係被重複了恰好等於視差偵測區塊之數目的N個份。圖8係圖示了視差向量的傳輸內容。視差向量中係含有垂直方向成分(View_Vector_Vertical)及水平方向成分(View_Vector_Horizontal)。
此外,視差偵測區塊的垂直、水平位置,係為從影像的左上原點、至區塊的左上像素為止的垂直方向、水平方向的偏移值。各視差向量的傳輸時,賦予視差偵測區塊之ID的原因是,為了與被重疊顯示於影像的字幕資訊、圖形資訊、文字資訊等之重疊資訊的模態,保持連結。
例如,如圖9(a)所示,當有A~F的視差偵測區塊存在時,在傳輸內容中,係如圖9(b)所示,含有該視差偵測區塊A~F的ID,和垂直、水平的位置資訊,和視差向量。例如,於圖9(b)中,關於視差偵測區塊A係ID2是表示視差偵測區塊A的ID,(Ha,Va)是表示視差偵測區塊A的垂直、水平之位置資訊,視差向量a是表示視差偵測區塊A的視差向量。
此處,說明將視差向量加以偵測而傳輸的時序。關於該時序,例如,考慮以下的第1~第4例。
於第1例中,係如圖10(a)所示,是同步於圖像的編碼。此時,視差向量係以圖像單位而被傳輸。該圖像單位係為比視差向量傳輸之際還要更細緻的單位。於第2例中,係如圖10(b)所示,是同步於視訊的場景。此時,視差向量係以場景單位而被傳輸。
於第3例中,係如圖10(c)所示,是同步於編碼視訊的I圖像(Intra picture)、或GOP(Group Of Pictures)。於第4例中,係如圖11所示,是同步於被重疊顯示於影像之字幕資訊、圖形資訊、文字資訊等的顯示開始時序。
返回圖2,麥克風116係將攝影機111L,111R所拍攝到的影像所對應之聲音加以偵測,獲得聲音資料。音訊編碼器117,係對麥克風116所得到的聲音資料,施以MPEG-2 Audio AAC等之編碼,生成音訊的元素串流。
字幕‧圖形產生部118,係產生要重疊於影像的字幕資訊或圖形資訊的資料(字幕資料、圖形資料)。字幕資訊係例如為字幕。又,圖形資訊,係例如為標誌(logo)等。該字幕資料及圖形資料,係為點陣圖資料。在該字幕資料及圖形資料中,係被附加有表示影像上之重疊位置的閒置偏移資訊。
該閒置偏移資訊係表示,例如從影像的左上原點、至字幕資訊或圖形資訊之重疊位置的左上像素為止的垂直方向、水平方向的偏移值。此外,將字幕資料以點陣圖資料方式傳輸的規格,係在歐洲的數位播送規格亦即DVB中,被規格化成DVB_Subtitling而運用。
字幕‧圖形編碼器119,係將字幕‧圖形產生部118所產生的字幕資訊或圖形資訊的資料(字幕資料、圖形資料),予以輸入。然後,該字幕‧圖形編碼器119,係生成將這些資料包含在酬載部中的元素串流。
文字產生部120,係產生要重疊於影像的文字資訊的資料(文字資料)。文字資訊係為例如電子節目表、文字播送內容等。該文字資料中,係和上述圖形資料同樣地,被附加有表示影像上之重疊位置的閒置偏移資訊。該閒置偏移資訊係表示,例如從影像的左上原點、至文字資訊之重疊位置的左上像素為止的垂直方向、水平方向的偏移值。此外,作為將文字資料予以傳輸的例子,係有作為節目預錄用而運用的EPG、美國的數位地表波規格ATSC的CC_data(Closed Caption)。
文字編碼器121,係將文字產生部120所產生的文字資料,予以輸入。然後,文字編碼器121係生成將這些資料包含在酬載部中的元素串流。
多工器122,係將從編碼器113,115,117,119,121所輸出的已被封包化的元素串流,予以多工化。然後,該多工器122,係將作為傳輸資料的位元串流資料(傳輸串流)BSD,予以輸出。
簡單說明圖2所示的送訊資料生成部110之動作。在攝影機111L中,係拍攝左眼影像。該攝影機111L所獲得之立體影像顯示所需之左眼影像資料,係被供給至視訊畫格化部112。又,在攝影機111R中,係拍攝右眼影像。該攝影機111R所獲得之立體影像顯示所需之右眼影像資料,係被供給至視訊畫格化部112。在視訊畫格化部112中,左眼影像資料及右眼影像資料,係被加工處理成符合傳輸方式的狀態,獲得立體影像資料(參照圖4(a)~(c))。
視訊畫格化部112所獲得之立體影像資料,係被供給至視訊編碼器113。在此視訊編碼器113中,係對立體影像資料施以MPEG4-AVC、MPEG2、VC-1等之編碼,生成含有編碼視訊資料的視訊元素串流。該視訊元素串流係被供給至多工器122。
又,攝影機111L,111R所得到之左眼影像資料、右眼影像資料,係通過視訊畫格化部112,而被供給至視差向量偵測部114。在該視差向量偵測部114中,係基於左眼影像資料及右眼影像資料,於影像內的所定位置,設定視差偵測區塊,偵測出相對於左眼影像及右眼影像之一方的另一方之視差資訊亦即視差向量。
已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量,係被供給至視差向量編碼器115。此時,視差偵測區塊的ID、視差偵測區塊的垂直位置資訊、視差偵測區塊的水平位置資訊、視差向量,是呈1組而被交付。在視差向量編碼器115中,係生成含有視差向量之傳輸內容(參照圖8)的視差向量元素串流。該視差向量元素串流係被供給至多工器122。
又,在麥克風116中,係偵測出攝影機111L,111R所拍攝到的影像所對應之聲音。該麥克風116所獲得之聲音資料,係被供給至音訊編碼器117。在此音訊編碼器117中,係對聲音資料,施以MPEG-2 Audio AAC等之編碼,生成含有編碼音訊資料的音訊元素串流。該音訊元素串流係被供給至多工器122。
又,在字幕‧圖形產生部118中,係產生要重疊於影像的字幕資訊或圖形資訊的資料(字幕資料、圖形資料)。該資料(點陣圖資料),係被供給至字幕‧圖形編碼器119。在該字幕.圖形資料中,係被附加有表示影像上之重疊位置的閒置偏移資訊。在字幕‧圖形編碼器119中,係對該圖形資料施以所定之編碼,生成含有編碼資料的元素串流。該元素串流係被供給至多工器122。
又,在文字產生部120中,係產生要重疊於影像的文字資訊的資料(文字資料)。該文字資料,係被供給至文字編碼器121。該文字資料中,係和上述圖形資料同樣地,被附加有表示影像上之重疊位置的閒置偏移資訊。在文字編碼器121中,係對該文字資料施以所定之編碼,生成含有編碼資料的元素串流。該元素串流係被供給至多工器122。
在多工器122中,從各編碼器所供給之元素串流的封包係被多工化,獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
圖12係圖示,圖2所示的送訊資料生成部110中被多工化的各資料的串流例。此外,該例子係展示了,視差向量是以視訊的場景單位而被偵測並傳輸的情形(參照圖10(b))。此外,各串流的封包中係被附加有同步顯示用的時間戳記,在收訊側係可對於影像,控制字幕資訊、圖形資訊、文字資訊等的重疊時序。
「送訊資料生成部之其他構成例」
此外,上述圖2所示的送訊資料生成部110係構成為,將視差向量的傳輸內容(參照圖8)以獨立的元素串流之方式而傳輸至收訊側。可是,也可考慮將視差向量的傳輸內容嵌入至其他的串流中而傳輸。例如,視差向量的傳輸內容,係可被當成使用者資料而嵌入至串流中而傳輸。又,例如,視差向量的傳輸內容,係被嵌入至字幕、圖形、或文字的串流中而傳輸。
圖13係圖示了送訊資料生成部110A的構成例。該例子也是,係將視差向量以數值資訊方式發送的例子。該送訊資料生成部110A係構成為,將視差向量的傳輸內容,當作使用者資料而嵌入至視訊的串流中而傳輸。於此圖13中,和圖2對應的部分係標示同一符號,並省略其詳細說明。
於該送訊資料生成部110A中,已被視差向量偵測114所偵測的影像內的所定位置上的視差向量,係被供給至視訊編碼器113內的串流格式化器113a。此時,視差偵測區塊的ID、視差偵測區塊的垂直位置資訊、視差偵測區塊的水平位置資訊、視差向量,是呈1組而被交付。在串流格式化器113a中,視差向量的傳輸內容(參照圖8)是被當成使用者資料而嵌入至視訊的串流中。
詳細說明雖然省略,但該圖13所示的送訊資料生成部110A的其他部分,係和圖2所示的送訊資料生成部110同樣構成,同樣動作。
「送訊資料生成部之其他構成例」
又,上述圖2所示的送訊資料生成部110及上述圖13所示的送訊資料生成部110A,係將視差向量當作數值資訊而發送(參照圖8)。可是,不將視差向量以數值資訊方式傳輸,在用來重疊至影像所需之重疊資訊(例如字幕資訊、圖形資訊、文字資訊等)之資料上,送訊側預先反映出視差資訊而發送。
例如,在圖形資訊的資料上反映時,在送訊側會生成,對應於應重疊至左眼影像之左眼圖形資訊和應重疊至右眼影像之右眼圖形資訊雙方的圖形資料。此時,左眼圖形資訊及右眼圖形資訊,係為相同的圖形資訊。可是,影像內的顯示位置係為,例如,相對於左眼圖形資訊,右眼圖形資訊是往水平方向偏移了,對應於該顯示位置之視差向量的水平方向成分。
例如,作為視差向量,係使用在影像內複數位置所偵測到的視差向量當中,對應於該重疊位置者。又,例如,作為視差向量,係使用在影像內複數位置所偵測到的視差向量當中,遠近感被辨識為最近之位置的視差向量。此外,雖然省略詳細說明,但在字幕資訊或圖形資訊的資料上反映出視差資訊時,也同樣如此。
圖14(a)係圖示了,傳輸方式是上述第1傳輸方式(「Top & Bottom」方式)時,左眼圖形資訊及右眼圖形資訊的重疊位置。這些左眼圖形資訊及右眼圖形資訊係為相同的資訊。只不過,相對於被重疊於左眼影像IL上的左眼圖形資訊LGI,被重疊於右眼影像IR上的右眼圖形資訊RGI,係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。
對各影像IL,IR,係如圖14(a)所示,以使各圖形資訊LGI,RGI被重疊的方式,生成圖形資料。藉此,視聽者係如圖14(b)所示,可將各影像IL,IR,連同各圖形資訊LGI,RGI,都帶有視差而觀察,對於圖形資訊也可認知到遠近感。
例如,各圖形資訊LGI,RGI的圖形資料,係如圖15(a)所示,是被生成為單一領域的資料。此時,各圖形資訊LGI,RGI以外之部分的資料,係被生成為透明資料即可。又,例如,各圖形資訊LGI,RGI的圖形資料,係如圖15(b)所示,是被生成為別的領域的資料。
圖16(a)係圖示了,傳輸方式是上述第2傳輸方式(「Side By Side」方式)時,左眼圖形資訊及右眼圖形資訊的重疊位置。這些左眼圖形資訊及右眼圖形資訊係為相同的資訊。只不過,相對於被重疊於左眼影像IL上的左眼圖形資訊LGI,被重疊於右眼影像IR上的右眼圖形資訊RGI,係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。此外,IT係為閒置偏移值。
對各影像IL,IR,係如圖16(a)所示,以使各圖形資訊LGI,RGI被重疊的方式,生成圖形資料。藉此,視聽者係如圖16(b)所示,可將各影像IL,IR,連同各圖形資訊LGI,RGI,都帶有視差而觀察,對於圖形資訊也可認知到遠近感。
例如,各圖形資訊LGI,RGI的圖形資料,係如圖17所示,是被生成為單一領域的資料。此時,各圖形資訊LGI,RGI以外之部分的資料,係被生成為透明資料即可。
圖18係圖示了送訊資料生成部110B的構成例。該送訊資料生成部110B係構成為,在字幕資訊、圖形資訊、文字資訊之資料上反映出視差資訊而發送。於此圖18中,和圖2對應的部分係標示同一符號,並省略其詳細說明。
在該送訊資料生成部110B中,係在字幕‧圖形產生部118和字幕‧圖形編碼器119之間,插入有字幕‧圖形處理部124。又,在該送訊資料生成部110B中,係在文字產生部120與文字編碼器121之間,插入有文字處理部125。然後,已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量,係被供給至字幕‧圖形處理部124及文字處理部125。
在字幕‧圖形處理部124中係生成,要被重疊於左眼影像IL、右眼影像IR的左眼、右眼之字幕或圖形的資訊LGI,RGI之資料。此時,是基於字幕‧圖形產生部118所產生的字幕資料或圖形資料而產生之。左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是,影像內的重疊位置係為,例如,相對於左眼的字幕資訊或圖形資訊,右眼的字幕資訊或圖形資訊是往水平方向偏移了,視差向量的水平方向成分VVT(參照圖14(a)、圖16(a))。
如此,已被字幕‧圖形處理部124所生成的字幕資料或圖形資料,係被供給至字幕‧圖形編碼器119。此外,在該字幕資料或圖形資料中,係被附加有表示影像上之重疊位置的閒置偏移資訊。在字幕‧圖形編碼器119中係生成,字幕‧圖形處理部124所生成之字幕資料或圖形資料的元素串流。
又,在文字處理部125中,係基於文字產生部120所產生的文字資料,而生成要被重疊於左眼影像上的左眼文字資訊之資料及要被重疊於右眼影像上的右眼文字資訊之資料。此情況下,雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊,但右眼文字資訊,其在影像內的重疊位置係為,例如,相對於左眼文字資訊,是往水平方向偏移了視差向量之水平方向成分VVT。
如此,已被文字處理部125所生成的文字資料,係被供給至文字編碼器121。此外,該文字資料中,係被附加有表示影像上之重疊位置的閒置偏移資訊。在文字編碼器121中係生成,文字處理部所生成之文字資料的元素串流。
詳細說明雖然省略,但該圖18所示的送訊資料生成部110B的其他部分,係和圖2所示的送訊資料生成部110同樣構成,同樣動作。
「送訊資料生成部之其他構成例」
此外,上述圖2所示的送訊資料生成部110係構成為,將基於已被視差向量偵測部114所偵測到的視差向量的傳輸內容(參照圖8),不一一對應於重疊資訊資料,直接傳輸至收訊側。可是,亦可考慮將與每一重疊資訊資料建立對應的視差資訊,加以傳輸。
圖19係圖示了送訊資料生成部110C的構成例。該送訊資料生成部110C係構成為,將與每一重疊資訊資料建立對應的視差資訊,加以傳輸。於此圖19中,和圖2對應的部分係標示同一符號,並省略其詳細說明。該送訊資料生成部110C,係具有:控制器126、CC(Closed Caption)編碼器127、Z資料部128。
CC編碼器127,係為依據CEA-708規格的編碼器,將隱藏式字幕之字幕顯示所需的CC資料(隱藏式字幕資訊的資料),予以輸出。控制器126,係控制該CC編碼器127。例如,從控制器126往CC編碼器127係給予著「Region_ID(WindowID)」、「Location(AnchorID)」、「Region大小(SetPenAttribute)」之資訊組。
此處,「Location(AnchorID)」之資訊,係如圖20所示,是表示被「Region_ID(WindowID)」所識別的隱藏式字幕的字幕顯示,是要顯示於影像(Picture)的哪個位置上。又,「Region大小(SetPenAttribute)」之資訊,係如圖20所示,是表示被「Region_ID(WindowID)」所識別的隱藏式字幕進行字幕顯示之領域的大小。
Z資料部128,係將與每一重疊資訊資料建立對應的視差資訊(視差向量),加以輸出。亦即,該Z資料部128,關於隱藏式字幕資訊,係輸出已經與從CC編碼器127所輸出的CC資料中所含的每一WindowID建立對應的視差資訊。又,該Z資料部128,係即使關於字幕資訊、圖形資訊、文字資訊等之重疊資訊,也是輸出已經與每一重疊資訊資料建立對應的視差資訊。
圖21係圖示了Z資料部128的構成例。Z資料部128,係就控制器126所指定的每一Region_id,輸出視差資訊。此處,說明Region_id。該Region_id,係為用來進行隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之各重疊資訊與視差資訊之對應關連所需的識別元。
例如,Region_id的0~7,係為了識別CEA-708規定之CC資料的Window0~7所對應之視差資訊,而被指派。又,Region_id的8~15,是被預留給將來擴充用。又,Region_id的16以後,係為了識別隱藏式字幕資訊以外的其他重疊資訊(字幕資訊、圖形資訊、文字資訊等)所對應之視差資訊而被指派。
此外,字幕‧圖形產生部118所產生的字幕資料或圖形資料、及文字產生部120所產生的文字資料中,係被賦予上述Region_id所對應之識別元。此處,所謂對應於Region_id的識別元,係意味著和該Region_id相同的識別元,或意味著與該Region_id建立關連的識別元。藉此,在收訊側,字幕資訊、圖形資訊、文字資訊的各重疊資訊,和應對該重疊資訊使用的視差資訊之對應關連,是可進行的。
Z資料部128,係如上述就每一Region_id,輸出視差資訊。Z資料部128,例如,係藉由基於使用者操作而切換控制控制器126,就可將決定視差向量或設定視差向量,當作視差資訊而選擇性地輸出。決定視差向量,係基於視差向量偵測部114所偵測到的複數個視差向量而被決定的視差向量。設定視差向量係為,例如,藉由所定之程式處理、或使用者手動操作而被設定的視差向量。
首先說明,將決定視差向量當成視差資訊而輸出之情形。此時,關連於隱藏式字幕資訊,從控制器126往Z資料部128,係供給著上述「Region_ID(WindowID)」、「Location(AnchorID)」、「Region大小(SetPenAttribute)」的資訊組。又,關連於字幕資訊、圖形資訊、文字資訊等之各重疊資訊,從控制器126往Z資料部128,係供給著「Region_ID」、「Location」、「Region大小」的資訊組。
又,從視差向量偵測部114往Z資料部114,係輸入著複數個,此處係為N個視差向量Dv0~DvN。該N個視差向量Dv0~DvN,係於視差向量偵測部114中,基於左眼影像資料及右眼影像資料,而在影像內的N個位置上所被偵測出來的視差向量。
Z資料部128,係就每一Region_id,從N個視差向量Dv0~DvN,抽出被「Location」及「Region大小」之資訊所決定的重疊資訊的顯示領域所關連之視差向量。例如,當作為關連於顯示領域的視差向量,是存在有偵測位置是在顯示領域內的一或複數個視差向量時,則該視差向量係被選擇。又,例如,當作為關連於顯示領域的視差向量,不存在有偵測位置是在顯示領域內的一或複數個視差向量時,則位於顯示領域附近的一或複數個視差向量係被選擇。在圖示的例子中,作為關連於顯示領域的視差向量,係選擇了Dv2~Dvn。
然後,Z資料部128,係從關連於顯示領域的視差向量,選擇出例如帶符號之值為最大者,當作決定視差向量DzD。如上述,視差向量係由垂直方向成分(View_Vector_Vertical)與水平方向成分(View_Vector_Horizontal)所成,但此處作為帶符號之值,係僅使用例如水平方向成分的值。於收訊側,將要重疊於左眼影像及右眼影像上的隱藏式字幕資訊等之重疊資訊,基於視差資訊而進行水平方向上的偏移處理,因此水平方向成分是很重要的。
此外,如上述,就每一Region_id而被決定的決定視差向量DzD,對應於隱藏式字幕資訊以外的其他重疊資訊者,係藉由控制器126之控制,而被附加用來表示重疊位置的資訊和用來表示顯示時間的資訊。用來表示重疊位置的資訊係為例,例如,垂直方向位置資訊(Vertical_Position)及水平方向位置資訊(Horizontal Position)。又,用來表示顯示時間的資訊係為,例如,對應於顯示持續時間的畫格數資訊(Duration_Counter)。在隱藏式字幕資訊的情況下,由於CC資料內含有重疊位置及顯示時間的控制資料,因此這些資訊不需要另行發送。
接著說明,將設定視差向量當成視差資訊而輸出之情形。此情況下,控制器126係藉由所定之程式處理、或使用者手動操作,而設定每一Region_id的視差向量。例如,隨應於重疊資訊的重疊位置而設定不同的視差向量,或是不論重疊位置為何均設定共通的視差資訊,或是按照重疊資訊的種類別而設定不同的視差資訊。Z資料部128,係將如此所被設定的每一Region_id的視差向量,視作設定視差向量DzD'。此處,所謂重疊資訊的種類係有,例如,隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等之種類。又,該所謂重疊資訊之種類,係例如依照重疊位置或重疊持續時間等而被區分的種類。
此外,藉由控制器126而對每一Region_id所設定的視差向量,實質上只要將水平方向成分加以設定即可。這是因為,如上述,於收訊側,將要重疊於左眼影像及右眼影像上的隱藏式字幕資訊等之重疊資訊,基於視差資訊而進行水平方向上的偏移處理,因此水平方向成分是很重要的。又,該設定視差向量DzD',也是和上述決定視差向量DzD同樣地,對應於隱藏式字幕資訊以外的其他重疊資訊者,係藉由控制器126之控制,而被附加用來表示重疊位置的資訊和用來表示顯示時間的資訊。
返回圖19,從CC編碼器127所輸出的CC資料及從Z資料部128所輸出的視差資訊(DzD/DzD',因應需要而含有重疊位置資訊、顯示時間資訊),係被發送至視訊編碼器113的串流格式化器113a。在串流格式化器113a中,CC資料及視差資訊係被當成使用者資料而嵌入至視訊元素串流。
圖22係概略圖示視訊元素串流(Video Elementary Stream)之構造例。在視訊元素串流中,在開頭係配置有,含有序列單位之參數的序列標頭部。接續於該序列標頭部,配置有含圖像單位之參數及使用者資料的圖像標頭。接續於該圖像標頭部,配置有含圖像資料的酬載部。以下,圖像標頭部及酬載部係被反覆配置。
如上述,CC資料及視差資訊,係被嵌入至圖像標頭部的使用者資料領域。圖23係圖示了使用者資料的構成例。圖23(a)係圖示了,當編碼方式是MPEG2時的使用者資料之構成。圖23(b)係圖示了,當編碼方式是H.264 AVC(MPEG4-AVC)時的使用者資料之構成。再者,圖23(c)係圖示了,當編碼方式是VC-1時的使用者資料之構成。
雖然省略詳細說明,但各方是的使用者資料之構成係幾乎是同樣的構成。亦即,最初係配置表示使用者資料之開始的碼,其後配置表示資料種類的識別元「user_identifier」,而其後再配置資料本體「user_structure」。
圖24係圖示了「user_structure」的構成例。「Data_Length」係表示該「user_structure」的資料大小。「Page_id」係有時候是作為資料群組ID而被利用於字幕語言識別,但因為是對應於字幕資料之模態,所以是識別該「user_structure」之分頁的識別元。「Number_of_ViewBlocks N」係表示在該「user_structure」中含有N個Region_id的視差資訊等。
「ID_Block(i)」係表示Region_id(i)。「2D_object_posion_flag」係一旗標,用來表示是否參照被當作ID_Block(i)而含有之重疊位置資訊(2D用重疊資訊的顯示位置之資訊)。若該旗標豎起時,則表示要參照該重疊位置資訊。此時,作為ID_Block(i)之資訊,係含有重疊位置資訊(「Vertical_Position」、「Horizontal_Position」)。「Vertical_Position」,係表示2D用重疊資訊的垂直方向位置。「Horizontal_Position」,係表示2D用重疊資訊的水平方向位置。
從上述CC編碼器127所輸出的CC資料內,含有重疊位置的控制資料。因此,例如,當ID_Block(i)是對應於隱藏式字幕資訊時,「2D_object_posion_flag」就不會豎起。然後,作為ID_Block(i)的資訊,就不含有重疊位置資訊(「Vertical_Position」、「Horizontal_Position」)。
「3D_disparity_flag」係表示,作為ID_Block(i)之資訊,是否含有視差資訊(視差向量)。若該旗標豎起時,則表示含有視差資訊。「View_Vector_Vertical」係表示視差向量的垂直方向成分。「View_Vector_Horizontal」係表示視差向量的水平方向成分。此外,在此例子中,是含有「View_Vector_Vertical」及「View_Vector_Horizontal」雙方。可是,當僅使用水平方向成分時,則亦可僅含有「View_Vector_Horizontal」。
「Status_Count_flag」係一旗標,用來表示作為ID_Block(i)之資訊,是否參照重疊資訊的顯示時間資訊。若該旗標豎起時,則表示要參照顯示時間資訊。此時,作為ID_Block(i)之資訊,係含有例如,表示對應於顯示持續時間之畫格數的資訊「Duration_Counter」。於收訊側中,重疊資訊的顯示係被系統層的時間戳記所開始,但該顯示持續時間所對應之畫格數經過後,重疊資訊之顯示(包含視差資訊所致之效果)就被重置。藉此,就不需要將相同的資訊每圖像地重複發送。
從上述CC編碼器127所輸出的CC資料內,含有顯示時間的控制資料。因此,例如,當ID_Block(i)是對應於隱藏式字幕資訊時,「Status_Count_flag」就不會豎起,作為ID_Block(i)之資訊就不會含有資訊「Duration_Counter」。
詳細說明雖然省略,但該圖19所示的送訊資料生成部110C的其他部分,係和圖2所示的送訊資料生成部110同樣構成,同樣動作。
「送訊資料生成部之其他構成例」
圖19所示的送訊資料生成部110C,係將來自Z資料部128的視差資訊,當作使用者資料而嵌入至視訊元素串流中而傳輸。可是,亦可考慮將該來自Z資料部128的視差資訊,以獨立的元素串流之方式,傳輸給收訊側。
圖25係圖示了送訊資料生成部110D的構成例。於此圖25中,和圖19對應的部分係標示同一符號,並省略其詳細說明。該送訊資料生成部110D係具有視差資訊編碼器129。從Z資料部128所輸出的每一Region_id的視差資訊(DzD/DzD',因應需要而含有位置資訊、時間資訊),係被送往視差資訊編碼器129。
在該視差資訊編碼器129中,係生成含視差資訊的視差資訊元素串流。該視差資訊元素串流係被供給至多工器122。然後,在多工器122中,含視差資訊編碼器129的從各編碼器所供給之元素串流的封包係被多工化,獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
詳細說明雖然省略,但該圖25所示的送訊資料生成部110D的其他部分,係和圖19所示的送訊資料生成部110同樣構成,同樣動作。
「送訊資料生成部之其他構成例」
圖18所示的送訊資料生成部110B,係將字幕資訊、圖形資訊及文字資訊當作重疊資訊而處理。考慮用和該圖18所示之送訊資料生成部110B同樣的構成,而且還能處理隱藏式字幕資訊之構成。
圖26係圖示了送訊資料生成部110E的構成例。此例係不將視差向量以數值資訊方式傳輸,而是改為,在用來重疊於影像所需之重疊資訊(例如隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料上,反映出視差資訊而傳輸之構成。於此圖26中,與圖18及圖19相對應的部分係標示同一符號,並省略其詳細說明。
於該圖26的送訊資料生成部中,在CC編碼器127和串流格式化器113a之間,插入有CC資料處理部130。然後,已被視差向量偵測部114所偵測到的影像內的所定位置上的視差向量,係被供給至CC資料處理部130。
在CC資料處理部130中,係基於CC編碼器127所產生的CC資料,而生成要重疊於左眼影像上的左眼隱藏式字幕資訊之資料及要重疊於右眼影像上的右眼隱藏式字幕資訊之資料。此時,左眼隱藏式字幕資訊及右眼隱藏式字幕資訊係為相同的資訊。可是,右眼隱藏式字幕資訊,其在影像內的重疊位置係為,例如,相對於左眼隱藏式字幕資訊,是往水平方向偏移了視差向量之水平方向成分VVT。
如此被CC資料處理部130所處理後的CC資料,係被供給至視訊編碼器113的串流格式化器113a。在串流格式化器113a中,來自CC資料處理部130的CC資料係被當成使用者資料而嵌入至視訊元素串流。
詳細說明雖然省略,但該圖26所示的送訊資料生成部110E的其他部分,係和圖18所示的送訊資料生成部110B同樣構成,同樣動作。
[機上盒的說明]
返回圖1,機上盒200,係將從播送台100裝載於載波而發送過來的位元串流資料(傳輸串流),加以接收。該位元串流資料中係包含有:含左眼影像資料及右眼影像資料的立體影像資料、聲音資料、重疊資訊資料、還含有視差資訊(視差向量)。此處,重疊資訊資料係為,例如隱藏式字幕資料、字幕資料、圖形資料、文字資料等。
機上盒200,係具有位元串流處理部201。該位元串流處理部201,係從位元串流資料,抽出立體影像資料、聲音資料、重疊資訊資料、視差向量等。該位元串流處理部201,係使用立體影像資料、重疊資訊資料(字幕資料、圖形資料、文字資料、CC(Closed Caption)資料))等,而生成已被重疊有重疊資訊的左眼影像及右眼影像之資料。
此處,當視差向量是以數值資訊的方式而被發送過來時,基於視差向量和重疊資訊資料,而生成分別要重疊於左眼影像、右眼影像的左眼重疊資訊、右眼重疊資訊。此時,左眼重疊資訊及右眼重疊資訊係為相同的重疊資訊。可是,右眼重疊資訊,其在影像內的重疊位置係為,例如,相對於左眼重疊資訊,是往水平方向偏移了視差向量之水平方向成分。
圖27(a)係圖示了,傳輸方式是上述第2傳輸方式(「Side By Side」方式)時,左眼圖形資訊及右眼圖形資訊的重疊位置。相對於被重疊於左眼影像IL上的左眼圖形資訊LGI,被重疊於右眼影像IR上的右眼圖形資訊RGI,係為往水平方向偏移了視差向量之水平方向成分VVT後的位置。此外,IT係為閒置偏移值。
在位元串流處理部201中,係對各影像IL,IR係有各圖形資訊LGI,RGI如圖27(a)所示重疊,而生成圖形資料。位元串流處理部201,係對於從位元串流資料所抽出的立體影像資料(左眼影像資料、右眼影像資料),將已被生成的左眼圖形資料、右眼圖形資料加以合成,取得處理後的立體影像資料。若依據該立體影像資料,則視聽者係如圖27(b)所示,可將各影像IL,IR,連同各圖形資訊LGI,RGI,都帶有視差而觀察,對於圖形資訊也可認知到遠近感。
此外,圖28(a)係圖示了,對各影像IL,IR,直接重疊了從位元串流資料所抽出的圖形資料所致之圖形影像之狀態。此情況下,視聽者係如圖28(b)所示,連同左眼影像IL而觀察到圖形資訊的左半部分,連同右眼影像IR而觀察到圖形資訊的右半部分。因此,無法正確地辨識圖形資訊。
雖然圖27係圖示了圖形資訊的情形,但關於其他的重疊資訊(隱藏式字幕資訊、字幕資訊、文字資訊等)也同樣如此。亦即,當視差向量是以數值資訊的方式而被發送過來時,基於視差向量和重疊資訊資料,而生成分別要重疊於左眼影像、右眼影像的左眼重疊資訊、右眼重疊資訊。此時,左眼重疊資訊及右眼重疊資訊係為相同的重疊資訊。可是,右眼重疊資訊,其在影像內的重疊位置係為,例如,相對於左眼重疊資訊,是往水平方向偏移了視差向量之水平方向成分。
此處,作為在左眼重疊資訊與右眼重疊資訊之間給予視差用的視差向量,係考慮使用以下的視差向量。例如,作為視差向量,考慮使用在影像內複數位置所偵測到的視差向量當中,遠近感被辨識為最近之位置的視差向量。圖29(a),(b),(c),(d)係分別圖示了,在時刻T0,T1,T2,T3上的3個物件位置的視差向量(View Vector)。
在時刻T0上,物件1所對應之位置(H0,V0)中的視差向量VV0-1,係為最大的視差向量MaxVV(T0)。在時刻T1上,物件1所對應之位置(H1,V1)中的視差向量VV1-1,係為最大的視差向量MaxVV(T1)。在時刻T2上,物件2所對應之位置(H2,V2)中的視差向量VV2-2,係為最大的視差向量MaxVV(T2)。在時刻T3上,物件1所對應之位置(H3,V3)中的視差向量VV3-0,係為最大的視差向量MaxVV(T3)。
如此,作為視差向量,是使用在影像內複數位置所偵測到的視差向量當中,遠近感被辨識為最近之位置的視差向量,藉此,就可將重疊資訊,顯示在比遠近感上感覺最近之影像內物體還要前方。
圖30(a)係圖示了,影像上的字幕(例如隱藏式字幕資訊、字幕資訊)的顯示例。在該顯示例中係為,在背景與近景物件所成之影像上,重疊有字幕的例子。圖30(b)係圖示了背景、近景物件、字幕的遠近感,表示了字幕是被辨識成位於最前方的樣子。
圖31(a)係和圖30(a)同樣地圖示了,影像上的字幕(例如隱藏式字幕資訊、字幕資訊)的顯示例。圖31(b)係圖示了,字幕顯示所需的左眼字幕資訊LGI、和右眼字幕資訊RGI。圖31(c)係圖示了,為了使字幕被辨識成最近前方,而對各字幕資訊LGI、RGI賦予視差的樣子。
又,作為視差向量,係考慮使用在影像內複數位置所偵測到的視差向量當中,對應於該重疊位置者。圖32(a)係圖示了,從位元串流資料所抽出的圖形資料所致之圖形資訊,和從位元串流資料所抽出的文字資料所致之文字資訊。
圖32(b)係圖示了,在左眼影像上,重疊有左眼圖形資訊LGI及左眼文字資訊LTI的狀態。此時,左眼圖形資訊LGI,其重疊位置是在水平方向上被閒置偏移值(IT-0)所限制。又,左眼文字資訊LTI,其重疊位置是在水平方向上被閒置偏移值(IT-1)所限制。
圖32(c)係圖示了,在右眼影像上,重疊有右眼圖形資訊RGI及右眼文字資訊RTI的狀態。此時,右眼圖形資訊RGI,其重疊位置是在水平方向上被閒置偏移值(IT-0)所限制,而且還從左眼圖形資訊LGI的重疊位置起,偏移了該重疊位置所對應之視差向量之水平方向成分VVT-0。又,右眼文字資訊RTI,其重疊位置是在水平方向上被閒置偏移值(IT-1)所限制,而且還從左眼文字資訊LTI的重疊位置起,偏移了該重疊位置所對應之視差向量之水平方向成分VVT-1。
在上述係說明了,在左眼影像及右眼影像上,重疊從位元串流資料所抽出的圖形資料所致之圖形資訊、或從位元串流資料所抽出的文字資料所致之文字資訊之情形。除此以外,還考慮在機上盒200內產生圖形資料或文字資料,並且要將這些的資訊,重疊於左眼影像及右眼影像上的情形。
此情況下也是,可利用從位元串流資料所抽出的影像內的所定位置的視差向量,使左眼圖形資訊與右眼圖形資訊之間,或左眼文字資訊與右眼文字資訊之間,帶有視差。藉此,圖形資訊、文字資訊之顯示時,就可與影像內之各物體(物件)的遠近感之間,維持遠近感之整合性而賦予適切的遠近感。
圖33(a)係圖示了,在影像內有A,B,C各物件存在,例如,在這些各物件的附近位置,重疊用來表示各物件之注釋的文字資訊。圖33(b)係圖示了,將A,B,C各物件之位置、表示該位置上的視差向量之對應的視差向量清單、各個視差向量,利用於對表示A,B,C各物件之注釋的文字資訊賦予視差時的情形。例如,A的物件附近係被重疊有「Text」的文字資訊,但在其左眼文字資訊和右眼文字資訊之間,係被給予了A物件之位置(Ha,Va)上的視差向量VV-a所對應之視差。此外,關於B,C物件的附近所被重疊的文字資訊,也同樣如此。
此外,圖32係圖示了,重疊資訊是圖形資訊及文字資訊之情形。又,圖33係圖示了,重疊資訊是文字資訊之情形。雖然省略詳細說明,但其他的重疊資訊(隱藏式字幕資訊、字幕資訊、文字資訊等)時候也同樣如此。
接著說明,視差向量是被事先反映在重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料上而被發送過來的情形。此時,從位元串流資料所抽出的重疊資訊資料中係含有,已被視差向量而給予視差的左眼重疊資訊及右眼重疊資訊之資料。
因此,位元串流處理部201,係對於從位元串流資料所抽出的立體影像資料(左眼影像資料、右眼影像資料),將從位元串流資料所抽出之重疊資訊資料單純加以合成,取得處理後的立體影像資料。此外,關於隱藏式字幕資料或文字資料,係需要將字元碼轉換成點陣圖資料等之處理。
[機上盒的構成例]
說明機上盒200之構成。圖34係圖示了機上盒200的構成例。該機上盒200係具有:位元串流處理部201、HDMI端子202、天線端子203、數位選台器204、映像訊號處理電路205、HDMI送訊部206、聲音訊號處理電路207。又,該機上盒200係具有:CPU211、快閃ROM212、DRAM213、內部匯流排214、遙控器收訊部215、遙控器送訊機216。
天線端子203,係用來將收訊天線(未圖示)所接收到的電視播送訊號加以輸入的端子。數位選台器204,係將被天線端子203所輸入之電視播送訊號予以處理,將使用者所選擇頻道所對應之所定的位元串流資料(傳輸串流)予以輸出。
位元串流處理部201,係如上述,從位元串流資料中,抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差資訊(視差向量)等。重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。該位元串流處理部201,係如上述,對於立體影像資料,將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料加以合成,取得顯示用立體影像資料。又,位元串流處理部201,係將聲音資料予以輸出。位元串流處理部201的詳細構成係於後述。
映像訊號處理電路205,係對從位元串流處理部201所輸出的立體影像資料,因應需要而進行畫質調整處理等,將處理後的立體影像資料供給至HDMI送訊部206。聲音訊號處理電路207,係對從位元串流處理部201所輸出的聲音資料,因應需要而進行音質調整處理等,將處理後的聲音資料供給至HDMI送訊部206。
HDMI送訊部206,係藉由以HDMI為依據的通訊,將基頻的影像(映像)與聲音的資料,從HDMI端子202予以送出。此時,由於是以HDMI的TMDS通道進行送訊,因此影像及聲音之資料是被打包(packing),從HDMI送訊部206往HDMI端子202輸出。該HDMI送訊部206,其版本係為例如HDMI1.4,是可處理立體影像資料之狀態。該HDMI送訊部206的細節將於後述。
CPU211,係控制機上盒200各部的動作。快閃ROM212,係進行控制軟體之儲存及資料之保管。DRAM213,係構成CPU211之工作區域。CPU211,係將從快閃ROM212讀出之軟體或資料,展開於DRAM213上而啟動軟體,控制機上盒200的各部。
遙控器收訊部215,係將從遙控器送訊機216所發送來之遙控訊號(遙控碼),供給至CPU211。CPU211,係基於該遙控碼而控制著機上盒200的各部。CPU211、快閃ROM212及DRAM213係被連接至內部匯流排214。
簡單說明機上盒200之動作。已被輸入至天線端子203的電視播送訊號係被供給至數位選台器204。在該數位選台器204中,電視播送訊號會被處理,對應於使用者選擇頻道的所定之位元串流資料(傳輸串流)會被輸出。
從數位選台器204所輸出的位元串流資料,係被供給至位元串流處理部201。在該位元串流處理部201上,係從位元串流資料中抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、圖形資料、文字資料、視差向量等。又,在該位元串流處理部201中,係對於立體影像資料,將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊等)的資料加以合成,生成顯示用立體影像資料。
由位元串流處理部201所生成的顯示用立體影像資料,係因應需要而在映像訊號處理電路205進行畫質調整處理等之後,供給至HDMI送訊部206。又,位元串流處理部201所獲得之聲音資料,係在聲音訊號處理電路207中因應需要而進行音質調整處理等之後,供給至HDMI送訊部206。已被供給至HDMI送訊部206的立體影像資料及聲音資料,係藉由HDMI的TMDS通道,從HDMI端子202往HDMI纜線400送出。
「位元串流處理部之構成例」
圖35係圖示了位元串流處理部201的構成例。該位元串流處理部201,係對應於上述圖2所示的送訊資料生成部110而構成。該位元串流處理部201係具有:解多工器220、視訊解碼器221、字幕‧圖形解碼器222、文字解碼器223、音訊解碼器224、視差向量解碼器225。又,該位元串流處理部201係具有:立體影像用字幕‧圖形產生部226、立體影像用文字產生部227、視訊重疊部228、多聲道揚聲器控制部229。
解多工器220,係從位元串流資料BSD,抽出視訊、音訊、視差向量、字幕或圖形及文字的封包,送往各解碼器。
視訊解碼器221係進行與上述送訊資料生成部110之視訊編碼器113相反的處理。亦即,該視訊解碼器221係根據已被解多工器220所抽出的視訊的封包,重新構成視訊的元素串流,進行解碼處理,獲得含左眼影像資料及右眼影像資料的立體影像資料。立體影像資料的傳輸方式係例如有,上述的第1傳輸方式(「Top & Bottom」方式)、第2傳輸方式(「Side By Side」方式)、第3傳輸方式(「Frame Sequential」方式)等(參照圖4(a)~(c))。
字幕‧圖形解碼器222,係進行與上述的送訊資料生成部110之字幕‧圖形編碼器119相反的處理。亦即,該字幕‧圖形解碼器222,係係根據已被解多工器220所抽出的字幕或圖形之封包,而重新構成字幕或圖形的元素串流。然後,該字幕‧圖形解碼器222,係還進行解碼處理,獲得字幕資料或圖形資料。
文字解碼器223係進行與上述送訊資料生成部110之文字編碼器121相反的處理。亦即,該文字解碼器223係根據已被解多工器220所抽出的文字的封包,重新構成文字的元素串流,進行解碼處理,獲得文字資料。
音訊解碼器224係進行與上述送訊資料生成部110之音訊編碼器117相反的處理。亦即,該音訊解碼器224係根據已被解多工器220所抽出的音訊的封包,重新構成音訊的元素串流,進行解碼處理,獲得聲音資料。
視差向量解碼器225,係進行與上述的送訊資料生成部110之視差向量編碼器115相反的處理。亦即,該視差向量解碼器225係根據已被解多工器220所抽出的視差向量的封包,重新構成視差向量的元素串流,進行解碼處理,獲得影像內的所定位置之視差向量。
立體影像用字幕‧圖形產生部226,係生成分別要重疊至左眼影像及右眼影像的左眼及右眼的字幕資訊或圖形資訊。該生成處理,係基於解碼器222所得到的字幕資料或圖形資料,和解碼器225所得到的視差向量,而進行之。此時,左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是,影像內的重疊位置係為,例如,相對於左眼的字幕資訊或圖形資訊,右眼的字幕資訊或圖形資訊是往水平方向偏移了視差向量的水平方向成分。然後,該立體影像用字幕‧圖形產生部226,係將已被生成的左眼及右眼的字幕資訊或圖形資訊之資料(點陣圖資料),予以輸出。
立體影像用文字產生部227,係基於解碼器223所得到的文字資料、和解碼器225所得到的視差向量,而生成分別要重疊於左眼影像、右眼影像的左眼文字資訊、右眼文字資訊。此情況下,雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊,但右眼文字資訊,其在影像內的重疊位置係為,例如,相對於左眼文字資訊,是往水平方向偏移了視差向量之水平方向成分。然後,該立體影像用文字產生部227,係將已被生成的左眼文字資訊及右眼文字資訊之資料(點陣圖資料),予以輸出。
視訊重疊部228,係對於視訊解碼器221所獲得之立體影像資料(左眼影像資料、右眼影像資料),將已被產生部226、227所產生的資料,加以重疊,獲得顯示用立體影像資料Vout。此外,重疊資訊資料對立體影像資料(左眼影像資料、右眼影像資料)的重疊,係藉由系統層的時間戳記而被開始。
多聲道揚聲器控制部229,係對音訊解碼器224所獲得的聲音資料,施以例如用來實現5.1ch環繞等所需的多聲道揚聲器的聲音資料生成處理、賦予所定之音場特性的處理等。又,該多聲道揚聲器控制部229,係基於解碼器225所得到的視差向量,控制多聲道揚聲器的輸出。
視差向量的大小越大,則立體感上會越有效果。配合立體的程度,來控制多聲道的揚聲器輸出,可實現更加立體體驗的提供。
圖36係圖示了,視差向量VV1是當面向電視顯示器,左側的視訊物件較大時的揚聲器輸出控制例。在此控制例中,多聲道揚聲器的Rear Left的揚聲器音量是被加大,Front Left的揚聲器音量係被設為中程度,Front Right,Rear Right的揚聲器音量係被減小。如此,可將視訊內容(立體影像資料)的視差向量,對聲音資料等其他媒體資料,在收訊側上加以適用,藉此,就可讓視聽者完整地體驗到立體感。
簡單說明圖35所示的位元串流處理部201之動作。從數位選台器204(參照圖34)所輸出的位元串流資料BSD,係被供給至解多工器220。在該解多工器220中,係從位元串流資料BSD,抽出視訊、音訊、視差向量、字幕或圖形及文字的封包,供給至各解碼器。
在視訊解碼器221中,係根據已被解多工器220所抽出的視訊的封包,重新構成視訊的元素串流,然後進行解碼處理,獲得含左眼影像資料及右眼影像資料的立體影像資料。該立體影像資料,係被供給至視訊重疊部228。又,在視差向量解碼器225中,係根據已被解多工器220所抽出的視差向量的封包而重新構成視差向量的元素串流,然後進行解碼處理,獲得影像內的所定位置之視差向量(參照圖8)。
在字幕‧圖形解碼器222中,係根據已被解多工器220所抽出的字幕或圖形之封包,而重新構成字幕或圖形的元素串流。在字幕‧圖形解碼器222中,係更進一步對字幕或圖形的元素串流進行解碼處理,而獲得字幕資料或圖形資料。該字幕資料或圖形資料,係被供給至立體影像用字幕‧圖形產生部226。對該立體影像用字幕‧圖形產生部226係還會供給著,視差向量解碼器225所得到的視差向量。
在該立體影像用字幕‧圖形產生部226中係生成,分別要重疊至左眼影像、右眼影像的左眼及右眼的字幕資訊或圖形資訊之資料。該生成處理,係基於解碼器222所得到的字幕資料或圖形資料,和解碼器225所得到的視差向量,而進行之。此時,影像內的重疊位置係為,例如,相對於左眼的字幕資訊或左眼圖形資訊,右眼的字幕資訊或圖形資訊,是往水平方向偏移了視差向量的水平方向成分。從該立體影像用字幕‧圖形產生部226係會輸出,已被生成的左眼及右眼的字幕資訊或圖形資訊之資料(點陣圖資料)。
又,在文字解碼器223中,係根據已被解多工器220所抽出的文字的封包,重新構成文字的元素串流,然後進行解碼處理,獲得文字資料。該文字資料,係被供給至立體影像用文字產生部227。對該立體影像用文字產生部227係還會供給著,視差向量解碼器225所得到的視差向量。
在該立體影像用文字產生部227中,係基於解碼器223所得到的文字資料、和解碼器225所得到的視差向量,而生成分別要重疊於左眼影像、右眼影像的左眼文字資訊、右眼文字資訊。此情況下,雖然左眼文字資訊及右眼文字資訊係為相同的文字資訊,但右眼文字資訊,其在影像內的重疊位置係為,例如,相對於左眼文字資訊,是往水平方向偏移了視差向量之水平方向成分。從該立體影像用文字產生部227係輸出,已被生成的左眼文字資訊及右眼文字資訊之資料(點陣圖資料)。
對視訊重疊部228係供給著上述來自視訊解碼器221的立體影像資料(左眼影像資料、右眼影像資料)以外,還供給著從字幕‧圖形產生部226及文字產生部227所輸出的資料。在該視訊重疊部228中,係對於立體影像資料(左眼影像資料、右眼影像資料),重疊上字幕‧圖形產生部226及文字產生部227所產生的資料,獲得顯示用立體影像資料Vout。該顯示用立體影像資料Vout,係透過映像訊號處理電路205,而向HDMI送訊部206(參照圖34),當作送訊影像資料而供給。
又,在音訊解碼器224中,係根據已被解多工器220所抽出的音訊的封包,重新構成音訊的元素串流,然後進行解碼處理,獲得聲音資料。該聲音資料,係被供給至多聲道揚聲器控制部229。在該多聲道揚聲器控制部229中,係對聲音資料,施以例如用來實現5.1ch環繞等所需的多聲道揚聲器的聲音資料生成處理、賦予所定之音場特性的處理等。
對該多聲道揚聲器控制部229係還會供給著,視差向量解碼器225所得到的視差向量。然後,在該多聲道揚聲器控制部229中,係基於視差向量,控制多聲道揚聲器的輸出。該多聲道揚聲器控制部229所獲得的多聲道聲音資料,係透過聲音訊號處理電路207而向HDMI送訊部206(參照圖34),當作送訊聲音資料而供給。
「位元串流處理部之其他構成例」
圖37所示的位元串流處理部201A,係對應於上述圖13所示的送訊資料生成部110A而構成。於此圖37中,和圖35對應的部分係標示同一符號,並省略其詳細說明。
該位元串流處理部201A,係取代了圖35所示的位元串流處理部201的視差向量解碼器225,改為設置視差向量取出部231。該視差向量取出部231,係從通過視訊解碼器221所得之視訊的串流中,取出該使用者資料領域中所被嵌入的視差向量。然後,該視差向量取出部231,係將已取出的視差向量,供給至立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器控制部229。
詳細說明雖然省略,但該圖37所示的位元串流處理部201A的其他部分,係和圖35所示的位元串流處理部201同樣構成,同樣動作。
「位元串流處理部之其他構成例」
又,圖38所示的位元串流處理部201B,係對應於上述圖18所示的送訊資料生成部110B而構成。於此圖38中,和圖35對應的部分係標示同一符號,並省略其詳細說明。
該位元串流處理部201B,係從圖35所示的位元串流處理部201,去除了視差向量解碼器225、立體影像用字幕‧圖形產生部226及立體影像用文字產生部227。此時,視差向量係預先被反映在字幕資訊、圖形資訊、文字資訊之資料上。
被發送過來的字幕資料或圖形資料中,係如上述,含有要重疊至左眼影像的左眼之字幕資訊或圖形資訊之資料,及要重疊至右眼影像的右眼之字幕資訊或圖形資訊之資料。同樣地,被發送過來的文字資料中,係如上述,含有要重疊至左眼影像的左眼文字資訊之資料,及要重疊至右眼影像的右眼文字資訊之資料。因此,視差向量解碼器225係不需要立體影像用字幕‧圖形產生部226及立體影像用文字產生部227。
此外,由於文字解碼器223所獲得的文字資料係為碼資料(字元碼),因此需要有將它們轉換成點陣圖資料的處理。該處理係例如在文字解碼器223的最終段裡進行,或者是在視訊重疊部228的輸入段上進行。
「位元串流處理部之其他構成例」
又,圖39所示的位元串流處理部201C,係對應於上述圖19所示的送訊資料生成部110C而構成。於此圖39中,和圖35對應的部分係標示同一符號,並省略其詳細說明。
該位元串流處理部201C,係具有:視差資訊取出部232、CC解碼器233及立體影像用隱藏式字幕產生部234。如上述,從圖19所示的送訊資料生成部110C的視訊編碼器113所輸出的視訊元素串流中,係有CC(隱藏式字幕)資料及每一Region_id的視差資訊,被當成使用者資料而嵌入。
在視差資訊取出部232上,係從通過視訊解碼器221而獲得的視訊元素串流中,取出每一Region_id的視差資訊。從視差資訊取出部232往立體影像用隱藏式字幕產生部234係供給著,已被取出之每一Region_id的視差資訊當中的對應於隱藏式字幕資訊的視差資訊(不含重疊位置資訊、顯示時間資訊)。
又,從視差資訊取出部232往立體影像用字幕‧圖形產生部226係供給著,已被取出之每一Region_id的視差資訊當中的對應於字幕資訊或圖形資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。然後,從視差資訊取出部232往立體影像用文字產生部227係供給著,已被取出之每一Region_id的視差資訊當中的對應於文字資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。
在CC解碼器233上,係從通過視訊解碼器233而獲得的視訊元素串流中,取出CC資料(隱藏式字幕資料)。然後,在CC解碼器233上,從該CC資料係取得每一Window的隱藏式字幕資料(字幕的字元碼),並還取得重疊位置及顯示時間的控制資料。然後,從該CC解碼器233往立體影像用隱藏式字幕產生部234係供給著隱藏式字幕資料、和重疊位置及顯示時間的控制資料。
在立體影像用隱藏式字幕產生部234中,係就每一Window,生成分別要重疊至左眼影像、右眼影像的左眼隱藏式字幕資訊(字幕)、右眼隱藏式字幕資訊(字幕)之資料。該生成處理,係基於已被CC解碼器233所獲得之隱藏式字幕資料及重疊位置資訊,和從視差資訊取出部232所供給來的視差資訊(視差向量),而進行之。此時,左眼及右眼的隱藏式字幕資訊係為相同的資訊。可是,右眼隱藏式字幕資訊,其在影像內的重疊位置係為,例如,相對於左眼隱藏式字幕資訊,是往水平方向偏移了視差向量之水平方向成分。
如此,在立體影像用隱藏式字幕產生部234上對每一Window所生成的左眼及右眼之隱藏式字幕資訊之資料(點陣圖資料),係連同顯示時間之控制資料,一起被供給至視訊重疊部228。
又,在立體影像用字幕.圖形產生部226中係生成,分別要重疊至左眼影像及右眼影像的左眼及右眼的字幕資訊或圖形資訊。該生成處理,係基於已被字幕‧圖形解碼器222所獲得之字幕資料或圖形資料,和從視差資訊取出部232所供給之視差資訊(視差向量),而進行之。此時,左眼及右眼的字幕資訊或圖形資訊係為相同的資訊。可是,影像內的重疊位置係為,例如,相對於左眼的字幕資訊或圖形資訊,右眼的字幕資訊或圖形資訊是往水平方向偏移了視差向量的水平方向成分。
如此,在立體影像用字幕‧圖形產生部234上所生成的左眼及右眼之字幕資訊或圖形資訊之資料(點陣圖資料),係連同顯示時間資訊(畫格數資訊),一起被供給至視訊重疊部228。
又,在立體影像用文字產生部227中係生成,分別要重疊至左眼影像及右眼影像的左眼及右眼的文字資訊。該生成處理,係基於已被文字解碼器223所獲得之文字資料,和從視差資訊取出部232所供給之視差資訊(視差向量),而進行之。此時,左眼及右眼的文字資訊係為相同的資訊。可是,右眼的文字資訊,其在影像內的重疊位置係為,例如,相對於左眼的文字資訊,是往水平方向偏移了視差向量之水平方向成分。
如此,在立體影像用文字產生部227上所生成的左眼及右眼之文字資訊之資料(點陣圖資料),係連同顯示時間資訊(畫格數資訊),一起被供給至視訊重疊部228。
在視訊重疊部228中,係對於視訊解碼器221所獲得之立體影像資料(左眼影像資料、右眼影像資料),重疊了從各各解碼器所供給之重疊資訊資料,獲得顯示用立體影像資料Vout。此外,重疊資訊資料對立體影像資料(左眼影像資料、右眼影像資料)的重疊,係藉由系統層的時間戳記而被開始。又,其重疊持續時間,係關於隱藏式字幕資訊係基於顯示時間之控制資料,關於字幕資訊、圖形資訊、文字資訊等則是基於顯示時間資訊,而被控制。
詳細說明雖然省略,但該圖39所示的位元串流處理部201C的其他部分,係和圖35所示的位元串流處理部201同樣構成,同樣動作。
「位元串流處理部之其他構成例」
又,圖40所示的位元串流處理部201D,係對應於上述圖25所示的送訊資料生成部110D而構成。於此圖40中,與圖35及圖9相對應的部分係標示同一符號,並省略其詳細說明。
位元串流處理部201D,係具有視差資訊解碼器235。在圖25所示的送訊資料生成部110D中,係藉由視差資訊編碼器129,生成含有來自Z資料部128之視差資訊的視差資訊元素串流。然後,在多工器122中,含視差資訊編碼器129的從各編碼器所供給之元素串流的封包係被多工化,獲得作為傳輸資料的位元串流資料(傳輸串流)BSD。
在視差資訊解碼器235中,係根據已被解多工器220所抽出之視差資訊的封包,重新構成視差資訊的元素串流,然後進行解碼處理,獲得每一Region_id的視差資訊。該視差資訊,係和圖39的位元串流處理部201C的視差資訊取出部232所取出的視差資訊相同。
在該視差資訊解碼器235中,係從通過視訊解碼器221而獲得的視訊元素串流中,取出每一Region_id的視差資訊。從視差資訊解碼器235往立體影像用隱藏式字幕產生部234係供給著,已被取出之每一Region_id的視差資訊當中的對應於隱藏式字幕資訊的視差資訊(不含重疊位置資訊、顯示時間資訊)。
又,從視差資訊解碼器235往立體影像用字幕‧圖形產生部226係供給著,已被取出之每一Region_id的視差資訊當中的對應於字幕資訊或圖形資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。然後,從視差資訊解碼器235往立體影像用文字產生部227係供給著,已被取出之每一Region_id的視差資訊當中的對應於文字資訊的視差資訊(含重疊位置資訊、顯示時間資訊)。
詳細說明雖然省略,但該圖40所示的位元串流處理部201D的其他部分,係和圖39所示的位元串流處理部201C同樣構成,同樣動作。
「位元串流處理部之其他構成例」
又,圖41所示的位元串流處理部201E,係對應於上述圖26所示的送訊資料生成部110E而構成。於此圖41中,與圖35及圖38相對應的部分係標示同一符號,並省略其詳細說明。
該位元串流處理部201E,係具有CC解碼器236。在圖26所示的送訊資料生成部110E的CC資料處理部130中,係基於CC資料,而生成要重疊於左眼影像上的左眼隱藏式字幕資訊之資料及要重疊於右眼影像上的右眼隱藏式字幕資訊之資料。然後,被CC資料處理部130所處理後的CC資料,係被供給至視訊編碼器113的串流格式化器113a,被當成使用者資料而嵌入至視訊的串流中。
在CC解碼器236上,係從通過視訊解碼器221而獲得的視訊元素串流中,取出CC資料(隱藏式字幕資料),然後,從該CC解碼器,取得每一Window的左眼及右眼之隱藏式字幕資訊之資料。然後,該CC解碼器236所取得的左眼及右眼之隱藏式字幕資訊之資料,係被供給至視訊重疊部228。
在該視訊重疊部228中,係對於立體影像資料(左眼影像資料、右眼影像資料),重疊上由CC解碼器236、字幕‧圖形解碼器222及文字解碼器223所產生的資料,獲得顯示用立體影像資料Vout。
詳細說明雖然省略,但該圖41所示的位元串流處理部201E的其他部分,係和圖38所示的位元串流處理部201B同樣構成,同樣動作。
[電視收訊機之說明]
返回圖1,電視收訊機300係將從機上盒200透過HDMI纜線400而送來的立體影像資料,加以接收。該電視收訊機300,係具有3D訊號處理部301。該3D訊號處理部301,係對立體影像資料,進行對應於傳輸方式的處理(解碼處理),生成左眼影像資料及右眼影像資料。亦即,該3D訊號處理部301係進行與圖2、圖13、圖18、圖19、圖25、圖26所示之送訊資料生成部110,110A,110B,110C,110D,110E中的視訊畫格化部112相反的處理。然後,該3D訊號處理部301,係將構成立體影像資料的左眼影像資料及右眼影像資料,加以取得。
[電視收訊機之構成例]
說明電視收訊機300的構成例。圖42係圖示了電視收訊機300的構成例。該電視收訊機300,係具有:3D訊號處理部301、HDMI端子302、HDMI收訊部303、天線端子304、數位選台器305、位元串流處理部306。又,該電視收訊機300係具有:映像訊號處理電路307、面板驅動電路308、顯示面板309、聲音訊號處理電路310、聲音增幅電路311、揚聲器312。又,該電視收訊機300,係具有:CPU321、快閃ROM322、DRAM323、內部匯流排324、遙控器收訊部325、遙控器送訊機326。
天線端子304,係用來將收訊天線(未圖示)所接收到的電視播送訊號加以輸入的端子。數位選台器305,係將被天線端子304所輸入之電視播送訊號予以處理,將使用者所選擇頻道所對應之所定的位元串流資料(傳輸串流)予以輸出。
位元串流處理部306,係和圖34所示之機上盒200的位元串流處理部201是同樣的構成。該位元串流處理部306,係從位元串流資料中,抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差向量(視差資訊)等。重疊資訊資料係為隱藏式字幕資料、字幕資料、圖形資料、文字資料等。然後,該位元串流處理部306,係對立體影像資料,將重疊資訊資料加以合成,取得顯示用立體影像資料。又,位元串流處理部306,係將聲音資料予以輸出。
HDMI收訊部303,係藉由以HDMI為依據的通訊,將透過HDMI纜線400而被供給至HDMI端子302的非壓縮之影像資料及聲音資料,予以接收。該HDMI收訊部303,其版本係為例如HDMI1.4,是可處理立體影像資料之狀態。該HDMI收訊部303的細節將於後述。
3D訊號處理部301,係對已被HDMI收訊部303所接收到的、或位元串流處理部306所得到的立體影像資料,進行解碼處理,生成左眼影像資料及右眼影像資料。此時,3D訊號處理部301,係對位元串流處理部306所得到的立體影像資料,進行對應於其傳輸方式(參照圖4)的解碼處理。又,3D訊號處理部301,係對HDMI收訊部303所接收到的立體影像資料,進行對應於該TMDS傳輸資料結構(參照圖47~圖49)的解碼處理。
映像訊號處理電路307,係基於3D訊號處理部301所生成之左眼影像資料及右眼影像資料,而生成顯示立體影像所需的影像資料。又,映像訊號處理電路,係對影像資料,因應需要而進行畫質調整處理。面板驅動電路308,係基於從映像訊號處理電路307所輸出之影像資料,來驅動顯示面板309。顯示面板309,係由例如LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等所構成。
聲音訊號處理電路310係對於HDMI收訊部303所接收到的、或位元串流處理部306所得到的聲音資料,進行D/A轉換等必要之處理。聲音增幅電路311,係將從聲音訊號處理電路310所輸出之聲音訊號予以增幅而供給至揚聲器312。
CPU321,係控制著電視收訊機300各部之動作。快閃ROM322,係進行控制軟體之儲存及資料之保管。DRAM323,係構成CPU321之工作區域。CPU321,係將從快閃ROM322讀出之軟體或資料,展開於DRAM323上而啟動軟體,控制電視收訊機300的各部。
遙控器收訊部325,係將從遙控器送訊機326所發送來之遙控訊號(遙控碼),供給至CPU321。CPU321,係基於該遙控碼而控制著電視收訊機300的各部。CPU321、快閃ROM322及DRAM323係被連接至內部匯流排324。
簡單說明圖42所示的電視收訊機300之動作。在HDMI收訊部303中,對HDMI端子302透過HDMI纜線400所連接之機上盒200所發送過來的立體影像資料及聲音資料,會被接收。該HDMI收訊部303所接收到的立體影像資料,係被供給至3D訊號處理部301。又,該HDMI收訊部303所接收到的聲音資料,係被供給至聲音訊號處理電路310。
已被輸入至天線端子304的電視播送訊號係被供給至數位選台器305。在該數位選台器305中,電視播送訊號會被處理,對應於使用者選擇頻道的所定之位元串流資料(傳輸串流)會被輸出。
從數位選台器305所輸出的位元串流資料,係被供給至位元串流處理部306。在該位元串流處理部306上,係從位元串流資料中,抽出立體影像資料(左眼影像資料、右眼影像資料)、聲音資料、重疊資訊資料、視差向量(視差資訊)等。又,在該位元串流處理部306中,係對於立體影像資料,將重疊資訊(隱藏式字幕資訊、字幕資訊、圖形資訊、文字資訊)的資料加以合成,生成顯示用立體影像資料。
位元串流處理部306所生成的顯示用立體影像資料,係被供給至3D訊號處理部301。又,該位元串流處理部306所獲得之聲音資料,係被供給至聲音訊號處理電路310。
在3D訊號處理部301中,係對已被HDMI收訊部303所接收到的、或位元串流處理部306所得到的立體影像資料,進行解碼處理,生成左眼影像資料及右眼影像資料。該左眼影像資料及右眼影像資料,係被供給至映像訊號處理部電路307。在該映像訊號處理電路307中,係基於左眼影像資料及右眼影像資料,生成立體影像顯示所需之影像資料,並也會因應需要而進行畫質調整處理。如此映像訊號處理電路307所獲得之影像資料,係被供給至面板驅動電路308。因此,藉由顯示面板309,就會顯示出立體影像。
又,在聲音訊號處理電路310中,係對於HDMI收訊部303所接收到的、或位元串流處理部306所得到的聲音資料,施以D/A轉換等必要之處理。該聲音資料,係被聲音增幅電路311增幅後,供給至揚聲器312。因此,從揚聲器312就會輸出聲音。
[HDMI送訊部、HDMI收訊部的構成例]
圖43係圖示了,圖1的立體影像顯示系統10中,機上盒200的HDMI送訊部(HDMI訊源端)206、和電視收訊機300的HDMI收訊部(HDMI接收端)303的構成例。
HDMI送訊部206,係於有效影像區間(以下亦適宜稱作有效視訊區間)中,將非壓縮之1畫面份的影像之像素資料所對應之差動訊號,以複數通道,向HDMI收訊部303進行單向送訊。此處,有效影像區間係為,從一個垂直同期訊號至下個垂直同期訊號為止的區間裡,去除掉水平歸線區間及垂直歸線區間後剩下的區間。又,HDMI送訊部206,係於水平歸線區間或垂直歸線區間中,至少將附隨於影像的聲音資料或控制資料、其他補助資料等所對應之差動訊號,以複數通道,向HDMI收訊部303進行單向送訊。
由HDMI送訊部206和HDMI收訊部303所成的HDMI系統的傳輸通道中,係有以下的傳輸通道。亦即,作為從HDMI送訊部206對HDMI收訊部303,將像素資料及聲音資料同步於像素時脈而作單向地進行序列傳輸所需之傳輸通道的3個TMDS通道#0乃至#2。又,還有作為傳輸像素時脈之傳輸通道的TMDS時脈通道。
HDMI送訊部206,係具有HDMI發送器81。發送機81,係例如,將非壓縮之影像的像素資料轉換成對應之差動訊號,以複數通道的3個TMDS通道#0,#1,#2,向透過HDMI纜線400所連接之HDMI收訊部303,單向地進行序列傳輸。
又,發送器81,係將非壓縮之附隨於影像的聲音資料、甚至必要的控制資料其他補助資料等,轉換成對應的差動訊號,以3個TMDS通道#0、#1、#2而對HDMI收訊部303,單向地進行序列傳輸。
再者,發送器81,係將同步於以3個TMDS通道#0,#1,#2所發送之像素資料的像素時脈,以TMDS時脈通道,向透過HDMI纜線400所連接HDMI收訊部303進行送訊。此處,在1個TMDS通道#i(i=0,1,2)中,在像素時脈的1個時脈的期間內,會發送10位元的像素資料。
HDMI收訊部303,係於有效視訊區間中,將從HDMI送訊部206以複數通道單向發送過來的像素資料所對應之差動訊號,加以接收。又,該HDMI收訊部303,係於水平歸線區間或垂直歸線區間中,將從HDMI送訊部206以複數通道單向發送過來的聲音資料或控制資料所對應之差動訊號,加以接收。
亦即,HDMI收訊部303,係具有HDMI接收器82。該HDMI接收器82,係將以TMDS通道#0、#1、#2而從HDMI送訊部206所單向發送過來的像素資料所對應之差動訊號,和聲音資料或控制資料所對應之差動訊號,加以接收。此時是同步於從HDMI送訊部206以TMDS時脈通道所發送過來的像素時脈,而進行收訊。
HDMI系統的傳輸通道裡,除了上述的TMDS通道#0乃至#2及TMDS時脈通道以外,還有稱作DDC(Display Data Channel)83或CEC線84的傳輸通道。DDC83,係由HDMI纜線400中所含之未圖示的2條訊號線所成。DDC83,係HDMI送訊部206為了從HDMI收訊部303讀出E-EDID(Enhanced Extended Display Identification Data)時,會被使用。
亦即,HDMI收訊部303,係除了具有HDMI接收器81以外,還具有用來記憶著關於自己之性能(Configuration/capability)的性能資訊亦即E-EDID的、EDID ROM(Read Only Memory)85。HDMI送訊部206,係例如,隨應於來自CPU211(參照圖34)的要求,而從透過HDMI纜線400所連接之HDMI收訊部303,將E-EDID,透過DDC83而予以讀出。
HDMI送訊部206,係將已讀出之E-EDID,發送至CPU211。CPU211係將該E-EDID,儲存在快閃ROM212或DRAM213中。CPU211,係基於E-EDID,就可辨識HDMI收訊部303的性能之設定。例如,CPU211係辨識出,具有HDMI收訊部303之電視收訊機300是否能處理立體影像資料,若為可能時則再辨識其能對應何種TMDS傳輸資料結構等。
CEC線84,係由HDMI纜線400所含之未圖示的1條訊號線所成,在HDMI送訊部206和HDMI收訊部303之間,為了進行控制用資料的雙向通訊而被使用。此CEC線84,係構成了控制資料線。
又,在HDMI纜線400中,係含有被稱作HPD(Hot Plug Detect)之腳位所連接的線(HPD線)86。訊源端機器,係利用該當線86,就可偵測出接收端機器的連接。此外,於圖43中,對HPD線86係標示有從接收端往訊源端之單向的箭頭。可是,該HPD線86係也被當成構成雙向通訊路的HEAC-線使用,此時係會成為雙向訊號線。又,在HDMI纜線400中,係含有用來從訊源端機器向接收端機器供給電源用的線(電源線)87。再者,HDMI纜線400中係含有多用途線88。
圖44係圖示了,圖43的HDMI發送器81與HDMI接收器82的構成例。HDMI發送器81,係具有分別對應於3個TMDS通道#0,#1,#2的3個編碼器/序列化器81A,81B,81C。然後,編碼器/序列化器81A,81B,81C之每一者,係將被供給至其的影像資料、輔助資料、控制資料予以編碼,從平行資料轉換成序列資料,藉由差動訊號而進行送訊。此處,若影像資料是具有例如R,G,B之3成分的情況下,則B成分係被供給至編碼器/序列化器81A,G成分係被供給至編碼器/序列化器81B,R成分係被供給至編碼器/序列化器81C。
又,作為輔助資料則是例如有聲音資料或控制封包,例如控制封包係被供給至編碼器/序列化器81A,聲音資料則是被供給至編碼器/序列化器81B,81C。然後,作為控制資料係有,1位元的垂直同步訊號(VSYNC)、1位元的水平同步訊號(HSYNC)、及各為1位元的控制位元CTL0、CTL1、CTL2、CTL3。垂直同步訊號及水平同步訊號,係被供給至編碼器/序列化器81A。控制位元CTL0、CTL1係被供給至編碼器/序列化器81B,控制位元CTL2、CTL3係被供給至編碼器/序列化器81C。
編碼器/序列化器81A,係將被供給至其的影像資料的B成分、垂直同步訊號及水平同步訊號,以及輔助資料,以分時方式進行發送。亦即,編碼器/序列化器81A,係將被供給至其的影像資料的B成分,變成固定位元數的8位元單位之平行資料。然後,編碼器/序列化器81A,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#0進行發送。
又,編碼器/序列化器81A,係將被供給至其的垂直同步訊號及水平同步訊號的2位元之平行資料加以編碼,轉換成序列資料,以TMDS通道#0進行發送。再者,編碼器/序列化器81A,係將被供給至其的輔助資料,變成4位元單位之平行資料。然後,編碼器/序列化器81A,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#0進行發送。
編碼器/序列化器81B,係將被供給至其的影像資料的G成分、控制位元CTL0、CTL1,以及輔助資料,以分時方式進行發送。亦即,編碼器/序列化器81B,係將被供給至其的影像資料的G成分,變成固定位元數的8位元單位之平行資料。然後,編碼器/序列化器81B,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#1進行發送。
又,編碼器/序列化器81B,係將被供給至其的控制位元CTL0、CTL1的2位元之平行資料加以編碼,轉換成序列資料,以TMDS通道#1進行發送。再者,編碼器/序列化器81B,係將被供給至其的輔助資料,變成4位元單位之平行資料。然後,編碼器/序列化器81B,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#1進行發送。
編碼器/序列化器81C,係將被供給至其的影像資料的R成分、控制位元CTL2、CTL3,以及輔助資料,以分時方式進行發送。亦即,編碼器/序列化器81C,係將被供給至其的影像資料的R成分,變成固定位元數的8位元單位之平行資料。然後,編碼器/序列化器81C,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#2進行發送。
又,編碼器/序列化器81C,係將被供給至其的控制位元CTL2、CTL3的2位元之平行資料加以編碼,轉換成序列資料,以TMDS通道#2進行發送。再者,編碼器/序列化器81C,係將被供給至其的輔助資料,變成4位元單位之平行資料。然後,編碼器/序列化器81C,係將該平行資料加以編碼,轉換成序列資料,以TMDS通道#2進行發送。
HDMI接收器82,係具有分別對應於3個TMDS通道#0,#1,#2的3個復原/解碼器82A,82B,82C。然後,復原/解碼器82A,82B,82C的每一者,係將以TMDS通道#0,#1,#2藉由差動訊號所被發送過來的影像資料、輔助資料、控制資料,加以接收。再來,復原/解碼器82A,82B,82C之每一者,係將影像資料、輔助資料、控制資料,從序列資料傳換成平行資料,然後加以解碼而輸出。
亦即,復原/解碼器82A,係將以TMDS通道#0藉由差動訊號所被發送過來的影像資料的B成分、垂直同步訊號及水平同步訊號、輔助資料,加以接收。然後,復原/解碼器82A,係將該影像資料的B成分、垂直同步訊號及水平同步訊號、輔助資料,從序列資料傳換成平行資料,然後加以解碼而輸出。
亦即,復原/解碼器82B,係將以TMDS通道#1藉由差動訊號所被發送過來的影像資料的G成分、控制位元CTL0、CTL1、輔助資料,加以接收。然後,復原/解碼器82B,係將該影像資料的G成分、控制位元CTL0、CTL1、輔助資料,從序列資料傳換成平行資料,然後加以解碼而輸出。
亦即,復原/解碼器82C,係將以TMDS通道#2藉由差動訊號所被發送過來的影像資料的R成分、控制位元CTL2、CTL3、輔助資料,加以接收。然後,復原/解碼器82C,係將該影像資料的R成分、控制位元CTL2、CTL3、輔助資料,從序列資料傳換成平行資料,然後加以解碼而輸出。
圖45係圖示了TMDS傳輸資料的構造例。該圖45係圖示了,於TMDS通道#0,#1,#2中,傳輸著橫×縱是1920像素×1080掃描線的影像資料時的各種傳輸資料的區間。
以HDMI的3個TMDS通道#0,#1,#2所傳輸之傳輸資料的視訊圖場(Video Field)中,係隨著傳輸資料的種類,而存在有3種類的區間。該3種類的區間係為,視訊資料區間(Video Data period)、資料島區間(Data Island period)、及控制區間(Control period)。
此處,視訊圖場區間係為,從某個垂直同期訊號的上揚邊緣(active edge)起至下個垂直同期訊號的上揚邊緣為止的區間。該視訊圖場區間,係偏移控制處理,係被分成:水平遮沒期間(horizontal blanking)、垂直遮沒期間(vertical blanking)、以及有效視訊區間(Active Video)。該有效視訊區間係為,從視訊圖場區間中,去除了水平遮沒期間及垂直遮沒期間後剩下的區間。
視訊資料區間,係被分配至有效視訊區間。在該視訊資料區間中係傳輸著,構成非壓縮之1畫面份影像資料的,1920像素(pixel)×1080掃描線份的有效像素(Active pixel)之資料。
資料島區間及控制區間,係被分配至水平遮沒期間及垂直遮沒期間。在此資料島區間及控制區間中,係傳輸著輔助資料(Auxiliary data)。亦即,資料島區間,係被分配至水平遮沒期間與垂直遮沒期間的一部分。在該資料島區間中係傳輸著,輔助資料當中與控制沒有關係的資料,例如聲音資料的封包等。
控制區間,係被分配至水平遮沒期間與垂直遮沒期間的其他部分。在該控制區間中係傳輸著,輔助資料當中與控制有關的資料,例如垂直同步訊號及水平同步訊號、控制封包等。
圖46係圖示了HDMI端子的腳位排列之一例。圖46中所示的腳位排列係稱為A型(type-A)。TMDS通道#i的差動訊號亦即TMDS Data#i+與TMDS Data#i-,係被屬於差動線的2條訊號線所傳輸。該2條訊號線係被連接至,被分配TMDS Data#i+之腳位(腳位編號為1,4,7之腳位)、和被分配TMDS Data#i-之腳位(腳位編號為3,6,9之腳位)。
又,控制用資料亦即CEC訊號所被傳輸的CEC線84,係被連接至腳位編號13的腳位。又,E-EDID等之SDA(Serial Data)訊號所被傳輸的訊號線,係連接至腳位編號16的腳位。SDA訊號收送時之同步所用的時脈訊號亦即SCL(Serial Clock)訊號所被傳輸的訊號線,係連接至腳位編號15的腳位。上述的DDC83,係由傳輸SDA訊號的訊號線、及傳輸SCL訊號的訊號線所構成。
又,如上述,訊源端機器用來偵測接收端機器之連接所用的HPD線(HEAC-線)86,係被連接至腳位編號19之腳位。又,多用途線(HEAC+線)88,係被連接至腳位編號14之腳位。又,如上述般地用來供給電源的線87,係被連接至腳位編號18之腳位。
[立體影像資料的TMDS傳輸資料結構]
圖47係圖示了,立體影像資料的TMDS傳輸資料結構之一的畫格打包(Frame packing)方式的3D視訊格式(3D Video Format)。該3D視訊格式係為,作為立體影像資料,是傳輸漸進式方式的左眼(L)及右眼(R)影像資料所需的格式。
在該3D視訊格式中,作為左眼(L)及右眼(R)的影像資料,是傳輸1920×1080p、1080×720p之像素格式的影像資料。此外,在圖47中係圖示了,左眼(L)影像資料及右眼(R)影像資料都是1920掃描線×1080像素的例子。
藉由該3D視訊格式,以被垂直同期訊號所區隔的含有水平遮沒期間(Hblank)、垂直遮沒期間(Vblank)及有效視訊區間(Hactive×Vactive)的視訊圖場區間為單位的傳輸資料,會被生成。於該3D視訊格式中,有效視訊區間係具有2個有效視訊(Active video)、和位於它們之間的1個有效空白領域(Active space)。在第1有效視訊領域中係配置有左眼(L)影像資料,在第2有效視訊領域中係配置有右眼(R)影像資料。
圖48係圖示了,立體影像資料的TMDS傳輸資料結構之一的逐線抉擇(Line alternative)方式的3D視訊格式(3D Video Format)。該3D視訊格式係為,作為立體影像資料,是傳輸漸進式方式的左眼(L)及右眼(R)影像資料所需的格式。在該3D視訊格式中,作為左眼(L)及右眼(R)的影像資料,是傳輸1920×1080p之像素格式的影像資料。
藉由該3D視訊格式,以被垂直同期訊號所區隔的含有水平遮沒期間(Hblank)、垂直遮沒期間(2×Vblank)及有效視訊區間(Hactive×2Vactive)的視訊圖場區間為單位的傳輸資料,會被生成。於該3D視訊格式中,在有效視訊區間裡,左眼影像資料的1掃描線份與右眼影像資料的1掃描線份係被交互配置。
圖49係圖示了,立體影像資料的TMDS傳輸資料結構之一的並肩(side-bay-side)(Full)方式的3D視訊格式(3D Video Format)。該3D視訊格式係為,作為立體影像資料,是傳輸漸進式方式的左眼(L)及右眼(R)影像資料所需的格式。在該3D視訊格式中,作為左眼(L)及右眼(R)的影像資料,是傳輸1920×1080p之像素格式的影像資料。
藉由該3D視訊格式,以被垂直同期訊號所區隔的含有水平遮沒期間(2×Hblank)、垂直遮沒期間(Vblank)及有效視訊區間(2Hactive×Vactive)的視訊圖場區間為單位的傳輸資料,會被生成。於該3D視訊格式中,在有效視訊區間裡,係在水平方向的前半配置有左眼(L)影像資料,在水平方向的後半配置有右眼(R)影像資料。
此外,雖然省略詳細說明,但在HDMI1.4中,除了上述圖47~圖49所示的3D視訊格式以外,還定義有立體影像資料的作為TMDS傳輸資料結構之3D視訊格式。例如,畫格打包(Frame packing for interlaced format)方式,圖場抉擇(Field alternative)方式、並肩(side-bay-side)(Half)方式等。
[HDMI Vendor Specific InfoFrame]
用來表示從HDMI送訊部206往HDMI收訊部303所發送之影像資料是2維影像資料還是3維(3D)影像資料(立體影像資料)的資訊,是被含在HDMI Vendor Specific InfoFrame封包中。然後,若為3D影像資料時,則用來表示是何種TMDS傳輸資料結構的資訊,也被含在該封包中。該封包,係被配置在遮沒期間內的資料島區間中而被發送。
圖50係圖示了HDMI Vendor Specific InfoFrame封包結構。關於該HDMI Vendor Specific InfoFrame,因為是被定義在CEA-861-D,因此省略詳細說明。
在第4位元組(PB4)的第5位元至第7位元,係配置有表示影像資料之種類的3位元之資訊「HDMI_Video_Format」。當影像資料是3D影像資料時,該3位元之資訊係被設成「010」。又,如此當影像資料是3D影像資料時,則第5位元組(PB5)的第7位元至第4位元中,係配置有表示TMDS傳輸資料結構的4位元之資訊「3D_Structure」。例如,若為畫格打包方式(參照圖47),則該4位元之資訊係被設成「0000」。又,例如,若為逐線抉擇方式(參照圖48),則該4位元之資訊係被設成「0010」。又,例如,若為並肩(Full)方式(參照圖49),則該4位元之資訊係被設成「0011」。
[E-EDID結構]
如上述,HDMI送訊部206,係例如,隨應於來自CPU211(參照圖34)的要求,而從透過HDMI纜線400所連接之HDMI收訊部303,將E-EDID,透過DDC83而予以讀出。然後,CPU211,係基於該E-EDID,來設定HDMI收訊部303的性能,例如辨識是否可以處理立體影像資料等。
圖51係圖示了E-EDID的資料結構例。該E-EDID,係由基本區塊與據充區塊所成。在基本區塊中,在開頭係配置著以“E-EDID1.3 Basic Structure”所表示之E-EDID1.3規格所制定的資料。在基本區塊中,接著係配置有,以“Preferred timing”所表示之用來與先前的EDID保持相容性所需的時序資訊。又,在基本區塊中,接著係配置有,以“2nd timing”所表示之用來與先前的EDID保持相容性所需的、與“Preferred timing”不同的時序資訊。
又,在基本區塊中,接續於“2nd timing”後面,配置有以“Monitor NAME”所表示之代表顯示裝置之名稱的資訊。在基本區塊中,接著配置有,以“Monitor Range Limits”所表示的,代表關於長寬比是4:3及16:9時所能夠顯示之像素數的資訊。
在擴充區塊的開頭,係配置有“Short Video Descriptor”。此係用來表示所能顯示之影像尺寸(解析度)、畫格速率、是交錯式還是循序式用的資訊。接著,配置有“Short Audio Descriptor”。此係用來表示可能再生的聲音編碼方式、取樣頻率、截止頻帶、編解碼器位元數等的資訊。接著配置有,以“Speaker Allocation”所表示的關於左右揚聲器之資訊。
又,在擴充區塊中,接續於“Speaker Allocation”係配置有,以“Vender Specific”所表示的各廠商所固有定義之資料。在擴充區塊中,接著係配置有,以“3rd timing”所表示之用來與先前的EDID保持相容性所需的時序資訊。在擴充區塊中,又還接著配置有,以“4th timing”所表示之用來與先前的EDID保持相容性所需的時序資訊。
圖52係圖示了Vender Specific領域(HDMI Vendor Specific Data Block)之資料結構例。該Vender Specific領域中,係設有1位元組的區塊亦即第0區塊乃至第N區塊。
在第0區塊中係配置有,以“Vendor-Specific tag code(=3)”所表示的指出資料“Vender Specific”之資料領域的標頭。又,在該第0區塊中係配置有,以“Length(=N)”所表示的指出資料“Vender Specific”之長度的資訊。又,第1區塊乃至第3區塊中係配置著,以“24bit IEEE Registration Identifier(0x000C03)LSB first”所表示之代表是HDMI(R)用而被登錄的號碼“0x000C03“之資訊。然後,第4區塊及第5區塊中係配置著,分別以”A“、”B“、”C“、及”D“所表示之,24bit的接收端機器的實體位址之資訊。
在第6區塊中係配置著,以“Supports-AI”所表示之,指出接收端機器所支援之機能的旗標。又,在該第6區塊中係分別配置著,以“DC-48bit”、“DC-36bit”、及“DC-30bit”所個別表示的,用來指定每1像素之位元數的資訊。又,在該第6區塊中係配置著,以“DC-Y444”所表示之,指出接收端機器是否支援YCbCr4:4:4之影像傳輸的旗標。然後,在該第6區塊中係還配置著,以“DVI-Dual”所表示之,指出接收端機器是否支援雙DVI(Digital Visual Interface)的旗標。
又,第7區塊中係配置著,以“Max-TMDS-Clock”所表示之指出TMDS像素時脈之最大頻率的資訊。又,在第8區塊的第6位元、第7位元係配置有,以“Latency”所表示之代表有無映像與聲音之延遲資訊的旗標。又,在該第8區塊的第5位元係配置著,以“HDMI_Video_present”所表示之,指出是否能夠處理追加的HDMI視訊格式(3D、4k×2k)的旗標。
又,在第9區塊中係配置著以“Video Latency”所表示的循序式映像的延遲時間資料,在第10區塊中係配置著以“Audio Latency”所表示的附隨於循序式映像的聲音的延遲時間資料。又,在第11區塊中係配置著,以“Interlaced Video Latency”所表示的交錯式映像的延遲時間資料。然後,在第12區塊中係配置著,以“Interlaced Audio Latency”所表示的附隨於交錯式映像的聲音的延遲時間資料。
又,在該第13區塊的第7位元係配置著,以“3D_present”所表示之,指出是否能夠處理3D影像資料的旗標。又,在該第14區塊的第7位元至第5位元係配置著,以“HDMI_VIC_LEN”所表示之,未圖示的第15區塊以後所被配置的指出必須(mandatory)之3D資料結構以外其他所能處理之資料結構的區塊之尺寸資訊。又,在該第14區塊的第4位元至第0位元係配置著,以“HDMI_3D_LEN”所表示之,未圖示的第15區塊以後所被配置的,指出所能處理之4k×2k的視訊格式的區塊之尺寸資訊。
[機上盒的其他構成例]
於上述的圖34所示的機上盒200中,HDMI送訊部206,其版本係為例如HDMI1.4,是可處理立體影像資料之狀態。因此,機上盒200,係可將從播送訊號所接收到的立體影像資料(3D影像資料),利用HDMI的數位介面,發送至電視收訊機300。
作為HDMI送訊部係存在有,例如,其版為HDMI1.3以下,是不可處理立體影像資料之狀態的機上盒。於該機上盒中,是不可能直接把從播送訊號所接收到的立體影像資料(3D影像資料),利用HDMI的數位介面而發送至電視收訊機等之監視器裝置。即使在此情況下,若能夠把HDMI送訊部的版本用某種方法變更成HDMI1.4,就可將從播送訊號所接收到的立體影像資料(3D影像資料),利用HDMI的數位介面,發送至監視器裝置。
圖53係圖示了機上盒200A的構成例。於此圖53中,和圖34對應的部分,係標示同一符號。該機上盒200A係具有:位元串流處理部201H、HDMI端子202、天線端子203、數位選台器204、映像訊號處理電路205、HDMI送訊部206A、聲音訊號處理電路207。
又,該機上盒200A係具有:CPU211A、快閃ROM212、DRAM213、內部匯流排214、遙控器收訊部215、遙控器送訊機216。又,該機上盒200A係具有:3D偵測部261、顯示部262、乙太網路介面263、網路端子264、USB(Universal Serial Bus)介面265、USB端子266。此外,「乙太網路」為註冊商標。
CPU211A,係控制機上盒200A各部的動作。快閃ROM212,係進行控制軟體之儲存及資料之保管。DRAM213,係構成CPU211A之工作區域。CPU211A,係將從快閃ROM212讀出之軟體或資料,展開於DRAM213上而啟動軟體,控制機上盒200A的各部。該CPU211A上係連接有,構成使用者介面的顯示部262。該顯示部262係由例如LCD(Liquid Crystal Display)等所構成。該顯示部262上係顯示著使用者操作狀況、機上盒200A的動作狀態等。
遙控器收訊部215,係將從遙控器送訊機216所發送來之遙控訊號(遙控碼),供給至CPU211A。CPU211A,係基於該遙控碼而控制著機上盒200A的各部。CPU211A、快閃ROM212、DRAM213、乙太網路介面263及USB介面265,係被連接至內部匯流排214。此外,網路端子264係連接至乙太網路介面263,USB端子266係連接至USB介面265。
天線端子203,係用來將未圖示之收訊天線所接收到的電視播送訊號加以輸入的端子。數位選台器204,係將被天線端子203所輸入之電視播送訊號予以處理,將使用者所選擇頻道所對應之播送資料(傳輸串流),加以取得。該播送資料中所含之影像資料,係隨著選擇頻道,而為2維影像資料、或3D影像資料。
為了能夠識別影像資料是否為3D影像資料,在播送資料的標頭部,亦即傳輸串流的私用資訊,或是壓縮串流中,是被插入有3D識別資訊。又,當傳輸串流中所含之影像資料是3D影像資料時,則私用資訊中還會被插入有,用來連接至下載升級用數位介面控制軟體所需之下載伺服器243(參照圖54)的URL(Uniform Resource Locator)資訊。
乙太網路介面263,係透過網路端子264,如圖54所示,而連接至網際網路等網路240。乙太網路介面263,係隨應於使用者操作,而取得可從選單伺服器241接收的內容資訊(詮釋資訊、縮圖等)。該內容資訊係被從乙太網路介面263送往CPU211A,在顯示部262上會顯示出該內容資訊,供使用者選擇操作內容。
各內容之資訊裡,若該內容中所含之影像資料是3D影像資料(立體影像資料)時,亦即若該內容是3D內容時,則含有表示該意旨的資訊。甚至,各內容的資訊中,係當該內容是3D內容時,則還會含有用來連接至下載升級用數位介面控制軟體所需之下載伺服器243(參照圖54)的URL(Uniform Resource Locator)資訊。
又,乙太網路介面263,係從串流伺服器242(參照圖54),將對應於使用者所選擇內容的配送資料,加以接收。該配送資料(傳輸串流)中所含之影像資料,係隨著選擇內容,而為2維影像資料、或3D影像資料。為了能夠識別影像資料是否為3D影像資料,在配送資料的標頭部,亦即系統容器的標頭資訊,或是壓縮串流中,是被插入有3D識別資訊。
位元串流處理部201H,係從數位選台器204所得到的播送資料,或乙太網路介面263所得到的配送資料中,取得影像資料、聲音資料。該位元串流處理部201H,係具備3D偵測部261。該3D偵測部261,係如上述,基於播送資料或配送資料的標頭等中所被插入的3D識別資訊,來識別影像資料是否為3D影像資料。該3D偵測部261,係將該識別資訊,送往CPU211A。
映像訊號處理電路205,係對從位元串流處理部201H所得到的影像資料,因應需要而進行畫質調整處理等,將處理後的影像資料,送往HDMI送訊部206A。此情況下,若影像資料是3D影像資料(立體影像資料)時,則從映像訊號處理電路205往HDMI送訊部206A係供給著,例如,左眼影像資料及右眼影像資料。聲音訊號處理電路207,係對從位元串流處理部201H所得到的聲音資料,因應需要而進行音質調整處理等,將處理後的聲音資料,送往HDMI送訊部206A。
HDMI送訊部206A,係藉由以HDMI為依據的通訊,將基頻的影像與聲音的資料,從HDMI端子202予以送出。HDMI送訊部206A,係由於是以HDMI的TMDS通道進行送訊,因此會將影像及聲音之資料加以打包,輸出至HDMI端子202。該HDMI送訊部206A,係構成了數位介面部。
簡單說明機上盒200A之動作。對位元串流處理部201H係供給著,數位選台器204所得到的收訊資料(播送資料),或乙太網路介面263所得到的收訊資料(播送資料)。在該位元串流處理部201H上,係從收訊資料中,取得影像資料、聲音資料等。
已被位元串流處理部201H所得到的影像資料,係因應需要而在映像訊號處理電路205進行畫質調整處理等之後,供給至HDMI送訊部206A。又,位元串流處理部201H所獲得之聲音資料,係在聲音訊號處理電路207中因應需要而進行音質調整處理等之後,供給至HDMI送訊部206A。在HDMI送訊部206A中,影像及聲音之資料係被打包,輸出至HDMI端子202。
HDMI送訊部206A,假設當初其版本係為例如HDMI1.3。因此,是不可處理3D影像資料之狀態。該HDMI送訊部206A,係在CPU211A的控制下,在所定之時序上,其版本會被變更成可處理3D影像資料的HDMI1.4。
例如,CPU211A係當上述的收訊資料中所含之影像資料是3D影像資料,且電視收訊機300是可處理3D影像資料時,就進行升級處理,將HDMI送訊部206A的版本更新成HDMI1.4。這就意味著,CPU211A係成為狀態變更部而進行控制。CPU211A,係根據來自3D偵測部261的識別資訊,來判斷收訊資料中所含之影像資料是否為3D影像資料。又,CPU211A係根據從電視收訊機300的HDMI收訊部303所讀出的E-EDID的Vender Specific領域內的以“3D_present”所表示的旗標,來判斷電視收訊機300是否可以處理3D影像資料(參照圖52)。
CPU211A,係如圖55、圖56所示,具有:升級管理器271、UI(User Interface)管理器272、HDMI控制器273。HDMI控制器273,係控制著HDMI送訊部206A的動作。該HDMI控制器273,係構成了數位介面控制部。升級管理器271,係進行判斷處理,判斷是否要進行把HDMI送訊部206A的版本變更成HDMI1.4的升級處理。
又,升級管理器271,係在升級處理時,將更新用之數位介面控制軟體(包含Vendor Specific InfoFrame之定義部分的更新),安裝至HDMI控制器273,進行升級。此外,若該升級不成立,則為了能繼續運用以前的控制軟體,HDMI控制器273的軟體儲存記憶體(未圖示),係採用至少雙庫存(2 bank)之構成。UI管理器272,係於升級處理時,將必要之資訊,顯示在顯示部262。
CPU211A,係在進行升級處理之際,若為網路連接狀態(線上狀態)時,則從下載伺服器243(參照圖54)下載更新用之數位介面控制軟體。圖55係圖示了,線上狀態時的升級處理。此時,升級管理器271,係透過乙太網路介面263而連接至下載伺服器243,從該下載伺服器243下載更新用之數位介面控制軟體,安裝至HDMI控制器273。
例如,為了連接至下載伺服器243,升級管理器271係如上述,利用從選單伺服器241所取得的3D內容之資訊中所含有之URL資訊。又,例如,為了連接至下載伺服器243,升級管理器271係如上述,利用播送資料的私用資訊中所被插入的URL資訊。
此外,升級管理器271,係當從下載伺服器243下載更新用之數位介面控制軟體之際,會將含有使用者識別資訊的下載要求,送往下載伺服器243。下載伺服器243,係例如當基於使用者識別資訊而認可其有正當的權限時,才將更新用之數位介面控制軟體,發送至機上盒200A。使用者識別資訊係為,例如,於機上盒200A上,透過網路而進行使用者登錄,就可事先取得。
CPU211A,係在進行升級處理之際,若為非網路連接狀態(離線狀態)時,則從外部記憶體、本實施形態中係為USB記憶體251(參照圖54),讀出更新用之數位介面控制軟體。在該USB記憶體251中係儲存有,事先於PC(Personal Computer)250上從下載伺服器243所下載來的更新用之數位介面控制軟體。
此外,PC250,係當從下載伺服器243下載更新用之數位介面控制軟體之際,會將含有使用者識別資訊的下載要求,送往下載伺服器243。下載伺服器243,係例如當基於使用者識別資訊而認可其有正當的權限時,才將更新用之數位介面控制軟體,發送至PC250。使用者識別資訊係為,例如,於PC250上,透過網路而進行機上盒200A之使用者登錄,就可事先取得。
圖56係圖示了,離線狀態時的升級處理。此時,升級管理器271,係透過USB介面265,從USB記憶體251讀出更新用之數位介面控制軟體,安裝至HDMI控制器273。
圖57的流程圖,係圖示了CPU211A之關於升級之處理的一例。升級管理器271,係在例如,機上盒200A是電源開啟狀態,且以HPD線確認到電視收訊機300之連接的時序上,就進行該處理。
升級管理器271,係於步驟ST1中,開始處理,其後前進至步驟ST2的處理。於該步驟ST2中,升級管理器271,係判斷接收端機器是否支援3D,亦即判斷電視收訊機300是否能夠處理3D影像資料。升級管理器271係根據從電視收訊機300的HDMI收訊部303所讀出的E-EDID的Vender Specific領域內的以“3D_present”所表示的旗標,來判斷電視收訊機300是否可以處理3D影像資料(參照圖52)。
此外,如上述,當以HPD線確認了電視收訊機300之連接時,HDMI送訊部206A係隨應於來自CPU211A(參照圖53)之要求,而從電視收訊機300的HDMI收訊部303讀出E-EDID,送往CPU211A。CPU211A係將該E-EDID,儲存在快閃ROM212或DRAM213中。因此,升級管理器271,係於步驟ST2的判斷中,可參照E-EDID的Vender Specific領域內的以“3D_present”所表示的旗標。
當接收端機器不支援3D時,升級管理器271係立刻前進至步驟ST3,不進行升級處理,結束處理。此外,如此結束處理時,其後,使用者基於來自選單伺服器241的內容資訊所致之選單顯示而選擇了3D內容時,亦可將「目前連接的監視器無法3D顯示」之意旨,顯示在顯示部262上,喚起使用者注意。
在步驟ST2中,當接收端機器是支援3D時,則升級管理器271係前進至步驟ST4之處理。於此步驟ST4中,升級管理器271係判斷,接收端機器的版本,是否大於訊源端機器的版本。升級管理器271為了獲知接收端機器的版本,具體而言,係檢查E-EDID的Vendor Specific InfoFrame Extension的3D_Ext_data,而確認3D_structure的增加部分。此時,升級管理器271係對於電視收訊機300的版本是HDMI1.4時,判斷HDMI送訊部206A的版本是否為不可處理3D影像資料的HDMI1.3。
當HDMI送訊部206A的版本是已經被變更成可處理3D影像資料的HDMI1.4時,升級管理器271係立刻前進至步驟ST3,不進行升級處理,結束處理。另一方面,當HDMI送訊部206A的版本是HDMI1.3時,則升級管理器271係前進至步驟ST5之處理。
於該步驟ST5中,升級管理器271,係判斷位元串流處理部201H上所處理之收訊資料(播送資料或配送資料)中所含之影像資料,是否為3D影像資料。升級管理器271,係基於位元串流處理部201H中所含之3D偵測部261的識別資訊,來判斷影像資料是否為3D影像資料。此外,3D偵測部261,係如上述,基於播送資料或配送資料的標頭等中所被插入的3D識別資訊,來識別影像資料是否為3D影像資料。
當影像資料不是3D影像資料時,升級管理器271係立刻前進至步驟ST3,不進行升級處理,結束處理。另一方面,當影像資料室3D影像資料時,則升級管理器271係前進至步驟ST6,進入升級處理。
此外,CPU211A係亦可不進行圖57之流程圖,改進行圖58之流程圖的處理。於此圖58中,和圖57對應的部分,係標示同一符號。升級管理器271,係當步驟ST4中接收端機器的版本是大於訊源端機器的版本時,亦即HDMI送訊部206A的版本是HDMI1.3時,前進至步驟ST7之處理。
於該步驟ST7中,升級管理器271,係基於來自選單伺服器241的內容資訊所作的選單顯示,來判斷是否選擇了2D內容(影像資料是2維影像資料的內容)。當2D內容是被選擇時,升級管理器271係立刻前進至步驟ST3,不進行升級處理,結束處理。另一方面,當2D內容未被選擇時,則升級管理器271係前進至步驟ST5之處理。
於該圖58的流程圖中,其他部分係和圖57的流程圖相同。如該圖58的流程圖,藉由含有步驟ST7的判斷處理,當2D內容被選擇時,就可不必進行步驟ST5的判斷處理,立刻就能結束處理。
圖59的流程圖係圖示了CPU211A的升級處理(圖58、圖59的步驟ST6之處理)的一例。CPU211A,係於步驟ST11中,開始升級處理,其後前進至步驟ST12的處理。
於該步驟ST12中,UI管理器272,係在顯示部262上顯示將進入數位介面控制軟體之更新處理。又,升級管理器271係於步驟ST13中,檢查是否處於網路連接環境(線上狀態)。然後,升級管理器271係於步驟ST14中,判斷是否連接網路。
當有連接網路時,升級管理器271係於步驟ST15中,透過乙太網路介面263而連接至下載伺服器243。然後,升級管理器271係於步驟ST16中,向下載伺服器243,請求含有Vendor Specific InfoFrame之定義部分的更新用之數位介面控制軟體的下載。該請求資訊中係含有使用者識別資訊。下載伺服器243,係例如當基於該使用者識別資訊而認可其有正當的權限時,才將更新用之數位介面控制軟體,發送至機上盒200A。
接著,UI管理器272係於步驟ST17中,在顯示部262上,顯示目前正在下載更新用之數位介面控制軟體中之事實。然後,升級管理器271係於步驟ST18中,從下載伺服器243接收更新用之數位介面控制軟體,安裝至HDMI控制器273。
接著,UI管理器272係於步驟ST19中,將HDMI數位介面的最新狀況,顯示在顯示部262。例如,在步驟ST18的處理中若升級成立時,則顯示版本為HDMI1.4,但在步驟ST18的處理中若因某種問題導致升級不成立時則顯示版本為HDMI1.3。CPU211A,係在步驟ST19之處理後,於步驟ST20中,結束處理。
又,當步驟ST14中未連接網路時,UI管理器272,係於步驟ST21中,在顯示部262進行顯示,指示將記憶有更新用之數位介面控制軟體的USB記憶體(外部記憶體)251作連接。然後,升級管理器271係於步驟ST22中,判斷是否有USB記憶體251被連接。
當USB記憶體251未被連接時,升級管理器271係於步驟ST23中,判斷是否逾時,或是有使用者的中止操作。當有逾時、或使用者的中止操作之任一者時,UI管理器272係立刻前進至步驟ST19,顯示HDMI數位介面的最新狀況。此時,HDMI控制器273的數位介面控制軟體係未被更新,升級並不成立,因此會顯示版本為HDMI1.3。CPU211A,係在步驟ST19之處理後,於步驟ST20中,結束處理。
又,在步驟ST22中有USB記憶體251被連接時,則升級管理器271,係於步驟ST24中,透過USB介面265,從USB記憶體251讀出更新用之數位介面控制軟體,安裝至HDMI控制器273。
然後,UI管理器272係於步驟ST19中,在顯示部262上顯示HDMI數位介面的最新狀況。例如,在步驟ST24的處理中若升級成立時,則顯示版本為HDMI1.4,但在步驟ST24的處理中若因某種問題導致升級不成立時則顯示版本為HDMI1.3。CPU211A,係在步驟ST19之處理後,於步驟ST20中,結束處理。
此外,圖60的流程圖係圖示,PC250上的下載處理之一例。PC250,係於步驟ST31中,開始下載處理,其後,進入步驟ST32的處理。
於該步驟ST32中,PC250係連接至下載伺服器243。然後,PC250係於步驟ST33中,向下載伺服器243,請求含有Vendor Specific InfoFrame之定義部分的更新用之數位介面控制軟體的下載。該請求資訊中係含有使用者識別資訊。下載伺服器243,係例如當基於該使用者識別資訊而認可其有正當的權限時,才將更新用之數位介面控制軟體,發送至PC250。
接著PC250係於步驟ST34中,從下載伺服器243接收更新用之數位介面控制軟體,記憶在USB記憶體251中。PC250,係在步驟ST34之處理後,於步驟ST35中,結束處理。
如上述,在圖1所示的立體影像顯示系統10中,是基於視差資訊,而對要重疊於左眼影像及右眼影像的同一重疊資訊(隱藏式字幕資訊、字幕資訊等),賦予視差。因此,作為被重疊至左眼影像及右眼影像的同一重疊資訊,可使用相應於影像內各物體(物件)之遠近感而施以視差調整過者,於重疊資訊的顯示時,就可保持與影像內各物體之間的遠近感之整合性。
又,於圖53所示的機上盒200A中,即使HDMI送訊部206A的版本最初是HDMI1.3而為不能處理3D影像資料的狀態下,仍可因應需要,將其版本變更成HDMI1.4。因此,將收訊影像資料的3D影像資料,以HDMI數位介面,發送至可處理3D影像資料之電視收訊機300的必要性,係可良好地對應之。
<2.變形例>
此外,於上述實施形態中,是從播送台100側往機上盒200,發送著影像內的所定位置之視差向量。此情況下,機上盒200係不需要基於所接收到的立體影像資料中所含之左眼影像資料及右眼影像資料來獲得視差向量,機上盒200的處理會變得簡單。
可是,亦可考慮,在立體影像資料的收訊側,在上述實施形態中是在機上盒200中,配置與圖2的送訊資料生成部110中的視差向量偵測部114同等的視差向量偵測部。此時,即使沒有視差向量被送過來,仍可進行使用視差向量之處理。
圖61係圖示了例如,被設在機上盒200中的位元串流處理部201F的構成例。於此圖61中,和圖35對應的部分係標示同一符號,並省略其詳細說明。在該位元串流處理部201F中,係取代了圖35所示的位元串流處理部201中的視差向量解碼器225,改為配置了視差向量偵測部237。
該視差向量偵測部237,係基於視訊解碼器221所獲得之構成立體影像資料的左眼影像資料及右眼影像資料,而偵測出影像內的所定位置上的視差向量。然後,該視差向量偵測部237,係將所測出的視差向量,供給至立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器輸出控制部229。
詳細說明雖然省略,但該圖61所示的位元串流處理部201F的其他部分,係和圖35所示的位元串流處理部201同樣構成,同樣動作。
又,圖62係圖示了例如,被設在機上盒200中的位元串流處理部201G的其他構成例。於此圖62中,與圖35、圖39相對應的部分係標示同一符號,並省略其詳細說明。在該位元串流處理部201G中,係取代了圖39所示的位元串流處理部201C中的視差資訊取出部232、視差向量解碼器225,改為配置了視差向量偵測部237。
該視差向量偵測部237,係基於視訊解碼器221所獲得之構成立體影像資料的左眼影像資料及右眼影像資料,而偵測出影像內的所定位置上的視差向量。然後,該視差向量偵測部237,係將所測出的視差向量,供給至立體影像用隱藏式字幕產生部234、立體影像用字幕‧圖形產生部226、立體影像用文字產生部227及多聲道揚聲器控制部229。
詳細說明雖然省略,但該圖62所示的位元串流處理部201G的其他部分,係和圖39所示的位元串流處理部201C同樣構成,同樣動作。
又,於上述實施形態中係展示了,立體影像顯示系統10是由播送台100、機上盒200及電視收訊機300所構成。可是,電視收訊機300係如圖42所示,具備與機上盒200內的位元串流處理部201同等機能的位元串流處理部306。因此,如圖63所示,亦可考慮由播送台100及電視收訊機300所構成的立體影像顯示系統10A。
又,於上述實施例中係展示了,含有立體影像資料的資料串流(位元串流資料),是從播送台100被播送出來的例子。可是,本發明係當然也可同樣適用於,該資料串流是利用網際網路等網路而被配送至收訊終端之構成的系統中。
此外,在上述的圖53所示的機上盒200A中,係在電源開啟狀態下,且以HPD線確認了電視收訊機300之連接的時序上,判斷HDMI控制器273的數位介面控制軟體的升級是否必要。然後,當收訊影像資料是3D影像資料,且電視收訊機(監視器裝置)300是可處理3D影像資料時,才進行升級處理。可是,該升級處理的時序及條件,係不限定於此。例如亦可設計成,基於來自選單伺服器241的選單資訊而選擇3D內容的階段時,就可立刻進行升級處理。
又,在上述的圖53所示的機上盒200A中係展示了,在進行升級處理之際,使用本身或PC250從下載伺服器243所下載來的更新用之數位介面控制軟體。可是,該更新用之數位介面控制軟體亦可由其他方法取得,來進行升級處理。例如,亦可將該更新用之數位介面控制軟體,事先就儲存在快閃ROM212中。又,例如,亦可讓使用者購入儲存有該更新用之數位介面控制軟體的USB記憶體、記憶卡等外部記憶體。
又,在上述的圖53所示的機上盒200A中,UI管理器272係於升級處理時,將必要之資訊,顯示在機上盒200A的顯示部262。可是,UI管理器272係亦可為,產生用來顯示該必要資訊所需之UI顯示用的影像資料,將該影像資料以HDMI數位介面發送至電視收訊機300側,使其顯示在顯示面板309(參照圖42)。
又,上述中,作為將HDMI送訊部之版本在所定之時序上從HDMI1.3變更成HDMI1.4的訊源端機器的例子,是如圖53所示,展示了機上盒200A。可是,能夠帶有此種機能的訊源端機器,並不限定於機上盒,亦可考慮例如BD或DVD等之碟片播放機,甚至是遊戲機等。於這些訊源端機器中,即使當初HDMI送訊部的版本是HDMI1.3,其後,當想要處理3D影像資料的時候,藉由進行升級處理,就可將3D影像資料發送至接收端機器。
又,上述係展示了,將數位介面的升級處理,適用於HDMI數位介面。可是,於同樣的數位介面(除了有線以外也包含無線)中,本發明當然也可適用。
此外,本案係參照日本專利申請第2009-153686號。
[產業上利用之可能性]
本發明係可適用於,例如,使用HDMI數位介面等之數位介面來發送影像資料的影像顯示系統等。
10,10A...立體影像顯示系統
100...播送台
110,110A~100E...送訊資料生成部
111L,111R...攝影機
112...視訊畫格化部
113...視訊編碼器
113a...串流格式化器
114...視差向量偵測部
115...視差向量編碼器
116...麥克風
117...音訊編碼器
118...字幕‧圖形產生部
119...字幕‧圖形編碼器
120...文字產生部
121...文字編碼器
122...多工器
124...字幕‧圖形處理部
125...文字處理部
126...控制器
127...CC編碼器
128...Z資料部
129...視差資訊編碼器
130...CC資料處理部
200,200A...機上盒
201,201A~201G,201H...位元串流處理部
202...HDMI端子
203...天線端子
204...數位選台器
205...映像訊號處理電路
206,206A...HDMI送訊部
207...聲音訊號處理電路
211,211A...CPU
212...快閃ROM
213...DRAM
214...內部匯流排
215...遙控器收訊部
216...遙控器送訊機
220...解多工器
221...視訊解碼器
222...字幕‧圖形解碼器
223...文字解碼器
224...音訊解碼器
225...視差向量解碼器
226...立體影像用字幕‧圖形產生部
227...立體影像用文字產生部
228...視訊重疊部
229...多聲道揚聲器控制部
231...視差向量取出部
232...視差資訊取出部
233...CC解碼器
234...立體影像用隱藏式字幕產生部
235...視差資訊取出部
236...CC解碼器
237...視差向量偵測部
240...網路
241...選單伺服器
242...串流伺服器
243...下載伺服器
250...PC
251...USB記憶體
261...3D偵測部
262...顯示部
263...乙太網路介面
264...網路端子
265...USB介面
266...USB端子
271...升級管理器
272...UI管理器
273...HDMI控制器
300...電視收訊機
301...3D訊號處理部
302...HDMI端子
303...HDMI收訊部
304...天線端子
305...數位選台器
306...位元串流處理部
307...映像訊號處理電路
308...面板驅動電路
309...顯示面板
310...聲音訊號處理電路
311...聲音增幅電路
312...揚聲器
321...CPU
322...快閃ROM
323...DRAM
324...內部匯流排
325...遙控器收訊部
326...遙控器送訊機
400...HDMI纜線
[圖1]本發明之實施形態的立體影像顯示系統之構成例的區塊圖。
[圖2]播送台中的送訊資料生成部之構成例的區塊圖。
[圖3]1920×1080p之像素格式的影像資料的圖示。
[圖4]用來說明立體影像資料(3D影像資料)之傳輸方式的「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式的圖。
[圖5]相對於左眼影像的右眼影像之視差向量偵測例的說明圖。
[圖6]以區塊比對方式求出視差向量的說明圖。
[圖7]被視差向量偵測部所偵測出來的影像內所定位置上的視差向量VV之一例的圖示。
[圖8]視差向量之傳輸內容的圖示。
[圖9]視差偵測區塊例子,和此時的視差向量之傳輸內容的圖示。
[圖10]偵測出視差向量而進行傳輸之時序之例子的說明圖。
[圖11]偵測出視差向量而進行傳輸之時序之例子的說明圖。
[圖12]於送訊資料生成部中被多工化的各資料之串流例的圖示。
[圖13]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖14]傳輸方式是第1傳輸方式(「Top & Bottom」方式)時,左眼圖形資訊及右眼圖形資訊的重疊位置等的說明圖。
[圖15]傳輸方式是第1傳輸方式(「Top & Bottom」方式)時,左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖16]傳輸方式是第2傳輸方式(「Side By Side」方式)時,左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖17]傳輸方式是第2傳輸方式(「Side By Side」方式)時,左眼圖形資訊及右眼圖形資訊的生成方法的說明圖。
[圖18]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖19]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖20]「Location」、「Region大小」之資訊的說明圖。
[圖21]輸出各重疊資訊之視差資訊的Z資料部之構成例的區塊圖。
[圖22]視訊元素串流之構造例的概略性圖示。
[圖23]MPEG2、H.264 AVC、VC-1之各編碼方式中的使用者資料之構成例的圖示。
[圖24]含有視差資訊(視差向量)的「user_structure」之構成例的圖示。
[圖25]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖26]播送台中的送訊資料生成部之其他構成例的區塊圖。
[圖27]傳輸方式是第2傳輸方式(「Side By Side」方式)時,左眼圖形資訊及右眼圖形資訊之重疊位置的圖示。
[圖28]對於左眼影像、右眼影像,將從位元串流資料中所抽出的以先前方法而傳輸的圖形資料所致之圖形影像,直接做重疊之狀態的圖示。
[圖29]時刻T0,T1,T2,T3上的3個物件位置之視差向量(View Vector)的圖示。
[圖30]影像上的字幕(圖形資訊)的顯示例,和背景、近景物件、字幕之遠近感的圖示。
[圖31]影像上的字幕(圖形資訊)的顯示例,和用來顯示字幕所需的左眼圖形資訊LGI及右眼圖形資訊RGI的圖示。
[圖32]作為視差向量,是使用在影像內複數位置所偵測到的視差向量當中,對應於該重疊位置者的說明圖。
[圖33]影像內存在A,B,C各物件,在這些各物件的附近位置,重疊表示各物件之注釋的文字資訊的圖示。
[圖34]構成立體影像顯示系統的機上盒之構成例的區塊圖。
[圖35]構成機上盒的位元串流處理部之構成例的區塊圖。
[圖36]視差向量VV1是當面向電視顯示器而左側的視訊物件較大時的揚聲器輸出控制例的圖示。
[圖37]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖38]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖39]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖40]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖41]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖42]構成立體影像顯示系統的電視收訊機之構成例的區塊圖。
[圖43]HDMI送訊部(HDMI訊源端)與HDMI收訊部(HDMI接收端)之構成例的區塊圖。
[圖44]構成HDMI送訊部的HDMI發送器,與構成HDMI收訊部的HDMI接收器之構成例的區塊圖。
[圖45]TMDS傳輸資料的構造例(橫×縱為1920像素×1080掃描線的影像資料傳輸時)的圖示。
[圖46]訊源端機器及接收端機器的HDMI纜線所連接的HDMI端子的腳位排列(A型)的圖示。
[圖47]立體影像資料的TMDS傳輸資料結構之一的畫格打包方式之3D視訊格式的圖示。
[圖48]立體影像資料的TMDS傳輸資料結構之一的逐線抉擇方式之3D視訊格式的圖示。
[圖49]立體影像資料的TMDS傳輸資料結構之一的並肩式(Full)方式之3D視訊格式的圖示。
[圖50]HDMI Vendor Specific InfoFrame封包構造例的圖示。
[圖51]E-EDID之資料結構例的圖示。
[圖52]Vender Specific領域(HDMI Vendor Specific Data Block)之資料結構例的圖示。
[圖53]機上盒之構成例的區塊圖。
[圖54]機上盒與下載伺服器等之連接關係的圖示。
[圖55]線上狀態時的數位介面控制軟體之升級處理的說明圖。
[圖56]離線狀態時的數位介面控制軟體之升級處理的說明圖。
[圖57]機上盒的CPU中關於升級之處理之一例的流程圖。
[圖58]機上盒的CPU中關於升級之處理之另一例的流程圖。
[圖59]機上盒的CPU中的升級處理之一例的流程圖。
[圖60]PC中的更新用之數位介面控制軟體之下載處理之一例的流程圖。
[圖61]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖62]構成機上盒的位元串流處理部之其他構成例的區塊圖。
[圖63]立體影像顯示系統之其他構成例的區塊圖。
[圖64]利用兩眼視差之立體影像顯示時,於螢幕上的物件的左右像之顯示位置、與該立體像之再生位置的關係之圖示。
211A...CPU
243...下載伺服器
263...乙太網路介面
261...3D偵測部
271...升級管理器
272...UI管理器
273...HDMI控制器
206A...HDMI送訊部
262...顯示部

Claims (9)

  1. 一種影像資料送訊裝置,係屬於向外部機器發送影像資料的影像資料送訊裝置,其特徵為,具備:資料收訊部,係接收上記影像資料,並判定上記影像資料是否為立體(3D)影像資料還是2D影像資料;和數位介面部;和狀態變更部,係判定上記外部機器是否能夠處理立體影像資料,(i)若上記資料收訊部所接收到的上記影像資料是被判定為立體影像資料,且上記外部機器是被判定為能夠處理立體影像資料者,則將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(ii)若上記外部機器被判定為是不能處理立體影像資料者,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(iii)若上記資料收訊部所接收到的上記影像資料被判定為是2D影像資料,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
  2. 如申請專利範圍第1項所記載之影像資料送訊裝置,其中,上記資料收訊部,係從串流伺服器透過網路而接收上記影像資料。
  3. 如申請專利範圍第1項所記載之影像資料送訊裝置,其中,上記資料收訊部,係從播送訊號接收上記影像資料。
  4. 如申請專利範圍第1項所記載之影像資料送訊裝置,其中,更具備:數位介面控制部,係控制上記數位介面部的動作;上記狀態變更部,係藉由將更新用之數位介面控制軟體安裝至上記數位介面控制部,以將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
  5. 如申請專利範圍第4項所記載之影像資料送訊裝置,其中,更具備:網路介面部,係用以透過網路而連接下載伺服器;上記狀態變更部,係將透過上記網路介面部而從上記下載伺服器所下載到的上記更新用之數位介面控制軟體,安裝至上記數位介面控制部。
  6. 如申請專利範圍第4項所記載之影像資料送訊裝置,其中,更具備:外部記憶體介面部,係用以連接外部記憶體;上記狀態變更部,係將透過上記外部記憶體介面部而從上記外部記憶體所讀出的上記更新用之數位介面控制軟體,安裝至上記數位介面控制部。
  7. 如申請專利範圍第1項所記載之影像資料送訊裝置,其中, 上記數位介面部,係被變更成可處理上記立體影像資料之狀態,當作為上記影像資料是發送立體影像資料時,在該影像資料的遮沒期間,插入用來表示這是立體影像資料的識別資訊。
  8. 一種控制方法,係屬於控制著向外部機器發送影像資料之數位介面部的控制方法,其特徵為,具備:接收上記影像資料,判定上記影像資料是否為立體(3D)影像資料還是2D影像資料之步驟;和判定上記外部機器是否可以處理立體影像資料之步驟;和狀態變更步驟,係(i)上記資料收訊部所接收到的上記影像資料是被判定為立體影像資料,且上記外部機器是被判定為能夠處理立體影像資料者,則將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(ii)若上記外部機器被判定為是不能處理立體影像資料者,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(iii)若上記資料收訊部所接收到的上記影像資料被判定為是2D影像資料,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
  9. 一種程式,其特徵為,係使控制著向外部機器發送影像資料之數位介面部的電腦,執行: 接收上記影像資料,判定上記影像資料是否為立體(3D)影像資料還是2D影像資料之步驟;和判定上記外部機器是否可以處理立體影像資料之步驟;和狀態變更步驟,係(i)上記資料收訊部所接收到的上記影像資料是被判定為立體影像資料,且上記外部機器是被判定為能夠處理立體影像資料者,則將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(ii)若上記外部機器被判定為是不能處理立體影像資料者,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態;(iii)若上記資料收訊部所接收到的上記影像資料被判定為是2D影像資料,則不將上記數位介面部,從不可處理立體影像資料之狀態,變更成可處理該立體影像資料之狀態。
TW99118574A 2009-06-29 2010-06-08 Image data transmission device, control method and program TWI452892B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009153686 2009-06-29
JP2009260367A JP2011030179A (ja) 2009-06-29 2009-11-13 画像データ送信装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
TW201119352A TW201119352A (en) 2011-06-01
TWI452892B true TWI452892B (zh) 2014-09-11

Family

ID=43410929

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99118574A TWI452892B (zh) 2009-06-29 2010-06-08 Image data transmission device, control method and program

Country Status (9)

Country Link
US (1) US20110141232A1 (zh)
EP (1) EP2451166A1 (zh)
JP (1) JP2011030179A (zh)
KR (1) KR20120097314A (zh)
CN (1) CN102172034A (zh)
BR (1) BRPI1004213A2 (zh)
RU (1) RU2487490C2 (zh)
TW (1) TWI452892B (zh)
WO (1) WO2011001852A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2012147160A (ja) * 2011-01-11 2012-08-02 Nec Personal Computers Ltd 立体画像処理装置
JP4970607B1 (ja) 2011-04-27 2012-07-11 株式会社東芝 送信装置、受信装置及び伝送方法
US9467675B2 (en) * 2011-08-05 2016-10-11 Sharp Kabushiki Kaisha Three-dimensional image data generating method and three-dimensional image data generating device
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
JP5779483B2 (ja) * 2011-11-15 2015-09-16 株式会社ソシオネクスト 画像処理装置、及び画像処理方法
WO2013114887A1 (en) 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information
EP2683168B1 (en) 2012-02-16 2019-05-01 Sony Corporation Transmission device, transmission method and receiver device
KR20130111851A (ko) * 2012-04-02 2013-10-11 엘지전자 주식회사 스마트 기능이 업그레이드 가능한 디스플레이 장치 및 그 제어 방법
JP6064529B2 (ja) * 2012-11-07 2017-01-25 株式会社リコー 情報処理装置
EP2899643A1 (en) * 2014-01-22 2015-07-29 Harman Becker Automotive Systems GmbH Multimedia switch box
JP6516480B2 (ja) * 2015-01-19 2019-05-22 キヤノン株式会社 表示装置、表示システム及び表示方法
EP3481070B1 (en) * 2016-06-30 2021-11-17 Sony Semiconductor Solutions Corporation Transmission device, transmission method, reception device, and reception method
CN110603573B (zh) * 2017-04-11 2022-12-09 株式会社马斯科图 虚拟现实提供系统、三维显示数据提供装置、虚拟空间提供系统和程序
KR102504142B1 (ko) * 2017-10-25 2023-02-27 엘지디스플레이 주식회사 표시장치
KR102476605B1 (ko) * 2018-05-11 2022-12-13 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7003079B2 (ja) * 2019-03-14 2022-01-20 株式会社東芝 電子機器
CN111954062A (zh) * 2020-07-14 2020-11-17 西安万像电子科技有限公司 信息处理方法及装置
WO2022152320A1 (zh) * 2021-01-14 2022-07-21 海信视像科技股份有限公司 显示设备、音画参数调节方法
CN113485780B (zh) * 2021-07-22 2022-04-29 辽宁向日葵教育科技有限公司 一种基于web服务器的桌面传输方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050010944A1 (en) * 2003-05-20 2005-01-13 Wright David H. Method and apparatus for detecting time-compressed broadcast content
US20050086318A1 (en) * 2001-12-20 2005-04-21 France Telecom Method for transmitting objects between a server and a client terminal using cache management, corresponding transmission, server and terminal
US20080225114A1 (en) * 2005-08-19 2008-09-18 Koninklijke Philips Electronics, N.V. Stereoscopic Display Apparatus
US20080244669A1 (en) * 2007-03-26 2008-10-02 The Directv Group, Inc. Method and system for marking video signals for identification
CA2692538A1 (en) * 2007-07-10 2009-01-15 Agency 9 Ab System for handling graphics

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1762292A1 (ru) * 1990-02-26 1992-09-15 Ленинградское Научно-Производственное Объединение "Электронмаш" Блок согласовани дл системы цифрового управлени
JPH0713544A (ja) * 1993-06-28 1995-01-17 Olympus Optical Co Ltd 映像信号判別装置およびそれを用いる映像表示自動切替装置
US20040027267A1 (en) * 2002-03-22 2004-02-12 Rousso Armand M. 3D entertainment system
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
RU2407224C2 (ru) * 2005-04-19 2010-12-20 Конинклейке Филипс Электроникс Н.В. Восприятие глубины
CN1870717A (zh) * 2005-05-27 2006-11-29 上海金士林数码科技有限公司 一种网络电视用机顶盒
JP2007124090A (ja) * 2005-10-26 2007-05-17 Renesas Technology Corp 情報機器
KR100893616B1 (ko) * 2006-04-17 2009-04-20 삼성모바일디스플레이주식회사 전자 영상 기기, 2d/3d 영상 표시 장치 및 그 구동방법
JP2008104131A (ja) * 2006-09-21 2008-05-01 Sony Computer Entertainment Inc 情報処理装置、映像表示方法およびos実行方法
JP4459215B2 (ja) * 2006-11-09 2010-04-28 株式会社ソニー・コンピュータエンタテインメント ゲーム装置および情報処理装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
CN201259593Y (zh) * 2008-08-13 2009-06-17 天马微电子股份有限公司 2d/3d切换型液晶显示装置
US8214654B1 (en) * 2008-10-07 2012-07-03 Nvidia Corporation Method and system for loading a secure firmware update on an adapter device of a computer system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086318A1 (en) * 2001-12-20 2005-04-21 France Telecom Method for transmitting objects between a server and a client terminal using cache management, corresponding transmission, server and terminal
US20050010944A1 (en) * 2003-05-20 2005-01-13 Wright David H. Method and apparatus for detecting time-compressed broadcast content
US20080225114A1 (en) * 2005-08-19 2008-09-18 Koninklijke Philips Electronics, N.V. Stereoscopic Display Apparatus
US20080244669A1 (en) * 2007-03-26 2008-10-02 The Directv Group, Inc. Method and system for marking video signals for identification
CA2692538A1 (en) * 2007-07-10 2009-01-15 Agency 9 Ab System for handling graphics

Also Published As

Publication number Publication date
WO2011001852A1 (ja) 2011-01-06
KR20120097314A (ko) 2012-09-03
EP2451166A1 (en) 2012-05-09
RU2011105390A (ru) 2012-08-20
BRPI1004213A2 (pt) 2016-08-16
TW201119352A (en) 2011-06-01
JP2011030179A (ja) 2011-02-10
US20110141232A1 (en) 2011-06-16
CN102172034A (zh) 2011-08-31
RU2487490C2 (ru) 2013-07-10

Similar Documents

Publication Publication Date Title
TWI452892B (zh) Image data transmission device, control method and program
JP5531972B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
JP5407957B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
JP5407968B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
WO2011001854A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011166757A (ja) 送信装置、送信方法および受信装置
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees