[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5267334B2 - 3D image display apparatus and 3D image display method - Google Patents

3D image display apparatus and 3D image display method Download PDF

Info

Publication number
JP5267334B2
JP5267334B2 JP2009129007A JP2009129007A JP5267334B2 JP 5267334 B2 JP5267334 B2 JP 5267334B2 JP 2009129007 A JP2009129007 A JP 2009129007A JP 2009129007 A JP2009129007 A JP 2009129007A JP 5267334 B2 JP5267334 B2 JP 5267334B2
Authority
JP
Japan
Prior art keywords
video
data
stereoscopic
information
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009129007A
Other languages
Japanese (ja)
Other versions
JP2010278743A (en
Inventor
沙智子 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2009129007A priority Critical patent/JP5267334B2/en
Publication of JP2010278743A publication Critical patent/JP2010278743A/en
Application granted granted Critical
Publication of JP5267334B2 publication Critical patent/JP5267334B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce a burden on eyes, and to obtain more natural three-dimensional video display by correctly forming an image of information video data even in the case that the information video data whose three-dimensional vision is not considered are superposed to three-dimensional video data. <P>SOLUTION: A three-dimensional video display apparatus includes: a video acquisition part 150 for acquiring three-dimensional video data 134, 140; a line sequential part 154 for generating three-dimensional display data 142 from the three-dimensional video data; a horizontal parallax vector derivation part 158 for deriving a horizontal parallax vector between a left eye image and a right eye image; an information image adjustment part 160 for generating a control signal 182 based on the derived horizontal parallax vector; an image superposition part 162 for superposing the information video data to the three-dimensional display data according to the control signal; and an image output part 164 for outputting the three-dimensional display data to which the information video data are superposed. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

本発明は、両眼視差による立体映像をディスプレイに表示することが可能な立体映像表示装置および立体映像表示方法に関する。   The present invention relates to a stereoscopic video display device and a stereoscopic video display method capable of displaying stereoscopic video based on binocular parallax on a display.

近年、ディスプレイ上に視差のある2以上の映像を提示し、観察者に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像表示装置が脚光を浴びている。このような映像表示を実現するための立体映像データには様々なフォーマットが存在し、また、最終的な表示に至ってもディスプレイに応じて様々な表示形式が存在する。立体映像表示装置は、そのような立体映像データのフォーマットをディスプレイに合わせた表示形式(立体表示データ)に変換する役割を担う。   2. Description of the Related Art In recent years, stereoscopic image display devices that present two or more images with parallax on a display and perceive the viewer as if the object exists stereoscopically have attracted attention. There are various formats for stereoscopic video data for realizing such video display, and there are various display formats depending on the display even when the final display is reached. The stereoscopic video display device plays a role of converting the format of such stereoscopic video data into a display format (stereoscopic display data) adapted to the display.

立体映像表示装置に入力される立体映像データの一例として、有効映像の左半分に左眼映像、右半分に右眼映像を有するサイドバイサイド方式が利用されている。かかるサイドバイサイド方式では、右眼映像と左眼映像とが、1対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整され、それぞれ異なる映像として分割形成されている。また、ディスプレイの一例として、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられているものもある。   As an example of stereoscopic video data input to the stereoscopic video display device, a side-by-side method is used in which a left-eye video is displayed on the left half of the effective video and a right-eye video is displayed on the right half. In such a side-by-side method, the right-eye video and the left-eye video are individually captured by a pair of cameras, or adjusted so as to generate binocular parallax, and are separately formed as different videos. Further, as an example of a display, there is a display provided with polarizing filters having different polarization characteristics every other line (for each line).

立体映像表示装置は、このようなサイドバイサイド方式における左眼映像および右眼映像の各水平ラインを交互に並置(以下、単にラインシーケンシャル処理と呼ぶ。)して隔行で偏光特性が異なるディスプレイに表示するための立体表示データを生成する。観察者は、偏光眼鏡を通じて、隔行のラインに示された左眼映像を左眼で、右眼映像を右眼で視認し、両眼視差による立体映像を認識することが可能となる。   The stereoscopic video display device displays the left-eye video and right-eye video horizontal lines in such a side-by-side format alternately on each other (hereinafter simply referred to as line sequential processing) and displays them on a display having different polarization characteristics. 3D display data is generated. The observer can visually recognize the left-eye image shown in the alternate line with the left eye and the right-eye image with the right eye through the polarizing glasses, and recognize the stereoscopic image based on the binocular parallax.

一方、立体映像表示装置は、入力された立体映像データに関する情報映像データ、例えば、それがテレビジョン放送であればその放送チャンネルを示すOSD(On Screen Display)等を表示することができる。例えば、特許文献1では、立体映像を表示可能なディスプレイの任意の位置にOSDを重畳する技術が記載されている。   On the other hand, the stereoscopic video display device can display information video data related to the input stereoscopic video data, for example, an OSD (On Screen Display) indicating the broadcast channel if it is a television broadcast. For example, Patent Document 1 describes a technique for superimposing an OSD on an arbitrary position of a display capable of displaying a stereoscopic video.

特開平9−23450号公報Japanese Patent Laid-Open No. 9-23450

しかし、立体映像表示装置が、右眼映像と左眼映像とに分割形成された立体映像データに対して、図20(a)に示すように情報映像データ10を単純に重畳してしまうと、その後のラインシーケンシャル処理によって、図20(b)に示すように、意図していない不連続な映像12が表示され、偏光眼鏡を通じても像を結ぶことなく、表示内容が理解できないばかりか、その映像が無用に発光して眼に負担を強いることとなる。   However, when the stereoscopic video display device simply superimposes the information video data 10 on the stereoscopic video data divided into the right eye video and the left eye video as shown in FIG. In the subsequent line sequential processing, as shown in FIG. 20 (b), an unintended discontinuous image 12 is displayed, and the display content is not understood without connecting the image through the polarizing glasses. Emits light unnecessarily and places a burden on the eyes.

本発明は、このような課題に鑑み、立体視を考慮していない情報映像データを立体映像データに重畳する場合であっても、その情報映像データを正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能な、立体映像表示装置および立体映像表示方法を提供することを目的としている。   In view of such a problem, the present invention, even when information video data that does not take stereoscopic vision into consideration is superimposed on stereoscopic video data, the information video data is correctly imaged so that the burden on the eyes is reduced. It is an object of the present invention to provide a stereoscopic video display device and a stereoscopic video display method capable of reducing the above and realizing a more natural stereoscopic video display.

上記課題を解決するために、本発明は、互いに視差を生じるように生成された左眼映像右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得する映像取得部と、取得された立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、取得された立体映像データの左眼映像と右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を分割された各ブロックの水平方向のシフト量とし、算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を立体映像データの水平方向のシフト量として導出する水平方向シフト量導出部と、左眼映像及び右眼映像のそれぞれに重畳されるべき情報映像データについて、左眼映像に重畳される情報映像データの位置が、右眼映像に重畳される情報映像データの位置に対して、導出された立体映像データの水平方向のシフト量の2倍のシフト量で水平方向にシフトされるように制御信号を生成する情報映像調整部と、制御信号に従って立体表示データに情報映像データを重畳する映像重畳部と、情報映像データが重畳された立体表示データを出力する映像出力部と、を備えることを特徴とする立体映像表示装置を提供するIn order to solve the above-described problem, the present invention includes a left-eye image and a right-eye image generated so as to generate a parallax, and an image acquisition unit that acquires stereoscopic image data generated in a side-by-side manner, and an acquisition and juxtaposed horizontal line of the left-eye and right-eye images in the stereoscopic image data alternately, and the line sequential unit for generating stereoscopic display data to be displayed on the display, the left eye image of the stereoscopic image data obtained And the right-eye image are divided into blocks of a predetermined size, and the corresponding blocks are shifted relative to each other in the horizontal direction to derive a horizontal shift amount that minimizes the difference between the evaluation values of the corresponding blocks. The calculated horizontal shift amount is the horizontal shift amount of each divided block, and the calculated average value of the horizontal shift amount of each block is the maximum. Values, and the horizontal shift amount derivation unit that derives a horizontal shift amount of the stereoscopic image data to any one of the values of the maximum value, the information image to be superimposed on each of the left eye image and the right eye image Regarding the data, the position of the information video data superimposed on the left-eye video is shifted twice the horizontal shift amount of the derived stereoscopic video data with respect to the position of the information video data superimposed on the right-eye video. An information video adjusting unit that generates a control signal so as to be shifted in the horizontal direction by an amount, a video superimposing unit that superimposes information video data on stereoscopic display data according to the control signal, and stereoscopic display data on which the information video data is superimposed And a video output unit that outputs the stereoscopic video display device .

ここでは、サイドバイサイド方式で生成された立体映像データの左眼映像と右眼映像との水平方向シフト量を求め、その水平方向シフト量に基づいて制御信号を生成し、その制御信号に従って、立体視可能に変換されている立体表示データに情報映像データを重畳する。即ち、ラインシーケンシャル処理後の立体表示データに情報映像データを重畳している。かかる構成により、サイドバイサイド方式で生成された立体映像データにおける左眼映像および右眼映像の水平ラインが交互に並置され、ディスプレイに表示するための立体表示データが生成される際に、適切な視差を有するように情報映像データを重畳させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。 Here, the horizontal shift amount of the left-eye video and the right-eye video of the stereoscopic video data generated by the side-by-side method is obtained, a control signal is generated based on the horizontal shift amount , and a stereoscopic view is generated according to the control signal. The information video data is superimposed on the stereoscopic display data that has been converted. That is, the information video data is superimposed on the stereoscopic display data after the line sequential processing. With such a configuration, when the horizontal lines of the left eye video and the right eye video in the stereoscopic video data generated by the side- by- side method are alternately juxtaposed, the appropriate parallax is generated when the stereoscopic display data to be displayed on the display is generated. Thus, it is possible to superimpose information video data . As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display.

また本発明は、互いに視差を生じるように生成された左眼映像右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得する映像取得部と、取得された立体映像データの左眼映像と右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を分割された各ブロックの水平方向のシフト量とし、算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を立体映像データの水平方向のシフト量として導出する水平方向シフト量導出部と、導出された立体映像データの水平方向のシフト量に基づいて、立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データから左眼映像および右眼映像に対応させた情報重畳データを生成し、左眼映像および右眼映像に対して情報重畳データを、立体映像データの水平方向のシフト量と同じ水平方向のシフト量を有する位置に重畳するための制御信号を生成する情報映像データ記憶部と、制御信号に従って情報重畳データを立体映像データに重畳する映像重畳部と、情報重畳データが重畳された立体映像データの左眼映像および右眼映像から所定の水平ラインをそれぞれ抽出し、抽出された水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、重畳された立体表示データを出力する映像出力部と、を備え、映像重畳部は、ラインシーケンシャル部において抽出されない左眼映像および右眼映像の水平ラインには情報重畳データを重畳しないことを特徴とする立体映像表示装置を提供する The present invention also includes a left-eye image and a right-eye image generated so as to generate a parallax , a video acquisition unit that acquires stereoscopic video data generated by a side-by-side method, and a left-hand side of the acquired stereoscopic video data. The eye image and the right eye image are divided into blocks of a predetermined size, the corresponding blocks are relatively shifted in the horizontal direction, and the horizontal shift amount that minimizes the difference between the evaluation values of the corresponding blocks is determined. The calculated horizontal shift amount is the horizontal shift amount of each divided block, and any one of the calculated average value, minimum value, and maximum value of the horizontal shift amount of each block is calculated. a horizontal shift amount derivation unit that derives a single value as the horizontal shift amount of the stereoscopic image data or, based on the horizontal shift amount of the stereoscopic image data derived, stereoscopic image data Or generates information superimposed data from the information image data to correspond to the left-eye and right-eye images that provide information about the operation display of the stereoscopic display data to be displayed on the display, the information superimposed data to the left-eye and right-eye images and a information image data storage unit for generating control signals for superimposing a position having a shift amount of the same horizontal direction as the horizontal shift amount of the stereoscopic image data, the information superimposed data to the stereoscopic image data according to the control signal Predetermined horizontal lines are extracted from the left and right eye images of the 3D image data on which the information superimposition data is superimposed , and the extracted horizontal lines are alternately juxtaposed and displayed on the display. A line sequential unit for generating stereoscopic display data for output, and a video output unit for outputting superimposed stereoscopic display data Video superimposing unit provides a stereoscopic image display apparatus characterized by not overlapping the information overlay data in the horizontal line of the left-eye and right-eye images are not extracted in the line sequential unit.

ここでは、立体映像データの左眼映像と右眼映像との水平方向のシフト量を求め、その水平方向のシフト量に基づいて制御信号を生成し、立体映像データの左眼映像および右眼映像にそれぞれ情報重畳データを重畳した後、立体映像データごとラインシーケンシャル処理を行う。即ち、立体映像データに情報映像データを重畳した後、ラインシーケンシャル処理を行っている。かかる構成により、立体視を考慮していない情報映像データにも両眼視差を付与でき、観察者に対して情報映像データを立体的に知覚させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。 Here, the horizontal shift amount between the left eye video and the right eye video of the stereoscopic video data is obtained, a control signal is generated based on the horizontal shift amount , and the left eye video and the right eye video of the stereoscopic video data are generated. After superimposing the information superimposing data respectively on the video data, line sequential processing is performed for each stereoscopic video data. That is, line information processing is performed after superimposing information video data on stereoscopic video data. With this configuration, binocular parallax can be imparted to information video data that does not take stereoscopic vision into consideration, and the viewer can perceive the information video data stereoscopically. As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display.

そして立体映像データがサイドバイサイド方式により形成されている場合、ラインシーケンシャル部は、最終的な立体表示データの各ラインに対応する映像ラインを左眼映像および右眼映像から1ラインずつ交互に抽出するため、各眼映像では奇数ラインまたは偶数ラインのみが立体表示データに用いられることとなる。ここでは、映像重畳部が、例えば奇数ラインのみ用いられる一方の眼映像に対して、利用されない偶数ラインに対応する情報映像データを重畳しないようにすることで、無駄な処理を回避し負荷の軽減を図ることができる。 When the stereoscopic video data is formed by the side-by-side method, the line sequential unit alternately extracts video lines corresponding to each line of the final stereoscopic display data one line at a time from the left eye video and the right eye video. In each eye image, only odd lines or even lines are used for stereoscopic display data. Here, for example, the video superimposing unit avoids superimposing information video data corresponding to even-numbered lines that are not used on one eye video that uses only odd-numbered lines, thereby avoiding unnecessary processing and reducing the load. Can be achieved.

また本発明は、互いに視差を生じるように生成された左眼映像と右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得するステップと、取得された立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するステップと、取得された立体映像データの左眼映像と右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を分割された各ブロックの水平方向のシフト量とし、算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を立体映像データの水平方向のシフト量として導出するステップと、左眼映像及び右眼映像のそれぞれに重畳されるべき情報映像データについて、左眼映像に重畳される情報映像データの位置が、右眼映像に重畳される情報映像データの位置に対して、導出された立体映像データの水平方向のシフト量の2倍のシフト量で水平方向にシフトされるように制御信号を生成するステップと、制御信号に従って立体表示データに情報映像データを重畳するステップと、情報映像データが重畳された立体表示データを出力するステップと、を備えることを特徴とする立体映像表示方法を提供する The present invention also includes a step of acquiring stereoscopic video data generated by a side-by-side method, including a left-eye video and a right-eye video generated so as to generate parallax, and a left-eye video in the acquired stereoscopic video data And a step of generating stereoscopic display data to be displayed on the display by alternately juxtaposing the horizontal lines of the right-eye video, and the left-eye video and the right-eye video of the acquired stereoscopic video data into blocks of a predetermined size Divide and shift the corresponding blocks relatively in the horizontal direction to derive the horizontal shift amount that minimizes the difference in the evaluation value between the corresponding blocks, and divide the derived horizontal shift amount The horizontal shift amount of each block that has been calculated, and any one of the average value, the minimum value, and the maximum value of the calculated horizontal shift amount of each block For the horizontal shift amount of the stereoscopic video data, and for the information video data to be superimposed on each of the left eye video and the right eye video, the position of the information video data superimposed on the left eye video is Generating a control signal so that the position of the information video data superimposed on the eye video is shifted in the horizontal direction by a shift amount twice the horizontal shift amount of the derived stereoscopic video data; There is provided a stereoscopic video display method comprising: superimposing information video data on stereoscopic display data according to a control signal; and outputting stereoscopic display data on which the information video data is superimposed .

本立体映像表示方法では、サイドバイサイド方式で生成された立体映像データの左眼映像と右眼映像との水平方向シフト量を求め、その水平方向シフト量に基づいて制御信号を生成し、その制御信号に従って、立体視可能に変換されている立体表示データに情報映像データを重畳する。即ち、ラインシーケンシャル処理後の立体表示データに情報映像データを重畳している。かかる構成により、サイドバイサイド方式で生成された立体映像データにおける左眼映像および右眼映像の水平ラインが交互に並置され、ディスプレイに表示するための立体表示データが生成される際に、適切な視差を有するように情報映像データを重畳させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。In this stereoscopic video display method, the horizontal shift amount of the left-eye video and right-eye video of the stereoscopic video data generated by the side-by-side method is obtained, a control signal is generated based on the horizontal shift amount, and the control signal Accordingly, the information video data is superimposed on the stereoscopic display data converted to be stereoscopically viewable. That is, the information video data is superimposed on the stereoscopic display data after the line sequential processing. With such a configuration, when the horizontal lines of the left eye video and the right eye video in the stereoscopic video data generated by the side-by-side method are alternately juxtaposed, the appropriate parallax is generated when the stereoscopic display data to be displayed on the display is generated. Thus, it is possible to superimpose information video data. As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display.

さらに本発明は、互いに視差を生じるように生成された左眼映像と右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得するステップと、取得された立体映像データの左眼映像と右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を分割された各ブロックの水平方向のシフト量とし、算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を立体映像データの水平方向のシフト量として導出するステップと、導出された立体映像データの水平方向のシフト量に基づいて、立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データから左眼映像および右眼映像に対応させた情報重畳データを生成し、左眼映像および右眼映像に対して情報重畳データを、立体映像データの水平方向のシフト量と同じ水平方向のシフト量を有する位置に重畳するための制御信号を生成するステップと、制御信号に従って情報重畳データを立体映像データに重畳するステップと、情報重畳データが重畳された立体映像データの左眼映像および右眼映像から所定の水平ラインをそれぞれ抽出し、抽出された水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するステップと、重畳された立体表示データを出力するステップと、を備え、情報重畳データを立体映像データに重畳するステップは、立体表示データを生成するステップにおいて抽出されない左眼映像および右眼映像の水平ラインには情報重畳データを重畳しないことを特徴とする立体映像表示方法を提供する Further, the present invention includes a step of acquiring stereoscopic video data generated by a side-by-side method, including a left-eye video and a right-eye video generated so as to generate parallax, and a left-eye video of the acquired stereoscopic video data And the right-eye image are divided into blocks of a predetermined size, and the corresponding blocks are shifted relative to each other in the horizontal direction to derive a horizontal shift amount that minimizes the difference between the evaluation values of the corresponding blocks. The derived horizontal shift amount is set as the horizontal shift amount of each divided block, and any one of the calculated average value, minimum value, and maximum value of the horizontal shift amount of each block is calculated. One value is derived as the horizontal shift amount of the stereoscopic video data, and the stereoscopic video data or display is determined based on the horizontal shift amount of the derived stereoscopic video data. Information superposition data corresponding to the left eye video and right eye video is generated from the information video data indicating information related to the operation display of the stereoscopic display data displayed on the ray, and the information superposition data is generated for the left eye video and the right eye video Generating a control signal for superimposing at a position having the same horizontal shift amount as the horizontal shift amount of the stereoscopic video data, superimposing the information superimposing data on the stereoscopic video data according to the control signal, and information Predetermined horizontal lines are extracted from left-eye video and right-eye video of stereoscopic video data with superimposed data, and the extracted horizontal lines are alternately juxtaposed to generate stereoscopic display data for display on a display. A step of superimposing the information superimposition data on the stereoscopic video data. -Up provides a stereoscopic image display method characterized by not superimposing information superimposed data in the horizontal line of the left-eye and right-eye images are not extracted in the step of generating a three-dimensional display data.

本立体映像表示方法では、立体映像データの左眼映像と右眼映像との水平方向のシフト量を求め、その水平方向のシフト量に基づいて制御信号を生成し、立体映像データの左眼映像および右眼映像にそれぞれ情報重畳データを重畳した後、立体映像データごとラインシーケンシャル処理を行う。即ち、立体映像データに情報映像データを重畳した後、ラインシーケンシャル処理を行っている。かかる構成により、立体視を考慮していない情報映像データにも両眼視差を付与でき、観察者に対して情報映像データを立体的に知覚させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる In this stereoscopic video display method, the horizontal shift amount between the left eye video and the right eye video of the stereoscopic video data is obtained, a control signal is generated based on the horizontal shift amount, and the left eye video of the stereoscopic video data is obtained. Then, after superimposing the information superimposition data on the right-eye video, line sequential processing is performed for each stereoscopic video data. That is, line information processing is performed after superimposing information video data on stereoscopic video data. With this configuration, binocular parallax can be imparted to information video data that does not take stereoscopic vision into consideration, and the viewer can perceive the information video data stereoscopically. As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display .

そして立体映像データがサイドバイサイド方式により形成されている場合、ラインシーケンシャル部は、最終的な立体表示データの各ラインに対応する映像ラインを左眼映像および右眼映像から1ラインずつ交互に抽出するため、各眼映像では奇数ラインまたは偶数ラインのみが立体表示データに用いられることとなる。ここでは、映像重畳部が、例えば奇数ラインのみ用いられる一方の眼映像に対して、利用されない偶数ラインに対応する情報映像データを重畳しないようにすることで、無駄な処理を回避し負荷の軽減を図ることができる When the stereoscopic video data is formed by the side-by-side method, the line sequential unit alternately extracts video lines corresponding to each line of the final stereoscopic display data one line at a time from the left eye video and the right eye video. In each eye image, only odd lines or even lines are used for stereoscopic display data. Here, for example, the video superimposing unit avoids superimposing information video data corresponding to even-numbered lines that are not used on one eye video that uses only odd-numbered lines, thereby avoiding unnecessary processing and reducing the load. Can be achieved .

本発明の立体映像表示装置および立体映像表示方法によれば、立体視を考慮していない情報映像データを立体映像データに重畳する場合であっても、その情報映像データを正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。 According to the stereoscopic video display device and the stereoscopic video display method of the present invention, even when information video data not considering stereoscopic vision is superimposed on stereoscopic video data, the information video data is correctly imaged. Thus, it is possible to reduce the burden on the eyes and realize a more natural stereoscopic video display.

第1の実施形態による立体映像表示装置の概略的な機能を示した機能ブロック図である。It is the functional block diagram which showed the schematic function of the stereoscopic video display apparatus by 1st Embodiment. ディスプレイの表示構成を説明するための説明図である。It is explanatory drawing for demonstrating the display structure of a display. 立体映像データのフォーマットを説明するための説明図である。It is explanatory drawing for demonstrating the format of stereoscopic video data. ラインシーケンシャル部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a line sequential part. ラインシーケンシャル部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a line sequential part. 水平視差ベクトルの導出を示した説明図である。It is explanatory drawing which showed derivation | leading-out of a horizontal parallax vector. 制御信号を説明するための説明図である。It is explanatory drawing for demonstrating a control signal. 映像重畳部の機能を示した機能ブロック図である。It is the functional block diagram which showed the function of the image | video superimposition part. 情報映像データが重畳された立体表示データを示した説明図である。It is explanatory drawing which showed the stereoscopic display data on which the information video data was superimposed. 立体映像表示方法の全体的な流れを示したフローチャートである。It is the flowchart which showed the whole flow of the three-dimensional video display method. 第2の実施形態による立体映像表示装置の概略的な機能を示した機能ブロック図である。It is the functional block diagram which showed the schematic function of the stereoscopic video display apparatus by 2nd Embodiment. 情報映像データ記憶部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of an information video data storage part. 情報映像データ記憶部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of an information video data storage part. 映像重畳部の機能を示した機能ブロック図である。It is the functional block diagram which showed the function of the image | video superimposition part. 映像重畳部の機能を示した機能ブロック図である。It is the functional block diagram which showed the function of the image | video superimposition part. 映像重畳部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a video superimposition part. ラインシーケンシャル部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a line sequential part. ラインシーケンシャル部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of a line sequential part. 立体映像表示方法の全体的な流れを示したフローチャートである。It is the flowchart which showed the whole flow of the three-dimensional video display method. 従来における情報映像データの重畳処理を説明するための説明図である。It is explanatory drawing for demonstrating the superimposition process of the information video data in the past.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

(第1の実施形態:立体映像表示装置100)
図1は、立体映像表示装置100の概略的な機能を示した機能ブロック図である。図1に示すように、立体映像表示装置100は、ディスプレイ110に接続され、映像取得部150と、映像処理部152と、ラインシーケンシャル部154と、情報映像データ記憶部156と、水平視差ベクトル導出部(水平方向シフト量導出部)158と、情報映像調整部160と、映像重畳部162と、映像出力部164と、を含んで構成される。ここではディスプレイ110と立体映像表示装置100とを別体に構成する場合を説明するが、一体的に構成することもできる。以下、立体映像表示装置100に先だって、立体表示を可能とするディスプレイ110を説明する。
(First embodiment: stereoscopic image display device 100)
FIG. 1 is a functional block diagram illustrating schematic functions of the stereoscopic video display device 100. As shown in FIG. 1, the stereoscopic video display apparatus 100 is connected to a display 110, and includes a video acquisition unit 150, a video processing unit 152, a line sequential unit 154, an information video data storage unit 156, and a horizontal parallax vector derivation. Unit (horizontal shift amount deriving unit) 158, an information video adjusting unit 160, a video superimposing unit 162, and a video output unit 164. Although the case where the display 110 and the stereoscopic video display device 100 are configured separately will be described here, they may be configured integrally. Hereinafter, the display 110 that enables stereoscopic display will be described prior to the stereoscopic video display device 100.

図2は、ディスプレイ110の表示構成を説明するための説明図である。ディスプレイ110の表示面112には、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられているので、奇数ライン114と偶数ライン116とで偏光特性が異なっている。ディスプレイ110を観察する観察者は、左右で偏光特性が異なる偏光眼鏡118を通じて、例えば奇数ライン114に表示された立体表示データ(左眼立体表示データ120)を左眼で、偶数ライン116に表示された立体表示データ(右眼立体表示データ122)を右眼で視認し、両眼視差による立体映像によって、表示面112と異なる結像位置124でオブジェクトを知覚することが可能となる。   FIG. 2 is an explanatory diagram for explaining a display configuration of the display 110. Since the display surface 112 of the display 110 is provided with polarizing filters having different polarization characteristics every other line (for each line), the odd lines 114 and the even lines 116 have different polarization characteristics. An observer who observes the display 110 displays, for example, stereoscopic display data (left-eye stereoscopic display data 120) displayed on the odd-numbered line 114 on the even-numbered line 116 with the left eye through the polarized glasses 118 having different polarization characteristics on the left and right. The stereoscopic display data (right-eye stereoscopic display data 122) can be visually recognized by the right eye, and an object can be perceived at an imaging position 124 different from the display surface 112 by stereoscopic video based on binocular parallax.

ディスプレイ110の表示面112に表示される立体表示データは、図2に示した通り、左眼映像に対応する左眼立体表示データ120と右眼映像に対応する右眼立体表示データ122がライン単位で交互に表示される。立体表示データに含まれるオブジェクトは、交差視(交差法)および平行視(平行法)のいずれの立体表示も可能であり、左眼立体表示データ120に含まれるオブジェクトと右眼立体表示データ122に含まれるオブジェクトとの水平方向の位置を相対的に左右にシフトすることで表示面112より奥側または手前側のいずれの位置にもオブジェクトを結像することができる。このとき水平方向のシフト量を0とすると、オブジェクトはディスプレイ110の表示面112上に結像される。   As shown in FIG. 2, the stereoscopic display data displayed on the display surface 112 of the display 110 includes left-eye stereoscopic display data 120 corresponding to the left-eye image and right-eye stereoscopic display data 122 corresponding to the right-eye image in line units. Are displayed alternately. The object included in the stereoscopic display data can be displayed in either stereoscopic view (crossing method) or parallel view (parallel method). The object included in the left-eye stereoscopic display data 120 and the right-eye stereoscopic display data 122 By shifting the position in the horizontal direction relative to the included object relatively to the left and right, the object can be imaged at either the back side or the near side of the display surface 112. At this time, if the shift amount in the horizontal direction is set to 0, the object is imaged on the display surface 112 of the display 110.

図2や以下の説明に用いられる図では、理解を容易にするため水平方向のライン数を12として説明しているが、ライン数はディスプレイ110の構造や立体映像データの走査線数等に応じて任意に設定することができる。   In FIG. 2 and the drawings used in the following description, the number of horizontal lines is 12 for ease of understanding, but the number of lines depends on the structure of the display 110, the number of scanning lines of stereoscopic video data, and the like. Can be set arbitrarily.

立体映像表示装置100の映像取得部150は、両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データを、外部の放送局126や通信網(インターネットやLAN)128から取得する。また、DVDやBlu−rayディスクといった記録媒体から内部的に立体映像データを取得することもできる。   The video acquisition unit 150 of the stereoscopic video display device 100 converts the stereoscopic video data obtained by dividing the left-eye video and the right-eye video for realizing stereoscopic vision by binocular parallax into an external broadcast station 126 or a communication network (Internet). Or LAN) 128. In addition, stereoscopic video data can be acquired internally from a recording medium such as a DVD or a Blu-ray disc.

図3は、立体映像データのフォーマットを説明するための説明図である。映像取得部150が取得可能な立体映像データには複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。ここでは、その代表的な例として、図3(a)に示すように、有効映像の左半分に左眼に視認させるための左眼映像(左眼立体映像データ)130、右半分に右眼に視認させるための右眼映像(右眼立体映像データ)132を有するサイドバイサイド方式に従った立体映像データ134や、図3(b)に示すように、有効映像の上半分に左眼に視認させるための左眼映像136、下半分に右眼に視認させるための右眼映像138を有するトップアンドボトム方式(アバブアンドビロー方式)に従った立体映像データ140を用いることとする。なお、有効映像とは映像全体から非表示領域(ブランク期間)を除いた映像のことである。また、サイドバイサイド方式の場合、右眼に視認させるための右眼立体映像データ134を有効映像の左半分に、左眼に視認させるための左眼立体映像データ132を有効映像の右半分に配置する立体映像データ134を用いてもよい。さらに、トップアンドボトム方式の場合、右眼に視認させるための右眼立体映像データ138を有効映像の上半分に、左眼に視認させるための左眼立体映像データ136を有効映像の下半分に配置する立体映像データ140を用いてもよい。   FIG. 3 is an explanatory diagram for describing a format of stereoscopic video data. There are a plurality of formats of stereoscopic video data that can be acquired by the video acquisition unit 150, and parameters such as the number of pixels may be different in each format. Here, as a typical example, as shown in FIG. 3A, a left-eye image (left-eye stereoscopic image data) 130 for causing the left eye to visually recognize the left half of the effective image and a right eye to the right half are shown. 3D image data 134 according to the side-by-side method having a right-eye image (right-eye 3D image data) 132 for allowing the left eye to visually recognize the image as shown in FIG. 3B. It is assumed that the stereoscopic video data 140 according to the top-and-bottom method (abbe-and-bello method) having the left-eye image 136 for the right eye and the right-eye image 138 for the right eye to visually recognize in the lower half is used. The effective video is a video obtained by removing a non-display area (blank period) from the entire video. In the case of the side-by-side method, the right-eye stereoscopic video data 134 for allowing the right eye to visually recognize is arranged in the left half of the effective video, and the left-eye stereoscopic video data 132 for allowing the left eye to visually recognize the right eye is arranged in the right half of the effective video. The stereoscopic video data 134 may be used. Further, in the case of the top-and-bottom method, right-eye stereoscopic video data 138 for allowing the right eye to visually recognize is displayed in the upper half of the effective image, and left-eye stereoscopic video data 136 for allowing the left eye to be viewed in the lower half of the effective image. The stereoscopic video data 140 to be arranged may be used.

このような立体映像データ134、140では、左眼映像130、136と右眼映像132、138とが、1対のカメラによって個別に撮像され、もしくは、両眼視差が生じるように調整されている。ただし、本実施形態のサイドバイサイド方式による立体映像データ134の左眼映像130および右眼映像132は、それぞれ、最終的に表示される立体表示データと垂直解像度は等しいが、水平解像度は1/2に縮小されている。従って全画面の有効映像の画素数が1920×1080の場合、左眼映像130および右眼映像132の画素数は960×1080となる。   In such stereoscopic image data 134 and 140, the left eye images 130 and 136 and the right eye images 132 and 138 are individually captured by a pair of cameras, or adjusted so that binocular parallax occurs. . However, the left-eye image 130 and the right-eye image 132 of the stereoscopic image data 134 according to the side-by-side method of the present embodiment have the same vertical resolution as the finally displayed stereoscopic display data, but the horizontal resolution is halved. Has been reduced. Accordingly, when the number of pixels of the effective image of the entire screen is 1920 × 1080, the number of pixels of the left eye image 130 and the right eye image 132 is 960 × 1080.

映像処理部152は、映像取得部150を通じて取得されたサイドバイサイド方式やトップアンドボトム方式の立体映像データ134、140に対して、RGB処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ134、140は、不図示のメモリにて保持される。   The video processing unit 152 performs RGB processing (γ correction and color correction), enhancement processing, noise reduction processing, and the like on the side-by-side and top-and-bottom stereoscopic video data 134 and 140 acquired through the video acquisition unit 150. Perform video signal processing. The stereoscopic video data 134 and 140 that have undergone predetermined video signal processing are held in a memory (not shown).

ラインシーケンシャル部154は、所定の映像信号処理が行なわれた立体映像データ134、140を保持するメモリのリードライトアドレスを制御することによって立体映像データ134、140における左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ110に表示するための立体表示データを生成する。   The line sequential unit 154 controls the read / write address of the memory that holds the stereoscopic video data 134 and 140 on which the predetermined video signal processing has been performed, thereby horizontally generating the left-eye video and the right-eye video in the stereoscopic video data 134 and 140. Stereo display data to be displayed on the display 110 is generated by arranging the lines alternately.

図4および図5は、ラインシーケンシャル部154の動作を説明するための説明図であり、特に図4はサイドバイサイド方式の立体映像データ134から、図5はトップアンドボトム方式の立体映像データ140から立体表示データ142を生成している。図4(a)に示すように、映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、ラインシーケンシャル部154は、左眼映像130の奇数ラインの映像L1、L3、L5、L7、L9、L11と、右眼映像132の偶数ラインの映像R2、R4、R6、R8、R10、R12をそれぞれ抽出し、各眼映像のラインの左端を揃えて交互に並べ直す。   4 and 5 are explanatory diagrams for explaining the operation of the line sequential unit 154. In particular, FIG. 4 shows the stereoscopic video data 134 from the side-by-side format, and FIG. 5 shows the stereoscopic video data 140 from the top-and-bottom format. Display data 142 is generated. As shown in FIG. 4A, when the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the line sequential unit 154 includes the odd-line video L1, L3, L5, L7, L9 and L11 and the even-line images R2, R4, R6, R8, R10, and R12 of the right-eye image 132 are extracted, and the left ends of the lines of each eye image are aligned and rearranged alternately.

詳細には、図4(a)における左眼映像130の1ライン目の映像L1が図4(b)における立体表示データ142の1ライン目の映像L1’に、図4(a)における右眼映像132の2ライン目の映像R2が図4(b)における立体表示データ142の2ライン目の映像R2’に変換される。従って、左眼映像130の偶数ラインの映像L2、L4、L6、L8、L10、L12、および右眼映像132の奇数ラインの映像R1、R3、R5、R7、R9、R11は利用されないこととなる。ここでは左眼映像130から奇数ライン、右眼映像132から偶数ラインを抽出したが、当然、左眼映像130から偶数ライン、右眼映像132から奇数ラインを抽出してもよい。   Specifically, the first-line image L1 of the left-eye image 130 in FIG. 4A is changed to the first-line image L1 ′ of the stereoscopic display data 142 in FIG. 4B, and the right-eye image in FIG. The video R2 of the second line of the video 132 is converted into the video R2 ′ of the second line of the stereoscopic display data 142 in FIG. Therefore, the even-line images L2, L4, L6, L8, L10, and L12 of the left-eye image 130 and the odd-line images R1, R3, R5, R7, R9, and R11 of the right-eye image 132 are not used. . Here, odd lines are extracted from the left eye image 130 and even lines are extracted from the right eye image 132, but of course, even lines may be extracted from the left eye image 130 and odd lines may be extracted from the right eye image 132.

ただし、立体映像データ134の各眼映像の水平解像度は、立体表示データ142の1/2となっているため、立体映像データ134から立体表示データ142を生成する際、その水平解像度を2倍に拡大しなければならない。かかる水平解像度拡大に伴う新たな画素の生成は、線形補間やその他のフィルタリングを用いることが可能である。かかる水平解像度の倍率は、立体映像データ134のフォーマット、あるいは立体映像データ134の各眼映像と立体表示データ142との水平方向の画素数の比率に応じて適宜調整される。   However, since the horizontal resolution of each eye image of the stereoscopic video data 134 is ½ of the stereoscopic display data 142, when generating the stereoscopic display data 142 from the stereoscopic video data 134, the horizontal resolution is doubled. It must be enlarged. Generation of a new pixel accompanying such horizontal resolution enlargement can use linear interpolation or other filtering. The horizontal resolution magnification is appropriately adjusted according to the format of the stereoscopic video data 134 or the ratio of the number of pixels in the horizontal direction between each eye image of the stereoscopic video data 134 and the stereoscopic display data 142.

また、図5(a)に示すように、映像取得部150がトップアンドボトム方式の立体映像データ140を取得した場合、ラインシーケンシャル部154は、左眼映像136の全ラインの映像L1、L2、L3、L4、L5、L6と、右眼映像138の全ラインの映像R1、R2、R3、R4、R5、R6を、それぞれラインの左端を揃えて交互に並べ直す。従って、図5(a)における左眼映像136の1ライン目の映像L1が図5(b)における立体表示データ142の1ライン目の映像L1に、図5(a)における右眼映像132の1ライン目の映像R1が図5(b)における立体表示データ142の2ライン目の映像R1に、拡大処理や縮小処理を実行することなく移される。このようにトップアンドボトム方式では利用されないラインや水平解像度の拡大が無いので、情報の欠落を抑えることができる。   Further, as shown in FIG. 5A, when the video acquisition unit 150 acquires the top-and-bottom stereoscopic video data 140, the line sequential unit 154 displays the video L1, L2, and the video L1, L2, all lines of the left-eye video 136. L3, L4, L5, and L6 and the images R1, R2, R3, R4, R5, and R6 of all lines of the right eye image 138 are alternately rearranged with the left ends of the lines aligned. Accordingly, the first line image L1 of the left eye image 136 in FIG. 5A is changed to the first line image L1 of the stereoscopic display data 142 in FIG. 5B, and the right eye image 132 in FIG. The image R1 of the first line is transferred to the image R1 of the second line of the stereoscopic display data 142 in FIG. 5B without executing enlargement processing or reduction processing. As described above, since there is no line that is not used in the top-and-bottom method and there is no enlargement of the horizontal resolution, it is possible to suppress the loss of information.

情報映像データ記憶部156は、立体映像データ134、140に関する情報またはディスプレイ110に表示する立体表示データ142の操作表示に関する情報を示す操作表示に関する情報を示す情報映像データ180を生成する。例えば、立体映像データ134、140に関する情報映像データ180は、立体映像表示装置100が放送局126から受信した、またはインターネット、LAN、専用回線等の通信網128を介して受信した番組やコンテンツを特定するための、チャンネル、番組タイトル、表示モード等を示す情報を映像化したOSD(On Screen Display)180である。立体映像表示装置100では、例えばリモコン144の操作時において、放送番組のチャンネルの変更があった場合に、その変更後のチャンネルを情報映像データ180として確認的にディスプレイ110に表示する。その他、番組に関する情報を立体表示データ142と共にディスプレイ110に表示することで、利用者の利便性の向上を図る。また、情報映像データ180は、立体映像を記録したメディアをプレーヤーで再生する場合には、「再生」・「停止」等の操作表示に関する情報を含むものである。その場合は、「再生」・「停止」等の操作表示を立体表示データ142と共にディスプレイ110に表示することで、利用者の利便性の向上を図る。なお、情報映像データ記憶部156は、チャンネル、番組タイトル、表示モード等を示す情報を生成する構成に限定されず、前述の情報を予め保持する構成であってもよい。   The information video data storage unit 156 generates information video data 180 indicating information relating to operation display indicating information relating to the stereoscopic video data 134 and 140 or information relating to operation display of the stereoscopic display data 142 displayed on the display 110. For example, the information video data 180 related to the stereoscopic video data 134 and 140 specifies a program or content received by the stereoscopic video display device 100 from the broadcasting station 126 or via the communication network 128 such as the Internet, LAN, or dedicated line. An OSD (On Screen Display) 180 that visualizes information indicating a channel, a program title, a display mode, and the like. In the stereoscopic video display device 100, for example, when a channel of a broadcast program is changed during operation of the remote controller 144, the channel after the change is displayed on the display 110 as information video data 180 for confirmation. In addition, by displaying information on the program together with the stereoscopic display data 142 on the display 110, the convenience of the user is improved. In addition, the information video data 180 includes information related to operation display such as “play” and “stop” when a medium on which a stereoscopic video is recorded is played back by a player. In that case, the operation display such as “play” and “stop” is displayed on the display 110 together with the stereoscopic display data 142 to improve the convenience of the user. The information video data storage unit 156 is not limited to a configuration that generates information indicating a channel, a program title, a display mode, and the like, and may be configured to hold the above information in advance.

水平視差ベクトル導出部158は、映像取得部150が取得した立体映像データ134、140の左眼映像と右眼映像との水平視差ベクトルを導出する。本実施形態では、左右眼に視差のある立体映像データ134、140を提示することで、観察者に立体映像を知覚させている。従って、左眼映像のオブジェクトと右眼映像のオブジェクトには水平視差が設けられており、左眼映像のオブジェクトと右眼映像のオブジェクトの水平方向のずれを水平視差ベクトルとすることができる。水平視差ベクトル導出部158は、左眼映像および右眼映像を同一サイズの複数のブロックに分割し、左眼映像と右眼映像との対応するブロック同士を相対的にシフトして評価値の差分が最小となるシフト量を選択することで各ブロックにおける占有度の高いオブジェクトの水平視差ベクトル(水平視差のシフト量とシフト方向)を導出することが可能となる。   The horizontal parallax vector deriving unit 158 derives a horizontal parallax vector between the left eye video and the right eye video of the stereoscopic video data 134 and 140 acquired by the video acquisition unit 150. In the present embodiment, the viewer is made to perceive a stereoscopic video by presenting stereoscopic video data 134 and 140 having parallax between the left and right eyes. Accordingly, the left-eye video object and the right-eye video object are provided with horizontal parallax, and the horizontal shift between the left-eye video object and the right-eye video object can be used as a horizontal parallax vector. The horizontal parallax vector deriving unit 158 divides the left eye video and the right eye video into a plurality of blocks of the same size, and relatively shifts corresponding blocks of the left eye video and the right eye video to obtain a difference in evaluation value. It is possible to derive a horizontal disparity vector (horizontal disparity shift amount and shift direction) of an object with a high occupancy in each block by selecting a shift amount that minimizes.

図6は、水平視差ベクトルの導出を示した説明図である。例えば、映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、左眼映像130および右眼映像132の大きさは960×1080となる。水平視差ベクトル導出部158は、左眼映像130と右眼映像132とを所定サイズ、例えば、図6(a)のように240×180画素といった複数のブロック146に分割し、分割されたすべてのブロック146に対して対応するブロック同士を抽出、比較する。ここでは、図6(b)に示したブロック146a、146bを比較する例を挙げる。   FIG. 6 is an explanatory diagram showing the derivation of the horizontal parallax vector. For example, when the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the size of the left-eye video 130 and the right-eye video 132 is 960 × 1080. The horizontal parallax vector deriving unit 158 divides the left eye image 130 and the right eye image 132 into a plurality of blocks 146 having a predetermined size, for example, 240 × 180 pixels as shown in FIG. The blocks corresponding to the block 146 are extracted and compared. Here, an example in which the blocks 146a and 146b shown in FIG.

水平視差ベクトル導出部158は、図6(c)に示すように、抽出した一対のブロック146の一方のブロック146aに対して他方のブロック146bを水平方向に相対的に所定画素分(ここでは、30画素分)段階的にシフトし、両ブロック146a、146bの重畳部分の中央領域(ここでは斜線で示した30×180画素の領域)148における評価値の差分を求める。ここで状態Pに付されている添字の数値はブロック146aに対するブロック146bのシフト量を画素数で示したものである。また、状態Pに付されている添字の符号はシフト方向を示す。すなわち、添字のマイナスは左方向へのシフトを示すものである。そして、その評価値が最小となる状態、例えば、状態P30のシフト量(30画素)とシフト方向(右)とが水平視差ベクトルとなる。ここでは、左眼映像のブロック146aに対して右眼映像のブロック146bをシフトしたが左眼映像および右眼映像のいずれのブロックを基準として他方をシフトしてもよい。 As shown in FIG. 6C, the horizontal parallax vector deriving unit 158 moves the other block 146b relative to one block 146a of the extracted pair of blocks 146 in the horizontal direction by a predetermined number of pixels (here, (30 pixels) Stepwise shift is performed, and a difference between evaluation values in a central region (here, a region of 30 × 180 pixels indicated by hatching) 148 of the overlapping portion of both blocks 146a and 146b is obtained. Here, the numerical value of the subscript attached to the state P indicates the shift amount of the block 146b with respect to the block 146a in terms of the number of pixels. A subscript sign attached to the state P indicates a shift direction. That is, the minus of the subscript indicates a shift in the left direction. Then, a state in which the evaluation value is minimized, for example, a shift amount of the state P 30 (30 pixels) and the shift direction (right) is horizontal disparity vector. Here, the block 146b for the right eye image is shifted with respect to the block 146a for the left eye image, but the other block may be shifted with reference to any block of the left eye image and the right eye image.

また、中央領域148の評価値は、R(Red)、G(Green)、B(Blue)、輝度、色差、彩度から選択される1または複数の評価項目の値である。ここで評価値の差分が小さいということは、図6(c)の状態P30に示すようにそれぞれのブロックにおける映像同士の差分が少ない、即ち画像が類似し、かつ重なり合っていることを示す。 The evaluation value of the central region 148 is the value of one or more evaluation items selected from R (Red), G (Green), B (Blue), luminance, color difference, and saturation. Here the fact that the difference between the evaluation value is small, indicating that the difference between the video with each other less in each of the blocks as shown in the state P 30 in FIG. 6 (c), i.e. the image is similar, and overlap.

水平視差ベクトル導出部158は、分割された複数のブロック146毎にシフト量とシフト方向とが異なる場合、その平均値、最小値または最大値のいずれかを水平視差ベクトルとする。   When the shift amount and the shift direction are different for each of the plurality of divided blocks 146, the horizontal parallax vector deriving unit 158 sets the average value, the minimum value, or the maximum value as the horizontal parallax vector.

立体映像データ134内には結像位置の異なる1または複数のオブジェクトが存在する。本実施形態では、ブロック146毎に評価値を比較して水平視差ベクトルを導出しているので、結像位置の異なるオブジェクトが複数存在する場合、各ブロック146が相異する水平視差ベクトルを示す場合がある。一方、情報映像データ180は、そのオブジェクトの立体感を損なわない適切な位置に配置すべきである。ここでは、各ブロックの水平視差ベクトルの平均値、最小値(結像位置は最奥)または最大値(結像位置は最前)といった所定の位置に情報映像データ180を結像させることで、オブジェクトの立体感を損なうことなく情報映像データ180を適切に表示することができ、違和感の無い立体映像を実現することが可能となる。このような水平視差ベクトルは、トップアンドボトム方式の立体映像データ140でも同様の手順で導出することができる。   One or a plurality of objects having different imaging positions exist in the stereoscopic video data 134. In the present embodiment, the evaluation value is compared for each block 146 to derive the horizontal parallax vector. Therefore, when there are a plurality of objects having different imaging positions, the respective blocks 146 indicate different horizontal parallax vectors. There is. On the other hand, the information video data 180 should be arranged at an appropriate position that does not impair the stereoscopic effect of the object. Here, the information video data 180 is imaged at a predetermined position such as an average value, a minimum value (imaging position is the farthest) or a maximum value (imaging position is the foremost) of the horizontal parallax vectors of each block, thereby creating an object. Thus, the information video data 180 can be appropriately displayed without impairing the stereoscopic effect, and a stereoscopic image without a sense of incongruity can be realized. Such a horizontal parallax vector can be derived in the same procedure even in top-and-bottom stereoscopic video data 140.

情報映像調整部160は、水平視差ベクトル導出部158によって導出された水平視差ベクトルに基づいて、立体表示データ142の水平同期信号と垂直同期信号を参照しつつ、映像取得部150で取得された情報映像データ180の各水平ラインにおける水平方向の位置を調整し、情報映像データ180を立体表示データ142に重畳するための制御信号182を生成する。制御信号182は、水平同期信号の任意の位置から任意の区間を特定できる信号であり、立体表示データ142に対する情報映像データ180を重畳する位置を表している。   The information video adjustment unit 160 refers to the information acquired by the video acquisition unit 150 while referring to the horizontal synchronization signal and the vertical synchronization signal of the stereoscopic display data 142 based on the horizontal parallax vector derived by the horizontal parallax vector deriving unit 158. The horizontal position of the video data 180 in each horizontal line is adjusted, and a control signal 182 for superimposing the information video data 180 on the stereoscopic display data 142 is generated. The control signal 182 is a signal that can specify an arbitrary section from an arbitrary position of the horizontal synchronization signal, and represents a position at which the information video data 180 is superimposed on the stereoscopic display data 142.

例えば、水平視差ベクトル導出部158で、サイドバイサイド方式の立体表示データ140の1/2の水平解像度を有する右眼映像と左眼映像とから生成された水平視差ベクトルが平均値20画素分であった場合を考える。その場合、情報映像調整部160は、立体映像データ134の水平解像度を2倍に拡大する処理が必要であり、その水平解像度の2倍の値である40画素分の視差を持つ位置に情報映像データ180の左右ラインの映像が重畳されるよう制御信号182を生成する。従って、後述する映像重畳部162によって重畳された情報映像データ180の隣接するライン同士は、水平視差ベクトル導出部158で導出された水平視差ベクトルの2倍のシフト量に相当する画素分ずれることとなる。   For example, in the horizontal parallax vector deriving unit 158, the horizontal parallax vector generated from the right-eye video and the left-eye video having a horizontal resolution that is 1/2 that of the side-by-side stereoscopic display data 140 has an average value of 20 pixels. Think about the case. In that case, the information video adjustment unit 160 needs to enlarge the horizontal resolution of the stereoscopic video data 134 to twice, and the information video is adjusted at a position having a parallax of 40 pixels, which is twice the horizontal resolution. A control signal 182 is generated so that the images of the left and right lines of the data 180 are superimposed. Therefore, adjacent lines of the information video data 180 superimposed by the video superimposing unit 162 described later are shifted by a pixel corresponding to a shift amount twice as large as the horizontal parallax vector derived by the horizontal parallax vector deriving unit 158. Become.

図7は、情報映像データ180と制御信号182を説明するための説明図である。例えば、情報映像データ記憶部156が図7(a)に示すようなチャンネル番号と番組タイトルを示す「201ch:宇宙空間」といった情報映像データ180を保持している。また、図7(b)に示す全体的な表示ラインに対する位置は、ディスプレイ110の表示面に対する情報映像データ180の重畳位置であり、制御信号182によって表される。ここで、図7(b)の各ライン中、斜線で示された部分は情報映像データ180を重畳する部分を示し、斜線以外の部分は情報映像データ180を重畳しない、即ち立体表示データ142をそのまま表示する部分を示す。ここでは未だ水平視差ベクトルが反映されていないので、各ラインの制御信号182の開始点が隣接するライン間で等しく、視差は生じない。   FIG. 7 is an explanatory diagram for explaining the information video data 180 and the control signal 182. For example, the information video data storage unit 156 holds information video data 180 such as “201 ch: outer space” indicating a channel number and a program title as shown in FIG. Further, the position with respect to the entire display line shown in FIG. 7B is a superposition position of the information video data 180 with respect to the display surface of the display 110, and is represented by the control signal 182. Here, in each line of FIG. 7B, the hatched portion indicates the portion where the information video data 180 is superimposed, and the portion other than the hatched portion does not overlap the information video data 180, that is, the stereoscopic display data 142 is displayed. The part displayed as it is is shown. Here, since the horizontal parallax vector is not yet reflected, the starting point of the control signal 182 of each line is equal between adjacent lines, and no parallax occurs.

続いて情報映像調整部160は、左眼映像に対応する奇数ラインについて制御信号182を、水平視差ベクトルを水平方向に2倍に拡大した40画素分、図7(c)の矢印で示す右方向にシフトさせて、情報映像データ記憶部156からの読み出しを開始する。こうすることで情報映像データ180は、図7(c)のように視差を有するようになる。また、図7(d)の斜線で示す全体的な表示ラインに対する位置は、図7(c)に示す情報映像データ180をディスプレイ110の表示面に出力する位置を示す。そして、情報映像調整部160は、図7(d)の斜線で示す位置に相当する制御信号182を生成する。   Subsequently, the information image adjustment unit 160 applies the control signal 182 for the odd lines corresponding to the left-eye image to the right direction indicated by an arrow in FIG. 7C for 40 pixels obtained by doubling the horizontal parallax vector in the horizontal direction. And reading from the information video data storage unit 156 is started. By doing so, the information video data 180 has parallax as shown in FIG. Further, the position with respect to the overall display line indicated by the oblique lines in FIG. 7D indicates the position where the information video data 180 shown in FIG. 7C is output to the display surface of the display 110. Then, the information video adjustment unit 160 generates a control signal 182 corresponding to the position indicated by the oblique lines in FIG.

このように両眼視差による立体映像では、その水平視差ベクトルに応じて情報映像データ180を表示する結像位置を調整できる。また、水平視差ベクトルの平均値の代わりに最大値を用いると、立体映像データ134、140のすべてのオブジェクトの手前に、最小値を用いると、すべてのオブジェクトの背面に情報映像データ180を配置することが可能となり、自然な立体映像表示を実現することができる。   As described above, in the stereoscopic video based on the binocular parallax, the imaging position where the information video data 180 is displayed can be adjusted according to the horizontal parallax vector. If the maximum value is used instead of the average value of the horizontal parallax vectors, the information video data 180 is arranged behind all objects when the minimum value is used in front of all objects in the stereoscopic video data 134 and 140. Therefore, natural 3D image display can be realized.

また、上述した実施形態では情報映像データ180の結像位置を水平視差ベクトルの平均値、最小値または最大値となる位置に予め設定する例を挙げたが、かかる場合に限られず、情報映像データ180の結像位置をユーザが個々に設定、または予め準備された複数の結像位置から選択することもできる。   Further, in the above-described embodiment, the example in which the imaging position of the information video data 180 is set in advance to the position where the average value, the minimum value, or the maximum value of the horizontal parallax vector is set is described. The 180 imaging positions can be individually set by the user or selected from a plurality of imaging positions prepared in advance.

ところで、上述したように水平視差ベクトルの平均値、最小値または最大値の位置に情報映像データ180を重畳すると、その平均値、最小値または最大値が変更される度に情報映像データ180の結像位置が変化することとなり、却って情報映像データ180を視認しにくくなる場合があり得る。そこで、情報映像調整部160は、例えば、水平視差ベクトルの平均値、最小値または最大値にさらに低域通過フィルタ等を施して情報映像データ180の位置の変化を鈍らせ、その結像位置を安定化することもできる。   By the way, when the information video data 180 is superimposed on the position of the average value, minimum value, or maximum value of the horizontal parallax vector as described above, the information video data 180 is linked each time the average value, minimum value, or maximum value is changed. The image position changes, and it may be difficult to visually recognize the information video data 180. Therefore, for example, the information video adjustment unit 160 further applies a low-pass filter or the like to the average value, the minimum value, or the maximum value of the horizontal parallax vector, so that the change in the position of the information video data 180 is slowed down. It can also be stabilized.

また、上述したように、情報映像データ180の結像位置を水平視差ベクトルの平均値とした場合や所定の位置に固定した場合、その結像位置より手前に結像されるべきオブジェクトに情報映像データ180が重畳されると、オブジェクトの情報映像データ180が重畳された部分だけが奥側に陥没して見える現象が生じうる。このとき情報映像調整部160は、情報映像データ180の結像位置がオブジェクトより前になるように調整したり、情報映像データ180と立体表示データ142の重畳順を変更し立体表示データ142を情報映像データ180の前段に配置したり、情報映像データ180の透過率を変化させたりすることもできる。   In addition, as described above, when the imaging position of the information video data 180 is an average value of the horizontal parallax vector or when the information video data 180 is fixed at a predetermined position, the information video is displayed on the object to be imaged before the imaging position. When the data 180 is superimposed, a phenomenon may occur in which only a portion of the object on which the information video data 180 is superimposed appears to be recessed. At this time, the information video adjustment unit 160 adjusts the imaging position of the information video data 180 to be in front of the object, or changes the superposition order of the information video data 180 and the stereoscopic display data 142 to change the stereoscopic display data 142 into information. It can be arranged before the video data 180 or the transmittance of the information video data 180 can be changed.

映像重畳部162は、情報映像調整部160によって生成された制御信号182に従って、ラインシーケンシャル部154によって生成された立体表示データに情報映像データ180を重畳する。   The video superimposing unit 162 superimposes the information video data 180 on the stereoscopic display data generated by the line sequential unit 154 according to the control signal 182 generated by the information video adjusting unit 160.

図8は、映像重畳部162の機能を示した機能ブロック図であり、図9は、情報映像データ180が重畳された立体表示データ142を示した説明図である。図8を参照すると、映像重畳部162の2つの入力端子に立体表示データ142と情報映像データ180とが入力され、切換入力に制御信号182が入力される。従って、映像重畳部162は、制御信号182がオフの期間(図8(a)の斜線部分で示す以外の期間)、立体表示データ142を映像出力部164に出力し、オンの期間(図8(a)の斜線部分で示す期間)、立体表示データ142の代わりに情報映像データ180を映像出力部164に出力する。こうして図9に示すような、情報映像データ180が重畳された立体表示データ142が生成される。   FIG. 8 is a functional block diagram illustrating the function of the video superimposing unit 162, and FIG. 9 is an explanatory diagram illustrating the stereoscopic display data 142 on which the information video data 180 is superimposed. Referring to FIG. 8, stereoscopic display data 142 and information video data 180 are input to two input terminals of the video superimposing unit 162, and a control signal 182 is input to a switching input. Accordingly, the video superimposing unit 162 outputs the stereoscopic display data 142 to the video output unit 164 during a period in which the control signal 182 is off (a period other than that indicated by the hatched portion in FIG. 8A) and a period in which the control signal 182 is on (FIG. 8). During the period indicated by the hatched portion in FIG. 5A, information video data 180 is output to the video output unit 164 instead of the stereoscopic display data 142. In this way, stereoscopic display data 142 on which the information video data 180 is superimposed is generated as shown in FIG.

また、映像重畳部162は、立体表示データ142と情報映像データ180とを排他的に切り替えるのみならず、制御信号182がオンの期間、任意の透過率で立体表示データ142に情報映像データ180を重畳させてもよい。かかる構成により、情報映像データ180によってその背景となる立体表示データ142が完全に見えなくなるのを回避でき、両データを有効に立体表示することができる。   Further, the video superimposing unit 162 not only exclusively switches the stereoscopic display data 142 and the information video data 180, but also adds the information video data 180 to the stereoscopic display data 142 with an arbitrary transmittance while the control signal 182 is on. You may superimpose. With this configuration, it is possible to prevent the stereoscopic display data 142 as the background from being completely invisible by the information video data 180, and to effectively display both data in a stereoscopic manner.

映像出力部164は、映像重畳部162で情報映像データ180が重畳された立体表示データ142をディスプレイ110または他の外部接続機器に出力する。図2を用いて説明したようにディスプレイ110の表示面112には、隔行で(1ライン毎に)偏光特性の異なる偏光フィルタが設けられている。従って、図9のような、左眼映像と右眼映像とが並置される立体表示データ142をそれぞれ適切な偏光特性で表示することができる。観察者は、専用の偏光眼鏡118を着用することによって、左眼で左眼映像、右眼で右眼映像を視認し、奥行き感を知覚することができる。   The video output unit 164 outputs the stereoscopic display data 142 on which the information video data 180 is superimposed by the video superimposing unit 162 to the display 110 or other externally connected device. As described with reference to FIG. 2, the display surface 112 of the display 110 is provided with polarization filters having different polarization characteristics every other line (for each line). Therefore, the stereoscopic display data 142 in which the left eye image and the right eye image are juxtaposed as shown in FIG. 9 can be displayed with appropriate polarization characteristics. By observing the left eye image with the left eye and the right eye image with the right eye, the observer can perceive a sense of depth by wearing dedicated polarizing glasses 118.

上述した立体映像表示装置100では、立体映像データの左眼映像と右眼映像との水平視差ベクトルを求め、その水平視差ベクトルに基づいて制御信号を生成し、立体視可能に変換されている立体表示データに情報映像データを重畳する。かかる構成により、情報映像データがディスプレイ110上に正しく表示され、観察者の操作性を向上することができる。また、立体視を考慮していない情報映像データにも両眼視差を付与でき、観察者に対して情報映像データを立体的に知覚させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。   In the stereoscopic video display device 100 described above, a horizontal parallax vector between the left-eye video and right-eye video of the stereoscopic video data is obtained, a control signal is generated based on the horizontal parallax vector, and the stereoscopic video that has been converted to be stereoscopically viewable. The information video data is superimposed on the display data. With this configuration, the information video data is correctly displayed on the display 110, and the operability of the observer can be improved. Further, binocular parallax can be imparted to information video data that does not take stereoscopic vision into consideration, and information video data can be perceived stereoscopically by an observer. As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display.

(立体映像表示方法)
次に、上述した立体映像表示装置100を用いて、両眼視差による立体映像を表示する立体映像表示方法を具体的に説明する。
(3D image display method)
Next, a stereoscopic video display method for displaying stereoscopic video by binocular parallax using the stereoscopic video display device 100 described above will be specifically described.

図10は、立体映像表示方法の全体的な流れを示したフローチャートである。立体映像表示装置100の映像取得部150が立体映像データ134、140を取得すると(S200のYES)、映像処理部152がRGB処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理などの映像信号処理を行う(S202)。ラインシーケンシャル部154は、このように映像信号処理された立体映像データ134、140における左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ110に表示するための立体表示データ142を生成する(S204)。   FIG. 10 is a flowchart showing the overall flow of the stereoscopic image display method. When the video acquisition unit 150 of the stereoscopic video display apparatus 100 acquires the stereoscopic video data 134 and 140 (YES in S200), the video processing unit 152 performs video processing such as RGB processing (γ correction and color correction), enhancement processing, noise reduction processing, and the like. Signal processing is performed (S202). The line sequential unit 154 alternately displays the horizontal lines of the left eye video and the right eye video in the stereoscopic video data 134 and 140 subjected to the video signal processing in this manner, and displays the stereoscopic display data 142 for display on the display 110. Generate (S204).

上述した処理に続いて、または並行して、情報映像データ記憶部156は、立体映像データ134、140の操作表示に関する情報を示す情報映像データ180を生成する(S206)。水平視差ベクトル導出部158が、左眼映像と右眼映像との水平視差ベクトルを導出し(S208)、情報映像調整部160が、導出された水平視差ベクトルに基づいて、情報映像データ記憶部156が生成した情報映像データ180の各水平ラインの水平方向の位置を調整し制御信号182を生成する(S210)。   Following or in parallel with the processing described above, the information video data storage unit 156 generates information video data 180 indicating information related to operation display of the stereoscopic video data 134 and 140 (S206). The horizontal parallax vector deriving unit 158 derives a horizontal parallax vector between the left eye video and the right eye video (S208), and the information video adjusting unit 160 based on the derived horizontal parallax vector, the information video data storage unit 156. The horizontal direction position of each horizontal line of the generated information video data 180 is adjusted to generate a control signal 182 (S210).

最後に、映像重畳部162は、制御信号182に従って立体表示データ142に情報映像データ180を重畳し(S212)、映像出力部164は情報映像データ180が重畳された立体表示データ142をディスプレイ110に出力する(S214)。こうした一連の処理は、立体映像データ134、140が無くなるまで繰り返され、観察者は、適切な結像位置に情報映像データ180が表示された立体映像を見ることが可能となる。   Finally, the video superimposing unit 162 superimposes the information video data 180 on the stereoscopic display data 142 according to the control signal 182 (S212), and the video output unit 164 displays the stereoscopic display data 142 on which the information video data 180 is superimposed on the display 110. Output (S214). Such a series of processing is repeated until the three-dimensional video data 134 and 140 disappear, and the observer can view the three-dimensional video in which the information video data 180 is displayed at an appropriate imaging position.

(第2の実施形態:立体映像表示装置300)
第1の実施形態では、ラインシーケンシャル処理が施された立体表示データ142に、情報映像データ180を重畳する構成を述べた。第2の実施形態では、まず、情報映像データ180を立体映像データ134、140の左眼映像および右眼映像に重畳した後、ラインシーケンシャル処理を行う。
(Second embodiment: stereoscopic image display apparatus 300)
In the first embodiment, the configuration in which the information video data 180 is superimposed on the stereoscopic display data 142 that has been subjected to the line sequential processing has been described. In the second embodiment, first, the information video data 180 is superimposed on the left-eye video and the right-eye video of the stereoscopic video data 134 and 140, and then the line sequential processing is performed.

図11は、立体映像表示装置300の概略的な機能を示した機能ブロック図である。図11に示すように、立体映像表示装置300は、ディスプレイ110に接続され、映像取得部150と、映像処理部152と、水平視差ベクトル導出部(水平方向シフト量導出部)158と、情報映像データ記憶部310と、映像重畳部312と、ラインシーケンシャル部314と、映像出力部164と、を含んで構成される。

FIG. 11 is a functional block diagram illustrating schematic functions of the stereoscopic video display device 300. As shown in FIG. 11, the stereoscopic video display device 300 is connected to a display 110, and includes a video acquisition unit 150, a video processing unit 152, a horizontal parallax vector derivation unit (horizontal shift amount derivation unit) 158, an information video. The data storage unit 310, the video superimposing unit 312, the line sequential unit 314, and the video output unit 164 are configured.

第1の実施形態で説明したように、映像取得部150は、両眼視差による立体視を実現するための左眼映像および右眼映像が分割形成された立体映像データ134、140を外部から取得する。そして、映像処理部152は、入力されたサイドバイサイド方式やトップアンドボトム方式の立体映像データ134、140に対して、RGB処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。水平視差ベクトル導出部158は、左眼映像と右眼映像とを複数のブロックに分割して水平視差ベクトルを導出する。第2の実施形態では、以下で説明するように、立体映像データ134、140をラインシーケンシャル処理する前に、予め情報映像データ180を重畳する。   As described in the first embodiment, the video acquisition unit 150 acquires the stereoscopic video data 134 and 140 obtained by dividing the left-eye video and the right-eye video for realizing stereoscopic viewing by binocular parallax from the outside. To do. The video processing unit 152 performs video signal processing such as RGB processing (γ correction or color correction), enhancement processing, noise reduction processing, etc. on the input side-by-side or top-and-bottom stereoscopic video data 134 and 140. I do. The horizontal parallax vector deriving unit 158 divides the left eye video and the right eye video into a plurality of blocks to derive a horizontal parallax vector. In the second embodiment, as described below, the information video data 180 is superimposed in advance before the stereoscopic video data 134 and 140 are subjected to line sequential processing.

情報映像データ記憶部310は、水平視差ベクトル導出部158によって導出された水平視差ベクトルに基づいて、情報映像データ180を左眼映像および右眼映像に対応させた情報重畳データ184と、制御信号182とを生成する。   Based on the horizontal parallax vector derived by the horizontal parallax vector deriving unit 158, the information video data storage unit 310 includes information superposition data 184 in which the information video data 180 is associated with the left eye video and the right eye video, and a control signal 182. And generate

図12および図13は、情報映像データ記憶部310の動作を説明するための説明図であり、特に図12は映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、図13は映像取得部150がトップアンドボトム方式の立体映像データ140を取得した場合を示している。   12 and 13 are explanatory diagrams for explaining the operation of the information video data storage unit 310. In particular, FIG. 12 shows a case where the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, and FIG. The case where the acquisition unit 150 acquires the top-and-bottom stereoscopic video data 140 is illustrated.

映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、情報映像データ記憶部310は、図12(a)に示した情報映像データ180を生成する。   When the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the information video data storage unit 310 generates the information video data 180 illustrated in FIG.

また、情報映像データ記憶部310は、立体表示データ142の水平同期信号と垂直同期信号を参照しつつ、情報映像データ180を左眼映像に重畳する位置と右眼映像に重畳する位置を計算して、図12(b)に示す情報重畳データ184を生成する。さらに、情報映像データ記憶部310は、図12(c)の斜線部分で示す全体的な表示ラインに対する位置に相当する制御信号182を生成する。ただし、情報映像データ記憶部310は、左眼映像における情報重畳データ184の重畳開始位置を右眼映像における情報重畳データ184の重畳開始位置より、図12(c)に矢印で示すように水平視差ベクトルに相当する画素分だけシフトさせる。このような制御信号182を通じて立体映像データ134に両眼視差を付与することができる。   In addition, the information video data storage unit 310 calculates a position where the information video data 180 is superimposed on the left eye video and a position where the information video data 180 is superimposed on the right eye video while referring to the horizontal synchronization signal and the vertical synchronization signal of the stereoscopic display data 142. Thus, the information superimposition data 184 shown in FIG. Further, the information video data storage unit 310 generates a control signal 182 corresponding to the position with respect to the entire display line indicated by the hatched portion in FIG. However, the information video data storage unit 310 sets the superposition start position of the information superposition data 184 in the left eye video from the superposition start position of the information superposition data 184 in the right eye video as indicated by an arrow in FIG. Shift by the pixel corresponding to the vector. Binocular parallax can be imparted to the stereoscopic video data 134 through such a control signal 182.

一方、映像取得部150がトップアンドボトム方式の立体映像データ140を取得した場合、情報映像データ記憶部310は、図13(a)に示した情報映像データ180を生成する。   On the other hand, when the video acquisition unit 150 acquires the top-and-bottom stereoscopic video data 140, the information video data storage unit 310 generates the information video data 180 illustrated in FIG.

また、情報映像データ記憶部310は、図13(a)に示した情報映像データ180の奇数ラインに相当する部分を抽出して、トップアンドボトム方式の表示ラインに対する上部に並置し、偶数ラインに相当する部分を抽出して、トップアンドボトム方式の表示ラインに対する下部に並置する。   Further, the information video data storage unit 310 extracts a portion corresponding to the odd line of the information video data 180 shown in FIG. 13A, and juxtaposes it on the top of the display line of the top-and-bottom method, Corresponding portions are extracted and juxtaposed below the top and bottom display lines.

さらに、情報映像データ記憶部310は、立体表示データ142の水平同期信号と垂直同期信号を参照しつつ、奇数ラインを上部に、偶数ラインを下部にそれぞれ並置した情報映像データ180を、左眼映像に重畳する位置と右眼映像に重畳する位置とを計算して、図13(b)に示す情報重畳データ184を生成する。そして、情報映像データ記憶部310は、図13(c)の斜線部分で示す全体的な表示ラインに対する位置に相当する制御信号182を生成する。ただし、情報映像データ記憶部310は、左眼映像における情報重畳データ184の重畳開始位置を右眼映像における情報重畳データ184の重畳開始位置より、図13(c)に矢印で示すように水平視差ベクトル分だけシフトさせる。こうして立体映像データ140に両眼視差を付与することができる。   Further, the information video data storage unit 310 refers to the horizontal synchronization signal and the vertical synchronization signal of the stereoscopic display data 142, and displays the information video data 180 juxtaposed with the odd lines on the upper side and the even lines on the lower side. The position superimposed on the right eye image and the position superimposed on the right eye image are calculated to generate the information superimposed data 184 shown in FIG. Then, the information video data storage unit 310 generates a control signal 182 corresponding to the position with respect to the entire display line indicated by the hatched portion in FIG. However, the information video data storage unit 310 sets the superimposition start position of the information superposition data 184 in the left eye video from the superposition start position of the information superposition data 184 in the right eye video as indicated by an arrow in FIG. Shift by vector. In this way, binocular parallax can be given to the stereoscopic video data 140.

映像重畳部312は、情報映像データ記憶部310で生成された制御信号182に従って情報重畳データ184を立体映像データ134、140に重畳する。   The video superimposing unit 312 superimposes the information superimposing data 184 on the stereoscopic video data 134 and 140 according to the control signal 182 generated by the information video data storage unit 310.

図14および図15は、映像重畳部312の機能を示した機能ブロック図であり、特に図14は映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、図15は映像取得部150がトップアンドボトム方式の立体映像データ140を取得した場合を示している。   14 and 15 are functional block diagrams showing the functions of the video superimposing unit 312. In particular, FIG. 14 shows a case where the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, and FIG. Shows the case where the top-and-bottom stereoscopic video data 140 is acquired.

図14(a)を参照すると、映像重畳部312の2つの入力端子にサイドバイサイド方式の立体映像データ134と情報重畳データ184とが入力され、切換入力に制御信号182が入力されている。従って、映像重畳部312は、制御信号182がオフの期間(図14(a)で示す斜線部分以外の期間)、立体映像データ134をラインシーケンシャル部314に出力し、オンの期間(図14(a)で示す斜線部分の期間)、立体映像データ134の代わりに情報重畳データ184をラインシーケンシャル部314に出力する。こうして図14(b)に示すような、情報重畳データ184が重畳された立体映像データ134が生成される。   Referring to FIG. 14A, side-by-side stereoscopic video data 134 and information superimposition data 184 are input to two input terminals of the video superimposing unit 312, and a control signal 182 is input to a switching input. Therefore, the video superimposing unit 312 outputs the stereoscopic video data 134 to the line sequential unit 314 during a period in which the control signal 182 is off (a period other than the shaded portion shown in FIG. During the hatched portion indicated by a), the information superimposition data 184 is output to the line sequential unit 314 instead of the stereoscopic video data 134. In this way, stereoscopic video data 134 on which the information superimposition data 184 is superimposed is generated as shown in FIG.

図15(a)を参照すると、図14同様、映像重畳部312の2つの入力端子にトップアンドボトム方式の立体映像データ140と情報重畳データ184とが入力され、切換入力に制御信号182が入力されている。従って、映像重畳部312は、制御信号182がオフの期間(図15(a)で示す斜線部分以外の期間)、立体映像データ140をラインシーケンシャル部314に出力し、オンの期間(図15(a)で示す斜線部分の期間)、立体映像データ140の代わりに情報重畳データ184をラインシーケンシャル部314に出力する。こうして図15(b)に示すような、情報重畳データ184が重畳された立体映像データ140が生成される。   Referring to FIG. 15A, as in FIG. 14, the top and bottom stereoscopic video data 140 and the information superimposition data 184 are input to the two input terminals of the video superimposing unit 312, and the control signal 182 is input to the switching input. Has been. Therefore, the video superimposing unit 312 outputs the stereoscopic video data 140 to the line sequential unit 314 during a period in which the control signal 182 is off (a period other than the shaded portion shown in FIG. 15A), and is on (FIG. 15 ( During the hatched portion indicated by a), the information superimposition data 184 is output to the line sequential unit 314 instead of the stereoscopic video data 140. In this way, stereoscopic video data 140 on which the information superimposition data 184 is superimposed is generated as shown in FIG.

また、映像重畳部312は、立体映像データ134、140と情報重畳データ184とを排他的に切り替えるのみならず、制御信号182がオンの期間、任意の透過度で立体映像データ134、140に情報重畳データ184を重畳させてもよい。かかる構成により、最終的にディスプレイ110に表示される情報映像データ180によってその背景となる立体表示データ142が完全に見えなくなるのを回避でき、両データを有効に立体表示することができる。   In addition, the video superimposing unit 312 not only exclusively switches the stereoscopic video data 134 and 140 and the information superimposing data 184, but also transmits information to the stereoscopic video data 134 and 140 at an arbitrary degree of transparency while the control signal 182 is on. The superimposition data 184 may be superimposed. With such a configuration, it is possible to prevent the stereoscopic display data 142 as the background from being completely invisible due to the information video data 180 finally displayed on the display 110, and to effectively display both data in a stereoscopic manner.

さらに、映像重畳部312は、映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、ラインシーケンシャル部314において用いられない左眼映像または右眼映像の水平ラインには情報重畳データ184を重畳しないとしてもよい。   Further, when the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the video superimposing unit 312 adds the information superimposition data 184 to the horizontal line of the left eye video or the right eye video that is not used in the line sequential unit 314. It is not necessary to superimpose.

図16は、映像重畳部312の動作を説明するための説明図である。映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、ラインシーケンシャル部314は、最終的な立体表示データ142の各ラインに対応する映像ラインを左眼映像および右眼映像から1ラインずつ交互に抽出するため、各眼映像では奇数ラインまたは偶数ラインのみが立体表示データ142に用いられることとなる。ここでは、映像重畳部312が、例えば奇数ラインのみ用いられる一方の眼映像(ここでは左眼映像)に対して、図16のように、利用されない偶数ラインに対応する情報重畳データ184を重畳しない(欠落する)ようにすることで、無駄な処理を回避し負荷の軽減を図ることができる。   FIG. 16 is an explanatory diagram for explaining the operation of the video superimposing unit 312. When the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the line sequential unit 314 displays video lines corresponding to each line of the final stereoscopic display data 142, one line at a time from the left eye video and the right eye video. Since the images are alternately extracted, only odd lines or even lines are used for the stereoscopic display data 142 in each eye image. Here, for example, the video superimposing unit 312 does not superimpose information superimposition data 184 corresponding to even-numbered lines that are not used as shown in FIG. 16 on one eye video (here, the left-eye video) that uses only odd-numbered lines. By making (missing), useless processing can be avoided and the load can be reduced.

ラインシーケンシャル部314は、情報重畳データ184が重畳された立体映像データ134、140の左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ110に表示するための立体表示データ142を生成する。   The line sequential unit 314 alternately displays the horizontal display data 142 for displaying on the display 110 by juxtaposing the horizontal lines of the left eye video and the right eye video of the stereoscopic video data 134 and 140 on which the information superimposition data 184 is superimposed. Generate.

図17および図18は、ラインシーケンシャル部314の動作を説明するための説明図であり、特に図17はサイドバイサイド方式の立体映像データ134から、図18はトップアンドボトム方式の立体映像データ140から立体表示データ142を生成している。図17(a)に示すように、映像取得部150がサイドバイサイド方式の立体映像データ134を取得した場合、ラインシーケンシャル部314は、左眼映像130の奇数ラインの映像L1、L3、L5、L7、L9、L11と、右眼映像132の偶数ラインの映像R2、R4、R6、R8、R10、R12をそれぞれ抽出し、ラインの左端を揃えて交互に並べ直す。   FIGS. 17 and 18 are explanatory diagrams for explaining the operation of the line sequential unit 314. In particular, FIG. 17 is a side-by-side stereoscopic video data 134, and FIG. 18 is a top-and-bottom stereoscopic video data 140. Display data 142 is generated. As illustrated in FIG. 17A, when the video acquisition unit 150 acquires the side-by-side stereoscopic video data 134, the line sequential unit 314 includes the odd-line video L1, L3, L5, L7, Images L9, L11 and even-line images R2, R4, R6, R8, R10, R12 of the right-eye image 132 are extracted, and rearranged alternately with the left ends of the lines aligned.

詳細には、図17(a)における左眼映像130の1ライン目の映像L1が図17(b)における立体表示データ142の1ライン目の映像L1’に、図17(a)における右眼映像132の2ライン目の映像R2が図17(b)における立体表示データ142の2ライン目の映像R2’に変換される。従って、左眼映像130の偶数ラインの映像L2、L4、L6、L8、L10、L12、および右眼映像132の奇数ラインの映像R1、R3、R5、R7、R9、R11は利用されないこととなる。ここでは左眼映像130から奇数ライン、右眼映像132から偶数ラインを抽出したが、当然、左眼映像130から偶数ライン、右眼映像132から奇数ラインを抽出してもよい。   Specifically, the first-line image L1 of the left-eye image 130 in FIG. 17A is changed to the first-line image L1 ′ of the stereoscopic display data 142 in FIG. 17B, and the right-eye image in FIG. The video R2 of the second line of the video 132 is converted into the video R2 ′ of the second line of the stereoscopic display data 142 in FIG. Therefore, the even-line images L2, L4, L6, L8, L10, and L12 of the left-eye image 130 and the odd-line images R1, R3, R5, R7, R9, and R11 of the right-eye image 132 are not used. . Here, odd lines are extracted from the left eye image 130 and even lines are extracted from the right eye image 132, but of course, even lines may be extracted from the left eye image 130 and odd lines may be extracted from the right eye image 132.

ただし、立体映像データ134の各眼映像の水平解像度は、立体表示データ142の1/2となっているため、立体映像データ134から立体表示データ142を生成する際、その水平解像度を2倍に拡大しなければならない。かかる水平解像度拡大に伴う新たな画素の生成は、線形補間やその他のフィルタリングを用いることが可能である。かかる水平解像度の倍率は立体映像データ134の各眼映像と立体表示データ142との水平方向の画素数の比率に応じて適宜調整される。   However, since the horizontal resolution of each eye image of the stereoscopic video data 134 is ½ of the stereoscopic display data 142, when generating the stereoscopic display data 142 from the stereoscopic video data 134, the horizontal resolution is doubled. It must be enlarged. Generation of a new pixel accompanying such horizontal resolution enlargement can use linear interpolation or other filtering. The magnification of the horizontal resolution is appropriately adjusted according to the ratio of the number of pixels in the horizontal direction between each eye image of the stereoscopic image data 134 and the stereoscopic display data 142.

また、図18(a)に示すように、映像取得部150がトップアンドボトム方式の立体映像データ140を取得した場合、ラインシーケンシャル部314は、左眼映像136の全ラインの映像L1、L2、L3、L4、L5、L6と、右眼映像138の全ラインの映像R1、R2、R3、R4、R5、R6をそれぞれラインの左端を揃えて交互に並べ直す。従って、図18(a)における左眼映像136の1ライン目の映像L1が図18(b)における立体表示データ142の1ライン目の映像L1に、図18(a)における右眼映像138の1ライン目の映像R1が図18(b)における立体表示データ142の2ライン目の映像R1に、拡大処理や縮小処理を実行することなく移される。このようにトップアンドボトム方式では利用されないラインや水平解像度の拡大が無いので、情報の欠落も少なくなる。   Also, as shown in FIG. 18A, when the video acquisition unit 150 acquires the top-and-bottom stereoscopic video data 140, the line sequential unit 314 displays the video L1, L2, and the video L1, L2, all lines of the left-eye video 136. L3, L4, L5, L6 and the images R1, R2, R3, R4, R5, R6 of all lines of the right eye image 138 are alternately rearranged with the left ends of the lines aligned. Accordingly, the video L1 of the first line of the left eye video 136 in FIG. 18A is changed to the video L1 of the first line of the stereoscopic display data 142 in FIG. 18B, and the right eye video 138 in FIG. The image R1 of the first line is transferred to the image R1 of the second line of the stereoscopic display data 142 in FIG. 18B without executing enlargement processing or reduction processing. As described above, since there is no line that is not used in the top-and-bottom system and there is no enlargement of the horizontal resolution, information loss is reduced.

映像出力部164は、ラインシーケンシャル部314でラインシーケンシャル処理された立体表示データ142をディスプレイ110または他の外部接続機器に出力する。   The video output unit 164 outputs the stereoscopic display data 142 subjected to the line sequential processing by the line sequential unit 314 to the display 110 or other externally connected device.

上述した立体映像表示装置300では、立体映像データの左眼映像と右眼映像との水平視差ベクトルを求め、その水平視差ベクトルに基づいて情報重畳データと制御信号とを生成し、立体映像データの左眼映像および右眼映像にそれぞれ情報重畳データを重畳した後に、立体映像データごとラインシーケンシャル処理を行う。かかる構成により、立体視を考慮していない情報映像データにも両眼視差を付与でき、観察者に対して情報映像データを立体的に知覚させることが可能となる。このように、立体映像データ同様、情報映像データも正しく結像させることで、眼にかかる負担を軽減し、より自然な立体映像表示を実現することが可能となる。   In the stereoscopic video display device 300 described above, a horizontal parallax vector between the left eye video and the right eye video of the stereoscopic video data is obtained, information superimposition data and a control signal are generated based on the horizontal parallax vector, and the stereoscopic video data After superimposing information superimposition data on each of the left eye video and right eye video, line sequential processing is performed for each stereoscopic video data. With this configuration, binocular parallax can be imparted to information video data that does not take stereoscopic vision into consideration, and the viewer can perceive the information video data stereoscopically. As described above, the information video data is correctly imaged as in the case of the stereoscopic video data, thereby reducing the burden on the eyes and realizing a more natural stereoscopic video display.

(立体映像表示方法)
次に、上述した立体映像表示装置300を用いて、両眼視差による立体映像を表示する立体映像表示方法を具体的に説明する。
(3D image display method)
Next, a stereoscopic video display method for displaying stereoscopic video based on binocular parallax using the stereoscopic video display device 300 described above will be specifically described.

図19は、立体映像表示方法の全体的な流れを示したフローチャートである。立体映像表示装置300の映像取得部150が立体映像データ134、140を取得すると(S400)、映像処理部152がRGB処理(γ補正や色補正)、エンハンス処理、ノイズ低減処理などの映像信号処理を行う(S402)。   FIG. 19 is a flowchart showing the overall flow of the stereoscopic video display method. When the video acquisition unit 150 of the stereoscopic video display device 300 acquires the stereoscopic video data 134 and 140 (S400), the video processing unit 152 performs video signal processing such as RGB processing (γ correction and color correction), enhancement processing, noise reduction processing, and the like. (S402).

上述した処理に続いて、または並行して、情報映像データ記憶部310は、立体映像データ134、140または立体表示データ142の操作表示に関する情報を示す情報映像データ180を生成する(S404)。水平視差ベクトル導出部158が、左眼映像と右眼映像との水平視差ベクトルを導出し(S406)、情報映像データ記憶部310が、導出された水平視差ベクトルに基づいて、情報映像データ180を左眼映像および右眼映像に対応させた情報重畳データ184と、制御信号182とを生成し(S408)、映像重畳部162は、生成された制御信号182に従って情報重畳データ184を立体映像データ134、140に重畳する(S410)。   Following or in parallel with the processing described above, the information video data storage unit 310 generates information video data 180 indicating information related to operation display of the stereoscopic video data 134, 140 or the stereoscopic display data 142 (S404). The horizontal parallax vector deriving unit 158 derives a horizontal parallax vector between the left eye video and the right eye video (S406), and the information video data storage unit 310 calculates the information video data 180 based on the derived horizontal parallax vector. The information superimposition data 184 corresponding to the left eye video and the right eye video and the control signal 182 are generated (S408), and the video superimposing unit 162 converts the information superimposition data 184 into the stereoscopic video data 134 according to the generated control signal 182. , 140 (S410).

ラインシーケンシャル部154は、情報重畳データ184が重畳された立体映像データ134、140の左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイ110に表示するための立体表示データ142を生成し(S412)、映像出力部164が立体表示データ142を出力する(S414)。こうした一連の処理は、立体映像データ134、140が無くなるまで繰り返され、観察者は、適切な結像位置に情報映像データ180が表示された立体映像を見ることが可能となる。   The line sequential unit 154 alternately displays the horizontal display data 142 for displaying on the display 110 by juxtaposing the horizontal lines of the left eye video and the right eye video of the stereoscopic video data 134 and 140 on which the information superimposition data 184 is superimposed. The video output unit 164 outputs the stereoscopic display data 142 (S414). Such a series of processing is repeated until the three-dimensional video data 134 and 140 disappear, and the observer can view the three-dimensional video in which the information video data 180 is displayed at an appropriate imaging position.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

なお、本明細書の立体映像表示方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。   Note that each step of the stereoscopic image display method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.

本発明は、両眼視差による立体映像をディスプレイに表示することが可能な立体映像表示装置および立体映像表示方法に利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used for a stereoscopic video display device and a stereoscopic video display method capable of displaying stereoscopic video based on binocular parallax on a display.

100、300 …立体映像表示装置
110 …ディスプレイ
130、136 …左眼映像
132、138 …右眼映像
134、140 …立体映像データ
146 …ブロック
150 …映像取得部
152 …映像処理部
154、314 …ラインシーケンシャル部
156、310 …情報映像データ記憶部
158 …水平視差ベクトル導出部
160 …情報映像調整部
162、312 …映像重畳部
164 …映像出力部
180 …情報映像データ
182 …制御信号
184 …情報重畳データ
100, 300 ... 3D image display device 110 ... Display 130, 136 ... Left eye image 132, 138 ... Right eye image 134, 140 ... 3D image data 146 ... Block 150 ... Image acquisition unit 152 ... Image processing unit 154, 314 ... Line Sequential sections 156, 310 ... information video data storage section 158 ... horizontal parallax vector derivation section 160 ... information video adjustment sections 162, 312 ... video superposition section 164 ... video output section 180 ... information video data 182 ... control signal 184 ... information superposition data

Claims (4)

互いに視差を生じるように生成された左眼映像右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得する映像取得部と、
前記取得された立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、
前記取得された立体映像データの前記左眼映像と前記右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、前記対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を前記分割された各ブロックの水平方向のシフト量とし、前記算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を前記立体映像データの水平方向のシフト量として導出する水平方向シフト量導出部と、
前記左眼映像及び前記右眼映像のそれぞれに重畳されるべき情報映像データについて、前記左眼映像に重畳される前記情報映像データの位置が、前記右眼映像に重畳される前記情報映像データの位置に対して、前記導出された前記立体映像データの水平方向のシフト量の2倍のシフト量で水平方向にシフトされるように制御信号を生成する情報映像調整部と、
前記制御信号に従って前記立体表示データに前記情報映像データを重畳する映像重畳部と、
前記情報映像データが重畳された立体表示データを出力する映像出力部と、
を備えることを特徴とする立体映像表示装置。
A video acquisition unit that includes a left-eye image and a right-eye image generated so as to generate parallax with each other, and acquires stereoscopic video data generated in a side-by-side manner ;
A line sequential unit that alternately generates horizontal lines of left-eye video and right-eye video in the acquired stereoscopic video data and generates stereoscopic display data for display on a display;
The left eye image and the right eye image of the acquired stereoscopic image data are divided into blocks of a predetermined size, the corresponding blocks are relatively shifted in the horizontal direction, and the evaluation values of the corresponding blocks are compared. The horizontal shift amount that minimizes the difference between the horizontal blocks is derived, the derived horizontal shift amount is taken as the horizontal shift amount of each of the divided blocks, and the calculated horizontal shift amount of each block is calculated. A horizontal shift amount deriving unit for deriving any one of the average value, the minimum value, and the maximum value as a horizontal shift amount of the stereoscopic video data ;
For information video data to be superimposed on each of the left eye video and the right eye video, the position of the information video data superimposed on the left eye video is the position of the information video data superimposed on the right eye video. An information video adjusting unit that generates a control signal so as to be shifted in a horizontal direction with a shift amount that is twice a horizontal shift amount of the derived stereoscopic video data with respect to a position ;
A video superimposing unit that superimposes the information video data on the stereoscopic display data according to the control signal;
A video output unit that outputs stereoscopic display data on which the information video data is superimposed;
A stereoscopic video display device comprising:
互いに視差を生じるように生成された左眼映像右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得する映像取得部と、
前記取得された立体映像データの前記左眼映像と前記右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、前記対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を前記分割された各ブロックの水平方向のシフト量とし、前記算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を前記立体映像データの水平方向のシフト量として導出する水平方向シフト量導出部と、
前記導出された前記立体映像データの水平方向のシフト量に基づいて、前記立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データから前記左眼映像および前記右眼映像に対応させた情報重畳データを生成し、前記左眼映像および前記右眼映像に対して前記情報重畳データを、前記立体映像データの水平方向のシフト量と同じ水平方向のシフト量を有する位置に重畳するための制御信号を生成する情報映像データ記憶部と、
前記制御信号に従って前記情報重畳データを前記立体映像データに重畳する映像重畳部と、
前記情報重畳データが重畳された立体映像データの左眼映像および右眼映像から所定の水平ラインをそれぞれ抽出し、抽出された水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するラインシーケンシャル部と、
前記重畳された立体表示データを出力する映像出力部と、
を備え、
前記映像重畳部は、前記ラインシーケンシャル部において抽出されない前記左眼映像および前記右眼映像の水平ラインには前記情報重畳データを重畳しないことを特徴とする立体映像表示装置。
A video acquisition unit that includes a left-eye image and a right-eye image generated so as to generate parallax with each other, and acquires stereoscopic video data generated in a side-by-side manner ;
The left eye image and the right eye image of the acquired stereoscopic image data are divided into blocks of a predetermined size, the corresponding blocks are relatively shifted in the horizontal direction, and the evaluation values of the corresponding blocks are compared. The horizontal shift amount that minimizes the difference between the horizontal blocks is derived, the derived horizontal shift amount is taken as the horizontal shift amount of each of the divided blocks, and the calculated horizontal shift amount of each block is calculated. A horizontal shift amount deriving unit for deriving any one of the average value, the minimum value, and the maximum value as a horizontal shift amount of the stereoscopic video data ;
Based on the horizontal shift amount of the stereoscopic image data to which the derived, said from the stereoscopic image data or information image data indicating information on the operation display of the stereoscopic display data to be displayed on the display left-eye image and the right-eye image Information superimposition data corresponding to the left eye image and the right eye image is generated at a position having the same horizontal shift amount as the horizontal shift amount of the stereoscopic video data. an information image data storage unit for generating control signals for superimposing,
A video superimposing unit that superimposes the information superimposing data on the stereoscopic video data according to the control signal;
Stereo display data for extracting predetermined horizontal lines from the left-eye video and right-eye video of the stereoscopic video data on which the information superimposition data is superimposed, and arranging the extracted horizontal lines alternately and displaying them on the display A line sequential part that generates
A video output unit for outputting the superimposed stereoscopic display data;
With
The stereoscopic video display device , wherein the video superimposing unit does not superimpose the information superimposition data on a horizontal line of the left eye video and the right eye video that are not extracted in the line sequential unit .
互いに視差を生じるように生成された左眼映像と右眼映像とを備え、サイドバイサイド方式で生成された立体映像データを取得するステップと、
前記取得された立体映像データにおける左眼映像および右眼映像の水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するステップと、
前記取得された立体映像データの前記左眼映像と前記右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、前記対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を前記分割された各ブロックの水平方向のシフト量とし、前記算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を前記立体映像データの水平方向のシフト量として導出するステップと、
前記左眼映像及び前記右眼映像のそれぞれに重畳されるべき情報映像データについて、前記左眼映像に重畳される前記情報映像データの位置が、前記右眼映像に重畳される前記情報映像データの位置に対して、前記導出された前記立体映像データの水平方向のシフト量の2倍のシフト量で水平方向にシフトされるように制御信号を生成するステップと、
前記制御信号に従って前記立体表示データに前記情報映像データを重畳するステップと、
前記情報映像データが重畳された立体表示データを出力するステップと、
を備えることを特徴とする立体映像表示方法
Acquiring left-eye video and right-eye video generated so as to generate parallax, and obtaining stereoscopic video data generated in a side-by-side manner;
Alternately generating horizontal lines of left eye video and right eye video in the acquired stereoscopic video data, and generating stereoscopic display data for display on a display;
The left eye image and the right eye image of the acquired stereoscopic image data are divided into blocks of a predetermined size, the corresponding blocks are relatively shifted in the horizontal direction, and the evaluation values of the corresponding blocks are compared. The horizontal shift amount that minimizes the difference between the horizontal blocks is derived, the derived horizontal shift amount is taken as the horizontal shift amount of each of the divided blocks, and the calculated horizontal shift amount of each block is calculated. Deriving any one of an average value, a minimum value, and a maximum value as a horizontal shift amount of the stereoscopic video data;
For information video data to be superimposed on each of the left eye video and the right eye video, the position of the information video data superimposed on the left eye video is the position of the information video data superimposed on the right eye video. Generating a control signal so as to be shifted in a horizontal direction with a shift amount twice as large as a horizontal shift amount of the derived stereoscopic video data with respect to a position;
Superimposing the information video data on the stereoscopic display data according to the control signal;
Outputting stereoscopic display data on which the information video data is superimposed;
A stereoscopic image display method comprising:
互いに視差を生じるように生成された左眼映像と右眼映像とを備え、サイドバイサイド方式で生成された生成された立体映像データを取得するステップと、
前記取得された立体映像データの前記左眼映像と前記右眼映像とを所定サイズのブロックに分割し、対応するブロック同士を水平方向に相対的にシフトさせて、前記対応するブロック同士の評価値の差分が最小となる水平方向のシフト量を導出し、その導出した水平方向のシフト量を前記分割された各ブロックの水平方向のシフト量とし、前記算出された各ブロックの水平方向のシフト量の平均値、最小値、および最大値のうちの何れか一つの値を前記立体映像データの水平方向のシフト量として導出するステップと、
前記導出された前記立体映像データの水平方向のシフト量に基づいて、前記立体映像データまたはディスプレイに表示する立体表示データの操作表示に関する情報を示す情報映像データから前記左眼映像および前記右眼映像に対応させた情報重畳データを生成し、前記左眼映像および前記右眼映像に対して前記情報重畳データを、前記立体映像データの水平方向のシフト量と同じ水平方向のシフト量を有する位置に重畳するための制御信号を生成するステップと、
前記制御信号に従って前記情報重畳データを前記立体映像データに重畳するステップと、
前記情報重畳データが重畳された立体映像データの左眼映像および右眼映像から所定の水平ラインをそれぞれ抽出し、抽出された水平ラインを交互に並置して、ディスプレイに表示するための立体表示データを生成するステップと、
前記重畳された立体表示データを出力するステップと、
を備え、
前記情報重畳データを前記立体映像データに重畳するステップは、前記立体表示データを生成するステップにおいて抽出されない前記左眼映像および前記右眼映像の水平ラインには前記情報重畳データを重畳しないことを特徴とする立体映像表示方法
Obtaining the generated stereoscopic video data generated by the side-by-side method, comprising a left-eye video and a right-eye video generated so as to generate parallax with each other;
The left eye image and the right eye image of the acquired stereoscopic image data are divided into blocks of a predetermined size, the corresponding blocks are relatively shifted in the horizontal direction, and the evaluation values of the corresponding blocks are compared. The horizontal shift amount that minimizes the difference between the horizontal blocks is derived, the derived horizontal shift amount is taken as the horizontal shift amount of each of the divided blocks, and the calculated horizontal shift amount of each block is calculated. Deriving any one of an average value, a minimum value, and a maximum value as a horizontal shift amount of the stereoscopic video data;
Based on the derived horizontal shift amount of the stereoscopic video data, the left-eye video and the right-eye video are obtained from the stereoscopic video data or information video data indicating information related to operation display of the stereoscopic display data displayed on the display. Information superimposition data corresponding to the left eye image and the right eye image is generated at a position having the same horizontal shift amount as the horizontal shift amount of the stereoscopic video data. Generating a control signal for superimposition;
Superimposing the information superimposition data on the stereoscopic video data according to the control signal;
Stereo display data for extracting predetermined horizontal lines from the left-eye video and right-eye video of the stereoscopic video data on which the information superimposition data is superimposed, and arranging the extracted horizontal lines alternately and displaying them on the display A step of generating
Outputting the superimposed stereoscopic display data;
With
The step of superimposing the information superimposition data on the stereoscopic video data does not superimpose the information superimposition data on horizontal lines of the left eye video and the right eye video that are not extracted in the step of generating the stereoscopic display data. 3D video display method .
JP2009129007A 2009-05-28 2009-05-28 3D image display apparatus and 3D image display method Active JP5267334B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009129007A JP5267334B2 (en) 2009-05-28 2009-05-28 3D image display apparatus and 3D image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009129007A JP5267334B2 (en) 2009-05-28 2009-05-28 3D image display apparatus and 3D image display method

Publications (2)

Publication Number Publication Date
JP2010278743A JP2010278743A (en) 2010-12-09
JP5267334B2 true JP5267334B2 (en) 2013-08-21

Family

ID=43425287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009129007A Active JP5267334B2 (en) 2009-05-28 2009-05-28 3D image display apparatus and 3D image display method

Country Status (1)

Country Link
JP (1) JP5267334B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5586403B2 (en) * 2010-09-30 2014-09-10 株式会社東芝 Video data transmitting apparatus and video data transmitting method
JP2012141340A (en) * 2010-12-28 2012-07-26 Konica Minolta Advanced Layers Inc Image display device
JP2012227842A (en) * 2011-04-21 2012-11-15 Sharp Corp Video supply device and video supply method
WO2013121823A1 (en) 2012-02-16 2013-08-22 ソニー株式会社 Transmission device, transmission method and receiver device
CN115190284B (en) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 Image processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3423189B2 (en) * 1997-05-27 2003-07-07 三洋電機株式会社 Telop display device by digital 3D broadcasting
JP4610799B2 (en) * 2001-06-25 2011-01-12 オリンパス株式会社 Stereoscopic observation system and endoscope apparatus
JP2003018619A (en) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd Three-dimensional image evaluation apparatus and display using the same
JP4525049B2 (en) * 2003-10-24 2010-08-18 ソニー株式会社 Stereoscopic image processing apparatus and stereoscopic image generation method
JP2006325165A (en) * 2005-05-20 2006-11-30 Excellead Technology:Kk Device, program and method for generating telop

Also Published As

Publication number Publication date
JP2010278743A (en) 2010-12-09

Similar Documents

Publication Publication Date Title
US9124870B2 (en) Three-dimensional video apparatus and method providing on screen display applied thereto
JP4251952B2 (en) Stereoscopic image display apparatus and stereoscopic image display method
US20100045779A1 (en) Three-dimensional video apparatus and method of providing on screen display applied thereto
KR101675041B1 (en) Resolution enhanced 3d vedio rendering systems and methods
US8994787B2 (en) Video signal processing device and video signal processing method
JP2010273333A (en) Three-dimensional image combining apparatus
JP2004208255A (en) Stereoscopic image display device, recording method, and transmission method
JP2010273333A5 (en)
JP2011211450A (en) Three-dimensional video display device, three-dimensional video photographing device, and three-dimensional video display method
JP2006067596A (en) Method of generating stereoscopic image signal and method of scaling the same
JP5172991B2 (en) 3D image processing apparatus and viewing position check method
US20140085435A1 (en) Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
JP5267334B2 (en) 3D image display apparatus and 3D image display method
TW201415864A (en) Method for generating, transmitting and receiving stereoscopic images, and related devices
JP2007312407A (en) Stereoscopic image display device and method thereof
JP2011124802A (en) Device and method for generating stereoscopic video
JP5257243B2 (en) 3D image display apparatus and 3D image display method
JP5668297B2 (en) Image processing apparatus, projector, and image processing method
US20120249872A1 (en) Video signal processing apparatus and video signal processing method
KR100823561B1 (en) Display device for displaying two-three dimensional image
EP2547109A1 (en) Automatic conversion in a 2D/3D compatible mode
EP2560400A2 (en) Method for outputting three-dimensional (3D) image and display apparatus thereof
WO2011083538A1 (en) Image processing device
JP5387316B2 (en) 3D image display apparatus, information processing apparatus, and 3D image display method
JP5717496B2 (en) Video display device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Ref document number: 5267334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150