[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2011239148A - Video display apparatus, video display method and computer program - Google Patents

Video display apparatus, video display method and computer program Download PDF

Info

Publication number
JP2011239148A
JP2011239148A JP2010108562A JP2010108562A JP2011239148A JP 2011239148 A JP2011239148 A JP 2011239148A JP 2010108562 A JP2010108562 A JP 2010108562A JP 2010108562 A JP2010108562 A JP 2010108562A JP 2011239148 A JP2011239148 A JP 2011239148A
Authority
JP
Japan
Prior art keywords
image
phase difference
decoding
error
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010108562A
Other languages
Japanese (ja)
Inventor
Toshiya Akiba
俊哉 秋葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010108562A priority Critical patent/JP2011239148A/en
Publication of JP2011239148A publication Critical patent/JP2011239148A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video display apparatus capable of providing a user with stereoscopic video giving no sense of discomfort by using a phase difference between right-eye video and left-eye video to perform error correction.SOLUTION: The display apparatus comprises a decoding part for decoding video data into which videos from a plurality of view points are encoded, a phase difference detection part for detecting phase difference information affecting a distance feeling for a three-dimensional video when displaying the three-dimensional video from a first image and a second image obtained from decode by the decoding part, an error detection part for detecting an error portion of the image obtained from decode by the decoding part, and an image correction part for correcting an error portion by replacing the error portion of the image obtained from decode by the decoding part with another image by reflecting the phase difference information detected by the phase difference detection part.

Description

本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに関する。   The present invention relates to a video display device, a video display method, and a computer program.

時分割駆動方式による映像表示装置は、複数の映像ストリームを時分割的に順次切り換えて出力する映像表示装置である。このような時分割駆動方式を用いた映像表示装置としては、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム(例えば、特許文献1〜3参照)や、シャッタ眼鏡を用いて複数の観察者が画面を分割することなく異なる映像を観察するマルチ映像表示システム等が挙げられる。   A video display device using a time division drive system is a video display device that sequentially switches and outputs a plurality of video streams in a time division manner. As a video display device using such a time-division driving method, a time-division stereoscopic video display system using so-called shutter glasses (for example, see Patent Documents 1 to 3), or a plurality of observers using shutter glasses. For example, a multi-video display system that observes different videos without dividing the screen.

時分割立体映像表示システムは、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示すると同時に、左眼用映像及び右眼用映像の表示周期に同期して左眼及び右眼に映像を分離して提供する立体映像表示装置を用いた映像表示システムである。例えば、シャッタ眼鏡方式は、左眼用映像が表示される間はシャッタ眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用映像が表示される間はシャッタ眼鏡の右眼部が光を透過させ、左眼部が遮光する。このように映像を切り替えて表示し、ユーザに右眼用映像と左眼用映像とを高速で交互に提示することで、時分割立体映像表示システムは、ユーザに対して映像を立体的に認識させることが可能となる。   The time-division stereoscopic video display system alternately displays the left-eye video and the right-eye video on the entire screen in a very short cycle, and at the same time, synchronizes with the display cycle of the left-eye video and the right-eye video. And a video display system using a stereoscopic video display device that separately provides video to the right eye. For example, in the shutter glasses method, the left eye portion of the shutter glasses transmits light and the right eye portion blocks light while the left eye image is displayed. Further, while the right-eye video is displayed, the right eye of the shutter glasses transmits light and the left eye blocks light. In this way, the video is switched and displayed, and the right-eye video and the left-eye video are alternately presented to the user at high speed, so that the time-division stereoscopic video display system recognizes the video stereoscopically to the user. It becomes possible to make it.

特開平9−138384号公報JP-A-9-138384 特開2000−36969号公報JP 2000-36969 A 特開2003−45343号公報JP 2003-45343 A

伝送系統のエラーやメディアの損傷等によって画像に不具合が生じた場合、通常は、エラーが発生した箇所に相当する部分を前のフレームから切り出してエラーが発生した箇所にはめ込むエラー補正方法が行われる。しかし、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示するようなストリームの場合、補正部分において左眼用映像及び右眼用映像の間に時間差が生じ、ユーザに違和感を与えてしまう恐れがある。   When a problem occurs in an image due to an error in the transmission system or media damage, an error correction method is usually performed in which a portion corresponding to the location where the error has occurred is cut out from the previous frame and inserted into the location where the error has occurred. . However, in the case of a stream in which the left-eye video and the right-eye video are alternately displayed on the entire screen in a very short cycle, a time difference occurs between the left-eye video and the right-eye video in the correction portion, and the user There is a risk of feeling uncomfortable.

また、時間差を生じさせないようにするために、エラーが起こった映像の反対側の映像(つまり、左眼用映像でエラーが起きれば右眼用映像、右眼用映像でエラーが起きれば左眼用映像)からエラーが発生した箇所に相当する部分を切り出してエラーが発生した箇所にはめ込むと、左眼用映像と右眼用映像とでは視差情報が異なるので、はめ込んだ箇所だけ距離感が異なって見え、ユーザに違和感を与えてしまう恐れがある。   Also, in order not to cause a time difference, the video on the opposite side of the video where the error occurred (that is, the video for the right eye if an error occurs in the video for the left eye and the left eye if an error occurs in the video for the right eye) If the portion corresponding to the location where the error occurred is cut out from the image) and inserted into the location where the error has occurred, the disparity information will differ between the left-eye image and the right-eye image, so the sense of distance will differ only at the location where the error occurred. This may cause the user to feel uncomfortable.

さらに、エラー補正だけでなく、映像のサーチ等で欠落した圧縮信号をデコードする際に、片側のみのデータしかない場合には、強制的に二次元映像としての表示になる。従って、ユーザが映像を変速再生する度に二次元映像と三次元映像とが強制的に切り替わることになり、ユーザに違和感を与えたり、影像が見づらくなったりする恐れがある。   Furthermore, not only error correction but also decoding of a compressed signal that has been lost due to video search or the like, if there is only data on one side, it is forcibly displayed as a two-dimensional video. Therefore, every time the user performs variable speed playback of the video, the 2D video and the 3D video are forcibly switched, which may give the user a sense of discomfort or make it difficult to see the image.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to perform error correction using a phase difference between a right-eye image and a left-eye image. It is an object of the present invention to provide a new and improved video display device, video display method and computer program capable of providing a user with a 3D video without a sense of incongruity.

上記課題を解決するために、本発明のある観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、を備える、映像表示装置が提供される。   In order to solve the above-described problem, according to an aspect of the present invention, a decoding unit that decodes video data in which videos from a plurality of viewpoints are compression-encoded, and a first image obtained by decoding of the decoding unit A phase difference detection unit that detects phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the image and the second image, and an error location in the image obtained by decoding of the decoding unit An error detection unit that detects the error, and an image correction unit that corrects the error portion of the image obtained by decoding of the decoding unit by reflecting the phase difference information detected by the phase difference detection unit with the other image A video display device is provided.

前記画像補正部は、前記エラー検出部が検出したエラーの数が所定の閾値を超えると前記第1の画像及び前記第2の画像とから二次元映像を生成するようにしてもよい。   The image correction unit may generate a 2D video from the first image and the second image when the number of errors detected by the error detection unit exceeds a predetermined threshold.

前記画像補正部は、前記位相差検出部が検出した同一フレームにおけるエラー箇所の周囲の前記位相差情報を用いて補正するようにしてもよい。   The image correction unit may perform correction using the phase difference information around the error portion in the same frame detected by the phase difference detection unit.

前記画像補正部は、前記位相差検出部が検出した前後のフレームのエラー箇所の前記位相差情報を用いて補正するようにしてもよい。   The image correction unit may perform correction using the phase difference information of the error portions of the previous and subsequent frames detected by the phase difference detection unit.

前記画像補正部は、前記映像データのスキップ再生時にエラー箇所の補正処理を実行するようにしてもよい。   The image correction unit may execute an error location correction process during skip reproduction of the video data.

前記画像補正部は、前記エラー検出部が検出したエラー箇所の範囲によって、反映させる前記位相差情報の取得元のフレームを変化させてもよい。   The image correction unit may change a frame from which the phase difference information to be reflected is acquired according to a range of error locations detected by the error detection unit.

前記復号部は、MPEG−4 MVC(Multiview Video Coding)により符号化された映像データを復号するようにしてもよい。   The decoding unit may decode video data encoded by MPEG-4 MVC (Multiview Video Coding).

また、上記課題を解決するために、本発明の別の観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を備える、映像表示方法が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, a decoding step for decoding video data obtained by compressing and encoding video from a plurality of viewpoints, and a decoding step obtained by the decoding unit. A phase difference detecting step for detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image, and an image obtained by decoding in the decoding step An error detection step for detecting an error location in the image, and an error location in the image obtained by decoding in the decoding step is corrected by replacing the phase difference information detected in the phase difference detection step with the other image A video display method comprising: a correction step.

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を実行させる、コンピュータプログラムが提供される。   In order to solve the above-described problem, according to another aspect of the present invention, a computer includes a decoding step of decoding video data in which videos from a plurality of viewpoints are compression-encoded, and decoding by the decoding unit A phase difference detecting step for detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained, and decoding by the decoding step An error detection step for detecting an error location in the obtained image, and an error location of the image obtained by decoding in the decoding step is replaced with the other image reflecting the phase difference information detected by the phase difference detection step. A computer program for executing an image correction step for correction is provided.

以上説明したように本発明によれば、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することが出来る。   As described above, according to the present invention, it is possible to provide a user with a 3D image without a sense of incongruity by performing error correction using the phase difference between the right-eye image and the left-eye image. A new and improved video display device, video display method, and computer program can be provided.

本発明の一実施形態にかかる表示装置100の外観を示す説明図である。It is explanatory drawing which shows the external appearance of the display apparatus 100 concerning one Embodiment of this invention. 本発明の一実施形態にかかる表示装置100の機能構成について示す説明図である。It is explanatory drawing shown about the function structure of the display apparatus 100 concerning one Embodiment of this invention. 本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。It is explanatory drawing which shows the structure of the video signal control part 120 contained in the display apparatus 100 concerning one Embodiment of this invention. 本発明の一実施形態にかかる映像信号制御部120の動作を示す流れ図である。3 is a flowchart showing an operation of a video signal control unit 120 according to an embodiment of the present invention. 画像補正部125a、125bにより画像補正処理を概念的に図示する説明図である。It is explanatory drawing which illustrates an image correction process notionally by the image correction part 125a, 125b. 右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。It is explanatory drawing which illustrates the outline | summary at the time of producing | generating a phase difference map by comparing the image for right eyes, and the image for left eyes. 右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。It is explanatory drawing which illustrates the outline | summary at the time of producing | generating a phase difference map by comparing the image for right eyes, and the image for left eyes. 右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。It is explanatory drawing which illustrates the outline | summary at the time of producing | generating a phase difference map by comparing the image for right eyes, and the image for left eyes. 映像信号制御部120の変形例である映像信号制御部120’の機能構成を示す説明図である。It is explanatory drawing which shows the function structure of the video signal control part 120 'which is a modification of the video signal control part 120. FIG.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.本発明の一実施形態にかかる表示装置の構成]
[1−2.本発明の一実施形態にかかる表示装置の機能構成]
[1−3.映像信号制御部の機能構成]
[1−4.映像信号制御部の動作]
[1−5.変形例]
<2.まとめ>
The description will be made in the following order.
<1. One Embodiment of the Present Invention>
[1-1. Configuration of Display Device According to One Embodiment of Present Invention]
[1-2. Functional Configuration of Display Device According to One Embodiment of Present Invention]
[1-3. Functional configuration of video signal control unit]
[1-4. Operation of video signal control unit]
[1-5. Modified example]
<2. Summary>

<1.本発明の一実施形態>
[1−1.本発明の一実施形態にかかる表示装置の構成]
以下において、本発明の一実施形態にかかる表示装置の構成について説明する。まず、本発明の一実施形態にかかる表示装置の外観について説明する。図1は、本発明の一実施形態にかかる表示装置100の外観を示す説明図である。また、図1には、表示装置100が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡200も併せて示している。
<1. One Embodiment of the Present Invention>
[1-1. Configuration of Display Device According to One Embodiment of Present Invention]
The configuration of the display device according to one embodiment of the present invention will be described below. First, the appearance of a display device according to an embodiment of the present invention will be described. FIG. 1 is an explanatory diagram showing an appearance of a display device 100 according to an embodiment of the present invention. FIG. 1 also shows shutter glasses 200 that are used by an observer to perceive an image displayed by the display device 100 as a stereoscopic image.

図1に示した表示装置100は、画像の表示が行われる画像表示部110を備えている。表示装置100は、通常の画像を画像表示部110に表示するだけではなく、観察者に立体的な画像として知覚させる三次元画像を画像表示部110に表示することが可能な装置である。   The display device 100 illustrated in FIG. 1 includes an image display unit 110 that displays an image. The display device 100 is a device capable of not only displaying a normal image on the image display unit 110 but also displaying a three-dimensional image on the image display unit 110 that allows an observer to perceive it as a three-dimensional image.

画像表示部110の構成については詳述するが、ここで簡単に説明すると、画像表示部110は、光源、液晶パネル、及び液晶パネルを挟んで設けられる一対の偏光板を含んで構成される。光源からの光は液晶パネル及び偏光板を透過することで所定の方向に偏光された光となる。なお、本発明の適用範囲は液晶パネルに限定されるものでは無く、その他の表示装置、例えばプラズマディスプレイパネルを用いた表示装置、有機EL表示装置、プロジェクタ等に適用してもよい。   The configuration of the image display unit 110 will be described in detail, but briefly described here. The image display unit 110 includes a light source, a liquid crystal panel, and a pair of polarizing plates provided with the liquid crystal panel interposed therebetween. The light from the light source passes through the liquid crystal panel and the polarizing plate and becomes light polarized in a predetermined direction. The scope of application of the present invention is not limited to a liquid crystal panel, and may be applied to other display devices such as a display device using a plasma display panel, an organic EL display device, and a projector.

シャッタ眼鏡200は、例えば液晶シャッタからなる右目用画像透過部212及び左目用画像透過部214を含んで構成されている。シャッタ眼鏡200は、表示装置100から送出される信号に応じて、右目用画像透過部212及び左目用画像透過部214の開閉動作を実行する。観察者は、シャッタ眼鏡200の右目用画像透過部212及び左目用画像透過部214を通して、画像表示部110から発する光を見ることで、画像表示部110に表示される画像を立体的な画像として知覚することが出来る。   The shutter glasses 200 are configured to include a right-eye image transmission unit 212 and a left-eye image transmission unit 214, which are liquid crystal shutters, for example. The shutter glasses 200 perform an opening / closing operation of the right-eye image transmission unit 212 and the left-eye image transmission unit 214 in accordance with a signal transmitted from the display device 100. The observer sees the light emitted from the image display unit 110 through the right-eye image transmission unit 212 and the left-eye image transmission unit 214 of the shutter glasses 200, so that the image displayed on the image display unit 110 is a three-dimensional image. Can perceive.

一方、通常の画像が画像表示部110に表示されている場合は、観察者はそのまま画像表示部110から出射される光を見ることで、通常の画像として知覚することができる。   On the other hand, when a normal image is displayed on the image display unit 110, the observer can perceive it as a normal image by looking at the light emitted from the image display unit 110 as it is.

なお、図1では、表示装置100をテレビ受像機として図示していたが、本発明においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本発明の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。   In FIG. 1, the display device 100 is illustrated as a television receiver. However, in the present invention, it is needless to say that the shape of the display device is not limited to such an example. For example, the display device of the present invention may be, for example, a monitor used in connection with a personal computer or other electronic device, a portable game machine, a mobile phone or a portable music player. It may be.

以上、本発明の一実施形態にかかる表示装置100の外観について説明した。次に、本発明の一実施形態にかかる表示装置100の機能構成について説明する。   The external appearance of the display device 100 according to the embodiment of the present invention has been described above. Next, a functional configuration of the display device 100 according to the embodiment of the present invention will be described.

[1−2.本発明の一実施形態にかかる表示装置の機能構成]
図2は、本発明の一実施形態にかかる表示装置100の機能構成について示す説明図である。以下、図2を用いて本発明の一実施形態にかかる表示装置100の機能構成について説明する。
[1-2. Functional Configuration of Display Device According to One Embodiment of Present Invention]
FIG. 2 is an explanatory diagram showing a functional configuration of the display device 100 according to the embodiment of the present invention. Hereinafter, the functional configuration of the display device 100 according to the embodiment of the present invention will be described with reference to FIG.

図2に示したように、本発明の一実施形態にかかる表示装置100は、画像表示部110と、映像信号制御部120と、シャッタ制御部130と、タイミング制御部140と、を含んで構成される。   As shown in FIG. 2, the display device 100 according to the embodiment of the present invention includes an image display unit 110, a video signal control unit 120, a shutter control unit 130, and a timing control unit 140. Is done.

画像表示部110は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部110は、表示パネル112と、ゲートドライバ113と、データドライバ114と、バックライト115と、を含んで構成される。   The image display unit 110 displays an image as described above. When a signal is applied from the outside, the image display unit 110 displays an image according to the applied signal. The image display unit 110 includes a display panel 112, a gate driver 113, a data driver 114, and a backlight 115.

表示パネル112は、外部からの信号の印加に応じて画像を表示するものである。表示パネル112は、複数の走査線に対する順次走査により画像を表示する。表示パネル112は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル112の駆動方式は、TN(Twisted Nematic)方式であってもよく、VA(Virtical Alignment)方式であってもよく、IPS(In−Place−Switching)方式であってもよい。以下の説明では、表示パネル112の駆動方式は、特に断りが無ければVA方式であるとして説明するが、本発明においてはかかる例に限られないことはいうまでも無い。なお、本実施形態にかかる表示パネル112は、高速なフレームレート(例えば120Hzや240Hz)で画面の書き換えが可能な表示パネルである。そして、本実施形態では、右目用の画像と左目用の画像を、表示パネル112に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。   The display panel 112 displays an image in response to an external signal application. The display panel 112 displays an image by sequentially scanning a plurality of scanning lines. In the display panel 112, liquid crystal molecules having a predetermined alignment state are sealed between transparent plates such as glass. The driving method of the display panel 112 may be a TN (Twisted Nematic) method, a VA (Virtual Alignment) method, or an IPS (In-Place-Switching) method. In the following description, the driving method of the display panel 112 will be described as the VA method unless otherwise specified, but it is needless to say that the present invention is not limited to such an example. The display panel 112 according to the present embodiment is a display panel that can rewrite the screen at a high frame rate (for example, 120 Hz or 240 Hz). In the present embodiment, the image for the right eye and the image for the left eye are alternately displayed on the display panel 112 at a predetermined timing, so that the observer can perceive it as a stereoscopic image.

ゲートドライバ113は、表示パネル112のゲートバスライン(図示せず)を駆動するためのドライバである。ゲートドライバ113にはタイミング制御部140から信号が伝送され、ゲートドライバ113はタイミング制御部140から伝送された信号に応じてゲートバスラインへ信号を出力する。   The gate driver 113 is a driver for driving a gate bus line (not shown) of the display panel 112. A signal is transmitted from the timing controller 140 to the gate driver 113, and the gate driver 113 outputs a signal to the gate bus line according to the signal transmitted from the timing controller 140.

データドライバ114は、表示パネル112のデータ線(図示せず)に印加するための信号を生成するためのドライバである。データドライバ114にはタイミング制御部140から信号が伝送され、データドライバ114はタイミング制御部140から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。   The data driver 114 is a driver for generating a signal to be applied to a data line (not shown) of the display panel 112. A signal is transmitted from the timing control unit 140 to the data driver 114, and the data driver 114 generates and outputs a signal to be applied to the data line according to the signal transmitted from the timing control unit 140.

バックライト115は、観察者側から見て画像表示部110の一番奥に設けられるものである。画像表示部110に画像を表示する際には、バックライト115からは偏光されていない(無偏光の)白色光が観察者側に位置する表示パネル112に出射される。バックライト115としては、例えば発光ダイオードを用いても良く、冷陰極管を用いてもよい。なお、図2では、バックライト115として面光源を示しているが、本発明においては光源の形態はかかる例に限定されない。例えば、表示パネル112の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル112に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。   The backlight 115 is provided at the innermost part of the image display unit 110 when viewed from the observer side. When displaying an image on the image display unit 110, unpolarized (non-polarized) white light is emitted from the backlight 115 to the display panel 112 positioned on the viewer side. As the backlight 115, for example, a light emitting diode may be used, or a cold cathode tube may be used. In FIG. 2, a surface light source is shown as the backlight 115, but in the present invention, the form of the light source is not limited to such an example. For example, a light source may be disposed around the display panel 112 and light may be emitted to the display panel 112 by diffusing light from the light source with a diffusion plate or the like. For example, a point light source and a condensing lens may be combined instead of the surface light source.

映像信号制御部120は、映像信号制御部120の外部からの映像信号の伝送を受けると、受け取った映像信号を、画像表示部110における三次元画像の表示に適したものとなるように各種信号処理を実行して出力するものである。映像信号制御部120で信号処理が施された映像信号はタイミング制御部140に伝送される。また、映像信号制御部120で信号処理が実行されると、信号処理に応じてシャッタ制御部130に所定の信号を伝送する。映像信号制御部120における信号処理としては、例えば以下のようなものがある。   When the video signal control unit 120 receives the transmission of the video signal from the outside of the video signal control unit 120, the video signal control unit 120 converts the received video signal into various signals so as to be suitable for displaying a three-dimensional image on the image display unit 110. The process is executed and output. The video signal subjected to signal processing by the video signal control unit 120 is transmitted to the timing control unit 140. Further, when signal processing is executed by the video signal control unit 120, a predetermined signal is transmitted to the shutter control unit 130 in accordance with the signal processing. Examples of signal processing in the video signal control unit 120 include the following.

映像信号制御部120に、右目用の画像を画像表示部110に表示するための映像信号(右目用映像信号)と、左目用の画像を画像表示部110に表示するための映像信号(左目用映像信号)が伝送されると、映像信号制御部120は2つの映像信号から三次元画像のための映像信号を生成する。本実施形態においては、映像信号制御部120は、入力される右目用映像信号及び左目用映像信号から、表示パネル112に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部120は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。   The video signal controller 120 displays a video signal (right-eye video signal) for displaying a right-eye image on the image display unit 110 and a video signal (left-eye image) for displaying a left-eye image on the image display unit 110. When the video signal is transmitted, the video signal control unit 120 generates a video signal for a three-dimensional image from the two video signals. In the present embodiment, the video signal control unit 120 receives a right-eye image, a left-eye image, a right-eye image, a left-eye image, and the like on the display panel 112 from the input right-eye video signal and left-eye video signal. A video signal to be displayed in a time-sharing manner in this order is generated. Here, the left-eye image and the right-eye image may be repeatedly displayed by a plurality of frames, respectively. In this case, the video signal control unit 120, for example, the right-eye image → the right-eye image → the left-eye image → the left-eye image A video signal to be displayed in the order of image → right eye image → right eye image →.

シャッタ制御部130は、映像信号制御部120における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡200のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡200では、シャッタ制御部130で生成され、赤外線エミッタ(図示せず)から発せされるシャッタ制御信号に基づいて、右目用画像透過部212及び左目用画像透過部214の開閉動作が実行される。   The shutter control unit 130 receives a predetermined signal generated based on the signal processing in the video signal control unit 120, and generates a shutter control signal for controlling the shutter operation of the shutter glasses 200 according to the signal. is there. In the shutter glasses 200, the right-eye image transmission unit 212 and the left-eye image transmission unit 214 are opened and closed based on a shutter control signal generated by the shutter control unit 130 and emitted from an infrared emitter (not shown). The

タイミング制御部140は、映像信号制御部120から伝送される信号に応じて、ゲートドライバ113およびデータドライバ114の動作に用いられるパルス信号を生成するものである。タイミング制御部140でパルス信号を生成して、ゲートドライバ113およびデータドライバ114がタイミング制御部140で生成されたパルス信号を受けることで、映像信号制御部120から伝送される信号に応じた画像が表示パネル112に画像が表示される。   The timing control unit 140 generates a pulse signal used for the operation of the gate driver 113 and the data driver 114 in accordance with the signal transmitted from the video signal control unit 120. The timing controller 140 generates a pulse signal, and the gate driver 113 and the data driver 114 receive the pulse signal generated by the timing controller 140, so that an image corresponding to the signal transmitted from the video signal controller 120 is obtained. An image is displayed on the display panel 112.

以上、図2を用いて本発明の一実施形態にかかる表示装置100の機能構成について説明した。次に、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。   The functional configuration of the display device 100 according to the embodiment of the present invention has been described above with reference to FIG. Next, the configuration of the video signal control unit 120 included in the display device 100 according to the embodiment of the present invention will be described.

[1−3.映像信号制御部の機能構成]
図3は、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。以下、図3を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。
[1-3. Functional configuration of video signal control unit]
FIG. 3 is an explanatory diagram showing the configuration of the video signal control unit 120 included in the display device 100 according to the embodiment of the present invention. Hereinafter, the configuration of the video signal control unit 120 included in the display device 100 according to the embodiment of the present invention will be described with reference to FIG.

図3に示したように、映像信号制御部120は、復号部121と、エラー検出部122a、122bと、画像バッファ123a、123bと、位相差検出部124と、画像補正部125a、125bと、を含んで構成される。   As shown in FIG. 3, the video signal control unit 120 includes a decoding unit 121, error detection units 122a and 122b, image buffers 123a and 123b, a phase difference detection unit 124, image correction units 125a and 125b, It is comprised including.

復号部121は、映像信号の復号処理を実行するものである。本実施形態では、復号部121は、例えばMPEG4のMVC(Multiview Video Coding)のように複数の視点からの映像が圧縮符号化された映像信号を復号するものとする。本実施形態では、復号部121は、映像信号を復号した結果、右眼用画像と左眼用画像を得ることができる。復号部121の復号処理により得られる左眼用画像はエラー検出部122a及び画像バッファ123aに送られ、右眼用画像はエラー検出部122b及び画像バッファ123bに送られる。   The decoding unit 121 executes a decoding process of the video signal. In the present embodiment, it is assumed that the decoding unit 121 decodes a video signal obtained by compressing and encoding video from a plurality of viewpoints, such as MPEG4 MVC (Multiview Video Coding). In the present embodiment, the decoding unit 121 can obtain a right-eye image and a left-eye image as a result of decoding the video signal. The image for the left eye obtained by the decoding process of the decoding unit 121 is sent to the error detection unit 122a and the image buffer 123a, and the image for the right eye is sent to the error detection unit 122b and the image buffer 123b.

エラー検出部122aは、復号部121の復号処理により得られる左眼用画像の中にエラーが起きている箇所を検出するものである。同様に、エラー検出部122bは、復号部121の復号処理により得られる右眼用画像の中にエラーが起きている箇所を検出するものである。デジタル放送において画像にエラーが生じる原因としては、例えば電波の受信電界が弱電界となって、受信した放送搬送波のC/N比が所定の閾値以下に低下する場合がある。   The error detection unit 122a detects a location where an error has occurred in the left-eye image obtained by the decoding process of the decoding unit 121. Similarly, the error detection unit 122b detects a portion where an error has occurred in the right-eye image obtained by the decoding process of the decoding unit 121. As a cause of an error in an image in digital broadcasting, for example, the reception electric field of radio waves becomes a weak electric field, and the C / N ratio of the received broadcast carrier wave may be lowered below a predetermined threshold value.

エラー検出部122aは、左眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報(エラー情報)を画像補正部125aに送る。復号後の画像にエラーが起きている箇所のエラー情報としては、例えばエラーが起きた画像のフレーム、エラーが起きている箇所の座標(ブロック)の情報などであってもよい。同様に、エラー検出部122bは、復号後の右眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報を画像補正部125bに送る。   If there is a location where an error has occurred in the left-eye image, the error detection unit 122a sends information (error information) of the location where the error has occurred to the image correction unit 125a. The error information of the location where the error has occurred in the decoded image may be, for example, information on the frame of the image where the error has occurred, information on the coordinates (block) of the location where the error has occurred. Similarly, if there is a location where an error has occurred in the decoded right-eye image, the error detection unit 122b sends information on the location where the error has occurred to the image correction unit 125b.

なお、エラー検出部122a、122bによる画像中のエラー検出方法としては、例えば画像中のシンタックスの情報から検出する方法があるが、本発明においては、エラー検出部122a、122bによる画像中のエラー検出方法は所定の方法に限定されるものではない。   As an error detection method in the image by the error detection units 122a and 122b, for example, there is a method of detecting from the syntax information in the image, but in the present invention, an error in the image by the error detection units 122a and 122b. The detection method is not limited to a predetermined method.

画像バッファ123aは、復号部121の復号処理により得られる左眼用画像を一時的に溜め込んでおくものである。画像バッファ123aに溜め込まれた左眼用画像はFIFO(First−In First−Out)形式で順次取り出されていく。画像バッファ123aに溜め込まれた左眼用画像は位相差検出部124及び画像補正部125aに送られる。同様に、画像バッファ123bは、復号部121の復号処理により得られる右眼用画像を一時的に溜め込んでおくものであり、画像バッファ123bに溜め込まれた左眼用画像は位相差検出部124及び画像補正部125bに送られる。   The image buffer 123 a temporarily stores the left-eye images obtained by the decoding process of the decoding unit 121. The left-eye images stored in the image buffer 123a are sequentially taken out in a FIFO (First-In First-Out) format. The left-eye images stored in the image buffer 123a are sent to the phase difference detection unit 124 and the image correction unit 125a. Similarly, the image buffer 123b temporarily stores the right-eye images obtained by the decoding processing of the decoding unit 121, and the left-eye images stored in the image buffer 123b are the phase difference detection unit 124 and The image is sent to the image correction unit 125b.

位相差検出部124は、画像バッファ123a、123bから送られる、同一フレームの右眼用画像と左眼用画像との間の、両画像間の距離感に影響を与える情報(以下、そのような情報を「位相差情報」とも称する)を検出し、画像全体の位相差情報をマップ情報として生成するものである。右眼用画像と左眼用画像とから生成した画像全体の位相差のマップ情報は画像補正部125a、125bにおける画像補正処理に用いられる。   The phase difference detector 124 sends information (hereinafter referred to as such information) sent from the image buffers 123a and 123b that affects the sense of distance between the images for the right eye and the left eye in the same frame. Information is also referred to as “phase difference information”), and phase difference information of the entire image is generated as map information. Map information of the phase difference of the entire image generated from the right-eye image and the left-eye image is used for image correction processing in the image correction units 125a and 125b.

画像補正部125aは、エラー検出部122aから送られる左眼用画像についてのエラー情報、画像バッファ123aから送られる左眼用画像、及び位相差検出部124で生成される位相差のマップ情報を用いて、左眼用画像のエラー箇所を補正する補正処理を実行するものである。同様に、画像補正部125bは、エラー検出部122bから送られる右眼用画像についてのエラー情報、画像バッファ123bから送られる右眼用画像、及び位相差検出部124で生成される位相差のマップ情報を用いて、右眼用画像のエラー箇所を補正する補正処理を実行するものである。   The image correction unit 125a uses the error information about the image for the left eye sent from the error detection unit 122a, the image for the left eye sent from the image buffer 123a, and the map information of the phase difference generated by the phase difference detection unit 124. Thus, the correction process for correcting the error part of the image for the left eye is executed. Similarly, the image correction unit 125b maps the error information about the right-eye image sent from the error detection unit 122b, the right-eye image sent from the image buffer 123b, and the phase difference generated by the phase difference detection unit 124. Using the information, a correction process for correcting the error part of the right-eye image is executed.

画像補正部125aによる補正処理は以下のように行う。画像補正部125aは、エラー検出部122aから送られる左眼用画像についてのエラー情報を参照し、左眼用画像のエラー箇所を特定する。そのエラー箇所に対応する右眼用画像のデータを画像補正部125bから取得するが、その取得に際しては、位相差検出部124で生成される位相差のマップ情報における、エラー箇所の位相差情報を参照する。   Correction processing by the image correction unit 125a is performed as follows. The image correction unit 125a refers to the error information about the left eye image sent from the error detection unit 122a, and identifies the error location of the left eye image. The right-eye image data corresponding to the error location is acquired from the image correction unit 125b. At the time of acquisition, the phase difference information of the error location in the phase difference map information generated by the phase difference detection unit 124 is obtained. refer.

なお、左右どちらかの画像にエラーが起きている場合には、位相差検出部124は、そのフレームのエラー箇所について位相差の情報を取得出来ない。そのような場合には、位相差検出部124は前後のフレームからエラー箇所に相当する場所の位相差情報を取得する。   When an error has occurred in either the left or right image, the phase difference detection unit 124 cannot acquire phase difference information for the error portion of the frame. In such a case, the phase difference detection unit 124 acquires phase difference information at a location corresponding to the error location from the previous and subsequent frames.

このように位相差情報を参照することで、映像信号制御部120は、立体的な映像として表示する際にユーザに違和感を与えずに済ませることができる。画像補正部125bによる補正処理についても同様である。   By referring to the phase difference information in this way, the video signal control unit 120 can avoid giving the user a sense of incongruity when displaying a stereoscopic video. The same applies to the correction processing by the image correction unit 125b.

図3に示したような構成を有することで、映像信号制御部120は、圧縮画像の伝送時等でエラーが片側の画像に発生した場合、他方の画像を用いることで画像の補正処理を行うことが出来る。その画像の補正処理の際に、左右の画像の位相差、すなわち左右の画像のずれを考慮して補正することで、立体映像として表示させる際にユーザに違和感を与えずに済むことができる。   With the configuration shown in FIG. 3, when an error occurs in one image during transmission of a compressed image, the video signal control unit 120 performs image correction processing by using the other image. I can do it. By correcting the image in consideration of the phase difference between the left and right images, that is, the shift between the left and right images, it is possible to prevent the user from feeling uncomfortable when displaying the stereoscopic image.

以上、図3を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明した。次に、本発明の一実施形態にかかる映像信号制御部120の動作について説明する。   The configuration of the video signal control unit 120 included in the display device 100 according to the embodiment of the present invention has been described above with reference to FIG. Next, the operation of the video signal control unit 120 according to an embodiment of the present invention will be described.

[1−4.映像信号制御部の動作]
図4は、本発明の一実施形態にかかる映像信号制御部120の動作を示す流れ図である。以下、図4を用いて本発明の一実施形態にかかる映像信号制御部120の動作について説明する。
[1-4. Operation of video signal control unit]
FIG. 4 is a flowchart showing the operation of the video signal controller 120 according to the embodiment of the present invention. Hereinafter, the operation of the video signal control unit 120 according to the embodiment of the present invention will be described with reference to FIG.

放送局等から伝送されてくる映像信号を表示装置100で受信すると、その映像信号は映像信号制御部120でデコード処理される。具体的には、図3に示した復号部121が、MPEG4方式で圧縮伝送される映像信号を復号する(ステップS101)。そして上述したように、復号部121は、MPEG4のMVC方式によって圧縮伝送されてくる映像信号を復号することができる。   When the display device 100 receives a video signal transmitted from a broadcasting station or the like, the video signal is decoded by the video signal control unit 120. Specifically, the decoding unit 121 shown in FIG. 3 decodes the video signal compressed and transmitted by the MPEG4 method (step S101). As described above, the decoding unit 121 can decode the video signal that is compressed and transmitted by the MVC method of MPEG4.

復号部121によりMPEG4のMVC方式によって圧縮伝送されてくる映像信号が復号されると、右目用の画像と左目用の画像とが得られる。復号部121は、左目用の画像は画像バッファ123aに、右目用の画像は画像バッファ123bにそれぞれ送る。復号部121から画像のデータを受けた画像バッファ123a、123bは、それぞれ復号部121から受け取った画像のデータを位相差検出部124に送る。   When the video signal compressed and transmitted by the MPEG4 MVC method is decoded by the decoding unit 121, a right-eye image and a left-eye image are obtained. The decoding unit 121 sends the left-eye image to the image buffer 123a and the right-eye image to the image buffer 123b. Receiving the image data from the decoding unit 121, the image buffers 123 a and 123 b send the image data received from the decoding unit 121 to the phase difference detection unit 124.

位相差検出部124は、画像バッファ123a、123bが右目用、左目用それぞれの画像のデータを受け取ると、その2枚の画像のデータを比較して、右目用の画像と左眼用の画像がどの程度ずれているかを把握するために、画面全体について位相差情報を検出し、位相差情報のマップ(以下、画面全体について生成した位相差情報のマップを「位相差マップ」とも称する)をフレームごとに作成する(ステップS102)。   When the image buffers 123a and 123b receive the right eye image data and the left eye image data, the phase difference detection unit 124 compares the data of the two images, and the right eye image and the left eye image are obtained. In order to grasp how much the phase is shifted, phase difference information is detected for the entire screen, and a phase difference information map (hereinafter, the phase difference information map generated for the entire screen is also referred to as a “phase difference map”) is framed. Each is created (step S102).

また、この位相差検出部124による位相差マップの生成と並行して、エラー検出部122a、122bは、復号部121が復号した画像にエラーが生じているかどうかを検出する(ステップS103)。復号部121が復号した画像にエラーが発生する原因としては、例えば伝送時における伝送誤り等がある。画像中にエラーが発生した箇所を特定する方法としては様々なものがあり、本実施形態においては、このステップS103におけるエラー検出は特定の方法に限定されるものではない。   In parallel with the generation of the phase difference map by the phase difference detection unit 124, the error detection units 122a and 122b detect whether an error has occurred in the image decoded by the decoding unit 121 (step S103). The cause of an error in the image decoded by the decoding unit 121 is, for example, a transmission error during transmission. There are various methods for specifying a location where an error has occurred in an image. In this embodiment, error detection in step S103 is not limited to a specific method.

エラー検出部122a、122bは、右目用、左目用それぞれの画像に対してエラー箇所を検出すると、そのエラー箇所の情報を画像補正部125a、125bに送る。エラー検出部122a、122bから画像補正部125a、125bに送るエラー箇所の情報としては、例えばエラーが発生したフレーム、エラーが発生した箇所の座標またはブロック等であっても良い。   When the error detection units 122a and 122b detect error locations for the right-eye image and the left-eye image, the error detection units 122a and 122b send information on the error locations to the image correction units 125a and 125b. The error location information sent from the error detection units 122a and 122b to the image correction units 125a and 125b may be, for example, a frame in which an error has occurred, the coordinates or block of the location in which the error has occurred, or the like.

位相差検出部124によって位相差マップが生成され、エラー検出部122a、122bによって復号部121が復号した画像にエラーが発生していることが検出されると、画像補正部125a、125bは、これらの情報を用いて、エラーが発生した箇所をエラーの無いデータに置き換えることで、画像バッファ123a、123bから送られる画像データを補正する(ステップS104)。   When the phase difference map is generated by the phase difference detection unit 124 and an error is detected in the image decoded by the decoding unit 121 by the error detection units 122a and 122b, the image correction units 125a and 125b The image data sent from the image buffers 123a and 123b is corrected by replacing the portion where the error has occurred with the error-free data using the information (step S104).

具体的には、画像補正部125a、125bは、エラー検出部122a、122bからエラー発生箇所についての情報を受け取ると、反対側の画像からエラーの無い画像を取り出して、エラーが発生した箇所に置き換える。この置換えの際には、画像補正部125a、125bは、位相差検出部124が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差を考慮してエラーの無い画像を取得する。   Specifically, when the image correction units 125a and 125b receive information about the error occurrence location from the error detection units 122a and 122b, the image correction unit 125a and 125b extracts an error-free image from the opposite image and replaces it with the error occurrence location. . In this replacement, the image correction units 125a and 125b refer to the phase difference map of the frame generated by the phase difference detection unit 124 or the phase difference map of the preceding and succeeding frames, and consider the phase difference. Get no image.

図5は、画像補正部125a、125bにより画像補正処理を概念的に図示する説明図である。図5は、右眼用画像(Rch)にエラーが生じている場合に、左眼用画像(Lch)からデータを取得して右眼用画像のエラー部分を置き換える場合を示したものである。従って、図5に示す処理は右眼用画像に対する画像補正処理を行う画像補正部125bが実行するものである。   FIG. 5 is an explanatory diagram conceptually illustrating image correction processing by the image correction units 125a and 125b. FIG. 5 shows a case where data is acquired from the left-eye image (Lch) and an error part of the right-eye image is replaced when an error occurs in the right-eye image (Rch). Therefore, the processing shown in FIG. 5 is executed by the image correction unit 125b that performs image correction processing on the right-eye image.

ここで画像補正部125bは、右眼用画像を置き換える際に、位相差検出部124が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差情報を加味した補正を実行する。これにより左右の画像間の位相差を考慮した画像の補正処理が可能になり、立体的な映像として画像表示部110に表示する際に、ユーザに違和感を与えない表示ができる。   Here, when replacing the right-eye image, the image correction unit 125b refers to the phase difference map of the frame generated by the phase difference detection unit 124 or the phase difference map of the previous and subsequent frames, and adds phase difference information. Perform correction. As a result, it is possible to perform an image correction process in consideration of the phase difference between the left and right images, and a display that does not give an uncomfortable feeling to the user when the image is displayed on the image display unit 110 as a stereoscopic image.

ここで位相差検出部124による位相差マップの生成処理の概要を説明する。図6は、右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。   Here, an outline of the phase difference map generation processing by the phase difference detection unit 124 will be described. FIG. 6 is an explanatory diagram illustrating an overview when a phase difference map is generated by comparing a right-eye image and a left-eye image.

図6に図示した「I」はIピクチャを、「P」はPピクチャを、「B」はBピクチャをそれぞれ示しており、復号部121はこのIピクチャ、Pピクチャ、Bピクチャから画像を生成する。図6に示した例では、復号部121は、左眼用の画像を基準としており、この左眼用の画像のIピクチャと同一フレームのPピクチャから右眼用の画像を生成していることになる。   In FIG. 6, “I” indicates an I picture, “P” indicates a P picture, and “B” indicates a B picture. The decoding unit 121 generates an image from the I picture, P picture, and B picture. To do. In the example illustrated in FIG. 6, the decoding unit 121 uses the left-eye image as a reference, and generates the right-eye image from the P picture of the same frame as the I picture of the left-eye image. become.

このようにIピクチャ、Pピクチャ及びBピクチャから順次生成される右眼用画像と左眼用画像とから、位相差検出部124は2枚の画像の位相差を取得して位相差マップを生成することになる。   From the right-eye image and the left-eye image sequentially generated from the I picture, P picture, and B picture in this way, the phase difference detection unit 124 obtains the phase difference between the two images and generates a phase difference map. Will do.

しかし、片方の画像にエラーが含まれている場合には、位相差検出部124はそのフレームについては位相差マップを完全に生成することが出来ない場合がある。図7は、そのような場合を図示したものである。図7は、時刻T5に対応するフレームの片側(右眼用画像)にエラーが発生した場合を示したものである。   However, when an error is included in one of the images, the phase difference detection unit 124 may not be able to completely generate a phase difference map for that frame. FIG. 7 illustrates such a case. FIG. 7 shows a case where an error has occurred on one side (right-eye image) of the frame corresponding to time T5.

この場合、時刻T5に対応するフレームでは、位相差マップを完全に生成することが出来ない。従って、このフレームでエラーが発生した場合には、右眼用画像を補正する画像補正部125bは、位相差検出部124が生成した前後のフレームにおける位相差マップから、エラー箇所に対応する位置の位相差情報を用いてエラー箇所の補正処理を実行する。エラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際に、補間処理によって当該フレームの位相差情報を求めても良い。またエラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際には、直前及び直後のフレームのみの位相差情報を用いてもよく、前後それぞれ複数のフレームの位相差情報を用いてもよい。   In this case, the phase difference map cannot be completely generated in the frame corresponding to time T5. Therefore, when an error occurs in this frame, the image correction unit 125b that corrects the right-eye image has a position corresponding to the error location from the phase difference map in the previous and subsequent frames generated by the phase difference detection unit 124. An error location correction process is executed using the phase difference information. When using the phase difference information at the position corresponding to the error location from the frames before and after the frame where the error has occurred, the phase difference information of the frame may be obtained by interpolation processing. In addition, when using the phase difference information of the position corresponding to the error location from the frames before and after the frame where the error occurred, the phase difference information of only the immediately preceding and immediately following frames may be used, Phase difference information may be used.

このような補正処理により、エラーの発生によって位相差マップが生成出来ていないフレームであっても位相差検出部124が生成した前後のフレームについての位相差マップを用いることで、ユーザに違和感を与えないように画像を補正することができる。   By such correction processing, even if the phase difference map cannot be generated due to an error, the phase difference map for the previous and subsequent frames generated by the phase difference detection unit 124 is used to give the user a sense of incongruity. The image can be corrected so that it does not.

なお、画像補正部125a、125bは、エラー箇所の補正の際に、そのエラーが発生しているフレームの位相差マップの、エラー箇所の周囲の箇所の位相差情報を用いて、エラー箇所を補正するようにしてもよい。   The image correction units 125a and 125b correct the error part using the phase difference information around the error part in the phase difference map of the frame in which the error has occurred when correcting the error part. You may make it do.

以上、図4を用いて本発明の一実施形態にかかる映像信号制御部120の動作について説明した。ここで、上述した映像信号制御部120の処理を応用することで、(例えばストレージメディアに保存されている)動画コンテンツの、早送り等のスキップ再生時に情報が欠落していたために復号部121が復号出来なかった画像を、位相差マップを用いて生成することができる。   The operation of the video signal control unit 120 according to the embodiment of the present invention has been described above with reference to FIG. Here, by applying the processing of the video signal control unit 120 described above, the decoding unit 121 performs decoding because information is missing during skip playback, such as fast-forwarding, of moving image content (for example, stored in a storage medium). An image that could not be generated can be generated using a phase difference map.

図8は、画像補正部125a、125bが、一方の画像からマップを用いて他方の画像を生成する際の概要を図示する説明図である。   FIG. 8 is an explanatory diagram illustrating an outline when the image correction units 125a and 125b generate the other image using a map from one image.

図8に示した例によれば、時刻T0に対応するフレームにおいて、IピクチャIから左眼用画像が復号部121によって復号され、IピクチャIおよびPピクチャPから右眼用画像が同じく復号部121によって復号される。そして、位相差検出部124は復号部121によって復号されて得られる右眼用画像と左眼用画像とから位相差情報を検出して位相差マップを作成する。 According to the example shown in FIG. 8, in a frame corresponding to the time T0, the left-eye image from the I-picture I 0 is decoded by the decoding unit 121, the right-eye image from the I-picture I 0 and P picture P 0 Similarly, it is decoded by the decoding unit 121. Then, the phase difference detection unit 124 detects phase difference information from the right-eye image and the left-eye image obtained by decoding by the decoding unit 121 and creates a phase difference map.

その後、動画コンテンツのスキップ再生が行われ、時刻T8に対応するフレームにスキップしたとする。そしてこの場合において、IピクチャIから左眼用画像が復号部121によって復号されるが、PピクチャPの情報の欠落によって右眼用画像が正しく復号出来ず、右眼用画像がエラーを含んだ画像になったとする。 Thereafter, skip reproduction of the moving image content is performed, and it is assumed that the skip is made to the frame corresponding to the time T8. In this case, the left-eye image is decoded by the decoding unit 121 from the I picture I 0, but the right-eye image cannot be correctly decoded due to the lack of information of the P picture P 0 , and the right-eye image has an error. Suppose that the image is included.

その場合に、右眼用画像を補正する画像補正部125bは、左眼用画像と、時刻T0に対応するフレームの右眼用画像と左眼用画像とから生成された位相差マップとを用いて、右眼用画像を補正するエラー補正処理を実行する。これにより、スキップ再生の際に情報の欠落等によって正常に復号出来なかった場合であっても、位相差マップを用いてエラー箇所を補正し、立体的な映像としてユーザに違和感を与えないような再生を行うことが出来る。   In that case, the image correction unit 125b that corrects the right-eye image uses the left-eye image and the phase difference map generated from the right-eye image and the left-eye image of the frame corresponding to the time T0. Then, error correction processing for correcting the image for the right eye is executed. As a result, even if the decoding cannot be normally performed due to lack of information during skip reproduction, the error location is corrected using the phase difference map so that the user does not feel uncomfortable as a stereoscopic video. Playback can be performed.

[1−5.映像信号制御部の変形例]
次に、映像信号制御部120の変形例について説明する。上述の説明では、左眼用画像または右眼用画像に対してエラーが発生している箇所を補正する処理について説明した。しかし、圧縮画像の伝送時のエラーが多く発生し、エラー箇所が含まれる画像が多くなると、立体映像として表示するより通常の映像(二次元映像)として表示する方が望ましい場合もある。
[1-5. Modification of video signal control unit]
Next, a modification of the video signal control unit 120 will be described. In the above description, the processing for correcting a portion where an error has occurred in the image for the left eye or the image for the right eye has been described. However, if many errors occur during transmission of the compressed image and there are many images including error locations, it may be desirable to display the image as a normal image (two-dimensional image) rather than as a stereoscopic image.

図9は、映像信号制御部120の変形例である映像信号制御部120’の機能構成を示す説明図である。図9に示した映像信号制御部120’は、図3に示した映像信号制御部120に画像補正部125cが追加されたものである。画像補正部125cは、復号部121の復号処理によって得られる右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成して出力するものである。   FIG. 9 is an explanatory diagram illustrating a functional configuration of a video signal control unit 120 ′ that is a modification of the video signal control unit 120. The video signal control unit 120 ′ illustrated in FIG. 9 is obtained by adding an image correction unit 125 c to the video signal control unit 120 illustrated in FIG. 3. The image correction unit 125c generates and outputs an image serving as a source of a 2D video from the right-eye image and the left-eye image obtained by the decoding process of the decoding unit 121.

図9では、画像補正部125cからは右眼用画像を出力するライン(R)と左眼用画像を出力するライン(L)の両方へ補正後の画像を出力しているが、2つのラインにはいずれも同じ画像を出力する。これにより、画像表示部110に二次元映像を表示させることができる。   In FIG. 9, the corrected image is output from the image correcting unit 125c to both the line (R) for outputting the right-eye image and the line (L) for outputting the left-eye image. Both output the same image. Thereby, a 2D image can be displayed on the image display unit 110.

そして画像補正部125cは、エラー検出部122a、122bからエラー情報を受取って、エラーの発生数が所定の閾値を超えると(例えば所定の期間にエラーが所定回数以上発生していれば)、映像信号制御部120’は画像補正部125cによる補正処理に切り替えて、立体的映像ではなく二次元映像を出力する。   Then, the image correction unit 125c receives error information from the error detection units 122a and 122b, and when the number of error occurrences exceeds a predetermined threshold (for example, if an error occurs a predetermined number of times or more in a predetermined period), video The signal control unit 120 ′ switches to the correction processing by the image correction unit 125c and outputs a two-dimensional video instead of a stereoscopic video.

画像補正部125cは、右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成する際には、位相差検出部124で生成される位相差マップから、エラー部分の位相差情報を用いて、右眼用画像及び左眼用画像の画像からエラーの無い部分を切り出して合成する。使用する位相差情報は、上述のように、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。   When the image correction unit 125c generates an image that is a source of the two-dimensional video from the right-eye image and the left-eye image, the image correction unit 125c determines the error portion from the phase difference map generated by the phase difference detection unit 124. Using the phase difference information, an error-free portion is cut out from the right-eye image and the left-eye image and synthesized. As described above, the phase difference information to be used may be the phase difference information of a frame in which an error has occurred, or may be the phase difference information of a predetermined frame before and after the frame in which an error has occurred.

なお、エラーの発生による二次元映像と立体的映像との切り替えは、上述のようにエラーの発生数が所定の閾値を超えた場合に(例えば所定の期間にエラーが所定回数以上発生した場合に)自動的に切り替えるようにしてもよく、ユーザ操作によって自動的に切り替えられるようにしてもよい。   Note that switching between 2D video and stereoscopic video due to the occurrence of an error is performed when the number of error occurrences exceeds a predetermined threshold as described above (for example, when an error occurs a predetermined number of times or more in a predetermined period). ) It may be switched automatically or may be switched automatically by a user operation.

<2.まとめ>
以上説明したように本発明の一実施形態にかかる表示装置100は、MPEG4のMVCのように複数(例えば2つ)の視点からの映像が圧縮符号化された映像信号を復号して、立体的な映像として表示する際に、片側の画像にエラー箇所があれば、そのエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。
<2. Summary>
As described above, the display device 100 according to the embodiment of the present invention decodes a video signal in which videos from a plurality of (for example, two) viewpoints are compressed and encoded, as in MVC of MPEG4, When an image is displayed as a simple video, if there is an error in the image on one side, the error can be corrected and displayed as a stereoscopic video so that the user does not feel uncomfortable.

映像信号制御部120においては、復号部121の復号処理によって得られる右眼用画像と左眼用画像とから、位相差検出部124で位相差情報を検出して、画像全体について位相差マップを作成しておく。そして、エラー箇所の補正に際しては、位相差検出部124が生成した位相差マップを用いて、エラーが発生している箇所を、位相差情報を考慮した上で、他方の画像に置き換える。このようにエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。   In the video signal control unit 120, the phase difference detection unit 124 detects the phase difference information from the right eye image and the left eye image obtained by the decoding process of the decoding unit 121, and the phase difference map is obtained for the entire image. Create it. When correcting the error location, the location where the error has occurred is replaced with the other image using the phase difference map generated by the phase difference detection unit 124 in consideration of the phase difference information. By correcting the error part in this way, it can be displayed as a stereoscopic image without giving the user a sense of incongruity.

位相差情報を考慮した上で補正を行う際には、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。   When correction is performed in consideration of the phase difference information, the phase difference information of the frame in which the error has occurred may be used, or the phase difference information of a predetermined frame before and after the frame in which the error has occurred may be used. Good.

上述した一連の補正処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体を表示装置100に内蔵してもよい。そして、かかるプログラムを、表示装置100に内蔵したCPU(Central Processing Unit)、DSP(Digital Signal Processor)その他の制御装置が読み出して順次実行するようにしてもよい。   The series of correction processes described above may be executed by hardware or software. When executed by software, for example, a recording medium in which a program is stored may be built in the display device 100. Such a program may be read and sequentially executed by a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or other control device built in the display device 100.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

例えば、上記実施形態では、画像補正部125a、125bは、位相差情報はエラーが発生したフレーム、またはエラーが発生した前後のフレームから取得して補正処理を実行していたが、エラー箇所の範囲の大きさによって位相差情報をどこから取得するか決定してもよい。例えば画像補正部125a、125bは、エラーが起きている箇所の範囲が小さければ同一フレームのエラー箇所の周囲の位相差情報を用いてエラー箇所を補正し、エラーが起きている箇所の範囲が大きければ前後のフレームのエラー箇所の位相差情報を用いてエラー箇所を補正してもよい。エラー箇所の大きさに応じて位相差情報の取得元を変化させて、エラー箇所をエラーの無い画像に置き換えることで、表示装置100は、より効果的で立体視させた場合に違和感のない画像をユーザに提示することができる。   For example, in the above-described embodiment, the image correction units 125a and 125b acquire the phase difference information from the frame in which the error has occurred or the frames before and after the error has occurred and execute the correction process. Where the phase difference information is to be acquired may be determined according to the size of. For example, the image correction units 125a and 125b correct the error part using the phase difference information around the error part of the same frame if the range of the part where the error occurs is small, and the range of the part where the error occurs is large. For example, the error part may be corrected using the phase difference information of the error part of the previous and subsequent frames. By changing the acquisition source of the phase difference information in accordance with the size of the error part and replacing the error part with an error-free image, the display device 100 is more effective and has an uncomfortable image when stereoscopically viewed. Can be presented to the user.

本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに適用可能であり、特に時分割で異なる映像を表示する映像表示装置、映像表示方法及びコンピュータプログラムに適用可能である。   The present invention is applicable to a video display device, a video display method, and a computer program, and in particular, is applicable to a video display device, a video display method, and a computer program that display different videos in a time division manner.

100 表示装置
110 画像表示部
120 映像信号制御部
121 復号部
122a、122b エラー検出部
123a、123b 画像バッファ
124 位相差検出部
125a、125b、125c 画像補正部
130 シャッタ制御部
140 タイミング制御部
DESCRIPTION OF SYMBOLS 100 Display apparatus 110 Image display part 120 Video signal control part 121 Decoding part 122a, 122b Error detection part 123a, 123b Image buffer 124 Phase difference detection part 125a, 125b, 125c Image correction part 130 Shutter control part 140 Timing control part

Claims (9)

複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、
前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、
前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、
を備える、映像表示装置。
A decoding unit that decodes video data in which videos from a plurality of viewpoints are compressed and encoded;
A phase difference detection unit that detects phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection unit for detecting an error part in an image obtained by decoding of the decoding unit;
An image correction unit that corrects an error portion of an image obtained by decoding of the decoding unit by reflecting the phase difference information detected by the phase difference detection unit and replacing it with the other image;
A video display device comprising:
前記画像補正部は、前記エラー検出部が検出したエラーの数が所定の閾値を超えると前記第1の画像及び前記第2の画像とから二次元映像を生成する、請求項1に記載の映像表示装置。   The video according to claim 1, wherein the image correction unit generates a two-dimensional video from the first image and the second image when the number of errors detected by the error detection unit exceeds a predetermined threshold. Display device. 前記画像補正部は、前記位相差検出部が検出した同一フレームにおけるエラー箇所の周囲の前記位相差情報を用いて補正する、請求項1に記載の映像表示装置。   The video display device according to claim 1, wherein the image correction unit performs correction using the phase difference information around an error portion in the same frame detected by the phase difference detection unit. 前記画像補正部は、前記位相差検出部が検出した前後のフレームのエラー箇所の前記位相差情報を用いて補正する、請求項1に記載の映像表示装置。   The video display device according to claim 1, wherein the image correction unit corrects the error using the phase difference information of an error portion of the previous and subsequent frames detected by the phase difference detection unit. 前記画像補正部は、前記映像データのスキップ再生時にエラー箇所の補正処理を実行する、請求項1に記載の映像表示装置。   The video display device according to claim 1, wherein the image correction unit executes an error location correction process when skip playback of the video data. 前記画像補正部は、前記エラー検出部が検出したエラー箇所の範囲によって、反映させる前記位相差情報の取得元のフレームを変化させる、請求項1に記載の映像表示装置。   The video display device according to claim 1, wherein the image correction unit changes a frame from which the phase difference information to be reflected is acquired, depending on a range of error locations detected by the error detection unit. 前記復号部は、MPEG−4 MVC(Multiview Video Coding)により符号化された映像データを復号する、請求項1に記載の映像表示装置。   The video display device according to claim 1, wherein the decoding unit decodes video data encoded by MPEG-4 MVC (Multiview Video Coding). 複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を備える、映像表示方法。
A decoding step of decoding video data in which videos from a plurality of viewpoints are compression encoded;
A phase difference detection step of detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection step of detecting an error location in an image obtained by decoding in the decoding step;
An image correction step for correcting the error portion of the image obtained by decoding in the decoding step by reflecting the phase difference information detected by the phase difference detection step and replacing it with the other image;
An image display method comprising:
コンピュータに、
複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を実行させる、コンピュータプログラム。
On the computer,
A decoding step of decoding video data in which videos from a plurality of viewpoints are compression encoded;
A phase difference detection step of detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection step of detecting an error location in an image obtained by decoding in the decoding step;
An image correction step for correcting the error portion of the image obtained by decoding in the decoding step by reflecting the phase difference information detected by the phase difference detection step and replacing it with the other image;
A computer program that executes
JP2010108562A 2010-05-10 2010-05-10 Video display apparatus, video display method and computer program Withdrawn JP2011239148A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010108562A JP2011239148A (en) 2010-05-10 2010-05-10 Video display apparatus, video display method and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010108562A JP2011239148A (en) 2010-05-10 2010-05-10 Video display apparatus, video display method and computer program

Publications (1)

Publication Number Publication Date
JP2011239148A true JP2011239148A (en) 2011-11-24

Family

ID=45326652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010108562A Withdrawn JP2011239148A (en) 2010-05-10 2010-05-10 Video display apparatus, video display method and computer program

Country Status (1)

Country Link
JP (1) JP2011239148A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141220A (en) * 2011-12-28 2013-07-18 Samsung Electronics Co Ltd Display device and method for providing three-dimensional stereoscopic image
WO2013108307A1 (en) * 2012-01-18 2013-07-25 パナソニック株式会社 Image processing device and image processing method
JP2013247651A (en) * 2012-05-29 2013-12-09 Canon Inc Coding apparatus, coding method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141220A (en) * 2011-12-28 2013-07-18 Samsung Electronics Co Ltd Display device and method for providing three-dimensional stereoscopic image
WO2013108307A1 (en) * 2012-01-18 2013-07-25 パナソニック株式会社 Image processing device and image processing method
US20140049608A1 (en) * 2012-01-18 2014-02-20 Panasonic Corporation Video processing device and video processing method
JP2013247651A (en) * 2012-05-29 2013-12-09 Canon Inc Coding apparatus, coding method, and program

Similar Documents

Publication Publication Date Title
US9918069B2 (en) Method and device for overlaying 3D graphics over 3D video
Gotchev et al. Three-dimensional media for mobile devices
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
US20120140032A1 (en) Formatting 3d content for low frame-rate displays
TWI502958B (en) 3d image display apparatus and method thereof
US20110164118A1 (en) Display apparatuses synchronized by one synchronization signal
US20150304640A1 (en) Managing 3D Edge Effects On Autostereoscopic Displays
TWI432013B (en) 3d image display method and image timing control unit
JP5702063B2 (en) Display device, display method, and computer program
KR20140090438A (en) Display apparatus, shutter glasses, display method and glasses apparatus operating method
US8687950B2 (en) Electronic apparatus and display control method
US20120032954A1 (en) Apparatus and method for reproducing stereoscopic images, providing a user interface appropriate for a 3d image signal
JP2011239148A (en) Video display apparatus, video display method and computer program
JP2012060236A (en) Image processing apparatus, image processing method, and computer program
JP4806082B2 (en) Electronic apparatus and image output method
US20110134226A1 (en) 3d image display apparatus and method for determining 3d image thereof
KR101861585B1 (en) Display panel and display apparatus for using biefingence
US20120162397A1 (en) Image processing apparatus and display controlling method
JP2014207492A (en) Stereoscopic image display device
JP2013168693A (en) Driving device for liquid crystal shutter eyeglasses
KR20120102947A (en) Electronic device and method for displaying stereo-view or multiview sequence image
US8553043B2 (en) Three-dimensional (3D) image processing method and system
JP2012080469A (en) Stereoscopic image display device and control method of the same
JP2014003533A (en) Video processing device, video processing method, and computer program
KR101913252B1 (en) A apparatus for processing a three-dimensional image and a method for displaying a three-dimensional image using the same

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130806