JP2011239148A - Video display apparatus, video display method and computer program - Google Patents
Video display apparatus, video display method and computer program Download PDFInfo
- Publication number
- JP2011239148A JP2011239148A JP2010108562A JP2010108562A JP2011239148A JP 2011239148 A JP2011239148 A JP 2011239148A JP 2010108562 A JP2010108562 A JP 2010108562A JP 2010108562 A JP2010108562 A JP 2010108562A JP 2011239148 A JP2011239148 A JP 2011239148A
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase difference
- decoding
- error
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに関する。 The present invention relates to a video display device, a video display method, and a computer program.
時分割駆動方式による映像表示装置は、複数の映像ストリームを時分割的に順次切り換えて出力する映像表示装置である。このような時分割駆動方式を用いた映像表示装置としては、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム(例えば、特許文献1〜3参照)や、シャッタ眼鏡を用いて複数の観察者が画面を分割することなく異なる映像を観察するマルチ映像表示システム等が挙げられる。
A video display device using a time division drive system is a video display device that sequentially switches and outputs a plurality of video streams in a time division manner. As a video display device using such a time-division driving method, a time-division stereoscopic video display system using so-called shutter glasses (for example, see
時分割立体映像表示システムは、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示すると同時に、左眼用映像及び右眼用映像の表示周期に同期して左眼及び右眼に映像を分離して提供する立体映像表示装置を用いた映像表示システムである。例えば、シャッタ眼鏡方式は、左眼用映像が表示される間はシャッタ眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用映像が表示される間はシャッタ眼鏡の右眼部が光を透過させ、左眼部が遮光する。このように映像を切り替えて表示し、ユーザに右眼用映像と左眼用映像とを高速で交互に提示することで、時分割立体映像表示システムは、ユーザに対して映像を立体的に認識させることが可能となる。 The time-division stereoscopic video display system alternately displays the left-eye video and the right-eye video on the entire screen in a very short cycle, and at the same time, synchronizes with the display cycle of the left-eye video and the right-eye video. And a video display system using a stereoscopic video display device that separately provides video to the right eye. For example, in the shutter glasses method, the left eye portion of the shutter glasses transmits light and the right eye portion blocks light while the left eye image is displayed. Further, while the right-eye video is displayed, the right eye of the shutter glasses transmits light and the left eye blocks light. In this way, the video is switched and displayed, and the right-eye video and the left-eye video are alternately presented to the user at high speed, so that the time-division stereoscopic video display system recognizes the video stereoscopically to the user. It becomes possible to make it.
伝送系統のエラーやメディアの損傷等によって画像に不具合が生じた場合、通常は、エラーが発生した箇所に相当する部分を前のフレームから切り出してエラーが発生した箇所にはめ込むエラー補正方法が行われる。しかし、左眼用映像及び右眼用映像を非常に短い周期で画面全体に交互に表示するようなストリームの場合、補正部分において左眼用映像及び右眼用映像の間に時間差が生じ、ユーザに違和感を与えてしまう恐れがある。 When a problem occurs in an image due to an error in the transmission system or media damage, an error correction method is usually performed in which a portion corresponding to the location where the error has occurred is cut out from the previous frame and inserted into the location where the error has occurred. . However, in the case of a stream in which the left-eye video and the right-eye video are alternately displayed on the entire screen in a very short cycle, a time difference occurs between the left-eye video and the right-eye video in the correction portion, and the user There is a risk of feeling uncomfortable.
また、時間差を生じさせないようにするために、エラーが起こった映像の反対側の映像(つまり、左眼用映像でエラーが起きれば右眼用映像、右眼用映像でエラーが起きれば左眼用映像)からエラーが発生した箇所に相当する部分を切り出してエラーが発生した箇所にはめ込むと、左眼用映像と右眼用映像とでは視差情報が異なるので、はめ込んだ箇所だけ距離感が異なって見え、ユーザに違和感を与えてしまう恐れがある。 Also, in order not to cause a time difference, the video on the opposite side of the video where the error occurred (that is, the video for the right eye if an error occurs in the video for the left eye and the left eye if an error occurs in the video for the right eye) If the portion corresponding to the location where the error occurred is cut out from the image) and inserted into the location where the error has occurred, the disparity information will differ between the left-eye image and the right-eye image, so the sense of distance will differ only at the location where the error occurred. This may cause the user to feel uncomfortable.
さらに、エラー補正だけでなく、映像のサーチ等で欠落した圧縮信号をデコードする際に、片側のみのデータしかない場合には、強制的に二次元映像としての表示になる。従って、ユーザが映像を変速再生する度に二次元映像と三次元映像とが強制的に切り替わることになり、ユーザに違和感を与えたり、影像が見づらくなったりする恐れがある。 Furthermore, not only error correction but also decoding of a compressed signal that has been lost due to video search or the like, if there is only data on one side, it is forcibly displayed as a two-dimensional video. Therefore, every time the user performs variable speed playback of the video, the 2D video and the 3D video are forcibly switched, which may give the user a sense of discomfort or make it difficult to see the image.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to perform error correction using a phase difference between a right-eye image and a left-eye image. It is an object of the present invention to provide a new and improved video display device, video display method and computer program capable of providing a user with a 3D video without a sense of incongruity.
上記課題を解決するために、本発明のある観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号部と、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、を備える、映像表示装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, a decoding unit that decodes video data in which videos from a plurality of viewpoints are compression-encoded, and a first image obtained by decoding of the decoding unit A phase difference detection unit that detects phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the image and the second image, and an error location in the image obtained by decoding of the decoding unit An error detection unit that detects the error, and an image correction unit that corrects the error portion of the image obtained by decoding of the decoding unit by reflecting the phase difference information detected by the phase difference detection unit with the other image A video display device is provided.
前記画像補正部は、前記エラー検出部が検出したエラーの数が所定の閾値を超えると前記第1の画像及び前記第2の画像とから二次元映像を生成するようにしてもよい。 The image correction unit may generate a 2D video from the first image and the second image when the number of errors detected by the error detection unit exceeds a predetermined threshold.
前記画像補正部は、前記位相差検出部が検出した同一フレームにおけるエラー箇所の周囲の前記位相差情報を用いて補正するようにしてもよい。 The image correction unit may perform correction using the phase difference information around the error portion in the same frame detected by the phase difference detection unit.
前記画像補正部は、前記位相差検出部が検出した前後のフレームのエラー箇所の前記位相差情報を用いて補正するようにしてもよい。 The image correction unit may perform correction using the phase difference information of the error portions of the previous and subsequent frames detected by the phase difference detection unit.
前記画像補正部は、前記映像データのスキップ再生時にエラー箇所の補正処理を実行するようにしてもよい。 The image correction unit may execute an error location correction process during skip reproduction of the video data.
前記画像補正部は、前記エラー検出部が検出したエラー箇所の範囲によって、反映させる前記位相差情報の取得元のフレームを変化させてもよい。 The image correction unit may change a frame from which the phase difference information to be reflected is acquired according to a range of error locations detected by the error detection unit.
前記復号部は、MPEG−4 MVC(Multiview Video Coding)により符号化された映像データを復号するようにしてもよい。 The decoding unit may decode video data encoded by MPEG-4 MVC (Multiview Video Coding).
また、上記課題を解決するために、本発明の別の観点によれば、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を備える、映像表示方法が提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a decoding step for decoding video data obtained by compressing and encoding video from a plurality of viewpoints, and a decoding step obtained by the decoding unit. A phase difference detecting step for detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image, and an image obtained by decoding in the decoding step An error detection step for detecting an error location in the image, and an error location in the image obtained by decoding in the decoding step is corrected by replacing the phase difference information detected in the phase difference detection step with the other image A video display method comprising: a correction step.
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、を実行させる、コンピュータプログラムが提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a computer includes a decoding step of decoding video data in which videos from a plurality of viewpoints are compression-encoded, and decoding by the decoding unit A phase difference detecting step for detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained, and decoding by the decoding step An error detection step for detecting an error location in the obtained image, and an error location of the image obtained by decoding in the decoding step is replaced with the other image reflecting the phase difference information detected by the phase difference detection step. A computer program for executing an image correction step for correction is provided.
以上説明したように本発明によれば、右眼用映像と左眼用映像との間の位相差を用いてエラー補正を行うことで違和感のない立体映像をユーザに提供することが可能な、新規かつ改良された映像表示装置、映像表示方法及びコンピュータプログラムを提供することが出来る。 As described above, according to the present invention, it is possible to provide a user with a 3D image without a sense of incongruity by performing error correction using the phase difference between the right-eye image and the left-eye image. A new and improved video display device, video display method, and computer program can be provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
なお、説明は以下の順序で行うものとする。
<1.本発明の一実施形態>
[1−1.本発明の一実施形態にかかる表示装置の構成]
[1−2.本発明の一実施形態にかかる表示装置の機能構成]
[1−3.映像信号制御部の機能構成]
[1−4.映像信号制御部の動作]
[1−5.変形例]
<2.まとめ>
The description will be made in the following order.
<1. One Embodiment of the Present Invention>
[1-1. Configuration of Display Device According to One Embodiment of Present Invention]
[1-2. Functional Configuration of Display Device According to One Embodiment of Present Invention]
[1-3. Functional configuration of video signal control unit]
[1-4. Operation of video signal control unit]
[1-5. Modified example]
<2. Summary>
<1.本発明の一実施形態>
[1−1.本発明の一実施形態にかかる表示装置の構成]
以下において、本発明の一実施形態にかかる表示装置の構成について説明する。まず、本発明の一実施形態にかかる表示装置の外観について説明する。図1は、本発明の一実施形態にかかる表示装置100の外観を示す説明図である。また、図1には、表示装置100が表示する画像を観察者が立体的な画像として知覚するために用いるシャッタ眼鏡200も併せて示している。
<1. One Embodiment of the Present Invention>
[1-1. Configuration of Display Device According to One Embodiment of Present Invention]
The configuration of the display device according to one embodiment of the present invention will be described below. First, the appearance of a display device according to an embodiment of the present invention will be described. FIG. 1 is an explanatory diagram showing an appearance of a
図1に示した表示装置100は、画像の表示が行われる画像表示部110を備えている。表示装置100は、通常の画像を画像表示部110に表示するだけではなく、観察者に立体的な画像として知覚させる三次元画像を画像表示部110に表示することが可能な装置である。
The
画像表示部110の構成については詳述するが、ここで簡単に説明すると、画像表示部110は、光源、液晶パネル、及び液晶パネルを挟んで設けられる一対の偏光板を含んで構成される。光源からの光は液晶パネル及び偏光板を透過することで所定の方向に偏光された光となる。なお、本発明の適用範囲は液晶パネルに限定されるものでは無く、その他の表示装置、例えばプラズマディスプレイパネルを用いた表示装置、有機EL表示装置、プロジェクタ等に適用してもよい。
The configuration of the
シャッタ眼鏡200は、例えば液晶シャッタからなる右目用画像透過部212及び左目用画像透過部214を含んで構成されている。シャッタ眼鏡200は、表示装置100から送出される信号に応じて、右目用画像透過部212及び左目用画像透過部214の開閉動作を実行する。観察者は、シャッタ眼鏡200の右目用画像透過部212及び左目用画像透過部214を通して、画像表示部110から発する光を見ることで、画像表示部110に表示される画像を立体的な画像として知覚することが出来る。
The
一方、通常の画像が画像表示部110に表示されている場合は、観察者はそのまま画像表示部110から出射される光を見ることで、通常の画像として知覚することができる。
On the other hand, when a normal image is displayed on the
なお、図1では、表示装置100をテレビ受像機として図示していたが、本発明においては、表示装置の形状はかかる例に限定されないことは言うまでも無い。例えば、本発明の表示装置は、例えば、パーソナルコンピュータその他の電子機器と接続して用いられるモニタであってもよく、携帯型のゲーム機であってもよく、携帯電話や携帯型の音楽再生装置であってもよい。
In FIG. 1, the
以上、本発明の一実施形態にかかる表示装置100の外観について説明した。次に、本発明の一実施形態にかかる表示装置100の機能構成について説明する。
The external appearance of the
[1−2.本発明の一実施形態にかかる表示装置の機能構成]
図2は、本発明の一実施形態にかかる表示装置100の機能構成について示す説明図である。以下、図2を用いて本発明の一実施形態にかかる表示装置100の機能構成について説明する。
[1-2. Functional Configuration of Display Device According to One Embodiment of Present Invention]
FIG. 2 is an explanatory diagram showing a functional configuration of the
図2に示したように、本発明の一実施形態にかかる表示装置100は、画像表示部110と、映像信号制御部120と、シャッタ制御部130と、タイミング制御部140と、を含んで構成される。
As shown in FIG. 2, the
画像表示部110は、上述したように画像の表示が行われるものであり、外部から信号が印加されると、印加された信号に応じた画像の表示が行われる。画像表示部110は、表示パネル112と、ゲートドライバ113と、データドライバ114と、バックライト115と、を含んで構成される。
The
表示パネル112は、外部からの信号の印加に応じて画像を表示するものである。表示パネル112は、複数の走査線に対する順次走査により画像を表示する。表示パネル112は、ガラス等の透明板の間に所定の配向状態を有する液晶分子が封入されている。表示パネル112の駆動方式は、TN(Twisted Nematic)方式であってもよく、VA(Virtical Alignment)方式であってもよく、IPS(In−Place−Switching)方式であってもよい。以下の説明では、表示パネル112の駆動方式は、特に断りが無ければVA方式であるとして説明するが、本発明においてはかかる例に限られないことはいうまでも無い。なお、本実施形態にかかる表示パネル112は、高速なフレームレート(例えば120Hzや240Hz)で画面の書き換えが可能な表示パネルである。そして、本実施形態では、右目用の画像と左目用の画像を、表示パネル112に所定のタイミングで交互に表示させることで、観察者に立体的な画像として知覚させることができる。
The
ゲートドライバ113は、表示パネル112のゲートバスライン(図示せず)を駆動するためのドライバである。ゲートドライバ113にはタイミング制御部140から信号が伝送され、ゲートドライバ113はタイミング制御部140から伝送された信号に応じてゲートバスラインへ信号を出力する。
The
データドライバ114は、表示パネル112のデータ線(図示せず)に印加するための信号を生成するためのドライバである。データドライバ114にはタイミング制御部140から信号が伝送され、データドライバ114はタイミング制御部140から伝送された信号に応じてデータ線へ印加する信号を生成して出力する。
The data driver 114 is a driver for generating a signal to be applied to a data line (not shown) of the
バックライト115は、観察者側から見て画像表示部110の一番奥に設けられるものである。画像表示部110に画像を表示する際には、バックライト115からは偏光されていない(無偏光の)白色光が観察者側に位置する表示パネル112に出射される。バックライト115としては、例えば発光ダイオードを用いても良く、冷陰極管を用いてもよい。なお、図2では、バックライト115として面光源を示しているが、本発明においては光源の形態はかかる例に限定されない。例えば、表示パネル112の周辺部に光源を配置し、当該光源からの光を拡散板等で拡散することで表示パネル112に光を出射してもよい。また例えば、面光源の替わりに点光源と集光レンズを組み合わせてもよい。
The
映像信号制御部120は、映像信号制御部120の外部からの映像信号の伝送を受けると、受け取った映像信号を、画像表示部110における三次元画像の表示に適したものとなるように各種信号処理を実行して出力するものである。映像信号制御部120で信号処理が施された映像信号はタイミング制御部140に伝送される。また、映像信号制御部120で信号処理が実行されると、信号処理に応じてシャッタ制御部130に所定の信号を伝送する。映像信号制御部120における信号処理としては、例えば以下のようなものがある。
When the video
映像信号制御部120に、右目用の画像を画像表示部110に表示するための映像信号(右目用映像信号)と、左目用の画像を画像表示部110に表示するための映像信号(左目用映像信号)が伝送されると、映像信号制御部120は2つの映像信号から三次元画像のための映像信号を生成する。本実施形態においては、映像信号制御部120は、入力される右目用映像信号及び左目用映像信号から、表示パネル112に右目用画像→左目用画像→右目用画像→左目用画像→・・・の順で時分割に表示させるための映像信号を生成する。ここで、左目用画像と右目用画像をそれぞれ複数フレームずつ繰り返して表示させる場合もあり、この場合においては、映像信号制御部120は、例えば右目用画像→右目用画像→左目用画像→左目用画像→右目用画像→右目用画像→・・・の順に表示させるための映像信号を生成する。
The
シャッタ制御部130は、映像信号制御部120における信号処理に基づいて生成される所定の信号の伝送を受け、当該信号に応じてシャッタ眼鏡200のシャッタ動作を制御するシャッタ制御信号を生成するものである。シャッタ眼鏡200では、シャッタ制御部130で生成され、赤外線エミッタ(図示せず)から発せされるシャッタ制御信号に基づいて、右目用画像透過部212及び左目用画像透過部214の開閉動作が実行される。
The
タイミング制御部140は、映像信号制御部120から伝送される信号に応じて、ゲートドライバ113およびデータドライバ114の動作に用いられるパルス信号を生成するものである。タイミング制御部140でパルス信号を生成して、ゲートドライバ113およびデータドライバ114がタイミング制御部140で生成されたパルス信号を受けることで、映像信号制御部120から伝送される信号に応じた画像が表示パネル112に画像が表示される。
The
以上、図2を用いて本発明の一実施形態にかかる表示装置100の機能構成について説明した。次に、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。
The functional configuration of the
[1−3.映像信号制御部の機能構成]
図3は、本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成を示す説明図である。以下、図3を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明する。
[1-3. Functional configuration of video signal control unit]
FIG. 3 is an explanatory diagram showing the configuration of the video
図3に示したように、映像信号制御部120は、復号部121と、エラー検出部122a、122bと、画像バッファ123a、123bと、位相差検出部124と、画像補正部125a、125bと、を含んで構成される。
As shown in FIG. 3, the video
復号部121は、映像信号の復号処理を実行するものである。本実施形態では、復号部121は、例えばMPEG4のMVC(Multiview Video Coding)のように複数の視点からの映像が圧縮符号化された映像信号を復号するものとする。本実施形態では、復号部121は、映像信号を復号した結果、右眼用画像と左眼用画像を得ることができる。復号部121の復号処理により得られる左眼用画像はエラー検出部122a及び画像バッファ123aに送られ、右眼用画像はエラー検出部122b及び画像バッファ123bに送られる。
The
エラー検出部122aは、復号部121の復号処理により得られる左眼用画像の中にエラーが起きている箇所を検出するものである。同様に、エラー検出部122bは、復号部121の復号処理により得られる右眼用画像の中にエラーが起きている箇所を検出するものである。デジタル放送において画像にエラーが生じる原因としては、例えば電波の受信電界が弱電界となって、受信した放送搬送波のC/N比が所定の閾値以下に低下する場合がある。
The
エラー検出部122aは、左眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報(エラー情報)を画像補正部125aに送る。復号後の画像にエラーが起きている箇所のエラー情報としては、例えばエラーが起きた画像のフレーム、エラーが起きている箇所の座標(ブロック)の情報などであってもよい。同様に、エラー検出部122bは、復号後の右眼用画像の中にエラーが起きている箇所があれば、そのエラーが起きている箇所の情報を画像補正部125bに送る。
If there is a location where an error has occurred in the left-eye image, the
なお、エラー検出部122a、122bによる画像中のエラー検出方法としては、例えば画像中のシンタックスの情報から検出する方法があるが、本発明においては、エラー検出部122a、122bによる画像中のエラー検出方法は所定の方法に限定されるものではない。
As an error detection method in the image by the
画像バッファ123aは、復号部121の復号処理により得られる左眼用画像を一時的に溜め込んでおくものである。画像バッファ123aに溜め込まれた左眼用画像はFIFO(First−In First−Out)形式で順次取り出されていく。画像バッファ123aに溜め込まれた左眼用画像は位相差検出部124及び画像補正部125aに送られる。同様に、画像バッファ123bは、復号部121の復号処理により得られる右眼用画像を一時的に溜め込んでおくものであり、画像バッファ123bに溜め込まれた左眼用画像は位相差検出部124及び画像補正部125bに送られる。
The
位相差検出部124は、画像バッファ123a、123bから送られる、同一フレームの右眼用画像と左眼用画像との間の、両画像間の距離感に影響を与える情報(以下、そのような情報を「位相差情報」とも称する)を検出し、画像全体の位相差情報をマップ情報として生成するものである。右眼用画像と左眼用画像とから生成した画像全体の位相差のマップ情報は画像補正部125a、125bにおける画像補正処理に用いられる。
The
画像補正部125aは、エラー検出部122aから送られる左眼用画像についてのエラー情報、画像バッファ123aから送られる左眼用画像、及び位相差検出部124で生成される位相差のマップ情報を用いて、左眼用画像のエラー箇所を補正する補正処理を実行するものである。同様に、画像補正部125bは、エラー検出部122bから送られる右眼用画像についてのエラー情報、画像バッファ123bから送られる右眼用画像、及び位相差検出部124で生成される位相差のマップ情報を用いて、右眼用画像のエラー箇所を補正する補正処理を実行するものである。
The
画像補正部125aによる補正処理は以下のように行う。画像補正部125aは、エラー検出部122aから送られる左眼用画像についてのエラー情報を参照し、左眼用画像のエラー箇所を特定する。そのエラー箇所に対応する右眼用画像のデータを画像補正部125bから取得するが、その取得に際しては、位相差検出部124で生成される位相差のマップ情報における、エラー箇所の位相差情報を参照する。
Correction processing by the
なお、左右どちらかの画像にエラーが起きている場合には、位相差検出部124は、そのフレームのエラー箇所について位相差の情報を取得出来ない。そのような場合には、位相差検出部124は前後のフレームからエラー箇所に相当する場所の位相差情報を取得する。
When an error has occurred in either the left or right image, the phase
このように位相差情報を参照することで、映像信号制御部120は、立体的な映像として表示する際にユーザに違和感を与えずに済ませることができる。画像補正部125bによる補正処理についても同様である。
By referring to the phase difference information in this way, the video
図3に示したような構成を有することで、映像信号制御部120は、圧縮画像の伝送時等でエラーが片側の画像に発生した場合、他方の画像を用いることで画像の補正処理を行うことが出来る。その画像の補正処理の際に、左右の画像の位相差、すなわち左右の画像のずれを考慮して補正することで、立体映像として表示させる際にユーザに違和感を与えずに済むことができる。
With the configuration shown in FIG. 3, when an error occurs in one image during transmission of a compressed image, the video
以上、図3を用いて本発明の一実施形態にかかる表示装置100に含まれる映像信号制御部120の構成について説明した。次に、本発明の一実施形態にかかる映像信号制御部120の動作について説明する。
The configuration of the video
[1−4.映像信号制御部の動作]
図4は、本発明の一実施形態にかかる映像信号制御部120の動作を示す流れ図である。以下、図4を用いて本発明の一実施形態にかかる映像信号制御部120の動作について説明する。
[1-4. Operation of video signal control unit]
FIG. 4 is a flowchart showing the operation of the
放送局等から伝送されてくる映像信号を表示装置100で受信すると、その映像信号は映像信号制御部120でデコード処理される。具体的には、図3に示した復号部121が、MPEG4方式で圧縮伝送される映像信号を復号する(ステップS101)。そして上述したように、復号部121は、MPEG4のMVC方式によって圧縮伝送されてくる映像信号を復号することができる。
When the
復号部121によりMPEG4のMVC方式によって圧縮伝送されてくる映像信号が復号されると、右目用の画像と左目用の画像とが得られる。復号部121は、左目用の画像は画像バッファ123aに、右目用の画像は画像バッファ123bにそれぞれ送る。復号部121から画像のデータを受けた画像バッファ123a、123bは、それぞれ復号部121から受け取った画像のデータを位相差検出部124に送る。
When the video signal compressed and transmitted by the MPEG4 MVC method is decoded by the
位相差検出部124は、画像バッファ123a、123bが右目用、左目用それぞれの画像のデータを受け取ると、その2枚の画像のデータを比較して、右目用の画像と左眼用の画像がどの程度ずれているかを把握するために、画面全体について位相差情報を検出し、位相差情報のマップ(以下、画面全体について生成した位相差情報のマップを「位相差マップ」とも称する)をフレームごとに作成する(ステップS102)。
When the image buffers 123a and 123b receive the right eye image data and the left eye image data, the phase
また、この位相差検出部124による位相差マップの生成と並行して、エラー検出部122a、122bは、復号部121が復号した画像にエラーが生じているかどうかを検出する(ステップS103)。復号部121が復号した画像にエラーが発生する原因としては、例えば伝送時における伝送誤り等がある。画像中にエラーが発生した箇所を特定する方法としては様々なものがあり、本実施形態においては、このステップS103におけるエラー検出は特定の方法に限定されるものではない。
In parallel with the generation of the phase difference map by the phase
エラー検出部122a、122bは、右目用、左目用それぞれの画像に対してエラー箇所を検出すると、そのエラー箇所の情報を画像補正部125a、125bに送る。エラー検出部122a、122bから画像補正部125a、125bに送るエラー箇所の情報としては、例えばエラーが発生したフレーム、エラーが発生した箇所の座標またはブロック等であっても良い。
When the
位相差検出部124によって位相差マップが生成され、エラー検出部122a、122bによって復号部121が復号した画像にエラーが発生していることが検出されると、画像補正部125a、125bは、これらの情報を用いて、エラーが発生した箇所をエラーの無いデータに置き換えることで、画像バッファ123a、123bから送られる画像データを補正する(ステップS104)。
When the phase difference map is generated by the phase
具体的には、画像補正部125a、125bは、エラー検出部122a、122bからエラー発生箇所についての情報を受け取ると、反対側の画像からエラーの無い画像を取り出して、エラーが発生した箇所に置き換える。この置換えの際には、画像補正部125a、125bは、位相差検出部124が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差を考慮してエラーの無い画像を取得する。
Specifically, when the
図5は、画像補正部125a、125bにより画像補正処理を概念的に図示する説明図である。図5は、右眼用画像(Rch)にエラーが生じている場合に、左眼用画像(Lch)からデータを取得して右眼用画像のエラー部分を置き換える場合を示したものである。従って、図5に示す処理は右眼用画像に対する画像補正処理を行う画像補正部125bが実行するものである。
FIG. 5 is an explanatory diagram conceptually illustrating image correction processing by the
ここで画像補正部125bは、右眼用画像を置き換える際に、位相差検出部124が生成した当該フレームの位相差マップ、または前後のフレームの位相差マップを参照し、位相差情報を加味した補正を実行する。これにより左右の画像間の位相差を考慮した画像の補正処理が可能になり、立体的な映像として画像表示部110に表示する際に、ユーザに違和感を与えない表示ができる。
Here, when replacing the right-eye image, the
ここで位相差検出部124による位相差マップの生成処理の概要を説明する。図6は、右眼用画像と左眼用画像とを比較して位相差マップを生成する際の概要を図示する説明図である。
Here, an outline of the phase difference map generation processing by the phase
図6に図示した「I」はIピクチャを、「P」はPピクチャを、「B」はBピクチャをそれぞれ示しており、復号部121はこのIピクチャ、Pピクチャ、Bピクチャから画像を生成する。図6に示した例では、復号部121は、左眼用の画像を基準としており、この左眼用の画像のIピクチャと同一フレームのPピクチャから右眼用の画像を生成していることになる。
In FIG. 6, “I” indicates an I picture, “P” indicates a P picture, and “B” indicates a B picture. The
このようにIピクチャ、Pピクチャ及びBピクチャから順次生成される右眼用画像と左眼用画像とから、位相差検出部124は2枚の画像の位相差を取得して位相差マップを生成することになる。
From the right-eye image and the left-eye image sequentially generated from the I picture, P picture, and B picture in this way, the phase
しかし、片方の画像にエラーが含まれている場合には、位相差検出部124はそのフレームについては位相差マップを完全に生成することが出来ない場合がある。図7は、そのような場合を図示したものである。図7は、時刻T5に対応するフレームの片側(右眼用画像)にエラーが発生した場合を示したものである。
However, when an error is included in one of the images, the phase
この場合、時刻T5に対応するフレームでは、位相差マップを完全に生成することが出来ない。従って、このフレームでエラーが発生した場合には、右眼用画像を補正する画像補正部125bは、位相差検出部124が生成した前後のフレームにおける位相差マップから、エラー箇所に対応する位置の位相差情報を用いてエラー箇所の補正処理を実行する。エラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際に、補間処理によって当該フレームの位相差情報を求めても良い。またエラーが発生したフレームの前後のフレームからエラー箇所に対応する位置の位相差情報を用いる際には、直前及び直後のフレームのみの位相差情報を用いてもよく、前後それぞれ複数のフレームの位相差情報を用いてもよい。
In this case, the phase difference map cannot be completely generated in the frame corresponding to time T5. Therefore, when an error occurs in this frame, the
このような補正処理により、エラーの発生によって位相差マップが生成出来ていないフレームであっても位相差検出部124が生成した前後のフレームについての位相差マップを用いることで、ユーザに違和感を与えないように画像を補正することができる。
By such correction processing, even if the phase difference map cannot be generated due to an error, the phase difference map for the previous and subsequent frames generated by the phase
なお、画像補正部125a、125bは、エラー箇所の補正の際に、そのエラーが発生しているフレームの位相差マップの、エラー箇所の周囲の箇所の位相差情報を用いて、エラー箇所を補正するようにしてもよい。
The
以上、図4を用いて本発明の一実施形態にかかる映像信号制御部120の動作について説明した。ここで、上述した映像信号制御部120の処理を応用することで、(例えばストレージメディアに保存されている)動画コンテンツの、早送り等のスキップ再生時に情報が欠落していたために復号部121が復号出来なかった画像を、位相差マップを用いて生成することができる。
The operation of the video
図8は、画像補正部125a、125bが、一方の画像からマップを用いて他方の画像を生成する際の概要を図示する説明図である。
FIG. 8 is an explanatory diagram illustrating an outline when the
図8に示した例によれば、時刻T0に対応するフレームにおいて、IピクチャI0から左眼用画像が復号部121によって復号され、IピクチャI0およびPピクチャP0から右眼用画像が同じく復号部121によって復号される。そして、位相差検出部124は復号部121によって復号されて得られる右眼用画像と左眼用画像とから位相差情報を検出して位相差マップを作成する。
According to the example shown in FIG. 8, in a frame corresponding to the time T0, the left-eye image from the I-picture I 0 is decoded by the
その後、動画コンテンツのスキップ再生が行われ、時刻T8に対応するフレームにスキップしたとする。そしてこの場合において、IピクチャI0から左眼用画像が復号部121によって復号されるが、PピクチャP0の情報の欠落によって右眼用画像が正しく復号出来ず、右眼用画像がエラーを含んだ画像になったとする。
Thereafter, skip reproduction of the moving image content is performed, and it is assumed that the skip is made to the frame corresponding to the time T8. In this case, the left-eye image is decoded by the
その場合に、右眼用画像を補正する画像補正部125bは、左眼用画像と、時刻T0に対応するフレームの右眼用画像と左眼用画像とから生成された位相差マップとを用いて、右眼用画像を補正するエラー補正処理を実行する。これにより、スキップ再生の際に情報の欠落等によって正常に復号出来なかった場合であっても、位相差マップを用いてエラー箇所を補正し、立体的な映像としてユーザに違和感を与えないような再生を行うことが出来る。
In that case, the
[1−5.映像信号制御部の変形例]
次に、映像信号制御部120の変形例について説明する。上述の説明では、左眼用画像または右眼用画像に対してエラーが発生している箇所を補正する処理について説明した。しかし、圧縮画像の伝送時のエラーが多く発生し、エラー箇所が含まれる画像が多くなると、立体映像として表示するより通常の映像(二次元映像)として表示する方が望ましい場合もある。
[1-5. Modification of video signal control unit]
Next, a modification of the video
図9は、映像信号制御部120の変形例である映像信号制御部120’の機能構成を示す説明図である。図9に示した映像信号制御部120’は、図3に示した映像信号制御部120に画像補正部125cが追加されたものである。画像補正部125cは、復号部121の復号処理によって得られる右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成して出力するものである。
FIG. 9 is an explanatory diagram illustrating a functional configuration of a video
図9では、画像補正部125cからは右眼用画像を出力するライン(R)と左眼用画像を出力するライン(L)の両方へ補正後の画像を出力しているが、2つのラインにはいずれも同じ画像を出力する。これにより、画像表示部110に二次元映像を表示させることができる。
In FIG. 9, the corrected image is output from the
そして画像補正部125cは、エラー検出部122a、122bからエラー情報を受取って、エラーの発生数が所定の閾値を超えると(例えば所定の期間にエラーが所定回数以上発生していれば)、映像信号制御部120’は画像補正部125cによる補正処理に切り替えて、立体的映像ではなく二次元映像を出力する。
Then, the
画像補正部125cは、右眼用画像と左眼用画像とから、二次元映像の元となる画像を生成する際には、位相差検出部124で生成される位相差マップから、エラー部分の位相差情報を用いて、右眼用画像及び左眼用画像の画像からエラーの無い部分を切り出して合成する。使用する位相差情報は、上述のように、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。
When the
なお、エラーの発生による二次元映像と立体的映像との切り替えは、上述のようにエラーの発生数が所定の閾値を超えた場合に(例えば所定の期間にエラーが所定回数以上発生した場合に)自動的に切り替えるようにしてもよく、ユーザ操作によって自動的に切り替えられるようにしてもよい。 Note that switching between 2D video and stereoscopic video due to the occurrence of an error is performed when the number of error occurrences exceeds a predetermined threshold as described above (for example, when an error occurs a predetermined number of times or more in a predetermined period). ) It may be switched automatically or may be switched automatically by a user operation.
<2.まとめ>
以上説明したように本発明の一実施形態にかかる表示装置100は、MPEG4のMVCのように複数(例えば2つ)の視点からの映像が圧縮符号化された映像信号を復号して、立体的な映像として表示する際に、片側の画像にエラー箇所があれば、そのエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。
<2. Summary>
As described above, the
映像信号制御部120においては、復号部121の復号処理によって得られる右眼用画像と左眼用画像とから、位相差検出部124で位相差情報を検出して、画像全体について位相差マップを作成しておく。そして、エラー箇所の補正に際しては、位相差検出部124が生成した位相差マップを用いて、エラーが発生している箇所を、位相差情報を考慮した上で、他方の画像に置き換える。このようにエラー箇所を補正することで立体的な映像としてユーザに違和感を与えないように表示することが出来る。
In the video
位相差情報を考慮した上で補正を行う際には、エラーが起きているフレームの位相差情報を用いてもよく、エラーが起きているフレームの前後所定のフレームの位相差情報を用いてもよい。 When correction is performed in consideration of the phase difference information, the phase difference information of the frame in which the error has occurred may be used, or the phase difference information of a predetermined frame before and after the frame in which the error has occurred may be used. Good.
上述した一連の補正処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体を表示装置100に内蔵してもよい。そして、かかるプログラムを、表示装置100に内蔵したCPU(Central Processing Unit)、DSP(Digital Signal Processor)その他の制御装置が読み出して順次実行するようにしてもよい。
The series of correction processes described above may be executed by hardware or software. When executed by software, for example, a recording medium in which a program is stored may be built in the
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記実施形態では、画像補正部125a、125bは、位相差情報はエラーが発生したフレーム、またはエラーが発生した前後のフレームから取得して補正処理を実行していたが、エラー箇所の範囲の大きさによって位相差情報をどこから取得するか決定してもよい。例えば画像補正部125a、125bは、エラーが起きている箇所の範囲が小さければ同一フレームのエラー箇所の周囲の位相差情報を用いてエラー箇所を補正し、エラーが起きている箇所の範囲が大きければ前後のフレームのエラー箇所の位相差情報を用いてエラー箇所を補正してもよい。エラー箇所の大きさに応じて位相差情報の取得元を変化させて、エラー箇所をエラーの無い画像に置き換えることで、表示装置100は、より効果的で立体視させた場合に違和感のない画像をユーザに提示することができる。
For example, in the above-described embodiment, the
本発明は、映像表示装置、映像表示方法及びコンピュータプログラムに適用可能であり、特に時分割で異なる映像を表示する映像表示装置、映像表示方法及びコンピュータプログラムに適用可能である。 The present invention is applicable to a video display device, a video display method, and a computer program, and in particular, is applicable to a video display device, a video display method, and a computer program that display different videos in a time division manner.
100 表示装置
110 画像表示部
120 映像信号制御部
121 復号部
122a、122b エラー検出部
123a、123b 画像バッファ
124 位相差検出部
125a、125b、125c 画像補正部
130 シャッタ制御部
140 タイミング制御部
DESCRIPTION OF
Claims (9)
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出部と、
前記復号部の復号により得られる画像におけるエラー箇所を検出するエラー検出部と、
前記復号部の復号により得られる画像のエラー箇所を、前記位相差検出部が検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正部と、
を備える、映像表示装置。 A decoding unit that decodes video data in which videos from a plurality of viewpoints are compressed and encoded;
A phase difference detection unit that detects phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection unit for detecting an error part in an image obtained by decoding of the decoding unit;
An image correction unit that corrects an error portion of an image obtained by decoding of the decoding unit by reflecting the phase difference information detected by the phase difference detection unit and replacing it with the other image;
A video display device comprising:
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を備える、映像表示方法。 A decoding step of decoding video data in which videos from a plurality of viewpoints are compression encoded;
A phase difference detection step of detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection step of detecting an error location in an image obtained by decoding in the decoding step;
An image correction step for correcting the error portion of the image obtained by decoding in the decoding step by reflecting the phase difference information detected by the phase difference detection step and replacing it with the other image;
An image display method comprising:
複数の視点からの映像が圧縮符号化された映像データを復号する復号ステップと、
前記復号部の復号により得られる第1の画像と第2の画像とから立体的映像を表示する際に該立体的映像の距離感に影響を与える位相差情報を検出する位相差検出ステップと、
前記復号ステップの復号により得られる画像におけるエラー箇所を検出するエラー検出ステップと、
前記復号ステップの復号により得られる画像のエラー箇所を、前記位相差検出ステップが検出した前記位相差情報を反映させて他方の画像に置き換えて補正する画像補正ステップと、
を実行させる、コンピュータプログラム。
On the computer,
A decoding step of decoding video data in which videos from a plurality of viewpoints are compression encoded;
A phase difference detection step of detecting phase difference information that affects a sense of distance of the stereoscopic video when displaying the stereoscopic video from the first image and the second image obtained by decoding of the decoding unit;
An error detection step of detecting an error location in an image obtained by decoding in the decoding step;
An image correction step for correcting the error portion of the image obtained by decoding in the decoding step by reflecting the phase difference information detected by the phase difference detection step and replacing it with the other image;
A computer program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108562A JP2011239148A (en) | 2010-05-10 | 2010-05-10 | Video display apparatus, video display method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108562A JP2011239148A (en) | 2010-05-10 | 2010-05-10 | Video display apparatus, video display method and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011239148A true JP2011239148A (en) | 2011-11-24 |
Family
ID=45326652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010108562A Withdrawn JP2011239148A (en) | 2010-05-10 | 2010-05-10 | Video display apparatus, video display method and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011239148A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013141220A (en) * | 2011-12-28 | 2013-07-18 | Samsung Electronics Co Ltd | Display device and method for providing three-dimensional stereoscopic image |
WO2013108307A1 (en) * | 2012-01-18 | 2013-07-25 | パナソニック株式会社 | Image processing device and image processing method |
JP2013247651A (en) * | 2012-05-29 | 2013-12-09 | Canon Inc | Coding apparatus, coding method, and program |
-
2010
- 2010-05-10 JP JP2010108562A patent/JP2011239148A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013141220A (en) * | 2011-12-28 | 2013-07-18 | Samsung Electronics Co Ltd | Display device and method for providing three-dimensional stereoscopic image |
WO2013108307A1 (en) * | 2012-01-18 | 2013-07-25 | パナソニック株式会社 | Image processing device and image processing method |
US20140049608A1 (en) * | 2012-01-18 | 2014-02-20 | Panasonic Corporation | Video processing device and video processing method |
JP2013247651A (en) * | 2012-05-29 | 2013-12-09 | Canon Inc | Coding apparatus, coding method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9918069B2 (en) | Method and device for overlaying 3D graphics over 3D video | |
Gotchev et al. | Three-dimensional media for mobile devices | |
US8836758B2 (en) | Three-dimensional image processing apparatus and method of controlling the same | |
US20120140032A1 (en) | Formatting 3d content for low frame-rate displays | |
TWI502958B (en) | 3d image display apparatus and method thereof | |
US20110164118A1 (en) | Display apparatuses synchronized by one synchronization signal | |
US20150304640A1 (en) | Managing 3D Edge Effects On Autostereoscopic Displays | |
TWI432013B (en) | 3d image display method and image timing control unit | |
JP5702063B2 (en) | Display device, display method, and computer program | |
KR20140090438A (en) | Display apparatus, shutter glasses, display method and glasses apparatus operating method | |
US8687950B2 (en) | Electronic apparatus and display control method | |
US20120032954A1 (en) | Apparatus and method for reproducing stereoscopic images, providing a user interface appropriate for a 3d image signal | |
JP2011239148A (en) | Video display apparatus, video display method and computer program | |
JP2012060236A (en) | Image processing apparatus, image processing method, and computer program | |
JP4806082B2 (en) | Electronic apparatus and image output method | |
US20110134226A1 (en) | 3d image display apparatus and method for determining 3d image thereof | |
KR101861585B1 (en) | Display panel and display apparatus for using biefingence | |
US20120162397A1 (en) | Image processing apparatus and display controlling method | |
JP2014207492A (en) | Stereoscopic image display device | |
JP2013168693A (en) | Driving device for liquid crystal shutter eyeglasses | |
KR20120102947A (en) | Electronic device and method for displaying stereo-view or multiview sequence image | |
US8553043B2 (en) | Three-dimensional (3D) image processing method and system | |
JP2012080469A (en) | Stereoscopic image display device and control method of the same | |
JP2014003533A (en) | Video processing device, video processing method, and computer program | |
KR101913252B1 (en) | A apparatus for processing a three-dimensional image and a method for displaying a three-dimensional image using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130806 |