JP2013165306A - 立体映像表示装置 - Google Patents
立体映像表示装置 Download PDFInfo
- Publication number
- JP2013165306A JP2013165306A JP2010125585A JP2010125585A JP2013165306A JP 2013165306 A JP2013165306 A JP 2013165306A JP 2010125585 A JP2010125585 A JP 2010125585A JP 2010125585 A JP2010125585 A JP 2010125585A JP 2013165306 A JP2013165306 A JP 2013165306A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- motion vector
- vector
- scroll
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】左眼用動きベクトル検出、右眼用動きベクトル検出の結果に基づいて、画面端の動きベクトルや、スクロール映像やシーンチェンジ発生時の動きベクトルを補正することが可能な立体映像表示装置を提供する。
【解決手段】左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置において、左眼と右眼用映像を入力し、動きベクトルを検出する動きベクトル検出部と、左右画像間の視差を検出する視差検出部と、視差検出部で検出された左右画像間視差に基づいて左眼と右眼用動きベクトルとを比較するベクトル比較部と、ベクトル比較部で算出されたベクトル比較結果に基づいて左眼用動きベクトルを補正する左眼用ベクトル補正部と、ベクトル比較部で算出されたベクトル比較結果に基づいて右眼用動きベクトルを補正する右眼用ベクトル補正部を備えることを特徴とする立体映像表示装置。
【選択図】図1
【解決手段】左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置において、左眼と右眼用映像を入力し、動きベクトルを検出する動きベクトル検出部と、左右画像間の視差を検出する視差検出部と、視差検出部で検出された左右画像間視差に基づいて左眼と右眼用動きベクトルとを比較するベクトル比較部と、ベクトル比較部で算出されたベクトル比較結果に基づいて左眼用動きベクトルを補正する左眼用ベクトル補正部と、ベクトル比較部で算出されたベクトル比較結果に基づいて右眼用動きベクトルを補正する右眼用ベクトル補正部を備えることを特徴とする立体映像表示装置。
【選択図】図1
Description
本発明は、立体映像表示装置に関し、左右画像のベクトルの検出性能を改善する装置に関するものである。
動きベクトルを求める方法として、画面全体を複数のブロック(ブロックは例えば16×16画素で構成される)に分割して現フレームの注目ブロックと複数の候補ベクトルが指し示す過去フレームのブロックの映像信号レベルの差分絶対値のブロック合計値を求め、差分絶対値のブロック合計値が最小となる過去フレームのブロックに対応する候補ベクトルを動きベクトルとするブロックマッチング法が一般的に知られている。
また、両眼視差を左右画像上での画素位置の変位として求める際に、左右の画像を2次元フーリエ変換し、その位相項のシフトマッチングによりいくつかの視差変位量の候補を算出した後に、左右画像のそれぞれについて被写体の輪郭抽出および領域決定を行い、これらの境界点の内側の点と外側の数点において2次元フーリエ変換を利用して求めた変位量候補との対応をとり、被写体および背景あるいはカメラからの距離の異なる複数の被写体に対応する両眼視差変位量を求めることを特徴とする両眼視差検出方法が示されている(例えば、特許文献1等)。
従来、現フレーム画像と過去フレーム画像を用いて動きベクトルを検出する際、現フレームの画面端に表示されている絵柄が過去フレームには存在しない、あるいは周辺領域のベクトル検出結果を注目領域のベクトル検出演算に用いるなどの要因で、画面端は正確な動きベクトルを求めることが困難であった。
また、立体映像入力の場合、左眼用動きベクトルは、左眼用映像の現フレーム画像と過去フレーム画像から求め、右眼用動きベクトルは、右眼用映像の現フレーム画像と過去フレーム画像から求めるため、それぞれ独立に動きベクトルが検出され、全画面のスクロールやシーンチェンジ等の検出は左右で検出タイミングが異なる場合があり、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力の画質が異質なものになるという課題があった。
本発明の第一の実施形態の立体映像表示装置は、左眼用映像を入力し左眼用動きベクトルを検出する左眼用動きベクトル検出部1と、右眼用映像を入力し右眼用動きベクトルを検出する右眼用動きベクトル検出部2と、左眼用映像と右眼用映像を入力し、左右画像間の視差を検出する視差検出部3と、視差検出部3で検出された左右画像間視差に基づいて左眼用動きベクトル検出部1で検出された左眼用動きベクトルと右眼用動きベクトル検出部2で検出された右眼用動きベクトルとを比較するベクトル比較部4と、ベクトル比較部4で算出されたベクトル比較結果に基づいて左眼用動きベクトルを補正する左眼用ベクトル補正部5と、ベクトル比較部4で算出されたベクトル比較結果に基づいて右眼用動きベクトルを補正する右眼用ベクトル補正部6を備える。
次に、本発明の第二の実施形態の立体映像表示装置は、左眼用映像を入力し左眼用動きベクトルを検出する左眼用動きベクトル検出部1と、左眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を左眼スクロールベクトルとして出力する左眼用ヒストグラム判定部11と、左眼用ヒストグラム判定部11がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する左眼用カウンタ12と、左眼用カウンタ12の値が閾値以上のとき、左眼用映像が全画面スクロールであると判定する左眼用スクロール判定部13と、右眼用映像を入力し右眼用動きベクトルを検出する右眼用動きベクトル検出部2と、右眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を右眼スクロールベクトルとして出力する右眼用ヒストグラム判定部14と、右眼用ヒストグラム判定部14がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する右眼用カウンタ15と、右眼用カウンタ15の値が閾値以上のとき、右眼用映像が全画面スクロールであると判定する右眼用スクロール判定部16と、左眼用スクロール判定部13から出力される左眼スクロール判定と、右眼用スクロール判定部16から出力される右眼スクロール判定と、左眼用ヒストグラム判定部11が出力する左眼スクロールベクトルと、右眼用ヒストグラム判定部14が出力する右眼スクロールベクトルを入力し、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロールベクトルと右眼スクロールベクトルの値に基づいて補正スクロールベクトルを出力し、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロール判定と右眼スクロール判定の少なくとも一方がスクロール状態のときに補正許可信号を出力する左右眼スクロール比較部17と、左右眼スクロール比較部17から出力される補正許可信号が許可状態のとき、左眼用動きベクトルを補正スクロールベクトルで補正する左眼用ベクトル補正部18と、左右眼スクロール比較部17から出力される補正許可信号が許可状態のとき、右眼用動きベクトルを補正スクロールベクトルで補正する右眼用ベクトル補正部19を備える。
次に、本発明の第三の実施形態の立体映像表示装置は、左眼用映像を入力し、左眼用動きベクトルを検出し、同時に左眼用動きベクトルの正しさの指標である左眼動きベクトル確度を出力する左眼用動きベクトル検出部1と、左眼動きベクトル確度を入力し、画面全体の左眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する左眼用シーンチェンジ判定部21と、右眼用映像を入力し右眼用動きベクトルを検出し、同時に右眼用動きベクトルの正しさの指標である右眼動きベクトル確度を出力する右眼用動きベクトル検出部2と、右眼動きベクトル確度を入力し、画面全体の右眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する右眼用シーンチェンジ判定部22と、左眼シーンチェンジ判定部21と右眼シーンチェンジ判定部22の結果に基づいて、補正許可信号を出力する左右眼シーンチェンジ比較部23と、左右眼シーンチェンジ比較部23が出力する補正許可信号に基づいて、左眼用動きベクトルを補正する左眼用ベクトル補正部24と、左右眼シーンチェンジ比較部23が出力する補正許可信号に基づいて、右眼用動きベクトルを補正する右眼用ベクトル補正部25を備える。
本発明の立体映像表示装置によれば、画面端における動きベクトル検出性能が改善される。また、左眼用動きベクトル検出、右眼用動きベクトル検出の結果から、左右眼それぞれのスクロールやシーンチェンジ検出し、左右眼の検出結果に基づいて、左右眼用動きベクトルの双方を同様に補正することが可能である。
(実施の形態1)
本発明の第一の実施形態の立体映像表示装置について説明する。図1に示すように、本発明の第一の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトルを出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトルを出力する右眼用動きベクトル検出部2と、左眼用映像及び右眼用映像を入力して左右画像間の視差量を検出する視差検出部3と、上述した左眼用動きベクトルと右眼用動きベクトルと左右画像間の視差量とを入力して、ベクトルの比較を行うベクトル比較部4と、ベクトル比較部4からの出力と左眼用動きベクトルと右眼用動きベクトルを入力として、補正後左眼用動きベクトルを出力する左眼用ベクトル補正部5と、ベクトル比較部4からの出力と左眼用動きベクトルと右眼用動きベクトルを入力として、補正後右眼用動きベクトルを出力する右眼用ベクトル補正部5とにより構成されている。以下、各構成について詳細に説明する。
本発明の第一の実施形態の立体映像表示装置について説明する。図1に示すように、本発明の第一の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトルを出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトルを出力する右眼用動きベクトル検出部2と、左眼用映像及び右眼用映像を入力して左右画像間の視差量を検出する視差検出部3と、上述した左眼用動きベクトルと右眼用動きベクトルと左右画像間の視差量とを入力して、ベクトルの比較を行うベクトル比較部4と、ベクトル比較部4からの出力と左眼用動きベクトルと右眼用動きベクトルを入力として、補正後左眼用動きベクトルを出力する左眼用ベクトル補正部5と、ベクトル比較部4からの出力と左眼用動きベクトルと右眼用動きベクトルを入力として、補正後右眼用動きベクトルを出力する右眼用ベクトル補正部5とにより構成されている。以下、各構成について詳細に説明する。
図1において、左眼用映像を左眼用動きベクトル検出部1に入力し、現フレーム左眼用映像とフレームメモリ等で遅延させた過去フレーム左眼用映像の間の左眼用動きベクトルを検出する。一方、右眼用映像を右眼用動きベクトル検出部2に入力し、現フレーム右眼用映像とフレームメモリ等で遅延させた過去フレーム右眼用映像の間の右眼用動きベクトルを検出する。
左眼用映像と右眼用映像を視差検出部3に入力し、ブロックマッチング法と同様の手法または、特開平2−100589記載の方法等で左右画像間の視差を検出する。ベクトル比較部4において、視差検出部3で検出された左右画像間視差に基づいて左眼用動きベクトル検出部1で検出された左眼用動きベクトルと右眼用動きベクトル検出部2で検出された右眼用動きベクトルとを比較する。
ベクトル比較部4で算出されたベクトル比較結果に基づいて左眼用ベクトル補正部5で左眼用動きベクトルを補正する。一方、ベクトル比較部4で算出されたベクトル比較結果に基づいて右眼用ベクトル補正部6で右眼用動きベクトルを補正する。
左右画像間視差に基づいて左眼用動きベクトルと右眼用動きベクトルを比較した結果に基づいて左眼用動きベクトルと右眼用動きベクトルを互いに補正することを特徴とする。
具体的な一例としては、この立体映像表示装置において、左眼用ベクトル補正部5は、左眼用映像の画面端の映像に左右画像間の視差が対応する右眼用映像が画面端ではない場合に、画面端の左眼用動きベクトルを左眼用映像の画面端に左右画像間の視差が対応する右眼用映像の右眼用動きベクトルで左眼用動きベクトルを補正する。一方、右眼用ベクトル補正部6は、右眼用映像の画面端の映像に左右画像間の視差が対応する左眼用映像が画面端でない場合に、画面端の右眼用動きベクトルを右眼用映像の画面端に左右画像間の視差が対応する左眼用映像の左眼用動きベクトルで右眼用動きベクトルを補正する。つまり、右眼又は左眼一方の映像について、他方の左眼又は右眼の動きベクトルに基づいて、それぞれの映像に対応する動きベクトルの補正を行う。この補正により、画面端の動きベクトルの検出性能を改善することを特長とする。図4を参照しながら、より具体的に説明する。
図4は、立体映像装置において、スポーツの映像を表示した場合の例を示している。左上図が、Nフレームの表示時における左眼用映像を示しており、左下図が、Nフレームよりも1フレーム前に表示したN−1フレームにおける左眼用映像を示している。さらに、右上図が、Nフレームの表示時における右眼用映像を示しており、右下図が、Nフレームよりも1フレーム前に表示したN−1フレームにおける右眼用映像を示している。また、太枠の実線がテレビ画面の枠を示しており、その実線の枠内に記載された破線が画面端領域を示している。
この映像においては、人物が2名とボールが映っており、人物は視差量が少ないため、左眼用映像及び右眼用映像のいずれにおいてもほぼ同位置に表示されているが、ボールは、より臨場感を出すために、左眼用映像と右眼用映像とでは、視差量が大きく、眼用映像及び右眼用映像においては、異なる位置に表示がなされている。
ここで、このボールは、N−1フレームからNフレームかけて画面右側から画面左側に移動しているものとする。その結果として、左上図におけるNフレームの表示時における左眼用映像は、画面端領域にボールが存在している。一方、右上図におけるNフレームの表示時における右眼用映像は、画面端領域外(画面内領域)にボールが存在している。
ここで、左眼用映像に基づいて、N−1フレームからNフレームへのボールの動きベクトルを検出した場合と比較すると、右眼用映像に基づいて、N−1フレームからNフレームへのボールの動きベクトルを検出した場合の確度がより高くなる。従って、本願発明においては、図4における左眼用映像においてボールの動きベクトルを生成する際に、右眼用映像のボールの動きベクトルを活用して、左眼用映像におけるボールの動きベクトルを補正することにより、より適切な動きベクトルの検出及び生成を行うことが可能になり、画面端における動きベクトル検出性能が改善されるものである。
ベクトルの補正条件に、左右眼どちらかの画面端のベクトルより、他方の眼の左右画像間の視差が対応するベクトルの確度が高い(たとえば、ブロックマッチングの際のフレーム間差分絶対値のブロック合計値が小さい)ことを追加してもよい。
(実施の形態2)
次に、本発明の第二の実施形態の立体映像表示装置について説明する。図2に示すように、本発明の第二の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトルを出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトルを出力する右眼用動きベクトル検出部2と、左眼用動きベクトル検出部1からの出力に基づいて、左眼スクロール判定を行う左眼用ヒストグラム判定部11、左眼用カウンタ12、左眼用スクロール判定部13と、同様に、右眼用動きベクトル検出部2からの出力に基づいて、右眼スクロール判定を行う右眼用ヒストグラム判定部14、右眼用カウンタ15、右眼用スクロール判定部16と、左眼スクロール判定結果と右眼スクロール判定結果及び左眼用ヒストグラム判定部11から出力した左眼スクロールベクトルと右眼用ヒストグラム判定部14から出力した右眼 スクロールベクトルを入力として補正スクロールベクトルと補正許可信号を出力する左右眼スクロール比較部17と、補正スクロールベクトルと補正許可信号及び左眼用動きベクトルに基づいて補正後左眼用動きベクトルを出力する左眼用ベクトル補正部18と、補正スクロールベクトルと補正許可信号及び右眼用動きベクトルに基づいて補正後右眼用動きベクトルを出力する右眼用ベクトル補正部19とにより構成されている。以下、各構成について詳細に説明する。
次に、本発明の第二の実施形態の立体映像表示装置について説明する。図2に示すように、本発明の第二の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトルを出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトルを出力する右眼用動きベクトル検出部2と、左眼用動きベクトル検出部1からの出力に基づいて、左眼スクロール判定を行う左眼用ヒストグラム判定部11、左眼用カウンタ12、左眼用スクロール判定部13と、同様に、右眼用動きベクトル検出部2からの出力に基づいて、右眼スクロール判定を行う右眼用ヒストグラム判定部14、右眼用カウンタ15、右眼用スクロール判定部16と、左眼スクロール判定結果と右眼スクロール判定結果及び左眼用ヒストグラム判定部11から出力した左眼スクロールベクトルと右眼用ヒストグラム判定部14から出力した右眼 スクロールベクトルを入力として補正スクロールベクトルと補正許可信号を出力する左右眼スクロール比較部17と、補正スクロールベクトルと補正許可信号及び左眼用動きベクトルに基づいて補正後左眼用動きベクトルを出力する左眼用ベクトル補正部18と、補正スクロールベクトルと補正許可信号及び右眼用動きベクトルに基づいて補正後右眼用動きベクトルを出力する右眼用ベクトル補正部19とにより構成されている。以下、各構成について詳細に説明する。
図2において、左眼用映像を左眼用動きベクトル検出部1に入力し、左眼用動きベクトルを検出する。左眼用動きベクトルを左眼用ヒストグラム判定部11に入力し、左眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を左眼スクロールベクトルとして出力する。
左眼用カウンタ12は、左眼用ヒストグラム判定部11がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する。さらに、左眼用スクロール判定部13は、左眼用カウンタ12の値が閾値以上のとき、左眼用映像が全画面スクロールであると判定する。
一方、右眼用映像を右眼用動きベクトル検出部2に入力し、右眼用動きベクトルを検出する。右眼用動きベクトルを右眼用ヒストグラム判定部14に入力し、右眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を右眼スクロールベクトルとして出力する。
右眼用カウンタ15は、右眼用ヒストグラム判定部14がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する。右眼用スクロール判定部16は、右眼用カウンタ15の値が閾値以上のとき、右眼用映像が全画面スクロールであると判定する。
次に、左眼用スクロール判定部13から出力される左眼スクロール判定と、右眼用スクロール判定部16から出力される右眼スクロール判定と、左眼用ヒストグラム判定部11が出力する左眼スクロールベクトルと、右眼用ヒストグラム判定部14が出力する右眼スクロールベクトルを左右眼スクロール比較部17に入力し、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロールベクトルと右眼スクロールベクトルの値に基づいて補正スクロールベクトルを出力し、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロール判定と右眼スクロール判定の少なくとも一方がスクロール状態のときに補正許可信号を出力する。
次に、左眼用ベクトル補正部18は、左右眼スクロール比較部17から出力される補正許可信号が許可状態のとき、左眼用動きベクトルを補正スクロールベクトルで補正する。たとえば、全画面の左眼用動きベクトルを補正スクロールベクトルで置換する、または、左眼用動きベクトルと補正スクロールベクトルを左眼用カウンタ12と右眼用カウンタ15の平均値に基づいてブレンドなどしてもよい。
次に、右眼用ベクトル補正部19は、左右眼スクロール比較部17から出力される補正許可信号が許可状態のとき、右眼用動きベクトルを補正スクロールベクトルで補正する。たとえば、全画面の右眼用動きベクトルを補正スクロールベクトルで置換する、または、右眼用動きベクトルと補正スクロールベクトルを左眼用カウンタ12と右眼用カウンタ15の平均値に基づいてブレンドなどしてもよい。
以上のような構成により、本発明の第二の実施形態の立体映像表示装置は、左眼スクロール判定と右眼スクロール判定の各結果と左眼スクロールベクトルと右眼スクロールベクトルの値に基づいて左眼用ベクトル、右眼用ベクトルを同様に補正するため、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力の間に視覚的違和感が発生するのを改善することを特長とする。
(実施の形態3)
次に、本発明の第三の実施形態の立体映像表示装置について説明する。図3に示すように、本発明の第三の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトル確度を出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトル確度を出力する右眼用動きベクトル検出部2と、左眼用動きベクトル確度を入力として左眼シーンチェンジ判定を出力する左眼用シーンチェンジ判定部21と、右眼用動きベクトル確度を入力として右眼シーンチェンジ判定を出力する右眼用シーンチェンジ判定部22と、左眼シーンチェンジ判定と右眼シーンチェンジ判定とを入力して、補正許可信号を出力する左右眼シーンチェンジ比較部23と、左眼用動きベクトルと補正許可信号とを入力として、補正後左眼用動きベクトルを出力する左眼用ベクトル補正部24と、右眼用動きベクトルと補正許可信号とを入力として、補正後右眼用動きベクトルを出力する右眼用ベクトル補正部25とにより構成されている。以下詳細に各構成について説明する。
次に、本発明の第三の実施形態の立体映像表示装置について説明する。図3に示すように、本発明の第三の実施形態の立体映像表示装置は、左眼用映像を入力して左眼用動きベクトル確度を出力する左眼用動きベクトル検出部1と、同様に、右眼用映像を入力して右眼用動きベクトル確度を出力する右眼用動きベクトル検出部2と、左眼用動きベクトル確度を入力として左眼シーンチェンジ判定を出力する左眼用シーンチェンジ判定部21と、右眼用動きベクトル確度を入力として右眼シーンチェンジ判定を出力する右眼用シーンチェンジ判定部22と、左眼シーンチェンジ判定と右眼シーンチェンジ判定とを入力して、補正許可信号を出力する左右眼シーンチェンジ比較部23と、左眼用動きベクトルと補正許可信号とを入力として、補正後左眼用動きベクトルを出力する左眼用ベクトル補正部24と、右眼用動きベクトルと補正許可信号とを入力として、補正後右眼用動きベクトルを出力する右眼用ベクトル補正部25とにより構成されている。以下詳細に各構成について説明する。
図3において、左眼用映像を左眼用動きベクトル検出部1に入力し、左眼用動きベクトルを検出し、同時に左眼用動きベクトルの正しさの指標である左眼動きベクトル確度を出力する(ベクトル確度が高い定義として、たとえば、ブロックマッチング差分合計値が小さいことなどを用いる。)。次に、左眼動きベクトル確度を左眼用シーンチェンジ判定部21に入力し、画面全体の左眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する。
右眼用映像を右眼用動きベクトル検出部2に入力し、右眼用動きベクトルを検出し、同時に右眼用動きベクトルの正しさの指標である右眼動きベクトル確度を出力する。次に、右眼動きベクトル確度を右眼用シーンチェンジ判定部22に入力し、画面全体の右眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する。
左右眼シーンチェンジ比較部23は、左眼シーンチェンジ判定21と右眼シーンチェンジ判定22の結果に基づいて、補正許可信号を出力する(少なくとも片眼がシーンチェンジ判定した場合に補正許可状態にする、もしくは、両眼ともシーンチェンジ判定した場合に補正許可状態にする等)。
左眼用ベクトル補正部24は、左右眼シーンチェンジ比較部23が出力する補正許可信号に基づいて、左眼用動きベクトルを補正する。補正許可信号が補正許可状態のとき、左眼用動きベクトルを0クリアする、または左眼用動きベクトルを小さくする等の補正を行う。
右眼用ベクトル補正部25は、左右眼シーンチェンジ比較部23が出力する補正許可信号に基づいて、右眼用動きベクトルを補正する。補正許可信号が補正許可状態のとき、右眼用動きベクトルを0クリアする、または右眼用動きベクトルを小さくする等の補正を行う。
以上のような構成により、左眼シーンチェンジ判定部21と右眼シーンチェンジ判定部22の結果に基づいて左眼用ベクトル、右眼用ベクトルを同様に補正するため、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力の間に視覚的違和感が発生するのを改善することを特長とする。
本発明は、左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置に関して、動きベクトルの検出性能を改善し、さらには動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力の間に視覚的違和感が発生するのを改善することが可能な立体映像表示装置を提供する。
1 左眼用動きベクトル検出部
2 右眼用動きベクトル検出部
3 視差検出部
4 ベクトル比較
5 左眼用ベクトル補正部
6 右眼用ベクトル補正部
11 左眼用ヒストグラム判定部
12 左眼用カウンタ
13 左眼用スクロール判定部
14 右眼用ヒストグラム判定部
15 右眼用カウンタ
16 右眼用スクロール判定部
17 左右眼スクロール比較部
18 左眼用ベクトル補正部
19 右眼用ベクトル補正部
21 左眼用シーンチェンジ判定部
22 右眼用シーンチェンジ判定部
23 左右眼シーンチェンジ比較部
24 左眼用ベクトル補正部
25 右眼用ベクトル補正部
2 右眼用動きベクトル検出部
3 視差検出部
4 ベクトル比較
5 左眼用ベクトル補正部
6 右眼用ベクトル補正部
11 左眼用ヒストグラム判定部
12 左眼用カウンタ
13 左眼用スクロール判定部
14 右眼用ヒストグラム判定部
15 右眼用カウンタ
16 右眼用スクロール判定部
17 左右眼スクロール比較部
18 左眼用ベクトル補正部
19 右眼用ベクトル補正部
21 左眼用シーンチェンジ判定部
22 右眼用シーンチェンジ判定部
23 左右眼シーンチェンジ比較部
24 左眼用ベクトル補正部
25 右眼用ベクトル補正部
Claims (4)
- 左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置において、
左眼用映像を入力し左眼用動きベクトルを検出する左眼用動きベクトル検出部と、
右眼用映像を入力し右眼用動きベクトルを検出する右眼用動きベクトル検出部と、
左眼用映像と右眼用映像を入力し左右画像間の視差を検出する視差検出部と、
前記視差検出部で検出された前記左右画像間視差に基づいて前記左眼用動きベクトル検出部で検出された前記左眼用動きベクトルと前記右眼用動きベクトル検出部で検出された前記右眼用動きベクトルとを比較するベクトル比較部と、
前記ベクトル比較部で算出されたベクトル比較結果に基づいて左眼用動きベクトルを補正する左眼用ベクトル補正部と、
前記ベクトル比較部で算出されたベクトル比較結果に基づいて右眼用動きベクトルを補正する右眼用ベクトル補正部備えることを特徴とする立体映像表示装置。 - 前記左眼用ベクトル補正部は、左眼用映像の画面端の映像に前記左右画像間視差が対応する右眼用映像が画面端でない場合に、画面端の左眼用動きベクトルを左眼用映像の画面端に前記左右画像間視差が対応する右眼用映像の右眼用動きベクトルで左眼用動きベクトルを補正し、
前記右眼用ベクトル補正部は、右眼用映像の画面端の映像に前記左右画像間視差が対応する左眼用映像が画面端でない場合に、画面端の右眼用動きベクトルを右眼用映像の画面端に前記左右画像間視差が対応する左眼用映像の左眼用動きベクトルで右眼用動きベクトルを補正する請求項1に記載の立体映像表示装置。 - 左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置において、
左眼用映像を入力し左眼用動きベクトルを検出する左眼用動きベクトル検出部と、
前記左眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を左眼スクロールベクトルとして出力する左眼用ヒストグラム判定部と、
前記左眼用ヒストグラム判定部がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する左眼用カウンタと、
前記左眼用カウンタの値が閾値以上のとき、左眼用映像が全画面スクロールであると判定する左眼用スクロール判定部と、
右眼用映像を入力し右眼用動きベクトルを検出する右眼用動きベクトル検出部と、
前記右眼用動きベクトルの画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を右眼スクロールベクトルとして出力する右眼用ヒストグラム判定部と、
前記右眼用ヒストグラム判定部がヒストグラムの集中度が高いことを判定したときに、カウンタ値が増加し、ヒストグラムの集中度が高くないと判定したときにカウンタ値が減少する右眼用カウンタと、
前記右眼用カウンタの値が閾値以上のとき、右眼用映像が全画面スクロールであると判定する右眼用スクロール判定部と、
前記左眼用スクロール判定部から出力される左眼スクロール判定と、前記右眼用スクロール判定部から出力される右眼スクロール判定と、前記左眼用ヒストグラム判定部が出力する左眼スクロールベクトルと、前記右眼用ヒストグラム判定部が出力する右眼スクロールベクトルを入力し、
左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロールベクトルと右眼スクロールベクトルの値に基づいて補正スクロールベクトルを出力し、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロール判定と右眼スクロール判定の少なくとも一方がスクロール状態のときに補正許可信号を出力する左右眼スクロール比較部と、
前記左右眼スクロール比較部から出力される補正許可信号が許可状態のとき、左眼用動きベクトルを補正スクロールベクトルで補正する左眼用ベクトル補正部と、
前記左右眼スクロール比較部から出力される補正許可信号が許可状態のとき、右眼用動きベクトルを補正スクロールベクトルで補正する右眼用ベクトル補正部を備えることを特徴とする立体映像表示装置。 - 左右両眼で観測する画像の視差を利用して立体視させる立体映像表示装置において、
左眼用映像を入力し左眼用動きベクトルを検出し、左眼用動きベクトルの正しさの指標である左眼動きベクトル確度を出力する左眼用動きベクトル検出部と、
前記左眼動きベクトル確度を入力し、画面全体の左眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する左眼用シーンチェンジ判定部と、
右眼用映像を入力し右眼用動きベクトルを検出し、右眼用動きベクトルの正しさの指標である右眼動きベクトル確度を出力する右眼用動きベクトル検出部と、
前記右眼動きベクトル確度を入力し、画面全体の右眼動きベクトル確度が閾値以下の場合、シーンチェンジであると判定する右眼用シーンチェンジ判定部と、
前記左眼シーンチェンジ判定と前記右眼シーンチェンジ判定の結果に基づいて、補正許可信号を出力する左右眼シーンチェンジ比較部と、
前記補正許可信号に基づいて、左眼用動きベクトルを補正する左眼用ベクトル補正部と、
前記補正許可信号に基づいて、右眼用動きベクトルを補正する右眼用ベクトル補正部を備える立体映像表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125585A JP2013165306A (ja) | 2010-06-01 | 2010-06-01 | 立体映像表示装置 |
PCT/JP2011/003050 WO2011152039A1 (ja) | 2010-06-01 | 2011-05-31 | 立体映像処理装置及び立体映像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010125585A JP2013165306A (ja) | 2010-06-01 | 2010-06-01 | 立体映像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013165306A true JP2013165306A (ja) | 2013-08-22 |
Family
ID=45066430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010125585A Pending JP2013165306A (ja) | 2010-06-01 | 2010-06-01 | 立体映像表示装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013165306A (ja) |
WO (1) | WO2011152039A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101966920B1 (ko) * | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
CN109840894B (zh) * | 2019-01-30 | 2021-02-09 | 湖北亿咖通科技有限公司 | 视差图精修方法、装置及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01316092A (ja) * | 1988-06-16 | 1989-12-20 | Matsushita Electric Ind Co Ltd | 立体表示装置 |
JPH02130094A (ja) * | 1988-11-10 | 1990-05-18 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ動画像の動きベクトル情報符号化方式 |
JP3103478B2 (ja) * | 1994-06-02 | 2000-10-30 | キヤノン株式会社 | 複眼撮像装置 |
JP5114274B2 (ja) * | 2008-04-04 | 2013-01-09 | 株式会社日立製作所 | テレビジョン受信機及びそのフレームレート変換方法 |
-
2010
- 2010-06-01 JP JP2010125585A patent/JP2013165306A/ja active Pending
-
2011
- 2011-05-31 WO PCT/JP2011/003050 patent/WO2011152039A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2011152039A1 (ja) | 2011-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2549762B1 (en) | Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor | |
KR101975247B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
KR20140108078A (ko) | 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치 | |
WO2012029371A1 (ja) | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 | |
US8718331B2 (en) | Image detecting apparatus and method thereof | |
KR20130116075A (ko) | 영상 표시 장치 | |
US20110293172A1 (en) | Image processing apparatus, image processing method, and image display apparatus | |
US20130088574A1 (en) | Detective Adjusting Apparatus for Stereoscopic Image and Related Method | |
CN104539935A (zh) | 图像亮度的调节方法及调节装置、显示装置 | |
US20120087571A1 (en) | Method and apparatus for synchronizing 3-dimensional image | |
KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
JP2012079251A (ja) | 画像処理装置及び画像処理システム | |
TWI491244B (zh) | 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置 | |
WO2013031807A1 (ja) | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 | |
JP2013090272A (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2013165306A (ja) | 立体映像表示装置 | |
US9113140B2 (en) | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector | |
JP2012034336A (ja) | 立体画像生成装置及び方法 | |
CN102857772B (zh) | 影像处理方法以及影像处理装置 | |
CN102487447B (zh) | 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置 | |
US9215442B2 (en) | Devices and methods for 3-D image processing | |
JP2012142852A (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
JP2011049799A (ja) | 立体映像処理装置 | |
CN102447919A (zh) | 三维视频图像调整方法及装置 | |
JP2011199382A (ja) | 画像評価装置、方法、及びプログラム |