JP2011066574A - 映像処理装置、映像表示システム、及び映像表示方法 - Google Patents
映像処理装置、映像表示システム、及び映像表示方法 Download PDFInfo
- Publication number
- JP2011066574A JP2011066574A JP2009213994A JP2009213994A JP2011066574A JP 2011066574 A JP2011066574 A JP 2011066574A JP 2009213994 A JP2009213994 A JP 2009213994A JP 2009213994 A JP2009213994 A JP 2009213994A JP 2011066574 A JP2011066574 A JP 2011066574A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- frame group
- image frame
- intermediate image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 45
- 239000011521 glass Substances 0.000 claims description 29
- 230000008054 signal transmission Effects 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Television Systems (AREA)
Abstract
【課題】動きの滑らかな立体映像をユーザに提供することを可能とする映像処理装置、映像表示システム、及び映像表示方法を提供する
【解決手段】同時に撮像した、視差を有する左目用画像と右目用画像を受信し、画像生成部33はこの右目用画像の連続する画像フレームを用いて、それらの画像フレームを撮像した時刻の中間時刻の中間画像を生成する。この中間画像を右目用画像の代わりに左目用画像を交互に表示部37より表示する。この表示のタイミングと同期させて、左目用画像が左目のみに見えるように、また右目用画像が右目のみに見えるようにシャッターメガネ3のシャッターを制御する。こうすることで同時に撮像した画像フレームを異なった時刻に表示する場合よりも、動きの滑らかな立体表示をユーザに提供することが可能となる。
【選択図】図3
【解決手段】同時に撮像した、視差を有する左目用画像と右目用画像を受信し、画像生成部33はこの右目用画像の連続する画像フレームを用いて、それらの画像フレームを撮像した時刻の中間時刻の中間画像を生成する。この中間画像を右目用画像の代わりに左目用画像を交互に表示部37より表示する。この表示のタイミングと同期させて、左目用画像が左目のみに見えるように、また右目用画像が右目のみに見えるようにシャッターメガネ3のシャッターを制御する。こうすることで同時に撮像した画像フレームを異なった時刻に表示する場合よりも、動きの滑らかな立体表示をユーザに提供することが可能となる。
【選択図】図3
Description
本発明は映像処理装置、映像表示システム、及び映像処理方法に関するものであって、特に動きの滑らかな立体映像をユーザに提供することが可能な映像処理装置、映像表示システム、及び映像表示方法に関する。
近年、映像表示技術の発達により、ユーザに立体映像を表示することが可能な立体映像表示システムが提案されている。この立体映像表示システムのなかには、ユーザに立体映像を認識させる方式の一つとして、シャッターメガネを用いた立体映像表示方式がある。
シャッターメガネを用いる立体映像表示方式では、一つの表示装置に互いに視差を有する左目用画像と右目用画像とを異なったタイミングで表示して、シャッターメガネのシャッターの開閉を制御することによって、左目用画像をユーザに左目のみに見せ、右目用画像を右目のみに見せることで、ユーザに表示装置に表示されている映像を立体として認識させている。
また、2次元(平面)映像の画像フレームにディレイ処理を施し、上述のような左目用画像と右目用画像の3次元(立体)映像を生成して、2次元映像を3次元映像に変換する装置が提案されている(特許文献1を参照)。
立体映像を撮影するときに、2台の撮像装置を用いて左目用画像と右目用画像とをそれぞれ同時に撮像する場合がある。このとき、2台の撮像装置が同時刻に画像フレームを撮像し、これらを交互にユーザに表示しようとすると、それぞれの画像フレームは同じタイミングで撮像された画像であるにも関わらず、ユーザに表示するときには右目用と左目用とでは時間差が生じてしまう。このため、表示される左目用画像と右目用画像とでは撮影した実時間とは異なるタイミングで映像が表示され、特に撮像対象が動いている場合、ユーザにはぎこちない立体映像として映ってしまう。
本発明は上記問題に鑑みてなされたものであって、動きの滑らかな立体映像をユーザに提供することを可能とする映像処理装置、映像表示システム、及び映像表示方法を提供する
本発明にかかる映像処理装置は、動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像された同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力する入力手段と、前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の画像フレームの中間画像を生成する中間画像生成手段と、前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とが順次交互に表示されるように表示を制御する表示制御手段と、前記表示制御手段によって制御される表示と同期して、前記中間画像を表示中は一方の箇所に見えるように、前記第2の画像フレーム群を表示中は他方の箇所に見えるように制御する制御手段とを具備することを特徴としている。
また、本発明にかかる映像表示システムは、動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像された同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力する入力手段と、前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の画像フレームの中間画像を生成する中間画像生成手段と、前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示する表示手段と、表示手段によって表示される前記中間画像を一方の箇所に見えるように、前記第2の画像フレーム群を他方の箇所に見えるように出力する出力手段とを具備することを特徴としている。
更に、本発明にかかる映像表示方法は、動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像されたと同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力し、前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の連続する画像フレームの中間画像を生成し、生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示し、表示される前記中間画像を一方の箇所に見えるように、前記第2の画像フレーム群を他方の箇所に見えるように出力することを特徴としている。
本発明にかかる映像処理装置、立体映像表示システム、及び映像処理方法は、右眼用画像(あるいは左眼用画像)がユーザに届く、時系列的にずれたタイミングに存在するべき画像フレームを生成し、そのずれたタイミングで表示することによって、動きの滑らかな立体映像をユーザに提供する映像処理装置、映像表示システム、及び映像表示方法を実現することができる。
以下、本発明の実施の一形態を図面を用いて説明する。
図1は本実施形態における立体映像表示システム1の概観の一例を示す図である。図1には立体映像表示システム1、映像表示装置2、およびシャッターメガネ3が示されている。
立体映像表示システム1は映像表示装置2及びシャッターメガネ3によって構成される。ユーザはシャッターメガネ3を装着して、映像表示装置2に表示されている映像を見ることで、この映像を立体映像として認識することができる。
人間は通常、物体を位置の異なる左目と右目とのそれぞれで見ており、この左目と右目とで見る像にはそれぞれ視差が存在する。この視差の存在する左目で見る像と右目で見る像とを脳内で合成することによって人間は見ている物体を立体として認識することができる。よって、視差を有する左目用の画像と右目用の画像をそれぞれの目で見ることによって、ユーザはそれらの画像を脳内で合成し、立体として捉えることが可能となる。
映像表示装置2は例えばデジタルテレビであって、互いに視差を有する左目用画像と右目用画像を交互に表示することによって、シャッターメガネ3を装着したユーザに立体映像を表示することが可能である。また、映像表示装置2は受信する立体映像表示用の画像信号に基づいて新たな画像フレームを生成する機能も有している。
シャッターメガネ3は左目用レンズ4および右目用レンズ5を有している。この左目用レンズ4及び右目用レンズ5にはそれぞれ遮光可能なシャッターが設けられており、映像表示装置2から受信するシャッターの開閉信号にもとづいて、それぞれのシャッターを異なるタイミングで開閉してユーザに立体映像を提供する。例えば、表示装置2に左目用画像が表示されているときには、シャッターメガネ3は表示装置2からの開閉信号に基づいて右目用レンズ5のシャッターを閉状態とし、ユーザの左目(一方の箇所)のみに左目用画像を見せる。また右目用画像が表示されているときには左目用レンズ4のシャッターを閉状態とし、ユーザの右目のみ(他方の箇所)に右目用画像を見せる。
図2は本実施形態における左目用画像と右目用画像との撮影システムの一例を示す図である。図2には物体21、左目用撮像装置22、右目用撮像装置23、多重化装置24、送信装置25、及び画像フレーム201〜204が示されている。
物体21は左目用撮像装置22および右目用撮像装置23の撮像対象であり、図2中矢印方向(右方向)に移動する移動体である。
左目用撮像装置22および右目用撮像装置23は物体21を撮像する撮像装置であり、これらはそれぞれ左目用画像と右目用画像を撮像する。また、左目用撮像装置22および右目用撮像装置23の画像の撮影時刻は同タイミングである(同時刻に画像の撮像を行う)。
画像フレーム201〜204は左目用撮像装置22および右目用撮像装置23によって撮像される画像フレームである。画像フレーム(L1)201、画像フレーム(R1)202は時刻T1において左目用撮像装置22、右目用撮像装置23がそれぞれ撮像した画像フレームであり、画像フレーム(L2)203、画像フレーム(R2)203は時刻T2において左目用撮像装置22、右目用撮像装置23がそれぞれ撮像した画像フレームである。左目用撮像装置22および右目用撮像装置23によって撮像されたこれらの画像フレーム201〜204はそれぞれ多重化装置24に送信される。
多重化装置24は左目用撮像装置22および右目用撮像装置23よりパラレルに受信する左目用の画像フレームと右目用の画像フレームを連続したシリアルなデータに多重化して、送信装置25に対して送信する機能を有している。本実施形態において多重化装置24は先に撮像した画像フレームより時系列的に順に送信するように画像フレームの多重化を行うが、同時刻に撮像された画像フレームは左目用の画像フレームを先、右目用の画像フレームを後となるように並べて多重化し、送信装置25に対して送信する。
送信装置25は受信した画像フレームのデジタルデータをエンコードし、放送信号として受信装置に対して送信する。
図3は本実施形態における立体映像表示システム1の内部構成の一例を示すブロック図である。
図3に示されるように、映像表示装置2はチューナ31、L/R振分部32、画像生成部33、L/R多重化部34、表示制御部35、L/R開閉信号送信部36、及び表示部37を有しており、前記送信装置25が送信した放送信号を受信し、ユーザに立体映像を提供することができる。
チューナ31は、アンテナによって受信した図2に示す送信装置25より送信される放送信号をデコード処理し、映像表示装置2で表示可能な画像信号へ変換して映像表示装置2内に画像信号を入力する入力手段としての機能を有している。
L/R振分部32はチューナ31によって映像表示装置2で表示可能な形式へ変換された、映像信号を左目用画像と右目用画像へと振り分ける機能を有している。L/R振分部32は受信する映像信号より左目用画像と右目用画像とを分離し、左目用画像はL/R多重化部34へ、右目用画像は画像生成部33へと送信する。
画像生成部33はL/R振分部32より右目用画像を受信し、受信した右目用画像の連続する画像フレームに基づいて、それぞれの画像フレームが撮像された時刻の中間時刻の新たな右目用画像を生成する。この画像生成処理に関しては図6を用いて後述する。画像生成部33は新たに右目用画像を生成し、L/R振分部32より受信した右目用画像に代えてL/R多重化部34に送信する機能を有している。
L/R多重化部34はL/R振分部32より受信する左目用画像と、画像生成部33より受信する新たに生成された右目用画像とを並べて多重化する機能を有している。また、L/R多重化部34多重化した画像データを表示制御部35に送信する。
表示制御部35はL/R多重化部34より受信する画像データを表示部37に表示させる機能を有している。このとき、表示制御部35は画像データ中の画像フレームの表示時間の制御を行う。一つの画像フレームを表示する時間は、左目用撮像装置22および右目用撮像装置23においてそれぞれの画像フレームの撮像を行った周期の半分の時間となる。例えば、左目用撮像装置22および右目用撮像装置23がそれぞれ60分の1秒周期で連続して撮像していとすると、映像表示装置2は120分の1秒毎に表示している画像フレームを切り替えることとなる。また、表示制御部35はこの画像フレームの切り替えに同期してシャッターメガネ3がシャッターを開閉するように、シャッターメガネ3の開閉に関する信号をL/R開閉信号送信部36に対して送信する。
L/R開閉信号送信部36は上記のシャッターメガネ3の開閉に関する信号を表示制御部35より受信すると、シャッターメガネ3に対して赤外線によってシャッターへの開閉を指示する開閉信号を送信する信号送信手段としての機能を有している。本実施形態では赤外線によって開閉信号を送信すると例示するが、これに限定されず、開閉信号を送信できれば他の無線送信であってもよい。また、映像表示装置2とシャッターメガネ3が信号の送受信可能な有線ケーブルによって接続されていてもよい。
シャッターメガネ3はL/R開閉信号送信部36より受信する開閉信号に基づいてシャッターの開閉を行う。
ここでの表示部37に表示される表示の切り替え、シャッターメガネ3シャッターの開閉の周期に関しては図4を用いて説明する。
図4は本実施形態における映像表示装置2に表示される画像フレームとシャッターメガネ3のシャッターの開閉周期の一例を示す図である。
本実施形態においては画像データ中のそれぞれの画像フレームを120分の1秒毎に切り替える(それぞれの画像フレームを120分の1秒ずつ表示する)。
本実施形態ではシャッターメガネ3の左右それぞれのレンズに設けられたシャッターは開閉信号1を受信すると開き、開閉信号0を受信すると閉じるものとする。L/R開閉信号送信部36は赤外線によってこれらの開閉信号を送信し、シャッターメガネ3の左右のレンズのシャッターの開閉状態を制御する制御手段として機能する。上述のように映像表示装置2は表示部37に表示する画像フレームの切り替えに同期させて、L/R開閉信号送信部36よりシャッターメガネ3に開閉信号を送信する。映像表示装置2は表示部37に左目用画像が表示されているときは左目用レンズ4のシャッターの開閉信号を1、右目用レンズ5のシャッターの開閉信号を0として、ユーザの左目のみに左目用画像を視認させるようにする。また、右目用画像が表示されているときは図4に示すように映像表示装置2はこれらの開閉信号の値を逆として出力し、ユーザの右目のみに右目用画像を視認させるようにする。
図5は本実施形態における画像生成部33によって画像生成処理を行わなかった場合のユーザの視認する画像フレームの一例を示す図である。
図5には左目用レンズ4からユーザが視認できる画像、右目用レンズ5からユーザが視認できる画像、およびこれらを合わせてユーザが視認できる画像が左より順に縦方向に時系列に示す。図5に示す図は上が古く、下が新しい。また、斜線で示される枠はシャッターが閉じている状態でユーザは何も視認することができない状態である。
左目用画像と右目用画像が交互に映像表示装置2の表示部37に表示され、ユーザはこの左目用画像を左目で視認し右目用画像を右目で視認する。これらの左目用画像と右目用画像とをあわせて、最終的にユーザが認識する画像は図5右のユーザが視認できる画像となる。これらの左目用画像と右目用画像とは視差を有するため、ユーザは映像を立体として認識することができる。しかし、図5中のユーザが視認できる画像における破線で囲まれた枠内の画像フレームは同時刻に撮像されたものとなっており、ユーザは同時間に撮像した画像フレームを異なる時間に視認することとなる。そのため、ユーザは撮像周期の半分の時間分ずつ遅れた右目用画像を見ることとなり、このズレが動画の動きに不自然さを与え、動画は滑らかでなく、ぎこちないものとなってしまう。
図6は本実施形態における画像生成部33による画像生成処理の一例を示す図である。
本実施形態において画像生成部33は受信した右目用画像に画像生成処理を行う。ここでの画像生成処理とは2枚の画像フレームを比較して、画像フレーム内の動きベクトルを求め、求めた動きベクトルに基づいてこの2枚の画像フレームの撮像時刻の中間の時点における画像フレームを生成する処理である。この画像生成処理(フレーム補完処理)に関しては、例えば公開特許2008−067222号公報に詳細な説明がある。
画像生成部33は時刻T1に撮像した画像フレーム(R1)202と、時刻T2に撮像した画像フレーム(R2)204を用いて画像生成処理を行い、中間画像である画像フレーム(R1’)61を生成する。また同様に画像生成部33は時刻T2に撮像した画像フレーム(R2)204と、時刻T3に撮像した画像フレーム(R3)206を用いて画像生成処理を行い、中間画像である画像フレーム(R2’)62を生成する。このように画像生成部33は入力される連続する画像フレームを用いて中間画像の画像フレームを生成する機能を有している。この中間画像の画像フレームは、参照された2枚の画像フレームの間の時間に撮像された画像とほぼ同様になっていることが期待される。よって、画像フレーム(R1’)61を時刻T1と時刻T2の中間の時刻に右目用撮像装置23によって撮像された画像フレームとして扱う。
つまり画像生成部33は生成した画像フレーム(R1’)61を画像フレーム(R1)202の代わりに映像制御部34に対して送信する。画像生成部33は受信する右目用画像の画像フレームに対して順次同様の処理を行って、映像制御部34に対して送信する。
このように画像生成部33による画像フレームの差し替えが行われた後に、ユーザが視認する画像を図7を用いて後述する。
図7は本実施形態における画像生成部33によって画像生成処理を行なった場合のユーザの視認する画像フレームの一例を示す図である。
図7に示すように左目用レンズ4より視認できる画像は変化していないが、右目用レンズ5より視認できる画像は画像生成部33によって差し替えられている。
画像生成部33によって画像生成処理(および生成された画像の送信)が行われた後は、例えばユーザは時刻T1に撮像された画像フレーム(L1)201と時刻T2に撮像された画像フレーム(L2)202との間で、画像生成部33によって生成された、時刻T1と時刻T2の中間時刻に撮像される画像フレームとほぼ同様となっていることの期待される画像フレーム(R1’)61を見ることとなる。そのため画像生成部33による画像生成処理が行われなかった場合の様に同時刻に撮影された、画像を異なる時刻に見ることがなくなり、更に、表示される時刻に対応する時系列の画像とほぼ同様であると期待される画像を表示することができるため、画像生成処理を行わなかった場合よりもユーザは動きの滑らかな立体映像を見ることができる。
図8は本実施形態における映像表示装置2の行う処理の処理フローの一例を示す図である。
まず、映像表示装置2はアンテナによって右目用画像及び左目用画像の画像フレームが含まれる放送波を受信する(S81)。
次に、映像表示装置2はチューナ3によって受信した放送波をデコードして、デコードした受信信号より画像フレームの画像信号を抽出する。L/R振分部32は抽出された画像フレームを受信して、画像フレームを左目用の画像フレームと右目用の画像フレームとに振り分ける(S82)。
L/R振分部32は振り分けた画像フレームのうち、左目用の画像フレームを多重化部に送信し、右目用の画像フレームを画像生成部33に送信する。画像生成部33は受信した右目用の画像フレームを用いて画像生成処理を行い、ある時点の右目用画像と、その右目用画像と連続した右目用画像との中間時点での中間画像を生成し、生成した画像フレームを受信した右目用画像に代えてL/R多重化部34に送信する(S83)。
L/R多重化部34はL/R振分部32より受信する左目用の画像フレームと、画像生成部33によって生成された画像フレームとを多重化し(S84)、表示制御部35に多重化した画像データを送信する。
表示制御部35は受信した画像データを順に表示部37に表示させる(S85)。またこのときL/R開閉信号送信部36は表示部37の左目用画像と右目用画像の表示に同期するように、シャッターメガネ3に開閉信号を送信する。するとユーザはシャッターメガネ3の左右のレンズのシャッターの開閉によって、左目用画像を左目のみで、画像生成部33で生成された右目用画像を右目のみで見ることができ、動きの滑らかな立体映像を視聴することが可能となる。
以上で一連の処理フローは終了となる。
本実施形態においては、映像の映像表示装置2への入力は放送波によって行われるものを例に挙げて説明しているがこれに限定されず、例えばDVD(Digital Versatile Disc)等の記憶媒体によって映像を入力するとしてもよい。
また、本実施形態においては右目用画像に画像生成処理を行うように例示したが、これに限定されず、右目用画像と左目用画像とに逆の処理を行ったとしてもよく、その場合も動きの滑らかな立体映像を視聴することが可能となる。
本実施形態における立体映像表示システムは、表示する映像の画像フレームのうちの時系列的に不自然な箇所の画像フレームを、自然な画像フレームに置き換えて表示することによって、ユーザに動きの滑らかな立体映像を提供することが可能となる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1…立体映像表示システム、2…映像表示装置、3…シャッターメガネ、4…左目用レンズ、5…右目用レンズ、21…物体、22…左目用撮像装置、23…右目用撮像装置、24…多重化装置、25…送信装置、201〜206…画像フレーム、31…チューナ、32…L/R振分部、33…画像生成部、34…L/R多重化部、35…表示制御部、36…L/R開閉信号送信部、37…表示部、61、62…画像フレーム
Claims (9)
- 動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像された同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力する入力手段と、
前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の画像フレームの中間画像を生成する中間画像生成手段と、
前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とが順次交互に表示されるように表示を制御する表示制御手段と、
前記表示制御手段によって制御される表示と同期して、前記中間画像を表示中は一方の箇所に見えるように、前記第2の画像フレーム群を表示中は他方の箇所に見えるように制御する制御手段と
を具備することを特徴とする映像処理装置。 - 前記中間画像生成手段は、連続する前記前後の画像フレーム内の動きベクトルを求め、求めた前記動きベクトルに基づいて前記中間画像を生成すること
を特徴とする請求項1記載の映像処理装置。 - 前記映像処理装置はさらに、ユーザが装着したときに右眼及び左眼に入射する映像をそれぞれ遮ることができるシャッターを有するシャッターメガネに信号送信可能に接続されており、
前記制御手段は、
前記シャッターメガネに対して、前記表示制御手段によって前記中間画像が表示されているとき一方の眼に対応付けられた一方のシャッターを閉じ、
前記第2のフレーム群が表示されているときに、他方の眼に対応付けられた他方のシャッターを閉じるように開閉信号を送信する信号送信手段を有する
ことを特徴とする請求項1記載の映像処理装置。 - 動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像された同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力する入力手段と、
前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の画像フレームの中間画像を生成する中間画像生成手段と、
前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示する表示手段と、
表示手段によって表示される前記中間画像を一方の箇所に見えるように、前記第2の画像フレーム群を他方の箇所に見えるように出力する出力手段と
を具備することを特徴とする映像表示システム。 - 前記中間画像生成手段は、連続する前記前後の画像フレーム内の動きベクトルを求め、求めた前記動きベクトルに基づいて前記中間画像を生成すること
を特徴とする請求項4記載の映像表示システム。 - 前記出力手段は、
前記表示手段が前記中間画像を表示しているときに一方の眼に対応付けられたシャッターを閉じ、
前記第2のフレーム群を表示しているときに、他方の目に対応付けられたシャッターを閉じるシャッターメガネであること
を特徴とする請求項4記載の映像表示システム。 - 動画像として撮像対象を撮像した第1の画像フレーム群と、前記第1の画像フレーム群が撮像されたと同じタイミングで撮像対象を撮像した第2の画像フレーム群とを入力し、
前記第1の画像フレーム群のうちの連続する前後の画像フレームを用いて、前記前後の連続する画像フレームの中間画像を生成し、
生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示し、
表示される前記中間画像を一方の箇所に見えるように、前記第2の画像フレーム群を他方の箇所に見えるように出力する
ことを特徴とする映像表示方法。 - 前記中間画像を生成するとき、連続する前記前記画像フレーム内の動きベクトルを求め、求めた前記動きベクトルに基づいて前記中間画像を生成すること
を特徴とする請求項7記載の映像表示方法。 - 前記中間画像を表示しているときに、ユーザが装着したときに右眼及び左眼に入射する映像をそれぞれ遮ることができるシャッターを有するシャッターメガネの一方の眼に対応付けられたシャッターを閉じ、
前記第2のフレーム群を表示しているときに、前記シャッターメガネの他方の眼に対応付けられたシャッターを閉じることで、表示される前記中間画像を前記他方の眼に、前記第2の画像フレーム群を前記一方の眼に出力すること
を特徴とする請求項7記載の映像表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009213994A JP4660618B1 (ja) | 2009-09-16 | 2009-09-16 | 映像処理装置、映像表示システム、及び映像表示方法 |
US12/884,029 US20110063423A1 (en) | 2009-09-16 | 2010-09-16 | Video processor, video displaying system and video displaying method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009213994A JP4660618B1 (ja) | 2009-09-16 | 2009-09-16 | 映像処理装置、映像表示システム、及び映像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4660618B1 JP4660618B1 (ja) | 2011-03-30 |
JP2011066574A true JP2011066574A (ja) | 2011-03-31 |
Family
ID=43730147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009213994A Expired - Fee Related JP4660618B1 (ja) | 2009-09-16 | 2009-09-16 | 映像処理装置、映像表示システム、及び映像表示方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110063423A1 (ja) |
JP (1) | JP4660618B1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027307A1 (ja) * | 2011-08-25 | 2013-02-28 | パナソニック株式会社 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
JP2014527332A (ja) * | 2011-07-20 | 2014-10-09 | インスティテュート フューア ランドファンクテクニック ゲーエムベーハー | 3d画像を表示するための表示装置 |
JP2019159593A (ja) * | 2018-03-09 | 2019-09-19 | キヤノン株式会社 | 画像検索システム、画像検索装置、画像検索方法、及びプログラム |
KR20200071521A (ko) * | 2018-12-11 | 2020-06-19 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231275A (ja) * | 2011-04-26 | 2012-11-22 | Sony Corp | 画像処理装置及び画像処理方法、表示システム、映像生成装置、並びに再生装置 |
US9113140B2 (en) | 2011-08-25 | 2015-08-18 | Panasonic Intellectual Property Management Co., Ltd. | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector |
GB2494707B (en) | 2011-09-19 | 2014-10-08 | Sony Comp Entertainment Europe | Generation and display of stereoscopic images |
KR102582841B1 (ko) * | 2016-07-07 | 2023-09-27 | 삼성디스플레이 주식회사 | 표시 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01316092A (ja) * | 1988-06-16 | 1989-12-20 | Matsushita Electric Ind Co Ltd | 立体表示装置 |
JP2005124138A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 動画生成装置、方法及びプログラム |
JP2010011184A (ja) * | 2008-06-27 | 2010-01-14 | Toshiba Corp | 映像信号処理装置及びテレビジョン受信装置及びその制御方法 |
JP2010034704A (ja) * | 2008-07-25 | 2010-02-12 | Sony Corp | 再生装置及び再生方法 |
JP2010061105A (ja) * | 2008-08-07 | 2010-03-18 | Mitsubishi Electric Corp | 画像表示装置および方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
KR100270804B1 (ko) * | 1998-02-18 | 2000-11-01 | 박남은 | 시알티모니터를사용하는컴퓨터시스템에서입체영상구현을위한입체영상구현장치 |
US6906687B2 (en) * | 2000-07-31 | 2005-06-14 | Texas Instruments Incorporated | Digital formatter for 3-dimensional display applications |
-
2009
- 2009-09-16 JP JP2009213994A patent/JP4660618B1/ja not_active Expired - Fee Related
-
2010
- 2010-09-16 US US12/884,029 patent/US20110063423A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01316092A (ja) * | 1988-06-16 | 1989-12-20 | Matsushita Electric Ind Co Ltd | 立体表示装置 |
JP2005124138A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 動画生成装置、方法及びプログラム |
JP2010011184A (ja) * | 2008-06-27 | 2010-01-14 | Toshiba Corp | 映像信号処理装置及びテレビジョン受信装置及びその制御方法 |
JP2010034704A (ja) * | 2008-07-25 | 2010-02-12 | Sony Corp | 再生装置及び再生方法 |
JP2010061105A (ja) * | 2008-08-07 | 2010-03-18 | Mitsubishi Electric Corp | 画像表示装置および方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014527332A (ja) * | 2011-07-20 | 2014-10-09 | インスティテュート フューア ランドファンクテクニック ゲーエムベーハー | 3d画像を表示するための表示装置 |
WO2013027307A1 (ja) * | 2011-08-25 | 2013-02-28 | パナソニック株式会社 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
JP5490252B2 (ja) * | 2011-08-25 | 2014-05-14 | パナソニック株式会社 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
JP2019159593A (ja) * | 2018-03-09 | 2019-09-19 | キヤノン株式会社 | 画像検索システム、画像検索装置、画像検索方法、及びプログラム |
JP7102173B2 (ja) | 2018-03-09 | 2022-07-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR20200071521A (ko) * | 2018-12-11 | 2020-06-19 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
KR102629441B1 (ko) * | 2018-12-11 | 2024-01-24 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
Also Published As
Publication number | Publication date |
---|---|
JP4660618B1 (ja) | 2011-03-30 |
US20110063423A1 (en) | 2011-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4660618B1 (ja) | 映像処理装置、映像表示システム、及び映像表示方法 | |
JP2011139222A (ja) | 立体画像処理装置、tv受信機及び立体画像処理方法 | |
JP5259519B2 (ja) | デジタル放送受信機、送信機及び端末装置 | |
US20190356841A1 (en) | Intelligent interface for interchangeable sensors | |
KR20100002035A (ko) | 3차원 비디오 영상 처리 방법 및 장치 | |
JP5874192B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2011089982A1 (ja) | 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム | |
CN101047872B (zh) | 用于电视的立体音视频装置 | |
CN102821248A (zh) | 成像装置和成像方法 | |
JP2001069530A (ja) | 立体映像高能率符号化装置 | |
JP5347987B2 (ja) | 映像処理装置 | |
JP2012138655A (ja) | 画像処理装置及び画像処理方法 | |
KR100703713B1 (ko) | 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치 | |
KR20190053565A (ko) | 스티칭 장치를 이용한 생방송 스티칭 방법 | |
JP2011087293A (ja) | 映像提供方法、そしてこれを用いた映像提供装置、ディスプレイ装置及び映像提供システム | |
JP2006129225A (ja) | 立体映像表示装置及び立体映像表示方法 | |
KR101830768B1 (ko) | 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치 | |
WO2012127539A1 (ja) | 映像変換装置 | |
JP3129784B2 (ja) | 立体映像高能率符号化装置 | |
KR100868244B1 (ko) | 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩 | |
KR100189487B1 (ko) | 디지탈 입체 동영상 라이브 서빙 장치 | |
KR100974351B1 (ko) | 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법 | |
JP2012114825A (ja) | 撮像装置、撮像システム及び撮像方法 | |
WO2013080555A1 (ja) | 立体視映像データ生成装置及び立体視映像再生装置 | |
JPS63177689A (ja) | 立体テレビ画像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |