JP2013542622A - 2d−3dユーザインターフェイスコンテンツデータ変換 - Google Patents
2d−3dユーザインターフェイスコンテンツデータ変換 Download PDFInfo
- Publication number
- JP2013542622A JP2013542622A JP2013523181A JP2013523181A JP2013542622A JP 2013542622 A JP2013542622 A JP 2013542622A JP 2013523181 A JP2013523181 A JP 2013523181A JP 2013523181 A JP2013523181 A JP 2013523181A JP 2013542622 A JP2013542622 A JP 2013542622A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- content data
- interface content
- data
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 152
- 238000006073 displacement reaction Methods 0.000 claims abstract description 94
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000000926 separation method Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 46
- 230000009467 reduction Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 92
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
3Dテレビにおいて2次元(2D)コンテンツデータを3次元(3D)コンテンツデータに変換する方法が、2D−3Dコンテンツ変換モジュールを介して、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取るステップを含む。2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定する。この3Dビデオコンテンツを3D TVのディスプレイ上に表示する。受け取った2Dユーザインターフェイスコンテンツデータ及び特定した変位に基づいて、ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成する。他の実施形態は本要約書で説明した特徴から逸脱する可能性があるので、本要約書を限定的なものと見なすべきではない。
【選択図】図3
【選択図】図3
Description
〔関連出願との相互参照〕
本出願は、いずれもJean−Pierre Guillouに付与された、2009年2月19日に出願された米国仮特許出願第61/153,720号、及び2009年10月29日出願された米国特許出願第12/589,837号に関連するものであり、これらの特許出願は引用により本明細書に組み入れられる。
本出願は、いずれもJean−Pierre Guillouに付与された、2009年2月19日に出願された米国仮特許出願第61/153,720号、及び2009年10月29日出願された米国特許出願第12/589,837号に関連するものであり、これらの特許出願は引用により本明細書に組み入れられる。
〔著作権及び商標表示〕
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。商標は、これらのそれぞれの所有者の所有物である。
本特許文書の開示部分は、著作権保護の対象内容を含む。著作権の権利所有者は、合衆国特許商標庁の特許ファイル又は記録内に表されるとおりに特許文書又は特許開示を複製することには異議を唱えないが、それ以外は全ての著作権を留保する。商標は、これらのそれぞれの所有者の所有物である。
テレビのディスプレイなどのディスプレイ上で、ユーザインターフェイス(UI)がビジュアルコンテンツと相互作用するようにする方法がいくつか知られている。例えば、視聴者がUIの下にあるコンテンツを見ることができるようにUIを若干透明にすることができ、或いは画面の一部を覆うウィンドウ又はボックス内にUIを配置することができる。一般に、UIは、存在時には透明領域を有し、これによりユーザは、UI及びコンテンツを両方とも見ることができるようになる。しかしながら、出願人が本出願の譲受人と同一である上述のGuillouに付与された特許出願を除き、テレビのディスプレイなどが立体コンテンツを表示している時にUI又はその他の2次元コンテンツをどう取り扱うかに関する問題は、分かる程度まで研究されていない。
添付図面と併せて行う以下の詳細な説明を参照することにより、構成及び動作方法を示すいくつかの例示的な実施形態、並びに目的及び利点を最も良く理解することができる。
本発明は、多くの異なる形の実施形態が可能であるが、このような実施形態の開示は原理の一例として見なすべきであり、図示及び説明する特定の実施形態に本発明を限定することを意図するものではないという理解の下、図面に特定の実施形態を示し本明細書で詳細に説明する。以下の説明では、図面の複数の図における同様の、類似の又は一致する部分については同じ参照番号を使用して説明する。
本明細書で使用する「1つの(英文不定冠詞)」という用語は、1又は1よりも多くの、と定義される。本明細書で使用する「複数の」という用語は、2又は2よりも多い、と定義される。本明細書で使用する「別の」という用語は、少なくとも第2の又はそれ以上の、と定義される。本明細書で使用する「含む(including)」及び/又は「有する(having)」という用語は、「備える(comprising)」(すなわち包括的な用語)と定義される。本明細書で使用する「結合される」という用語は、「接続される」と定義されるが、必ずしも直接的な、また必ずしも機械的な接続ではない。本明細書で使用する「プログラム」又は「コンピュータプログラム」という用語又は類似の用語は、コンピュータシステム上での実行を意図された一連の命令であると定義される。「プログラム」又は「コンピュータプログラム」は、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ/ダイナミックロードライブラリ、及び/又は1又はそれ以上のプロセッサを有するコンピュータシステム上で実行するように設計されたその他の一連の命令におけるサブルーチン、関数、手順、オブジェクト方法、オブジェクト実装を含むことができる。
本明細書で使用する「プログラム」という用語は、第2の文脈(上記の定義を第1の文脈とする)で使用することもできる。第2の文脈では、この用語は「テレビ番組」という意味で使用される。この文脈では、この用語は、単一のテレビ番組として解釈されるような、及び電子番組ガイド(EPG)内に単一のテレビ番組として記録されるようなあらゆる一貫した一連のオーディオビデオコンテンツを意味するために使用され、このコンテンツが、映画、スポーツイベント、連続番組の一部、ニュース放送などのいずれであるかは関係ない。この用語は、電子番組ガイド内に番組として記録できないコマーシャルスポット及びその他の番組様のコンテンツを含むと解釈することもできる。
本明細書を通じて、「1つの実施形態」、「いくつかの実施形態」、「ある実施形態」、「ある例」、「ある実装」、又は同様の用語への言及は、実施形態又は例又は実装に関連して説明する特定の特徴、構造又は特性が、本発明の少なくとも1つの実施形態、例又は実装に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態、例又は実装について言及するものではない。さらに、1又はそれ以上の実施形態、例、及び実装において、これらの特定の特徴、構造又は特性をあらゆる好適な態様で制限なく組み合わせることもできる。
本明細書で使用する「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか1つ又はあらゆる組み合わせを意味する。従って、「A、B又はC」は、「A、B、C、AとB、AとC、BとC、AとBとC、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組み合わせが何らかの点で本質的に互いに相容れない場合にのみ生じる。
本明細書で使用する3D又は3次元という用語は、立体的な3次元視覚体験に適用することを意図したものである。このような体験は、各々の目に合わせて個別に偏光した、又は各々の目に合わせてカラーフィルタ処理した画像の使用を含む複数の方法で生み出すことができる。特に、本発明の文脈では、左目画像及び右目画像を個別に生成して表示することにより、3次元視覚体験が生み出される。このような画像は、各々の目に対して別個の画像を示すディスプレイ装置上で見られ、この場合、各々の目によって見られる画像を交互に同期して遮断及び通過させるような能動的技術を使用して左目画像と右目画像の分離を形成し、或いは偏光眼鏡又は色付き眼鏡などの受動的な技術を使用して左目画像と右目画像を分離し、これにより立体的な3次元視覚体験の錯覚を生み出す。
本明細書で使用する「像差(disparity)」という用語は、一方(例えば左目)の立体画像における投影点の、他方(例えば右目、又は逆でもよい)の立体画像に対する変位を表す。クローズドキャプションの場合、像差は、左目視野と右目視野の間の水平の又はその他の変位でしかあり得ない。グラフィックの場合、像差は、画素ごとに異なり得る。ステレオカメラの組によってではなく計算によって像差を生成する場合、左視野と右視野をレンダリングする際に仮想カメラの水平の又はその他の変位が計算されるはずであると仮定することができる。いずれにせよ、像差又は像差データという用語は、各画素の1方向における単一の変位量又は変位したデータの組、或いは各画素を他の視野の画素とどれほど変位させるべきかを表す関係を意味することができる。
像差データは、視差(parallax)と呼ぶこともできる。視差とは、オブジェクトが異なる場所へ移動した時の、又は他のオブジェクトと比較して視聴者に近づいた時のオブジェクトの遠近感の差を表すものである。従って、本説明においては、他の表示されるオブジェクトに対して画像が配置された時、或いは画像が動いた時又はサイズ変更された時に、それぞれ視差を用いて画像の遠近感を設定及び調整することができる。さらに、視差は、オブジェクトが視聴者の視点の方に近づく場合には「マイナス」と見なされ、オブジェクトが3D表示空間において視聴者の視点から離れて動く場合には「プラス」と見なされる。
3Dテレビでは、現在のユーザインターフェイスのグラフィック面、クローズドキャプションの表示面及びその他のグラフィック層に深度パラメータが備わっていない。従って、これらは2次元(2D)画像のように見える。これは、3Dビデオ平面とは異なるものであり、ユーザによっては不快に見える原因となる場合もある。本発明の実施形態による実装例では、ユーザインターフェイスのグラフィック面、クローズドキャプションの表示面及びその他のグラフィック層とともに(像差データ及び/又は視差データなどの)深度パラメータが配信される。2Dユーザインターフェイスのグラフィック面とは異なり、ユーザインターフェイスのグラフィック面(表示)が2つ構築又は配信される。2Dグラフィックユーザインターフェイス又はクローズドキャプションの場合、通常の2Dグラフィックを配信することに加え、いくぶん水平方向又はその他の方向に変位した位置にこのグラフィックの別のコピーがレンダリングされる。3Dグラフィックユーザインターフェイスの場合、異なるカメラ位置における別のグラフィック表示がレンダリングされる。このようにして、ユーザインターフェイスのグラフィック(2Dグラフィック又は3Dグラフィックのいずれか)及びキャプションの3D効果を実現することができる。2Dユーザインターフェイス及びキャプションでは、2D空間で構築が行われる。
2つの視野の像差を変化させることにより、ユーザインターフェイス及びキャプションを3D空間で構築することができる。最終的に、グラフィック又はキャプションに関連する(像差などの)深度パラメータをユーザが調整できるようにすることにより、ユーザインターフェイス及びキャプションとのユーザインタラクションを3D空間に拡張することができる。これにより、画面上にレンダリングされる3Dピクチャ内で、かつ画面上の3Dピクチャとは無関係に、グラフィック又はキャプションを前方又は後方に知覚的に動かせるようになる。ユーザは、ディスプレイ画面のあちこちにキャプションウィンドウを動かすこともできる。例えば、ユーザは、作成した3Dユーザインターフェイス要素を3D空間内でディスプレイ画面の中心近く及びその方向へ動かしてコンテンツを視聴し、その後このインターフェイス要素を遠ざけ隅の方へ動かして、ディスプレイ上に表示された3Dビデオコンテンツを視聴することができる。画素間補間法などの画素修正技術を使用することにより、生成した3Dコンテンツのサイズを増やすこともできる。画素コンテンツ情報を減らすための同様の処理により、サイズを減少させることもできる。テキストの場合、より大きなフォント及びより小さなフォントを使用して、生成した3Dコンテンツのサイズをそれぞれ増加及び減少させることができる。このような状況では、ユーザが、ユーザインターフェイス要素を完全に閉じるのではなく、すぐにアクセスできるように開いたままにしておくことができる。従って、本明細書で説明する技術は、より柔軟で楽しい消費者体験を提供する。
像差データの生成又は配信とともに、ユーザインターフェイスグラフィック及びキャプションの表示を2つ配信又は作成することにより、深度知覚を提供又は形成することができる。この深度知覚は、ユーザが2つの表示間の像差を変更できるようにすること、又は3Dグラフィック内のカメラ位置を変更することによって調整することができ、これによりユーザインターフェイス及びキャプションを3D空間で作成できるようになり、また消費者がこのユーザインターフェイスグラフィック及びキャプションと3D空間でやりとりできるようになる。このような技術を、ユーザインターフェイス、キャプションレンダリング、サブタイトル、及びその他のグラフィック面とともに使用することができる。これらの技術は、ケーブル、衛星及びメディアプレーヤ(DVDなど)などの、デジタル映画システム、テレビ及びセットトップボックスで使用することができる。
従って、本発明の実施形態によるいくつかの実装では、方法が、グラフィックユーザインターフェイス(GUI)及び3Dテレビ(3D TV)のクローズドキャプション表示に深度知覚を与える。
図1及び図2に、いずれかの好適な設計の立体表示パネル100を上から見た実装例を示す。立体表示パネル100は、3D表示パネルと呼ぶこともできると理解されたい。視聴者の位置104は、立体表示パネル100の手前の位置を表す。この図は、立体技術を利用することにより、位置104に存在する視聴者にとってオブジェクトが、オブジェクト108のように立体表示パネル100の面の手前に異なる深度−ve(例えば、負の視差)で位置するように見えたり、又はオブジェクト112のように立体表示パネル100の背後に異なる深度+ve(例えば、正の視差)で位置するように見えたりするような錯覚を生み出せることを示している。視聴者にとっては、オブジェクトが、オブジェクト116のように立体表示パネル100の面をまたいで見えることもある。図1から分かるように、オブジェクト108は、オブジェクト116に比べてまるで立体表示パネル100の手前に表示されているかのようにより大きく及びより近く見え、オブジェクト112に比べるとさらに前方に見える。この遠近感の変化は、上述したように、それぞれのオブジェクトの像差、それぞれのオブジェクトの視差、及びそれぞれのオブジェクトのサイズを調整することによってもたらすことができる。このようにして、位置104における視聴者からのオブジェクトの見掛けの距離、及びこれらのオブジェクトの他のオブジェクトに対する見掛けの遠近感の両方を変化させることができ、またオブジェクトが、−veスケール上のある位置から+veスケール上のある位置までの連続体に沿った距離に及ぶ深度を有するように見せることもできる。或いは、像差及び視差のみを調整することによりオブジェクトの深度を変化させて、位置104における視聴者からのオブジェクトの見掛けの距離を、サイズ調整を伴わずに調整することもできる。図示のスケールでは、+veが、視聴者の位置104に対する立体表示パネル100の面の背後の空間を表し、−veが、視聴者の位置104に対する立体表示パネル100の手前の空間を表す。各図において、オブジェクト108、116及び112は、立体表示パネル100上に表示される一次画像の部分を示す。
立体表示パネル100によって生み出される3次元錯覚を考慮すると、表示画像に2Dユーザインターフェイス(UI)を挿入した場合、ユーザが立体表示パネル100上で2DのUIと3Dのビデオコンテンツを快適に相互作用させることに関して問題が生じることがある。ここで、図2を参照しながら、オブジェクト108、116及び112を伴う3次元画像内に3D UI要素120を並置することについて検討する。ユーザに2つの2D画像の像差(左目画像と右目画像の間の距離)を制御する能力を与えることにより、ディスプレイのあらゆる所望の深度又は位置に配置された3D UI要素120を生成することができる。ユーザは、遠隔制御装置からのいずれかの好適なナビゲーション制御を利用して、立体表示パネル100上のあらゆる位置に、及び/又は+ve及び−veの深度軸に沿ったあらゆる深度に3D UI要素120を配置することができる。また、(テレビ、セットトップボックス又はその他のTV受信装置などの)ディスプレイ装置において左目画像及び右目画像をローカルに作成し、或いは望むような表示のためにこれらを生成して送信することができる。クローズドキャプションデータ又はサブタイトルデータの場合、例えば、(テレビ番組又は映画などの)一次コンテンツに左目画像及び右目画像を添えることができる。或いは、メニュー項目、ガイドデータ及びその他のメタデータの単一のコピーが表示のために生成された時点で、これを受け取ったことに応答して、それぞれのデータ用の左目画像及び右目画像をローカルに生成することもできる。
従って、ユーザは、立体表示パネル100により形成される3D表示空間内で、3D UI要素120を、あらゆる快適な視点及び位置(例えば、深度−前方又は後方、又は垂直及び水平)に望むように動かすことができる。
本発明のいくつかの実装によれば、X位置(水平方向)、Y位置(垂直方向)、左目グラフィック、右目グラフィック、及び像差という5つのデータ要素を使用して、3D UI要素120を構築することができる。この例では、X及びY位置データが、ディスプレイ上の左目データ又は右目データの位置又は場所を定めることができ、像差データが、2つの画像間の水平の又は(距離などの)その他の変位を、従って立体表示パネル100内に表示されたその他の3Dビデオコンテンツに対する3D UI要素120の知覚深度を定める。他の実装では、ユーザが、X及びY位置データを制御して、立体表示パネル100の表面によって定められる平面内で3D UI要素120を動かし、この表面上でX軸及びY軸によってX位置の変化とY位置の変化の差分を測定できるようにすることもできる。さらに、その他の表示された3Dコンテンツに対して、上述したように3D UI要素120のサイズを調整して表示を作成することもできる。従って、クローズドキャプションデータ、電子番組ガイドデータ(EPG)、グラフィックボックスのオーバーレイ又は永続的ウィジェットを含むあらゆる3D合成された画像又はグラフィックオーバーレイ画像に対してこの制御を行うことができる。
アルファブレンディングを使用して、3Dユーザインターフェイス要素の不透明度を調整することもできる。アルファブレンディングとは、半透明の前景色を背景色と組み合わせることによって新たな混合色を生成する処理のことである。前景色の半透明度合いは、完全な透明から完全な不透明にまで及ぶことができる。前景色が完全に透明である場合、混合した色は背景色になる。逆に、前景色が完全に不透明である場合、混合した色は前景色になる。
本主題においては、現在のところ複数の形の3Dコンテンツが利用可能であると理解されたい。例えば、偏光ディスプレイ出力装置、フレームシーケンシャルディスプレイ出力装置、又は3D対応ディスプレイ出力装置に合わせて3Dビデオコンテンツを符号化することができる。偏光符号化の場合、ビデオコンテンツの各フレーム上で左画像と右画像を横並びフォーマット又は縦並びフォーマットのいずれかで合成することによって3Dビデオコンテンツを生成することができる。これらの画像は、レンダリング時に、各表示されるビデオフレームの奇数行及び偶数行上に逆の円偏光でそれぞれスケール調整されてフォーマットされる。視聴者に左目画像及び右目画像を提示するために、受動偏光3D眼鏡を使用する。或いは、偏光符号化の2倍のフレームレートで動作するフレームシーケンシャルフォーマットを使用して、左画像及び右画像の各々が連続してレンダリングされるようにすることもできる。能動3D眼鏡は、各連続フレームに関してどのレンズが能動的であるかに同期して選択するために使用される。説明した3D符号化及びレンダリングの選択肢のいずれかを使用して、3D画像の解像度を折り合わせることができる。或いは、3Dビデオコンテンツを3Dレンダリングした出力に変換し、受動又は能動眼鏡を使用するいずれかの方法よりも高い3Dコンテンツのレンダリング解像度を有することができる3D対応ディスプレイを利用することもできる。本主題は、上述した及びその他のあらゆる3Dビデオコンテンツ符号化及びレンダリングのフォーマットに適用されると理解されたい。また、当業者であれば、本説明に基づいて本主題を実施できるとも理解されたい。従って、本明細書では、3D符号化及びレンダリングのさらなる詳細については説明しない。
図3は、2D−3Dユーザインターフェイスコンテンツデータ変換を行うディスプレイ装置300の実装例のブロック図である。プロセッサ302は、コンピュータ命令の実行、計算、及びディスプレイ装置300内のその他の機能を提供する。上述したように、立体表示パネル100は、3Dビデオコンテンツの出力、及びこの3Dビデオコンテンツと合成された、又はこの上にオーバーレイされた変換済みの3Dフォーマットの2Dユーザインターフェイスコンテンツの出力を含む、視覚情報及び/又はその他の情報をディスプレイ装置300のユーザに提供する。立体表示パネル100は、ブラウン管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、プロジェクタ又はその他のディスプレイ要素又は(テレビと一体化した又はテレビに外付けした)パネルなどのあらゆる種類の立体ディスプレイ装置を含むことができ、3D対応ディスプレイ出力装置をさらに含むことができる。赤外線入力装置304は、ディスプレイ装置300のユーザに赤外線遠隔制御装置(図示せず)などの装置を介した入力機能を提供する。
音声出力装置306は、ディスプレイ装置300に、表示されたビデオコンテンツに関連する音声出力などの音声出力機能を提供する。音声出力装置306は、所与の実装に適したスピーカ、駆動回路及びインターフェイス回路を含むことができる。
通信モジュール308は、衛星、ケーブル、インターネット、又はその他のコンテンツプロバイダを介してオーディオ及びビデオコンテンツを検索するためなどの、ディスプレイ装置300とやりとりするための通信機能、及び所与の実装に適したその他の動作を提供する。通信モジュール308は、所与の実装に適した有線又は無線標準をサポートすることができる。有線標準の例としては、ホームネットワーク内におけるSony社のBravia(商標)インターネットビデオリンク(BIVL(商標))などのインターネットビデオリンク(IVL)相互接続が挙げられる。無線標準の例としては、セルラ無線通信規格及びBluetooth(登録商標)無線通信規格が挙げられる。通信モジュール308は、デジタルリビングネットワークアライアンス(DLNA)又はその他のネットワークインターフェイスをサポートすることもできる。他にも多くの有線及び無線通信標準、並びにインターフェイス標準が可能であり、これら全ては本主題の範囲に含まれると見なされる。
なお、図及び説明を簡単にするために、通信モジュール308を部品レベルのモジュールとして示している。また、通信モジュール308は、あらゆるハードウェア、(単複の)プログラムしたプロセッサ、及び通信モジュール308の機能を実施するために使用するメモリを含むことができると理解されたい。例えば、通信モジュール308は、特定用途向け集積回路(ASIC)、プロセッサ、(単複の)アンテナ、及び/又は個別の集積回路及び通信モジュール308に関連する電気制御活動を行うための部品の形の追加のコントローラ回路を含むことができる。また、通信モジュール308は、必要に応じて、割込みレベル、スタックレベル、及びアプリケーションレベルのモジュールを含むこともできる。さらに、通信モジュール308は、このモジュール308に関連する処理活動を行うこれらのモジュールによる記憶、実行及びデータ処理に使用するあらゆるメモリ要素を含むことができる。通信モジュール308は、本主題の範囲から逸脱することなく、後述するその他の回路の一部を成すこともできる。
メモリ310は、2Dユーザインターフェイスコンテンツ記憶領域312、及び3Dユーザインターフェイスコンテンツ記憶領域314を含む。2Dユーザインターフェイスコンテンツ記憶領域312は、受け取った2Dユーザインターフェイスコンテンツデータを記憶できるとともに、2Dユーザインターフェイスコンテンツデータとともに受け取った像差データをさらに記憶することができる。2Dユーザインターフェイスコンテンツ記憶領域312には、受け取ったものであるか又は生成したものであるかに関わらず、受け取った2Dユーザインターフェイスコンテンツデータのコピーを記憶することもできる。3Dユーザインターフェイスコンテンツ記憶領域314は、3Dビデオコンテンツと合成する準備ができている変換済みの2Dユーザインターフェイスコンテンツデータを記憶する。変換済みの2Dユーザインターフェイスコンテンツデータの例としては、受け取った2Dユーザインターフェイスコンテンツデータと、受け取った像差データから求められる水平方向の変位情報又はその他の方向の変位情報とに基づいて生成される3Dグラフィックオーバーレイオブジェクトが挙げられる。この水平方向の変位情報又はその他の方向の変位情報を使用して、3Dグラフィックオーバーレイオブジェクトを生成し、又は3Dビデオコンテンツの左画像ストライプ及び右画像ストライプに2Dユーザインターフェイスコンテンツデータを挿入/合成することができ、またフレームシーケンシャル方式の3Dレンダリングのための連続する左及び右フレーム上に、2Dユーザインターフェイスコンテンツデータのコピーを所与の実装に適するように配置することもできる。
メモリ310は、必要に応じて分散又は局在化された、用途に適した揮発性メモリと不揮発性メモリのあらゆる組み合わせを含むことができ、また図を簡単にするためにこの例には示していないその他のメモリセグメントを含むこともできると理解されたい。例えば、メモリ310は、本主題の範囲から逸脱することなく、コード記憶領域、コード実行領域、及びデータ領域を含むことができる。
2D−3Dユーザインターフェイス変換モジュール316も示している。2D−3Dユーザインターフェイス変換モジュール316は、上述したように及び以下でより詳細に説明するように、ディスプレイ装置300の2D−3D変換処理を行う。2D−3Dユーザインターフェイス変換モジュール316は、ディスプレイ装置300の自動2D−3Dユーザインターフェイスコンテンツデータ変換を実施する。
なお、図及び説明を簡単にするために、2D−3Dユーザインターフェイス変換モジュール316を部品レベルのモジュールとして示しているが、2D−3Dユーザインターフェイス変換モジュール316は、あらゆるハードウェア、プログラムしたプロセッサ、並びに上述したような及び以下でより詳細に説明するような、このモジュールの機能を実施するために使用するメモリを含むことができる。例えば、2D−3Dユーザインターフェイス変換モジュール316は、特定用途向け集積回路(ASIC)、プロセッサ、及び/又は別個の集積回路、並びにそれぞれの装置に関連する通信及び電気制御活動を行う部品の形の追加のコントローラ回路を含むことができる。また、2D−3Dユーザインターフェイス変換モジュール316は、必要に応じて、割込みレベル、スタックレベル、及びアプリケーションレベルのモジュールを含むこともできる。さらに、2D−3Dユーザインターフェイス変換モジュール316は、このモジュールに関連する処理活動を行うための記憶、実行及びデータ処理に使用するあらゆるメモリ要素を含むことができる。
また、2D−3Dユーザインターフェイス変換モジュール316は、本主題の範囲から逸脱することなく、説明したその他の回路の一部を成すこともできる。さらに、2D−3Dユーザインターフェイス変換モジュール316を、メモリ310に記憶されたアプリケーションとして別様に実装することもできる。このような実装では、2D−3Dユーザインターフェイス変換モジュール316が、本明細書で説明した機能を実行するための、プロセッサ302により実行される命令を含むことができる。プロセッサ302は、これらの命令を実行して、ディスプレイ装置300に、上述した及び以下でより詳細に説明する処理能力を提供することができる。2D−3Dユーザインターフェイス変換モジュール316は、本主題の範囲から逸脱することなく、割り込みサービスルーチン(ISR)の一部、オペレーティングシステムの一部、ブラウザアプリケーションの一部、又は別個のアプリケーションの一部を成すこともできる。
プロセッサ302、立体表示パネル100、赤外線入力装置304、音声出力装置306、メモリ310、及び2D−3Dユーザインターフェイス変換モジュール316は、図を簡単にするために相互接続部318として示す1又はそれ以上の相互接続部を介して相互接続される。相互接続部318は、システムバス、ネットワーク、又はそれぞれの部品にそれぞれの目的で好適な相互接続を提供できるその他のあらゆる相互接続部を含むことができる。
以下の図4から図6Bでは、本主題に関連する自動2D−3Dユーザインターフェイスコンテンツデータ変換を行うための、ディスプレイ装置300などのこのような装置により実行できる処理例について説明する。この処理例には他にも多くの変形例が可能であり、これらの全ては本主題の範囲に含まれると見なされる。この処理例は、2D−3Dユーザインターフェイス変換モジュール316などのモジュールによって行うことができ、及び/又はこのような装置に関連するプロセッサ302によって実行することができる。なお、図を簡単にするために、以下で説明する処理例には、タイムアウト手順及びその他の誤り制御手順は示してない。しかしながら、本主題の範囲には、全てのこのような手順が含まれると見なされることを理解されたい。
図4は、自動2D−3Dユーザインターフェイスコンテンツデータ変換を行う処理400の実施例を示すフローチャートである。処理400は、402から開始する。処理400は、ブロック404において、2D−3Dコンテンツ変換モジュールを介して3Dビデオコンテンツデータ及び2Dユーザインターフェイスコンテンツデータを受け取る。処理400は、ブロック406において、2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための、左目データと右目データの分離距離を定める像差データによって表される変位を特定する。処理400は、ブロック408において、3D TVのディスプレイ上に3Dビデオコンテンツを表示する。処理400は、ブロック410において、受け取った2Dユーザインターフェイスコンテンツデータ及び特定した変位に基づいて、ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成する。
図5は、3Dグラフィックオーバーレイの自動2D−3Dユーザインターフェイスコンテンツデータ変換を行う処理500の実施例を示すフローチャートである。処理500は、502から開始する。処理500は、判定ポイント504において、コンテンツを受け取ったかどうかを判定する。上述したように及び以下でより詳細に説明するように、このコンテンツは、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを含むことができる。2Dユーザインターフェイスコンテンツデータは、例えば、サブタイトルテキストコンテンツ、クローズドキャプションテキストコンテンツ、又はその他の2Dフォーマットのコンテンツを含むことができる。この例では、以下でより詳細に説明するように、2Dユーザインターフェイスコンテンツデータの1つ又は2つのコピーを受け取ることができる。さらに、上述したように、この受け取られる2Dユーザインターフェイスコンテンツデータは、3Dユーザインターフェイス要素を作成するための、左右の2Dユーザインターフェイス画像の水平変位に関連する情報を提供する像差データを含むこともできる。なお、本主題の範囲から逸脱することなく、所与の実装に適するように水平以外の異なる方向の変位を使用することもできる。或いは、像差データを、メモリ310内などの、ディスプレイ装置300にローカルに記憶することもできる。処理500は、コンテンツを受け取ったと判定すると、ブロック506において3Dビデオコンテンツの表示を開始する。処理500は、ブロック508において、ユーザインターフェイスのデフォルト表示位置を決定する。
処理500は、判定ポイント510において、結果として得られる3Dユーザインターフェイス要素の表示を平均的な3D深度に設定するか、それとも表示する3Dビデオコンテンツの他の何らかのデフォルト深度に設定するかを判定する。この例では、受け取った像差データのオーバーライドを可能にする構成済みの初期設定に応じて、或いは受け取った又はローカルに記憶した像差データと、受け取った3Dビデオコンテンツに対する生成した3Dユーザインターフェイス要素の初期表示のためのいずれかの構成済みの(単複の)差分閾値との分析に応じて、結果として得られる3Dユーザインターフェイス要素の表示を、表示する3Dビデオコンテンツの平均的な3D深度に設定すると判定することができる。
処理500は、結果として得られる3Dユーザインターフェイス要素の表示を3Dビデオコンテンツの平均的な3D深度に設定するという判定に応答して、ブロック512において3Dビデオコンテンツの平均深度を求める。3Dビデオコンテンツの深度は、例えば、3Dビデオコンテンツの分析によって、又は3Dビデオコンテンツとともに受け取られるメタデータに基づいて求めることができる。処理500は、ブロック514において、受け取った又はローカルに取り出した像差データを、求められた3Dビデオコンテンツの平均深度に調整する。このように、像差データに基づいて生成される、結果として得られる3Dユーザインターフェイス要素を、最初に3Dビデオコンテンツの平均深度にレンダリングし、ユーザ入力サイズ調整要求の検出に応答して調整することができる。
処理500は、ブロック514において像差データを3Dビデオコンテンツの平均深度に調整したことに応答して、或いは判定ポイント510において3Dユーザインターフェイス要素の深度を3Dビデオコンテンツの平均深度に設定しないと判定したことに応答して、ブロック516において、受け取った2Dユーザインターフェイスコンテンツデータ及び像差(視差)データに基づいて、調整可能な3Dグラフィックオーバーレイオブジェクトを生成する。図を簡単にするために示していないが、2Dユーザインターフェイスコンテンツデータのコピーを1つ受け取った場合、ブロック516において、受け取った2Dユーザインターフェイスコンテンツデータをコピーするための追加処理を行うことができる。このような処理の例については、以下で図6Aに関連して説明する。処理500は、ブロック518において、生成した調整可能な3Dグラフィックオーバーレイオブジェクトを表示位置に表示する。処理500の最初の反復では、この表示位置は上述したデフォルト表示位置である。処理500のその後の反復では、生成した3Dグラフィックオーバーレイオブジェクトを1又はそれ以上の異なる表示位置に動かすことができる。
処理500は、生成した調整可能な3Dグラフィックオーバーレイオブジェクトを表示位置に表示したことに応答して、表示した3Dグラフィックオーバーレイオブジェクトの調整に関連する反復処理に入る。処理500は、判定ポイント520において、深度調整要求が検出されたかどうかを判定する。深度調整要求は、例えば、ユーザから赤外線入力装置304などの遠隔制御装置(図示せず)を介して受け取ることができる。処理500は、深度調整要求が検出されていないと判定すると、判定ポイント522において、表示した3Dグラフィックオーバーレイオブジェクトの表示位置を調整する要求が検出されたかどうかを判定する。本明細書で説明する他の検出される要求と同様に、この要求も、例えば、遠隔制御装置(図示せず)を介したユーザ入力に応答して検出することができる。処理500は、判定ポイント522において、表示した3Dグラフィックオーバーレイオブジェクトの表示位置を調整する要求を受け取っていないと判定すると、判定ポイント524において、表示した3Dビデオコンテンツに対する表示した3Dグラフィックオーバーレイオブジェクトの不透明度を調整する要求が検出されたかどうかを判定する。処理500は、表示した3Dビデオコンテンツに対する表示した3Dグラフィックオーバーレイオブジェクトの不透明度を調整する要求が検出されていないと判定したことに応答して、判定ポイント526において、処理が完了したかどうかを判定する。処理500は、処理が完了していないと判定したことに応答して、判定ポイント520に戻り、上述したように反復する。
判定ポイント520の説明に戻ると、処理500は、3Dグラフィックオーバーレイオブジェクトの表示深度を調整する要求が検出されたと判定したことに応答して、判定ポイント528において、この3Dグラフィックオーバーレイオブジェクトの深度を調整する要求が、表示した3Dグラフィックオーバーレイオブジェクトの深度を減少させる(例えば、深度を視聴者の方向に調整する)要求であるか、それとも深度を増加させる(例えば、深度を視聴者から離れた方向に調整する)要求であるかを判定する。処理500は、この要求が、3Dグラフィックオーバーレイオブジェクトの深度を減少させる(例えば、深度を視聴者の方向に調整する)要求であると判定したことに応答して、ブロック530において、像差データに関連するいずれかの規定の視差調整の範囲内で視差をマイナスに調整する。視差調整の範囲は、像差データに関連して提供し、これを受け取るようにしてもよく、或いはディスプレイ装置300などのディスプレイ装置の構成の一部として生成し記憶してもよいと理解されたい。視差調整の範囲は、例えば、ゼロ像差から、表示する3Dビデオコンテンツの最大深度に対応する最大像差までの範囲を含むことができる。しかしながら、他の視差調整の範囲も可能であり、これらの全ては本主題の範囲に含まれると理解されたい。さらに、視差をマイナスに調整することにより、3Dグラフィックオーバーレイオブジェクトが視聴者に近づいて見えるように像差データが調整されるが、上述したように、3Dグラフィックオーバーレイオブジェクトのサイズが増加して見えるようにして、3Dビデオコンテンツに対する3Dグラフィックオーバーレイオブジェクトの遠近感を調整するための追加処理を実行することもできる。さらに、像差を変更することにより、オーバーレイデータが3Dビデオコンテンツに対して視聴者の方へ又は視聴者から離れて動くことによって位置を変化させたように見えるようになる。
さらに、2Dユーザインターフェイス要素を横並びの3Dコンテンツ又はその他のフォーマットと合成して3Dユーザインターフェイス要素を形成するようないくつかの状況では、視差のマイナス調整により、結果として得られる3Dユーザインターフェイス要素にエイリアシングが生じることがある。従って、生成した3Dユーザインターフェイス要素の一部のエイリアシングを判定することができ、この結果、生成した3Dユーザインターフェイスコンテンツデータの一部のエイリアシングを避ける深度減少限界を設けることができる。このような実装では、視差データのマイナス調整が、生成した3Dユーザインターフェイスコンテンツデータの一部のエイリアシングを避ける深度減少限界まで視差データをマイナスに調整するステップを含むことができる。
判定ポイント528の説明に戻ると、処理500は、表示した3Dグラフィックオーバーレイオブジェクトの深度を調整する要求が、3Dグラフィックオーバーレイオブジェクトの深度を減少させる要求ではないと(例えば、視聴者から離れた方向に深度を増加させる要求であると)判定したことに応答して、ブロック532において、上述したように、像差データに関連するいずれかの規定の視差調整の範囲内で視差をプラスに調整して、表示した3Dグラフィックオーバーレイオブジェクトが3D表示内でさらに離れて見えるようにする。上述したように、3Dグラフィックオーバーレイオブジェクトのサイズが減少して見えるようにして、3Dビデオコンテンツに対する3Dグラフィックオーバーレイオブジェクトの遠近感を調整するための追加処理を実行することもできる。
処理500は、ブロック530において視差をいずれかの規定の範囲内でマイナスに調整したことに応答して、或いはブロック532において視差をいずれかの規定の範囲内でプラスに調整したことに応答して、ブロック518に戻ってこの調整した3Dグラフィックオーバーレイオブジェクトを表示位置に表示し、上述したように反復する。
判定ポイント522の説明に戻ると、処理500は、3Dグラフィックオーバーレイオブジェクトの表示位置を調整する要求が検出されたと判定したことに応答して、ブロック534において、表示した3Dグラフィックオーバーレイオブジェクトの表示位置を調整する。この表示位置の調整は、例えば、3Dグラフィックオーバーレイオブジェクトを表示するためのX座標及びY座標を調整するステップを含むことができる。処理500は、ブロック518に戻って3Dグラフィックオーバーレイオブジェクトをこの調整した表示位置に表示し、上述したように反復する。
判定ポイント524の説明に戻ると、処理500は、3Dグラフィックオーバーレイオブジェクトの不透明度を調整する要求が検出されたと判定したことに応答して、ブロック536において、生成した調整可能な3Dグラフィックオーバーレイオブジェクトの不透明度を調整する。不透明度の調整は、例えば、表示した3Dビデオコンテンツに対する3Dグラフィックオーバーレイオブジェクトの透明度を調整するステップを含むことができる。不透明度の調整は、例えば、表示した3Dグラフィックオーバーレイオブジェクトの透明度と深度のバランスを調整するステップを含むこともできる。処理500は、3Dグラフィックオーバーレイオブジェクトの不透明度を調整したことに応答して、ブロック518に戻ってこの3Dグラフィックオーバーレイオブジェクトを表示位置に表示し、上述したように反復する。
判定ポイント526の説明に戻ると、処理500は、処理が完了したと判定したことに応答して、判定ポイント504に戻って新たなコンテンツが受け取られるのを待つ。このようにして、処理500は、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取る。2Dユーザインターフェイスコンテンツデータが像差データを伴うこともでき、或いはローカルメモリから像差データを取り出すこともできる。処理500は、調整可能な3Dグラフィックオーバーレイオブジェクトを生成し、この生成した調整可能な3Dグラフィックオーバーレイオブジェクトを表示し、この調整可能な3Dグラフィックオーバーレイオブジェクトの深度(及びいくつかの実装ではサイズ)、位置及び不透明度を調整する要求を検出する。処理500は、このような検出された要求を反復的に処理する。
図6A〜図6Bに、2Dユーザインターフェイスコンテンツの2つのコピーを3Dビデオコンテンツの右画像及び左画像と合成することによって3Dユーザインターフェイス要素を生成する自動2D−3Dユーザインターフェイスコンテンツデータ変換のための処理600の実施例のフローチャートを示す。図6Aには、処理600内の初期処理を示している。処理600は、602から開始する。処理600は、判定ポイント604において、コンテンツを受け取ったどうかを判定する。上述したように、このコンテンツは、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを含むことができる。2Dユーザインターフェイスコンテンツデータは、例えば、サブタイトルテキストコンテンツ、クローズドキャプションテキストコンテンツ、又はその他の2Dフォーマットのコンテンツを含むことができる。この例では、以下でより詳細に説明するように、2Dユーザインターフェイスコンテンツデータの1つ又は2つのコピーを受け取ることができる。さらに、上述したように、この受け取られる2Dユーザインターフェイスコンテンツデータは、3Dユーザインターフェイス要素を作成するための、左右の2Dユーザインターフェイス画像の水平変位に関連する情報を提供する像差データを含むこともできる。なお、本主題の範囲から逸脱することなく、所与の実装に適するように水平以外の異なる方向の変位を使用することもできる。或いは、像差データを、ディスプレイ装置300にローカルに、例えばメモリ310などに記憶することもできる。処理600は、コンテンツを受け取ったと判定したことに応答して、ブロック606において3Dビデオコンテンツの表示を開始する。処理600は、ブロック608において、ユーザインターフェイスのデフォルト表示位置を決定し、像差データに基づいて、3Dユーザインターフェイス要素を生成するための水平変位を特定する。
処理600は、判定ポイント610において、(受け取った2つのコピーなどの)2Dユーザインターフェイスコンテンツデータのコピーを受け取ったかどうかを判定する。処理600は、受け取った2Dユーザインターフェイスコンテンツデータが、2Dユーザインターフェイスコンテンツデータのコピーを1つしか含んでいないと判定したことに応答して、ブロック612において、受け取った2Dユーザインターフェイスコンテンツデータのコピーを作成する。処理600は、ブロック612において2Dユーザインターフェイスコンテンツデータのコピーを作成したことに応答して、或いは判定ポイント610において2Dユーザインターフェイスコンテンツデータのコピーを2つ受け取ったと判定したことに応答して、ブロック614において、2Dユーザインターフェイスコンテンツデータの第1のコピーを(デフォルトなどの)規定の表示位置にフォーマットする。処理600は、ブロック616において、像差データによって表される規定の表示位置からの水平変位で、2Dユーザインターフェイスコンテンツデータの第2のコピーをフォーマットする。3Dビデオコンテンツがフレームシーケンシャル方式の3Dビデオコンテンツであるか、横並びフォーマットの3Dビデオコンテンツであるか、それとも縦並びフォーマットの3Dビデオコンテンツであるかを判定するための追加処理を実行できると理解されたい。さらに、ブロック614及びブロック616における2Dユーザインターフェイスコンテンツデータのコピーをフォーマットする処理は、2Dユーザインターフェイスコンテンツデータのコピーを3Dビデオコンテンツ方式のフォーマットに適するようにフォーマットするステップを含むことができる。
例えば、3Dビデオコンテンツのフォーマットがフレームシーケンシャル方式である場合、2Dユーザインターフェイスコンテンツの第1のコピーを、3Dビデオコンテンツの左側フレームとの合成に備えて空白フレーム内に配置できる一方で、2Dユーザインターフェイスコンテンツの第2のコピーを、3Dビデオコンテンツの右側フレームとの合成に備えて空白フレーム内に配置することができる。
横並びフォーマットの3Dビデオコンテンツの場合、横並びフォーマットバージョンの2Dユーザインターフェイスコンテンツデータの第1のコピーをデフォルトの表示位置に生成できる一方で、横並びフォーマットバージョンの2Dユーザインターフェイスコンテンツデータの第2のコピーを、像差データによって表される特定した水平変位に生成することができる。
縦並びフォーマットの3Dビデオコンテンツの場合、縦並びフォーマットバージョンの2Dユーザインターフェイスコンテンツデータの第1のコピーをデフォルトの表示位置に生成できる一方で、縦並びフォーマットバージョンの2Dユーザインターフェイスコンテンツデータの第2のコピーを、像差データによって表される特定した水平変位に生成することができる。
処理600は、ブロック618において、2Dユーザインターフェイスコンテンツデータのフォーマットしたコピーを3Dビデオコンテンツと合成する。この2Dユーザインターフェイスコンテンツデータのフォーマットしたコピーの3Dビデオコンテンツとの合成は、例えば、2Dユーザインターフェイスコンテンツのフォーマットしたコピーを3Dビデオコンテンツのそれぞれのコピー(例えば、左視野及び右視野)とアルファブレンディングするステップを含むことができる。或いは、2Dユーザインターフェイスコンテンツデータのフォーマットしたコピーの3Dビデオコンテンツとの合成は、左右の2Dユーザインターフェイスコンテンツデータを3Dビデオコンテンツの左視野及び右視野上にオーバーレイするステップを含むことができる。3Dビデオコンテンツ内で3Dユーザインターフェイス要素の透明度が望まれる実装では、アルファブレンディングが好ましいと思われる。
処理600は、ブロック620において、2Dユーザインターフェイスコンテンツデータのコピーを合成した3Dビデオコンテンツを表示して、この表示した3Dビデオコンテンツ内に3Dユーザインターフェイス要素を形成する。処理600は、図6Bに関連して図示及び説明する処理に移る。
図6Bには、2Dユーザインターフェイスコンテンツの2つのコピーを3Dビデオコンテンツの右画像及び左画像と合成することによって3Dユーザインターフェイス要素を生成する自動2D−3Dユーザインターフェイスコンテンツデータ変換のための処理600に関連する追加処理を示している。処理600は、判定ポイント622において、表示した3Dユーザインターフェイス要素の調整に関連する反復処理に入る。従って、処理600は、判定ポイント622において、深度調整要求が検出されたかどうかを判定する。深度調整要求は、例えば、赤外線入力装置304などの遠隔制御装置(図示せず)を介してユーザから受け取ることができる。処理600は、深度調整要求が検出されていないと判定すると、判定ポイント624において、表示した3Dユーザインターフェイス要素の表示位置を調整する要求が検出されたかどうかを判定する。本明細書で説明する他の検出される要求と同様に、この要求も、例えば、遠隔制御装置(図示せず)を介したユーザ入力に応答して検出することができる。処理600は、判定ポイント624において、表示した3Dユーザインターフェイス要素の表示位置を調整する要求を受け取っていないと判定すると、判定ポイント626において、表示した3Dビデオコンテンツに対する表示した3Dユーザインターフェイス要素の不透明度を調整する要求が検出されたかどうかを判定する。処理600は、表示した3Dビデオコンテンツに対する表示した3Dユーザインターフェイス要素の不透明度を調整する要求が検出されていないと判定したことに応答して、判定ポイント628において、処理が完了したかどうかを判定する。処理600は、処理が完了してないと判定したことに応答して、判定ポイント622に戻り、上述したように反復する。
判定ポイント622の説明に戻ると、処理600は、3Dユーザインターフェイス要素の表示深度を調整する要求が検出されたと判定したことに応答して、判定ポイント630において、この3Dユーザインターフェイス要素の深度を調整する要求が、3Dユーザインターフェイス要素の深度を減少させる(例えば、深度を視聴者の方向に調整する)要求であるか、それとも深度を増加させる(例えば、深度を視聴者から離れた方向に調整する)要求であるかを判定する。処理600は、この要求が、3Dユーザインターフェイス要素の深度を減少させる(例えば、深度を視聴者の方向に調整する)要求であると判定したことに応答して、ブロック632において、像差データに関連するいずれかの規定の視差調整の範囲内で視差をマイナスに調整する。上述したように、視差調整の範囲は、像差データに関連して提供し、これを受け取るようにしてもよく、或いはディスプレイ装置300などのディスプレイ装置の構成の一部として生成し記憶してもよいと理解されたい。さらに、視差をマイナスに調整することにより、3Dユーザインターフェイス要素が視聴者に近づいて見えるように像差データが調整されるが、上述したように、3Dユーザインターフェイス要素のサイズが増加して見えるようにして、3Dビデオコンテンツに対する3Dユーザインターフェイス要素の遠近感を調整するための追加処理を実行することもできる。さらに、像差を変更することにより、オーバーレイデータが3Dビデオコンテンツに対して視聴者の方へ又は視聴者から離れて動くことによって位置を変化させたように見えるようになる。
上述したように、2Dユーザインターフェイス要素を横並びの3Dコンテンツ又はその他のフォーマットと合成して3Dユーザインターフェイス要素を形成するようないくつかの状況では、視差のマイナス調整により、結果として得られる3Dユーザインターフェイス要素にエイリアシングが生じることがある。従って、生成した3Dユーザインターフェイス要素の一部のエイリアシングを判定することができ、この結果、生成した3Dユーザインターフェイスコンテンツデータの一部のエイリアシングを避ける深度減少限界を設けることができる。このような実装では、視差データのマイナス調整が、生成した3Dユーザインターフェイスコンテンツデータの一部のエイリアシングを避ける深度減少限界まで視差データをマイナスに調整するステップを含むことができる。
判定ポイント630の説明に戻ると、処理600は、表示した3Dユーザインターフェイス要素の深度を調整する要求が、3Dユーザインターフェイス要素の深度を減少させる要求ではないと(例えば、視聴者から離れた方向に深度を増加させる要求であると)判定したことに応答して、ブロック634において、上述したように、像差データに関連するいずれかの規定の視差調整の範囲内で視差をプラスに調整して、表示した3Dユーザインターフェイス要素が3D表示内でさらに離れて見えるようにする。上述したように、3Dユーザインターフェイス要素のサイズが減少して見えるようにして、3Dビデオコンテンツに対する3Dユーザインターフェイス要素の遠近感を調整するための追加処理を実行することもできる。
処理600は、ブロック632において視差をいずれかの規定の範囲内でマイナスに調整したことに応答して、或いはブロック634において視差をいずれかの規定の範囲内でプラスに調整したことに応答して、ブロック614(図6Aを参照)に戻り、上述したように反復して、調整した像差データに基づいて2Dユーザインターフェイスコンテンツデータをフォーマットし、3Dビデオコンテンツと合成する。
判定ポイント624の説明に戻ると、処理600は、3Dユーザインターフェイス要素の表示位置を調整する要求が検出されたと判定したことに応答して、ブロック636において、表示した3Dユーザインターフェイス要素の表示位置を調整する。この表示位置の調整は、例えば、3Dユーザインターフェイス要素を表示するためのX座標及びY座標を調整するステップを含むことができる。処理600は、ブロック614(図6Aを参照)に戻り、上述したように反復して、2Dユーザインターフェイスコンテンツデータをフォーマットし、2Dユーザインターフェイスコンテンツデータを新たな表示位置で3Dビデオコンテンツと合成する。
判定ポイント626の説明に戻ると、処理600は、3Dユーザインターフェイス要素の不透明度を調整する要求が検出されたと判定したことに応答して、ブロック638において、生成した2Dユーザインターフェイスコンテンツデータのコピーの不透明度を調整する。不透明度の調整は、例えば、上述したように、表示した3Dビデオコンテンツに対する2Dユーザインターフェイスコンテンツデータの各コピーの透明度を調整するステップを含むことができる。処理600は、2Dユーザインターフェイスコンテンツデータの各コピーの不透明度を調整したことに応答して、ブロック614(図6Aを参照)に戻り、上述したように反復して、2Dユーザインターフェイスコンテンツデータを新たな不透明度にフォーマットし、3Dビデオコンテンツと合成する。
判定ポイント628の説明に戻ると、処理600は、処理が完了したと判定したことに応答して、判定ポイント604(図6Aを参照)に戻って新たなコンテンツが受け取られるのを待つ。
このようにして、処理600は、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取る。2Dユーザインターフェイスコンテンツデータが像差データを伴うこともでき、或いはローカルメモリから像差データを取り出すこともできる。処理600は、2Dユーザインターフェイスコンテンツデータの各コピーをフォーマットして3Dビデオコンテンツの左画像及び右画像の一方と合成し、2Dユーザインターフェイスコンテンツデータの第2のコピーを第1のコピーに対して水平変位させて合成することによって3Dユーザインターフェイス要素を生成する。処理600は、生成した3Dユーザインターフェイス要素を表示し、この3Dユーザインターフェイス要素の深度(及びいくつかの実装ではサイズ)、位置及び不透明度を調整する要求を検出する。処理600は、このような検出された要求を反復的に処理し、ユーザが要求した、表示した3Dビデオコンテンツに対する3Dユーザインターフェイス要素の深度の変更、3Dユーザインターフェイス要素の位置の変更、及び3Dユーザインターフェイス要素の不透明度の変更を可能にする。
従って、いくつかの実施によれば、3Dテレビ(TV)において2次元(2D)コンテンツデータを3次元(3D)コンテンツデータに変換する方法が、2D−3Dコンテンツ変換モジュールを介して、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取るステップと、上記2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定するステップと、上記3Dビデオコンテンツを上記3D TVのディスプレイ上に表示するステップと、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成するステップとを含む。
いくつかの実施では、3D TVにおいて2Dコンテンツデータを3Dコンテンツデータに変換する方法が、上記像差データを、上記2Dユーザインターフェイスコンテンツデータとともに受け取るステップをさらに含む。いくつかの実施では、上記方法が、上記像差データを生成するステップをさらに含む。いくつかの実施では、上記方法が、上記像差データに基づいて上記3D深度を決定するステップをさらに含む。いくつかの実施では、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成する方法が、上記2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツのフレームシーケンシャル方式の左画像フレームと合成するステップと、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツの上記フレームシーケンシャル方式の左画像フレームと合成した上記2Dユーザインターフェイスコンテンツデータの上記位置から上記特定した変位で上記3Dビデオコンテンツの上記フレームシーケンシャル方式の右画像フレームと合成するステップとを含む。いくつかの実施では、上記2D−3Dコンテンツ変換モジュールを介して、上記3Dビデオコンテンツ及び上記2Dユーザインターフェイスコンテンツデータを受け取る方法が、上記2D−3Dコンテンツ変換モジュールを介して、上記3Dビデオコンテンツ、上記2Dユーザインターフェイスコンテンツデータの第1のコピー、上記2Dユーザインターフェイスコンテンツデータの第2のコピー、及び上記像差データを受け取るステップを含み、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツを生成する方法が、上記2Dユーザインターフェイスコンテンツデータの上記第1のコピーを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツの左画像ストライプと合成するステップと、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータの上記第2のコピーを、上記3Dビデオコンテンツの上記左画像ストライプと合成した上記2Dユーザインターフェイスコンテンツデータの第1のコピーの上記位置から上記特定した変位で上記3Dビデオコンテンツの右画像ストライプと合成するステップとを含む。いくつかの実施では、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成する方法が、上記受け取った2Dユーザインターフェイスコンテンツデータのコピーを生成するステップと、上記受け取った2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツの左画像ストライプと合成するステップと、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータの上記コピーを、上記3Dビデオコンテンツの上記左画像ストライプと合成した上記受け取った2Dユーザインターフェイスコンテンツデータの上記位置から上記特定した変位で上記3Dビデオコンテンツの右画像ストライプと合成するステップとを含む。いくつかの実施では、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成する方法が、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、3Dグラフィックオーバーレイオブジェクトを生成するステップと、上記ディスプレイ上の位置に、上記表示した3Dビデオコンテンツを覆って上記3Dグラフィックオーバーレイオブジェクトを表示するステップとを含む。いくつかの実施では、上記方法が、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示すユーザ入力を検出するステップと、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求に基づいて調整する変位を決定するステップと、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するステップとをさらに含む。いくつかの実施では、上記像差データが視差データを含み、上記方法が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる要求、及び上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求の一方を含むかどうかを判定するステップをさらに含み、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の上記調整した3D深度に上記調整した3Dユーザインターフェイスコンテンツデータを生成する方法が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる要求を含むと判定したことに応答して、上記視差データをマイナスに調整するステップと、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する要求が、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求を含むと判定したことに応答して、上記視差データをプラスに調整するステップとを含む。いくつかの実施では、上記方法が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる上記要求を含むと判定するステップと、上記生成した3Dユーザインターフェイスコンテンツデータの上記要求された上記表示深度の減少に起因して、上記生成した3Dユーザインターフェイスコンテンツデータの少なくとも一部のエイリアシングが生じると判断するステップと、上記生成した3Dユーザインターフェイスコンテンツデータの上記少なくとも一部の上記エイリアシングを避ける深度減少限界を決定するステップとをさらに含み、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる上記要求を含むと判定したことに応答して、上記視差データをマイナスに調整する方法が、上記視差データを、上記生成した3Dユーザインターフェイスコンテンツデータの上記少なくとも一部の上記エイリアシングを避ける上記深度減少限界までマイナスに調整するステップを含む。いくつかの実施では、上記像差データが、ゼロ像差から、上記表示した3Dビデオコンテンツの最大深度に対応する最大像差までの像差データ範囲を含み、上記方法が、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示すユーザ入力を検出するステップと、上記表示した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求に応答して、上記像差データを上記像差データ範囲内で調整するステップと、上記調整した像差データに基づいて調整する変位を決定するステップと、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するステップとをさらに含む。いくつかの実施では、上記方法が、上記生成した3Dユーザインターフェイスコンテンツデータの表示位置を調整する要求を示すユーザ入力を検出するステップと、上記検出した要求に応答して、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示位置を調整するステップとをさらに含む。いくつかの実施では、上記方法が、上記表示した3Dビデオコンテンツの平均深度を求めるステップと、上記像差データを、上記表示した3Dビデオコンテンツの上記求めた平均深度に調整するステップとをさらに含み、上記像差データによって表される上記変位を特定する方法が、上記調整した像差データに基づいて上記変位を特定するステップを含む。いくつかの実施では、上記受け取った2Dユーザインターフェイスコンテンツデータが、サブタイトルテキストコンテンツ及びクローズドキャプションテキストコンテンツの一方を含む。いくつかの実施では、上記3Dビデオコンテンツが、フレームシーケンシャル方式の3Dビデオコンテンツを含む。いくつかの実施では、上記3Dビデオコンテンツが、横並びフォーマットの3Dビデオコンテンツ及び縦並びフォーマットの3Dビデオコンテンツの一方を含む。いくつかの実施では、上記方法が、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの不透明度を調整する要求を示すユーザ入力を検出するステップと、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの上記不透明度を調整するステップとをさらに含む。いくつかの実施では、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの上記不透明度を調整する方法が、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの透明度及び上記像差データの一方を調整するステップを含む。
別の実施では、コンピュータ可読記憶媒体が、1又はそれ以上のプログラムしたプロセッサ上で実行された時に、3Dテレビ(TV)において2次元(2D)コンテンツデータを3次元(3D)コンテンツデータに変換する処理を実行する命令を記憶することができ、この命令は、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取るステップと、上記2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定するステップと、上記3Dビデオコンテンツを上記3D TVのディスプレイ上に表示するステップと、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成するステップとを含む。
別の実施によれば、3次元(3D)テレビ装置が、メモリと、ディスプレイと、プロセッサとを備え、このプロセッサは、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取り、上記2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定し、上記3Dビデオコンテンツを上記ディスプレイ上に表示し、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる。
いくつかの実施では、上記プロセッサが、上記2Dユーザインターフェイスコンテンツデータとともに受け取るようにさらにプログラムされる。いくつかの実施では、上記プロセッサが、上記像差データを生成するようにさらにプログラムされる。いくつかの実施では、上記プロセッサが、上記像差データに基づいて上記3D深度を決定するようにさらにプログラムされる。いくつかの実施では、上記プロセッサが、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、上記2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツのフレームシーケンシャル方式の左画像フレームと合成し、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツの上記フレームシーケンシャル方式の左画像フレームと合成した上記2Dユーザインターフェイスコンテンツデータの上記位置から上記特定した変位で上記3Dビデオコンテンツの上記フレームシーケンシャル方式の右画像フレームと合成するようにプログラムされる。いくつかの実施では、上記プロセッサが、上記3Dビデオコンテンツ及び上記2Dユーザインターフェイスコンテンツデータを受け取るようにプログラムされる際に、上記3Dビデオコンテンツ、上記2Dユーザインターフェイスコンテンツデータの第1のコピー、上記2Dユーザインターフェイスコンテンツデータの第2のコピー、及び上記像差データを受け取るようにプログラムされ、上記プロセッサが、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、上記2Dユーザインターフェイスコンテンツデータの上記第1のコピーを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツの左画像ストライプと合成し、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータの上記第2のコピーを、上記3Dビデオコンテンツの上記左画像ストライプと合成した上記2Dユーザインターフェイスコンテンツデータの第1のコピーの上記位置から上記特定した変位で上記3Dビデオコンテンツの右画像ストライプと合成するようにプログラムされる。いくつかの実施では、上記プロセッサが、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータ生成するようにプログラムされる際に、上記受け取った2Dユーザインターフェイスコンテンツデータのコピーを生成し、上記受け取った2Dユーザインターフェイスコンテンツデータを、上記3Dビデオコンテンツ内の位置において上記3Dビデオコンテンツの左画像ストライプと合成し、上記像差データに基づいて、上記2Dユーザインターフェイスコンテンツデータの上記コピーを、上記3Dビデオコンテンツの上記左画像ストライプと合成した上記受け取った2Dユーザインターフェイスコンテンツデータの上記位置から上記特定した変位で上記3Dビデオコンテンツの右画像ストライプと合成するようにプログラムされる。いくつかの実施では、上記プロセッサが、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、上記ディスプレイ上の上記3D深度に上記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記特定した変位に基づいて、3Dグラフィックオーバーレイオブジェクトを生成し、上記ディスプレイ上の位置に、上記表示した3Dビデオコンテンツを覆って上記3Dグラフィックオーバーレイオブジェクトを表示するようにプログラムされる。いくつかの実施では、上記3Dテレビ装置が、ユーザ入力装置を含み、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示す、上記ユーザ入力装置を介したユーザ入力を検出し、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求に基づいて調整する変位を決定し、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するようにさらにプログラムされる。いくつかの実施では、上記像差データが視差データを含み、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる要求、及び上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求の一方を含むかどうかを判定するようにさらにプログラムされ、上記プロセッサが、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の上記調整した3D深度に上記調整した3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる要求を含むと判定したことに応答して、上記視差データをマイナスに調整し、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する要求が、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求を含むと判定したことに応答して、上記視差データをプラスに調整するようにプログラムされる。いくつかの実施では、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる上記要求を含むと判定し、上記生成した3Dユーザインターフェイスコンテンツデータの上記要求された上記表示深度の減少に起因して、上記生成した3Dユーザインターフェイスコンテンツデータの少なくとも一部のエイリアシングが生じると判断し、上記生成した3Dユーザインターフェイスコンテンツデータの上記少なくとも一部の上記エイリアシングを避ける深度減少限界を決定するようにさらにプログラムされ、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求が、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示深度を減少させる上記要求を含むと判定したことに応答して、上記視差データをマイナスに調整するようにプログラムされる際に、上記視差データを、上記生成した3Dユーザインターフェイスコンテンツデータの上記少なくとも一部の上記エイリアシングを避ける上記深度減少限界までマイナスに調整するようにプログラムされる。いくつかの実施では、上記像差データが、ゼロ像差から、上記表示した3Dビデオコンテンツの最大深度に対応する最大像差までの像差データ範囲を含み、上記3Dテレビ装置が、ユーザ入力装置をさらに含み、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示す、上記ユーザ入力装置を介したユーザ入力を検出し、上記表示した3Dユーザインターフェイスコンテンツデータの上記表示深度を調整する上記要求に応答して、上記像差データを上記像差データ範囲内で調整し、上記調整した像差データに基づいて調整する変位を決定し、上記受け取った2Dユーザインターフェイスコンテンツデータ及び上記調整する変位に基づいて、上記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するようにさらにプログラムされる。いくつかの実施では、上記3Dテレビ装置が、ユーザ入力装置を含み、上記プロセッサが、上記生成した3Dユーザインターフェイスコンテンツデータの表示位置を調整する要求を示す、上記ユーザ入力装置を介したユーザ入力を検出し、上記検出した要求に応答して、上記生成した3Dユーザインターフェイスコンテンツデータの上記表示位置を調整するようにさらにプログラムされる。いくつかの実施では、上記プロセッサが、上記表示した3Dビデオコンテンツの平均深度を求め、上記像差データを、上記表示した3Dビデオコンテンツの上記求めた平均深度に調整するようにさらにプログラムされ、上記プロセッサが、上記像差データによって表される上記変位を特定するようにプログラムされる際に、上記調整した像差データに基づいて上記変位を特定するようにプログラムされる。いくつかの実施では、上記受け取った2Dユーザインターフェイスコンテンツデータが、サブタイトルテキストコンテンツ及びクローズドキャプションテキストコンテンツの一方を含む。いくつかの実施では、上記3Dビデオコンテンツが、フレームシーケンシャル方式の3Dビデオコンテンツを含む。いくつかの実施では、上記3Dビデオコンテンツが、横並びフォーマットの3Dビデオコンテンツ及び縦並びフォーマットの3Dビデオコンテンツの一方を含む。いくつかの実施では、上記3Dテレビが、ユーザ入力装置を含み、上記プロセッサが、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの不透明度を調整する要求を示す、上記ユーザ入力装置を介したユーザ入力を検出し、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの上記不透明度を調整するようにさらにプログラムされる。いくつかの実施では、上記プロセッサが、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの上記不透明度を調整するようにプログラムされる際に、上記表示した3Dビデオコンテンツに対する上記3Dユーザインターフェイスコンテンツデータの透明度及び上記像差データの一方を調整するようにプログラムされる。
当業者であれば、上記の教示を検討したときに、上記の例示的な実施形態のいくつかが、プログラムしたプロセッサの使用に基づくものであると認識するであろう。しかしながら、特殊用途向けハードウェア及び/又は専用プロセッサなどのハードウェアコンポーネントの同等物を使用して他の実施形態を実施することもできるので、本発明はこのような例示的な実施形態に限定されるものではない。同様に、汎用コンピュータ、マイクロプロセッサベースのコンピュータ、マイクロコントローラ、光学コンピュータ、アナログコンピュータ、専用プロセッサ、特定用途向け回路及び/又は専用配線論理を使用して、別の同等の実施形態を構成することもできる。
本明細書で説明したいくつかの実施形態は、いずれかの適当な電子憶媒又はコンピュータ可読記憶媒体上に記憶できる、フローチャートの形で広義に上述したプログラミング命令を実行するプログラムしたプロセッサを使用して実施され又は実施することができる。しかしながら、当業者であれば、本教示を検討した時に、本発明の実施形態から逸脱することなく上述の処理をあらゆる数の変形形態で、及び多くの好適なプログラム言語で実施できると理解するであろう。例えば、多くの場合、本発明のいくつかの実施形態から逸脱することなく、実施されるいくつかの動作の順序を変更することができ、さらなる動作を追加することができ、或いは動作を削除することもできる。本発明のいくつかの実施形態から逸脱することなく、エラートラップを追加及び/又は強化することができ、動作フロー、ユーザインターフェイス及び情報提示の変形例を作成することもできる。このような変形例は想定されており、同等物と見なされる。
いくつかの例示的な実施形態について説明したが、当業者には、上述の説明に照らして多くの代替、修正、置換、及び変形が明らかになることが明白である。
100:立体表示パネル
300:ディスプレイ装置
302:プロセッサ
304:赤外線入力
306:音声出力装置
308:通信
310:メモリ
312:2Dユーザインターフェイスコンテンツ
314:3Dユーザインターフェイスコンテンツ
316:2D−3Dユーザインターフェイス変換
318:相互接続部
300:ディスプレイ装置
302:プロセッサ
304:赤外線入力
306:音声出力装置
308:通信
310:メモリ
312:2Dユーザインターフェイスコンテンツ
314:3Dユーザインターフェイスコンテンツ
316:2D−3Dユーザインターフェイス変換
318:相互接続部
Claims (39)
- 3Dテレビ(TV)において2次元(2D)コンテンツデータを3次元(3D)コンテンツデータに変換する方法であって、
2D−3Dコンテンツ変換モジュールを介して、3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取るステップと、
前記2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定するステップと、
前記3Dビデオコンテンツを前記3D TVのディスプレイ上に表示するステップと、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成するステップと、
を含むことを特徴とする方法。 - 前記像差データを、前記2Dユーザインターフェイスコンテンツデータとともに受け取るステップをさらに含む、
ことを特徴とする請求項1に記載の方法。 - 前記像差データを生成するステップをさらに含む、
ことを特徴とする請求項1に記載の方法。 - 前記像差データに基づいて前記3D深度を決定するステップをさらに含む、
ことを特徴とする請求項1に記載の方法。 - 前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するステップが、
前記2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツのフレームシーケンシャル方式の左画像フレームと合成するステップと、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツの前記フレームシーケンシャル方式の左画像フレームと合成した前記2Dユーザインターフェイスコンテンツデータの前記位置から前記特定した変位で前記3Dビデオコンテンツの前記フレームシーケンシャル方式の右画像フレームと合成するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記2D−3Dコンテンツ変換モジュールを介して、前記3Dビデオコンテンツ及び前記2Dユーザインターフェイスコンテンツデータを受け取るステップが、
前記2D−3Dコンテンツ変換モジュールを介して、前記3Dビデオコンテンツ、前記2Dユーザインターフェイスコンテンツデータの第1のコピー、前記2Dユーザインターフェイスコンテンツデータの第2のコピー、及び前記像差データを受け取るステップを含み、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツを生成するステップが、
前記2Dユーザインターフェイスコンテンツデータの前記第1のコピーを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツの左画像ストライプと合成するステップと、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータの前記第2のコピーを、前記3Dビデオコンテンツの前記左画像ストライプと合成した前記2Dユーザインターフェイスコンテンツデータの第1のコピーの前記位置から前記特定した変位で前記3Dビデオコンテンツの右画像ストライプと合成するステップと、
を含む、
ことを特徴とする請求項1に記載の方法。 - 前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するステップが、
前記受け取った2Dユーザインターフェイスコンテンツデータのコピーを生成するステップと、
前記受け取った2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツの左画像ストライプと合成するステップと、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータの前記コピーを、前記3Dビデオコンテンツの前記左画像ストライプと合成した前記受け取った2Dユーザインターフェイスコンテンツデータの前記位置から前記特定した変位で前記3Dビデオコンテンツの右画像ストライプと合成するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するステップが、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、3Dグラフィックオーバーレイオブジェクトを生成するステップと、
前記ディスプレイ上の位置に、前記表示した3Dビデオコンテンツを覆って前記3Dグラフィックオーバーレイオブジェクトを表示するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示すユーザ入力を検出するステップと、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求に基づいて調整する変位を決定するステップと、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するステップと、
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記像差データが視差データを含み、前記方法が、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる要求、及び前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求の一方を含むかどうかを判定するステップをさらに含み、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の前記調整した3D深度に前記調整した3Dユーザインターフェイスコンテンツデータを生成するステップが、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる要求を含むと判定したことに応答して、前記視差データをマイナスに調整するステップと、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する要求が、前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求を含むと判定したことに応答して、前記視差データをプラスに調整するステップと、
を含む、
ことを特徴とする請求項9に記載の方法。 - 前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる前記要求を含むと判定するステップと、
前記生成した3Dユーザインターフェイスコンテンツデータの前記要求された前記表示深度の減少に起因して、前記生成した3Dユーザインターフェイスコンテンツデータの少なくとも一部のエイリアシングが生じると判断するステップと、
前記生成した3Dユーザインターフェイスコンテンツデータの前記少なくとも一部の前記エイリアシングを避ける深度減少限界を決定するステップと、
をさらに含み、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる前記要求を含むと判定したことに応答して前記視差データをマイナスに調整するステップが、前記視差データを、前記生成した3Dユーザインターフェイスコンテンツデータの前記少なくとも一部の前記エイリアシングを避ける前記深度減少限界までマイナスに調整するステップを含む、
ことを特徴とする請求項10に記載の方法。 - 前記像差データが、ゼロ像差から、前記表示した3Dビデオコンテンツの最大深度に対応する最大像差までの像差データ範囲を含み、前記方法が、
前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示すユーザ入力を検出するステップと、
前記表示した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求に応答して、前記像差データを前記像差データ範囲内で調整するステップと、
前記調整した像差データに基づいて調整する変位を決定するステップと、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成するステップと、
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記生成した3Dユーザインターフェイスコンテンツデータの表示位置を調整する要求を示すユーザ入力を検出するステップと、
前記検出した要求に応答して、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示位置を調整するステップと、
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記表示した3Dビデオコンテンツの平均深度を求めるステップと、
前記像差データを、前記表示した3Dビデオコンテンツの前記求めた平均深度に調整するステップと、
をさらに含み、前記像差データによって表される前記変位を特定するステップが、前記調整した像差データに基づいて前記変位を特定するステップを含む、
ことを特徴とする請求項1に記載の方法。 - 前記受け取った2Dユーザインターフェイスコンテンツデータが、サブタイトルテキストコンテンツ及びクローズドキャプションテキストコンテンツの一方を含む、
ことを特徴とする請求項1に記載の方法。 - 前記3Dビデオコンテンツが、フレームシーケンシャル方式の3Dビデオコンテンツを含む、
ことを特徴とする請求項1に記載の方法。 - 前記3Dビデオコンテンツが、横並びフォーマットの3Dビデオコンテンツ及び縦並びフォーマットの3Dビデオコンテンツの一方を含む、
ことを特徴とする請求項1に記載の方法。 - 前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの不透明度を調整する要求を示すユーザ入力を検出するステップと、
前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの前記不透明度を調整するステップと、
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの前記不透明度を調整するステップが、前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの透明度及び前記像差データの一方を調整するステップを含む、
ことを特徴とする請求項18に記載の方法。 - 1又はそれ以上のプログラムしたプロセッサ上で実行された時に請求項1に記載の方法を実行する命令を記憶する、
ことを特徴とするコンピュータ可読記憶媒体。 - メモリと、
ディスプレイと、
プロセッサと、
を備え、前記プロセッサが、
3Dビデオコンテンツ及び2Dユーザインターフェイスコンテンツデータを受け取り、
前記2Dユーザインターフェイスコンテンツデータの3Dレンダリングのための左目データ及び右目データの分離距離を定める像差データによって表される変位を特定し、
前記3Dビデオコンテンツを前記ディスプレイ上に表示し、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の3D深度に3Dユーザインターフェイスコンテンツデータを生成する、
ようにプログラムされる、
ことを特徴とする3次元(3D)テレビ装置。 - 前記プロセッサが、前記像差データを、前記2Dユーザインターフェイスコンテンツデータとともに受け取るようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記像差データを生成するようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記像差データに基づいて前記3D深度を決定するようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、
前記2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツのフレームシーケンシャル方式の左画像フレームと合成し、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツの前記フレームシーケンシャル方式の左画像フレームと合成した前記2Dユーザインターフェイスコンテンツデータの前記位置から前記特定した変位で前記3Dビデオコンテンツの前記フレームシーケンシャル方式の右画像フレームと合成する、
ようにプログラムされることを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、
前記3Dビデオコンテンツ及び前記2Dユーザインターフェイスコンテンツデータを受け取るようにプログラムされる際に、
前記3Dビデオコンテンツ、前記2Dユーザインターフェイスコンテンツデータの第1のコピー、前記2Dユーザインターフェイスコンテンツデータの第2のコピー、及び前記像差データを受け取るようにプログラムされ、
前記プロセッサが、前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、
前記2Dユーザインターフェイスコンテンツデータの前記第1のコピーを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツの左画像ストライプと合成し、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータの前記第2のコピーを、前記3Dビデオコンテンツの前記左画像ストライプと合成した前記2Dユーザインターフェイスコンテンツデータの第1のコピーの前記位置から前記特定した変位で前記3Dビデオコンテンツの右画像ストライプと合成する、
ようにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータ生成するようにプログラムされる際に、
前記受け取った2Dユーザインターフェイスコンテンツデータのコピーを生成し、
前記受け取った2Dユーザインターフェイスコンテンツデータを、前記3Dビデオコンテンツ内の位置において前記3Dビデオコンテンツの左画像ストライプと合成し、
前記像差データに基づいて、前記2Dユーザインターフェイスコンテンツデータの前記コピーを、前記3Dビデオコンテンツの前記左画像ストライプと合成した前記受け取った2Dユーザインターフェイスコンテンツデータの前記位置から前記特定した変位で前記3Dビデオコンテンツの右画像ストライプと合成する、
ようにプログラムされることを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、前記ディスプレイ上の前記3D深度に前記3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記特定した変位に基づいて、3Dグラフィックオーバーレイオブジェクトを生成し、
前記ディスプレイ上の位置に、前記表示した3Dビデオコンテンツを覆って前記3Dグラフィックオーバーレイオブジェクトを表示する、
ようにプログラムされることを特徴とする請求項21に記載の3Dテレビ装置。 - ユーザ入力装置をさらに備え、
前記プロセッサが、
前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示す、前記ユーザ入力装置を介したユーザ入力を検出し、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求に基づいて調整する変位を決定し、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成する、
ようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記像差データが視差データを含み、前記プロセッサが、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる要求、及び前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求の一方を含むかどうかを判定するようにさらにプログラムされ、
前記プロセッサが、前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の前記調整した3D深度に前記調整した3Dユーザインターフェイスコンテンツデータを生成するようにプログラムされる際に、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる要求を含むと判定したことに応答して、前記視差データをマイナスに調整し、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する要求が、前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を増加させる要求を含むと判定したことに応答して、前記視差データをプラスに調整する、
ようにプログラムされることを特徴とする請求項29による3Dテレビ装置。 - 前記プロセッサが、
前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる前記要求を含むと判定し、
前記生成した3Dユーザインターフェイスコンテンツデータの前記要求された前記表示深度の減少に起因して、前記生成した3Dユーザインターフェイスコンテンツデータの少なくとも一部のエイリアシングが生じると判断し、
前記生成した3Dユーザインターフェイスコンテンツデータの前記少なくとも一部の前記エイリアシングを避ける深度減少限界を決定する、
ようにさらにプログラムされ、
前記プロセッサが、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求が、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示深度を減少させる前記要求を含むと判定したことに応答して前記視差データをマイナスに調整するようにプログラムされる際に、
前記視差データを、前記生成した3Dユーザインターフェイスコンテンツデータの前記少なくとも一部の前記エイリアシングを避ける前記深度減少限界までマイナスに調整する、
ようにプログラムされる、
ことを特徴とする請求項30に記載の3Dテレビ装置。 - 前記像差データが、ゼロ像差から、前記表示した3Dビデオコンテンツの最大深度に対応する最大像差までの像差データ範囲を含み、前記3Dテレビ装置が、
ユーザ入力装置をさらに備え、
前記プロセッサが、
前記生成した3Dユーザインターフェイスコンテンツデータの表示深度を調整する要求を示す、前記ユーザ入力装置を介したユーザ入力を検出し、
前記表示した3Dユーザインターフェイスコンテンツデータの前記表示深度を調整する前記要求に応答して、前記像差データを前記像差データ範囲内で調整し、
前記調整した像差データに基づいて調整する変位を決定し、
前記受け取った2Dユーザインターフェイスコンテンツデータ及び前記調整する変位に基づいて、前記ディスプレイ上の調整した3D深度に調整した3Dユーザインターフェイスコンテンツデータを生成する、
ようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - ユーザ入力装置をさらに備え、
前記プロセッサが、
前記生成した3Dユーザインターフェイスコンテンツデータの表示位置を調整する要求を示す、前記ユーザ入力装置を介したユーザ入力を検出し、
前記検出した要求に応答して、前記生成した3Dユーザインターフェイスコンテンツデータの前記表示位置を調整する、
ようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、
前記表示した3Dビデオコンテンツの平均深度を求め、
前記像差データを、前記表示した3Dビデオコンテンツの前記求めた平均深度に調整する、
ようにさらにプログラムされ、
前記プロセッサが、前記像差データによって表される前記変位を特定するようにプログラムされる際に、前記調整した像差データに基づいて前記変位を特定するようにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記受け取った2Dユーザインターフェイスコンテンツデータが、サブタイトルテキストコンテンツ及びクローズドキャプションテキストコンテンツの一方を含む、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記3Dビデオコンテンツが、フレームシーケンシャル方式の3Dビデオコンテンツを含む、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記3Dビデオコンテンツが、横並びフォーマットの3Dビデオコンテンツ及び縦並びフォーマットの3Dビデオコンテンツの一方を含む、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - ユーザ入力装置をさらに備え、
前記プロセッサが、
前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの不透明度を調整する要求を示す、前記ユーザ入力装置を介したユーザ入力を検出し、
前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの前記不透明度を調整する、
ようにさらにプログラムされる、
ことを特徴とする請求項21に記載の3Dテレビ装置。 - 前記プロセッサが、前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの前記不透明度を調整するようにプログラムされる際に、前記表示した3Dビデオコンテンツに対する前記3Dユーザインターフェイスコンテンツデータの透明度及び前記像差データの一方を調整するようにプログラムされる、
ことを特徴とする請求項38に記載の3Dテレビ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/853,736 | 2010-08-10 | ||
US12/853,736 US8605136B2 (en) | 2010-08-10 | 2010-08-10 | 2D to 3D user interface content data conversion |
PCT/US2011/044524 WO2012021265A1 (en) | 2010-08-10 | 2011-07-19 | 2d to 3d user interface content data conversion |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013542622A true JP2013542622A (ja) | 2013-11-21 |
JP5633870B2 JP5633870B2 (ja) | 2014-12-03 |
Family
ID=45564552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013523181A Expired - Fee Related JP5633870B2 (ja) | 2010-08-10 | 2011-07-19 | 2d−3dユーザインターフェイスコンテンツデータ変換 |
Country Status (7)
Country | Link |
---|---|
US (2) | US8605136B2 (ja) |
EP (1) | EP2591467A4 (ja) |
JP (1) | JP5633870B2 (ja) |
CN (1) | CN103081002A (ja) |
BR (1) | BR112013002709A2 (ja) |
TW (1) | TWI444036B (ja) |
WO (1) | WO2012021265A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021039257A1 (ja) * | 2019-08-28 | 2021-03-04 | コニカミノルタ株式会社 | ヘッドアップディスプレイ装置、表示システム、および表示方法 |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8964013B2 (en) | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US9247286B2 (en) | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
US8823782B2 (en) * | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
JP5477349B2 (ja) * | 2010-09-30 | 2014-04-23 | カシオ計算機株式会社 | 画像合成装置、及び画像検索方法、プログラム |
JP2013546220A (ja) * | 2010-10-01 | 2013-12-26 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置および信号処理装置並びにその方法 |
US20120092364A1 (en) * | 2010-10-14 | 2012-04-19 | Microsoft Corporation | Presenting two-dimensional elements in three-dimensional stereo applications |
KR20120047055A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 디스플레이 장치 및 이에 적용되는 그래픽 영상 제공방법 |
JP5789960B2 (ja) * | 2010-11-18 | 2015-10-07 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5050094B2 (ja) * | 2010-12-21 | 2012-10-17 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
US9386294B2 (en) * | 2011-01-05 | 2016-07-05 | Google Technology Holdings LLC | Method and apparatus for 3DTV image adjustment |
JP5689707B2 (ja) * | 2011-02-15 | 2015-03-25 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 |
JP4892105B1 (ja) * | 2011-02-21 | 2012-03-07 | 株式会社東芝 | 映像処理装置、映像処理方法および映像表示装置 |
JP2012205148A (ja) * | 2011-03-25 | 2012-10-22 | Kyocera Corp | 電子機器 |
US20120293636A1 (en) * | 2011-05-19 | 2012-11-22 | Comcast Cable Communications, Llc | Automatic 3-Dimensional Z-Axis Settings |
US8799263B2 (en) * | 2011-09-04 | 2014-08-05 | Leigh M Rothschild | Systems, devices, and methods for providing multidimensional search results |
WO2013043761A1 (en) * | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
CN104081414B (zh) | 2011-09-28 | 2017-08-01 | Fotonation开曼有限公司 | 用于编码和解码光场图像文件的系统及方法 |
US9324183B2 (en) * | 2011-11-29 | 2016-04-26 | Apple Inc. | Dynamic graphical interface shadows |
KR101873747B1 (ko) * | 2011-12-27 | 2018-07-03 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN104185987B (zh) * | 2012-03-27 | 2017-03-08 | 皇家飞利浦有限公司 | 具有位置追踪的多用户自动立体显示 |
JP6092525B2 (ja) * | 2012-05-14 | 2017-03-08 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置、情報処理システム、画像処理方法およびプログラム |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
EP2926196A4 (en) * | 2012-11-30 | 2016-08-24 | Thomson Licensing | METHOD AND SYSTEM FOR DETECTING A 3D IMAGE USING A SINGLE CAMERA |
US9317958B2 (en) * | 2013-03-07 | 2016-04-19 | Mediatek Inc. | Auto-convergence system with active learning and related method and machine-readable medium thereof |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9438888B2 (en) | 2013-03-15 | 2016-09-06 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
CN103200415B (zh) * | 2013-04-23 | 2016-02-10 | 华录出版传媒有限公司 | 一种2d转3d的图像处理方法 |
US10484661B2 (en) * | 2013-08-06 | 2019-11-19 | Sony Interactive Entertainment Inc. | Three-dimensional image generating device, three-dimensional image generating method, program, and information storage medium |
CN104469338B (zh) * | 2013-09-25 | 2016-08-17 | 联想(北京)有限公司 | 一种控制方法和装置 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
CN104581341B (zh) * | 2013-10-24 | 2018-05-29 | 华为终端有限公司 | 一种字幕显示方法及字幕显示设备 |
US9667948B2 (en) | 2013-10-28 | 2017-05-30 | Ray Wang | Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
US10158847B2 (en) * | 2014-06-19 | 2018-12-18 | Vefxi Corporation | Real—time stereo 3D and autostereoscopic 3D video and image editing |
WO2016021861A1 (en) | 2014-08-02 | 2016-02-11 | Samsung Electronics Co., Ltd. | Electronic device and user interaction method thereof |
WO2016054089A1 (en) | 2014-09-29 | 2016-04-07 | Pelican Imaging Corporation | Systems and methods for dynamic calibration of array cameras |
CN105447898B (zh) * | 2015-12-31 | 2018-12-25 | 北京小鸟看看科技有限公司 | 一种虚拟现实设备中显示2d应用界面的方法和装置 |
CN106651999B (zh) * | 2016-12-27 | 2020-12-04 | 北京儒博科技有限公司 | 帧动画加载加速方法及装置 |
JP2018137505A (ja) * | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | 表示装置およびその制御方法 |
JP7379956B2 (ja) * | 2019-09-03 | 2023-11-15 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置およびプログラム |
US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
CN112533041A (zh) * | 2019-09-19 | 2021-03-19 | 百度在线网络技术(北京)有限公司 | 视频播放方法、装置、电子设备和可读存储介质 |
US12099148B2 (en) | 2019-10-07 | 2024-09-24 | Intrinsic Innovation Llc | Systems and methods for surface normals sensing with polarization |
MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
KR20220132620A (ko) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들 |
KR20220133973A (ko) | 2020-01-30 | 2022-10-05 | 인트린식 이노베이션 엘엘씨 | 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
CN114079764A (zh) * | 2020-08-11 | 2022-02-22 | 北京芯海视界三维科技有限公司 | 3d显示方法、3d显示装置及3d显示器件 |
US11893206B2 (en) * | 2020-09-02 | 2024-02-06 | Autodesk, Inc. | Transitions between states in a hybrid virtual reality desktop computing environment |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010058362A1 (en) * | 2008-11-24 | 2010-05-27 | Koninklijke Philips Electronics N.V. | Extending 2d graphics in a 3d gui |
WO2010058546A1 (ja) * | 2008-11-18 | 2010-05-27 | パナソニック株式会社 | 立体視再生を行う再生装置、再生方法、プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100358021B1 (ko) * | 1994-02-01 | 2003-01-24 | 산요 덴키 가부시키가이샤 | 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템 |
US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6344860B1 (en) | 1998-11-27 | 2002-02-05 | Seriate Solutions, Inc. | Methods and apparatus for a stereoscopic graphic user interface |
GB2358980B (en) * | 2000-02-07 | 2004-09-01 | British Broadcasting Corp | Processing of images for 3D display |
US6911975B2 (en) | 2000-09-11 | 2005-06-28 | Canon Kabushiki Kaisha | Stereo image display apparatus and method, and storage medium |
AU2002227428A1 (en) * | 2000-12-13 | 2002-06-24 | Zograph, Llc | Resolution modulation in microlens image reproduction |
WO2002059691A2 (en) | 2000-12-18 | 2002-08-01 | Alan Sullivan | 3d display devices with transient light scattering shutters |
US20050285853A1 (en) | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
KR100649523B1 (ko) | 2005-06-30 | 2006-11-27 | 삼성에스디아이 주식회사 | 입체 영상 표시 장치 |
JP2007317050A (ja) | 2006-05-29 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示を用いたユーザインタフェースシステム |
EP2105032A2 (en) | 2006-10-11 | 2009-09-30 | Koninklijke Philips Electronics N.V. | Creating three dimensional graphics data |
EP2157803B1 (en) | 2007-03-16 | 2015-02-25 | Thomson Licensing | System and method for combining text with three-dimensional content |
US20100045779A1 (en) * | 2008-08-20 | 2010-02-25 | Samsung Electronics Co., Ltd. | Three-dimensional video apparatus and method of providing on screen display applied thereto |
US8325978B2 (en) | 2008-10-30 | 2012-12-04 | Nokia Corporation | Method, apparatus and computer program product for providing adaptive gesture analysis |
JP5632291B2 (ja) * | 2008-11-18 | 2014-11-26 | パナソニック株式会社 | 特殊再生を考慮した再生装置、集積回路、再生方法 |
US8269821B2 (en) * | 2009-01-27 | 2012-09-18 | EchoStar Technologies, L.L.C. | Systems and methods for providing closed captioning in three-dimensional imagery |
WO2011091309A1 (en) * | 2010-01-21 | 2011-07-28 | General Instrument Corporation | Stereoscopic video graphics overlay |
-
2010
- 2010-08-10 US US12/853,736 patent/US8605136B2/en not_active Expired - Fee Related
-
2011
- 2011-07-19 TW TW100125457A patent/TWI444036B/zh not_active IP Right Cessation
- 2011-07-19 EP EP11816768.3A patent/EP2591467A4/en not_active Withdrawn
- 2011-07-19 JP JP2013523181A patent/JP5633870B2/ja not_active Expired - Fee Related
- 2011-07-19 CN CN2011800384133A patent/CN103081002A/zh active Pending
- 2011-07-19 WO PCT/US2011/044524 patent/WO2012021265A1/en active Application Filing
- 2011-07-19 BR BR112013002709A patent/BR112013002709A2/pt not_active IP Right Cessation
-
2013
- 2013-11-04 US US14/070,833 patent/US20140063019A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010058546A1 (ja) * | 2008-11-18 | 2010-05-27 | パナソニック株式会社 | 立体視再生を行う再生装置、再生方法、プログラム |
WO2010058362A1 (en) * | 2008-11-24 | 2010-05-27 | Koninklijke Philips Electronics N.V. | Extending 2d graphics in a 3d gui |
JP2012510102A (ja) * | 2008-11-24 | 2012-04-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 三次元guiにおける二次元グラフィックスの拡張 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021039257A1 (ja) * | 2019-08-28 | 2021-03-04 | コニカミノルタ株式会社 | ヘッドアップディスプレイ装置、表示システム、および表示方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201223247A (en) | 2012-06-01 |
EP2591467A1 (en) | 2013-05-15 |
BR112013002709A2 (pt) | 2016-05-31 |
US20120038745A1 (en) | 2012-02-16 |
EP2591467A4 (en) | 2014-12-17 |
WO2012021265A8 (en) | 2013-03-28 |
CN103081002A (zh) | 2013-05-01 |
US8605136B2 (en) | 2013-12-10 |
JP5633870B2 (ja) | 2014-12-03 |
WO2012021265A1 (en) | 2012-02-16 |
US20140063019A1 (en) | 2014-03-06 |
TWI444036B (zh) | 2014-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5633870B2 (ja) | 2d−3dユーザインターフェイスコンテンツデータ変換 | |
EP2448276B1 (en) | GUI providing method, and display apparatus and 3D image providing system using the same | |
US8896672B2 (en) | Image display device capable of three-dimensionally displaying an item or user interface and a method for operating the same | |
US8294754B2 (en) | Metadata generating method and apparatus and image processing method and apparatus using metadata | |
KR101435594B1 (ko) | 디스플레이 장치 및 그 디스플레이 방법 | |
KR101502597B1 (ko) | 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법 | |
US8514275B2 (en) | Three-dimensional (3D) display method and system | |
US11350156B2 (en) | Method and apparatus for implementing video stream overlays | |
CN102223555B (zh) | 图像显示装置及其控制方法 | |
US20100103168A1 (en) | Methods and apparatuses for processing and displaying image | |
US20110187822A1 (en) | Display apparatus, method for providing 3d image applied to the same, and system for providing 3d image | |
US20160295200A1 (en) | Generaton of images for an autostereoscopic multi-view display | |
US20110157303A1 (en) | Method and system for generation of captions over steroscopic 3d images | |
US20130050416A1 (en) | Video processing apparatus and video processing method | |
TW201215102A (en) | Signaling for multiview 3D video | |
US20120050471A1 (en) | Display apparatus and image generating method thereof | |
KR20100112940A (ko) | 데이터 처리방법 및 수신 시스템 | |
US20130120529A1 (en) | Video signal processing device and video signal processing method | |
US20120256912A1 (en) | Image processing apparatus, image processing method, and program | |
KR20150012976A (ko) | 다시점 영상 처리 장치 및 그 영상 처리 방법 | |
KR101674688B1 (ko) | 입체영상 재생 장치 및 입체영상 재생 방법 | |
US8830150B2 (en) | 3D glasses and a 3D display apparatus | |
US9547933B2 (en) | Display apparatus and display method thereof | |
JP2012230478A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101716171B1 (ko) | 영상표시장치 및 그 동작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140922 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141005 |
|
LAPS | Cancellation because of no payment of annual fees |