JP5492583B2 - 映像処理装置及び映像処理方法 - Google Patents

Description

技術分野は、伝送される映像信号を処理する映像処理装置及び映像処理方法に関する。

特許文献１には、「１台のモニタに３Ｄ画像表示と２Ｄ画像表示とを選択的に切換え表示することができ、使用者の目の疲れ等を防止して使い勝手を向上させることができる映像表示装置を提供すること」（特許文献１［０００８］参照）を課題とし、その解決手段として「被写体に対して左右両眼視差を持つ左右一対の撮像手段を設け、これらの撮像手段から送られる左右の各映像信号に基づく映像を映像再生画面上に再生して立体映像を表示する表示手段を備えた映像表示装置において、前記表示手段に３次元映像を表示する第１の信号処理機能およびこの第１の信号処理機能とは独立に前記表示手段に２次元映像を表示する第２の信号処理機能とを設けるとともに、前記第１の信号処理機能と第２の信号処理機能とを選択的に切換え操作する信号処理機能選択手段とを設けた」（特許文献１［０００９］参照）ことが記載されている。

特開平６−２５４０４６号公報

図１に通常の２Ｄ映像の１フレーム分のプログレッシブ信号を示す。６０Ｈｚのリフレッシュレートの映像信号であれば、１／６０秒の間に１コマの映像が伝送され、表示画面に表示される。これに対し、３Ｄ映像の映像信号を図２に示す。左眼、右眼それぞれについて６０Ｈｚの映像を提供しようとするならば、１／６０秒の前半の１／１２０秒（またはそれ以下の時間）で左眼用の映像信号３Ｌを、後半の１／１２０秒（またはそれ以下の時間）で右眼用の映像信号３Ｒを伝送（左眼、右眼の順は逆でもよい）しなければならないので、解像度（映像ドット数）を維持しようとすれば、２Ｄ映像の２倍のクロック周波数（単位時間当たりに伝送する映像ドット数）で伝送する必要がある。

２Ｄ映像と３Ｄ映像が切り替わる場合、例えば３Ｄ映像の番組中に２Ｄ映像のコマーシャルが挿入される場合や、２Ｄ番組と３Ｄ映像番組の切り替わりの瞬間などにおいては、クロック周波数が２倍又は半分に変化することになる。

このように、例えば２Ｄ番組と３Ｄ映像番組の切り替えを行う場合、表示装置内でこのクロック周波数の変化に対応するには一定の時間が必要になり、その対応のために表示が途切れるという課題があった。また、映像信号と共に音信号を伝送している場合は、音も途切れるという課題があった。

上記課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載された技術的思想を用いる。

上記手段によれば、映像の途切れを抑制し、ユーザにとって使い勝手のよい映像の表示を提供することができる。

２Ｄ映像信号の一例を示す図 ３Ｄ映像信号の一例を示す図 ２Ｄ映像信号の一例を示す図 ２Ｄ映像信号の一例を示す図 ２Ｄ映像信号の一例を示す図 映像信号処理の一例を示すフローチャート 信号回路の一例を示す図 システム構成の一例のを示す図

まず、図８を用いて本実施例のシステム構成の一例を説明する。Ｂｌｕ−ｒａｙ（Ｒ）プレイヤーなどのプレーヤー４０２から出力された映像信号４１２は、オーディオアンプ４０３に入力される。

ここで後述する映像信号処理が行われ、映像信号４１３が出力される。この映像信号４１３を受けた表示装置（ＴＶ４０４）が当該映像信号を映像として表示する。

また、映像信号が三次元映像の表示を可能とする映像信号（以下、「３Ｄ映像信号」とする。また、三次元映像のことを「３Ｄ映像」ともいう。）であればシャッタ眼鏡４０５にシャッタの開閉のタイミングを示す同期信号を送信する。テレビ４０４は、ケーブルテレビ受信機などのＳＴＢ（Set Top Box）４０１の出力映像信号４１１を選択して表示することもできる。映像信号４１１、４１２、及び４１３はいずれも後述する本実施例における映像信号の伝送方式を適用できる。

なお、上記ではオーディオアンプ４０３において映像信号処理を行うことを説明したが、プレイヤー４０２やＳＴＢ４０１において同様の信号処理を行う構成にしてもよい。

次に、オーディオアンプ４０３等で処理された映像信号の伝送について説明する。図３に、二次元映像の表示を可能とする映像信号（以下、「２Ｄ映像信号」とする。また、二次元映像のことを「２Ｄ映像」ともいう。）のクロック周波数を図２に示した３Ｄ映像信号と同様にする場合の映像信号を示す。図１の場合に比べて２倍のクロック周波数で伝送するため、半分の時間で２Ｄ映像信号の伝送が終了する。

ここで、５ａと５ｂとは同じ映像信号にして伝送する。すなわち、例えば通常であれば６０ＨｚのフレームレートでＡ→Ｂ→Ｃ→Ｄ（Ａ、Ｂ、Ｃ、Ｄはそれぞれ異なるフレームを示す）と２Ｄ映像信号を伝送するところを、１２０ＨｚのリフレッシュレートでＡ→Ａ→Ｂ→Ｂ→Ｃ→Ｃ→Ｄ→Ｄと２Ｄ映像信号を伝送することで、２Ｄ映像信号を伝送する場合も３Ｄ映像信号を伝送する場合と同じクロック周波数とすることができる。

この時、６０Ｈｚの垂直同期信号１に代えて、１２０Ｈｚの垂直同期信号１１を用いて、図４のように同じ映像信号５ａと５ｂを伝送してもよい。垂直同期信号の周波数を変えることにより、２Ｄ映像信号と３Ｄ映像信号を判別する事もできる。

図３と図４において、２度目に送る映像信号５ｂは必ずしも１回目に送る映像信号５ａと同一でなくてもよい。例えば、入力映像信号５ａの複数フレームから映像の動きベクトルの情報を検出し、補間フレーム５ｂを作成する技術を用いて形成してもよい。補間フレームを形成することで、動きが滑らかな映像表示ができる利点がある。さらに、表示装置がＬＣＤ等であり、動画応答改善を目的にする場合は、２度目に送る映像信号を黒表示（何も表示しない）としてもよい。

補間映像信号ではなく、もともと１２０Ｈｚの２Ｄ映像信号を伝送する場合は図５示したように、１２０Ｈｚの２Ｄ映像信号５１、５２、５３、５４を順次伝送してもよい。

これらの処理を行うことによって、コンテンツの内容は２Ｄ映像であっても、３Ｄ映像と同じクロック周波数で伝送することができるので、３Ｄ映像と２Ｄ映像切換え時に表示装置の表示切替をすばやく行う事ができる。

映像信号を送信する送信装置側でこのような２Ｄ映像信号のクロック周波数変換を行ってから受信側である表示装置側に映像信号を送信することで、表示装置は３Ｄ映像と２Ｄ映像の混在したコンテンツをスムーズに表示することが可能となる。

また、映像信号を受信する表示装置内部において、まずクロック周波数変換前の映像信号を表示装置内のクロック周波数変換部において受信し、上記のようなクロック周波数変換を行ってから、表示回路に映像信号を入力しても同様の効果が得られる。

このように３Ｄ映像信号と２Ｄ映像信号とを同じクロック周波数で伝送する場合、クロック周波数や映像フォーマットからは判断しにくいので、伝送中の映像信号が３Ｄ映像信号なのか、２Ｄ映像信号なのかを示すメタデータを付加して伝送することが有益である。

このメタデータは、映像信号伝送線に例えばＨＤＭＩ（Ｒ）（High definition Multimedia Interface）を使用する場合、映像信号に重畳されるInfoframe中に記載してもよいし、ＣＥＣ（Consumer Electronics Control）で伝送してもよい。

３Ｄ映像信号なのか、２Ｄ映像信号なのかを示すメタデータを映像信号に付加する場合の処理の一例を、図６のフローチャートに示す。この処理は、上記２Ｄ映像信号に対する処理の前後で行われてもよいし、当該処理と並行して行われてもよいが、入力された映像信号が２Ｄ映像信号であるか３Ｄ映像信号であるかの判断をより容易にするため、上記２Ｄ映像信号に対する処理の前に行うのが好ましい。

入力された映像信号は映像種類判別ステップ２０１においてクロック周波数、メタデータ、コンテンツの内容などの情報から３Ｄ映像信号であるか２Ｄ映像信号かを判別される。

２Ｄ映像信号であり、３Ｄ映像信号と異なるクロック周波数であると判断された場合、クロック周波数変換ステップ２０２において３Ｄ映像信号と同じクロック周波数に変換される。クロック周波数の変換においては、必要に応じて同じフレームを複製して２回ずつ繰り返したり、または補間フレームを作成して元のフレーム間に挿入したりするなどの処理を行う。また、元々３Ｄ映像信号と同じクロック周波数を有する２Ｄ映像信号については、ステップ２０２でクロック周波数の変換や補完フレームの作成は行わなくてよい。

なお、同じフレームを複製する回数や、挿入する補完フレームの数は、変換する周波数に応じて適宜変更すればよい。例えば、３Ｄ映像信号がＬＣＲの３視点から成り，その周波数が１８０Ｈｚ、２Ｄ映像信号の周波数が６０Ｈｚであった場合、同じフレームを複製して３回ずつ繰り返したり、または補完フレームの数を元のフレームの数の２倍としたりすればよい。

そして、ステップ２０３において作成された映像信号には２Ｄ映像であることを示すメタデータを付加する。また入力された映像信号が３Ｄ映像信号であり、そのことを示すメタデータが付加されていない場合は同様にここで３Ｄ映像信号であることを示すメタデータを付加する。こうして作成した映像信号２０４を送信する。

なお、ここでは２Ｄ映像信号と３Ｄ映像信号との双方にメタデータを付加する例を示したが、例えば３Ｄ映像信号のみにメタデータを付加するように処理し、当該処理された映像信号を受信した装置においてメタデータが付加されているものは３Ｄ映像信号、メタデータが付加されていないものは２Ｄ映像信号と判断するように構成してもよい。また、２Ｄ映像信号のみにメタデータを付加するように処理し、当該処理された映像信号を受信した装置においてメタデータが付加されているものは２Ｄ映像信号、メタデータが付加されていないものは３Ｄ映像信号と判断するように構成してもよい。

次に、上述の処理が施された映像信号を受信した装置における映像信号の表示について説明する。当該装置における３Ｄ映像の表示について、（１）表示装置の表示タイミングとシャッタ眼鏡のシャッター開閉のタイミングとの同期と取るための赤外線信号等の同期信号の発信、（２）シャッタ眼鏡を透過することによる輝度低下を補うための表示装置の輝度補正、（３）視聴者の目の疲れに配慮した画像処理、（４）３Ｄ映像の再生時に接続されるオーディオアンプを３Ｄ音場再生モードを指定して映像と音声の３Ｄ再生に対して同期をとる、といった機能を必要に応じて作動させてもよい。これらを作動させる信号として、伝送される映像信号が３Ｄ映像信号であるのか２Ｄ映像信号であるのかを示すメタデータを活用できる。

上記（２）の機能をさらに詳しく説明すると、３Ｄ表示状態ではシャッタ眼鏡の左眼用シャッタと右眼用シャッタが交互にオン（開く）とオフ（閉じる）を繰り返すのに対して、２Ｄ表示状態ではシャッタ眼鏡を左眼用シャッタ及び右眼用シャッタを両方共オンさせる。これにより、２Ｄ映像信号を視聴しているときは３Ｄ映像信号を視聴しているときに比べてシャッタ眼鏡の光の透過率が見かけ上約２倍以上にすることができる。

ここで、視聴者が感じる表示画面の輝度を３Ｄ映像信号の表示と２Ｄ映像信号の表示とで一定にしようとすると、２Ｄ映像信号を表示する場合は３Ｄ映像信号を表示する場合に比べて表示画面の輝度を約半分にするとよい。これにより、表示装置の消費電力を減らす事ができる。

次に、図７を用いて映像信号に対して上述した信号処理を行い出力する装置の構成について説明する。入力された映像信号はスイッチ３０５、クロック周波数変換・補間フレーム作成回路３０２、２Ｄ／３Ｄ判別部３０１に入力される。

２Ｄ／３Ｄ判別部３０１での判別結果が３Ｄ映像信号であるか、３Ｄ映像信号と同じクロック周波数の２Ｄ映像信号である場合は、スイッチ３０５は入力された映像信号を選択して映像信号・２Ｄ／３Ｄ情報重畳回路３０３へ出力する。

２Ｄ／３Ｄ判別部３０１での判別結果が２Ｄ映像信号であり、かつ３Ｄ映像信号と異なるクロック周波数である場合は、スイッチ３０５がクロック周波数変換・補間フレーム作成回路３０２の出力を選択して映像信号・２Ｄ／３Ｄ情報重畳回路３０３へ出力する。このようにして、２Ｄ映像信号と３Ｄ映像信号が同一のクロック周波数で出力する事ができる。

さらに、と２Ｄ／３Ｄ判別部３０１での判別結果に基づく情報（２Ｄ／３Ｄ映像信号判別や、２Ｄ映像信号のクロック周波数変換有無、フレーム補間方法など）が映像信号・２Ｄ／３Ｄ情報重畳回路３０３へ贈られて、映像信号に重畳され、信号２０４として出力される。

また、２Ｄ／３Ｄ判別部３０１での判別結果を独立した信号線、例えばＨＤＭＩ（Ｒ）のＣＥＣラインで送信してもよい。その場合映像信号・２Ｄ／３Ｄ情報重畳回路３０１での判別結果の重畳は省略してもよい。また、図６のステップ２０３におけるメタデータの付加も３０３にて行われてもよい。

先に述べた３Ｄ映像と３Ｄ音像の再生同期について、図８を用いて説明を加える。テレビ４０４は本実施例の２Ｄ／３Ｄ映像信号判別メタデータを参考にして、テレビでの２Ｄ／３Ｄ表示を切換えるが、視聴者が眼鏡をかけていないときは３Ｄ映像信号入力であっても２Ｄ映像表示のままとなっていることがある。

この場合、テレビが実際に３Ｄ映像を表示している間のみオーディオアンプ４０３が３Ｄ音像再生するように、例えばＨＤＭＩ（Ｒ）のＣＥＣラインで指示することによって、映像と音像の２Ｄ／３Ｄ切換えを同期させる事ができる。

特に、テレビ４０４がＳＴＢ４０１からの３Ｄ映像信号を選択して３Ｄ表示している場合、オーディオアンプ４０３にはＳＴＢ４０１の映像信号が入力されていないので、テレビ４０４で３Ｄ映像を表示しているのか２Ｄ映像を表示しているのかが不明になってしまうので、上記のような、テレビからの３Ｄ音像再生指示が有益である。

図８の構成図は一例であり、必ずしもこの構成に限られるものではない。例えば図６および７に示した処理をプレーヤー４０２内で行い、オーディオアンプ４０３ではその映像信号をそのまま出力して音信号の再生のみを行ってもよい。またテレビ４０４ではオーディオアンプ４０３からの、異なるクロック周波数の２Ｄ映像信号と３Ｄ映像信号を受け取り、図６および７の処理をテレビ４０４内で行ってもよい。

このように、本実施例によれば、２Ｄ映像信号と３Ｄ映像信号とが同じクロック周波数で伝送されることで、クロック周波数の切り替えに伴って一瞬表示や音が途切れる課題を解消できる。

また、２Ｄ映像信号であるか、３Ｄ映像信号であるかを区別する信号（メタデータ）を付加することで、クロック周波数が同一であっても２Ｄ映像信号であるか、３Ｄ映像信号であるかを区別する手段を得られ、３Ｄ映像表示を行う場合に、表示装置やその周辺機器が行う操作を妨げることがより少なくなる。

１ 垂直同期信号
２ 水平同期信号
３ ２Ｄ映像信号
４Ｌ 左眼用３Ｄ映像信号
４Ｒ 右眼用３Ｄ映像信号
５ａ、５ｂ ３Ｄ映像と同じクロック周波数を持つ２Ｄ映像信号
１１ １２０Ｈｚ垂直同期信号
５１、５２、５３、５４、 １２０Ｈｚの２Ｄ映像信号
２０１ 映像種類判別部
２０２ クロック周波数変換・補間フレーム作成部
２０３ 映像信号・２Ｄ／３Ｄ判別情報重畳部
２０４ 映像信号・２Ｄ／３Ｄ判別情報重畳信号
３０１ 映像種類判別回路
３０２ クロック周波数変換・補間フレーム作成回路
３０３ 映像信号・２Ｄ／３Ｄ判別情報重畳回路
３０５ スイッチ
４０１ ＳＴＢ（セットトップボックス）
４０２ プレーヤー
４０３ オーディオアンプ
４０４ テレビ
４０５ シャッタ眼鏡
４１１ ＳＴＢ出力映像信号
４１２ 映像プレーヤー出力映像信号
４１３ アンプ出力映像信号
４１４ テレビ-シャッタ眼鏡同期信号

Claims (14)

1. ３Ｄ映像信号と２Ｄ映像信号とが混在したコンテンツが入力される入力部と、
   前記入力部に入力された前記コンテンツの映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを判別する判別部と、
   前記入力部に入力された前記コンテンツの映像信号のクロック周波数を変換する周波数変換部と、
   前記入力部に入力された前記コンテンツの映像信号又は前記周波数変換部でクロック周波数を変換された前記コンテンツの映像信号を出力する映像信号出力部と、を有し、
   前記周波数変換部は、前記判別部で２Ｄ映像信号であると判別された前記コンテンツの映像信号のクロック周波数を前記入力部に入力される前記コンテンツの３Ｄ映像信号のクロック周波数と同じクロック周波数に変換し、
   前記映像信号出力部は、前記入力部に入力された前記コンテンツの映像信号が３Ｄ映像信号の場合は前記入力部に入力された３Ｄ映像信号を出力し、前記入力部に入力された前記コンテンツの映像信号が２Ｄ映像信号の場合は前記周波数変換部でクロック周波数を変換された２Ｄ映像信号を出力する映像処理装置。
2. 請求項１の映像処理装置であって、
   前記入力部に入力された前記コンテンツの映像信号に当該映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報を付加する映像処理装置。
3. 請求項２の映像処理装置であって、
   前記入力部に入力された前記コンテンツの映像信号と前記３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報とを重畳する重畳部を有する映像処理装置。
4. 請求項１の映像処理装置であって、
   前記入力部に入力された前記コンテンツの映像信号に当該映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報を出力する制御情報出力部とを有する映像処理装置。
5. 請求項１の映像処理装置であって、
   前記周波数変換部は、２Ｄ映像信号内の同じフレームを複数回伝送することで当該２Ｄ映像信号のクロック周波数の変換を行う映像処理装置。
6. 請求項１の映像処理装置であって、
   前記周波数変換部は、２Ｄ映像信号に全面黒の表示となるフレームを挿入することで当該２Ｄ映像信号のクロック周波数の変換を行う映像処理装置。
7. 請求項１の映像処理装置であって、
   前記周波数変換部は、２Ｄ映像信号内のフレームに基づいて作成した補完フレームを挿入することで当該２Ｄ映像信号のクロック周波数の変換を行う映像処理装置。
8. ３Ｄ映像信号と２Ｄ映像信号とが混在したコンテンツを入力するステップと、
   入力した前記コンテンツの映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを判別するステップと、
   入力した前記コンテンツの映像信号のクロック周波数を変換するステップと、
   入力した前記コンテンツの映像信号又はクロック周波数を変換された前記コンテンツの映像信号を出力するステップと、を有し、
   ２Ｄ映像信号であると判別された前記コンテンツの映像信号のクロック周波数を、入力する前記コンテンツの３Ｄ映像信号のクロック周波数と同じクロック周波数に変換し、
   入力した前記コンテンツの映像信号が３Ｄ映像信号の場合は入力した３Ｄ映像信号を出力し、入力した前記コンテンツの映像信号が２Ｄ映像信号の場合はクロック周波数を変換された２Ｄ映像信号を出力する映像処理方法。
9. 請求項８の映像処理方法であって、
   入力した前記コンテンツの映像信号に当該映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報を付加する映像処理方法。
10. 請求項９の映像処理方法であって、
    入力した前記コンテンツの映像信号と前記３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報とを重畳するステップを有する映像処理方法。
11. 請求項８の映像処理方法であって、
    入力した前記コンテンツの映像信号に当該映像信号が３Ｄ映像信号であるか２Ｄ映像信号であるかを示す情報を前記映像信号を出力する信号線とは異なる信号線から出力するステップとを有する映像処理方法。
12. 請求項８の映像処理方法であって、
    ２Ｄ映像信号内の同じフレームを複数回伝送することで前記２Ｄ映像信号のクロック周波数の変換を行う映像処理方法。
13. 請求項８の映像処理方法であって、
    ２Ｄ映像信号に全面黒の表示となるフレームを挿入することで前記２Ｄ映像信号のクロック周波数の変換を行う映像処理方法。
14. 請求項８の映像処理方法であって、
    ２Ｄ映像信号内のフレームに基づいて作成した補完フレームを挿入することで前記２Ｄ映像信号のクロック周波数の変換を行う映像処理方法。

Images