JP2012178818A - 映像符号化装置および映像符号化方法 - Google Patents

Abstract

【課題】３Ｄ映像として入力映像を符号化する際、立体視しやすい符号化映像を生成することができる映像符号化装置を提供する。
【解決手段】映像符号化装置１０３であって、入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する３Ｄ映像検出部１０４と、３Ｄ映像検出部１０４の判断結果に基づいて、符号化時に用いる量子化幅の上限値を設定する符号化パラメータ設定部１０５と、符号化パラメータ設定部１０５で設定された上限値以下の量子化幅で入力映像を符号化する符号化部１０６とを備え、符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４によって入力映像が３Ｄ映像であると判断された場合に、３Ｄ映像に対する量子化幅の上限値を、２Ｄ映像に対する量子化幅の上限値と異なる値に設定する。
【選択図】図１

Description

本発明は、３Ｄ映像または２Ｄ映像を圧縮符号化して光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に記録する映像符号化装置および映像符号化方法に関する。

デジタル映像技術の発展と共に、データ量の増大に対応してデジタル映像データを圧縮符号化する技術が発展しつつある。その発展は、映像データの特性を生かし、映像データに特化した圧縮符号化技術となって現れている。

Ｈ．２６４圧縮符号化は、光ディスクの１つの規格であるＢｌｕ−ｒａｙ（登録商標。以下、ＢＤと称す）および、ハイビジョン映像をビデオカメラで記録するための規格であるＡＶＣＨＤ（登録商標。Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の動画圧縮方式としても採用されており、幅広い分野での利用が期待されている。

一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動き量（以下、動きベクトルと称す）を検出し、検出した動きベクトルを考慮した予測（以下、動き補償と称す）を行う。

そして、当該画面間予測符号化では、この動き補償を行うことによって予測精度を上げ、符号化効率を向上させている。例えば、当該画面間予測符号化では、符号化対象となる入力映像の動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象となる入力映像との予測残差を符号化することにより、符号化に必要な情報量を削減している。

なお、ここで、動きベクトルの検出時に参照されるピクチャを参照ピクチャと呼ぶ。また、ピクチャとは１枚の画面を表す用語である。動きベクトルはブロック単位で検出されており、具体的には、符号化対象ピクチャ側のブロック（以下、符号化対象ブロックと称す）を固定しておき、参照ピクチャ側のブロック（以下、参照ブロックと称す）を探索範囲内で移動させる。

その結果、符号化対象ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。この動きベクトルを探索する処理を動きベクトル検出と呼ぶ。似通っているかどうかの判断としては、符号化対象ブロックと参照ブロックとの比較誤差を使用する。例えば、比較誤差として絶対値差分和（ＳＡＤ：Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）がよく用いられる。

なお、参照ピクチャ全体の中で参照ブロックを探索すると演算量が膨大となるため、参照ピクチャの中で探索する範囲を制限することが一般的であり、制限した範囲を探索範囲と呼ぶ。

画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャを、Ｉピクチャと呼ぶ。また、１枚の参照ピクチャから画面間予測符号化を行うものを、Ｐピクチャと呼ぶ。また、最大２枚の参照ピクチャから画面間予測符号化を行うものを、Ｂピクチャと呼ぶ。

一方、３Ｄ映像を符号化する方式として、様々な方式が提案されている（例えば、非特許文献１参照）。ここで、第１視点の映像信号（以下、第１視点映像と称す）と、当該第１視点とは異なる第２視点の映像信号（以下、第２視点映像と称す）で構成された映像信号を３Ｄ映像と称す。

なお、第１視点映像と第２視点映像とは、いずれか一方が右目用の映像で、もう一方が左目用の映像である。また、第１視点の映像信号のみで構成された映像信号を２Ｄ映像と称す。

３Ｄ映像を符号化する方式の一例としては、第１視点映像については、２Ｄ映像と同様の方式で符号化し、第２視点映像については、同時刻の第１視点映像のピクチャを参照ピクチャとして動き補償を行う方式が提案されている（以下、視差補償方式と称す）。

この方式は、後述するサイド・バイ・サイド方式と比べて、第１視点映像と第２視点映像の解像度を下げることなく符号化できるというメリットがある一方、画素情報量が２倍になるため、圧縮したときの符号量が増えてしまうというデメリットがある。

また、その他の一例としては、第１視点映像と第２視点映像とをそれぞれ水平方向に１／２に縮小し、縮小した映像信号を左右に並べ、２Ｄ映像と同様の方式で符号化する方式が提案されている（以下、サイド・バイ・サイド方式と称す）。

この方式は、２Ｄ映像と同様の方式で符号化できるため、新たな符号化装置を用意する必要ないというメリットがある一方で、第１視点映像と第２視点映像の解像度が水平方向で１／２に低下するため、視聴時の臨場感が低下するというデメリットがある。

「立体ハイビジョン撮像における左右画像間の幾何学的ひずみの検知限・許容限の検討」（ＮＨＫ）電子情報通信学会論文誌Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ Ｎｏ．９ ｐｐ．２５２２−２５３１（１９９７）

左右の映像間で垂直のずれや、傾きのずれ、あるいは大きさのずれといった、両眼で知覚する情報に大きな差異がある３Ｄ映像を視聴すると、認知的な矛盾が生じ、眼精疲労または映像酔いの原因となることが知られている（非特許文献１参照）。

圧縮符号化により圧縮歪みを伴った３Ｄ映像を視聴する場合、ブロックノイズやモスキートノイズなどの符号化歪みの表れ方が左右の映像で異なる。このため、認知的な矛盾が生じ、圧縮歪みのない映像よりも、立体視しづらいという課題が発生すると考えられる。

ＢＤレコーダやＡＶＣＨＤムービーでは、記録レートの異なる複数の記録モードが用意されていることが多く、記録時間と画質がトレードオフの関係になっている。しかし、記録レートの低い記録モードで記録する場合、量子化幅が高くなるシーンが多くなる。このため、３Ｄ映像を記録する場合は、記録レートが高い記録モードで記録した場合に比べて、画質が劣化するだけでなく、眼精疲労または映像酔いを発症しやすくなるといった課題があった。

本発明は、かかる課題を解決するためになされたものであり、３Ｄ映像として入力映像を符号化する際、立体視しやすい符号化映像を生成することができる映像符号化装置および映像符号化方法を提供することを目的とする。

上記の目的を達成するため、本発明の一態様に係る映像符号化装置は、入力映像を符号化する映像符号化装置であって、前記入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する判断部と、前記判断部の判断結果に基づいて、符号化時に用いる量子化幅の上限値を設定する設定部と、前記設定した上限値以下の量子化幅で、前記入力映像を符号化する符号化部と、を備え、前記設定部は、前記判断部によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値と異なる値に設定する。

このようにすれば、２Ｄ映像を符号化する際に適用される量子化幅の上限値と、３Ｄ映像を符号化する際に適用される量子化幅の上限値とを異なるものに設定することができる。これにより、映像符号化装置は、２Ｄ映像および３Ｄ映像の視聴特性に応じて、符号化条件を設定することが出来るため、２Ｄ映像および３Ｄ映像のそれぞれの映像特性に応じて符号化することが可能となる。したがって、映像符号化装置は、３Ｄ映像として入力映像を符号化する際、立体視しやすい符号化映像を生成することができる。

また好ましくは、前記設定部は、前記判断部によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値よりも小さい値に設定する。

このようにすれば、映像符号化装置は、２Ｄ映像を符号化するよりも３Ｄ映像を符号化するほうが、映像の圧縮歪みを低減することができる。これにより、例えば視聴者が３Ｄ映像を視聴する際にわざわざ符号化レートを変更せずとも、映像符号化装置は、３Ｄ映像として入力映像を符号化する際、自動的に２Ｄ映像よりも圧縮歪みを少なくすることができ、立体視しやすい符号化映像を生成することができる。

また好ましくは、前記設定部は、前記入力映像のピクチャタイプ毎に、異なる量子化幅の上限値を設定する。

このようにすれば、例えば、Ｉピクチャは、他のピクチャタイプに比べて量子化幅の上限値を高く設定することが出来る。これにより、映像符号化装置は、ピクチャタイプの映像品位に応じて、符号化条件を設定することが出来るため、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

また好ましくは、前記符号化部が前記入力映像の入力信号をインターレース信号として符号化する場合、前記設定部は、前記入力映像のフィールド毎に、異なる量子化幅の上限値を設定する。

このようにすれば、映像符号化装置は、フィールド毎の映像特性に応じて、符号化条件を設定することが出来るため、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

また好ましくは、前記設定部は、前記量子化幅に関連する情報である量子化マトリクスおよび量子化パラメータのうち、少なくとも一方の情報に対して、上限値を設定することで、前記量子化幅の上限値を設定する。

このようにすれば、映像符号化装置は、量子化マトリクスまたは量子化パラメータについて上限値を設定して量子化幅の上限値を設定することにより、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

なお、本発明は、このような映像符号化装置として実現することができるだけでなく、上記の映像符号化装置に含まれる各処理部を備える集積回路として実現することもできる。また、本発明は、当該処理部が行う特徴的な処理を含む映像符号化方法として実現することもできる。

また、本発明は、映像符号化方法に含まれる特徴的な処理をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

本発明によれば、入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断して、符号化する際に使用する量子化幅を制御する方式を決定するため、３Ｄ映像として入力映像を符号化する際、立体視しやすい符号化映像を生成することができる。

本実施の形態に係るビデオカメラの構成を示すブロック図 本実施の形態に係るビデオカメラにおける符号化部の詳細な構成を示すブロック図 本実施の形態に係るビデオカメラが実行する処理の一例を示すフローチャート 本実施の形態の変形例に係る符号化パラメータ設定部および符号化部が実行する処理の一例を示すフローチャート

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態）
本発明は、例えばビデオカメラといった、映像撮影装置が備える映像符号化装置として実現することができる。本実施の形態では、映像符号化装置を搭載したビデオカメラが実行する処理について説明する。

図１は、本実施の形態に係るビデオカメラ１００の構成を示すブロック図である。本実施の形態に係るビデオカメラ１００においては、３Ｄ映像または２Ｄ映像が入力映像として入力され、Ｈ．２６４圧縮方式で符号化されたストリームとして記録される。

Ｈ．２６４圧縮方式による符号化においては、１つのピクチャを１つまたは複数のスライスに分割し、そのスライスを処理単位としている。本実施の形態におけるＨ．２６４圧縮方式による符号化では、１つのピクチャが１つのスライスであるとする。

図１において、ビデオカメラ１００は、制御部１０１と、撮像部１０２と、映像符号化装置１０３と、記録部１０７とを備える。また、映像符号化装置１０３は、３Ｄ映像検出部１０４と、符号化パラメータ設定部１０５と、符号化部１０６とを備える。

制御部１０１は、ビデオカメラ１００全体の動作を制御する。制御とは、例えば、撮影を開始するかまたは終了するか、３Ｄ撮影モードで撮影するかまたは２Ｄ撮影モードで撮影するか（以下、撮影モード情報と称す）、ＩＳＯ感度制御、ズーム制御、記録レートをいくらにするか、といったビデオカメラ１００全体の動作の制御をいう。制御部１０１は、これらの制御についての情報（以下、制御情報と称す）を、撮像部１０２と、３Ｄ映像検出部１０４と、符号化部１０６とに出力する。

撮像部１０２は、制御部１０１から出力された制御情報に基づいて、光学像を形成して撮像し、デジタル信号として入力映像を取得する。具体的に、撮像部１０２は、立体視用の映像を生成する。

この立体視用の映像は、少なくとも第１視点において形成された光学像から生成される第１視点映像、および、第２視点において形成された光学像から生成される第２視点映像から構成される。使用者は、第１視点映像および第２視点映像を特定の表示方法で視聴すると、当該第１視点映像および当該第２視点映像を立体映像として視聴することができる。

本実施の形態においては、撮像部１０２は、３Ｄ映像を撮影した場合、第１視点映像と第２視点映像とを生成し、符号化部１０６および３Ｄ映像検出部１０４に出力するものとする。また、撮像部１０２は、２Ｄ映像を撮影した場合、第１視点映像のみを生成し、符号化部１０６および３Ｄ映像検出部１０４に出力するものとする。

３Ｄ映像検出部１０４は、制御部１０１から出力された撮影モード情報に基づいて、入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する判断部である。そして、３Ｄ映像検出部１０４は、判断結果を検出情報として符号化パラメータ設定部１０５に出力する。

符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４から出力された検出情報に基づいて、符号化する際に使用する量子化幅の上限値を設定する設定部である。つまり、符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４によって入力映像が３Ｄ映像であると判断された場合、３Ｄ映像に対する量子化幅の上限値を、２Ｄ映像に対する量子化幅の上限値と異なる値に設定する。

具体的には、符号化パラメータ設定部１０５は、検出情報に基づいて入力映像が３Ｄ映像であると判断する場合、予め定めた第１の上限値（以下、第１上限値と称す）をＴＨ＿ＱＰに設定する。一方、符号化パラメータ設定部１０５は、検出情報に基づいて入力映像が２Ｄ映像であると判断する場合、予め定めた第２の上限値（以下、第２上限値と称す）をＴＨ＿ＱＰに設定する。

ここで、第１上限値は第２上限値よりも小さく設定される。つまり、符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４によって入力映像が３Ｄ映像であると判断された場合に、３Ｄ映像に対する量子化幅の上限値を、２Ｄ映像に対する量子化幅の上限値よりも小さい値に設定する。

また、第１上限値は予め設定される値であるが、符号化部１０６からの出力結果に基づいて動的に変わる値であっても構わない。また、第２上限値は、例えば、Ｈ．２６４圧縮符号化方式で取り得る量子化幅の最大値である。なお、第２上限値は上記の値に限定されるものではなく、第１上限値よりも大きい値であればどのような値を用いても構わない。

なお、Ｈ．２６４圧縮符号化方式では、量子化マトリクスと、Ｑ_Ｐというパラメータ（量子化パラメータ）とから量子化幅を決定している。このため、符号化パラメータ設定部１０５は、量子化幅に関連する情報である量子化マトリクスおよび量子化パラメータＱ_Ｐのうち、少なくとも一方の情報に対して、上限値を設定することで、量子化幅の上限値を設定することにしてもよい。

具体的には、符号化パラメータ設定部１０５は、量子化幅の上限値を、量子化マトリクスとＱ_Ｐの両方の上限値を設定することで求めてもよい。また、符号化パラメータ設定部１０５は、量子化マトリクスのみ上限値を設定し、例えば、量子化マトリクスの係数が一定以上にならないようにすることで量子化幅の上限値を設定してもよい。また、符号化パラメータ設定部１０５は、Ｑ_Ｐのみ上限値を設定し、例えば、Ｑ_Ｐが一定値以上にならないようすることで量子化幅の上限値を設定してもよい。

また、Ｑ_Ｐは符号化対象ブロック毎に設定可能であるが、制御を簡易にするために、符号化パラメータ設定部１０５は、スライス単位で挿入されるヘッダ情報に記載されているＱ_Ｐ値が一定値以上にならないように上限値を設定してもよい。具体的には、符号化パラメータ設定部１０５は、Ｈ．２６４圧縮符号化方式におけるスライスヘッダのｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａというパラメータが一定値以上にならないように上限値を設定する。

さらには、符号化パラメータ設定部１０５は、入力映像のピクチャタイプ毎に、異なる量子化幅の上限値を設定することにしてもよい。具体的には、符号化パラメータ設定部１０５は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャタイプ毎に上限値を変更してもよい。

また、符号化部１０６が入力映像の入力信号をインターレース信号として符号化する場合には、符号化パラメータ設定部１０５は、入力映像のフィールド毎に、異なる量子化幅の上限値を設定することにしてもよい。つまり、符号化パラメータ設定部１０５は、入力映像がインターレース信号である場合は、トップフィールドとボトムフィールドとで上限値を変更してもよい。

また、符号化パラメータ設定部１０５は、数秒単位または映像シーン単位（以下、基準単位と称す）で基準となる量子化幅の基準パラメータを設定し、当該基準パラメータに基づいて基準単位内の各符号化単位における量子化幅を設定するレート制御を行なう場合、当該基準パラメータが一定値以上にならないように上限値を設定してもよい。

また、符号化パラメータ設定部１０５は、第１視点映像と、第２視点映像とを符号化するときのそれぞれの量子化幅の上限値を変えてもよい。

また、符号化パラメータ設定部１０５は、記録レートから求められる目標発生符号量に対して、出力ストリームの発生符号量がどれだけ乖離しているかに応じて、上限値を変更してもよい。具体的には、符号化パラメータ設定部１０５は、符号化した出力ストリームの発生符号量が、記録レートから求められる目標発生符号量より多い場合は、上限値を大きくし、少ない場合は、上限値を小さく設定する。

また、符号化パラメータ設定部１０５は、復号用のバッファであるＤＰＢ（デコードピクチャバッファ）の残量から求まる量子化幅の上限値（以下、第３上限値と称す）が、設定した量子化幅の上限値よりも大きい場合は、当該第３上限値を優先させるように、量子化幅の上限値を再設定することにしてもよい。つまり、この場合、符号化パラメータ設定部１０５は、当該第３上限値を、量子化幅の上限値として再設定する。

また、符号化パラメータ設定部１０５は、設定した量子化幅の上限値における記録レートでの累積符号量が、目標とする記録レート（ターゲットレート）での累積符号量から乖離し続ける場合、記録レートをターゲットレートに近づけるように、量子化幅の上限値を上昇させることにしてもよい。

符号化部１０６は、符号化パラメータ設定部１０５が設定した上限値以下の量子化幅で、入力映像を符号化する。具体的には、符号化部１０６は、制御部１０１から出力された記録レートと、符号化パラメータ設定部１０５が出力した量子化幅の上限値に従って、撮像部１０２が出力した入力映像を、Ｈ．２６４圧縮方式により圧縮符号化する。

なお、符号化部１０６が利用する符号化方式は、上記の方式に限定されるものではなく、次世代画像符号化標準規格であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格など、量子化幅を利用する符号化方式であればどのようなものを利用しても構わない。

記録部１０７は、符号化部１０６が出力した出力ストリームを内部メモリ等に記録し、保持する。

次に、図２を用いて、符号化部１０６の詳細な構成について説明する。なお、図２は、本実施の形態に係るビデオカメラ１００における符号化部１０６の詳細な構成を示すブロック図である。

図２において、符号化部１０６は、入力映像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、予測モード判定部２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、加算部２１２、エントロピー符号化部２１３、およびレート制御部２１４を備えている。

入力映像データメモリ２０１は、撮像部１０２から入力される映像を格納する。例えば、撮像部１０２から第１視点映像および第２視点映像が入力される場合、入力映像データメモリ２０１は、第１視点映像信号および第２視点映像信号の２つの信号を格納する。なお、入力映像データメモリ２０１が保持している信号は、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、予測モード判定部２０６、および差分演算部２０７により参照される。

参照画像データメモリ２０２は、加算部２１２から入力されるローカルデコード画像を格納する。

面内予測部２０３は、参照画像データメモリ２０２に格納されているローカルデコード画像から同一画面内の符号化後の画素を用いて面内予測を行い、面内予測の予測画像を生成する。そして、面内予測部２０３は、生成した予測画像を、予測モード判定部２０６に出力する。

動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されているローカルデコード画像を探索対象とし、最も入力映像に近い画像領域を検出して、その位置を示す動きベクトルを決定する。そして、動きベクトル検出部２０４は、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定し、決定したそれらの情報を、動き補償部２０５およびエントロピー符号化部２１３に送信する。

動き補償部２０５は、動きベクトル検出部２０４から出力された情報に含まれる動きベクトルにしたがって、参照画像データメモリ２０２に格納されているローカルデコード画像から、予測画像に最適な画像領域を取り出す。そして、動き補償部２０５は、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部２０６に出力する。

予測モード判定部２０６は、予測モードを判定して、その判定結果に基づき、面内予測部２０３からの面内予測で生成された予測画像と、動き補償部２０５からの面間予測で生成された予測画像とを切り替えて出力する。予測モード判定部２０６において予測モードを判定する方法としては、例えば、面間予測と面内予測について、それぞれ入力映像と予測画像との各画素の差分絶対値和を求め、この値が小さい方を予測モードと判定する。

差分演算部２０７は、入力映像データメモリ２０１から、符号化対象となる画像データを取得する。そして、差分演算部２０７は、取得した入力映像と予測モード判定部２０６から出力された予測画像との画素差分値を計算し、計算した画素差分値を直交変換部２０８に出力する。

直交変換部２０８は、差分演算部２０７から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部２０９に出力する。

量子化部２０９は、レート制御部２１４から入力された量子化幅に基づいて、直交変換部２０８から入力された周波数係数を量子化する。そして、量子化部２０９は、量子化した値、すなわち量子化値を符号化データとして、エントロピー符号化部２１３および逆量子化部２１０に出力する。

逆量子化部２１０は、量子化部２０９から入力された量子化値を逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換部２１１に出力する。

逆直交変換部２１１は、逆量子化部２１０から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部２１２に出力する。

加算部２１２は、逆直交変換部２１１から入力される画素差分値と、予測モード判定部２０６から入力される予測画像とを加算してローカルデコード画像とし、そのローカルデコード画像を参照画像データメモリ２０２に出力する。

ここで、参照画像データメモリ２０２に記憶されるローカルデコード画像は、入力映像データメモリ２０１に記憶される入力映像と基本的には同じ画像であるが、直交変換部２０８および量子化部２０９などで一旦直交変換および量子化処理がされた後、逆量子化部２１０および逆直交変換部２１１などで逆量子化および逆直交変換処理がされるため、量子化歪みなどの歪み成分を有している。

エントロピー符号化部２１３は、量子化部２０９から入力された量子化値および動きベクトル検出部２０４から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを出力ストリームとして出力する。

レート制御部２１４は、エントロピー符号化部２１３が出力した出力ストリームの符号量を監視し、出力ストリームのビットレートが制御部１０１から出力された記録レートに近づくように量子化幅を設定する。

さらに、レート制御部２１４は、符号化パラメータ設定部１０５が出力した量子化幅の上限値に従って、量子化幅の補正処理を行い、量子化部２０９に出力する。

例えば、出力ストリームのビットレートが記録レートに近づくように算出した量子化幅をＱＰ、符号化パラメータ設定部１０５が出力した量子化幅の上限値をＴＨ＿ＱＰとする。この場合、レート制御部２１４は、ＱＰがＴＨ＿ＱＰ以上の場合、ＱＰに代えてＴＨ＿ＱＰまたはＴＨ＿ＱＰよりも小さい量子化幅を新たな量子化幅として設定する。逆に、レート制御部２１４は、ＱＰがＴＨ＿ＱＰより小さい場合、そのままＱＰを量子化幅に設定する。

なお、レート制御部２１４がエントロピー符号化部２１３の出力結果に基づいて、レート制御を行なう構成を説明したが、レート制御部２１４が量子化部２０９の出力結果に基づいてレート制御を行なう構成でも構わない。

次に、以上のように構成されたビデオカメラ１００が実行する処理について、説明する。

図３は、本実施の形態に係るビデオカメラ１００が実行する処理の一例を示すフローチャートである。

まず、制御部１０１は、撮影を開始するよう制御する情報を撮像部１０２に出力する（Ｓ３０１）。撮影を開始するかまたは終了するかを、ユーザが制御する具体的な方法は、例えば、ビデオカメラの筐体に撮影開始および撮影終了ボタンを設け、ユーザが当該ボタンを操作することにより、撮影を開始するかまたは終了するかを制御する方法がある。

次に、撮像部１０２は、制御部１０１から撮影を開始するよう制御する情報を受け取ると、光学像を形成して、撮像し、デジタル信号として入力映像を取得する（Ｓ３０２）。そして、デジタル信号として取得された入力映像は、符号化部１０６の入力映像データメモリ２０１に格納される。

なお、３Ｄ撮影モードで撮影する場合、撮像部１０２は、第１視点映像と第２視点映像の両方をデジタル信号として取得する。また、２Ｄ撮影モードで撮影する場合、撮像部１０２は、第１視点映像のみをデジタル信号として取得する。

入力映像は、２Ｄ撮影モードで撮影する場合、例えば、１９２０画素×１０８０画素によって構成されている。また、３Ｄ撮影モードで撮影する場合、視差補償方式を用いて記録する場合は、例えば、第１視点映像と第２視点映像のそれぞれが１９２０画素×１０８０画素によって構成される。また、サイド・バイ・サイド方式で記録する場合は、例えば、第１視点映像と第２視点映像とをそれぞれ水平方向に１／２に縮小した、９６０画素×１０８０画素の画像データを左右に並べ、１９２０画素×１０８０画素とし、２Ｄ映像と同様の画像データとして扱う。

次に、３Ｄ映像検出部１０４は、制御部１０１から出力された撮影モード情報に基づいて、入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する（Ｓ３０３）。そして、３Ｄ映像検出部１０４は、判断結果を検出情報として符号化パラメータ設定部１０５に出力する。より具体的には、３Ｄ映像検出部１０４は、撮影モードが３Ｄ撮影モードである場合、３Ｄ映像であると判断し、撮影モードが２Ｄ撮影モードである場合、２Ｄ映像であると判断する。

次に、符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４から出力された検出情報に基づいて、符号化する際に使用する量子化幅の上限値ＴＨ＿ＱＰを設定する（Ｓ３０４）。具体的には、符号化パラメータ設定部１０５は、検出情報に基づいて入力映像が３Ｄ映像であると判断する場合、予め定めた第１上限値をＴＨ＿ＱＰとして設定する。一方、符号化パラメータ設定部１０５は、検出情報に基づいて入力映像が２Ｄ映像であると判断する場合、予め定めた第２上限値をＴＨ＿ＱＰに設定する。

次に、符号化部１０６は、制御部１０１から出力された記録レートと、符号化パラメータ設定部１０５が出力した量子化幅の上限値ＴＨ＿ＱＰとにしたがって、入力映像を符号化する（Ｓ３０５）。具体的には、符号化部１０６は、動きベクトル検出、動き補償、面内予測、直交変換、量子化およびエントロピー符号化、レート制御等の一連の符号化処理を実行する。本実施の形態においては、符号化部１０６は、Ｈ．２６４符号化方式にしたがって入力映像を符号化するものとする。

そして、記録部１０７は、符号化部１０６が出力した出力ストリームを、内部メモリ等に記録し、保持する（Ｓ３０６）。内部メモリは、ハードディスク、フラッシュメモリなどで実現される。さらには、ＳＤカードスロットをビデオカメラ１００に具備し、ＳＤカードを着脱可能な構成にした上で、ＳＤカードに出力ストリームを記録し保持してもよい。

（実施の形態の変形例）
次に、図４を用いて、符号化パラメータ設定部１０５および符号化部１０６が実行する他の処理例について、説明する。

図４は、本実施の形態の変形例に係る符号化パラメータ設定部１０５および符号化部１０６が実行する処理の一例を示すフローチャートである。

まず、符号化パラメータ設定部１０５は、３Ｄ映像検出部１０４から入力された検出情報に基づいて、入力映像が２Ｄ映像であるか、３Ｄ映像であるかを判断する（Ｓ４０１）。入力映像が２Ｄ映像である場合、符号化パラメータ設定部１０５は第２上限値を設定し、Ｓ４０５に移行する。一方、入力映像が３Ｄ映像である場合、符号化パラメータ設定部１０５は第１上限値を設定し、Ｓ４０２に移行する。

次に、符号化パラメータ設定部１０５が入力映像が３Ｄ映像であると判断した場合（Ｓ４０１でＹｅｓ）、レート制御部２１４は、設定した量子化幅が符号化パラメータ設定部１０５から入力される第１上限値以上か否かを判断する（Ｓ４０２）。もし、設定した量子化幅が第１上限値以上である場合、Ｓ４０３に移行する。一方、設定した量子化幅が第１上限値よりも小さい場合、Ｓ４０４に移行する。

そして、設定した量子化幅が第１上限値以上であると判断された場合（Ｓ４０２でＹｅｓ）、符号化部１０６は、入力映像を視聴時に２Ｄ映像として視聴されるように、当該入力映像を符号化するように動作を切り替える（Ｓ４０３）。

ここで、２Ｄ映像として視聴されるように入力映像を符号化する方法としては、入力映像のうち第１視点映像の符号化結果を第２視点映像にそのままコピーする方法や、第２視点映像の符号化結果として第１視点映像を符号化した結果を参照するスキップマクロブロックを利用する方法等がある。要するに、第１視点映像と第２視点映像とを視聴した際、立体的に視聴できないようにする方法であればどのような方法を利用しても構わない。

また、設定した量子化幅が第１上限値よりも小さいと判断した場合は（Ｓ４０２でＮｏ）、符号化部１０６は、符号化パラメータ設定部１０５が設定した第１上限値に基づいて、入力映像を符号化する（Ｓ４０４）。これにより、符号化部１０６は、３Ｄ映像を構成する符号化済みの第１視点映像および第２視点映像を生成する。

また、符号化パラメータ設定部１０５が入力映像が２Ｄ映像であると判断した場合は（Ｓ４０１でＮｏ）、符号化部１０６は、符号化パラメータ設定部１０５が設定した第２上限値に基づいて、入力映像を符号化する（Ｓ４０５）。これにより、符号化部１０６は、２Ｄ映像を構成する符号化済みの入力映像を生成する。

このように、本実施の形態およびその変形例におけるビデオカメラ１００は、３Ｄ映像撮影モードであるか、２Ｄ映像撮影モードであるかによって、入力映像が３Ｄ映像か２Ｄ映像かを判断する。そして、当該ビデオカメラ１００は、入力映像が３Ｄ映像であると判断した場合、レート制御部２１４で算出された量子化幅を、符号化パラメータ設定部１０５で設定した量子化幅の上限値で補正し、量子化幅が設定した上限値を超えないように符号化する。このように量子化幅を制御することにより、圧縮歪みを伴う３Ｄ映像を視聴したときの眼精疲労または映像酔いを抑制することができる。このため、ユーザが快適に３Ｄ映像を視聴することが可能となる。

（まとめ）
本実施の形態およびその変形例に係る映像符号化装置は、入力映像を符号化する映像符号化装置１０３であって、前記入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する３Ｄ映像検出部１０４と、前記３Ｄ映像検出部１０４の判断結果に基づいて、符号化時に用いる量子化幅の上限値を設定する符号化パラメータ設定部１０５と、前記設定した上限値以下の量子化幅で、前記入力映像を符号化する符号化部１０６と、を備え、前記符号化パラメータ設定部１０５は、前記３Ｄ映像検出部１０４によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値と異なる値に設定する。

このようにすれば、２Ｄ映像を符号化する際に適用される量子化幅の上限値と、３Ｄ映像を符号化する際に適用される量子化幅の上限値とを異なるものに設定することができる。これにより、映像符号化装置１０３は、２Ｄ映像および３Ｄ映像の視聴特性に応じて、符号化条件を設定することが出来るため、２Ｄ映像および３Ｄ映像のそれぞれの映像特性に応じて符号化することが可能となる。したがって、映像符号化装置１０３は、は、３Ｄ映像として入力映像を符号化する際、立体視しやすい符号化映像を生成することができる。

また好ましくは、前記符号化パラメータ設定部１０５は、前記３Ｄ映像検出部１０４によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値よりも小さい値に設定する。

このようにすれば、映像符号化装置１０３は、２Ｄ映像を符号化するよりも３Ｄ映像を符号化するほうが、映像の圧縮歪みを低減することができる。これにより、例えば視聴者が３Ｄ映像を視聴する際にわざわざ符号化レートを変更せずとも、映像符号化装置は、３Ｄ映像として入力映像を符号化する際、自動的に２Ｄ映像よりも圧縮歪みを少なくすることができ、立体視しやすい符号化映像を生成することができる。

また好ましくは、前記符号化パラメータ設定部１０５は、前記入力映像のピクチャタイプ毎に異なる量子化幅の上限値を設定する。

このようにすれば、例えば、Ｉピクチャは、他のピクチャタイプに比べて量子化幅の上限値を高く設定することが出来る。これにより、映像符号化装置１０３は、ピクチャタイプの映像品位に応じて、符号化条件を設定することが出来るため、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

また好ましくは、前記符号化部１０６が前記入力映像の入力信号をインターレース信号として符号化する場合、前記符号化パラメータ設定部１０５は、前記入力映像のフィールド毎に異なる量子化幅の上限値を設定する。

このようにすれば、映像符号化装置１０３は、フィールド毎の映像特性に応じて、符号化条件を設定することが出来るため、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

また好ましくは、前記符号化パラメータ設定部１０５は、前記量子化幅に関連する情報である量子化マトリクスおよび量子化パラメータのうち、少なくとも一方の情報に対して、上限値を設定する。

このようにすれば、映像符号化装置１０３は、量子化マトリクスまたは量子化パラメータについて上限値を設定して量子化幅の上限値を設定することにより、３Ｄ映像として入力映像を符号化する際、より立体視しやすい符号化映像を生成することが出来る。

以上、本実施の形態およびその変形例について説明したが、本発明はこれに限定されるものではない。つまり、今回開示された実施の形態及びその変形例は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

例えば、本実施の形態およびその変形例においては、ビデオカメラ１００として説明したが、放送波を受信するレコーダとしても構わない。

また、本実施の形態およびその変形例においては、映像符号化装置１０３は、ビデオカメラの撮影モードに従って、２Ｄ映像であるか３Ｄ映像であるかを判断していたが、入力映像のヘッダ情報に基づいて、２Ｄ映像であるか３Ｄ映像であるかを判断しても構わない。また、本発明が放送波を記録するレコーダで実現されている場合、映像符号化装置１０３は、入力映像である放送波に含まれる番組情報に基づいて、２Ｄ映像であるか３Ｄ映像であるかを判断しても構わない。

また、本実施の形態およびその変形例においては、映像符号化装置１０３は、符号化ストリームの符号化情報にしたがって、３Ｄ映像であるか、２Ｄ映像であるかを判断しているが、その他の方法でもよい。例えば、入力映像がサイド・バイ・サイド方式の３Ｄ映像である場合、映像符号化装置１０３は、左目用の画像データと、右目用の画像データとについてマッチング処理を実行し、得られた相関度によって、３Ｄ映像であるか、２Ｄ映像であるかを判断してもよい。

また、本実施の形態およびその変形例においては、圧縮符号化方式としてＨ．２６４を用いた場合を例に挙げたが、これに限るものではなく、例えばＭＰＥＧ２といった、Ｈ．２６４以外の映像圧縮符号化方式に対して本発明を適用してもよい。

なお、本発明は、上記実施の形態およびその変形例における各手段を備える映像符号化装置として実現することができるばかりでなく、映像符号化装置が具備する各手段を各ステップとする映像符号化方法や、映像符号化装置が具備する各手段を備える映像符号化集積回路、および映像符号化方法に含まれるステップをコンピュータに実行させる映像符号化プログラムとして実現することも可能である。

そして、この映像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

また、映像符号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成しても良いし、複数チップで構成しても良い。例えば、メモリ以外の機能ブロックを１チップＬＳＩで構成しても良い。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。

また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としても良い。

本発明に係る映像符号化装置は、ユーザが快適に３Ｄ映像を視聴することができるように、Ｈ．２６４などの圧縮符号化方式による映像の符号化を行うことができるため、レコーダ、ビデオカメラ、デジタルカメラ、パーソナルコンピュータ、カメラ付き携帯電話機等に適用できる。

１００ ビデオカメラ
１０１ 制御部
１０２ 撮像部
１０３ 映像符号化装置
１０４ ３Ｄ映像検出部
１０５ 符号化パラメータ設定部
１０６ 符号化部
１０７ 記録部
２０１ 入力映像データメモリ
２０２ 参照画像データメモリ
２０３ 面内予測部
２０４ 動きベクトル検出部
２０５ 動き補償部
２０６ 予測モード判定部
２０７ 差分演算部
２０８ 直交変換部
２０９ 量子化部
２１０ 逆量子化部
２１１ 逆直交変換部
２１２ 加算部
２１３ エントロピー符号化部
２１４ レート制御部

Claims (6)

1. 入力映像を符号化する映像符号化装置であって、
   前記入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する判断部と、
   前記判断部の判断結果に基づいて、符号化時に用いる量子化幅の上限値を設定する設定部と、
   前記設定した上限値以下の量子化幅で、前記入力映像を符号化する符号化部と、を備え、
   前記設定部は、前記判断部によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値と異なる値に設定する
   映像符号化装置。
2. 前記設定部は、前記判断部によって前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値よりも小さい値に設定する
   請求項１に記載の映像符号化装置。
3. 前記設定部は、前記入力映像のピクチャタイプ毎に、異なる量子化幅の上限値を設定する
   請求項１または請求項２に記載の映像符号化装置。
4. 前記符号化部が前記入力映像の入力信号をインターレース信号として符号化する場合、
   前記設定部は、前記入力映像のフィールド毎に、異なる量子化幅の上限値を設定する
   請求項１から請求項３のいずれか１項に記載の映像符号化装置。
5. 前記設定部は、前記量子化幅に関連する情報である量子化マトリクスおよび量子化パラメータのうち、少なくとも一方の情報に対して、上限値を設定することで、前記量子化幅の上限値を設定する
   請求項１から請求項４のいずれか１項に記載の映像符号化装置。
6. 入力映像を符号化する映像符号化方法であって、
   前記入力映像が３Ｄ映像であるか、２Ｄ映像であるかを判断する判断ステップと、
   前記判断ステップでの判断結果に基づいて、符号化時に用いる量子化幅の上限値を設定する設定ステップと、
   前記設定ステップで設定された上限値以下の量子化幅で、前記入力映像を符号化する符号化ステップと、を含み、
   前記設定ステップでは、前記判断ステップで前記入力映像が前記３Ｄ映像であると判断された場合に、前記３Ｄ映像に対する前記量子化幅の上限値を、前記２Ｄ映像に対する前記量子化幅の上限値と異なる値に設定する
   映像符号化方法。

Images