以下では、本発明に係る映像信号処理装置及び映像信号処理方法について、実施の形態に基づいて図面を参照しながら詳細に説明する。
(実施の形態1)
実施の形態1に係る映像信号処理装置は、左眼用画像と右眼用画像とを含む三次元映像信号を処理する映像信号処理装置であって、左眼用画像及び右眼用画像の一方から、所定の処理を行う際に用いられる情報を取得する情報取得部と、情報取得部によって取得された情報を用いて、左眼用画像及び右眼用画像の両方に上記所定の処理を行う画像処理部とを備えることを特徴とする。より具体的には、本実施の形態では、情報取得部は、画像特徴量検出処理の一例であるフィルム検出を行い、その検出結果を用いて、左眼用画像を含む左眼用映像データと右眼用画像を含む右眼用映像データとの両方にそれぞれ走査方式の変換又はフレームレートの変換を行う。
まず、実施の形態1に係る映像信号処理装置を含む映像信号処理システムの構成について説明する。
図1は、実施の形態1に係る映像信号処理装置100を含む映像信号処理システム10の構成を示すブロック図である。
図1に示す映像信号処理システム10は、デジタルビデオレコーダ20と、デジタルテレビ30と、シャッタメガネ40とを備える。また、デジタルビデオレコーダ20とデジタルテレビ30とは、HDMI(High Definition Multimedia Interface)ケーブル41によって接続されている。
デジタルビデオレコーダ20は、記録媒体42に記録されている三次元映像信号のフォーマットを変換し、変換した三次元映像信号を、HDMIケーブル41を介してデジタルテレビ30に出力する。なお、記録媒体42は、例えば、BD(Blu−ray Disc)などの光ディスク、HDD(Hard Disk Drive)などの磁気ディスク、又は、不揮発性メモリなどである。
デジタルテレビ30は、デジタルビデオレコーダ20からHDMIケーブル41を介して入力される三次元映像信号、又は、放送波43に含まれる三次元映像信号のフォーマットを変換し、変換した三次元映像信号に含まれる三次元映像を表示する。なお、放送波43は、例えば、地上デジタルテレビ放送、及び衛星デジタルテレビ放送などである。
シャッタメガネ40は、三次元映像を見るために視聴者が装着するメガネであって、例えば、液晶シャッタメガネである。シャッタメガネ40は、左眼用液晶シャッタと右眼用液晶シャッタとを備え、デジタルテレビ30が表示する映像と同期してシャッタの開閉を制御することができる。
なお、デジタルビデオレコーダ20は、放送波43に含まれる三次元映像信号、又は、インターネットなどの通信網を介して取得した三次元映像信号のフォーマットを変換してもよい。また、デジタルビデオレコーダ20は、外部の装置から外部入力端子(図示せず)を介して入力された三次元映像信号のフォーマットを変換してもよい。
同様に、デジタルテレビ30は、記録媒体42に記録されている三次元映像信号のフォーマットを変換してもよい。また、デジタルテレビ30は、デジタルビデオレコーダ20以外の外部の装置から、外部入力端子(図示せず)を介して入力された三次元映像信号のフォーマットを変換してもよい。
また、デジタルビデオレコーダ20とデジタルテレビ30とは、HDMIケーブル41以外の規格のケーブルによって接続されていてもよく、あるいは、無線通信網により接続されていてもよい。
以下では、デジタルビデオレコーダ20、及びデジタルテレビ30の詳細な構成について説明する。まず、デジタルビデオレコーダ20について説明する。
図1に示すように、デジタルビデオレコーダ20は、入力部21と、デコーダ22と、映像信号処理装置100と、HDMI通信部23とを備える。
入力部21は、記録媒体42に記録されている三次元映像信号51を取得する。三次元映像信号51は、例えば、MPEG−4 AVC/H.264などの規格に基づいて圧縮符号化された符号化三次元映像を含んでいる。
デコーダ22は、入力部21によって取得された三次元映像信号51を復号することで、入力三次元映像信号52を生成する。
映像信号処理装置100は、デコーダ22によって生成された入力三次元映像信号52を処理することで、出力三次元映像信号53を生成する。映像信号処理装置100の詳細な構成及び動作については、後で説明する。
HDMI通信部23は、映像信号処理装置100によって生成された出力三次元映像信号53を、HDMIケーブル41を介してデジタルテレビ30に出力する。
なお、デジタルビデオレコーダ20は、生成した出力三次元映像信号を、当該デジタルビデオレコーダ20が備える記憶部(HDD及び不揮発性メモリなど)に記憶してもよい。あるいは、当該デジタルビデオレコーダ20に着脱可能な記録媒体(光ディスクなど)に記録してもよい。
また、デジタルビデオレコーダ20は、HDMIケーブル41以外の手段によってデジタルテレビ30と接続されている場合は、HDMI通信部23の代わりに、当該手段に対応した通信部を備えていてもよい。例えば、デジタルビデオレコーダ20は、接続手段が無線通信網である場合は無線通信部を、接続手段が他の規格に従ったケーブルである場合は、当該規格に対応する通信部を備える。なお、デジタルビデオレコーダ20は、これら複数の通信部を備え、複数の通信部を切り替えて利用してもよい。
続いて、デジタルテレビ30について説明する。
図1に示すように、デジタルテレビ30は、入力部31と、デコーダ32と、HDMI通信部33と、映像信号処理装置100と、表示パネル34と、トランスミッタ35とを備える。
入力部31は、放送波43に含まれる三次元映像信号54を取得する。三次元映像信号54は、例えば、MPEG−4 AVC/H.264などの規格に基づいて圧縮符号化された符号化三次元映像を含んでいる。
デコーダ32は、入力部31によって取得された三次元映像信号54を復号することで、入力三次元映像信号55を生成する。
HDMI通信部33は、デジタルビデオレコーダ20のHDMI通信部23から出力された出力三次元映像信号53を取得し、入力三次元映像信号56として映像信号処理装置100に出力する。
映像信号処理装置100は、入力三次元映像信号55及び56を処理することで、出力三次元映像信号57を生成する。映像信号処理装置100の詳細な構成及び動作については、後で説明する。
表示パネル34は、出力三次元映像信号57に含まれる三次元映像を表示する。
トランスミッタ35は、無線通信を用いて、シャッタメガネ40のシャッタの開閉を制御する。
なお、デジタルテレビ30は、デジタルビデオレコーダ20と同様に、HDMIケーブル41以外の手段によってデジタルビデオレコーダ20と接続されている場合は、HDMI通信部33の代わりに、当該手段に対応した通信部を備えていてもよい。
ここで、表示パネル34が表示する三次元映像について説明し、表示パネル34とシャッタメガネ40との同期をとる方法について説明する。
三次元映像は、互いに視差を有する左眼用画像と右眼用画像とを含んでいる。左眼用画像が視聴者の左眼に、右眼用画像が視聴者の右眼にそれぞれ選択的に入射されることで、視聴者は、映像を立体的に感じることが可能となる。
デジタルテレビ30が備える映像信号処理装置100によって生成された出力三次元映像信号57の一例を図2Aに示す。なお、図2Aは、実施の形態1に係る三次元映像信号の配置パターンの一例を示す図である。
図2Aに示す出力三次元映像信号57は、左眼用画像57Lと右眼用画像57Rとを1フレーム毎に交互に含んでいる。例えば、出力三次元映像信号57のフレームレートは120fpsであり、走査方式はプログレッシブ方式である。なお、このような映像信号を120pの映像信号とも記載する。
表示パネル34は、図2Aに示す出力三次元映像信号57を受け取り、1フレーム毎に左眼用画像57Lと右眼用画像57Rとを交互に表示する。このとき、トランスミッタ35は、表示パネル34が左眼用画像57Lを表示している期間に、シャッタメガネ40の左眼用液晶シャッタを開き、かつ、右眼用液晶シャッタを閉じるようにシャッタメガネ40を制御する。また、トランスミッタ35は、表示パネル34が右眼用画像57Rを表示している期間に、シャッタメガネ40の右眼用液晶シャッタを開き、かつ、左眼用液晶シャッタを閉じるようにシャッタメガネ40を制御する。これにより、視聴者の左眼には左眼用画像57Lが、右眼には右眼用画像57Rがそれぞれ選択的に入射される。
このように、表示パネル34は、左眼用画像57Lと右眼用画像57Rとを時間的に切り替えて表示する。なお、図2Aに示す例では、1フレーム毎に左眼用画像57Lと右眼用画像57Rとを切り替えたが、複数フレーム毎に切り替えてもよい。
なお、視聴者の左眼と右眼とにそれぞれ選択的に左眼用画像と右眼用画像とを入射させる方法は、上記の方法に限らず、他の方法を用いてもよい。
例えば、デジタルテレビ30が備える映像信号処理装置100は、図2Bに示すような出力三次元映像信号58を生成してもよい。生成した出力三次元映像信号58は、表示パネル34に出力される。なお、図2Bは、実施の形態1に係る三次元映像信号の配置パターンの一例を示す図である。
例えば、図2Bに示す出力三次元映像信号58は、左眼用画像58Lと右眼用画像58Rとを、1フレーム内の異なる領域に含んでいる。具体的には、左眼用画像58Lと右眼用画像58Rとが市松状に配置されている。例えば、出力三次元映像信号58のフレームレートは60fpsであり、走査方式はプログレッシブ方式である。なお、このような映像信号を60pの映像信号とも記載する。
表示パネル34は、図2Bに示す出力三次元映像信号58を受け取り、左眼用画像58Lと右眼用画像58Rとが市松状に配置された画像を表示する。この場合、表示パネル34は、左眼用画像58Lが表示される画素上に形成された左眼用偏光フィルムと、右眼用画像58Rが表示される画素上に形成された右眼用偏光フィルムとを備える。これにより、左眼用画像58Lと右眼用画像58Rとに互いに異なる偏光(直線偏光又は円偏光など)をかける。
さらに、視聴者は、シャッタメガネ40の代わりに、表示パネル34が備える偏光にそれぞれ対応する左眼用偏光フィルタと右眼用偏光フィルタとを備える偏光メガネを装着する。これにより、視聴者の左眼及び右眼にそれぞれ、左眼用画像58Lと右眼用画像58Rとを選択的に入射させることができる。
このように、表示パネル34は、左眼用画像58Lと右眼用画像58Rとが1フレーム内に空間的に異なる領域に配置された映像を表示する。なお、図2Bに示す例では、1画素毎に左眼用画像58Lと右眼用画像58Rとを配置したが、複数の画素毎に左眼用画像58Lと右眼用画像58Rとを配置してもよい。また、市松状でなくてもよく、水平ライン毎、又は、垂直ライン毎に左眼用画像58Lと右眼用画像58Rとを配置してもよい。
以下では、実施の形態1に係る映像信号処理装置100の詳細な構成及び動作について説明する。
実施の形態1に係る映像信号処理装置100は、左眼用画像と右眼用画像とを含む三次元映像信号を処理する。具体的には、映像信号処理装置100は、入力された三次元映像信号にフォーマット変換処理を行う。例えば、デジタルビデオレコーダ20が備える映像信号処理装置100は、第1フォーマットの入力三次元映像信号52を第2フォーマットの出力三次元映像信号53に変換する。
ここで、映像信号処理装置100が行うフォーマット変換処理とは、配置パターン、フレームレート、走査方式、及び画像サイズの変換の少なくとも1つの処理である。なお、映像信号処理装置100は、これら以外の処理を行ってもよい。
配置パターンの変換は、三次元映像信号に含まれる左眼用画像と右眼用画像との時間的な配置又は空間的な配置を変換することである。例えば、映像信号処理装置100は、図2Aに示す三次元映像信号を図2Bに示す三次元映像信号に変換する。
フレームレートの変換は、三次元映像信号のフレームレートを変換することである。例えば、映像信号処理装置100は、フレーム補間、又はフレームのコピー処理を行うことで、低フレームレート(例えば、60fps)の三次元映像信号を高フレームレート(例えば、120fps)の三次元映像信号に変換する。あるいは、映像信号処理装置100は、フレームを間引くことで、又は、複数のフレームを時間的に平均化したフレームを生成することで、高フレームレートの三次元映像信号を低フレームレートの三次元映像信号に変換する。
走査方式の変換は、インターレース方式からプログレッシブ方式への変換、又は、プログレッシブ方式からインターレース方式への変換である。なお、インターレース方式とは、奇数番目のラインから構成されるトップフィールドと偶数番目のラインから構成されるボトムフィールドとにフレームを分けて走査する方式である。
画像サイズの変換は、画像の拡大及び縮小を行うことである。例えば、映像信号処理装置100は、画素の補間又はコピーを行うことで画像を拡大する。あるいは、映像信号処理装置100は、画素を間引くことで、又は、複数の画素の平均値を算出することで画像を縮小する。例えば、画像サイズには、VGA(640×480)、ハイビジョン画像(1280×720)、及びフルハイビジョン画像(1920×1080)などがある。
図3は、実施の形態1に係る映像信号処理装置100の構成を示すブロック図である。
図3に示す映像信号処理装置100は、入力選択部110と、第1処理部120と、第2処理部130と、合成部140とを備える。
入力選択部110は、入力三次元映像信号を左眼用画像210Lと右眼用画像210Rとに分割し、左眼用画像210Lを第1処理部120へ出力し、右眼用画像210Rを第2処理部130へ出力する。具体的には、入力選択部110は、入力三次元映像信号を、左眼用画像と右眼用画像とのうち左眼用画像のみを含む左眼用映像データと、右眼用画像のみを含む右眼用映像データとに分割する。そして、入力選択部110は、左眼用映像データを第1処理部120へ出力し、右眼用映像データを第2処理部130へ出力する。なお、入力選択部110は、入力三次元映像信号を第1処理部120と第2処理部130とへそれぞれ出力し、第1処理部120が左眼用映像データを抽出し、第2処理部130が右眼用映像データを抽出してもよい。
第1処理部120は、入力選択部110から入力された左眼用映像データを処理する。具体的には、第1処理部120は、左眼用映像データのフォーマット変換を行う。このとき、第1処理部120は、左眼用映像データから、所定の処理を行う際に用いられる情報を取得し、取得した情報を第2処理部130へ出力する。例えば、第1処理部120は、入力された左眼用映像データに画像特徴検出処理を行うことで、特徴検出結果として所定の情報を取得する。画像特徴検出処理は、例えば、フィルム検出である。フィルム検出の詳細は後で説明する。
第2処理部130は、入力選択部110から入力された右眼用映像データを処理する。具体的には、第2処理部130は、右眼用映像データのフォーマット変換を行う。このとき、第2処理部130は、第1処理部120によって左眼用映像データから取得された情報を受け取る。そして、第2処理部130は、受け取った情報を利用して、右眼用映像データに所定の処理を行う。
合成部140は、第1処理部120によって生成された変換後の左眼用画像250Lと、第2処理部130によって生成された変換後の右眼用画像250Rとを合成することにより、合成画像260を生成する。生成された合成画像260を含む映像信号は、出力三次元映像信号として出力される。
第1処理部120の詳細な構成は、以下の通りである。
図3に示すように、第1処理部120は、第1水平リサイズ部121と、変換処理部122と、垂直リサイズ部123と、第2水平リサイズ部124とを備える。
第1水平リサイズ部121は、入力された左眼用画像210Lの水平方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。例えば、第1水平リサイズ部121は、画素を間引くことで、又は、複数の画素の平均値を算出することで、左眼用画像210Lを水平方向に縮小する。縮小後の左眼用画像220Lは、変換処理部122に出力される。
変換処理部122は、入力された縮小後の左眼用画像220LにIP変換を行う。IP変換は、走査方式の変換の一例であり、縮小後の左眼用画像220Lの走査方式を、インターレース方式からプログレッシブ方式へ変換することである。IP変換後の左眼用画像230Lは、垂直リサイズ部123に出力される。
なお、変換処理部122は、所定の処理に用いられる情報を左眼用画像220Lから取得し、第2処理部130へ出力する。また、変換処理部122は、ノイズリダクション処理(NR処理)を行ってもよい。変換処理部122の詳細な構成及び動作については、後で図4を用いて説明する。また、上記の所定の処理及び当該処理に用いられる情報についても、後で説明する。
垂直リサイズ部123は、変換処理部122によってIP変換された左眼用画像230Lの垂直方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。リサイズ後の左眼用画像240Lは、第2水平リサイズ部124に出力される。
第2水平リサイズ部124は、リサイズ後の左眼用画像240Lの水平方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。例えば、第2水平リサイズ部124は、画素を補間することで、又は、画素をコピーすることでリサイズ後の左眼用画像240Lを水平方向に拡大する。拡大後の左眼用画像250Lは、合成部140に出力される。
また、第2処理部130の詳細な構成は、以下の通りである。
図3に示すように、第2処理部130は、第1水平リサイズ部131と、変換処理部132と、垂直リサイズ部133と、第2水平リサイズ部134とを備える。
第1水平リサイズ部131は、入力された右眼用画像210Rの水平方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。例えば、第1水平リサイズ部131は、画素を間引くことで、又は、複数の画素の平均値を算出することで、右眼用画像210Rを水平方向に縮小する。縮小後の右眼用画像220Rは、変換処理部132に出力される。
変換処理部132は、入力された縮小後の右眼用画像220RにIP変換を行う。IP変換は、縮小後の右眼用画像220Rの走査方式を、インターレース方式からプログレッシブ方式へ変換することである。IP変換後の右眼用画像230Rは、垂直リサイズ部133に出力される。
なお、変換処理部132は、第1処理部120の変換処理部122から所定の処理に用いられる情報を取得する。また、変換処理部132は、ノイズリダクション処理(NR処理)を行ってもよい。
垂直リサイズ部133は、変換処理部132によってIP変換された右眼用画像230Rの垂直方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。リサイズ後の右眼用画像240Rは、第2水平リサイズ部134に出力される。
第2水平リサイズ部134は、リサイズ後の右眼用画像240Rの水平方向の画像サイズをリサイズ、すなわち、拡大又は縮小する。例えば、第2水平リサイズ部134は、画素を補間することで、又は、画素をコピーすることでリサイズ後の右眼用画像240Rを水平方向に拡大する。拡大後の右眼用画像250Rは、合成部140に出力される。
なお、入力選択部110は、左眼用画像210Lを第2処理部130へ出力し、右眼用画像210Rを第1処理部120へ出力してもよい。また、入力三次元映像信号として、左眼用画像のみを示す左眼用映像信号と右眼用画像のみを示す右眼用映像信号との2つの映像信号が入力された場合は、入力選択部110は、分割処理を行うことなく、左眼用映像信号を第1処理部120へ出力し、右眼用映像信号を第2処理部130へ出力してもよい。
以上のように、実施の形態1に係る映像信号処理装置100は、左眼用画像及び右眼用画像のいずれか一方から情報を取得し、取得した情報を用いて左眼用画像及び右眼用画像の両方を処理する。
続いて、上記の映像信号処理装置100が行う処理について、図4及び図5を用いて説明する。なお、図4は、実施の形態1に係る映像信号処理装置100の動作の一例を示すフローチャートである。図5は、実施の形態1に係る映像信号処理装置100による三次元映像信号の流れの一例を示す図である。
以下では、デジタルビデオレコーダ20が備える映像信号処理装置100の動作について説明する。なお、デジタルテレビ30が備える映像信号処理装置100の動作についても同様である。
まず、入力選択部110は、入力三次元映像信号52を左眼用画像210Lと右眼用画像210Rとに分割する(S110)。なお、実施の形態1に係る入力三次元映像信号52は、インターレース方式の映像信号であり、例えば、フルハイビジョンの映像である。
したがって、図5に示すように、左眼用画像210Lは、左眼用トップフィールド210Ltと左眼用ボトムフィールド210Lbとを含んでいる。同様に、右眼用画像210Rは、右眼用トップフィールド210Rtと右眼用ボトムフィールド210Rbとを含んでいる。各フィールドは、1920×540画素で構成される。
次に、第1水平リサイズ部121及び131はそれぞれ、左眼用画像210L及び右眼用画像210Rを水平方向に縮小する(S120)。ここでは、第1水平リサイズ部121及び131は、水平方向に1/2倍に縮小する。これにより、図5に示すように、縮小後の左眼用画像220Lと縮小後の右眼用画像220Rとを生成する。なお、縮小率は1/2倍に限られない。なお、第1水平リサイズ部121及び131はそれぞれ、左眼用画像210L及び右眼用画像210Rを水平方向に拡大してもよい。
縮小後の左眼用画像220Lは、縮小後の左眼用トップフィールド220Ltと縮小後の左眼用ボトムフィールド220Lbとを含んでいる。縮小後の右眼用画像220Rは、縮小後の右眼用トップフィールド220Rtと縮小後の右眼用ボトムフィールド220Rbとを含んでいる。各フィールドは、960×540画素で構成される。
なお、このとき、第1水平リサイズ部121及び131は、図2Bに示すような市松状の画像を生成するために、それぞれ開始位置をずらしてもよい。具体的には、第1水平リサイズ部121は、左眼用トップフィールド210Ltに含まれる偶数番目の画素(0,2,4,6…)を抽出することで、縮小後の左眼用トップフィールド220Ltを生成する。さらに、第1水平リサイズ部121は、左眼用ボトムフィールド210Lbに含まれる奇数番目の画素(1,3,5,7…)を抽出することで、縮小後の左眼用ボトムフィールド220Lbを生成する。
また、第1水平リサイズ部131は、右眼用トップフィールド210Rtに含まれる奇数番目の画素(1,3,5,7…)を抽出することで、縮小後の右眼用トップフィールド220Rtを生成する。さらに、第1水平リサイズ部131は、右眼用ボトムフィールド210Rbに含まれる偶数番目の画素(0,2,4,6…)を抽出することで、縮小後の右眼用ボトムフィールド220Rbを生成する。
次に、変換処理部122及び変換処理部132はそれぞれ、縮小後の左眼用画像220Lと縮小後の右眼用画像220RとにIP変換を行う(S130)。変換処理部122及び変換処理部132はそれぞれ、IP変換を行うことで、プログレッシブ方式の左眼用画像230Lと右眼用画像230Rとを生成する。なお、IP変換の詳細については、後で説明する。
次に、垂直リサイズ部123及び133は、左眼用画像230Lと右眼用画像230Rとを垂直方向にリサイズ、すなわち、拡大又は縮小する(S140)。図5に示す例では、垂直リサイズ部123及び133は、垂直方向のリサイズを行わずに、左眼用画像240Lと右眼用画像240Rとを出力する。
次に、第2水平リサイズ部124及び134は、左眼用画像240Lと右眼用画像240Rとを水平方向に拡大する(S150)。例えば、第2水平リサイズ部124は、左眼用画像240Lに含まれる各画素をコピーすることで、2倍に拡大された左眼用画像250Lを生成する。同様に、第2水平リサイズ部134は、右眼用画像240Rに含まれる各画素をコピーすることで、2倍に拡大された右眼用画像250Rを生成する。
なお、拡大率は、例えば、第1水平リサイズ部121及び131における縮小処理の縮小率の逆数である。ただし、これには限られない。第2水平リサイズ部124及び134はそれぞれ、左眼用画像240Lと右眼用画像240Rとを水平方向に縮小してもよい。
最後に、合成部140は、左眼用画像250Lと右眼用画像250Rとを合成することで、合成画像260を生成する(S160)。合成画像260は、例えば、図2Bに示すように、左眼用画像250Lに含まれる画素と右眼用画像250Rに含まれる画素とが市松状に配列された画像である。合成により得られた合成画像260は、出力三次元映像信号53として出力される。
以上のようにして、実施の形態1に係る映像信号処理装置100は、入力三次元映像信号52を処理することで、出力三次元映像信号53を生成する。
次に、変換処理部122の詳細な構成及びその動作と、左眼用画像から取得する情報、及び当該情報を用いた所定の処理とについて説明する。
実施の形態1に係る変換処理部122は、IP変換を行う前にフィルム検出を行う。フィルム検出は、画像特徴検出処理の一例であり、映像データがフィルム映像から生成された映像データであるか否かを検出する処理である。ここでは、変換処理部122は、フィルム検出として、左眼用画像のみを含む左眼用映像データがフィルム映像から生成された映像データであるか否かを検出する。
そして、変換処理部122は、フィルム検出の結果を変換処理部132に出力する。なお、変換処理部132では、右眼用画像のみを含む右眼用映像データにIP変換を行う。以下では、変換処理部122の具体的な構成及び動作について説明する。
図6は、実施の形態1に係る変換処理部122の構成の一例を示すブロック図である。図6に示すように、変換処理部122は、フィルム検出部310と、IP変換部320とを備える。
フィルム検出部310は、本発明に係る情報取得部の一例であり、左眼用画像にフィルム検出を行う。具体的には、フィルム検出部310は、左眼用画像を含む左眼用映像データにフィルム検出を行うことで、入力三次元映像信号がフィルム映像から生成された映像信号であるか否かを示すフィルム情報と、入力三次元映像信号がフィルム映像から生成された映像信号である場合に、フィルム映像に含まれる複数のフレームのうちの同一のフレームから生成されたピクチャを示すピクチャ情報とを取得する。なお、ここではフィルム検出部310は、ピクチャ情報の一例として、合成すべきフィールドを示すIP変換情報を取得する。
IP変換部320は、本発明に係る左眼用画像処理部の一例であり、フィルム情報とIP変換情報とを用いて、左眼用映像データをインターレース方式からプログレッシブ方式へ変換する。具体的には、IP変換部320は、入力三次元映像信号がフィルム映像から生成された映像信号であることをフィルム情報が示す場合に、IP変換情報を用いて左眼用映像データをインターレース方式からプログレッシブ方式へ変換する。また、入力三次元映像信号がフィルム映像から生成された映像信号ではないことをフィルム情報が示す場合、IP変換部320は、例えば、隣接する2つのフィールドを合成することで、左眼用映像データをインターレース方式からプログレッシブ方式へ変換する。
なお、変換処理部132は、本発明に係る右眼用画像処理部の一例であり、右眼用映像データに所定の処理を行う。具体的には、変換処理部132は、フィルム検出の結果であるフィルム情報とIP変換情報とをフィルム検出部310から受け取る。そして、変換処理部132は、IP変換部320と同様にして、フィルム情報とIP変換情報とを用いて、右眼用映像データをインターレース方式からプログレッシブ方式へ変換する。
図7は、実施の形態1に係る変換処理部122の動作の一例を示すフローチャートである。
まず、フィルム検出部310は、左眼用映像データにフィルム検出を行う(S131)。なお、第1処理部120に右眼用映像データを入力することで、フィルム検出部310は、右眼用映像データにフィルム検出を行ってもよい。フィルム検出の結果であるフィルム情報とIP変換情報とは、IP変換部320と変換処理部132とに出力される。
次に、IP変換部320及び変換処理部132は、フィルム情報とIP変換情報とを用いて、左眼用映像データ及び右眼用映像データをインターレース方式からプログレッシブ方式へ変換する(S132)。フィルム検出及びIP変換の具体的な処理については、フィルム映像と三次元映像との例を挙げて以下で説明する。
図8は、フィルム映像と入力三次元映像信号との一例を示す図である。
フィルム映像は、24コマ/秒(24fps)のプログレッシブ方式の映像(24pの映像)である。
入力三次元映像信号は、例えば、フレームレートが60fpsであるインターレース方式の映像(60iの映像)を示す信号である。すなわち、入力三次元映像信号は、トップフィールドとボトムフィールドとを1秒間に合わせて60枚含んでいる(トップフィールド又はボトムフィールドのみのフレームレートは、30fps)。
図8に示すように、24pの映像から60iの映像を生成する場合、まず、24pの映像に含まれるフレームAをトップフィールド用(Atop)、ボトムフィールド用(Abtm)、トップフィールド用(Atop)に3回読み出す。次に、24pの映像に含まれるフレームBをボトムフィールド用(Bbtm)、トップフィールド用(Btop)に2回読み出す。次に、24pの映像に含まれるフレームCをボトムフィールド用(Cbtm)、トップフィールド用(Ctop)、ボトムフィールド用(Cbtm)に3回読み出す。
以上のように、フレームの3回読み出しと2回読み出しとを交互に繰り返すことで、24pの映像から60iの映像を生成することができる(3−2プルダウン処理)。なお、他のフレームレート間での変換を行う場合も同様に、変換前のフレームレートと変換後のフレームレートとの割合に応じて、読み出し回数を決定すればよい。
次に、図8に示すように生成された60iの映像(入力三次元映像信号)を60pの映像(出力三次元映像信号)にIP変換する場合について説明する。なお、60pの映像は、60fpsのプログレッシブ方式の映像のことである。
フィルム検出部310は、フィルム検出として、2つのフィールド間の差分を算出する。例えば、フィルム検出部310は、対象となるフィールドと2つ前のフィールドとの差分を算出する。図8に示すように24pの映像であるフィルム映像から生成された60iの映像を含む入力三次元映像信号は、5枚のフィールド中に2枚の同じフィールドが含まれる(例えば、1番目と3番目のAtop、6番目と8番目のCbtm)。
したがって、2つのフィールド間の差分を順次算出すると、5枚のフィールド中に1組は、差分がほぼ0となるフィールドの組が存在する。これにより、フィルム検出部310は、差分がほぼ0となる割合を検出することで、入力三次元映像信号が3−2プルダウンされた映像を含んでいることを検出することができる。つまり、差分がほぼ0となる割合が5枚のフィールド中に1組のフィールドであると検出した場合、フィルム検出部310は、入力三次元映像信号がフィルム映像から生成された映像信号であることを示すフィルム情報をIP変換部320へ出力する。
さらに、フィルム検出部310は、差分がほぼ0となる割合が5枚のフィールド中に1組のフィールドであると検出した場合、フィルム映像のフレームレートを示すフレームレート情報を取得する。つまり、入力三次元映像信号が3−2プルダウンされた映像であり、かつ、入力三次元映像信号のフレームレートが60fpsであることから、フィルム映像のフレームレートは、24(=60×2/5)fpsであることが分かる。そして、フィルム検出部310は、IP変換の際に、合成すべきトップフィールドとボトムフィールドとを示すIP変換情報をIP変換部320へ出力する。
図9は、実施の形態1に係るIP変換部320による、60iの映像を60pの映像にIP変換する際の処理例を示す図である。
IP変換部320は、60iの入力映像と、当該入力映像を1フレーム遅延した第1遅延映像と、60iの入力映像を2フレーム遅延した第2遅延映像との中から、フィールド毎に2つの映像を選択して合成する。このとき、どの映像を選択するか、すなわち、どのトップフィールドとどのボトムフィールドとを選択するかは、フィルム検出部310によるフィルム検出の結果であるIP変換情報に従って決定される。
具体的には、フィルム検出部310は、入力三次元映像信号が3−2プルダウンされた映像信号であることを検出した場合、フィルム映像に含まれる同一のフレームから生成されたフィールドを示す情報をIP変換情報として出力する。そして、IP変換部320は、受け取ったIP変換情報に従って、同一のフレームから生成されたフィールド同士を選択して合成する。
例えば、IP変換部320は、図9に点線で示す四角によって囲まれた2枚のフィールドを合成することで1フレームの画像を生成する。
具体的には、IP変換部320は、時刻T2では、第1遅延映像のAtopと60iの映像のAbtmとを合成する。また、時刻T3では、IP変換部320は、第1遅延映像のAbtmと60iの映像のAtopとを合成する。なお、時刻T3では、第1遅延映像のAbtmと第2遅延映像のAtopとを合成してもよい。
さらに、時刻T4では、IP変換部320は、第1遅延映像のAtopと第2遅延映像のAbtmとを合成する。次に、時刻T5では、IP変換部320は、60iの映像のBtopと第1遅延映像のAbtmとを合成する。
このように、3−2プルダウンされた映像信号をIP変換する場合、同一のフレームから生成された3枚連続するフィールドについては、最初の2枚は、第1遅延映像と入力映像とを合成し、残りの1枚は第1遅延映像と第2遅延映像とを合成すればよい。なお、真ん中の1枚は、第1遅延映像と第2遅延映像とを合成してもよい。さらに、同一のフレームから生成された2枚連続するフィールドについては、1枚目は、第1遅延映像と入力映像とを合成し、2枚目は、第1遅延映像と第2遅延映像とを合成すればよい。
以上のように、IP変換部320は、フィルム映像に含まれる同一のフレームから生成されたフィールド同士を選択して合成することで、所定のフレームレートのインターレース方式の入力三次元映像信号から同じフレームレートのプログレッシブ方式の出力三次元映像信号を生成する。
また、IP変換部320は、入力三次元映像信号がフィルム映像から生成された映像信号ではないことをフィルム情報が示す場合は、隣接するフィールドを順に合成することでプログレッシブ方式の出力三次元映像信号を生成する。
なお、入力三次元映像信号がフィルム映像から生成された映像信号である場合に、IP変換部320がフィルム検出を行わず、単に、隣接するフィールドを順に合成した場合、例えば、AtopとBbtmとが合成されてしまうことになり、画質が劣化してしまう。したがって、上記のようにフィルム検出を行うことで、本実施の形態に係るIP変換部320は、フィルム映像に含まれる同一のフレームから生成されたフィールド同士を合成することができるので、画質の劣化を防止することができる。
以上のように、実施の形態1に係る変換処理部122では、左眼用映像データにフィルム検出を行い、その結果を変換処理部132に出力する。変換処理部132は、変換処理部122から入力されるフィルム検出の結果を用いて、右眼用映像データにIP変換を行う。
左眼用画像と右眼用画像とは、そもそも同じ被写体を異なる視点から撮影して得られた画像、又は、同じ画像を所定の視差の分だけずらして生成された画像である。したがって、左眼用映像データと右眼用映像データとのいずれにフィルム検出を行ったとしても、同じ結果が得られる。
このため、本実施の形態のように、左眼用映像データ及び右眼用映像データのいずれか一方のみにフィルム検出を行い、その検出結果を左眼用映像データ及び右眼用映像データの双方に利用することで、処理の重複を避けることができる。これにより、本実施の形態に係る映像信号処理装置100は、冗長な処理を避けることができ、消費電力を低減、及び処理速度を向上させることができる。
また、左眼用映像データと右眼用映像データとで個別に検出を行った場合、互いに異なる検出結果が得られる可能性がある。この場合、変換処理部122及び132は、異なる検出結果に基づいてIP変換を行うことになるので、合成部140が左眼用画像と右眼用画像とを合成した場合に不自然な映像が生成される可能性がある。
これに対して、本実施の形態に係る映像信号処理装置100では、同じ検出結果を用いて、左眼用映像データと右眼用映像データとの両方を処理するので、上記のように不自然な映像が生成される可能性を低減することができる。
なお、上記説明では、インターレース方式の入力三次元映像信号にフィルム検出を行う構成について示したが、プログレッシブ方式の入力三次元映像信号にフィルム検出を行ってもよい。例えば、図8に示すような24pのフィルム映像(ABC…)から生成された、図9に示すような60pの映像信号(AAABBCCC…)が、入力三次元映像信号として本実施の形態に係る映像信号処理装置100に入力された場合を想定する。
フィルム検出部310は、左眼用映像データに含まれる2つのフレーム間の差分を算出する。例えば、フィルム検出部310は、時間的に隣接する2つのフレーム間の差分を算出することで、差分が“小小大小大小小大小大…”となる。これにより、フィルム検出部310は、入力三次元映像信号が3−2プルダウンされた映像を含んでいることを示すフィルム情報をIP変換部320へ出力する。
さらに、フィルム検出部310は、ピクチャ情報の一例として、フィルム映像に含まれる同一のフレームから生成されたフレームを示すフレーム情報を、IP変換部320と変換処理部132とへ出力する。例えば、時間的に隣接する2つのフレーム間の差分がほぼ0となった場合、フィルム検出部310は、これら2つのフレームが、フィルム映像に含まれる同一のフレームから生成されたフレームであると判定することで、フレーム情報を出力する。
IP変換部320は、フィルム情報とフレーム情報とを受け取り、受け取ったフィルム情報とフレーム情報とに基づいて、左眼用映像データである入力三次元映像信号のフレームレートを変換する。例えば、入力三次元映像信号が3−2プルダウンされた映像を含んでいることをフィルム情報が示す場合、IP変換部320は、フレーム情報を用いて出力すべきフレームとその枚数とを決定する。
例えば、IP変換部320は、同一のフレームを2枚ずつ選択して出力することで、フレームレートが48fpsの映像信号(AABBCC…)を出力する。この映像信号には、同一のフレームが2枚ずつ含まれる。あるいは、IP変換部320は、同一のフレームを5枚ずつ選択して出力することで、フレームレートが120fpsの映像信号(AAAAABBBBBCCCCC…)を出力してもよい。この映像信号には、同一のフレームが5枚ずつ含まれる。
変換処理部132は、右眼用映像データにIP変換部320と同様の処理を行う。
以上のようにして、プログレッシブ方式の入力三次元映像信号にフィルム検出を行ってもよい。この場合も、左眼用映像データと右眼用映像データとでは、フィルム検出結果が一致するので、一方のみにフィルム検出を行うことで、処理量の増大を抑制することができる。
なお、IP変換部320は、走査方式の変換とフレームレートの変換との両方を行ってもよい。例えば、IP変換部320は、インターレース方式の映像信号(60iの映像信号)をプログレッシブ方式の映像信号(60pの映像信号)に変換するとともに、変換した映像信号のフレームレートを上述のように変換する。これにより、例えば、IP変換部320は、60iの映像信号から48p又は120pの映像信号を生成することができる。
また、フィルム検出では、入力三次元映像信号として3−2プルダウンされた映像信号について説明したが、2−2プルダウンされた映像信号であってもよい。例えば、隣接する2フィールドの差分を算出すると、2−2プルダウンされた映像信号の場合、差分が“大小大小…”を繰り返す。したがって、フィルム検出部310は、検出した差分の変化の傾向を判断することで、入力三次元映像信号が2−2プルダウンされた映像信号であることを検出することができる。
なお、フィルム検出部310が行うフィルム検出は、上記の方法に限られず、他の方法であってもよい。
また、本実施の形態に係る映像信号処理装置100は、第1処理部120と第2処理部130とを用いて、左眼用映像データと右眼用映像データとを並列処理する構成について説明したが、2つの処理部のうちいずれか1つの処理部のみを備えていてもよい。例えば、入力選択部110は、左眼用映像データと右眼用映像データとの両方を第1処理部120に入力してもよい。
第1処理部120が備える各処理部は、左眼用映像データと右眼用映像データとをそれぞれシーケンシャルに処理する。例えば、左眼用映像データを処理した後で、右眼用映像データを処理する(あるいは、逆でもよい)。このとき、左眼用映像データから取得されたフィルム情報及びIP変換情報は、メモリなどに格納しておけばよい。
また、本実施の形態では、左眼用画像にフィルム検出を行ったが、右眼用画像にフィルム検出を行い、検出結果を左眼用画像と右眼用画像との両方に利用してもよい。
以上のように、実施の形態1に係る映像信号処理装置100は、左眼用画像及び右眼用画像の一方から、IP変換などの所定の処理を行う際に用いられる情報を取得する情報取得部の一例であるフィルム検出部310を備える。また、映像信号処理装置100は、情報取得部の一例であるフィルム検出部310によって取得された情報を用いて、左眼用画像及び右眼用画像の両方に、IP変換又はフレームレートの変換を行う画像処理部の一例であるIP変換部320及び変換処理部132を備える。
この構成により、実施の形態1に係る映像信号処理装置100によれば、上記情報を取得するための処理の一例であるフィルム検出を左眼用画像及び右眼用画像の一方のみに行えばよく、処理の重複を避けることができる。したがって、処理量の増大を抑制することができる。
(実施の形態2)
実施の形態2に係る映像信号処理装置は、実施の形態1と同様に、左眼用画像及び右眼用画像の一方から、所定の処理を行う際に用いられる情報を取得する情報取得部と、情報取得部によって取得された情報を用いて、前記左眼用画像及び前記右眼用画像の両方に前記処理を行う画像処理部とを備えることを特徴とする。より具体的には、実施の形態2では、情報取得部は、左眼用画像及び右眼用画像の一方に、輝度値が一定の特定画像が含まれているか否かを検出することで、特定画像が含まれている領域を示す特定画像情報を取得する。
なお、以下では、実施の形態1と重複する説明は省略し、実施の形態1との相違点を中心に説明する。
実施の形態2に係る映像信号処理装置は、実施の形態1の図3に示す映像信号処理装置100とほぼ同じであり、入力選択部110の代わりに入力選択部410を備える点が異なっている。以下では、まず、実施の形態2に係る映像信号処理装置が備える入力選択部410の構成について説明する。
図10A及び図10Bは、実施の形態2に係る映像信号処理装置が備える入力選択部410の構成の一例を示すブロック図である。図10Aに示すように、入力選択部410は、分割部411と、特定画像検出部412と、APL算出部413及び414とを備える。
分割部411は、入力三次元映像信号を左眼用画像と右眼用画像とに分割する。左眼用画像は特定画像検出部412に出力され、右眼用画像はAPL算出部414に出力される。なお、左眼用画像がAPL算出部414に出力され、右眼用画像が特定画像検出部412に出力されてもよい。
また、入力三次元映像信号が予め左眼用画像と右眼用画像とに分割されている場合は、入力選択部410は、分割部411を備えていなくてもよい。この場合は、直接、左眼用画像が特定画像検出部412に入力され、右眼用画像がAPL算出部414に入力される。
特定画像検出部412は、本発明に係る情報取得部の一例であり、左眼用画像及び右眼用画像の一方に輝度値が一定の特定画像が含まれているか否かを検出することで、当該特定画像が含まれている領域を示す特定画像情報を取得する。ここでは、左眼用画像が入力されるので、特定画像検出部412は、左眼用画像に特定画像が含まれているか否かを検出する。具体的には、特定画像検出部412は、サイドパネル検出及びレターボックス検出を行う。
図10Aに示すように、特定画像検出部412は、サイドパネル検出部412aと、レターボックス検出部412bとを備える。
サイドパネル検出部412aは、左眼用画像及び右眼用画像の一方について、画像の左側と右側とに特定画像が含まれているか否かを検出する(サイドパネル検出又はピラーボックス検出)。ここでは、左眼用画像が入力されるので、サイドパネル検出部412aは、左眼用画像の左側と右側とに特定画像が含まれているか否かを検出する。なお、特定画像は、輝度値が一定の画像であり、例えば、黒色の画像である。
サイドパネル検出部412aは、サイドパネル検出を行うことで、特定画像が含まれている領域を示す特定画像情報を取得する。特定画像情報は、例えば、特定画像が含まれている領域が、画像の左側又は右側から何画素分であるかを示す情報である。
レターボックス検出部412bは、左眼用画像及び右眼用画像の一方について、画像の上側と下側とに特定画像が含まれているか否かを検出する(レターボックス検出)。ここでは、左眼用画像が入力されるので、レターボックス検出部412bは、左眼用画像の上側と下側とに特定画像が含まれているか否かを検出する。
レターボックス検出部412bは、レターボックス検出を行うことで、特定画像が含まれている領域を示す特定画像情報を取得する。特定画像情報は、例えば、特定画像が含まれている領域が、画像の上側又は下側から何画素分であるかを示す情報である。
なお、特定画像検出部412は、サイドパネル検出とレターボックス検出とのいずれか一方のみを行ってもよい。両方の検出を行った場合は、特定画像検出部412は、サイドパネル検出部412aによって取得された特定画像情報と、レターボックス検出部412bによって取得された特定画像情報とを合わせて、特定画像が含まれた領域を示す特定画像情報としてAPL算出部413及び414へ出力する。
APL算出部413及び414は、本発明に係る画像処理部の一例であり、左眼用画像及び右眼用画像の両方について、特定画像情報が示す領域以外の有効画像領域の平均輝度値(Average Picture Level)を算出する。具体的には、APL算出部413は、左眼用画像のうち、特定画像情報が示す領域以外の有効画像領域の平均輝度値を算出する。また、APL算出部414は、右眼用画像のうち、特定画像情報が示す領域以外の有効画像領域の平均輝度値を算出する。なお、有効画像領域は、本来の画像が表示されている領域である。
ここで、特定画像の例について説明する。
図11Aは、サイドパネル画像500の一例を示す図である。図11Bは、レターボックス画像600の一例を示す図である。
サイドパネル画像500は、本来の画像510の左側と右側とに特定画像520がそれぞれ付加されている。具体的には、アスペクト比が16:9の画面にアスペクト比が4:3の本来の画像510を表示させるときに、特定画像520が本来の画像510に付加される。なお、サイドパネルは、ピラーボックスともいう。
サイドパネル検出部412aは、図11Aに示すような特定画像520が本来の画像510に付加されているか否かを検出する。例えば、サイドパネル検出部412aは、入力された左眼用画像の左側の領域(数画素列分の領域)と右側の領域(数画素列分の領域)との双方に含まれる画素の輝度値が全て同じ所定の値(黒色)であるか否かを判定する。
左側の領域と右側の領域とに含まれる画素の輝度値が全て同じ所定の値(黒色)であると判定した場合、サイドパネル検出部412aは、入力された左眼用画像はサイドパネル画像500であると判定する。そして、サイドパネル検出部412aは、特定画像520の領域を示す特定画像情報をAPL算出部413に出力する。APL算出部413は、サイドパネル画像500のうち特定画像520を除く領域(有効画像領域)、すなわち、本来の画像510の平均輝度値を算出する。
サイドパネル画像500の平均輝度値を算出した場合、輝度値が一定の特定画像520を含んだ平均輝度値が算出されてしまう。つまり、本来の画像510の平均輝度値とは異なる値が算出される。したがって、平均輝度値を用いて画像を補正する場合など、平均輝度値が異なっているので、正しく画像を補正することができなくなる。これに対して、本実施の形態では、サイドパネル検出を行い、特定画像の領域を特定することで、正確な補正処理などを行うことができる。
レターボックス画像600は、本来の画像610の上側と下側とに特定画像620がそれぞれ付加されている。具体的には、アスペクト比が4:3の画面にアスペクト比が16:9の本来の画像610を表示させるときに、特定画像620が本来の画像610に付加される。
レターボックス検出部412bは、図11Bに示すような特定画像620が本来の画像610に付加されているか否かを検出する。例えば、レターボックス検出部412bは、入力された右眼用画像の上側の領域(数画素行分の領域)と下側の領域(数画素行分の領域)との双方に含まれる画素の輝度値が全て同じ所定の値(黒色)であるか否かを判定する。
上側の領域と下側の領域とに含まれる画素の輝度値が全て同じ所定の値(黒色)であると判定した場合、レターボックス検出部412bは、入力された右眼用画像はレターボックス画像600であると判定する。そして、レターボックス検出部412bは、特定画像520の領域を示す特定画像情報をAPL算出部413に出力する。APL算出部413は、レターボックス画像600のうち特定画像620を除く領域(有効画像領域)、すなわち、本来の画像610の平均輝度値を算出する。これにより、サイドパネル検出と同様に、レターボックス検出を行い、特定画像の領域を特定することで、正確な補正処理などを行うことができる。
なお、上記のアスペクト比は一例であって、他のアスペクト比の場合であっても同様である。
以上のようにして左眼用画像から検出された特定画像情報を用いて、APL算出部414は、右眼用画像の平均輝度値を算出する。左眼用画像と右眼用画像とでは、通常、一方のみに特定画像が含まれている場合はなく、また、異なる領域に特定画像が含まれている場合もない。したがって、左眼用画像から検出された特定画像情報と、右眼用画像から検出した特定画像情報とはおおよそ一致する。
このため、厳密な結果を必要としない場合は、左眼用画像と右眼用画像との両方から特定画像情報を取得する処理は冗長であり、本実施の形態のように、いずれか一方のみから特定画像情報を取得することで、処理量の増大を抑制することができる。なお、厳密な結果を必要とする場合は、サイドパネル検出部412a及びレターボックス検出部412bは、左眼用画像と右眼用画像とのそれぞれに、サイドパネル検出及びレターボックス検出を行えばよい。
なお、図10Bに示すように、入力選択部410は、APL算出部414を備えていなくてもよい。つまり、APL算出部413によって、左眼用画像から算出された平均輝度値を、右眼用画像の平均輝度値として利用してもよい。なぜなら、左眼用画像の平均輝度値と右眼用画像の平均輝度値とも同じ値になることが多いためである。なお、このときのAPL算出部413は、本発明に係る情報取得部の一例である。
続いて、実施の形態2に係る映像信号処理装置の動作のうち、入力選択部410の動作について、図12を用いて説明する。なお、実施の形態2に係る映像信号処理装置の動作は、実施の形態1に係る映像信号処理装置100の動作(図4参照)とほぼ同じであり、入力選択部110の動作(S110)が異なっている。
図12は、実施の形態2に係る映像信号処理装置が備える入力選択部410の動作の一例を示すフローチャートである。図12は、図4に示す入力選択部110の動作(S110)に相当する。
まず、分割部411が、入力三次元映像信号を左眼用画像と右眼用画像とに分割する(S210)。左眼用画像は、特定画像検出部412に出力され、右眼用画像はAPL算出部414に出力される。
次に、特定画像検出部412は、左眼用画像にサイドパネル検出とレターボックス検出とを行う(S220)。なお、サイドパネル検出とレターボックス検出とはいずれか一方のみが実行されてもよい。例えば、サイドパネル検出により特定画像が検出された場合は、レターボックス検出を行わなくてもよい。逆に、レターボックス検出により特定画像が検出された場合は、サイドパネル検出を行わなくてもよい。検出結果である特定画像情報は、APL算出部413とAPL算出部414との両方に出力される。
次に、APL算出部413は、特定画像情報を用いて、左眼用画像の平均輝度値を算出し、APL算出部414は、特定画像情報を用いて、右眼用画像の平均輝度値を算出する(S230)。
以上のように、実施の形態2に係る映像信号処理装置では、入力選択部410において、左眼用画像にサイドパネル検出及びレターボックス検出を行うことで、特定画像を検出し、検出した結果を用いて左眼用画像と右眼用画像との両方について、平均輝度値の算出を行う。
これにより、実施の形態2に係る映像信号処理装置によれば、左眼用画像と右眼用画像とのいずれか一方のみから特定画像情報を取得することで、処理量の増大を抑制することができる。
なお、実施の形態2では、入力選択部410がサイドパネル検出及びレターボックス検出を行ったが、実施の形態1と同様に、これらの検出を、変換処理部122が左眼用画像に行ってもよい。そして、変換処理部122は、得られた検出結果を変換処理部132に出力してもよい。
また、平均輝度値の算出についても同様に、入力選択部410ではなく変換処理部122及び132が行ってもよい。あるいは、図示していない他の処理部によって実行してもよい。
以上のように、本発明に係る映像信号処理装置は、左眼用画像と右眼用画像とを含む三次元映像信号処理装置であって、左眼用画像及び右眼用画像のいずれか一方から取得した情報を用いて、所定の処理を左眼用画像及び右眼用画像の両方に行う。これは、左眼用画像と右眼用画像とは通常、同じ被写体を異なる視点から撮影することにより得られた画像であって、互いに共通する点が多いことを利用する。
例えば、上述のようにフィルム検出結果、サイドパネル検出結果、及びレターボックス検出結果などが、左眼用画像と右眼用画像とで共通する。したがって、共通の結果が得られる処理についてはいずれか一方にのみ行うことで、処理の重複を避けることができ、処理量の増大を抑制することができる。
また、通常同じ結果が得られるはずのところ、異なる結果が得られた場合は、左眼用画像と右眼用画像とを合成する際に不自然な画像が生成されてしまう可能性がある。本発明に係る映像信号処理装置では、共通の結果を用いているため、このような不自然な画像の生成を防止することができる。
以上、映像信号処理装置及び映像信号処理方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、左眼用画像及び右眼用画像の一方にCM検出を行ってもよい。CM検出は、入力された左眼用画像又は右眼用画像が、映像に含まれる広告情報などのCMであるか、映画などのコンテンツであるかを判定する処理である。同一の表示時刻における左眼用画像と右眼用画像とのいずれか一方のみがCMであるということは通常ありえないため、CM検出結果も左眼用画像と右眼用画像とで同じである。
したがって、左眼用画像と右眼用画像とのいずれか一方にCM検出を行い、得られた結果を左眼用画像と右眼用画像との両方のCM検出結果として用いることができる。なお、例えば、入力選択部110又は410がCM検出を行う。例えば、画像がCMであることを示す識別子を検出する、あるいは、CMとコンテンツとで解像度の違いを検出することで、入力された左眼用画像又は右眼用画像がCMであるか否かを判定する。
左眼用画像がCMであると判定された場合は、例えば、第1水平リサイズ部121及び131が、左眼用画像及び右眼用画像を高い縮小率で縮小することで、以降の処理量を低減することができる。
また、入力された三次元映像信号を符号化する場合に備えて、左眼用画像を含む左眼用映像データと、右眼用画像を含む右眼用映像データとの一方から動きを検出してもよい。また、同様にフレーム又はフィールドの参照関係を決定してもよい。これらの処理は、例えば、入力選択部110若しくは410、変換処理部122若しくは132、又は、他の処理部が行う。
なお、本発明に係る映像信号処理装置100は、図13に示すようなデジタルビデオレコーダ20及びデジタルテレビ30に搭載される。
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのは言うまでもない。以下のような場合も本発明の範囲に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSIから構成されているとしてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO(Magneto−Optical Disk)、DVD(Digital Versatile Disc)、DVD−ROM、DVD−RAM、BD、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送などを経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムに従って動作するとしてもよい。
また、プログラム又はデジタル信号を記録媒体に記録して移送することにより、あるいはプログラム又はデジタル信号を、ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。