JP2009296272A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】距離情報を容易に得ることができ、また距離情報を画像データとともに容易に管理可能な画像符号化装置及び方法を提供する。
【解決手段】１つの撮像部１によって撮影され生成されたデジタル画像データ２０２に、測距センサ３が測定した被写体までの距離を基に生成した距離データ２０３を多重化し、多重化データ２０４を生成する。画像変換部７は、多重化データ２０４を基に、１枚の２次元画像データから３次元画像データ２０５として２枚の視差画像データ、右目画像データ２０６及び左目画像データ２０７を自動的に生成する。
【選択図】図２

Description

本発明は、画像を撮影する際に被写体までの距離を計測する画像符号化装置及び方法に関する。

動画像データに臨場感を与えるために、様々な技術が開発されている。
動画像データに臨場感を与えるための手段の１つとして、３次元画像の再生が挙げられる。
３次元画像は、例えば、同一の被写体を左右それぞれの眼の視点から２つの画像データを撮影することにより生成される。そして、再生時には、左目用の画像データを左目に、右目用の画像データを右目によって視聴可能であるように構成されている。左右それぞれの眼の視点から撮影された画像データを視差画像と称する。

視差画像を生成するための最も単純な方法は、左右の眼に相当する位置に２台のカメラを用意して２種類の画像を撮影することである。しかし、この方法では、画像の撮影時に多大な労力とコストが必要であるため、１つのカメラで撮影した２次元動画像データを基に３次元画像データを生成できる技術が所望されている。

１枚の２次元画像を基に３次元画像データを生成する場合、１枚の２次元画像データから２枚の視差画像を生成する必要がある。
従来、１枚の２次元画像から２枚の視差画像を生成する３次元画像生成システムでは、２次元の画像データ内の各被写体までの距離を示す距離情報が必要となる。
距離情報は、例えば、人間が画像を見て画像データ生成時の視点（カメラの位置）から被写体までの距離を推測することにより得られる。しかし、この場合は人間が距離情報を推測する必要があるため、自動化することができない、という不利益があった。

そのため、２次元画像の生成時に被写体までの距離を自動的に計測する技術が要求されていた。
特許文献１には、１枚の２次元画像データを生成する際、自動的に被写体までの距離を計測して距離情報を画像データに付与する技術が開示されている。

特開平０８−７０４７３号公報

上述したように、特許文献１には、計測した距離情報を画素単位で２次元画像データに埋め込むことが可能な距離情報を用いた立体画像の通信方式が開示されている。
しかし、特許文献１に開示された技術では、距離情報が画素ごとに関連付けられて埋め込まれた２次元画像データを生成して埋め込むため、距離情報の情報量が大きくなり、ひいては２次元画像データ自体のデータ容量が大きくなってしまう、という不利益があった。また、画素単位で距離測定を行うため、距離測定処理の負担が大きく、動画像の撮影には使用しにくい、という不利益があった。

上述した不利益を解消するために、距離情報を容易に得ることができ、また距離情報を画像データとともに容易に管理可能な画像符号化装置及び方法を提供することを目的とする。

上記した不利益を解消するために、第１の発明の画像符号化装置は、被写体を撮影し画像データを生成する１つの撮像部と、前記撮像部が生成した画像データを符号化してデジタル画像データを生成する画像圧縮部と、前記撮像部が撮影を実行する時、被写体までの距離を計測する測距部と、前記画像圧縮部が符号化して生成した前記デジタル画像データと、前記測距部が計測した距離とを基に、前記デジタル画像データの一定画素ブロックごとに、当該ブロックの被写体までの距離を示す距離データを前記デジタル画像データに多重化した多重化データを生成する多重化部と、を有する。

第２の発明の画像符号化方法は、１つの撮像部を用いて被写体を撮影し画像データを生成する第１の工程と、前記第１の工程において生成された画像データを符号化してデジタル画像データを生成する第２の工程と、前記第１の工程において、前記撮像部により撮影を実行する時、被写体までの距離を計測する第３の工程と、前記第２の工程において符号化され生成された前記デジタル画像データと、前記第３の工程において計測された距離とを基に、前記デジタル画像データの一定画素ブロックごとに、当該ブロックの被写体までの距離を示す距離データを前記デジタル画像データに多重化する第４の工程と、を有する。

本発明は、距離情報を容易に得ることができ、また距離情報を画像データとともに容易に管理可能な画像符号化装置及び方法を提供することを目的とする。

以下、本発明の実施形態について説明する。
図１は、本実施形態の３次元画像生成システム１００の構成の一例を示したブロック図である。
図１に示したように、本実施形態の３次元画像生成システム１００は、撮像部１（本発明の撮像部に対応）、画像圧縮部２（本発明の画像圧縮部に対応）、測距センサ３（本発明の測距部に対応）、距離情報処理部４、多重化部５（本発明の多重化部に対応）、記憶部６、画像変換部７（本発明の画像変換部に対応）、３次元画像再生部８を有する。

撮像部１は、例えばデジタルスチルカメラ、デジタルビデオカメラ等、被写体を撮影して画像データ２０１を生成するための部位である。
画像圧縮部２は、撮像部１が撮像した画像データ２０１を圧縮してデジタル画像データ２０２に変換する。画像圧縮部２が使用する画像圧縮技術は、例えばＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＤｉｖＸ（Divx,Inc.の登録商標）、Ｘｖｉｄ、ＷＭＶ９等を使用すればよい。

測距センサ３は、撮像部１の撮影時に被写体までの距離を計測する。測距センサ３は、例えば撮像部１の各画素のうち、一定画素ブロックごとに抽出された画素における被写体までの距離を計測する。測距センサ３は、例えば赤外線や超音波により距離を計測する測距センサである。
なお、例えばＭＰＥＧ１やＭＰＥＧ２におけるマクロブロック（１６×１６画素）やブロック（８×８画素）を上述した一定画素ブロックに対応させてもよい。すなわち、例えばマクロブロックごとに測距する場合には、１６画素ごとに測距センサ３が被写体までの距離を計測するように、撮像部１の１６画素ごとに１つの測距センサ３が配設されればよい。
すなわち、例えば撮像部１が撮像し画像圧縮部２が圧縮するデジタル画像データ２０２のマクロブロックと同数の測距センサ３を用意し、各マクロブロックに対応するように複数の測距センサ３をマトリクス状に配置すればよい。
このようにすることにより、例えば、周りのブロックの距離データとの相関を取ることにより、特定のブロックの距離データを補正するようにすることもできるようになる。

距離情報処理部４は、測距センサ３が計測した距離の情報を基に距離データ２０３を生成する。距離情報処理部４が生成する距離データ２０３は、画像圧縮部２が生成するデジタル画像データ２０２の一定画素ブロックごとに生成される。
多重化部５は、画像圧縮部２が生成したデジタル画像データ２０２と、距離情報処理部４が生成した距離データ２０３とを多重化させ、多重化データ２０４を生成する。多重化データ２０４は、例えばデジタル画像データ２０２の一定画素ブロックに、当該ブロックに対応する距離データ２０３を埋め込んだデータである。

記憶部６は、多重化部５が生成した多重化データ２０４を記憶するメモリである。
画像変換部７は、記憶部６に記憶された多重化データ２０４を読み出し、一定画素ブロックごとに埋め込まれた距離データ２０３を基に、３次元画像データ２０５を生成する。
そして、画像変換部７によって生成された３次元画像データ２０５は、３次元画像再生部８により再生される。再生された３次元画像データ２０５は、例えば図示しないモニタ装置（液晶ディスプレイ等のモニタ装置）等に表示される。

次に、本実施形態の３次元画像生成システム１００において、３次元画像を生成する場合の動作例について説明する。
図２は、本実施形態の３次元画像生成システム１００において、３次元画像を生成する場合の動作例について説明するためのフローチャートである。
ステップＳＴ１：
撮像部１が被写体の撮影を行い画像データを生成する。同時に、測距センサ３が被写体までの距離を計測する。
ステップＳＴ２：
画像圧縮部２は、ステップＳＴ１において撮像部１が生成した画像データを圧縮し、デジタル画像データ２０２を生成する。

ステップＳＴ３：
距離情報処理部４は、ステップＳＴ１において測距センサ３が計測した距離を距離データ２０３に変換する。
ステップＳＴ４：
多重化部５は、ステップＳＴ２において生成されたデジタル画像データ２０２と、ステップＳＴ３において変換された距離データ２０３とを、デジタル画像データ２０２の一定画素ブロック及びフレームごとに多重化し、多重化データ２０４を生成する。多重化の方法は、例えばデジタル画像データ２０２のヘッダ部分等に距離データ２０３を埋め込むようにすればよい。

ステップＳＴ５：
記憶部６は、ステップＳＴ４において生成された多重化データ２０４を記憶する。
ステップＳＴ６：
画像変換部７は、ステップＳＴ５において記憶部６に記憶された多重化データ２０４を３次元画像データ２０５に変換する。この変換方法については、詳細は後述する。

ステップＳＴ７：
３次元画像再生部８は、例えばユーザの操作に応じてステップＳＴ６において変換された３次元画像データ２０５を再生する。

以上説明したように、本実施形態の３次元画像生成システム１００では、撮像部１が撮影した画像データ２０１を画像圧縮部２が圧縮したデジタル画像データ２０２に、デジタル画像データ２０２の一定画素ブロックごとにそれぞれのブロックに対応する測距センサ３が計測した距離データ２０３を多重化する。したがって、２次元の画像データを撮影したときに自動的に被写体までの距離の情報が画像データとともに多重化されて多重化データ２０４が生成されるので、被写体までの距離のデータを人間が手作業で入力する必要が無くなる。

次に、画像変換部７における一定画素ブロックごとの距離データ２０３を用いて多重化データ２０４を３次元画像データ２０５に変換する方法について説明する。
図３は、画像変換部７が多重化データ２０４を２枚の視差画像データ（３次元画像データ２０５）に変換する様子を示した図である。
図３（ａ）は変換前の多重化データ２０４を、図３（ｂ）は変換後の２枚の視差画像のうち右目から見た画像（右目画像データ２０６）、図３（ｃ）は変換後の２枚の視差画像のうち左目から見た画像（左目画像データ２０７）を示した図である。なお、図３（ａ）に示す多重化データ２０４は距離データ２０３を埋め込まれたデジタル画像データ２０２であるが、距離データは眼には見えないため図３（ａ）には画像データのみが示されている。
図３（ａ）〜（ｃ）に示すように、各画像データは所定の画素ブロックごとに分割される。この画素ブロックは、上述した一定画素ブロックに対応している。すなわち、多重化データ２０４を構成するデジタル画像データ２０２がＭＰＥＧ１等で圧縮されている場合には、画素ブロックはマクロブロックやブロックに対応する。

画像変換部７は、距離データ２０３を基にデジタル画像データ２０２を水平移動させることにより右目画像データ２０６及び左目画像データ２０７を生成する。
被写体を水平移動させる移動量について、図３に示した画像データを基に具体的に説明する。
図３（ａ）に示す変換前の多重化データ２０４には、被写体が２つ存在する。人３０１と、木３０２である。ここで、例えば、距離データ２０３を参照した場合、人３０１までの距離が距離Ａ、木３０２間での距離が距離Ｂであったとする。
なお、ここで被写体までの距離は、被写体内において一定距離ブロックごとに存在する全ての距離データ２０３を例えば平均することにより得られる。
また、変換前の多重化データ２０４の背景３０３までの距離を距離Ｃとする。背景までの距離Ｃは、例えば、画面内の最も遠い被写体までの距離（すなわち多重化データ２０４内で最も大きい距離データ２０３）と、所定の固定値とのうちの小さい方の値を採用する。
なお、上述した例では、Ａ＜Ｂ＜Ｃであるとする。

図４は、画像視点と被写体の距離との関係を示す概念図である。
図４に示すように、多重化データ２０４を生成した際の実際の視点（撮像部１の位置）を視点４０１、この視点における右目の位置を右目視点４０２、左目の位置を左目視点４０３とする。
右目視点４０２或いは左目視点４０３から見た被写体は、視点からの距離に応じた移動量だけ右或いは左にずれて見えると考えられる。したがって、右目画像データ２０６は、右目視点４０２から被写体までの距離に応じた移動量だけ被写体を右に移動させることにより生成することができる。反対に、左目画像データ２０７は、左目視点４０３から被写体までの距離に応じた移動量だけ被写体を左に移動させることにより生成することができる。

被写体を移動させる量（移動量）は、被写体の距離に応じて算出する。例えば、図４に示すように、視点からの距離がＡである人３０１の移動量ａを、（Ｃ−Ａ）／Ｃ×（所定の画素単位）とする。同様に、視点からの距離がＢである木３０２の移動量ｂを、（Ｃ−Ｂ）／Ｃ×（所定の画素単位）とする。これらの移動量は、背景を無限遠として見たために得られる量である。
なお、所定の画素単位とは、上述した一定画素ブロックに対応した値である。すなわち、例えば、画素ブロックがマクロブロック（１６×１６画素）である場合は、所定の画素単位を１６画素とする。すなわち、画素ブロックの１辺の画素を所定の画素単位とすればよい。
このようにして、画像変換部７は、図３（ａ）に示す多重化データ２０４から、各被写体を上述したような方法で算出した移動量だけ右に移動することにより、図３（ｂ）に示すような右目画像データ２０６を得ることができる。また、同様に、画像変換部７は、図３（ａ）に示す多重化データ２０４から、各被写体を上述したような方法で算出した移動量だけ左に移動することにより、図３（ｃ）に示すような左目画像データ２０７を得ることができる。

ところで、画像変換部７が、上述したように被写体を右或いは左に水平移動させて右目画像データ２０６或いは左目画像データ２０７を生成したとき、被写体が元あった位置にはあるべき画素が存在せず、隙間が生じてしまう。この隙間は、以下のような方法により埋める。
図５は、被写体移動後の隙間を埋める場合について説明するための図である。
図５（ａ）は、移動前の被写体を構成するブロックの１つαとその隣に位置するブロック（被写体を構成しないブロック）βとを示している。
図５（ｂ）は、被写体を構成するブロックαが移動量ｃだけ移動したときにできた隙間γについて示した図である。図５（ｂ）に示すように、被写体が移動量ｃだけ移動した場合、移動された被写体を構成するブロックは、所定の画素単位の端部から移動量ｃだけずれており、この間に隙間γが生じている。
画像変換部７は、被写体を移動量ｃだけ移動させた後、図５（ｃ）に示すように、移動させた被写体全体を構成する画素（ブロックαを含む全ての画素）を移動量ｃの分だけ拡大することにより、被写体の移動により生じる隙間をなくすことができる。
或いは、画像変換部７は、図５（ｄ）に示すように、移動させた被写体の一部を構成する画素を移動量ｃの分だけ拡大することにより、被写体の移動により生じる隙間γをなくす。すなわち、例えば被写体を攻勢するブロックα中の移動元方向の移動量ｃに対応する範囲をコピーし、上述した隙間に貼り付けることで、隙間γを生めて表示することができるようになる。

なお、上述した例では、被写体の移動量を決定する際に使用される距離データ２０３は、一定画素ブロックごとに生成されたものであったが、本発明では距離データ２０３を基に、より詳細に画素ブロック内における小ブロックごとの距離を算出するようにしてもよい。所定のブロックの距離データ２０３を基に、より詳細にブロック内の小ブロックの距離を算出する方法について以下説明する。
図６は、所定の画素ブロック内の小ブロック５０１〜５１６の距離データを周辺の画素ブロック６０１〜６０９までの距離データ２０３を基に算出する様子を説明するための図である。
なお、小ブロックとは、一定画素ブロックを構成する所定のブロックであり、例えば図６において、一定画素ブロック６０１〜６０９はマクロブロック（１６×１６画素）であり、小ブロックはマクロブロックを１６画素に分割したブロック（４×４画素）となる。
なお、一定画素ブロックを何個に分割して小ブロックを形成するか、については本発明では限定しない。所望の３次元画像データ２０５の精度に応じて、自由に設定すればよい。

さて、図６においては、小ブロック５０１〜５１６の詳細な距離データを、小ブロックを含む所定の画素ブロック及び周辺のブロック６０１〜６０９の距離データを基に、以下のように算出する。
以下では、ブロックｎ（ｎはいずれかのブロックに対応する、すなわち５０１〜５１６或いは６０１〜６０９のいずれかの数）の距離データをＤｎと表記する。

小ブロック５０１の距離データＤ５０１は、以下のように算出する。
Ｄ５０１＝（Ｄ６０１×２＋Ｄ６０２＋Ｄ６０４＋Ｄ６０５×２）／６
小ブロック５０２の距離データＤ５０２は、以下のように算出する。
Ｄ５０２＝（Ｄ６０２×２＋Ｄ６０１＋Ｄ６０３＋Ｄ６０５×２）／６
小ブロック５０３の距離データＤ５０３は、以下のように算出する。
Ｄ５０３＝（Ｄ６０２×２＋Ｄ６０１＋Ｄ６０３＋Ｄ６０５×２）／６
小ブロック５０４の距離データＤ５０４は、以下のように算出する。
Ｄ５０４＝（Ｄ６０３×２＋Ｄ６０２＋Ｄ６０６＋Ｄ６０５×２）／６
小ブロック５０５の距離データＤ５０５は、以下のように算出する。
Ｄ５０５＝（Ｄ６０４×２＋Ｄ６０１＋Ｄ６０７＋Ｄ６０５×２）／６
小ブロック５０６の距離データＤ５０６は、以下のように算出する。
Ｄ５０６＝Ｄ６０５
小ブロック５０７の距離データＤ５０７は、以下のように算出する。
Ｄ５０７＝Ｄ６０５
小ブロック５０８の距離データＤ５０８は、以下のように算出する。
Ｄ５０８＝（Ｄ６０６×２＋Ｄ６０３＋Ｄ６０９＋Ｄ６０５×２）／６
小ブロック５０９の距離データＤ５０９は、以下のように算出する。
Ｄ５０９＝（Ｄ６０４×２＋Ｄ６０１＋Ｄ６０７＋Ｄ６０５×２）／６
小ブロック５１０の距離データＤ５１０は、以下のように算出する。
Ｄ５１０＝Ｄ６０５
小ブロック５１１の距離データＤ５１１は、以下のように算出する。
Ｄ５１１＝Ｄ６０５
小ブロック５１２の距離データＤ５１２は、以下のように算出する。
Ｄ５１２＝（Ｄ６０６×２＋Ｄ６０３＋Ｄ６０９＋Ｄ６０５×２）／６
小ブロック５１３の距離データＤ５１３は、以下のように算出する。
Ｄ５１３＝（Ｄ６１３×２＋Ｄ６０４＋Ｄ６０８＋Ｄ６０５×２）／６
小ブロック５１４の距離データＤ５１４は、以下のように算出する。
Ｄ５１４＝（Ｄ６０８×２＋Ｄ６０７＋Ｄ６０９＋Ｄ６０５×２）／６
小ブロック５１５の距離データＤ５１５は、以下のように算出する。
Ｄ５１５＝（Ｄ６０８×２＋Ｄ６０７＋Ｄ６０９＋Ｄ６０５×２）／６
小ブロック５１６の距離データＤ５１６は、以下のように算出する。
Ｄ５１６＝（Ｄ６０９×２＋Ｄ６０６＋Ｄ６０８＋Ｄ６０５×２）／６

このようにして算出した小ブロックの距離データにより、上述した多重化データ２０４から３次元画像データ２０５を構成する右目画像データ２０６と左目画像データ２０７とを生成する際に、被写体を移動する移動量をより詳細に算出できるようになる。

以上説明したように、本実施形態の３次元画像生成システム１００によれば、１つの撮像部１によって撮影され生成されたデジタル画像データ２０２に、測距センサ３が測定した被写体までの距離を基に生成した距離データ２０３を多重化し、多重化データ２０４を生成する。そして、画像変換部７は、多重化データ２０４を基に、１枚の２次元画像データから３次元画像データ２０５として２枚の視差画像データ、右目画像データ２０６及び左目画像データ２０７を自動的に生成することができる。すなわち、本実施形態の３次元画像生成システム１００によれば、１つの撮像部による１枚の２次元画像データを基にして、３次元画像データを自動的かつ容易に生成することができるようになる。
また、本実施形態の３次元画像生成システム１００によれば、撮像部１が撮影した画像データ２０１を画像圧縮部２０２が圧縮して生成したデジタル画像データ２０２の一定画素ブロック（例えばマクロブロック）ごとに距離の測定を行う。また、画像変換部７の３次元画像生成も一定画素ブロック単位で行う。このため、距離測定の際の処理負担が小さくなり、また、距離データ２０３の管理や、３次元画像の生成が容易になる。また、一定画素ブロックをさらに小ブロックに分割し、小ブロックごとの距離データ２０３を算出し、これを基に小ブロック単位で３次元画像生成を行うことも可能であるため、より精度の高い３次元画像データ２０５を生成することもできる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。

図１は、本実施形態の３次元画像生成システムの構成の一例を示したブロック図である。 図２は、本実施形態の３次元画像生成システムにおいて、３次元画像を生成する場合の動作例について説明するためのフローチャートである。 図３は、画像変換部が多重化データを２枚の視差画像データ（３次元画像データ）に変換する様子を示した図である。 図４は、画像視点と被写体の距離との関係を示す概念図である。 図５は、被写体移動後の隙間を埋める場合について説明するための図である。 図６は、所定の画素ブロック内の小ブロックの距離データを周辺の画素ブロックまでの距離データを基に算出する様子を説明するための図である。

符号の説明

１００…３次元画像生成システム、１…撮像部、２…画像圧縮部、３…測距センサ、４…距離情報処理部、５…多重化部、６…記憶部、７…画像変換部、８…３次元画像再生部、２０１…画像データ、２０２…デジタル画像データ、２０３…距離データ、２０４…多重化データ、２０５…３次元画像データ、２０６…右目画像データ、２０７…左目画像データ、３０１…人、３０２…木、３０３…背景、４０１…視点、４０２…右目視点、４０３…左目視点、５０１−５１６…小ブロック、６０１−６０９…画素ブロック

Claims (4)

1. 被写体を撮影し画像データを生成する１つの撮像部と、
   前記撮像部が生成した画像データを符号化してデジタル画像データを生成する画像圧縮部と、
   前記撮像部が撮影を実行する時、被写体までの距離を計測する測距部と、
   前記画像圧縮部が符号化して生成した前記デジタル画像データと、前記測距部が計測した距離とを基に、前記デジタル画像データの一定画素ブロックごとに、当該ブロックの被写体までの距離を示す距離データを前記デジタル画像データに多重化した多重化データを生成する多重化部と、
   を有する画像符号化装置。
2. 前記多重化部が生成した多重化データを使用して、前記一定画素ブロックごとの前記距離データを基に、前記デジタル画像データの各被写体を左右に水平移動し、前記撮像部の撮影時の視点における視差を考慮した右目画像データ及び左目画像データを生成する画像変換部
   を有する請求項１に記載の画像符号化装置。
3. 前記画像変換部は、前記デジタル画像データの背景までの距離データと被写体までの距離データを基に、各被写体を左右に移動させる移動量を算出する
   請求項２に記載の画像符号化装置。
4. １つの撮像部を用いて被写体を撮影し画像データを生成する第１の工程と、
   前記第１の工程において生成された画像データを符号化してデジタル画像データを生成する第２の工程と、
   前記第１の工程において、前記撮像部により撮影を実行する時、被写体までの距離を計測する第３の工程と、
   前記第２の工程において符号化され生成された前記デジタル画像データと、前記第３の工程において計測された距離とを基に、前記デジタル画像データの一定画素ブロックごとに、当該ブロックの被写体までの距離を示す距離データを前記デジタル画像データに多重化する第４の工程と、
   を有する画像符号化方法。

Images