[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3500056B2 - 2次元映像を3次元映像に変換する装置および方法 - Google Patents

2次元映像を3次元映像に変換する装置および方法

Info

Publication number
JP3500056B2
JP3500056B2 JP32529397A JP32529397A JP3500056B2 JP 3500056 B2 JP3500056 B2 JP 3500056B2 JP 32529397 A JP32529397 A JP 32529397A JP 32529397 A JP32529397 A JP 32529397A JP 3500056 B2 JP3500056 B2 JP 3500056B2
Authority
JP
Japan
Prior art keywords
parallax
image
video signal
frequency component
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32529397A
Other languages
English (en)
Other versions
JPH11146423A (ja
Inventor
幸夫 森
治彦 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP32529397A priority Critical patent/JP3500056B2/ja
Publication of JPH11146423A publication Critical patent/JPH11146423A/ja
Application granted granted Critical
Publication of JP3500056B2 publication Critical patent/JP3500056B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は2次元映像を3次
元映像に変換する装置および方法に関し、特にたとえ
ば、静止画像から3次元映像を生成するのに有効な、2
次元映像を3次元映像に変換する装置および方法に関す
る。
【0002】
【従来の技術】従来、3次元映像を生成するには、異な
る視点から撮影した左目映像およ右目映像が必要であ
り、図19(a)に示すように、2台のカメラ1aおよ
び1bによって異なる視点から同時に撮影する、図19
(b)に示すように、1台のカメラ1を移動させて、異
なる位置からそれぞれ左目映像と右目映像とを撮影す
る、図19(c)に示すように、光学レンズ2を使用し
光学的な処理によって、左目映像と右目映像とを1台の
カメラ1で撮影する、といった方法が用いられていた。
【0003】
【発明が解決しようとする課題】しかし、図19(a)
に示す方法では、2台のカメラ1aおよび1bが必要と
なり、コストが高くなる。図19(b)に示す方法で
は、カメラ1を移動させるための機構がさらに必要であ
り、コストが高くなるばかりか、左目映像と右目映像と
を同時に得ることができない。図19(c)に示す方法
では、カメラ1および光学レンズ2を用いて得た左目映
像3aおよび右目映像3bを拡大する必要があるため、
映像の解像度が劣化してしまう。
【0004】それゆえにこの発明の主たる目的は、低コ
ストで解像度の高い3次元映像が得られる、2次元映像
を3次元映像に変換する装置および方法を提供すること
である。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、請求項1に記載の2次元映像を3次元映像に変換す
る装置は、合焦距離を変更できかつ被写体を撮影して2
次元映像信号を得る撮像手段、複数の合焦距離毎に、画
面内に設定された複数の視差算出領域のそれぞれについ
て2次元映像信号の高周波成分を検出する高周波成分検
出手段、複数の合焦距離毎に、所定の視差算出領域の各
高周波成分を積算して高周波成分積算値を算出する積算
値算出手段、高周波成分積算値が最大である合焦距離の
2次元映像信号を記憶する記憶手段、各視差算出領域毎
に、高周波成分に基づいて被写体距離を検出する被写体
距離検出手段、検出された視差算出領域毎の被写体距離
に基づいて対応する視差算出領域について視差情報を生
成する手段、生成された視差算出領域毎の視差情報に基
づいて画素位置毎の視差情報を生成する手段、および記
憶手段に記憶された2次元映像信号に対応する画素位置
視差情報に応じた水平位相量を有する第1映像信号と
第2映像信号とを生成する位相制御手段を備える。
【0006】請求項2に記載の2次元映像を3次元映像
に変換する装置は、請求項1に記載の2次元映像を3次
元映像に変換する装置において、被写体距離検出手段
は、高周波成分が最大である合焦距離を被写体距離とす
る手段を含むものである。
【0007】請求項3に記載の2次元映像を3次元映像
に変換する装置は、請求項1または2に記載の2次元映
像を3次元映像に変換する装置において、積算値算出手
段は、画面の中央部分の視差算出領域の各高周波成分を
積算して高周波成分積算値を算出する手段を含むもので
ある。
【0008】請求項4に記載の2次元映像を3次元映像
に変換する装置は、請求項1または2に記載の2次元映
像を3次元映像に変換する装置において、積算値算出手
段は、画面の各視差算出領域の高周波成分を重み付けし
て積算し高周波成分積算値を算出する手段を含むもので
ある。
【0009】 請求項5に記載の2次元映像を3次元映
像に変換する装置は、請求項1ないし4のいずれかに記
載の2次元映像を3次元映像に変換する装置において、
位相制御手段は、2次元映像信号を1水平ライン分以下
の複数画素数分記憶できる容量を有し、かつ2次元映像
信号を一次的に記憶する第1記憶手段、2次元映像信号
を1水平ライン分以下の複数画素数分記憶できる容量を
有し、かつ2次元映像信号を一次的に記憶する第2記憶
手段、第1記憶手段の読み出しアドレスを、2次元映像
信号の水平垂直位置に応じて決定された標準読み出しア
ドレスに対して、2次元映像信号の水平垂直位置視差
情報に基づいて制御することにより、標準読み出しアド
レスによって規定される基準水平位相に対して視差情報
に応じた量だけ水平位相が進んだ第1映像信号を生成す
る第1の読み出しアドレス制御手段、ならびに第2記憶
手段の読み出しアドレスを、標準読み出しアドレスに対
して、2次元映像信号の水平垂直位置視差情報に基づ
いて制御することにより、標準読み出しアドレスによっ
て規定される基準水平位相に対して視差情報に応じた量
だけ水平位相が遅れた第2映像信号を生成する第2の読
み出しアドレス制御手段を含むものである。
【0010】
【0011】 請求項に記載の2次元映像を3次元映
像に変換する方法は、撮像手段によって複数の合焦距離
毎に被写体を撮影して2次元映像信号を得る第1ステッ
プ、複数の合焦距離毎に、画面内に設定された複数の視
差算出領域のそれぞれについて2次元映像信号の高周波
成分を検出する第2ステップ、複数の合焦距離毎に、所
定の視差算出領域の各高周波成分を積算して高周波成分
積算値を算出する第3ステップ、高周波成分積算値が最
大である焦点距離の2次元映像信号を記憶手段に記憶す
る第4ステップ、各視差算出領域毎に、高周波成分に基
づいて被写体距離を検出する第5ステップ、検出された
視差算出領域毎の被写体距離に基づいて対応する視差算
出領域について視差情報を生成する第6ステップ、生成
された視差算出領域毎の視差情報に基づいて画素位置毎
の視差情報を生成する第7ステップ、および記憶手段に
記憶された2次元映像信号に対応する画素位置の視差情
報に応じた水平位相量を有する第1映像信号と第2映像
信号とを生成する第ステップを備える。
【0012】 請求項に記載の2次元映像を3次元映
像に変換する方法は、請求項に記載の2次元映像を3
次元映像に変換する方法において、第5ステップは、高
周波成分が最大である合焦距離を被写体距離とするステ
ップを含むものである。
【0013】 請求項に記載の2次元映像を3次元映
像に変換する方法は、請求項6または7に記載の2次元
映像を3次元映像に変換する方法において、第3ステッ
プは、画面の中央部分の視差算出領域の各高周波成分を
積算して高周波成分積算値を算出するステップを含むも
のである。
【0014】 請求項に記載の2次元映像を3次元映
像に変換する方法は、請求項6または7に記載の2次元
映像を3次元映像に変換する方法において、第3ステッ
プは、画面の各視差算出領域の高周波成分を重み付けし
て積算し高周波成分積算値を算出するステップを含むも
のである。
【0015】 請求項10に記載の2次元映像を3次元
映像に変換する方法は、請求項6ないし9のいずれかに
記載の2次元映像を3次元映像に変換する方法におい
て、第ステップは、2次元映像信号を1水平ライン分
以下の複数画素数分記憶できる容量を有する第1記憶手
段および第2記憶手段に、それぞれ2次元映像信号を一
次的に記憶するステップ、第1記憶手段の読み出しアド
レスを、2次元映像信号の水平垂直位置に応じて決定さ
れた標準読み出しアドレスに対して、2次元映像信号の
水平垂直位置視差情報に基づいて制御することによ
り、標準読み出しアドレスによって規定される基準水平
位相に対して視差情報に応じた量だけ水平位相が進んだ
第1映像信号を生成するステップ、ならびに第2記憶手
段の読み出しアドレスを、標準読み出しアドレスに対し
て、2次元映像信号の水平垂直位置視差情報に基づい
て制御することにより、標準読み出しアドレスによって
規定される基準水平位相に対して視差情報に応じた量だ
け水平位相が遅れた第2映像信号を生成するステップを
含むものである。
【0016】
【0017】請求項1に記載の2次元映像を3次元映像
に変換する装置では、撮像手段によって被写体が撮影さ
れて2次元映像信号が得られ、高周波成分検出手段によ
って、画面内に設定された複数の視差算出領域それぞれ
について2次元映像信号の高周波成分が検出され、積算
値算出手段によって、所定の視差算出領域の高周波成分
が積算されて高周波成分積算値が算出される。被写体の
撮影、視差算出領域毎の高周波成分の検出、および高周
波成分積算値の算出は、それぞれ複数の合焦距離毎に行
われる。
【0018】ついで、高周波成分積算値が最大である合
焦距離が検出され、その合焦距離にピントを合わせて被
写体を撮影して得られた2次元映像信号が記憶手段に記
憶される。
【0019】 そして、被写体距離検出手段によって、
視差算出領域毎に、高周波成分に基づいて被写体距離が
検出される。請求項2に記載するように、高周波成分が
最大である合焦距離が被写体距離とされることが望まし
い。一般に、撮影すべき被写体に焦点が合ったときにそ
の部分の高周波成分が大きくなるので、高周波成分が最
大になる合焦距離がわかれば、その合焦距離において被
写体に焦点が合っているとし、その合焦距離を被写体距
離と判断することができる。このようにして得られた被
写体距離に基づいて、画面内の視差算出領域毎の視差情
報が生成され、さらに、その視差情報に基づいて、画素
位置毎の視差情報が生成される。
【0020】 その後、位相制御手段によって、記憶手
段に記憶された2次元映像信号に対応する画素位置の
差情報に応じた水平位相量を有する第1映像信号および
第2映像信号がそれぞれ生成される。
【0021】位相制御手段は、たとえば請求項5に記載
するように構成されてもよい。
【0022】請求項5に記載の位相制御手段では、ま
ず、第1記憶手段および第2記憶手段に2次元映像信号
が一次的に記憶される。
【0023】 第1の読み出しアドレス制御手段によっ
て、第1記憶手段の読み出しアドレスが標準読み出しア
ドレスに対して制御される。この制御量は、2次元映像
信号の水平垂直位置視差情報に基づいて決定される。
その結果、標準読み出しアドレスによって規定される基
準水平位相に対して視差情報に応じた量だけ水平位相が
進んだ第1映像信号が生成される。
【0024】 また、第2の読み出しアドレス制御手段
によって、第2記憶手段の読み出しアドレスが標準読み
出しアドレスに対して制御される。この制御量は、2次
元映像信号の水平垂直位置視差情報に基づいて決定さ
れる。その結果、標準読み出しアドレスによって規定さ
れる基準水平位相に対して視差情報に応じた量だけ水平
位相が遅れた第2映像信号が生成される。
【0025】 このように、水平画素位置毎に第1映像
信号および第2映像信号の水平位相量が設定される。
【0026】 また、請求項に記載の2次元映像を3
次元映像に変換する方法では、第1ステップ〜第3ステ
ップにおいて、撮像手段によって被写体が撮影されて2
次元映像信号が得られ、高周波成分検出手段によって、
画面内に設定された複数の視差算出領域それぞれについ
て2次元映像信号の高周波成分が検出され、積算値算出
手段によって、所定の視差算出領域の高周波成分が積算
されて高周波成分積算値が算出される。被写体の撮影、
視差算出領域毎の高周波成分の検出、および高周波成分
積算値の算出は、それぞれ複数の合焦距離毎に行われ
る。
【0027】ついで、第4ステップにおいて、高周波成
分積算値が最大である合焦距離が検出され、その合焦距
離にピントを合わせて被写体を撮影して得られた2次元
映像信号が記憶手段に記憶される。
【0028】 そして、第5ステップにおいて、視差算
出領域毎に、高周波成分に基づいて被写体距離が検出さ
れる。この場合も請求項に記載するように、高周波成
分が最大である合焦距離が被写体距離とされることが望
ましい。第6ステップでは、このようにして得られた被
写体距離に基づいて画面内の視差算出領域毎の視差情報
が生成され、さらに、第7ステップにおいて、その視差
情報に基づいて、画素位置毎の視差情報が生成される。
【0029】 その後、第ステップにおいて、記憶手
段に記憶された2次元映像信号に対応する画素位置の
差情報に応じた水平位相量を有する第1映像信号および
第2映像信号がそれぞれ生成される。
【0030】 第ステップでは、たとえば請求項10
に記載するように処理されてもよい。
【0031】 請求項10に記載の第ステップでは、
まず、第1記憶手段および第2記憶手段に2次元映像信
号が一次的に記憶される。
【0032】 そして、第1記憶手段の読み出しアドレ
スが標準読み出しアドレスに対して制御される。この制
御量は、2次元映像信号の水平垂直位置視差情報に基
づいて決定される。その結果、標準読み出しアドレスに
よって規定される基準水平位相に対して視差情報に応じ
た量だけ水平位相が進んだ第1映像信号が生成される。
【0033】 また、第2記憶手段の読み出しアドレス
が標準読み出しアドレスに対して制御される。この制御
量は、2次元映像信号の水平垂直位置視差情報に基づ
いて決定される。その結果、標準読み出しアドレスによ
って規定される基準水平位相に対して視差情報に応じた
量だけ水平位相が遅れた第2映像信号が生成される。
【0034】 このように、水平垂直位置毎に第1映像
信号および第2映像信号の水平位相量が設定される。
【0035】 なお、「高周波成分積算値」は、たとえ
ば、請求項3またはに記載するように、画面の中央部
分の視差算出領域の各高周波成分を積算して算出されて
もよく、また、請求項4またはに記載するように、画
面の各視差算出領域の高周波成分を重み付けしたのち積
算して算出されてもよい。前者では簡易に高周波成分積
算値が得られ、後者ではより正確に高周波成分積算値が
得られる。
【0036】 また、上述のように、画素位置毎に視差
情報を生成することによって、視差情報をより高精度に
生成でき、綿密な位相制御が可能となる。
【0037】
【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。
【0038】図1を参照して、この発明の実施の形態の
2次元映像を3次元映像に変換する装置(以下、「2D
/3D映像変換装置」という)10は、たとえば単眼カ
メラによって構成される1台の撮像装置12を含む。撮
像装置12は、合焦距離を変更できるフォーカスレンズ
14を有する。フォーカスレンズ14はMPU20(後
述)によって制御され、撮像装置12によって、前ピン
から後ろピンまでの間の複数のポイント毎に、すなわち
合焦距離0〜∞間の複数のポイント毎に被写体が撮影さ
れることにより、複数の合焦距離毎の2次元映像信号が
得られる。撮像装置12によって得られた2次元映像信
号は、輝度信号Y、色差信号R−Yおよび色差信号B−
Yによって構成される。これらの輝度信号Y、色差信号
R−Yおよび色差信号B−Yは、それぞれA/D変換回
路(図示せず)によってY信号、R−Y信号およびB−
Y信号にデジタル変換され、後続の回路に与えられる。
【0039】Y信号は高周波成分検出部16に与えられ
る。
【0040】図2に示すように、画面18内には複数個
の視差算出領域E1〜E12が予め設定され、高周波成
分検出部16は、たとえば1フィールド毎に、視差算出
領域E1〜E12それぞれについて高周波成分を検出す
る。撮像装置12の合焦距離を変更することによって、
複数の合焦距離毎に高周波成分が検出される。
【0041】なお、画面18内には、実際には、6行1
0列の計60個の視差算出領域が設定されているが、説
明の便宜上、図2に示すように、画面18内に、3行4
列の計12個の視差算出領域E1〜E12が設定されて
いるものとする。図2においては、各視差算出領域E1
〜E12の水平方向の画素数をm、各視差算出領域E1
〜E12の垂直方向の画素数をn、視差算出領域E1の
左上の座標を(a,b)として、水平位置(HAD)お
よび垂直位置(VAD)が表されている。
【0042】高周波成分検出部16からの高周波成分は
MPU20に与えられる。
【0043】MPU20では、被写体に焦点が合うよう
に合焦距離が調整され、撮像装置12によって被写体が
再度撮影される。
【0044】このとき、MPU20では、所定の視差算
出領域の各高周波成分が積算されて高周波成分積算値が
算出される。高周波成分積算値の算出方法としては、画
面18の中央部分の視差算出領域、すなわち視差算出領
域E6、E7、E10、E11の各高周波成分を積算し
て、算出する方法や、画面18の各視差算出領域E1〜
E12の高周波成分を重み付けして積算し、算出する方
法などがある。高周波成分積算値は、複数の合焦距離毎
に算出される。
【0045】そして、MPU20によって、高周波成分
積算値が最大である合焦距離が求められ、MPU20に
よってフォーカスレンズ14のピントがその合焦距離に
合わせられて、撮像装置12によって被写体が再度撮影
される。撮影して得られた2次元映像信号のY信号、R
−Y信号およびB−Y信号は、フレームメモリ22に格
納される。
【0046】また、MPU20では、高周波成分検出部
16から与えられた高周波成分に基づいて、各視差算出
領域E1〜E12毎に、フォーカスレンズ14から被写
体までの距離を表す被写体距離が検出される。すなわ
ち、各視差算出領域E1〜E12毎に、高周波成分が最
大の合焦距離が検出され、その合焦距離が被写体距離と
される。一般に、撮影すべき被写体に焦点が合ったとき
にその部分の高周波成分が大きくなるので、高周波成分
が最大になる合焦距離がわかれば、その合焦距離の位置
に被写体があると判断して、高周波成分が最大になる合
焦距離を被写体距離とする。したがって、被写体が前側
にあるほど高周波成分が最大になる合焦距離は短くなる
ので被写体距離も短くなり、被写体が後方にあるほど高
周波成分が最大になる合焦距離は長くなるので被写体距
離も長くなる。
【0047】MPU20では、さらに、検出された被写
体距離に基づいて、各視差算出領域E1〜E12につい
て視差情報が生成される。視差情報としては、この実施
の形態では左目映像と右目映像との視差量が用いられ
る。被写体距離と視差量との対応関係を変えることによ
って、視差量を大きくすることも小さくすることもでき
る。また、被写体距離が最も近い視差算出領域の立体視
位置(図示せず)を立体表示装置の管面位置に設定する
と、被写体距離が長くなるほど視差量も大きくなり、管
面位置からの奥行きも大きくなる。視差量の生成方法の
詳細については、後述する。
【0048】MPU20によって算出された各視差算出
領域E1〜E12毎の視差量は、視差制御回路24に送
られる。視差制御回路24には、フレームメモリ22か
らのY信号、R−Y信号およびB−Y信号も与えられ
る。
【0049】視差制御回路24は、各視差算出領域E1
〜E12毎の視差量に基づいて、たとえば各フィールド
の各画素毎の視差量を生成する。そして、得られた各画
素位置毎の視差量に基づいて、左目映像用任意画素遅延
FIFOおよび右目映像任意画素遅延FIFOから映像
信号(Y信号、R−Y信号およびB−Y信号)を読み出
す際の読み出しアドレスが左目映像用任意画素遅延FI
FOと右目映像任意画素遅延FIFOとの間でずれるよ
うに、左目映像用任意画素遅延FIFOおよび右目映像
任意画素遅延FIFOの読み出しアドレスを制御する。
したがって、左目映像用任意画素遅延FIFOから読み
出された左目映像信号の水平位相と、右目映像任意画素
遅延FIFOから読み出された右目映像信号の水平位相
とが異なるようになる。このようにして、視差制御回路
24によって視差制御される。なお、Y信号用の左目映
像用任意画素遅延FIFOおよび右目映像任意画素遅延
FIFOは、それぞれ左目映像用任意画素遅延FIFO
120および右目映像任意画素遅延FIFO122で表
される(図6参照)。
【0050】視差制御回路24から読み出された左目映
像信号は、D/A変換回路(図示せず)によってアナロ
グ信号に変換された後、立体表示装置に送られる。ま
た、視差制御回路24から読み出された右目映像信号
は、D/A変換回路によってアナログ信号に変換された
後、立体表示装置に送られる。
【0051】左目映像信号の水平位相と、右目映像信号
の水平位相とは異なっているので、左目映像と右目映像
との間に視差が発生する。この結果、左目映像を左目で
観察し、右目映像を右目で観察すると、被写体が背景に
対して前方位置にあるような3次元映像が得られる。
【0052】なお、撮像装置12からタイミング制御回
路26へは、2次元映像信号の垂直同期信号Vsyn
c、水平同期信号Hsyncおよび各水平期間の水平ア
ドレスを検出するためのクロック信号CLKが与えら
れ、タイミング制御回路26は、MPU20からの書き
込み制御信号および読み出し制御信号によって制御され
る。タイミング制御回路26によって、フレームメモリ
22の書き込みおよび読み出しが制御され、また、高周
波成分検出部16および視差制御回路24が制御され
る。
【0053】図3に、高周波成分検出部16の構成を示
される。
【0054】 高周波成分検出部16は、ハイパスフィ
ルタ(HPF)28、絶対値回路30、スライス処理
回路32、加算器34および高周波成分積算レジスタ群
36および選択回路38を含む。高周波成分積算レジス
タ群36は、各視差算出領域E1〜E12にそれぞれ対
応した第1〜第12の高周波成分積算レジスタ群40〜
62を含む。
【0055】タイミング制御回路26は、垂直同期信号
Vsync、水平同期信号Hsyncおよびクロック信
号CLKに基づいて、第1〜第12のイネーブル信号E
N1〜EN12、リセット信号RSTおよび出力タイミ
ング信号DOUTを出力する。
【0056】各イネーブル信号EN1〜EN12は、そ
れぞれ各視差算出領域E1〜E12に対応しており、常
時はLレベルであり、入力される2次元映像信号の水平
垂直位置が対応する視差算出領域内にあるときに、Hレ
ベルとなる。第1〜第12のイネーブル信号EN1〜E
N12は、それぞれ第1〜第12の高周波成分積算レジ
スタ40〜62に、書き込み信号として入力される。ま
た、第1〜第12のイネーブル信号EN1〜EN12
は、選択回路38にも与えられる。選択回路38は、H
レベルのイネーブル信号に対応する入力データを選択し
て加算器34へ出力する。
【0057】リセット信号RSTは、2次元映像信号に
おける各フィールドの有効映像開始タイミングで出力さ
れ、各高周波成分積算レジスタ40〜62に与えられ
る。各高周波成分積算レジスタ40〜62にリセット信
号RSTが入力されると、その内容が0にされる。
【0058】出力タイミング信号DOUTは、図2に示
すように、2次元映像信号の垂直位置が、最下位の視差
算出領域E12の下端の垂直位置を越えた時点から一定
時間だけ、Hレベルとなる。出力タイミング信号DOU
Tは、MPU20に与えられる。
【0059】ハイパスフィルタ28としては、たとえ
ば、図4に示すように、5つのDフリップフロップ64
〜72、入力値の2倍の出力を得るためのビットシフト
回路74、加算器76および減算器78からなる、−
1、0、2、0および−1のタップ係数を持つハイパス
フィルタが用いられる。
【0060】また、スライス処理回路32としては、図
5に示すような入出力特性を有する回路が用いられる。
0〜Iaまでの入力に対しては、出力を0としているの
は、ノイズが高周波成分として抽出されないようにする
ためである。
【0061】したがって、2次元映像信号におけるY信
号の高周波成分がハイパスフィルタ28によって抽出さ
れ、その絶対値が絶対値化回路30によって得られ、ス
ライス処理回路32によって高周波成分の絶対値からノ
イズが除去される。
【0062】2次元映像信号における有効映像開始タイ
ミングにリセット信号RSTが出力され、各高周波成分
積算レジスタ40〜62の内容が0にされる。2次元映
像信号の水平垂直位置が第1の視差算出領域E1内であ
る場合には、第1のイネーブル信号EN1がHレベルと
なるので、第1の高周波成分積算レジスタ40に保持さ
れている高周波成分が選択回路38を介して加算器34
に与えられるとともに、2次元映像信号におけるY信号
の高周波成分(スライス処理回路32の出力)が加算器
34に入力される。
【0063】したがって、第1の高周波成分積算レジス
タ40に保持されていた高周波成分と、2次元映像信号
におけるY信号の高周波成分とが加算器34によって加
算され、その加算結果が第1の高周波成分積算レジスタ
40に格納される。すなわち、2次元映像信号の水平垂
直位置が視差算出領域E1内である場合においては、視
差算出領域E1内の画素の高周波成分が積算されてい
き、その積算結果が第1の高周波成分積算レジスタ40
に蓄積される。
【0064】このようにして、各視差算出領域E1〜E
12毎の高周波成分が、それぞれ対応する高周波成分積
算レジスタ40〜62に蓄積される。そして、出力タイ
ミング信号DOUTがHレベルとなると、各高周波成分
積算レジスタ40〜62に蓄積されている各視差算出領
域E1〜E12毎の高周波成分が、MPU20にデータ
バスを介して与えられる。
【0065】また、図6に、視差制御回路24の主要な
構成が示される。
【0066】図6では、Y信号の処理するための回路構
成しか示されていないが、R−Y信号およびB−Y信号
も同様に処理されるので、R−Y信号およびB−Y信号
についての説明は省略する。
【0067】ところで、MPU20によって算出された
視差量は、各視差算出領域E1〜E12の中心位置にお
ける視差量である。視差制御回路24では、各視差算出
領域E1〜E12の中心位置における視差量に基づい
て、画面18の各画素位置における視差量が求められ
る。そして、各画素位置の2次元映像信号から、その画
素位置における視差量に応じた視差を有する左目映像と
右目映像とを生成するために、各面素位置における視差
量に基づいて、左目映像用任意画素遅延FIFO120
および右目映像任意画素遅延FIFO122の読み出し
アドレスが制御される。
【0068】画面18の各画素位置における視差量は、
タイミング制御回路26、視差補間係数発生回路80、
視差量記憶手段82、視差選択回路84、第1〜第4の
乗算器86〜92および加算器94によって、生成され
る。
【0069】2次元映像信号の水平同期信号Hsync
および垂直同期信号Vsyncは、タイミング制御回路
26に入力される。また、各水平期間の水平アドレスを
検出するためのクロック信号CLKもタイミング制御回
路26に入力される。
【0070】タイミング制御回路26は、水平同期信号
Hsync、垂直同期信号Vsyncおよびクロック信
号CLKに基づいて、2次元映像信号の絶対的水平位置
を表す水平アドレス信号HAD、2次元映像信号の絶対
的垂直位置を表す垂直アドレス信号VAD、2次元映像
信号の相対的水平位置を表す相対的水平位置信号HPO
Sおよび2次元映像信号の相対的垂直位置を表す相対的
垂直位置信号VPOSを生成して出力する。
【0071】2次元映像信号の相対的水平位置および相
対的垂直位置について説明する。
【0072】図7を参照して、図2の視差算出領域E1
〜E12は、次のように設定されている。面面16全体
が図7に点線で示すように、4行5列の20個の領域
(以下、第1分割領域という)に分割されている。そし
て、左上端の第1分割領域の中心、右上端の第1分割領
域の中心、左下端の第1分割領域の中心および右下端の
第1分割領域の中心を4頂点とする四角形領域が3行4
列の12個の領域(以下、第2分割領域という)に分割
され、各第2分割領域が視差算出領域E1〜E12とし
て設定されている。
【0073】第1分割領域および第2分割領域の水平方
向の画素数がmとして表され、第1分割領域および第2
分割領域の垂直方向の画素数がnとして表されている。
2次元映像信号の相対的水平位置は、各第1分割領域の
左端を0とし、右端をmとして、0〜(m−1)で表さ
れる。2次元映像信号の相対的垂直位置は、各第1分割
領域の上端を0とし、下端をnとして、0〜(n−1)
で表される。
【0074】2次元映像信号の相対的水平位置信号HP
OSおよび相対的垂直位置VPOSは、視差補間係数発
生回路80に与えられる。視差補間係数発生回路80
は、相対的水平位置信号HPOS、相対的垂直位置信号
VPOSおよび次の数1に基づいて、第1の視差補間係
数KUL、第2の視差補間係数KUR、第3の視差補間
係数KDLおよび第4の視差補間係数KDRを生成して
出力する。
【0075】
【数1】
【0076】ここで、画面18の各画素位置における視
差量を生成する方法の基本的な考え方について、図8を
用いて説明する。水平アドレス信号HADおよび垂直ア
ドレス信号VADによって表されている水平垂直位置
(以下、注目位置という)が図8のPxyであるとす
る。注目位置Pxyにおける視差量を求める場合につい
て説明する。
【0077】(1)まず、MPU20によって算出され
た各視差算出領域E1〜E12における視差量のうちか
ら、注目位置Pxyが含まれる第1分割領域の4頂点、
この例ではPE1、PE2、PE5、PE6を中心とす
る視差算出領域E1、E2、E5、E6における視差量
が、それぞれUL、UR、DL、DRとして抽出され
る。すなわち、注目位置Pxyが含まれる第1分割領域
の4頂点のうち、左上の頂点を中心とする視差算出領域
E1の視差量が第1の視差量ULとして、右上の頂点を
中心とする視差算出領域E2の視差量が第2の視差量U
Rとして、左下の頂点を中心とする視差算出領域E5の
視差量が第3の視差量DLとして、右下の頂点を中心と
する視差算出領域E6の視差量が第4の視差量DRとし
て、それぞれ抽出される。
【0078】ただし、注目位置が含まれる第1分割領域
が、左上端の第1分割領域である場合のように、注目位
置が含まれる第1分割領域の4頂点のうち1つの頂点の
みが視差検出領域の中心に該当するような場合には、そ
の視差算出領域の視差量が、第1〜第4の視差量UL、
UR、DLおよびDRとして抽出される。
【0079】また、注目位置が含まれる第1分割領域
が、左上端の第1分割領域の右隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち下側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち上側の2つの頂点に対応する視差量
UL、URとしては、その下側の頂点を中心とする視差
算出領域の視差量が抽出される。
【0080】また、注目位置が含まれる第1分割領域
が、左上端の第1分割領域の下隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち右側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち左側の2つの頂点に対応する視差量
UL、DLとしては、その右側の頂点を中心とする視差
算出領域の視差量が抽出される。
【0081】また、注目位置が含まれる第1分割領域
が、右下端の第1分割領域の左隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち上側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち下側の2つの頂点に対応する視差量
DL、DRとしては、その上側の頂点を中心とする視差
算出領域の視差量が抽出される。
【0082】また、注目位置が含まれる第1分割領域
が、右下端の第1分割領域の上隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち左側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち右側の2つの頂点に対応する視差量
UR、DRとしては、その左側の頂点を中心とする視差
算出領域の視差量が抽出される。
【0083】(2)次に、第1〜第4の視差補間係数K
UL、KUR、KDLおよびKDRが求められる。
【0084】第1の視差補間係数KULは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離△X
Rの比{(m−HPOS)/m}と、第1分割領域eの
垂直方向幅nに対する、注目位置Pxyから第1分割領
域eの下辺までの距離△YDの比{(n−VPOS)/
n)}との積によって求められる。すなわち、第1の視
差補間係数KULは、注目位置Pxyを含む第1分割領
域eの左上頂点PE1と注目位置Pxyとの距離が小さ
いほど大きくなる。
【0085】第2の視差補間係数KURは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離△X
Lの比(HPOS/m)と、第1分割領域eの垂直方向
幅nに対する、注目位置Pxyから第1分割領域eの下
辺までの距離△YDの比{(n−VPOS)/n}との
積によって求められる。すなわち、第2の視差補間係数
KURは、注目位置Pxyを含む第1分割領域eの右上
頂点PE2と注目位置Pxyとの距離が小さいほど大き
くなる。
【0086】第3の視差補間係数KDLは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離△X
Rの比{(m−HPOS)/m}と、第1分割領域eの
垂直方向幅nに対する、注目位置Pxyから第1分割領
域eの上辺までの距離△YUの比(VPOS/n)との
積によって求められる。すなわち、第3の視差補間係数
KDLは、注目位置Pxyを含む第1分割領域eの左下
頂点PE5と注目位置Pxyとの距離が小さいほど大き
くなる。
【0087】第4の視差補間係数KDRは、注目位置P
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離△X
Lの比(HPOS/m)と、第1分割領域eの垂直方向
幅nに対する、注目位置Pxyから第1分割領域eの上
辺までの距雅△YUの比(VPOS/n)との積によっ
て求められる。すなわち、第4の視差補間係数KDR
は、注目位置Pxyを含む第1分割領域eの右下頂点P
E6と注目位置Pxyとの距離が小さいほど大きくな
る。
【0088】(3)上記(1)で抽出された第1〜第4
の視差量UL、UR、DL、DRに、それぞれ上記
(2)で算出された第1〜第4の視差補間係数KUL、
KUR、KDL、KDRがそれぞれ乗算される。そし
て、得られた4つの乗算値が加算されることによって、
注目位置Pxyにおける視差量が生成される。
【0089】図6に戻って、視差量記憶手段82は、視
差算出領域E1〜E12にそれぞれ対応して設けられた
第1〜第12の視差レジスタ96〜118を備えてい
る。第1〜第12の視差レジス夕96〜118には、そ
れぞれ、MPU20によって生成された各視差算出領域
E1〜E12における視差量が格納される。
【0090】視差量記憶手段82の後段には、視差選択
回路84が設けられる。視差選択回路84には、各視差
レジスタ96〜118から視差量がそれぞれ与えられ
る。さらに、視差選択回路84には、タイミング制御回
路26から水平アドレス信号HADおよび垂直アドレス
信号VADが与えられる。
【0091】視差選択回路84は、図9(a)に示され
る規則にしたがって、水平アドレス信号HADおよび垂
直アドレス信号VADに対応する領域(図8の例では、
注目位置を含む第1領域の左上頂点を中心とする視差算
出領域)における視差量を、第1の視差量ULとして選
択して出力する。さらに、視差選択回路84は、図9
(b)に示される規則にしたがって、水平アドレス信号
HADおよび垂直アドレス信号VADに対応する領域
(図8の例では、注目位置を含む第1領域の右上頂点を
中心とする視差算出領域)における視差量を、第2の視
差量URとして選択して出力する。
【0092】さらに、視差選択回路84は、図9(c)
に示される規則にしたがって、水平アドレス信号HAD
および垂直アドレス信号VADに対応する領域(図8の
例では、注目位置を含む第1領域の左下頂点を中心とす
る視差算出領域)における視差量を、第3の視差量DL
として選択して出力する。さらに、視差選択回路84
は、図9(d)に示される規則にしたがって、水平アド
レス信号HADおよび垂直アドレス信号VADに対応す
る領域(図8の例では、注目位置を含む第1領域の右下
頂点を中心とする視差算出領域)における視差量を、第
4の視差量DRとして選択して出力する。図9におい
て、たとえば、0〜mのように、a〜bで表現されてい
る記号”〜”は、a以上b未満を意味する記号として用
いられている。
【0093】視差選択回路84によって選択された第1
の視差量UL、第2の視差量UR、第3の視差量DLお
よび第4の視差量DRは、それぞれ第1、第2、第3お
よび第4の乗算器86、88、90および92に入力さ
れる。
【0094】第1、第2、第3および第4の乗算器8
6、88、90および92には、それぞれ視差補間係数
発生回路80からの第1の視差補間係数KUL、第2の
視差補間係数KUR、第3の視差補間係数KDLおよび
第4の視差補間係数KDRも入力される。
【0095】第1の乗算器86は、第1の視差量ULに
第1の視差補間係数KULを乗算する。第2の乗算器8
8は、第2の視差量URに第2の視差補間係数KURを
乗算する。第3の乗算器90は、第3の視差量DLに第
3の視差補間係数KDLを乗算する。第4の乗算器92
は、第4の視差量DRに第4の視差補間係数KDRを乗
算する。
【0096】第1〜第4の乗算器86〜92の出力は、
加算器94によって加算される。これにより、注目位置
における視差量PRが得られる。
【0097】左目映像用任意画素遅延FIFO120お
よび右目映像任意画素遅延FIFO122は、1画素よ
り小さい単位での水平位相制御を行なうために、それぞ
れ、2つのラインメモリ120a、120b、および1
22a、122bを有する。ラインメモリ120a、1
20b、122aおよび122bには、それぞれ、フレ
ームメモリ22からのY信号が入力されるとともに、撮
像装置12からのクロック信号CLKが入力される。
【0098】タイミング制御回路26から出力される水
平アドレス信号HADは、標準アドレス発生回路124
にも入力される。標準アドレス発生回路124は、ライ
ンメモリ120a、120b、122aおよび122b
における標準書き込みアドレスWADおよび標準読み出
しアドレスRADを生成して出力する。また、標準アド
レス発生回路124は、2D/3D映像変換装置10に
よって得られる左目映像信号および右目映像信号に付加
される同期信号Csyncをも出力する。この同期信号
Csyncによって表される水平同期信号は、2次元映
像信号の水平同期信号Hsyncより、所定クロック数
分遅れた信号となる。
【0099】標準読み出しアドレスRADは、標準読み
出しアドレスによって規定される基準水平位相に対し
て、左目映像用任意画素遅延FIFO120および右目
映像任意画素遅延FIFO122に入力される映像信号
の水平位相を進めたり遅らせたりできるようにするため
に、標準書き込みアドレスWADに対して、所定クロッ
ク数分遅れている。標準アドレス発生回路124から出
力される標準書き込みアドレスWADは、左目映像用任
意画素遅延FIFO120内の2つのラインメモリ12
0a、120b、および右目映像任意画素遅延FIFO
122内の2つのラインメモリ122a、122bに、
書き込みアドレスを示す書き込み制御信号として入力さ
れる。
【0100】標準アドレス発生回路124から出力され
る標準アドレスRADは、加算器126および減算器1
28にそれぞれ入力される。加算器126および減算器
128には、加算器94から出力される注目位置の視差
量PRも入力される。
【0101】加算器126では、標準読み出しアドレス
RADに視差量PRが加算される。これにより、左目映
像用読み出しアドレスPRLが得られる。
【0102】左目映像用読み出しアドレスPRLの整数
部PRL1は、左目映像用任意画素遅延FIFO120
内の第1のラインメモリ120aに読み出しアドレスR
ADL1として入力される。したがって、第1のライン
メモリ120aのアドレスRADL1に対応するアドレ
スからY信号が読み出される。読み出されたY信号は、
第1の左目映像用乗算器130に入力される。
【0103】左目映像用読み出しアドレスPRLの整数
部PRL1に1が加算されたアドレス値は、左目映像用
任意画素遅延FIFO120内の第2のラインメモリ1
20bに読み出しアドレスRADL2として入力され
る。したがって、第2のラインメモリ120bのアドレ
スRADL2に対応するアドレスからY信号が読み出さ
れる。読み出されたY信号は、第2の左目映像用乗算器
132に入力される。
【0104】第1のラインメモリ120aに対する読み
出しアドレスRADL1と、第2のラインメモリ120
bに対する読み出しアドレスRADL2とは、1だけ異
なっているので、第1のラインメモリ120aから読み
出されたY信号と、第2のラインメモリ120bから読
み出されたY信号とは、水平位置が1だけずれた信号と
なる。
【0105】左目映像用読み出しアドレスPRLの小数
部PRL2は、第2の左目映像補間係数として第2の左
目映像用乗算器132に入力される。左目映像用読み出
しアドレスPRLの小数部PRL2を1から減算した値
(1−PRL2)は、第1の左目映像補間係数として第
1の左目映像用乗算器130に入力される。
【0106】 したがって、第1の左目映像用乗算器1
30では、第1のラインメモリ120aから読み出され
たY信号に第1の左目映像補間係数(1−PRL2)が
乗算される。第2の左目映像用乗算器132では、第2
のラインメモリ120bから読み出されたY信号に第2
の左目映像補間係数PRL2が乗算される。そして、第
1の左目映像用乗算器130および第2の目映像用乗
算器132によってそれぞれ得られたY信号は加算器1
34で加算された後、左目映像用Y信号YL−OUTと
して、出力される。
【0107】これにより、標準読み出しアドレスRAD
によって規定される基準水平位相に対して、水平位相量
が注目位置における視差量に応じた量だけ遅れた左目映
像用Y信号が得られる。
【0108】減算器128では、標準読み出しアドレス
RADから視差量PRが減算される。これにより、右目
映像用読み出しアドレスPRRが得られる。
【0109】右目映像用読み出しアドレスPRRの整数
部PRR1は、右目映像用任意画素遅延FIFO122
内の第1のラインメモリ122aに読み出しアドレスR
ADR1として入力される。したがって、第1のライン
メモリ122aのアドレスRADR1に対応するアドレ
スからY信号が読み出される。読み出されたY信号は、
第1の右目映像用乗算器136に入力される。
【0110】右目映像用読み出しアドレスPRRの整数
部PRR1に1が加算されたアドレス値は、右目映像用
任意画素遅延FIFO122内の第2のラインメモリ1
22bに読み出しアドレスRADR2として入力され
る。したがって、第2のラインメモリ122bのアドレ
スRADR2に対応するアドレスからY信号が読み出さ
れる。読み出されたY信号は、第2の右目映像用乗算器
138に入力される。
【0111】第1のラインメモリ122aに対する読み
出しアドレスRADR1と、第2のラインメモリ122
bに対する読み出しアドレスRADR2とは、1だけ異
なっているので、第1のラインメモリ122aから読み
出されたY信号と、第2のラインメモリ122bから読
み出されたY信号とは、水平位置が1だけずれた信号と
なる。
【0112】右目映像用読み出しアドレスPRRの小数
部PRR2は、第2の右目映像補間係数として第2の右
目映像用乗算器138に入力される。右目映像用読み出
しアドレスPRRの小数部PRR2を1から減算した値
(1−PRR2)は、第1の右目映像補間係数として第
1の右目映像用乗算器136に入力される。
【0113】したがって、第1の右目映像用乗算器13
6では、第1のラインメモリ122aから読み出された
Y信号に第1の右目映像補間係数(1−PRR2)が乗
算される。第2の右目映像用乗算器138では、第2の
ラインメモリ122bから読み出されたY信号に第2の
右目映像補間係数PRR2が乗算される。そして、各乗
算器136、138によって得られたY信号は加算器1
40で加算された後、右目映像用Y信号YR−OUTと
して、出力される。
【0114】これにより、標準読み出しアドレスRAD
によって規定される基準水平位相に対して、水平位相量
が注目位置における視差量に応じた量だけ進んだ右目映
像用Y信号が得られる。
【0115】図10は、注目位置における視差量が0の
場合の、各部の信号を示している。
【0116】視差量が0の場合には、加算器126から
出力される左目映像用読み出しアドレスPRLと、減算
器128から出力される右目映像用読み出しアドレスP
RRとは、ともに標準読み出しアドレスRADと等しい
小数部のない整数部のみからなるアドレスとなる。
【0117】したがって、左目映像用任意画素遅延FI
FO120内の第1のラインメモリ120aに対する読
み出しアドレスRADL1と、および右目映像用任意画
素遅延FIFO122内の第1のラインメモリ122a
に対する読み出しアドレスRADR1は、それぞれ標準
読み出しアドレスRADと等しいアドレスとなる。
【0118】また、左目映像用任意画素遅延FIFO1
20内の第2のラインメモリ120bに対する読み出し
アドレスRADL2、および右目映像用任意画素遅延F
IFO122内の第2のラインノモリ122bに対する
読み出しアドレスRADR2は、それぞれ標準読み出し
アドレスRADより1だけ大きい値となる。
【0119】また、第1の左目映像補間係数(1−PR
L2)および第1の右目映像補間係数(1−PRR2)
はそれぞれ1となり、第2の左目映像補間係数PRL2
および第2の右目映像補間係数PRR2はそれぞれ0と
なる。
【0120】この結果、左目映像用任意画素遅延FIF
O120内の第1のラインメモリ120aの標準アドレ
スRADに対応するアドレスから読み出されたY信号が
加算器134から左目用Y信号YL−OUTとして出力
され、右目映像用任意面素遅延FIFO122内の第1
のラインメモリ122aの標準アドレスRADに対応す
るアドレスから読み出されたY信号が加算器140から
右目映像用Y信号YR−OUTとして出力される。すな
わち、水平方向の位相ずれ量が同じ2つのY信号、すな
わち視差のない2つのY信号が左目映像用Y信号および
右目映像用Y信号として出力される。
【0121】図11は、ある注目位置に対する標準書き
込みアドレスWADが20であり、上記注目位置に対す
る標準読み出しアドレスRADが10であり、上記注目
位置における視差量が1.2の場合の、各アドレス値の
具体例を示している。図12は、その際の各部の信号を
示している。
【0122】この場合には、加算器126から出力され
る左映像用読み出しアドレスPRLは、11.2とな
り、その整数部PRL1は11となり、その小数部PR
L2は0.2となる。
【0123】したがって、左目映像用任意画素遅延FI
FO120内の第1のラインメモリ120aに対する読
み出しアドレスRADL1は11となり、第2のライン
メモリ120bに対する読み出しアドレスRADL2は
12となる。また、第1の左目映像補間係数KL1{=
(1−PRL2)}は0.8となり、第2の左目映像補
間係数KL2(=PRL2)は0.2となる。
【0124】したがって、左目映像用任意画素遅延FI
FO120内の第1のラインメモリ120aのアドレス
11からY信号(Y11)が読み出され、第1の左目映像
用乗算器130からは読み出されたY信号(Y11)の
0.8倍の信号(0.8×Y11)が出力される。
【0125】一方、左目映像用任意画素遅延FIFO1
20内の第2のラインメモリ120bのアドレス12か
らY信号(Y12)が読み出され、第2の左目映像用乗算
器132からは読み出されたY信号(Y12)の0.2倍
の信号(0.2×Y12)が出力される。そして、加算器
134からは、0.8×Y11+0.2×Y12に相当する
左目映像用Y信号YL−OUTが出力される。すなわ
ち、読み出しアドレス11.2に相当するY信号が、左
目映像用Y信号YL−OUTとして出力される。
【0126】減算器128から出力される右目映像用読
み出しアドレスPRRは、8.8となり、その整数部P
RR1は8となり、その小数部PRR2は0.8とな
る。
【0127】したがって、右目映像用任意画素遅延FI
FO122内の第1のラインメモリ122aに対する読
み出しアドレスRADR1は8となり、第2のラインメ
モリ122bに対する読み出しアドレスRADR2は9
となる。また、第1の右目映像補間係数KR1{=(1
−PRR2)}は0.2となり、第2の右目映像補間係
数KR2(=PRR2)は0.8となる。
【0128】したがって、右目映像用任意画素遅延FI
FO122内の第1のラインメモリ122aのアドレス
8からY信号(Y8)が読み出され、第1の右目映像用
乗算器136からは読み出されたY信号(Y8)の0.
2倍の信号(0.2×Y8)が出力される。
【0129】一方、右目映像用任意画素遅延FIFO1
22内の第2のラインメモリ122bのアドレス9から
Y信号(Y9)が読み出され、第2の右目映像用乗算器
138からは読み出されたY信号(Y9)の0.8倍の
信号(0.8×Y9)が出力される。そして、加算器1
40からは、0.2×Y8+0.8×Y9に相当する右目
映像用Y信号YR−OUTが出力される。すなわち、読
み出しアドレス8.8に相当するY信号が、右目映像用
Y信号YR−OUTとして出力される。
【0130】この結果、11.2−8.8=2.4の視
差、すなわち、視差量1.2の2倍の視差を互いに有す
る左目映像および右目映像が得られる。
【0131】このように構成される2D/3D映像変換
装置10の主要な動作の一例について説明する。なお、
ここでは、合焦距離をN回変更するものとする。
【0132】まず、画面18の中央部分の視差算出領域
における高周波成分を積算した結果を用いて、撮影時の
合焦距離を決定する場合について、図13を参照して説
明する。なお、この方法は、撮影すべき被写体が画面1
8の中央に存在する確率が高いことに着目したものであ
る。
【0133】まず、撮像装置12のフォーカスレンズ1
4の焦点が距離1に合わせられ(ステップS1)、撮像
装置12によって被写体が撮影され、そのとき得られた
2次元映像信号から、合焦距離1における各視差算出領
域E1〜E12の高周波成分が高周波成分検出部16に
よって検出される(ステップS3)。ついで、合焦距離
1における、画面18の中央部分すなわち視差算出領域
E6、E7、E10、E11の各高周波成分がMPU2
0によって積算され、合焦距離1における高周波成分積
算値が算出される(ステップS5)。
【0134】ステップS5の後、撮像装置12の合焦距
離が変更され、次の距離nに焦点が合わせられる(ステ
ップS7)。そして、撮像装置12によって被写体が撮
影され、そのとき得られた2次元映像信号から、合焦距
離nにおける各視差算出領域E1〜E12の高周波成分
が高周波成分検出部16によって検出される(ステップ
S9)。ついで、合焦距離nにおける、画面18の中央
部分すなわち視差算出領域E6、E7、E10、E11
の各高周波成分がMPU20によって積算され、合焦距
離nにおける高周波成分積算値が算出される(ステップ
S11)。
【0135】ステップS7〜S11の処理がN−1回繰
り返され、すべての合焦距離について高周波成分および
高周波成分積算値が得られれば、MPU20によってN
個の合焦距離の各高周波成分積算値が比較され、高周波
成分積算値が最大である合焦距離が検出され、その距離
に焦点が合わせられる(ステップS13)。そして、撮
像装置12によって被写体が撮影され、そのとき得られ
た2次元映像信号がフレームメモリ22に書き込まれる
(ステップS15)。
【0136】各視差算出領域E1〜E12について、高
周波成分が最大となる合焦距離がMPU20によって検
出され、検出された合焦距離が被写体距離となり(ステ
ップS17)、各視差算出領域E1〜E12毎に求めら
れた被写体距離に基づいて、左目映像と右目映像との視
差量が算出される(ステップS19)。
【0137】各視差算出領域E1〜E12の被写体距離
に基づいて視差量を算出する方法としては、たとえば、
撮像装置12に最も近い視差算出領域の視差量を0と
し、最も遠い視差算出領域の視差量をLとする。その他
の各視差算出領域の視差量は、最も近い被写体距離から
該視差算出領域の被写体距離までのステップ数に比例し
た値となる。
【0138】各視差算出領域E1〜E12の視差量は視
差制御回路24に送られ、また、フレームメモリ22か
ら2次元映像信号が読み出され、視差制御回路24に与
えられる(ステップS21)。
【0139】そして、視差制御回路24では、上述した
処理によって左目映像信号および右目映像信号が生成さ
れる。
【0140】さらに、この場合の動作を具体的に説明す
る。
【0141】図14に示すような被写体を撮影して3次
元映像を生成する場合を例に説明する。
【0142】この場合、各視差算出領域E1〜E12に
おいて7段階の合焦距離毎の高周波成分が高周波成分検
出部16によって検出される。各視差算出領域E1〜E
12毎の合焦距離に対する高周波成分の変化は図15に
示すようになる。
【0143】7段階の合焦距離を最も近いものからそれ
ぞれf1、f2、f3、・・・、f7とすると、各視差
算出領域E1〜E12の被写体距離は、視差算出領域E
1から順に、f6、f6、f6、f7、f4、f3、f
5、f5、f2、f2、f4、f4となる。したがっ
て、最も近い被写体距離は視差算出領域E9およびE1
0のf2であり、視差量は0とされる。一方、最も遠い
被写体距離は視差算出領域E4のf7であり、視差量は
Lとされる。その他の各視差算出領域の視差量は、最も
近い被写体距離f2から該視差算出領域の被写体距離ま
でのステップ数に比例した値となる。
【0144】たとえば、視差算出領域E12の場合、被
写体距離はf4となり、最も近い被写体距離f2からの
ステップ数は「2」である。また、最も近い被写体距離
f2から最も遠い被写体距離f7までのステップ数は
「5」である。したがって、この場合の視差量=L×2
/5となる。
【0145】なお、被写体距離が最も近い視差算出領域
の立体視位置を立体表示装置の管面位置に設定し、最も
遠い被写体距離の視差量Lを大きくすれば、管面位置か
らの奥行きを大きくすることができ、視差量Lによって
3次元映像の奥行き量を調節することができる。
【0146】そして、7段階の合焦距離毎に、視差算出
領域E6、E7、E10、E11の各高周波成分がMP
U20によって積算され高周波成分積算値が算出され
る。合焦距離毎の計7個の高周波成分積算値の中から最
大の高周波成分積算値が検出された結果、ここでは、図
16に示すように、3番目に近い合焦距離f3が撮影時
の合焦距離すなわち最終合焦距離となり、ピントがその
合焦距離に合わせられ、再び被写体が撮影される。その
後、上述した処理によって、左目映像信号および右目映
像信号が得られる。
【0147】このように動作する2D/3D映像変換装
置10によれば、従来とは異なり、異なる2視点の映像
を得るための光学的な手段やカメラすなわち撮像装置を
移動させるための機構を必要とせず、1台の撮像装置1
2で3次元映像を得ることができるので、低コストかつ
コンパクトな2D/3D映像変換装置を実現できる。ま
た、元の2次元映像信号に対して時間的に遅延した2次
元映像信号を生成するためのフィールドメモリが不要と
なり、コストの低廉化がさらに図れる。
【0148】また、簡単な処理によって、被写体までの
実際の距離を求めることができるので、従来よりも精度
よく被写体までの距離を求めることができる。
【0149】さらに、2D/3D映像変換装置10によ
れば、2次元映像信号によって表されるもとの画像が静
止画像であっても3次元映像を得ることができる。
【0150】ついで、画面18のすべての視差算出領域
の高周波成分を重み付けして積算し、その結果を用いて
撮影時の合焦距離を決定する場合について、図17を参
照して説明する。
【0151】まず、撮像装置12のフォーカスレンズ1
4の焦点が距離1に合わせられ(ステップS31)、撮
像装置12によって被写体が撮影され、そのとき得られ
た2次元映像信号から、合焦距離1における各視差算出
領域E1〜E12の高周波成分が高周波成分検出部16
によって検出される(ステップS33)。ついで、合焦
距離1における、画面18の全視差算出領域E1〜E1
2の高周波成分がMPU20によって重み付けされて積
算され、合焦距離1における高周波成分積算値が算出さ
れる(ステップS35)。
【0152】ステップS35の後、撮像装置12の合焦
距離が変更され、次の距離nに焦点が合わせられる(ス
テップS37)。そして、撮像装置12によって被写体
が撮影され、そのとき得られた2次元映像信号から、合
焦距離nにおける各視差算出領域E1〜E12の高周波
成分が高周波成分検出部16によって検出される(ステ
ップS39)。ついで、合焦距離nにおける、画面18
の全視差算出領域E1〜E12の各高周波成分がMPU
20によって積算され、合焦距離nにおける高周波成分
積算値が算出される(ステップS41)。
【0153】ステップS37〜S41の処理がN−1回
繰り返され、すべての合焦距離について高周波成分およ
び高周波成分積算値が得られれば、MPU20によって
N個の合焦距離の各高周波成分積算値が比較され、高周
波成分積算値が最大である合焦距離が検出され、その距
離に焦点が合わせられる(ステップS43)。そして、
撮像装置12によって被写体が撮影され、そのとき得ら
れた2次元映像信号がフレームメモリ22に書き込まれ
る(ステップS45)。
【0154】各視差算出領域E1〜E12について、高
周波成分が最大となる合焦距離がMPU20によって検
出され、検出された合焦距離が被写体距離となり(ステ
ップS47)、図13の場合と同様に、各視差算出領域
E1〜E12毎に求められた被写体距離に基づいて、左
目映像と右目映像との視差量が算出される(ステップS
49)。
【0155】各視差算出領域E1〜E12の視差量は視
差制御回路24に送られ、また、フレームメモリ22か
ら2次元映像信号が読み出され、視差制御回路24に与
えられる(ステップS51)。
【0156】そして、視差制御回路24では、上述した
処理によって左目映像信号および右目映像信号が生成さ
れる。
【0157】さらに、この場合の動作を具体的に説明す
る。
【0158】図14に示すような被写体を撮影して3次
元映像を生成する場合、各視差算出領域E1〜E12毎
の視差量は、図15に示すデータに基づいて生成され
る。この場合の動作は上述したので、その動作について
の重複する説明は省略する。
【0159】そして、7段階の合焦距離毎に、全視差算
出領域E1〜E12の高周波成分がMPU20によって
重み付けされて積算され高周波成分積算値が算出され
る。重み付け係数はたとえば図18に示すように設定さ
れ、ここでは中央部分の視差算出領域の重み付け係数が
外側の視差算出領域のそれよりも大きく設定されてい
る。合焦距離毎の計7個の高周波成分積算値の中から最
大の高周波成分積算値が検出された結果、図18に示す
ように、3番目に近い合焦距離f3が撮影時の合焦距離
すなわち最終合焦距離となり、ピントがその合焦距離に
合わせられて、再び被写体が撮影される。その後、上述
した処理によって、左目映像信号および右目映像信号が
得られる。
【0160】このような動作する2D/3D映像変換装
置10によれば、先の動作例と同様の効果が得られる
他、より正確に撮影すべき被写体までの距離を求めるこ
とができる。
【0161】
【発明の効果】この発明によれば、1台の撮像装置で被
写体までの距離を正確に検出できるので、低コストで解
像度の高い3次元映像が得られる。
【図面の簡単な説明】
【図1】この発明の一実施形態を示すブロック図であ
る。
【図2】視差算出領域を示す図解図である。
【図3】高周波成分検出回路の一例を示すブロック図で
ある。
【図4】ハイパスフィルタの一例を示すブロック図であ
る。
【図5】スライス処理回路の入出力特性を示すグラフで
ある。
【図6】視差制御回路の一例を示すブロック図である。
【図7】相対的水平位置および相対的垂直位置を示す図
解図である。
【図8】注目画素における視差量を生成する方法を説明
するための図解図である。
【図9】視差選択回路による選択規則を示すテーブルで
ある。
【図10】視差量が0の場合の各部の信号を示すタイム
チャートである。
【図11】視差量が1.2の場合の各アドレス値を視差
制御回路に付記したブロック図である。
【図12】視差量が1.2の場合の各部の信号を示すタ
イムチャートである。
【図13】この発明の主要動作の一例を示すフロー図で
ある。
【図14】撮影すべき被写体の一例を示す図解図であ
る。
【図15】各視差算出領域毎に、合焦距離に対する高周
波成分の変化を示すグラフである。
【図16】最終合焦距離の算出方法の一例を説明するた
めの図解図およびグラフである。
【図17】この発明の主要動作の他の例を示すフロー図
である。
【図18】最終合焦距離の算出方法の他の例を説明する
ための図解図およびグラフである。
【図19】従来技術を示す図解図である。
【符号の説明】
10 2次元映像を3次元映像に変換する装置 12 撮像装置 14 フォーカスレンズ 16 高周波成分検出部 18 画面 20 MPU 22 フレームメモリ 24 視差制御回路 26 タイミング制御回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−7373(JP,A) 特開 平8−321985(JP,A) 特開 平8−149510(JP,A) 特開 平8−140116(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 13/00 H04N 5/232 G03B 13/00

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 合焦距離を変更できかつ被写体を撮影し
    て2次元映像信号を得る撮像手段、 前記複数の合焦距離毎に、画面内に設定された複数の視
    差算出領域のそれぞれについて前記2次元映像信号の高
    周波成分を検出する高周波成分検出手段、 前記複数の合焦距離毎に、所定の視差算出領域の各高周
    波成分を積算して高周波成分積算値を算出する積算値算
    出手段、 前記高周波成分積算値が最大である合焦距離の2次元映
    像信号を記憶する記憶手段、 各視差算出領域毎に、前記高周波成分に基づいて被写体
    距離を検出する被写体距離検出手段、検出された前記視差算出領域毎の被写体距離に基づいて
    対応する視差算出領域について視差情報を生成する手
    段、 生成された前記視差算出領域毎の視差情報に基づいて画
    素位置毎の視差情報を生成する手段、 および 前記記憶手段に記憶された前記2次元映像信号に対応す
    る画素位置の前記視差情報に応じた水平位相量を有する
    第1映像信号と第2映像信号とを生成する位相制御手段
    を備える、2次元映像を3次元映像に変換する装置。
  2. 【請求項2】 前記被写体距離検出手段は、前記高周波
    成分が最大である合焦距離を前記被写体距離とする手段
    を含む、請求項1に記載の2次元映像を3次元映像に変
    換する装置。
  3. 【請求項3】 前記積算値算出手段は、前記画面の中央
    部分の視差算出領域の各高周波成分を積算して前記高周
    波成分積算値を算出する手段を含む、請求項1または2
    に記載の2次元映像を3次元映像に変換する装置。
  4. 【請求項4】 前記積算値算出手段は、前記画面の各視
    差算出領域の高周波成分を重み付けして積算し前記高周
    波成分積算値を算出する手段を含む、請求項1または2
    に記載の2次元映像を3次元映像に変換する装置。
  5. 【請求項5】 前記位相制御手段は、 前記2次元映像信号を1水平ライン分以下の複数画素数
    分記憶できる容量を有し、かつ前記2次元映像信号を一
    次的に記憶する第1記憶手段、 前記2次元映像信号を1水平ライン分以下の複数画素数
    分記憶できる容量を有し、かつ前記2次元映像信号を一
    次的に記憶する第2記憶手段、 前記第1記憶手段の読み出しアドレスを、前記2次元映
    像信号の水平垂直位置に応じて決定された標準読み出し
    アドレスに対して、前記2次元映像信号の水平垂直位置
    視差情報に基づいて制御することにより、前記標準読
    み出しアドレスによって規定される基準水平位相に対し
    て前記視差情報に応じた量だけ水平位相が進んだ第1映
    像信号を生成する第1の読み出しアドレス制御手段、な
    らびに 前記第2記憶手段の読み出しアドレスを、前記標準読み
    出しアドレスに対して、前記2次元映像信号の水平垂直
    位置視差情報に基づいて制御することにより、前記標
    準読み出しアドレスによって規定される基準水平位相に
    対して前記視差情報に応じた量だけ水平位相が遅れた第
    2映像信号を生成する第2の読み出しアドレス制御手段
    を含む、請求項1ないし4のいずれかに記載の2次元映
    像を3次元映像に変換する装置。
  6. 【請求項6】 撮像手段によって複数の合焦距離毎に被
    写体を撮影して2次元映像信号を得る第1ステップ、 前記複数の合焦距離毎に、画面内に設定された複数の視
    差算出領域のそれぞれについて前記2次元映像信号の高
    周波成分を検出する第2ステップ、 前記複数の合焦距離毎に、所定の視差算出領域の各高周
    波成分を積算して高周波成分積算値を算出する第3ステ
    ップ、 前記高周波成分積算値が最大である焦点距離の2次元映
    像信号を記憶手段に記憶する第4ステップ、 各視差算出領域毎に、前記高周波成分に基づいて被写体
    距離を検出する第5ステップ、検出された前記視差算出
    領域毎の被写体距離に基づいて対応する視差算出領域に
    ついて視差情報を生成する第6ステップ、 生成された前記視差算出領域毎の視差情報に基づいて画
    素位置毎の視差情報を生成する第7ステップ、 および 前記記憶手段に記憶された前記2次元映像信号に対応す
    る画素位置の前記視差情報に応じた水平位相量を有する
    第1映像信号と第2映像信号とを生成する第ステップ
    を備える、2次元映像を3次元映像に変換する方法。
  7. 【請求項7】 前記第5ステップは、前記高周波成分が
    最大である合焦距離を前記被写体距離とするステップを
    含む、請求項に記載の2次元映像を3次元映像に変換
    する方法。
  8. 【請求項8】 前記第3ステップは、前記画面の中央部
    分の視差算出領域の各高周波成分を積算して前記高周波
    成分積算値を算出するステップを含む、請求項6または
    に記載の2次元映像を3次元映像に変換する方法。
  9. 【請求項9】 前記第3ステップは、前記画面の各視差
    算出領域の高周波成分を重み付けして積算し前記高周波
    成分積算値を算出するステップを含む、請求項6または
    に記載の2次元映像を3次元映像に変換する方法。
  10. 【請求項10】 前記第ステップは、 前記2次元映像信号を1水平ライン分以下の複数画素数
    分記憶できる容量を有する第1記憶手段および第2記憶
    手段に、それぞれ前記2次元映像信号を一次的に記憶す
    るステップ、 前記第1記憶手段の読み出しアドレスを、前記2次元映
    像信号の水平垂直位置に応じて決定された標準読み出し
    アドレスに対して、前記2次元映像信号の水平垂直位置
    視差情報に基づいて制御することにより、前記標準読
    み出しアドレスによって規定される基準水平位相に対し
    て前記視差情報に応じた量だけ水平位相が進んだ第1映
    像信号を生成するステップ、ならびに 前記第2記憶手段の読み出しアドレスを、前記標準読み
    出しアドレスに対して、前記2次元映像信号の水平垂直
    位置視差情報に基づいて制御することにより、前記標
    準読み出しアドレスによって規定される基準水平位相に
    対して前記視差情報に応じた量だけ水平位相が遅れた第
    2映像信号を生成するステップを含む、請求項6ないし
    のいずれかに記載の2次元映像を3次元映像に変換す
    る方法。
JP32529397A 1997-11-10 1997-11-10 2次元映像を3次元映像に変換する装置および方法 Expired - Fee Related JP3500056B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32529397A JP3500056B2 (ja) 1997-11-10 1997-11-10 2次元映像を3次元映像に変換する装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32529397A JP3500056B2 (ja) 1997-11-10 1997-11-10 2次元映像を3次元映像に変換する装置および方法

Publications (2)

Publication Number Publication Date
JPH11146423A JPH11146423A (ja) 1999-05-28
JP3500056B2 true JP3500056B2 (ja) 2004-02-23

Family

ID=18175205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32529397A Expired - Fee Related JP3500056B2 (ja) 1997-11-10 1997-11-10 2次元映像を3次元映像に変換する装置および方法

Country Status (1)

Country Link
JP (1) JP3500056B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP2357840A3 (en) * 2002-03-27 2012-02-29 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8325220B2 (en) * 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
CN102124749B (zh) * 2009-06-01 2013-05-29 松下电器产业株式会社 立体图像显示装置
KR101082545B1 (ko) 2010-01-28 2011-11-10 주식회사 팬택 영상 변환 기능을 구비한 이동통신 단말기
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
JP5558951B2 (ja) * 2010-07-21 2014-07-23 シャープ株式会社 3次元撮像装置および電子情報機器
KR101204864B1 (ko) 2011-01-11 2012-11-26 주식회사 인트로메딕 입체 영상 생성 장치
WO2013042440A1 (ja) 2011-09-21 2013-03-28 富士フイルム株式会社 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置

Also Published As

Publication number Publication date
JPH11146423A (ja) 1999-05-28

Similar Documents

Publication Publication Date Title
KR100445619B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
JP4843750B2 (ja) 撮像装置、方法およびプログラム
JP5640143B2 (ja) 撮像装置及び撮像方法
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5127787B2 (ja) 複眼撮影装置及びその制御方法
JP3005474B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP2009053748A (ja) 画像処理装置、画像処理プログラムおよびカメラ
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5467993B2 (ja) 画像処理装置、複眼デジタルカメラ、及びプログラム
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018174502A (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP3500056B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP3235776B2 (ja) 立体感調整方法および立体感調整装置
JPH11239364A (ja) 立体感調整方法及び立体感調整装置
JP2951291B2 (ja) 2次元映像を3次元映像に変換する装置および方法
US11032463B2 (en) Image capture apparatus and control method thereof
JP3143245B2 (ja) 撮像装置およびその測光方法およびその合焦制御方法ならびに撮像方法
JP3957343B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP6648916B2 (ja) 撮像装置
JP3485764B2 (ja) 2次元映像を3次元映像に変換する装置および方法
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
JP2013175821A (ja) 画像処理装置、画像処理方法およびプログラム
JP2012124650A (ja) 撮像装置および撮像方法
JP3454684B2 (ja) 2次元映像を3次元映像に変換する装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees