JP4759789B2

JP4759789B2 - 画像処理システム

Info

Publication number: JP4759789B2
Application number: JP2000214119A
Authority: JP
Inventors: 晶司佐藤; 英彦關澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-14
Filing date: 2000-07-14
Publication date: 2011-08-31
Anticipated expiration: 2020-07-14
Also published as: JP2002034054A

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の角度を有して対向した、少なくとも一対のミラーからなる光学系を有する撮像装置による撮影画像の歪みを補正する画像処理システムに関する。
【０００２】
【従来の技術】
従来の画像撮影装置は例えば図８のように構成されていた。図８において、２枚のミラーを組み合わせた光学部１と、該光学部１を介して導かれた映像を撮影する撮像装置２とで、広い角度の画像を撮影することができる撮像系３を構成している。
【０００３】
１０は基準ベースであり、該基準ベース１０上には、第１ミラー１１と第２ミラー１２が垂直に設けられている。例えば第１ミラー１１は固定されていて、第２ミラー１２はミラー回転軸１３を中心に回動し、第１ミラー１１との対向する角度を制御することができる。前記回動は駆動・制御回路１４からの指示でモータ１５が回転し、ギア１６，１７を介して行うことができる。
【０００４】
このようなシステムでは被写体Ｑ₁〜Ｑ_nまでの広い範囲の対象について第２ミラー１２を回動することにより、撮像装置２までその像を導くことができるものである。
【０００５】
【発明が解決しようとする課題】
しかしながら図８のような装置で撮影された画像は、第１ミラー１１と第２ミラー１２が平行でない場合、撮影画像が歪むことが知られている。以下に図８に示す撮像系３で撮影した画像の歪みについて説明する。
【０００６】
図９〜図１１は第１、第２ミラー１１、１２による被写体とその鏡像を示している。図９は第１ミラー１１と第２ミラー１２とが平行の場合であり、被写体Ｓ₀は第１ミラー１１により鏡像Ｓ₁、第２ミラー１２により鏡像Ｓ₂となり、被写体Ｓ₀と鏡像Ｓ₂は平行となって後述するような歪みは発生しない。
【０００７】
ところが図１０に示すように第１ミラー１１と第２ミラー１２とが平行ではなく、角度＋θを有して対向している場合、被写体Ｓ₀は第１ミラー１１により鏡像Ｓ₁、第２ミラー１２により鏡像Ｓ₂となり、鏡像Ｓ₂は被写体Ｓ₀に対して角度＋θを有することになる。
【０００８】
また、図１１に示すように第１ミラー１１と第２ミラー１２とが角度−θを有して対向している場合、被写体Ｓ₀は第１ミラー１１により鏡像Ｓ₁、第２ミラー１２により鏡像Ｓ₂となり、鏡像Ｓ₂は被写体Ｓ₀に対して角度−θを有することになる。
【０００９】
このように被写体Ｓ₀に対して鏡像Ｓ₂が傾きを有する場合、撮影画像に歪みが生じる。例えば図１０の状態では鏡像Ｓ₂のＢ₂はＡ₂よりもΔｄだけ遠くに在るようになる。従って被写体Ｓ₀を例えばＡ、Ｂを対向する辺である長方形であると仮定した場合、図１２に示すようにこの鏡像Ｓ₂をカメラ視点Ｐで撮影すると撮像面では手前の辺Ａ（Ａ₂₀〜Ａ₂₁）はａ₂₀〜ａ₂₁に、また、奥の辺Ｂ（Ｂ₂₀〜Ｂ₂₁）はｂ₂₀〜ｂ₂₁になり、本来同じ長さであるべきａ₂₀〜ａ₂₁とｂ₂₀〜ｂ₂₁はａ₂₀〜ａ₂₁の方が長くなり、図１３（ａ）に示すように撮影画像は歪むことになる。当然のことながら、図１１の状態ではｂ₂₀〜ｂ₂₁の方がａ₂₀〜ａ₂₁より長くなる。
【００１０】
従って図１０の＋θずれている場合では、図１３（ａ）の点ｂ₂₀、点ｂ₂₁を図１３（ｂ）のように本来あるべき点ｂ₂₀′、点ｂ₂₁′に変換、補正することが必要になり、また図１１の−θずれている場合では逆の操作が必要になる。
【００１１】
従って本発明は、所定の角度を有する一対の鏡を介して導かれる画像の歪みを補正して、高品位の画像を得るとともに、この光学系を用いて効果的、高品位の立体画像を得ることを課題とする。
【００１３】
本発明の第１の観点に係る画像処理システムは、所定の基準面に垂直であり、且つ、互いに第１の所定角度を有して対向する第１の一対の鏡と、互いに第２の所定角度を有して対向する第２の一対の鏡とを有し、前記第１の一対の鏡より導かれる第１の画像と、前記第２の一対の鏡より導かれる第２の画像とが所定の視差を有して１つの撮像素子上に結像されることで２つの画像を同時に撮影可能とする画像撮影装置と、第１の一対の鏡同士または第２の一対の鏡同士が互いに平行ではなくなった場合に生ずる、前記画像撮影装置によって撮影された画像の歪みを、その歪みに応じて画像中の任意の位置を基準にして他の部分を拡大または縮小することで補正する補正手段とを具備して構成されている。そして、前記補正手段が、前記画像撮影装置において撮影された画像のなかで、指定された同じ水平位置にある２つの被写体が水平となるように画像全体を補正するようになされている。
【００１４】
また、本発明の第２の観点に係る画像処理システムは、所定の基準面に垂直であり、且つ、互いに所定角度を有して対向する一対の鏡を有し、該一対の鏡の間は所定距離離間されて被写体を１つの撮像素子によって直接撮影可能であると共に、前記一対の鏡により導かれ、前記直接撮影された画像に対して所定の視差を有する画像をも前記１つの撮像素子によって同時に撮影可能である画像撮影装置と、前記一対の鏡同士が互いに平行ではなくなった場合に生ずる、前記一対の鏡により導かれて前記画像撮影装置によって撮影された画像の歪みを、その歪みに応じて画像中の任意の位置を基準にして他の部分を拡大または縮小することで補正する補正手段とを具備して構成されている。そして、前記補正手段が、前記画像撮影装置において撮影された画像のなかで、指定された同じ水平位置にある２つの被写体が水平となるように画像全体を補正するようになされている。
【００１５】
また例えば、本発明の第２の観点に係る画像処理システムにおいて、前記一対の鏡の対向する角度は制御可能とされていても良い。
また例えば、本発明の第２の観点に係る画像処理システムにおいて、前記補正手段は、鏡の対向角度、被写体までの距離、撮影倍率のうち少なくとも１つをパラメータとして補正演算を行うようにしても良い。
また例えば、本発明の第２の観点に係る画像処理システムにおいて、前記画像撮影装置において撮影された画像のなかで、被写体を直接撮影した画像を基準として、一対の鏡により導かれる画像を補正するように構成されていても良い。
【００１７】
【発明の実施の形態】
以下図面を参照しながら本発明の実施形態例を説明する。図１は本発明の画像処理システムのブロック構成図である。図１において３１は被写体からの光を受けるミラー装置、３２は撮影レンズ群、ズーム、オートフォーカス等の機能を有する撮像光学系、３３は結像された画像を電気信号に変換する撮像素子、３４は撮像素子３３からの画像信号を処理するデジタル化／信号処理部、３５は処理された画像データを記憶する画像メモリ、３６は前記処理された画像データに基づいて画像の補正を行う補正演算装置、３７は補正演算装置３６で補正された画像データを記憶する画像メモリ、３８はこれら各部を制御する制御部である。
【００１８】
３９は制御の内容を指示する操作指示設定部、４０は画像メモリ３７に記憶された画像データを読み出す読み出し部であり、前記ミラー装置３１は図８に示す光学部１と同等のものである。
【００１９】
補正の方法として、鏡の対向角度、被写体までの距離、撮影倍率の１つまたはこれらを複合して制御部３８の指示により補正演算装置３６で補正を行う。この際外部から操作指示設定部３９を介して補正条件を入力して補正させることが可能であると共に、撮像装置の倍率、被写体までの距離、鏡の対向角度を図示しないセンサーで検知して自動的に所定の算式で補正演算させることも可能である。
【００２０】
また、表示装置に映し出された原画像を見て、同じ水平位置にある２つの被写体を指定し、それらが水平となるように画像全体を補正するようにしても良い。
【００２１】
補正された画像データは読み出し部４０を介して画像用メモリ３７から読み出され、表示装置に表示され、記録装置で記録され、通信装置により伝送すること等が行われる。記録装置としては磁気テープ、磁気ディスク、光ディスク、半導体メモリ等を記録媒体として用いるいずれのものも用いることができる。
【００２２】
次に、上述した発明を立体画像撮影装置に適用した実施形態例を説明する。まず図２、図３に示すような光学系を用いる立体画像撮影装置が本願発明者らによって提案されているところである。
【００２３】
図２の装置はＲ用第１ミラー５１、Ｒ用第２ミラー５２、Ｌ用第１ミラー５３、Ｌ用第２ミラー５４で構成され、Ｒ用第１ミラー５１に対してＲ用第２ミラー５２は角度θ₁、Ｌ用第１ミラー５３に対してＬ用第２ミラー５４は角度θ₂を有している。尚θ₁＝θ₂であっても良い。
【００２４】
このような光学系を撮像装置の前面に設けることによって撮像素子５５上に、被写体Ｍ，Ｎの右目用、左目用の視差を有する画像が結像し、立体視が可能な画像を得ることができる。
【００２５】
また図３の装置は第１ミラー６１、第２ミラー６２で構成され、第１ミラー６１と第２ミラー６２の間は被写体Ｍ，Ｎが直接撮影できるように所定距離離間されている。さらに第１ミラー６１に対し第２ミラー６２はθの角度を有して対向されていて、この光学系を介した被写体Ｍ，Ｎの映像も同時に撮像素子６３で撮影される。この直接撮影された画像と光学系を介した画像は右目用、左目用の視差を有する、立体視が可能な画像を得ることができる。
【００２６】
上述した２つの構成によって得られた画像による立体視は、一例として次のようにして行われる。まず図４の符号７１と符号７２はそれぞれ左目用と右目用の視差を有する画像である。これを交互に表示し、表示と同期させて観察者の目の前に設けられたシャッターを開閉する。例えば符号７１のｍ₁，ｎ₁はそれぞれ左目用の被写体Ｍ，Ｎの像であり、符号７２のｍ₂，ｎ₂はそれぞれ右目用の被写体Ｍ，Ｎの像である。
【００２７】
符号７３は高速で切り替わって表示されている状態であり、切り替わりと同期してシャッター７４を切り換え、左目でｍ₁，ｎ₁を、一方右目でｍ₂，ｎ₂を見るようにすることで、被写体Ｍ′，Ｎ′として立体的に見えることになる。
【００２８】
さて、上述したようにして立体画像が得られるが、その光学部の構成は前述したものと同様であり歪みが生ずるものである。従って、左右の像は必ずしも一致するものではない。
【００２９】
例えば図５（ａ）は図２の構成の光学部を用いて、平行な線を撮影した画像であり、一対のミラーの対向する角度によって、本来平行であるべき「平行線」は歪むことになる。従ってこのまま立体視をすると中心部のみでしか好適な立体画像は得られない。
【００３０】
図５（ｂ）はこれらの画像を本発明の補正手段によって補正して本来の「平行線」に戻した画像であり、上下の位置関係も適正に合わせ込むものである。補正としては、任意の位置を基準として他の部分を拡大、縮小するが、拡大することにより画素数が不足する場合、前後左右の画素情報から演算して補間し、縮小する場合は所定間隔で画素を除去すること等の方法が用いられる。
【００３１】
また、図６（ａ）は図３の構成の光学部を用いて、平行な線を撮影した画像であり、直接撮影されるＬ画像は「平行線」のままであるが、一対のミラーを介して撮影されるＲ画像は、ミラーの対向する角度によって、本来平行であるべき「平行線」は歪むことになる。
【００３２】
図６（ｂ）は本発明の補正手段によってＲ画像を補正して本来の「平行線」に戻した画像であり、上下の位置関係も適性に合わせ込むものである。補正としては、Ｌ画像を基準としてＲ画像を演算補正する。拡大することにより画素数が不足する場合、前後左右の画素情報から演算して補間することは上述したものと同様である。
【００３３】
上述したように何れの構成による立体画像作成においても、その左右の画像を補正することにより好適な立体画像が得られる。
【００３４】
図７は立体画像の撮影と画像処理のブロック構成図である。図７において８１は、被写体からの光を受ける、図２、図３で述べたミラー装置、８２は撮影レンズ群、ズーム、オートフォーカス等の機能を有する撮像光学系、８３は結像された画像を電気信号に変換する撮像素子、８４は撮像素子８３からの画像信号を処理するデジタル化／信号処理部、８５はデジタル化された画像データを記憶するＲ画像メモリ、８６はＬ画像メモリ、８７は記憶された画像データに基づいて画像の補正を行う補正演算装置、８８は補正演算装置８７で補正された画像データを記憶するＲ画像メモリ、８９はＬ画像メモリ、９０はこれら各部を制御する制御部である。
【００３５】
９１は制御の内容を指示する操作指示設定部、９２はＲ画像メモリ８８、Ｌ画像メモリ８９に記憶された画像データを読み出す読み出し部である。
【００３６】
補正の方法として、鏡の対向角度、被写体までの距離、撮影倍率の１つ、またはこれらを複合して制御部９０の指示により、Ｒ画像メモリ８５、Ｌ画像メモリ８６の画像データを基に補正演算装置８７で補正を行う。この際外部から操作指示設定部９１を介して補正条件を入力して補正させることが可能であると共に、撮像装置の倍率、被写体までの距離、鏡の対向角度を図示しないセンサーで検知して自動的に所定の算式で補正演算させることも可能である。
【００３７】
また、表示装置に映し出された原画像を見て、同じ水平位置にある２つの被写体を指定し、それらが水平となるように画像全体を補正するようにしても良い。
【００３８】
補正された画像データは読み出し部９２を介してＲ画像メモリ８８、Ｌ画像メモリ８９から読み出され、表示装置に表示され、記録装置で記録され、通信装置により伝送すること等が行われる。記録装置としては磁気テープ、磁気ディスク、光ディスク、半導体メモリ等を記録媒体として用いるいずれのものも用いることができることは前記と同様である。
【００３９】
また図３に示す光学部を用いた場合は、直接被写体を撮影できるものは画像歪みの点で補正する必要はないが、立体画像としてより効果的になるように補正しても良い。
【００４０】
【発明の効果】
以上のように本発明によれば、２つのミラーを組み合わせた光学系を介して撮影される画像の歪みを補正し、良好な画像を得ることができる。また、立体画像を得る場合においても、左右の画像を容易に一致させ、また、画像そのものの歪みを除去することができ、更には立体として効果的な画像補正を加えることができ、効果的で高品位の立体画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態例を表し、画像の歪み補正手段を付加した撮像系のブロック図。
【図２】本発明の一実施形態例を表し、ミラーの組み合わせを有する第１の立体撮影装置の光学構成を示す概略図。
【図３】本発明の他の実施形態例を表し、ミラーの組み合わせを有する第２の立体撮影装置の光学構成を示す概略図。
【図４】画像の立体撮影の立体構成を示す説明図。
【図５】本発明の第１の立体撮影装置の画像歪みと補正の様子を表す説明図。
【図６】本発明の第２の立体撮影装置の画像歪みと補正の様子を表す説明図。
【図７】本発明の他の実施形態例を表し、画像の歪み補正手段を付加した立体撮影装置のブロック図。
【図８】従来の、２枚のミラーを用いた光学部と撮像装置を有する撮像系の概略構成図。
【図９】画像撮影装置における、第１ミラーと第２ミラーとが平行である場合の被写体と鏡像の関係を示す説明図。
【図１０】画像撮影装置における、第１ミラーに対し第２ミラーが＋θの角度を有する場合の被写体と鏡像の関係を示す説明図。
【図１１】画像撮影装置における、第１ミラーに対し第２ミラーが−θの角度を有する場合の被写体と鏡像の関係を示す説明図。
【図１２】画像の歪みの様子を表す説明図。
【図１３】画像の歪み補正の様子を表す説明図。
【符号の説明】
３１，８１…ミラー装置、３２，８２…撮像光学系、３３，８３…撮像素子、３４，８４…デジタル化／信号処理部、３５，３７…画像メモリ、３６，８７…補正演算装置、３８，９０…制御部、３９，９１…操作指示設定部、４０，９２…読み出し部、５１…Ｒ用第１ミラー、５２…Ｒ用第２ミラー、５３…Ｌ用第１ミラー、５４…Ｌ用第２ミラー、５５，６３…撮像素子、６１…第１ミラー、６２…第２ミラー、７４…シャッター、８５，８８…Ｒ画像メモリ、８６，８９…Ｌ画像メモリ。

Claims

所定の基準面に垂直であり、且つ、互いに第１の所定角度を有して対向する第１の一対の鏡と、互いに第２の所定角度を有して対向する第２の一対の鏡とを有し、前記第１の一対の鏡より導かれる第１の画像と、前記第２の一対の鏡より導かれる第２の画像とが所定の視差を有して１つの撮像素子上に結像されることで２つの画像を同時に撮影可能とする画像撮影装置と、
前記第１の一対の鏡同士または前記第２の一対の鏡同士が互いに平行ではなくなった場合に生ずる、前記画像撮影装置によって撮影された画像の歪みを、その歪みに応じて画像中の任意の位置を基準にして他の部分を拡大または縮小することで補正する補正手段と
を具備し、
前記補正手段は、前記画像撮影装置において撮影された画像のなかで、同じ水平位置にある２つの被写体を指定し、それらが水平となるように画像全体を補正する
画像処理システム。
前記第１の所定角度と第２の所定角度は各々制御可能に構成されている請求項１に記載の画像処理システム。
前記補正手段は、鏡の対向角度、被写体までの距離、撮影倍率のうち少なくとも１つをパラメータとして補正演算を行う請求項１に記載の画像処理システム。
前記画像撮影装置によって撮影された画像を表示する表示装置をさらに備え、
前記補正手段は、前記表示装置に表示された画像のなかで指定された、同じ水平位置にある２つの被写体が水平となるように画像全体を補正する請求項１に記載の画像処理システム。
所定の基準面に垂直であり、且つ、互いに所定角度を有して対向する一対の鏡を有し、該一対の鏡の間は所定距離離間されて被写体を１つの撮像素子によって直接撮影可能であると共に、前記一対の鏡により導かれ、前記直接撮影された画像に対して所定の視差を有する画像をも前記１つの撮像素子によって同時に撮影可能である画像撮影装置と、
前記一対の鏡同士が互いに平行ではなくなった場合に生ずる、前記一対の鏡により導かれて前記画像撮影装置によって撮影された画像の歪みを、その歪みに応じて画像中の任意の位置を基準にして他の部分を拡大または縮小することで補正する補正手段と
を具備し、
前記補正手段は、前記画像撮影装置において撮影された画像のなかで、同じ水平位置にある２つの被写体を指定し、それらが水平となるように画像全体を補正する
画像処理システム。
前記一対の鏡の対向する角度は制御可能に構成されている請求項５に記載の画像処理システム。
前記補正手段は、鏡の対向角度、被写体までの距離、撮影倍率のうち少なくとも１つをパラメータとして補正演算を行う請求項５に記載の画像処理システム。
前記画像撮影装置によって撮影された画像を表示する表示装置をさらに備え、
前記補正手段は、前記表示装置に表示された画像のなかで指定された、同じ水平位置にある２つの被写体が水平となるように補正する請求項５に記載の画像処理システム。
前記補正手段は、前記画像撮影装置において撮影された画像のなかで、被写体を直接撮影した画像を基準として、一対の鏡により導かれる画像を補正する請求項５に記載の画像処理システム。