JPH10155104A - 複眼撮像方法及び装置並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 出力形態に応じた動画のパノラマ撮像表示及
び立体視撮像表示を行うことができる複眼撮像方法及び
装置を提供する。 【解決手段】 左右の撮像光学系４ａ，４ｂで撮像した
左右の画像から、複数の合成方法を有する画像合成部１
５により１枚の合成画像を作成し、この画像合成部１５
が有する複数の合成方法をモード選択部１８により切り
替えるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高画質、高精細な
動画パノラマ撮像表示機能或いは動画立体視撮像表示機
能を有する複眼撮像方法及び装置並びにこれら複眼撮像
方法及び装置に使用する記憶媒体に関する。

【０００２】

【従来の技術】従来より、複眼撮像装置を用いたパノラ
マ撮像表示法及び立体視撮像表示法が知られている。パ
ノラマ撮像表示法では、例えば左右に並べられた２つの
撮像光学系を、ミラー等を用いて撮像する画像の視点が
一致するように配置して撮像する。撮像光学系では、撮
像した左右２枚の画像がオーバーラップするようにして
撮像する。そして、得られた左右２枚の画像をあるオー
バーラップ量でオーバーラップさせて１枚のパノラマ合
成画像を作成し、ディスプレイ等の画像出力装置に表示
する。

【０００３】一方、立体視撮像表示法では、２つの撮像
光学系をある基線長で与えられる間隔でそれぞれ平行に
配置して、２視点からの画像の撮像を行う。

【０００４】ところで、人間の左右の目は平均して６５
ｍｍ程度の距離があるとされ、立体視撮像表示において
も２つの撮像光学系の基線長を６５ｍｍとすることが標
準となっている。

【０００５】このように、左右２つの視点からある着目
した被写体を撮像した場合、それぞれの撮像系で撮像さ
れる画像中の被写体の位置が互いに異なっている。即
ち、これが視差であり、この視差を立体視（ステレオ
視）することにより、ユーザーは立体感のある画像を見
ることができる。

【０００６】左右２つの視点で得られた画像を立体視す
る方法には、種々の方法がある。その１つは、得られた
左右それぞれの画像をディスプレイ（画像出力装置）を
用いて、１枚の画像領域に左右交互に出力する。ユーザ
ー側では、その左右画像の表示切り替えに同期して、左
右のシャッターの切り替えを行う液晶シャッター眼鏡で
見ることにより、立体感のある画像を見ることができる
ものである。

【０００７】また、もう１つの表示法では、左右２つの
画像を予め作成した１枚の立体視画像の領域に水平方向
の１ラインおきに交互に配置して、左右２画像からなる
ストライプ状の画像を作成する。そして、ディスプレイ
画面には作成した立体視画像と同様に水平方向の１ライ
ンおきに偏光方向が交互に変化する偏光板を持ってお
り、画像はストライプ状に偏光方向が異なって表示され
る。そこで、作成したストライプ状の立体視画像をディ
スプレイに表示すると、右の撮像光学系で撮像された画
像（右画像）は、ある方向のみの偏光光だけが透過して
表示され、左の撮像光学系で撮像された画像（左画像）
は、前記右画像とは異なる偏光光のみが透過して表示さ
れる。

【０００８】一方、ユーザー側では左右それぞれにディ
スプレイに表示される画像と同じ偏光光のみを透過する
機能を備えた偏光眼鏡を掛けることにより、右目には右
画像が表示されている偏光光のみを透過し、左目には左
画像が表示されている偏光光のみを透過するようになっ
ている。この偏光眼鏡を用いてユーザーは右画像を右目
のみで、左画像を左目のみで見ることになり、ユーザー
は立体感のある画像を見ることができる。

【０００９】また、上述したように立体視撮像表示で
は、異なる視点から撮像される画像の視差を利用してい
る。即ち、ユーザーは視差を持つ２つの画像を着目した
被写体（以下、主被写体と記述する）について重ね合わ
せるように、即ち、融像させることにより、立体感のあ
る画像を作り出している。

【００１０】一般にユーザーは、主被写体について左右
２つの視点の画像を融像させて立体視する場合、左右２
画像間の主被写体の視差が小さい方が主被写体の融像を
容易に行うことができる。

【００１１】そこで、撮像する際には主被写体の視差が
小さくなるように撮像光学系を配置することが必要にな
っている。従来では、この問題を （１）撮像光学系に輻輳角を持たせて配置 （２）撮像光学系を平行移動 することにより解決していた。

【００１２】図２３は２つの撮像光学系を輻輳角を持た
せずに配置した場合、即ち、平行視による立体視撮像の
撮像光学系の配置例を示す図である。同図において、２
つの撮像光学系７０１ａ，７０１ｂは原点Ｏ1を中心と
して基線長ｌで与えられた間隔で互いに平行に配置され
ており、それぞれレンズ７０２ａ，７０２ｂと撮像素子
であるＣＣＤ７０３ａ，７０３ｂを持っている。レンズ
７０２ａとＣＣＤ７０３ａ、レンズ７０２ｂとＣＣＤ７
０３ｂの間隔はｖとする。また、原点Ｏ1から撮像する
方向にｚだけ離れた位置Ａに主被写体９０４があるもの
とする。

【００１３】図２３において、主被写体９０４は左右各
々のＣＣＤ７０３ａ，７０３ｂの面上の異なる位置にそ
れぞれ結像する。このときのＣＣＤ７０３ａ，７０３ｂ
の各面での主被写体９０４の結像位置の差を視差ｄと呼
ぶ。即ち、平行に配置された２つの撮像光学系７０１
ａ，７０１ｂには、主被写体９０４はある視差ｄを持っ
て結像することになる。そこで、これをユーザーが融像
しやすいように撮像光学系７０１ａ，７０１ｂに輻輳角
を持たせて、主被写体９０４の視差ｄを小さくする。

【００１４】図２３において、レンズ７０２ａ，７０２
ｂの中心Ｂ、Ｃと、物体である主被写体９０４の存在す
る位置Ａと原点Ｏ1からなる角Ｏ1ＡＢ、Ｏ1ＡＣは、下
記式（１）によりθとして求められる。

【００１５】 θ＝ａｒｃｔａｎ ｌ／２ｚ …式（１） ここで、ｚは２つの撮像光学系７０１ａ，７０１ｂ群と
主被写体９０４との間の距離、ｌは２つの撮像光学系７
０１ａ，７０１ｂの基線長を表わす。そこで、２つの撮
像光学系７０１ａ，７０１ｂを各レンズ７０２ａ，７０
２ｂの中心Ｂ、Ｃを回転中心として、直線ＢＣから角θ
だけ回転させることにより、両方のＣＣＤ７０３ａ，７
０３ｂに結像する主被写体９０４の位置を共に画像の中
央にして、視差を０にすることができる。

【００１６】図２４は撮像される主被写体９０４の２画
像間の視差を０にするように、撮像光学系７０１ａ，７
０１ｂに輻輳角を持たせて配置した例を示す図である。

【００１７】以上のように撮像光学系７０１ａ，７０１
ｂに輻輳角を持たせることにより、撮像光学系７０１
ａ，７０１ｂがぶつかり合う等の物理的な制約がない限
り、主被写体９０４の視差を０にすることが可能であ
る。

【００１８】一方、撮像光学系７０１ａ，７０１ｂを平
行移動させて配置する方法では、撮像光学系７０１ａ，
７０１ｂの基線長ｌを短くとる或いはＣＣＤ７０３ａ，
７０３ｂを平行移動させる等の方法がある。

【００１９】図２５は撮像光学系７０１ａ，７０１ｂの
基線長をｌからｌ′に短くした配置例を示す図である。
この様に撮像光学系７０１ａ，７０１ｂの基線長を短く
すると、撮像された画像の視差を小さくすることができ
る。

【００２０】図２６は撮像光学系７０１ａ，７０１ｂ内
のＣＣＤ７０３ａ，７０３ｂを平行移動させた例を示す
図である。同図に示すように、ＣＣＤ７０３ａ，７０３
ｂを平行移動させて撮像する各撮像光学系７０１ａ，７
０１ｂで撮像される左右２つの画像で主被写体９０４の
視差を小さくすることができる。

【００２１】

【発明が解決しようとする課題】しかしながら、上述し
た従来の複眼撮像装置を用いたパノラマ撮像表示法及び
立体視撮像表示法にあっては、静止画を対象とした処理
及び表示法しかなく、動画に対応した処理及び表示法は
確立されていなかった。動画表示では、フレームフレー
トの高い、動画として良好な画像を提供するような処理
及び表示方法が必要となっているが、いまだ実現を見な
い。

【００２２】また、上述した従来の撮像光学系に輻輳角
を持たせた場合、撮像面の共役面は変化する。

【００２３】図２４において、撮像面の共役面は平行視
のときの撮像面の共役面９０５ａから各撮像光学系７０
１ａ，７０１ｂによって撮像される撮像面の共役面、こ
こでは左の撮像光学系７０１ａによる撮像面の共役面９
０５ｂから右の撮像光学系７０１ｂによる撮像面の共役
面９０５ｃへ変化することになる。この撮像面の共役面
の変化によって、各画像の中心にある主被写体９０４を
除く周辺部は歪みを生じることになる。この歪みは撮像
光学系７０１ａ，７０１ｂの輻輳角が大きくなるにつれ
て大きくなり次第に立体視をすることが困難になってく
る。より良好な立体視撮像表示を行うために、撮像光学
系７０１ａ，７０１ｂに持たせる輻輳角には限界がある
という問題点があった。

【００２４】また、撮像光学系７０１ａ，７０１ｂを平
行移動させて配置することにより、主被写体９０４の視
差を小さくする方法では、まず、基線長を短くすると、
主被写体９０４だけではなく画像全体として視差のない
画像ができることになり、十分な立体感を得ることがで
きないという問題点があった。

【００２５】また、ＣＣＤ等の撮像素子を平行移動させ
る方法では、精度の高い撮像素子の制御が要求される。
そこで、視差の大きい左右の画像を用いた場合、撮像素
子を平行移動して視差を０にするためには、移動量が大
きくなり制御が困難であるという問題点があった。

【００２６】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、出力形態に応じた動画のパノラマ
撮像表示及び立体視撮像表示を行うことができる複眼撮
像方法及び装置を提供しようとするものである。

【００２７】また、本発明の第２の目的とするところ
は、主被写体の融像を容易にする立体視画像を得ること
ができる複眼撮像方法及び装置を提供しようとするもの
である。

【００２８】また、本発明の第３の目的とするところ
は、撮像光学系の制御を手動操作により容易に行うこと
ができる複眼撮像方法及び装置を提供しようとするもの
である。

【００２９】また、本発明の第４の目的とするところ
は、前記複眼撮像装置を円滑に制御することができる記
憶媒体を提供しようとするものである。

【００３０】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の複眼撮像方法は、左右に配置し
た２つの撮像光学系で撮像した左右２つの画像から１枚
の合成画像を作成する複数の合成方法を有する合成ステ
ップと、前記複数の合成方法を切り替える切り替えステ
ップとを有することを特徴とする。

【００３１】また、上記第１の目的を達成するために請
求項２記載の複眼撮像方法は、請求項１記載の複眼撮像
方法において、前記複数の合成方法の内の第１は、合成
速度を優先して合成する合成方法１であり且つ前記複数
の合成方法の内の第２は、合成した画像の画質を優先し
て合成する合成方法２であることを特徴とする。

【００３２】また、上記第１の目的を達成するために請
求項３記載の複眼撮像方法は、請求項２記載の複眼撮像
方法において、前記合成方法１は、撮像した左右２つの
画像を一定のオーバーラップ量を与えて合成し且つ前記
合成方法２は、撮像した左右２つの画像をそれぞれの輝
度、色情報の左右差や台形歪みを補正し、更に、２つの
画像のオーバーラップ領域を検出してこれから算出され
るオーバーラップ量を用いて合成することを特徴とす
る。

【００３３】また、上記第１の目的を達成するために請
求項４記載の複眼撮像方法は、請求項２または３記載の
複眼撮像方法において、前記切り替えステップは、スル
ー表示モードでは前記合成方法１に、記録及び再生モー
ドでは前記合成方法２に切り替えることを特徴とする。

【００３４】また、上記第１の目的を達成するために請
求項５記載の複眼撮像方法は、請求項１，２または３記
載の複眼撮像方法において、前記合成画像は、パノラマ
合成画像であることを特徴とする。

【００３５】また、上記第１の目的を達成するために請
求項６記載の複眼撮像方法は、請求項１，２または３記
載の複眼撮像方法において、前記合成画像は、立体視画
像であることを特徴とする。

【００３６】また、上記第１の目的を達成するために請
求項７記載の複眼撮像装置は、左右に配置した２つの撮
像光学系で撮像した左右２つの画像から１枚の合成画像
を作成する複数の合成方法を有する合成手段と、前記複
数の合成方法を切り替える切り替え手段とを有すること
を特徴とする。

【００３７】また、上記第１の目的を達成するために請
求項８記載の複眼撮像装置は、請求項７記載の複眼撮像
装置において、前記複数の合成方法の内の第１は、合成
速度を優先して合成する合成方法１であり且つ前記複数
の合成方法の内の第２は、合成した画像の画質を優先し
て合成する合成方法２であることを特徴とする。

【００３８】また、上記第１の目的を達成するために請
求項９記載の複眼撮像装置は、請求項７記載の複眼撮像
装置において、前記合成方法１は、撮像した左右２つの
画像を一定のオーバーラップ量を与えて合成し且つ前記
合成方法２は、撮像した左右２つの画像をそれぞれの輝
度、色情報の左右差や台形歪みを補正し、更に、２つの
画像のオーバーラップ領域を検出してこれから算出され
るオーバーラップ量を用いて合成することを特徴とす
る。

【００３９】また、上記第１の目的を達成するために請
求項１０記載の複眼撮像装置は、請求項７または８記載
の複眼撮像装置において、前記切り替え手段は、スルー
表示モードでは前記合成方法１に、記録及び再生モード
では前記合成方法２に切り替えることを特徴とする。

【００４０】また、上記第１の目的を達成するために請
求項１１記載の複眼撮像装置は、請求項７，８または９
記載の複眼撮像装置において、前記合成画像は、パノラ
マ合成画像であることを特徴とする。

【００４１】また、上記第１の目的を達成するために請
求項１２記載の複眼撮像装置は、請求項７，８または９
記載の複眼撮像装置において、前記合成画像は、立体視
画像であることを特徴とする。

【００４２】また、上記第２の目的を達成するために請
求項１３記載の複眼撮像方法は、２つの撮像光学系によ
り互いに視差を有する１組の画像を撮像する複眼撮像方
法において、撮像した画像内から選択された主被写体の
視差を調節するように制御する制御ステップを有するこ
とを特徴とする。

【００４３】また、上記第２の目的を達成するために請
求項１４記載の複眼撮像方法は、請求項１３記載の複眼
撮像方法において、前記制御ステップは、前記撮像光学
系の輻輳角の限界値を設定していることを特徴とする。

【００４４】また、上記第２の目的を達成するために請
求項１５記載の複眼撮像方法は、請求項１３記載の複眼
撮像方法において、前記制御ステップは、前記撮像光学
系の輻輳角の限界値以上では、表示する画像を平行移動
することにより、該画像中の主被写体の視差を調節する
ことを特徴とする。

【００４５】また、上記第２の目的を達成するために請
求項１６記載の複眼撮像方法は、請求項１５記載の複眼
撮像方法において、前記平行移動とは、前記撮像光学系
を平行移動することを指し、前記制御ステップは、前記
撮像光学系の輻輳角の限界値以上では、該撮像光学系の
基線長を短くして撮像することにより、画像中の主被写
体の視差を調節することを特徴とする。

【００４６】また、上記第２の目的を達成するために請
求項１７記載の複眼撮像方法は、請求項１５記載の複眼
撮像方法において、前記平行移動とは、前記撮像光学系
内の撮像素子を平行移動することを指し、前記制御ステ
ップは、前記撮像光学系の輻輳角の限界値以上では、該
撮像光学系の撮像素子を前記２つの撮像光学系の中心か
ら離れるように平行移動して撮像することにより、画像
中の主被写体の視差を調節することを特徴とする。

【００４７】また、上記第２の目的を達成するために請
求項１８記載の複眼撮像方法は、請求項１５記載の複眼
撮像方法において、前記平行移動とは、撮像した左右の
画像を平行移動することを指し、前記制御ステップは、
前記撮像光学系の輻輳角の限界値以上では、該撮像した
左右の画像を平行移動して立体視撮像表示画像を作成す
ることにより、画像中の主被写体の視差を調節すること
を特徴とする請求項１６記載の撮像方法。

【００４８】また、上記第３の目的を達成するために請
求項１９記載の複眼撮像方法は、請求項１５記載の複眼
撮像方法において、２つの撮像光学系により互いに視差
を有する１組の画像を撮像する複眼撮像方法において、
前記撮像光学系の輻輳角の限界値を設定し、該限界値以
下では前記輻輳角もしくは平行移動により前記撮像光学
系を制御し、前記限界値以上では前記平行移動により前
記撮像光学系を制御する制御ステップを有することを特
徴とする。

【００４９】また、上記第２の目的を達成するために請
求項２０記載の複眼撮像装置は、２つの撮像光学系によ
り互いに視差を有する１組の画像を撮像する複眼撮像装
置において、撮像した画像内から選択された主被写体の
視差を調節するように制御する制御手段を有することを
特徴とする。

【００５０】また、上記第２の目的を達成するために請
求項２１記載の複眼撮像装置は、請求項２０記載の複眼
撮像装置において、前記制御手段は、前記撮像光学系の
輻輳角の限界値を設定していることを特徴とする。

【００５１】また、上記第２の目的を達成するために請
求項２２記載の複眼撮像装置は、請求項２０記載の複眼
撮像装置において、前記制御手段は、前記撮像光学系の
輻輳角の限界値以上では、表示する画像を平行移動する
ことにより、該画像中の主被写体の視差を調節すること
を特徴とする。

【００５２】また、上記第２の目的を達成するために請
求項２３記載の複眼撮像装置は、請求項２２記載の複眼
撮像装置において、前記平行移動とは、前記撮像光学系
を平行移動することを指し、前記制御手段は、前記撮像
光学系の輻輳角の限界値以上では、該撮像光学系の基線
長を短くして撮像することにより、画像中の主被写体の
視差を調節することを特徴とする。

【００５３】また、上記第２の目的を達成するために請
求項２４記載の複眼撮像装置は、請求項２２記載の複眼
撮像装置において、前記平行移動とは、前記撮像光学系
内の撮像素子を平行移動することを指し、前記制御手段
は、前記撮像光学系の輻輳角の限界値以上では、該撮像
光学系の撮像素子を前記２つの撮像光学系の中心から離
れるように平行移動して撮像することにより、画像中の
主被写体の視差を調節することを特徴とする。

【００５４】また、上記第２の目的を達成するために請
求項２５記載の複眼撮像装置は、請求項２２記載の複眼
撮像装置において、前記平行移動とは、撮像した左右の
画像を平行移動することを指し、前記制御手段は、前記
撮像光学系の輻輳角の限界値以上では、該撮像した左右
の画像を平行移動して立体視撮像表示画像を作成するこ
とにより、画像中の主被写体の視差を調節することを特
徴とする。

【００５５】また、上記第３の目的を達成するために請
求項２６記載の複眼撮像装置は、２つの撮像光学系によ
り互いに視差を有する１組の画像を撮像する複眼撮像装
置において、前記撮像光学系の輻輳角の限界値を設定す
る限界値設定手段と、該限界値設定手段により設定され
た限界値以下では前記輻輳角もしくは平行移動により前
記撮像光学系を制御し且つ前記限界値以上では前記平行
移動により前記撮像光学系を制御する制御手段とを有す
ることを特徴とする。

【００５６】また、上記第３の目的を達成するために請
求項２７記載の複眼撮像装置は、請求項２６記載の複眼
撮像装置において、前記制御手段は、ユーザーインター
フェースであることを特徴とする。

【００５７】また、上記第４の目的を達成するために請
求項２８記載の記憶媒体は、複眼撮像装置を制御するプ
ログラムを格納する記憶媒体であって、左右に配置した
２つの撮像光学系で撮像した左右２つの画像から１枚の
合成画像を作成する複数の合成方法を有する合成モジュ
ールと、前記複数の合成方法を切り替える切り替えモジ
ュールとを有するプログラムを格納したことを特徴とす
る。

【００５８】また、上記第４の目的を達成するために請
求項２９記載の記憶媒体は、請求項２８記載の記憶媒体
において、前記複数の合成方法の内の第１は、合成速度
を優先して合成する合成方法１であり且つ前記複数の合
成方法の内の第２は、合成した画像の画質を優先して合
成する合成方法２であることを特徴とする。

【００５９】また、上記第４の目的を達成するために請
求項３０記載の記憶媒体は、請求項２９記載の記憶媒体
において、前記合成方法１は、撮像した左右２つの画像
を一定のオーバーラップ量を与えて合成し且つ前記合成
方法２は、撮像した左右２つの画像をそれぞれの輝度、
色情報の左右差や台形歪みを補正し、更に、２つの画像
のオーバーラップ領域を検出してこれから算出されるオ
ーバーラップ量を用いて合成することを特徴とする。

【００６０】また、上記第４の目的を達成するために請
求項３１記載の記憶媒体は、請求項２８または２９記載
の記憶媒体において、前記切り替えモジュールは、スル
ー表示モードでは前記合成方法１に、記録及び再生モー
ドでは前記合成方法２に切り替えることを特徴とする。

【００６１】また、上記第４の目的を達成するために請
求項３２記載の記憶媒体は、請求項２８，２９または３
０記載の記憶媒体において、前記合成画像は、パノラマ
合成画像であることを特徴とする。

【００６２】また、上記第４の目的を達成するために請
求項３３記載の記憶媒体は、請求項２８，２９または３
０記載の記憶媒体において、前記合成画像は、立体視画
像であることを特徴とする。

【００６３】また、上記第４の目的を達成するために請
求項３４記載の記憶媒体は、２つの撮像光学系により互
いに視差を有する１組の画像を撮像する複眼撮像装置を
制御するプログラムを格納する記憶媒体であって、撮像
した画像内から選択された主被写体の視差を調節するよ
うに制御する制御モジュールを有するプログラムを格納
したことを特徴とする。

【００６４】また、上記第４の目的を達成するために請
求項３５記載の記憶媒体は、請求項３４記載の記憶媒体
において、前記制御モジュールは、前記撮像光学系の輻
輳角の限界値を設定していることを特徴とする。

【００６５】また、上記第４の目的を達成するために請
求項３６記載の記憶媒体は、請求項３４記載の記憶媒体
において、前記制御モジュールは、前記撮像光学系の輻
輳角の限界値以上では、表示する画像を平行移動するこ
とにより、該画像中の主被写体の視差を調節することを
特徴とする。

【００６６】また、上記第４の目的を達成するために請
求項３７記載の記憶媒体は、請求項３６記載の記憶媒体
において、前記平行移動とは、前記撮像光学系を平行移
動することを指し、前記制御モジュールは、前記撮像光
学系の輻輳角の限界値以上では、該撮像光学系の基線長
を短くして撮像することにより、画像中の主被写体の視
差を調節することを特徴とする。

【００６７】また、上記第４の目的を達成するために本
発明の請求項３８記載の記憶媒体は、請求項３６記載の
記憶媒体において、前記平行移動とは、前記撮像光学系
内の撮像素子を平行移動することを指し、前記制御モジ
ュールは、前記撮像光学系の輻輳角の限界値以上では、
該撮像光学系の撮像素子を前記２つの撮像光学系の中心
から離れるように平行移動して撮像することにより、画
像中の主被写体の視差を調節することを特徴とする。

【００６８】また、上記第４の目的を達成するために本
発明の請求項３９記載の記憶媒体は、請求項３６記載の
記憶媒体において、前記平行移動とは、撮像した左右の
画像を平行移動することを指し、前記制御モジュール
は、前記撮像光学系の輻輳角の限界値以上では、該撮像
した左右の画像を平行移動して立体視撮像表示画像を作
成することにより、画像中の主被写体の視差を調節する
ことを特徴とする。

【００６９】また、上記第４の目的を達成するために本
発明の請求項４０記載の記憶媒体は、２つの撮像光学系
により互いに視差を有する１組の画像を撮像する複眼撮
像装置を制御するプログラムを格納する記憶媒体であっ
て、前記撮像光学系の輻輳角の限界値を設定する限界値
設定モジュールと、該限界値設定モジュールにより設定
された限界値以下では前記輻輳角もしくは平行移動によ
り前記撮像光学系を制御し且つ前記限界値以上では前記
平行移動により前記撮像光学系を制御する制御モジュー
ルとを有することを特徴とする。

【００７０】

【発明の実施の形態】以下、本発明の各実施の形態を図
面に基づき説明する。

【００７１】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図４に基づき説明する。図１は本
発明の第１の実施の形態に係る複眼撮像装置を有するシ
ステム構成を示すブロック図であり、このシステムは、
複眼撮像装置１とパーソナルコンピュータ２とディスプ
レイ装置３とからなる。

【００７２】複眼撮像装置１は、左右２つの撮像光学系
４ａ，４ｂ、同期信号発生器５、Ａ／Ｄコンバータ６
ａ，６ｂ、メモリ７を備えている。撮像光学系４ａ，４
ｂは、それぞれレンズ８ａ，８ｂ、撮像素子であるＣＣ
Ｄ９ａ，９ｂを有している。ＣＣＤ９ａ，９ｂは同期信
号発生器５と接続されており、２つのＣＣＤ９ａ，９ｂ
を同期して撮像できるようになっている。複眼撮像装置
１は、インターフエースケーブル１０によってパーソナ
ルコンピュータ２と接続されている。

【００７３】パーソナルコンピュータ２は、パラレルイ
ンターフェース１１、ＣＰＵ（中央演算処理装置）１
２、メモリ１３、ディスプレイコントローラ１４、画像
合成部１５、画像補正／オーバーラップ量計算部１６、
記憶装置１７及びモード選択部１８を有しており、これ
らはそれぞれＣＰＵバス１９に接続されている。ディス
プレイコントローラ１４はＶＲＡＭ（ビデオランダムア
クセスメモリ）２０を有している。

【００７４】複眼撮像装置１からの画像信号の入力はパ
ラレルインターフェース１１により行い、ディスプレイ
装置３への画像の出力はディスプレイコントローラ１４
を介して行うようになっている。

【００７５】次に本実施の形態に係る複眼撮像装置１に
よる動画のパノラマ撮像表示方法について、図２のフロ
ーチャートに基づき説明する。まず、ステップＳ２０１
で処理モードの選択、切り替えを行う。この処理モード
には、リアルタイムに画像の撮像、処理、表示を行うス
ルー表示モードと、撮像した画像を一時記録しておく記
録モードと、記録した画像を再生する再生モードの３種
類がある。ユーザーはこれら３種類の中から希望の処理
モードを選択して、処理モードを切り替える。本実施の
形態においては、図１のパーソナルコンピュータ２内の
ハードウエアであるモード選択部１８によって処理モー
ドの選択、切り替えを行っているが、ハードウエアで処
理モードの選択、切り替えを行わずに、ソフトウエアで
処理モードの選択、切り替えを行うようにすることは可
能である。

【００７６】次に各処理モードを選択した場合の処理の
流れを説明する。

【００７７】まず、スルー表示モードが選択された場合
は、ステップＳ２０２で左右画像の撮像を行う。図１に
おいて、複眼撮像装置１内のレンズ８ａ，８ｂで結像し
た左右２つの画像をそれぞれのＣＣＤ９ａ，９ｂで取得
する。画像は同期信号発生器５からの信号を基に左右で
同期して取得する。得られる画像信号をＡ／Ｄコンバー
タ６ａ，６ｂでそれぞれデジタル画像に変換してメモリ
７に蓄積する。これら２系統の画像信号をインターフェ
ースケーブル１０を介してパーソナルコンピュータ２に
入力する。入力した画像信号はＣＰＵバス１９を通って
メモリ１３に転送される。

【００７８】ここで、ＣＣＤ９ａ，９ｂが互いに同期し
て撮像を行っているので、その後の画像信号のアナログ
／デジタル画像変換や複眼撮像装置１からパーソナルコ
ンピュータ２への画像転送が同期して行われていなくて
も、メモリ１３に転送される左右２つの画像は互いに同
期の取れた画像となっている。

【００７９】そこで、パーソナルコンピュータ２に転送
された左右２系統の画像から１枚のパノラマ合成画像を
作成する。図３にスルー表示モードにおいてパノラマ合
成画像をディスプレイ装置３に表示する方法を示す。同
図中、２０１ａは左画像、２０１ｂは右画像である。こ
こで、左右２つの画像２０１ａ，２０１ｂをパノラマ合
成する上で１視点から撮像された左右２つの画像をつな
ぎ合わせるオーバーラップ領域を決定する必要がある。
このオーバーラップ量を、スルー表示モードではステッ
プＳ２０３で、ある一定の値に設定する。これはユーザ
ーが適当な値を設定する。そして、この値に基づいてス
テップＳ２０４で図１における画像合成部１５により左
右２つの画像２０１ａ，２０１ｂからパノラマ画像に合
成する。

【００８０】パノラマ画像の合成では、２つの画像２０
１ａ，２０１ｂのオーバーラップ領域を、左右いずれか
の画像で画素値を代入して重ね合わせる。合成したパノ
ラマ画像は、ステップＳ２０５で図１のディスプレイコ
ントローラ１４によってＶＲＡＭ２０に転送され、ディ
スプレイ装置３に表示される。これをユーザーが希望す
るフレームだけディスプレイ装置３に表示して、その表
示を終了するか否かをステップＳ２０６で判別する。そ
して、終了しない場合は前記ステップＳ２０２へ戻り、
終了する場合はステップＳ２０７でディスプレイ装置３
の表示を終了する。

【００８１】以上のようにして、スルー表示モードで
は、ある一定のオーバーラップ量を予め設定しておい
て、その設定した値を用いてパノラマ合成処理を行う。

【００８２】次に記録モードが選択された場合の処理に
ついて説明する。図４に記録モードにおけるパノラマ撮
像表示方法を示す。記録モードが選択された場合は、ス
テップＳＳ２０８で左右画像の撮像を行う。この複眼撮
像装置１による左右２系統の画像信号の撮像は、上述し
たスルー表示モードの場合と同様である。また、記録モ
ードにおいてもディスプレイ装置３にはスルー表示モー
ドによる表示が行われている。即ち、パノラマ合成画像
の記録に並行して、ステップＳＳ２０９でオーバーラッ
プ量をある一定の値に設定する。この値に基づいてステ
ップＳ２１０で図１における画像合成部１５により左右
２つの画像２０１ａ，２０１ｂからパノラマ画像に合成
する。合成したパノラマ画像は、ステップＳ２１１で図
１のディスプレイコントローラ１４によってＶＲＡＭ２
０に転送され、ディスプレイ装置３に表示される。ユー
ザーはディスプレイ装置３に表示された画像を見ながら
パノラマ合成画像を記録することができる。

【００８３】しかし、パノラマ合成画像の記録におい
て、スルー表示モードでは２つの画像２０１ａ，２０１
ｂから１枚のパノラマ合成画像を作成する場合に、２つ
の画像２０１ａ，２０１ｂをそのままの状態である一定
のオーバーラップ量を与えて合成していたが、記録モー
ドでは、パノラマ合成を行う前に、まず、ステップＳ２
１４で図１の画像補正／オーバーラップ量計算部１６に
より左右２つの画像２０１ａ′，２０１ｂ′のオーバー
ラップ量を計算する。この左右２つの画像２０１ａ′，
２０１ｂ′のオーバーラップ量は、撮像された左右２つ
の画像２０１ａ′，２０１ｂ′からテンプレートマッチ
ング等のアルゴリズムを用いた画素値の対応付けを行
い、オーバーラップ領域を検出してから、その重なり量
を算出している。従って、画像合成に用いるオーバーラ
ップ量は可変値となる。

【００８４】次にステップＳ２１５で図１の画像補正／
オーバーラップ量計算部１６により、撮像した画像の情
報を利用した画像の補正を行う。即ち、複眼撮像装置１
の撮像光学系４ａ，４ｂによって生じる左右２つの画像
の輝度、色情報の左右差や台形歪みの補正を行う。図４
では右画像２０１ｂ′、左画像２０１ａ′のつなぎ目で
不連続になる輝度を補正している様子を示している。こ
れらの補正及びオーバーラップ量の計算を行った後、ス
テップＳ２１６で図１の画像合成部１５によりパノラマ
合成を行う。これは、スルー表示モードにおけるステッ
プＳ２０４での合成と同様であるが、そのときのパラメ
ータである左右２つの画像のオーバーラップ量は、代入
方法が異なっている。また、合成する２つの画像は、記
録モードでは画像補正が行われている。

【００８５】以上のようにしてパノラマ合成した画像
を、ステップＳ２１７で図１の記憶装置１７へ転送して
記録する。この記録はユーザーの設定に応じて複数フレ
ームについて行い、ステップＳ２１２でディスプレイ表
示及び記録を終了するか否かを判別する。そして、終了
しない場合は前記ステップＳ２０８へ戻り、終了する場
合はステップＳ２１３でディスプレイ表示及び記録を終
了する。ここで、記録する画像はパノラマ合成した画像
としているが、その代わりに画像補正した左右２枚の画
像とアトリビュート情報であるオーバーラップ量を記録
することも可能である。

【００８６】最後に再生モードが選択された場合の処理
について説明する。再生モードが選択された場合は、ス
テップＳ２１８で予め図１の記憶装置１７に記憶されて
いた動画のファイルを読み込み、ディスプレイ装置３に
表示する。ディスプレイ装置３による表示は、上述した
スルー表示モードと同様に、図１のディスプレイコント
ローラ１４の制御によりＶＲＡＭ２０に転送して、ディ
スプレイ装置３に表示している。

【００８７】以上のようにして、モードの切り替えによ
りユーザーの目的に応じた表示を行うことができる。ス
ルー表示モードでは予め一定のオーバーラップ量を設定
してパノラマ合成画像を作成して表示するため、１フレ
ームの処理時間が短くなり、リアルタイムでのフレーム
レートが高い同画像を提供することができる。また、記
録モードでは画像補正と正確なオーバーラップ量の計算
を行った後、パノラマ合成画像を作成するため、改めて
再生モードでディスプレイ装置３に表示する場合には、
画質の良い２系統の画像のつなぎ目が滑らかなパノラマ
合成画像を得ることができる。

【００８８】本実施の形態においては、図１で左右２系
統の画像信号の処理を行う画像補正／オーバーラップ量
計算部１６、画像合成部１５はパーソナルコンピュータ
２内にあるが、これらを複眼撮像装置１内に備えること
も可能である。また、パーソナルコンピュータ２の代わ
りにワークステーション等の装置を用いることも可能で
ある。また、複眼撮像装置１とパーソナルコンピュータ
２を接続するインターフェースケーブル１０は、２つの
インターフェースにより各系統別々に転送したり、１つ
のインターフェースを用いて２系統の画像信号を左右時
分割してパーソナルコンピュータ２に転送することが可
能である。その他、パーソナルコンピュータ２内のＣＰ
Ｕバス１９はＩＳＡバス、ＰＣＩバス等、種々の規格の
バスを用いることができる。

【００８９】（第２の実施の形態）次に本発明の第２の
実施の形態を図５及び図６に基づき説明する。上述した
第１の実施の形態はパノラマ合成画像を得るようにした
ものであるのに対して、本実施の形態は立体視画像を得
るようにしたものである。なお、本実施の形態に係る複
眼撮像装置を有するシステム構成は、上述した第１の実
施の形態における図１と同一であり、また、本実施の形
態に係る複眼撮像装置による動画の立体視撮像表示処理
のフローチャートは、上述した第１の実施の形態におけ
る図２と同一であるから、両図を流用して説明する。

【００９０】まず、まず、ステップＳ２０１で処理モー
ドの選択、切り替えを行う。この処理モードは、上述し
た第１の実施の形態と同様のスルー表示モードと、記録
モードと、再生モードの３種類がある。ユーザーはこれ
ら３種類の中から希望の処理モードを選択して、処理モ
ードを切り替える。また、本実施の形態においても、図
１のパーソナルコンピュータ２内のハードウエアである
モード選択部１８によって処理モードの選択、切り替え
を行っているが、ハードウエアで処理モードの選択、切
り替えを行わずに、ソフトウエアで処理モードの選択、
切り替えを行うようにすることは可能である。

【００９１】次に各処理モードを選択した場合の処理の
流れを説明する。

【００９２】まず、スルー表示モードが選択された場合
は、ステップＳ２０２で左右２枚の画像の撮像を行う。
複眼撮像装置１によって左右２枚の画像を撮像する方法
は、上述したパノラマ撮像表示の場合と同様である。し
かし、パノラマ撮像表示では視点を一致させて撮像する
のに対して、立体視撮像表示では撮像光学系４ａ，４ｂ
を基線長で与えられる間隔で配置し、２視点からの画像
の撮像を行う。

【００９３】次に撮像した左右２系統の画像をパーソナ
ルコンピュータ２に転送して、１枚の立体視画像を作成
する。図５にスルー表示モードにおいて立体視画像をデ
ィスプレイ装置３に表示する方法を示す。同図中、３０
１ａは左画像、３０１ｂは右画像、３０２は主被写体で
ある。ここで左右２つの画像３０１ａ，３０１ｂから立
体視画像を作成するためのオーバーラップ量を決定する
必要がある。立体視画像におけるオーバーラップ量とは
左右２つの画像を重ね合わせる量を指す。このオーバー
ラップ量を変えることにより、作成する立体視画像の視
差、即ち、立体感を制御することができる。このオーバ
ーラップ量をステップＳ２０３である一定の値に設定す
る。本実施の形態では、撮像画像中の主被写体３０２の
視差を小さくするようにオーバーラップ量の値を設定す
るものとする。これは、主被写体３０２の融像を容易に
するために設定しているが、このオーバーラップ量はユ
ーザーが自由に設定することができる。そして、この設
定した値に基づいてステップＳ２０４で図１の画像合成
部１５により１枚の立体視画像を作成する。

【００９４】立体視画像の表示では、従来技術の項で述
べたように、ディスプレイ装置上に左右の画像を交互に
出力して、この画像の切り替えに同期してシャッタリン
グする液晶シャッター眼鏡で見る方法や、左右２枚の画
像を水平方向の１ラインおきに交互に配置し、上から１
ラインおきに偏光方向を交互に変えるシートを被せ、そ
の上から左右で偏光の異なる眼鏡を用いて見る方法があ
る。このように立体視画像の表示方法は複数種類ある
が、ここではどの様な表示方法でも適応可能である。

【００９５】以上のようにして作成された画像は、上述
したパノラマ撮像表示の場合と同様に、ステップＳ２０
５で図１のディスプレイコントローラ１４によってＶＲ
ＡＭ２０に転送され、ディスプレイ装置３に表示され
る。次にステップＳ２０６でユーザーが設定した時間及
びフレーム数だけ表示して、その表示を終了するか否か
を判別する。そして、終了しない場合は前記ステップＳ
２０２へ戻り、終了する場合はステップＳ２０７でディ
スプレイ装置３の表示を終了する。

【００９６】以上のようにして、スルー表示モードでは
左右２つの画像からそのまま立体視画像を作成して、デ
ィスプレイ装置３に表示する。これにより、フレームレ
ートの高い動画の立体視撮像表示を行うことができる。

【００９７】次に記録モードが選択された場合の処理に
ついて説明する。図６に記録モードにおける立体視撮像
表示方法を示す。同図中、３０１ａ′は左画像、３０１
ｂ′は右画像、３０２は主被写体である。記録モードが
選択された場合は、ステップＳＳ２０８で左右画像の撮
像を行う。この複眼撮像装置１による左右２系統の画像
信号の撮像は、上述したスルー表示モードの場合と同様
である。また、記録モードにおいてもディスプレイ装置
３にはスルー表示モードによる表示が行われている。即
ち、立体視画像の記録に並行して、ステップＳＳ２０９
でオーバーラップ量をある一定の値に設定する。この値
に基づいてステップＳ２１０で図１における画像合成部
１５により左右２つの画像３０１ａ，３０１ｂから立体
視画像に合成する。合成した立体視画像は、ステップＳ
２１１で図１のディスプレイコントローラ１４によって
ＶＲＡＭ２０に転送され、ディスプレイ装置３に表示さ
れる。ユーザーはディスプレイ装置３に表示された画像
を見ながら立体視画像を記録することができる。

【００９８】しかし、パノラマ合成画像の記録におい
て、スルー表示モードでは２枚の画像３０１ａ，３０１
ｂから１枚の立体視画像を作成する場合に、２枚の画像
３０１ａ，３０１ｂをそのままの状態である一定のオー
バーラップ量を与えて合成していたが、記録モードで
は、立体視画像を作成する前に、まず、ステップＳ２１
４で図１の画像補正／オーバーラップ量計算部１６によ
り左右２つの画像３０１ａ′，３０１ｂ′のオーバーラ
ップ量を計算する。この左右２つの画像３０１ａ′，３
０１ｂ′のオーバーラップ量は、撮像された左右２つの
画像３０１ａ′，３０１ｂ′から主被写体３０２の抽出
を行い、視差を０に設定する。即ち、画像中の主被写体
３０２が丁度重なるように左右２つの画像３０１ａ′，
３０１ｂ′を重ねたときのその重なり量を示している。
従って、立体視画像作成に用いるオーバーラップ量は可
変値となる。ここで、本実施の形態においては視差を０
に設定するとしたが、視差を０以外の値に設定すること
も可能である。

【００９９】次にステップＳ２１５で図１の画像補正／
オーバーラップ量計算部１６により、撮像した画像の情
報を利用した画像の補正を行う。即ち、複眼撮像装置１
の撮像光学系４ａ，４ｂによって生じる左右２つの画像
の輝度、色情報の左右差や台形歪みの補正を行う。図６
では右画像３０１ｂ′、左画像３０１ａ′のつなぎ目で
不連続になる輝度を補正している様子を示している。こ
れらの補正及びオーバーラップ量の計算を行った後、ス
テップＳ２１６で図１の画像合成部１５により立体視画
像の作成を行う。これは、スルー表示モードにおけるス
テップＳ２０４での合成と同様であるが、そのときのパ
ラメータである左右２つの画像のオーバーラップ量は、
代入方法が異なっている。また、合成する２つの画像
は、記録モードでは画像補正が行われている。

【０１００】以上のようにして作成された立体視画像
を、ステップＳ２１７で図１の記憶装置１７へ転送して
記録する。この記録はユーザーの設定に応じて複数フレ
ームについて行い、ステップＳ２１２でディスプレイ表
示及び記録を終了するか否かを判別する。そして、終了
しない場合は前記ステップＳ２０８へ戻り、終了する場
合はステップＳ２１３でディスプレイ表示及び記録を終
了する。

【０１０１】ここで、記録する画像は作成された立体視
画像としているが、その代わりに画像補正した左右２つ
の画像とアトリビュート情報であるオーバーラップ量を
記録することも可能である。

【０１０２】最後に再生モードが選択された場合の処理
について説明する。再生モードが選択された場合は、ス
テップＳ２１８で予め図１の記憶装置１７に記憶されて
いた動画のファイルを読み込み、ディスプレイ装置３に
表示する。ディスプレイ装置３による表示は、上述した
スルー表示モードと同様に、図１のディスプレイコント
ローラ１４の制御によりＶＲＡＭ２０に転送して、ディ
スプレイ装置３に表示している。

【０１０３】以上のようにして、モードの切り替えによ
りユーザーの目的に応じた動画像の表示を行うことがで
きる。スルー表示モードで撮像した左右２つの画像か
ら、そのまま立体視画像を作成して表示するため、１フ
レームの処理時間が短くなり、リアルタイムでのフレー
ムレートが高い動画像を提供することができる。また、
記録モードでは画像補正と適当なオーバーラップ量の計
算を行った後、立体視画像を作成するため、改めて再生
モードでディスプレイ装置３に表示する場合には、画質
の良い立体視画像を得ることができる。

【０１０４】ここで、上述した第１及び第２の実施の形
態では、画像の撮像のために撮像前に予めスルー表示モ
ード、記録モードの選択を行った後、各々の処理を行っ
ていたが、これをスルー表示モードの状態からモード選
択部１８で記録モードのオン（ＯＮ）、オフ（ＯＦＦ）
を行うことにより、ディスプレイ装置３のスルー表示に
並行して画像の合成及び記録を行う処理アルゴリズムに
することも可能である。

【０１０５】ところで複眼撮像装置では、撮像光学系を
パノラマ撮像表示ではミラー等を用いて撮像する画像の
視点が一致するように配置し、立体視撮像表示では６５
ｍｍ間隔にそれぞれ平行に配置することにより、画像の
撮像を行っているが、これらの撮像系の配置の変更は容
易に行うことができる。従って、１つの複眼画像入出力
装置において、２次元のパノラマ撮像表示、３次元の立
体視撮像表示の両方の撮像表示を行うことが可能であ
る。

【０１０６】（第３の実施の形態）次に本発明の第３の
実施の形態を図７〜図１０に基づき説明する。本実施の
形態は、撮像光学系の輻輳角と基線長を変化させること
により、立体視撮像表示画像中の主被写体の視差を０に
して、ユーザーの主被写体の融像をよういにするように
したものである。

【０１０７】図７は本発明の第３の実施の形態に係る複
眼撮像装置の構成を示すブロック図である。同図中、７
００は複眼撮像装置で、左右２つの撮像光学系７０１
ａ，７０１ｂ、信号処理部７０４、被写体位置検出部７
０５、ファインダー７０６、インターフェース７０７、
撮像光学系７０８ａ，７０８ｂ、輻輳角／平行移動量制
御用ユーザーインターフェース７０９を有している。

【０１０８】撮像光学系７０１ａ，７０１ｂは、それぞ
れレンズ７０２ａ，７０２ｂ、撮像素子であるＣＣＤ７
０３ａ，７０３ｂを備えている。２つの撮像光学系７０
１ａ，７０１ｂによって撮像された画像は信号処理部７
０４に送られ、ここで立体視画像の合成や画像補正、画
像出力等の画像処理が行われる。信号処理部７０４は被
写体位置検出部７０５、ファインダー７０６、インター
フェース７０７に接続されている。ファインダー７０６
は画像補正や合成を行った画像を出力するもので、この
ファインダー７０６を覗くことにより、立体視される画
像を見ることができる。また、外部の図示しない外部装
置、例えばパーソナルコンピュータ等で画像を編集をし
たり、図示しないディスプレイ装置に画像を表示する場
合には、インターフェース７０７を介して他の外部装置
へ画像を転送するようになっている。

【０１０９】被写体位置検出部７０５はユーザーが立体
視撮像表示画像中の主被写体を選択する場合に用いるイ
ンターフェースと、選択された主被写体の撮像光学系か
らの奥行きと主被写体の視差を０にするために必要な輻
輳角を算出する算出部とを有している。

【０１１０】ここで、ファインダー７０６に表示された
左の撮像光学系によって撮像された画像から、マウス等
のポインテイングデバイスにより着目する被写体に含ま
れる一点を指定すると、その点を中心とするある大きさ
のテンプレートを用いたマッチングにより右画像中の対
応点を検出する。この１組の対応点から、その位置での
視差を求め、その視差からし主被写体の位置、即ち撮像
光学系からの奥行きを算出する。更に、この主被写体の
視差を０にするために輻輳角だけの制御を行った場合に
必要な輻輳角の量を算出する。

【０１１１】但し、画像中の主被写体を選択する方法
は、輻輳角／平行移動量制御用ユーザーインターフェー
ス７０９を用いるだけに限られるものではなく、自動的
に画像中の主被写体を抽出するようにしてもよい。ま
た、主被写体は画像の中心にあるものとして、予め画像
の中心の一点に定めておき、その部分の視差を調節する
ようにしてもよい。

【０１１２】今、図２３において２つの撮像光学系７０
１ａ，７０１ｂの撮像対象として被写体９０４が撮像さ
れているものとする。ここで、図７の複眼撮像装置７０
０の被写体位置検出部７０５によりＶＤ７ＱＥ９０４を
選択すると、その選択された被写体９０４の２つの撮像
光学系７０１ａ，７０１ｂからの奥行きｚが検出され
る。

【０１１３】この被写体位置検出部７０５は撮像光学系
駆動装置７０８ａ，７０８ｂに接続されており、ここで
得られた主被写体９０４の位置情報を２つの撮像光学系
７０１ａ，７０１ｂに接続されている撮像光学系駆動装
置７０８ａ，７０８ｂに転送する。撮像光学系駆動装置
７０８ａ，７０８ｂは、被写体位置検出部７０５から転
送された主被写体９０４の位置情報を基に撮像光学系７
０１ａ，７０１ｂの輻輳角や平行移動量を自動的に制御
するものである。

【０１１４】次に撮像光学系駆動装置７０８ａ，７０８
ｂによる撮像光学系７０１ａ，７０１ｂの輻輳角や平行
移動量の自動制御方法について説明する。

【０１１５】上述したように、従来では輻輳角のみ或い
は平行移動だけによる視差の調整方法は存在していた。
輻輳角による制御法については、図２４に示すように撮
像光学系７０１ａ，７０１ｂと主被写体９０４との間の
距離ｚと基線長ｌで決まる角度θは、下記（１）式によ
り求められる。

【０１１６】 θ＝ａｒｃｔａｎ ｌ／２ｚ … （１） この角度θだけ撮像光学系７０１ａ，７０１ｂに輻輳角
を持たせれば、主被写体９０４の視差を０にすることが
可能である。しかし、この場合、左右の撮像光学系７０
１ａ，７０１ｂにそれぞれ輻輳角を持たせることによ
り、撮像面の共役面９０５ｂ，９０５ｃが左右の撮像光
学系７０１ａ，７０１ｂで異なるために、主被写体９０
４を除く周辺部で互いに歪んだ画像が得られることにな
る。この歪みは輻輳角が大きくなるにつれて大きくな
り、良好な立体視画像を得ることができなくなる。

【０１１７】従って、本実施の形態では撮像光学系７０
１ａ，７０１ｂに与える輻輳角には立体視画像として見
ることのできる限界値を定め、それ以上に輻輳角を与え
ないようにする。ここで輻輳角の限界値は、ある設定条
件に基づく値を用いても、人間の経験的な値を用いても
構わない。この輻輳角の限界値は、図７の撮像光学系駆
動装置７０８ａ，７０８ｂに備えられているメモリ上に
保持しておき、駆動しているときに常に撮像光学系７０
１ａ，７０１ｂの輻輳角が設定した限界値であるか否か
を判定している。本実施の形態において撮像光学系７０
１ａ，７０１ｂは基線長ｌを６５ｍｍとし、無限遠から
１ｍまでにある物体に対して視差を０にするように輻輳
角を制御できるように設定する。即ち、上記（１）式で
ｌ＝６５ｍｍ、ｚ＝１ｍとしたときに、角度θの限界値
は０．０３２５（ｒａｄ）（１．８６°）となり、この
撮像系は輻輳角を１．８６°まで与えることができる。

【０１１８】次に撮像光学系７０１ａ，７０１ｂから１
ｍ手前にある主被写体９０４の視差を０にするための撮
像光学系７０１ａ，７０１ｂの制御方法について、図８
のフローチャートに基づき説明する。

【０１１９】図９は２つの撮像光学系７０１ａ，７０１
ｂを定めた限界値までに輻輳角を持たせて配置した例を
示す図である。ここでは輻輳角の限界値をθ′としてい
る。図８において、まず、ステップＳ８０１で図７の被
写体位置検出部７０５により図９の主被写体９０４を検
出して撮像光学系７０１ａ，７０１ｂからの奥行きを検
出する。次にステップＳ８０２で前記ステップＳ８０１
において検出された奥行きから主被写体９０４の視差を
０にするために輻輳角のみで制御した場合に必要な輻輳
角の量を算出し、該算出された輻輳角を予め図７の撮像
光学系駆動装置７０８ａ，７０８ｂのメモリに保持され
ている輻輳角の限界値と比較し、θ＜θ′で視差０に調
節可能か否かを判別する。そして、主被写体９０４の視
差を０にするために必要な撮像光学系７０１ａ，７０１
ｂの輻輳角が限界値θ′以下であれば、即ち、θ＜θ′
で視差０に調節可能であれば、ステップＳ８０３で輻輳
角のみを変化させて視差を０に調節した後、ステップＳ
８０４で主被写体９０４の視差を０にする調節を終了す
る。

【０１２０】一方、前記ステップＳ８０２において主被
写体９０４の視差を０にするために必要な撮像光学系７
０１ａ，７０１ｂの輻輳角が限界値θ′以上であれば、
即ち、θ＜θ′で視差０に調節不可能であれば、ステッ
プＳ８０５で輻輳角をθ＝θ′まで変化させ（輻輳角を
限界値に止めて）、次のステップＳ８０６で図７の撮像
光学系駆動装置７０８ａ，７０８ｂにより撮像光学系７
０１ａ，７０１ｂの基線長を変化させて視差を０に調節
した後、前記ステップＳ８０４で主被写体９０４の視差
を０にする調節を終了する。

【０１２１】今、図９において左の撮像光学系７０１ａ
の光軸Ｌａが平行視のときの撮像面の共役面９０５ａと
Ａ”で交わっているとする。このとき主被写体９０４が
存在する位置ＡとＡ”との間の距離ｄは、下記（２）に
より求められる。

【０１２２】 ｄ＝ｌ／２−ｚ×ｔａｎθ′… （２） 従って、左の撮像光学系７０１ａを原点Ｏ1方向へｄだ
け移動することにより、該左の撮像光学系７０１ａの光
軸Ｌａと撮像面の共役面９０５ａとの交点Ａ”を主被写
体９０４が存在する位置Ａに合わせることができる。

【０１２３】また、図９において右の撮像光学系７０１
ｂについても原点Ｏ1を中心に左の撮像光学系７０１ａ
と対称の位置にあるため、同様に右の撮像光学系７０１
ｂを原点Ｏ1方向へ基線長ｌを短くするように平行移動
することにより、その光軸Ｌｂ上に主被写体９０４を合
わせることができる。これによって２つの撮像光学系７
０ａ，７０１ｂによって撮像される画像の主被写体９０
４の視差を０に合わせることができる。

【０１２４】図１０に輻輳角θは限界値θ′に止め、基
線長ｌを短くするように平行移動することにより、主被
写体９０４の視差を０にした２つの撮像光学系７０ａ，
７０１ｂの配置例を示す。

【０１２５】以上のように視差量の調整を目的として２
つの撮像光学系７０１ａ，７０１ｂに与える輻輳角には
立体視画像として見ることのできる限界値θ′を定め、
それ以上の調整には２つの撮像光学系７０１ａ，７０１
ｂの基線長ｌを短くすることにより調節する。これによ
り、主被写体９０４の融像が容易で且つ良好な立体視撮
像表示画像を得ることができる。

【０１２６】ところで、本実施の形態においては、主被
写体９０４の視差を０にすることを目的としているが、
これに限られるものではなく任意の視差量に調節する場
合においても適応できるものである。

【０１２７】（第４の実施の形態）次に本発明の第４の
実施の形態について、図９、図１１〜図１３を用いて説
明する。本実施の形態は、撮像光学系の輻輳角を変化さ
せ、更に、撮像光学系内の撮像素子（ＣＣＤ）の位置を
平行移動させることによって、立体視撮像表示画像中の
主被写体の視差を０にしてユーザーの主被写体の融像を
容易にするようにしたものである。

【０１２８】図１１は本発明の第４の実施の形態に係る
複眼撮像装置の構成を示すブロック図であり、同図にお
いて上述した第３の実施の形態における図７と同一部分
については、同一符号が付してある。図１１において図
７と異なる点は、図７の構成にＣＣＤ７０３ａ，７０３
ｂをそれぞれ駆動させるためのＣＣＤ駆動装置７１０
ａ，７１０ｂを付加したことである。

【０１２９】本実施の形態においても、上述した第３の
実施の形態における輻輳角の制御方法と同様に、図９に
おいて定めた限界値θ’まで撮像光学系７０１ａ，７０
１ｂに輻輳角を持たせることができるものとする。

【０１３０】上述した第３の実施の形態においては、輻
輳角の限界値θ’を超えるような場合には、輻輳角は限
界値θ’に止め、撮像光学系７０１ａ，７０１ｂの基線
長ｌを短くすることにより制御していた。

【０１３１】しかし、本実施の形態では撮像光学系７０
１ａ，７０１ｂの基線長ｌを短くする代わりに、撮像光
学系７０１ａ，７０１ｂ内のＣＣＤ７０３ａ，７０３ｂ
をＣＣＤ駆動装置７１０ａ，７１０ｂにより平行移動さ
せることにより主被写体９０４の視差を０にするもので
ある。

【０１３２】次に本実施の形態に係る複眼撮像装置にお
ける主被写体９０４の視差を０にする処理の流れについ
て、図１２のフローチャートに基づき説明する。

【０１３３】まず、ステップＳ１２０１で図１１におけ
る被写体位置検出部５により主被写体９０４を検出し
て、撮像光学系７０１ａ，７０１ｂからの奥行きを検出
する。次にステップＳ１２０２で前記ステップＳ１２０
１において検出された奥行きから主被写体９０４の視差
を０にするために輻輳角のみで制御した場合に必要な輻
輳角の量を算出して、その算出した輻輳角θを予め図１
１の撮像光学系駆動装置７０８ａ，７０８ｂのメモリに
保持されている輻輳角の限界値θ’と比較し、θ＜θ’
で視差０に調節可能か否かを判別する。

【０１３４】主被写体９０４の視差を０にするために必
要な撮像光学系７０１ａ，７０１ｂの輻輳角が限界値
θ’以下であれば、即ちθ＜θ’で視差０に調節可能で
あれば、ステップＳ１２０３で輻輳角の制御だけで視差
を０にした後、ステップＳ１２０４で主被写体９０４の
視差を０にする調節を終了する。

【０１３５】一方、必要な撮像光学系７０１ａ，７０１
ｂの輻輳角が限界値θ’以上である場合も存在する。そ
こで、主被写体９０４の視差を０にするために必要な撮
像光学系７０１ａ，７０１ｂの輻輳角が限界値θ’以上
であれば、即ちθ＜θ’で視差０に調節不可能であれ
ば、ステップＳ１２０５で輻輳角を限界値θ’に止め、
図１１のＣＣＤ駆動装置７１０ａ，７１０ｂによってＣ
ＣＤ７０３ａ，７０３ｂを平行移動させることにより視
差を０にした後、前記ステップＳ１２０４で主被写体９
０４の視差を０にする調節を終了する。

【０１３６】図９において、左の撮像光学系７０１ａに
おいてＣＣＤ７０３ａに結像している主被写体９０４の
位置はｂ点にある。そこで今、主被写体９０４の像をＣ
ＣＤ７０３ａ面の中心Ｏ2に移動させることを考える。
レンズ７０３ａの後側主平面とＣＣＤ７０３ａとの間の
距離をｖとし、ｂとＯ2との間の距離をｘとすると、ｘ
は下記（３）式により求められる。

【０１３７】 ｘ＝ｖ×ｔａｎ（θ−θ’）＝ｖ×ｌ−２ｚｔａｎθ’／２ｚ＋ｌｔａｎθ’ … （３） 従って、ＣＣＤ７０３ａを光軸Ｌａに垂直な方向にｂ点
をＯ2に近付けるようにｘだけずらすと、主被写体９０
４の像の位置を距離ｘだけ移動してＣＣＤ７０３ａの中
心Ｏ2に持っていくことができる。

【０１３８】図１３にＣＣＤ７０３ａを光軸Ｌａに垂直
な方向に原点Ｏ1から離れる方向へ平行移動することに
より、主被写体９０４の視差を０にした場合の撮像光学
系７０１ａ，７０１ｂの配置例を示す。

【０１３９】以上のようにして、視差量の撮像光学系７
０１ａ，７０１ｂに与える輻輳角には、立体視画像とし
て見ることのできる限界値を定め、それ以上の調整には
２つの撮像光学系７０１ａ，７０１ｂ内のそれぞれのＣ
ＣＤ７０３ａ，７０３ｂを原点Ｏ1から離れる方向へ平
行移動することにより、主被写体９０４の視差を０にす
る。これにより、主被写体９０４の融像が容易で且つ良
好な立体視撮像表示画像を見ることができる。また、Ｃ
ＣＤ７０３ａ，７０３ｂの平行移動だけによる視差量の
調整では、平行移動量が大きくなるために、その制御が
大変であるという問題点があったが、本実施の形態によ
れば、輻輳角の制御と併用することにより、平行移動制
御の負担を軽減することができる。

【０１４０】ところで、本実施の形態においては上述し
た第３の実施の形態の場合と同様に、主被写体９０４の
視差を０にすることを目的としているが、任意の視差量
に調節する場合においても本発明は適用可能である。

【０１４１】更に、本実施の形態においては撮像素子と
してＣＣＤを用いたが、これに限られるものではなく、
他の撮像素子を用いてもよい。

【０１４２】（第５の実施の形態）次に本発明の第５の
実施の形態について、図７、図９及び図１４を用いて説
明する。なお、本実施の形態における複眼撮像装置の構
成は、上述した第３の実施の形態おける図７と同一であ
るから、同図を流用して説明する。

【０１４３】上述した第３及び第４の実施の形態におい
ては、撮像光学系７０１ａ，７０１ｂの輻輳角θを、定
めた限界値θ’まで変化させ、それ以上の制御をハード
ウエアによって行っていた。

【０１４４】本実施の形態では、撮像光学系７０１ａ，
７０１ｂの輻輳角θを、定めた限界値θ’まで変化させ
た後で、撮像した左右２つの画像から実際に立体視画像
を作成する場合に撮像した画像を平行移動して、立体視
画像の視差を調整するようにしたものである。

【０１４５】図１４は本実施の形態に係る複眼撮像装置
における輻輳角θの限界値θ’までの輻輳角制御とソフ
トウエアによる立体視撮像表示の説明図である。本実施
の形態においても同様に、図９において定めた限界値
θ’まで撮像光学系７０１ａ，７０１ｂに輻輳角を持た
せることができるものとする。

【０１４６】上述した第４の実施の形態において、主被
写体９０４のＣＣＤでの像の位置がＣＣＤの中心Ｏ2か
らｘだけずれていることは説明した。従って、左右の撮
像光学系７０１ａ，７０１ｂで撮像した画像中の主被写
体９０４の位置は、ＣＣＤ面で互いに２ｘだけずれてい
ることになる。このずれ量２ｘとＣＣＤの素子サイズｓ
がわかると、撮像した画像中でのずれ量ｐ（ｐｉｘｅ
ｌ）は、下記（４）式により求められる。

【０１４７】ｐ＝２ｘ／ｓ … （４） このずれ量ｐは図７の撮像光学系駆動装置７０８ａでｘ
のずれ量が算出された後、信号処理部７０４に転送さ
れ、ここで撮像した画像中でのずれ量ｐに変換される。

【０１４８】そこで、この信号処理部７０４では図１４
において図７の左右の撮像光学系７０１ａ，７０１ｂに
より撮像した画像１４０１ａに対して右の撮像光学系７
０１ｂにより撮像した画像１４０１ｂをｐ（ｐｉｘｅ
ｌ）だけずらした状態で合成された立体視画像１４０２
をファインダー７０６のディスプレイ上に表示する。

【０１４９】例えば、ファインダー７０６のディスプレ
イ上に左右それぞれの画像を左右交互に出力し、ユーザ
ー側ではその左右画像の表示の切り替えに同期して左右
のシャッターの切り替えを行う液晶シャッター眼鏡で見
る場合には、左右の画像を互いにｐ（ｐｉｘｅｌ）だけ
ずらして交互に出力すればよい。また、左右２枚の画像
を予め作成した１枚の立体視画像の領域に水平方向の１
ラインおきに交互に配置して左右２画像からなるストラ
イプ状の画像を作成する場合については、立体視画像を
合成するときにｐ（ｐｉｘｅｌ）のずれを持たせて合成
すればよい。

【０１５０】以上のようにして輻輳角の限界値を超えて
から視差の制御を行うときには、立体視画像を作成する
ときにソフトウエア上で左画像に対して右画像を平行移
動させて作成することにより、主被写体９０４の視差を
０にすることができる。これにより、ハードウエアに負
荷を与えずに主被写体９０４の融像が容易で且良好な立
体視撮像表示画像を見ることができる。

【０１５１】ところで、本実施の形態においても上述し
た第３の実施の形態の場合と同様に、主被写体９０４の
視差を０にすることを目的としているが、任意の視差量
に調節する場合においても本発明は適用可能である。ま
た、本実施の形態によれば、一度撮像してメモリに記録
した左右それぞれの画像を、改めて立体視画像を作成し
て再生する場合でも、任意の視差量で表示することが可
能である。更に、上述した第３〜第５の実施の形態を通
して撮像の対象としていた主被写体９０４は、常に左右
の撮像光学系７０１ａ，７０１ｂの２等分面上に存在し
ていたが、複眼撮像装置によって撮像される領域内の任
意の位置に存在する物体についても、主被写体として視
差を制御するこことが可能である。

【０１５２】（第６の実施の形態）次に本発明の第６の
実施の形態について、図７、図１０、図１５〜図１９を
用いて説明する。なお、本実施の形態における複眼撮像
装置の構成は、上述した第３の実施の形態おける図７と
同一であるから、同図を流用して説明する。

【０１５３】上述した第３及び第４の実施の形態におい
ては、被写体位置検出部７０５によりユーザーが撮像画
像内の主被写体９０４を選択すると、自動的に撮像光学
系が移動する方式について説明した。

【０１５４】本実施の形態では、撮像光学系を自動制御
するのではなく、ユーザーがインターフェースを介して
制御し得るようにしたものである。

【０１５５】図１５は輻輳角／平行移動量制御用ユーザ
ーインターフェースを有する複眼撮像装置を示す図であ
る。同図において１５０１は複眼撮像装置で、その後面
にはファインダー１５０２と制御ボタン１５０３を備え
ている。制御ボタン１５０３は図７における輻輳角／平
行移動量制御用ユーザーインターフェース７０９を指す
ものである。

【０１５６】図７において輻輳角／平行移動量制御用ユ
ーザーインターフェース７０９は、２つの撮像光学系駆
動装置７０８ａ，７０８ｂに接続されている。そして、
ユーザーは制御ボタン１５０３を介して撮像光学系駆動
装置７０８ａ，７０８ｂに制御信号を送り、２つの撮像
光学系７０１ａ，７０１ｂをそれぞれ制御する。制御ボ
タン１５０３は輻輳角を持たせる（＋）方向と（−）方
向とを持っており、この制御ボタン１５０３を押すと撮
像光学系７０１ａ，７０１ｂを移動させることができ
る。

【０１５７】次に制御ボタン１５０３による撮像光学系
７０１ａ，７０１ｂの移動処理の流れを図１６及び図１
７のフローチャートに基づき説明する。

【０１５８】本実施の形態においては、図２６に示すよ
うに輻輳角の限界値θ’以上で撮像光学系７０１ａ，７
０１ｂの基線長ｌを変化させて制御するようにしたもの
である。

【０１５９】まず、制御ボタン１５０３を（＋）方向に
押した場合の動作について図１６に基づき説明する。図
１８に制御ボタン１５０３を（＋）方向に押した場合の
撮像光学系７０１ａ，７０１ｂの動作状態を示す。

【０１６０】制御ボタン１５０３を（＋）方向に押す
と、まず、ステップＳ１６０１で現在の撮像光学系７０
１ａ，７０１ｂの輻輳角を測定して、この測定した輻輳
角θと予め設定しておいた輻輳角の限界値θ’との大小
関係（θ≦θ’）を判別する。そして、θ≦θ’である
場合、即ち現在の輻輳角が限界値θ’以下である場合
は、ステップＳ１６０２で輻輳角を増加させるように撮
像光学系７０１ａ，７０１ｂを動かす。

【０１６１】図１８では限界値θ’以下の輻輳角を持つ
２つの撮像光学系７０１ａ，７０１ｂが実線で示す位置
から輻輳角を増加させることにより、破線で示す位置に
配置された状態を示している。

【０１６２】ここでは、制御ボタン１５０３を（＋）方
向に押している間、ステップＳ１６０３でその時点での
撮像光学系７０１ａ，７０１ｂの輻輳角θがその限界値
θ’以下か否かを判別している。更に、制御ボタン１５
０３を（＋）方向に押し続け、輻輳角θがその限界値
θ’に達したとき、今度はステップＳ１６０４で図１８
に示すように２つの撮像光学系７０１ａ，７０１ｂの距
離が狭まる方向へ平行移動する。ここで、始めにステッ
プＳ１６０１で現在の撮像光学系７０１ａ，７０１ｂの
輻輳角θと予め設定しておいた輻輳角の限界値θ’を比
較しているが、θ≦θ’ではなくθ≧θ’である場合
は、前記ステップＳ１６０２及びステップＳ１６０３を
スキップして、直接前記ステップＳ１６０４の処理を実
行する。

【０１６３】次にステップＳ１６０５で制御ボタン１５
０３を押すと共に２つの撮像光学系７０１ａ，７０１ｂ
の距離が徐々に狭まっていき２つの撮像光学系７０１
ａ，７０１ｂの距離が０になったか否か、即ち、２つの
撮像光学系７０１ａ，７０１ｂが図１８の原点Ｏ1で接
触したか否かを判別する。そして、接触しない場合は前
記ステップＳ１６０４へ戻り、接触した場合は（＋）方
向への撮像光学系７０１ａ，７０１ｂの移動が終了す
る。図１８では輻輳角の限界値θ’を持った破線で示す
位置にある撮像光学系７０１ａ，７０１ｂを二点鎖線で
示す位置に平行移動した状態を示している。

【０１６４】このように制御ボタン１５０３を（＋）方
向へ押した場合には、始めに撮像光学系７０１ａ，７０
１ｂの輻輳角を限界値θ’まで増加させ、限界値θ’に
なった場合には２つの撮像光学系７０１ａ，７０１ｂの
距離が徐々に狭まる方向に平行移動するように制御す
る。但し、この動作は一例であり、輻輳角が限界値θ’
までになっていなくても平行移動させるように制御する
ことも可能である。

【０１６５】次に制御ボタン１５０３を（−）方向へ押
した場合の動作について図１７に基づき説明する。

【０１６６】図１９に制御ボタン１５０３を（−）方向
へ押した場合の撮像光学系７０１ａ，７０１ｂの動作状
態を示す。

【０１６７】制御ボタン１５０３を（−）方向に押す
と、まず、ステップＳ１７０１で現在の撮像光学系７０
１ａ，７０１ｂの輻輳角θを測定して、この輻輳角θが
０か否か（θ≠０）を判別する。そして、θ≠０の場合
は、ステップＳ１７０２で輻輳角θを減少させるように
撮像光学系７０１ａ，７０１ｂを動かす。

【０１６８】図１９では輻輳角がある状態の撮像光学系
７０１ａ，７０１ｂが破線で示す位置から輻輳角を減少
させることにより、実線で示す位置に配置された状態を
示している。

【０１６９】次にステップＳ１７０３で輻輳角θが０で
あるか否かを０になるまで判別し、更に、制御ボタン１
５０３を（−）方向に押し続け、輻輳角θが０になった
とき、今度はステップＳ１７０４で２つの撮像光学系７
０１ａ，７０１ｂの距離が広がる方向へ平行移動する。
ここで、始めにステップＳ１７０１で現在の撮像光学系
７０１ａ，７０１ｂの輻輳角θがθ≠０ではなくθ＝０
である場合は、前記ステップＳ１７０２及びステップＳ
１７０３をスキップして、直接前記ステップＳ１７０４
の処理を実行する。

【０１７０】次にステップＳ１７０５で撮像光学系７０
１ａ，７０１ｂが平行移動の限界点であるＤ点に到達し
たか（接触したか）否かを判別する。そして、Ｄ点に到
達しない場合は前記ステップＳ１７０４へ戻り、到達し
た場合は（−）方向への撮像光学系７０１ａ，７０１ｂ
の移動が終了する。図１９では輻輳角が０である破線で
示すに位置ある撮像光学系７０１ａ，７０１ｂを二点鎖
線で示す位置に平行移動した状態を示している。

【０１７１】このように制御ボタン１５０３を（−）方
向へ押した場合には、始めに撮像光学系７０１ａ，７０
１ｂの輻輳角が、ある場合には０になるまで減少し、０
になると撮像光学系７０１ａ，７０１ｂの距離が広がる
方向に平行移動するように制御する。但し、この動作は
一例であり、輻輳角が０になっていなくても平行移動さ
せるように制御することも可能である。

【０１７２】以上のようにユーザーは、制御ボタン１５
０３を用いることにより、撮像光学系７０１ａ，７０１
ｂを良好な立体視画像が得られる限界値θ’まで輻輳角
を持たせ、限界値θ’以上では平行移動するように制御
することができる。これによってユーザーは、自分の好
みに合わせて自由に視差の異なる立体視画像を調節する
ことができる。

【０１７３】ここで、本実施の形態においての撮像光学
系７０１ａ，７０１ｂの動作方法は一例であり、予め設
定した輻輳角の限界値θ’の範囲内で、輻輳角制御と平
行移動制御とを任意に選択して撮像光学系７０１ａ，７
０１ｂの位置を調節し、主被写体９０４の視差制御を行
うことができる。

【０１７４】上述した第３〜第５の実施の形態において
は、左右２つの画像中の視差の自動制御について説明し
た。また、本実施の形態では図１０における撮像光学系
７０１ａ，７０１ｂの基線長ｌの制御について説明した
が、これがＣＣＤ７０３ａ，７０３ｂの平行移動制御の
場合についても同様である。また、撮像光学系７０１
ａ，７０１ｂの制御の一例として制御ボタン１５０３に
よる制御法を示したが、輻輳角及び平行移動量を制御す
ることができるユーザーインターフェースであれば、他
の装置であってもよい。

【０１７５】（第７の実施の形態）次に本発明の複眼撮
像装置に用いる記憶媒体について、図２０〜図２２を用
いて説明する。

【０１７６】２つの撮像光学系により互いに視差を有す
る１組の画像を撮像する複眼撮像装置を制御するプログ
ラムを格納する記憶媒体には、図２０に示すように、少
なくとも「合成モジュール」、「切り替えモジュール」
の各モジュールのプログラムコードを格納すればよい。

【０１７７】ここで、「合成モジュール」は、左右に配
置した２つの撮像光学系で撮像した左右２つの画像から
１枚の合成画像を作成するための複数の合成方法を有す
るプログラムモジュールである。また、「切り替えモジ
ュール」は、前記複数の合成方法を切り替えるためのプ
ログラムモジュールである。

【０１７８】前記複数の合成方法の内の第１は、合成速
度を優先して合成する合成方法１であり且つ前記複数の
合成方法の内の第２は、合成した画像の画質を優先して
合成する合成方法２である。また、前記合成方法１は、
撮像した左右２つの画像を一定のオーバーラップ量を与
えて合成し且つ前記合成方法２は、撮像した左右２つの
画像をそれぞれの輝度、色情報の左右差や台形歪みを補
正し、更に、左右２つの画像のオーバーラップ領域を検
出してこれから算出されるオーバーラップ量を用いて合
成するものである。更に、「切り替えモジュール」は、
スルー表示モードでは前記合成方法１に、記録及び再生
モードでは前記合成方法２に切り替えるものである。

【０１７９】また、上述した複眼撮像装置を制御するプ
ログラムを格納する別の記憶媒体には、図２１に示すよ
うに、少なくとも「制御モジュール」のプログラムコー
ドを格納すればよい。

【０１８０】ここで、「制御モジュール」は、撮像した
画像内から選択された主被写体の視差を調節するように
制御するためのプログラムモジュールである。また、
「制御モジュール」は、撮像光学系の輻輳角の限界値を
設定している。また、「制御モジュール」は、前記撮像
光学系の輻輳角の限界値以上では、表示する画像を平行
移動することにより、該画像中の主被写体の視差を調節
する。前記平行移動とは、前記撮像光学系を平行移動す
ることを指し、前記「制御モジュール」は、前記撮像光
学系の輻輳角の限界値以上では、該撮像光学系の基線長
を短くして撮像することにより、画像中の主被写体の視
差を調節する。また、前記平行移動とは、前記撮像光学
系内の撮像素子を平行移動することを指し、前記「制御
モジュール」は、前記撮像光学系の輻輳角の限界値以上
では、該撮像光学系の撮像素子を前記２つの撮像光学系
の中心から離れるように平行移動して撮像することによ
り、画像中の主被写体の視差を調節する。更に、前記平
行移動とは、撮像した左右の画像を平行移動することを
指し、前記「制御モジュール」は、前記撮像光学系の輻
輳角の限界値以上では、該撮像した左右の画像を平行移
動して立体視撮像表示画像を作成することにより、画像
中の主被写体の視差を調節する。

【０１８１】更に、上述した複眼撮像装置を制御するプ
ログラムを格納する別の記憶媒体には、図２２に示すよ
うに、「限界値設定モジュール」、「制御モジュール」
の各モジュールのプログラムコードを格納すればよい。

【０１８２】ここで、「限界値設定モジュール」は、撮
像光学系の輻輳角の限界値を設定するためのプログラム
モジュールである。また、「制御モジュール」は、「限
界値設定モジュール」により設定された限界値以下では
前記輻輳角もしくは平行移動により前記撮像光学系を制
御し且つ前記限界値以上では前記平行移動により前記撮
像光学系を制御するためのプログラムモジュールであ
る。

【０１８３】

【発明の効果】以上詳述したように本発明の第１の複眼
撮像方法及び装置によれば、出力形態に応じた動画のパ
ノラマ撮像表示及び立体視撮像表示を行うことができる
という効果を奏する。

【０１８４】また、本発明の第２の複眼撮像方法及び装
置によれば、主被写体の融像を容易にする立体視画像を
得ることができるという効果を奏する。

【０１８５】また、本発明の第３の複眼撮像方法及び装
置によれば、撮像光学系の制御を手動操作により容易に
行うことができるという効果を奏する。

【０１８６】更に、本発明の記憶媒体によれば、上述し
た複眼撮像装置を円滑に制御することができるという効
果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る複眼撮像装置
を有するシステム構成を示すブロック図である。

【図２】同複眼撮像装置の処理の流れを示すフローチャ
ートである。

【図３】同複眼撮像装置のスルー表示モードにおけるパ
ノラマ画像合成方法の説明図である。

【図４】同複眼撮像装置の記録モードにおけるパノラマ
画像合成方法の説明図である。

【図５】本発明の第２の実施の形態に係る複眼撮像装置
のスルー表示モードにおける立体視画像作成方法の説明
図である。

【図６】同複眼撮像装置の記録モードにおける立体視画
像作成方法の説明図である。

【図７】本発明の第３の実施の形態に係る複眼撮像装置
を有するシステム構成を示すブロック図である。

【図８】同複眼撮像装置における主被写体の視差を０に
する処理の流れを示すフローチャートである。

【図９】同複眼撮像装置における輻輳限界までの輻輳角
制御による立体視撮像表示の説明図である。

【図１０】同複眼撮像装置における輻輳限界までの輻輳
角制御と基線長制御による立体視撮像表示の説明図であ
る。

【図１１】本発明の第４の実施の形態に係る複眼撮像装
置を有するシステム構成を示すブロック図である。

【図１２】同複眼撮像装置における主被写体の視差を０
にする処理の流れを示すフローチャートである。

【図１３】同複眼撮像装置における輻輳限界までの輻輳
角制御とＣＣＤ平行移動による立体視撮像表示の説明図
である。

【図１４】本発明の第５の実施の形態に係る同複眼撮像
装置における輻輳限界までの輻輳角制御とソフトウエア
による立体視撮像表示の説明図である。

【図１５】本発明の第６の実施の形態に係る同複眼撮像
装置における複眼撮像装置用ファインダと制御ボタンの
説明図である。

【図１６】同複眼撮像装置におけるユーザーインターフ
エースによる撮像光学系のプラス（＋）方向への移動方
法についての処理の流れを示すフローチャートである。

【図１７】同複眼撮像装置におけるユーザーインターフ
エースによる撮像光学系のプラス（−）方向への移動方
法についての処理の流れを示すフローチャートである。

【図１８】同複眼撮像装置における（＋）方向への手動
による輻輳限界までの輻輳角制御と基線長制御の説明図
である。

【図１９】同複眼撮像装置における（−）方向への手動
による輻輳限界までの輻輳角制御と基線長制御の説明図
である。

【図２０】本発明の複眼撮像装置に用いる記憶媒体に格
納するプログラムコードのモジュールを示す図である。

【図２１】本発明の複眼撮像装置に用いる図２０とは異
なる記憶媒体に格納するプログラムコードのモジュール
を示す図である。

【図２２】本発明の複眼撮像装置に用いる図２０及び図
２１とは異なる記憶媒体に格納するプログラムコードの
モジュールを示す図である。

【図２３】平行視による立体視撮像表示の説明図であ
る。

【図２４】輻輳角制御による立体視撮像表示の説明図で
ある。

【図２５】基線長制御による立体視撮像表示の説明図で
ある。

【図２６】同複眼撮像装置におけるＣＣＤ平行移動によ
る立体視撮像表示の説明図である。

【符号の説明】

１ 複眼撮像装置 ２ パーソナルコンピユータ ３ ディスプレイ装置 ４ａ 撮像光学系 ４ｂ 撮像光学系 ５ 同期信号発生器 ６ａ Ａ／Ｄコンバータ ６ｂ Ａ／Ｄコンバータ ７ メモリ ８ａ レンズ ８ｂ レンズ ９ａ ＣＣＤ（撮像素子） ９ｂ ＣＣＤ（撮像素子） １０ インターフェースケーブル １１ パラレルインターフェース １２ ＣＰＵ（中央演算処理装置） １３ メモリ １４ ディスプレイコントローラ １５ 画像合成部 １６ 画像補正／オーバーラップ量計算部 １７ 記憶装置 １８ モード選択部 １９ ＣＰＵバス ２０ ＶＲＡＭ ７００ 複眼撮像装置 ７０１ａ 撮像光学系 ７０１ｂ 撮像光学系 ７０２ａ レンズ ７０２ｂ レンズ ７０３ａ ＣＣＤ（撮像素子） ７０３ｂ ＣＣＤ（撮像素子） ７０４ 信号処理部 ７０５ 被写体位置検出部 ７０６ ファインダー ７０７ インターフェース ７０８ａ 撮像光学系駆動装置 ７０８ｂ 撮像光学系駆動装置 ７０９ 輻輳角／並行移動量ユーザーインターフェー
ス ７１０ａ ＣＣＤ駆動装置 ７１０ｂ ＣＣＤ駆動装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 森 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (40)

【特許請求の範囲】
1. 【請求項１】 左右に配置した２つの撮像光学系で撮像
   した左右２つの画像から１枚の合成画像を作成する複数
   の合成方法を有する合成ステップと、前記複数の合成方
   法を切り替える切り替えステップとを有することを特徴
   とする複眼撮像方法。
2. 【請求項２】 前記複数の合成方法の内の第１は、合成
   速度を優先して合成する合成方法１であり且つ前記複数
   の合成方法の内の第２は、合成した画像の画質を優先し
   て合成する合成方法２であることを特徴とする請求項１
   記載の複眼撮像方法。
3. 【請求項３】 前記合成方法１は、撮像した左右２つの
   画像を一定のオーバーラップ量を与えて合成し且つ前記
   合成方法２は、撮像した左右２つの画像をそれぞれの輝
   度、色情報の左右差や台形歪みを補正し、更に、２つの
   画像のオーバーラップ領域を検出してこれから算出され
   るオーバーラップ量を用いて合成することを特徴とする
   請求項２記載の複眼撮像方法。
4. 【請求項４】 前記切り替えステップは、スルー表示モ
   ードでは前記合成方法１に、記録及び再生モードでは前
   記合成方法２に切り替えることを特徴とする請求項２ま
   たは３記載の複眼撮像方法。
5. 【請求項５】 前記合成画像は、パノラマ合成画像であ
   ることを特徴とする請求項１，２または３記載の複眼撮
   像方法。
6. 【請求項６】 前記合成画像は、立体視画像であること
   を特徴とする請求項１，２または３記載の複眼撮像方
   法。
7. 【請求項７】 左右に配置した２つの撮像光学系で撮像
   した左右２つの画像から１枚の合成画像を作成する複数
   の合成方法を有する合成手段と、前記複数の合成方法を
   切り替える切り替え手段とを有することを特徴とする複
   眼撮像装置。
8. 【請求項８】 前記複数の合成方法の内の第１は、合成
   速度を優先して合成する合成方法１であり且つ前記複数
   の合成方法の内の第２は、合成した画像の画質を優先し
   て合成する合成方法２であることを特徴とする請求項７
   記載の複眼撮像装置。
9. 【請求項９】 前記合成方法１は、撮像した左右２つの
   画像を一定のオーバーラップ量を与えて合成し且つ前記
   合成方法２は、撮像した左右２つの画像をそれぞれの輝
   度、色情報の左右差や台形歪みを補正し、更に、２つの
   画像のオーバーラップ領域を検出してこれから算出され
   るオーバーラップ量を用いて合成することを特徴とする
   請求項７記載の複眼撮像装置。
10. 【請求項１０】 前記切り替え手段は、スルー表示モー
    ドでは前記合成方法１に、記録及び再生モードでは前記
    合成方法２に切り替えることを特徴とする請求項７また
    は８記載の複眼撮像装置。
11. 【請求項１１】 前記合成画像は、パノラマ合成画像で
    あることを特徴とする請求項７，８または９記載の複眼
    撮像装置。
12. 【請求項１２】 前記合成画像は、立体視画像であるこ
    とを特徴とする請求項７，８または９記載の複眼撮像装
    置。
13. 【請求項１３】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像方法において、撮
    像した画像内から選択された主被写体の視差を調節する
    ように制御する制御ステップを有することを特徴とする
    複眼撮像方法。
14. 【請求項１４】 前記制御ステップは、前記撮像光学系
    の輻輳角の限界値を設定していることを特徴とする請求
    項１３記載の複眼撮像方法。
15. 【請求項１５】 前記制御ステップは、前記撮像光学系
    の輻輳角の限界値以上では、表示する画像を平行移動す
    ることにより、該画像中の主被写体の視差を調節するこ
    とを特徴とする請求項１３記載の複眼撮像方法。
16. 【請求項１６】 前記平行移動とは、前記撮像光学系を
    平行移動することを指し、前記制御ステップは、前記撮
    像光学系の輻輳角の限界値以上では、該撮像光学系の基
    線長を短くして撮像することにより、画像中の主被写体
    の視差を調節することを特徴とする請求項１５記載の複
    眼撮像方法。
17. 【請求項１７】 前記平行移動とは、前記撮像光学系内
    の撮像素子を平行移動することを指し、前記制御ステッ
    プは、前記撮像光学系の輻輳角の限界値以上では、該撮
    像光学系の撮像素子を前記２つの撮像光学系の中心から
    離れるように平行移動して撮像することにより、画像中
    の主被写体の視差を調節することを特徴とする請求項１
    ５記載の複眼撮像方法。
18. 【請求項１８】 前記平行移動とは、撮像した左右の画
    像を平行移動することを指し、前記制御ステップは、前
    記撮像光学系の輻輳角の限界値以上では、該撮像した左
    右の画像を平行移動して立体視撮像表示画像を作成する
    ことにより、画像中の主被写体の視差を調節することを
    特徴とする請求項１５記載の複眼撮像方法。
19. 【請求項１９】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像方法において、前
    記撮像光学系の輻輳角の限界値を設定し、該限界値以下
    では前記輻輳角もしくは平行移動により前記撮像光学系
    を制御し、前記限界値以上では前記平行移動により前記
    撮像光学系を制御する制御ステップを有することを特徴
    とする複眼撮像方法。
20. 【請求項２０】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像装置において、撮
    像した画像内から選択された主被写体の視差を調節する
    ように制御する制御手段を有することを特徴とする複眼
    撮像装置。
21. 【請求項２１】 前記制御手段は、前記撮像光学系の輻
    輳角の限界値を設定していることを特徴とする請求項２
    ０記載の複眼撮像装置。
22. 【請求項２２】 前記制御手段は、前記撮像光学系の輻
    輳角の限界値以上では、表示する画像を平行移動するこ
    とにより、該画像中の主被写体の視差を調節することを
    特徴とする請求項２０記載の複眼撮像装置。
23. 【請求項２３】 前記平行移動とは、前記撮像光学系を
    平行移動することを指し、前記制御手段は、前記撮像光
    学系の輻輳角の限界値以上では、該撮像光学系の基線長
    を短くして撮像することにより、画像中の主被写体の視
    差を調節することを特徴とする請求項２２記載の複眼撮
    像装置。
24. 【請求項２４】 前記平行移動とは、前記撮像光学系内
    の撮像素子を平行移動することを指し、前記制御手段
    は、前記撮像光学系の輻輳角の限界値以上では、該撮像
    光学系の撮像素子を前記２つの撮像光学系の中心から離
    れるように平行移動して撮像することにより、画像中の
    主被写体の視差を調節することを特徴とする請求項２２
    記載の複眼撮像装置。
25. 【請求項２５】 前記平行移動とは、撮像した左右の画
    像を平行移動することを指し、前記制御手段は、前記撮
    像光学系の輻輳角の限界値以上では、該撮像した左右の
    画像を平行移動して立体視撮像表示画像を作成すること
    により、画像中の主被写体の視差を調節することを特徴
    とする請求項２２記載の複眼撮像装置。
26. 【請求項２６】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像装置において、前
    記撮像光学系の輻輳角の限界値を設定する限界値設定手
    段と、該限界値設定手段により設定された限界値以下で
    は前記輻輳角もしくは平行移動により前記撮像光学系を
    制御し且つ前記限界値以上では前記平行移動により前記
    撮像光学系を制御する制御手段とを有することを特徴と
    する複眼撮像装置。
27. 【請求項２７】 前記制御手段は、ユーザーインターフ
    ェースであることを特徴とする請求項２６記載の複眼撮
    像装置。
28. 【請求項２８】 複眼撮像装置を制御するプログラムを
    格納する記憶媒体であって、左右に配置した２つの撮像
    光学系で撮像した左右２つの画像から１枚の合成画像を
    作成する複数の合成方法を有する合成モジュールと、前
    記複数の合成方法を切り替える切り替えモジュールとを
    有するプログラムを格納したことを特徴とする記憶媒
    体。
29. 【請求項２９】 前記複数の合成方法の内の第１は、合
    成速度を優先して合成する合成方法１であり且つ前記複
    数の合成方法の内の第２は、合成した画像の画質を優先
    して合成する合成方法２であることを特徴とする請求項
    ２８記載の記憶媒体。
30. 【請求項３０】 前記合成方法１は、撮像した左右２つ
    の画像を一定のオーバーラップ量を与えて合成し且つ前
    記合成方法２は、撮像した左右２つの画像をそれぞれの
    輝度、色情報の左右差や台形歪みを補正し、更に、２つ
    の画像のオーバーラップ領域を検出してこれから算出さ
    れるオーバーラップ量を用いて合成することを特徴とす
    る請求項２９記載の記憶媒体。
31. 【請求項３１】 前記切り替えモジュールは、スルー表
    示モードでは前記合成方法１に、記録及び再生モードで
    は前記合成方法２に切り替えることを特徴とする請求項
    ２８または２９記載の記憶媒体。
32. 【請求項３２】 前記合成画像は、パノラマ合成画像で
    あることを特徴とする請求項２８，２９または３０記載
    の記憶媒体。
33. 【請求項３３】 前記合成画像は、立体視画像であるこ
    とを特徴とする請求項２８，２９または３０記載の記憶
    媒体。
34. 【請求項３４】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像装置を制御するプ
    ログラムを格納する記憶媒体であって、撮像した画像内
    から選択された主被写体の視差を調節するように制御す
    る制御モジュールを有するプログラムを格納したことを
    特徴とする記憶媒体。
35. 【請求項３５】 前記制御モジュールは、前記撮像光学
    系の輻輳角の限界値を設定していることを特徴とする請
    求項３４記載の記憶媒体。
36. 【請求項３６】 前記制御モジュールは、前記撮像光学
    系の輻輳角の限界値以上では、表示する画像を平行移動
    することにより、該画像中の主被写体の視差を調節する
    ことを特徴とする請求項３４記載の記憶媒体。
37. 【請求項３７】 前記平行移動とは、前記撮像光学系を
    平行移動することを指し、前記制御モジュールは、前記
    撮像光学系の輻輳角の限界値以上では、該撮像光学系の
    基線長を短くして撮像することにより、画像中の主被写
    体の視差を調節することを特徴とする請求項３６記載の
    記憶媒体。
38. 【請求項３８】 前記平行移動とは、前記撮像光学系内
    の撮像素子を平行移動することを指し、前記制御モジュ
    ールは、前記撮像光学系の輻輳角の限界値以上では、該
    撮像光学系の撮像素子を前記２つの撮像光学系の中心か
    ら離れるように平行移動して撮像することにより、画像
    中の主被写体の視差を調節することを特徴とする請求項
    ３６記載の記憶媒体。
39. 【請求項３９】 前記平行移動とは、撮像した左右の画
    像を平行移動することを指し、前記制御モジュールは、
    前記撮像光学系の輻輳角の限界値以上では、該撮像した
    左右の画像を平行移動して立体視撮像表示画像を作成す
    ることにより、画像中の主被写体の視差を調節すること
    を特徴とする請求項３６記載の記憶媒体。
40. 【請求項４０】 ２つの撮像光学系により互いに視差を
    有する１組の画像を撮像する複眼撮像装置を制御するプ
    ログラムを格納する記憶媒体であって、前記撮像光学系
    の輻輳角の限界値を設定する限界値設定モジュールと、
    該限界値設定モジュールにより設定された限界値以下で
    は前記輻輳角もしくは平行移動により前記撮像光学系を
    制御し且つ前記限界値以上では前記平行移動により前記
    撮像光学系を制御する制御モジュールとを有することを
    特徴とする記憶媒体。