JP5955003B2

JP5955003B2 - 画像処理装置および画像処理方法、プログラム

Info

Publication number: JP5955003B2
Application number: JP2012014145A
Authority: JP
Inventors: 有一中田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-01-26
Filing date: 2012-01-26
Publication date: 2016-07-20
Anticipated expiration: 2032-01-26
Also published as: JP2013153392A

Description

本発明は、複数の画像投影装置により単一画像を投影する画像投影システムに関する。

従来、複数のプロジェクタから互いに異なる投影領域に画像を投影し、これらの投影画像をつなぎ合わせることで単一の画像を表示する方法が提案されている（例えば、特許文献１、２）。特許文献１では、投影領域が重複するように配置した複数のプロジェクタから校正用パターンを投影し、それらを基に投影画像に幾何補正等の補正処理を施すことにより、各投影画像を簡便につなぎ合わせている。特許文献２では、重複領域の輝度を空間周波数に応じて補正することにより、重複領域の位置ずれによる解像感の劣化を抑制している。

特表２００５−５００７５６号公報特開２００９−２６０９３２号公報

しかしながら、特許文献１では、複数のプロジェクタによって構成される表示領域の画面解像度に対してカメラのセンサ画素数が小さい場合に、投影画像間の位置ずれが大きくなり重畳領域の解像感が損なわれるという課題があった。また、特許文献２では、そもそも位置ずれ自体を軽減できず、特に高周波成分を含む画像を表示した際に解像感が損なわれるという課題があった。

本発明に係る画像処理装置は、複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置であって、前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力手段と、前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成手段と、前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得手段と、前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定手段と、前記投影領域の中で、前記基準点に対応する点を検出する検出手段と、前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定手段とを有し、前記決定手段は、前記検出手段により検出された点と、前記設定手段によって設定された前記基準点とが重なるように前記変形パラメータを決定することを特徴とする。

本発明によれば、複数のプロジェクタを用いて単一の画像を表示する際に、投影画像間の位置ずれを抑制しつつ解像感を向上させることができる。

実施例１に係る画像処理装置のシステム構成の一例を示す図である。実施例１に係る複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。実施例１において、撮像装置で撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。実施例１に係る画像処理装置の機能構成図である。実施例１に係る画像処理装置における画像処理の流れを示すフローチャートである。幾何補正用画像の一例を示す図であり、（ａ）は無地の白画像、（ｂ）は格子模様の格子画像である。撮像画像データの一例を示す図である。補正係数算出用画像生成処理の流れを示すフローチャートである。各投影領域の画素数を算出する過程を示す図である。実施例１における高解像度化処理を説明する図である。補正係数算出処理の流れを示すフローチャートである。表示領域と表示用画像との対応関係を示す図である。高解像度画像と部分画像との対応関係を示す図である。画像補正処理の流れを示すフローチャートである。表示用画像と部分画像の対応関係を示す図である実施例２に係る複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。実施例２において、撮像装置で撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。撮像画像データの一例を示す図である。実施例２における高解像度化処理を説明する図である。

（実施例１）
まず、本実施例に係る画像処理装置のシステム構成例について説明する。

図１は、本実施例に係る画像処理装置１００のシステム構成の一例を示す図である。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１８を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。

ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。

ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出し、およびＨＤＤ１０５へのデータの書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。

撮像インタフェイス（Ｉ／Ｆ）１０６は、複数の撮像部（カメラユニット）を備えた撮像装置１０７を接続する、例えばＵＳＢやＩＥＥE１３９４などのシリアルバスインタフェイスである。ＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７を制御し、撮像を行うことが可能である。さらに、ＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７から撮像したデータを読み込むことが可能である。

入力インタフェイス（Ｉ／Ｆ）１０８は、キーボードやマウスなどの入力デバイス１０９を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０８を介して入力デバイス１０９からデータを読み込むことが可能である。

出力インタフェイス（Ｉ／Ｆ）１１０〜１１３は、画像をスクリーンなどに投影することにより表示する画像投影装置（プロジェクタ）１１４〜１１７を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１１０〜１１３を介してプロジェクタ１１４〜１１７にデータを送り、表示を実行させることができる。

図２は、実施例１に係る、複数の撮像部を備えた多眼方式による撮像装置１０７の一例を示した図である。撮像装置１０７には、画像を撮像する９個の撮像部２０１〜２０９を備えている。９個の撮像部は、正方格子上に均等に配置されている。

撮像の指示を受けると、撮像部２０１〜２０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数の画像（デジタルデータ）が同時に取得される。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した画像データ（多視点画像データ）を得ることができる。

なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、各撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

さらに、上述のような複数の撮像部を備えた撮像装置を用いる代わりに、一つの撮像部を有する撮像装置を用いて撮像位置を変えながら複数回撮像することで、多視点画像データを得るようにしてもよい。

本実施例では、図２に示す撮像装置１０７で同時に撮像した画像データを基に、４個のプロジェクタ１１４〜１１７の投影領域をつなぎ合わせて後述の表示領域を構成し、単一の画像を表示する場合について説明する。図３は、撮像装置１０７で同時に撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。異なる３種類の破線でそれぞれ示された３つの矩形領域３０１〜３０３は、撮像装置１０７における複数の撮像部のうちの３つの撮像部についての撮像範囲をそれぞれ示している。すなわち、撮像範囲３０１は撮像部２０４に、撮像範囲３０２は撮像部２０５に、撮像範囲３０３は撮像部２０６にそれぞれ対応している。スクリーン３０４にはプロジェクタ１１４〜１１７による４つの投影領域３０５〜３０８が部分的に重複するように投影されている。そして、斜線で示された領域３０９は表示領域であり、ここに４つの投影領域３０５〜３０８がつなぎ合わされて表示される。

この際、一の撮像部（個眼）で撮像した画像上において、投影領域に対応する画素数が各プロジェクタ１１４〜１１７の画面解像度よりも小さい場合は、複数の撮像部で撮像した画像を基に投影領域をつなぎ合わせるための処理を行う。なお、撮像部２０１〜２０９は全て同じ画角及びセンサ画素数であり、かつスクリーン３０４に正対しているものとする。

また、プロジェクタの数は４つに限定されるものではなく、例えば６つや９つ等、任意の数で構わないことは言うまでもない。

図４は、本実施例に係る画像処理装置１００の機能構成図である。この図４に示される構成は、画像処理アプリケーションソフトウェアとして実現される。すなわち、ＣＰＵ１０１がＨＤＤ１０５等に格納された各種ソフトウェア（コンピュータプログラム）を実行することで実現される。

画像処理装置１００は、校正用パターン画像の画像データ、撮像パラメータ、プロジェクタ情報および表示用画像の画像データを入力デバイス１０９あるいはＨＤＤ１０５等の記憶装置から取得する。撮像パラメータには、各撮像部２０１〜２０９の露光時間やＩＳＯ感度等の撮像条件を含む。そして、プロジェクタ情報には、プロジェクタ１１４〜１１７の画面解像度の情報を含む。

撮像装置制御部４０１は、取得された撮像パラメータに含まれる撮像条件に基づき、撮像装置１０７に対して撮像命令を送る。撮像装置１０７は受け取った撮像命令に基づき撮像を行うと、撮像された画像データが撮像Ｉ／Ｆ１０６を介して補正係数算出用画像生成部４０２に送られる。

補正係数算出用画像生成部４０２は、取得されたプロジェクタ情報に含まれるプロジェクタの画面解像度と撮像装置１０７から受け取った撮像画像データに基づき、補正係数算出用画像データを生成する。生成された補正係数算出用画像データは補正係数算出部４０３に送られる。

補正係数算出部４０３は、受け取った補正係数算出用画像データに基づいて、表示用画像に対して幾何補正を施すために必要な補正係数を算出する。算出された補正係数は画像補正部４０４に送られる。

画像補正部４０４は、取得された表示用画像データに幾何補正処理を施し、補正画像データを生成する。生成された補正画像データは画像出力部４０５に送られる。

画像出力部４０５は、校正用パターン画像データおよび補正画像データを出力Ｉ／Ｆ１１０〜１１３を介してプロジェクタ１１４〜１１７に出力する。

図５は、本実施例に係る画像処理装置１００における画像処理の流れを示すフローチャートである。実際には、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３あるいはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって当該処理が実行される。

ステップ５０１において、画像処理装置１００は、校正用パターン画像としての幾何補正用画像の画像データ、撮像パラメータ、プロジェクタ情報、表示用画像の画像データを取得する。図６は、幾何補正用画像の一例を示す図であり、（ａ）は無地の白画像、（ｂ）は格子模様の格子画像である。以下では、（ａ）の白画像を幾何補正用画像に採用した場合を例に説明するものとする。

ステップ５０２において、画像出力部４０５は、取得した校正用パターン画像の画像データをプロジェクタ１１４〜１１７に出力する。これを受けて各プロジェクタ１１４〜１１７は、スクリーン３０４に校正用パターン画像（白画像）を投影する。

ステップ５０３において、撮像装置制御部４０１は、撮像命令を撮像装置１０７に与え、撮像装置１０７から撮像画像（スクリーンに投影された白画像を撮像した画像）のデータを取得する。この際、プロジェクタ１１４〜１１７の全投影状態と、プロジェクタ毎の個別の投影状態の２種類の撮像画像データを取得する。図７は、本ステップで取得される撮像画像データの一例を示す図である。画像セット０は、白画像が全てのプロジェクタによってスクリーン３０４に投影された状態を撮像した画像の組である。画像セット１〜画像セット４は、白画像が個別のプロジェクタによってスクリーン３０４に投影された状態を撮像した画像の組である。画像セット１はプロジェクタ１１４に、画像セット２はプロジェクタ１１５に、画像セット３はプロジェクタ１１６に、画像セット４はプロジェクタ１１７にそれぞれ対応する。そして、いずれの画像セットも、撮像部２０１〜２０９に対応した計９枚の画像を含んでいる。

ステップ５０４において、補正係数算出用画像生成部４０２は、ステップ５０１で取得したプロジェクタ情報及びステップ５０３で取得した撮像画像データを基に、補正係数算出用画像データを生成する。具体的には、まず、プロジェクタ情報に含まれる各プロジェクタの画面解像度と、撮像画像の各プロジェクタの投影領域における画素数とを比較する。比較の結果、プロジェクタの画面解像度の方が小さい場合は、撮像画像に含まれる画像のうち撮像部２０５で撮像した画像を補正係数算出用画像とする。逆に、プロジェクタの画面解像度の方が大きい場合は、撮像部２０１〜２０９で撮像した複数の画像を用いて高解像度処理を行って補正係数算出用画像を生成する。この補正係数算出用画像生成処理の詳細については後述する。

ステップ５０５において、補正係数算出部４０３は、生成された補正係数算出用画像データを基に、表示用画像への幾何補正処理の際に使用する補正係数を算出する。補正係数算出処理の詳細については後述する。

ステップ５０６において、画像補正部４０４は、生成された補正係数を用いて表示用画像に対し幾何補正処理を施し、プロジェクタ１１４〜１１７で投影するための補正画像データを生成する。この補正処理の詳細については後述する。

ステップ５０７において、画像出力部４０５は、生成された補正画像データをプロジェクタ１１４〜１１７に出力する。これを受けて各プロジェクタ１１４〜１１７は、スクリーン３０４に補正画像を投影する。

以上の処理により、表示用画像データが、複数のプロジェクタ１１４〜１１７によって単一の画像として投影される。

＜補正係数算出用画像生成処理＞
図８は、補正係数算出用画像生成処理の流れを示すフローチャートである。

ステップ８０１において、補正係数算出用画像生成部４０２は、撮像画像のデータを受け取る。

ステップ８０２において、補正係数算出用画像生成部４０２は、プロジェクタ情報より、各プロジェクタ１１４〜１１７の画面解像度を取得する。画面解像度の情報は、例えば、１９２０×１０８０など、幅：Ｗの画素の数と高さ：Ｈの画素の数で与えられる。

ステップ８０３において、補正係数算出用画像生成部４０２は、受け取った撮像画像データからプロジェクタ１１４〜１１７の投影領域をそれぞれ検出し、各投影領域の画素数を算出する。この画素数算出処理では、撮像画像データ内の画像セット１〜４に各々含まれる所定の撮像部（ここでは、撮像部２０５とする。）で撮像された４枚の画像を使用する。なお、これら４枚の画像を、プロジェクタ１１４〜１１７の順にそれぞれ投影領域検出用画像１〜投影領域検出用画像４と便宜的に呼ぶこととする。図９は、各投影領域の画素数を算出する過程を示す図である。最初に、投影領域検出用画像１〜４に対して閾値処理による二値化を行う。これにより、投影領域検出用画像１〜４の画素値が輝度値に変換される。そして、予め設定しておいた閾値thと、投影領域検出用画像１〜４の各画素における輝度値とを比較し、輝度値が閾値th以上の画素を投影領域、輝度値が閾値thより小さい画素をその他の領域とし、それぞれ異なるラベル値を与えた二値画像１〜４を生成する。そして、二値画像１〜４に含まれる投影領域の画素数をそれぞれカウントする。Ｔ１〜Ｔ４は、カウントされた画素数を表す。

ステップ８０４において、補正係数算出用画像生成部４０２は、ステップ８０２で取得したプロジェクタ１１４〜１１７の画面解像度から求められる画素数とステップ８０３で取得した各投影領域の画素数とを比較する。具体的には、まず、画面解像度のＷとＨとの積を求め、求められた値をＳとする（Ｗ×Ｈ＝Ｓ）。そして、得られた値ＳとＴ１〜Ｔ４とを比較する。その結果、画面解像度から求められる画素数Sが、各投影領域の画素数Ｔ１〜Ｔ４のいずれか１つよりも大きい場合はステップ８０５へ進む。一方、画面解像度から求められる画素数Sが、どのＴ１〜Ｔ４よりも小さい場合は、撮像画像データ内の各画像セットに含まれる所定の撮像部で撮像した画像（例えば、撮像部２０５で撮像した画像）を補正係数算出用画像に決定しステップ８０６に進む。

ステップ８０５において、補正係数算出用画像生成部４０２は、撮像画像を基に高解像度化処理（本実施例では超解像処理）を行い、補正係数算出用画像を生成する。図１０は、本実施例における高解像度化処理の様子を説明する図である。図１０に示すように、画像セット０〜４に対しそれぞれ超解像処理を施し、高解像度画像０〜４を生成する。超解像処理としては、ＭＡＰ(ＭａｘｉｍｕｍＡＰｏｓｔｅｒｉｏｒ)法やＩＢＰ（ＩｔｅｒａｔｉｖｅＢａｃｋＰｒｏｊｅｃｔｉｏｎ）法などの既存の方法が適用可能である。以下、ＭＡＰ法を用いて画像セット０から高解像度画像０を生成する場合について述べる。ＭＡＰ法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。具体的には、下記に示す式（１）に従い高解像度画像に対するある先見情報と画像間の位置ずれを表すパラメータを利用し、事後確率を最大化する最適問題として高解像度画像の推定を行う。

ここで、Ｘは高解像度画像０、Ykは画像セット０に含まれる画像データである。Ｄはあらかじめ設定しておいたダウンサンプリング処理を表す行列である。Ｂはあらかじめ設定しておいたＰＳＦによる劣化処理を行う行列である。Ｍは画像データ間の位置ずれを表す行列であり、撮像部２０５で撮像した画像を基準に他の画像の位置ずれ量を推定することで求める。Ｃは推定された高解像度画像０に適用される線形フィルタを表す行列であり、例えばラプラシアンフィルタ等が適用できる。σは画像セット０に含まれる画像データのノイズ量の標準偏差、αは平滑化度合いを調整するパラメータである。式（１）に示す最小化問題を最急降下法を用いて解くことで、画像セット０に含まれる画像データから高解像度画像０を推定する。このような超解像処理を画像セット０〜４にそれぞれ施して生成された高解像度画像０〜４が、補正係数算出用画像となる。

ステップ８０６において、補正係数算出用画像生成部４０２は、生成された補正係数算出用画像データを補正係数算出部４０３に出力し、本処理を終了する。

なお、上記ステップ８０４においては、プロジェクタ１１４〜１１７の画面解像度から求められる画素数と投影領域の画素数との比較を行った。しかし、例えば、投影領域に外接する矩形を検出しその幅Ｗ’および高さＨ’を画面解像度のＷおよびＨと比較するなどの方法でも構わない。

また、プロジェクタ１１４〜１１７の画面解像度（画素数）と投影領域の画素数との関係が予め分かっていれば、その情報をＨＤＤ１０５等に記憶しておき、ステップ８０２〜ステップ８０４のステップを省くようにしてもよい。

＜補正係数算出処理＞
図１１は、補正係数算出処理の流れを示すフローチャートである。

ステップ１１０１において、補正係数算出部４０３は、補正係数算出用画像のデータを受け取る。なお、以下の説明では、補正係数算出用画像データとして高解像度画像０〜４の画像データが含まれるものとして説明する。

ステップ１１０２において、補正係数算出部４０３は、表示用画像を投影する表示領域を決定する。具体的には、受け取った高解像度画像データのうち高解像度画像０をユーザが参照しながら、表示領域となる矩形領域をマウス等で指定する。そして、当該指定された領域が表示領域に設定される。この場合において、設定される表示領域のアスペクト比は表示用画像と同一にする。ここで、図１２に示すように表示領域の四隅の画素をそれぞれＰ００〜P０３とし、このＰ００〜P０３に対応する表示用画像の四隅の画素をそれぞれＱ００〜Ｑ０３とする。

ステップ１１０３において、補正係数算出部４０３は、表示用画像と高解像度画像０との間の補正係数（幾何変換係数）を、ステップ１１０２で設定された表示領域の四隅Ｐ００〜Ｐ０３および表示用画像の四隅Ｑ００〜Ｑ０３を用いて算出する。算出される幾何変換係数が、図１２において、ａ₀₀〜ａ₀₇で示されている。以下、幾何変換係数の算出方法について述べる。

表示用画像内の画素を（ｘ、ｙ）、高解像度画像０内の画素を（ｘ”、ｙ”）としたとき、ａ₀₀〜ａ₀₇、ｘ、ｙ、ｘ”、ｙ”、の関係は式（２）で表すことができる。

式（２）を展開し、高解像度画像０の四隅の画素Ｐ００〜Ｐ０３の座標と、Ｐ００〜Ｐ０３に対応する表示用画像の四隅の画素Ｑ００〜Ｑ０３の座標を用いることで、式（３）の連立方程式を導くことができる。

ここで、Ｐ００〜Ｐ０３の座標をそれぞれ（ｘ₀、ｙ₀）〜（ｘ₃、ｙ₃）、Ｑ００〜Ｑ０３の座標をそれぞれ（ｘ”₀、ｙ”₀）〜（ｘ”₃、ｙ”₃）とする。この式（３）で示される連立方程式を解くことによって幾何変換係数ａ₀₀〜ａ₀₇が算出される。

ステップ１１０４において、補正係数算出部４０３は、高解像度画像１〜４と補正画像との間の幾何変換係数を算出する。ここで、補正画像データは、プロジェクタ１１４〜１１７で各々投影される部分画像データ（部分画像ｍ、ｍ＝１〜４以下、同じ。）からなる。算出される幾何変換係数が、図１３において、ａ_m0〜ａ_m7（ａ₁₀〜ａ₁₇、ａ₂₀〜ａ₂₇、ａ₃₀〜ａ₃₇、ａ₄₀〜ａ₄₇）で示されている。以下、算出方法について述べる。

まず、高解像度画像１〜４のそれぞれに対してコーナー検出処理を施し、部分画像１〜４の四隅の画素Ｐｍ０〜Ｐｍ３に対応する高解像度画像１〜４の四隅の画素Ｑｍ０〜Ｑｍ３を検出する（図１３参照）。以下、これらの対応する画素の座標を用いてステップ１１０３と同様に４組の幾何変換係数ａ_m0〜ａ_m7を算出する。高解像度画像１〜４内の画素を（ｘ”、ｙ”）、部分画像１〜４内の画素を（ｘ’、ｙ’）、としたときａ_m0〜ａ₀₇、ｘ”、ｙ”、ｘ’、ｙ’の関係は式（４）で表すことができる。

式（４）を展開し、部分画像１〜４の四隅の画素Ｐｍ０〜Ｐｍ３の座標と、Ｐｍ０〜Ｐｍ３に対応する高解像度画像１〜４の画素Ｑｍ０〜Ｑｍ３の座標を用いることで、式（５）の連立方程式を導くことができる。

ここで、Ｐｍ０〜Ｐｍ３の座標をそれぞれ（ｘ”₀、ｙ”₀）〜（ｘ”₃、ｙ”₃）、Ｑ₀₀〜Ｑ₀₃の座標をそれぞれ（ｘ’₀、ｙ’₀）〜（ｘ’₃、ｙ’₃）とする。この式（５）で示される連立方程式を解くことによって幾何変換係数ａ_m0〜ａ_m7が算出される。

ステップ１１０５において、補正係数算出部４０３は、ステップ１１０３及びステップ１１０４で各々算出された幾何変換係数ａ₀₀〜ａ₀₇とａ_m0〜_m7（ａ₁₀〜ａ₁₇、ａ₂₀〜ａ₂₇、ａ₃₀〜ａ₃₇、ａ₄₀〜ａ₄₇）を補正係数として出力する。

なお、本実施例では、ステップ１１０２においてユーザの手動による指定に基づいて表示領域を設定することとしたが、表示領域の設定方法はこれに限るものではない。例えば、高解像度画像０からプロジェクタ１１４〜１１７による投影領域を検出し、検出された投影領域に内接するように表示領域を自動で設定してもよい。

＜画像補正処理＞
図１４は、画像補正処理の流れを示すフローチャートである。

ステップ１４０１において、画像補正部４０４は、表示用画像のデータを受け取る。

ステップ１４０２において、画像補正部４０４は、補正係数算出部４０３から補正係数を取得する。

ステップ１４０３において、画像補正部４０４は、処理対象とする画像を選択する。処理開始直後の時点では、初期化処理により、処理対象画像として部分画像１が選択される。

ステップ１４０４において、画像補正部４０４は、選択された処理対象画像における処理対象画素｛座標：（ｘ’、ｙ’）｝を選択する。処理開始直後の時点では、初期化処理により、（０，０）が座標の初期値として選択される。

ステップ１４０５において、画像補正部４０４は、取得した補正係数（幾何変換係数）を用いて処理対象画素に対応する表示用画像上の画素｛座標：（ｘ、ｙ）｝を算出する。この際、図１５に示すように、幾何変換係数ａ₀₀〜₀₇および幾何変換係数（ａ₁₀〜ａ₁₇、ａ₂₀〜ａ₂₇、ａ₃₀〜ａ₃₇、ａ₄₀〜ａ₄₇）のうち処理対象画像に対応したものを用いて算出処理を行う。例えば、処理対象画像として部分画像１が選択されている場合であれば、まず、幾何変換係数ａ₁₀〜ａ₁₇を用いて選択された処理対象画素に対応する処理対象画像上の座標（ｘ”、ｙ”）を式（４）に従って算出する。その後、幾何変換係数ａ₀₀〜₀₇を用いて、算出された座標（ｘ”、ｙ”）に対応する表示用画像上の座標（ｘ、ｙ）を式（２）に従って算出する。

ステップ１４０６において、画像補正部４０４は、算出した表示用画像上の座標（ｘ、ｙ）に対応する画素値を算出し、選択された処理対象画素｛座標：（ｘ’、ｙ’）｝の画素値とする。

ステップ１４０７において、画像補正部４０４は、処理対象画像内のすべての画素について画素値が算出されたかどうかを判定する。算出されていない画素がある場合はステップ１４０４へ戻り、次の画素が選択される。一方、すべての画素について画素値が算出されていれば、ステップ１４０８へ進む。

ステップ１４０８において、画像補正部４０４は、すべての部分画像１〜４について処理が終了したかどうかを判定する。未処理の部分画像があれば、ステップ１４０３へ戻り、次の部分画像を処理対象画像に選択する。一方、すべての部分画像について処理が終了していれば、ステップ１４０９へ進む。

ステップ１４０９において、画像補正部４０４は、幾何補正処理のされた部分画像１〜４の画像データを画像出力部４０５に出力する。

そして、幾何補正処理のされた部分画像１〜４がプロジェクタ１１４〜１１７によってスクリーン３０４に投影される。

このように本実施例によれば、複数のプロジェクタによって投影される画像をつなぎ合わせて単一の画像を表示する際に、各画像に対し適切な補正がなされる。その結果、投影画像間の位置ずれを抑制し解像感を向上させることができる。

（実施例２）
実施例１では、画角の等しい撮像部を複数備えた撮像装置を用いて、スクリーンに投影された校正用パターン画像を撮像する態様について説明した。次に、画角の異なる撮像部を複数備えた撮像装置を使用する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図１６は、実施例２に係る、複数の撮像部を備えた多眼方式による撮像装置１６１０の一例を示した図である。本実施例に係る撮像装置１６１０は、二種類の撮像部で構成される。１つは中央に位置する撮像部１６０１であり、もう１つはその周囲を囲むように配置される撮像部１６０２〜１６０９である。撮像部１６０１と撮像部１６０２〜１６０９とでは焦点距離が異なり、後者の焦点距離の方が長い。そのため、図１７に示すように撮像部１６０２〜１６０９による撮像範囲は、撮像部１６０１による撮像範囲と比較して小さくなる。

図１８は、本実施例に係る撮像装置１６１０によって、スクリーンに投影された校正用パターン画像を撮像した撮像画像データの一例を示す図である。実施例１と同様、画像セット０は全てのプロジェクタによって投影された状態を撮像した画像の組であり、画像セット１〜画像セット４は、それぞれ別個のプロジェクタによって投影された状態を撮像した画像の組である。そして、画像セット１〜４はプロジェクタ１１４〜１１７にそれぞれ対応しており、いずれの画像セットも、撮像部１６０１〜１６０９に対応した計９枚の画像が含まれている。

上記のような撮像画像データが得られる本実施例では、実施例１と比較し、図８のフローチャートのステップ８０５で行う高解像度化処理の内容が異なってくる。以下、本実施例における高解像度化処理について説明する。

本実施例におけるステップＳ７０５では、撮像画像データ１８０１に含まれる画像セット０〜４にそれぞれスティッチ処理を施すことにより、図１９に示されるような高解像度画像０〜４からなる画像データを生成する。スティッチ処理としては、例えば以下に述べる方法が適用可能である。まず、各画像セット中の撮像部１６０２〜１６０９で撮像された画像と、それらの画像に対応する撮像部１６０１で撮像された画像内の領域との差分を算出する。そして、算出された差分に応じた補正処理を撮像部１６０２〜１６０９で撮像された画像に対して実行する。最後に、補正後の各画像を合成し、高解像度画像を生成する。なお、スティッチ処理の他の方法として、撮像画像内から抽出した特徴点をマッチングさせることにより画像をつなぎ合わせる方法なども適用可能である。

上記のような処理を図１９で示される画像セット０〜４にそれぞれ施すことにより、高解像度画像０〜４が生成され、それらが補正計数算出用画像として、補正計数算出部４０３に出力される。

その余の処理は、実施例1と同じであるので、以降の説明は省略する。

Claims

複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置であって、
前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力手段と、
前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成手段と、
前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得手段と、
前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定手段と、
前記投影領域の中で、前記基準点に対応する点を検出する検出手段と、
前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定手段と
を有し、
前記決定手段は、前記検出手段により検出された点と、前記設定手段によって設定された前記基準点とが重なるように前記変形パラメータを決定する
ことを特徴とする画像処理装置。
前記複数の撮像画像は、第一の投影手段から投影された第一の投影画像を複数の異なる視点位置から撮像した第一の撮像画像群と、前記第一の投影手段とは異なる第二の投影手段から投影された第二の投影画像を複数の異なる視点位置から撮像した第二の撮像画像群とを含み、
前記生成手段は、前記第一の撮像画像群を用いて第一の高解像度画像を生成し、前記第二の撮像画像群を用いて第二の高解像度画像を生成し、
前記決定手段は、前記第一の高解像度画像を用いて前記第一の投影手段に対応する第一の変形パラメータを決定し、前記第二の高解像度画像を用いて前記第二の投影手段に対応する第二の変形パラメータを決定する
ことを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、前記領域情報が示す各領域の四隅を前記基準点として設定し、
前記検出手段は、前記投影領域についてコーナー検出処理を行うことにより、前記基準点に対応する点を検出する
ことを特徴とする請求項１に記載の画像処理装置。
前記生成手段は、前記複数の撮像画像を用いて超解像処理を行うことにより、前記高解像度画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
前記複数の撮像画像は、前記投影領域の画素数が対応する投影画像の画素数よりも大きい複数の望遠画像と、前記複数の望遠画像よりも画角が広い少なくとも一枚の広角画像とを含み、
前記広角画像における投影領域の画素数が対応する投影画像の画素数よりも大きい場合には、前記決定手段は前記広角画像を用いて前記変形パラメータを決定し、
前記広角画像における投影領域の画素数が対応する投影画像の画素数よりも小さい場合には、
前記生成手段は、前記複数の望遠画像をスティッチ合成することで前記高解像度画像を生成し、前記決定手段は、前記高解像度画像を用いて前記変形パラメータを決定する
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
請求項１乃至５のいずれか一項に記載の画像処理装置と、該画像処理装置に接続された前記複数の投影手段とを有する投影システム。
前記複数の投影手段は、前記決定手段によって決定された前記変形パラメータを用いて変形された画像を投影することで、１枚の画像を表示することを特徴とする請求項６に記載の投影システム。
複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置によって実行される画像処理方法であって、
前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力工程と、
前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成工程と、
前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得工程と、
前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定工程と、
前記投影領域の中で、前記基準点に対応する点を検出する検出工程と、
前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定工程と
を含み、
前記決定工程では、前記検出工程で検出された点と、前記設定工程で設定された前記基準点とが重なるように前記変形パラメータを決定する
むことを特徴とする画像処理方法。
コンピュータを請求項１乃至５のいずれか一項に記載の画像処理装置として機能させるプログラム。