JP7223837B2 - 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、投影システム、画像処理方法、及び画像処理プログラムに関する。

１つの画像を分割して複数の分割画像を生成し、複数のプロジェクタのそれぞれがこの分割画像を投影することにより、１つの画像を大画面表示する方法が知られている（例えば特許文献１、２参照）。

日本国特開２０１６－０２４２９６号公報 日本国特開２０１７－１２９７７０号公報

複数の分割画像を投影して大画面表示を行う場合には、隣接する分割画像同士を一部重ね合わせることが行われる。しかし、２つの分割画像の重ね合わせ部分の位置合わせを高精度に行うことは難しく、位置合わせの誤差の分だけ、重ね合わせ部分に画像のにじみが発生する。特に、重ね合わせ部分において高周波模様等の細かい被写体が含まれる場合に、このようなにじみが顕著となる。特許文献１、２は、この画像のにじみを抑制する方法について開示していない。

本発明は、上記事情に鑑みてなされたものであり、複数の画像を投影して１つの画像を表示させる場合に、画像同士の重ね合わせ領域のにじみを抑制して高画質化を図ることを可能とする投影システム用の画像処理装置、投影システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、第一の投影部と第二の投影部の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム用の画像処理装置であって、上記第一の投影部から画像を投影させるための第一画像データと、上記第二の投影部から画像を投影させるための第二画像データと、を取得する画像取得部と、上記第一の投影部の上記投影範囲と上記第二の投影部の上記投影範囲との重畳領域の情報を取得する重畳領域情報取得部と、上記第一画像データのうちの上記重畳領域に対応する第一部分に対して第一画像処理を行う第一画像処理部と、上記第二画像データのうちの上記重畳領域に対応する第二部分に対して第二画像処理を行う第二画像処理部と、上記第一画像処理後の上記第一画像データを上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データを上記第二の投影部用の画像データとして出力する出力部と、を備えるものである。

本発明の投影システムは、上記画像処理装置と、上記第一の投影部と、上記第二の投影部と、を備えるものである。

本発明の画像処理方法は、第一の投影部と第二の投影部の各々から投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における上記第一の投影部から画像を投影させるための第一画像データと上記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、上記第一の投影部の上記投影範囲と上記第二の投影部の上記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、上記第一画像データのうちの上記重畳領域に対応する第一部分に対して第一画像処理を行う第一画像処理ステップと、上記第二画像データのうちの上記重畳領域に対応する第二部分に対して第二画像処理を行う第二画像処理ステップと、上記第一画像処理後の上記第一画像データを上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データを上記第二の投影部用の画像データとして出力する出力ステップと、を備えるものである。

本発明の画像処理プログラムは、第一の投影部と第二の投影部の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における上記第一の投影部から画像を投影させるための第一画像データを取得し、上記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、上記第一の投影部の上記投影範囲と上記第二の投影部の上記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、上記第一画像データのうちの上記重畳領域に対応する第一部分に対して第一画像処理を行う第一画像処理ステップと、上記第二画像データのうちの上記重畳領域に対応する第二部分に対して第二画像処理を行う第二画像処理ステップと、上記第一画像処理後の上記第一画像データを上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データを上記第二の投影部用の画像データとして出力する出力ステップと、をコンピュータに実行させるためのものである。

本発明によれば、複数の画像を投影して１つの画像を表示させる場合に、画像同士の重ね合わせ領域のにじみを抑制して高画質化を図ることを可能とする投影システム用の画像処理装置、投影システム、画像処理方法、及び画像処理プログラムを提供することができる。

本発明の投影システムの一実施形態である投影システム１００の概略構成を示す模式図である。 図１に示す第一投影装置１の内部構成を示す模式図である。 図１に示す制御装置４の機能ブロック図である。 第一画像処理部４３の処理を説明するための模式図である。 第二画像処理部４４の処理を説明するための模式図である。 図３に示す制御装置４の第一変形例を示す機能ブロック図である。 第一変形例の制御装置４の動作を説明するためのフローチャートである。 第一変形例の制御装置４の別の動作を説明するためのフローチャートである。 第一変形例の制御装置４の更に別の動作を説明するためのフローチャートである。 図３に示す制御装置４の第二変形例を示す機能ブロック図である。 第二変形例の制御装置４の動作を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投影システムの一実施形態である投影システム１００の概略構成を示す模式図である。投影システム１００は、第一投影装置１と、第二投影装置２と、制御装置４と、撮像部５と、スクリーン６と、を備える。第一投影装置１と第二投影装置２は、それぞれ、例えば液晶プロジェクタ、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ：登録商標）プロジェクタ、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）プロジェクタ、又はＧＬＶ（Ｇｒａｔｉｎｇ Ｌｉｇｈｔ Ｖａｌｖｅ）プロジェクタ等によって構成される。

投影システム１００は、スクリーン６の第一の投影範囲１０に第一投影装置１から第一分割画像を投影させ、第一の投影範囲１０の一部（重畳領域３０という）と重なるスクリーン６の第二の投影範囲２０に第二投影装置２から第二分割画像を投影させて、これら第一分割画像と第二分割画像の継ぎ合わせによって横長の投影対象画像を表示するものである。

制御装置４は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース（図示省略）と、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体（図示省略）と、を含む装置であり、第一投影装置１、第二投影装置２、及び撮像部５を統括制御する。

制御装置４の制御部の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御装置４の制御部は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

撮像部５は、撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサ又はＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の撮像素子を備え、スクリーン６を撮像する。撮像部５によって撮像された撮像画像は制御装置４に入力される。

図２は、図１に示す第一投影装置１の内部構成を示す模式図である。なお、図１に示す第二投影装置２の内部構成は、第一投影装置１と同じであるため、説明は省略する。第一投影装置１は、投影部１０１と、制御部１０２と、を備える。

投影部１０１は、光源１０４ａ及び光変調部１０４ｂを含む表示部１０４と、投影光学系１０３と、を備える。

光源１０４ａは、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子を含み、例えば白色光を出射する。

光変調部１０４ｂは、例えば、光源１０４ａから出射されて図示省略の色分離機構によって赤、青、緑の３色に分離された各色光を、画像情報に基づいて空間変調して各色画像を出射する３つの液晶パネルによって構成される。この３つの液晶パネルにそれぞれ赤、青、緑のフィルタを搭載し、光源１０４ａから出射された白色光を、各液晶パネルにて変調して各色画像を出射させてもよい。また、各色光を空間変調する素子としては、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＬＣＯＳ、又はＧＬＶ等が用いられてもよい。

投影光学系１０３は、表示部１０４からの光が入射されるものであり、少なくとも１つのレンズを含む例えばリレー光学系によって構成されている。投影光学系１０３を通過した光はスクリーン６に投影される。

制御部１０２は、制御装置４から入力される画像データに基づいて、投影部１０１を制御することにより、スクリーン６にこの画像データに基づく画像を投影させる。第一投影装置１の制御部１０２には、制御装置４から第一画像データが入力され、この第一画像データに基づく第一分割画像が第一の投影範囲１０に投影される。第二投影装置２の制御部１０２には、制御装置４から第二画像データが入力され、この第二画像データに基づく第二分割画像が第二の投影範囲２０に投影される。

図３は、図１に示す制御装置４の機能ブロック図である。制御装置４の制御部は、画像処理プログラムを含むプログラムを実行することにより、画像取得部４１、重畳領域情報取得部４２、第一画像処理部４３、第二画像処理部４４、及び出力部４５を含む画像処理装置として機能する。

画像取得部４１は、パーソナルコンピュータ等の外部装置から入力された投影対象画像のデータ（以下、入力画像データとも言う）から、第一投影装置１から第一分割画像を投影させるための上記の第一画像データと、第二投影装置２から第二分割画像を投影させるための上記の第二画像データと、を生成することで、第一画像データ及び第二画像データを取得する。具体的には、画像取得部４１は、入力画像データから第一の投影範囲１０に対応する部分をトリミングして第一画像データを生成し、入力画像データから第二の投影範囲２０に対応する部分をトリミングして第二画像データを生成する。

第一画像データと第二画像データは、外部装置によって生成されて制御装置４に入力されることで、画像取得部４１によって取得されるものとしてもよい。

重畳領域情報取得部４２は、第一の投影範囲１０と第二の投影範囲２０の重なり部分である重畳領域３０の情報を取得する。重畳領域３０の情報とは、第一の投影範囲１０における重畳領域３０の位置と、第二の投影範囲２０における重畳領域３０の位置を示す情報である。

重畳領域情報取得部４２は、第一投影装置１から第一の投影範囲１０にテスト画像を投影させた状態にて撮像部５によりスクリーン６を撮像させ、その撮像画像を取得する。また、重畳領域情報取得部４２は、第二投影装置２から第二の投影範囲２０にテスト画像を投影させた状態にて撮像部５によりスクリーン６を撮像させ、その撮像画像を取得する。重畳領域情報取得部４２は、これら２つの撮像画像の各々からテスト画像を検出し、検出した２つのテスト画像の重なり状態から、重畳領域３０の情報を取得する。

なお、投影システム１００が、第一投影装置１と第二投影装置２の位置が最初から固定されているシステムであれば、重畳領域３０の情報はシステム製造時に予め決められて制御装置４の記憶媒体に記憶される。したがって、重畳領域情報取得部４２は、この記憶媒体から重畳領域３０の情報を取得すればよい。この場合には撮像部５は省略可能である。投影システム１００が、第一投影装置１と第二投影装置２の位置を手動にて変えられるものであれば、上述したようにテスト画像を投影することで、重畳領域３０の情報を取得可能である。

また、重畳領域情報取得部４２は、第一投影装置１と第二投影装置２との間の距離の情報、第一投影装置１の光軸の向きと第二投影装置２の光軸の向きとのなす角度の情報等に基づいて、重畳領域３０を認識してもよい。これらの情報は手動で制御装置４に入力されてもよいし、第一投影装置１と第二投影装置２に設けられたセンサ等によって制御装置４が自動で判定するようにしてもよい。

第一画像処理部４３は、画像取得部４１により取得された第一画像データのうちの重畳領域３０に対応する第一部分に対して第一画像処理を行う。図４は、第一画像処理部４３の処理を説明するための模式図である。図４には、画像取得部４１により取得された第一画像データ１１と、この第一画像データ１１を第一画像処理部４３により処理して得られる第一画像データ１１ａと、が示されている。

第一画像処理部４３は、重畳領域情報取得部４２により取得された第一の投影範囲１０における重畳領域３０の位置の情報に基づいて、第一画像データ１１のうち、重畳領域３０に対応する第一部分１２（重畳領域３０に投影される部分）を認識する。第一画像データ１１のうち第一部分１２以外の部分は非重畳領域１３となっている。第一画像処理部４３は、第一画像データ１１における第一部分１２に第一画像処理を行い、第一画像処理後の第一部分１２ａと非重畳領域１３からなる第一画像データ１１ａを生成する。

第一画像処理とは、画像の空間周波数を元画像よりも低下させる処理であり、例えば、ぼかし処理である。ぼかし処理とは、具体的には、ローパスフィルタ処理、平均化処理、コントラスト低下処理等である。

第二画像処理部４４は、画像取得部４１により取得された第二画像データのうちの重畳領域３０に対応する第二部分に対して第二画像処理を行う。図５は、第二画像処理部４４の処理を説明するための模式図である。図５には、画像取得部４１により取得された第二画像データ２１と、この第二画像データ２１を第二画像処理部４４により処理して得られる第二画像データ２１ａと、が示されている。

第二画像処理部４４は、重畳領域情報取得部４２により取得された第二の投影範囲２０における重畳領域３０の位置の情報に基づいて、第二画像データ２１のうち、重畳領域３０に対応する第二部分２２（重畳領域３０に投影される部分）を認識する。第二画像データ２１のうち第二部分２２以外の部分は非重畳領域２３となっている。第二画像処理部４４は、第二画像データ２１における第二部分２２に第二画像処理を行い、第二画像処理後の第二部分２２ａと非重畳領域２３からなる第二画像データ２１ａを生成する。

第二画像処理とは、画像の空間周波数を元画像よりも高める処理であり、例えば、輪郭強調処理である。輪郭強調処理とは、具体的には、コントラスト強調処理、ハイパスフィルタ処理等である。

なお、第一画像データにおける重畳領域３０に対応する第一部分１２と、第二画像データにおける重畳領域３０に対応する第二部分２２は、それぞれ、同じ画像データである。したがって、第一部分１２の第一画像処理後の第一部分１２ａと、第二部分２２の第二画像処理後の第二部分２２ａは、空間周波数を除いて同じ画像データとなっている。

図３に示す出力部４５は、第一画像処理後の第一画像データ１１ａを第一投影装置１の投影部１０１用の画像データとして第一投影装置１の制御部１０２に出力し、第二画像処理後の第二画像データ２１ａを第二投影装置２の投影部１０１用の画像データとして第二投影装置２の制御部１０２に出力する。

第一画像データ１１ａを受けた第一投影装置１の制御部１０２は、この第一画像データ１１ａに基づく第一分割画像を第一の投影範囲１０に投影させ、第二画像データ２１ａを受けた第二投影装置２の制御部１０２は、この第二画像データ２１ａに基づく第二分割画像を第二の投影範囲２０に投影させる。

これにより、図１に示したスクリーン６の重畳領域３０においては、第一画像処理が施された第一部分１２ａに基づく空間周波数の低い画像と、第二画像処理が施された第二部分２２ａに基づく空間周波数の高い画像とが重畳して投影されることになる。この結果、重畳領域３０において発生する画像のにじみを抑制することができ、投影対象画像の画質を向上させることができる。

（第一変形例）
図６は、図３に示す制御装置４の第一変形例を示す機能ブロック図である。以下の説明では、先に説明したものと同じ構成要素については、共通の符号を付してその説明を適宜省略する。

図６に示す制御装置４の制御部は、画像処理プログラムを含むプログラムを実行することで、画像取得部４１、重畳領域情報取得部４２、第一画像処理部４３、第二画像処理部４４、出力部４５、及び使用条件取得部４６を含む画像処理装置として機能する。

使用条件取得部４６は、第一投影装置１の投影部１０１と第二投影装置２の投影部１０１の使用条件の情報を取得する。使用条件とは、第一投影装置１及び第二投影装置２の各々の投影部１０１の内部の温度、第一投影装置１及び第二投影装置２の各々の投影部１０１における投影光学系１０３の状態等を言う。

温度の情報は、第一投影装置１及び第二投影装置２の各々の投影部１０１に内蔵された温度センサから取得可能である。投影光学系１０３の状態とは、投影光学系１０３がズームレンズを含む場合にはその焦点距離であり、投影光学系１０３がフォーカスレンズを含む場合にはその焦点位置である。また、投影光学系１０３の状態とは、投影光学系１０３の光軸の傾きであってもよい。投影光学系１０３の光軸の傾きとは、第一投影装置１及び第二投影装置２の各々の設置面と投影光学系１０３の光軸とのなす角度のことである。投影光学系１０３の光軸の傾きの情報は、第一投影装置１及び第二投影装置２の各々に搭載された加速度センサ等から取得可能である。

第一変形例の第一画像処理部４３と第二画像処理部４４は、それぞれ、使用条件取得部４６によって取得された使用条件の情報に基づいて、画像処理の度合い（強度）を制御する。

図７は、第一変形例の制御装置４の動作を説明するためのフローチャートである。使用条件取得部４６は、第一投影装置１と第二投影装置２の各々の制御部１０２から、各々の投影部１０１内部の温度の情報を取得する（ステップＳ１）。

ステップＳ１にて取得された温度が、閾値ＴＨ２以上閾値ＴＨ１以下である場合（ステップＳ２：ＮＯ）には、第一画像処理部４３は、第一画像処理の強度を予め定められた基準値Ｂ１に設定して第一画像処理を実行し（ステップＳ３）、第二画像処理部４４は、第二画像処理の強度を予め定められた基準値Ｂ２に設定して第二画像処理を実行する（ステップＳ４）。

一方、ステップＳ１にて取得された温度が、閾値ＴＨ１を超えている、又は、閾値ＴＨ２を下回っている場合（ステップＳ２：ＹＥＳ）には、第一画像処理部４３は、第一画像処理の強度を基準値Ｂ１よりも大きい値に設定して第一画像処理を実行し（ステップＳ５）、第二画像処理部４４は、第二画像処理の強度を基準値Ｂ２よりも大きい値に設定して第二画像処理を実行する（ステップＳ６）。

ステップＳ３からステップＳ６において画像処理が行われた後、出力部４５によって第一投影装置１に第一画像データが出力され、第二投影装置２に第二画像データが出力されて（ステップＳ７）、投影対象画像の表示が行われる。

投影部１０１の内部温度が低い場合には、投影光学系１０３に含まれるレンズの収縮が発生し得る。また、投影部１０１の内部温度が高い場合には、投影光学系１０３に含まれるレンズの膨張が発生し得る。このようなレンズの収縮又は膨張が発生していると、重畳領域３０での画像の位置ずれが大きくなる可能性がある。そのため、図７に示す動作例のように、収縮又は膨張が発生している（ステップＳ２：ＹＥＳ）と判定された場合には、収縮又は膨張が発生していない（ステップＳ２：ＮＯ）と判定された場合と比較して、第一画像処理と第二画像処理の度合いを高めることで、重畳領域３０における滲みを効果的に抑制することができる。

図８は、第一変形例の制御装置４の別の動作を説明するためのフローチャートである。図８において図７と同じ処理には同一符号を付して説明を省略する。

使用条件取得部４６は、第一投影装置１と第二投影装置２の各々の制御部１０２から、各々の投影光学系１０３の焦点距離の情報を取得する（ステップＳ１ａ）。

ステップＳ１ａにて取得された焦点距離が、予め定められた焦点距離の基準範囲内にある場合（ステップＳ２ａ：ＹＥＳ）には、ステップＳ３以降の処理が行われる。一方、ステップＳ１ａにて取得された焦点距離が、上記の基準範囲の外にある場合（ステップＳ２ａ：ＮＯ）には、ステップＳ５以降の処理が行われる。

投影光学系１０３の焦点距離が長すぎたり短すぎたりすると、重畳領域３０における２つの画像の位置ずれが大きくなる可能性がある。そのため、図８に示す動作例のように、投影光学系１０３の焦点距離が基準範囲の外にある場合（ステップＳ２ａ：ＮＯ）には、投影光学系１０３の焦点距離が基準範囲内にある場合（ステップＳ２ａ：ＹＥＳ）と比較して、第一画像処理と第二画像処理の度合いを強めることで、重畳領域３０における画像のにじみを効果的に抑制することができる。

なお、図７の動作と図８の動作は組み合わせてもよい。例えば、図７のステップＳ２の判定がＮＯとなった場合に、図８のステップＳ１ａに処理を移行する動作としてもよい。または、図８のステップＳ２ａの判定がＹＥＳとなった場合に、図７のステップＳ１に処理を移行する動作としてもよい。

図９は、第一変形例の制御装置４の更に別の動作を説明するためのフローチャートである。図９において図７と同じ処理には同一符号を付して説明を省略する。

使用条件取得部４６は、第一投影装置１と第二投影装置２の各々の制御部１０２から、各々の投影光学系１０３の光軸の傾きの情報を取得する（ステップＳ１ｂ）。

ステップＳ１ｂにて取得された傾きが、予め定められた光軸の傾きの基準範囲（０度を中心としたプラスマイナスα°の範囲）内にある場合（ステップＳ２ｂ：ＹＥＳ）には、ステップＳ３以降の処理が行われる。一方、ステップＳ１ｂにて取得された傾きが、上記の基準範囲の外にある場合（ステップＳ２ｂ：ＮＯ）には、ステップＳ５以降の処理が行われる。

投影光学系１０３の光軸の傾きの絶対値が大きいと、投影光学系１０３に含まれる光学部材の姿勢変化等によって重畳領域３０における２つの画像の位置ずれが大きくなる可能性がある。そのため、図９に示す動作例のように、投影光学系１０３の光軸の傾きが基準範囲の外にある場合（ステップＳ２ｂ：ＮＯ）には、投影光学系１０３の光軸の傾きが基準範囲内にある場合（ステップＳ２ｂ：ＹＥＳ）と比較して、第一画像処理と第二画像処理の度合いを強めることで、重畳領域３０における画像のにじみを効果的に抑制することができる。

なお、図７の動作と図９の動作は組み合わせてもよい。例えば、図７のステップＳ２の判定がＮＯとなった場合に、図９のステップＳ１ｂに処理を移行する動作としてもよい。または、図９のステップＳ２ｂの判定がＹＥＳとなった場合に、図７のステップＳ１に処理を移行する動作としてもよい。

（第二変形例）
図１０は、図３に示す制御装置４の第二変形例を示す機能ブロック図である。以下の説明では、先に説明したものと同じ構成要素については、共通の符号を付してその説明を適宜省略する。

図１０に示す制御装置４の制御部は、画像処理プログラムを含むプログラムを実行することで、画像取得部４１、重畳領域情報取得部４２、第一画像処理部４３、第二画像処理部４４、出力部４５、及び輝度調整処理部４７を含む画像処理装置として機能する。

第二変形例では、第一の投影範囲１０と第二の投影範囲２０を完全に重ねた状態、換言すると、重畳領域３０のサイズが第一の投影範囲１０及び第二の投影範囲２０の各々と同じになる状態にて、スクリーン６に画像を投影するモード（スタック投影モードという）と、図１に示したように第一の投影範囲１０及び第二の投影範囲２０の各々の一部を重ねあわせて横長の画像を投影するモード（パノラマ投影モードという）と、が投影システム１００に設けられていることを前提としている。

輝度調整処理部４７は、図４に示した第一画像データ１１ａにおける第一部分１２ａの輝度（この部分を構成する全画素の輝度値の平均値や中央値等）と、図５に示した第二画像データ２１ａにおける第二部分２２ａの輝度（この部分を構成する全画素の輝度値の平均値や中央値等）との合計輝度を、第一画像データ１１ａにおける非重畳領域１３の輝度（この部分を構成する全画素の輝度値の平均値や中央値等）又は第二画像データ２１ａにおける非重畳領域２３の輝度（この部分を構成する全画素の輝度値の平均値や中央値等）に近づける輝度調整処理を行う。輝度調整処理部４７は、重畳領域３０のサイズに基づいて、この輝度調整処理を実行するか否かを決定する。

図１１は、第二変形例の制御装置４の動作を説明するためのフローチャートである。画像取得部４１が第一画像データと第二画像データを取得し（ステップＳ１１）、重畳領域情報取得部４２が重畳領域３０の情報を取得する（ステップＳ１２）。

次に、第一画像処理部４３は、第一画像データの第一部分に対して第一画像処理を施す（ステップＳ１３）。続いて、第二画像処理部４４は、第二画像データの第二部分に対して第二画像処理を施す（ステップＳ１４）。

次に、輝度調整処理部４７は、重畳領域３０のサイズ（例えば面積や水平方向の幅）が閾値ＴＨ３以下であるか否かを判定する（ステップＳ１５）。輝度調整処理部４７は、重畳領域３０のサイズが閾値ＴＨ３を超えていた場合（ステップＳ１５：ＮＯ）には、輝度調整処理を行わない。重畳領域３０のサイズが閾値ＴＨ３を超える場合とは、上述したスタック投影モードが選択されている場合に相当する。つまり、ステップＳ１５の判定がＮＯとなった場合には、第一画像データの全体に第一画像処理が施され、第二画像データの全体に第二画像処理が施された状態となっている。

輝度調整処理部４７は、重畳領域３０のサイズが閾値ＴＨ３以下であった場合（ステップＳ１５：ＹＥＳ）には、ステップＳ１３にて処理後の第一画像データの第一部分の輝度と、ステップＳ１４にて処理後の第二画像データの第二部分の輝度との合計値を算出し、この合計値と、ステップＳ１３にて処理後の第一画像データの非重畳領域の輝度と、ステップＳ１４にて処理後の第二画像データの非重畳領域の輝度と、がそれぞれ一致するように、第一画像データの非重畳領域と第二画像データの非重畳領域の各々の輝度の調整を行う（ステップＳ１６）。重畳領域３０のサイズが閾値ＴＨ３以下になる場合とは、上述したパノラマ投影モードが選択されている場合に相当する。

ステップＳ１５の判定がＮＯになった場合と、ステップＳ１６の後には、出力部４５が、ここまでで生成された第一画像データを第一投影装置１の制御部１０２に出力し、ここまでで生成された第二画像データを第二投影装置２の制御部１０２に出力する。

以上の第二変形例によれば、パノラマ投影モードが選択されている場合には、第一の投影範囲１０の重畳領域３０以外の範囲に投影された画像の輝度と、第二の投影範囲２０の重畳領域３０以外の範囲に投影された画像の輝度と、重畳領域３０に投影された画像の輝度とを揃えることができ、大画面表示を行った場合の画質を向上させることができる。一方、スタック投影モードが選択されている場合にはステップＳ１６の処理が省略されることで、制御装置４の処理負荷を軽減することができる。スタック投影モードにおいては、全体に第一画像処理が施された第一画像データに基づく画像と、全体に第二画像処理が施された第二画像データに基づく画像とが重ねてスクリーン６に投影される。このため、この投影された画像のにじみを抑制することができる。

ここまでは、投影システム１００が２つの投影装置を有するものとしてきたが、制御装置４は、３つ以上の投影装置と接続されてこれらを制御してもよい。この場合でも、大画面の投影対象画像における重畳領域３０のにじみを抑制することができる。

また、投影システム１００では、撮像部５が独立して設けられているが、撮像部５は第一投影装置１と第二投影装置２に内蔵されるものであってもよい。第一投影装置１、第二投影装置２、撮像部５、及び制御装置４は、全て同一筐体内に内蔵された構成であってもよい。

本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。

（１）
第一の投影部（第一投影装置１の投影部１０１）と第二の投影部（第二投影装置２の投影部１０１）の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム（投影システム１００）用の画像処理装置（制御装置４）であって、
上記第一の投影部から画像を投影させるための第一画像データ（第一画像データ１１）と、上記第二の投影部から画像を投影させるための第二画像データ（第二画像データ２１）と、を取得する画像取得部（画像取得部４１）と、
上記第一の投影部の上記投影範囲（第一の投影範囲１０）と上記第二の投影部の上記投影範囲（第二の投影範囲２０）との重畳領域（重畳領域３０）の情報を取得する重畳領域情報取得部（重畳領域情報取得部４２）と、
上記第一画像データのうちの上記重畳領域に対応する第一部分（第一部分１２）に対して第一画像処理を行う第一画像処理部（第一画像処理部４３）と、
上記第二画像データのうちの上記重畳領域に対応する第二部分（第二部分２２）に対して第二画像処理を行う第二画像処理部（第二画像処理部４４）と、
上記第一画像処理後の上記第一画像データ（第一画像データ１１ａ）を上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データ（第二画像データ２１ａ）を上記第二の投影部用の画像データとして出力する出力部と、を備える画像処理装置。

（２）
（１）記載の画像処理装置であって、
上記第一画像処理と上記第二画像処理は、処理対象の画像データの空間周波数を異ならせる処理である画像処理装置。

（３）
（１）又は（２）記載の画像処理装置であって、
上記第一の投影部と上記第二の投影部の使用条件の情報を取得する使用条件取得部（使用条件取得部４６）を備え、
上記第一画像処理部は、上記使用条件に基づいて、上記第一画像処理の度合いを制御し、
上記第二画像処理部は、上記使用条件に基づいて、上記第二画像処理の度合いを制御する画像処理装置。

（４）
（３）記載の画像処理装置であって、
上記使用条件は、上記第一の投影部と上記第二の投影部の温度である画像処理装置。

（５）
（３）又は（４）記載の画像処理装置であって、
上記使用条件は、上記第一の投影部と上記第二の投影部の光学系の状態である画像処理装置。

（６）
（１）から（５）のいずれか１つに記載の画像処理装置であって、
上記第一部分の輝度と上記第二部分の輝度との合計輝度を、上記第一画像データにおける上記第一部分を除く部分（非重畳領域１３）の輝度又は上記第二画像データにおける上記第二部分を除く部分（非重畳領域２３）の輝度に近づける輝度調整処理を行う輝度調整処理部（輝度調整処理部４７）を備え、
上記輝度調整処理部は、上記重畳領域のサイズに基づいて、上記輝度調整処理を実行するか否かを決定する画像処理装置。

（７）
（６）記載の画像処理装置であって、
上記輝度調整処理部は、上記重畳領域のサイズが閾値以下の場合に上記輝度調整処理を実行する画像処理装置。

（８）
（１）から（７）のいずれか１つに記載の画像処理装置であって、
上記第一画像処理は、ぼかし処理であり、
上記第二画像処理は、輪郭強調処理である画像処理装置。

（９）
（１）から（８）のいずれか１つに記載の画像処理装置と、
上記第一の投影部と、
上記第二の投影部と、を備える投影システム。

（１０）
第一の投影部と第二の投影部の各々から投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における上記第一の投影部から画像を投影させるための第一画像データと上記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、
上記第一の投影部の上記投影範囲と上記第二の投影部の上記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、
上記第一画像データのうちの上記重畳領域に対応する第一部分に対して第一画像処理を行う第一画像処理ステップと、
上記第二画像データのうちの上記重畳領域に対応する第二部分に対して第二画像処理を行う第二画像処理ステップと、
上記第一画像処理後の上記第一画像データを上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データを上記第二の投影部用の画像データとして出力する出力ステップと、を備える画像処理方法。

（１１）
（１０）記載の画像処理方法であって、
上記第一画像処理と上記第二画像処理は、処理対象の画像の空間周波数を異ならせる処理である画像処理方法。

（１２）
（１０）又は（１１）記載の画像処理方法であって、
上記第一の投影部と上記第二の投影部の使用条件の情報を取得する使用条件取得ステップを備え、
上記第一画像処理ステップは、上記使用条件に基づいて、上記第一画像処理の度合いを制御し、
上記第二画像処理ステップは、上記使用条件に基づいて、上記第二画像処理の度合いを制御する画像処理方法。

（１３）
（１２）記載の画像処理方法であって、
上記使用条件は、上記第一の投影部と上記第二の投影部の温度である画像処理方法。

（１４）
（１２）又は（１３）記載の画像処理方法であって、
上記使用条件は、上記第一の投影部と上記第二の投影部の光学系の状態である画像処理方法。

（１５）
（１０）から（１４）のいずれか１つに記載の画像処理方法であって、
上記第一部分の輝度と上記第二部分の輝度との合計輝度を、上記第一画像データにおける上記第一部分を除く部分の輝度又は上記第二画像データにおける上記第二部分を除く部分の輝度に近づける輝度調整処理を行う輝度調整処理ステップを備え、
上記輝度調整処理ステップは、上記重畳領域のサイズに基づいて、上記輝度調整処理を実行するか否かを決定する画像処理方法。

（１６）
（１５）記載の画像処理方法であって、
上記輝度調整処理ステップは、上記重畳領域のサイズが閾値以下の場合に上記輝度調整処理を実行する画像処理方法。

（１７）
（１０）から（１６）のいずれか１つに記載の画像処理方法であって、
上記第一画像処理は、ぼかし処理であり、
上記第二画像処理は、輪郭強調処理である画像処理方法。

（１８）
第一の投影部と第二の投影部の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における上記第一の投影部から画像を投影させるための第一画像データを取得し、上記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、
上記第一の投影部の上記投影範囲と上記第二の投影部の上記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、
上記第一画像データのうちの上記重畳領域に対応する第一部分に対して第一画像処理を行う第一画像処理ステップと、
上記第二画像データのうちの上記重畳領域に対応する第二部分に対して第二画像処理を行う第二画像処理ステップと、
上記第一画像処理後の上記第一画像データを上記第一の投影部用の画像データとして出力し、上記第二画像処理後の上記第二画像データを上記第二の投影部用の画像データとして出力する出力ステップと、をコンピュータに実行させるための画像処理プログラム。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１９年３月２９日出願の日本特許出願（特願２０１９－０６８６０１）に基づくものであり、その内容は本出願の中に参照として援用される。

本発明によれば、複数の画像の一部を重ね合わせて投影する場合に、重ね合わせ部部分のにじみを抑制して画質を向上させることができるため、大画面の画像表示に有効である。

１００ 投影システム
１ 第一投影装置
１０１ 投影部
１０２ 制御部
１０３ 投影光学系
１０４ 表示部
１０４ａ 光源
１０４ｂ 光変調部
２ 第二投影装置
４ 制御装置
４１ 画像取得部
４２ 重畳領域情報取得部
４３ 第一画像処理部
４４ 第二画像処理部
４５ 出力部
４６ 使用条件取得部
４７ 輝度調整処理部
１１、１１ａ 第一画像データ
１２、１２ａ 第一部分
１３ 非重畳領域
２１、２１ａ 第二画像データ
２２、２２ａ 第二部分
２３ 非重畳領域
５ 撮像部
６ スクリーン
１０ 第一の投影範囲
２０ 第二の投影範囲
３０ 重畳領域

Claims (14)

1. 第一の投影部と第二の投影部の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム用の画像処理装置であって、
   前記第一の投影部から画像を投影させるための第一画像データと、前記第二の投影部から画像を投影させるための第二画像データと、を取得する画像取得部と、
   前記第一の投影部の前記投影範囲と前記第二の投影部の前記投影範囲との重畳領域の情報を取得する重畳領域情報取得部と、
   前記第一画像データのうちの前記重畳領域に対応する第一部分の全体に対して空間周波数を低下させる第一画像処理を行う第一画像処理部と、
   前記第二画像データのうちの前記重畳領域に対応する第二部分の全体に対して空間周波数を高める第二画像処理を行う第二画像処理部と、
   前記第一画像処理後の前記第一画像データを前記第一の投影部用の画像データとして出力し、前記第二画像処理後の前記第二画像データを前記第二の投影部用の画像データとして出力する出力部と、を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記第一の投影部と前記第二の投影部の、前記第一画像データに基づく画像と前記第二画像データに基づく画像との前記重畳領域における位置ずれに関する使用条件の情報を取得する使用条件取得部を備え、
   前記第一画像処理部は、前記使用条件が第１使用条件である場合より前記使用条件が第２使用条件である場合の方が前記第一画像処理の度合いが強くなるように、前記第一画像処理の度合いを制御し、
   前記第二画像処理部は、前記使用条件が前記第１使用条件である場合より前記使用条件が前記第２使用条件である場合の方が前記第二画像処理の度合いが強くなるように、前記第二画像処理の度合いを制御し、
   前記第２使用条件は、前記第１使用条件より前記位置ずれが大きくなる前記使用条件である画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記使用条件は、前記第一の投影部と前記第二の投影部の温度である画像処理装置。
4. 請求項２又は３記載の画像処理装置であって、
   前記使用条件は、前記第一の投影部と前記第二の投影部の光学系の状態である画像処理装置。
5. 請求項１から４のいずれか１項記載の画像処理装置であって、
   前記第一部分の輝度と前記第二部分の輝度との合計輝度を、前記第一画像データにおける前記第一部分を除く部分の輝度又は前記第二画像データにおける前記第二部分を除く部分の輝度に近づける輝度調整処理を行う輝度調整処理部を備え、
   前記輝度調整処理部は、前記重畳領域のサイズが閾値以下の場合に前記輝度調整処理を実行する画像処理装置。
6. 請求項１から５のいずれか１項記載の画像処理装置であって、
   前記第一画像処理は、ぼかし処理であり、
   前記第二画像処理は、輪郭強調処理である画像処理装置。
7. 請求項１から６のいずれか１項記載の画像処理装置と、
   前記第一の投影部と、
   前記第二の投影部と、を備える投影システム。
8. 第一の投影部と第二の投影部の各々から投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における前記第一の投影部から画像を投影させるための第一画像データと前記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、
   前記第一の投影部の前記投影範囲と前記第二の投影部の前記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、
   前記第一画像データのうちの前記重畳領域に対応する第一部分の全体に対して空間周波数を低下させる第一画像処理を行う第一画像処理ステップと、
   前記第二画像データのうちの前記重畳領域に対応する第二部分の全体に対して空間周波数を高める第二画像処理を行う第二画像処理ステップと、
   前記第一画像処理後の前記第一画像データを前記第一の投影部用の画像データとして出力し、前記第二画像処理後の前記第二画像データを前記第二の投影部用の画像データとして出力する出力ステップと、を備える画像処理方法。
9. 請求項８記載の画像処理方法であって、
   前記第一の投影部と前記第二の投影部の、前記第一画像データに基づく画像と前記第二画像データに基づく画像との前記重畳領域における位置ずれに関する使用条件の情報を取得する使用条件取得ステップを備え、
   前記第一画像処理ステップは、前記使用条件が第１使用条件である場合より前記使用条件が第２使用条件である場合の方が前記第一画像処理の度合いが強くなるように、前記第一画像処理の度合いを制御し、
   前記第二画像処理ステップは、前記使用条件が前記第１使用条件である場合より前記使用条件が前記第２使用条件である場合の方が前記第二画像処理の度合いが強くなるように、前記第二画像処理の度合いを制御し、
   前記第２使用条件は、前記第１使用条件より前記位置ずれが大きくなる前記使用条件である画像処理方法。
10. 請求項９記載の画像処理方法であって、
    前記使用条件は、前記第一の投影部と前記第二の投影部の温度である画像処理方法。
11. 請求項９又は１０記載の画像処理方法であって、
    前記使用条件は、前記第一の投影部と前記第二の投影部の光学系の状態である画像処理方法。
12. 請求項８から１１のいずれか１項記載の画像処理方法であって、
    前記第一部分の輝度と前記第二部分の輝度との合計輝度を、前記第一画像データにおける前記第一部分を除く部分の輝度又は前記第二画像データにおける前記第二部分を除く部分の輝度に近づける輝度調整処理を行う輝度調整処理ステップを備え、
    前記輝度調整処理ステップは、前記重畳領域のサイズが閾値以下の場合に前記輝度調整処理を実行する画像処理方法。
13. 請求項８から１２のいずれか１項記載の画像処理方法であって、
    前記第一画像処理は、ぼかし処理であり、
    前記第二画像処理は、輪郭強調処理である画像処理方法。
14. 第一の投影部と第二の投影部の各々から、投影範囲の少なくとも一部を重ねた状態にて画像を投影する投影システム、における前記第一の投影部から画像を投影させるための第一画像データを取得し、前記第二の投影部から画像を投影させるための第二画像データを取得する画像取得ステップと、
    前記第一の投影部の前記投影範囲と前記第二の投影部の前記投影範囲との重畳領域の情報を取得する重畳領域情報取得ステップと、
    前記第一画像データのうちの前記重畳領域に対応する第一部分の全体に対して空間周波数を低下させる第一画像処理を行う第一画像処理ステップと、
    前記第二画像データのうちの前記重畳領域に対応する第二部分の全体に対して空間周波数を高める第二画像処理を行う第二画像処理ステップと、
    前記第一画像処理後の前記第一画像データを前記第一の投影部用の画像データとして出力し、前記第二画像処理後の前記第二画像データを前記第二の投影部用の画像データとして出力する出力ステップと、をコンピュータに実行させるための画像処理プログラム。

Images