JP6102215B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年のマルチメディア化に伴い大画面に投影できる画像投影装置としてのプロジェクタ装置がさまざまなシーンで活用されるようなってきている。例えば、会社の会議等で、各種資料などのさまざまな画像を大画面に投影できるプロジェクタ装置を、プレゼンテーションのために利用する場面が増加している。

プロジェクタ装置から画像を投影したホワイトボードに、手書きで追記する場合、プロジェクタ装置からの投影画像がホワイトボード全体に表示されて手書きするためのスペースがないことがある。このため、手書きで書き込むための領域を指定して、その領域の画像を表示しないか、またはその領域の画像を領域外に縮小表示して、手書きで書き込むための領域を確保する技術がある（例えば、特許文献１）。

しかしながら、従来の手書きのための書込み領域を確保するプロジェクタ装置では、上記のように、プロジェクタ装置から画像を投影する投影面に手書きで追記するために確保した領域によって、プロジェクタ装置からの投影画像の一部が表示されなかったり、または投影画像全体を縮小して表示するため視認性が低下したりするため、資料作成者がプレゼンテーションにより伝達したい情報が正確に伝わり難いという問題があった。

本発明は、上記に鑑みてなされたものであって、ユーザが画像投影により伝達したい情報を正確に伝えることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、入力される元画像データを画像投影面に投影表示する画像投影部と、前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定部と、前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更部と、前記障害領域と、前記オブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価部と、を備える。そして、前記レイアウト変更部は、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する。

本発明にかかる画像処理方法は、入力される元画像データを画像投影面に投影表示する画像投影ステップと、前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定ステップと、前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更ステップと、前記障害領域と、前記オブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価ステップと、を含み、前記レイアウト変更ステップは、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する、ことを特徴とする。

本発明にかかるプログラムは、入力される元画像データを画像投影面に投影表示する画像投影ステップと、前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定ステップと、前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価ステップと、前記障害領域と、前記オブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更ステップであって、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する前記レイアウト変更ステップと、をコンピュータに実行させる。

本発明によれば、ユーザが画像投影により伝達したい情報を正確に伝えることができるという効果を奏する。

図１は、一実施形態としてのプロジェクタ装置を含む画像投影システムを示す図である。 図２は、プロジェクタの内部構成を示すブロック図である。 図３は、画像処理部の構成を示すブロック図である。 図４は、領域特定部が障害を認識する仕組みについて説明するための図である。 図５は、領域特定部が障害を認識する仕組みについて説明するための図である。 図６は、領域特定部が障害を認識する仕組みについて説明するための図である。 図７は、領域特定部が障害を認識する仕組みについて説明するための図である。 図８は、この投影画像の加工について説明する図である。 図９は、この投影画像の加工について説明する図である。 図１０は、この投影画像の加工について説明する図である。 図１１は、この投影画像の加工について説明する図である。 図１２は、この投影画像の加工について説明する図である。 図１３は、この投影画像の加工について説明する図である。 図１４は、この投影画像の加工について説明する図である。 図１５は、プロジェクタにおける一連の制御を説明するフローチャートである。 図１６は、プレゼンテーション資料（元画像）の一例を示す図である。 図１７は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図１８は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図１９は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２０は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２１は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２２は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２３は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２４は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２５は、オブジェクトを少しずつ移動した場合の配置図の１つである。 図２６は、図１７〜図２５に示した各配置図における（Ａ）〜（Ｃ）の評価項目の評価点の例を表形式で示した図である。 図２７は、図１７〜図２５に示した各配置図における各オブジェクトの移動距離を表形式で示した図である。 図２８は、書込み領域が大きい場合の例を説明するための図である。 図２９は、書込み領域が大きい場合の例を説明するための図である。 図３０は、書込み領域が大きい場合の例を説明するための図である。 図３１は、書込み領域が大きい場合の例を説明するための図である。 図３２は、書込み領域が大きい場合の例を説明するための図である。 図３３は、文字色と背景色を考慮したレイアウト変更を行う例について説明するための図である。 図３４は、文字色と背景色を考慮したレイアウト変更を行う例について説明するための図である。 図３５は、文字色と背景色を考慮したレイアウト変更を行う例について説明するための図である。 図３６は、文字色と背景色を考慮したレイアウト変更を行う例について説明するための図である。 図３７は、色差を評価項目に加えた場合のレイアウト変更候補の導出フローを示した図である。 図３８は、色差の逆数を評価項目に加えた場合のレイアウト変更候補の導出フローを示した図である。 図３９は、ＣＵＤに対応した文字色の変更を説明するための図である。 図４０は、ＣＵＤに対応した文字色の変更を説明するための図である。 図４１は、ＣＵＤに対応した文字色の変更を説明するための図である。 図４２は、連続した複数枚数のプレゼンテーションにおける適用例を説明するための図である。 図４３は、連続した複数枚数のプレゼンテーションにおける適用例を説明するための図である。 図４４は、実施例８のプロジェクタにおける一連の制御を説明するフローチャートである。 図４５は、実施例９のプロジェクタと外部ＰＣ端末の構成を示すブロック図である。

以下に添付図面を参照して、画像投影装置、画像処理装置、画像処理方法およびプログラムの実施の形態を詳細に説明する。

（画像投影システム）
図１に、一実施形態としての画像投影装置としてのプロジェクタ装置を含む画像投影システムを示す。

図１に示す画像投影システムにおいて、プロジェクタ装置１０（以下、プロジェクタ１０と略記）には、外部ＰＣ端末２０やＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）３０から画像データが入力される。外部ＰＣ端末２０は、プロジェクタ１０へネットワークを介して画像データを転送可能な一般的なパーソナルコンピュータである。

ＭＦＰ３０は、画像読取装置としてスキャナを備えており、原稿を読み取った上で紙出力に最適な（原稿画像を忠実に転写紙上に再現するような）画像処理を行い、複写画像を出力することができる。また、読取画像に対してディスプレイ表示に最適な画像処理を加えた上でＪＰＥＧ等の画像フォーマットに変換し、ＮＩＣ（ネットワーク・インタフェース・コントローラ）を介して、プロジェクタ１０等の外部装置へ配信することが可能である。

プロジェクタ１０は、入力された画像データ（元画像データ）に対して、画像投影に所定の画像処理を施した上で画像投影面４０へ投影を行う。本実施形態のプロジェクタ１０は、画像投影面４０を撮像するための撮像機能を有しており、その撮像レンズ１１ａをプロジェクタ１０の本体前面にもっている。画像投影面４０としては、高品質な投影画像を所望するユーザーは、プロジェクタ投影専用のスクリーンを用いる。高画質を必要としない場合、オフィス等では白色あるいは淡いパステルカラーを有する会議室の壁面への投影で代替したり、ホワイトボードを画像投影面４０として用いることも多い。

（プロジェクタの内部構成）
続いて、図２に、プロジェクタ１０の内部構成を示す。

プロジェクタ１０は、図１に示した撮像レンズ１１ａを備える撮像部１１を内蔵しており、画像投影面４０に投影されている画像を撮像して取り込むことができる。そして、この撮像画像の画像データと、プロジェクタ１０が投影する元の画像のデータ（元画像データ）とを比較することにより、プロジェクタ１０の投影画像が画像投影面４０に元画像のとおりに投影されているかを認識することができ、元画像のとおりに投影されていない場合は、画像投影面４０上での元画像と異なる領域を認識することができる。

コントローラ１２は、プロジェクタ１０の各部の制御を行うとともに、操作入力部１３を通じてユーザーの指示を取得する。ユーザーは操作入力部１３を通じて、プロジェクタ１０の投影の実施／停止、照明光源の点灯／消灯、投影モードとして通常モード、省エネモード、ＣＵＤモードなどを指示することができる。省エネモードは、通常よりも照明光源の消費電力を抑えるため、光量を抑えて投影を行うモードである。ＣＵＤ（Ｃｏｌｏｒ Ｕｎｉｖｅｒｓａｌ Ｄｅｓｉｇｎ）モードは、フルカラー画像によるプレゼンテーションを行った際に、色弱者がプレゼンテーションを見た場合にでも、プレゼンテーションの内容が伝わるように画像処理部１４で色加工を加えた上で投影するモードである。また、コントローラ１２は、撮像部１１により取り込んだ投影画像のデータや外部機器から受けた画像データを、画像処理部１４へ送り、その処理結果を受けることができる。なお、画像処理部１４の詳細は後述する。

画像投影部１５は、光源装置と照明光を射出する照明光学系と、照明光学系をＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３つの色光に色分離する色分離光学系と、３色に分解された照明光が入射する３つの液晶パネルと、液晶を通過した各色の画像光を合成する合成光学系と、合成された画像光を画像投影面４０に投射する投射光学系とからなる。各々の光学系は複数のレンズアレイ、プリズム、ダイクロイックミラー等を備え、光学系に発生する収差を極力抑えている。

上記のように構成されるプロジェクタ１０において、外部機器より入力された画像データは、コントローラ１２を介して画像処理部１４へ入力される。画像処理部１４にて、画像投影用に補正された画像データが画像投影部１５へと送られ、画像投影部１５から画像投影面４０に向けて投影が行われる。

（画像処理部の構成）
図３に画像処理部１４の構成を示す。画像処理部１４は、画像処理装置として機能し、図３に示すように、画像処理コントローラ１４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｍｏｒｙ）１４３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４２と、領域特定部（障害検知部）１４４と、画像認識部１４５と、評価部１４７と、レイアウト変更部（画像加工部）１４６と、を備えている。

画像処理コントローラ１４１は、コントローラ１２と通信を行っている。画像処理コントローラ１４１は、撮像部１１から送られてきた画像投影面４０の画像を取得したり、外部入力された画像データを取得し、必要に応じてＲＡＭ１４２のメモリ空間に展開する。なお、画像処理コントローラ１４１が実行するプログラムおよび必要なパラメータ等はＲＯＭ１４３に格納されている。

領域特定部１４４は、プロジェクタ１０と画像投影面４０の間に存在する異物（障害物）により生じたその影の領域や、画像投影面４０としてのホワイトボードに記入された手書き文字等がある領域（書き込み領域）を「障害領域」として認識する。具体的には、撮像部１１により取り込んだ画像投影面４０の画像データと元画像データ（ここでは、画像投影用に画像処理された元画像データ）とを比較し、異なる部分を障害領域として認識する。障害領域が手書きの文字等であるときは、この手書きの文字等を含む所定範囲の領域を「障害領域」とするが、これに限るものではない。

画像認識部１４５は、外部ＰＣ等から入力された画像データについて、テキストやグラフィック等のオブジェクトの属性や位置や大きさを認識する。

評価部１４７は、画像投影面４０上の障害領域と、投影された元画像データに含まれるオブジェクトとに基づいて、元画像データにおけるオブジェクトの位置の障害領域との関係を示す評価値を求める。より具体的には、評価部１４７は、オブジェクトを元画像データ上で複数の異なる位置に移動した場合におけるオブジェクトの位置ごとの評価値を求める。評価部１４７の処理の詳細については後述する。

レイアウト変更部１４６は、領域特定部１４４や画像認識部１４５と通信して、必要に応じて入力画像の鮮鋭性やその色味の変更や、元画像のオブジェクトのレイアウト変更やその拡大／縮小などの画像加工を行う。レイアウト変更に関しては、レイアウト変更部１４６は、複数の評価値に基づいて、元画像データにおけるオブジェクトを移動することにより、レイアウトを変更する。本実施の形態では、複数の評価値に基づいてレイアウト変更を行っているが、評価値を用いずに、画像投影面上の障害領域と、投影された元画像データに含まれるオブジェクトとに基づいて、レイアウトを変更するようにレイアウト変更部１４６を構成してもよい。

（障害領域の認識）
次に、プロジェクタ１０より投射される画像と、撮像部１１で取得した画像投影面４０の画像データより、領域特定部１４４が障害領域を認識する仕組みについて、図４〜図７を用いて述べる。例えば、図４に示すように、プロジェクタ１０と画像投影面４０の間に三角状の障害物があったとする。

プロジェクタ１０から投射される画像が図５に示すような画像であった場合、図４に示した障害物５０のために光が画像投影面４０に届かずにその影が黒く映りこんでしまう。結果として、撮像部１１により得られる画像投影面４０の画像データは図６のようになる。障害物が何もない場合は、図５に示したものと同等の画像データが撮像部１１により得られる。領域特定部１４４は、プロジェクタ１０から投射される元の画像のデータ（元画像データ）と撮像部１１により得られる画像データとを比較し、所定量以上の差分が発生している画像領域（図６：符号５０ａ部分）については、障害が存在すると判断する。

なお、画像投影面４０としてホワイトボード等を用いた場合、投影された画像データをもとに議論を行い、その内容を画像投影面４０に直接記入することがある。その例を図７に示す。この場合、新たに記入された内容「ＸＸの必要性」は図５に示したものには存在しない。したがって、このような手書きの追加文字も本実施形態では「障害領域」として取り扱う。このように、「障害領域」とは、原画像と実際にスクリーンに投影された画像との間で差が生じた領域を言う。

（投影画像の加工）
続いて、従来例および本実施形態における具体的な投影画像の加工について述べる。図８〜図１４は、この投影画像の加工について説明する図である。

図８は、外部機器より入力された画像データに対応する画像を示している。初期状態では、この画像データがプロジェクタ１０より投影される。以下では、画像投影面４０として、ホワイトボードへ投影した場合を考える。ホワイトボードには、ボードマーカーを用いて書き込みを行うことができる。

一般に、会議で実施されたプレゼンテーション資料に関する議論を行う際に、ホワイトボードへ書き込みを行い、情報を会議出席者で共有したい場合がある。その場合は、プロジェクタ１０による投影を一時中断することがある。そのとき、光源の電源を一度ＯＦＦしてしまうと、光源の冷却及び再起動するのに時間がかかってしまう。また、簡便にプロジェクタ１０の光投射口をノート等で遮ることも行われるが、遮ったノート等が過熱し危険である。さらに、投影された資料について議論をしたいにもかかわらず、投影画像が消えたままでは議論もしにくい。

そこで、画像投影面４０のうち、一部領域のみプロジェクタ１０から光を投射せずに、その領域に書き込みを行うことが従来技術として提案されている。領域の指定は、タッチパネルを用いて領域指定をしても良いし、操作入力部１３から直接座標指定を行っても良いものである。この領域は、以降書込み領域と呼ぶことがある。

図８のようなプレゼンテーション資料を投影する場合に、従来技術（例えば、特許文献１）では、図９の点線で囲まれた領域についてプロジェクタ１０から光を投射するのを中止することが行われる。図１０で示す文字列および矢印が、ボードマーカーでホワイトボードに追記した部分である（図１１〜図１４も同様）。図１０の状態で、再びプレゼンテーションに戻り、一部領域の光投射の中止をやめ、全面に光投射するようにした状態を示した図が図１１である。図１１では、左上の領域において図８で示した初期状態の投射画像（投影するために外部ＰＣ端末２０等から入力された画像データによる画像であり、元画像と呼ぶ）と書込み画像が重なっており、非常に情報を読み取りにくい。そこで、従来技術のように元々提示していたプレゼンテーション内の情報を消失させることなく、投影面に書き込まれた情報の双方を表示させながら議論を進めることができることが望まれる。

（実施例１）
そこで、本実施形態では、図１２のように元画像に含まれるオブジェクトが、書込み領域と重ならないように移動させる。あるいは、図１３のように元画像を縮小し、書込み領域と重ならない程度まで縮小した上で投影する。これらの画像加工を、レイアウト変更部１４６にて実施する。

一方、図１４に示す“△△”のような書込みがあった場合は、重なり領域が少なく、さほど情報を読み取りにくくない。このような場合は、特にプレゼンテーション用画像（元画像）のレイアウトを変える必要がない。すなわち、レイアウト変更部１４６は、元画像データにおける障害領域とオブジェクトとの重なり量を求め、重なり量が所定の閾値以上である場合に、オブジェクトのレイアウトを変更し、重なり量が所定の閾値未満の場合には、オブジェクトのレイアウトを変更しない。

一般に、プレゼンテーションは、その作成者が最適と考えるレイアウトになっているので、必要がなければプロジェクタ１０側で加工してはならない。オブジェクトのレイアウトを変更する場合には、プレゼンテーション作成者の意図から大きく離れることを避けるため、なるべくオブジェクトの移動距離が小さくなるようにする。図１３のように元画像を縮小して表示すれば、オブジェクト間の相対的な位置関係を保つことができるが全体的に縮小されるため視認性が低くなる。文字を含む場合文字フォントサイズの低下は、画像投影面４０からの距離が大きいところで閲覧している会議参加者が文字認識できなくなる恐れが高い。そこで、レイアウト変更候補をプロジェクタ１０で投影し、ユーザーが操作入力部１３を通じて選択したレイアウト変更候補の画像データを最終的に投影する。

以上の説明をフローに表すと図１５のようになる。なお、図１５に、プロジェクタ１０における一連の制御を説明するフローチャートを示す。

ここで、図１５に示す処理は、プロジェクタ１０の起動時において、ユーザが所定のハードウェアキーを押下したタイミングや、画面メニューを投影表示して、レイアウト変更処理の実行を示すメニュー項目をユーザが選択したタイミングで実行される。ただし、これは一例であり、任意のタイミングで実行することが可能である。

図１５では、まず、領域特定部１４４による障害領域の認識結果から、画像処理コントローラ１４１が、障害領域があるか否かを判断し（ステップＳ１０１）、障害領域がないと判定された場合は（ステップＳ１０１でＮｏ）、レイアウト変更部１４６による画像の加工（ここではレイアウト変更）を行わないとする（ステップＳ１０６）。その結果、コントローラ１２の制御により、レイアウト変更がなされていない元画像データがそのまま投影されることとなる（ステップＳ１０７）。

一方、障害領域があると判定された場合（ステップＳ１０１でＹｅｓ）、画像処理コントローラ１４１は、障害領域と元画像のオブジェクトの重なり面積を算出し、この面積が所定の閾値以上か判断する（ステップＳ１０２）。

上記重なり面積が所定の閾値以上でない場合（ステップＳ１０２でＮｏ）、レイアウト変更部１４６による画像の加工（ここではレイアウト変更）を行わないとする（ステップＳ１０６）。その結果、コントローラ１２の制御により、レイアウト変更がなされていない元画像データがそのまま投影されることとなる（ステップＳ１０７）。

一方、上記重なり面積が所定の閾値以上である場合（ステップＳ１０２でＹｅｓ）、画像処理コントローラ１４１はレイアウト変更部１４６による画像の加工を実施するとして、レイアウト変更部１４６が画像認識部１４５からの情報をもとに後述のようにしてレイアウト変更候補を決定する（ステップＳ１０３）。

次いで、操作入力部１３を用いたユーザー選択により（ステップＳ１０４）、画像加工しないとされた場合は、画像処理コントローラ１４１は、レイアウト変更部１４６による画像の加工（ここではレイアウト変更）を行わないとする（ステップＳ１０６）。一方、レイアウト変更候補のいずれかが選択された場合は、選択されたレイアウト変更候補の画像、すなわちレイアウト変更した画像データが投影されるものとする。その結果、コントローラ１２の制御により、レイアウト変更した画像データが投影される（ステップＳ１０５）。

一方、上記で、レイアウト変更部１４６による画像の加工（ここではレイアウト変更）を行わないとされた場合（ステップＳ１０６）、コントローラ１２の制御により、レイアウト変更がなされていない元画像データがそのまま投影されることとなる（ステップＳ１０７）。

以下、レイアウト変更部１４６が行うオブジェクトのレイアウト変更の詳細について説明する。

レイアウト変更候補については、元画像における背景領域を検出し、面積の大きな背景領域から最も近いオブジェクトをそこへ移動する。ここで、背景領域は、元画像において、何もオブジェクトは存在しない領域である。この作業を繰り返すことにより、オブジェクトが背景領域を埋めていく。評価項目として、（Ａ）元画像のオブジェクト同士の重なり量（具体的には、重なり領域の面積（画素数））、（Ｂ）障害領域とオブジェクトの重なり量（具体的には、重なり領域の面積（画素数））、（Ｃ）オブジェクトの移動距離（具体的には、移動した距離の画素数）を評価する。これらの評価項目の評価値は全て小さいほど、最適なレイアウト変更であると言える。

より具体的には、評価部１４７は、オブジェクト同士の重なり量（Ａ）の評価点と、障害領域とオブジェクトの重なり量（Ｂ）の評価点と、レイアウト変更した場合のオブジェクトの移動距離（Ｃ）の評価点とを加算した合計の評価点（総合的な評価点）を求める。

オブジェクトの移動については以下のように行う。レイアウト変更部１４６は、元画像データのオブジェクトに対し、現在のオブジェクトの位置から、上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、左上方向のうち任意の方向を選択する。そして、レイアウト変更部１４６は、オブジェクトを、元画像データ上で、選択した方向へ所定の画素数分移動する。そして、評価部１４７は、移動後の位置のオブジェクトのレイアウトで、上記（Ａ）、（Ｂ）、（Ｃ）の各評価点を求め、これらの合計である総合的な評価点を算出する。そして、レイアウト変更部１４６による上記オブジェクトの所定画素数分の移動と、評価部１４７による総合的な評価点の算出を、繰り返し実行する。次に、レイアウト変更部１４６は、他の方向を選択して、選択した方向で、レイアウト変更部１４６による上記オブジェクトの所定画素数分の移動と、評価部１４７による総合的な評価点の算出を、繰り返し実行し、上記全ての方向でこのような処理を実行する。

そして、レイアウト変更部１４６は、評価点が所定の範囲内となる、元画像データ上の位置にオブジェクトを移動した画像をレイアウト変更候補として決定する。例えば、レイアウト変更候補の中で、３つの評価項目の合計量が小さい方から、例えば３つの配置図を、レイアウト変更候補に加える。また、図１３の例のように、書込み領域以外に全てのオブジェクトの相対位置関係を保ったまま縮小変倍したものもレイアウト変更候補に加える。なお、評価点が所定の範囲内として所定値以下となる元画像データ上の位置にオブジェクトを移動した画像をレイアウト変更候補として決定するようにレイアウト変更部１４６を構成してもよい。

そして、画像投影部１５は、レイアウト変更部１４６により決定された複数のレイアウト変更候補を画像投影面４０に投影表示する。そして、操作入力部１３は、画像投影面４０に投影表示された複数のレイアウト変更候補の中から、ユーザによる所望のレイアウト変更候補の選択を受付ける。

なお、選択がわずらわしい場合は、（Ａ）〜（Ｃ）及び全体縮小表示のいずれを最優先とするかをユーザーが設定しておき、それを表示することとしても良い。

また、ユーザによる選択を行わずに、例えば評価点が最小のレイアウト変更候補に、レイアウト変更するようにレイアウト変更部１４６を構成してもよい。

そして、レイアウト変更部１４６は、選択されたレイアウト変更候補が示す位置にオブジェクトを移動することにより、オブジェクトのレイアウトを変更する。

このようなレイアウト変更は、外部ＰＣ端末２０上でプレゼンテーション作成用のアプリケーションを起動し、各々のオブジェクトを適宜手動で全て配置し直すことでも実現可能であるが、それでは非常に手間がかかり、会議を中断する時間も長くなる。本実施形態のプロジェクタ１０を用いれば、そのような中断も少なく議論をスムーズに行える。また、議論に必要なプレゼンテーション資料も参照しながら議論できるため、議論もすすめやすい。さらには表示されるプレゼンテーション資料についても、視認性を保ったまま、プレゼンテーション作成資料の状態を大きく損なうこと無く表示することができる。

ここで、レイアウト変更の具体例を述べる。書込みを終えた状態の図１１において、障害領域は図中左上側の文字列を含む領域である。元画像のオブジェクトは、図１６において、記号ａで示す「○○○…」と書かれた文字列（オブジェクトａ）、記号ｂで示す星印（オブジェクトｂ）、記号ｃで示す「×××…」と書かれた文字列（オブジェクトｃ）、記号ｄで示す円グラフ（オブジェクトｄ）である。

図１７〜図２５に、図１１の書き込みがなされ全面投射された投影画面に対し、オブジェクトを少しずつ移動した場合の配置図を示す。以下では、図１７〜図２５に示す配置図をそれぞれ、配置図（１）、配置図（２）、…、配置図（９）と呼ぶ。オブジェクトが背景領域に含まれるように少しずつ移動した上で、上記評価項目について評価することを繰り返す。図２６に、図１７〜図２５に示した各配置図における前述の（Ａ）〜（Ｃ）の評価項目の評価点の例を表形式で示している。（Ａ）（Ｂ）については、前述のように重なり領域の面積（画素数）を表し、（Ｃ）については各オブジェクトの移動距離（画素数）の合計を表わすものである。ただし、面積は移動距離の二乗で利いてくるので、（Ｃ）については、各オブジェクトの移動距離の二乗和を各オブジェクトの移動距離として設定している。

また、各オブジェクトの移動距離を表形式で図２７に示している。例えば、図２２（配置図（６））の場合、同図に示すように、オブジェクトａが２００移動し、オブジェクトｃが１００移動している。その結果、２００×２００＋１００×１００＝５００００が図２２における（Ｃ）についての評価点となっている。

図２５の配置図（９）は、図２６に示した表の中で最も評価点が低いため、最有力のレイアウト移動候補となる。評価点の低い方から３つの配置図を候補とする場合は、配置図（４）、（６）、（９）が候補となり、これらの配置図の中からユーザーが最終的な選択をすることになる。

なお、図２４の配置図（８）のように、オブジェクトや障害領域が重ならない場合でも、移動量が大きく、元の配置からかけ離れたものについては、評価点が高くなるため候補となりにくい。

また、ここでは、（Ａ）〜（Ｃ）の評価点を単純に合計したものを総合的な評価点としたが、（Ａ）〜（Ｃ）に対して重み付けを変更した上で総合的な評価を行っても良い。すなわち、オブジェクト同士の重なり量（Ａ）の評価点と、障害領域とオブジェクトの重なり量（Ｂ）の評価点と、レイアウト変更した場合のオブジェクトの移動距離（Ｃ）の評価点とを重み付け加算した値を評価点として求めるように評価部１４７を構成してもよい。例えば、移動距離を小さくしたものを候補にしたい場合は、例えば、下式のような重み付けを付加した計算式で総合的な評価点を求めるとよい。

総合的な評価点＝（Ａ）の評価点＋（Ｂ）の評価点＋２×（Ｃ）の評価点

なお、上式で重み付け係数として“２”を用いているが、任意に変えることができる。また、これらの評価には一定の時間がかかるが、あらかじめプレゼンテーション資料をプロジェクタ１０に読み込ませておき、評価点の計算を事前に行っておくようにしてもよい。

また、オブジェクト同士の重なり量（Ａ）の評価点と、障害領域とオブジェクトの重なり量（Ｂ）の評価点、レイアウト変更した場合のオブジェクトの移動距離（Ｃ）の評価点の少なくとも１つに基づいて評価点を求めるように評価部１４７を構成してもよい。

ところで、図１３のような均一縮小型の候補の場合は、ここに記したような評価点を用いることなく、障害領域に重ならなくなるまで、全体を一様に縮小して表示するものである。多少の縮小により視認性が劣化したとしても、オブジェクト間の相対的位置関係が崩れることを望まないユーザーは、図１３のようなパターンを候補として選択する可能性があるため、均一縮小型の候補も選択肢の一つとして選択候補とする。

以上のように、本実施例では、視認性に関連する上記評価点に応じて、レイアウト変更を行うが、それにより、プロジェクタ１０を用いたプレゼンテーションに際して、なるべく使用者の意図どおりに投影することが可能となり、資料作成者がプレゼンテーションにより伝達したい情報を従来よりも正確に伝えることができるようになる。

（実施例２）
ここでは、書込み領域が大きい場合の例を説明する。投影画像の加工に関しては、前述の図１５のフローと同様である。

会議などにおける議論によりホワイトボード上で整理すべき項目が増えた場合は、図２８の点線で囲った領域のように大きな領域を書き込み領域とし（この領域では投影が消去されているとする）、図２９に示す文字列および矢印のような書込みが行われたとする。この状態で書き込み領域を削除して全面表示すると図３０のようになり、投影される画像と書き込み文字が重なり、非常に視認性が悪い。そこで、本実施の形態では、レイアウト変更部１４６は、図３１のように一部オブジェクトを縮小した上でレイアウト変更を行う。

全体縮小画像をレイアウト変更候補とした場合は、図３２のように、投影画像全体が非常に小さく表示されてしまうので、使用される可能性は低いが、元画像が非常に大きな一つのオブジェクトである場合に利用されることがあり、選択肢の一つとしてユーザーの選択候補とする。

レイアウト変更候補については、実施例１と同じく（Ａ）元画像のオブジェクト同士の重なり量、（Ｂ）障害領域とオブジェクトの重なり量、（Ｃ）オブジェクトの移動距離を評価項目とするが、書込み領域が大きい場合（例えば、投影面の５０％以上の時）は元画像のオブジェクトの一部を縮小した上で移動することも考慮する。この場合、縮小するのは書込み領域に含まれていたオブジェクトのみとする。書き込み領域外のオブジェクトについては、そのオブジェクトの存在を前提とした書込みがなされている可能性が高いためである。例えば、図３２のように書込み領域外のオブジェクトを縮小してしまうと、書込み内容との相対的な位置関係の整合がとれなくなり、情報が見にくくなってしまうことがあるが、本実施例では、書き込み領域内のオブジェクトのみを縮小することで、書込み内容との相対的な位置関係の整合がとれなくなるのを防ぐことができる。

書込み領域内にあったオブジェクトについては、レイアウト変更部１４６は、書き込み領域以外の背景領域の面積とオブジェクトの面積を比較し、計算上オブジェクトが収まる程度にまで縮小した上で移動を行うこととする。

なお、ユーザーは操作入力部１３からレイアウト変更候補を選択できるが、選択がわずらわしい場合は、（Ａ）〜（Ｂ）の評価項目に基づく候補及び全体縮小表示のいずれを最優先とするかを予めユーザーが設定しておき、この設定に基づき表示することとしても良い。

（実施例３）
次に、文字色と背景色を考慮したレイアウト変更を行う例について説明する。投影画像の加工については、前述の図１５のフローと同様である。本実施例は、後述するように、上述の実施例とは、レイアウト変更候補の選択方法に相違がある。

図３３のようなプレゼンテーション資料（画像）に対して、図３４に点線で示したような書込み領域を作成する場合を考える。なお、図３３の背景は、白色の左端から茶色の右端までグラデーションがかかっているものとする（図３４〜３６も同様）。また、文字オブジェクトの“・省スペース”、“・省エネ”、“・独自デザイン”は赤色であるとする。この場合、実施例１のようなレイアウト変更を行うと、図３４のようなレイアウトになる。しかしながら、図３４では右側の背景色（茶系）と移動した文字オブジェクトの文字色（赤色）が似た色になってしまい、非常に視認性が低下することとなる。

図３３において、プレゼンテーション作成者は重要な文字オブジェクトの文字色を赤色に変更して強調しているが、図３４では逆に目立たなくなってしまうという問題がある。背景色と文字色が近い場合、図３５のように文字オブジェクトを補色（ここではシアン）で表示するような技術は一般に知られているが、これではプレゼンテーション作成者の意図を逸脱してしまうことがある。例えば、プレゼンテーションにおいて文字の色自体に意味がある場合である。プレゼンテーションを通じて、赤字は業務Ａに関わるもの、青字は業務Ｂに関わるもの、のような定義付けがされている場合に、文字色が変わってしまうことは望ましくない。基本的に、文字の色相は保ったまま、背景色と文字色の明度差をつけてコントラストをつけるのが望ましい。

このため、本実施の形態のレイアウト変更部１４６は、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、この文字オブジェクトの色と背景色とのコントラストが大きくなるように、文字オブジェクトの色を変更する。そして、レイアウト変更部１４６は、明度の変化を優先して文字オブジェクトの色の変更を行う。

そのような文字色変更をしたものが図３６である。なお、ここで、背景色と文字色が近いとは、背景色と文字色の色差ΔＥが例えばΔＥ＝８以内である場合を想定するが、この色差の値はΔＥ＝８に限るものではない。

レイアウト変更候補については、実施例１では（Ａ）元画像のオブジェクト同士の重なり量、（Ｂ）障害領域とオブジェクトの重なり量、（Ｃ）オブジェクトの移動距離を評価項目としていたが、本実施の形態では、評価部１４７は、さらに、オブジェクトの色情報および元画像データにおける背景の色情報に基づいて評価点を求める。より具体的には、評価部１４７は、「背景色と移動した文字オブジェクトの文字色間の色差」も評価項目に加えて評価点を求める。背景については、図３３のようにグラデーションがついているものもあるため、文字オブジェクトを含む領域内の平均値を背景色として計算する。

上記色差を評価項目に加えた場合のレイアウト変更候補の導出フローを図３７に示す。

ステップＳ２０１のレイアウトの一次決定では、実施例１に示した方法で、色差を加味せずにレイアウト変更候補を決定する。次に、ステップＳ２０２で、レイアウト変更部１４６は、一次決定されたレイアウト変更候補について、移動した文字オブジェクトと背景色の間の色差がΔＥ＝８以内であるか否か判断する。ΔＥ＝８を超える場合は（ステップＳ２０２でＮｏ）、レイアウト変更部１４６は、このΔＥ＝８を超えたものをレイアウト変更候補とする（ステップＳ２０４）。ΔＥ≦８の場合は（ステップＳ２０２でＹｅｓ）、レイアウト変更部１４６は、文字色を変更した上で（ステップＳ２０３）ステップＳ２０２に戻り、色差が十分大きくなれば（すなわち、ΔＥ＝８を超えれば）、それをレイアウト変更候補とする（ステップＳ２０４）。文字色の変更については、前述の通り、明度方向への変化を優先的に行う。ただし、選択肢の一つとして、補色として変化させたものもユーザーが選択可能にする。

レイアウト変更候補の導出フローとしては、図３８に示すフローを採用することもできる。上記色差の逆数を評価項目とすることにより、（Ａ）〜（Ｃ）の評価項目及び、色差の逆数は、いずれも小さいほど望ましいものとなる。したがって、これらの合計が小さくなるものをレイアウトの一次決定（ステップＳ３０１）の指標としたのが図３８のフローである。図３８において、ステップＳ３０３で文字色を変更した場合は、ステップＳ３０１に戻り再び上記評価項目（評価点）を再計算し、レイアウト変更部１４６は、レイアウトの一次決定をする。ステップＳ３０２〜Ｓ３０４の処理は、図３７を用いて上述したステップＳ２０２〜Ｓ２０４と同様であり、図３７に示し上述したフローと同様にレイアウト変更の候補を決定することができる。

なお、ここでは文字の色を変更（明度方向への変化を優先）して文字の視認性を高めたが、同時に背景色を変更しても良い。場合によっては、図３３右側に含まれる円グラフが白い枠で抜き出されているように、文字オブジェクトを含む領域についても白い枠で抜き出すような加工を加えても良い。

本実施例では、上記のように、文字色と背景色を考慮したレイアウト変更を行うことで、移動させた文字オブジェクトの視認性の劣化を防ぐことができる。

（実施例４）
本実施例は、プロジェクタ１０にてＣＵＤモードが指定されている場合に、カラーユニバーサルデザインを考慮して文字色を変更するようにした例である。近年、カラー画像を表示もしくは印刷するといったカラー画像出力技術が発達したことにより、個人や企業が作成する文書には、様々な色付き文字やカラー画像が使用されるようになっている。このような文書では、注意を促す表記やグラフのグループ分けに色付き文字等を用いるといった、色そのものに重要な情報を持たせている場合が多い。そのため、これらの文書の内容を正しく理解するためには、文字や画像を認識する能力に加え、文書に用いられている色の違いを判別する能力も求められる。

このような様々な色を用いた文書は、通常の色覚を持った人々に対しては情報を理解させやすいが、色覚に障害を持った人々にとっては必ずしもそうではない。例えば、赤と緑の判別が難しい色覚障害を持つ人々が存在するが、そのような色覚障害を持った人々にとっては、赤と緑の区別がしにくく、場合によっては全く区別がつかない。

図３９のようなプレゼンテーションがあったとする。ここで、図３９の背景は、白色の左端から緑色の右端までグラデーションがかかっているものとする（図４０，４１も同様）。また、文字オブジェクトの“・省スペース”、“・省エネ”、“・独自デザイン”は赤色であるとする。この例の場合、図３９の左側は殆ど白色であり、そこに赤字で書かれてあった場合は、赤と緑の判別が難しい色覚障害を持つ人々でも十分文字を認識できる。

ここで、図４０の点線のように書き込み領域を作成し、図４０のようにレイアウト変更（図３９左下側の文字列を右下側に移動）した場合、背景色と文字オブジェクトの色差は十分大きいため通常の色覚を持つ人々であれば、視認性に問題はない。しかしながら、赤と緑の判別が難しい色覚障害を持つ人々にとっては、視認性が大きく劣ることになる。

そこで、プロジェクタ１０にてＣＵＤモードが指定されている場合は、レイアウト変更部１４６は、図３７のフローにおいて色差評価は行わず、文字が色覚障害を持った人々も十分視認できることを最優先として色の変更を行う。従来より、このような色覚障害を持ったユーザーが各種文書等に用いられている色を判別しやすくする技術が提案されている（例えば、特開２０１０−２６８１３８号公報等）。このような技術を用いて色の変更を行う。結果として、赤色の文字列を色覚障害を持ったユーザーでも識別可能名ＣＵＤ対応色に変更した図４１のような投影画像を得る。

本実施例では、色覚障害を持つ人に対しても、レイアウト変更の際の文字オブジェクトの視認性の劣化を防ぐことができる。

（実施例５）
図４２および図４３に、連続した複数枚数（図では（Ａ）〜（Ｄ）の４枚）のプレゼンテーションにおける適用例を示す。

一般的に、プレゼンテーションは、任意の複数枚の表示資料からなることが多い。さらには、特定のページの時点で議論したことを、以降のプレゼンテーションを行う際にも、参照しておくと議論しやすいこともある。例えば、実施するプレゼンテーションの目的や、日程案について、プレゼンテーションの序盤で議論し、それをホワイトボードで整理した場合、後のプレゼンテーション時点でも、参照することが考えられる。そのような場合は、プレゼンテーション全体を通じて書き込み領域内に書き込んだ内容を表示し続ける必要がある。

図４２に、元のプレゼンテーション画像（元画像）、図４３に書き込み領域（障害領域）を表示し続けた場合の画像加工後のプレゼンテーション画像を示す。この例は、２枚目のプレゼンテーション資料（Ｂ）の時点で、目的、日程等について議論し、以降、３枚目（Ｃ）、４枚目（Ｄ）のプレゼンテーション画像を参照しながら適宜議論を行う場合の例である。このようなレイアウト変更を行うことにより、プレゼンテーションの流れを阻害すること無く、議論を進めやすくすることができる。なお、元画像のレイアウト変更は、前述の諸実施例の場合と同様である。

このようなレイアウト変更は、ＰＣ上でプレゼンテーション作成用のアプリケーションを起動し、各々のオブジェクトを適宜手動で全て配置し直すことでも実現可能であるが、実施例１でも述べたとおり、非常に手間がかかり、会議を中断する時間も長くなる。特に枚数の多いプレゼンテーションでは顕著である。本実施形態のプロジェクタ１０を用いれば、そのような中断も少なく議論をスムーズに行える。また、議論に必要なプレゼンテーション資料も参照しながら議論できるため、議論もすすめやすい。さらには表示されるプレゼンテーション資料についても、視認性を保ったまま、プレゼンテーション作成資料の状態を大きく損なうこと無く表示することができる。また、必要な手書き追加情報等も常に表示したまま議論をすることができる。

なお、プレゼンテーションの１枚１枚に対して、ユーザーがレイアウトを変更するための設定をするのが煩わしい、あるいは会議の進行を妨げる場合は、最初に指定した判断基準をプレゼンテーション中はそのまま適用する設定とする。

また、図４３の例では、２枚目のプレゼンテーション資料（Ｂ）の時点で特定された書き込み領域を、３枚目のプレゼンテーション資料（Ｃ）、４枚目のプレゼンテーション資料（Ｄ）でもそのまま用いた場合を示しているがこれに限定されるものではない。例えば、３枚目のプレゼンテーション資料（Ｃ）の表示時点、４枚目のプレゼンテーション資料（Ｄ）の表示時点のそれぞれで、撮像部１１により得られる画像投影面４０の画像データと元画像データとを比較して書き込み領域（障害領域）を特定し、その結果、２枚目のプレゼンテーション資料（Ｂ）、３枚目のプレゼンテーション資料（Ｃ）、４枚目のプレゼンテーション資料（Ｄ）のそれぞれで書き込み領域と異なるようになってもよい。

（実施例６）
本実施例は、前述の実施例３において、プロジェクタ１０に省エネモードが搭載されている場合の例である。

省エネモードでは照明光源に流す電流を抑えるため、光量が通常モードよりも少なくなる。結果として投影画面は全体的に暗くなり、ダイナミックレンジが乏しくなる。このような場合は、投影画像に明度差をつけにくい。したがって、色の変更において省エネモードで明度方向への差が十分つけられない場合は、色度方向への変化を許容する。あるいは、一律に補色で表示するという措置をとる。これにより、省エネモードにおいても、文字オブジェクトの視認性の劣化を防ぐことができる。

（実施例７）
上述した諸実施例は、ホワイトボードに書かれた手書き文字・図表を例として記述してきたが、図４に示したような物理的な障害物に対しても同様に適用できるのはいうまでもない。取り除くことができない備え付けの障害物がある場所でプレゼンテーションを行わなければならない場合は、前述の実施例５において、プレゼンテーションの初めから終わりまで、「書込み領域」が存在するものと同等であり、オブジェクトが必要に応じて移動される。

以上説明したように、本実施形態のプロジェクタ１０では、元画像のオブジェクト同士の重なり量、障害領域と画像データのオブジェクトの重なり量、オブジェクトの移動距離等から最適なレイアウト変更候補を導き出している。そして、必要に応じてレイアウト変更を行うか否か、どのレイアウト変更候補を用いるかがユーザーにより選択的に判断され、レイアウト変更を行う際、オブジェクト間の相対的な位置関係が変更される。このような機能を有するプロジェクタ１０により、議論を深めるために追記した手書き文字、及び資料作成者の作成したプレゼンテーション資料の内容をあまり変化させることなく、同時に高い視認性のまま表示することができる。また、プロジェクタ１０を用いたプレゼンテーションに際して、資料作成者がプレゼンテーションにより伝達したい情報を、その聴講者に対して正確に伝えることができる。

また、プレゼンテーションを完全に停止して、プレゼンテーション作成アプリケーションを起動した上で、再度レイアウト変更を行うような煩わしい作業も発生しないため、プレゼンテーションの流れを大きく阻害すること無く、議論を進めやすくすることができる。

（実施例８）
上記実施例１〜７では、プロジェクタ１０は、撮像部１１により取り込んだ画像投影面４０の画像データと元画像データとを比較し、異なる部分を障害領域として特定していたが、この実施例８では、ユーザが障害領域を指定するものである。

本実施例のプロジェクタ１０の内部構成、画像処理部１４の構成は、それぞれ図２、３を用いて説明した実施例１と同様である。

図４４は、実施例８のプロジェクタ１０における一連の制御を説明するフローチャートである。ユーザが操作入力部１３によりは、画像投影面４０の中から障害領域とする領域の範囲を指定する。指定は、領域の範囲を指示したり、領域の範囲の座標を入力させたり、任意に行うことができる。操作入力部１３は、ユーザからの障害領域の入力を受け付ける（ステップＳ４４０１）。そして、領域特定部１４４は、入力された領域の範囲を障害領域として特定する。これ以降の処理は、図１５を用いて説明した実施例１の処理（ステップＳ１０２〜Ｓ１０７）と同様に行われる。

このように本実施例では、ユーザが障害領域を特定するので、画像投影に際して、ユーザが画像投影により伝達したい情報を正確にかつ柔軟性をもって伝えることができる。

（実施例９）
実施例１〜８は、障害領域の特定や、評価点の算出、オブジェクトのレイアウト変更等を行う画像処理部１４をプロジェクタ１０内部に設けていたが、この実施例９では、プロジェクタにネットワークで接続された外部ＰＣ端末に画像処理部を備えている。

図４５は、実施例９のプロジェクタ４５１０と外部ＰＣ端末４５２０の構成を示すブロック図である。本実施例では、プロジェクタ４５１０は、撮像部１１と、コントローラ１２と、画像投影部１５と、操作入力部１３とを主に備えており、画像処理部は備えていない。ここで、撮像部１１、画像投影部１５、操作入力部１３の機能は、実施の形態１と同様である。

コントローラ１２は、実施例１と同様の機能を有するが、さらに、障害領域の特定、評価点の算出、レイアウト変更のために、撮像部１１で撮像した画像を外部ＰＣ端末４５２０に送信したり、外部ＰＣ端末４５２０でレイアウト変更が行われた画像データを外部ＰＣ端末４５２０から受信して画像投影部１５に送出したりする。

外部ＰＣ端末４５２０は、プロジェクタ４５１０とネットワークで接続されており、画像処理部４５２１と通信部４５２２とを主に備えている。

通信部４５２２は、プロジェクタ４５１０のコントローラ１２との間で画像データの送受信を行う。

画像処理部４５２１は、プロジェクタ４５１０から受信した元画像データと撮像画像から障害領域を特定したり、オブジェクトを移動しながら評価点を算出したり、オブジェクトのレイアウト変更等を行う。この画像処理部４５２１の機能、構成は、実施例１と同様であり、障害領域の特定、評価点の算出、レイアウト変更の処理は実施例１と同様に行われる。

このように本実施例では、プロジェクタ４５１０にネットワークで接続された外部ＰＣ端末に画像処理部４５２１を備えているので、プロジェクタ４５１０の処理負荷を軽減することができる。

以上、本発明のいくつかの実施例を説明したが、これらの実施例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施例やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０，４５１０ プロジェクタ（プロジェクタ装置）
１１ 撮像部
１２ コントローラ
１３ 操作入力部
１４，４５２１ 画像処理部
１５ 画像投影部
２０，４５２０ 外部ＰＣ端末
３０ ＭＦＰ
４０ 画像投影面
５０ 障害物
１４１ 画像処理コントローラ
１４２ ＲＡＭ
１４３ ＲＯＭ
１４４ 領域特定部
１４５ 画像認識部
１４６ レイアウト変更部
４５２２ 通信部

特開２０１０−１４６０８６号公報

Claims (16)

1. 入力される元画像データを画像投影面に投影表示する画像投影部と、
   前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定部と、
   前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更部と、
   前記障害領域と、前記オブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価部と、を備え、
   前記レイアウト変更部は、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する、
   ことを特徴とする画像処理装置。
2. 前記評価部は、前記オブジェクトを前記元画像データ上で複数の異なる位置に移動した場合における前記オブジェクトの位置ごとの評価値を求め、
   前記レイアウト変更部は、複数の評価値に基づいて前記オブジェクトを移動することにより、前記レイアウトを変更すること、
   を特徴とする請求項１に記載の画像処理装置。
3. ユーザからの入力を受け付ける操作入力部、を備え、
   前記レイアウト変更部は、さらに、前記評価値が所定の範囲内の前記位置に前記オブジェクトを移動した画像をレイアウト変更候補として決定し、
   前記画像投影部は、決定された複数のレイアウト変更候補を前記画像投影面に投影表示し、
   前記操作入力部は、前記画像投影面に投影表示された前記複数のレイアウト変更候補の中から、ユーザによる所望のレイアウト変更候補の選択を受付け、
   前記レイアウト変更部は、選択されたレイアウト変更候補が示す前記位置に前記オブジェクトを移動することにより、前記レイアウトを変更すること、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記レイアウト変更部は、前記元画像データにおける前記障害領域と前記オブジェクトとの重なり量を求め、前記重なり量が所定の閾値以上である場合に、前記レイアウトを変更すること、
   を特徴とする請求項１に記載の画像処理装置。
5. 前記評価部は、前記障害領域と前記オブジェクトの重なり量、前記オブジェクト同士の重なり量およびレイアウト変更した場合の前記オブジェクトの移動距離の少なくとも一つに基づいて、前記評価値を求めること、
   を特徴とする請求項２に記載の画像処理装置。
6. 前記評価部は、前記障害領域と前記オブジェクトの重なり量に基づく第１評価値と、前記オブジェクト同士の重なり量に基づく第２評価値と、レイアウト変更した場合の前記オブジェクトの移動距離に基づく第３評価値とを加算した値を前記評価値として求めること、
   を特徴とする請求項５に記載の画像処理装置。
7. 前記評価部は、前記障害領域と前記オブジェクトの重なり量に基づく第１評価値と、前記オブジェクト同士の重なり量に基づく第２評価値と、レイアウト変更した場合の前記オブジェクトの移動距離に基づく第３評価値とを重み付け加算した値を前記評価値として求めること、
   を特徴とする請求項５に記載の画像処理装置。
8. ユーザから、前記障害領域の入力を受け付ける操作入力部、をさらに備え、
   前記領域特定部は、入力を受け付けた前記障害領域を特定すること、
   を特徴とする請求項１に記載の画像処理装置。
9. 前記画像投影面に投影された画像を撮像する撮像部、をさらに備え、
   前記領域特定部は、前記撮像部により撮像された画像データと前記元画像データとから、前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定すること、
   を特徴とする請求項１に記載の画像処理装置。
10. 前記レイアウト変更部は、前記文字オブジェクトの色の変更の際、明度の変化を優先して行うことを特徴とする請求項１に記載の画像処理装置。
11. 前記レイアウト変更部は、前記障害領域が前記画像投影面上の画像投影面の面積の所定量以上を占める場合に、少なくとも１つ以上の前記オブジェクトのサイズを変更することを特徴とする請求項１に記載の画像処理装置。
12. 前記レイアウト変更部は、前記障害領域に含まれるオブジェクトのサイズを変更することを特徴とする請求項１１に記載の画像処理装置。
13. 前記レイアウト変更部は、画像データに対して色弱者向けに色加工を加えるモードにおける色の変更において、色弱者にとって色弁別性が向上した色に、色を調整することを優先することを特徴とする請求項１に記載の画像処理装置。
14. 前記レイアウト変更部は、レイアウト変更を行う際に、少なくとも１つ以上のオブジェクトの色および背景の色を合わせて変更することを特徴とする請求項１に記載の画像処理装置。
15. 入力される元画像データを画像投影面に投影表示する画像投影ステップと、
    前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定ステップと、
    前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更ステップと、
    前記障害領域と、前記オブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価ステップと、を含み、
    前記レイアウト変更ステップは、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する、
    ことを特徴とする画像処理方法。
16. 入力される元画像データを画像投影面に投影表示する画像投影ステップと、
    前記画像投影面上で前記元画像データによる元画像と異なる表示がされている障害領域を特定する領域特定ステップと、
    前記画像投影面上の前記障害領域と、投影された前記元画像データに含まれるオブジェクトの色情報および前記元画像データにおける背景の色情報と、に基づいて、前記元画像データにおける前記オブジェクトの位置の前記障害領域との関係を示す評価値を求める評価ステップと、
    前記障害領域と、前記オブジェクトとに基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更するレイアウト変更ステップであって、前記評価値に基づいて、前記元画像データにおける前記オブジェクトのレイアウトを変更する際に、レイアウト変更対象のオブジェクトが文字オブジェクトである場合、該文字オブジェクトの色と背景色とのコントラストが大きくなるように、該文字オブジェクトの色を変更する前記レイアウト変更ステップと、
    をコンピュータに実行させるためのプログラム。

Images