JP2012105145A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】本発明は、１つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを、適切かつ容易に決定することができる画像処理装置を提供する。
【解決手段】複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する。そして特定された領域に基づき第１の画像と第２の画像を表示させて、その表示に基づくユーザの指示に応じて、第１の画像と第２の画像を配置するためのレイアウトを決定する。
【選択図】図６

Description

本発明は、複数の画像のレイアウトを決定する画像処理装置、画像処理方法、及びプログラムに関する。

複数の画像のレイアウトを決定し、決定されたレイアウトに従って複数の画像を配置して出力する技術が知られている。

例えば、特許文献１には、複数の画像間で画像に含まれる内容が重複する部分を判定し、判定された重複部分が重なるように複数の画像を結合して一つの画像として出力することが開示されている（特許文献１）。

特開平０１−２３０１８４号公報

しかしながら、上記特許文献１のように、複数の画像の重複部分が重なるように複数の画像のレイアウトを決定したとしても、決定されたレイアウトが、ユーザが所望のものではない場合がある。例えば、２つの画像の位置合わせを行う場合に、一方の画像に含まれる文字が、もう一方の画像に複数含まれる場合には、いずれの文字に合わせて位置合わせを行うか判断できないことが起こり得る。そこで、複数の画像を表示画面に表示させて、ユーザが指示を行って表示画面上で画像を移動させることで、複数の画像の位置を決定することができる。

しかしながら、表示画面に表示された画像が、レイアウトの決定のために適しているとは限らない。例えば複数の画像間で相関の無い情報しか表示されなかった場合、ユーザは表示画面を見たとしても、画像を移動すべき方向や距離を把握することはできない場合がある。

上記の点に鑑み本発明は、複数の画像のレイアウトを、適切かつ容易に決定することができる画像処理装置、画像処理方法、及び、プログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、１つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
前記複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する特定手段と、
前記第１の画像と前記第２の画像のそれぞれにおける一部の表示領域であって、当該第１の画像と当該第２の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第１の画像と当該第２の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
前記表示制御手段による表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像を配置するときのレイアウトを決定する決定手段とを備えることを特徴とする。

本発明によるとユーザは、複数の画像のレイアウトを、適切かつ容易に決定することができる。

本発明に係る実施例において用いられる画像処理装置の構成を示す図である。 画像を読み取り、合成するための画面の一例を示す図である。 画像を貼り合わせるための画面の一例を示す図である。 実施例１における類似領域の検出について説明するための図である。 類似領域の検出について説明するための他の図である。 ユーザインタフェースにおける操作の手順を説明するための第１の図である。 ユーザインタフェースにおける操作の手順を説明するための第２の図である。 ユーザインタフェースにおける操作の手順を説明するための第３の図である。 画像の貼り合わせ処理の手順を示すフローチャートである。 実施例２における類似領域の検出について説明する図である。

以下、添付図面を参照して本発明の好適な実施例を詳しく説明する。尚、以下の実施例は特許請求の範囲に係る本発明を限定するものでなく、また本実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［実施例１］
図１は、本発明に係る実施例において用いられる画像処理装置の構成を示す図である。画像処理装置１００として、例えばＰＣが用いられる。ＣＰＵ１０１は、以下に述べる各ブロックを制御し、例えば、ハードディスク１０２や不図示のＲＯＭ等から読み込まれたプログラムをＲＡＭ１０３に展開して実行する。ＨＤＤ１０２は、後述するフローチャートに示される処理を実行するプログラムや画像データを格納する。ディスプレイ１０４は、本実施例におけるユーザインタフェースを表示し、ディスプレイドライバ１０５は、ディスプレイ１０４を制御する。ユーザは、ポインティングデバイス１０６やキーボード１０７を用いてユーザインタフェース上で操作を行なうことができる。インタフェース１０８は、スキャナ１０９を制御し、スキャナ１０９は、原稿台に置かれた画像を読み取って画像データを取得する。

本実施例においては、スキャナの原稿台よりも大きな１枚の原稿を部分的に読み取り、それを複数回繰り返すことにより取得された複数の画像を組み合わせて、原稿に対応する画像を取得する例を示す。なお、本実施例においては、複数回の読み取りを行った場合に、１枚の原稿の一部領域を重複して読み取るものとする。

以下、本実施例における、ディスプレイ１０４に表示されるユーザインタフェースについて説明する。図２（ａ）は、スキャナ１０９から画像を読み取るための画面の一例を示す図である。表示２０１は、スキャナ１０９により画像を読み取るための解像度等の設定を行なう際に用いられる。表示２０２は、スキャナ１０９により読み取られた画像データに対応するサムネイル画像を表示する。表示２０３は、表示２０２に表示されたサムネイル画像から選択された画像を表示する。カーソル２０４は、表示２０２に表示されたサムネイル画像を選択することができる。表示２０５は、カーソル２０４による選択を解除するためのボタンである。表示２０６は、カーソル２０４により選択されたサムネイル画像に対応する画像を画像処理装置１００内に保存するためのボタンである。表示２０７は、図２（ｂ）に示す、画像の選択画面に遷移するためのボタンである。

図２（ｂ）は、複数の画像を組み合わせて合成するための画面の一例を示す図である。表示２１１は、スキャナ１０９により読み取られた画像が保存されているフォルダを指定するためのツリービューを表示する。表示２１２は、表示２１１において指定されたフォルダ内に保存されている画像データに対応するサムネイル画像を表示する。表示２１３は、表示２１２に表示されたサムネイル画像から選択された画像を表示する。カーソル２１４は、表示２１２に表示されたサムネイル画像を選択することができる。表示２１５は、カーソル２１４による選択を解除するためのボタンである。表示２１６は、図３に示す、カーソル２１４により選択された画像を組み合わせて合成するための画面に遷移するためのボタンである。以下、本実施例において、画像を組み合わせて合成することを「貼り合わせ」ともいう。

図３（ａ）は、画像を貼り合わせるための画面の一例を示す図である。図には、２つの画像（第１の画像３０１と第２の画像３０２）を貼り合わせる例を示している。一般的には、図３（ａ）に示すように、画像３０１及び３０２は四角形であるが、外縁部が多角形の形状を有するものであれば良い。画像３０１と画像３０２は、図３（ａ）に示すように、一辺を共有するように重複を許さずに並べて表示されている。表示３００は、画像３０１及び３０２を表示する。カーソル３０３は、画像３０２をドラッグして位置合わせを行い、画像３０１と画像３０２とを貼り合わせることができる（移動制御の一例）。表示３０４は、画像３０１と画像３０２の位置を入れ替えて表示するためのボタンである。また、表示３０５は、画像３０２を１８０度回転させて表示するためのボタンである。表示３０６は、表示３００に表示された画像を拡大して表示するためのボタンであり、表示３０７は、表示３００に表示された画像を縮小して表示するためのボタンであり、いずれとも一般的に用いられるボタンである。

表示３０８は、本実施例における拡大表示のためのボタンである。表示３０８が押下され、さらに、ポインティングデバイス１０６を画像３０１もしくは３０２上の一箇所で押下した状態にすると、画像３０１と画像３０２との貼り合わせ近傍の所定の領域において類似の形状とサイズを検出することによって、複数の類似領域が特定される。さらに、カーソル３０３により指示された一箇所と、検出され識別可能に表示された類似領域とを含むように、表示３００に表示された画像を最大に拡大表示する。類似領域の検出方法と画像の拡大については後述する。

表示３０９は、本実施例における貼り合わせの操作をキャンセルして、図３（ａ）の画面を閉じる。表示３１１は、本実施例における貼り合わせの操作が終了した際に、図３（ｂ）に示す、クロップ領域を指定するための画面に遷移するためのボタンである。

図３（ｂ）は、クロップ位置を指定するための画面の一例を示す図である。画像３２０は、本実施例における貼り合わせの操作が終了した後の画像を示す。表示３２１は、画像３２０におけるクロップ領域（切り取り領域）を示す。カーソル３２２は、クロップ領域を示す表示３２１の角をドラッグすることにより、クロップ領域の大きさを変更することができる。また、表示３２１の側面をドラッグすることによりクロップ領域の位置を変更することができる。表示３２３は、本実施例における貼り合わせが行なわれ、また表示３２１に従ってクロップされる画像３２０を確定するためのボタンである。

図４は、画像３０１と画像３０２とにおいて類似領域の検出について説明する図である。まず、画像処理装置１００は、図３（ａ）に示す表示３０８を押下した際に、画像３０１と画像３０２とを組み合わせて合成する一辺から離れる向き（図４（ａ）に示す矢印）に、周囲の画素と比較して濃度の変化量の大きい画素（特異点）を抽出する。従って、抽出された特異点群は、例えば文字の輪郭（エッジ）を示すことができる。抽出された特異点群のうち、画像３０１と画像３０２とにおいて、Ｘ方向（画像の横方向）の特異点群の並びとＹ方向（画像の縦方向）の特異点群の並びが概ね一致する領域を類似領域として検出する。ここで、特異点群の並びが概ね一致するか判定する場合、まず複数の画像のそれぞれにおいて、特異点群のＸ方向、Ｙ方向の位置を取得する。そして、複数の画像のそれぞれに含まれる特異点群のＸ方向、Ｙ方向の位置を比較して、複数の画像に含まれる特異点群の位置関係が近似している場合に、特異点群の並びが概ね一致しているものとする。

そして、複数の画像のそれぞれに含まれる、特異点群の位置関係に応じて、複数の画像における類似度を決定する。そして、決定された類似度に応じて、類似領域を特定する。なお、複数の類似領域を検出した場合に、例えば類似度が所定の閾値よりも高いものを類似領域としてもよいし、類似度が一番高いものを類似領域としてもよい。

また、特異点群の類似度を判定する場合に、複数の画像の一方に含まれる特異点群を回転させた状態で、他方の画像に含まれる特異点群と比較するようにしてもよい。これにより、例えばユーザが原稿を読取装置に読み取らせるときに原稿を原稿台に対して斜めに置いてしまっていたとしても、より精度良く類似領域を検出することができる。

図４（ｂ）は、類似領域の一例を示す図である。図４（ｂ）においては、画像３０１及び３０２内に表現された類似領域（第１の領域と第２の領域の一例）が、四角で囲まれて示されている。つまり、四角を含む文字自体はそれぞれ異なるが、四角で囲まれた領域（文字の一部分）はいずれも、十字形に近い形で類似している。例えば、「や」という文字ならば、「や」中の交点２つの部分の形状（十字形）が類似する。また、図５（ａ）には、「あ」という文字中の類似領域が示されている。図５（ａ）に示すように、「あ」中の４つの交点近傍が類似領域として検出される。

ユーザは、類似領域を示すように表示画面に表示されている四角で囲まれた領域が重なるように画像を移動させることによって、類似領域が重なるレイアウトを容易に決定することができる。

なお、上記のように、特異点群を回転させることによって、類似領域を検出した場合に、複数の画像における類似領域の傾きが異なる場合がある。この場合、特異点群を囲む四角の表示も、表示画面上で回転させて表示させる。これによりユーザは、複数の画像のそれぞれにおける類似領域の傾きが異なることを認識することができる。そして、複数の画像を出力する場合には、類似領域同士の傾きを合わせるように複数の画像の少なくとも一方を回転させて出力する。

または、複数の画像における類似領域の傾きが異なる場合に、類似領域が重なるように、複数の画像の少なくとも一方を回転させてから、類似領域を含むように拡大表示してもよい。この場合、ユーザは複数の画像の角度が整合されている状態で、複数の画像のレイアウトを確認することができる。そして、複数の画像を出力する際には、複数の画像の傾きを整合させるために、画像を回転させる必要がないため、複数の画像のレイアウトを決定してから、画像を出力するまでの処理負荷を抑えることができる。

ここで、図５（ｂ）に示すような画像３０１と画像３０２とにおいて類似領域の検出を行なったとすると、例えば、画像３０１の左上に位置する「あ」の文字も図５（ａ）に示すように、類似領域の検出の対象となる。しかし、本実施例では、図５（ｂ）の斜線部のように、画像３０１と画像３０２とを組み合わせて合成する一辺から図４（ａ）に示す矢印の向きに予め定められた長さで決定される領域においてのみ類似領域の検出が行なわれる。本実施例では、合成対象の画像である画像３０１と画像３０２は、１枚の原稿を読取装置が複数回読み取って得られた画像である。ところで、ユーザは読み取り回数が少なくなるように、原稿台の大きさに応じて原稿を分割して読み取ることが考えられる。この場合、読み取られた画像の端の領域に、他方の画像と類似する領域が存在することが考えられる。そこで本実施例では、画像における類似の領域を検出する範囲を、画像全体ではなく、画像における端の領域に限定することで、類似領域を誤って検出してしまうことを防ぐ。また、類似領域を検出する領域を限定することにより、検出のための処理負荷を軽減することもできる。

本実施例では、類似の領域を検出するための領域として、画像のうち、他方の画像と結合される端から画像の横幅の３分の１の長さの領域を設定するものとする。そのため、図３（ｂ）に示した例では、画像３０１の左上に位置する「あ」の文字は、類似領域の検出の対象とはされず、さらに、画像処理装置１００のＣＰＵ１０１による処理を軽減することができる。また、画像の横幅の３分の１の長さで定められた領域では、類似領域を検出できなかった場合に、類似領域を検出する領域を拡大し、例えば横幅の２分の１の長さに変更して、類似領域の検出を行なうようにしても良い。

また、画像における類似領域を検出するときに、１つでも類似領域が検出された場合には類似領域の検出処理を中止して、表示のための処理を行ってもよい。従って、画像の辺の全体に対して類似領域を検出するための処理を行わなくとも、表示処理に進むことができるので、類似領域を表示させるための処理負荷を抑えることができる。

次に、図６、図７、図８を参照して、本実施例における画像処理装置１００のユーザインタフェース表示制御の操作の一例について説明する。

図６（ａ）は、図３（ａ）に示す状態と同じである。つまり、本実施例における貼り合わせの操作を行なう前の状態である。図６（ａ）には、カーソル３０３が示されているが、ユーザはまだポインティングデバイス１０６のボタンを押下していない（カーソル３０３が「開いた手」として表示）。ユーザが図６（ａ）に示すように、画像３０２上にカーソル３０３を位置した状態でポインティングデバイス１０６のボタンを押下すると、上述したような、複数の画像における類似領域を検出する処理が実行される。そして、ここでは「や」に含まれる類似領域が検出されて、ユーザインタフェースは図６（ｂ）に示す状態となる。図６（ｂ）では、カーソル３０３が「握った手」として表示されている。このときに、平仮名の「や」に含まれる類似領域とカーソル３０３とを含むように、画像が自動的に最大に拡大されて表示される。また、このときに、「や」に含まれる類似領域は、先に検出された複数の類似領域うち「や」に含まれる類似領域以外の他の類似領域と識別可能に、例えば四角で囲まれて表示される。このように、図６（ａ）に示す状態でポインティングデバイス１０６のボタンが押下されて複数の類似領域が検出された場合に、図６（ｂ）においては検出された複数の類似領域のうちの一部の類似領域を、他の類似領域と区別して強調表示する。複数の類似領域のうち強調表示を行う類似領域として、例えば、各類似領域のうち、最も大きな類似領域を選択する。そして、その類似領域とカーソル３０３とを含むように最大に拡大するようにしても良い。

また、複数の類似領域が検出された場合に、複数の類似領域を示すように表示させて、複数の類似領域のいずれかをユーザに選択させてもよい。そして、ユーザが選択した類似領域を含むように、拡大表示を行ってもよい。

図７（ａ）は、図６（ｂ）に示す状態においてユーザがポインティングデバイス１０６のボタンの押下を中止し、位置合わせの操作のためにカーソル３０３を画面中央付近に移動させた際のユーザインタフェースの状態を示す図である。図７（ａ）に示すように、カーソル３０３が「開いた手」として表示されている。図７（ａ）に示す状態でポインティングデバイス１０６のボタンが押下されると、ユーザインタフェースは、図７（ａ）に示す状態から更に拡大されて図７（ｂ）に示す状態となる。図７（ｂ）では、カーソル３０３が「握った手」として表示されている。このときに、「や」に含まれる類似領域とカーソル３０３とを含むように、画像が自動的にさらに拡大されて表示される。図７（ｂ）においても、図６（ｂ）と同様に、類似領域が識別可能に四角で囲まれて表示される。

図８は、図７（ｂ）に示す状態から、ポインティングデバイス１０６のボタンを押下した状態を保持して（カーソル３０３は「握った手」の状態を維持）、画像３０２をドラッグして画像３０１に重ねていった状態を示す図である。図８に示す状態から、さらに、カーソル３０３を中央付近に移動し、ポインティングデバイス１０６のボタンを押下すると、図６（ｂ）及び図７（ｂ）と同様に、画像の拡大と類似領域の表示を繰り返す。

このように、ユーザは、ポインティングデバイス１０６のボタンの操作のみで、ユーザインタフェースに表示された画像３０１と画像３０２の貼り合わせの操作を行なうことができる。その結果、ユーザが従来の拡大縮小ボタンの操作とカーソルによる位置合わせの操作とを別個に繰り返す必要がなく、複数の画像の位置合わせを容易に行うことができる。

図９は、図６〜図８において説明した処理を含む、本実施例における画像の貼り合わせ処理の手順を示すフローチャートである。なお、本実施例では、図９に示す処理に対応するプログラムが例えばＲＯＭに記憶されており、このプログラムをＣＰＵ１０１が読み出して実行することにより、図９に示す処理が実行される。

ユーザインタフェースが図３（ａ）に示す状態である場合、カーソル３０３を画像３０１又は３０２上に位置した状態でポインティングデバイス１０６のボタンを押下すると、所定領域内の類似領域を検出する（Ｓ９０１）。ここで、所定領域とは、図５（ｂ）に斜線で示された領域である。Ｓ９０２においては、類似領域が検出されたか否かが判定される。ここで、類似領域が検出されたと判定された場合には、Ｓ９０３に進む。一方、類似領域が検出されなかったと判定された場合には、Ｓ９０５に進む。類似領域の検出については、図４及び図５における説明のとおりである。Ｓ９０３において、類似領域とカーソル３０３とを含む領域を決定し、Ｓ９０４において、その決定された領域を拡大表示する。Ｓ９０３とＳ９０４における処理は、図６（ｂ）及び図７（ｂ）における説明のとおりである。図９に示されるように、類似領域が検出されなかった場合（Ｓ９０２のＮＯ）、拡大表示は行なわれない。

Ｓ９０５において、カーソル３０３がドラッグされたか否かを判定する。これは、図８において説明したドラッグ操作である。カーソル３０３がドラッグされたと判定された場合には、Ｓ９０６に進み、ドラッグされなかったと判定された場合には、Ｓ９０７に進む。Ｓ９０６においては、図８において説明したように画像を移動し、Ｓ９０１からの処理を繰り返す。Ｓ９０７においては、ポインティングデバイス１０６のボタンの押下が解除されたか否かが判定される。例えば、ユーザが所望の貼り合わせを実現できたと判断してポインティングデバイス１０６のボタンの押下を解除した場合には、本処理を終了する。一方、ポインティングデバイス１０６のボタンの押下が解除されていない場合には、ドラッグによる画像の移動が継続しているので、Ｓ９０５の判定処理を繰り返す。

このように、Ｓ９０１では図３（ａ）に示すように、複数の画像が表示されて、ユーザが指示を行うことによって、Ｓ９０４において、類似領域を含むように拡大されて表示される。ただし、ユーザが拡大表示の指示を行うときには、図３（ａ）に示すように複数の画像が表示される必要がなく、ユーザが拡大表示を指示したときに、Ｓ９０４において初めて画像が表示されるようにしてもよい。

また、Ｓ９０１において類似領域を検出するタイミングは、ユーザの指示を入力した場合に限らず、複数の画像を読み込んだことに応じて、類似領域の検出や拡大表示を行ってもよい。

＜実施例２＞
本実施例における画像処理装置１００は、図１に示すＨＤＤ１０２内に文字認識（ＯＣＲ）用の辞書を備える。そのため、貼り合わせを行う画像３０１及び３０２に含まれる文字を認識することができる。

図１０は、本実施例における類似領域の検出について説明する図である。ユーザが画像３０１又は３０２上にカーソル３０３を位置し、ポインティングデバイス１０６のボタンを押下すると、以下のように処理を行う。まず、画像処理装置１００は、図１０（ａ）に示すように、合成する一辺から画像幅の３分の１離れた所定領域において、ＯＣＲ処理を行う。この領域については、図５（ｂ）における説明と同じである。

ＯＣＲ処理により認識された文字のうち、画像３０１及び３０２上で一致する文字があれば、図１０（ｂ）に示すように四角で囲んで表示する。図１０（ｂ）においては、例えば、「６」と「６」とが類似領域として検出され、「か」と「か」とが類似領域として検出される。この際に、図１０（ａ）に示す所定領域以外については、ＯＣＲ処理による類似領域の検出は行なわれない。

以上のように、本実施例は、文字単位で類似領域の検出を行なう点で実施例１と異なる。実施例１と実施例２において、画像３０１と画像３０２の２つの画像を例として説明したが、３つの画像の場合にも適用できる。３つの画像の場合には、２つの画像の組み合わせそれぞれについて合成する一辺を基準とした所定領域を求め、全体としてそれらの所定領域の論理和をとり、論理和がとられた領域内において類似領域の検出を行なえば良い。拡大表示と、ドラッグ操作による画像の移動については、実施例１における説明と同じである。

以上の実施例のように複数の画像を表示画面上で移動させることによって複数の画像のレイアウトを決定した後、決定されたレイアウトに従って複数の画像を出力する。

例えば、上記のように複数の画像を拡大表示して複数の画像の相対位置（レイアウト）を決定した後に、拡大表示を解除して、複数の画像の全体を表示してもよい。そのとき複数の画像が、決定されたレイアウトに従った位置に配置されて表示される。

さらに、複数の画像のレイアウトを決定した後に、複数の画像を印刷装置に出力して印刷を行わせてもよい。このとき、複数の画像を決定されたレイアウトに配置して１つの画像とし、この１つの画像を印刷装置に出力することで印刷させる（出力制御の一例）。他にも、例えば複数の画像と、複数の画像に対して決定されたレイアウトを示す情報を印刷装置に送信し、印刷装置において、受信した情報が示すレイアウトに従って複数の画像を配置し、印刷を行ってもよい。

なお、以上の実施例のように、表示画面上に表示されている複数の画像を移動させる場合、複数の画像の両方を移動できるようにしてもよいし、または、複数の画像のどちらか一方のみを移動させるようにしてもよい。複数の画像の一方のみを移動させる場合であっても、複数の画像の相対位置を指定することができる。

また、以上の実施例では、２つの画像を表示させる例を示したが、本発明はこれに限らず、３つ以上の複数の画像を表示画面に表示させて、それら３つ以上の画像のレイアウトを決定する場合であってもよい。

さらに、以上の実施例では、一枚の原稿を複数回読み取ることで得られた複数の画像を入力する例を示した。しかし、本発明はこれに限らず、１つのオブジェクトを複数回に分割して撮像することで得られた複数の画像を入力すればよい。例えば、１つの被写体を複数回に分割して撮像して、撮像された複数の写真画像を結合してパノラマ画像を作成する場合であってもよい。この場合、複数の写真画像における類似の領域を特定して、例えばその特定した部分を拡大して表示することで、ユーザは複数の写真画像の配置を変更するか容易に判断することができる。

なお、以上の実施例においては、ＰＣ１００が外部のディスプレイ１０４に画像を表示させて、ポインティングデバイス１０６やキーボード１０７によりユーザの指示を入力することで処理を行っていた。しかし、これに限らず、プリンタやデジタルカメラ等において、それらの装置が有するディスプレイに画像を表示させて、プリンタやデジタルカメラ等に設けられた操作部をユーザが操作することによって、処理を行う場合であってもよい。

また、以上の実施例では、複数の画像を表示画面に表示させた後、ユーザの指示に応じて画像を表示画面上で移動させる例を示した。しかし、画像を移動させる場合に限らず、複数の画像が配置される位置をユーザに確認させるための画面を表示させる場合であってもよい。そして、その画面に基づきユーザが指示を行うことで、表示されている画面が示すレイアウトに従って、複数の画像を出力か否かを決定する。本発明によれば、複数の画像において類似の領域が拡大されて表示されるため、ユーザは複数の画像が出力されるときのレイアウトを正確に把握することができる。

さらに、以上の実施例では、ユーザの指示に応じて画像を移動させることによりレイアウトを決定して結合を行っていたが、本発明はこれに限らず、類似領域が重なるように、自動で画像の結合を行ってもよい。

例えば、画像における類似領域を検出した後に、ユーザが指示を行うことで、類似領域が重なるように自動で複数の画像を結合してもよい。このとき、自動で結合させた場合に重なる類似領域を、他の類似領域と区別して強調表示してもよい。この強調表示により、多数の類似領域が検出された場合であったとしても、ユーザは、複数の画像を結合するときに重なる類似領域を確認した上で、画像の自動結合を指示することができる。

また、自動で画像の結合する場合の他の例として、例えば類似領域を重ねるように結合された画像を表示させて、表示されているレイアウトで決定してよいかユーザに問い合わせるようにしてもよい。そして、ユーザがレイアウトの決定を指示した場合には、決定されたレイアウトに従って、画像が出力される。また、ユーザが自動で決定されたレイアウトを解除するための指示を行った場合には、レイアウトの決定処理をキャンセルするようにしてもよいし、図６〜図８に示したように画像を移動させるための画面を表示させてもよい。そして、上記の実施例のように、ユーザの指示に応じて画像を表示画面上で移動させることによって、レイアウトを決定する。

なお、以上の実施例では、複数の画像から特定された類似領域に応じて画像を拡大し、また類似領域を示す情報を付加して表示を行っていたが、画像の拡大と情報の付加のいずれか一方の処理を行う場合であってもよい。即ち、画像の拡大をせずに、類似領域を示すように表示してもよいし、または類似領域を示さなくとも、類似領域を含むように画像を拡大して表示してもよい。いずれにしても、ユーザは、複数の画像のそれぞれにおける類似領域を判断できるように表示される。

また、以上の実施例では、複数の画像で重複する部分があるものとして、複数の画像において類似の類似領域を検出し、検出された類似領域を含む表示領域を表示していた。しかし、本発明は類似領域を特定する場合に限らず、複数の画像の内容を取得して比較することにより、複数の画像のそれぞれにおける領域であって、互いに相関性のある領域を特定できればよい。ここで、相関性があるとは、類似領域のように、複数の画像において共有される領域であってもよいし、複数の画像に跨って連続する領域であってもよい。

複数の画像に跨って連続する領域として、例えば、テキストを含む複数の画像を結合する場合に、画像に含まれるテキストの行間を特定するようにしてもよい。一般的に、テキストを含むドキュメントでは、行間の位置が一致するようにテキストが配置されていることが多い。そこで、複数の画像のそれぞれに含まれるテキストの行間を特定し、特定された行間を示す表示を行うことによって、ユーザは、複数の画像の配置を容易に把握して、画像の配置を変更するか判断することができる。また、表示画面に表示されている複数の画像のそれぞれに含まれるテキストの行間の位置に従って、行間を一致させるように画像を移動させることで、複数の画像のレイアウトを適切かつ容易に決定することができる。

他にも、複数の写真画像を結合する場合に、それぞれの写真画像における、写真画像で連続する直線を示す領域を検出してもよい。この場合、ユーザは、表示画面において複数の写真画像のそれぞれにおける直線を示す領域を確認することにより、複数の写真画像の位置関係を把握することができる。

このように、複数の画像で相関性のある領域に基づいて表示を行うことにより、ユーザは、画像の配置を正確かつ容易に把握することができる。

さらに、以上の実施例では、複数の画像を結合する場合に、画像の一部を重ね合わせる例を用いて説明した。しかし、本発明はこれに限らず、画像の重ね合わせは行わずに、複数の画像を１つの画像として結合する場合であってもよい。例えば、複数の画像が接するように配置して、１つの画像として結合してもよいし、または複数の画像を離れるように配置して、複数の画像の間に所定の画像データを割り当てることにより、１つの画像として結合してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、１つのプロセッサにより処理が実行されるものに限らず、複数のプロセッサが連携して処理を行う場合であってもよい。

Claims (11)

1. １つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
   前記複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する特定手段と、
   前記第１の画像と前記第２の画像のそれぞれにおける一部の表示領域であって、当該第１の画像と当該第２の画像のそれぞれにおいて前記特定手段により特定された領域を含む表示領域を、当該第１の画像と当該第２の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御手段と、
   前記表示制御手段による表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像を配置するときのレイアウトを決定する決定手段と
   を備えることを特徴とする画像処理装置。
2. １つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置であって、
   前記複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する特定手段と、
   前記第１の画像と前記第２の画像に、当該第１の画像と第２の画像とのそれぞれにおいて前記特定手段により特定された領域を示す情報を付加して、表示画面に表示させる表示制御手段と、
   前記表示制御手段による表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像を配置するときのレイアウトを決定する決定手段と
   を備えることを特徴とする画像処理装置。
3. ユーザの指示に応じて、前記表示制御手段により表示画面に表示されている前記第１の画像または前記第２の画像を、当該表示画面上で移動させる移動制御手段をさらに備え、
   前記決定手段は、前記移動制御手段により移動された画像の前記表示画面における配置に応じて、当該複数の画像のうちの前記第１の画像と前記第２の画像を配置するときのレイアウトを決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記複数の画像のうちの前記第１の画像と前記第２の画像において類似の、当該複数の画像のそれぞれにおける類似領域を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示制御手段は、前記特定手段により特定された領域が重なるように、当該複数の画像のうちの前記第１の画像と前記第２の画像とを重ねて表示画面に表示し、
   前記決定手段は、ユーザによる指示に応じて、当該表示画面における当該複数の画像のうちの前記第１の画像と前記第２の画像を配置するときのレイアウトを決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像と前記第２の画像とを、前記決定手段により決定されたレイアウトに従って出力するように制御する出力制御手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記出力制御手段は、前記第１の画像と前記第２の画像とが前記決定手段により決定されたレイアウトに従って表示されるように、当該第１の画像と当該第２の画像とを前記表示画面に出力して表示するように制御することを特徴とする請求項６に記載の画像処理装置。
8. 前記出力制御手段は、前記第１の画像と前記第２の画像とが前記決定手段により決定されたレイアウトに従って印刷されるように、当該第１の画像と当該第２の画像とを印刷装置に出力して印刷するように制御することを特徴とする請求項６に記載の画像処理装置。
9. １つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
   前記画像処理装置の特定手段が、前記複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する特定工程と、
   前記画像処理装置の表示制御手段が、前記第１の画像と前記第２の画像のそれぞれにおける一部の表示領域であって、当該第１の画像と当該第２の画像のそれぞれにおいて前記特定工程において特定された領域を含む表示領域を、当該第１の画像と当該第２の画像との全体が表示されるときよりも大きく表示されるように、表示画面に表示させる表示制御工程と、
   前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像を配置するときのレイアウトを決定する決定工程と
   を有することを特徴とする画像処理方法。
10. １つのオブジェクトを複数の領域に分割して撮像することで得られた複数の画像を結合するときのレイアウトを決定する画像処理装置において実行される画像処理方法であって、
    前記画像処理装置の特定手段が、前記複数の画像のうちの第１の画像と第２の画像とに基づき、当該第１の画像における第１の領域と当該第２の画像における第２の領域であって、当該第２の画像における当該第２の領域と相関性がある、当該第１の画像における当該第１の領域と、当該第１の画像における当該第１の領域と相関性がある、当該第２の画像における当該第２の領域とを特定する特定工程と、
    前記画像処理装置の表示制御手段が、前記第１の画像と前記第２の画像に、当該第１の画像と第２の画像とのそれぞれにおいて前記特定工程において特定された領域を示す情報を付加して、表示画面に表示させる表示制御工程と、
    前記画像処理装置の決定手段が、前記表示制御工程における表示に基づくユーザの指示に応じて、前記第１の画像と前記第２の画像を配置するときのレイアウトを決定する決定工程と
    を有することを特徴とする画像処理方法。
11. 請求項９又は１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
    

Images