JP7457283B2 - コンピュータプログラム、画像処理装置、および、画像を表示するための表示方法 - Google Patents

Description

本明細書は、画像内の余白領域を削除するための技術に関する。

画像データによって示される画像に余白が含まれる場合には、例えば、該画像から余白が削除された画像が出力されることが好ましい場合がある。例えば、液晶ディスプレイなどの表示装置に文書を示す画像を表示する際には、余白が削除された画像が表示されることが読みやすさの観点から好ましい場合がある。

特許文献１に開示された画像生成装置は、画像内の複数個の画素の値の分布を示すヒストグラムを用いて二値化処理の閾値を決定し、該閾値を用いて画像をオブジェクト画素と背景画素とに二値化する。該画像生成装置は、画像の端部のオブジェクト画素を含まない領域を余白領域として特定し、特定された余白領域を画像から削除している。

特開２０１７－１８３７６６号公報 特開２０１２－２５７１８９号公報 特開２００１－１６４２４号公報

しかしながら、模様付きの余白等の様々な態様の余白があるために、上記技術では、削除すべき余白領域を精度良く特定できない場合があった。この場合には、画像から適切に余分な領域を削除できない場合があった。

本明細書は、対象画像から余分な領域が適切に削除された処理済画像を出力できる技術を開示する。

本明細書は、例えば、以下の適用例を開示する。

［適用例１］コンピュータプログラムであって、表示対象とすべき対象オブジェクトを含む対象画像を示す対象画像データを取得する画像取得機能と、前記対象画像の外縁に沿う外縁領域であって前記対象オブジェクトを含まない前記外縁領域を特定する第１外縁特定機能であって、前記対象画像の複数個の画素から第１範囲の値を有する複数個の第１画素を特定し、前記複数個の第１画素に基づいて特定される第１領域を前記外縁領域として特定する前記第１外縁特定機能と、前記対象画像の複数個の画素から前記第１範囲と異なる第２範囲の値を有する複数個の第２画素を特定し、前記複数個の第２画素に基づいて特定される第２領域を前記外縁領域として特定する第２外縁特定機能と、前記外縁領域が削除された処理済画像であって前記対象オブジェクトを含む前記処理済画像を出力する画像出力機能と、をコンピュータに実現させ、前記画像出力機能は、前記第１領域のサイズが基準以上である場合に、前記第１領域が前記外縁領域として削除された第１の前記処理済画像を出力し、前記第１領域のサイズが基準未満である場合に、前記第１領域と前記第２領域とが前記外縁領域として削除された第２の前記処理済画像を出力する、コンピュータプログラム。

上記構成によれば、第１範囲の色値を有する複数個の第１画素に基づいて特定される第１領域のサイズが基準未満である場合には、該第１領域に加えて、第２範囲の値を有する複数個の第２画素に基づいて特定される第２領域が外縁領域として削除された処理済画像が出力される。この結果、第１範囲の値を有する複数個の第１画素に基づいて精度良く外縁領域を特定できない場合であっても、対象画像から余分な外縁領域が適切に削除された処理済画像を出力できる。

［適用例２］コンピュータプログラムであって、表示対象とすべき対象オブジェクトを含む対象画像を示す対象画像データを取得する画像取得機能であって、前記対象オブジェクトは、第１種のオブジェクトと、前記第１種のオブジェクトの周囲にある第２種のオブジェクトを含む、前記画像取得機能と、前記対象画像の外縁に沿う外縁領域であって前記対象オブジェクトを含まない前記外縁領域を特定する外縁特定機能と、前記第１種のオブジェクトの領域と前記第２種のオブジェクトの領域とを特定する領域特定機能と、前記外縁領域と、前記第１種のオブジェクトの領域と前記第２種のオブジェクトの領域との間の隙間領域と、が削除された処理済画像であって、前記対象オブジェクトを含む、前記処理済画像を出力する画像出力機能と、
をコンピュータに実現させ、前記隙間領域が削除されていることによって、前記処理済画像における前記第１種のオブジェクトと前記第２種のオブジェクトとの間の間隔は、前記対象画像における前記間隔よりも短い、コンピュータプログラム。

対象画像から、対象画像の外縁に沿う外縁領域と、第１種のオブジェクトの領域と第２種のオブジェクトの領域との間の隙間領域と、が削除された処理済画像が出力される。この結果、対象画像から余分な領域が適切に削除された処理済画像を出力できる。

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理装置、画像表示装置、画像表示システム、画像を表示するための表示方法、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

実施例における画像処理装置としての端末装置２００の構成を示すブロック図。 表示処理のフローチャート。 対象ファイルＰＦによって示される複数個のページ画像ＰＩの概念図。 表示装置２７０に表示される画像の一例を示す図。 表示更新処理のフローチャート。 外縁削除処理のフローチャート。 外縁削除処理の説明図。 外縁削除処理の説明図。 ヒストグラムの一例を示す図。 追加削除処理のフローチャート。 追加削除処理の説明図。

Ａ．実施例：
Ａ－１．画像処理装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、実施例における画像処理装置としての端末装置２００の構成を示すブロック図である。

端末装置２００は、例えば、スマートフォンなどの携帯型の端末装置、または、パーソナルコンピュータなどの据え置き型の端末装置である。端末装置２００は、端末装置２００のコントローラとしてのプロセッサであるＣＰＵ２１０と、ハードディスクドライブなどの不揮発性記憶装置２２０と、ＲＡＭなどの揮発性記憶装置２３０と、ユーザの操作を受け取るタッチパネルなどの操作部２６０と、タッチパネルと重畳された液晶ディスプレイなどの表示装置２７０と、外部機器と通信を行うための有線または無線の通信インタフェース２８０と、を備えている。

揮発性記憶装置２３０は、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２３１を提供する。不揮発性記憶装置２２０には、コンピュータプログラムＣＰが格納されている。コンピュータプログラムＣＰは、本実施例では、アプリケーションとしての機能をＣＰＵ２１０に実現させるためのアプリケーションプログラムであり、サーバからダウンロードされる形態で提供される。これに代えて、コンピュータプログラムＣＰは、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ２１０は、コンピュータプログラムＣＰを実行することにより、後述する表示処理を実行する。

Ａ－２．表示処理
図２は、表示処理のフローチャートである。この表示処理は、例えば、端末装置２００において、コンピュータプログラムＣＰが実行されて、文書ファイルを表示するためのアプリケーションが起動されているときに、ユーザの開始指示に基づいて開始される。

Ｓ１０では、ＣＰＵ２１０は、表示対象の文書ファイル（以下、対象ファイルとも呼ぶ）を不揮発性記憶装置２２０または揮発性記憶装置２３０から取得する。図３は、対象ファイルＰＦによって示される複数個のページ画像ＰＩの概念図である。対象ファイルＰＦは、複数ページ分の文書を示すファイルである。本実施例では、対象ファイルＰＦは、ＰＤＦ（Portable Document Formatの略）と呼ばれるファイルフォーマットを有する、いわゆるＰＤＦファイルである。

対象ファイルＰＦは、それぞれがページ画像ＰＩを示す複数個のページデータを含んでいる。図３の例では、対象ファイルＰＦは、第１グループの複数個のページ画像ＰＩ１１～ＰＩ１３と第２グループの複数個のページ画像ＰＩ２１～ＰＩ２３とを示す複数個のページデータを含んでいる。ページデータは、ＰＤＦフォーマットに従う描画命令を用いて、１個のページ画像ＰＩを記述する画像データである。

第１グループのページ画像と第２グループのページ画像は、例えば、一つの本の第１章の文書と第２章の文書をそれぞれ示す。あるいは、第１グループのページ画像と第２グループのページ画像は、例えば、一つの文書にまとめられた２個の書類を示してもよい。

ページ画像ＰＩ１１～ＰＩ１３、ＰＩ２１～ＰＩ２３は、それぞれ、背景と、オブジェクトと、を含んでいる。背景は、白色に限らず、薄いグレーや赤などの色を有している場合や、これらの色の模様を有している場合がある。図３の例では、第１グループのページ画像ＰＩ１１～ＰＩ１３の背景Ｂｇ１は、白などの薄い色を有するである。第２グループのページ画像ＰＩ２１～ＰＩ２３の背景Ｂｇ２は、所定の色（例えば、青）の模様を含んでいる。

各グループの最初のページ画像ＰＩ１１、ＰＩ１２は、オブジェクトとして、タイトルＴＴ１、ＴＴ２を含む。各グループの２ページ目以降のページ画像ＰＩ１２、ＰＩ１３、ＰＩ２２、ＰＩ２３は、主要オブジェクトとして、文字ＴＸや図表ＦＧを含む。ページ画像ＰＩ１１～ＰＩ１３、ＰＩ２１～ＰＩ２３は、それぞれ、文字ＴＸや図表ＦＧなどのオブジェクトよりも下側に、ページ数ＰＮと、欄外文字ＦＴと、を含む。

図２のＳ２０では、ＣＰＵ２１０は、対象ファイルの最初のページ画像、例えば、図３のページ画像ＰＩ１１を表示装置２７０の画面に表示する。具体的には、ＣＰＵ２１０は、対象ファイルＰＦから、ページ画像ＰＩ１１を示すページデータを取得する。ＣＰＵ２１０は、該ページデータに対してラスタライズ処理を実行して、ページ画像ＰＩ１１を示すビットマップデータを生成する。ＣＰＵ２１０は、ビットマップデータを用いて、ページ画像ＰＩ１１を表示装置２７０の画面に表示する。本実施例のピットマップデータは、ＲＧＢ表色系の色値（ＲＧＢ値とも呼ぶ）で画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、例えば、赤色（Ｒ）と緑色（Ｇ）と青色（Ｂ）との３個の色成分の値（以下、Ｒ値、Ｇ値、Ｂ値とも呼ぶ）を含む。本実施例では、各成分値の階調数は、２５６階調である。

図４は、表示装置２７０に表示される画像の一例を示す図である。図４（Ａ）では、端末装置２００の表示装置２７０の画面に、ページ画像ＰＩ１１が表示されている。表示装置２７０には、さらに、ページ画像ＰＩ１１の下側に、ユーザの操作を受け取るユーザインタフェース要素（ＵＩ要素）として、余白削除ボタンＢＴａと、ページ切替ボタンＢＴｂと、が表示されている。

余白削除ボタンＢＴａが押下されると、図４（Ｂ）の選択ウインドウＳＷが表示装置２７０の画面に表示される。選択ウインドウＳＷは、表示装置２７０の画面に表示されるページ画像の余白の削除に関する指示を入力するためユーザインタフェースである。本明細書では、余白は、表示すべきオブジェクト（例えば、文字ＴＸ、図表ＦＧ、ページ数ＰＮ、欄外文字ＦＴ）を含まない領域を意味する。このために、余白は、白色の領域に限らず、他の色を有する場合や模様を含む場合がある。余白削除ボタンＢＴａ余白の削除に関する設定指示をユーザが入力するためのボタンＢＴ１～ＢＴ３およびチェックボックスＣＢを含んでいる。

ボタンＢＴ１は、現在、表示装置２７０に表示中のページ画像ＰＩのみを対象として余白の削除を行うことの指示（現ページ余白削除指示とも呼ぶ）を入力するためのボタンである。ボタンＢＴ２は、対象ファイルＰＦの複数個のページデータによって示される全てのページ画像ＰＩを対象として余白の削除を行うことの指示（全ページ余白削除指示）を入力するためのボタンである。ボタンＢＴ３は、余白削除を行わないことの指示（余白維持指示とも呼ぶ）するためのボタンである。チェックボックスＣＢは、後述するテンプレート情報の利用を有効とするか否かを指示するためのチェックボックスである。

なお、現ページ余白削除指示が入力された場合には、現在、表示中のページ画像ＰＩとは異なるページ画像については、余白維持指示が有効となる。なお、余白維持指示が入力された場合には、全てのページ画像ＰＩについて余白維持指示が有効となる。

ページ切替ボタンＢＴｂは、表示装置２７０に表示されるページ画像の切替指示を入力するためのボタンである。

Ｓ３０では、ＣＰＵ２１０は、ユーザから表示更新指示を取得したか否かを判断する。表示更新指示は、本実施例では、ページ切替ボタンＢＴｂを介して入力されるページ画像の切替指示と、選択ウインドウＳＷを介して入力される余白の削除に関する指示と、のいずれかである。

表示更新指示が取得された場合には（Ｓ３０：ＹＥＳ）、Ｓ４０にて、ＣＰＵ２１０は、取得された指示に応じて、表示装置２７０に表示される画像を更新する表示更新処理を実行する。表示更新指示が取得されない場合には（Ｓ３０：ＮＯ）、ＣＰＵ２１０は、Ｓ４０をスキップして、Ｓ５０に処理を進める。

Ｓ５０では、ＣＰＵ２１０は、ユーザから表示終了指示を取得したか否かを判断する。表示終了指示は、例えば、端末装置２００の所定のボタン（図示省略）などを介して、コンピュータプログラムＣＰの実行の終了指示として入力される。表示終了指示が取得された場合には（Ｓ５０：ＹＥＳ）、ＣＰＵ２１０は、表示処理を終了する。表示終了指示が取得されない場合には（Ｓ５０：ＮＯ）、ＣＰＵ２１０は、Ｓ３０に戻る。

Ａ－３．表示更新処理
図３のＳ４０の表示更新処理について説明する。図５は、表示更新処理のフローチャートである。

Ｓ１００では、ＣＰＵ２１０は、対象ファイルに含まれる複数個のページデータから注目ページデータを選択する。

例えば、図３のＳ３０にて取得された指示が、ページ切替指示である場合には、注目ページデータは、現在、表示中のページ画像ＰＩに代えて表示すべきページ画像ＰＩ（次ページや前ページのページ画像）を示すページデータである。

図３のＳ３０にて取得された指示が、現ページ余白削除指示である場合には、注目ページデータは、現在、表示中のページ画像ＰＩを示すページデータである。

図３のＳ３０にて取得された指示が、全ページ余白削除指示である場合には、全てのページデータから注目ページデータが１個ずつ順次に選択される。

図３のＳ３０にて取得された指示が、余白維持指示である場合には、注目ページデータは、現在、表示中のページ画像ＰＩを示すページデータである。

Ｓ１１０では、ＣＰＵ２１０は、注目ページデータに対して、余白の削除処理を実行する必要があるか否かを判断する。

図３のＳ３０にて取得された指示が、ページ切替指示である場合には、余白の削除処理を実行する必要はないと判断される。この時点で全ページ余白削除指示が有効であったとしても、その場合には全てのページ画像について余白削除処理済みのページデータが既に作成済みであるので、この時点で余白の削除処理を実行する必要はない。

図３のＳ３０にて取得された指示が、現ページ削除指示である場合、または、全ページ削除指示である場合には、余白の削除処理を実行する必要があると判断される。

図３のＳ３０にて取得された指示が、余白維持指示である場合には、余白の削除処理を実行する必要はないと判断される。

余白の削除処理を実行する必要があると判断される場合には（Ｓ１１０：ＹＥＳ）、余白の削除処理を実行するために、ＣＰＵ２１０は、Ｓ１２０に処理を進める。余白の削除処理を実行する必要がないと判断される場合には（Ｓ１１０：ＮＯ）、ＣＰＵ２１０は、Ｓ１２０～Ｓ１７０の処理をスキップして、Ｓ１８０に処理を進める。

Ｓ１２０では、ＣＰＵ２１０は、注目ページデータに対して、第１外縁削除処理を実行する。外縁削除処理（Ｓ１２０の第１外縁削除処理および後述するＳ１４０の第２外縁削除処理）は、注目ページデータによって示されるページ画像ＰＩ（注目ページ画像とも呼ぶ）から外縁領域ＯＲを削除する処理である。外縁領域ＯＲは、注目ページ画像の外縁に沿う領域であって、表示対象とすべき対象オブジェクト（例えば、図３の文字ＴＸ、図表ＦＧ、欄外文字ＦＴ、ページ数ＰＮ）を含まない領域である。外縁領域ＯＲは、背景Ｂｇ１、Ｂｇ２の一部分である。

図６は、外縁削除処理のフローチャートである。図７、図８は、外縁削除処理の説明図である。図７には、注目ページ画像がページ画像ＰＩ１２（図３）である場合の例が示されている。図８には、注目ページ画像がページ画像ＰＩ２２（図３）である場合の例が示されている。

図６（Ａ）の第１外縁削除処理が開始されると、Ｓ２００では、ＣＰＵ２１０は、注目ページ画像の複数個の画素の値の分布を示すヒストグラム（色分布データ）を生成する。具体的には、ＣＰＵ２１０は、ラスタライズ後の注目ページデータ（ＲＧＢ画像データ）を取得する。ＣＰＵ２１０は、注目ページデータの各画素のＲＧＢ値を輝度値に変換して輝度データを生成する。ＣＰＵ２１０は、注目ページ画像の複数個の画素を、輝度値に応じた複数個のクラスに分類することによって輝度値のヒストグラムを生成する。

図９は、ヒストグラムの一例を示す図である。図９のヒストグラムは、横軸に輝度値を取り、縦軸に輝度値の各クラスに分類された画素の数を取ったグラフとして示されている。

図９（Ａ）には、ページ画像ＰＩ１２の輝度値のヒストグラムＨＧ１が示されている。ページ画像ＰＩ１２の背景Ｂｇ１は、白などの薄い色を有する無地の背景であり、ページ画像ＰＩ１２のオブジェクトＴＸ、ＦＴ、ＰＮは、黒などの濃い色を有するものとする。この場合には、図９（Ａ）に示すように、ヒストグラムＨＧ１は、背景Ｂｇ１に対応するピークＢＰ１と、オブジェクトＴＸ、ＦＴ、ＰＮ対応するピークＯＰ１と、を含んでいる。

図９（Ｂ）には、ページ画像ＰＩ２２の輝度値のヒストグラムＨＧ２が示されている。ページ画像ＰＩ１２の背景Ｂｇ２は、白などの薄い地色上に青などの模様が付された背景であり、ページ画像ＰＩ２２のオブジェクトＴＸ、ＦＴ、ＰＮは、黒などの濃い色を有するものとする。この場合には、図９（Ａ）に示すように、ヒストグラムＨＧ１は、背景Ｂｇ２に対応する２個のピークＢＰ２ａ、ＢＰ２ｂと、オブジェクトＴＸ、ＦＴ、ＰＮに対応するピークＯＰ２と、を含んでいる。背景Ｂｇ２に対応する２個のピークＢＰ２ａ、ＢＰ２ｂのうち、第１ピークＢＰ２ａは、白などの薄い地色に対応するピークであり、第２ピークＢＰ２ｂは、青などの模様に対応するピークである。

Ｓ２１０では、ＣＰＵ２１０は、ヒストグラムに基づいて第１背景色範囲を決定する。ヒストグラムにおいて最も高いピークは、背景に対応するピークであると推定できる。一般的な文書では、背景が占める面積（画素数）が、文字などのオブジェクトが占める面積よりも大きいためである。このために、例えば、ＣＰＵ２１０は、最も高いピークと、他のピークと、を分離できるように、最も高いピークと他のピークとの間に、第１背景色範囲を定めるための閾値を決定する。ＣＰＵ２１０は、輝度値のヒストグラムに基づいて、閾値ＴＨを決定する。

例えば、注目ページ画像がページ画像ＰＩ１２である場合には、図９（Ａ）のヒストグラムＨＧ１に基づいて、ピークＢＰ１とピークＯＰ１との間に輝度値の閾値ＴＨ１が決定される。

例えば、注目ページ画像がページ画像ＰＩ２２である場合には、図９（Ｂ）のヒストグラムＨＧ２に基づいて、ピークＢＰ２ａと、ピークＯＰ２、ＢＰ２ｂと、の間に輝度値の閾値ＴＨ２が決定される。

第１背景色範囲は、閾値ＴＨに基づいて、例えば、輝度値Ｖが、ＴＨ＜Ｖを満たす範囲に決定される。

Ｓ２２０では、ＣＰＵ２１０は、第１背景色範囲に基づいて、注目ページデータに対して二値化処理を実行して、第１背景画素を特定する。具体的には、ＣＰＵ２１０は、注目ページ画像の複数個の画素のうち、第１背景色範囲内の輝度値を有する画素を、第１背景画素として特定する。ＣＰＵ２１０は、注目ページ画像の複数個の画素のうち、第１背景色範囲外の輝度値を有する画素を、オブジェクト画素として特定する。ヒストグラムを用いる第１外縁削除処理の手法によれば、例えば、注目ページ画像の背景が、単色の背景（ベタ塗りの背景）である場合に、適切に背景画素とオブジェクト画素とを分離できる。

図９（Ａ）に示すように、注目ページ画像がページ画像ＰＩ１２である場合には、背景に対応するピークＢＰ１とオブジェクトに対応するピークＯＰ１とが適切に分離されるように、閾値ＴＨ１が決定される。このために、この場合には、背景Ｂｇ１を構成する複数個の画素が、適切に第１背景画素として特定され、オブジェクトＴＸ、ＦＴ、ＰＮを構成する複数個の画素が、適切にオブジェクト画素として特定される。

図９（Ｂ）に示すように、注目ページ画像がページ画像ＰＩ２２である場合には、背景に対応するピークＢＰ２ａ、ＢＰ２ｂとオブジェクトに対応するピークＯＰ２とを適切に分離できるように、閾値ＴＨ２が決定されない。例えば、図９（Ｂ）に示すように、背景Ｂｇ２のうち、地色に対応する第１ピークＢＰ２ａは、第１背景色範囲内となるが、模様に対応する第２ピークＢＰ２ｂは、第２背景色範囲外となる。このために、この場合には、背景Ｂｇ２を構成する複数個の画素のうち、地色の部分を構成する画素は、第１背景画素として特定されるが、模様を構成する画素は、第１背景画素として特定されず、オブジェクト画素として特定される。なお、オブジェクトＴＸ、ＦＴ、ＰＮを構成する複数個の画素は、オブジェクト画素として特定される。

Ｓ２３０では、ＣＰＵ２１０は、特定された複数個の第１背景画素に基づいて、注目ページ画像の第１外縁領域ＯＲ１を特定する。具体的には、ＣＰＵ２１０は、ページ画像ＰＩ１１の右端（＋Ｘ側の端）に位置し、上下方向（Ｙ方向）に延びる１列分のラスタラインを注目ラインとする。ＣＰＵ２１０は、注目ラインが背景ラインであるか否かを判断する。例えば、注目ラインを構成する複数個の画素のうち、所定割合（例えば、９９％や１００％）以上の画素が第１背景画素である場合には、注目ラインは背景ラインであると判断される。ＣＰＵ２１０は、注目ラインが背景ラインであると判断される場合には、注目ラインの左側（－Ｘ側）に隣接する１列分のラスタラインを次の注目ラインとする。ＣＰＵ２１０は、注目ラインが背景ラインでないと判断されるまで、注目ラインを変更しながら、当該判断を繰り返す。ＣＰＵ２１０は、注目ラインが背景ラインでないと判断された場合には、その時点の注目ラインの直前の注目ラインから右端までの領域を、右端に沿う第１外縁領域として特定する。ＣＰＵ２１０は、同様の方法によって、上端（－Ｙ側の端）、下端（＋Ｙ側の端）、左端（－Ｘ側の端）に沿う第１外縁領域を特定する。

図７（Ａ）に示すように、注目ページ画像がページ画像ＰＩ１２である場合には、オブジェクトＴＸ、ＦＴ、ＰＮに外接する外接矩形ＯＳａよりも外側の領域が第１外縁領域ＯＲ１ａ（斜めのハッチングが付された領域）として特定される。

図８（Ａ）に示すように、注目ページ画像がページ画像ＰＩ２２である場合には、背景Ｂｇ２の模様に外接する外接矩形ＯＳｂよりも外側の領域が第１外縁領域ＯＲ１ｂ（斜めのハッチングが付された領域）として特定される。

Ｓ２４０では、ＣＰＵ２１０は、注目ページ画像から第１外縁領域を削除して、注目ページ画像から第１外縁領域が削除された画像を示す第１削除済ページデータを生成する。第１削除済ページデータによって示される画像を第１削除済ページ画像とも呼とも呼ぶ。図７（Ｂ）には、ページ画像ＰＩ１２から第１外縁領域ＯＲ１ａが削除された第１削除済ページ画像ＣＩ１２が図示されている。図８（Ｂ）には、ページ画像ＰＩ２２から第１外縁領域ＯＲ１ｂが削除された第１削除済ページ画像ＣＩ２２ａが図示されている。

第１外縁削除処理が終了されると、Ｓ１３０にて、ＣＰＵ２１０は、第１外縁削除処理による削除幅ＤＷ１は、閾値ＴＨｄ以上であるか否かを判断する。削除幅ＤＷ１は、例えば、第１外縁削除処理によって削除された第１外縁領域の左右方向（Ｘ方向）の幅と上下方向（Ｙ方向）の幅とのうちの大きな方の値である。例えば、注目ページ画像が図７（Ａ）のページ画像ＰＩ１２である場合には、削除幅ＤＷ１は、第１外縁領域ＯＲ１ａの左右方向の幅（ΔＲ１＋ΔＬ１）と、上下方向の幅（ΔＵ１＋ΔＢ１）と、のうちの大きな方の値である。例えば、注目ページ画像が図８（Ａ）のページ画像ＰＩ２２である場合には、削除幅ＤＷ１は、第１外縁領域ＯＲ１ｂの左右方向の幅（ΔＲ２＋ΔＬ２）と、上下方向の幅（ΔＵ２＋ΔＢ２）と、のうちの大きな方の値である。

例えば、注目ページ画像が図７（Ａ）のページ画像ＰＩ１２である場合には、上述したたように背景Ｂｇ１を構成する複数個の画素が、適切に第１背景画素として特定されるので、削除幅ＤＷ１は十分に大きな値となる。したがって、この場合には、削除幅ＤＷ１は閾値ＴＨｄ以上であると判断される。

例えば、注目ページ画像が図８（Ａ）のページ画像ＰＩ２２である場合には、上述したたように背景Ｂｇ２を構成する複数個の画素のうち、模様を示す画素が、第１背景画素として特定されないので、削除幅ＤＷ１は十分に大きな値とはならない。したがって、この場合には、削除幅ＤＷ１は、閾値ＴＨｄ未満であると判断される。

削除幅ＤＷ２が閾値ＴＨｄ未満である場合には（Ｓ１３０：ＮＯ）、Ｓ１４０にて、ＣＰＵ２１０は、第１削除済ページデータに対して、第２外縁削除処理を実行する。削除幅ＤＷ１が閾値ＴＨｄ以上である場合には（Ｓ１３０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１４０をスキップして、Ｓ１５０に処理を進める。

図６（Ｂ）の第２外縁削除処理が開始されると、Ｓ３００では、ＣＰＵ２１０は、注目ページ画像に対応する第１削除済ページ画像の外縁に沿う所定領域ＳＡを解析する。所定領域ＳＡは、例えば、図８（Ｂ）の第１削除済ページ画像ＣＩ２２ａ内に示すように、注目ページ画像の一端（図８（Ｂ）では左端）の近傍の領域である。所定領域ＳＡは、想定される注目ページ画像の種類（例えば、文書）に基づいて、注目ページ画像のオブジェクトを含まないと考えられる範囲内に設定される。解析によって、例えば、所定領域ＳＡ内に含まれる画素のＲＧＢ値の範囲が特定される。例えば、図８（Ｂ）の第１削除済ページ画像ＣＩ２２ａの所定領域ＳＡが解析される場合には、背景Ｂｇ２を構成する地色の部分の色（例えば、白）と模様の色（例えば、青）と示すＲＧＢ値の範囲が特定される。

Ｓ３１０では、ＣＰＵ２１０は、Ｓ３００での解析結果に基づいて第２背景色範囲を決定する。例えば、解析によって特定されたＲＧＢ値の範囲よりも僅かに広い範囲が第２背景色範囲として決定される。例えば、図８（Ｂ）の第１削除済ページ画像ＣＩ２２ａの所定領域ＳＡが解析される場合に第２背景色範囲は、図８（Ｂ）の背景Ｂｇ２の地色の部分の色に対応する範囲と、背景Ｂｇ２の模様の色に対応する範囲と、に決定される。

Ｓ３２０では、ＣＰＵ２１０は、第２背景色範囲に基づいて、第１削除済ページデータに対して二値化処理を実行して、第２背景画素を特定する。具体的には、ＣＰＵ２１０は、第１削除済ページ画像の複数個の画素のうち、第２背景色範囲内のＲＧＢ値を有する画素を、第２背景画素として特定する。ＣＰＵ２１０は、第１削除済ページ画像の複数個の画素のうち、第２背景色範囲外のＲＧＢ値を有する画素を、オブジェクト画素として特定する。所定領域ＳＡを解析する第２外縁削除処理の手法によれば、例えば、注目ページ画像の背景が、複数色で示される場合に、適切に背景画素とオブジェクト画素とを分離できる。

図８（Ｂ）の第１削除済ページ画像ＣＩ２２ａが処理される場合には、背景Ｂｇ２のうち、地色の部分を構成する画素と模様を構成する画素との両方が適切に第２背景画素として特定される。

Ｓ３３０では、ＣＰＵ２１０は、特定された複数個の第２背景画素に基づいて、第１削除済ページ画像の第２外縁領域ＯＲ２を特定する。具体的な第２外縁領域ＯＲ２の特定手法は、例えば、図６（Ａ）のＳ２３０の第１外縁領域ＯＲ１の特定手法と同じである。

図８（Ｂ）に示すように、第１削除済ページ画像ＣＩ２２ａが処理される場合には、オブジェクトＴＸ、ＦＴ、ＰＮに外接する外接矩形ＯＳよりも外側の領域が第２外縁領域ＯＲ２として特定される。

Ｓ３４０では、ＣＰＵ２１０は、第１削除済ページ画像から第２外縁領域ＯＲ２を削除して、第１削除済ページ画像から第２外縁領域ＯＲ２が削除された画像示す第２削除済ページデータを生成する。第２削除済ページデータによって示される画像を第２削除済ページ画像とも呼ぶ。図８（Ｃ）には、第１削除済ページ画像ＣＩ１２から第２外縁領域ＯＲ２が削除された第２削除済ページ画像ＣＩ２２ｂが図示されている。

Ｓ１５０に処理が進められた時点で、第１外縁削除処理のみが実行されている場合と、第１外縁削除処理と第２外縁削除処理との両方が実行されている場合と、がある。第１外縁削除処理のみが実行されている場合には、第１削除済ページデータがＳ１５０～Ｓ１７０の処理対象のデータである。第１外縁削除処理と第２外縁削除処理との両方が実行されている場合には、第２削除済ページデータがＳ１５０～Ｓ１７０の処理対象のデータである。Ｓ１５０～Ｓ１７０の処理対象のデータを外縁削除済ページデータと呼び、外縁削除済ページデータによって示される画像を外縁削除済ページ画像と呼ぶ。

Ｓ１５０では、ＣＰＵ２１０は、外縁削除済ページデータが生成される際の削除幅ＤＷ２は、閾値ＴＨｅ以上であるか否かを判断する。外縁削除済ページデータが生成される際に、第１外縁削除処理のみが実行されている場合には、削除幅ＤＷ２は、Ｓ１３０にて用いられる上述したＤＷ１と同じである。外縁削除済ページデータが生成される際に、第１外縁削除処理と第２外縁削除処理との両方が実行されている場合には、削除幅ＤＷ２は、第１外縁削除処理と第２外縁削除処理とで削除された合計の削除幅である。

例えば、外縁削除済ページ画像が図８（Ｃ）の第２削除済ページ画像ＣＩ２２ｂであるである場合には、削除幅ＤＷ２は、２回の削除処理にて削除された外縁領域の左右方向の幅（ΔＲ＋ΔＬ）と、上下方向の幅（ΔＵ＋ΔＢ）と、のうちの大きな方の値である（図８（Ａ）参照）。

ここで、本ステップにて、削除幅ＤＷ２が閾値ＴＨｅ以上であるか否かを判断するのは、注目ページ画像が、章や書類の最初のページ画像であるか否かを判断するためである。図３に示すように、章や書類の最初のページ画像ＰＩ１１、ＰＩ２１は、タイトルＴＴ１、ＴＴ２などの少量の文章だけを含むことが多いので、余白が多くなる可能性が高い。このために、削除幅ＤＷ２が通常の余白と比較して過度に大きい場合には、注目ページ画像が、章や書類の最初のページ画像であると判断される。このために、例えば、本ステップにて用いられる閾値ＴＨｅは、例えば、Ｓ１３０にて用いられる閾値ＴＨｄよりも大きな値である。

削除幅ＤＷ２が閾値ＴＨｅ以上である場合には（Ｓ１５０：ＹＥＳ）、Ｓ１６０にて、ＣＰＵ２１０は、追加削除用のテンプレート情報を削除する。テンプレート情報は、詳細は後述するが、本実施例では、ページ画像におけるページ数ＰＮの位置を示す情報である。削除幅ＤＷ２が閾値ＴＨｅ以上である場合には、章や書類が切り替わるために、ページ数ＰＮなどのレイアウトが変わる可能性がある。このために、この場合には、テンプレート情報が削除される。

削除幅ＤＷ２が閾値ＴＨｅ未満である場合には（Ｓ１５０：ＮＯ）、ＣＰＵ２１０は、Ｓ１６０をスキップして、Ｓ１７０に処理を進める。

Ｓ１７０では、ＣＰＵ２１０は、外縁削除済ページデータに対して、追加削除処理を実行する。追加削除処理は、外縁削除済ページデータによって示される外縁削除済ページ画像内の余白をさらに削除する処理である。以下では、図１０は、追加削除処理のフローチャートである。図１１は、追加削除処理の説明図である。

Ｓ４０５では、ＣＰＵ２１０は、外縁削除済ページ画像の周囲に所定幅（例えば、１０画素分）の余白ＡＡを付加する。図１１（Ａ）には、図８（Ｃ）の第２削除済ページ画像ＣＩ２２ｂに余白ＡＡが付加されたページ画像ＣＩが図示されている。余白ＡＡを付加するのは、Ｓ４１０のラベリング処理において、オブジェクト画素が画像の端に接していると、ラベリング処理が適切に実行できない場合があるためである。以下では、図１１（Ａ）のページ画像ＣＩが処理対象のページ画像であるとして説明を行う。

Ｓ４１０では、ＣＰＵ２１０は、ページ画像ＣＩのオブジェクト領域ＯＡを特定する。具体的には、ＣＰＵ２１０は、ページ画像ＣＩ内の複数個のオブジェクト画素に対してラベリング処理を実行する。オブジェクト画素には、例えば、図６のＳ２１０にて二値化処理を実行した際に特定されたオブジェクト画素が用いられる。例えば、ＣＰＵ２１０は、連続する一つながりの複数個のオブジェクト画素で構成される画素群に、１個の識別子を割り当て、互いに離れた複数個のオブジェクト画素で構成される複数個の画素群に、互いに異なる識別子を割り当てる。ＣＰＵ２１０は、さらに、複数個の画素群のうち、互いの距離が所定の基準長より短い２以上の画素群をグループ化して、グループごとに同じ識別子を割り当てる。ＣＰＵ２１０は、同じ識別子が割り当てられた１グループの画素群に外接する外接矩形を特定し、その外接矩形の領域を１個のオブジェクト領域ＯＡとして特定する。

例えば、図１１（Ａ）のページ画像ＣＩが処理対象である場合には、文字ＴＸを含むオブジェクト領域ＯＡ１、ＯＡ２と、ページ数ＰＮを含むオブジェクト領域ＯＡ３と、欄外文字ＦＴを含むオブジェクト領域ＯＡ４と、が特定される。

Ｓ４１５では、ＣＰＵ２１０は、特定されたオブジェクト領域の中から、最も面積が大きな領域を主要オブジェクト領域として特定する。例えば、図１１（Ａ）の例では、オブジェクト領域ＯＡ１が主要オブジェクト領域として特定される。

Ｓ４２０では、ＣＰＵ２１０は、テンプレート情報の使用設定は有効であるか否かを判断する。図２のＳ３０にて、取得される指示には、図４（Ｂ）の選択ウインドウＳＷのチェックボックスＣＢを介して入力されるテンプレート情報の使用設定の指示が含まれている。ＣＰＵ２１０は、当該使用設定の指示に基づいて、テンプレート情報の使用設定は有効であるか否かを判断する。

テンプレート情報の使用設定が有効である場合には（Ｓ４２０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ４２５に処理を進める。テンプレート情報の使用設定が無効である場合には（Ｓ４２０：ＮＯ）、ＣＰＵ２１０は、Ｓ４４０に処理を進める。

Ｓ４２５では、ＣＰＵ２１０は、ページ画像ＣＩは、偶数ページの画像であるか、奇数ページの画像であるかを判断する。対象ファイルＰＦ（例えば、ＰＤＦファイル）には、各ページデータにページ数を示す情報が関連付けられている。ＣＰＵ２１０は、ページ画像ＣＩの元となった注目ページデータに関連付けられた情報に基づいてページ数を特定し、ページ画像ＣＩが、偶数ページの画像であるか、奇数ページの画像であるかを判断する。

ページ画像ＣＩが偶数ページの画像である場合には（Ｓ４２５：ＹＥＳ）、Ｓ４３０にて、ＣＰＵ２１０は、偶数ページ用のテンプレート情報が保存されているか否かを判断する。別のページ画像を処理する際に、偶数ページ用のテンプレート情報が不揮発性記憶装置２２０や揮発性記憶装置２３０に保存されている場合がある（後述するＳ４４５）。

偶数ページ用のテンプレート情報が保存されている場合には（Ｓ４３０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ４５０に処理を進める。偶数ページ用のテンプレート情報が保存されていない場合には（Ｓ４３０：ＮＯ）、ＣＰＵ２１０は、Ｓ４４１に処理を進める。

ページ画像ＣＩが奇数ページの画像である場合には（Ｓ４２５：ＮＯ）、Ｓ４３５にて、ＣＰＵ２１０は、奇数ページ用のテンプレート情報が保存されているか否かを判断する。別のページ画像を処理する際に、奇数ページ用のテンプレート情報が不揮発性記憶装置２２０や揮発性記憶装置２３０に保存されている場合がある（後述するＳ４４６）。

奇数ページ用のテンプレート情報が保存されている場合には（Ｓ４３５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ４５５に処理を進める。奇数ページ用のテンプレート情報が保存されていない場合には（Ｓ４３５：ＮＯ）、ＣＰＵ２１０は、Ｓ４４２に処理を進める。

Ｓ４４０、Ｓ４４１、Ｓ４４２では、ＣＰＵ２１０は、テンプレート情報を用いずに、ページ数領域を特定する。ページ数領域は、特定済みの複数個のオブジェクト領域のうち、主要オブジェクト領域を除いた領域の中から特定される。図１１の例では、ＣＰＵ２１０は、オブジェクト領域ＯＡ１を除いたオブジェクト領域ＯＡ２～ＯＡ４のそれぞれに対して文字認識処理を実行して、各オブジェクト領域内の１以上の文字を特定する。文字認識処理には、公知のＯＣＲ（Optical Character Reader）技術にて利用されるアルゴリズムが用いられる。ＣＰＵ２１０は、各オブジェクト領域内の文字が、特定のパターンに合致するか否かを判断する（パターンマッチング）。特定のパターンは、例えば、ページ数ＰＮとして想定される１～４桁の整数をｎとすると、「ｎ」、「Ｐ．ｎ」、「Ｎｏ．ｎ」である。図１１の例では、ページ数ＰＮを示すオブジェクト領域ＯＡ３がページ数領域として特定される。

Ｓ４４５、Ｓ４４６では、ＣＰＵ２１０は、偶数ページまたは奇数ページ用のテンプレート情報を生成する。処理対象のページ画像ＣＩが偶数ページの画像である場合には、偶数ページ用のテンプレート情報が生成され、処理対象のページ画像ＣＩが奇数ページの画像である場合には、奇数ページ用のテンプレート情報が生成される。テンプレート情報は、例えば、ページ画像ＣＩにて特定されたページ数ＰＮの位置を示す座標情報である。同じ章や書類に属するページ画像では、ページ数ＰＮはほぼ同じ位置に存在するので、テンプレート情報が生成された後は、テンプレート情報を用いることで、ページ数領域の特定を高速化することができる。偶数ページと奇数ページとでは、ページ数ＰＮの位置が異なる場合があるので、本実施例では、偶数ページ用のテンプレート情報と、奇数ページ用のテンプレート情報と、がそれぞれ生成される。

Ｓ４５０では、ＣＰＵ２１０は、偶数ページ用のテンプレート情報を用いてページ領域を特定する。Ｓ４５５では、ＣＰＵ２１０は、偶数ページ用のテンプレート情報を用いてページ領域を特定する。例えば、テンプレート情報によって示されるページ画像ＣＩ上の位置にあるオブジェクト領域がページ数領域として特定される。この場合には、Ｓ４４０のパターンマッチングを行う必要がないので、上述したように高速にページ数領域が特定される。

Ｓ４６０では、ＣＰＵ２１０は、ページ数領域と他のオブジェクト領域とのオブジェクトの間の隙間領域ＧＡを特定する。例えば、ページ数領域は、ページ画像ＣＩの上端、または、下端の近傍に特定される場合が多い。図１１の例では、特定されるページ数領域は、下端の近傍のオブジェクト領域ＯＡ３である。この場合には、例えば、ＣＰＵ２１０は、オブジェクト領域ＯＡ３と、オブジェクト領域ＯＡ３より上方のオブジェクト領域ＯＡ２と、の間に位置する左右方向（Ｘ方向）に延びる１行分のラスタラインを注目ラインとする。ＣＰＵ２１０は、注目ラインにオブジェクト画素が含まれるか否かを１行ずつ確認する。ＣＰＵ２１０は、オブジェクト領域ＯＡ３とオブジェクト領域ＯＡ２との間に位置し、オブジェクト画素が含まれないラスタラインで構成される領域を隙間領域ＧＡとして特定する（図１１（Ａ））。

Ｓ４６０では、ＣＰＵ２１０は、Ｓ４０５にて付加された余白ＡＡと、Ｓ４６０にて特定された隙間領域ＧＡと、をページ画像ＣＩから削除する。図１１（Ｂ）には、余白ＡＡと隙間領域ＧＡとが削除された後のページ画像ＣＩａが示されている。このページ画像ＣＩａでは、隙間領域ＧＡが削除される前のページ画像ＣＩ（図１１（Ａ））における隙間領域ＧＡよりも上側の部分と隙間領域ＧＡよりも下側の部分とが隣接するように、上側の部分と下側の部分とが接続されている。これによって、ページ画像ＣＩａにおけるオブジェクト領域ＯＡ３とオブジェクト領域ＯＡ２との間の距離は、隙間領域ＧＡが削除される前のページ画像ＣＩにおけるオブジェクト領域ＯＡ３とオブジェクト領域ＯＡ２との間の距離よりも短くされる。また、ページ画像ＣＩａの上下方向の長さは、ページ画像ＣＩの上下方向の長さよりも短くなる。

Ｓ１８０では、ＣＰＵ２１０は、隙間領域ＧＡが削除された後のページ画像ＣＩａにおいて、ページ数ＰＮを含む帯状領域ＳＤに他のオブジェクトがあるか否かを判断する。帯状領域ＳＤの上下方向の長さは、ページ画像ＣＩａの上下方向の長さと等しい。ページ数ＰＮがページ画像ＣＩａの左端の近傍に位置する場合には、帯状領域ＳＤは、ページ画像ＣＩａの左端に沿って上下方向（Ｙ方向）に延びる領域である。この場合には、帯状領域ＳＤの左右方向の幅は、ページ画像ＣＩａの左端からページ数ＰＮの右端までの長さである。ページ数ＰＮがページ画像ＣＩａの右端の近傍に位置する場合には、帯状領域ＳＤは、ページ画像ＣＩａの右端に沿って上下方向に延びる領域である。この場合には、帯状領域ＳＤの左右方向の幅は、ページ画像ＣＩａの右端からページ数ＰＮの左端までの長さである。

図１１（Ｂ）の例では、ページ画像ＣＩａの左端に沿う帯状領域ＳＤにページ数ＰＮとは異なるオブジェクトはないので、帯状領域ＳＤに他のオブジェクトはないと判断される。画像によっては、帯状領域ＳＤに、例えば、見出しを示すオブジェクトがある場合がある。この場合には、帯状領域ＳＤに他のオブジェクトがあると判断される。

帯状領域ＳＤに他のオブジェクトがない場合には（Ｓ４７０：ＮＯ）、Ｓ４７５にて、ＣＰＵ２１０は、ページ数ＰＮを帯状領域ＳＤよりも画像の中央側に移動可能であるか否かを判断する。例えば、図１１（Ｂ）に示すように、ページ数ＰＮの右側に隣接する領域ＶＡに他のオブジェクトがない場合には、ページ数ＰＮは移動可能であると判断される。領域ＶＡに、欄外文字ＦＴが位置している場合には、ページ数ＰＮは移動可能でないと判断される。

ページ数ＰＮは移動可能であると判断される場合には（Ｓ４７５：ＹＥＳ）、Ｓ４８０にて、ＣＰＵ２１０は、ページ画像ＣＩａにおいてページ数ＰＮを帯状領域ＳＤよりも画像の中央側に移動させる。図１１（Ｂ）の例では、ＣＰＵ２１０は、ページ画像ＣＩａにおいて、ページ数ＰＮのＸ方向の位置を帯状領域ＳＤ内の位置から領域ＶＡ内の位置に変更する。図１１（Ｃ）には、ページ数ＰＮが移動された後のページ画像ＣＩｂが図示されている。

Ｓ４８５では、ＣＰＵ２１０は、ページ数ＰＮが移動された後のページ画像ＣＩｂから帯状領域ＳＤを削除する。図１１（Ｄ）には、帯状領域ＳＤが削除された後のページ画像ＣＩｃが図示されている。ページ画像ＣＩｃは、余白の削除処理が実行される場合に、最終的に表示装置２７０に表示される画像である。

図５のＳ１８０では、ＣＰＵ２１０は、処理対象のページデータを全て処理したか否かを判断する。処理対象のページデータが全て処理された場合には（Ｓ１８０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１９０に処理を進める。未処理の処理対象のページデータがある場合には（Ｓ１８０：ＮＯ）、ＣＰＵ２１０は、Ｓ１００に戻る。

Ｓ１９０では、ＣＰＵ２１０は、表示装置２７０の画面に表示される画像を更新する。例えば、ＣＰＵ２１０は、図２のＳ３０にて取得された表示更新指示に基づいて、表示すべきページ画像が、余白の削除処理が実行されていないページ画像（元ページ画像とも呼ぶ。例えば、図３のページ画像ＰＩ２２）であるか、余白の削除処理が実行された後のページ画像（処理済ページ画像とも呼ぶ。例えば，図１１（Ｄ）のページ画像ＣＩｃ）であるか、を判断する。処理済ページ画像を示すデータを処理済ページデータとも呼ぶ。処理済ページ画像を表示すべき場合には、この時点までに処理済ページデータが生成されている。ＣＰＵ２１０は、元ページ画像と処理済ページ画像とのうち、表示すべきページ画像を表示装置２７０の画面に表示する。

以上説明した本実施例では、図２のＳ１０にて対象ファイルＰＦを取得するＣＰＵ２１０の機能は、画像取得機能の例である。図６（Ａ）のＳ２００～Ｓ２３０にて、第１外縁領域ＯＲ１ａ、ＯＲｂを特定するＣＰＵ２１０の機能は、第１外縁特定機能の例である。図６（Ｂ）のＳ３００～Ｓ３３０にて、第２外縁領域ＯＲ２を特定するＣＰＵ２１０の機能は、第２外縁特定機能の例である。図５の１９０にて、外縁領域が削除された処理済ページ画像（例えば、図１１（Ｄ）のページ画像ＣＩｃ）を表示装置２７０に表示するＣＰＵ２１０の機能は、画像出力機能の例である。そして、図５のＳ１２０にて、第１外縁削除処理が実行された後に、削除幅ＤＷ１が閾値ＴＨｄ以上である場合に、Ｓ１４０にて第２外縁削除処理は実行されず、削除幅ＤＷ１が閾値ＴＨｄ未満である場合に、Ｓ１４０にて第２外縁削除処理は実行される。換言すれば、第１外縁削除処理にて特定された第１外縁領域（例えば、ＯＲ１ａ、ＯＲ１ｂ）のサイズが基準以上である場合に、第１外縁領域ＯＲ１ａが削除された第１の処理済画像が表示装置２７０に表示され、第１外縁領域ＯＲ１ｂのサイズが基準未満である場合に、第１外縁領域と第２外縁領域との両方が削除された第２の処理済画像が表示装置２７０に表示される。この結果、第１背景色範囲のＲＧＢ値を有する複数個の第１背景画素に基づいて精度良く外縁領域を特定できない場合であっても（例えば、図８（Ｂ））、対象ページ画像から外縁領域が適切に削除された処理済画像を表示装置２７０に表示できる（例えば、図８（Ｃ）、図１１）。また、第１外縁領域が適切に特定できる場合には、図２のＳ１４０の第２外縁削除処理は実行されないので、外縁を削除するための処理負荷を低減できる。

また、本実施例では、図６（Ａ）のＳ２００～Ｓ２３０にて、第１外縁領域ＯＲ１ａ、ＯＲｂを特定するＣＰＵ２１０の機能と、図６（Ｂ）のＳ３００～Ｓ３３０にて、第２外縁領域ＯＲ２を特定するＣＰＵ２１０の機能との全体は、外縁特定機能の例である。図１０のＳ４１０にて、オブジェクト領域ＯＡ１～ＯＡ４を特定する機能は、領域特定機能の例である。そして、ＣＰＵ２１０の画像出力機能は、外縁領域（例えば、図１１のＯＲ１ｂとＯＲ２）と、オブジェクト領域ＯＡ３とオブジェクト領域ＯＡ２との間の隙間領域（例えば、図１１のＧＡ）と、が削除された処理済画像（例えば、図１１のＣＩｃ）を出力する（図６（Ａ）のＳ２４０、図６（Ｂ）のＳ３４０、図１０のＳ４６５）。この結果、対象画像から余分な領域が適切に削除された処理済画像を出力できる。

例えば、端末装置２００が携帯型である場合には、表示装置２７０の画面のサイズは比較的小さい場合がある。このような場合には、仮に外縁領域ＯＲ１ａ、ＯＲ１ｂ、ＯＲ２が削除されていないページ画像が表示されると、ページ画像がユーザにとって見難い態様で表示されてしまう。例えば、ページ画像内のオブジェクト（例えば、文字ＴＸ）が過度に小さく表示され得る。本実施例によれば、このような不都合を抑制して、ページ画像を見やすい態様で表示装置２７０に表示することができる。

さらに、上記実施例では、図６（Ａ）のＳ２４０、図６（Ｂ）のＳ３４０、図５のＳ１７０にて、外縁領域が削除された画像（例えば、図１１（Ｄ）のページ画像ＣＩｃ）を示す処理済画像データを生成するＣＰＵ２１０は、生成機能の例である。この結果、例えば、対象画像データよりもデータサイズが小さな処理済画像データを生成、出力できる。このために、例えば、生成された処理済画像データを不揮発性記憶装置２２０などに保存しておく場合には、必要な不揮発性記憶装置２２０の容量を低減できる。

さらに、上記実施例では、図５のＳ１７０の追加削除処理を実行するＣＰＵ２１０の機能は、加工処理の例である。追加削除処理が行われることによって、外縁領域に加えて、例えば、隙間領域ＧＡや帯状領域ＳＤがさらに削除された処理済画像を出力できる。

さらに、本実施例の追加削除処理（図１０）は、隙間領域ＧＡを削除することによって、処理済ページ画像ＣＩｃにおけるページ数ＰＮ（オブジェクト領域ＯＡ３）と文字ＴＸ（オブジェクト領域ＯＡ２）との間の間隔を、元のページ画像ＰＩ２２における当該間隔よりも短くする処理（図１０のＳ４６０、Ｓ４６５）を含む。この結果、隙間領域ＧＡがさらに削除された処理済ページ画像ＣＩｃを出力できる。この結果、例えば、ページ画像を表示装置２７０にさらに見やすい態様で表示できる。

ここで、ページ数ＰＮは、オブジェクトＴＸの領域ＯＡ１、ＯＡ２の周囲の特定の位置にあり、かつ、特定条件を満たすオブジェクトである、と言うことができる。本実施例では、特定条件は、上述したように、オブジェクトを構成する文字が、特定の文字のパターンに合致することである。

さらに、本実施例の追加削除処理は、ページ数ＰＮのＸ方向の位置を変更することによって、ページ数ＰＮを帯状領域ＳＤとは異なる位置に配置する第１処理（図１０のＳ４８０）と、帯状領域ＳＤを削除する第２処理（図１０のＳ４８５）と、を含む。この結果、文字ＴＸの周囲に位置する帯状領域ＳＤがさらに削除され、かつ、ページ数ＰＮを含む処理済ページ画像ＣＩｃを出力できる。この結果、例えば、ページ画像を表示装置２７０にさらに見やすい態様で表示できる。

さらに、本実施例の追加削除処理では、第１のページデータが処理対象である場合に、テンプレート情報の生成と保存が行われた（図１０のＳ４４５、Ｓ４４６）後、第２のページデータが処理対象である場合に、保存されたテンプレート情報を用いて、ページ数ＰＮが特定される（図１０のＳ４５０、Ｓ４５５）。すなわち、第２のページデータに対して実行される追加削除処理は、第１のページデータに対して実行される追加削除処理にて生成されるテンプレート情報を用いて実行される。この結果、第２のページデータに対して実行される追加削除処理の負荷を軽減できるので、例えば、処理を高速化できる。

さらに、本実施例では、図２のＳ３０にてユーザから選択ウインドウＳＷ（図４（Ｂ））を介して余白の削除に関する指示を取得するＣＰＵ２１０の機能は、指示取得機能の例である。ＣＰＵ２１０は、取得される指示に応じて異なる出力処理を実行する（図５のＳ１１０等）。すなわち、余白の削除を実行する指示が取得される場合には、第１の出力処理（例えば、処理済ページ画像ＣＩｃを出力処理）が実行され、余白を維持する指示が取得される場合に、第１の出力処理とは異なる第２の出力処理（例えば、元のページ画像ＣＩ２２ｂを出力する処理）が実行される。この結果、ユーザの指示に応じて、対象ファイルによって示されるページ画像を適切に出力することができる。

以上の説明から解るように、本実施例のオブジェクトＴＸ、ＦＧは、第１種のオブジェクトの例であり、ページ数ＰＮは、第２種のオブジェクトの例である。また、本実施例のページ画像ＣＩ（図１１（Ａ））の隙間領域ＧＡとオブジェクト領域ＯＡ３との全体、および、ページ画像ＣＩ（図１１（Ｂ））のページ画像ＣＩａのページ数ＰＮを含む帯状領域ＳＤは、特定領域の例である。本実施例の追加削除処理（図１０）は、加工処理の例である。

Ｂ．変形例：
（１）上記実施例では、処理済ページ画像ＣＩｃは、表示装置２７０に表示される形態で出力されるが、これに限られない。例えば、処理済ページ画像を示すデータが、例えば、ＵＳＢメモリなどのストレージに保存される形態で出力されても良い。また、処理済ページ画像を示すデータが、外部機器、例えば、他の端末にネットワークを介して送信される形態で出力されても良い。

（２）上記実施例では、処理済ページ画像ＣＩｃを示すビットマップデータが、元のページデータとは別に生成されている。これに代えて、例えば、元のページ画像のうち、処理済ページ画像として表示すべき領域を規定する情報（例えば、座標情報）のみが生成されても良い。この場合には、当該座標情報に基づいて、表示装置２７０に処理済ページ画像を表示する際に、元のページデータのうち、表示すべき領域のデータだけが表示装置２７０に表示される。これによって、表示装置２７０は、処理済ページ画像ＣＩｃを適切に表示することができる。これらの座標情報は、例えば、ＰＤＦ形式の対象ファイルＰＦに保存されても良い。

（３）上記実施例の第１外縁削除処理および第２外縁削除処理の手法は、一例であって、様々な変形が可能である。例えば、第１外縁削除処理では、例えば、ページ画像の３個の成分値（Ｒ値、Ｇ値、Ｂ値）のそれぞれについて、ページ画像の複数個の画素を成分値に応じて分類したヒストグラムが生成され、該ヒストグラムの最も高い２個のピークが特定されても良い。この場合には、例えば、該２個のピークの中間の値が、背景色範囲を規定するための閾値に決定される。また、第１外縁削除処理および第２外縁削除処理では、例えば、ページ画像の外縁部分と中央部分とがそれぞれ解析され、外縁部分に存在せず、中央部分にのみ存在する色の範囲がオブジェクトの色の範囲として決定され、オブジェクトの色の範囲を除いた範囲が背景色範囲として決定されても良い。

（４）上記実施例の追加削除処理は適宜に変更され得る。例えば、上記実施例の追加削除処理では、ページ数ＰＮの領域と、他のオブジェクトの領域との間の隙間領域が削除されている。これに限らず、例えば、書類の本文を示す領域と、ヘッダを示す領域と、の間の隙間領域が削除されても良い。あるいは、書類の本文を示す領域と、左右の端に沿って配置された見出しの領域と、の間の隙間領域が削除されても良い。

上記実施例の追加削除処理では、隙間領域ＧＡを削除する処理（図１０のＳ４６０、Ｓ４６５）と、ページ数ＰＮを含む帯状領域ＳＤを削除する処理（図１０のＳ４７０～Ｓ４８５）と、との両方が実行されている。これに代えて、これらの処理のうちの一方だけが実行されても良い。

ページ数領域は、例えば、ページ数領域の位置や文字のパターンを学習させた機械学習モデルを用いて、特定されても良い。

テンプレート情報を用いてページ数領域を特定する処理（図１０のＳ４５０、Ｓ４５５）は省略されても良い。この場合には、常に、テンプレート情報を用いずにページ数領域が特定される（図１０のＳ４４０）。

上記実施例の図５のＳ１２０の第１外縁削除処理とＳ１４０の第２外縁削除処理とＳ１７０の追加削除処理とのうち、第１外縁削除処理と第２外縁削除処理だけが実行され、追加削除処理が省略されても良い。あるいは、第１外縁削除処理と第２外縁削除処理のうちの一方と、追加削除処理と、が実行され、第１外縁削除処理と第２外縁削除処理のうちの他方が省略されても良い。また、例えば、図４（Ｂ）の選択ウインドウＳＷにおいて、ボタンＢＴ２が選択された場合には、第１外縁削除処理、第２外縁削除処理、追加削除処理のうち１又は２の処理が実行される。全ページにおいて余白削除が行われた対象ファイルに対し、さらに、余白削除指示があった場合に、例えば、ボタンＢＴ１が選択された場合に、第１外縁削除処理、第２外縁削除処理、追加削除処理のすべての処理が実行されてもよい。

（５）上記実施例では、対象ファイルＰＦは、ＰＤＦフォーマットに従う文書ファイルである。これに代えて、対象ファイルは、ＸＰＳファイル形式、各種のワープロ・アプリケーション用のファイル形式が採用可能である。また、対象ファイルＰＦは、例えば、１個の画像を示すファイル、例えば、スキャンデータのファイルや、ＪＰＥＧ形式の画像ファイルであっても良い。

（６）上記実施例の表示更新処理では、ページ画像から余白の削除が行われているが、これに加えて、例えば、見やすさのために少量の余白を外周に付加する処理や、ページ数が存在しない場合には、ページ数を付加する処理が行われても良い。

（７）上記各実施例では、図５の表示変更処理における余白の削除を実行する画像処理装置は、スマートフォンなどの端末装置２００である。これに代えて、画像処理装置は、例えば、デジタルカメラ、スキャナであってもよい。この場合には、例えば、デジタルカメラ、スキャナが、原稿の撮影あるいは読取を実行して、原稿を示すＰＤＦファイルを生成する際に、余白を削除する処理を実行しても良い。

また、余白を削除する処理は、端末装置から対象ファイルＰＦを受信したサーバによって実行されても良い。この場合には、例えば、サーバは、処理済ページ画像を示す処理済ページデータを生成し、端末装置に送信する。端末装置は、処理済ページデータを用いて、処理済ページ画像を表示装置に表示する。このようなサーバは、ネットワークを介して互いに通信可能な複数個の計算機が、画像処理装置としての機能を一部ずつ分担して、全体として、一の画像処理の機能を実現してもよい。この場合には、ネットワークを介して互いに通信可能な複数個の計算機の全体が、画像処理装置に対応する。

（８）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１の端末装置２００のＣＰＵ２１０が実行している処理の一部は、専用のハードウェア回路によって実現されてもよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２００…端末装置,２１０…ＣＰＵ,２２０…不揮発性記憶装置,２３０…揮発性記憶装置,２３１…バッファ領域,２６０…操作部,２７０…表示装置,２８０…通信インタフェース,ＣＰ…コンピュータプログラム,ＰＩ…ページ画像,ＦＧ…図表,ＦＴ…欄外文字,ＧＡ…隙間領域,ＨＧ１,ＨＧ２…ヒストグラム,ＯＡ１～ＯＡ４…オブジェクト領域,ＯＲ１,ＯＲ１ａ,ＯＲ１ｂ…第１外縁領域,ＯＲ２…第２外縁領域,ＰＦ…対象ファイル,ＰＩ…ページ画像,ＰＮ…ページ数,ＳＡ…所定領域,ＳＤ…帯状領域,ＳＷ…選択ウインドウ,ＴＴ１,ＴＴ２…タイトル,ＴＸ…文字

Claims (13)

1. コンピュータプログラムであって、
   表示対象とすべき対象オブジェクトを含む対象画像を示す対象画像データを取得する画像取得機能と、
   前記対象画像の外縁に沿う外縁領域であって前記対象オブジェクトを含まない前記外縁領域を特定する第１外縁特定機能であって、前記対象画像の複数個の画素から第１範囲の値を有する複数個の第１画素を特定し、前記複数個の第１画素に基づいて特定される第１領域を前記外縁領域として特定する前記第１外縁特定機能と、
   前記対象画像の複数個の画素から前記第１範囲と異なる第２範囲の値を有する複数個の第２画素を特定し、前記複数個の第２画素に基づいて特定される第２領域を前記外縁領域として特定する第２外縁特定機能と、
   前記外縁領域が削除された処理済画像であって前記対象オブジェクトを含む前記処理済画像を出力する画像出力機能と、
   をコンピュータに実現させ、
   前記画像出力機能は、
   前記第１領域のサイズが基準以上である場合に、前記第１領域が前記外縁領域として削除された第１の前記処理済画像を出力し、
   前記第１領域のサイズが基準未満である場合に、前記第１領域と前記第２領域とが前記外縁領域として削除された第２の前記処理済画像を出力する、コンピュータプログラム。
2. 請求項１に記載のコンピュータプログラムであって、さらに、
   前記外縁領域が削除された前記処理済画像を示す処理済画像データを生成する生成機能をコンピュータに実現させ、
   前記画像出力機能は、前記処理済画像データを出力する、コンピュータプログラム。
3. 請求項１または２に記載のコンピュータプログラムであって、
   前記画像出力機能は、前記処理済画像を表示装置の画面に表示する、コンピュータプログラム。
4. 請求項１～３のいずれかに記載のコンピュータプログラムであって、
   前記対象オブジェクトは、第１種のオブジェクトと、前記第１種のオブジェクトの周囲にある第２種のオブジェクトを含み、
   前記コンピュータプログラムは、さらに、
   前記第２種のオブジェクトを含み、前記第１種のオブジェクトを含まない特定領域に対して、前記特定領域の少なくとも一部を削除する処理を含む加工処理を実行する加工機能をコンピュータに実現させ、
   前記画像出力機能は、前記外縁領域が削除され、かつ、前記加工処理を実行された前記処理済画像を出力する、コンピュータプログラム。
5. 請求項４に記載のコンピュータプログラムであって、
   前記特定領域は、前記第１種のオブジェクトと前記第２種のオブジェクトとの間に位置する隙間領域を含み、
   前記加工処理は、前記隙間領域を削除することによって、前記処理済画像における前記第１種のオブジェクトと前記第２種のオブジェクトとの間の間隔を、前記対象画像における前記間隔よりも短くする処理である、コンピュータプログラム。
6. 請求項４または５に記載のコンピュータプログラムであって、
   前記第２種のオブジェクトは、前記第１種のオブジェクトの周囲の特定の位置にあり、かつ、特定条件を満たすオブジェクトである、コンピュータプログラム。
7. 請求項４～６のいずれかに記載のコンピュータプログラムであって、
   前記特定領域は、前記第２種のオブジェクトを含み、前記第２種のオブジェクトとは異なるオブジェクトを含まない帯状の領域であって、前記第１種のオブジェクトの周囲に位置し、第１方向に延びる、前記帯状の領域を含み、
   前記加工処理は、前記第２種のオブジェクトの前記第１方向と交差する第２方向の位置を変更することによって前記第２種のオブジェクトを前記帯状の領域とは異なる位置に配置する第１処理と、前記帯状の領域を削除する第２処理と、を含む、コンピュータプログラム。
8. 請求項４～７のいずれかに記載のコンピュータプログラムであって、
   前記対象画像データは、対象ファイルに含まれる第１のページデータと第２のページデータとを含み、
   前記加工処理は、第１の加工処理と、前記第１の加工処理にて生成される領域情報であって前記第１の加工処理にて削除すべき領域を特定するための前記領域情報を用いて実行される第２の加工処理と、を含み、
   前記加工機能は、前記第１のページデータによって示される画像の第１の前記特定領域に対して前記第１の加工処理を実行し、前記第２のページデータによって示される画像の第２の前記特定領域に対して前記第２の加工処理を実行する、コンピュータプログラム。
9. 請求項１～８のいずれかに記載のコンピュータプログラムであって、さらに、
   ユーザから前記外縁領域の削除に関する指示を取得する指示取得機能をコンピュータに実現させ、
   前記画像出力機能は、第１の指示が取得される場合に第１の出力処理を実行して前記処理済画像を出力し、第２の指示が取得される場合に前記第１の出力処理とは異なる第２の出力処理を実行して前記対象画像データに基づく出力画像であって前記対象オブジェクトを含む前記出力画像を出力する、コンピュータプログラム。
10. 請求項１～９のいずれかに記載のコンピュータプログラムであって、
    前記第１外縁特定機能は、
    前記対象画像の複数個の画素の値の分布を示すヒストグラムを生成し、
    前記ヒストグラムを用いて前記第１範囲を決定し、
    決定された前記第１範囲を用いて前記複数個の第１画素を特定する、コンピュータプログラム。
11. 請求項１～１０のいずれかに記載のコンピュータプログラムであって、
    前記第２外縁特定機能は、
    前記対象画像の外縁に沿う所定領域内の複数個の画素の値に基づいて前記第２範囲を決定し、
    決定された前記第２範囲を用いて前記複数個の第２画素を特定する、コンピュータプログラム。
12. 画像処理装置であって、
    表示対象とすべき対象オブジェクトを含む対象画像を示す対象画像データを取得する画像取得部と、
    前記対象画像の外縁に沿う外縁領域であって前記対象オブジェクトを含まない前記外縁領域を特定する第１外縁特定部であって、前記対象画像の複数個の画素から第１範囲の値を有する複数個の第１画素を特定し、前記複数個の第１画素に基づいて特定される第１領域を前記外縁領域として特定する前記第１外縁特定部と、
    前記対象画像の複数個の画素から前記第１範囲と異なる第２範囲の値を有する複数個の第２画素を特定し、前記複数個の第２画素に基づいて特定される第２領域を前記外縁領域として特定する第２外縁特定部と、
    前記外縁領域が削除された処理済画像であって前記対象オブジェクトを含む前記処理済画像を出力する画像出力部と、
    を備え、
    前記画像出力部は、
    前記第１領域のサイズが基準以上である場合に、前記第１領域が前記外縁領域として削除された第１の前記処理済画像を出力し、
    前記第１領域のサイズが基準未満である場合に、前記第１領域と前記第２領域とが前記外縁領域として削除された第２の前記処理済画像を出力する、画像処理装置。
13. 画像を表示するための表示方法であって、
    表示対象とすべき対象オブジェクトを含む対象画像を示す対象画像データを取得する画像取得工程と、
    前記対象画像の外縁に沿う外縁領域であって前記対象オブジェクトを含まない前記外縁領域を特定する第１外縁特定工程であって、前記対象画像の複数個の画素から第１範囲の値を有する複数個の第１画素を特定し、前記複数個の第１画素に基づいて特定される第１領域を前記外縁領域として特定する前記第１外縁特定工程と、
    前記対象画像の複数個の画素から前記第１範囲と異なる第２範囲の値を有する複数個の第２画素を特定し、前記複数個の第２画素に基づいて特定される第２領域を前記外縁領域として特定する第２外縁特定工程と、
    前記外縁領域が削除された処理済画像であって前記対象オブジェクトを含む前記処理済画像を表示装置の画面に表示する画像表示工程と、
    を備え、
    前記画像表示工程では、
    前記第１領域のサイズが基準以上である場合に、前記第１領域が前記外縁領域として削除された第１の前記処理済画像を表示し、
    前記第１領域のサイズが基準未満である場合に、前記第１領域と前記第２領域とが前記外縁領域として削除された第２の前記処理済画像を表示する、表示方法。
    
    

Images