JP6152633B2 - 表示制御装置及びプログラム - Google Patents

Description

本発明は、表示制御装置及びプログラムに関する。

近年、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）などのネットワーク技術、及び、携帯用端末装置に代表されるようにモバイルコンピューティングの発達により、音楽、書籍及び画像その他のあらゆるコンテンツを、データとして簡易に取り扱うことができるとともに、手軽にかつ容易に持ち運びができるようになってきている。

また、最近、新聞、雑誌又は書籍等を電子化したコンテンツデータを購入してスマートフォン又はタブレット型端末装置をはじめとする携帯端末装置において閲覧することも多くなってきている。

一方、このようなコンテンツデータの閲覧に用いられるデータ形式としては、ＥＰＵＢ（Ｅｌｅｃｔｒｏｎｉｃ ＰＵＢｌｉｃａｔｉｏｎ）などの表示サイズに合せてユーザが表示の組版体裁を自由に変更可能な文字コードベースで制作された形式、及び、編集者の編集意図を的確に再現することが可能な印刷ページ体裁を有する（すなわち、組版体裁が固定されている）ビットマップ形式が知られている。また、文字コードベースによって又はビットマップ形式によって制作可能なデータ形式としては、ＰＤＦ(Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ)形式も知られている。ただし、ＰＤＦ形式は、いずれの場合であっても、ユーザによって組版体裁を自由に変更させることを禁止しており、編集者の編集意図を的確に再現することが可能な体裁を有している。

また、印刷ページ体裁のビットマップ形式のデータに基づいて文書等の画像を表示する場合には、文字コードベースで制作されたビットマップ形式のデータに基づいて画像表示する場合に比べて、
（１）著作権の制約からソースの文字コードデータの入手が難しいなどの問題が発生しづらく、データの取り扱いが容易、及び
（２）、フォントに基づく文字化け、及び、レイアウトの乱れが発生することもない、
という利点を有している。

また、印刷ページ体裁のビットマップ形式は、紙ベースの資料をイメージデータとして取り込むだけでデータ化することが可能であるので、ユーザが自らデータ化する場合にも手軽に使用することができるという利点を有している。

しかしながら、印刷ページ体裁のビットマップ形式は、携帯用端末装置等の画面サイズの小さいもので閲覧する場合には、見やすさを確保するためにフォントサイズを大きくすると、１ページの一部しか表示画面には表示することができず、その一方、１ページ全体を表示させると、文字が小さくて読むことができない。

そこで、最近では、印刷ページ体裁のビットマップ形式において、種々の印刷ページ体裁のビットマップ文書などのコンテンツデータを分解及び再構成する方法が提案されている（例えば、特許文献１〜３）。

特開２００４−５４５３号公報 特表２００９−５３１７８９号公報 特開２０１１−２４２９８７号公報

しかしながら、上記特許文献１〜３にあっては、日本語特有の文書の縦書き、該当する漢字に付与するルビ又は禁則処理を含むコンテンツデータの分解及び再構成における具体的な手法については開示されていない。

本発明は、上記課題を解決するためになされたものであり、その目的は、印刷ページ体裁のビットマップ形式において、表示サイズに依存せずに閲覧性を向上させることが可能な表示制御装置等を提供することにある。

上述した課題を解決するため、本発明に係る表示制御装置等は、マトリクス状に配列された複数の画素によって形成された画像を表示手段に表示するための表示制御装置であって、少なくとも文書が画像化された前記画像を文書画像として前記表示手段にて表示するための画像データを外部又は記憶手段から取得する取得手段と、前記文書画像を表示する際の前記表示手段における表示領域のサイズを設定する設定手段と、前記取得された画像データに基づいて、前記文書画像における文書の行方向及び行送り方向を認識する認識手段と、前記文書画像の各画素値を２値化する２値化手段と、前記文書画像の文書の行方向に対する画素の配列ラインである第１配列ライン毎の、前記２値化された各画素における画素値に基づいて、前記文書画像の行を検出する行検出手段と、前記検出された行毎に、前記文書画像の文書の行送り方向における画素の配列ラインである第２配列ライン毎の、前記２値化された各画素における画素値に基づいて、各行に含まれる文字の区画を文字区画として検出する文字区画検出手段と、前記設定された表示領域の領域サイズに基づいて、前記検出された各文字区画を、当該表示領域に配置するための配置位置を決定する配置位置決定手段と、前記決定された各文字区画の配置位置に、前記文書画像の一部であって各文字区画に対応する区画画像を配置して前記表示領域に表示するための表示画像を生成する画像生成手段と、前記生成された画像を前記表示手段に出力する出力手段と、を備える構成を有している。

本発明に係る表示制御装置及びプログラムは、携帯端末装置等の表示手段の表示領域が小さい場合であっても、当該表示領域の領域サイズに依存せずに、ユーザの閲覧性を向上させることができる。表示領域に依存せずに、ユーザの閲覧性を向上させることができる。

本発明に係る一実施形態の携帯通信端末装置の概要構成を示すブロック図である。 本発明に関連する文字コードベースの文書を画像化する際の流れを説明するための図である。 本発明に関連する印刷ページ体裁のビットマップ形式によって画像化された文書を画像化する際の流れを説明するための図である。 本発明に関連する印刷ページ体裁のビットマップ形式によって画像化された文書の表示形式を説明するための図である。 本発明に係る携帯通信端末装置における効果の一例を説明するための図（その１）である。 本発明に係る携帯通信端末装置における効果の一例を説明するための図（その２）である。 一実施形態の文字配置解析処理部における２値化処理について説明するため図であり、２値化処理の一例を示す図である。 一実施形態の文字配置解析処理部における行検出処理について説明するため図（その１）である。 一実施形態の文字配置解析処理部における行検出処理について説明するため図（その１）である。 一実施形態の文字配置解析処理部における文字区画検出処理について説明するため図（その１）である。 一実施形態の文字配置解析処理部における文字区画検出処理について説明するため図（その２）である。 一実施形態の文字配置解析処理部における文字区画検出処理について説明するため図（その３）である。 一実施形態の文字配置解析処理部における文字区画検出処理について説明するため図（その４）である。 一実施形態の文字配置解析処理部における統合補正処理について説明するため図である。 一実施形態の文字配置解析処理部における見出し解析処理について説明するため図である。 一実施形態の文字配置解析処理部における字下げ解析処理について説明するため図である。 一実施形態の文字配置解析処理部におけるルビ解析処理について説明するため図である。 一実施形態の文字配置解析処理部における禁則文字解析処理について説明するため図である。 一実施形態の区画配置処理部における区画配置処理について説明するため図（その１）である。 一実施形態の区画配置処理部における区画配置処理について説明するため図（その２）である。 一実施形態の画像生成処理部における画像生成処理について説明するため図である。 一実施形態の携帯用端末装置における閲覧アプリケーションに基づく文書画像の表示処理の動作を示すフローチャートである。 一実施形態において、閲覧アプリケーション実行中における文字配置解析処理の動作を示すフローチャートである。 一実施形態において、閲覧アプリケーション実行中における区画配置処理の動作を示すフローチャート（その１）である。 一実施形態において、閲覧アプリケーション実行中における区画配置処理の動作を示すフローチャート（その２）である。 一実施形態において、閲覧アプリケーション実行中における区画配置処理の動作を示すフローチャート（その３）である。 一実施形態における横組みの場合における表示処理の一例を説明するための図である。 一実施形態における縦組みの場合における表示処理の一例を説明するための図である。 一実施形態に基づく変形例を説明するための図である。

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、携帯端末装置に対し、本発明に係る、表示制御装置及び、プログラムを適用した場合の実施形態である。

［１］携帯用端末装置の概要
まず、図１を用いて本実施形態における携帯用端末装置１０の概要について説明する。なお、図１は、本実施形態における携帯用端末装置１０の概要構成を示すブロック図である。

携帯用端末装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型情報端末装置、スマートフォン、又は、携帯型ゲーム機等の通信端末装置であり、当該携帯用端末装置１０が有する種々のハードウェアと協働し、文書が画像化された画像データをユーザに閲覧可能に表示するためのプログラム（以下、「閲覧アプリケーション（文書ビューワー）」という。）を実行するための構成を有している。

特に、携帯用端末装置１０は、ＰＤＦ(Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ)等の編集者の編集意図を的確に再現することが可能であって、文字及び図版等の文書の各要素が固定配置された印刷ページ体裁のビットマップ形式によって構成された画像データ（以下、単に「文書データ」という。）を表示する表示機能を有している。

ただし、ＰＤＦ形式のデータは、必ずしもビットマップ形式ではなく、表示時にフォントを参照する文字コードベース形式でも形成することが可能であるが、当該文字コードベース形式であってもビットマップ形式と同様に、編集者の意図を担保するために組版体裁を自由に変更することができないことを特徴としている。

そして、携帯用端末装置１０は、ユーザ操作に基づいて、一の文書データが選択されて閲覧アプリケーションを実行すると、ユーザによって設定された文書画像を表示する際の表示画面内において指定された領域（以下、「指定表示領域」という。）の領域サイズに基づいて、選択された文書データを表示する構成を有している。

具体的には、携帯用端末装置１０は、閲覧アプリケーションを実行すると、
（１）文書データにおける文書を構成する文字の各配置を画像解析し、各文字の区画（以下、「文字区画」という。）における画像（以下、「区画画像」という。）の配置位置（以下、「区画位置」という。）及びそのサイズ（以下、「区画サイズ」という。）を検出する文字配置解析処理、
（２）文字区画の配置位置及び区画サイズに基づいて、文書の各文書構造を維持しつつ、各文字区画を、ユーザによって表示画面内において指定された指定表示領域に配置する配置位置を決定する区画配置処理、
（３）決定した各配置位置に基づいて、該当する文字区画の区画画像を割り当てて指定表示領域に表示するためのビットマップ形式の表示画像を生成するビットマップ生成処理、及び、
（４）生成した画像を表示画面に出力する出力処理
を実行し、設定した指定表示領域に取得した文書データを表示することができるようになっている。

このような各処理を実現するために、携帯用端末装置１０は、図１に示すように、閲覧アプリケーションを含む必要なデータが記憶されるデータ記憶部１００と、図示しない複数の文書データを管理するサーバ装置及び他の通信装置と通信を行う通信制御部１１０と、上記の閲覧アプリケーションを含む各種のアプリケーションの実行及びその管理を行うアプリケーション処理部１２０と、所定のサイズの表示画面を有する表示部１５０と、表示部１５０における種々の描画を制御する表示制御部１４０と、ユーザ操作を入力するために用いられる操作部１６０と、全体を制御する端末管理制御部１９０と、を有している。

また、携帯用端末装置１０は、文書閲覧以外の機能を有している場合があり、例えば、ナビゲーション等の地図機能、カメラ等の撮像機能、電話機能、電子メール等のメール機能を有する場合には、ＧＰＳ受信機、マイク、スピーカ、及び、通信ユニット等の種々の必要な部材を有している場合がある。そして、上記の各部は、バスＢによって互いに接続され、データの授受が実行されるようになっている。

なお、例えば、本実施形態のデータ記憶部１００は、本発明の記憶手段を構成し、アプリケーション処理部１２０は、本発明に係る取得手段、設定手段、２値化手段、行検出手段、文字区画検出手段、配置位置決定手段、画像生成手段を構成する。また、例えば、本実施形態の出力手段は、本発明の表示制御手段を構成し、表示部１５０は、本発明に係る表示手段及び表示装置を構成する。さらに、例えば、本実施形態の操作部１６０は、本発明に係る操作手段を構成する。

［２］本願発明の原理
次に、図２〜図５の各図を用いて本願発明の原理について説明する。なお、図２は、文字コードベースの文書を画像化しながら表示する際の流れを説明するための図であり、図３は、印刷ページ体裁のビットマップ形式によって既に画像化された文書を表示する際の流れを説明するための図である。また、図４は、印刷ページ体裁のビットマップ形式によって画像化された文書の表示形式を説明するための図であり、図５及び図６は、本願発明の効果の一例を説明するための図である。

本実施形態の携帯用端末装置１０は、ｍ行ｎ列のマトリクス状に配列された複数の画素によって形成された文書画像をユーザが閲覧可能になるように表示部１５０に表示するための端末装置であって、

（１）ユーザによって選択された文書データを図示しないネットワークを介して他の通信端末装置から取得し、又は、内部に記憶された文書データを読み出して取得し、
（２）ユーザ操作に基づいて、文書画像を表示する際の表示画面内において指定された指定表示領域の領域サイズを設定し、
（３）取得した文書データにおける画像化された文書の各文字に該当する文字区画を検出して文字配置を画像解析する文字配置解析処理を実行し、
（４）ページ毎の文書データをシームレスに、検出した文字区画を指定表示領域に配置する配置位置を決定する区画配置処理を実行し、
（５）配置を決定した各文字区画に該当する区画画像を割り当ててビットマップ生成処理を実行し、
（６）生成したビットマップ画像を出力する構成を有している。

通常、図２に示すように、文字コードベースの文書を画像化する場合には、
（１）ユーザ操作などによる組版指示と、文字コードを示すテキストデータと、に基づいて、対応するフォントが選択され、
（２）当該選択されたフォントが組版指示に従ってビットマップに変換され（すなわち、ビットマップ変換処理が実行され）、
（３）ビットマップに変換された画像データが、ビデオメモリに描画されつつ、
（４）当該描画された描画データによって画像化した文書が表示される。したがって、このような場合には、表示領域等の閲覧者の指示に基づいて、文書構造を変更することが容易であり、例えば、変更された表示領域に合わせて画像化された文書を表示することも可能である。

したがって、このような文字コードベースの文書データを、当該文書データを編集（又は制作）した編集者の意図を反映させて画像化するためには、文字コードと編集者が使用した文字フォントとが必要となる。このため、ＰＤＦ形式等の文書ファイル内に編集者が使用した文字フォントを埋め込むことができる文書データの場合には、編集者の意図を反映させて文書画像を表示することができるものの、当該文字フォントを埋め込むことができない文書データの場合には、携帯用端末装置１０内にあらかじめ搭載されている文字フォントを参照させる必要があるので、編集者の意図を反映させる文書を提供することができないだけでなく、文書に含まれる文字を的確に画像化できない場合も多い。

通常、文書データにおいて使用されるフォントは多彩であるため、同一言語においても、閲覧側で編集者が用いた文字フォントを用意することができない場合も少なくない。そのため、対応する文字フォントが文書データに埋め込まれておらず、文書データの閲覧を行う携帯用端末装置１０内に搭載されていない場合には、他の文字フォント（代理フォント）を用いることとなる。しかしながら、一部の文字コードに対しては対応する文字パターン（画像化する際のパターン）が定義されていない場合、又は、他の文字フォントと異なる文字パターンが定義されている文字フォントも多く、編集時に用いた文字フォントと代理フォントとにおいて同一の文字について定義されていない場合には、文書データに含まれる文字を表示することができない、又は、当該文字に対して異なる文字が表示されて文字化けが発生してしまうのである。また、たとえ対応する文字パターンが代理フォント内に定義されていても、文字幅が編集者の意図と異なる大きさであることも考えられ、その場合には、フォントサイズ等によっては改行位置がずれてしまうこともある。

また、文字コードベースの文書データにおいては、編集者の意図を反映しつつ、閲覧者の指示に基づいて組版の変更を行うためには、文字コードとなるテキストデータ及び編集者が使用した文字フォントとともに、画像が含まれている場合には当該オリジナル画像等の素材を用意することが必須となる。しかしながら、これらの原素材の使用については著作権等によって認められない場合もあり、当該原素材の使用が認められない場合には、文書データを画像化する際に、編集者の意図を的確に反映させることが難しい。特に、上述のように、編集者の意図した文字フォント等を使用できないことにより、表示領域の設定等の組版指示によっては、文書自体のレイアウトの乱れが生じ、画像表示そのものに不具合が生じることもある。

この結果、文字コードベースの文書を画像化する場合には、ＰＤＦ等の文字フォントを埋め込んだ文書データ以外のデータ形式であっては、文書データを生成又は編集した編集者の意図を反映させるように当該文書データを画像化及びその表示を行うことは難しい。

一方、図３に示すように、文字コードベースと異なり、印刷ページ体裁のビットマップ形式によって画像化された文書を表示するためには、閲覧者によって印刷ページの体裁を調整することはできないが、文字コードでなく、編集者が完成させた画像そのものを、表示形式を維持しつつ、表示することができる。したがって、このような場合には、著作権などの管理が紙面レイアウト体裁の範囲にとどまり、文字コードベースの文書データに比べて、データの取り扱いが著しく容易になる。また、このようなデータ形式においては、ＰＤＦ等の文字フォントを埋め込んだ文書データと同様に、編集者が完成させた画像そのものを、表示形式を維持しつつ、表示するので、代替えフォントその他に基づく文字化け、及び、レイアウトの乱れが発生することもない。

他方、上記の印刷ページ体裁のビットマップ形式によって又は文字フォントを埋め込んだ文書データによって画像化された文書は、当該体裁を調整することはできないので、例えば、図３に表示するように、表示領域に合わせて文書構造を調整することができず、ユーザの閲覧性には難がある。例えば、図４（Ａ）に示すように、文字の大きさを確保する一方で、その場合の文書画像の行方向のサイズが表示領域の行方向のサイズより大きな場合には、行方向に表示領域を移動させるスクロール処理をする必要がある。また、行方向にスクロールさせないような表示にする場合には、図４（Ｂ）に示すように、文書全体を縮小して表示する必要があり、文字が小さくなり、閲覧性も低下する。

そこで、本実施形態の携帯用端末装置１０は、画像化された文書の各行の文字に対応する文字区画を、設定された表示領域のサイズに基づいて当該各文字区画の配置位置を決定し、当該決定した各文字区画の配置位置に、当該各文字区画に対応する画像を割り当てることによって、画像化された文書の文書構造を維持しつつ、各文字を配置するので、表示領域に依存せずに、ユーザの閲覧性を向上させることができるようになっている。

例えば、図５に示すように、適度な文字の大きさを確保しても、表示領域の行方向の幅が狭い場合に行方向へのスクロール表示を制限しつつ、行送り方向のみのスクロールによって表示可能な文字配列を実現することができるようになっている。

また、このような画像化された文書である電子書籍を制作する場合においては、図６に示すように、編集、製版、印刷、製本、スキャニング、文字認識、編集及び書式変換を行う一般書籍を経て制作する通常の制作工程において、製版後にＰＤＦ等のイメージデータ、又は、スキャニングしたデータを書式変換するだけで制作することができるので、通常の制作工程に比べて制作費用を低減し、迅速に制作することができるようになっている。

［３］携帯用端末装置
次に、上記の図１を用いて本実施形態の携帯用端末装置１０における構成の詳細について説明する。

データ記憶部１００は、例えば、ハードディスクドライブ（以下、「ＨＤＤ」と略す。）、ソリッドステートドライブ（以下、「ＳＳＤ」と略す。）又は、ＮＡＮＤ型、ＮＯＲ型等の不揮発性フラッシュメモリによって構成される。

また、データ記憶部１００には、閲覧アプリケーションを含む、アプリケーション処理部１２０及び端末管理制御部１９０によって実行される様々なアプリケーション、及び、文書データを含むコンテンツデータが記憶されるとともに、アプリケーション処理部１２０及び端末管理制御部１９０のワークエリアとしてＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）も含まれる。

具体的には、データ記憶部１００には、少なくとも、アプリケーション記憶部１０１、コンテンツデータ記憶部１０２、及びＲＯＭ／ＲＡＭ１０３を少なくとも含む。

通信制御部１１０は、図示しないサーバ装置又は他の通信装置との通信回線を構築し、文書データを含む各種のデータの授受を行う。

アプリケーション処理部１２０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、アプリケーション記憶部１０１に記憶された各種アプリに基づいて、表示制御部１４０及び操作部１６０と連動しつつ、各処理を実現する。特に、アプリケーション処理部１２０は、ユーザによって指定された表示部１５０の表示画面における指定表示領域の領域サイズに従って、文書データをユーザに閲覧させるための閲覧アプリケーションにおける各種の処理を実行する。

具体的には、アプリケーション処理部１２０は、
（１）文書画像を表示部１５０にて表示するための画像データを、通信制御部１１０を介して外部から又はデータ記憶部１００から取得するデータ取得処理、
（２）文書画像を表示する際の表示部１５０における指定表示領域のサイズを設定する表示サイズ設定処理、
（３）文字配置解析処理の一の処理であって、取得した画像データに基づいて、画像化された文書の行方向及び行送り方向を認識する認識処理、
（４）文字配置解析処理の一の処理であって文書画像において一ページとして設定された各ページ（以下、「文書ページ」という。）において、取得した文書画像の各画素値を２値化する２値化処理と、
（５）文字配置解析処理の一の処理であって各文書ページにおいて、文書画像の文書の行方向に対する画素の配列ライン（以下、「第１配列ライン」という。）毎の、２値化された各画素における画素値に基づいて、文書画像の行を検出する行検出処理と、
（６）文字配置解析処理の一の処理であって各文書ページにおいて、検出した行毎に、文書画像の文書の行送り方向における画素の配列ライン（以下、「第２配列ライン」という。）毎の、２値化した各画素における画素値に基づいて、各行に含まれる文字の区画を文字区画として検出する文字区画検出処理と、
（７）設定した指定表示領域の領域サイズに基づいて、検出した各文字区画を、当該表示領域に配置するための配置位置を決定する区画配置処理と、
（８）決定した各文字区画の配置位置に、文書画像の一部であって各文字区画に対応する区画画像を配置して指定表示領域に表示するための表示画像を生成するビットマップ生成処理と、
を実行し、生成したビットマップ画像を出力する。

特に、アプリケーション処理部１２０は、文字配置解析処理においては、文書ページ（以下、「解析中の文書データ」ともいう。）毎に、文書画像における画像内の座標位置及び文字区画の基準サイズに基づいて、各文字区画を検出するとともに、各文字区画の特殊性に基づく属性情報の設定、すなわち、見出し文字、字下げ、ルビ、禁則処理の対象となる文字（以下、「禁則文字」）等の特殊文字であるか否かを判定し、特殊文字であると判定した文字区画についてはその旨を示す属性情報の設定を行う。

そして、アプリケーション処理部１２０は、検出した各文字区画のサイズ及び区画位置に基づいて予め定められた配置条件に従って、検出した各文字区画を、設定された指定表示領域に配置する位置を決定する。すなわち、アプリケーション処理部１２０は、区画配置処理において、ユーザによって設定された指定表示領域の領域サイズとともに、文字配置解析処理によって設定した属性情報と、文字区画のサイズ及び区画位置に基づく配置条件とに基づいて、検出した各文字区画を、当該表示領域に配置するための配置位置を決定する。

アプリケーション処理部１２０は、上記の各処理を実行するために、機能的に、文書データの取得、記憶及び読み出しを実行するデータ管理制御部１２１と、ユーザその他によって指定表示領域を設定する指定表示領域設定部１２２と、文字配置解析処理を実行する文字配置解析処理部１２３と、区画配置処理を実行する区画配置処理部１２４と、ビットマップ画像を生成する画像データ生成部１２５と、を実現する。なお、本実施形態のアプリケーション処理部１２０の各部の詳細については後述する。

表示部１５０は、所定のサイズの表示画面を有し、例えば、電子ペーパー、液晶素子又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１４０において生成された表示データに基づいて所定の画像を表示する。

表示制御部１４０は、表示部１５０に表示させるために必要な表示データを生成するようになっており、生成された表示データを当該表示部１５０に出力する。特に、表示制御部１４０は、アプリケーション処理部１２０によって生成されたビットマップ画像を表示するための表示データを生成し、出力する。

操作部１６０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー及び表示部１５０に重畳して形成されたタッチパネルにより構成され、各操作を行う際に用いられるようになっている。特に、操作部１６０は、文書データを表示するための指定表示領域を指定する際に用いられる。

端末管理制御部１９０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、データ記憶部１００に記憶された各種のアプリケーションを実行することにより、携帯用端末装置１０の全般的な機能を総括的に制御する。

［４］アプリケーション処理部
［４．１］データ管理制御部
次に、本実施形態のアプリケーション処理部１２０におけるデータ管理制御部１２１について説明する。

データ管理制御部１２１は、通信制御部１１０と連動し、図示しないサーバ装置又は他の通信装置と通信に基づく文書データの授受及びデータ記憶部１００に記憶される文書データのデータ管理を行う。

具体的には、データ管理制御部１２１は、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されているＷＷＷシステム用のリソースデータと、当該リソースデータのネットワークアドレスを示す固有のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）と、を用いたブラウジング機能に基づいて、図示しないサーバ装置又は他の通信装置とデータ通信を行う。特に、データ管理制御部１２１は、閲覧アプリケーションの実行中に、当該ブラウジング機能とユーザ操作とに基づいて、ユーザが所望する文書データを取得する。

また、データ管理制御部１２１は、ユーザ操作に基づいて、データ記憶部１００に予め記憶された文書データを読み出すことによって取得する。ただし、データ記憶部１００に記憶された文書データは、ブラウジング機能によって図示しないサーバ装置又は他の通信装置から取得した（ダウンロード又は転送された）データなどである。

なお、データ管理制御部１２１は、白黒の文書画像を有する文書データであっても、カラーの文書画像を有する文書データであってもよい。

また、データ管理制御部１２１は、イメージスキャナによって文書を読み込みつつ、画像化した文書における画像データ（すなわち、文書データ）を取得してもよい。そして、データ管理制御部１２１は、イメージスキャナによって画像化された文書については、当該文書に予めマーキングされたマーカ又は基準に使用できる文書ページ内にレイアウトされている罫線などに基づく傾き補正を実行する。この傾き補正は、行方向が水平であることを確保するため、及び、行送り方向が垂直であることを確保するために重要である。ただし、データ管理制御部１２１は、データ通信によって取得した各文書データについても水平が保障されていない場合もあるので、ユーザ指示に基づいて又は自動的に、当該データ通信によって取得した各文書データに対して実行してもよい。

［４．２］指定表示領域設定部
次に、本実施形態のアプリケーション処理部１２０におけるに指定表示領域設定部１２２ついて説明する。

指定表示領域設定部１２２は、ユーザ指示等によって表示部１５０の表示画面内に形成される矩形の指定表示領域を設定する。

特に、指定表示領域設定部１２２は、指定表示領域の上下方向及び左右方向に対して拡大及び縮小指示された場合に、当該指示された表示画面における座標を認識するとともに、認識した座標に従って当該指定表示領域を設定しつつ、当該設定した指定表示領域の領域サイズを区画配置処理部１２４に出力する。

また、指定表示領域設定部１２２は、閲覧アプリケーションを用いて文書データを表示している場合であっても、操作部１６０を介して任意のタイミングで指定表示領域が指定された場合に、指示された表示画面における座標を認識するとともに、認識した座標に従って当該指定表示領域を設定する。

［４．３］文字配置解析処理部
［４．３．１］文字配置解析処理部の概要
次に、図７〜図１８の各図を用いて本実施形態のアプリケーション処理部１２０におけるに文字配置解析処理部１２３ついて説明する。

文字配置解析処理部１２３は、取得した文書データの文書構造のページ毎に（すなわち、元の文書形式のページ毎に）、上述の認識処理、２値化処理、行検出処理及び文字区画検出処理を実行する。

また、文字配置解析処理部１２３は、認識処理、２値化処理、行検出処理及び文字区画検出処理を実行すると、補正処理として、各行において所定の条件を具備する２以上の文字区画を統合する統合補正処理と、予め定めた種々の条件に基づいて各文字区画が特殊文字を構成する文字区画であるか否かを解析し、特殊文字に該当する文字区画であると判定された場合には該当する属性を属性情報として設定する特殊文字解析処理と、を実行する。

特に、文字配置解析処理部１２３は、特殊文字解析処理として、見出し解析処理、字下げ解析処理、ルビ解析処理、及び、禁則文字解析処理を実行する。

具体的には、文字配置解析処理部１２３は、統合補正処理としては、
（１）文字区画を検出する際の第１画素の検出結果に基づいて、行毎に、同一の行に属し、かつ、隣接する２つの文字区画の文書の行方向（すなわち、第１配列ライン方向）における配置間隔を示す文字ピッチを算出し、
（２）当該算出した文字ピッチが予め定められた文字ピッチ条件を具備する場合に、当該文字ピッチ条件を具備する２つの文字区画を同一の文字区画として統合補正を実行する

一方、文字配置解析処理部１２３は、見出し解析処理としては、
（１）前記文書の行を検出する際の前記第１画素（例えば、黒画素）の検出結果に基づいて、行毎に、文書の行送り方向（すなわち、第２配列ライン方向）に対する隣接する２つの行の配置間隔を行ピッチとして算出し、
（２）当該算出した行ピッチが予め定められた行ピッチ条件を具備する場合に、当該行ピッチ条件を具備する２つの行のうち、行ピッチを定める基点に基づいて定まる一方の行を、見出し行として特定し、
（３）特定した見出し行に属する文字区画に見出し属性情報を設定する。

なお、行ピッチを定める基点とは、隣接する２つの前段及び後段の行の上端（横組みの場合）又は左端（縦組み）によって行ピッチを定める場合には、前段の行が「行ピッチを定める基点に基づいて定まる一方の行」となり、隣接する２つの前段及び後段の行の下端（横組みの場合）又は右端（縦組みの場合）によって行ピッチを定める場合には、後段の行が「行ピッチを定める基点に基づいて定まる一方の行」となる。

そして、文字配置解析処理部１２３は、字下げ解析処理としては、
（１）各行毎に、行の先頭に位置する文字区画の配置位置が予め定めた先頭配置条件を具備する場合に、当該先頭配置条件を具備する行の先頭の文字区画を文書の段落における先頭文字として特定し、
（２）特定した文字区画に字下げ属性情報を設定する。

また、文字配置解析処理部１２３は、ルビ解析処理としては、
（１）文書の行を検出する際の第１画素（例えば、黒画素）の検出結果に基づいて、行毎に、文書の行送り方向（第２配列ライン方向）に対する隣接する２つの行の配置間隔を行ピッチとして算出し、
（２）当該算出した行ピッチのピッチ幅が予め定められた行ピッチ特定条件を具備する場合に、当該行ピッチ特定条件を具備する２つの行のうち、行ピッチを定める基点に基づいて定まる行を、前記ルビを付与するルビ行として特定し、
（３）前記特定したルビ行に属する各文字区画の行方向の第１位置と前記ルビ行の前記文書の行送り方向に対して次段の行であるルビ対象行における各文字区画の行方向の第２位置とをそれぞれ比較して前記第１位置と前記第２位置の差が最小となるルビ対象行の文字区画をルビ対象文字として特定し、
（４）特定したルビ行に属する文字区画にルビ属性情報を設定するとともにルビの対象となる文字区画のＩＤ（具体的には、行番及び該当する行の並び順の探索位置）を設定し、特定したルビ対象行に属する文字区画にルビ対象属性情報を設定する。

さらに、文字配置解析処理部１２３は、禁則文字解析処理としては、
（１）各文字区画の行方向の幅又は行送り方向の幅が予め定めた区画幅条件を具備する場合に、当該区画幅条件を具備する文字区画を禁則文字として特定し、
（２）特定した文字区画に禁則文字属性情報を設定する。

なお、本実施形態においては、文字配置解析処理部１２３は、統合補正処理等において用いる文字ピッチ又は行ピッチ等については、後述するように前処理（補正処理用の前処理）として種々の演算を実行して算出するようになっている。

また、文字配置解析処理部１２３は、文書データの元の文書構造におけるページ毎に各種の処理を実行する。ただし、文字配置解析処理部１２３は、複数ページの文書データであって、次のページのデータが存在する場合には、現ページの文字配置解析処理の実行後に、次ページに該当するデータについて文字配置解析処理を実行する。

［４．３．２］認識処理
文字配置解析処理部１２３は、認識処理としては、取得した文書データに付加されるフラグ情報に基づいて、画像化された文書のページレイアウトを識別し、当該文書データにおける前記文書の行方向及び行送り方向を認識する。

例えば、文字配置解析処理部１２３は、フラグ情報に基づいて、取得した文書データの文書が横書き（すなわち、横組み）であるか、又は、縦書き（すなわち、縦組み）であるかを判定し、文書に沿って文字が配列される行方向（すなわち、文字を読む方向）と、当該行方向に対して直交方向となる文書の行送り方向（すなわち、文書の改行方向）と、を認識する。

また、文字配置解析処理部１２３は、上記に代えて、認識処理として、
（１）各第１配列ラインに属する各画素の画素値に基づいて第２配列ライン方向の文字が存在しない空白ライン数を検出し、
（２）各第２配列ラインに属する各画素の画素値に基づいて第１配列ライン方向の文字が存在しない空白ライン数を検出し、
（３）第１配列ライン方向の空白ライン数と第２配列ライン方向の空白ライン数とに基づいて、文書の行方向及び行送り方向を認識してもよい。

特に、この場合には、文字配置解析処理部１２３は、空白ライン数が多い配列ライン方向を行送り方向と認識し、空白ライン数が少ない配列ライン方向を行方向と認識する。

通常、行方向の文字間の距離は、行送り方向の行間の距離より短くなる。したがって、第１配列ライン方向の空白ライン数と第２配列ライン方向の空白ライン数によって行方向の文字間の距離及び行送り方向の行間の距離を算出するとともに、２つの距離の大小を比較すれば、行方向を認識することができる。

そこで、文字配置解析処理部１２３は、空白ライン数が多い配列ライン方向を行送り方向と認識し、空白ライン数が少ない配列ライン方向を行方向と認識することができるようになっている。

なお、この場合においては、第１配列ライン方向の空白ライン数と第２配列ライン方向の空白ライン数については、代表となる２つの行の行間及び２つの文字間の値を用いてもよいし、各行間及び各文字間の平均を用いてもよい。また、後述するように、算出された第１配列ライン方向及び第２配列ライン方向の最大区画サイズ、平均行ピッチ及び基準文字ピッチの値を用いてもよい。

［４．３．３］２値化処理
次に、図７を用いて本実施形態の文字配置解析処理部１２３における２値化処理について説明する。なお、図７は、本実施形態の文字配置解析処理部１２３における２値化処理について説明するため図であり、２値化処理の一例を示す図である。

文字配置解析処理部１２３は、２値化処理としては、解析中の文書ページにおいて、カラーによって形成された文書画像をグレースケール画像に変換し、変換したグレースケール画像を、又は、白黒によって形成された文書画像を直接的に、予め定められた閾値に基づいて、２値化するとともに、２値化された文書画像における量子化ノイズ（２値化処理に伴う斑点状のノイズ）を除去するノイズ補正を実行する。

具体的には、文字配置解析処理部１２３は、取得した文書画像がカラー画像の場合には、所定の演算処理を実行し、所定の演算処理によって白黒のグレースケール画像に変換する。例えば、文字配置解析処理部１２３は、（式１）に基づいて、画素毎にＲＧＢの各画素値Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）をグレースケールの画素値Ｐ（ｘ、ｙ）を算出する。また、文字配置解析処理部１２３は、カラー画像の場合には、変換されたグレースケール画像を、又は、白黒画像の場合には、当該取得した文書画像に対して、閾値に基づいて、文字を構成する画素値「１」又は背景を構成する画素値「０」に変換する。

なお、例えば、文字配置解析処理部１２３は、各画素の階調値が０〜２５５の場合には、２００を閾値として用いて２値化処理を実行する。また、文字配置解析処理部１２３は、ノイズ補正としては、２値化処理された文書画像に対して孤立点の除去及び不連続点の穴埋め等を実行するモルフォロジ演算に基づく画像処理を実行する。

また、文字配置解析処理部１２３は、図６（Ａ）、（Ｂ）に示すように、横書き又は縦書きのカラー又はグレースケールによる文書画像については、白及び黒の２値化処理を実行する。

［４．３．４］行検出処理
次に、図８及び図９を用いて本実施形態の文字配置解析処理部１２３における行検出処理について説明する。なお、図８及び図９は、本実施形態の文字配置解析処理部１２３における行検出処理について説明するため図である。

文字配置解析処理部１２３は、行検出処理としては、解析中の文書ページにおいて、第１配列ライン毎に、各第１配列ラインに属する画素の中から、２値化した際の一方の画素値（すなわち、黒又は白の画素値）を有する画素を少なくとも検出し、当該検出した画素の有無に基づいて前記画像化された文書の各行を検出する。

なお、本実施形態においては、黒を示す画素値「１」を有する画素（以下、「黒画素」という。）又は、白を示す画素値「０」を有する画素（以下、「白画素」という。）といい、文字配置解析処理部１２３は、少なくともいずれの画素を検出する。ただし、以下の説明では、文字配置解析処理部１２３は、第１画素（黒画素）を検出する場合を用いて説明する。

具体的には、文字配置解析処理部１２３は、文書画像における文書の行方向の画素ライン（第１配列ライン）毎に、黒画素をカウントする。そして、文字配置解析処理部１２３は、黒画素のカウント数が「０」となるラインを空白ラインとして文書画像における文書の行間を構成するラインであると判定し、黒画素のカウント数が「１」以上となるラインを文字が形成されている行形成ラインとして文書画像における各文字を構成するラインであると判定する。

また、文字配置解析処理部１２３は、第１配列ラインにおける空白ラインが形成されている一以上のライン又はライン群の領域を行間として検出し、第１配列ラインにおける行形成ラインが形成されている一以上のライン又はライン群の領域を行として検出する。

なお、このとき、文字配置解析処理部１２３は、検出した行については文書画像の先頭の行から順に符号（すなわち、識別情報であって、本実施形態においては「番号」を用いる。）を付与する。

（横組みの文書構造の場合）
例えば、文書画像が（Ｓｘ×Ｓｙ）の矩形サイズで形成されている場合であって、各画素の文書画像上における座標値（ｘ、ｙ）が（０，０）〜（Ｓｘ−１，Ｓｙ−１）によって配列されている場合を想定する。

このような場合であって、文書画像の文書構造が横組みの場合には、ｘ方向が行方向となり、ｙ方向が行送り方向となる。また、ｘ方向に画素が配列されているｙラインが、第１配列ラインとなり、ｘラインが第２配列ラインとなる。

このとき、文字配置解析処理部１２３は、図８（Ａ）に示すように、ｙライン毎に各画素値を検出し、黒画素をカウントする。また、文字配置解析処理部１２３は、黒画素のカウントが「１」以上の場合には、当該ｙラインを行形成ラインと判定し、カウント「０」の場合には、ｙラインを空白ラインと判定する。さらに、文字配置解析処理部１２３は、図８（Ｂ）に示すように、空白ラインが形成されているｙライン又は空白ラインが連続して形成されているｙライン群の領域を行間ＬＳとして検出するとともに、行形成ラインが形成されているｙライン群の領域を行Ｃ（ｔ）として検出し、文書画像の先頭となる最上部の行からＬ行まで順に符号（ｔ＝１〜Ｌ）を付与する。

（縦組みの文書構造の場合）
例えば、横組みの場合と同様に、文書画像が（Ｓｘ×Ｓｙ）の矩形サイズで形成されている場合であって、各画素の座標値（ｘ、ｙ）が（０，０）〜（Ｓｘ−１，Ｓｙ−１）によって配列されている場合を想定する。

このような場合であって、文書画像の文書構造が縦組みの場合には、ｙ方向が行方向となり、ｘ方向が行送り方向となる。また、ｙ方向に画素が配列されているｘラインが、第１配列ラインとなり、ｙラインが第２配列ラインとなる。

このとき、文字配置解析処理部１２３は、図９（Ａ）に示すように、ｘライン毎に各ｙの画素値を検出し、黒画素をカウントする。また、文字配置解析処理部１２３は、カウントが「１」以上の場合には、当該ｘラインを行形成ラインと判定し、カウント「０」の場合には、ｘラインを空白ラインと判定する。そして、文字配置解析処理部１２３は、図９（Ｂ）に示すように、空白ラインが形成されているｘライン又はｘライン群の領域を行間ＬＳとして検出するとともに、行形成ラインが形成されているｘライン又はｘライン群の領域を行Ｃ（ｔ）として検出し、文書画像の先頭となる最右部の行からＬ行まで順に符号（ｔ＝１〜Ｌ）を付与する。

［４．３．５］文字区画検出処理
次に、図１０〜図１３を用いて本実施形態の文字配置解析処理部１２３における文字区画検出処理ついて説明する。なお、図１０〜図１３は、本実施形態の文字配置解析処理部１２３における文字区画検出処理について説明するため図である。

文字配置解析処理部１２３は、文字検出処理としては、解析中の文書ページにおいて、第１配列ライン及び第２配列ラインに属する各画素の画素値に基づいて、区画サイズ及び文書画像上における区画位置を特定しつつ、各文字区画を検出する。特に、文字配置解析処理部１２３は、上述の行検出処理として検出された文書画像の行毎に、検出された行に属する第２配列ライン毎の各第２配列ラインに属する画素の中から、２値化した際の一方の値を有する画素を検出し、当該検出した画素の有無に基づいて、行毎に文字区画を検出する。なお、行検出処理と同様に、文字区画検出処理においても、以下の説明においては、文字配置解析処理部１２３は、第１画素（黒画素）を検出する場合を用いて説明する。

具体的には、文字配置解析処理部１２３は、行毎に文書画像における文書の行送り方向の画素ラインとなる第２配列ライン毎に、黒画素（又は、白画素）をカウントするとともに、黒画素のカウント数が「０」となるラインを空白ラインとして各行における文字間を構成するラインであると判定し、黒画素のカウント数が「１」以上となるラインを文字が形成されている文字形成ラインとして文書画像における各文字を構成するラインであると判定する。

そして、文字配置解析処理部１２３は、行毎に第２配列ラインにおける空白ラインが形成されている一以上のライン又はライン群の領域を文字間として検出し、第２配列ラインにおける文字形成ラインが形成されているライン群の領域を文字区画として検出する。特に、文字配置解析処理部１２３は、各文字区画を規定する座標を検出する。

なお、このとき、文字配置解析処理部１２３は、検出した文字区画については各行の先頭の文字区画から順に符号を付与する。

（横組みの文書構造の場合）
例えば、文書画像が（Ｓｘ×Ｓｙ）の矩形サイズで形成されている場合であって、各画素の座標値（ｘ、ｙ）が（０，０）〜（Ｓｘ−１，Ｓｙ−１）によって配列されている場合を想定する。

このような場合であって、文書画像の文書構造が横組みの場合には、ｘ方向が行方向となり、ｙ方向が行送り方向となる。また、ｘ方向に画素が配列されているｙラインが、第１配列ラインとなり、ｘラインが第２配列ラインとなる。

このとき、文字配置解析処理部１２３は、図１０（Ａ）に示すように、検出された行毎に、各ｘラインの各画素値を検出し、黒画素をカウントする。また、文字配置解析処理部１２３は、カウントが「１」以上の場合には、当該ｘラインを文字形成ラインと判定し、カウント「０」の場合には、ｘラインを空白ラインと判定する。さらに、文字配置解析処理部１２３は、図１０（Ｂ）に示すように、文字形成ラインが形成されているｘライン又はｘライン群の領域を文字区画Ｃ（ｔ、ｍ）として検出する。そして、文字配置解析処理部１２３は、図１１に示すように、各文字区画を規定する四隅、すなわち、左上座標（ｘ１，ｙ１）、左下座標（ｘ１，ｙ２）、右上座標（ｘ２，ｙ１）及び右下座標（ｘ２，ｙ２）を検出するとともに、各行の先頭となる最左部の文字区画行からｍ区画まで順に符号を付与する。

（縦組みの文書構造の場合）
例えば、横組みの場合と同様に、文書画像が（Ｓｘ×Ｓｙ）の矩形サイズで形成されている場合であって、各画素の座標値（ｘ、ｙ）が（０，０）〜（Ｓｘ−１，Ｓｙ−１）によって配列されている場合を想定する。

このような場合であって、文書画像の文書構造が縦組みの場合には、ｙ方向が行方向となり、ｘ方向が行送り方向となる。また、ｙ方向に画素が配列されているｘラインが、第１配列ラインとなり、ｙラインが第２配列ラインとなる。

このとき、文字配置解析処理部１２３は、図１２（Ａ）に示すように、検出された行毎に、各ｙラインの各画素値を検出し、黒画素をカウントする。また、文字配置解析処理部１２３は、カウントが「１」以上の場合には、当該ｙラインを文字形成ラインと判定し、カウント「０」の場合には、ｙラインを空白ラインと判定する。さらに、文字配置解析処理部１２３は、図１２（Ｂ）に示すように、文字形成ラインが形成されているｙライン又はｙライン群の領域を文字区画Ｃ（ｔ，ｍ）として検出する。そして、図１３に示すように、文字配置解析処理部１２３は、横組みと同様に、各文字区画を規定する四隅、すなわち、左上座標（ｘ１，ｙ１）、左下座標（ｘ１，ｙ２）、右上座標（ｘ２，ｙ１）及び右下座標（ｘ２，ｙ２）を検出するとともに、各行の先頭となる最左部の文字区画行からｍ区画まで順に符号を付与する。

［４．３．６］補正処理用の前処理
次に、本実施形態の文字配置解析処理部１２３における補正処理用の前処理ついて説明する。

文字配置解析処理部１２３は、統合補正処理と、見出し解析処理、ルビ解析処理及び禁則文字解析処理の各特殊文字解析処理との補正処理用の前処理として、文字区画の最大区画サイズ、平均区画サイズ及び標準区画サイズと、平均行ピッチ及び最大文字ピッチと、平均行ピッチと、文字間の距離とを算出する。

なお、文字配置解析処理部１２３は、取得した文書データの元のデータ形式（すなわち、画像化された文書の文書構造）によって定まるページ毎に補正処理用の前処理を実行する。

（各行の最大区画サイズ）
文字配置解析処理部１２３は、検出された各文字区画に基づいて、行毎に行方向及び行送り方向における最大区画サイズをそれぞれ算出する。

具体的には、文字配置解析処理部１２３は、行毎に、検出された各文字区画の第１配列ラインにおけるｘ及びｙ座標値の差を算出するとともに、検出された各文字区画の第２配列ラインにおけるｘ及びｙ座標値の差を算出する。そして、文字配置解析処理部１２３は、行毎に、検出された各文字区画の第１配列ラインにおける座標値の差の最大の値を、解析中の文書ページにおいて行方向における最大サイズＳｍａｘ（Ｌ１，ｔ）に設定するとともに、検出された各文字区画の第２配列ラインにおける座標値の差の最大の値を、当該解析中の文書ページにおいて行送り方向における最大サイズＳｍａｘ（Ｌ２，ｔ）に設定する。

例えば、横組みの場合には、文字配置解析処理部１２３は、行毎に、（式２）及び（式３）に示すように、各文字区画の第１配列ラインの方向となる行方向の座標値の差、すなわち、各文字区画の幅を算出し、当該算出した各文字区画の最大幅Ｓｍａｘ（ｘ，ｔ）を行方向の最大サイズＳｍａｘ（Ｌ１，ｔ）に設定する。また、文字配置解析処理部１２３は、行毎に、各文字区画の第２配列ラインの方向となる行送り方向の座標値の差、すなわち、各文字区画の高さを算出し、当該算出した各文字区画の最大の高さＳｍａｘ（ｙ，ｔ）を行送り方向の最大サイズＳｍａｘ（Ｌ２，ｔ）に設定する。

なお、式中の「ｔ」は、行番、及び、「ｍ」は、各行における先頭からの並び順を示す。また、「．ｘ１」又は「．ｘ２」は、文字区画両端のｘ座標を示し、「．ｙ１」又は「．ｙ２」は、文字区画両端のｙ座標を示す。例えば、Ｃ（ｔ，ｍ）．ｘ２は、解析中の文書ページにおけるｔ行目の先頭からｍ番目の文字区画における「ｘ２」の座標値を示す。

一方、縦組みの場合には、文字配置解析処理部１２３は、行毎に、（式４）及び（式５）に示すように、各文字区画の第１配列ラインの方向となる行方向の座標値の差、すなわち、各文字区画の高さを算出し、当該算出した各文字区画の最大の高さＳｍａｘ（ｙ，ｔ）を行方向の最大サイズＳｍａｘ（Ｌ１，ｔ）に設定する。また、文字配置解析処理部１２３は、行毎に、各文字区画の第２配列ラインの方向となる行送り方向の座標値の差、すなわち、各文字区画の幅を算出し、当該算出した各文字区画の最大幅Ｓｍａｘ（ｘ，ｔ）を行送り方向の最大サイズＳｍａｘ（Ｌ２，ｔ）に設定する。

なお、（式２）及び（式３）と同様に、式中の「ｔ」は、行番、及び、「ｍ」は、各行における先頭からの並び順を示す。また、「．ｘ１」又は「．ｘ２」は、文字区画両端のｘ座標を示し、「．ｙ１」又は「．ｙ２」は、文字区画両端のｙ座標を示す。例えば、Ｃ（ｔ，ｍ）．ｘ２は、解析中の文書ページにおけるｔ行目の先頭からｍ番目の文字区画における「ｘ２」の座標値を示す。

（全行に基づく平均区画サイズ）
文字配置解析処理部１２３は、解析中の文書ページにおいて、全行における検出された各文字区画に基づいて、行方向及び行送り方向における平均区画サイズをそれぞれ算出する。

具体的には、文字配置解析処理部１２３は、（式６）及び（式７）に示すように、行毎に算出された行方向の最大サイズ及び行送り方向の最大サイズをそれぞれ加算し、全行（すなわち、Ｔ行）で除算することによって、解析中の文書ページにおける行方向の平均区画サイズＳａｖ（Ｌ１）及び行送り方向の平均区画サイズＳａｖ（Ｌ２）を算出する。なお、式中「Ｔ」は、行数を示す。

例えば、横組みの場合には、文字配置解析処理部１２３は、当該算出した各行の最大幅Ｓｍａｘ（ｘ，ｔ）をｔ＝１，．．．，Ｔの範囲で加算し、全行（すなわち、Ｔ行）で除算することによって、行方向の平均区画サイズＳａｖ（Ｌ１）を算出する。また、文字配置解析処理部１２３は、当該算出した各行の最大の高さＳｍａｘ（ｙ，ｔ）をｔ＝１，．．．，Ｔの範囲で加算し、全行（すなわち、Ｔ行）で除算することによって、行方向の平均区画サイズＳａｖ（Ｌ２）を算出する。

一方、縦組みの場合には、文字配置解析処理部１２３は、当該算出した各行の最大の高さＳｍａｘ（ｙ，ｔ）をそれぞれ加算し、全行（すなわち、Ｔ行）で除算することによって、行方向の平均区画サイズＳａｖ（Ｌ１）を算出する。また、文字配置解析処理部１２３は、当該算出した各行の最大幅Ｓｍａｘ（ｘ，ｔ）をそれぞれ加算し、全行（すなわち、Ｔ行）で除算することによって、行方向の平均区画サイズＳａｖ（Ｌ２）を算出する。

（全行に基づく標準区画サイズ）
文字配置解析処理部１２３は、解析中の文書ページにおいて、各行における行方向の最大区画サイズ及び全行に基づく行方向の平均区画サイズを用いて全行に基づく標準区画サイズを算出する。

具体的には、文字配置解析処理部１２３は、（式８）及び（式９）に示すように、各行における行方向の最大区画サイズと全行に基づく行方向の平均区画サイズの差分値と、行送り方向の最大区画サイズと全行に基づく行送り方向の平均区画サイズの差分値と、をそれぞれ算出し、算出した差分値のうち各々最小となる差分値Ｍｉｎ｜Ｓｍａｘ（Ｌ１，ｔ）−Ｓａｖ（Ｌ１）｜およびＭｉｎ｜Ｓｍａｘ（Ｌ２，ｔ）−Ｓａｖ（Ｌ２）｜を有する最大区画サイズの行ｔｓ１およびｔｓ２を標準行として設定する。そして、文字配置解析処理部１２３は、標準行に設定した行ｔｓ１における行方向のサイズＳｍａｘ（Ｌ１，ｔｓ１）及び標準行に設定した行ｔｓ２における行送り方向のサイズＳｍａｘ（Ｌ２，ｔｓ２）を、解析中の文書ページにおける行方向の標準区画サイズＳｓｔ（Ｌ１）及び行送り方向の標準区画サイズＳｓｔ（Ｌ２）に設定する。

（全行に基づく平均行ピッチ）
文字配置解析処理部１２３は、解析中の文書ページにおいて、行毎に、行送り方向における検出された各文字区画における基準位置の平均座標値に基づいて、平均行ピッチを算出する。

具体的には、文字配置解析処理部１２３は、行毎に、中心座標又は文字区画の四隅のいずれかの座標などの各文字区画における基準点の座標を加算し、該当する行の文字区画数で除算することによって、行毎の平均座標値Ｐｔ（ａｖ，ｔ）を算出する。また、文字配置解析処理部１２３は、算出した行毎の平均座標値Ｐｔ（ａｖ，ｔ）に基づいて、隣接する行における平均座標値の差の平均を算出し、当該算出した平均を、解析中の文書ページにおおける平均行ピッチとして設定する。

例えば、横組みの場合には、文字配置解析処理部１２３は、（式１０）及び（式１１）に示すように、行毎に算出された座標値ｙ２における平均座標値Ｐｔ（ａｖ，ｔ）に基づいて、後段に隣接する行との座標値ｙ２における平均座標値Ｐｔ（ａｖ，ｔ＋１）との差を、全行を対象に算出し、算出した座標値の差のそれぞれについて平均を算出し、当該算出した平均を平均行ピッチＳＬ（ａｖ）として設定する。

なお、上述の各式と同様に、Ｃ（ｔ，ｍ）．ｙ２は、文字区画ｔ行目の先頭からｍ番目の文字区画における「ｙ２」の座標値を示し、「Ｎｃ」は、ｔ行における文字区画数を示す。

一方、例えば、縦組みの場合には、文字配置解析処理部１２３は、（式１２）及び（式１３）に示すように、行毎に算出された座標値ｘ１における平均座標値Ｐｔ（ａｖ，ｔ）に基づいて、後段に隣接する行との座標値ｘ１における平均座標値Ｐｔ（ａｖ，ｔ＋１）との差を、全行を対象に算出し、算出した座標値の差のそれぞれについて平均を算出し、当該算出した平均を平均行ピッチＳＬ（ａｖ）として設定する。

なお、（式１０）及び（式１１）と同様に、Ｃ（ｔ，ｍ）．ｘ１は、文字区画ｔ行目の先頭からｍ番目の文字区画における「ｘ１」の座標値を示し、「Ｎｃ」は、ｔ行における文字区画
数を示す。

（各行の最大文字ピッチ）
文字配置解析処理部１２３は、解析中の文書ページにおいて、検出された各文字区画に基づいて、行毎に行方向における文字区画の最大の配列ピッチを最大文字ピッチとして算出する。

具体的には、文字配置解析処理部１２３は、行毎に、検出された各文字区画の第１配列ラインにおける隣接する２つの文字区画の同一の座標位置おける座標値の差を算出し、算出した座標値の差の最大の値を、解析中の文書ページにおいて行方向における最大文字ピッチＳｐｍａｘ（Ｌ１，ｔ）に設定する。

例えば、横組みの場合には、文字配置解析処理部１２３は、（式１４）に示すように、各行において、隣接する２つの文字区画の左上の座標位置ｘ１の座標値の差を算出し、算出した座標値の差の最大の値を、各行方向における最大文字ピッチＳｐｍａｘ（Ｌ１，ｔ）に設定する。

なお、上述の各式と同様に、式中の「ｔ」は、行番、「ｍ」は、各行における先頭からの並び順及び「．ｘ１」は、ｘ座標を示し、例えば、Ｃ（ｔ，ｍ）．ｘ１は、ｔ行目の先頭からｍ番目の文字区画における「ｘ１」の座標値を示す。

一方、例えば、縦組みの場合には、文字配置解析処理部１２３は、（式１５）に示すように、各行において、隣接する２つの文字区画の右隅の座標位置ｙ２の座標値の差を算出し、算出した座標値の差の最大の値を、各行方向における最大文字ピッチＳｐｍａｘ（Ｌ１、ｔ）に設定する。

なお、上述の各式と同様に、式中の「ｔ」は、行番、「ｍ」は、各行における先頭からの並び順、及び「．ｙ２」は、ｙ座標を示す。そして、例えば、（Ｌ１，１）は、ｔ行における第１配列ラインを示し、Ｃ（ｔ，ｍ）．ｙ２は、ｔ行目の先頭からｍ番目の文字区画における「ｙ２」の座標値を示す。

（全行に基づく基準文字ピッチ）
文字配置解析処理部１２３は、解析中の文書ページにおいて、各行における行方向の最大区画サイズ、全行に基づく行方向の平均区画サイズ及び各行の最大文字ピッチを用いて全行に基づく基準文字ピッチを算出する。

具体的には、文字配置解析処理部１２３は、（式１６）に示すように、各行における行方向の最大区画サイズＳｍａｘ（Ｌ１，ｔ）と全行に基づく行方向の平均区画サイズＳｓｔ（Ｌ１）の差分値をそれぞれ算出し、算出された差分値のうち最小となる差分値を有する最大区画サイズの行を標準行（Ｌｓｔ）として設定する。そして、文字配置解析処理部１２３は、標準行（Ｌｓｔ）に設定した行における最大文字ピッチＳｐｍａｘ（Ｌ１，Ｌｓｔ）を、解析中の文書ページにおける基準文字ピッチＳｐ（ｓｔ）に設定する。

なお、上述の各式と同様に、式中の「ｔ」は、行番、「Ｌｓｔ」は、（式１７）に示すように、各行における行方向の最大区画サイズＳｍａｘ（Ｌ１，ｔ）と全行に基づく行方向の平均区画サイズＳｓｔ（Ｌ１）の最小差分値Ｍｉｎ_ｔ｜ΔＳｐ（Ｌ１，ｔ）｜を有する行を示す。

［４．３．７］文字区画統合補正処理
次に、図１４を用いて本実施形態の文字配置解析処理部１２３における統合補正処理ついて説明する。なお、図１４は、本実施形態の文字配置解析処理部１２３における統合補正処理について説明するため図である。

文字配置解析処理部１２３は、文字区画統合補正処理としては、解析中の文書ページにおいて、行毎に、隣接する文字区画の間の距離をそれぞれ算出するとともに、当該算出した文字区画の間の距離が補正処理の前処理によって算出した基準文字ピッチ以下であるか否かをそれぞれ判定する。そして、文字配置解析処理部１２３は、文字区画の間の距離が基準文字ピッチ以下と判定した文字区画同士を連結し、一の文字区画に統合する。

通常、２以上の互いに独立した部分から構成される文字については、漢字における「へん」や「つくり」等の個々の部分の間に空間が形成されるため、上述のように空白ラインによって文字区画を定めると、画素の大きさや文字の形によっては、個々の部分がそれぞれ別の文字区間として認識される場合がある。その一方、これらの個々の部分の間の空間は、文字間に形成される空間より狭い。

したがって、本実施形態においては、２以上の互いに独立した部分から構成される文字を一文字の文字区画として特定するように、基準となる値（すなわち、基準文字ピッチ）以下の空間がある隣接する２つの文字区画については、単一の文字区画に統合するようになっている。

具体的には、文字配置解析処理部１２３は、（式１８）及び（式１９）に示すように、行（ｔ）毎に、行方向の隣接する２つの文字区画Ｃ（ｔ、ｍ）及びＣ（ｔ、ｍ＋１）の間の距離Ｄ（Ｌ１（ｍ，ｍ＋１））が補正処理の前処理によって算出した基準文字ピッチＳｐ（ｓｔ）以下であるか否かをそれぞれ判定する。そして、文字配置解析処理部１２３は、文字区画の間の距離が基準文字ピッチＳｐ（ｓｔ）以下と判定した文字区画同士を連結し、一の文字区画に統合する。

なお、（式１８）は、横組みの場合の判定式を示し、（式１９）は、縦組みの場合の判定式を示す。また、式中の「ｔ」は、行番、「ｍ」は、各行における先頭からの並び順、及び「．ｘ」又は「．ｙ」は、座標を示す。

例えば、横組みの文書の場合には、単に行検出処理をしただけであると、一行目にある「は」及び２行目にある「い」については、２つの文字区画として検出されることになる。そこで、本実施形態における統合補正処理が実行されると、「は」及び「い」については、図１４（Ａ）に示すように、一つの文字区画として統合されるようになる。

また、縦組みの文書の場合には、横組の文書の場合と同様に、単に行検出処理をしただけであると、一行目にある「は」及び２行目にある「い」については、２つの文字区画として検出されることになる。そこで、本実施形態における統合補正処理が実行されると、「は」及び「い」は、図１４（Ｂ）に示すように、一つの文字区画として統合されるようになる。

［４．３．８］見出し解析処理
次に、図１５を用いて本実施形態の文字配置解析処理部１２３における見出し解析処理ついて説明する。なお、図１５は、本実施形態の文字配置解析処理部１２３における見出し解析処理について説明するため図である。

文字配置解析処理部１２３は、見出し解析処理としては、解析中の文書ページにおいて、行毎に、補正処理用の前処理によって算出した平均行ピッチに基づいて予め定めた条件（以下、「行ピッチ条件」という。）を具備したか否かを判定し、行ピッチ条件を具備する行に属する各文字区画については、見出しに用いる文字区画であることを示す属性を見出し属性情報として設定する。

具体的には、文字配置解析処理部１２３は、図１５並びに（式２０）及び（式２１）に示すように、各行のピッチが算出した平均行ピッチＳＬ（ａｖ）の所定の係数倍（例えば１．５倍）より大きいか否かを判定する。そして、文字配置解析処理部１２３は、各行が算出した平均行ピッチＳＬ（ａｖ）の所定の係数倍（例えば１．５倍）より大きいと判定した場合には、当該判定に用いた行を見出し行に設定し、当該行に属する各文字区画に見出し属性情報（ｍｏｄｅ＝１）を設定する。

なお、（式２０）は、横組みの場合の判定式を示し、（式２１）は、縦組みの場合の判定式を示す。また、上述と同様に、式中の「ｔ」は、行番、「ｍ」は、各行における先頭からの並び順、及び「．ｘ２」又は「．ｙ２」は、ｘまたはｙ座標を示す。さらに、行ｔが見出し行として判定される場合には、当該行に属する全ての文字区画が見出しに用いられるので、上述の演算においては、任意のｍとｍ＋１の文字区画についての行ピッチが算出されればよい。ただし、文字配置解析処理部１２３は、同一行の複数又は全部の文字区画を用いて平均その他の演算によって各行の行ピッチを算出してもよい。

［４．３．９］字下げ解析処理
次に、図１６を用いて本実施形態の文字配置解析処理部１２３における字下げ解析処理ついて説明する。なお、図１６は、本実施形態の文字配置解析処理部１２３における字下げ解析処理について説明するため図である。

文字配置解析処理部１２３は、字下げ解析処理としては、解析中の文書ページにおいて、行毎に、先頭の文字区画における位置が補正処理用の前処理によって算出した第１配列ラインにおける標準区画サイズに基づいて予め定めた条件（以下、「先頭配置条件」という。）を具備したか否かを判定し、先頭配置条件を具備する文字区画については、字下げ文字に該当する文字区画であることを示す属性を字下げ属性情報として設定する。

具体的には、文字配置解析処理部１２３は、図１６、並びに（式２２）及び（式２３）に示すように、行方向において先頭となる文字区画が行方向の文字記載開始位置から所定の距離以上離れているか否かを判定する。そして、文字配置解析処理部１２３は、行方向において先頭となる文字区画が行方向の文字が記載される開始位置から所定の距離以上離れていると判定した場合には、当該判定に用いた文字区画に字下げ属性情報（ｍｏｄｅ＝２）を設定する。

なお、（式２２）は、横組みの場合の判定式を示し、（式２３）は、縦組みの場合の判定式を示す。また、式中の「ｔ」は、行番、「１」は、各行における先頭の文字区画、及び「．ｘ」は、座標を示す。また、「Ｘｍｉｎ」は、横組みの場合における画像化された文書の文書構造において左側の文字配列開始位置のｘ座標を示し、「Ｙｍａｘ」は、縦組みの場合における画像化された文書の文書構造において最上端の文字配列開始位置のｘ座標を示す。

［４．３．１０］ルビ解析処理
次に、図１７を用いて本実施形態の文字配置解析処理部１２３におけるルビ解析処理ついて説明する。なお、図１７は、本実施形態の文字配置解析処理部１２３におけるルビ解析処理について説明するため図である。

文字配置解析処理部１２３は、ルビ解析処理としては、解析中の文書ページにおいて、行毎に、補正処理用の前処理によって算出した平均行ピッチに基づいて予め定めた条件（以下、「行ピッチ特定条件」という。）を具備したか否かを判定し、行ピッチ特定条件を具備する行に属する各文字区画については、ルビに用いる文字区画であることを示す属性をルビ属性情報として設定する。

また、文字配置解析処理部１２３は、特定したルビ行に属する各文字区画の行方向の第１位置とルビ行の文書の行送り方向に対して次段の行であるルビ対象行における各文字区画の行方向の第２位置とをそれぞれ比較するとともに、第１位置と第２位置の差が最小となるルビ対象行の文字区画をルビ対象文字として特定し、当該ルビ対象文字の文字区画にルビ対象文字を示す属性をルビ対象属性情報として設定する。そして、文字配置解析処理部１２３は、対象となっているルビの文字区画についても探索位置（ルビ対象となる文字区画の行及び並び順）の情報を設定する。

具体的には、文字配置解析処理部１２３は、図１７、並びに、（式２４）及び（式２５）に示すように、各行のピッチが算出した行送り方向（第２配列ライン方向）の標準区画サイズＳｓｔ（Ｌ２）の所定の係数倍（例えば０．８倍）より小さいか否かを判定する。そして、文字配置解析処理部１２３は、各行が算出した標準区画サイズＳｓｔ（Ｌ２）の所定の係数倍より小さいと判定した場合には、当該判定に用いた行をルビ行に設定し、当該行に属する各文字区画（Ｃ（ｔ，ｍ））にルビ属性情報（ｍｏｄｅ＝３）を設定する。

なお、（式２４）は、横組みの場合の判定式を示し、（式２５）は、縦組みの場合の判定式を示す。また、式中の「ｔ」は、行番、「ｍ」は、各行における先頭からの並び順、及び「．ｘ１」および「．ｘ２」又は「．ｙ１」および「．ｙ２」は、ｘまたはｙ座標を示す。さらに、行ｔがルビ行として判定される場合には、当該行に属する全ての文字区画がルビに用いられるので、上述の演算においては、任意のｍの文字区画についての行ピッチが算出されればよい。ただし、文字配置解析処理部１２３は、同一行の複数又は全部の文字区画を用いて平均その他の演算によって各行の行ピッチを算出してもよい。

また、文字配置解析処理部１２３は、（条件１）及び（条件２）に示すように、特定したルビ行に属する各文字区画の行方向の第１位置とルビ行の文書の行送り方向に対して次段の行であるルビ対象行における各文字区画の行方向の第２位置とをそれぞれ比較し、第１位置と前記第２位置の差が最小となるルビ対象行の文字区画をルビ対象文字として特定する。そして、文字配置解析処理部１２３は、特定したルビ対象文字として特定された文字区画（Ｃ（ｔ＋１，ｉ））にルビ対象属性情報（ｍｏｄｅ＝４）を設定するとともに、当該ルビ対象文字のルビとなるルビ属性情報を付与した文字区画に、当該ルビ対象属性情報の文字区画のＩＤ（Ｃ（ｔ＋１，ｉ））を設定する。

なお、（条件１）は、横組みの場合の判定条件を示し、（条件２）は、縦組みの場合の判定条件を示す。また、「ｔ」は、行番、「ｉ」および「ｍ」は、各行における先頭からの並び順、及び「．ｘ１」又は「．ｙ２」は、座標を示す。

［４．３．１１］禁則文字解析処理
次に、図１８を用いて本実施形態の文字配置解析処理部１２３における禁則文字処理ついて説明する。なお、図１８は、本実施形態の文字配置解析処理部１２３における禁則文字解析処理について説明するため図である。

文字配置解析処理部１２３は、禁則文字解析処理としては、解析中の文書ページにおいて、見出し解析処理、字下げ解析処理及びルビ解析処理の各属性情報が設定されていない文字区画について、各文字区画の行方向（第１配列ライン方向）の最大幅サイズ（文字区画内で黒画素が存在する最大の幅）及び最小幅サイズ（文字区画内で黒画素が存在する最小の幅）と、行送り方向（第２配列ライン方向）の最大幅サイズ及び最小幅サイズと、を算出する。そして、文字配置解析処理部１２３は、算出したそのそれぞれの差が予め定めた条件（以下、「禁則文字条件」という。）を具備したか否かを判定し、禁則文字条件を具備する文字区画については、禁則文字に該当する文字区画であることを示す属性を禁則文字属性情報として設定する。

具体的には、文字配置解析処理部１２３は、図１８、並びに、（式２６）及び（式２７）に示すように、判定対象の文字区画の範囲において、
（１）行方向（第１配列ライン方向）の最大幅サイズＺｍａｘ（Ｌ１）及び最小幅サイズＺｍｉｎ（Ｌ１）と、行送り方向の最大幅サイズＺｍａｘ（Ｌ２）及び最小幅サイズＺｍｉｎ（Ｌ２）と、を算出し、
（２）行方向の最大幅サイズＺｍａｘ（Ｌ１）及び最小幅サイズＺｍｉｎ（Ｌ１）の差（以下、「行方向サイズ差」という。）ΔＺ（Ｌ１）と、行送り方向の最大幅サイズＺｍａｘ（Ｌ２）及び最小幅サイズＺｍｉｎ（Ｌ２）の差（以下、「行送り方向サイズ差」という。）ΔＺ（Ｌ２）と、をそれぞれ算出し、
（３）それぞれの差が行方向及び行送り方向のそれぞれが禁則文字条件である標準区画サイズＳｓｔ（Ｌ１）及びＳｓｔ（Ｌ２）の所定の係数倍（例えば、０．３５倍）以下であるか否かを判定し、
（４）禁則条件を具備する場合には、当該判定に用いた文字区画に禁則文字属性情報（ｍｏｄｅ＝５）を設定する。

なお、（式２６）及び（式２７）は、横組みの判定式の場合には、「Ｚｍａｘ（Ｌ１）」及び「Ｚｍｉｎ（Ｌ１）」は、ｘ座標となり、「Ｚｍａｘ（Ｌ２）」及び「Ｚｍｉｎ（Ｌ２）」は、ｙ座標となる。また、（式２６）及び（式２７）は、縦組みの判定式の場合には、「Ｚｍａｘ（Ｌ１）」及び「Ｚｍｉｎ（Ｌ１）」は、ｙ座標となり、「Ｚｍａｘ（Ｌ２）」及び「Ｚｍｉｎ（Ｌ２）」は、ｘ座標となる。

［４．４］区画配置処理部
次に、図１９及び図２０を用いて本実施形態のアプリケーション処理部１２０におけるに区画配置処理部１２４ついて説明する。なお、図１９及び図２０は、本実施形態の区画配置処理部１２４における区画配置処理について説明するため図である。

区画配置処理部１２４は、取得した文書データの文書構造におけるページ（すなわち、文書ページ）毎に、前の文書ページの文字区画の配置に継続しつつ、字配置解析処理部によって、解析された各文字区画を、設定された指定表示領域の領域サイズと、予め定められた配置条件と、各文字区画の並び順（各ページ毎の並び順）にしたがって文字区画を指定表示領域に配置するための処理を実行する。

具体的には、区画配置処理部１２４は、文字区画の行番号と行毎の並び順Ｃ（ｔ，ｍ）と文書構造（すなわち、横組み又は縦組み）に従って、各文字区画を配置しつつ、見出し文字、字下げ文字、ルビ、ルビ対象文字及び禁則文字を示す各属性情報を有する文字区画を検出した場合に、予め定められた配置条件に従って各属性情報を有する文字区画を所定の位置に配置する。

すなわち、区画配置処理部１２４は、
（１）属性情報を有していない文字区画を予め定まっている並び順に従って配置し、
（２）見出し属性情報を有する文字区画を検出した場合には、当該文字区画を、当該見出し行に属する他の文字区画とともに、単一の行として設定された指定表示領域内に配置し、
（３）字下げ属性情報を有する文字区画を検出した場合には、当該文字区画を、設定された指定表示領域内における行の先頭であって字下げされる位置に配置し、
（４）ルビ属性情報を有する文字区画を検出した場合には、当該文字区画を、設定された指定表示領域内におけるルビが付与されるルビ対象文字のルビの位置に配置し、
（５）禁則文字属性情報を有する文字区画を検出した場合には、行の先頭に配置禁止の文字に対応する文字区画を前段の行末に、又は、行末に配置禁止の文字に対応する文字区画を次段の行の先頭にそれぞれ当該文字区画を配置する。

そして、区画配置処理部１２４は、配置された際の各文字区画の座標（以下、「改変文字区画座標」という。）を検出し、文字区画毎に文字区画の四隅の座標を有する配置データを生成する。

例えば、区画配置処理部１２４は、図１９（横組みの場合）及び図２０（縦組みの場合）に示すように、字下げ文字区画、ルビ文字区画、ルビ対象文字区画及び禁則文字区画については、上記の配置条件に従って指定表示領域内に配置する。

なお、本実施形態においては、区画配置処理部１２４は、行末における禁則文字の配置を行う関係上、区画配置処理の実行の際には、図１９及び図２０に示すように、指定表示領域より行方向に狭い配置領域（以下、「実配置領域」という。）を用いて配置処理を実行し、禁則文字の文字区画があった場合に、指定表示領域内であって禁則文字の前文字区画と同一の行に配置するようになっている。ただし、この実配置領域は、指定表示領域に対して最大の禁則文字の文字区画が配置可能なスペース分狭い領域サイズであればよい。

［４．５］画像データ生成部
次に、図２１を用いて本実施形態のアプリケーション処理部１２０におけるに画像データ生成部１２５ついて説明する。なお、図２１は、本実施形態の画像データ生成部１２５における画像生成処理について説明するため図である。ただし、図２１は、横組みの場合におけるビットマップ画像を生成する場合について説明するための図である。

画像データ生成部１２５は、区画配置処理部１２４によって生成された配置データ、すなわち、指定表示領域に配置された各文字区画に基づいて、ビットマップ画像を生成する。

具体的には、画像データ生成部１２５は、図２１に示すように、文書データにおいて各文字区画Ｃ（ｔ，ｍ）の該当する区画画像、すなわち、文書データ上の座標で囲まれた各文字区画Ｃ（ｔ，ｍ）の画素ブロック（各画素の画素値）を抽出し、当該画素ブロックを、区画配置処理部１２４によって生成された配置データから各文字区画Ｃ（ｔ，ｍ）の四隅の座標（すなわち、改変文字区画座標であって、具体的には、（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ１，ｙ２）及び（ｘ２，ｙ２）である）に割り当てて指示指定領域内の各画素を設定し、ビットマップ画像を生成する。特に、画像データ生成部１２５は、カラー画像であれば、ＲＧＢの各画素値を、白黒画像であれば、グレースケールの値を改変文字区画座標の各画素に設定する。

［５］表示処理の動作
［５．１］閲覧アプリケーションのメイン表示処理
次に、図２２を用いて本実施形態の携帯用端末装置１０における閲覧アプリケーションに基づく文書画像の表示処理の動作について説明する。なお、図２２を用いて本実施形態の携帯用端末装置１０における閲覧アプリケーションに基づく文書画像の表示処理の動作を示すフローチャートである。

本動作においては、画像化された文書画像の文書データがデータ記憶部１００に既に記憶されているものとし、当該文書データのページサイズとは表示サイズが異なる指定表示領域に当該文書データの文書画像を表示するものとする。

また、所定の文書データにおける文書画像の閲覧中において使用可能なユーザ操作には、指定表示領域の変更指示と、スクロールによる表示位置の変更指示と、終了指示と、を含む。

まず、データ管理制御部１２１は、操作部１６０によってユーザが閲覧を希望する文書データの選択とともに、ユーザの閲覧アプリケーションの実行開始の指示を検出すると（ステップＳ１０１）、選択された文書データをコンテンツデータ記憶部１０２から読み出してＲＯＭ／ＲＡＭ１０３に展開する（ステップＳ１０２）。

次いで、文字配置解析処理部１２３は、読み出した文書データの文書画像に含まれる各文字の文字区画を、文書ページ毎に解析する文字区画解析処理を実行し、各文字区画の基準座標（具体的には矩形の四隅の座標）及び見出し等の属性情報から構成される文字区画データを生成する（ステップＳ１０３）。なお、文字配置解析処理部１２３における文字区画解析処理の詳細については後述する。

次いで、指定表示領域設定部１２２は、予め定められた標準的な指定表示領域を読み出す（ステップＳ１０４）。例えば、データ管理制御部１２１は、前回の閲覧アプリケーションの動作時の指定表示領域をデータ記憶部１００に記憶し、本処理においてデータ記憶部１００から読み出す。

次いで、区画配置処理部１２４は、ステップＳ１０３において実行された文字区画解析処理によって解析された各文字区画を、所定の配置状況及び属性情報に従って、ステップＳ１０４の処理において読み出した指定表示領域、又は、ステップＳ１０９の処理において設定された指定表示領域に配置する区画配置処理を実行する（ステップＳ１０５）。なお、区画配置処理部１２４における区画配置処理の詳細については後述する。

次いで、画像データ生成部１２５は、配置された指定表示領域内の文字区画に、配置された文字区画に対応する元の文書画像における画素ブロックを配置してビットマップ画像を生成する（ステップＳ１０６）。

次いで、画像データ生成部１２５は、表示制御と連動して該当する部分のビットマップ画像を表示部１５０に出力し、ユーザの操作入力を待機する（ステップＳ１０７）。なお、スクロール指示された場合には、その指示に連動して該当する部分のビットマップ画像を連続的に出力する。

次いで、データ管理制御部１２１は、ユーザにおける操作入力を検出すると（ステップＳ１０８）、スクロールによる表示変更指示の有無（ステップＳ１０９）、及び、指定表示領域の変更指示の有無（ステップＳ１１０）をそれぞれ判定する。

このとき、データ管理制御部１２１は、ユーザにおける操作入力が指定表示領域の変更指示と判定した場合には、ステップＳ１０７の処理に移行し、ユーザにおける操作入力が改変ページの指定と判定した場合には、ステップＳ１０５の処理に移行し、ユーザにおける操作入力がいずれの操作入力でもないと判定した場合には、閲覧アプリケーションの終了処理を実行し（ステップＳ１１１）、本動作を終了させる。

［５．２］文字配置解析処理
次に、図２３を用いて本実施形態の携帯用端末装置１０において、閲覧アプリケーション実行中に実行される文字配置解析処理の動作について説明する。なお、図２３は、本実施形態において、閲覧アプリケーション実行中における文字配置解析処理の動作を示すフローチャートである。

本動作においては、文書データのページレイアウト、すなわち、横組みであるか、縦組みであるかは、フラグ情報として文書データに含まれているものとする。また、本動作においては、文字区画解析処理の実行を検出すると、文書ページ毎に、以下の処理が実行されるものとする。

まず、文字配置解析処理部１２３は、上述のステップＳ１０３の処理において、文字区画解析処理の実行を検出すると（ステップＳ２０１）、ＲＯＭ／ＲＡＭ１０３に記憶された文書データに含まれるフラグ情報に基づいて、当該文書データのページレイアウトを識別し、当該文書データにおける前記文書の行方向及び行送り方向を認識する（ステップＳ２０２）。

次いで、文字配置解析処理部１２３は、カラーによって形成された文書画像をグレースケール画像に変換し、変換したグレースケール画像を、又は、白黒によって形成された文書画像を直接的に、予め定められた閾値に基づいて、２値化するとともに、２値化された文書画像におけるノイズを除去するノイズ補正を実行する（ステップＳ２０３）。

次いで、文字配置解析処理部１２３は、行検出処理及び文字区画検出処理を実行するために、認識した行方向及び行送り方向に対する２値化された各画素のそれぞれの画素値（黒画素、白画素又はその双方）をカウントする（ステップＳ２０４）。

次いで、文字配置解析処理部１２３は、行方向の各画素における画素値のカウント数に基づいて、行方向における空白の画素ライン（空白ライン）を抽出し、領域幅（すなわち、行の高さ又は幅）を含む各行を検出する（ステップＳ２０５）。

次いで、文字配置解析処理部１２３は、検出した行毎に、行送り方向の各画素における画素値のカウント数に基づいて、行送り方向における空白の画素ライン（空白ライン）及び文字を形成する文字形成ラインを抽出し、行毎の各文字区画を検出する（ステップＳ２０６）。

次いで、文字配置解析処理部１２３は、補正処理用の前処理として、最大区画サイズ、平均区画サイズ、標準区画サイズ、平均行ピッチ、最大文字ピッチ、及び、基準文字ピッチを算出する（ステップＳ２０７）。

次いで、文字配置解析処理部１２３は、前処理によって実行された演算結果を用いて、各行において、文字ピッチ条件を具備する隣接する２つの文字区画を統合する統合補正処理を実行する（ステップＳ２０８）。

次いで、文字配置解析処理部１２３は、前処理によって実行された演算結果を用いて、各行において、行ピッチ条件を具備する行であるか否かを判定し、行ピッチ条件を具備する行に属する文字区画に、見出し文字としての属性（見出し属性情報）を設定する見出し解析処理を実行する（ステップＳ２０９）。

次いで、文字配置解析処理部１２３は、前処理によって実行された演算結果を用いて、各行の先頭の文字区画について、先頭配置条件を具備するか否かを判定し、先頭配置条件を具備する先頭の文字区画に、字下げ文字としての属性（字下げ属性情報）を設定する字下げ解析処理を実行する（ステップＳ２１０）。

次いで、文字配置解析処理部１２３は、前処理によって実行された演算結果を用いて、各行において、行ピッチ特定条件を具備するか否かを判定し、行ピッチ特定条件等を有する文字区画をルビ又はルビ対象文字として設定する（ステップＳ２１１）。

具体的には、文字配置解析処理部１２３は、行ピッチ特定条件を具備する各文字区画をルビとしての属性（ルビ属性情報）設定し、ルビと判定され文字区画が存在した場合にルビと判定された文字区画に対して所定の条件を有する文字区画をルビ対象文字としての属性（ルビ対象文字属性情報）を設定し、かつ、ルビに設定された文字区画にルビ対象文字として設定された文字区画を探索する探索位置を設定する。

次いで、文字配置解析処理部１２３は、前処理によって実行された演算結果を用いて、見出し属性情報、字下げ属性情報、ルビ属性情報及びルビ対象属性情報が設定されていない各文字区画について、禁則条件を具備するか否かを判定し、禁則条件を有する文字区画に禁則文字としての属性（禁則文字属性情報）を設定する禁則文字解析処理を実行する（ステップＳ２１２）。

最後に、文字配置解析処理部１２３は、文字区画毎に、上記各処理によって得られた文字区画の基準座標（具体的には矩形の四隅の座標）、先頭からの並び順情報、及び、見出し等の上記属性情報を含む文字区画データを生成してＲＯＭ／ＲＡＭ１０３に展開し（ステップＳ２１３）、本動作を終了させる。

［５．３］区画配置処理
次に、図２４〜図２６を用いて本実施形態の携帯用端末装置１０において、閲覧アプリケーション実行中に実行される区画配置処理の動作について説明する。なお、図２４〜図２６は、本実施形態において、閲覧アプリケーション実行中における区画配置処理の動作を示すフローチャートである。

本動作においては、文書データの文書構造におけるページ（すなわち、元の文書形式のページ（以下、単に「文書ページ」という。））毎に実行するものとし、配置条件は閲覧アプリケーションの実行開始時にＲＯＭ／ＲＡＭ１０３に展開されているものとする。

また、本動作においては、文字区画を配置する際に、行方向に次の文字区画を配置する座標（ｘ、ｙ）の位置（以下、「次配置位置」という。）を認識し、かつ、指定表示領域内の改行を行うための行方向の残存スペースを算出しつつ、当該文字区画を配置するものとする。

まず、区画配置処理部１２４は、上述のステップＳ１０５の処理において、区画配置処理の実行を検出すると（ステップＳ３００）、ユーザによって設定された又は予め設定された指定表示領域の領域サイズから行方向の長さ情報を取得して後段の処理の演算に使用する各値を初期化する（ステップＳ３０１）。具体的には、区画配置処理部１２４は、行方向及び行送り方向の画素数を取得して指定表示領域の領域サイズ（Ａｘ×Ａｙ）を取得し、かつ、実配置領域（Ｂｘ×Ｂｙ）を設定する。また、このとき、区画配置処理部１２４は、ＲＯＭ／ＲＡＭ１０３に記憶される、指定表示領域の残存スペースを算出する際に用いる行方向の長さＷＤ（Ｌ１）を初期化する。

次いで、区画配置処理部１２４は、該当する文書ページに属する文字区画の文字区画データをＲＯＭ／ＲＡＭ１０３から読み出して取得する（ステップＳ３０２）。具体的には、区画配置処理部１２４は、先頭の文書ページ又は指定表示領域が設定される際に指定表示領域の先頭に表示していた文字区画が属する文書ページを取得する。

次いで、区画配置処理部１２４は、読み出した文書ページにおける該当する文字区画を、その属性情報とともに、読み出す（ステップＳ３０４）。具体的には、区画配置処理部１２４は、読み出した文書ページにおいて、文字配置解析処理によって得られた各文字区画の並び順に従って、先頭の文字区画、又は、既に当該文書ページについて本処理を実行している場合には、前回読み出した文字区画の次の文字区画を読み出す。

次いで、区画配置処理部１２４は、読み出した文字区画の属性情報に基づいて当該文字区画がルビを示す文字区画であるか否かを判定する（ステップＳ３０５）。具体的には、区画配置処理部１２４は、当該文字区画の属性情報としてルビ属性情報「ｍｏｄｅ＝３」を有しているか否かを判定する。このとき、区画配置処理部１２４は、当該読み出した文字区画の属性情報がルビを示す文字区画であると判定した場合には、ステップＳ３０４の処理に戻り、ルビでない文字区画と判定した場合には、ステップＳ３０６の処理に移行する。

なお、本処理は、ルビと判定された文字区画を、ルビ以外の文字区画を配置した後に配置するための判定処理である。

次いで、区画配置処理部１２４は、読み出した文字区画の属性情報に基づいて当該文字区画が見出し行に属する文字区画であるか否かを判定する（ステップＳ３０６）。具体的には、区画配置処理部１２４は、当該文字区画の属性情報として見出し属性情報「ｍｏｄｅ＝１」を有しているか否かを判定する。このとき、区画配置処理部１２４は、当該読み出した文字区画が見出し行に属する文字区画であると判定した場合には、ステップＳ３１２の処理に移行し、見出し行に属する文字区画でないと判定した場合には、ステップＳ３０７の処理に移行する。

次いで、区画配置処理部１２４は、読み出した文字区画の属性情報に基づいて当該文字区画が字下げ文字を示す文字区画であるか否かを判定する（ステップＳ３０７）。具体的には、区画配置処理部１２４は、当該文字区画の属性情報として字下げ属性情報「ｍｏｄｅ＝２」を有しているか否かを判定する。このとき、区画配置処理部１２４は、当該読み出した文字区画が字下げ文字であると判定した場合には、ステップＳ３１２の処理に移行し、字下げ文字でないと判定した場合には、ステップＳ３０８の処理に移行する。

次いで、区画配置処理部１２４は、ステップＳ３０７の処理において読み出した文字区画が字下げ文字でないと判定した場合には、所定の演算を実行することによって、指定表示領域の該当する行において読み出した文字区画を配置する残存スペースがあるか否かを判定する（ステップＳ３０８）。具体的には、区画配置処理部１２４は、ＲＯＭ／ＲＡＭ１０３に記憶された行方向の長さＷＤ（Ｌ１）に、読み出した文字区画の行方向の長さ（横組みの場合にはΔｘ及び縦組みの場合には、Δｙ）を加算し、その値がステップＳ３０２の処理において取得した実配置領域における行方向の長さ（横組みの場合には、Ｂｘ及び縦組みの場合には、Ｂｙ）より小さいか否かを判定する。

また、このとき、区画配置処理部１２４は、指定表示領域の該当する行において読み出した文字区画を配置する残存スペースがあると判定した場合には、ステップＳ３２１の処理に移行し、読み出した文字区画を配置する残存スペースがないと判定した場合には、ステップＳ３３１の処理に移行する。

次いで、区画配置処理部１２４は、ステップＳ３０８の処理において、指定表示領域の該当する行において読み出した文字区画を配置する配置スペースがないと判定した場合には、当該読み出した文字区画の属性情報に基づいて禁則文字を示す文字区画であるか否かを判定する（ステップＳ３１１）。

具体的には、区画配置処理部１２４は、当該文字区画の属性情報として禁則文字属性情報「ｍｏｄｅ＝５」を有しているか否かを判定する。このとき、区画配置処理部１２４は、当該読み出した文字区画が禁則文字でないと判定した場合には、ステップＳ３１２の処理に移行し、禁則文字であると判定した場合には、ステップＳ３２１の処理に移行する。

次いで、区画配置処理部１２４は、ステップＳ３０６の処理において読み出した文字区画が見出し行に属する文字区画であると判定した場合には、ステップＳ３０７の処理において読み出した文字区画が字下げ文字であると判定した場合には、又は、ステップＳ３１１の処理において読み出した文字区画が禁則文字であると判定した場合には、指定表示領域における次配置位置を改行し、行方向の長さＷＤ（Ｌ１）を初期化し（ステップＳ３１２）、ステップＳ３２１の処理に移行する。具体的には、区画配置処理部１２４は、次配置位置に所定の行間値を加算して行送り方向の位置を決定しつつ、行方向の先頭位置に次配置位置を決定する。

次いで、区画配置処理部１２４は、ステップＳ３０８の処理において、指定表示領域の該当する行において読み出した文字区画を配置する配置スペースがあると判定した場合に、ステップＳ３１２の処理において、読み出した文字区画が禁則文字であると判定した場合に、又は、ステップＳ３１２の処理において改行し、かつ、行方向の先頭位置に次配置位置を決定した場合に、当該次配置位置に読み出した文字区画を配置する（ステップＳ３２１）。

次いで、区画配置処理部１２４は、行方向の次配置位置に読み出した文字区画の行方向の長さ（横組みの場合にはΔｘ及び縦組みの場合には、Δｙ）を加算し、行方向の次配置位置を更新する（ステップＳ３２２）。

次いで、区画配置処理部１２４は、ルビを除き、ステップＳ３０２の処理によって読み出した文書データについて、全ての文字区画について既に区画配置処理を実行したか否かを判定する（ステップＳ３３１）。このとき、区画配置処理部１２４は、ルビを除き、全ての文字区画について既に区画配置処理を実行したと判定した場合には（すなわち、ルビ以外の文字区画を配置した判定した場合には）、ステップＳ４０１の処理移行し、ルビを除き、全ての文字区画について既に区画配置処理を実行していないと判定した場合には（すなわち、ルビ以外にも未だ区画配置処理を実行していない文字区画があると判定した場合には）、ステップＳ３０４の処理に戻る。

一方、区画配置処理部１２４は、ステップＳ３３１の処理において、ルビを除き、全ての文字区画について既に区画配置処理を実行したと判定した場合には、ＲＯＭ／ＲＡＭ１０３から該当する文書ページの先頭から該当する文字区画を再度読み出す（ステップＳ４０１）。

次いで、区画配置処理部１２４は、当該読み出した文字区画の属性情報に基づいてルビを示す文字区画であるか否かを判定する（ステップＳ４０２）。具体的には、区画配置処理部１２４は、当該文字区画の属性情報としてルビ属性情報「ｍｏｄｅ＝３」を有しているか否かを判定する。このとき、区画配置処理部１２４は、当該読み出した文字区画の属性情報がルビを示す文字区画であると判定した場合には、ステップ４０３の処理に戻り、ルビでない文字区画と判定した場合には、ステップＳ４０１の処理に戻る。

次いで、区画配置処理部１２４は、属性情報に含まれるルビ対象文字を検索し、当該ルビ対象文字のルビ位置を算出し（ステップＳ４０３）、該当する位置に文字区画をルビとして配置する（ステップＳ４０４）。

次いで、区画配置処理部１２４は、ルビを含め全ての文字区画について区画配置処理を実行したか否かを判定する（ステップＳ４０５）。このとき、区画配置処理部１２４は、ルビを含め全ての文字区画について区画配置処理を実行していないと判定した場合には、ステップＳ４０１の処理に戻り、ルビを含め全ての文字区画について区画配置処理を実行したと判定した場合には、ステップＳ４０２の処理に移行する。

最後に、区画配置処理部１２４は、次の文書ページの有無を判定するとともに（ステップＳ４０６）、次の文書ページがあると判定した場合には、ステップＳ３０２の処理に移行し、次の文書ページがないと判定した場合には、本動作を終了させる。

［６］表示処理の一例
次に、図２７及び図２８を用いて本実施形態における表示処理の一例ついて説明する。なお、図２７は、本実施形態における横組みの場合における表示処理の一例を説明するための図であり、図２８は、本実施形態における縦組みの場合における表示処理の一例を説明するための図である。

横組みの場合は、携帯用端末装置１０は、ユーザ操作に基づいて、例えば、図２７（Ａ）に示すＪＰＥＧ形式などのビットマップ形式の文書データ（文書ページ）に基づいて閲覧アプリケーションを起動させると、図２７（Ｂ）に示すような文字区画データを生成する。そして、携帯用端末装置１０は、図２８（Ｃ）に示すような指定表示領域（実配置領域）を検出して設定すると、図２７（Ｄ）に示すような、指定表領域に従った表示画面を出力する。

また、縦組みの場合は、携帯用端末装置１０は、ユーザ操作に基づいて、例えば、図２８（Ａ）に示すＪＰＥＧ形式などのビットマップ形式の文書データ（文書ページ）に基づいて閲覧アプリケーションを起動させると、図２８（Ｂ）に示すような文字区画データを生成する。そして、携帯用端末装置１０は、図２７（Ｃ）に示すような指定表示領域（実配置領域）を検出して設定すると、図２８（Ｄ）に示すような、指定表領域に従った表示を実行する。

［７］変形例
次に、図２９を用いて上記実施形態に基づく変形例について説明する。なお、図２９は、上記実施形態に基づく変形例を説明するための図である。

上述の実施形態においては、携帯用端末装置１０は、ページの概念を用いることなく、行送り方向については、文書データの文末まで一ページ分の仮想的なページによってビットマップ画像を生成し、ユーザのスクロール表示に従ってユーザの希望する部分をシームレスに閲覧可能に表示するようになっているが、指定表示領域についても、ページの概念を用いて文書画像データを指定表示領域に従って表示してもよい。

この場合には、区画配置処理部１２４は、設定された指定表示領域に従って、複数のページ（以下、「改変ページ」という。）によって文書画像を提供するために、各文字区画を配置するようになっている。例えば、区画配置処理部１２４は、一の改変ページでは元の文書画像における一のページの文字区画を全て配置することができない場合には、改変ページに文字区画を配置する領域が確保することができなくなる毎に、一の改変ページを追加し、追加した改変ページに、未だ配置されていない文字区画（以下、「未配置文字区画」という。）を配置条件に従って配置する。

特に、この場合において、区画配置処理部１２４は、図２９に示すように、文書画像におけるｍｐページ（文書ページにおけるｍｐページ）の文字区画の配置の終了後に、改変ページ（以下、「継続中改変ページ」という。）に一以上の文字区画が配置可能な場合には、文書ページの（ｍｐ＋１）ページにおける先頭の文字区画から順に、配置条件に従って継続中改変ページの未配置領域に配置し、ｎｐページ目の改変ページを生成し、継続中改変ページに未配置の文字区画によって（ｎｐ＋１）ページ目の改変ページを生成する。

そして、画像データ生成部１２５は、ユーザによって設定された指定表示領域に基づく改変ページ毎に文書画像を表示するためのデータを生成する。

以上、本実施形態の携帯用端末装置１０は、２値化された第１配列ライン及び第２配列ラインの各画素の画素値に基づいて、画像化された文書における各文字の画像領域（区画画像）を文字区画として検出することができるので、設定された表示領域に合わせて各文字区画を配列させることができる。

したがって、本実施形態の携帯用端末装置１０は、例えば、表示領域の行方向の幅が狭い場合に行方向へのスクロール表示を制限しつつ、表示可能な文字配列を実現することができるので、携帯端末装置等の表示手段の表示領域が小さい場合であっても、当該表示領域のサイズに依存せずに、ユーザの閲覧性を向上させることができる。

また、本実施形態の携帯用端末装置１０は、文字区画を検出する際に、画像化された文書画像を構成する各文字のサイズ、当該文書上の配置位置又はその双方を特定することができるので、各文字の大きさ又は元の配置位置に基づいて表示領域に各文字区画を配置することができる。

したがって、本実施形態の携帯用端末装置１０は、文書の文書構造を維持しつつ、適切な文字サイズによる表示を実現することができる。

また、本実施形態の携帯用端末装置１０は、各第１配列ライン上の第１画素の画素値の有無によって、当該各第１配列ラインが文書の行間を示すラインであるか、文字が存在する行に含まれるラインであるかを検出することができる。

すなわち、本実施形態の携帯用端末装置１０は、例えば、黒を示す画素値を有する第１画素を検出する場合であって、第１配列ライン上に第１画素が存在しない場合には、当該第１配列ラインを文字が存在しない空白のラインであって文書の行間を示すラインであることを検出することができるとともに、第１配列ライン上に一以上の第１画素が検出された場合には、第１配列ラインを文字が存在する行に含まれるラインであることを検出することができる。

そして、本実施形態の携帯用端末装置１０は、第１画素が存在する隣接する第１配列ライン群によって文書を構成する各行（すなわち、文字が存在する行）とそれらの行間とを検出することができるので、当該第１配列ライン群に属する第１配列ライン数に基づいて文書を構成する文字の行送り方向のサイズ、すなわち、文書が横組みであれば文字の高さ、文書が縦組みであれば文字の幅を検出することができる。

この結果、本実施形態の携帯用端末装置１０は、画像化された文書における各文字の画像領域（区画画像）を文字区画として的確に検出することができる。

また、本実施形態の携帯用端末装置１０は、文書の各行毎に、各第２配列ライン上の第１画素の画素値の有無によって、当該各第２配列ラインが文字間を示すラインであるか、文字を構成するラインであるかを検出することができる。

すなわち、本実施形態の携帯用端末装置１０は、例えば、上述のように、黒を示す画素値を有する第１画素を検出する場合であって、第２配列ライン上に第１画素が存在しない場合には、当該第２配列ラインを文字が存在しない空白のラインであって文字間を示すラインであることを検出することができるとともに、第２配列ライン上に一以上の第１画素が検出された場合には、第２配列ラインを、文字を構成するラインであるとして検出することができる。

そして、本実施形態の携帯用端末装置１０は、第１画素が存在する隣接する第２配列ライン群によって各文字とそれらの文字間とを検出することができるので、当該第２配列ライン群に属する第２配列ライン数に基づいて各行の各文字の行方向のサイズ、すなわち、文書が横組みであれば文字の幅、文書が縦組みであれば文字の高さを検出することができる。

この結果、本実施形態の携帯用端末装置１０は、画像化された文書における各文字の画像領域（区画画像）を文字区画として的確に検出することができる。

また、本実施形態の携帯用端末装置１０は、２以上の互いに独立した部分から構成される文字を一文字の文字区画として特定することができるので、画像化された文書における各文字の画像領域（区画画像）を文字区画として的確に検出することができる。

また、本実施形態の携帯用端末装置１０は、画像化された文書画像を構成する各文字のサイズ、当該文書上の配置位置又はその双方を特定し、文書内における各文字の配列ルールを認識することができるとともに、当該配列ルールを配置条件に反映されることによって、当該配列ルールに従いつつ、各文字区画を示す文字区画の表示領域内の位置を決定することができる。

したがって、本実施形態の携帯用端末装置１０は、見出し、字下げ、先頭文字、ルビ、又は、禁則文字等の文書構造を維持しつつ、適した文字サイズによる表示を実現することができるので、表示領域に依存せずに、かつ、ユーザの閲覧性を向上させることができる。

また、本実施形態の携帯用端末装置１０は、見出し行に属する各文字区画を表示領域における単一の行に配置することができるので、文書構造を維持しつつ、文書を表示領域に合わせて表示させることができる。

また、本実施形態の携帯用端末装置１０は、所定の文字のルビとして検出された文字区画を、設定された表示領域内におけるルビが付与されるルビ対象文字のルビの位置に配置することができるので、文書構造を維持しつつ、文書を表示領域に合わせて表示させることができる。

また、本実施形態の携帯用端末装置１０は、文書における段落の先頭文字と特定された文字区画を、設定された表示領域内における行の先頭であって字下げされる位置に配置することができるので、文書構造を維持しつつ、文書を表示領域に合わせて表示させることができる。

また、本実施形態の携帯用端末装置１０は、文書における禁則処理の対象文字として特定された文字区画を、設定された表示領域内においても禁則処理の対象文字として配置することができるので、文書構造を維持しつつ、文書を表示領域に合わせて表示させることができる。

また、本実施形態の携帯用端末装置１０は、文書のページが切り替わった場合であっても、ユーザにページが切り替わったことを意識させることなく、文書を表示領域に表示することができるので、ユーザの閲覧性を向上させることができる。

１０ … 携帯用端末装置
１００ … データ記憶部
１０１ … アプリケーション記憶部
１０２ … コンテンツデータ記憶部
１０３ … ＲＯＭ／ＲＡＭ
１１０ … 通信制御部
１２０ … アプリケーション処理部
１２１ … データ管理制御部
１２２ … 指定表示領域設定部
１２３ … 字配置解析処理部
１２４ … 区画配置処理部
１２５ … 画像データ生成部
１４０ … 表示制御部
１５０ … 表示部
１６０ … 操作部
１９０ … 端末管理制御部

Claims (10)

1. マトリクス状に配列された複数の画素によって形成された画像を表示手段に表示するための表示制御装置であって、
   少なくとも文書が画像化された前記画像を文書画像として前記表示手段にて表示するための画像データを外部又は記憶手段から取得する取得手段と、
   前記文書画像を表示する際の前記表示手段における表示領域のサイズを設定する設定手段と、
   前記取得された画像データに基づいて、前記文書画像における文書の行方向及び行送り方向を認識する認識手段と、
   前記文書画像の各画素値を２値化する２値化手段と、
   前記文書画像の文書の行方向に対する画素の配列ラインである第１配列ライン毎の、前記２値化された各画素における画素値に基づいて、前記文書画像の行を検出する行検出手段と、
   前記検出された行毎に、前記文書画像の文書の行送り方向における画素の配列ラインである第２配列ライン毎の各第２配列ラインに属する画素の中から、前記２値化した際の一方の値を有する第１画素を少なくとも検出し、当該第１画素の有無に基づいて、各行に含まれる文字の区画を、当該区画のサイズ及び区画位置を特定しつつ、文字区画として検出する文字区画検出手段と、
   （１）前記検出された各行の各文字区画に基づいて、各行における行方向の最大の文字区画のサイズを示す最大区画サイズ、全行に基づく前記文字区画のサイズの平均を示す平均区画サイズ、及び、各行における隣接する２つの文字区画の距離の最大値を示す最大文字ピッチを算出し、（２）前記各行における最大区画サイズの中で前記全行に基づく平均区画サイズとの差が最小となる行における最大文字ピッチを基準文字ピッチとして算出し、（３）前記文字区画を検出する際の前記第１画素の検出結果に基づいて、行毎に、同一の行に属し、かつ、隣接する２つの文字区画の文書の行方向における配置間隔を示す文字ピッチを算出し、（４）当該算出した文字ピッチが前記算出した基準文字ピッチに基づいて予め定められた文字ピッチ条件を具備する当該文字ピッチの算出対象の２つの文字区画を同一の文字区画として統合補正を実行する統合補正手段と、
   前記設定された表示領域の領域サイズに基づいて、前記補正された各文字区画を、当該表示領域に配置するための配置位置を決定する配置位置決定手段と、
   前記決定された各文字区画の配置位置に、前記文書画像の一部であって各文字区画に対応する区画画像を配置して前記表示領域に表示するための表示画像を生成する画像生成手段と、
   前記生成された画像を前記表示手段に出力する出力手段と、
   を備えることを特徴とする表示制御装置。
2. 請求項１に記載の表示制御装置において、
   前記行検出手段が、
   前記第１配列ライン毎に、各第１配列ラインに属する画素の中から、前記２値化した際の一方の画素値を有する第１画素を少なくとも検出し、
   当該第１画素の有無に基づいて前記画像化された文書の各行を検出する、表示制御装置。
3. 請求項１又は２に記載の表示制御装置において、
   前記配置位置決定手段が、
   前記検出された各文字区画のサイズ及び区画位置に基づいて予め定められた配置条件に従って、前記検出された文字区画を、前記設定された表示領域に配置する位置を決定する、表示制御装置。
4. 請求項１〜３のいずれか１項に記載の表示制御装置において、
   配置条件には、前記文書における見出しと用いられる行を示す見出し行に属する文字区画を、当該見出し行に属する他の文字区画とともに、単一の行として前記設定された表示領域内に配置する条件を含み、
   前記文字区画検出手段が、
   前記統合された文字区画を含む各行の各文字区画の前記文書画像における区画位置に基づいて、行毎に、前記文書の行送り方向に対する隣接する２つの行の配置間隔を行ピッチとして算出し、
   前記算出した各行ピッチに基づいて、前記文書画像の全行で平均化した平均行ピッチを算出し、
   当該算出した行ピッチが前記平均行ピッチに基づいて定められた行ピッチ条件を具備する場合に、当該行ピッチ条件を具備する２つの行のうち、前記行ピッチを定める基点に基づいて定まる一方の行を、前記見出し行として特定し、
   前記配置位置決定手段が、
   前記見出し行に属する文字区画を前記配置条件に従って前記表示領域内に配置する、表示制御装置。
5. 請求項１〜３のいずれか１項に記載の表示制御装置において、
   配置条件には、所定の文字のルビとして検出された文字区画を、前記設定された表示領域内における前記ルビが付与されるルビ対象文字のルビの位置に配置する条件を含み、
   前記文字区画検出手段が、
   前記統合された文字区画を含む各行の各文字区画の前記文書画像における区画位置に基づいて、行毎に、前記文書の行送り方向に対する隣接する２つの行の配置間隔を行ピッチとして算出し、
   前記算出した各行ピッチに基づいて、前記文書画像の全行で平均化した平均行ピッチを算出し、
   当該算出した行ピッチのピッチ幅が前記平均行ピッチに基づいて定められた行ピッチ特定条件を具備する場合に、当該行ピッチ特定条件を具備する２つの行のうち、前記行ピッチを定める基点に基づいて定まる行を、前記ルビを付与するルビ行として特定し、
   前記特定したルビ行に属する各文字区画の行方向の第１位置と前記ルビ行の前記文書の行送り方向に対して次段の行であるルビ対象行における各文字区画の行方向の第２位置とをそれぞれ比較し、前記第１位置と前記第２位置の差が最小となるルビ対象行の文字区画をルビ対象文字として特定し、
   前記配置位置決定手段が、
   前記ルビ対象文字の前記表示領域内の文字区画位置に基づいて、前記配置条件に従って、前記ルビ行に属する各文字区画を前記表示領域内の位置に配置する、表示制御装置。
6. 請求項１〜３のいずれか１項に記載の表示制御装置において、
   配置条件には、前記文書における段落の先頭文字と特定された文字区画を、前記設定された表示領域内における行の先頭であって字下げされる位置に配置する条件を含み、
   前記文字区画検出手段が、
   各行毎に、行の先頭に位置する文字区画の配置位置が、前記行方向の文字が記載される開始位置から、前記各文字区画のサイズに基づく先頭配置条件で定められる所定の距離以上離れている場合に、当該行の先頭の文字区画を文書の段落における先頭文字として特定し、
   前記配置位置決定手段が、
   前記先頭文字と特定された文字区画を前記配置条件に従って前記表示領域内に配置する、表示制御装置。
7. 請求項１〜３のいずれか１項に記載の表示制御装置において、
   配置条件には、前記文書における禁則文字に該当する文字区画を、前記設定された表示領域内における所定の位置に配置する条件を含み、
   前記文字区画検出手段が、
   前記検出された各文字区画の行方向及び行送り方向のそれぞれにおいて、当該各文字区間における前記第１画素が存在する最大幅及び最小幅を算出し、
   前記検出された各文字区画の前記行方向の最大幅と最小幅の差、及び、前記検出された各文字区画の前記行送り方向の最大幅と最小幅の差を算出し、
   前記算出されたそれぞれの差が予め定められた条件を具備した場合に、該当する文字区画を前記禁則文字に該当する文字区画に設定し、
   前記配置位置決定手段が、
   前記禁則文字に該当する文字区画と設定された文字区画を前記配置条件に従って前記表示領域内に配置する、表示制御装置。
8. 請求項１〜７のいずれか１項に記載の表示制御装置において、
   前記取得手段が、前記外部又は記憶手段から前記画像データを、前記画像化された文書のページ毎に取得し、
   前記配置位置決定手段が、配置条件に従いつつ、各ページの先頭の文字に対応する文字区画を、前ページの最終文字に対応する文字区画の次の文字区画として、前記設定された表示領域に配置する位置を決定する、表示制御装置。
9. 請求項１〜８のいずれか１項に記載の表示制御装置において、
   前記認識手段が、
   各第１配列ラインに属する各画素の画素値に基づいて第２配列ライン方向の前記文字が存在しない空白ライン数を検出し、
   各第２配列ラインに属する各画素の画素値に基づいて第１配列ライン方向の前記文字が存在しない空白ライン数を検出し、
   前記第１配列ライン方向の空白ライン数と前記第２配列ライン方向の空白ライン数とに基づいて、前記文書の行方向及び行送り方向を認識する、表示制御装置。
10. マトリクス状に配列された複数の画素によって形成された画像を表示手段に表示するプログラムであって、
    コンピュータを、
    少なくとも文書が画像化された前記画像を文書画像として前記表示手段にて表示するための画像データを外部又は記憶手段から取得する取得手段、
    前記文書画像を表示する際の前記表示手段における表示領域のサイズを設定する設定手段、
    前記取得された画像データに基づいて、前記文書画像における文書の行方向及び行送り方向を認識する認識手段、
    前記文書画像の各画素値を２値化する２値化手段、
    前記文書画像の文書の行方向に対する画素の配列ラインである第１配列ライン毎の、前記２値化された各画素における画素値に基づいて、前記文書画像の行を検出する行検出手段、
    前記検出された行毎に、前記文書画像の文書の行送り方向における画素の配列ラインである第２配列ライン毎の各第２配列ラインに属する画素の中から、前記２値化した際の一方の値を有する第１画素を少なくとも検出し、当該第１画素の有無に基づいて、各行に含まれる文字の区画を、当該区画のサイズ及び区画位置を特定しつつ、文字区画として検出する文字区画検出手段、
    （１）前記検出された各行の各文字区画に基づいて、各行における行方向の最大の文字区画のサイズを示す最大区画サイズ、全行に基づく前記文字区画のサイズの平均を示す平均区画サイズ、及び、各行における隣接する２つの文字区画の距離の最大値を示す最大文字ピッチを算出し、（２）前記各行における最大区画サイズの中で前記全行に基づく平均区画サイズとの差が最小となる行における最大文字ピッチを基準文字ピッチとして算出し、（３）前記文字区画を検出する際の前記第１画素の検出結果に基づいて、行毎に、同一の行に属し、かつ、隣接する２つの文字区画の文書の行方向における配置間隔を示す文字ピッチを算出し、（４）当該算出した文字ピッチが前記算出した基準文字ピッチに基づいて予め定められた文字ピッチ条件を具備する当該文字ピッチの算出対象の２つの文字区画を同一の文字区画として統合補正を実行する統合補正手段、
    前記設定された表示領域の領域サイズに基づいて、前記補正された各文字区画を、当該表示領域に配置するための配置位置を決定する配置位置決定手段、
    前記決定された各文字区画の配置位置に、前記文書画像の一部であって各文字区画に対応する区画画像を配置して前記表示領域に表示するための表示画像を生成する画像生成手段、及び、
    前記生成された画像を前記表示手段に出力する出力手段、
    として機能させることを特徴とするプログラム。

Images