JP2009153067A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】 簡単な編集作業で複数ページの原稿画像をページ単位だけでなく高い自由度で配置を変更して１ページに割り付ける。
【解決手段】 複数のページからなる原稿の画像データを入力し、入力した画像データを複数のブロックに分割する。そして、１ページに割り付ける際に前記複数のページの文書の連続性が維持されるように予め定められた規則に基づき、分割された各ブロックから不要となる情報を選別し、選別された前記不要となる情報を破棄する。また、前記分割された各ブロックにおいて前記予め定められた規則に基づき必要となる情報を付加する。そして、前記分割された各ブロックを不要となる情報が破棄されたブロック及び必要となる情報が付加されたブロックで置換し、置換後の各ブロックを１ページに割り付けて出力する。
【選択図】 図６

Description

本発明は、入力デバイスから取得した画像データを編集して出力する画像処理方法及び画像処理装置に関する。

スキャナデバイスの低価格化に伴って、家庭においても手軽に原稿をスキャンして電子データ化できるようになった。さらに、記録装置であるインクジェットプリンタなどは進化し、最近では、マルチファンクションプリンタ（ＭＦＰ）と呼ばれる画像の記録だけでなく画像の読み取りを行うことが可能な複合装置も普及している。すなわち、ユーザは、スキャナデバイスとプリンタデバイスを手にすることによって、家庭で、所有する原稿やコンテンツを手軽にコピーできるようになった。

コピーによってユーザの利便性を高めるコンテンツとして、例えば、音楽の「楽譜」がある。一般的に楽譜は書籍として購入するが、購入した書籍としての楽譜をそのまま譜面台に載せることは利便性が低下する。例えば、ページ数の多い楽譜を、譜面台に乗せて所望のページを見るためには、かなり強力に折り目をつけなければならず、書籍そのものを傷めることになる。このため、所望のページで固定するように工夫された譜面台も市販されているが、このような譜面台を用いた場合はページをめくることが難しくなる。すなわち、一般的に演奏時に譜面のページをめくることは煩わしい作業であり、特に、ピアノなどの両手を利用する楽器演奏においては、極めて困難な作業となる。

また、ピアノなどの音楽のレッスンにおいては、指導者が指示を楽譜に直接記入することも多いため、楽譜をコピーして原本をきれいに残すことなどが行われている。

さらに、自分で作曲した楽譜を編集したり配布したりする場合や、作曲を依頼して得られた楽曲を編集して譜面として配布する場合には、各種の編集作業が必要となる。このため、楽譜を編集などするための技術が開示されている。

また、演奏者はページめくりを少なくするために、１枚の用紙に複数ページ分の楽譜を並べて記録することがある。購入した書籍としての楽譜を、ＭＦＰの割り付けコピー機能を利用することで、１枚の用紙に複数ページ分の楽譜を並べてコピーすることができる。また、ＰＣ上に楽譜データがある場合は、プリンタドライバで割り付け記録を指定することにより、１枚の用紙に複数ページ分の楽譜を記録することが出来る。

割り付け記録や楽譜などの画像の編集に関する特許として以下のような技術が開示されている。

特許文献１には、１ページ分の原稿画像を所定数の出力領域に分割し、各出力領域に異なる種類のドキュメントを対応付けて夫々配置して出力する方法が開示されている。

特許文献２には、楽譜の五線で示される領域に対して、五線の幅及び五線で示される領域が相似となるように変倍して割り付けをする方法が開示されている。

特許文献３には、楽譜の各パートの境界や小節の境界を指定し、指定した境界が画面表示に合うようにこの境界の位置を移動して表示する方法が開示されている。

特許文献４及び特許文献５には、同時に演奏されるパートの複数の五線における最上段及び最下段の座標からこれら複数の五線をそれぞれの左端が左右方向に揃うように整列させる方法が開示されている。
特開２００２−１４４６６４号公報 特登録２８７９９４１号公報 特登録３１６９１４２号公報 特開平０６−１４９２３５号公報 特開平０６−１４９２３６号公報

例えば、一般的な書籍としての楽譜は、過去の歴史的経緯より蓄積されたルールに基づき、演奏するための情報が書き込まれているものであり、全ての楽器演奏者が使いやすいものにはなっていない。そのため、演奏者は、楽譜をコピーして複数枚の紙に分割することでページめくりを容易にすることや、楽譜に色や印をつけるなどの書き込みをすることなどにより、演奏者自身が演奏しやすいように楽譜を編集していた。このような編集作業により、楽譜は演奏者にとって最適なものになる。しかし、演奏者にとって楽譜を編集することは非常に煩わしい作業であるため、容易に楽譜の編集をすることが望まれている。

図２４では、１枚の用紙に４ページ分のデータを並べて記録する際のレイアウトを表しており、使用者は１−ａから１−ｈのレイアウトをＵＩ（ユーザインタフェース）により指定することができる。図１において１００１は出力物を表し、１００２は１ページ目のデータに対応する画像、１００３は２ページ目のデータに対応する画像、１００４は３ページ目のデータに対応する画像、１００５は４ページ目のデータに対応する画像を表している。１−ａでは出力物１００１において、左上に画像１００２、左下に画像１００３、右上に画像１００４、右下に画像１００５を配置していることを示している。

しかしながら、このような割り付け記録は、各ページに対応する画像をページ単位で単純に並べ直すだけであり、例えば出力物１００１が楽譜であるときには、視認性が良くない場合があった。

そこで、本発明は上記課題を解決するためになされたものであり、簡単な編集作業で複数ページの原稿画像をページ単位だけでなく高い自由度で配置を変更して１ページに割り付けることができる画像処理方法及び画像処理装置を提供することを目的とする。

上記課題を解決するための本発明は、複数のページからなる原稿の画像を１ページに割り付けて出力する画像処理方法であって、
前記複数のページからなる原稿の画像データを入力する入力工程と、
前記入力工程で入力した画像データを複数のブロックに分割する分割工程と、
前記１ページに割り付ける際に前記複数のページの文書の連続性が維持されるように予め定められた規則に基づき、前記分割工程で分割された各ブロックから不要となる情報を選別する選別工程と、
前記選別工程で選別された前記不要となる情報を破棄する破棄工程と、
前記分割工程で分割された各ブロックにおいて前記予め定められた規則に基づき必要となる情報を付加する付加工程と、
前記分割工程で分割された各ブロックを前記破棄工程で不要となる情報が破棄されたブロック及び前記付加工程で必要となる情報が付加されたブロックで置換する置換工程と、
前記置換工程で置換後の各ブロックを１ページに割り付けて出力する出力工程と、
を有することを特徴とする。

また、上記課題を解決するための別の本発明は、複数のページからなる原稿の画像を１ページに割り付けて出力する画像処理装置であって、
前記複数のページからなる原稿の画像データを入力する入力手段と、
前記入力手段で入力した画像データを複数のブロックに分割する分割手段と、
前記１ページに割り付ける際に前記複数のページの文書の連続性が維持されるように予め定められた規則に基づき、前記分割手段で分割された各ブロックから不要となる情報を選別する選別手段と、
前記選別手段で選別された前記不要となる情報を破棄する破棄手段と、
前記分割手段で分割された各ブロックにおいて前記予め定められた規則に基づき必要となる情報を付加する付加手段と、
前記分割手段で分割された各ブロックを前記破棄手段で不要となる情報が破棄されたブロック及び前記付加手段で必要となる情報が付加されたブロックで置換する置換手段と、
前記置換手段で置換後の各ブロックを１ページに割り付けて出力する出力手段と、
を有することを特徴とする。

本発明によれば、１枚の用紙に複数ページの画像を割り付けて記録する場合に、ページ単位の単純な並べ替えだけでなく、ユーザの視認性が良くなるように高い自由度でレイアウトを変更して記録することが可能となる。

以下、本発明の実施例について図面を参照して詳細に説明する。

＜ＰＣアプリケーション＞
ここでは、ホスト装置としてのパーソナルコンピュータ（以下、ＰＣ）上で動作するアプリケーションソフトにより本発明を実施する形態について説明を行う。

図１は、本発明の画像処理装置を含む画像処理システムの構成例を示す概念図である。

図１の画像処理システム１０１は、画像読み取り装置としてのスキャナ１０２とＰＣ１０３と記録装置としてのプリンタ１０４によって構成されている。スキャナ１０２により読み取った楽譜のレイアウトを変更してプリンタ１０４により記録することが可能である。

図２は、図１に示した画像処理システム１０１のブロック図である。

図２において、２０１はＲＯＭ（リードオンリーメモリ）、２０２はＣＰＵ（中央演算処理装置）、２０３はＲＡＭ（ランダムアクセスメモリ）である。また、２０４は入出力部（Ｉ／Ｏ）、２０５はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、２０６はＨＤＤ（ハードディスクドライブ）、２０７はバスである。

ＣＰＵ２０２は、ＲＯＭ２０１に格納されたプログラム及びデータに従い、バス２０７を介して画像処理装置全体の動作を制御する。また、これと共に、ＲＡＭ２０３をワークメモリとして画像処理を行う。例えば、Ｉ／Ｏ２０４、またはＮＩＣ２０５を介して入力される画像データや、予めＨＤＤ（ハードディスクドライブ）２０６等の記憶媒体に収められている画像データに画像処理を施す。そして、画像処理を施した画像データを、Ｉ／Ｏ２０４又はＮＩＣ２０５を介して出力し、また、ＨＤＤ２０６等の記憶媒体に格納する。

例えば、Ｉ／Ｏ２０４は、所定のインタフェースを介して、ＣＲＴやＬＣＤ等のモニタ、プリンタ、スキャナ等の画像入出力デバイス、或いは磁気ディスクや光ディスク等の記憶媒体を備えた記憶装置が接続される。また、上記画像入出力デバイス及び記憶装置が接続されたコンピュータ機器とＮＩＣ２０５を介して画像データの入出力を行うこともできる。ネットワークとしては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＦＤＤＩ（Ｆｉｂｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４に規定されるシリアルバス、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等が挙げられる。

＜ＭＦＰ＞
一方、ＰＣを介さず画像処理装置単体で動作する画像処理システムを用いた場合も同様の効果を得ることができる。

図３は、本発明の実施例である複合装置としてのマルチファンクションプリンタ（以下、ＭＦＰ）３０１の概観斜視図である。このＭＦＰ３０１は、ＰＣからデータを受信して記録する通常のＰＣプリンタとしての機能、スキャナとしての機能を有する。さらに、ＭＦＰ単体で動作する機能として、スキャナで読み取った画像をプリンタで記録するコピー機能、メモリカードなどに格納された画像データを直接読み取って記録する機能、或いはデジタルカメラから画像データを受信して記録する機能を備えている。

図３において、ＭＦＰ３０１はフラットベッドスキャナなどの読み取り部３０２、インクジェット式や電子写真式などの記録部３０３、表示パネルである表示部３０４、各種キースイッチ等を備える操作パネルである操作部３０５などにより構成されている。また、ＭＦＰ３０１の背面にはＰＣと通信するためのＰＣインタフェースとしてのＵＳＢポート（不図示）が設けられ、ＰＣとの通信が行われる。上記の構成に加え、各種メモリカードからデータを読み出すためのカードスロットであるカードインタフェース３０６、デジタルカメラとデータ通信を行うためのカメラポートであるカメラインタフェース３０７を備える。さらに、自動で原稿を原稿台にセットするためのオートドキュメントフィーダー（以下ＡＤＦ）３０８等を備える。

図４は、図３に示した画像処理システム１０１のブロック図である。

図４において、ＣＰＵ４０１は、ＭＦＰが備える様々な機能を制御し、操作部３０５の所定の操作に従い、ＲＯＭ４０６に記憶された画像処理のプログラムを実行する。

ＣＣＤを備える読み取り部３０２は、原稿画像を読み取り、赤（Ｒ）、緑（Ｇ）、青（Ｂ）色のアナログ輝度データを出力する。なお、読み取り部３０２は、ＣＣＤの代わりに密着型イメージセンサ（ＣＩＳ）を備えてもよい。また、図３のようなＡＤＦ３０８を備えれば、ここにセットされたオーダーシートの原稿画像を連続して読み取ることができる。

また、カードインタフェース３０６は、例えばデジタルカメラで撮影され、メモリカードなどに記録された画像データを、操作部３０５の所定の操作に従い読み込む。なお、カードインタフェース３０６を介して読み込まれた画像データは、必要に応じ、画像処理部４０２によって変換される。例えば、デジタルカメラの色空間（例えばＹＣｂＣｒ）に対応した画像データから、ＲＧＢ色空間（例えばＮＴＳＣ−ＲＧＢやｓＲＧＢ）に対応した画像データへ変換される。また、読み込まれた画像データは、必要に応じ、そのヘッダ情報に基づいて有効な画素数への解像度変換など、アプリケーションに必要な様々な処理が施される。

また、カメラインタフェース３０７は、デジタルカメラに直接接続して画像データを読み込むためのものである。

画像処理部４０２では、後述する画像解析、変換特性の算出、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換、スケーリング、ガンマ変換、誤差拡散等の画像処理等の画像処理が行われ、それによって得られるデータは、ＲＡＭ４０７に格納される。そして、ＲＡＭ４０７に格納された補正データが、記録部３０３で記録するのに必要な所定量に達すると、記録部３０３による記録動作が実行される。

また、不揮発性ＲＡＭ４０８は、バッテリバックアップされたＳＲＡＭなどで、ＭＦＰに固有のデータなどを格納する。

また、操作部３０５は、記憶媒体に格納された画像データを選択し、記録をスタートするためにフォトダイレクトプリントスタートキー、オーダーシートをプリントさせるキー、オーダーシートを読み込ますキーを有する。また、モノクロコピーやカラーコピーを行わせるためのコピースタートキー、コピーをする際の解像度や画質などのモードを指定するモードキー、コピー動作などを停止するためのストップキー、コピー枚数を入力するテンキーや登録キーなどを有する。ＣＰＵ４０１は、これらキーの押下状態を検出し、その状態に応じて各部を制御する。

表示部３０４は、ドットマトリクスタイプの液晶表示部（ＬＣＤ）及びＬＣＤドライバを備え、ＣＰＵ４０１の制御に基づき各種表示を行う。また、記憶媒体に格納された画像データのサムネイルを表示する。

記録部３０３は、インクジェット方式のインクジェットヘッド、汎用ＩＣなどによって構成され、ＣＰＵ４０１の制御により、ＲＡＭ４０７に格納されている記録データを読み出し、ハードコピーとしてプリント出力する。

駆動部４１１は、上述した読み取り部３０２及び記録部３０３それぞれの動作における、給排紙ローラを駆動するためのステッピングモータ、ステッピングモータの駆動力を伝達するギヤ、ステッピングモータを制御するドライバ回路などから構成される。

センサ部４１０は、記録媒体の幅を検知するためのセンサ、記録媒体の有無を検知するためのセンサ、原稿画像の幅を検知するためのセンサ、原稿画像の有無を検知するためのセンサ及び記録媒体の種類を検知するためのセンサなどから構成される。ＣＰＵ４０１は、これらセンサから得られる情報に基づき、原稿及び記録媒体の状態を検知する。

ＰＣインタフェース４１４はＰＣとＭＦＰとのインタフェースであり、ＭＦＰはＰＣインタフェース４１４を介して送信されるＰＣからの指示に基づいてプリント及びスキャンなどの動作を行う。

コピー動作時は、読み取り部３０２で読み取った原稿画像の画像データをＭＦＰ内部でデータ処理し、記録部３０３により記録する。操作部３０５により、コピー動作が指示されると、読み取り部３０２は原稿台に置かれた原稿を読み取る。読み取られた原稿画像の画像データは画像処理部４０２に送信され、後述する画像処理が施された後、記録部３０３に送信され記録が行われる。

図５はコピー時に実行される画像処理のフロー図である。以下、各ステップについて説明するが、本発明の本質ではないステップの詳細な説明は省略する。

読み取り部３０２で読み取られ、ＡＤ変換された画像データは、ステップＳ１１０により撮像素子のばらつきを補正するシェーディング補正が施される。

その後、ステップＳ１２０で、入力デバイス色変換が行われる。これにより入力デバイスである読み取り部３０２固有の色空間に対応した画像データが、標準的な色空間領域の画像データへと変換される。具体的には、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）により定められたｓＲＧＢやＡｄｏｂｅ Ｓｙｓｔｅｍｓ社により提唱されているＡｄｏｂｅＲＧＢなどの色空間領域の画像データへと変換される。変換方式としては、３×３や３×９のマトリクスによる演算方式や、変換規則を記載したテーブルを参照し、それに基づいて決定するルックアップテーブル方式などが挙げられる。

色変換が行われた画像データは、ステップＳ１３０において、画像の補正・加工処理が施される。処理内容としては、原稿画像の読み取りの際に発生するボケを補正するエッジ強調処理、光照射による読み取りの際に発生した裏写りを除去する処理、文字の判読性を向上させる文字加工処理などが挙げられる。

ステップＳ１４０では、拡大・縮小処理が実行され、ユーザにより変倍指定がされている場合や、２枚の原稿を１枚の紙に割り当てる割り付けコピーなどで、所望の倍率に変換される。変換方法は、バイキュービックやニアレストネイバーなどの方法が一般的である。割り付けコピーなど複数の画像を１枚の記録媒体にレイアウトしてプリントする際には、ステップＳ１１０からステップＳ１４０の動作を繰り返して複数の画像を読み取り、読み取られた画像を１枚のページに配置して以下のプリント動作に移行する。

ステップＳ１５０では、標準的な色空間領域の画像データを、出力デバイス固有の色空間に対応した画像データへと変換する。ステップＳ１２０の場合と同様、マトリクスによる演算方式やルックアップテーブル方式などを用いればよい。出力デバイス固有の色空間に対応した画像データから、シアン、マゼンタ、イエロー、ブラックなどインクジェットＭＦＰ使用するインクの色の色空間に対応した画像データへ変換される。

ステップＳ１６０では、量子化処理が行われる。例えば、インクドットを吐出する又は吐出しないの２値で表現する場合あれば、誤差拡散などの量子化方法により２値化すればよい。これにより、記録部により記録可能なデータ形式となり、そのデータ形式の画像データに基づいて記録動作が実行され、画像が形成される。

（実施例１）
図６は、本発明の画像処理方法の動作フローを示す図である。

最初に、ステップＳ２１０で、ＭＦＰの操作部３０５などを用いてユーザにより指定された割り付けを行うための原稿画像のページ数ＮをＣｏｕｎｔ値として代入する。

次に、ステップＳ２２０で、原稿画像の１ページ分の画像データについて前処理を行う。この前処理としては、最初に原稿画像の傾き補正を行う。これは、読み取り装置が原稿画像を読み取る際に、原稿画像が傾いて読み取られる場合があるためである。例えば、原稿画像が楽譜である場合、傾き補正としては楽譜の五線を利用して補正する方法を用いるとよい。例えば、図７に示すように、読み取った楽譜の画像濃度を複数の角度において算出してヒストグラムを作成した場合、五線に平行な角度の場合には五線に相当する部分のヒストグラムの凹凸が深くなる。このことから、五線が読み取り方向に平行になる角度を算出し画像全体に回転補正を行う。また、必要であれば、閾値を用いて２値化の演算を行ってもよい。閾値としては、固定の閾値を用いてもよいが、原稿画像の最も高い画像濃度がページによって異なる場合や原稿の余白部の画像濃度がページによって異なる場合は、明度のヒストグラムを作成した後に閾値を算出するようにしてもよい。また、フィルタ処理を用いて、五線や音符の旗の細線の再現性を高めるために太らせ処理をしてもよい。傾き補正された画像データにおける五線の情報を用いて原稿画像の規準位置を求める。

次に、ステップＳ２３０で、原稿画像の画像データを複数の矩形ブロックに分割する。このステップでは像域分離処理を行い、例えば、少なくとも「文字部」、「自然画部」、「下地部」の３種類の属性に画像を分離する。そして、像域分離された画像を属性毎に矩形ブロックに分割する。例えば、ステップＳ２２０の前処理された画像データが表現する原稿画像が図８の原稿画像であった場合、像域分離処理により「文字部」及び「下地部」の属性毎の矩形ブロックに分割された原稿画像は図９のように表される。なお、この原稿画像は楽譜なので、小節単位でブロックに分割されている。小節の区切りは五線に対して垂直な直線で表されるので、この直線を検出し、検出した直線で囲まれる部分毎に分割することで小節単位のブロックに分割することが出来る。

次に、ステップＳ２４０で、複数のページの文書の連続性が維持されるように予め定められた規則に基づき分割された矩形ブロックに番号付けをする。このステップでは、１ページ分の原稿画像の各矩形ブロックに対し、左上にあるブロックから右下にあるブロックに向けて番号が増えるように番号付けする。図１０は、図９の矩形ブロックに分割された原稿画像に対して番号付けをした結果を表している。左上から順番に番号付けされるので、ブロック９０１は「１−１」、ブロック９０２は「１−２」、ブロック９０３は「１−３」、ブロック９０４は「１−４」、ブロック９０５は「１−５」、ブロック９０６は「１−３３」と番号付けされている。さらに、ブロック９０７は「１−１０」、ブロック９０８は「１−１６」、ブロック９０９は「１−２２」、ブロック９１０は「１−２８」、ブロック９１１は「１−１３」、ブロック９１２は「１−３１」と番号付けされている。原稿画像が楽譜である場合、ページ番号、タイトル、作曲者、大譜表又は小節などごとにブロックに分割されるので、１ページ分の原稿画像において各ブロックの座標を求め、その座標にしたがって番号付けすればよい。

次に、ステップＳ２５０で、レイアウト時に不要になる情報を複数のページの文書の連続性が維持されるように予め定められた規則に基づき選別し、ブロック単位での情報の破棄及びブロック内における一部の情報の破棄を行う。例えば、複数ページの原稿画像をブロック単位で分割し、１ページに割り付けるという本発明において、原稿画像のページ番号は不要な情報である。したがって、図１０のブロック９０１の情報は破棄される。また、楽譜は高音部譜表と低音部譜表をカッコでつないだ大譜表で表され、大譜表の先頭にはカッコ、ト音記号、ヘ音記号の記号が記載されている。ここでは、２ページ分の原稿画像を１ページに割り付けて記録を行う場合を例にする。原稿画像の１ページ目である図８の楽譜は５つの大譜表それぞれが６小節で構成されている。また、原稿画像の２ページ目は、ページ番号とそれぞれが６小節で構成されている７つの大譜表とから構成されている。そして、２ページ目は、「２−１」と番号付けされたページ番号のブロックと、それぞれ「２−２」から「２−４３」と番号付けされた各小節のブロックに分割されている。本実施例における割り付けにおいては、これを模式的に示した図１３で示されるようにそれぞれの大譜表は９小節で構成されるとする。この場合、レイアウト変更前は図１０で示されるようにブロック９０７、９０８、９１０は大譜表の先頭であったのに対し、レイアウト変更後は図１３で示されるようにこれらのブロックは大譜表の先頭にはならない。このため、カッコ、ト音記号、ヘ音記号が不要になる。図１１はブロック内で不要になったカッコ、ト音記号、ヘ音記号を削除した画像の例を表すものである。図１１（ａ）は大譜表の先頭の小節を表したものであり、図１１（ｂ）はブロック内で不要になったカッコ、ト音記号、ヘ音記号を削除した小節を表す。カッコ、ト音記号、ヘ音記号の位置は大譜表の先頭に記載するものであるため、必ず左端のブロック内に含まれるものである。これらは、例えば、ブロック内でパタンマッチングを行うことにより検出することができる。

次に、ステップＳ２６０で、レイアウト時に必要になる情報を複数のページの文書の連続性が維持されるように予め定められた規則に基づき付加する。上記のとおり、大譜表の先頭にはカッコ、ト音記号、ヘ音記号が必要になる。ブロック９１１、９１２は、レイアウト変更後は大譜表の先頭になるため、カッコ、ト音記号、ヘ音記号が必要になる。図１２はブロック内で必要になったカッコ、ト音記号、ヘ音記号を付加した画像の例を表すものである。図１２（ａ）は大譜表の先頭で無い小節を表したものであり、図１２（ｂ）はブロック内で必要となるカッコ、ト音記号、ヘ音記号を付加した小節を表す。必要な情報の付加は、例えば、カッコ、ト音記号、ヘ音記号などの必要な情報としての画像データを予め本体のメモリに格納しておき、レイアウト変更後の楽譜に応じて付加すればよい。

次に、ステップＳ２７０でＣｏｕｎｔ値をデクリメントし、ステップＳ２８０でＣｏｕｎｔ値が０になったかどうかを判断する。Ｃｏｕｎｔ値が０でないと判断した場合は次のページの原稿画像に対してステップＳ２２０からステップＳ２７０までのステップを繰り返す。Ｃｏｕｎｔ値が０になったと判断した場合はステップＳ２９０に進む。

ステップＳ２９０では、番号付けされたそれぞれの矩形ブロックについて、ユーザによる割り付けるブロックの数についての指示に従ってレイアウト変更を行う。上記のとおり、図１３は、２ページ分の原稿画像を１ページに割り付けて記録を行う場合のレイアウトを模式的に示した図である。「１−２」と番号付けされたブロックから「１−３３」と番号付けされたブロックは、１ページ目の原稿画像から割り付けられたブロックである。また、「２−２」と番号付けされたブロック９１３から「２−４３」と番号付けされたブロック９１４までは、不図示の２ページ目の原稿画像から割り付けられたブロックである。なお、これらのブロックは、ステップＳ２５０及びステップＳ２６０で情報が破棄及び付加されたブロックで置換された置換後のブロックである。

本実施例では、６小節の大譜表を含む２ページ分の楽譜を９小節の大譜表を含む１ページの楽譜にレイアウト変更している。レイアウト変更後の大譜表の小節の数については、１ページの楽譜に割り付けるための楽譜のページ数、大譜表の数、１つの大譜表における小節の数により一意に決定されるため、予め計算しておくとよい。

また、各大譜表の高音部譜表と低音部譜表の間隔は一定でなく、各小節の幅も一定ではない。このため、レイアウト時にブロックを変形して両方の譜表の五線を合わせるように整形するとよい。

これにより、１枚の用紙に複数ページを割り付けて記録する場合でも視認性の良い記録物を作成することができる。

（実施例２）
実施例１は、原稿画像がフォーマットの決まった楽譜である場合の実施例であった。本実施例は、原稿画像が決まったフォーマットの無い書類の場合の実施例である。

図１４は、図６のステップＳ２４０のブロックの番号付け処理における動作フローを示す図である。

最初に、ステップＳ３１０で、図６のステップＳ２３０で分割されたブロックをグルーピングするグルーピング処理を行う。このグルーピング処理は、例えば、各ブロックにおける上下方向の切れ目に基づいて原稿画像を上下方向に分割することで、１つ又は複数のブロックからなる複数のグループにブロックをまとめる処理である。具体的なグルーピング処理の例について図１５から図１７を用いて説明する。図１５は１ページ分の原稿画像を示している。１５０１、１５０２、１５０３、１５０４、１５０５は文章を模式的に表しており、１５０６、１５０７はグラフ、図、自然画などのオブジェクトを模式的に表している。図１６は図１５の原稿画像を実施例１で説明した方法でブロック分割し、番号付けしたブロックを模式的に表した図である。図１７は、図１６をグルーピングしたものであり、各ブロックは１７０１から１７１０の１０のグループにまとめられる。

次に、ステップＳ３２０で、グループを分割するグループ分割処理を行う。このグループ分割処理は、例えば、各グループのうち複数のブロックから構成されるグループにおいて複数のブロックの横方向の切れ目に基づいてブロックを横方向に分割する処理である。具体的なグループ分割処理の例について図１８を用いて説明する。図１８は、図１７のようにグルーピングされた原稿画像をグループ分割した原稿画像である。図１７のグループ１７０５はグループ１７１１とグループ１７１２に分割され、グループ１７０６はグループ１７１３とグループ１７１４に分割されている。

次に、ステップＳ３３０で、文字についてのブロックを図６のステップＳ２３０で「文字部」として像域分離されたブロックを、割り付け記録する際に用いられる原稿画像のページ数に基づいて分割する。「文字部」として像域分離されたブロックを複数のブロックに分割して並べ替えることで文章の段組を行うことができる。一方、文字以外の画像である「自然画部」として像域分離されたブロックを分割して並べ替えると画像として意味を成さないものとなってしまう。図１９は１枚の用紙に２ページを割り付けて記録する場合の「文字部」のブロックを分割した例であり、図１８のようにグループ分割処理された原稿画像の文字部のブロックを分割した原稿画像である。図１９のブロック１７１５、１７１６、１７１８は、図１８の「文字部」のブロック１７０１を割り付けページ数に応じてブロック分割したものである。ここでは、２ページ分の原稿画像を１ページに割り付けて記録するが、各ブロックの倍率を変更して配置した際、ページ幅に合うように３つのブロックに分割している。

上記手順に従い、図１８の「文字部」のブロック１７０２、１７０３、１７０４、１７０７、１７０８、１７０９、１７１０も同様に３つのブロックに分割される。

このように、像域分離された結果に基づいてブロック分割することによって、ＰＣで作成した書類やＷｅｂページなど決まったフォーマットが無い原稿画像について割り付け記録をする場合にも視認性の良い記録物を生成することができる。なお、本実施例は、レイアウト時に不要になる情報及びレイアウト時に必要になる情報はともに検出されなかった場合の実施例である。例えば、原稿画像にページ番号が含まれていた場合、原稿画像のページ番号を不要な情報として、ページ番号を除いたレイアウトとすることができる。

（実施例３）
図２０は、レイアウト結果を表示し、レイアウトを決定するための処理フローを表すものである。

本発明のように複数ページの原稿画像を１ページに割り付けて記録する場合、ユーザによって最適なレイアウトは異なる。例えば、図２１に示すように、文章のレイアウトにしても、２１０１のように１段で段組されているレイアウトを好ましいと考えるユーザがいる一方、２１０２のように２段で段組されているレイアウトを好ましいと考えるユーザもいる。また、本発明は単純に複数ページを並べ替えるものではないため、無限のレイアウトが考えられる。無限のレイアウトから各ユーザが最適と考えるレイアウトを自動で提供することは困難であるため、複数のレイアウトをユーザに提示し、その中からユーザが最適と考えるレイアウトを選択させる手段が必要となる。

最初に、ステップＳ４１０で、ユーザの指示によって定められた回数であり、レイアウト結果を表示する回数ＭをＣｏｕｎｔ値として設定する。

次に、ステップＳ４２０で、レイアウト変更処理を行う。ここでのレイアウト変更処理は、例えば、図６のステップＳ２９０のレイアウト変更処理であり、考えられる複数のレイアウトのうちから所定のアルゴリズムに基づいて１のレイアウトを選択し、このレイアウトに変更する。なお、この所定のアルゴリズムは、ステップＳ４１０でレイアウト結果を表示する回数として２以上の回数が設定された場合は、このステップに移行されるごとに異なるレイアウトを選択するように定められている。

次に、ステップＳ４３０で、ステップＳ４２０で変更されたレイアウト結果を表示する。

次に、ステップＳ４４０で、レイアウト結果の表示回数がステップＳ４１０でユーザにより定められた回数に達したか否かを判断する。この回数に達した場合は、このレイアウト結果を表示し、レイアウトを決定するための処理を終了し、この回数に達していない場合は、ステップＳ４５０に進む。なお、ここで、このレイアウト結果を表示し、レイアウトを決定するための処理を終了した場合、ページ単位で原稿画像を割り付けて記録する従来の割り付け記録を行う。

ステップＳ４５０では、Ｃｏｕｎｔ値をデクリメントし、ステップＳ４６０に進む。

ステップＳ４６０では、ステップＳ４３０で表示したレイアウト結果に対してユーザによる採用の可否を判断する。ユーザがＵＩを介してこのレイアウト結果を採用すると選択した場合は、このレイアウト結果を選択して終了し、選択されなかった場合は、ステップＳ４２０に戻る。

以下、図２２と図２３を用い、１枚の用紙に４ページ分の原稿画像を割り付けて記録する際に図２０のステップＳ４３０で表示するレイアウト結果の例を説明する。４ページ分の原稿画像における各ページのレイアウト方法は同様であるので、１ページ目について説明する。なお、この１ページ目の原稿画像は図１５の原稿画像とする。

図１６の番号付けしたブロックを模式的に表した図において、図２２及び図２３のレイアウト情報に基づいて不要な情報の削除や必要な情報の付加を行ったとする。

図２２は、図２０のステップＳ４３０で表示されたレイアウト結果の１例である。なお、実施例２のレイアウト規則に基づいてレイアウトを行ったものである。また、図２３は、図２２のレイアウトをユーザが選択しなかったために表示された、図２２とは別のレイアウト結果の１例である。一部の「文字部」のブロックにおいて、実施例２で示したレイアウト規則とは異なるレイアウト規則に基づいてレイアウトを行ったものである。図２２と図２３の違いは、ブロック１５０１からブロック１５０５の配置のさせ方の違いである。この配置のさせ方の違いは、ブロック化する際に像域分離結果としてブロック１５０１から１５０５が全て「文字部」と判定されていることを利用して行われたものである。

このように、複数ページをブロックに分割し、再レイアウトを行う場合には無数のレイアウトが存在することになる。また、ユーザによって最適と考えるレイアウトは異なる。そのため、複数のレイアウト規則を持ち、それらレイアウト規則に基づいて処理したレイアウト結果をユーザに提示し、最適と考えるレイアウトをユーザに選択させることによって最適なレイアウト結果を提供することが可能となる。

（その他の実施例）
本発明には、各種デバイスと接続された装置等に上記実施例の機能を実現するためのソフトウエアのプログラムコードを供給し、その装置等のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることにより実施するものも含まれる。

また、この場合、前記ソフトウエアのプログラムコード自体が上記実施例の機能を実現することになり、そのプログラムコード自体、記憶媒体などのそのプログラムコードをコンピュータに供給するための手段も本発明を構成する。その記憶媒体の具体例としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が挙げられる。

また、本発明には、コンピュータに供給されたプログラムコードを実行することにより上記実施例の機能が実現される場合の、プログラムコードが含まれるだけではない。プログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）及び他のアプリケーションソフト等と共同して上記実施例の機能が実現される場合の、プログラムコードも本発明に含まれる
また、コンピュータに供給されたプログラムコードがコンピュータの機能拡張ボード及び機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づき、それらに備わるＣＰＵ等の処理により上記実施例の機能が実現される場合がある。この場合のプログラムコードも本発明に含まれる。

以上、本発明の様々な実施例について説明したが、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、特許請求の範囲に記載された範囲で様々な修正及び変更が可能である。

本発明の画像処理装置を含む画像処理システムの構成例を示す概念図である。 図１の画像処理装置を含む画像処理システムのブロック図である。 本発明の実施例であるＭＦＰの概観斜視図である。 図３のＭＦＰ装置のブロック図である。 コピー時に実行される画像処理のフロー図である。 本発明の画像処理方法の動作フローを示す図である。 原稿画像の傾き補正を説明するための図である。 楽譜の原稿画像を模式的に表した図である。 楽譜の原稿画像をブロック分割した結果を模式的に表した図である。 ブロックに番号付けをした結果を模式的に表した図である。 不要な情報を削除した例を表した図である。 必要な情報を付加した例を表した図である。 本発明の割り付け記録を行った結果を模式的に表した図である。 ブロックの番号付け処理における動作フローを示す図である。 １ページ分の原稿画像を示す図である。 ブロック分割し、番号付けしたブロックを模式的に表した図である。 ブロックをグルーピングした例を模式的に表した図である。 グループ分割処理を説明するための図である。 原稿画像の文字部のブロックを分割した原稿画像を示す図である。 レイアウト結果を表示し、レイアウトを決定するための処理フローを表す図である。 文章の段組を模式的に表した図である。 割り付け記録行うためのレイアウト結果を模式的に表した図である。 割り付け記録行うためのレイアウト結果を模式的に表した図である。 割り付け記録のレイアウトを表す図である。

符号の説明

１０３ ＰＣ
２０２ ＣＰＵ
２０４ Ｉ／Ｏ
３０１ ＭＦＰ
３０２ 読み取り部
３０３ 記録部
４０１ ＣＰＵ
４０２ 画像処理部

Claims (9)

1. 複数のページからなる原稿の画像を１ページに割り付けて出力する画像処理方法であって、
   前記複数のページからなる原稿の画像データを入力する入力工程と、
   前記入力工程で入力した画像データを複数のブロックに分割する分割工程と、
   前記１ページに割り付ける際に前記複数のページの文書の連続性が維持されるように予め定められた規則に基づき、前記分割工程で分割された各ブロックから不要となる情報を選別する選別工程と、
   前記選別工程で選別された前記不要となる情報を破棄する破棄工程と、
   前記分割工程で分割された各ブロックにおいて前記予め定められた規則に基づき必要となる情報を付加する付加工程と、
   前記分割工程で分割された各ブロックを前記破棄工程で不要となる情報が破棄されたブロック及び前記付加工程で必要となる情報が付加されたブロックで置換する置換工程と、
   前記置換工程で置換後の各ブロックを１ページに割り付けて出力する出力工程と、
   を有することを特徴とする画像処理方法。
2. 前記原稿は、楽譜であり、
   前記分割工程は、前記楽譜の大譜表の画像において小節ごとに分割することを特徴とする請求項１に記載の画像処理方法。
3. 前記不要となる情報は、ページ番号、ト音記号及びヘ音記号の少なくともいずれか１つを含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記必要となる情報は、ト音記号及びヘ音記号の少なくともいずれか１つを含むことを特徴とする請求項２又は請求項３に記載の画像処理方法。
5. 前記原稿は、文字により構成される画像と文字以外により構成される画像とを有しており、
   前記分割工程は、前記文字により構成される画像と前記文字以外により構成される画像とが異なるブロックになるように分割することを特徴とする請求項１に記載の画像処理方法。
6. 前記分割工程は、前記文字以外により構成される画像が１つのブロックとなるように分割することを特徴とする請求項５に記載の画像処理方法。
7. 前記割り付け工程により各ブロックが１ページに割り付けられた画像を表示する表示工程と、
   前記表示工程で表示された前記各ブロックが１ページに割り付けられた画像をユーザが採用するか否かを選択する選択工程と、
   をさらに有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理方法。
8. 複数のページからなる原稿の画像を１ページに割り付けて出力する画像処理装置であって、
   前記複数のページからなる原稿の画像データを入力する入力手段と、
   前記入力手段で入力した画像データを複数のブロックに分割する分割手段と、
   前記１ページに割り付ける際に前記複数のページの文書の連続性が維持されるように予め定められた規則に基づき、前記分割手段で分割された各ブロックから不要となる情報を選別する選別手段と、
   前記選別手段で選別された前記不要となる情報を破棄する破棄手段と、
   前記分割手段で分割された各ブロックにおいて前記予め定められた規則に基づき必要となる情報を付加する付加手段と、
   前記分割手段で分割された各ブロックを前記破棄手段で不要となる情報が破棄されたブロック及び前記付加手段で必要となる情報が付加されたブロックで置換する置換手段と、
   前記置換手段で置換後の各ブロックを１ページに割り付けて出力する出力手段と、
   を有することを特徴とする画像処理装置。
9. 複数のページからなる原稿の画像を１ページに割り付けて出力する画像処理装置に実行させるプログラムあって、請求項１に記載の各工程を実行させることを特徴とするプログラム。

Images