JP7521319B2 - 画像形成装置、画像処理システム、画像処理方法、プログラム - Google Patents

Description

本発明は、画像形成装置、画像処理システム、画像処理方法、及び、プログラムに関する。

カラー情報が重要な原稿であっても、ユーザが画像形成装置でモノクロコピーを行うとカラー情報がグレースケールで印刷されるため、カラー情報が目立たなくなってしまう。また、学生等が暗記学習を行うために重要な事項がカラーで記載されている参考書やノートをモノクロで画像形成装置にコピーさせると、モノクロ画像が出力される。このため、学生等が印刷物にカラーシートを被せることで重要な事項を隠し、重要な事項を覚えやすくする暗記シートのような使い方ができなかった。

カラーの原稿をモノクロコピーで印刷する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、カラーなどで文字が強調された部位と、それ以外の部位で1つの紙面を２つに分離し、紙面の表と裏にモノクロで印刷するか、又は、１枚に各部位を集約する技術が開示されている。

しかしながら、従来の技術では、複数ページの印刷及び集約印刷を行うことなくカラーなどの定義領域をコピーすることができないという問題があった。すなわち、従来技術では１枚の紙面を２枚に分離する必要があるため、用紙及び印刷コストが２倍になってしまうという問題があった。あるいは、集約した際には文字が小さくなるので、見づらくなるという問題があった。

本発明は、上記課題に鑑み、複数ページの印刷及び集約印刷を行うことなく定義領域のコピーが可能な画像形成装置を提供することを目的とする。

上記課題に鑑み、本発明は、原稿を読み取って画像データを生成する読み取り部と、前記読み取り部が生成した前記画像データのうち１行未満の文字列からなる定義領域を特定する定義領域特定部と、ＯＣＲ処理により、前記定義領域特定部が特定した前記定義領域にある前記文字列を特定し、前記文字列の先頭文字又は最後の文字のみを残して前記定義領域を削除し、前記文字列の先頭文字の後に、又は、最後の文字の前に前記定義領域の保存場所情報を形成する保存場所付加部と、前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存する保存部と、前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷する印刷部と、を有することを特徴とする画像形成装置を提供する。

複数ページの印刷及び集約印刷を行うことなく定義領域のコピーが可能な画像形成装置を提供することができる。

画像処理システムの動作の概略を説明する図の一例である。 画像処理システムの概略構成図の一例である。 画像形成装置のハードウェア構成図の一例である。 情報処理装置のハードウェア構成図の一例である。 端末装置のハードウェア構成図の一例である。 情報処理装置、端末装置、及び画像形成装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。 定義領域の座標について説明する図の一例である。 ユーザが画像形成装置に読み取らせる原稿の一例を示す図である。 画像形成装置がスキャンし、パネル表示部で表示した定義領域確認画面の一例を示す図である。 定義領域がコード画像で置き換えられたコード画像印刷物の一例を示す図である。 端末装置が表示する合成画像画面の一例を示す図である。 定義領域がコード画像に置き換わったコード画像印刷物を画像形成装置が印刷する手順を示すフローチャート図の一例である。 画像形成装置が印刷したコード画像印刷物を端末装置がカメラで撮像して定義領域の画像をコード画像印刷物に合成する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、画像処理システムと画像処理システムが行う画像処理方法について図面を参照しながら説明する。

＜動作の概略＞
図１は、本実施形態の画像処理システム１００の動作の概略を説明する図である。この画像処理システム１００は、原稿が有するカラー領域などの定義領域をコード画像に置き換えて印刷する。定義領域の画像は画像形成装置２０又はネットワーク上の情報処理装置１０に保存されており、保存場所（例えばＵＲＬ等）がコード画像にコード化されている。ユーザが端末装置４０でコード画像を読み取ると、端末装置４０が保存場所にアクセスして元の画像データを表示することができる。

(1) ユーザが所定の動作モードを選択して画像形成装置２０で原稿をコピーする。この原稿には一カ所以上の定義領域があるものとする。定義領域は、例えばカラーで文字などが強調された領域などである。

(2) 画像形成装置２０は原稿をスキャンして生成した画像データから定義領域を特定して、定義領域ごとに座標と定義領域の画像を取得する。定義領域の画像を情報処理装置１０に送信する。情報処理装置１０では、定義領域の画像を保持しておく。

(3) 画像形成装置２０は定義領域の画像の保存場所をコード画像に変換する。したがって、コード画像には定義領域の画像が保存されているＵＲＬ等がコード化されている。画像形成装置２０は定義領域がコード画像で置き換わった画像を用紙（以下、コード画像印刷物という）に印刷する。

(4) ユーザが定義領域に記載されていた情報を確認したい場合、ユーザは端末装置４０のカメラでコード画像印刷物を撮像する。これにより、端末装置４０はコード画像をデコードして保存場所を取得できる。端末装置４０は、定義領域の画像が保存されているＵＲＬから定義領域の画像を取得する。端末装置４０は、情報処理装置１０から取得した定義領域の画像を、カメラで撮像した画像のコード画像がある場所に合成して（重ねて）ディスプレイに表示する。したがって、ユーザはコピー元の原稿を読むことができる。

このように、本実施形態の画像処理システム１００は、モノクロの印刷においても学習補助することができる。画像形成装置２０が１枚の用紙しか印刷しないので、学習補助を実現するためのコストを下げることができる。また、１枚の用紙に集約印刷することもないので、情報が見にくくなることも抑制できる。

＜用語について＞
定義領域とは、画像データにおいて予め定義された領域をいう。例えば、カラーの領域等であるが、このほかの例は表１に示した。定義領域は例えば強調されている領域と称することもできる。

保存場所情報とは、定義領域の画像の保存場所を示す情報である。保存場所を示せばどのような形態でもよい。例えば、ＵＲＬ、ファイルパスなどがある。

シート状部材とは、画像を形成できる程度に薄い部材であればよい。例えば、用紙であるが紙には限られない。

＜システム構成例＞
図２は、本実施形態の画像処理システム１００の概略構成図の一例である。本実施形態の画像処理システム１００はネットワークＮを介して通信可能な、画像形成装置２０、及び、情報処理装置１０、を有する。また、画像処理システム１００には含まれないが、ユーザが使用する端末装置４０があることが好ましい。

ネットワークＮには画像形成装置２０が配置されている施設のＬＡＮが含まれ、情報処理装置１０がインターネット上に配置される場合はインターネットが含まれる。また、ネットワークＮには携帯電話網などの電話回線が含まれてよい。なお、情報処理装置１０がオンプレミスに配置される場合は、ネットワークＮにインターネットが含まれない場合がある。

画像形成装置２０は原稿をスキャナで読み取って、用紙に印刷する。画像形成装置２０の印刷方法には電子写真方式やインクジェット方式等があるが、本実施形態では印刷方法は制限されない。画像形成装置２０はコピー機であるが、呼称としてはプリンタ装置、印刷装置、レーザプリンタ、インクジェットプリンタと呼ばれてよい。また、複合機（マルチファンクションプリンタ）やＭＦＰ（Multi－function Peripheral/Product/Printer)などと呼ばれる場合がある。これらはスキャナ、プリンタ、及びＦＡＸなどの多機能を一台で有する。しかし、スキャナと印刷装置が別体で構成されていてもよい。

本実施形態の画像形成装置２０は、ユーザが原稿の定義領域をコード化して印刷するサービスを利用する端末となる。ユーザは、画像形成装置２０から情報処理装置１０にログインするとよい。この場合、情報処理装置１０はユーザを特定できるので、予め登録済みのクレジットカードなどに対しキャッシュレスでユーザに課金することができる。また、コード画像印刷物の印刷後には、情報処理装置１０がユーザのみに定義領域の画像のダウンロードを許可するなど、セキュリティを向上できる。

ユーザが情報処理装置１０にログインしない使用形態の場合、コインベンダーに現金を投入したりプリペイドカードで支払ったりする。また、コード画像印刷物を持つユーザなら定義領域の画像をダウンロードできるので、複数人でコード画像印刷物を共有する場合に便利になる。

情報処理装置１０は、定義領域の画像を保存する記憶手段となる。更に、画像形成装置２０の処理を補助する機能（プリントサーバ）を有していてもよい。上記のように、情報処理装置１０は、端末装置４０からの要求に応じて定義領域の画像の端末装置４０への送信を行う。したがって、Ｗｅｂサーバの機能を有していればよい。

なお、画像形成装置２０が自機内に定義領域の画像を保存する場合、情報処理装置１０はなくてもよい。この場合、画像形成装置２０がＷｅｂサーバの機能を有する。

また、複数の情報処理装置１０がネットワークに接続していてもよい。この場合、複数の情報処理装置１０で一台の情報処理装置１０の機能を実現してもよいし、複数の情報処理装置１０がそれぞれ上記の同じ機能を有していてもよい。

なお、情報処理装置１０は、クラウドコンピューティングに対応していてよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。クラウドコンピューティングに対応した情報処理装置１０をクラウドシステムという場合がある。クラウドシステムはインターネット上にあってもオンプレミスにあってもよい。

端末装置４０は、ユーザが携帯する汎用的な情報処理装置１０である。例えば、スマートフォン、携帯電話、タブレットＰＣ、ノートＰＣ、ＰＤＡ（Personal Digital Assistant）等である。端末装置４０では、本実施形態の画像処理システム１００に専用のアプリ、又は、汎用的なＷｅｂブラウザが動作している。アプリ又はＷｅｂブラウザはコード画像に含まれるＵＲＬを宛先にして情報処理装置１０に定義領域の画像を要求する。

なお、端末装置４０がない場合でも、ユーザがコード画像印刷物を画像形成装置２０に読み取らせると、画像形成装置２０が情報処理装置１０から定義領域の画像をダウンロードして、コード画像印刷物に定義領域の画像を合成して印刷できる。

＜ハードウェア構成例＞
＜＜画像形成装置＞＞
図３は、画像形成装置２０のハードウェア構成図である。画像形成装置２０は、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ９５０を備えている。

これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ９０１、システムメモリ（ＭＥＭ－Ｐ）９０２、ノースブリッジ（ＮＢ）９０３、サウスブリッジ（ＳＢ）９０４、ＡＳＩＣ(Application Specific Integrated Circuit)９０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）９０７、ＨＤＤコントローラ９０８、及び、記憶部であるＨＤ９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰ(Accelerated Graphics Port)バス９２１で接続した構成となっている。

これらのうち、ＣＰＵ９０１は、画像形成装置の全体制御を行う制御部である。ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ－Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

ＭＥＭ－Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ９０２ｂとからなる。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

ＳＢ９０４は、ＮＢ９０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤコントローラ９０８及びＭＥＭ－Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲット及びＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

ＭＥＭ－Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

また、近距離通信回路９２０には、近距離通信回路のアンテナ９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。また、操作パネル９４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル９４０ｂを備えている。コントローラ９１０は、画像形成装置全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

なお、画像形成装置２０は、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、及びファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

また、ネットワークＩ／Ｆ９５０は、通信ネットワークを利用してデータ通信をするためのインターフェースである。近距離通信回路９２０及びネットワークＩ／Ｆ９５０は、ＰＣＩバス９２２を介して、ＡＳＩＣ９０６に電気的に接続されている。

＜＜情報処理装置＞＞
図４は、情報処理装置１０のハードウェア構成図である。図５に示されているように、情報処理装置１０は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜＜端末装置＞＞
図５は、端末装置４０のハードウェア構成図である。図５に示されているように、端末装置４０は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。

これらのうち、ＣＰＵ４０１は、端末装置４０全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、端末装置４０用のプログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御にしたがって被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、端末装置４０は、遠距離通信回路４１２、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路４１２は、通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御にしたがってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、端末装置４０を操作する入力手段の一種である。

また、端末装置４０は、バスライン４１０を備えている。バスライン４１０は、図５に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜機能について＞
図６は、情報処理装置１０、端末装置４０、及び画像形成装置２０が有する機能をブロックに分けて説明する機能ブロック図の一例である。

＜＜情報処理装置＞＞
情報処理装置１０は通信部１１とデータ蓄積部１２を有している。情報処理装置１０が有する各機能は、図４に示したＣＰＵ５０１が、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムを実行することで実現される機能又は手段である。

まず、通信部１１は、画像形成装置２０及び端末装置４０と通信することができる。通信部１１は画像形成装置２０から定義領域の画像を受信し、また、端末装置４０からの要求に応じて定義領域の画像を端末装置４０に送信する。

データ蓄積部１２は、画像形成装置２０から送信された保存場所に定義領域の画像を保存しておく。データ蓄積部１２における定義領域の画像の保存場所はコード画像にコード化されている。

＜＜端末装置＞＞
端末装置４０は、通信部４１、画像解析部４２、表示部４３、画像取得部４４、画像合成部４５、及び、操作受付部４６を有している。端末装置４０が有する各機能は、図５に示したＣＰＵ４０１が、ＥＥＰＲＯＭ４０４からＲＡＭ４０３に展開されたプログラムを実行することで実現される機能又は手段である。

画像取得部４４は、ＣＭＯＳセンサ４１３により実現されるカメラの機能を有しており、定義領域がコード画像に置き換わったコード画像印刷物を撮像する。

画像解析部４２は、画像取得部４４が取得した画像データにコード画像が含まれているか否かを判断する。例えば、ＱＲコード（登録商標）の場合、３つのコーナーに配置される３個の位置検出用パターンを画像データから検索する。ＱＲコード（登録商標）では水平方向、垂直方向、及び、斜め方向のどの方向からも、白セルと黒セルの比率が1 : 1 : 3 : 1 : 1になるので、３つの位置検出用パターンを検出できれば、コード画像の位置を特定できる。

コード画像がある場合、画像解析部４２は埋め込まれている情報をデコードする。すなわち、コード画像に埋め込まれた保存場所情報（ＵＲＬ、ファイルパス等）を取得する。

通信部４１は情報処理装置１０と通信して、コード画像に含まれる保存先情報から定義領域の画像を受信する（第二の通信部の一例）。

画像合成部４５は、通信部４１が受信した定義領域の画像を、画像取得部４４が取得したコード画像印刷物の定義領域（コード画像がある場所）に合成する。

表示部４３は液晶ディスプレイなどのように、ユーザに対して画像を表示する機能であり、画像合成部４５が合成した画像データを表示する。すなわち、定義領域がコード画像に置き換わる前の画像データを表示する。操作受付部４６は、端末装置４０に対する各種の操作を受け付ける。

＜＜画像形成装置＞＞
画像形成装置２０は、読み取り部２１、定義領域特定部２２、定義領域座標保持部２３、表示部２４、操作受付部２５、保存場所付加部２６、定義領域抜出部２７、印刷部２８、及び、通信部２９を有する。画像形成装置２０が有する各機能は、図３に示したＣＰＵ９０１が、ＨＤ９０９からＲＡＭ９０２ｂに展開されたプログラムを実行することで実現される機能又は手段である。

読み取り部２１は、コンタクトガラスに置かれた原稿、又は、ＡＤＦ（Auto Document Feeder）がコンタクトガラスに搬送した原稿を光学的に読み取って画像データを生成する。画像データはカラーでもモノクロでもよいが、画像形成装置２０がカラーの定義領域を特定するにはカラーで読み取ることが好ましい。ただし、モノクロで読み取ってもよい。

定義領域特定部２２は読み取り部２１が生成した画像データに定義領域が含まれるか否かを判断する。例えば、画像データのうちカラーの画素の外接矩形を定義領域と判断する。黒のＲＧＢは（０，０，０）、白のＲＧＢは（２５５，２５５，２５５）なので、定義領域特定部２２は例えば、（１，１，１）～（２５４，２５４，２５４）のＲＧＢを有する色付着部を検出する。

あるいは、定義領域特定部２２はＯＣＲ（Optical Character Reader）で文字認識を行い、「( )（かっこ）」やカギ括弧で囲まれた領域を定義領域として検出する。また、ＯＣＲでは太文字や斜体を検出することができるので、太文字や斜体で記載された範囲を定義領域と判断することもできる。画像や図形などを定義領域としてもよい。

定義領域は、これらに限られずユーザが定義した領域でよい。表１は定義領域の一例を示す。

表１は、定義領域の一例である。ユーザは画像形成装置２０を操作してメニューなどから自分がコード化したい定義領域を設定できる。このように、ユーザは所望の定義領域を登録できる。ユーザは任意の文字列を登録することもできる。

定義領域座標保持部２３は、定義領域の四隅の座標（定義領域座標）を保持する。表示部２４は、検出された定義領域の枠を画像データに重ねてパネル表示部９４０ａに表示する。すなわち、枠で示された領域が定義領域としてコード化される旨のプレビューを表示する。

操作受付部２５は、定義領域の編集又は追加などを受け付ける。そして、操作受付部２５が変更を受け付けた場合、定義領域座標保持部２３は定義領域の座標を更新する。また、追加を受け付けた場合、定義領域座標保持部２３は定義領域の座標を追加で保持する。

変更又は追加が完了すると、定義領域抜出部２７は、画像データから定義領域の座標で特定される定義領域の画像を抜き出す。すなわち、トリミングする又は切り出す。したがって、１つの画像データから定義領域の数だけ、定義領域の画像が抜き出される。

保存場所付加部２６は、画像データの定義領域の座標にコード画像を形成する。コード画像が定義領域に上書きされるので、定義領域に記載されていた情報は消失する。コード画像には、定義領域の画像を保存する保存場所情報がコード化されている。

通信部２９は情報処理装置１０と通信して、保存場所情報を指定して定義領域の画像の保存要求を情報処理装置１０に送信する。なお、通信部２９は、定義領域の画像の保存場所に保存する保存部でもある。

印刷部２８は、保存場所付加部２６が定義領域にコード画像を形成した画像データをモノクロで用紙に印刷する（コード画像印刷物の出力を行う）。モノクロのコード画像が形成されているので、端末装置４０がコード画像を撮像することで、情報処理装置１０から定義領域の画像を取得して、定義領域に記載されていた情報を再現できる。

＜定義領域の座標について＞
図７を参照して、定義領域の座標について説明する。図７（ａ）は定義領域の座標について説明する図である。定義領域の座標は、例えば原稿、又は、原稿を画像形成装置２０が読み取って生成した画像データの左上の頂点を原点として決定される。幅方向がＸ軸、高さ方向がＹ軸である。単位は例えば画素数（ピクセル）である。

図７（ｂ）は定義領域の座標の一例である。図７では、原稿の１ページの各定義領域の座標が示されている。図７（ｂ）の定義領域の座標は、定義領域の矩形の４つの頂点２００の座標である。カラーで特定される定義領域の座標は定義領域の外接矩形で、括弧で特定される定義領域の座標は内接矩形とするとよい。

定義領域の座標は、左上と右下の頂点、右上と左下の頂点、又は１つの頂点と幅と高さにより特定されてもよい。このような定義領域の座標が定義領域座標保持部２３で保持される。定義領域座標保持部２３が保持する定義領域の座標は、コード画像印刷物の印刷後は破棄されてよい。

＜原稿、コード画像印刷物、端末装置が表示する画像データなど＞
以下では、元となる原稿の画像の読み取りから、端末装置４０がコード画像印刷物を撮像して表示するまでを説明する。

図８は、ユーザが画像形成装置２０に読み取らせる原稿の一例を示す。原稿は４つの定義領域３０１、３０２、３０３，３０４を有している。
・定義領域３０１はカラーのマーカーで着色された領域である。
・定義領域３０２、３０３，３０４は括弧で囲まれた領域である。

図９は、画像形成装置２０がスキャンし、パネル表示部９４０ａで表示した定義領域確認画面３１０の一例である。定義領域確認画面３１０には、画像形成装置２０の定義領域特定部２２が検出した定義領域が四角い枠３１１、３１２、３１３，３１４で囲んで表示される。図９では原稿に存在した４つの定義領域３０１、３０２、３０３，３０４が正しく検出されている。

定義領域確認画面３１０は、選択範囲追加ボタン３１５とＯＫボタン３１６を有している。選択範囲追加ボタン３１５は、ユーザが定義領域を追加するためのボタンである。選択範囲追加ボタン３１５をユーザが押下すると、パネル表示部９４０ａに四角い枠が表示される。ユーザはこの四角枠を定義領域に移動し、適宜、拡大縮小することができる。

強調すべきでない領域に四角い枠が表示されている場合、ユーザは四角い枠を長押しして削除ボタンを表示させることで、四角い枠を削除できる。あるいは、常に表示された状態の削除ボタンが存在してもよい。

ユーザがＯＫボタン３１６を押下すると、四角い枠３１１、３１２、３１３，３１４で特定されている定義領域の画像が情報処理装置１０に送信される。また、四角い枠３１１、３１２、３１３，３１４で特定されている定義領域が保存場所情報のコード画像で置き換えられたコード画像印刷物が印刷される。

図１０は、定義領域がコード画像で置き換えられたコード画像印刷物３４０の一例を示す。図９の定義領域確認画面３１０で定義領域として特定された四角い枠３１１、３１２、３１３，３１４の先頭がコード画像３２１、３２２、３２３、３２４に置き換えられている。このコード画像３２１、３２２、３２３、３２４には、定義領域の画像を保存しているＵＲＬ等がコード化されている。

また、図１０の定義領域には斜線３３０が形成されている。斜線３３０はなくてもよいが、コード化により空欄となった領域をユーザが把握しやすくなり、文字数などを推定できる。

なお、コード画像３２１、３２２、３２３、３２４は黄色など目立たない色で印刷してもよい（この場合、モノクロでなく２色印刷を利用する）。ユーザはコード化により空欄となった領域の全体を把握しやすくなり、文字数などを推定しやすくなる。

図１０では、元の定義領域にあった情報が一切、読めないようになっている。しかし、定義領域の一部を残してコード画像が形成されてもよい。すなわち、保存場所付加部２６は定義領域の少なくとも一部を削除すればよい。例えば、画像形成装置がＯＣＲした場合、先頭の文字や最後の文字を残すことが考えられる。カラー情報については、左端から一定量の画像を残すことが考えられる。こうすることで、ユーザは答えのヒントを得ることができる。

また、コード画像の形成場所は定義領域と重なっていなくてもよい。例えば、コード画像の形成場所は定義領域の周囲でもよい。好ましくは、ユーザがコード画像と定義領域の対応が分かるとよいが、定義領域の出現順に、コード画像印刷物３４０の余白にコード画像が形成されてもよい。

ユーザが図１０の用紙を見ても、定義領域に記載されていた情報を視認できないので、ユーザは定義領域に記載されていた情報を推測する学習が可能になる。答えが必要な場合、ユーザは端末装置４０のカメラでコード画像を撮像する。

図１１は、端末装置４０が表示する合成画像画面３６０の一例である。図１１では、コード画像印刷物３４０のうち、カメラの画角に入る範囲が点線３５０で示されている。合成画像画面３６０では、コード画像印刷物のうち点線３５０の範囲が表示される。コード画像３２１、３２２、３２３、３２４がある場所に、コード化されたＵＲＬに基づいて端末装置４０が情報処理装置１０から取得した定義領域の画像が合成される。このため、合成画像画面３６０では、コード画像３２１、３２２、３２３、３２４でなく定義領域３０２、３０３、３０４が表示されている。したがって、ユーザは答えを確認することができる。

＜動作又は処理の手順＞
図１２は定義領域がコード画像に置き換わったコード画像印刷物を画像形成装置２０が印刷する手順を示すフローチャート図の一例である。

ユーザは原稿を画像形成装置２０にセットして画像形成装置２０にコピー操作を入力する。画像形成装置２０の操作受付部２５は操作を受け付けて、読み取り部２１が原稿を読み取り画像データを生成する。この原稿には、１つ以上の定義領域が存在する。

画像データが生成されると定義領域特定部２２は、画像データの左上などから定義領域（カラー領域）の探索を行う（Ｓ１）。あるいは、ＯＣＲを行い、定義されている文字列を検索する。定義領域座標保持部２３は、特定された定義領域の座標を保持（記憶）しておく（Ｓ２）。

定義領域特定部２２は画像データの全体を探索したか否かを判断する（Ｓ３）。画像データの全体の探索が終了すると、表示部２４が画像データと共に定義領域を示す枠を操作パネル９４０ｂに表示する（Ｓ４）。画像データ上の元の位置に定義領域が矩形枠や色違いで強調されて表示される。

ユーザは定義領域の位置が間違っているか否かを確認し、間違っている場合は定義領域の位置を変更する。また、特定されていない定義領域がある場合は、追加する。操作受付部２５はこれらの操作を受け付ける。

ユーザの確認が終了したら、定義領域抜出部２７が定義領域の画像を抜き出し（トリミングする）、保存場所付加部２６は定義領域に保存場所情報がコード化されたコード画像を形成する（Ｓ５）。定義領域抜出部２７により定義領域の画像が削除されてもよいし、定義領域に記載されていた情報にコード画像で上書きされてもよい。なお、コード画像にコード化される保存場所情報（ＵＲＬ等）は、「予め決まっているフォルダ＋日時＋枝番」などでよい。保存場所情報がファイルパスの場合もフォルダ名をこのように決定してよい。

印刷部２８は、定義領域がコード画像で置き換わった画像データを用紙に印刷する（Ｓ６）。以上で、コード画像印刷物が出力される。

そして、通信部２９は、保存場所を指定して定義領域の画像を情報処理装置１０に送信する。情報処理装置１０は指定された保存場所に定義領域の画像を保存する（Ｓ７）。保存は印刷の前に行われてもよい。

続いて、図１３を参照して、定義領域の画像の復元について説明する。図１３は、画像形成装置２０が印刷したコード画像印刷物を端末装置４０がカメラで撮像して定義領域の画像をコード画像印刷物に合成する手順を示すフローチャート図の一例である。

ユーザが印刷された用紙を学習に使用し、答えが必要だと考えると、端末装置４０でコード画像印刷物のコード画像を撮像する（Ｓ１１）。端末装置４０の画像取得部４４はコード画像印刷物の画像データを取得する。なお、撮像には静止画を撮像する方法と動画を撮像する方法がある。本実施形態ではどちらでもよい。

コード画像印刷物の画像は画像解析部４２に送られ、画像解析部４２は画像データを解析してコード画像を検出する（Ｓ１２）。コード画像が検出された場合、画像解析部４２は埋め込まれている保存場所情報をデコードする。

通信部４１は、埋め込まれた保存場所情報に基づいて情報処理装置１０などの保存場所から定義領域の画像を取得する（Ｓ１３）。通信部４１は、定義領域の画像を画像合成部４５に送信する。

画像合成部４５は画像取得部４４が取得したコード画像印刷物のコード画像がある場所に、定義領域の画像を合成して、表示部４３へ送る。この合成は、コード画像印刷物よりも手前側に定義領域の画像を重ねればよい。表示部４３は、定義領域の画像が合成された画像データを表示する（Ｓ１４）。したがって、ユーザは定義領域がマスクされる前の情報を確認する（見る）ことができる。

なお、合成の際、画像合成部４５は、コード画像印刷物のコード画像の左端に、定義領域の画像の左端を一致させる。また、画像合成部４５は、定義領域の画像の高さ方向の中心を、コード画像の高さ方向の中心に一致させる。

定義領域の画像のサイズは、画像形成装置２０の読み取り部２１が読み取る際の解像度（例えば２００dpiなど）に依存する。一方、端末装置４０のカメラがコード画像印刷物を撮像して得た画像データにおいて定義領域のサイズは、焦点距離、カメラの画素数、及び、カメラとコード画像印刷物との距離に依存する。このため、画像合成部４５はコード画像の高さと定義領域の画像の高さが一致する比率を求め、この比率で定義領域の画像の縦横のサイズを変倍する。こうすることで、コード画像印刷物のコード画像のサイズとほぼ同じサイズの定義領域の画像を、コード画像印刷物に合成できる。

＜主な効果＞
以上説明したように、本実施形態の画像処理システム１００は、モノクロの印刷においても学習補助することができる。画像形成装置２０が１枚の用紙しか印刷しないので、学習補助を実現するためのコストを下げることができる。また、１枚の用紙に集約印刷することもないので、情報が見にくくなることも抑制できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、学習補助を適用例として説明したが、コード画像印刷物をユーザが持ち歩く場合のセキュリティの向上等を目的としても本実施形態を適用できる。例えば、社内の書類に個人名が記載されている場合、画像形成装置２０は個人名をコード画像に置き換えることができる。あるいは、画像形成装置２０は辞書に登録してある用語をコード画像に置き換えることができる。したがって、元の原稿はカラーであるとは限らない。

また、本実施形態では、画像形成装置２０が原稿を読み取ったが、原稿の読み取りは別のスキャナやカメラが行ってもよい。この場合、画像形成装置は画像データを取得して、コード画像印刷物を印刷する。

また、本実施形態では情報処理装置１０は定義領域の画像の保存場所として使用されているが、情報処理装置１０が画像形成装置の代わりに画像処理を行ってもよい。この場合、画像形成装置は原稿をスキャンして画像データを情報処理装置１０に送信する。情報処理装置１０は定義領域を検出し、コード画像の形成を行った画像データを画像形成装置２０に送信する。画像形成装置２０はコード画像印刷物を印刷する。こうすることで、画像処理に関する機能を情報処理装置１０に集約でき、画像形成装置２０では本来の機能（スキャナと印刷）を有すればよいのでコスト増を抑制できる。なお、このような実施形態をＷｅｂアプリという。

また、図６の構成例は、端末装置４０、画像形成装置２０及び情報処理装置１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置４０、画像形成装置２０及び情報処理装置１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１０ 情報処理装置
２０ 画像形成装置
４０ 端末装置
１００ 画像処理システム

特許6598665号公報

Claims (9)

1. 原稿を読み取って画像データを生成する読み取り部と、
   前記読み取り部が生成した前記画像データのうち１行未満の文字列からなる定義領域を特定する定義領域特定部と、
   ＯＣＲ処理により、前記定義領域特定部が特定した前記定義領域にある前記文字列を特定し、前記文字列の先頭文字又は最後の文字のみを残して前記定義領域を削除し、前記文字列の先頭文字の後に、又は、最後の文字の前に前記定義領域の保存場所情報を形成する保存場所付加部と、
   前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存する保存部と、
   前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷する印刷部と、
   を有することを特徴とする画像形成装置。
2. 前記保存場所付加部は、前記定義領域特定部が特定した前記定義領域の情報を削除してから前記定義領域に前記定義領域の保存場所情報を形成するか、又は、前記定義領域特定部が特定した前記定義領域に前記定義領域の保存場所情報を上書きすることを特徴とする請求項１に記載の画像形成装置。
3. 前記定義領域特定部が特定した前記定義領域を強調して、前記読み取り部が生成した前記画像データに表示する表示部と、
   前記表示部が表示した前記定義領域の変更又は前記定義領域特定部が特定しなかった定義領域の追加を受け付ける操作受付部と、
   を有することを特徴とする請求項１又は２に記載の画像形成装置。
4. 前記定義領域は、カラーの画素を有する領域であることを特徴とする請求項１～３のいずれか１項に記載の画像形成装置。
5. 前記定義領域は、括弧で囲まれた領域であることを特徴とする請求項１～３のいずれか１項に記載の画像形成装置。
6. 原稿を読み取って画像データを生成する読み取り部と、
   前記読み取り部が生成した前記画像データから１行未満の文字列からなる定義領域を特定する定義領域特定部と、
   前記定義領域特定部が特定した前記定義領域の少なくとも一部を削除し、前記画像データに前記定義領域の保存場所情報を形成する保存場所付加部と、
   前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存する保存部と、
   前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷する印刷部と、を有する画像形成装置と、端末装置とを有する画像処理システムであって、
   前記端末装置は、
   前記画像形成装置が印刷した前記シート状部材を撮像する画像取得部と、
   前記画像取得部が取得した前記シート状部材の画像データを解析して前記保存場所情報を取得する画像解析部と、
   前記画像解析部が取得した前記保存場所情報が示す保存場所から前記定義領域の画像を取得する第二の通信部と、
   前記画像取得部が取得した前記シート状部材の画像データにおいて前記保存場所情報が形成されている領域に、前記第二の通信部が取得した前記定義領域の画像を合成する画像合成部と、を有し、
   前記画像合成部は、前記シート状部材における前記保存場所情報の高さと、前記定義領域の画像の高さが一致する比率を求め、前記比率で前記定義領域の画像の縦横のサイズを変倍し、前記シート状部材における前記保存場所情報のサイズと同じサイズの前記定義領域の画像を、前記保存場所情報が形成されている領域に合成する、
   画像処理システム。
7. 読み取り部が、原稿を読み取って画像データを生成するステップと、
   定義領域特定部が、前記読み取り部が生成した前記画像データのうち１行未満の文字列からなる定義領域を特定するステップと、
   保存場所付加部が、ＯＣＲ処理により、前記定義領域特定部が特定した前記定義領域にある前記文字列を特定し、前記文字列の先頭文字又は最後の文字のみを残して前記定義領域を削除し、前記文字列の先頭文字の後に、又は、最後の文字の前に前記定義領域の保存場所情報を形成するステップと、
   保存部が、前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存するステップと、
   印刷部が、前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷するステップと、
   を有することを特徴とする画像処理方法。
8. 画像形成装置を、
   原稿を読み取って画像データを生成する読み取り部と、
   前記読み取り部が生成した前記画像データのうち１行未満の文字列からなる定義領域を特定する定義領域特定部と、
   ＯＣＲ処理により、前記定義領域特定部が特定した前記定義領域にある前記文字列を特定し、前記文字列の先頭文字又は最後の文字のみを残して前記定義領域を削除し、前記文字列の先頭文字の後に、又は、最後の文字の前に前記定義領域の保存場所情報を形成する保存場所付加部と、
   前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存する保存部と、
   前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷する印刷部、
   として機能させるためのプログラム。
9. 原稿を読み取って画像データを生成する読み取り部と、
   前記読み取り部が生成した前記画像データから１行未満の文字列からなる定義領域を特定する定義領域特定部と、
   前記定義領域特定部が特定した前記定義領域の少なくとも一部を削除し、前記画像データに前記定義領域の保存場所情報を形成する保存場所付加部と、
   前記保存場所情報が示す保存場所に前記定義領域特定部が特定した前記定義領域の画像を保存する保存部と、
   前記保存場所付加部が前記保存場所情報を形成した前記画像データをシート状部材に印刷する印刷部と、を有する画像形成装置が印刷した前記シート状部材を撮像する画像取得部と、
   前記画像取得部が取得した前記シート状部材の画像データを解析して前記保存場所情報を取得する画像解析部と、
   前記画像解析部が取得した前記保存場所情報が示す保存場所から前記定義領域の画像を取得する第二の通信部と、
   前記画像取得部が取得した前記シート状部材の画像データにおいて前記保存場所情報が形成されている領域に、前記第二の通信部が取得した前記定義領域の画像を合成する画像合成部、として端末装置を機能させ、
   前記画像合成部は、前記シート状部材における前記保存場所情報の高さと、前記定義領域の画像の高さが一致する比率を求め、前記比率で前記定義領域の画像の縦横のサイズを変倍し、前記シート状部材における前記保存場所情報のサイズと同じサイズの前記定義領域の画像を、前記保存場所情報が形成されている領域に合成するためのプログラム。

Images