JP7523955B2 - 情報処理装置、情報処理システム、情報処理システムの制御方法、およびプログラム - Google Patents

Description

本発明は、画像編集が可能な情報処理装置、情報処理システム、情報処理システムの制御方法、およびプログラムに関する。

特許文献１には、情報処理装置と画像形成装置とを備えた印刷システムにおいて、画像から撮影シーンを推定し、推定した撮影シーンに応じて画質を補正する画像補正を行う技術が開示されている。こうした画像補正機能については、情報処理装置および画像形成装置のいずれにも搭載可能であるが、画像形成装置側に搭載することで、情報処理装置上で動作するすべてのアプリケーションから画像補正機能を利用することができるようになる。

また、こうした印刷システムでは、画像に対して、トリミング、拡大・縮小、回転などの処理を施すレイアウト編集を実行する機能を備えることもできる。このレイアウト編集は、下記の理由から印刷ホスト側、つまり、情報処理装置側で実行することが望ましい。トリミングでは、元画像の一部を切り取るため画像サイズが小さくなり、画像形成装置への画像のデータ転送量が減少するとともに、転送時間も減少する。レイアウト編集後の画像を情報処理装置の表示部にプレビュー表示することで、ユーザが印刷前に実際の印刷物と同等のレイアウトを確認することができる。

特開２００５－１５１１３０号公報

しかしながら、情報処理装置側にレイアウト編集機能を備え、画像形成装置側に画像補正機能を備えるようにした場合には、情報処理装置側でのレイアウト編集の有無に応じて、印刷された画像に劣化が生じる虞があった。

本発明は、上記課題に鑑みてなされたものであり、画像補正処理を行う画像形成装置で印刷される画像に生じる劣化を抑制することができる技術を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態は、画像形成装置と通信可能な情報処理装置のコンピュータを、印刷対象画像への編集を実行可能な画像編集手段と、印刷対象画像に基づくデータを出力する出力手段と、印刷対象画像の容量および解像度の少なくとも一方が閾値以上になると、印刷対象画像を圧縮する圧縮手段と、として機能させるプログラムであって、前記出力手段は、印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、前記圧縮手段による圧縮が行われた印刷対象画像と、前記圧縮手段による圧縮が行われなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とする。

本発明によれば、画像補正処理を行う画像形成装置で印刷される画像に生じる劣化を抑制することができるようになる。

実施形態による情報処理装置を備えた情報処理システムを示す図。 情報処理装置および画像形成装置のブロック構成図。 第１実施形態による情報処理装置での設定処理のフローチャート。 印刷プレビュー画面を示す図。 プレビュー用画像の初期状態を示す図。 画像編集画面を示す図。 画像編集を説明する図。 印刷設定画面を示す図。 印刷指示処理のフローチャート。 画像形成装置での印刷処理のフローチャート。 印刷処理のサブルーチンであるシート解析処理のフローチャート。 特徴量データテーブルを説明する図。 第２実施形態による情報処理装置での設定処理のフローチャート。

以下、添付の図面を参照しながら、情報処理装置、情報処理システム、情報処理システムの制御方法、およびプログラムの実施形態の一例を詳細に説明する。なお、以下の実施形態は、本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。また、実施形態に記載されている構成要素の相対位置、形状などは、あくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１実施形態）
実施形態の説明に先立ち、情報処理装置側にレイアウト編集機能を備え、画像形成装置側に画像補正機能を備えるようにした場合に、情報処理装置側でのレイアウト編集の有無に応じて画像補正処理による補正結果が異なる虞があることを補足説明する。

トリミングした画像は、未編集のオリジナル画像よりも撮影シーンを判定するための情報が少なくなる。このため、トリミング後の画像を画像補正処理した補正結果と、オリジナル画像を画像補正処理した補正結果とが一致しなくなる虞がある。これにより、トリミングを行った場合には、印刷された画像に劣化が生じる虞があった。また、例えば、印刷物にメッセージを書き込む領域などを設けるために、レイアウト編集機能により画像に対して縮小処理や移動処理を施して、画像に余白領域を生成する。この場合、輝度や濃度を調整するための基準色がレイアウト編集後の画像とオリジナル画像とで変化する虞がある。このため、縮小処理や移動処理などの編集後の画像を画像補正処理した補正結果と、オリジナル画像を画像処理した補正結果とが一致なくなる虞がある。これにより、縮小処理や移動処理を行って余白が生じた場合には、印刷された画像に劣化が生じる虞がある。以下で説明する実施形態では、このような劣化を抑制する技術を説明する。

＜情報処理システム＞
まず、第１実施形態による情報処理装置を備えた情報処理システムについて説明する。図１は、第１実施形態による情報処理装置を備えた情報処理システムの一例を示すブロック図である。図１の情報処理システム１０は、ユーザによる指示や各種設定などの種々の情報を入力可能な情報処理装置１２と、情報処理装置１２などから出力された情報に基づいて、印刷可能な画像形成装置１４とを備えている。情報処理装置１２と画像形成装置１４とはネットワーク１６を介して接続されている。また、情報処理システム１０は、ネットワーク１６に接続された無線ＬＡＮルータ１８と、インターネット２０を介して無線ＬＡＮルータ１８と接続されたサーバ２２とを備えている。

情報処理装置１２としては、スマートフォン、携帯端末、ノートＰＣ、タブレット端末、ＰＡＤ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルカメラなどを用いることができる。以下の説明では、情報処理装置１２について、スマートフォンを例として説明し、情報処理装置１２をスマートフォン１２とも称する。

画像形成装置１４としては、情報処理装置１２と通信を行うことが可能であり、例えば、インクジェットプリンタ、フルカラーレーザビームプリンタ、モノクロプリンタなどを用いることができる。なお、複写機能、ＦＡＸ機能、印刷機能などを備える複合機を用いてもよい。

サーバ２２は、インターネット２０を介して、ユーザが使用する情報処理装置１２へ各種の情報を発信する。情報処理装置１２は、ネットワーク１６を介して無線ＬＡＮルータ１８と接続され、無線ＬＡＮルータ１８とインターネット２０とが接続されていることで、無線ＬＡＮルータ１８を介してインターネット通信が可能となる。また、ネットワーク１６上には、画像形成装置１４が接続されており、無線ＬＡＮルータ１８を介して情報処理装置１２と画像形成装置１４とは相互に通信可能となっている。

ネットワーク１６の接続形態は、無線ＬＡＮルータ１８を介してインターネット２０に接続しているが、無線接続に限らずに有線接続でもよい。なお、情報処理装置としてのスマートフォン１２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）だけでなく、ＯＳ上で動作する様々な機能を有するアプリケーションがインストールされている。

本実施形態では、ユーザは、まず、スマートフォン１２内の所定のアプリケーションを起動する。所定のアプリケーションは、スマートフォン１２に格納された画像データや文書データを印刷する機能を備えたアプリケーションを例に説明するが、他の機能のアプリケーションでもよい。以下の説明では、印刷機能を備えたアプリケーションを、「印刷用アプリ」と称する。なお、印刷用アプリは、上記した機能以外に、他の機能を備えていてもよい。例えば、画像形成装置１４が、スキャン機能が備えられた複合機の場合に、複合機にセットされた原稿をスキャンする機能や、画像形成装置１４の他の設定を行う機能を備えていてもよい。また、インターネット２０を介して、クラウドサーバ（不図示）から画像や文書などのデータを取得して印刷する機能を備えていてもよい。

＜情報処理装置および画像形成装置の構成＞
次に、情報処理装置としてのスマートフォン１２および画像形成装置１４の構成について説明する。図２は、スマートフォン１２および画像形成装置１４のブロック構成図である。なお、以下の説明では、情報処理装置および画像形成装置の構成の一例を示すものであって、これに限定されるものではない。

スマートフォン１２は、入力インタフェース２４、中央処理装置（ＣＰＵ）２６、ＲＯＭ２８、ＲＡＭ３０、記憶装置３２、出力インタフェース３４、タッチパネル３６、およびネットワークインタフェース３８を備えている。また、スマートフォン１２は、３Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの移動体通信網を介してインターネットに接続するための通信部（不図示）などを備えている。タッチパネル３６は、ユーザからの操作を受け付ける入力部と、所定の表示を行う表示部とを併せ備えたものである。

ネットワークインタフェース３８は、画像形成装置１４内のアクセスポイント（不図示）に接続可能である。ネットワークインタフェース３８と画像形成装置１４内のアクセスポイントが接続することで、スマートフォン１２と画像形成装置１４とは相互に通信可能となる。なお、通信は、無線通信でダイレクトに通信してもよいし、有線ネットワーク上に設置した装置外部のアクセスポイントを介して通信してもよい。通信方式としては、例えば、Ｗｉ－Ｆｉ（登録商標）（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ；ＩＳＯ／ＩＥＣ ＩＳ １８０９２）などが挙げられる。なお、本実施形態において、アクセスポイントとは、スマートフォン１２や画像形成装置１４を相互に接続し、インターネットなどの他のネットワークに接続する機能を有する装置とする。アクセスポイントの機能を有する装置の代表的な例としては、無線ＬＡＮルータが挙げられる。

ＲＯＭ２８には、初期化プログラムが格納されており、記憶装置３２には、ＯＳが格納されている。このＯＳは、印刷制御を司る印刷サービスプログラムを保持している。さらに、記憶装置３２は、ユーザに印刷実行を提供するアプリケーション、画像形成装置１４で処理可能な印刷情報を生成する印刷情報生成プログラムを保持している。また、記憶装置３２は、生成された印刷情報を、ネットワークインタフェース３８を介して画像形成装置１４との間で情報を送受信する情報送受信制御プログラムなどの各種プログラムやＯＳ、これらのプログ楽が使用する各種情報を保持している。ＣＰＵ２６は、ＲＯＭ２８に格納された各種プログラムに基づいて処理を実行することによって、スマートフォン１２の機能および後述する設定処理などが実現される。

画像形成装置１４は、ネットワークインタフェース４０、ＲＡＭ４２、ＲＯＭ４４、ＣＰＵ４６、およびプリントエンジン４８を備えている。ネットワークインタフェース４０は、アクセスポイントを有し、当該アクセスポイントは、スマートフォン１２のネットワークインタフェース３８に接続可能となっている。

ＲＡＭ４２は、ＣＰＵ４６の主メモリとワークメモリとして用いられ、受信した印刷情報を一旦保存するための受信バッファや各種の情報を保存する。プリントエンジン４８は、ＲＡＭ４２に保存された情報に基づいて印刷を行う。ＲＯＭ４４には、各種の制御プログラムや各制御プログラムが使用する情報を格納しており、ＣＰＵ４６は、これらの制御プログラムに従って画像形成装置１４の各部を制御することとなる。

＜情報処理装置での処理＞
以上の構成において、情報処理システム１０を用いて画像を印刷する場合について説明する。情報処理システム１０により画像を印刷する場合には、まず、スマートフォン１２に保持された印刷用アプリにより画像データの編集処理や各種設定などを行う。その後、スマートフォン１２から印刷対象画像に基づくデータと設定情報を画像形成装置１４へ出力し、画像形成装置１４において、取得した印刷対象画像に基づくデータと設定情報に基づいて印刷することとなる。

スマートフォン１２では、画像形成装置１４に送信する印刷対象画像に対する編集処理や印刷のための設定（以下、「印刷設定」と称する。）に基づいて、画像形成装置１４に送信する印刷対象画像に対する設定を行う設定処理が行われる。図３は、第１実施形態による情報処理装置において実行される設定処理の詳細な処理内容を示すフローチャートである。図３のフローチャートで示される一連の処理は、ＣＰＵ２６がＲＯＭ２８（または記憶装置３２）に記憶されたプログラムコードをＲＡＭ３０に展開して実行されることにより行われる。あるいはまた、図３におけるステップの一部または全部の機能をＡＳＩＣまたは電気回路などのハードウェアで実行してもよい。なお、各処理の説明における符号Ｓは、当該フローチャートにおけるステップであることを意味する（以下、本明細書において同様とする。）。

この設定処理は、例えば、印刷用アプリが起動されると実行される。設定処理が開始されると、まず、ＣＰＵ２６が、画像形成装置１４に送信する印刷対象画像について、プレビュー用画像を生成する（Ｓ３０２）。即ち、Ｓ３０２では、ＣＰＵ２６が、記憶装置３２などに記憶された画像データに基づいて、タッチパネル３６に表示するためのプレビュー用画像を生成する。

次に、ＣＰＵ２６は、生成したプレビュー用画像を、タッチパネル３６にプレビュー表示する（Ｓ３０４）。このとき、タッチパネル３６では、印刷プレビュー画面５０においてプレビュー用画像が表示される。図４は、タッチパネル３６にプレビュー表示された印刷プレビュー画面５０を示す図である。印刷プレビュー画面５０には、プレビュー用画像５２と、プレビュー用画像５２に対して画像編集するための編集ボタン５４とが表示される。また、印刷プレビュー画面５０には、印刷時の各種設定を行うための印刷設定ボタン５６と、印刷の開始を指示するための印刷開始ボタン５８とが表示される。なお、印刷プレビュー画面５０では、プレビュー用画像５２が印刷媒体に対してどのように配置されるのかが提示される。

図５は、印刷プレビュー画面５０に表示されるプレビュー用画像５２の初期状態の一例を示す図であり、（ａ）は、フチなし印刷時を示し、（ｂ）は、フチあり印刷時を示す。フチなし印刷の場合には、印刷領域に対して、プレビュー用画像５２の少なくとも対向する２辺が印刷領域の枠上に位置し、かつ、当該枠上に位置しない辺は当該枠外に位置する外接状態で画像が配置される。即ち、印刷領域のアスペクト比とプレビュー用画像５２のアスペクト比とが一致する場合には、プレビュー用画像５２は、４辺が印刷領域の枠上に位置する外接画像となる。また、印刷領域のアスペクト比とプレビュー用画像５２にアスペクト比とが異なる場合には、図５（ａ）のように、プレビュー用画像５２の一部が印刷領域の枠外に位置する。

フチあり印刷の場合には、印刷領域に対して、プレビュー用画像の四辺のすべてが印刷領域の枠内において、印刷領域の枠から所定距離だけ離間するように位置する内接状態で画像が配置される。なお、印刷領域のアスペクト比とプレビュー用画像のアスペクト比とが異なる場合には、図５（ｂ）のように、余白が追加される。フチなし印刷、フチあり印刷については、印刷設定ボタン５６を選択することで表示される印刷設定画面７２（後述する）において設定される。

図３に戻る。その後、ＣＰＵ２６は、印刷対象画像が画像編集されたか否かを判定する（Ｓ３０６）。本実施形態では、ユーザは、印刷プレビュー画面５０に表示される編集ボタン５４を選択し、画像編集画面６０（後述する）を開いて、画像編集画面６０への入力を行う。そして、ＣＰＵ２６は、この入力結果に基づいて、印刷対象画像に対する画像編集を行うこととなる。従って、Ｓ３０６では、編集ボタン５４が選択されて、画像編集されたか否かを判定することとなる。なお、本実施形態では、画像編集とは、トリミング、変倍、移動、回転のうちの少なくとも１つの処理を含むものとする。

画像編集画面６０は、印刷対象画像に対する画像編集を行うための画面である。図６は、画像編集画面６０を示す図である。画像編集画面６０には、処理対象となる画像６２と、印刷領域を示す印刷領域枠６４と、画像６２を回転するための回転ボタン６６と、処理をキャンセルするためのキャンセルボタン６８と、処理を決定するためのＯＫボタン７０とが表示される。なお、画像編集画面６０に表示される画像６２としては、例えば、プレビュー用画像５２が用いられる。

画像編集画面６０において、ユーザが画像６２に対して、ピンチイン、ピンチアウト操作を行うことで、画像６２の縮小、拡大が実行され、ドラック操作を行うことで、印刷領域枠６４に対する画像６２の配置位置が決定される。また、画像編集画面６０において、ユーザが回転ボタン６６を選択することで、印刷領域枠６４が９０度回転し、相対的に画像を回転させた場合と同じ効果を得ることができる。

画像編集画面６０における画像編集の一例について説明する。図７（ａ）（ｂ）は、画像編集画面６０における画像編集の一例を説明する図である。ユーザがピンチアウト操作して画像６２を拡大するとともに、ドラッグ操作して画像６２を左方側に移動させたときには、画像編集画面６０に表示される画像６２と、当該操作により生成される印刷対象画像とは、図７（ａ）のようになる。この場合、画像６２の一部は、印刷領域枠６４の外側に位置している。このため、生成される印刷対象画像は、画像編集前の印刷対象画像が拡大され、かつ、印刷領域枠６４の外側に位置する部分がトリミングされたものとなる。ユーザがピンチイン操作して画像６２を縮小するとともに、ドラック操作して画像６２を印刷領域枠６４内の上方側に移動させたときには、画像編集画面６０に表示される画像６２と、当該操作により生成される印刷対象画像とは、図７（ｂ）のようになる。この場合、画像６２は、その全体が、印刷領域枠６４の内側に位置している。このため、生成される印刷対象画像は、画像編集前の印刷対象画像が縮小され、かつ、余白が付加されたものとなる。

図３に戻る。Ｓ３０６において、画像編集されたと判定されると、画像編集画面６０での入力に基づいて画像編集を行って、Ｓ３０２に戻り、画像編集が反映されたプレビュー用画像がタッチパネル３６に表示される。また、Ｓ３０６において、画像編集されなかったと判定されると、印刷対象画像のサイズが閾値以上であるか否かを判定する（Ｓ３０８）。即ち、Ｓ３０８では、ＣＰＵ２６が、印刷対象画像のサイズ、つまり、容量および解像度が、それぞれ対応する閾値以上であるか否かのチェックを行う。

ここで、画像形成装置１４は、搭載するＣＰＵ４６やＲＡＭ４２の性能により処理可能な印刷対象画像のサイズに上限がある。上限を超過した場合は、印刷停止や大幅な画質劣化などが生じる。印刷対象画像のサイズの上限については、画像形成装置１４ごとに固有の値であり、スマートフォン１２では、ネットワークインタフェース３８、４０を経由して画像形成装置１４から取得することとなる。従って、Ｓ３０８において判定の基準となる閾値については、予め画像形成装置１４から取得した、画像形成装置１４で処理可能な印刷対象画像のサイズの上限値に関する情報に基づいて設定される。つまり、ＣＰＵ２６は、印刷対象画像のサイズが、画像形成装置１４から取得した上限値に関する情報に基づいて設定された閾値以上であるか否かを判定することとなる。なお、Ｓ３０８では、印刷対象画像の容量および解像度について、少なくとも一方が閾値以上である場合には、印刷対象画像のサイズが閾値以上であると判定され、両方が閾値未満である場合には、印刷対象画像のサイズが閾値以上でないと判定される。

Ｓ３０８において、印刷対象画像のサイズが閾値以上であると判定されると、ＣＰＵ２６が、印刷対象画像への圧縮処理を行い（Ｓ３１０）、印刷対象画像に対して、スマートフォン１２側で編集済みの編集画像として送信する設定を行う（Ｓ３１２）。その後、この設定処理を終了する。即ち、Ｓ３１２では、例えば、印刷対象画像に、編集画像を示す特定の情報が付与される。また、Ｓ３０８において、印刷対象画像のサイズが閾値以上でないと判定されると、ＣＰＵ２６は、印刷対象画像について、画像編集が行われたか否かを判定する（Ｓ３１４）。即ち、Ｓ３１４では、画像編集画面６０での画像編集が実行されたか否かを判定することとなる。

Ｓ３１４において、画像編集が行われていると判定されると、Ｓ３１２に進み、印刷対象画像に対して、編集画像として送信する設定を行う。また、Ｓ３１４において、画像編集が行われていないと判定されると、ＣＰＵ２６は、印刷対象画像に対する画像補正処理である自動写真補正の設定が行われているか否かを判定する（Ｓ３１６）。自動写真補正の設定については、印刷プレビュー画面５０の印刷設定ボタン５６を選択することによって開く印刷設定画面７２において設定される。

印刷設定画面７２における各種設定については、印刷開始ボタン５８が選択される前に、ユーザによって実行されることとなる。印刷設定画面７２は、画像形成装置１４での印刷に対する各種設定を行う画面である。なお、以下の説明では、印刷設定画面７２で設定される設定情報を、「印刷設定情報」とする。図８は、印刷設定画面７２を示す図である。印刷設定画面７２では、例えば、印刷部数の設定、印刷用紙のサイズの設定、フチなし、フチあり印刷の設定を行うフチ設定、カラー印刷、モノクロ印刷の設定を行うカラーの設定、自動写真補正を行うか否かを設定する自動写真補正の設定を行うことができる。例えば、自動写真補正を設定する際には、自動写真補正設定ボタン７４を選択することで設定することができる。

図３に戻る。Ｓ３１６において、自動写真補正の設定が行われていないと判定されると、Ｓ３１２に進み、印刷対象画像に対して、編集画像として送信する設定を行う。即ち、本実施形態では、自動写真補正が設定されていない場合には、画像編集処理や圧縮処理などが行われていなくても、印刷対象画像を編集画像として送信する。後述するように、画像形成装置１４では、編集画像として送られた印刷対象画像には、画像形成装置１４側での画像処理が行われないからである。即ち、自動写真補正が設定されていない場合、画像形成装置１４側で自動写真補正処理が行われないようにするために、印刷対象画像を編集画像として送信する。一方、Ｓ３１６において、自動写真補正の設定が行われていると判定されると、ＣＰＵ２６は、印刷対象画像に対して、スマートフォン１２側で編集しなかった未編集画像、つまり、オリジナル画像として送信する設定を行い（Ｓ３１８）、この設定処理を終了する。即ち、Ｓ３１８では、例えば、印刷対象画像に、未編集画像を示す情報が付与される。

そして、印刷プレビュー画面５０において、印刷開始ボタン５８が選択されると、画像形成装置１４に対して印刷の開始を指示する印刷指示処理が開始される。図９は、印刷指示処理の詳細な処理内容を示すフローチャートである。図９のフローチャートで示される一連の処理は、ＣＰＵ２６がＲＯＭ２８（または記憶装置３２）に記憶されたプログラムコードをＲＡＭ３０に展開して実行されることにより行われる。あるいはまた、図９におけるステップの一部または全部の機能をＡＳＩＣまたは電気回路などのハードウェアで実行してもよい。

印刷指示処理が開始されると、まず、ＣＰＵ２６は、印刷設定情報を画像形成装置１４に送信する（Ｓ９０２）。即ち、Ｓ９０２では、印刷設定画面７２において設定された印刷設定情報が、画像形成装置１４へ送信される。次に、ＣＰＵ２６は、印刷対象画像に基づくデータを画像形成装置１４に送信する（Ｓ９０４）。なお、画像形成装置１４に送信される印刷対象画像に基づくデータには、設定処理で設定された情報、つまり、編集画像または未編集画像を示す情報が付与されている。即ち、本実施形態では、印刷対象画像に基づくデータは、印刷対象画像が編集済みか未編集かを画像形成装置１４が判別可能な形式で出力される。典型的には、ＣＰＵ２６が、印刷対象画像を画像編集の有無に応じて、編集画像または未編集画像として出力する出力部として機能している。

その後、ＣＰＵ２６は、送信すべき印刷対象画像に基づくデータをすべて送信したか否かを判定する（Ｓ９０６）。Ｓ９０６において、すべての印刷対象画像に基づくデータを送信していないと判定されると、Ｓ９０４に戻り、まだ送信していない印刷対象画像に基づくデータを送信する。また、Ｓ９０６において、すべての印刷対象画像に基づくデータを送信したと判定されると、この印刷指示処理を終了する。なお、印刷設定情報と印刷対象画像に基づくデータとは、どちらを先に画像形成装置１４に送信するようにしてもよく、印刷設定情報の送信と、印刷対象画像に基づくデータの送信とを並行して実行するようにしてもよい。このように、本実施形態では、印刷設定情報および印刷対象画像に基づくデータの送信により、画像形成装置１４に対して印刷の開始が指示されることとなる。

なお、上記例では、印刷対象画像が編集された場合、印刷対象画像を編集画像として送信する設定を行い、印刷対象画像が編集されなかった場合、未編集画像として送信する設定を行っているが、本実施形態はこれに限定されない。つまり、どちらか一方の場合だけ特定の設定を行ってもよい。例えば、印刷対象画像が編集された場合は、印刷対象画像に特定の情報を付与せずに送信し、印刷対象画像が編集されなかった場合は、印刷対象画像に特定の情報を付与して送信してもよい。もしくは、印刷対象画像が編集された場合に、印刷対象画像に特定の情報を付与して送信し、印刷対象画像が編集されなかった場合には、印刷対象画像に特定の情報を付与せずに送信してもよい。

つまり、スマートフォン１２は、印刷対象画像が編集済みか未編集かを画像形成装置１４が判別可能な形式で出力すればよい。

＜画像形成装置での処理＞
次に、画像形成装置１４での処理について説明する。画像形成装置１４が起動すると、印刷媒体への印刷を実行するための印刷処理が開始される。図１０は、印刷処理の詳細な処理内容を示すフローチャートである。図１０のフローチャートで示される一連の処理は、ＣＰＵ４６がＲＯＭ４４に記憶されたプログラムコードをＲＡＭ４２に展開して実行されることにより行われる。あるいはまた、図１０におけるステップの一部または全部の機能をＡＳＩＣまたは電気回路などのハードウェアで実行してもよい。

印刷処理が開始されると、まず、ＣＰＵ４６は、印刷設定情報を受信したか否かを判定する（Ｓ１００２）。即ち、Ｓ１００２では、スマートフォン１２から送信された印刷設定情報を受信したか否かを判定する。Ｓ１００２において、印刷設定情報を受信したと判定されると、印刷対象画像に基づくデータを受信したか否かを判定する（Ｓ１００４）。即ち、Ｓ１００４では、スマートフォン１２から送信された印刷対象画像に基づくデータを受信したか否かを判定する。

Ｓ１００４において、印刷対象画像に基づくデータを受信したと判定されると、ＣＰＵ４６は、画像形成装置１４における画像処理が必要であるか否かを判定する（Ｓ１００６）。即ち、Ｓ１００６では、ＣＰＵ４６が、印刷対象画像が、未編集画像として設定されているか、編集画像として設定されているかを判定することとなる。具体的には、印刷対象画像に、編集画像を示す情報が付与されている場合には、ＣＰＵ４６は、画像形成装置１４における画像処理が必要でないと判定する。また、印刷対象画像に、未編集画像を示す情報が付与されている場合には、ＣＰＵ４６は、画像形成装置１４における画像処理が必要であると判定する。

Ｓ１００６において、画像形成装置１４における画像処理が必要でないと判定されると、ＣＰＵ４６は、プリントエンジン４８などを制御して、印刷設定情報および印刷対象画像に基づく印刷を実行する（Ｓ１００８）。その後、ＣＰＵ４６は、印刷が終了したか否かを判定し（Ｓ１０１０）、印刷が終了したと判定されると、この印刷処理を終了する。

一方、Ｓ１００６において、画像形成装置１４における画像処理が必要であると判定されると、ＣＰＵ４６は、印刷設定情報に基づいて自動写真補正が設定されているか否かを判定する（Ｓ１０１２）。Ｓ１０１２において、自動写真補正が設定されていると判定されると、ＣＰＵ４６は、自動写真補正を実行することとなる。具体的には、ＣＰＵ４６は、まず、メインルーチンのサブルーチンであるシーン解析処理を行い（Ｓ１０１４）、その後、シーン解析処理の結果に基づいて画像補正を行って（Ｓ１０１６）、後述するＳ１０１８に進む。

ここで、Ｓ１０１４のシーン解析処理について説明する。図１１は、シーン解析処理の処理ルーチンを示すフローチャートである。このシーン解析処理では、撮影シーンごとに代表的な画像の画像特徴量を予めデータベース化しておき、それに補正しようとしている画像から、撮影シーンごとの代表的な画像と同様な方法で求めた特徴量との類似度を求める。そして、類似度の高い画像の撮影シーンをその確からしさとともに出力する。

なお、本実施形態では、画像特徴量（以下、単に「特徴量」とも称する。）のデータベースは、画像特徴量情報を示すテーブルＴ１とシーン情報を示すテーブルＴ２との２つのテーブルから構成されるものとする。図１２は、特徴量データベースのスキーマを示す図であり、（ａ）は、画像特徴量情報を示すテーブルであり、（ｂ）は、シーン情報を示すテーブルである。

画像特徴量情報を示すテーブルＴ１は、画像特徴量とシーンＩＤのフィールドとで構成される。画像特徴量は、シーンＩＤごとに定義された画像解析処理固有のデータ構造をもつバイナリデータである。シーンＩＤは、風景、花、ポートレートなどの撮影シーンを一意に識別する識別子である。撮影シーンは、画像解析処理の解析能力に応じてより細かく設定することが可能である。画像特徴量のテーブルＴ１に格納するレコードは、判定する撮影シーンごとに１つまたは複数の典型的な画像と、そのバリエーションを用意し、各画像から抽出した特徴量と対応するシーンＩＤが１画素につき、１レコードとして格納される。

シーン情報を示すテーブルＴ２は、ユニークキーであるシーンＩＤと、対応する補正補プ法、画像解析方法のフィールドから構成される。補正方法のフィールドに格納するデータは可変長バイナリ形式で、その内容は、彩度、明度などの度合を強調したり、色空間の変換マトリクス、色ヒストグラムの最適値を記述し、それに向かって指示の度合だけ近づけるといった補正方針が格納される。位置空間、色空間上で部分的な補正が必要な場合や、ヒューリスティックな補正を適用する場合は、撮影シーン別の補正アルゴリズム識別子により、所定の補正アルゴリズムを適用して補正することができる。画像解析方法のフィールドに格納するデータは、可変長バイナリ形式で、画像解析アルゴリズムを特定する識別子と、それに与える固有のパラメータが格納される。

図１１のシーン解析処理では、まず、ＣＰＵ４６は、画像特徴量情報を示すテーブルＴ１の先頭へカーソルを移動する（Ｓ１１０２）。そして、ＣＰＵ４６は、カーソルのあるレコードを取得する（Ｓ１１０４）。その後、ＣＰＵ４６は、撮影シーンを解析しようとしている画像、つまり、印刷対象画像から特徴量を算出する（Ｓ１１０６）。なお、この処理では、レコードによっては同じ算出方法の場合もあるため、一度算出した特徴量はキャッシュしておき、再利用すれば処理が高速になる。特徴量の抽出アルゴリズムの一例を挙げると、各静止画を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出したものであるとか、色ヒストグラムなどである。このとき、このアルゴリズムのパラメータとしては、ブロック分割の縦横数、色空間の座標系をＲＧＢ系で行うか、ＹＵＶ系で行うか、色平均値を表現するためのビット数などである。

次に、ＣＰＵ４６は、特徴量の比較を行う（Ｓ１１０８）。具体的には、例えば、各静止画を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出した特徴量同士を比較する場合には、以下のように行われる。比較する画像の対応するブロック同士のＲＧＢ各チャンネルの二乗和を求め、静止画間の類似性距離とする。そして、求めた類似性距離が、小さいほど類似している、つまり、画像相関が高いとし、大きいほど類似していない、つまり、画像相関が低いとする。このようにして求めた画像間距離と、付属情報から推測できる撮影環境情報とからヒューリスティックなルールにより重み付けを行い最終的な画像間距離とする。ルールの一例を挙げると、海に沈む夕日を撮影した写真と類似性が高い場合でも、撮影環境情報の撮影位置、撮影日時、撮影時刻から判断して、朝、夕方出ない場合には、夕日のシーンではないと判断できる。

その後、ＣＰＵ４６は、シーンＩＤごとに画像間距離の最小値を保存する（Ｓ１１１０）。そして、ＣＰＵ４６は、テーブルＴ１において最終レコードまで処理したか否かを判定する（Ｓ１１１２）。Ｓ１１１２において、最終レコードまで処理していないと判定されると、テーブルＴ１における次のレコードへカーソルを移動し（Ｓ１１１４）、Ｓ１１０４に戻る。一方、Ｓ１１１２において、最終レコードまで処理していると判定されると、ＣＰＵ４６は、シーンＩＤごとに得られた画像間距離の最小値からシーンに対する尤度を求める（Ｓ１１１６）。ここで、撮影シーンによって、比較アルゴリズム、パラメータは異なる。このため、画像間距離の単純比較では求めることができない。そこで、画像間距離を撮影シーン間で比較可能にする尤度への変換式を統計的手法によって予め求めておき、この変換式によって、画像間距離を撮影シーン判定の尤度情報に変換して出力する。

そして、ＣＰＵ４６は、学習結果を反映させる（Ｓ１１１８）。これは、学習結果のうち判定した撮影シーンに対応する選択回数を読み込み、尤度の高い順に並べたときに、学習した選択回数の多いものから順に並ぶように尤度を設定し終了する。

なお、撮影シーンの判定はブロック分割したカラーレイアウトによる一例を示したが、この方法に限定するものではない。その他の方法として、画像の全体または一部のカラーヒストグラムを用いる方法や、領域分割やエッジに着目した方法などがある。Ｍ Ｐ Ｅ Ｇ ７ で標準化されたエッジヒストグラム、リージョンシェイプ、カウンターシェイプなどの画像検索技術のための特徴量を用いてもよい。また、付属情報に撮影シーン判定に有益な情報があればこれらを使って撮影シーン判定することはいうまでもない。例えば、焦点情報があれば風景のみを撮った写真かどうかの判定などが実行可能となる。

また、Ｓ１０１６では、ＣＰＵ４６が、シーン解析処理の解析結果に基づいて、テーブルＴ２を参照し、撮影シーンの補正方法案を取得する。そして、取得した補正方法案によって、印刷対象画像に対する画像補正を行う。

図１０に戻る。Ｓ１０１２において、自動写真補正が設定されていないと判定されると、ＣＰＵ４６は、印刷設定情報に基づいて、フチあり設定（つまり、フチあり印刷を行う設定である。）がされているか否かを判定する（Ｓ１０１８）。Ｓ１０１８において、フチあり設定されていると判定されると、ＣＰＵ４６は、図５（ｂ）のような、内接画像を生成し（Ｓ１０２０）、Ｓ１００８に進み、生成した内接画像および印刷設定情報に基づいて印刷を行う。また、Ｓ１０１８において、フチあり設定されていないと判定されると、ＣＰＵ４６は、図５（ａ）のような、外接画像を形成し、Ｓ１００８に進み、生成した外接画像および印刷設定情報に基づいて印刷を行う。

以上において説明したように、情報処理システム１０では、スマートフォン１２において、印刷対象画像に基づくデータは、印刷対象画像が編集済みか未編集かを画像形成装置１４が判別可能な形式で出力される。そして、画像形成装置１４では、印刷対象画像が編集済みのときには、当該印刷対象画像に対して自動写真補正などの画像処理を行うことなく印刷を実行し、印刷対象画像が未編集のときには、当該印刷対象画像に対して当該画像処理を行った後に印刷を実行する。

これにより、情報処理システム１０においては、スマートフォン１２と画像形成装置１４との双方において画像処理が実行されることがなくなる。このため、撮影シーンを判定するための情報が少ない画像などに画像補正処理を施すことが無くなり、画像形成装置１４では印刷対象画像が劣化することなく印刷することができるようになる。

（第２実施形態）
次に、図１３を参照しながら、第２実施形態による情報処理装置を備えた情報処理システムについて説明する。なお、以下の説明では、上記した第１実施形態による情報処理装置を備えた情報処理システムと同一または相当する構成については、上記第１実施形態の説明で用いた符号と同一の符号を用いることにより、その詳細な説明を省略する。

この第２実施形態では、スマートフォン１２において画像編集を行う際に、自動写真補正が設定されていると、画像編集処理時の画像の縮小率を制限するようにした点において、上記した第１実施形態と異なっている。

具体的には、本実施形態では、設定処理の際に、画像編集されたと判定されると、自動写真補正が設定されていときには、画像編集の対象となる印刷対象画像の縮小率の最小値を、図５（ａ）のような、外接画像となる値に限定するようにした。即ち、印刷領域枠内に余白を生じさせないように設定することとで、画像編集により生成される画像に余白領域を生じさせないようにする。なお、本実施形態では、上記した第１実施形態と、設定処理の一部が異なっている。このため、以下の説明では、設定処理についてのみ説明することとする。

＜情報処理装置での処理＞
図１３は、第２実施形態による情報処理装置において実行される設定処理の詳細な処理内容を示すフローチャートである。図１３のフローチャートで示される一連の処理は、ＣＰＵ２６がＲＯＭ２８（または記憶装置３２）に記憶されたプログラムコードをＲＡＭ３０に展開して実行されることにより行われる。あるいはまた、図１３におけるステップの一部または全部の機能をＡＳＩＣまたは電気回路などのハードウェアで実行してもよい。

図１３の設定処理では、まず、ＣＰＵ２６が、画像形成装置１４に送信する印刷対象画像のプレビュー用画像を生成する（Ｓ１３０２）。次に、ＣＰＵ２６は、生成したプレビュー用画像をタッチパネル３６に表示する（１３０４）。その後、ＣＰＵ２６は、印刷対象画像が画像編集されたか否かを判定する（Ｓ１３０６）。なお、Ｓ１３０２からＳ１３０６の具体的な処理内容については、上記したＳ３０２からＳ３０６と同様のため、その詳細な説明を省略する。

Ｓ１３０６において、画像編集されたと判定されると、ＣＰＵ２６は、印刷設定情報に基づいて、自動写真補正の設定が行われているか否かを判定する（Ｓ１３０８）。Ｓ１３０８において、自動写真補正の設定が行われていないと判定されると、画像編集画面６０での入力に基づいて画像編集を行って、Ｓ１３０２に戻る。また、Ｓ１３０８において、自動写真補正の設定が行われていると判定されると、ＣＰＵ２６は、画像編集時の印刷対象画像の最小の縮小率を、外接画像となる縮小率に設定する（Ｓ１３１０）。そして、ＣＰＵ２６は、画像編集画面６０での入力に基づいて画像編集を行って、Ｓ１３０２に戻る。なお、外接画像となる縮小率とは、印刷対象画像の少なくとも対向する２つの辺が印刷領域の枠上に位置し、かつ、当該枠上にない対向する２つの辺が当該枠外に位置する縮小率となる。

Ｓ１３０６において、画像編集されなかったと判定されると、ＣＰＵ２６は、印刷対象画像のサイズが閾値以上か否かを判定する（Ｓ１３１２）。Ｓ１３１２において、印刷対象画像のサイズが閾値以上であると判定されると、ＣＰＵ２６は印刷対象画像への圧縮処理を行い（Ｓ１３１４）、印刷対象画像を編集画像として送信する設定を行う（Ｓ１３１６）。そして、この設定処理を終了する。また、Ｓ１３１２において、印刷対象画像のサイズが閾値以上でないと判定されると、ＣＰＵ２６は、印刷対象画像が画像編集されているか否かを判定する（Ｓ１３１８）。

Ｓ１３１８において、画像編集が行われていると判定されると、Ｓ１３１６に進み、印刷対象画像を編集画像として送信する設定を行う。また、Ｓ１３１８において、画像編集が行われていないと判定されると、印刷情報設定に基づいて、自動写真補正が設定されているか否かを判定する（Ｓ１３２０）。Ｓ１３２０において、自動写真補正が設定されていないと判定されると、Ｓ１３１６に進み、印刷対象画像を編集画像として送信する設定を行う。また、Ｓ１３２０において、自動写真補正が設定されていると判定されると、ＣＰＵ２６は、印刷対象画像を編集していない未編集画像として送信する設定を行い（Ｓ１３２２）、この設定処理を終了する。なお、Ｓ１３１２からＳ１３２２の具体的な処理内容は、上記したＳ３０８からＳ３１８と同様のため、その詳細な説明は省略する。

以上において説明したように、本実施形態における情報処理システム１０では、スマートフォン１２での画像処理（画像編集）の際に、自動写真補正が設定されていると、画像編集時の印刷対象画像の縮小率の最小値を、外接画像となる縮小率に限定するようにした。これにより、本実施形態における情報処理システムにおいては、スマートフォン１２での画像処理によって、印刷対象画像に空白領域が生成されることが無くなる。このため、スマートフォンにおける画像に対する編集処理の、画像形成装置１４における画像補正処理への影響を、上記した第１実施形態における情報処理システムよりも確実に抑制することができるようになる。このため、本実施形態による情報処理システム１０では、画像形成装置１４において、印刷対象画像を適正に印刷することができるようになる。

なお、本実施形態においても、スマートフォン１２は、印刷対象画像が編集済みか未編集かを画像形成装置１４が判別可能な形式で出力すればよい。つまり、印刷対象画像が編集された場合は、印刷対象画像に特定の情報を付与せずに送信し、印刷対象画像が編集されなかった場合は、印刷対象画像に特定の情報を付与して送信してもよい。もしくは、印刷対象画像が編集された場合に、印刷対象画像に特定の情報を付与して送信し、印刷対象画像が編集されなかった場合には、印刷対象画像に特定の情報を付与せずに送信してもよい。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２ 情報処理装置
２６ ＣＰＵ

Claims (15)

1. 画像形成装置と通信可能な情報処理装置のコンピュータを、
   印刷対象画像への編集を実行可能な画像編集手段と、
   印刷対象画像に基づくデータを出力する出力手段と、
   印刷対象画像の容量および解像度の少なくとも一方が閾値以上になると、印刷対象画像を圧縮する圧縮手段と、として機能させるプログラムであって、
   前記出力手段は、
   印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
   前記圧縮手段による圧縮が行われた印刷対象画像と、前記圧縮手段による圧縮が行われなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とするプログラム。
2. 画像形成装置と通信可能な情報処理装置のコンピュータを、
   印刷対象画像への編集を実行可能な画像編集手段と、
   印刷対象画像に基づくデータを出力する出力手段と、
   印刷対象画像に対して補正を行う画像補正を含む、印刷対象画像を印刷するための印刷情報を設定する設定手段と、として機能させるプログラムであって、
   前記出力手段は、
   印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
   前記設定手段による画像補正の設定がなされた印刷対象画像と、前記設定手段による画像補正の設定がなされなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とするプログラム。
3. 前記出力手段は、前記画像編集手段による編集がなされた印刷対象画像と、前記画像編集手段による編集がなされていない印刷対象画像とのうち、一方には特定の情報を付与して前記データを出力し、他方には前記特定の情報を付与せずに前記データを出力することを特徴とする請求項１または２に記載のプログラム。
4. 前記出力手段は、
   前記画像編集手段による編集がなされた場合、前記印刷対象画像に対して編集がなされたことを示す情報を付与して前記データを出力し、
   前記画像編集手段による編集がなされなかった場合、前記印刷対象画像に対して編集がなされていないことを示す情報を付与して前記データを出力することを特徴とする請求項１から３のいずれか１項に記載のプログラム。
5. 前記コンピュータをさらに、
   前記画像編集手段による編集時に、印刷対象画像に対する画像補正の設定に応じて、印刷対象画像の縮小率を限定する限定手段として機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
6. 前記画像編集手段による印刷対象画像への編集は、トリミング、変倍、移動、回転の少なくとも１つを含むことを特徴とする請求項１から５のいずれか１項に記載にプログラム。
7. 前記画像編集手段は、編集後の印刷対象画像が印刷領域よりも小さい場合は余白領域を付与することを特徴とする請求項１から６のいずれか１項に記載のプログラム。
8. 前記コンピュータをさらに、
   印刷対象画像の容量および解像度の少なくとも一方が閾値以上になると、印刷対象画像を圧縮する圧縮手段として機能させ、
   前記出力手段は、前記圧縮手段による圧縮が行われた印刷対象画像と、前記圧縮手段による圧縮が行われなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とする請求項２に記載のプログラム。
9. 前記出力手段から出力される前記データは、前記画像形成装置に送信されることを特徴とする請求項１から８のいずれか１項に記載のプログラム。
10. 前記コンピュータをさらに、前記画像編集手段による編集後の印刷対象画像をプレビュー表示するプレビュー手段として機能させることを特徴とする請求項１から９のいずれか１項に記載のプログラム。
11. 印刷対象画像への編集を実行可能な画像編集手段と、
    印刷対象画像に基づくデータを出力する出力手段と、
    印刷対象画像の容量および解像度の少なくとも一方が閾値以上になると、印刷対象画像を圧縮する圧縮手段と、を備え、画像形成装置と通信可能な情報処理装置であって、
    前記出力手段は、
    印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
    前記圧縮手段による圧縮が行われた印刷対象画像と、前記圧縮手段による圧縮が行われなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とする情報処理装置。
12. 画像形成装置と通信可能な情報処理装置であって、
    印刷対象画像への編集を実行可能な画像編集手段と、
    印刷対象画像に基づくデータを出力する出力手段と、
    印刷対象画像に対して補正を行う画像補正を含む、印刷対象画像を印刷するための印刷情報を設定する設定手段と、を備え、
    前記出力手段は、
    印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
    前記設定手段による画像補正の設定がなされた印刷対象画像と、前記設定手段による画像補正の設定がなされなかった印刷対象画像とのうち、一方には特定の情報を付与し、他方には前記特定の情報を付与せずに、前記データを出力することを特徴とする情報処理装置。
13. 情報処理装置と、印刷対象画像に対する画像補正を実行可能であって、前記情報処理装置から出力される情報に基づいて印刷する画像形成装置と、を含む情報処理システムであって、
    前記情報処理装置は、
    印刷対象画像への編集を実行可能な画像編集手段と、
    印刷対象画像に基づくデータを出力する出力手段と、を備え、
    前記出力手段は、印刷対象画像が前記画像編集手段により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
    前記画像形成装置は、前記情報処理装置から出力された印刷対象画像が編集画像であるときには、該印刷対象画像への前記画像補正を実行しないことを特徴とする情報処理システム。
14. 前記画像形成装置における前記画像補正は、印刷対象画像を撮影したシーンを解析し、解析結果に基づく補正方法によって実行されることを特徴とする請求項１３に記載の情報処理システム。
15. 情報処理装置と、印刷対象画像に対する画像補正を実行可能であって、前記情報処理装置から出力される情報に基づいて印刷する画像形成装置と、を含む情報処理システムの制御方法であって、
    前記情報処理装置において、印刷対象画像への編集を実行可能な画像編集工程と、
    前記情報処理装置において、印刷対象画像に基づくデータを出力する出力工程と、を有し、
    前記出力工程では、印刷対象画像が前記画像編集工程により編集されたか否かを画像形成装置が判別可能な形式で前記データを出力し、
    前記画像形成装置においては、前記情報処理装置から出力された印刷対象画像が編集画像であるときには、該印刷対象画像への前記画像補正を実行しないことを特徴とする情報処理システムの制御方法。

Images