JP2024153410A - 画像処理装置、画像読取装置、画像形成装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ＣＩＳ方式で読み取られた画像を適切に出力する技術を提供すること。【解決手段】ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出部と、前記読み取り画像に対して前記画素データを合成した画像を出力する出力部と、を備える画像処理装置。【選択図】図１

Description

本開示は、画像処理装置等に関する。

ＣＩＳ（Contact Image Sensor）方式を用いたスキャナ装置等において、センサチップ間の画素を補間する技術が提案されている（例えば、特許文献１－２参照）。

特開２０１３－９３６７４号公報 特開２０１０－１７８１７４号公報

本開示は、例えば、ＣＩＳ方式で読み取られた画像を適切に出力する技術を提供することを目的とする。

上述した課題を解決するために、本開示の画像処理装置は、ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出部と、前記読み取り画像に対して前記画素データを合成した画像を出力する出力部と、を備えることを特徴とする。

本開示の画像読取装置は、ＣＩＳ（Contact Image Sensor）方式を用いて原稿の画像を読み取るセンサ部と、センサチップ間の継ぎ目を含まない画像を用いて学習された学習済みモデルを記憶する記憶部と、制御部と、を含み、前記制御部は、前記センサ部の読み取り結果によって表される画像の継ぎ目に相当する画素に対して、前記学習済みモデルから出力される画素を合成した画像を出力することを特徴とする。

本開示の画像形成装置は、上述した画像処理装置と、前記読み取り画像に対して前記画素データを合成した画像を、記録媒体に形成する画像形成部と、を備えることを特徴とする。

本開示の画像処理方法は、ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出するステップと、前記読み取り画像に対して前記画素データを合成した画像を出力するステップと、を含むことを特徴とする。

本開示のプログラムは、コンピュータに、ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出する機能と、前記読み取り画像に対して前記画素データを合成した画像を出力する機能と、を実現させることを特徴とする。

本開示によれば、ＣＩＳ方式で読み取られた画像を適切に出力する技術を提供することが可能となる。

第１実施形態における画像形成装置の外観斜視図である。 第１実施形態における画像形成装置の機能構成を示す図である。 第１実施形態における（ａ）カラー画像入力部の構成及び（ｂ）継ぎ目画素データ算出挿入部の構成を示す図である。 第１実施形態における継ぎ目画素データ算出部が入力する特徴量及び出力データを説明するための図である。 第１実施形態におけるニューラルネットワークの概要を示す図である。 第１実施形態における学習に用いられるブロック画像の例を示す図である。 第１実施形態におけるメイン処理のフロー図である。 第１実施形態における継ぎ目画素データ算出挿入処理のフロー図である。 第１実施形態における変形例を説明するための図である。 第２実施形態における画像形成装置の機能構成を示す図である。 第２実施形態における継ぎ目画素データ算出挿入部の構成を示す図である。 第２実施形態におけるメイン処理のフロー図である。 第２実施形態における継ぎ目画素データ算出挿入処理のフロー図である。 第３実施形態における画像読取装置の機能構成を示す図である。 第３実施形態におけるメイン処理のフロー図である。 センサチップと原稿との関係を示す図である。 網点が混在している部分の例を示す図である。

以下、図面を参照して、本開示を実施するための一実施形態について説明する。なお、以下の実施形態は、本開示を説明するための一例であり、特許請求の範囲に記載した発明の技術的範囲が、以下の記載に限定されるものではない。

従来より、原稿台に載置された原稿等を読み取るスキャナ装置におけるスキャン方式として、撮像素子を有するセンサチップを主走査方向に複数個並べ、原稿の画像を読み取るＣＩＳ（Contact Image Sensor）方式が用いられている。なお、センサチップは、ＣＩＳモジュールとも呼ばれる。ＣＩＳ方式では、センサチップの継ぎ目に隙間があることにより、センサチップの継ぎ目に位置する原稿の画素が読み取られない場合がある。

図１６は、センサチップＣ１及びセンサチップＣ２と原稿Ｔ１との関係を示す図である。なお、以下の説明において、複数のセンサチップが並べられるＰ１の方向を主走査方向と記載し、主走査方向と直行するＰ２の方向を副走査方向と記載する。主走査方向に並べられた複数のセンサチップにより、原稿の画像が１ライン分読み取られる。

センサチップＣ１は、主走査方向のＮ番目に配置されたセンサチップであり、センサチップＣ２は、主走査方向のＮ＋１番目に配置されたセンサチップである。センサチップＣ１及びセンサチップＣ２には、画像を読み取る撮像素子（図１６のｐｉｘ）が直線状に複数配列されている。それぞれの撮像素子は、原稿Ｔ１から、１画素分の画像を読み取る。これにより、原稿Ｔ１の画像が読み取られる。

センサチップ間には隙間Ａ１がある。また、センサチップ間の隙間を挟む撮像素子間の隙間Ａ２がある。隙間Ａ１又は隙間Ａ２の距離や、原稿の読み取り時の解像度によっては、１画素分の画素が読み取れない場合がある。この結果、例えば、網点が印刷された原稿Ｔ１において、センサチップの継ぎ目の部分に位置する画素Ｄ１は、センサチップにより読み取られず、欠落する場合がある。

以下の説明では、ＣＩＳ方式のスキャナ装置により読み取られた画像である読み取り画像において、センサチップ間の継ぎ目の部分に位置することで欠落する画素を、継ぎ目画素と記載する。継ぎ目画素が補間されない場合、ベタ部ではスジにならないものの、斜め線にはガタツキが、網点部分にはスジが現れる場合がある。また、継ぎ目画素の両隣の１画素ずつ、合わせて２画素の画素値の平均値を画素値とした画素を読み取り画像に挿入することで、斜め線のガタツキは目立たなくなる。しかし、網点部分のスジは充分に抑制できない。つまり、ＣＩＳ方式のスキャナにより読み取られた画像において、画像の網点部分がセンサチップの継ぎ目に位置すると、読み取り画像においてスジとして現れる場合がある。したがって、網点が印刷された原稿Ｔ１の読み取り画像において、適切に継ぎ目画素が補間されない場合、スジとして現れる。

従来技術においては、適切に継ぎ目画素を補間できない場合がある。例えば、継ぎ目画素の周辺の画素グループ（周辺画素グループ）と、周辺画素グループとは異なる位置の別の画素グループ（比較画素グループ）とを定め、それぞれのグループの輝度の変化パターンを比較する技術がある。この技術では、周辺画素グループの輝度の変化パターンと最も高い相関を有する比較画素グループを参照画素グループとして抽出し、参照画素グループに隣接する画素の輝度に基づいて、継ぎ目画素が補間される。

しかし、カラーの網点画像に対して画素を補間する場合、網点の角度（スクリーン角度）が０度や４５度ではないスクリーン角の網点が存在する場合がある。特に、スクリーン角が０度や９０度に近い角度（０度、９０度ではない）網点部分では、１周期の変化パターンを的確に捉えるためには、非常に長い（画素数が多い）周辺画素グループ及び比較画素グループを必要とする。一般的な原稿では、原稿の一部にしか網点が印字されていないことも多く、継ぎ目となる位置から網点が充分に長く続かないことにより適切な周辺画素グループを抽出できなかったり、相関が高い比較画素グループを特定できなかったりする場合がある。このような場合、継ぎ目画素を補間するための画素データを算出することが困難となる。

また、混色部分では、一部の色において、網点の濃度や輝度の変化パターンが画像に現れないことがある。例えば、混色の網点部分では、１プレーン（色成分）の画像で濃度や輝度の変化パターンを求めても、複数の色の網点の混ざり具合によって、特定の色の網点の周期性が変化パターンに現れないことがある。

例えば、図１７（ａ）は、ＲＧＢ画像のうち、シアンとマゼンタの網点が混在している一部分を拡大した画像Ｍ１を示す図である。図１７（ｂ）は、画像Ｍ１からＲ成分を抽出した画像Ｍ２を、図１７（ｃ）は、画像Ｍ１からＧ成分を抽出した画像Ｍ３を、図１７（ｄ）は、画像Ｍ１からＢ成分を抽出した画像Ｍ４をそれぞれ示す。また、図１７（ｅ）は、ＲＧＢ画像のうち、シアンの網点の一部分を拡大した画像Ｍ５を示す図である。図１７（ｆ）は、画像Ｍ５からＲ成分を抽出した画像Ｍ６を、図１７（ｇ）は、画像Ｍ５からＧ成分を抽出した画像Ｍ７を、図１７（ｈ）は、画像Ｍ５からＢ成分を抽出した画像Ｍ８をそれぞれ示す。Ｒ成分は、画像Ｍ６で強く現れる濃淡変化が画像Ｍ２でも同様に表れる。一方、Ｇ成分は、画像Ｍ３では、マゼンタの網点の濃淡変化が強く現れるため、画像Ｍ７では現れるシアンの網点の濃淡変化が潜んでしまう。そのため、Ｇ成分は、抽出した画像に基づき継ぎ目画素の補間をした場合、マゼンタの網点の周期性による変化パターンを抽出してしまい、シアンの網点にとって適切な画素データを算出できない。なお、Ｂ成分についても、画像Ｍ４では、マゼンタの濃淡変化が強く現れるため、画像Ｍ８での全体的に低濃度で小さい濃淡変化が潜んでしまう。そのため、Ｇ成分やＢ成分を抽出した画像に基づきシアンの網点を補間する場合、不適切な変化パターンを抽出してしまい、適切に継ぎ目画素を補間できない場合がある。

さらに、従来技術においては、パターンマッチングを用いて継ぎ目画素を補間する技術もあるが、多数のパターンを分類したり、マッチングの処理を行ったりするとき場合の処理の負荷が大きかった。

そこで、以下の実施形態では、適切に継ぎ目画素を補間する方法の一例について説明する。

［１．第１実施形態］
第１実施形態は、本開示の画像処理装置を画像形成装置に適用した場合について説明する。画像形成装置は、コピー機能、スキャン機能、文書のプリント機能等を有する画像処理装置であり、一般的に、ＭＦＰ（Multi-Function Printer/Peripheral）やデジタルカラー複合機と呼ばれる。画像形成装置は、スキャンを行うことで画像データを生成したり、画像データに基づく画像（モノクロ画像もしくはカラー画像）を形成したりする（プリントする）ことができる装置である。

［１．１ 機能構成］
［１．１．１ 画像形成装置の機能構成］
本実施形態の画像形成装置１の機能構成について、図１及び図２を参照して説明する。図１は、画像形成装置１の外観斜視図であり、図２は、画像形成装置１の機能構成を示すブロック図である。

画像形成装置１は、図２に示すように、制御部１０、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０、各種操作を行うための操作パネル５０、記憶部６０を備えて構成される。

制御部１０は、画像形成装置１が行う各種処理を制御することにより、画像形成装置１の全体を制御する。制御部１０は、各種処理に応じて、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０、操作パネル５０、記憶部６０を制御する。

制御部１０は、記憶部６０に記憶された各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、１又は複数の演算装置（ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等）により構成される。すなわち、画像形成装置１が行う各種処理は、制御部１０（ＣＰＵやＤＳＰ）によって制御される。なお、制御部１０は、以下に説明する機能のうち、複数の機能を有するＳｏＣ（System on a Chip）として構成されてもよい。

カラー画像入力部２０は、原稿の画像を入力する。例えば、カラー画像入力部２０は、原稿の画像を読み取り、当該原稿の画像を読み取ることで得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号（ＲＧＢ信号）の画像データを、カラー画像処理部３０に対して出力することで、当該原稿の画像を入力する。

カラー画像入力部２０は、原稿の画像を読み取り、当該画像を電気信号に変換し、当該電気信号を量子化及び符号化する装置を備えたＣＩＳ方式のスキャナにより構成される。ここで、カラー画像入力部２０は、図３（ａ）に示すように、主走査方向に並べられた複数のセンサチップにより構成されるセンサ部２０１を有する。センサ部２０１は、ラインセンサを構成する。カラー画像入力部２０は、ラインセンサであるセンサ部２０１を介して、原稿を１ラインずつ順次読み取る。なお、カラー画像入力部２０は、センサ部２０１以外にも、原稿を搬送する機能部や、原稿に光を照射させる機能部が含まれてもよい。例えば、原稿の画像を読み取る場合、カラー画像入力部２０は、原稿に光を照射させ、原稿の画像からの反射光像をセンサ部２０１を用いてＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号（読み取り画像データ）をカラー画像処理部３０へ出力する。なお、以下の説明では、カラー画像入力部２０等のＣＩＳ方式のスキャナにより読み取られた画像を、読み取り画像と記載する。

なお、カラー画像入力部２０は、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置に格納された画像データを読み取って当該画像データを入力したり、有線または無線ネットワークを通じて外部の機器から取得した画像データを入力したりしてもよい。

カラー画像処理部３０は、カラー画像入力部２０によって読み取られた原稿の画像データを処理し、処理後の画像データに基づくＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号を、カラー画像出力部４０に出力する。カラー画像処理部３０の構成については後述する。

カラー画像出力部４０は、カラー画像処理部３０から出力された原稿の画像データ（デジタルカラー信号）に基づく画像を出力する。カラー画像出力部４０は、例えば、記録用紙等の記録媒体に対して画像を形成（印刷）する。この場合、カラー画像出力部４０は、画像を形成する画像形成部として機能する。カラー画像出力部４０が画像形成部として機能する場合、カラー画像出力部４０は、電子写真方式を用いたレーザプリンタ等の印刷装置により構成され、給紙トレイから記録用紙を給紙し、記録用紙の表面に画像を形成し、記録用紙を排紙トレイから排紙する。なお、カラー画像出力部４０は、インクジェット方式を用いて画像を出力する印刷装置により構成されてもよい。

操作パネル５０は、画像形成装置１に対する操作を入力したり、各種情報を表示したりする。操作パネル５０は、表示部５２と操作部５４とにより構成される。なお、表示部５２と操作部５４とは、制御部１０により制御されてもよいし、操作パネル５０に表示部５２と操作部５４と制御する制御装置を備えられる場合、当該制御装置により制御されてもよい。

表示部５２は、液晶ディスプレイや有機ＥＬ（electro-luminescence）ディスプレイ、マイクロＬＥＤディスプレイ等の表示装置により構成される。また、操作部５４は、設定ボタン（物理キー）やテンキーといった入力装置によって構成される。画像形成装置１（制御部１０）は、操作パネル５０により入力された情報に基づいて、カラー画像入力部２０、カラー画像処理部３０、カラー画像出力部４０の動作を制御する。

記憶部６０は、画像形成装置１の動作に必要な各種プログラムや、各種データを記憶する。記憶部６０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等の記憶装置により構成される。

記憶部６０は、学習済みモデル６２が記憶される。学習済みモデル６２は、センサチップ間の継ぎ目を含まない画像を用いて学習され、継ぎ目画素を補間する画素データを出力（予測）するように構築されたモデル（予測モデル）である。なお、以下の説明では、継ぎ目画素を補間する画素のデータを、継ぎ目画素データという。学習済みモデル６２の学習の手法及び継ぎ目画素データを算出する方法については後述する。

［１．１．２ カラー画像処理部の機能構成］
カラー画像処理部３０は、Ａ／Ｄ（アナログ／デジタル）変換部３０１、シェーディング補正部３０２、継ぎ目画素データ算出挿入部３０３、入力階調補正部３０４、領域分離処理部３０５、色補正部３０６、黒生成下色除去部３０７、空間フィルタ処理部３０８、出力階調補正部３０９、階調再現処理部３１０を備えて構成される。

なお、上述の機能部のうち、１又は複数の機能部については、電気回路やＡＳＩＣ（Application Specific Integrated Circuit）等より構成されてもよい。

また、上述の機能部は、制御部１０により制御されてもよいし、カラー画像処理部３０に上記機能部を制御する制御装置を備えられる場合、当該制御装置により制御されてもよい。なお、カラー画像処理部３０に含まれる１又は複数の機能部における処理を制御部１０が実行することにより、当該１又は複数の機能部の機能が実現されてもよい。

Ａ／Ｄ変換部３０１は、カラー画像入力部２０から出力されたアナログ信号（ＲＧＢ信号）を、デジタル信号（例えば、１０ビットのデジタル信号）に変換する。変換後のＲＧＢ信号（デジタル信号）は、例えば、画像を構成する各画素における、Ｒ成分、Ｇ成分、Ｂ成分の画素値を示す。また、アナログ信号がデジタル信号に変換されることにより、画像がデータとして表現され、読み取り画像の画像データが生成される。Ａ／Ｄ変換部３０１は、変換後のＲＧＢ信号（デジタル信号）をシェーディング補正部３０２へ出力する。

シェーディング補正部３０２は、Ａ／Ｄ変換部３０１から出力されたＲＧＢ信号に基づく画像に対して、シェーディング補正を行う。シェーディング補正とは、カラー画像入力部２０の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正をいう。なお、シェーディング補正部３０２は、カラーバランスの調整等を行ってもよい。

また、シェーディング補正部３０２は、画像に対する補正処理を行うとともに、Ａ／Ｄ変換部３０１から出力されたＲＧＢ信号に基づく画像データを、８ビットの画像データに変換してもよい。なお、１０ビットの画像データから８ビットの画像データへの変換処理は、後述の入力階調補正部３０４で行われてもよい。シェーディング補正部３０２は、補正処理や変換処理を行なった画像データのＲＧＢ信号を、継ぎ目画素データ算出挿入部３０３へ出力する。

継ぎ目画素データ算出挿入部３０３は、シェーディング補正部３０２から出力されたＲＧＢ信号に基づく画像データに対して、ＣＩＳのセンサチップ間の継ぎ目となる位置の欠落している部分の画素（第１の画像）のデータを算出（生成）する。これにより、継ぎ目画素を補間する画素のデータが算出される。また、継ぎ目画素データは、継ぎ目画素を補間するための画素の画素値を示す信号である。また、継ぎ目画素データ算出挿入部３０３は、読み取り画像の画像データに対して、ＣＩＳのセンサチップ間の継ぎ目となる位置に、算出した継ぎ目画素データを挿入する。

ここで、センサチップの継ぎ目の間隔（図１６のＡ２の長さ）が約４０μｍの場合、センサチップの継ぎ目の間隔は、解像度が６００ｄｐｉ（dots per inch）における約１画素分に相当する。したがって、原稿の画像を、主走査方向の解像度を６００ｄｐｉとして読み取る場合、継ぎ目画素データ算出挿入部３０３は、継ぎ目画素として１画素分のデータを挿入する。

継ぎ目画素データ算出挿入部３０３は、図３（ｂ）に示すように、継ぎ目画素データ算出部３０３０と、継ぎ目画素データ挿入部３０３１とを備えて構成される。なお、継ぎ目画素データ算出部３０３０と継ぎ目画素データ挿入部３０３１とは、制御部１０により制御されてもよい。

継ぎ目画素データ算出部３０３０は、学習済みモデル６２を読み出して用いることにより、読み取り画像に基づく特徴量から、継ぎ目画素を補間する画素データを算出する機能部として機能する。図４及び図５を参照して、継ぎ目画素データ算出部３０３０に入力される特徴量（パラメータ）と継ぎ目画素データ算出部３０３０から出力されるデータである継ぎ目画素データとの関係について説明する。

図４（ａ）は、読み取り画像の一部を拡大した図である。Ｐ３は主走査方向を示し、Ｐ４は副走査方向を示す。図４（ａ）の画素Ｉｎ０から画素Ｉｎ４１までは、読み取り画像の画素を示す。また、図４（ａ）のＲ１は、読み取り画像における、継ぎ目となる位置を示す。つまり、Ｒ１は、読み取り画像の継ぎ目に相当する画素の位置を示す。

継ぎ目画素データ算出部３０３０は、図４（ａ）の太枠で示す画素Ｉｎ０から画素Ｉｎ４１までのＲＧＢ信号を、特徴量として入力（取得）する。

ここで、画素Ｉｎ１４から画素Ｉｎ２７までの画素は、継ぎ目となる位置と同一のラインＬ１に位置する画素であり、継ぎ目となる位置の左（主走査方向の前方）に位置する連続した７画素及び継ぎ目となる位置の右（主走査方向の後方）に位置する連続した７画素である。

また、画素Ｉｎ０から画素Ｉｎ１３までの画素は、継ぎ目となる位置を含むラインよりも１ライン上（副走査方向の前方）のラインＬ２に位置する画素であり、画素Ｉｎ１４から画素Ｉｎ２７の上に存在する画素である。

画素Ｉｎ２８から画素Ｉｎ４１までの画素は、継ぎ目となる位置を含むラインよりも１ライン下（副走査方向の後方）のラインＬ３に位置する画素であり、画素Ｉｎ１４から画素Ｉｎ２７の下に存在する画素である。

このように、継ぎ目画素データ算出部３０３０は、センサチップ間の継ぎ目となる位置の同一ラインと上下１ラインとにおける、当該継ぎ目となる位置の左右の７画素ずつ、合わせて４２画素（画素Ｉｎ０から画素Ｉｎ４１までの３ライン各１４画素）のＲＧＢ信号を特徴量として入力する。つまり、継ぎ目画素データ算出部３０３０は、１つの継ぎ目画素データの算出に用いる画素（特徴量）として、継ぎ目となる位置と同一のラインの連続画素ではなく、複数ラインの画素ブロックに含まれる画素を用いる。

一方、継ぎ目画素データ算出部３０３０は、入力された特徴量に対して、図４（ｂ）において、斜線塗りつぶしで示した画素Ｏｕｔ（画素Ｒ２）のＲＧＢ信号（画素値）を算出し、当該ＲＧＢ信号を出力データとして出力する。ここで、画素ＯｕｔのＲＧＢ信号は、継ぎ目画素データである。

このように、継ぎ目画素データ算出部３０３０は、読み取り画像から、継ぎ目となる位置の周辺の画素ブロックに含まれる画素の画素値を特徴量とし、継ぎ目となる位置に補間する継ぎ目画素データを出力する。

ここで、継ぎ目画素データ算出部３０３０が読み出す学習済みモデル６２として、階層型のニューラルネットワークが用いられる場合について説明する。

本実施形態では、階層型のニューラルネットワークは、図５に示すように、入力層Ｋ１、中間層Ｋ２、出力層Ｋ３の３層を備えるネットワークであるとする。

ここで、本実施形態の学習済みモデル６２として構築されたニューラルネットワークは、入力層Ｋ１がユニット（ニューロンともいう）を１２６個、出力層Ｋ３がユニットを３個備えたニューラルネットワークである。これは、３ライン各１４画素のＲＧＢ信号の入力データから、継ぎ目画素の１画素のＲＧＢ信号を出力データとして出力するためである。例えば、図５のＩｎ０＿Ｒは、画素Ｉｎ０のＲ信号を、Ｉｎ０＿Ｇは、画素Ｉｎ０のＧ信号を、Ｉｎ０＿Ｂは、画素Ｉｎ０のＢ信号をそれぞれ示す。また、図５のＯｕｔ＿Ｒは、画素ＯｕｔのＲ信号を、Ｏｕｔ＿Ｇは、画素ＯｕｔのＧ信号を、Ｏｕｔ＿Ｂは、画素ＯｕｔのＢ信号をそれぞれ示す。したがって、図５に示すニューラルネットワークは、１２６入力３出力となっている。すなわち、図５に示すニューラルネットワークは、３プレーンの入力に基づいて、挿入する継ぎ目画素の各プレーンの画素値を算出する。

また、中間層Ｋ２は、上記ユニットを１２８個備えている。入力層Ｋ１、中間層Ｋ２及び出力層Ｋ３が備える各ユニットは、互いに、変化可能な結合荷重で結合されている。

このように、学習済みモデル６２は、ニューラルネットワークのアルゴリズムを用いて、適切な継ぎ目画素データ（画素ＯｕｔのＲＧＢ信号）を算出（予測）するモデルとして構築されている。継ぎ目画素データ算出部３０３０は、学習済みモデル６２を読み出し、読み取り画像に基づく特徴量を入力（取得）することで、継ぎ目画素を補間する画素データを算出することが可能となる。

ここで、上記ニューラルネットワークの学習済みモデル６２を構築する方法について説明する。学習済みモデル６２は、例えば、画像形成装置１の設計者や画像形成装置１のユーザ等により構築されてもよいし、制御部１０が、カラー画像入力部２０によって読み取られた原稿の画像の画像データを利用して自動的に構築してもよい。説明のため、以下は、一例として、画像形成装置１の設計者が学習済みモデル６２を構築する場合について説明する。

（１）はじめに、設計者はＣＩＳのセンサチップ間の継ぎ目を含まない３ライン各１５画素（合計４５画素）のブロック画像を用意する。ブロック画像は、多様な色のブロック画像や、多様な濃度やパターン網点のブロック画像等、多様な画像であることが好ましい。また、ブロック画像は多数（例えば、５０００枚程度）であることが望ましい。例えば、ブロック画像は、これまでに読み取られた読み取り画像から抽出された画像であってもよいし、ブロック画像を用意するためにＣＩＳ方式のスキャナ等の装置により読み取られた画像から抽出された画像であってもよい。なお、ブロック画像は、学習済みモデル６２の構築のために予め用意された画像であってもよい。
（２）次に、設計者は、各ブロック画像の中央の１列３画素を除いた４２画素のＲＧＢ信号データを学習データ（入力信号データ）として入力し、各ブロック画像の中央の１画素のＲＧＢ信号データを教師信号データとして、公知のバックプロパゲーションによる最降下法を用いて学習させる。
（３）設計者は、全てのブロック画像に対して（２）を行う。
（４）設計者は、所定の条件を満たすまで、（３）を繰り返す。所定の条件としては、例えば、（３）を繰り返した回数が所定回数となったことであってもよいし、出力信号における平均誤差が所定値以下になったことであってもよい。

図６（ａ）は、ニューラルネットワークの学習に用いられるブロック画像を示す図である。ブロック画像は、主走査方向ｍ画素、副走査方向ｎ画素のブロック画像が用いられる。ただし、ｍ及びｎは２以上の数とする。図６（ａ）のｐｉｘは画素を示す。図６（ａ）は、ブロック画像が、３ライン各１５画素の合計４５画素で構成される画像であることを示す。

ここで、ニューラルネットワークの学習に用いられるブロック画像は、センサチップ間の継ぎ目を含まない領域の画像である。設計者は、継ぎ目画素を含まない主走査方向ｍ画素、副走査方向ｎ画素の画像を用いて、当該ブロック画像の中心の画素の画素データを、当該ブロック画像の中心の画素以外の画素の画素データを用いて算出するように学習させる。これにより、設計者は、ブロック画像の中心の画素以外の画素の画素データから、ブロック画像の中心の画素の画素データを算出するモデルを生成できる。生成されたモデルは、未知の１画素の画素データ、当該画素の周囲に存在する既知の画素の画素データから算出する。このようなモデルが用いられることにより、未知の１画素である継ぎ目画素の画素データが、当該継ぎ目画素の周囲に存在する既知の画素の画素データから算出可能となる。

なお、以下の説明では、継ぎ目画素の周囲に存在する既知の画素の画素データを画素ブロックと記載する。図６（ｂ）は、図６（ａ）に示したブロック画像における、学習データ（画素ブロック）と、教師信号データとの対応関係を示す図である。学習データとして入力される特徴量は、図６（ｂ）に示すように、例えば、主走査方向（ｍ－１）／２画素、副走査方向ｎ画素により構成される画素ブロックＮ１及び画素ブロックＮ２に含まれる画素の画素値である。ここで、ｍ＝１５、ｎ＝３なので、画素ブロックＮ１及び画素ブロックＮ２は、主走査方向７画素、副走査方向３画素の画素ブロックである。すなわち、学習データとして用いられる画素は、ブロック画像の主走査方向の中心位置のｎ画素を除いた画素であり、ｍ＝１５、ｎ＝３の場合、３ライン各１４画素、合計４２画素となる。また、教師信号データとして、画素Ｎ３の画素値が入力される。画素Ｎ３は、ブロック画像の中央に位置する１画素である。これにより、ニューラルネットワークは、Ｎ３の周囲の画素ブロックを特徴量とし、Ｎ３の画素の画素値を算出（予測）するように学習される。

以上の通り、設計者は、ニューラルネットワークに、３ライン各１４画素のＲ成分、Ｇ成分、Ｂ成分の合計１２６のデータを学習データとして与え、ブロック画像の中央に位置する１画素のＲ成分、Ｇ成分、Ｂ成分の合計３のデータを教師信号データとして与える。

上記バックプロパゲーションによる学習を行って構築したニューラルネットワークにより、１２６入力３出力のニューラルネットワークの学習済みモデル６２が構築される。そして、継ぎ目画素データ算出部３０３０は、読み取り画像に基づく特徴量を取得し、学習済みモデル６２を用いることで、適切な継ぎ目画素データを算出することが可能となる。

なお、必要とされる画質を満たすようにニューラルネットワークを構築できるのであれば、継ぎ目画素データ算出部３０３０のニューラルネットワークへの入力は、継ぎ目となる位置と同一ラインの左右の７画素と、上下１ラインの左右の７画素ずつ、合わせて４２画素に限定されるものではない。

例えば、継ぎ目画素データ算出部３０３０のニューラルネットワークへの入力は、継ぎ目となる位置の同一ラインと上下２ラインの左右５画素ずつ、合わせて５０画素等でもよい。この場合、ｍ＝１１、ｎ＝５となる。このように、継ぎ目画素データ算出部３０３０によって特徴量として入力される画素の数や位置に応じて、ニューラルネットワークの学習済みモデル６２が構築されればよい。

すなわち、継ぎ目画素データ算出部３０３０に入力される画素が、図４（ａ）に示すように、継ぎ目画素を中心とする主走査方向ｍ－１画素、副走査方向ｎ画素であるとする。この場合、学習済みモデル６２の構築には、主走査方向ｍ画素、副走査方向ｎ画素のブロック画像が用いられればよい。

また、ニューラルネットワークの中間層の層数およびユニット数も１層１２８個に限定されるものではない。例えば、中間層の層数を２とし、その中間層１層目および２層目のユニット数をそれぞれ６４個及び３２個としたニューラルネットワークであってもよい。

継ぎ目画素データ挿入部３０３１は、各ラインのＣＩＳのセンサチップ間の継ぎ目となる位置に１画素分のデータを挿入する。継ぎ目画素データ挿入部３０３１は、継ぎ目画素データ算出部３０３０において算出された継ぎ目画素データ（ＲＧＢ信号）を挿入し、入力階調補正部３０４に出力する。

入力階調補正部３０４は、継ぎ目画素データ算出挿入部から出力されたＲＧＢ信号に基づく画像に対して、入力階調補正を行う。入力階調補正とは、例えば、下地濃度を除去する処理や、コントラストを調整する処理等の、画質調整処理（入力階調補正処理）をいう。また、入力階調補正部３０４は、入力階調補正の処理後のＲＧＢ信号を領域分離処理部３０５へ出力する。

領域分離処理部３０５は、入力階調補正部３０４から出力された補正後のＲＧＢ信号に基づく画像に対して、領域分離処理を実行する。領域分離処理とは、例えば、入力されたＲＧＢ信号に基づく画像中の各画素を、エッジ領域に含まれる画素、網点領域に含まれる画素、写真領域に含まれる画素、その他領域に含まれる画素等のいずれかに分離する処理である。また、領域分離処理部３０５は、これらの領域が、カラーであるかモノクロであるかを判定するカラー判定を行ってもよい。

また、領域分離処理部３０５は、領域分離結果に基づき、当該領域分離結果を示す領域識別信号を、色補正部３０６、黒生成下色除去部３０７、空間フィルタ処理部３０８及び階調再現処理部３１０へ出力する。領域識別信号は、例えば、ＲＧＢ信号に基づく画像に含まれる各画素が、どの領域に属しているかを示す信号である。

また、領域分離処理部３０５は、入力階調補正部３０４から出力されたＲＧＢ信号を、色補正部３０６へ出力する。

色補正部３０６は、領域分離処理部３０５から出力されたＲＧＢ信号に基づく画像の色空間をＣＭＹの色空間に変換し、カラー画像出力部４０の特性に合わせた色補正の処理（色補正処理）を行う。例えば、色補正部３０６は、色再現の忠実化のために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りをＣＭＹ信号から取り除く処理を行う。なお、色補正部３０６は、領域識別信号に応じて異なる色補正を行ってもよい。また、色補正部３０６は、補正後のＣＭＹ信号を、黒生成下色除去部３０７へ出力する。

黒生成下色除去部３０７は、色補正部３０６から出力されたＣＭＹ信号に対して、ＣＭＹ信号から黒色（Ｋ）信号を生成する黒生成処理と、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理とを行う。この結果、ＣＭＹの３色のデジタル信号は、ＣＭＹＫの４色のデジタル信号（以下、ＣＭＹＫ信号という）に変換される。

黒生成下色除去部３０７が行う黒生成処理の一例として、スケルトンブラックによる黒生成を行ない、下色を除去する方法が用いられる。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ、出力されるデータをＣ´，Ｍ´，Ｙ´，Ｋ´、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）として、黒生成下色除去処理により出力されるデータはそれぞれ、下記の式で表される。
Ｋ´＝ｆ（ｍｉｎ（Ｃ，Ｍ，Ｙ））
Ｃ´＝Ｃ－αＫ´
Ｍ´＝Ｍ－αＫ´
Ｙ´＝Ｙ－αＫ´
ここで、ＵＣＲ率α（０＜α＜１）とは、ＣＭＹが重なっている部分をＫに置き換えてＣＭＹをどの程度削減するかを示すものである。

上記の式では、ＣＭＹの各信号強度の内の最も小さい信号強度に応じてＫ信号が生成されることを示している。なお、黒生成下色除去部３０７は、領域識別信号に応じて異なる色補正を行ってもよい。

また、黒生成下色除去部３０７は、ＣＭＹ信号を変換したＣＭＹＫ信号を空間フィルタ処理部３０８に出力する。

空間フィルタ処理部３０８は、黒生成下色除去部３０７から出力されたＣＭＹＫ信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行う。これにより、空間フィルタ処理部３０８は、画像の空間周波数特性を補正し、カラー画像出力部４０における出力画像のぼやけ又は粒状性劣化を防止する。

例えば、空間フィルタ処理部３０８は、領域分離処理部３０５において、エッジ領域に分離された領域に対しては、特に線やエッジの再現性を高めるために、高周波成分の強調量が大きいフィルタを用いて鮮鋭強調処理を行ってもよい。また、空間フィルタ処理部３０８は、領域分離処理部３０５において網点領域に分離された領域に対しては、入力網点成分を除去するためのローパス・フィルタ処理を行ってもよい。

また、空間フィルタ処理部３０８は、空間フィルタ処理後のＣＭＹＫ信号を出力階調補正部３０９へ出力する。

出力階調補正部３０９は、空間フィルタ処理部３０８から出力されたＣＭＹＫ信号に基づく画像に対して、カラー画像出力部４０の特性値に基づく出力階調補正処理を行い、出力階調補正処理後のＣＭＹＫ信号を階調再現処理部３１０へ出力する。

階調再現処理部３１０は、出力階調補正部３０９から出力されたＣＭＹＫ信号に基づく画像に対して、階調再現処理（中間調処理）を行う。例えば、階調再現処理部３１０は、領域分離処理部３０５においてエッジ領域に分離された領域に対して、特に黒文字又は色文字の再現性を高めるための処理を行う。黒文字又は色文字の再現性を高めるための処理として、階調再現処理部３１０は、例えば、カラー画像出力部４０における高周波成分の再現に適した高解像度のスクリーンによる二値化処理又は多値化処理を行う。

また、階調再現処理部３１０は、領域分離処理部３０５において網点領域に分離された領域に対しては、最終的にその領域の画像を画素に分離して、それぞれの画素の階調を適切に再現できるように階調再現処理（中間調生成）を行なってもよい。さらに、階調再現処理部３１０は、領域分離処理部３０５にて写真領域（印画紙写真）に分離された領域に対しては、カラー画像出力部４０における階調再現性を重視したスクリーンによる二値化処理又は多値化処理を行なってもよい。

なお、階調再現処理部３１０は、網点領域に分離された領域と写真領域（印画紙写真）に分離された領域に対して、同じスクリーンによる二値化処理又は多値化処理を行なってもよい。

ここで、領域分離処理部３０５にて網点領域に分離された領域に対して、空間フィルタ処理部３０８がローパス・フィルタ処理を施すのは、原稿の画像の網点による一定の周期的な特性を持った画像データと、ディザ処理のような周期的な処理との間で発生するモアレを抑制するためである。したがって、階調再現処理部３１０が誤差拡散処理を行う場合、即ち、階調再現処理部３１０がディザ処理のような周期的な処理を行なわない場合、空間フィルタ処理部３０８はローパス・フィルタ処理を行う必要がない。なお、空間フィルタ処理部３０８は、ローパス・フィルタ処理を行わないときは、鮮鋭強調処理を行なってもよい。このように、空間フィルタ処理部３０８は、階調再現処理部３１０の処理に応じて、実行する処理を切り替えてもよい。

また、適切な継ぎ目画素データであるＲＧＢ信号（画素値）を算出できるのであれば、継ぎ目画素データ算出挿入部３０３は、シェーディング補正部３０２の直後に位置する機能部でなくてもよい。

また、カラー画像処理部３０は、階調再現処理部３１０で処理されたＣＭＹＫ信号に基づく画像の画像データを出力する。画像データを出力する処理は、階調再現処理部３１０が行ってもよいし、制御部１０が、階調再現処理部３１０で処理されたＣＭＹＫ信号を取得することにより実現されてもよい。この場合、制御部１０又は階調再現処理部３１０は、画像データをカラー画像出力部４０に出力してもよいし、記憶部６０にファイルとして出力することで、当該画像データを一旦記憶してもよい。この場合、制御部１０は、画像形成をする所定のタイミングで、記憶部６０に記憶された画像データを読み出し、読み出した画像データをカラー画像出力部４０へ出力することで、当該画像データに基づく画像を出力してもよい。

［１．２ 処理の流れ］
画像形成装置１の制御部１０が実行する処理の流れについて、図７を参照して説明する。図７に示した処理は、制御部１０が、記憶部６０に記憶されたプログラムを読み出すことにより実行される。また、図７に示した処理は、ユーザにより、コピージョブやスキャンジョブといった、原稿を読み取るジョブの実行を開始させる操作がされた場合に実行される。

はじめに、制御部１０は、カラー画像入力部２０を制御することで、原稿の画像を読み取り、当該原稿の読み取り画像（ＲＧＢ信号）を取得する（ステップＳ１００）。

つづいて、制御部１０は、カラー画像処理部３０の各機能部を制御することで、入力画像に対する画像処理を実行する。

まず、Ａ／Ｄ変換部３０１は、アナログ信号のＲＧＢ信号を、デジタル信号のＲＧＢ信号に変換するＡ／Ｄ変換を行う（ステップＳ１０２）。

つづいて、シェーディング補正部３０２は、ＲＧＢ信号に対してシェーディング補正を行う（ステップＳ１０４）。なお、シェーディング補正部３０２は、カラーバランスの調整や、８ビットの画像データへの変換を行ってもよい。

つづいて、継ぎ目画素データ算出挿入部３０３は、図８に示す継ぎ目画素データ算出挿入処理を実行する（ステップＳ１０６）。

図８に示した処理について説明する。はじめに、継ぎ目画素データ算出部３０３０は、ＲＧＢ信号（読み取り画像データ）を用いて、継ぎ目画素データを算出する（ステップＳ１５０）。

例えば、継ぎ目画素データ算出部３０３０は、ＲＧＢ信号に対して、センサチップの配置位置や、カラー画像入力部２０により入力された画像のサイズや解像度に基づき、ＣＩＳのセンサチップ間の継ぎ目となる位置を特定する。継ぎ目画素データ算出部３０３０は、１ラインにおいて、継ぎ目となる位置が複数ある場合、１ライン中の継ぎ目となる位置を全て特定する。また、継ぎ目画素データ算出部３０３０は、読み取り画像が複数ラインにより構成されている場合は、１ラインごとに、継ぎ目となる位置を特定する。これにより、継ぎ目画素データ算出部３０３０は、読み取り画像から、継ぎ目となる位置を複数箇所特定する。

さらに、継ぎ目画素データ算出部３０３０は、継ぎ目となる位置毎に、当該継ぎ目となる位置に基づき、継ぎ目画素データの算出に用いる画素のＲＧＢ信号を特徴量として取得し、当該特徴量を学習済みモデルに入力することで、継ぎ目画素データを算出する。

つづいて、継ぎ目画素データ挿入部３０３１は、ＲＧＢ信号（読み取り画像データ）のＣＩＳのセンサチップ間の継ぎ目となる位置に、ステップＳ１５０において算出された継ぎ目画素データを挿入する（ステップＳ１５２）。これにより、継ぎ目画素データ挿入部３０３１は、読み取り画像に対して、継ぎ目画素データを合成し、合成後の画像（第２の画像）を生成することができる。また、継ぎ目画素データ挿入部３０３１は、読み取り画像に対して、継ぎ目画素データを合成して生成した画像を、入力階調補正部３０４に出力する。

なお、ステップＳ１５０及びステップＳ１５２の処理については、例えば、継ぎ目画素データ算出部３０３０及び継ぎ目画素データ挿入部３０３１は、読み取り画像から、継ぎ目となる位置を全て特定した上で、継ぎ目画素データの算出及び挿入を行ってもよい。一方で、継ぎ目画素データ算出部３０３０及び継ぎ目画素データ挿入部３０３１は、継ぎ目となる位置毎に、継ぎ目画素データの算出と挿入とを行い、読み取り画像の継ぎ目画素を全て補間するまで、ステップＳ１５０及びステップＳ１５２の処理を繰り返し実行してもよい。継ぎ目画素データ算出部３０３０及び継ぎ目画素データ挿入部３０３１は、図８に示す処理を行うことにより、読み取り画像に対して、継ぎ目画素データの算出（生成）と挿入とを行い、読み取り画像と継ぎ目画素とを合成した画像（第２の画像）を生成することができる。

図７に戻り、つづいて、入力階調補正部３０４は、継ぎ目画素データ算出挿入部３０３から出力されたＲＧＢ信号（第２の画像）に対して、入力階調補正処理を行う（ステップＳ１０８）。

つづいて、領域分離処理部３０５は、ＲＧＢ信号に対して、領域分離処理を行う（ステップＳ１１０）。

つづいて、色補正部３０６は、領域分離処理部３０５から出力されたＲＧＢ信号に基づく画像の色空間をＣＭＹの色空間に変換し、色補正処理を行う（ステップＳ１１２）。

つづいて、黒生成下色除去部３０７は、色補正部３０６から出力されたＣＭＹ信号に対して黒生成下色除去処理を行う（ステップＳ１１４）。

つづいて、空間フィルタ処理部３０８は、黒生成下色除去部３０７から出力されたＣＭＹＫ信号に対して空間フィルタ処理を実行する（ステップＳ１１６）。

つづいて、出力階調補正部３０９は、空間フィルタ処理部３０８から出力されたＣＭＹＫ信号に対して出力階調補正処理を行う（ステップＳ１１８）。

また、階調再現処理部３１０は、出力階調補正部３０９から出力されたＣＭＹＫ信号に対して、階調再現処理を行う（ステップＳ１２０）。

制御部１０又は階調再現処理部３１０は、階調再現処理を行なった後の画像に基づくＣＭＹＫ信号をカラー画像出力部４０に出力する（ステップＳ１２２）。前述の通り、階調再現処理を行なった後の画像に基づくＣＭＹＫ信号をカラー画像出力部４０に出力する処理は、制御部１０が実行してもよい。また、制御部１０又は階調再現処理部３１０は、ＣＭＹＫ信号に基づく画像データを、記憶部６０に記憶してもよい。

なお、制御部１０は、出力されたＣＭＹＫ信号に基づく画像をカラー画像出力部４０に入力し、カラー画像出力部４０を制御することにより、当該画像を出力してもよい。これにより、制御部１０は、カラー画像入力部２０によって読み取られた原稿の画像におけるＣＩＳのセンサチップ間の継ぎ目となる位置の欠落している部分に画素データを挿入し、当該画素データに対して適切な処理をされた画像を出力することができる。

また、上述した説明では、１つの継ぎ目画素データを算出に用いる画素として、継ぎ目画素を中心とする主走査方向ｍ－１画素、副走査方向ｎ画素を用い、特に、ｍ＝１５、ｎ＝３の場合について説明した。これにより、図６（ｂ）に示すように、１つの継ぎ目画素データを算出に用いる画素が、継ぎ目画素を中心とした、継ぎ目画素の左側に位置する画素ブロックＮ１及び継ぎ目画素の右側に位置する画素ブロックＮ２に含まれる画素であると説明した。しかしながら、図６（ｂ）に示した画素ブロックＮ１及び画素ブロックＮ２は一例であり、適宜変更されても構わない。例えば、画素ブロックＮ１と画素ブロックＮ２とでは、主走査方向の長さがそれぞれ異なってもよい。具体的には、例えば、ｍ＝１６として、一方の画素ブロックの主走査方向の長さが７画素、他方の画素ブロックの主走査方向の長さが８画素となってもよい。また、例えば、画素ブロックＮ１及び画素ブロックＮ２において、図６（ｂ）のＮ３より下のラインが用いられなくてもよい。具体的には、例えば、画素ブロックＮ１及び画素ブロックＮ２における副走査方向として、Ｎ３のラインとその上の１ライン（ｎ＝２）、もしくは、Ｎ３のラインとその上の３ライン（ｎ＝４）が用いられてもよい。このように、ｍやｎの値は、２以上であれば、偶数であっても奇数であってもよい。また、画素ブロックの形状は、必ずしも、継ぎ目画素を中心として左右が対称となる形状でなくてもよく、また、継ぎ目画素データの算出に使用されるラインも継ぎ目画素を中心として上下が対称になっていなくてもよい。

［１．３ 変形例］
上述した説明以外であっても、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを省略したり、一部のステップの処理を変更しても構わない。以下に、本実施形態の変形例について説明する。

［１．３．１ 変形例１］
変形例１は、継ぎ目画素データを算出する手段を選択可能にする変形例である。例えば、記憶部６０は、複数の学習済みモデル６２（例えば、学習済みモデル６２ａ及び学習済みモデル６２ｂ）を記憶する。また、制御部１０は、ユーザの操作に応じて、図９（ａ）に示す設定画面Ｗ１００を表示部５２に表示してもよい。設定画面Ｗ１００は、継ぎ目画素データ算出部３０３０により用いられる学習済みモデル６２を選択する画面である。

設定画面Ｗ１００では、標準的な学習済みモデル６２ａと、継ぎ目画素データを高精度に算出する学習済みモデル６２ｂとの２つのモデルを選択することができる。ユーザは、継ぎ目画素データ算出部３０３０により用いられる学習済みモデル６２を、設定画面Ｗ１００を介して、選択することができる。なお、継ぎ目画素データを高精度に算出する学習済みモデル６２ｂは、例えば、標準的な学習済みモデル６２ａと比べ、入力する画素の数が多い学習済みモデルであってもよいし、中間層を多くした学習済みモデルであってもよい。

なお、上述した説明以外にも、例えば、学習に用いられたブロック画像の数や種類が異なる複数の学習済みモデル６２から１の学習済みモデル６２が選択可能であってもよい。また、ニューラルネットワークを用いて構築された学習済みモデルと、ニューラルネットワーク以外のアルゴリズムを用いて構築された学習済みモデルとから１の学習済みモデル６２が選択可能であってもよい。このようにすることで、画像形成装置１は、ユーザに対して、学習済みモデル６２を選択させることが可能となる。

［１．３．２ 変形例２］
変形例２は、学習済みモデル６２に追加学習を可能にする変形例である。例えば、制御部１０は、ユーザの操作に応じて、図９（ｂ）に示す設定画面Ｗ１１０を表示部５２に表示してもよい。設定画面Ｗ１１０には、学習済みモデル６２に追加学習を指示するボタンＢ１１０が含まれる。

制御部１０は、ユーザにより、ボタンＢ１１０が選択された場合、学習済みモデル６２に対して、追加学習を行う。例えば、制御部１０は、学習済みモデル６２の学習に用いられるブロック画像を取得し、当該ブロック画像を用いて、学習済みモデル６２の学習を行う。ブロック画像は、ネットワークを介して他の装置から取得されてもよいし、ユーザに対してブロック画像を入力させることにより取得されてもよいし、これまでに読み取られた読み取り画像から取得されてもよい。このようにすることで、画像形成装置１は、ユーザに対して、学習済みモデル６２に追加学習を可能にさせ、学習済みモデル６２の精度を高めることが可能となる。

このように、本実施形態では、１つの継ぎ目画素データを算出に用いる画素は、継ぎ目となる位置と同一のラインの連続画素ではなく、複数ラインの画素ブロックに含まれる画素とする。すなわち、本実施形態では、継ぎ目画素データの算出において、継ぎ目となる位置と同一のラインの画素を多く用いる代わりに、複数ラインの画素を用いることで、主走査方向において参照する画素を少なくすることができる。これにより、本実施形態の画像形成装置１は、センサチップの継ぎ目となる位置から遠く離れたところまで、同一の濃度の変化パターンが連続していない場合（例えば、網点が充分に長く続かない場合）であっても、適切に、継ぎ目画素データを算出することができる。

また、本実施形態では、継ぎ目画素データを算出する場合、１プレーン毎ではなく、３プレーンの入力に基づいて、継ぎ目画素の各プレーンの画素値を算出する。これにより、本実施形態の画像形成装置１は、強弱の現れやすい色の網点の濃淡変化だけでなく、強弱の現れやすい色の網点の濃淡変化に潜んでしまう色の網点の濃淡変化に関する情報を、他のプレーンの濃淡変化から取得することができる。そのため、画像形成装置１は、より適切に、継ぎ目画素データを算出することができる。

また、本実施形態では、ニューラルネットワーク（学習済みモデル）に様々なパターンの画像を学習させ、当該ニューラルネットワークに、継ぎ目となる位置の周辺の画像データが入力されることで、継ぎ目画素データが算出される。これにより、各画素の各プレーンの算出に、１ラインではなく画素ブロックの３プレーンの画像入力を行うように改修する場合における複雑さの問題が解決される。また、比較画素グループの変化パターンを必要としないため、網点が続く範囲が狭い場合であっても、適切に、継ぎ目画素データを算出し、挿入することができる

ここで、本実施形態では、読み取り画像に現れるスジを抑制する処理として、センサチップ間の継ぎ目に挿入する画像（画素値）を算出するために、継ぎ目の位置に近い画素を用いる。特に、本実施形態では、従来技術に比べ、継ぎ目の位置に近い画素の画素値の入力だけで済むようにして、かつ、スジを抑制する効果を高めることができる。

［２．第２実施形態］
第２実施形態は、第１実施形態に記載したカラー画像処理部３０において、継ぎ目画素データ算出挿入部３０３を領域分離処理部３０５より後段に配置した実施形態である。継ぎ目画素データ算出挿入部３０３は、領域分離処理部３０５から出力される領域識別信号に基づいて継ぎ目画素の領域分離信号を決定し、その継ぎ目画素の領域識別信号に応じて別々の継ぎ目画素データの算出の方法を用いる。本実施形態は、第１実施形態の図２を図１０に、第１実施形態の図３（ｂ）を図１１に、第１実施形態の図７を図１２にそれぞれ置き換えた図である。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［２．１ 機能構成］
図１０は、本実施形態における画像形成装置２の機能構成を示すブロック図である。本実施形態における画像形成装置２は、継ぎ目画素データ算出挿入部３０３が、領域分離処理部３０５の後段に位置していること以外は、第１実施形態と同様である。

領域分離処理部３０５は、領域分離結果に基づき、当該領域分離結果を示す領域識別信号を、継ぎ目画素データ算出挿入部３０３、色補正部３０６、黒生成下色除去部３０７、空間フィルタ処理部３０８及び階調再現処理部３１０へ出力する。領域識別信号は、例えば、ＲＧＢ信号に基づく画像に含まれる各画素が、どの領域に属しているかを示す信号である。なお、本実施形態では、領域分離処理部３０５は、入力されたＲＧＢ信号に基づく画像中の各画素を、エッジ領域に含まれる画素、網点領域に含まれる画素、写真領域に含まれる画素、万線領域に含まれる画素、その他領域に含まれる画素等のいずれかに分離することが可能であるとする。

また、領域分離処理部３０５は、入力階調補正部３０４から出力されたＲＧＢ信号を、継ぎ目画素データ算出挿入部３０３へ出力する。

本実施形態における継ぎ目画素データ算出挿入部３０３は、図１１に示すように、継ぎ目画素領域識別信号決定部３０３２、継ぎ目画素データ算出部３０３０、継ぎ目画素データ挿入部３０３１を備えて構成される。

継ぎ目画素領域識別信号決定部３０３２は、挿入する画素（継ぎ目画素）の領域識別信号を決定する。挿入する画素の領域識別信号は、挿入する画素の隣接する左の画素の領域識別信号と同じ信号とする。この決定方法は、左側の画素に基づいて決定するものに限定されるものではなく、挿入する画素の左右の２画素、あるいは、斜め方向に隣接する４画素を含めた６画素に基づいて決定してもよい。例えば、継ぎ目画素領域識別信号決定部３０３２は、挿入する画素の周辺に位置する画素における領域識別信号のうち、最も多くの画素が属している領域に対応する領域識別信号を、挿入する画素の領域識別信号として決定してもよい。

継ぎ目画素データ算出部３０３０は、継ぎ目画素領域識別信号決定部３０３２により決定された領域識別信号に基づき、継ぎ目画素データの算出を行う。例えば、継ぎ目画素データ算出部３０３０は、領域識別信号が網点領域又は万線領域を示す信号である場合は、第１実施形態で示した継ぎ目画素データ算出部３０３０と同じ処理により、学習済みモデル６２を用いて継ぎ目画素データを算出する。一方、継ぎ目画素データ算出部３０３０は、領域識別信号が網点領域及び万線領域の何れでもない領域を示す信号である場合は、学習済みモデル６２を用いない方法により、継ぎ目画素データを算出する。例えば、継ぎ目画素データ算出部３０３０は、挿入する画素の隣接する左右の２画素のＲＧＢ信号データの平均値を算出し、当該平均値を、継ぎ目画素データとする。

継ぎ目画素データ挿入部３０３１は、各ラインのＣＩＳのセンサチップ間の継ぎ目となる位置に、継ぎ目画素データ算出部３０３０で領域識別信号に応じた処理により算出したＲＧＢ信号データを１画素分のデータとして挿入する。

［２．２ 処理の流れ］
図１２を参照して、本実施形態における処理の流れを説明する。まず、原稿の読み取り画像を取得する処理からシェーディング補正を行う処理まで（ステップＳ１００からステップＳ１０４）は、第１実施形態と同じである。

つづいて、入力階調補正部３０４は、シェーディング補正部３０２から出力されたＲＧＢ信号に対して、入力階調補正処理を行う（ステップＳ１０８）。

つづいて、領域分離処理部３０５は、ＲＧＢ信号に対して、領域分離処理を行う（ステップＳ１１０）。

つづいて、継ぎ目画素データ算出挿入部３０３は、継ぎ目画素データ算出挿入処理を実行する（ステップＳ２００）。本実施形態における継ぎ目画素データ算出挿入処理については、図１３を参照して説明する。

図１３に示すように、まず、継ぎ目画素領域識別信号決定部３０３２は、読み取り画像から、継ぎ目となる位置を１つ特定する（ステップＳ２５０）。

つづいて、継ぎ目画素領域識別信号決定部３０３２は、ステップＳ２５０において特定した位置に挿入する継ぎ目画素の領域識別信号を決定する（ステップＳ２５２）。

つづいて、継ぎ目画素データ算出部３０３０は、ステップＳ２５２において決定された領域識別信号に基づき、継ぎ目画素が属する領域が、網点領域又は万線領域である場合と、網点領域及び万線領域の何れでもない場合とによって、継ぎ目画素データの算出方法を選択する。

継ぎ目画素データ算出部３０３０は、領域識別信号に基づき、継ぎ目画素が属する領域が網点領域又は万線領域であるか否かを判定する（ステップＳ２５４）。継ぎ目画素データ算出部３０３０は、継ぎ目画素が属する領域が網点領域又は万線領域である場合は、実施形態１と同様の方法で、網点・万線領域用の継ぎ目画素データを算出する（ステップＳ２５４；Ｙｅｓ→ステップＳ２５６）。すなわち、継ぎ目画素データ算出部３０３０は、網点領域用の継ぎ目画素データとして、学習済みモデル６２を用いて、継ぎ目となる位置に基づき、継ぎ目画素データの算出に用いる画素のＲＧＢ信号を特徴量として入力することで、継ぎ目画素データを算出する。

一方、継ぎ目画素データ算出部３０３０は、継ぎ目画素が属する領域が網点領域及び万線領域の何れでもない場合は、網点・万線領域以外の領域用の継ぎ目画素データを算出する（ステップＳ２５４；Ｎｏ→ステップＳ２５８）。ここで、継ぎ目画素データ算出部３０３０は、網点・万線領域以外の領域用の継ぎ目画素データを算出する方法として、例えば、網点・万線領域における継ぎ目画素データの算出方法よりも簡易な方法として、学習済みモデルを用いない方法を用いてもよい。この場合、例えば、継ぎ目画素データ算出部３０３０は、網点・万線領域以外の領域用の継ぎ目画素データとして、挿入する継ぎ目画素の隣接する左右の２画素の画素値の平均値を算出する。網点・万線領域以外は、挿入する画素データが隣接する２画素の画素値の平均値を算出するだけであっても筋が現れるような劣化は無いため、処理を速めることができる。なお、上述した方法は、網点・万線領域における継ぎ目画素データの算出方法よりも簡易な方法の一例であり、上述した方法以外の方法が用いられてもよい。例えば、継ぎ目画素データ算出部３０３０は、挿入する継ぎ目画素の隣接する左右の２画素及び当該画素に隣接する２画素の合計４画素の画素値の平均値を継ぎ目画素データとして算出してもよい。また、継ぎ目画素データ算出部３０３０は、挿入する継ぎ目画素の隣接する左右の２画素と、その画素の上下に隣接する画素との合計６画素の画素値の平均値を継ぎ目画素データとして算出してもよい。

つづいて、継ぎ目画素データ挿入部３０３１は、ステップＳ２５６又はステップＳ２５８において算出された継ぎ目画素データと、ステップＳ２５２において決定された領域識別信号を対応付けて、ステップＳ２５０において特定された位置に挿入する（ステップＳ２６０）。このようにして、継ぎ目画素データ挿入部３０３１は、読み取り画像に対して、継ぎ目画素データを合成し、合成後の画像を生成する。

つづいて、継ぎ目画素データ挿入部３０３１は、読み取り画像から、継ぎ目となる位置が全て特定されたか否かを判定する（ステップＳ２６２）。継ぎ目画素データ挿入部３０３１は、継ぎ目となる位置が全て特定された場合は、図１３に示す処理を終了する（ステップＳ２６２；Ｙｅｓ）。このとき、継ぎ目画素データ挿入部３０３１は、読み取り画像に対して、継ぎ目画素データを合成して生成した画像を、色補正部３０６に出力する。一方、制御部１０は、継ぎ目となる位置を全て特定していない場合は、ステップＳ２５０に戻る（ステップＳ２６２；Ｎｏ→ステップＳ２５０）。

図１２に戻り、つづいて、色補正部３０６は、継ぎ目画素データ算出挿入部３０３から出力されたＲＧＢ信号に基づく画像の色空間をＣＭＹの色空間に変換し、色補正処理を行う（ステップＳ１１２）。この処理以降は、第１実施形態と同じである。

このように、本実施形態では、継ぎ目画素データの算出においては、挿入する継ぎ目画素が属する領域に応じた継ぎ目画素データの算出の方法が用いられる。これにより、各継ぎ目画素データの算出に同一の処理を行うことで処理時間が長くなってしまう問題が改善される。例えば、本実施形態の画像形成装置２は、文字領域やベタ領域（網点・万線ではない領域）において継ぎ目画素を挿入する場合、当該継ぎ目画素の位置における左右隣接画素の画素値の平均値を算出することで実現する。このように、本実施形態の画像形成装置２は、継ぎ目画素が属する領域に応じて、処理を切り替えることにより、読み取り画像に継ぎ目画素を挿入する場合であっても、読み取り画像の画質を損なわずに、処理を高速化することができる。

［３．第３実施形態］
第３実施形態は、本開示の画像処理装置を、画像読取装置に適用した場合の実施形態である。本実施形態は、第１実施形態の図２を図１４に、第１実施形態の図７を図１５に、それぞれ置き換えた実施形態である。なお、同一の機能部及び処理の説明については省略する。

［３．１ 機能構成］
図１４は、本実施形態における画像読取装置３の機能構成を示す図である。画像読取装置３は、例えば、フラットベッドスキャナなどで実現される。また、画像読取装置３は、制御部１０、カラー画像入力部２０、カラー画像処理部３０、操作パネル５０、記憶部６０を備えて構成される。

また、画像読取装置３には、カラー画像処理部３０から出力されるＲＧＢ信号に基づく画像データの出力先として、ディスプレイ等の表示装置や、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）を介して他の装置と通信を行うための通信装置や、データの入出力を行うインタフェースが含められていてもよい。なお、通信装置は、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）等の通信装置や通信モジュールにより構成される。出力先は、予め定められていてもよいし、ユーザによって選択可能であってもよい。

なお、本実施形態では、色補正部３０６は、領域分離処理部３０５から出力されるＲＧＢ信号をカラー画像入力部２０の特性に応じた色補正処理を行う。

例えば、色補正部３０６は、色補正処理後のＲＧＢ信号を空間フィルタ処理部３０８へ出力する。空間フィルタ処理部３０８は、色補正部３０６から出力されたＲＧＢ信号に基づく画像に対して、デジタルフィルタによる空間フィルタ処理を行い、空間フィルタ処理後のＲＧＢ信号を出力階調補正部３０９へ出力する。出力階調補正部３０９は、空間フィルタ処理部３０８から出力されたＲＧＢ信号を、当該ＲＧＢ信号の出力先の装置に応じて出力階調補正処理を行う。さらに、制御部１０又は出力階調補正部３０９は、画像の出力先の装置に対して、出力階調補正処理後のＲＧＢ信号を出力する。

［３．２ 処理の流れ］
画像読取装置３の制御部１０が実行する処理の流れについて、図１５を参照して説明する。図１５に示した処理は、制御部１０が、記憶部６０に記憶されたプログラムを読み出すことにより実行される。また、図１５に示した処理は、ユーザにより、スキャンジョブ等の、原稿を読み取るジョブの実行を開始させる操作がされた場合に実行される。

まず、原稿の読み取り画像を取得する処理から領域分離処理まで（ステップＳ１００からステップＳ１１０）は、第１実施形態と同じである。

つづいて、色補正部３０６は、領域分離処理部３０５から出力されたＲＧＢ信号に基づき色補正処理を行い、色補正処理後のＲＧＢ信号を空間フィルタ処理部３０８に出力する（ステップＳ３００）。

つづいて、空間フィルタ処理部３０８は、色補正部３０６から出力されたＲＧＢ信号に対して空間フィルタ処理を実行する（ステップＳ３０２）。

つづいて、出力階調補正部３０９は、空間フィルタ処理部３０８から出力されたＲＧＢ信号に対して出力階調補正処理を行う（ステップＳ３０４）。

つづいて、制御部１０又は出力階調補正部３０９は、出力階調補正処理を行なった後の画像に基づくＲＧＢ信号を、出力先の装置やインタフェースに出力する（ステップＳ３０６）。

このように、本実施形態によれば、継ぎ目画素データ算出挿入部３０３により、継ぎ目画素データの算出及び挿入が実行される。これにより、画像読取装置３は、カラー画像入力部２０によって読み取られた原稿の画像におけるＣＩＳのセンサチップ間の継ぎ目となる位置の欠落している部分に継ぎ目画素を挿入し、継ぎ目画素を挿入した画像に対しても適切な処理をした上で、画像を出力することができる。

［４．変形例］
本開示は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本開示の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本開示の技術的範囲に含まれる。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第２実施形態と第３実施形態とを組み合わせてもよい。この場合、画像読取装置３は、処理を速めてＣＩＳのセンサチップ間の継ぎ目となる位置に適切な処理をした画像を出力することができる。

また、上述した実施形態では、当該画像処理装置は、サーバ装置や、スマートフォン等の端末装置であってもよい。例えば、本開示を、上述した実施形態で説明した処理と同様の処理を実行するアプリとして実現し、当該アプリを端末装置で実行してもよい。

上述した各装置で動作するプログラムは、コンピュータで読み取り可能な非一時的記録媒体（Non-Transitory Computer-Readable Medium）に記録され、提供されてもよい。また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ （Blu-ray（登録商標） Disc） 等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本開示の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本開示に含まれるのは勿論である。

また、上述した実施形態に用いた装置の各機能ブロック、または諸特徴は、電気回路、例えば、集積回路あるいは複数の集積回路で実装または実行され得る。本明細書で述べられた機能を実行するように設計された電気回路は、汎用用途プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタロジック、ディスクリートハードウェア部品、またはこれらを組み合わせたものを含んでよい。汎用用途プロセッサは、マイクロプロセッサでもよいし、従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。前述した電気回路は、デジタル回路で構成されていてもよいし、アナログ回路で構成されていてもよい。また、半導体技術の進歩により現在の集積回路に代替する集積回路化の技術が出現した場合、本開示の一以上の態様は当該技術による新たな集積回路を用いることも可能である。例えば、本開示における、カラー画像処理部３０であれば、カラー画像処理部３０に含まれる一部又は全部の処理部が電気回路で構成されてもよい。

１、２ 画像形成装置
３ 画像読取装置
１０ 制御部
２０ カラー画像入力部
２０１ センサ部
３０ カラー画像処理部
３０１ Ａ／Ｄ変換部
３０２ シェーディング補正部
３０３ 継ぎ目画素データ算出挿入部
３０３０ 継ぎ目画素データ算出部
３０３１ 継ぎ目画素データ挿入部
３０３２ 継ぎ目画素領域識別信号決定部
３０４ 入力階調補正部
３０５ 領域分離処理部
３０６ 色補正部
３０７ 黒生成下色除去部
３０８ 空間フィルタ処理部
３０９ 出力階調補正部
３１０ 階調再現処理部
４０ カラー画像出力部
５０ 操作パネル
５２ 表示部
５４ 操作部
６０ 記憶部
６２ 学習済みモデル

Claims (10)

1. ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出部と、
   前記読み取り画像に対して前記画素データを合成した画像を出力する出力部と、
   を備える画像処理装置。
2. 前記画素データは、センサチップ間の継ぎ目となる位置における画素のデータである、請求項１に記載の画像処理装置。
3. 前記学習済みモデルは、階層型のニューラルネットワークにより学習された学習済みモデルである、請求項２に記載の画像処理装置。
4. 前記学習済みモデルは、前記ＣＩＳ方式で読み取られた、センサチップ間の継ぎ目を含まない領域である主走査方向ｍ画素と副走査方向ｎ画素（ただし、ｍ、ｎは２以上の数）とにより構成されるブロック画像を用いて学習されたモデルである、請求項３に記載の画像処理装置。
5. 前記学習済みモデルは、前記ブロック画像の主走査方向の中心位置のｎ画素を除く画素のＲＧＢの３プレーンを入力信号とし、前記ブロック画像の中央に位置する１画素のＲＧＢの３プレーンの画素値を教師信号として学習されたモデルである、請求項４に記載の画像処理装置。
6. センサチップ間の継ぎ目に位置する継ぎ目画素が属する領域を決定する決定部を更に備え、
   前記算出部は、前記領域が網点領域又は万線領域である場合、前記学習済みモデルを用いて、前記継ぎ目画素の画素データを算出し、前記領域が網点領域及び万線領域の何れでもない場合、前記学習済みモデルを用いない方法により、当該継ぎ目画素の画素データを算出する、
   請求項５に記載の画像処理装置。
7. ＣＩＳ（Contact Image Sensor）方式を用いて原稿の画像を読み取るセンサ部と、
   センサチップ間の継ぎ目を含まない画像を用いて学習された学習済みモデルを記憶する記憶部と、
   制御部と、を含み、
   前記制御部は、
   前記センサ部の読み取り結果によって表される画像の継ぎ目に相当する画素に対して、前記学習済みモデルから出力される画素を合成した画像を出力する
   画像読取装置。
8. 請求項１から６までの何れか一項に記載の画像処理装置と、
   前記読み取り画像に対して前記画素データを合成した画像を、記録媒体に形成する画像形成部と、
   を備える画像形成装置。
9. ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出するステップと、
   前記読み取り画像に対して前記画素データを合成した画像を出力するステップと、
   を含むことを特徴とした画像処理方法。
10. コンピュータに、
    ＣＩＳ（Contact Image Sensor）方式で読み取られた読み取り画像に基づく特徴量から学習済みモデルを用いて画素データを算出する算出する機能と、
    前記読み取り画像に対して前記画素データを合成した画像を出力する機能と、
    を実現させることを特徴としたプログラム。

Images