JP2021131629A - 情報処理装置、プログラム、情報生成方法、情報処理システム - Google Patents

Abstract

【課題】画像群対の同一性に関する情報を生成できる情報処理装置を提供すること。【解決手段】画像対の同一度を算出する画像比較部５５と、複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成する画像群対同一性情報生成部５７と、を有することを特徴とする情報処理装置５０を提供する。【選択図】図１

Description

本発明は、情報処理装置、プログラム、情報生成方法、及び、情報処理システムに関する。

画像を出力するシステムについて、あるシステムの出力と別のシステムの出力が「完全に一致する」又は「人間の視覚では同一と判断される」かどうかを判定したい場合がある。

例えば、ＣＴ検診により取得されたＣＴ画像を比較する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、疾患の重症度を診断する目的で、２つの解剖学的画像データから重症度偏差データを決定する構成が開示されている。

しかしながら、従来の技術では、画像群対の同一性に関する情報を生成できないという問題がある。画像群対とは２つの画像群である。２つの画像群はそれぞれ別のシステムで生成されている。

本発明は上記課題に鑑み、画像群対の同一性に関する情報を生成できる情報処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、画像対の同一度を算出する画像比較部と、複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成する画像群対同一性情報生成部と、を有することを特徴とする情報処理装置を提供する。

画像群対の同一性に関する情報を生成できる情報処理装置を提供することができる。

情報処理システムが行う処理の概略を説明する図である。 画像群対の同一性判定を行う情報処理システムの一例の構成図である。 端末装置又は情報処理装置のハードウェア構成図の一例である。 情報処理装置と端末装置の機能をブロック状に分けて説明する機能ブロック図の一例である。 情報処理システムが画像群対同一度を算出する全体的な手順を示すシーケンス図の一例である。 画像比較部による画像対同一度の算出方法を説明する図である。 人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。 一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。 差分画像の生成方法を説明する図である。 ２つの画像の差分画像、差分画像の拡大図、配置パターンの一例を示す図である。 差分の配置から配置パターンを検出する方法を説明する図である。 画像対同一度と画像群対同一度のデータ例を示す図である。 ユーザが目視確認結果を入力した場合の画像対同一度と画像群対同一度の更新の流れを説明するシーケンス図の一例である。 画像群対同一性情報生成部が画像対同一度を更新する手順を示すフローチャート図の一例である。 端末装置が表示する画像対の一覧画面の一例を示す図である。 画像対が拡大された目視確認結果入力画面の一例を示す図である。 ユーザが「同一である」と入力した場合の一覧画面の一例を示す図である。 色と形という特徴に基づいて端末装置が表示する画像対の一覧画面の一例を示す図である。

以下、本発明を実施するための形態の一例として、情報処理装置と情報処理装置が行う情報生成方法について図面を参照しながら説明する。

＜処理の概略＞
まず、画像群対を比較したいという要求が生じる状況の一例について説明する。例えば、新しいプリンタドライバや描画モジュール等が開発された場合、プリンタドライバや描画モジュール等に不具合がないかをメーカの担当者が確認する。確認の方法の１つに、既に動作確認済みの旧プリンタドライバや旧描画モジュール等と確認対象の新プリンタドライバや新描画モジュール等で各々同じ評価ファイルを印刷する方法がある。情報処理システムは印刷された２つの画像を比較し、完全に同一か、又は、人間の視覚では同一と判断できる場合、新プリンタドライバや新描画モジュール等をリリースできると判断する。異なっていれば新プリンタドライバや描画モジュール等に不具合があり、改善が必要となる。

しかし、２つの画像の比較結果は印刷対象の評価ファイルによっても異なるため、大量の画像対の比較結果に基づいて全体としてＯＫかＮＧかを判断したいという要求がある。

そこで、図１に示すように、本実施形態では、画像群対の同一度を個々の画像対同一度から算出する。

図１は、情報処理システムが行う処理の概略を説明する図である。情報処理システムは、例えば１個の評価ファイルからＮ個の画像データ（後述する印刷処理用の画像）が生成される。例えば、評価ファイルが１０ページの場合、画像データは１０個（Ｎ＝１０）となる。つまり、１個の評価ファイルから１つ以上の画像データが生成される。複数の評価ファイルが使用された場合は各評価ファイルのページ数の合計がＮである。

動作確認済みの旧プリンタドライバや旧描画モジュール（以下、旧システムという）、及び、新プリンタドライバや新描画モジュール（以下、新システムという）がそれぞれＮ個の画像データを生成する。図１では旧システムと新システムでそれぞれ５つの画像データが生成されている。

(1) 同じ１つの評価ファイルから旧システムと新システムが生成した１対の画像データを「画像対７」という。また、旧システム又は新システムが全ての評価ファイルから生成した画像を「画像群８」という。また、２つの画像群８を「画像群対９」という。

(2) 情報処理システムは、画像対７ごとに同一度を算出する。したがって、画像対７ごとに同一度が得られる。この同一度は画素単位に基づく同一度か、又は、人間の視覚と近い基準で算出されるとよい。

(3) 情報処理システムは画像群対同一度を個々の画像対７の同一度から算出する。例えば、個々の画像対同一度の、相加平均、相乗平均、加重平均、調和平均、調整平均、標本分散、又は、不偏分散などを算出する。情報処理システムは、画像群対同一度が閾値以上であれば２つの画像群対９が同一であると判定する。

このように、本実施形態の情報処理システムは、画像群対同一度を個々の画像対７の同一度から算出するので、大量の画像対７の比較結果に基づいて全体として同一か否かを判定できる。

＜用語について＞
同一度とは、２つの画像がどの程度一致しているかを表す情報である。類似度と称してもよい。

画像群対の同一性に関する情報は、２つの画像群対がどの程度一致しているかを表す情報である。本実施形態では、一例として、同一と見なせるか否か、及び、画像群対同一度を例にして説明する。

＜構成例＞
図２は、画像群対の同一性判定を行う情報処理システム１００の一例の構成図である。本実施形態では、クライアント・サーバ型のサーバに相当する情報処理装置５０が２つの画像群対の同一性判定を行うシステム構成を説明する。ただし、端末装置３０が単体で同一性判定を行ってもよい。

情報処理システム１００では、端末装置３０と情報処理装置５０とがネットワークＮを介して通信することができる。情報処理装置５０はサーバ又はサーバ装置ともよばれ、主にネットワーク上で情報処理を行う装置であり、ネットワークを介して受信した要求に対し情報や処理結果を応答する装置である。

情報処理装置５０はインターネット上にあってもオンプレミスに存在してもよい。いずれの形態においても情報処理システム１００はクラウドシステムと呼ばれる場合がある。クラウドシステムとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用されるシステムをいう。

情報処理装置５０はいわゆるＷｅｂサーバとして、処理を受け付けるポータル画面の画面情報（ＨＴＭＬ、ＸＭＬ、スクリプト言語、及びＣＳＳ（cascading style sheet）等で記述されており、主にブラウザソフトが解析して表示する情報）等を生成して端末装置３０に提供する。端末装置３０ではＷｅｂブラウザが動作しており、画面情報を受信してＷｅｂページを表示する。このＷｅｂページの１つには画像群対の同一性判定の設定を受け付けるユーザインターフェース、及び、画像群対の同一性に関する情報を表示する画面がある。ユーザはＯＳ、プリンタドライバ、ＰＤＬモジュール、及び、評価ファイル等から１つ以上を指定して同一性判定の処理を情報処理装置５０に要求する。

なお、ＷｅｂページはＷｅｂアプリにより提供されてもよい。Ｗｅｂアプリとは、ブラウザ上で動作するプログラミング言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、ブラウザ上で実行されるソフトウェア又はその仕組みを言う。ＷｅｂアプリによりＷｅｂページを動的に変更できる。

一方、端末装置３０は、情報処理装置５０から画面情報を受信してＷｅｂブラウザで表示させ、２つの画像群対の同一性判定に関する設定を含むユーザからの操作を受け付ける。端末装置３０で動作するＷｅｂブラウザは同一性判定に関する設定を情報処理装置５０に送信して、同一性判定の処理を要求する。

端末装置３０は、例えば、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ、又は、スマートフォン、などＷｅｂブラウザなどのソフトウェアが動作するものであればよい。電子黒板、テレビ会議端末などでも端末装置３０となりうる。なお、Ｗｅｂブラウザでなく情報処理システム１００に専用のアプリケーションソフトが端末装置３０で動作してもよい。同一性判定により得られる比較結果（画像群対の同一性に関する情報）は、端末装置３０が表示できる他、情報処理装置５０がメールで送信してもよいし、ネットワーク上に保存してもよい。

＜ハードウェア構成例＞
図３は、端末装置３０又は情報処理装置５０のハードウェア構成図である。ここでは、情報処理装置５０のハードウェア構成であるとして説明する。

図３に示されているように、情報処理装置５０は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理装置５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜機能について＞
図４は、情報処理装置５０と端末装置３０の機能をブロック状に分けて説明する機能ブロック図の一例である。

＜＜情報処理装置＞＞
情報処理装置５０は、制御部５１、印刷用アプリケーション５２、プリンタドライバ５３、プリンタシミュレータ５４、画像比較部５５、目視確認結果受付部５６、画像群対同一性情報生成部５７、画面情報生成部５８、及び、第一通信部５９を有している。情報処理装置５０が有するこれら各機能部は、図３に示された各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令により動作することで実現される機能又は手段である。

第一通信部５９は、端末装置３０と通信し、各種の情報を送受信する。例えば、端末装置３０から同一性判定に関する設定を受信し、画像群対の同一性に関する情報を端末装置３０に送信する。

制御部５１は、同一性判定に関する処理の全体を制御する。例えば、ユーザから受信した同一性判定に関する設定に基づいて処理の流れを管理しており、印刷用アプリケーション５２以下の必要な機能を呼び出す。制御部５１としてはJenkinsなどの制御ツールが知られている。また、ＲＰＡ（Robotic Process Automation）を使用してもよい。ＲＰＡはデスクワーク（主に定型作業）を、パソコンの中にあるソフトウェア型のロボットが代行・自動化する概念である。

印刷用アプリケーション５２は、情報処理装置５０にインストールされたＯＳで動作するアプリケーションソフトウエアである。つまり、評価ファイルを少なくとも開くことができ、プリンタドライバ５３を呼び出して印刷を開始するアプリケーションである。印刷用アプリケーション５２は、プリンタドライバ５３を呼び出すソフトウェアであればよいが、例えば、ワープロソフトウェア、Ｗｅｂブラウザソフトウェア、イラストソフトウェア、又は、ペイントソフトウェアなどがある。また、印刷用アプリケーション５２は２つ以上であることが好ましい。複数の場合、情報処理装置５０は異なる評価ファイルで画像群対９の同一性判定を行う。

プリンタドライバ５３は、情報処理装置５０にインストールされたＯＳで動作するソフトウェアある。プリンタドライバ５３とは、本来、コンピュータと画像形成装置の間を取り持って画像形成装置をユーザが簡単に使えるようにするソフトウェアである。プリンタドライバ５３は印刷設定（印刷条件ともいう）を受け付けるユーザインターフェース画面を表示する機能と、ＰＤＬで記述された印刷データを生成する機能を有する。ＰＤＬには、例えばPostScript（登録商標）、ＰＣＬ（Printer Control Language）などがある。この他、画像形成装置のメーカにより種々の形式がある。画像形成装置では各ＰＤＬに対応したＰＤＬモジュールが動作している。

プリンタシミュレータ５４は、情報処理装置５０にインストールされたＯＳで動作するソフトウェアである。プリンタシミュレータ５４は、画像形成装置で実行されているレンダリングを情報処理装置５０上で行う。レンダリングをＲＩＰ（Raster Image Processer）又は描画処理等という場合がある。また、レンダリングを行うソフトウェアをＰＤＬモジュール又は描画処理部という場合がある。プリンタシミュレータ５４はこの１つ以上のＰＤＬモジュールを有している。なお、プリンタシミュレータ５４は情報処理装置５０が有する以外に、情報処理装置５０がアクセスできるネットワーク上に存在すればよい。

ＰＤＬモジュールは、カラーマッチング処理及びスクリーニング処理を行って、画像形成装置が印刷に使用するＣ、Ｍ、Ｙ、Ｋの各色ごとに印刷処理用の画像を生成する。カラーマッチング処理は入力されたカラー（又はモノクロでもよい）の印刷データを画像形成装置のＣ、Ｍ、Ｙ、Ｋの４色のトナーで印刷するために最適な変換比率で変換する処理である。印刷用アプリケーション５２から入力される印刷データはＲＧＢ色空間で表現されている場合と、ＣＭＹＫ色空間で表現されている場合があるが、一般的な印刷用アプリケーション５２を使用した場合はＲＧＢ色空間が採用されている。プリンタシミュレータ５４はＲＧＢ色空間の印刷データをカラーマッチング処理によりデバイス独立色空間へ変換した後、画像形成装置の特性にあったデバイス色空間へ変換することで、ＣＭＹＫ色空間に変換する。ＲＧＢからＣ、Ｍ、Ｙ、Ｋへの変換式には公知のものを使用してもよいし、又は、画像形成装置に最適化された変換式を使用してもよい。

スクリーニング処理はディザ法などの擬似階調表現手法で、網点の大きさや密度を変えることにより、目の錯覚を利用して濃淡の違いを表現する処理であり、ビットマップデータを画像形成装置が印刷可能な印刷処理用の画像に変換する処理である。印刷処理用の画像には、レーザ又はインクで点として描画される画素に対応するドットごとに１（ＯＮ：描画する）又は０（ＯＦＦ：描画しない）が設定されている。

画像比較部５５は、着目している２つの印刷処理用の画像を比較して同一度を算出する（２つの画像を比較する）。同一度は、単一の数値であってもよいし、ある特徴に着目した複数の同一度の集合であってもよい。画素単位に完全一致するかどうかに基づく同一だけでなく、人間の視覚で同一と判定されるかどうかに近い同一度を算出することが好ましい。

画像における特徴（画像対７の同一度の算出の際に着目する特徴）としては、以下のようなものがある。
色味、形状、構造、色相、彩度、明度、輝度、コントラスト、色ヒストグラム、エッジ、コーナー、文字の太さ、フォント、ディザ、文字らしさ、イラストらしさ、図形らしさ、写真らしさ、誤差拡散、オクルージョン、対象物体か背景か、MTF（ボケ）、S/N（ノイズ）など。
・色味…XYZ表色系など装置に依存しない表色系の色をいう。画像比較部５５は例えばいくつかの色を抽出して同じ色の画素数を比較して同一度を算出する。
・形状…画像に含まれる円や四角などの図形をいう。画像比較部５５は例えば一定以上に連続したエッジを抽出して同じ位置のエッジ同士の一致度（長さなど）を比較して同一度を算出する。
・構造…文字、図形、写真などの配置である。画像比較部５５は例えば文字、図形、写真等を検出して文字同士、図形同士、写真同士の一致度（重なり方など）を比較して同一度を算出する。
・色相…赤、オレンジ、黄、緑、青、紫といった色の様相をいう。画像比較部５５は例えば特定の色を抽出して同じ色の画素数を比較して同一度を算出する。
・彩度…色の鮮やかさをいう。画像比較部５５は彩度を計算し、２つの画像の彩度を比較して同一度を算出する。
・明度…色の明るさをいう。画像比較部５５は明度を計算し、２つの画像の明度を比較して同一度を算出する。
・輝度…ＲＧＢから変換されるＹＵＶ値である。画像比較部５５は輝度を計算し、２つの画像の輝度を比較して同一度を算出する。
・コントラスト…明るい部分・暗い部分の明暗の差（明暗比）をいう。画像比較部５５はコントラストを計算し、２つの画像のコントラストを比較して同一度を算出する。
・色ヒストグラム…各色のヒストグラムである。画像比較部５５は一定数に減色して色のヒストグラムを計算し、２つのヒストグラムの同一度を算出する。
・エッジ…画像が含むエッジの強度や密度である。画像比較部５５は例えば一定以上の強度のエッジの密度を計算し、２つの画像のエッジ密度を比較して同一度を算出する。
・コーナー…２直線で形成される頂点である。画像比較部５５は例えば画像からコーナーを検出し、２つの画像の同じコーナー同士の一致度（長さ、角度など）を比較して同一度を算出する。
・文字の太さ…文字を構成する線の太さである。画像比較部５５は文字を検出し、連続する黒画素の長手方向と垂直な方向の長さを比較して同一度を算出する。
・フォント…フォントの形状である。画像比較部５５は同じ文字を重ね合わせてその一致度を同一度として算出する。
・ディザ…色の階調数をいう。画像比較部５５は一定範囲のドットから色を特定し、同じ場所同士の色を比較して同一度として算出する。
・文字らしさ、イラストらしさ、図形らしさ、写真らしさ…それぞれ予め定められた方法で算出された文字等の確度をいう。画像比較部５５は文字らしさ等の確度の一致度を同一度として算出する。
・誤差拡散…中間色がどのように表現されているかを指標化したものである。画像比較部５５は一定範囲のドットの数をカウントし、同じ場所同士の数を比較して同一度として算出する。
・オクルージョン…三次元画像内の物の前後関係をいう。画像比較部５５は一定面積以上の物が同じ形状で画像内に形成されているかを物ごとに比較して同一度を算出する。
・対象物体か背景か…背景とそれ以外の比率をいう。画像比較部５５は背景とそれ以外に区分して、２つの画像の面積を比較して同一度を算出する。
・MTF（ボケ）…空間周波数をいう。画像比較部５５はＭＴＦを算出して、２つの画像のＭＴＦを比較して同一度を算出する。
・S/N（ノイズ）…画像の鮮明度に相当する（log(最大値/濃淡の分散)）。画像比較部５５はＳ／Ｎを算出して、２つの画像のＳ／Ｎを比較して同一度を算出する。

また、同一度の計算方法、指標又はアルゴリズムとしては、以下のようなものがある。
SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC（Normalized Cross Correlation）、ZNCC（Zero means Normalized Cross Correlation）、MSE（平均二乗誤差）、PSNR（ピーク信号対雑音比）、SSIM (Structural similarity)、Histogram Intersection、など。
なお、画像比較部５５は、次述する目視確認結果受付部５６が「同一である」という目視確認結果を受け付けた場合、画像対７の同一度を、完全一致を表す値（例えば、1.0）に更新する。「同一でない」という目視確認結果を受け付けた場合、画像対７の同一度を、不一致を表す値（例えば、0.5〜0.8など）に更新する。

目視確認結果受付部５６は、２つの画像が同一かどうかをユーザが目視で確認した目視確認結果を受け付ける。つまり、ユーザが実際に画像対７を目で見て、情報処理装置５０の判定結果と異なる場合、ユーザは「同一である」又は「同一でない」を端末装置３０に入力する。目視確認結果受付部５６はこの入力を受け付ける。

画像群対同一性情報生成部５７は、画像群対が有する複数の画像対の同一度から画像群対同一度を生成する。すなわち、画像群対９に対して、画像群対同一度を個々の画像対７の同一度から算出する（画像群対同一度を生成する）。画像群対同一度の算出方法としては、以下のようなものが考えられる。
相加平均、相乗平均、加重平均、調和平均、調整平均、標本分散、不偏分散 など。
また、画像群対同一性情報生成部５７は、画像群対同一度を閾値によって２値化し、画像群対９を「同一である」又は「同一でない」と判定する情報を生成する。

画面情報生成部５８は、Ｗｅｂサーバとして端末装置３０が表示する画面の画面情報を生成する。画面情報生成部５８は、画像対、画像対同一度、及び、画像群対同一度等を表示する。また、目視確認結果の入力を受け付ける画面を表示する。同一度を算出したい画像群対９の指定を受け付ける機能を有してもよい。

また、情報処理装置５０は、図３に示したＨＤ５０４又はＲＡＭ５０３の少なくとも一方により構築される記憶部６０を有している。記憶部６０には、評価ファイル、画像対７、画像群対９、画像対同一度、及び、画像群対同一度等が記憶される。

＜＜端末装置＞＞
端末装置３０は、第二通信部３１、表示制御部３２、及び、操作受付部３３を有する。端末装置３０が有するこれら各機能部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された端末装置３０用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能である。このプログラムは、例えばＷｅｂブラウザが想定されている。

端末装置３０が有する第二通信部３１は情報処理装置５０と各種の情報を送受信する。例えば、ＨＴＴＰ通信で各種のＷｅｂページを要求し、Ｗｅｂページに対する各種の操作内容を情報処理装置５０に送信する。

表示制御部３２は、情報処理装置５０から受信した各種の画面情報を解析してディスプレイ５０６に表示する。表示制御部３２は画像対７、画像対同一度、及び、画像群対同一度等を表示する。操作受付部３３は、端末装置３０が表示するＷｅｂページ（画面）に対する各種の操作を受け付ける。

＜動作又は処理の手順＞
図５は、情報処理システム１００が画像群対同一度を算出する全体的な手順を示すシーケンス図の一例である。

S1：ユーザが端末装置３０を操作して、情報処理装置５０と通信させる。これにより、情報処理装置５０の画面情報生成部５８は、画像群対の同一性判定の設定を受け付けるユーザインターフェースの画面情報を端末装置３０に送信する。端末装置３０の第二通信部３１は、このユーザインターフェースの画面情報を受信し、表示制御部３２がディスプレイ５０６に表示する。情報処理装置５０が画像群を生成できるように、ユーザは、プリンタドライバ、ＰＤＬモジュール、及び、複数の評価ファイルを指定する。操作受付部３３はこれらの設定を受け付ける。

S2：端末装置３０の第二通信部３１は複数の評価ファイル等を指定して同一度算出要求を情報処理装置５０に送信する。

S3：情報処理装置５０の第一通信部５９は複数の評価ファイル等の指定と同一度算出要求を受信する。これにより、情報処理装置５０は、旧システムと新システムのそれぞれで印刷処理用の画像を生成することで、評価ファイルの数だけ画像対７を生成する。

制御部５１は評価ファイルに対応した印刷用アプリケーション５２を起動して、印刷用アプリケーション５２が指定された印刷条件で指定された評価ファイルの印刷データを生成する。印刷データ（*.prn、*.ps）が記憶部６０に保存される。なお、評価ファイルがprnファイル.psファイル又はＰＤＦファイルなど、印刷用アプリケーション５２が印刷しなくてもよい形式の場合、印刷データの生成が行われずに、そのまま記憶部６０にコピーされる。また、評価ファイルがpngやjpegといったイメージファイルの場合もそのまま印刷データ用の記憶部６０に保存される。

次に、制御部５１がプリンタシミュレータ５４を起動し、プリンタシミュレータ５４が指定されたＰＤＬモジュールを用いて、作成された印刷データに描画処理を行って、印刷処理用の画像を生成する。生成された印刷処理用の画像は印刷処理用の画像として記憶部６０に保存される。印刷処理用の画像は、例えばpng、Jpeg、Tiff等のフォーマットで作成される。制御部５１は、同様の処理を旧システムと新システムで行う。

画像比較部５５は、記憶部６０から取得した旧システムと新システムの画像対７ごとに、それぞれ画像対同一度を算出する。画像対同一度の算出方法については図６〜図１１にて説明する。

S4：画像比較部５５は画像対７ごとの画像対同一度を画像群対同一性情報生成部５７に送出する。

S5：画像群対同一性情報生成部５７は全ての画像対７に対して同一度が算出された後、画像群対同一度を算出する。画像群対同一度の算出方法については図１２にて説明する。

＜画像対同一度の算出方法＞
画像対同一度の算出方法には、SSD、SAD、NCC、ZNCC、MSE、PSNR、SSIM、Histogram Intersection等を算出する方法（以下、第一方法という）と、人間の視覚で同一と判定されるかどうかを判定する方法（以下、第二方法という）に大きく分けられる。

まず、図６を用いて、第一方法の一例を説明する。図６は、画像比較部５５による画像対同一度の算出方法を説明する図である。図６には比較される２つの画像の一部が拡大して表示されている。画像比較部５５は画像の解像度に応じて決まる画素位置（例えば、１９８０×１２８０の解像度の画像の場合、縦を１９８０に等分し、横を１２８０に等分した位置）ごとに、２つの画像を比較する。図６ではメッシュの交点が画素位置である。

２つの画像の同じ画素位置に同じ画素値の画素があれば、差異がなく、同じ画素値の画素がなければ差異があると判定する。この差異を数値化する方法としてSSD、SAD、NCC、ZNCC、MSE、PSNR、SSIM、等がある。また、色の違いを数値化する方法としてHistogram Intersectionがある。これらを求める数式は公知なので省略した。

また、単に画素値を比較するのでなく、色味、形状、構造、色相、彩度、明度、輝度、コントラスト、色ヒストグラム、エッジ、コーナー、文字の太さ、フォント、ディザ、文字らしさ、イラストらしさ、図形らしさ、写真らしさ、誤差拡散、オクルージョン、対象物体か背景か、MTF（ボケ）、S/N（ノイズ）などを比較して数値化してよい。

次に、第二方法について説明する。第一方法のように画素ごとの判定では大きな差異があるように見えても、そのような微小な差異は人間の目では気づきにくい。そこで、曖昧同一という基準で同一性判定を行う。これにより、人間の視覚に近い判定結果が得られる。

曖昧同一では、２つの画像の差分画像のうち人間の目で認識可能と判定された各画素が人間の目で認識可能な配置になった場合に、可視可能な差分（同一でない）と見なす。人間の目で認識可能な差分の配置とは、例えば以下が挙げられる。
(i) 差分と判定される画素が人間の目で認識可能な大きさ以上連続している。
(ii) 差分と判定される画素が一定領域内に人間の目で認識可能な割合以上存在する。
(iii) 差分と判定される画素が指定された配置パターンで存在する。

以下では、差分の配置の認識の各方法について説明する。

(i) 差分と判定される画素が人間の目で認識可能な大きさ以上連続している、
について説明する。

画像比較部５５は、画像対７の２つの画像の画素位置ごとの画素値の差を算出して、差分画像を生成する。そして、差分画像から連続する差異を検出する。

図７は、人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。図７（ａ）では画素位置を横方向に走査している。これにより、横方向に連続して人間の目で認識可能な大きさの差異１３０があれば検出できる。

図７（ｂ）では画素位置を縦方向に走査している。これにより、縦方向に連続して人間の目で認識可能な大きさの差異１３１があれば検出できる。

図７では、縦横それぞれの走査で矩形の差分の配置が検出される。画像比較部５５は、縦又は横にそれぞれ連続している差異の長さを検出する。なお、斜め方向にも走査するとよい。

そして、画像比較部５５は連続している差異の長さを所定の長さ（閾値）と比較して、所定の長さより長く連続している差異の画素位置にその旨を記録しておく。例えば、画素位置ごとに差異ありを記録できるテーブルを用意して、所定の長さより長く連続している差異の画素位置すべてに「差異あり」を記録する。画像比較部５５は閾値以下の場合は同一であると判定する。

画像比較部５５は、例えば
「差異ありが記録された画素位置」/「全画素数」
を同一度とする。

続いて、
(ii) 差分と判定される画素が一定領域内に人間の目で認識可能な割合以上存在する、
について説明する。この場合、画像比較部５５は、差分画像において画素位置を囲むウィンドウを順番に移動させ、このウィンドウ内に人間の目で認識可能な割合より大きい差異が存在するか否かを判定する。このウィンドウの大きさが一定領域に相当する。

図８は、一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。図８では４×４画素のウィンドウ１４０が示されているが、ウィンドウ１４０の大きさは一例である。ウィンドウ１４０はウィンドウ１４０の中心にある画素位置を左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。このような移動を中心にある画素位置が右下コーナーに到達するまで繰り返す。

４×４画素のウィンドウ１４０内には４×４＝１６の画素位置が含まれる。画像比較部５５は、ウィンドウ内のいくつの画素位置で差異があると判定されているかを数える。図８では説明の便宜上、９個の画素位置で差異があると判定されている。

画像比較部５５は「９/１６＞所定の割合」を満たすか否かを判定して、満たす場合には、画素位置ごとに差異ありを記録できるテーブルにおいて、ウィンドウ内の全ての画素位置にその旨を記録しておく。画像比較部５５は閾値以下の場合は同一であると判定する。

画像比較部５５は、例えば
「差異ありが記録された画素位置」/「全画素数」
を同一度とする。

続いて、
(iii) 差分と判定される画素が指定された配置パターンで存在する、
について説明する。この場合、画像比較部５５は、指定された配置パターンを保持している。画像比較部５５は、差分画像に対し配置パターンでパターンマッチングを行い、配置パターンと適合する差分の配置があるか否かを判定する。

図９は、差分画像の生成方法を説明する図である。図９（ａ）は比較元の画像の一例を示し、図９（ｂ）は比較対象の画像の一例を示す。図９では説明のために明らかに違う比較元と比較対象を示すが、実際には、比較元の画像をユーザが見ただけでは差異が分かりにくい場合がある。

図１０（ａ）は、図９の２つの画像の差分画像を示し、図１０（ｂ）は差分画像の拡大図である。また、図１０（ｃ）は配置パターン１５０である。配置パターン１５０は人間の目が感じ取りやすい差異のパターンとして予め生成されている。図１０（ｃ）の配置パターン１５０は一例であって、帯状であったり、円形であったり、幾何学模様などであったりしてよい。

図１０（ｂ）の拡大図のような差分が、配置パターン１５０と一致した場合、差異があると画像比較部５５が判定すれば、差異があると人間が感じる２つの画像を検出できる。

図１１は、差分の配置１６０から配置パターンを検出する方法を説明する図である。図１１では、説明のため、配置パターン１５０と同じパターンの差分の配置１６０を示した。画像比較部５５は、配置パターン１５０を差分画像１５１の左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。このような移動を右下コーナーに到達するまで繰り返す。

画像比較部５５は配置パターン１５０の画素と同じ位置に、差分画像において差異ありが記録されているか否かを判定し、全ての画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分画像１５１から検出されたと判定する。あるいは、一定数以上（一定割合以上）の画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分画像１５１から検出されたと判定する。

図１１では、差分画像１５１の右下に配置パターン１５０と一致する差分の配置１６０があり、画像比較部５５はこの差分の配置１６０を検出することができる。画像比較部５５は、画素位置ごとに差異ありを記録できるテーブルにおいて、配置パターン１５０と一致した画素位置にその旨を記録しておく。

画像比較部５５は、例えば
「差異ありが記録された画素位置」/「全画素数」
を同一度とする。

＜画像群対同一度の算出＞
続いて、画像群対同一度の算出方法を説明する。全ての画像対７に対して同一度が算出されると、画像群対同一性情報生成部５７は画像群対同一度を算出する。

画像群対同一性情報生成部５７は、相加平均、相乗平均、加重平均、調和平均、調整平均、標本分散、又は、不偏分散などで画像群対同一度を算出する。
・相加平均…いわゆる算術平均である。画像対７の同一度をa_i（iは画像対７の番号）とすると、Σa_i/Ｎである。Ｎは画像対７の数である。
・相乗平均…画像対７の同一度a_iを掛け合わせた値の平方根√(Πa_i)である。
・加重平均…値を単純に平均するのではなく、値の重み（＝ウェイト値）を加味して平均することをいう。ウェイトをp_iとすると、Σp_i・a_i/Ｎである。p_iは評価ファイルの選択時にユーザが指定してもよいし、ファイルの種類（拡張子）に応じて情報処理システムが付与してよい。
・調和平均…Ｎ/(Σ(1/a_i))である。
・調整平均…最小値付近のデータ、最大値付近のデータを除外して計算した相加平均である。
・標本分散…(1/N)・Σ(a_i−相加平均)²である。
・不偏分散…n/(n−1)×標本分散である。

＜画像群対同一度の算出例＞
図１２は、画像対７の同一度と画像群対同一度のデータ例を示す図である。図１２では画像群Ａと画像群Ｂがそれぞれ５つの画像を有するので、５つの画像対７について同一度が算出されている。画像群対同一度を相加平均により求める場合、この画像群対同一度は以下のように算出される。

画像群対同一度＝（0.96+1.0+0.97+0.93+0.94）/5=0.96
ここで、例えば、閾値が0.95であり、0.95以上を同一であると画像群対同一性情報生成部５７が判定する場合、図１２の画像群対９が同一であると判定する。

＜目視確認による同一度の更新＞
図１３〜図１７を参照して、ユーザが画像対７を目視して同一かどうかを判定した結果に応じた画像対同一度の更新と、画像群対同一度の更新について説明する。

図１３は、ユーザが目視確認結果を入力した場合の画像対同一度と画像群対同一度の更新の流れを説明するシーケンス図の一例である。

S11：情報処理装置５０は生成した全ての画像対７を端末装置３０に送信する。端末装置３０が画像対７を表示するので、ユーザは画像対７ごとに目視確認結果（同一である、同一でない）を入力する。情報処理装置５０の判定結果とユーザの判断が同じ場合は入力しなくてよい。端末装置３０の操作受付部３３は入力を受け付ける。入力例を図１５、図１６にて説明する。

S12：端末装置３０の第二通信部３１は画像対ＩＤを指定して目視確認結果を情報処理装置５０に送信する。

S13：情報処理装置５０の第一通信部５９は画像対ＩＤと目視確認結果を受信し、画像比較部５５が画像対ＩＤで特定される画像対７の同一度を目視確認結果で更新する。目視確認結果が「同一である」の場合、画像比較部５５は画像対７の同一度を、完全一致を表す値（例えば、1.0）に更新する。目視確認結果が「同一でない」である場合、画像比較部５５は画像対７の同一度を、不一致を表す値（例えば、0.5〜0.8など）に更新する。

S14：更新された画像対７の同一度が画像群対同一性情報生成部５７に入力される。

S15：画像対７の同一度が更新されたので、全体の同一度も変わるため、画像群対同一性情報生成部５７は画像群対同一度を更新する。詳細を図１７にて説明する。

図１４は、画像群対同一性情報生成部５７が画像対同一度を更新する手順を示すフローチャート図の一例である。

画像群対同一性情報生成部５７は、第一通信部５９が「同一である」を受信したか否かを判定する（Ｓ１０１）。

「同一である」を受信した場合、画像群対同一性情報生成部が画像対同一度を、完全一致を表す値（例えば、1.0）に更新する（Ｓ１０２）。

「同一でない」を受信した場合、画像群対同一性情報生成部が画像対同一度を、不一致を表す値に更新する（Ｓ１０３）。

＜目視確認画面＞
図１５は、端末装置３０が表示する画像対７の一覧画面３００の一例である。一覧画面３００は、判定結果欄３０１と画像欄３０２を有している。判定結果欄３０１には画像群対同一度と判定結果が表示されている。画像欄３０２には、画像群Ａ、Ｂが有する各画像、及び、画像対７の同一度が表示されている。

したがって、ユーザは、画像対７、画像対同一度、画像群対同一度、及び、画像群対９が同一であるか否かを確認できる。端末装置３０は画像対同一度でソートして画像対７を表示してもよい。

画像群対同一度の閾値が0.95の場合、図１５の画像群対同一度は0.87なので、画像群対９は「同一でない」と判定されている。

ユーザは画像対７を拡大して表示して、画像対７ごとに同一かどうかの目視確認を行うことができる。

図１６は、２番目の画像対７が拡大された目視確認結果入力画面３１０の一例である。目視確認結果入力画面３１０は、１つの画像対欄３１１、確認結果入力欄３１２、及び、更新ボタン３１３を有している。ユーザは画像対欄３１１に表示された画像対７に対して目視確認結果（同一であるかどうか）を確認結果入力欄３１２に入力できる。

ユーザが更新ボタン３１３を押下すると、目視確認結果が情報処理装置５０に送信される。情報処理装置５０の画像比較部５５は画像対同一度を更新し、画像群対同一性情報生成部５７は画像群対同一度を更新する。図１６の目視確認結果入力画面３１０は図１７の一覧画面３２０に遷移する。

図１７は、図１６の目視確認結果入力画面３１０で２番目の画像対７に対しユーザが「同一である」と入力した場合の一覧画面３２０である。図１７と図１５を比較すると、２番目の画像対７の同一度が1.0に更新されている。つまり、画像比較部５５は、ユーザの目視確認結果が「同一である」場合、該画像対７の同一度を「1.0」に更新する（完全同一を表す値）。必ずしも「1.0」に更新する必要はなく、少なくとも元の同一度よりも高い値に更新すればよい。

１つの画像対７の同一度が更新されたので、画像群対同一性情報生成部５７は画像群対同一度を更新する。相加平均の場合、画像群対同一性情報生成部５７は下式により更新できる。
画像群対同一度＝(0.97＋1.0＋0.88)/3＝0.95
また、これにより、画像群対同一度が閾値以上となるため、図１７の判定結果欄３０１に示すように、画像群対同一性情報生成部５７は画像群対９が「同一である」と判定する。

このように、ユーザの目視による確認結果により情報処理装置５０が画像対７の同一度を更新することに伴って、画像群対同一度も更新され、画像群対９が同一か否かという同一性に関する情報を変更することができる。

＜ある特徴に基づく同一度の表示例＞
次に、図１８を用いて、ある特徴に基づく同一度の表示例について説明する。図１８は、色と形という特徴に基づいて端末装置３０が表示する画像対７の一覧画面３３０の一例である。図１８では、判定結果欄３０１に色に基づく画像群対同一度３３１、形に基づく画像群対同一度３３２、及び、その平均値３３３が表示されている。判定結果３３４は平均値３３３が閾値以上か否かで判定されている。

また画像欄３０２には、画像対ごとに、色に基づく画像対同一度３３５、形に基づく画像対同一度３３６が表示されている。

このように、画像群対同一性情報生成部５７は、ある特徴に着目した個々の画像対７における画像対同一度を算出して、画像群対同一性情報生成部５７が特徴ごとに画像群対同一度を算出できる。特徴ごとの画像群対同一度の平均などに基づいて、同一か否かを判定できる。画像群対同一性情報生成部５７は特徴ごとの画像群対同一度の平均を求めることなく特徴ごとに同一か否かを判定してもよい。

＜主な効果＞
以上説明したように、本実施形態の情報処理システム１００は、画像群対同一度を個々の画像対７の同一度から算出するので、大量の画像対７の比較結果に基づいて全体として同一か否かを判定できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図４などの構成例は、情報処理装置５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、プリンタシミュレータは情報処理装置５０が有する他、情報処理装置５０と通信するサーバ装置が有していてもよい。

本実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理装置５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、端末装置３０は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

７ 画像対
８ 画像群
９ 画像群対
１０ 情報処理装置
５０ 情報処理装置
５５ 画像比較部
５６ 目視確認結果受付部
５７ 画像群対同一性情報生成部
１００ 情報処理システム

特開２００７‐０９００７７号公報

Claims (10)

1. 画像対の同一度を算出する画像比較部と、
   複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成する画像群対同一性情報生成部と、
   を有することを特徴とする情報処理装置。
2. 前記画像群対同一性情報生成部は、前記画像群対が有する前記複数の画像対の同一度から画像群対同一度を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像群対同一性情報生成部は、前記画像群対同一度が閾値以上か否かに基づいて、前記画像群対が同一か否かの情報を生成することを特徴とする請求項２に記載の情報処理装置。
4. ネットワークを介して通信する端末装置に前記画像対を送信する通信部と、
   ユーザが目視で確認した前記画像対が同一か否かの目視確認結果を受け付ける目視確認結果受付部と、を有し、
   前記画像対が同一であるという目視確認結果を前記目視確認結果受付部が受け付けた場合、前記画像比較部は、完全一致を表す値に該画像対の同一度を更新し、
   前記画像群対同一性情報生成部は、該画像対の同一度の更新に伴って前記画像群対同一度を更新することを特徴とする請求項２に記載の情報処理装置。
5. ネットワークを介して通信する端末装置に前記画像対を送信する通信部と、
   ユーザが目視で確認した前記画像対が同一か否かの目視確認結果を受け付ける目視確認結果受付部と、を有し、
   前記画像対が同一でないという目視確認結果を前記目視確認結果受付部が受け付けた場合、前記画像比較部は、不一致を表す値に該画像対の同一度を更新し、
   前記画像群対同一性情報生成部は、該画像対の同一度の更新に伴って前記画像群対同一度を更新することを特徴とする請求項２に記載の情報処理装置。
6. 前記画像群対同一性情報生成部は、前記画像群対が有する前記複数の画像対の同一度の、相加平均、相乗平均、加重平均、調和平均、調整平均、標本分散、又は、不偏分散を前記画像群対同一度として算出することを特徴とする請求項２〜５のいずれか１項に記載の情報処理装置。
7. 前記画像比較部は、前記画像対の同一度として、画像の複数の特徴に着目した同一度をそれぞれ算出し、
   前記画像群対同一性情報生成部は、前記画像群対同一度を、複数の画像対の前記特徴に基づいて算出された画像対の同一度から特徴ごとに算出することを特徴とする請求項２〜６のいずれか１項に記載の情報処理装置。
8. 情報処理装置を、
   画像対の同一度を算出する画像比較部と、
   複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成する画像群対同一性情報生成部、
   として機能させるためのプログラム。
9. 画像比較部が、画像対の同一度を算出するステップと、
   画像群対同一性情報生成部が、複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成するステップと、
   を有することを特徴とする情報生成方法。
10. 情報処理装置と端末装置とを有する情報処理システムであって、
    前記情報処理装置は、
    画像対の同一度を算出する画像比較部と、
    複数の画像対を有する画像群対の同一性に関する情報を、前記複数の画像対の同一度に基づいて生成する画像群対同一性情報生成部と、
    前記画像群対の同一性に関する情報を前記端末装置に送信する第一通信部と、を有し、
    前記端末装置は、
    前記画像群対の同一性に関する情報を受信する第二通信部と、
    前記第二通信部が受信した前記画像群対の同一性に関する情報を表示する表示制御部と、を有することを特徴とする情報処理システム。

Images