JP2006301675A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2006301675A JP2006301675A JP2005117754A JP2005117754A JP2006301675A JP 2006301675 A JP2006301675 A JP 2006301675A JP 2005117754 A JP2005117754 A JP 2005117754A JP 2005117754 A JP2005117754 A JP 2005117754A JP 2006301675 A JP2006301675 A JP 2006301675A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- block
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数の入力画像間の類似性を判別する類似シーン判別部と、類似シーンと判別された画像に対して所定の処理を行なう画像処理部とを備えて構成される画像処理装置に関する。 The present invention relates to an image processing apparatus including a similar scene determination unit that determines similarity between a plurality of input images, and an image processing unit that performs predetermined processing on an image determined to be a similar scene. .
写真処理装置を用いて現像済み写真フィルムに記録された画像やデジタルスチルカメラ(以下、「DSC」と略記する。)で撮影された画像から写真プリントを作成する際に、撮影時の不適切な撮影条件等に起因するプリント画像の品質の低下を改善するべく、写真処理装置に組み込まれる画像処理装置により、逆光シーン、アンダー露光シーン、オーバー露光シーン、シャープネス、周辺光量不足等の各種の補正が行なわれ、高品位で美しい写真プリントが出力される。 When creating a photographic print from an image recorded on a developed photographic film using a photographic processing apparatus or an image shot with a digital still camera (hereinafter abbreviated as “DSC”), Various corrections such as backlight scenes, under-exposure scenes, over-exposure scenes, sharpness, and insufficient amount of ambient light are provided by the image processing device built into the photographic processing device in order to improve the deterioration of the quality of the printed image due to shooting conditions. Is performed, and a high-quality and beautiful photo print is output.
このような画像処理がコマ画像単位で行なわれると、類似シーンの写真プリントの仕上がりがばらつく虞があるため、事前に各コマ画像の撮影シーンが類似しているか否かを判別する類似シーン判別部と、類似シーンと判別されたコマ画像に対して画像処理装置による各種の処理パラメータの設定を制限または補正する画像処理部を設けることにより、類似シーンの写真プリントの仕上がりが均一になるように処理されていた。 If such image processing is performed in units of frame images, there is a possibility that the finish of the photo prints of similar scenes may vary, so a similar scene determination unit that determines whether the shooting scenes of the respective frame images are similar in advance. In addition, by providing an image processing unit that restricts or corrects the setting of various processing parameters by the image processing apparatus for the frame image determined to be a similar scene, processing is performed so that the photo print finish of the similar scene is uniform. It had been.
上述の類似シーン判別部による類似シーン判別アルゴリズムとして、画像から得られる中心部と周辺部の色濃度値の平均値、最大値及び最小値等の画像特性値が対比する画像間で近似している場合に類似シーンと判別するもの、対比する画像のヒストグラムに基づいて類似シーンと判別するもの、APS対応のフィルムでは磁気記録領域に記録された撮影時刻、DSCでは例えばExifのDSC付属情報領域に格納されている撮影時刻に基づいて撮影間隔が所定時間以内の連続シーンを対象としてそれら画像間で例えばヒストグラム等の特性値の近似するものを類似シーンと判別するもの等が提案されていた。
しかし、上述した類似シーン判別部において画像特性値としてヒストグラムの一致度により判別するものでは全く異なるシーンであってもヒストグラムが近似すると類似シーンであると誤判別される場合があり、画像特性値として中心部と周辺部の色濃度値の平均値、最大値及び最小値等の一致度により判別するものでは被写体が画像中心から画像周辺に移動する等によるシーンの構図の変化に対処できず類似シーンであるにもかかわらず類似シーンと判別できなくなるという問題があった。 However, in the above-described similar scene discriminating unit, the image characteristic value that is discriminated based on the degree of coincidence of the histogram may be erroneously discriminated as a similar scene when the histogram is approximated even if the scene is completely different. Similar scenes that cannot deal with changes in the composition of the scene due to movement of the subject from the center of the image to the periphery of the image, etc., with those that are determined by the degree of coincidence of the average value, maximum value, minimum value, etc. However, there was a problem that it could not be distinguished from similar scenes.
本発明は、上述した従来の問題点に鑑み、シーンの構図が変化するような場合であっても適切に類似シーンの判別が行なえ、適切な画像処理が行なえる画像処理装置及び画像処理方法を提供する点にある。 In view of the above-described conventional problems, the present invention provides an image processing apparatus and an image processing method capable of appropriately determining similar scenes and performing appropriate image processing even when the composition of the scene changes. The point is to provide.
上述の目的を達成するため、本発明による画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、複数の入力画像間の類似性を判別する類似シーン判別部と、類似シーンと判別された画像に対して所定の処理を行なう画像処理部とを備えて構成される画像処理装置であって、類似シーン判別部は、対比する二画像のそれぞれを所定サイズの複数のブロックに領域分割して各ブロックの画像特性値を求めるブロック分割部と、両画像間で前記画像特性値の一致度の高いブロック同士を関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置した評価画像を生成する評価画像生成部と、生成された評価画像と他方の画像に基づいて対比する二画像が類似シーンであるか否かを判別する評価部を備えて構成される点にある。
In order to achieve the above object, a first characteristic configuration of an image processing apparatus according to the present invention is a similar scene for determining similarity between a plurality of input images as described in
類似シーンとは、一般的に主要被写体の構図や照明等の撮影条件が近似するシーンを指すが、人物であれ物であれ画像中に共通の被写体が存在し、その背景にも共通部分が存在するシーンであれば被写体の構図が変化するような場合であっても両画像に対する写真プリントの品質を揃えるという観点で類似シーンと判別される必要がある。上述の構成によれば、ブロック分割部により対比する二画像がそれぞれブロックに分割され各ブロックの画像特性値が求められるが、これによって画像を構成する主要被写体及び背景がブロックのサイズに対応した単位構成要素に分割されその単位構成要素の画像特性値が求められる。評価画像生成部は両画像間でブロック毎に得られた画像特性値を比較して一致度の高いブロック同士が共通する単位構成要素であると判別して相互に関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置することにより、一の画像の単位構成要素による構図を変化させた評価画像を生成するのである。評価部は、評価画像と他方の画像を対比して類似度を評価することにより構図が変化する場合であっても適切に類似シーンであるか否かを判別することができるようになるのであり、これにより対比する両画像の全体としてのヒストグラムが近似している場合であっても単位構成要素間の関連付けができないために類似シーンであるとの誤判別が生じることが無くなるのである。 Similar scenes generally refer to scenes with similar shooting conditions such as the composition and lighting of the main subject, but there is a common subject in the image whether it is a person or an object, and there is also a common part in the background. Even if the composition of the subject changes, it is necessary to discriminate it from a similar scene from the viewpoint of aligning the quality of photographic prints for both images. According to the above configuration, the two images to be compared are divided into blocks by the block dividing unit, and the image characteristic value of each block is obtained. By this, the main subject and the background constituting the image correspond to the block size. An image characteristic value of the unit constituent element is obtained by being divided into constituent elements. The evaluation image generation unit compares the image characteristic values obtained for each block between the two images, determines that the blocks with a high degree of coincidence are common unit components, and associates them with each other. An evaluation image in which the composition of the unit constituent elements of one image is changed is generated by moving and arranging the block at the position of the other associated image. The evaluation unit can appropriately determine whether the scene is a similar scene even when the composition changes by comparing the evaluation image with the other image and evaluating the similarity. As a result, even if the histograms of the contrasted images as a whole are approximated, the unit components cannot be associated with each other, so that erroneous determination that the scenes are similar does not occur.
同第二の特徴構成は、同請求項2に記載した通り、上述した第一特徴構成に加えて、前記評価部は、前記評価画像の各ブロックとそれぞれに対応する位置にある他方の画像のブロックとの前記画像特性値の差分を前記評価画像を構成する全ブロックについて加算した類似評価値に基づいて対比する二画像が類似シーンであるか否かを判別する点にある。
In the second feature configuration, as described in
上述の構成によれば、評価部が評価画像と他方の画像を対比する際に、評価画像を構成する各ブロックの画像特性値とそのブロックの位置に対応する位置にある他の画像のブロックの特性値との差分をとり、それらを加算して得られる類似評価値に基づいて類似シーンであるか否かを判別することができるようになり、類似シーンであると判別できる類似評価値の上限を予めシミュレーション等により定めておくことにより適切に判別できるようになる。 According to the above configuration, when the evaluation unit compares the evaluation image with the other image, the image characteristic value of each block constituting the evaluation image and the block of the other image at the position corresponding to the position of the block. It becomes possible to determine whether or not it is a similar scene based on the similarity evaluation value obtained by taking the difference from the characteristic value and adding them, and the upper limit of the similarity evaluation value that can be determined to be a similar scene Can be appropriately determined by previously determining by simulation or the like.
同第三の特徴構成は、同請求項3に記載した通り、上述した第一または第二特徴構成に加えて、前記評価部は、前記評価画像を構成する各ブロックの移動ベクトルに基づいて対比する二画像が類似シーンであるか否かを判別する点にある。 In the third feature configuration, as described in claim 3, in addition to the first or second feature configuration described above, the evaluation unit performs a comparison based on a movement vector of each block constituting the evaluation image. The point is to determine whether or not the two images to be processed are similar scenes.
評価部は、評価画像を構成する各ブロックの移動ベクトル、つまり、各ブロックの一方の画像における位置から評価画像における位置までの移動方向と移動量を求め、その傾向に基づいて類似シーンであるか否かを判別するのである。例えば、一方の画像を撮影した後に撮影アングルを上下左右或いは斜め方向に変更して他方の画像を撮影するときには、評価画像生成部により生成された評価画像の各ブロックはほぼ全てが同一の移動ベクトルを示すようになり、他方の画像の撮影時に撮影アングルを変えずに主要被写体のみが移動したときには、評価画像の背景に対応するブロックのベクトルはゼロを示す一方主要被写体に対応するブロックが同一の移動ベクトルを示すようになる。このように、類似シーンでは各ブロックが移動ベクトルの等しいまたは近似するブロック群にグループ分けできるのでその傾向に基づいて判別することができるのである。そして、類似シーンで無い場合には各移動ベクトルに相関関係が見られず無秩序になる点で明確に判別できるのである。 The evaluation unit obtains a movement vector of each block constituting the evaluation image, that is, a movement direction and a movement amount from the position in one image of each block to the position in the evaluation image, and whether the scene is a similar scene based on the tendency. It is determined whether or not. For example, when one image is shot and then the shooting angle is changed in the up / down / left / right or diagonal directions, and the other image is shot, almost all blocks of the evaluation image generated by the evaluation image generation unit are the same movement vector. When only the main subject moves without changing the shooting angle when shooting the other image, the vector of the block corresponding to the background of the evaluation image indicates zero while the block corresponding to the main subject is the same. The movement vector is shown. In this way, in a similar scene, each block can be grouped into a group of blocks having the same or similar movement vectors, and therefore can be determined based on the tendency. And when it is not a similar scene, it can be clearly discriminated in that the correlation is not seen in each movement vector and it becomes disordered.
同第四の特徴構成は、同請求項4に記載した通り、上述した第一から第三の何れかの特徴構成に加えて、前記評価部は、前記評価画像生成部により生成された評価画像を構成するブロック数が所定数より小となるときに類似シーンでないと判別する点にある。 In the fourth feature configuration, in addition to any one of the first to third feature configurations described above, the evaluation unit may further include an evaluation image generated by the evaluation image generation unit. When the number of blocks constituting the image becomes smaller than a predetermined number, it is determined that the scene is not a similar scene.
上述したように、評価画像生成部は画像特性値を比較して一致度の高いブロック同士が共通する単位構成要素であると判別して相互に関連付けるものであるので、一致度が低く相互に関連付けることのできないブロックも現れる。そこで、上述の構成によれば、評価画像を構成するブロック数に制限を課し、評価画像を構成するブロック数が所定数よりも少ないときには類似シーンでないと判別することにより誤判別を回避することができるようになる。 As described above, the evaluation image generation unit compares the image characteristic values to determine that the blocks having a high degree of matching are common unit components and associates them with each other. Some blocks that can't be played also appear. Therefore, according to the above-described configuration, the number of blocks constituting the evaluation image is limited, and when the number of blocks constituting the evaluation image is less than a predetermined number, it is determined that the scene is not a similar scene, thereby avoiding erroneous determination. Will be able to.
同第五の特徴構成は、同請求項5に記載した通り、上述した第一から第四の何れかの特徴構成に加えて、入力画像に対して所定の画像補正処理を行なう画像補正部を備え、前記画像処理部が、前記類似シーン判別部により類似シーンと判別された画像に対して前記画像補正部による画像補正処理条件を制限する画像補正制限部で構成される点にある。 In the fifth feature configuration, as described in claim 5, in addition to any of the first to fourth feature configurations described above, an image correction unit that performs a predetermined image correction process on the input image is provided. And the image processing unit includes an image correction limiting unit that limits an image correction processing condition by the image correcting unit for an image determined to be a similar scene by the similar scene determining unit.
上述したように、一般に撮影時の不適切な撮影条件等に起因するプリント画像の品質の低下を改善するべく、画像処理装置には、逆光シーン、アンダー露光シーン、オーバー露光シーン、シャープネス、周辺光量不足等の各種の画像補正部が設けられているが、画像毎に独立して補正が行なわれると類似するシーンでありながら仕上がった写真プリントの品質が大きく異なり違和感を覚える場合がある。そこで、画像補正部による類似シーンに対する画像補正処理条件を画像補正制限部により制限することにより、類似シーンに対する写真プリントの品質が一定になるように調整することができるようになるのである。 As described above, in order to improve the deterioration of the quality of a print image generally caused by inappropriate shooting conditions at the time of shooting, the image processing apparatus includes a backlight scene, an underexposure scene, an overexposure scene, a sharpness, and a peripheral light amount. Various image correction units such as a shortage are provided. However, if correction is performed independently for each image, the quality of the finished photo print may be greatly different, but the user may feel uncomfortable. Therefore, by limiting the image correction processing conditions for the similar scene by the image correcting unit by the image correction limiting unit, the quality of the photo print for the similar scene can be adjusted to be constant.
本発明による画像処理方法の第一の特徴構成は、同請求項6に記載した通り、複数の入力画像間の類似性を判別する類似シーン判別ステップと、類似シーンと判別された画像に対して所定の処理を行なう画像処理ステップとを備えて構成される画像処理方法であって、類似シーン判別ステップは、対比する二画像のそれぞれを所定サイズの複数のブロックに領域分割して各ブロックの画像特性値を求めるブロック分割ステップと、両画像間で前記画像特性値の一致度の高いブロック同士を関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置した評価画像を生成する評価画像生成ステップと、生成された評価画像と他方の画像に基づいて対比する二画像が類似シーンであるか否かを判別する評価ステップを備えて構成される点に有る。 According to the first characteristic configuration of the image processing method of the present invention, as described in claim 6, a similar scene determination step for determining similarity between a plurality of input images, and an image determined as a similar scene An image processing method comprising an image processing step for performing predetermined processing, wherein the similar scene determination step divides each of the two images to be compared into a plurality of blocks of a predetermined size, and images of each block A block division step for obtaining a characteristic value, an evaluation image in which blocks having a high degree of coincidence between the image characteristic values are associated between both images, and the block of one image is moved to the position of the associated block of the other image An evaluation image generation step to generate, and an evaluation step to determine whether or not two images to be compared based on the generated evaluation image and the other image are similar scenes Provided there to point configured.
以上説明した通り、本発明によれば、シーンの構図が変化するような場合であっても適切に類似シーンの判別が行なえ、適切な画像処理が行なえる画像処理装置及び画像処理方法を提供することができるようになった。 As described above, according to the present invention, there are provided an image processing apparatus and an image processing method capable of appropriately discriminating similar scenes and performing appropriate image processing even when the composition of the scene changes. I was able to do it.
以下に本発明による画像処理装置が組み込まれた写真処理装置の実施の形態を説明する。図1に示すように、写真画像処理装置1は、印画紙Pに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ2と、現像済みの写真フィルムFから画像を読み込むフィルムスキャナ31やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアMから画像データを読み取るメディアドライバ32や、コントローラ33としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション3を備えて構成され、前記操作ステーション3で元画像から編集処理されたプリントデータが前記写真プリンタ2に出力されて所望の写真プリントが生成される。
Embodiments of a photographic processing apparatus incorporating an image processing apparatus according to the present invention will be described below. As shown in FIG. 1, a photographic
前記写真プリンタ2は、図1及び図2に示すように、ロール状の印画紙Pを収容した二系統の印画紙マガジン21と、前記印画紙マガジン21から引き出された印画紙Pを所定のプリントサイズに切断するシートカッター22と、切断後の印画紙Pの背面にコマ番号等のプリント情報を印字するバックプリント部23と、前記プリントデータに基づいて印画紙Pを露光する露光部24と、露光後の印画紙Pを現像、漂白、定着するための各処理液が充填された複数の処理槽25a,25b,25cを備えた現像処理部25が印画紙Pの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Pが排出される横送りコンベア26と、横送りコンベア26に集積された複数枚の印画紙(写真プリント)Pがオーダー単位で仕分けられるソータ27を備えて構成される。
As shown in FIGS. 1 and 2, the
前記露光部24には、前記搬送機構28によって副走査方向に搬送される印画紙Pに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたRGB三色のレーザ光線束を出力して露光する露光ヘッド24aが収容されている。
The
前記搬送経路に沿って配置された前記露光部24や現像処理部25に応じたプロセス速度で印画紙Pを搬送する複数のローラ対でなる搬送機構28が配置され、前記露光部24の前後には印画紙Pを複列に搬送可能なチャッカー式搬送機構28aが設けられている。
A
前記操作ステーション3に設けられたコントローラ33には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置1の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ34、キーボード35、マウス36等が接続されている。
The
前記コントローラ33のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図3に示すように、前記フィルムスキャナ31やメディアドライバ32によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ41に転送する画像入力部40と、前記モニタ34の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード35やマウス36からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部42と、前記画像入力部40から転送される写真画像データ及び後述の画像処理部47による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ41と、プリントオーダ情報を生成するオーダー処理部43と、前記メモリ41に格納された各写真画像データに対して階調補正、カラー補正、拡縮処理、歪補正等の各種の補正を行なう画像処理部47と、前記グラフィックユーザーインターフェース部42からの表示コマンドに基づいて前記メモリ41に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ34に表示処理するビデオRAM等を備えた表示制御部46と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ2に出力するためのプリントデータを生成するプリントデータ生成部44と、顧客のオーダーに応じて最終の補正画像をCD−R等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部45等で構成される。
The photographic processing process executed by the cooperation of the hardware and software of the
前記フィルムスキャナ31は、フィルムFに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対してプレジャッジモード(後述のプレジャッジ処理で詳述する。)で各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ2に出力される。
The
同様に、前記メディアドライバ32から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部40で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ41に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ33の演算負荷が低減されるように構成されている。
Similarly, the image file read from the
前記画像処理部47は、例えば撮影時の露出設定の過不足による主要被写体の階調性を補正する階調補正部53、カラーバランスを調整するカラー補正部54、撮影レンズに起因する歪を補正する歪補正部(55)、画像のエッジを強調しノイズを低減する鮮鋭化処理部(図示せず)、写真プリントのサイズに適した画像サイズに変換する拡縮処理部(図示せず)等を備えた画像補正部52と、一連の写真画像データに対して相互に類似シーンであるか否かを判別する類似シーン判別部48と、前記類似シーン判別部48で類似シーンと判別された写真画像に対して前記画像補正部52による補正処理を制限する画像補正制限部56等を備えて構成されている。
The
前記類似シーン判別部48は、対比する二つの写真画像のそれぞれを所定サイズの複数のブロックに領域分割して各ブロックの画像特性値を求めるブロック分割部49と、両画像間で前記画像特性値の一致度の高いブロック同士を関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置した評価画像を生成する評価画像生成部50と、生成された評価画像と他方の画像に基づいて対比する二画像が類似シーンであるか否かを判別する評価部51を備えて構成される。
The similar
前記評価部51は、前記評価画像の各ブロックとそれぞれに対応する位置にある他方の画像のブロックとの前記画像特性値の差分を前記評価画像を構成する全ブロックについて加算した類似評価値に基づいて対比する二画像が類似シーンであるか否かを判別する。
The
前記画像補正制限部56は、類似シーンを撮影した写真画像に対する写真プリントの仕上げ品質が揃うように、前記画像補正部52による個々の写真画像に対する画像補正条件である補正パラメータの中で類似シーンと判別された画像に対する補正パラメータに制限を課す。例えば、類似シーンと判別された各画像に対する夫々の補正パラメータの平均値を新たな補正パラメータとして設定し、或いは、類似シーンと判別された各画像に対する夫々の補正パラメータをそれらの中の特定の画像に対する補正パラメータ、例えば中央値を示す補正パラメータに置き換え、或いは、中央値を示す特定の画像に対する補正パラメータを基準とする所定範囲に他の類似シーンの画像の補正パラメータを丸め込むのである。
The image
以下に、前記類似シーン判別部48による写真画像の類似シーン判別手順を説明する。図5に示すように、プレスキャンモードでフィルムスキャナ31により読取られた画像データ、またはメディアドライバ32から読み込まれたサムネイル画像データがメモリ41に格納されると、読み込まれた順番に2画像が選択され、連続撮影シーンであるか否かが判断される(S1,S2,S3)。連続撮影シーンであるか否かは135フィルム画像については隣接画像コマを連続撮影画像と判断し、APSフィルム画像についてはフィルムの磁気記録領域に記憶された撮影時刻データ、メディアドライバ32から読み込まれたサムネイル画像データについてはExifファイルの属性領域に記憶された撮影時刻データに基づいてそれぞれ撮影時刻が所定時間以内であるか否かに基づいて判断される。今、図4(a)及び(b)に示す二枚の画像データが連続撮影された画像((a)が先に撮影された一方の画像、(b)が後に撮影された他方の画像とする。)として類似シーンであるか否かが判別される場合について説明する。
A procedure for determining a similar scene of a photographic image by the similar
前記ブロック分割部49は、連続撮影シーンと判断された2画像のそれぞれに対して所定の画素数でブロック分割し(S4)、各ブロックの画像特性値を演算導出する(S5)。例えば、図4(c)、(d)に示すように、135フィルムの一コマ23.4mm×35.3mmを320dpiで読み取って得られるRGBの色成分毎にそれぞれが約300×440画素の画像データを約75×73画素の24領域に領域分割して、領域毎に画像特性値として輝度平均値を演算導出するのである。ここに、分割領域数は特に限定するものではないが、細分化すると演算負荷が増大するばかりでなく後述の移動ベクトルに一定の傾向が現れず誤判断を招く虞があり、大きすぎるとブロック間の対応が取れず類似シーンであるにもかかわらず非類似シーンと判定される虞があるので、上述の場合で15領域から30領域の範囲が好ましい値である。また、各ブロックの画像特性値としては輝度平均値に加えて最大輝度と最低輝度の組合せを画像特性値としてもよいし、色成分平均値つまりブロックのR、G,Bの各成分の平均値(RAVR,GAVR,BAVR)としてもよい。
The
次に、評価画像生成部50は、2画像の各ブロックの画像特性値を比較して(S6)、その差分が最も小となるブロック同士を一致度の高いブロックとして関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動する際のブロックの移動先への方向と距離を規定するデータである移動ベクトルを演算導出し(S7)、当該移動ベクトルに基づいて一方の画像の該当ブロックを移動した評価画像を生成する(S8)。例えば、図4(c)、(d)の場合、一方の画像のブロックa11,a12,a13,a14に対して他方の画像のブロックa21,a22,a23,a24(これ以外も存在するが例として各4ブロックについて説明する)がそれぞれ一致度の高いブロックとして関連付けられ、一方の画像のブロックa11,a12,a13,a14を他方の画像のブロックa21,a22,a23,a24に移動するための移動ベクトルV11,V12,V13,V14が導出され、図4(e)に示す評価画像が得られるのである。ここで、ステップS6で各ブロックの画像特性値の差分が何れの組合せにおいても所定の閾値(実験等により適宜設定される値である。)よりも大となるときに一致度の高いブロックが存在しないと判別し、当該ブロックを評価画像の構成ブロックから除外するように構成してある。
Next, the evaluation
前記評価部51は、前記評価画像の各ブロックとそれぞれに対応する位置にある他方の画像のブロックとの前記画像特性値の差分を演算し(S9)、求められた差分を前記評価画像を構成する全ブロックについて加算した類似評価値を求める(S10)。そして、類似評価値が所定の評価閾値(実験等により適宜設定される値である。)よりも小となるときに2画像が類似シーンであると判別し、所定の閾値以上のときには非類似シーンであると判別する(S11,S12,S13)。つまり、図4(e)に示す評価画像を構成するブロック(図中ハッチングで示されるブロック)と図4(f)に示す他の画像の対応するブロックが対比され類似評価値が演算されるのである。ここで、評価画像生成部50により生成された評価画像を構成するブロック数が所定数より小となるときには、評価画像と他方の画像との対比の精度が低下するため、両画像は画像類似シーンでないと判別する。このときのブロック数は特に限定されるものではないが、少なくとも分割された全ブロック数の1/2から2/3のブロック数の範囲に設定されることが好ましい。このような類似シーン判別処理を全ての画像に対して終了すると(S14)、プレジャッジ処理に移行する。
The
プレジャッジ処理では、読み込まれたコマ画像を所定数、例えば6コマ単位で一画面に表示されるサムネイル画像に対して自動モードまたはマニュアルモードで階調補正部54による階調補正処理、カラー補正部53によるカラー補正処理、歪補正部55による歪補正処理等が施され、それぞれの補正パラメータがメモリ41の区画領域に格納される一方、オーダー処理部43で処理されるプリントサイズに基づく倍率変換のためのパラメータ等がメモリ41の区画領域に格納される。
In the pre-judge process, the gradation correction process by the
自動モードによる階調補正処理とは予め設定されるルックアップテーブル(図示せず)に基づいて入力画素を一律にテーブル変換して所定の階調に変換する処理をいい、マニュアルモードによる階調処理とはグラフィックユーザーインターフェース部42を介して表示されるトーンカーブ編集ツールを介して各画像のトーンカーブを変更操作する処理をいい、これによりハイライト部やシャドウ部の階調が調整されるものである。また、自動モードによるカラー補正処理とはエバンスの定理に基づくLATD(Large Area Transmittance Density)方式による色補正処理等をいい、マニュアルモードによるカラー補正処理とはグラフィックユーザーインターフェース部42を介して表示されるYMC各色成分補正ツールを介して各画像の色成分を標準値であるレベル0から±2の五段階で変更操作する処理等をいう。尚、これら以外の公知の補正処理を用いるものであってもよい。
The gradation correction process in the automatic mode is a process in which input pixels are uniformly converted into a predetermined gradation based on a preset lookup table (not shown), and the gradation process in the manual mode is performed. Is a process of changing the tone curve of each image via the tone curve editing tool displayed via the graphic
このようにして各コマ画像の補正パラメータが生成され、当該補正パラメータに基づいて高解像度の画像データが補正処理され、最終のプリント出力のためのプリントデータが生成されるのであるが、本発明では上述したように前記類似シーン判別部48で類似シーンと判別された画像データに対する補正パラメータが前記画像補正制限部56により制限されるように構成されている。具体的には、トーンカーブ編集ツールによる階調補正パラメータやYMC各色成分補正ツールによる色補正パラメータが類似シーンの画像に対して、その平均値を新たな補正パラメータとして設定し、或いは、類似シーンと判別された各画像に対する夫々の補正パラメータをそれらの中の特定の画像に対する補正パラメータ、例えば中央値を示す補正パラメータに置き換え、或いは、中央値を示す特定の画像に対する補正パラメータを基準とする所定範囲に他の類似シーンの画像の補正パラメータを丸め込むように処理されるのである。尚、前記画像補正制限部56により制限される補正パラメータはこれらに限定されるものではない。
In this way, correction parameters for each frame image are generated, high-resolution image data is corrected based on the correction parameters, and print data for final print output is generated. As described above, the image
このようにして、類似シーンを撮影した写真画像に対する写真プリントの品質、つまり階調性や色合いが著しく異なるような不都合なプリントが出力されるようなことが回避されるのである。 In this way, it is possible to avoid the output of inconvenient prints with markedly different photographic print quality, i.e. gradation and hue, for photographic images taken of similar scenes.
以下に別実施形態を説明する。画像のブロック分割に際しては、主要被写体である人物の顔領域を検出する被写体検出手段を備え、検出された顔領域の大きさをブロックサイズとして設定することもできる。また、対比する両画像の特異な領域例えば、周囲の色調と異なる色調の領域を検出してその領域の大きさをブロックサイズとして設定することもできる。つまり、両画像間に共通して含まれる特定の被写体を検出し、その被写体のサイズをブロックのサイズとして設定するものであってもよい。 Another embodiment will be described below. When the image is divided into blocks, subject detection means for detecting the face area of the person who is the main subject is provided, and the size of the detected face area can be set as the block size. It is also possible to detect a peculiar region of both images to be compared, for example, a region having a color tone different from the surrounding color tone, and set the size of the region as a block size. That is, a specific subject included in common between both images may be detected, and the size of the subject may be set as the block size.
上述した実施形態では、評価部51が前記評価画像の各ブロックとそれぞれに対応する位置にある他方の画像のブロックとの前記画像特性値の差分を前記評価画像を構成する全ブロックについて加算した類似評価値に基づいて対比する二画像が類似シーンであるか否かを判別するものを説明したが、これに加えて、或いはこれに代えて、前記評価画像を構成する各ブロックの移動ベクトルと画像特性値の相関関係に基づいて対比する二画像が類似シーンであるか否かを判別するように構成することも可能である。
In the above-described embodiment, the
つまり、類似シーンの画像は同一の被写体が連続撮影されるときに発生するものであり、被写体が静止しており一方の画像を撮影した後に撮影アングルを上下左右或いは斜め方向に変更して他方の画像を撮影するときには、評価画像生成部により生成された評価画像の各ブロックはほぼ全てが同一の移動ベクトルを示すようになり、他方の画像の撮影時に撮影アングルを変えずに主要被写体のみが移動したときには、評価画像の背景に対応するブロックのベクトルはゼロを示す一方主要被写体に対応するブロックが同一の移動ベクトルを示すようになる。このように、類似シーンでは各ブロックを移動ベクトルの等しいまたは近似する単一または複数のブロック群にグループ分けできるのでその傾向に基づいて判別するのである。例えば、隣接する複数のブロックの各移動ベクトルがほぼ同一の値を示すようなブロックのグループがある場合に類似シーンと判別することができるのである。尚、類似シーンで無い場合には各移動ベクトルとブロックに相関関係が見られず無秩序になる点で明確に判別できる。 In other words, images of similar scenes are generated when the same subject is continuously shot. After the subject is stationary, the shooting angle is changed to up, down, left, right, or diagonal after shooting one image. When shooting an image, almost all blocks of the evaluation image generated by the evaluation image generation unit show the same movement vector, and only the main subject moves without changing the shooting angle when shooting the other image. In this case, the block vector corresponding to the background of the evaluation image shows zero, while the block corresponding to the main subject shows the same movement vector. In this way, in a similar scene, each block can be grouped into a single block group or a plurality of block groups having the same or similar movement vectors, and therefore, discrimination is made based on the tendency. For example, when there is a group of blocks in which the movement vectors of a plurality of adjacent blocks show almost the same value, it can be determined as a similar scene. If the scene is not similar, it can be clearly discriminated in that there is no correlation between the respective movement vectors and the blocks, resulting in disorder.
上述した実施形態では、画像補正制限部は、画像補正部により全コマ画像に対する補正パラメータが導出された後に類似シーンと判別された画像に対する補正パラメータの制限処理を行なうものを説明したが、補正パラメータの制限処理は画像補正部により各コマ画像に対する補正パラメータが導出された後に個別に行なわれるものであってもよい。この場合に類似シーンの画像で先に設定されたコマ画像に対する補正パラメータを次のコマ画像にそのまま反映させることができ、そのコマ画像で修正操作された補正パラメータを先のコマ画像に反映させるように構成してもよい。 In the above-described embodiment, the image correction restriction unit has been described to perform the correction parameter restriction process for an image determined to be a similar scene after the correction parameters for all frame images are derived by the image correction unit. This restriction process may be performed individually after the correction parameters for each frame image are derived by the image correction unit. In this case, the correction parameter for the previously set frame image in the image of the similar scene can be reflected in the next frame image as it is, and the correction parameter corrected in the frame image is reflected in the previous frame image. You may comprise.
上述した実施形態では、類似シーンと判別された画像に対して所定の処理を行なう画像処理部が、類似シーン判別部により類似シーンと判別された画像に対して画像補正部による画像補正処理条件を制限する画像補正制限部で構成されるものを説明したが、類似シーンと判別された画像に対して所定の処理を行なう画像処理部としては、これに限定されるものではなく、例えば、類似シーンのコマ画像をグループ化するグルーピング処理部を設け、グループ化されたコマ画像群毎にアルバム編集するアルバム編集部を設ける等、類似シーンと判別された画像に対する任意の画像処理を行なうことが可能である。 In the above-described embodiment, the image processing unit that performs a predetermined process on the image determined as the similar scene sets the image correction processing condition by the image correction unit for the image determined as the similar scene by the similar scene determination unit. Although the description has been given of the image correction limiting unit that restricts the image processing unit, the image processing unit that performs predetermined processing on the image determined to be a similar scene is not limited to this. For example, a similar scene It is possible to perform arbitrary image processing on images that have been identified as similar scenes, such as providing a grouping processing unit for grouping frame images and an album editing unit for editing an album for each grouped frame image group. is there.
上述した実施形態では、画像処理装置及び画像処理方法を写真処理装置に実現した場合を説明したが、本発明による画像処理装置及び画像処理方法は一般のパーソナルコンピュータ上でも実現可能である。また、画像処理装置を実現するハードウェアの詳細な構成は本発明の作用効果を奏する範囲で適宜公知の技術を用いて設計可能である。 In the above-described embodiment, the case where the image processing apparatus and the image processing method are realized in the photographic processing apparatus has been described. However, the image processing apparatus and the image processing method according to the present invention can also be realized on a general personal computer. In addition, the detailed configuration of the hardware that implements the image processing apparatus can be appropriately designed using a known technique as long as the effects of the present invention are achieved.
48:類似シーン判別部
49:ブロック分割部
50:評価画像生成部
51:評価部
52:画像補正部
56:画像補正制限部
48: Similar scene discrimination unit 49: Block division unit 50: Evaluation image generation unit 51: Evaluation unit 52: Image correction unit 56: Image correction restriction unit
Claims (6)
類似シーン判別部は、対比する二画像のそれぞれを所定サイズの複数のブロックに領域分割して各ブロックの画像特性値を求めるブロック分割部と、両画像間で前記画像特性値の一致度の高いブロック同士を関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置した評価画像を生成する評価画像生成部と、生成された評価画像と他方の画像に基づいて対比する二画像が類似シーンであるか否かを判別する評価部を備えて構成される画像処理装置。 An image processing apparatus configured to include a similar scene determination unit that determines similarity between a plurality of input images, and an image processing unit that performs a predetermined process on an image determined to be a similar scene,
The similar scene discriminating unit divides each of the two images to be compared into a plurality of blocks of a predetermined size to obtain an image characteristic value of each block, and the image characteristic value is highly consistent between the two images An evaluation image generation unit that generates an evaluation image in which blocks are associated with each other and a block of one image is moved to the position of the associated block of the other image, and the generated evaluation image and the other image are compared An image processing apparatus including an evaluation unit that determines whether or not two images are similar scenes.
類似シーン判別ステップは、対比する二画像のそれぞれを所定サイズの複数のブロックに領域分割して各ブロックの画像特性値を求めるブロック分割ステップと、両画像間で前記画像特性値の一致度の高いブロック同士を関連付け、一方の画像のブロックを関連付けられた他方の画像のブロックの位置に移動配置した評価画像を生成する評価画像生成ステップと、生成された評価画像と他方の画像に基づいて対比する二画像が類似シーンであるか否かを判別する評価ステップを備えて構成される画像処理方法。 An image processing method comprising: a similar scene determination step for determining similarity between a plurality of input images; and an image processing step for performing predetermined processing on an image determined as a similar scene,
The similar scene discrimination step includes a block division step for obtaining an image characteristic value of each block by dividing each of the two images to be compared into a plurality of blocks of a predetermined size, and a high degree of coincidence of the image characteristic values between the two images. An evaluation image generation step for generating an evaluation image in which blocks are associated with each other and a block of one image is moved to the position of the associated block of the other image, and the generated evaluation image is compared with the other image An image processing method comprising an evaluation step for determining whether or not two images are similar scenes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117754A JP2006301675A (en) | 2005-04-15 | 2005-04-15 | Image processor and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005117754A JP2006301675A (en) | 2005-04-15 | 2005-04-15 | Image processor and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006301675A true JP2006301675A (en) | 2006-11-02 |
Family
ID=37469933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005117754A Pending JP2006301675A (en) | 2005-04-15 | 2005-04-15 | Image processor and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006301675A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001510A1 (en) * | 2007-06-28 | 2008-12-31 | Panasonic Corporation | Image processing device, image processing method, and program |
WO2014081006A1 (en) * | 2012-11-22 | 2014-05-30 | 株式会社 東芝 | Ultrasonic diagnostic device, image processing device, and image processing method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077723A (en) * | 2000-09-01 | 2002-03-15 | Minolta Co Ltd | Moving image processor and moving image processing method and recording medium |
JP2004118718A (en) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | Method and device for detecting scene changing point, as well as program thereof |
-
2005
- 2005-04-15 JP JP2005117754A patent/JP2006301675A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002077723A (en) * | 2000-09-01 | 2002-03-15 | Minolta Co Ltd | Moving image processor and moving image processing method and recording medium |
JP2004118718A (en) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | Method and device for detecting scene changing point, as well as program thereof |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001510A1 (en) * | 2007-06-28 | 2008-12-31 | Panasonic Corporation | Image processing device, image processing method, and program |
US8417059B2 (en) | 2007-06-28 | 2013-04-09 | Panasonic Corporation | Image processing device, image processing method, and program |
WO2014081006A1 (en) * | 2012-11-22 | 2014-05-30 | 株式会社 東芝 | Ultrasonic diagnostic device, image processing device, and image processing method |
CN104114102A (en) * | 2012-11-22 | 2014-10-22 | 株式会社东芝 | Ultrasonic diagnostic device, image processing device, and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7042501B1 (en) | Image processing apparatus | |
JP4978378B2 (en) | Image processing device | |
US7333242B2 (en) | Test print producing method and photograph image printing method using the same | |
US7200280B2 (en) | Image processing apparatus | |
US7356167B2 (en) | Image processing apparatus and image processing method for correcting image data | |
JP4798446B2 (en) | Photographed image correction method and photographed image correction module | |
JP2007249802A (en) | Image processor and image processing method | |
JP4830923B2 (en) | Image processing apparatus and image processing method | |
JP2005148915A (en) | Proper face discrimination method and apparatus for implementing the method | |
JP4655210B2 (en) | Density correction curve generation method and density correction curve generation module | |
JP4385964B2 (en) | Photo image processing method and photo image processing apparatus | |
JP4441876B2 (en) | Photographed image processing method, photographed image processing program, and photographed image processing apparatus | |
JP2005159387A (en) | Method of determining density characteristic curve and density correction management apparatus for executing this method | |
JP2006301675A (en) | Image processor and image processing method | |
JP4731202B2 (en) | Color correction processing method and color correction processing apparatus using the same | |
JP2007201655A (en) | Image processing apparatus | |
JP4284604B2 (en) | Contrast adjustment method and contrast adjustment apparatus for implementing the method | |
US7272257B2 (en) | Method for determining whether photographic image is different-color-structure photographic image and photographic image processing apparatus | |
JP2006072743A (en) | Catch light composition method and device | |
EP1562145B1 (en) | Image processing apparatus and image processing method for correcting image data | |
JP4063971B2 (en) | Image processing method and apparatus | |
JP2005072850A (en) | Adjusting method of three dimensional lut and color conversion system equipped with three dimensional lut | |
JP4635884B2 (en) | Image processing apparatus and method | |
JP2006146646A (en) | Method and apparatus for processing photographic image | |
JP2009016940A (en) | Uniformity correction processing apparatus and uniformity correction processing method of frame image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101116 |