JP2006324987A - Photographic image processing method, photographic image processing program, and photographic image processing module - Google Patents
Photographic image processing method, photographic image processing program, and photographic image processing module Download PDFInfo
- Publication number
- JP2006324987A JP2006324987A JP2005146794A JP2005146794A JP2006324987A JP 2006324987 A JP2006324987 A JP 2006324987A JP 2005146794 A JP2005146794 A JP 2005146794A JP 2005146794 A JP2005146794 A JP 2005146794A JP 2006324987 A JP2006324987 A JP 2006324987A
- Authority
- JP
- Japan
- Prior art keywords
- image
- accuracy
- input
- scene
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正する撮影画像処理方法と撮影画像処理プログラムと撮影画像処理モジュールに関する。 The present invention relates to a captured image processing method, a captured image processing program, and a captured image processing module that correct an input captured image in consideration of a captured scene of an input captured image.
現在、デジタルカメラによって取得されたデジタル撮影画像のみならず、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムと略称する)に形成された撮影画像もフィルムスキャナを通じてデジタル画像化され、デジタルデータに基づいてプリントヘッドから発せられる光ビームやインク滴を制御し、この制御された光ビームやインク滴によって感光材料や記録紙をプリント走査して画像を形成し、写真プリントを出力する写真プリント装置が広まっている。このような写真プリント装置によれば、デジタルデータ化された撮影画像に対して種々の画像補正処理を行うことができるので、階調調整、カラーバランス調整、色/濃度調整等を好適に行うことで、高品位な写真プリントを得ることができる。画像補正を行うためにデジタルミニラボに搭載されている従来の撮影画像処理装置において、例えば、画像補正を行うためには、一般的に、C(シアン)、M(マゼンタ)およびY(イエロー)の3つの色調整キー、階調調整キー、コントラスト調整キー、濃度調整キー、鮮鋭度強調キー等の各種の画像補正モジュールを調整するための調整キーを操作しなければならないが、これらのキーをどの程度調整すると、画像がどのように変化するかの判断は、非常に難しく、これを迅速かつ適正に判断できるようになるまでには、長い経験と知識が必要となる。そのため、経験や技術が十分ではないオペレータでは、適正に画像を修正するのに、非常に多くの時間がかかる。 Currently, not only digital photographed images acquired by digital cameras but also photographed images formed on photographic films (hereinafter abbreviated as films) such as negative films and reversal films are converted into digital images through film scanners and converted into digital data. A photographic printing apparatus that controls a light beam and ink droplets emitted from a print head based on this, prints and scans a photosensitive material and recording paper with the controlled light beam and ink droplets, and outputs a photographic print. It is widespread. According to such a photographic printing apparatus, it is possible to perform various image correction processes on the captured image that has been converted into digital data, so that gradation adjustment, color balance adjustment, color / density adjustment, and the like are preferably performed. Thus, high-quality photographic prints can be obtained. In a conventional captured image processing apparatus installed in a digital minilab for performing image correction, for example, in order to perform image correction, generally, C (cyan), M (magenta), and Y (yellow) are used. There are three color adjustment keys, gradation adjustment keys, contrast adjustment keys, density adjustment keys, sharpness enhancement keys, and other adjustment keys for adjusting various image correction modules. When the degree of adjustment is adjusted, it is very difficult to determine how the image changes, and a long experience and knowledge are required before it can be determined quickly and appropriately. For this reason, an operator who does not have sufficient experience and skill takes a great deal of time to properly correct an image.
このような問題を解消するため、情報を表示する情報表示手段と、画像とともに少なくとも色バランスと濃度に関する所定の補正条件に対応付けられ且つ自然言語で記述された補正内容項目を選択するための補正内容選択部を前記情報表示手段に表示させる表示制御手段と、前記補正内容選択部より補正内容項目が選択された場合選択された補正内容項目に対応付けられた補正条件に基づいて前記情報表示手段に表示された画像を補正する画像補正手段とを有する画像処理装置が提案されている(例えば、特許文献1参照。)。このような画像処理装置では、表示制御手段は、撮影画像及び自然言語で記述された補正内容項目を選択するための補正内容選択部を情報表示手段(ディスプレイ)に表示させることで、色バランスや濃度補正に精通していない者でも画像の検定作業を円滑に実行することを意図していたが、上記補正内容項目としては、極めて主観的な言い回し、例えば「くっきり」、「はなやかに」、「明るく」等を通じて補正内容を決定することから、個人差が大きく、何人かのオペレータによる補正操作を通じてプリント出力する場合、統一性のある写真プリントが得られないという問題点が生じる。 In order to solve such problems, information display means for displaying information, and correction for selecting correction content items that are associated with at least a predetermined correction condition relating to color balance and density together with an image and described in a natural language Display control means for displaying a content selection section on the information display means, and the information display means based on correction conditions associated with the correction content item selected when the correction content item is selected from the correction content selection section An image processing apparatus having an image correction unit that corrects an image displayed on the screen has been proposed (see, for example, Patent Document 1). In such an image processing apparatus, the display control unit displays a correction content selection unit for selecting the correction content item described in the captured image and the natural language on the information display unit (display), so that the color balance and Even those who are not familiar with density correction intended to perform the image verification work smoothly, but as the above correction content items, for example, “crisp”, “smooth”, “ Since the correction contents are determined through “bright” or the like, there is a problem that there is a large individual difference, and when a print output is made through a correction operation by some operators, a uniform photo print cannot be obtained.
さらに、撮影画像からの情報で撮影シーンを自動判定する困難さを低減するために、取得した画像ファイルに画像処理制御情報が含まれている場合には、画像処理制御情報によって指定される画像処理モードに従って画像データに対する画質調整処理を実行し、取得した画像ファイルに画像処理制御情報が含まれていない場合には、Exif情報を用いて画像処理モードを選択して、画像データに対する画質調整処理を実行するように構成され、その際、Exif情報に選択された撮影モードが記述されている場合には、撮影モードを用いて画像処理モードを選択し、撮影モードが記述されていない場合には、他の撮影条件を用いて画像処理モードを選択する画像処理装置も提案されている(例えば、特許文献2参照。)。Exifなどの撮影画像フォーマットに含まれている撮影モードを利用して撮影シーンを特定することで、撮影画像からの情報で撮影シーンを自動判定するよりは信頼性を高めようとしているが、撮影モードから判定することが困難な撮影シーンも数多く存在しており、プリント品質の向上のためにはまだ不十分である。 Furthermore, in order to reduce the difficulty of automatically determining a shooting scene from information from a shot image, if the acquired image file includes image processing control information, the image processing specified by the image processing control information is performed. When image quality adjustment processing is performed on image data according to the mode and image processing control information is not included in the acquired image file, an image processing mode is selected using Exif information, and image quality adjustment processing on image data is performed. In this case, when the selected shooting mode is described in the Exif information, the image processing mode is selected using the shooting mode, and when the shooting mode is not described, An image processing apparatus that selects an image processing mode using other imaging conditions has also been proposed (see, for example, Patent Document 2). By specifying a shooting scene by using a shooting mode included in a shooting image format such as Exif, an attempt is made to improve reliability compared to automatic determination of a shooting scene based on information from a shot image. There are many shooting scenes that are difficult to judge from the above, and it is still insufficient for improving print quality.
特定の撮影シーンを自動判定する技術として、取り込まれた画像データについて少なくとも逆光シーンのデータか夜間撮影シーンのデータかそれ以外のデータかを判別するシーン判別手段と、そのシーン判別手段により逆光シーンのデータまたは夜間撮影シーンのデータであると判別された場合、背景データを取り除いて露出状態を判定する被写体露出判定手段と、その被写体露出判定手段の判定結果に基づいて異なった画像補正を行う補正手段とを備えた画像処理装置が知られている(例えば、特許文献3参照。)。しかしながら、撮影場所、季節、構図、露出など種々の撮影条件が存在する撮影画像において逆光シーンや夜間撮影シーンの判定だけで撮影画像を補正しても、満足できないケースが少なくないという問題が生じる。 As a technique for automatically determining a specific shooting scene, scene determination means for determining whether the captured image data is at least backlight scene data, night shooting scene data, or other data, and the scene determination means Subject exposure determination means for determining the exposure state by removing background data when it is determined to be data or data of a night scene, and correction means for performing different image correction based on the determination result of the subject exposure determination means Is known (see, for example, Patent Document 3). However, there is a problem that there are not many cases where the captured image is not satisfied even if the captured image is corrected only by determining the backlight scene or the night-time captured scene in the captured image in which various shooting conditions such as the shooting location, season, composition, and exposure exist.
撮影シーンの重要なものとして人物が被写体となっているシーンが挙げられるが、肌色の補正技術として、肌色を検出した後、その肌色領域に人間の顔の画像パターンが存在するかどうかを確認し、顔として認識された場合その色を記憶色に基づいて補正するために、予想可能な周知の色(記憶色)を有するパターン領域(顔)を含むデジタル表現に変換された写真画像の肌色を補正する画像処理方法が知られている(例えば、特許文献4参照。)いる。この方法では、人間の顔などの画像パターンの存在、位置、および、たとえば、少なくとも近似的な寸法が検出され、この画像パターンの色が測定され、置換色の値(人肌の記憶色)に基づいてその画像パターンの色が補正される。この画像処理方法では、入力した写真画像全体から顔検出を行い、検出された顔から肌色を検索して、その色補正を行うことになるが、このように写真画像(撮影画像)全体から特定の撮影シーン(この場合は顔を被写体とするシーン)を特定していくことには技術的な困難度が高く、特に顔以外の種々の撮影シーンを特定するには演算負荷を高める大きな処理アルゴリズムが必要となる。 An important shooting scene is a scene in which a person is the subject, but as a skin color correction technique, after detecting the skin color, it is confirmed whether an image pattern of a human face exists in the skin color area. When the face is recognized, the skin color of the photographic image converted into a digital representation including a pattern area (face) having a known color (memory color) that can be predicted is corrected to correct the color based on the memory color. An image processing method to be corrected is known (for example, see Patent Document 4). In this method, the presence, position, and, for example, the approximate size of an image pattern such as a human face is detected, the color of this image pattern is measured, and the replacement color value (human skin memory color) is obtained. Based on this, the color of the image pattern is corrected. In this image processing method, face detection is performed from the entire input photographic image, skin color is searched from the detected face, and color correction is performed. In this way, identification is performed from the entire photographic image (photographed image). It is technically difficult to specify a shooting scene (in this case, a scene with a face as a subject), and a large processing algorithm that increases the computational load especially to specify various shooting scenes other than the face Is required.
上記実状に鑑み、本発明の課題は、処理負担がかからない簡単なアルゴリズムで撮影シーンを特定して、その撮影シーンに適応した補正が可能となる撮影画像処理技術を提供することである。 In view of the above situation, an object of the present invention is to provide a photographed image processing technique that enables a scene to be identified by a simple algorithm that does not impose a processing burden and that can be corrected in accordance with the scene.
上記課題を解決するため、本発明による、入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正する撮影画像処理方法は、前記入力撮影画像を複数の区画に分割するステップと、前記分割された区画の画像特徴量である区画特徴量を算出するステップと、前記区画特徴量から前記入力撮影画像に割り当てられる撮影シーンの確度を算定するステップと、前記撮影シーンの確度から前記入力撮影画像に対する補正度を決定するステップとからなる。 In order to solve the above problems, a captured image processing method for correcting an input captured image in consideration of a captured scene of the input captured image according to the present invention includes a step of dividing the input captured image into a plurality of sections, and the division A step of calculating a section feature amount that is an image feature amount of the section, a step of calculating an accuracy of a shooting scene assigned to the input captured image from the section feature amount, and an input captured image from the accuracy of the shooting scene. Determining the degree of correction for.
この方法では、入力された撮影画像を一旦複数の区画に分割し、各分割された区画の画像特徴量(輝度、色相、彩度など)を算出し、区画毎の画像特徴量からその撮影画像全体を支配している撮影シーンの確度、例えば、逆光撮影シーン、人物撮影シーン、風景撮影シーンなどの確度を算定し、そのように撮影画像に割り当てられた撮影シーンの確度に基づいて補正度を決定する。つまり、分割された区画単位の画像特徴量の組み合わせにより該当撮影画像に割り当てる撮影シーンの確度を算定するため、撮影シーンの割り当てアルゴリズムが簡単になるとともに、単一の撮影シーンを断定的に割り当てるのではなくその確度を算定するため、不確かなケースでは弱めの補正を施し、可能性が高いケースでは強めの補正を施すことが可能となるので、簡単化されたアルゴリズムにもかかわらず、違和感のない商品性の高い画像補正が実現する。 In this method, the input captured image is once divided into a plurality of sections, image feature amounts (luminance, hue, saturation, etc.) of each divided section are calculated, and the captured image is calculated from the image feature amounts for each section. The accuracy of the shooting scene that dominates the whole, for example, the accuracy of backlight shooting scenes, person shooting scenes, landscape shooting scenes, etc. is calculated, and the correction degree is calculated based on the accuracy of the shooting scenes assigned to the shot images as such. decide. In other words, since the accuracy of the shooting scene to be assigned to the corresponding shot image is calculated based on the combination of the image feature quantities of the divided sections, the shooting scene assignment algorithm is simplified, and a single shooting scene is assigned deterministically. Rather than calculating the accuracy, it is possible to apply a weak correction in the uncertain case and a strong correction in the likely case, so there is no sense of incongruity despite the simplified algorithm Highly productive image correction is realized.
算定された撮影シーンの確度からその撮影シーンに適応する補正度を決定する処理を、簡単かつ高速に行うために、本発明の好適な実施形態の1つでは、前記撮影シーンの確度と補正度との関係を予め定義している補正度テーブルが前もって実験的かつ経験的に作成され、この補正度テーブルを用いて前記撮影シーンの確度から前記入力撮影画像に対する補正度が決定されるように構成されている。 In order to perform the process of determining the correction degree adapted to the shooting scene from the calculated shooting scene accuracy easily and at high speed, in one of the preferred embodiments of the present invention, the accuracy and correction degree of the shooting scene are described. A degree-of-correction table that predefines the relationship between the input image and the input photographed image is determined based on the accuracy of the shooting scene using the degree-of-correction table. Has been.
入力した撮影画像に割り当てるべき撮影シーンは、例えば逆光撮影シーン、人物撮影シーン、空風景撮影シーン、山風景撮影シーンといったように、多種類存在するが、それぞれの撮影シーンの典型的な画像特徴量をもつ領域はある程度決まっている。例えば、人物撮影シーンを決定づける画像特徴量は撮影画像の中心部に偏り、空風景撮影シーンを決定づける画像特徴量は撮影画像の上端領域に偏る傾向がある。このような傾向を効果的に利用するため、本発明の好適な実施形態の1つでは、前記撮影シーンの種別に応じてこの撮影シーンの確度を算定するために用いられる区画が変更されるように構成されている。 There are many types of shooting scenes that should be assigned to the input shot images, such as backlight shooting scenes, person shooting scenes, sky landscape shooting scenes, and mountain landscape shooting scenes. The area with is determined to some extent. For example, the image feature amount that determines the person-captured scene tends to be biased toward the center of the captured image, and the image feature amount that determines the sky-landscape scene tends to be biased toward the upper end region of the captured image. In order to effectively use such a tendency, in one preferred embodiment of the present invention, the section used for calculating the accuracy of the shooting scene is changed according to the type of the shooting scene. It is configured.
DPショップで取り扱われる写真プリントにおいて特に重要となる被写体は人物であり、その撮影条件として重要なパラメータは、光の当たり方(逆光又は順光)であることを考慮するならば、前記撮影シーンの確度として風景、人物、逆光、順光の確度が算定され、前記逆光と順光の確度からグレーポイント増減に関する補正度が決定されるとともに、前記風景と人物の確度から彩度増減に関する補正度が決定されることは、好都合である。 The subject that is particularly important in the photographic prints handled in the DP shop is a person, and if the important parameter as the shooting condition is how the light strikes (backlight or direct light), The accuracy of landscape, person, backlight, and front light is calculated as the accuracy, and the correction degree regarding the gray point increase / decrease is determined from the accuracy of the backlight and the front light, and the correction degree regarding the saturation increase / decrease is determined from the accuracy of the landscape and the person. It is convenient to be determined.
本発明では、上述した入力撮影画像の撮影シーンを考慮して入力撮影画像を補正する撮影画像処理方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。 In the present invention, a program for causing a computer to execute a captured image processing method for correcting an input captured image in consideration of a captured scene of the input captured image described above and a medium on which the program is recorded are also subject to rights.
さらに、本発明では、上述した入力撮影画像の撮影シーンを考慮して入力撮影画像を補正する撮影画像処理方法を実施する撮影画像処理モジュールも権利の対象としており、そのような撮影画像処理モジュールは、前記入力撮影画像を複数の区画に分割する撮影画像分割部と、前記分割された区画の画像特徴量である区画特徴量を算出する画像特徴量算出部と、前記区画特徴量から前記入力撮影画像に割り当てられる撮影シーンの確度を算定する撮影シーン確度算定部と、前記撮影シーンの確度から前記入力撮影画像に対する補正度を決定する撮影シーン適応補正部とから構成されている。当然ながら、このような撮影画像処理モジュールも上述した撮影画像処理方法で述べたすべての作用効果を得ることができ、さらに上述した好適な実施形態での方法を実施する機能を組み込むことも可能である。特に、前もって実験的かつ経験的に作成された、前記撮影シーンの確度と補正度との関係を予め定義している補正度テーブルをルックアップテーブル化して、撮影シーンの確度から直接補正度が引き出せるようにすることで、処理の高速化が実現する。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
Furthermore, in the present invention, a captured image processing module that implements a captured image processing method for correcting an input captured image in consideration of the captured scene of the input captured image described above is also subject to rights. A captured image dividing unit that divides the input captured image into a plurality of sections, an image feature amount calculating unit that calculates a section feature amount that is an image feature amount of the divided section, and the input shooting from the section feature amount. A shooting scene accuracy calculation unit that calculates the accuracy of a shooting scene assigned to an image, and a shooting scene adaptive correction unit that determines a correction level for the input shot image from the shooting scene accuracy. Of course, such a captured image processing module can also obtain all the effects described in the above-described captured image processing method, and can further incorporate a function for performing the method in the preferred embodiment described above. is there. In particular, a correction degree table, which has been created experimentally and empirically in advance and predefines the relationship between the accuracy and the correction degree of the shooting scene, can be made into a lookup table, and the correction degree can be directly derived from the accuracy of the shooting scene. By doing so, the processing speed can be increased.
Other features and advantages of the present invention will become apparent from the following description of embodiments using the drawings.
本発明による、入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正する撮影画像処理の原理が図1に示されている。撮影画像(実際はデジタルカラー画像データ)が入力されると(#01)、その撮影画像が5×5といった適当なマトリックスサイズに分割される(#02)。分割された撮影画像である各分割区画に含まれている画素値を演算して分割区画毎にその画像特徴量が算出される(#03)。画像特徴量としては、輝度、色相、彩度などが挙げられる。逆光撮影シーン、人物撮影シーン、空風景撮影シーン、山風景撮影シーンといったような入力撮影画像に割り当てられるべき撮影シーン毎に、その典型的な画像特徴量を与える分割区画の組み合わせは決まっているので、そのような分割区画を組み合わせながら撮影シーンの確度を算定する(#04)。撮影シーンの確度が算定されると、所定の撮影シーンの確度を引数として補正度が返される補正度テーブルを必要に応じて指定して、グレーポイント増減のための補正度や彩度増減のための補正度などの内少なくとも1つの補正度を決定し、その補正度を用いて入力撮影画像を補正し、補正撮影画像を出力する(#05)。 FIG. 1 shows the principle of captured image processing for correcting an input captured image in consideration of a captured scene of the input captured image according to the present invention. When a captured image (actually digital color image data) is input (# 01), the captured image is divided into an appropriate matrix size of 5 × 5 (# 02). The pixel value included in each divided section, which is the divided photographed image, is calculated, and the image feature amount is calculated for each divided section (# 03). Examples of the image feature amount include luminance, hue, and saturation. The combination of divided sections that give typical image features is determined for each shooting scene that should be assigned to the input shooting image, such as a backlight shooting scene, a person shooting scene, a sky landscape shooting scene, and a mountain landscape shooting scene. Then, the accuracy of the shooting scene is calculated while combining such divided sections (# 04). When the accuracy of the shooting scene is calculated, a correction degree table that returns the correction degree with the accuracy of the predetermined shooting scene as an argument is designated as necessary, and the correction degree for increasing / decreasing gray points and saturation increase / decrease At least one of the correction degrees is determined, the input captured image is corrected using the correction degree, and a corrected captured image is output (# 05).
次に、上述した撮影画像処理を採用した顔領域のための色補正処理モジュールを搭載した写真プリント装置を説明する。図2はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Pに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション1Bと、現像済み写真フィルム2aやデジタルカメラ用メモリカード2bなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送などを行う操作ステーション1Aとから構成されている。
Next, a photographic printing apparatus equipped with a color correction processing module for a face area that employs the above-described photographed image processing will be described. FIG. 2 is an external view showing the photographic printing apparatus. This photographic printing apparatus includes a
この写真プリント装置はデジタルミニラボとも称せられるものであり、図3からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図2参照)。
This photo printing apparatus is also called a digital minilab. As can be understood from FIG. 3, the
上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。
A photographic
プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。
The
前記操作ステーション1Aのデスク状コンソールの上部位置には、写真フィルム2aの撮影画像コマから撮影画像データ(以下単に画像データ又は撮影画像と略称する)を2000dpiを超える解像度でもって取得することができるフィルムスキャナ20が配置されており、デジタルカメラ等に装着される撮影画像記録媒体2bとして用いられている各種半導体メモリやCD−Rなどから画像データを取得するメディアリーダ21は、この写真プリント装置のコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。
At the upper position of the desk-like console of the
この写真プリント装置のコントローラ3は、CPUを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図4に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ20やメディアリーダ21によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部31と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された画像データに対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した処理済み画像データに基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをCD−Rに書き込むための形式にフォーマットするフォーマッタ部37などが挙げられる。
The
画像入力部31は、撮影画像記録媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード2bの場合取り込んだ画像データにサムネイル画像データ(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ30に送り込む。
When the photographic image recording medium is the
プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット40、メモリ30に展開された画像データに対して各種画像処理を施す画像処理ユニット50を備えている。
The
画像処理ユニット50には、メモリ30に展開された画像データから撮影シーンを確度をもって特定するとともにその撮影シーンの確度から補正度を決定して画像データを補正する撮影画像処理モジュール60と、それ自体は公知な画像処理アルゴリズムに従って画像データの部分的又は全面的な補正を行うフォトレタッチモジュール70が基本的にはプログラムの形で実装されている。
The
撮影画像処理モジュール60は、図5に示すように、メモリ30に展開されている入力撮影画像を複数の区画に分割する撮影画像分割部61と、分割された区画の画像特徴量である区画特徴量を算出する画像特徴量算出部62と、この区画特徴量から入力撮影画像に割り当てられる撮影シーンの確度を算定する撮影シーン確度算定部63と、撮影シーンの確度と補正度との関係を前もって実験的かつ経験的に定義して撮影シーンの確度から直接補正度が引き出せるように構成されている複数のルックアップテーブルからなる補正度テーブル群64と、適切な補正度テーブルを前記補正度テーブル群64から選択するとともに撮影シーンの確度から入力撮影画像に対する補正度を決定して入力撮影画像を補正する撮影シーン適応補正部65とを備えている。
As shown in FIG. 5, the captured
このように構成された撮影画像処理モジュール60による撮影シーン確度の算出手順を以下に説明する。この画像処理の流れは、図6に示されているが、まず、フィルムスキャナ20やメディアリーダ21を通じて取り込まれてメモリ30に展開された撮影画像が画像分割部61によってこの実施形態では5×5のサブマトリックスに分割される(#10)。分割された各区画(サブマトリックス)に含まれている画素群が有する画像特徴量が画像特徴量算出部62によって算出される(#20)。ここでは、画像特徴量として輝度と色相と彩度の平均値が算出される。入力された撮影画像がRGB色空間で表現された画像データである場合、YCC系やHSV色相系への変換を通じて、輝度、色相、彩度が求められる。さらに、以下に続く処理のための前処理として、各区画の合計輝度、撮影画像の中央部と周辺部に位置する区画の輝度差、肌色領域を示している区画の数などを算出しておく。
A procedure for calculating the shooting scene accuracy by the shooting
続いて、各区画の画像特徴量に基づいて撮影シーンの確度が撮影シーン確度算定部63によって算定されるが、ここでは、まず、逆光撮影シーンと順光撮影シーンの確度が同時に逆光・順光判定として算定される(#30)。一般的に逆光シーンでは画像中央部が暗く、周辺部が明るいという事実に基づき、この逆光・順光判定には、撮影画像の中央部に位置する区画群と周辺部に位置する区画群との輝度差が用いられる。つまり、中央部区画群の輝度が周辺部区画群の輝度より小さい場合逆光シーンと判断し、逆に中央部区画群の輝度が周辺部区画群の輝度より大きい場合順光シーンと判断する。その際、極端な順光であるとみなされるスポット光という撮影シーンも考慮して、この逆光・順光シーンの確度の算定にあたって、上述した輝度差に基づき、スポット光である可能性が極めて高い場合「0」とし、それから順光である可能性が極めて高い場合「5」、さらに逆光である可能性が極めて高い場合「10」とすると好都合である。
Subsequently, the accuracy of the shooting scene is calculated by the shooting scene
次いで、風景撮影シーンと人物撮影シーンの確度が同時に風景・人物判定として算定される(#40)。この確度算定では、ステップ#30で行われた逆光・順光判定の結果も考慮し、撮影画像の輝度値や色相分布などから被写体が風景であるか人物であるかを所定の判定条件に合わせて判定し、その判定条件の満足度に応じて、風景撮影シーンの可能性が極めて高い場合「0」、人物撮影シーンの可能性が極めて高い場合「10」と設定し、残りは、0〜10の間の値を設定する。
Next, the accuracy of the landscape shooting scene and the person shooting scene is simultaneously calculated as landscape / person determination (# 40). In this accuracy calculation, the result of the backlight / front light determination performed in
続いて、この実施形態では、撮影画像に空が大きく含まれているかどうかを表している空撮影シーン確度の算定(#50)と、撮影画像に緑(森や樹木)が大きく含まれているかどうかを表している緑撮影シーン確度の算定(#60)が行われる。
空撮影シーン確度の算定のフローチャートが、図7に示されている。空撮影シーン確度の算定に用いられる撮影画像の分割区画は、図8に示すように、左端5区画と、右端5区画と、下端5区画と、上端5区画であり、その中で平均輝度が最も高い区画群が選択される(#51)。初期設定として空変数に0を代入してから(#52)、選択された区画群を構成する5区画から順次1つずつ区画を指定し、その指定区画に含まれている画素群が表す色相範囲が空色範囲に入っているかどうかをチェックし(#53)、空色範囲に入っている場合のみ空変数をインクリメントする(#54)。このチェック処理を選択された5区画の全ての区画に対して行い(#55)、最終的に得られる空変数の値が空撮影シーン確度となる。
緑撮影シーン確度の算定のフローチャートが、図9に示されている。緑撮影シーン確度の算定に用いられる撮影画像の分割区画は、図10に示すように、左半分15区画と、右半分15区画と、下半分15区画と、上半分15区画であり、その中で平均輝度が最も低い区画群が選択される(#61)。初期設定として緑変数に0を代入してから(#62)、選択された区画群を構成する15区画から順次1つずつ区画を指定し、その指定区画に含まれている画素群が表す色相範囲が緑色範囲に入っているかどうかをチェックし(#63)、緑色範囲に入っている場合のみ緑変数をインクリメントする(#64)。このチェック処理を選択された15区画の全ての区画に対して行い(#65)、最終的に得られる緑変数の値が緑撮影シーン確度となる。
Subsequently, in this embodiment, calculation of sky shooting scene accuracy (# 50) indicating whether or not the sky includes a large amount of sky in the captured image, and whether or not green (forest or tree) is largely included in the captured image. Calculation of the accuracy of the green shooting scene representing whether or not (# 60) is performed.
A flowchart for calculating the sky shooting scene accuracy is shown in FIG. As shown in FIG. 8, the divided sections of the captured image used for calculation of the sky shooting scene accuracy are the
A flowchart for calculating the green shooting scene accuracy is shown in FIG. As shown in FIG. 10, the divided sections of the captured image used for calculating the green shooting scene accuracy are the
このようにして、種々の撮影シーンの確度が算定されると、撮影シーン適応補正部65によって、所定の撮影シーンの確度をパラメータとして種々の画像補正パラメータに対する補正度が決定され、その補正度に基づいて入力撮影画像が補正される。この補正度の決定にあたっては、専用の補正度テーブル64が利用される。例えば、グレーレベルの補正を行うために用いられるグレーポイント増減量としての補正度の決定には、図11に示すような、前述した逆光・順光シーンの確度と風景・人物撮影シーンの確度を引数として与えることによりグレーポイント増減量が返される補正度テーブル64が用いられる。例を挙げると、逆光・順光シーンの確度が「8」で、風景・人物撮影シーンの確度が「9」の場合、つまり逆光での人物撮影である可能性がかなり高い場合、グレーポイント増減量が「14」となり、基準に較べて明るくなる補正が施されることになる。
また、彩度補正を行うために用いられる彩度増減量としての補正度の決定には、図12に示すような、前述した逆光・順光シーンの確度と風景・人物撮影シーンの確度を引数として与えることにより彩度増減量が返される補正度テーブル64が用いられる。例を挙げると、逆光・順光シーンの確度が「5」で、風景・人物撮影シーンの確度が「1」の場合、つまり順光での風景撮影である可能性がかなり高い場合、彩度増減量が「4」となり、基準に較べて彩度を上げて、風景の見栄えを良くする補正が施されることになる。
同様に、空撮影シーン確度が高い撮影画像に対しては被写体に空が明確に含まれている撮影画像に対して従来から用いられている補正処理を施し、緑撮影シーン確度が高い撮影画像に対しては被写体に緑(森林、森など)が明確に含まれている撮影画像に対して従来から用いられている補正処理を施すことになる。
When the accuracy of various shooting scenes is calculated in this way, the shooting scene
Further, in determining the correction degree as the saturation increase / decrease amount used for performing the saturation correction, the accuracy of the backlight / front light scene and the accuracy of the landscape / person photographing scene as described above are arguments as shown in FIG. Is used as a correction degree table 64 in which the saturation increase / decrease amount is returned. For example, if the accuracy of the backlight / front-light scene is “5” and the accuracy of the landscape / portrait scene is “1”, that is, if there is a high possibility that the scene is shot in front light, The increase / decrease amount is “4”, and the correction is performed to increase the saturation compared to the standard and improve the appearance of the landscape.
Similarly, for a shot image with high sky shooting scene accuracy, a conventionally used correction process is performed on the shot image in which the sky is clearly included in the subject to obtain a shot image with high green shooting scene accuracy. On the other hand, conventionally used correction processing is performed on a captured image in which green (forest, forest, etc.) is clearly included in the subject.
このように、撮影シーン確度算定部63によって算定された種々の撮影シーンの確度と、予め用意されている専用の補正度テーブル64を用いて撮影シーン適応補正部65が想定される撮影シーンに適応する補正を行うことで、高品質の顧客に喜ばれる写真プリントを作り出すことができる撮影画像の補正が実現する。
As described above, the shooting scene
上述した実施形態の説明では、本発明による撮影画像処理装置が、DPショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやDPショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよい。 In the description of the above-described embodiment, an example in which the photographed image processing apparatus according to the present invention is incorporated in a photo printing apparatus called a minilab installed in a DP shop has been taken up. You may incorporate in various photographic printing apparatuses, such as the installed self-service photographic printing apparatus.
上述した実施の形態では、画像出力手段としてのプリントステーション1Bは、印画紙Pに対し、レーザ式露光エンジンを備えたプリント露光部14で撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション1Bは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。
In the above-described embodiment, the
30:メモリ
60:撮影画像処理モジュール
61:画像分割部
62:画像特徴量算出部
63:撮影シーン確度算定部63
64:補正度テーブル(群)
65:撮影シーン適応補正部
30: Memory 60: Captured image processing module 61: Image dividing unit 62: Image feature amount calculating unit 63: Shooting scene
64: Correction degree table (group)
65: Shooting scene adaptive correction unit
Claims (6)
前記入力撮影画像を複数の区画に分割するステップと、
前記分割された区画の画像特徴量である区画特徴量を算出するステップと、
前記区画特徴量から前記入力撮影画像に割り当てられる撮影シーンの確度を算定するステップと、
前記撮影シーンの確度から前記入力撮影画像に対する補正度を決定するステップと、
からなることを特徴とする撮影画像処理方法。 In the captured image processing method for correcting the input captured image in consideration of the captured scene of the input captured image,
Dividing the input captured image into a plurality of sections;
Calculating a segment feature amount which is an image feature amount of the divided segment;
Calculating the accuracy of a shooting scene assigned to the input shot image from the section feature amount;
Determining a correction level for the input captured image from the accuracy of the captured scene;
A photographed image processing method comprising:
前記入力撮影画像を複数の区画に分割する機能と、
前記分割された区画の画像特徴量である区画特徴量を算出する機能と、
前記区画特徴量から前記入力撮影画像に割り当てられる撮影シーンの確度を算定する機能と、
前記撮影シーンの確度から前記入力撮影画像に対する補正度を決定する機能と、
をコンピュータに実現させる撮影画像処理プログラム。 In order to correct the input captured image in consideration of the captured scene of the input captured image,
A function of dividing the input photographed image into a plurality of sections;
A function of calculating a section feature amount that is an image feature amount of the divided section;
A function of calculating the accuracy of a shooting scene assigned to the input shot image from the section feature amount;
A function of determining a correction degree for the input photographed image from the accuracy of the photographing scene;
Photographic image processing program for realizing the above on a computer.
前記入力撮影画像を複数の区画に分割する撮影画像分割部と、
前記分割された区画の画像特徴量である区画特徴量を算出する画像特徴量算出部と、
前記区画特徴量から前記入力撮影画像に割り当てられる撮影シーンの確度を算定する撮影シーン確度算定部と、
前記撮影シーンの確度から前記入力撮影画像に対する補正度を決定する撮影シーン適応補正部と、
からなることを特徴とする撮影画像処理モジュール。 In the captured image processing module for correcting the input captured image in consideration of the captured scene of the input captured image,
A captured image dividing unit that divides the input captured image into a plurality of sections;
An image feature amount calculation unit that calculates a partition feature amount that is an image feature amount of the divided partition;
A shooting scene accuracy calculation unit that calculates the accuracy of a shooting scene assigned to the input shot image from the section feature amount;
A shooting scene adaptive correction unit that determines a correction level for the input shot image from the accuracy of the shooting scene;
A photographed image processing module comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005146794A JP4441876B2 (en) | 2005-05-19 | 2005-05-19 | Photographed image processing method, photographed image processing program, and photographed image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005146794A JP4441876B2 (en) | 2005-05-19 | 2005-05-19 | Photographed image processing method, photographed image processing program, and photographed image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006324987A true JP2006324987A (en) | 2006-11-30 |
JP4441876B2 JP4441876B2 (en) | 2010-03-31 |
Family
ID=37544323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005146794A Expired - Fee Related JP4441876B2 (en) | 2005-05-19 | 2005-05-19 | Photographed image processing method, photographed image processing program, and photographed image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4441876B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244769A (en) * | 2007-03-27 | 2008-10-09 | Seiko Epson Corp | Information processing method, information processor, program and storage medium |
JP2009059119A (en) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | Gradation correction device, gradation correction method and gradation correction program |
JP2011010162A (en) * | 2009-06-29 | 2011-01-13 | Canon Inc | Image processing apparatus, image processing method, and computer program |
US8160383B2 (en) | 2007-08-31 | 2012-04-17 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8743272B2 (en) | 2009-05-21 | 2014-06-03 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the apparatus and program thereof |
-
2005
- 2005-05-19 JP JP2005146794A patent/JP4441876B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244769A (en) * | 2007-03-27 | 2008-10-09 | Seiko Epson Corp | Information processing method, information processor, program and storage medium |
JP2009059119A (en) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | Gradation correction device, gradation correction method and gradation correction program |
EP2031868A3 (en) * | 2007-08-31 | 2010-04-14 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
JP4600448B2 (en) * | 2007-08-31 | 2010-12-15 | カシオ計算機株式会社 | Gradation correction apparatus, gradation correction method, and program |
US8009927B2 (en) | 2007-08-31 | 2011-08-30 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8126285B2 (en) | 2007-08-31 | 2012-02-28 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8160383B2 (en) | 2007-08-31 | 2012-04-17 | Casio Computer Co., Ltd. | Tone correcting apparatus providing improved tone correction on image |
US8743272B2 (en) | 2009-05-21 | 2014-06-03 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the apparatus and program thereof |
JP2011010162A (en) * | 2009-06-29 | 2011-01-13 | Canon Inc | Image processing apparatus, image processing method, and computer program |
US8463038B2 (en) | 2009-06-29 | 2013-06-11 | Canon Kabushiki Kaisha | Image processing apparatus and method for correcting an image based upon features of the image |
Also Published As
Publication number | Publication date |
---|---|
JP4441876B2 (en) | 2010-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7298380B2 (en) | Image processing method and apparatus for white eye correction | |
JP4496465B2 (en) | Red-eye correction method, program, and apparatus for implementing the method | |
JP2006107329A (en) | Photographed image processor | |
JP4798446B2 (en) | Photographed image correction method and photographed image correction module | |
JP4441876B2 (en) | Photographed image processing method, photographed image processing program, and photographed image processing apparatus | |
JP2005148915A (en) | Proper face discrimination method and apparatus for implementing the method | |
JP4655210B2 (en) | Density correction curve generation method and density correction curve generation module | |
JP2007249802A (en) | Image processor and image processing method | |
JP4441853B2 (en) | Face selection method for density correction and apparatus for carrying out this method | |
JP2005159387A (en) | Method of determining density characteristic curve and density correction management apparatus for executing this method | |
JP2008109203A (en) | Conversion table generating method for photographic image correction, and photographic printing device implementing method | |
JP4731202B2 (en) | Color correction processing method and color correction processing apparatus using the same | |
JP4284604B2 (en) | Contrast adjustment method and contrast adjustment apparatus for implementing the method | |
JP4793648B2 (en) | Image correction unit and image correction program | |
JP2006072743A (en) | Catch light composition method and device | |
JP2006059092A (en) | Catchlight synthesis method | |
JP4431980B2 (en) | Gradation correction method and color printing apparatus using the method | |
JP4655211B2 (en) | Generation method, generation program and generation module of correction characteristics used for contrast correction | |
JP2006059162A (en) | Tooth image correction method and device | |
JP2006072742A (en) | Catch light composition method and device | |
JP2008160704A (en) | Density correction curve generation method and density correction curve generation module | |
JP2008079196A (en) | Image correcting method, image correcting program and image correcting module | |
JP2006074742A (en) | Photographing scene correcting method, program, and photographing scene correction processing system implementing the method | |
JP4835900B2 (en) | Image processing method and image processing apparatus for image data from a digital camera | |
JP2008166963A (en) | Image density correction method and image processing unit executing its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090611 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091230 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |