JP2020155907A - Automatic color correction processing method and automatic color correction processing device - Google Patents
Automatic color correction processing method and automatic color correction processing device Download PDFInfo
- Publication number
- JP2020155907A JP2020155907A JP2019052070A JP2019052070A JP2020155907A JP 2020155907 A JP2020155907 A JP 2020155907A JP 2019052070 A JP2019052070 A JP 2019052070A JP 2019052070 A JP2019052070 A JP 2019052070A JP 2020155907 A JP2020155907 A JP 2020155907A
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- color correction
- image
- color
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 abstract description 17
- 239000011159 matrix material Substances 0.000 abstract description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000008878 coupling Effects 0.000 description 14
- 238000010168 coupling process Methods 0.000 description 14
- 238000005859 coupling reaction Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000000556 agonist Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、自動色補正処理方法及び自動色補正処理装置に関する。 The present invention relates to an automatic color correction processing method and an automatic color correction processing device.
色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Ｃｏｌｏｒ ｇｒａｄｉｎｇ）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート）を用いたカメラの色調整は色校正（カラーキャリブレーション）として、異なる機種のカメラ間の色合わせはカラーマッチングとして知られている。図１（ａ）は、複数のカメラ間の色合わせ（カラーマッチング）のために、それぞれ異なる視点から同一のカラーチャートを撮影する様子を示す概念図である。 Color correction processing including color gamut conversion and HDR conversion, or processing called color grading is the basis of video production. Color adjustment of a camera using a reference plate (color chart) is known as color calibration, and color matching between cameras of different models is known as color matching. FIG. 1A is a conceptual diagram showing how the same color chart is photographed from different viewpoints for color matching (color matching) between a plurality of cameras.
色補正処理としては、本願発明者らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャートを自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット（Ｇａｍｕｔ）誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって、妥当な色補正結果を得るための方法を、例えば下記非特許文献１等において提示した。 As the color correction process, the inventors of the present application automatically recognize the reference color chart taken in the first frame in order to match the colors between the re-shooting monitor and a plurality of cameras, and consider the observation error. A method for optimally estimating color correction parameters and obtaining a reasonable color correction result by combining level-constrained optimal estimation and model selection even for images that include Gamut errors. , For example, presented in Non-Patent Document 1 and the like below.
また、本願発明者は、参照板（カラーチャート）を撮影した画像からＲＧＢ画素値データを抽出して、観測誤差の性質を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定した。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適な変換モデルを決定し、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を、例えば下記非特許文献２等において、提示した。 In addition, the inventor of the present application extracts RGB pixel value data from an image obtained by taking a reference plate (color chart), and uses a statistically optimal ultra-precision carry-in method in consideration of the nature of observation error in a three-dimensional RGB color space. The three-dimensional geometric transformation was estimated. Then, from the estimation results of the geometric transformation models with different degrees of freedom, the optimum transformation model that balances the complexity and fit of the model is determined by the geometric model selection, and the selected three-dimensional geometric transformation is performed. The color correction process according to the above was calculated by three-dimensional look-up table (3DLUT) interpolation, and the result of color matching between various digital cameras of different models was presented in, for example, Non-Patent Document 2 below.
また、本願発明者は、超精度くりこみ法により最適に推定した色補正パラメータ結果に対して、事後的な補正を行うことにより、厳密なホワイトバランスを実現するとともに、レベル制約を課した場合の高自由度な色補正モデルの推定における過剰な当てはめを幾何学的モデル選択により回避した。しかし、実際の色補正を行う場面では、カラーチャートを設置して、色校正することが難しい場合もあると思われる。そこで、カラーチャートを用いずに、撮影したシーン画像間でのカラーマッチングを行うことを考えるものとした。図１（ｂ）は、同一シーンを異なる視点から撮影した映像間の色合わせを概念的に説明する図である。ＳＩＦＴ作用素等の特徴点抽出処理による特徴点を用いて画像間の位置合わせを行う方法が知られている。図２（ａ）は、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）作用素により抽出した特徴点をマッチングした画像例を示すものである。また、ＳＩＦＴ作用素等の特徴点抽出処理による特徴点のＲＧＢ値を用いて色補正を行った研究（下記非特許文献６乃至８等）もある。 In addition, the inventor of the present application realizes a strict white balance by performing ex post facto correction on the color correction parameter result optimally estimated by the ultra-precision carry-in method, and imposes a high level constraint. Overfitting in the estimation of the flexible color correction model was avoided by geometric model selection. However, in the actual color correction scene, it may be difficult to set up a color chart and perform color proofing. Therefore, we decided to consider performing color matching between captured scene images without using a color chart. FIG. 1B is a diagram conceptually explaining color matching between images of the same scene taken from different viewpoints. There is known a method of aligning images using feature points obtained by feature point extraction processing such as SIFT operators. FIG. 2A shows an example of an image in which feature points extracted by an ORB (Oriented FAST and Rotated BRIEF) operator are matched. In addition, there is also a study in which color correction is performed using RGB values of feature points obtained by feature point extraction processing such as SIFT operators (Non-Patent Documents 6 to 8 below).
しかし、画像中の特徴点は、“画素値”データとしては適切ではない。なぜなら、物体におけるコーナー、エッジ等の形状に関する特徴点の“画素値”は背景の影響を受けるからである。また、画像圧縮によるノイズの影響も受けやすいものと考えられる。このため、画像間の幾何学的な位置合わせではなく色補正のためには、できるだけ平坦な領域における‘画素値”をデータとして用いることが望ましい。図２（ｂ），（ｃ）はＲＧＢ画素値の３次元プロット例を示す図であり、（ｂ）は画像中の赤枠（紙面上方側の矩形枠）、緑枠（紙面下方側の矩形枠）内のＲＧＢ画素値を３次元プロットする場合について示し、（ｃ）は正規化ＲＧＢ［０，１］領域に、画素値とそれぞれの誤差の楕円体（信頼区間９５％）を表示する図である。 However, the feature points in the image are not suitable as "pixel value" data. This is because the "pixel value" of feature points related to the shape of corners, edges, etc. in an object is affected by the background. It is also considered that it is easily affected by noise due to image compression. Therefore, for color correction rather than geometric alignment between images, it is desirable to use'pixel values'in as flat a region as possible as data. FIGS. 2 (b) and 2 (c) are RGB pixels. It is a figure which shows the 3D plot example of a value, (b) is a figure which plots RGB pixel value in a red frame (rectangular frame on the upper side of a paper surface), and a green frame (a rectangular frame on the lower side of a paper surface) in a three-dimensional image. A case is shown, and (c) is a figure which displays a pixel value and an ellipse of each error (reliability interval 95%) in a normalized RGB [0,1] region.
また、本願発明者らは、３Ｄ映像を撮影する２台のカメラ間のカラーマッチングを行うために、カラーチャートを用いずに、左右２枚の画像間のＲＧＢ毎の１次元ヒストグラムをマッチングした。また、Ｒｅｉｎｈａｒｄらは、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値・標準偏差値を揃える処理を行った。（下記非特許文献９及び非特許文献１０ご参照）いずれの場合も、従来の色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であるが、本発明では、これをさらに高次元・高自由度な補正モデルに拡張することを考えるものである。 Further, the inventors of the present application matched a one-dimensional histogram for each RGB between two left and right images without using a color chart in order to perform color matching between two cameras for capturing a 3D image. In addition, Reinhard et al. Converted the images into an LMS color space in order to align the apparent colors between the images, and performed a process of aligning their average values and standard deviation values. (See Non-Patent Document 9 and Non-Patent Document 10 below) In both cases, the conventional color correction model is a one-dimensional affine transformation for each RGB / LMS, but in the present invention, this is further enhanced. We are considering extending it to a correction model with a high degree of freedom.
さらに、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能とすること、また、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正すること、また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応すること、さらには、回転やスケール変換、複雑な変形運動に対応することを目的とする発明であって、ＣＭＯＳセンサを用いたカメラにより撮影された映像における回転動き歪み変形の補正（ローリングシャッタ回転歪み補正）と、揺れの補正を同時に行う映像安定化処理に関する発明が下記特許文献１に開示されている。 Furthermore, it is possible to simultaneously process motion distortion deformation and sway correction in an image captured by a camera using a CMOS sensor, and in the case of a sway image by a moving camera, the movement of the camera is maintained in the image. The purpose is to correct only the shaking, to faithfully handle the transition from the moving camera to the fixed camera, and vice versa, and to handle rotation, scale conversion, and complicated deformation motion. The following Patent Document 1 is an invention relating to an image stabilization process that simultaneously corrects rotational motion distortion deformation (rolling shutter rotational distortion correction) and shaking in an image taken by a camera using a CMOS sensor. It is disclosed in.
特許文献１では、ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化するように、回転を含む一般的な運動の場合に拡張して、動きパラメータを“逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”の更新量を１次近似した”近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”により推定することが開示されている。これはすなわち、画像間の幾何学的な位置合わせに関する技術思想である。 In Patent Document 1, the motion parameters are extended in the case of general motion including rotation so as to model the motion distortion deformation of the image caused by the rolling shutter as a conversion of global motion between adjacent images. It is disclosed that the update amount of the "reverse coupling Lucas-Kanade algorithm" is estimated by the "approximate inverse coupling Lucas-Kanade algorithm" which is a linear approximation. This is a technical idea regarding the geometric alignment between images.
従来の色補正のモデルは、ＲＧＢ／ＬＭＳ毎の１次元アフィン変換であるが、本発明では、これをさらに高次元・高自由度な補正モデルに拡張することを目的とする。 The conventional color correction model is a one-dimensional affine transformation for each RGB / LMS, but the present invention aims to extend this to a correction model having a higher dimension and a higher degree of freedom.
本発明では、同一シーンを異なる視点から撮影した画像間のカラーマッチングを目的として、画素値の１次元輝度、２次元色差、あるいは３次元ＲＧＢヒストグラムをマッチングさせることにより色補正の自動化を行う。画素値ヒストグラムを画像と見なせば、画像間の幾何学的な位置合わせに用いられるＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを適用することができる。反復毎にヘッセ行列を計算しない逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを１次近似した近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより、計算コストを低減することができる。 In the present invention, color correction is automated by matching one-dimensional brightness of pixel values, two-dimensional color difference, or three-dimensional RGB histogram for the purpose of color matching between images of the same scene taken from different viewpoints. If the pixel value histogram is regarded as an image, the Lucas-Kanade algorithm used for geometric alignment between images can be applied. The calculation cost can be reduced by the approximate inverse Lucas-Kanade algorithm, which is a linear approximation of the inverse Lucas-Kanade algorithm that does not calculate the Hessian matrix for each iteration.
同一シーンを異なる視点から撮影した画像間のカラーマッチングを自動化することができる。すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付けも必要としない。 Color matching between images of the same scene taken from different viewpoints can be automated. All processing is matching in the histogram feature space, which not only does not perform geometric alignment between images, but also does not require any feature point extraction or association.
本実施形態で説明する自動色補正処理方法等は、同一シーンを異なる視点から撮影した二つ以上の画像間のカラーマッチングを目的として、画素値の１次元輝度、２次元色差、あるいは３次元ＲＧＢヒストグラムをマッチングさせることにより色補正の自動化を行う。画素値ヒストグラムを画像と見なせば、画像間の幾何学的な位置合わせに用いられるＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを適用することができる。反復毎にヘッセ行列とその逆行列を計算しない逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを１次近似した近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを用いて、計算コストを低減する。すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付けも必要としない。 The automatic color correction processing method or the like described in the present embodiment has one-dimensional brightness of pixel values, two-dimensional color difference, or three-dimensional RGB for the purpose of color matching between two or more images of the same scene taken from different viewpoints. Color correction is automated by matching the histograms. If the pixel value histogram is regarded as an image, the Lucas-Kanade algorithm used for geometric alignment between images can be applied. The calculation cost is reduced by using an approximate inverse Lucas-Kanade algorithm that is a first-order approximation of the inverse Lucas-Kanade algorithm that does not calculate the Hessian matrix and its inverse matrix for each iteration. All processing is matching in the histogram feature space, which not only does not perform geometric alignment between images, but also does not require any feature point extraction or association.
本発明は以下のような特筆すべき特徴を有している。
・同一シーンを異なる視点から撮影した画像間のカラーマッチングにおいて、画素値ヒストグラムをマッチングさせることにより自動化を行う。
・ヒストグラムマッチングにヒストグラムを画像と見なして、そのヒストグラム画像としての画素値の勾配情報に基づく最適化アルゴリズムを用いることにより、従来の画素値の平均値・標準偏差による簡易な色補正モデルを超える高次元・高自由度な色補正モデルを推定することが可能となり、高精度な色補正結果が得られる。
・画素値の勾配情報に基づく色補正パラメータ推定の最適化アルゴリズムにおける反復過程で、２階微分であるヘッセ行列とその逆行列を反復毎に計算するのではなく、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化するものとする。
・すべての処理は、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付も必要としない。
The present invention has the following notable features.
-In color matching between images of the same scene taken from different viewpoints, automation is performed by matching the pixel value histogram.
-By considering the histogram as an image for histogram matching and using an optimization algorithm based on the gradient information of the pixel values as the histogram image, the height exceeds the simple color correction model based on the average value and standard deviation of the conventional pixel values. It is possible to estimate a color correction model with a high degree of dimension and freedom, and a highly accurate color correction result can be obtained.
-In the iterative process in the optimization algorithm for color correction parameter estimation based on the gradient information of pixel values, the Hessian matrix, which is the second derivative, and its inverse matrix are not calculated for each iteration, but the pre-calculated results are repeatedly used. Further, the method of updating the estimated parameters shall be simplified by the first-order approximation.
-All processing is matching in the histogram feature space, and not only does it not perform geometric alignment between images, but it does not require any feature point extraction or correspondence.
さらに、本発明にかかる装置を具現化する一例として、
・画像から画素値のヒストグラムを計算するヒストグラム計算部、
・画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑部、
・ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理部、
・基準画像の入力画像から得られた上記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理部、
・ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理部、を備える画像処理装置とすることができる。
Further, as an example of embodying the device according to the present invention,
-Histogram calculation unit that calculates a histogram of pixel values from an image,
・ Gaussian smoothing part that smoothes the pixel value histogram using the neighboring histogram value,
-Tone mapping processing unit that performs level conversion processing on the Gaussian smoothed pixel value histogram,
-Using the Gaussian smoothing of the pixel value histogram obtained from the input image of the reference image and the level-converted histogram, the color correction parameter for aligning the color brightness of the input image with the color brightness of the reference image is estimated. Histogram matching processing unit,
-The image processing apparatus can be provided with a color correction processing unit that color-corrects the input image by using the color correction parameters of the result of the histogram matching processing.
このような装置等を実現する方法としては、例えばベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。 As a method of realizing such a device or the like, for example, it can be realized by a hardware device that processes a baseband video signal, or a device based on software that processes an MXF file and a computer that executes the software. It can also be realized by any configuration by using a device that converts an MXF file into a baseband video signal or reversely converts it.
また、カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、色補正処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。 It is also possible to perform processing on the cloud by transmitting a video-compressed camera image or an MXF file by IP (Internet Protocol). It is conceivable to develop into various system forms such as decoding the compressed video transmitted by IP into a baseband video signal, compressing the result of color correction processing again, and distributing the stream.
さらに、異なる視点から同一シーンを撮影した画像間において、ヒストグラムマッチングにより推定した色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成すれば、ソフトウェア／ハードウェアのいずれも色補正処理の高速化が図れる。 Furthermore, if a three-dimensional look-up table (3DLUT) is generated using the color correction parameters estimated by histogram matching between images taken of the same scene from different viewpoints, both software and hardware can perform color correction processing. High speed can be achieved.
図３は、Ｌｕｃａｓ−Ｋａｎａｄｅヒストグラムマッチング処理全体の説明をするブロック概念図である。基準画像（Ｒｅｆ）と入力画像（Ｉｎ）を入力して、基準画像の色明るさに入力画像を合わせる。はじめに、それぞれのヒストグラムを計算して（Ｈｉｓｔｏｇｒａｍ）、ヒストグラム画像として、ガウシアン平滑化（Ｇａｕｓｓｉａｎ Ｓｍｏｏｔｈｉｎｇ）を行う。そして、ヒストグラム画像のレベルをトーンマッピング処理（Ｔｏｎｅ Ｍａｐｐｉｎｇ）により変換する。 FIG. 3 is a block conceptual diagram illustrating the entire Lucas-Kanade histogram matching process. The reference image (Ref) and the input image (In) are input, and the input image is matched with the color brightness of the reference image. First, each histogram is calculated (Histogram), and Gaussian smoothing (Gaussian Smoothing) is performed as a histogram image. Then, the level of the histogram image is converted by tone mapping processing (Tone Mapping).
そして、レベル変換されたヒストグラム画像を用いて、Ｌｕｃａｓ−Ｋａｎａｄｅマッチング処理（Ｌｕｃａｓ−Ｋａｎａｄｅ Ｍａｔｃｈｉｎｇ）を行い、色補正パラメータを推定する。推定した色補正パラメータ（ＣｏｒｒｅｃｔＰａｒａｍｅｔｅｒ）を用いて、入力画像を色補正（Ｃｏｌｏｒ Ｃｏｒｒｅｃｔ）して出力（Ｏｕｔ）することが図３から理解できるものとなる。 Then, the Lucas-Kanade matching process (Lucas-Kanade Matching) is performed using the level-converted histogram image, and the color correction parameters are estimated. It can be understood from FIG. 3 that the input image is color-corrected (Color Correct) and output (Out) by using the estimated color correction parameter (Correct Parameter).
また、図４は、画像のヒストグラム例を示すものであり、（ａ）は原画像、（ｂ）は１次元輝度ヒストグラム、（ｃ）は２次元色差ヒストグラム（３次元プロット）、（ｄ）は２次元色差ヒストグラムの画像表示（２５５以上は２５５にクリップ処理）、（ｅ）は１次元ＲＧＢヒストグラム、（ｆ）は３次元ＲＧＢヒストグラム（ImageJ, An open platform for scientific image analysis, https://imagej.net/Welcomeによる表示）である。 Further, FIG. 4 shows an example of an image histogram, in which (a) is an original image, (b) is a one-dimensional brightness histogram, (c) is a two-dimensional color difference histogram (three-dimensional plot), and (d) is. Image display of 2D color difference histogram (clip processing to 255 for 255 or more), (e) is 1D RGB histogram, (f) is 3D RGB histogram (ImageJ, An open platform for scientific image analysis, https: // imagej) Displayed by .net / Welcome).
図４においては、画像の１次元輝度ヒストグラム、２次元色差値ヒストグラム、１次元ＲＧＢヒストグラム、そして、３次元ＲＧＢヒストグラムである。１次元輝度、１次元ＲＧＢヒストグラムのビン数（区間数）はいずれも６４であり、２次元色差ヒストグラムは、６４×６４＝４０９６、３次元ヒストグラムは９×９×９＝７２９である。 In FIG. 4, it is a one-dimensional brightness histogram, a two-dimensional color difference value histogram, a one-dimensional RGB histogram, and a three-dimensional RGB histogram of an image. The number of bins (number of sections) of the one-dimensional brightness and the one-dimensional RGB histogram is 64, the two-dimensional color difference histogram is 64 × 64 = 4096, and the three-dimensional histogram is 9 × 9 × 9 = 729.
アフィン変換を施しても直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。各部分の長さの比も保たれる。その結果、平行な直線は平行な直線に、平行な平面は平行な平面に写像される。しかし、スケールや角度は変化するので、たとえば立方体は平行六面体になる。図６Ａ及び図６Ｂに、２次元／３次元幾何学変換による四角形/立方体の変形を示す。 Even if affine transformation is applied, linearity and flatness are maintained. That is, points on the same straight line are mapped to points on the same straight line, and points on the same plane are mapped to points on the same plane. The ratio of the length of each part is also maintained. As a result, parallel straight lines are mapped to parallel straight lines, and parallel planes are mapped to parallel planes. However, because the scale and angle change, for example, a cube becomes a parallelepiped. 6A and 6B show the deformation of a quadrangle / cube by 2D / 3D geometric transformation.
画像の色を表現する方法として、ＲＧＢ色空間が広く使われているが、映像信号では、人間の視覚特性を考慮した輝度色差ＹＣｂＣｒが用いられている。明るさを表す輝度信号Ｙと色合いを表す色差信号ＣｂＣｒからなり、人間の視覚は、明るさに対して色の感度が低いことから、水平・垂直方向の解像度を間引くことにより、伝送・蓄積等に掛かるコストを低減している。色差信号ＣｂＣｒは、それぞれ、青色Ｂから輝度値Ｙを引いたＢ−Ｙ、赤色Ｒから輝度値Ｙを引いたＲ−Ｙが［−０．５，０．５］区間になるように係数を掛けたものである。 As a method of representing a color image, although the RGB color space is widely used in the video signal, luminance and color difference considering human visual characteristics YC b C r is used. Made from the color difference signal C b C r that represents the luminance signal Y and color representing the brightness, human vision, since the sensitivity of the color is lower than the brightness, by thinning out the horizontal and vertical resolution, transmission・ The cost of storage is reduced. Chrominance signal C b C r, respectively, so that the B-Y obtained by subtracting the luminance value Y from blue B, R-Y is obtained by subtracting the luminance value Y from the red R becomes [-0.5, 0.5] interval Is multiplied by a coefficient.
ガンマ補正されたＲＧＢ言号から輝度色差信号ＹＣｂＣｒへの変換は次のようになる。 Conversion from RGB saying No. which is gamma corrected to luminance and color difference signals YC b C r is as follows.
Ｙ´，ＣＢ，ＣＲを各８ビットとすると、Ｙ´には２２０レベルを割り当て、黒レベルを１６、白ピークレベルを２３５とする。ＣＢ，ＣＲについては２２５レベルを割当て、信号は１６〜２４０の範囲とし、０言号のレベルを１２８とする。 Y', C B, when the C R and each 8 bits, assigned a 220 level in Y', the black level 16, the white peak level 235. C B, assigned the 225 level for the C R, signals in the range of 16 to 240, the level of 0 Comments No. 128.
例えば、３次元ＲＧＢアフィン変換の場合、 For example, in the case of 3D RGB affine transformation
変換パラメータｐは微小であるから、パラメータ同士の積を無視する１次近似を行った。
このような逆結合の1次近似である“減算”によって、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの効率化が図れることから、これを“近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム”と呼ぶことにする。
逆結合／近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム手順を図８に示す。手順の番号は、図７のＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムと対応している。手順９のそれぞれの場合のパラメータ更新の式の違いに注意する。
Since the conversion parameter p is very small, a first-order approximation was performed ignoring the product of the parameters.
Since the efficiency of the Lucas-Kanade algorithm can be improved by "subtraction", which is a first-order approximation of such an inverse coupling, this is called an "approximate inverse coupling Lucas-Kanade algorithm".
Inverse coupling / approximate inverse coupling Lucas-Kanade algorithm procedure is shown in FIG. The procedure numbers correspond to the Lucas-Kanade algorithm of FIG. Note the difference in the parameter update formula in each case of step 9.
評価用画像として、同一画像を射影変換することにより生成した擬似多視点画像、連続する動画像列からの２画像、実際のステレオ画像を用いる。３次元ＲＧＢ色空間における相似変換により色変換した画像の基準画像に対する色補正パラメータを推定して、色補正する。色補正モデルには、１次元輝度・２次元色差、あるいは３次元ＲＧＢ色空間におけるアフィン変換を用いる。 As the evaluation image, a pseudo multi-viewpoint image generated by projective transformation of the same image, two images from a continuous moving image sequence, and an actual stereo image are used. The color correction parameters for the reference image of the image converted by similarity transformation in the three-dimensional RGB color space are estimated and the color is corrected. For the color correction model, one-dimensional brightness, two-dimensional color difference, or affine transformation in a three-dimensional RGB color space is used.
図９、図１１、図１３は、各評価用画像１０組の結果である。相似変換パラメータを変えて、１組につき１００回行った。擬似多視点画像の場合は、正規乱数による射影変換も変えている。Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、逆結合・近似逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムを用いて、それぞれ１次元輝度・２次元色差ヒストグラムマッチング３次元ＲＧＢヒストグラムマッチングによる結果である。ヒストグラムのビン数（区間数）は、それぞれ６４，６４×６４，６４×６４×６４とした。収束条件は、いずれもパラメータ更新量ベクトルのノルム||△p||が１×１０−３以下とした。真の入力原画像と色補正画像の間の差分二乗画像の平均色差とともに、平均収束回数も示す。比較のために、ＲＧＢ毎の画素値の平均標準偏差マッチングによる結果も示す。 9, 11, and 13 are the results of 10 sets of evaluation images. The similarity conversion parameters were changed, and each set was performed 100 times. In the case of a pseudo multi-viewpoint image, the projective transformation using normal random numbers is also changed. This is the result of 1D brightness / 2D color difference histogram matching and 3D RGB histogram matching using the Lucas-Kanade algorithm and the inverse coupling / approximate inverse coupling Lucas-Kanade algorithm, respectively. The number of bins (number of sections) in the histogram was 64, 64 × 64, and 64 × 64 × 64, respectively. As for the convergence conditions, the norm || Δp || of the parameter update amount vector was set to 1 × 10 -3 or less. Difference between the true input original image and the color-corrected image The average color difference of the squared image as well as the average number of convergences are shown. For comparison, the results of average standard deviation matching of pixel values for each RGB are also shown.
ここで、図９は、カラーマッチング評価結果（１）を示す図であって、擬似多視点画像の場合、原画像と色補正画像の間の色差△Ｅ* abの平均、平均収束回数、括弧内は標準偏差である。 Here, FIG. 9 is a diagram showing the color matching evaluation result (1), and in the case of a pseudo multi-viewpoint image, the average of the color difference ΔE * ab between the original image and the color correction image, the average number of convergences, and the parentheses. The inside is the standard deviation.
また、図１０は、カラーマッチング画像例（１）を示す図であって、擬似多視点画像の場合、（ａ）基準画像とその射影変換による入力原画像（ｂ）、（ｃ）基準画像(Reference)と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。 Further, FIG. 10 is a diagram showing an example of a color matching image (1), and in the case of a pseudo multi-viewpoint image, (a) a reference image and input original images (b) and (c) reference images by projection conversion thereof ( (Reference) and a three-dimensional plot of the RGB pixel values of the color-converted image (Input) of the input original image, (d) a three-dimensional plot of the RGB pixel values of the color-corrected image (Correct) by matching the reference image and the three-dimensional RGB histogram, ( e) Color conversion image of input original image, (f) Color correction image by 3D RGB histogram matching, (g) Residual graph for the number of iterations in 3D RGB histogram matching, (h) Input original image and color conversion / color It is a histogram for each RGB of the residual offset image between the corrected images.
いずれの評価画像の場合も、輝度色差ヒストグラムマッチングの結果よりも、ＲＧＢヒストグラムマッチングの結果の方が、色差△Ｅ* abの平均が低く、ＲＧＢ平均標準偏差マッチングの結果よりも低い（△Ｅ* abが０で厳密に一致する）。凝似多視点画像の場合には、ＲＧＢヒストグラムマッチングの結果の入力原画像と色補正画像の間の色差は、実用的な許容限界（厳格色差）を越えている。△Ｅ* abにおける丁度可知差異（Just Noticeable Difference, JND）は、2.3と言われている。遠方のシーンをズームにより撮影する場合には、平面と見なせるため、平面射影変換により近似ができて、擬似的な多視点画像による評価は十分現実的である。 In all the evaluation images, the RGB histogram matching result has a lower average of the color difference ΔE * ab than the luminance color difference histogram matching result, and is lower than the RGB average standard deviation matching result (ΔE *). Ab is 0 and exactly matches). In the case of a similar multi-viewpoint image, the color difference between the input original image and the color-corrected image as a result of RGB histogram matching exceeds a practical allowable limit (strict color difference). The Just Noticeable Difference (JND) at ΔE * ab is said to be 2.3. When a distant scene is photographed by zooming, it can be regarded as a plane, so that it can be approximated by a plane projective transformation, and evaluation by a pseudo multi-viewpoint image is sufficiently realistic.
同一カメラによる動画像列からの２画像は、いずれも時間的に１０フレーム離れた２画像を用いたが、ある程度のパン、チルト、ズーム、局所的な移動物体によるオクルージョンに対して、ヒストグラム特徴は不変と見なせる。しかし、ステレオ画像は奥行きによるオクルージョンが大きくなるため、画像や色変換によっては、十分な補正結果が得られていない。それでも、ＲＧＢ平均標準偏差マッチングより色差は低い。 For the two images from the moving image sequence by the same camera, two images separated by 10 frames in time were used, but the histogram feature is for some pan, tilt, zoom, and occlusion due to local moving objects. It can be regarded as immutable. However, since the stereo image has a large occlusion due to the depth, sufficient correction results cannot be obtained depending on the image or color conversion. Still, the color difference is lower than the RGB mean standard deviation matching.
ＲＧＢ平均標準偏差マッチングは反復を行わない簡易な方法であるものの、色変換がＲＧＢ色空間における並進スケール変換と見なせる場合には、十分な色補正結果が得られる。しかし、ＲＧＢ色空間における回転による色変換を補正することはできない。カメラのパン、チルト、ズーム、局所的な移動物体によるオクルージョンに対しても、十分な補正が行われない。 Although the RGB average standard deviation matching is a simple method that does not perform repetition, if the color conversion can be regarded as a translational scale conversion in the RGB color space, a sufficient color correction result can be obtained. However, it is not possible to correct the color conversion due to rotation in the RGB color space. Even camera panning, tilting, zooming, and occlusion due to locally moving objects are not adequately compensated.
いずれの評価画像の場合も、色変換は、ＲＧＢ色空間における相似変換によるが、輝度色差色空間では十分補正することはできない。カメラの内部では、リニアマトリクス処理として、ＲＧＢ混合処理が行われている。カラーマッチングのためには、ＲＧＢ色空間による補正が適しているだろう。 In the case of any of the evaluation images, the color conversion is based on the homothetic transformation in the RGB color space, but cannot be sufficiently corrected in the luminance color difference color space. Inside the camera, RGB mixing processing is performed as linear matrix processing. For color matching, correction by RGB color space would be suitable.
Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムに関しては、いずれの方法でも収束はしており、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムがやや収束が速く、近似逆結合、通常の（順方向）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの順に収束が遅くなる傾向が見られる。色差の平均は、通常の（順方向）Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムがやや低いようである。その他は同程度であった。 Regarding the Lucas-Kanade algorithm, convergence is achieved by either method, and the inverse coupling Lucas-Kanade algorithm has a slightly faster convergence, and the convergence tends to be slower in the order of the approximate inverse coupling and the normal (forward) Lucas-Kanade algorithm. Can be seen. The average color difference seems to be slightly lower for the normal (forward) Lucas-Kanade algorithm. Others were about the same.
ここで、図１１は、カラーマッチング評価結果（２）を示す図であり、動画像列からの２画像の場合、原画像と色補正画像の間の色差△Ｅ* abの平均・平均収束回数、括弧内は標準偏差である。 Here, FIG. 11 is a diagram showing the color matching evaluation result (2), and in the case of two images from the moving image sequence, the average / average number of convergences of the color difference ΔE * ab between the original image and the color correction image. , The numbers in parentheses are the standard deviations.
また、図１２は、カラーマッチング画像例（２）を示す図であり、動画像列からの２画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（Input）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct）のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。 Further, FIG. 12 is a diagram showing an example of a color matching image (2). In the case of two images from a moving image sequence, (a) a reference image and an input original image (b), (c) a reference image (Reference). A three-dimensional plot of the RGB pixel values of the color-converted image (Input) of the input original image, (d) a three-dimensional plot of the RGB pixel values of the color-corrected image (Correct) by matching the reference image and the three-dimensional RGB histogram, (e). Color conversion image of input original image, (f) Color correction image by 3D RGB histogram matching, (g) Residual graph for the number of repetitions in 3D RGB histogram matching, (h) Input original image and color conversion / color correction image It is a histogram for each RGB of the residual offset image between.
図１０、図１２、図１４は、各評価用画像における画像例を示す図である。各図中（ｇ）は、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの反復回数に対する残差のグラフであり、順方向（FA）、逆結合（IC）、近似逆結合（Approx.IC）である。（ｈ）は入力原画像と色変換／色補正画像の間の差分オフセット画像（差分値０が１２８）のＲＧＢ毎のヒストグラムも、入力色変換画像（Conv）、ＲＧＢ毎の平均標準偏差マッチング（ＲＧＢ）に対して、３次元ＲＧＢヒストグラムマッチングの結果（LK）が差分値０に集中している。 10, 12, and 14 are diagrams showing image examples in each evaluation image. In each figure (g) is a graph of the residuals for the number of iterations of the Lucas-Kanade algorithm, which are forward (FA), reverse coupling (IC), and approximate inverse coupling (Approx. IC). In (h), the histogram of the difference offset image (difference value 0 is 128) between the input original image and the color conversion / color correction image for each RGB is also the input color conversion image (Conv) and the average standard deviation matching for each RGB (). The result (LK) of the three-dimensional RGB histogram matching is concentrated on the difference value 0 with respect to RGB).
ここで、図１３は、カラーマッチング評価結果（３）を示す図であり、ステレオ画像の場合、原画像と色補正画像の間の色差△Ｅ* abの平均、平均収束回数、括弧内は標準偏差である。 Here, FIG. 13 is a diagram showing the color matching evaluation result (3). In the case of a stereo image, the average of the color difference ΔE * ab between the original image and the color correction image, the average number of convergences, and the values in parentheses are standard. It is a deviation.
また、図１４は、カラーマッチング画像例（３）を示す図であり、ステレオ画像の場合、（ａ）基準画像と入力原画像（ｂ）、（ｃ）基準画像（Reference）と入力原画像の色変換画像（lnput）のＲＧＢ画素値の３次元プロット、（ｄ）基準画像と３次元ＲＧＢヒストグラムマッチングによる色補正画像（Correct)のＲＧＢ画素値の３次元プロット、（ｅ）入力原画像の色変換画像、（ｆ）３次元ＲＧＢヒストグラムマッチングによる色補正画像、（ｇ）３次元ＲＧＢヒストグラムマッチングにおける反復回数に対する残差グラフ、（ｈ）入力原画像と色変換／色補正画像の間の残差オフセット画像のＲＧＢ毎のヒストグラムである。 Further, FIG. 14 is a diagram showing an example of a color matching image (3). In the case of a stereo image, (a) a reference image and an input original image (b), and (c) a reference image (Reference) and an input original image. Three-dimensional plot of RGB pixel values of color-converted image (lnput), (d) three-dimensional plot of RGB pixel values of color-corrected image (Correct) by matching reference image and three-dimensional RGB histogram, (e) color of input original image Transformed image, (f) Color corrected image by 3D RGB histogram matching, (g) Residual graph for the number of iterations in 3D RGB histogram matching, (h) Residual between input original image and color conversion / color corrected image It is a histogram for each RGB of the offset image.
上述の実施形態で説明した開示内容は、その具体的な説明実例に限定されるものではなく、本発明の技術思想の範囲内において、当業者の知り得る公知技術または周知技術を適宜適用してアレンジして利用することが可能である。 The contents of the disclosure described in the above-described embodiment are not limited to specific examples of explanation thereof, and within the scope of the technical idea of the present invention, known techniques or well-known techniques known to those skilled in the art may be appropriately applied. It can be arranged and used.
本発明は、映像機器全般に適用可能であって、特に、映像制作に用いられる色調整作業を伴う業務用映像機器等にも好適である。
The present invention can be applied to video equipment in general, and is particularly suitable for professional video equipment and the like that are used in video production and involve color adjustment work.
Claims (9)
画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑化部と、
ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理部と、
基準画像の入力画像から得られた前記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理部と、
前記ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理部と、を備える
ことを特徴とする自動色補正処理装置。 A histogram calculation unit that calculates a histogram of pixel values from an image,
A Gaussian smoothing section that smoothes the pixel value histogram using its neighboring histogram values,
A tone mapping processing unit that performs level conversion processing on the Gaussian smoothed pixel value histogram,
Using the Gaussian smoothing of the pixel value histogram obtained from the input image of the reference image and the level-converted histogram, the color correction parameter for aligning the color brightness of the input image with the color brightness of the reference image is estimated. Histogram matching processing unit and
An automatic color correction processing apparatus comprising: a color correction processing unit for color-correcting an input image using a color correction parameter resulting from the histogram matching processing.
前記ヒストグラムマッチング処理部によりヒストグラムマッチングにより推定された色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３ＤＬＵＴ生成部をさらに備える
ことを特徴とする自動色補正処理装置。 In the automatic color correction processing apparatus according to claim 1,
An automatic color correction processing apparatus further comprising a 3DLUT generation unit that generates a three-dimensional look-up table (3DLUT) using color correction parameters estimated by histogram matching by the histogram matching processing unit.
前記色補正パラメータは、
異なる視点から同一シーンを撮影した画像間において、前記ヒストグラム計算部と前記ガウシアン平滑化部と前記トーンマッピング処理部と前記ヒストグラムマッチング処理部とで処理して得られたものである
ことを特徴とする自動色補正処理装置。 In the automatic color correction processing apparatus according to claim 2.
The color correction parameter is
It is characterized in that the images obtained by capturing the same scene from different viewpoints are processed by the histogram calculation unit, the Gaussian smoothing unit, the tone mapping processing unit, and the histogram matching processing unit. Automatic color correction processing device.
画素値ヒストグラムをその近傍ヒストグラム値を用いて平滑化するガウシアン平滑化工程と、
ガウシアン平滑化した画素値ヒストグラムをレベル変換処理するトーンマッピング処理工程と、
基準画像の入力画像から得られた前記画素値ヒストグラムのガウシアン平滑化、およびレベル変換されたヒストグラムを用いて基準画像の色明るさに入力画像の色明るさを揃えるための色補正パラメータを推定するヒストグラムマッチング処理工程と、
前記ヒストグラムマッチング処理の結果の色補正パラメータを用いて、入力画像を色補正する色補正処理工程と、を有する
ことを特徴とする自動色補正処理方法。 A histogram calculation process that calculates a histogram of pixel values from an image,
A Gaussian smoothing step that smoothes a pixel value histogram using its neighboring histogram values,
A tone mapping process that performs level conversion processing on the Gaussian smoothed pixel value histogram, and
Using the Gaussian smoothing of the pixel value histogram obtained from the input image of the reference image and the level-converted histogram, the color correction parameter for aligning the color brightness of the input image with the color brightness of the reference image is estimated. Histogram matching process and
An automatic color correction processing method comprising a color correction processing step of color-correcting an input image using a color correction parameter resulting from the histogram matching processing.
前記ヒストグラムマッチング処理工程によりヒストグラムマッチングにより推定された色補正パラメータを用いて、３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３ＤＬＵＴ生成工程をさらに備える
ことを特徴とする自動色補正処理方法。 In the automatic color correction processing method according to claim 4,
An automatic color correction processing method further comprising a 3DLUT generation step of generating a three-dimensional look-up table (3DLUT) using color correction parameters estimated by histogram matching in the histogram matching processing step.
前記色補正パラメータは、
異なる視点から同一シーンを撮影した画像間において、前記ヒストグラム計算工程と前記ガウシアン平滑化工程と前記トーンマッピング処理工程と前記ヒストグラムマッチング処理工程とで処理して得られたものである
ことを特徴とする自動色補正処理方法。 In the automatic color correction processing method according to claim 2,
The color correction parameter is
It is characterized in that the images obtained by capturing the same scene from different viewpoints are processed by the histogram calculation step, the Gaussian smoothing step, the tone mapping processing step, and the histogram matching processing step. Automatic color correction processing method.
ヒストグラムマッチングにヒストグラムを画像と見なして、前記ヒストグラム画像としての画素値の勾配情報に基づく最適化アルゴリズムを用いることにより、色補正モデルを推定する工程と、
前記画素値の勾配情報に基づく色補正パラメータ推定の最適化アルゴリズムにおける反復過程で、予め計算した結果を繰り返し用いて、さらに推定するパラメータの更新方法を１次近似により簡略化する工程と、を有する
ことを特徴とする自動色補正処理方法。 In color matching between images of the same scene taken from different viewpoints, the process of matching the pixel value histogram and
A process of estimating a color correction model by regarding a histogram as an image for histogram matching and using an optimization algorithm based on the gradient information of pixel values as the histogram image.
In the iterative process in the optimization algorithm for color correction parameter estimation based on the gradient information of the pixel value, there is a step of repeatedly using the result calculated in advance and simplifying the method of updating the parameter to be further estimated by first-order approximation. An automatic color correction processing method characterized by this.
前記処理は、全て、ヒストグラム特徴空間におけるマッチングであり、画像間の幾何学的な位置合わせを行わないだけでなく、何らの特徴点の抽出や対応付も必要としない
ことを特徴とする自動色補正処理方法。 In the automatic color correction processing method according to claim 7,
All of the above processes are matching in the histogram feature space, and not only do not perform geometric alignment between images, but also do not require extraction or correspondence of any feature points. Correction processing method.
ことを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 4 to 8, wherein the automatic color correction processing method is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019052070A JP2020155907A (en) | 2019-03-20 | 2019-03-20 | Automatic color correction processing method and automatic color correction processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019052070A JP2020155907A (en) | 2019-03-20 | 2019-03-20 | Automatic color correction processing method and automatic color correction processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020155907A true JP2020155907A (en) | 2020-09-24 |
Family
ID=72559935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019052070A Pending JP2020155907A (en) | 2019-03-20 | 2019-03-20 | Automatic color correction processing method and automatic color correction processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020155907A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233019A (en) * | 2020-10-14 | 2021-01-15 | 长沙行深智能科技有限公司 | ISP color interpolation method and device based on self-adaptive Gaussian kernel |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007174015A (en) * | 2005-12-20 | 2007-07-05 | Nikon Corp | Image management program and image management apparatus |
| JP2007257610A (en) * | 2006-02-24 | 2007-10-04 | National Institute Of Advanced Industrial & Technology | Method, system and program for change extraction using two-dimensional density histogram |
| JP2007535829A (en) * | 2004-05-17 | 2007-12-06 | セイコーエプソン株式会社 | Image processing method, image processing apparatus, and program |
| JP2012019399A (en) * | 2010-07-08 | 2012-01-26 | For-A Co Ltd | Stereoscopic image correction device, stereoscopic image correction method, and stereoscopic image correction system |
| JP2013508853A (en) * | 2009-10-20 | 2013-03-07 | アップル インコーポレイテッド | Temporal filtering technology for image signal processing |
| JP2016016050A (en) * | 2014-07-07 | 2016-02-01 | ソニー株式会社 | Image processing device and method, program, and endoscope system |
-
2019
- 2019-03-20 JP JP2019052070A patent/JP2020155907A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007535829A (en) * | 2004-05-17 | 2007-12-06 | セイコーエプソン株式会社 | Image processing method, image processing apparatus, and program |
| JP2007174015A (en) * | 2005-12-20 | 2007-07-05 | Nikon Corp | Image management program and image management apparatus |
| JP2007257610A (en) * | 2006-02-24 | 2007-10-04 | National Institute Of Advanced Industrial & Technology | Method, system and program for change extraction using two-dimensional density histogram |
| JP2013508853A (en) * | 2009-10-20 | 2013-03-07 | アップル インコーポレイテッド | Temporal filtering technology for image signal processing |
| JP2012019399A (en) * | 2010-07-08 | 2012-01-26 | For-A Co Ltd | Stereoscopic image correction device, stereoscopic image correction method, and stereoscopic image correction system |
| JP2016016050A (en) * | 2014-07-07 | 2016-02-01 | ソニー株式会社 | Image processing device and method, program, and endoscope system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233019A (en) * | 2020-10-14 | 2021-01-15 | 长沙行深智能科技有限公司 | ISP color interpolation method and device based on self-adaptive Gaussian kernel |
| CN112233019B (en) * | 2020-10-14 | 2023-06-30 | 长沙行深智能科技有限公司 | ISP color interpolation method and device based on self-adaptive Gaussian kernel |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| US10477185B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
| CN109360235B (en) | Hybrid depth estimation method based on light field data | |
| US9241147B2 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
| Marzotto et al. | High resolution video mosaicing with global alignment | |
| US11282232B2 (en) | Camera calibration using depth data | |
| JP2015197745A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| EP2259599A1 (en) | Method and arrangement for processing a stereo image for three-dimensional viewing | |
| WO2015086537A1 (en) | Method for building a set of color correspondences from a set of feature correspondences in a set of corresponding images | |
| CN108090877A (en) | A kind of RGB-D camera depth image repair methods based on image sequence | |
| KR20110071854A (en) | Apparatus and method for correcting color of 3d image in 3d image system | |
| US9208549B2 (en) | Method and apparatus for color transfer between images | |
| TWI397023B (en) | Image generation method and apparatus, program therefor, and storage medium for storing the program | |
| Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
| JP6792872B2 (en) | Optimal color matching processing method and image processing equipment | |
| KR102265109B1 (en) | Method and apparatus for image processing | |
| JP2020155907A (en) | Automatic color correction processing method and automatic color correction processing device | |
| JP6807538B2 (en) | Image processing equipment, methods, and programs | |
| CN108307179A (en) | A kind of method of 3D three-dimensional imagings | |
| JP2022007633A (en) | RGB pixel value histogram Point cloud matching automatic color correction processing method and its device | |
| JP2019080100A (en) | High accuracy color correction processing method and high accuracy color correction processor | |
| Knorr et al. | Super-resolution stereo-and multi-view synthesis from monocular video sequences | |
| KR101324611B1 (en) | Method for processing depth image and 3d image generating apparatus using the same | |
| JP2012150614A (en) | Free viewpoint image generation device | |
| CN112422848A (en) | Video splicing method based on depth map and color map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230712 |