[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2007129444A1 - 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置 - Google Patents

画像の歪曲補正方法、歪曲補正プログラム、及び光学装置 Download PDF

Info

Publication number
WO2007129444A1
WO2007129444A1 PCT/JP2007/000388 JP2007000388W WO2007129444A1 WO 2007129444 A1 WO2007129444 A1 WO 2007129444A1 JP 2007000388 W JP2007000388 W JP 2007000388W WO 2007129444 A1 WO2007129444 A1 WO 2007129444A1
Authority
WO
WIPO (PCT)
Prior art keywords
distortion
distortion correction
lens
aberration
correction
Prior art date
Application number
PCT/JP2007/000388
Other languages
English (en)
French (fr)
Inventor
Tsukasa Murata
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to JP2008514372A priority Critical patent/JP4798221B2/ja
Publication of WO2007129444A1 publication Critical patent/WO2007129444A1/ja
Priority to US12/285,102 priority patent/US8120676B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to a distortion correction method and distortion correction program applied to a digital camera, image processing software, and the like.
  • the present invention also relates to an optical device including an imaging optical system, such as a digital power camera, an interchangeable lens, and a camera system.
  • the amount of distortion D given to the image by the taking lens is expressed by the following equation, where Y is the image height of the imaginary point and ⁇ ⁇ is the image height of the actual image point.
  • the coefficient of the function ai, a 2, a 3, not only differ by the type of lens (specification), also vary according to the lens position at the time of shooting (the combination of the focal length f and the focal position d).
  • Patent Document 1 the camera described in Patent Document 1 is prepared in advance with a table storing coefficients a, a 2 and a 3 for each lens position as distortion correction information.
  • Patent Document 2 discloses a printer that allows an operator to set a correction characteristic for distortion correction while displaying an image on a monitor, and executes the distortion correction under the setting. According to this printer, the operator can perform desired distortion correction on each image.
  • Patent Document 1 Japanese Laid-Open Patent Publication No. 2 2003-1 1 0 8 4 7
  • Patent Document 2 Japanese Patent Application Laid-Open No. 11-3 3 1 5 4 3
  • Non-Patent Document 1 Tomonori Takahashi, “Lens Design”, Tokai University Press, P 1 2 7, 1 9 9 4 / Mar 20
  • an object of the present invention is to provide a distortion correction method, a distortion correction program, and an optical apparatus capable of performing reliable and good distortion correction while suppressing the amount of distortion correction information.
  • the distortion aberration of the optical system for photographing is expressed as a function of the lens position, and information on the coefficient is prepared in advance as distortion correction information of the optical system,
  • a distortion correction method including a correction procedure for correcting distortion of an image shot by an optical system based on a lens position at the time of shooting and the prepared distortion correction information, wherein the preparation procedure includes: 2 or more
  • the coefficient is optimized so that the residual aberrations at each position are appropriately controlled.
  • the magnitude of residual aberration at the two or more lens positions may be set according to the aberration type before correction at the two or more lens positions.
  • the magnitude of residual aberration at the two or more lens positions may be set according to the type of residual aberration at the two or more lens positions.
  • the magnitude of residual aberration at the two or more lens positions may be set for each image height at the two or more lens positions.
  • the optimized coefficient may be corrected so that residual aberrations at the two or more lens positions become target residual aberrations.
  • the residual aberration at the two or more lens positions may be controlled so as to approach the target residual aberration.
  • the target residual aberration at the two or more lens positions is:
  • It may be set according to the aberration before correction at two or more lens positions.
  • the target residual aberration at the lens position in which the aberration type before correction is the Jinkasa type may be set to a non-Jinkasa type.
  • the target residual aberration at the lens position where the aberration type before correction is a barrel shape may be set to a barrel shape having a smaller distortion amount than before the correction.
  • the target residual aberration at the lens position in which the aberration type before correction is a pincushion type is a barrel type having a smaller distortion amount than before the correction, or a distortion amount larger than that before the correction. May be set to a small pincushion mold.
  • a possibility that an error is included in the value of the lens position used when correcting the distortion may be assumed.
  • the distortion correction program of the present invention is prepared in advance to prepare information on the coefficient when the distortion aberration of the optical system for photographing is expressed as a function of the lens position as distortion correction information of the optical system.
  • the coefficient is optimized in advance so as to control the balance of the magnitude of residual aberration at two or more lens positions.
  • the coefficient may be optimized in advance so that the magnitude of residual aberration at the two or more lens positions depends on the uncorrected aberration type at the two or more lens positions. Good.
  • the coefficient may be optimized in advance such that the magnitude of the residual aberration at the two or more lens positions depends on the type of residual aberration at the two or more lens positions.
  • the coefficient may be optimized in advance such that the magnitude of residual aberration at the two or more lens positions depends on the image height at the two or more lens positions.
  • the coefficient may be optimized in advance so that the residual aberration at the two or more lens positions approaches the target residual aberration.
  • the target residual aberration at the two or more lens positions is:
  • the target residual aberration may be a non-Jinkasa type.
  • the target residual aberration at the lens position in which the aberration type before correction is a barrel shape may be a barrel shape whose magnitude of distortion is smaller than that before the correction.
  • the target residual aberration at the lens position in which the aberration type before correction is a pincushion type is a barrel type having a smaller distortion amount than before the correction, or a distortion amount larger than that before the correction. May be a small spool type.
  • the coefficient may be optimized in advance so that even if an error is included in the value of the lens position used when correcting the distortion, the correction is not overcorrected.
  • the optical device of the present invention includes an optical system for photographing, and information on coefficients when the distortion aberration of the optical system is expressed as a function of the lens position is photographed by the optical system.
  • An optical device preliminarily stored as distortion correction information to be used when correcting image distortion, wherein the coefficient controls the balance of the magnitude of residual aberration in two or more lens positions. It may be optimized in advance.
  • coefficient may be optimized in advance so that the magnitude of residual aberration at the two or more lens positions depends on the uncorrected aberration type at the two or more lens positions. Good.
  • the coefficient may be optimized in advance such that the magnitude of the residual aberration at the two or more lens positions depends on the type of residual aberration at the two or more lens positions.
  • the coefficient may be optimized in advance such that the magnitude of residual aberration at the two or more lens positions depends on the image height at the two or more lens positions.
  • the coefficient may be optimized in advance so that residual aberrations at the two or more lens positions approach the target residual aberration.
  • the target residual aberration at the two or more lens positions is It may depend on the aberration before correction at two or more lens positions
  • the target residual aberration at the lens position where the aberration type before correction is the Jinkasa type may be a non-Jinkasa type.
  • the target residual aberration at the lens position in which the aberration type before correction is a barrel shape may be a barrel shape whose magnitude of distortion is smaller than that before the correction.
  • the target residual aberration at the lens position in which the aberration type before correction is a pincushion type is a barrel type having a smaller distortion amount than before the correction, or a distortion amount larger than that before the correction. May be a small spool type.
  • the coefficient is optimized in advance so that the correction does not become an overcorrection. May be.
  • any one of the optical devices of the present invention includes an interchangeable lens that includes the optical system for photographing and stores the distortion correction information in advance, and is detachable from the interchangeable lens.
  • the interchangeable lens includes a camera capable of reading the distortion correction information stored in advance (this optical device corresponds to a camera system).
  • a distortion correction method a distortion correction program, and an optical apparatus that can perform reliable and good distortion correction while suppressing the amount of distortion correction information are realized.
  • FIG. 1 Distortion data at a lens position of a lens.
  • FIG. 2 A diagram showing the distribution of coefficients A, B, and C in the d and f directions.
  • FIG. 3 is a flowchart showing a simplified optimization process of the first embodiment.
  • FIG. 6 is a flowchart of optimization processing according to the third embodiment.
  • FIG. 7 is a flowchart of optimization processing according to the fourth embodiment.
  • FIG. 8 is a diagram for explaining additional information of image data.
  • FIG. 9 is a diagram for explaining the contents of a table stored in a computer.
  • FIG. 10 is a configuration diagram of a camera of a sixth embodiment.
  • FIG. 11 is a configuration diagram of a camera system according to a seventh embodiment.
  • FIG. 12 is a flowchart of optimization processing according to the eighth embodiment.
  • FIG. 13 is a diagram for explaining optimization processing according to the eighth embodiment.
  • the present embodiment is an embodiment of a method for preparing distortion correction information.
  • Distortion correction information is necessary for distortion correction of software and digital cameras, etc., and is specific to the type (specification) of the lens used for shooting, so it is prepared by the lens manufacturer.
  • FIG. 1 shows distortion aberration data at a lens position of a lens.
  • the horizontal axis is the image height ratio r
  • the vertical axis is the distortion amount D.
  • the inventor considered that this distortion amount D can be approximated well by the function (1) of the image height ratio r (where A, B, and C are coefficients).
  • the coefficients A, B, and C of this function (1) vary depending on the lens position of the lens (combination of focal position d and focal length f).
  • the distribution of coefficient A in the d and f directions, the distribution of coefficient B in the d and f directions, and the distribution of coefficient C in the d and f directions are shown by dotted lines in Fig. 2 (A), (B), and (C), respectively.
  • the coefficients A, B, and C are represented by functions (A), (B), and (C) of d and f, respectively.
  • the coefficient function (A) consists of nine sets of terms with different combinations of d and f orders, and nine sets of coefficients “.,” “. 2 ,”, “,”, “,“ 12 , “ 2 ,” “ 21 ,” “ 22 included.
  • the coefficient function (B) consists of nine sets of terms with different combinations of d and f, and nine sets of coefficients ⁇ , ⁇ ⁇ 2 , ⁇ 1 () , ⁇ ", ⁇ 12 , ⁇ Including 2 ⁇ , ⁇ 21 , ⁇ 22
  • the coefficient function (C) is composed of 9 sets of terms with different combinations of d and f orders, and 9 sets of coefficients ⁇ . . , ⁇ 0 ⁇ , ⁇ . 2 , ⁇ 10 , ⁇ ", ⁇ 12 , ⁇ 2. , Including ⁇ 21 , ⁇ 22 .
  • the distortion amount function (1) is represented by the following equation (1 '), which is a set of 27 sets.
  • the manufacturer of the present embodiment prepares these 27 sets of coefficient values as the lens distortion correction information described above.
  • the estimation formula is obtained by applying the 27 sets of coefficient values included in the distortion correction information to the distortion amount function (1 ').
  • the distortion distribution of the image is known and the distortion distribution is zero. (That is, the distortion distribution may be used as a correction characteristic).
  • the manufacturer of the present embodiment first prepares distortion aberration data at the lens positions f and d of the lens described above.
  • This distortion aberration data may be obtained by simulation based on the lens design data or may be actual measurement data of the lens, but is preferably as detailed as possible.
  • the manufacturer optimizes the values of the 27 sets of coefficients.
  • a computer is used for this optimization process. In this computer, distortion data is input in advance by the manufacturer, and an optimization processing program for executing the following procedure is installed.
  • FIG. 3 is a flowchart showing the optimization process in a simplified manner.
  • the computer first sets 27 sets of coefficients to initial values (step S 1 1), and then calculates an evaluation value S of these coefficients. (Step S 1 2), the 27 combinations of coefficient values are repeatedly and gradually corrected so that the evaluation value S becomes smaller (Steps S 1 3 and S 1 4). Thereafter, when the evaluation value S becomes sufficiently small (step S 1 3 Y E S), the values of 27 sets of coefficients at that time are stored as distortion correction information (step S 15), and the optimization process is terminated.
  • the initial value setting (step S 1 1) and the evaluation value S calculation (step S 1 2) will be described in detail.
  • the computer fits the distortion aberration data at certain lens positions f and d to the above-mentioned distortion amount function (1) (for example, fitting by the least square method), and the coefficient A. Get the values of, B, and C. Furthermore, the computer obtains the values of coefficients A, B, and C for all lens positions f and d, respectively.
  • the computer fits the value of the coefficient A at all lens positions f and d to the coefficient function (A) described above, and obtains nine sets of values of the coefficients “All lenses.
  • the coefficient B value at positions f and d is fitted to the coefficient function (B) to obtain nine sets of coefficient ⁇ values.
  • the 27 sets of coefficient values obtained in this way are set as initial values.
  • the computer first applies the 27 sets of coefficient values to the distortion amount function (1 '), obtains an estimation equation, and uses the estimation equation to calculate the distortion amount D of a certain lens position f, d.
  • Estimate (f, d, r) In the following, this distortion amount D (f, d, r) is referred to as “estimated distortion amount D exp (f, d, r)”.
  • the computer refers to the actual distortion amount D (f, d, r) at the lens positions f, d from the distortion aberration data.
  • this distortion amount D (f, d, r) is referred to as “inherent distortion amount D len (f, d, r)”.
  • the computer calculates the estimated distortion amount D exp (f, d, r) and the inherent distortion amount D len.
  • the difference ⁇ D len (f, d, r) _D exp (f, d, r) ⁇ from (f, d, r) is calculated.
  • This difference ⁇ D len (f, d, r) ⁇ D exp (f, d, r) ⁇ is an estimation error caused by 27 sets of coefficients to the lens positions f and d, and the lens positions f and d This is the amount of distortion that remains when the image taken with is corrected for distortion based on the 27 sets of coefficients. Therefore, in the following, this difference ⁇ D len (f, d, r) -D exp (f, d, r) ⁇ is referred to as “residual aberration amount (f, d, r)”.
  • the computer calculates such residual aberration amounts (f, d, r) for all lens positions. Then, the computer calculates the total residual aberration amount of all lens positions as an evaluation value S of 27 sets of coefficients.
  • the formula for calculating the evaluation value S is as shown in the following formula (3) (hereinafter, description of step S12).
  • the 27 sets of coefficients are set to initial values (step S 11).
  • the initial value of the nine sets of coefficients “, the initial value of the nine sets of coefficients ⁇ , and the initial value of the nine sets of coefficients ⁇ are calculated by fitting independent from each other.
  • the residual aberration (f, d, r) may increase at some lens positions.
  • the loop of steps S12 to S14 described above works in the direction of decreasing the evaluation value S expressed by the equation (3).
  • the amount of residual aberration (f, d, r) at each lens position works in the direction of approaching zero. Therefore, if this loop is repeated a sufficient number of times, the values of the 27 sets of coefficients converge to values that suppress the amount of residual aberration equally at all lens positions. As a result, good distortion correction information (27 sets of coefficient values) is prepared for all lens positions.
  • the distortion correction information prepared in the present embodiment can perform distortion correction for all lens positions reliably and satisfactorily even though the information amount of the distortion correction information is small.
  • both the focal length f and the focal position d of the lens are variable.
  • f is not changed.
  • the coefficients A, B, and C are approximated by a function with only d.
  • the number of terms in the coefficient functions (A), (B), and (C) is 3, and the distortion correction information consists of nine sets of coefficients.
  • the optimization process is executed by the computer. However, a part or all of this process may be performed manually by the manufacturer.
  • Equation (5) is a weighting factor, and is set for each lens position and each image height ratio.
  • the weighting factor: (f, d, r) is a function of only the lens positions f, d, and is constant regardless of the image height ratio r if the lens position is the same.
  • the weight coefficient: (f, d, r) is set to be large for lens positions that require high correction accuracy, and the weight coefficient: (for lens positions that do not require high correction accuracy. Set f, d, r) small. In this way, it is possible to efficiently increase the correction accuracy of some lens positions while suppressing the total residual aberration to the same extent as in the first embodiment.
  • the lens position that requires high correction accuracy is, for example, the amount of inherent distortion.
  • the lens position is such that the D
  • a lens position that does not require high correction accuracy is, for example, a lens position in which the type of inherent distortion amount D len (f, d, r) is barrel-shaped. Because, generally, the barrel-shaped distortion distribution is less likely to leave a sense of incongruity in the corrected image compared to other types of distortion distribution even if distortion correction is performed with the same correction accuracy. .
  • the weight coefficient for each lens position is defined as the following equation (6) according to the type of inherent distortion amount D len (f, d, r) at each lens position. .
  • Equation (6) can be expressed as a graph in Fig. 4.
  • the weighting factor in a lens position where the type of inherent distortion D len (f, d, r) is barrel-shaped, the weighting factor is a small value: a ( ⁇ 1).
  • the weighting factor in the lens position where the inherent distortion amount D len (f, d, r) is a pincushion type, the weighting factor: is a slightly large value b ( ⁇ s ⁇ b ⁇ )
  • the weight coefficient is a large value at the lens position where the inherent distortion amount D len (r) is of the Jinkasa type. (Take ⁇ , ⁇ ⁇ .
  • the distortion correction information (27 sets of coefficients) prepared in the present embodiment no effort is made to estimate or correct the distortion amount (the value of 27 sets of distortion amounts).
  • the distortion correction accuracy at each lens position can be controlled according to the type of distortion distribution at each lens position by simply performing distortion correction using a guess equation that can be applied to the function (1 ').
  • the distortion distribution type of the image before distortion correction is the Jinkasa type
  • the accuracy of the distortion correction is high
  • the distortion aberration distribution type of the image before distortion correction is the pincushion type.
  • the accuracy of distortion correction is moderate
  • the distortion amount distribution of the image before distortion correction is barrel-shaped, the accuracy of distortion correction is low.
  • the weighting factor of each lens position: (f, d, r) is defined by the type of inherent distortion amount D len (f, d, r) of each lens position. It may be defined by the magnitude of the distortion amount D len (f, d, r), or by a combination of the magnitude and type of the intrinsic distortion amount D (f, d, r).
  • the weighting factor of each lens position: (f, d, r) is defined by the inherent distortion amount D len (f, d, r) of each lens position.
  • D len (f, d, r) or residual aberration (f, d, r) may be defined by either one or two. The following is an example of how to define the weighting factor: (f, d, r) Some are shown.
  • Weighting factor for each lens position (f, d, r) is defined by the type of residual aberration (f, d, r) for each lens position (for example, see Equation (7)).
  • the estimated distortion amount D exp (f, d, r) and residual aberration amount ⁇ (f, d, r) for each lens position are not only the lens position but also the set coefficients ( Therefore, if either definition 1 or 2 is adopted, it is necessary to reset the weighting coefficient: (f, d, r) every time the coefficient is modified in step S14. There is.
  • the weighting factor: (f, d, r) is used as the lens position f. , D only, but it may be a function of lens position f, d and image height ratio r.
  • FIG. 6 is a flowchart of the optimization process of the present embodiment.
  • Target residual aberration Information on the target residual aberration amount D Target (f, d, r) is input in advance from the manufacturer to the computer.
  • step S35 out of 27 sets of coefficients, 9 sets of coefficients AQQ for r 2 , ⁇ 0 ⁇ , ⁇ 02 , ⁇ 10 , ⁇ réelle, ⁇ 12 , ⁇ 20 , ⁇ 21 , ⁇ 22 , especially the coefficient ⁇ 00 that does not depend on the lens position d, f is corrected to ⁇ ⁇ ⁇ + do it.
  • the distortion correction information prepared in this embodiment (27 sets of corrected coefficients), even if no effort is made to estimate or correct the amount of distortion (values of 27 sets of coefficients).
  • the distortion amount distribution of each image can be brought close to the distortion amount distribution desired by the manufacturer by simply correcting the distortion with a guess formula that can be applied to the distortion amount function (1 ').
  • FIG. 7 is a flowchart of the optimization process of the present embodiment.
  • step S35 the step of correcting the coefficient according to the target residual aberration amount D Target (f, d, r) (step S35) is omitted, and the formula for calculating the evaluation value S As a result, the equation (9) is used instead of the equation (5).
  • This equation (9) is obtained by adding the target residual aberration amount D Target (f, d, r) to equation (5).
  • the loop of steps S 1 2 ′ to S 14 acts in the direction of decreasing the evaluation value S expressed by the equation (9)
  • the residual aberration amount (f, d, r) is It approaches the target residual aberration amount D Target (f, d, r), not zero.
  • the present embodiment can achieve the same effects as the third embodiment.
  • the target residual aberration amount D Target (f, d, r) at each lens position is set to the size and type of the inherent distortion amount D len (f, d, r) at each lens position. It may be set accordingly. If distortion correction information (27 sets of coefficients) is acquired under such a setting, the distortion amount distribution of each image after distortion correction can be corrected for each image without any effort in estimation or correction. It can be controlled according to the type of previous distortion distribution. [0112] For example, in a lens position where the type of intrinsic distortion D len (f, d, r) is Jinkasa type, the target residual aberration amount D Target (f, d, r) should be set to non-Jinkasa type
  • the target residual aberration D Target (f, d, r) is changed to the intrinsic distortion D len ( It is recommended to set a barrel shape with less distortion than f, d, r).
  • the target residual aberration amount D Target (f, d, r) is changed to the intrinsic distortion amount D len (f , D
  • R should be set to a barrel type with a smaller distortion amount, or a pincushion type with a smaller distortion amount than the inherent distortion amount D len (f, d, r).
  • part or all of the setting of the target residual aberration amount D Target may be automatically executed by the computer in step S 1 2 ′.
  • the target residual aberration amount D Target (f, d, r) of the third embodiment may be set in the same manner as in the present embodiment.
  • the present embodiment is an embodiment of image editing software having a distortion correction function.
  • This software is installed on the digital camera user's computer via the Internet or CD-ROM.
  • the contents of this software are explained by explaining the operation of this computer.
  • the computer When connected to a digital camera, the computer captures image data stored in the digital camera. This image data is subject to distortion correction. As shown in FIG. 8, information indicating the type of lens used at the time of shooting and information indicating the values of the lens positions d and f at the time of shooting are added to the image data as shown in FIG. Yes. Such additional information is It is added by the digital camera along with other information (exposure, shutter speed, shooting date, etc.).
  • the computer stores the above-described distortion amount function (1 ') in advance and stores distortion correction information (27 sets of coefficients) of a plurality of types of lenses in a table as shown in FIG. 9, for example. As previously stored.
  • distortion correction information is stored for each lens type.
  • the distortion correction information for each lens is prepared in advance by the above-described embodiment.
  • the distortion correction information for each lens includes a correction intensity of “strong” (distortion correction information for high correction) and a correction intensity of “medium” (distortion correction information for medium correction). ) And those whose correction strength is “weak” (distortion correction information for low correction).
  • the distortion correction information for high correction is obtained in the first embodiment or the second embodiment, or the target residual aberration amount D Target (f, d, in the third embodiment or the fourth embodiment). It was obtained with the size of r) set to zero.
  • the distortion correction information for medium correction is obtained by setting the magnitude of the target residual aberration amount D Target (f, d, r) to a value larger than zero in the third embodiment or the fourth embodiment. It has been done.
  • the distortion correction information for low correction is the same as that in the third or fourth embodiment for the target residual aberration amount D Target (f, d, r) greater than zero and medium correction. It was obtained by setting it to a larger value.
  • the computer when correcting the distortion of an image, the computer refers to the additional information (Fig. 8) of the image data of the image, the type of lens used to capture the image, and the image. Recognize the lens position d and f values set during shooting.
  • the computer When correcting the distortion of the image, the computer causes the user to select one of the correction strengths of distortion correction from “strong”, “medium”, and “weak”. Is specified.
  • the computer uses the type of lens used and the specified correction strength. Refer to the table ( Figure 9) according to the degree, and read the distortion correction information (2 sets of coefficient values) associated with the combination of the lens type and correction intensity.
  • the computer obtains an estimation formula by fitting the values of the 27 sets of coefficients to the distortion amount function (1 ') described above. Furthermore, the computer makes the distortion distribution on the image known by applying the values of the lens positions d and f set at the time of shooting to the guess formula. When the user gives a distortion correction instruction, the computer performs distortion correction of the image data using the above distortion correction information, and outputs the image after distortion correction to an external monitor or the like.
  • the computer according to the present embodiment uses the distortion correction information depending on the correction intensity designated by the user at the time of distortion correction, and therefore can meet the user's request.
  • the computer since the distortion correction information of each lens is prepared in advance for each correction intensity in the table of this embodiment (Fig. 9), the computer responds to the specified correction intensity during the actual distortion correction. By simply using different distortion correction information, there is no need to change the calculation contents. Therefore, distortion correction of each correction intensity can be performed at high speed.
  • the distortion correction information of the present embodiment is obtained by any of the methods of the first to fourth embodiments, it relates to all lens positions even though the amount of information is small. Distortion correction can be performed reliably and satisfactorily.
  • the table of this embodiment stores three types of distortion correction information for one type of lens, but one type of distortion correction information for one type of lens and two types of information for one type of lens.
  • the type of distortion correction information, or four or more types of distortion correction information for one type of lens may be stored.
  • the number of user options is the same as the number of types of distortion correction information.
  • the table of this embodiment has different correction strengths for one type of lens.
  • multiple types of distortion correction information are stored, multiple types of distortion correction information with different correction types may be stored.
  • the multiple types of distortion correction information with different correction types are, for example, the type of target residual aberration amount D Target (f, d, r) set to barrel shape in the third or fourth embodiment.
  • Distortion correction information and target residual aberration amount D Target (f, d, r) type set to pincushion type distortion correction information and target residual aberration amount D Target (f, d , R) is the distortion correction information obtained by setting the type to the Jinkasa type. In this case, the user specifies “Correction type” instead of “Correction strength”.
  • the contents of the table of this embodiment be updated every time a new type of lens is released (that is, distortion correction information for a new type of lens is added).
  • Update information like various software, is published on the Internet, and users can download it to their computers.
  • a computer is used.
  • a storage printer equipped with an image processing function is used, and the storage printer is subjected to the same processing. Also good.
  • the same processing may be performed on a portable device such as a camera or a camera system (a system including a camera and an interchangeable lens).
  • the interchangeable lens may store in advance a plurality of types of distortion correction information, and the camera may store the distortion amount function (1 ′) in advance.
  • the present embodiment is an embodiment of a lens-integrated digital camera equipped with a distortion correction function.
  • FIG. 10 is a configuration diagram of the camera. As shown in Fig. 10, this camera 10 has a lens with a variable lens position 10 L, camera CPU 10 A, image sensor 1 2, signal processing circuit 1 3, memory 1 4, compression / expansion circuit 1 5 , Recording unit 16, image processing circuit 17 and so on. Of these, the camera CPU 1 OA is equipped with ROM and RAM.
  • ROM in this camera CPU 1 OA has lens 1 0 L distortion correction Information (values of 27 sets of coefficients) I and the distortion amount function (1 ') are stored in advance.
  • Distortion correction information (27 sets of coefficient values) I is prepared by the manufacturer of the camera 10 according to any one of the first to fourth embodiments.
  • the distortion correction information I is the distortion correction information whose correction intensity is “strong”, for example, the target residual aberration amount D Target (f, d, r) in the third embodiment or the fourth embodiment.
  • the distortion correction information is acquired by setting it to zero.
  • the CPU 1 OA ROM contains the distortion correction information (value of 27 sets of coefficients) and the distortion amount function (1 '). Instead of being stored separately, it is assumed that a speculative expression that can be applied to the former is stored.
  • the image sensor 12 captures the image of the subject and acquires image data.
  • the image data is processed in the signal processing circuit 13 and then temporarily stored in the memory 14.
  • the values of the lens positions f and d of the lens 10 L at the time of photographing are read by the camera CPU 1 OA through an encoder (not shown).
  • the camera CPU 1 OA applies the values of the lens positions f and d to the inference formula stored in the ROM so that the distortion distribution on the image is known.
  • the image processing circuit 17 performs distortion correction processing on the image data stored in the memory 14 so that the distortion amount distribution becomes zero (that is, the distortion amount distribution is used as a correction characteristic).
  • the image data after distortion correction is compressed in the compression / expansion circuit 15 and then recorded in the recording unit 16.
  • the camera 10 of the present embodiment stores in advance the distortion correction information acquired in the above-described embodiment as distortion correction information (here, the distortion correction information is applied to a distortion amount function). Predictive formulas that can be stored in advance) and distortion correction is performed based on this. Therefore, it is possible to reliably and satisfactorily perform distortion correction for all lens positions while suppressing the amount of distortion correction information.
  • the distortion correction information is stored in the ROM in the camera CPU 1 OA.
  • the memory is provided separately from the camera CPU 1 OA. I do not care.
  • the camera 10 of the present embodiment has performed distortion correction on image data, but instead of performing distortion correction, information necessary for distortion correction (such as information on an estimated distortion amount distribution) is displayed as an image. It may be added to the data. In that case, the distortion correction of the image data is performed by a computer or the like.
  • This embodiment is an embodiment of a digital camera system having a distortion correction function.
  • FIG. 11 is a configuration diagram of the camera system. As shown in FIG. 11, the main camera system includes an interchangeable lens 11 and a camera 10 to which the interchangeable lens 11 can be attached and detached.
  • the interchangeable lens 1 1 includes a lens 1 1 L, a lens CPU 1 1 A, a ROM 1 1 B, and the like whose lens positions are variable.
  • Camera 10 includes camera CPU 1 OA, image sensor 1 2, signal processing circuit 1 3, memory 14, compression / decompression circuit 1 5, recording unit 1 6, image processing circuit 1 7, operation button 1 OB, etc. Is provided. The user designates the correction intensity of the distortion correction to the camera 10 via the operation button 1OB.
  • ROM and RAM are provided inside the camera CPU 1 OA.
  • the camera 10 is a single-lens reflex power camera, and an optical viewfinder that allows the user to view the image of the subject formed by the interchangeable lens 11 1 when not photographing ( Quick return mirror, pen tab rhythm, etc.) are also provided.
  • the distortion amount function (1 ') is stored in advance in the ROM in the camera CPU 1 OA, and the distortion correction information I on the lens 1 1 L is stored in the ROM 1 1 B in the interchangeable lens 1 1. 27 sets of coefficient values) are stored.
  • This distortion correction information I is prepared by the manufacturer of the interchangeable lens 11 by any one of the first to fourth embodiments.
  • the distortion correction information (values of 27 sets of coefficients) I is the distortion correction information whose correction strength is “strong”, for example, the target residual aberration amount D Target (f, d, r) to zero It is set as the distortion correction information acquired by setting.
  • Lens CPU 1 1 in interchangeable lens 1 1 reads out 27 sets of coefficient values from ROM 1 1 B at an appropriate timing such as when the power is turned on, and the power in camera 1 0 CPU 1 0 Send to A.
  • the camera CPU 1 OA in the camera 10 recognizes the 27 coefficient values transmitted, it applies these 27 coefficient values to the ROM distortion function (1 '). And get the guess formula.
  • the camera CPU 10 recognizes the correction strength designated by the user based on the state of the operation button 10 0 B.
  • the image sensor 1 2 captures the image of the subject and acquires image data.
  • the image data is processed in the signal processing circuit 13 and then temporarily stored in the memory 14.
  • the values of the lens positions f and d of the lens 11 L at the time of photographing are read by the lens CPU 11 A via an unillustrated encoder and transmitted to the camera CPU 1 OA in the camera 10.
  • the conversion factor Qf becomes Qf ⁇ 1 (closer to 1) as the correction strength specified by the user increases.
  • the image processing circuit 17 considers the distortion amount distribution D ′ (r) after conversion as the image distortion amount distribution, and distorts the image data stored in the memory 14 so that it becomes zero. Perform correction processing.
  • the image data after distortion correction is compressed in the compression / decompression circuit 15 and then recorded in the recording unit 16.
  • the interchangeable lens 11 stores the distortion correction information I in advance
  • the camera 10 stores the distortion amount function (1 ') in advance. The information on both is used to estimate the actual distortion distribution.
  • the camera 10 of the present embodiment converts the estimated distortion amount distribution according to the correction strength set by the user, and regards the converted distortion amount distribution as the distortion amount distribution of the image and corrects the distortion. I do. Therefore, the camera system of the present embodiment can perform distortion correction with the correction intensity specified by the user.
  • the above-described distortion correction information I is obtained by the above-described embodiment, the distortion amount distribution regarding all the lens positions of the interchangeable lens 11 1 is accurately expressed even though the information amount is small. . Therefore, distortion correction of all correction strengths for all lens positions is performed satisfactorily.
  • the camera 10 of the present embodiment is a single-lens reflex camera, the image of the subject observed through the optical finder is distorted due to the distortion of the interchangeable lens 11.
  • the distortion is almost completely eliminated, but information on the periphery of the image may be lost. Therefore, depending on the image, if distortion correction is performed with a strong correction strength, there may be a large difference between the image during framing and the captured image.
  • the user of the camera 10 of the present embodiment can specify the correction strength for distortion correction, the balance between the correction strength and the information integrity can be set to a balance desired by the user.
  • the storage destination of the distortion amount function (1 ′) is the ROM in the camera CPU 10 A, but it may be a memory provided separately from the camera CPU 1 OA. .
  • the camera 10 of the present embodiment has performed distortion correction on image data.
  • information necessary for distortion correction (such as information on an estimated distortion amount distribution) is displayed as an image. It may be added to the data.
  • the distortion correction of the image data is performed by a computer or the like.
  • the interchangeable lens 1 1 stores one type of distortion compensation. If the storage capacity of the interchangeable lens 11 1 (here, the storage capacity of the ROM 11 B) is large, it may be multiple types of distortion correction information with different correction strengths. In that case, instead of correcting the estimated distortion amount distribution, the camera 10 may estimate the distortion amount distribution using the three types of distortion correction information.
  • the first embodiment is based on the premise that the lens positions f and d (measured values) actually measured from the lens at the time of taking an image are accurate, but in reality a measurement error occurs. There is a possibility. This measurement error is caused by the mechanical error of the lens drive mechanism, the quantization error of the encoder, and so on.
  • the computer corrects the distortion correction information (27 sets of coefficients) after optimization in order to reliably avoid the occurrence of overcorrection due to the measurement errors of the lens positions f and d. Apply.
  • this correction is referred to as “coefficient correction” to distinguish it from distortion correction.
  • FIG. 12 is a flowchart of the optimization process according to this embodiment.
  • step S 85 is the coefficient correction step.
  • step S 85 will be described in detail.
  • the computer focuses on a certain lens position, and gives various measurement errors to the lens position, c, and estimates the estimation error caused by various measurement errors.
  • the target residual aberration D Target (r) is zero
  • the residual distortion amount (r) remaining in the image after distortion correction is expressed as the estimation error (correction error) and And estimate.
  • various measurement errors are various measurement errors that can be included in the actual measurement value (d,) when the actual measurement value of the lens position is (f,, d,). is there. This is measured in advance from a lens (a lens barrel including an encoder and a lens driving mechanism). Also, the distortion correction information (27 sets of coefficients) used for estimation is the distortion correction information (27 sets of coefficients) optimized in the previous step.
  • Figures 1 3 (A) to (D) show various residual distortions due to various measurement errors
  • Fig. 13 (A) to (D) shows the amount of distortion before distortion correction (inherent distortion amount D len (r)).
  • D len (r) the amount of distortion before distortion correction
  • all the inherent distortion amounts D len (r) are drawn equally in Fig. 13; however, in actuality, they differ slightly by different measurement errors.
  • the computer has various residual distortions due to various measurement errors (
  • the computer performs the above processing (acquisition of the maximum residual distortion amount SD max (r)) for other lens positions. As a result, all the maximum residual distortions SD max (r) for all lens positions are obtained.
  • the computer approximates the maximum residual distortion amount SD max (r) by a function of the lens positions f and d based on all the maximum residual distortion amounts SD max (r) at all lens positions.
  • the function includes the distortion amount function (1 ') Can have the same function type, ie the expression (1 0)
  • equation (1 0) is complex, a simple function with a reduced number of terms in r may be employed. For example, one of the formulas (1 1 A) (1 1 B) (1 1 C).
  • the computer fits all the maximum residual distortion amounts SD max (r) at all lens positions to the equation (1 1 C), and nine sets of coefficients 3 ⁇ in the equation (1 1 C). . , ⁇ , ⁇ 02 , ⁇ 10 , ⁇ ⁇ n , ⁇ ⁇ , ⁇ ⁇ 20 ⁇ ⁇ 2 ⁇ 22 are obtained.
  • the computer calculates the previous values based on the values of these coefficients ⁇ , d A o d A 02 , d A, 0 , d ⁇ ,, d A, d A 20 , d A 2U ⁇ 22 Apply the coefficient correction to each of the coefficients AQQ, ⁇ 0 ⁇ , ⁇ 02 , ⁇ 10 , ⁇ ,, ⁇ 12 ⁇ 2 ⁇ , ⁇ 21 ⁇ 22 in the distortion correction information (27 sets of coefficients) optimized in the step End this step.
  • the target of coefficient correction is limited to only the coefficients related to the square of r (9 sets of coefficients) in the distortion correction information (27 sets of coefficients). Even if the distortion correction information (27 sets of coefficients) causes insufficient correction, the residual distortion of the image is approximately proportional to the square of r.
  • the distortion correction information (27 sets of coefficients) obtained in the present embodiment the possibility of unnatural distortion remaining in the image after distortion correction is reliably suppressed.
  • any of the third embodiment and the fourth embodiment may be similarly modified.
  • the coefficient (distortion correction information) prepared in any one of these modifications may be used in any of the fifth to seventh embodiments.
  • the coefficients A, B, and C of the distortion amount distribution are used as the coefficient functions (A), (B) in order to minimize the amount of distortion correction information.
  • the values of coefficients A, B, and C at all lens positions may be used as distortion correction information.
  • the distortion correction information may be distortion correction information for making the distortion distribution at each lens position after correction zero, and the distortion distribution at each lens position after correction may be used as a target residual aberration amount. It may also be distortion correction information for D Target (f, d, r).
  • fc is the representative value of the focal length f
  • d c is the representative value of the focal position d.
  • f c is the minimum value of the value range of the focal length f of is the object lens distortion correction
  • d c is the minimum value of the value range of the focal position d of the lens.
  • the expression (1) is used as an expression for the distortion amount distribution.
  • another expression such as the expression (1 3) or (1 4) is used. You may do it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Lenses (AREA)

Abstract

　本発明は、歪曲補正情報の情報量を抑えながら確実かつ良好な歪曲補正を行うことのできる歪曲補正方法、歪曲補正プログラム、及び光学装置を提供することを目的とする。そのために本発明の歪曲補正方法は、撮影用の光学系の歪曲収差をそのレンズポジションの関数で表し、その係数の情報を前記光学系の歪曲補正情報として予め用意する用意手順と、前記光学系で撮影した画像の歪曲を、その撮影時のレンズポジションと、前記用意された前記歪曲補正情報とに基づき補正する補正手順とを含む歪曲補正方法であって、前記用意手順では、２箇所以上のレンズポジションにおける残留収差がそれぞれ適切に制御されるように前記係数を最適化する（Ｓ１１～Ｓ１５）ことを特徴とする。

Description

明 細 書
歪曲補正方法、 歪曲補正プログラム、 及び光学装置
技術分野
[0001] 本発明は、 ディジタルカメラや画像処理ソフトウェアなどに適用される歪 曲補正方法、 歪曲補正プログラムに関する。 また、 本発明は、 ディジタル力 メラ、 交換レンズ、 カメラシステムなど、 撮影用の光学系を備えた光学装置 に関する。
背景技術
[0002] ディジタルカメラなどで撮影した画像を歪曲補正する画像処理技術が知ら れている （特許文献 1， 特許文献 2， 非特許文献 1等を参照） 。 その歪曲補 正では、 画像上の歪曲量分布が既知となつている必要がある。
[0003] 撮影用のレンズが画像に与える歪曲量 Dは、 理想像点の像高を Y、 実際の 像点の像高を Υοとすると、 以下の式で表される。
[0004] D= 1 00 X (Y- Y0) ΖΥ。 [%]
この歪曲量 Dの画像上の分布は、 以下のとおり像高比 r (=像高 Z最高像 高） の関数で近似することができる。
[0005] D ( r ) ≡ ai r +a2 r2+a3 r3+a4 r4+a5 r5+a6 r6十…
一般的には、 この関数の項数を以下のとおり次数を 3に抑えたとしても十 分に良い近似ができると考えられている。
[0006] D ( r ) Eai r +azt^+agr3
因みに、 この関数の係数 ai， a 2, a3は、 レンズの種類 （仕様） によって異 なるだけでなく、 撮影時のレンズポジション （焦点距離 f と焦点位置 dとの 組み合わせ） によっても変化する。
[0007] このため、 特許文献 1に記載のカメラには、 歪曲補正情報として、 係数 a, ， a 2, a 3をレンズポジション毎に格納したテーブルが予め用意されている。 画像の撮影時、 レンズポジションに応じてカメラがこのテーブルを参照すれ ば、 画像上の歪曲量分布を簡単に推測することができる。 [0008] 一方、 特許文献 2には、 モニタ上に画像を表示しながらオペレータに対し 歪曲補正の補正特性を設定させ、 その設定下で歪曲補正を実行するプリンタ が開示されている。 このプリンタによれば、 オペレータが各画像に対し所望 の歪曲補正を施すことができる。
特許文献 1 ：特開 2 0 0 3 _ 1 1 0 8 4 7号公報
特許文献 2：特開平 1 1—3 3 1 5 4 3号公報
非特許文献 1 ：高橋友刀， 「レンズ設計」 ， 東海大学出版会， P 1 2 7， 1 9 9 4年 3月 2 0曰
発明の開示
発明が解決しょうとする課題
[0009] しかしながら、 特許文献 1に記載のカメラでは、 一部のレンズポジション で撮影した画像については歪曲量分布の推測精度が悪くなリ、 歪曲補正の精 度が低下し、 補正結果が好ましくならない可能性がある。 これを防ぐには、 テーブルの情報量を増やさなければならない。
[0010] 一方、 特許文献 2に記載のプリンタでは、 歪曲補正の良否がオペレータの 感覚に左右される。 また、 たとえ熟練したオペレータであっても、 画像の歪 曲量分布が複雑なとき （陣笠型の歪曲収差が発生しているときなど） には、 それを完全に補正することは難しい。 また、 歪曲補正に手間と時間が掛かる
[0011 ] そこで本発明は、 歪曲補正情報の情報量を抑えながら確実かつ良好な歪曲 補正を行うことのできる歪曲補正方法、 歪曲補正プログラム、 及び光学装置 を提供することを目的とする。
課題を解決するための手段
[0012] 本発明の歪曲補正方法は、 撮影用の光学系の歪曲収差をそのレンズポジシ ョンの関数で表し、 その係数の情報を前記光学系の歪曲補正情報として予め 用意する用意手順と、 前記光学系で撮影した画像の歪曲を、 その撮影時のレ ンズポジションと、 前記用意された前記歪曲補正情報とに基づき補正する補 正手順とを含む歪曲補正方法であって、 前記用意手順では、 2箇所以上のレ ンズポジションにおける残留収差がそれぞれ適切に制御されるように前記係 数を最適化することを特徴とする。
[0013] なお、 前記係数の最適化では、 前記 2箇所以上のレンズポジションにおけ る残留収差の大きさのバランスを制御してもよい。
[0014] また、 前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2箇所以上のレンズポジションにおける前記補正前の収差タィプに応じ て設定されてもよい。
[0015] また、 前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2箇所以上のレンズポジションにおける残留収差のタイプに応じて設定 されてもよい。
[0016] また、 前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2箇所以上のレンズポジションにおける像高毎に設定されてもよい。
[0017] また、 前記用意手順では、 前記最適化後の前記係数を、 前記 2箇所以上の レンズポジションにおける残留収差が目標残留収差となるように補正しても よい。
[0018] また、 前記係数の最適化では、 前記 2箇所以上のレンズポジションにおけ る残留収差が目標残収差に近づくように制御してもよい。
[0019] また、 前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記
2箇所以上のレンズポジションにおける前記補正前の収差に応じて設定され てもよい。
[0020] また、 前記補正前の収差タイプが陣笠型であるレンズポジションにおける 目標残留収差は、 非陣笠型に設定されてもよい。
[0021 ] また、 前記補正前の収差タイプが樽型であるレンズポジションにおける目 標残留収差は、 前記補正前よリも歪曲量の大きさが小さい樽型に設定されて もよい。
[0022] また、 前記補正前の収差タイプが糸巻型であるレンズポジションにおける 目標残留収差は、 前記補正前よりも歪曲量の大きさが小さい樽型、 又は前記 補正前よリも歪曲量の大きさが小さい糸巻き型に設定されてもよい。 [0023] また、 前記用意手順では、 前記歪曲の補正時に使用される前記レンズポジ シヨンの値に誤差が含まれる可能性を想定してもよい。
[0024] また、 前記用意手順では、 前記歪曲の補正時に使用される前記レンズポジ シヨンの値に誤差が含まれていたとしてもその補正が過剰補正とならないよ うに前記最適化後の前記係数を補正してもよい。
[0025] また、 本発明の歪曲補正プログラムは、 撮影用の光学系の歪曲収差をその レンズポジションの関数で表したときの係数の情報を、 前記光学系の歪曲補 正情報として予め用意する用意手順と、 前記光学系で撮影した画像の歪曲を 、 その撮影時のレンズポジションと、 前記用意された前記歪曲補正情報とに 基づき補正する補正手順とをコンピュータに実行させる歪曲補正プログラム であって、 前記係数は、 2箇所以上のレンズポジションにおける残留収差の 大きさのバランスが制御されるように予め最適化されていることを特徴とす る。
[0026] なお、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける前記補正前の収差タ イブに依存するように予め最適化されていてもよい。
[0027] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける残留収差のタイプに 依存するように予め最適化されていてもよい。
[0028] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける像高に依存するよう に予め最適化されていてもよい。
[0029] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 が目標残収差に近づくように予め最適化されていてもよい。
[0030] また、 前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記
2箇所以上のレンズポジションにおける前記補正前の収差に依存してもよい
[0031 ] また、 前記補正前の収差タイプが陣笠型であるレンズポジションにおける 目標残留収差は、 非陣笠型であってもよい。
[0032] また、 前記補正前の収差タイプが樽型であるレンズポジションにおける目 標残留収差は、 前記補正前よりも歪曲量の大きさが小さい樽型であってもよ い。
[0033] また、 前記補正前の収差タイプが糸巻型であるレンズポジションにおける 目標残留収差は、 前記補正前よりも歪曲量の大きさが小さい樽型、 又は前記 補正前よりも歪曲量の大きさが小さい糸巻き型であってもよい。
[0034] また、 前記係数は、 前記歪曲の補正時に使用される前記レンズポジション の値に誤差が含まれていたとしてもその補正が過剰補正とならないように予 め最適化されていてもよい。
[0035] また、 本発明の光学装置は、 撮影用の光学系を備えると共に、 前記光学系 の歪曲収差をそのレンズポジションの関数で表したときの係数の情報を、 前 記光学系で撮影した画像の歪曲を補正するときに使用すべき歪曲補正情報と して予め記憶した光学装置であって、 前記係数は、 2箇所以上のレンズポジ シヨンにおける残留収差の大きさのバランスが制御されるように予め最適化 されていてもよい。
[0036] なお、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける前記補正前の収差タ イブに依存するように予め最適化されていてもよい。
[0037] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける残留収差のタイプに 依存するように予め最適化されていてもよい。
[0038] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 の大きさが前記 2箇所以上のレンズポジションにおける像高に依存するよう に予め最適化されていてもよい。
[0039] また、 前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差 が目標残収差に近づくように予め最適化されていてもよい。
[0040] また、 前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記 2箇所以上のレンズポジションにおける前記補正前の収差に依存してもよい
[0041 ] また、 前記補正前の収差タイプが陣笠型であるレンズポジションにおける 目標残留収差は、 非陣笠型であってもよい。
[0042] また、 前記補正前の収差タイプが樽型であるレンズポジションにおける目 標残留収差は、 前記補正前よりも歪曲量の大きさが小さい樽型であってもよ い。
[0043] また、 前記補正前の収差タイプが糸巻型であるレンズポジションにおける 目標残留収差は、 前記補正前よりも歪曲量の大きさが小さい樽型、 又は前記 補正前よりも歪曲量の大きさが小さい糸巻き型であってもよい。
[0044] また、 前記係数は、 前記歪曲の補正時に前記係数と共に使用される前記レ ンズポジションの値に誤差が含まれていたとしても、 その補正が過剰補正と ならないように予め最適化されていてもよい。
[0045] また、 本発明の何れかの光学装置は、 前記撮影用の光学系を備え、 かつ前 記歪曲補正情報を予め記憶した交換レンズと、 前記交換レンズに対し着脱可 能であり、 かつ前記交換レンズが予め記憶した前記歪曲補正情報を読み取る ことの可能なカメラとからなることを特徴とする （この光学装置は、 カメラ システムに対応する。 ） 。
発明の効果
[0046] 本発明によれば、 歪曲補正情報の情報量を抑えながら確実かつ良好な歪曲 補正を行うことのできる歪曲補正方法、 歪曲補正プログラム、 及び光学装置 が実現する。
図面の簡単な説明
[0047] [図 1 ]或るレンズの或るレンズポジションにおける歪曲収差データである。
[図 2]係数 A， B， Cの d， f 方向の分布の様子を示す図である。
[図 3]第 1実施形態の最適化処理を簡略化して示すフローチャートである。
[図 4]式 （6 ) の定義をグラフで表したものである。
[図 5]重み係数 ：を rに依存させた場合のグラフである。 [図 6]第 3実施形態の最適化処理のフローチヤ一卜である。
[図 7]第 4実施形態の最適化処理のフローチャートである。
[図 8]画像データの付加情報を説明する図である。
[図 9]コンピュータが記憶するテーブルの内容を説明する図である。
[図 10]第 6実施形態のカメラの構成図である。
[図 11]第 7実施形態のカメラシステムの構成図である。
[図 12]第 8実施形態の最適化処理のフローチャートである。
[図 13]第 8実施形態の最適化処理を説明する図である。
発明を実施するための最良の形態
[0048] [第 1実施形態]
以下、 本発明の第 1実施形態を説明する。 本実施形態は、 歪曲補正情報を 用意する方法の実施形態である。 歪曲補正情報は、 ソフトウェアやディジタ ルカメラなどの歪曲補正に必要なものであり、 撮影用のレンズの種類 （仕様 ) に固有なので、 その用意は、 レンズの製造者によって行われる。
[0049] 図 1は、 或るレンズの或るレンズポジションにおける歪曲収差データであ る。 図 1において、 横軸は像高比 rであり、 縦軸は歪曲量 Dである。 本発明 者は、 この歪曲量 Dは、 像高比 rの関数 （1 ) で良好に近似することができ ると考えた （但し、 A， B， Cは係数） 。
[0050] D ( r ) ≡A r4+B r3+C r2 … （1 )
また、 この関数 （1 ) の係数 A， B， Cは、 レンズのレンズポジション （ 焦点位置 d， 焦点距離 f の組み合わせ） により異なる。 係数 Aの d， f 方向 の分布、 係数 Bの d， f 方向の分布、 係数 Cの d， f 方向の分布は、 それぞ れ、 図 2 (A) ， (B) ， (C) に点線で示すとおり、 滑らかな曲面 SA， SB ， Scで表すことができる （但し、 図 2に示した曲線の形状は、 一例であって 、 実際の形状はこれと同じになるとは限らない。 ） 。
[0051] そこで、 本実施形態では、 係数 A， B， Cのそれぞれを、 d， f の関数 （ A) ， (B) ， (C) で表すことを考える。
[0052] 圆 (/ ; ∑∑「 —'/—' …(
'=ο ./=ϋ …( -(C)
Figure imgf000010_0001
[0053] 以下、 これらの関数 （A) ， (B) ， (C) を 「係数用関数」 といい、 上 述した関数 （1 ) を 「歪曲量関数」 という。
[0054] 係数用関数 （A) は、 d， f の次数の組み合わせの異なる 9組の項からな リ、 9組の係数「。。， 「。 「。2， 「，。， 「"， 「12， 「2。， 「21， 「22を含む。
[0055] 係数用関数 （B) は、 d， f の次数の組み合わせの異なる 9組の項からな リ、 9組の係数 Δοο, 厶 ΔΟ2， Δ1()， Δ", Δ12， Δ2ο， Δ21， Δ22を含む。
[0056] 係数用関数 （C) は、 d， f の次数の組み合わせの異なる 9組の項からな リ、 9組の係数 Λ。。， Λ0ι, Λ。2， Λ10, Λ"， Λ12， Λ2。， Λ21， Λ22を含む。
[0057] このとき、 歪曲量関数 （1 ) は、 以下の式 （1 ' ) のとおリ、 27組の係
3¾厂00， 厂 01， ■ 02， 厂 10， ■ 11， 「 12， 厂 20， ■ 21， 厂 22， 厶00， 厶01， 厶02， ^10» Δ 11, Δ 12» 20» 21, Δ22» 00» Λ01, A 02» Λ ιο» Λ 11, Λΐ2， Λ20» Λ21, Λ2 2で表されることになる。
[0058] [数 2] Λ - '厂 …(り
Figure imgf000010_0002
[0059] そこで、 本実施形態の製造者は、 これら 27組の係数の値を、 上述したレ ンズの歪曲補正情報として用意する。
[0060] 因みに、 このレンズで撮影された画像の歪曲補正では、 歪曲補正情報に含 まれる 27組の係数の値を歪曲量関数 （1 ' ) に当てはめて推測式を取得し 、 その推測式へ画像の撮影時のレンズポジション f ， dの値を当てはめるこ とにより画像の歪曲量分布を既知とし、 その歪曲量分布がゼロとなるように (つまり、 その歪曲量分布を補正特性として） 歪曲補正を行えばよい。
[0061 ] さて、 本実施形態の製造者は、 先ず、 上述したレンズの各レンズポジショ ン f ， dにおける歪曲収差データを用意する。 この歪曲収差データは、 レン ズの設計データに基づくシミュレーションによって得たものであっても、 レ ンズの実測データであってもよいが、 なるベく詳細なデータであることが望 ましい。 この歪曲収差データを利用し、 製造者は、 2 7組の係数の値を最適 化する。 この最適化処理には、 コンピュータが使用される。 このコンビユー タには、 歪曲収差データが予め製造者によって入力されており、 また、 以下 の手順を実行するための最適化処理プ口グラムがィンストールされている。
[0062] 図 3は、 最適化処理を簡略化して示すフローチャートである。
[0063] 図 3に示すとおり、 最適化処理では、 コンピュータは、 最初に 2 7組の係 数を初期値に設定し （ステップ S 1 1 ) 、 続いて、 それら係数の評価値 Sを 算出し （ステップ S 1 2 ) 、 その評価値 Sが小さくなるように 2 7組の係数 の値の組み合わせを繰り返し少しずつ修正する （ステップ S 1 3， S 1 4 ) 。 その後、 評価値 Sが十分に小さくなると （ステップ S 1 3 Y E S ) 、 その 時点における 2 7組の係数の値を歪曲補正情報として記憶し （ステップ S 1 5 ) 、 最適化処理を終了する。 以下、 初期値の設定 （ステップ S 1 1 ) と、 評価値 Sの算出 （ステップ S 1 2 ) とを順に詳しく説明する。
[0064] 初期値の設定 （ステップ S 1 1 ) ；
本ステップでは、 先ず、 コンピュータは、 或るレンズポジション f ， dに おける歪曲収差データを、 上述した歪曲量関数 （1 ) に対しフィッティング し （例えば、 最小二乗法によるフィッティングである。 ） 、 係数 A， B， C の値を取得する。 さらに、 コンピュータは、 このような係数 A， B， Cの値 の取得を、 全レンズポジション f ， dについてそれぞれ行う。
[0065] 続いて、 コンピュータは、 全レンズポジション f ， dにおける係数 Aの値 を、 上述した係数用関数 （A) に対しフィッティングし、 9組の係数「の値 を取得する。 また、 全レンズポジション f ， dにおける係数 Bの値を、 係数 用関数 （B ) に対しフィッティングし、 9組の係数 Δの値を取得する。 また 、 全レンズポジション f ， dにおける係数 Cの値を、 係数用関数 （C) に対 しフィッティングし、 9組の係数 Λの値を取得する。 このようにして取得さ れた 27組の係数の値が、 初期値として設定される。
[0066] 評価値 Sの算出 （ステップ S 1 2) ；
本ステップでは、 先ず、 コンピュータは、 27組の係数の値を歪曲量関数 (1 ' ) に当てはめ、 推測式を取得すると共に、 その推測式により、 或るレ ンズポジション f ， dの歪曲量 D ( f ， d， r) を推測する。 以下、 この歪 曲量 D ( f ， d， r) を、 「推測歪曲量 Dexp ( f ， d， r) 」 とおく。
[0067] また、 コンピュータは、 歪曲収差データから、 前記レンズポジション f ， dにおける実際の歪曲量 D ( f , d， r ) を参照する。 以下、 この歪曲量 D ( f , d， r) を、 「固有歪曲量 Dlen ( f ， d， r) 」 とおく。
[0068] そして、 コンピュータは、 推測歪曲量 Dexp ( f ， d， r) と固有歪曲量 Dlen
( f ， d， r) との差 {Dlen ( f ， d， r) _Dexp ( f ， d， r) } を算出す る。 この差 {Dlen ( f ， d， r) -Dexp ( f ， d， r) } は、 27組の係数が 前記レンズポジション f ， dにもたらす推測誤差であって、 前記レンズポジ シヨン f ， dで撮影した画像を前記 27組の係数に基づき歪曲補正したとき に残る歪曲量である。 そこで、 以下では、 この差 {Dlen ( f ， d， r) -Dexp ( f , d， r) } を、 「残留収差量 ( f ， d， r) 」 とおく。
[0069] さらに、 コンピュータは、 このような残留収差量 ( f ， d， r) の算 出を、 全レンズポジションについてそれぞれ行う。 そして、 コンピュータは 、 全レンズポジションのトータルの残留収差量を、 27組の係数の評価値 S として算出する。 評価値 Sの算出式は、 以下の式 （3) のとおリである （以 上、 ステップ S 1 2の説明） 。
[0070] [数 3]
Figure imgf000012_0001
[0071 ] すなわち、 本実施形態の最適化処理では、 先ず、 2 7組の係数は、 それぞ れ初期値に設定される （ステップ S 1 1 ) 。 但し、 このとき、 9組の係数「 の初期値と、 9組の係数 Δの初期値と、 9組の係数 Λの初期値とは、 互いに 独立したフィッティングで算出される。 このため、 ステップ S 1 2〜S 1 4 のループの開始当初は、 一部のレンズポジションにおいて残留収差量 ( f , d， r ) が大きくなつている可能性がある。
[0072] しかし、 上述したステップ S 1 2〜S 1 4のループは、 式 （3 ) で表され る評価値 Sを小さくする方向に働く。 つまり、 各レンズポジションにおける 残留収差量 ( f , d， r ) をそれぞれゼロに近づける方向に働く。 よつ て、 このループが十分な回数だけ繰り返されると、 2 7組の係数の値は、 全 レンズポジションにおける残留収差量 の大きさをそれぞれ均等に抑える ような値へと収束する。 その結果、 全レンズポジションにとって良好な歪曲 補正情報 （2 7組の係数の値） が用意される。
[0073] したがって、 本実施形態で用意した歪曲補正情報は、 歪曲補正情報の情報 量が少ないにも拘わらず、 全レンズポジションに関する歪曲補正を、 それぞ れ確実かつ良好に行うことができる。
[0074] また、 本実施形態では、 レンズの焦点距離 f と焦点位置 dとの双方が可変 であることを前提としたが、 レンズが単焦点レンズである場合は f が不変な ので、 上述した係数 A， B， Cが dのみの関数で近似される。 このとき、 係 数用関数 （A) ， ( B ) ， ( C) の項数はそれぞれ 3となり、 歪曲補正情報 は、 9組の係数から構成されることになる。
[0075] なお、 本実施形態では、 最適化処理をコンピュータが実行したが、 この処 理の一部又は全部を、 製造者が手計算で行ってもよい。
[0076] [第 2実施形態]
以下、 本発明の第 2実施形態を説明する。 本実施形態は、 第 1実施形態の 変形例である。 ここでは、 第 1実施形態との相違点のみ説明する。
[0077] 相違点は、 評価値 Sの算出式として、 上述した式 （3 ) の代わりに以下の 式 （5 ) を用いる点にある。 [0078] [数 4] --(5)
Figure imgf000014_0001
[0079] 式 （5) において、 ： ( f ， d， r) は重み係数であり、 レンズポジショ ン毎かつ像高比毎に設定される。 本実施形態では、 簡単のため、 重み係数 ： ( f , d， r) を、 レンズポジション f ， dのみの関数とし、 同じレンズポ ジシヨンであれば像高比 rによらず一定の値とする。 このとき、 重み係数 ： ( f ， d， r) が大きいレンズポジションほど、 最適化後の残留収差量
( f ， d， r) が小さくなる。
[0080] そこで、 本実施形態では、 高い補正精度が必要なレンズポジションでは重 み係数 ： ( f , d， r) を大きく設定し、 高い補正精度を必要としないレン ズポジションでは重み係数 ： ( f , d， r) を小さく設定する。 こうするこ とで、 トータルの残留収差を第 1実施形態と同程度に抑えながら、 一部のレ ンズポジションの補正精度を効率的に高めることができる。
[0081] ここで、 高い補正精度が必要なレンズポジションは、 例えば、 固有歪曲量
D|en ( f , d， r) のタイプが陣笠型であるようなレンズポジションである。 なぜなら、 陣笠型の歪曲量分布は、 同じ補正精度で歪曲補正を行っても、 他 のタイプの歪曲量分布と比較すると、 補正後の画像に違和感を残す可能性が 高いと考えられる。
[0082] 一方、 高い補正精度を必要としないレンズポジションは、 例えば、 固有歪 曲量 Dlen ( f ， d， r) のタイプが樽型であるようなレンズポジションである 。 なぜなら、 一般に、 樽型の歪曲量分布は、 同じ補正精度で歪曲補正を行つ ても、 他のタイプの歪曲量分布と比較すると、 補正後の画像に違和感を残す 可能性が低いと考えられる。
[0083] そこで、 本実施形態では、 各レンズポジションの重み係数 ：を、 各レンズ ポジションの固有歪曲量 Dlen ( f ， d， r) のタイプに応じて、 次式 （6) の とおり定義する。
[0084] [数 5]
(f,d,r) =小 / „が樽型のとき
< (/ ，り =中 /^が糸巻き型のとき ·'.(6)
(f,d,r) =大 が陣笠型のとき
[0085] 式 （6) の定義をグラフで表すと、 図 4のとおリとなる。 図 4 (A) に示 すように、 固有歪曲量 Dlen ( f ， d， r) のタイプが樽型であるレンズポジシ ヨンでは、 重み係数 ：は小さい値 ： a ( 《1 ) を採り、 図 4 (B) に示すよ うに、 固有歪曲量 Dlen ( f ， d， r) のタイプが糸巻型であるレンズポジショ ンでは、 重み係数 ：は若干大きい値 b (ζs<ζb< ^ ) を採り、 図 4 (B) に 示すように、 固有歪曲量 Dlen ( r) のタイプが陣笠型であるレンズポジション では、 重み係数 ：は大きい値 :。 (ζ,<ζο< を採る。
[0086] したがって、 本実施形態で用意された歪曲補正情報 （27組の係数） によ れば、 歪曲量の推測や補正に何の工夫を施さなくとも （27組の係数の値を 歪曲量関数 （1 ' ) に当てはめてできる推測式で歪曲補正を行うだけで） 、 各レンズポジションでの歪曲補正の精度を、 各レンズポジションでの歪曲量 分布のタイプに応じて制御することができる。
[0087] 具体的には、 歪曲補正前の画像の歪曲量分布のタイプが陣笠型であるとき には歪曲補正の精度は高くなリ、 歪曲補正前の画像の歪曲収差分布のタイプ が糸巻型であるときには歪曲補正の精度は中程度になリ、 歪曲補正前の画像 の歪曲量分布が樽型であるときには歪曲補正の精度は低くなる。
[0088] なお、 本実施形態では、 各レンズポジションの重み係数 ： ( f ， d， r) を、 各レンズポジションの固有歪曲量 Dlen ( f ， d， r) のタイプで定義した が、 固有歪曲量 Dlen ( f ， d， r) の大きさで定義してもよく、 固有歪曲量 D ( f , d， r) の大きさとタイプの組み合わせで定義してもよい。
[0089] また、 本実施形態では、 各レンズポジションの重み係数 ： ( f ， d， r) を、 各レンズポジションの固有歪曲量 Dlen ( f ， d， r) で定義したが、 固有 歪曲量 Dlen ( f ， d， r) 、 残留収差量 ( f ， d， r) の何れか 1つ又は 2つで定義してもよい。 以下、 重み係数 ： ( f , d， r) の定義方法の例を 幾つか示す。
<定義 1 >各レンズポジションの重み係数 ： ( f ， d， r) を、 各レンズポ ジシヨンの残留収差量 ( f , d， r) のタイプで定義するもの （例えば 、 式 （7) 参照） 。
[0090] [数 6]
(f,d,r) =小 が樽型のとき
(/ ）=中 が糸卷型のとき …（フ）
{J d,r) =大 0Dが ΡΨ:笠型のとき
[0091] <定義 2>各レンズポジションの重み係数 ： ( f ， d， r) を、 各レンズポ ジシヨンの固有歪曲量 Dlen ( f ， d， r) のタイプと残留収差量 ( f ， d ， r) のタイプとの組み合わせで定義するもの （例えば、 式 （8) 参照） 。
[0092] [数 7] f,d,r、 =小 „„が陣笠犁かつ が非陣笠型のとき
< (f,d,r) =大 D ^が樽 かつ が非樽型のとき ー(8)
） =中 上記以外のとき
[0093] なお、 各レンズポジションの推測歪曲量 Dexp ( f ， d， r) 及び残留収差量 δθ ( f , d， r) は、 レンズポジションだけでなく設定中の係数 （27組 の係数の組み合わせ） にも依存するので、 定義 1， 2の何れかを採用する場 合は、 ステップ S 1 4にて係数が修正される毎に重み係数 ： ( f , d， r) を設定し直す必要がある。
[0094] 因みに、 式 （7) の定義を採用すると、 歪曲補正後の歪曲量分布が好まし くないときほど （樽型よりも糸巻型、 糸巻型よりも陣笠型） 、 歪曲補正の精 度が高くなる。
[0095] また、 式 （8) の定義を採用すると、 歪曲量分布が歪曲補正前後に目立ち にくいもの （樽型） から目立ちやすいもの （非樽型） へと変化するときに、 歪曲補正の精度が高くなリ、 目立ちやすいもの （陣笠型） から目立ちにくい もの （非陣笠型） へと変化するときに、 歪曲補正の補正精度が低くなる。
[0096] また、 本実施形態では、 重み係数 ： ( f , d， r) をレンズポジション f ， dのみの関数としたが、 レンズポジション f ， d及び像高比 rの関数とし てもよい。
[0097] 例えば、 式 （8) の定義を採用し、 特に、 固有歪曲量 Dlen ( f ， d， r) が 樽型でありかつ残留収差量 ( f ， d， r) が陣笠型のときには、 歪曲補 正後の画像の周辺部に特に強い違和感が生じるので、 図 5に示すとおり、 重 み係数 ：を像高比 rに依存させ、 像高比 rが大きいときに重み係数 ：の値を 大きくすると効果的である。
[0098] [第 3実施形態]
以下、 本発明の第 3実施形態を説明する。 本実施形態は、 第 2実施形態の 変形例である。 ここでは、 第 2実施形態との相違点のみ説明する。
[0099] 図 6は、 本実施形態の最適化処理のフローチャートである。
[0100] 相違点は、 歪曲補正後の画像の歪曲量分布をゼロに近づける代わりに、 意 図的な歪曲量分布に近づける点にある。 以下、 この意図的な歪曲量分布を、
「目標残留収差量」 という。 目標残留収差量 DTarget ( f , d， r) の情報は、 製造者からコンピュータへと予め入力されている。
[0101] 歪曲補正後の画像の歪曲量分布を目標残留収差量 DTarget ( f ， d， r) に近 づけるため、 本実施形態では、 27組の係数を第 2実施形態と同様の手順で 最適化した後に （ステップ S 1 1〜S 1 5) 、 その最適化後の係数を目標残 留収差量 DTarget ( f ， d， r) に応じて補正する （ステップ S35) 。
[0102] 例えば、 全レンズポジションの目標残留収差量 DTarget ( f ， d， r) を、 像 高比 rの二次関数で表される共通の目標残留収差量 （つまり、 レンズポジシ ヨンに依存しない目標残留収差量） とする場合 （つまり、 DTarget ( f ， d， r ) =Q? r2とする場合） は、 ステップ S35において、 27組の係数のうち、 r2に関する 9組の係数 AQQ, Λ0ι, Λ02, Λ10, Λ„， Λ12， Λ20, Λ21， Λ22、 特 に、 レンズポジション d， f に依らない係数 Λ00を、 Λοο→Λοο+ひなどと補正 すればよい。
[0103] したがって、 本実施形態で用意した歪曲補正情報 （補正後の 27組の係数 ) によれば、 歪曲量の推測や補正に工夫を施さなくとも （27組の係数の値 を歪曲量関数 （1 ' ) へ当てはめてできる推測式で歪曲補正を行うだけで） 、 各画像の歪曲量分布を、 製造者が所望した歪曲量分布に近づけることがで さる。
[0104] なお、 本実施形態は、 第 2実施形態の変形例であるが、 第 1実施形態を同 様に変形してもよい。
[0105] [第 4実施形態]
以下、 本発明の第 4実施形態を説明する。 本実施形態は、 第 3実施形態の 変形例である。 ここでは、 第 3実施形態との相違点のみ説明する。
[0106] 図 7は、 本実施形態の最適化処理のフローチャートである。
[0107] 図 7に示すとおり、 相違点は、 目標残留収差量 DTarget ( f ， d， r) に応じ て係数を補正するステップ （ステップ S35) を省略した点と、 評価値 Sの 算出式として式 （5) の代わりに式 （9) を用いる点とにある。
[0108] [数 8]
S≡ ∑jdr{ (f,d,r D(f,d,r)-Drai M^^ ·'·(9)
[0109] この式 （9) は、 式 （5) において、 目標残留収差量 DTarget ( f ， d， r) を加味したものである。 本実施形態では、 この式 （9) で表される評価値 S を小さくする方向に、 ステップ S 1 2' 〜S 1 4のループが働くので、 残留 収差量 ( f ， d， r) は、 ゼロではなく、 目標残留収差量 DTarget ( f ， d ， r) に近づく。
[0110] その結果、 本実施形態によっても、 第 3実施形態と同等の効果が得られる
[0111] なお、 本実施形態では、 各レンズポジションの目標残留収差量 DTarget ( f ， d, r) を、 各レンズポジションの固有歪曲量 Dlen ( f ， d， r) の大きさや タイプに応じて設定してもよい。 そのような設定下で歪曲補正情報 （27組 の係数） を取得すれば、 推測や補正に何の工夫を施さなくとも、 各画像の歪 曲補正後の歪曲量分布を、 各画像の歪曲補正前の歪曲量分布のタイプに応じ て制御することができる。 [0112] 例えば、 固有歪曲量 Dlen ( f ， d， r) のタイプが陣笠型であるレンズポジ シヨンでは、 目標残収差量 DTarget ( f ， d， r) を非陣笠型に設定するとよい
[0113] また、 固有歪曲量 Dlen ( f ， d， r) のタイプが樽型であるレンズポジショ ンでは、 目標残留収差量 DTarget ( f ， d， r) を、 固有歪曲量 Dlen ( f ， d， r) よりも歪曲量の小さい樽型に設定するとよい。
[0114] また、 固有歪曲量 Dlen ( f ， d， r) のタイプが糸巻型であるレンズポジシ ヨンでは、 目標残留収差量 DTarget ( f ， d， r) を、 固有歪曲量 Dlen ( f ， d
， r) よりも歪曲量の小さい樽型、 又は固有歪曲量 Dlen ( f ， d， r) よりも 歪曲量の小さい糸巻き型に設定するとよい。
[0115] なお、 目標残留収差量 DTarget ( f , d， r) の設定の一部又は全部は、 コン ピュータがステップ S 1 2' において自動的に実行することとしてもよい。
[0116] また、 第 3実施形態の目標残留収差量 DTarget ( f ， d， r) を、 本実施形態 と同様に設定してもよい。
[0117] また、 本実施形態では、 評価値 Sの算出式として、 式 （9) の代わりに、 式 （9) において重み係数 ： ( f , d， r) = 1とおいたものを用いてもよ い。
[0118] [第 5実施形態]
以下、 本発明の第 5実施形態を説明する。 本実施形態は、 歪曲補正機能を 有した画像編集ソフトウェアの実施形態である。 このソフトウェアは、 イン ターネッ卜や CD— ROMなどを介してディジタルカメラのユーザのコンビ ユータへインストールされる。 ここでは、 このコンピュータの動作を説明す ることにより、 このソフトウェアの内容を説明する。
[0119] コンピュータは、 ディジタルカメラに接続されると、 そのディジタルカメ ラに格納されている画像データを取り込む。 この画像データが、 歪曲補正の 対象となる。 この画像データには、 図 8に示すように、 付加情報として、 撮 影時に使用されたレンズの種類を示す情報と、 撮影時のレンズポジシヨン d ， f の値を示す情報とが付加されている。 このような付加情報は、 撮影時に ディジタルカメラによって他の情報 （露出， シャッタースピード， 撮影日時 など） と共に付加されたものである。
[0120] また、 コンピュータは、 上述した歪曲量関数 （1 ' ) を予め記憶すると共 に、 複数種類のレンズの歪曲補正情報 （2 7組の係数） を、 例えば、 図 9に 示すようにテーブルとして予め記憶している。
[0121 ] このテーブルにおいて、 歪曲補正情報は、 レンズの種類毎に格納されてい る。 各レンズの歪曲補正情報は、 上述した実施形態により予め用意されたも のである。 また、 各レンズの歪曲補正情報としては、 補正強度が 「強」 であ るもの （高補正用の歪曲補正情報） と、 補正強度が 「中」 であるもの （中補 正用の歪曲補正情報） と、 補正強度が 「弱」 であるもの （低補正用の歪曲補 正情報） との 3種類が用意されている。
[0122] 高補正用の歪曲補正情報は、 第 1実施形態又は第 2実施形態で取得された もの、 又は、 第 3実施形態又は第 4実施形態において目標残留収差量 DTarget ( f , d， r ) の大きさをゼロに設定して取得されたものである。
[0123] 中補正用の歪曲補正情報は、 第 3実施形態又は第 4実施形態において目標 残留収差量 DTarget ( f ， d， r ) の大きさをゼロよりも大きな値に設定して取 得されたものである。
[0124] 低補正用の歪曲補正情報は、 第 3実施形態又は第 4実施形態において、 目 標残留収差量 DTarget ( f ， d， r ) の大きさをゼロよりも大きく、 かつ中補正 用のそれよリも大きな値に設定して取得されたものである。
[0125] さて、 コンピュータは、 或る画像の歪曲補正に当たり、 その画像の画像デ ータの付加情報 （図 8 ) を参照し、 その画像の撮影に使用されたレンズの種 類と、 その画像の撮影時に設定されたレンズポジション d， f の値とを認識 する。
[0126] また、 その画像の歪曲補正に当たり、 コンピュータは、 ユーザに対し、 歪 曲補正の補正強度を 「強」 、 「中」 、 「弱」 の中から 1つ選択させることに より、 補正強度を指定させる。
[0127] そして、 コンピュータは、 使用されたレンズの種類と、 指定された補正強 度とに応じてテーブル （図 9 ) を参照し、 そのレンズの種類と補正強度との 組み合わせに対応付けられた歪曲補正情報 （2 7組の係数の値） を読み出す
[0128] コンピュータは、 読み出した 2 7組の係数の値を前述した歪曲量関数 （1 ' ) へ当てはめることにより、 推測式を取得する。 さらに、 コンピュータは 、 その推測式に対し、 撮影時に設定されたレンズポジション d， f の値を当 てはめることにより、 画像上の歪曲量分布を既知とする。 そして、 ユーザか ら歪曲補正の指示があると、 コンピュータは、 上記の歪曲補正情報を利用し て画像データの歪曲補正を行い、 歪曲補正後の画像を外部のモニタなどへ出 力する。
[0129] 以上、 本実施形態のコンピュータは、 歪曲補正時に、 ユーザが指定した補 正強度に応じて歪曲補正情報を使い分けるので、 ユーザの要求に応じること ができる。
[0130] しかも、 本実施形態のテーブル （図 9 ) には、 各レンズの歪曲補正情報が 補正強度毎に予め用意されているので、 実際の歪曲補正時、 コンピュータは 指定された補正強度に応じて歪曲補正情報を使い分けるだけで、 演算内容を 変更する必要は無い。 したがって、 各補正強度の歪曲補正を、 それぞれ高速 に行うことができる。
[0131 ] さらに、 本実施形態の歪曲補正情報は、 第 1実施形態〜第 4実施形態の何 れかの方法で取得されたものなので、 情報量が少ないにも拘わらず、 全レン ズポジションに関する歪曲補正を、 それぞれ確実かつ良好に行うことができ る。
[0132] なお、 本実施形態のテーブルには、 1種類のレンズにつき 3種類の歪曲補 正情報が格納されたが、 1種類のレンズにつき 1種類の歪曲補正情報、 1種 類のレンズにつき 2種類の歪曲補正情報、 或いは 1種類のレンズにつき 4種 類以上の歪曲補正情報が格納されてもよい。 その場合、 ユーザの選択肢の数 も、 歪曲補正情報の種類数と同じになる。
[0133] また、 本実施形態のテーブルには、 1種類のレンズにつき補正強度の異な る複数種類の歪曲補正情報が格納されたが、 補正タイプの異なる複数種類の 歪曲補正情報が格納されてもよい。 ここで、 補正タイプの異なる複数種類の 歪曲補正情報とは、 例えば、 第 3実施形態又は第 4実施形態において目標残 留収差量 DTarget ( f ， d， r) のタイプを樽型に設定して取得された歪曲補正 情報と、 目標残留収差量 DTarget ( f , d， r) のタイプを糸巻型に設定して取 得された歪曲補正情報と、 目標残留収差量 DTarget ( f , d， r) のタイプを陣 笠型に設定して取得された歪曲補正情報とである。 その場合、 ユーザが指定 するのは、 「補正強度」 ではなく、 「補正タイプ」 となる。
[0134] また、 本実施形態のテーブルの内容は、 新しい種類のレンズが発売される 毎に更新される （つまり新しい種類のレンズの歪曲補正情報が追加される） ことが望ましい。 更新情報は、 各種のソフトウェアと同様、 インターネット 上で公開され、 それをユーザがコンピュータへダウンロードすればよい。
[0135] また、 本実施形態では、 コンピュータを利用したが、 コンピュータの代わ りに、 画像処理機能を搭載したストレージャゃプリンタなどを利用し、 スト レージャゃプリンタなどに対し同様の処理を行わせてもよい。 或いは、 カメ ラ、 カメラシステム （カメラと交換レンズとからなるシステム） などの携帯 機器に対し、 同様の処理を行わせてもよい。 因みに、 カメラシステムにこの 処理を行わせる場合、 複数種類の歪曲補正情報を交換レンズが予め記憶し、 歪曲量関数 （1 ' ) をカメラが予め記憶すればよい。
[0136] [第 6実施形態]
以下、 本発明の第 6実施形態を説明する。 本実施形態は、 歪曲補正機能を 搭載したレンズ一体型ディジタルカメラの実施形態である。
[0137] 図 1 0は、 本カメラの構成図である。 図 1 0に示すとおり、 本カメラ 1 0 には、 レンズポジションが可変のレンズ 1 0 L， カメラ CPU 1 0A, 撮像 素子 1 2， 信号処理回路 1 3， メモリ 1 4， 圧縮'伸張回路 1 5， 記録部 1 6, 画像処理回路 1 7などが備えられる。 このうち、 カメラ CPU 1 OAの 内部には、 ROMや RAMが備えられる。
[0138] このカメラ CPU 1 OA内の ROMには、 レンズ 1 0 Lに関する歪曲補正 情報 （27組の係数の値） Iと、 歪曲量関数 （1 ' ) とが予め格納されてい る。 歪曲補正情報 （27組の係数の値） Iは、 カメラ 1 0の製造者により、 第 1実施形態〜第 4実施形態の何れかの方法で用意されたものである。 ここ では、 歪曲補正情報 Iを、 補正強度が 「強」 である歪曲補正情報、 例えば、 第 3実施形態又は第 4実施形態において目標残留収差量 DTarget ( f ， d， r) の大きさをゼロに設定して取得された歪曲補正情報とする。
[0139] なお、 レンズ一体型のカメラでは、 レンズの種類が不変なので、 ここでは 、 CPU 1 OAの ROMには、 歪曲補正情報 （27組の係数の値） と歪曲量 関数 （1 ' ) とが別々に格納される代わりに、 前者を後者へ当てはめてでき る推測式が格納されるものとして説明する。
[0140] 撮影時、 レンズ 1 O Lが撮像素子 1 2上に被写体の像を形成すると、 撮像 素子 1 2は、 その被写体の像を撮像して画像データを取得する。 その画像デ ータは、 信号処理回路 1 3において処理された後、 メモリ 1 4へ一時的に格 納される。 この撮影時のレンズ 1 0 Lのレンズポジション f ， dの値は、 不 図示のエンコーダを介してカメラ CPU 1 OAによって読み取られる。
[0141] カメラ CPU 1 OAは、 そのレンズポジション f ， dの値を、 ROMに格 納された推測式へ当てはめ、 画像上の歪曲量分布を既知とする。 画像処理回 路 1 7は、 その歪曲量分布がゼロとなるように （つまり、 その歪曲量分布を 補正特性として） 、 メモリ 1 4に格納された画像データに対し歪曲補正処理 を施す。 歪曲補正後の画像データは、 圧縮■伸張回路 1 5において圧縮処理 された後、 記録部 1 6において記録される。
[0142] 以上、 本実施形態のカメラ 1 0は、 歪曲補正情報として、 上述した実施形 態で取得された歪曲補正情報を予め記憶し （ここでは、 その歪曲補正情報を 歪曲量関数に当てはめてできる推測式を予め記憶し） 、 それに基づき歪曲補 正を行う。 したがって、 歪曲補正情報の情報量を抑えながら、 全レンズポジ シヨンに関する歪曲補正を、 それぞれ確実かつ良好に行うことができる。
[0143] なお、 本実施形態では、 歪曲補正情報の格納先をカメラ CPU 1 OA内の ROMとしたが、 カメラ CPU 1 OAとは別に設けられたメモリであっても 構わない。
[0144] また、 本実施形態のカメラ 1 0は、 画像データに対し歪曲補正を施したが 、 歪曲補正を施す代わりに、 歪曲補正に必要な情報 （推測した歪曲量分布の 情報など） を画像データに付加してもよい。 その場合、 画像データの歪曲補 正は、 コンピュータなどで行われることになる。
[0145] [第 7実施形態]
以下、 本発明の第 7実施形態を説明する。 本実施形態は、 歪曲補正機能を 持つディジタルカメラシステムの実施形態である。
[0146] 図 1 1は、 本カメラシステムの構成図である。 図 1 1に示すとおり、 本力 メラシステムは、 交換レンズ 1 1と、 交換レンズ 1 1を着脱可能なカメラ 1 0とからなる。
[0147] 交換レンズ 1 1には、 レンズポジションが可変のレンズ 1 1 L， レンズ C PU 1 1 A, ROM 1 1 Bなどが備えられる。 カメラ 1 0には、 カメラ CP U 1 OA, 撮像素子 1 2， 信号処理回路 1 3， メモリ 1 4， 圧縮'伸張回路 1 5， 記録部 1 6， 画像処理回路 1 7、 操作釦 1 OBなどが備えられる。 ュ 一ザは、 この操作釦 1 OBを介して、 歪曲補正の補正強度をカメラ 1 0に指 定する。 また、 カメラ CPU 1 OAの内部には、 ROMや RAMが備えられ る。 また、 図 1 1には表さなかったが、 カメラ 1 0は、 一眼レフレックス力 メラであり、 交換レンズ 1 1が形成する被写体の像を、 非撮影時にユーザが 目視するための光学ファインダ （クイックリターンミラー、 ペンタブリズム など） も備えられている。
[0148] カメラ CPU 1 OA内の ROMには、 歪曲量関数 （1 ' ) が予め格納され ており、 交換レンズ 1 1内の ROM 1 1 Bには、 レンズ 1 1 Lに関する歪曲 補正情報 I (27組の係数の値） が格納されている。 この歪曲補正情報 Iは 、 交換レンズ 1 1の製造者により、 第 1実施形態〜第 4実施形態の何れかの 方法で用意されたものである。 ここでは、 歪曲補正情報 （27組の係数の値 ) Iを、 補正強度が 「強」 である歪曲補正情報、 例えば、 第 3実施形態又は 第 4実施形態において目標残留収差量 DTarget ( f ， d， r) の大きさをゼロに 設定して取得された歪曲補正情報とする。
[0149] 交換レンズ 1 1内のレンズ CPU 1 1 Aは、 電源投入時などの適当なタイ ミングで ROM 1 1 Bから 27組の係数の値を読み出し、 カメラ 1 0内の力 メラ C P U 1 0 Aへと送信する。
[0150] 一方、 カメラ 1 0内のカメラ CPU 1 OAは、 送信された 27組の係数の 値を認識すると、 それら 27組の係数の値を、 ROM内の歪曲量関数 （1 ' ) へ当てはめて、 推測式を取得する。 また、 カメラ CPU 1 0は、 操作釦 1 0 Bの状態に基づき、 ユーザが指定した補正強度を認識する。
[0151] 撮影時、 レンズ 1 1 Lが撮像素子 1 2上に被写体の像を形成すると、 撮像 素子 1 2は、 その被写体の像を撮像して画像データを取得する。 その画像デ ータは、 信号処理回路 1 3において処理された後、 メモリ 1 4へ一時的に格 納される。 この撮影時のレンズ 1 1 Lのレンズポジション f ， dの値は、 不 図示のエンコーダを介してレンズ CPU 1 1 Aによって読み取られ、 カメラ 1 0内のカメラ CPU 1 OAへと送信される。
[0152] カメラ C P U 1 0 Aは、 そのレンズポジシヨン f ， dの値を前記推測式へ 当てはめ、 画像上の歪曲量分布を既知とする。 さらに、 カメラ CPU 1 OA は、 その歪曲量分布を、 ユーザが設定した補正強度に応じて変換する。 推測 された歪曲量分布が、 D ( r) =A， t^+B, r3+C r2であったとすると、 変 換後の歪曲量分布 D' ( r) は、 例えば、 変換係数ひを用いて、 以下の式 （ 1 1) 、 或いは （1 2) で表される。
[0153] D' ( r ) =A, r^B, r3+ (Ο,+ Οί) r2 … （1 1 )
D' ( r ) = 01 {A, r^B, r 3+C r 2} … （ 1 2)
但し、 変換係数 Qfは、 ユーザの指定した補正強度が高いほど Qf→1になる (1に近づく） ものとする。
[0154] 画像処理回路 1 7は、 変換後の歪曲量分布 D' ( r) を画像の歪曲量分布 とみなし、 それがゼロとなるように、 メモリ 1 4に格納された画像データに 対し歪曲補正処理を施す。 歪曲補正後の画像データは、 圧縮，伸張回路 1 5 において圧縮処理された後、 記録部 1 6において記録される。 [0155] 以上、 本実施形態のカメラシステムでは、 交換レンズ 1 1は、 歪曲補正情 報 Iを予め記憶し、 カメラ 1 0は、 歪曲量関数 （1 ' ) を予め記憶する。 そ して、 実際の歪曲量分布の推測には、 それら両者の情報が利用される。 さら に、 本実施形態のカメラ 1 0は、 その推測した歪曲量分布を、 ユーザが設定 した補正強度に応じて変換し、 変換後の歪曲量分布を、 画像の歪曲量分布と みなして歪曲補正を行う。 したがって、 本実施形態のカメラシステムは、 ュ 一ザの指定した補正強度で歪曲補正を行うことができる。
[0156] しかも、 上述した歪曲補正情報 Iは、 上述した実施形態により取得された ものなので、 情報量が少ないにも拘わらず、 交換レンズ 1 1の全レンズポジ シヨンに関する歪曲量分布を、 正確に表す。 したがって、 全レンズポジショ ンに関する全補正強度の歪曲補正が、 それぞれ良好に行われる。
[0157] 因みに、 本実施形態のカメラ 1 0は、 一眼レフレックスカメラなので、 光 学ファインダを介して観察される被写体の像は、 交換レンズ 1 1の歪曲収差 の影響を受けて歪んでいる。 一方、 撮影した画像を強い補正強度で歪曲補正 すると、 その歪みは略完全に無くなるが、 画像周辺部の情報が欠落する可能 性がある。 このため、 画像に依っては、 強い補正強度で歪曲補正を行うと、 フレーミング時の画像と撮影された画像とに大きな相違が生じる可能性があ る。 しかし、 本実施形態のカメラ 1 0のユーザは、 歪曲補正の補正強度を指 定することができるので、 補正強度と情報保全とのバランスを、 ユーザが所 望するバランスに設定することができる。
[0158] なお、 本実施形態では、 歪曲量関数 （1 ' ) の格納先をカメラ C P U 1 0 A内の R O Mとしたが、 カメラ C P U 1 O Aとは別に設けられたメモリであ つても構わない。
[0159] また、 本実施形態のカメラ 1 0は、 画像データに対し歪曲補正を施したが 、 歪曲補正を施す代わりに、 歪曲補正に必要な情報 （推測した歪曲量分布の 情報など） を画像データに付加してもよい。 その場合、 画像データの歪曲補 正は、 コンピュータなどで行われることになる。
[0160] また、 本実施形態では、 交換レンズ 1 1が記憶するのは、 1種類の歪曲補 正情報であつたが、 交換レンズ 1 1の記憶容量 （ここでは、 R O M 1 1 Bの 記憶容量） が大きい場合には、 補正強度の異なる複数種類の歪曲補正情報で あってもよい。 その場合、 カメラ 1 0は、 推測後の歪曲量分布を補正する代 わりに、 それら 3種類の歪曲補正情報を使い分けて歪曲量分布の推測を行え ばよい。
[0161 ] [第 8実施形態]
以下、 本発明の第 8実施形態を説明する。 本実施形態は、 第 1実施形態の 変形例である。 ここでは、 第 1実施形態との相違点のみ説明する。
[0162] 第 1実施形態では、 画像の撮影時にレンズから実測されるレンズポジショ ン f ， dの値 （実測値） が正確であるとの前提の上に立つが、 実際には測定 誤差が生じている可能性がある。 この測定誤差は、 レンズ駆動機構の機械的 誤差、 エンコーダの量子化誤差などに起因する。
[0163] レンズポジション f ， dの実測値に測定誤差が生じていると、 第 1実施形 態にて良好な歪曲補正情報 （2 7組の係数） を用意したとしても、 歪曲量の 推測精度、 そして歪曲量の補正精度は悪化する。 歪曲量の補正精度が悪化す る場合、 通常は補正不足となることは許容できても、 過剰補正となることは 許容できない。
[0164] そこで本実施形態のコンピュータは、 レンズポジション f ， dの測定誤差 に起因する過剰補正の発生を確実に回避するため、 最適化後の歪曲補正情報 ( 2 7組の係数） に対し補正を施す。 以下、 この補正を歪曲補正と区別する ため、 「係数補正」 と称す。
[0165] 図 1 2は、 本実施形態の最適化処理のフローチャートである。 図 1 2にお いて、 ステップ S 8 5が係数補正のステップである。 以下、 このステップ S 8 5を詳しく説明する。
[0166] 先ず、 コンピュータは、 或るレンズポジション ， に着目し、 そのレン ズポジション ， c に対し様々な測定誤差を与え、 様々な測定誤差がもたら す推測誤差を見積もる。 ここでは、 目標残留収差 DTarget ( r ) がゼロなので、 歪曲補正後の画像に残る残留歪曲量 ( r ) を、 推測誤差 （補正誤差） と して見積もる。
[0167] ここで、 様々な測定誤差とは、 レンズポジションの実測値が ( f ，， d,) で あつたときに、 その実測値 ( d,) に含まれ得る様々な測定誤差のことで ある。 これは、 レンズ （エンコーダ及びレンズ駆動機構を含むレンズ鏡筒） から予め実測される。 また、 見積もりに使用される歪曲補正情報 （27組の 係数） は、 前のステップで最適化された歪曲補正情報 （27組の係数） であ る。
[0168] 図 1 3 (A) 〜 （D) は、 様々な測定誤差による様々な残留歪曲量 (
r) を示す図である。 図 1 3 (A) 〜 （D) の左側には、 歪曲補正前の歪曲 量 （固有歪曲量 Dlen ( r) ) を示した。 なお、 図 1 3では簡単のため、 全ての 固有歪曲量 Dlen ( r) を等しく描いたが、 実際には測定誤差が異なる分だけ若 干ずつ異なる。
[0169] 図 1 3 (A) 〜 （D) を比較すると明らかなとおり、 測定誤差が異なると 、 残留歪曲量 ( r) も異なる。 或る測定誤差は、 図 1 3 (A) ， (B) に示すとおり補正不足 （S D ( r) と Dlen ( r) とが等符号） を引き起こして いるのに対し、 別の測定誤差は、 図 1 3 (C) ， (D) に示すとおり過剰補 正 （S D ( r) と Dlen ( r) とが異符号） を引き起こしている。
[0170] そこで、 コンピュータは、 様々な測定誤差による様々な残留歪曲量 (
r) (図 1 3 (A) 〜 （D) ) の中から、 過剰補正による最大の残留歪曲量 S D ( r) (図 1 3 (D) ) を見出す。 以下、 この残留歪曲量 ( r) を 「最大残留歪曲量 S Dmax ( r) 」 とおく。 これによつて、 コンピュータは、 或 るレンズポジション （ ， d,) における処理を終了する。
[0171] さらに、 コンピュータは、 以上の処理 （最大残留歪曲量 S Dmax ( r) の取得 ) を、 他のレンズポジションについても行う。 その結果、 全てのレンズポジ シヨンにおける全ての最大残留歪曲量 S Dmax ( r) が得られる。
[0172] 続いて、 コンピュータは、 全てのレンズポジションにおける全ての最大残 留歪曲量 S Dmax ( r) に基づき、 最大残留歪曲量 S Dmax ( r) をレンズポジシ ヨン f ， dの関数で近似する。 その関数としては、 前述した歪曲量関数 （1 ' ) と同じ関数型の関数、 すなわち式 （1 0) を採用することができる
[0173] 園 M, '/ 2 -(10)
Figure imgf000029_0001
[0174] 但し、 式 （1 0) は複雑なので、 rの項数を削減した簡易的な関数を採用 してもよい。 例えば、 式 （1 1 A) （1 1 B) （1 1 C) の何れかであ る。
[0175] [数 10] (/ ∑ ' / 4 …ひ"） ， '/ - 3 -(115)
ゾ =0
5DmMf,d,r) 5 Λ 'ゾ - V …ひ 1C)
.7=0
[0176] ここでは簡単のため、 式 （1 1 Α) （1 1 Β) ( 1 1 C) のうち、 r の二乗の項のみからなる式 （1 1 C) を採用する。
[0177] この場合、 コンピュータは、 全てのレンズポジションにおける全ての最大 残留歪曲量 SDmax ( r) を式 （1 1 C) に対しフィッティングし、 式 （1 1 C ) における 9組の係数 3Λ。。， άΛοι, δΛ02, δΛ10, δ ^n, δ ^ , δ ^20 δ ^2 δΛ22の値を取得する。
[0178] 続いて、 コンピュータは、 これらの係数 δΛοο, d Ao d A02, d A,0, d Λ,,, d A , d A20, d A2U δΛ22の値に基づき、 前のステップで最適化され た歪曲補正情報 （27組の係数） の係数 AQQ, Λ0ι, Λ02, Λ10, Λ,,, Λ12 Λ2 ο, Λ21 Λ22の各々へ係数補正を施し、 本ステップを終了する。
[0179] この係数補正に使用される補正式は、 以下の式 （1 2) である。
[0180] [数 11] = + δΑ, --(12) [0181] したがって、 係数補正後の歪曲補正情報 （27組の係数） が過剰補正を引 き起こす可能性は、 ゼロに抑えられる。 歪曲補正情報 （2 7組の係数） が仮 に推測誤差を引き起こしたとしても、 それは何れも補正不足しか引き起こさ ない。
[0182] また、 本実施形態の係数補正では、 係数補正の対象が、 歪曲補正情報 （2 7組の係数） のうち、 rの二乗に関する係数 （9組の係数） のみに制限され たので、 歪曲補正情報 （2 7組の係数） が仮に補正不足を引き起こしたとし ても、 画像の残留歪曲量は rの二乗に略比例する。
[0183] したがって、 本実施形態で得られた歪曲補正情報 （2 7組の係数） によれ ば、 歪曲補正後の画像に不自然な歪曲が残る可能性は確実に抑えられる。
[0184] なお、 本実施形態は、 第 1実施形態の変形例であるが、 第 2実施形態、 第
3実施形態、 第 4実施形態の何れかを同様に変形してもよい。 また、 これら 変形例の何れかで用意した係数 （歪曲補正情報） を、 第 5実施形態〜第 7実 施形態の何れかで使用してもよい。
[0185] [その他の実施形態]
なお、 上述した各実施形態では、 歪曲補正情報の情報量をなるベく抑える ために、 歪曲量分布 （式 （1 ) ) の係数 A， B， Cを係数用関数 （A) ， ( B ) ， ( C) で表現したが、 情報量を抑える必要が無い場合には、 全レンズ ポジションにおける係数 A， B， Cの値を、 そのまま歪曲補正情報として用 意してもよい。 また、 その歪曲補正情報は、 補正後の各レンズポジションの 歪曲量分布をゼロにするための歪曲補正情報であってもよく、 また、 補正後 の各レンズポジションの歪曲量分布を目標残留収差量 DTarget ( f ， d， r ) に するための歪曲補正情報であってもよい。
[0186] また、 上述した各実施形態では、 係数用関数 （A) ， ( B ) ， ( C) を、
f の逆冪の項と dの逆冪の項とで構成したが、 f の重根の項 （f
Figure imgf000030_0001
f など ) や、 f の冪乗の項 （f ， f 2など） を含めてもよい。 以下、 係数用関数の幾 つかの例を示す。
[0187] [数 12] ( め -■μι)
め
/，め≡ …(ひ)
Figure imgf000031_0001
[0188] [数 13] A2)
<B2)
<C2)
Figure imgf000031_0002
[0189] 但し、 f cは焦点距離 f の代表値、 d cは焦点位置 dの代表値である。 例えば 、 f cは、 歪曲補正の対象であるレンズの焦点距離 f の値範囲の最小値、 d cは 同レンズの焦点位置 dの値範囲の最小値である。
[0190] [数 14]
Figure imgf000031_0003
[0191 ] [数 15]
A(f,d)≡ ∑ ∑r,jd'. …( 4)
=0,-1,-2 1·0.1
B(f,d)≡ X ∑A, 尸 …( 4)
=0,-1,-2 ニ— Ι.ϋ.1
(f,d)≡ X ∑Λ, .尸 一(C )
-0,-1,-2 ; = -L0J
[0192] また、 上述した各実施形態では、 歪曲量分布の式として式 （1 ) を使用し たが、 例えば、 式 （1 3) 、 或いは （1 4) で示すような別の式を使用して もよい。
[0193] D ( r ) 三 A r3+B r2 … （ 1 3)
D ( r ) 三 A r 3+B r 2+C r … （ 1 4)

Claims

請求の範囲
[1 ] 撮影用の光学系の歪曲収差をそのレンズポジションの関数で表し、 その係 数の情報を前記光学系の歪曲補正情報として予め用意する用意手順と、 前記光学系で撮影した画像の歪曲を、 その撮影時のレンズポジションと、 前記用意された前記歪曲補正情報とに基づき補正する補正手順と
を含む歪曲補正方法であって、
前記用意手順では、
2箇所以上のレンズポジションにおける残留収差がそれぞれ適切に制御さ れるように前記係数を最適化する
ことを特徴とする歪曲補正方法。
[2] 請求項 1に記載の歪曲補正方法において、
前記係数の最適化では、
前記 2箇所以上のレンズポジションにおける残留収差の大きさのバランス を制御する
ことを特徴とする歪曲補正方法。
[3] 請求項 2に記載の歪曲補正方法において、
前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2 箇所以上のレンズポジションにおける前記補正前の収差タィプに応じて設定 される
ことを特徴とする歪曲補正方法。
[4] 請求項 2又は請求項 3に記載の歪曲補正方法において、
前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2 箇所以上のレンズポジションにおける残留収差のタイプに応じて設定される ことを特徴とする歪曲補正方法。
[5] 請求項 2〜請求項 4の何れか一項に記載の歪曲補正方法において、
前記 2箇所以上のレンズポジションにおける残留収差の大きさは、 前記 2 箇所以上のレンズポジションにおける像高毎に設定される
ことを特徴とする歪曲補正方法。
[6] 請求項 1〜請求項 5の何れか一項に記載の歪曲補正方法において、 前記用意手順では、
前記最適化後の前記係数を、 前記 2箇所以上のレンズポジションにおける 残留収差が目標残留収差となるように補正する
ことを特徴とする歪曲補正方法。
[7] 請求項 1〜請求項 5の何れか一項に記載の歪曲補正方法において、
前記係数の最適化では、
前記 2箇所以上のレンズポジションにおける残留収差が目標残収差に近づ くように制御する
ことを特徴とする歪曲補正方法。
[8] 請求項 6又は請求項 7に記載の歪曲補正方法において、
前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記 2箇所以上のレンズポジションにおける前記補正前の収差に応じて設 定される
ことを特徴とする歪曲補正方法。
[9] 請求項 8に記載の歪曲補正方法において、
前記補正前の収差タイプが陣笠型であるレンズポジションにおける目標残 留収差は、
非陣笠型に設定される
ことを特徴とする歪曲補正方法。
[10] 請求項 8又は請求項 9に記載の歪曲補正方法において、
前記補正前の収差タイプが樽型であるレンズポジションにおける目標残留 収差は、
前記補正前よリも歪曲量の大きさが小さい樽型に設定される
ことを特徴とする歪曲補正方法。
[11] 請求項 8〜請求項 1 0の何れか一項に記載の歪曲補正方法において、 前記補正前の収差タイプが糸巻型であるレンズポジションにおける目標残 留収差は、 前記補正前よリも歪曲量の大きさが小さい樽型、 又は前記補正前よリも歪 曲量の大きさが小さい糸巻き型に設定される
ことを特徴とする歪曲補正方法。
[12] 請求項 1〜請求項 1 1の何れか一項に記載の歪曲補正方法において、 前記用意手順では、
前記歪曲の補正時に使用される前記レンズポジションの値に誤差が含まれ る可能性を想定する
ことを特徴とする歪曲補正方法。
[13] 請求項 1 2に記載の歪曲補正方法において、
前記用意手順では、
前記歪曲の補正時に使用される前記レンズポジションの値に誤差が含まれ ていたとしてもその補正が過剰補正とならないように前記最適化後の前記係 数を補正する
ことを特徴とする歪曲補正方法。
[14] 撮影用の光学系の歪曲収差をそのレンズポジションの関数で表したときの 係数の情報を、 前記光学系の歪曲補正情報として予め用意する用意手順と、 前記光学系で撮影した画像の歪曲を、 その撮影時のレンズポジションと、 前記用意された前記歪曲補正情報とに基づき補正する補正手順と
をコンピュータに実行させる歪曲補正プログラムであって、
前記係数は、
2箇所以上のレンズポジションにおける残留収差の大きさのバランスが制 御されるように予め最適化されている
ことを特徴とする歪曲補正プログラム。
[15] 請求項 1 4に記載の歪曲補正プログラムにおいて、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける前記補正前の収差タィプに依存するよう に予め最適化されている ことを特徴とする歪曲補正プログラム。
[16] 請求項 1 4又は請求項 1 5に記載の歪曲補正プログラムにおいて、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける残留収差のタイプに依存するように予め 最適化されている
ことを特徴とする歪曲補正プログラム。
[17] 請求項 1 4〜請求項 1 6の何れか一項に記載の歪曲補正プログラムにおい て、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける像高に依存するように予め最適化されて いる
ことを特徴とする歪曲補正プログラム。
[18] 請求項 1 4〜請求項 1 7の何れか一項に記載の歪曲補正プログラムにおい て、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差が目標残収差に近づ くように予め最適化されている
ことを特徴とする歪曲補正プログラム。
[19] 請求項 1 8に記載の歪曲補正プログラムにおいて、
前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記 2箇所以上のレンズポジションにおける前記補正前の収差に依存する ことを特徴とする歪曲補正プログラム。
[20] 請求項 1 9に記載の歪曲補正プログラムにおいて、
前記補正前の収差タイプが陣笠型であるレンズポジションにおける目標残 留収差は、
非陣笠型である ことを特徴とする歪曲補正プログラム。
[21 ] 請求項 1 9又は請求項 2 0に記載の歪曲補正プログラムにおいて、
前記補正前の収差タイプが樽型であるレンズポジションにおける目標残留 収差は、
前記補正前よリも歪曲量の大きさが小さい樽型である
ことを特徴とする歪曲補正プログラム。
[22] 請求項 1 9〜請求項 2 1の何れか一項に記載の歪曲補正プログラムにおい て、
前記補正前の収差タイプが糸巻型であるレンズポジションにおける目標残 留収差は、
前記補正前よリも歪曲量の大きさが小さい樽型、 又は前記補正前よリも歪 曲量の大きさが小さい糸巻き型である
ことを特徴とする歪曲補正プログラム。
[23] 請求項 1 4〜請求項 2 2の何れか一項に記載の歪曲補正方法において、 前記係数は、
前記歪曲の補正時に使用される前記レンズポジションの値に誤差が含まれ ていたとしてもその補正が過剰補正とならないように予め最適化されている ことを特徴とする歪曲補正方法。
[24] 撮影用の光学系を備えると共に、 前記光学系の歪曲収差をそのレンズポジ シヨンの関数で表したときの係数の情報を、 前記光学系で撮影した画像の歪 曲を補正するときに使用すべき歪曲補正情報として予め記憶した光学装置で あって、
前記係数は、
2箇所以上のレンズポジションにおける残留収差の大きさのバランスが制 御されるように予め最適化されている
ことを特徴とする光学装置。
[25] 請求項 2 4に記載の光学装置において、
前記係数は、 前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける前記補正前の収差タィプに依存するよう に予め最適化されている
ことを特徴とする光学装置。
[26] 請求項 2 4又は請求項 2 5に記載の光学装置において、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける残留収差のタイプに依存するように予め 最適化されている
ことを特徴とする光学装置。
[27] 請求項 2 4〜請求項 2 6の何れか一項に記載の光学装置において、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差の大きさが前記 2箇 所以上のレンズポジションにおける像高に依存するように予め最適化されて いる
ことを特徴とする光学装置。
[28] 請求項 2 4〜請求項 2 7の何れか一項に記載の光学装置において、
前記係数は、
前記 2箇所以上のレンズポジションにおける残留収差が目標残収差に近づ くように予め最適化されている
ことを特徴とする光学装置。
[29] 請求項 2 8に記載の光学装置において、
前記 2箇所以上のレンズポジションにおける目標残留収差は、 前記 2箇所以上のレンズポジションにおける前記補正前の収差に依存する ことを特徴とする光学装置。
[30] 請求項 2 9に記載の光学装置において、
前記補正前の収差タイプが陣笠型であるレンズポジションにおける目標残 留収差は、 非陣笠型である
ことを特徴とする光学装置。
[31] 請求項 2 9又は請求項 3 0に記載の光学装置において、
前記補正前の収差タイプが樽型であるレンズポジションにおける目標残留 収差は、
前記補正前よリも歪曲量の大きさが小さい樽型である
ことを特徴とする光学装置。
[32] 請求項 2 9〜請求項 3 1の何れか一項に記載の光学装置において、
前記補正前の収差タイプが糸巻型であるレンズポジションにおける目標残 留収差は、
前記補正前よリも歪曲量の大きさが小さい樽型、 又は前記補正前よリも歪 曲量の大きさが小さい糸巻き型である
ことを特徴とする光学装置。
[33] 請求項 2 4〜請求項 3 2の何れか一項に記載の光学装置において、
前記係数は、
前記歪曲の補正時に前記係数と共に使用される前記レンズポジションの値 に誤差が含まれていたとしても、 その補正が過剰補正とならないように予め 最適化されている
ことを特徴とする光学装置。
[34] 請求項 2 4〜請求項 3 3の何れか一項に記載の光学装置において、
前記撮影用の光学系を備え、 かつ前記歪曲補正情報を予め記憶した交換レ ンズと、
前記交換レンズに対し着脱可能であり、 かつ前記交換レンズが予め記憶し た前記歪曲補正情報を読み取ることの可能なカメラと
からなることを特徴とする光学装置。
PCT/JP2007/000388 2006-04-14 2007-04-11 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置 WO2007129444A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008514372A JP4798221B2 (ja) 2006-04-14 2007-04-11 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
US12/285,102 US8120676B2 (en) 2006-04-14 2008-09-29 Image distortion correcting method, carrier medium carrying distortion correcting program, and optical apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006112454 2006-04-14
JP2006-112454 2006-04-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/285,102 Continuation US8120676B2 (en) 2006-04-14 2008-09-29 Image distortion correcting method, carrier medium carrying distortion correcting program, and optical apparatus

Publications (1)

Publication Number Publication Date
WO2007129444A1 true WO2007129444A1 (ja) 2007-11-15

Family

ID=38667557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/000388 WO2007129444A1 (ja) 2006-04-14 2007-04-11 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置

Country Status (3)

Country Link
US (1) US8120676B2 (ja)
JP (1) JP4798221B2 (ja)
WO (1) WO2007129444A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256118A (ja) * 2011-06-07 2012-12-27 Canon Inc 画像復元装置およびその方法
JP2013013043A (ja) * 2011-06-29 2013-01-17 Lg Innotek Co Ltd レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置
WO2015182021A1 (ja) * 2014-05-26 2015-12-03 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015029024A1 (en) 2013-08-26 2015-03-05 Inuitive Ltd. Method and system for correcting image distortion
JP6565326B2 (ja) * 2014-08-11 2019-08-28 セイコーエプソン株式会社 撮像表示装置及びその制御方法
CN115482288A (zh) * 2021-05-31 2022-12-16 影石创新科技股份有限公司 镜头参数转换方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331543A (ja) * 1998-05-20 1999-11-30 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2002359771A (ja) * 2001-06-01 2002-12-13 Fuji Photo Film Co Ltd 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2003110847A (ja) * 2002-07-09 2003-04-11 Olympus Optical Co Ltd 画像出力装置
JP2004199350A (ja) * 2002-12-18 2004-07-15 Clarion Co Ltd 画像歪み補正装置及び画像歪み補正方法
JP2005057605A (ja) * 2003-08-06 2005-03-03 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2006081145A (ja) * 2004-08-10 2006-03-23 Ricoh Co Ltd 画像記録装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0313074A (ja) * 1989-06-09 1991-01-22 Canon Inc 画像処理システム
JP3326330B2 (ja) * 1996-06-06 2002-09-24 旭光学工業株式会社 分岐撮像観察光学系
US6747757B1 (en) * 1998-05-20 2004-06-08 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
US7535598B2 (en) * 2004-06-16 2009-05-19 Ricoh Company, Ltd. Image recording apparatus and image processing system
TWI407140B (zh) * 2009-12-24 2013-09-01 Largan Precision Co Ltd 攝像光學鏡頭

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331543A (ja) * 1998-05-20 1999-11-30 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2002359771A (ja) * 2001-06-01 2002-12-13 Fuji Photo Film Co Ltd 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2003110847A (ja) * 2002-07-09 2003-04-11 Olympus Optical Co Ltd 画像出力装置
JP2004199350A (ja) * 2002-12-18 2004-07-15 Clarion Co Ltd 画像歪み補正装置及び画像歪み補正方法
JP2005057605A (ja) * 2003-08-06 2005-03-03 Sony Corp 画像処理装置、画像処理システム、撮像装置および画像処理方法
JP2006081145A (ja) * 2004-08-10 2006-03-23 Ricoh Co Ltd 画像記録装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256118A (ja) * 2011-06-07 2012-12-27 Canon Inc 画像復元装置およびその方法
JP2013013043A (ja) * 2011-06-29 2013-01-17 Lg Innotek Co Ltd レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置
WO2015182021A1 (ja) * 2014-05-26 2015-12-03 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
CN106464783A (zh) * 2014-05-26 2017-02-22 索尼公司 图像拾取控制设备、图像拾取设备和图像拾取控制方法
JPWO2015182021A1 (ja) * 2014-05-26 2017-04-20 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
US10277796B2 (en) 2014-05-26 2019-04-30 Sony Corporation Imaging control apparatus, imaging apparatus, and imaging control method
CN106464783B (zh) * 2014-05-26 2020-01-21 索尼公司 图像拾取控制设备、图像拾取设备和图像拾取控制方法

Also Published As

Publication number Publication date
JP4798221B2 (ja) 2011-10-19
US20100177219A1 (en) 2010-07-15
JPWO2007129444A1 (ja) 2009-09-17
US8120676B2 (en) 2012-02-21

Similar Documents

Publication Publication Date Title
US8368762B1 (en) Methods and apparatus for camera calibration based on multiview image geometry
US8947523B2 (en) Image processing apparatus and associated methodology for blurring digital images
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
US8441541B2 (en) Control apparatus and control method therefor
WO2007066459A1 (ja) 歪曲補正方法、歪曲補正プログラム、画像処理装置、交換レンズ、カメラ、及びカメラシステム
JP5627256B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
US20100321539A1 (en) Image processing apparatus and image processing method
WO2007129444A1 (ja) 画像の歪曲補正方法、歪曲補正プログラム、及び光学装置
US10205878B2 (en) Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2018049791A1 (zh) 一种摄像头模组的对焦补偿装置及其方法、摄像终端
CN108933937B (zh) 用于动态地校准图像捕获装置的方法
JP2008252522A (ja) カメラ
TWI626500B (zh) 攝影裝置、透鏡單元以及訊號處理裝置
JP5605030B2 (ja) カメラボディおよび交換レンズ
US7528863B2 (en) Remote-control device for digital camera
JP5460170B2 (ja) 撮像装置及びその制御方法
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
JP6103969B2 (ja) 撮像装置、その制御方法およびプログラム
JP6147081B2 (ja) 撮像装置、その制御方法、及びプログラム
JP4983541B2 (ja) プログラム、画像処理装置およびカメラ
JP2012222465A5 (ja)
JP5321108B2 (ja) カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005057358A (ja) 電子カメラおよび画像処理プログラム
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
JP2021118466A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07737045

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008514372

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07737045

Country of ref document: EP

Kind code of ref document: A1