JP5704057B2 - Image correction apparatus and image correction method - Google Patents
Image correction apparatus and image correction method Download PDFInfo
- Publication number
- JP5704057B2 JP5704057B2 JP2011255355A JP2011255355A JP5704057B2 JP 5704057 B2 JP5704057 B2 JP 5704057B2 JP 2011255355 A JP2011255355 A JP 2011255355A JP 2011255355 A JP2011255355 A JP 2011255355A JP 5704057 B2 JP5704057 B2 JP 5704057B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correction
- unit
- distortion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003702 image correction Methods 0.000 title claims description 52
- 238000000034 method Methods 0.000 title description 28
- 238000012937 correction Methods 0.000 claims description 128
- 230000003287 optical effect Effects 0.000 claims description 120
- 230000015654 memory Effects 0.000 claims description 87
- 238000007906 compression Methods 0.000 claims description 77
- 230000006835 compression Effects 0.000 claims description 73
- 238000013144 data compression Methods 0.000 claims description 58
- 230000006837 decompression Effects 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 101100278585 Dictyostelium discoideum dst4 gene Proteins 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は画像補正装置に関し、特に光学レンズを介して撮像された被写体像を示す画像データを補正する画像補正装置に関する。 The present invention relates to an image correction apparatus, and more particularly to an image correction apparatus that corrects image data indicating a subject image captured through an optical lens.
光学レンズは、通常、製造時のバラつきなどによって生じる各光学レンズ固有の歪曲収差を有している。これらの光学レンズを介して被写体像を撮影すると、歪曲収差によって撮影画像が歪む「光学歪み」という現象が発生する。この光学歪みは光軸中心から対象性があり、撮影時の光学レンズのズーム値(焦点距離の値)によって大きく変動する。撮像装置におけるこの光学歪みの補正に関する技術は種々提案されており、それらの中には光学レンズの撮像時のズーム値から光学歪みの補正に必要な補正係数を算出し補正を行う技術が存在する(特許文献1参照)。 The optical lens usually has distortion aberration inherent to each optical lens caused by variations at the time of manufacture. When a subject image is captured through these optical lenses, a phenomenon called “optical distortion” occurs in which the captured image is distorted by distortion. This optical distortion has objectivity from the center of the optical axis, and greatly varies depending on the zoom value (focal length value) of the optical lens at the time of photographing. Various techniques for correcting this optical distortion in the imaging apparatus have been proposed, and among them, there is a technique for calculating and correcting a correction coefficient necessary for correcting optical distortion from a zoom value at the time of imaging of the optical lens. (See Patent Document 1).
また、光学歪みの補正においては、画像データを一時的に記憶するメモリが必要となる。しかし、一般にメモリは容量が大きければ大きいほど高額となり、またメモリのアクセス速度が高速であればあるほど高額となる。上述した種々提案されている光学歪みに関する技術の中には、光学歪みの補正時におけるメモリ領域の使用を効率化する技術も存在する(特許文献2参照)。 Further, in correcting optical distortion, a memory for temporarily storing image data is required. However, in general, the larger the capacity of the memory, the higher the price, and the higher the memory access speed, the higher the price. Among the various technologies related to optical distortion described above, there is also a technique for improving the efficiency of use of a memory area when correcting optical distortion (see Patent Document 2).
一般に、光学歪みを補正するには光学歪みが生じている画像データを格納するメモリを必要とする。これらのメモリは高価であるため、限られたメモリ容量の範囲内で光学歪み補正の補正率を高める技術が望まれている。 In general, in order to correct optical distortion, a memory for storing image data in which optical distortion has occurred is required. Since these memories are expensive, a technique for increasing the correction rate of optical distortion correction within a limited memory capacity is desired.
本発明はこうした状況に鑑みなされたものであり、その目的は、光学歪み補正の補正率を高める技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for increasing the correction rate of optical distortion correction.
上記目的を達成するため、本発明のある態様は画像補正装置である。この装置は、ズーム機能を有する光学レンズを介して撮像された画像データを圧縮し、圧縮画像データとしてメモリに格納する画像データ圧縮部と、画像データに生じている光学歪みを補正する歪曲補正部と、前記メモリに格納された圧縮画像データを伸張し、前記歪曲補正部に補正させる画像データ伸張部とを含む。ここで前記画像データ圧縮部は、撮像時の前記光学レンズのズーム値をもとに、前記メモリの容量におさまるように前記撮像された画像データを圧縮する。
本発明の別の態様は画像補正方法である。この方法は、ズーム機能を有する光学レンズを介して撮像された画像データを取得するステップと、前記画像データの撮像時の前記光学レンズのズーム値をもとに、メモリの容量におさまるように圧縮し、圧縮画像データとして前記メモリに格納するステップと、前記メモリに格納された圧縮画像データを伸張してキャッシュメモリに格納するステップと、前記キャッシュメモリに格納された画像データの光学歪みを補正するステップとを含む。
In order to achieve the above object, an aspect of the present invention is an image correction apparatus. This apparatus compresses image data captured through an optical lens having a zoom function and stores the compressed image data in a memory, and a distortion correction unit that corrects optical distortion generated in the image data. And an image data expansion unit that expands the compressed image data stored in the memory and causes the distortion correction unit to correct the compressed image data. Here, the image data compression unit compresses the captured image data so as to fit in the capacity of the memory based on the zoom value of the optical lens at the time of imaging.
Another aspect of the present invention is an image correction method. In this method, image data captured through an optical lens having a zoom function is acquired, and compression is performed so as to fit in the memory capacity based on the zoom value of the optical lens at the time of capturing the image data. Storing the compressed image data in the memory as a compressed image data, decompressing the compressed image data stored in the memory and storing the compressed image data in a cache memory, and correcting optical distortion of the image data stored in the cache memory. Steps.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、光学歪み補正の補正率を高める技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which raises the correction rate of optical distortion correction | amendment can be provided.
(実施の形態1)
実施の形態1の概要を述べる。実施の形態1に係る画像補正装置は、撮像時の光学レンズにおけるズーム値が一定値を下回った際、メモリに順次格納する画像データを圧縮し、メモリから読み出すときに圧縮された画像データを伸張することで、圧縮伸張処理なしではメモリ容量を上回る画像データを必要とするズーム値で撮像された画像データに対しても、補正処理を実現できるようにする。
(Embodiment 1)
An outline of the first embodiment will be described. The image correction apparatus according to the first embodiment compresses image data that is sequentially stored in the memory when the zoom value of the optical lens at the time of imaging falls below a certain value, and decompresses the compressed image data when read from the memory Thus, correction processing can be realized even for image data captured at a zoom value that requires image data exceeding the memory capacity without compression / decompression processing.
図1は、実施の形態1に係る画像補正装置100の内部構造を模式的に示す図である。画像補正装置100は、光学系1、光学制御部2、歪み補正値記憶部3、撮像素子4、歪み補正値取得部5、画像前処理部6、画像補正部7、メインメモリ10、画像後処理部14、記録部15、記録媒体16、および出力部17を含む。
FIG. 1 is a diagram schematically showing the internal structure of the
光学系1はズーム機能を有したレンズである。光学系1は複数枚のレンズを含み、被写体からの光情報を結像して取得する。撮像素子4は、光学系1から取得した光情報を電気情報に変換する。撮像素子4は、例えばCMOS(Complementary metal Oxide Semiconductor)イメージセンサや、CCD(Charge Coupled Devices)イメージセンサなどを用いて実現できる。画像前処理部6は、撮像素子4が変換した電気情報をRGB各色の信号に変換する。画像前処理部6が変換する信号はRGB信号に限られず、例えばYUV信号であってもよい。
The optical system 1 is a lens having a zoom function. The optical system 1 includes a plurality of lenses and images and acquires light information from a subject. The
光学制御部2は、光学系1のレンズを制御する。光学制御部2はまた、撮像時における光学系1のズーム値を出力する。歪み補正値記憶部3は、光学系1のズーム値についての複数のサンプル値と、その時に撮像される像の歪みを補正するための「歪み補正値」(詳細は後述する)とを紐づけて記憶する。歪み補正値取得部5は、光学制御部2から取得した光学系1における撮像時のズーム値をもとに、歪み補正値記憶部3を参照して歪み補正値を取得する。歪み補正値記憶部3に撮像時のズーム値が格納されていない場合には、歪み補正値取得部5は、歪み補正値を補間計算により取得する。
The
画像補正部7は、画像前処理部6から取得した複数ライン分の画素の画像データと、歪み補正値取得部5から取得した歪み補正値とをもとに、光学歪みを補正した画像データを作成する。詳細は後述するが、画像補正部7は、画像前処理部6から取得した画像データをメインメモリ10に格納し、次いで歪み補正を実行する領域の画像(画素)をメインメモリ10から読み出して歪み補正を実行する。これらを実現するために、画像補正部7は、画像データ制御部8、画像データ圧縮部9、画像データ伸張部13、キャッシュメモリ12、および歪曲補正部11をさらに含む。
The image correction unit 7 converts the image data obtained by correcting the optical distortion based on the image data of the pixels for a plurality of lines acquired from the image preprocessing
画像データ制御部8は、画像補正部7の各部を統括的に制御する。画像データ制御部8は、画像データ圧縮部9に画像データを圧縮させたり、画像データ伸張部に圧縮された画像データを伸張させたり、あるいは歪曲補正部11に画像データの歪み補正を実行させたりする。 The image data control unit 8 comprehensively controls each unit of the image correction unit 7. The image data control unit 8 causes the image data compression unit 9 to compress the image data, the image data decompression unit to decompress the compressed image data, or causes the distortion correction unit 11 to perform distortion correction on the image data. To do.
画像データ圧縮部9は、画像前処理部6を介して取得した画像データを圧縮し、圧縮画像データとしてメインメモリ10に格納する。ここで画像データ圧縮部9は、光学レンズの撮像時のズーム値をもとに、メインメモリ10の容量におさまるように画像データを圧縮する。より具体的には、画像データ制御部8が、光学制御部2から取得した撮像時の光学系1におけるズーム値に基づいて後述する画像データの圧縮処理をするか否かを決定する。画像データの圧縮処理をすることが決定した場合、画像データ圧縮部9は、画像データを圧縮する。このため、画像データを圧縮しなくてもメインメモリ10に格納できるのであれば、画像データ圧縮部9は画像データを圧縮しないこともあり得る。したがって、本明細書において「画像データを圧縮する」とは、圧縮率が100%の場合、すなわち圧縮しない場合も含む。なお、本明細書において「圧縮率」とは、圧縮前のデータサイズに対する圧縮後のデータサイズの割合を百分率で表したものとする。
The image data compression unit 9 compresses the image data acquired via the image preprocessing
画像データ圧縮部9が画像データを圧縮してメインメモリ10に格納した場合、画像データ伸張部13は、圧縮画像データを伸張して、キャッシュメモリ12に格納する。より具体的には、画像データ制御部8が、画像データ圧縮部9に画像データを圧縮させてメインメモリ10に格納させた場合、メインメモリ10から読み出す補正用画素を画像データ伸張部13に伸張させる。
When the image data compression unit 9 compresses the image data and stores it in the
歪曲補正部11は、画像データ制御部8を介して歪み補正値取得部5から取得した歪み補正値をもとに、キャッシュメモリ12に格納された補正用画像データに含まれる光学歪みを補正する。具体的な補正方法については後述する。
The distortion correction unit 11 corrects optical distortion included in the correction image data stored in the
画像後処理部14は、画像補正部7が歪み補正処理をした画像データを記録媒体16に記録するための画像信号に変換する。記録部15は、画像後処理部14で変換された画像信号を記録媒体16に記録する。出力部17は、記録媒体16に記録した画像信号を読み出し図示しない表示部に出力する。
The
以下、歪曲補正部11による光学歪みの補正について説明する。 Hereinafter, correction of optical distortion by the distortion correction unit 11 will be described.
図2は光学レンズを通して撮像した場合の像の光学歪みとその歪曲率とを説明する図である。光学レンズを通して被写体像を撮影し、その被写体像を示す画像データを記録する場合、光学レンズが有する固有の歪曲収差に起因して、撮像画像の周辺に歪みが生じる。この歪みは、一般に光学歪みと称され、画像の角部が外側に伸びる「糸巻き型」と、逆に角部が縮む「たる型」との2種類に分けられる。何れの歪みも光学中心からの距離によって歪み量が決まることが一般的に知られている。 FIG. 2 is a diagram for explaining the optical distortion and the distortion rate of an image captured through an optical lens. When a subject image is photographed through an optical lens and image data representing the subject image is recorded, distortion occurs in the periphery of the captured image due to inherent distortion aberration of the optical lens. This distortion is generally referred to as optical distortion, and is divided into two types, a “push-type” in which the corners of the image extend outward and a “barrel type” in which the corners shrink. It is generally known that the amount of distortion is determined by the distance from the optical center.
図2(a)は「たる型」の歪みを例示する図である。図2(a)は、本来点Aに撮像されるべき点が、歪みによって点A’に撮像されていることを図示している。点Aおよび点A’の画像の中心からの距離をそれぞれL1、L2とするとき、点Aにおける歪曲率Dは以下の式(1)で定義され、その単位は[%]である。
歪曲率D[%]=100×(L2−L1)/L1 (1)
ここで画像の中心は、光学系の中心軸と一致しているものとする。
FIG. 2A is a diagram illustrating a “barrel type” distortion. FIG. 2A illustrates that the point that should originally be imaged at the point A is imaged at the point A ′ due to distortion. When the distances from the center of the image of the point A and the point A ′ are L1 and L2, respectively, the distortion rate D at the point A is defined by the following equation (1), and its unit is [%].
Distortion rate D [%] = 100 × (L2−L1) / L1 (1)
Here, it is assumed that the center of the image coincides with the central axis of the optical system.
図2(a)に示すようなたる型の歪みの場合、歪曲率Dは負の値となる。反対に、糸巻き型歪みの場合、歪曲率Dは正の値となる。ここで式(1)をL2について解くと、以下の式(2)を得る。
L2=(100+D)/100×L1 (2)
In the case of a barrel type distortion as shown in FIG. 2A, the distortion rate D is a negative value. On the other hand, in the case of pincushion distortion, the distortion rate D is a positive value. When equation (1) is solved for L2, the following equation (2) is obtained.
L2 = (100 + D) / 100 × L1 (2)
式(2)より、歪曲率Dを用いることで、中心からの距離がL1となる点Aに本来存在すべき画素が、歪みの生じている画像上においてどの位置に存在するかを求めることができる。具体的には、中心からの距離L1に、歪曲率Dを用いて計算される係数を乗じた距離であるL2が、本来点Aに存在すべき画素が存在する位置である。式(2)を用いて求めた位置に存在する画素を点Aの位置に戻す画像処理を施すことにより、歪みの生じた画像を補正することができる。したがって、以下、歪曲率Dと歪み補正値とを同じ意味で用いる。 From equation (2), by using the distortion rate D, it is possible to determine in which position the pixel that should originally exist at the point A where the distance from the center is L1 is present on the distorted image. it can. Specifically, a distance L2 obtained by multiplying the distance L1 from the center by a coefficient calculated using the distortion rate D is a position where a pixel that should originally exist at the point A exists. By performing image processing for returning the pixel existing at the position obtained using Expression (2) to the position of the point A, it is possible to correct the image with distortion. Therefore, hereinafter, the distortion rate D and the distortion correction value are used in the same meaning.
図2(b)は、ある固定されたズーム値において、dst0〜dst4までの5点における歪み補正値を求める場合のそのサンプリング点を例示する図である。図2(c)は、図2(b)のサンプリング点dst4の位置における、ズーム値と歪み補正値との関係を模式的に示す図である。歪み補正値記憶部3には、各サンプリング点におけるズーム値と歪み補正値とが紐づけられて格納されている。図2(c)に示すように、ズーム値と歪み補正値とは複数点が記憶されている。歪み補正値取得部5は、歪み補正値記憶部3に撮像時のズーム値が格納されていない場合には、歪み補正値を補間計算により取得する。補間計算は、例えば公知のスプライン補間を用いることで実現できる。図2(b)および図2(c)においてサンプリング数をいくつにするかは、正確性とデータ量とのトレードオフの関係になるため、コスト等を鑑みて実験により定めればよく、例えば20点程度である。
FIG. 2B is a diagram illustrating sampling points when obtaining distortion correction values at five points from dst0 to dst4 in a certain fixed zoom value. FIG. 2C is a diagram schematically showing the relationship between the zoom value and the distortion correction value at the position of the sampling point dst4 in FIG. The distortion correction
図3および図4は、ズーム値がそれぞれMとNとの場合における光学歪みと必要メインメモリ10容量との関係を説明する図である。以下本明細書において、ズーム値Mはズーム値Nよりも大きな値であるとする。
3 and 4 are diagrams for explaining the relationship between the optical distortion and the required
図3(a)はズーム値Mにおける「たる型」の歪みを示す図である。図3(a)の光学歪みを補正するために必要なメインメモリ10のライン数は、前記式(2)を用いてすべてのラインにおけるすべての画素についての点Aと点A’との関係を求めることで算出することができる。具体的に、図3(a)の光学歪みを補正するために必要なメインメモリ10のライン数は、図3(b)で示すmとなる。ここで、メインメモリ10の水平方向の画素数をWとすると、ズーム値Mにおける歪曲率Dmの光学歪みを補正するために必要なメインメモリ10容量QMは、以下の式(3)で表される。
QM=RGB信号データ量×W×m (3)
FIG. 3 (a) is a diagram showing a “ball shape” distortion at the zoom value M. FIG. The number of lines of the
Q M = RGB signal data amount × W × m (3)
ここで、図3(c)に示すように、ズーム値M>ズーム値Nを前提として、ズーム値Mにおける歪曲率をDm、ズーム値Nにおける歪曲率をDnとする。Dm、Dnとも「たる型」の歪曲率を示す負の歪曲率であるため、Dn<Dmとなる。以下、歪曲率の大小関係を比較するときは、その絶対値をとることにする。すなわち、|Dm|<|Dn|であるから、Dnの方がDmに対してより高い歪曲率を有すものとする。 Here, as shown in FIG. 3C, assuming that the zoom value M> the zoom value N, the distortion rate at the zoom value M is Dm, and the distortion rate at the zoom value N is Dn. Since both Dm and Dn are negative distortions indicating a “barrel type” distortion, Dn <Dm. Hereinafter, when comparing the magnitude relationship of the distortion, the absolute value is taken. That is, since | Dm | <| Dn |, it is assumed that Dn has a higher distortion rate than Dm.
図4(a)はズーム値Nにおける「たる型」の歪みを示す図であり、式(3)と同様にして図2(a)の光学歪みを補正するために必要なメインメモリ10のライン数を求めると、図4(b)で示すnとなる。したがって、ズーム値Nにおける歪曲率Dnの光学歪みを補正するために必要なメインメモリ10容量QNは、以下の式(4)で表される。
QN=RGB信号データ量×W×n (4)
ここで、|Dm|<|Dn|であるため、m<nとなる。
FIG. 4A is a diagram showing a “barrel” distortion at a zoom value N, and is a line of the
Q N = RGB signal data amount × W × n (4)
Here, since | Dm | <| Dn |, m <n.
歪曲率の絶対値が大きければ大きいほど光学歪みの補正に必要なメインメモリ10の容量は大きくなる。仮にメインメモリ10容量が前記式(3)と同値である場合、歪曲率Dmの光学歪み補正は実行することができるが、Dmより高い歪曲率の補正はメインメモリ10の容量不足により実行できず、したがって歪曲率Dnの光学歪み補正は実行できない。
The larger the absolute value of the distortion rate, the larger the capacity of the
そこで、メインメモリ10容量が前記式(3)と同値であっても、歪曲率Dnの光学歪みを補正するために、画像データ制御部8は、画像データ圧縮部9に画像データを圧縮させる。画像データ圧縮部9が圧縮すべき画像データ量の圧縮率の最大値をCとしたとき、
C×W×n≦W×m (5)
で表される式(5)を満たす圧縮処理を実行できれば、メインメモリ10は圧縮処理後の画像データを格納することが可能となる。
Therefore, even if the capacity of the
C × W × n ≦ W × m (5)
If it is possible to execute the compression process that satisfies the expression (5) expressed by the following, the
画像データ量の圧縮率CはRGB信号データ量をRGB各8bitの24bitとすると、24bitを18bitに圧縮した場合はC=0.75となり、24bitを12bitに圧縮した場合はC=0.5となる。画像データ圧縮部9は、圧縮伸張処理は公知であるゼロ圧縮やハフマンコードを利用した圧縮など、種々の圧縮伸張アルゴリズムが利用できるが、圧縮後のビット幅が一定とならない可変長データ圧縮伸張回路の実装は計算コストの増大から回路規模が大きくなるため、固定長データ圧縮伸張回路の実装が好ましい。 The compression rate C of the image data amount is C = 0.75 when 24 bits are compressed to 18 bits, and C = 0.5 when 24 bits are compressed to 12 bits, assuming that the RGB signal data amount is 24 bits of 8 bits for each RGB. Become. The image data compression unit 9 can use various compression / decompression algorithms such as zero compression or compression using a Huffman code, which are well-known compression / decompression processes, but a variable-length data compression / decompression circuit in which the bit width after compression is not constant Since the circuit scale becomes large due to an increase in calculation cost, it is preferable to mount a fixed-length data compression / decompression circuit.
圧縮率Cの値がより低くなる圧縮伸張アルゴリズムを使用することで、メインメモリ10容量に制限がある場合であっても、より高い歪曲率の光学歪み補正が可能となる。しかしながら、より圧縮率Cが低くデータの可逆性がない圧縮伸張アルゴリズムを使用した場合、補正後の画像データは正しい数値より外れた数値となり、最終的には出力画像の画質劣化の要因ともなりうる。
By using a compression / decompression algorithm in which the value of the compression rate C becomes lower, even when the capacity of the
図3(c)は撮像時における光学系1のズーム値と補正量(歪曲率)の関係を示す図である。画像データ制御部8は、出力画像の画質劣化を抑えるため、光学制御部2から取得する撮像時における光学系1のズーム値が所定の閾値Tより大きいズーム値である場合は画像データ圧縮部9に画像データの圧縮処理を実行させない。ここで、所定の閾値Tは、画像データの圧縮処理を行わなくてもメインメモリ10容量が不足しないか否かを判断するための基準値である。例えば、メインメモリ10の容量Qが式(3)で表されるQMとすると、閾値T=Mとなる。
FIG. 3C is a diagram showing the relationship between the zoom value of the optical system 1 and the correction amount (distortion rate) during imaging. The image data control unit 8 controls the image data compression unit 9 when the zoom value of the optical system 1 at the time of imaging acquired from the
画像データ制御部8は、光学制御部2から取得する撮像時における光学系1のズーム値が閾値Tより小さいズーム値である場合、画像データの圧縮処理が必要であると判断し、画像データ圧縮部9に画像データの圧縮処理をさせる。これにより、圧縮処理の必要ない補正率における光学歪み補正においては出力画像の画質劣化を伴わず、圧縮処理の必要な補正率における光学歪み補正においては出力画像の画質劣化を伴うことにはなるが、光学歪み補正自体は実行することが可能となる。
When the zoom value of the optical system 1 at the time of imaging acquired from the
図5は、実施の形態1に係る画像補正装置100の処理の流れを説明するフローチャートの前半部である。本フローチャートにおける処理は、例えば画像補正装置100が起動したときに開始する。
FIG. 5 is the first half of a flowchart for explaining the processing flow of the
撮像素子4は、被写体から放出され光学制御部2によってズーム値の制御を受けた光学系1で集光された光信号を電気信号に変換する(S0)。画像前処理部6は、撮像素子4が変換した電気信号を画像データに変換する(S1)。ここで画像前処理部6は、撮像素子4が変換したが総データの左上を先頭としてラインごとに順次に右下に至るまで、画像データを画像補正部7に出力する。この時点では光学歪み補正処理を行っていないため、画像データには光学歪みが発生している。
The
歪み補正値取得部5は、歪み補正値記憶部3に記憶したズーム値についての複数のサンプル値を参照して、光学制御部2における撮像時のズーム値と同値、または最も近いサンプル値、及びこのサンプル値に対応する歪み補正値を抽出するとともに、撮像時のズーム値とサンプル値の差に応じた補間計算によって、実際の歪み補正値を取得する(S2)。
The distortion correction
画像補正部7内の画像データ制御部8は、光学制御部2から取得した撮像時のズーム値をもとに、画像データ圧縮部9に画像データの圧縮処理をさせる必要があるか否かの判定を行う(S3)。
The image data control unit 8 in the image correction unit 7 determines whether or not the image data compression unit 9 needs to perform image data compression processing based on the zoom value at the time of imaging acquired from the
画像データ制御部8が画像データ圧縮部9に画像データの圧縮処理をさせる必要があると判断した場合(S3のY)、画像データ圧縮部9は画像データの圧縮処理を行う(S4)。 When the image data control unit 8 determines that the image data compression unit 9 needs to perform image data compression processing (Y in S3), the image data compression unit 9 performs image data compression processing (S4).
画像データ制御部8が画像データ圧縮部9に画像データの圧縮処理をさせる必要がないと判断した場合(S3のN)、画像データ圧縮部9は圧縮処理をしない When the image data control unit 8 determines that the image data compression unit 9 does not need to perform image data compression processing (N in S3), the image data compression unit 9 does not perform compression processing.
画像データ圧縮部9は、画像データをラインメモリであるメインメモリ10に書き込む(S5)。メインメモリ10は容量に上限があるため、画像データ制御部8は、メインメモリ10がいっぱいである場合、上位のライン、すなわち画像データを記録したタイミングが最も過去のラインから順に消去して新しいラインを記録する。
The image data compression unit 9 writes the image data into the
図6は、実施の形態1に係る画像補正装置100の処理の流れを説明するフローチャートの後半部である。
FIG. 6 is the latter half of the flowchart for explaining the processing flow of the
画像補正部7の画像データ制御部8は、光学制御部2から取得した撮影時のズーム値における歪み補正値をもとに、1ライン分の歪み補正処理に必要な水平画素位置、垂直ラインを計算し、メインメモリ10に記録した複数ライン分の全画素画像データから補正用画像データを読み出す位置を決定する(S6)。
The image data control unit 8 of the image correction unit 7 determines horizontal pixel positions and vertical lines necessary for distortion correction processing for one line based on the distortion correction value in the zoom value at the time of shooting acquired from the
画像補正部7の画像データ制御部8は、ステップS6の結果をもとに、補正用画像データをメインメモリ10から画像データ伸張部13に読み出させる(S7)。
The image data control unit 8 of the image correction unit 7 reads the correction image data from the
画像補正部7の画像データ制御部8は、画像データ圧縮部9に画像データを圧縮させたか否かの判定をする(S8)。 The image data control unit 8 of the image correction unit 7 determines whether the image data compression unit 9 has compressed the image data (S8).
画像データ圧縮部9が画像データを圧縮した場合(S8のY)、画像データ制御部8は、画像データ伸張部13に、画像データ圧縮部9がした圧縮処理に対応した伸張処理を実行させるとともに、伸張した補正用画像データをキャッシュメモリ12に格納させる(S9)。
When the image data compression unit 9 compresses the image data (Y in S8), the image data control unit 8 causes the image
画像データ圧縮部9が画像データを圧縮していない場合(S8のN)、画像データ制御部8は、画像データ伸張部13に伸張処理を実行させずに、補正用画像データをキャッシュメモリ12に格納させる。
When the image data compression unit 9 does not compress the image data (N in S8), the image data control unit 8 causes the image
画像補正部7の歪曲補正部11は、画像データ制御部8の制御の下、キャッシュメモリ12に保持した歪み補正処理に必要な水平画素位置、垂直ラインの画像データ、及び、その周辺画素位置、ライン位置における画像データを取り出して画素補間処理を行い、1点の画素位置における歪み補正処理した結果の画像データを算出する(S10)。なお、キャッシュメモリ12の空き容量が不足する場合、画像データ伸張部13は、キャッシュメモリ12に格納されている古い画像データに新しい画像データを上書きする。
The distortion correction unit 11 of the image correction unit 7, under the control of the image data control unit 8, is a horizontal pixel position necessary for distortion correction processing held in the
1ライン分の処理が終了した場合、画像データ制御部8は、全ラインの補正が終了しているかどうかを判定し(S11)、全入力ラインの補正が終了していない場合(S11のN)、ステップS6に戻る。 When the processing for one line is completed, the image data control unit 8 determines whether or not the correction for all lines is completed (S11), and the correction for all input lines is not completed (N in S11). Return to step S6.
全ラインの補正が終了している場合(S11のY)、画像後処理部14は、補正された画像データを記録媒体16に記録する際の信号仕様の変換や圧縮処理等の信号変換を行う(S12)。記録部15は、画像後処理部14より取得した画像信号を記録媒体16に記録する(S13)。出力部17は、記録媒体16に記録した画像信号を図示しない表示部で表示するための仕様にあわせて表示する(S14)。記録媒体16に記録した画像信号が表示されると、本フローチャートにおける処理は終了する。
When correction of all lines has been completed (Y in S11), the
以上の構成による動作は以下のとおりである。ユーザが実施の形態1に係る画像補正装置100を用いて画像を撮像すると、歪み補正値取得部5は撮像時のズーム値と、歪み補正値記憶部3から取得したズーム値のサンプル値、及び、このサンプル値に対応する歪み補正値とに基づいて、撮像時のズーム値に対応する歪み補正値を補間計算によって取得する。画像データ制御部8は、光学制御部2から取得したズーム値に基づいて、画像データ圧縮部9に画像データの圧縮処理をさせるか否かを決定する。画像データ制御部8は歪み補正値をもとに光学歪みを補正するために必要な補正用画像データ位置を決定する。画像データ制御部8に画像データを圧縮させた場合、画像データ制御部8は、画像データ伸張部13に補正用画像データを伸張させる。
The operation according to the above configuration is as follows. When the user captures an image using the
このように、撮像時における光学系1のズーム値に基づいて、画像データを圧縮処理および伸張処理をするか否かを制御することで、メインメモリ10容量の不足により高い補正率の光学歪み補正処理が実行できない場合には、画像データを圧縮することでメインメモリ10に格納し、光学歪み補正処理を実行することが可能となる。画像データを圧縮する場合、圧縮伸張処理によって画質劣化を伴うことにもなりうるが、画像データを圧縮しなくてもメインメモリ10の容量が不足しない場合には、従来と同等の画質性能を保ちつつ補正率の光学歪み補正処理が実現できる。
In this way, by controlling whether or not the image data is subjected to compression processing and expansion processing based on the zoom value of the optical system 1 at the time of imaging, optical distortion correction with a high correction rate due to the lack of the capacity of the
以上説明したように、実施の形態1に係る画像補正装置100によれば、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対して、画質劣化を抑えながら光学歪み補正を実現できる。
As described above, according to the
(実施の形態2)
実施の形態2の概要を述べる。実施の形態2に係る画像補正装置101は、光学レンズにおけるズーム値の取り得る範囲を複数の領域に分割し、分割したそれぞれの領域に対して個別の圧縮伸張アルゴリズムを用意し、撮像時のズーム値に基づいた圧縮伸張アルゴリズムを使用して画像データの圧縮伸張処理を実行する、圧縮処理後の画像データをメモリへ書き込み、メモリから読み出した画像データに対して伸張処理をすることで、圧縮伸張処理なしではメモリ量の不足により補正処理を実行できないズーム値における補正処理を実行しつつ、複数の圧縮率の圧縮伸張アルゴリズムを適宜使用することで、圧縮伸張による画質劣を極力抑えた補正処理を実行できる。
(Embodiment 2)
An outline of the second embodiment will be described. The image correction apparatus 101 according to the second embodiment divides the range that the zoom value of the optical lens can take into a plurality of areas, prepares an individual compression / decompression algorithm for each of the divided areas, and zooms during imaging Executes compression / decompression processing of image data using a compression / decompression algorithm based on the value, writes the compressed image data to the memory, and decompresses the image data read from the memory to compress / decompress While performing correction processing for zoom values where correction processing cannot be performed due to lack of memory without processing, correction processing that suppresses image quality deterioration due to compression / expansion as much as possible by appropriately using compression / decompression algorithms with multiple compression rates Can be executed.
実施の形態2に係る画像補正装置101は、実施の形態1に係る画像補正装置100と内部構造は同等であるため、画像補正装置101の内部構造を示す図として図1を流用して説明する。以下、実施の形態1に係る画像補正装置100と重複する説明は適宜省略または簡略化して記載する。
Since the image correction apparatus 101 according to the second embodiment has the same internal structure as the
以下、図1を実施の形態2に係る画像補正装置101の内部構造を模式的に示す図として以下を説明する。画像補正装置101は、光学系1、光学制御部2、歪み補正値記憶部3、撮像素子4、歪み補正値取得部5、画像前処理部6、画像補正部7、メインメモリ10、画像後処理部14、記録部15、記録媒体16、および出力部17を含む。
The following will be described with FIG. 1 as a diagram schematically showing the internal structure of the image correction apparatus 101 according to the second embodiment. The image correction apparatus 101 includes an optical system 1, an
画像補正装置101において、画像データ圧縮部9は、圧縮率の異なる複数の圧縮アルゴリズムを有する。画像データ制御部8は、光学制御部2から取得したズーム値が光学系1におけるズーム値の取り得る範囲を複数の領域に分割したどの領域に該当するかによって、画像データ圧縮部9に使用させる圧縮アルゴリズムを切り替る。以下、説明の便宜上、圧縮アルゴリズムの数を3つとし、ズーム値の取り得る範囲を3つの領域に分割する場合について説明するが、圧縮アルゴリズムの数やズーム値の取り得る範囲の分割数は3に限られないことは当業者には容易に理解されることである。
In the image correction apparatus 101, the image data compression unit 9 has a plurality of compression algorithms having different compression rates. The image data control unit 8 causes the image data compression unit 9 to use the zoom value acquired from the
画像データ制御部8は、画像データ圧縮部9において選択された圧縮アルゴリズムに対応する伸張アルゴリズムを使用して画像データ伸張部13に補正用画像データを伸張させる。
The image data control unit 8 causes the image
図4(c)は光学系1の取り得るズーム値区間と、分割領域の一例を示す図である。図4(c)のズーム値Oからズーム値Nまでを領域Fa、ズーム値Nからズーム値Mまでを領域Fb、ズーム値M以上の領域をFcとする。領域Faにおける歪曲率の絶対値は最も大きく、領域Fcにおける歪曲率の絶対値が最も小さい。 FIG. 4C is a diagram illustrating an example of zoom value sections that can be taken by the optical system 1 and divided areas. In FIG. 4C, a zoom value O to a zoom value N is a region Fa, a zoom value N to a zoom value M is a region Fb, and a region greater than the zoom value M is Fc. The absolute value of the distortion rate in the region Fa is the largest, and the absolute value of the distortion rate in the region Fc is the smallest.
画像データ圧縮部9は、画像データ制御部8を介して光学制御部2から取得した撮像時における光学系1のズーム値が領域Faの範囲内である場合、圧縮率Cの値が最も低く、画質が最も劣化しうる不可逆圧縮アルゴリズムAを用いて画像データを圧縮する。ズーム値が領域Fcの範囲内である場合、画像データ圧縮部9は、圧縮率Cの値が最も高く、画質劣化の生じない可逆圧縮アルゴリズムCを用いて画像データを圧縮する。ズーム値が領域Fbの範囲内である場合には、両者の中間的な性質を持つ圧縮アルゴリズムBを用いて画像データを圧縮する。
When the zoom value of the optical system 1 at the time of imaging acquired from the
画像データ伸張部13は、ズーム値が領域Faの範囲内である場合、画像データ圧縮部9が実行した圧縮アルゴリズムAに対応する伸張アルゴリズムAを用いて補正用画像データを伸張する。画像データ伸張部13は、ズーム値が領域Fcの範囲内である場合、圧縮アルゴリズムCに対応する伸張アルゴリズムCを用いて補正用画像データを伸張する。同様に、画像データ伸張部13は、ズーム値が領域Fbの範囲内である場合、圧縮アルゴリズムBに対応する伸張アルゴリズムBを使用して補正用画像データを伸張する。
When the zoom value is within the range Fa, the image
図7は、実施の形態2に係る画像補正装置101の処理の流れを説明するフローチャートの前半部である。本フローチャートにおいて、ステップS20からステップS22までの各処理は、それぞれ図5におけるステップS0からステップS2までの各処理と同様である。 FIG. 7 is the first half of a flowchart for explaining the processing flow of the image correction apparatus 101 according to the second embodiment. In this flowchart, each process from step S20 to step S22 is the same as each process from step S0 to step S2 in FIG.
画像補正部7内の画像データ制御部8は、光学制御部2から取得した撮像時のズーム値から画像データに対して圧縮処理が必要であるか判定を行う(S23)。 The image data control unit 8 in the image correction unit 7 determines whether image data needs to be compressed from the zoom value at the time of imaging acquired from the optical control unit 2 (S23).
画像データ制御部8が圧縮処理が必要であると判断した場合(S23のY)、画像データ制御部8は、光学制御部2から取得した撮像時のズーム値がズーム値領域Fa、Fb、Fcのいずれに該当するか判定し、画像データ圧縮部9に使用させる画像データの圧縮アルゴリズムを選択する(S24)。
When the image data control unit 8 determines that the compression process is necessary (Y in S23), the image data control unit 8 determines that the zoom value at the time of imaging acquired from the
画像データ圧縮部9は、画像データ制御部8が選択した圧縮アルゴリズムを使用して画像データを圧縮する。 The image data compression unit 9 compresses the image data using the compression algorithm selected by the image data control unit 8.
画像データ制御部8が圧縮処理が必要ないと判断した場合(S23のN)、画像データ制御部8は画像データ圧縮部9に特段の処理をさせない。 When the image data control unit 8 determines that the compression process is not necessary (N in S23), the image data control unit 8 does not cause the image data compression unit 9 to perform special processing.
ステップS26の処理は、図5におけるステップS5の処理と同様である。 The process of step S26 is the same as the process of step S5 in FIG.
図8は、実施の形態2に係る画像補正装置101の処理の流れを説明するフローチャートの後半部である。 FIG. 8 is the latter half of the flowchart for explaining the processing flow of the image correction apparatus 101 according to the second embodiment.
ステップS27からステップS29までの各処理は、それぞれ図6におけるステップS6からステップS8までの各処理と同様である。 Each process from step S27 to step S29 is the same as each process from step S6 to step S8 in FIG.
画像データ圧縮部9が画像データを圧縮した場合(S29のY)、画像データ制御部8は、ステップS24において選択した圧縮アルゴリズムに対応する伸張アルゴリズムを選択する(S30)。 When the image data compression unit 9 compresses the image data (Y in S29), the image data control unit 8 selects a decompression algorithm corresponding to the compression algorithm selected in step S24 (S30).
画像データ制御部8は、ステップS30において選択した伸張アルゴリズムを使用して画像データ伸張部13に補正用画像データを伸張させるとともに、伸張した補正用画像データをキャッシュメモリ12に格納させる(S31)。
The image data control unit 8 causes the image
画像データ圧縮部9が画像データを圧縮していない場合(S29のN)、画像データ制御部8は、画像データ伸張部13に特段の処理をさせない。ステップ32からステップ36までの各処理は、それぞれ図6におけるステップS10からステップS36までの各処理と同様である。
When the image data compression unit 9 does not compress the image data (N in S29), the image data control unit 8 does not cause the image
以上の構成による動作は以下のとおりである。ユーザが実施の形態2に係る画像補正装置101を用いて画像を撮像すると、歪み補正値取得部5は撮像時のズーム値と、歪み補正値記憶部3から取得したズーム値のサンプル値、及び、このサンプル値に対応する歪み補正値とに基づいて、撮像時のズーム値に対応する歪み補正値を補間計算によって取得する。画像データ圧縮部9は、画像データ制御部8を介して光学制御部2から取得したズーム値に基づいて選択された圧縮アルゴリズムを使用して画像データを圧縮する。画像データ制御部8は、歪み補正値をもとに光学歪みを補正するために必要な補正用画像データ位置を決定する。画像データ伸張部13は、画像データ圧縮部9が実行した圧縮アルゴリズムに対応する伸張アルゴリズムを使用して補正用画像データを伸張する。
The operation according to the above configuration is as follows. When the user captures an image using the image correction apparatus 101 according to the second embodiment, the distortion correction
これにより、撮像時における光学レンズのズーム値に基づいて、画像データの圧縮伸張アルゴリズムを圧縮率の異なる複数の圧縮伸張アルゴリズムから適切なアルゴリズムを選択して圧縮伸張処理をすることが可能となる。メインメモリ10の容量に上限があり、メインメモリ10容量の不足により高い補正率の光学歪み補正処理が実行できない場合には、圧縮伸張処理をすることで光学歪み補正が可能となる。圧縮伸張処理による画質劣化を伴う場合があるものの、複数の圧縮伸張アルゴリズムを適宜使い分けることにより、画質劣化を歪曲率に応じて段階的に制御できる。
Accordingly, it is possible to perform compression / decompression processing by selecting an appropriate algorithm from a plurality of compression / decompression algorithms having different compression ratios based on the zoom value of the optical lens at the time of imaging. When there is an upper limit on the capacity of the
以上説明したように、実施の形態2に係る画像補正装置101によれば、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対して、画質劣化を段階的に調整しながら光学歪み補正を実現できる。 As described above, according to the image correction apparatus 101 according to the second embodiment, image quality degradation is performed for input of image data that has a high distortion rate in a specific zoom value section and cannot be corrected by a fixed amount of memory. Optical distortion correction can be realized while making adjustments.
特に、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対しては、画像データの圧縮処理・伸張処理を行うことで、光学歪みの補正を実現することができる。また、画像データの圧縮アルゴリズムにおいて、圧縮率・伸張率を不可逆の領域に高めることで、画質劣化を伴う場合があるものの、光学歪み補正することが可能な歪曲率の範囲を広げることが可能となる。圧縮処理や伸張処理をしなくてもメモリ量が十分である場合には、不可逆の圧縮処理・伸張処理を用いず、画質劣化のない光学歪み補正を実現することも可能となる。 In particular, for input of image data that has a high distortion rate in a specific zoom value section and cannot be corrected with a fixed amount of memory, it is possible to perform optical distortion correction by performing image data compression / expansion processing. Can do. Also, in the compression algorithm of image data, by increasing the compression rate / decompression rate to an irreversible region, it is possible to widen the range of distortion rate that can be corrected for optical distortion, although image quality may be deteriorated. Become. If the amount of memory is sufficient without performing compression processing or expansion processing, optical distortion correction without image quality deterioration can be realized without using irreversible compression processing / expansion processing.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
(変形例1)
上述した実施の形態2においては、光学レンズにおけるズーム値の取り得る範囲を複数の領域に分割し、分割したそれぞれの領域に対して個別の圧縮伸張アルゴリズムを用意する場合、すなわち、圧縮率を離散的に用意する場合について説明した。画像データ圧縮部9は、圧縮率を連続的に変更可能なアルゴリズムを用いてもよい。これにより、メインメモリ10に画像データを格納する際に圧縮処理が必要な場合に、圧縮後の画像データがメインメモリ10にちょうど収まるように圧縮率を設定することができる。一般に、圧縮率の高い圧縮が施された画像データは、圧縮率が低い圧縮が施された画像データよりも、画像の劣化が抑制できる。メインメモリ10の利用限度まで圧縮率を高めることにより、画像劣化を抑えつつ、画像補正を実行できるようになる点で有利である。
(Modification 1)
In the second embodiment described above, the range of zoom values in the optical lens can be divided into a plurality of regions, and individual compression / decompression algorithms are prepared for each of the divided regions, that is, the compression rate is discrete. The case where it prepares automatically was explained. The image data compression unit 9 may use an algorithm capable of continuously changing the compression rate. Thereby, when compression processing is required when storing image data in the
1 光学系、 2 光学制御部、 3 補正値記憶部、 4 撮像素子、 5 補正値取得部、 6 画像前処理部、 7 画像補正部、 8 画像データ制御部、 9 画像データ圧縮部、 10 メインメモリ、 11 歪曲補正部、 12 キャッシュメモリ、 13 画像データ伸張部、 14 画像後処理部、 15 記録部、 16 記録媒体、 17 出力部、 100、101 画像補正装置。 DESCRIPTION OF SYMBOLS 1 Optical system, 2 Optical control part, 3 Correction value memory | storage part, 4 Image sensor, 5 Correction value acquisition part, 6 Image pre-processing part, 7 Image correction part, 8 Image data control part, 9 Image data compression part, 10 Main Memory, 11 Distortion correction unit, 12 Cache memory, 13 Image data decompression unit, 14 Image post-processing unit, 15 Recording unit, 16 Recording medium, 17 Output unit, 100, 101 Image correction device
Claims (6)
画像データに生じている光学歪みを補正する歪曲補正部と、
前記メモリに格納された圧縮画像データを伸張し、前記歪曲補正部に補正させる画像データ伸張部とを含み、
前記画像データ圧縮部は、撮像時の前記光学レンズのズーム値をもとに、前記メモリの容量におさまるように前記撮像された画像データを圧縮することを特徴とする画像補正装置。 An image data compression unit that compresses image data captured through an optical lens having a zoom function and stores the compressed image data in a memory;
A distortion correction unit that corrects optical distortion occurring in the image data;
An image data decompression unit that decompresses the compressed image data stored in the memory and causes the distortion correction unit to correct the image data.
The image data compression unit compresses the captured image data so as to fit in the capacity of the memory based on a zoom value of the optical lens at the time of imaging.
前記画像データ制御部は、撮像時のズーム値をもとに前記複数の圧縮アルゴリズムの中からひとつのアルゴリズムを選択し、選択したアルゴリズムを用いて前記画像データ圧縮部に画像データを圧縮させることを特徴とする請求項2に記載の画像補正装置。 The image data compression unit has a plurality of compression algorithms with different compression rates,
The image data control unit selects one algorithm from the plurality of compression algorithms based on a zoom value at the time of imaging, and causes the image data compression unit to compress the image data using the selected algorithm. The image correction apparatus according to claim 2, wherein:
前記歪曲補正部は、前記画像データ伸張部が伸張した画像データの各画素を、それぞれ補正対象画素とするとともに、当該補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とをもとに、前記補正対象画素を補正するための補正用画素位置を算出し、この補正用画素位置に基づいて前記補正対象画素を補正することを特徴とする請求項2から4のいずれかに記載の画像補正装置。 A distortion correction value storage unit that stores a distortion correction value that is a value determined in advance and is used to correct optical distortion generated in the image data due to distortion aberration of the optical lens;
The distortion correction unit sets each pixel of the image data expanded by the image data expansion unit as a correction target pixel, a position of the correction target pixel, and a distortion correction value acquired from the distortion correction value storage unit. 5. The correction pixel position for correcting the correction target pixel is calculated based on the correction pixel position, and the correction target pixel is corrected based on the correction pixel position. The image correction apparatus described in 1.
前記画像データの撮像時の前記光学レンズのズーム値をもとに、メモリの容量におさまるように圧縮し、圧縮画像データとして前記メモリに格納するステップと、
前記メモリに格納された圧縮画像データを伸張してキャッシュメモリに格納するステップと、
前記キャッシュメモリに格納された画像データの光学歪みを補正するステップとを含むことを特徴とする画像補正方法。 Acquiring image data captured through an optical lens having a zoom function;
Based on the zoom value of the optical lens at the time of imaging the image data, compressing to fit in the capacity of the memory, and storing in the memory as compressed image data;
Decompressing the compressed image data stored in the memory and storing it in a cache memory;
Correcting the optical distortion of the image data stored in the cache memory.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255355A JP5704057B2 (en) | 2011-11-22 | 2011-11-22 | Image correction apparatus and image correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011255355A JP5704057B2 (en) | 2011-11-22 | 2011-11-22 | Image correction apparatus and image correction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013110647A JP2013110647A (en) | 2013-06-06 |
JP5704057B2 true JP5704057B2 (en) | 2015-04-22 |
Family
ID=48706986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011255355A Active JP5704057B2 (en) | 2011-11-22 | 2011-11-22 | Image correction apparatus and image correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5704057B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101540300B1 (en) | 2014-08-18 | 2015-08-13 | 위드로봇 주식회사 | System and method for image warping using cache memory |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11275391A (en) * | 1998-03-20 | 1999-10-08 | Kyocera Corp | Digital image pickup device for selecting distortion correction |
JP2002094931A (en) * | 2000-09-14 | 2002-03-29 | Sharp Corp | Image processing unit |
JP2004214985A (en) * | 2002-12-27 | 2004-07-29 | Canon Inc | Image processor and image reproducing device |
JP4337463B2 (en) * | 2003-08-06 | 2009-09-30 | ソニー株式会社 | Image processing apparatus, image processing system, imaging apparatus, and image processing method |
JP4791399B2 (en) * | 2007-03-22 | 2011-10-12 | 富士フイルム株式会社 | Imaging apparatus and image processing method |
JP5023313B2 (en) * | 2008-12-24 | 2012-09-12 | 株式会社アクセル | Distortion correction device |
-
2011
- 2011-11-22 JP JP2011255355A patent/JP5704057B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013110647A (en) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4337911B2 (en) | Imaging device, imaging circuit, and imaging method | |
KR100799212B1 (en) | Imaging device and image processing method | |
JP4321496B2 (en) | Image data processing apparatus, image data processing method and program | |
JP4896852B2 (en) | Autofocus control circuit, autofocus control method, and imaging apparatus | |
EP2421250A2 (en) | Image correction apparatus and image correction method | |
KR20070089085A (en) | Image capturing apparatus, imaging circuit, and image capturing method | |
JP4385841B2 (en) | Image processing device | |
JP4337463B2 (en) | Image processing apparatus, image processing system, imaging apparatus, and image processing method | |
US20150334296A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and image processing method | |
JP4596986B2 (en) | Imaging device | |
JP5811879B2 (en) | Image processing apparatus and image processing method | |
JP2017224939A (en) | Imaging apparatus | |
JP5092536B2 (en) | Image processing apparatus and program thereof | |
JP2009187548A (en) | Method for generating thumbnail image and device for it | |
JP5704057B2 (en) | Image correction apparatus and image correction method | |
JP4333270B2 (en) | Image processing apparatus, image processing system, imaging apparatus, and image processing method | |
JP4720626B2 (en) | Image processing system, image processing method, and program | |
JP4553798B2 (en) | Imaging device | |
JP4608436B2 (en) | Image shooting device | |
US9432650B2 (en) | Image display apparatus, image capturing apparatus, and method of controlling image display apparatus | |
JP4803224B2 (en) | Image processing apparatus, image processing system, imaging apparatus, and image processing method | |
JP2007129403A (en) | Image encoder and image processing system | |
CN112752019B (en) | Image pickup apparatus, image processing apparatus, and storage medium | |
JP7289642B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM | |
JP6275468B2 (en) | Image processing apparatus, image processing method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5704057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |