JP5299383B2 - 画像補正装置および画像補正方法 - Google Patents

Description

本発明は、光学レンズを介して被写体像を撮影し、前記被写体像を示す画像データを記録する画像補正装置に関する。

光学レンズは、通常、製造時のバラつきなどによって生じる各光学レンズ固有の歪曲収差を有している。これらの光学レンズを介して被写体像を撮影すると、上述の歪曲収差によって撮影画像が歪む光学歪みという現象が発生する。この光学歪みは、撮像時のレンズズーム値に応じて歪み量が変化することが知られている。撮像装置におけるこの光学歪みの補正に関する技術は種々提案されており、それらの中には光学歪みの補正時におけるメモリ領域の使用を効率化する技術が存在する（特許文献１参照）。

特開２００６−２２２８２７号公報

一般に、光学歪みを補正するには光学歪みが生じている画像データを格納するメインメモリと、メインメモリから読み出した画像データを一時保存するキャッシュメモリとを必要とする。これらのメモリは高価であり、またメモリアクセスには計算コストがかかるため、撮像装置に搭載するメモリの量を抑えつつより効率的にメモリアクセスをするための技術が望まれている。

本発明はこうした状況に鑑みなされたものであり、その目的は、メインメモリ量やキャッシュメモリ量を節約しつつ光学歪み補正機能を実現する技術を提供することにある。

上記目的を達成するため、本発明のある態様は画像補正装置である。この装置は、光学レンズを介して撮像して得た画像データを順次記憶する所定ライン数のラインメモリと、予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部と、前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出す画像データ制御部と、前記画像データ制御部が読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定する歪曲補正部とを含む。ここで前記画像データ制御部は、前記画像データに生じる光学歪みの大きさが、前記所定ライン数のラインメモリから得られる画像データを用いて補正できる最大値を超える場合、前記歪曲補正部が補正する光学歪みの補正量を、前記ラインメモリから得られる画像データを用いて補正できる範囲内に抑えるように、前記歪み補正値記憶部から取得した歪み補正値を調整する。
本発明の別の態様も画像補正装置である。この装置は、光学レンズを介して撮像して得た画像データを順次記憶する所定ライン数のラインメモリと、予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部と、前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出す画像データ制御部と、前記画像データ制御部が読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定する歪曲補正部と、前記歪曲補正部が補正した画像データに対して、前記ラインメモリの一部を使用して光学歪みの補正処理とは異なる画像処理を実行する処理部と、前記歪曲補正部が実行する光学歪みの補正処理と前記処理部が実行する追加の画像処理との優先度に応じて、前記歪曲補正部が利用可能な前記ラインメモリにおけるライン数の最大値を変更するメモリ割り当て制御部を含む。

本発明のさらに別の態様は画像補正方法である。この方法は、光学レンズを介して撮像して得た画像データを、所定ライン数のラインメモリに順次記憶するステップと、予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部から歪み補正値を取得するステップと、前記画像データに生じる光学歪みの大きさが、前記所定ライン数のラインメモリから得られる画像データを用いて補正できる最大値を超える場合、補正する光学歪みの補正量を、前記ラインメモリから得られる画像データを用いて補正できる範囲内に抑えるように、前記歪み補正値記憶部から取得した歪み補正値を調整するステップと、前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値または調整した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出すステップと、読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定するステップとをプロセッサに実行させる。
本発明のさらに別の態様は画像補正方法である。この方法は、光学レンズを介して撮像して得た画像データを、所定ライン数のラインメモリに順次記憶するステップと、予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部から歪み補正値を取得するステップと、前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出すステップと、読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定するステップと、補正した画像データに対して、前記ラインメモリの一部を使用して光学歪みの補正処理とは異なる追加の画像処理を実行するステップと、前記光学歪みの補正処理と前記追加の画像処理との優先度に応じて、前記光学歪みの補正処理に利用可能な前記ラインメモリにおけるライン数の最大値を変更するステップとをプロセッサに実行させる。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、メインメモリ量やキャッシュメモリ量を節約しつつ光学歪み補正機能を実現する技術を提供することができる。

実施の形態１に係る画像補正装置の内部構造を模式的に示す図である。 光学レンズを通して撮像した場合の像の光学歪みとその歪曲率とを説明する図である。 光学歪みの程度と補正に必要な画像データ領域との関係を模式的に示す図である。 補正制御部が光学歪みの補正のために読み出す固定サイズの補正用画像データを模式的に示す図である。 補正部における画素補間を説明する図である。 補正部における画素補間の終端処理を説明する図である。 実施の形態１に係る画像補正装置の処理の流れを説明するフローチャートの前半部である。 実施の形態１に係る画像補正装置の処理の流れを説明するフローチャートの後半部である。 実施の形態２に係る画像補正装置の内部構造を模式的に示す図である。 実施の形態２に係るラインメモリ最大使用量取得部の処理の流れを説明するフローチャートである。 実施の形態３に係る画像データ制御部の内部構造を模式的に示す図である。 光学歪みとその光学歪みを補正するために必要な垂直ライン数との関係を説明する図である。 実施の形態３に係る画像補正装置の処理の流れを説明するフローチャートである。 実施の形態４に係る画像補正装置の内部構造を模式的に示す図である。 実施の形態４に係る画像補正装置の処理の流れを説明するフローチャートの前半部である。 実施の形態４に係る画像補正装置の処理の流れを説明するフローチャートの後半部である。

（実施の形態１）
実施の形態１の概要を述べる。実施の形態１に係る画像補正装置１００は、画像データの光学歪みを画像補間技術を用いて補正する際、補正に用いる補正用画像データを固定サイズのブロック単位でラインメモリからキャッシュメモリに読み込んで補正処理を実行する。

図１は、実施の形態１に係る画像補正装置１００の内部構造を模式的に示す図である。画像補正装置１００は、光学系１、光学制御部２、歪み補正値記憶部３、撮像素子４、歪み補正値取得部５、画像前処理部６、画像補正部７、ラインメモリ１０、画像後処理部１２、記録部１３、記録媒体１４、および出力部１５を含む。

光学系１はズームレンズ等の複数枚のレンズを含み、被写体からの光情報を結像して取得する。撮像素子４は、光学系１から送信された光情報を電気情報に変換する。撮像素子４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどを用いて実現できる。

画像前処理部６は、撮像素子４が変換した電気情報をＲＧＢ各色の信号に変換する。ラインメモリ１０は、画像前処理部６が変換したＲＧＢ信号を、画像素子を平面に見立て水平方向を画素、垂直方向をラインとしたときの複数ライン分の全画素ＲＧＢ信号を記録する。ただしラインメモリ１０は１枚の画像データにおけるＲＧＢ信号すべてを記録するだけの容量はなく、画像データの一部を部分画像データとして記憶する。このため、ラインメモリ１０が一杯となった場合、上位のラインから順に消去して新しいラインにデータを記録する。

光学制御部２は、光学系１のレンズを制御する。光学制御部２はまた、撮像時における光学系１のズーム値を出力する。歪み補正値記憶部３は、光学系１のズーム値についての複数のサンプル値と、その時に撮像される像の歪みを補正するための「歪み補正値」（詳細は後述する）とを紐づけて記憶する。歪み補正値取得部５は、光学制御部２から取得した光学系１における撮像時のズーム値をもとに、歪み補正値記憶部３を参照して歪み補正値を取得する。歪み補正値記憶部３に撮像時のズーム値が格納されていない場合には、歪み補正値取得部５は、歪み補正値を補間計算により取得する。

画像補正部７は、ラインメモリ１０から取得した複数ライン分の全画素ＲＧＢ信号と歪み補正値取得部５から取得した歪み補正値とをもとに、光学歪みを補正したＲＧＢ信号を作成する。そのため、画像補正部７はさらに、画像データ制御部８、キャッシュメモリ９、および歪曲補正部１１を含む。

画像データ制御部８は、画像前処理部６からＲＧＢ信号を取得してラインメモリ１０に記録する。画像データ制御部８はまた、歪み補正に必要なラインメモリ１０のＲＧＢ信号領域を算出し、その領域を補正用画像データとして読み出してキャッシュメモリ９に格納する。ここで画像データ制御部８は、補正用画像データとして固定サイズのブロック単位でＲＧＢ信号領域を算出する。具体的には、画像データ制御部８は、水平方向を前記画像データ１ライン分の画素数の１／Ｎ（Ｎは２以上の正の整数）、垂直方向を前記画像データ垂直ライン数の１／Ｍ（Ｍは２以上の正の整数）からなるブロック単位でＲＧＢ信号領域を補正用画像データとして算出する。

歪曲補正部１１は、画像データ制御部８を介して歪み補正値取得部５から取得した歪み補正値をもとに、キャッシュメモリ９に読み出した補正用画像データの光学歪みを補正する。光学歪みの補正に際してキャッシュメモリ９に読み出す補正用画像データのサイズが固定されているため、メモリの割り当て等のメモリアクセス時の処理が抑制でき、計算コストを削減できる。また、キャッシュメモリ９のサイズも固定できることから、製造コストを抑制しうる点で有利である。

画像後処理部１２は、画像補正部７が歪み補正処理をしたＲＧＢ信号を記録媒体１４に記録するための画像信号に変換する。記録部１３は、画像後処理部１２で変換された画像信号を記録媒体１４に記録する。出力部１５は、記録媒体１４に記録した画像信号を読み出し図示しない表示部に出力する。

図２は光学レンズを通して撮像した場合の像の光学歪みとその歪曲率とを説明する図である。光学レンズを通して被写体像を撮影し、その被写体像を示す画像データを記録する場合、光学レンズが有する固有の歪曲収差に起因して、撮像画像の周辺に歪みが生じる。この歪みは、一般に光学歪みと称され、画像の角部が外側に伸びる「糸巻き型」と、逆に角部が縮む「たる型」との２種類に分けられ、何れの歪みも光学中心からの距離によって歪み量が決まることが一般的に知られている。

図２（ａ）は「たる型」の歪みを例示する図である。図２（ａ）においては、本来点Ａに撮像されるべき点が、歪みによって点Ａ’に撮像されている。点Ａおよび点Ａ’の画像の中心からの距離をそれぞれＬ１、Ｌ２とするとき、点Ａにおける歪曲率Ｄは以下の式で定義され、その単位は［％］である。
歪曲率Ｄ［％］＝１００×（Ｌ２−Ｌ１）／Ｌ１ （１）
ここで画像の中心は、光学系の中心軸と一致しているものとする。

図２（ａ）に示すような樽型の歪みの場合、歪曲率Ｄは負の値となる。反対に、糸巻き型歪みの場合、歪曲率Ｄは正の値となる。ここで式（１）をＬ２について解くと、以下の式（２）を得る。
Ｌ２＝（１００＋Ｄ）／１００×Ｌ１ （２）

式（２）より、歪曲率Ｄを用いることで、中心からの距離がＬ１となる点Ａに本来存在すべき画素が、歪みの生じている画像上においてどの位置に存在するかを求めることができる。具体的には、中心からの距離Ｌ１に、歪曲率Ｄを用いて計算される係数を乗じた距離であるＬ２が、本来点Ａに存在すべき画素が存在する位置である。式（２）を用いて求めた位置に存在する画素を点Ａの位置に戻す画像処理を施すことにより、歪みの生じた画像を補正することができる。したがって、以下、歪曲率Ｄと歪み補正値とを同じ意味で用いる。

図２（ｂ）は、ある固定されたズーム値において、ｄｓｔ０〜ｄｓｔ４までの５点における歪み補正値を求める場合のそのサンプリング点を例示する図である。図２（ｃ）は、図２（ｂ）のサンプリング点ｄｓｔ３の位置における、ズーム値と歪み補正値との関係を模式的に示す図である。歪み補正値記憶部３には、各サンプリング点におけるズーム値と歪み補正値とが紐づけられて格納されている。図２（ｃ）に示すように、ズーム値と歪み補正値とは複数点が記憶されている。歪み補正値取得部５は、歪み補正値記憶部３に撮像時のズーム値が格納されていない場合には、歪み補正値を補間計算により取得する。補間計算は、例えば公知のスプライン補間を用いることで実現できる。図２（ｂ）および図２（ｃ）においてサンプリング数をいくつにするかは、正確性とデータ量とのトレードオフの関係になるため、コスト等を鑑みて実験により定めればよく、例えば２０点程度である。

図３は、光学歪みの程度と補正に必要な画像データ領域との関係を模式的に示す図である。図３（ａ）は、撮像する被写体における１ラインを表す。図３（ｂ）および図３（ｃ）はそれぞれ、図３（ａ）に示す被写体を光学レンズを通して撮像した結果、その光学レンズの歪曲収差によって光学歪みの生じた画像の例を示す。図３（ｂ）に示す例よりも図３（ｃ）に示す例の方が、光学歪みが大きくなっている。図３（ｂ）および図３（ｃ）における斜線領域は、それぞれ光学歪みを補正するために必要な画像データ領域を示す。図３（ｂ）および図３（ｃ）を対比すると分かるように、一般に光学歪みが生じている画像中のある１ラインを補正するために必要な画像領域は、光学歪みが大きな画像ほど大きい。

光学系１に含まれるレンズが決まれば、そのレンズが有する固有の歪曲収差によって生じる光学歪みの範囲が一意に定まる。この範囲を計算によって求めるか、あるいはズーム値等を変化させて実験によりレンズ毎にあらかじめ求めておく。この範囲が求まれば、光学歪みを補正するために必要な画像データサイズの全有効ラインにおける最大値も求まる。そこで、ラインメモリ１０のデータサイズは、少なくとも、光学系１に含まれるレンズを通した場合に生成される光学歪みが生じている画像を補正するために必要な画像データサイズの全有効ラインにおける最大値とする。撮像素子４が生成する画像データの画素数を全て記憶するだけのメモリ量は不要なため、回路規模や製造コストの点で有利となる。

図４は、画像データ制御部８が補正のために読み出す固定サイズの補正用画像データを模式的に示す図である。図４において、破線１６は補正の対象となる画像上の１ラインを示す。また曲線１７は、破線１６で示したライン上に本来存在すべき画素の位置を示す。斜線で示す領域は、ラインメモリ１０が記録可能な部分画像データ１８を示す。曲線１７は、破線１６と歪曲率Ｄとを上述の式（２）に代入して求めることができる。また図４において、複数の格子模様を付した矩形領域が、それぞれ画像データ制御部８が補正のために読み出す固定サイズの補正用画像データを示す。各ブロックはそれぞれ曲線１７を含むように配置される。

画像データ制御部８は、光学系１に含まれる光学レンズの歪曲収差によって生ずる光学歪みを補正するための画像歪み補正値、前述の補正用画像データのサイズおよび形状、および補正対象位置をもとに、補正の対象となる破線１６上に本来存在すべき画素が存在する曲線１７を含むように、読み出す補正用画像データの各位置を決定してキャッシュメモリ９に読み込む。歪曲補正部１１は、キャッシュメモリ９に読み込まれた補正用画像データについて画素補間処理を行い、歪み補正処理した結果のＲＧＢ信号を算出して、画像後処理部１２に送信する。画素補間処理は、スプライン補間や線型補間等、既知の補間処理を用いて実現できる。

図５は、歪曲補正部１１における画素補間を説明するための図である。図５（ａ）は、キャッシュメモリ９に読み込まれた補正用画像データ１９の一例を示す図である。図５（ａ）において黒色で塗りつぶされた画素は、直線が光学歪によって歪められた様子を示す。図５（ｂ）は、歪曲補正部１１が補正対象とする１ラインを示す図である。歪曲補正部１１は、補正対象とする１ラインを構成する画素を順番に求める。図５（ｂ）において黒色で塗りつぶされた画素は補正の終了した画素を表し、斜線で示す画素は歪曲補正部１１が現在補正計算の対象としている画素を示す。

歪曲補正部１１は、図５（ｂ）に示す補正計算の対象としている画素が、図５（ａ）に示すキャッシュメモリ９に読み込まれた補正用画像データ１９のどの位置になるかを、上述の式（２）をもとに計算する。計算の結果、図５（ａ）に示す画像の特定の画素と一致すれば、歪曲補正部１１はその画素の値を補正後の画素として取得するが、式（２）をもとに計算した位置が、図５（ａ）に示す画像の特定の画素とちょうど重なるとは限らない。例えば図５（ａ）において斜線で示す画素は、式（２）をもとに計算した図５（ｂ）における斜線で示す画素が存在する位置であり、図５（ａ）に示す画像の特定の画素と重なる位置ではない。

歪曲補正部１１は、式（２）をもとに計算した位置が、図５（ａ）に示す画像の特定の画素とちょうど重ならない場合、式（２）をもとに計算した位置における画素の値を補間計算により求める。図５（ａ）に示すように、歪曲補正部１１は式（２）をもとに計算した位置の周辺領域の画素値（例えば縦４画素×横４画素の領域）をもとにスプライン補間をして、補正用の画素値を求める。

図６は、歪曲補正部１１における画素補間の終端処理を説明する図である。図６（ａ）は、歪曲補正部１１が式（２）をもとに計算した補正対象の画素が存在する位置を示す。図５に示す場合と同様に斜線で示す画素が補正対象の画素であるが、式（２）をもとに計算した結果、キャッシュメモリ９に読み込まれた補正用画像データ１９の外側に存在する場合の例を示す。この場合、図６（ｂ）に示す補正用画像データ１９’のごとく、補間用の周辺領域を含む領域が補正用画像データとして本来必要である。実際にはラインメモリ１０の容量の制限により、そのような領域を用意することができない。

そこで、図６（ｃ）の領域２１に示すごとく、補間用の周辺領域が１つの同じキャッシュメモリ９内部に存在しない場合は、複数あるキャッシュメモリ９の別キャッシュメモリ内部に目的とする補間用の周辺領域が存在するかを確認し、他のキャッシュメモリ９内に存在する場合そこから取得して利用する。また、補間用の周辺領域がキャッシュメモリ９内部に存在しない場合、キャッシュメモリ９内部の信号２０で代用する。

図７Ａは、実施の形態１に係る画像補正装置１００の処理の流れを説明するフローチャートの前半部である。

撮像素子４は、被写体から放出され光学制御部２によってズーム値の制御を受けた光学系１で集光された光信号を電気信号に変換する（Ｓ０）。画像前処理部６は、撮像素子４が変換した電気信号をＲＧＢ信号に変換する（Ｓ２）。ここでＲＧＢ信号は、左上を先頭にしてラインごとに順々に右下に至るまで、画像補正部７に出力される。この時点では光学歪み補正処理を行っていないため、画像データには光学歪みが発生している。

画像補正部７の画像データ制御部８は、画像前処理部６より取得したＲＧＢ信号を順次ラインメモリ１０に送信して書き込む（Ｓ４）。ラインメモリ本数の節約のため、画像データ制御部８は、ラインメモリ１０が一杯である場合、上位のライン、すなわち信号を記録されたタイミングが最も過去のラインから順に消去して新しいラインを記録する。

歪み補正値取得部５は、歪み補正値記憶部３に記憶したズーム値についての複数のサンプル値を参照して、光学制御部２における撮像時のズーム値と同値またはもっとも近いサンプル値、及びこのサンプル値に対応する歪み補正値を抽出するとともに、撮像時のズーム値とサンプル値の差に応じた補間計算によって、実際の歪み補正値を算出する（Ｓ６）。画像補正部７の画像データ制御部８は、歪み補正値取得部５が算出した撮像時のズーム値における歪み補正値をもとに、１ライン分の歪み補正処理に必要な水平画素位置、垂直ラインを計算し、ラインメモリ１０に記録した複数ライン分の全画素ＲＧＢ信号から補正用画像データを、水平方向を８画素、垂直方向を８ラインからなるブロック単位で読み出す領域を決定する（Ｓ８）。

画像補正部７の画像データ制御部８は、ステップＳ８の結果をもとに、補正用画像データを、水平方向を８画素、垂直方向を８ラインからなるブロック単位で読み出して複数あるキャッシュメモリ９の１つに保持する（Ｓ１０）。画像補正部７の歪曲補正部１１は、キャッシュメモリ９に保持した歪み補正処理に必要な水平画素位置、垂直ラインのＲＧＢ信号、及び、その周辺画素位置、ライン位置におけるＲＧＢ信号を取り出して画素補間処理を行い、１点の画素位置における歪み補正処理した結果のＲＧＢ信号を算出する（Ｓ１２）。

１ライン分の補正処理が終了していない場合（Ｓ１４のＮ）、ステップＳ１０の処理に戻って１ライン分の補正処理を継続する。なお、全てのキャッシュメモリ９が一杯である場合、古いキャッシュメモリ９のＲＧＢ信号を破棄し、新しいＲＧＢ信号を保持する。１ライン分の補正処理が終了した場合（Ｓ１４のＹ）で、かつ全ラインの補正が終了していない場合（Ｓ１６のＮ）、ステップＳ８に戻って、次のラインの補正処理を開始する。全ラインの補正が終すると（Ｓ１６のＹ）、本フローチャートにおける処理は終了する。

図７Ｂは、実施の形態１に係る画像補正装置１００の処理の流れを説明するフローチャートの後半部である。

画像後処理部１２は、補正されたＲＧＢ信号を記録媒体１４に記録する際の信号仕様の変換や圧縮処理等の信号変換を行う（Ｓ１８）。記録部１３は、画像後処理部１２より取得した画像信号を記録媒体１４に記録する（Ｓ２０）。出力部１５は、記録媒体１４に記録した画像信号を図示しない表示部で表示するための仕様にあわせて表示する（Ｓ２２）。

以上の構成による動作は以下のとおりである。ユーザが実施の形態１に係る画像補正装置１００で画像を撮像すると、歪み補正値取得部５は撮像時のズーム値と、歪み補正値記憶部３から取得したズーム値のサンプル値及びこのサンプル値に対応する歪み補正値とに基づいて、実際の歪み補正値を補間計算によって取得する。画像データ制御部８はその歪み補正値をもとに光学歪みを補正するために必要な固定サイズの補正用画像データを決定する。このように、補正するために必要な領域のサイズを固定し、その領域を格納できるだけのラインメモリやキャッシュメモリレジスタを用意することで、それらの容量を必要最低限に抑えることができる。

以上説明したように、実施の形態１に係る画像補正装置１００によれば、ラインメモリ本数やキャッシュメモリレジスタ量を節約しつつ光学歪み補正機能を実現することができる。

（実施の形態２）
実施の形態２の概要を述べる。実施の形態２に係る画像補正装置１０１は、レンズを通して撮像された画像データの光学歪みを画像補間技術を用いて補正するのに先立って、そのレンズによる光学歪みを補正するために必要なデータ量の最大値を計算により取得し、そのデータ量を画像補正装置１０１が搭載するメモリ量と共に通知する。以下、実施の形態１に係る画像補正装置１００と重複する説明は適宜省略または簡略化して記載する。

図８は、実施の形態２に係る画像補正装置１０１の内部構造を模式的に示す図である。画像補正装置１０１は、光学系１、光学制御部２、歪み補正値記憶部３、撮像素子４、歪み補正値取得部５、ラインメモリ最大使用量取得部２２、画像前処理部６、画像補正部７、ラインメモリ１０、画像後処理部１２、記録部１３、記録媒体１４、出力部１５、およびラインメモリ使用量表示部２３を含む。

画像補正装置１０１において、被写体からの光情報を結像して取得する光学系１は、ズームレンズ等の複数枚のレンズを含み、これらのレンズは取替え可能である。ラインメモリ最大使用量取得部２２は、光学系１の撮像時のズーム値における歪み補正処理に必要なラインメモリ最大使用量を算出する。具体的には、ラインメモリ最大使用量取得部２２は、光学レンズの取り得るすべてのズーム値において補正に要するラインメモリの量を算出して取得し、その最大値をラインメモリ最大使用量として出力する。ラインメモリ使用量表示部２３は、ラインメモリ最大使用量取得部２２から取得した、歪み補正処理に必要なラインメモリ最大使用量を表示する。

ここでラインメモリ最大使用量取得部２２は、取得したラインメモリ最大使用量がラインメモリ１０の容量よりも大きい場合は、ラインメモリ最大使用量にラインメモリの不足を表す信号を追加して、ラインメモリ使用量表示部２３に送信する。光学歪みを補正するために必要なメモリが不足するため、正しい歪み補正処理が行えないからである。ユーザは、歪み補正処理に必要なラインメモリ最大使用量が画像補正装置１０１に搭載されているメモリ容量を上回るか否か、すなわち適切な補正処理を実行できるか否かを確認できるため、必要に応じて光学系１のレンズを、正確に歪み補正処理ができる程度の歪曲収差のレンズに変更することができる。

図９は、実施の形態２に係るラインメモリ最大使用量取得部２２の処理の流れを説明するフローチャートである。

ラインメモリ最大使用量取得部２２は、光学制御部２を介して光学系１で使用されているレンズの種類を取得し、そのレンズが取り得る範囲のズーム値を設定する（Ｓ２４）。ラインメモリ最大使用量取得部２２は、光学系１で使用されているレンズの種類と設定したズーム値とをもとに、歪み補正値記憶部３から歪み補正値を取得する（Ｓ２６）。歪み補正値記憶部３には、レンズの種類に応じてズーム値と歪み補正値とのサンプル値が紐づけられて格納されている。そこで、ラインメモリ最大使用量取得部２２は、設定されたズーム値が格納されていない場合には、歪み補正値を補間計算により取得する。

続いて、ラインメモリ最大使用量取得部２２は、取得した歪み補正値をもとに、光学系１で使用されているレンズにおける設定されたズーム値で生ずる光学歪みを補正するために必要なラインメモリの使用ライン数を計算して取得する（Ｓ２８）。光学系１で使用されているレンズが取り得る全てのズーム値において、その光学歪みを補正するために必要なラインメモリの使用ライン数を計算して取得した場合（Ｓ３０のＹ）、ラインメモリ使用量表示部２３は、光学系１で使用されているレンズで生ずる光学歪みを補正するために必要なラインメモリの使用ライン数の最大値を取得して表示する（Ｓ３２）。

光学系１で使用されているレンズが取り得る全てのズーム値を設定していない場合（Ｓ３０のＮ）、ラインメモリ最大使用量取得部２２は、ステップＳ２４に戻って新たなズーム値を設定し、ラインメモリの使用量の計算処理を継続する。ラインメモリ使用量表示部２３が、光学歪みを補正するために必要なラインメモリの使用ライン数の最大値を表示すると処理は終了する。

以上説明したように、実施の形態２に係る画像補正装置１０１によれば、ラインメモリ本数やキャッシュメモリレジスタ量を節約しつつ光学歪み補正機能を実現することができる。加えて、画像補正装置１０１に内蔵されるラインメモリ１０のメモリ量では歪み補正処理をしきれない歪曲量を持つ光学レンズを判別して通知するため、ユーザは正確に歪み補正処理ができる程度の歪曲収差のレンズに変更することができる。

（実施の形態３）
実施の形態３の概要を述べる。実施の形態３に係る画像補正装置１０２は、レンズを通して撮像された画像データの光学歪みを補正するために必要なデータ量の最大値がラインメモリの利用可能な垂直ライン数の最大値を超える場合、ラインメモリの利用可能な範囲内となるまで光学歪みの補正値を調整し、調整した光学歪みの補正値をもとに光学歪みを補正する。以下、実施の形態１に係る画像補正装置１００または実施の形態２に係る画像補正装置１０１と重複する説明は適宜省略または簡略化して記載する。

図１０は、実施の形態３に係る画像データ制御部８の内部構造を模式的に示す図である。実施の形態３に係る画像データ制御部８は、画像データ書き込み制御部２４と画像データ読み出し制御部２５とを含む。

画像データ書き込み制御部２４は、画像前処理部６より取得したＲＧＢ信号を順次ラインメモリ１０に送信し記録する。ラインメモリ本数の節約のため、画像データ書き込み制御部２４は、ラインメモリ１０が一杯である場合、上位のラインから順に消去して新しいラインを記録する。画像データ読み出し制御部２５は、歪み補正値取得部５より取得した撮像時のズーム値における歪み補正値から、１ラインの歪み補正処理に必要な垂直ライン数を計算して取得し、垂直ライン数がラインメモリの最大ライン数を超える場合、歪み補正値をラインメモリの最大ライン数で補正できる値に変更する。

図１１は、光学歪みとその光学歪みを補正するために必要な垂直ライン数との関係を説明する図である。図１１（ａ）において、曲線１７は、ある１ライン分の光学歪み補正するために歪曲補正部１１が参照する位置を表す。ここで曲線１７は上述の式（２）を用いて計算することができる。曲線１７は、ラインメモリ１０で記憶可能な部分画像データ１８を超えて存在する。このため、図１１（ｃ）に示す円形領域２６に存在する光学歪みを補正することができない。補間のために必要な画像データが存在しないからである。

そこで画像データ読み出し制御部２５は、ラインメモリ１０で記憶可能な部分画像データ１８を最大限利用する場合に補正可能な光学歪みの歪み補正値を計算して取得する。図１１（ｂ）における曲線１７’は、画像データ読み出し制御部２５が計算した補正可能な光学歪みにおいて、歪曲補正部１１が参照する位置を表す。ラインメモリ１０で記憶可能な部分画像データ１８のサイズは固定されているから、画像データ読み出し制御部２５は、その範囲内において歪曲補正部１１が参照可能な曲線１７’を設定することができる。曲線１７’が設定できれば、式（１）におけるＬ２が取得できる。また補正対象である１ラインは定まっているため、式（１）におけるＬ１も取得できる。したがって、式（１）を用いることで、画像データ読み出し制御部２５は、ラインメモリ１０で記憶可能な部分画像データ１８を最大限利用する場合に補正可能な光学歪みの歪み補正値を計算することができる。

図１１（ｄ）における曲線２７は、ラインメモリ１０で記憶可能な部分画像データ１８を最大限利用する場合に補正可能な光学歪みの歪み補正値をもとに歪曲補正部１１が補正した結果を示す。また、図１１（ｄ）における線分２７’は、本来の歪み補正値をもとに補正した場合の補正結果を示す。図１１（ｄ）に示すごとく、本来であれば補正によって直線状となるべき画像が、不十分な補正のため曲線のままとなる。しかしながら、図１１（ｃ）に示すような補正不可能な領域は存在せず、かつ図１１（ｂ）と比較すると光学歪みが補正された画像を得ることができる。

なお、式（２）から明らかなように、光学歪み補を補正するために歪曲補正部１１が参照する位置と画像の中心との距離Ｌ２は、歪曲度Ｄが小さくなるほど長くなり、その結果部分画像データ１８は小さくなる。そこで画像データ読み出し制御部２５は、歪み補正値取得部５から取得した歪曲度Ｄに、１未満の正の実数である歪み補正値の補正量Ｎ（０＜Ｎ＜１）を乗じることで、歪み補正値を調整する。

図１２は、実施の形態３に係る画像補正装置１０２の処理の流れを説明するフローチャートである。

撮像素子４は、被写体から放出され光学制御部２によってズーム値の制御を受けた光学系１で集光された光信号を電気信号に変換する（Ｓ０）。画像前処理部６は、撮像素子４が変換した電気信号をＲＧＢ信号に変換する（Ｓ２）。画像データ制御部８内の画像データ書き込み制御部２４は、画像前処理部６より取得したＲＧＢ信号を順次ラインメモリ１０に送信し記録する（Ｓ４）。歪み補正値取得部５は、歪み補正値記憶部３に記憶したズーム値についての複数のサンプル値を参照して、光学制御部２における撮像時のズーム値と同値または最も近いサンプル値、及びこのサンプル値に対応する歪み補正値を抽出するとともに、撮像時のズーム値とサンプル値の差に応じた補間計算によって、実際の歪み補正値を算出する（Ｓ６）。

画像データ読み出し制御部２５は、歪み補正値取得部５から取得した歪み補正値の調整が必要か否かを判断し、調整が必要な場合（Ｓ３４のＹ）、歪み補正値をラインメモリ１０で記録可能な最大ライン数で補正できる値に調整する（Ｓ３６）。歪み補正値の調整が必要ない場合（Ｓ３４のＮ）、画像データ読み出し制御部２５は歪み補正値の調整をしない。以後の処理は、図７ＡにおけるステップＳ８以降の処理と同様である。

以上説明したように、実施の形態３に係る画像補正装置１０２によれば、ラインメモリ本数やキャッシュメモリレジスタ量を固定量としつつ、光学歪みの補正機能を実現することができる。

（実施の形態４）
実施の形態４の概要を述べる。実施の形態４に係る画像補正装置１０３は、レンズを通して撮像された画像データの光学歪みを補正するために使用する作業領域と、光学歪みが補正された画像データに追加の画像処理を実行するために使用する作業領域とが共通であり、光学歪みの補正処理と追加の画像処理との優先度に応じて、光学歪みの補正処理が使用することのできる作業領域のデータ量を変更する。以下、実施の形態１に係る画像補正装置１００、実施の形態２に係る画像補正装置１０１、または実施の形態３に係る画像補正装置１０２と重複する説明は適宜省略または簡略化して記載する。

図１３は、実施の形態４に係る画像補正装置１０３の内部構造を模式的に示す図である。実施の形態４に係る画像補正装置１０３は、実施の形態１に係る画像補正装置１００と比較して、画像サイズ変更部２８、メモリ割り当て取得部３３、およびメモリ割り当て制御部３４をさらに含む。

画像サイズ変更部２８は、歪曲補正部１１が補正した画像データに対して拡縮処理を実行する。このため画像サイズ変更部２８は、補正画像データ書き込み制御部２９、補正画像データ読み込み制御部３０、拡縮用キャッシュメモリ３１、および拡縮部３２をさらに含む。

補正画像データ書き込み制御部２９は、歪曲補正部１１から取得した補正された画像データを、ラインメモリ１０において補正画像データ書き込み制御部２９用に割り当てられた領域に書き込む。補正画像データ読み込み制御部３０は、画像サイズ変更に必要な拡縮用の画像データを順次ラインメモリ１０から読み出し拡縮用キャッシュメモリ３１に保持する。拡縮部３２は、拡縮用キャッシュメモリ３１に読み出された補正用画像データを縮小または拡大する。これにより、画像サイズ変更部２８は、歪曲補正部１１が補正した画像データを１枚の画像データとしてサイズ変更することができる。

ここで画像補正部７と画像サイズ変更部２８とは、その作業領域としてラインメモリ１０を共有する。前述したように、大きな光学歪みを有する画像データほどその補正に必要なラインメモリ１０の垂直ライン数は大きくなる。一方で、画像のサイズ変更時における拡縮率が１から離れるほど、サイズ変更のために必要なラインメモリ１０の垂直ライン数は大きくなる。例えば、画像を縮小して小さくしようとすればするほど、その処理に要するラインメモリ１０の垂直ライン数が大きくなる。したがって、補正可能な光学歪みの度合いと画像データのサイズ変更の度合いとはトレードオフの関係となる。

そこでメモリ割り当て制御部３４は、歪曲補正部１１が行う光学歪みの補正処理と画像サイズ変更部２８が行う拡縮処理との優先度に応じて、歪曲補正部１１が利用可能なラインメモリ１０における部分画像データの垂直ライン数の最大値を変更する。具体的には、メモリ割り当て制御部３４は、ラインメモリ１０に記録可能な垂直ライン数のうち、画像データ制御部８が使用できるライン数と補正用画像データ書き込み制御部２９が使用できるライン数とを振り分ける。歪曲補正部１１が利用可能なラインメモリ１０における部分画像データの垂直ライン数の最大値は、光学歪みの補正処理の優先度として、メモリ割り当て取得部３３がユーザから取得する。

図１４Ａは、実施の形態４に係る画像補正装置１０３の処理の流れを説明するフローチャートの前半部である。

撮像素子４は、被写体から被写体から放出され光学制御部２によってズーム値の制御を受けた光学系１で集光された光信号を電気信号に変換する（Ｓ０）。画像前処理部６は、撮像素子４が変換した電気信号をＲＧＢ信号に変換する（Ｓ２）。メモリ割り当て制御部３４は、メモリ割り当て取得部３３から取得した歪曲補正部１１が利用可能なラインメモリ１０における部分画像データの垂直ライン数の最大値をもとに、ラインメモリ１０の使用領域を割り当てる（Ｓ３）。

画像補正部７の画像データ制御部８は、画像前処理部６より取得したＲＧＢ信号を順次ラインメモリ１０に送信し記録する（Ｓ４）。ラインメモリ本数の節約のため、画像データ制御部８は、ラインメモリ１０が一杯である場合、上位のライン、すなわち信号を記録されたタイミングが最も過去のラインから順に消去して新しいラインを記録する。

歪み補正値取得部５は、歪み補正値記憶部３に記憶したズーム値についての複数のサンプル値、及びこのサンプル値に対応する歪み補正値を抽出するとともに、撮像時のズーム値とサンプル値との差に応じた補間計算によって、実際の歪み補正値を算出する（Ｓ６）。以下、図７ＡにおけるステップＳ８からステップＳ１６までの処理を、図７Ａに示す実施の形態１に係る画像補正装置１００の処理と同様に実行する。

図１４Ｂは、実施の形態４に係る画像補正装置１０３の処理の流れを説明するフローチャートの後半部である。

補正画像データ書き込み制御部２９は、歪曲補正部１１から取得した光学歪みの補正された画像データを、ラインメモリ１０において補正画像データ書き込み制御部２９用に割り当てられた領域に書き込む（Ｓ３８）。補正画像データ読み込み制御部３０は、画像サイズ変更に必要な拡縮用の画像データを順次ラインメモリ１０から読み出し拡縮用キャッシュメモリ３１に読み込む（Ｓ４０）。拡縮部３２は、拡縮用キャッシュメモリ３１に読み出された補正用画像データを縮小または拡大する（Ｓ４２）。全ラインの拡縮処理が終了していない場合（Ｓ４４のＮ）、ステップＳ３８に戻って上述の処理を繰り返す。全ラインの拡縮処理が終了すると（Ｓ４４のＹ）、画像後処理部１２は、拡縮補正されたＲＧＢ信号を記録媒体１４に記録する際の信号仕様の変換や圧縮処理等の信号変換を行う（Ｓ４６）。記録部１３は、画像後処理部１２より取得した画像信号を記録媒体１４に記録する（Ｓ４８）。出力部１５は、記録媒体１４に記録した画像信号を表示部で表示するための仕様にあわせて表示する（Ｓ５０）。

以上説明したように、実施の形態４に係る画像補正装置１０３によれば、ラインメモリ本数やキャッシュメモリレジスタ量を固定量としつつ、光学歪みの補正機能を実現することができる。加えて、ラインメモリを複数の機能で共有化しそのメモリ量をそれぞれの機能に割り当てることにより、複数機能回路の同時実装を低コストで実現できる。

以上、いくつかの実施の形態を説明した。これらの実施の形態の任意の組み合わせもまた本発明の実施の形態として有用である。例えば実施の形態２と４とを組み合わせ、ラインメモリ最大使用量取得部２２とメモリ割り当て制御部３４とを併設した場合、それらの形態の効果の和に加え、さらにラインメモリ１０のデータ容量の限度において光学歪みを補正するために必要なラインメモリ使用量を動的に割り当てることができる。

そのほか、実施の形態３と４とを組み合わせたり、実施の形態２と３と４とを組み合わせたりすることができる。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態それぞれの効果を合わせ持つ。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 光学系、 ２ 光学制御部、 ３ 補正値記憶部、 ４ 撮像素子、 ５ 歪み補正値取得部、 ６ 画像前処理部、 ７ 画像補正部、 ８ 画像データ制御部、 ９ キャッシュメモリ、 １０ ラインメモリ、 １１ 歪曲補正部、 １２ 画像後処理部、 １３ 記録部、 １４ 記録媒体、 １５ 出力部、 ２２ ラインメモリ最大使用量取得部、 ２３ ラインメモリ使用量表示部、 ２４ 画像データ書き込み制御部、 ２５ 画像データ読み込み制御部、 ２８ 画像サイズ変更部、 ２９ 補正用画像データ書き込み制御部、 ３０ 補正用画像データ読み込み制御部、 ３１ 拡縮用キャッシュメモリ、 ３２ 拡縮部、 ３３ メモリ割り当て取得部、 ３４ メモリ割り当て制御部、 １００、１０１、１０２、１０３ 画像補正装置。

Claims (7)

1. 光学レンズを介して撮像して得た画像データを順次記憶する所定ライン数のラインメモリと、
   予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部と、
   前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出す画像データ制御部と、
   前記画像データ制御部が読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定する歪曲補正部とを含み、
   前記画像データ制御部は、
   前記画像データに生じる光学歪みの大きさが、前記所定ライン数のラインメモリから得られる画像データを用いて補正できる最大値を超える場合、前記歪曲補正部が補正する光学歪みの補正量を、前記ラインメモリから得られる画像データを用いて補正できる範囲内に抑えるように、前記歪み補正値記憶部から取得した歪み補正値を調整することを特徴とすることを特徴とする画像補正装置。
2. 前記光学レンズはズーム機能を有し、
   前記歪み補正値記憶部は、前記光学レンズの各ズーム値と、これら各ズーム値に対応してそれぞれ決定される歪み補正値とを記憶し、
   前記画像データ制御部は、前記光学レンズのズーム値を取得し、取得したズーム値と等しい値、または、前記取得したズーム値に最も近い値の前記歪み補正記憶部に記憶されたズーム値を選択し、この選択したズーム値に対応する歪み補正値と前記補正対象画素の位置とに基づいて前記補正用領域を決定し、
   前記歪曲補正部は、前記補正用画素と、前記選択したズーム値に対応する歪み補正値とに基づいて、前記補正対象画素の画素値を決定することを特徴とする請求項１に記載の画像補正装置。
3. 前記ラインメモリの所定ライン数は、前記画像データに生じる光学歪みのうち最大の光学歪みを補正するために必要な画像データが得られるライン数以上とすることを特徴とする請求項１または２に記載の画像補正装置。
4. 光学レンズを介して撮像して得た画像データを順次記憶する所定ライン数のラインメモリと、
   予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部と、
   前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出す画像データ制御部と、
   前記画像データ制御部が読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定する歪曲補正部と、
   前記歪曲補正部が補正した画像データに対して、前記ラインメモリの一部を使用して光学歪みの補正処理とは異なる画像処理を実行する処理部と、
   前記歪曲補正部が実行する光学歪みの補正処理と前記処理部が実行する追加の画像処理との優先度に応じて、前記歪曲補正部が利用可能な前記ラインメモリにおけるライン数の最大値を変更するメモリ割り当て制御部を含むことを特徴とする画像補正装置。
5. 前記歪曲補正部が利用可能な前記ラインメモリにおけるライン数の最大値の入力を受け付けるメモリ割り当て取得部をさらに含むことを特徴とする請求項４に記載の画像補正装置。
6. 光学レンズを介して撮像して得た画像データを、所定ライン数のラインメモリに順次記憶するステップと、
   予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部から歪み補正値を取得するステップと、
   前記画像データに生じる光学歪みの大きさが、前記所定ライン数のラインメモリから得られる画像データを用いて補正できる最大値を超える場合、補正する光学歪みの補正量を、前記ラインメモリから得られる画像データを用いて補正できる範囲内に抑えるように、前記歪み補正値記憶部から取得した歪み補正値を調整するステップと、
   前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値または調整した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出すステップと、
   読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定するステップとをプロセッサに実行させることを特徴とする画像補正方法。
7. 光学レンズを介して撮像して得た画像データを、所定ライン数のラインメモリに順次記憶するステップと、
   予め決定された値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部から歪み補正値を取得するステップと、
   前記ラインメモリに記憶された画像データの各画素を、それぞれ前記光学歪みを補正するための補正対象画素とするとともに、この補正対象画素の位置と、前記歪み補正値記憶部から取得した歪み補正値とに基づいて、前記補正対象画素を補正するための複数の補正用画素を含む領域であり、かつ、水平画素数、垂直ライン数が固定された補正用領域を決定するとともに、前記ラインメモリから、前記補正用領域内の画像データを読み出すステップと、
   読み出した前記補正用領域内の画像データに含まれる前記補正用画素と前記歪み補正値とに基づいて、前記補正対象画素の画素値を決定するステップと、
   補正した画像データに対して、前記ラインメモリの一部を使用して光学歪みの補正処理とは異なる追加の画像処理を実行するステップと、
   前記光学歪みの補正処理と前記追加の画像処理との優先度に応じて、前記光学歪みの補正処理に利用可能な前記ラインメモリにおけるライン数の最大値を変更するステップとをプロセッサに実行させることを特徴とする画像補正方法。