JP6563358B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

カメラのレンズは歪特性を有するため、生成された画像は歪を含む。更に撮影機器の設置状況によっては拡大、縮小、回転、及び剪断などの効果が生じ、生成された画像データは更に実像との差異を含む。また記録された画像を再生する際にも、再生機器の設置状況次第で、再生画像は拡大、縮小、回転、及び剪断などの効果を含む可能性がある。こうした実像と画像との差異を補正する画像処理装置は、補正後画像の画素それぞれの生成に必要な補正前画像の画素を決定し、決定した画素を読み込み、画像処理を実施する。

画像データを格納する記憶装置は一般に高速なものほど高コストな傾向がある。従って１フレーム分の大きな画像データを低コストに格納するためには低速な記憶装置が利用され、この場合、同一の画像データを繰り返し読み出す上述のような画像補正処理において処理速度が低下してしまう。

本技術分野の背景技術として、特開２０１１−２１１２７４号公報（特許文献１）がある。この公報には「画像表示装置は、フレーム映像記憶部と、ブロック領域を複数備え、ブロック映像データを格納するブロック映像記憶部と、ブロック映像データを用いて補正後画素データを生成する補正処理部と、補正後フレーム映像を表示する表示部と、第１の補正後画素データの生成に用いるブロック映像データを取得させるための取得要求を発行する判定部と、第１の補正後画素データより後に生成される第２の補正後画素データの生成に用いるブロック映像データを取得させるための取得要求を発行するブロック映像予測部と、判定部により取得要求が発行されると、ブロック映像予測部により発行された取得要求に優先して指定されたブロック映像データを取得するブロック映像取得部と、を備える。」という記載がある（要約参照）。

特開２０１１−２１１２７４号公報

特許文献１に記載の技術は、画像処理に先んじて、複数の画素処理単位からなる補正後画素を生成するために必要な補正前画素を予測し、予測した補正前画素を低速な記憶装置から読み込み、高速な記憶装置に予め格納する。

しかし、特許文献１に記載の技術は、画像処理単位それぞれに対して必要な補正前画素を決定する処理を実行し、決定した補正前画素を読み込む。従って、特許文献１に記載の技術は、画像処理単位数分の読み込み画素決定処理が必要となり、読み込み画素の決定に多大な時間を要してしまう。そこで、本発明の一態様は、読み込み画素を高速に決定することを目的とする。

上記課題を解決するために、本発明の一態様は以下の構成を採用する。補正後画像の予め定められた範囲の画素からなる第１画素範囲を生成するために必要な、補正前画像の第２画素範囲、を決定する、画像処理装置であって、前記補正前画像を保持するメモリと、前記第２画素範囲を決定し、前記メモリから前記第２画素範囲を読み出し、前記読み出した第２画素範囲を保持する、キャッシュ部と、前記第２画素範囲を前記キャッシュ部から取得し、前記取得した第２画素範囲に対して補正を実行することにより、前記第１画素範囲を生成する、補正処理部と、を含み、前記補正後画像の画素の位置それぞれに相当する前記補正前画像の位置を示す対応が予め定められ、前記キャッシュ部は、前記対応に基づいて、前記第１画素範囲を含む矩形の第３画素範囲の四隅の１つの画素に対応する前記補正前画像の位置を特定し、前記特定した位置に基づいて、前記第３画素範囲の四隅の画素それぞれの画素値の生成に必要な補正前画像の画素範囲を特定し、前記特定した画素範囲全てを含む凸集合を含む画素範囲を、前記第２画素範囲に決定し、前記補正処理部による前記補正の実行前に、前記メモリから前記第２画素範囲を読み出す、画像処理装置。

本発明の一態様は、補正後画素群の生成に必要な補正前画素を高速に決定することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における画像処理装置の一例を示すブロック図である。 実施例１における画素データの転送処理の一例を示すシーケンス図である。 実施例１における、補正後画素の生成に必要な補正前画素の一例である。 実施例１における補正後画像の画素群の一例である。 実施例１における補正後画素群の生成に必要な補正前画像の画素範囲の一例である。 実施例１におけるレンズの歪特性の一例を示す説明図である。 従来のキャッシュ方式による、補正前画素の読み出しの比較例を示す説明図である。 実施例１におけるキャッシュ方式による、補正前画像の読み出しの例を示す説明図である。 実施例２における補正後画像の画素群の一例である。 実施例２における補正後画素群の生成に必要な補正前画像の画素範囲の一例である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。

図１は、本実施例の画像処理装置の構成例を示すブロック図である。画像処理装置１００は、カメラが撮影した画像の歪補正処理を含む画像処理を実施する。画像処理装置１００は、例えば、前処理部１０１、メモリ１０２、及び後処理部１０３を含む。後処理部１０３は、例えば、キャッシュ部１０４、歪補正・カラー復元部１０６、及び他処理部１０８を含む。

画像処理装置１００に含まれる各部は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路によって実現される。

なお、画像処理装置１００に含まれる各部は、プロセッサ（不図示）がメモリ１０２に格納されたプログラムに従って動作することによって実現されてもよい。例えば、プロセッサは、前処理プログラムに従って動作することで前処理部１０１として機能する。他の部についても同様である。さらに、プロセッサは、各プログラムが実行する複数の処理のそれぞれを実現する機能部としても動作してもよい。

前処理部１０１は、画像データの入力を受け付け、入力された画像データに対し、前処理を施し、前処理を施した画像データをメモリ１０２に格納する。前処理は、画像データの各画素に対する演算処理であり、例えば、画素ごとの輝度調整を含む。以下、前処理が施され、かつ歪補正・カラー復元部１０６による処理が施されていない画像を補正前画像と呼ぶ。

メモリ１０２は、補正前画像を格納する。メモリ１０２は、画像処理装置１００がプロセッサを含む場合、画像処理装置１００に含まれる各部としてプロセッサが動作するためのプログラムを格納してもよい。メモリ１０２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子である。

後処理部１０３は、メモリ１０２に格納された補正前画像データを読み出し、画素間の演算を含む処理を施して、外部装置等に出力する。後処理部１０３は、例えば、キャッシュ部１０４、歪補正・カラー復元部１０６、及び他処理部１０８を含む。後処理部１０３による処理は複数の画素間の演算を含むため、後処理部１０３は、複数の画素間の演算において、入力画像全体を処理する間にメモリ１０２から同一画素を複数回読み込む。そのためメモリ１０２から後処理部１０３へ転送するデータ量は大きくなることがある。そこで後処理部１０３は、データ転送量増大の緩和のためにキャッシュ部１０４を含む。

キャッシュ部１０４は、例えば、簡易アドレス生成部１０５、キャッシュメモリ１０９と、を含む。キャッシュ部１０４は、歪補正・カラー復元部１０６で必要となる画像データを予測してメモリ１０２から読み込み、キャッシュメモリ１０９に記憶する。簡易アドレス生成部１０５は、歪補正・カラー復元部１０６が必要とする画素を予測して、キャッシュ部１０４がメモリ１０２から読み込む画素を決定する。具体的な予測方法については後述する。キャッシュメモリ１０９は、例えば、メモリ１０２より小容量かつ高速なＳＲＡＭ等の記憶装置であり、データを一時的に格納する。

歪補正・カラー復元部１０６は、例えば、アドレス生成部１０７を含む。歪補正・カラー復元部１０６は、補正前画像の画素それぞれに対して、歪補正処理及びカラー復元処理を実施する。歪補正・カラー復元部１０６は、当該処理に必要な画素をキャッシュ部１０４に対して要求する。アドレス生成部１０７は、歪補正・カラー復元部１０６がキャッシュ部１０４に要求する画素のアドレスを生成する。アドレス生成部１０７によるアドレス生成処理の具体例については後述する。キャッシュ部１０４は、キャッシュメモリ１０９に記憶した画像データから、歪補正・カラー復元部１０６から要求された画素を歪補正・カラー復元部１０６に転送する。

歪補正・カラー復元部１０６は、転送された画素を用いて歪補正処理及びカラー復元処理を実行し、歪補正処理及びカラー復元処理が完了した画像である補正後画像のデータを他処理部１０８へと転送する。他処理部１０８は、補正後画像に対して、フィルタ処理等の一般的な画像処理を施す。他処理部１０８は、他処理部１０８による処理が施された画像データを、画像処理装置１００の出力として、外部装置等に出力する。

図２は、メモリ１０２からキャッシュ部１０４への、及びキャッシュ部１０４から歪補正・カラー復元部１０６への、画素データの転送処理の一例を示すシーケンス図である。以下、補正前画像の画素を補正前画素、補正後画像の画素を補正後画素と呼ぶ。また、歪補正・カラー復元部１０６による一度の歪補正・カラー復元処理によって生成される補正後画像の画素数を、処理単位と呼ぶ。図２の例では、処理単位は１画素である。

生成される補正後画像の各画素は、予め定められた複数の画素群のいずれかに属する。なお、各画素群は、複数の処理単位の画素からなる。例えば、各画素群に含まれる各画素は、当該画素群に含まれる他の１以上の画素と隣接している、即ち各画素群は複数の画素が連結された一続きの領域である。図２の例では、各画素群は、４×４×１２＝１９２処理単位（＝１９２画素）からなる。

簡易アドレス生成部１０５は、歪補正・カラー復元部１０６からの画素要求の受信に先んじて、当該複数の画素群のうちの１つの画素群の生成に必要な補正前画像の画素を予測し、当該画素の転送をメモリ１０２に対して要求する（Ｓ１０１）。簡易アドレス生成部１０５は、従来例のように当該画素群の１処理単位の画素ごとに当該画素の生成に必要な補正前画素を順次予測するのではなく、簡易な演算によって当該画素群の全ての画素の生成に必要な補正前画素を予測する。予測処理の詳細については後述する。

メモリ１０２は、キャッシュ部１０４からの画素要求に対応する補正前画素をキャッシュ部１０４に転送し、キャッシュ部１０４は転送された補正前画素をキャッシュメモリ１０９に格納する（Ｓ１０２）。

その後、歪補正・カラー復元部１０６は１処理単位の補正後画像の画素の生成に必要な補正前画素の転送をキャッシュ部１０４に対して要求する（Ｓ１０３）。図２の例においては、１処理単位は１画素であり、当該画素の生成に必要な補正前画像の画素は１６画素である。１処理単位の補正後画素の生成に必要な補正前画像の画素の決定方法の例については後述する。なお、当該決定方法は、例えば、予め定められている。

キャッシュ部１０４は、歪補正・カラー復元部１０６からの画素要求を受けて、要求された画素を提供する（Ｓ１０４）。ステップＳ１０１における画素群に含まれる全ての画素について、ステップＳ１０３とステップＳ１０４の処理が順次実行される。また、補正後画像の全ての画素群について、ステップＳ１０１〜ステップＳ１０４における処理が順次実行されることにより、補正後画像が生成される。

なお、キャッシュ部１０４は、ある画素群についてのステップＳ１０３及びステップＳ１０４の処理の繰り返しが終了する前に、次の画素群についてのステップＳ１０１における処理を実施してもよい。

図３は、補正後画素の生成に必要な補正前画素の一例を示す説明図である。図３の例は、歪補正・カラー復元部１０６が補正後の１画素である補正後画素３０１を生成するために、１６画素の補正前画素からなる補正前画素群３０６が必要であることを示す。

点３０２は、補正後画素３０１が、レンズ歪やカメラの傾きなど撮影時の条件によって歪、拡大、縮小、回転、剪断、平行移動した位置である。レンズ歪やカメラの傾きなどによる座標変換特性は予め定められている。即ち、生成される補正後画素の位置と補正前画像上の位置との対応が予め定められている。つまり、簡易アドレス生成部１０５は、予め座標変換特性と、補正後画素３０１の座標と、を用いて、点３０２の座標を算出できる。

画像上の画素の配置は離散的であるため、点３０２の位置には補正前画素は存在しない可能性が非常に高い、即ち点３０２に完全一致する補正前画素が存在しない可能性が非常に高い。そこで、簡易アドレス生成部１０５は、例えば、４画素の補正前画素からなる補正前画素群３０３を特定する。歪補正・カラー復元部１０６は、例えば、補正前画素群３０３の各画素を用いた線形補間により、補正後画素３０１の色を決定する。

補正前画素群３０３は、点３０２のｘ座標及びｙ座標それぞれの整数部分からなる座標を持つ画素３０４、画素３０４の座標をｘ軸方向に＋１した位置に存在する画素、画素３０４の座標をｙ軸方向に＋１した位置に存在する画素、並びにｘ軸方向及びｙ軸方向に＋１した位置に存在する画素からなる。なお、補正前画像の各画素が、右方向をｘ座標の正の向き、下方向をｙ座標の正の向きである直交座標系の整数座標に位置するものとする。

補正前画像がベイヤ画像である場合、歪補正・カラー復元部１０６が例えば画素３０４の色（画素値）を決定するために、例えば、画素３０４と画素３０４の周辺の８画素とを含む９画素からなる補正前画素群３０５が必要である。従って、簡易アドレス生成部１０５は、補正前画素群３０５のアドレスを特定する。なお、補正前画素群３０５は、例えば、画素３０４と画素３０４の上下左右の４画素とからなる十字型の補正前画素群であってもよい。画素３０４から、補正後画素３０１を生成するために必要な補正前画素群を特定する方法は、例えば、予め定められている。

ベイヤ画像は、一般に各画素が赤、緑、又は青のうち１色のみの強度を表す形式である。従って、ベイヤ画像の画素それぞれを赤、緑、及び青それぞれの成分の強度を持つ色で表すＲＧＢ形式に変換するために、当該画素だけでなく当該画素の周辺の８画素が必要である。

同様に補正前画素群３０３に含まれる他の３画素それぞれの色の決定にも、当該画素の周囲を含めた９画素が必要である。従って、歪補正・カラー復元部１０６が、点３０２の色を補間により決定するためには１６画素からなる補正前画素群３０６が必要である。従って、簡易アドレス生成部１０５は、補正後画素３０１の生成に必要な補正前画素を補正前画素群３０６に決定し、補正前画素群３０６の各画素のアドレスを特定する。

なお、補正前画像の各画素が、予めＲＧＢ形式で表されている場合、歪補正・カラー復元部１０６は補正前画素群３０３から補正後画素３０１を生成できるため、アドレス生成部１０７は、補正前画素群３０３のみを特定すればよい。なお、アドレス生成部１０７も、上述の方法と同様の方法によって、ステップＳ１０３において要求する補正前画素のアドレスを特定する。

以下、図４Ａ及び図４Ｂを用いて、補正後画像の画素群の生成に必要な補正前画像の画素範囲の算出の一例を示す。図４Ａ及び図４Ｂの例では、図３の例のように画像データがベイヤ画像である例を示す。つまり、１つの補正後画素を生成するために、１６個の補正前画素が必要である。

図４Ａは、補正後画像の画素群の一例である。補正後画素群４０１は、補正後画像の４８×４画素からなる矩形の画素群であり、図２の例における予め定められた複数の画素群のうちの１つの画素群である。補正後画素４０２、補正後画素４０３、補正後画素４０４、補正後画素４０５は、それぞれ補正後画素群４０１の左上隅、右上隅、左下隅、右下隅の画素である。

図４Ｂは、補正後画素群４０１の生成に必要な補正前画像の画素範囲の一例である。補正後画素群４０１は、レンズ歪やカメラの傾き等による変換特性によりメモリ１０２上の補正前画像の領域４１０に対応する。補正前画素４１１は、補正後画素４０２に対応する補正前画像の位置、のｘ座標及びｙ座標それぞれの整数部分からなる座標、を有する補正前画素である。

図３の例で示したように、補正後画素４０２の生成には、補正前画像の１６画素が必要である。補正前画素群４１２は、補正後画素４０２の生成に必要な１６個の補正前画素である。同様に、補正前画素群４１３、補正前画素群４１４、補正前画素群４１５は、それぞれ補正後画素４０３、補正後画素４０４、補正後画素４０５の生成に必要な１６個の補正前画素である。

例えば、レンズの歪特性が四辺形から四辺形への写像である場合、キャッシュ部１０４は、補正前画素群４１２〜４１５を包含する矩形の補正前画素範囲４１６内の画素をキャッシュメモリ１０９に読み込む。なお、例えば、当該矩形の直行する２辺は補正前画像の座標軸に平行である。また、本実施形態において矩形とは、正方形を含む概念である。歪補正・カラー復元部１０６は、補正前画素範囲４１６内の画素から補正後画素群４０１に含まれる全ての画素を生成することが可能である。

簡易アドレス生成部１０５は、例えば、補正前画素群４１２〜４１５に含まれる画素ののｘ座標及びｙ座標から、最大のｘ座標ｘ_ｍａｘ、最小のｘ座標ｘ_ｍｉｎ、最大のｙ座標ｙ_ｍａｘ、及び最小のｙ座標ｙ_ｍｉｎを特定し、（ｘ_ｍａｘ，ｙ_ｍａｘ）、（ｘ_ｍａｘ，ｙ_ｍｉｎ）、（ｘ_ｍｉｎ，ｙ_ｍａｘ）、及び（ｘ_ｍｉｎ，ｙ_ｍｉｎ）を頂点とする矩形を補正前画素範囲４１６に決定する。

また、歪特性が単なる四辺形から四辺形への写像でなく、樽型の歪を含む場合、キャッシュ部１０４は、補正前画素範囲４１６の外側に所定のマージンを加えた補正前画素範囲４１７を読み込む。歪特性が樽型の歪を含む場合であっても、歪補正・カラー復元部１０６は、補正前画素範囲４１７内の画素から補正後画素群４０１に含まれる全ての画素を生成することが可能である。なお、マージンの大きさは、例えば歪特性のうち最も樽型歪が大きい部分の大きさを下回らないように定められていることが望ましい。

補正後画素群４０１が矩形でない場合、簡易アドレス生成部１０５は、例えば、補正後画素群４０１を含む最小の矩形である補正後画素群について、補正前画素範囲４１６又は補正前画素範囲４１７を決定すればよい。

また、補正前画素範囲４１６及び補正前画素範囲４１７は、必ずしも矩形でなくてもよい。例えば、補正前画素範囲４１６は、補正前画素群４１２〜４１５を包含する凸集合（例えば凸包）を含む所定形状の補正前画素範囲であってもよく、補正前画素範囲４１７は、補正前画素範囲４１６の外側に所定のマージンを加えた凸集合内の画素からなってもよい。なお、補正前画素群４１２〜４１５を包含する凸集合を含む所定形状の補正前画素範囲は、当該凸集合そのものであってもよい。

上述した処理により、キャッシュ部１０４は、歪補正・カラー復元部１０６が補正後画素群４０１に含まれる全ての画素を生成するために必要な補正前画素、を先読みできる。また、簡易アドレス生成部１０５は、少ない計算量で、先読みする補正前画素群を決定することができる。ひいては、例えば、画像処理装置１００の演算回路規模を縮小することができる。

なお、補正後画素群４０１が矩形でない場合、簡易アドレス生成部１０５は、補正後画素群４０１を含む矩形（例えば、最小の矩形）に対して、補正前画素範囲４１６又は補正前画素範囲４１７を決定する。

なお、補正後画素群４０１を構成する処理単位数が大きくなると、１枚の補正後画像に対する簡易アドレス生成部１０５による計算量が小さくなるが、キャッシュに読み込む画素範囲、即ちキャッシュに記憶するデータ量が大きくなる。つまり、補正後画素群４０１を構成する処理単位数を介して、計算量とキャッシュに記憶するデータ量とはトレードオフの関係にある。また、補正後画素群４０１を構成する処理単位数が大きくなると、キャッシュに読み込む画素のうち実際に歪補正・カラー復元処理に使われない画素の割合が大きくなり、１枚の補正後画像を得るためにメモリからキャッシュに読み込む転送データ量が大きくなる。つまり、補正後画素群４０１を構成する処理単位数を介して、計算量と総転送データ量もまたトレードオフの関係にある。従って、補正後画素群４０１を構成する処理単位数をユーザが自由に設定できることが好ましい。

なお、例えば、補正前画素群４１２〜４１５が決定された後、補正後画素群４０１と同一の形状及び大きさを有し、補正後画素群４０１に隣接する第１補正後画素群、の決定において、簡易アドレス生成部１０５は、補正前画素群４１２〜４１５から選択した補正前画素群を用いて、第１補正後画素群の生成に必要な補正前画素範囲を決定してもよい。

具体的には、例えば、第１補正後画素群が補正後画素群４０１の右側に隣接している場合、簡易アドレス生成部１０５は、第１補正後画素群の右上隅の画素を生成するために必要な１６画素の補正前画素群と、第１補正後画素群の右下隅の画素を生成するために必要な１６画素の補正前画素群とを、前述した方法により特定する。簡易アドレス生成部１０５は、特定した２つの補正前画素群と、補正前画素群４１３と、補正前画素群４１５とを含む矩形を、第１補正後画素群の生成に必要な補正前画素範囲に決定する。なお、当該矩形は、特定した２つの補正前画素群と、補正前画素群４１３と、補正前画素群４１５とを含む最小の矩形の外側に所定のマージンを設けた矩形であることが望ましい。

図５は、レンズの歪特性の例である。画像５００は、メモリ１０２上に格納された、縦横等間隔の格子の補正前画像である。図５は、簡単のために拡大、縮小、回転、剪断による変換が省略された例である。

補正前画素範囲５０１は、前述の方法で決定される、格子内の四角形５０２に相当する補正後画素を生成するために必要な補正前画素の範囲である。なお、補正前画素範囲５０１の形状は歪特性に応じて変化する。レンズ特性は画像上の位置によっても異なることがあり、この場合、補正前画素範囲５０１の形状及び大きさは画像上の位置によっても変化する。

図６Ａは、従来のキャッシュ方式による、メモリ１０２からの補正前画素の読み出しの比較例を示す説明図である。従来のキャッシュ方式は、補正後画素群の補正後画素それぞれに対して、当該補正後画素の生成に必要なメモリ１０２上の補正前画素を予測して不足分をキャッシュに読み出す。

補正前画素範囲６０１〜６０３それぞれは、従来のキャッシュ方式における、メモリ１０２からの一度の読出しに対応する補正前画素の範囲である。つまり、補正前画素範囲６０１〜６０３それぞれは、当該補正前画素範囲に対応する１つの補正後画素生成のために、キャッシュに順次読み出される。補正前画素範囲６０４は、従来のキャッシュ方式において、予測された補正後画素群の生成に必要な補正前画素の画素範囲である。

図６Ｂは、本実施例のキャッシュ方式による、メモリ１０２からの補正前画像の読み出しの例を示す説明図である。補正前画素範囲６０５〜６０８それぞれは、矩形の補正後画素群の四隅の画素それぞれの生成のために必要な補正前画素群である。補正前画素範囲６０９は、補正前画素範囲６０５〜６０８を含む矩形の補正前画素範囲である。本実施例のキャッシュ方式は、前述したように、補正前画素範囲６０９は、補正後画素群の四隅の画素の生成に必要な画素のみから決定する点において従来のキャッシュ方式と異なる。従って補正前画素範囲６０４及び補正前画素範囲６０９の形状及び大きさは異なる。

本実施例は、歪補正・カラー復元部１０６による処理単位が、４画素×４画素の１６画素である例を説明する。実施例１からの変更点のみを説明する。以下、実施例２における補正後の画素群の生成に必要なメモリ上の補正前画素範囲の算出法の例を説明する。

図７Ａは、補正後画像の画素群の一例である。補正後画素群７０１は、補正後画素群７０１は補正後画像の４８×４画素からなる矩形の画素群である。補正後画素群７０２は、補正後画素群７０１の左端に位置する、１処理単位（４×４画素）の画素群である。補正後画素群７０３は、補正後画素群７０１の右端に位置する、１処理単位の画素群である。

図７Ｂは、補正後画素群７０１の生成に必要な補正前画像の画素範囲の一例である。補正後画素群７０１は、レンズ歪やカメラの傾き等による変換特性によりメモリ１０２上の補正前画像の領域７１１に対応する。同様に、補正後画素群７０２は補正前画像の領域７１２に対応し、補正後画素群７０３は補正前画像の領域７１３に対応する。補正前画素範囲７１４は、補正後画素群７０２の生成に必要な補正前画素の範囲である。補正前画素範囲７１５は、補正後画素群７０３の生成に必要な補正前画素の範囲である。

簡易アドレス生成部１０５は、例えば、以下のようにして、補正前画素範囲７１４を決定する。簡易アドレス生成部１０５は、補正後画素群７０２の補正後画素それぞれについて、当該補正後画素に対応する補正前画像の位置、のｘ座標及びｙ座標それぞれの整数部分からなる座標を有する補正前画素を特定する。なお、簡易アドレス生成部１０５は、補正後画素群７０２の四隅の補正前画素それぞれについて、当該補正後画素に対応する補正前画像の位置、のｘ座標及びｙ座標それぞれの整数部分からなる座標を有する補正前画素を特定してもよい。

簡易アドレス生成部１０５は、特定した補正前画素それぞれについて、図３で示した方法により周辺の１６画素からなる正方形を特定し、特定した全ての正方形を含む最小の矩形を、補正前画素範囲７１４に決定する。補正前画素範囲７１５の特定方法についても同様である。

例えば、レンズの歪特性が四辺形から四辺形への写像である場合、キャッシュ部１０４は、補正前画素範囲７１４〜７１５を包含する矩形の補正前画素範囲７１６内の画素を読み込む。簡易アドレス生成部１０５による、補正前画素範囲７１６のアドレスの算出方法は、実施例１における補正前画素範囲４１６のアドレスの決定方法と同様である。

また、歪特性が単なる四辺形から四辺形への写像でなく、樽型の歪を含む場合、キャッシュ部１０４は、補正前画素範囲７１６の外側に所定のマージンを加えた矩形の補正前画素範囲７１７を読み込む。

上述した処理により、キャッシュ部１０４は、歪補正・カラー復元部１０６が補正後画素群４０１に含まれる全ての画素を生成するために必要な補正前画素、処理単位の大きさに関わらず、先読みできる。また、簡易アドレス生成部１０５は、少量の計算により、先読みする補正前画素群を決定することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 画像処理装置、１０１ 前処理部、１０２ メモリ、１０３ 後処理部、１０４ キャッシュ部、１０５ 簡易アドレス生成部、１０６ 歪補正・カラー復元部

Claims (8)

1. 補正後画像の予め定められた範囲の画素からなる第１画素範囲を生成するために必要な、補正前画像の第２画素範囲、を決定する、画像処理装置であって、
   前記補正前画像を保持するメモリと、
   前記第２画素範囲を決定し、前記メモリから前記第２画素範囲を読み出し、前記読み出した第２画素範囲を保持する、キャッシュ部と、
   前記第２画素範囲を前記キャッシュ部から取得し、前記取得した第２画素範囲に対して補正を実行することにより、前記第１画素範囲を生成する、補正処理部と、を含み、
   前記補正後画像の画素の位置それぞれに相当する前記補正前画像の位置を示す対応が予め定められ、
   前記補正後画像を構成する処理単位数を変更可能とし、
   前記処理単位は、前記補正処理部が一度の補正処理によって生成する前記補正後画像の画素数であり、
   前記キャッシュ部は、
   前記対応に基づいて、前記第１画素範囲を含む矩形の第３画素範囲の四隅の１つの画素に対応する前記補正前画像の位置を特定し、
   前記特定した位置に基づいて、前記第３画素範囲の四隅の画素それぞれの画素値の生成に必要な補正前画像の画素範囲を特定し、
   前記特定した画素範囲全てを含む凸集合を含む画素範囲を、前記第２画素範囲に決定し、
   前記補正処理部による前記補正の実行前に、前記メモリから前記第２画素範囲を読み出し、
   前記第１画素範囲は矩形であり、
   前記第３画素範囲は、前記第１画素範囲であり、
   前記キャッシュ部は、
   前記補正後画像において前記第１画素範囲に隣接し、前記第１画素範囲と同一の長さの１つの辺を共有する矩形の第４画素範囲、を生成するために必要な、補正前画像の第５画素範囲を決定する決定処理を実行し、
   前記決定処理において、
   前記対応に基づいて、前記第４画素範囲の四隅の画素のうち、前記１つの辺上に位置しない画素である非隣接画素に対応する前記補正前画像の位置を特定し、
   当該特定したに基づいて、前記非隣接画素それぞれの画素値の生成に必要な補正前画像の画素範囲を特定し、
   当該特定した画素範囲と、前記第３画素範囲の四隅の画素のうち前記１つの辺の端点に位置する画素の画素範囲と、を含む凸集合を含む画素範囲を、前記第５画素範囲に決定し、
   前記補正処理部は、前記第５画素範囲を前記キャッシュ部から取得し、前記取得した第５画素範囲に対して補正を実行することにより、前記第４画素範囲を生成し、
   前記キャッシュ部は、前記補正処理部による当該補正の実行前に、前記メモリから前記第５画素範囲を読み出す、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記凸集合は、前記特定した画素範囲全てを含む最小の矩形であり、
   前記凸集合を含む画素範囲は、前記凸集合の外側に所定のマージンを設けた矩形である、画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記第１画素範囲は、複数の第６画素範囲が一次元方向に並べられた画素範囲であり、
   前記複数の第６画素範囲それぞれは、複数の画素からなる矩形の画素範囲であり、
   前記第１画素範囲内で隣接する第６画素範囲は、互いに辺を共有し、
   前記キャッシュ部は、
   前記特定した位置に基づいて、前記第１画素範囲において両端に位置する第６画素範囲それぞれの画素値の生成に必要な補正前画像の画素範囲を特定する、画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記対応は、前記補正前画像を撮影したカメラのレンズの歪特性及び前記カメラの設置状況の少なくとも一方を反映し、
   前記補正は、前記第２画素範囲の歪補正、拡大、縮小、回転、剪断、及び平行移動の少なくとも１つを含む、画像処理装置。
5. 画像処理装置が、補正後画像の予め定められた範囲の画素からなる第１画素範囲を生成するために必要な、補正前画像の第２画素範囲、を決定する、画像処理方法であって、
   前記画像処理装置は、
   前記補正前画像を保持するメモリと、
   前記第２画素範囲を決定し、前記メモリから前記第２画素範囲を読み出し、前記読み出した第２画素範囲を保持する、キャッシュ部と、
   前記第２画素範囲を前記キャッシュ部から取得し、前記取得した第２画素範囲に対して補正を実行することにより、前記第１画素範囲を生成する、補正処理部と、を含み、
   前記補正後画像の画素の位置それぞれに相当する前記補正前画像の位置を示す対応が予め定められ、
   前記補正後画像を構成する処理単位数を変更可能とし、
   前記処理単位は、前記補正処理部が一度の補正処理によって生成する前記補正後画像の画素数であり、
   前記画像処理方法は、前記キャッシュ部が、
   前記対応に基づいて、前記第１画素範囲を含む矩形の第３画素範囲の四隅の１つの画素に対応する前記補正前画像の位置を特定し、
   前記特定した位置に基づいて、前記第３画素範囲の四隅の画素それぞれの画素値の生成に必要な補正前画像の画素範囲を特定し、
   前記特定した画素範囲全てを含む凸集合を含む画素範囲を、前記第２画素範囲に決定し、
   前記補正処理部による前記補正の実行前に、前記メモリから前記第２画素範囲を読み出すことを含み、
   前記第１画素範囲は矩形であり、
   前記第３画素範囲は、前記第１画素範囲であり、
   前記方法は、前記キャッシュ部が、
   前記補正後画像において前記第１画素範囲に隣接し、前記第１画素範囲と同一の長さの１つの辺を共有する矩形の第４画素範囲、を生成するために必要な、補正前画像の第５画素範囲を決定する決定処理を実行し、
   前記決定処理において、
   前記対応に基づいて、前記第４画素範囲の四隅の画素のうち、前記１つの辺上に位置しない画素である非隣接画素に対応する前記補正前画像の位置を特定し、
   当該特定したに基づいて、前記非隣接画素それぞれの画素値の生成に必要な補正前画像の画素範囲を特定し、
   当該特定した画素範囲と、前記第３画素範囲の四隅の画素のうち前記１つの辺の端点に位置する画素の画素範囲と、を含む凸集合を含む画素範囲を、前記第５画素範囲に決定し、
   前記補正処理部が、前記第５画素範囲を前記キャッシュ部から取得し、前記取得した第５画素範囲に対して補正を実行することにより、前記第４画素範囲を生成し、
   前記キャッシュ部が、前記補正処理部による当該補正の実行前に、前記メモリから前記第５画素範囲を読み出す、画像処理方法。
6. 請求項５に記載の画像処理方法であって、
   前記凸集合は、前記特定した画素範囲全てを含む最小の矩形であり、
   前記凸集合を含む画素範囲は、前記凸集合の外側に所定のマージンを設けた矩形である、画像処理方法。
7. 請求項５に記載の画像処理方法であって、
   前記第１画素範囲は、複数の第６画素範囲が一次元方向に並べられた画素範囲であり、
   前記複数の第６画素範囲それぞれは、複数の画素からなる矩形の画素範囲であり、
   前記第１画素範囲内で隣接する第６画素範囲は、互いに辺を共有し、
   前記キャッシュ部は、
   前記特定した位置に基づいて、前記第１画素範囲において両端に位置する第６画素範囲それぞれの画素値の生成に必要な補正前画像の画素範囲を特定する、画像処理方法。
8. 請求項５に記載の画像処理方法であって、
   前記対応は、前記補正前画像を撮影したカメラのレンズの歪特性及び前記カメラの設置状況の少なくとも一方を反映し、
   前記補正は、前記第２画素範囲の歪補正、拡大、縮小、回転、剪断、及び平行移動の少なくとも１つを含む、画像処理方法。

Images