JP5437311B2

JP5437311B2 - 画像補正方法、画像補正システム、角度推定方法、および角度推定装置

Info

Publication number: JP5437311B2
Application number: JP2011105539A
Authority: JP
Inventors: 游▲啓▼昌; 林盟淳; 陳宏銘
Original assignee: 義晶科技股▲ふん▼有限公司
Priority date: 2010-11-09
Filing date: 2011-05-10
Publication date: 2014-03-12
Anticipated expiration: 2031-05-10
Also published as: JP2012105246A; US9153014B2; TWI423659B; TW201220828A; US20120114262A1

Description

本発明は、画像処理に関するものであり、特に、魚眼レンズまたは超広角レンズが原因となる幾何学的な歪みを補正する画像処理方法、および画像処理システムに関するものである。

魚眼レンズや超広角レンズは、監視カメラや一般的なデジタルカメラで広く使われている。この種類のカメラは非常に広い画角でシーンを撮影できるが、撮影された画像は深刻な幾何学的歪みを伴うことが多いため、撮影された画像に含まれる詳細をユーザは簡単かつ明確に認識できないことがある。最悪の場合には、この幾何学的歪みが原因で、ユーザは画像の詳細を認識し損なう。したがって、適切な画像処理技術により処理することで、魚眼レンズや超広角レンズによって生成された画像が元シーンに一致するように、画像を修復することが望ましい。

そこで、本発明は、撮影された画像の幾何学的歪みを軽減するために、魚眼レンズまたは超広角レンズを備えるカメラで撮影された画像を補正する目的で用いられる、画像補正方法および関連する補正システムを提供する。また、本発明に係る画像処理方法および関連する画像処理システムは、参照データの配列特性を参照することで、画像補正で用いられる補間計算の処理速度を向上させるためのメモリ割り当て技術を使う。さらに、幾何学的歪みを処理するには座標変換法が必要となるため、本発明はさらに座標変換法で使われるパラメータを推定するパラメータ推定法を提供する。パラメータを得るための複雑な処理は、本発明のパラメータ推定法によって単純化される。

本発明の第１の態様によれば、画像補正方法が提供される。当該画像補正方法は、補正される画像に基づいて補正画像を出力するために利用される。ここで、補正画像は複数の補正ピクセルブロックを含む。また、画像補正方法は複数のピクセル値計算を実行し、ある補正ピクセルブロックにおける各補正ピクセルのピクセル値を生成するために各ピクセル値計算を利用する。このピクセル値計算は、前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を確定するステップと、前記座標変換関係にしたがって、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含み、かつ処理されるピクセルの複数行を有した処理されるピクセルブロックを、前記補正される画像から選択するステップと、処理される各ピクセルのピクセル値を複数の記憶領域をもつ記憶装置へ一時的に記憶するステップであって、異なる行に配置された処理されるピクセルのピクセル値を、前記記憶装置の異なる記憶領域へそれぞれ一時的に記憶するステップと、前記補正ピクセルに対応する複数の特定の処理されるピクセルを決定するために、前記補正ピクセルに対応する前記第２の座標値を利用し、前記複数の特定の処理されるピクセルの複数のピクセル値を前記記憶装置から読み込み、前記複数の特定の処理されるピクセルの前記複数のピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成するステップとを含み、前記複数の特定の処理されるピクセルの前記複数のピクセル値は、異なる記憶領域へ一時的に記憶される。

本発明の第２の態様によれば、画像補正方法が提供される。当該画像補正方法は、補正される画像に基づいて補正画像を出力するために利用される。ここで、補正画像は複数の補正ピクセルブロックを含み、補正される画像は魚眼レンズのカメラで撮影されたものである。また、画像補正方法は複数のピクセル値計算を実行し、ある補正ピクセルブロックにおける各ピクセル値計算を各補正されたピクセルのピクセル値を生成するために利用される。このピクセル値計算は、前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を少なくとも遠近歪み補正座標変換によって確定するステップと、ただし、前記遠近歪み補正座標変換において、被写体平面と画像平面とに対応する角度パラメータは前記補正される画像に対応する入射ビームの入射角によって決定され、前記入射ビームは前記魚眼レンズの光心を通過し、前記座標変換関係にしたがって、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含む処理されるピクセルブロックを、前記補正される画像から選択するステップと、前記補正ピクセルに対応する複数の特定の処理されるピクセルを決定し、前記特定の処理されるピクセルの前記ピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成するために、前記補正ピクセルに対応する前記第２の座標値を利用するステップとを含む。

本発明の第３の態様によれば、画像補正システムが提供される。当該画像補正システムは、補正される画像に基づいて補正画像を出力するために利用される。補正画像は、複数の補正ピクセルブロックを含み、画像補正システムは複数のピクセル値計算を実行し、ある補正ピクセルブロックにおける各ピクセル値計算を各補正されたピクセルのピクセル値を生成するために利用される。この画像補正システムは、座標変換関係生成回路、ブロック選択回路、記憶装置、および補間計算回路を含む。前記座標変換関係生成回路は、前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を確定するために利用される。前記ブロック選択回路は、前記座標変換関係生成回路と結合されており、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含み、かつ処理されるピクセルの複数行を有した処理されるピクセルブロックを、前記補正される画像から選択するために座標変換関係を参照する。前記記憶回路は、前記ブロック選択回路と結合されており、処理される各ピクセルのピクセル値を一時的に記憶するための複数の記憶領域をもつ。前記補間計算ユニットは、前記記憶装置および前記座標変換関係生成回路と結合されており、前記補正ピクセルに対応する前記特定の処理されるピクセルを決定する前記補正ピクセルに対応する前記第２の座標値を利用し、前記記憶装置から前記処理される特定のピクセルの複数のピクセル値を読み込み、前記特定の処理されるピクセルのピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成する。前記特定の処理されるピクセルの前記ピクセル値は、異なる記憶領域へ一時的に記憶される。

本発明の第４の態様によれば、画像補正システムが提供される。当該画像補正システムは、補正される画像に基づいて補正画像を出力するために利用される。ここで、補正画像は複数の補正ピクセルブロックを含み、補正される画像は魚眼レンズのカメラで撮影されたものである。また、画像補正システムは複数のピクセル値計算を実行するために利用され、ある補正ピクセルブロックにおける各ピクセル値計算を各補正されたピクセルのピクセル値を生成するために利用される。画像補正システムは、座標変換関係生成回路、ブロック選択回路、および補間計算回路を含む。前記座標変換関係生成回路は、前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を確定するために使われる。ただし、前記座標変換関係生成回路は、少なくとも遠近歪み補正座標変換回路を含み、前記座標変換関係は少なくとも遠近歪み補正座標変換回路によって決定され、前記遠近歪み補正座標変換回路で利用され、被写体平面と画像平面とに対応する角度パラメータは前記補正される画像に対応する入射ビームの入射角によって決定され、前記入射ビームは前記魚眼レンズの光心を通過するものである。前記ブロック選択回路は、座標変換関係にしたがって前記座標変換関係生成回路と結合されており、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含む処理されるピクセルブロックを前記補正される画像から選択するために座標変換関係を参照するために、前記補間計算ユニットは前記記憶装置および前記座標変換関係生成回路と結合されており、前記補正ピクセルに対応する複数の特定の処理されるピクセルを決定し、前記特定の処理されるピクセルの前記ピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成するために、前記補正ピクセルに対応する前記第２の座標値を利用する。

本発明のこれらおよび他の目的は、様々な図や表で示される望ましい実施形態についての以下の詳細な記述を読んだ後で、通常の当業者にとって明らかになるであろう。

本発明の一実施形態にしたがう画像補正方法を示したフローチャートである。補正される画像と本発明にしたがう補正画像との間の座標変換関係の一例を表す図である。本発明の記憶設計の一例を表す図である。補正される画像と本発明の補正画像との関係の一例を表す図である。本発明の一実施形態にしたがう座標変換関係の決定方法を表す図である。遠近歪みの原因を表す図である。本発明の一実施形態にしたがうパラメータ推定法の原理を表す図である。本発明の一実施形態にしたがう画像補正システムを表す機能ブロック図である。

本発明に係る画像補正の最終的な目的は、魚眼レンズまたは超広角レンズを備えるカメラによって撮影された補正前の画像（補正される画像）の幾何学的歪みを減少させることで、補正後の画像（補正画像）を生成することである。補正画像を生成する前に、あらかじめその画像サイズを決定しなければならない（ただし、これは異なる仕様に基づいて変更できる）。次に、補正画像を同じサイズをもつ複数の補正ピクセルブロックに分割し、補正ピクセルブロックを補間計算で処理することにより、各補正ピクセルブロックのそれぞれにある各ピクセルのピクセル値（すなわち濃淡値）を１つずつ生成する。最後に、計算されたすべてのピクセル値に基づいて補正画像を出力する。

例えば、本発明の画像補正は、補正画像のサイズを６４０×４８０ピクセルとしてあらかじめ決定し、８×８の同じサイズをもつ補正ピクセルブロックに補正画像を分割する。すなわち、補正される各ピクセルブロックには、８０×６０ピクセルが含まれる（ここで示される数値は理解を助ける目的で例示されるに過ぎず、本発明の限定を意味するものではないことに注意する）。補正画像で行われる各補正ピクセルのピクセル値を生成するこの補間計算では、補正される画像の中に、関係する位置（すなわち座標値）を座標変換によって見つけることが必要となる。補間計算では、関係する位置に基づいて当該関係する位置と隣り合った複数のピクセルのピクセル値をさらに特定し、補正ピクセルのピクセル値を決定する補間計算を実行するために、これらのピクセル値を用いる。すなわち、本発明の画像補正は、複数のピクセル値計算を実行しなければならず、各ピクセル値計算は、ある補正ピクセルブロック内における各補正ピクセルのピクセル値を生成する。先に例示した数値を用いれば、各ピクセル値計算は、補正ピクセルにおいて８０×６０ピクセルの値を得ることになる。上記処理の詳細な理解のために、図１を参照されたい。図１は、本発明に係る補正方法のピクセル値計算を表すフローチャートである。

図１に示されるフローチャートは、本発明による補正方法のピクセル値計算に係る一実施形態を表すに過ぎないことに注意する。本発明の他の実施形態の例では、図１に示されるステップとは異なる他のステップが含まれてもよい。

最初に、ステップ１０１では、本発明のピクセル値計算が、補正前の画像（補正される画像）と補正後の画像（補正画像）との座標変換関係を確定する。すなわち、補正ピクセルブロックにおける各補正ピクセルの第１の座標値（Ｘ_Ｃ，Ｙ_Ｃ）は、補正される画像内の第２の座標値（Ｘ_ｄ，Ｙ_ｄ）に対応する。図２を例にすれば、この座標変換関係によって、補正画像における補正ピクセルブロックＡの複数の境界ピクセル（すなわち点線フレーム２０１に含まれるピクセル）は、補正される画像でそれらが関係する座標値（すなわち線フレーム２０２に含まれるピクセル）を得る。言い換えれば、補正画像における点線フレーム２０１に含まれる各補正ピクセルの第１の座標値（Ｘ_Ｃ，Ｙ_Ｃ）は、補正される画像における第２の座標値（Ｘ_ｄ，Ｙ_ｄ）へ射影される。一方、補正される画像の第２の座標値（Ｘ_ｄ，Ｙ_ｄ）における画像は座標変換関係を通して修復され、この画像は補正画像において第１の座標値（Ｘ_Ｃ，Ｙ_Ｃ）の位置で確定される。したがって、座標変換関係は、幾何学的歪みの改善を決定づける。

次に、座標変換関係が確定された後、ステップ１０３では、座標変換関係にしたがって補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、補正される画像内の補正されるピクセルブロックを少なくとも含む、処理されるピクセルブロックを選択する。詳しくは、座標変換関係は、補正される画像にある補正ピクセルブロックにおいて各補正ピクセルが関係する座標（すなわち第２の座標値）を得る。したがって、補正ピクセルブロックにおけるすべての補正ピクセルのピクセル値を特定する必要があるときは、補正される画像のどの部分が補正ピクセルブロックと関係するか（すなわち、修正された画像のどの部分が、補正ピクセルブロックで表された補正される画像に対応するか）を決定するために、関係する座標を必要とする。すなわち、補正ピクセルブロックの上記境界ピクセルに対応する第２の座標値は、補正される画像内の補正される部分画像を決定する。このステップの詳細のために図２を参照されたい。補正ピクセルブロックＡの境界ピクセル（すなわち、点線フレーム２０１に含まれるピクセル）は、ステップ１０１で確定された座標変換関係により、補正する画像の線フレーム２０２の複数の座標点に対応し、線フレーム２０２に含まれるブロック（すなわち、補正されるピクセルブロックＡ’）における部分画像は、補正ピクセルブロックＡによって補正される部分画像である。次に、補正されるピクセルブロックＡ’が決定された後は、補正されるピクセルブロックＡ’のデータバッファリングを容易にするために、本発明は少なくとも補正されるピクセルブロックＡ’を含む、処理される矩形のピクセルブロックＡ’’をさらに選択する。処理されるピクセルブロックＡ’’の処理されるピクセルのピクセル値は、補間計算に必要となる本質的な情報を提供し、この補間計算は、補正ピクセルブロックＡの各ピクセルのピクセル値を特定するために使われる。

処理されるピクセルブロックＡ’’に含まれるピクセルが決定された後、本発明では、ステップ１０５において、処理されるピクセルブロックＡ’’の処理されるピクセルの配列関係にしたがって、複数の記憶領域（例えば、静的ランダムアクセスメモリ、ＳＲＡＭ）をもつ記憶装置に処理される各ピクセルのピクセル値を一時的に記憶し、保存されたピクセル値を後の補間計算で使うために保持する。このステップでは、本発明が提供するメモリ割り当て技術を使う。ここで、このメモリ割り当て技術の主な目的は、補間計算のために記憶されたピクセル値の読み込み速度を向上させることにある。補正ピクセルブロックＡにあるピクセルＰを例にとると、補正される画像にある第２の座標位置はＰ’である。したがって、補間計算がピクセルＰのピクセル値を計算するとき、点Ｐ’と隣り合い、点線フレーム２０３（すなわち、処理されるピクセルブロックＡ’’）に含まれている処理される複数の特定のピクセル（４×４ピクセル）のピクセル値は、補間計算に使われる。したがって、本発明に係るメモリ割り当て技術の思想によれば、記憶装置の１回の読み込みサイクルで、処理される特定の４×４ピクセルすべてのピクセル値を読み込む。すなわち、ステップ１０５では、処理されるピクセルブロックＡ’’内のピクセル配列関係にしたがって、すべてのピクセル値を記憶装置に記憶し、処理される特定のピクセルのピクセル値を一時的に異なる記憶領域に記憶する。

メモリ割り当て技術の詳細については、図２および図３を参照されたい。図２に示されるように、１つの補間計算は４×４ピクセルのピクセル値情報を必要とするため、点線フレーム２０３（すなわち、処理されるピクセルブロックＡ’’）に含まれて処理される４×４ピクセルのピクセル値は、ピクセルが配置されている行にしたがって、図３に示される記憶装置３００の記憶領域Ａ−Ｄにそれぞれ記憶される。例えば、点線フレーム２０３に含まれ、処理される４×４ピクセルの最初の行２０３１に配置された、処理されるピクセルのピクセル値は記憶領域Ａに記憶され、２番目の行２０３２に配置された、処理されるピクセルのピクセル値は記憶領域Ｂに記憶され、３番目の行２０３３に配置された、処理されるピクセルのピクセル値は記憶領域Ｃに記憶され、４番目の行２０３４に配置された、処理されるピクセルのピクセル値は記憶領域Ｄに記憶される。上述のメモリ設定法は、理解を助ける目的で示されているに過ぎず、本発明の限定を意味するものではないことに注意する。一般的には、本発明のメモリ割り当て技術の特徴は、以下を含む。すなわち、（１）記憶装置において、複数の特定の処理されるピクセルの複数のピクセル値間で、１回の補間計算の間に、それぞれ異なる行に位置する処理されるピクセルのピクセル値は、記憶装置の異なるメモリ領域へ一時的に記憶される。言い換えれば、処理される１つのブロック（すなわち、処理されるピクセルブロックＡ’’）については、異なる行に配置されたピクセルのピクセル値は、同じ記憶領域の異なる行アドレスへ一時的に記憶されない。また、（２）１回の補間計算に必要な特定の処理されるピクセルの数がｍ×ｎであるとき、記憶装置の記憶領域の数はｍである。ここで、ｍとｎはいずれも正の整数である。したがって、１回の補間計算が必要とする特定の処理されるピクセルのピクセル値は、記憶装置の１回の読み込みサイクルで読み込まれ、それによって補間計算の処理速度が上がる。最後に、各補正ピクセルに関して、ステップ１０７では、補正ピクセル（例えばピクセルＰ）に対応する特定の処理されるピクセル（例えば、点線フレーム２０３に含まれる４×４ピクセル）を決定するために、補正ピクセル（例えばピクセルＰ）に対応する第２の座標値（例えば、前記点Ｐ’の座標値）を最初に利用し、記憶装置から読み込む特定の処理されるピクセルのピクセル値に対して補間計算を実行することにより、補正ピクセルのピクセル値を生成する。いくつかの値は上記パラグラフで例示目的で述べられているが、本発明における補間計算によって利用されるピクセルの数は限定されない。したがって、異なる設計を考慮した場合には、本発明の補間計算に用いられるピクセルの数は異なっていてもよい。

上述したステップ１０１−１０７は、本発明に係る１つのピクセル値の計算処理を表す。複数の補間計算は、補正ピクセルブロックにあるすべての補正ピクセルのピクセル値を生成するために実行される。したがって、複数のピクセル値計算が実行された後は、まだ画像補正による処理がされていない原画像と比べると、幾何学的歪みの小さい補正画像が生成される。

魚眼レンズまたは超広角レンズを備えるカメラで撮影された画像は、広角の画像情報を含み、すべての画像情報は比較的小さい画像センシング領域に射影されるため、補正される原画像の線の多くが絞られたり、歪められたりすることにより、明らかな幾何学的歪みを生じる。したがって、本発明は、補正される原画像の歪められた線を、歪められていない線に修正する魚眼歪み補正技術を利用する。また、魚眼レンズまたは超広角レンズカメラが画像を撮影したとき、撮影されたシーンの範囲が大き過ぎるので、その画像センシング領域が配置される平面において、シーンは完全な平行にならない。この結果として、撮影された画像は遠近歪みを伴うことが多い。遠近歪みのこの問題を解決するために、本発明は補正される原画像を遠近歪み補正技術によって歪みのない画像へ修正することも行う。したがって、本発明の画像処理方法は、少なくとも魚眼歪み補正および遠近歪み補正を実行する。そのため、本発明の座標変換関係は、少なくとも魚眼歪み補正の座標変換および遠近歪み補正の座標変換によって決定される。一般的には、先に述べた補正ピクセルの第１の座標値（Ｘ_Ｃ，Ｙ_Ｃ）は、魚眼歪み補正の座標変換および遠近歪み補正の座標変換によって、第２の座標値（Ｘ_ｄ，Ｙ_ｄ）に変換される。しかし、幾何学的に画像を調整することに対するユーザの要求によりよく応えるために、本発明の他の一実施形態において、座標変換関係は拡縮座標変換、ズーム座標変換、遠近補償座標変換、垂直線および水平線補償座標変換、および回転座標変換によってさらに決定され、それらのパラメータはユーザの視覚的な感覚にしたがって、ユーザにより設定されてよい。例えば、補正画像に写る被写体が十分に大きくないとユーザが感じれば、ユーザは垂直および水平方向の拡縮率に対応する適切なパラメータ値を選択でき、これらのパラメータは全体の座標変換関係に影響する座標変換のスケーリングに使われる。このようにして、補正画像のサイズやアスペクト比は変更される。また、ユーザは、補正される画像のどの部分が記憶されるかを決定できる。図４に示される補正される画像と補正画像とを例にとると、図４でみられるように、補正画像に含まれる画像データは、補正される原画像の一部に過ぎない。この処理に関して、ユーザは補正される画像から参照中心を選択でき、選択された参照中心の位置は、座標変換関係を確定するために参照される。この参照中心が決められた後、参照中心から拡大される特定の範囲の画像のみが記憶される。したがって、座標変換関係が確定されたとき、補正画像の最も末端の部分に位置する補正ピクセルは、特定の範囲の境界部分に対応するに過ぎない。これにより、異なる参照中心を選択することにより、ユーザは記憶させたい補正される画像の一部を選択できる。

図５は、異なる座標変換と座標値との関係を示す。当業者は容易に座標変換の詳細を理解できるため、ここではさらなる記載を省略する。

また、本発明は特に遠近歪み補正の座標変換に利用される、より単純なパラメータ推定法を提供する。これは、画像補正処理の効率を改善するものである。最初に、遠近歪みの原因を簡単に示した図６を参照されたい。遠近歪みの原因は、基本的に被写体平面ＯＰと画像平面ＩＰとが平行でないことにある。２つの平面の間に内角φがあるため、被写体平面ＯＰにおいて長さの異なる２つのセグメントＲ１およびＲ２は、レンズ６００を通して画像平面ＩＰに射影されるときは、長さの同じセグメントＲ１’およびＲ２’を構成する。画像平面ＩＰ上の画像は、被写体平面ＯＰ上の実際の対象とは異なっており、これが遠近歪みを引き起こす。したがって、遠近歪みを補正するためには、内角φの実際の値が既知でなければならない。しかし、魚眼レンズや超広角レンズのように、このタイプのレンズの特性は一般的なレンズのそれと異なる。したがって、内角φの値を推定することは非常に難しい。そこで、本発明は内角φの値を推定するためのより単純な方法を提供する。

前述の推定法の詳細について、図７を参照されたい。図示の通り、被写体平面ＯＰと画像平面ＩＰとの間に内角φがある。理論的には、被写体平面の点Ｘから入射し、魚眼レンズ６００の光心ＯＣを通る入射ビームＬＮは、画像平面ＩＰ上の位置Ｘ’で画像を構成する。しかし、光心ＯＣを通る入射ビームＬＮの入射角θが屈折ビームＬＮ’の屈折角θと等しければ、屈折ビームＬＮ’は交差点Ｘ’’で仮想的に弯曲した表面ＦＬＲと交差する。したがって、図示のように、仮想的に湾曲した表面ＦＬＲの点Ｘ’’における接平面である仮想的な画像平面ＩＰ’と、元の画像平面との間の内角φ’は、内角φおよび入射角θと等しくなる。すなわち、魚眼レンズの入射角と屈折角とを単純化できるという仮定を補うために、本発明は仮想的に湾曲した表面ＦＬＲを使う。したがって、φ＝θという現象を、遠近歪み補正に必要となる角度パラメータθを決定するために簡単に使ってよい。一方で、角度パラメータφの精度を改善するために、前述の推定法で推定された角度パラメータφを、ユーザは自身の視覚的な感覚（例えば、補正画像に対するユーザの視覚的な感覚）にしたがってさらに調整してもよい。

本願発明の一実施形態は、前述の画像補正方法にしたがって設計される画像補正システムをさらに提供する。図８を参照されたい。同図は、画像補正システム８００の機能ブロック図である。図示のように、画像補正システム８００は、座標変換関係生成回路８０１、ブロック選択回路８０２、記憶装置８０３、および補間計算回路８０４を含む。画像補正システム８００は、画像源８１０から導出される補正される画像Ｐｉｃにしたがって、補正画像Ｐｉｃ’を出力するために利用される。ここで、画像源８１０は、魚眼レンズまたは超広角レンズカメラによって撮影された実時間画像、または記憶装置に記憶された静的画像であってよい。また、画像補正システム８００は、複数のピクセル値計算を実行するために利用される。ここで、各ピクセル値計算は、補正画像Ｐｉｃ’の１つの補正ピクセルブロックにおける、各補正ピクセルのピクセル値を生成するために利用される。さらに、座標変換関係生成回路８０１は、補正される画像Ｐｉｃと補正画像Ｐｉｃ’との間の座標変換関係を確定するために使われ、補正ピクセルブロックにおける各補正ピクセルの第１の座標値が、補正される画像にある第２の座標値に対応する。座標変換関係生成回路８０１は、補正画像Ｐｉｃ’の画像サイズと座標変換パラメータ（例えば、参照中心および角度パラメータφ）とを参照することで座標変換関係を決定する。ブロック選択回路８０２は、座標変換関係生成回路８０１と結合され、補正される画像Ｐｉｃから（少なくとも補正されるピクセルブロックを含む）処理されるピクセルブロックを選択する座標変換関係を参照するために利用される。記憶装置８０３は、ブロック選択回路８０２と結合され、処理される各ピクセルの各ピクセル値を一時的に記憶するために使われる複数の記憶領域をもつ。ここで、処理されるピクセルブロックは、処理されるピクセルの複数の行をもち、異なる行に位置する処理されるピクセルのピクセル値は、記憶装置８０３の異なる記憶領域に一時的に記憶される。記憶装置８０３は、静的ランダムアクセスメモリ（ＳＲＡＭ）であってよい。また、補間計算回路８０４は、記憶装置８０３と座標変換関係生成回路８０１とに結合される。補間計算回路８０４は、補正ピクセルと対応する複数の特定の処理されるピクセルを決定するための補正ピクセルに対応する第２の座標値を利用し、記憶装置８０３から処理される特定のピクセルの複数のピクセル値を読み込み、特定の処理されるピクセルのピクセル値に対して補間計算を実行することにより、補正ピクセルのピクセル値を生成する。したがって、補正画像Ｐｉｃ’におけるすべてのピクセルのピクセル値は、複数のピクセル値計算を実行する画像補正システム８００から導出され、画像補正システム８００は補正画像Ｐｉｃ’を出力する。画像補正システム８００は、前述の画像補正方法に従って設計されるため、画像補正システム８００における各回路の詳細な機能および処理の原理は、前述した画像補正方法と類似する。前述した画像補正方法についての詳細のパラグラフを参照されたい。したがって、ここではさらなる記載は省略する。

これ以後は、座標変換関係生成回路８０１の特徴を述べるのみである。本発明の画像補正が少なくとも魚眼レンズ補正および遠近補正の実行を必要とするため、本発明の座標変換関係生成回路８０１は、少なくとも魚眼補正の座標変換回路および遠近補正の座標変換回路（図示せず）を含む。一般的に、座標変換関係生成回路８０１によって決定される座標変換関係は、少なくとも魚眼補正の座標変換回路および遠近補正の座標変換回路によって決定される。しかし、幾何学的に画像を調整することに対するユーザの要求によりよく応えるために、本発明の画像補正システムに係る他の一実施形態において、座標変換関係生成回路８０１は、拡縮座標変換回路、ズーム座標変換回路、遠近補償座標変換回路、垂直および水平線補償座標変換回路、および回転座標変換回路をさらに含む。これらの回路と第１および第２の座標値との関係を表した図５を参照されたい。本発明は座標変換関係生成回路に含まれる座標変換回路の種類や数を限定しない。言い換えれば、本発明の主要な思想から離れないという前提のもとで、本発明の座標変換関係生成回路は、図５に示されるそれよりも多い、または少ない数の座標変換の種類を含む。一方、ユーザが利用可能な幾何学的調整は、座標変換関係生成回路の実際の設計にしたがって変化する。

要約すれば、魚眼レンズまたは超広角レンズを備えるカメラで撮影された画像について、本発明は有用な計算速度と補正効果をもつ画像補正システムと画像補正方法とを提供する。加えて、ユーザは自身の個人的な設定、すなわち視覚的な経験にしたがって、補正画像を調整できる。

本発明の教示を維持しつつ、この装置および方法の多くの変形例および代替例がなされてもよいことを当業者は容易に把握する。

Claims

複数の補正ピクセルブロックを構成する補正画像を、魚眼レンズのカメラで撮影された補正される画像に基づいて出力する画像補正方法のうち、複数のピクセル値計算を実行し、ある補正ピクセルブロックにおける各ピクセル値計算を各補正されたピクセルのピクセル値を生成するために利用する画像補正方法であって、
前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を少なくとも遠近歪み補正座標変換によって確定する座標変換関係生成ステップと、
前記座標変換関係にしたがって、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含む処理されるピクセルブロックを、前記補正される画像から選択するブロック選択ステップと、
前記補正ピクセルに対応する複数の特定の処理されるピクセルを決定し、前記特定の処理されるピクセルの前記ピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成するために、前記補正ピクセルに対応する前記第２の座標値を利用するステップとを含み、
前記座標変換関係生成ステップでは、
被写体が魚眼レンズを介して射影される平面である画像平面と、前記魚眼レンズの光心と前記被写体上の点とを結ぶ直線に直交し、かつ前記点を含む平面である被写体平面との成す角度を、
前記画像平面に直交し、かつ前記光心を通る直線と前記画像平面との交点である第１交点を含み、かつ前記光心と前記第１交点とを結ぶ直線から離れる方向へ向かうほど前記魚眼レンズ側に湾曲した仮想湾曲面と、前記点と前記光心とを通る直線との交点である第２交点を特定する処理と、
前記第２交点における前記仮想湾曲面の接平面である仮想画像平面を特定する処理と、
前記画像平面と前記仮想画像平面との成す角度を前記画像平面と前記被写体平面との成す角度として推定する処理とを行うことによって推定し、
推定した前記角度を用いた遠近歪み補正座標変換によって前記座標変換関係を確定することを特徴とする画像補正方法。
前記ブロック選択ステップでは、
前記座標変換関係にしたがって、前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含み、かつ処理されるピクセルの複数行を有し、かつ４つの角部の座標が前記補正されるピクセルブロックの最小ｘ座標、最少ｙ座標、最大ｘ座標、および最大ｙ座標によって特定される矩形形状の処理されるピクセルブロックを、前記補正される画像から選択することを特徴とする請求項１に記載の画像補正方法。
複数の補正ピクセルブロックを構成する補正画像を、魚眼レンズのカメラで撮影された補正される画像に基づいて出力する画像補正システムのうち、複数のピクセル値計算を実行し、ある補正ピクセルブロックにおける各ピクセル値計算を各補正されたピクセルのピクセル値を生成するために利用する画像補正システムであって、
(1)前記補正ピクセルブロックにおける各補正ピクセルの第１の座標値が前記補正される画像における第２の座標値と対応するように、前記補正される画像と前記補正画像との座標変換関係を確定する座標変換関係生成回路と、
(2)前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含む処理されるピクセルブロックを前記補正される画像から選択するために座標変換関係を参照するために、前記座標変換関係生成回路と結合されたブロック選択回路と、
(3)前記補正ピクセルに対応する複数の特定の処理されるピクセルを決定し、前記特定の処理されるピクセルの前記ピクセル値に対して補間計算を実行することにより前記補正ピクセルのピクセル値を生成するために、前記補正ピクセルに対応する前記第２の座標値を利用する、前記座標変換関係生成回路と結合された補間計算回路とを備え、
前記座標変換関係生成回路は、
被写体が魚眼レンズを介して射影される平面である画像平面と、前記魚眼レンズの光心と前記被写体上の点とを結ぶ直線に直交し、かつ前記点を含む平面である被写体平面との成す角度を、
前記画像平面に直交し、かつ前記光心を通る直線と前記画像平面との交点である第１交点を含み、かつ前記光心と前記第１交点とを結ぶ直線から離れる方向へ向かうほど前記魚眼レンズ側に湾曲した仮想湾曲面と、前記点と前記光心とを通る直線との交点である第２交点を特定する処理と、
前記第２交点における前記仮想湾曲面の接平面である仮想画像平面を特定する処理と、
前記画像平面と前記仮想画像平面との成す角度を前記画像平面と前記被写体平面との成す角度として推定する処理とを行うことによって推定し、
推定した前記角度を用いた遠近歪み補正座標変換によって前記座標変換関係を確定することを特徴とする画像補正システム。
前記ブロック選択回路は、
前記補正ピクセルブロックに対応する補正されるピクセルブロックを決定し、前記補正されるピクセルブロックを少なくとも含み、かつ処理されるピクセルの複数行を有し、かつ４つの角部の座標が前記補正されるピクセルブロックの最小ｘ座標、最少ｙ座標、最大ｘ座標、および最大ｙ座標によって特定される矩形形状の処理されるピクセルブロックを前記補正される画像から選択するために座標変換関係を参照するために、前記座標変換関係生成回路と結合されていることを特徴とする請求項３に記載の画像補正システム。
被写体が魚眼レンズを介して射影される平面である画像平面と、前記魚眼レンズの光心と前記被写体上の点とを結ぶ直線に直交し、かつ前記点を含む平面である被写体平面との成す角度を推定する角度推定方法であって、
前記画像平面に直交し、かつ前記光心を通る直線と前記画像平面との交点である第１交点を含み、かつ前記光心と前記第１交点とを結ぶ直線から離れる方向へ向かうほど前記魚眼レンズ側に湾曲した仮想湾曲面と、前記点と前記光心とを通る直線との交点である第２交点を特定するステップと、
前記第２交点における前記仮想湾曲面の接平面である仮想画像平面を特定するステップと、
前記画像平面と前記仮想画像平面との成す角度を前記画像平面と前記被写体平面との成す角度として推定するステップとを含む角度推定方法。
被写体が魚眼レンズを介して射影される平面である画像平面と、前記魚眼レンズの光心と前記被写体上の点とを結ぶ直線に直交し、かつ前記点を含む平面である被写体平面との成す角度を推定する角度推定装置であって、
前記画像平面に直交し、かつ前記光心を通る直線と前記画像平面との交点である第１交点を含み、かつ前記光心と前記第１交点とを結ぶ直線から離れる方向へ向かうほど前記魚眼レンズ側に湾曲した仮想湾曲面と、前記点と前記光心とを通る直線との交点である第２交点を特定する処理と、
前記第２交点における前記仮想湾曲面の接平面である仮想画像平面を特定する処理と、
前記画像平面と前記仮想画像平面との成す角度を前記画像平面と前記被写体平面との成す角度として推定する処理とを行うことを特徴とする角度推定装置。