JP2013005394A - 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】比較的小規模な回路で、歪み補正処理に関して被写体の正確な認識を図る。
【解決手段】歪み補正係数には、少なくとも、光学系１１０のレンズの物理的特性及び前記光学系への設定された仮想投影面ＶＰからの入射光の入射角に基づいて算出された第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数が含まれており、歪み補正係数の値が所定の上限値を超えることで飽和する入射角の領域で算出される画像データを予め定められた所定の値に変換する。
【選択図】図４

Description

本願発明は、集光レンズを含む広角な光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。

一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。

このような画像処理について、以下のような特許文献に関連した技術が提案されている。

特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームで繋いでいる。

特許文献３では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。

特開２００９−１４００６６号公報 特開２００９−１０５５４６号公報 特開２００９−６１９６９号公報

特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。

特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。すなわち、画像処理によって見え方を変える視点変換には対応できない問題がある。

また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理を行わない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。

特許文献３では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。

なお、広角レンズで撮影された歪み無し状態の全体画像から、歪み補正後の画像を生成して表示する場合、最終的な歪み補正後の画像が全体画像のどの部分を表示しているかを明らかにするため、歪み補正状態を少しずつ連続的に変化させつつ表示することが望ましいが、以上の各特許文献は適していないことが判明した。

また、本件出願の発明者が上記特許文献とは別の方式で被写体の歪み補正を行い、歪み補正状態を連続的に少しずつ変化させるように処理したところ、入射角が９０度付近又は９０度を超えるような非常に大きな角度の場合、歪み補正された画像データを算出する画像処理の処理ビット数の関係で歪み補正後の画像に乱れが生じることが明らかになった。すなわち、歪み補正状態を表示する画像中に乱れ（画像不良）があるため、被写体の正確な認識が困難になることを発見した。

本願発明はこのような問題に鑑み、被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置提供することを目的とする。

上記の目的は、下記に記載する発明により達成される。

（１）光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数とが含まれており、前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換するステップを含む、ことを特徴とする。

また、光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置または撮像装置であって、歪み補正係数を記憶する記憶部と、位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、前記画像処理部は、前記第２歪み補正係数の値が所定の値以上となる最小入射角がある場合に、前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換する、ことを特徴とする。

（２）以上の（１）において、前記第３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする。

また、以上の（１）において、前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする。

（３）以上の（２）において、前記第２ステップで、前記第２歪み補正係数の値が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する前記画素データを予め定められた所定の値に変換する際、前記第３歪み補正係数に含まれる前記第２歪み補正係数の補間割合に応じて前記所定の値に変換する際の前記入射角を変更する、ことを特徴とする。

また、以上の（２）において、前記画像処理部で、前記第２歪み補正係数が所定の値以上となる最小入射角を判別し、第２歪み補正係数が所定の値以上となる最小入射角がある場合であって前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換する際に、前記第３歪み補正係数に含まれる前記第２歪み補正係数の補間割合に応じて前記変換する際の前記入射角を変更する、ことを特徴とする。

（４）以上の（１）〜（３）において、前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。

また、以上の（１）〜（３）において、ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、ことを特徴とする。

（５）以上の（１）〜（４）において、前記第２歪み補正係数は、以下の条件式(1)で表される、ことを特徴とする。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ，
focal：設定された仮想投影面の長辺方向における画角，
である。

本願発明では、光学系のレンズの物理的特性に基づいて算出された第１歪み補正係数と光学系への入射角を変数とする関係式により算出された第２歪み補正係数のいずれか少なくとも一方を用いて画像データを算出する場合であって、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良による被写体の誤認識を簡易的な方法で、しかも効果的に軽減することができる。

本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示す説明図である。 撮像装置の概略構成を示すブロック図である。 本実施形態の制御フローを示すフローチャートである。 入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す特性図である。 光学的範囲に仮想投影面ＶＰを設定した状態を示す説明図である。 第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。 入出力画像の例を示す説明図である。 歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を示す説明図である。 歪み補正係数の飽和・不連続の状態を示す特性図である。 歪み補正係数の飽和・不連続の影響による画像不良を写真画像で示す説明図である。 本実施形態のブラックアウトポイントを示す特性図である。 本実施形態のブラックアウトポイントを示す特性図である。 座標系を説明する模式図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 歪み補正処理を説明する模式図である。 カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。 本実施形態を適用した処理画像の表示例を写真画像で示す説明図である。 本実施形態を適用した処理画像の表示例を写真画像で示す説明図である。

以下、本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。

〔Ａ〕座標系：
図１は、本実施形態に係る歪曲補正を説明するための座標系を示す模式図である。

この図１において、Ｘ、Ｙ、Ｚは空間の中での物体の位置を示すための座標系としてのワールド座標系であり、原点Ｏは光学系のレンズ中心である。ここで、Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θは光軸（Ｚ軸に一致）に対する入射角である。

一方、ｘ、ｙはカメラを基準としたカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数（後述の第１歪み補正係数Ｌ１に相当）を用いてカメラ座標系に変換したものである。

図１において、ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３のブロック図を参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。なお、本願明細書において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。

図２は、操作部１３０の入力に基づいて、仮想投影面ＶＰ０をＸＺ平面上で回転させて、仮想投影面ＶＰ１とした状態を示している。

〔Ｂ〕構成：
図３は、本実施形態で使用される撮像装置の概略構成を示すブロック図である。撮像装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備え構成されている。

撮像ユニット１１０は、短焦点のレンズ、撮像素子等を備えて構成される。本実施形態においては、短焦点のレンズとしては例えば広角レンズ、魚眼レンズがある。

制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３を備えて構成される。

設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。

画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。すなわち、画像処理部１０１は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に、歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小が併せて行われる。また画像処理部１０１は、表示用の画像信号の出力を行う画像信号出力部としても機能する。

記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性及び設定された仮想投影面からの入射光の入射角に基づくレンズの物理的特性に係るパラメータにより算出された係数、すなわち光学系で生ずる歪みを補正するための係数である第１歪み補正係数Ｌ１と、当該歪みの補正を行わないための係数に相当する、設定された仮想投影面からレンズへ入射する入射光の入射角の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である、第２歪み補正係数Ｌ２とが記憶されている。

また記憶部１０３は、仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み補正係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。

なお、本実施形態でいう「歪み補正を行わない」とは、実質的に、撮像されたままの歪みが生じているものを言い、歪み補正が良好に行われているものから若干劣るものを指すものではない。

表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。

操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置されたタッチパネル等を備え、ユーザの入力操作を受け付ける。

〔Ｃ〕制御：
以下、図４のフローチャートを参照して、本実施形態の制御を説明する。なお、本制御フローチャートにより、連続して入力する入力画像を処理して連続的に出力画像を表示部１２０に表示させることにより動画を表示するものである。

〔Ｃ−１〕設定、入力：
まず、仮想投影面の設定、視点変換の設定、歪み補正条件の設定などが入力される（図４中のステップＳ１０１）。なお、これが第１ステップである。これら、各種の設定は、ユーザによる操作部１３０への入力指示に基づいて、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズを設定することにより行われる。また、撮像ユニット１１０で使用するレンズの物理的特性に係るパラメータなどは記憶部１０３から読み出される。

そして、撮像ユニット１１０から画像信号が入力され、例えばフレームレート６０ｆｐｓで入力画像が制御装置１００に取り込まれる（図４中のステップＳ１０２）。

〔Ｃ−２〕仮想投影面計算：
ここで、画像処理部１０１では、設定された条件に基づいて並進ベクトルや回転ベクトルの計算を行ってユーグリッド変換を行うことで、仮想投影面ＶＰの位置の計算を行う（図４中のステップＳ１０３）。なお、この仮想投影面計算から後述する歪み補正係数の取得と歪み補正処理とが、第２ステップである。

〔Ｃ−３〕歪み補正係数の取得：
そして、画像処理部１０１は、レンズの物理的特性に係るデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うための、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２を取得する（図４中のステップＳ１０４）。

ここで画像処理部１０１が取得する歪み補正係数には、光学系で生ずる歪みを補正するための係数であるレンズの物理的特性に係るパラメータ及び設定された仮想投影面からの入射光の入射角に基づいて決定された第１歪み補正係数Ｌ１と、光学系への設定された仮想投影面から入射する入射光の入射角θ（図１参照）の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み補正係数Ｌ２が含まれている。なお、第２歪み補正係数Ｌ２とは、歪み補正を行わないに相当する歪み補正係数であり詳細は後述する。

なおここでの第１歪み補正係数Ｌ１は、ユーザが必要に応じて、例えば１フレーム毎に随時書き換える事ができる構成としても良い。即ち、設定部１０２において第１ステップ時の仮想投影面の位置及び画面サイズを入力する事で第１歪み補正係数Ｌ１を取得する他に、第１歪み補正係数Ｌ１の値を直接変更するよう、パラメータ入力できる構成とし、これによりカメラ座標上の画素とワールド座標上の対応画素との関係を任意に変更するような構成としても良い。

このように書き換えた第１歪み補正係数Ｌ１と仮想投影面上の座標、画面サイズから入射角と光軸とが交わる光軸中心からの像高位置を変更する事も本発明の場合、可能である。

これによりカメラ座標上の対応する画素位置（領域）を予め固定しておく場合と比べて、様々な光学系に柔軟に対応できると共に、カメラ座標上の画素位置（領域）に依存しない様々な歪補正条件を採用する事ができる、という効果を奏する。

さらに、画像処理部１０１は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との間を補間して滑らかに座標変換を実行するように、複数段階の第３歪み補正係数Ｌ３を取得する（図４中のステップＳ１０５）。

〔Ｃ−３−１〕歪み補正係数の説明：
以下、歪み補正係数について説明する。

〔Ｃ−３−１−１〕第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の説明：
ここで、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２とについて、図５以降を参照して説明する。

図５は、入射角θを横軸として、撮像素子面ＩＡ上の光軸Ｚと交わる光学中心ｏからの像高ｈ（ｗ２ｃ値）を縦軸とした関係を示す特性図である。

この図５において、第１歪み補正係数Ｌ１（図５実線）、第２歪み補正係数Ｌ２（１点鎖線）、Ｌ１とＬ２の補間による第３歪み補正係数Ｌ３（２点鎖線）、のそれぞれについて、入射角θと像高ｈとの関係を表示している。

また、図６は光学系によって決まる光学的範囲に仮想投影面ＶＰを設定した状態を示している。そして、図７は、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２におけるそれぞれの像高ｈ（ｈ１、ｈ２で表示）の関係を示す特性図である。これら、図６、図７において、図１と共通する部位については共通する符号を付与させている。

図５の特性図に示すように、第２歪み補正係数Ｌ２では、入射角θに対応した歪曲収差が生じ、入射角θが大きくなるほど像高ｈ（ｗ２ｃ値）が大きくなり、歪曲収差の量も大きくなる。つまり、歪補正率＝０％であり、当該係数を用いる事で光学系に応じた歪みがそのまま補正されていない画像データが得られる。

一方、図５の特性図において、第１歪み補正係数Ｌ１はレンズによる歪曲収差の影響を打ち消すように歪補正率＝１００％として設定した歪み補正係数であり、主に撮像ユニット１１０のレンズの物理的な特性及び設定された仮想投影面から光学系に入射する入射光の入射角により決定される係数である。

また、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の補間による第３歪み補正係数Ｌ３は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間割合に応じて歪補正率が決定される。なお、第３歪み補正係数Ｌ３と補間割合については後述する。

ここで、第２歪み補正係数Ｌ２は、光学系への入射角θを変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高に関する歪み補正係数であり、関係式としては例えば以下の式(1)を用いている。なお、式(1)を数倍にすれば出力画像の拡大縮小を容易に行う事ができるというメリットがある。
Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)，
この式(1)においては、「ExportImageSize」とは、表示部で表示する出力画像の長辺（通常は水平方向、ｘ）の長さであり、単位はpixelである。またこれは仮想投影面ＶＰの長辺のサイズと一致している。

また、この式(1)において、「focal」は設定された仮想投影面の長辺方向における画角を意味している。ここで、図６を参照して「focal」について説明する。図６においてωは、光学的範囲に対応する光学的画角であり、「focal」とは仮想投影面ＶＰの長辺方向における画角のことである。なお、式(1)に替えて、正射影や等距離射影の関係式を用いても良い。また「focal」はユーザが任意に設定する光学的範囲の内、表示範囲に相当するものであり、必ずしも画角の長辺方向でなくても良い。

なお、魚眼レンズ等の超広角レンズでは入射角が９０°を超える場合もある。この場合に、上述した式(1)では入射角が９０°を超えるとtanθの符号が反転してしまうため、第２歪み補正係数Ｌ２の本来の値とは乖離してしまう。このため、本実施形態では、上述した式(1)にかかわらず、入射角が９０°を超えた領域では、像高（ｗ２ｃ値）が無限大であるものとして計算を行う。

また、本実施態様においては上記条件式(1)で説明しているが、条件式は必ずしもこれに限定されず、要は入射角θを変数とした像高、つまり光学中心からのカメラ座標上の距離を算出する条件式であれば良い。

図７は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２での像高ｈとの関係を示す模式図である。像高ｈは、図５に示すように入射角θと補正係数で決定される。第２歪み補正係数Ｌ２では被写体（物点Ｐ）の像高（光軸Ｚからの距離）と撮像素子面ＩＡ上における像高ｈとは比例する関係となる。また第１歪み補正係数Ｌ１の像高ｈ１に比べて第２歪み補正係数Ｌ２における像高ｈ２は、図７に示されるように長くなる。

ここで、上述した第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２の意味を明らかにするため、入力画像、上述した第１歪み補正係数Ｌ１により処理された画像、第２歪み補正係数Ｌ２により処理された画像、の例を図８に示す。

なお図８においては、仮想投影面ＶＰが初期状態に設定されている場合の例を示している。図８（ａ）は矩形の壁面に設置された長方形のチャートを、広角レンズを備えた撮像ユニット１１０で得られた入力画像である。また、図８（ｂ）は第１歪み補正係数Ｌ１を用いて後述する歪み補正処理を行った場合の出力画像、図８（ｃ）は第２歪み補正係数Ｌ２を用いて後述する歪み補正処理を行った場合の出力画像、の一例である。

図８（ｂ）に示す例では入力画像での歪曲した曲線は直線となるように補正されていることがわかる。一方で図８（ｃ）に示すように第２歪み補正係数Ｌ２により歪み補正処理した場合には、出力画像は図８（ａ）に示す入力画像とほぼ同一である。つまり歪み補正を行わない場合と同等の出力画像が得られていることがわかる。

また、第３歪み補正係数Ｌ３を用いて歪み補正処理を行うと、後述するように、図８（ｂ）と図８（ｃ）の中間の歪み補正状態の画像が得られる。

〔Ｃ−３−１−２〕歪み補正係数Ｌ３の説明：
ここで、第３歪み補正係数Ｌ３について説明する。歪み補正係数の算出にあたり、歪補正率（DistRatio）を変更することにより、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間によって算出する第３歪み補正係数Ｌ３を段階的に切り替え可能に算出している。

また、この実施形態では更に、仮想投影面ＶＰの位置も第１位置Ｖ１と第２位置Ｖ２との補間によって算出する第３位置Ｖ３も視点変換率（VCRatio）の変更に合わせて段階的に切り替えている。視点変換の具体例については後述する。

なお第３歪み補正係数Ｌ３、第３位置Ｖ３は、以下の式(2)、式(3)により算出している。

Ｌ３＝DistRatio／１００×Ｌ１＋（１−DistRatio／１００）×Ｌ２ …式(2)，
但し、０≦DistRatio／１００≦１である。

Ｖ３＝VCRatio／１００×Ｖ１＋（１−VCRatio／１００）×Ｖ２ …式(3)，
但し、０≦VCRatio／１００≦１である。

ここで、条件設定（図１中のステップＳ１０１）で設定された処理時間に対応して、歪補正率と視点変換率を算出する。例えば１０ｓｅｃを１サイクルに設定している場合には、時間が基準の０．０ｓｅｃであれば歪補正率と視点変換率はともに０％、時間が５．０ｓｅｃであれば歪補正率と視点変換率はともに５０％、時間が１０．０ｓｅｃであれば歪補正率と視点変換率はともに１００％、となる。

このようにして算出した歪補正率から、上述した式(2)に基づいて歪補正係数Ｌ３を算出する。なお、歪補正率が０％の場合には第２歪み補正係数Ｌ２そのもの、１００％の場合には第１歪み補正係数Ｌ１そのものとなる。

また、視点変換率から、仮想投影面ＶＰの第３位置の算出を行う。なお第２歪み補正係数Ｌ２に対応する仮想投影面ＶＰの初期状態の位置である第２位置と、第１歪み補正係数Ｌ１に対応する仮想投影面ＶＰの最終位置である第１位置は、ステップＳ１０１で設定されたものである。すなわち、第３位置の算出は、仮想投影面ＶＰの第１位置と第２位置の座標を、視点変換率を用いることで、式(3)により算出する。

ここで、歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を図９に示す。

図９（ａ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。なお、図９（ａ）の例では視点変換は行っていない。

図９（ｂ）は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み補正係数Ｌ３を１秒ごとに１０ポイントずつ段階的に変更する例である。また視点変換率を変更することにより第３位置Ｖ３も段階的に変更している。図９（ｂ）の例では視点変換率の変更にともない歪補正率も変更している。なお、図９（ａ）、図９（ｂ）においては１０ｓｅｃ周期、全１１段階で変更した例を示しているがあくまでも例示であり、周期を任意に変更したり、これよりも細かく多段階に変更したりしてもよい。

〔Ｃ−４〕歪み補正係数の不連続性の解析と対策：
以下、図５に示した歪み補正係数を用いることによって発生しうる画像不良について、図１０以降を参照して説明する。なお、この図１０でも、入射角が９０°を超える超広角レンズに配慮し、上述した式(1)にかかわらず、入射角が９０°以上の領域では、本来の像高（ｗ２ｃ値）が無限大であるものとして計算を行う。

〔Ｃ−４−１〕第２歪み補正係数Ｌ２の飽和：
図５では理想的な歪み補正係数について説明していたが、第２歪み補正係数Ｌ２はtanθの関数であるため、入射角θが９０°に近づくにつれ像高としてのｗ２ｃ値が急激に増大する。

つまり、第２歪み補正係数Ｌ２は入射角が９０度を超えなくても無限大にはならないまでも非常に大きな値となる。そのため画像処理部１０１の演算処理能力によって制限を受けることがある。

たとえば、画像処理部１０１においてｗ２ｃ値一つあたりに確保されているデータサイズが９ビットの処理能力である場合には、処理可能最大値は５１１であり、５１１を超える値については５１１として処理される。このため、第２歪み補正係数Ｌ２による像高ｈ（ｗ２ｃ値）は、図１０の（ａ）のように飽和した特性になる。つまり、第２歪み補正係数Ｌ２はtanθの関数であるため、入射角θが９０°以上又は９０°に近づいてｗ２ｃ値が急激に増大すると、処理能力の影響で飽和して第２歪み補正係数Ｌ２は不連続な曲線となる。

〔Ｃ−４−２〕第３歪み補正係数Ｌ３への影響：
上記の飽和特性は、第１歪み補正係数Ｌ１と第２歪み補正係数Ｌ２との補間により生成される第３歪み補正係数L３についても同様に影響を受けることになる。すなわち、図１０に示すように、第２歪み補正係数Ｌ２の飽和の影響を受ける事で補間値である（ｂ）の領域で第３歪み補正係数Ｌ３による像高ｈも同様に飽和して不連続となり変形する。

〔Ｃ−４−３〕画像への影響：
第２歪み補正係数Ｌ２が飽和して第３歪み補正係数Ｌ３が不連続になると、このような歪み補正係数を用いて歪み補正処理した場合には、歪み補正係数の飽和や不連続に対応して、対応する入射角の範囲内で画像不良が発生することがある。以下、画像不良について説明する。

〔Ｃ−４−３−１〕画像不良（１）：
たとえば、図１１の一点鎖線（ａ）で囲んだ範囲に示すように、歪み補正係数の飽和や不連続に対応する入射角の範囲内で、帯状の色のにじみ等により、本来は存在しない画像（偽画像）となって現れてくる。この画像不良のため、従来は被写体の正確な認識が困難になる場合があった。

この偽画像による画像不良は、計算の途中において飽和したｗ２ｃ値がオーバーフローして０として扱われ、その結果としてｗ２ｃ＝０に相当する光軸中心座標（像高＝０）付近の画素が飽和した入射角の位置に出現する現象である。

なお、図１１では、歪み補正処理と共に視点変換を行った状態を示すが、視点変換を行わずに歪み補正処理のみを行った場合でも、第２歪み補正係数Ｌ２の飽和や第３歪み補正係数Ｌ３の不連続の影響により、対応する入射角のいずれかの領域において同様な画像不良が発生する。

また、この画像不良は入射角が一定以上の領域で発生するものであるため、図１１（ａ）のような直線帯状ではなく、画像の歪みに合わせた曲線形状で出現することもあり得る。

〔Ｃ−４−３−２〕画像不良（２）：
また、図１０の領域（ｂ）において、第３歪み補正係数Ｌ３の傾きが本来の状態より小さくなっていることに起因して、本来より小さい値が指定された状態になり、中心から外側に広がるように「にじみ」として観察されうる画像不良も存在している。なお、この場合は、「にじみ」薄く広がっているため、図１１において具体的な箇所を示すことは難しい。

〔Ｃ−４−３−３〕画像不良（３）：
また、歪み補正処理や視点変換処理などの画像処理により、元々は存在しない画素が、図１１（ｂ）の破線で囲んだ領域のように黒色の領域として出現する。同様にして、撮像ユニット１１０のレンズの画角外の領域が、図１１（ｃ）の破線で囲んだ領域のように灰色の領域として表示される。

これら黒色領域や灰色領域は、歪み補正率や視点変換の度合いに応じて形や大きさが変化することになり、被写体の認識にとって邪魔な存在になる。また、この黒色領域や灰色領域は、上述した帯状の画像不良や滲みによる画像不良と同様に、入射角が一定以上の領域で発生するものであり、画像不良として扱うことが可能である。

〔Ｃ−４−４〕ブラックアウトポイント：
本実施形態においては、図１０に示されるようにこのように第２歪み補正係数Ｌ２が取得される事で画像不良が発生する可能性が高い飽和領域の画素データを、予め定められた所定の値に変換することで、画像不良が可視化しないようにする。たとえば、図１０の破線領域（ｂ）については、画像データを黒（Ｒ＝０，Ｇ＝０，Ｂ＝０）などの値に強制的に変換する。（勿論変換値は必ずしもこれに限定されない。）
そして、このような変換処理の対象である画素データか否かを判断するための閾値としてブラックアウトポイントを設定している。

なおブラックアウトポイントbopとは、第２歪補正係数において前述した画像処理の制限の関係でｗ２ｃ値が所定の値以上に飽和する点をいい、このbopに対応する最小の入射角をθbopとしている。上述のような予め定められた所定の値への変換処理は、このようなθbopよりも大きな入射角に対応する画素に対して適用する。

また第１歪み補正係数と第２歪み補正係数との補間によって得られる第３歪み補正係数を用いて段階的に歪み補正の度合いを変更するような場合には、bopを通る所定の境界線を設定して、このbopを通る所定の境界線に基づいて判別される第３歪み補正係数の所定の入射角を第２のブラックアウトポイントとし、当該入射角よりも大きい入射角に対応する画素を同様に所定値への変換処理を行う画素とする。

なおbopを通る所定の境界線も、飽和する領域に設定されて、飽和するｗ２ｃ値を所定の値に変換するかしないかの閾値である。例えば本実施形態においては図１２、図１３の第２歪み補正係数L2における（ｃ）点がbopであり、境界線は図１２では入射角θの軸に直交する直線が設定されている。

同様に図１３でも（ｃ）点がbopであり、このbopを通り所定の傾きをもって設定された直線が境界線である。

ここで、画像処理部１０１は、図１２（ａ）のように第２歪み補正係数Ｌ２が飽和した場合に、ブラックアウトポイントbopを通る境界線として、θbopにおける第２歪み補正係数Ｌ２（図１２（ｃ））におけるｗ２ｃ値、第２のブラックアウトポイントとしてθbopにおける第３歪み補正係数Ｌ３（図１２（ｄ１）〜（ｄ４））におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbopにおける第１歪み補正係数Ｌ１（図１２（ｄ５））におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。但し第１歪み補正係数Ｌ１では、第２歪み補正係数Ｌ２の飽和の影響を受けない。

なおこの図１２のようなbopを通る境界線は、入射角が９０度を超えないような、比較的レンズの画角が狭い光学系仕様の場合や、視点変換がない場合、L2とL1との間の変化の時間が短い場合やユーザが飽和によるエラー画素を生じさせない方を重視させる場合に有用である。

また、ブラックアウトポイントbopを通る境界線の別態様としては、図１３（ａ）のようにθbopと、撮像ユニット１１０のレンズの最大入射角θbop2とを求め、ブラックアウトポイントbop（図１３の（ｃ）点）とθbop2における第１歪み補正係数Ｌ１（図１３の（ｆ）点）とを結ぶ線をブラックアウトを通る境界線line_bop（図１３中の破線）とする事が可能である。そして画像処理部１０１は、bopにおけるｗ２ｃ値、第２のブラックアウトポイントとしてline_bopと交差する第３歪み補正係数Ｌ３（図１３の（ｅ１）〜（ｅ４）点）におけるｗ２ｃ値、第３のブラックアウトポイントとしてθbop2における第１歪み補正係数Ｌ１（図１２の（ｆ）点）におけるｗ２ｃ値、を取得する（図４中のステップＳ１０６）。

この場合、第３歪み補正係数Ｌ３が第１歪み補正係数Ｌ１に近づくにつれて、補間比率の関係で第２歪み補正係数Ｌ２の飽和の影響を受けなくなるため、所定の値に変換処理する入射角を徐々に大きくしている。

このような境界線は、入射角が９０度を超える光学系仕様の場合など、入射角が飽和領域の一部の値を用いる場合や、視点変換の角度が大きい場合、画像の急激な変化が好ましくない場合等に有用である。

そしてこのようにブラックアウトポイントを通る境界線を適宜設定する事で、前述した所定値に変換する画素かどうかの閾値が設定されるため、後段の歪補正処理において
各歪み補正係数によりカメラ座標系の各画素データに対応づけられたワールド座標系の各画素データを用いるか、それとも所定の値に変換するかを判別して、該当する画素データについては変換処理を適用する。

〔Ｃ−５〕歪み補正処理用ＬＵＴ作成：
画像処理部１０１は、各画素が上述した閾値に基づいて所定値に変換する画素に該当するか否かとは独立に、第１歪み補正係数Ｌ１、第２歪み補正係数Ｌ２、第３歪み補正係数Ｌ３、について、各補正率と入射角θとに応じたｗ２ｃ値から、仮想投影面ＶＰの座標をワールド座標系からカメラ座標系に変換する際の歪み補正処理に用いるＬＵＴを作成する（図４中のステップＳ１０７）。そして生成されたＬＵＴは記憶部１０３に記憶される。

なお、歪補正率毎に異なるＬＵＴを設けても良いし、１つのＬＵＴに複数の歪補正率に対応したデータを格納してもよい。

ここで図１４は、ワールド座標系を説明する模式図である。図１４に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０pixelの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお、この図１４におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。

画素Ｇｖのワールド座標系での座標と、ステップＳ１０４〜Ｓ１０５で取得した歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出してLUTを作成する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

図１５は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す説明図である。図１５において点ａ〜ｄは、図１４の点Ａ〜Ｄを、第１歪み補正係数Ｌ１を用いてカメラ座標系に変換した場合の座標位置である。

なお、図１５に示した座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、図４ステップＳ１０７のＬＵＴ生成過程で用いられる座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。ｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する画素データとして用いることが可能である。一方で、ｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。

なお図１４では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図１５においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお図１５においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

〔Ｃ−６〕歪み補正処理：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつ、ＬＵＴを用いて歪み補正処理した画像を生成する（図４中のステップＳ１０８）。

図１６は、歪み補正処理を説明する模式図である。図１６は画像データの一部を拡大表示したものであり、図示される格子はそれぞれ画素の区切りを示している。

図１６（ａ）の入力画像データは図１５の一部を拡大表示したものであり、図１４〜図１５で説明したように、直線上の被写体は、撮像素子面ＩＡ上では収差の影響で曲線上（図１６（ａ）太枠のＧｉ１〜Ｇｉ３）に入力されることになる。出力画像データの生成は、ＬＵＴを用いて出力画像データの各画素データを、入力画像データの対応する画素データを用いることにより行う。

ＬＵＴは、各歪補正率に応じた歪み補正係数を考慮して生成されているので、最終的に歪補正率＝１００％の第１歪み補正係数Ｌ１に基づいて生成されたＬＵＴのデータを用いた場合には、当該ＬＵＴの対応関係により画素Ｇｖ１のデータ（例えば輝度信号）は図１６（ａ）の座標（１００，２００）のＧｉ１のデータを参照することになる。Ｇｖ２、Ｇｖ３も同様にそれぞれＧｉ２、Ｇｉ３のデータを参照する。

この際、前述した様にブラックアウトポイントを通る境界線で設定される閾値以上の入射角に対応する画素と判断された画素についてはLUTで変換される画素データは無効なもの、つまりLUTにて変換される値に係わらず所定の値、例えば黒に塗りつぶすような値に変換する。

〔Ｃ−７〕画像出力：
画像処理部１０１は、図９のように時間に応じて歪補正率を変えつつＬＵＴを用いて歪み補正処理して生成した画像を表示部１２０に出力し画像表示する（図４中のステップＳ１０９）。たとえば、歪み補正処理により生成された出力画像を表示部１２０に対して、例えばフレームレート３０ｆｐｓ、あるいは６０ｆｐｓで出力して全体の処理を終了する。なお、この画像出力が、第３ステップである。

このような結果、歪補正率に応じて歪みが補正され、歪補正率＝１００％では図１６（ｂ）に示すように、出力画像データを生成に伴い曲線状の歪みは解消されて、直線の被写体は元の直線として生成（表示）されることになる。

また、図１６には示されていないが、歪補正率＝０％であれば図１６（ａ）の歪みをそのままのこした形状の画像が出力され、歪補正率が０％より大きく１００％より小さけば図１６（ａ）と図１６（ｂ）の中間の歪みを残した形状の画像が出力される。

なお、この際に、ステップＳ１０１において仮想投影面ＶＰの設定により視点変換の設定がなされているような場合には、画像処理部１０１でこのような処理も併せて行われることになる。

〔Ｄ〕歪み補正処理による表示例：
以下、本実施形態の歪み補正処理を適用した場合の表示例を説明する。

〔Ｄ−１〕仮想投影面ＶＰの位置変更による視点変換：
図１７は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。この図１７に示すように画像中心ｏを回転中心としてｘ軸回りの回転が実ｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転が実ｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転が実ｒｏｌｌである。

図１８は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。

図９（ｂ）における、第２位置Ｖ２は初期状態の位置に設定している。このときの仮想投影面ＶＰはＸＹ平面と平行でありその中心ｏｖは光軸Ｚ上にある（図１７、図１８のＶＰ０の位置に相当）。第１位置Ｖ１は、仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに４５度で両者を合わせて９０度に設定した例である。この場合、被写体を見下ろすように視点変換がなされる。なお位置変更の組み合わせはこれに限られず、平行移動、実ｐｉｃｔｈ、実ｙａｗ、実ｒｏｌｌ、仮想ｐｉｔｃｈ、仮想ｙａｗ、の何れかあるいはこれらを組み合わせても良い。

〔Ｄ−２〕仮想投影面ＶＰの位置変更による視点変換の画像処理例：
図１９（ａ）〜図１９（ｆ）は、上述のＤ−１のように９０°見下ろす始点変換を伴い、上述した各歪み補正係数においてブラックアウトポイントbopで塗りつぶしを行うことで、画像不良を表示させないように、画像処理部１０１で歪み補正処理し、表示部１２０に表示させた表示画像の例である。また、この図１９の例では、図９（ｂ）に示したように歪補正率の変化に対応させて仮想投影面ＶＰの位置も変化させている。

図１９（ａ）は、初期値として歪補正率０％（第２歪み補正係数Ｌ２）で位置移動率０％（第２位置）の条件で算出した画像データを表示させた例である。

図１９（ｂ）〜図１９（ｅ）は、歪補正率、位置移動率がともに２０％，４０％，６０％，８０％に変化させた条件下で算出された画像データを表示させた例である。なお、上述したb塗りつぶしの領域を、ここでは、ハッチングで示している。実際には、黒など一定の値で塗りつぶすことになるので、画像不良を覆い隠しつつ、目立たない状態になる。

なお本図面では明確ではないが、本態様のように所定の値に変換処理を行う事によって、単に飽和した領域をそのまま表示する場合と比べて「にじみ」が効果的に解消される。

また、ここでは、図１３のようにブラックアウトポイントbopを通る境界線を補正率に応じて徐々に変化させた場合を具体例としている。

そして、図１９（ｆ）では、歪補正率が１００％とすることにより画像の歪みは解消されており、また位置の移動により仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに−４５ｄｅｇ変更されており被写体を見下ろすように視点変更がなされている。

以上の処理で、表示部１２０には、図１９（ａ）を初期画像として、最終画像の図１９（ｆ）までを一定の速度で表示画像を順次更新しながら表示させている。図９（ｂ）の具体例では、補正率及び位置移動率が低い画像から高い画像まで順に表示させ、これを１０秒周期で繰り返している。

また、図１２のようにブラックアウトポイントbopを通る境界線を垂直に定めた場合の表示例を、図２０に示す。この場合には、図１１で説明した灰色領域や黒色領域の画像不良についても一定値での塗りつぶし（図２０中ではハッチングで示す）が施されるため、〔Ｃ−４−３−１〕画像不良（１），〔Ｃ−４−３−２〕画像不良（２），〔Ｃ−４−３−３〕画像不良（３）の画素出力を効果的に軽減させることができる。

本実施形態によれば、位置が設定された前記仮想投影面を補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うに際し、補正係数及び位置のデータを変更させながら画像データの算出を行うことにより、歪補正率変更とともに仮想投影面の位置変更（カメラ視点の変更）を並行して行う場合であっても、別なプロセスを設ける必要がない。新たなリソースの増強を必要とせずに位置変更と歪補正率変更を同時に行うことが可能となる。

また、本実施形態によれば、歪補正しない出力画像から歪補正を行う出力画像までを歪補正率を段階的に変更することにより歪補正しない出力画像の正確な認識を図ることが容易になり、この際に、歪み補正係数の飽和の影響で発生する画像不良を覆い隠すことで、被写体の正確な認識を図ることが可能になる。

すなわち、広角レンズへ非常に大きな角度で入射する事による画像処理上の制限で生ずる画像不良による被写体の誤認識を簡易的な方法で、しかも効果的に軽減することができる。

１００ 制御装置
１０１ 画像処理部
１０２ 設定部
１０３ 記憶部
１１０ 撮像ユニット
１２０ 表示部
１３０ 操作部
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 画像中心
Ｌ１ 第１歪み補正係数
Ｌ２ 第２歪み補正係数
Ｌ３ 第３歪み補正係数

Claims (15)

1. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法であって、
   ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
   前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
   前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、を有し、
   前記第２ステップで用いられる前記歪み補正係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって、前記歪みを補正しない第２歪み補正係数とが含まれており、
   前記第２ステップには、第２歪み補正係数が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換するステップを含むことを特徴とする画像処理方法。
2. 前記３ステップは段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
   前記第２ステップにおいて前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
   ことを特徴とする請求項１記載の画像処理方法。
3. 前記第２ステップで、前記第２歪み補正係数の値が所定の値以上となる最小入射角がある場合、前記最小入射角より大きな入射角に対応する前記画素データを予め定められた所定の値に変換する際、前記第３歪み補正係数に含まれる前記第２歪み補正係数の補間割合に応じて前記所定の値に変換する際の前記入射角を変更する、
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
   前記第２ステップでは、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
   ことを特徴とする請求項１〜３のいずれか一項に記載の画像処理方法。
5. 前記第２歪み補正係数は、以下の条件式(1)で表される、
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
   Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
   ここで、
   ExportImageSize：表示部で表示する出力画像の長辺の長さ，
   focal：設定された仮想投影面の長辺方向における画角，
   である。
6. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
   歪み補正係数を記憶する記憶部と、
   位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
   前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
   前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
   前記画像処理部は、前記第２歪み補正係数が所定の値以上となる最小入射角がある場合に、前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換することを特徴とする画像処理装置。
7. 前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
   前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理部で、前記第２歪み補正係数が所定の値以上となる最小入射角を判別し、第２歪み補正係数が所定の値以上となる最小入射角がある場合であって前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換する際に、前記第３歪み補正係数に含まれる前記第２歪み補正係数の補間割合に応じて前記変換する際の前記入射角を変更する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
   前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
   ことを特徴とする請求項６−８のいずれか一項に記載の画像処理装置。
10. 前記第２歪み補正係数は、以下の条件式(1)で表される、
    ことを特徴とする請求項６−９のいずれか一項に記載の画像処理装置。
    Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
    ここで、
    ExportImageSize：表示部で表示する出力画像の長辺の長さ，
    focal：設定された仮想投影面の長辺方向における画角，
    である。
11. 光学系と、
    複数の画素を有する撮像素子と、
    前記光学系の歪み補正係数を記憶する記憶部と、
    仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、を有し、
    前記記憶部には、記憶される前記歪み補正係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出され前記光学系により生ずる歪みを補正するための第１歪み補正係数並びに前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高であって前記歪みを補正しない第２歪み補正係数を有し、
    前記画像処理部は、前記第２歪み補正係数が所定の値以上となる最小入射角がある場合に、前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換することを特徴とする撮像装置。
12. 前記画像信号出力部は段階的に歪みが補正された画像データの表示用動画像を出力するものであって、
    前記画像処理部は、前記第１歪み補正係数、前記第２歪み補正係数、及び前記第１、第２歪み補正係数から補間によって得られた第３歪み補正係数を段階的に切り替えて用いて仮想投影面の画像データを算出する、
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前期画像処理部で、前記第２歪み補正係数が所定の値以上となる最小入射角を判別し、第２歪み補正係数が所定の値以上となる最小入射角がある場合であって前記最小入射角より大きな入射角に対応する画素データを、予め定められた所定の値に変換する際、前記第３歪み補正係数に含まれる前記第２歪み補正係数の補間割合に応じて前記変換する際の前記入射角を変更する、
    ことを特徴とする請求項１２に記載の撮像装置。
14. ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
    前記画像処理部は、初期の前記第２位置と前記第２歪み補正係数、最終の前記第１位置と前記第１歪み補正係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み補正係数、と段階的に切り替えて用いて仮想投影面の画像データを算出する、
    ことを特徴とする請求項１１−１３のいずれか一項に記載の撮像装置。
15. 前記第２歪み補正係数は、以下の条件式(1)で表される、
    ことを特徴とする請求項１１−１４のいずれか一項に記載の撮像装置。
    Ｌ２＝（（ExportImageSize/2）／（tan(focal/2)））×tanθ …式(1)
    ここで、
    ExportImageSize：表示部で表示する出力画像の長辺の長さ，
    focal：設定された仮想投影面の長辺方向における画角，
    である。