JP2013110513A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供する。
【解決手段】検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える。撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力する。画像処理部は、撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する。
【選択図】図７

Description

本発明は、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。

検査対象物の外観検査を実行する場合、コントラストの大きい検査対象物を撮像したときには、撮像した画像の高輝度領域において白飛び、低輝度領域において黒つぶれが発生するおそれがある。画像に白飛び、黒つぶれが発生するのを回避するために、ＨＤＲ処理を行って検査対象物の画像検査を実行している。

典型的なＨＤＲ処理としては、例えば露光時間の異なる画像を複数撮像し、撮像した複数の画像に基づいて受光素子のダイナミックレンジより広いダイナミックレンジを有する合成画像をＨＤＲ画像として生成している。

特開２０００−０２３１８３号公報 特開平０７−０４６６０５号公報

ＨＤＲ画像を生成する場合、異なる複数の露光条件で撮像した複数の画像を合成することにより、多階調の合成画像をＨＤＲ画像として生成する。したがって、ＨＤＲ画像を生成するのに相当の時間を要し、検査タクトタイムを短縮することが困難になるという問題があった。

また、少しでもＨＤＲ画像を生成する時間を短縮するべく、１回の撮像時に異なる複数の時間内での受光信号の上限値を段階的に変化させることにより、複数回撮像した場合と同様のＨＤＲ画像を生成する方法も考えられている。しかし、ＨＤＲ画像を生成する場合、輝度が高い画素の画素値が小さくなるので画像全体が灰色がかった色になり、彩度が低下して色褪せた画像となる。

これに対して、ＨＤＲ画像に対して彩度を補正する技術も開示されている（特許文献１及び２参照）。しかし、いずれもＨＤＲ画像に対して彩度を補正する技術であって、ＨＤＲ画像として生成する前の彩度、色相等を正確に再現する技術ではない。

本発明は、斯かる事情に鑑みてなされたものであり、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する補正後ＨＤＲ画像生成部とを備えることを特徴とする。

また、第２発明に係る画像処理装置は、第１発明において、前記算出部は、前記色成分値の最大値を前記明度として算出し、前記補正後ＨＤＲ画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成することを特徴とする。

また、第３発明に係る画像処理装置は、第１又は第２発明において、前記画像処理部は、前記逆変換部により逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする。

また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記撮像部においてＨＤＲ画像に変換するか否かを切り替える切替部を備えることを特徴とする。

次に、上記目的を達成するために第５発明に係る画像処理方法は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能な画像処理方法において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成することを特徴とする。

また、第６発明に係る画像処理方法は、第５発明において、前記色成分値の最大値を前記明度として算出し、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成することを特徴とする。

また、第７発明に係る画像処理方法は、第５又は第６発明において、前記画像処理部は、逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする。

また、第８発明に係る画像処理方法は、第５乃至第７発明のいずれか１つにおいて、前記撮像部においてＨＤＲ画像に変換するか否かを切り替えることを特徴とする。

次に、上記目的を達成するために第９発明に係るコンピュータプログラムは、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力する手段として機能させ、前記画像処理部を、前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する補正後ＨＤＲ画像生成手段として機能させることを特徴とする。

また、第１０発明に係るコンピュータプログラムは、第９発明において、前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、前記補正後ＨＤＲ画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成する手段として機能させることを特徴とする。

また、第１１発明に係るコンピュータプログラムは、第９又は第１０発明において、前記画像処理部を、逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする。

第１発明、第５発明及び第９発明では、撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力する。画像処理部は、撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する。算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する。生成した補正後ＨＤＲ画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の１回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のＨＤＲ画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。

第２発明、第６発明及び第１０発明では、色成分値の最大値を明度として算出し、画素ごとに算出した明度を変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、補正後ＨＤＲ画像を生成する。これにより、生成した補正後ＨＤＲ画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。

第３発明、第７発明及び第１１発明では、逆変換されたＨＤＲ画像の画素ごとの各色成分値に対して、ホワイトバランスを調整するゲインを乗算するので、ホワイトバランスを調整するときの色の変化を抑制することが可能となる。より詳細に説明すると、撮像部から出力されたＨＤＲ画像に対してホワイトバランス調整を実行すると、画像の色合いが変化する場合があるが、本発明のように、逆変換部により逆変換されたＨＤＲ画像に対してホワイトバランス調整を実行することによって、ホワイトバランス調整をした際に色合いが変化することを抑制することができる。

第４発明及び第８発明では、撮像部においてＨＤＲ画像に変換するか否かを切り替えることができるので、検査対象物を撮像した場合にハレーションが生じないときは、ＨＤＲ画像を生成しないよう切り替えることができ、全体として演算処理負荷を軽減することが可能となる。

本発明では、生成した補正後ＨＤＲ画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の１回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のＨＤＲ画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。

本発明の実施の形態に係る画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。 本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。 本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。 本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。 ダイナミックレンジを広げるための変換特性の例示図である。 撮像装置で撮像したカラー画像の状態変化を示す図である。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの処理手順を示すフローチャートである。 本発明の実施の形態に係る画像処理センサの撮像装置の、ホワイトバランスを調整する場合の機能ブロック図である。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。

図１は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図1に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。

撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。

図２は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図２（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図２（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図２（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。

図２（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。

図２（ｂ）及び図２（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。

図３は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図３において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図２（ｂ）及び図２（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカス機能を実現している。

通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。

照明基板（照明部）１５は、検査対象物を撮像する撮像領域に光を照射する、複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。

カメラモジュール（撮像部）１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板にてＨＤＲ画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。

メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。

メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対して画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。

図４は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図４に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。

また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。

ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図５は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り替え画面の例示図である。

図５（ａ）は、「検査モード」の画面表示の例示図である。図５（ａ）に示すように、検査対象物表示領域５１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン５２が切替部として機能し、「センサ設定」ボタン５２が選択された場合、「設定モード」へと切り替わり、図５（ｂ）に示す画面へと画面遷移する。

図５（ｂ）は、「設定モード」の画面表示の例示図である。図５（ｂ）に示すように、プログラム選択領域５３にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。

また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域５４にマスタ画像が表示される。「設定ナビ」ボタン５５が選択された場合、詳細な設定を行う設定画面に画面遷移する。図５（ｂ）の「運転開始」ボタン５６は切替部として機能し、「運転開始」ボタン５６が選択された場合、「検査モード」へと切り替わり、図５（ａ）に示す画面へと画面遷移する。

図６は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図６に示す設定画面を通じて、ユーザは、撮像条件の設定（図６（ａ））から、パターンサーチする基準となるマスタ画像の登録（図６（ｂ））、マスタ画像に対して輪郭サーチ等のツール設定（図６（ｃ）〜図６（ｅ））、出力割当（図６（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図５（ｂ）に示す「設定ナビ」ボタン５５が選択された場合、まず図６（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域６１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図４に示すタッチパネル２１上に表示される。

また、より詳細な設定をするには、図６（ａ）の「拡張機能」ボタン６２を選択すれば良い。「拡張機能」ボタン６２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。

図６（ａ）の「進む」と表示された「画面遷移」ボタン６３が選択された場合、図６（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。

マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン６４を選択すればよい。「Ｌｉｖｅ画像登録」ボタン６４が選択された時点で撮像されている画像がマスタ画像として登録される。

図６（ｂ）の「進む」と表示された「画面遷移」ボタン６５が選択された場合、図６（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。

ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図６（ｃ）に示す「追加」ボタン６６が選択された場合、図６（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン６７が選択された場合、図６（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。

図６（ｃ）の「進む」と表示された「画面遷移」ボタン６８が選択された場合、図６（ｆ）に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン６９が選択された場合、図５（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図４に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン６３、６５、６８を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。

図７は、本発明の実施の形態に係る画像処理センサの撮像装置１の機能ブロック図である。図７において、カラー画像取得部７０１は、図３に示すカメラモジュール１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値を色成分値として取得する。ＨＤＲ画像生成部７０２は、取得したカラー画像の画素値（色成分値）を、ダイナミックレンジを広げる変換特性に基づいて変換することにより、ＨＤＲ画像を生成する。具体的には画素ごとに変換特性に応じた画素値へと変換する。

図８は、ダイナミックレンジを広げるための変換特性の例示図である。図８では、縦軸（ｘ軸）に変換後の画素値（８ビット）を、横軸（ｙ軸）にＨＤＲ画像の画素値（１０ビット）を、それぞれ示している。ＨＤＲ画像生成部７０２は、取得したカラー画像の画素値（色成分値）ｙを図８に示す変換特性に応じた画素値（色成分値）ｘへと変換する。つまり、ダイナミックレンジ（定義としては、例えば、最も明るい部分と最も暗い部分との明暗の比率、識別可能な信号の最小値と最大値との比率、又はこれらの比率をｄＢ単位で示したもの等）を広げるように、所定の変換特性（例えば対数特性）に基づいて画素値を変換する。本実施の形態では、図８に示すような変換特性を用いているが、本発明は特に斯かる変換特性に限定されるものではなく、例えば折れ線ではなく滑らかな曲線で表される変換特性であっても良い。

また、本実施の形態では、カラー画像取得部７０１及びＨＤＲ画像生成部７０２の一例として、ＣＭＯＳ基板１４２を考えている。すなわち、ＨＤＲ画像生成・出力機能を有するＣＭＯＳ基板を考えている。画像処理検査の分野では、検査画像の中にハレーションや黒飛びが発生すると検査精度の低下を招くことから、このようなＨＤＲ画像生成・出力機能を有するＣＭＯＳ基板を用いることが一般的である。本実施の形態に係る画像処理センサは、このようなＣＭＯＳ基板を用いた場合であったとしても、検査対象物の表面の彩度、色相等をより正確に再現することができる。つまり、本実施の形態に係る画像処理センサは、検査精度の低下を防止しつつ、検査対象物の表面の彩度、色相等をより正確に再現することができる。

図７に戻って、逆変換部７０３は、ＨＤＲ画像生成部７０２で生成されたＨＤＲ画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。なお、本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。

算出部７０４は、逆変換された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は０〜１の範囲の値として求めることができ、ひいては演算処理負荷の軽減、メモリ資源の利用の効率化等を図ることができる。ただし、本発明はこれに限定されるものではなく、例えば色成分値を足し合わせた合計値を明度としても良い。

補正後ＨＤＲ画像生成部７０５は、算出した明度を変換特性に基づいて変換してＨＤＲ画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後ＨＤＲ画像を生成する。なお、本実施の形態では、補正後のＨＤＲ画像を生成する場合に、再変換された明度を算出した各色成分値の比に乗算する計算法を採用しているが、本発明はこれに限定されるものではない。

以下、具体的な数値を用いて、より詳細に説明する。例えば、ＣＭＯＳ基板１４２で撮像されたカラー画像の色成分値をそれぞれＲ、Ｇ、Ｂとした場合、メイン基板１３のＦＰＧＡ１３１には、ＨＤＲ画像へ変換されたＲ’、Ｇ’、Ｂ’が渡されるものとする。ＦＰＧＡ１３１は、ＨＤＲ画像へ変換されたＲ’、Ｇ’、Ｂ’を逆変換することにより、画素ごとの色成分値ＲＬ、ＧＬ、ＢＬを算出する。

ここで、明度ＶＬを、画素ごとの色成分値ＲＬ、ＧＬ、ＢＬの最大値として算出することで、画素ごとの明度と各色成分値との比は、ＲＬ／ＶＬ、ＧＬ／ＶＬ、ＢＬ／ＶＬと表すことができる。明度ＶＬはＨＤＲ画像から逆変換された値なので、再度ＨＤＲ画像へ変換し、明度Ｖを得る。したがって、画素ごとの色成分値は、再変換された明度Ｖを用いて、ＲＬ／ＶＬ×Ｖ、ＧＬ／ＶＬ×Ｖ、ＢＬ／ＶＬ×Ｖと表すことができる。

例えば、具体的な数値として、ＨＤＲ変換前の画像の色成分値を（Ｒ、Ｇ、Ｂ）＝（７６８、１９６、９６）とすると、彩度Ｓは、（７６８−９６）／７６８で０．８７５となる。この状態で図８に示す変換特性に応じてＨＤＲ画像に変換すると、（Ｒ、Ｇ、Ｂ）＝（２２４、１１３、８０）となる。このままでは、彩度Ｓは、（２２４−８０）／２２４で０．６４３となり、色合いに変化が生じ、例えば灰色がかった色になり、彩度が低下して褪せたような色となる。

それに対して、本実施の形態のように、ＨＤＲ画像に対して色補正をする場合、前述の例と同様にＨＤＲ変換前の画像の色成分値を（Ｒ、Ｇ、Ｂ）＝（７６８、１９６、９６）とすると、ＲＧＢ比が８：２：１と求まる。明度Ｖは色補正をしない場合と同様７６８であるから、図８に示す変換特性に応じて変換すると、Ｒは２２４となる。したがって、求めたＲＧＢ比に応じて、（Ｒ、Ｇ、Ｂ）＝（２２４、５６、２８）となる。この場合、彩度Ｓは、（２２４−２８）／２２４で０．８７５と変化せず、色相Ｈも同様に変化しない。したがって、明度Ｖに対してのみ色補正の影響が出るため、画像全体が色褪せた画像にはならない。

図９は、撮像装置１で撮像したカラー画像の状態変化を示す図である。図９（ａ）に示すように、ＨＤＲ画像を生成しない場合には色の境界がぼやけて表示されている。ＨＤＲ画像を生成する場合、図９（ｂ）に示すようにＨＤＲ画像に対して色補正をしないときには、生成した補正後ＨＤＲ画像の彩度Ｓが低下し、色褪せたような画像になる。一方、図９（ｃ）に示すようにＨＤＲ画像に対して色補正をすることにより、生成した補正後ＨＤＲ画像の彩度、色相は、撮像されたカラー画像の彩度、色相とほぼ同一になる。したがって、色褪せることがなく、検査における欠陥の検出精度の低下を防止することができる。

図１０は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の処理手順を示すフローチャートである。図１０において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、カメラモジュール１４で変換されて生成されたＨＤＲ画像の、画素ごとの色成分値として取得する（ステップＳ１００１）。

ＦＰＧＡ１３１は、取得したＨＤＲ画像の画素ごとの色成分値を、変換特性に基づいて逆変換する（ステップＳ１００２）。ＦＰＧＡ１３１は、逆変換された画素値から、画素ごとに明度及び色成分値の比を算出する（ステップＳ１００３）。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は０〜１の範囲の値として求めることができる。

ＦＰＧＡ１３１は、算出した明度を変換特性に基づいて変換してＨＤＲ画像における明度へと再変換する（ステップＳ１００４）。そして、ＦＰＧＡ１３１は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後ＨＤＲ画像を生成する（ステップＳ１００５）。

なお、白色を白色として表示するためには、Ｒ、Ｇ、Ｂそれぞれの色成分値のホワイトバランスを調整することが必要となる。図１１は、本発明の実施の形態に係る画像処理センサの撮像装置１の、ホワイトバランスを調整する場合の機能ブロック図である。図１１において、カラー画像取得部７０１、ＨＤＲ画像生成部７０２は、ホワイトバランスを調整しない場合と同様であるので詳細な説明は省略する。

逆変換部７０３は、ＨＤＲ画像生成部７０２で生成されたＨＤＲ画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。

ホワイトバランス調整部１１０１は、ホワイトバランスを調整するゲインを、逆変換された画素ごとの画素値（色成分値）に乗算する。そして、算出部７０４は、ゲインが乗算された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は０〜１の範囲の値として求めることができる。

補正後ＨＤＲ画像生成部７０５は、算出した明度を変換特性に基づいて変換してＨＤＲ画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後ＨＤＲ画像を生成する。

例えば、ＣＭＯＳ基板１４２で撮像されたカラー画像の色成分値をそれぞれＲ、Ｇ、Ｂとした場合、メイン基板１３のＦＰＧＡ１３１には、ＨＤＲ画像へ変換された色成分値Ｒ’、Ｇ’、Ｂ’が渡されるものとする。ＦＰＧＡ１３１は、ＨＤＲ画像へ変換された色成分値Ｒ’、Ｇ’、Ｂ’を逆変換することにより、画素ごとの色成分値ＲＬ、ＧＬ、ＢＬを算出する。

次に、算出した画素ごとの色成分値ＲＬ、ＧＬ、ＢＬに、ホワイトバランスを調整するゲイン（ＡＲ、ＡＧ、ＡＢ）を乗算する。したがって、ホワイトバランスを調整した後の画素ごとの色成分値は、（ＲＬ×ＡＲ、ＧＬ×ＡＧ、ＢＬ×ＡＢ）となる。

ここで、明度ＶＬを、画素ごとの色成分値ＲＬ×ＡＲ、ＧＬ×ＡＧ、ＢＬ×ＡＢの最大値として算出することで、画素ごとの明度と各色成分値との比は、ＲＬ×ＡＲ／ＶＬ、ＧＬ×ＡＧ／ＶＬ、ＢＬ×ＡＢ／ＶＬと表すことができる。明度ＶＬはＨＤＲ画像から逆変換された値なので、再度ＨＤＲ画像へ変換し、明度Ｖを得る。したがって、画素ごとの色成分値は、再変換された明度Ｖを用いて、ＲＬ×ＡＲ／ＶＬ×Ｖ、ＧＬ×ＡＧ／ＶＬ×Ｖ、ＢＬ×ＡＢ／ＶＬ×Ｖと表すことができる。

ＨＤＲ画像への変換を行わない場合、色成分値を（Ｒ、Ｇ、Ｂ）＝（１６０、２００、１００）とし、ホワイトバランスを調整するゲイン（ＡＲ、ＡＧ、ＡＢ）＝（１．２５、１．００、２．００）を乗算する。これにより、色成分値は（Ｒ、Ｇ、Ｂ）＝（２００、２００、２００）となるので白色表示となる。ＨＤＲ画像に変換する場合、ＲＧＢ比が同じ色成分値（Ｒ、Ｇ、Ｂ）＝（３２０、４００、２００）を、図８に示す変換特性に応じて変換すると、（Ｒ、Ｇ、Ｂ）＝（１４４、１６４、１１４）となる。このまま、ゲイン（１．２５、１．００、２．００）を乗算した場合、（Ｒ、Ｇ、Ｂ）＝（１８０、１６４、２２８）となるので、白色を白色として表示することができなくなる。

それに対して、本実施の形態のように、ＨＤＲ画像に対して色補正をして、ホワイトバランスを調整する場合、ＨＤＲ画像の色成分値を（Ｒ、Ｇ、Ｂ）＝（１４４、１６４、１１４）とすると、図８に示す変換特性に応じて逆変換して、（Ｒ、Ｇ、Ｂ）＝（３２０、４００、２００）となる。これにホワイトバランスを調整するゲイン（ＡＲ、ＡＧ、ＡＢ）＝（１．２５、１．００、２．００）を乗算して、（Ｒ、Ｇ、Ｂ）＝（４００、４００、４００）としておくことにより、図８に示す変換特性に応じて変換して、（Ｒ、Ｇ、Ｂ）＝（１６４、１６４、１６４）となる。したがって、白色を確実に白色として表示することができる。

図１２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。図１２において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、カメラモジュール１４で変換されて生成されたＨＤＲ画像の、画素ごとの色成分値として取得する（ステップＳ１００１）。

ＦＰＧＡ１３１は、取得したＨＤＲ画像の画素ごとの色成分値を、変換特性に基づいて逆変換する（ステップＳ１００２）。ＦＰＧＡ１３１は、逆変換された画素ごとの画素値（色成分値）にホワイトバランスを調整するゲインを乗算し（ステップＳ１２０１）、ゲインが乗算された画素値（色成分値）から、画素ごとに明度及び色成分値の比を算出する（ステップＳ１００３）。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は０〜１の範囲の値として求めることができる。

ＦＰＧＡ１３１は、算出した明度を変換特性に基づいて変換してＨＤＲ画像における明度へと再変換する（ステップＳ１００４）。そして、ＦＰＧＡ１３１は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後ＨＤＲ画像を生成する（ステップＳ１００５）。

以上のように本実施の形態によれば、生成した補正後ＨＤＲ画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の１回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のＨＤＲ画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、上記実施例では、撮像装置１と表示装置２とは別体となっているが、両者が一体になった画像処理装置であっても良い。

１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール
２１ タッチパネル
１３１ ＦＰＧＡ
７０１ カラー画像取得部
７０２ ＨＤＲ画像生成部
７０３ 逆変換部
７０４ 算出部
７０５ 補正後ＨＤＲ画像生成部
１１０１ ホワイトバランス調整部

Claims (11)

1. 検査対象物を撮像する撮像素子を有する撮像部と、
   該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
   を備える画像処理装置において、
   前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力し、
   前記画像処理部は、
   前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、
   逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、
   算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する補正後ＨＤＲ画像生成部と
   を備えることを特徴とする画像処理装置。
2. 前記算出部は、前記色成分値の最大値を前記明度として算出し、
   前記補正後ＨＤＲ画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記逆変換部により逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像部においてＨＤＲ画像に変換するか否かを切り替える切替部を備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 検査対象物を撮像する撮像素子を有する撮像部と、
   該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
   を備える画像処理装置で実行することが可能な画像処理方法において、
   前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力し、
   前記画像処理部は、
   前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、
   逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、
   算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成することを特徴とする画像処理方法。
6. 前記色成分値の最大値を前記明度として算出し、
   画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成することを特徴とする請求項５に記載の画像処理方法。
7. 前記画像処理部は、逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする請求項５又は６に記載の画像処理方法。
8. 前記撮像部においてＨＤＲ画像に変換するか否かを切り替えることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理方法。
9. 検査対象物を撮像する撮像素子を有する撮像部と、
   該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
   を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
   前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換して出力する手段として機能させ、
   前記画像処理部を、
   前記撮像部から出力されたＨＤＲ画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、
   逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び
   算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後ＨＤＲ画像を生成する補正後ＨＤＲ画像生成手段
   として機能させることを特徴とするコンピュータプログラム。
10. 前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、
    前記補正後ＨＤＲ画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後ＨＤＲ画像を生成する手段として機能させることを特徴とする請求項９に記載のコンピュータプログラム。
11. 前記画像処理部を、逆変換されたＨＤＲ画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする請求項９又は１０に記載のコンピュータプログラム。