WO2006068289A1

WO2006068289A1 - 学習装置と学習方法および学習プログラム

Info

Publication number: WO2006068289A1
Application number: PCT/JP2005/023997
Authority: WO
Inventors: Takahiro Nagano; Tetsujiro Kondo; Tsutomu Watanabe; Junichi Ishibashi; Hisakazu Shiraki; Naoki Fujiwara; Masanori Kanemaru; Shinichiro Kaneko; Yasuhiro Suto
Original assignee: Sony Corporation
Priority date: 2004-12-21
Filing date: 2005-12-21
Publication date: 2006-06-29
Also published as: KR20070094740A; KR101211074B1; EP1830562A1; US20080075362A1; CN101088281A; CN101088281B; JP4872672B2; JPWO2006068289A1; EP1830562A4; US7940993B2

Abstract

　動き設定部（６１）は、処理係数を求める動き量と動き方向を設定する。生徒画像生成部（６２）は、設定された動き量や動き方向だけでなく、特定の割合で動き量および動き方向の少なくとも一方を変更して教師画像に動きボケを付加した生徒画像や動きボケを付加していない生徒画像を生成する。予測タップ抽出部（６４）は、注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素値を少なくとも抽出する。処理係数生成部（６５）は、抽出した画素と教師画像内の注目画素との関係から、抽出した画素の画素値に基づき教師画像内の注目画素を予測する処理係数を生成する。動きベクトルのずれに対してロバストな動きボケ除去処理を行うことができる処理係数を学習によって生成できる。

Description

明細書

学習装置と学習方法および学習プログラム技術分野

この発明は、学習装置と学習方法および学習プログラムに関する。詳しくは、設定された動き量と動き方向とに基づき、教師画像に動きボケを付加することで生徒画像を生成して、教師画像内の注目画素に対応する生徒画像内の画素の画素値に基づき、注目画素のクラスを決定する。また、生徒画像内の動'きボケが生じている動きォブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する。この抽出した画素値と教師画像内の注目画素との関係から、抽出した画素値に基づいて教師画像内の注目画素を予測する処理係数の生成を検出されたクラス毎に行う。この生徒画像の生成では、特定の割合で、動き量および動き方向のうち少なくとも何れか一方を変更して生徒画像の生成を行うものである。背景技術

従来より、現実世界における事象を、センサを用いてデータ化することが行われている。このセンサを用いて取得されたデータは、現実世界の情報（例えば、光）力現実世界より低い次元の時空間に射影して得られた情報である。このため、射影して得られた情報は、射影により発生する歪みを有している。例えば、静止している背景の前で移動する物体をビデオカメラで撮像して画像信号としてデータ化する場合、現実世界の情報をサンプリングしてデータ化することから、画像信号に基づいて表示される画像では、射影により発生する歪みとして、動いている物体がボケてしまう動きボケが生じる。

このため、特開 2 0 0 1— 2 5 0 1 1 9号公報（対応米国出願番号： 0 9 / 8 3 0 8 5 8、対応欧州特許公開番号： E P 1 1 6 4 5 4 5 ) で開示されているように、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出し、この粗く抽出された前景のオブジェクトに対応する画像オブジェク卜の動きべクトルを検出して、検出した動きべクトルおよび動きべクトルの位置情報を用いて動きボケの軽減が行われている。発明の開示

ところで、このような従来の動きボケ除去においては、入力信号中の動きボケを生じている部分のボケ量に応じた空間的な処理を行うことによってボケ除去を行っていた。しかし、動画像においても同じような空間的に完結した処理を行うので、動きボケ除去処理の精度は、動きベクトル推定の精度に非常に強く影響される。すなわち、推定された動きべクトルがずれを生じると、使用する処理領域や処理係数が変化してしまい、動きボケ除去処理後の画像が破綻を生じてしまうおそれがある。また、時間情報を用いようとしても推定された動きベクトルのずれが更に助長されるので、時間方向の情報を有意義に用いて処理に活用することができない。

更に、動きオブジェクトと静止しているオブジェクトが含まれている画像に対して動きボケ除去を行っても、静止しているオブジェク卜の画像は破綻しないように処理できなければ、動きボケを除去した良好な撮像画像を得ることができなくなつてしまう。

この発明に係る学習装置は、動き量を設定する動き量設定部と、動き方向を設定する動き方向設定部と、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成部と、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出部と、少なくとも動き方向毎に、複数組の、予測タップ抽出部により抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タップ抽出部により抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成部とを備え、生徒画像生成部は、特定の割合で、教師画像に動きボケを付加しなレ、生徒画像を生成するものである。この発明に係る学習方法は、動き量を設定する動き量設定工程と、動き方向を設定する動き方向設定工程と、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成工程と、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像內の画素の画素値を少なくとも抽出する予測タップ抽出工程と、少なくとも動き方向毎に、複数組の、予測タップ抽出部により抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タップ抽出工程により抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成工程とを有し、生徒画像生成工程では、特定の割合で、教師画像に動きボケを付加しない生徒画像を生成するものである。

また、この発明に係る学習プログラムは、コンピュータに、動き量を設定する動き量設定ステップと、動き方向を設定する動き方向設定ステップと、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成すると共に、特定の割合で、教師画像に動きボケを付加しない生徒画像を生成する生徒画像生成ステップと、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出ステップと、少なくとも動き方向毎に、複数組の、予測タップ抽出ステップにより抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タツプ抽出ステップにより抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成ステップとを実行させるものである。

この発明においては、設定された動き量や動き方向とに基づいて、教師画像に対し動きボケが付加されて生徒画像が生成される。この生徒画像の生成では、特定の割合で、動き量を「0」として動きボケを付加していない生徒画像の生成や、設定された動き量および動き方向のうち少なくとも何れか一方を変更して変更後の動き量や動き方向に基づき教師画像に動きボケを付カ卩した生徒画像の生成、ノイズを付加した生徒画像の生成が行われる。また、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値が少なくとも抽出される。画素値の抽出では、例えば生徒画像がインタレースフォ一マットのとき、生徒画像内の第 1の複数の画素の画素値が抽出される。また、生徒画像がプログレッシブフォーマットのとき、生徒画像内の第 2の複数の画素の画素値が抽出される。この抽出された画素の画素値と教師画像内の注目画素との関係から、抽出された画素の画素値に基づき教師画像内の注目画素を予測する処理係数が生成される。発明の効果

この発明によれば、特定の割合で教師画像に動きボケを付加しない生徒画像が生成される。このため、静止画像を含む画像に対して動きボケの除去を行っても、静止画像が破綻してしまうことを防止できる。また、第 1の動き方向の動きボケに対応する予測係数を生成する際、第 1の動き方向に近い第 2の動き方向の動きボケを有する生徒画像が用いられる。このため、動きべクトルを精度良く検出できない場合が生じても、動きボケ除去を良好に行うことができる。更に、生徒画像にノイズを付加して処理係数が生成されるので、画像センサで生じるノイズを付加して学習を行うものとすれば、ノイズの影響を軽減できる。また、ノイズ量を調整することでボケ感を変化させたり、ボケ量の違う生徒画像の割合を調整して、新たなボケ感を作り出すことも可能となる。

また、生徒画像がインタレースフォーマットのとき、生徒画像内の第 1の複数の画素の画素値が抽出され、プログレッシブフォーマットのとき、生徒画像内の第 2の複数の画素の画素値が抽出されるので、インタフェースフォーマツトあるいはプログレッシブフォーマツ卜の何れの画像信号を用いても、この画像信号に基づく画像から動きボケを除去することができる。更に、教師画像内の注目画素に対応する生徒画像内の画素の画素値のァクティビティに応じて、注目画素のクラスが決定されて、クラス毎に処理係数の生成が行われるので、撮像画像に応じた動きボケ除去処理を行うことができる。図面の簡単な説明

図 1は、システムの構成を示す図である図 2は、画像センサによる撮'像を説明するための図である。

図 3 Aと図 3 Bは、撮像画像を説明するための図である。

図 4は、画素値の時間方向分割動作を示す図である。

図 5 Aと図 5 Bは、注目画素の画素値の算出動作を説明するための図である _Q

図 6は、処理領域を示す図である。

図 7 Aと図 7 Bは、処理領域の設定例を示す図である。

図 8は、処理領域における実世界変数の時間混合を説明するだめの図である図 9は、空間方向の主要項の位置を示す図である。

図 1 0は、時間方向の主要項の位置を示す図である。

図 1 1 Aと図 1 1 Bは、空間方向の主要項を用いる場合の動きべクトルのずれと主要項の位置ずれの関係を説明するための図である。

図 1 2は、時間方向の主要項を用いる場合の動きべクトルのずれと主要項の位置ずれの関係を説明するための図である。

図 1 3は、画像処理装置の機能ブロック図である。

図 1 4は、ソフトウエアを用いるときの画像処理装置の構成を示す図である図 1 5 と図1 5 Bは、予測タップを示す図である。

図 1 6は、画像処理を示すフローチャートである。

図 1 7は、画像処理装置の機能ブロック図（クラス決定を行う場合）である図 1 8 Aと図 1 8 Bは、クラスタップを示す図である。 '

図 1 9は、ァクティビティの算出を説明するための図である。

図 2 0は、画像処理（クラス決定を行う場合）を示すフローチャートである図 2 1は、処理係数を学習によって求めて動きボケ除去処理を行う場合の構成を示す図である。

図 2 2は、学習装置の機能ブロック図である。図 2 3は、学習処理を示すフローチャートである。

図 2 4は、学習装置の機能プロック図（クラス決定を行う場合）である。図 2 5は、学習処理（クラス決定を行う場合）を示すフローチャートである

発明を実施するための最良の形態

以下、図を参照しながら、この発明の実施の一形態について説明する。図 1ほ、本発明を適用するシステムの構成を示すブロック図である。画像'センサ 1 0は現実社会を撮像した画像信号 D Vaを生成して画像処理装置 2 0に供給する。画像処理装置 2 0は、供給された入力画像の画像信号 D Vaに埋もれてしまった情報の抽出を行い、埋もれてしまった情報を抽出した画像信号を生成して出力する。なお、画像処理装置 2 0は、外部から供給された種々の情報 E Tを用いて、画像信号 D Vaに埋もれてしまった情報の抽出を行うこともできるようになされている。

画像センサ 1 0は、固体撮像素子である C C D (Charge-Coupled Device) エリアセンサや MO Sエリアセンサを備えたビデオカメラなどで構成されており、現実社会を撮像する。例えば、図 2に示すように、画像センサ 1 0と背景に対応するオブジェクト O Bbとの間を、前景に対応する動きオブジェクト O B fが矢印 A方向に移動するとき、画像センサ 1 0は、前景に対応する動きォブジェクト O B fを背景に対応するオブジェクト O Bbと共に撮像する。

この画像センサ 1 0の検出素子は、露光時間に対応する期間、入力された光を電荷に変換して、光電変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、露光時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、露光時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。このように、画像センサで光電変換を行レ、、入力された光を画素単位で電荷に変換して露光時間単位で蓄積する。この蓄積された電荷量に応じて画素信号を生成して、この画素信号を用いて所望のフレームレートの画像信号を生成して画像処理装置に供給する。なお、画像センサの露光時間は、上述のように画像センサが入力された光を電荷に変換して検出素子にその電荷を蓄積する期間であり、シャツタ動作が行われていないときは画像時間間隔（1フレーム期間）と等しいものである。また、シャツタ動作が行われるときはシャツタ開時間と等しいものである。

図 3 Aおよび図 3 Bは、画像信号で示される撮像画像を説明するための図である。図 3 Aは、動いている前景に対応する動きオブジェクト O B fと、静止している背景に対応するォブジェクト O B bとを撮像して得られる画像'を示している。なお、前景に対応する動きオブジェクト O B fは、矢印 A方向に水平移動しているものとする。

図 3 Bは、図 3 Aに示すように矢印 A方向に伸びたライン L (破線で示す）の位置での画像と時間の関係を示している。動きオブジェクト O B fのラインしにおける移動方向の長さが例えば 9画素分であり、 1露光期間中に 5画素移動する場合、フレーム期間開始時に画素位置 P 21にあった前端と画素位置 P 13にあつた後端は、それぞれ画素位置 P 25, P 17で露光期間の終了となる。また、シャッタ動作が行われていないとき、 1フレームにおける露光期間は 1フレーム期間と等しいことから、次のフレーム期間開始時に前端が画素位置 P 26、後端が画素位置 P 18となる。

このため、ライン Lのフレーム期間において、画素位置 P 12までと画素位置 P 26からは、背景成分のみの背景領域となる。また、画素位置 P 17〜P 21は、前景成分のみの前景領域となる。画素位置 P 13〜 P 16と画素位置 P 22〜 P 25は、背景成分と前景成分が混合された混合領域となる。混合領域は、時間の経過に対応して背景成分が前景に覆い隠されるカバードバックグランド領域と、時間の経過に対応して背景成分が現れるアンカバードバックグランド領域に分類される。なお、図 3 Bでは、前景のオブジェクト O B fの進行方向前端側に位置する混合領域がカバードバックグランド領域、後端側に位置する混合領域がアンカパードバックグランド領域となる。このように、画像信号には、前景領域、背景領域、またはカバードバックグランド領域若しくはアンカバードバックグランド領域を含む画像が含まれることとなる。ここで、画像時間間隔は短時間であり、前景に対応する動きオブジェクト OB fは剛体であって等速に移動していると仮定して、ライン Lにおける画素値の時間方向分割動作を図 4に示すように行う。この時間方向分割動作では、画素値を時間方向に展開して仮想分割数で等時間間隔に分割する。なお、図 4において縦方向は時間に対応し、図中の上から下に向かって時間が経過することを示している。

仮想分割数は、前景に対応する動きオブジェクトの画像時間間隔での動き量 V などに対応して設定する。例えば、 1フレーム期間内の動き量 Vが上述のように 5画素であるときは、動き量 Vに対応して仮想分割数を「5」に設定して、 1フレーム期間を等時間間隔で 5分割する。

また、背景に対応するォブジェクト OBbを撮像したときに得られる画素位置 Pxの 1フレーム期間の画素値を Bx、ライン Lにおける長さが 9画素分である前景に対応する動きオブジェクト O Bfを静止させて撮像したときに各画素で得られる画素値を F 09 (前端側）〜F01 (後端側）とする。

この場合、例えば画素位置 P 14の画素値 DP 14は、式（1) で表される。

D P14=B14/v + B14/v + B14/v+ F01/v + F02/v · · · (1) この画素位置 P14では、背景の成分を 3仮想分割時間（フレーム期間/ V) 含み、前景成分を 2仮想分割時間含むので、画素値に对する背景成分の混合比 αは (3/5) となる。同様に、例えば画素位置 Ρ22では、背景の成分を 1仮想分割時間含み、前景成分を 4仮想分割時間含むので、混合比 αは（1/5) となるこのように、前景の成分が移動することから、 1露光時間では、異なる前景の成分が加算されるので、動きオブジェクトに対応する前景の領域は、動きボケを含むものとなる。このため、画像処理装置 20では、画像信号 DVaに埋もれてしまった有意情報を抽出して前景に対応する動きオブジェクト OBfの動きボケを除去させた画像信号 DVoutを生成する。

ここで、画像上の注目画素の画素値の算出動作について図 5を用いて説明する。例えば動きオブジェクト OBfl ^の注目画素の画素値 F29を求める場合、注目画素の成分 F 29/vを含む画素位置 P47を処理対象の画素である着目画素とすると、破線で示すように最初に注目画素の成分 F29/vが現れる画素位置 Ρ45、'および画素位置 Ρ 45と隣接して注目画素の成分 F 29/νを有していなレ、画素位置 Ρ 4 4については、式（2) が成立する。

F29— F24= (D P45-D P44) X ν · · · (2)

同様に、破線で示すように最後に注目画素の成分 F29/vが現れる画素位置 P4 9、およぴ画素位置 P 49と隣接して注目画素の成分 F 29/vを有していなレ、画素位置 P50ついては、式（3) が成立する。

F34-F29= (D P50-D P49) X ν · · · (3)

すなわち、注目画素の画素値 F29は、画素位置 P44, P45の画素値 DP44, 0 45と画素値？24、あるいは画素位置 P 49, P 50の画素値 DP 49, DP 50と画素値 F34を用いて算出できる。

更に、画素値 F24を注目画素の画素値 F29と同様にして求めることを考えると、破線で示すように最初に成分 F24/Vが現れる画素位置 P40、および画素位置 P40と隣接して成分 F24/Vを有していない画素位置 P39については、式（4 ) が成立する。

F24-F19= (DP 40— DP 39) X v · · · · (4)

このため、画素位置 P 39， P40, P44, P 45の画素値 DP 39， DP 40， DP 44, DP45と画素値 F19を用いて画素値 F29を算出できる。また、画素値 F34 も同様にして求めることができる。

以上のように考えると、差分を求める画素の位置は、動き量 Vの間隔を持って繰り返し現れることとなる。すなわち、注目画素の画素値 F29は、上述のように差分の算出に用いる画素位置 ' · ·， P39, P40, P44, P45, P49, P50 , · . · の画素値を用いて算出できる。

また、注目画素の画素値をモデル式から算出する場合について説明する。ここで、図 6に示すように注目画素 Pnaを中心として動き方向に（2N+ 1) 画素分の処理領域を設定する。図 7 Aおよび図 7 Bは処理領域の設定例を示しており、動きボケを除去させる動きオブジェクト OBfの画素に対して、動きべクトルの方向が例えば矢印 Aで示すように水平方向である場合は、図 7 Aに示すように水平方向に処理領域 WAを設定する。また、動きべクトルの方向が斜め方向である場合は、図 7 Bに示したように、該当する角度方向に処理領域 WAを設定する。ただし、斜め方向に処理領域を設定する際には、処理領域の画素位置に相当する画素値を、補間等によって求める。

ここで、処理領域内では、図 8に示すように、実世界変数 (Υ.₈， · · ·，Υ₀, · · ·， Υ₈) が時間混合されている。なお、図 8は、動き量 Vが「v = 5j であって処理領域を 13画素. (N= 6 ： Nは注目画素に対する処理幅の画素数）とした場合である。

ボケ除去処理では、この処理領域に対して実世界推定を行い、榷定した実世界の中心画素変数 Υ₀に対応する画素値 D Q 0を、動きボケ除去がなされた注目画素の画素値とする。

ここで、処理領域を構成する画素の画素値を Χ-Ν， Χ-Ν₊1, · · · , Χθ, · ·

·， ΧΝ-Ι, ΧΝとすると、式（5) に示すような（2 N+ 1 ) 個の混合式が成立する。なお、画素値 Xtは、画素位置 Ptの画素値を示している。定数 hは、動き量 Vを 1Z2倍したときの整数部分の値（小数点以下を切り捨てた値）を示している。

(t=-N, ■ ■， 0, ■ ■ ,Ν)

しかし、求めたい実世界変数（Y-_N-_h， · · ·， Υ₀, · · · , Y_N+h) は、（2 N+v) 個ある。すなわち、変数の数よりも式の数が少ないので、式（5) に基づき実世界変数（Y-N-h, · · · , Yo, · · · , Y_N+h) を求めることができない。

そこで、式（6) に示すように隣接画素差分 =0とする空間相関を用いた拘束式を用いることで、実世界変数よりも式の数を増やし、最小自乗法を用いて、実世界変数の値を求める。

· · ·，0， · · ·，N+h-l) · · · (6) すなわち、式（5) で表される（2N+ 1) 個の混合式と式（6) で表される (2N+ v-1) 個の拘束式を合わせた（4N+v) 個の式を用いて、（2N + V) 個の未知変数である実世界変数（Y-_N._h, · · · , Yo, · · · , Y_N+h) を求める。

ここで、各式において発生する誤差の二乗和が最小となるような推定を行うことで、動きボケ除去画像生成処理を行いながら、実世界での画素値の変動を小さくできる。

式（7) は、図 8に示すように処理領域を設定した場合を示しており、式（5 ) ある。

(7) この式（7) は式（8) として示すことができ、式（9) に示す誤差の二乗和 Eを最小とするような Y ( = Yi) は式（10) として求まる。なお、式（10

) において、 Tは転置行列であることを示している。 A Y = X + θ

E=|e|^Z=∑ emi² +∑e_bi

γ = (Α^τΑ)" A^TX ( 1 0) ここで、誤差の二乗和は式（1 1) で示すものとなり、この誤差の二乗和を偏微分して、式（1 2) に示すように偏微分値が 0となるようにすれば、誤差の二乗和が最小となる式（10) を求めることができる。

E = (AY-X)^T(AY-X)

=Y^TA^T AY - 2 Y^TA^T X+ X^TX ( 1 1 )

6Ε / ΘΥ= 2 (Α^ΤΑΥ- Α^τΧ) = 0 ( 1 2) この式（10) の線形結合を行うことで、実世界変数（Y._N._h, · · · , Y₀， • · ·， Y_N+h) をそれぞれ求めることができ、中心画素変数 Yoの画素値が注目画素の画素値となる。

上述では、 A Y = X+eにおける誤差の二乗和 Εを最小とするように、最小自乗法で実世界変数（Y-_N-_h， · · ·， Y₀， · · ·， Y_N+h) を求めているが、式の数 =変数の数となるように式を作ることも可能である。この式を AY = Xとき、 Y = A^_1Xと変形することにより、実世界変数（Y-_N._h, · · · , Yo, · · · , Y_N+h) を求めることができる。

ここで、図 5 Aに示す画素位置 P47を注目画素として画素値 F29を求めるものとすると、各画素に対して用いられる処理係数は、図 5 Bのような形状を示すものとなる。すなわち、差分の算出に用いる画素位置の画素に対する処理係数の絶対値が他の画素に対する係数よりも大きくなる。このような、差分の算出に用いる画素位置の画素を主要項とする。

空間方向の主要項の位置は、図 9に示すように、注目画素 Pnaを基準として動き方向に動き量に応じた画素位置となる。なお、主要項 MCalは注目画素に対して動き方向に最も近接した主要項、主要項 MCblは動き方向とは逆方向で最も近接した主要項を示している。

時間方向の主要項の位置は、図 10に示すように、複数の画像上の同じ画素位置に重なるものとなる。また、上述の主要項 MCal, MCblについて着目すると、（ t一 1) フレームの画像上の主要項 MCalの位置は（ t ) フレームの画像上の主要項 MCblの位置となる。従って、（t— l) フレームと（ t ) フレ —ムとの真ん中の位相であって、主要項 MCal, MCblと略同じ ίί素位置が、注目画素 Pnaに相当する。正確には、主要項 MCalは画素値 X.3, X.₂の画素、主要項 MCblは画素値 X₂, X₃の画素に相当し、注目画素 Pnaの空間的な位置は

、画素値 X-3である画素と画素値 X-2である画素の中間位置、あるいは画素値 X₂ である画素と画素値 X 3である画素との中間位置に相当する。

ここで、図 1 1 Aに示すように、空間方向の主要項のみを使用して、空間方向に存在する主要項 M C alと主要項 M Cblとの真ん中である画素位置を、動きボケ除去後の注目画素 Pnaの出力位置とする場合、注目画素 Pnaの動きべクトルを精度良く検出しないと、破線で示すように主要項 MCal, MCbl等の位置が大きく変動してしまうことから、注目画素 Pnaの動きボケを精度良く除去することができなくなってしまう。

また、図 1 1 Bに示すように、空間方向の主要項のみを使用して、フレーム間の真ん中を、動きボケ除去後の注目画素 Pnaの出力位相とする場合、主要項 M Cblの位置は動きべクトルの検出精度による影響が少ないが、残りの主要項 M Cal等の位置は破線で示すように動きべクトルの検出精度による影響が大きいことから、注目画素 Pnaの動きベクトルを精度良く検出しないと、注目画素 Pn aの動きボケを精度良く除去することができなくなってしまう。

また、時間方向の主要項を用いる場合であっても、図 1 1 Aと同様に主要項 M Calと主要項 MCblとの真ん中である画素位置を、動きボケ除去後の注目画素 Pnaの出力位置とする場合、注目画素 Pnaの動きべクトルを精度良く検出しないと、時間方向の主要項の位置が変動してしまうことから、動きボケを精度良く除去することができなくなってしまう。そこで、図 1 2に示すように、時間方向の主要項を使用して、フレーム間の真ん中を動きボケ除去後の注目画素 P naの出力位相として注目画素 P naの動きボケ除去後の画素値を生成する。すなわち、図 1 0に示す（t一 1 ) フレームの画像上の主要項 M Calと（t ) フレームの画像上の主要項 M Cblを用いて、（ t 一 1 ) フレームと（ t ) フレームとの真ん中の位相であって、主要項 M C al, MCblと略同じ空間位置の画素を注目画像の注目画素 P naとして動きボケ除去後の画素値を生成する。このように、動きボケ除去後の注目画素 P naの出力位相を（t— 1 ) フレームと（t ) フレームの真ん中としたとき、時間の方向の主要項の位置は、動きべクトルの検出精度による影響が少ないので、動きべクトルを精度良く検出できなくとも、主要項の位置は大きく変化することがなく、動きべクトルの検出精度に大きく影響されることなく動きボケ除去を良好に行うことができる。

また、（t一 1 ) フレームと（t ) フレームの主要項の係数の形状は、図 1 0 からも明らかなように、注目画素 P naの位置に対して時間方向でそれぞれプラスマイナスが入れ替わつたような複数画素分の係数すなわち複数組の係数になつている。そのため、時間的に前後の画素値がほぼ同一で空間的にも相関が強い静止背景のような場合には、前後の大きい係数同士が互いに打ち消しあい、結果として小さい係数を割り当てたときと同じとなる。従って、動き量が大きいォブジエタトに対する動きボケ除去を静止背景等に対して行っても、画像の破綻を生じ難くすることができる。しかし、検出された動きベクトルの誤差が大きいと破綻を生じるおそれがあることから、後述する処理係数の学習において、静止画像の破綻に対する口バスト性を向上させる。

このように、時空間方向の主要項を使用して、フレーム間の真ん中を、動きボケ除去後の注目画素 P naの出力位相とした動きボケ除去を行う画像処理装置の機能ブロック図を図 1 3に示す。なお、画像処理装置の各機能はハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、図 1 3の機能プロックは、ハードウェアで実現するものとしても良く、ソフトウェアで実現するものとしてもよレ、。

ここで、ソフトウヱァを用いるときの画像処理装置 2 0の構成を例えば図 1 4 に示す。 CPU (Central Processing Unit) 201は、 ROM (Read Only M emory) 202、または記憶部 208に記憶されているプログラムに従って各種の処理を実行するものであり、 ROM202や記憶部 208には、画像処理装置の各機能を実現するプログラムが記憶される。 RAM (Random Access Memo ry) 203には、 C P U 201が実行するプログラムやデータなどが適宜記憶される。これらの CPU201、 ROM 202、および RAM 203は、バス 20 4により相互に接続されている。

また、 C PU 20 1には、バス 204を介して入出力ィンタフェース 205が接続されている。入出力インタフェース 205には、キーボード、マウス、マイクロホンなどよりなる入力部 206、ディスプレイ、スピーカなどよりなる出力部 207が接続されている。 CPU201は、入力部 206から入力される指令に対応して各種の処理を実行する。そして、 CPU201は、処理の結果得られた画像や音声等を出力部 207に出力する。

入出力インタフェース 205に接続されている記憶部 208は、例えばハードディスクなどで構成され、 CPU 201が実行するプログラムや各種のデータを記憶する。通信部 209は、インタ一ネッ卜、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 209はセンサの出力を取り込む取得部として働く。また、通信部 209を介してプログラムを取得し、記憶部 20 8に記憶してもよレ、。

入出力インタフェース 205に接続されているドライブ 2 10は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの記録媒体が装着されたとき、それらを駆動し、記録媒体に記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 208に転送されて記憶される。

図 1 3に示すように、画像処理装置 20に供給された画像信号 DVaは、動き方向検出部 32の方向検出処理部 321と、周辺画像保持部 33の第 1画像保持部 331と第 2画像保持部 332に供給される。

注目画素設定部 31は、予測する注目画像内の注目画素 Pnaの設定を行う。ここで、上述の図 10および図 1 2を用いて説明したように、（t— 1) フレームの画像上の主要項 MCalと（t) フレームの画像上の主要項 MCblを用いることにより、（t一 1) フレームと（t) フレームとの真ん中の位相であって、主要項 MCal, MCblと略同じ画素位置の画素である注目画素の動きボケ除去後の画素値を求めることができる。このため、画像信号 DV_aがプログレッシブフォーマットの信号であるとき、注目画素設定部 31は、予測する注目画像を（ t - 1 ) フレームと（t) フレームとの真ん中の位相の画像として、この注目画像内の注目画素 Pnaの設定を行う。また、（t一 1) フレームと（t) フレームの画像を周辺画像とする。画像信号 DVaがインタレースフォー^ッ卜の信号であるとき、注目画素設定部 3 1は、予測する注目画像を（t一 1) フィールドと（t) フィールドとの真ん中の位相の画像として、この注目画像内の注目画素 Pnaの設定を行う。また、（t _ l) フィ一ノレドと（t) フィールドの画像を周辺画像とする。

方向検出処理部 32 1は、画像信号 DVaに基づき画素毎の動きべクトル検出を行い、注目画素設定部 3 1で設定された注目画素の動き方向を示す動き方向情報 V daを動き方向選択部 322に供給する。この方向検出処理部 321では、ブロックマッチング法や勾配法等の手法を用いることで、画素毎の動きべクトルを検出できる。

動き方向選択部 322には、外部から情報 ETとして動き方向を示す動き方向情報 vdbが入力可能とされており、方向検出処理部 321から供給された動き方向情報 V daあるいは外部から入力された動き方向情報 V dbの何れかを選択して、選択した動き方向情報 vdを画素値生成部 38 aに供給する。

周辺画像保持部 33の第 1画像保持部 33 1と第 2画像保持部 332は、メモリを用いて構成されており、第 1画像保持部 331は、周辺画像である（ t一 1 ) フレームの画像を保持する。また、第 2画像保持部 332は、周辺画像である (t) フレームの画像を保持する。

画素値抽出部 36は、注目画素の成分が主に含まれる主要項を抽出するため、第 1画像保持部 33 1および第 2画像保持部 332に保持されている周辺画像から、注目画素 Pnaの空間位置と略同じ位置の画素を少なくとも抽出して、予測タップ C aとして画素値生成部 38 aに供給する。図 1 5 Aおよび図 1 5 Bは、予測タップ C aを示.している。画像信号 D Vaがプログレッシブフォーマットであるとき、画素値抽出部 3 6は、周辺画像である ( t - 1 ) フレームと（t ) フレームの画像から、図 1 5 Aに示すように注目画素 P naの空間位置と略同じ位置の画素を基準として、例えば 2 1画素を予測タップとして抽出する。画像信号 D Vaがインタレースフォーマットであるとき、クラスタップ抽出部 3 5 1は、図 1 5 Bに示すように注目画素 P naの空間位置と同じ位置の画素を基準として、周辺画像である（t ) フィールドの画像から 2 1画素を予測タップとして抽出し、周辺画像である（t— 1 ) フィ'一ルドの画像から注目画素 P naの空間位置と同じ位置を基準として 1 7画素を予測タップとして抽出する。

処理係数設定部 3 7 aは、ボケ除去処理に用いる処理係数を予め記憶しており、動き方向選択部で選択された動き方向に対応する複数組の処理係数 d aを画素値生成部 3 8 aに供給する。また、処理係数設定部 3 7 aは、外部から情報 E T として動きボケの調整を可能とする調整情報 B Sが供給されたとき、この調整情報 B Sに基づいて、画素値生成部 3 8 aに供給する処理係数 d aの切り換えを行うことで動きボケ除去効果を調整する。例えば、最初に供給した処理係数で動きボケが最適に行われないような場合が生じても処理係数を切り換えることで動きボケを最適に除去することが可能となる。また、処理係数を切り換えることで意図的に動きボケを残すことも可能である。

画素値生成部 3 8 aは、動き方向選択部 3 2 2で選択された動き方向情報 v d に基づき、画素値抽出部 3 6の第 1画像保持部 3 3 1から抽出した画素の画素値を用いて、処理係数設定部 3 7 aから供給された処理係数 d aに対応する動き方向の画素値を算出する。更に、算出した画素値と処理係数設定部 3 7 aから供給された処理係数 d aとの積和演算を行い画素値を生成する。また、第 2画像保持部 3 3 2から抽出した画素の画素値を用いて、処理係数設定部 3 7 aから供給された処理係数 d aに対応する動き方向の画素値を算出する。更に、算出した画素値と処理係数設定部 3 7 aから供給された処理係数 d aとの積和演算を行い画素値を生成する。この 2つの画素値を統合することで注目画素の画素値を生成して、画像信号 D Voutとして出力する。このように、複数の周辺画像の主要項の画素値を用いて注目画像内の注目面素の画素値を生成することで、注目画素の動きべクトルを精度良く検出することができない場合が生じても、動きボケ除去の性能低下を少なくすることができるため、動きべクトルの検出ずれに対して非常にロバストな動きボケ除去を行うことが可能となる。

図 1 6は、ソフトウ-ァで画像処理を行う場合のフローチャートを示している。ステップ ST 1で CPU20 1は、動きボケの除去を行う注目画素を設定してステップ ST 2に進む。ステップ S T 2で C PU 20 1は、注目画素の動き方向を検出してステップ ST 3に進む。ステップ ST 3で CPU201は、画素値抽出を行い、周辺画像に設定した予測タップの画素値を抽出する。すなわち、 CP U20 1は、動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、注目画素と空間位置が略同じ周辺画像内の画素を少なくとも予測タップとして、この予測タップの画素値を抽出する。

ステップ ST4で CPU201は、ステップ ST 2で検出した動き方向に応じた処理係数を設定してステップ ST 5に進む。

ステップ ST5で CPU201は、ボケ除去処理を各フレームに対して行う。すなわち、 C PU 201は、ステップ S T 3で抽出した予測タップの画素値とステツプ S T 4で設定した処理係数との演算処理を行い、ボケ除去がなされた画素値を算出してステップ ST 6に進む。

ステップ ST6で CPU201は、全画面に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステップ S T 1 に戻り、全画面に対してボケ除去が完了したときは処理を終了する。

ところで、図 1 3の画像処理装置 20では、動き方向選択部 322で選択した動き方向に基づいて処理係数を設定するものとしたが、動き方向だけでなく画像の信号レベルも用いてクラス決定を行い、決定されたクラスに応じて処理係数を選択して画素値生成部に供給すれば、更に精度良く動きボケ除去処理を行うことができる

図 1 7はクラス決定を行う画像処理装置の機能ブロック図を示している。なお、図 1 3と対応する部分については同一符号を付し、詳細な説明は省略する。クラス決定部 35のクラスタップ抽出部 35 1は、第 1画像保持部 33 1および第 2画像保持部 332に保持されている周辺画像から、注目画素に対応する空間位置を基準としてクラスタップを抽出して、抽出したクラスタップ TPaをクラス分類部 352に供給する。

図 18 Aおよぴ図 18 Bは、クラスタップを示している。画像信号 DVaがプログレツシブフォーマットであるとき、クラスタップ抽出部 351は、周辺画像である（t一 1) フレームと（t) フレームの画像から、図 1 8 Aに示すように注目画素 Pnaに対応する空間位置を基準として、例えば注目画素

る空間位置の画素と、この画素に隣接する画素を含めて 9画素をクラスタップとして抽出する。画像信号 DVaがインタレースフォーマットであるとき、クラスタップ抽出部 351は、図 1 8 Bに示すように注目画素 Pnaに対応する空間位置を基準として、例えば周辺画像である（t) フィールドの画像から注目画素 P naに対応する空間位置の画素と、この画素に隣接する画素を含めて 9画素をクラスタップとして抽出する。また、周辺画像である（t— 1) フィールドの画像から注目画素 Pnaに対応する空間位置と重なりを持つ画素およびこの画素と隣接する画素を含めて 1 2画素をクラスタップとして抽出する。

クラス分類部 352は、動き方向検出部 32から供給された動き方向情報 vd やクラスタップ抽出部 351で抽出されたクラスタップ TPaに基づいてクラス分類を行い、クラスコード KAを決定して、処理係数設定部 37bに供給する。ここで、クラスタップ抽出部 351で抽出されたクラスタップ TPaを用いてクラス分類を行う場合には、クラスタップ TPaから算出したァクティビティに基づいてクラス分類を行う。

ァクティビティとは、隣接する画素間の差分値の和であり空間相関を示すものである。ここで、図 18 Aに示すようにクラスタップが選択されたときは、 3画素 X 3画素の合計 9画素の隣接する画素間の差分がアクティビティである。また、図 1 8 Bの（t _ l) フィールドのようにクラスタップが選択されたときは、 4画素 X 3画素の合計 12画素の隣接する画素間の差分がァクティビティである。例えば、図 19に示すようにクラスタップを抽出したとき、画素を示すマス目に記された文字を画素値とすると、アクティビティ ACは式（1 3) に基づいて算出することができる。なお、空間相関が高い場合、アクティビティ ACの値は小さくなり、空間相関が低い場合、アクティビティ ACの値は大きくなる。

AC = I DPL-U-DPC-U I + I DPC-U-D PL-U I

+ I D PL-L-D PC-L I + I D PC-L-D P_R._L |

+ I DPL-U-DPL I + I D P_L -DPL-L I + I DPc-u-DPc I + I D P_c -D PC-L I + D P R-u— D PR I + I D PR — P R-L I

• · · (13) このようにして、第 1画像保持部 331に保持されている周辺画像から抽出したクラスタップから算出したァクティビティ ACt-1と、第 2画像保持部 332 に保持されている周辺画像から抽出したクラスタップから算出したァクティビティ ACtを用いて、式（14) のようにアクティビティクラス ALを決定する。

アクティビティクラス AL = ACtZ (ACt-l + ACt) X 100

· · · (14) 更に、動き方向情報 vdとアクティビティクラス ALに基づいて、クラスコード KAを決定する。

画素値抽出部 36は、上述したように、第 1画像保持部 331および第 2画像保持部 332に保持されている周辺画像から、注目画素 Pnaの空間位置と略同じ位置の画素を少なくとも抽出して、予測タップ Caとして画素値生成部 38b に供給する。

処理係数設定部 37 bは、ボケ除去処理に用いる処理係数をクラスコード毎に予め記憶しており、クラス分類部 352から供給されたクラスコード K Aに応じた処理係数 dbを選択して画素値生成部 38 bに供給する。また、処理係数設定部 37bは、外部から情報 ETとして動きボケの調整を可能とする調整情報 BS が供給されたとき、この調整情報 BSに基づいて、選択する処理係数の切り換えを行うことで動きボケ除去効果を調整する。例えば、クラスコード KAに応じた '処理係数 d bを用いたとき動きボケが最適に行われないような場合が生じても処理係数を切り換えることで動きボケを最適に除去することが可能となる。また、処理係数を切り換えることで、意図的に動きボケを残すことも可能である。画素値生成部 38bは、画素値抽出部 36から供給された予測タップ Caと処理係数設定部 3 7bから供給された処理係数 dbとの演算処理を行い、注目画像内の注目画素の画素値を生成する。例えば、第 1画像保持部 331に保持されている周辺画像から抽出した予測タップと処理係数の積和演算を行い画素値を生成する。また、第 2画像保持部 332に保持されている周辺画像から抽出した予測タップと処理係数の積和演算を行い画素値を生成する。この 2つの画素値を統合することで注目画素の画素値を生成して、画像信号 DVoutとして出力する。このように、複数の周辺画像の主要項の画素値を用いて注目画像内の注目画素の画素値を生成することで、注目画素の動きベクトルを精度良く検出することができない場合が生じても、動きボケ除去の性能低下を少なくすることができるため、動きべクトルの検出ずれに対して非常にロバストな動きボケ除去を行うことが可能となる。

図 20は、ソフトウエアで画像処理を行う場合のフローチャートを示している。ステップ ST 1 1で CPU201は、動きボケの除去を行う注目画素を設定してステップ ST 1 2に進む。ステップ ST 12で CPU201は、注目画素の動き方向を検出してステップ ST 1 3に進む。ステップ ST 1 3で CPU201は、注目画素のクラス決定を行う。このクラス決定では、注目画素の動き方向や、注目画素の空間位置を基準として周辺画像に設定したクラスタツプの画素値に基づきクラス分類を行ってクラスコードを決定する。ステップ ST 14で CPU2 01は、画素値抽出を行い、周辺画像に設定した予測タップの画素値を抽出する。すなわち、 CPU20 1は.、動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、注目画素と空間位置が略同じ周辺画像内の画素を少なくとも予測タップとして、この予測タップの画素値を抽出する。

ステップ ST 1 5で CPU201は、ステップ S T 1 2で検出した動き方向とステップ ST 1 3で決定したクラスに応じた処理係数を設定してステップ ST 1 6に進む。

ステップ ST 16で CPU201は、ボケ除去処理を各フレームに対して行う。すなわち、 CPU201は、ステップ ST 14で抽出した予測タップの画素値とステップ S T 1 5で決定した処理係数との演算処理を行い、ボケ除去がなされた画素値を算出してステップ S T 1 7に進む。

ステップ S T 1 7で C P U 2 0 1は、全画面に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステップ S T 1 1に戻り、全画面に対してボケ除去が完了したときは処理を終了する。

次に、処理係数設定部に記憶される処理係数を学習によって求めてボケ除去処理を行う場合について説明する。

図 2 1は、処理係数を学習によって求めてボケ除去処理を行う場'合の構成を示したものである。学習装置 6 0は、教師画像と、教師画像に動きボケを付加した生徒画像を用いて学習処理を実行し、この学習により得られる処理係数を画像処理装置 2 0の処理係数設定部に記憶させる。画像処理装置 2 0は、入力画像となる動きボケを含む画像から注目画素の空間位置と略同じ位置の画素を少なくとも含むように予測タップを選択して、この予測タップの画素値と処理係数設定部に記憶されている処理係数を用いて、演算処理を行いボケ除去が行われた注目画素の画素値を求める。教師画像は、高速撮像カメラを用いて撮像した画像や静止画像を用いる。また、生徒画像は、高速撮像カメラを用いて撮像した画像を静止画像として、この画像を時間積分することにより生成する。あるいは、動き方向や動き量を設定して、この設定した動き方向や動き量に応じた動きボケとノイズを静止画像に付加したものを生徒画像とする。

ここで、生徒画像を生成する場合、動きベクトルの検出ずれに対するロバスト性を高めるため、処理係数を求める動き量や動き方向の生徒画像だけでなく、動き量や動き方向のうち少なくとも何れか一方を変更した生徒画像を生成して、これらの生徒画像を用いて学習を行い処理係数を設定する。また、静止しているォブジェク.トが含まれている画像に対して動きボケ除去を行っても、静止しているオブジェクトの画像が破綻しないように、動き量を「0」として動きボケを付加しない生徒画像を生成して、この動きボケを付加していない生徒画像も用いて学習を行い処理係数を設定する。なお、処理係数の学習では、学習ソースを H Dフォーマツトゃ S Dフォーマツトの画像信号等に変化することによって、各画像フォーマツ卜に応じた最適な係数を生成することも可能となる。図 2 2は、クラス決定を行わないときに用いる処理係数を生成するための学習装置 6 0の機能ブロック図を示している。動き設定部 6 1は、動き方向の設定や動き量の設定を行い、設定された動き方向や動き量を示す動き情報 MHを生徒画像生成部 6 2に供給する。ここで、動き方向の設定では、例えば所定の角度差を持って動き方向を複数設定する。また、各動き方向に対して異なる複数の動き量をそれぞれ設定するものとしてもよい。

生徒画像生成部 6 2の動きボケ付加部 6 2 1は、教師画像に対して動き情報 M Hで示された動き方向や動き量に応じた動きボケの付加を行い全 l f面移動部 6 2 2に供給する。全画面移動部 6 2 2は、動きボケが付加された教師画像を動き情報 MHに基づく動き量で動き方向に全画面移動して、生徒画像を生成する。また、生徒画像生成部 6 2は、特定の割合で、教師画像に動きボケを付加しない生徒画像の生成を行う。また、動き設定部 6 1からの動き情報 MHによって示された第 1の動き方向の動きボケに対応する予測係数を生成する際、第 1の動き方向に近い第 2の動き方向の動きボケを有する生徒画像の生成を特定の割合で行う。更に、動きボケを付加しない生徒画像の生成や、第 2の動き方向の動きボケを有する生徒画像の生成の割合を切り換えて処理係数の生成を行う。

例えば、動き情報 MHで示された動き方向の複数の生徒画像に、動き情報 MH で示された第 1の動き方向に近!/、第 2の動き方向に応じた動きボケの付加や全画面移動を行って生成した生徒画像を特定の割合で含めるものとする。あるいは、動き情報 MHで示された動き方向や動き量の複数の生徒画像に、動き情報 MHで示された動き方向や動き量と異なる動き方向や動き量に応じた動きボケの付加や全画面移動を行つて生成した生徒画像を特定の割合で含めるものとする。このように、動き方向や動き方向と動き量を変更した生徒画像を含めるものとすれば、動き方向や動き量の変動による影響の受けにくい動きボケ除去処理を行うことができる。また、動き量を「0」とした生徒画像の生成も行うものとすれば、静止画像に対する動きボケ除去処理も可能となる。更に、動き情報 MHで示された動き方向や動き量とは異なる動き方向や動き量を含める割合を切り換えて処理係数の生成を行い、ユーザが所望の割合の処理係数を選択可能とする。このように、動き方向や動き量を含める割合を切り換えて生成した処理係数を選択可能とすれば、ユーザの好みに応じた動きボケ除去処理を行うことができる。例えば、ユーザが静止画部分の動きボケ除去を行うときには、動き量を「0」とした生徒画像の割合を多くして生成した処理係数を選択することで、静止画部分の動きボケ除去をより精度良く行うことができる。また、動き方向のばらつきが大きい動画部分の動きボケ除去を行うときには、動き方向が異なる生徒画像の割合を多くして生成した処理係数を選択することで、動き方向のばらつきが大きい動画部分の動きボケ除去を精度良く行うことができる。

また、生徒画像生成部 6 2で生徒画像を生成する場合、 2つの^徒画像の真ん中の位相が教師画像となるように生徒画像を生成する。例えば、動きボケが付加された教師画像を動き情報 MHで示された動き方向とは逆方向に動き量の 1ノ 2 だけ移動させて、（t一 1 ) フレームの画像に相当する第 1の生徒画像を生成する。また、動きボケが付加された教師画像を動き情報 MHで示された動き方向に動き量の 1 2だけ移動させて、例えば（t ) フレームの画像に相当する第 2の生徒画像を生成する。このように生徒画像を生成すると、教師画像は注目画像に相当し、生徒画像は周辺画像に相当するものとなる。全画面移動部 6 2 2で生成した第 1の生徒画像は、第 1画像保持部 6 2 3に記憶させる。また、全画面移動部 6 2 2で生成した第 2の生徒画像は、第 2画像保持部 6 2 4に記憶させる。ノイズ成分付加部 6 2 5 , 6 2 6は、画像信号 D Vaにノイズが重畳されていても、このノイズの影響を受けることなく動きボケ除去処理を行うことができるように、画像信号 D Vaに重畳されるノイズ N Zを予め第 1および第 2の生徒画像に重畳させて、処理係数を学習させるためのものである。このように、ノイズ成分付加部 6 2 5 , 6 2 6を設けて学習を行うことにより、ノイズ成分付加部 6 2 5， 6 2 6を設けないで学習を行った場合よりもノイズの影響が少なく動きボケ除去処理を精度良く行うことが可能となる。また、ノイズ量を調整することでボケ感を変化させることが可能となる。

ここで、生徒画像に付加するノイズとしては、例えば均一の輝度の被写体をディジタルカメラゃビデオカメラで撮影して、被写体画像の足し込みを行うことにより基準画像を生成する。この基準画像を各々の撮影画像から差し引くことで得られるノイズを用いる。このようなノイズを用いるものとすれば、実際に撮影した画像に对する動きボケ除去をより効果的に行うことができる。

予測タップ抽出部 64は、生徒画像生成部 62で生成された第 1および第 2の生徒画像から、上述の画素値抽出部 36と同様にして予測タップ Caの抽出を行レ、、予測タップの画素値を正規方程式生成部 651に供給する。

処理係数生成部 65の正規方程式生成部 65 1は、予測タップ抽出部 64で抽出した予測タップ Caの画素値と教師画像の画素値から動き方向毎に正規方程式を生成し、係数決定部 652に供給する。係数決定部 652は、正規方程式生成部 65 1から供給された正規方程式に基づき処理係数を生徒画像^に演算して、得られた生徒画像毎の処理係数を動き方向毎に処理係数設定部 37 aに記憶させる。この正規方程式生成部 651と、係数決定部 652について更に説明する。上述の画素値生成部 38 aは、画素値抽出部 36で抽出された予測タップの画素値と、処理係数設定部 37aから供給された処理係数を用いて、例えば式（1

5) に示す線形結合を行い、周辺画像毎にボケ除去処理後の画素値を生成する。

n

なお、式（1 5) において、 q' は、ボケ除去が行われた画素の画素値を表している。 C i (iは、 1乃至 nの整数値で処理範囲の各画素を示す）は、処理領域の画素値を表している。また、 diは処理係数を表している。

この式（1 5) において、学習前は処理係数 diのそれぞれが未定係数である。処理係数の学習は、複数の教師画像（静止画像）の画素を入力することによつて行う。教師画像の画素が m個存在し、 m個の画素の画素データを「q_k (kは、 1乃至 mの整数値）」と記述する場合、式（1 5) から、次の式（16) が設定される。

n

q_k = 2_ d| X c_ik = q_k' · · · ( 1 6 )

i=0

ここで、式（16) は、右辺の演算を行うことで、動きボケのない実際の画素値 q_kとほぼ等しいボケ除去後の画素値 q_k' を得ることができる。なお、式（1

6) において、イコールではなくニアリーイコールとなっているのは誤差を含むからである。すなわち、右辺の演算結果であるボケ除去後の画素値は、動きボケのない実際の画像における注目画素の画素値と厳密には—致せず、所定の誤差を含むためである。

この式（1 6) において、誤差の自乗和を最小にする処理係数 diが学習により求まれば、その処理係数 diは、ボケ除去後の画素値 q_kを動きボケのない画素値に近づけるための最適な係数と考えられる。従って、例えば、学習により集められた m個（ただし、 mは、 nより大きい整数）の画素値 q_kを用いて、最小自乗法により最適な処理係数 d iを決定する。

式（1 6) の右辺の処理係数 diを最小自乗法で求める場合の正姨方程式は、式（1 7) として表すことができる。 c1k^x Qk c2k^x Pk

cnk^x qk

従って、式（1 7) に示す正規方程式を解くことで処理係数 diを決定できる具体的には、式（1 7) で示される正規方程式の行列のそれぞれを、次の式（ 8) 乃至（20) のように定義すると、正規方程式は、次の式（2 1) のよう：表される。

di

d₂

( 1 9 )

CMATDMAT⁼ QMAT . . . (2 1 )

式（1 9) で示されるように、行列 DMATの各成分は、求めたい処理係数 diである。従って、式（2 1 ) において、左辺の行列 CMATと右辺の行列 QMATが決定されれば、行列解法によって行列 DMAT (すなわち、処理係数）の算出が可能である。具体的には、式（1 8) で示されるように、行列 CMATの各成分は、予測タップ c_ikが既知であれば演算可能である。予測タップ c_ikは、予測タップ抽出部 6 4により抽出されるので、正規方程式生成部 6 5 1は、予測タップ抽出部 6 4から供給される予測タップに _ikのそれぞれを利用して行列 C MATの各成分を演算することができる。

また、式（2 0 ) で示されるように、行列 QMATの各成分は、予測タップ c _ikと静止画像の画素値 q _kが既知であれば演算可能である。予測タップ c _ikは、行列 C MATの各成分に含まれるものと同一のものであり、また、画素値 q _kは、予測タツプ c _ikに含まれる注目画素（生徒画像の画素）に対する教師画像の画素である。従って、正規方程式生成部 6 5 1は、予測タップ抽出部 6 4より給された予測タップ c _ikと、教師画像を利用して行列 QMATの各成分を演算することができる。このようにして、正規方程式生成部 6 5 1は、行列 C MATと行列 QMATの各成分を演算し、その演算結果を係数決定部 6 5 2に供給する。

係数決定部 6 5 2は、上述した式（1 9 ) の行列 DMATの各成分である処理係数 d iを演算する。具体的には、上述した式（2 1 ) の正規方程式は、次の式（ 2 2 ) のように変形できる。

式（2 2 ) において、左辺の行列 DMATの各成分が、求める処理係数 d iである。また、行列 C MATと行列 QMATのそれぞれの各成分は、正規方程式生成部 6 5 1 より供給される。従って、係数決定部 6 5 2は、正規方程式生成部 6 5 1より行列 C MATと行列 QMATのそれぞれの各成分が供給されてきたとき、式（2 2 ) の右辺の行列演算を行うことで行列 DMATを演算し、その演算結果（処理係数 d i) を処理係数設定部 3 7 aに記憶させる。また、動き設定部 6 1で設定する動き方向を切り換えて上述の学習を行うものとすれば、複数組の、予測タップの画素値と教師画像内の注目画素との関係に基づき、予測タップの画素値から教師画像内の注目画素を予測する処理係数を、少なくとも動き方向毎に、処理係数設定部に記憶させることができる。

また、生徒画像生成部で付加したノィズに応じて処理係数を動き方向毎に処理係数設定部 3 7 aに記憶させる。このようにノイズに応じて処理係数を動き方向毎に記憶させれば、上述のように、調整情報 B Sに基づき選択する処理係数を切り換え可能とすることができる。図 2 3は、学習装置が実行する学習処理を示すフローチャートである。ステツプ S T 2 1では、生成する処理係数の動き量と動き方向を設定する。

ステップ S T 2 2では、動きボケ付加を行い、ステップ S T 2 1で設定した動き量に応じて教師画像に動きボケを付加する。ステップ S T 2 3では、全画面移動を行い、ステップ S T 2 2で動きボケを付加した教師画像をステップ S T 2 1 で設定された動き量や動き方向に基づいて全画面移動して、周辺画像に対応する生徒画像を生成する。この生徒画像の生成では、特定の割合で、設定された動き量および動き方向のうち少なくとも何れか一方を変更し、変更後動き量と動き方向に基づき、教師画像に動きボケの付加や全画面移動を行い生徒画像を生成する。また、特定の割合で、動き量を「0」とした生徒画像の生成も行う。

ステップ S T 2 4では、ノイズ付加処理を行い、生徒画像にノイズを付加するステップ S T 2 5では、ノイズが付加された生徒画像から予測タップを抽出する。ステップ S T 2 6では、教師画像と抽出した予測タップを用いて少なくとも動き方向毎に正規方程式を生成する。ステップ S T 2 7では、正規方程式を解いて処理係数を生成する。

ステップ S T 2 8では、全画面に対して処理を施したか否かを判定して、全画面について処理を施していないときは、新たな画素に対してステップ S T 2 1からの処理を繰り返し、全ての画素の処理が終了したときには、学習処理を終了する。

このように、指定の動き量や動き方向に応じた処理係数を学習する際に、指定の動き量や動き方向の生徒画像だけでなく、指定の動き量や動き方向と誤差を生ずる生徒画像を学習ソースに含めることで、動きべクトルの検出誤差に対する口バスト性を向上させることが可能となり、検出された動きべクトルが誤差を生じても、動きボケ除去を良好に行うことができる。

また、動き量を「0」として、動きボケの付加されていない生徒画像を学習ソースに含めることで、静止画像の破綻に対する口バスト性を向上させることが可能となり、検出された動きベクトルが誤差を生じても、動きボケ除去を行ったときに静止画像の破綻が生じてしまうことを防止できる。更に、処理係数の学習で付加するノイズ量を調整することでボケ感を変化させたり、ボケ量の違う生徒画像の割合を調整して、新たなボケ感を作り出すことも可能となる。

次に、クラス決定を行うものとしたときに用いる処理係数を生成する学習装置

6 0の機能ブロック図を図 2 4に示している。なお図 2 4において、図 2 2と対応する部分に同一符号を付し、詳細な説明は省略する。

クラス決定部 6 3は上述のクラス決定部 3 5と同様にして注目画素にクラスコ一ド K Bを決定して処理係数生成部 6 5の正規方程式生成部 6 5 1に供給する。予測タップ抽出部 6 4は、生徒画像生成部 6 2で生成された第 1 'および第 2の生徒画像から、上述の画素値抽出部 3 6と同様にして予測タップ C aの抽出を行い、予測タップの画素値を正規方程式生成部 6 5 1に供給する _d

処理係数生成部 6 5の正規方程式生成部 6 5 1は、予測タップ抽出部 6 4で抽出した予測タップ C aの画素値と教師画像の画素値からクラスコード毎に正規方程式を生成し、係数決定部 6 5 2に供給する。係数決定部 6 5 2は、正規方程式生成部 6 5 1から供給された正規方程式に基づき処理係数を演算して、得られた複数組の処理係数を処理係数設定部 3 7 bに記憶させる。また、処理係数の生成を動き方向を切り換えて行うことで、処理係数設定部 3 7 bには、動き方向とクラスに応じた複数組の処理係数を記憶させる。また動き量を切り換えて処理係数の生成を行うものとすれば、更に精度の良い処理係数を得ることができる。また、生徒画像生成部で付加したノイズに応じて処理係数をクラス分けして、処理係数設定部 3 7 b記憶させる。このようにノイズに応じて処理係数をクラス分けすれば、上述のように、調整情報 B Sに基づきクラスを変更して選択する処理係数を切り換え可能とすることができる。

図 2 5は、学習装置が実行する学習処理（クラス決定を行う場合）を示すフロ一チャートである。ステップ S T 3 1では、生成する処理係数の動き量と動き方向を設定する。

ステップ S T 3 2では、動きボケ付加を行い、ステップ S T 3 1で設定した動き量に応じて教師画像に動きボケを付加する。ステップ S T 3 3では、全画面移動を行い、ステップ S T 3 2で動きボケを付加した教師画像をステップ S T 3 1 で設定された動き量や動き方向に基づいて全画面移動して、周辺画像に対応する生徒画像を生成する。この生徒画像の生成では、特定の割合で、設定された動き量および動き方向のうち少なくとも何れか一方を変更し、変更後の動き量と動き方向に基づき、教師画像に動きボケの付加や全画面移動を行い生徒画像を生成する。また、特定の割合で、動き量を「0」とした生徒画像の生成も行う。

ステップ S T 3 4では、ノイズ付加処理を行い、生徒画像にノイズを付加する。ステップ S T 3 5では、クラス決定処理を行い、ノイズが付加された生徒画像を用いて画素毎にクラスコードを決定する。

ステップ S T 3 6では、ノイズが付加された生徒画像から予測タ'ップを抽出する。ステップ S T 3 7では、教師画像と抽出した予測タップを用いてクラス毎に正規方程式を生成する。ステップ S T 3 8では、正規方程式を解いて処理係数を生成する。

ステップ S T 3 9では、全画面に対して処理を施したか否かを判定して、全画面について処理を施していないときは、新たな画素に対してステップ S T 3 1からの処理を繰り返し、全ての画素の処理が終了したときには、学習処理を終了する。

このように、指定の動き量や動き方向に応じた処理係数を学習する際に、指定の動き量や動き方向の生徒画像だけでなく、指定の動き量や動き方向と誤差を生ずる生徒画像を学習ソースに含めることで、動きべクトルの検出誤差に対する口バスト性を向上させることが可能となり、検出された動きべクトルが誤差を生じても、動きボケ除去を良好に行うことができる。産業上の利用可能性

以上のように、本発明にかかる画像処理装置と学習装置およびその方法は、画像センサを用いて現実社会を撮像して得られる画像信号に埋もれてしまった情報を抽出する際に有用であり、動きボケを除去した画像を得る場合に好適である。

Claims

請求の範囲

1 . 動き量を設定する動き量設定部と、

動き方向を設定する動き方向設定部と、 '

前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成部と、

前記生徒画像内の動きボケが生じている動きオブジェクトにおける前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の'注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出部と、

少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出部により抽出された画素の画素値と、前記教師画像内の注目画素との関係から、前記予測タップ抽出部により抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成部とを備え、

前記生徒画像生成部は、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する学習装置。

2 . 前記生徒画像生成部は、第 1の動き方向の動きボケに対応する予測係数を生成する際、第 1の動き方向に近い第 2の動き方向の動きボケを有する生徒画像を学習に用いる請求項 1記載の学習装置。

3 . 前記生徒画像生成部は、前記生徒画像に更にノイズを付加する請求項 1記載の学習装置。

4 . 前記予測タップ抽出部は、

前記生徒画像がインタレースフォーマツトのとき、前記生徒画像内の第 1の複数の画素の画素値を抽出し、

前記生徒画像がプログレッシブフォーマツトのとき、前記生徒画像内の第 2の複数の画素の画素値を抽出する請求項 1記載の学習装置。

5 . 前記教師画像内の注目画素に対応する前記生徒画像内の画素の画素値に基づき、前記注目画素のクラスを決定するクラス決定部を設け、

前記係数生成部は、前記クラス決定部により検出されたクラス毎に、前記教師画像内の注目画素を予測する処理係数を生成する請求項 1記載の学習装置。

6 . 前記クラス決定部では、前記教師画像内の注目画素に対応する前記生徒画像内の画素の画素値のァクティビティに応じて、前記注目画素のクラスを決定する請求項 5記載の学習装置。

7 . 動き量を設定する動き量設定工程と、

動き方向を設定する動き方向設定工程と、

前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成工程と、

前記生徒画像内の動きボケが生じている動きオブジェク卜における前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出工程と、

少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出部により抽出された画素の画素値と、前記教師画像内の注目画素との関係から、前記予測タップ抽出工程により抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成工程とを有し、

前記生徒画像生成工程では、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する学習方法。

8 . コンピュータに、

動き量を設定する動き量設定ステップと、

動き方向を設定する動き方向設定ステップと、

前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成すると共に、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する生徒画像生成ステップと、

前記生徒画像内の動きボケが生じている動きオブジェクトにおける前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出ステップと、

少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出ステップにより抽出された画素の画素値と、前記教師画像内の注目画素との関係ら、前記予測タップ抽出ステップにより抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成ステップとを実行させる学習プロダラム。