[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2014109832A - 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 Download PDF

Info

Publication number
JP2014109832A
JP2014109832A JP2012262876A JP2012262876A JP2014109832A JP 2014109832 A JP2014109832 A JP 2014109832A JP 2012262876 A JP2012262876 A JP 2012262876A JP 2012262876 A JP2012262876 A JP 2012262876A JP 2014109832 A JP2014109832 A JP 2014109832A
Authority
JP
Japan
Prior art keywords
image
area
image processing
evaluation value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012262876A
Other languages
English (en)
Other versions
JP6153318B2 (ja
Inventor
Shin Takagi
心 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012262876A priority Critical patent/JP6153318B2/ja
Priority to US14/087,382 priority patent/US9270883B2/en
Publication of JP2014109832A publication Critical patent/JP2014109832A/ja
Application granted granted Critical
Publication of JP6153318B2 publication Critical patent/JP6153318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置を提供する。
【解決手段】画像処理装置は、第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出する算出手段と、第1の画像に第1の領域を設定し、座標変換情報に基づいて第2の画像に第1の領域と対応付けられた第2の領域を設定する領域設定手段と、第1の領域と第2の領域を比較して評価値を取得する評価値取得手段とを有する。
【選択図】図1

Description

本発明は、2枚の画像から領域毎に評価値を取得する画像処理装置に関する。
従来から、位置ずれを含む2枚の画像から評価値を取得する場合、一方の画像を基準画像として他方の画像の位置ずれを算出し、対応する位置の画素値を周辺の画素から補間して画素値を生成して領域毎に比較している。特許文献1には、手持ち撮影時に物体抽出を行うため、抽出対象の被写体が写っている画像と被写体が写っていない背景画像の2枚の画像を撮影して位置合わせを行い、画素の差分情報(評価値)に基づいて被写体を抽出する画像処理方法が開示されている。
特許第4760973号
しかしながら、特許文献1のように画素補間を施して得られた画像と位置合わせの基準となる画素補間を行っていない画像とを領域毎に比較すると、画素補間による画素の周波数特性の変化により、評価値の精度が劣化する。
そこで本発明は、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
本発明の一側面としての画像処理装置は、第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出する算出手段と、前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定する領域設定手段と、前記第1の領域と前記第2の領域を比較して評価値を取得する評価値取得手段とを有する。
本発明の他の側面としての撮像装置は、被写体像の光電変換を行って前記第1の画像および前記第2の画像を取得する撮像素子と、前記画像処理装置とを有する。
本発明の他の側面としての撮像システムは、撮像光学系と、前記撮像光学系を介して前記被写体像を取得する前記撮像装置とを有する。
本発明の他の側面としての画像処理方法は、第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出するステップと、前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定するステップと、前記第1の領域と前記第2の領域を比較して評価値を取得するステップとを有する。
本発明の他の側面としての画像処理プログラムは、第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出するステップと、前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定するステップと、前記第1の領域と前記第2の領域を比較して評価値を取得するステップと、を画像処理装置に実行させるように構成されている。
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを格納している。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
本実施形態における画像処理装置を備えた撮像装置のブロック図である。 実施例1における画像処理方法のフローチャートである。 実施例1における基準画像と比較画像の一例である。 実施例1における基準エッジ画像(基準領域)と比較エッジ画像(比較領域)の一例である。 実施例1における基準領域と比較領域の拡大図である。 実施例2における画像処理方法のフローチャートである。 実施例2における基準画像と比較画像の一例である。 画素補間による位置合わせの説明図である。 画素補間による周波数特性の変化を示す図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
まず、図1を参照して、本実施形態における画像処理装置を備えた撮像装置の構成について説明する。図1は、撮像装置100のブロック図である。撮像装置100は、合焦位置を変更して撮影した位置ずれを含む2枚の画像(複数の画像)を領域毎に比較して評価値を取得することにより、領域毎の距離情報を取得する。
撮像装置100において、撮像レンズ10(撮像光学系)は、撮影像を光学的に撮像素子12上に結像させる。撮像素子12は、その撮影像(被写体像)に対して光電変換を行い電気信号(アナログ信号)に変換する。撮像素子12は、複数色のフィルタを備えて構成される。A/D変換器14は、撮像素子12から出力されるアナログ信号をデジタル信号に変換する。なお本実施例の撮像装置100は、撮像レンズ10(撮像光学系)と撮像装置本体とが一体的に構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に対して着脱可能な撮像光学系(レンズ装置)とを有する撮像システムにも適用可能である。
画像信号処理手段16は、撮影して得られた画像データ(画像信号)に対して、同時化処理、ホワイトバランス処理、γ処理、NR処理などの各種の画像信号処理を行う。画像信号処理手段16は、処理後の画像データを現像し、メモリ18に記憶させる。メモリ18は、撮影して得られた画像データを一時的に格納する揮発性メモリ(記憶手段)である。制御手段20は、A/D変換器14、メモリ18、画像信号処理手段16、位置ずれ算出手段22、比較領域設定手段24、および、評価値取得手段26の間のデータの流れを制御する。
位置ずれ算出手段22(算出手段)は、撮像素子12により取得された2枚の画像(第1の画像、第2の画像)の位置ずれを算出し、2枚の画像の位置を対応付ける座標変換情報を算出する。比較領域設定手段24(領域設定手段)は、2枚の画像のうち一方の画像である基準画像(第1の画像)に対して基準領域(第1の領域)を設定し、他方の画像である比較画像(第2の画像)に対して比較領域(第2の領域)を設定する。比較領域は、位置ずれ算出手段22により算出された座標変換情報に基づいて決定される。
評価値取得手段26は、基準画像に対して設定された基準領域(第1の領域)と、比較画像に対して設定された比較領域(第2の領域)とを比較して評価値を取得する。本実施形態において、評価値取得手段26は、基準領域および比較領域のそれぞれの領域に対してエッジ抽出を行う。そして、この2つの領域内の画素毎のエッジ振幅の絶対値を積分して得られた値を比較することにより、評価値を取得する。本実施形態において、画像処理装置30は、画像信号処理手段16、位置ずれ算出手段22、比較領域設定手段24、および、評価値取得手段26を備えて構成される。
ところで、従来のように、画素補間を施して得られた画像と位置合わせの基準となる画素補間を行っていない画像とを領域毎に比較すると、画素補間による画素の周波数特性の変化により、評価値の精度が劣化する。例えば、2枚の画像の位置ずれを検出した結果、図8に示されるように水平に0.5画素ずれている状態で位置合わせした画素を線形補間で生成すると、図9に示されるような周波数特性のローパスフィルタが適用されたことになる。このため、位置合わせを行った画像だけ周波数特性が変化してしまう。そこで本実施形態の画像処理方法は、画素を補間することなく高精度な評価値を取得する。以下、この画像処理方法の具体的な実施例について説明する。
まず、図2乃至図5を参照して、本発明の実施例1における画像処理方法について説明する。図2は、本実施例における画像処理方法(評価値の取得方法)のフローチャートである。図2の各ステップは、主に、制御手段20の指令に基づいて画像処理装置30により行われる。
まずステップS201において、撮像装置100は、合焦位置をずらして2枚の画像(第1の画像、第2の画像)を撮影する。ここで、一方の画像(例えば、1枚目に撮影した画像)を基準画像301(第1の画像)、他方の画像(例えば、2枚目に撮影した画像)を比較画像302(第2の画像)とする。図3は撮影して得られた2枚の画像の一例であり、図3(a)は基準画像301、図3(b)は比較画像302をそれぞれ示している。基準画像301は、被写体に合焦した画像である。一方、比較画像302は、背景に合焦した画像である。また、本実施例において、撮像装置100を手持ち状態で2枚の画像を撮影しているため、基準画像301と比較画像302(2枚の画像)の間には位置ずれが生じている。
次に、位置ずれ算出手段22は、2枚の画像間の動きベクトルを算出し、2枚の画像間の位置ずれを対応付けるための座標変換情報を算出する。すなわち位置ずれ算出手段22は、基準画像301(第1の画像)と比較画像302(第2の画像)の間の動きベクトルに基づいて座標変換情報を算出する。
具体的には、ステップS202において、位置ずれ算出手段22は、位置合わせの基準画像301と、基準画像301に対する位置ずれ(位置ずれ量)を算出するための比較画像302とを、それぞれ、複数の領域(小領域)に分割する。そして、これらの領域(分割領域)毎に基準画像301と比較画像302との間の位置ずれ量を求めることにより、動きベクトルを算出する。本実施例における位置ずれ量の算出方法としては、例えば特開2009−301181号公報に開示された方法が用いられる。この方法によれば、基準画像301の小領域を比較画像302の小領域内で移動させながら相関値を求め、この相関値が最小となる位置までの動きベクトルをその小領域における位置ずれ量とする。また、相関値としては、例えば差分絶対値和(SAD)が用いられる。
続いてステップS203において、位置ずれ算出手段22は、小領域毎に算出された位置ずれ量に基づいて、2枚の画像の位置ずれを対応づける座標変換情報を算出する。本実施例において、座標変換情報は射影変換係数であり、射影変換係数は被写体像の変形を示す係数である。また射影変換係数は、1つの画像に対して1つだけ算出してもよいし、小領域毎に異なる射影変換係数を算出してもよい。なお本実施例において、座標変換情報として射影変換係数が用いられるが、これに限定されるわけではない。射影変換係数に代えて、アフィン変換係数など他の種類の座標変換情報を算出してもよい。
次にステップS204において、画像信号処理手段16は、基準画像301および比較画像302のそれぞれに対してバンドパスフィルタを用いたエッジ抽出処理を行い、基準エッジ画像403および比較エッジ画像404を生成する。図4(a)は基準エッジ画像403、図4(b)は比較エッジ画像404の一例である。
次にステップS205において、比較領域設定手段24は、基準エッジ画像403に対して基準領域401を設定する。また比較領域設定手段24は、ステップS203にて算出された射影変換係数に基づいて比較エッジ画像404に対して比較領域402を設定する。
ここで、基準領域401および比較領域402設定方法について詳述する。まず、比較領域設定手段24は、基準エッジ画像403の内部において、距離情報を取得する着目画素を中心とした矩形の基準領域401を設定する。続いて、位置ずれ算出手段22により算出された射影変換係数に基づき、基準領域401の四隅(四頂点)に対して以下の式(1)、(2)を用いて座標変換を行い、比較エッジ画像404に対して比較領域402を設定する。
x’=(ax+by+c)÷(dx+ey+1) …(1)
y’=(fx+gy+i)÷(dx+ey+1) …(2)
式(1)、(2)において、係数a、b、c、d、e、f、gは、ステップS203にて算出された射影変換係数である。x、yは、それぞれ、基準領域401の四隅(四頂点)のうちの1つの角のx座標およびy座標である。x’、y’は、それぞれ、比較領域402の四隅のうちの1つの角のx座標およびy座標であり、基準領域401の1つの角に対応する比較エッジ画像404の1つの角の位置である。比較領域設定手段24は、式(1)、(2)に基づいて、基準領域401の残りの3つの角に対応する比較エッジ画像404の3つの角の位置をそれぞれ算出することにより、比較領域402の四隅の座標を求める。
図5は基準領域401および比較領域402の拡大図であり、図5(a)は基準領域401、図5(b)は比較領域402をそれぞれ示している。図5(b)に示される波線矢印は、基準領域401の四隅が前述の方法により波線矢印で示される位置に座標変換されたことを表している。このように、比較領域設定手段24は、基準領域401の各頂点に対して座標変換情報を用いて得られた点を各頂点とする領域を、比較領域402として設定する。
本実施例では、矩形の基準領域401から比較領域402を決定する方法について説明しているが、これに限定されるものではない。例えば、基準領域401を多角形に設定し、多角形の頂点毎に座標変換を行うことにより比較領域402を設定してもよい。また、基準領域401を任意の形状に設定し、基準領域401に含まれる画素毎に座標変換を行って比較領域402を設定することもできる。このとき比較領域設定手段24は、基準領域401に含まれる画素に対して座標変換情報を用いて得られた画素を含む領域を、比較領域402として設定する。
次にステップS206において、評価値取得手段26は、基準領域401と比較領域402とを比較して、その領域の評価値を取得する。具体的には、評価値取得手段26は、基準エッジ画像403と比較エッジ画像404の領域毎に領域内画素のエッジ振幅の絶対値を積分して得られた信号値(以下、「エッジ積分値」という。)の差分を評価値として取得する。後述のように、本実施例の評価値は、前景や背景などの距離情報の取得に用いられる。
このように評価値取得手段26は、基準領域401のエッジ積分値と、比較領域402のエッジ積分値を比較して評価値を取得する。ここで、比較領域402は矩形であるとは限らない。比較領域402が矩形以外の形状を有する四角形(形状が変形された四角形)になる場合、比較領域402のエッジ積分を行う対象領域(対象画素)は、比較領域402に完全に含まれる画素とする。例えば図5(b)に示される比較領域402の場合、対象画素は、比較領域402の内部に含まれる白色画素と斜線画素になる。
また、基準領域401はエッジ積分の対象となる画素数は64であるのに対し、比較領域402はエッジ積分の対象となる画素数は59である。このため本実施例では、エッジ積分対象の画素数に応じてエッジ積分値を正規化することが好ましい。具体的には、比較領域402のエッジ積分値に64/59を掛けて正規化した値を比較領域402の最終的なエッジ積分値とする。このように、評価値取得手段26は、基準領域401(第1の領域)と比較領域402(第2の領域)の大きさに応じて評価値を正規化してもよい。
また、比較領域402の内部に一部だけ含まれる画素(グレー色画素)についても、比較領域402の内部に含まれる割合に応じた重みを掛けて(重み付けを行って)、エッジ積分値に加えることができる。このように評価値取得手段26は、比較領域402(第2の領域)に含まれる画素毎に重みを変更して評価値を取得してもよい。
続いて、評価値取得手段26(制御手段20)は、取得された評価値に基づいて、距離情報を判定する(取得する)。評価値取得手段26は、前述のように、領域毎にエッジ積分値を比較する。前景の被写体に合焦している基準エッジ画像403に対して、背景に合焦している比較エッジ画像404のエッジ積分値が減少している領域の場合、基準エッジ画像403に対して比較エッジ画像404において画像がぼけたことになる。このため、その領域は前景であると判定される。逆に、基準エッジ画像403に対して比較エッジ画像404のエッジ積分値が増加している場合、基準エッジ画像403に対して比較エッジ画像404において画像が合焦したことになる。このため、その領域は背景であると判定される。また本実施例では、評価値としてエッジ積分値(信号値)の差分を用いているが、これに限定されるものではない。エッジ積分値の比率を用いてもよいし、または、周波数特性の異なる複数のフィルタで抽出したエッジのエッジ積分値を組み合わせて評価値の算出用のエッジ積分値として用いてもよい。
次にステップS207において、画像信号処理手段16(制御手段20)は、基準画像301に対してぼけフィルタを適用することにより、画像全体がぼけているぼけ画像を生成する。ぼけフィルタとしては、例えば、低周波領域を通過させる周波数特性を有するローパスフィルタが選択される。
次にステップS208において、画像信号処理手段16(制御手段20)は、ステップS206にて算出された評価値(距離情報)に基づいて、基準画像301とステップS207にて生成されたぼけ画像とを合成する。その距離情報により前景であると判定された前景領域については基準画像301が参照される。一方、その距離情報により背景であると判定された背景領域については、ステップS207にて生成されたぼけ画像が参照される。そして、画像信号処理手段16(制御手段20)は、前景領域と背景領域とを合成することにより、被写体領域(前景領域)は合焦し、背景領域はぼけている背景ぼかし画像を生成することができる。
本実施例によれば、位置合わせのための座標変換係数に基づいて、画素値に影響を与えることなく比較領域の形状を変更することで、位置合わせの影響を低減して領域毎に評価値(距離情報)を取得することができる。
次に、図6および図7を参照して、本発明の実施例2における画像処理方法について説明する。本実施例の画像処理装置30は、位置ずれを含む2枚の撮影画像から領域毎に評価値を得ることにより、画像内の移動体領域を抽出する。すなわち評価値取得手段26は、基準画像に設定された基準領域と、比較画像に設定された比較領域とを比較して評価値(移動体情報)を取得し、移動体領域を抽出する。このように、本実施例の評価値は、移動体領域の判定に用いられる。
図6は、本実施例における画像処理方法(評価値の取得方法)のフローチャートである。図6の各ステップは、主に、制御手段20の指令に基づいて画像処理装置30により行われる。まず、ステップS601において、撮像装置100は2枚の画像を撮影する。ここで、一方の画像(例えば、1枚目に撮影した画像)を基準画像701、他方の画像(例えば、2枚目に撮影した画像)を比較画像702とする。
図7は撮影して得られた2枚の画像の一例であり、図7(a)は基準画像701、図7(b)は比較画像702をそれぞれ示している。基準画像701および比較画像702において、主被写体703は動いていないが、移動体704は移動している。また本実施例では、撮像装置100を手持ち状態で2枚の画像を撮影しているため、2枚の画像間には位置ずれが生じている。
次にステップS602において、位置ずれ算出手段22は2枚の画像間の動きベクトルを算出する。そしてステップS603において、位置ずれ算出手段22は、2枚の画像の位置ずれを対応付ける座標変換情報(射影変換係数)を算出する。本実施例のステップS602、S603は、実施例1のステップS202、S203と同様である。
次にステップS604において、比較領域設定手段24は、基準領域401と比較領域402を設定する。本実施例のステップS604は基本的に実施例1のステップS205と同様である。ただし本実施例において、基準領域401と比較領域402は、基準画像701と比較画像702に対してそれぞれ設定される。
次にステップS605において、評価値取得手段26(制御手段20)は、各領域の評価値を取得して画像内の移動体領域を抽出する。本実施例において、評価値取得手段26は、着目画素を中心とした矩形の基準領域401の内部の画素と、基準領域401に対応する比較領域402の内部の画素の輝度値総和(信号値)を評価値として取得する。そして評価値取得手段26は、基準領域401と比較領域402の輝度値総和の差分または比率が所定値以上である場合、その領域が移動体(移動体領域)であると判定する。また本実施例では、色差の総和や他の色空間の信号値の総和や各種色区間の信号値の総和を重み付けて比較してもよい。また実施例1と同様に、比較領域402の内部に一部含まれる画素についても、比較領域402の内部に含まれる割合に応じて重み付けを行い、信号値の総和に加えてもよい。
本実施例によれば、位置合わせのための座標変換係数に基づいて、画素値に影響を与えることなく比較領域の形状を変更することで、位置合わせの影響を低減して領域毎に評価値(輝度値総和)を取得することができる。
このため各実施例によれば、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、および、画像処理方法を提供することができる。また各実施例によれば、前記画像処理方法を前記画像処理装置に実行させるように構成された画像処理プログラム、および、前記画像処理プログラムを格納した記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
22 位置ずれ検出手段
24 比較領域設定手段
26 評価値取得手段
30 画像処理装置

Claims (17)

  1. 第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出する算出手段と、
    前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定する領域設定手段と、
    前記第1の領域と前記第2の領域を比較して評価値を取得する評価値取得手段と、を有することを特徴とする画像処理装置。
  2. 前記算出手段は、前記第1の画像と前記第2の画像の間の動きベクトルに基づいて前記座標変換情報を算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記座標変換情報は、被写体像の変形を示す射影変換係数であることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記評価値取得手段は、前記第1の領域と前記第2の領域に含まれる画素を補間することなく前記評価値を取得することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記評価値取得手段は、前記第1の領域と前記第2の領域の大きさに応じて前記評価値を正規化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記評価値取得手段は、前記第2の領域に含まれる画素毎に重みを変更して前記評価値を取得することを特徴する請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記評価値取得手段は、前記第1の領域と前記第2の領域のエッジ積分値を比較して前記評価値を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記評価値取得手段は、前記第1の領域と前記第2の領域の信号値の差分を比較して前記評価値を取得することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記領域設定手段は、前記第1の領域の各頂点に対して前記座標変換情報を用いて得られた点を各頂点とする領域を、前記第2の領域として設定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記領域設定手段は、前記第1の領域に含まれる画素に対して前記座標変換情報を用いて得られた画素を含む領域を、前記第2の領域として設定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  11. 前記評価値は、距離情報の取得に用いられることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記評価値は、移動体領域の判定に用いられることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  13. 被写体像の光電変換を行って前記第1の画像および前記第2の画像を取得する撮像素子と、
    請求項1乃至12のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置。
  14. 撮像光学系と、
    前記撮像光学系を介して前記被写体像を取得する請求項13に記載の撮像装置と、を有することを特徴とする撮像システム。
  15. 第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出するステップと、
    前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定するステップと、
    前記第1の領域と前記第2の領域を比較して評価値を取得するステップと、を有することを特徴とする画像処理方法。
  16. 第1の画像の位置と第2の画像の位置を対応付ける座標変換情報を算出するステップと、
    前記第1の画像に第1の領域を設定し、前記座標変換情報に基づいて前記第2の画像に該第1の領域と対応付けられた第2の領域を設定するステップと、
    前記第1の領域と前記第2の領域を比較して評価値を取得するステップと、を画像処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。
  17. 請求項16に記載の画像処理プログラムを格納していることを特徴とする記憶媒体。
JP2012262876A 2012-11-30 2012-11-30 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 Active JP6153318B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012262876A JP6153318B2 (ja) 2012-11-30 2012-11-30 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US14/087,382 US9270883B2 (en) 2012-11-30 2013-11-22 Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012262876A JP6153318B2 (ja) 2012-11-30 2012-11-30 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
JP2014109832A true JP2014109832A (ja) 2014-06-12
JP6153318B2 JP6153318B2 (ja) 2017-06-28

Family

ID=50825100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012262876A Active JP6153318B2 (ja) 2012-11-30 2012-11-30 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体

Country Status (2)

Country Link
US (1) US9270883B2 (ja)
JP (1) JP6153318B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
KR102372711B1 (ko) * 2015-10-13 2022-03-17 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
JP6604998B2 (ja) * 2017-07-20 2019-11-13 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN113516684A (zh) * 2021-07-06 2021-10-19 维沃移动通信(杭州)有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877355A (ja) * 1994-09-05 1996-03-22 Hitachi Ltd 重み付きパターンマッチング方法
JPH10105690A (ja) * 1996-09-27 1998-04-24 Oki Electric Ind Co Ltd 広域移動体追跡装置
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP2007333647A (ja) * 2006-06-16 2007-12-27 Toyama Univ 画像処理方法、画像処理装置および画像処理プログラム
JP2011165043A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2012222510A (ja) * 2011-04-06 2012-11-12 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0908847B1 (en) * 1997-10-06 2006-01-25 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
US6977664B1 (en) * 1999-09-24 2005-12-20 Nippon Telegraph And Telephone Corporation Method for separating background sprite and foreground object and method for extracting segmentation mask and the apparatus
JP2001268439A (ja) * 2000-03-16 2001-09-28 Minolta Co Ltd 合成画像の作成方法
US6738532B1 (en) * 2000-08-30 2004-05-18 The Boeing Company Image registration using reduced resolution transform space
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP3968375B2 (ja) * 2005-02-15 2007-08-29 松下電器産業株式会社 周辺監視装置および周辺監視方法
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP4544334B2 (ja) * 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
JP2009301181A (ja) 2008-06-11 2009-12-24 Olympus Corp 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP4760973B2 (ja) 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
JP2010161521A (ja) * 2009-01-07 2010-07-22 Nec Corp 画像処理装置、撮像装置、画像ぶれの補正方法、及びプログラム
JP2010268441A (ja) * 2009-04-16 2010-11-25 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像再生装置
WO2011021235A1 (ja) * 2009-08-18 2011-02-24 富士通株式会社 画像処理方法および画像処理装置
KR101643613B1 (ko) * 2010-02-01 2016-07-29 삼성전자주식회사 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877355A (ja) * 1994-09-05 1996-03-22 Hitachi Ltd 重み付きパターンマッチング方法
JPH10105690A (ja) * 1996-09-27 1998-04-24 Oki Electric Ind Co Ltd 広域移動体追跡装置
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
JP2007333647A (ja) * 2006-06-16 2007-12-27 Toyama Univ 画像処理方法、画像処理装置および画像処理プログラム
JP2011165043A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2012222510A (ja) * 2011-04-06 2012-11-12 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Also Published As

Publication number Publication date
JP6153318B2 (ja) 2017-06-28
US9270883B2 (en) 2016-02-23
US20140152862A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP5997645B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5179398B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2018221224A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN102685511B (zh) 图像处理设备和图像处理方法
US20150138380A1 (en) Image pickup apparatus capable of detecting motion vector, method of controlling the same, and storage medium
WO2014069247A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9413952B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
WO2014002521A1 (ja) 画像処理装置及び画像処理方法
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6153318B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5446285B2 (ja) 画像処理装置及び画像処理方法
WO2018066027A1 (ja) 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
JP2018018425A (ja) 画像処理装置及び画像処理方法
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2011182084A (ja) 画像処理装置および画像処理プログラム
JP2016134631A (ja) 画像処理装置、撮像装置、画像処理方法
JP2020086216A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
JP2010041416A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2017108243A (ja) 画像処理装置及び画像処理方法
JP6525693B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170530

R151 Written notification of patent or utility model registration

Ref document number: 6153318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151