JP2018036898A5 - 画像処理装置及び画像処理方法及びプログラム - Google Patents

Description

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
撮像手段の撮像により取得された撮像画像におけるオブジェクトの境界領域を検出する検出手段と、
前記検出手段により検出された前記境界領域に基づいて、当該境界領域と前記撮像画像における画素の位置との間の距離に応じた寄与度であって、当該画素が仮想視点画像の生成に寄与する度合いを示す寄与度を決定する決定手段と、
複数の撮像手段の撮像により取得された複数の撮像画像と、前記決定手段により決定された寄与度とに基づいて、前記仮想視点画像を生成する生成手段とを有する。

Claims (17)

1. 撮像手段の撮像により取得された撮像画像におけるオブジェクトの境界領域を検出する検出手段と、
   前記検出手段により検出された前記境界領域に基づいて、当該境界領域と前記撮像画像における画素の位置との間の距離に応じた寄与度であって、当該画素が仮想視点画像の生成に寄与する度合いを示す寄与度を決定する決定手段と、
   複数の撮像手段の撮像により取得された複数の撮像画像と、前記決定手段により決定された寄与度とに基づいて、前記仮想視点画像を生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記撮像画像における第１の画素の寄与度は、前記境界領域と前記第１の画素の距離よりも前記境界領域までの距離が小さい前記撮像画像における第２の画素の寄与度よりも大きいことを特徴とする請求項１に記載の画像処理装置。
3. 前記境界領域に含まれる画素の寄与度は、前記撮像画像における前記境界領域に含まれない画素の寄与度とは異なることを特徴とする請求項１に記載の画像処理装置。
4. 前記境界領域に含まれる画素の寄与度は、前記撮像画像における前記境界領域に含まれない画素の寄与度よりも小さいことを特徴とする請求項３に記載の画像処理装置。
5. 前記オブジェクトの形状を示す形状情報に基づいて、前記撮像画像に対応するデプス画像を生成する第３生成手段を、さらに有し、
   前記検出手段は、前記第３生成手段により生成されたデプス画像に基づいて、当該デプス画像に対応する撮像画像における前記境界領域を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記デプス画像は、前記撮像手段の視点と前記オブジェクトの点との間の距離を画素値として表す画像であることを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、
   前記撮像画像における複数の画素に対して、当該複数の画素それぞれと前記境界領域との間の距離に応じた寄与度を決定し、
   前記複数の画素それぞれの寄与度に基づいて、寄与度マップを生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、
   オブジェクトを示すシルエット画像を生成し、
   前記デプス画像と前記シルエット画像とに基づいて、前記境界領域に含まれる境界画素と境界領域には含まれない非境界画素とを区別するための第１のマップを生成し、
   前記第１のマップに基づいて、前記境界画素の前記寄与度を最低とし、前記境界画素からの距離に応じた寄与度を表す値を持つ前記寄与度マップを生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記第１のマップに対してモルフォロジー処理を行うことで前記寄与度マップを生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記検出手段は、前記デプス画像内の着目画素の値に応じて閾値を決定し、当該閾値と、前記着目画素と隣接画素との差分とを比較結果に基づいて、前記境界領域を検出することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
11. 前記生成手段は、前記仮想視点画像における着目画素の画素値を決定する際に用いられる撮像画像として、前記複数の撮像手段の撮像により取得された複数の撮像画像に対応する複数の寄与度マップの中で、前記着目画素に対応する前記撮像画像における画素の寄与度が予め設定した閾値を超える寄与度マップに対応する撮像画像を選択することを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 前記生成手段は、前記複数の撮像手段の撮像により取得された複数の撮像画像に対応する複数の寄与度マップの中で、前記着目画素に対応する前記撮像画像における画素の寄与度が予め設定した閾値を超える寄与度マップが複数存在する場合、前記閾値を超える複数の寄与度マップに対応する複数の撮像画像の中から、前記撮像手段の視線方向と仮想視点からの視線方向とのなす角度に基づいて、撮像画像を選択することを特徴とする請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記仮想視点画像における着目画素の画素値を決定する際に用いられる撮像画像として、前記着目画素に対応する前記撮像画像における画素の寄与度が予め設定した閾値を超える寄与度マップが複数存在しない場合、すべての撮像画像の中から、前記着目画素に対応する前記撮像画像における画素の寄与度が高い上位２つの寄与度マップに対応する２つの撮像画像を選択することを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
14. 撮像手段の撮像により取得された撮像画像におけるオブジェクトの境界領域を検出する検出手段と、
    複数の撮像手段の撮像により取得された撮像画像に基づいて、仮想視点画像を生成する生成手段と、を有し、
    前記生成手段は、前記検出手段により検出された前記境界領域に含まれる画素は用いずに、当該境界領域に含まれる画素とは異なる画素に基づいて、前記仮想視点画像を生成することを特徴とする画像処理装置。
15. 撮像手段の撮像により取得された撮像画像におけるオブジェクトの境界領域を検出する検出工程と、
    前記検出工程において検出された撮像画像における前記境界領域に基づいて、当該境界領域と前記撮像画像における画素の位置との間の距離に応じた寄与度であって、当該画素が仮想視点画像の生成に寄与する度合いを示す寄与度を決定する決定工程と、
    複数の撮像手段の撮像により取得された複数の撮像画像と、前記決定工程において決定された寄与度とに基づいて、前記仮想視点画像を生成する生成工程と、を有することを特徴とする画像処理方法。
16. 撮像手段の撮像により取得された撮像画像におけるオブジェクトの境界領域を検出する検出工程と、
    複数の撮像手段の撮像により取得された撮像画像に基づいて、仮想視点画像を生成する生成工程と、を有し、
    前記生成工程において、前記検出工程において検出された前記境界領域に含まれる画素は用いずに、当該境界領域に含まれる画素とは異なる画素に基づいて、前記仮想視点画像を生成することを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。