JP2018207252A5 - - Google Patents

Description

本開示に係る画像処理システムは、複数の撮像装置の位置及び姿勢の少なくとも一方を表すパラメータを取得する取得手段と、前記取得手段により前記パラメータを取得する際に用いられた複数の画像に基づいて、前記複数の撮像装置で撮像されることにより取得された複数の画像に対して補正を行う補正手段と、前記補正手段により補正された複数の画像に基づいて、仮想視点画像を生成する生成手段と、を有することを特徴とする。

Claims (15)

1. 複数の撮像装置の位置及び姿勢の少なくとも一方を表すパラメータを取得する取得手段と、
   前記取得手段により前記パラメータを取得する際に用いられた複数の画像に基づいて、前記複数の撮像装置で撮像されることにより取得された複数の画像に対して補正を行う補正手段と、
   前記補正手段により補正された複数の画像に基づいて、仮想視点画像を生成する生成手段と、
   を有することを特徴とする画像処理システム。
2. 前記取得手段は、前記仮想視点画像の生成に用いられる複数の画像を取得するための前記複数の撮像装置による撮像の開始前に、前記パラメータを取得することを特徴とする請求項１に記載の画像処理システム。
3. 前記補正手段は、前記複数の撮像装置のそれぞれに対して前記パラメータを取得する際に用いられた複数の画像の中から、前記補正を行う際に用いる画像を決定することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記補正手段は、前記複数の撮像装置のそれぞれに対して前記パラメータを取得する際に用いられた複数の画像のうち、所定の条件を満たす画像を、前記補正を行う際に用いる画像として決定する請求項３に記載の画像処理システム。
5. 前記所定の条件を満たす画像は、特徴点を撮像装置に当該撮像装置に対して取得された前記パラメータに基づいて投影した場合の当該撮像装置に対応する画像上における座標と、当該撮像装置に対して前記パラメータを取得する際に用いられた複数の画像のそれぞれにおける前記特徴点に対応する座標と、の差分が最も小さい画像である、ことを特徴とする請求項４に記載の画像処理システム。
6. 前記補正手段は、前記特徴点が複数である場合、特徴点ごとに求めた差分の平均値もしくは合計値が最も小さい画像を、前記補正を行う際に用いる画像として決定することを特徴とする請求項５に記載の画像処理システム。
7. 前記補正手段は、前記複数の特徴点ごとに求めた差分に対して、重み付けを行って得られた平均値もしくは合計値に基づき、前記補正を行う際に用いる画像を決定することを特徴とする請求項６に記載の画像処理システム。
8. 前記重み付けは、前記差分が小さい特徴点ほどその信頼度を高くする重み付け、または、特徴点を検出した撮像装置の台数や画像の数が多い特徴点ほどその信頼度を高くする重み付けであることを特徴とする請求項７に記載の画像処理システム。
9. 前記重み付けは、画像中央に近い特徴点ほどその重要度を高くする重み付けであることを特徴とする請求項７に記載の画像処理システム。
10. 前記補正手段は、前記補正を行う際に用いる画像における特徴点と、前記撮像装置で撮像されることにより取得された画像における特徴点とに基づいて、前記撮像装置で撮像されることにより取得された画像を補正することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 前記複数の撮像装置のそれぞれは、自装置で撮像されることにより取得された画像に対して前記補正を行う手段を有することで、前記補正手段が実現されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理システム。
12. 前記パラメータを取得する際に用いられる画像は、所定の閾値より振動が小さい状態で撮像されることにより取得された画像であることを特徴とする、請求項１乃至１１のいずれか１項に記載の画像処理システム。
13. 前記所定の閾値は、撮像時の振動状態によって異なることを特徴とする請求項１２に記載の画像処理システム。
14. 仮想視点画像を生成する生成方法であって、
    複数の撮像装置の位置及び姿勢の少なくとも一方を表すパラメータを取得する取得工程と、
    前記取得工程により前記パラメータを取得する際に用いられた複数の画像に基づいて、前記複数の撮像装置で撮像されることにより取得された複数の画像に対して補正を行う補正工程と、
    前記補正工程により補正された複数の画像に基づいて、仮想視点画像を生成する生成工程と、
    を有することを特徴とする生成方法。
15. コンピュータに、請求項１乃至１３のいずれか１項に記載の画像処理システムを実現させるためのプログラム。