JP2020515931A5 - - Google Patents

Description

説明していない場合でも、このような装置又は機器は、少なくとも１つのカメラ、少なくとも１つのディスプレイ、又は他の従来の装置も含むこともできる。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
シーンの少なくとも１つの画像のセットから、前記シーンのセグメンテーションと３Ｄ再構築を組み合わせる方法であって、前記シーンの前記セグメンテーションが、前記シーンの前記３Ｄ再構築の各セグメントへの分割に対応し、前記方法が、
前記シーンの初期３Ｄ再構築を取得すること（１１）と、
前記初期３Ｄ再構築に関連付けられた初期３Ｄ特徴を取得すること（１２）と、
前記初期３Ｄ再構築の初期セグメンテーションを取得すること（１３）と、
前記シーンの前記初期３Ｄ再構築に関連付けられた前記初期３Ｄ特徴に対応するように、前記初期３Ｄ特徴から、かつ前記セットの少なくとも１つの画像において決定される初期２Ｄ特徴から、強化された３Ｄ特徴を決定すること（１４）であって、前記強化された３Ｄ特徴が前記初期セグメンテーションに少なくとも部分的に対応することと、
前記初期セグメンテーションと前記強化された３Ｄ特徴の両方から、強化されたセグメンテーションと改良された３Ｄ再構築の両方を決定すること（１５）と、
を含む、方法。
（付記２）
前記３Ｄ特徴が３Ｄ特徴線であり、前記２Ｄ特徴が２Ｄ特徴線である、付記１に記載の方法。
（付記３）
前記シーンの前記初期３Ｄ再構築を取得すること（１１）が、奥行きデータから前記初期３Ｄ再構築を構築することを含む、付記１又は２に記載の方法。
（付記４）
前記初期３Ｄ特徴を取得すること（１２）が、幾何学的特性及び／又は局所的特徴記述子を使用して、前記シーンの前記初期３Ｄ再構築において３Ｄ特徴を識別することを含む、付記１乃至３の何れかに記載の方法。
（付記５）
前記シーンの前記少なくとも１つの画像の前記セットが、少なくとも２つの画像を含み、前記方法が、
可視画像として知られている、前記初期３Ｄ特徴を含む前記セットの画像を選択することと、
前記可視画像において、前記初期３Ｄ特徴にマッチする前記初期２Ｄ特徴を識別することと、
から、前記初期２Ｄ特徴を決定することを含み、
前記強化された３Ｄ特徴を決定することが、
少なくとも２つの可視画像にわたって前記初期２Ｄ特徴をマッチさせることによって、幾何学的な手がかりを生成することと、
前記幾何学的な手がかりを用いて前記初期３Ｄ特徴を強化して、前記強化された３Ｄ特徴を決定することと、
を含む、付記１乃至４の何れかに記載の方法。
（付記６）
前記強化された３Ｄ特徴から、また前記セットの前記少なくとも１つの画像において決定される強化された２Ｄ特徴から、前記シーンの前記改良された前記３Ｄ再構築に関連付けられた、前記強化された３Ｄ特徴に対応するように、さらに強化された３Ｄ特徴を決定することと、
前記強化されたセグメンテーション、及び前記さらに強化された３Ｄ特徴から、さらに強化されたセグメンテーション及びさらに改良された３Ｄ再構築を決定することと
を、少なくとも１度は繰返し処理することを含む、付記１乃至５の何れかに記載の方法。
（付記７）
少なくとも前記さらに強化された３Ｄ特徴と前記強化された２Ｄ特徴との間のマッチングでの所定の精度閾値に達すると、前記繰返し処理が停止される、付記６に記載の方法。
（付記８）
前記所定の精度閾値が、前記シーンの前記３Ｄ再構築を前記セグメントに分割する程度によって与えられるセグメンテーション・レベル、前記さらに改良された３Ｄ再構築で測定された、隣接する同様の各３Ｄ要素間のラベルの一貫性、及び前記セットの前記少なくとも１つの画像と、前記さらに改良された３Ｄ再構築との間の位置合せ、のうち少なくとも１つに一緒に適用される、付記７に記載の方法。
（付記９）
所定の数の繰返し処理に達すると前記繰返し処理が停止される、付記６乃至８の何れかに記載の方法。
（付記１０）
前記強化されたセグメンテーションがセグメンテーション制約条件に依存する、付記１乃至９の何れかに記載の方法。
（付記１１）
前記セグメンテーション制約条件が、少なくとも１つのセグメント形状に関係する、付記１０に記載の方法。
（付記１２）
前記初期３Ｄ再構築及び少なくとも１つの画像の前記セットを、少なくとも１つの入力として受け取ることと、少なくとも１つのプロセッサを用いて、前記強化された３Ｄ特徴、強化されたセグメンテーション、及び改良された３Ｄ再構築を決定することと、少なくとも１つの出力から、前記強化されたセグメンテーション及び前記改良された３Ｄ再構築を出力して、前記改良された３Ｄ再構築をユーザに表示し、また前記強化されたセグメンテーションによって、前記改良された３Ｄ再構築を処理することとを含む、付記１乃至１１の何れかに記載の方法。
（付記１３）
通信ネットワークからダウンロード可能であり、及び／又はコンピュータによる読取り可能な媒体上に記録され、及び／又はプロセッサによって実行可能なコンピュータ・プログラム製品であって、プロセッサで実行されるときには、付記１乃至１２の何れかに記載の方法を実行するように構成されたソフトウェア・コードを含む、コンピュータ・プログラム製品。
（付記１４）
シーンの少なくとも１つの画像のセットから、前記シーンのセグメンテーションと３Ｄ再構築を組み合わせるための装置であって、前記シーンの前記セグメンテーションが、前記シーンの前記３Ｄ再構築の各セグメントへの分割に対応し、前記装置が、
前記シーンの初期３Ｄ再構築を取得し、
前記初期３Ｄ再構築に関連付けられた初期３Ｄ特徴を取得し、
前記初期３Ｄ再構築の初期セグメンテーションを取得し、
前記シーンの前記初期３Ｄ再構築に関連付けられた前記初期３Ｄ特徴に対応するように、前記初期３Ｄ特徴から、かつ前記セットの少なくとも１つの画像において決定される初期２Ｄ特徴から、強化された３Ｄ特徴を決定し、前記強化された３Ｄ特徴が前記初期セグメンテーションに少なくとも部分的に対応し、
前記初期セグメンテーションと前記強化された３Ｄ特徴の両方から、強化されたセグメンテーションと改良された３Ｄ再構築の両方を決定する、
ように適合され、構成された少なくとも１つのプロセッサを備える、装置。
（付記１５）
付記１４に記載の装置を備え、好ましくは、携帯電話、タブレット、若しくはヘッドマウント・ディスプレイから選択される携帯機器、又は好ましくはロボット、自律運転機器、若しくはスマート・ホーム機器から選択される自律機器であることを特徴とする、機器。

Claims (15)

1. シーンの少なくとも１つの画像のセットから、前記シーンのセグメンテーションと３Ｄ再構築を組み合わせる方法であって、前記シーンの前記セグメンテーションが、前記シーンの前記３Ｄ再構築の各セグメントへの分割に対応し、前記方法が、
   前記シーンの初期３Ｄ再構築を取得することと、
   前記初期３Ｄ再構築に関連付けられた初期３Ｄ幾何学的特徴を取得することと、
   前記初期３Ｄ再構築の初期セグメンテーションを取得することと、
   前記初期３Ｄ幾何学的特徴から、かつ前記セットの少なくとも１つの画像において決定される初期２Ｄ幾何学的特徴から、強化された３Ｄ幾何学的特徴を決定することであって、前記少なくとも１つの画像が、前記シーンの前記初期３Ｄ再構築に関連付けられた前記初期３Ｄ幾何学的特徴に基づいて選択され、前記強化された３Ｄ幾何学的特徴が前記初期セグメンテーションに少なくとも部分的に対応することと、
   前記初期セグメンテーションと前記強化された３Ｄ幾何学的特徴の両方から、強化されたセグメンテーションと改良された３Ｄ再構築の両方を決定することと、
   を含む、方法。
2. 前記３Ｄ幾何学的特徴が３Ｄ特徴線であり、前記２Ｄ幾何学的特徴が２Ｄ特徴線である、請求項１に記載の方法。
3. 前記シーンの前記初期３Ｄ再構築を取得することが、奥行きデータから前記初期３Ｄ再構築を構築することを含む、請求項１又は２に記載の方法。
4. 前記初期３Ｄ幾何学的特徴を取得することが、幾何学的特性及び／又は局所的特徴記述子を使用して、前記シーンの前記初期３Ｄ再構築において３Ｄ特徴を識別することを含む、請求項１乃至３の何れか１項に記載の方法。
5. 前記シーンの前記少なくとも１つの画像の前記セットが、少なくとも２つの画像を含み、前記方法が、
   可視画像として知られている、前記初期３Ｄ幾何学的特徴を含む前記セットの画像を選択することと、
   前記可視画像において、前記初期３Ｄ特徴にマッチする前記初期２Ｄ幾何学的特徴を識別することと、
   から、前記初期２Ｄ幾何学的特徴を決定することを含み、
   前記強化された３Ｄ幾何学的特徴を決定することが、
   少なくとも２つの可視画像にわたって前記初期２Ｄ幾何学的特徴をマッチさせることによって、幾何学的な手がかりを生成することと、
   前記幾何学的な手がかりを用いて前記初期３Ｄ幾何学的特徴を強化して、前記強化された３Ｄ幾何学的特徴を決定することと、
   を含む、請求項１乃至４の何れか１項に記載の方法。
6. 前記強化された３Ｄ幾何学的特徴から、また前記セットの前記少なくとも１つの画像において決定される強化された２Ｄ幾何学的特徴から、前記シーンの前記改良された前記３Ｄ再構築に関連付けられた、前記強化された３Ｄ幾何学的特徴に対応するように、さらに強化された３Ｄ幾何学的特徴を決定することと、
   前記強化されたセグメンテーション、及び前記さらに強化された３Ｄ幾何学的特徴から、さらに強化されたセグメンテーション及びさらに改良された３Ｄ再構築を決定することと
   を、少なくとも１度は繰返し処理することを含む、請求項１乃至５の何れか１項に記載の方法。
7. 少なくとも前記さらに強化された３Ｄ幾何学的特徴と前記強化された２Ｄ幾何学的特徴との間のマッチングでの所定の精度閾値に達すると、前記繰返し処理が停止される、請求項６に記載の方法。
8. 前記所定の精度閾値が、前記シーンの前記３Ｄ再構築を前記セグメントに分割する程度によって与えられるセグメンテーション・レベル、前記さらに改良された３Ｄ再構築で測定された、隣接する同様の各３Ｄ要素間のラベルの一貫性、及び前記セットの前記少なくとも１つの画像と、前記さらに改良された３Ｄ再構築との間の位置合せ、のうち少なくとも１つに一緒に適用される、請求項７に記載の方法。
9. 所定の数の繰返し処理に達すると前記繰返し処理が停止される、請求項６乃至８の何れか１項に記載の方法。
10. 前記強化されたセグメンテーションがセグメンテーション制約条件に依存する、請求項１乃至９の何れか１項に記載の方法。
11. 前記セグメンテーション制約条件が、少なくとも１つのセグメント形状に関係する、請求項１０に記載の方法。
12. 前記初期３Ｄ再構築及び少なくとも１つの画像の前記セットを、少なくとも１つの入力として受け取ることと、少なくとも１つのプロセッサを用いて、前記強化された３Ｄ幾何学的特徴、強化されたセグメンテーション、及び改良された３Ｄ再構築を決定することと、少なくとも１つの出力から、前記強化されたセグメンテーション及び前記改良された３Ｄ再構築を出力して、前記改良された３Ｄ再構築をユーザに表示し、また前記強化されたセグメンテーションによって、前記改良された３Ｄ再構築を処理することとを含む、請求項１乃至１１の何れか１項に記載の方法。
13. 通信ネットワークからダウンロード可能であり、及び／又はコンピュータによる読取り可能な媒体上に記録され、及び／又はプロセッサによって実行可能なコンピュータ・プログラム製品であって、プロセッサで実行されるときには、請求項１乃至１２の何れか１項に記載の方法を実行するように構成されたソフトウェア・コードを含む、コンピュータ・プログラム製品。
14. シーンの少なくとも１つの画像のセットから、前記シーンのセグメンテーションと３Ｄ再構築を組み合わせるための装置であって、前記シーンの前記セグメンテーションが、前記シーンの前記３Ｄ再構築の各セグメントへの分割に対応し、前記装置が、
    前記シーンの初期３Ｄ再構築を取得し、
    前記初期３Ｄ再構築に関連付けられた初期３Ｄ幾何学的特徴を取得し、
    前記初期３Ｄ再構築の初期セグメンテーションを取得し、
    前記初期３Ｄ幾何学的特徴から、かつ前記セットの少なくとも１つの画像において決定される初期２Ｄ幾何学的特徴から、強化された３Ｄ幾何学的特徴を決定し、前記少なくとも１つの画像が、前記シーンの前記初期３Ｄ再構築に関連付けられた前記初期３Ｄ幾何学的特徴に基づいて選択され、前記強化された３Ｄ幾何学的特徴が前記初期セグメンテーションに少なくとも部分的に対応し、
    前記初期セグメンテーションと前記強化された３Ｄ幾何学的特徴の両方から、強化されたセグメンテーションと改良された３Ｄ再構築の両方を決定する、
    ように適合され、構成された少なくとも１つのプロセッサを備える、装置。
15. 請求項１４に記載の装置を備え、好ましくは、携帯電話、タブレット、若しくはヘッドマウント・ディスプレイから選択される携帯機器、又は好ましくはロボット、自律運転機器、若しくはスマート・ホーム機器から選択される自律機器であることを特徴とする、機器。