JP2019504394A5 - - Google Patents

Claims (24)

1. 画像処理システムであって、
   処理ユニットであって、
   整数画素解像度を有するベースピラミッドレベルにおいて初期オプティカルフロー（ＯＦ）推定値を生成するために、ピラミッド状ブロックマッチング（ＰＢＭ）法を用いて映像の第１のフレームと映像の第２のフレームとの間でＯＦ推定を実施することと、
   分数画素解像度を有する修正されたＯＦ推定値を提供するために、変形Ｌｕｃａｓ−Ｋａｎａｄｅ（ＬＫ）法の少なくとも１つのパスを用いて前記初期ＯＦ推定値を精密化することと、
   を実装する、前記処理ユニット、
   を含む、画像処理システム。
2. 請求項１に記載の画像処理システムであって、
   前記ＰＢＭ法が、予測子と動き平滑性因子とを用いる階層式コース・ツー・ファインサーチ戦略と、画素記述に対するバイナリセンサス変換と、コスト関数としてのハミング距離とを利用する、画像処理システム。
3. 請求項１に記載の画像処理システムであって、
   前記ＰＢＭ法が、各々の全体のパクセルに対する予測子の同じセットを用いる処理のパクセル順と、前記予測子のセットに対する事前評価戦略とを利用する、画像処理システム。
4. 請求項１に記載の画像処理システムであって、
   前記ＰＢＭ法が、前記ＰＢＭ法のブロックマッチングステップの間に、空間的勾配と時間的勾配との事前計算を用いる、画像処理システム。
5. 請求項１に記載の画像処理システムであって、
   前記処理ユニットがハードウェアアクセラレータ（ＨＷＡ）によって部分的に実装され、前記ＨＷＡが、前記映像の第１のフレームと前記映像の第２のフレームとからピクチャデータをグローイングウィンドウ様式で記憶するための１つのメモリと、前記映像の第２のフレームから前記ピクチャのスライディングウィンドウを記憶するためのもう１つのメモリとを備える、ローカルメモリの２つのレベルの組み合わせを利用する、画像処理システム。
6. 請求項１に記載の画像処理システムであって、
   前記変形ＬＫ法が、画像ワーピングステップを除くものであり、前記修正されたＯＦ推定値を計算することを空間的及び時間的勾配計算のサブタスクとその他の演算とに分離し、ＯＦ精密化に対して低減精度勾配データを用い、行列反転を含む計算タスクを実施するために整数演算のみを用いる、画像処理システム。
7. 請求項２に記載の画像処理システムであって、
   前記処理ユニットが、前記サーチ戦略の各シーケンシャルサーチに対する前記コスト関数に、動き平滑性因子と、メディアンの予測子値と候補の画素との間の距離とを組み合わせる動きベクトルコスト値を含むように、プロセッサを構成する、画像処理システム。
8. 請求項１に記載の画像処理システムであって、
   前記少なくとも１つのパスが、前記ＰＢＭ法が終了した後の前記ベースピラミッドレベルを含む前記ＰＢＭ法によって用いられるサーチピラミッドの全てのピラミッドレベルにおいて前記変形ＬＫ法を適用する単一パスから構成される、画像処理システム。
9. 請求項１に記載の画像処理システムであって、
   前記修正されたＯＦ推定値からインパルス性ノイズを除去するために、疑似１Ｄ分離可能メディアンフィルタを用いる事後処理フィルタリングのための事後処理フィルタを更に含む、画像処理システム。
10. 請求項１に記載の画像処理システムであって、
    前記映像の第１のフレームが基準画像であり、前記映像の第２のフレームが疑問画像である、画像処理システム。
11. 画像処理システムであって、
    整数画素解像度を有するベースピラミッドレベルにおいて初期光学フロー（ＯＦ）推定値を生成するためにピラミッド状ブロック整合（ＰＢＭ）法を用いて映像の第１のフレームと映像の第２のフレームとの間で光学フロー（ＯＦ）推定を実行する回路要素と、
    分数画素解像度を有する修正ＯＦ推定値を生成するために変形Ｌｕｃａ−Ｋａｎａｄｅ（ＬＫ）法の少なくとも１つのパスを用いて前記初期ＯＦ推定値を精緻化する回路要素と、
    を含む、画像処理システム。
12. 画像処理システムであって、
    整数画素解像度を有するベースピラミッドレベルにおいて初期光学フロー（ＯＦ）推定値を生成するためにピラミッド状ブロック整合（ＰＢＭ）法を用いて映像の第１のフレームと映像の第２のフレームとの間で光学フロー（ＯＦ）推定を実行する手段と、
    分数画素解像度を有する修正ＯＦ推定値を生成するために変形Ｌｕｃａ−Ｋａｎａｄｅ（ＬＫ）法の少なくとも１つのパスを用いて前記初期ＯＦ推定値を精緻化する手段と、
    を含む、画像処理システム。
13. オプティカルフロー（ＯＦ）推定の方法であって、
    ピラミッド状ブロックマッチング（ＰＢＭ）法を変形Ｌｕｃａｓ−Ｋａｎａｄｅ（ＬＫ）法と組み合わせる、記憶された準パラメトリックオプティカルフロー測定（ＱＰ−ＯＦＭ）アルゴリズムを実装することを含み、
    前記ＱＰ−ＯＦＭアルゴリズムが、
    整数画素解像度を有するベースピラミッドレベルで初期ＯＦ推定値を生成するために、前記ＰＢＭ法を用いて映像の第１のフレームと映像の第２のフレームとの間でオプティカルフロー（ＯＦ）を推定することと、
    分数画素解像度を有する修正されたＯＦ推定値を提供するために、前記変形ＬＫ法の少なくとも１つのパスを用いて前記初期ＯＦ推定値を精密化することと、
    を実行する、方法。
14. 請求項１３に記載の方法であって、
    前記ＰＢＭ法が、予測子と動き平滑性因子とを用いる階層式コース・ツー・ファインサーチ戦略と、画素記述に対するバイナリセンサス変換と、コスト関数としてのハミング距離とを利用する、方法。
15. 請求項１４に記載の方法であって、
    前記方法が、前記サーチ戦略の各シーケンシャルサーチに対する前記コスト関数に、動き平滑性因子と、メディアン予測子値と候補画素との間の距離とを組み合わせる動きベクトルコスト値を含む、方法。
16. 請求項１３に記載の方法であって、
    前記ＰＢＭ法が、各全体のパクセルに対する予測子の同じセットを用いる処理のパクセル順と、前記予測子のセットに対する事前評価戦略とを利用する、方法。
17. 請求項１３に記載の方法であって、
    前記ＰＢＭ法が、前記ＰＢＭ法のブロックマッチングステップの間に、空間的勾配と時間的勾配との事前計算を用いる、方法。
18. 請求項１３に記載の方法であって、
    前記変形ＬＫ法が、画像ワーピングステップを除くものであり、前記修正されたＯＦ推定値を計算することを空間的勾配計算のサブタスクとその他の演算とに分離し、ＯＦ精密化に対して低減精度勾配データを用い、行列反転を含む計算タスクを実施するために整数演算のみを用いる、方法。
19. 請求項１３に記載の方法であって、
    前記ＱＰ−ＯＦＭアルゴリズムが、ハードウェアアクセラレータ（ＨＷＡ）を含むシステム・オン・チップ（ＳＯＣ）として少なくとも部分的に実装され、前記ＨＷＡが、前記映像の第１のフレームと前記映像の第２のフレームとからピクチャデータをグローイングウィンドウ様式で記憶するための１つのメモリと、前記映像の第２のフレームから前記ピクチャのスライディングウィンドウを記憶するためのもう１つのメモリとを備える、ローカルメモリの２つのレベルの組み合わせを利用する、方法。
20. 請求項１３に記載の方法であって、
    前記方法が、場面分析を生成するために構成されるプロセッサを含む画像処理システムによって実装される、方法。
21. 請求項２０に記載の方法であって、
    前記場面分析が、障害物検出又は衝突回避自動緊急ブレーキのために先進運転支援システム（ＡＤＡＳ）によって用いられる、方法。
22. 請求項１３に記載の方法であって、
    前記修正されたＯＦ推定値からインパルス性ノイズを除去するために疑似１Ｄ分離可能メディアンフィルタを用いる事後処理フィルタに対する事後処理フィルタリングを更に含む、方法。
23. 請求項１３に記載の方法であって、
    前記少なくとも１つのパスが、前記ＰＢＭ法が終了した後の前記ベースピラミッドレベルを含む前記ＰＢＭ法によって用いられるサーチピラミッドの全てのピラミッドレベルにおいて前記変形ＬＫ法を適用する単一パスから構成される、方法。
24. 請求項１３に記載の方法であって、
    前記映像の第１のフレームが基準画像であり、前記映像の第２のフレームが疑問画像である、画像処理システム。