JP6368709B2 - ３次元身体データを生成する方法 - Google Patents

Description

本発明は、身体の画像を使用して身体測定値を決定する方法及びシステムに関する。詳しくは本発明は、既存かつ既知の３次元モデルのデータベースとの対比によって、最適なマッピングを得るべく対象の３次元身体画像データを生成する方法及びシステムを画定する。このマッピングに基づいて、測定値を含む身体形状の特定データを決定することができる。

従来型のボディスキャナ及び身体測定装置は、人体の３次元画像を生成するべく高分解能深度センサ、固定された光パターン、又は既知のカメラ角に依存する。かかる技術は、専門家の機器を必要とし、かかる身体測定を目的とする専門的な施設へ移動する必要があるユーザに対して大きな負担となる。

正確な３次元身体測定データを取得することは医学分野において特に有益であり、例えば、医学的状態（例えば腎不全）の結果生じ得る身体体積の変化をモニタリングすることを目的として使用される。患者の身体画像における変化を評価することにより、水分保持及び手術の成功のような因子を決定することができる。実際のところ、遠隔医療の立ち上げに伴い、身体測定値に関する情報をモニタリングかつ与える必要性が増している。

さらに、正確な身体の特徴付け及び測定値の生成を可能にすることは被服産業においても特に関心が高い。わかることだが、被服製造業者又は小売業者が正確な身体寸法を得られるようにすることは、被服を求める人及び被服供給に関与する会社双方にとって有益である。これは、オンライン購入にとって特に有益である。

かかる測定値を与える現行の方法及び装置は、大型若しくは高価であり、及び／又は、画素当たりの深度若しくは対象の基準点からの距離を決定することができる検出器を含む複雑な機器の使用を要求する。その結果、かかる個人及び患者のような対象は、その３次元身体形状を容易に又は家庭でモニタリングすることができない。したがって、専用の複雑なボディスキャナを使用することなしに、単に３次元身体画像を与えることができるだけでも望ましい。本発明は上述の課題に対処することを目的とする。

Alexandru O Blan: "Detailed Human Shape and Pose from Images", Doctoral Thesis, 1 May 2010 (2010-05-01), XP055069706, Providence, Rhode Island Retrieved from the Internet: URL:http://cs.brown.edu/~black/Papers/BalanThesis2010.pdf [retrieved on 2013-07-04] chapters 1, 3, 4 MITTAL A ET AL: "Human body pose estimation using silhouette shape analysis", ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE, 2003. PROCEEDINGS. IEEE CONFERENCE ON 21-22 JULY 2003, PISCATAWAY, NJ, USA,IEEE, 21 July 2003 (2003-07-21), pages 263-270, XP010648393, DOI: 10.1109/AVSS.2003.1217930 ISBN: 978-0-7965-1971-5 the whole document HAO JIANG: "Human Pose Estimation Using Consistent Max Covering", TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE, PISCATAWAY, USA, vol. 33, no. 9, 1 September 2011 (2011-09-01), pages 1911-1918, XP011387229, ISSN: 0162-8828, DOI: 10.1109/TPMI.2011.92 abstract section 3, equation 1

本発明によれば、対象の３次元身体データを生成する方法が与えられる。この方法は、
デジタルイメージング装置を使用して対象の一以上のソース画像をキャプチャするステップ（ｉ）と、
一以上のセグメント化方法を使用して当該一以上の画像を複数のセグメントに分割するステップ（ｉｉ）と、
ステップ（ｉｉ）における各セグメント化方法の結果を組み合わせて当該対象を代表する一以上の一意性確率マップを作るステップ（ｉｉｉ）と、
当該一以上の一意性確率マップを３次元身体の代表値のデータベースと対比して当該又は各一意性確率マップと当該データベースから決定された代表との最も近い一致又は最適マッピングを決定するステップ（ｉｖ）と、
当該最適マッピングに基づいて当該対象の３次元身体データ及び／又は測定値を生成するステップ（ｖ）と
を含む。

オプションとして、セグメント化に先立って利用可能なデータを改善するべく、当該一以上のソース画像に対し一以上の前処理段階が適用される。

当該一以上の画像を複数のセグメントに分割することは、当該一以上の改善された画像及び／又は原画像を複数のセグメント及び／又は確率分布に分割するべく、一以上の画像セグメント化技術、発見的方法及び／又は所定のマッピングを適用することを含む。

各セグメント化方法の結果を組み合わせることは、数学的公式及び／又は発見的方法を使用することを含む。

オプションとして、各ソース画像に対する洗練化された一意性確率マップを作るべく、ステップ（ｉｉｉ）の結果をシードとする追加的なセグメント化技術が適用される。

一以上の一意性確率マップを代表値のデータベースと対比することは、３次元データのコンピュータ生成シルエットと確率マップとの差異を最小限にする勾配降下法を適用することによって、一意性確率マップのそれぞれ又はすべてと既存かつ既知の３次元モデルのデータベースとの最適マッピングを決定することを含む。

３次元身体データ及び／又は測定値を生成することはさらに、ステップ（ｉｖ）からの最適マッピングに基づいて当該対象又は他の個人的測定基準の３次元身体データを出力することを含む。

本発明により、対象の３次元身体画像を代表するデータを、ウェブカム、カメラ付き携帯電話又は他の画像キャプチャ装置から取得可能な２次元画像に基づいて安価かつ容易に生成することができる。加えて、専用イメージング機器が不要となることで、対象は自身の生成３次元身体画像を容易に更新することができる。これにより、自身の身体形状の変化を容易に追跡及びモニタリングすることができる。

一般に、一以上の画像における対象の予測される形状及び姿勢を識別する一以上の確率マップ及び発見的方法を与えることができる。典型的に、確率マップは、最初の画像から生成され及び／又は確率マップの既存データベースから取得されたサーバに格納された事前描画確率マップであり、発見的方法は、当該システム内にコード化された方法である。例えば、対象が自身の左及び右側の外形を表す姿勢を画像においてとる場合、与えられる確率マップ及び適用される発見的方法が各外形を代表する。この場合、対象が左側外形姿勢の姿勢をとっている画像を、左側外形確率マップと対比し、かつ、左側外形に適用される既知のセグメント化発見的方法を使用して処理することができる。

対象の決定された姿勢に基づいて一以上の確率マップを与えることもできる。対象の姿勢は、動画配信からの一連のフレームにおいて対象の特徴を追跡することによって決定することができる。特徴を追跡する典型的な方法は、ルーカス・金出ピラミッドを利用して対象のキーポイントの、画像間（又は動画に適用される場合はフレーム間）の光学的流れを計算する。対象の位置が既知であるフレームを採用することにより、（例えばコーナー検出技術を使用して）画像内のキーポイントの位置を特定することができる。かかるポイントは、指、被服上のパターン、入れ墨、肌の染み等であり得る。その後、ルーカス・金出ピラミッド技術を使用してフレーム（又は画像）間のこれらのポイントを追跡することができる。ポイントは、抜けを防止するべく数フレームごとに再チェックすることができる。かかる技術により、画像内の対象の姿勢を正確に推定することができ、さらには、決定された姿勢に基づいて一以上の確率マップを与えることができる。かかる姿勢決定技術により当該システムの柔軟性が増加するので、動画からの対象の姿勢決定にとって特に有用となる。

本発明の実施形態において、前処理段階（ｉｉ）は以下を含み得る。
●計算上のオーバヘッドを低減するべく画像を再スケーリングすること。
●異方性拡散のようなノイズ低減フィルタを適用すること。
●ＣＣＤ（電荷結合素子）センサ内の画素レイアウトによって導入される樽型歪曲収差及びパターンのような既知のカメラ特性を打ち消すこと。
●影の詳細を改善するべく画素当たりの照明ブーストを適用すること。これは典型的に、式Ｉ_ｎｅｗ（ｘ）＝Ｉ_ｒａｗ（ｘ）^αに従う。ここで、ｘは現行画素、Ｉ_ｎｅｗ（ｘ）は画素ｘの改善された強度値（０から１）、Ｉ_ｒａｗ（ｘ）は画素ｘの原画素値（０から１）、及びαは定数又は画像のプロパティに基づく数である。実施形態は、画像内の位置に応じてαを変化させる。例えば、この例では以下のように画像の底部が強くブーストされる。

ここでｙは現行画素の垂直座標、ｈは画像の高さである。

追加的に、段階（ｉｉｉ）において一以上の画像に適用される画像セグメント化方法の集合は以下を含む。
●特定のビューに対する事前描画確率マップのような不変の方法。
●例えば、肌の色調又はデニムに一致する質感に対応する事前決定範囲の色を探すことによる、画素当たりの又は移動窓の対比。
●例えば、個人の肌の色及び／若しくは被服の色を学習するべく正面視において顔の位置を特定すること並びに／又は背景色を学習するべく選択された事前描画確率マップを使用することによる、学習ベースの技術。（ＲＧＢ空間等における）識別された色及び／又は（画像空間における）位置を分析し（例えばガウス混合モデルを使用することによる）、その後、画像のセグメント化を生じさせるべく使用される各セグメントに対して予測される色分布を作ることができる。
●例えば、動的輪郭（現行ビューによる所定の人間の形状及び／又は他の方法により検出された姿勢をシードとする）を使用して、輪郭周囲に沿って画像のエッジ強度を最大限にすることによる反復最適化。これは、改善された結果を目的として剛体又は軟体シミュレーションと組み合わせることができる。
●例えば、腕を識別するべく、腕を前に出している左側及び右側を側面画像と対比することによる（画像間で背景が不変のままと過程）、一のビューにおける画素領域を他のビューにおける対応領域と対比すること。実施形態は、以下を目的として背景のみ（対象がフレームから外れている）の追加画像を含む。
●例えば、半円形状のような特定のプロパティ（足に対応）又は特定の角度（腕、脚又は胴体）に関するエッジを検索することによる、エッジ分析技術。エッジは、ソーベル演算子、キャニーエッジ検出器アルゴリズム及びカスタム方法のアプリケーションのような一以上の技術を使用して検出することができる。
●重み付き集約によるセグメント化のようなグラフカット法又はマルチスケール法のような一般化されたセグメント化方法。
●胴体の領域を画定するための正面視における肩ポイントの識別、又は脇の下及び股ポイントの位置を特定するための交差線の識別のような、カスタマイズされた発見的方法。

典型的に、方法は、ＹＣｂＣｒ空間においてエンコードされた画像に適用される。輝度チャンネルのみを使用してＣｂ及びＣｒチャンネルには潜在的に割増し重みを当てる方法もあるが、ＲＧＢ又はｓＲＧＢのような他の色空間も使用することができる。

複数のセグメント（例えば頭、シャツ、椅子、机）を返すセグメント化方法が、各セグメントの形状、色、質感及び／又は位置を分析することによってさらに処理される。これらの測定基準を所定の又は他の計算された予測と対比することにより、セグメントを単純な前景／背景バイナリ又はセグメント当たりの確率まで低減することができる。

複数のセグメント化方法が使用される場合、実施形態は、それらの方法の結果を組み合わせて様々な方法を介したビューごとの単数の一意性確率マップにすることができる。使用される方法は現行ビュー及び／若しくはセグメント化方法に依存し、又は、最適な結果を決定する評価関数によるいくつかの方法を試みることもできる。結果ｐ_１及びｐ_２を組み合わせてｐ_Ｔにするのに可能な方法は以下を含む。

わかることだが、これらの方法の多くは、２つを超える結果を組み合わせるべく自明に拡張され、又は任意数のセグメント化結果を組み合わせるべく連鎖させることができる。またもわかることだが、重み付けはこの段階において各セグメント化に適用されて、（対称性のような）セグメント化のプロパティに基づいて手動で、経験的に及び／又は自動的に決定され得る。

各ソース画像に対して単数の一意性確率マップを作った後、実施形態はそのマップを、重み付き集約又はグラブカットのようなさらなるセグメント化技術を使用して洗練化することができる。グラブカットの場合、「既知の背景」、「恐らくは前景」、「恐らくは背景」及び「既知の背景」が与えられる。これらは、確率マップの自明なしきい値を使用して生成することができる。またもわかることだが、この４状態マップ又はそれに基づくバリエーションそれ自体を確率マップとみなすことができるので、先のセグメント化段階の直接的な出力とすることができる。

本発明の実施形態によればさらに、不均一な照明条件によりもたらされるソース画像の可変線鮮鋭度を補償することができる。同方法によれば、最終的な確率マップを原ソース画像以上の分解能までスケールアップさせることもできる。これは、不確定画素の境界をもたらすべく上記方法により生成された一意性確率マップのエッジをぼかすことによって達成される。エッジのぼかしにより、背景から対象までの一意性確率マップにおける確率勾配が得られる。この勾配の方向及び強度がその後識別され、各不確定画素における対象への方向をベクトル線によって示すべく使用することができる。このベクトル線の方向は典型的に、エッジに対して実質的に垂直である。かかる勾配により、ベクトルアウトライン確率マップを生成することができる。当該マップは、各不確定画素（典型的にはエッジ画素）に対して方向ベクトル（ベクトル線）を与え、画素に対する対象の局所的な予測方向を示す。

ベクトルアウトライン確率マップはその後、単数又は複数の原画像に適用することができる。原画像に適用されるベクトルアウトライン確率マップによって示された経路をたどることにより、原画像における、最高のコントラストを備えた各ベクトル線上に存在する画素を決定することが可能となる。かかる画素は、対象のエッジ上に位置する境界画素を代表する。この境界画素は、対象を画像の背景から分離する。この境界は、ノイズがなく、かつ、画像のいずれのぼかしもカメラ画像に対して良好な近似となるガウス分布となる場合に最適となる。追加的に、境界画素の色及び／又は強度を隣接画素の色及び／又は強度と対比することによって、各境界画素に対して推定された真の境界をサブ画素分解能で確定することができる。各境界画素に対して推定された真の境界は、ｂ_δ＝１−（ｃ_Ｂ−ｃ_Ａ）／（ｃ_Ｃ−ｃ_Ａ）を使用して計算することができる。ここで、ｂ_δは画素境界と真のサブ画素境界との間のベクトルに沿った距離を与え、ｃ_Ｂは現行画素の強度、ｃ_Ａは当該ベクトルに沿った先の画素の強度、ｃ_Ｃは当該ベクトルに沿った次の画素の強度である。推定された真の境界がひとたび決定されると、一意性確率マップの各境界画素に対して推定された真の境界を与えるべく、一意性確率マップ上の対応する位置にこれを適用することができる。

最終的な一意性確率マップは、各ビューに対する対象のアウトラインを与える。ここで、明らかに対象であると決定された領域は１００％に近い確率を有し、（明らかに対象ではない）背景であると決定された領域は０％に近い確率を有し、及びエッジ領域はその間の確率を有する。典型的には、当該一意性確率マップは、ソース画像のノイズレベルに応じて０．２画素から０．５画素までの分解能を有する。

本発明の実施形態は、最も近い一致を決定するべく一以上の一意性確率マップを３次元身体代表値の既存データベースと対比し、及び／又は既存データベースから新たな身体値を生成するべく補間方法を使用して最適マッピングを決定する。既存データベースには典型的に、専用のボディスキャナから収集された経験的データが取り込まれている。かかる代表値は、３次元身体測定値、手動で取得された対象の測定値、及び／又はスキャン値を含む。

最も近い一致を決定するべく、試験スキャン値が徹底的に検索されてそれぞれが、姿勢及びカメラのバリエーションに対して最適化され、かつ、以下のような最適な結果を決定することができる。ただし、わかることだが、（性別、体重、年齢のような）特定のプロパティによってスキャン値をグループ分けすることのような最適化を、検索空間を低減するべく適用することができ、順序付けもバイナリ検索の近似を可能とするべく適用することができる。しかしながら、最も近い一致を決定しても、データベースに既に存在するわけではない結果を提供することはできない。この理由により、好ましいのは最適マッピングである。以下の段落では、最適マッピングを見出す上で使用されるプロセスを説明する。

既存データベースから新たなスキャン値を生成するべく、線形補間を使用することができる。これは、最適マッピングを特定するべく線形最適化法を使用することができるので有利である。平均３次元身体代表値、及び、既存データベース内にある正規化３次元身体代表値のバリエーションを記述する一連のベクトル（「身体ベクトル」）を、主成分分析を介して事前に生成することができる。この段階は、各対象の姿勢を正規化し及び／又は欠落データ（例えば、構造化光スキャナからの閉塞されたスキャン領域）を推定する方法を含む。この分析の結果は典型的に、前もって記録され、必要に応じて取り出され、及び「身体空間」と称される。実施形態はまた、この分析における測定データも含む。すなわち、各身体ベクトルが改変された場合に各測定値をどのように変えなければならないかを示す平均測定値及びルックアップテーブルである（例えば、身体ベクトルがスキャン値の重みを制御する場合、典型的に、スキャン値のサイズが増加するにつれてウエスト周囲も増加する）。これらの相関は典型的に自動生成され、明らかな物理的解釈を有しない。線形方法の適用可能性を確実にするべく、測定値は事前処理されて線形相関値がもたらされる（例えば、任意の体積測定値の立方根がとられて楕円測定値が長軸及び短軸並びにスケーリング係数に分解される）。

実施形態において、選択された身体画像データのみが生成される。対象のエリアは無視又は破棄される。かかる除外は、頭部エリアのような対象のエリアを含まない確率マップを利用することによって、又はセグメント化後に特徴を破棄することによって行われる。これは、実際の身体サイズに関係しない髪のような身体画像データの特徴を除外できるので、有利となり得る。こうした特徴を除外することにより、ヘアスタイル影響結果のような外見的に任意の詳細が防止される。

スキャン値に係るカメラを制御する変数（例えば位置、回転、視野）、姿勢（例えば関節角度）、及び身体形状（例えば、典型的にＮ≒４０の場合、第１のＮ身体ベクトル）による勾配降下法を使用することによって、身体空間を検索することができる。これは典型的に、各変数に対する平均又は粗い推定から開始し、試行錯誤を介して当該値を反復的に洗練させていくことを含む。ニュートン・ラプソン法が一つの可能な選択肢であり、これを、現行の対象の計算された一意性確率マップに対するコンピュータ生成シルエットにある各画素の確率の絶対差の和を最小限にするべく使用することができる。数学的には以下のようになる。

ここで、ｐ_一意（ｘ）は、現行画素における一意性確率マップの値であり、ｐ_計算（ｘ，ｃ，ｐ，ｓ）は、現行カメラｃ、姿勢ｐ及び身体形状ｓに対するコンピュータ生成シルエットが現行画素を包含する場合に１であり、そうでない場合は０であってカメラ、姿勢及び形状が検索の引数となる。なお、絶対値関数の使用が、二次関数を要求するニュートン・ラプソン検索を最適化するべく選択される。他の検索方法に対しては、二乗和のような異なるコストが適切となり得る。極小値を迅速に破棄するべく二次距離関数を使用することも有益であり得る。例えば、コンピュータ生成シルエットの各画素から、所定しきい値ｃ（例えばｃ＝１／２）を超える値を有する一意性確率マップの画素までの最小距離の和をとることである。再びであるが、これはニュートン・ラプソン検索に対して最適化される。数学的には以下のようになる。

引数が合理的な制限を超えて変化するときに関数のコストを増加させるような境界は、非現実的な結果を防止するべく有益である。例えば、脚の分離が広すぎるようになるとソフトな制限が含まれ、既知の不可能な分離又は要求された姿勢に一致しない分離の後にハードな制限が含まれる。同様の原理を身体形状及びカメラプロパティに適用することができる。

身体形状はすべてのビューにわたって最適化され、姿勢及びカメラプロパティはビューごととなる。わかることだが、制御された環境では、複数の写真を同時に撮影することができる。この場合、姿勢は、すべてのビューにわたって同様に最適化されたプロパティとなる。固定されたカメラの位置及びプロパティによってさらに、カメラの変数をこの段階から完全に除去することができる。

実施形態において、この最小化段階は、改善された速度に対する一連の少数のパラメータを最小限にすることによって達成することができる。例えば、カメラ及び姿勢の変数を変化させる一方で身体形状の変数をロックし、その後、最初の５つの身体ベクトルを変化させる一方でその他すべてをロックし、その後、最初の１５の身体ベクトル及びカメラの変数を変化させる等のようになる。精密なシーケンスは、現行状態を分析した結果、（例えば、先に著しく変化した場合の脚の位置の最適化に対して多くの時間を与えることのように）前もって経験的に及び／又は自動的に決定することができる。

この段階の最終結果は、対象に対する一意性３次元スキャン値である。同じ原理が、最も近い一致を見出すことに当てはまるが、身体ベクトルを変化させることに代わりとして、当該データベースにおけるすべてのスキャン値にわたる反復が含まれる。いずれにせよ、結果的なスキャン値（姿勢を無視）を以下、「一意性３次元スキャン値」と称する。

最も近い一致又は最適マッピングが取得されると、実施形態は、一意性３次元スキャン値に関する測定ルックアップテーブル及び／又は測定経路を使用して測定値を計算する。最適マッピングに対しては、平均測定値を線形補間して一意性セットの測定値を作るべく、決定された身体ベクトル値がルックアップテーブルと組み合わされて使用される。最も近い一致に対しては、ルックアップテーブルから直接測定値が取り出される。これらの測定値はすべて未スケーリングであり、既知の測定値（例えば対象の身長）、（例えばハードウェア深度センサ又は既知の環境を使用して）対象とカメラとの間の決定された距離、及び／又は、較正された既知の物体（例えばマーカ、若しくは一枚の紙のような共通物体）に対する対比を含むいくつかの因子に応じてスケーリングされる。この情報が不在の場合、同様の身体形状を備えた既知の対象に類似すると仮定することによってスケールを近似することができる（例えば相対的に大きな頭部は通常小さなスケールを示唆する）。この近似は、他の測定値に関する同じルックアップ方法を使用して計算することができる。この段階において、測定値は典型的に正規化されておらず、体積は立方され、分解された楕円の円周は再計算され、等となる。

さらに、実施形態において、対象の３次元身体データは出力することができる。データは、ストレージ装置、オンラインクラウド系ストレージ、携帯電話、表示画面又はパーソナルコンピュータ装置の一以上に出力することができる。

下記図面を参照して本発明の実施形態を以下に記載する。

本発明の模式的な全体図である。 データ収集に関する本発明のフローチャートである。 一意性確率マップを生成するべく使用される方法に関する本発明のフローチャートである。 一意性確率マップを改善することに関する本発明のフローチャートである。 一意性確率マップ及び基準３次元身体代表値に基づいて３次元身体画像を生成することに関する本発明のフローチャートである。

図面を参照すると、システム１０（図１）には、入力「単能」クライアントシステム２０及びサーバユニット３０が設けられている。

クライアントシステム２０は、対象からの画像情報をキャプチャするべく使用されるウェブカム１００を含む。使用時には、ウェブカム１００は、対象の表現１１０を表示するコンピュータモニタのような画面１２０と組み合わせて使用される。ウェブカム１００の、当該ウェブカムが作動された場合のソフトウェア制御により、画面１２０に姿勢位置に対応する表現１３０を表示させるように画面１２０への指令が発行される。典型的に、要求される姿勢位置は正面向きであり、脚及び腕は身体すなわち解剖学的位置から離間される。追加的に、（正中面に沿った）側面外形位置も要求される２２５（図２）。

画面上に表示された対象の表現１１０が所定アウトラインと整合すると２２０、対象は「姿勢をとっている」とみなされる（これは、数秒間静止したままであることにも依存し得る）。対象が用意できており、かつ、対象が要求された姿勢１３０で立っているとの条件が満たされている場合、ウェブカム１００は、姿勢がとられた位置にある対象の一連の画像１５０を撮像する２４０。ひとたび必要数の画像が収集されると、画像は圧縮され、その後サーバユニット３０にアップロードされるように格納される２７０。

わかることだが、上記ステップは、姿勢がとられた対象の画像の大きなデータベースを生成するべく必要に応じて多数回繰り返される。さらに、ウェブカムの代替として携帯電話カメラも、要求される画像をキャプチャするべく使用することができる。かかる場合、専用アプリケーションを使用することにより、画面１２０と、画像キャプチャを行いかつ対象に指令を発行するソフトウェアとが電話自体に存在し得る。わかることだが、従来型カメラも他の既知の画像キャプチャ装置及びソフトウェアと同様に、画像を生成するべく使用することができる。動画ソースからのフレームも使用することができる。

画像のキャプチャのほか、クライアントシステム２０は、較正及び画像識別プロセスを支援するべく、対象からの追加情報１４０を要求することができる。例えば、２次元画像において相対的スケールを識別する較正データは、対象の身長を要求することによって収集することができる２００。他のオプションとして、トランプのカードのような較正済みマーカをカメラに保持するように対象に要求することも含まれる。着用されている被服の一般的な量及び／又は色のようなさらなる質問も、画像処理の支援となり得る。

オプションとして、クライアントシステム２０は、取得かつ格納された画像に対する初歩的なチェックを行うこともできる２４０。こうしたチェックは、背景特徴を求めて画像を分析すること、検出された背景特徴が多すぎる場合に対象を異なるエリアまで動くように要求することを含む。かかる分析により、キャプチャされた画像間の対象の相対身長をさらに較正することもできる。これは、共通の背景特徴が見出された場合、対象の画像すべてが一貫した身長であることを保証するべく使用して対象とイメージング装置との可変距離を説明することができるからである。代替的に又は追加的に、当該分析は、（その後のステップを支援するべく）共通の背景特徴を除去すること、又は、検出された背景特徴が多すぎる場合に取得すべき新たな画像を要求することができる。

ひとたび画像１５０がクライアントシステム２０によりキャプチャされると、その画像はサーバユニット３０にアップロードされる２７０。サーバユニット３０は、対象のコンピュータ又はスマートフォン等であり得る。ただし、サーバユニット３０は典型的に、専用のオフサイトサーバである。サーバは、３００において対象が立っているように指示された姿勢がとられた位置に基づく対象の予測位置に対応する既知の確率マップ１６０のデータベースと、各姿勢に適用可能と決定されたセグメント化方法１７０の集合とを含む。代替的に、対象の姿勢は特徴追跡技術を使用して決定することもできる。特徴追跡の典型的な方法は、ルーカス・金出ピラミッドを利用して画像間の（動画に適用される場合はフレーム間の）対象のキーポイントの光学的流れを計算する。対象の位置が既知であるフレームを取得することにより、画像内のキーポイントの位置を（例えばコーナー検出技術を使用して）特定することができる。かかるポイントは、指、被服上のパターン、入れ墨、肌の染み等であり得る。光学的流れの技術はその後、これらのポイントをフレーム間（又は画像間）で追跡するべく使用することができる。ポイントは、抜けを防止するべく数フレームごとに再チェックすることができる。かかる技術により、画像内にある対象の姿勢を正確に推定することができる。さらには、決定された姿勢に基づいて確率マップを与えることもできる。かかる姿勢決定技術により、システムの柔軟性が増加し、対象の姿勢を動画から決定するのに特に有用となる。

最初に、サーバユニット３０は、照明を正規化し、動的画素センサ（ＡＰＳ）のようなＣＣＤ（電荷結合素子）センサ等から導入された画像内のパターンを検出かつ除去し、及び樽型歪曲収差又は他の既知の欠陥を修正するべく、受信した画像を分析して事前処理する３２０。これらのフィルタリングされた画像から、サーバ３０はその後、背景又はノイズよりもむしろ対象１１０の表現である可能性が高いものを決定する３３０〜３６０。

対象の画像内における位置を決定するべくサーバ３０は、特定の姿勢のために前もって選択されている様々な画像セグメント化技術を適用する３３０。これらは、一般的な方法のみならず、画像の特定のエリア内で最適な結果をもたらす手動又は自動でチューニングされた方法も含み、事前描画確率マップ１６０及び単数又は複数の事前処理ソース画像の双方を使用する。セグメント化方法はまた、結果を他のセグメント化方法と共有する（例えば、手検出器は腕検出器が要求する検索空間を低減する）。各セグメント化方法の結果が組み合わされることにより３４０、サーバは、物体（対象）の第１推定を生成する。事前描画確率マップ１６０はさらに、不正確に識別された背景物体の除去を支援することによってシルエットをチューニングするべく使用することができる。例えば、色分布分析は、対象の代表として色（例えば赤）を識別するが、背景が識別可能な色を包含する場合、これは、色分布のみに基づくのであれば対象の代表として識別される。色分布を確率マップと組み合わせることにより、かかる背景特徴をなくすことができる。

ひとたび対象の身体形状の第１推定が決定されて一意性確率マップが作られると、システムは、線鮮鋭度に影響を与えるソース画像の可変照明条件を補償するさらなるステップを実行する。この可変線鮮鋭度を補償するべくシステムは意図的に、確率マップ内に存在するエッジをぼかす４１０。このぼかしは典型的に、１又は２画素のオーダーである（本質的に線はアンチエイリアスである）。このぼかしは、精度を上げるべく確率マップのスケールアップと組み合わせられる。

生成された確率マップのエッジをぼかすことにより、システムは、対象の予測位置に対する画素の方向を決定することが支援される４２０。確率マップが高コントラストのグレースケール画像であれば、システムは、高コントラストの変化が生じる（不確定画素の）エリアを識別して、その変化及び当該画素に対して方向性を割り当てることができる。この方向は、確率マップのエッジに対して法線方向であり、不確定の（ぼかされた）エッジポイント内にあるすべての画素において対象の方向を特定する（確率マップの白）。

ひとたび不確定画素の方向性が決定されると、これを、コントラストが最高のすなわち隣接ピクセル間の勾配が最大の（画素の）エリアを見出すべく、原ＲＧＢ画像に適用することができる４３０。この決定により、ＲＧＢ画像における対象の境界を一画素の分解能内で正確に決定することができる。さらに、改善されたサブ画素の分解能を、境界画素を隣接画素と対比して真の境界位置の指示を取得することによって得ることができる４４０。これは、境界画素及び隣接画素間の色勾配を決定しかつその勾配が最大のポイントに推定された真の境界位置を割り当てることによって達成される。真の推定境界位置の指示は、ｂ＝１−（ｃ_Ｂ−ｃ_Ａ）／（ｃ_Ｃ−ｃ_Ａ）によって与えられる。ここで、ｂは真の推定境界、ｃ_Ｂは現行画素の強度、ｃ_Ａは当該ベクトルに沿った先の画素の強度、ｃ_Ｃは当該ベクトルに沿った次の画素の強度である。このステップは、無色の２つのブロックのための正確な反転アンチエイリアシングステップを代表するので、ＣＣＤセンサにより導入されるアンチエイリアシングを説明するのに特に有用である。

ひとたび境界がＲＧＢ画像において決定されると、この情報はその後、生成された確率マップのエッジの正確な表現を与えるべく確率マップにおいて利用される４５０。エッジ識別プロセスにより導入されたノイズは、識別されたエッジを±１画素だけぼかして再平滑化することによって低減することができる４６０。この段階の最終結果は、一連の正確かつ入力固有の確率マップである４７０。ソース画像１５０当たり一つの確率マップである。

当該一連の正確かつ入力固有の確率マップにより、対象の最終３次元身体形状を生成しようとする上で、当該確率マップを事前計算された平均身体形状にマッピングさせることがここで可能となる。これは、事前計算された平均身体形状及び抽出された主成分「身体ベクトル」を包含するデータベースを使用することによって達成される。「身体ベクトル」は以下のようにしてサーバに格納される。身体ベクトル又は固有身体は、周知の用語である固有ベクトル又は固有フェイスと同様であって、どのようにして身体が変化する（ヒップの増加が、対応するバスト等の増加を引き起こす）のかを表現する。これは、主成分分析を使用して前もって計算される。例えば、特定の身体画像は、平均身体形状プラス身体ベクトル１の６０％、身体ベクトル２の−１２％、及び身体ベクトル３の１８％を含む。これにより、スキャン値そのものを格納することなく身体スキャンを数学的に表現することが可能となる。さらに、事前計算された平均身体の姿勢は、先に決定された対象の姿勢に対応するように選択又は計算することができる。

身体のバリエーションの当該データベースは、サーバによってプリロードされる５００。一連の一意性確率マップが受け取られると５１５、サーバは身体空間の検索を行い（可能な身体が平均身体及び身体ベクトルの組み合わせから生成され）、最適マッピングを見出す５３０〜５７５。最初に身体ベクトルはゼロの寄与が割り当てられ（バリエーションがない平均身体が作られ）、姿勢当たりの適切なデフォルト値がカメラ及び姿勢の変数（例えばカメラ位置、腕の分離）に割り当てられる５３０。こうしたデフォルト値は、セグメント化方法によって識別される特徴に応じて変化する３３０。対応する身体が各姿勢に対して描画され５４１、こうした描画が一意性確率マップと対比される５４２。使用される距離関数は、画素当たりの単純な平均絶対差、又はエッジ画素間の最小距離の和のような複合的なものである。複数の方法を一緒に使用することもできる。例えば、姿勢及びカメラプロパティを決定するべくエッジ画素間の最小距離が使用され、その後身体形状をチューニングするべく平均絶対差が使用される。これらの方法は、応答時間を改善する値の事前キャッシングにより有利である５２０。

（身体ベクトルの寄与のような）所定のプロパティを繰り返し変化させること、及び描画されたスキャン値と観測された一意性確率マップとの距離を再測定することにより５４０〜５７５、身体ベクトル、姿勢、変数及びカメラプロパティは反復的に洗練化することができる。これは典型的に、いくつかのバリエーションをサンプリングすることを含み５５０、その後、可能性が高い最小距離を識別するべく（放物線のような）単純な数学的形状が当該距離にフィッティングされる。この最小の値がその後チェックされ、選択されたすべてのサンプルから全体的な最小値を選択することができる５６０。その後、検索空間が低減されてプロセスが繰り返される。ひとたび検索空間が十分に小さくなると、プロセスは終了して最終値が最適マッピングを代表する５８０。この最適化段階は典型的に、複数回繰り返される。回ごとに所定変数が「ロック」され他の変数が「自由」となる。例えば、最初の検索はすべての身体ベクトル寄与をロックしてカメラプロパティ及び姿勢の変数のみを変化させる。これの後、カメラがロックされる一方で最初の５つの身体ベクトル及び粗い姿勢等が洗練化される。

最終的な身体形状、姿勢及びカメラプロパティは、一意性確率マップに最も近似したシルエットをもたらす。わかることだが、周知のハードウェアを備えたシステムにおいてカメラプロパティは前もって知られており、このプロセスに含まれる必要がない。さらに、複数のカメラを備えたシステムにおいては対象の姿勢がいくつかの画像にわたって同一であることが既知となり得るので、（画像当たりではなく）包括的な姿勢が使用される。

反復検索が完了して最適マッピングが決定されると、サーバは身体ベクトル寄与に応じて３次元身体データを格納することができる。３次元身体形状に関する測定値は、平均身体形状及び身体ベクトル寄与に基づいてルックアップテーブルを使用することにより取り出すことができる５８０。かかる測定値は、ウェスト周囲、胸囲等のような身体測定値、及び性別、年齢等のような抽象的な情報を含む。このルックアップテーブルのソースは、病院環境において使用されるのが典型的な精密かつ正確なフルボディスキャナから生成された既知の経験的身体寸法に由来する。最も一致する計算されたシルエットはその後、事前描画確率マップにフィードバックされ、将来使用されるセグメント化ステップの精度を潜在的に増加させる。

対象の３次元身体形状の真の近似がひとたび計算されると、身体形状及び対応する測定値は、入力された身長又は他の較正情報を考慮することによって対象のサイズまでスケールアップすることができる５８５。ただし、これは、クライアントによる後の段階で行うこともできる２８５。最終的に、３次元スキャン値及び／又は測定値が対象に対して表示される２９０。

Claims (14)

1. 対象の３次元身体データを生成する方法であって、
   デジタルイメージング装置を使用して対象の一以上のソース画像をキャプチャするステップ（ｉ）と、
   一以上のセグメント化方法、発見的方法及び／又は所定のマッピングの結果を使用して前記一以上のソース画像を複数のセグメント又は確率分布に分割するステップ（ｉｉ）と、
   ステップ（ｉｉ）における各セグメント化方法の結果を、不一致エリアにおけるセグメント化方法の重み付けを使用することにより組み合わせて前記対象を代表する単数の一意性確率マップを、各ソース画像に対して作り、一以上の一意性確率マップを作るステップ（ｉｉｉ）と、
   前記一以上の一意性確率マップを、３次元身体の代表値のデータベースと対比して前記又は各一意性確率マップと前記データベースから決定された表現との最も近い一致又は最適マッピングを決定するステップ（ｉｖ）であって、
   前記３次元身体の代表値のデータベースから主成分分析を介して平均３次元身体画像を生成するステップ（ｖ）と、
   前記平均３次元身体画像の少なくとも一つのシルエットを生成するステップ（ｖｉ）と、
   前記シルエットを前記対象の一以上の一意性確率マップと対比して一致度を決定するステップ（ｖｉｉ）と
   を含むステップ（ｉｖ）と、
   前記最適マッピングに基づいて前記対象の３次元身体データ及び／又は測定値を生成するステップ（ｖｉｉｉ）と
   を含み、
   前記対象の前記一以上のソース画像内に存在するイメージング因子を説明するべく前記平均３次元身体画像及び／又は生成されたシルエットを改変するステップ（ｉｘ）をさらに含み、
   ステップ（ｉｉｉ）の後さらに、
   不確定画素の境界を作るべく前記一以上の一意性確率マップのエッジまわりに不確定領域を追加して可変線鮮鋭度を補償するステップと、
   各不確定画素における前記対象の方向を決定するべく前記一以上の一意性確率マップのエッジの勾配を識別して対応するベクトルアウトライン確率マップを作るステップと、
   前記ベクトルアウトライン確率マップを前記ソース画像に適用して最高コントラストを備えるポイントを決定するステップと、
   前記最高コントラストのポイントにおいて前記対象のエッジ上に位置する境界画素を識別するステップと
   を含む方法。
2. 前記一以上のソース画像を分割する前に一以上の前処理段階を前記一以上のソース画像に適用することにより、セグメント化の前に利用可能なデータを改善することをさらに含む請求項１に記載の方法。
3. 各セグメント化方法の結果を組み合わせることは数学的公式及び／又は発見的方法を使用することを含む請求項１に記載の方法。
4. ３次元身体データ及び／又は測定値を生成することはさらに、ステップ（ｉｖ）からの前記最適マッピングに基づいて前記対象又は他の個人的測定基準の３次元身体データを出力することを含む請求項１に記載の方法。
5. 前記一以上のソース画像をキャプチャした後に、前記一以上のソース画像における前記対象の予測される形状及び姿勢を識別する一以上の確率マップを与えるステップ、並びに／又は、
   各ソース画像における前記対象の予測される形状及び姿勢に応じて一連のセグメント化方法を与えるステップをさらに含む請求項１に記載の方法。
6. 前記対象の姿勢を決定してその決定された姿勢に基づいて一以上の確率マップを与えることをさらに含む請求項５に記載の方法。
7. 前記存在するイメージング因子は、カメラのピッチ、カメラのヨー、カメラの距離、及び樽型歪曲収差の少なくとも一つである請求項１に記載の方法。
8. 既知の３次元身体画像測定値のルックアップテーブルに基づいて最も一致する未スケーリング測定値を決定するステップと、
   前記最も一致する測定値又はスキャン値を前記対象が与える基準データに基づいてスケーリングするステップと
   をさらに含み、
   前記基準データは、対象の身長、対象及びカメラ間の距離、及び較正された既知の物体に対する基準の一以上である請求項１に記載の方法。
9. 前記一以上のソース画像を複数のセグメントに分割することは、前記又は各ソース画像における画素の位置を前記確率マップ上の対応位置と対比して画素が前記ソース画像における前記対象を代表する確率を決定するステップを含む請求項５に記載の方法。
10. 前記一以上のソース画像を複数のセグメントに分割することは、前記又は各ソース画像における画素を前記確率マップ上の対応位置に応じて重み付けをして前記重み付けがされた画像内で色及び／又は空間分布を識別するステップを含む請求項５に記載の方法。
11. 前記重み付けがされた画像内において色分布が識別され、
    前記色分布を識別することは追加的に、
    前記画像の画素のサンプリングをしてその色を識別するステップと、
    前記サンプリングがされた画素の位置を事前描画確率マップにマッピングして前記確率マップの当該領域の予測される色を決定するステップと
    を含む請求項１０に記載の方法。
12. 前記色分布を識別することはさらに、
    前記画素の色の確率分布を前記画像のすべてのセグメント内において取得するステップと、
    前記画像の、強度、色及び／又は空間的空間の多次元確率分布を生成するステップと
    を含む請求項１１に記載の方法。
13. 前記確率分布を前記確率マップの対応領域の予測される色と対比して画素が前記対象を代表する確率を決定するステップをさらに含む請求項１１に記載の方法。
14. ステップ（ｉｉｉ）において、不一致エリアにおいてセグメント化方法の重み付けをするべく信頼性情報が使用される請求項１に記載の方法。

Images