[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4860687B2 - 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 - Google Patents

360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 Download PDF

Info

Publication number
JP4860687B2
JP4860687B2 JP2008506451A JP2008506451A JP4860687B2 JP 4860687 B2 JP4860687 B2 JP 4860687B2 JP 2008506451 A JP2008506451 A JP 2008506451A JP 2008506451 A JP2008506451 A JP 2008506451A JP 4860687 B2 JP4860687 B2 JP 4860687B2
Authority
JP
Japan
Prior art keywords
distortion
panoramic image
image
scaling
pixel coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008506451A
Other languages
English (en)
Other versions
JP2008536238A5 (ja
JP2008536238A (ja
Inventor
コーエン マイケル
カトラー ロス
チャン チェンヨウ
リュウ ヂーチェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2008536238A publication Critical patent/JP2008536238A/ja
Publication of JP2008536238A5 publication Critical patent/JP2008536238A5/ja
Application granted granted Critical
Publication of JP4860687B2 publication Critical patent/JP4860687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本出願は、2002年6月28日に出願された「REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING」という名称の特許出願第10/186,915号の一部継続出願である。
本発明は、一般にコンピュータを使用してイメージを閲覧する方法に関し、より詳細には、全方向(omni−directional)カメラで撮影したパノラマイメージに関連するゆがみ(distortion)や認知(perception)の問題を軽減するための、リアルタイムパノラマイメージ修正システムおよびその方法に関する。
広角カメラ(Wide−angle cameras)は、一般に60度を超える視野があり、多くの場合に大きなシーン(scenes)の撮影に使用する。広角カメラで撮影された広角イメージ(wide−angle image)は、少なくとも2種類の投影を使用して閲覧できる。線遠近法(Linear perspective)と円筒図法(cylindrical projections)は、広角イメージの表示に使用する最も一般的な投影である。
線遠近法は、広角レンズで撮影されたイメージを平面フィルム上に投影したものである。線遠近法では、直線は維持されるが、形状は維持されない。このことによって、遠近法のゆがみ(perspective deformations)が発生する。イメージの閲覧者がその目を投影中心に配置した場合は、イメージは正確に現れ、ゆがみは発生しない。しかし、広角イメージをより小さな視野で閲覧する場合に、閲覧者は、イメージサイズがわずかに大きくなり、オブジェクトが回転するときにイメージ平面にわずかなゆがみ発生することを期待する。このことは、オブジェクトの端が伸びて見える原因である。イメージ平面上のサイズの変化とゆがみが予想を上回る場合、ユーザはシーンが固定されて(rigid)おらず、まるでシーンが閲覧者の周囲を浮遊しているように感じられる。パノラマイメージを閲覧する場合は特にこのことがいえる。
円筒図法は、曲面フィルムと回転するスリットレンズを備える広角カメラを使用して生成される。円筒図法では、形状が線遠近法よりよく維持される。さらに、円筒図法では目に見える浮遊した動き(swimming motion)が緩和される。円筒図法では、線遠近法に比べて閲覧は改善されるが、ゆがみと認知の問題は依然として残る。特に、円筒図法では直線を必要以上に歪曲させる。さらに、円筒図法ではパノラマイメージを閲覧するときの人の頭が回るときの(turning one’s head)の幻影(illusion)がほとんど除去される。
広角イメージのゆがみと湾曲の問題は、視野の不一致によって発生する。特に、コンピュータのモニタ上の閲覧サイズと標準の閲覧距離が制限されるため、イメージが閲覧されるときに範囲が定まる角度は、イメージ平面にシーンを最初に投影したカメラの視野よりはるかに小さい。この不一致は、多くのゆがみと認知の問題の原因である。
広角イメージを狭い視野で閲覧することによって発生する閲覧時の関連の問題は、奥行き(depth)の誤った認知(misperception)である。広角イメージでは、近くにあるオブジェクトと遠くにあるオブジェクトとの奥行きの格差が誇張される。シーン内にあるオブジェクトの奥行きに関する1つの重要なビジュアルキュー(visual cue)は、近い位置と遠い位置にある同様のオブジェクトのイメージサイズの比率である(奥行きの縮小率(foreshortening ratio)と呼ばれる)。視野が小さいほど縮小率も小さくなる。例えば、1つのシーンに互いに隣り合う2人が含まれており、1人はもう1人よりわずかにカメラから遠い位置にいると仮定する。シーンが標準(約60度)の視野のカメラで撮影され、さらに同じシーンが広角視野のカメラで撮影された場合に、シーン内のオブジェクトのサイズは異なって見える。具体的には、標準の視野のカメラを使用した場合は、カメラから遠い人物はもう1人の人物よりカメラから少し遠くに見える。しかし、広角視野のカメラを使用した場合は、カメラから遠い人物はもう1人の人物よりはるかに小さく見える。この誇張されたサイズの違いのために、カメラから遠い人物は実際の位置よりはるかに遠く見える。奥行きのあるシーンの広角イメージ(テレビ会議のシーンなど)がコンピュータのモニタに閲覧される場合は、閲覧者の視野は一般に実際のイメージの視野よりはるかに小さい。したがって、閲覧者によって認知される奥行きは、実際の奥行きよりはるかに大きい。
こうしたゆがみと認知の問題が発生する1つのアプリケーションは、テレビ会議システム内において明らかである。広角カメラは、テレビ会議システムでたびたび使用されており、会議室にいるすべての出席者を含むイメージ撮影し、それを送信する。しかし、1つの問題は、テレビ会議を閲覧する場合に、広角イメージでは部屋の奥行きが誇張されることである。この結果、極端な縮小のために、イメージの中心にいる人物(通常はカメラから最も離れている人物)は室内にいる他の人物に比べて非常に小さく見える。
広角カメラのイメージによくあるゆがみと認知の問題は、360度の視野をカバーするパノラマイメージを閲覧するときにさらに明らかになる。パノラマイメージは、1台のカメラで得られた複数の入力イメージの位置合わせ(aligning)と「ステッチング」(stitching)によって生成できる。あるいは、複数台のカメラを使用して入力イメージを得、これらのイメージをステッチングすることによってパノラマイメージを作成することもできる。例えば、複数のカメラを使用してパノラマビデオを生成する場合がそうである。基本的に、パノラマビデオの作成にはシーンを囲む360度の視野全体を描写する複数のビデオを得る必要がある。カメラの装置は、背中合わせに配置された複数台のカメラを備えており、ときどきこうしたビデオを撮影するために使用される。一般的には、入力イメージのピクセル位置をパノラマイメージのピクセル位置にマップするステッチングテーブルを使用して、イメージをパノラマにステッチングする。360度の全方向カメラは、会議の記録やテレビ会議に使用されてきた。通常、カメラはテーブルの中央に配置され、会議の出席者はテーブルの周囲に座っている。会議用テーブルが長方形の場合は、パノラマイメージ上の人物の頭部のサイズはカメラまでの距離によって変わる。例えば、テーブルのカメラから遠い端に座っている人物は、カメラの近くに座っている人物に比べてはるかに小さく見える。パノラマイメージにおけるこうした頭部のサイズの変化は、視覚に訴えないので、テーブルの遠い端の人物を認識したり、彼らの表情を認識したりするのは、多くの場合に困難である。
パノラマイメージを使用したテレビ会議に関する別の問題は、何台かの全方向カメラが3700×600ピクセルのパノラマイメージを生成しても、多くのユーザは1024×768ピクセルのディスプレイしか使用しておらず、この場合は1024×166ピクセルのパノラマしか表示できないことである。このように解像度が大幅に低下するため、テーブルの遠い端に座っている人物は、頭部のサイズを正規化しないと表示できない。
2002年6月28日に出願された「REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING」という名称の特許出願第10/186,915号
したがって、パノラマカメラで撮影されたイメージのゆがみと認知の問題を軽減することによって、こうしたイメージをリアルタイムで修正するシステムおよび方法が必要になる。本システムおよび方法では、パノラマイメージ内の頭部のサイズを正規化し、標準的な解像度のモニタにイメージ内の人物を閲覧できるようにする必要がある。さらに、本システムおよび方法は、セットアップと操作が容易であり、計算効率が高くなければならない。
本発明は、約360度のパノラマイメージにおけるゆがみと認知の欠点をリアルタイムで修正できるシステムおよび方法で使用するユーザインターフェースを提供する。本リアルタイムパノラマイメージ修正システムおよびその方法では、パラメトリック歪み関数(parametric warping functions)、すなわちSVU(Spatially Varying Uniform)スケーリング関数を使用してパノラマイメージを歪め、不連続性を導入することなく人物の頭部のサイズを均等化する。SVU関数については、2002年6月28日に出願された「REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING」という名称の特許文献1ですでに説明されている。しかし、以前の特許出願では最大180度のイメージについてのみこの技術が使用された。本発明において、SVUスケーリング関数は、約360度のパノラマイメージに適用されており、会議用テーブルのジオメトリ(geometry)や会議出席者の頭部に接する平面などの水平方向の特徴(horizontal features)を考慮に入れている。前述の特許出願において、SVUスケーリング関数は一般に会議室のテーブルの一端に配置された広角カメラで生成した最大180度のイメージに対して使用された。一方、360度の全方向カメラは、通常はテーブルの中央に配置される。したがって、広角イメージと約360度のパノラマイメージのSVUスケーリング関数の計算に使用する上側と下側の曲線は異っている。
本リアルタイムパノラマイメージ修正システムおよびその方法では、頭部のサイズの正規化を実行し、遠くにあるオブジェクト(頭部など)をより近く見えるように、したがってより大きくしている。また、近くにある頭部(大きい)はより小さくなっている。結果として、テーブルの遠い端にいる人物はより大きくなり、1024×166ピクセルのディスプレイでも閲覧可能である。本発明によるシステムおよび方法の1つの実施形態では、さらにユーザが会議用テーブルの形状とサイズを選択でき、本リアルタイムパノラマイメージ修正システムは、パノラマイメージのステッチングテーブルを会議用テーブルに合わせて変更し、会議出席者の頭部のサイズを正規化すると同時に、ステッチングが計算されるようにする。
一般に、本発明の一実施形態において、リアルタイムパノラマイメージ修正方法は、遠方のオブジェクトがカメラ近傍のものより非常に小さいパノラマイメージと、テーブル寸法および人々の頭部の上端といったイメージ内の水平方向のジオメトリパラメータを入力する。次いで前記方法は、強調された奥行きと水平方向の歪みとを修正し、修正されたパノラマイメージを出力する。修正は歪み関数のクラスを用いて実施される。歪み関数は、パノラマイメージに関連する問題の大部分を解決しつつ、新たな歪みの導入を最小限にするよう設計される。この歪み関数のクラスは、空間的に変化する一様なスケーリング関数を含む。一般に、局所レベルでのスケーリングはグローバルコンテクストを保存しつつ実施される。ビデオ会議の適用例に対して、これは歪みが遠方の人々にズームインし、その際に個々人を歪ませず部屋の状況を保存することを意味する。
上述の実施形態において、リアルタイムパノラマイメージ修正方法は、約360度のパノラマイメージのピクセル座標と水平方向のジオメトリ寸法とを受信し、パノラマイメージのピクセル座標上で垂直および水平方向のスケーリングを実施する。スケーリングはパノラマイメージの歪み関数を用いて実施される。このスケーリングにより、垂直方向の線は維持するが水平方向の線を歪ませる可能性のあるイメージに対応する、予備歪みテーブルが生成される。結果として、修正イメージピクセル座標を元のイメージのピクセル座標にマップする歪みテーブルが出力される。換言すれば、歪みテーブルは、新規の修正されたパノラマイメージ内にある元のピクセル座標の各位置を決定する。修正されたパノラマイメージは、元のパノラマイメージからリアルタイムに構築される。
本発明の別実施形態では、歪みテーブルとステッチテーブルを連結して計算効率を改善し、入力イメージをパノラマイメージに縫合する最中に頭の大きさを正規化することを可能とする。本実施態様では、ステッチテーブルを用いてイメージの集合を仮想(imaginary)ステッチパノラマイメージに縫合する。さらに、イメージの集合、水平方向のジオメトリパラメータも入力される。仮想パノラマイメージを用いて歪みテーブルを計算し、次いで歪みテーブルをステッチテーブルと連結する。この連結された歪みおよびステッチングテーブルを次いで使用して、入力イメージの集合を実際の歪み修正パノラマに縫合する。
上述の実施形態の両方に対して、歪みテーブルまたは連結ステッチ・歪みテーブルを規定どおりに使用して、垂直および水平方向の歪みを修正する。
垂直方向のスケーリングを、パノラマイメージの歪み関数と歪み係数とを用いてパノラマイメージ内、または仮想パノラマイメージ内のそれぞれの垂直走査線上で実施する。メインスケーリング係数を、ソース曲線、歪み係数、ならびにソース曲線および歪み係数から計算したターゲット曲線を用いて計算する。本発明の1形態は、ユーザが定義したソース曲線および歪み係数を有する。または、ソース曲線を所与の歪み係数に対する水平方向の特徴ジオメトリとカメラパラメータとから自動的に計算することができる。メインスケーリング係数を使用してピクセル座標を垂直方向にスケーリングする。仮想的な意味では、この垂直方向のスケーリングによりパノラマイメージ(または仮想パノラマイメージ)は、選択した垂直走査線に対してメインスケーリング係数の量だけ垂直方向に“伸張”/“縮小”される。垂直走査線の水平方向スケーリングも実施し、同じメインスケーリング係数を使用してアスペクト比を保存する。垂直方向のスケーリングと同様、水平方向のスケーリングにより仮想的な意味でパノラマイメージの垂直走査線の幅はメインスケーリング係数の量だけ水平方向に局所的に“伸張”/“縮小”されると考えることができる。仮想的な意味では、縫合されていない入力イメージの集合の場合に垂直および水平方向のスケーリングを元のパノラマイメージまたは仮想パノラマイメージに適用することで、予備修正イメージが得られる。計算速度を高めるため、予備修正イメージの予備ピクセル座標を元のイメージのピクセル座標にマップする予備歪みテーブルを生成する。
水平方向の歪みは、ピクセル座標の位置に従って予備歪みテーブルをセクションに分割することで修正する。これらのセクションのそれぞれは異なるスケーリング係数を用いて垂直にスケーリングする。本発明の1形態では、下部ソース曲線と上部ソース曲線との間のピクセルに対応するピクセル座標を含むセクションを、第1のセクションと定義する。次いでメインスケーリング係数を用いて、このセクション内のピクセル座標を垂直にスケーリングする。他セクション内のピクセル座標は、メインスケーリング係数とは異なる値である2次スケーリング係数を用いて垂直にスケーリングする。連続性を保存するため、平滑化(smoothing)関数を用いてセクションのそれぞれを接続する。水平方向の歪み修正プロセスが予備歪みテーブル内のピクセル座標上で実施されると、歪みテーブルが生成される。この歪みテーブルを使用して、パノラマイメージのリアルタイムワーピングを実施し、修正されたパノラマイメージをリアルタイムに生成する。上述のように、本発明の一実施形態では歪みテーブルをステッチテーブルと連結し、パノラマイメージの縫合中にパノラマイメージを修正することで計算効率を向上させる。
本発明の形態を説明する以下の記述と添付図面とを参照することで、本発明をさらに理解することができる。他の特徴および利点は、添付図面と関連させた本発明の以下の詳細な記述から明らかになるであろう。添付図面は本発明の原理を例として示す。
本発明の以下の説明では添付図面を参照する。添付図面は本発明の説明の一部を形成し、添付図面には例として本発明を実践可能な具体例を示してある。本発明の範囲から逸脱することなく、他の実施形態を利用でき、構造を変更できることは理解されるべきである。
1.0 一般概要
図1は、会議室内のテーブル中央に置いた360度全方向カメラで取得したイメージを示す。このカメラ構成は、ビデオ会議の適用例で使用可能なもののうち一般的なものである。図1を参照すると、白い人が他の2人より非常に小さく見えることが分かる。この理由は、彼がカメラから遠く離れて座っているからである。最初に、白い人はほとんど見えず、観察者から遠く離れて見えるので、リアルタイム通信の実施に影響する。第2にネットワークの帯域制限および有限の画面スペースにより、通常はイメージ大きさが制限される。人々のイメージが非常に小さい場合、多数の送信ピクセルが無駄になる。従って、人々の頭の大きさを均等化して送信および表示されるピクセル数を最大限に利用することが望ましい。図2は、リアルタイムパノラマイメージ修正システムおよび方法を用いて修正した図1のイメージを示す。
リアルタイムパノラマイメージ修正システムおよび方法は、イメージの不連続性を生じさせずに人々の頭の大きさを均等化または正規化する技術を利用する。その技術は、2002年6月28日出願の“コンピュータイメージビューイングのためのリアルタイム広角イメージ修正のシステムおよび方法”というタイトルの特許出願番号10/186,915で説明されるSVUスケーリング関数の拡張である。以前の特許出願ではSVUスケーリング関数を、会議室テーブルの一端に置いた広角カメラで通常は生成する180度イメージに対して使用した。対照的に、上述のように360度カメラはテーブル中央に通常は置かれる。従って、360度パノラマイメージ向けに生成したSVUスケーリング関数の計算に用いる上方および下方曲線は、広角(例えば、高々180度)のイメージで使用されるものと異なる。図3は、180度イメージに対するSVUスケーリング関数の計算に用いる上方および下方ソース曲線(緑線)を示す。図4は、360度イメージに対するSVUスケーリング関数の計算に用いる上方および下方ソース曲線(緑線)を示す。緑のソース曲線とターゲット曲線(赤線)が与えられると、前述の特許出願で説明されるものと同じ方法でSVUスケーリング関数を生成することができる。
前述の同時係属特許出願にあるように、空間的に変化する一様な(SVU)スケーリング関数と呼ばれるパラメトリックな歪み関数のクラスを用いて、パノラマイメージの修正を実現する。空間的に変化する一様な(SVU)スケーリング関数は、局所的なスケーリングの見え方を保存し奥行きの誤認知を修正する。SVUスケーリング関数およびスケーリング係数を使用して、イメージのピクセル座標上で垂直方向のスケーリングおよび水平方向のスケーリングを実施する。これにより、予備修正イメージのピクセル位置を元のピクセル座標にマップする予備歪みテーブルが生成される。この予備修正イメージは仮想的なイメージであり、実際に構築される訳ではない。しかしながら、予備修正イメージは垂直線を真直ぐに保つが、水平線は歪ませる。SVUスケーリング関数と少なくとも2つの異なるスケーリング係数とを用いて水平方向の歪み修正を実施することで、この水平方向の歪みを修正する。このプロセスにより歪みテーブルが生成される。歪みテーブルは、修正されたパノラマイメージ内の位置を歪んだパノラマイメージ内の元のピクセル座標にマップする。本発明の一部の実施形態ではイメージを縫合してパノラマイメージを生成し、歪みテーブルをステッチテーブルと連結して計算効率を向上させることができる。歪みテーブル、または連結ステッチ・歪みテーブルを用いて、修正されたパノラマイメージを元のパノラマイメージからリアルタイムに構築する。
図5Aは、本発明のリアルタイムパノラマイメージ修正システム500Aの一実施形態の一般概要を示すブロック図である。一般に、システム500Aは水平方向の特徴ジオメトリ505(例えば、会議卓の形状、および人々の頭部の上端に接触する平面)とパノラマイメージ510とを取得し、水平方向の特徴ジオメトリ505とパノラマイメージ内の各ピクセルの座標に対応するパノラマイメージピクセル座標520とを入力する。水平方向の特徴ジオメトリ505およびパノラマイメージピクセル座標520をリアルタイムパノラマイメージ修正システム500Aにより処理し、修正されたパノラマイメージ530を出力する。
パノラマイメージ510は(例えばスチールカメラからの)単一縫合イメージ、または(例えばビデオカメラからの)イメージ列の一部であることができる。パノラマイメージ510内の各ピクセルの座標を取得してパノラマイメージピクセル座標520を生成する。例えば、直線で囲った座標枠においてピクセル座標520はパノラマイメージ510内の各ピクセルの(x,y)位置であり、それらの位置はパノラマイメージを取得するために縫合した一連のイメージに一般に対応する。リアルタイムパノラマイメージ修正モジュール500Aは歪みテーブル生成モジュール540、歪みテーブル550およびリアルタイムイメージ歪みシステム560を含む。
歪みテーブル生成モジュール540は、パラメトリックイメージ歪み関数を用いて歪みテーブル550を生成するために使用される。パノラマイメージピクセル座標520を処理して歪みテーブル550を生成する。歪みテーブル生成モジュール540の詳細を以下で説明する。歪みテーブル550は、修正されたパノラマイメージ530内の位置に対応するように配置したパノラマイメージピクセル座標520を含む。従って、歪みテーブル550は、パノラマイメージピクセル座標520に対する修正されたパノラマイメージ530内の新規位置を決定する。
歪みテーブル550を生成すると、パノラマイメージ510をリアルタイム歪みシステム560に対する入力として受信する。リアルタイムパノラマイメージ歪みシステム560は歪みテーブル550をパノラマイメージ510に適用して修正されたパノラマイメージ530を生成する。リアルタイム歪みシステム560は、歪みテーブル550内に含まれるピクセル座標に位置するパノラマイメージ510のRGB値を取得することで、修正されたパノラマイメージ530内の各位置に対して修正されたパノラマイメージ530を生成する。パノラマピクセル座標520でのRGB値は従って、修正されたパノラマイメージ530内で再配置される。歪みテーブル550を用いて新規位置を決定する。例えばYUVのような任意の色空間を用いてもよいことに留意されたい。
図5Bに示す本発明の別実施形態500Bでは、パノラマイメージの縫合に用いるステッチテーブルと歪みテーブルとを連結する。本実施形態では入力イメージ集合512を仮想パノラマイメージ515に縫合し、ステッチングされた仮想パノラマイメージ522に対するイメージピクセル座標をシステム500Bに入力する。リアルタイムパノラマイメージ修正モジュール500Bは歪みテーブル生成モジュール540、歪みテーブル550、連結ステッチ・歪みテーブル555(セクション4.5でさらに詳述)、およびリアルタイムイメージ歪みシステム560を含む。
歪みテーブル生成モジュール540を使用して、パノラマイメージ歪み関数を用いて歪みテーブル550を生成する。仮想パノラマイメージ515のパノラマイメージピクセル座標522を処理し、歪みテーブル550を生成する。歪みテーブル生成モジュール540の詳細は後述する。歪みテーブル550は、修正されたパノラマイメージ530内の位置に対応するように配置したパノラマイメージピクセル座標522を含む。従って、歪みテーブル550は、パノラマイメージピクセル座標522に対する修正されたパノラマイメージ530内の新規位置を決定する。
歪みテーブル550が生成されると、歪みテーブル550は入力イメージ集合512の縫合に使用するステッチテーブルと連結されて、連結された歪みおよびステッチングテーブル555を生成する。入力イメージ集合512は、リアルタイムイメージ歪みシステム560に対する入力として受信する。リアルタイムパノラマイメージ歪みシステム560は連結された歪みおよびステッチングテーブル555を入力イメージ集合512に適用して、修正されたパノラマイメージ530を生成する。リアルタイムイメージ歪みシステム560は、連結された歪みおよびステッチングテーブル555内のピクセル座標に位置する入力イメージ集合512に対してRGB(またはYUV、または他の色空間)値を取得することで、修正されたパノラマイメージ530内の各位置に対して修正されたパノラマイメージ530を生成する。仮想パノラマピクセル座標522でのRGB値は従って、入力イメージ集合512の縫合中に修正されたパノラマイメージ530内で再配置される。連結された歪みおよびステッチングテーブル555を用いて新規位置を決定する。
ステッチャが静的であり且つ最小量の計算を必要とするので、歪みプロセスはリアルタイムで生じる。歪みテーブルを生成すると、修正されたパノラマイメージ530の生成に必要なもの全てが歪みテーブル550(または連結された歪みおよびステッチングテーブル)をパノラマイメージ510または入力イメージ集合512に適用し、これを素早く完了することができる。
2.0 動作環境例
本発明のリアルタイムパノラマイメージ修正システム500Aまたは500Bは、コンピューティング環境で動作するよう設計してある。以下の説明は、本発明の実装に適したコンピューティング環境の簡潔で一般的な説明を与えることを意図している。
図6は本発明の実行に適したコンピューティング装置を示すブロック図である。必要ではないが、プログラムモジュールのようなコンピュータが実行するコンピュータ実行可能命令の一般的なコンテクストで本発明を説明する。一般に、プログラムモジュールはルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含み、これらは特定のタスクを実施するかまたは特定の抽象データ型を実装する。さらに、当業界の技術者は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能消費家電、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、等を含む様々なコンピュータシステム構成で本発明を実践できることを理解するであろう。本発明を分散コンピューティング環境で実践することもできる。分散コンピューティング環境では、通信ネットワークを通して接続したリモート処理装置がタスクを実施する。分散コンピューティング環境では、プログラムモジュールを、メモリ記憶装置を含むローカルおよびリモートコンピュータ記憶媒体の両方に置くことができる。
図6を参照する。本発明を実装するシステムの例には汎用目的コンピューティング装置600が含まれる。特に、コンピューティング装置600には演算装置602、システムメモリ604、およびシステムメモリ604を含む様々なシステムコンポーネントを演算装置602に接続するシステムバス606が含まれる。システムバス606は数種のバス構造のうち任意のものであることができ、そのバス構造には、メモリバスまたはメモリ制御装置、周辺バス、および様々なバスアーキテクチャのうち任意のものを使用するローカルバスが含まれる。システムメモリは読取専用メモリ(ROM)610およびランダムアクセスメモリ(RAM)612を含む。例えば起動時にコンピューティング装置600内部の要素間での情報転送を支援する基本ルーチンを含む基本入出力システム(BIOS)614を、ROM610内に記憶する。コンピューティング装置600はさらに、示していないがハードディスクを読み書きするハードディスクドライブ616、取り外し可能磁気ディスク620を読み書きする磁気ディスクドライブ618、およびCD−ROMまたは他の光媒体のような取り外し可能光ディスク624を読み書きする光ディスクドライブ622を含む。ハードディスクドライブ616、磁気ディスクドライブ628および光ディスクドライブ622をそれぞれ、ハードディスクドライブインターフェース626、磁気ディスクドライブインターフェース628および光ディスクドライブインターフェース630によりシステムバス606に接続する。前記ドライブおよびそれらに関連するコンピュータ読取可能記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュールおよびコンピューティング装置600に対する他のデータを、不揮発に記憶する。
本明細書で説明した環境の例ではハードディスク、取り外し可能磁気ディスク620および取り外し可能光ディスク624を利用したが、当業界の技術者は、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、等といった、コンピュータが利用可能なデータを記憶できる他種のコンピュータ読取可能記憶媒体をも動作環境例で使用できることを理解するであろう。
多数のプログラムモジュールを、ハードディスク、磁気ディスク620、光ディスク624、ROM610またはRAM612に記憶することができる。上記プログラムモジュールにはオペレーティングシステム632、1つまたは複数のアプリケーションプログラム634、他のプログラムモジュール636およびプログラムデータ638が含まれる。ユーザ(示さず)はキーボード640およびポインティングデバイス642のような入力装置を通してコンピューティング装置600に命令および情報を入力することができる。加えて、(ビデオカメラのような)カメラ643および、例えばマイクロフォン、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナ、等を含む他の入力装置(示さず)をコンピューティング装置600に接続することができる。これらの他の入力装置を、システムバス606に結合したシリアルポートインターフェース644を通して演算装置602に接続することがよくあるが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス(USB)のような他のインターフェースにより接続してもよい。モニタ646(または他種の表示装置)も、ビデオアダプタ648のようなインターフェースを通してシステムバス606に接続される。モニタ646に加えて、パーソナルコンピュータのようなコンピューティング装置は一般に、スピーカおよびプリンタのような他の周辺出力装置(示さず)を含む。
コンピューティング装置600は、リモートコンピュータ650のような1つまたは複数のリモートコンピュータに対する論理接続を用いてネットワーク環境で動作することができる。リモートコンピュータ650は別のパーソナルコンピュータ、サーバ、ルータ、ネットワークPC,ピアデバイスまたは他の共通ネットワークノードであることができ、一般にコンピューティング装置600に関して上述した多数または全ての要素を含むが、メモリ記憶装置652のみを図6に示してある。図6に示した論理接続はローカルエリアネットワーク(LAN)654および広域ネットワーク(WAN)656を含む。上記のネットワーク環境は職場、企業規模のコンピュータネットワーク、イントラネットおよびインターネットで一般的である。
LANネットワーク環境で使用するとき、コンピューティング装置600はネットワークインターフェースまたはアダプタ658を通してローカルネットワーク654に接続される。WANネットワーク環境で使用するとき、コンピューティング装置600は一般にモデム660または、インターネットなどの広域ネットワーク656上で通信を確立する他の手段を含む。モデム660は内部または外部にあることができ、シリアルポートインターフェース644経由でシステムバス606に接続される。ネットワーク環境において、コンピューティング装置600に関して示したプログラムモジュール、またはその一部を、リモートメモリ記憶装置652に格納することができる。示したネットワーク接続は例であって、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは理解されるべきである。
3.0 リアルタイムパノラマイメージ修正システムの詳細
一般に、リアルタイムパノラマイメージ修正システム500はパノラマイメージ510をリアルタイムに修正し、カメラから遠く離れて座る人々の頭の大きさを特に正規化または均等化する。システム500は垂直および水平方向の湾曲および歪みを修正する。加えて、システム500は奥行きおよび泳ぎ動作のような知覚問題を修正する。
図7は図5Aまたは5Bに示した歪みテーブル生成モジュール540の詳細を示すブロック図である。特に、歪みテーブル生成モジュール540は入力モジュール700を含む。入力モジュール700により、パノラマイメージピクセル座標520または仮想パノラマイメージ522のピクセル座標および水平方向の特徴ジオメトリ505を入力する。これらのピクセル座標520、522は、パノラマイメージ510または仮想パノラマイメージ515内の各ピクセル位置を表す。モジュール540は垂直方向のスケーリングモジュール710も含む。垂直方向のスケーリングモジュール710は歪み関数を使用して、パノラマイメージピクセル座標520、522が垂直方向にスケーリングされるように、パノラマイメージピクセル座標520のそれぞれの垂直走査線または仮想パノラマイメージ522のピクセル座標を処理する。概念的には、これはパノラマイメージ510(または仮想パノラマイメージ515)の垂直方向への“伸張”と考えることができる。この垂直方向のスケーリングにより、パノラマイメージ510(または仮想パノラマイメージ515)において強調された奥行きを部分的に修正する。
歪みテーブル生成モジュール540は、パノラマイメージ歪み関数を用いて水平方向にイメージピクセル座標520、522をスケーリングするための水平方向のスケーリングモジュール720も含む。垂直方向のスケーリングと同様、概念的にはこれはパノラマイメージ510または仮想パノラマイメージ515の水平方向への“伸張”と考えることができる。加えて、パノラマイメージ510または仮想パノラマイメージ515のアスペクト比が保存されるように、水平方向のスケーリングをそれぞれの垂直走査線上で独立して実施する。
垂直方向のスケーリングモジュール710および水平方向のスケーリングモジュール720は、予備ピクセル座標を元のピクセル座標にマップする予備歪みテーブルを生成する。この予備歪みテーブルを使用して予備修正イメージを生成することができる。実際にはこれは行われず、予備修正イメージは仮想的なイメージである。予備修正イメージは、垂直線が垂直として維持されるが水平線は歪まされるという特性を有する。
水平方向の歪みを修正するため、水平方向の歪みモジュール730も歪みテーブル生成モジュール540に含める。水平方向の歪みモジュール730は予備歪みテーブル内の予備ピクセル座標を、位置に依存して異なる量だけ垂直にスケーリングする。歪みテーブル生成モジュール540の出力は歪みテーブル550である。歪みテーブルは修正されたパノラマイメージ530内のピクセル座標を、元のパノラマイメージピクセル座標520または仮想ステッチイメージ522のピクセル座標にマップする。歪みテーブルをステッチテーブルと連結して連結された歪みおよびステッチングテーブルを生成することができ、一連の入力イメージからパノラマイメージに縫合することに使用できる。
4.0 リアルタイムパノラマイメージ修正方法
本発明のリアルタイムパノラマイメージ修正方法は、空間的に変化する一様なスケーリング関数、またはSVUスケーリング関数と呼ばれるパラメトリックイメージ歪み関数を使用する。SVUスケーリング関数はアスペクト比を保存する一様スケーリング関数と局所的に類似するかもしれないが、歪みを生成するためにスケーリング係数がイメージ上で変化する。パノラマイメージの表示時、SVUスケーリング関数は循環を回避して泳ぎ動作を除去する。
図8Aは、図5Aに示すリアルタイムパノラマイメージ修正システム500Aのリアルタイムパノラマイメージ修正方法の一実施形態の動作を示す一般的なフロー図である。パノラマイメージ510からのパノラマイメージピクセル座標520および水平方向の特徴ジオメトリ505を入力として受信する(囲み800)。次に、歪みテーブル550を生成する(囲み810)。この歪みテーブル550を使用して、修正されたパノラマイメージピクセル座標530の位置を決定する。
以下で説明するように、歪みテーブル550の生成は垂直方向のスケーリング、水平方向のスケーリング、および水平方向の歪み修正を含む。垂直方向のスケーリングは、強調された奥行きに関してパノラマイメージ510を修正する。強調された奥行きを修正するため、遠方のオブジェクトまたはパノラマイメージ510の中央にいる人々を、カメラ近傍のオブジェクトまたは人々に対して拡大する必要がある。
パノラマイメージ510のアスペクト比を維持するため、水平方向のスケーリングも実施する。詳細には、(SVUスケーリング関数のような)パラメトリックイメージ歪み関数を使用して水平方向のスケーリングを実施し、パノラマイメージ510のそれぞれの垂直走査線に対して新規の幅を生成する。SVUスケーリング関数が垂直線を垂直に維持する一方、一定量の垂直方向のずれが生じる。視覚的には、これは水平線の傾斜または歪みとして認知される。テーブルまたは部屋の天井のように、背景が水平面をイメージの上端または下端の近くに含むことがよくあり、この場合は歪みが顕著となる可能性がある。
この垂直方向のずれを修正するため、リアルタイムパノラマイメージ修正方法は、水平方向の歪み修正を実施してパノラマイメージ510の水平方向の歪みを修正することをさらに含む。一般にこれは、垂直方向のスケーリングの均一性を緩和し、パノラマイメージ510内の垂直位置を(例えば垂直走査線に沿って)非線形にスケーリングすることで実現される。垂直方向のスケーリング、水平方向のスケーリング、および水平方向の歪み修正の後、修正されたパノラマイメージ530内のピクセルをパノラマイメージ510にマップする歪みテーブル550が生成される。
歪みテーブル550を生成すると、パノラマイメージ510を入力として受信する(囲み820)。パノラマイメージ510を次いでリアルタイムに歪ませ、修正されたパノラマイメージ530を生成する。歪みが無いパノラマイメージを生成するために修正パノラマ画像530内の各位置に対して見つけるべきパノラマイメージ510内のピクセルにおいて、歪みテーブルを確立する。
図8Bは、図5Bに示すリアルタイムパノラマイメージ修正システム500Bのリアルタイムパノラマイメージ修正方法の一実施形態の動作を示す一般的なフロー図であり、図8Aに関して説明したものとほぼ同様に動作する。仮想パノラマイメージ515からのイメージピクセル座標522および水平方向の特徴ジオメトリ505を入力として受信する(囲み800)。次に、歪みテーブル550を生成する(囲み810)。次いで歪みテーブルを歪みテーブル550と連結し、連結された歪みおよびステッチングテーブル(囲み815)を生成する。仮想パノラマイメージの生成に用いる入力イメージ集合を入力する(囲み820)。次いで連結された歪みおよびステッチングテーブル555を使用して、入力イメージ集合の縫合中に修正されたパノラマイメージピクセル座標530の位置を決定する(囲み830)。次いで修正されたパノラマイメージを出力する(囲み840)。
様々なスケーリング手順およびモジュールの詳細を以下でさらに詳述する。
4.1 垂直方向のスケーリング
図9は、図7の710で示した垂直方向のスケーリングモジュールの詳細を示すフロー図である。水平方向の特徴ジオメトリ505およびパノラマピクセル座標520または522を入力として受信する(囲み900)。次に、(SVUスケーリング関数のような)パラメトリックイメージ歪み関数を曲線集合およびスケーリング係数を用いて決定する。特に、歪み係数とともに(囲み920)ソース曲線を特定する(囲み910)。これらのソース曲線と歪み係数を用いて、ターゲット曲線を計算する(囲み930)。
図10は2つの曲線集合、即ち(1)ソース曲線、および(2)ターゲット曲線による歪み関数の決定を示す。本発明の1態様では、ユーザがソース曲線を単純なユーザインターフェースを通して入力する。これらのソース曲線はパラメータをパラメトリックイメージ歪み関数に与える。ユーザインターフェースを通してユーザに2つの三次曲線を定義するよう求める。これらの2つのソース曲線は、人々の頭部の上端、テーブル端のような共通(実世界)の水平方向の特徴を定義する。図10に示すように、上部ソース曲線Stと下部ソース曲線Sbを特定する。図10と図4を比較することで、パノラマに対するソースおよびターゲット曲線を計算するためには上方および下方ソース曲線の4つの異なる部分を定義し、全体のパノラマイメージに対してソース曲線を定義しなければならないことが分かる。
ソース曲線を手動で指定するのではなく、例えば会議卓および会議参加者の頭部の上端に接触する平面のような水平方向の特徴ジオメトリからソース曲線を自動的に決定することができる。会議卓が長方形であると仮定する。テーブルの幅Wおよび長さL、カメラの高さh、カメラの焦点距離r、およびカメラの方位θを知ると、緑のソース曲線を計算することができる。焦点距離rおよびカメラの高さhは、カメラが製造段階で分かる。テーブルの寸法は設置中にユーザが与えることができる。図11はテーブル端の筒状フィルムへの投影を示す図である(標準的なカメラ方位を仮定)。以下は、円筒状のイメージ上のテーブル境界を表す下方ソース曲線の4つの部分に対する式である。
同様に、以下は、円筒状のイメージ上の人々の頭部の上端に接触する平面を表す上方ソース曲線の4つの部分に対する式であり、h’はカメラから会議参加者の頭部の上端の平面への距離を表す。
歪み係数αをユーザが選択することも可能であり、歪み係数αはイメージが歪められる程度を決定する。歪み係数αは0と1との間にあり、α=0は歪み無しで、α=1は最大の歪みである。概念的には、α=0と指定するとイメージに影響を及ぼさず、α=1と指定するとソース曲線上のピクセルが端点間の線に引き寄せられる。一般に、理想的な歪み係数は0と1のほぼ中間にある。
ソース曲線と歪み係数が指定されると、ターゲット曲線を計算することができる(囲み930)。y=St(x)およびy=Sb(x)をそれぞれ上部および下部ソース曲線の式とする。(ソース曲線上の点の移動先である)2つのターゲット曲線をソース曲線とαとにより決定する。詳細には、上部ターゲット曲線Ttおよび下部ターゲット曲線Tbを定義する。St(x)の端点間で直線の式がy=yt(x)と定義され、下部ソースの両端を接続する直線の式がy=yb(x)と定義される場合、上部ターゲット曲線の式はTt(x)=(1−α)St(x)+αyt(x)となり、Tb(x)=(1−α)Sb(x)+αyb(x)となる。
次いで要スケーリング係数r(x)を、ソース曲線とターゲット曲線を用いて計算する(囲み940)。特に、図10に示すように任意の垂直走査線xが与えられるとき、A、Bがソース曲線との交点を示し、A’、B’がターゲット曲線との交点を示すとする。SVUスケーリング関数はABをA’B’にスケーリングする。
とする。
比率r(x)は、水平位置xにある垂直走査線に対するメインスケーリング係数である。次いで垂直走査線のパノラマピクセル座標520を、メインスケーリング係数r(x)を用いて垂直方向にスケーリングする(囲み950)。
4.2 水平方向のスケーリング
アスペクト比を保存するため、パノラマピクセル座標520は水平方向にもスケーリングされる。この水平方向スケーリングは同じメインスケーリング係数r(x)を使用する。換言すれば、ちょうど垂直方向のスケーリングの場合のように垂直走査線もメインスケーリング係数r(x)により水平方向にスケーリングし、アスペクト比を保存する。
図12は、図7に示す水平方向のスケーリングモジュールの詳細を示すフロー図である。垂直にスケーリングしたパノラマピクセル座標を入力として受信する(囲み1200)。メインスケーリング係数r(x)を使用して、垂直にスケーリングしたパノラマピクセル座標を水平方向にスケーリングする(囲み1210)。垂直にスケーリングしたパノラマピクセル座標520をスケーリングすると、予備修正イメージの全幅w’は
となる。ここで、wはパノラマ(またはソース)イメージ510の幅である。
次に、予備歪みテーブルを生成する(囲み1220)。予備歪みテーブルは予備ピクセル座標を含む。予備ピクセル座標は、垂直および水平にスケーリングしたパノラマピクセル座標である。概念的には、予備ピクセル座標を使用して予備修正イメージを構築することができる。従って、パノラマイメージ510内の任意のピクセル(x,y)に対して、(x’,y’)が予備修正イメージ内の新規位置を示すとすると、
となる。
上式はSVUスケーリング関数に対する前方マッピング式である。SVUスケーリング関数は、全ての場所で完全に均一なスケーリングではない。全ての場所で完全に均一である唯一の関数は、均一グローバルスケーリング関数であることは容易に証明できる。
SVUスケーリング関数は、汎用円柱面への投影と同様である。しかしながら、そのような単純な投影によるスケーリングは局所的に均一とならない。局所的に均一なスケーリングが望ましく、このように局所的に均一なスケーリングが行われないため予備修正イメージ内のオブジェクトが伸張されたように見える。
4.3 水平方向の歪み修正
パノラマピクセル座標520を垂直および水平方向にスケーリングすると、結果の予備歪みテーブルが水平方向の歪みに対して修正される。(SVUスケーリング関数のような)イメージ歪み関数のパラメトリッククラスが垂直線を垂直に維持し、水平線を歪ませるので、水平方向の歪み修正が必要である。この問題を最小限にするため、スケーリングの均一性を緩和し、それぞれの垂直走査線でのスケーリングを非線形に行う。
図13は、図7に示す水平方向の歪みモジュール730の詳細を示すフロー図である。一般に、モジュール730は予備歪みテーブル内の予備ピクセル座標をセクションに分割し、そのセクションに対する固有のスケーリング係数に従って垂直方向に各セクションをスケーリングする。スケーリング係数はセクション間で異なってもよく、通常は少なくとも1つのセクションに対して異なる。
詳細には、水平方向の歪み修正モジュール730が最初に予備歪みテーブルをセクションに分割する(囲み1300)。本発明の1態様において、概念的には予備修正イメージを図14に示すように分割する。図14は垂直方向のスケーリング関数と、予備修正イメージの3つのセクションへの分割を示す概念図とを示す。図14においてyが垂直方向であることに留意されたい。図14を参照する。第1のセクション1400を下部ソース曲線Sbと上部ソース曲線Stとの間で定義する。他のセクションはソース曲線外にあるセクションを含み、それらはソース曲線下方の第2セクション1410とソース曲線上方の第3セクション920とを含む。
ソース曲線間の第1セクション1300内に位置する予備ピクセル座標を、メインスケーリング係数r(x)を用いて垂直(y)方向にスケーリングする(囲み1310)。この垂直方向へのスケーリングは上述のように実施する。ソース曲線外部のセクション(第2セクション1310および第3セクション1320)内に位置する予備ピクセル座標は垂直方向に少なめにスケーリングされる。これは最初に2次スケーリング係数を指定することで実施する(囲み1320)。2次スケーリング係数sは図14においてメインスケーリング係数r(x)の下方に示してある。次に、ソース曲線外部の他セクション1410、1420内に位置する予備ピクセル座標を、2次スケーリング係数(囲み1330)を用いて垂直方向にスケーリングする。水平方向のスケーリングは同一なままであり(換言すれば、メインスケーリング係数r(x)を用い)、その結果、垂直線の真直度が維持されることに留意されたい。セクション間の連続性を維持するため、平滑化パラメータwを適用することでセクション間の遷移を行う(囲み1340)。平滑化パラメータは垂直方向のスケーリング関数を滑らかにし、垂直方向のスケーリング関数がソース曲線と交差する際に異種のスケーリング係数を滑らかに接続する。
図10および14を参照する。図10に示す垂直線xを考える。図14に示すように、g(y)は、この垂直線上にある任意の点yでの垂直方向のスケーリング係数として定義可能な垂直方向のスケーリング関数である。g(y)はxに従属することに留意されたい。関数g(y)を2つのパラメータ、即ち2次スケーリング係数sおよび平滑化パラメータwにより制御する。ソース曲線からw/2以上離れた垂直走査線の部分は、ソース曲線間のメインスケーリング係数r(x)、およびソース曲線外部の2次スケーリング係数sによりスケーリングされる。3つの定常セグメントを2つの3次スプラインにより[St−0.5w,St+0.5w]において結合する。それぞれの3次スプラインは両端で値sおよびr(x)を取り、両端で傾きが0となる。
平滑化パラメータwはソース曲線での連続性を制御する。例えば、背景がソース曲線で不連続な場合、非常に小さいwを選択して目立った不自然さがないようにすることができる。s=r(x)である特殊な場合、g(y)は一定となり、これは予備修正イメージ内に新規ピクセル位置を導出する際に仮定したことである。水平方向の歪み修正関数を予備歪みテーブルに適用すると、修正されたパノラマイメージ530内にパノラマピクセル座標の位置を含む歪みテーブル550が生成される(囲み1350)。次いで歪みテーブル550を出力として送信する(囲み1360)。歪みテーブルは、パノラマイメージ510からの修正されたパノラマイメージ530の構築に使用する。
4.4 パノラマイメージ誤認知の修正
SVUスケーリング関数は、奥行き誤認知の問題の修正を支援する。対称SVUスケーリング関数をパノラマイメージの表示に用いて、これを実現する。下部ソース曲線は上部ソース曲線の鏡像である。ソース曲線はイメージの隅を通り、中央の垂直走査線で最小(または最大)値を有する。1つ目のパラメータが中心点の高さを指定し、第2のパラメータは上述の歪み係数αである。
4.5 連結された歪みおよびステッチングテーブル
前述のように、歪みテーブルを、イメージのパノラマイメージへの縫合に用いるステッチテーブルと連結することができる。例えば一実施形態において、円形会議卓に対し、複数カメラから撮影したイメージを縫合することで会議室の円筒図法を生成する。ステッチャは、カメライメージをパノラマイメージ上にマップするステッチテーブルを使用する。ステッチテーブルは一般に、工場較正中にカメラ製造者により工場で生成される。テーブルはパノラマ内の各ピクセル(x,y)に対して以下の情報を含む。
(x,y)−パノラマピクセル座標
(u1,v1)−カメラ1に対するイメージピクセル座標
(u2,v2)−カメラ2に対するイメージピクセル座標
カメラ1−メインソースカメラ
カメラ2−(x,y)が重複領域内にある場合の第2ソースカメラ
S(x,y)がピクセル(x,y)でのステッチャテーブルエントリを示すとする。即ち、S(x,y)={カメラ1,u1,v1,カメラ2,u2,v2}である。ステッチャを円筒状から長方形に変換するため、ステッチャテーブルを歪みテーブルと連結する必要がある。(頭の大きさの正規化後の)最終パノラマイメージ上の各ピクセル(x,y)に対して、円筒状パノラマイメージ上のピクセル座標であるテーブルエントリをW(x,y)が示すとし、TがSおよびWの連結テーブルを示すとする。すると、T(x,y)=S(W(x,y))である。この連結テーブルを取り付け時に予め計算することができる。実行時には、動作はパノラマステッチに対するものと同一である。
5.0 ユーザインターフェース
リアルタイムパノラマイメージ修正システムの一実施形態は、ユーザに対してシステムの動作を簡略化するユーザインターフェース(UI)を与える。UIは所望の設定を登録するためのコントロールパネル(例えば、タッチパネル式液晶ディスプレイ)、およびスピーカウィンドウを有するディスプレイを含むことができる。スピーカウィンドウ内で、正規化した頭がパノラマイメージから抽出されて表示される。加えて、UIは修正またはスケーリングしたパノラマイメージを表示するディスプレイを含むことができる。そのディスプレイの大きさは適用した歪み係数によって変化し、イメージの周囲に余分なピクセルが追加されている。これによりネットワーク上で修正イメージを標準大きさで送信することができ、様々な大きさおよび解像度のイメージを送信するためにネットワークスタックを再ネゴシエーションする必要がない。
5.1 コントロールパネル
パノラマイメージの撮影に用いる全方向カメラはタッチ式LCDスクリーンのようなコントロールパネルを有することができ、これは本発明のリアルタイムパノラマイメージ修正システムのセットアップと通常の使用例で用いられる。一実施形態では、テーブル形状と大きさ、カメラ位置および方位および頭の大きさの正規化設定(0−100%)を登録することができる。テーブル形状と大きさの設定は、円形(これがデフォルトであることが望ましい)、小型長方形(例えば、10×5’)、大型長方形(例えば、16×5’)、およびその他(この場合、ユーザにテーブルの長さと幅の指定を要求する)を含むことができる。デフォルトのテーブル設定(円形)は非円形テーブルに対するステッチイメージを生成するが、これらのテーブル種類に対しては頭の大きさを正規化しない。
上述のように、本発明の一実施形態では、コントロールパネルを通して全方向カメラの位置と方位を設定することができる。デフォルトの位置はテーブルの中央である。デフォルトの方位は、テーブルの長端近傍のLCD読取可能な方向である(即ち、テキストがテーブルの主対称軸に並行である)。カメラの方位は非常に重要である。なぜならば、その方位が不正ならば歪みにより実際に頭の大きさは等価とならず、相違するからである。カメラの方位は目立った影響なしに+/−15度だけ変化してもよい。様々な従来方法を使用してセットアップ後のカメラの方位を維持することができる。カメラテーブルの形状および大きさならびに全方向カメラの位置および方位も自動的に決定することができる。
さらに、本発明の一実施形態では、LCDを通して頭の大きさの正規化パーセンテージを設定することができる。このパラメータは、0%正規化(円柱形)から100%正規化(長方形)まで連続的な設定を可能とするスライダにより設定することができる。設定を100%にしない主な理由は、カメラの位置と回転の変化に対して正規化をより堅牢にするためと、一部のユーザが希望する幾分かの遠近歪みを与えるためである。
5.2 スピーカウィンドウ
UIはスピーカウィンドウを有する表示ペインを含むことができる。スピーカウィンドウ内では、パノラマイメージからサブウィンドウを直接コピーすることでパノラマイメージから頭を抽出する。次いでサブウィンドウを独立した表示ペインとして表示する。抽出した頭を非正規化または正規化することができる。この機能は、人がビデオ会議で会話しているとき、特に彼らがカメラから相対的に遠くに離れて位置するときに特に有用である。拡大した頭を抽出することで、人の表情が可視となる。これは彼らが会話しているときに特に有益である。
5.3 パディングパノラマイメージ
加えて、UIはパディングパノラマイメージの表示機能および送信機能を含むことができる。異なる歪み係数を有する表示イメージは異なる大きさに修正されるので、このパディングパノラマイメージは修正イメージ表示の周りに余分なピクセルを追加して標準大きさとする。例えば、黒い帯のような帯をイメージの上端と下端に追加することができる。パディング修正イメージの例を図15に示す。このパディングパノラマイメージにより、システムはそれぞれの修正されたパノラマイメージに対して一定の大きさと解像度を維持することができる。これにより、様々な大きさおよび解像度のイメージを送信するためにネットワークスタックを再ネゴシエーションする必要なく、それぞれの修正されたパノラマイメージを送信することができる。そのイメージを受信する相手方は次いで、帯を有するかまたは有さないパディングパノラマイメージを表示することができる。
本発明の以上の説明は、例示と説明を目的とするものである。本発明のすべてを説明する意図はなく、本発明を開示した特定の形に限定する意図もない。以上の開示に照らして、多くの変更や変形が可能である。本発明の範囲は、以上に示す本発明の詳細な説明には限定されず、前述の特許請求の範囲によって定義されるものとする。
会議室内の360度パノラマカメラで取得したイメージである。 本発明のリアルタイムパノラマイメージ修正システムおよび方法で修正した図1内のイメージである。 180度イメージのためのSVUスケーリング関数に対する上方および下方曲線(緑線)である。 360度パノラマイメージのためのSVUスケーリング関数に対する上方および下方曲線(緑線)である。 本発明のリアルタイムパノラマイメージ修正システムの一実施形態の一般的概要を示すブロック図である。 連結ステッチ・歪みテーブルを利用する本発明のリアルタイムパノラマイメージ修正システムの別実施形態の一般的概要を示すブロック図である。 本発明の実行に適したコンピューティング装置を示すブロック図である。 図5Aおよび5Bに示すリアルタイムパノラマイメージ修正システムの歪みテーブル生成モジュールの詳細を示すブロック図である。 図5Aに示すリアルタイムパノラマイメージ修正システムの動作を示す一般的なフロー図である。 図5Bに示すリアルタイムパノラマイメージ修正システムの動作を示す一般的なフロー図である。 図7に示す垂直方向のスケーリングモジュールの詳細を示すフロー図である。 2つの曲線集合による歪み関数の決定を示す。 テーブル端の筒状フィルムへの投影を示す図である(標準的なカメラ方位を仮定)。 図7に示す水平方向のスケーリングモジュールの詳細を示すフロー図である。 図7に示す水平方向の歪み修正モジュールの詳細を示すフロー図である。 垂直方向のスケーリング関数と、予備ピクセル座標の3つのセクションへの分割を示す概念図とを示す図である。 ネットワーク送信用または表示用の標準大きさに従うように、イメージの周囲に余分なピクセルを追加したパディング修正されたパノラマイメージを示す。

Claims (2)

  1. パノラマイメージのリアルタイムな修正を実施する方法であって、
    該方法は、
    パノラマピクセル座標を約360度パノラマイメージから取得するステップと、
    過大な奥行き及び水平方向の歪みの修正を行う空間的に変化する一様な(SVU)スケーリング関数を前記パノラマピクセル座標に適用することで歪みテーブルを生成するステップと、
    前記歪みテーブルと前記パノラマイメージ内の水平方向の特徴のジオメトリとを用いて前記パノラマイメージを歪ませて、修正されたパノラマイメージを生成するステップと
    を備え、
    歪みテーブルを生成するステップ
    前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップと、
    前記SVUスケーリング関数を用いて前記の垂直にスケーリングしたパノラマイメージピクセル座標を水平にスケーリングして、予備ピクセル座標を含む予備歪みテーブルを生成するステップと、
    前記SVUスケーリング関数を用いて前記予備歪みテーブル上で水平方向の歪み修正を実施して、前記歪みテーブルを生成するステップと
    を備え、
    前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップは、メインスケーリング係数を用いて前記パノラマイメージピクセル座標を垂直方向にスケーリングするステップを備え、
    該方法は、
    ソース曲線とターゲット曲線とを用いて前記メインスケーリング係数を計算するステップと、
    ソース曲線を指定するステップと、
    歪み係数を指定するステップと、
    前記ソース曲線と前記歪み係数とを用いてターゲット曲線を計算するステップと
    をさらに備え、
    前記ソース曲線はさらに下部ソース曲線と上部ソース曲線とを備え、
    前記下部ソース曲線は前記水平方向の特徴ジオメトリにより定義され、
    前記水平方向の特徴はテーブルであり、前記パノラマイメージを撮影するカメラはテーブルのほぼ中央に位置し、
    前記下部ソース曲線は次式で定義されることを特徴とする方法。
    (ここで、Wはテーブル幅、Lはテーブル長、hはカメラの高さ、rはカメラの焦点距離、αは0と1の間の歪み係数、およびθはカメラ方位である。)
  2. パノラマイメージのリアルタイムな修正を実施する方法であって、
    該方法は、
    パノラマピクセル座標を約360度パノラマイメージから取得するステップと、
    過大な奥行き及び水平方向の歪みの修正を行う空間的に変化する一様な(SVU)スケーリング関数を前記パノラマピクセル座標に適用することで歪みテーブルを生成するステップと、
    前記歪みテーブルと前記パノラマイメージ内の水平方向の特徴のジオメトリとを用いて前記パノラマイメージを歪ませて、修正されたパノラマイメージを生成するステップと
    を備え、
    歪みテーブルを生成するステップ
    前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップと、
    前記SVUスケーリング関数を用いて前記の垂直にスケーリングしたパノラマイメージピクセル座標を水平にスケーリングして、予備ピクセル座標を含む予備歪みテーブルを生成するステップと、
    前記SVUスケーリング関数を用いて前記予備歪みテーブル上で水平方向の歪み修正を実施して、前記歪みテーブルを生成するステップと
    を備え、
    前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップは、メインスケーリング係数を用いて前記パノラマイメージピクセル座標を垂直方向にスケーリングするステップを備え、
    該方法は、
    ソース曲線とターゲット曲線とを用いて前記メインスケーリング係数を計算するステップと、
    ソース曲線を指定するステップと、
    歪み係数を指定するステップと、
    前記ソース曲線と前記歪み係数とを用いてターゲット曲線を計算するステップと
    をさらに備え、
    前記ソース曲線はさらに下部ソース曲線と上部ソース曲線とを備え、
    前記上部ソース曲線は、前記パノラマイメージを撮影するカメラを中央に置いたテーブルの周囲に座る人々の頭部の上端にほぼ接触する平面に基づいており、
    前記上部ソース曲線は次式で定義されることを特徴とする方法。
    (ここで、Wはテーブル幅、Lはテーブル長、h’は人々の頭に接触する平面の高さ、rはカメラの焦点距離、αは0と1の間の歪み係数、およびθはカメラ方位である。)
JP2008506451A 2005-04-14 2006-02-16 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 Active JP4860687B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/106,311 2005-04-14
US11/106,311 US7184609B2 (en) 2002-06-28 2005-04-14 System and method for head size equalization in 360 degree panoramic images
PCT/US2006/005482 WO2006112927A2 (en) 2005-04-14 2006-02-16 System and method for head size equalization in 360 degree panoramic images

Publications (3)

Publication Number Publication Date
JP2008536238A JP2008536238A (ja) 2008-09-04
JP2008536238A5 JP2008536238A5 (ja) 2009-04-09
JP4860687B2 true JP4860687B2 (ja) 2012-01-25

Family

ID=37115614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008506451A Active JP4860687B2 (ja) 2005-04-14 2006-02-16 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法

Country Status (12)

Country Link
US (2) US7184609B2 (ja)
EP (1) EP1869619A4 (ja)
JP (1) JP4860687B2 (ja)
KR (1) KR101213855B1 (ja)
CN (1) CN101160591B (ja)
AU (1) AU2006237610A1 (ja)
BR (1) BRPI0608324A2 (ja)
CA (1) CA2604226C (ja)
MX (1) MX2007012650A (ja)
NO (1) NO20075162L (ja)
RU (1) RU2417446C2 (ja)
WO (1) WO2006112927A2 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US7411628B2 (en) * 2004-05-07 2008-08-12 Micronas Usa, Inc. Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller
US20080309817A1 (en) * 2004-05-07 2008-12-18 Micronas Usa, Inc. Combined scaling, filtering, and scan conversion
US7408590B2 (en) * 2004-05-07 2008-08-05 Micronas Usa, Inc. Combined scaling, filtering, and scan conversion
JP4234089B2 (ja) * 2004-11-16 2009-03-04 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、オブジェクト表示装置、オブジェクト表示方法、プログラム、およびキャラクタ表示方法
US8139896B1 (en) * 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
JP4617239B2 (ja) * 2005-10-27 2011-01-19 Okiセミコンダクタ株式会社 画像変換回路
CN100501566C (zh) * 2006-01-05 2009-06-17 李明 曲面电影投影系统及方法
US7742624B2 (en) * 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
US20080101713A1 (en) * 2006-10-27 2008-05-01 Edgar Albert D System and method of fisheye image planar projection
US8041147B2 (en) * 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
WO2009017332A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
WO2009017331A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens
CN101742125B (zh) * 2008-11-27 2012-07-04 义晶科技股份有限公司 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN101739566B (zh) * 2009-12-04 2012-01-04 重庆大学 基于自适应投影模板法的车牌定位方法
US8692867B2 (en) * 2010-03-05 2014-04-08 DigitalOptics Corporation Europe Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
JP5533048B2 (ja) * 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
US8471889B1 (en) * 2010-03-11 2013-06-25 Sprint Communications Company L.P. Adjusting an image for video conference display
JP5483012B2 (ja) * 2010-03-25 2014-05-07 ソニー株式会社 テレビ電話機能付きテレビジョン
CN101964049A (zh) * 2010-09-07 2011-02-02 东南大学 基于分段投影与乐符结构的谱线检测及删除方法
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
JP5834232B2 (ja) * 2011-01-17 2015-12-16 パナソニックIpマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
WO2012170559A2 (en) * 2011-06-06 2012-12-13 Array Telepresence, Inc. Dual-axis image equalization in video conferencing
US8698874B2 (en) * 2011-06-10 2014-04-15 Microsoft Corporation Techniques for multiple video source stitching in a conference room
JP5754312B2 (ja) * 2011-09-08 2015-07-29 カシオ計算機株式会社 画像処理装置及び画像処理方法、並びにプログラム
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
US8818101B1 (en) 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
TWI488503B (zh) * 2012-01-03 2015-06-11 國際洋行股份有限公司 會議攝錄裝置及其方法
US9232155B1 (en) * 2012-05-25 2016-01-05 Altia Systems Inc. Automated alignment adjustment for multiple imager based video systems
US9213888B2 (en) 2012-06-27 2015-12-15 Disney Enterprises, Inc. Electronic devices in local interactions between users
US20140003706A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. Method and system for ensuring stereo alignment during pipeline processing
US20140002615A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. System and method for correcting binocular photography with homographic transformations
US8928730B2 (en) 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
WO2014024043A2 (en) * 2012-08-06 2014-02-13 See-Out Pty. Ltd. System and method for determining graph relationships using images
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6212878B2 (ja) 2013-02-21 2017-10-18 株式会社リコー 画像処理装置、画像処理システム及びプログラム
WO2014130977A1 (en) * 2013-02-25 2014-08-28 Herold Williams Nonlinear scaling in video conferencing
CN103325110B (zh) * 2013-05-29 2016-06-01 湖南源信光电科技有限公司 一种基于全景高速球一体机的全景图像校正方法
US9230359B2 (en) * 2013-12-04 2016-01-05 Boogoo Intellectual Property LLC Method for resizing an image
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
KR102179262B1 (ko) 2014-06-11 2020-11-16 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
US20160054900A1 (en) * 2014-08-25 2016-02-25 Chuck Surack Computer Implemented System and Method for Producing 360 Degree Perspective Images
US20160307350A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis - panorama
CN107004261B (zh) * 2015-09-15 2020-01-21 华为技术有限公司 图像畸变校正方法及装置
WO2017090986A1 (en) 2015-11-23 2017-06-01 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
JP6835397B2 (ja) 2016-09-30 2021-02-24 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ信号をエンコードおよびデコードするための装置、方法およびプログラム
CN106846472B (zh) * 2016-12-02 2020-09-01 浙江宇视科技有限公司 一种基于全景地图生成影像地图的方法及装置
CN106954020B (zh) * 2017-02-28 2019-10-15 努比亚技术有限公司 一种图像处理方法及终端
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
JP6891954B2 (ja) * 2017-06-23 2021-06-18 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
CN107358577B (zh) * 2017-06-29 2020-08-18 西安交通大学 一种立方体全景图的快速拼接方法
KR20190006329A (ko) * 2017-07-10 2019-01-18 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108055500B (zh) * 2017-11-21 2020-06-05 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
US10122969B1 (en) 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
US10706556B2 (en) 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
US10846831B2 (en) 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images
CN109903227B (zh) * 2019-02-21 2021-09-14 武汉大学 基于相机几何位置关系的全景影像拼接方法
CN110166813B (zh) * 2019-05-22 2021-06-08 南京巨鲨显示科技有限公司 一种显示器多窗口图像独立校正方法及系统
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof
CN111178300B (zh) * 2019-12-31 2021-01-29 北京城市网邻信息技术有限公司 目标检测方法、装置、设备、介质
CN111161138B (zh) * 2019-12-31 2021-05-07 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质
CN111091117B (zh) * 2019-12-31 2021-01-29 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396583A (en) * 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
JP2004038973A (ja) * 2002-06-28 2004-02-05 Microsoft Corp コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US597520A (en) * 1898-01-18 William allan fried
JP3078085B2 (ja) * 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6064399A (en) * 1998-04-03 2000-05-16 Mgi Software Corporation Method and system for panel alignment in panoramas
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US6503201B1 (en) * 2001-10-03 2003-01-07 Koninklijke Philips Electronics N.V. Correction of extended field of view images for distortion due to scanhead motion
US20040021764A1 (en) 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030142402A1 (en) 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US7012757B2 (en) 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7149367B2 (en) 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7019918B2 (en) 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396583A (en) * 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
JP2004038973A (ja) * 2002-06-28 2004-02-05 Microsoft Corp コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法

Also Published As

Publication number Publication date
CA2604226C (en) 2014-06-03
RU2007137850A (ru) 2009-04-20
BRPI0608324A2 (pt) 2009-12-29
EP1869619A2 (en) 2007-12-26
CA2604226A1 (en) 2006-10-06
KR20070118644A (ko) 2007-12-17
KR101213855B1 (ko) 2012-12-18
EP1869619A4 (en) 2009-10-28
RU2417446C2 (ru) 2011-04-27
US20050180656A1 (en) 2005-08-18
MX2007012650A (es) 2008-01-11
WO2006112927A2 (en) 2006-10-26
US20070206878A1 (en) 2007-09-06
CN101160591A (zh) 2008-04-09
US7184609B2 (en) 2007-02-27
WO2006112927A3 (en) 2006-12-07
NO20075162L (no) 2007-11-09
JP2008536238A (ja) 2008-09-04
US7327899B2 (en) 2008-02-05
CN101160591B (zh) 2010-12-01
AU2006237610A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
JP4860687B2 (ja) 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法
AU2006237568B2 (en) A user interface for a system and method for head size equalization in 360 degree panoramic images
EP1376467B1 (en) System and method for real time wide angle digital image correction
US11475546B2 (en) Method for optimal body or face protection with adaptive dewarping based on context segmentation layers
CN113302915A (zh) 在视频会议中共享物理书写表面
Liu et al. Head-size equalization for better visual perception of video conferencing
US10863112B1 (en) Smoothing image transitions when changing views

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090216

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090814

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110314

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110830

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111102

R150 Certificate of patent or registration of utility model

Ref document number: 4860687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250