JP4860687B2 - 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 - Google Patents
360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 Download PDFInfo
- Publication number
- JP4860687B2 JP4860687B2 JP2008506451A JP2008506451A JP4860687B2 JP 4860687 B2 JP4860687 B2 JP 4860687B2 JP 2008506451 A JP2008506451 A JP 2008506451A JP 2008506451 A JP2008506451 A JP 2008506451A JP 4860687 B2 JP4860687 B2 JP 4860687B2
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- panoramic image
- image
- scaling
- pixel coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000012937 correction Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 63
- 238000003702 image correction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 231100000870 cognitive problem Toxicity 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
図1は、会議室内のテーブル中央に置いた360度全方向カメラで取得したイメージを示す。このカメラ構成は、ビデオ会議の適用例で使用可能なもののうち一般的なものである。図1を参照すると、白い人が他の2人より非常に小さく見えることが分かる。この理由は、彼がカメラから遠く離れて座っているからである。最初に、白い人はほとんど見えず、観察者から遠く離れて見えるので、リアルタイム通信の実施に影響する。第2にネットワークの帯域制限および有限の画面スペースにより、通常はイメージ大きさが制限される。人々のイメージが非常に小さい場合、多数の送信ピクセルが無駄になる。従って、人々の頭の大きさを均等化して送信および表示されるピクセル数を最大限に利用することが望ましい。図2は、リアルタイムパノラマイメージ修正システムおよび方法を用いて修正した図1のイメージを示す。
本発明のリアルタイムパノラマイメージ修正システム500Aまたは500Bは、コンピューティング環境で動作するよう設計してある。以下の説明は、本発明の実装に適したコンピューティング環境の簡潔で一般的な説明を与えることを意図している。
一般に、リアルタイムパノラマイメージ修正システム500はパノラマイメージ510をリアルタイムに修正し、カメラから遠く離れて座る人々の頭の大きさを特に正規化または均等化する。システム500は垂直および水平方向の湾曲および歪みを修正する。加えて、システム500は奥行きおよび泳ぎ動作のような知覚問題を修正する。
本発明のリアルタイムパノラマイメージ修正方法は、空間的に変化する一様なスケーリング関数、またはSVUスケーリング関数と呼ばれるパラメトリックイメージ歪み関数を使用する。SVUスケーリング関数はアスペクト比を保存する一様スケーリング関数と局所的に類似するかもしれないが、歪みを生成するためにスケーリング係数がイメージ上で変化する。パノラマイメージの表示時、SVUスケーリング関数は循環を回避して泳ぎ動作を除去する。
図9は、図7の710で示した垂直方向のスケーリングモジュールの詳細を示すフロー図である。水平方向の特徴ジオメトリ505およびパノラマピクセル座標520または522を入力として受信する(囲み900)。次に、(SVUスケーリング関数のような)パラメトリックイメージ歪み関数を曲線集合およびスケーリング係数を用いて決定する。特に、歪み係数とともに(囲み920)ソース曲線を特定する(囲み910)。これらのソース曲線と歪み係数を用いて、ターゲット曲線を計算する(囲み930)。
アスペクト比を保存するため、パノラマピクセル座標520は水平方向にもスケーリングされる。この水平方向スケーリングは同じメインスケーリング係数r(x)を使用する。換言すれば、ちょうど垂直方向のスケーリングの場合のように垂直走査線もメインスケーリング係数r(x)により水平方向にスケーリングし、アスペクト比を保存する。
パノラマピクセル座標520を垂直および水平方向にスケーリングすると、結果の予備歪みテーブルが水平方向の歪みに対して修正される。(SVUスケーリング関数のような)イメージ歪み関数のパラメトリッククラスが垂直線を垂直に維持し、水平線を歪ませるので、水平方向の歪み修正が必要である。この問題を最小限にするため、スケーリングの均一性を緩和し、それぞれの垂直走査線でのスケーリングを非線形に行う。
SVUスケーリング関数は、奥行き誤認知の問題の修正を支援する。対称SVUスケーリング関数をパノラマイメージの表示に用いて、これを実現する。下部ソース曲線は上部ソース曲線の鏡像である。ソース曲線はイメージの隅を通り、中央の垂直走査線で最小(または最大)値を有する。1つ目のパラメータが中心点の高さを指定し、第2のパラメータは上述の歪み係数αである。
前述のように、歪みテーブルを、イメージのパノラマイメージへの縫合に用いるステッチテーブルと連結することができる。例えば一実施形態において、円形会議卓に対し、複数カメラから撮影したイメージを縫合することで会議室の円筒図法を生成する。ステッチャは、カメライメージをパノラマイメージ上にマップするステッチテーブルを使用する。ステッチテーブルは一般に、工場較正中にカメラ製造者により工場で生成される。テーブルはパノラマ内の各ピクセル(x,y)に対して以下の情報を含む。
(u1,v1)−カメラ1に対するイメージピクセル座標
(u2,v2)−カメラ2に対するイメージピクセル座標
カメラ1−メインソースカメラ
カメラ2−(x,y)が重複領域内にある場合の第2ソースカメラ
S(x,y)がピクセル(x,y)でのステッチャテーブルエントリを示すとする。即ち、S(x,y)={カメラ1,u1,v1,カメラ2,u2,v2}である。ステッチャを円筒状から長方形に変換するため、ステッチャテーブルを歪みテーブルと連結する必要がある。(頭の大きさの正規化後の)最終パノラマイメージ上の各ピクセル(x,y)に対して、円筒状パノラマイメージ上のピクセル座標であるテーブルエントリをW(x,y)が示すとし、TがSおよびWの連結テーブルを示すとする。すると、T(x,y)=S(W(x,y))である。この連結テーブルを取り付け時に予め計算することができる。実行時には、動作はパノラマステッチに対するものと同一である。
リアルタイムパノラマイメージ修正システムの一実施形態は、ユーザに対してシステムの動作を簡略化するユーザインターフェース(UI)を与える。UIは所望の設定を登録するためのコントロールパネル(例えば、タッチパネル式液晶ディスプレイ)、およびスピーカウィンドウを有するディスプレイを含むことができる。スピーカウィンドウ内で、正規化した頭がパノラマイメージから抽出されて表示される。加えて、UIは修正またはスケーリングしたパノラマイメージを表示するディスプレイを含むことができる。そのディスプレイの大きさは適用した歪み係数によって変化し、イメージの周囲に余分なピクセルが追加されている。これによりネットワーク上で修正イメージを標準大きさで送信することができ、様々な大きさおよび解像度のイメージを送信するためにネットワークスタックを再ネゴシエーションする必要がない。
パノラマイメージの撮影に用いる全方向カメラはタッチ式LCDスクリーンのようなコントロールパネルを有することができ、これは本発明のリアルタイムパノラマイメージ修正システムのセットアップと通常の使用例で用いられる。一実施形態では、テーブル形状と大きさ、カメラ位置および方位および頭の大きさの正規化設定(0−100%)を登録することができる。テーブル形状と大きさの設定は、円形(これがデフォルトであることが望ましい)、小型長方形(例えば、10×5’)、大型長方形(例えば、16×5’)、およびその他(この場合、ユーザにテーブルの長さと幅の指定を要求する)を含むことができる。デフォルトのテーブル設定(円形)は非円形テーブルに対するステッチイメージを生成するが、これらのテーブル種類に対しては頭の大きさを正規化しない。
UIはスピーカウィンドウを有する表示ペインを含むことができる。スピーカウィンドウ内では、パノラマイメージからサブウィンドウを直接コピーすることでパノラマイメージから頭を抽出する。次いでサブウィンドウを独立した表示ペインとして表示する。抽出した頭を非正規化または正規化することができる。この機能は、人がビデオ会議で会話しているとき、特に彼らがカメラから相対的に遠くに離れて位置するときに特に有用である。拡大した頭を抽出することで、人の表情が可視となる。これは彼らが会話しているときに特に有益である。
加えて、UIはパディングパノラマイメージの表示機能および送信機能を含むことができる。異なる歪み係数を有する表示イメージは異なる大きさに修正されるので、このパディングパノラマイメージは修正イメージ表示の周りに余分なピクセルを追加して標準大きさとする。例えば、黒い帯のような帯をイメージの上端と下端に追加することができる。パディング修正イメージの例を図15に示す。このパディングパノラマイメージにより、システムはそれぞれの修正されたパノラマイメージに対して一定の大きさと解像度を維持することができる。これにより、様々な大きさおよび解像度のイメージを送信するためにネットワークスタックを再ネゴシエーションする必要なく、それぞれの修正されたパノラマイメージを送信することができる。そのイメージを受信する相手方は次いで、帯を有するかまたは有さないパディングパノラマイメージを表示することができる。
Claims (2)
- パノラマイメージのリアルタイムな修正を実施する方法であって、
該方法は、
パノラマピクセル座標を約360度パノラマイメージから取得するステップと、
過大な奥行き及び水平方向の歪みの修正を行う空間的に変化する一様な(SVU)スケーリング関数を前記パノラマピクセル座標に適用することで歪みテーブルを生成するステップと、
前記歪みテーブルと前記パノラマイメージ内の水平方向の特徴のジオメトリとを用いて前記パノラマイメージを歪ませて、修正されたパノラマイメージを生成するステップと
を備え、
歪みテーブルを生成するステップは、
前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップと、
前記SVUスケーリング関数を用いて前記の垂直にスケーリングしたパノラマイメージピクセル座標を水平にスケーリングして、予備ピクセル座標を含む予備歪みテーブルを生成するステップと、
前記SVUスケーリング関数を用いて前記予備歪みテーブル上で水平方向の歪み修正を実施して、前記歪みテーブルを生成するステップと
を備え、
前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップは、メインスケーリング係数を用いて前記パノラマイメージピクセル座標を垂直方向にスケーリングするステップを備え、
該方法は、
ソース曲線とターゲット曲線とを用いて前記メインスケーリング係数を計算するステップと、
ソース曲線を指定するステップと、
歪み係数を指定するステップと、
前記ソース曲線と前記歪み係数とを用いてターゲット曲線を計算するステップと
をさらに備え、
前記ソース曲線はさらに下部ソース曲線と上部ソース曲線とを備え、
前記下部ソース曲線は前記水平方向の特徴ジオメトリにより定義され、
前記水平方向の特徴はテーブルであり、前記パノラマイメージを撮影するカメラはテーブルのほぼ中央に位置し、
前記下部ソース曲線は次式で定義されることを特徴とする方法。
- パノラマイメージのリアルタイムな修正を実施する方法であって、
該方法は、
パノラマピクセル座標を約360度パノラマイメージから取得するステップと、
過大な奥行き及び水平方向の歪みの修正を行う空間的に変化する一様な(SVU)スケーリング関数を前記パノラマピクセル座標に適用することで歪みテーブルを生成するステップと、
前記歪みテーブルと前記パノラマイメージ内の水平方向の特徴のジオメトリとを用いて前記パノラマイメージを歪ませて、修正されたパノラマイメージを生成するステップと
を備え、
歪みテーブルを生成するステップは、
前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップと、
前記SVUスケーリング関数を用いて前記の垂直にスケーリングしたパノラマイメージピクセル座標を水平にスケーリングして、予備ピクセル座標を含む予備歪みテーブルを生成するステップと、
前記SVUスケーリング関数を用いて前記予備歪みテーブル上で水平方向の歪み修正を実施して、前記歪みテーブルを生成するステップと
を備え、
前記SVUスケーリング関数を用いて前記パノラマイメージピクセル座標を垂直にスケーリングして、垂直にスケーリングしたパノラマイメージピクセル座標を生成するステップは、メインスケーリング係数を用いて前記パノラマイメージピクセル座標を垂直方向にスケーリングするステップを備え、
該方法は、
ソース曲線とターゲット曲線とを用いて前記メインスケーリング係数を計算するステップと、
ソース曲線を指定するステップと、
歪み係数を指定するステップと、
前記ソース曲線と前記歪み係数とを用いてターゲット曲線を計算するステップと
をさらに備え、
前記ソース曲線はさらに下部ソース曲線と上部ソース曲線とを備え、
前記上部ソース曲線は、前記パノラマイメージを撮影するカメラを中央に置いたテーブルの周囲に座る人々の頭部の上端にほぼ接触する平面に基づいており、
前記上部ソース曲線は次式で定義されることを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/106,311 | 2005-04-14 | ||
US11/106,311 US7184609B2 (en) | 2002-06-28 | 2005-04-14 | System and method for head size equalization in 360 degree panoramic images |
PCT/US2006/005482 WO2006112927A2 (en) | 2005-04-14 | 2006-02-16 | System and method for head size equalization in 360 degree panoramic images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008536238A JP2008536238A (ja) | 2008-09-04 |
JP2008536238A5 JP2008536238A5 (ja) | 2009-04-09 |
JP4860687B2 true JP4860687B2 (ja) | 2012-01-25 |
Family
ID=37115614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008506451A Active JP4860687B2 (ja) | 2005-04-14 | 2006-02-16 | 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 |
Country Status (12)
Country | Link |
---|---|
US (2) | US7184609B2 (ja) |
EP (1) | EP1869619A4 (ja) |
JP (1) | JP4860687B2 (ja) |
KR (1) | KR101213855B1 (ja) |
CN (1) | CN101160591B (ja) |
AU (1) | AU2006237610A1 (ja) |
BR (1) | BRPI0608324A2 (ja) |
CA (1) | CA2604226C (ja) |
MX (1) | MX2007012650A (ja) |
NO (1) | NO20075162L (ja) |
RU (1) | RU2417446C2 (ja) |
WO (1) | WO2006112927A2 (ja) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7149367B2 (en) * | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
US7411628B2 (en) * | 2004-05-07 | 2008-08-12 | Micronas Usa, Inc. | Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller |
US20080309817A1 (en) * | 2004-05-07 | 2008-12-18 | Micronas Usa, Inc. | Combined scaling, filtering, and scan conversion |
US7408590B2 (en) * | 2004-05-07 | 2008-08-05 | Micronas Usa, Inc. | Combined scaling, filtering, and scan conversion |
JP4234089B2 (ja) * | 2004-11-16 | 2009-03-04 | 株式会社ソニー・コンピュータエンタテインメント | エンタテインメント装置、オブジェクト表示装置、オブジェクト表示方法、プログラム、およびキャラクタ表示方法 |
US8139896B1 (en) * | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
JP4617239B2 (ja) * | 2005-10-27 | 2011-01-19 | Okiセミコンダクタ株式会社 | 画像変換回路 |
CN100501566C (zh) * | 2006-01-05 | 2009-06-17 | 李明 | 曲面电影投影系统及方法 |
US7742624B2 (en) * | 2006-04-25 | 2010-06-22 | Motorola, Inc. | Perspective improvement for image and video applications |
US20080101713A1 (en) * | 2006-10-27 | 2008-05-01 | Edgar Albert D | System and method of fisheye image planar projection |
US8041147B2 (en) * | 2007-07-18 | 2011-10-18 | 3DHISTECH Kft; | Method for realistic stitching image blocks of an electronically recorded multipart image |
WO2009017332A1 (en) * | 2007-07-29 | 2009-02-05 | Nanophotonics Co., Ltd. | Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof |
KR100882011B1 (ko) | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
WO2009017331A1 (en) * | 2007-07-29 | 2009-02-05 | Nanophotonics Co., Ltd. | Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens |
CN101742125B (zh) * | 2008-11-27 | 2012-07-04 | 义晶科技股份有限公司 | 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置 |
US8164617B2 (en) * | 2009-03-25 | 2012-04-24 | Cisco Technology, Inc. | Combining views of a plurality of cameras for a video conferencing endpoint with a display wall |
CN101739566B (zh) * | 2009-12-04 | 2012-01-04 | 重庆大学 | 基于自适应投影模板法的车牌定位方法 |
US8692867B2 (en) * | 2010-03-05 | 2014-04-08 | DigitalOptics Corporation Europe Limited | Object detection and rendering for wide field of view (WFOV) image acquisition systems |
JP5533048B2 (ja) * | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
US8471889B1 (en) * | 2010-03-11 | 2013-06-25 | Sprint Communications Company L.P. | Adjusting an image for video conference display |
JP5483012B2 (ja) * | 2010-03-25 | 2014-05-07 | ソニー株式会社 | テレビ電話機能付きテレビジョン |
CN101964049A (zh) * | 2010-09-07 | 2011-02-02 | 东南大学 | 基于分段投影与乐符结构的谱线检测及删除方法 |
US8548269B2 (en) | 2010-12-17 | 2013-10-01 | Microsoft Corporation | Seamless left/right views for 360-degree stereoscopic video |
JP5834232B2 (ja) * | 2011-01-17 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法 |
JP2012199752A (ja) * | 2011-03-22 | 2012-10-18 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
US8723959B2 (en) | 2011-03-31 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries |
WO2012170559A2 (en) * | 2011-06-06 | 2012-12-13 | Array Telepresence, Inc. | Dual-axis image equalization in video conferencing |
US8698874B2 (en) * | 2011-06-10 | 2014-04-15 | Microsoft Corporation | Techniques for multiple video source stitching in a conference room |
JP5754312B2 (ja) * | 2011-09-08 | 2015-07-29 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法、並びにプログラム |
US8493459B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of distorted images |
US8818101B1 (en) | 2012-01-03 | 2014-08-26 | Google Inc. | Apparatus and method for feature matching in distorted images |
TWI488503B (zh) * | 2012-01-03 | 2015-06-11 | 國際洋行股份有限公司 | 會議攝錄裝置及其方法 |
US9232155B1 (en) * | 2012-05-25 | 2016-01-05 | Altia Systems Inc. | Automated alignment adjustment for multiple imager based video systems |
US9213888B2 (en) | 2012-06-27 | 2015-12-15 | Disney Enterprises, Inc. | Electronic devices in local interactions between users |
US20140003706A1 (en) * | 2012-07-02 | 2014-01-02 | Sony Pictures Technologies Inc. | Method and system for ensuring stereo alignment during pipeline processing |
US20140002615A1 (en) * | 2012-07-02 | 2014-01-02 | Sony Pictures Technologies Inc. | System and method for correcting binocular photography with homographic transformations |
US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
WO2014024043A2 (en) * | 2012-08-06 | 2014-02-13 | See-Out Pty. Ltd. | System and method for determining graph relationships using images |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6212878B2 (ja) | 2013-02-21 | 2017-10-18 | 株式会社リコー | 画像処理装置、画像処理システム及びプログラム |
WO2014130977A1 (en) * | 2013-02-25 | 2014-08-28 | Herold Williams | Nonlinear scaling in video conferencing |
CN103325110B (zh) * | 2013-05-29 | 2016-06-01 | 湖南源信光电科技有限公司 | 一种基于全景高速球一体机的全景图像校正方法 |
US9230359B2 (en) * | 2013-12-04 | 2016-01-05 | Boogoo Intellectual Property LLC | Method for resizing an image |
KR20150068299A (ko) * | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
KR102179262B1 (ko) | 2014-06-11 | 2020-11-16 | 삼성전자주식회사 | 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서 |
US20160054900A1 (en) * | 2014-08-25 | 2016-02-25 | Chuck Surack | Computer Implemented System and Method for Producing 360 Degree Perspective Images |
US20160307350A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis - panorama |
CN107004261B (zh) * | 2015-09-15 | 2020-01-21 | 华为技术有限公司 | 图像畸变校正方法及装置 |
WO2017090986A1 (en) | 2015-11-23 | 2017-06-01 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling electronic apparatus thereof |
US9984436B1 (en) * | 2016-03-04 | 2018-05-29 | Scott Zhihao Chen | Method and system for real-time equirectangular projection |
JP6835397B2 (ja) | 2016-09-30 | 2021-02-24 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオ信号をエンコードおよびデコードするための装置、方法およびプログラム |
CN106846472B (zh) * | 2016-12-02 | 2020-09-01 | 浙江宇视科技有限公司 | 一种基于全景地图生成影像地图的方法及装置 |
CN106954020B (zh) * | 2017-02-28 | 2019-10-15 | 努比亚技术有限公司 | 一种图像处理方法及终端 |
CN107343191A (zh) * | 2017-06-11 | 2017-11-10 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频播放方法及装置 |
JP6891954B2 (ja) * | 2017-06-23 | 2021-06-18 | 日本電気株式会社 | 物体検知装置、物体検知方法、及びプログラム |
CN107358577B (zh) * | 2017-06-29 | 2020-08-18 | 西安交通大学 | 一种立方体全景图的快速拼接方法 |
KR20190006329A (ko) * | 2017-07-10 | 2019-01-18 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
CN108055500B (zh) * | 2017-11-21 | 2020-06-05 | 北京隐身工程技术研究院有限公司 | 一种红外全景监控中两个全景显示区的连续显示方法 |
US10122969B1 (en) | 2017-12-07 | 2018-11-06 | Microsoft Technology Licensing, Llc | Video capture systems and methods |
US10706556B2 (en) | 2018-05-09 | 2020-07-07 | Microsoft Technology Licensing, Llc | Skeleton-based supplementation for foreground image segmentation |
US10846831B2 (en) | 2018-12-19 | 2020-11-24 | GM Global Technology Operations LLC | Computing system for rectifying ultra-wide fisheye lens images |
CN109903227B (zh) * | 2019-02-21 | 2021-09-14 | 武汉大学 | 基于相机几何位置关系的全景影像拼接方法 |
CN110166813B (zh) * | 2019-05-22 | 2021-06-08 | 南京巨鲨显示科技有限公司 | 一种显示器多窗口图像独立校正方法及系统 |
US11650597B2 (en) | 2019-07-09 | 2023-05-16 | Samsung Electronics Co., Ltd. | Electronic apparatus for identifying object through warped image and control method thereof |
CN111178300B (zh) * | 2019-12-31 | 2021-01-29 | 北京城市网邻信息技术有限公司 | 目标检测方法、装置、设备、介质 |
CN111161138B (zh) * | 2019-12-31 | 2021-05-07 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN111091117B (zh) * | 2019-12-31 | 2021-01-29 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5396583A (en) * | 1992-10-13 | 1995-03-07 | Apple Computer, Inc. | Cylindrical to planar image mapping using scanline coherence |
JP2004038973A (ja) * | 2002-06-28 | 2004-02-05 | Microsoft Corp | コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US597520A (en) * | 1898-01-18 | William allan fried | ||
JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
US5990941A (en) * | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
US5796426A (en) | 1994-05-27 | 1998-08-18 | Warp, Ltd. | Wide-angle image dewarping method and apparatus |
US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
US6373642B1 (en) | 1996-06-24 | 2002-04-16 | Be Here Corporation | Panoramic imaging arrangement |
US6493032B1 (en) | 1996-06-24 | 2002-12-10 | Be Here Corporation | Imaging arrangement which allows for capturing an image of a view at different resolutions |
US6459451B2 (en) | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
US6331869B1 (en) | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6341044B1 (en) | 1996-06-24 | 2002-01-22 | Be Here Corporation | Panoramic imaging arrangement |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
US6466254B1 (en) | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6356296B1 (en) | 1997-05-08 | 2002-03-12 | Behere Corporation | Method and apparatus for implementing a panoptic camera system |
US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
US6064399A (en) * | 1998-04-03 | 2000-05-16 | Mgi Software Corporation | Method and system for panel alignment in panoramas |
US6924832B1 (en) | 1998-08-07 | 2005-08-02 | Be Here Corporation | Method, apparatus & computer program product for tracking objects in a warped video image |
US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
US6285365B1 (en) | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
US6369818B1 (en) | 1998-11-25 | 2002-04-09 | Be Here Corporation | Method, apparatus and computer program product for generating perspective corrected data from warped information |
US6175454B1 (en) | 1999-01-13 | 2001-01-16 | Behere Corporation | Panoramic imaging arrangement |
US6597520B2 (en) | 1999-01-13 | 2003-07-22 | Be Here Corporation | Panoramic imaging arrangement |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
US6756990B2 (en) | 2001-04-03 | 2004-06-29 | Be Here Corporation | Image filtering on 3D objects using 2D manifolds |
US6503201B1 (en) * | 2001-10-03 | 2003-01-07 | Koninklijke Philips Electronics N.V. | Correction of extended field of view images for distortion due to scanhead motion |
US20040021764A1 (en) | 2002-01-28 | 2004-02-05 | Be Here Corporation | Visual teleconferencing apparatus |
US20040008423A1 (en) | 2002-01-28 | 2004-01-15 | Driscoll Edward C. | Visual teleconferencing apparatus |
US20030142402A1 (en) | 2002-01-30 | 2003-07-31 | Be Here Corporation | Method and apparatus for triggering a remote flash on a camera with a panoramic lens |
US7012757B2 (en) | 2002-05-08 | 2006-03-14 | Be Here Corporation | Method for designing a lens system and resulting apparatus |
US7298392B2 (en) | 2003-06-26 | 2007-11-20 | Microsoft Corp. | Omni-directional camera design for video conferencing |
US7149367B2 (en) | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
US20040254982A1 (en) | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
US7019918B2 (en) | 2003-06-12 | 2006-03-28 | Be Here Corporation | Panoramic imaging system |
-
2005
- 2005-04-14 US US11/106,311 patent/US7184609B2/en not_active Expired - Lifetime
-
2006
- 2006-02-16 RU RU2007137850/08A patent/RU2417446C2/ru active
- 2006-02-16 CN CN2006800121989A patent/CN101160591B/zh not_active Expired - Fee Related
- 2006-02-16 EP EP06735239A patent/EP1869619A4/en not_active Withdrawn
- 2006-02-16 MX MX2007012650A patent/MX2007012650A/es active IP Right Grant
- 2006-02-16 BR BRPI0608324-2A patent/BRPI0608324A2/pt not_active Application Discontinuation
- 2006-02-16 JP JP2008506451A patent/JP4860687B2/ja active Active
- 2006-02-16 KR KR1020077023555A patent/KR101213855B1/ko active IP Right Grant
- 2006-02-16 CA CA2604226A patent/CA2604226C/en active Active
- 2006-02-16 WO PCT/US2006/005482 patent/WO2006112927A2/en active Application Filing
- 2006-02-16 AU AU2006237610A patent/AU2006237610A1/en not_active Abandoned
- 2006-08-18 US US11/465,703 patent/US7327899B2/en not_active Expired - Fee Related
-
2007
- 2007-10-10 NO NO20075162A patent/NO20075162L/no not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5396583A (en) * | 1992-10-13 | 1995-03-07 | Apple Computer, Inc. | Cylindrical to planar image mapping using scanline coherence |
JP2004038973A (ja) * | 2002-06-28 | 2004-02-05 | Microsoft Corp | コンピュータイメージビューイングのためのリアルタイム広角イメージ補正のシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2604226C (en) | 2014-06-03 |
RU2007137850A (ru) | 2009-04-20 |
BRPI0608324A2 (pt) | 2009-12-29 |
EP1869619A2 (en) | 2007-12-26 |
CA2604226A1 (en) | 2006-10-06 |
KR20070118644A (ko) | 2007-12-17 |
KR101213855B1 (ko) | 2012-12-18 |
EP1869619A4 (en) | 2009-10-28 |
RU2417446C2 (ru) | 2011-04-27 |
US20050180656A1 (en) | 2005-08-18 |
MX2007012650A (es) | 2008-01-11 |
WO2006112927A2 (en) | 2006-10-26 |
US20070206878A1 (en) | 2007-09-06 |
CN101160591A (zh) | 2008-04-09 |
US7184609B2 (en) | 2007-02-27 |
WO2006112927A3 (en) | 2006-12-07 |
NO20075162L (no) | 2007-11-09 |
JP2008536238A (ja) | 2008-09-04 |
US7327899B2 (en) | 2008-02-05 |
CN101160591B (zh) | 2010-12-01 |
AU2006237610A1 (en) | 2006-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4860687B2 (ja) | 360度パノラマイメージ(panoramicimages)の頭部のサイズを均等化(equalization)するシステムおよび方法 | |
AU2006237568B2 (en) | A user interface for a system and method for head size equalization in 360 degree panoramic images | |
EP1376467B1 (en) | System and method for real time wide angle digital image correction | |
US11475546B2 (en) | Method for optimal body or face protection with adaptive dewarping based on context segmentation layers | |
CN113302915A (zh) | 在视频会议中共享物理书写表面 | |
Liu et al. | Head-size equalization for better visual perception of video conferencing | |
US10863112B1 (en) | Smoothing image transitions when changing views |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090216 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090814 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101013 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110113 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110120 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110214 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110314 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110412 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110830 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4860687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |