JP2010113720A - 距離情報を光学像と組み合わせる方法及び装置 - Google Patents
距離情報を光学像と組み合わせる方法及び装置 Download PDFInfo
- Publication number
- JP2010113720A JP2010113720A JP2009254524A JP2009254524A JP2010113720A JP 2010113720 A JP2010113720 A JP 2010113720A JP 2009254524 A JP2009254524 A JP 2009254524A JP 2009254524 A JP2009254524 A JP 2009254524A JP 2010113720 A JP2010113720 A JP 2010113720A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical image
- optical
- viewpoint
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 description 39
- 230000001427 coherent effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000001429 visible spectrum Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
- G01B2210/52—Combining or merging partially overlapping images to an overall image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】距離情報を光学像に組み合わせるシステムを提供する。
【解決手段】画像化システム100において、処理システム106は光学カメラ102及び測距装置104と接続されており、光学カメラ及び測距装置は視野が実質的に同じになるように指向されている。処理システムは、光学カメラで取得したオリジナル光学像と測距装置で取得した距離情報とに基づいて、オリジナル光学像とは異なる視点からの新規光学像を生成市、また、オリジナル光学像及び新規光学像を用いて3次元(3D)画像を生成する。処理システムはさらに、別の視点からの別の新規光学像を生成し、新規光学像及び別の新規光学像から3次元(3D)光学像を生成するように構成されてもよい。
【選択図】図1
【解決手段】画像化システム100において、処理システム106は光学カメラ102及び測距装置104と接続されており、光学カメラ及び測距装置は視野が実質的に同じになるように指向されている。処理システムは、光学カメラで取得したオリジナル光学像と測距装置で取得した距離情報とに基づいて、オリジナル光学像とは異なる視点からの新規光学像を生成市、また、オリジナル光学像及び新規光学像を用いて3次元(3D)画像を生成する。処理システムはさらに、別の視点からの別の新規光学像を生成し、新規光学像及び別の新規光学像から3次元(3D)光学像を生成するように構成されてもよい。
【選択図】図1
Description
現在、シーン(scene:情景)の距離情報を取得する装置が存在する。そのような装置の一例が、光検出及び測距(LIDAR)装置である。LIDAR装置は当該技術ではレーザ検出及び測距(LADAR)装置と称されることもあるが、同じ装置を指している。LIDARは、コヒーレント光の閃光を発して、コヒーレント光がLIDARからLIDAR視野内の対象までを往復するのにかかる時間を測定することで、シーンの距離情報を取得する。これはフラッシュLIDARとして知られている。LIDARには、単一の光ビームでシーンを走査する、スキャニングLIDARと称されるものもある。いずれの場合も、LIDARは、マトリックス(距離マトリックス)に蓄積されることになるタイミング情報のパケットを返送する。距離マトリックスの各データポイントは、そのデータポイントの位置にある対象物にコヒーレント光が反射するのにかかった時間に対応する。LIDARの出力から生成される距離マトリックスは、受信した距離情報の2次元マップである。
シーンの光学情報を取得する装置も多数存在している。光学情報を取得する装置の最も一般的な例の一つが、従来のカメラである。カメラは、視野内で受信した光学情報の2次元マップという形式で、光学情報を取得する。例えば、可視スペクトル光学カメラは、カメラの視野内の対象に反射する可視スペクトル内の光を取得し記録する。
可視スペクトル光学カメラは、2つの視点(perspective:展望)(左目と右目)から世界を見るという人間の視覚体験をより上手く模倣する目的で、ステレオビジョン(立体視)システムを造るために使用されてきた。この方法で作成された画像やビデオ映像は、3次元(3D)画像及び3次元(3D)ビデオ映像と呼ばれる。こういった3D光学像は、1シーンを異なる2つの視点から撮影した2つの2D光学像が基になる。一方の光学像は左目の視点から撮影され、他方の画像は右目の視点から撮影される。典型的な3Dカメラは、人間の目とほぼ同一間隔に配置された2枚のレンズからなる。上記3Dカメラは、同時に2つの2D画像を、一方は左のレンズで、他方は右のレンズで撮影する。
1つのスクリーンに2つの画像を表示し、左目と右目で別々の画像をみていることを観察者に印象付けるには、特別な技術が用いられる。たとえば、上記2つの画像を見る方法の一つに、赤と青のレンズが一枚ずつ入った眼鏡を、観察者に着用させるという方法がある。そうしておいて、左目の画像は青く映し出すと同時に、右目の画像は赤く映し出す。その眼鏡をかけていると、観察者の左目は左の青い画像を拾い上げ、右目は右の赤い画像を拾い上げる。すると、観察者の脳はそれを組み合わせて、現実の3D効果を創造する。この効果はスチール写真、映像のいずれの場合においても用いられる。
3D画像を見る他の方法は、上記の方法と類似しているが、異なる点は左目と右目に対して赤と青の画像を用いるのではなく、偏光画像が用いられることである。この場合、左の画像は一つの方向に偏光され、右の画像は左の画像から90度の角度で偏光される。そしてユーザは、左画像の偏光にマッチする左レンズと右画像の偏光とマッチする右レンズの眼鏡をかける。
3Dビデオ映像を見る第3の方法は、カメラの左と右の画像を交互にスクリーンに映し出すものである。この場合、観察者の脳は交互に映し出された画像を3D画像に形成する。
3Dビデオ映像を見る第3の方法は、カメラの左と右の画像を交互にスクリーンに映し出すものである。この場合、観察者の脳は交互に映し出された画像を3D画像に形成する。
本発明は、距離情報を光学像と組み合わせる方法及び装置を提供することを目的としている。
以下の概要は限定ではなく例示である。一実施形態では、距離情報を光学像と組み合わせる方法は、シーンの第1光学像を光学カメラで取得し、その第1光学像は複数ピクセルを備えることを含む。加えて、そのシーンの距離情報が距測装置で取得される。レンジ値(range values)は、第1光学像の複数ピクセルの少なくとも一部に対して、距離情報を基にして決定される。そのレンジ値と光学像は組み合わされて、3次元(3D)ポイントクラウドを生成する。その3Dポイントクラウドを基にして、そのシーンについて、第1光学像とは異なる視点からの第2光学像が作成される。
図1は、光学像と距離情報を組み合わせるシステム100の一実施形態である。システム100は、2次元(2D)光学カメラ102と測距装置104と処理システム106を含む。
光学カメラ102は、視野内にあるシーン108の2D光学画像を取得する。光学カメラ102はシーン108を白黒、グレースケール、フルカラー、または他のタイプの画像として取得できる。加えて、光学カメラ102は、特定のアプリケーションに対して所望の解像度を有することができる。光学カメラ102は、光学カメラ102の視野内で受信した光学情報を、2次元マップという形式で取得する。本実施形態では、光学カメラ102は、光学カメラ102の視野内の対象に反射する可視スペクトル内の光を、取得し記録する可視スペクトルカメラである。一実施形態において光学カメラ102は、の静止画を取得するスチールカメラである。別の実施形態において光学カメラ102は、ビデオ映像を生成するために多重画像をフレームバイフレーム方式で取得するビデオカメラである。
光学カメラ102は、視野内にあるシーン108の2D光学画像を取得する。光学カメラ102はシーン108を白黒、グレースケール、フルカラー、または他のタイプの画像として取得できる。加えて、光学カメラ102は、特定のアプリケーションに対して所望の解像度を有することができる。光学カメラ102は、光学カメラ102の視野内で受信した光学情報を、2次元マップという形式で取得する。本実施形態では、光学カメラ102は、光学カメラ102の視野内の対象に反射する可視スペクトル内の光を、取得し記録する可視スペクトルカメラである。一実施形態において光学カメラ102は、の静止画を取得するスチールカメラである。別の実施形態において光学カメラ102は、ビデオ映像を生成するために多重画像をフレームバイフレーム方式で取得するビデオカメラである。
測距装置104は、測距装置104の視野内に対する距離情報を取得する。一実施形態では、測距装置104は光検出及び測距(LIDAR)装置である。LIDARには、コヒーレント光の閃光を発して、コヒーレント光がLIDARからLIDAR視野内の対象までを往復するのにかかる時間を測定することで、あるシーンの距離情報を取得する形式があり、これはフラッシュLIDARとして知られている。別のタイプのLIDARには、一条の光線であるシーンを走査する、スキャニングLIDARがある。背景技術で触れたように、LIDAR装置は当該技術ではレーザ検出及び測距(LADAR)装置と称されることもある。別の実施形態において測距装置104は、無線探知及び走査(RADAR)装置、音波による計測(SONAR)装置、タイムオブフライト方式のカメラ、あるいはDOPPLER型装置である。
いずれの場合も、測距装置104はタイミング情報のパケットを返し、それがマトリックス(ここでは距離マトリックス)に蓄積される。距離マトリックスの各データポイントは、ピクセルに対応する対象物にコヒーレント光が反射するのにかかった時間に対応する。測距装置104の出力から生成される距離マトリックスは、各ピクセルに対して受信した距離情報の2次元マップである。距離情報に加えて、測距装置104は、その視野内の強度マトリックスも取得する。強度マトリックスは、測距装置104が視野内の各データポイントで受信した、コヒーレント光の強度の測定値を示す。距離情報と同様に、測距装置104が取得した強度情報は、視野内の強度情報のマトリックスという形態で蓄積される。
処理システム106は、少なくとも1つのプログラム可能な処理装置(すなわち「プロセッサ」)と、通信可能に接続されている少なくとも一つの記憶媒体を含む。一実施形態では、プロセッサはマイクロプロセッサである。プロセッサはさまざまなソフトウェアを実行する。ソフトウェアは、一つ以上のプロセッサ可読媒体に記憶されるプログラムインストラクションを含む。例えば、プロセッサ可読媒体は少なくとも一つの記憶媒体を含み、その記憶媒体は、処理システム106と連携するハードディスクや他の大容量記憶装置及びローカルエリアネットワークやインターネットのような広域ネットワークに接続するファイルサーバのようなシェアドメディアの少なくとも一方を備える。一実施形態では、ソフトウェアはプロセッサ内の記憶メディアに組み込まれるファームウェアである。(改行なし)(改行なし)光学カメラ102と測距装置104は、処理システム106と通信可能に接続されている。処理システム106は、光学像データを光学カメラ102から受信し、また測距装置104からも、強度マトリックスデータ及び/又は距離マトリックスデータを受信する。次に、処理システム106はディスプレイ110に表示画像あるいは画像データを出力する。
光学カメラ102及び測距装置104は、各装置の視野の少なくとも一部が重複するように指向されている。一実施形態では、光学カメラ102と測距装置104の視野が実質的に同じになるように配置されている。さらに、他の実施形態では、光学カメラ102と測距装置104は、双方の視野が同じに保持されるように、互いに固定されている。
図2は、システム100を用いて距離情報を光学像と組み合わせる方法200の、一実施形態を示す図である。方法200は、シーン108の2D光学像が光学カメラ102によって取得されるブロック202で始まる。ブロック204では、シーン108に対する距離情報が測距装置104で取得される。シーン108が移動物体を含む場合は、光学像及び距離情報の双方で確実に同じ位置で移動物体が取得されるように、光学像及び距離情報は同時に取得される。シーン108が非移動物体のみを含む場合は、光学像と距離情報は、異なる時間に取得されてもかまわない。光学像は複数のピクセルを含み、各ピクセルは光学カメラ102視野内に位置する108の色彩や陰影を示すデータを含む。上述のように、測距装置104からの距離情報の形態は、複数データポイントを含む距離マトリックスである。距離マトリックスの各データポイントは、測距装置104視野内シーン108に対する距離情報を示す。
ブロック206では、距離マトリックスを基に、光学像のピクセルに対してレンジ値が決定される。光学像のレンジ値を決定するには、処理システム106は、距離マトリックスのデータポイントを光学像のピクセルと相関させる。一実施形態では、光学カメラ102と測距装置104は同位置にあるので、双方の装置が同一角度で同一視野を有する。別の実施形態では、光学カメラ102と測距装置104は隣接して取り付けられている。その結果、各装置は、若干異なる角度からシーン108を捕らえることとなる。光学カメラ102と測距装置104の相対的位置がどうであれ、光学像のピクセルを距離マトリックスのデータポイントと相関させるのに、以下のプロセスが用いられる。
距離マトリックスと光学像との相関関係は、光学カメラ102と測距装置104の初期相関に基づくデータポイントとピクセルの相関関係である。光学カメラ102と測距装置104を初期相関させるには、各装置で取得した情報が比較されて、測距装置104のデータポイントのどれが光学カメラ102からの画像におけるピクセルのどれに相当するのかを決定する。例えば、一実施形態では、光学カメラ102と測距装置104の視野が重複するように固定される。次いで、各装置からの情報の一部(あるいは全部)が比較される。一実施形態では、画像を比較するために、各装置の視野が重複している部分内にチェッカーボードパターンが置かれる。チェッカーボードパターンは、明るい色と暗い色が交互に配置されるマス目を備える。このパターンは、光学カメラ102の光学像及び測距装置104の強度マトリックスの双方において、容易に認識できる。光学カメラ102と測距装置104のそれぞれが、チェッカーボードパターンの画像を取得する。上述したように、距離マトリックスと同様に、測距装置104は、光強度データを示す複数データポイントを備える光強度マトリックスを取得する。
測距装置104の光強度マトリックスから、チェッカーボードパターンは確かめられる。光強度マトリックス内のチェッカーボードパターンの位置は、光学カメラ102で取得された光学画像内のチェッカーボードパターンの位置と比較される。このようにして、次いで光学像のどのピクセルが強度マトリックスのどのデータポイントと一致するかを決定する。この(一定の位置の光学カメラ102と測距装置104との)初期相関が、強度マトリックス内のどのデータポイントと光学像内のどのピクセルが一致するかを決定する。強度マトリックスと光学像は解像度が異なる可能性や、一直線上に並んで配置されていない可能性もあるので、強度マトリックスのデータポイントは、光学像の複数ピクセル間で外挿補間される。従って、一つの強度データポイントは、光学像の多重のピクセルに合致される。さらに、光学像内の一つのピクセルは、隣接する強度データポイントの平均値と合致される。この実施形態では、チェッカーボードパターンが画像を比較するのに使用されたが、別の実施形態では別のパターン等も用いられ、それには直線や他形状の輪郭線も含むが、それに限定するものではない。
光学像と強度マトリックスの初期相関が成立すると、光学像と距離マトリックスの相関関係も決定される。距離マトリックスのデータポイントは、強度マトリックスのデータポイントと連携しているので、光学像と距離マトリックスの相関関係は、光学像と強度マトリックスの相関関係と同じである。
一実施形態では、光学カメラ102と測距装置104が、はじめに取り付けられて整列される際に初期相関が実行される。この場合、光学カメラ102と測距装置104の相関関係は、光学カメラ102と測距装置104の整列調節に用いられる。光学カメラ102と測距装置104を取り付けて整列させるために、測距装置104と光学カメラ102はほぼ同じ視野を持つように初期整列が実行される。次いで、チェッカーボードの光学像とチェッカーボードの強度マトリックスの相関が行われる。強度マトリックスと光学像のデータポイントが比較されると、光学カメラ102と測距装置104は配列に調整が必要なら再整列される。次いで、光学像を強度マトリックスに相関させるために、チェッカーボードパターンを用いる相関が再度完成される。比較、再整列、相関のサイクルは、光学カメラ102と測距装置104の所望の整列が得られるまで、必要な回数を実行できる。別の実施形態では、光学カメラ102と測距装置104の整列に、別の手順が用いられてもよい。
いずれにせよ、測距装置104に対して固定した光学カメラ102の固定位置に対する光学像と距離マトリックスの初期相関がわかれば、処理システム106は、光学像内の各ピクセルのレンジ値を決定するのに、その初期相関を使用する。初期相関からのデータポイント−ピクセル(data point-to-pixel)のマッピングを用いて、処理システム106は、距離マトリックスから一つ以上のレンジ値を光学像の各ピクセルに割り当てる。レンジ値を光学像の各ピクセルに割り当てることにより生成された情報の組み合わせを、本明細書では3Dポイントクラウドと称する。
一実施形態では、同じシーンについて取得した一連の距離マトリックスと光学像に対して距離及び光学像の分析を行うことで、レンジ値を各ピクセルに割り当てるプロセスはより確実になる。
ここで図3Aを参照すると、オリジナル光学像とは異なる視点の新規光学像を生成する方法300の一実施形態が示されている。方法300は、新規光学像を生成するのに画像化システム100を用いる。新規光学像は、画像化システム100で取得されたオリジナル光学像を元に加工された2次元光学画像である。方法300は、光学像と方法200のブロック206で決定されたレンジ値の組み合わせを用いて開始される。レンジ値と光学像の組み合わせは、光学カメラ102で取得されたオリジナル光学像とは異なる視点の新規光学像を生成するのに用いられる。ここでの異なる視点とは、まるで光学カメラ102がシーンに対してオリジナル画像を取得した実際の角度とは異なる角度にあるかのように、新規画像が生成されることを意味する。言いかえれば、新規画像に対するカメラの仮想位置とシーンとを結ぶ視線は、オリジナル画像に対するカメラとシーンとを結ぶ視線とは異なる。
方法300は、ブロック302で開始され、シーンに対する3次元ポイントクラウドが画像化システム100で取得される。3次元ポイントクラウドは方法200に関して上述したように取得される。図4Aは、シーン404の画像化システム100で取得されたオリジナル画像402の一実施形態が示されている。画像化システム100は、シーン404の光学像402を取得する。画像化システム100はまた、シーン404に対する距離情報も取得する。線406は、画像化システム100からシーン404内の対象物に送信される測距信号を示す。上述にあるように、シーン404の3Dポイントクラウドを生成するために、受信した距離データは取得された画像と組み合わせられる。
次に、ブロック304で、画像化システム100は、新規生成される画像におけるシーン404の視点を決定する。例えば、図4Bは、新規視点から画像化システム100によって仮想的に取得されたシーン404の実施例を示す。以下に説明するように、例えばシーン404を異なる角度から他のユーザに示すために、そのシーン404の新規視点は、外部プログラムから画像化システム100に提供される。
ブロック306では、画像化システム100は、新規視点からのシーン404の仮想画像に対する3Dポイントクラウドがどのように現れるかを決定する。画像化システムは、仮想画像の様子をオリジナル3Dポイントクラウドに基づいて決定する。オリジナル3Dポイントクラウドをもとに、画像化システム100は新規視点からオリジナル3Dポイントクラウドがどのように見えるかを割り出す。
新規視点からの2D画像に現れるであろう新規3Dポイントクラウドをいったん画像化システム100が決定すると、ブロック308において、画像化システム100はオリジナル画像を変形させて、新規視点から予測されるであろう形状を特徴(features)が有するようにする。例えば、光学像402はオリジナル2D画像である。図4Bは、新規仮想視点からみたシーン404の新規加工画像408を示す。シーン404は、直線形状の特徴410と楕円形の特徴412を備える。図4Aの画像化システム100の視点から、光学カメラはシーン404の光学像402を取得する。図4Bの線414は、画像化システム100が仮想視点に設置され多場合の、画像化システムに入出する測距信号と光がシーン404をどのように取得するかを示す。図4Aに示されるオリジナル視点からだと、直線的特徴410の正面に4本の光線に当たっていることがわかる。しかしながら、新規視点からだと、直線的特長410の正面には5本の光線があたっている。このように、直線的特徴414は、画像408の場合の方が画像402の場合より幅広である。同様に、画像408で示されるように、楕円的特徴412は新規視点からだと少し異なる形状を有している。加えて、新規視点からだと直線的特徴410と楕円的特徴412間のスペースが低減されている。また、オリジナル視点からの特徴410、412と接触する線406間のスペース及び、新規視点からの特徴410、412と接触する線414間のスペースに示されるように、新規画像408では、特徴410、412間のスペースが低減される。
新規画像408の新規視点から生じる歪みや未知である可能性のあるデータに起因して、新規画像408にはエラーが生じる。こういったエラーは、図4Bで示される新規視点からの実際のオリジナル画像と比較すると、新規画像408において視覚歪として出現する。オリジナル視点から新規視点までの角度の差が少なければ少ないほど、必要となる推定は少なくてすみ、新規画像における歪みの可能性も低くなる。対照的に、視点の角度差が大きいと、多量の推定が必要になり、新規画像において大きな歪みを引き起こす。歪みが生じてしまうので、オリジナル視点と新規視点間の角度差が特定のアプリケーションによって制限される場合がある。
オリジナル光学像と測距画像に基づいて、異なる視点からの新規画像を生成することは、たくさんのアプリケーションに適用可能である。例えば、一実施形態では、対象物や場所の特定を補助するために、一視野から取得した画像を他の視点から取得したと見立てられる画像に転換できる。
一実施形態では、画像化システム100と方法200及び300は3次元光学像を生成するのに用いられる。ここでの3次元光学画像とは、一つのシーンに対する2つの異なる視点から取得される2つの2D光学画像のことであり、その画像における両視点はおよそ人間の両目の間隔である。これは、ステレオビジョン画像と称され、2つの視点で同時に観察する人間の視覚体験(左目の視点及び右目の視点)を、より上手く模倣する試みである。
ここでは、画像化システム100で、シーンの第1画像が第1視点から取得される。次いで、方法200及び300で説明された手順で、同じシーンの第2画像が第2視点から取得される。一実施形態では、第2視点は、およそ両目の間隔で第1視点から離れたところにある。そして、この第2画像は観察者の片目からの視野として、第1画像はもう片方の目からの視野として用いられる。2つの2D光学画像の組み合わせが、3D光学画像を生成する。別の実施形態では、第2視野は第1視野からもっと離れている(例えば10度)。そして、方法200及び300で説明された手順で、第3視野からそのシーンの第3新規画像が生成される。第3視野はおよそ両目の間隔で第1視点から離れたところにある。そして、第2画像と第3画像から3D画像が生成される。このように、第2画像は観察者の片目からの視野として、第3画像はもう片方の目からの視野として用いられる。
方法200及び300のステップをフレームバイフレームビデオ映像の各フレームに対して繰り返すことで、方法200及び300はビデオ映像にも応用可能である。フレームバイフレームビデオ映像の各フレームは画像化システム100で取得され、方法200及び300のステップを実行して加工処理される。それにより生じた新規フレームは新規映像としてフレームバイフレーム方式で表示される。
方法200及び300の別の応用事例は、オリジナルビデオ映像が撮影された視点と異なる視点からのビデオ映像やその映像の一部を生成することを含む。ここでは、ビデオ映像は、画像化システム100で1つの視点から撮影すればよく、もう一度特定のシーンを撮影する必要なく編集によってビデオ映像の一部が異なる視点から見たように修正される。
加えて、一実施形態では、画像化システム100と方法200及び300は、3Dビデオ映像の生成に用いられる。ここでは、画像化システム100によって、そのビデオ映像は一視点から撮影される。そして、一つあるいは2つ視点が追加生成され、その3Dビデオ映像において左右両目からの画像として用いられる。例えば、観察者の左右両目間の所望の中心点を視点にしてビデオ映像を撮影することができる。そして、オリジナル画像を基にして、2つの新規画像が生成される。一つ目の画像は撮影した画像のやや右側、2つ目の画像はやや左側である。3Dビデオ映像を生成するこの方法の利点は、中心点から撮影した画像と左右両画像は視野の差が少ないので、生成する2つの画像の歪みが少ないことである。別の実施形態では、撮影された画像が片目として用いられ、新規画像がもう一方の目として用いられる。このように、この実施形態では、3Dビデオ映像を生成するために生成される新規画像はひとつのみである。
次に図3Bを参照すると、別の方法301の一実施形態が示されている。方法301では、距離情報と光学像の組み合わせが特徴認識に用いられる。方法200のブロック202〜206にブロック302〜304が続き、ブロック309でシーンの3Dポイントクラウドが取得される。次いで、310〜312で示される特徴認識がなされる。一実施形態において、処理システム106は特徴の3D形状の演繹的知識を有する。ブロック310において、処理システム106は光学像402内の特徴に対して決定された3D形状を用いてその3D形状と既存の特徴を比較し、特徴認識を行う。この方法は、標準的特徴認識アルゴリズムを併用しても、あるいはしなくても、実行できる。ブロック312での3D形状の比較に加えて(または、比較をすることなく)、処理システム106はブロック304で決定された光学画像内にある面(faces)の方向を用いて、その面の方向を既存の特徴の面方向についての演繹的知識と比較する。例えば、既存の特徴が円筒形状部材に対し約45度の角度にあって円筒形状部材の半分のサイズである部材の四角面を備えているとする。すると特徴認識アルゴリズムは、光学像内でこのタイプの3次元特徴と合致するものを求めて探し出す。
本明細書において、具体的な実施様態が例示及び説明されたが、当然ながら、同じ目的を達成すると解釈できるものなら、当業者によって手を加えられた実施様態も提示した具体的実施様態と差し替えられる。明白に意図することは、いかなる発明も請求項及びそれと同等のものによってのみ制限されることである。
Claims (3)
- 画像化システムであって、
プログラム可能なプロセッサと記憶媒体を有する処理システム(106)と、
前記処理システムと通信可能に接続されている光学カメラ(102)と、
前記処理システムと通信可能に接続されている測距装置(104)と
を含み、
前記光学カメラ(102)及び前記測距装置(104)は、前記光学カメラ(102)と前記測距装置(104)の視野が実質的に同じになるように指向されており、
前記処理システムは、前記光学カメラで取得したオリジナル光学像と前記測距装置で取得した距離情報とに基づいて、前記オリジナル光学像とは異なる視点からの新規光学像を生成するよう構成されている
ことを特徴とする画像化システム(100)。 - 請求項1に記載の画像化システムにおいて、前記処理システムはさらに、前記オリジナル光学像及び前記新規光学像を用いて3次元(3D)画像を生成するよう構成されていることを特徴とする画像化システム。
- 請求項1に記載の画像化システムにおいて、前記処理システムはさらに、第3視点から前記シーンの別の新規光学像を生成し、前記新規光学像及び前記別の新規光学像から3次元(3D)光学像を生成するよう構成されていることを特徴とする画像化システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/267,139 US8334893B2 (en) | 2008-11-07 | 2008-11-07 | Method and apparatus for combining range information with an optical image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010113720A true JP2010113720A (ja) | 2010-05-20 |
Family
ID=41501988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009254524A Withdrawn JP2010113720A (ja) | 2008-11-07 | 2009-11-06 | 距離情報を光学像と組み合わせる方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8334893B2 (ja) |
JP (1) | JP2010113720A (ja) |
GB (1) | GB2465072A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014519132A (ja) * | 2011-06-06 | 2014-08-07 | マイクロソフト コーポレーション | 仮想環境におけるオブジェクトの制御 |
CN111551955A (zh) * | 2020-06-22 | 2020-08-18 | 北京理工大学 | 一种仿生分块鬼成像方法及系统 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008084468A2 (en) * | 2007-01-14 | 2008-07-17 | Microsoft International Holdings B.V. | A method, device and system for imaging |
US20100079653A1 (en) * | 2008-09-26 | 2010-04-01 | Apple Inc. | Portable computing system with a secondary image output |
US8610726B2 (en) * | 2008-09-26 | 2013-12-17 | Apple Inc. | Computer systems and methods with projected display |
US8619128B2 (en) * | 2009-09-30 | 2013-12-31 | Apple Inc. | Systems and methods for an imaging system using multiple image sensors |
CN102753442B (zh) * | 2009-12-12 | 2016-03-09 | 派克赛斯有限责任公司 | 基于物品的定制布置按需形成包装 |
NL2004996C2 (nl) * | 2010-06-29 | 2011-12-30 | Cyclomedia Technology B V | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. |
ES2795664T3 (es) * | 2010-06-29 | 2020-11-24 | Packsize Llc | Optimización de producción de productos de embalaje |
US9100640B2 (en) * | 2010-08-27 | 2015-08-04 | Broadcom Corporation | Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information |
US8538132B2 (en) | 2010-09-24 | 2013-09-17 | Apple Inc. | Component concentricity |
KR101030763B1 (ko) | 2010-10-01 | 2011-04-26 | 위재영 | 이미지 획득 유닛, 방법 및 연관된 제어 유닛 |
US9129438B2 (en) * | 2011-01-18 | 2015-09-08 | NedSense Loft B.V. | 3D modeling and rendering from 2D images |
KR101814798B1 (ko) * | 2011-01-26 | 2018-01-04 | 삼성전자주식회사 | 입체영상 처리 장치 및 방법 |
US8970708B2 (en) | 2011-05-23 | 2015-03-03 | The Johns Hopkins University | Automatic device alignment mechanism |
WO2014040081A1 (en) * | 2012-09-10 | 2014-03-13 | Aemass, Inc. | Multi-dimensional data capture of an environment using plural devices |
US9377310B2 (en) | 2013-05-02 | 2016-06-28 | The Johns Hopkins University | Mapping and positioning system |
CN103292715A (zh) * | 2013-06-17 | 2013-09-11 | 上海海事大学 | 岸壁移机式装船机抛料位置料堆高度检测装置及检测方法 |
US9356061B2 (en) | 2013-08-05 | 2016-05-31 | Apple Inc. | Image sensor with buried light shield and vertical gate |
US10291329B2 (en) * | 2013-12-20 | 2019-05-14 | Infineon Technologies Ag | Exchanging information between time-of-flight ranging devices |
US10018711B1 (en) * | 2014-01-28 | 2018-07-10 | StereoVision Imaging, Inc | System and method for field calibrating video and lidar subsystems using independent measurements |
DE112015002098B4 (de) | 2014-05-02 | 2022-02-03 | Fujifilm Corporation | Abstandsmessvorrichtung |
CN106464847B (zh) | 2014-06-20 | 2019-06-25 | 歌乐株式会社 | 影像合成系统和用于其的影像合成装置与影像合成方法 |
EP3185037B1 (en) * | 2015-12-23 | 2020-07-08 | STMicroelectronics (Research & Development) Limited | Depth imaging system |
EP3223200A1 (en) | 2016-03-22 | 2017-09-27 | Hexagon Technology Center GmbH | Construction site management |
US10234561B2 (en) | 2016-05-09 | 2019-03-19 | Microsoft Technology Licensing, Llc | Specular reflection removal in time-of-flight camera apparatus |
CN106767438B (zh) * | 2017-02-04 | 2019-02-01 | 北京工业大学 | 基于地面三维激光扫描技术的山体滑坡量获取方法及装置 |
CN106971395A (zh) * | 2017-03-08 | 2017-07-21 | 浙江大学 | 一种基于点云平均背景差的三维声纳图像建模方法 |
US10432913B2 (en) * | 2017-05-31 | 2019-10-01 | Proximie, Inc. | Systems and methods for determining three dimensional measurements in telemedicine application |
WO2020181112A1 (en) | 2019-03-07 | 2020-09-10 | Alibaba Group Holding Limited | Video generating method, apparatus, medium, and terminal |
CN110400337B (zh) * | 2019-07-10 | 2021-10-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
US10861144B1 (en) | 2019-11-27 | 2020-12-08 | Panasonic Intellectual Property Management Co., Ltd. | Image-processing method |
WO2024167808A1 (en) * | 2023-02-06 | 2024-08-15 | Nlight, Inc. | Sub-pixel sensor alignment in optical systems |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0641132B1 (en) * | 1993-08-26 | 1999-04-14 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic image pickup apparatus |
JPH0870473A (ja) | 1994-08-29 | 1996-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報を用いた立体画像の通信方式 |
US6640004B2 (en) * | 1995-07-28 | 2003-10-28 | Canon Kabushiki Kaisha | Image sensing and image processing apparatuses |
JP3231618B2 (ja) * | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | 3次元画像符号化復号方式 |
US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
EP2306228A1 (en) * | 1998-05-25 | 2011-04-06 | Panasonic Corporation | Range finder device and camera |
US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
JP2000253422A (ja) | 1999-03-03 | 2000-09-14 | Toshiba Corp | 2次元映像からの立体映像生成方法 |
JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | 3次元形状計測装置 |
JP2001133231A (ja) | 1999-11-02 | 2001-05-18 | Olympus Optical Co Ltd | 3次元画像取得生成装置 |
JP2002071309A (ja) * | 2000-08-24 | 2002-03-08 | Asahi Optical Co Ltd | 3次元画像検出装置 |
JP2002077944A (ja) | 2000-09-04 | 2002-03-15 | Fuji Photo Film Co Ltd | 立体映像装置 |
US6959095B2 (en) * | 2001-08-10 | 2005-10-25 | International Business Machines Corporation | Method and apparatus for providing multiple output channels in a microphone |
US7277599B2 (en) * | 2002-09-23 | 2007-10-02 | Regents Of The University Of Minnesota | System and method for three-dimensional video imaging using a single camera |
JP4204336B2 (ja) * | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
US7738733B2 (en) * | 2005-09-29 | 2010-06-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for 3-D imaging |
US7417717B2 (en) * | 2005-10-05 | 2008-08-26 | Utah State University | System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data |
US7944547B2 (en) * | 2006-05-20 | 2011-05-17 | Zheng Wang | Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
US20080112610A1 (en) * | 2006-11-14 | 2008-05-15 | S2, Inc. | System and method for 3d model generation |
WO2008084468A2 (en) | 2007-01-14 | 2008-07-17 | Microsoft International Holdings B.V. | A method, device and system for imaging |
US7979251B2 (en) * | 2007-03-16 | 2011-07-12 | Lego A/S | Automatic generation of building instructions for building element models |
JP4591548B2 (ja) | 2008-06-04 | 2010-12-01 | ソニー株式会社 | 画像符号化装置及び画像符号化方法 |
-
2008
- 2008-11-07 US US12/267,139 patent/US8334893B2/en active Active
-
2009
- 2009-11-06 GB GB0919454A patent/GB2465072A/en not_active Withdrawn
- 2009-11-06 JP JP2009254524A patent/JP2010113720A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014519132A (ja) * | 2011-06-06 | 2014-08-07 | マイクロソフト コーポレーション | 仮想環境におけるオブジェクトの制御 |
US9953426B2 (en) | 2011-06-06 | 2018-04-24 | Microsoft Technology Licensing, Llc | Object digitization |
CN111551955A (zh) * | 2020-06-22 | 2020-08-18 | 北京理工大学 | 一种仿生分块鬼成像方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20100118122A1 (en) | 2010-05-13 |
US8334893B2 (en) | 2012-12-18 |
GB2465072A (en) | 2010-05-12 |
GB0919454D0 (en) | 2009-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010113720A (ja) | 距離情報を光学像と組み合わせる方法及び装置 | |
KR102377728B1 (ko) | 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 | |
US11115633B2 (en) | Method and system for projector calibration | |
KR102483838B1 (ko) | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 | |
US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
US20060221250A1 (en) | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
US20200137376A1 (en) | Method for generating a light-field 3d display unit image and a generating device | |
TWI788739B (zh) | 3d顯示設備、3d圖像顯示方法 | |
CN201662682U (zh) | 一种立体摄像装置 | |
CN207766424U (zh) | 一种拍摄装置及成像设备 | |
US9380263B2 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
KR20200129657A (ko) | 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법 | |
US9639944B2 (en) | Method and apparatus for determining a depth of a target object | |
CN108645353B (zh) | 基于多帧随机二元编码光场的三维数据采集系统及方法 | |
Lanman et al. | Surround structured lighting for full object scanning | |
CN101916035A (zh) | 一种立体摄像装置及方法 | |
KR102112491B1 (ko) | 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결 | |
TWI792381B (zh) | 影像擷取裝置及其深度資訊計算方法 | |
JP6595878B2 (ja) | 要素画像群生成装置及びそのプログラム | |
JP6200316B2 (ja) | 画像生成方法、画像生成装置及び画像生成プログラム | |
JP2006078291A (ja) | 全方位三次元計測装置 | |
CN214756700U (zh) | 3d显示设备 | |
Ide et al. | Real-time active multiview 3d reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130108 |