JP5481337B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5481337B2 JP5481337B2 JP2010213575A JP2010213575A JP5481337B2 JP 5481337 B2 JP5481337 B2 JP 5481337B2 JP 2010213575 A JP2010213575 A JP 2010213575A JP 2010213575 A JP2010213575 A JP 2010213575A JP 5481337 B2 JP5481337 B2 JP 5481337B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- unit
- images
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims description 128
- 238000006243 chemical reaction Methods 0.000 claims description 103
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 29
- 230000009466 transformation Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
上記実施形態では、レンズ歪みを補正し、変換パラメータWsvi(ステレオ校正パラメータWs及び垂直化変換パラメータWv)を算出して平行化変換及び垂直化変換を行う場合を例に取り説明した。変形例1では、これらの変換結果を利用することにより、変換パラメータWsviを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を1度の変換で行う例について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
上記実施形態では、第2校正右画像及び第2校正左画像から生成した3D画像を表示部30に表示する例について説明したが、3D画像から、画像同士の対応位置を求めることによって視差を推定し、推定した視差から立体物の検出を行ったり、画像パタンを用いて物体の認識を行ったりしてもよい。また、第2校正右画像及び第2校正左画像の少なくとも一方をそのまま表示部30に表示してもよい。この場合、表示部30は3次元ディスプレイである必要はなく、通常のディスプレイであればよい。
10 第1撮像部
20 第2撮像部
30 表示部
40 取得部
50、150 校正部
60 第1校正部
70 第2校正部
72 第1算出部
74 第2算出部
76 変換部
80 生成部
90 表示制御部
152 テーブル記憶部
Claims (2)
- それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像し、複数の画像を得る複数の撮像部と、
前記複数の画像それぞれの画像上の位置を示す画像位置情報と、前記複数の画像を校正した複数の校正画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶するテーブル記憶部と、
前記位置情報テーブルを用いて、撮像された前記複数の画像をそれぞれ1度の変換により校正し、前記複数の校正画像を得る校正部と、
を備え、
前記複数の校正画像は、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられている
ことを特徴とする画像処理装置。 - 前記複数の校正画像の少なくともいずれか、又は前記複数の校正画像に基づく立体画像を表示する表示部を更に備えることを特徴とする請求項1に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010213575A JP5481337B2 (ja) | 2010-09-24 | 2010-09-24 | 画像処理装置 |
US13/164,850 US10810762B2 (en) | 2010-09-24 | 2011-06-21 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010213575A JP5481337B2 (ja) | 2010-09-24 | 2010-09-24 | 画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013095499A Division JP5634558B2 (ja) | 2013-04-30 | 2013-04-30 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012068923A JP2012068923A (ja) | 2012-04-05 |
JP5481337B2 true JP5481337B2 (ja) | 2014-04-23 |
Family
ID=45870250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010213575A Active JP5481337B2 (ja) | 2010-09-24 | 2010-09-24 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10810762B2 (ja) |
JP (1) | JP5481337B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014145279A1 (en) | 2013-03-15 | 2014-09-18 | Leap Motion, Inc. | Determining the relative locations of multiple motion-tracking devices |
DE102014212819A1 (de) * | 2014-07-02 | 2016-01-07 | Zf Friedrichshafen Ag | Ortspositionsabhängige Darstellung von Fahrzeugumfelddaten auf einer mobilen Einheit |
US10768708B1 (en) | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
US9930315B2 (en) * | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
JP6345627B2 (ja) * | 2015-05-20 | 2018-06-20 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
GB2560301A (en) * | 2017-02-20 | 2018-09-12 | Nokia Technologies Oy | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
EP3373037B1 (en) * | 2017-03-10 | 2023-06-28 | The Hi-Tech Robotic Systemz Ltd | Single casing advanced driver assistance system |
CN107517372B (zh) * | 2017-08-17 | 2022-07-26 | 腾讯科技(深圳)有限公司 | 一种vr内容拍摄方法、相关设备及系统 |
US11145108B2 (en) * | 2018-03-21 | 2021-10-12 | Nvidia Corporation | Uniform density cube map rendering for spherical projections |
WO2019239460A1 (ja) * | 2018-06-11 | 2019-12-19 | 三菱電機株式会社 | カメラ較正装置 |
WO2020105499A1 (ja) * | 2018-11-20 | 2020-05-28 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69324224T2 (de) * | 1992-12-29 | 1999-10-28 | Koninklijke Philips Electronics N.V., Eindhoven | Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern |
JPH1155538A (ja) * | 1997-08-01 | 1999-02-26 | Fujitsu Ltd | カラー画像情報処理システム、カラー画像情報入力装置及びカラー画像出力装置 |
JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
JP3349121B2 (ja) * | 1999-09-22 | 2002-11-20 | 富士重工業株式会社 | ステレオカメラの取付構造 |
JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
JP2003004442A (ja) * | 2001-06-20 | 2003-01-08 | Fujitsu Ten Ltd | 測距装置 |
DE10149115A1 (de) * | 2001-10-05 | 2003-04-17 | Bosch Gmbh Robert | Objekterfassungsvorrichtung |
JP4172684B2 (ja) * | 2002-04-12 | 2008-10-29 | 富士重工業株式会社 | 画像補正装置および画像補正方法 |
JP2004222076A (ja) * | 2003-01-16 | 2004-08-05 | Fuji Photo Film Co Ltd | 画像処理プログラム及び方法 |
JP4095491B2 (ja) * | 2003-05-19 | 2008-06-04 | 本田技研工業株式会社 | 距離測定装置、距離測定方法、及び距離測定プログラム |
EP1637836A1 (en) * | 2003-05-29 | 2006-03-22 | Olympus Corporation | Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system |
JP2005045338A (ja) * | 2003-07-23 | 2005-02-17 | Clarion Co Ltd | 車載用三次元表示用モニタシステム |
JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
JP2006033570A (ja) * | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
JP2006221603A (ja) * | 2004-08-09 | 2006-08-24 | Toshiba Corp | 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム |
JP3937414B2 (ja) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
FR2874300B1 (fr) * | 2004-08-11 | 2006-11-24 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
JP2006078793A (ja) * | 2004-09-09 | 2006-03-23 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
US7330584B2 (en) * | 2004-10-14 | 2008-02-12 | Sony Corporation | Image processing apparatus and method |
JP4396479B2 (ja) * | 2004-10-21 | 2010-01-13 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置における補正処理方法および画像処理装置。 |
KR100770019B1 (ko) * | 2004-12-06 | 2007-10-25 | 한국전자통신연구원 | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 |
US7623274B1 (en) * | 2004-12-22 | 2009-11-24 | Google Inc. | Three-dimensional calibration using orientation and position sensitive calibration pattern |
EP1881450A1 (en) * | 2005-05-10 | 2008-01-23 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
US7949486B2 (en) * | 2005-10-28 | 2011-05-24 | Hi-Key Limited | Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset |
JP2008102620A (ja) | 2006-10-17 | 2008-05-01 | Toyota Motor Corp | 画像処理装置 |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
JP4863922B2 (ja) * | 2007-04-18 | 2012-01-25 | 三洋電機株式会社 | 運転支援システム並びに車両 |
CN101680756B (zh) | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | 复眼摄像装置、测距装置、视差算出方法以及测距方法 |
JP2010109483A (ja) * | 2008-10-28 | 2010-05-13 | Honda Motor Co Ltd | 車両周辺表示方法 |
US8760510B2 (en) * | 2008-11-26 | 2014-06-24 | Robert T. Aloe | Apparatus and methods for three-dimensional imaging using a static light screen |
JP2010166205A (ja) | 2009-01-14 | 2010-07-29 | Konica Minolta Holdings Inc | 画像記録装置 |
JP5127787B2 (ja) * | 2009-07-30 | 2013-01-23 | 富士フイルム株式会社 | 複眼撮影装置及びその制御方法 |
JP5223811B2 (ja) * | 2009-08-06 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 |
-
2010
- 2010-09-24 JP JP2010213575A patent/JP5481337B2/ja active Active
-
2011
- 2011-06-21 US US13/164,850 patent/US10810762B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012068923A (ja) | 2012-04-05 |
US20120075428A1 (en) | 2012-03-29 |
US10810762B2 (en) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5481337B2 (ja) | 画像処理装置 | |
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
JP5491235B2 (ja) | カメラキャリブレーション装置 | |
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
KR102126241B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치 | |
JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
JP5454674B2 (ja) | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム | |
JP5299296B2 (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
US20080136912A1 (en) | Image generating apparatus and image generating method | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
JP2007263669A (ja) | 3次元座標取得装置 | |
JPWO2011154987A1 (ja) | カメラ距離測定装置 | |
WO2013005265A1 (ja) | 三次元座標計測装置及び三次元座標計測方法 | |
JP6874850B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP2009267603A (ja) | 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法 | |
CN104937634A (zh) | 用于生成环绕视图的方法和系统 | |
TWI820246B (zh) | 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 | |
JP7308227B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN111105467B (zh) | 一种图像标定方法、装置及电子设备 | |
JP2011024079A (ja) | 周辺表示装置 | |
JP4855278B2 (ja) | カメラパラメータ取得装置 | |
JP5634558B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120730 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130430 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130510 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20130607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5481337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |