JP6615545B2 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents
画像処理装置、画像処理方法および画像処理用プログラム Download PDFInfo
- Publication number
- JP6615545B2 JP6615545B2 JP2015181893A JP2015181893A JP6615545B2 JP 6615545 B2 JP6615545 B2 JP 6615545B2 JP 2015181893 A JP2015181893 A JP 2015181893A JP 2015181893 A JP2015181893 A JP 2015181893A JP 6615545 B2 JP6615545 B2 JP 6615545B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- point
- projection sphere
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000002131 composite material Substances 0.000 claims description 45
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 241000255749 Coccinellidae Species 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03543—Mice or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Description
(概要)
まず、視点が異なる複数の画像同士を合成した際に生じる問題について説明する。図1には、位置(視点)が異なる3つのカメラを用いて一部が重複する静止画像を3枚撮影し、それを投影球の内周面に投影してパノラマ画像を作成した場合が示されている。
図4には、実施形態のブロック図が示されている。図4には、画像処理装置100、全周カメラ200、レーザスキャナ300および表示装置400が示されている。画像処理装置100は、コンピュータとして機能し、後述する機能部を有する。全周カメラ200は、全方位撮影用多眼カメラであり、上方と周囲360°の撮影を行う。この例において、全周カメラ200は、6台のカメラを備えている。6台のカメラの内、5台のカメラは、水平方向に向けられ鉛直上方から見て等角な角度位置(72°毎)に配置されている。また、残りの1台のカメラは、鉛直上方(仰角90°)に向けられている。これら6台のカメラは、画角(撮影範囲)が一部重複するように設定されている。この6台のカメラから得られる静止画像を合成することでパノラマ画像が得られる。
以下、図4の画像処理装置100で実行される処理の手順の一例を説明する。以下において説明する処理を実行するプログラムは、画像処理装置100内の記憶領域や適当な外部記憶媒体に記憶され、画像処理装置100によって実行される。
図3に原理が示されているように、着目点Pが指定された際にrを計算し、更にR=rとすることで、点Pの位置における投影像のズレが解消される。着目点Pの位置が変更され、rの値が変わると、それに応じてRの値も変わり、R=rの関係が維持される。このため、着目点Pにおける像の精度は維持される。
着目点の指定を受け付ける別の方法として、合成画像形成部107が形成したパノラマ画像をタッチパネルディスプレイに表示し、タッチペン等の当該ディスプレイへの接触により、着目点の指定を受け付ける方法が挙げられる。
Claims (6)
- 異なる視点から重複する対象を撮影した第1の静止画像および第2の静止画像の画像データを受け付ける画像データ受付部と、
前記第1の静止画像を撮影したカメラおよび前記第2の静止画像を撮影したカメラと外部標定要素の関係が既知のレーザースキャナを用いた前記対象に対するレーザースキャンを行うことで得た点群位置データを取得する点群位置データ取得部と、
前記重複する対象の特定の位置の指定を受け付ける指定受付部と、
前記指定受付部で受け付けた指定位置の三次元位置を取得する三次元位置取得部と、
前記指定位置の三次元位置に基づいて半径Rの値を決定した投影球を設定する投影球設定部と、
前記第1の静止画像と前記第2の静止画像とを前記投影球に投影した第1の合成画像を形成する合成画像形成部と
前記第1の合成画像と前記点群位置データの各点を前記投影球に投影した点群画像とを合成した第2の合成画像を得る合成部と
を備え、
前記指定位置の前記三次元位置は、前記第2の合成画像における前記指定位置に対応する前記点群画像を構成する点の位置から求められることを特徴とする画像処理装置。 - 前記投影球の中心位置と前記指定位置との距離rを算出する距離算出部を備え、
前記投影球設定部は、前記距離算出部が算出した前記距離rに基づき前記半径Rの値を決定することを特徴とする請求項1に記載の画像処理装置。 - 前記Rの値を前記rに一致させることを特徴とする請求項2に記載の画像処理装置。
- 前記指定受付部は、前記合成画像を表示した表示画面上に表示されるカーソルの当該画面上における位置に基づき、前記特定の位置の指定を受け付け、
前記投影球設定部は、前記カーソルの動きに合わせて前記半径Rの値を可変することを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。 - 異なる視点から重複する対象を撮影した第1の静止画像の画像データおよび第2の静止画像の画像データを受け付ける画像データ受付ステップと、
前記第1の静止画像を撮影したカメラおよび前記第2の静止画像を撮影したカメラと外部標定要素の関係が既知のレーザースキャナを用いた前記対象に対するレーザースキャンを行うことで得た点群位置データを取得する点群位置データ取得ステップと、
前記重複する対象の特定の位置の指定を受け付ける指定受付ステップと、
前記指定受付ステップで受け付けた指定位置の三次元位置を取得する三次元位置取得ステップと、
前記指定位置の三次元位置に基づいて半径Rの値を決定した投影球を設定する投影球設定ステップと、
前記第1の静止画像と前記第2の静止画像とを前記投影球に投影した第1の合成画像を形成する合成画像形成ステップと、
前記合成画像形成ステップで形成された前記第1の合成画像の画像データを表示装置に送信するステップと、
前記第1の合成画像と前記点群位置データの各点を前記投影球に投影した点群画像とを合成した第2の合成画像を得るステップと
を備え、
前記指定位置の前記三次元位置は、前記第2の合成画像における前記指定位置に対応する前記点群画像を構成する点の位置から求められることを特徴とする画像処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
異なる視点から重複する対象を撮影した第1の静止画像の画像データおよび第2の静止画像の画像データを受け付ける画像データ受付ステップと、
前記第1の静止画像を撮影したカメラおよび前記第2の静止画像を撮影したカメラと外部標定要素の関係が既知のレーザースキャナを用いた前記対象に対するレーザースキャンを行うことで得た点群位置データを取得する点群位置データ取得ステップと、
前記重複する対象の特定の位置の指定を受け付ける指定受付ステップと、
前記指定受付部で受け付けた指定位置の三次元位置を取得する三次元位置取得ステップと、
前記指定位置の三次元位置に基づいて半径Rの値を決定した投影球を設定する投影球設定ステップと、
前記第1の静止画像と前記第2の静止画像とを前記投影球に投影した第1の合成画像を形成する合成画像形成ステップと、
前記合成画像形成ステップで形成された前記第1の合成画像の画像データを表示装置に送信するステップと、
前記第1の合成画像と前記点群位置データの各点を前記投影球に投影した点群画像とを合成した第2の合成画像を得るステップと
を実行させ、
前記指定位置の前記三次元位置は、前記第2の合成画像における前記指定位置に対応する前記点群画像を構成する点の位置から求められることを特徴とする画像処理用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015181893A JP6615545B2 (ja) | 2015-09-15 | 2015-09-15 | 画像処理装置、画像処理方法および画像処理用プログラム |
US15/264,950 US20170078570A1 (en) | 2015-09-15 | 2016-09-14 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015181893A JP6615545B2 (ja) | 2015-09-15 | 2015-09-15 | 画像処理装置、画像処理方法および画像処理用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017058843A JP2017058843A (ja) | 2017-03-23 |
JP6615545B2 true JP6615545B2 (ja) | 2019-12-04 |
Family
ID=58237510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181893A Active JP6615545B2 (ja) | 2015-09-15 | 2015-09-15 | 画像処理装置、画像処理方法および画像処理用プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170078570A1 (ja) |
JP (1) | JP6615545B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017090986A1 (en) | 2015-11-23 | 2017-06-01 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling electronic apparatus thereof |
US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
EP3429210A1 (en) * | 2017-07-13 | 2019-01-16 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
EP3432581A1 (en) | 2017-07-21 | 2019-01-23 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
JP2019100995A (ja) * | 2017-12-08 | 2019-06-24 | 株式会社トプコン | 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム |
EP3606032B1 (en) * | 2018-07-30 | 2020-10-21 | Axis AB | Method and camera system combining views from plurality of cameras |
US10715783B1 (en) * | 2019-03-01 | 2020-07-14 | Adobe Inc. | Stereo-aware panorama conversion for immersive media |
WO2021184326A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳市大疆创新科技有限公司 | 电子装置的控制方法、装置、设备及系统 |
CN111464782B (zh) * | 2020-03-31 | 2021-07-20 | 浙江大华技术股份有限公司 | 一种枪球联动控制方法、装置、电子设备及存储介质 |
CN113205581B (zh) * | 2021-05-21 | 2023-03-21 | 广东电网有限责任公司 | 一种电缆顶管的探测方法及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4583883B2 (ja) * | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | 車両用周囲状況表示装置 |
JP5800501B2 (ja) * | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
JP5740826B2 (ja) * | 2010-03-29 | 2015-07-01 | セイコーエプソン株式会社 | 画像表示装置、画像情報処理装置及び画像情報処理方法 |
JP4796194B1 (ja) * | 2010-03-31 | 2011-10-19 | 株式会社パスコ | カーソルの表示方法およびカーソルの表示プログラム |
US9288476B2 (en) * | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
US9407904B2 (en) * | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
JP6186775B2 (ja) * | 2012-05-31 | 2017-08-30 | 株式会社リコー | 通信端末、表示方法、及びプログラム |
US9398215B2 (en) * | 2013-04-16 | 2016-07-19 | Eth Zurich | Stereoscopic panoramas |
CN110401795A (zh) * | 2013-04-30 | 2019-11-01 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
US9903950B2 (en) * | 2014-08-27 | 2018-02-27 | Leica Geosystems Ag | Multi-camera laser scanner |
JP6450589B2 (ja) * | 2014-12-26 | 2019-01-09 | 株式会社モルフォ | 画像生成装置、電子機器、画像生成方法及びプログラム |
US9589327B2 (en) * | 2015-06-10 | 2017-03-07 | Samsung Electronics Co., Ltd. | Apparatus and method for noise reduction in depth images during object segmentation |
-
2015
- 2015-09-15 JP JP2015181893A patent/JP6615545B2/ja active Active
-
2016
- 2016-09-14 US US15/264,950 patent/US20170078570A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170078570A1 (en) | 2017-03-16 |
JP2017058843A (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6615545B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
US11195253B2 (en) | Equatorial stitching of hemispherical images in a spherical image capture system | |
JP6484349B2 (ja) | カメラリグおよび立体画像キャプチャ | |
WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
US20120249730A1 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
JP2018524832A (ja) | パノラマバーチャルリアリティコンテンツの全方位ステレオキャプチャおよびレンダリング | |
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6398472B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2012088114A (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP2019100995A (ja) | 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム | |
JP2017208619A (ja) | 画像処理装置、画像処理方法、プログラム及び撮像システム | |
GB2555908A (en) | Multi-tier camera rig for stereoscopic image capture | |
CN107563959B (zh) | 全景图生成方法及装置 | |
JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
CN111340959B (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 | |
TWI615808B (zh) | 全景即時影像處理方法 | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP6579706B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
TWI662694B (zh) | 三維影像攝取方法及系統 | |
CN110796690B (zh) | 图像匹配方法和图像匹配装置 | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
KR101986433B1 (ko) | 시점 변환을 이용하는 영상 스티칭 방법 및 시스템 | |
WO2019100216A1 (zh) | 3d建模方法、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6615545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |