JP6302624B2 - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP6302624B2 JP6302624B2 JP2013091803A JP2013091803A JP6302624B2 JP 6302624 B2 JP6302624 B2 JP 6302624B2 JP 2013091803 A JP2013091803 A JP 2013091803A JP 2013091803 A JP2013091803 A JP 2013091803A JP 6302624 B2 JP6302624 B2 JP 6302624B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- plane
- reprojection
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 description 170
- 238000010586 diagram Methods 0.000 description 58
- 230000003287 optical effect Effects 0.000 description 41
- 238000003384 imaging method Methods 0.000 description 37
- 238000006243 chemical reaction Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 26
- 102220554179 APC membrane recruitment protein 1_F11A_mutation Human genes 0.000 description 23
- 239000013598 vector Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000009434 installation Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 102220078973 rs764120718 Human genes 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 102100032244 Dynein axonemal heavy chain 1 Human genes 0.000 description 6
- 101001075931 Halobacterium salinarum (strain ATCC 700922 / JCM 11081 / NRC-1) 50S ribosomal protein L6 Proteins 0.000 description 6
- 101001016198 Homo sapiens Dynein axonemal heavy chain 1 Proteins 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 101100439295 Citrus limon ClPT1 gene Proteins 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 101800004021 PP2-A Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102000004082 Calreticulin Human genes 0.000 description 1
- 108090000549 Calreticulin Proteins 0.000 description 1
- 102220465832 La-related protein 1_F10A_mutation Human genes 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
Claims (7)
- 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
前記制御装置は、一つの入力画像に関する前記直線のそれぞれが前記再投影軸から前記再投影平面に向かって延び且つ前記再投影平面に垂直な平面において平行となるよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、
前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
画像生成装置。 - 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
前記制御装置は、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
画像生成装置。 - 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、且つ、前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に個別に決定して前記出力画像を調整する制御装置を備える、
画像生成装置。 - 高さの異なる位置に配置された複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
前記画像生成装置は、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、
前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きは、前記出力画像上で各入力画像における所定地物を表す画像が連続するように、入力画像毎に個別に調整されている、
画像生成装置。 - 各入力画像における所定地物は、各カメラから見た無限遠線である、
請求項1乃至4の何れか一項に記載の画像生成装置。 - 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、
前記出力画像は、前記走行体の近傍を上空から見下ろした画像の周囲に、前記走行体から水平方向に周囲を見た画像を表示し、且つ、水平線を円弧状に表示する、
請求項1乃至5の何れか一項に記載の画像生成装置。 - 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、該走行体の一対の脚部の外側を撮像する第1カメラと、該一対の脚部の間の空間を撮像する第2カメラと、前記走行体が走行するレールの延在方向を撮像する第3カメラとを含む、
請求項1乃至6の何れか一項に記載の画像生成装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013091803A JP6302624B2 (ja) | 2013-04-24 | 2013-04-24 | 画像生成装置 |
CN201480007789.1A CN104982031B (zh) | 2013-04-24 | 2014-02-24 | 处理对象图像生成装置、处理对象图像生成方法及操作支援系统 |
PCT/JP2014/054347 WO2014174884A1 (ja) | 2013-04-24 | 2014-02-24 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
EP14788579.2A EP2991343B1 (en) | 2013-04-24 | 2014-02-24 | Image to be processed generating device, image to be processed generating method, and operation assistance system |
US14/878,150 US10621743B2 (en) | 2013-04-24 | 2015-10-08 | Processing-target image creating device, processing-target image creating method, and operation assisting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013091803A JP6302624B2 (ja) | 2013-04-24 | 2013-04-24 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014216797A JP2014216797A (ja) | 2014-11-17 |
JP6302624B2 true JP6302624B2 (ja) | 2018-03-28 |
Family
ID=51791469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013091803A Active JP6302624B2 (ja) | 2013-04-24 | 2013-04-24 | 画像生成装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10621743B2 (ja) |
EP (1) | EP2991343B1 (ja) |
JP (1) | JP6302624B2 (ja) |
CN (1) | CN104982031B (ja) |
WO (1) | WO2014174884A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016225865A (ja) | 2015-06-01 | 2016-12-28 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 俯瞰画像生成装置 |
CN109074628A (zh) * | 2016-05-13 | 2018-12-21 | 索尼公司 | 生成装置和生成方法以及再现装置和再现方法 |
JP2018050119A (ja) * | 2016-09-20 | 2018-03-29 | 国立大学法人 東京大学 | 作業車両の表示システム |
WO2018102990A1 (en) * | 2016-12-06 | 2018-06-14 | SZ DJI Technology Co., Ltd. | System and method for rectifying a wide-angle image |
JP6760146B2 (ja) * | 2017-03-09 | 2020-09-23 | 株式会社タダノ | クレーン |
JP7143578B2 (ja) * | 2017-10-17 | 2022-09-29 | 株式会社タダノ | 作業車両 |
JP7315303B2 (ja) * | 2018-01-26 | 2023-07-26 | 株式会社アイシン | 画像処理装置 |
US10593014B2 (en) * | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
CN112930557A (zh) * | 2018-09-26 | 2021-06-08 | 相干逻辑公司 | 任何世界视图生成 |
TWI811523B (zh) * | 2019-03-19 | 2023-08-11 | 日商住友重機械工業股份有限公司 | 支援裝置、支援方法、支援程式及廠房 |
CN113011274B (zh) * | 2021-02-24 | 2024-04-09 | 南京三百云信息科技有限公司 | 图像识别方法、装置、电子设备及存储介质 |
JP7579736B2 (ja) | 2021-03-31 | 2024-11-08 | 住友重機械搬送システム株式会社 | 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259220A3 (en) | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Method and apparatus for displaying image |
US6195204B1 (en) * | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
JP2002083285A (ja) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
JP2008312004A (ja) * | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | カメラシステム及び機械装置 |
JP5292874B2 (ja) * | 2007-12-17 | 2013-09-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 |
JP4629131B2 (ja) * | 2008-09-03 | 2011-02-09 | 大日本印刷株式会社 | 画像変換装置 |
JP5444338B2 (ja) * | 2009-05-25 | 2014-03-19 | パナソニック株式会社 | 車両周囲監視装置 |
JP5135380B2 (ja) | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
JP5362639B2 (ja) * | 2010-04-12 | 2013-12-11 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP5550970B2 (ja) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP5090496B2 (ja) * | 2010-04-12 | 2012-12-05 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP5544277B2 (ja) * | 2010-10-29 | 2014-07-09 | 株式会社日立情報通信エンジニアリング | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム |
JP2012147149A (ja) * | 2011-01-11 | 2012-08-02 | Aisin Seiki Co Ltd | 画像生成装置 |
JP2012191380A (ja) * | 2011-03-10 | 2012-10-04 | Panasonic Corp | カメラ、画像変換装置、及び画像変換方法 |
-
2013
- 2013-04-24 JP JP2013091803A patent/JP6302624B2/ja active Active
-
2014
- 2014-02-24 CN CN201480007789.1A patent/CN104982031B/zh active Active
- 2014-02-24 WO PCT/JP2014/054347 patent/WO2014174884A1/ja active Application Filing
- 2014-02-24 EP EP14788579.2A patent/EP2991343B1/en active Active
-
2015
- 2015-10-08 US US14/878,150 patent/US10621743B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160035110A1 (en) | 2016-02-04 |
JP2014216797A (ja) | 2014-11-17 |
EP2991343A1 (en) | 2016-03-02 |
EP2991343A4 (en) | 2016-05-25 |
WO2014174884A1 (ja) | 2014-10-30 |
US10621743B2 (en) | 2020-04-14 |
EP2991343B1 (en) | 2019-06-12 |
CN104982031B (zh) | 2019-01-11 |
CN104982031A (zh) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6302624B2 (ja) | 画像生成装置 | |
JP6029306B2 (ja) | 作業機械用周辺監視装置 | |
JP2014183500A (ja) | 作業機械用周辺監視装置 | |
JP6456584B2 (ja) | 作業機械用周辺監視装置 | |
WO2011129276A1 (ja) | 画像生成装置及び操作支援システム | |
JP6321977B2 (ja) | 重機用周辺監視装置 | |
JP5135380B2 (ja) | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム | |
JP5362639B2 (ja) | 画像生成装置及び操作支援システム | |
JP6324763B2 (ja) | クレーン | |
JP6324665B2 (ja) | 作業機械用周辺監視装置 | |
JP6740259B2 (ja) | 作業機械 | |
WO2011129277A1 (ja) | 画像生成装置及び操作支援システム | |
JP6169381B2 (ja) | ショベル | |
JP5805574B2 (ja) | 作業機械用周辺監視装置 | |
JP2013205956A (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP2017223111A (ja) | ショベル | |
JP6257918B2 (ja) | ショベル | |
JP2014183498A (ja) | 作業機械用周辺監視装置 | |
JP6295026B2 (ja) | ショベル | |
JP6482750B2 (ja) | ショベル | |
JP5808679B2 (ja) | 画像生成装置及び操作支援システム | |
JP2020188474A (ja) | ショベル | |
JP2019071677A (ja) | ショベル |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6302624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |