JPWO2018221209A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JPWO2018221209A1 JPWO2018221209A1 JP2019522095A JP2019522095A JPWO2018221209A1 JP WO2018221209 A1 JPWO2018221209 A1 JP WO2018221209A1 JP 2019522095 A JP2019522095 A JP 2019522095A JP 2019522095 A JP2019522095 A JP 2019522095A JP WO2018221209 A1 JPWO2018221209 A1 JP WO2018221209A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- viewpoint
- unit
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 116
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 493
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000013459 approach Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000009466 transformation Effects 0.000 description 59
- 238000000034 method Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 27
- 238000003908 quality control method Methods 0.000 description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
変換特性は、本発明のカメラシステムが搭載された車が出荷前に(工場において)/販売される前に(販売店において)調整されても良い。また、販売後に車のユーザが変換特性を調整できるようにしても良い。車のユーザが変換特性を調整する場合は、ユーザごとにその調整値を保存しておいて、ユーザに応じて適宜読み出すような処理を行っても良い。
Xs-Xvp=R×cosα,Yt-Yvp=R×sinα
・・・(1)
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
を備える画像処理装置。
<2>
前記移動変換部は、前記被写体距離に応じて、前記被写体距離が、前記移動変換の前より短くなるように、前記被写体位置を移動させる前記移動変換を行う
<1>に記載の画像処理装置。
<3>
前記移動変換部は、前記被写体距離が長いほど、前記消失点に近づくように、前記被写体位置を移動させる前記移動変換を行う
<2>に記載の画像処理装置。
<4>
前記移動変換部は、前記被写体距離が閾値以上の前記被写体位置を移動させる前記移動変換を行う
<3>に記載の画像処理装置。
<5>
前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
<1>ないし<4>のいずれかに記載の画像処理装置。
<6>
前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
<5>に記載の画像処理装置。
<7>
前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
<1>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
<7>に記載の画像処理装置。
<9>
処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うことと
を含む画像処理方法。
<10>
処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。
Claims (10)
- 処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
を備える画像処理装置。 - 前記移動変換部は、前記被写体距離に応じて、前記被写体距離が、前記移動変換の前より短くなるように、前記被写体位置を移動させる前記移動変換を行う
請求項1に記載の画像処理装置。 - 前記移動変換部は、前記被写体距離が長いほど、前記消失点に近づくように、前記被写体位置を移動させる前記移動変換を行う
請求項2に記載の画像処理装置。 - 前記移動変換部は、前記被写体距離が閾値以上の前記被写体位置を移動させる前記移動変換を行う
請求項3に記載の画像処理装置。 - 前記対象画像を、所定の視点から見た視点変換画像に変換する視点変換を行う視点変換部をさらに備え、
前記移動変換部は、前記視点変換画像の前記移動変換を行う
請求項1に記載の画像処理装置。 - 前記視点変換部は、前記所定の視点から撮影を行ったときの光軸が、前記視点変換画像における消失点に合致するように、前記視点変換を行う
請求項5に記載の画像処理装置。 - 前記移動変換部は、前記移動変換前の前記被写体距離と、前記移動変換後の前記被写体距離との関係を表す変換特性に従って、前記移動変換を行い、
前記移動変換に用いられる前記変換特性を切り替える切り替え部をさらに備える
請求項1に記載の画像処理装置。 - 前記移動変換により得られる移動変換画像に、前記移動変換に用いられる前記変換特性に応じて異なるOSD(On Screen Display)情報を重畳する重畳部をさらに備える
請求項7に記載の画像処理装置。 - 処理対象の対象画像を取得することと、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行うことと
を含む画像処理方法。 - 処理対象の対象画像を取得する取得部と、
前記対象画像における消失点から被写体が映る被写体位置までの被写体距離に応じて、前記対象画像における前記被写体位置を移動させる移動変換を行う移動変換部と
して、コンピュータを機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017106645 | 2017-05-30 | ||
JP2017106645 | 2017-05-30 | ||
PCT/JP2018/018840 WO2018221209A1 (ja) | 2017-05-30 | 2018-05-16 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018221209A1 true JPWO2018221209A1 (ja) | 2020-04-02 |
JP7150709B2 JP7150709B2 (ja) | 2022-10-11 |
Family
ID=64455905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019522095A Active JP7150709B2 (ja) | 2017-05-30 | 2018-05-16 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11521395B2 (ja) |
EP (1) | EP3633598B1 (ja) |
JP (1) | JP7150709B2 (ja) |
CN (1) | CN110651295B (ja) |
WO (1) | WO2018221209A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017210845A1 (de) * | 2017-06-27 | 2018-12-27 | Conti Temic Microelectronic Gmbh | Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs |
US11089288B2 (en) * | 2017-09-11 | 2021-08-10 | Tusimple, Inc. | Corner point extraction system and method for image guided stereo camera optical axes alignment |
US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
WO2020014683A1 (en) * | 2018-07-13 | 2020-01-16 | Kache.AI | Systems and methods for autonomous object detection and vehicle following |
EP4087236A1 (en) * | 2021-05-03 | 2022-11-09 | Honeywell International Inc. | Video surveillance system with vantage point transformation |
JP7574756B2 (ja) | 2021-07-12 | 2024-10-29 | トヨタ自動車株式会社 | 仮想現実シミュレータ及び仮想現実シミュレーションプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010171914A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
WO2011158304A1 (ja) * | 2010-06-18 | 2011-12-22 | 三菱電機株式会社 | 運転支援装置、運転支援システム、および運転支援カメラユニット |
JP2012147149A (ja) * | 2011-01-11 | 2012-08-02 | Aisin Seiki Co Ltd | 画像生成装置 |
JP2013197816A (ja) * | 2012-03-19 | 2013-09-30 | Nippon Soken Inc | 車載画像表示装置 |
JP2015015527A (ja) * | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
JP2015061292A (ja) * | 2013-09-20 | 2015-03-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7893963B2 (en) * | 2000-03-27 | 2011-02-22 | Eastman Kodak Company | Digital camera which estimates and corrects small camera rotations |
US7239331B2 (en) * | 2004-02-17 | 2007-07-03 | Corel Corporation | Method and apparatus for correction of perspective distortion |
JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP5003946B2 (ja) * | 2007-05-30 | 2012-08-22 | アイシン精機株式会社 | 駐車支援装置 |
JP2009081496A (ja) | 2007-09-25 | 2009-04-16 | Hitachi Ltd | 車載カメラ |
JP5208147B2 (ja) | 2010-03-09 | 2013-06-12 | 三菱電機株式会社 | 車載カメラのカメラキャリブレーション装置 |
JP5321540B2 (ja) | 2010-06-25 | 2013-10-23 | 株式会社Jvcケンウッド | 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム |
JP5884439B2 (ja) | 2011-11-24 | 2016-03-15 | アイシン精機株式会社 | 車両周辺監視用画像生成装置 |
US10652466B2 (en) * | 2015-02-16 | 2020-05-12 | Applications Solutions (Electronic and Vision) Ltd | Method and device for stabilization of a surround view image |
WO2017122552A1 (ja) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
JP6819681B2 (ja) * | 2016-06-08 | 2021-01-27 | ソニー株式会社 | 撮像制御装置および方法、並びに車両 |
-
2018
- 2018-05-16 CN CN201880033861.6A patent/CN110651295B/zh active Active
- 2018-05-16 WO PCT/JP2018/018840 patent/WO2018221209A1/ja active Application Filing
- 2018-05-16 JP JP2019522095A patent/JP7150709B2/ja active Active
- 2018-05-16 US US16/615,976 patent/US11521395B2/en active Active
- 2018-05-16 EP EP18809783.6A patent/EP3633598B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010171914A (ja) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | 画像データ変換装置 |
WO2011158304A1 (ja) * | 2010-06-18 | 2011-12-22 | 三菱電機株式会社 | 運転支援装置、運転支援システム、および運転支援カメラユニット |
JP2012147149A (ja) * | 2011-01-11 | 2012-08-02 | Aisin Seiki Co Ltd | 画像生成装置 |
JP2013197816A (ja) * | 2012-03-19 | 2013-09-30 | Nippon Soken Inc | 車載画像表示装置 |
JP2015015527A (ja) * | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 映像表示システム、映像合成装置及び映像合成方法 |
JP2015061292A (ja) * | 2013-09-20 | 2015-03-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110651295B (zh) | 2024-04-26 |
EP3633598A4 (en) | 2020-04-22 |
US11521395B2 (en) | 2022-12-06 |
US20200110947A1 (en) | 2020-04-09 |
JP7150709B2 (ja) | 2022-10-11 |
CN110651295A (zh) | 2020-01-03 |
WO2018221209A1 (ja) | 2018-12-06 |
EP3633598A1 (en) | 2020-04-08 |
EP3633598B1 (en) | 2021-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7150709B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP6311020B2 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
CN107660337B (zh) | 用于从鱼眼摄像机产生组合视图的系统及方法 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
JP5444338B2 (ja) | 車両周囲監視装置 | |
TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
JP5049300B2 (ja) | 障害物検出表示装置 | |
JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
JP5321711B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP2008085446A (ja) | 画像生成装置および画像生成方法 | |
US20110001826A1 (en) | Image processing device and method, driving support system, and vehicle | |
JP2009081664A (ja) | 車両用周辺監視装置および映像表示方法 | |
JP2016535377A (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
WO2017179722A1 (ja) | 画像処理装置及び撮像装置 | |
US10362231B2 (en) | Head down warning system | |
US11813988B2 (en) | Image processing apparatus, image processing method, and image processing system | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2019175133A (ja) | 画像処理装置、画像表示システムおよび画像処理方法 | |
JP2016110312A (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
JP2012222664A (ja) | 車載カメラシステム | |
JP7196920B2 (ja) | 運転支援装置および運転支援方法、プログラム | |
JP2008294616A (ja) | 運転支援システム及び車両 | |
WO2021131481A1 (ja) | 表示装置、表示方法及び表示プログラム | |
JP6187322B2 (ja) | 画像表示装置、画像表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7150709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |