[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5500369B2 - 車両周辺画像生成装置 - Google Patents

車両周辺画像生成装置 Download PDF

Info

Publication number
JP5500369B2
JP5500369B2 JP2010163229A JP2010163229A JP5500369B2 JP 5500369 B2 JP5500369 B2 JP 5500369B2 JP 2010163229 A JP2010163229 A JP 2010163229A JP 2010163229 A JP2010163229 A JP 2010163229A JP 5500369 B2 JP5500369 B2 JP 5500369B2
Authority
JP
Japan
Prior art keywords
vehicle
image
viewpoint
camera
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010163229A
Other languages
English (en)
Other versions
JP2011055480A (ja
Inventor
一矢 渡邊
昇 長嶺
智幸 松葉
淳 門脇
俊宏 森
裕一 大下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2010163229A priority Critical patent/JP5500369B2/ja
Priority to EP10806367.8A priority patent/EP2464113B1/en
Priority to PCT/JP2010/062658 priority patent/WO2011016368A1/ja
Priority to KR1020127003991A priority patent/KR101354068B1/ko
Priority to CN201080034684.7A priority patent/CN102474597B/zh
Priority to US13/388,619 priority patent/US9156402B2/en
Publication of JP2011055480A publication Critical patent/JP2011055480A/ja
Application granted granted Critical
Publication of JP5500369B2 publication Critical patent/JP5500369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車載カメラにより撮影された車両の周辺画像を用いて車両の周囲の状況を示す車両周辺画像を生成する車両周辺画像生成装置に関する。
車両には、周囲の状況を確認するためにサイドミラーやルームミラーが備えられているが、これらのミラーを用いても車両の構造上、運転席から車両外側の情景を確認することができない死角が存在する。このような死角を極力少なくするために、車体（例えばボンネット近傍やリアゲート近傍）にミラーを備えている車両がある。しかしながら、この種のミラーを用いても死角を完全になくすことは容易ではなく、また、このようなミラーを配設した場合には車両のデザインを損なわせることになる。このような問題を鑑みて、近年においては、車両の各部に配設されたカメラにより取得された車両の周辺画像（撮影画像）を用いて車両の周囲の状況を確認する技術が利用されている（例えば特許文献１−４等）。
特許文献１−３に記載の技術は、グラフィックで描かれた自車両を示すアイコンを表示画像の中央に配置し、当該アイコンの周辺に自車両に搭載されたカメラで撮影した撮影画像を車両の鉛直上方向からを視点とする画像に座標変換して表示する車両の周辺を監視する。
また、特許文献４に記載の車両用映像表示装置は、車両に複数のカメラを備えて構成される。この車両用映像表示装置は、複数のカメラにより取得された撮影画像に基づいて車両上空の所定の視点から車両を投射した投射映像を生成し、当該作成された投射映像に車両上空の視点からの車両のグラフィックデータを重畳させて表示する。
特許第３８４７５４７号明細書 特許第３４７５５０７号明細書 特開２００３−３０６２７号公報 特開２００３−３４６１８９号公報
特許文献１−３に記載の技術のように鉛直上方向からを視点とする画像を表示する形態は、所謂「トップビュー画像」と称される。当該トップビュー画像のような表示形態では車両の周辺を遠方に亘って広く見渡すことができないという問題がある。トップビュー画像においては車両の近傍のみが表示装置に表示されることになり、後退時の進路方向に近づく歩行者等の障害物が至極車両に接近するまで認識することができなかったり、障害物の存在を見落としたりしてしまう可能性がある。このため、現在商品化されている製品においては、トップビュー画像と共に車両後方の映像が同時に表示装置に表示されている。
また、特許文献４に記載の技術では、車両上空の所定の位置から斜めに見下ろす投射面に投射する方法が開示されている。この方法は、垂直から見下ろして投射面に投影する方法に比べれば、斜めに見下ろした場合の注視点側を立体的に表示できるので直感的に接近物の存在を捕らえることができ、更に視野もその分広くなる。しかしながら、斜めのアングルであるために、視点とは逆の車両の真下側が逆に見えなくなってしまうため車両周辺
全体を同時に広く見渡すことができない。
本発明の目的は、上記問題に鑑み、車両の周辺を同時に広く見渡すことが可能な車両周辺画像を生成する車両周辺画像生成装置を提供することにある。
上記目的を達成するための本発明に係る車両周辺画像生成装置の特徴構成は、車両に設けられた複数の撮影カメラにより撮影された前記車両の周辺画像を取得する画像取得部と、前記車両の車室内に設けられ画像を表示する表示装置と、前記表示装置に表示される画像の視点となる位置を鉛直上方向からの視点に設定する視点位置設定部と、前記周辺画像を用いて前記視点位置設定部により設定された位置を視点とする魚眼画像を生成する魚眼画像生成部と、前記視点位置設定部により設定された位置を視点とする魚眼画像として自車を示す自車イメージを生成する自車イメージ生成部と、前記魚眼画像と前記自車イメージとを用いて前記表示装置に表示する表示画像を生成する表示画像生成部と、を備え、前記魚眼画像の視点位置が変更可能である点にある。
ここで、撮影画面に歪みのある広画角カメラにより取得された撮影画像のみを表示する場合には距離感や大きさ感が分かり難いが、画角の歪みに合わせて自車を示す自車イメージも歪んで表示されるので、直感的に距離感や大きさ感を把握する事ができる。
したがって本特徴構成によれば、表示装置に車両の周辺を魚眼画像で表示するので車両の周辺を同時に広く見渡すことが可能となる。また、魚眼画像の視点が鉛直上方向であるので、魚眼画像に含まれる物体の位置や大きさ等を直感的に把握し易くなる。更に、センサデバイスの検出結果に基づく車両の状態により魚眼画像の視点位置を変更できると共に、ユーザにより任意に魚眼画像の視点位置を変更できるので、状況に応じて着目したい位置が変わった場合であっても、適切な視点からの魚眼画像を表示させることが可能となる。また、自車に限らず、魚眼カメラを含む広画角カメラを使って撮影した画像上に、仮想的にグラフィックで描かれた障害物や歩行者、駐車支援ガイド表示等においても適用が可能であり、魚眼カメラのデメリットである「直感的に距離感が把握し難い」という課題を軽減する効果も備える。
また、このような構成とすれば、車両の状況に応じた視点とする魚眼画像を表示することが可能となる。
また、前記視点位置の変更が鉛直方向に垂直な水平面内において行われると好適である。
このような構成とすれば、状況に応じて着目したい位置が変わった場合であっても、適切な視点からの魚眼画像を表示させることが可能となる。
また、前記自車イメージ生成部は、前記自車イメージの長さを短くして生成すると好適である。
このような構成とすれば、車両の前後を広範囲に亘って表示することが可能となる。
車両周辺画像生成装置を備えた車両の概略を示す図である。 車両周辺画像生成装置の概略を示すブロック図である。 車両の現在位置を模式的に示す図である。 各カメラにより取得される撮影画像の一例を示す図である。 車両周辺画像生成装置により生成された魚眼画像の一例を示す図である。 視点を変更した場合の魚眼画像の例を示す図である。 視点を変更した場合の魚眼画像の例を示す図である。
以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る車両周辺画像生成装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、カメラデバイス１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮影画像を取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮影画像が取得される。
サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮影画像を取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。
左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮影画像を取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮影画像が取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮影画像を取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮影画像が取得される。
リアカメラ１３は、車両１００の後方の情景を撮影した撮影画像を取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮影画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。
本発明に係る車両周辺画像生成装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された車両の周辺画像（撮影画像）を用いて、ユーザが好適に車両１００の周囲の状況を示す車両周辺画像を生成する機能を備えている。図２は、本車両周辺画像生成装置５０の概略構成を模式的に示すブロック図である。
車両周辺画像生成装置５０は、カメラデバイス１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、表示装置４１、視点切替スイッチ４２を備えて構成される。カメラデバイス１は、上述のようにフロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、ステアリングセンサ２１、車輪速センサ２２、シフト位置センサ２３を備えて構成される。ＥＣＵ３は、画像取得部３１、視点位置設定部３２、魚眼画像生成部３３、表示画像生成部３４、自車イメージ生成部３５の各機能部を備えて構成される。このように構成される本車両周辺画像生成装置５０は、ＣＰＵを中核部材として車両１００の周辺の状況を示す車両周辺画像を生成する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３は、夫々が少なくとも領域Ａ−Ｄ（図１参照）を含む情景を撮影した撮影画像を取得する。このように取得された撮影画像は、後述の画像取得部３１に伝達される。
ステアリングセンサ２１は、車両１００が有するステアリング６１（図１参照）の舵角を検出する。舵角とは、中立状態からステアリング６１を時計方向又は反時計方向に回転させた際の回転角に相当するものである。中立状態とは、車両１００が備える車輪（図示せず）の操舵輪の方向が車幅と平行となる状態、すなわち車両１００が直進可能となる状態である。このようなステアリング６１の回転角を検出するステアリングセンサ２１は、ホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。
このようなホール素子を用いる場合には、ステアリング６１の回転軸の周囲に永久磁石を配設し、ステアリング６１の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、ステアリングセンサ２１は当該検出結果に基づいてステアリング６１の舵角を演算する。ステアリングセンサ２１により演算された舵角は舵角情報として、後述の視点位置設定部３２に伝達される。
車輪速センサ２２は、車両１００が有する車輪の回転速度の検出を行う。車輪速センサ２２も上述のステアリングセンサ２１と同様にホール素子を用いて構成することが可能であり、適切に車輪の回転速度を検出することができる。車輪速センサ２２は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車輪速センサ２２は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車輪速センサ２２により検出された車輪速度の検出結果は、後述する視点位置設定部３２に伝達される。
シフト位置センサ２３は、車両１００が有するシフトレバー（図示せず）のシフト位置の検出を行う。シフトレバーは、本実施形態においては、ＡＴ（Automatic Transmission）機構が備えるギヤの切り替えを行うレバーである。このようなＡＴ機構は変速機内部で駆動系が固定され、主に駐車時に使用する〔Ｐ〕レンジ、後退時に使用する〔Ｒ〕レンジ、変速機内部がフリー状態となり、エンジンからの動力を駆動系に伝達しないようにする〔Ｎ〕レンジ、通常走行時に使用する〔Ｄ〕レンジ、下り坂等エンジンブレーキを使用する際に使用し、シフトアップの上限を２速に固定する〔２〕レンジ、急な下り坂等、強力なエンジンブレーキを使用する際に使用し、ギヤが１速に固定される〔１〕レンジを有している。ＡＴ機構は、このようなシフトレンジに対応するシフト位置毎に出力電圧が出力可能に設定され、シフト位置センサ２３は当該出力電圧を検出することにより現在のシフト位置の検出が可能となる。シフト位置センサ２３により検出されたシフト位置の検出結果は、後述する視点位置設定部３２に伝達される。
画像取得部３１は、車両１００に設けられた複数の撮影カメラ１１−１３により撮影された車両１００の周辺画像を取得する。画像取得部３１により取得される撮影画像（周辺画像）は、画像取得部３１が備える記憶領域に記憶され、必要に応じて後述する魚眼画像生成部３３により読み出されて（抽出されて）使用される。なお、画像取得部３１に記憶された撮影画像は、記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、ユーザのスイッチ操作等により消去する構成とすることも可能である。或いは、記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で記憶と消去とを行う構成とすることも可能である。
視点位置設定部３２は、詳細は後述するが、車両１００の車室内に設けられ画像を表示する表示装置４１に表示される画像の視点となる位置を設定する。この視点の設定は、ステアリングセンサ２１から伝達されるステアリング６１の位置の検出結果や、車輪速センサ２２から伝達される車輪速の検出結果や、シフト位置センサ２３から伝達されるシフトレバーのシフト位置の検出結果や、ユーザによる視点切替スイッチ４２の操作に応じて設定される。
例えば、ステアリングセンサ２１の検出結果に基づいて視点の設定を行う場合には、ステアリング６１に操舵に係る上手側の車両１００の前方（ステアリング６１を時計方向に回転する場合には車両１００の左前方が相当し、ステアリング６１を反時計方向に回転する場合には車両１００の右前方が相当する）に視点を設定すると好適である。このように視点を設定すると、死角に存在する物体を視認し易くすることができる。
また、車輪速センサ２３の検出結果に基づいて視点の設定を行う場合には、車両１００の車輪速が遅いほど車両１００の進行方向の近傍を視認可能な視点に設定すると好適である。一般的に車両１００の近傍に障害物等が存在する場合には車両１００の移動速度を遅くして走行することから、このように視点を設定すると、死角をより注視し易くすることができる。
更に、シフトレバー１１の位置が少なくとも前進走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジのいずれかの位置にある場合には前進走行用の視点に設定し、シフトレバー１１の位置が少なくとも後退走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジの位置にある場合には後退走行用の視点に設定する。このように視点を設定すると、進行方向に応じた死角に存在する可能性がある物体を視認し易くすることができる。
ここで、本車両周辺画像生成装置５０は、詳細は後述するが、車両１００の鉛直上方からを視点とする当該車両１００の周囲の情景を魚眼画像として表示装置４１に表示することが可能である。車両１００の鉛直上方は、車両１００の中央部の鉛直上方、フロント部の鉛直上方、リア部の鉛直上方に切り換えることが可能である。また、車両１００のサイド部から所定所離離れた位置の鉛直上方等に切り換えることも可能である。この視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより行うことが可能である。本実施形態では、車両１００の中央部の鉛直上方からの視点がデフォルトとして設定されているとして説明する。
魚眼画像生成部３３は、周辺画像を用いて視点位置設定部３２により設定された位置を視点とする魚眼画像を生成する。周辺画像とは、車両１００の周辺を撮影して得られた撮影画像である。上述のように、撮影画像は画像取得部３１に記憶されている。視点位置設定部３２により設定された位置とは、本実施形態では車両１００の中央部の鉛直上方である。魚眼画像とは、所謂魚眼レンズを用いて撮影した際に得られるような画像であり、画像中心（視点）から画像の周囲に離れる程、画像歪が大きくなる画像である。したがって、魚眼画像生成部３３は、画像取得部３１に記憶されている周辺画像を用いて、車両１００の中央部の鉛直上方を視点とする魚眼画像を生成する。魚眼画像生成部３３により生成された魚眼画像は、後述の表示画像生成部３４に伝達される。
自車イメージ生成部３５は、自車を示す自車イメージを生成する。自車とは、本車両周辺画像生成装置５０を搭載する車両１００である。自車イメージは、表示装置４１に表示される画像内において、ユーザが自車を特定し易くするために表示されるイメージ画像である。この自車イメージは、車両１００を縮小した画像であっても良いし、車両１００の四隅を示す点であっても良い。もちろん、その他の形状（例えば四角形等）で示すことも可能である。本実施形態では、車両１００を縮小した画像として説明する。自車イメージ生成部３５は、このような自車イメージを生成し、後述する表示画像生成部３４に伝達する。
表示画像生成部３４は、魚眼画像と自車イメージとを用いて表示装置４１に表示する表示画像を生成する。魚眼画像は、上述の魚眼画像生成部３３から伝達される。自車イメージは、上述の自車イメージ生成部３５から伝達される。表示画像生成部３４は、魚眼画像に自車イメージを重畳して表示画像を生成する。このように生成された表示画像は、表示装置４１において表示される。
次に、表示装置４１に表示される画像に関して図を用いて説明する。図３は、車両１００の現在位置を模式的に示す図である。なお、この図は表示装置４１に表示されるものではなく、表示装置４１に表示される画像について理解を容易にするために示した図である。図３に示されるように、車両１００の左前方には車両２００が駐車されており、車両１００の左後方には車両２０１が駐車されている。また、車両２０１の更に後方には、車両２０２が駐車されている。このような状況において、車両１００が備える各カメラ１１−１３により取得される撮影画像を図４に示す。
図４（ａ）は車両１００が備えるフロントカメラ１１により取得された撮影画像である。図４（ａ）に示されるように、フロントカメラ１１により取得された撮影画像には車両２００が含まれる。また、図４（ｂ）は車両１００が備える左サイドカメラ１２ａにより取得された撮影画像である。図４（ｂ）に示されるように、左サイドカメラ１２ａにより取得された撮影画像には、車両１００の左側のタイヤの一部と車両２００の一部とが含まれる。図４（ｃ）は車両１００が備える右サイドカメラ１２ｂにより取得された撮影画像である。図４（ｃ）に示されるように、右サイドカメラ１２ｂにより取得された撮影画像には、車両１００の右側のタイヤの一部が含まれる。図４（ｄ）は車両１００が備えるリアカメラ１３により取得された撮影画像である。図４（ｄ）に示されるように、リアカメラ１３により取得された撮影画像には車両２０１及び２０２が含まれる。このような撮影画像が各カメラ１１−１３により取得され、画像取得部３１に記憶される。
上述のような撮影画像（特にフロントカメラ１１により取得された撮影画像及びリアカメラ１３により取得された撮影画像）においては、車両１００の極近傍が死角となるので、当該撮影画像を用いた車両１００の周囲の安全確認は万全とはいい難い。即ち、場合によっては車両１００の周囲に存在する人や物などの障害物を見落としてしまう可能性がある。一方、単に各カメラ１１−１３で取得された撮影画像を基に、車両１００の鉛直上方からの画像を表示したのでは車両１００の遠方の確認ができなくなってしまう。本車両周辺画像生成装置５０は、車両１００の極近傍を表示すると共に、車両１００から離れた位置をも表示可能な画像を表示装置４１に表示する。このような画像を図５に示す。
図５は、車両１００の鉛直上方からを視点位置とする画像であり、魚眼画像からなる。即ち、魚眼画像の視点が鉛直上方向からの視点となるように形成される。このような魚眼画像は、魚眼画像生成部３３が、画像取得部３１に記憶されている各カメラ１１−１３により取得された撮影画像を基に生成される。図５に示される魚眼画像には、車両２００及び２０１が含まれる。また、車両１００の極近傍も視認可能に含まれる。更に、魚眼画像であるため、車両１００からある程度離れた位置も含まれる。したがって、ユーザは車両１００の極近傍と離れた位置とを一つの画像で確認することが可能となる。
本車両周辺画像生成装置５０によれば、魚眼画像の視線位置が変更可能である。例えば、図６左側に示される図において、車両２０１と車両２０２との間のスペースに車両１００を駐車させる際、魚眼画像生成部３３が図６右側に示されるような魚眼画像を生成し、表示装置４１に表示することも可能である。このように視線位置を適宜変更することにより、ユーザは車両１００と車両２０１との間を注視することが可能となる。また、視線位置が設定された場合には、車両１００を示す自車イメージが視点位置設定部３２により設定された位置を視点とする魚眼画像で生成される。したがって、適切に車両１００の周囲を視認することが可能となる。
〔その他の実施形態〕
上記実施形態では、各カメラ１１−１３により取得された撮影画像を基に魚眼画像を生成するとして説明した。各カメラ１１−１３が魚眼レンズを備えている場合には、各カメラ１１−１３により取得された撮影画像を合成して本発明に係る魚眼画像を生成しても良い。また、各カメラ１１−１３のレンズが魚眼レンズか否かに拘らず、平面的なトップビュー画像を生成し、その後魚眼画像化するような構成とすることも当然に可能である。
上記実施形態では、視点切替スイッチ４２をユーザが操作することにより魚眼画像の視点位置を変更することができるとして説明した。このような視点切替スイッチは、所謂「十字キー」のような入力デバイスを操作して視点をフレキシブルに変更するような構成とすることも可能である。このような構成とすると、「十字キー」をユーザが操作することにより、図７（ａ）に示されるように車両１００の中央上部（図７（ａ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能であるし、図７（ｂ）に示されるように車両１００の前方上部（図７（ｂ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能である。更には、図７（ｃ）に示されるように車両１００の後方上部（図７（ｃ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能である。また、モード選択スイッチ等を設けて、適宜視点位置を選択して表示する構成とすることも当然に可能である。この図７では、視点位置を鉛直方向に垂直な水平面内で変更可能として説明したが鉛直方向（高さ方向）にも変更しても良い。
また、自車イメージ生成部３５は、自車イメージの長さを短くして生成することも可能である。このように自車イメージを生成することにより、車両１００の前方及び後方を更に注視し易い魚眼画像とすることが可能となる。
上記実施形態では、魚眼画像の視点が鉛直上方向からの視点であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、魚眼画像の視点を斜め上方からの視点とすることも当然に可能である。
上記実施形態では、魚眼画像生成部３３により魚眼画像が生成されるとして説明した。上述したように魚眼画像とは所謂魚眼レンズを用いて撮影した際に得られる画像、つまり凸型の画像である。このような魚眼画像を生成するに当たり、複数の撮影カメラ１１−１３により撮影された車両１００の周辺画像を凸型の面に直接投影変換して生成することも可能である。また、複数の撮影カメラ１１−１３により撮影された車両１００の周辺画像を平面に投影変換して、つなぎ合わせて合成した合成画像（例えば、所謂「トップビュー画像」）を作成し、その合成画像を凸型の面に投影変換して生成することも可能である。
本発明は、車両の周辺を同時に広く見渡すことが可能な車両周辺画像を生成する車両周辺画像生成装置に用いることが可能である。
１：カメラデバイス
２：センサデバイス
３：ＥＣＵ（電子制御ユニット）
１１：フロントカメラ
１２：サイドカメラ
１２ａ：左サイドカメラ
１２ｂ：右サイドカメラ
１３：リアカメラ
２１：ステアリングセンサ
２２：車輪速センサ
２３：シフト位置センサ
３１：画像取得部
３２：視点位置設定部
３３：魚眼画像生成部
３４：表示画像生成部
３５：自車イメージ生成部
４１：表示装置
４２：視点切替スイッチ
５０：車両周辺画像生成装置

Claims (3)

  1. 車両に設けられた複数の撮影カメラにより撮影された前記車両の周辺画像を取得する画像取得部と、
    前記車両の車室内に設けられ画像を表示する表示装置と、
    前記表示装置に表示される画像の視点となる位置を鉛直上方向からの視点に設定する視点位置設定部と、
    前記周辺画像を用いて前記視点位置設定部により設定された位置を視点とする魚眼画像を生成する魚眼画像生成部と、
    前記視点位置設定部により設定された位置を視点とする魚眼画像として自車を示す自車イメージを生成する自車イメージ生成部と、
    前記魚眼画像と前記自車イメージとを用いて前記表示装置に表示する表示画像を生成する表示画像生成部と、
    を備え、
    前記魚眼画像の視点位置が変更可能である車両周辺画像生成装置。
  2. 前記視点位置の変更が鉛直方向に垂直な水平面内において行われる請求項１に記載の車両周辺画像生成装置。
  3. 前記自車イメージ生成部は、前記自車イメージの長さを短くして生成する請求項１又は２に記載の車両周辺画像生成装置。
JP2010163229A 2009-08-03 2010-07-20 車両周辺画像生成装置 Active JP5500369B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010163229A JP5500369B2 (ja) 2009-08-03 2010-07-20 車両周辺画像生成装置
EP10806367.8A EP2464113B1 (en) 2009-08-03 2010-07-28 Vehicle peripheral image generation device
PCT/JP2010/062658 WO2011016368A1 (ja) 2009-08-03 2010-07-28 車両周辺画像生成装置
KR1020127003991A KR101354068B1 (ko) 2009-08-03 2010-07-28 차량주변화상생성장치
CN201080034684.7A CN102474597B (zh) 2009-08-03 2010-07-28 车辆周围图像生成装置
US13/388,619 US9156402B2 (en) 2009-08-03 2010-07-28 Wide view vehicle periphery image generation apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009180561 2009-08-03
JP2009180561 2009-08-03
JP2010163229A JP5500369B2 (ja) 2009-08-03 2010-07-20 車両周辺画像生成装置

Publications (2)

Publication Number Publication Date
JP2011055480A JP2011055480A (ja) 2011-03-17
JP5500369B2 true JP5500369B2 (ja) 2014-05-21

Family

ID=43544264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010163229A Active JP5500369B2 (ja) 2009-08-03 2010-07-20 車両周辺画像生成装置

Country Status (6)

Country Link
US (1) US9156402B2 (ja)
EP (1) EP2464113B1 (ja)
JP (1) JP5500369B2 (ja)
KR (1) KR101354068B1 (ja)
CN (1) CN102474597B (ja)
WO (1) WO2011016368A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935435B2 (ja) * 2012-03-26 2016-06-15 富士通株式会社 画像処理装置、画像処理方法
FR2994921B1 (fr) * 2012-09-05 2015-08-07 Peugeot Citroen Automobiles Sa Dispositif de traitement pour generer un fichier d'image d'un environnement de vehicule selon une vue dont le type est fonction de la situation de vie, et systeme d'aide associe
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
KR101382798B1 (ko) * 2012-11-09 2014-04-08 현대자동차주식회사 차량의 카메라를 이용한 지도 생성 장치 및 방법
CN104823218A (zh) * 2012-12-03 2015-08-05 哈曼国际工业有限公司 使用单一普通摄像机来检测行人的系统和方法
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
CN103192785A (zh) * 2013-04-25 2013-07-10 夏春蕾 车辆四周立体空间全监控系统
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
CN103600707B (zh) * 2013-11-06 2016-08-17 同济大学 一种智能泊车系统的泊车位检测装置及方法
JP6307859B2 (ja) * 2013-12-02 2018-04-11 日産自動車株式会社 情報表示装置
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
CN104290661A (zh) * 2014-09-18 2015-01-21 昆明理工大学 一种空中障碍物示警装置及其控制方法
JP6361415B2 (ja) * 2014-09-24 2018-07-25 株式会社デンソー 車両用画像処理装置
JP6316161B2 (ja) * 2014-09-29 2018-04-25 クラリオン株式会社 車載用画像処理装置
JP6327115B2 (ja) * 2014-11-04 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
US10040394B2 (en) 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6626817B2 (ja) * 2016-11-30 2019-12-25 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP6639379B2 (ja) 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
EP3701711B1 (en) 2017-10-26 2023-07-26 Harman International Industries, Incorporated Surround view system and method thereof
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN111445534B (zh) * 2020-04-03 2023-04-21 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors
KR102524355B1 (ko) 2022-10-14 2023-04-21 주식회사 옵티멀이노베이션 Led 갈매기 표지판

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP3803021B2 (ja) * 2000-10-02 2006-08-02 松下電器産業株式会社 運転支援装置
JP3847547B2 (ja) 2000-10-17 2006-11-22 三菱電機株式会社 車両周辺監視支援装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP4071463B2 (ja) 2001-07-16 2008-04-02 株式会社デンソー 車両周辺画像処理装置
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP2003346189A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2005167309A (ja) * 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP4939828B2 (ja) * 2006-03-29 2012-05-30 株式会社デンソー 画像処理装置及びプログラム
JP5045172B2 (ja) * 2007-03-20 2012-10-10 マツダ株式会社 車両用運転支援装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP2009100261A (ja) * 2007-10-17 2009-05-07 Alpine Electronics Inc 車両周囲画像提供装置及び広角画像の補正方法
JP5292874B2 (ja) 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
DE102008046544A1 (de) * 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges

Also Published As

Publication number Publication date
EP2464113A4 (en) 2016-11-16
US9156402B2 (en) 2015-10-13
EP2464113A1 (en) 2012-06-13
KR101354068B1 (ko) 2014-01-22
EP2464113B1 (en) 2019-12-04
WO2011016368A1 (ja) 2011-02-10
CN102474597B (zh) 2015-01-21
KR20120030162A (ko) 2012-03-27
CN102474597A (zh) 2012-05-23
US20120127312A1 (en) 2012-05-24
JP2011055480A (ja) 2011-03-17

Similar Documents

Publication Publication Date Title
JP5500369B2 (ja) 車両周辺画像生成装置
JP5344227B2 (ja) 車両用周辺監視装置
JP5376223B2 (ja) 運転支援装置
US8803707B2 (en) Parking assistance system and parking assistance method
JP5099451B2 (ja) 車両周辺確認装置
CN110027552B (zh) 图像显示装置
WO2002007443A1 (fr) Systeme de controle
JP2011135253A (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5251804B2 (ja) 運転支援装置
WO2017159863A1 (ja) 情報処理装置
JP2008100596A (ja) 後方視認装置
JP2004182121A (ja) 運転支援装置
JP2005236493A (ja) 運転支援装置
JP5861449B2 (ja) 障害物警報装置
JP5584561B2 (ja) 画像処理装置、画像表示システム及び画像表示方法
JP3928660B2 (ja) 車両周辺監視装置
JP5821622B2 (ja) 障害物警報装置
JP4924770B2 (ja) 駐車支援装置及び駐車支援方法
JP2007096496A (ja) 車両周囲表示システム
JP2010016571A (ja) 運転支援装置
JP5765575B2 (ja) 撮影領域明示装置
JP5825091B2 (ja) 撮影領域明示装置
JP2007096497A (ja) 車両周囲表示システム
WO2013094345A1 (ja) 撮影領域明示装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140226

R151 Written notification of patent or utility model registration

Ref document number: 5500369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151