JP5986611B2 - Image processing apparatus, electronic apparatus, and image processing method - Google Patents
Image processing apparatus, electronic apparatus, and image processing method Download PDFInfo
- Publication number
- JP5986611B2 JP5986611B2 JP2014199076A JP2014199076A JP5986611B2 JP 5986611 B2 JP5986611 B2 JP 5986611B2 JP 2014199076 A JP2014199076 A JP 2014199076A JP 2014199076 A JP2014199076 A JP 2014199076A JP 5986611 B2 JP5986611 B2 JP 5986611B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- display
- image processing
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両に搭載された表示装置に画像を表示する技術に関する。 The present invention relates to a technique for displaying an image on a display device mounted on a vehicle.
一般に、車両に搭載した複数のカメラにより車両の周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を可能とする装置がある。また、車両の真上を仮想視点として見下ろした画像を画面に表示し、ユーザに車両全周囲の安全確認の手段を提供する装置がある。さらに、車両に搭載した複数のカメラを使用して所定の高さの視点で撮影し、カメラが撮影した画像の視点位置を車両の全体図とともに表示する第1画面と、この第1画面に表示される視点位置の移動に対応させて、それぞれのカメラ画像を表示する第2画面との2つの画面で車両周囲の安全確認を行う技術がある(例えば、特許文献1参照。)。 In general, there is an apparatus that enables monitoring of the periphery of a vehicle by acquiring images around the vehicle with a plurality of cameras mounted on the vehicle and displaying the images on a display device automatically or by a user operation. In addition, there is an apparatus that displays on the screen an image looking down directly above the vehicle as a virtual viewpoint, and provides a user with means for confirming safety around the entire vehicle. In addition, a first screen is displayed on the first screen, in which a plurality of cameras mounted on the vehicle are used to shoot from a viewpoint at a predetermined height, and the viewpoint position of the image captured by the camera is displayed together with an overall view of the vehicle. There is a technique for confirming safety around a vehicle on two screens, a second screen displaying each camera image, corresponding to the movement of the viewpoint position (see, for example, Patent Document 1).
しかしながら、従来のカメラによる車両周辺の画像表示は、複数のカメラのうち個々のカメラからの画像が車両のどの方向に対応しているのかを確認をする必要があり、画面にユーザの車両が映らないので車両と車両の周辺に存在する障害物との距離などの位置関係をユーザが把握するのは困難であった。 However, in the conventional image display around the vehicle by the camera, it is necessary to confirm in which direction the image from each of the cameras corresponds to the vehicle, and the user's vehicle is displayed on the screen. Therefore, it is difficult for the user to grasp the positional relationship such as the distance between the vehicle and an obstacle existing around the vehicle.
また、車両の真上を仮想視点として見下ろした画像を画面に表示した場合、ユーザは車両の全周囲の広い範囲をいちどに確認する必要があり、ユーザにとっては情報量が多すぎて、どこを注意すべきかのポイントを絞ることが困難であった。 In addition, when displaying an image looking down on the vehicle as a virtual viewpoint on the screen, the user needs to check a wide range of the entire circumference of the vehicle at a time, and the amount of information is too much for the user. It was difficult to narrow down the point of what to do.
さらに、特許文献1に開示されている技術では、カメラが撮影した画像の視点の位置を車両の全体図とともに示す画面と、視点位置の移動に対応させて、それぞれのカメラ画像を表示する画面とを別々の画面で表示しており、2つの画面に表示された情報の対応付けをユーザ自身で行わなければならず、車両と障害物との位置関係をユーザが把握しにくいという問題があった。
Furthermore, in the technique disclosed in
本発明は、上記課題に鑑みてなされたものであり、車両と車両周辺の障害物との位置関係をユーザが直感的に把握できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that allows a user to intuitively grasp the positional relationship between a vehicle and an obstacle around the vehicle.
上記課題を解決するため、請求項1の発明は、車両の周辺を撮影する複数のカメラから取得される画像に基づいて前記車両の周囲の画像を生成する画像生成手段を備え、前記画像生成手段は、前記車両の全周囲を含む広い範囲を前記車両の上方からみた視点とは異なる視点で前記車両の周囲の限られた範囲を順番に連続表示するための画像を生成し、前記連続表示は、前記車両の電源であるACCのON状態に応じた電源起動に基づき実行され、カメラ画像を切替える切替スイッチが操作されていない場合に継続して行われ、前記連続表示が継続している間に前記切替スイッチが操作されると、継続中の前記連続表示から前記車両の前方を撮影した画像を表示するフロントモードの表示に切替えられる。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記連続表示は、該連続表示が終了した後に前記車両の上方からみた視点画像の表示に切替えられる。
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the continuous display is switched to display of a viewpoint image viewed from above the vehicle after the continuous display is completed.
また、請求項3の発明は、請求項1に記載の画像処理装置において、前記連続表示は、該連続表示が終了した後にナビゲーション画像の表示に切替えられる。
According to a third aspect of the present invention, in the image processing apparatus according to the first aspect, the continuous display is switched to a display of a navigation image after the continuous display ends.
本発明によれば、ユーザは、連続表示が車両の電源であるACCのON状態に応じた電源起動に基づき実行されることで、車両の走行前に1つの画面で直感的に車両と障害物との位置関係を把握できる。 According to the present invention, the user can intuitively execute the vehicle and the obstacle on one screen before the vehicle travels by executing the continuous display based on the power activation according to the ON state of the ACC that is the power source of the vehicle. Can be grasped.
以下、図面を参照しつつ本発明の実施形態について説明する。
<1.第1の実施の形態>
<1−1.構成>
図1は、第1の実施形態の画像表示システム100のブロック図である。この画像表示システム100は、車両(本実施の形態では、自動車)に搭載される電子装置であり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。この画像表示システム100を利用するユーザとなる車両のドライバは当該車両の周辺を容易に把握できるようになっている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<1. First Embodiment>
<1-1. Configuration>
FIG. 1 is a block diagram of an
図1に示すように、画像表示システム100は、画像処理部10と、車両の周辺を撮影する撮影部5とを備えている。画像表示システム100は液晶ディスプレイなどの表示部21を備えており、表示部21の画面がドライバから視認可能なように車両のインストルメントパネルなどに設置される。また、撮影部5は、画像処理部10に電気的に接続され画像処理部10からの信号に基づいて動作する。なお、表示部21はタッチパネル機能を有し、ユーザから各種指示を受付可能である。
As shown in FIG. 1, the
撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52及びバックカメラ53を備えている。これらの車載カメラ51,52,53は、レンズと撮像素子とを備えており電子的に画像を取得する。
The photographing
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。図2に示すように、フロントカメラ51は、車両9の前端となるフロントバンパ91の左右略中心に設けられ、その光軸は車両9の直進方向に向けられている。また、サイドカメラ52は、左右のドアミラー93にそれぞれ設けられており、その光軸は直進方向に対して直交するように車両9の外部方向に向けられている。バックカメラ53は、車両9の後端となるリアバンパ92の左右略中心に設けられ、その光軸は車両9の直進方向の逆方向に向けられている。
FIG. 2 is a diagram illustrating positions where the in-
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
As the lenses of these in-
なお、車載カメラ51,52,53は180度以上の画角αを有しているため、各カメラの撮影範囲が重複する重複領域β生じる。このような重複領域では同一の物体が別々の方向に表示される。そのため、このような重複領域の画像処理は、両方のカメラの画像の重複する部分の透過率調整(例えば互いに50%とする。)して重ね合わせて表示してもよいし、重複する部分から任意の範囲の画像を削除してもよい。
Since the vehicle-mounted
図1に戻り、画像処理部10は、撮影部5で取得された撮影画像を処理して表示用の画像に変換する画像変換部3と、各種の演算処理を行うCPU1と、表示部21と通信を行う通信部42とを備えている。画像変換部3で生成された画像は通信部42から表示部21に出力されて表示される。
Returning to FIG. 1, the
画像変換部3は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて仮想視点からみた合成画像を生成できる。画像変換部3は、このような画像処理に必要な輝度調整部31と多重化部32と視点変換部33とを備えたハードウェア回路として構成されている。
The
輝度調整部31は、撮影部5で取得された撮影画像の全体としての明るさを示す平均輝度を参照し、撮影画像のゲイン調整を行うようになっている。具体的には、撮影画像の平均輝度が比較的高い場合はゲイン調整値を小さくし、比較的低い場合はゲイン調整値を大きくする。これにより、車両9の周辺環境がある程度暗い場合などにおいて撮影画像の明るさが調整されることとなる。
The
多重化部32は、複数の車載カメラ51,52,53で取得されてゲイン調整された複数の撮影画像を一つの画像に合成して多重化画像とする。視点変換部33は、多重化部32で生成された多重化画像を用いて、車両9の周辺の任意の仮想視点からみた合成画像を生成する。視点変換部33が、仮想視点からみた合成画像を生成する手法については後述する。
The
CPU1は、画像表示システム100の各部を統括的に制御する制御部として機能する。CPU1の各種の制御機能は、CPU1が備えるメモリ11などに予め記憶されたプログラムに従って演算処理が実行されることによりソフトウェア的に実現される。
The
また、画像処理部10は、車両9に設けられた各種装置からの信号を入力する信号入力部41を備えている。この信号入力部41を介して、画像表示システム100の外部からの信号がCPU1に入力される。具体的には、車両電源制御装置84からは車両のACC−ON/OFFの信号が入力される。ACCは、車両9の画像表示システム100を含む付属品に対して、電力を供給する供給線をON/OFFするスイッチである。
Further, the
また、表示部21にはシフトセンサ81、車速度センサ82、切替スイッチ83、および、車両電源制御装置84などから、各種情報を示す信号が入力される。シフトセンサ81からは、”P”,”D”,”N”,”R”などのシフトポジションが入力される。また、車速度センサ82からは、その時点の車両9の走行速度(km/h)が入力される。切替スイッチ83からは、表示部21のディスプレイに表示されるカメラ画像を切替える信号が入力される。例えばフロントカメラの画像、サイドカメラの画像、バックカメラの画像のような順序で切替えがなされる。車両電源制御装置84からは車両のACC−ON/OFFの信号が入力される。なお、後述するように車両電源制御装置84からの車両のACC−ON/OFF信号は信号入力部41を介して画像処理部10のCPU1にも入力される。
In addition, signals indicating various information are input to the
<1−2.画像変換処理>
次に、画像変換部3の視点変換部33が、撮影部5で得られた複数の撮影画像に基づいて、任意の仮想視点からみた合成画像を生成する手法について説明する。図3は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。
<1-2. Image conversion processing>
Next, a method in which the
撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方、及び、後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
When the
取得された4つの撮影画像P1〜P4は多重化された後、視点変換部33により仮想的な三次元の立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9の位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と、撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、テーブルデータとして画像処理部10のCPU1が備えるメモリ11に記憶される。
The obtained four captured images P1 to P4 are multiplexed and then projected onto a virtual three-dimensional curved surface SP by the
一方で、立体曲面SPに対するVP1,VP2,VP5,および、VP7などの仮想視点が設定される。そして、設定された仮想視点VP1,VP2,VP5,および、VP7に応じて、立体曲面SPにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成されることになる。 On the other hand, virtual viewpoints such as VP1, VP2, VP5, and VP7 for the solid curved surface SP are set. Then, according to the set virtual viewpoints VP1, VP2, VP5, and VP7, a necessary area on the three-dimensional curved surface SP is cut out as an image, so that a composite image viewed from an arbitrary virtual viewpoint is generated. .
例えば、図中に示すように、車両9の後方となる仮想視点VP1を設定した場合は、車両9の後方から車両9を見下ろしたような合成画像CP1が生成されることになる。また、車両9の左側面となる仮想視点VP2や右側面となるVP5を設定した場合は、車両9の左側面、または、右側面から車両9を見下ろしたような合成画像CP2、または、CP5が生成されることとなる。さらに、車両9の真上の仮想視点VP7を設定した場合は、車両9の真上から見下ろすような合成画像CP7が生成される。仮想視点と、立体曲面SPにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして画像処理部10のCPU1が備えるメモリ11に記憶される。
For example, as shown in the figure, when a virtual viewpoint VP1 that is behind the
実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、仮想視点に対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。また、合成画像中に示す車両9の像はあらかじめビットマップなどはメモリ11内に用意しておき、仮想視点に応じた方向の車両9の像を生成された合成画像に重畳すればよい。
In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface SP, and only the values of the pixels in the area necessary for the virtual viewpoint are based on the captured images P1 to P4. The processing speed can be improved. The image of the
なお、撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係のテーブルデータ、仮想視点と立体曲面SPにおける必要な領域との関係を定めたテーブルデータ、車両の像のビットマップデータなどのメモリ11内に保存されているデータは他のデータに書き換え可能である。またメモリ11はCPU1の内部に設けられているが、これに限らずCPU1の外部または画像処理部10の外部に設けられても良い。
It should be noted that the table data of the correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP, table data that defines the relationship between the virtual viewpoint and the necessary area in the three-dimensional curved surface SP, Data stored in the
<1−3.動作>
次に、本実施形態の画像処理部10の動作について、図4の画像処理部10の処理の流れを示す図、および、図5の第1の実施形態における合成画像の画面遷移を示す図を参照して説明する。
<1-3. Operation>
Next, with respect to the operation of the
画像処理部10のCPU1が車両電源制御装置84からのACC−ON信号を信号入力部41を介して受信する(ステップS101がYes)と、画像処理部10の通信部42は表示部21との初期通信を開始する(ステップS102)。ここで初期通信とは画像処理部10と表示部21との間で通信可能か否かを確認する処理をいう。画像処理部10のCPU1が車両電源制御装置84からのACC−ON信号を受信していない場合は処理を終了する(ステップS101がNo)。
When the
画像処理部10と表示部21との初期通信が正常に終了すれば(ステップS103がYes)、画像処理部10はCPU1のメモリ11から車両周囲確認処理を行うためのデータを読み出す(ステップS104)。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ(時間ごとの視点位置や視点の方向のデータ)などがあげられる。
If the initial communication between the
初期通信が正常に終了していない場合(ステップS103がNo)は再度、表示部21との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部10が正常に動作していないことがあげられる。このような場合は表示部21に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
If the initial communication has not ended normally (No in step S103), the communication is again performed with the
メモリ11から車両周辺確認処理のデータを読み出した後に、画像処理部10の画像変換部3は読み出したデータに基づいて、車両周囲の合成画像を生成する(ステップS105)。作成された合成画像のデータは表示部21に送信される(ステップS106)。なお、画像処理部10は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部21にデータを送信する。これにより仮想視点の位置が段階的に変更され、連続表示により車両を見下ろした状態で、車両9の周囲を周回する画像を表示部21に表示させることができる。
After reading the vehicle periphery confirmation processing data from the
複数の合成画像の表示部21への送信が終了する(ステップS107がYes)と、車両9の略中心の直上(真上)の合成画像を生成し(ステップS108)、生成した車両9の略中心の直上(真上)の合成画像を表示部21へ送信する(ステップS109)。
When transmission of the plurality of composite images to the
なお、複数の合成画像データの表示部21への送信が終了していない場合(ステップS107がNo)は、ステップS105の処理に戻って、次の車両周囲の合成画像を生成する処理を行う。
If transmission of a plurality of composite image data to the
上記の車両9の周囲の複数の合成画像の生成と表示、車両9の略中心の直上(真上)の合成画像の生成と表示について、図5に基づいて説明する。
Generation and display of a plurality of composite images around the
車両9の後方から車両9を見下ろしたような合成画像CP1、車両9の左側面から車両9を見下ろしたような合成画像CP2、車両9の左斜め側面から車両9を見下ろしたような合成画像CP3、車両9の前方から車両9を見下ろしたような合成画像CP4、車両9の右側面から車両9を見下ろしたような合成画像CP5、車両9の右斜め側面から車両9を見下ろしたような合成画像CP6、車両9の略中心の直上(真上)から車両9を見下ろしたような合成画像CP7がそれぞれ撮影部5のカメラ51,52,53から入力される画像に基づいて、画像処理部10はユーザが自身の目線の高さで車両の周囲を1周するようなCP1からCP6の合成画像を順番に生成し、最後に車両周囲の全体を車両9の略中心の直上(真上)の視点からみたCP7の合成画像をCP6の次に生成して、表示部21に連続表示させる。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部21に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、1つの画面で直感的に車両と障害物との位置関係を把握できる。
A composite image CP1 in which the
また、仮想視点の位置が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両の略中心の直上(真上)からみた合成画像との双方が表示されることで、ユーザは1つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上(真上)との複数の視点から車両周囲の安全性を確認できる。 In addition, both a plurality of composite images showing that the position of the virtual viewpoint moves continuously and turning around the vehicle and a composite image viewed from directly above (directly above) the center of the vehicle are displayed. Thus, the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen. Furthermore, safety around the vehicle can be confirmed from a plurality of viewpoints of the periphery of the vehicle and directly above (directly above) the approximate center of the vehicle.
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の上方の画像により再度安全確認を行うことができる。 Further, even if there is information such as an obstacle that the user overlooks in the surrounding image of the vehicle, the safety confirmation can be performed again by the image above the vehicle displayed with continuity after the surrounding image of the vehicle.
また、ユーザが車両の全周囲の広い範囲をいちどに確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上(真上)の広い範囲の車両全体の画像を連続して表示することで、ユーザは1つの画面で車両周囲の安全確認をより確実に行える。 In addition, it is not necessary for the user to check a wide range all around the vehicle at once, and an image of the entire vehicle in a wide range immediately above (directly above) the center of the vehicle is continuously displayed after an image of a limited range around the vehicle. Thus, the user can confirm the safety around the vehicle more reliably on one screen.
また、車両の位置を中心として車両の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは1つの画面で直感的に車両の全周囲の障害物を確認することができる。 Further, by generating a composite image viewed from a virtual viewpoint that sequentially moves around the vehicle around the position of the vehicle, the user can intuitively check obstacles around the entire vehicle on one screen.
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。 The composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed. The user can arbitrarily change the setting.
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示させることもできる。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両の略中心の直上(真上)の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上(真上)の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。 Further, the selected portion can be enlarged and displayed by pausing the continuous display and selecting an arbitrary portion of the screen of the display unit by a user operation. Furthermore, in the present embodiment, a case has been described in which a composite image that displays the periphery of the vehicle is continuously displayed, and then a composite image immediately above (directly above) the vehicle's center is continuously displayed. However, the present invention is not limited to this order. The composite image around the vehicle may be displayed continuously after displaying the composite image directly above (directly above) the approximate center.
また、本実施形態では車両の後方の仮想視点の位置から周囲を1周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は1回に限らず2回以上または半周など任意の回数でもよい。 Moreover, although this embodiment described the case where the circumference | surroundings are made 1 round from the position of the virtual viewpoint of the back of a vehicle, the starting position which changes an image is not specified and arbitrary positions may be sufficient. Furthermore, the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
また、本実施形態では車両周囲確認処理の開始条件を画像処理部10または表示部21が車両電源制御装置84からのACC−ON信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認できる。通常、画像処理装置は車両の走行前にACC−ONに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ACC−ON信号の受信のみではなく、切替スイッチ83を所定時間以上(例えば3秒以上)継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
Further, in the present embodiment, the start condition of the vehicle surrounding confirmation process is that the
さらに、複数の合成画像を連続表示している際に、表示部21に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予め、ACC−ONや切替えスイッチ83を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
Further, when a plurality of composite images are continuously displayed, a completion button (not shown) is provided on the
また、車両周囲確認処理を実行して合成画像を連続表示している場合に、車速が所定速度以上、シフトポジションの”R”への切替え、切替SWの押下といったユーザの操作に基づく信号が表示部21に入力された場合は、以下に詳述するように車両周囲確認処理を終了して、ユーザの操作に対応した処理を開始する。
In addition, when the vehicle surroundings confirmation process is executed and the composite image is continuously displayed, a signal based on a user operation such as switching the vehicle speed to “R” or pressing the switch SW is displayed. If input to the
次に、表示部21の処理動作について図6の表示部21の表示処理の流れを示す図を用いて説明する。表示部21は車両電源制御装置84からのACC−ON信号を受信する(ステップS201がYes)と、表示部の本体電源をONする(ステップS202)。なお、車両電源制御装置84からのACC−ON信号を受信していない(ステップS201がNo)の場合は処理を終了する。
Next, the processing operation of the
その後、同じく車両電源制御装置84からのACC−ON信号を受信している画像処理部10と初期通信を開始する(ステップS203)。ここで、初期通信とは画像処理部10と表示部21との間で通信可能か否かを確認する処理をいう。初期通信が正常に終了した場合(ステップS204がYes)は、画像処理部10から車両周囲確認処理の合成画像のデータを受信する(ステップS205)。
Thereafter, initial communication is started with the
初期通信が正常に終了していない場合(ステップS204がNo)は、再度、画像処理部10との通信を行ったり、複数回通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部10が正常に動作していないことがあげられる。このような場合は、表示部21に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
If the initial communication has not ended normally (No in step S204), the process is ended if communication with the
表示部21が画像処理部10から合成画像データを受信している間に、表示部21はオープニング画面を表示する(ステップS206)。オープニング画面表示後、画像処理部10から受信した車両周囲の複数の合成画像を上記図5を用いて説明したように、連続表示させる(ステップS207)。複数の合成画像を連続表示している間にシフトセンサ81から表示部21へシフトポジションが”R“に切替えられた信号が送信される(ステップS208がYes)と、表示部21は車両周囲の合成画像を連続表示している画面から、車両の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する(ステップS209)。
While the
シフトポジションが”R“に切替えられていない場合(ステップS208がNo)で、切替スイッチ83が押下された場合(ステップS210がYes)は、表示部21は車両周囲の合成画像を連続表示している画面から、車両の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。(ステップS211)。
When the shift position is not switched to “R” (No at Step S208) and the
切替スイッチ83が押下されていない場合(ステップS210がNo)で、車速が所定の速度以上(例えば車速が12km/h以上)の場合(ステップS212がYes)は、車両周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する(ステップS215)。車速が所定の速度以上でない場合(ステップS212がNo)は、車両周囲の合成画像の連続表示が終了しているか否かを判断し(ステップS213)、合成画像の連続表示が終了していない場合(ステップS213がNo)は、画像処理部10から表示部21へ新たな合成画像が送信され、表示部21は画像処理部10から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
When the
車両周囲の合成画像の連続表示が終了した場合(ステップS213がYes)は、画像処理部10から表示部21へ送信された車両9の略中心の直上(真上)の合成画像が表示部21に表示される(ステップS214)。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部21に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、1つの画面で直感的に車両と障害物との位置関係を把握できる。
When the continuous display of the composite image around the vehicle is completed (Yes in step S213), the composite image directly above (directly above) the substantial center of the
車両9の略中心の直上(真上)の合成画像表示後、表示部21はナビゲーション画像を表示する画面を表示する(ステップS215)。
After displaying the composite image directly above (directly above) the approximate center of the
仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは1つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両の周囲と車両の略中心の直上(真上)との複数の視点から車両周囲の安全性を確認できる。 By displaying both a plurality of composite images showing the direction of the virtual viewpoint moving continuously and turning around the vehicle and a composite image viewed from above the vehicle, the user can Intuitively grasp the positional relationship between the vehicle and the obstacle. Furthermore, safety around the vehicle can be confirmed from a plurality of viewpoints of the periphery of the vehicle and directly above (directly above) the approximate center of the vehicle.
また、車両の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両の周囲の画像の後に連続性をもって表示される車両の略中心の直上(真上)の画像により再度安全確認を行うことができる。 Even if there are information such as obstacles that the user overlooks in the surrounding image of the vehicle, it is safe again by an image directly above (directly above) the center of the vehicle displayed with continuity after the surrounding image of the vehicle. Confirmation can be made.
また、ユーザが車両の全周囲の広い範囲を確認する必要はなく、車両周囲の限られた範囲の画像の後に車両の略中心の直上(真上)の広い範囲の車両全体の画像を連続して表示することで、ユーザは1つの画面で車両周囲の安全確認をより確実に行える。 Further, it is not necessary for the user to check a wide range of the entire periphery of the vehicle, and an image of the entire vehicle in a wide range immediately above (directly above) the approximate center of the vehicle is continuously displayed after an image of the limited range around the vehicle. By displaying the information, the user can confirm the safety around the vehicle more reliably on one screen.
また、車両周囲の限られた範囲の画像の後に車両の略中心の直上(真上)の広い範囲の車両全体の画像を連続して表示することで、ユーザは1つの画面で車両周囲の安全確認をより確実に行える。 In addition, by continuously displaying an image of the entire vehicle in a wide range immediately above (directly above) the approximate center of the vehicle after an image of a limited range around the vehicle, the user can safely Confirmation can be performed more reliably.
また、車両の位置を中心として車両周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは1つの画面で直感的に車両の全周囲の障害物を確認することができる。 Also, by generating a composite image viewed from a virtual viewpoint that sequentially moves around the vehicle centering on the position of the vehicle, the user can intuitively check obstacles around the entire vehicle on one screen.
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。 The composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed. The user can arbitrarily change the setting.
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両周囲を表示する合成画像を連続表示した後に、車両上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両の略中心の直上(真上)の合成画像を表示した後に車両周囲の合成画像を連続表示させてもよい。 It is also possible to magnify and display the selected portion by pausing the continuous display and selecting an arbitrary portion of the screen of the display unit by a user operation. Furthermore, in the present embodiment, a case has been described in which the composite image displaying the vehicle periphery is continuously displayed, and then the composite image above the vehicle is continuously displayed. However, the present invention is not limited to this order. After the composite image is displayed, the composite image around the vehicle may be continuously displayed.
また、本実施形態では車両の後方の仮想視点の位置から周囲を1周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は1回に限らず2回以上または半周など任意の回数でもよい。 Moreover, although this embodiment described the case where the circumference | surroundings are made 1 round from the position of the virtual viewpoint of the back of a vehicle, the starting position which changes an image is not specified and arbitrary positions may be sufficient. Furthermore, the number of times of circulation around the periphery is not limited to one, but may be any number of times such as two or more times or a half circle.
また、本実施形態では車両周囲確認処理の開始条件を画像処理部10または表示部21が車両電源制御装置84からのACC−ON信号を受信したことを開始条件とすることで、これにより画像処理装置の起動時にユーザが車両の周辺を確認することができる。通常、画像処理装置は車両の走行前にACC−ONに応答して起動するため、車両の走行前にユーザが車両の周辺を確認できるという効果を有する。このような車両周囲確認処理の開始条件は、ACC−ON信号の受信のみではなく、切替スイッチ83を所定時間以上(例えば3秒以上)継続して押下することとしてもよい。これによりユーザが車両周囲を自動で確認したい場合にはいつでも確認を行うことができる。
Further, in the present embodiment, the start condition of the vehicle surrounding confirmation process is that the
さらに、複数の合成画像を連続表示している際に、表示部21に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、図示しない設定ボタンを設けて予めACC−ON時や切替えスイッチ83を所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
<2.第2の実施の形態>
第2の実施形態は第1の実施形態と基本的な構成は同一である。本実施形態については図7の第2の実施形態における合成画像の画面遷移を示す図を用いて説明する。図7のCP1aからCP7aは上記図5に示したCP1からCP7の車両周囲の合成画像の連続表示とは周囲の合成画像を生成する視点の位置が異なる。本実施形態では、車両の左側に仮想視点を移動させた状態でその周囲の合成画像CP1aからCP7aを画像処理部10で生成し、これらの合成画像を表示部21に連続表示させる。
Further, when a plurality of composite images are continuously displayed, a completion button (not shown) is provided on the
<2. Second Embodiment>
The basic configuration of the second embodiment is the same as that of the first embodiment. This embodiment will be described with reference to a diagram showing a screen transition of a composite image in the second embodiment of FIG. CP1a to CP7a in FIG. 7 differ from the continuous display of the composite image around the vehicle of CP1 to CP7 shown in FIG. 5 in the position of the viewpoint for generating the surrounding composite image. In the present embodiment, the virtual viewpoint is moved to the left side of the vehicle, the surrounding synthesized images CP1a to CP7a are generated by the
CP1aは車両9の後方で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP2aは車両9の左側面で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP3aは車両9の左斜め側面で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP4aは車両9の前面で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP5aは車両9の右側面で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP6aは車両9の右側面で車両9の左に所定距離移動した位置の仮想視点から車両9を見下ろしたような合成画像、CP7aは車両9の略中心の直上(真上)の仮想視点から左に所定距離移動して車両9を見下ろしたような合成画像である。
CP1a is a composite image in which the
このように車両から所定距離移動して、周囲の合成画像の連続表示の仮想視点の位置を車両の画像を一部にでも含む範囲内で切替えることで、ユーザが確認したい部分を選択して表示できる。例えばユーザが運転席(右側の席)に着座しており、左側を重点的に確認したい場合は、上記に示したように車両から左に所定距離移動した位置の視点を中心に合成画像を生成し、その合成画像の連続表示を行うことが可能である。仮想視点の位置の変更はユーザが手動で行うことが可能であり、車両の画像を含む範囲でユーザが確認を希望する任意の位置を中心に合成画像の連続表示を行うことが可能である。これにより、ユーザは重点的に確認を行いたい位置を中心にその周囲の状況を確認することができ、車両と障害物との位置関係を1つの画面で直感的に把握することができる。 In this way, by moving a predetermined distance from the vehicle, the position of the virtual viewpoint of the continuous display of surrounding composite images is switched within a range that includes even part of the vehicle image, thereby selecting and displaying the part that the user wants to check it can. For example, if the user is seated in the driver's seat (right seat) and wants to check the left side with emphasis, as shown above, a composite image is generated around the viewpoint of the position moved a predetermined distance to the left from the vehicle. In addition, the composite image can be continuously displayed. The change of the position of the virtual viewpoint can be manually performed by the user, and the composite image can be continuously displayed around an arbitrary position that the user desires to confirm within the range including the vehicle image. As a result, the user can check the situation around the position where the user wants to check mainly, and can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen.
また、仮想視点の位置が連続性を持って遷移しつつ、車両から所定距離移動した周囲を旋回するように示す複数の合成画像と車両の略中心の直上(真上)の仮想視点から所定距離移動した合成画像との双方が表示されることで、ユーザは1つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両から所定距離移動した周囲の仮想視点と車両の略中心の直上(真上)から所定距離移動した仮想視点との複数の仮想視点から車両周囲の安全性を確認できる。 Also, a predetermined distance from a plurality of composite images shown to turn around a distance moved from the vehicle while the position of the virtual viewpoint changes continuously, and a virtual viewpoint just above (directly above) the center of the vehicle By displaying both of the moved composite images, the user can intuitively grasp the positional relationship between the vehicle and the obstacle on one screen. Furthermore, the safety around the vehicle can be confirmed from a plurality of virtual viewpoints including a virtual viewpoint around the vehicle moved a predetermined distance and a virtual viewpoint moved a predetermined distance directly above (directly above) the approximate center of the vehicle.
また、車両から所定距離移動した周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両から所定距離移動した周囲の画像の後に連続性をもって表示される車両の略中心の直上(真上)の仮想視点から所定距離移動した画像により再度安全確認を行うことができる。 Further, even if there is information such as an obstacle overlooked by the user in the surrounding image moved from the vehicle by a predetermined distance, the image is displayed immediately above the approximate center of the vehicle displayed continuously with the surrounding image moved by the predetermined distance from the vehicle ( Safety confirmation can be performed again using an image moved a predetermined distance from the virtual viewpoint directly above.
また、車両から所定距離移動した位置を真上からみた広い範囲をいちどに確認する必要はなく、車両から所定距離移動した周囲の限られた範囲の画像の後に車両の略中心の直上(真上)の仮想視点から所定距離移動した広い範囲の画像を連続して表示することで、ユーザは1つの画面で車両周囲の安全確認をより確実に行える。
<3.画像処理部;変形例>
<3−1.変形例1>
次に、図4を用いて説明した画像処理部10の処理の変形例について説明する。
In addition, it is not necessary to check a wide range when the position moved from the vehicle by a predetermined distance is viewed from right above, but immediately above the center of the vehicle (directly above) after an image of a limited range around the vehicle moved from the vehicle by a predetermined distance. By continuously displaying a wide range of images moved by a predetermined distance from the virtual viewpoint, the user can confirm the safety around the vehicle more reliably on one screen.
<3. Image processing unit; modification>
<3-1.
Next, a modified example of the processing of the
図4では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部21に送信していたが、この変形例1では複数の合成画像を生成してから表示部21に送信するようにしている。
In FIG. 4, every time a plurality of composite images having different virtual viewpoint positions are generated, the image is transmitted to the
図8は、この変形例1の画像処理部10の処理の例を示す図である。画像処理部10のCPU1が車両電源制御装置84からの表示部21に画像を出力する指示を行うための指示信号であるACC−ON信号を信号入力部41を介して受信する(ステップS301がYes)と、画像処理部10の通信部42は表示部21との初期通信を開始する(ステップS302)。ここで初期通信とは画像処理部10と表示部21との間で通信可能か否かを確認する処理をいう。画像処理部10のCPU1が車両電源制御装置84からのACC−ON信号を受信していない場合は処理を終了する(ステップS301がNo)。
FIG. 8 is a diagram illustrating an example of processing of the
画像処理部10と表示部21との初期通信が正常に終了すれば(ステップS303がYes)、CPU1はメモリ11から車両周囲確認処理を行うためのデータを読み出す(ステップS304)。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ(時間ごとの視点位置や視点の方向のデータ)などのパラメータのデータがあげられる。
If the initial communication between the
初期通信が正常に終了していない場合(ステップS303がNo)は再度、表示部21との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部10が正常に動作していないことがあげられる。このような場合は表示部21に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
If the initial communication has not ended normally (No in step S303), the communication is again performed with the
ステップS304に戻って、メモリ11から車両周辺確認処理のデータを読み出した後に、画像処理部10の画像変換部3は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する(ステップS305)。ここで、車両周囲確認処理の合成画像とは、車両9の周囲の合成画像、および、車両9の略中心の直上(真上)の合成画像をいう。
Returning to step S304, after reading the vehicle periphery confirmation process data from the
作成された車両周囲確認処理の合成画像のデータは表示部21に出力される(ステップS306)。なお、画像処理部10は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部21にデータが出力される。
The generated composite image data of the vehicle surrounding confirmation process is output to the display unit 21 (step S306). Note that the
これにより仮想視点の位置が段階的に変更され、車両9の周囲の上方の仮想視点から車両方向にみた状態で、車両9の周囲を連続的に周回する画像を表示部21に表示させることができる。また、車両9の周囲の合成画像、および、車両9の略中心の直上(真上)の複数の合成画像を同じタイミングで表示部21に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
As a result, the position of the virtual viewpoint is changed in stages, and an image that continuously circulates around the
<3−2.変形例2>
また、図4では、仮想視点の位置が異なる複数の合成画像を生成するごとに表示部21に送信していたが、変形例2では、予め生成されてメモリ11に記憶された複数の合成画像をACC−ON信号に応答して表示部21に送信するようにしている。
<3-2. Modification 2>
Further, in FIG. 4, every time a plurality of composite images having different virtual viewpoint positions are generated, the images are transmitted to the
図9は、この変形例2の画像処理部10の処理の例を示す図である。画像処理部10のCPU1が車両電源制御装置84からの表示部21に画像を出力する指示を行うための指示信号であるACC−ON信号を信号入力部41を介して受信する(ステップS401がYes)と、画像処理部10の通信部42は表示部21との初期通信を開始する(ステップS402)。ここで初期通信とは画像処理部10と表示部21との間で通信可能か否かを確認する処理をいう。画像処理部10のCPU1が車両電源制御装置84からのACC−ON信号を受信していない場合(ステップS401がNo)は処理を終了する。
FIG. 9 is a diagram illustrating an example of processing of the
画像処理部10と表示部21との初期通信が正常に終了すれば(ステップS403がYes)、CPU1はメモリ11から車両周囲確認処理の合成画像データを読み出す(ステップS404)。この合成画像データは、ACC−ON信号を受信する前に車両9の周辺を撮影する撮影部5の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ11に保存されているデータである。
If the initial communication between the
ステップS404において、予めメモリ11に保存されている車両周囲確認処理の合成画像データが、メモリ11から読み出された後、車両周囲確認処理の合成画像データが表示部21へ出力される(ステップS405)。
In step S404, the composite image data of the vehicle surrounding confirmation process stored in the
これにより、表示部21に画像を出力する指示を行うための指示信号であるACC−ON信号を画像処理部10のCPU1が受信してすぐに車両周辺確認処理の合成データを表示部21へ出力することができ、指示信号を受信してから表示部21へ合成画像データ出力する時間を短縮できる。
As a result, the
初期通信が正常に終了していない場合(ステップS403がNo)は再度、表示部21との通信を行ったり、複数回の通信を試みても通信できない場合は処理を終了する。なお、ここで初期通信が正常に終了しない場合としては、故障などの原因で画像処理部10が正常に動作していないことがあげられる。このような場合は表示部21に車両周囲の画像表示のシステムが故障している旨の警告を表示するようにできる。
<4.第3の実施の形態>
次に、第3の実施の形態について説明する。上記第1の実施の形態では主に、ACC−ON信号を指示信号とし、この指示信号に応答して仮想視点の位置が異なる複数の合成画像を送信していた。これに対して、第3の実施の形態では、ユーザの操作に基づく信号を指示信号とし、ユーザの操作に応答して複数の合成画像が送信されるようになっている。
If the initial communication has not ended normally (No in step S403), the communication is again performed with the
<4. Third embodiment>
Next, a third embodiment will be described. In the first embodiment, the ACC-ON signal is mainly used as an instruction signal, and a plurality of synthesized images having different virtual viewpoint positions are transmitted in response to the instruction signal. On the other hand, in the third embodiment, a signal based on a user operation is used as an instruction signal, and a plurality of synthesized images are transmitted in response to the user operation.
<4−1.構成>
図10は、第3の実施の形態の画像表示システム101のブロック図である。第3の実施形態も、第1の実施形態と基本的な構成はほぼ同一である。図10において、上記図1で説明した構成と異なる点は、表示部21に設けられた操作部61aと操作部61bとを備えていることである。
<4-1. Configuration>
FIG. 10 is a block diagram of an
操作部61aは表示部21の表示画面に透明電極で形成されたタッチスイッチ、および、表示部21の周囲に設けられた固定のハードスイッチなどからなり、ユーザの操作による指示信号が、信号入力部41を介してCPU1に送信される。CPU1はこの指示信号を受けて、後述する画像処理部10での合成画像の生成および合成画像の表示部21への出力を行う。
The
合成画像の具体例としては、車両9の周辺を撮影する撮影部5の複数のカメラ(フロントカメラ51、サイドカメラ52、および、バックカメラ53)から取得される複数の画像に基づいて生成される、車両9の周囲の上方の仮想視点から車両9の方向をみる画像があげられる。また、合成画像の他の具体例は、車両9の略中心の直上(真上)の仮想視点からみた画像などがある。
As a specific example of the composite image, the composite image is generated based on a plurality of images acquired from a plurality of cameras (a
操作部61bは画像表示システム101に一体的に設けられている固定スイッチである。この操作部61bのユーザの操作による指示信号が、信号入力部41を介してCPU1に送信される。CPU1はこの指示信号を受けて、後述する画像処理部10での合成画像の生成および合成画像の表示部21への出力を行う。なお、操作部61bは、遠隔操作可能とするリモートコントローラであってもよく、あるいは固定スイッチとリモートコントローラの両者を併用してもよい。図10における画像表示システム101のその他の構成は、上記図1で画像表示システム100で説明した構成と同じ構成である。
The operation unit 61 b is a fixed switch provided integrally with the
<4−2.動作>
図11は、第3の実施形態の画像処理部の処理の流れを示す図である。
<4-2. Operation>
FIG. 11 is a diagram illustrating a processing flow of the image processing unit according to the third embodiment.
画像処理部10のCPU1がユーザの操作により操作部61a、または、操作部61bからの指示信号を受信した場合(ステップS501がYes)、CPU1はメモリ11から車両周囲確認処理を行うためのデータを読み出す(ステップS502)。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ(時間ごとの視点位置や視点の方向のデータ)などがあげられる。
When the
なお、画像処理部10のCPU1が操作部61a、または、操作部61bのいずれかの操作部から指示信号を受信していない場合(ステップS501がNo)は処理を終了する。
If the
メモリ11から車両周辺確認処理のデータを読み出した後に、画像処理部10の画像変換部3は読み出したデータに基づいて、車両周囲の合成画像を生成する(ステップS503)。作成された合成画像のデータは表示部21に出力される(ステップS504)。なお、画像処理部10は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するように順番に表示部21にデータを出力する。これにより仮想視点の位置が段階的に変更され、車両9の周囲の上方の仮想視点から車両方向にみた状態で、車両9の周囲を連続的に周回する画像を表示部21に表示させることができる。
After reading the vehicle periphery confirmation processing data from the
複数の合成画像の表示部21への出力が終了する(ステップS505がYes)と、車両9の略中心の直上(真上)の合成画像を生成し(ステップS506)、生成した車両9の略中心の直上(真上)の合成画像を表示部21へ出力する(ステップS507)。
When the output of the plurality of composite images to the
なお、ステップS505において複数の合成画像データの表示部21への出力が終了していない場合(ステップS505がNo)は、ステップS503の処理に戻って、次の車両9の周囲の合成画像を生成する処理を行う。
If output of a plurality of composite image data to the
次に、表示部21の処理動作について、図12の第3の実施形態の合成画像の画面遷移を示す図を用いて説明する。表示部21は画像処理部10から車両周囲確認処理の合成画像データを受信する(ステップS601がYes)と、表示部21に画像処理部10から受信した車両9の周囲の複数の合成画像を連続表示させる(ステップS602)。
Next, the processing operation of the
なお、画像処理部10から車両周囲確認処理の合成画像データを受信していない場合(ステップS601がNo)は処理を終了する。 Note that if the composite image data of the vehicle surrounding confirmation process has not been received from the image processing unit 10 (No in step S601), the process ends.
ステップS602の処理により、複数の合成画像を連続表示している間にシフトセンサ81から表示部21へシフトポジションが”R“に切替えられた信号が送信される(ステップS603がYes)と、表示部21は車両9の周囲の合成画像を連続表示している画面から、車両9の後方を撮影した画像を表示するバックモード画像表示の画面に切替えて表示する(ステップS604)。
As a result of the processing in step S602, a signal indicating that the shift position is switched to “R” is transmitted from the
シフトポジションが”R“に切替えられていない場合(ステップS603がNo)で、切替スイッチ83が押下された場合(ステップS605がYes)は、表示部21は車両9の周囲の合成画像を連続表示している画面から、車両9の前方を撮影した画像を表示するフロントモード画像表示の画面に切替えて表示する。(ステップS606)。
When the shift position is not switched to “R” (No in Step S603) and the
ステップS605において、切替スイッチ83が押下されていない場合(ステップS605がNo)で、車速が所定の速度以上(例えば車速が12km/h以上)の場合(ステップS607がYes)は、車両9の周囲の合成画像を連続表示している画面からナビゲーション画像を表示する画面に切替えて表示する(ステップS610)。
If the
車速が所定の速度以上でない場合(ステップS607がNo)は、車両9の周囲の合成画像の連続表示が終了しているか否かを判断し(ステップS608)、合成画像の連続表示が終了していない場合(ステップS608がNo)は、画像処理部10から表示部21へ新たな合成画像が送信され、表示部21は画像処理部10から送信された新たな合成画像を前の合成画像と連続性をもたせて表示する。
If the vehicle speed is not equal to or higher than the predetermined speed (No in Step S607), it is determined whether or not the continuous display of the composite image around the
車両9の周囲の合成画像の連続表示が終了した場合(ステップS608がYes)は、画像処理部10から表示部21へ送信された車両9の略中心の直上(真上)の合成画像が表示部21に表示される(ステップS609)。これにより、車両を見下ろした状態で車両の周囲を周回するように示す複数の合成画像が表示部21に表示されるため、ユーザが車両を目の前にした視点から車両の全周囲を確認することで、1つの画面で直感的に車両と障害物との位置関係を把握できる。
When the continuous display of the composite image around the
ステップS609において、車両9の略中心の直上(真上)の合成画像表示後、表示部21はナビゲーション画像を表示する画面を表示する(ステップS610)。
In step S609, after displaying the composite image immediately above (directly above) the approximate center of the
このように、仮想視点の方向が連続性を持って移動しつつ、車両の周囲を旋回するように示す複数の合成画像と車両上方からみた合成画像との双方が表示されることで、ユーザは1つの画面で直感的に車両と障害物との位置関係を把握できる。さらに、車両9の周囲と車両9の略中心の直上(真上)との複数の視点から車両9の周囲の安全性を確認できる。
In this way, by displaying both a plurality of composite images that are shown to turn around the vehicle and a composite image viewed from above the vehicle while the direction of the virtual viewpoint moves with continuity, the user can The positional relationship between the vehicle and the obstacle can be grasped intuitively on one screen. Furthermore, the safety of the surroundings of the
また、車両9の周囲の画像でユーザが見落とす障害物などの情報があったとしても、車両9の周囲の画像の後に連続性をもって表示される車両9の略中心の直上(真上)の画像により再度安全確認を行うことができる。
Further, even if there is information such as an obstacle that the user overlooks in the surrounding image of the
また、ユーザが車両9の全周囲の広い範囲を確認する必要はなく、車両9の周囲の限られた範囲の画像の後に車両9の略中心の直上(真上)の広い範囲の車両9全体の画像を連続して表示することで、ユーザは1つの画面で車両9の周囲の安全確認をより確実に行える。
Further, it is not necessary for the user to check the wide range of the entire periphery of the
また、車両9の周囲の限られた範囲の画像の後に車両9の略中心の直上(真上)の広い範囲の車両9全体の画像を連続して表示することで、ユーザは1つの画面で車両9の周囲の安全確認をより確実に行える。
Further, the user can continuously display an image of the
また、車両9の位置を中心として車両9の周囲を順に移動する仮想視点からみた合成画像を生成することで、ユーザは1つの画面で直感的に車両9の全周囲の障害物を確認することができる。
In addition, by generating a composite image viewed from a virtual viewpoint that sequentially moves around the
なお、ここで示した合成画像は一例であり、合成画像の車両を見下ろす高さ、方向、合成画像の連続表示の一時停止、連続表示の回転速度の調整、連続表示の回転を逆回転とすることなどの設定はユーザの任意の変更が可能である。 The composite image shown here is only an example, and the height and direction overlooking the vehicle of the composite image, the continuous display of the composite image is paused, the rotation speed of the continuous display is adjusted, and the rotation of the continuous display is reversed. The user can arbitrarily change the setting.
また、連続表示を一時停止して表示部の画面の任意の部分をユーザ操作により選択することで選択した部分を拡大表示することも可能である。さらに、本実施形態では車両9の周囲を表示する合成画像を連続表示した後に、車両9の上方の合成画像を連続表示させる場合を述べたが、この順序に限ることなく車両9の略中心の直上(真上)の合成画像を表示した後に車両9の周囲の合成画像を連続表示させてもよい。
It is also possible to magnify and display the selected portion by pausing the continuous display and selecting an arbitrary portion of the screen of the display unit by a user operation. Furthermore, in the present embodiment, a case has been described in which a composite image that displays the surroundings of the
また、本実施形態では車両9の後方の仮想視点の位置から周囲を1周する場合について述べたが、画像を遷移させる開始位置は特定されるものではなく任意の位置でもよい。さらに、周囲を周回する回数は1回に限らず2回以上または半周など任意の回数でもよい。
Further, in the present embodiment, the case where the periphery of the
また、本実施形態では車両9の周囲確認処理の開始条件を画像処理部10がユーザの操作による操作部61a、または、操作部61bからの指示信号を受信したことを開始条件とすることで、ユーザが車両9の周辺確認を行いたい場合にいつでも車両9の周囲を確認できる。
In the present embodiment, the start condition of the surrounding confirmation process of the
さらに、複数の合成画像を連続表示している際に、表示部21に図示しない完了ボタンを設けて、連続表示の途中であってもこの完了ボタンを押下することで、合成画像の連続表示を終了させたり、操作部61a、または、操作部61bを所定時間以上押下することによる車両周囲確認処理の開始を行わないようにすることもできる。
Further, when a plurality of composite images are continuously displayed, a completion button (not shown) is provided on the
<4−3.変形例1>
次に、第3の実施形態の画像処理部の処理の変形例について説明する。
<4-3.
Next, a modified example of the processing of the image processing unit of the third embodiment will be described.
この変形例1では、複数の合成画像を生成してから表示部21に送信するようにしている。図13は、この場合の画像処理部の処理の例を示す図である。画像処理部10のCPU1がユーザの操作により操作部61a、または、操作部61bからの指示信号を受信した場合(ステップS701がYes)、CPU1はメモリ11から車両周囲確認処理を行うためのデータを読み出す(ステップS702)。車両周囲確認処理データの例としては、車両のビットマップデータ、視点の移動データ(時間ごとの視点位置や視点の方向のデータ)などのパラメータのデータがあげられる。
In the first modification, a plurality of synthesized images are generated and then transmitted to the
メモリ11から車両周辺確認処理のデータを読み出した後に、画像処理部10の画像変換部3は読み出したデータに基づいて、車両周囲確認処理の合成画像を生成する(ステップS703)。ここで、車両周囲確認処理の合成画像とは、車両9の周囲の合成画像、および、車両9の略中心の直上(真上)の合成画像をいう。
After reading the vehicle periphery confirmation process data from the
ステップS703において、作成された車両周囲確認処理の合成画像のデータは表示部21に出力される(ステップS704)。なお、画像処理部10は作成した仮想視点の位置が段階的に変更されている複数の合成画像が連続性を有するような順番でまとめて表示部21にデータが出力される。
In step S703, the generated composite image data of the vehicle periphery confirmation process is output to the display unit 21 (step S704). Note that the
これにより仮想視点の位置が段階的に変更され、車両9の周囲の上方の仮想視点から車両9の方向にみた状態で、車両9の周囲を連続的に周回する画像を表示部21に表示させることができる。また、車両9の周囲の合成画像、および、車両9の略中心の直上(真上)の複数の合成画像を同じタイミングで表示部21に出力することで、段階的に変更されて連続的に表示されている合成画像のうち、所定の画像の表示をとばして、次の画像を表示したり、前の画像に戻って表示することができ、連続的に表示される画像のうちユーザが確認したい箇所の画像を素早く表示できる。
As a result, the position of the virtual viewpoint is changed in stages, and an image that continuously circulates around the
<4−4.変形例2>
この変形例2では、予め生成されてメモリ11に記憶された複数の合成画像を指示信号に応答して表示部21に送信するようにしている。図14は、第3の実施形態の画像処理部の処理の変形例2を示す図である。画像処理部10のCPU1がユーザの操作により操作部61a、または、操作部61bからの指示信号を受信した場合(ステップS801がYes)、画像処理部10はCPU1のメモリ11から車両周囲確認処理の合成画像データを読み出す(ステップS802)。この合成画像データは、操作部61a、または、操作部61bからの指示信号を受信する前に車両9の周辺を撮影する撮影部5の複数のカメラにより撮影された複数の撮影画像に基づいて、上記画像変換処理により生成された合成画像であり、予めメモリ11に保存されているデータである。
<4-4. Modification 2>
In the second modification, a plurality of synthesized images generated in advance and stored in the
なお、CPU1がユーザの操作により操作部61a、または、操作部61bからの指示信号を受信していない場合は処理を終了する(ステップS801がNo)。
Note that if the
ステップS802に戻り、予めメモリ11に保存されている車両周囲確認処理の合成画像データが、メモリ11から読み出された後、車両周囲確認処理の合成画像データが表示部21へ出力される(ステップS803)。
Returning to step S802, the composite image data of the vehicle surroundings confirmation process stored in the
これにより、表示部21に画像を出力する指示を行うための指示信号である操作部61a、または、操作部61bからの信号を画像処理部10のCPU1が受信してすぐに車両周辺確認処理の合成データを表示部21へ出力することができ、指示信号を受信してから表示部21へ合成画像データ出力する時間を短縮できる。
Thereby, the
100 画像表示システム
10 画像処理部
5 撮影部
21 表示部
83 切替スイッチ
84 車両電源制御装置
DESCRIPTION OF
Claims (3)
前記画像生成手段は、前記車両の全周囲を含む広い範囲を前記車両の上方からみた視点とは異なる視点で前記車両の周囲の限られた範囲を順番に連続表示するための画像を生成し、
前記連続表示は、前記車両の電源であるACCのON状態に応じた電源起動に基づき実行され、カメラ画像を切替える切替スイッチが操作されていない場合に継続して行われ、前記連続表示が継続している間に前記切替スイッチが操作されると、継続中の前記連続表示から前記車両の前方を撮影した画像を表示するフロントモードの表示に切替えられること、
を特徴とする画像処理装置。
Image generating means for generating an image around the vehicle based on images acquired from a plurality of cameras that capture the periphery of the vehicle;
The image generation means generates an image for sequentially displaying a limited range around the vehicle in order from a viewpoint different from the viewpoint seen from above the vehicle over a wide range including the entire periphery of the vehicle,
The continuous display is executed based on the power activation according to the ON state of ACC that is the power source of the vehicle, and is continuously performed when the changeover switch for switching the camera image is not operated, and the continuous display is continued. When the changeover switch is operated during the operation, the continuous display is switched from the continuous display to a front mode display that displays an image of the front of the vehicle .
An image processing apparatus.
前記連続表示は、該連続表示が終了した後に前記車両の上方からみた視点画像の表示に切替えられること、
を特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The continuous display is switched to display of a viewpoint image viewed from above the vehicle after the continuous display is completed ,
An image processing apparatus.
前記連続表示は、該連続表示が終了した後にナビゲーション画像の表示に切替えられること、
を特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The continuous display is switched to display of a navigation image after the continuous display is completed ,
An image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014199076A JP5986611B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009130102 | 2009-05-29 | ||
JP2009130102 | 2009-05-29 | ||
JP2014199076A JP5986611B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010052210A Division JP5627253B2 (en) | 2009-05-29 | 2010-03-09 | Image processing apparatus, electronic apparatus, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015046889A JP2015046889A (en) | 2015-03-12 |
JP5986611B2 true JP5986611B2 (en) | 2016-09-06 |
Family
ID=52672021
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014199075A Active JP5905062B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
JP2014199077A Active JP6005115B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
JP2014199076A Active JP5986611B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
JP2016081216A Active JP6118936B2 (en) | 2009-05-29 | 2016-04-14 | Image processing device |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014199075A Active JP5905062B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
JP2014199077A Active JP6005115B2 (en) | 2009-05-29 | 2014-09-29 | Image processing apparatus, electronic apparatus, and image processing method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081216A Active JP6118936B2 (en) | 2009-05-29 | 2016-04-14 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP5905062B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6649619B2 (en) * | 2016-03-30 | 2020-02-19 | 日産自動車株式会社 | Driving support method and driving support device |
JP6665630B2 (en) * | 2016-03-30 | 2020-03-13 | 日産自動車株式会社 | Driving support method and driving support device |
US10497257B2 (en) * | 2017-08-31 | 2019-12-03 | Nec Corporation | Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10151995A (en) * | 1996-11-26 | 1998-06-09 | Fujitsu Ten Ltd | Reproducing device |
JP3503466B2 (en) * | 1998-03-05 | 2004-03-08 | 日産自動車株式会社 | Display device for vehicles |
EP1179958B1 (en) * | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
JP2001236418A (en) * | 2000-02-22 | 2001-08-31 | Matsushita Electric Works Ltd | Business method using internet living space vr system, and storage medium for the same |
JP3803021B2 (en) * | 2000-10-02 | 2006-08-02 | 松下電器産業株式会社 | Driving assistance device |
JP2002342408A (en) * | 2001-05-14 | 2002-11-29 | Matsushita Electric Works Ltd | Method for estimating unit house |
JP2002366976A (en) * | 2001-06-08 | 2002-12-20 | Fujitsu Ltd | Program and device for displaying object |
JP2004185054A (en) * | 2002-11-29 | 2004-07-02 | Matsushita Electric Works Ltd | House floor layout design supporting system |
JP4353016B2 (en) * | 2004-07-12 | 2009-10-28 | 株式会社デンソー | Reverse guide display device for vehicle |
JP5029062B2 (en) * | 2007-02-26 | 2012-09-19 | 富士通株式会社 | Multi-view video transmission system |
JP5047650B2 (en) * | 2007-03-06 | 2012-10-10 | クラリオン株式会社 | In-vehicle camera system |
JP5045172B2 (en) * | 2007-03-20 | 2012-10-10 | マツダ株式会社 | Vehicle driving support device |
JP2009035024A (en) * | 2007-07-31 | 2009-02-19 | Fujitsu Ten Ltd | On-board electronic system and device |
JP5439890B2 (en) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | Image processing method, image processing apparatus, and program |
-
2014
- 2014-09-29 JP JP2014199075A patent/JP5905062B2/en active Active
- 2014-09-29 JP JP2014199077A patent/JP6005115B2/en active Active
- 2014-09-29 JP JP2014199076A patent/JP5986611B2/en active Active
-
2016
- 2016-04-14 JP JP2016081216A patent/JP6118936B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6005115B2 (en) | 2016-10-12 |
JP2015065659A (en) | 2015-04-09 |
JP6118936B2 (en) | 2017-04-19 |
JP2016184926A (en) | 2016-10-20 |
JP2015043586A (en) | 2015-03-05 |
JP5905062B2 (en) | 2016-04-20 |
JP2015046889A (en) | 2015-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5627253B2 (en) | Image processing apparatus, electronic apparatus, and image processing method | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP5087051B2 (en) | Image generating apparatus and image display system | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
JP6548900B2 (en) | Image generation apparatus, image generation method and program | |
JP5658507B2 (en) | Image display system, image generation apparatus, and image display method | |
JP6084097B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP2011131678A (en) | Image processing device, image processing system and image processing method | |
JP7000383B2 (en) | Image processing device and image processing method | |
JP6118936B2 (en) | Image processing device | |
JP6130118B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP6370833B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP2016141303A (en) | Visual field support device | |
JP2014215855A (en) | Image generation device and image generation method | |
JP4285229B2 (en) | Vehicle display device | |
CN118590609A (en) | Vehicle display device and image display method | |
JP2013038794A (en) | Image generating apparatus, and image display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5986611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |