[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2001344597A - 融合視界装置 - Google Patents

融合視界装置

Info

Publication number
JP2001344597A
JP2001344597A JP2000160940A JP2000160940A JP2001344597A JP 2001344597 A JP2001344597 A JP 2001344597A JP 2000160940 A JP2000160940 A JP 2000160940A JP 2000160940 A JP2000160940 A JP 2000160940A JP 2001344597 A JP2001344597 A JP 2001344597A
Authority
JP
Japan
Prior art keywords
view
information
fused
stereo camera
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000160940A
Other languages
English (en)
Inventor
Takeshi Takatsuka
剛 高塚
Tatsuya Suzuki
達也 鈴木
Hiroshi Okada
洋 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2000160940A priority Critical patent/JP2001344597A/ja
Priority to DE60130517T priority patent/DE60130517T2/de
Priority to EP01113091A priority patent/EP1160541B1/en
Priority to US09/866,773 priority patent/US20010048763A1/en
Publication of JP2001344597A publication Critical patent/JP2001344597A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 輸送機関の乗員に、視界不良時においても視
界良好時と同様のリアリティのある視界を提供して操縦
を支援すると同時に、進行方向の障害物を確実に検知
し、確実且つ安全な運行を可能とする。 【解決手段】 ステレオカメラ２で撮像した一対の左右
画像を、立体視の画像として融合視界生成部１３へ送出
すると共に、ステレオ画像認識処理部１１で処理して障
害物を認識する。同時に、地形画像生成部１２で周辺の
広範囲の地形情報を３次元地形画像として生成する。そ
して、融合視界生成部１３で立体視及び障害物表示画像
と周辺の地形画像とから自然で違和感のない融合視界情
報を生成し、更に、適宜、機体飛行情報インターフェー
ス５から入力される機体の速度、高度、位置、姿勢等の
情報を重ね合わせ、ＨＭＤ２１に送出する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、輸送機関の搭乗者
に視界不良時にも好視界時と同様の視界を提供する融合
視界装置に関する。
【０００２】
【従来の技術】従来、航空機等の輸送機関においては、
赤外線カメラ、ミリ波レーダ、或いはレーザーレーダ等
の画像センサを搭載し、夜間や悪天候時等の視界不良の
状況下で画像センサからの視界情報と予めシステム内に
保有させた３次元の地図情報とを用いて人工的な擬似視
界を生成し、この擬似視界を運転者或いは操縦者に提供
することにより、安全性を向上する技術が開発されてい
る。
【０００３】例えば、特開平１１−７２３５０号公報に
は、メモリにストアした３次元デジタル地図による広域
地形情報とレーザレーダによる局地地形情報と高圧電線
や高層ビル及びクレーン等の障害物情報とを用いて擬似
視界を生成し、パイロットのヘルメットに設けられた透
過型表示手段によって、擬似視界と現実の視界とを重な
るようにして表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】しかしながら、赤外線
カメラやミリ波レーダ或いはレーザーレーダ等の画像セ
ンサから得られる単独の視界情報は、運転者或いは操縦
者に与える視界情報としては不十分な点があり、また、
３次元の地図情報は、刻々変化する現実の状況には対応
が困難であるのが実情であるという問題があり、これら
の情報から生成する擬似視界では、運転者或いは操縦者
の満足するレベルに達することは困難である。
【０００５】すなわち、赤外線カメラは、ある程度の視
界不良でも見通しがあり、特に夜間時において極めて明
瞭な映像を得ることができるものの、映像が白黒である
ためリアリティがないとか、遠近感・速度感等に欠ける
という問題がある。ミリ波レーダは、雨天でも比較的遠
距離まで見ることができ、視界不良時の画像表示として
は有望であるが、波長が光に比べてかなり長いため、そ
の映像がぼんやりとして明瞭な画像を得ることが困難で
あり、運転者或いは操縦者に与える視界としては不十分
である。また、レーザレーダは、障害物探知機能に優れ
ているものの、レーザのスキャン範囲を広くするとスキ
ャンに時間を要して応答性の低下といった問題が発生
し、一方、スキャン範囲を狭くすると、比較的鮮明な画
像が得られるものの、運転者或いは操縦者に対して視野
が狭くなり、安全上の問題が生じる可能性が高い。
【０００６】また、３次元デジタル地図に基づいて運転
者或いは操縦者の視点から見えるであろう風景を広視角
の映像として生成することは有効であるが、衝突に対す
る安全性を高める上での機能としては、地形データと障
害物データと輸送機関の位置データ（経度、緯度、対地
高度）との比較から衝突の危険度を判定しなければなら
ず、これらのデータに対して実際の地形及び障害物が常
に照合が取れるという保証はない。このため、新たに出
現した障害物に対して対応が困難であり、現実には膨大
な安全確認が必要となって実用的ではない。
【０００７】本発明は上記事情に鑑みてなされたもの
で、輸送機関の搭乗者に、視界不良時においても視界良
好時と同様のリアリティのある視界を提供して操縦を支
援すると同時に、進行方向の障害物を確実に検知し、確
実且つ安全な運行を可能とする融合視界装置を提供する
ことを目的としている。
【０００８】
【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、輸送機関に搭載されて外界
の所定範囲を撮像するステレオカメラと、上記ステレオ
カメラで撮像した一対の画像を処理して進行の障害とな
る物体を認識し、障害物情報を生成するステレオ画像認
識処理手段と、上記ステレオカメラで撮像した一対の画
像による立体視界情報と上記ステレオ画像認識処理手段
からの障害物情報とを含む融合視界情報を生成する融合
視界生成手段と、上記融合視界情報を上記輸送機関の搭
乗者に対する可視像として表示する融合視界表示手段と
を備えたことを特徴とする。
【０００９】請求項２記載の発明は、請求項１記載の発
明において、上記融合視界生成手段は、上記ステレオカ
メラによる立体視界情報に周辺の広視界情報を付加する
ことを特徴とする。
【００１０】請求項３記載の発明は、請求項１又は請求
項２記載の発明において、上記融合視界表示手段は、上
記融合視界生成手段からの融合視界と現実の視界とを重
ね合わせ可能な透過型のヘッドマウントディスプレイで
あることを特徴とする。
【００１１】請求項４記載の発明は、請求項３記載の発
明において、上記融合視界生成手段は、指示入力に応じ
て上記ステレオカメラによる立体視界を除去可能である
ことを特徴とする。
【００１２】請求項５記載の発明は、請求項１，２，
３，４のいずれか一に記載の発明において、上記ステレ
オカメラを、２台の赤外線カメラを所定の基線長で配設
して構成することを特徴とする。
【００１３】請求項６記載の発明は、請求項１，２，
３，４のいずれか一に記載の発明において、上記ステレ
オカメラが複数搭載され、それぞれのステレオカメラ
は、赤外線カメラ、ミリ波カメラ若しくはインテンシフ
ァイアのいずれかであるとともに互いに異なっており、
現実の視界の状況により適宜選択して使用されることを
特徴とする。
【００１４】すなわち、請求項１記載の発明は、輸送機
関にステレオカメラを搭載し、このステレオカメラで撮
像した一対の画像による立体視界情報と、同じステレオ
カメラで撮像した一対の画像を処理して得られる障害物
情報とから融合視界情報を生成し、輸送機関の搭乗者に
対する可視像として表示する。
【００１５】その際、請求項２記載の発明は、ステレオ
カメラによる立体視界情報に周辺の広視界情報を付加
し、請求項３記載の発明は、融合視界と現実の視界とを
重ね合わせ可能な透過型のヘッドマウントディスプレイ
を用いる。また、請求項４記載の発明は、ステレオカメ
ラによる立体視界を除去可能とし、現実の視界に対し、
立体視界情報を除いて障害物情報を含む融合視界と、立
体視界情報及び障害物情報を含む融合視界と選択的に重
ね合わせ可能とする。請求項５記載の発明は、ステレオ
カメラを２台の赤外線カメラを所定の基線長で配設して
構成する。更に、請求項６記載の発明は、赤外線カメ
ラ、ミリ波カメラ若しくはインテンシファイアのいずれ
かであるとともに互いに異なる複数のステレオカメラを
搭載し、現実の視界の状況により適宜選択して使用す
る。
【００１６】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１及び図２は本発明の実施の一
形態に係わり、図１は融合視界装置の全体構成図、図２
は融合視界情報の表示領域を示す説明図である。
【００１７】図１において、符号１は、自動車、電車、
航空機等の輸送機関に搭載される融合視界装置であり、
霧や霞等の悪天候時や夜間等の視界不良の状況下で現実
の視界が失われた場合においても、昼間の晴天時におけ
る好視界の場合と同様のリアリティのある視界を融合視
界として生成し、搭乗者に対する可視像として提供す
る。以下、本形態においては、融合視界装置１をヘリコ
プター等の比較的低空を飛行する航空機に搭載する例に
ついて説明する。
【００１８】融合視界装置１は、進行方向の外界を所定
範囲でステレオ撮像するステレオカメラ２と、画像合成
装置１０と、融合視界表示装置２０とを主要構成とし、
ステレオカメラ２で撮像した一対の左右画像を運転者或
いは操縦者の左右の視点に提供して遠近感・高度感・速
度感のある立体視を実現すると共に、ステレオカメラ２
からの一対の左右画像をステレオ画像処理して対象まで
の距離（相対距離）データを演算し、得られた距離デー
タ及び画像情報を用いた画像認識処理により航路上及び
航路近辺の障害物を探知して必要に応じた警報としての
障害物表示を行う。更に、融合視界装置１には、必要に
応じて前方視界からパイロット或いは乗員が所望する視
界方向にステレオカメラ２を指向させるための視軸変更
スイッチ３、ステレオカメラ２による立体視界の表示を
適宜停止させるための表示モード切換スイッチ４、航空
機の速度、高度、位置、姿勢等の情報を入力するための
機体飛行情報インターフェース５が備えられている。
【００１９】尚、視軸変更スイッチ３は、進行方向を変
更する際に予め進路変更先の状況や障害物の有無を確認
する場合等に有効であり、本形態においては、マニュア
ル操作によってステレオカメラ２の光軸を変更するスイ
ッチである。この場合、後述するヘッドモーショントラ
ッカ２３等によりパイロットの視点を検知し、自動的に
パイロットが確認したい方向にステレオカメラ２を指向
させることも可能である。
【００２０】ステレオカメラ２は、本形態においては、
特に夜間時において極めて明瞭な画像を得ることのでき
る２台の赤外線カメラからなる赤外線ステレオカメラで
あり、各種の操縦状況下で予測される障害物等をより正
確に探知するため、必要な探知距離と距離精度とを考慮
して各カメラが選択可能範囲内で最適な間隔（基線長）
で配設されて構成されている。すなわち、通常の視界不
良に対して人工的な視界による支援を必要とする状況
は、夜間での飛行或いはこれに準じる状況下の飛行が多
く、このような状況では暗視能力に優れる赤外線カメラ
が有効であり、しかも、複眼の赤外線カメラによる立体
視を用いることにより、単眼の赤外線カメラでは得るこ
とのできない遠近感・高度感・速度感等のリアリティの
ある感覚をパイロットに提供することができる。その他
の状況に対しては、赤外線カメラ以外にも、通常の可視
カメラ、微弱光で有効なインテンシファイア、霧・雨に
対して優れた透過性を有するアクティブ／パッシブなミ
リ波カメラ、或いは高感度ＣＣＤ等の各種画像センサ等
を使用することが可能であり、視界不良の要因に応じて
最適な画像センサを適宜選択／組合せることが望まし
い。また、複数の種類のカメラ若しくは画像センサを搭
載し、状況に応じて選択して使用することもできる。
【００２１】尚、ステレオカメラ２の基線長は、例え
ば、カメラに比較的軽量な画像センサを用いる場合に
は、両方或いは片方を光軸に垂直な方向に画像センサご
と移動させることにより最適に設定することが可能であ
る。また、画像センサの重量が問題となる場合には、対
物レンズ機構を潜望鏡の筒のような構成として画像セン
サを固定し、筒の長さを可変することで基線長を変更す
ることも可能である。
【００２２】一方、画像合成装置１０は、詳細には、ス
テレオカメラ２からの左右画像を画像処理して障害物認
識を行うステレオ画像認識処理部１１、機体飛行情報イ
ンターフェース５からの情報と後述するヘッドモーショ
ントラッカ２３からの視点情報とに基づいて、パイロッ
ト或いは乗員の視点から見えるであろう周辺の地形情報
を３次元の地形画像として生成する地形画像生成部１
２、ステレオカメラ２の視軸変更スイッチ３と表示モー
ド切換スイッチ４とで指定される状態に基づいて、ステ
レオカメラ２からの左右画像による立体視界情報と、ス
テレオ画像認識処理部１１からの障害物情報と、地形画
像生成部１２からの広視界としての地形情報と、機体飛
行情報インターフェースからの情報とを融合した融合視
界を生成する融合視界生成部１３から構成されている。
【００２３】尚、ステレオ画像認識処理部１１、地形画
像生成部１２には、それぞれ、各種障害物等を認識及び
表示する上での各種立体物のデータをストアした画像デ
ータベース１１ａ、航空測量や人工衛星等による広域の
地形データをストアした３次元デジタルマップ１２ａが
備えられている。
【００２４】また、融合視界表示装置２０は、融合視界
生成部１３からの融合視界を透過して現実の視界を見る
ことのできる透過型の表示部、例えば透過型液晶表示パ
ネルを有し、パイロット或いは乗員の頭部に装着される
ヘッドマウントディスプレイ（ＨＭＤ）２１と、現実の
視界と融合視界情報との重なり具合をパイロット或いは
乗員が見えやすいように自由に調整するため、ＨＭＤ２
１における融合視界の輝度やコントラスト、現実の視界
に対する透過率等を可変する表示調整部２２と、パイロ
ット或いは乗員の頭部の位置及び姿勢を検知してパイロ
ット或いは乗員の視点情報を出力するヘッドモーション
トラッカ２３とから構成されている。
【００２５】以上の構成による融合視界装置１では、飛
行中、ステレオカメラ２で撮像した一対の左右画像は、
立体視の画像として融合視界生成部１３へ送出されると
共に、前方の障害物を検知するためにステレオ画像認識
処理部１１へ送出される。ステレオ画像認識処理部１１
では、ステレオカメラ２からの左右画像をステレオマッ
チング処理して各画像間の相関を求め、同一被写体に対
する視差からステレオカメラ２の取付位置や焦点距離等
のカメラパラメータを用いて三角測量の原理により距離
データを演算する。
【００２６】そして、この距離データ及び画像情報に基
づいて画像データベースにストアされている情報を参照
し、進行の障害となる物体すなわち障害物を認識する。
例えば、比較的低空を飛行するヘリコプター等の航空機
では、夜間飛行中、前方視界内に鉄塔や高層ビル等の立
体物、更には飛行中の他の航空機等を認識し、また、鉄
塔の認識下で画像情報から高圧送電線等の存在を認識し
た場合、これらをシンボル表示や強調表示した障害物情
報を生成して融合視界生成部１３に送出する。
【００２７】すなわち、従来のように、３次元デジタル
マップを用い、経度、緯度、対地高度等の位置情報と自
機の機体飛行情報とを照合して衝突の危険度を判定する
までもなく、ステレオカメラ２による前方視界内に鉄塔
や高圧送電線、高層ビル等を認識した場合、衝突や接触
の虞がある障害物として直ちにパイロットに警告するこ
とで、迅速な回避行動を可能とし、極めて効果的に安全
性を高めることができる。
【００２８】また、同時に、地形画像生成部１２では、
機体飛行情報インターフェース５を介して入力される機
体の速度・高度・姿勢情報や航空機位置情報に基づき、
ヘッドモーショントラッカ２３から入力されるパイロッ
ト或いは乗員の視点への座標変換を行なって３次元デジ
タルマップ１２ａから切出し、パイロット或いは乗員の
視点から見えるであろう地形情報を３次元地形画像とし
て生成して融合視界生成部１３に送出する。この３次元
地形画像は、ステレオカメラ２による前方視界より広範
囲で、且つ衝突安全性には直接係わらない遠方の山並み
等の視界情報であり、例えばＣＧ（コンピュータグラフ
ィックス）により生成した３次元表示に、必要に応じて
地名、湖、道路、河川等の地形情報を付加し、リアリテ
ィのある風景として広視界な地形情報を生成する。
【００２９】尚、３次元地形画像は、予め３次元デジタ
ルマップ１２ａをシステム内部に保有することなく、広
視野のミリ波レーダを搭載し、このミリ波レーダからの
画像を用いて生成するようにしても良い。
【００３０】そして、融合視界生成部１３で、ステレオ
カメラ２の視軸変更スイッチ３及び表示モード切換スイ
ッチ４で指定される状態に基づいて、前方視界としての
ステレオカメラ２からの左右画像による立体視画像及び
ステレオ画像認識処理部１１で生成した障害物画像と、
広視界としての地形画像生成部１２で生成した周辺の地
形画像とを、例えば、解像度、輝度、コントラスト、色
等を調整し、更にエッジブレンディング等の画像処理を
施して連結することにより、繋ぎ目が目立たない均一な
画像を生成して自然で違和感のない融合視界情報とす
る。更に、適宜、機体飛行情報インターフェース５から
入力される機体の速度、高度、位置、姿勢等の情報を重
ね合わせ、ＨＭＤ２１に送出する。尚、晴天時等の好視
界の状況下において、表示モード切換スイッチ４により
ステレオカメラ２による立体視表示の停止指示が入力さ
れている場合には、融合視界情報にはステレオカメラ２
による立体視画像を含めず、少なくとも障害物情報を含
む融合視界をＨＭＤ２１に送出する。
【００３１】図２は、以上の処理で生成される融合視界
情報をＨＭＤ２１で表示する例を示し、図中の１点鎖線
で示す領域がステレオカメラ２による障害物探知情報を
含む前方の立体視情報を表示する視角範囲であり、その
外側の破線までの領域が３次元地形画像による広視界情
報を表示する視角範囲である。このＨＭＤ２１の表示で
は、融合視界に対して現実の視界すなわちコックピット
３０や窓からの風景を透過して観測することができ、コ
ックピット３０の計器の指示値等の有意義な情報を十分
に活用することが可能である。
【００３２】以上、本発明による融合視界装置１では、
視界不良時、ステレオカメラ２の左右画像を用いた立体
視により、単眼のカメラでは実現することのできない遠
近感・高度感・速度感等のリアリティのある感覚をパイ
ロットに提供すると同時に、ステレオカメラ２の左右画
像をステレオ画像処理し、得られた距離データから更に
画像認識を行なって飛行経路又はその付近にある障害物
を探知し、必要に応じた警報としての障害物表示を行な
う。
【００３３】これにより、視界不良の条件下においても
通常の有視界飛行と同様の感覚で操縦することを可能と
し、パイロットの操縦を効果的に支援して確実且つ安全
な飛行とすることができるばかりでなく、定期運航の確
立や緊急時の運航にも対応可能とすることができる。ま
た、視界良好時には、ステレオカメラ２による立体視は
必ずしも必要ないものの、ステレオ画像認識処理による
障害物検知及び警報を行なうことで、飛行の安全性をよ
り一層高めることができる。更に、前方視界の立体視表
示と障害物探知警報とを、同じステレオカメラ２を用い
て実現するため、それぞれの機能を実現するための専用
のセンサを設置する必要がなく、信頼性が高く且つ安価
で軽量なシステム構成とすることができる。
【００３４】
【発明の効果】以上説明したように本発明によれば、輸
送機関の搭乗者に、視界不良時においても視界良好時と
同様のリアリティのある視界を提供して操縦を支援する
と同時に、進行方向の障害物を確実に検知し、確実且つ
安全な運行を可能とすることができる。
【図面の簡単な説明】
【図１】融合視界装置の全体構成図
【図２】融合視界情報の表示領域を示す説明図
【符号の説明】
１ 融合視界装置 ２ ステレオカメラ １０ 画像合成装置 １１ ステレオ画像認識処理部 １３ 融合視界生成部 ２０ 融合視界表示装置 ２１ ヘッドマウントディスプレイ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 5/04 Ｇ０８Ｇ 5/04 Ａ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｎ Ｚ 13/00 13/00 (72)発明者 岡田 洋 東京都新宿区西新宿一丁目７番２号 富士 重工業株式会社内 Ｆターム(参考） 5B050 BA04 BA06 BA07 BA17 DA05 EA26 FA02 FA06 5B057 AA16 BA02 CA13 CA16 CB13 CB16 CB19 DA04 DA06 DA15 DA16 DB03 5C054 AA01 CA01 CA05 CA06 EA01 EA05 FA07 FD02 FE14 HA13 HA30 5C061 AA06 AA21 AB04 AB08 AB18 5H180 AA26 CC02 CC03 CC04 CC14 FF23 FF33 LL01

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 輸送機関に搭載されて外界の所定範囲を
    撮像するステレオカメラと、 上記ステレオカメラで撮像した一対の画像を処理して進
    行の障害となる物体を認識し、障害物情報を生成するス
    テレオ画像認識処理手段と、 上記ステレオカメラで撮像した一対の画像による立体視
    界情報と上記ステレオ画像認識処理手段からの障害物情
    報とを含む融合視界情報を生成する融合視界生成手段
    と、 上記融合視界情報を上記輸送機関の搭乗者に対する可視
    像として表示する融合視界表示手段とを備えたことを特
    徴とする融合視界装置。
  2. 【請求項２】 上記融合視界生成手段は、上記ステレオ
    カメラによる立体視界情報に周辺の広視界情報を付加す
    ることを特徴とする請求項１記載の融合視界装置。
  3. 【請求項３】 上記融合視界表示手段は、上記融合視界
    生成手段からの融合視界と現実の視界とを重ね合わせ可
    能な透過型のヘッドマウントディスプレイであることを
    特徴とする請求項１又は請求項２記載の融合視界装置。
  4. 【請求項４】 上記融合視界生成手段は、指示入力に応
    じて上記ステレオカメラによる立体視界を除去可能であ
    ることを特徴とする請求項３記載の融合視界装置。
  5. 【請求項５】 上記ステレオカメラを、２台の赤外線カ
    メラを所定の基線長で配設して構成することを特徴とす
    る請求項１，２，３，４のいずれか一に記載の融合視界
    装置。
  6. 【請求項６】 上記ステレオカメラが複数搭載され、そ
    れぞれのステレオカメラは、赤外線カメラ、ミリ波カメ
    ラ若しくはインテンシファイアのいずれかであるととも
    に互いに異なっており、現実の視界の状況により適宜選
    択して使用されることを特徴とする請求項１，２，３，
    ４のいずれか一に記載の融合視界装置。
JP2000160940A 2000-05-30 2000-05-30 融合視界装置 Pending JP2001344597A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000160940A JP2001344597A (ja) 2000-05-30 2000-05-30 融合視界装置
DE60130517T DE60130517T2 (de) 2000-05-30 2001-05-29 Integriertes Sichtsystem
EP01113091A EP1160541B1 (en) 2000-05-30 2001-05-29 Integrated vision system
US09/866,773 US20010048763A1 (en) 2000-05-30 2001-05-30 Integrated vision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000160940A JP2001344597A (ja) 2000-05-30 2000-05-30 融合視界装置

Publications (1)

Publication Number Publication Date
JP2001344597A true JP2001344597A (ja) 2001-12-14

Family

ID=18665057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000160940A Pending JP2001344597A (ja) 2000-05-30 2000-05-30 融合視界装置

Country Status (4)

Country Link
US (1) US20010048763A1 (ja)
EP (1) EP1160541B1 (ja)
JP (1) JP2001344597A (ja)
DE (1) DE60130517T2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182305A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両走行支援装置
US6999005B2 (en) 2003-03-05 2006-02-14 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
JP2008502538A (ja) * 2004-06-11 2008-01-31 ストラテック　システムズ　リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2009501677A (ja) * 2005-07-19 2009-01-22 ザ・ボーイング・カンパニー 受動的なワイヤ検出のためのシステムおよび方法
JP2012253472A (ja) * 2011-06-01 2012-12-20 Yoshihiko Kitamura ３ｄカメラ
JP2013038622A (ja) * 2011-08-09 2013-02-21 Topcon Corp 遠隔操作システム
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
JPWO2014077046A1 (ja) * 2012-11-13 2017-01-05 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP2017206196A (ja) * 2016-05-20 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6429350B1 (ja) * 2018-08-08 2018-11-28 豊 川口 車両
JP6429347B1 (ja) * 2018-05-18 2018-11-28 豊 川口 視界表示システムおよび移動体
JP2021030806A (ja) * 2019-08-21 2021-03-01 株式会社島津製作所 操縦支援システム
JP6903287B1 (ja) * 2020-12-25 2021-07-14 雄三 安形 ワイパーを具備しない車両

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633802B2 (en) * 2001-03-06 2003-10-14 Sikorsky Aircraft Corporation Power management under limited power conditions
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US7982767B2 (en) * 2003-11-11 2011-07-19 Supersonic Aerospace International, Llc System and method for mounting sensors and cleaning sensor apertures for out-the-window displays
US7312725B2 (en) * 2003-07-08 2007-12-25 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
EP1661117A4 (en) * 2003-07-08 2009-01-21 Supersonic Aerospace Int DISPLAY SYSTEMS FOR AN APPARATUS
US7486291B2 (en) * 2003-07-08 2009-02-03 Berson Barry L Systems and methods using enhanced vision to provide out-the-window displays for a device
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US20050275717A1 (en) * 2004-06-10 2005-12-15 Sarnoff Corporation Method and apparatus for testing stereo vision methods using stereo imagery data
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
JP4246691B2 (ja) * 2004-11-30 2009-04-02 本田技研工業株式会社 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
US9092458B1 (en) 2005-03-08 2015-07-28 Irobot Corporation System and method for managing search results including graphics
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US7605719B1 (en) * 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
US8040258B2 (en) * 2009-04-07 2011-10-18 Honeywell International Inc. Enhanced situational awareness system and method
US20110261188A1 (en) * 2010-04-23 2011-10-27 Adarve Lozano Alberto System for providing night vision at low visibility conditions
EP2824425B1 (en) * 2012-03-06 2017-05-17 Nissan Motor Co., Ltd Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object
US9299118B1 (en) * 2012-04-18 2016-03-29 The Boeing Company Method and apparatus for inspecting countersinks using composite images from different light sources
WO2014003698A1 (en) * 2012-06-29 2014-01-03 Tusaş-Türk Havacilik Ve Uzay Sanayii A.Ş. An aircraft vision system
WO2015015521A1 (en) * 2013-07-31 2015-02-05 Mes S.P.A. A Socio Unico Indirect vision system and associated operating method
US9384670B1 (en) * 2013-08-12 2016-07-05 The Boeing Company Situational awareness display for unplanned landing zones
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US10516815B2 (en) * 2014-12-01 2019-12-24 Northrop Grumman Systems Corporation Image processing system
KR101676656B1 (ko) 2014-12-22 2016-11-16 현대모비스 주식회사 장애물 검출 장치 및 장애물 검출 방법
DE102015003973B3 (de) * 2015-03-26 2016-06-23 Audi Ag Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
SE541180C2 (en) * 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
FR3075167B1 (fr) * 2017-12-19 2019-11-15 Airbus Operations (S.A.S.) Pointe avant a visibilite frontale directe et laterale indirecte
CN108304807A (zh) * 2018-02-02 2018-07-20 北京华纵科技有限公司 一种基于fpga平台和深度学习的轨道异物检测方法及系统
US10683067B2 (en) 2018-08-10 2020-06-16 Buffalo Automation Group Inc. Sensor system for maritime vessels
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
CN109319162B (zh) * 2018-11-28 2021-10-22 西安亚联航空科技有限公司 一种摄像无人机中利用正反向形成空气对流的摄像装置
CN113572959A (zh) * 2021-07-13 2021-10-29 郭晓勤 一种设置在客运飞机上的旅客视觉旅行系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473382A (en) * 1987-09-14 1989-03-17 Nec Corp Display device for flight simulator
JPH0646460A (ja) * 1992-07-24 1994-02-18 Sony Tektronix Corp 光透過状態制御装置
JPH06503724A (ja) * 1990-11-26 1994-04-28 プラス　４　エンジニアリング　インコーポレイテッド ゴルフ装置
JPH07143524A (ja) * 1993-11-19 1995-06-02 Honda Motor Co Ltd 車載用ステレオ画像表示装置
JPH089422A (ja) * 1994-06-17 1996-01-12 Sony Corp 立体画像出力装置
JPH0935177A (ja) * 1995-07-18 1997-02-07 Hitachi Ltd 運転支援方法および運転支援装置
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
JPH10117342A (ja) * 1996-10-11 1998-05-06 Yazaki Corp 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体
JP2000112343A (ja) * 1998-10-06 2000-04-21 Alpine Electronics Inc ナビゲーション用立体表示方法及びナビゲーション装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU74579A1 (ja) * 1976-03-17 1976-09-01
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
CA2060406C (en) * 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US5581271A (en) * 1994-12-05 1996-12-03 Hughes Aircraft Company Head mounted visual display
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
FR2760554B1 (fr) * 1997-03-06 1999-04-16 Alsthom Cge Alcatel Procede de detection de contours de relief dans une paire d'images stereoscopiques
US6061068A (en) * 1998-06-30 2000-05-09 Raytheon Company Method and apparatus for providing synthetic vision using reality updated virtual image
EP0899580A3 (en) * 1997-08-29 2000-02-02 Kabushiki Kaisha Toshiba Target locating system and approach guidance system
DE19741631B4 (de) * 1997-09-20 2013-08-14 Volkswagen Ag Verfahren und Vorrichtung zur Vermeidung und/oder Minimierung von Konfliktsituationen im Straßenverkehr
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US5999122A (en) * 1998-06-23 1999-12-07 Trw Inc. Millimeter wave instant photographic camera
DE60009000T2 (de) * 1999-10-21 2005-03-10 Matsushita Electric Industrial Co., Ltd., Kadoma System zur Einparkhilfe
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473382A (en) * 1987-09-14 1989-03-17 Nec Corp Display device for flight simulator
JPH06503724A (ja) * 1990-11-26 1994-04-28 プラス　４　エンジニアリング　インコーポレイテッド ゴルフ装置
JPH0646460A (ja) * 1992-07-24 1994-02-18 Sony Tektronix Corp 光透過状態制御装置
JPH07143524A (ja) * 1993-11-19 1995-06-02 Honda Motor Co Ltd 車載用ステレオ画像表示装置
JPH089422A (ja) * 1994-06-17 1996-01-12 Sony Corp 立体画像出力装置
JPH0935177A (ja) * 1995-07-18 1997-02-07 Hitachi Ltd 運転支援方法および運転支援装置
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
JPH10117342A (ja) * 1996-10-11 1998-05-06 Yazaki Corp 車両周辺監視装置、障害物検出方法、及び障害物検出プログラムを記憶した媒体
JP2000112343A (ja) * 1998-10-06 2000-04-21 Alpine Electronics Inc ナビゲーション用立体表示方法及びナビゲーション装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999005B2 (en) 2003-03-05 2006-02-14 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
JP2005182305A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両走行支援装置
JP2008502538A (ja) * 2004-06-11 2008-01-31 ストラテック　システムズ　リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2009501677A (ja) * 2005-07-19 2009-01-22 ザ・ボーイング・カンパニー 受動的なワイヤ検出のためのシステムおよび方法
JP2012253472A (ja) * 2011-06-01 2012-12-20 Yoshihiko Kitamura ３ｄカメラ
JP2013038622A (ja) * 2011-08-09 2013-02-21 Topcon Corp 遠隔操作システム
US9158305B2 (en) 2011-08-09 2015-10-13 Kabushiki Kaisha Topcon Remote control system
JPWO2014077046A1 (ja) * 2012-11-13 2017-01-05 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
JP2017206196A (ja) * 2016-05-20 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6429347B1 (ja) * 2018-05-18 2018-11-28 豊 川口 視界表示システムおよび移動体
JP2019200712A (ja) * 2018-05-18 2019-11-21 豊 川口 視界表示システムおよび移動体
JP6429350B1 (ja) * 2018-08-08 2018-11-28 豊 川口 車両
JP2020023293A (ja) * 2018-08-08 2020-02-13 豊 川口 車両
JP2021030806A (ja) * 2019-08-21 2021-03-01 株式会社島津製作所 操縦支援システム
JP7367922B2 (ja) 2019-08-21 2023-10-24 株式会社島津製作所 操縦支援システム
JP6903287B1 (ja) * 2020-12-25 2021-07-14 雄三 安形 ワイパーを具備しない車両
WO2022137599A1 (ja) * 2020-12-25 2022-06-30 雄三 安形 ワイパーを具備しない車両
JP2022103000A (ja) * 2020-12-25 2022-07-07 雄三 安形 ワイパーを具備しない車両

Also Published As

Publication number Publication date
DE60130517D1 (de) 2007-10-31
EP1160541B1 (en) 2007-09-19
US20010048763A1 (en) 2001-12-06
DE60130517T2 (de) 2008-06-12
EP1160541A1 (en) 2001-12-05

Similar Documents

Publication Publication Date Title
JP2001344597A (ja) 融合視界装置
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP6731116B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
EP1961613B1 (en) Driving support method and driving support device
CA2691375C (en) Aircraft landing assistance
US7605774B1 (en) Enhanced vision system (EVS) processing window tied to flight path
WO2010029707A4 (ja) 画像照射システム及び画像照射方法
CN109353279A (zh) 一种增强现实车载抬头显示系统
US20040178894A1 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN109050401B (zh) 一种增强现实的驾驶显示方法和装置
US20020015047A1 (en) Image cut-away/display system
JP3252129B2 (ja) ヘリコプタの操縦支援装置
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
JPH08253059A (ja) 車両用運転支援システム
JP2009214831A (ja) 車両用表示装置
KR102173476B1 (ko) 비행 안전 시야 확보를 위한 항공기용 신호처리 시스템
JP2017040773A (ja) 頭部装着型表示装置
JP7367922B2 (ja) 操縦支援システム
JP7577988B2 (ja) 表示装置、移動体、表示方法及びプログラム
WO2024128060A1 (ja) 視界支援表示装置、視界支援表示システム、および視界支援表示方法
JP2004341936A (ja) 操縦支援画像表示システム
JP2005067370A (ja) 車両用表示装置
JP7367930B2 (ja) 移動体用画像表示システム
Hebel et al. Imaging sensor fusion and enhanced vision for helicopter landing operations
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100803