[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6302624B2 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP6302624B2
JP6302624B2 JP2013091803A JP2013091803A JP6302624B2 JP 6302624 B2 JP6302624 B2 JP 6302624B2 JP 2013091803 A JP2013091803 A JP 2013091803A JP 2013091803 A JP2013091803 A JP 2013091803A JP 6302624 B2 JP6302624 B2 JP 6302624B2
Authority
JP
Japan
Prior art keywords
image
coordinates
plane
reprojection
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013091803A
Other languages
English (en)
Other versions
JP2014216797A (ja
Inventor
芳永 清田
芳永 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2013091803A priority Critical patent/JP6302624B2/ja
Priority to CN201480007789.1A priority patent/CN104982031B/zh
Priority to PCT/JP2014/054347 priority patent/WO2014174884A1/ja
Priority to EP14788579.2A priority patent/EP2991343B1/en
Publication of JP2014216797A publication Critical patent/JP2014216797A/ja
Priority to US14/878,150 priority patent/US10621743B2/en
Application granted granted Critical
Publication of JP6302624B2 publication Critical patent/JP6302624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、入力画像に基づいて、出力画像を生成する画像生成装置に関する。
従来、カメラからの入力画像を、三次元空間上の所定の空間モデルにマッピングし、そのマッピングした空間データを参照しながら、その三次元空間における任意の仮想視点から見た視点変換画像を生成して表示する画像生成装置が知られている(例えば、特許文献1参照。)。
この画像生成装置は、車両に搭載されたカメラが撮像した画像を、その車両を囲む複数の平面又は曲面で構成される立体的な空間モデルに投影し、その空間モデルに投影した画像を用いて視点変換画像(路面を真上から見た状態を仮想的に映し出す路面画像と水平方向を仮想的に映し出す水平画像とを組み合わせた画像である。)を生成し、生成した視点変換画像を運転者に対して表示する。
これにより、この画像生成装置は、車両を運転する運転者がその視点変換画像を見たときに、その視点変換画像における物体と、車外にある実際の物体とを違和感なく対応付けられるようにしている。
また、特許文献1に記載されるような画像生成装置に比べ、出力画像を調整する際の柔軟性を向上させることができる画像生成装置が知られている(特許文献2参照。)。
特許第3286306号明細書 特許第5135380号明細書
本発明は、出力画像の調整をさらに容易にする画像生成装置を提供することを目的とする。
上述の目的を達成するために、本発明の実施例に画像生成装置は、複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、前記制御装置は、一つの入力画像に関する前記直線のそれぞれが前記再投影軸から前記再投影平面に向かって延び且つ前記再投影平面に垂直な平面において平行となるよう、或いは、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう、前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する。
上述の手段により、本発明は、出力画像の調整をさらに容易にする画像生成装置を提供することができる。
本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。 図1の画像生成装置が搭載されるジブクレーンの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図(その1)である。 空間モデルと処理対象画像平面との間の関係の一例を示す図である。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 座標対応付け部による座標間の対応付けを説明するための図である。 平行線群の作用を説明するための図である。 補助線群の作用を説明するための図である。 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。 ジブクレーンの走行体に取り付けられる8台のカメラの配置図である。 図10の8台のカメラの撮像範囲の概略図である。 図10の8台のカメラの入力画像から部分画像を経て出力画像を生成する処理の流れを示すブロック図である。 図12の処理における入力画像、部分画像、及び出力画像の例を示す図である。 走行体監視画像の特徴を説明する図である。 出力画像と再投影角度との関係を説明する図(その1)である。 出力画像調整処理の流れを示すフローチャートである。 空間モデルと再投影線との関係を示す模式図である。 本発明の実施例に係る画像生成装置が搭載されるショベルの構成例を示す図である。 入力画像が投影される空間モデルの一例を示す図(その2)である。 図18のショベルに搭載された3台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。 出力画像と再投影角度との関係を説明する図(その2)である。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の実施例に係るジブクレーンに搭載される画像生成装置100の構成例を概略的に示すブロック図である。
画像生成装置100は、ジブクレーンの周辺を監視する周辺監視装置の一例であり、主に、制御装置1、カメラ2、記憶装置4、無線通信装置5a、5b、及び表示装置6で構成される。具体的には、画像生成装置100は、ジブクレーンに搭載されるカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を表示装置6に表示する。
図2は、画像生成装置100が搭載されるジブクレーン60の構成例を示す図であり、図2左図がジブクレーン60の側面視であり、図2右図がジブクレーン60の前面視である。
ジブクレーン60は、屋外に設置される走行クレーンであり、主に、レールRA上を走行する走行体61と、走行体61上に設置される塔体62と、塔体62上に設置される旋回体63と、旋回体63に取り付けられるジブ64とを有する。
走行体61は、一対の脚部61a、61bとそれら一対の脚部61a、61bを接続する桁部61cとで構成される門型形状のフレームを有し、駆動源61dによって駆動される。旋回体63は、図2の状態において、−X側端部の+Y側に運転室63aを備え、−X側端部の中央部にジブ64が取り付けられる。なお、走行体61には制御装置1、カメラ2、及び無線通信装置5aが設置され、旋回体63には無線通信装置5bが設置され、運転室63a内の操作者が視認し易い位置には表示装置6が設置される。
次に、画像生成装置100の各構成要素について説明する。
制御装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御装置1は、走行体61又は塔体62に設置され、例えば、後述する座標対応付け部10、画像生成部11、及び画像調整部12のそれぞれの機能要素に対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各機能要素に対応する処理をCPUに実行させる。なお、制御装置1は、旋回体63に設置されてもよい。
カメラ2は、ジブクレーン60の周囲を映し出す入力画像を取得するための装置であり、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子で構成される。本実施例では、カメラ2は、例えば、運転室63aにいる操作者の死角となる領域を撮像できるよう、走行体61に取り付けられる複数の走行体用カメラ(後述)を含む。なお、カメラ2は、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。
また、カメラ2は、制御装置1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御装置1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御装置1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御装置1に対して出力してもよい。その場合には、制御装置1がその見掛け上の歪曲やアオリを補正する。
記憶装置4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
無線通信装置5a、5bは、情報を無線で送受信するための装置である。本実施例では、無線通信装置5aは、走行体61に設置され、制御装置1に有線接続される。また、無線通信装置5bは、旋回体63に設置され、表示装置6に有線接続される。そして、無線通信装置5aは、カメラ2の入力画像に基づいて制御装置1が生成する出力画像を無線通信装置5bに対して無線で送信する。無線通信装置5bは、無線通信装置5aから送信される出力画像を無線で受信すると、受信した出力画像を表示装置6に対して出力する。なお、無線通信装置5a、5bは、制御装置1とカメラ2との間に配置されてもよい。この場合、無線通信装置5aは、走行体61又は塔体62に設置され、カメラ2に有線接続される。また、無線通信装置5bは、旋回体63に設置され、旋回体63に設置された制御装置1に有線接続される。この構成により、画像生成装置100は、有線接続を採用する際に生じるケーブルの取り回し、ケーブルの保護等に関する問題を排除できる。例えば、塔体62には、運転者若しくは作業者の昇降用の階段、エレベータ等が設置される。また、塔体62には、走行体61に設置される機器と旋回体63に設置される機器とを繋ぐ多くの配線が設置される。そのため、さらなるケーブルを設置するためのスペースの確保が困難な場合がある。このような状況においても、画像生成装置100は、無線通信装置5a、5bを用いることにより、カメラ2と表示装置6との間で画像を送受信できる。
表示装置6は、画像情報を表示するための装置であり、例えば、ジブクレーン60の運転室63a(図2参照。)内に設置される液晶ディスプレイ又はプロジェクタ等であって、制御装置1が出力する各種画像を表示する。
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成し、その出力画像を表示装置6上に表示させてもよい。
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、画像生成装置100は、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影する。そして、画像生成装置100は、その空間モデルに投影した投影画像を別の二次元平面に再投影することによって処理対象画像を生成する。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、走行体61を側方から見たときの走行体61と空間モデルMDとの間の関係を示し、図3右図は、走行体61を上方から見たときの走行体61と空間モデルMDとの間の関係を示す。
図3に示すように、空間モデルMDは、円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。
また、図4は、空間モデルMDと処理対象画像平面R3との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
次に、制御装置1が有する各種機能要素について説明する。
座標対応付け部10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け部10は、例えば、予め設定された、或いは、動的に入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け部10は、それらの対応関係を記憶装置4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
なお、座標対応付け部10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
画像生成部11は、出力画像を生成するための手段である。本実施例では、画像生成部11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成部11は、その対応関係を記憶装置4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
例えば、画像生成部11は、予め設定された、或いは、動的に入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成部11は、その対応関係を記憶装置4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、画像生成部11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成してもよい。
また、画像生成部11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成部11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成部11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
画像調整部12は、画像生成装置100が生成する出力画像を調整するための手段である。本実施例では、画像調整部12は、入力画像における所定地物を表す画像に対応する空間モデルMD上の座標とその空間モデルMD上の座標に対応する処理対象画像平面R3上の座標とを結ぶ再投影線(後述)を入力画像毎に導き出す。そして、画像調整部12は、その再投影線の傾き(例えば、鉛直線に対する角度であり、以下、「再投影角度」とする。)を入力画像毎に決定して処理対象画像を調整する。また、画像調整部12は、各入力画像における所定地物を表す画像に対応する処理対象画像平面R3上の各座標と空間モデルMDの再投影軸(後述)との間の距離が等しくなるように再投影角度を入力画像毎に決定する。なお、「各入力画像における所定地物を表す画像」は、各入力画像に跨って存在し得る地物を表す画像であり、例えば、水平線、地平線等の無限遠線を表す画像、ジブクレーン60の周辺にある壁面に水平に描かれた線を表す画像、路面に描かれた線を表す画像等を含む。また、画像調整部12による処理対象画像の調整についてはその詳細を後述する。
次に、座標対応付け部10及び画像生成部11による具体的な処理の一例について説明する。
座標対応付け部10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。
最初に、座標対応付け部10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「−W軸」の符号「−」は、Z軸の方向と−W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け部10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け部10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
で表される。
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
で表されることとなる。
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、
で表され、四元数Qの共役四元数は、
で表される。
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、
で表される。
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
で表される。
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
で表される。また、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け部10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け部10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。
また、座標対応付け部10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け部10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
その後、座標対応付け部10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け部10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、
このようにして、座標対応付け部10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
また、座標対応付け部10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け部10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け部10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
図6は、座標対応付け部10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け部10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
F6Aの例では、座標対応付け部10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け部10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
具体的には、座標対応付け部10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。
F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け部10は、XZ平面上に位置する再投影線群としての平行線群PLであって、Z軸との間で角度γを形成する平行線群PLを導入する。そして、座標対応付け部10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
F6Bの例では、座標対応付け部10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。
なお、座標対応付け部10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。
このようにして、座標対応付け部10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
F6Cの例では、画像生成部11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成部11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
具体的には、画像生成部11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。
このようにして、画像生成部11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成部11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、F6Dは、F6A〜F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの作用について説明する。
図7左図は、XZ平面上に位置する平行線群PLとZ軸との間で角度γが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLとZ軸との間で角度γ1(γ1>γ)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。また、図7左図における座標La〜Ldのそれぞれの間隔は、図7右図における座標La〜Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。
図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと再投影軸との間の角度γが減少するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け部10が導入する平行線群PLの代替例について説明する。
図8左図は、XZ平面上に位置する再投影線群としての補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La〜Ldのそれぞれの間隔は、図8右図における座標La〜Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。
図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、走行体61の近傍の路面画像(走行体61を真上から見たときの仮想画像)に影響を与えることなく、走行体61の周囲に位置する物体(走行体61から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ジブクレーン60の死角領域の視認性を向上させることができる。
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。
最初に、制御装置1は、座標対応付け部10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
具体的には、座標対応付け部10は、平行線群PLと再投影軸との間に形成される再投影角度を取得する。そして、座標対応付け部10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け部10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。また、本実施例では、平行線群PLと再投影軸との間に形成される再投影角度は、画像調整部12によってカメラ毎(入力画像毎)に決定される値である。なお、再投影角度は、記憶装置4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
また、座標対応付け部10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
その後、制御装置1は、座標対応付け部10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
具体的には、座標対応付け部10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け部10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け部10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
その後、制御装置1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御装置1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。
一方、制御装置1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御装置1は、画像生成部11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
具体的には、画像生成部11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成部11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
或いは、画像生成部11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
或いは、画像生成部11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成部11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成部11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成部11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
その後、制御装置1の画像生成部11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成部11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成部11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成部11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
その後、制御装置1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御装置1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。
一方、制御装置1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
以上の構成により、画像生成装置100は、走行体61の周囲の物体と走行体61との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。
なお、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合であっても、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される再投影角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
次に、図10〜図14を参照しながら、走行体61に取り付けられる8台のカメラの入力画像を用いて画像生成装置100が出力画像としての走行体監視画像を生成する処理について説明する。なお、図10は、ジブクレーン60の走行体61の上面視、側面視、及び前面視を用いた8台のカメラの配置図である。また、図11は、走行体61の上面視、側面視、及び前面視を用いた8台のカメラの撮像範囲の概略図である。また、図12は、8つの入力画像から4つの部分画像を経て1つの出力画像を生成する処理の流れを示すブロック図である。また、図13は、図12の処理における入力画像、部分画像、及び出力画像の例を示す図である。また、図14は、走行体監視画像の特徴を説明する図である。
図10に示すように、ジブクレーン60の走行体61には8台のカメラ2−1〜2−8が取り付けられる。具体的には、走行体61の上面視F10A、側面視F10B、及び前面視F10Cで示すように、走行体61には、脚部61aの外側(+Y側)を撮像する2つのカメラ2−1、2−5と、レール延在方向の一方の側(+X側)を撮像するカメラ2−2と、一対の脚部61a、61bの間の空間を撮像する2つのカメラ2−3、2−7と、レール延在方向の他方の側(−X側)を撮像するカメラ2−6と、脚部61bの外側(−Y側)を撮像する2つのカメラ2−4、2−8とが取り付けられる。
カメラ2−1は、桁部61cの+Y側の上端部に取り付けられ、図11の上面視F11A及び前面視F11Cにおける二点鎖線で示す光軸を有し、その光軸は点CP1において路面と交差する。また、上面視F11A及び前面視F11Cにおける粗いドットパターンで示す領域CR1は、カメラ2−1の撮像範囲の一部を表す。なお、図11では、図の明瞭化のため、カメラの図示を省略する。また、側面視F11Bは、上面視F11Aにおける点線で示す鉛直面をDB方向から見た部分断面図であり、前面視F11Cは、側面視F11Bにおける点線で示す鉛直面をDC方向から見た部分断面図である。また、側面視F11Bでは、図の明瞭化のため、脚部61a、61bの一部の図示を省略する。
カメラ2−2は、桁部61cの下面に取り付けられ、上面視F11A及び側面視F11Bにおける破線で示す光軸を有し、その光軸は点CP2において路面と交差する。また、上面視F11A及び側面視F11Bにおける左下がり斜線パターンで示す領域CR2は、カメラ2−2の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR1−2は、カメラ2−1の撮像範囲とカメラ2−2の撮像範囲とが重複する領域を表す。また、カメラ2−2は、桁部61cの上面又は側面に取り付けられてもよい。
カメラ2−3は、桁部61cの下面に取り付けられ、側面視F11Bにおける一点鎖線で示す光軸を有し、その光軸は点CP3において路面と交差する。また、上面視F11A、側面視F11B、及び前面視F11Cにおける右下がり斜線パターンで示す領域CR3は、カメラ2−3の撮像範囲の一部を表す。なお、上面視F11A及び側面視F11Bにおける領域CR2−3は、カメラ2−2の撮像範囲とカメラ2−3の撮像範囲とが重複する領域を表す。
カメラ2−4は、桁部61cの−Y側の上端部に取り付けられ、上面視F11A及び前面視F11Cにおける二点鎖線で示す光軸を有し、その光軸は点CP4において路面と交差する。また、上面視F11A及び前面視F11Cにおける粗いドットパターンで示す領域CR4は、カメラ2−4の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR2−4は、カメラ2−2の撮像範囲とカメラ2−4の撮像範囲とが重複する領域を表す。
カメラ2−5は、桁部61cの+Y側の上端部に取り付けられ、上面視F11Aにおける二点鎖線で示す光軸を有し、その光軸は点CP5において路面と交差する。また、上面視F11Aにおける細かいドットパターンで示す領域CR5は、カメラ2−5の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR1−5は、カメラ2−1の撮像範囲とカメラ2−5の撮像範囲とが重複する領域を表す。
カメラ2−6は、桁部61cの下面に取り付けられ、上面視F11A及び側面視F11Bにおける破線で示す光軸を有し、その光軸は点CP6において路面と交差する。また、上面視F11A及び側面視F11Bにおける右下がり斜線パターンで示す領域CR6は、カメラ2−6の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR5−6は、カメラ2−5の撮像範囲とカメラ2−6の撮像範囲とが重複する領域を表す。また、カメラ2−6は、桁部61cの上面又は側面に取り付けられてもよい。
カメラ2−7は、桁部61cの下面に取り付けられ、側面視F11Bにおける一点鎖線で示す光軸を有し、その光軸は点CP7において路面と交差する。また、上面視F11A及び側面視F11Bにおける左下がり斜線パターンで示す領域CR7は、カメラ2−7の撮像範囲の一部を表す。なお、上面視F11A及び側面視F11Bにおける領域CR6−7は、カメラ2−6の撮像範囲とカメラ2−7の撮像範囲とが重複する領域を表す。
カメラ2−8は、桁部61cの−Y側の上端部に取り付けられ、上面視F11Aにおける二点鎖線で示す光軸を有し、その光軸は点CP8において路面と交差する。また、上面視F11Aにおける細かいドットパターンで示す領域CR8は、カメラ2−8の撮像範囲の一部を表す。なお、上面視F11Aにおける領域CR6−8は、カメラ2−6の撮像範囲とカメラ2−8の撮像範囲とが重複する領域を表す。また、上面視F11Aにおける領域CR4−8は、カメラ2−4の撮像範囲とカメラ2−8の撮像範囲とが重複する領域を表す。
上述のように配置される8台のカメラ2−1〜2−8はそれぞれ、制御装置1に対して入力画像G1〜G8を出力する。
次に、図12及び図13を参照しながら、8台のカメラ2−1〜2−8が出力する8つの入力画像G1〜G8から4つの部分画像を経て1つの出力画像を生成する処理の流れについて説明する。
本実施例では、制御装置1は、3つの入力画像を用いて、最終的な出力画像の一部を構成する部分画像の1つを生成する部分画像生成装置としての3画像合成装置20−1〜20−4と、4つの部分画像を用いて1つの出力画像を生成する出力画像生成装置としての4画像合成装置21−1とを有する。
なお、図13上段は、8台のカメラ2−1〜2−8のそれぞれが出力する8つの入力画像G1〜G8の例を示す。また、図13中段は、4台の3画像合成装置20−1〜20−4のそれぞれが出力する4つの部分画像(中間画像)G11〜G14の例を示す。また、図13下段は、4画像合成装置21−1が出力する出力画像G20の例を示す。
3画像合成装置20−1は、カメラ2−1からの入力画像G1と、カメラ2−2からの入力画像G2と、カメラ2−3からの入力画像G3とに基づいて中間画像G11を生成する。そして、3画像合成装置20−1は、生成した中間画像G11を4画像合成装置21−1に対して出力する。
同様に、3画像合成装置20−2は、カメラ2−2からの入力画像G2と、カメラ2−3からの入力画像G3と、カメラ2−4からの入力画像G4とに基づいて中間画像G12を生成する。また、3画像合成装置20−3は、カメラ2−5からの入力画像G5と、カメラ2−6からの入力画像G6と、カメラ2−7からの入力画像G7とに基づいて中間画像G13を生成する。また、3画像合成装置20−4は、カメラ2−6からの入力画像G6と、カメラ2−7からの入力画像G7と、カメラ2−8からの入力画像G8とに基づいて中間画像G14を生成する。そして、3画像合成装置20−2、20−3、20−4は、生成した中間画像G12、G13、G14を4画像合成装置21−1に対して出力する。
4画像合成装置21−1は、3画像合成装置20−1〜20−4からの部分画像(中間画像)G11〜G14に基づいて出力画像G20を生成する。そして、4画像合成装置21−1は、無線通信装置5a、5bを介して、生成した出力画像G20を表示装置6に対して出力する。
その結果、図13中段の中間画像G11は、入力画像G1の一部が対応付けられる画像部分G1Pと、入力画像G2の一部が対応付けられる画像部分G2P1と、入力画像G3の一部が対応付けられる画像部分G3P1とを含む。
また、図13中段の中間画像G12は、入力画像G2の別の一部が対応付けられる画像部分G2P2と、入力画像G3の別の一部が対応付けられる画像部分G3P2と、入力画像G4の一部が対応付けられる画像部分G4Pとを含む。
また、図13中段の中間画像G13は、入力画像G5の一部が対応付けられる画像部分G5Pと、入力画像G6の一部が対応付けられる画像部分G6P1と、入力画像G7の一部が対応付けられる画像部分G7P1とを含む。
また、図13中段の中間画像G14は、入力画像G6の別の一部が対応付けられる画像部分G6P2と、入力画像G7の別の一部が対応付けられる画像部分G7P2と、入力画像G8の一部が対応付けられる画像部分G8Pとを含む。
また、図13下段の出力画像G20は、中間画像G11〜G14のそれぞれが対応付けられる画像部分G11P〜G14Pを含む。
ここで、図13及び図14を参照しながら、画像生成装置100によって生成される出力画像G20の詳細について説明する。なお、図14は、出力画像G20の一例であり、図13下段の出力画像G20に対応する。また、図14中の点線で示す円は、空間モデルMDの平面領域R1と処理対象画像平面R3との間の境界を表す。また、図14中の点線で示す4つの線分LS1〜LS4は、走行体61の側方を撮像する側方用カメラ(カメラ2−1、2−4、2−5、2−8)の入力画像の一部が対応付けられる画像部分と、レールRAに沿った遠方の走行路を撮像する遠方用カメラ(カメラ2−2、2−6)の入力画像の一部が対応付けられる画像部分との間の境界線を表す。また、図14中の白丸は、空間モデルMDの円筒中心CTRを表す。なお、図14中の点線及び白丸は、実際の出力画像G20では表示されない。
図13及び図14に示すように、画像生成装置100は、8台のカメラ2−1〜2−8のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影し、曲面領域R2に投影した画像を処理対象画像平面R3に再投影する。そして、画像生成装置100は、平面領域R1に投影した画像と処理対象画像平面R3に再投影した画像とに基づいて出力画像G20を生成する。
具体的には、画像生成装置100は、空間モデルMDを底面が四半円となる4つの部分空間モデルに分割し、且つ、処理対象画像平面R3を対応する4つの部分処理対象画像平面に分割する。そして、画像生成装置100は、3台のカメラの入力画像を1つの部分空間モデルの平面領域及び曲面領域に投影し、曲面領域に投影した画像を対応する部分処理対象画像平面に再投影する(図13中段参照。)。そして、画像生成装置100は、4つの平面領域に投影した画像と4つの部分処理対象画像平面に再投影した画像とに基づいて出力画像G20を生成する(図13下段参照。)。このようにして、画像生成装置100は、走行体61の近傍を上空から見下ろした画像(平面領域R1における画像)と、走行体61から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する走行体監視画像を出力画像G20として生成する。
また、本実施例では、画像生成装置100は、図13及び図14に示すように、一対の脚部61a、61bの間の空間の路面画像(画像部分G3P1、G3P2、G7P1、G7P2)と、走行体61の側方の空間の画像(画像部分G1P、G4P、G5P、G8P)とを直接的に隣接させる。すなわち、画像生成装置100は、走行体61の脚部61a、61bがあたかも存在しないように出力画像G20を生成する。
また、本実施例では、画像生成装置100は、図14に示すように、走行体61のX軸方向長さと空間モデルMDの円筒の直径とが一致するように出力画像G20を生成する。また、画像生成装置100は、その円筒面が脚部61a、61bの両端部(上面視における脚部61aの2つの端部と脚部61bの2つの端部の合計4つの端部)を通過するように出力画像G20を生成する。
さらに、本実施例では、画像生成装置100は、図14で示すように、円筒中心CTRと脚部61aの上面視における+X側の端部とを通る直線の一部である線分LS1を画像部分G1Pと画像部分G2P1との境界線(図13中段参照。)に設定する。同様に、画像生成装置100は、円筒中心CTRと脚部61bの上面視における+X側の端部とを通る直線の一部である線分LS2を画像部分G4Pと画像部分G2P2との境界線(図13中段参照。)に設定する。また、画像生成装置100は、円筒中心CTRと脚部61aの上面視における−X側の端部とを通る直線の一部である線分LS3を画像部分G5Pと画像部分G6P1との境界線(図13中段参照。)に設定する。また、画像生成装置100は、円筒中心CTRと脚部61bの上面視における−X側の端部とを通る直線の一部である線分LS4を画像部分G8Pと画像部分G6P2との境界線(図13中段参照。)に設定する。なお、円筒中心CTRは、カメラ2−2、2−3、2−6、2−7の取り付け位置である。この画像配置により、画像生成装置100は、画像部分G2P1、G2P2、G6P1、G6P2(図13中段参照。)において、脚部61a、61bの端部を円筒中心CTRから見た水平画像を表示でき、脚部61a、61bの端部の延在方向外側を操作者に提示できる。
以上の構成により、画像生成装置100が搭載されるジブクレーン60は、走行体監視画像を操作者に提示することによって、ジブクレーン60の操作者による安全確認を促進できる。その結果、ジブクレーン60は、操作者が走行体61を走行させる際の周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。また、ジブクレーン60は、一対の脚部61a、61bの間の空間内の様子を操作者に提示することによって、操作者が走行体61を走行させる際の、その空間内における周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。また、ジブクレーン60は、一対の脚部61a、61bのそれぞれの外側の空間の様子を操作者に提示することによって、操作者が走行体61を走行させる際の、その外側の空間における周辺障害物(人、車両等である。)と走行体61との衝突を防止できる。
また、画像生成装置100は、レールRAに沿った遠方の走行路を撮像する遠方用カメラと、走行体61の一対の脚部61a、61bの間にある近傍の走行路の路面を撮像する近傍用カメラとを別々に用意する。具体的には、画像生成装置100は、遠方用カメラとしてカメラ2−2及び2−6を備え、近傍用カメラとしてカメラ2−3及び2−7を備える。そのため、画像生成装置100は、遠方の走行路の撮像環境(例えば、周囲の明るさである。)と、近傍の走行路の撮像環境とが異なる場合であっても、個々のカメラのオートゲインコントロール機能、デイナイト機能等を有効に利用できる。すなわち、画像生成装置100は、一方の撮像環境への適応のために他方の撮像環境への適応が犠牲になるのを防止できる。例えば、一対の脚部61a、61bの間の空間の明るさが一対の脚部61a、61bの外側の空間の明るさと異なる場合に1つのカメラでそれら明るさの異なる2つの空間を撮像すると、何れか一方の空間に対応する画像部分が露出オーバー又は露出アンダーとなる。しかしながら、明るさの異なる2つの空間を別々のカメラで撮像すれば、2つの空間のそれぞれに対応する画像部分を適正露出で撮像できる。
また、本実施例では、図11の側面視F11Bに示すように、路面高さにおける、交点CP2と交点CP3との間の距離D2−3、交点CP6と交点CP7との間の距離D6−7、及び、交点CP3と交点CP7との間の距離D3−7が、走行体61のX軸方向長さを3等分するように、4台のカメラ2−2、2−3、2−6、及び2−7が配置される。入力画像の画素数を一定とした場合、距離D2−3が大きくなると、画像部分G2P1、G2P2の解像度が低下するためであり、距離D3−7が大きくなると、画像部分G3P1、G3P2、G7P1、G7P2の解像度が低下するためであり、また、距離D6−7が大きくなると、画像部分G6P1、G6P2の解像度が低下するためである。なお、交点CP2は、カメラ2−2の光軸と路面との交点であり、交点CP3は、カメラ2−3の光軸と路面と交点であり、交点CP6は、カメラ2−6の光軸と路面と交点であり、交点CP7は、カメラ2−7の光軸と路面との交点である。このカメラ配置により、画像生成装置100は、画像部分G2P1、G2P2、G3P1、G3P2、G6P1、G6P2、G7P1、及びG7P2における解像度を高め、各カメラの入力画像を効率的に利用できる。
また、本実施例では、図11の前面視F11Cに示すように、右下がり斜線パターンで示すカメラ2−3の撮像範囲CR3は、一対の脚部61a、61bの対向する2つの内壁61a1、61b1の下部領域を含むように設定される。具体的には、カメラ2−3の撮像範囲CR3は、例えば、仮に脚部61a、61bが存在しなければ、路面高さにおいてカメラ2−1の撮像範囲CR1及びカメラ2−4の撮像範囲CR4と接するように設定される。この場合、下部領域の高さH1は、例えば2メートルである。このカメラ配置により、画像生成装置100は、内壁61a1、61b1に沿うように存在する人の頭部を確実に入力画像内に捉えることができ、その人の足下のみを捉えるといった状況が発生してしまうのを回避できる。その結果、画像生成装置100は、内壁61a1、61b1に沿うように存在する物体(特に人物)の上面視を出力画像に表示することができ、その物体が出力画像から消失するのを抑制或いは防止できる。
また、上述の実施例において、画像生成装置100は、4台の3画像合成装置を用いて4つの部分画像を生成した後、4画像合成装置を用いてそれら4つの部分画像を合成して出力画像を生成する。このように、画像生成装置100は、同じ構成を有する複数台の画像合成装置を利用することによって、カメラ台数の変化に柔軟に対応することができる。また、画像生成装置100は、同じ構成を有する複数台の画像合成装置を利用することによって、複数の入力画像から1つの出力画像を生成するために必要な画像合成装置の全体としてのコストを低減させることができる。また、画像生成装置100は、画像の合成を複数の画像合成装置に分担させることによって、出力画像生成の高速化、リアルタイム化をより容易に実現できるようにする。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、部分画像を生成することなく、8つの入力画像から直接的に1つの出力画像を生成してもよい。或いは、画像生成装置100は、2つの入力画像又は4つ以上の入力画像を用いて1つの部分画像を生成する画像合成装置を用いてもよく、2つ、3つ、又は5つ以上の部分画像を用いて1つの出力画像を生成する画像合成装置を用いてもよい。また、画像生成装置100は、3画像合成装置、4画像合成装置、及び5画像合成装置の組み合わせといったように、部分画像を生成する際に、受け入れる入力画像の数が異なる2種類以上の画像合成装置を併用してもよい。
また、画像生成装置100は、走行体61に取り付けられた8台の走行体用カメラ(カメラ2−1〜2−8)のそれぞれが出力する8つの入力画像G1〜G8から走行体監視画像G20を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、8台のカメラ2−1〜2−8のうちの1又は複数のカメラを省略してもよい。例えば、画像生成装置100は、遠方用カメラ(カメラ2−2、2−6)を省略してもよく、近傍用カメラ(カメラ2−3、2−7)を省略してもよく、或いは、側方用カメラ(カメラ2−1、2−4、2−5、2−8)を省略してもよい。
次に、図15を参照して、制御装置1が出力画像を調整する処理について説明する。なお、図15は、出力画像と再投影角度との関係を説明する図であり、図15左図が画像調整部12による調整前の出力画像G20Bを含み、図15右図が画像調整部12による調整後の出力画像G20を含む。また、出力画像G20B、G20の下の図は、空間モデルMDとカメラ2−1、2−2に関する再投影線RL1、RL2との関係を示す模式図である。なお、図の明瞭化のため、その他のカメラに関する再投影線等の図示を省略する。
図15において、画像部分G1Pと画像部分G2P1との境界線である線分LS1上に配置される座標PT1は、画像部分G1Pにおける無限遠線(地平線、水平線)に相当する曲線HL1(点線)と線分LS1との交点を表す。また、線分LS1上に配置される座標PT2は、画像部分G2P1における無限遠線に相当する曲線HL2(一点鎖線)と線分LS1との交点を表す。また、曲線HL1、HL2は、無限遠線が実際に見えているか否かにかかわらず、仮に遮蔽物が存在しなかった場合に見える無限遠線の位置を表す。また、曲線HL1、HL2は、円筒形状を有する空間モデルMDを用いて生成される処理対象画像の画像部分G1P、G2P1における無限遠線に相当するために円弧状の曲線となっている。しかしながら、無限遠線に相当する線は、必ずしも曲線になるとは限らない。例えば、直方体形状の空間モデルを用いて処理対象画像が生成される場合、無限遠線に相当する線は直線となる。なお、線分LS1、座標PT1、PT2、曲線HL1、HL2、円筒中心CTR、カメラ2−1、2−2は、説明のための線図であり、出力画像G20B、G20上に実際に表示されることはない。
図15左図に示すように、画像調整部12による調整前、すなわち、カメラ2−1に関する再投影線RL1の再投影角度γとカメラ2−2に関する再投影線RL2の再投影角度γとが等しいという条件下では、曲線HL1及び曲線HL2は不連続となる。これは、カメラ2−1の設置高さHT1が、カメラ2−2の設置高さHT2と異なることに起因する。
具体的には、再投影線RL1、RL2は、円筒中心(再投影軸)CTRに対して角度γを形成する平行線群を構成する。そして、再投影線RL1、RL2は、座標PP1、PP2において空間モデルMDの曲面領域R2と交差し、座標PT1、PT2において処理対象画像平面R3と交差する。なお、座標PP1の高さは、カメラ2−1の座標とカメラ2−1から見た無限遠点とを通る直線が空間モデルMDの曲面領域R2と交差する点の高さに対応する。同様に、座標PP2の高さは、カメラ2−2の座標とカメラ2−2から見た無限遠点とを通る直線が空間モデルMDの曲面領域R2と交差する点の高さに対応する。すなわち、座標PP1、PP2の高さは、カメラ2−1、2−2から見た無限遠線の位置に対応し、カメラ2−1、2−2の高さHT1、HT2に相当する。
換言すると、再投影線RL1は、カメラ2−1の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルMDの曲面領域R2上の座標PP1と、その座標PP1に対応する処理対象画像平面上の座標PT1とを結ぶ直線である。また、再投影線RL2は、カメラ2−2の入力画像平面における無限遠線に相当する線上の座標に対応する空間モデルMDの曲面領域R2上の座標PP2と、その座標PP2に対応する処理対象画像平面上の座標PT2とを結ぶ直線である。
そして、各カメラ(各入力画像)における再投影角度γが共通であるため、座標PT1と再投影軸CTRとの間の距離は、座標PT2と再投影軸CTRとの間の距離より大きい。すなわち、座標PT1と座標PT2とが一致しない。その結果、曲線HL1及び曲線HL2は不連続となる。
一方、図15右図に示すように、画像調整部12による調整後、すなわち、カメラ2−1に関する再投影線RL1の再投影角度γ1とカメラ2−2に関する再投影線RL2の再投影角度γ2とが個別に決定されるという条件下では、曲線HL1及び曲線HL2は連続となり得る。
本実施例では、画像調整部12は、座標PT1と再投影軸CTRとの間の距離が、座標PT2と再投影軸CTRとの間の距離と等しくなるよう、すなわち、座標PT1と座標PT2とが一致するよう、再投影角度γ1、γ2を個別に決定する。
具体的には、画像調整部12は、入力装置(図示せず。)を用いて操作者が入力する所望の無限遠線位置(例えば、曲線HL1、HL2と再投影軸CTRとの間の距離である。)を取得する。そして、画像調整部12は、取得した無限遠線位置に基づいて座標PT1、PT2を決定する。そして、画像調整部12は、新たに決定した座標PT1と座標PP1とを通る直線である再投影線RL1と再投影軸CTRとの間に形成される角度を再投影角度γ1として導き出す。同様に、画像調整部12は、新たに決定した座標PT2と座標PP2とを通る直線である再投影線RL2と再投影軸CTRとの間に形成される角度を再投影角度γ2として導き出す。
このようにして、画像調整部12は、操作者の入力操作に応じて再投影角度をカメラ毎(入力画像毎)に決定し、所望の無限遠線位置で曲線HL1と曲線HL2とが連続となるようにする。すなわち、複数の画像部分のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
次に、図16を参照して、制御装置1が出力画像を調整する処理(以下、「出力画像調整処理」とする。)の流れについて説明する。なお、図16は、出力画像調整処理の流れを示すフローチャートであり、制御装置1は、例えば、操作者の入力操作に応じてこの出力画像調整処理を実行する。
最初に、制御装置1の画像調整部12は、無限遠線位置を取得する(ステップS11)。本実施例では、操作者は、出力画像G20B(図15参照。)を見ながらタッチパネルを用いて無限遠線に相当する部分を表示させたい位置をタッチ入力する。画像調整部12は、タッチ入力された座標から、カメラ2−1の入力画像に関連する処理対象画像中の画像部分における座標PT1を決定し、且つ、カメラ2−2の入力画像に関連する処理対象画像中の画像部分における座標PT2を決定する。
具体的には、画像調整部12は、タッチ入力された座標と再投影軸CTRとの間の距離が、座標PT1と再投影軸CTRとの間の距離に等しく、且つ、座標PT2と再投影軸CTRとの間の距離に等しくなるように、座標PT1、PT2を決定する。
その後、画像調整部12は、無限遠線位置に対応する再投影線をカメラ毎(入力画像毎)に導き出す(ステップS12)。本実施例では、画像調整部12は、座標PT1と座標PP1とを通る直線をカメラ2−1に関する再投影線RL1として導き出す。また、画像調整部12は、座標PT2と座標PP2とを通る直線をカメラ2−2に関する再投影線RL2として導き出す。また、画像調整部12は、他のカメラ(少なくとも、出力画像G20における水平画像部分を構成する入力画像を出力するカメラを含む。)に関する再投影線を同様に導き出す。
その後、画像調整部12は、再投影角度をカメラ毎(入力画像毎)に導き出す(ステップS13)。本実施例では、画像調整部12は、再投影線RL1と再投影軸CTRとの間に形成される角度を再投影角度γ1として導き出す。また、画像調整部12は、再投影線RL2と再投影軸CTRとの間に形成される角度を再投影角度γ2として導き出す。他のカメラに関する再投影線についても同様である。
その後、制御装置1の座標対応付け部10は、画像調整部12が決定した各カメラ(各入力画像)に関する再投影角度に基づいて記憶装置4における各種対応マップを更新する(ステップS14)。
その後、制御装置1の画像生成部11は、座標対応付け部10が更新した各種対応マップに基づいて処理対象画像を生成する(ステップS15)。本実施例では、画像生成部11は、図9の処理対象画像生成処理を実行する。
次に、図17を参照して、出力画像調整処理の別の例について説明する。なお、図17は、空間モデルMDとカメラ2−1、2−2に関する再投影線RL1、RL2との関係を示す模式図であり、図15の一部に対応する。なお、図17の例は、無限遠線位置の代わりに、走行体61の近傍にある所定の地物の位置を用いる点で図15の例と相違する。
具体的には、図17は、複数の画像部分のそれぞれにおける、走行体61の周囲にある壁面に水平に描かれた白線を表す画像部分が連続となるように、各カメラ(各入力画像)の再投影角度を決定する場合の模式図である。なお、壁面と再投影軸CTRとの間の距離は既知であり、且つ、固定である。
この場合、操作者は、出力画像を見ながらタッチパネルを用いてその白線を表す画像部分を表示させたい位置をタッチ入力する。画像調整部12は、タッチ入力された座標から、カメラ2−1の入力画像に関連する処理対象画像中の画像部分における座標PT1aを決定し、且つ、カメラ2−2の入力画像に関連する処理対象画像中の画像部分における座標PT2aを決定する。
具体的には、画像調整部12は、タッチ入力された座標と再投影軸CTRとの間の距離が、座標PT1aと再投影軸CTRとの間の距離に等しく、且つ、座標PT2aと再投影軸CTRとの間の距離に等しくなるように、座標PT1a、PT2aを決定する。
その後、画像調整部12は、座標PT1aと座標PP1aとを通る直線をカメラ2−1に関する再投影線RL1aとして導き出す。また、画像調整部12は、座標PT2aと座標PP2aとを通る直線をカメラ2−2に関する再投影線RL2aとして導き出す。また、画像調整部12は、他のカメラに関する再投影線を同様に導き出す。
なお、座標PP1aの高さは、カメラ2−1の座標と白線の座標TG1とを通る直線が空間モデルMDの曲面領域R2と交差する点の高さに対応する。また、座標PP2aの高さは、カメラ2−2の座標と白線の座標TG1とを通る直線が空間モデルMDの曲面領域R2と交差する点の高さに対応する。このように、図17の例は、座標PP1、PP2の高さがカメラ2−1、2−2の高さHT1、HT2に相当する図15の例と相違する。
その後、画像調整部12は、再投影線RL1aと再投影軸CTRとの間に形成される角度を再投影角度δ1として導き出す。また、画像調整部12は、再投影線RL2aと再投影軸CTRとの間に形成される角度を再投影角度δ2として導き出す。他のカメラに関する再投影線についても同様である。
その後、座標対応付け部10は、画像調整部12が決定した各カメラ(各入力画像)に関する再投影角度に基づいて記憶装置4における各種対応マップを更新する。そして、画像生成部11は、座標対応付け部10が更新した各種対応マップに基づいて処理対象画像を生成する。
以上の構成により、画像生成装置100は、操作者が再投影角度をカメラ毎(入力画像毎)に直感的に調整できるようにする。そのため、画像生成装置100は、設置高さの異なる複数のカメラ(複数の入力画像)のそれぞれに対応する出力画像中の複数の画像部分における無限遠線に相当する位置を連続させることができる。その結果、画像生成装置100は、例えば、複数の画像部分の空の見え方を統一でき、出力画像の見映えを向上させることができる。
また、画像生成装置100は、操作者による一回の操作入力に応じて複数のカメラの再投影角度を纏めて調整できるようにする。そのため、画像生成装置100は、複数のカメラの設置高さが共通の場合であっても、すなわち、出力画像中の複数の画像部分における無限遠線に相当する位置が既に連続している場合であっても、その無限遠線に相当する位置を、その連続性を維持しながら、容易に移動させることができる。
また、画像生成装置100は、無限遠線位置を操作者に入力させることによって出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、無限遠線位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分における無限遠線に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置100は、無限遠線に相当する位置の調整に関する操作性を向上させることができる。
また、画像生成装置100は、走行体61の近傍にある所定の地物を表示させたい位置を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。また、再投影角度という間接的な値ではなく、その所定の地物を表示させたい位置という直接的な値を操作者に入力させることによって、出力画像中の複数の画像部分におけるその所定の地物に相当する位置を連続させ或いは移動させることができる。その結果、画像生成装置100は、走行体61の近傍にある所定の地物に相当する位置の調整に関する操作性を向上させることができる。
また、画像生成装置100は、空間モデルMDの大きさ(例えば、円筒半径である。)の操作者による調整を許容する。この場合、画像生成装置100は、例えば空間モデルMDの円筒半径が変更されたときに各カメラ(各入力画像)に関する再投影角度を更新して出力画像中の複数の画像部分における無限遠線又は走行体61の近傍にある所定の地物の連続性を維持する。その結果、画像生成装置100は、出力画像中の複数の画像部分における無限遠線又は走行体61の近傍にある所定の地物の連続性を維持しながら、水平画像領域及び路面画像領域の配分比率を変更できる。
次に、図18〜図21を参照して、画像生成装置100Aをショベル70に適用した場合について説明する。なお、ショベル70に搭載される画像生成装置100Aの構成は、カメラ配置を除き、ジブクレーン60に搭載される画像生成装置100の構成と共通する。そのため、共通部分の説明を省略しながら、相違点であるカメラ配置について説明する。
図18は、画像生成装置100Aが搭載されるショベル70の構成例を示す図であり、図18左図はその側面図を示し、図18右図はその上面図を示す。
ショベル70は、クローラ式の下部走行体71の上に旋回機構72を介して上部旋回体73を搭載する。上部旋回体73は、旋回軸PVの周りで旋回自在となるように搭載される。
また、上部旋回体73は、その前方左側部にキャブ(運転室)74を備え、その前方中央部に掘削アタッチメントEを備え、左側面、右側面、及び後面にカメラ2(左側方カメラ2L、右側方カメラ2R、後方カメラ2B)を備える。また、図18右図の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像空間を表す。なお、本実施例では、左側方カメラ2Lの設置高さは、右側方カメラ2Rの設置高さと同じであり、後方カメラ2Bの設置高さより高い。また、キャブ74内の運転者が視認し易い位置には表示装置6が設置されている。また、本実施例では、表示装置6は、無線通信装置を介することなく制御装置1に接続される。
図19は、入力画像が投影される空間モデルMDの一例を示す図であり、図19左図は、ショベル70を側方から見たときのショベル70と空間モデルMDとの間の関係を示し、図19右図は、ショベル70を上方から見たときのショベル70と空間モデルMDとの間の関係を示す。
図19に示すように、空間モデルMDは、ジブクレーン60の場合と同様、円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。また、処理対象画像平面R3(図示せず。)は、図4に示すジブクレーン60の場合の空間モデルMDと同様、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
図20は、ショベル70に搭載された3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
画像生成装置100Aは、それら3台のカメラ2のそれぞれの入力画像平面上の座標を空間モデルMDの平面領域R1及び曲面領域R2上の座標に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100Aは、その生成した処理対象画像に画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)を施すことによって出力画像を生成する。そして、画像生成装置100Aは、ショベル70の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル70から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを表示する。

図21は、出力画像と再投影角度との関係を説明する図である。具体的には、図21上図は、画像調整部12による調整前の出力画像を示し、図15の出力画像G20Bに対応する。また、図21下図は、画像調整部12による調整後の出力画像を示し、図15の出力画像G20に対応する。
図21上図において、曲線HL10(点線)は、出力画像の左側方画像(左側方カメラ2Lの入力画像に基づく画像部分)における無限遠線に相当する。また、曲線HL11(一点鎖線)は、出力画像の後方画像(後方カメラ2Bの入力画像に基づく画像部分)における無限遠線に相当する。また、曲線HL12(点線)は、出力画像の右側方画像(右側方カメラ2Rの入力画像に基づく画像部分)における無限遠線に相当する。なお、曲線HL10、HL11、HL12、再投影軸CTRは、説明のための線図であり、出力画像上に実際に表示されることはない。
図21上図に示すように、画像調整部12による調整前、すなわち、3台のカメラのそれぞれに関する再投影線の再投影角度が共通という条件下では、曲線HL10、HL12と曲線HL11とは不連続となる。これは、後方カメラ2Bの設置高さが、左側方カメラ2L、右側方カメラ2Rの設置高さと異なることに起因する。
一方、図21下図に示すように、画像調整部12による調整後、すなわち、3台のカメラのそれぞれに関する再投影線の再投影角度が個別に決定されるという条件下では、曲線HL10、HL11、及びHL12は連続となり得る。
本実施例では、画像調整部12は、入力装置(図示せず。)を用いて操作者が入力する所望の無限遠線位置(例えば、曲線HL10、HL11、HL12と再投影軸CTRとの間の距離である。)を取得する。そして、画像調整部12は、取得した無限遠線位置に基づいて3台のカメラのそれぞれに関する再投影線の再投影角度を個別に決定する。
このようにして、画像調整部12は、操作者の入力操作に応じて再投影角度をカメラ毎(入力画像毎)に決定し、所望の無限遠線位置で曲線HL10、HL11、及びHL12が連続となるようにする。すなわち、左側方画像、後方画像、及び右側方画像のそれぞれにおける無限遠線に相当する位置が連続となるようにする。
以上の構成により、ショベル70に搭載される画像生成装置100Aは、ジブクレーン60に搭載される画像生成装置100と同様の効果を実現することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
また、上述の実施例では、画像生成装置100は、レール上を走行するジブクレーン60に搭載される。そして、画像生成装置100は、走行体監視画像を操作者に提示しながら走行体61の移動を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、レール上を走行する他の屋外用の走行クレーンに搭載され、走行クレーンの操作を支援する操作支援システムを構成してもよい。さらに、画像生成装置100は、バケットエレベータ又はグラブバケットを用いた連続アンローダ等、レール上を走行するアンローダに搭載され、アンローダの操作を支援する操作支援システムを構成してもよい。
また、画像生成装置100Aは、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムを構成するが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の被操作体に搭載され、それら他の被操作体の操作を支援する操作支援システムを構成してもよい。
1・・・制御装置 2、2−1〜2−8、2−11〜2−16、2−21〜2−28、2B、2L、2R・・・カメラ 4・・・記憶装置 5a、5b・・・無線通信装置 6・・・表示装置 10・・・座標対応付け部 11・・・画像生成部 12・・・画像調整部 20−1〜20−4、20−11〜20−14・・・3画像合成装置 21−1、21−11・・・4画像合成装置 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ジブクレーン 61・・・走行体 61a、61b・・・脚部 61c・・・桁部 61d・・・駆動源 62・・・塔体 63・・・旋回体 63a・・・運転室 64・・・ジブ 70・・・ショベル 71・・・下部走行体 72・・・旋回機構 73・・・上部旋回体 74・・・キャブ 100、100A・・・画像生成装置

Claims (7)

  1. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
    前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
    前記制御装置は、一つの入力画像に関する前記直線のそれぞれが前記再投影軸から前記再投影平面に向かって延び且つ前記再投影平面に垂直な平面において平行となるよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、
    前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
    画像生成装置。
  2. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標とを対応付け、且つ、
    前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に決定して前記出力画像を調整する制御装置を備え、
    前記制御装置は、一つの入力画像に関する前記直線のそれぞれが単一の所定点を通るよう前記空間モデル上の座標と前記再投影平面上の座標とを対応付け、且つ、前記再投影平面における各入力画像に対応する画像部分の境界線上で、各入力画像における所定地物を表す画像に対応する前記再投影平面上の各座標が一致するように前記直線の傾きを入力画像毎に決定する、
    画像生成装置。
  3. 複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、且つ、前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きを入力画像毎に個別に決定して前記出力画像を調整する制御装置を備える、
    画像生成装置。
  4. 高さの異なる位置に配置された複数のカメラが撮像した複数の入力画像に基づいて、出力画像を生成する画像生成装置であって、
    前記画像生成装置は、各入力画像が位置する各入力画像平面における座標と、各入力画像が投影される空間モデルにおける座標と、前記空間モデルに投影された画像が再投影される再投影平面における座標と、前記出力画像が位置する出力画像平面における座標とを対応付け、
    前記空間モデル上の第1座標と該第1座標に対応する前記再投影平面上の第2座標とを結ぶ直線である再投影線の前記空間モデルの中心軸である再投影軸に対する傾きは、前記出力画像上で各入力画像における所定地物を表す画像が連続するように、入力画像毎に個別に調整されている、
    画像生成装置。
  5. 各入力画像における所定地物は、各カメラから見た無限遠線である、
    請求項1乃至4の何れか一項に記載の画像生成装置。
  6. 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、
    前記出力画像は、前記走行体の近傍を上空から見下ろした画像の周囲に、前記走行体から水平方向に周囲を見た画像を表示し、且つ、水平線を円弧状に表示する、
    請求項1乃至の何れか一項に記載の画像生成装置。
  7. 複数の前記カメラは、ジブクレーンの走行体に取り付けられ、該走行体の一対の脚部の外側を撮像する第1カメラと、該一対の脚部の間の空間を撮像する第2カメラと、前記走行体が走行するレールの延在方向を撮像する第3カメラとを含む、
    請求項1乃至の何れか一項に記載の画像生成装置。
JP2013091803A 2013-04-24 2013-04-24 画像生成装置 Active JP6302624B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013091803A JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置
CN201480007789.1A CN104982031B (zh) 2013-04-24 2014-02-24 处理对象图像生成装置、处理对象图像生成方法及操作支援系统
PCT/JP2014/054347 WO2014174884A1 (ja) 2013-04-24 2014-02-24 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
EP14788579.2A EP2991343B1 (en) 2013-04-24 2014-02-24 Image to be processed generating device, image to be processed generating method, and operation assistance system
US14/878,150 US10621743B2 (en) 2013-04-24 2015-10-08 Processing-target image creating device, processing-target image creating method, and operation assisting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013091803A JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置

Publications (2)

Publication Number Publication Date
JP2014216797A JP2014216797A (ja) 2014-11-17
JP6302624B2 true JP6302624B2 (ja) 2018-03-28

Family

ID=51791469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013091803A Active JP6302624B2 (ja) 2013-04-24 2013-04-24 画像生成装置

Country Status (5)

Country Link
US (1) US10621743B2 (ja)
EP (1) EP2991343B1 (ja)
JP (1) JP6302624B2 (ja)
CN (1) CN104982031B (ja)
WO (1) WO2014174884A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
CN109074628A (zh) * 2016-05-13 2018-12-21 索尼公司 生成装置和生成方法以及再现装置和再现方法
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
WO2018102990A1 (en) * 2016-12-06 2018-06-14 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
JP6760146B2 (ja) * 2017-03-09 2020-09-23 株式会社タダノ クレーン
JP7143578B2 (ja) * 2017-10-17 2022-09-29 株式会社タダノ 作業車両
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
TWI811523B (zh) * 2019-03-19 2023-08-11 日商住友重機械工業股份有限公司 支援裝置、支援方法、支援程式及廠房
CN113011274B (zh) * 2021-02-24 2024-04-09 南京三百云信息科技有限公司 图像识别方法、装置、电子设备及存储介质
JP7579736B2 (ja) 2021-03-31 2024-11-08 住友重機械搬送システム株式会社 荷下ろし装置、荷下ろし装置の校正方法、荷下ろし装置の校正プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2259220A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5292874B2 (ja) * 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
JP5444338B2 (ja) * 2009-05-25 2014-03-19 パナソニック株式会社 車両周囲監視装置
JP5135380B2 (ja) 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5544277B2 (ja) * 2010-10-29 2014-07-09 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2012191380A (ja) * 2011-03-10 2012-10-04 Panasonic Corp カメラ、画像変換装置、及び画像変換方法

Also Published As

Publication number Publication date
US20160035110A1 (en) 2016-02-04
JP2014216797A (ja) 2014-11-17
EP2991343A1 (en) 2016-03-02
EP2991343A4 (en) 2016-05-25
WO2014174884A1 (ja) 2014-10-30
US10621743B2 (en) 2020-04-14
EP2991343B1 (en) 2019-06-12
CN104982031B (zh) 2019-01-11
CN104982031A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
JP6302624B2 (ja) 画像生成装置
JP6029306B2 (ja) 作業機械用周辺監視装置
JP2014183500A (ja) 作業機械用周辺監視装置
JP6456584B2 (ja) 作業機械用周辺監視装置
WO2011129276A1 (ja) 画像生成装置及び操作支援システム
JP6321977B2 (ja) 重機用周辺監視装置
JP5135380B2 (ja) 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5362639B2 (ja) 画像生成装置及び操作支援システム
JP6324763B2 (ja) クレーン
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6740259B2 (ja) 作業機械
WO2011129277A1 (ja) 画像生成装置及び操作支援システム
JP6169381B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP2013205956A (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP2017223111A (ja) ショベル
JP6257918B2 (ja) ショベル
JP2014183498A (ja) 作業機械用周辺監視装置
JP6295026B2 (ja) ショベル
JP6482750B2 (ja) ショベル
JP5808679B2 (ja) 画像生成装置及び操作支援システム
JP2020188474A (ja) ショベル
JP2019071677A (ja) ショベル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180305

R150 Certificate of patent or registration of utility model

Ref document number: 6302624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150