JP2003155198A - 産業車両における荷役作業支援装置及び産業車両 - Google Patents
産業車両における荷役作業支援装置及び産業車両Info
- Publication number
- JP2003155198A JP2003155198A JP2001352369A JP2001352369A JP2003155198A JP 2003155198 A JP2003155198 A JP 2003155198A JP 2001352369 A JP2001352369 A JP 2001352369A JP 2001352369 A JP2001352369 A JP 2001352369A JP 2003155198 A JP2003155198 A JP 2003155198A
- Authority
- JP
- Japan
- Prior art keywords
- cargo handling
- cargo
- screen
- target
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Image Processing (AREA)
Abstract
出す表示手段の画面に表示された画像上に、荷役機器を
位置合わせするための位置決め情報を表示(描画)する
ことにより、画面を通して荷役機器を位置合わせすると
きの助けとする。 【解決手段】 フォークリフトのマストに沿って昇降す
るキャリッジに設けられたカメラによって撮影されたフ
ォークの作業エリアは、運転席にある表示装置の画面2
8Aに映し出される。画像データを基にパレット41ま
たは棚部42に付されたマークM1,M2を画像認識処
理して得られたマークM1,M2の位置データを用い
て、フォークが荷役対象に位置合わせするときに画面2
8A上でマークMを移動させるべき移動目標点に移動目
標点マーク87が描画される(同図(a)。フォークが
荷役対象に位置合わせされたことは、マークMが移動目
標点マーク87に一致したことをもって画面28Aを通
して確認される(同図(b))。
Description
れた荷役機器の作業エリアを撮影した画像を、運転席な
どに設けられた表示手段の画面を通して見られるように
し、例えばパレットなどの荷役対象に荷役機器を位置合
わせする位置合わせ作業を支援する産業車両における荷
役作業支援装置及び産業車両に関するものである。
クリフトでは、多段式のマストが車体に備えられ、フォ
ーク等の荷役機器(アタッチメント)を有したキャリッ
ジがマストに沿って昇降可能に設けられている。例えば
棚の高所で荷取作業や荷置作業をする際は、運転者は荷
役レバー(リフトレバー)を操作して多段式マストを油
圧駆動でスライド伸長させることにより、フォーク等の
荷役機器をマストに沿って上昇させ、荷役機器を棚上の
パレットまたは棚面に対し所定の位置関係となるように
位置合わせを行う。この際、運手者は高所(例えば3〜
6メートル)を仰ぎ見ながらフォークがパレットの穴ま
たは棚面の少し上方位置に合ったかどうかを目で確認し
つつ荷役レバーを操作する必要がある。しかし、高所を
下方から仰ぎ見ながらフォークとパレット等が水平方向
に位置合わせされたかを目視で判断することは困難で、
熟練者でもこの位置合わせに時間を要するという問題が
あった。
は、キャリッジにカメラを取り付け、フォーク正面に見
える棚やパレット等の様子を撮影した画像を、運転席に
いる運転者が表示装置の画面を通して見られるようにす
ることで、高所でのフォークの位置合わせ作業を支援す
る装置が知られている。この場合、カメラで撮影された
画像を表示装置の画面を通して見られるので、高所の荷
役作業でも運転者はフォークの位置合せ作業を比較的簡
単かつ正確に行うことができる。
てフォークを目標とする荷に目視によりおおよそ位置合
わせした後、画面上でフォークを目標とする荷に対し位
置合わせすることになる。しかし、画面上にはその位置
合わせのためにフォークを移動させるべき移動目標とす
べき目印となるものが何もなかったので、何を目標に位
置合わせすればよいか画面上で目標取りがしにくいとい
う問題があった。
データを基にパレットや棚部の位置を画像処理によって
割り出し、フォークを目標とするパレットや棚部などの
荷役対象に対して自動で位置合わせする自動制御を採用
することも考えられる。この場合、画面を見てフォーク
が自動で位置合わせされたことの完了を容易に知ること
ができないという問題がある。
たものであって、その目的は、荷役機器の作業エリア
(荷役対象)を映し出す表示手段の画面に表示された画
像上に、荷役機器を位置合わせするための位置決め情報
を表示(描画)することにより、画面を通して荷役機器
を位置合わせするときの助けとすることができる産業車
両における荷役作業支援装置及び産業車両を提供するこ
とにある。
に請求項1に記載の発明では、荷役対象に位置合わせす
るために車体に移動可能に設けられた荷役機器と、表示
手段と、荷役対象の位置を検出する検出手段と、前記検
出手段により検出された位置検出結果を基に前記荷役機
器を前記荷役対象に位置決めする手助けとなる位置決め
情報を前記表示手段に表示する表示制御手段とを備えた
ことを要旨とする。
象の位置が検出される。検出手段により検出された位置
検出結果を基に荷役機器を荷役対象に位置決めする手助
けとなる位置決め情報が表示制御手段によって表示手段
に表示される、請求項2に記載の発明では、荷役作業を
するために車体に移動可能に設けられた荷役機器と、前
記荷役機器による作業の対象となる荷役対象を撮影する
撮影手段と、前記撮影手段により撮影された画像を画面
に表示する表示手段と、前記撮影手段の撮影エリア内に
おける前記荷役対象の位置を検出する検出手段と、前記
検出手段により検出された位置データを基に、前記荷役
機器を荷役対象に位置合わせするときの位置決め情報を
演算する演算手段と、前記表示手段の画面に前記荷役機
器を荷役対象に位置決めする際の位置決め情報を描画す
る描画制御手段とを備えたことを要旨とする。
影手段の撮影エリア内における前記荷役対象の位置が検
出される。演算手段によって、この位置データを基に荷
役機器を荷役対象に対し位置合わせするときの位置決め
情報が演算される。そして、描画制御手段により表示手
段の画面に荷役機器を荷役対象に位置決めする際の位置
決め情報が描画される。
るために車体に移動可能に設けられた荷役機器と、前記
荷役機器による作業の対象となる荷役対象を撮影する撮
影手段と、前記撮影手段により撮影された画像を画面に
表示する表示手段と、前記撮影手段により撮影された画
像データを画像処理することによって前記画面上におけ
る前記荷役対象の位置を検出する検出手段と、前記検出
手段により検出された位置データを基に、前記荷役機器
を荷役対象に位置合わせするときの前記表示手段の画面
上における移動目標点を位置演算する演算手段と、前記
画面の画像上に前記移動目標点の位置を報知するための
位置決め情報を描画する描画制御手段とを備えたことを
要旨とする。
影手段により撮影された画像データを画像処理すること
によって画面上における荷役対象の位置が検出される。
演算手段によって、荷役機器を荷役対象に対し位置合わ
せするときの表示手段の画面上における移動目標点が位
置演算される。そして、描画制御手段により画面の画像
上には、移動目標点の位置を報知するための位置決め情
報が描画される。
のいずれか一項に記載の発明において、前記位置決め情
報は、前記荷役機器と荷役対象との位置関係の情報であ
ることを要旨とする。
と荷役対象との位置関係の情報が表示される。請求項5
に記載の発明では、請求項1〜4のいずれか一項に記載
の発明において、前記表示手段に表示される前記位置決
め情報は、前記荷役機器と荷役対象との位置関係を方向
及び量で示す文字情報であることを要旨とする。
器と荷役対象との位置関係を方向及び量で示す文字情報
が表示される。上記目的を達成するために請求項6に記
載の発明では、荷役作業をするために荷役機器が車体に
移動可能に設けられている。撮影手段は前記荷役機器に
よる作業の対象となる荷役対象を撮影する。表示手段は
前記撮影手段により撮影された画像を画面に表示する。
検出手段は、前記撮影手段により撮影された画像データ
を基に前記画面上における前記荷役対象の位置を検出す
る。演算手段は、前記検出手段により検出された位置デ
ータを基に、前記荷役機器を荷役対象に位置合わせする
ときの前記表示手段の画面上における移動目標点を位置
演算する。描画制御手段は、前記画面の画像上に前記移
動目標点の位置を視認させるための目印を描画する。
影手段により撮影された画像データを基に画面上におけ
る荷役対象の位置が検出される。演算手段によって、荷
役機器を荷役対象に対し位置合わせするときの表示手段
の画面上における移動目標点が位置演算される。そし
て、描画制御手段により画面の画像上には、移動目標点
の位置を視認させるための目印が描画される。従って、
画面上に描画された目印から荷役機器を荷役対象に位置
合わせするときの移動目標点を画面を通して視認するこ
とが可能となる。
のいずれか一項に記載の発明において、前記検出手段
は、前記撮影手段により撮影された画像データを基に前
記画面上における前記荷役対象の位置を割り出すための
画像認識処理を行う画像認識手段であることを要旨とす
る。
か一項に記載の発明に以下の作用が加わる。撮影手段に
より撮影された画像データを基に画面上における荷役対
象の位置を割り出すための画像認識処理が画像認識手段
により行われることで、画面上における荷役対象の位置
が割り出される。従って、表示手段の画面に荷役機器の
作業エリア(荷役対象)を映し出すために用いられる撮
影手段の画像データを利用して荷役対象の位置の割り出
し処理が行われる。
の発明では、荷役機器が荷役作業をするために車体に移
動可能に設けられている。撮影手段は前記荷役機器によ
る作業の対象となる荷役対象を撮影する。表示手段は、
前記撮影手段により撮影された画像を画面に表示する。
演算手段は、前記表示手段の画面上における前記荷役対
象に付されたマークの前記荷役機器を前記荷役対象に位
置合わせするときの移動目標点を位置演算する。描画制
御手段は、前記画面の画像上に前記移動目標点を視認さ
せるための目印を描画する。
における前記荷役対象に付されたマークの移動目標点を
視認させるための目印が、表示手段の画面の画像上に描
画される。従って、例えば画面上のマークが目印と一致
するように荷役機器を移動させることにより荷役機器の
荷役対象に対する位置合わせを行うことができる。また
荷役機器が自動で位置合わせされるときには安心感が得
られるとともに、マークが目印で示された移動目標点に
一致(許容範囲内での一致も含む)したことをもって、
位置合わせ制御の完了を知ることもできる。
のいずれか一項に記載の発明において、産業車両には、
前記荷役機器を移動させる手動操作をするための手動操
作手段と、前記手動操作手段の手動操作に応じて前記荷
役機器を移動させる駆動手段を駆動制御する制御手段と
が備えられている。前記演算手段は、前記手動操作手段
の手動操作によって前記荷役機器を移動させるときの前
記表示手段の画面上における移動目標点を演算する。
か一項に記載の発明に以下の作用が加わる。荷役機器を
手動操作手段の手動操作により移動させる際、表示手段
の画面上には荷役機器を荷役対象に位置合わせするとき
の移動目標点を示す目印が画像上に描画される。従っ
て、例えば高揚高における荷役機器の位置合わせを画面
上に映し出された画像を見ながら行うときに、画面の画
像上に描画された目印を目標にして画面上の荷役対象が
動くように手動操作手段を手動操作して荷役機器を移動
させればよい。よって、画面を見ながら荷役機器を荷役
対象に位置合わせする作業がし易くなる。
9のいずれか一項に記載の発明において、前記撮影手段
を構成するカメラは前記荷役機器に対し昇降可能に設け
られている。判別手段は、前記荷役機器による荷役作業
が荷取作業か荷置作業であるかを判別する。昇降駆動手
段は、前記判別手段により判別された荷役作業の種別に
応じた高さに前記カメラを前記荷役機器に対し移動配置
するよう駆動される。荷置作業時の前記カメラの配置位
置は前記荷役機器に取られた荷によって作業エリア(荷
役対象)の撮影が妨げられない位置に設定されている。
か一項に記載の発明に以下の作用が加わる。荷役作業の
種別(荷取作業・荷置作業)に応じて荷役機器に対する
カメラの配置位置が異なる。荷が荷役機器に取られた状
態で行われる荷置作業時は、カメラは荷役機器に取られ
た荷によって作業エリア(荷役対象)の撮影が妨げられ
ない位置(高さ)に移動配置される。例えば、荷取作業
時にほぼ正面から荷役対象(作業エリア)を撮影できる
ようにカメラを位置設定し、荷置作業時には荷役機器に
取られた荷によって荷役対象の撮影が遮られないように
カメラを配置することが可能になるので、カメラにより
なるべく荷役機器の位置合わせに適切な位置から撮影す
ることが可能となる。
10のいずれか一項に記載の発明において、前記撮影手
段を構成するカメラは、前記荷役機器を有するキャリッ
ジが昇降可能に設けられたマストの構成部材に対し固定
されている。荷役装置は、前記荷役機器が所定揚高以上
の揚高を昇降するときに該荷役機器と前記カメラとが少
なくとも高さ方向に一定の位置関係を保ったまま前記キ
ャリッジは前記マスト上を移動するように構成されてい
る。前記荷役機器の揚高を検出する揚高検出手段が備え
られている。前記描画制御手段は、前記揚高検出手段に
より検出された揚高が前記所定揚高以上のときに、前記
演算手段により演算された移動目標点の位置データを基
に前記画面の画像上に前記移動目標点を視認させるため
の目印を描画する処理を実行する。
れか一項に記載の発明に以下の作用が加わる。マストの
構成部材に固定されたカメラは、荷役機器が所定揚高以
上の揚高を昇降するとき、荷役機器に対し少なくとも高
さ方向に一定の位置関係を保つことになる。従って、所
定揚高以上の揚高ではカメラによって荷役機器の作業エ
リア(荷役対象)を荷役機器に対し常に同じ撮影位置か
ら撮影できることになる。よって、カメラをマストの構
成部材に固定する簡単なカメラ取付構造を採用でき、こ
の際、画面の画像上に描画される目印によって荷役機器
を荷役対象に位置合わせするときの移動目標点を視認で
きる。
は荷役機器を有するキャリッジが車体に設けられたマス
トに沿って昇降可能に設けられている。前記荷役機器の
作業エリアを撮影可能にカメラは前記マストの構成部材
に設けられている。表示手段は、前記カメラにより撮影
された画像を画面に表示する。判別手段は、荷役機器に
より行われる荷役作業が荷取作業か荷置作業であるかを
判別する。検出手段は、前記判別手段により判別された
荷役作業の種別に応じて荷役対象を決定し、前記カメラ
により撮影された画像データを基に、当該荷役対象の位
置検出用の被画像認識対象を画像認識処理することによ
り前記表示手段の画面上における該荷役対象の位置を検
出する。演算手段は、前記荷役機器を前記荷役対象に位
置合わせするときの前記表示手段の画面上における移動
目標点を位置演算する。描画制御手段は、前記表示手段
の画面上における前記移動目標点を視認させる目印を該
画面の画像上に描画する。
部材に固定される簡単な取付構造であるため、カメラの
取付構造に比較的コストをかけず、表示手段の画の画像
面上に移動目標点を示す目印を描画することが可能にな
る。従って、例えば荷役機器を荷役対象に対し手動操作
で位置合わせするタイプの産業車両において、コストを
あまりかけず荷役機器を荷役対象に位置合わせする際の
移動目標点の目印を画面上に描画でき、その目印により
画面上における移動目標点の位置を簡単に視認させるこ
とが可能となる。
3のいずれか一項に記載の発明において、前記検出手段
は、荷取作業と荷置作業を区別して荷役対象を位置検出
し、前記表示手段には前記検出手段により検出された荷
役対象の荷取作業か荷置作業に応じた位置決め情報が表
示される。
れか一項に記載の発明の作用に加え、検出手段により、
荷取作業と荷置作業を区別して荷役対象が位置検出さ
れ、表示手段には検出手段により位置検出された荷役対
象の荷取作業か荷置作業に応じた位置決め情報が表示さ
れる。
請求項1〜13のいずれか一項に記載の荷役作業支援装
置を備えている。この発明によれば、請求項1〜13の
いずれか一項に記載の荷役作業支援装置を備えているこ
とから、請求項1〜13のいずれか一項に記載の発明と
同様の作用が得られる。
をフォークリフトの位置検出装置に具体化した第1の実
施形態を図面に従って説明する。
チ型フォークリフトトラック(以下、フォークリフトと
いう)1は、荷役機器としてのフォーク2を用いて荷役
作業を行う。車体3の前部から前方へ延出する左右一対
のリーチレグ4の先端部に左右の前輪(従動輪)5がそ
れぞれ取付けられており、後輪である駆動操舵輪6は、
車体3に配備されたバッテリ7を電源とする走行用モー
タ8の動力により走行駆動される。運転者は車体3の後
部右側に設けられた立席タイプの運転席9に立った状態
で、ハンドル10を操作して駆動操舵輪6を操舵するこ
とによりフォークリフト1を運転する。
ト装置)11は、リーチシリンダ12の駆動により左右
のリーチレグ4に沿って前後方向に移動(リーチ動作)
可能に設けられている。荷役装置11は、多段式(本例
では3段式)マスト13と、荷役用のキャリッジ14
と、中央のリフトシリンダ15Aと、左右一対のリフト
シリンダ15B(片側のみ図示)とを備えている。マス
ト13はアウタマスト13A、ミドルマスト13Bおよ
びインナマスト13Cからなる3段マストである。本実
施形態の荷役装置11は、キャリッジ14がインナマス
ト13Cの最上位置に一旦到達後はじめてマスト13の
スライド伸長が開始されるテレスコピック型(フルフリ
ー型)である。すなわち、リフトシリンダ15Aはイン
ナマスト13Cの底板に立設されており、リフトシリン
ダ15Aが駆動することによりキャリッジ14は、イン
ナマスト13Cに沿って昇降する。リフトシリンダ15
Bはアウタマスト13Aの背面に立設され、キャリッジ
14がインナマスト13Cの最上端に位置することが検
知された状態で駆動され、その駆動により3段マスト1
3A,13B,13Cがスライド伸縮する。フォーク2
は例えば最高約6メートルまで上昇する。
囲)におけるフォーク2の位置合わせ操作を支援する荷
役操作支援装置(フォーク位置決め操作支援装置)20
が設けられている。荷役操作支援装置20は、キャリッ
ジ14を構成するサイドシフタ16の前面中央部に縦長
に延びた状態に組付けられたカメラ昇降装置21を備え
る。カメラ昇降装置21は、キャリッジ14の前面中央
部に組付けられたハウジング22に収納されその下方か
ら出没するように昇降する昇降式のカメラユニット23
を備えている。カメラユニット23は、ハウジング22
内に格納される格納位置と、ハウジング22の下端から
突出する下降位置との間を昇降する。カメラユニット2
3はその下端部に撮影手段としてのカメラ(例えばCC
Dカメラ)24を内蔵し、撮影部(レンズ部)24Aか
らフォーク前方の荷役作業エリアの撮影が可能となって
いる。また格納位置からでも、ハウジング22の前面下
部に形成された撮影窓22Aを通してフォーク前方の荷
役作業エリアをカメラ24によって撮影可能となってい
る。つまり、カメラ24は格納位置と下降位置の二位置
からフォーク前方の荷役作業エリアを撮影可能である。
サイドシフタ16は、マスト13に昇降可能に組付けら
れたリフトブラケット(図示せず)に対し左右方向に移
動可能な状態に組付けられており、サイドシフト時はフ
ォーク2とともにカメラ昇降装置21も一緒に左右にシ
フトする。
者からよく見える位置に表示手段としての表示装置(液
晶ディスプレイ装置(LCD))28が取り付けられて
いる。表示装置28の画面には、荷役作業時にカメラ2
4によって撮影されたフォーク前方の画像が映し出され
るようになっている。
2に示す操作レバー(マルチレバー)31が設けられて
いる。操作レバー31は、これ1つで走行操作と荷役操
作の全ての操作を可能とするもので複数種類の操作部を
備えている。
ル上の所定箇所に形成されたスロット32に沿って前後
方向に傾動するレバー本体33を備えている。レバー本
体33は操作しない状態ではパネル面に対し略垂直とな
る中立位置にバネ(図示せず)の付勢力により復帰す
る。レバー本体33の上端部にはグリップ34が車幅方
向に対し30度〜60度程度の角度をもって傾斜する姿
勢に取付けられている。グリップ34の左端部には、略
円筒形のノブ35が軸線Cを中心に回転可能に設けられ
ている。またグリップ34の左部分前縁にシーソースイ
ッチ36が、グリップ34の左部分背面に十字スイッチ
37が、グリップ34の左部分前面に作動スイッチ38
がそれぞれ設けられている。グリップ34は、運転者が
右肘を付いて右手で握る状態で使用される。グリップ3
4を握った状態では、親指でノブ35と十字スイッチ3
7を操作でき、人差し指でシーソースイッチ36を操作
でき、中指で作動スイッチ38を操作できる。なお、同
図における円内がA方向から見た十字スイッチ37であ
る。
3を前方に傾けるとフォークリフト1が前進し、レバー
本体33を後方に傾けるとフォークリフト1が後進す
る。ノブ35に形成された突起35Aを親指で上方へ押
してノブ35を上側に回すとフォーク2が上昇し、親指
で突起35Aを下方へ押してノブ35を下側に回すとフ
ォーク2が下降する。また、人差し指でシーソースイッ
チ36の前端を押すと荷役装置11が前方に移動し、人
差し指でシーソースイッチ36の後端を押すと荷役装置
11が後方に移動する。十字スイッチ37は上下・左右
の4方向に操作可能になっており、上下方向の操作でマ
スト13のティルトを操作し、左右方向の操作でサイド
シフトを操作する。親指で十字スイッチ37の上端部を
押すとマスト13が前傾し、十字スイッチ37の下端部
を押すとマスト13が後傾する。また親指で十字スイッ
チ37の右端部を押すとフォーク2が右方向に移動し、
十字スイッチ37の左端部を押すとフォーク2が左方向
に移動する。
対象である棚40とパレット41には、フォーク2を棚
40またはパレット41に対して位置合わせする際の位
置目標とするマークM1,M2が付されている。すなわ
ち、パレット41の正面と背面には2つの差込穴41A
間中央部にパレット位置検出用のマークM1が付されて
いる。一方、棚40の棚部(ビーム)42にはその正面
中央部に棚位置検出用のマークM2が付されている。こ
こで、パレット41に付されたマークM1と、棚部42
に付されたマークM2は互いに白黒が反転した模様の図
形となっている。カメラ24により撮影されたマークM
1(またはM2)の画面上の位置からフォーク2と荷役
対象(パレット41または棚部42)の左右(Y方向)
・上下(Z方向)のずれ量を算出し、そのずれ量を無く
すようにフォーク2を荷役対象に自動で位置合わせする
フォーク自動位置合わせ制御が行われる。
を図4に基づいて説明する。荷役操作支援装置20はコ
ントローラ45を備える。コントローラ45は、画像制
御部46、荷役制御部47、駆動回路48,49および
ソレノイド駆動回路50を備えている。
4が電気的に接続され、映像信号(画像信号)が入力さ
れるとともに、その出力側には表示装置28およびスピ
ーカ51が接続されている。画像制御部46は、カメラ
24からの映像信号(画像信号)を基に表示装置28の
画面に撮影画像を表示させる。また画像制御部46は、
撮影画像中からマークを画像認識する画像認識処理(テ
ンプレートマッチング処理)をし、この画像認識によっ
て把握される画面上(画面座標系)におけるマークの位
置から荷役対象の位置を把握する。そして荷役対象を捉
えられる位置にフォーク2を位置合わせする際の目標と
なる目標移動点(目標目印)を画面上に表示させる表示
処理を行う。この表示処理では、目標移動点を案内する
方法として、表示装置28の画面に目標マークを表示さ
せる方法を採用する。この表示処理については後で詳述
する。またスピーカ51からは荷役作業支援状況や作業
者への指示内容などが音声ガイドで知らせられる。
スイッチ52、下限位置検知スイッチ53、マルチレバ
ー31の各ポテンショメータ54,55およびスイッチ
36〜38、さらに揚高検出手段としての揚高センサ5
8、荷重センサ59、ティルト角センサ60などが接続
されている。また荷役制御部47には、駆動回路48,
49を介して昇降駆動手段としての電動アクチュエータ
61および荷役モータ(電動モータ)62がそれぞれ接
続されるとともに、ソレノイド駆動回路50を介してオ
イルコントロールバルブ64に組付けられた各種電磁比
例弁65〜69のソレノイドが接続されている。なお、
荷役制御部47および荷重センサ59により判別手段が
構成される。
4,55、スイッチ36,37からの信号を基に電磁比
例弁65〜69の電流値制御と荷役モータ62の駆動制
御を行う。荷役モータ62の作動により荷役ポンプ(油
圧ポンプ)70が駆動されることでオイルコントロール
バルブ65に作動油が供給される。マルチレバー31の
操作信号を基にその操作に対応する各電磁比例弁65〜
69が比例制御されることにより、リフトシリンダ15
A,15B、リーチシリンダ12、サイドシフトシリン
ダ71、ティルトシリンダ72が油圧制御され、フォー
ク2の昇降操作、リーチ操作、サイドシフト操作、ティ
ルト操作が可能となっている。なお、シリンダ15A,
15B,71により駆動手段が構成される。
荷役制御の他、カメラユニット23の昇降制御と、フォ
ーク自動位置合わせ制御とを司る。フォーク自動位置合
わせ制御は、フォーク2を一定高さ以上に上昇させて行
われる高所の荷役作業を支援するためのもので、揚高セ
ンサ58により検出されたフォーク2の揚高が設定揚高
(例えば約2メートル)以上にあるときに限り行われ
る。荷役制御部47は荷重センサ59の検出値を基にフ
ォーク2上の荷の有無を判断して荷役モードを判別し、
フォーク2上に荷が無く荷重検出値が閾値以下となる
「荷取りモード」では、カメラユニット23を格納位置
に配置し、フォーク2上に荷が有って荷重検出値が閾値
を超える「荷置きモード」では、カメラユニット23を
下降位置に配置する。カメラユニット23の昇降のため
駆動された電動アクチュエータ61は、カメラユニット
23が上限位置に達して上限位置検知スイッチ52がオ
ンしたときと、カメラユニット23が下限位置に達して
下限位置検知スイッチ53がオンしたときに駆動停止さ
れる。
処理部76、描画表示部77、描画データ記憶部78お
よび音声合成部79を備える。表示処理部75は、カメ
ラ24により撮影された画像が画面に映し出されるよう
にカメラ24から入力した映像信号を表示装置28に出
力する。また音声合成部79は、音声アナウンス(音声
ガイド)などのための音声合成処理を行ってスピーカ5
1に音声信号を出力する。また表示処理部75からの画
像データが画像処理部76に入力される。なお、描画表
示部77および描画データ記憶部78により描画制御手
段が構成される。
M2の位置を割り出す画像認識処理と、その割り出した
マーク位置を基に車両(フォーク2)と荷役対象との位
置関係を演算する。画像処理部76は、画像認識処理部
81、テンプレート記憶部82、画像演算部83および
演算手段としての表示位置決定部84を備えている。画
像認識処理部81はパターンマッチング処理による画像
認識処理を行う。画像演算部83は、車両と荷役対象と
の車幅方向のずれ量が許容範囲を超える場合にそのずれ
量を無くすために必要な車両の幅寄せ方向および幅寄せ
距離を算出する。表示位置決定部84は、幅寄せ方向お
よび幅寄せ距離を指示する表示を画面上のどの位置に表
示させるべきかその表示位置を決定する。なお、画像処
理部76は、マイクロコンピュータ(マイコン)および
メモリ(ROM)等に格納されたプログラムデータによ
って構成される。また描画表示部77および描画データ
記憶部78は、描画制御用ゲートアレイと描画用VRA
Mにより構成される。また、画像認識処理部81、テン
プレート記憶部82および画像演算部83によって、検
出手段および画像認識手段が構成される。
図(a)はパレット位置検出用のマークM1を示し、同
図(c)は棚位置検出用のマークM2を示す。また同図
(b)がマークM1用のテンプレートT1、同図(d)
がマークM2用のテンプレートT2である。
べて構成され、マークM2はパターンP2,P2を2個
並べて構成されている。マークとは全体の模様、パター
ンとはマークを構成する2つの模様を指す。パターンマ
ッチング処理に使うテンプレートT1,T2は、パター
ンP1,P2と同じ模様を有する。2つのマークM1,
M2の各パターンP1,P2は、互いに白と黒が反転し
た模様となっている。
て放射状に真っ直ぐ延びる複数本の境界線によって白と
黒に色分けされた模様である。本実施形態の各パターン
P1,P2は、正方形の2本の対角線により区画された
4つの領域を白と黒で色分けした模様である。但し、テ
ンプレートの四角形の辺に相当する外形線は模様の一部
ではない。マークとカメラの距離の違いに応じて画面2
8A上に映し出されるマークM1,M2の大きさが変化
しても、その撮影されたパターンP1,P2の中心部分
には常にテンプレートT1,T2と同サイズのパターン
が存在するので、1つのテンプレートT1,T2を用い
ただけのパターンマッチング処理によりマークM1,M
2を認識できるようになっている。テンプレートT1,
T1は、カメラ24から所定距離以内で撮影されたマー
クM1,M2は全て認識可能となるような所定サイズ
(前記所定距離離れた撮影時のマークサイズと同サイズ
以下のサイズ)に設定してある。
2つのテンプレートT1,T2のデータが記憶されてい
る。画像認識処理部81は、荷役制御部47から通知さ
れた荷役モードが「荷取モード」であればテンプレート
T1を使用し、「荷置モード」であればテンプレートT
2を使用する。つまり荷取モードであればパレット位置
検出用のマークM1を認識するパターンマッチング処理
が行われ、荷置モードであれば棚位置検出用のマークM
2を認識するパターンマッチング処理が行われる。
系を示す。画面座標系では座標を画素の単位で取り扱
い、同図(a)における画面28Aでは、横方向画素数
H、縦方向画素数Vとなっている。ここではマークM2
を例にして説明する。画像認識処理部81は、同図
(b)に示すように、画像データ上のマークM2を構成
する2つのパターンP2,P2に対しテンプレートT2
により2箇所でマッチングし、各パターンP2,P2を
認識する。画像演算部83は、画像認識処理部81が認
識した2つのパターンP2,P2の各中心点(放射中心
点)の座標(I1 ,J1 ),(I2 ,J2 )をそれぞれ
算出し、これら2つの座標値を基にマークM2の重心
(I,J)とパターンP2,P2の中心間距離Dを求め
る。なお、マークM1についてもI,J,D値の求め方
は同様である。
のようにマークMの中心(重心)を原点Oとし、マーク
Mに垂直な方向でカメラ24と逆の向きにX軸、X軸を
水平面内で反時計回りに90度回転した方向にY軸、鉛
直方向(上方向)にZ軸をとる3次元座標を想定してい
る。そしてこの実座標系でカメラ24の相対座標(相対
位置)(Xc,Yc,Zc)を求め、この相対座標を基
にフォーク2の位置ずれ量を算出する。図6に示す画面
座標系において計算したデータI,J,Dを使用し、幾
何変換を行って実座標系の相対座標(Xc,Yc,Z
c)は計算される。
標系における相対座標(Xc ,Yc,Zc )を求める計
算方法について説明する。図8は、実座標系でカメラと
マークを上から見た図を示す。また図9は、実座標系と
画面座標系について相似関係にあることを示す。同図左
側がカメラ24に撮影された実座標系のYZ平面を示す
もので、同図右側がカメラ24に撮影された画像の画面
座標系におけるIJ平面を示す。像の歪みを考慮しなけ
れば、これらの2つの像は相似関係にある。
て撮影範囲の横幅は、2L・tan αで示され、これは画
面座標系では画面28Aの横方向画素数Hとなる。ここ
で、角度「α」は、図8に示すようにカメラ24の水平
画角の2分の1である。またLは、カメラ24とYZ平
面との間の距離であり、|Xc |に等しい(L=|Xc
|)。また、実座標系におけるマークM内の2つのパタ
ーンP,Pの中心間距離dは、画面座標系では中心間距
離Dとなる。つまり実座標系と画面座標系の相似比は、
d:Dとなる。また、原点Oから像の中心までの横座標
については、実座標系のYc と、画面座標系のI−H/
2とが対応関係にある。また原点Oから像の中心までの
縦座標については、実座標系のZc と、画面座標系のJ
−V/2とが対応関係にある。
を用いて、図9の相似関係を用いた幾何変換を行えば、
図7に示す実座標系(XYZ座標系)におけるカメラ2
4の相対座標(Xc,Yc,Zc)は、次式より算出さ
れる。 Xc =−L=−Hd/(2Dtan α) … (1) Yc =d/D(I−H/2) … (2) Zc =d/D(J−V/2) … (3) ここで、H,V,α,d値は既知の値であるため、I,
J,D値を算出すれば、座標(Xc,Yc,Zc)が求
まる。
および制御量算出部86が備えられている。相対座標算
出部85は、画像制御部46から荷役制御部47へ送ら
れたデータI,J,Dを基に、実座標系におけるカメラ
24の相対座標OC(Xc,Yc,Zc )を算出する。制御
量算出部86は、この実座標系で求めたカメラ24の相
対座標(相対位置)(Xc,Yc,Zc)を基に、フォ
ーク2を荷役対象に位置合わせする際のフォーク2と目
標位置との位置ずれ量を演算する。すなわち、フォーク
2を荷役対象に位置決めするときに必要なX、Y、Z方
向の移動距離を計算する。
位置合わせ制御までの制御処理の流れを説明するもので
ある。まず画像データを取得すると、画像認識処理部8
1がテンプレート記憶部82からテンプレートTを読み
出してパターンマッチング処理を行う。画像演算部83
は、画像認識処理部81で認識されたパターンの位置を
基にマークMの重心座標(I,J)とパターン中心間距
離Dを画面座標系(画素レベル)で算出する。ここで算
出されたデータI,J,Dは、表示位置決定部84に送
られる。表示位置決定部84は、データI,J,Dを基
に、フォーク2を荷役対象(パレット41または棚部4
2)に位置合わせするときの画面28A(画面座標系)
におけるマークMの移動目標点の座標を演算する。
C、フォーク位置F、パレット位置P、マーク重心位置
(原点)Oとおき、荷取作業時に、フォーク位置Fをパ
レット位置Pに位置合わせするときのベクトルFPを考
えると、ベクトルFP=ベクトルOP−ベクトルOC−
ベクトルCFの関係にある。ここで、点Cと点F、点O
と点Pはそれぞれ同一鉛直線上の位置にとるものとす
る。ベクトルCF,OPは、それぞれカメラ位置Cとフ
ォーク位置Fとの距離、マーク重心位置Oとパレット位
置Pとの距離に相当し、共に既知情報である。
(Xp,Yp,Zp)、ベクトルCFの成分(Xcf,Y
cf,Zcf)とそれぞれおくと、フォーク2をパレット4
1に位置合わせするために画面28A上でマークM1を
移動させるべき移動目標点の座標(It,Jt)は、次
式により与えられる。 It=H/2+(Yp−Ycf)*D/d … (4) Jt=V/2+(Zp−Zcf)*D/d … (5) ここで、Yp,Zp、Ycf、Zcfは、既知の値である。
2を棚部42に対し位置合わせする棚面42Aから所定
距離(10〜20cm)上方位置を荷置位置Rとおく
と、ベクトルCF,ORが既知情報となる。ベクトルO
Rは、マーク重心位置Oと荷置位置Rとの距離に相当す
る。この既知情報についてベクトルORの成分(Xr,
Yr,Zr)、ベクトルCFの成分(Xcf,Ycf,Zc
f)とそれぞれおくと、フォーク2を荷置位置Rに位置
合わせするために画面28A上でマークM2を移動させ
るべき移動目標点の座標(It,Jt)は、次式により
与えられる。 It=H/2+(Yr−Ycf)*D/d … (6) Jt=V/2+(Zr−Zcf)*D/d … (7) ここで、Yr,Zr、Ycf、Zcfは、既知の値である。
上記(4) 〜(7) の各式の求め方については後述する。表
示位置決定部84で算出された移動目標点の座標(I
t,Jt)は、描画表示部77に送られ、画面28Aの
画像上における移動目標点の位置に図13に示す移動目
標点マーク87を描画する描画処理が行われる。移動目
標点マーク87は、4つの三角形が頂点を中心を向けて
等角度間隔に配置された図形からなり、各4頂点で囲ま
れた中心点が移動目標点を指し示す。
送られる。相対座標算出部85は、データI,J,Dを
基に、実座標系におけるカメラ24の相対座標OC(X
c,Yc,Zc )を算出する。制御量算出部86は、カメラ
24の相対座標(Xc,Yc,Zc)を基に、既知情報
(ベクトルCF,OP)を用いてフォーク2を荷役対象
に位置合わせする際のフォーク2と目標位置との位置ず
れ量(ベクトルFPの各成分)を演算する。すなわち、
フォーク2を荷役対象に位置決めするときに必要なX、
Y、Z方向の移動距離を計算する。
ルOP よって、荷取作業時の位置ずれ量(Xfp、Yfp,Zfp)
は、 (Xfp、Yfp,Zfp)=(Xcf−Xc+Xp,Ycf−Yc
+Yp,Zcf−Zc+Zp) 荷置作業時の位置ずれ量(Xfr、Yfr,Zfr)は、 (Xfr、Yfr,Zfr)=(Xcf−Xc+Xr,Ycf−Yc
+Yr,Zcf−Zc+Zr) となる。
に送られ、描画表示部77は、位置ずれ量のデータであ
るX,Y,Z方向の各距離の数値を示すテキストデータ
を、描画データ記憶部78から読み出して、画面28A
の上段の文字情報表示領域に図13に示すように描画す
る。この結果、フォーク2を荷役対象に位置合わせする
ために必要なフォーク2のX,Y,Z方向の各移動距離
が描画される。ここで「距離」は荷役対象までの距離
(前後方向の移動距離)、「横」は左右方向の移動距離
(右方向を正)、「高さ」は上下方向の移動距離(上方
向を正)を示す。
Yfp」、「高さZfp」の位置決め情報が文字情報で描画
され、荷置作業時は「距離Xfr」、「横Yfr」、「高さ
Zfr」の位置決め情報が文字情報で描画される。このた
め、画面28A上に文字情報で表示された各方向の距離
を見ることにより、フォーク2をどの方向にどれだけの
距離だけ移動させればよいかが容易に分かる。
が「0」になるような制御量指令値をソレノイド駆動回
路50に出力する。但し、本実施形態では、フォーク2
の上下方向および左右方向についてのみ自動位置制御を
行い、前後方向(リーチ方向)については運転者による
手動操作に任せている。このため、荷役制御部47は、
ベクトルFPのうちYZ成分を「0」とするよう算出し
たフォーク2の上下方向および左右方向の各シフト量に
応じた値を制御量指令値としてソレノイド駆動回路50
に出力する。これによりフォーク2は上下方向および左
右方向については自動で位置合わせされる。この結果、
フォーク2は荷取モード時はパレット41の差込穴41
Aに位置決めされ、荷置モード時は棚部42から所定距
離上方の目標位置に位置合わせされる。この位置合わせ
の後、リーチ操作を行ってマスト13をリーチさせるこ
とにより荷取作業または荷置作業が行われる。なお、フ
ォーク2のリーチ動作も自動制御で行ってもよい。
2(a),(b)を用いて説明する。ここで、同図12
(a)は実座標系、同図(b)は画面座標系である。図
12(a)に示すように、実座標系においてマークMを
含む仮想平面(YZ平面)Gを考える。この仮想平面G
は、カメラ24によって撮影され画面28Aに映し出さ
れる撮影領域に相当するもので、カメラ24の移動とと
もに一緒に移動するものと仮定する。荷取作業時を考え
たとき、フォーク2をパレット41に位置合わせするた
め、カメラ24が仮想平面Gと平行にベクトルFP(X
成分は考えない)移動すれば、このときカメラ24と共
に仮想平面Gが移動することで、仮想平面G上において
マークMは移動目標点マーク87へ向かって移動して原
点Oが移動目標点Tに一致する。よって、 ベクトルOT=−ベクトルFP … (8) と表される。
Tの画面座標を(It,Jt)とおく。実座標系で原点
O(画面座標(I,J))からカメラ位置Cを見たベク
トルOCの成分(Xc,Yc,Zc)は、画面座標
(I,J)を用いて、前記(2) ,(3) 式で表される。よ
って、移動目標点T(画面座標(It,Jt))からカ
メラ位置Cを見たベクトルTCの成分(Xtc,Ytc,Z
tc)についても、画面座標(It,Jt)を用いて、前
記(2) ,(3) 式の関係が同様に成り立つことから、以下
のように表される。 Ytc=d/D(It−H/2) … (9) Ztc=d/D(Jt−V/2) … (10) またベクトルTC=ベクトルOC−ベクトルOT … (11) の関係から、(8) 式の関係を(11)式に代入すると、 ベクトルTC=ベクトルOC+ベクトルFP … (12) ここで、 ベクトルFP=ベクトルOP−ベクトルCF−ベクトルOC …(13) (13)式の関係を(12)式に代入して、 ベクトルTC=ベクトルOP−ベクトルCF … (14) ここで、ベクトルOPの成分(Xp,Yp,Zp)、ベ
クトルCFの成分(Xcf,Ycf,Zcf)である。移動目
標点の座標(It,Jt)を求める方法は、マークMが
移動目標点Tに置き換わったと考えれば、前記(2),(3)
の式において、ベクトルOCの成分→ベクトルTCの成
分、I→It、J→Jtに置き換えて計算すればよい。
ベクトルTCの成分(Xtc,Ytc,Ztc)は、(14)式の
関係を用いて、 (Xtc,Ytc,Ztc)=(Xp,Yp,Zp)−(Xcf,Ycf,Zcf) =(Xp−Xcf,Yp−Ycf,Zp−Zcf) …(15) よって、(9) ,(15) 式から、 Yp−Ycf=d/D(It−H/2) … (16) また、(10),(15)式から、 Zp−Zcf=d/D(Jt−V/2) … (17) 上記(16),(17) 式をそれぞれIt,Jtについて解く
と、荷取作業のときの移動目標点Tの座標(It,J
t)が、前記(4) ,(5) 式のように求まる。
2を棚部42から所定距離(10〜20cm)上方の荷
置位置Rに位置合わせするため、カメラ24が仮想平面
Gと平行にベクトルFR(X成分は考えない)移動すれ
ば、このときカメラ24と共に仮想平面Gが移動するこ
とで、仮想平面G上においてマークM2は移動目標点マ
ーク87へ向かって移動して原点Oが移動目標点Tに一
致する。よって、 ベクトルOT=−ベクトルFR … (18) と表される。この(18)式を(11)式に代入すると、 ベクトルTC=ベクトルOC+ベクトルFR … (19) ここで、 ベクトルFR=ベクトルOR−ベクトルCF−ベクトルOC …(20) さらに(20)式の関係を(19) 式に代入して、 ベクトルTC=ベクトルOR−ベクトルCF … (21) ここで、ベクトルORの成分(Xr,Yr,Zr)、ベ
クトルCFの成分(Xcf,Ycf,Zcf)である。移動目
標点の座標(It,Jt)を求める方法は、マークMが
移動目標点Tに置き換わったと考えれば、前記(2),(3)
式において、ベクトルOCの成分→ベクトルTCの成
分、I→It、J→Jtに置き換えて計算すればよい。
ベクトルTCの成分(Xtc,Ytc,Ztc)は、(21)式の
関係を用いて、 (Xtc,Ytc,Ztc)=(Xr,Yr,Zr)−(Xcf,Ycf,Zcf) =(Xr−Xcf,Yr−Ycf,Zr−Zcf) … (22) 最終的に求めたいのは、最終到達点にマークMがあると
きの画面座標なので、上記(2),(3) 式に、前記(22) 式
の関係を代入し、移動目標点の座標(It,Jt)につ
いて解くと、荷置作業のときの移動目標点Tの座標が、
前記(6) ,(7) 式のように求まる。
動目標点マーク87の描画処理について説明する。まず
フォーク2が設定揚高を超える揚高にあるときには、カ
メラ24によって撮影された画像データを基に、マーク
Mを画像認識する画像認識処理(マーク認識処理)が行
われる。すなわち荷取モードであるとテンプレートT1
を用いてマークM1を認識する画像処理を行い、荷置モ
ードであればテンプレートT2を用いてマークM2を認
識する画像処理を行う。そして画像認識されたマークM
の画面上における位置データI,J,D値を求める。
D値を用いて、移動目標点Tの座標(It,Jt)を演
算する。すなわち、荷取作業時は、データD値を用いて
式(4),(5) に従って移動目標点Tの座標(It,Jt)
を演算し、荷置作業時は、データD値を用いて式(6),
(7) に従って移動目標点Tの座標(It,Jt)を演算
する。この座標データ(It,Jt)は描画表示部77
に送られる。描画表示部77は、表示位置決定部84か
らの指示に従って描画データ記憶部78から表示マーク
用の図形データを読み出し、図13(a)に示すような
移動目標点マーク87を画像の上に重ねるように座標
(It,Jt)位置に表示する。
がパレット41に位置合わせされる際にマークM1が最
終的に到達すべき移動目標点Tを指し示す移動目標点マ
ーク87が表示される。一方、荷置作業時の画面28A
には、フォーク2が棚部42から所定距離上方に位置合
わせされた際にマークM2が最終的に到達すべき移動目
標点Tを指し示す移動目標点マーク87が表示される。
作すると、フォーク自動位置合わせ制御が開始される。
荷役制御部47では、位置データI,J,D値を基にマ
ークMを原点Oとするカメラ24の相対位置座標(X
c,Yc,Zc)が算出される。そして、ベクトルFP
を零とすべくYc,Zc値を共に零にする制御量を求め
る。そして荷役制御部47はこの制御量を基にソレノイ
ド駆動回路44を介してリフト用電磁比例弁65,66
とサイドシフト用電磁比例弁68を電流値制御し、リフ
トシリンダ15A,15Bとサイドシフトシリンダ71
を必要に応じて駆動制御することでフォーク2を位置合
わせする。その結果、フォーク2が上下方向に−Zc移
動するとともに、左右方向に−Ycだけ移動する。
荷取作業時には、図13(b)に示すように、移動目標
点マーク87の中心点である移動目標点TにマークM1
の中心点が一致し、フォーク2は差込穴41Aに一致す
る荷取位置に位置決めされる。一方、荷置作業時には、
この移動目標点マーク87の中心点である移動目標点T
にマークM2の中心点が一致し、フォーク2は棚面42
Aから約10〜20cm上方の荷置位置に位置決めされ
る。
点Tを画面28A上で見ることができるので、マークM
と移動目標点マーク87の各中心点の一致を確認するこ
とで、フォーク2が位置決めされたかどうかを容易に視
認することができる。また、荷役作業時に作業者が意図
する荷役対象にフォーク2が正しく位置合せされたかど
うかを判断することもできる。
る。 (1)フォーク自動位置合わせ制御が行われる際、画面
28Aには荷役対象に付されたマークMの移動目標点を
示す移動目標点マーク87が画像上に描画される。よっ
て、画面28A上における移動目標点マーク87の描画
位置から、フォーク2を荷役対象に位置合わせするとき
にマークMを移動させるべき移動目標点を画面28Aか
ら一目で視認できる。よって、運転者が意図する荷役対
象に付されたマークMが移動目標点マーク87に向かっ
て画面28A上を移動する過程から、フォーク2が位置
合わせされる様子を確認できる。そして、画面28A上
で両マークM,87が一致したことをもって、フォーク
2の自動位置合わせ制御が完了したことを画面28Aを
通して知ることができる。
ークM(画像認識対象)を選びその移動目標点にマーク
87を描画する手法を採用したので、画面28A上に表
示または描画された2つのマークM,87に着目すれば
これらの位置関係からフォーク2の位置合わせの様子を
容易に把握することができる。
ークMがパレット41のものか棚部42のものかを見る
ことで、フォーク2の位置合わせが成功したかミスした
かを画面28A上の画像を通して簡単に見つけることが
できる。
の3方向(X,Y,Z方向)のずれ量を画面28A上に
数値で描画するようにしたので、フォーク2をどの方向
にどれだけの距離移動させればよいかを運転者は知るこ
とができる。
て、運転者は制御があとどのくらいで終了するかを知る
ことができ、制御が順調に進行している安心感、制御終
了時の次の動作へのタイムリーな心構えを得ることがで
きる。
移動目標点マーク87を描画するので、どちらの荷役モ
ードにも対応できる。 (7)カメラ24(カメラユニット23)をキャリッジ
14に対し昇降する昇降式とし、荷役作業の種別(荷取
作業・荷置作業)に応じて格納位置と下降位置の二位置
にカメラ24を移動配置するようにした。この結果、フ
ォーク2上に荷の無い荷取作業時には、格納位置に配置
されたカメラ24によってフォーク2と略同じ高さから
作業エリアを撮影でき、一方、フォーク2上に荷のある
荷置作業時には、下降位置に配置されたカメラ24によ
って荷に遮られることなく作業エリアを撮影できる。従
って、画面28Aに映し出された画像の撮影角度がフォ
ーク2の位置合わせに都合がよい。
設けたカメラ24および表示装置28を利用し、その表
示装置28の画面28Aに移動目標点を視認させるため
の目印となる移動目標点マーク87を描画させる。つま
り、カメラ24に撮影された画像データを用いた画像認
識処理によりマークMの位置を割り出し、フォーク自動
位置合わせ制御のために求めたこのマークMの位置デー
タ(I,J,D)を利用して移動目標点の座標を算出し
て移動目標点マーク87の描画位置を求める。従って、
移動目標点の位置算出だけのために追加される演算処理
が少しで済み、移動目標点マーク87を画面28Aに描
画する描画処理を追加しても、フォーク自動位置合わせ
制御のためのCPUの処理負担をさほど増やさずに済
む。
メラがマストの構成部材に固定されているカメラ固定式
の荷役作業支援装置を採用する。
ら順にアウタマスト91、ミドルマスト92およびイン
ナマスト93により構成されている。インナマスト93
の高さ方向中央よりやや上方位置にはビーム94が横架
されており、このビーム94の下側にはカメラ95がビ
ーム94に固定された状態で取り付けられている。カメ
ラ95はその撮影部95Aによりフォーク2の作業エリ
アを撮影可能に前方を向く状態に配置されている。
を正面から見たもので、キャリッジ14はインナマスト
13Cの最上位置に配置されている。キャリッジ14が
インナマスト93の最上位置に配置された状態におい
て、カメラ95はフォーク2の所定距離下方に位置し、
左右方向(車幅方向)にはキャリッジ14がサイドシフ
トしていない状態下で一対のフォーク2間中心線上に位
置する。マスト13はキャリッジ14がインナマスト9
3の最上位置に一旦到達後はじめてスライド伸長を開始
するテレスコピック型(フルフリー型)である。このた
め、キャリッジ14がインナマスト93の最上位置に到
達したの後のマスト伸長時、すなわちキャリッジ14が
インナマスト93の最上位置に到達した所定揚高以上の
揚高では、フォーク2とカメラ95との位置関係は上下
方向において常に一定に保たれる。
ク2に対し前記第1の実施形態におけるカメラ下降時の
位置にほぼ相当しており、フォーク2上に荷が積載され
ている荷置作業時にもそのときの荷役対象である棚部4
2に付されたマークM2を撮影できるようになってい
る。もちろん、フォーク2上に荷が積載されていない荷
取作業時にはそのときの荷役対象であるパレット41に
付されたマークM1を撮影できるようになっている。こ
のようにカメラ95がインナマスト93に固定されてい
る点が前記第1の実施形態と異なるのみで、カメラ95
が電気的に接続されたコントローラ45は、前記第1の
実施形態と同様に、カメラ95に撮影された画像データ
を用いた画像処理および荷役制御などを司る。
センサ73が設けられており、ストロークセンサ73に
よりサイドシフトシリンダ71のストローク量が検出さ
れる。ストロークセンサ73の検出結果によりフォーク
2のサイドシフト量が把握され、フォーク2とカメラ9
5との左右方向(Y方向)の相対位置関係、すなわちカ
メラ95とフォーク2のY方向のずれ量が把握される。
成ブロックを示す。同図に示すように、荷役操作支援装
置20は、前記第1の実施形態と基本的に同様の電気的
構成であり、昇降式のカメラに替え、インナマスト93
に固定された固定式のカメラ95を採用する点が異なる
のみである。従って、前記第1の実施形態の電気的構成
に比べてカメラ昇降装置用のセンサ類およびアクチュエ
ータが廃止された構成となっている。本実施形態では、
ストロークセンサ73の計測値から求められたカメラ9
5とフォーク2のY方向のずれ量を用いて、移動目標
点、およびフォーク2と荷役対象とのX,Y,Z方向の
ずれ量が計算されるようになっている。
定された本実施形態における移動目標点の計算方法につ
いて説明する。荷取作業時にフォーク2をパレット41
に位置合わせするために画面28A上でマークM1を移
動させるべき移動目標点の座標(It,Jt)は、前記
第1の実施形態と同様に次式により与えられる。 It=H/2+(Yp−Ycf)*D/d … (4) Jt=V/2+(Zp−Zcf)*D/d … (5) ここで、Itは画面上の移動目標点横座標、Jtは画面上
の移動目標点縦座標、Hは画面の横方向画素数、Vは画
面の縦方向画素数、Ypはフォーク根元左右中心の移動
目標点をマークM1から見た横座標、Zpはフォーク根
元左右中心の移動目標点をマークM1から見た縦座標、
Ycfはフォーク根元左右中心をカメラから見た横座標、
Ycfはフォーク根元左右中心をカメラから見た縦座標、
dは実際のマークの距離、Dは画像処理により取得した
マークサイズ[画素]、Ycfはストロークセンサ73を用
いて計測および算出する。Yp,Zp、Ycf、Zcfは、
既知の値である。
対し棚面42Aから所定距離(10〜20cm)上方の
荷置位置Rに位置合わせするために画面28A上でマー
クM2を移動させるべき移動目標点の座標(It,J
t)は、次式により与えられる。 It=H/2+(Yr−Ycf)*D/d … (6) Jt=V/2+(Zr−Zcf)*D/d … (7) ここで、Yrはフォーク根元左右中心の移動目標点をマ
ークM2から見た横座標、Zrはフォーク根元左右中心
の移動目標点をマークM2から見た縦座標であり、共に
既知の値である。
イドシフタ16に付いておりフォーク2と共に動くため
Ycfは固定値であったが、本実施形態ではサイドシフト
によりフォーク2が横方向に動いてもカメラ24は動か
ないので、Ycfはサイドシフトの状態によって変化する
変数となる。従って、上記(4),(6)式において、Ycfは
例えばストロークセンサ73で計測して求める。
トシリンダ76が一杯に伸びた状態からの縮み量ΔYを
測定し、ΔY=0のときのYcfをYcf0とすると、Ycf
は次式で表される。 Ycf=Ycf0+ΔY … (23) この(23)式を(4),(6)式の「It」値を求める計算式に代
入すれば以下の式が求まる。 It=H/2+(Yp−Ycf0−ΔY) * D/d … (24) It=H/2+(Yr−Ycf0−ΔY) * D/d … (25) ここで、Ycf0は、サイドシフトシリンダ71が伸びき
った際にフォーク根元左右中心をカメラ24から見た横
座標、ΔYは、サイドシフトシリンダ71が一杯に伸び
きった状態からの縮み量(ストロークセンサ73により
計測)、Zcfは、フォーク根元左右中心をカメラから見
た縦座標である。
が得られる。 (9)カメラ24をインナマスト93に固定しているの
で、前記第1の実施形態で採用したカメラ昇降装置を不
要にでき、カメラ24を有する撮影システムを簡易構造
かつ低コストで実現することができる。しかも、画面2
8A上には移動目標点マーク87が描画されることによ
り、運転者は画面28Aの画像上に描画されたマーク8
7からフォーク2を移動させるべき移動目標点を一目で
視認できる。従って、第1の実施形態で述べた効果
(1)〜(6),(8)も同様に得られる。
ークを自動位置合わせする自動制御が採用されていない
点が前記各実施形態と異なる。図17は荷役操作支援装
置の電気構成ブロックを示す。カメラ95は前記第2の
実施形態と同様でインナマスト93に固定された固定式
である。
行わないため、相対座標算出部85および制御量算出部
86は廃止されている。荷役制御部47には、運転席9
のインストルメントパネルに設けられた荷役レバー、す
なわちリフトレバー96、リーチレバー97、サイドシ
フトレバー98およびティルトレバー99の操作を検出
する各センサ101〜104およびセンサ58〜60,
96が電気的に接続されている。荷役制御部47は、各
センサ101〜104の信号を基にソレノイド駆動回路
50を介して電磁比例弁のソレノイド65〜69を電流
値制御し、各レバー96〜99の操作に応じてシリンダ
12,15A,15B,71,72を駆動制御する。な
お、レバー96,98により手動操作手段が構成され
る。
を駆動制御する手動操作式であるが、高揚高の作業エリ
アをカメラ95で撮影した画像は表示装置28の画面2
8A上に表示される。画像制御部46は、前記各実施形
態と同様の構成を有しており、カメラ95で撮影された
画像データを基に、マークの画像認識処理、マークの位
置データ演算処理、移動目標点算出処理、移動目標点マ
ークなどの位置決め情報の描画処理などを司る。
の揚高にあるときには、フォーク2の移動目標点を知ら
せる移動目標点マーク87が描画されることになる。こ
のため、高揚高で撮影された高所での作業エリアの画像
が表示装置28の画面28Aに表示され、画面28Aを
見ながらフォーク2の位置合わせを手動操作で行うとき
に、その移動目標点をマーク87から視認することがで
きる。また画面28A上にはフォーク2と荷役対象4
1,42とのX,Y,Z方向のずれ量も描画される。よ
って、前記各実施形態と同様に効果(2),(4)〜
(6)を得ることができる。
たフォーク2と荷役対象41,42との3方向のずれ量
(移動距離)が「0」になるように荷役操作すれば、フ
ォーク2を荷役対象41,42に確実に位置決めするこ
とができる。よって、高揚高など目視しにくい位置での
荷役作業効率を向上させることができる。
の態様で実施することもできる。 ○前記各実施形態では、荷役作業内容が荷取作業か荷置
作業かを荷重センサの検出値を基に判別し、その判別し
た荷役作業の種別に応じて目標とするマークMを決定
し、荷役対象をパレットとするか棚部とするかを決定す
る構成とした。これに対し例えば運転席のインストルメ
ントパネル上に荷役作業を指定するために操作するボタ
ンを設け、運転者がボタン操作により自ら荷役作業の種
別をコントローラに対し指定する方法を採用することも
できる。
像認識処理をする対象(被画像認識対象)は、荷役対象
に付されたマークM1,M2に限定されない。例えばパ
レット41または棚部42の形状等をパターンとして画
像認識処理をし荷役対象の位置を割り出す手法を採用す
ることもできる。
前記各実施形態のものに限定されない。移動目標点を特
定できる形状であれば足りる。例えば移動目標点を指し
示す矢印図形など方向性を持つ形状の図形を採用するこ
とができる。また移動目標点に重心が一致するように丸
や三角、四角、多角形などの所定形状のマークを描画し
てもよい。移動目標点を示す目印として画面に表示する
マークは、任意のデザインや図形とすることができる。
例えば「十字」、「点」「線(ライン)」などでもよ
い。例えば十字線であれば、マークMの重心が十字線を
構成する縦横の2本の線にそれぞれ一致するように位置
合わせすればよいので、手動操作方式の場合にフォーク
の位置合わせ操作がし易い。さらに放射状の図形やその
他の線図、イラストでもよい。但し、前記各実施形態で
用いたような点対象の性質を持つ図形であると、一点を
特定し易いので好ましい。また目印(目標点標識)は、
静止画像に限らず動画画像(アニメーション)であって
も構わない。またマークを点滅させてもよく、マークが
時間経過とともに色変化してもよい。フォークをパレッ
トの穴に挿入可能な位置範囲を位置合わせ範囲と見なせ
るので、この位置合わせ範囲内にフォークが位置合わせ
されたときにその旨を運転者に視覚的に知らせるため
に、目印の表示色を変えるようにしてもよい。
ることができれば必ずしも移動目標点の位置にマークを
表示することに限定はされない。例えば移動目標点のI
座標とJ座標を個々に指し示す2つの目印を、画面28
Aの縦と横の二辺に沿って描画し、両目印からI座標と
J座標を特定することで移動目標点を画面上に特定する
手法を採用することもできる。
採用したが、このような図形に限定されない。四角
(■)や三角(▲)などの単純図形でもよい。パターン
マッチングによりテンプレートを多数用意する必要があ
って画像認識処理に時間を要することにはなるが、荷役
対象の位置検出はすることができる。またパターンマッ
チング以外の画像認識方法を採用し、荷役対象の位置検
出を行ってもよい。さらに画像認識以外の方法を用いて
移動目標点座標を求める方法を採用することもできる。
例えばパレットや棚部などの荷役対象に付した被検出部
をセンサにより検出することにより荷役対象の位置を検
出する方法を採用できる。
象に位置決めする際の方向およびずれ量が分かる情報で
あれば足りる。すなわち前記実施形態のように位置決め
のためにフォーク2をシフトさせる距離そのものである
必要はない。例えば画面のスケールを100としてYZ
方向の位置決めのためのシフト量を相対的な量として示
すゲージを描画させても構わない。
ーク87は、画面28A上におけるマークMの移動目標
点としたが、マークMの移動目標点とする必要は必ずし
もない。例えばパレット41の一方(例えば右側)の穴
41Aを基準とし、この穴41Aの移動目標点を指し示
す移動目標点マークを描画してもよい。要するに荷役機
器を荷役対象に位置合わせするときに都合のよい基準点
をどこかに決め、荷役機器を荷役対象に位置合わせする
ときにその基準点を移動させるべき移動目標点を指し示
す目印が描画されれば足りる。そして、この基準点はそ
の役割を果たしえる限り車両以外のどこに決めてもよ
く、荷役対象の一部、荷役対象の周辺の特定箇所(例え
ば棚の特定箇所)、あるいはこれらの部位や箇所に付さ
れた目印(マーク)とすることもできる。基準点を目印
(マーク)とする場合、そのマークは画像認識用のマー
クを流用する必要は必ずしもなく、基準点用のマークを
マークM1,M2とは別に設けることもできる。
クによってフォーク2を上下方向および左右方向に位置
決めできるようにしたが、上下または左右の1方向のみ
に位置決めできる移動目標点マークを画面に表示させて
もよい。
置合わせを手動操作で行う場合、上下方向と左右方向に
フォークを操作する必要があるが、このとき、上下方向
と左右方向のそれぞれの移動方向で位置が合ったら、位
置が合った旨を視覚的に分かる表示態様で示すか、音声
で知らせる方法を採用する。
メラ24をインナマスト93に昇降可能に設けてもよ
い。すなわち、カメラ24とフォーク2との相対位置関
係において、第1の実施形態における格納位置と下降位
置に相当する二位置を昇降可能にカメラ24をインナマ
スト93のビームに取り付ける。荷取作業時には格納位
置に配置されたカメラ24で撮影し、荷置作業時には下
降位置に配置されたカメラ24で撮影する。
は、カメラの撮影画像データの画像処理によるものに限
定されない。例えば超音波センサ、近接センサ、レーザ
ー式センサなどを使用してその検出値から荷役対象の位
置を測長し、ずれ量または移動目標点を計算する方法を
採用することもできる。この場合、荷役対象に被検出対
象としてのマークを付すことにし、このマークの移動目
標点を移動目標点マークの描画位置として採用すること
もできる。また画像処理以外のセンサによる位置検出方
法を採用する場合、カメラは併存させてもよいし廃止し
てもよい。例えばカメラを廃止した場合は、表示装置の
画面にXYZ方向の数値だけ表示させたり、荷役対象と
移動目標点の位置関係が分かるマークのみ描画させるこ
ともできる。またカメラがある場合も、撮影画像は荷役
対象の位置検出のみに用い、同様に画面には数値のみ、
またはマークのみの描画を行うのみであってもよい。
支援の仕方として荷役対象に付されたマークMと移動目
標点マーク87を画面上で一致させるようにした。これ
に対し、撮影されたマークに替え、現在のフォーク位置
を示すマークを画面上の適宜な位置に描画し、このマー
クに対する移動目標点に別のマークを描画することで、
2つの描画マークの位置関係からフォークの位置決めを
支援する方法を採用することもできる。
方向)のずれ量(移動距離)を表示したが、YZ方向の
み、Z方向のみを表示するだけとしてもよい。 ○ フォーク(荷役機器)が車幅方向に移動可能に設け
られた産業車両に限定されない。例えばサイドシフト機
能を備えないフォークリフトに適用することもできる。
フォーク以外のアタッチメントでもよい。また荷を把持
するクランプ装置、荷をすくうバケットでもよい。さら
に荷を磁着によって把持する荷役機器でもよい。
限定されない。カウンタバランス型フォークリフトでも
よい。また産業車両はフォークリフトに限定されない。
例えばパワーショベルでもよい。なお荷役作業の対象と
される荷は、パレットやパレットで取り扱われる荷物に
限定されず、丸太、ロール紙、コンテナ、土砂等の流動
物など産業車両が作業で扱う対象であればよい。またパ
レット以外の荷載置用部材や荷収容箱をも含む。
術的思想を、以下に記載する。 (1)請求項11又は12の発明において、前記マスト
は、多数段の構成部材がスライドすることで伸縮すると
ともに、前記荷役機器が前記構成部材のうちインナマス
トの最上段に移動配置された後、前記マストがはじめて
スライド伸長する機構を有するテレスコピック型の多段
式マストであって、前記カメラは前記インナマストに固
定されている。
記カメラは、前記インナマストのビームに固定された状
態で、前記荷役機器の幅方向略中央に相当する位置に配
置されている。
て、前記荷役対象には位置合わせの基準とする基準マー
クが付されており、前記演算手段は、前記荷役機器を荷
役対象に位置合わせするときの前記表示手段の画面上に
おける前記基準マークの移動目標点を位置演算するもの
で、前記描画制御手段は、前記画面の画像上に前記基準
マークの前記移動目標点を指し示す目印を描画すること
を特徴とする。なお、前記各実施形態では、被画像認識
対象であるマークM1,M2が、ここでいう基準マーク
を兼ねている。この構成によれば、画面上において基準
マークが移動目標点の目印に一致するように荷役機器を
移動させれば、画面を見ながら荷役機器が荷役対象に位
置合わせされたことを確認できる。
識対象は前記荷役対象に位置を割り出すために付された
マークである。 (5)請求項7〜13及び前記技術的思想(4)におい
て、前記画像認識手段は、前記荷役対象の位置を特定す
るために付されたマークを前記撮影手段により撮影され
た画像データを基に画像認識して画面上における該マー
クの位置を割り出すものであって、前記演算手段は、前
記画像認識手段により割り出された前記マークの位置デ
ータを基に、前記荷役機器を荷役対象に位置合わせする
ときの前記表示手段の画面上における前記マークの移動
目標点を位置演算するもので、前記描画制御手段は、前
記画面の画像上に前記マークの前記移動目標点を指し示
す目印を描画することを特徴とする。
(1)〜(5)のいずれかにおいて、前記目印は、点対
象の性質を持つ図形からなり、該目印はその点対象の点
が前記移動目標点と一致するように描画される。この構
成によれば、目印として使用される図形の形状から、そ
の目印によって指し示される移動目標点を容易に一点に
特定できる。
(1)〜(6)のいずれかにおいて、前記荷役対象と
は、パレット又は棚部である。ここで、棚部とは、棚に
荷を収納する荷役作業時に荷役機器の位置合わせの対象
(基準)となる棚の部分である。
載の発明によれば、荷役機器の作業エリア(荷役対象)
を映し出す表示手段の画面の画像上に、荷役機器を位置
合わせするための位置決め情報が表示(描画)されるた
め、画面を通して荷役機器を位置合わせするときの助け
となる。
視図。
ク図。
マッチング方法の説明図。
係図。
ク図。
(a)は実座標系、(b)は画面座標系をそれぞれ示す
模式図。
(a)は移動目標点マークが表示された状態の画面図、
(b)は位置合わせ終了時の画面図。
斜視図。
式部分正面図。
ック図。
の電気的構成を示すブロック図。
してのフォーク、3…車体、11…荷役装置、13…マ
スト、14…キャリッジ、15…駆動手段としてのリフ
トシリンダ、20…荷役作業支援装置としての荷役操作
支援装置、23…撮影手段を構成するカメラユニット、
24…検出手段及び撮影手段を構成するカメラ、28…
表示手段としての表示装置、28A…画面、31…手動
操作手段としての操作レバー(マルチレバー)、40…
棚、41…荷役対象としてのパレット、42…荷役対象
としての棚部、45…制御手段としてのコントローラ、
46…表示制御部、47…判別手段を構成するとともに
制御手段としての荷役制御部、58…揚高検出手段とし
ての揚高センサ、59…判別手段を構成する荷重セン
サ、61…昇降駆動手段としての電動アクチュエータ、
71…駆動手段としてのサイドシフトシリンダ、73…
ストロークセンサ、76…画像処理部、77…描画制御
手段を構成する描画表示部、78…描画制御手段を構成
する描画データ記憶部、81…検出手段及び画像認識手
段を構成する画像認識処理部、82…画像認識手段を構
成するテンプレート記憶部、83…検出手段、画像認識
手段及び演算手段を構成する画像演算部、84…演算手
段としての表示位置決定部、85…相対位置演算手段と
しての相対座標算出部、87…目印としての移動目標点
マーク、93…マストの構成部材としてのインナマス
ト、96…手動操作手段としてのリフトレバー、98…
手動操作手段としてのサイドシフトレバー、M1,M2
…被画像認識対象としてのマーク。
Claims (14)
- 【請求項1】 荷役対象に位置合わせするために車体に
移動可能に設けられた荷役機器と、 表示手段と、 荷役対象の位置を検出する検出手段と、 前記検出手段により検出された位置検出結果を基に前記
荷役機器を前記荷役対象に位置決めする手助けとなる位
置決め情報を前記表示手段に表示する表示制御手段とを
備えた産業車両における荷役作業支援装置。 - 【請求項2】 荷役作業をするために車体に移動可能に
設けられた荷役機器と、 前記荷役機器による作業の対象となる荷役対象を撮影す
る撮影手段と、 前記撮影手段により撮影された画像を画面に表示する表
示手段と、 前記撮影手段の撮影エリア内における前記荷役対象の位
置を検出する検出手段と、 前記検出手段により検出された位置データを基に、前記
荷役機器を荷役対象に位置合わせするときの位置決め情
報を演算する演算手段と、 前記表示手段の画面に前記荷役機器を荷役対象に位置決
めする際の位置決め情報を描画する描画制御手段とを備
えた産業車両における荷役作業支援装置。 - 【請求項3】 荷役作業をするために車体に移動可能に
設けられた荷役機器と、 前記荷役機器による作業の対象となる荷役対象を撮影す
る撮影手段と、 前記撮影手段により撮影された画像を画面に表示する表
示手段と、 前記撮影手段により撮影された画像データを画像処理す
ることによって前記画面上における前記荷役対象の位置
を検出する検出手段と、 前記検出手段により検出された位置データを基に、前記
荷役機器を荷役対象に位置合わせするときの前記表示手
段の画面上における移動目標点を位置演算する演算手段
と、 前記画面の画像上に前記移動目標点の位置を報知するた
めの位置決め情報を描画する描画制御手段とを備えた産
業車両における荷役作業支援装置。 - 【請求項4】 前記位置決め情報は、前記荷役機器と荷
役対象との位置関係の情報である請求項1〜3のいずれ
か一項に記載の産業車両における荷役作業支援装置。 - 【請求項5】 前記表示手段に表示される前記位置決め
情報は、前記荷役機器と荷役対象との位置関係を方向及
び量で示す文字情報である請求項1〜4のいずれか一項
に記載の産業車両における荷役作業支援装置。 - 【請求項6】 荷役作業をするために車体に移動可能に
設けられた荷役機器と、 前記荷役機器による作業の対象となる荷役対象を撮影す
る撮影手段と、 前記撮影手段により撮影された画像を画面に表示する表
示手段と、 前記撮影手段により撮影された画像データを基に前記画
面上における前記荷役対象の位置を検出する検出手段
と、 前記検出手段により検出された位置データを基に、前記
荷役機器を荷役対象に位置合わせするときの前記表示手
段の画面上における移動目標点を位置演算する演算手段
と、 前記画面の画像上に前記移動目標点の位置を視認させる
ための目印を描画する描画制御手段とを備えた産業車両
における荷役作業支援装置。 - 【請求項7】 前記検出手段は、前記撮影手段により撮
影された画像データを基に前記画面上における前記荷役
対象の位置を割り出す画像認識処理を行う画像認識手段
である請求項2〜6のいずれか一項に記載の産業車両に
おける荷役作業支援装置。 - 【請求項8】 荷役作業をするために車体に移動可能に
設けられた荷役機器と、 前記荷役機器による作業の対象となる荷役対象を撮影す
る撮影手段と、 前記撮影手段により撮影された画像を画面に表示する表
示手段と、 前記表示手段の画面上における前記荷役対象に付された
マークの前記荷役機器を前記荷役対象に位置合わせする
ときの移動目標点を位置演算する演算手段と、 前記画面の画像上に前記移動目標点を視認させるための
目印を描画する描画制御手段とを備えた産業車両におけ
る荷役作業支援装置。 - 【請求項9】 前記荷役機器を移動させる手動操作をす
るための手動操作手段と、前記手動操作手段の手動操作
に応じて前記荷役機器を移動させる駆動手段を制御する
制御手段とを備え、 前記演算手段は、前記手動操作手段の手動操作によって
前記荷役機器を移動させるときの前記表示手段の画面上
における移動目標点を演算する請求項2〜8のいずれか
一項に記載の産業車両における荷役作業支援装置。 - 【請求項10】 前記撮影手段を構成するカメラは前記
荷役機器に対し昇降可能に設けられ、前記荷役機器によ
る荷役作業が荷取作業か荷置作業であるかを判別する判
別手段と、前記判別手段により判別された荷役作業の種
別に応じた高さに前記カメラを前記荷役機器に対し移動
配置するよう駆動される昇降駆動手段とを備え、荷置作
業時の前記カメラの配置位置は前記荷役機器に取られた
荷によって作業エリアの撮影が妨げられない位置に設定
されている請求項2〜9のいずれか一項に記載の産業車
両における荷役作業支援装置。 - 【請求項11】 前記撮影手段を構成するカメラは、前
記荷役機器を有するキャリッジが昇降可能に設けられた
マストの構成部材に対し固定され、前記荷役機器が所定
揚高以上の揚高を昇降するときに該荷役機器と前記カメ
ラとが少なくとも高さ方向に一定の位置関係を保ったま
ま前記キャリッジが前記マスト上を移動するように荷役
装置が構成されており、 前記荷役機器の揚高を検出する揚高検出手段を備え、 前記描画制御手段は、前記揚高検出手段により検出され
た揚高が前記所定揚高以上のときに、前記演算手段によ
り演算された移動目標点の位置データを基に前記画面の
画像上に前記移動目標点を視認させるための目印を描画
する処理を実行する請求項2〜10のいずれか一項に記
載の産業車両における荷役作業支援装置。 - 【請求項12】 荷役機器を有するキャリッジが車体に
設けられたマストに沿って昇降可能に設けられた産業車
両において、 前記荷役機器の作業エリアを撮影可能に前記マストの構
成部材に設けられたカメラと、 前記カメラにより撮影された画像を画面に表示する表示
手段と、 荷役機器により行われる荷役作業が荷取作業か荷置作業
かを判別する判別手段と、 前記判別手段により判別された荷役作業の種別に応じて
荷役対象を決定し、前記カメラにより撮影された画像デ
ータを基に、当該荷役対象の位置検出用の被画像認識対
象を画像認識処理することにより前記表示手段の画面上
における該荷役対象の位置を検出する検出手段と、 前記荷役機器を前記荷役対象に位置合わせするときの前
記表示手段の画面上における移動目標点を位置演算する
演算手段と、 前記表示手段の画面上における前記移動目標点を視認さ
せる目印を該画面の画像上に描画する描画制御手段とを
備えた産業車両における荷役作業支援装置。 - 【請求項13】 前記検出手段は、荷取作業と荷置作業
を区別して荷役対象を位置検出し、前記表示手段には前
記検出手段により位置検出された荷役対象の荷取作業か
荷置作業に応じた位置決め情報が表示される請求項1〜
12のいずれか一項に記載の産業車両における荷役作業
支援装置。 - 【請求項14】 請求項1〜13のいずれか一項に記載
の荷役作業支援装置を備えている産業車両。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001352369A JP3900902B2 (ja) | 2001-11-16 | 2001-11-16 | 産業車両における荷役作業支援装置及び産業車両 |
PCT/JP2002/001353 WO2003008325A1 (en) | 2001-07-17 | 2002-02-18 | Industrial vehicle equipped with material handling work controller |
EP02712415.5A EP1408001B1 (en) | 2001-07-17 | 2002-02-18 | Industrial vehicle equipped with material handling work controller |
US10/470,491 US7219769B2 (en) | 2001-07-17 | 2002-02-18 | Industrial vehicle equipped with load handling operation control apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001352369A JP3900902B2 (ja) | 2001-11-16 | 2001-11-16 | 産業車両における荷役作業支援装置及び産業車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003155198A true JP2003155198A (ja) | 2003-05-27 |
JP3900902B2 JP3900902B2 (ja) | 2007-04-04 |
Family
ID=19164557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001352369A Expired - Lifetime JP3900902B2 (ja) | 2001-07-17 | 2001-11-16 | 産業車両における荷役作業支援装置及び産業車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3900902B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020095602A1 (ja) * | 2018-11-05 | 2020-05-14 | 株式会社豊田自動織機 | フォークリフトの遠隔操作システム |
CN111469564A (zh) * | 2019-01-23 | 2020-07-31 | 精工爱普生株式会社 | 辅助部件、印刷装置 |
WO2021075438A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社豊田自動織機 | 荷役車両の操作支援装置 |
CN113148908A (zh) * | 2021-03-16 | 2021-07-23 | 李亚军 | 自动化叉车机械转向系统及方法 |
-
2001
- 2001-11-16 JP JP2001352369A patent/JP3900902B2/ja not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020095602A1 (ja) * | 2018-11-05 | 2020-05-14 | 株式会社豊田自動織機 | フォークリフトの遠隔操作システム |
CN111469564A (zh) * | 2019-01-23 | 2020-07-31 | 精工爱普生株式会社 | 辅助部件、印刷装置 |
US10906338B2 (en) | 2019-01-23 | 2021-02-02 | Seiko Epson Corporation | Auxiliary member and printing apparatus |
CN111469564B (zh) * | 2019-01-23 | 2022-08-26 | 精工爱普生株式会社 | 辅助部件、印刷装置 |
WO2021075438A1 (ja) * | 2019-10-18 | 2021-04-22 | 株式会社豊田自動織機 | 荷役車両の操作支援装置 |
JP2021066540A (ja) * | 2019-10-18 | 2021-04-30 | 株式会社豊田自動織機 | 荷役車両の操作支援装置 |
JP7268575B2 (ja) | 2019-10-18 | 2023-05-08 | 株式会社豊田自動織機 | 荷役車両の操作支援装置 |
CN113148908A (zh) * | 2021-03-16 | 2021-07-23 | 李亚军 | 自动化叉车机械转向系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3900902B2 (ja) | 2007-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7010404B2 (en) | Position control apparatus and position control method for cargo carrying apparatus in industrial vehicle | |
US7219769B2 (en) | Industrial vehicle equipped with load handling operation control apparatus | |
JP3921968B2 (ja) | 位置検出方法及び位置検出装置 | |
JP2003171094A (ja) | 産業車両用のハンドルノブ及び産業車両 | |
JP4882176B2 (ja) | 産業車両における荷役支援報知装置及び産業車両 | |
US12122296B2 (en) | System and method providing visual aids for workpiece manipulator positioning and movement preview path | |
JP2013086959A (ja) | フォークリフトのフォーク位置決め支援装置および方法 | |
JP6858104B2 (ja) | 情報処理装置及び情報処理方法 | |
WO2020039817A1 (ja) | フォークリフト用荷役作業支援装置 | |
JP3900942B2 (ja) | 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法 | |
JP3858703B2 (ja) | 産業車両における荷役作業支援装置及び産業車両 | |
JP3900902B2 (ja) | 産業車両における荷役作業支援装置及び産業車両 | |
JP4961643B2 (ja) | 産業車両における荷役制御装置及び産業車両 | |
JP2003128395A (ja) | 産業車両における荷役作業支援装置及び産業車両 | |
WO2021075541A1 (ja) | 荷役車両の荷役作業支援装置 | |
JP3941521B2 (ja) | 産業車両の標識選定装置及び産業車両 | |
JP3900887B2 (ja) | 産業車両の作業モード切替装置及び産業車両 | |
WO2020095602A1 (ja) | フォークリフトの遠隔操作システム | |
JP2003089500A (ja) | 荷役レバー及び産業車両 | |
WO2020085068A1 (ja) | フォークリフトの遠隔操作システム | |
JP7087737B2 (ja) | フォークリフト用遠隔操作システム | |
JP7435432B2 (ja) | フォークリフト | |
JP2021042071A (ja) | フォークリフトのサイドシフト制御装置 | |
JP2023101128A (ja) | 荷役車両及び判定プログラム | |
JP2024048648A (ja) | 物品検出装置、キャリブレーション方法、及び物品検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3900902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140112 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |