[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2016199366A1 - 寸法測定装置および寸法測定方法 - Google Patents

寸法測定装置および寸法測定方法 Download PDF

Info

Publication number
JPWO2016199366A1
JPWO2016199366A1 JP2017523100A JP2017523100A JPWO2016199366A1 JP WO2016199366 A1 JPWO2016199366 A1 JP WO2016199366A1 JP 2017523100 A JP2017523100 A JP 2017523100A JP 2017523100 A JP2017523100 A JP 2017523100A JP WO2016199366 A1 JPWO2016199366 A1 JP WO2016199366A1
Authority
JP
Japan
Prior art keywords
cargo
distance image
dimension measuring
loading platform
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017523100A
Other languages
English (en)
Inventor
章裕 鈴木
章裕 鈴木
紹二 大坪
紹二 大坪
隆昭 守山
隆昭 守山
池田 豊
豊 池田
石原 健
健 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016199366A1 publication Critical patent/JPWO2016199366A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

荷台Pに置かれた貨物(C)または荷台付き貨物(CP)の寸法を測定する寸法測定装置であって、測定光を送信するプロジェクタと、反射した測定光を受信して、貨物Cおよび荷台(P)を含む第1の貨物距離画像を取得するカメラと、プロセッサと、メモリとを備える。プロセッサはメモリと協働して、第1の貨物距離画像をメモリに記憶させ、第1の貨物距離画像に存在する荷台Pの形状に基づいて、第1の貨物距離画像内において、貨物(C)または荷台付き貨物(CP)以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する。

Description

本開示は、貨物または荷台付き貨物の寸法を測定する技術に関する。
近年の経済活動の高まりに伴い、貨物の流通量は増大する一方である。特に貨物の中には必ずしも直方体ではない不定型貨物が多く含まれており、これら不定型貨物の寸法を円滑にかつ正確に測定する技術が求められている。
特許文献1は三次元形状計測方法を開示しているが、当該方法においては、受光した計測光の順序に基づいてカメラの各受光素子に対応する位置ごとに空間コードを特定する。ここで、受光平面上の各受光素子のうち計測光を受光しなかった受光素子を抽出して測定不能点を抽出し、この測定不能点の空間コードについては、測定不能点の近傍の受光素子での空間コードの値に基づく補間値を算出する。この補間値に基づき、計測光を照射できないような部分までの距離をも測定することが可能となり、不定型貨物の寸法測定にも応用が可能である。
特許文献2は物体識別方法を開示しているが、当該方法においては、所定の作業台を原点とするワールド座標系における3次元空間をマッチング空間とし、距離画像計測手段で計測された物体距離画像をマッチング空間中にプロットする。これにより物体表面位置をマッチング空間中に仮想的に再構築し、得られる3次元物体表面位置画像を、ワールド座標系の水平面Z−X平面上に射影し、射影画像を得る。そして、射影画像の重心と慣性主軸の方向(慣性主軸方向)とを求め、慣性主軸方向と、慣性主軸方向に垂直な方向を基準座標系とするように、3元物体表面位置画像に対して座標変換(y軸周りの回転変換)を施す。そして、変換座標系における各最大位置座標値、最小位置座標値を求めることで、外接直方体の寸法を求める。外接直方体は物体に外接する直方体であり、不定型貨物の寸法測定にも応用が可能である。
特開2000−193433号公報 特開2004−259114号公報
特許文献1および2の技術を応用することにより、不定型貨物の如き対象物の外接直方体を求めることができ、当該対象物の寸法を測定することができる。ここで、従来の技術にあっては、まず貨物が含まれていない背景距離画像を取得し、その後、貨物を含めた貨物距離画像を取得し、背景距離画像と貨物距離画像の差分から、貨物の距離画像を取得し、寸法を測定する。
現実の貨物の流通場面においては、対象物たる貨物の寸法を測定する条件は、刻々と変化するのが通常である。例えば、背景距離画像を取得する時点での環境と、貨物距離画像を取得する時点での環境は異なっているケースが多いと考えられる。このようなケースでは適切な背景距離画像を得ることができない場合も考えられ、ひいては正確な貨物の距離画像を取得することができない可能性がある。
また、現実の貨物の流通場面においては、貨物はパレットの如き所定の荷台に積載された状態で流通するのが一般的である。このような流通が慣例的であるため、荷台付き貨物の寸法測定を行うことは試みられているが、荷台を除いた貨物そのものの寸法測定の要求も高まっている。
本開示は、貨物または荷台付き貨物の寸法を適切に測定する技術に関する。
本開示は、荷台に置かれた貨物または荷台付き貨物の寸法を測定する寸法測定装置であって、測定波を送信するトランスミッタと、反射した測定波を受信して、貨物および荷台を含む第1の貨物距離画像を取得するレシーバと、プロセッサと、メモリと、を備え、プロセッサは、メモリと協働して、第1の貨物距離画像をメモリに記憶させ、第1の貨物距離画像に存在する荷台の形状に基づいて、第1の貨物距離画像内において、貨物または荷台付き貨物以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する。
また、本開示は、荷台に置かれた貨物または荷台付き貨物の寸法を測定する寸法測定方法であって、トランスミッタが測定波を送信し、レシーバが、反射した測定波を受信して、貨物および荷台を含む第1の貨物距離画像を取得し、プロセッサがメモリと協働して、第1の貨物距離画像をメモリに記憶させ、第1の貨物距離画像に存在する荷台の形状に基づいて、第1の貨物距離画像内において、貨物または荷台付き貨物以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する。
本開示によれば、第1の貨物距離画像内において、貨物以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する。この第2の貨物距離画像を活用することにより、貨物の外接直方体を得ることができ、ひいては貨物の寸法を適切に測定することができる。
図1は、実施の形態1にかかる寸法測定装置の構成を示すブロック図である。 図2Aは、フォークに貨物が搭載されていない状態を示す図である。 図2Bは、フォークに荷台付き貨物が搭載されている状態を示す図である。 図3Aは、背景距離画像を示す図である。 図3Bは、背景距離画像を示す図である。 図3Cは、貨物距離画像を示す図である。 図3Dは、貨物距離画像を示す図である。 図4Aは、フォークに貨物が搭載されていない状態を示す図である。 図4Bは、図4Aの状態において取得され、生成される背景距離画像を示す図である。 図4Cは、フォークに荷台付き貨物が搭載されている状態を示す図である。 図4Dは、図4Cの状態において取得され、生成される貨物距離画像を示す図である。 図5Aは、フォークリフトの移動に伴い、当初は画像内に存在しなかった物体が画像に映し出されるときの状態を示す図である。 図5Bは、壁に関する画像の処理を示す図である。 図5Cは、床の異物に関する画像の処理を示す図である。 図6Aは、当初は画像内に存在しなかった他の物体が画像に映し出される状態を示す図である。 図6Bは、他の物体に関する画像の処理を示す図である。 図7は、実施の形態1の寸法測定装置が行う動作手順の概略を示すフローチャートである。 図8Aは、図7のステップS10の詳細な処理手順(サブルーチン)を示すフローチャートである。 図8Bは、フォークの高さを複数段階で変更し、変更の度に生成される距離画像を示す図である。 図9は、図7のステップS40の詳細な処理手順(サブルーチン)を示すフローチャートである。 図10Aは、図9のステップS41の詳細な処理手順(サブルーチン)を示すフローチャートである。 図10Bは、ステップS412における処理を示す距離画像の図である。 図10Cは、ステップS413における処理を示す距離画像の図である。 図10Dは、ステップS414における処理を示す距離画像の図である。 図10Eは、荷台の前面の画像の距離を求める際の処理の概念図である。 図11Aは、図9のステップS42の詳細な処理手順(サブルーチン)を示すフローチャートである。 図11Bは、ステップS421における処理を示す距離画像の図である。 図11Cは、ステップS422における処理を示す距離画像の図である。 図11Dは、ステップS423における処理を示す距離画像の図である。 図11Eは、ステップS424における処理を示す距離画像の図である。 図12Aは、複数の第2の貨物距離画像を合成し、最終貨物距離画像を生成する処理を示す図である。 図12Bは、最終貨物距離画像を3次元マッチング空間にて座標展開する処理を示す図である。 図12Cは、慣性主軸の方向を補正し、3次元マッチング空間の座標変換を行う処理を示す図である。 図12Dは、座標変換後の3次元マッチング空間内に貨物の外接直方体を算出する処理を示す図である。 図13は、寸法測定装置が背景距離画像を取得しない場合の動作手順の概略を示すフローチャートである。 図14Aは、図13のステップS40Aの詳細な処理手順(サブルーチン)を示すフローチャートである。 図14Bは、ステップS40A1における処理を示す距離画像の図である。 図14Cは、ステップS40A2における処理を示す距離画像の図である。 図14Dは、ステップS40A3における処理を示す距離画像の図である。 図14Eは、ステップS40A4における処理を示す距離画像の図である。 図14Fは、ステップS40A5における処理を示す距離画像の図である。 図15Aは、実施の形態2の寸法測定装置が行う処理全体のイメージ図である。 図15Bは、実施の形態2の寸法測定装置が行う処理を示す図である。 図15Cは、実施の形態2の寸法測定装置が行う処理を示す図である。 図15Dは、実施の形態2の寸法測定装置が行う処理を示す図である。 図15Eは、実施の形態2の寸法測定装置が行う処理を示す図である。 図16Aは、実施の形態2の寸法測定装置が行う処理の変形例の処理を示す図である。 図16Bは、実施の形態2の寸法測定装置が行う処理の変形例の処理を示す図である。 図16Cは、実施の形態2の寸法測定装置が行う処理の変形例の処理を示す図である。 図16Dは、実施の形態2の寸法測定装置が行う処理の変形例の処理を示す図である。 図16Eは、実施の形態2の寸法測定装置が行う処理の変形例の処理を示す図である。 図17は、荷台付き貨物を搭載したフォークリフトが倉庫の所定の経路を移動する状態を示す図である。 図18は、寸法測定装置を含む業務診断システムが行う処理を説明する概念図である。 図19は、実施の形態の変形例を示す概念図である。
以下、適宜図面を参照しながら、本開示に係る寸法測定装置を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
以下、図1〜図12を用いて実施の形態1を説明する。
[構成]
図1は、実施の形態1にかかる寸法測定装置の構成を示すブロック図である。図1に示す寸法測定装置100は、例えば物流倉庫等の物流に関する設備(フォークリフトの如き貨物の運搬装置や倉庫の床等)に設置され、少なくともカメラ110と、プロジェクタ120と、プロセッサ130と、メモリ140とを備える。寸法測定装置100は、荷台(パレット)に置かれた貨物または荷台付き貨物の寸法を測定する装置である。以下、寸法の測定対象である「貨物」または貨物Cの用語は、特別の場合を除いて「貨物」そのもののみならず、貨物と荷台を含む「荷台付き貨物」または荷台付き貨物CPも含み得る。そして、寸法測定装置100は、貨物が直方体の場合は直方体の3辺の寸法を測定し、貨物が直方体でない不定型の場合は、後述するように、当該貨物に外接する外接直方体(後述)の3辺の寸法を測定する。
撮像装置としてのカメラ110は、図示せぬレンズ、イメージセンサ等の各種の要素を含む。投光装置としてのプロジェクタ120は、測定対象としての貨物の寸法を測定するのに必要な測定光を投光する。プロジェクタ120が貨物に対して測定光を投光し、貨物により反射した測定光をカメラ110が受光する。ここで、測定光は貨物の表面によってその投光パターンが変形され、カメラ110が反射した測定光の投光パターンの変形を、生成する画像の各画素における奥行、すなわち距離の情報として捉える。ここで生成される画像は、一般的に「距離画像」と呼ばれる。なお、距離画像はカメラ110が生成しても良いし、カメラ110から情報を得て後述するプロセッサ130が生成しても良い。
「距離画像」とは、各画素が示す位置(貨物の表面を含む)までの距離情報を収容した画像のことをいう。距離画像は、例えば異なる色によって各画素の距離情報をディスプレイ上にて表現することにより視覚的に表現可能である。
プロセッサ130は一般的な演算装置によって構成され、内蔵された図示せぬ記憶装置やメモリ140から各種の制御プログラムやデータを読み出し、寸法測定装置100全体の動作制御を司る。記憶装置としてのメモリ140は、プロセッサ130が各種処理に必要な制御プログラムの読み込み、データの退避等の操作を行う。すなわち、プロセッサ130とメモリ140は協働して寸法測定装置100による各種処理を制御する。
尚、寸法測定装置100は、プロセッサ130およびメモリ140として機能する独立したコンピュータを、カメラ110およびプロジェクタ120と有線通信または無線通信で繋ぎ合わせることにより構成することもできる。もちろん、寸法測定装置100は、カメラ110、プロジェクタ120、プロセッサ130、メモリ140が一体の筐体に収納された一体型の装置として構成することもできる。
[処理の概要]
図2Aおよび図2Bは二台の寸法測定装置100A、100B(以下、「寸法測定装置100」とも言う)を含む寸法測定システム200がフォークリフトFLに固定された状態および本願発明の課題が生じる一場面を説明する説明図である。フォークリフトFLの前方には、一体型の寸法測定装置100が二台固定され、寸法測定装置100は昇降可能であって荷台付き貨物を保持するフォークFおよびその周辺を撮影する。
図2Aの状態ではフォークFに貨物が搭載されておらず、寸法測定装置100は、測定対象である貨物が含まれない背景距離画像を取得する。図2Bの状態ではフォークFに、荷台Pに貨物Cが置かれた状態の荷台付き貨物CPが搭載されており、寸法測定装置100は、寸法の測定対象である貨物C(以下、荷台付き貨物CPも含み得る)を含む貨物距離画像を取得する。
図2Aの状態で得られる背景距離画像と、図2Bの状態で得られる貨物距離画像を比較し、両画像の差分をとって貨物Cの距離画像のみを抽出することにより、貨物Cの寸法を取得することが考えられる。しかしながら、実際は図2Aの状態と図2Bの状態では、フォークFの高さが異なる可能性がある。すなわち、荷台付き貨物CPが搭載された状態(図2B)でのフォークFの高さは、荷台付き貨物CPが搭載されていない状態(図2A)でのフォークFの高さより低い場合があると考えられる。すなわち、フォークFの位置が、背景距離画像の取得時点と、貨物距離画像の取得時点で変化しており、貨物Cの距離画像の抽出が困難になることが予想される。
図3Aないし図3Dは上記事象を具体的に示す距離画像の図である。図3Aは図2Aにおける寸法測定装置100Aにより撮影された背景距離画像、図3Bは図2Aにおける寸法測定装置100Bにより撮影された背景距離画像を示す。図3Cは図2Bにおける寸法測定装置100Aにより撮影された貨物距離画像、図3Dは図2Bにおける寸法測定装置100Bにより撮影された貨物距離画像を示す。図3Aと図3Cとの比較、図3Bと図3Dとの比較から、フォークFの画像内での位置が変化していることがわかる。
フォークFは、寸法測定対象である貨物C以外の不要な物体であり、フォークFの存在する領域を特定することは、貨物Cの抽出および寸法測定に重要な事項である。しかしながら、本例の様にフォークFの画像内位置が背景距離画像と貨物距離画像とで異なっていると、フォークFの存在する領域の特定が困難となり、貨物Cの寸法測定にとって障害となり得る。
図4Aないし図4Dは、上述した課題を解決するため、本実施形態の寸法測定装置100が行う処理を説明する概念図である。図4AはフォークFに貨物が搭載されておらず、寸法測定装置100からフォークFまでの距離がd1であり、寸法測定装置100が、貨物が含まれない背景距離画像を取得する状態を示している。この場合、寸法測定装置100は、図4Bに示すようにフォークFを含む第1の背景距離画像を最初に取得する。
図4CはフォークFに荷台付き貨物CPが搭載されており、寸法測定装置100からフォークFまでの距離がd2であり、寸法測定装置100が、寸法の測定対象である貨物Cを含む貨物距離画像を取得する状態を示している。この場合、寸法測定装置100は、図4Dに示すようにフォークFおよび荷台付き貨物CPを含む第1の貨物距離画像を最初に取得する。
図4CではフォークFの位置は荷台付き貨物CPを搭載するため、図4Aでの位置より低い位置にあり、d2>d1である。この結果、フォークFの位置が、図4Bの第1の背景距離画像と、図4D第1の貨物距離画像との間で異なっており、貨物Cの距離画像の抽出が困難になることが予想される。
そこで図4Bに示すように、プロセッサ130は、メモリ140と協働して、不要な物体であるフォークFを含む画素を第1の背景距離画像から排除し、排除された画素に対し、その周囲部分の画素の距離情報を含む新たな画素を補間する。この結果、フォークFを含まない第2の背景距離画像が生成される。
そしてプロセッサ130は、図4Dに示すように、メモリ140と協働して、エッジ検出(画素の距離情報などの急激な変化に基づく検出手法)を行い、または、あらかじめ登録された荷台のパターンとの比較によるパターンマッチング等の手法により荷台PのエッジEを抽出する。これにより、プロセッサ130は荷台Pの形状を特定するとともに、荷台の側面のうち前面FSの形状を特定する。ここでプロセッサ130は、前面FSから突出する物体であるフォークFをも検出することができ、このような突出する物体が存在する領域(荷台の側面FSも含む)を不要な物体が存在する領域として、この領域の画素を第1の貨物距離画像から排除する。本実施形態では、排除された画素に対し、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間し、第2の貨物距離画像を生成する。
さらにプロセッサ130は、第2の背景距離画像と、第2の貨物距離画像との差分を取得することにより、貨物Cまたは荷台付き貨物CPの形状を表した最終貨物距離画像を生成する。この最終貨物距離画像は、後述する3次元マッチング空間による座標展開および外接直方体の生成の対象となる。
図5Aないし図5Cは、本実施形態の寸法測定装置100が行う処理の変形例1を説明する概念図である。図5Aに示すように、本例ではフォークリフトFLの移動に伴い、撮影の当初は画像内に存在しなかった物流倉庫の壁Wや、床に落ちた異物Mなどが画像に映し出される。前述のフォークFと同様、これらも不要な物体であり、寸法測定に際しては排除する必要がある。尚、図5Aでは、貨物Cの図示は省略されている。
一般的に、貨物Cの縦および横の寸法は、荷台Pの縦および横の寸法と同じになるよう規定されている。すなわち、梱包条件として、貨物Cは荷台Pをはみ出さないように設定されている。本例ではこの概念を利用し、荷台Pの面積を超える範囲に存在する物体に対応する画素は、先述のフォークFと同様に削除する。
図5Bは、壁Wに関する画像の処理を示す。背景距離画像に関する処理は、図4Bと同様であり、寸法測定装置100は、フォークFを含む第1の背景距離画像を取得した後、フォークFを含まない第2の背景距離画像を生成する。
そしてプロセッサ130は、図4Dで示したものと同じ処理により、第1の貨物距離画像における荷台Pの前面FSおよびフォークFの画像は排除して、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間する。さらにプロセッサ130は、第1の貨物距離画像に存在する壁Wが、荷台Pの面積を超える範囲に存在すると判定する。
荷台Pの上から見た面積、すなわち縦および横の寸法は予めわかっており、図5Aに示すようにプロセッサ130は、荷台Pの上面USを底面とする直方体のエリア(抽出有効範囲)を特定し、このエリア外に存在する物体が存在する領域を不要な物体が存在する領域として特定することができる。このため、プロセッサ130は、壁Wが不要な物体であると判定することができる。プロセッサ130は、壁Wが存在する領域を不要な物体が存在する領域として、この領域の画素を第1の貨物距離画像から排除する。本実施形態では、プロセッサ130は、排除された画素に対し、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間する。
図5Cは、床の異物Mに関する画像の処理を示す。壁Wと同様に、プロセッサ130は、異物Mが不要な物体であると判定することができる。プロセッサ130は、異物Mが存在する領域を不要な物体が存在する領域として、この領域の画素を第1の貨物距離画像から排除する。本実施形態では、プロセッサ130は、排除された画素に対し、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間する。
図6Aおよび図6Bは、本実施形態の寸法測定装置100が行う処理の変形例2を説明する概念図である。図6Aに示すように、本例では当初は画像内に存在しなかった他の物体X(本例では貨物を搭載した他のフォークリフト)が寸法測定装置100に接近し画像に映し出される。前述のフォークFなどと同様、他の物体Xも不要な物体であり、寸法測定に際しては排除する必要がある。尚、図6Aでは、貨物Cの図示は省略されている。
図6Bは、他の物体Xに関する画像の処理を示す。背景距離画像に関する処理は、図4Bと同様であり、寸法測定装置100は、フォークFを含む第1の背景距離画像を取得した後、フォークFを含まない第2の背景距離画像を生成する。
そしてプロセッサ130は、図4Cで示したものと同じ処理により、第1の貨物距離画像における荷台Pの前面FSおよびフォークFの画像は排除して、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間する。さらにプロセッサ130は、第1の貨物距離画像に存在する他の物体Xが、荷台Pの面積を超える範囲に存在すると判定する。
荷台Pの上から見た面積、すなわち縦および横の寸法は予めわかっており、図6Aに示すようにプロセッサ130は、荷台Pの上面USを底面とする直方体のエリア(抽出有効範囲)を特定し、このエリア外に存在する物体が存在する領域を不要な物体が存在する領域として特定することができる。このため、プロセッサ130は、他の物体Xが不要な物体であると判定することができる。プロセッサ130は、他の物体Xが存在する領域を不要な物体が存在する領域として、この領域の画素を第1の貨物距離画像から排除する。本実施形態では、プロセッサ130は、排除された画素に対し、第2の背景距離画像の対応する画素の距離情報を含む新たな画素を補間する。
[動作]
図7〜11は、本実施形態の寸法測定装置100が行う具体的な動作手順を示すフローチャートである。図7は、実施の形態1の寸法測定装置100が行う動作手順の概略を示すフローチャートである。
図7に示すように、まず操作者の人為的な操作開始命令の入力や、特定のセンサなどからの信号入力をトリガとして、1台目の寸法測定装置100(100A)のプロジェクタ120が、例えば図2Aに示す状態で測定光を投光し、カメラ110が反射した測定光に基づき、背景距離画像(第1の背景距離画像)を生成する(ステップS10)。一般的に寸法測定装置100は複数のn台(n≧2)設けられているため、総て(n台)の寸法測定装置100が背景距離画像を生成するまでステップS10の動作が繰り返される(ステップS20)。
総ての寸法測定装置100が背景距離画像を生成した後(ステップS20;Yes)、1台目の寸法測定装置100(100A)のプロジェクタ120が、例えば図2Bに示す状態で測定光を投光し、カメラ110が反射した測定光に基づき、貨物距離画像(第1の貨物距離画像および第2の貨物距離画像)を生成する(ステップS30)。そしてプロセッサ130は、得られた背景距離画像および貨物距離画像に基づき、寸法測定対象となる貨物C(または荷台付き貨物CP)のみの画像が含まれ、貨物C(または荷台付き貨物CP)の形状を表す最終貨物距離画像を生成する(ステップS40)。総て(n台)の寸法測定装置100が最終貨物距離画像を生成するまでステップS30およびステップS40の動作が繰り返される(ステップS50)。
尚、ステップS10は、ステップS30およびステップS40と並行して行うことができる。すなわち特定の寸法測定装置100(例えば100A)が、ステップS30およびS40により最終貨物距離画像を生成している間に、他の寸法測定装置100(例えば100B)がステップS10により背景距離画像を生成してもよく、処理の順序は特に限定されない。
その後、特定の寸法測定装置100のプロセッサ130が、得られた総ての最終貨物画像を合成し、3次元マッチング空間に座標展開する(ステップS60)。そして、プロセッサ130は、最終貨物距離画像の外接直方体を生成し、外接直方体の3辺の寸法を算出する(ステップS70)。ここで、「外接直方体」とは、慣性主軸方向に平行な辺を有し、貨物C(または荷台付き貨物CP)が入る最小の直方体、即ち、直方体の6面のそれぞれが少なくとも一点において貨物C(または荷台付き貨物CP)の表面と接する直方体のことである。ステップS60およびステップS70については、後に詳細に説明する。
図8Aは、図7のステップS10の詳細な処理手順(サブルーチン)を示すフローチャートである。寸法測定装置100のプロジェクタ120およびカメラ110は、上述した所定の入力をトリガとして、(第1の)背景距離画像を生成する。本実施形態では、図8Bに示すように、操作者がフォークリフトFLのフォークFの高さを複数段階で変更し、変更の度に寸法測定装置100は各段階に応じた第1の背景距離画像を生成し(ステップS11)、プロセッサ130は、メモリ140に第1の背景距離画像を記憶させる。荷台付き貨物CPによって搭載時のフォークFの高さは異なるものになると予想されるため、このようにフォークFの位置が異なる第1の背景距離画像が生成され、記憶される。
複数段階の総ての高さに応じて、第1の背景距離画像が生成されたら(ステップS12;Yes)、プロセッサ130はメモリ140に記憶されたすべての第1の背景距離画像を合成し、フォークFが排除された第2の背景距離画像を生成する(ステップS13)。
図9は、図7のステップS40の詳細な処理手順(サブルーチン)を示すフローチャートである。ステップS30で生成された貨物距離画像(第1の貨物距離画像または第2の貨物距離画像)から、プロセッサ130は、荷台の側面のうちの前面(フォークとの接続面)までの距離を推定し、当該前面上のフォークの部分の画素を排除する(ステップS41)。続いてプロセッサ130は、荷台Pの上面(貨物Cが乗る面)を推定し、上面より上の部分を除く貨物距離画像(第1の貨物距離画像)と、修正を行った背景距離画像(第2の背景距離画像)との間で、差分のある画素の修正を行った背景距離画像から貨物距離画像に補間することで、貨物以外の物体の画素を排除した第2の貨物距離画像を生成する(ステップS42)。
図10Aは、図9のステップS41の詳細な処理手順(サブルーチン)を示すフローチャートである。プロセッサ130は、図10Bに示すように、エッジ検出、パターンマッチングなどの方法により、荷台Pの輪郭のエッジE1を検出する(ステップS411)。次にプロセッサ130は、検出した輪郭のエッジE1に基づき、図10Cに示すように、(フォークFが乗っているため)直接検出できない荷台Pの前面FS(フォークFとの接続面)のエッジE2を推定する(ステップS412)。さらにプロセッサ130は、図10Dに示すように、前面FS内の各画素の寸法測定装置100からの距離を推定し、貨物距離画像上に距離情報を対応付ける(ステップS413)。ここでの距離の推定は種々の方法により行うことができる。例えば、図10Eに示すように、前面FSの任意の画素Aまでの距離を推定する場合、プロセッサ130が、画素Aを通り、前面FSの横エッジと平行な線および縦エッジの交点までの距離から三角測量によって算出する。以上のように、ステップS41では、第1の貨物距離画像に存在する荷台の形状(エッジ)に基づいて、第1の貨物距離画像内において貨物又は荷台付き貨物以外の不要な物体(フォーク)が存在する領域(FS)を特定し、特定した領域に所定の情報として距離情報を書き込むことで、フォークの存在を貨物距離画像から排除した。なお、所定の情報として書き込む情報はNullデータ(識別可能なコードであって、今後の演算において無視されるデータ)でも良い。
なお、上述した方式ではフォークのうちFSに存在する部分のみが貨物距離画像から排除されることになるが、フォークを貨物距離画像から排除する方法はこれに限られない。例えば、貨物又は荷台付き貨物以外の不要な物体が存在する領域をFSではなく、FSから突出する直線状の物体(フォーク全体)が存在する領域として定義づけることも可能である。このような領域が存在するか否かは第1の貨物距離画像によって表現される距離情報から、プロセッサ130が判断可能である。具体的にはFSを同様に特定し、特定したFSから線形状の表面勾配を持つ物体が所定の方向に突出して存在するか否かをプロセッサ130が演算すればよい。このように、貨物又は荷台付き貨物以外の不要な物体が存在する領域をフォーク全体として特定した場合には、当該特定した領域に所定の情報としてNullデータを書き込んでもよい。また、当該特定した領域に所定の情報として第2の背景距離画像の対応する画素(略同じ座標上の画素)を用いて補完を行い、後ほど第2の背景距離画像からの差分を取得してもよい。
尚、本例では荷台Pの前面FSから不要な物体としてのフォークFが突出し、当該フォークFを排除する方法を説明したが、不要な物体が突出する面は前面FSには限定されず、当該前面FSを含む側面のいずれかの面であってよい。
図11Aは、図9のステップS42の詳細な処理手順(サブルーチン)を示すフローチャートである。プロセッサ130は、図11Bに示すように、エッジ検出、パターンマッチングなどの方法により、荷台Pの輪郭のエッジE1を検出する(ステップS421)。次にプロセッサ130は、図11Cに示すように、荷台Pの上面(貨物Cが乗る面)USのエッジE3を推定する(ステップS422)。さらにプロセッサ130は、図11Dに示すように、上面USより上の画素を除く第1の貨物距離画像と、修正を行った背景距離画像(第2の背景距離画像)との間で、差分があるか否かを判定する(ステップS423)。例えばプロセッサ130は、画素ごとに差分をチェックし、差分のある画素に関して荷台Pの上面USより上の位置に存在するか否かを判定し、当該画像が荷台Pの上面より上に位置しない場合、補間対象とみなし、当該画素を排除する(ステップS423;Yes)。そしてプロセッサ130は、図11Eに示すように、差分のある画素について、修正を行った背景距離画像(第2の背景距離画像)の対応する画素を用いて、ステップS423で排除した画素を補間し、第2の貨物距離画像を生成する(ステップS424)。以上のように、ステップS42では、第1の貨物距離画像に存在する荷台の形状(エッジ)に基づいて、第1の貨物距離画像内において貨物又は荷台付き貨物以外の不要な物体が存在する領域(荷台の上方以外の領域)を特定し、特定した領域に所定の情報として距離情報(第2の背景距離画像の対応する画素)を書き込むことで、不要物体の存在を貨物距離画像から排除した。
図12は、図7におけるステップS60およびステップS70の処理の概要を示す説明図である。プロセッサ130は、第2の貨物距離画像を基に生成した最終貨物距離画像を3次元マッチング空間にて座標展開し、座標展開された最終貨物距離画像の外接直方体を生成し、当該外接直方体の3辺の寸法を算出する。
まずプロセッサ130は、最終貨物距離画像を生成する。「最終貨物距離画像」とは、貨物C(または荷台付き貨物CP)以外の背景を基本的に含まない貨物C(または荷台付き貨物CP)の形状を表す画素のみからなる画像である。最終貨物距離画像を生成する一手法として、第2の背景距離画像と第2の貨物距離画像との差分を取得して生成する方法がある。これは、ステップS413ないしステップS424において第2の背景距離画像の対応する画素を用いて第2の貨物距離画像を生成した場合に行う手法である。一方で、ステップS413およびステップS424においてNullデータを用いて画素の排除を行った場合は第2の貨物距離画像が最終貨物距離画像になる。そしてプロセッサ130は図12Aに示すように、図7のステップS50で得られた総ての寸法測定装置100による最終貨物距離画像を合成することで、3次元マッチング空間に座標展開可能な状態の最終距離画像を得る。そしてプロセッサ130は、図12Bに示すように、得られた最終貨物距離画像を3次元マッチング空間にて座標展開する。ここでは、最終貨物距離画像における底面は、3次元マッチング空間の底面のZ−X平面に必ずしも平行に配置されているわけではないことが前提である。
さらにプロセッサ130は、図12Cに示すように、慣性主軸の方向を補正し、3次元マッチング空間の座標変換を行う。ここで「慣性主軸」とは、当該軸を中心に貨物を回転させたときに、Z−X平面(水平面)への射影面積が最小となるような軸のことである。最後にプロセッサ130は、図12Dに示すように、座標変換後の3次元マッチング空間内に貨物の外接直方体を算出する。この外接直方体は、貨物を梱包するに際しての最小寸法として定義づけられる。
現実の貨物の流通場面においては、不要な物体の位置が変化したり(図4の例)、背景距離画像の取得時点で存在しなかった不要な物体が、貨物距離画像の取得時点で画像に映り込む場合がある(図5、図6の例)。このように背景距離画像を取得する時点での環境と、貨物距離画像を取得する時点での環境は異なる場合であっても、本実施形態では、不要な物体について排除する処理を行うため、適切な貨物または荷台付き貨物の画像を得ることができ、ひいては貨物または荷台付き貨物の正確な寸法を測定することができる。
尚、上述した実施の形態1では、寸法測定装置100は背景距離画像を取得し、後に貨物距離画像において排除された画素の補間に用いる場合がある。しかしながら、上述したように排除された画素を補間するものは背景距離画像の画素には限定されず、例えばNullデータのような他の識別可能なコードを有する画素を書き込むことにより、補間してもよい。この場合、背景距離画像を取得する必要性は必ずしもなく、プロセッサ130は、不要な物体が存在する領域と特定された領域の画素に対し、所定の情報を書き込み、第2の貨物距離画像を生成する。図13は、背景距離画像を取得しない場合の処理手順を示す。寸法測定装置100は、図7におけるステップS10およびステップS20の処理は行わずに、ステップS30の処理から開始する。そして、寸法測定装置100は図7のステップ40の代わりにステップS40Aの処理を行い、その後図7のステップS50、S60、S70の処理を行い終了する。
図14Aは、図13のステップS40Aの詳細な処理手順(サブルーチン)を示すフローチャートである。プロセッサ130は、図14Bに示すように、エッジ検出、パターンマッチングなどの方法により、荷台Pの輪郭のエッジE1を検出する(ステップS40A1)。次にプロセッサ130は、検出した輪郭のエッジE1に基づき、図14Cに示すように、(フォークFが乗っているため)直接検出できない荷台Pの前面FS(フォークFとの接続面)のエッジE2を推定する(ステップS40A2)。さらにプロセッサ130は、図14Dに示すように、前面FS内の各画素の寸法測定装置100からの距離を推定し、貨物距離画像上に対応付ける(ステップS40A3)。ここでの距離の推定は、例えば図10Eに示した方法で行われる。
次にプロセッサ130は、図14Eに示すように、荷台Pの上面(貨物Cが乗る面)USのエッジE3を推定する(ステップS40A4)。このエッジE3をもとに、プロセッサ130は、図14Fに示すように、荷台Pの上面USより上の空間を推定する(ステップS40A5)。さらにプロセッサ130は、画像内の特定の画素( i )の位置が、この上の空間より外の領域に存在する場合(ステップS40A6;Yes)、プロセッサ130は、当該画素を排除し、例えばNullデータ(識別可能なコード)を書き込むことにより当該画素を補間する(ステップS40A7)。最後にプロセッサ130は、全画素に対し、補完すべきものがあるか否か確認し、確認を終えたら第2の背景距離画像を生成する(ステップS40A8)。
(実施の形態2)
図15Aないし図15Eは、実施の形態2の寸法測定装置100が行う処理を説明する概念図である。図15Aは処理全体のイメージ図であり、床に固定された寸法測定装置100は、特定の場所に固定された荷台付き貨物CPを撮影し、荷台Pを除外し、貨物Cの外接直方体を算出することができる。尚、本実施形態における装置構成は、図1に示した実施の形態1にかかる寸法測定装置の構成と共通であり、以下に述べる他の実施形態でも共通である。
まず、寸法測定装置100(100A、100B)は、荷台付き貨物CPのない状態で、特定の場所の背景距離画像を取得して(実質的に床のみ撮影)背景距離画像を生成する。次に、図15Bに示すように、寸法測定装置100A、100Bは、荷台付き貨物CPを撮影し、図15Cに示すように、荷台付き貨物CPを含む第1の貨物距離画像を取得する。次に図15Dに示すように、寸法測定装置100のプロセッサ130は、第1の貨物距離画像から荷台Pの上面USのエッジE3を検出した後に上面USを推定する。そして、プロセッサ130は上面USを底面とする直方体のエリア(抽出有効範囲)を特定し、このエリア外に存在する物体が存在する領域を不要な物体が存在する領域として特定する。そして、プロセッサ130は、当該エリア外に存在する物体が存在する領域の画素を排除(例えばNullデータを書き込む)することで、図15Eに示すように、最終貨物距離画像(本実施の形態では第2の貨物距離画像でもある)を生成する。このようにして、荷台Pを除外し、貨物Cの外接直方体を算出することができる。以上のように、第1の貨物距離画像に存在する荷台の形状(エッジ)に基づいて、第1の貨物距離画像内において貨物又は荷台付き貨物以外の不要な物体が存在する領域(上面USを底面とする直方体エリア外の領域)を特定し、特定した領域に所定の情報として距離情報(Nullデータ)を書き込むことで、不要物体の存在を貨物距離画像から排除できる。
本実施形態では、図4〜6の例とは異なり、背景距離画像を取得する時点での環境と、貨物距離画像を取得する時点での環境との間で、荷台付き貨物CPの有無以外の変化は生じていない。ただし、流通業者の要請などにより、荷台付き貨物CPではなく、荷台Pを排除した貨物Cそのものの寸法が必要となる場合もある。本実施形態では、背景距離画像と貨物距離画像の差分である荷台付き貨物CPのうち、その一部である荷台Pだけを排除した貨物Cを抽出することができるため、このような要請に応じることができる。
また、類似の手法を用いて、貨物Cの外接直方体を算出することもできる。図16Aないし図16Eは、実施の形態2の寸法測定装置100が行う処理の変形例を説明する概念図である。まず、寸法測定装置100(100A、100B)は、荷台付き貨物CPのない状態で、フォークリフトFLを含む背景距離画像を取得した後(実質的にフォークリフトのみ撮影)、図16Aに示すように、フォークリフトFLに搭載された荷台付き貨物CPを、フォークリフトFLとともに撮影し、荷台付き貨物CPを含む第1の貨物距離画像を取得する(図16B)。次に図16Cに示すように、寸法測定装置100のプロセッサ130は、第1の貨物距離画像から荷台Pの上面USのエッジE3を検出する。さらにプロセッサ130は、図16Dに示すように、上面USを推定する。そして、プロセッサ130は上面USを断面とする直方体のエリア(抽出有効範囲)を特定し、このエリア外に存在する物体が存在する領域を不要な物体が存在する領域として特定する。そして、プロセッサ130は、当該エリア外に存在する物体が存在する領域の画素を排除(例えばNullを書き込む)することで、図16Eに示すように、最終貨物距離画像(本実施の形態では第2の貨物距離画像でもある)を生成する。以上のように、第1の貨物距離画像に存在する荷台の形状(エッジ)に基づいて、第1の貨物距離画像内において貨物又は荷台付き貨物以外の不要な物体が存在する領域(上面USを断面とする直方体のエリア外の領域)を特定し、特定した領域に所定の情報として距離情報(Nullデータ)を書き込むことで、不要物体の存在を貨物距離画像から排除できる。
また、実施の形態2に示すように荷台を基準として、不要な物体が存在する領域を特定し、貨物距離画像から排除するアプローチによれば、貨物Cがフォークリフト等に積載されて所定の経路を移動している状態であっても、最終貨物距離画像の生成が可能になる。
図17は、本実施形態の寸法測定装置100が行う処理を説明する概念図である。図17に示すように、荷台付き貨物CPを搭載したフォークリフトFLが倉庫の所定の経路を移動し、当該経路の脇に寸法測定装置100が配置されている。プロジェクタ120が測定光を投光し、反射した測定光を受光したカメラ110は、荷台付き貨物CPの移動中に複数の第1の背景距離画像を取得する。プロセッサ130は、上述した処理(図13、図14参照)を行うことで、最終貨物距離画像を生成する。
(実施の形態3)
図18は、本実施形態の寸法測定装置100を含む業務診断システムが行う処理を説明する概念図である。業務診断システムは、貨物Cごとの属性情報を集計し、ハブ拠点内での業務診断に活用するシステムである。例えば寸法測定装置100は、貨物の撮影時に、寸法測定装置100自身が算出した寸法や、貨物に取り付けられたタグなどから取得した種々の情報を含む属性情報を、業務判断コンピュータ300に送信する。属性情報には、貨物の寸法、重量、搬入ゲート、搬入時間、宛先(国)、搬出ゲート、搬出時間などが含まれる。
業務判断コンピュータ300のデータ集計部301は、属性情報を受信して所定の形式で集計し、最適化アルゴリズム生成部302に送る。最適化アルゴリズム生成部302は、受信した属性情報に対し、当該ハブ拠点でのハブ拠点構成情報および作業削減目標値を考慮して、改善案を生成する。ハブ拠点構成情報には、例えば拠点マップ、搬入ゲート数、搬出ゲート数、フォークリストの種別および台数、コンテナの種別および台数等が含まれる。作業削減目標値には、例えばフォークリフトのトータル移動距離削減目標値、コンテナのトータル移動距離削減目標値、人手トータル作業時間の削減目標値等が含まれる。改善案には、曜日・時間帯ごとのトレーラーの搬入ゲートの配置、時間帯ごとのフォークリフトの配置位置(または台数)、時間帯ごとの航空機の搬出ゲートの配置等が含まれる。
すなわち、業務診断システムは、例えば、どの時間帯にどういった種類の貨物が多いのか、といった内容を分析し、トレーラー、フォークリフト、コンテナの配置などを改善する。これにより、フォークリフトの全稼動時間、貨物退避のリードタイム、トレーラーの待ち時間などの削減を図ることができる。これらの解析結果は、各種のデータ形式で見えるかすることができ、業務の改善を図ることが可能となる。
(その他の変形例)
図19は、本開示の実施形態の変形例を示す概念図である。上記の実施形態の例では、フォークリフトFLに設置される寸法測定装置100の数は2台であるが、1台であってもよい。もちろん寸法測定装置100の設置位置は自由である。例えば、寸法測定装置100用のレールをフォークリフトFLに取り付け、フォークリフトFLのハンドル動作に合わせて当該装置の位置を変化させるようにしてもよい。
フォークリフトFLに設置する寸法測定装置100の数を1台にした場合、背景距離画像および貨物距離画像の撮影において、少なくとも2回それぞれ異なる角度から行うのが望ましい。例えば、1回目は正面からの撮影をし、2回目は斜め上方からの撮影をすることができる。
また、図19に示すように、明るさセンサ101を寸法測定装置100に取り付けてもよい。撮影場所ごとに動作環境(照明条件など)が異なることが想定されるためである。例えばフォークリフトFLが一定の暗さのエリアに入域したときに、寸法測定装置100が起動するようにし、場所による外光条件の影響を排除することができる。
尚、上記の実施形態では、測定光を反射するとともに反射した測定光を受光するプロジェクタ120およびカメラ110が使用されている。しかしながら、距離画像を得るための媒体は光には限定されず、赤外線やレーザなどであってもよい。よってプロジェクタ120の代わりに一般的な測定波を送信するトランスミッタを用いることができる。また、カメラ110の代わりに、反射した測定波を受信するレシーバを用いることができる。
尚、上記の実施形態では、カメラ110が貨物Cまたは荷台付き貨物CPから貨物距離画像を得る際に、カメラ110と、貨物Cまたは荷台付き貨物CPとの相対的な位置関係は一定であったが、本開示はこれに限定されない。つまり、カメラ110が貨物Cまたは荷台付き貨物CPの周囲を回りながら、貨物Cまたは荷台付き貨物CPを撮影することで貨物距離画像を得てもよい。また、貨物Cまたは荷台付き貨物CPがカメラ110に対して回転している状態をカメラ110が撮影することで貨物距離画像を得てもよい。このようにすると、1台のカメラ110で貨物距離画像を得ることが可能になるのみならず、貨物Cまたは荷台付き貨物CPをそれぞれ異なる角度から連続的に撮影することが可能になるので、より複数の貨物距離画像を得ることができる。結果として、貨物距離画像が有する距離の情報の精度がより高まる。
以上により、本実施形態の寸法測定装置100は、荷台Pに置かれた貨物Cまたは荷台付き貨物CPの寸法を測定する寸法測定装置100であって、測定波を送信するトランスミッタ(プロジェクタ120)と、反射した測定波を受信して、貨物Cおよび荷台Pを含む第1の貨物距離画像を取得するレシーバ(カメラ110)と、プロセッサ130と、メモリ140とを備える。プロセッサ130は、メモリ140と協働して、第1の貨物距離画像をメモリ140に記憶させ、第1の貨物距離画像に存在する荷台Pの形状に基づいて、第1の貨物距離画像内において、貨物Cまたは荷台付き貨物CP以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成するものである。
これにより、寸法測定装置100は、貨物Cまたは荷台付き貨物CP以外の不要な物体が存在する領域に所定の情報を書き込まれた第2の貨物距離画像を生成する。よって、寸法測定装置100は、貨物Cまたは荷台付き貨物CPの外接直方体を適切に生成することができ、ひいては貨物Cまたは荷台付き貨物CPの寸法を適切に測定することができる。
また、レシーバ(カメラ110)は、貨物を含まない背景距離画像を更に取得し、プロセッサ130は、背景距離画像と、第2の貨物距離画像との差分を取得することにより、貨物または荷台付き貨物の形状を表す最終貨物距離画像を生成してもよい。これにより、寸法測定装置100は、背景距離画像と貨物距離画像の適切な差分を取得することができる。
また、プロセッサ130は、第1の貨物距離画像から荷台PのエッジE1の抽出を行うことにより、荷台Pの形状を特定するようにしてもよい。これにより、寸法測定装置100は、荷台Pの形状をもとに不要な物体を適切に排除することができる。
また、プロセッサ130は、荷台Pの側面の形状を特定し、側面から突出する物体が存在する領域を不要な物体が存在する領域として特定してもよい。これにより、寸法測定装置100は、側面にかかった不要な物体をも適切に排除することができる。
また、プロセッサ130は、荷台Pの上面USを底面および断面のどちらか一方とする直方体のエリアを特定し、エリア外に存在する物体が存在する領域を不要な物体が存在する領域として特定してもよい。
尚、所定の情報は、不要な物体が存在する領域に対応する背景距離画像内の領域の画素情報であってもよい。これにより、寸法測定装置100は、背景処理画像を有効に活用することができ、適切な最終貨物距離画像を生成することができる。
尚、所定の情報は、不要な物体がNullデータであってもよい。これにより、第2の貨物距離画像を最終貨物距離画像として扱うことができるので、第2の貨物距離画像を3次元マッチング空間に座標展開し、座標展開された第2の貨物距離画像の外接直方体を生成し、当該外接直方体の寸法を算出することができる。これにより、寸法測定装置100は正確な貨物Cまたは荷台付き貨物CPの寸法を取得することができる。
また、寸法測定装置100が所定の位置に固定され、貨物Cまたは荷台付き貨物CPが所定の速度で移動し、レシーバ(カメラ110)が、貨物Cまたは荷台付き貨物CPの移動中に複数の背景距離画像および複数の第1の貨物距離画像を取得し、プロセッサ130は、所定の速度を考慮して、複数の背景距離画像および複数の第1の貨物距離画像から最終貨物距離画像を生成してもよい。これにより、寸法測定装置100は、背景処理画像を有効に活用することができ、適切な最終貨物距離画像を生成することができる。
プロセッサ130は、最終貨物距離画像を3次元マッチング空間にて座標展開し、座標展開された最終貨物距離画像の外接直方体を生成し、当該外接直方体の寸法を算出することができる。これにより、寸法測定装置100は正確な貨物Cまたは荷台付き貨物CPの寸法を取得することができる。
トランスミッタが測定波として測定光を投光するプロジェクタ120であり、レシーバが反射した測定光を受光するカメラ110であってもよい。これにより、寸法測定装置100は安価にかつ確実に構成することができる。
なお、本実施の形態においては貨物距離画像及び/又は背景距離画像は、(カメラ)による一度の撮影で得られるものとして説明をした。しかし、本開示における貨物距離画像及び/又は背景距離画像は、(カメラ)による一度の撮影で得られるものに限定されない。つまり、(カメラ)が異なる時間で撮影することで得られる2以上の貨物距離画像及び/又は背景距離画像を合成することで、得られる画像を、本実施の形態における貨物距離画像及び/又は背景距離画像に適用することも可能である。具体的には、(カメラ)が異なる時間で撮影することで得られる2以上の貨物距離画像及び/又は背景距離画像に共通して現れる特徴部分を重ね合わせることで2以上の貨物距離画像及び/又は背景距離画像から、より少ない数の貨物距離画像及び/又は背景距離画像を生成することで本実施の形態に適用される貨物距離画像及び/又は背景距離画像を生成することも可能である。
本実施形態の寸法測定方法は、荷台Pに置かれた貨物Cまたは荷台付き貨物CPの寸法を測定する寸法測定方法であって、トランスミッタ(プロジェクタ120)が測定波を送信し、レシーバ(カメラ110)が、反射した測定波を受信して、貨物Cおよび荷台Pを含む第1の貨物距離画像を取得する。プロセッサ130がメモリ140と協働して、第1の貨物距離画像をメモリ140に記憶させ、第1の貨物距離画像に存在する荷台Pの形状に基づいて、第1の貨物距離画像内において、貨物Cまたは荷台付き貨物CP以外の不要な物体が存在する領域を特定し、特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する。
この寸法測定方法は、貨物Cまたは荷台付き貨物CP以外の不要な物体が存在する領域に所定の情報を書き込まれた第2の貨物距離画像を生成する。本方法によれば、貨物Cまたは荷台付き貨物CPの外接直方体を適切に生成することができ、ひいては貨物Cまたは荷台付き貨物CPの寸法を適切に測定することができる。
以上、図面を参照して本開示に係る寸法測定システムの実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本開示は、貨物または荷台付きの貨物の寸法を適切に測定し得る寸法測定装置および寸法測定方法として有用である。
100 寸法測定装置
110 カメラ
120 プロジェクタ
130 プロセッサ
140 メモリ
200 寸法測定システム
300 業務判断コンピュータ
301 データ集計部
302 最適化アルゴリズム生成部302
C 貨物
CP 荷台付き貨物
F フォーク
FL フォークリフト
M 異物
W 壁
P 荷台(パレット)
図11Aは、図9のステップS42の詳細な処理手順(サブルーチン)を示すフローチャートである。プロセッサ130は、図11Bに示すように、エッジ検出、パターンマッチングなどの方法により、荷台Pの輪郭のエッジE1を検出する(ステップS421)。次にプロセッサ130は、図11Cに示すように、荷台Pの上面(貨物Cが乗る面)USのエッジE3を推定する(ステップS422)。さらにプロセッサ130は、図11Dに示すように、上面USより上の画素を除く第1の貨物距離画像と、修正を行った背景距離画像(第2の背景距離画像)との間で、差分があるか否かを判定する(ステップS423)。例えばプロセッサ130は、画素ごとに差分をチェックし、差分のある画素に関して荷台Pの上面USより上の位置に存在するか否かを判定し、当該画が荷台Pの上面より上に位置しない場合、補間対象とみなし、当該画素を排除する(ステップS423;Yes)。そしてプロセッサ130は、図11Eに示すように、差分のある画素について、修正を行った背景距離画像(第2の背景距離画像)の対応する画素を用いて、ステップS423で排除した画素を補間し、第2の貨物距離画像を生成する(ステップS424)。以上のように、ステップS42では、第1の貨物距離画像に存在する荷台の形状(エッジ)に基づいて、第1の貨物距離画像内において貨物又は荷台付き貨物以外の不要な物体が存在する領域(荷台の上方以外の領域)を特定し、特定した領域に所定の情報として距離情報(第2の背景距離画像の対応する画素)を書き込むことで、不要物体の存在を貨物距離画像から排除した。
業務判断コンピュータ300のデータ集計部301は、属性情報を受信して所定の形式で集計し、最適化アルゴリズム生成部302に送る。最適化アルゴリズム生成部302は、受信した属性情報に対し、当該ハブ拠点でのハブ拠点構成情報および作業削減目標値を考慮して、改善案を生成する。ハブ拠点構成情報には、例えば拠点マップ、搬入ゲート数、搬出ゲート数、フォークリトの種別および台数、コンテナの種別および台数等が含まれる。作業削減目標値には、例えばフォークリフトのトータル移動距離削減目標値、コンテナのトータル移動距離削減目標値、人手トータル作業時間の削減目標値等が含まれる。改善案には、曜日・時間帯ごとのトレーラーの搬入ゲートの配置、時間帯ごとのフォークリフトの配置位置(または台数)、時間帯ごとの航空機の搬出ゲートの配置等が含まれる。
100 寸法測定装置
110 カメラ
120 プロジェクタ
130 プロセッサ
140 メモリ
200 寸法測定システム
300 業務判断コンピュータ
301 データ集計部
302 最適化アルゴリズム生成部
C 貨物
CP 荷台付き貨物
F フォーク
FL フォークリフト
M 異物
W 壁
P 荷台(パレット)

Claims (11)

  1. 荷台に置かれた貨物または荷台付き貨物の寸法を測定する寸法測定装置であって、
    測定波を送信するトランスミッタと、
    反射した前記測定波を受信して、前記貨物および前記荷台を含む第1の貨物距離画像を取得するレシーバと、
    プロセッサと、
    メモリと、を備え、
    前記プロセッサは、前記メモリと協働して、
    前記第1の貨物距離画像を前記メモリに記憶させ、
    前記第1の貨物距離画像に存在する前記荷台の形状に基づいて、前記第1の貨物距離画像内において、前記貨物または前記荷台付き貨物以外の不要な物体が存在する領域を特定し、
    前記特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する、
    寸法測定装置。
  2. 請求項1に記載の寸法測定装置であって、
    前記レシーバは、前記貨物を含まない背景距離画像を更に取得し、
    前記プロセッサは、前記背景距離画像と、前記第2の貨物距離画像との差分を取得することにより、前記貨物または前記荷台付き貨物の形状を表す最終貨物距離画像を生成する、
    寸法測定装置。
  3. 請求項1に記載の寸法測定装置であって、
    前記プロセッサは、
    前記第1の貨物距離画像から前記荷台のエッジの抽出を行うことにより、前記荷台の形状を特定する、
    寸法測定装置。
  4. 請求項3に記載の寸法測定装置であって、
    前記プロセッサは、
    前記荷台の側面の形状を特定し、前記側面から突出する物体が存在する領域を前記不要な物体が存在する領域として特定する、
    寸法測定装置。
  5. 請求項3に記載の寸法測定装置であって、
    前記プロセッサは、
    前記荷台の上面を底面および断面のどちらか一方とする直方体のエリアを特定し、前記エリア外に存在する物体が存在する領域を前記不要な物体が存在する領域として特定する、
    寸法測定装置。
  6. 請求項2に記載の寸法測定装置であって、
    前記所定の情報は、前記不要な物体が存在する領域に対応する前記背景距離画像内の領域の画素情報である、
    寸法測定装置。
  7. 請求項1に記載の寸法測定装置であって、
    前記所定の情報は、Nullデータである、
    寸法測定装置。
  8. 請求項2に記載の寸法測定装置であって、
    前記プロセッサは、
    前記最終貨物距離画像を3次元マッチング空間にて座標展開し、
    座標展開された前記最終貨物距離画像の外接直方体を生成し、当該外接直方体の寸法を算出する、
    寸法測定装置。
  9. 請求項7に記載の寸法測定装置であって、
    前記プロセッサは、
    前記第2の貨物距離画像を3次元マッチング空間にて座標展開し、
    座標展開された前記第2の貨物距離画像の外接直方体を生成し、当該外接直方体の寸法を算出する、
    寸法測定装置。
  10. 請求項1に記載の寸法測定装置であって、
    前記トランスミッタが前記測定波として測定光を投光するプロジェクタであり、
    前記レシーバが反射した前記測定光を受光するカメラである、
    寸法測定装置。
  11. 荷台に置かれた貨物または荷台付き貨物の寸法を測定する寸法測定方法であって、
    トランスミッタが測定波を送信し、
    レシーバが、反射した前記測定波を受信して、前記貨物および前記荷台を含む第1の貨物距離画像を取得し、
    プロセッサがメモリと協働して、
    前記第1の貨物距離画像を前記メモリに記憶させ、
    前記第1の貨物距離画像に存在する前記荷台の形状に基づいて、前記第1の貨物距離画像内において、前記貨物または前記荷台付き貨物以外の不要な物体が存在する領域を特定し、
    前記特定された領域に所定の情報を書き込むことにより第2の貨物距離画像を生成する、
    寸法測定方法。
JP2017523100A 2015-06-11 2016-05-27 寸法測定装置および寸法測定方法 Pending JPWO2016199366A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015118565 2015-06-11
JP2015118565 2015-06-11
JP2015143369 2015-07-17
JP2015143369 2015-07-17
PCT/JP2016/002571 WO2016199366A1 (ja) 2015-06-11 2016-05-27 寸法測定装置および寸法測定方法

Publications (1)

Publication Number Publication Date
JPWO2016199366A1 true JPWO2016199366A1 (ja) 2018-04-05

Family

ID=57503215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523100A Pending JPWO2016199366A1 (ja) 2015-06-11 2016-05-27 寸法測定装置および寸法測定方法

Country Status (5)

Country Link
US (1) US20170336195A1 (ja)
EP (1) EP3309505A4 (ja)
JP (1) JPWO2016199366A1 (ja)
CN (1) CN107076541A (ja)
WO (1) WO2016199366A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10281924B2 (en) * 2016-12-07 2019-05-07 Bendix Commerical Vehicle Systems Llc Vision system for vehicle docking
US11430148B2 (en) * 2016-12-28 2022-08-30 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3D vision capable unmanned aerial vehicles (UAV)
US10005564B1 (en) * 2017-05-05 2018-06-26 Goodrich Corporation Autonomous cargo handling system and method
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
CN107862712A (zh) * 2017-10-20 2018-03-30 陈宸 尺寸数据确定方法、装置、存储介质及处理器
US10657666B2 (en) * 2017-12-22 2020-05-19 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness
JP7285470B2 (ja) 2018-05-17 2023-06-02 パナソニックIpマネジメント株式会社 投影システム、投影装置及び投影方法
JP6699872B2 (ja) 2018-09-10 2020-05-27 Necプラットフォームズ株式会社 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム
JP7140612B2 (ja) * 2018-09-11 2022-09-21 矢崎エナジーシステム株式会社 作業車両の稼働管理システム
EP3859268B1 (en) * 2018-09-28 2023-04-26 Panasonic Intellectual Property Management Co., Ltd. Measurement device and measurement method
JP7306876B2 (ja) * 2019-05-24 2023-07-11 矢崎エナジーシステム株式会社 作業車両の運転支援システム
CN110910445B (zh) * 2019-11-26 2023-08-04 深圳市丰巢科技有限公司 一种物件尺寸检测方法、装置、检测设备及存储介质
JP7444687B2 (ja) * 2020-04-15 2024-03-06 矢崎エナジーシステム株式会社 車載器、稼働管理装置、運転支援システム、及び運転支援プログラム
CN111899373B (zh) * 2020-08-05 2022-09-30 中国工商银行股份有限公司 机房巡检点确定方法、装置、机器人及存储介质
JP7509993B2 (ja) 2021-03-16 2024-07-02 株式会社Fuji 移動体
DE102021114067A1 (de) 2021-05-31 2022-12-01 Jungheinrich Aktiengesellschaft Flurförderzeug mit einer optischen Überwachungseinrichtung
CN113640177B (zh) * 2021-06-29 2024-06-14 阿里巴巴创新公司 货物密度测量方法、系统以及电子设备
US12175714B2 (en) * 2021-12-20 2024-12-24 Pro Quick Draw LLC Vector graphic parsing and multi-segment transformation
WO2024155896A1 (en) * 2023-01-20 2024-07-25 Innovative Logistics, Llc Piece level data collection system for gathering freight dimensions and related information

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62157503A (ja) * 1985-12-28 1987-07-13 Honda Motor Co Ltd 画像処理方法
JPH05165429A (ja) * 1991-12-12 1993-07-02 Noritake Co Ltd カラー液晶表示装置
JP2002029631A (ja) * 2000-07-12 2002-01-29 Suehiro Giken Kk 積み付け方法および積み付けシステム
JP2002222412A (ja) * 2000-09-27 2002-08-09 Canon Inc 画像処理装置
JP2006528122A (ja) * 2003-05-26 2006-12-14 ダイムラークライスラー・アクチェンゲゼルシャフト フォークリフトの荷物支持手段上の可動センサ装置
US20090059004A1 (en) * 2007-08-31 2009-03-05 Speed Trac Technologies, Inc. System and Method for Monitoring the Handling of a Shipment of Freight
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3055281B2 (ja) * 1991-12-16 2000-06-26 神鋼電機株式会社 振動フィ−ダ用視覚装置
KR100356016B1 (ko) * 1999-12-21 2002-10-18 한국전자통신연구원 영상인식에 의한 소포우편물 부피계측시스템 및부피계측방법
US7277187B2 (en) * 2001-06-29 2007-10-02 Quantronix, Inc. Overhead dimensioning system and method
US8284988B2 (en) * 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
CN102102981B (zh) * 2009-12-21 2013-02-27 重庆工商大学 以二维单基色对比度为特征帧匹配测量位移的方法及装置
EP2439487B1 (de) * 2010-10-06 2012-08-22 Sick Ag Volumenmessvorrichtung für bewegte Objekte
US10009594B2 (en) * 2012-09-27 2018-06-26 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
CN204202558U (zh) * 2014-11-18 2015-03-11 宁波工程学院 一种倒置式图像尺寸检测与测量装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62157503A (ja) * 1985-12-28 1987-07-13 Honda Motor Co Ltd 画像処理方法
JPH05165429A (ja) * 1991-12-12 1993-07-02 Noritake Co Ltd カラー液晶表示装置
JP2002029631A (ja) * 2000-07-12 2002-01-29 Suehiro Giken Kk 積み付け方法および積み付けシステム
JP2002222412A (ja) * 2000-09-27 2002-08-09 Canon Inc 画像処理装置
JP2006528122A (ja) * 2003-05-26 2006-12-14 ダイムラークライスラー・アクチェンゲゼルシャフト フォークリフトの荷物支持手段上の可動センサ装置
US20090059004A1 (en) * 2007-08-31 2009-03-05 Speed Trac Technologies, Inc. System and Method for Monitoring the Handling of a Shipment of Freight
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法

Also Published As

Publication number Publication date
US20170336195A1 (en) 2017-11-23
EP3309505A1 (en) 2018-04-18
WO2016199366A1 (ja) 2016-12-15
EP3309505A4 (en) 2018-04-25
CN107076541A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
WO2016199366A1 (ja) 寸法測定装置および寸法測定方法
EP3434626B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
AU2018388705B2 (en) Systems and methods for determining commercial trailer fullness
US11488354B2 (en) Information processing apparatus and information processing method
EP3434621B1 (en) Instruction projecting device, parcel sorting system and instruction projecting method
EP3434622A1 (en) Instruction projecting device, package sorting system and instruction projecting method
JP7563419B2 (ja) 荷室収容状態検出システム、荷室収容状態検出プログラム、および荷室収容状態検出方法
US10471474B2 (en) Projection indicator, cargo assortment system, and projection indicating method
JPWO2020090897A1 (ja) 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
JP2023178749A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP3647236B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
WO2022054497A1 (ja) 充填率計測方法、情報処理装置およびプログラム
US10841559B2 (en) Systems and methods for detecting if package walls are beyond 3D depth camera range in commercial trailer loading
US11946768B2 (en) Information processing apparatus, moving body, method for controlling information processing apparatus, and recording medium
JP7578499B2 (ja) 荷役状態判定装置、運転支援システム及び運転支援プログラム
EP3434625B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
EP3689789B1 (en) Baggage recognition device, baggage sorting system, and baggage recognition method
US11145066B2 (en) Parcel recognition device, parcel sorting system, and parcel recognition method
JP7364269B2 (ja) 物体検知装置、画像処理表示方法及びプログラム
US20240320841A1 (en) Information processing apparatus and information processing method
JP2023056845A (ja) 自己位置推定方法及び自己位置推定装置
US10635869B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP2025092969A (ja) 情報処理装置、移動体システムおよび情報処理方法
HK1254590A1 (zh) 三維計測裝置及其計測輔助處理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170404

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200908