JP7221183B2 - 機械学習方法、フォークリフト制御方法、及び機械学習装置 - Google Patents

Description

本発明は、機械学習方法、フォークリフト制御方法、及び機械学習装置に関し、フォークリフトを制御するための推定モデルを学習する機械学習方法、フォークリフト制御方法、及び機械学習装置に適用して好適なものである。

従来、倉庫内での荷物の運搬作業には、フォークリフト等の運搬車両が利用される。例えばフォークリフトは、荷物を載せたパレットの開口部にフォークの先端を差し入れて持ち上げ（ピック）、フォーク上に積載した荷物を所定の位置に移動して下ろし（プレイス）、フォークを抜くという一連の作業によって荷物を運搬する。パレットを上げ下ろしする所定の位置は、例えば荷棚やオートレータ等である。また近年では、無人で動作可能な無人フォークの導入も進んでいる。

上記のようなフォークリフトを利用した荷物の運搬作業では、フォークを適切に操作するために、作業の対象物（例えばパレットの開口部等）を精度良く認識することが重要であり、そのために、フォークリフトの前面にカメラ等のセンサを設置し、そのセンシングデータを画像解析することが広く行われている。さらに、画像解析の精度を高めるために、機械学習を利用することが進められている。

例えば特許文献１には、機械学習を用いて画像処理のパラメータを算出し、このパラメータに基づく画像処理によって対象物を検出してロボットを制御する制御装置が開示されている。また例えば特許文献２には、ロボットアームによるピッキング作業に関して、ロボットアームが把持する対象物の把持点と、ロボットアームの把持点までの軌道を計画する軌道計画の容易さを定量化した軌道計画容易性と、を関連付けた学習データを用いて機械学習を行い、把持点の予測位置及び軌道計画容易性の予測値を算出する機械学習装置が開示されている。

特開２０１８－１２６７９９号公報 特開２０１７－１１０８７２号公報

しかし、上述した従来技術によって運搬車両等の制御のために機械学習を行うとき、収集した学習データが十分に足りていない場合には、機械学習を行っても実稼働に十分な精度に到達できないおそれがあった。詳しく言うと、収集した学習データにおいて、対象物の計測方向や作業場所の明るさ等の様々な運用シーンについて大きく異なるデータが混在する場合には、十分な精度に到達するために必要な学習データが増加してしまうという課題があった。そして、上述した特許文献１または特許文献２に開示された技術は、この課題に対して十分な解決方法を提示するものではなかった。

すなわち、運搬車両等の制御のための従来の機械学習では、様々な運用シーンの全てについて実稼働に必要な精度に到達するだけの学習データが必要であり、特に、無人フォーク等のように無人動作する運搬車両の場合は、安全面を考慮すると、これらの全ての運用シーンについて十分な精度を満たすまでは実稼働させることができなかった。この結果、実稼働を開始できるまでに膨大な量の学習データを収集しなければならず、実稼働までの準備期間が長期化するという課題があった。

本発明は以上の点を考慮してなされたもので、運用シーンを制限しながらも運搬車両（例えばフォークリフト）を早期に実稼働させることが可能な機械学習方法、フォークリフト制御方法、及び機械学習装置を提案しようとするものである。

かかる課題を解決するため本発明においては、フォークリフトを制御するための推定モデルを学習する機械学習方法であって、第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるステップ１と、前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための前記推定モデルのパラメータを算出するステップ２と、前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記ステップ２においてパラメータを算出した前記推定モデルを評価するステップ３と、前記ステップ２においてパラメータを算出した推定モデルのうち前記ステップ３における評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記ステップ３の評価に用いた評価データのカテゴリと、を出力するステップ４と、を実行する機械学習方法が提供される。

また、かかる課題を解決するため本発明においては、以下に詳述する入力ステップと、推定ステップと、制御ステップと、を実行するフォークリフト制御方法が提供される。ここで、前記入力ステップでは、フォークリフトに設置されたセンサによるセンシングデータを入力として受け付ける。また、前記推定ステップでは、第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるステップ１と、前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための推定モデルのパラメータを算出するステップ２と、前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記ステップ２においてパラメータを算出した前記推定モデルを評価するステップ３と、前記ステップ２においてパラメータを算出した推定モデルのうち前記ステップ３における評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記ステップ３の評価に用いた評価データのカテゴリと、を出力するステップ４と、前記ステップ４で出力された前記評価データのカテゴリの運用頻度に基づいて、前記ステップ４で出力された前記推定モデルのうちから第１の推定モデルを抽出するステップ５と、を実行して得られた前記第１の推定モデルを用いて、前記入力ステップで受け付けた前記センシングデータの解析を行い、前記解析によって得られた推定結果を出力する。そして、前記制御ステップでは、前記推定ステップの結果に基づいて前記フォークリフトの制御を行う。

また、かかる課題を解決するため本発明においては、フォークリフトを制御するための推定モデルを学習する機械学習装置であって、第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるデータ取得部と、前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための前記推定モデルのパラメータを算出するパラメータ算出部と、前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記パラメータ算出部によってパラメータが算出された前記推定モデルを評価する推定モデル評価部と、前記パラメータ算出部によってパラメータが算出された推定モデルのうち前記推定モデル評価部による評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記推定モデル評価部による評価に用いられた評価データのカテゴリと、を出力する推定モデル運用評価カテゴリ出力部と、を備える機械学習装置が提供される。

本発明によれば、運用シーンを制限しながらも運搬車両（例えばフォークリフト）を早期に実稼働させることができる。

本発明の一実施形態に係る機械学習装置を含むシステム全体の機能構成例を示すブロック図である。 教示ＩＦにおける表示画面例を示す図である。 機械学習装置の記憶部に記憶されるデータの構成例を説明するための図である。 推定モデル学習処理の処理手順例を示すフローチャート（その１）である。 推定モデル学習処理の処理手順例を示すフローチャート（その２）である。 第１のフォークリフト制御処理の処理手順例を示すフローチャートである。 第４のフォークリフト制御処理の処理手順例を示すフローチャートである。 推定モデルの評価結果Ｒにおける推定モデルと第２カテゴリＩＤとの関係を説明する図である。

以下、図面を参照して、本発明の一実施形態を詳述する。

（１）構成
図１は、本発明の一実施形態に係る機械学習装置を含むシステム全体の機能構成例を示すブロック図である。図１において、矢印付きの実線はデータの流れを表している。図１に示したように、本実施形態に係る機械学習装置１は、フォークリフト３、マニュアル操作インタフェース（ＩＦ）４、フォークリフト運行管理システム５、及び教示インタフェース（ＩＦ）６と通信可能に接続される。

機械学習装置１は、フォークリフト３を制御するための推定モデルを学習する装置であって、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサと、プログラムやデータを記憶するメモリと、を備えて構成される計算機である。機械学習装置１の内部構成は後述するが、プロセッサがメモリに記憶されたプログラムを読み出して実行することにより、各機能部が実現される。

詳細は後述するが、機械学習装置１は、フォークリフト３が荷物を積載したパレットを運搬する作業においてセンシングデータからパレットの位置を認識するための推定モデルを、収集した学習データを用いて学習し、学習した推定モデルを評価データを用いて評価する処理を繰り返し実行することにより、評価結果（認識精度）が実稼働に必要な精度に到達し、かつ最も運用頻度が高くなる推定モデルと、その運用シーンとを出力する。

フォークリフト３は、無人運転が可能なフォークリフトである。詳細はフォークリフト制御処理で後述するが、フォークリフト３は、実稼働に必要な精度に到達する評価結果（認識精度）が得られた運用シーンでは、フォークリフト運行管理システム５からの自律作業・動作指令に従って、自動で運搬動作を行うことができる。また、フォークリフト３は、実稼働に必要な精度に到達する評価結果が得られていない運用シーン（運用外シーン）では、マニュアル操作ＩＦ４からのマニュアル操縦の指令に従って、マニュアルで運搬動作を行うことができる。フォークリフト３は、センサ３１、演算部３２及び制御部３３を備える。

センサ３１は、例えばフォークリフト３の前側に設置されたカメラであり、フォークリフト３の前方を撮影することによって、フォークの差し入れ先となるパレットの開口部の周辺のセンシングデータを取得する。センサ３１によるセンシングデータ（例えばカメラが撮影した画像データ）は、演算部３２による画像解析に用いられる他、所定のタイミングで機械学習装置１の学習データ取得部１１または評価データ取得部１２に入力データ（学習データ用入力データ、評価データ用入力データ）として送信される。学習データ取得部１１または評価データ取得部１２によるセンシングデータの取得タイミングの具体例としては、マニュアル操縦ＩＦ４から発行される取得トリガに基づくタイミングの他、フォークリフト運行管理システム５による指示に含まれるデータ取得情報に基づくタイミングが挙げられる。

演算部３２は、センサ３１が取得したセンシングデータに対する画像処理を行う機能を有する演算装置である。具体的には、演算部３２は、機械学習装置１で評価されて出力される推定モデルを用いて、センサ３１が取得したセンシングデータを解析し、所定の対象物（例えばパレット）を推定する。

制御部３３は、フォークリフト３の全体動作を制御する機能を有する制御装置である。詳細は後述するが、制御部３３は、例えばフォークリフト運行管理システム５からの自律作業・動作指令に従ってフォークリフト３を動作させる際に、演算部３２によって演算された所定の対象物の推定結果に基づいて、フォークリフト３の動作を制御する。また、制御部３３は、マニュアル操縦ＩＦ４から手動による操縦（マニュアル操縦）の指令を受けた場合は、当該指示に従ってフォークリフト３の動作を制御する。

マニュアル操作ＩＦ４は、フォークリフト３をマニュアル操作するためのインタフェースである。マニュアル操作ＩＦ４は、フォークリフト３に搭載されたコントローラでもよいし、フォークリフト３を遠隔操作するリモートコントローラでもよい。

フォークリフト運行管理システム５は、従来知られている車両運行管理システムを利用することができ、複数のフォークリフト３やその他の運搬車両等について、どの運搬作業を、どのタイミングで、どの車両に実行させるかといった運行管理を行う。

フォークリフト運行管理システム５は、フォークリフト３に対しては、自律作業による動作の実行を指示する自律作業・動作指令を出力することができる。フォークリフト運行管理システム５は、自律作業・動作指令として例えば、フォークリフト３の移動経路（経由点）、フォーク（センサ３１でもよい）の高さ、及び作業内容（ピックまたはプレイス等）等を指示する。さらに、上記の経由点の指示に、センシングデータの取得に関する指示情報（データ取得情報）を付与することによって、所定の取得場所でセンサ３１によるセンシングデータの取得を指示することができる。データ取得情報には、具体的には例えば、センシングデータの取得場所、取得するセンシングデータの用途（学習用、評価用）及びそのカテゴリＩＤ（特に評価データの第２カテゴリＩＤ）等を含めることができる。

教示ＩＦ６は、入力データを表示して、当該入力データに対応する正解データ及びカテゴリＩＤをユーザに決定させるためのインタフェースであって、例えば、ディスプレイ等の出力装置とキーボードやマウス等の入力装置とを有する一般的な汎用コンピュータである。

ここで、入力データは、学習データ用あるいは評価データ用にフォークリフト３（センサ３１）で取得されたセンシングデータである。また、正解データは、入力データにおける所定の対象物（例えばパレット）の正しい認識結果を示すデータであり、カテゴリＩＤは、入力データ及び正解データの組が属するカテゴリを示す識別子である。本実施形態では、カテゴリとして第１カテゴリ及び第２カテゴリが示されるが、これらの詳細は後述する。

図２は、教示ＩＦにおける表示画面例を示す図である。図２に例示した表示画面６０は、入力データが表示される領域６１と正解データが表示される領域６２とを有している。教示ＩＦ６においては、以下のような流れで表示画面６０に対する処理が行われる。

まず、教示ＩＦ６は、フォークリフト３で取得されたセンシングデータを入力データ（学習データ用入力データあるいは評価データ用入力データ）として機械学習装置１（学習データ取得部１１または評価データ取得部１２）から受信し、領域６１に表示する。なお、入力データが画像データ以外の形式の場合は、可視化処理を行ったうえで領域６１に表示するようにしてもよい。また、教示ＩＦ６は、入力データの画像を領域６２にも表示する。図２の場合は、入力データの画像に輪郭抽出処理を行って、領域６２に、パレット及び荷物の輪郭を破線で表示している。次に、この表示画面６０の領域６２に対して、ユーザは正しいパレットの位置を囲む入力操作を行い（実線の矩形部分）、その結果を正解データとして決定する。また、ユーザは、決定した正解データが何れのカテゴリに属するかを所定の入力操作を行って決定する（図示は省略）。そして最後に、教示ＩＦ６は、表示画面６０で決定された正解データ及びカテゴリＩＤの組を、機械学習装置１（学習データ取得部１１または評価データ取得部１２）に送信する。なお、正解データの形式は特定の形式に限定されるものではない。例えば図２の領域６２に示したように正解データが矩形で決定される。

機械学習装置１の内部構成について説明する。

図１に示したように、機械学習装置１は、機能部として、学習データ取得部１１、評価データ取得部１２、試行学習データ抽出部１３、推定モデルパラメータ算出部１４、試行評価データ抽出部１５、推定モデル評価部１６、推定モデル運用評価カテゴリ出力部１７、及びシミュレータ１８を備える。各機能部による具体的な処理は、後述する推定モデル学習処理の説明において詳述する。

また、機械学習装置１は、データを記憶する記憶部として、学習データ記憶部２１、評価データ記憶部２２、他サイト学習データ記憶部２３、他サイト評価データ記憶部２４、他サイト推定モデル記憶部２５、及び第２カテゴリ情報記憶部２６を備える。各記憶部は、機械学習装置１の記憶装置（データベースやクラウド等、機械学習装置１が通信可能な外部の記憶領域でもよい）によって実現される。

図３は、機械学習装置の各記憶部に記憶されるデータの構成例を説明するための図である。図３（Ａ）には、学習データ記憶部２１に記憶される学習データ（個別学習データ２１０）のデータ構成例が示され、図３（Ｂ）には、評価データ記憶部２２に記憶される評価データ（個別評価データ２２０）のデータ構成例が示され、図３（Ｃ）には、第２カテゴリ情報記憶部２６に記憶される第２カテゴリ情報２６０のデータ構成例が示されている。

まず、カテゴリについて説明する。本実施形態では、学習データは複数のカテゴリ（第１カテゴリ）に分けて準備され、複数の第１カテゴリの全体を第１カテゴリ群と称する。また、評価データは複数のカテゴリ（第２カテゴリ）に分けて準備され、複数の第２カテゴリの全体を第２カテゴリ群と称する。

第１カテゴリ及び第２カテゴリは、例えばフォークリフト３の運用における様々な条件や状況等を分類した「運用シーン」に基づいて分けることができる。パレット認識における運用シーン（カテゴリ）の分類基準について具体例を挙げると、カメラの撮影対象や撮影方向や撮影距離、フォークリフトの作業エリア、作業の時間帯、パレットの種類、または荷積みの状態等がある。各具体例を補足する。カメラの撮影方向（左、中、右）や撮影距離（遠近）が異なるときは、撮影データ（入力データ）におけるパレットの形状が大きく変化する。また、作業の時間帯（朝、昼、夜）が異なるときは、明るさによってパレットの認識性能に差異が生じる。この差異は、倉庫の窓等からの日光の照射量にも依るため、天候を分類基準にしてもよい。また、パレットの種類（色、素材等）が異なるときは、パレットの開口部の位置が変わる可能性が考えられる。また、荷積み状態（荷物の有無やラップ巻きの有無）が異なるときは、運搬対象の荷物の種類が異なる等が考えられる。

なお、本実施形態において、第１カテゴリ、第２カテゴリ、及び運用シーンの区分は、必ずしも完全に一致している必要はない。但し、これらが別々に区分されているときに、機械学習装置１が互いの関係性を考慮した処理を実行する場合には、両カテゴリ及び運用シーンの対応関係を定めた情報等を別途保持しておく必要がある。

図３（Ａ）によれば、学習データ記憶部２０は、学習データとして複数の個別学習データ２１０を記憶する。各個別学習データ２１０には、入力データ２１１、正解データ２１２、及び第１カテゴリＩＤ２１３が含まれる。

入力データ２１１は、学習データ用にフォークリフト３で取得されたセンシングデータ（学習データ用入力データ）である。正解データ２１２は、入力データ２１１の正解データである。第１カテゴリＩＤ２１３は、個別学習データ２１０が属する第１カテゴリを示す識別子である。

図１に示したように、入力データ２１１となる学習データ用入力データは、フォークリフト３から学習データ取得部１１に入力される。また、図２を参照して説明したように、この入力データ２１１が教示ＩＦ６に送られて表示され、この表示に対してユーザが入力データ２１１の正解データ２１２及び第１カテゴリＩＤ２１３を決定することにより、教示ＩＦ６から学習データ取得部１１に正解データ２１２及び第１カテゴリＩＤ２１３が入力される。この結果、学習データ取得部１１は、入力データ２１１、正解データ２１２及び第１カテゴリＩＤ２１３を取得でき、これらをまとめた個別学習データ２１０が学習データ記憶部２１に保存される。

図３（Ｂ）によれば、評価データ記憶部２２は、評価データとして複数の個別評価データ２２０を記憶する。各個別評価データ２２０には、入力データ２２１、正解データ２２２、及び第２カテゴリＩＤ２２３が含まれる。

入力データ２２１は、評価データ用にフォークリフト３で取得されたセンシングデータ（評価データ用入力データ）である。正解データ２２２は、入力データ２２１の正解データである。第２カテゴリＩＤ２２３は、個別評価データ２２０が属する第２カテゴリを示す識別子である。

図１に示したように、入力データ２２１となる評価データ用入力データは、フォークリフト３から評価データ取得部１２に入力される。図２を参照して説明したように、この入力データ２２１が教示ＩＦ６に送られて表示され、この表示に対してユーザが入力データ２２１の正解データ２２２及び第２カテゴリＩＤ２２３を決定することにより、教示ＩＦ６から評価データ取得部１２に正解データ２２２及び第２カテゴリＩＤ２２３が入力される。この結果、評価データ取得部１２は、入力データ２２１、正解データ２２２及び第２カテゴリＩＤ２２３を取得でき、これらをまとめた個別評価データ２２０が評価データ記憶部２２に保存される。

図３（Ｃ）によれば、第２カテゴリ情報記憶部２６は、第２カテゴリＩＤ２６１及び運用カバー率２６２からなる複数の第２カテゴリ情報２６０を記憶する。第２カテゴリＩＤ２６１は、個別評価データ２２０の第２カテゴリＩＤ２２３と対応しており、その生成方法は前述した通りである。運用カバー率２６２は、フォークリフト３による運搬作業における評価データの第２カテゴリごとの運用の網羅率を示す指標であって、運用頻度及び運用適合度に基づいて算出される。運用頻度は、フォークリフト３による運搬作業で実施される頻度を表すもので、過去の運搬作業の実績から予め定めることができる。また、運用適合度は、望ましいスムーズな動きの度合いを表すもので、過去の運搬作業を検証する等して定めることができる。

具体的には例えば、フォークリフト３がパレットをピックする作業において、カメラの撮影対象（荷棚またはオートレータ）と撮影方向（左から、中央から、右から）の組み合わせに基づいて第２カテゴリを分けるとすれば、荷棚の間口に対して左、中央、あるいは右からピックするという３つのカテゴリ、及び、オートレータに対して左、中央、あるいは右からピックするという３つのカテゴリの、合計６つの第２カテゴリが想定される。このとき、それぞれの第２カテゴリについて、運用頻度と運用適合度の積を算出することによって、運用カバー率を算出することができ、これが運用カバー率２６２として保存される。なお、運用カバー率２６２の算出方法は、上記のような運用頻度と運用適合度の単純な積に限定されるものではなく、重み付けをする等の他の算出方法を採用してもよい。また、上記の運用カバー率は、運用頻度に基づく指標の１つとも言えるため、変形例として、運用カバー率２６２に運用頻度そのものを記憶する等としてもよい。

図３（Ａ）～（Ｃ）に例示した以外の各記憶部のデータ構成について補足する。他サイト学習データ記憶部２３は、他のサイトにおける学習データを記憶する記憶部であり、記憶される学習データ（個別学習データ）のデータ構成は学習データ記憶部２１の個別学習データ２１０と同様と考えてよい。同様に、他サイト評価データ記憶部２４は、他のサイトにおける評価データを記憶する記憶部であり、記憶される評価データ（個別評価データ）のデータ構成は評価データ記憶部２２の個別評価データ２２０と同様と考えてよい。また、他サイト推定モデル記憶部２５には、他サイトについて評価された推定モデルのパラメータが記憶され、本実施形態では、このパラメータを、本サイトにおける推定モデルのパラメータを算出する推定モデルパラメータ算出部１４の初期値として利用することができる。順調な運用が行われている他サイトにおける推定モデルのパラメータを初期値として利用することにより、推定モデルパラメータ算出部１４が、異常値の算出を防止しながら、本サイトにおける推定モデルのパラメータを効率良く算出することに期待できる。

なお、本実施形態において「サイト」は、フォークリフト３の作業が行われる場所を意味しており、任意の単位で複数のサイトに分類することができる。例えば、作業を行う倉庫単位でサイトを分けてもよいし、あるいは倉庫内のフロア単位等でサイトを分けてもよい。

以下では、本実施形態に係る機械学習方法並びにフォークリフト制御方法について、図１に示した構成を用いて詳しく説明する。本実施形態に係る機械学習方法として、機械学習装置１によって後述する推定モデル学習処理が実行される。また、本実施形態に係るフォークリフト制御方法として、図１に示したシステム全体で、後述するフォークリフト制御処理が実行される。

（２）推定モデル学習処理
図４，図５は、推定モデル学習処理の処理手順例を示すフローチャート（その１，その２）である。図４，図５に示した推定モデル学習処理は、機械学習装置１の各機能部によって実行される。

図４，図５によればまず、学習データ取得部１１が、第１カテゴリ群に属する各カテゴリの学習データを取得する（ステップＳ１０１）。図２及び図３を参照しながら前述したように、学習データ取得部１１は、フォークリフト３及び教示ＩＤ６から、入力データ２１１、正解データ２１２、及び第１カテゴリＩＤ２１３を取得し、これらをまとめた個別学習データ２１０を学習データ記憶部２１に保存する。

次に、評価データ取得部１２が、第２カテゴリ群に属する各カテゴリの評価データを取得する（ステップＳ１０２）。図２及び図３を参照しながら前述したように、評価データ取得部１２は、フォークリフト３及び教示ＩＤ６から、入力データ２２１、正解データ２２２、及び第２カテゴリＩＤ２２３を取得し、これらをまとめた個別評価データ２２０を評価データ記憶部２２に保存する。

なお、ステップＳ１０１，Ｓ１０２では、学習データ取得部１１や評価データ取得部１２によるデータ取得以外にも、シミュレータ１８によるシミュレート計算によって、学習データや評価データを作成して取得することができる。この場合、シミュレータ１８は、後述する推定モデル運用評価カテゴリ出力部１７から出力される運用カテゴリＱに基づいて、運用カテゴリＱが示すカテゴリ以外のカテゴリについて、学習データや評価データのシミュレートを実行し、学習データ（個別学習データ）または評価データ（個別評価データ）を作成し、作成したデータを学習データ記憶部２１または評価データ記憶部２２に保存する。このように、本実施形態ではシミュレータ１８を活用することにより、フォークリフト３の実際の動作だけに依存することなく、各カテゴリの学習データや評価データを比較的短時間で効率的に取得することができる。

ステップＳ１０１，Ｓ１０２の処理によって学習データ記憶部２１及び評価データ記憶部２２に各カテゴリのデータが保存されると、ステップＳ１０３の処理が行われる。

ステップＳ１０３では、試行学習データ抽出部１３が、変数ｐを初期化して０をセットする。次に、試行学習データ抽出部１３は、推定モデルのパラメータ算出の試行対象とする学習データのカテゴリを選択するために、学習データの第１カテゴリ群から１以上の第１カテゴリを選択し、選択した第１カテゴリに対応する学習データＴ_ｐを学習データ記憶部２１から抽出する（ステップＳ１０４）。なお、ステップＳ１０３において、試行学習データ抽出部１３は、他サイトにおける学習データが保存された他サイト学習データ記憶部２３から学習データＴ_ｐを抽出してもよい。例えば、選択した第１カテゴリの学習データが学習データ記憶部２１に記憶されていなかった（取得されていなかった）場合には、本サイトと類似する他サイトにおける学習データＴ_ｐを抽出することにより、当該第１カテゴリに対する推定モデルの学習を進めることができる。

次に、推定モデルパラメータ算出部１４が、ステップＳ１０４で抽出された学習データＴ_ｐを用いて、推定モデルＭ_ｐのパラメータを算出する（ステップＳ１０５）。推定モデルパラメータ算出部１４による推定モデルＭ_ｐのパラメータ算出には、ＹＯＬＯ（You Only Look Once）のような既存の方法を利用すればよい。

ステップＳ１０４～Ｓ１０５の処理によって推定モデルの学習が終了すると、ステップＳ１０６からは、評価データを用いてこの推定モデルの評価を開始する。まず、ステップＳ１０６では、例えば推定モデル運用評価カテゴリ出力部１７が、運用評価カテゴリを表すＱ_ｐ及び運用カバー率を表すＡ_ｐを初期化する。

次に、試行評価データ抽出部１５が、試行対象とする評価データのカテゴリ（試行評価カテゴリ）を選択するために、第２カテゴリ群から１以上の第２カテゴリを選択し、選択した第２カテゴリに対応する評価データ（試行評価データ）を評価データ記憶部２２から抽出する（ステップＳ１０７）。ステップＳ１０７で選択された試行評価カテゴリを｛ｑ_０，・・・，ｑ_ｋ｝で表すとし、抽出された試行評価データを｛Ｅ_０，・・・，Ｅ_ｋ｝で表すとする。なお、ステップＳ１０７において試行評価データ抽出部１５は、他サイトにおける評価データが保存された他サイト評価データ記憶部２４から試行評価データを抽出してもよい。

次に、推定モデル評価部１６が、ステップＳ１０５でパラメータが算出された推定モデルＭ_ｐを、ステップＳ１０７で抽出された試行評価データ｛Ｅ_０，・・・，Ｅ_ｋ｝を用いて評価し、それぞれの評価結果｛Ｒ_ｐ，０，・・・，Ｒ_ｐ，ｋ｝を算出する（ステップＳ１０８）。推定モデル評価部１６は、上記の推定モデル、試行評価データ、及び評価結果を、推定モデル運用評価カテゴリ出力部１７に出力する。

そして、推定モデル運用評価カテゴリ出力部１７は、ステップＳ１０８で算出された評価結果の全てが所定の閾値（Ω）以上であったかを判定する（ステップＳ１０９）。この閾値は、評価結果が実稼働に十分な認識精度に到達しているかを判定するための基準値であって、予め定められている。ステップＳ１０９で肯定結果が判定された場合は、評価された推定モデルＭ_ｐが、試行評価データに対応するそれぞれの第２カテゴリ（試行評価カテゴリ）の全てにおいて、実稼働に十分な認識精度に到達するパラメータを有していることを意味し、このとき、ステップＳ１１０の処理が行われる。一方、ステップＳ１０９で否定結果が判定された場合は、ステップＳ１１２に処理をスキップする。

ステップＳ１１０では、推定モデル運用評価カテゴリ出力部１７は、試行評価カテゴリに含まれる第２カテゴリのそれぞれの運用カバー率の合計値を算出し、この合計値が現在の運用カバー率Ａ_ｐよりも大きいか否かを判定する。ステップＳ１１０で肯定結果が判定された場合は、現在の試行評価カテゴリが、推定モデルＭｐによる運用カバー率がこれまでで最も高くなることを意味し、このとき、ステップＳ１１１の処理が行われる。一方、ステップＳ１１０で否定結果が判定された場合は、ステップＳ１１２に処理をスキップする。

ステップＳ１１１では、推定モデル運用評価カテゴリ出力部１７は、ステップＳ１０７で選択した試行評価カテゴリ｛ｑ_０，・・・，ｑ_ｋ｝で運用評価カテゴリＱ_ｐを更新し、ステップＳ１１０で算出した運用カバー率の合計値で運用カバー率Ａ_ｐを更新する（ステップＳ１１１）。ステップＳ１１１の処理によって、運用評価カテゴリＱ_ｐには、これまでの評価のなかで推定モデルＭ_ｐを利用した場合に運用カバー率（運用頻度に基づく指標）が最も高くなる第２カテゴリの組み合わせ（運用シーンと読み替えてもよい）が記録され、運用カバー率Ａ_ｐにはその運用カバー率が記録される。

そしてＳ１１２では、試行対象とする評価データのカテゴリ（試行評価カテゴリ）を変えて現在の推定モデルＭ_ｐの評価を続けるか否かを確認する。試行評価カテゴリを変えて評価を続ける場合は（ステップＳ１１２のＹＥＳ）、ステップＳ１０７に戻り、別の試行評価カテゴリを選択して評価処理を繰り返す。このとき、推定モデル運用評価カテゴリ出力部１７から試行評価データ抽出部１５に運用評価カテゴリＱ_ｐ（図１では運用モデルＱ）が入力されるため、ステップＳ１０７において試行評価データ抽出部１５は、運用評価カテゴリＱ_ｐに含まれる第２カテゴリを除いた第２カテゴリ群から、１以上の第２カテゴリを選択し、対応する試行評価データを抽出することができる。このように、運用評価カテゴリＱ_ｐをフィードバックしながらステップＳ１０７～Ｓ１１１の処理が繰り返されることにより、第２カテゴリ群のできるだけ多くの第２カテゴリに対して運用評価カテゴリＱ_ｐの探索が可能となる。一方、現在の推定モデルＭ_ｐの評価を終了する場合は（ステップＳ１１２のＮＯ）、ステップＳ１１３に進む。

ステップＳ１１３では、推定モデルＭｐのパラメータ算出を続けるか否か、すなわち、試行対象とする学習データのカテゴリを変更して推定モデルＭ_ｐのパラメータ算出を続けるか否かを確認する。推定モデルＭｐのパラメータ算出を続ける場合は（ステップＳ１１３のＹＥＳ）、変数ｐの値を１増加させたうえで（ステップＳ１１４）、ステップＳ１０４に戻って別の１以上の第１カテゴリを選択して学習処理から繰り返す。一方、推定モデルＭｐのパラメータ算出を終了する場合（ステップＳ１１３のＮＯ）、推定モデル運用評価カテゴリ出力部１７は、推定モデルのパラメータ算出のための学習データの第１カテゴリの選択、及び推定モデルの評価のための評価データの第２カテゴリの選択を変更しながら、ステップＳ１０４～Ｓ１１４の処理を繰り返したなかで（ｊ＝０～ｐ）、運用カバー率Ａ_ｊが最大となった推定モデルＭ_ｊと運用評価カテゴリＱ_ｊの組み合わせを、推定モデルＭ及び運用カテゴリＱとして出力し（ステップＳ１１５）、推定モデル学習処理を終了する。

なお、ステップＳ１１２及びステップＳ１１３における判断は、ユーザによって行われるものとしてもよいし、あるいは、所定のルールに基づいて推定モデル運用評価カテゴリ出力部１７等が判断してもよい。所定のルールは例えば、全てのパターンを試行するまで続けることや、規定回数の試行に到達するまで続けること等が挙げられる。

以上のように、機械学習装置１は、フォークリフト３の制御のための推定モデル（より具体的には例えば、センシングデータからパレットを認識するために用いる推定モデル）について、推定モデル学習処理において、学習データを複数の第１カテゴリに分けて準備し、評価データを運用シーンに基づいて複数の第２カテゴリに分けて準備し、１以上を選択した第１カテゴリの学習データを用いて推定モデルを学習し、学習した推定モデルを１以上を選択した第２カテゴリの評価データを用いて評価する、という学習及び評価を繰り返し実施することにより、評価結果（認識精度）が実稼働に必要な精度に到達し、かつ、最も運用頻度に基づく指標（運用カバー率）が高くなるような推定モデル（推定モデルＭ）とその運用シーン（運用カテゴリＱ）の組み合わせを決定することができる。

そして上記の運用カテゴリＱが入力されることによって、マニュアル操縦ＩＦ４やフォークリフト運行管理システム５は、推定モデルＭを用いて実稼働が可能な運用シーンを認識してフォークリフト３の動作を指示することができるようになる。また、上記の推定モデルＭが入力されることによって、フォークリフト３は、運用シーンに応じた運用カテゴリＱ（第２カテゴリ）に対応する推定モデルＭを用いてセンシングデータの画像解析を行うことで、十分な精度で所定の対象物（パレット）を推定することができる。かくして、推定モデル学習処理によれば、現状の学習データで最大限可能な運用シーン（運用カテゴリＱ）を定義することができ、これに基づいて、フォークリフト３は、運用シーンを運用カテゴリＱに制限しながらも、早期に実稼働することができる。

また、推定モデル学習処理で決定された運用カテゴリＱは、推定モデル運用評価カテゴリ出力部１７から出力されてシミュレータ１８にも入力される（図１参照）。この運用カテゴリＱの入力を受けてシミュレータ１８は、前述したように運用カテゴリＱが示すカテゴリ以外のカテゴリについて、シミュレートを実行して学習データや評価データを収集する。これにより、その後の推定モデル学習処理において、運用カテゴリＱに含まれない第２カテゴリ（運用シーン）についても、実稼働に必要な精度の認識精度が得られるように、推定モデルの学習及び評価を促進することができる。

（３）フォークリフト制御処理
以下に、本実施形態に係るフォークリフト制御方法として、機械学習装置１による推定モデル学習処理の結果を利用してフォークリフト３の動作を制御するフォークリフト制御処理をいくつか説明する。なお、それぞれのフォークリフト制御処理において必要とされ推定モデル学習処理の結果は、必ずしも、図４，図５に示した推定モデル学習処理の全ての処理手順の実行を必要とするものではない。

（３－１）第１のフォークリフト制御処理
図６は、第１のフォークリフト制御処理の処理手順例を示すフローチャートである。図６に示した第１のフォークリフト制御処理は、本実施形態における最も基本的なフォークリフト制御処理であって、後述する第２～第４のフォークリフト制御処理にも共通する。

図６によればまず、フォークリフト３が、その動作中に、センサ３１によるセンシングデータを取得し、取得したセンシングデータ（入力データ）をその種別に応じて機械学習装置１のデータ取得部（学習データ取得部１１または評価データ取得部１２）に入力する（ステップＳ２０１）。

ここで、ステップＳ２０１における入力データの取得方法は、フォークリフト３がマニュアル操縦ＩＦ４の指令に従って動作しているか（マニュアル操縦時）、フォークリフト運行管理システム５の自律作業・動作指令に従って動作しているか（運用作業時）、によって異なる方法が考えられる。

マニュアル操縦時の場合、マニュアル操縦の指令に従って、フォークリフト３がデータの取得場所に移動する。フォークリフト３がデータの取得場所に到達すると、マニュアル操縦ＩＦ４がフォークリフト３に対して取得トリガを発行する。そして、取得トリガを契機として、フォークリフト３が、センサ３１によってセンシングデータ（入力データ）を取得し、機械学習装置１のデータ取得部に入力する。詳しく言えば、学習データ用に取得した入力データは学習データ取得部１１に入力され、評価データ用に取得した入力データは評価データ取得部１２に入力される。なお、マニュアル操縦時は、自律作業・動作指令に従った動作と比べると、フォークリフト３を正確な位置に操縦することが困難である可能性があるため、データの取得場所に到達後、フォークリフト３をランダムに微小移動させながら、連続的に入力データを取得するようにしてもよい。

一方、運用作業時の場合、フォークリフト３が自律作業・動作指令に従って移動しているなかで、データ取得情報を有する経由点に到達する。このとき、フォークリフト３は、センサ３１によってセンシングデータ（入力データ）を取得し、機械学習装置１のデータ取得部に入力する。なお、運用作業時は、データの取得場所となる経由点の前後で連続的に入力データを取得するようにしてもよい。

運用作業を行わせる場合、フォークリフト運行管理システム５は、フォークリフト３にどのような自律作業・動作指令を与えるかを、機械学習装置１から出力された運用カテゴリＱに基づいて決定することができる。具体的には例えば、ある荷棚から荷物（パケット）をピックする作業を実施しようとするときに、運用カテゴリＱに、「当該荷棚を右から撮影する」第２カテゴリＡが含まれ、「当該荷棚を中央から撮影する」第２カテゴリＢや「当該荷棚を左から撮影する」第２カテゴリＣ等が含まれていない場合には、フォークリフト運行管理システム５は、第２カテゴリＡの運用シーンに基づいて、当該荷棚に右から近づいてパケットをピックするようにフォークリフト３に自律作業・動作指令を与えればよい。

そして、教示ＩＦ６について前述したように、マニュアル操縦時及び運用作業時の何れの場合も、機械学習装置１のデータ取得部に入力された入力データは、教示ＩＦ６に送られて表示され、正解データやカテゴリＩＤが付加される（図２参照）。そして、これらの入力データ、正解データ、及びカテゴリＩＤを紐付けたデータが、個別学習データとして学習データ記憶部２１または評価データ記憶部２２に保存される。

なお、本実施形態では、推定モデル学習処理で運用カテゴリＱに採用された運用シーンの作業は、フォークリフト運行管理システム５によって運転指示が可能な無人フォークのフォークリフト３に割り当て、推定モデル学習処理で運用カテゴリＱに採用されなかった運用シーン（運用外シーン）の作業は、マニュアル操縦ＩＦ４によって遠隔操縦可能かフォークリフト３あるいは有人フォークに割り当てるようにしてよい。このような割り当てを行うことによって、運用外シーンにおいて、フォークリフト３はユーザによる操縦や操作等（例えばパレットの位置を教える等）を受け付けることができ、ユーザの指示に従ってフォークリフト３の運用を実施することができる。

図６の説明に戻る。ステップＳ２０１の終了後、フォークリフト３の演算部３２が、機械学習装置１による推定モデル学習処理の結果を利用して、現在の運用シーンに対応する第２カテゴリＩＤに基づいて、推定モデルを選択する（ステップＳ２０２）。なお、現在の運用シーンに対応する第２カテゴリＩＤは、マニュアル操縦ＩＦ４から直接指示されるか、フォークリフト運行管理システム５からの自律作業・動作指令に含まれることで、フォークリフト３が認識することができる。

そして、演算部３２は、ステップＳ２０２で選択した推定モデルを用いてセンシングデータを解析し、解析によって得られる推定結果を出力する（ステップＳ２０３）。ステップＳ２０３の処理によって、実稼働に必要な認識精度で所定の対象物（例えばパレット）が推定される。

そして、フォークリフト３の制御部３３が、ステップＳ２０３の推定結果に基づいて、フォークリフトの動作（例えばフォークの差し入れや上げ下げ）を制御する（ステップＳ２０４）。

以上のように第１のフォークリフト制御処理が行われることによって、フォークリフト３は、運用カテゴリＱに含まれる運用シーンの作業において、センシングデータから実稼働に必要な認識精度で所定の対象物（例えばパレット）を推定して、実稼働を行うことができる。

また、第１のフォークリフト制御処理では、マニュアル操縦ＩＦ４から取得トリガが発行された場合や、フォークリフト運行管理システム５からの自律作業・動作指令において経由点にデータ取得情報が付加されていた場合に、フォークリフト３の実稼働中にセンシングデータ（入力データ）を収集することができる。すなわち、フォークリフト３を実稼働させることによって荷物運搬の業務を遂行可能にするとともに、実データの入力データの取得によってさらなる学習データを収集し、実稼働可能な運用シーンを拡充していくことができる。

（３－２）第２のフォークリフト制御処理
第２のフォークリフト制御処理について説明する。第２のフォークリフト制御処理は、第１のフォークリフト制御処理の変形例に位置付けられ、その相違点を中心に説明する。

第２のフォークリフト制御処理では、フォークリフト３の作業中に、推定モデル学習処理で運用カテゴリＱに採用されなかった運用シーン（運用外シーン）の入力データを取得できるように、マニュアル操縦ＩＦ４またはフォークリフト運行管理システム５が、フォークリフト３の動作や作業を計画し、当該計画に基づいて制御部３３にフォークリフト３を制御させる。

ここで、「運用外シーン」とは、推定モデル学習処理において、実稼働に必要な精度に到達する評価結果（認識精度）を推定可能なパラメータを有する推定モデルＭの評価に用いられた第２カテゴリ（試行評価カテゴリ）以外の第２カテゴリに対応する運用シーンであり、言い換えれば、推定モデルＭを用いた場合に実稼働に必要な精度に到達する評価結果（認識精度）が得られない第２カテゴリに対応する運用シーンを意味する。

より具体的には、第２のフォークリフト制御処理において、マニュアル操縦ＩＦ４またはフォークリフト運行管理システム５は、作業中のフォークリフト３が運用外シーンの入力データを取得できるように、フォークリフト３やフォークの位置や姿勢等を調整して、運用外シーンの入力データを取得可能な状態を経由するように、フォークリフト３の動作や作業を計画する。

第２のフォークリフト制御処理によれば、作業中のフォークリフト３が運用外シーンの入力データを取得することで、運用外シーンの入力データを効率良く収集することができる。そのため、推定モデル学習処理において当該運用外シーンで利用可能な推定モデルの学習を進めることができ、実稼働可能な運用シーンの拡大を早期に進めることに貢献できる。

上記の第２のフォークリフト制御処理は、特に、フォークリフト３がフォークリフト運行管理システム５による自律作業・動作指令に基づいて運用カテゴリＱに含まれる運用シーンで作業中の場合に、より高い効果を期待することができる。前述した第２カテゴリＡ，Ｂ，Ｃを使って具体的に説明する。ある荷棚から荷物（パケット）をピックする作業を実施しようとするときに、運用カテゴリＱに第２カテゴリＡ（荷棚を右から撮影）が含まれ、第２カテゴリＢ，Ｃ（荷棚を中央または左から撮影）が運用外シーンであるとすると、フォークリフト運行管理システム５は、第２カテゴリＡの運用シーンに基づいて、当該荷棚に右から近づいてパケットをピックするように自律作業・動作指令を与える。このとき、フォークリフト運行管理システム５は、第２カテゴリＡの運用シーンに基づくフォークリフト３の運用作業において、運用外シーンの入力データを取得するために、例えば、荷棚に右から近づいてパケットをピックした後、荷棚の左から離れるように経由点を定め、さらに、左から離れた後の所定の経由点にデータ取得情報をセットするよう、自律作業・動作指令を追加する。このようにすることで、フォークリフト３は、運用カテゴリＱに含まれる運用シーン（第２カテゴリＡ）による作業で安全にパレットをピックするとともに、その後、運用外シーン（この場合は第２カテゴリＣ）の入力データを取得できる。したがって、運用カテゴリＱで限定された運用シーンの実稼働を行いながら、運用外シーンの入力データを集めることができるため、非常に効率的に推定モデルの学習及び評価を促進することができる。

なお、第２のフォークリフト制御処理を行う場合、サイト内でパレットを設置した後に、推定モデル学習処理を行って運用カテゴリＱを決定し、運用外シーンを設定することで、運用外シーンの入力データの取得をより効率的にすることができる。

また、第２のフォークリフト制御処理には第１のフォークリフト制御処理が含まれるため、第２のフォークリフト制御処理は、第１のフォークリフト制御処理による効果も得ることができる。

（３－３）第３のフォークリフト制御処理
第３のフォークリフト制御処理について、第１のフォークリフト制御処理（図６）と比較しながらその相違点を中心に説明する。

第３のフォークリフト制御処理では、まず、機械学習装置１が推定モデル学習処理を実行し、その確定結果として出力された推定モデルＭを第１の推定モデル、運用カテゴリＱを第１の運用カテゴリ（第１の運用シーン）として採用する。

さらに、機械学習装置１は、第１の運用シーンとして採用されなかった運用外シーンの第２カテゴリを評価対象（試行評価カテゴリ）として推定モデル学習処理を改めて実行し、いくつかの第２カテゴリについて実稼働に必要な精度の評価結果（認識精度）を満たす推定モデルが得られた場合に、この推定モデルを第２の推定モデル、その第２カテゴリを第２の運用カテゴリ（第２の運用シーン）として採用する。第１及び第２の推定モデルはフォークリフト３に入力され、第１及び第２の運用カテゴリ（運用シーン）は、マニュアル操縦ＩＦ４及びフォークリフト運行管理システム５に入力される。

そして、マニュアル操縦ＩＦ４またはフォークリフト運行管理システム５の指令に従ってフォークリフト３が動作する際、フォークリフト３では、まず、センシングデータの取得及び入力が行われる（図６のステップＳ２０１と同様）。

次に、演算部３２が、現在の運用シーンに対応する第２カテゴリＩＤに基づいて、推定モデルを選択する。すなわち、演算部３２は、第２カテゴリＩＤが示す運用シーンが第１の運用シーンであれば第１の推定モデルを選択し、第２の運用シーンであれば第２の推定モデルを選択する。なお、第１のフォークリフト制御処理と同様に、現在の運用シーンに対応する第２カテゴリＩＤは、マニュアル操縦ＩＦ４から直接指示されるか、フォークリフト運行管理システム５からの自律作業・動作指令に含まれるとする。

そして、演算部３２は、ステップＳ２０２で選択した推定モデルを用いてセンシングデータを解析し、解析によって得られる推定結果を出力する（図６のステップＳ２０３と同様）。

そして、フォークリフト３の制御部３３が、ステップＳ２０３の推定結果に基づいて、フォークリフトの動作（例えばフォークの差し入れや上げ下げ）を制御する（図６のステップＳ２０４と同様）。

以上、第３のフォークリフト制御処理によれば、フォークリフト３の運用シーンに応じて複数の推定モデルを使い分けて、実稼働に必要な精度の認識精度で所定の対象物（例えばパレット）を推定することができるため、実稼働可能な運用シーンの範囲を広げることができる。

また、第３のフォークリフト制御処理には第１のフォークリフト制御処理が含まれるため、第３のフォークリフト制御処理は、第１のフォークリフト制御処理による効果も得ることができる。

（３－４）第４のフォークリフト制御処理
第４のフォークリフト制御処理について説明する。第４のフォークリフト制御処理は、フォークリフト３の運用シーンがランダムに発生する場合、言い換えれば、運用シーンが明確でない場合に好適な制御処理である。

第４のフォークリフト制御処理では、まず、推定モデル学習処理によって、１以上の第２カテゴリ（運用シーン）について実稼働に必要な精度の評価結果（認識精度）を満たす複数の推定モデルを学習する。また、これら複数の推定モデルのそれぞれについて、各運用シーン（第２カテゴリ）における推定の認識成功率（評価結果）を算出する。上記の複数の推定モデル、第２カテゴリ（実際は第２カテゴリＩＤ）、及び各推定の評価結果は、フォークリフト３に出力される。そして、運用シーンが不明な状況でフォークリフト３を運用する際に、フォークリフト３の演算部３２が、複数の推定モデルのそれぞれを用いて入力データから推定した対象物（例えばパレットの位置）の推定結果（個別推定結果）から、全体としての推定結果である全体推定結果を算出し（例えば平均値）、全体推定結果と個別の推定結果から各推定モデルによる推定の成功率（成否情報）を求める。さらに、演算部３２は、複数の運用シーン（第２カテゴリ）のそれぞれについて、先に保持しておいた各推定モデルの評価結果に基づいて各推定結果の妥当性を算出し、これらをまとめた全体としての推定結果（全体推定結果）の妥当性を評価する。そして、上記第２カテゴリのそれぞれに対する全体推定結果の妥当性のうち、最も妥当性の高い運用シーン（第２カテゴリ）の評価値が所定の閾値以上であれば、その全体推定結果に基づいて、フォークリフト３の制御部３３がフォークリフト３の動作を制御する。

図７は、第４のフォークリフト制御処理の処理手順例を示すフローチャートである。図７に示した第４のフォークリフト制御処理では、フォークリフト３は運用シーン（第２カテゴリ）が決定されていない（決定できない）状況で動作中であるとする。また、図７の各ステップにおいて変数付きで記載されている語句は、前段落に記載された語句と対応している。

図７によればまず、フォークリフト３のが、その動作中に、センサ３１によるセンシングデータを取得し、取得したセンシングデータ（入力データ）をその種別に応じて機械学習装置１のデータ取得部（学習データ取得部１１または評価データ取得部１２）に入力する（ステップＳ３０１）。

次に、フォークリフト３の演算部３２が、推定モデル学習処理によって学習された実稼働に利用可能なｍ個の推定モデル（Ｍ_０～Ｍ_ｍ）をそれぞれ用いて、センシングデータ（入力データ）を解析し、得られた個別推定結果（Ｘ_０～Ｘ_ｍ）を出力する（ステップＳ３０２）。

次に、演算部３２は、ステップＳ３０２で得られた個別推定結果（Ｘ_０～Ｘ_ｍ）を結合して、全体推定結果Ｘを算出する（ステップＳ３０３）。例えば、個別推定結果（Ｘ_０～Ｘ_ｍ）の平均値を全体推定結果Ｘとするとき、全体推定結果Ｘは、以下の式１によって算出することができる。

次に、演算部３２は、個別推定結果（Ｘ_０～Ｘ_ｍ）のそれぞれと、ステップＳ３０３で算出された全体推定結果Ｘとを比較して、各推定モデル（Ｍ_０～Ｍ_ｍ）による推定結果（Ｘ_０～Ｘ_ｍ）の成功率を表す、推定の成否情報（Ｇ_０～Ｇ_ｍ）を算出する（ステップＳ３０４）。例えば、図２に例示した正解データと同様に、推定モデルによる推定結果が矩形領域で示される場合、それぞれの推定の成否情報（Ｇ_０～Ｇ_ｍ）は、以下の式２によって算出することができる。

式２において、全体面積とは、全体推定結果Ｘが示す矩形領域の面積を意味する。また、オーバラップ面積とは、全体推定結果Ｘが示す矩形領域と比較対象の個別推定結果（Ｘ_ｉ）が示す矩形領域との重複領域の面積を意味する。

なお、式２の算出方法は一例であって、他にも例えば、全体推定結果Ｘが示す矩形領域と比較対象の個別推定結果（Ｘ_ｉ）が示す矩形領域との重複率（オーバラップ率）を算出し、これが所定の閾値以上である場合に成否情報Ｇ_ｉ＝１、閾値未満である場合に成否情報Ｇ_ｉ＝０等としてもよい。

次に、演算部３２は、推定モデル（Ｍ_０～Ｍ_ｍ）に対応する第２カテゴリのそれぞれについて（第２カテゴリＩＤの候補をｗとする）予め保持していた各推定モデルの評価結果Ｒと、ステップＳ３０４で算出した各推定の成否情報（Ｇ_０～Ｇ_ｍ）とを用いて、第２カテゴリＩＤ候補ｗに対する全体としての推定結果（全体推定結果）の妥当性Ｌ_ｗを算出する（ステップＳ３０５）。なお、ステップＳ３０５では、第２カテゴリＩＤの候補ｗを変えて、推定モデル（Ｍ_０～Ｍ_ｍ）に対応する第２カテゴリの全てを対象にして、それぞれ全体推定結果の妥当性Ｌ_ｗを算出する。

図８は、推定モデルの評価結果Ｒにおける推定モデルと第２カテゴリＩＤとの関係を説明する図である。図８に示したように、推定モデルの評価結果Ｒは、推定モデル（Ｍ_０～Ｍ_ｍ）と、推定モデル（Ｍ_０～Ｍ_ｍ）に対応する第２カテゴリの第２カテゴリＩＤ（０～ｎ）との全ての組み合わせによる評価結果、すなわちｍ×（ｎ＋１）個の評価結果から構成される。図８に示した推定モデルの評価結果｛Ｒ_０，ｗ，…，Ｒ_ｍ，ｗ｝は、行列式で以下の式３のように表される。

そして、上記の推定モデルの評価結果｛Ｒ_０，ｗ，…，Ｒ_ｍ，ｗ｝を用いるとき、第２カテゴリＩＤ候補ｗに対する全体推定結果の妥当性Ｌ_ｗは、例えば以下の式４によって算出することができる。なお、第２カテゴリＩＤ候補ｗは、例えばフォークリフト運行管理システム５からの自律作業・動作指令に含まれてフォークリフト３に入力される。

次に、演算部３２は、ステップＳ３０５で全ての第２カテゴリＩＤ候補ｗに対して算出されたそれぞれの全体推定結果の妥当性Ｌ_ｗのうち、最も高い妥当性Ｌが所定の閾値以上であるか否かを判定する（ステップＳ３０６）。この閾値は、妥当性Ｌを得た全体推定結果が、実稼働に十分な認識精度（評価結果）に到達しているかを判定するための基準値であって、例えば図５の推定モデル学習処理においてステップＳ１０９で示した閾値Ωと同じとしてよい。

ステップＳ３０６において、妥当性Ｌが所定の閾値以上であった場合（ステップＳ３０６のＹＥＳ）、妥当性Ｌが得られた全体推定結果は、実稼働に十分な認識精度であることを意味する。したがって、演算部３２は、妥当性Ｌが得られた全体推定結果における第２カテゴリＩＤ候補ｗが示す第２カテゴリを、現在の運用シーンと推定する。そして、制御部３３は、演算部３２によって推定された運用シーン（第２カテゴリ）に基づいて、フォークリフト３の動作を制御する（ステップＳ３０７）。

一方、ステップＳ３０６において、妥当性Ｌが所定の閾値未満であった場合（ステップＳ３０６のＮＯ）、何れの第２カテゴリＩＤ候補ｗに対する全体推定結果Ｌ_ｗも、実稼働に十分な認識精度ではないことを意味する。このため、演算部３２は、運用シーンを推定できない旨のアラートを出力する（ステップＳ３０８）。アラートが出力された場合、制御部３３は、例えば、フォークリフト３の自律運転を停止するとともに、フォークリフト運行管理システム５にアラートを転送して、運用作業における安全を確保する。

以上のように第４のフォークリフト制御処理によれば、動作中のフォークリフト３において現在の運用シーンが明確でない場合でも、推定モデル学習処理の学習結果によって実稼働可能なパラメータの算出が済んでいる既知の推定モデルＭとその運用カテゴリＱ（第２カテゴリＩＤ）とを用いて、これらの組み合わせによる推定結果の妥当性を評価することによって、実稼働可能な認識精度を担保できる推定モデルと運用シーン（第２カテゴリ）との組み合わせを推定することができ、この推定結果に基づいてフォークリフト３の運用を行うことができる。

したがって、第４のフォークリフト制御処理によれば、収集した学習データがより少ない時点からフォークリフト３の運用開始に期待できるだけでなく、学習データが蓄積された際には、第１～第３のフォークリフト制御処理よりも広範囲の運用シーンでフォークリフト３を運用することができる。

また、第４のフォークリフト制御処理には第１のフォークリフト制御処理が含まれるため、第４のフォークリフト制御処理は、第１のフォークリフト制御処理による効果も得ることができる。

以上、本発明の一実施形態について説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記した実施形態では、荷物を載せたパレットを運搬するフォークリフトにおいてセンシングデータからパレットを認識するための推定モデルを学習する機械学習方法や、この推定モデルを用いてフォークリフトの動作を制御するフォークリフト制御方法について説明したが、本発明の適用対象はこれらに限るものではなく、例えばフォークリフト以外にも、所定の作業を実行する車両や装置全般に適用可能である。また、本発明の機械学習方法で学習する推定モデルは、パレット以外の対象物を認識するための推定モデルや、車体の挙動予測等の制御を判断するための推定モデルにも適用することができる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 機械学習装置１
３ フォークリフト
４ マニュアル操縦ＩＦ
５ フォークリフト運行管理システム
６ 教示ＩＦ
１１ 学習データ取得部
１２ 評価データ取得部
１３ 試行学習データ抽出部
１４ 推定モデルパラメータ算出部
１５ 試行評価データ抽出部
１６ 推定モデル評価部
１７ 推定モデル運用評価カテゴリ出力部
１８ シミュレータ
２１ 学習データ記憶部
２２ 評価データ記憶部
２３ 他サイト学習データ記憶部
２４ 他サイト評価データ記憶部
２５ 他サイト推定モデル記憶部
２６ 第２カテゴリ情報記憶部
３１ センサ
３２ 演算部
３３ 制御部
２１０ 個別学習データ
２１１ 入力データ
２１２ 正解データ
２１３ 第１カテゴリＩＤ
２２０ 個別評価データ
２２１ 入力データ
２２２ 正解データ
２２３ 第２カテゴリＩＤ
２６０ 第２カテゴリ情報
２６１ 第２カテゴリＩＤ
２６２ 運用カバー率

Claims (11)

1. フォークリフトを制御するための推定モデルを学習する機械学習方法であって、
   第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるステップ１と、
   前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための前記推定モデルのパラメータを算出するステップ２と、
   前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記ステップ２においてパラメータを算出した前記推定モデルを評価するステップ３と、
   前記ステップ２においてパラメータを算出した推定モデルのうち前記ステップ３における評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記ステップ３の評価に用いた評価データのカテゴリと、を出力するステップ４と、
   を実行する機械学習方法。
2. 前記ステップ４で出力された前記推定モデルのうちの一つを第１の推定モデルとして抽出するステップ５と、
   前記ステップ４で出力された推定モデルのうちから、前記第１の推定モデルの評価に用いた評価データのカテゴリ以外のカテゴリの評価データを評価に用いた第２の推定モデルを抽出するステップ６と、
   をさらに実行する請求項１に記載の機械学習方法。
3. 前記ステップ４で出力された前記推定モデルのうちの一つを第１の推定モデルとして抽出するステップ５と、
   前記第１の推定モデルの評価に用いた評価データのカテゴリ以外のカテゴリの学習データをシミュレータによって作成するステップ７と、
   をさらに実行する請求項１に記載の機械学習方法。
4. 前記ステップ５において、前記ステップ４で出力された前記評価データのカテゴリの運用頻度に基づいて前記第１の推定モデルを抽出する
   請求項２に記載の機械学習方法。
5. 前記ステップ５において、前記ステップ４で出力された前記評価データのカテゴリの運用頻度に基づいて前記第１の推定モデルを抽出する
   請求項３に記載の機械学習方法。
6. フォークリフトに設置されたセンサによるセンシングデータを入力として受け付ける入力ステップと、
   第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるステップ１、
   前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための推定モデルのパラメータを算出するステップ２、
   前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記ステップ２においてパラメータを算出した前記推定モデルを評価するステップ３、
   前記ステップ２においてパラメータを算出した推定モデルのうち前記ステップ３における評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記ステップ３の評価に用いた評価データのカテゴリと、を出力するステップ４、及び、
   前記ステップ４で出力された前記評価データのカテゴリの運用頻度に基づいて、前記ステップ４で出力された前記推定モデルのうちから第１の推定モデルを抽出するステップ５、
   を実行して得られた前記第１の推定モデルを用いて、前記入力ステップで受け付けた前記センシングデータの解析を行い、前記解析によって得られた推定結果を出力する推定ステップと、
   前記推定ステップの結果に基づいて前記フォークリフトの制御を行う制御ステップと、
   を実行するフォークリフト制御方法。
7. 前記制御ステップにおいて、前記ステップ５で抽出された前記第１の推定モデルの評価に用いられた評価データのカテゴリ以外のカテゴリの学習データを収集するように前記フォークリフトを制御する
   請求項６に記載のフォークリフト制御方法。
8. 前記制御ステップにおいて、前記ステップ５で抽出された前記第１の推定モデルの評価に用いられた評価データのカテゴリに対応する運用シーン以外で前記フォークリフトを制御する場合、前記フォークリフトはユーザによる入力を受け付ける
   請求項６に記載のフォークリフト制御方法。
9. 前記推定ステップにおいて、
   前記ステップ４で出力された推定モデルのうちから、前記第１の推定モデルの評価に用いられた評価データのカテゴリ以外のカテゴリの評価データを評価に用いた第２の推定モデルを抽出するステップ６をさらに実行し、
   前記フォークリフトの運用シーンに対応するカテゴリに応じて、前記ステップ５で抽出された前記第１の推定モデルと前記ステップ６で抽出された前記第２の推定モデルとを使い分けて、前記入力ステップで受け付けた前記センシングデータの解析を行い、前記解析によって得られた推定結果を出力する
   こ請求項６に記載のフォークリフト制御方法。
10. 前記制御ステップにおいて、
    前記ステップ４を実行して得られた複数の推定モデルをそれぞれ用いて前記センシングデータを解析し、
    前記解析によって得られた個別の推定結果から全体の推定結果を算出し、
    前記個別の推定結果と前記全体の推定結果とを比較して各推定モデルによる推定の成否情報を算出し、
    前記算出した前記推定の成否情報と、前記複数の推定モデルのそれぞれに対して前記第２のカテゴリ群の評価データを用いて評価を行った評価結果とに基づいて、前記第２のカテゴリ群のカテゴリごとに、評価データの前記全体の推定結果に対する妥当性を算出し、
    前記第２のカテゴリ群の評価データのうち、前記算出した妥当性が最も高いカテゴリの前記妥当性が所定の閾値以上である場合に、当該カテゴリの前記全体の推定結果に基づいて、前記フォークリフトを制御する
    請求項６に記載のフォークリフト制御方法。
11. フォークリフトを制御するための推定モデルを学習する機械学習装置であって、
    第１のカテゴリ群の学習データ及び第２のカテゴリ群の評価データの入力を受け付けるデータ取得部と、
    前記第１のカテゴリ群から少なくとも１つのカテゴリの前記学習データを抽出し、前記抽出した学習データを用いて、前記フォークリフトを制御するための前記推定モデルのパラメータを算出するパラメータ算出部と、
    前記第２のカテゴリ群から少なくとも１つのカテゴリの前記評価データを抽出し、前記抽出した評価データを用いて、前記パラメータ算出部によってパラメータが算出された前記推定モデルを評価する推定モデル評価部と、
    前記パラメータ算出部によってパラメータが算出された推定モデルのうち前記推定モデル評価部による評価結果が所定の閾値以上である推定モデルと、当該推定モデルの前記推定モデル評価部による評価に用いられた評価データのカテゴリと、を出力する推定モデル運用評価カテゴリ出力部と、
    を備える機械学習装置。
    

Images