JP2020123049A - 寸法単位設定方法、情報処理装置、及びロボットシステム - Google Patents
寸法単位設定方法、情報処理装置、及びロボットシステム Download PDFInfo
- Publication number
- JP2020123049A JP2020123049A JP2019013261A JP2019013261A JP2020123049A JP 2020123049 A JP2020123049 A JP 2020123049A JP 2019013261 A JP2019013261 A JP 2019013261A JP 2019013261 A JP2019013261 A JP 2019013261A JP 2020123049 A JP2020123049 A JP 2020123049A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- candidate
- dimension
- dimension unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
【課題】基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる寸法単位設定方法を提供すること。【解決手段】物体の形状を示す形状データを入力する入力ステップと、前記物体を含む領域を撮像した撮像画像を取得する取得ステップと、前記形状データと前記撮像画像に基づいて、基準寸法単位を設定する設定ステップと、を有する寸法単位設定方法。【選択図】図4
Description
この発明は、寸法単位設定方法、情報処理装置、及びロボットシステムに関する。
テンプレートマッチングによるロボットの制御についての研究、開発が行われている。テンプレートマッチングでは、ロボットは、CAD(Computer Aided Design)データ等の物体の形状を示す形状データに基づいて制御される。
このようなテンプレートマッチングによるロボットの制御に関し、ワークのCADデータ、複数のカメラのレンズ情報、使用するロボットの動作データ等を記憶しておき、ワークの複数の検査ポイントを撮像するカメラのレンズの焦点距離、カメラの撮像位置と姿勢、そのカメラの撮像位置と姿勢を取るためのロボットの動き等をシミュレーションし、使用するカメラの種類、ロボットの設置位置等をユーザーに提供するシミュレーション装置が知られている(特許文献1参照)。
ここで、カメラにより撮像された物体の撮像画像上における大きさは、カメラの配置、撮像画像の拡大又は縮小の倍率によって変化する。このため、特許文献1に記載されたシミュレーション装置のようにCADデータと当該撮像画像上に含まれる物体とのテンプレートマッチングを行う装置は、ユーザーによりCADデータの寸法の基準となる単位を誤って入力されている場合、例えば、検出したい所望の物体と形状が同じで大きさが異なる物体を、当該所望の物体として誤検出してしまうことがある。
上記課題を解決するために本発明の一態様は、物体の形状を示す形状データを入力する入力ステップと、前記物体を含む領域を撮像した撮像画像を取得する取得ステップと、前記形状データと前記撮像画像に基づいて、基準寸法単位を設定する設定ステップと、を有する寸法単位設定方法である。
<実施形態>
以下、本発明の実施形態について、図面を参照して説明する。
以下、本発明の実施形態について、図面を参照して説明する。
<ロボットシステムの構成>
まず、図1を参照し、実施形態に係るロボットシステム1の構成について説明する。図1は、実施形態に係るロボットシステム1の構成の一例を示す図である。
まず、図1を参照し、実施形態に係るロボットシステム1の構成について説明する。図1は、実施形態に係るロボットシステム1の構成の一例を示す図である。
ロボットシステム1は、例えば、ロボット20と、撮像部25と、ロボット制御装置30と、情報処理装置40を備える。なお、ロボットシステム1は、これらに加えて、他の装置を備える構成であってもよい。また、ロボットシステム1では、ロボット制御装置30は、情報処理装置40と一体に構成されてもよい。
ロボット20は、スカラロボットである。スカラロボットは、水平多関節ロボットと称されることがある。なお、ロボット20は、スカラロボットに代えて、垂直多関節ロボット等の他のロボットであってもよい。ここで、垂直多関節ロボットは、1本の腕を有する単腕ロボット、2本以上の腕を有する複腕ロボット等のことである。2本の腕を有する複腕ロボットは、双腕ロボットと称されることがある。
図1に示した例では、ロボット20は、予め決められた設置面に設置されている。設置面は、例えば、ロボット20を設置する部屋の床面である。なお、設置面は、当該床面に代えて、当該部屋の壁面、当該部屋の天井面、テーブルの上面、治具の上面、台の上面等であってもよく、屋外の床面、屋外の壁面等であってもよく、他の面であってもよい。
以下では、説明の便宜上、設置面と直交する方向のうちロボット20の重心から設置面に向かう方向を下又は下方向と称して説明する。また、以下では、説明の便宜上、下方向と反対の方向を上又は上方向と称して説明する。また、以下では、一例として、下方向が、ロボット座標系RCにおけるZ軸の負方向と一致している場合について説明する。ここで、ロボット座標系RCは、ロボット20のロボット座標系のことである。また、以下では、一例として、下方向が重力方向と一致している場合について説明する。なお、下方向は、これに代えて、当該負方向と重力方向のうちのいずれか一方又は両方と一致しない構成であってもよい。
ロボット20は、基台Bと、基台Bに支持された可動部Aを備える。
基台Bは、設置面において動かないように設置される。
可動部Aは、第1アームA1と、第2アームA2と、シャフトSを備える。ここで、第1アームA1は、基台Bにより第1回動軸AX1周りに回動可能に支持されている。第2アームA2は、第1アームA1により第2回動軸AX2周りに回動可能に支持されている。シャフトSは、第2アームA2により第3回動軸AX3周りに回動可能且つ第3回動軸AX3の軸方向に並進可能に支持されている。
より具体的には、可動部Aにおいて、シャフトSは、ほぼ円柱形状の軸体である。シャフトSの周表面には、ボールねじ溝とスプライン溝とがそれぞれ形成されている。なお、図1では、図を簡略化するため、シャフトSの周表面に形成されているボールねじ溝とスプライン溝とのそれぞれを省略している。シャフトSは、図1に示したように、第2アームA2の端部のうちの第1アームA1と反対側の端部を、上下方向に貫通し、設けられる。
また、シャフトSの下端部は、外部装置を取り付け可能である。外部装置は、例えば、エンドエフェクターであるが、エンドエフェクター以外の他の装置であってもよい。ここで、シャフトSの下端部は、シャフトSが有する端部のうちの下側の端部のことである。図1に示したシャフトSの下端部には、何も取り付けられていない。なお、シャフトSの下端部は、外部装置を取り付け不可能な構成であってもよい。
シャフトSの下端部に取り付けられるエンドエフェクターは、例えば、指部によって物体を保持することが可能なエンドエフェクター、空気、磁気による吸着等によって物体を保持可能なエンドエフェクター等である。本実施形態では、物体を保持するとは、物体を持ち上げることが可能な状態にすることを意味する。なお、シャフトSの下端部に取り付けられるエンドエフェクターは、これらに代えて、物体を保持不可能なエンドエフェクターであってもよい。
第1アームA1は、第1回動軸AX1周りに回動し、水平方向に移動する。水平方向は、上下方向と直交する方向である。すなわち、本実施形態において、水平方向は、ロボット座標系RCにおけるX軸及びY軸によって張られるXY平面に沿った方向である。
また、第1アームA1は、図示しない第1アクチュエーターによって第1回動軸AX1周りに回動させられる。すなわち、本実施形態において、第1回動軸AX1は、第1アクチュエーターの回動軸と一致する仮想的な軸のことである。ここで、第1アクチュエーターは、例えば、サーボモーターである。第1アクチュエーターは、基台Bに備えられる。なお、第1アクチュエーターは、第1アームA1に備えられる構成であってもよい。また、第1アクチュエーターは、サーボモーターに代えて、他のアクチュエーターであってもよい。また、第1回動軸AX1は、第1アクチュエーターの回動軸と一致しない仮想的な軸であってもよい。また、水平方向は、上下方向と直交する方向に代えて、上下方向と直交しない方向であってもよい。また、水平方向は、当該XY平面に沿った方向に代えて、当該XY平面に沿っていない方向であってもよい。
第2アームA2は、第2回動軸AX2周りに回動し、水平方向に移動する。第2アームA2は、図示しない第2アクチュエーターによって第2回動軸AX2周りに回動させられる。すなわち、本実施形態において、第2回動軸AX2は、第2アクチュエーターの回動軸と一致する仮想的な軸のことである。ここで、第2アクチュエーターは、例えば、サーボモーターである。第2アクチュエーターは、第2アームA2に備えられる。なお、第2アクチュエーターは、第1アームA1に備えられる構成であってもよい。また、第2アクチュエーターは、サーボモーターに代えて、他のアクチュエーターであってもよい。また、第2回動軸AX2は、第2アクチュエーターの回動軸と一致しない仮想的な軸であってもよい。
また、第2アームA2は、図示しない第3アクチュエーター及び図示しない第4アクチュエーターを備える。また、第2アームA2は、シャフトSを支持する。
第3アクチュエーターは、例えば、サーボモーターである。第3アクチュエーターは、シャフトSのボールねじ溝の外周部に設けられたボールねじナットをタイミングベルト等で回動させる。これにより、第3アクチュエーターは、シャフトSを上下方向に移動させる。なお、第3アクチュエーターは、サーボモーターに代えて、他のアクチュエーターであってもよい。
第4アクチュエーターは、例えば、サーボモーターである。第4アクチュエーターは、シャフトSのスプライン溝の外周部に設けられたボールスプラインナットをタイミングベルト等で回動させる。これにより、第4アクチュエーターは、シャフトSを第3回動軸AX3周りに回動させる。なお、第4アクチュエーターは、サーボモーターに代えて、他のアクチュエーターであってもよい。
ここで、第3回動軸AX3は、シャフトSの中心軸と一致する仮想的な軸のことである。なお、第3回動軸AX3は、シャフトSの中心軸と一致しない仮想的な軸であってもよい。
撮像部25は、例えば、集光された光を電気信号に変換する撮像素子として、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。図1に示した例では、撮像部25は、ロボット20の第2アームA2に備えられている。このため、撮像部25は、第2アームA2の動きに応じて移動する。また、撮像部25が撮像可能な範囲は、第2アームA2の動きに応じて変化する。撮像部25は、当該範囲の二次元画像を撮像する。なお、撮像部25は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。また、撮像部25は、第2アームA2に備えられる構成に代えて、ロボット20が作業を行うことが可能な範囲を含む領域を撮像可能であれば、第1アームA1に備えられる構成であってもよく、基台Bに備えられる構成であってもよく、ロボット20以外の位置に備えられる構成であってもよい。
また、撮像部25は、ケーブルによって情報処理装置40と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)、USB(Universal Serial Bus)等の規格によって行われる。なお、撮像部25は、Wi−Fi(登録商標)等の通信規格により行われる無線通信によって情報処理装置40と接続される構成であってもよい。
ロボット制御装置30は、ロボット20を制御する。例えば、ロボット制御装置30は、予め記憶された動作プログラムに基づいて、ロボット20を制御する。また、例えば、ロボット制御装置30は、後述する情報処理装置40により行われる画像処理の結果に基づいて、ロボット20を制御する。
また、ロボット制御装置30は、ケーブルによってロボット20、情報処理装置40のそれぞれと通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)、USB等の規格によって行われる。なお、ロボット制御装置30は、Wi−Fi(登録商標)等の通信規格により行われる無線通信によってロボット20、情報処理装置40とのうちいずれか一方又は両方と接続される構成であってもよい。
情報処理装置40は、画像処理を行う装置である。情報処理装置40は、撮像部25を制御し、撮像部25が撮像可能な範囲を撮像部25に撮像させる。情報処理装置40は、撮像部25が撮像した撮像画像を撮像部25から取得する。情報処理装置40は、取得した撮像画像に基づく画像処理を行う。また、情報処理装置40は、ロボット制御装置30からの要求に応じて、当該画像処理を行う。情報処理装置40は、当該画像処理の結果をロボット制御装置30に出力する。ここで、当該画像処理は、例えば、当該撮像画像に基づくテンプレートマッチングである。なお、当該画像処理は、当該テンプレートマッチングに代えて、又は、当該テンプレートマッチングに加えて、当該撮像画像に基づく他の処理であってもよい。
ここで、情報処理装置40には、基準寸法単位が設定される。基準寸法単位は、画像処理部471が行う画像処理において寸法の基準として用いられる寸法単位のことである。寸法単位は、本実施形態において、寸法の単位のことである。また、本実施形態において、寸法は、長さのことである。情報処理装置40は、設定された基準寸法単位に基づいて、画像処理を行う。ここで、例えば、テンプレートマッチングに用いるテンプレートモデルには、CADデータ等の物体の形状を示す形状データが用いられることが多い。また、形状データには、形状データにおける寸法の基準となる寸法単位を示す情報が含まれていないことが多い。例えば、CADデータのうちの1つであるSTL(Standard Triangulated Language)データには、当該情報が含まれていない。このような場合、ユーザーは、形状データにおける寸法の基準となる寸法単位を、実際とは異なる寸法単位として認識してしまうことがある。このため、情報処理装置40には、情報処理装置40に設定される基準寸法単位として誤った寸法単位がユーザーにより設定されることがある。その結果、情報処理装置40により行われる画像処理の結果に基づいてロボット20を制御するロボット制御装置30は、ロボット20を精度よく動作させることができないことがある。
このような問題を解決するため、情報処理装置40は、対象物体Oの形状を示す形状データの入力を受け付け、対象物体Oを含む領域を撮像した撮像画像を取得し、受け付けた形状データと、取得した撮像画像とに基づいて、基準寸法単位を設定する。これにより、情報処理装置40は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。その結果、ロボットシステム1は、情報処理装置40により行われた画像処理の結果に基づいて、検出したい所望の物体と形状が同じで大きさが異なる物体を、当該所望の物体として誤検出してしまうことを抑制することができ、ロボット20を精度よく動作させることができる。ここで、対象物体Oは、ロボット20が作業を行う対象となる物体のことである。このため、対象物体Oは、図1に示したように、第2アームA2の移動によって撮像部25による撮像が可能となる範囲内のうちのロボット20が作業を行うことが可能な範囲内に載置される。また、対象物体Oは、寸法が予め分かっている物体である。対象物体Oは、例えば、産業用の部品、部材、装置等である。なお、対象物体Oは、日用品の部品、部材、装置等であってもよく、生体の細胞、器官等であってもよく、他の種類の物体であってもよい。また、対象物体Oの寸法は、本実施形態において、対象物体Oが有する各辺の長さのことである。対象物体Oは、物体の一例である。
以下では、このような情報処理装置40の構成と、情報処理装置40が基準寸法単位を設定する方法とのそれぞれについて詳しく説明する。
<情報処理装置のハードウェア構成>
以下、図2を参照し、情報処理装置40のハードウェア構成について説明する。図2は、情報処理装置40のハードウェア構成の一例を示す図である。
以下、図2を参照し、情報処理装置40のハードウェア構成について説明する。図2は、情報処理装置40のハードウェア構成の一例を示す図である。
情報処理装置40は、例えば、プロセッサー41と、メモリー42と、入力受付部43と、通信部44と、表示部45を備える。また、情報処理装置40は、通信部44を介して撮像部25、ロボット制御装置30のそれぞれと通信を行う。これらの構成要素は、バスを介して相互に通信可能に接続されている。
プロセッサー41は、例えば、CPU(Central Processing Unit)である。なお、プロセッサー41は、CPUに代えて、FPGA(Field Programmable Gate Array)等の他のプロセッサーであってもよい。プロセッサー41は、メモリー42に格納された各種のプログラムを実行する。
メモリー42は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、ROM(Read−Only Memory)、RAM(Random Access Memory)等を含む。なお、メモリー42は、情報処理装置40に内蔵されるものに代えて、USB等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー42は、情報処理装置40が処理する各種の情報、各種の画像、各種のプログラム等を格納する。
入力受付部43は、例えば、キーボード、マウス、タッチパッド、その他の入力装置である。なお、入力受付部43は、これらに代えて、表示部45と一体に構成されたタッチパネルであってもよい。また、入力受付部43は、情報処理装置40と別体であってもよい。この場合、入力受付部43は、有線又は無線によって情報処理装置40と通信可能に接続される。
通信部44は、例えば、USB等のデジタル入出力ポート、イーサネット(登録商標)ポート等を含んで構成される。
表示部45は、例えば、液晶ディスプレイパネル、有機EL(ElectroLuminescence)ディスプレイパネル等である。なお、表示部45は、情報処理装置40と別体であってもよい。この場合、表示部45は、有線又は無線によって情報処理装置40と通信可能に接続される。
<情報処理装置の機能構成>
以下、図3を参照し、情報処理装置40の機能構成について説明する。図3は、情報処理装置40の機能構成の一例を示す図である。
以下、図3を参照し、情報処理装置40の機能構成について説明する。図3は、情報処理装置40の機能構成の一例を示す図である。
情報処理装置40は、メモリー42と、入力受付部43と、通信部44と、表示部45と、制御部46を備える。
制御部46は、情報処理装置40の全体を制御する。制御部46は、受付部461と、取得部463と、生成部465と、判定部467と、設定部469と、画像処理部471と、表示制御部473と、撮像制御部475と、出力部477を備える。制御部46が備えるこれらの機能部は、例えば、プロセッサー41が、メモリー42に記憶された各種のプログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
受付部461は、入力受付部43を介してユーザーから受け付けた各種の情報を、情報処理装置40への入力として受け付ける。また、受付部461は、入力受付部43を介してユーザーから受け付けた操作に応じて、メモリー42に予め記憶された各種の情報を、情報処理装置40への入力として受け付ける。
取得部463は、撮像部25が撮像した撮像画像を撮像部25から取得する。
生成部465は、受付部461により受け付けられた形状データSDに基づいて、モデル候補を生成する。ここで、形状データSDは、対象物体Oの形状を示すデータのことである。より具体的には、形状データSDには、対象物体が有する各辺の相対的な位置関係を示す情報とともに、対象物体Oが有する各辺の相対的な比率を示す情報が含まれている。形状データSDは、例えば、対象物体Oの形状を示すCADデータである。なお、形状データSDは、CADデータに代えて、対象物体Oの形状を示す他のデータであってもよい。モデル候補は、テンプレートマッチングにおいて用いられるテンプレートモデルの候補のことである。
判定部467は、生成部465により生成されたモデル候補と、取得部463が取得した撮像画像に含まれる対象物体Oとの一致度を算出する。判定部467は、算出した一致度が予め決められた第1条件を満たすか否かを判定する。第1条件については、後述する。
設定部469は、基準寸法単位を情報処理装置40に設定する。
画像処理部471は、ロボット制御装置30からの要求に応じて、取得部463が取得した撮像画像に基づく画像処理を行う。以下では、一例として、当該画像処理が、生成部465により生成されたモデル候補のうちの1つをテンプレートモデルとして用いたテンプレートマッチングである場合について説明する。
表示制御部473は、表示部45に表示させる各種の画像を生成する。表示制御部473は、生成した画像を表示部45に表示させる。
撮像制御部475は、撮像部25が撮像可能な範囲を撮像部25に撮像させる。
出力部477は、各種の情報を他の装置に出力する。例えば、出力部477は、画像処理部471により行われた画像処理の結果を、当該他の装置に出力する。ここで、当該他の装置は、例えば、ロボット制御装置30である。
<情報処理装置に基準寸法単位を設定する方法の具体例1>
以下、図4を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例1について説明する。図4は、情報処理装置40に基準寸法単位を設定する方法の流れの一例を示す図である。
以下、図4を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例1について説明する。図4は、情報処理装置40に基準寸法単位を設定する方法の流れの一例を示す図である。
以下では、一例として、図4に示したステップS110の手順が行われるよりも前のタイミングにおいて、表示制御部473が基準寸法単位設定画像を表示部45に表示させている場合について説明する。基準寸法単位設定画像は、表示制御部473により生成された画像である。表示制御部473は、ユーザーから受け付けた操作に応じて、基準寸法単位設定画像を生成する。表示制御部473は、生成した基準寸法単位設定画像を表示部45に表示させる。
また、以下では、一例として、図4に示したステップS110の手順が行われるよりも前のタイミングにおいて、撮像条件が満たされている場合について説明する。撮像条件は、第1撮像条件と第2撮像条件との2つの条件が満たされること、である。第1撮像条件は、撮像部25の位置及び姿勢が予め決められた撮像位置及び撮像姿勢と一致又はほぼ一致していること、である。第2撮像条件は、対象物体Oの位置及び姿勢が予め決められた載置位置及び載置姿勢と一致又はほぼ一致していること、である。撮像部25の位置は、本実施形態において、撮像部25が有する撮像素子上の位置のうち撮像部25の光軸と当該撮像素子とが交差する位置によって表される。また、撮像部25の姿勢は、本実施形態において、撮像部25の光軸の、ロボット座標系RCにおける方向によって表される。対象物体Oの位置は、本実施形態において、対象物体Oの重心の位置によって表される。また、対象物体Oの姿勢は、本実施形態において、対象物体Oに対応づけられた三次元局所座標系における各座標軸の、ロボット座標系RCにおける方向によって表される。なお、撮像部25の位置は、撮像部25に応じた他の位置によって表される構成であってもよい。また、撮像部25の姿勢は、撮像部25に応じて決められる他の方向によって表される構成であってもよい。また、対象物体Oの位置は、対象物体Oに応じた他の位置によって表される構成であってもよい。また、対象物体Oの姿勢は、対象物体Oに応じた他の方向によって表される構成であってもよい。
また、以下では、一例として、図4に示したステップS110の手順が行われるよりも前のタイミングにおいて、前述の形状データSDが、ユーザーによりメモリー42に記憶されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、倍率情報が、ユーザーによりメモリー42に記憶されている場合について説明する。ここで、倍率情報は、撮像条件が満たされている場合において撮像部25により撮像された撮像画像に含まれる対象物体Oの寸法を、対象物体Oの実際の寸法に一致させるために、当該撮像画像に含まれる対象物体Oの寸法に対して乗じる倍率を示す情報のことである。また、倍率情報が示す倍率は、光学的なシミュレーション、事前に行う撮像試験等によって予め特定された倍率である。
ユーザーは、表示部45に予め表示された基準寸法単位設定画像を介して、情報処理装置40に対してユーザーが所望する寸法単位候補を入力する(ステップS110)。寸法単位候補は、基準寸法単位として用いる寸法単位の候補のことである。ここで、ステップS110では、受付部461は、基準寸法単位設定画像を介してユーザーから受け付けた操作に応じて、ユーザーが所望する寸法単位候補を、ユーザーから情報処理装置40への入力として受け付ける。
次に、ユーザーは、表示部45に予め表示された基準寸法単位設定画像を介して、対象物体Oを撮像部25に撮像させる(ステップS120)。ここで、ステップS120では、撮像制御部475は、基準寸法単位設定画像を介してユーザーから受け付けた操作に応じて、撮像部25が撮像可能な範囲を撮像部25に撮像させる。
次に、ユーザーは、ステップS120において撮像部25に撮像させた撮像画像を、情報処理装置40に撮像部25から取得させる(ステップS130)。ここで、ステップS130では、取得部463は、ステップS120において撮像部25が撮像した撮像画像を撮像部25から取得する。なお、取得部463は、ユーザーから受け付けた操作に応じて、撮像画像を撮像部25から取得する構成であってもよく、ユーザーから操作を受け付けることなく、撮像画像を撮像部25から取得する構成であってもよい。以下では、一例として、取得部463が、ユーザーから操作を受け付けることなく、撮像画像を撮像部25から取得する構成である場合について説明する。
なお、ステップS120及びステップS130の2つのステップと、ステップS110とは、図4に示したフローチャートにおいて、順序が逆であってもよく、並列に行われてもよい。
次に、ユーザーは、メモリー42に予め記憶された形状データSDと、メモリー42に予め記憶された倍率情報とのそれぞれを情報処理装置40にメモリー42から読み出させる(ステップS140)。ここで、ステップS140では、生成部465は、メモリー42に予め記憶された形状データSDと、メモリー42に予め記憶された倍率情報とのそれぞれをメモリー42から読み出す。なお、生成部465は、ユーザーから受け付けた操作に応じて、形状データSD及び倍率情報をメモリー42から読み出す構成であってもよく、ユーザーから操作を受け付けることなく、形状データSD及び倍率情報をメモリー42から読み出す構成であってもよい。以下では、一例として、生成部465が、ユーザーから操作を受け付けることなく、形状データSD及び倍率情報をメモリー42から読み出す構成である場合について説明する。また、形状データSDと倍率情報とは、いずれかが先にメモリー42から生成部465によって読み出されてもよく、並列にメモリー42から生成部465によって読み出されてもよい。
次に、ユーザーは、ステップS110において受付部461が受け付けた寸法単位候補と、ステップS140において読み出した形状データSD及び倍率情報に基づいて、当該寸法単位候補に応じたモデル候補を情報処理装置40に生成させる(ステップS150)。ここで、ステップS150では、生成部465は、当該寸法単位候補と、当該形状データSD及び当該倍率情報に基づいて、当該モデル候補を生成する。なお、生成部465は、ユーザーから受け付けた操作に応じて、当該モデル候補を生成する構成であってもよく、ユーザーから操作を受け付けることなく、当該モデル候補を生成する構成であってもよい。以下では、一例として、生成部465が、ユーザーから操作を受け付けることなく、当該モデル候補を生成する構成である場合について説明する。また、ステップS150における生成部465による当該モデル候補の生成方法は、既知の方法であってもよく、これから開発される方法であってもよい。例えば、最も簡単な当該生成方法は、寸法の基準を当該寸法単位候補として用いて当該形状データSDが示す形状のモデルを生成し、生成したモデルの寸法を当該倍率情報が示す倍率によってスケーリングした後のモデルを、当該モデル候補として生成する方法である。換言すると、当該最も簡単な当該生成方法は、当該寸法単位候補に対応させて当該形状データSDをスケーリングしたモデルを、当該モデル候補として生成する方法である。すなわち、当該生成方法は、当該寸法単位候補に基づいて当該形状データSDをスケーリングしたモデル候補を生成する方法である。
次に、ユーザーは、ステップS130において取得部463が取得した撮像画像に基づく領域画像と、ステップS150において生成したモデル候補とを、情報処理装置40の表示部45上に表示させる(ステップS160)。ここで、ステップS160では、表示制御部473は、当該領域画像と、当該モデル候補とを、前述の基準寸法単位設定画像上に表示させる(ステップS160)。ここで、領域画像は、撮像画像に基づく画像であり、撮像画像上の領域のうち対象物体Oを含む領域の画像である。以下では、一例として、領域画像が、当該撮像画像そのものである場合について説明する。なお、領域画像は、当該撮像画像から当該領域を抽出した画像、すなわち、当該撮像画像から当該領域を切り出した画像であってもよい。なお、表示制御部473は、ユーザーから受け付けた操作に応じて、当該領域画像及び当該モデル候補を基準寸法単位設定画像上に表示させる構成であってもよく、ユーザーから操作を受け付けることなく、当該領域画像及び当該モデル候補を基準寸法単位設定画像上に表示させる構成であってもよい。以下では、一例として、表示制御部473が、ユーザーから操作を受け付けることなく、当該領域画像及び当該モデル候補を基準寸法単位設定画像上に表示させる構成である場合について説明する。
次に、ユーザーは、基準寸法単位設定画像上に表示された領域画像とモデル候補とを比較し、当該領域画像に含まれる対象物体Oの大きさと、当該モデル候補の大きさとが一致又はほぼ一致しているか否かを判定する(ステップS170)。ステップS170において、ユーザーは、このような判定を目測によって行う。
基準寸法単位設定画像上に表示された領域画像に含まれる対象物体Oの大きさと、基準寸法単位設定画像上に表示されたモデル候補の大きさとが一致していないと判定した場合(ステップS170−NO)、ユーザーは、ステップS110に遷移し、基準寸法単位設定画像を介して、これまでに未選択の寸法単位候補を情報処理装置40に入力する。
一方、基準寸法単位設定画像上に表示された領域画像に含まれる対象物体Oの大きさと、基準寸法単位設定画像上に表示されたモデル候補の大きさとが一致又はほぼ一致していると判定した場合(ステップS170−YES)、ユーザーは、基準寸法単位設定画像を介して、直前に行ったステップS110において入力した寸法単位候補を、基準寸法単位として情報処理装置40に設定し(ステップS180)、情報処理装置40への基準寸法単位の設定を終了する。ここで、ステップS180では、設定部469は、基準寸法単位設定画像を介してユーザーから受け付けた操作に応じて、当該寸法単位候補を、基準寸法単位としてメモリー42に記憶させる。これにより、設定部469は、当該寸法単位候補を、基準寸法単位として情報処理装置40に設定する。なお、設定部469は、ステップS150において生成部465が生成したモデル候補を、テンプレートモデルとしてメモリー42に記憶させることにより、当該寸法単位候補を基準寸法単位として情報処理装置40に設定する構成であってもよく、他の方法によって当該寸法単位候補を基準寸法単位として情報処理装置40に設定する構成であってもよい。
ここで、情報処理装置40に基準寸法単位をユーザーが設定する方法、すなわち、図4に示したフローチャートの手順によってユーザーが行う寸法単位設定方法は、対象物体Oの形状を示す形状データSDを入力する入力ステップと、対象物体Oを含む領域を撮像した撮像画像を取得する取得ステップと、形状データSDと撮像画像に基づいて、基準寸法単位を設定する設定ステップと、を有すると換言することができる。これにより、当該寸法単位設定方法は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
また、図4に示したフローチャートの手順によってユーザーが行う寸法単位設定方法は、更に、寸法単位候補を受け付ける受付ステップと、受付ステップにより受け付けられた寸法単位候補に基づいて形状データをスケーリングしたモデル候補を生成する生成ステップと、生成ステップにより生成されたモデル候補を、取得ステップにより取得された画像であって対象物体Oを含む領域を含む領域画像とともに表示部45に表示させる表示ステップと、を有する。そして、設定ステップは、表示ステップにより表示されたモデル候補と領域画像とが決められた判定条件を満たす場合、表示ステップにより表示されたモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する。判定条件は、モデル候補の大きさと、領域画像に含まれる対象物体Oの大きさとが一致又はほぼ一致していること、である。これにより、当該寸法単位設定方法は、表示部45に表示されたモデル候補と、表示部45に表示された領域画像に含まれる対象物体Oとに基づいて、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
<基準寸法単位設定画像>
ここで、上記において説明した基準寸法単位設定画像について説明する。図5は、基準寸法単位設定画像の一例を示す図である。図5に示した画像P1は、基準寸法単位設定画像の一例を示す。
ここで、上記において説明した基準寸法単位設定画像について説明する。図5は、基準寸法単位設定画像の一例を示す図である。図5に示した画像P1は、基準寸法単位設定画像の一例を示す。
画像P1は、例えば、プルダウンメニューPDと、第1領域R1と、第2領域R2と、ボタンB1と、ボタンB2との5つのGUI(Graphical User Interface)を有する。なお、画像P1は、これら5つのGUIに加えて、他のGUIを有する構成であってもよい。
プルダウンメニューPDは、画像P1上において、ユーザーから受け付けた操作に応じて、複数の互いに異なる寸法単位候補のリストを表示させる。表示制御部473は、例えば、プルダウンメニューPDに対してクリック、タップ等の操作をユーザーから受け付けた場合、画像P1上において当該リストを表示させる。また、表示制御部473は、当該リストが表示されている場合において、当該リストに含まれる複数の寸法単位候補のうちのある寸法単位候補に対してユーザーから操作を受け付けると、画像P1上において当該リストの表示を削除するとともに、プルダウンメニューPDが有する表示欄に当該寸法単位候補を表示させる。そして、受付部461は、プルダウンメニューPDが有する表示欄に表示された寸法単位候補を、ユーザーにより情報処理装置40へ入力された寸法単位候補として受け付ける。
図4に示したステップS110では、ユーザーは、プルダウンメニューPDに対して操作を行うことにより、ユーザーが所望する寸法単位候補を情報処理装置40に入力する。情報処理装置40の受付部461は、プルダウンメニューPDが有する表示欄に表示された寸法単位候補を、ユーザーから情報処理装置40への入力として受け付ける。また、生成部465は、図4に示したステップS150において、このようにして受付部461が受け付けた寸法単位候補に基づいて、モデル候補を生成する。
第1領域R1は、画像P1が有する領域のうち、図4に示したステップS160において表示制御部473がモデル候補を表示する領域である。図5に示した画像M11は、当該モデル候補の一例である。このため、画像M11は、プルダウンメニューPDが有する表示欄に表示されている寸法単位候補に応じたモデル候補である。当該モデル候補は、すなわち、当該寸法単位候補に基づいて生成部465により生成されたモデル候補のことである。図5に示した例では、画像M11は、当該表示欄に表示されている「寸法単位候補1」に応じたモデル候補である。「寸法単位候補1」は、例えば、インチである。なお、「寸法単位候補1」は、インチに代えて、他の寸法単位であってもよい。
第2領域R2は、画像P1が有する領域のうち、図4に示したステップS160において表示制御部473が領域画像を表示する領域である。また、第2領域R2は、画像P1が有する領域のうち第1領域R1と異なる領域である。このため、第1領域R1に表示されたモデル候補と、第2領域に表示された領域画像とは、重なり合っていない。換言すると、表示制御部473は、当該モデル候補と当該領域画像とを重なり合わせることなく表示部45に表示させる。更に換言すると、表示制御部473は、当該モデル候補と当該領域画像とを互いに離間させて表示部45に表示させる。図5に示した画像M21は、当該領域画像の一例である。本実施形態において、領域画像は、撮像部25により撮像された撮像画像そのものである。このため、画像M21は、撮像画像の一例でもある。
図5に示した例では、画像P1上には、モデル候補と領域画像とが重なり合うことなく表示されている。すなわち、当該例では、表示制御部473は、モデル候補と領域画像とを、互いに重なり合わせることなく画像P1上に表示させている。
ボタンB1は、撮像部25が撮像可能な範囲を撮像部25に撮像させるボタンである。ボタンB1に対して、クリック、タップ等の操作が行われた場合、撮像制御部475は、撮像部25を制御し、当該範囲を撮像部25に撮像させる。図4に示したステップS120では、このように当該範囲の撮像が行われる。その後、取得部463は、図4に示したステップS130において、撮像部25が撮像した撮像画像を撮像部25から取得する。
ボタンB2は、プルダウンメニューPDが有する表示欄に表示された寸法単位候補を、基準寸法単位として情報処理装置40に設定するボタンである。ボタンB2に対して、クリック、タップ等の操作が行われた場合、設定部469は、当該寸法単位候補を、基準寸法単位として情報処理装置40に設定する。図4に示したステップS180では、設定部469は、このように当該寸法単位候補を基準寸法単位として情報処理装置40に設定する。
ここで、ユーザーは、図4に示したステップS170において、第1領域R1に表示されたモデル候補と、第2領域R2に表示された領域画像とを目測で比較し、当該モデル候補の大きさと当該領域画像に含まれる対象物体Oの大きさとが一致しているか否かを判定する。なお、図5は、当該モデル候補の一例である画像M11の大きさと、当該領域画像の一例である画像M21に含まれる対象物体Oの大きさとが一致していない場合の基準寸法単位設定画像の一例でもある。図5に示したように、当該場合、ユーザーは、前述した通り、ステップS110に遷移し、画像P1を介して、これまでに未選択の寸法単位候補を情報処理装置40に入力する。例えば、ユーザーは、当該場合、図6に示したように、プルダウンメニューPDに対して再び操作を行い、プルダウンメニューPDが有する表示欄に表示されている寸法単位候補を「寸法単位候補1」から「寸法単位候補2」に変える。図6は、プルダウンメニューPDが有する表示欄に「寸法単位候補2」が表示された場合における画像P1の一例を示す図である。「寸法単位候補2」は、例えば、ミリメートルである。なお、「寸法単位候補2」は、ミリメートルに変えて、インチ以外の他の寸法単位であってもよい。
図6に示した第1領域R1には、画像M11に代えて、画像M12が表示されている。プルダウンメニューPDに表示された寸法単位候補が「寸法単位候補1」から「寸法単位候補2」に変えられた場合、生成部465は、「寸法単位候補2」に基づいて、「寸法単位候補2」に応じたモデル候補を生成する。当該第1領域R1に表示された画像M12は、当該モデル候補の一例である。なお、図6は、第1領域R1に表示されたモデル候補の大きさと、第2領域R2に表示された領域画像に含まれる対象物体Oの大きさとが一致している場合の基準寸法単位設定画像の一例でもある。当該場合、ユーザーは、ボタンB2に対して、クリック、タップ等の操作を行う。これにより、ユーザーは、プルダウンメニューPDが有する表示欄に表示された寸法単位候補を、基準寸法単位として情報処理装置40に設定することができる。図6に示した例では、ユーザーは、ボタンB2に対して当該操作を行うことにより、「寸法単位候補2」を基準寸法単位として情報処理装置40に設定することができる。
なお、図5及び図6に示した例では、ユーザーは、前述した通り、第1領域R1に表示されたモデル候補と、第2領域R2に表示された領域画像とを目測で比較する。このため、ユーザーは、当該モデル候補の大きさと当該領域画像に含まれる対象物体Oの大きさとが一致しているか否かを判定することが困難な場合がある。これを解消するため、表示制御部473は、第1領域R1に表示されたモデル候補の大きさと、第2領域R2に表示された領域画像に含まれる対象物体Oの大きさとが一致又はほぼ一致している場合、例えば、当該モデル候補の色、明るさ等の当該モデル候補の表示態様を、当該場合における表示態様へ、当該場合と異なる場合における表示態様から変化させる構成であってもよい。これにより、情報処理装置40は、当該モデル候補の大きさと、当該領域画像に含まれる対象物体Oの大きさとが一致又はほぼ一致していることを、ユーザーに報せることができる。
また、表示制御部473は、図7に示したように、当該モデル候補と当該対象物体Oとを重ねて第1領域R1に表示させる構成であってもよい。
図7は、第2領域R2に表示された領域画像に含まれる対象物体Oが第1領域R1においてモデル候補と重ねて表示されている場合における画像P1の一例を示す図である。図7に示した例では、プルダウンメニューPDが有する表示欄には、寸法単位候補として「寸法単位候補1」が表示されている。この場合、第1領域R1には、前述した通り、画像M11が表示されている。そして、当該例では、第1領域R1では、当該領域画像に含まれる対象物体Oが、画像VOとして画像M11の上に重ねて表示されている。当該場合、表示制御部473は、領域画像から対象物体Oの輪郭によって囲まれた領域を、画像VOとして切り抜く。換言すると、当該場合、表示制御部473は、領域画像から当該領域を、画像VOとして抽出する。そして、表示制御部473は、第1領域R1において、画像M11の上に画像VOを重ねて表示する。ここで、本実施形態では、第1領域R1に表示されたある画像の上とは、表示部45において当該画像よりも手前側のことを意味する。また、本実施形態では、第1領域R1に表示されたある画像の下とは、表示部45において当該画像よりも奥側のことを意味する。なお、表示制御部473は、画像M11と画像VOとのうち小さい画像を大きい画像の上に重ねて表示する構成であってもよく、画像M11と画像VOとのうち大きい画像を小さい画像の上に重ねて表示する構成であってもよい。ただし、画像M11と画像VOとのうち大きい画像を小さい画像の上に重ねて表示する構成である場合、表示制御部473は、例えば、当該大きい画像の透過率を上げ、当該大きい画像から透けて当該小さい画像が見えるように、画像VOと画像M11を第1領域R1に表示させる。
図7に示したように、第1領域R1において画像M11と画像VOとが重ねて表示されている場合、ユーザーは、画像M11の大きさと画像VOの大きさとの比較を容易に行うことができる。これはすなわち、ユーザーが、第1領域R1に表示されたモデル候補の大きさと、第2領域R2に表示された領域画像に含まれる対象物体Oの大きさとを容易に比較することができることを意味する。
なお、表示制御部473は、図7に示した画像VOの表示態様を、第1領域R1に表示されたモデル候補の表示態様と異なる表示態様にして、画像VOとモデル候補とを第1領域R1に表示させる構成であってもよい。例えば、表示制御部473は、図7に示した画像VOの色を、第1領域R1に表示されたモデル候補の色と異なる色にして、画像VOとモデル候補とを第1領域R1に表示させる構成であってもよい。また、例えば、表示制御部473は、図7に示した画像VOの明るさを、第1領域R1に表示されたモデル候補の明るさと異なる明るさにして、画像VOとモデル候補とを第1領域R1に表示させる構成であってもよい。また、例えば、表示制御部473は、図7に示した画像VOのハッチングを、第1領域R1に表示されたモデル候補のハッチングと異なるハッチングにして、画像VOとモデル候補とを第1領域R1に表示させる構成であってもよい。
また、表示制御部473は、第2領域R2において、モデル候補と、領域画像に含まれる対象物体Oとを重ねて表示させる構成であってもよい。また、表示制御部473は、第1領域R1と第2領域R2とをまとめた1つの領域を画像P1上に表示させ、当該領域において、モデル候補と、領域画像に含まれる対象物体Oとを重ねて表示させる構成であってもよい。
以上のようにして、ユーザーは、基準寸法単位設定画像を介して情報処理装置40を操作し、適切な寸法単位候補を、基準寸法単位として情報処理装置40に設定することができる。その結果、ユーザーは、基準寸法単位として誤った寸法単位を設定してしまうことを抑制することができる。換言すると、情報処理装置40は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
<情報処理装置に基準寸法単位を設定する方法の具体例2>
以下、図8を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例2について説明する。図8は、情報処理装置40に基準寸法単位を設定する方法の流れの他の例を示す図である。
以下、図8を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例2について説明する。図8は、情報処理装置40に基準寸法単位を設定する方法の流れの他の例を示す図である。
以下では、一例として、図8に示したステップS210の手順が行われるよりも前のタイミングにおいて、表示制御部473が第2基準寸法単位設定画像を表示部45に表示させている場合について説明する。第2基準寸法単位設定画像は、表示制御部473により生成された画像である。表示制御部473は、ユーザーから受け付けた操作に応じて、第2基準寸法単位設定画像を生成する。表示制御部473は、生成した第2基準寸法単位設定画像を表示部45に表示させる。
また、以下では、一例として、図8に示したステップS210の手順が行われるよりも前のタイミングにおいて、前述の撮像条件が満たされている場合について説明する。
また、以下では、一例として、図8に示したステップS210の手順が行われるよりも前のタイミングにおいて、前述の形状データSDが、ユーザーによりメモリー42に記憶されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、倍率情報が、ユーザーによりメモリー42に記憶されている場合について説明する。
ユーザーは、表示部45に予め表示された第2基準寸法単位設定画像を介して、情報処理装置40に対してユーザーが所望する複数の寸法単位候補を入力する(ステップS210)。ここで、ステップS210では、受付部461は、第2基準寸法単位設定画像を介してユーザーから受け付けた操作に応じて、ユーザーが所望する複数の互いに異なる寸法単位候補を、ユーザーから情報処理装置40への入力として受け付ける。なお、メモリー42には、複数の互いに異なる寸法単位候補のそれぞれを示す情報が予め記憶されている構成であってもよい。この場合、ステップS210では、受付部461は、メモリー42から当該情報を読み出し、読み出した当該情報が示す複数の寸法単位候補のそれぞれを、情報処理装置40への入力として受け付ける。
次に、ユーザーは、表示部45に予め表示された第2基準寸法単位設定画像を介して、対象物体Oを撮像部25に撮像させる(ステップS220)。ここで、ステップS220では、撮像制御部475は、第2基準寸法単位設定画像を介して受け付けた操作に応じて、撮像部25が撮像可能な範囲を撮像部25に撮像させる。
次に、ユーザーは、ステップS220において撮像部25に撮像させた撮像画像を、情報処理装置40に撮像部25から取得させる(ステップS230)。ここで、ステップS230では、取得部463は、ステップS220において撮像部25が撮像した撮像画像を撮像部25から取得する。なお、取得部463は、ユーザーから受け付けた操作に応じて、撮像画像を撮像部25から取得する構成であってもよく、ユーザーから操作を受け付けることなく、撮像画像を撮像部25から取得する構成であってもよい。以下では、一例として、取得部463が、ユーザーから操作を受け付けることなく、撮像画像を撮像部25から取得する構成である場合について説明する。
なお、ステップS220及びステップS230の2つのステップと、ステップS210とは、図8に示したフローチャートにおいて、順序が逆であってもよく、並列に行われてもよい。
次に、ユーザーは、メモリー42に予め記憶された形状データSDと、メモリー42に予め記憶された倍率情報とのそれぞれを情報処理装置40にメモリー42から読み出させる(ステップS240)。ここで、ステップS240では、生成部465は、メモリー42に予め記憶された形状データSDと、メモリー42に予め記憶された倍率情報とのそれぞれをメモリー42から読み出す。なお、ステップS240では、生成部465は、ユーザーから受け付けた操作に応じて、形状データSD及び倍率情報をメモリー42から読み出す構成であってもよく、ユーザーから操作を受け付けることなく、形状データSD及び倍率情報をメモリー42から読み出す構成であってもよい。以下では、一例として、生成部465が、ユーザーから操作を受け付けることなく、形状データSD及び倍率情報をメモリー42から読み出す構成である場合について説明する。また、形状データSDと倍率情報とは、いずれかが先にメモリー42から生成部465によって読み出されてもよく、並列にメモリー42から生成部465によって読み出されてもよい。
次に、ユーザーは、ステップS210において受付部461が受け付けた複数の寸法単位候補の中から1つずつ寸法単位候補を対象寸法単位候補として情報処理装置40に選択させ、選択させた対象寸法単位候補毎に、ステップS260の手順を繰り返し行う(ステップS250)。ここで、ステップS250では、生成部465は、ステップS210において受付部461が受け付けた複数の寸法単位候補の中から1つずつ寸法単位候補を対象寸法単位候補として選択する。なお、ステップS250では、生成部465は、ユーザーから受け付けた操作に応じて、対象寸法単位候補を選択する構成であってもよく、ユーザーから操作を受け付けることなく、対象寸法単位候補を選択する構成であってもよい。以下では、一例として、生成部465が、ユーザーから操作を受け付けることなく、対象寸法単位候補を選択する構成である場合について説明する。
ユーザーは、ステップS250において選択された対象寸法単位候補と、ステップS240において読み出した形状データSD及び倍率情報に基づいて、対象寸法単位候補に応じたモデル候補を情報処理装置40に生成させる(ステップS260)。ここで、ステップS260では、生成部465は、ステップS250において選択された対象寸法単位候補と、ステップS240において読み出した形状データSD及び倍率情報に基づいて、対象寸法単位候補に応じたモデル候補を生成する。なお、ステップS260では、生成部465は、ユーザーから受け付けた操作に応じて、当該モデル候補を生成する構成であってもよく、ユーザーから操作を受け付けることなく、当該モデル候補を生成する構成であってもよい。以下では、一例として、生成部465が、ユーザーから操作を受け付けることなく、当該モデル候補を生成する構成である場合について説明する。また、生成部465による当該モデル候補の生成方法は、図4に示したステップS150において説明した生成部465によるモデル候補の生成方法と同様の方法であるため、説明を省略する。
ステップS260において対象寸法単位候補に応じたモデル候補を生成した後、ユーザーは、ステップS250に遷移し、次の対象寸法単位候補を未選択の寸法単位候補の中から選択する。なお、ユーザーは、ステップS250において未選択の寸法単位候補が存在しない場合、ステップS250〜ステップS260の繰り返し手順を終了する。本実施形態では、ステップS260において対象寸法単位候補に応じたモデル候補を生成した後、生成部465は、ステップS250に遷移し、次の対象寸法単位候補を未選択の寸法単位候補の中から選択する。そして、生成部465は、当該場合、ステップS250〜ステップS260において繰り返し行う処理を終了する。
ステップS250〜ステップS260の繰り返し手順を終了した後、ユーザーは、ステップS230において取得部463が取得した撮像画像に基づく領域画像と、当該繰り返し処理によって生成された複数のモデル候補とを、情報処理装置40の表示部45に表示させる(ステップS270)。ここで、ステップS270では、表示制御部473は、ステップS230において取得部463が取得した撮像画像に基づく領域画像と、当該繰り返し処理によって生成された複数のモデル候補とを、前述の第2基準寸法単位設定画像上に表示させる。なお、ステップS270では、表示制御部473は、ユーザーから受け付けた操作に応じて、当該領域画像及び当該複数のモデル候補を第2基準寸法単位設定画像上に表示させる構成であってもよく、ユーザーから操作を受け付けることなく、当該領域画像及び当該複数のモデル候補を第2基準寸法単位設定画像上に表示させる構成であってもよい。以下では、一例として、表示制御部473が、ユーザーから操作を受け付けることなく、当該領域画像及び当該複数のモデル候補を第2基準寸法単位設定画像上に表示させる構成である場合について説明する。
次に、ユーザーは、第2基準寸法単位設定画像上に表示された領域画像と複数のモデル候補とを比較し、当該領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致するモデル候補が、当該複数のモデル候補の中に含まれているか否かを判定する(ステップS280)。ステップS280において、ユーザーは、このような判定を目測によって行う。
第2基準寸法単位設定画像上に表示された領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致するモデル候補が、第2基準寸法単位設定画像上に表示された複数のモデル候補の中に含まれていないと判定した場合(ステップS280−NO)、ユーザーは、ステップS110に遷移し、第2基準寸法単位設定画像を介して、これまでに未選択の1以上の寸法単位候補を情報処理装置40に入力する。
一方、第2基準寸法単位設定画像上に表示された領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致するモデル候補が、第2基準寸法単位設定画像上に表示された複数のモデル候補の中に含まれていると判定した場合(ステップS280−YES)、ユーザーは、第2基準寸法単位設定画像を介して、ユーザーが当該対象物体Oの大きさと一致又はほぼ一致するモデル候補として特定したモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として情報処理装置40に設定し(ステップS290)、情報処理装置40への基準寸法単位の設定を終了する。ここで、ステップS290では、設定部469は、第2基準寸法単位設定画像を介してユーザーから受け付けた操作に応じて、当該寸法単位候補を、基準寸法単位としてメモリー42に記憶させる。これにより、設定部469は、当該寸法単位候補を、基準寸法単位として情報処理装置40に設定する。なお、設定部469は、当該モデル候補を、テンプレートモデルとしてメモリー42に記憶させることにより、当該寸法単位候補を基準寸法単位として情報処理装置40に設定する構成であってもよく、他の方法によって当該寸法単位候補を基準寸法単位として情報処理装置40に設定する構成であってもよい。
ここで、情報処理装置40に基準寸法単位をユーザーが設定する方法、すなわち、図8に示したフローチャートの手順によってユーザーが行う寸法単位設定方法は、対象物体Oの形状を示す形状データSDを入力する入力ステップと、対象物体Oを含む領域を撮像した撮像画像を取得する取得ステップと、形状データSDと撮像画像に基づいて、基準寸法単位を設定する設定ステップと、を有すると換言することができる。これにより、当該寸法単位設定方法は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
また、図8に示したフローチャートによってユーザーが行う寸法単位設定方法では、更に、受付ステップは、複数の寸法単位候補を受け付け、生成ステップは、受付ステップにより受け付けられた複数の寸法単位候補のそれぞれについて、寸法単位候補に基づいて形状データSDをスケーリングしたモデル候補を生成し、表示ステップは、生成ステップにより生成された複数のモデル候補のそれぞれを、領域画像とともに表示部45に表示させ、設定ステップは、生成ステップにおいて生成された複数のモデル候補のうち判定条件を満たすモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する。これにより、当該寸法単位設定方法は、表示部45に表示された複数のモデル候補と、表示部45に表示された領域画像に含まれる対象物体Oとに基づいて、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
<第2基準寸法単位設定画像>
ここで、上記において説明した第2基準寸法単位設定画像について説明する。図9は、第2基準寸法単位設定画像の一例を示す図である。図9に示した画像P2は、第2基準寸法単位設定画像の一例を示す。
ここで、上記において説明した第2基準寸法単位設定画像について説明する。図9は、第2基準寸法単位設定画像の一例を示す図である。図9に示した画像P2は、第2基準寸法単位設定画像の一例を示す。
画像P2は、例えば、寸法単位候補入力領域IFと、第1領域R11と、第2領域R2と、ボタンB1と、ボタンB21との5つのGUIを有する。なお、画像P2は、これら5つのGUIに加えて、他のGUIを有する構成であってもよい。また、複数の寸法単位候補がメモリー42に予め記憶されており、図8に示したステップS210において、受付部461がメモリー42から当該複数の寸法単位候補をメモリー42から読み出す場合、画像P2は、寸法単位候補入力領域IFを有さない構成であってもよい。
寸法単位候補入力領域IFは、複数の寸法単位候補のそれぞれを入力する入力欄を有する。図9に示した例では、寸法単位候補入力領域IFは、複数の寸法単位候補のそれぞれを入力する入力欄として、入力欄IF1〜入力欄IF6の6個の入力欄を有する。なお、寸法単位候補入力領域IFは、6個よりも少ない入力欄を有する構成であってもよく、6個よりも多い入力欄を有する構成であってもよい。
寸法単位候補入力領域IFが有する6個の入力欄のうちのある入力欄に対してユーザーからある寸法単位候補が入力された場合、当該入力欄には、当該寸法単位候補が表示される。図9に示した例では、当該6個の入力欄のうちの4個の入力欄のそれぞれには、ユーザーから互いに異なる寸法単位候補が入力されている。当該例では、当該4個の入力欄のそれぞれには、「寸法単位候補11」、「寸法単位候補12」、「寸法単位候補13」、「寸法単位候補14」のいずれかが入力されている。受付部461は、寸法単位候補入力領域IFが有する複数の入力欄に寸法単位候補が入力された場合、当該複数の入力欄のそれぞれに入力されている寸法単位候補を、ユーザーにより情報処理装置40へ入力された寸法単位候補として受け付ける。すなわち、当該例では、受付部461は、「寸法単位候補11」、「寸法単位候補12」、「寸法単位候補13」、「寸法単位候補14」の4個の寸法単位候補をユーザーから情報処理装置40へ入力された複数の寸法単位候補として受け付ける。
図8に示したステップS210では、ユーザーは、寸法単位候補入力領域IFが有する複数の入力欄のそれぞれに対して操作を行うことにより、ユーザーが所望する複数の寸法単位候補を情報処理装置40に入力する。情報処理装置40の受付部461は、当該複数の入力欄のそれぞれに入力された寸法単位候補を、ユーザーから情報処理装置40への入力として受け付ける。また、生成部465は、図8に示したステップS250〜ステップS260の繰り返し手順において、このようにして受付部461が受け付けた寸法単位候補のそれぞれに基づいて、モデル候補を生成する。
第1領域R11は、画像P2が有する領域のうち、図8に示したステップS270において表示制御部473が複数のモデル候補を表示する領域である。図9に示した画像M31〜画像M34のそれぞれは、当該複数のモデル候補の一例である。例えば、画像M31は、前述の入力欄IF1に入力された寸法単位候補に応じたモデル候補である。当該寸法単位候補は、例えば、図9に示した「寸法単位候補11」である。また、例えば、画像M32は、入力欄IF2に入力された寸法単位候補に応じたモデル候補である。当該寸法単位候補は、例えば、図9に示した「寸法単位候補12」である。また、例えば、画像M33は、入力欄IF3に入力された寸法単位候補に応じたモデル候補である。当該寸法単位候補は、例えば、図9に示した「寸法単位候補13」である。また、例えば、画像M34は、入力欄IF4に入力された寸法単位候補に応じたモデル候補である。当該寸法単位候補は、例えば、図9に示した「寸法単位候補14」である。
また、第1領域R11では、ユーザーは、クリック、タップ等の操作によって、第1領域R11に表示されている複数のモデル候補のうちユーザーが所望するモデル候補を選択することができる。例えば、設定部469は、第1領域R11において、あるモデル候補を選択する操作をユーザーから受け付けた場合、当該モデル候補をユーザーにより選択されたモデル候補として特定する。
なお、設定部469は、ユーザーから操作を受け付けることなく、第1領域R11に表示されている複数のモデル候補のうち、第2領域R2に表示されている領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致する大きさのモデル候補を特定する構成であってもよい。この場合、表示制御部473は更に、設定部469により特定された当該モデル候補の表示態様を、他のモデル候補の表示態様と異なる表示態様にする構成であってもよい。
また、第1領域R11では、領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致する大きさのモデル候補の表示態様が、他のモデル候補の表示態様と異なる構成であってもよい。図9に示した例では、画像M32の大きさが、当該対象物体Oの大きさと一致又はほぼ一致している。このため、当該例では、画像M32の表示態様が、画像M31、画像M33、画像M34のそれぞれの表示態様と異なる。このような表示態様の違いは、色の違いであってもよく、明るさの違いであってもよく、他の表示態様の違いであってもよい。図9では、このような表示態様の違いを、画像M31〜画像M34それぞれのハッチングの有無の違いによって表している。これにより、ユーザーは、領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致する大きさのモデル候補を、複数のモデル候補の中から容易に特定することができる。
図9に示した第2領域R2の構成は、図5に示した第2領域R2の構成と同様の構成であるため、説明を省略する。
図9に示したボタンB1の構成は、図5に示したボタンB1の構成と同様の構成であるため、説明を省略する。
ボタンB21は、第1領域R11においてユーザーにより選択されたモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として情報処理装置40に設定するボタンである。ボタンB21に対して、クリック、タップ等の操作が行われた場合、設定部469は、ユーザーにより選択されたモデル候補であると第1領域R11において特定したモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として情報処理装置40に設定する。図8に示したステップS290では、設定部469は、このように当該寸法単位候補を基準寸法単位として情報処理装置40に設定する。
ここで、図9に示した第1領域R11では、複数のモデル候補のそれぞれは、互いに重ね合わされることなく表示されている。すなわち、図9に示した例では、表示制御部473は、複数のモデル候補のそれぞれを、互いに重ね合わせることなく第1領域R11に表示させる。換言すると、表示制御部473は、複数のモデル候補を、互いに離間させて第1領域R11に表示させる。しかしながら、表示制御部473は、図10に示したように、複数のモデル候補のそれぞれを重ねて第1領域R11に表示させる構成であってもよい。図10は、第2基準寸法単位設定画像の他の例を示す図である。図10に示した第1領域R11では、画像M31〜画像M34のそれぞれは、重ねて表示されている。より具体的には、第1領域R11では、下から上に向かって順に画像M34、画像M33、画像M32、画像M31が重ねて表示されている。すなわち、第1領域R11では、画像M34、画像M33、画像M32、画像M31のそれぞれが、大きさが小さい順に重ねて表示部45に表示されている。換言すると、第1領域R11では、画像M34、画像M33、画像M32、画像M31のそれぞれが、画像M34、画像M33、画像M32、画像M31それぞれのスケーリングに用いられた寸法単位候補が小さい順に重ねて表示部45に表示されている。ここで、本実施形態では、第1領域R11に表示されたある画像の上とは、表示部45において当該画像よりも手前側のことを意味する。また、本実施形態では、第1領域R11に表示されたある画像の下とは、表示部45において当該画像よりも奥側のことを意味する。なお、表示制御部473は、第1領域R11において大きいモデル候補ほど上に位置するように複数のモデル候補を重ねて表示させる構成であってもよく、第1領域R11において小さいモデル候補ほど上に位置するように複数のモデル候補を重ねて表示させる構成であってもよく、第1領域R11においてランダムに複数のモデル候補を重ねて表示させる構成であってもよい。
また、表示制御部473は、第1領域R11において、複数のモデル候補のそれぞれに対して、第2領域R2に表示された領域画像に含まれる対象物体Oを重ねて表示させる構成であってもよい。これにより、ユーザーは、領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致する大きさのモデル候補を、複数のモデル候補の中から、より容易に特定することができる。
また、表示制御部473は、複数のモデル候補を、互いに色を変えて第1領域R11に表示させる構成であってもよい。換言すると、表示制御部473は、複数のモデル候補を互いに異なる色で第1領域R11に表示させる構成であってもよい。これにより、情報処理装置40は、複数のモデル候補それぞれの違いをユーザーに容易に認識させることができる。
また、表示制御部473は、当該領域画像に含まれる対象物体Oの大きさと一致又はほぼ一致するモデル候補が、当該複数のモデル候補の中に含まれていない場合、撮像部25の位置及び姿勢が撮像位置及び撮像姿勢と一致していない可能性が高いため、撮像部25の位置及び姿勢が撮像位置及び撮像姿勢と一致していることを確認させる警告を示す警告情報を出力する構成であってもよい。例えば、表示制御部473は、当該場合、警告情報を表示部45に表示させる。なお、当該場合、出力部477が警告情報を他の装置に出力する構成であってもよい。また、警告情報は、他の警告を示す情報であってもよい。例えば、表示制御部473又は出力部477は、第1領域R11に表示された複数のモデル候補の中に、第2領域R2に表示された領域画像に含まれる対象物体Oの大きさよりも大きいモデル候補が含まれていない場合、撮像部25のレンズをより拡大率の高いレンズへの交換、撮像部25のワーキングディスタンスを短くすること等の修正を行うことを促す警告を示す情報を、警告情報として出力する構成であってもよい。また、例えば、表示制御部473又は出力部477は、第1領域R11に表示された複数のモデル候補の中に、第2領域R2に表示された領域画像に含まれる対象物体Oの大きさよりも小さいモデル候補が含まれていない場合、撮像部25のレンズをより拡大率の低いレンズへの交換、撮像部25のワーキングディスタンスを長くすること等の修正を行うことを促す警告を示す情報を、警告情報として出力する構成であってもよい。ここで、本実施形態において、撮像部25のワーキングディスタンスは、撮像部25の位置から対象物体Oの位置までの距離のことである。
<情報処理装置に基準寸法単位を設定する方法の具体例3>
以下、図11を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例3について説明する。図11は、情報処理装置40に基準寸法単位を設定する方法の流れの更に他の例を示す図である。
以下、図11を参照し、情報処理装置40に基準寸法単位を設定する方法の具体例3について説明する。図11は、情報処理装置40に基準寸法単位を設定する方法の流れの更に他の例を示す図である。
以下では、一例として、図11に示したステップS310の処理が行われるよりも前のタイミングにおいて、表示制御部473が第3基準寸法単位設定画像を表示部45に表示させている場合について説明する。第3基準寸法単位設定画像は、表示制御部473により生成された画像である。表示制御部473は、ユーザーから受け付けた操作に応じて、第3基準寸法単位設定画像を生成する。表示制御部473は、生成した第3基準寸法単位設定画像を表示部45に表示させる。
また、以下では、一例として、図11に示したステップS310の処理が行われるよりも前のタイミングにおいて、前述の撮像条件が満たされている場合について説明する。
また、以下では、一例として、図11に示したステップS310の処理が行われるよりも前のタイミングにおいて、前述の形状データが、ユーザーによりメモリー42に記憶されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、倍率情報が、ユーザーによりメモリー42に記憶されている場合について説明する。
また、以下では、一例として、図11に示したステップS310の処理が行われるよりも前のタイミングにおいて、1以上の互いに異なる寸法単位候補が、ユーザーによりメモリー42に記憶されている場合について説明する。
また、以下では、一例として、図11に示したステップS310の処理が行われるよりも前のタイミングにおいて、ユーザーが、前述の第3基準寸法単位設定画像を介して、基準寸法単位を情報処理装置40に設定する処理を情報処理装置40に開始させる操作を情報処理装置40に対して行っている場合について説明する。
受付部461は、メモリー42に予め記憶された1以上の寸法単位候補をメモリー42から読み出す(ステップS310)。これにより、受付部461は、当該1以上の寸法単位候補を、入力として受け付ける。
次に、撮像制御部475は、撮像部25が撮像可能な範囲を撮像部25に撮像させる(ステップS320)。
次に、取得部463は、ステップS320において撮像部25が撮像した撮像画像を撮像部25から取得する(ステップS330)。
なお、ステップS320及びステップS330の2つのステップと、ステップS310とは、図11に示したフローチャートにおいて、順序が逆であってもよく、並列に行われてもよい。
次に、生成部465は、メモリー42に予め記憶された形状データSDと、メモリー42に予め記憶された倍率情報とのそれぞれをメモリー42から読み出す(ステップS340)。なお、形状データSDと倍率情報とは、図11に示したフローチャートにおける異なるステップにおいてメモリー42から読み出される構成であってもよい。また、形状データSDと倍率情報とは、いずれが先にメモリー42から読み出されてもよく、並列にメモリー42から読み出されてもよい。
次に、生成部465は、ステップS310において受付部461が受け付けた1以上の寸法単位候補の中から1つずつ寸法単位候補を対象寸法単位候補として選択し、選択した対象寸法単位候補毎にステップS360〜ステップS370の処理を繰り返し行う(ステップS350)。
生成部465は、ステップS350において選択された対象寸法単位候補と、ステップS340において読み出した形状データSD及び倍率情報に基づいて、対象寸法単位候補に応じたモデル候補を生成する(ステップS360)。なお、生成部465による当該モデル候補の生成方法は、図4に示したステップS150において説明した生成部465によるモデル候補の生成方法と同様の方法であるため、説明を省略する。
次に、生成部465は、ステップS360において生成したモデル候補と、ステップS330において取得部463が取得した撮像画像に含まれる対象物体Oとの一致度を算出する(ステップS370)。ここで、ステップS370において算出される一致度は、当該モデル候補を当該対象物体Oに対してテンプレートマッチングさせた場合において当該モデル候補を拡大又は縮小させる倍率によって表されてもよく、当該モデル候補の面積と当該対象物体Oの面積との差分によって表されてもよく、当該場合における類似度によって表されてもよく、当該モデル候補と当該対象物体Oとに基づく他の値によって表されてもよい。生成部465は、算出した一致度を、当該モデル候補に対応付ける。
ステップS370において一致度がモデル候補に対応付けられた後、生成部465は、ステップS350に遷移し、次の対象寸法単位候補を未選択の寸法単位候補の中から選択する。なお、生成部465は、ステップS350において未選択の寸法単位候補が存在しない場合、ステップS350〜ステップS370の繰り返し処理を終了する。そして、表示制御部473は、ステップS380に遷移する。
ステップS350〜ステップS370の繰り返し処理が終了した後、判定部467は、当該繰り返し処理によって生成された1以上のモデル候補の中に、前述の第1条件を満たすモデル候補が含まれているか否かを判定する(ステップS380)。第1条件は、一致度が予め決められた閾値以上であること、である。なお、第1条件は、これに代えて、他の条件であってもよい。
1以上のモデル候補の中に第1条件を満たすモデル候補が含まれていないと判定部467が判定した場合(ステップS380−NO)、表示制御部473又は出力部477は、前述の警告情報を出力し(ステップS420)、処理を終了する。なお、ステップS350〜ステップS370の繰り返し処理によって生成されたモデル候補が1つの場合、1以上のモデル候補の中に第1条件を満たすモデル候補が含まれていないことは、当該繰り返し処理によって生成された1つのモデル候補に対応付けられた一致度が、前述の閾値未満であることを意味する。
一方、1以上のモデル候補の中に第1条件を満たすモデル候補が含まれていると判定部467が判定した場合(ステップS380−YES)、設定部469は、第1条件を満たすモデル候補の中から、第2条件を満たすモデル候補を特定する(ステップS390)。第2条件は、第1条件を満たすモデル候補のうち、対応付けられている一致度が最も高いモデル候補であること、である。なお、第2条件は、これに代えて、他の条件であってもよい。
次に、設定部469は、ステップS390において特定したモデル候補のスケーリングにおいて用いられた寸法単位候補を、基準寸法単位として情報処理装置40に設定する(ステップS400)。
次に、表示制御部473は、ステップS390において特定したモデル候補のスケーリングにおいて用いられた寸法単位候補を示す情報を、前述の第3基準寸法単位設定画像上に表示させ(ステップS410)、処理を終了する。
なお、図11に示したフローチャートの処理において、ステップS410の処理は、省略されてもよい。また、当該フローチャートの処理において、ステップS380の処理は、省略されてもよい。また、情報処理装置40は、前述の閾値を適切に決めることにより、第2条件を満たすモデル候補を特定することなく、第1条件を満たすモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する構成であってもよい。
以上のように、情報処理装置40は、対象物体Oの形状を示す形状データの入力を受け付ける受付部461と、対象物体Oを含む領域を撮像した撮像画像を取得する取得部463と、形状データと撮像画像に基づいて、基準寸法単位を設定する設定部469と、を備える。これにより、情報処理装置40は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。
なお、上記において説明した寸法単位設定方法は、例えば、システムインテグレーターが、カメラで物体を検出した結果に基づいて、何らかのロボットにより物体に作業を行うシステムを立ち上げる際、カメラ、レンズ等の光学系の配置と画像処理を行う装置の設定とを行う場合等に適用される。
以上説明したように、実施形態に係る寸法単位設定方法は、物体の形状を示す形状データを入力する入力ステップと、物体を含む領域を撮像した撮像画像を取得する取得ステップと、形状データと撮像画像に基づいて、基準寸法単位を設定する設定ステップと、を有する。これにより、寸法単位設定方法は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。ここで、寸法単位設定方法は、上記において説明した例では、図4、8、11のそれぞれに示したフローチャートにおいて説明した方法、及び当該方法の変形例である。また、物体は、上記において説明した例では、対象物体Oである。
また、寸法単位設定方法は、寸法単位候補に基づいて形状データをスケーリングしたモデル候補を生成する生成ステップと、撮像画像に含まれる物体と、モデル候補との一致度を判定する判定ステップと、を有し、設定ステップは、判定ステップにより一致度が決められた閾値以上であると判定された場合、モデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。
また、寸法単位設定方法は、判定ステップにより一致度が決められた閾値未満であると判定された場合、警告を示す警告情報を出力する警告ステップを有する、構成が用いられてもよい。
また、寸法単位設定方法では、寸法単位候補は、複数あり、生成ステップは、複数の寸法単位候補のそれぞれについて、寸法単位候補に基づいて形状データをスケーリングしたモデル候補を生成し、判定ステップは、複数のモデル候補のそれぞれについて、撮像画像に含まれる物体と、モデル候補との一致度を判定し、設定ステップは、モデル候補のうち判定ステップにより判定された一致度が最も高いモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。換言すると、寸法単位設定方法では、生成ステップは、複数の寸法単位候補に対応させて形状データをスケーリングした複数のモデル候補を生成し、判定ステップは、複数のモデル候補と、撮像画像に含まれる物体との一致度を判定し、設定ステップは、判定ステップにより当該一致度が最も高いと判定されたモデル候補に対応する寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。
また、寸法単位設定方法では、寸法単位候補は、寸法単位候補を受け付ける受付ステップと、受付ステップにより受け付けられた寸法単位候補に基づいて形状データをスケーリングしたモデル候補を生成する生成ステップと、生成ステップにより生成されたモデル候補を、取得ステップにより取得された物体を含む領域を含む領域画像とともに表示部に表示させる表示ステップと、を有し、設定ステップは、表示ステップにより表示されたモデル候補と領域画像とが決められた判定条件を満たす場合、表示ステップにより表示されたモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。
また、寸法単位設定方法では、受付ステップは、複数の寸法単位候補を受け付け、生成ステップは、受付ステップにより受け付けられた複数の寸法単位候補のそれぞれについて、寸法単位候補に基づいて形状データをスケーリングしたモデル候補を生成し、表示ステップは、生成ステップにより生成された複数のモデル候補のそれぞれを、領域画像とともに表示部に表示させ、設定ステップは、生成ステップにおいて生成された複数のモデル候補のうち第1条件を満たすモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。換言すると、寸法単位設定方法では、受付ステップは、複数の寸法単位候補を受け付け、生成ステップは、複数の寸法単位候補に対応させて形状データをスケーリングした複数のモデル候補を生成し、表示ステップは、複数のモデル候補を、領域画像とともに表示部に表示させ、設定ステップは、複数のモデル候補のうち、判定条件を満たすモデル候補のスケーリングに用いられた寸法単位候補を、基準寸法単位として設定する、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、複数のモデル候補のうち判定条件を満たすモデル候補の表示部における表示態様を、複数のモデル候補のうち判定条件を満たさないモデル候補の表示態様と異ならせる、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、複数のモデル候補のそれぞれを、互いに重なり合わせることなく表示部に表示させる、構成が用いられてもよい。換言すると、寸法単位設定方法では、表示ステップは、複数のモデル候補を、互いに離間させて表示部に表示させる、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、複数のモデル候補を重ねて表示部に表示させる、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、複数のモデル候補のそれぞれを互いに色を変えて表示部に表示させる、構成が用いられてもよい。換言すると、寸法単位設定方法では、表示ステップは、複数のモデル候補を互いに異なる色で表示部に表示させる、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、複数のモデル候補のそれぞれを、大きさが小さい順に重ねて表示部に表示させる、構成が用いられてもよい。換言すると、寸法単位設定方法では、表示ステップは、複数のモデル候補を、モデル候補のスケーリングに用いられた寸法単位候補が小さい順に重ねて表示部に表示させる、構成が用いられてもよい。
また、寸法単位設定方法は、複数のモデル候補に判定条件を満たすモデル候補が含まれていない場合、警告を示す警告情報を出力する警告ステップを有する、構成が用いられてもよい。
また、寸法単位設定方法では、表示ステップは、モデル候補と撮像画像とを重なり合わせることなく表示部に表示させる、構成が用いられてもよい。換言すると、寸法単位設定方法では、表示ステップは、モデル候補と撮像画像とを離間させて表示部に表示させる、構成が用いられてもよい。
また、実施形態に係る情報処理装置は、物体の形状を示す形状データの入力を受け付ける受付部と、物体を含む領域を撮像した撮像画像を取得する取得部と、形状データと撮像画像に基づいて、基準寸法単位を設定する設定部と、を備える。これにより、情報処理装置は、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。ここで、情報処理装置は、上記において説明した例では、情報処理装置40である。受付部は、上記において説明した例では、受付部461である。また、取得部は、上記において説明した例では、取得部463である。また、設定部は、上記において説明した例では、設定部469である。
また、実施形態に係るロボットシステムは、ロボットと、ロボットを制御するロボット制御装置と、ロボット制御装置からの要求に応じて画像処理を行う情報処理装置とを備えるロボットシステムであって、情報処理装置は、物体の形状を示す形状データの入力を受け付ける受付部と、物体を含む領域を撮像した撮像画像を取得する取得部と、形状データと撮像画像に基づいて、基準寸法単位を設定する設定部と、設定部により設定された基準寸法単位に基づいて画像処理を行う画像処理部と、画像処理部による画像処理の結果をロボット制御装置に出力する出力部と、を備え、ロボット制御装置は、情報処理装置から取得した当該結果に基づいて、ロボットを制御する。これにより、ロボットシステムは、基準寸法単位として誤った寸法単位が設定されてしまうことを抑制することができる。ここで、ロボットシステムは、上記において説明した例では、ロボットシステム1である。また、ロボットは、上記において説明した例では、ロボット20である。また、ロボット制御装置は、上記において説明した例では、ロボット制御装置30である。また、情報処理装置は、上記において説明した例では、情報処理装置40である。また、受付部は、上記において説明した例では、受付部461である。また、取得部は、上記において説明した例では、取得部463である。また、設定部は、上記において説明した例では、設定部469である。また、画像処理部は、上記において説明した例では、画像処理部471である。また、出力部は、上記において説明した例では、出力部477である。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
また、以上に説明した装置における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。ここで、当該装置は、例えば、撮像部25、ロボット20、ロボット制御装置30、情報処理装置40等である。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disk)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル又は差分プログラムであってもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル又は差分プログラムであってもよい。
1…ロボットシステム、20…ロボット、25…撮像部、30…ロボット制御装置、40…情報処理装置、41…プロセッサー、42…メモリー、43…入力受付部、44…通信部、45…表示部、46…制御部、461…受付部、463…取得部、465…生成部、467…判定部、469…設定部、471…画像処理部、473…表示制御部、475…撮像制御部、477…出力部、A…可動部、A1…第1アーム、A2…第2アーム、B…基台、O…対象物体、RC…ロボット座標系、S…シャフト、SD…形状データ
Claims (15)
- 物体の形状を示す形状データを入力する入力ステップと、
前記物体を含む領域を撮像した撮像画像を取得する取得ステップと、
前記形状データと前記撮像画像に基づいて、基準寸法単位を設定する設定ステップと、
を有する寸法単位設定方法。 - 寸法単位候補に基づいて前記形状データをスケーリングしたモデル候補を生成する生成ステップと、
前記撮像画像に含まれる前記物体と、前記モデル候補との一致度を判定する判定ステップと、
を有し、
前記設定ステップは、前記判定ステップにより前記一致度が決められた閾値以上であると判定された場合、前記モデル候補のスケーリングに用いられた前記寸法単位候補を、前記基準寸法単位として設定する、
請求項1に記載の寸法単位設定方法。 - 前記判定ステップにより前記一致度が決められた閾値未満であると判定された場合、警告を示す警告情報を出力する警告ステップを有する、
請求項2に記載の寸法単位設定方法。 - 前記生成ステップは、複数の前記寸法単位候補に対応させて前記形状データをスケーリングした複数の前記モデル候補を生成し、
前記判定ステップは、前記複数の前記モデル候補と、前記撮像画像に含まれる前記物体との前記一致度を判定し、
前記設定ステップは、前記判定ステップにより前記一致度が最も高いと判定された前記モデル候補に対応する前記寸法単位候補を、前記基準寸法単位として設定する、
請求項2又は3に記載の寸法単位設定方法。 - 寸法単位候補を受け付ける受付ステップと、
前記寸法単位候補に基づいて前記形状データをスケーリングしたモデル候補を生成する生成ステップと、
前記モデル候補を、前記取得ステップにより取得された前記領域を含む領域画像とともに表示部に表示させる表示ステップと、
を有し、
前記設定ステップは、前記表示ステップにより表示された前記モデル候補と前記領域画像が決められた判定条件を満たす場合、前記モデル候補のスケーリングに用いられた前記寸法単位候補を、前記基準寸法単位として設定する、
請求項1に記載の寸法単位設定方法。 - 前記受付ステップは、複数の前記寸法単位候補を受け付け、
前記生成ステップは、前記複数の前記寸法単位候補に対応させて前記形状データをスケーリングした複数の前記モデル候補を生成し、
前記表示ステップは、前記複数の前記モデル候補を、前記領域画像とともに前記表示部に表示させ、
前記設定ステップは、前記複数の前記モデル候補のうち、前記判定条件を満たす前記モデル候補のスケーリングに用いられた前記寸法単位候補を、前記基準寸法単位として設定する、
請求項5に記載の寸法単位設定方法。 - 前記表示ステップは、前記判定条件を満たす前記モデル候補の前記表示部における表示態様を、前記判定条件を満たさない前記モデル候補の表示態様と異ならせる、
請求項6に記載の寸法単位設定方法。 - 前記表示ステップは、前記複数の前記モデル候補を、互いに離間させて前記表示部に表示させる、
請求項6又は7に記載の寸法単位設定方法。 - 前記表示ステップは、前記複数の前記モデル候補を重ねて前記表示部に表示させる、
請求項6又は7に記載の寸法単位設定方法。 - 前記表示ステップは、前記複数の前記モデル候補を互いに異なる色で前記表示部に表示させる、
請求項9に記載の寸法単位設定方法。 - 前記表示ステップは、前記複数の前記モデル候補を、前記モデル候補のスケーリングに用いられた前記寸法単位候補が小さい順に重ねて前記表示部に表示させる、
請求項9又は10に記載の寸法単位設定方法。 - 前記複数の前記モデル候補に前記判定条件を満たす前記モデル候補が含まれていない場合、警告を示す警告情報を出力する警告ステップを有する、
請求項6から11のうちいずれか一項に記載の寸法単位設定方法。 - 前記表示ステップは、前記モデル候補と前記撮像画像とを離間させて前記表示部に表示させる、
請求項6から12のうちいずれか一項に記載の寸法単位設定方法。 - 物体の形状を示す形状データの入力を受け付ける受付部と、
前記物体を含む領域を撮像した撮像画像を取得する取得部と、
前記形状データと前記撮像画像に基づいて、基準寸法単位を設定する設定部と、
を備える情報処理装置。 - ロボットと、前記ロボットを制御するロボット制御装置と、前記ロボット制御装置からの要求に応じて画像処理を行う情報処理装置とを備えるロボットシステムであって、
前記情報処理装置は、
物体の形状を示す形状データの入力を受け付ける受付部と、
前記物体を含む領域を撮像した撮像画像を取得する取得部と、
前記形状データと前記撮像画像に基づいて、基準寸法単位を設定する設定部と、
前記基準寸法単位に基づいて前記画像処理を行う画像処理部と、
前記画像処理部による前記画像処理の結果を前記ロボット制御装置に出力する出力部と、
を備え、
前記ロボット制御装置は、
前記情報処理装置から取得した前記結果に基づいて、前記ロボットを制御する、
ロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013261A JP2020123049A (ja) | 2019-01-29 | 2019-01-29 | 寸法単位設定方法、情報処理装置、及びロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019013261A JP2020123049A (ja) | 2019-01-29 | 2019-01-29 | 寸法単位設定方法、情報処理装置、及びロボットシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020123049A true JP2020123049A (ja) | 2020-08-13 |
Family
ID=71992670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019013261A Pending JP2020123049A (ja) | 2019-01-29 | 2019-01-29 | 寸法単位設定方法、情報処理装置、及びロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020123049A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176928A1 (ja) * | 2021-02-18 | 2022-08-25 | ファナック株式会社 | 教示装置 |
-
2019
- 2019-01-29 JP JP2019013261A patent/JP2020123049A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176928A1 (ja) * | 2021-02-18 | 2022-08-25 | ファナック株式会社 | 教示装置 |
JP7564327B2 (ja) | 2021-02-18 | 2024-10-08 | ファナック株式会社 | 教示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105269578B (zh) | 指示装置以及机器人系统 | |
JP4835616B2 (ja) | 動作教示システム及び動作教示方法 | |
EP3272472A2 (en) | Control device, robot, and robot system | |
CN106945035B (zh) | 机器人控制设备及其控制方法和机器人系统 | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
EP3171329A1 (en) | Image processing apparatus, robot system, robot, and image processing method | |
JP2016185572A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
JP2016187846A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP6565175B2 (ja) | ロボットおよびロボットシステム | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
CN115803155A (zh) | 编程装置 | |
JP2020123049A (ja) | 寸法単位設定方法、情報処理装置、及びロボットシステム | |
EP3290164A2 (en) | Robot, robot control device, and robot system | |
JP6952868B2 (ja) | 情報処理装置、情報処理システム、および情報処理プログラム | |
JP6488571B2 (ja) | 教示装置、及びロボットシステム | |
JP2018122376A (ja) | 画像処理装置、ロボット制御装置、及びロボット | |
CN117881507A (zh) | 指令值生成装置、方法、以及程序 | |
JP2018017610A (ja) | 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム | |
JP6337530B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2023028404A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7509534B2 (ja) | 画像処理装置、ロボットシステム、及び画像処理方法 | |
JP7401250B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP2019111588A (ja) | ロボットシステム、情報処理装置、及びプログラム | |
JP7383349B2 (ja) | 画像測定装置のティーチングプログラム |