[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7099597B2 - 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム - Google Patents

情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム Download PDF

Info

Publication number
JP7099597B2
JP7099597B2 JP2021117332A JP2021117332A JP7099597B2 JP 7099597 B2 JP7099597 B2 JP 7099597B2 JP 2021117332 A JP2021117332 A JP 2021117332A JP 2021117332 A JP2021117332 A JP 2021117332A JP 7099597 B2 JP7099597 B2 JP 7099597B2
Authority
JP
Japan
Prior art keywords
shooting
image
photographing
conditions
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021117332A
Other languages
English (en)
Other versions
JP2022058164A (ja
Inventor
宏一 工藤
愛子 大塚
益義 谷内田
華子 阪東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US18/029,096 priority Critical patent/US20240022806A1/en
Priority to EP21875069.3A priority patent/EP4224835A4/en
Priority to CN202180067062.2A priority patent/CN116391153A/zh
Priority to PCT/JP2021/032442 priority patent/WO2022070767A1/ja
Publication of JP2022058164A publication Critical patent/JP2022058164A/ja
Priority to JP2022105727A priority patent/JP2022128496A/ja
Application granted granted Critical
Publication of JP7099597B2 publication Critical patent/JP7099597B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、移動体、撮影システム、撮影制御方法およびプログラムに関する。
工場や倉庫等の拠点に設置され、拠点内を自律的に移動可能なロボットが知られている。このようなロボットは、例えば、点検ロボットやサービスロボットとして用いられ、作業者の代わりに拠点内の設備の点検作業を行うことができる。特許文献1には、移動体を作業員が点検ルートに沿って操作するだけで設備の機器や配管等の監視点検を可能とする監視システムが開示されている。
また、ロボットを用いた点検作業において、ロボットを移動させながら点検対象物を撮影するシステムが知られている。ここで、点検対象物の撮影位置等を自動で調整するための方法として、特許文献2には、カメラをワークに対して設定される複数の検査点に順に移動させながら各検査点にてワークを撮影することに基づいて該ワークの検査を行う際に、表示画面上の視点情報を用いて複数の検査点の位置を教示する内容が開示されている。
しかしながら、従来の方法では、予め撮影条件を教示したとしても、撮影する時間または天候等の撮影環境によっては同じ撮影位置からでも対象物が撮影される状態が異なり、対象物の確認を行う管理者等にとって対象物の状態を確認しづらい撮影画像が取得されてしまうおそれがあるという課題があった。
上述した課題を解決すべく、請求項1に係る発明は、移動体の撮影処理を制御する情報処理装置であって、特定の撮影位置で撮影された対象物の基準画像に対して、撮影条件を関連づけて記憶する記憶手段と、前記特定の撮影位置に移動した前記移動体を用いて、前記対象物を撮影する撮影制御手段と、前記対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記移動体の撮影処理に用いる撮影条件を設定する撮影条件設定手段と、を備え、前記記憶手段は、前記対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記対象物の撮影条件を関連づけて記憶することを特徴とする。
本発明によれば、撮影環境によらずに、対象物の状態を確認可能な撮影画像を取得することができるという効果を奏する。
撮影システムの全体構成の一例を示す図である。 ロボットが設置された対象拠点の一例を概略的に説明するための図である。 ロボットの移動経路の一例を概略的に説明するための図である。 (A)(B)撮影位置の違いによる点検対象物の状態の一例を示す図である。 ロボットの構成の概略の一例を示す図である。 ロボットの構成の概略の一例を示す図である。 ロボットの構成の概略の一例を示す図である。 ロボットのハードウエア構成の一例を示す図である。 画像管理サーバおよび通信端末のハードウエア構成の一例を示す図である。 撮影システムの機能構成の一例を示す図である。 エリア情報管理テーブルの一例を示す概念図である。 拠点位置管理テーブルの一例を示す概念図である。 経路情報管理テーブルの一例を示す概念図である。 対象物管理テーブルの一例を示す概念図である。 パターン管理テーブルの一例を示す概念図である。 撮影条件管理テーブルの一例を示す概念図である。 撮影画像管理テーブルの一例を示す概念図である。 対象物点検処理の一例を示すシーケンス図である。 ロボットにおける対象物点検処理の一例を示すフローチャートである。 対象物撮影処理の一例を示すフローチャートである。 対象物撮影処理の一例を示すフローチャートである。 点検エリアにおけるロボットを用いた撮影処理の一例を概略的に説明するための図である。 (A)~(C)テストオブジェクトの撮影状態の一例について説明するための図である。 (A)(B)テストオブジェクトの一例を示す図である。 (A)(B)テストオブジェクトの一例を示す図である。 撮影条件が登録されていない場合における対象物撮影処理の一例を示すフローチャートである。 撮影システムにおける撮影条件の登録処理の一例を示すシーケンス図である。 設定画面の一例を示す図である。 設定画面の一例を示す図である。 撮影システムにおける撮影条件の登録処理の一例を示すシーケンス図である。 撮影条件が登録されていない場合における対象物撮影処理の一例を示すフローチャートである。 撮影システムにおける撮影条件の登録処理の一例を示すシーケンス図である。 画像選択画面の一例を示す図である。 撮影システムにおける撮影条件の登録処理の一例を示すシーケンス図である。 点検エリアにおけるロボットを用いた撮影処理の別の例を概略的に説明するための図である。 (A)は、撮影ポイントA3から撮影された撮影画像の一例を示す図であり、(B)は、撮影ポイントA4から撮影された撮影画像の一例を示す図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●実施形態●
●システム構成
図1は、撮影システムの全体構成の一例を示す図である。図1に示されている撮影システム1は、ロボット10を用いて対象拠点に設置された点検対象物を撮影して異常可否の点検を行うシステムである。
撮影システム1は、所定の対象拠点に位置するロボット10、画像管理サーバ50および通信端末70を含む。撮影システム1を構成するロボット10、画像管理サーバ50および通信端末70は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク100には、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)またはLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
ロボット10は、対象拠点に設置され、対象拠点内を自律走行する移動体である。ロボット10は、対象拠点内を移動しながら、設置された点検対象物に対する点検作業を実行する。また、ロボット10は、点検作業によって撮影された撮影画像を、通信端末70へ送信することで、通信端末70を使用する対象拠点の管理者に、点検結果の情報(画像等)を提供する。
画像管理サーバ50は、ロボット10によって撮影された点検対象物の撮影画像を管理するためのサーバコンピュータである。画像管理サーバ50は、ロボット10から送信された撮影画像を記憶して管理するとともに、管理者が使用する通信端末70に対して、撮影画像を提供する。
なお、画像管理サーバ50は、単一のコンピュータによって構築されてもよいし、各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、画像管理サーバ50の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータで実現されてもよいし、オンプレミス環境に存在するサーバコンピュータで実現されてもよい。
通信端末70は、対象拠点に設置された点検対象物もしくはロボット10を管理する管理者が使用するノートPC(Personal Computer)等のコンピュータである。管理者は、オフィス等の管理拠点において、ロボット10によって撮影された点検対象物の撮影画像を閲覧することで、点検作業の実行結果の確認を行う。また、管理者は、通信端末70に表示された対象拠点の画像を見ながら、ロボット10の遠隔操作を行うこともできる。なお、通信端末70は、ノートPCに限られず、例えば、デスクトップPC,タブレット端末、スマートフォンまたはウェアラブル端末等であってもよい。
●概略
ここで、図2を用いて、ロボット10が設置された対象拠点について説明する。図2は、ロボット10が設定された対象拠点の一例を概略的に説明するための図である。図2は、例えば、対象拠点として、プラント工場等の敷地面積の広い屋外の拠点の例を示す。図2に示されている対象拠点には、日常点検または定期点検等の保守管理を必要とする複数の点検対象物が存在する。点検対象物は、例えば、対象拠点がプラント工場である場合、貯蔵タンクの計測メータ(メータ1、メータ2)、貯蔵タンク(タンク1、タンク2)、貯蔵タンクのバルブ(バルブ1、バルブ2、バルブ3)、貯蔵タンク等に輸液作業を行うタンカー等である。
ロボット10は、対象拠点内を自律走行によって移動し、所定の位置で点検対象物に対する撮影処理を実行する。なお、ロボット10は、対象拠点内をライントレース等の技術または通信端末70からの遠隔操作を用いて移動してもよい。また、対象拠点には、点検対象物とは異なるテストオブジェクト6が設置されている。テストオブジェクト6は、対象拠点における点検対象物の撮影を行う直前に、撮影環境における撮影対象物の写り込み状態を確認するために撮影される設置物である。
図2の例では、ロボット10は、対象拠点に設置されたテストオブジェクト6を撮影し、得られた画像と予め記憶された異なる撮影環境での基準画像とを照合する。ロボット10は、照合結果に基づいて、複数の撮影パターンの中から一つの撮影パターンを特定し、特定された撮影パターンに対応するロボット10の撮影位置および撮影方向を設定する。そして、ロボット10は、設定された撮影位置および撮影方向において、対象拠点内の点検対象物を撮影する。
図3は、ロボット10の移動経路の一例を概略的に説明するための図である。ロボット10の移動経路は、図3に示されているような対象拠点上の任意の拠点位置(P0、P1、P2、・・・)が順番に指定された目的の移動先まで道筋を示す。対象拠点上の任意の拠点位置は、対象拠点の全体を示す地図データ上の座標位置を示すXY座標によって表される。
また、図3に示されている対象拠点は、点検作業の単位で四つのエリア(エリア1~エリア4)に分割されている。例えば、ロボット10をエリア1へ移動させたい場合、移動経路は、エリア1のエリア基準位置である拠点位置P8を目的地とした経路(P0→P1→P2→P3→P4→P8)が設定される。
プラント工場等の拠点では、配管からの液体またはガス等の漏れによって重大な災害を発生させる可能性があるため、日常点検または作業者による作業中に、配管からの微小な漏れ、圧力計等のメータ、バルブの開閉状態等を点検する作業が行われている。一方で、大規模なプラント工場では、例えば、一辺が1kmを超える敷地である場合も多く、拠点内の全ての配管またはメータ等の点検対象物を点検するのは極めて膨大な時間が掛かってしまう。そのため、点検作業において、自動または作業者による操作によって拠点内を巡回しながら点検対象物を撮影する点検ロボットを用いる方法が知られている。
しかし、従来の点検ロボットは、作業者が事前に設定(ティーチング)した設定値どおりの撮影位置および撮影方向によって点検対象物を撮影していた。この場合、例えば、屋外に設置された点検対象物は、天候または時間等の環境条件によって外光の当たり具合が変化し、同じ撮影位置および撮影方向でも光の反射の具合で可読性の低い画像が撮影されてしまうという問題があった。例えば、図4に示されているように、点検対象物であるメータ1は、外光の反射によって影に覆われ、点検対象となるメータの値を読み取ることができない場合がある(図4(A))。一方で、メータ1は、撮影する角度を変更することによって外光の当たり具合が変化し、メータの値を読み取ることが可能となる(図4(B))。
そこで、撮影システム1は、対象拠点の点検エリアごとに太陽の位置または明るさ等の外光条件の変化を検知できるテストオブジェクト6を設置し、点検エリアにおける点検を始める前にテストオブジェクト6を、移動型のロボット10で撮影する。また、撮影システム1は、テストオブジェクト6が撮影された撮影画像の解析結果から、点検エリアに設定された点検対象物の撮影位置および撮影方向を示す撮影条件を設定する。そして、撮影システム1は、設定された撮影位置にロボット10を移動させ、設定された撮影方向に従って点検対象物の撮影を行う。これにより、撮影システム1は、点検する時間または天候で変化する外光条件等の撮影環境に応じた撮影条件を用いて点検対象物を撮影することで、予め教示した撮影条件での画像の読み取りが困難な場合においても、点検対象物の状態を確実に読み取りできる。
ここで、ロボット10が設置される対象拠点は、プラント工場に限られず、例えば、事業所、建設現場、変電所またはその他の屋外の施設等であってもよい。例えば、敷地面積の広い拠点における点検作業を作業者が行うとすると、全ての点検作業が終わるまでに時間が掛かったり、複数の作業者で点検作業を分担したりする必要がある。そこで、対象拠点に設置されたロボット10は、従来人手で行われていた作業を作業者に変わって行うことで、作業効率を向上させることができる。なお、対象拠点は、屋外に限られず、屋内のオフィス、学校、工場、倉庫、商業施設またはその他の施設等であってもよく、従来人手で行われていた作業をロボット10に担わせたいニーズが存在する拠点であればよい。
●ロボットの構成
続いて、図5乃至図7を用いて、ロボット10の具体的な構成を説明する。図5乃至図7は、ロボット10の構成の概略の一例を示す図である。
図5に示されているロボット10は、筐体11、バー12、撮影装置13、撮影位置調整装置14、支持部材15、ロボット10を移動させるための移動機構16(16a,16b)、GPSセンサ17および障害物検知センサ18を備える。このうち、筐体11には、ロボット10の胴体部分に位置し、ロボット10の処理もしくは動作を制御する制御装置30等が内蔵されている。制御装置30は、情報処理装置の一例である。バー12は、ロボット10の走行方向の前面に筐体11に備えられ、ロボット10が衝突した際の緩衝材としての役割を担う。なお、バー12は、筐体11の前面のみならず、側面または後方面に備えてもよい。
撮影装置13は、ロボット10が設置された拠点に位置する人物、物体または風景等の被写体を撮影して撮影画像を取得する。撮影装置13は、デジタル一眼レフカメラ、またはコンパクトデジタルカメラ等の平面画像(詳細画像)を取得可能なデジタルカメラ(一般撮影装置)である。撮影装置13によって取得された撮影画像に係る撮影画像データは、通信管理サーバ等のサーバコンピュータによって確立された通信セッションを経由して、通信端末70へ送信される。
撮影位置調整装置14は、撮影装置13の撮影方向(向き)を調整するための可動装置である。撮影位置調整装置14は、回転駆動することによって撮影装置13の撮影方向を調整するとともに、撮影装置13における撮影のズーム量(倍率)を調整する。なお、撮影装置13と撮影位置調整装置14は、撮影装置13に撮影位置調整機能を備えさせた一つの装置として設けられていてもよい。
なお、撮影装置13によって取得される撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影装置13によって取得される撮影画像は、画像データとともに音声データを含んでもよい。さらに、撮影装置13は、全天球(360°)パノラマ画像を取得可能な広角撮影装置であってもよい。広角撮影装置は、例えば、被写体を撮影して全天球(パノラマ)画像の元になる二つの半球画像を得るための全天球撮影装置である。さらに、広角撮影装置は、例えば、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。すなわち、広角撮影装置は、所定値より焦点距離の短いレンズを用いて撮影された画像(全天球画像、広角画像)を取得可能な撮影手段である。また、ロボット10は、複数の撮影装置13を備える構成であってもよい。この場合、ロボット10は、撮影装置13として、広角撮影装置と、広角撮影装置によって撮影された被写体の一部を撮影して詳細画像(平面画像)を取得可能な一般撮影装置の両方を備える構成であってもよい。
また、撮影装置13は、遠赤外線(赤外光)を撮像する熱映像装置、または近赤外線(赤外光)を撮影する赤外線カメラ等の特殊カメラを含んでもよい。撮影装置13は、遠赤外線(赤外光)を撮像する熱映像装置である場合、対象物から発せられる遠赤外線を検出した撮影画像(サーモグラフィ)を取得でき、その撮影画像から対象物を認識することができる。また、撮影装置13は、近赤外線(赤外光)を撮影する赤外線カメラである場合、可視光波長帯の外乱光の影響を受けることなく、対象物を撮影した撮影画像(赤外線画像)を取得でき、その撮影画像から対象物を認識することができる。
支持部材15は、ロボット10(筐体11)に撮影装置13および撮影位置調整装置14を設置(固定)するための部材である。支持部材15は、筐体11に固定されたポール等であってもよいし、筐体11に固定された台座であってもよい。
移動機構16は、ロボット10を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、およびステアリングエンコーダ等で構成される。ロボット10の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット10は、例えば、操作者である管理者(通信端末70)からの走行指示を受信し、移動機構16は、受信した走行指示に基づいてロボット10を移動させる。なお、移動機構16は、二足歩行の足型や単輪のものであってもよい。また、ロボット10の形状は、図4に示されているような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。
GPSセンサ17は、GPS衛星からGPS信号を受信し、ロボット10の位置を検知する自己位置検知手段である。障害物検知センサ18は、ロボット10が移動する際における周囲の障害物を検知する検知センサである。障害物検知センサ18は、例えば、ステレオカメラ、もしくは光電変換素子が面状に配置されたエリアセンサを搭載したカメラ等の画像センサ、またはTOF(Time Of Flight)センサ、LIDAR(Light Detection and Ranging)センサもしくはレーダセンサ等の測距センサである。なお、自己位置検知手段は、GPSセンサ17に限られず、任意の方式によって自己の位置を検知できる手法であればよい。例えば、自己位置検知手段は、LIDARを用いたSLAM(Simultaneous Localization and Mapping)または走行路に磁気テープ等が敷設された環境の場合における磁気誘導を用いてもよい。
ここで、図6および図7を用いて、ロボット10の構成の変形例について説明する。図6に示されているロボット10aは、複数の撮影装置13a(13a1,13a2,13a3,13a4,13a5)を備えている。複数の撮影装置13aは、支持部材15の上下方向に並べられて取り付けられている。また、図7に示されているようなロボット10bは、撮影装置13を上下方向にスライドさせることが可能なスライド装置14aが備えられている。ロボット10bは、撮影装置13をスライド装置14aに沿って上下方向に可動させることで、撮影位置(高さ)を調整することができる。
このように、ロボット10は、ロボット10aのような複数の撮影装置13aを備えたり、ロボット10bのような撮影装置13を上下方向にスライドさせることが可能なスライド装置14aを設けたりすることで、撮影装置13(13a)の撮影位置を調整することも可能である。
なお、ロボット10は、上記構成のほかに、ロボット10の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、ガスセンサ、臭気センサまたは照度計等のセンサデバイスである。また、ロボット10は、移動以外の付加的動作を行う可動アームを備えていてもよい。
●ハードウエア構成
続いて、図8および図9を用いて、実施形態に係るスケジュール登録システムを構成する装置または端末のハードウエア構成について説明する。なお、図8および図9に示されている装置または端末のハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
○ロボットのハードウエア構成○
図8は、ロボットのハードウエア構成の一例を示す図である。ロボット10は、ロボット10の処理または動作を制御する制御装置30を備える。制御装置30は、上述のように、ロボット10の筐体11の内部に備えられている。なお、制御装置30は、ロボット10の筐体11の外部に設けられてもよく、またはロボット10とは別の装置として設けられていてもよい。
制御装置30は、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HDD(Hard Disk Drive)304、メディアI/F(Interface)305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309、近距離通信回路309のアンテナ309a、外部機器接続I/F311、タイマ312およびバスライン310を備える。
CPU301は、ロボット10全体の制御を行う。CPU301は、ROM302またはHD(Hard Disk)304a等に格納された、プログラムもしくはデータをRAM303上に読み出し、処理を実行することで、ロボット10の各機能を実現する演算装置である。
ROM302は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。RAM303は、CPU301のワークエリア等として用いられる揮発性のメモリである。HDD304は、CPU301の制御にしたがってHD304aに対する各種データの読み出し、または書き込みを制御する。HD304aは、プログラム等の各種データを記憶する。メディアI/F305は、USB(Universal Serial Bus)メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア305aに対するデータの読み出しまたは書き込み(記憶)を制御する。
入出力I/F306は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力I/F306は、LCD(Liquid Crystal Display)等のディスプレイ306aに対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。なお、ディスプレイ306aは、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力I/F306は、ディスプレイ306aのほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。音入出力I/F307は、CPU301の制御に従ってマイク307aおよびスピーカ307bとの間で音信号の入出力を処理する回路である。マイク307aは、CPU301の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ307bは、CPU301の制御に従って音信号を出力する再生手段の一種である。
ネットワークI/F308は、通信ネットワーク100を経由して、他の機器または装置との通信(接続)を行う通信インターフェースである。ネットワークI/F308は、例えば、有線または無線LAN等の通信インターフェースである。近距離通信回路309は、NFC(Near Field communication)またはBluetooth(登録商標)等の通信回路である。外部機器接続I/F311は、制御装置30に他の装置を接続するためのインターフェースである。タイマ312は、時間計測機能を有する計測装置である。タイマ312は、コンピュータによるソフトタイマでもよい。
バスライン310は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。CPU301、ROM302、RAM303、HDD304、メディアI/F305、入出力I/F306、音入出力I/F307、ネットワークI/F308、近距離通信回路309、外部機器接続I/F311およびタイマ312は、バスライン310を介して相互に接続されている。
さらに、制御装置30には、外部機器接続I/F311を介して、駆動モータ101、アクチュエータ102、加速度・方位センサ103、撮影位置調整装置14、GPS(Global Positioning System)センサ17、障害物検知センサ18およびバッテリ120が接続されている。
駆動モータ101は、CPU301からの命令に基づき、移動機構16を回転駆動させてロボット10を地面に沿って移動させる。アクチュエータ102は、CPU301からの命令に基づき、可動アーム19を変形させる。可動アーム19は、ロボット10の移動以外の付加的動作を可能とする動作手段を有している。可動アーム19には、例えば、可動アーム19の先端に部品等の物体を掴むためのハンドが動作手段として備えられている。ロボット10は、可動アーム19を回転または変形させることによって、所定の作業(動作)を行うことができる。加速度・方位センサ103は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。バッテリ120は、ロボット10の全体に必要な電源を供給するユニットである。
○画像管理サーバのハードウエア構成○
図9は、画像管理サーバ50のハードウエア構成の一例を示す図である。画像管理サーバ50の各ハードウエア構成は、500番台の符号で示されている。画像管理サーバ50は、コンピュータによって構築されており、図9に示されているように、CPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516およびタイマ517を備えている。
これらのうち、CPU501は、画像管理サーバ50全体の動作を制御する。ROM502は、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。なお、ディスプレイ506は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリまたはプリンタ等である。ネットワークI/F509は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。バスライン510は、図9に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。
また、キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード511およびポインティングデバイス512のみならず、タッチパネルまたは音声入力装置等であってもよい。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出しまたは書き込みを制御する。なお、着脱可能な記録媒体は、DVD-RWに限らず、DVD-RまたはBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。タイマ517は、時間計測機能を有する計測装置である。タイマ517は、コンピュータによるソフトタイマでもよい。
○通信端末のハードウエア構成○
図9は、通信端末70のハードウエア構成の一例を示す図である。通信端末70の各ハードウエア構成は、括弧内の700番台の符号で示されている。通信端末70は、コンピュータによって構築されており、図9に示されているように、画像管理サーバ50と同様の構成を備えているため、各ハードウエア構成の説明を省略する。なお、ディスプレイ706は、表示部の一例である。ディスプレイ706としての表示部は、通信端末70に接続された表示機能を備える外部装置であってもよい。この場合の表示部は、例えば、IWB(Interactive White Board:電子黒板)等の外部ディスプレイ、または外部装置として接続されたPJ(Projector:プロジェクタ)からの画像が投影される被投影部(例えば、管理拠点の天井または壁等)であってもよい。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc、SDカードまたはUSBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、制御装置30は、本発明に係るプログラムが実行されることで本発明に係る撮影制御方法を実現する。
●機能構成
続いて、図10乃至図17を用いて、実施形態に係る撮影システム1の機能構成について説明する。図10は、撮影システム1の機能構成の一例を示す図である。なお、図10は、図1に示されている装置または端末のうち、後述の処理または動作に関連しているものを示す。
○ロボット(制御装置)の機能構成○
まず、図10を用いて、ロボット10の処理または動作を制御する制御装置30の機能構成について説明する。制御装置30は、送受信部31、判断部32、位置情報取得部33、移動先設定部34、移動制御部35、撮影制御部36、画像照合部37、パターン特定部38、撮影条件設定部39、登録部41および記憶・読出部49を有している。これら各部は、図8に示されている各構成要素のいずれかが、RAM303上に展開された制御装置用プログラムに従ったCPU301からの命令によって動作することで実現される機能、または機能する手段である。また、制御装置30は、図8に示されているROM302、HD304aまたは記録メディア305aによって構築される記憶部3000を有している。
送受信部31は、主に、ネットワークI/F308に対するCPU301の処理によって実現され、通信ネットワーク100を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。
判断部32は、CPU301の処理によって実現され、各種判断を行う。位置情報取得部33は、主に、外部機器接続I/F311に対するCPU301の処理によって実現され、GPSセンサ17によって検知されたロボット10の現在位置を示す位置情報を取得する。
移動先設定部34は、主に、CPU301の処理によって実現され、ロボット10の移動先を設定する。移動先設定部34は、例えば、通信端末70から送信されてきた処理開始要求の対象となる対象エリアに移動するための移動経路をロボット10の移動先として設定する。移動制御部35は、主に、外部機器接続I/F311に対するCPU301の処理によって実現され、移動機構16を駆動させることによって、ロボット10の移動を制御する。移動制御部35は、例えば、移動先設定部34によって設定された移動先へロボット10を移動させる。
撮影制御部36は、主に、外部機器接続I/F311に対するCPU301の処理によって実現され、撮影装置13に対する撮影処理を制御する。撮影制御部36は、例えば、撮影装置13に対する撮影処理を指示する。また、撮影制御部36は、例えば、撮影装置13による撮影処理で得られた撮影画像を取得する。
画像照合部37は、主に、CPU301の処理によって実現され、後述のパターン管理DB3005(図15参照)に記憶された基準画像と、撮影制御部36によって取得されたテストオブジェクト6の撮影画像との画像照合処理を行う。基準画像は、撮影対象物であるテストオブジェクト6の写り込み状態が異なる画像である。基準画像は、過去の点検作業においてテストオブジェクト6が撮影された画像であり、撮影時間または天候等の外光条件に伴う撮影環境の違いによってテストオブジェクト6の写り込み状態が異なる画像となる。
パターン特定部38は、主に、CPU301の処理によって実現され、画像照合部37による照合結果に基づいて、点検対象物の撮影パターンを特定する。撮影パターンとは、点検対象物の写り込み状態の違いによる異なる撮影条件を設定するためのパターンである。撮影条件設定部39は、主に、撮影位置調整装置14に対するCPU301の処理によって実現され、パターン特定部38によって特定された撮影パターンに応じた撮影制御部36による撮影条件の設定を行う。登録部41は、主に、CPU301の処理によって実現され、撮影パターンに対応する点検対象物に対する撮影条件の登録を行う。
記憶・読出部49は、主に、CPU301の処理によって実現され、記憶部3000に、各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
○エリア情報管理テーブル
図11は、エリア情報管理テーブルの一例を示す概念図である。エリア情報管理テーブルは、点検作業ごとに区分けされた対象拠点のエリアを示すエリア情報を管理するためのテーブルである。記憶部3000には、図11に示されているようなエリア情報管理テーブルによって構成されているエリア情報管理DB3001が構築されている。
エリア情報管理テーブルは、対象拠点内の所定のエリアを識別するエリアIDおよびエリア名、並びにエリアの位置を特定するための基準位置が関連づけられたエリア情報を管理している。このうち、基準位置は、ロボット10が対象拠点内のエリアを特定するために用いる位置情報である。基準位置は、例えば、ロボット10の走行経路上における二点の拠点位置によって特定される。
○拠点位置管理テーブル
図12は、拠点位置管理テーブルの一例を示す概念図である。拠点位置管理テーブルは、対象拠点内の所定の拠点位置を示す拠点位置情報を管理するためのテーブルである。記憶部3000には、図12に示されているような拠点位置管理テーブルによって構成されている拠点位置管理DB3002が構築されている。
拠点位置管理テーブルは、対象拠点内の所定の位置を識別する拠点位置ID、および対象の拠点位置を示す位置情報が関連づけられた拠点位置情報を管理している。拠点位置管理テーブルは、対象拠点内におけるロボット10の走行経路上の複数の位置を所定の間隔で記憶している。対象の拠点位置の位置情報は、対象拠点全体を示す地図データ上の座標位置を示すXY座標によって表される。ロボット10は、拠点位置情報に示されている位置情報を用いて設定された移動経路に基づいて目的となる移動先へ移動する。
○経路情報管理テーブル
図13は、経路情報管理テーブルの一例を示す概念図である。経路情報管理テーブルは、対象拠点内をロボット10が移動する際の移動経路を示す経路情報を管理するためのテーブルである。記憶部3000には、図13に示されているような経路情報管理テーブルによって構成されている経路情報管理DB3003が構築されている。
経路情報管理テーブルは、ロボット10の移動経路を識別する経路ID、対象となる移動経路を用いた移動先となるエリアを識別するエリアID、および具体的な移動経路の内容を示す経路データが関連づけられた経路情報を管理している。このうち、経路データは、対象エリアを目的地としたロボット10の移動経路を、所定の間隔で設けられている拠点位置の拠点位置IDの順序として示している。
○対象物管理テーブル
図14は、対象物管理テーブルの一例を示す概念図である。対象物管理テーブルは、対象拠点内における点検対象物の情報を管理するためのテーブルである。記憶部3000には、図14に示されているような対象物管理テーブルによって構成されている対象物管理DB3004が構築されている。
対象物管理テーブルは、対象拠点内の点検エリアを識別するエリアIDごとに、対象となるエリアに存在する点検対象物を識別する対象物IDおよび対象物名を関連づけて管理している。また、対象物管理テーブルは、点検対象物がテストオブジェクト6の場合(対象物ID「S1」)、テストオブジェクト6を示す対象物IDおよび対象物名に対して、テストオブジェクト6の撮影位置を示す位置情報を関連づけて管理している。
○パターン管理テーブル
図15は、パターン管理テーブルの一例を示す概念図である。パターン管理テーブルは、テストオブジェクト6の撮影画像に応じて決定される点検対象物の撮影パターンを管理するためのテーブルである。記憶部3000には、図15に示されているようなパターン管理テーブルによって構成されているパターン管理DB3005が構築されている。
パターン管理テーブルは、撮影パターンを識別するパターンIDおよびパターン名、並びに対象の撮影パターンに対応する基準画像データを関連づけて管理している。ロボット10は、点検作業においてテストオブジェクト6が撮影されるたびに、撮影時の撮影環境に対応する撮影パターンとして、テストオブジェクト6の撮影画像を基準画像データとして随時記憶していく。
○撮影条件管理テーブル
図16は、撮影条件管理テーブルの一例を示す概念図である。撮影条件管理テーブルは、撮影パターンごとの点検対象物に対する撮影条件を管理するためのテーブルである。記憶部3000には、図16に示されているような撮影条件管理テーブルによって構成されている撮影条件管理DB3006が構築されている。
撮影条件管理テーブルは、対象拠点内の所定のエリアを識別するエリアIDごとに、パターンを識別するパターンID、撮影対象となる点検対象物を識別する対象物IDおよび点検対象物に対する撮影条件を示す撮影条件情報を関連づけて管理している。このうち、撮影条件情報は、点検対象物の撮影位置を示す撮影位置情報、および撮影装置13の撮影方向を示す撮影方向情報を含む。
撮影位置情報は、点検対象物の撮影を行う場合のロボット10の停止位置を示す。撮影位置情報は、ロボット10を停止される拠点位置を示す撮影ポイント情報または対象エリアのエリア基準位置からの拠点を示す基準位置距離情報を含む。撮影ポイント情報は、拠点位置情報と同様に、対象拠点全体を示す地図データ上の座標位置を示すXY座標によって表される。一方で、基準位置距離情報は、ロボット10の走行経路上におけるエリア基準位置からの距離によって表される。なお、撮影位置情報は、撮影ポイント情報および基準位置距離情報のいずれかが含まれていればよい。また、撮影条件情報は、撮影位置情報および撮影方向情報のみならず、撮影装置13における絞り(F値)、シャッター速度、ISO感度またはフラッシュの有無等の撮影時のパラメータの情報を含んでもよい。さらに、撮影条件情報は、上述の特殊カメラ等の撮影装置13の種別に応じた特有の撮影パラメータを含んでもよい。
また、撮影方向情報は、撮影装置13の撮影方向を特定するためのPTZ(パン、チルト、ズーム)のパラメータを含む。撮影条件設定部39は、例えば、撮影方向情報に示されているパラメータに応じて、撮影位置調整装置14を制御することで、撮影装置13による撮影条件を設定する。そして、撮影制御部36は、撮影条件設定部39によって設定された撮影条件によって、点検対象物を撮影する。
○画像管理サーバの機能構成○
次に、図10を用いて、画像管理サーバ50の機能構成について説明する。画像管理サーバ50は、送受信部51、判断部52および記憶・読出部59を有している。これら各部は、図9に示されている各構成要素のいずれかが、RAM503上に展開された画像管理サーバ用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、画像管理サーバ50は、図9に示されているROM502、HD504または記録メディア515によって構築される記憶部5000を有している。
送受信部51は、主に、ネットワークI/F509に対するCPU501の処理によって実現され、他の装置または端末との間で各種データまたは情報の送受信を行う。判断部52は、CPU501の処理によって実現され、各種判断を行う。
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に、各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
○撮影画像管理テーブル
図17は、撮影画像管理テーブルの一例を示す概念図である。撮影画像管理テーブルは、ロボット10によって撮影された点検対象物の撮影画像を管理するためのテーブルである。記憶部5000には、図17に示されているような画像管理テーブルによって構成されている撮影画像管理DB5001が構築されている。
撮影画像管理テーブルは、対象拠点内の点検エリアを識別するエリアIDごとに、点検対象物を識別する対象物IDおよび対象物名、並びに対象の点検対象物の撮影画像データを関連づけて管理している。
○通信端末の機能構成○
次に、図10を用いて、通信端末70の機能構成について説明する。通信端末70は、送受信部71、受付部72、表示制御部73、判断部74および記憶・読出部79を有している。これら各部は、図9に示されている各構成要素のいずれかが、RAM703上に展開された通信端末用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、通信端末70は、図9に示されているROM702、HD704または記録メディア715によって構築される記憶部7000を有している。
送受信部71は、主に、ネットワークI/F709に対するCPU701の処理によって実現され、通信ネットワーク100を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。
受付部72は、主に、キーボード711またはポインティングデバイス712に対するCPU701の処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部73は、主に、CPU701の処理によって実現され、ディスプレイ706等の表示部に各種画面を表示させる。判断部74は、CPU701の処理によって実現され、各種判断を行う。
記憶・読出部79は、主に、CPU701の処理によって実現され、記憶部7000に、各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
●実施形態の処理または動作
○対象物撮影処理○
続いて、図18乃至図36を用いて、実施形態に係る撮影システム1の処理または動作について説明する。まず、図18乃至図25を用いて、ロボット10を用いて対象エリア内の点検対象物を撮影する処理について説明する。図18は、対象物点検処理の一例を示すシーケンス図である。
まず、管理拠点に位置する管理者Aが通信端末70の入力手段に対する入力操作等を行うことで、通信端末70の送受信部71は、画像管理サーバ50に対して、ロボット10に対する点検作業の開始を要求する旨を示す処理開始要求を送信する(ステップS11)。この処理開始要求は、要求対象の点検作業の対象エリアを識別するエリアIDを含む。これにより、画像管理サーバ50の送受信部51は、通信端末70から送信された処理開始要求を受信する。
次に、画像管理サーバ50の送受信部51は、ロボット10に対して、通信端末70から送信された処理開始要求を送信(転送)する(ステップS12)。これにより、ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50から送信(転送)された処理開始要求を受信する。次に、ロボット10は、受信された処理開始要求に基づいて、点検対象物に対する点検処理を開始する(ステップS13)。ここで、図19乃至図25を用いて、ロボット10における点検対象物に対する点検処理の詳細を説明する。図19は、ロボット10における対象物点検処理の一例を示すフローチャートである。
まず、記憶・読出部49は、ステップS12で受信されたエリアIDを検索キーとしてエリア情報管理DB3001(図11参照)を検索することにより、受信されたエリアIDと同じエリアIDに関連づけられたエリア情報を読み出す(ステップS31)。また、記憶・読出部49は、ステップS12で受信されたエリアIDを検索キーとして経路情報管理DB3003(図13参照)を検索することにより、受信されたエリアIDと同じエリアIDに関連づけられた経路情報を読み出す(ステップS32)。さらに、記憶・読出部49は、拠点位置管理DB3002(図12参照)に記憶された拠点位置情報を読み出す(ステップS33)。
次に、移動先設定部34は、ステップS32で読み出された経路情報に基づいて、ロボット10の移動先を設定する(ステップS34)。具体的には、移動先設定部34は、位置情報取得部33によって取得されたロボット10の現在位置を示す位置情報と、読み出された経路情報に示されている経路データを用いて、ロボット10の移動先となる移動経路を経路データが示す拠点位置の順に設定する。移動先設定部34は、例えば、ロボット10をエリア1へ移動させたい場合、エリア1のエリア基準位置である拠点位置P8を目的地とした移動経路(P0→P1→P2→P3→P4→P8)を設定する。
次に、移動制御部35は、移動先設定部34によって設定された移動経路に従って、ロボット10を移動させる(ステップS35)。具体的には、移動制御部35は、設定された移動経路に示されている拠点位置を順番に辿るようにして、ロボット10を移動させる。そして、判断部32は、ロボット10が指定エリアに到着した場合(ステップS36のYES)、処理をステップS36へ移行させる。具体的には、位置情報取得部33によって取得された位置情報が示すロボット10の現在位置が、ステップS31で読み出されたエリア情報に示されているエリア基準位置と一致またはエリア基準位置に近づいた場合、判断部32は、ロボット10が指定エリアに到着したと判断する。一方で、制御装置30は、ロボット10が指定エリアに到着するまで移動制御部35によってロボット10を移動させる(ステップS36のNO)。
次に、制御装置30は、指定エリアにおける点検対象物の撮影処理を実行する(ステップS37)。そして、制御装置30は、ステップS11で受信されたエリアIDに基づいて、他の指定エリアが存在すると判断部32によって判断された場合(ステップS38のYES)、ステップS36からの処理を繰り返し、他の指定エリアへの移動および撮影処理を繰り返す。一方で、制御装置30は、他の指定エリアが存在しないと判断部32によって判断された場合(ステップS38のNO)、点検対象物に対する点検処理を終了する。
ここで、図20乃至図25を用いて、ステップS37における点検対象物の撮影処理について詳細に説明する。図20および図21は、対象物撮影処理の一例を示すフローチャートである。なお、ロボット10は、ステップS36において指定エリアに到着した後も、移動先設定部34によって設定された移動経路に従った移動を続けているものとする。
まず、記憶・読出部49は、ステップS35で到着したと判断された指定エリアのエリアIDを検索キーとして対象物管理DB3004(図14参照)を検索することにより、対象のエリアIDと同じエリアIDに関連づけられた対象物情報を読み出す(ステップS51)。
次に、判断部32は、ロボット10がテストポイントに到着したと判断する場合(ステップS52のYES)、処理をステップS53へ移行させる。テストポイントは、テストオブジェクト6の撮影位置である。具体的には、位置情報取得部33によって取得された位置情報が示すロボット10の現在位置が、ステップS51で読み出された対象物情報が示すテストポイントと一致またはテストポイントに近づいた場合、判断部32は、ロボット10がテストポイントに到着したと判断する。一方で、制御装置30は、ロボット10がテストポイントに到着するまで移動制御部35によってロボット10を移動させる(ステップS52のNO)。
次に、移動制御部35は、テストポイントに到着した場合、ロボット10を停止させる(ステップS53)。そして、撮影制御部36は、テストオブジェクト6に対する撮影処理を行い、テストオブジェクト6が撮影された撮影画像を取得する(ステップS54)。
次に、画像照合部37は、パターン管理DB3005(図15参照)に記憶された基準画像データと、ステップS54で取得されたテストオブジェクト6の撮影画像との画像照合処理を行う(ステップS55)。具体的には、画像照合部37は、例えば、記憶された複数の基準画像データと取得された撮影画像との一致度または類似度等のパラメータを算出し、複数の基準画像データのうち、算出したパラメータが最も高い基準画像を決定する。すなわち、画像照合部37は、テストオブジェクト6の撮影画像を用いて、撮影時の外光条件等によるテストオブジェクト6の写り込み状態が最も近い基準画像を決定する。
次に、パターン特定部38は、ステップS55で決定された基準画像に関連づけられた撮影パターンを、点検対象物に対する撮影パターンとして特定する(ステップS56)。具体的には、パターン特定部38は、例えば、パターン管理DB3005において、ステップS55で決定された基準画像に関連づけられた撮影パターンのパターンIDを特定する。ロボット10は、点検エリアごとに撮影環境に応じて点検対象物が見やすいと判断される撮影パターンを複数記憶しており、点検対象物に対する撮影を始める直前に撮影されたテストオブジェクト6の写り込み状態によって、点検対象物が最も見やすいと判断される撮影パターンを特定する。
次に、記憶・読出部49は、ステップS57で特定された撮影パターンのパターンIDを検索キーとして撮影条件管理DB3006(図16参照)を検索することにより、対象のパターンIDと同じパターンIDに関連づけられた撮影条件情報を読み出す(ステップS57)。
次に、図21において、移動制御部35は、ステップS57で読み出された撮影条件情報に示されている撮影位置までロボット10を移動させる(ステップS58)。移動制御部35は、撮影条件情報に含まれる撮影位置情報が撮影ポイントを示す場合、撮影ポイント情報に示されている拠点位置までロボット10を移動させる。また、移動制御部35は、例えば、撮影条件情報に含まれる撮影位置情報が基準位置距離撮影を示す場合、ロボット10を基準位置距離情報に示されている距離だけ移動させる。
そして、判断部32は、ロボット10が撮影位置に到着した場合(ステップS59のYES)、処理をステップS61へ移行させる。具体的には、位置情報取得部33によって取得された位置情報が示すロボット10の現在位置が、ステップS57で読み出された撮影条件情報が示す撮影位置と一致または撮影位置に近づいた場合、判断部32は、ロボット10が撮影位置に到着したと判断する。一方で、制御装置30は、ロボット10が撮影位置に到着するまで移動制御部35によってロボット10を移動させる(ステップS59のNO)。
次に、撮影条件設定部39は、到着した撮影位置に対応する撮影条件の設定を行う(ステップS60)。具体的には、撮影条件設定部39は、ステップS57で読み出された撮影条件情報が示す撮影方向情報に基づいて、撮影位置調整装置14を制御することで、撮影装置13による撮影条件を設定する。そして、撮影制御部36は、ステップS60で設定された撮影条件によって、現在の撮影位置における撮影対象となる点検対象物の撮影処理を行う(ステップS61)。
次に、制御装置30は、撮影対象となる他の点検対象物が存在する場合(ステップS62のYES)、ステップS59からの処理を繰り返し、他の点検対象物の撮影位置までロボット10を移動させる。一方で、判断部32は、撮影対象となる他の点検対象物が存在しないと判断する場合(ステップS62のNO)、処理を終了する。
ここで、図22を用いて、図20および図21で説明した処理を概略的に説明する。図22は、点検エリアにおけるロボット10を用いた撮影処理の一例を概略的に説明するための図である。
ロボット10は、点検作業を行う対象エリアに到着した場合、まず、テストオブジェクト6の撮影位置であるテストポイントA0まで移動する。そして、ロボット10は、テストポイントA0において、テストオブジェクト6に対する撮影処理を行う。これにより、ロボット10は、現在の対象拠点の環境下におけるテストオブジェクト6が撮影された撮影画像を取得する。
次に、ロボット10は、テストオブジェクト6の撮影画像とパターン管理DB3005に記憶された基準画像を照合し、今回の点検作業における点検対象物の撮影パターンを特定する。そして、ロボット10は、特定された撮影パターンに対応する対象エリアに存在する点検対象物の撮影条件を設定する。
そして、ロボット10は、設定された撮影条件が示す撮影位置に移動し、点検対象物の撮影処理を行う。図16に示されている例では、例えば、点検対象物M1の撮影位置は、パターンID「P001」の場合、撮影位置A1であり、パターンID「P002」の場合、撮影位置A2である。これにより、ロボット10は、撮影時の撮影環境に応じて点検対象物が最も見やすいと判断される撮影条件を用いて、点検対象物の撮影を行うことで、点検対象物の状態を確認可能な撮影画像を取得することができる。
また、図23乃至図25を用いて、対象拠点の各点検エリアに設置されるテストオブジェクト6について説明する。図23は、テストオブジェクト6の撮影状態の一例について説明するための図である。図23は、太陽光が当たる方向による球体のテストオブジェクト6の撮影状態の違いを示す。
図23(A)~(C)に示されているように、テストオブジェクト6が撮影された撮影画像は、テストオブジェクト6に当たる太陽光の向きによって映り方が異なる。図23(A)は、左上部から太陽光が当たっている例であり、テストオブジェクト6は、左側が太陽光に当たって見難い状態になっているため、やや右側から見た方が見やすい。図23(B)は、正面から太陽光がテストオブジェクト6に太陽光が当たっている例であり、テストオブジェクト6は、中央付近が太陽光に当たって見難い状態になっているため、左右に角度を付けて見た方が見やすい。さらに、図23(C)は、右上部から太陽光がテストオブジェクト6に太陽光が当たっている例であり、テストオブジェクト6は、右側が太陽光に当たって見難い状態になっているため、やや左側に角度を付けて見た方が見やすい。
このように、撮影システム1は、点検エリアに撮影条件を設定するためのリファレンスとしてテストオブジェクト6を配置し、点検対象物の撮影を行う前にテストオブジェクト6を撮影し、太陽光の当たり方等によるテストオブジェクト6の写り込み状態の違いに応じて、点検対象物の撮影条件を設定する。これにより、撮影システム1は、ロボット10によって点検対象物の状態をより確認しやすい撮影画像を取得することができる。
さらに、図24および図25に示されているように、対象拠点に設置されるテストオブジェクト6は、円形の物体に限られず、さまざまな形状のものであってもよい。テストオブジェクト6は、例えば、図24(A)に示されているような円柱形状、または図24(B)に示されているような多角形形状の物体であってもよい。
また、図25(A)に示されているように、テストオブジェクト6は、例えば、棒状の物体であり、棒状の物体の影を用いて撮影状態の違いを特定できる構成であってもよい。さらに、図25(B)に示されているように、テストオブジェクト6は、例えば、カラーチャートが含む画像であり、撮影されたカラーチャートのホワイトバランス調整等の色温度の補正を行うことで、撮影パターンを特定する構成であってもよい。
なお、本実施形態は、テストオブジェクト6が点検対象物とは別に点検エリアごとに設置されているものとして説明したが、撮影システム1は、点検エリアに設置された複数の点検対象物のうちの一つの点検対象物をテストオブジェクト6として扱う構成であってもよい。本実施形態において、テストオブジェクト6は、第1の対象物の一例である。また、対象拠点の各点検エリアに設置された点検対象物は、第2の対象物の一例である。
さらに、撮影システム1は、点検対象物が撮影された撮影画像と基準画像とに基づいて、撮影条件を設定し、同一の点検対象物に対して設定された撮影条件で撮影を行う構成であってもよい。この場合、上述の対象物撮影処理において、図21に示されているステップS58およびステップS59の処理が省略され、撮影システム1は、ステップS54で撮影された点検対象物と同じ点検対象物に対して、ステップ61の撮影処理を行う。
図18に戻り、制御装置30の送受信部31は、画像管理サーバ50に対して、ステップS13による点検処理によって取得された撮影画像データ、および撮影画像データに対応する点検対象物の対象物情報を送信する(ステップS14)。これにより、画像管理サーバ50の送受信部51は、ロボット10から送信された撮影画像データおよび対象物情報を受信する。そして、画像管理サーバ50の記憶・読出部59は、ステップS11で受信されたエリアID、並びにステップS14で受信された対象物情報が示す対象物IDおよび対象物名に関連づけて、受信された撮影画像データを、撮影画像管理DB5001(図17参照)に記憶させる(ステップS15)。
管理拠点の管理者は、上述の対象物点検処理によって取得されて画像管理サーバ50に記憶された撮影画像を通信端末70に表示させることで、点検対象物の状態を確認することができる。上述の撮影条件管理DB3006(図16参照)で管理されている撮影条件は、撮影画像の確認を行う管理者が点検対象物を見やすい状態の撮影画像を取得するためのパラメータとして設定されている。
なお、ロボット10は、上述のような点検対象物の撮影処理を行うとともに、撮影画像に対する画像認識等の手法を用いて、撮影された点検対象物の異常の有無等の検出処理を行ってもよい。これにより、管理者は、点検対象物の撮影画像とともに、ロボット10による点検対象物の異常発生等の検出結果を確認することができる。この場合、撮影条件管理DB3006(図16参照)で管理されている撮影条件は、管理者が見やすい状態の画像取得のためのパラメータではなく、ロボット10による画像認識等の処理を行うことが可能な範囲のパラメータとして設定されていてもよい。
○撮影パターンの登録処理○
○ロボット10による点検作業中のオンラインの処理
続いて、図26乃至図36を用いて、点検対象物の撮影に用いる撮影パターンを登録する処理について説明する。上述の対象物点検処理においては、予め撮影条件管理DB3006(図16参照)に異なるパターンに対応する撮影条件が記憶されている例を説明したが、図26乃至図36は、対象物を撮影する際には撮影パターンが記憶されておらず、点検対象物が撮影された撮影画像を管理者に閲覧させて所望の条件を登録する場合の例を示す。なお、以下の説明において、ロボット10が対象の点検エリアに到着するまでの処理は、図18に示されている処理と同様であるため、説明を省略する。
図26は、撮影条件が登録されていない場合における対象物撮影処理の一例を示すフローチャートである。ステップS101~ステップS104の処理は、図20に示されているステップS51~ステップS54の処理と同様であるため、説明を省略する。
ステップS105において、記憶・読出部49は、ステップS104で撮影されたテストオブジェクト6の撮影画像を基準画像データとして、パターン管理DB3005(図15参照)に記憶させる。この場合、記憶・読出部49は、テストオブジェクト6の撮影画像データを、新たに付与されたパターンIDと関連づけて、パターン管理テーブルの一レコードに記憶させる。
次に、移動制御部35は、移動先設定部34によって設定された移動経路に従って、点検エリアにおける任意の撮影位置へロボット10を移動させる(ステップS106)。具体的には、移動先設定部34は、設定した移動経路上における複数の拠点位置を、任意の撮影位置として設定する。そして、移動制御部35は、設定された任意の撮影位置へロボット10を移動させる。
次に、判断部32は、ロボット10が対象の撮影位置に到着した場合(ステップS107のYES)、処理をステップS108へ移行させる。具体的には、位置情報取得部33によって取得された位置情報が示すロボット10の現在位置が、ステップS106で設定された撮影位置と一致または撮影位置に近づいた場合、判断部32は、ロボット10が対象の撮影位置に到着したと判断する。一方で、制御装置30は、ロボット10が対象の撮影位置に到着するまで移動制御部35によってロボット10を移動させる(ステップS107のNO)。
次に、撮影制御部36は、点検対象物に対する低倍率による撮影処理を行う(ステップS108)。具体的には、撮影条件設定部39は、到着した撮影位置において、点検エリアにおける複数の点検対象物が一度に撮影されるようなズーム量(Z)の低い低倍率の撮影条件を設定する。撮影制御部36は、設定された撮影条件に基づいて、低倍率による撮影処理を行う。そして、撮影制御部36は、点検エリアにおける複数の点検対象物が撮影された撮影画像である俯瞰画像を取得する。
次に、制御装置30は、次の撮影位置が存在すると判断部32によって判断された場合(ステップS109のYES)、ステップS106からの処理を繰り返し、次の撮影位置への移動および撮影処理を繰り返す。一方で、制御装置30は、次の撮影位置が存在しないと判断部32によって判断された場合(ステップS109のNO)、点検対象物の撮影処理を終了する。
これにより、ロボット10は、点検エリアに存在する点検対象物を異なる撮影位置から撮影することにより、点検対象物の映り方の異なる複数の俯瞰画像を取得する。次に、図27乃至図30を用いて、ロボット10によって取得された撮影画像を用いて、点検対象物の撮影条件を登録する処理について説明する。
図27および図30は、撮影システムにおける撮影条件の登録処理の一例を示すシーケンス図である。ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50に対して、ステップS108で取得された撮影画像データを送信する(ステップS121)。画像管理サーバ50の送受信部51は、通信端末70に対して、ロボット10から送信された撮影画像データを送信(転送)する(ステップS122)。これにより、通信端末70の送受信部71は、画像管理サーバ50から送信(転送)された撮影画像データを受信する。
次に、通信端末70の表示制御部73は、点検対象物に対する撮影条件の設定を行うための設定画面600を、ディスプレイ706に表示させる(ステップS123)。図28は、通信端末に表示される設定画面の一例を示す図である。図28に示されている設定画面600は、点検エリアの全体が撮影された俯瞰画像を用いて、点検エリア内の点検対象物の撮影条件の登録を行うための表示画面である。管理者Aは、設定画面600を用いて、表示された撮影画像の所定領域を撮影する場合における撮影条件の設定を行う。
設定画面600は、ステップS122で受信された撮影画像データに対応する撮影画像610を表示するための撮影画像表示領域605、および撮影画像表示領域605に表示された撮影画像610内の所定領域を指定するための指定範囲620を含む。また、設定画面600は、指定範囲620に対応する点検対象物に対する撮影を要求する場合に押下される「撮影」ボタン631、指定範囲620を表示させる場合に押下される「範囲指定」ボタン633、および撮影画像表示領域605に表示された撮影画像の撮影条件を撮影パターンとして登録する場合に押下される「登録」ボタン635を含む。さらに、設定画面600は、撮影画像表示領域605に表示させる撮影画像610を切り替える画像切替ボタン641、登録する撮影パターンのパターン名を入力するための登録名入力領域643、および撮影画像表示領域605に表示された撮影画像のファイル名を入力するためのファイル名入力領域645を含む。
図27に戻り、管理者Aが指定範囲620を用いて領域指定を行い、「撮影」ボタン631を押下した場合、通信端末70の受付部72は、指定領域に対する撮影要求を受け付ける(ステップS124)。そして、送受信部71は、画像管理サーバ50に対して、ステップS124で指定された撮影画像610内の所定領域を示す指定領域情報を送信する(ステップS125)。画像管理サーバ50の送受信部51は、ロボット10に対して、通信端末70から送信された指定領域情報を送信(転送)する。これにより、ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50から送信(転送)された指定領域情報を受信する。
次に、制御装置30の撮影条件設定部39は、ステップS126で受信された指定領域情報に基づいて、撮影装置13を用いた撮影処理の撮影条件を設定する(ステップS127)。具体的には、撮影条件設定部39は、受信された指定領域情報に対応する領域の点検対象物の位置および向きに基づいて、対象となる点検対象物の撮影位置および撮影方向を特定する。そして、撮影条件設定部39は、特定された撮影方向に向けて、撮影位置調整装置14を制御することで、撮影装置13による撮影条件を設定する。また、移動先設定部34は、特定された撮影位置をロボット10の移動先として設定する。
次に、移動制御部35は、設定された撮影位置に向けてロボット10を移動させる(ステップS128)。そして、撮影制御部36は、設定された撮影位置に到着した場合、設定された撮影条件に基づいて、点検対象物の撮影処理を行う(ステップS129)。そして、撮影制御部36は、指定された所定領域に対応する点検対象物が撮影された撮影画像である拡大画像を取得する。
送受信部31は、画像管理サーバ50に対して、ステップS128で撮影された点検対象物の撮影画像データ、および撮影された点検対象物の対象物情報を送信する(ステップS130)。画像管理サーバ50の送受信部51は、通信端末70に対して、ロボット10から送信された撮影画像データおよび対象物情報を送信(転送)する(ステップS131)。これにより、通信端末70の送受信部71は、画像管理サーバ50から送信(転送)された撮影画像データおよび対象物情報を受信する。
次に、通信端末70の表示制御部73は、図29に示されているように、ステップS131で受信された撮影画像データに対応する撮影画像615を、撮影画像表示領域605に表示させる(ステップS132)。図29に示されている設定画面600は、図28の指定範囲620の拡大画像となる撮影画像615が、撮影画像表示領域605に表示されている。
次に、図30において、受付部72は、撮影画像表示領域605に撮影画像615が表示された状態において、管理者Aが「登録」ボタン635を押下することで、撮影条件の登録要求を受け付ける(ステップS133)。なお、管理者は、表示された撮影画像615によって点検対象物の状態を確認しづらい場合、再度、指定範囲620の選択を行い、ロボット10の撮影位置を変更する。この場合、撮影システム1は、ステップ124からの処理を繰り返す。
次に、送受信部71は、画像管理サーバ50に対して、撮影画像表示領域605に表示された撮影画像615の撮影条件の登録要求を送信する(ステップS134)。この撮影条件登録要求は、点検対象物が設置された点検エリアのエリアID、ファイル名入力領域645に入力されたファイル名、登録名入力領域643に入力されたパターン名、およびステップS131で受信された対象物情報に示されている対象物IDを含む。これにより、画像管理サーバ50の送受信部51は、通信端末70から送信された撮影条件登録要求を受信する。
次に、画像管理サーバ50の記憶・読出部59は、ステップS134で受信されたエリアIDおよび対象物IDに関連づけてステップS131で受信された撮影画像データを、撮影画像管理DB5001(図17参照)に記憶させる(ステップS135)。そして、画像管理サーバ50の送受信部51は、ロボット10に対して、撮影条件登録要求を送信する(ステップS136)。この撮影条件登録要求は、ステップS134で受信されたパターン名および対象物IDを含む。これにより、ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50から送信された撮影条件登録要求を受信する。
制御装置30の登録部41は、ステップS136で受信されたパターン名をステップS105で記憶された基準画像データに関連づけたパターン情報を、パターン管理DB3005(図15参照)に登録する(ステップS137)。そして、登録部41は、ステップS129における撮影処理の撮影条件を示す撮影条件情報を、ステップS136で受信された対象物IDおよびステップS137で登録されたパターン情報が示すパターンIDに関連づけて、撮影条件管理DB3006(図16参照)に登録する(ステップS138)。
このように、撮影システム1は、テストオブジェクト6が撮影された撮影画像と点検対象物の撮影時の撮影環境に対応する撮影条件を関連づけて登録することができる。また、撮影システム1は、外光条件等が異なる撮影環境で上述の撮影条件の登録処理を繰り返すことで、さまざまな撮影環境のそれぞれに対応する点検対象物が見やすい撮影条件を登録することができる。
○ロボット10による点検作業後のオフラインの処理
次に、図31乃至図34を用いて、ロボット10による点検作業が完了した後に管理者Aが撮影画像を用いて撮影パターンを登録する処理について説明する。ロボット10は、点検作業によって撮影した点検対象物の撮影画像を、画像管理サーバ50にアップロードする。そして、管理者Aは、所望の時間に、画像管理サーバ50にアップロードされた撮影画像を確認しながら、点検対象物の撮影パターンを登録する処理を行う。以下、詳細に説明する。
図31は、撮影条件が登録されていない場合における対象物撮影処理の一例を示すフローチャートである。図31に示されている処理は、図26に示されている処理と比較してステップS208の処理のみが異なる。ステップS208において、撮影制御部36は、点検対象物に対する拡大画像の撮影処理を行う。具体的には、撮影条件設定部39は、到着した撮影位置において、点検エリアにおける各点検対象物の拡大画像が撮影されるようなズーム量(Z)の高い倍率の撮影条件を設定する。撮影制御部36は、設定された撮影条件に基づいて、対象の点検エリアに存在する点検対象物の撮影処理を行う。そして、撮影制御部36は、点検エリアにおけるそれぞれの点検対象物が個別に撮影された撮影画像である拡大画像を取得する。なお、図31に示されているその他のステップS201~ステップS207およびステップS209の処理は、それぞれ図26のステップS101~ステップS107およびステップS109の処理と同様であるため、説明を省略する。
次に、図32乃至図34を用いて、ロボット10による点検作業が完了した後に、画像管理サーバ50にアップロードされた撮影画像を用いて、点検対象物の撮影条件を登録する処理について説明する。図32および図34は、撮影システム1における撮影条件の登録処理の一例を示すシーケンス図である。ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50に対して、ステップS208で取得された撮影画像データ、並びにステップS208で撮影された点検対象物が設置された点検エリアのエリアIDおよび点検対象物の対象物情報を送信する(ステップS221)。これにより、画像管理サーバ50の送受信部51は、ロボット10から送信された撮影画像データ、エリアIDおよび対象物情報を受信する。そして、画像管理サーバ50の記憶・読出部59は、ステップS221で受信されたエリアID並びに対象物情報が示す対象物IDおよび対象物名に関連づけて、受信された撮影画像データを、撮影画像管理DB5001(図17参照)に記憶させる(ステップS222)。
次に、管理拠点に位置する管理者Aが通信端末70の入力手段に対する入力操作等を行うことで、通信端末70の送受信部71は、画像管理サーバ50に対して、点検対象物が撮影された撮影画像の取得を要求する旨を示す撮影画像取得要求を送信する(ステップS223)。この撮影画像取得要求は、点検対象物を識別する対象物IDを含む。これにより、画像管理サーバ50の送受信部51は、通信端末70から送信された撮影画像取得要求を受信する。
次に、画像管理サーバ50の記憶・読出部59は、ステップS223で受信された対象物IDを検索キーとして撮影画像管理DB5001を検索することにより、受信された対象物IDと同じ対象物IDに関連づけられた撮影画像データを読み出す(ステップS224)。そして、送受信部51は、要求元の通信端末70に対して、ステップS224で読み出された撮影画像データを送信する。これにより、通信端末70の送受信部71は、画像管理サーバ50から送信された撮影画像データを受信する。
次に、通信端末70の表示制御部73は、ステップS224で受信された撮影画像データが表示された画像選択画面800を、ディスプレイ706に表示させる(ステップS226)。図33は、通信端末に表示される画像選択画面の一例を示す図である。図29に示されている画像選択画面800は、点検対象物が撮影された複数の撮影画像を用いて、撮影環境に対応する点検対象物の撮影条件の登録を行うための表示画面である。
画像選択画面800は、ステップS226で受信された撮影画像データに対応する複数の撮影画像820(820a,820b)を表示するための撮影画像表示領域810、撮影画像表示領域810に表示させる撮影画像を切り替える画像切替ボタン830、登録する撮影パターンのパターン名を入力するための登録名入力領域840、および選択された撮影画像の撮影条件を撮影パターンとして登録する場合に押下される「登録」ボタン850を含む。このうち、撮影画像表示領域810は、表示された撮影画像ごとに、撮影画像を選択するための選択領域825(825a,825b)を含む。図33の例は、管理者Aが撮影画像820aを選択した状態を示す。
次に、図34において、管理者Aが選択領域825に対する入力を行った場合、通信端末70の受付部72は、撮影画像の選択を受け付ける(ステップS227)。図33の例は、管理者Aが撮影画像820aを選択した状態を示す。そして、管理者Aが「登録」ボタン850を押下した場合、送受信部71は、画像管理サーバ50に対して、ステップS227で選択された撮影画像820の撮影条件の登録要求を送信する(ステップS228)。この撮影条件登録要求は、登録名入力領域840に入力されたパターン名、およびステップS223で送信した対象物ID、ステップS227で選択された撮影画像データを含む。これにより、画像管理サーバ50の送受信部51は、通信端末70から送信された撮影条件登録要求を受信する。
次に、画像管理サーバ50の記憶・読出部59は、ステップS228で受信された対象物IDに関連づけて撮影画像管理DB5001に記憶された撮影画像データを、ステップS228で受信された撮影画像データに更新する(ステップS229)。そして、画像管理サーバ50の送受信部51は、ロボット10に対して、撮影条件登録要求を送信する(ステップS230)。この撮影条件登録要求は、ステップS227で受信されたパターン名および対象物ID、並びにステップS229で更新された撮影画像データを識別するファイル名等の画像識別情報を含む。これにより、ロボット10が備える制御装置30の送受信部31は、画像管理サーバ50から送信された撮影条件登録要求を受信する。
制御装置30の登録部41は、ステップS230で受信されたパターン名をステップS205で記憶された基準画像データに関連づけたパターン情報を、パターン管理DB3005(図15参照)に登録する(ステップS231)。そして、登録部41は、ステップS230で受信された画像識別情報に対応する撮影画像データの撮影時の撮影条件を示す撮影条件情報を、ステップS230で受信された対象物IDおよびステップS231で登録されたパターン情報が示すパターンIDに関連づけて、撮影条件管理DB3006(図16参照)に登録する(ステップS231)。
このように、撮影システム1は、ロボット10によって点検対象物の撮影画像を画像管理サーバ50へアップロードしておき、ロボット10の点検作業が完了した後に、管理者に撮影画像の中から最も見やすい画像を選択させて、撮影環境に対応する撮影条件を登録するようなオフラインでの処理を行うことができる。これにより、撮影システム1は、管理者が点検対象物の撮影条件を一度登録すれば、ロボット10が自動で移動経路を巡回しながら点検対象物を撮影することができるので、管理者の登録作業に要する手間を低減させることができる。
なお、撮影システム1は、図26乃至図30に示されているオンラインの処理において、点検エリアの俯瞰画像ではなく、図33に示されているような点検対象物の撮影画像を撮影して表示される構成であってもよい。また、撮影システム1は、図31乃至図34に示されているオフラインの処理において、図28に示されているような点検エリアの俯瞰画像を撮影して表示させる構成であってもよい。この場合、撮影システム1は、俯瞰画像で指定された所定領域の撮影条件を、所定領域に含まれる点検対象物の撮影条件として登録する。
また、撮影システム1は、上述の処理を繰り返すことによって、外光条件等の撮影環境に違いによる適した撮影条件が選択できていくようになり、撮影条件の最適化を図ることができる。具体的には、ロボット10は、例えば、ステップS127で設定された撮影条件およびステップS136で受信されたパターン名および対象物IDをインプットとして、撮影条件管理DB3006で管理されている撮影条件情報を更新する。または、ロボット10は、例えば、ステップS208で設定された撮影条件およびステップS230で受信されたパターン名、対象物IDおよび画像識別情報をインプットとして、撮影条件管理DB3006で管理されている撮影条件情報を更新する。そして、ロボット10は、更新された撮影条件に基づいてステップS57で読み出された撮影条件情報をアウトプットとして点検対象物の撮影処理を行う。これにより、撮影システム1は、随時、機械学習によって撮影条件管理DB3006で管理されているデータを更新することで、点検対象物の撮影精度を向上させることができる。
ここで、管理者は、通信端末70に表示された撮影画像を見ながら、外光条件以外の要素も踏まえて撮影条件を登録してもよい。図35は、点検エリアにおけるロボット10を用いた撮影処理の別の例を概略的に説明するための図である。図35に示されているように、点検対象物M3は、撮影ポイントA2,A3からは見えるが、撮影ポイントA4からは見えない。図36(A)は、撮影ポイントA3から撮影された撮影画像の一例であり、図36(B)は、撮影ポイントA4から撮影された撮影画像の一例である。このように、点検対象物は、外光条件だけでなく、撮影位置によって対象拠点内の他の構造物の影になったり、他の構造物で隠れたりする。そのため、管理者は、外光条件だけでなく、対象拠点内の他の構造物の影になるオクルージョンに対しても対応できるように、撮影条件として登録する撮影画像を決定してもよい。
●実施形態の効果
以上説明したように、撮影システム1は、対象拠点の点検エリアごとにテストオブジェクト6を設置し、点検エリアにおける点検作業を始める前にテストオブジェクト6をロボット10で撮影する。また、撮影システム1は、テストオブジェクト6が撮影された撮影画像の解析結果から、点検エリアに設定された点検対象物の撮影位置および撮影方向を示す撮影条件を設定する。そして、撮影システム1は、設定された撮影位置にロボット10を移動させ、設定された撮影方向に従って点検対象物の撮影を行う。これにより、撮影システム1は、点検する時間または天候で変化する外光条件等の撮影環境に応じた撮影条件を用いて点検対象物を撮影することで、予め教示された撮影条件での画像の読み取りが困難な場合であっても、点検対象物の状態を読み取り可能な撮影画像を取得することができる。
なお、本実施形態において、ロボット10に備えられた制御装置30を用いて、ロボット10による撮影処理を制御する例を説明したが、上述の画像照合処理、パターン特定処理および撮影条件の設定処理を、画像管理サーバ50によって実行させる構成であってもよい。この場合、画像管理サーバ50は、制御装置30の画像照合部37、パターン特定部38、撮影条件設定部39および登録部41と同様の構成を備える。また、画像管理サーバ50の記憶部5000には、パターン管理DB3005および撮影条件管理DB3006が記憶される。この場合の画像管理サーバ50は、情報処理装置の一例である。
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置は、所定の拠点内を移動して対象物(例えば、点検対象物)を撮影するロボット10(移動体の一例)の撮影処理を制御する情報処理装置(例えば、制御装置30)であって、拠点内に設置された対象物が特定の撮影位置で撮影され、当該対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、対象物の撮影条件を関連づけて記憶する記憶部3000(記憶手段の一例)と、特定の撮影位置に移動させたロボット10を用いて、対象物を撮影する撮影制御部36(撮影制御手段の一例)と、対象物の撮影画像と記憶された基準画像とに基づいて、対象物の撮影条件を設定する撮影条件設定部39(撮影条件設定手段の一例)と、を備え、撮影制御部36は、設定された撮影条件を用いて対象物を撮影する。これにより、情報処理装置は、撮影環境によらずに、対象物の状態を確認可能な撮影画像を取得することができる。
また、本発明の一実施形態に係る情報処理装置において、対象物は、テストオブジェクト6(第1の対象物の一例)と点検対象物(第2の対象物の一例)を含む。情報処理装置は、拠点内に設置されたテストオブジェクト6が特定の撮影位置で撮影され、当該テストオブジェクト6の写り込み状態が異なる複数の基準画像のそれぞれに対して、点検対象物の撮影条件を関連づけて記憶し、特定の撮影位置に移動させたロボット10(移動体の一例)を用いて、テストオブジェクト6を撮影する。そして、情報処理装置は、テストオブジェクト6の撮影画像と記憶された基準画像とに基づいて、点検対象物の撮影条件を設定し、設定された撮影条件を用いて点検対象物を撮影する。これにより、情報処理装置は、点検する時間または天候で変化する外光条件等の撮影環境に応じた撮影条件を用いて、点検対象物を撮影することで、予め教示された撮影条件での画像の読み取りが困難な場合であっても、点検対象物の状態を確認可能な撮影画像を取得することができる。
さらに、本発明の一実施形態に係る撮影システムは、ロボット10(移動体の一例)によって撮影された撮影画像を表示する通信端末70を備える撮影システム1である。通信端末70は、撮影制御部36(撮影制御手段の一例)によって複数の点検対象物(第2の対象物の一例)を含む点検エリア(所定のエリアの一例)が撮影された撮影画像610(俯瞰画像の一例)を、ディスプレイ706(表示部の一例)に表示させる表示制御部73(表示制御手段の一例)と、表示された撮影画像610の所定領域の指定を受け付ける受付部72(受付手段の一例)と、を備える。そして、撮影システム1において、撮影制御部36は、指定された所定領域に含まれる特定の点検対象物を撮影し、記憶部3000(記憶手段の一例)は、特定の点検対象物が撮影された際の撮影条件を、撮影制御部36によって撮影されたテストオブジェクト6(第1の対象物の一例)の撮影画像と関連づけて記憶する。これにより、撮影システム1は、テストオブジェクト6が撮影された撮影画像と点検対象物の撮影時の撮影環境に対応する撮影条件を関連づけて登録することができる。また、撮影システム1は、異なる撮影環境での日時撮影条件の登録処理を繰り返すことで、さまざまな撮影環境のそれぞれに対応する点検対象物が見やすい撮影条件を登録することができる。
また、本発明の一実施形態に係る撮影システムは、ロボット10(移動体の一例)によって撮影された撮影画像を表示する通信端末70を備える撮影システム1である。通信端末70は、撮影制御部36(撮影制御手段の一例)によって点検対象物(第2の対象物の一例)が撮影された複数の撮影画像820を、ディスプレイ706(表示部の一例)に表示させる表示制御部73(表示制御手段の一例)と、表示された複数の撮影画像820のうち、特定の撮影画像(例えば、撮影画像820a)の選択を受け付ける受付部72(受付手段の一例)と、を備える。そして、撮影システム1において、記憶部3000(記憶手段の一例)は、特定の撮影画像の撮影条件を、撮影制御部36(撮影制御手段の一例)によって撮影されたテストオブジェクト6(第1の対象物の一例)の撮影画像と関連づけて記憶する。これにより、撮影システム1は、管理者が点検対象物の撮影条件を一度登録すれば、ロボット10が自動で移動経路を巡回しながら点検対象物を撮影することができるので、管理者の登録作業に要する手間を低減させることができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る情報処理装置、移動体、撮影システム、撮影制御方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1 撮影システム
6 テストオブジェクト(第1の対象部の一例)
100 通信ネットワーク
10 ロボット(移動体の一例)
30 制御装置(情報処理装置の一例)
31 送受信部
36 撮影制御部(撮影制御手段の一例)
37 画像照合部(画像照合手段の一例)
38 パターン特定部(パターン特定手段の一例)
39 撮影条件設定部(撮影条件設定手段の一例)
50 画像管理サーバ(情報処理装置の一例)
70 通信端末
72 受付部(受付手段の一例)
73 表示制御部(表示制御手段の一例)
706 ディスプレイ(表示部の一例)
3000 記憶部(記憶手段の一例)
特開平11-64050号公報 特開2005-52926号公報

Claims (17)

  1. 移動体の撮影処理を制御する情報処理装置であって、
    特定の撮影位置で撮影された対象物の基準画像に対して、撮影条件を関連づけて記憶する記憶手段と、
    前記特定の撮影位置に移動した前記移動体を用いて、前記対象物を撮影する撮影制御手段と、
    前記対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記移動体の撮影処理に用いる撮影条件を設定する撮影条件設定手段と、
    を備え
    前記記憶手段は、前記対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記対象物の撮影条件を関連づけて記憶することを特徴とする情報処理装置。
  2. 前記撮影制御手段は、設定された前記撮影条件を用いて前記対象物を撮影することを特徴とする請求項1記載の情報処理装置。
  3. 前記記憶手段は、前記対象物が異なる外光条件で撮影された複数の基準画像と、当該基準画像に対応する前記外光条件での前記撮影条件とを関連づけて記憶することを特徴とする請求項1または2記載の情報処理装置。
  4. 前記撮影制御手段によって撮影された前記対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記基準画像に関連づけられた撮影パターンを特定するパターン特定手段を備え、
    前記撮影条件設定手段は、特定された前記撮影パターンに関連づけられた前記対象物の前記撮影条件を設定することを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  5. 撮影された前記対象物の撮影画像と、前記記憶手段に記憶された前記基準画像との画像照合を行う画像照合手段を備え、
    前記パターン特定手段は、前記画像照合によって決定された基準画像に関連づけられた前記撮影パターンを特定することを特徴とする請求項記載の情報処理装置。
  6. 前記撮影条件は、前記対象物を撮影する撮影位置および撮影方向を含むことを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  7. 前記対象物は、第1の対象物と第2の対象物を含み、
    前記記憶手段は、所定の拠点内に設置された前記第1の対象物が前記特定の撮影位置で撮影され、当該第1の対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記第2の対象物の撮影条件を関連づけて記憶し、
    前記撮影制御手段は、前記特定の撮影位置に移動させた前記移動体を用いて、前記第1の対象物を撮影し、
    前記撮影条件設定手段は、前記第1の対象物の撮影画像と記憶された前記基準画像とに基づいて、前記第2の対象物の撮影条件を設定し、
    前記撮影制御手段は、設定された前記撮影条件を用いて前記第2の対象物を撮影することを特徴とする請求項1乃至のいずれか一項に記載の情報処理装置。
  8. 前記第1の対象物は、前記拠点に設置された前記第2の対象物とは異なるテストオブジェクトであることを特徴とする請求項記載の情報処理装置。
  9. 請求項1乃至のいずれか一項に記載の情報処理装置を備えることを特徴とする移動体。
  10. 所定の拠点内を移動して対象物を撮影する移動体を備える撮影システムであって、
    特定の撮影位置で撮影された対象物の基準画像に対して、撮影条件を関連づけて記憶する記憶手段と、
    前記特定の撮影位置に移動した前記移動体を用いて、前記対象物を撮影する撮影制御手段と、
    前記対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記移動体の撮影処理に用いる撮影条件を設定する撮影条件設定手段と、
    を備え
    前記記憶手段は、前記対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記対象物の撮影条件を関連づけて記憶することを特徴とする撮影システム。
  11. 前記撮影制御手段は、設定された前記撮影条件を用いて前記対象物を撮影することを特徴とする請求項10記載の撮影システム。
  12. 前記対象物は、第1の対象物と第2の対象物を含み、
    前記記憶手段は、所定の拠点内に設置された前記第1の対象物が前記特定の撮影位置で撮影され、当該第1の対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記第2の対象物の撮影条件を関連づけて記憶し、
    前記撮影制御手段は、前記特定の撮影位置に移動させた前記移動体を用いて、前記第1の対象物を撮影し、
    前記撮影条件設定手段は、前記第1の対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記第2の対象物の撮影条件を設定し、
    前記撮影制御手段は、設定された前記撮影条件を用いて前記第2の対象物を撮影することを特徴とする請求項10または11記載の撮影システム。
  13. 前記移動体によって撮影された撮影画像を表示する通信端末を備え、
    前記通信端末は、
    前記撮影制御手段によって複数の前記第2の対象物を含む所定のエリアが撮影された俯瞰画像を、表示部に表示させる表示制御手段と、
    表示された前記俯瞰画像の所定領域の指定を受け付ける受付手段と、を備え、
    前記撮影制御手段は、指定された前記所定領域に含まれる特定の第2の対象物を撮影し、
    前記記憶手段は、前記特定の第2の対象物が撮影された際の撮影条件を、前記撮影制御手段によって撮影された前記第1の対象物の撮影画像と関連づけて記憶することを特徴とする請求項12記載の撮影システム。
  14. 前記移動体によって撮影された撮影画像を表示する通信端末を備え、
    前記通信端末は、
    前記撮影制御手段によって前記第2の対象物が撮影された複数の撮影画像を、表示部に表示させる表示制御手段と、
    表示された複数の撮影画像のうち、特定の撮影画像の選択を受け付ける受付手段と
    を備え、
    前記記憶手段は、前記特定の撮影画像の撮影条件を、前記撮影制御手段によって撮影された前記第1の対象物の撮影画像と関連づけて記憶することを特徴とする請求項12または13記載の撮影システム。
  15. 所定の拠点内を移動して対象物を撮影する移動体の撮影処理を制御する情報処理装置が実行する撮影制御方法であって、
    前記情報処理装置は、
    特定の撮影位置で撮影された対象物の基準画像に対して、撮影条件を関連づけて記憶する記憶手段を備え、
    前記特定の撮影位置に移動した前記移動体を用いて、前記対象物を撮影する第1の撮影制御ステップと、
    前記対象物の撮影画像と前記記憶手段に記憶された前記基準画像とに基づいて、前記移動体の撮影処理に用いる撮影条件を設定する撮影条件設定ステップと、
    を実行するとともに、
    前記記憶手段は、前記対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記対象物の撮影条件を関連づけて記憶することを特徴とする撮影制御方法。
  16. 前記撮影条件を用いて前記対象物を撮影する第2の撮影制御ステップを実行することを特徴とする請求項15記載の撮影制御方法。
  17. コンピュータを、所定の拠点内を移動して対象物を撮影する移動体の撮影処理を制御する情報処理装置として機能させるプログラムであって、
    前記コンピュータに、
    特定の撮影位置で撮影された対象物の基準画像に対して、撮影条件を関連づけて記憶する記憶処理と、
    前記特定の撮影位置に移動した前記移動体を用いて、前記対象物を撮影する第1の撮影制御処理と、
    前記対象物の撮影画像と記憶された前記基準画像とに基づいて、前記移動体の撮影処理に用いる撮影条件を設定する撮影条件設定処理と、
    を実行させるとともに、
    前記記憶処理は、前記対象物の写り込み状態が異なる複数の基準画像のそれぞれに対して、前記対象物の撮影条件を関連づけて記憶することを特徴とするプログラム。
JP2021117332A 2020-09-30 2021-07-15 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム Active JP7099597B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US18/029,096 US20240022806A1 (en) 2020-09-30 2021-09-03 Information processing apparatus, mobile machine, image capturing system, image capturing control method, and program
EP21875069.3A EP4224835A4 (en) 2020-09-30 2021-09-03 INFORMATION PROCESSING DEVICE, MOVABLE BODY, IMAGING SYSTEM, IMAGING CONTROL METHOD AND PROGRAM
CN202180067062.2A CN116391153A (zh) 2020-09-30 2021-09-03 信息处理装置、移动体、拍摄系统、拍摄控制方法及程序
PCT/JP2021/032442 WO2022070767A1 (ja) 2020-09-30 2021-09-03 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
JP2022105727A JP2022128496A (ja) 2020-09-30 2022-06-30 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020165537 2020-09-30
JP2020165537 2020-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022105727A Division JP2022128496A (ja) 2020-09-30 2022-06-30 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022058164A JP2022058164A (ja) 2022-04-11
JP7099597B2 true JP7099597B2 (ja) 2022-07-12

Family

ID=81110838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021117332A Active JP7099597B2 (ja) 2020-09-30 2021-07-15 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7099597B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130326A (ja) 2003-10-27 2005-05-19 Konica Minolta Photo Imaging Inc デジタルカメラ
JP2009239501A (ja) 2008-03-26 2009-10-15 Toshiba Corp 撮影システムおよび撮影方法
JP2011163766A (ja) 2010-02-04 2011-08-25 Omron Corp 画像処理方法および画像処理システム
WO2016088368A1 (ja) 2014-12-03 2016-06-09 日本電気株式会社 方向制御装置、方向制御方法および記録媒体
JP2017045166A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体
US20190335074A1 (en) 2018-04-27 2019-10-31 Cubic Corporation Eliminating effects of environmental conditions of images captured by an omnidirectional camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130326A (ja) 2003-10-27 2005-05-19 Konica Minolta Photo Imaging Inc デジタルカメラ
JP2009239501A (ja) 2008-03-26 2009-10-15 Toshiba Corp 撮影システムおよび撮影方法
JP2011163766A (ja) 2010-02-04 2011-08-25 Omron Corp 画像処理方法および画像処理システム
WO2016088368A1 (ja) 2014-12-03 2016-06-09 日本電気株式会社 方向制御装置、方向制御方法および記録媒体
JP2017045166A (ja) 2015-08-25 2017-03-02 キヤノン株式会社 ワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体
US20190335074A1 (en) 2018-04-27 2019-10-31 Cubic Corporation Eliminating effects of environmental conditions of images captured by an omnidirectional camera

Also Published As

Publication number Publication date
JP2022058164A (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
JP6748961B2 (ja) 投写画像調整システム及び投写画像調整方法
CN113196208A (zh) 通过使用采集装置传感器对图像采集的自动化控制
EP3314581B1 (en) Augmented reality device for visualizing luminaire fixtures
JP2009080514A (ja) センサ配置設計支援システム
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
WO2022070767A1 (ja) 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
KR102018556B1 (ko) 하자 보수 관리를 위한 관리 시스템 및 방법
JP7099597B2 (ja) 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム
JP2022058146A (ja) スケジューリングシステム、スケジューリング方法およびプログラム
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
US20240118703A1 (en) Display apparatus, communication system, display control method, and recording medium
JP7287408B2 (ja) 表示方法、情報処理装置、及びプログラム
WO2020068156A1 (en) Method and apparatus for orienteering
CN111902849B (zh) 在图像上叠加传感器及其检测区域的虚拟表示
US20230205198A1 (en) Information processing apparatus, route generation system, route generating method, and non-transitory recording medium
JP2022146886A (ja) 表示装置、通信システム、表示制御方法およびプログラム
JP2022146885A (ja) 表示装置、通信システム、表示制御方法およびプログラム
JP7447922B2 (ja) 表示システム、通信システム、表示制御方法およびプログラム
JP2023095785A (ja) 経路生成システム、経路生成方法およびプログラム
JP7467206B2 (ja) 映像管理支援システムおよび映像管理支援方法
WO2022202677A4 (en) Display system, communications system, display control method, and program
KR20200004135A (ko) 증강현실 기반의 모델하우스 가상이미지 제공방법
JP7346983B2 (ja) 表示端末、遠隔制御システム、表示制御方法およびプログラム
JP2009117949A (ja) 撮影装置

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151