JP7309097B2

JP7309097B2 - 位置検知装置、位置検知方法、及び位置検知プログラム

Info

Publication number: JP7309097B2
Application number: JP2023515973A
Authority: JP
Inventors: 健央川浦; 隆博加島; 壮平大澤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2023-07-14
Anticipated expiration: 2041-04-22
Also published as: US20240037779A1; WO2022224402A1; CN117121471A; DE112021007115T5; KR20230152146A; JPWO2022224402A1

Description

本開示は、位置検知装置、位置検知方法、及び位置検知プログラムに関する。

複数の監視カメラの撮影範囲を足し合わせた範囲が対象エリアを漏れなく含むように工場の天井などに複数の監視カメラを備えたシステムの提案がある。このシステムでは、同じ方向を向くように固定された多数の監視カメラの撮影映像に基づいて、対象エリアを移動する人である作業者の位置座標を取得する。例えば、特許文献１を参照。

特開２０１７－３４５１１号公報（例えば、段落００２５、図２）

しかしながら、上記従来のシステムでは、作業者の位置座標を検出するために、同じ方向を向くように設置された多数の監視カメラが必要であるという課題がある。

本開示は、上記課題を解決することを可能にする位置検知装置、位置検知方法、及び位置検知プログラムを提供することを目的とする。

本開示の位置検知装置は、監視カメラで撮影された映像を受け取り、前記映像において人を検知するための処理を行い、検知された前記人の位置を示す２次元カメラ座標を出力する人検知部と、前記２次元カメラ座標を、予め定められた共通の座標系で表される３次元座標に変換する座標変換部と、前記人がウェラブルカメラを装着しているときに前記ウェラブルカメラによって撮影されたウェラブルカメラ映像内の機器の銘板の文字列を認識する文字認識部と、認識された前記文字列を機器のレイアウト図面で検索する文字検索部と、認識された前記文字列が前記レイアウト図面で見つかった場合には、見つかった位置に基づいて２次元マップ座標を決定し、認識された前記文字列が前記レイアウト図面で見つからない場合には、前記３次元座標に基づいて前記２次元マップ座標を計算するマップ座標決定部と、マップを取得し、前記マップ上に前記２次元マップ座標の位置情報を重ねた映像データを出力する表示制御部と、を有することを特徴とする。

本開示によれば、簡単な構成で作業者の位置座標を検出することが可能である。

実施の形態１に係る位置検知装置の位置検知に用いられる構成である複数の監視カメラを示す図である。（Ａ）及び（Ｂ）は、複数の監視カメラによって撮影された複数の映像に基づいて検知された人の２次元座標をマップ上に示す図である。実施の形態１に係る位置検知装置の構成を概略的に示す機能ブロック図である。実施の形態１に係る位置検知装置のハードウェア構成を示す図である。実施の形態１に係る位置検知装置の人検知部の処理を示すフローチャートである。実施の形態１に係る位置検知装置の２次元／３次元座標変換部の処理を示すフローチャートである。実施の形態１に係る位置検知装置のマップ座標決定部の処理を示すフローチャートである。実施の形態２に係る位置検知装置の位置検知に用いられる構成である監視カメラとモバイル端末とを示す図である。（Ａ）は、監視カメラによって撮影された映像に基づいて検知された人の２次元座標をマップ上に示す図であり、（Ｂ）は、歩行者自律航法（ＰＤＲ）によって検知された人の２次元座標をマップ上に示す図である。実施の形態２に係る位置検知装置の構成を概略的に示す機能ブロック図である。実施の形態２に係る位置検知装置の座標計算部の処理を示すフローチャートである。実施の形態２に係る位置検知装置のマップ座標決定部の処理を示すフローチャートである。実施の形態３に係る位置検知装置の位置検知に用いられる構成である監視カメラとウェラブルカメラとを示す図である。（Ａ）は、計器盤、計器、及び銘板の例を示す図であり、（Ｂ）は、銘板の映像によって検知された２次元マップ座標をマップ上に示す図である。実施の形態３に係る位置検知装置の構成を概略的に示す機能ブロック図である。実施の形態３に係る位置検知装置の文字認識部の処理を示すフローチャートである。実施の形態３に係る位置検知装置の文字検索部の処理を示すフローチャートである。

以下に、実施の形態に係る位置検知装置、位置検知方法、及び位置検知プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。なお、各図において、同一又は同様の構成には、同じ符号が付されている。

実施の形態１．
図１は、実施の形態１に係る位置検知装置１０の位置検知に用いられる構成である複数の監視カメラ１１＿１～１１＿ｎ（ｎは正の整数）を示す図である。監視カメラ１１＿１～１１＿ｎは、予め定められたエリア８０に設置されている。エリア８０には、計器盤４０及び機械５０が置かれている。監視カメラ１１＿１～１１＿ｎは、固定カメラである。監視カメラ１１＿１～１１＿ｎは、旋回可能なＰＴＺカメラであってもよいが、この場合には、カメラパラメータを位置検知装置１０に通知する機能を備える必要がある。監視カメラ１１＿１～１１＿ｎは、撮影範囲Ｒ１～Ｒｎをそれぞれ撮影して、映像Ｉ_１～Ｉ_ｎを位置検知装置１０に送信する。位置検知装置１０は、映像Ｉ_１～Ｉ_ｎに基づいて、人９０の２次元（２Ｄ）マップ座標（Ｘ，Ｙ）を計算して、エリア８０のマップ８１に２Ｄマップ座標（Ｘ，Ｙ）を示す情報を、表示装置に表示させるための映像データを生成する。エリアは、例えば、工場内である。人９０は、例えば、作業者である。

図２（Ａ）及び（Ｂ）は、複数の監視カメラ１１＿１～１１＿ｎによって撮影された複数の映像Ｉ_１～Ｉ_ｎに基づいて検知された人９０の２Ｄマップ座標（Ｘ，Ｙ）をエリア８０のマップ８１上に示す図である。図２（Ａ）は、３台の監視カメラ１１＿１、１１＿２、１１＿ｎによって２Ｄマップ座標（Ｘ，Ｙ）が計算された例を示し、図２（Ｂ）は、２台の監視カメラ１１＿１、１１＿ｎによって２Ｄマップ座標（Ｘ，Ｙ）が計算された例を示す。図２（Ａ）及び（Ｂ）におけるエリア８０のマップ８１は、外部の記憶装置から取得される。ただし、マップ８１は、位置検知装置１０内の記憶装置に記憶されてもよい。

図３は、実施の形態１に係る位置検知装置１０の構成を概略的に示す機能ブロック図である。位置検知装置１０は、実施の形態１に係る位置検知方法を実施することができる装置である。位置検知装置１０は、位置検知プログラムを実行することによって実施の形態１に係る位置検知方法を実施することができる。図３に示されるように、位置検知装置１０は、映像受信部１３と、人検知部１４と、座標変換部１５と、マップ座標決定部１６と、表示制御部１７とを有する。

映像受信部１３は、複数の監視カメラ１１＿１～１１＿ｎで撮影され映像送信部１２＿１～１２＿ｎから送信された複数の映像Ｉ_１～Ｉ_ｎを受信し、映像Ｉ_１～Ｉ_ｎを人検知部１４に出力する。映像受信部１３は、通信回路又は通信インタフェースとも呼ばれる。

人検知部１４は、映像Ｉ_１～Ｉ_ｎを受け取り、映像Ｉ_１～Ｉ_ｎのそれぞれにおいて人９０を検知するための処理を行い、検知された人９０の位置を示す複数の２次元（２Ｄ）カメラ座標（ｕ_１，ｖ_１）～（ｕ_ｎ，ｖ_ｎ）を出力する。２Ｄカメラ座標（ｕ_１，ｖ_１）～（ｕ_ｎ，ｖ_ｎ）の座標系は、互いに異なる。

座標変換部１５は、２次元（２Ｄ）座標を３次元（３Ｄ）座標に変換する座標変換部である。座標変換部１５は、複数の２Ｄカメラ座標（ｕ_１，ｖ_１）～（ｕ_ｎ，ｖ_ｎ）を、予め定められた共通の座標系で表される複数の３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）に変換する。共通の座標系は、例えば、世界座標系である。

マップ座標決定部１６は、複数の３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）に基づいて２Ｄマップ座標（Ｘ，Ｙ）を生成する。マップ座標決定部１６は、複数の３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）の座標値の加算平均を用いて２Ｄマップ座標（Ｘ，Ｙ）を算出する。

表示制御部１７は、エリア８０のマップ８１上に２Ｄマップ座標（Ｘ，Ｙ）の位置情報を重ねた映像データを出力する。表示装置１８は、エリア８０のマップ８１及び２Ｄマップ座標（Ｘ，Ｙ）の位置情報を表示する。図３の例では、マップ８１は、外部の記憶装置から取得したマップ情報Ｌに基づいて表示される。

図４は、実施の形態１に係る位置検知装置１０のハードウェア構成を示す図である。図４に示されるように、位置検知装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのプロセッサ１０１、揮発性の記憶装置であるメモリ１０２、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＤＤ）などの不揮発性の記憶装置１０３と、外部と通信を行う通信部１０４とを有する。メモリ１０２は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などの、揮発性の半導体メモリである。

位置検知装置１０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）のいずれであってもよい。

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

処理回路がプロセッサ１０１である場合、位置検出プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された位置検出プログラムを読み出して実行することにより、図３に示される各部の機能を実現する。

なお、位置検知装置１０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

図５は、実施の形態１に係る位置検知装置１０の人検知部１４の処理を示すフローチャートである。人検知部１４は、先ず、映像Ｉ_１～Ｉ_ｎを受信する（ステップＳ１１）。次に、人検知部１４は、各フレームの画像９１において検知窓９２を順次移動させて、人９０の検知のための処理を行う（ステップＳ１２～Ｓ１４）。具体的には、人検知部１４は、各フレームの画像９１において検知窓９２を順次移動させて、局所領域における輝度（色、明るさ）の勾配方向をヒストグラム化した特徴量であるＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴量の算出し、教師あり学習を用いるパターン認識モデルであるＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）による判定を行い、人９０を検知できたかどうかを判断する処理（ステップＳ１２～Ｓ１５）を繰り返す。次に、人検知部１４は、人９０の２Ｄ座標である２Ｄカメラ座標（ｕ，ｖ）を出力する。

図６は、実施の形態１に係る位置検知装置１０の座標変換部１５の処理を示すフローチャートである。先ず、座標変換部１５は、人検知部１４から撮影映像上の人９０の２Ｄカメラ座標（ｕ，ｖ）を受け取り（ステップＳ２１）、監視カメラの位置・姿勢情報を示す［Ｒ｜ｔ］を取得し（ステップＳ２２）、監視カメラの内部パラメータＡを取得する（ステップＳ２３）。次に、以下の式（１）により、透視投影の逆変換を実行する（ステップＳ２４）。

ここで、

は、監視カメラの内部パラメータであり、

は、監視カメラの外部パラメータである。

次に、座標変換部１５は、人９０の３Ｄ座標（Ｘ，Ｙ，Ｚ）を出力する。

図７は、実施の形態１に係る位置検知装置１０のマップ座標決定部１６の処理を示すフローチャートである。マップ座標決定部１６は、監視カメラ＃１の映像による３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）、監視カメラ＃２の映像による３Ｄ座標（Ｘ_２，Ｙ_２，Ｚ_２）、…、監視カメラ＃ｎの映像によるによる３Ｄ座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）を取得する（ステップＳ３１～Ｓ３３）。

次に、マップ座標決定部１６は、３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）のうちの値を持つ座標の個数（うなわち、カウント値Ｍ）をカウントする。

次に、マップ座標決定部１６は、３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）の値から、以下の式で示される加重平均の算出式を用いて、２Ｄマップ座標（Ｘ，Ｙ）の値を出力する。

次に、マップ座標決定部１６は、２Ｄマップ座標（Ｘ，Ｙ）の値を出力する。

以上に説明したように、実施の形態１に係る位置検知装置１０、位置検知方法、又は位置検知プログラムを用いれば、位置・姿勢の異なる複数の監視カメラ１１＿１～１１＿ｎの映像Ｉ_１～Ｉ_ｎに基づいて、人９０の位置を検知することができる。

また、複数の監視カメラ１１＿１～１１＿ｎを用いることによって、位置検知の精度を高めることができる。

また、複数の監視カメラ１１＿１～１１＿ｎのカメラパラメータは、共通である必要はないので、既存の監視カメラの映像を用いて人の位置を精度よく検出できる。

実施の形態２．
図８は、実施の形態２に係る位置検知装置２０の位置検知に用いられる構成である監視カメラ１１＿１～１１＿ｎとモバイル端末２１とを示す図である。モバイル端末２１は、検知対象である人９０によって携行される。１台以上の監視カメラ１１＿１～１１＿ｎは、計器盤４０及び機械５０が置かれた、予め定められたエリア８０に設置されている。監視カメラ１１＿１～１１＿ｎは、既存のカメラであってもよい。監視カメラ１１＿１～１１＿ｎは、撮影範囲Ｒ１～Ｒｎをそれぞれ撮影して、映像Ｉ_１～Ｉ_ｎを位置検知装置２０に送信する。位置検知装置２０は、映像Ｉ_１～Ｉ_ｎに基づいて、人９０の２Ｄマップ座標（Ｘ，Ｙ）を計算して、エリア８０のマップ８１に２Ｄマップ座標（Ｘ，Ｙ）を示す情報を、表示装置１８に表示させるための映像データを生成する。

図９（Ａ）は、監視カメラ１１＿１～１１＿ｎによって撮影された映像Ｉ_１～Ｉ_ｎに基づいて検知された人９０の２Ｄマップ座標（Ｘ，Ｙ）をエリア８０のマップ８１上に示す図である。図９（Ｂ）は、歩行者自律航法（ＰＤＲ）によって検知された人９０の２Ｄ座標（Ｘｐ，Ｙｐ）に基づく２Ｄマップ座標（Ｘ，Ｙ）をエリア８０のマップ８１上に示す図である。図９（Ａ）は、２台の監視カメラ１１＿１、１１＿ｎによって２Ｄマップ座標（Ｘ，Ｙ）が計算された例を示す。図９（Ｂ）は、人９０が監視カメラの撮影範囲外に移動した後に、ＰＤＲによる位置計算が行われ、位置計算の結果得られた２Ｄマップ座標（Ｘ，Ｙ）を示す。

図１０は、実施の形態２に係る位置検知装置２０の構成を概略的に示す機能ブロック図である。位置検知装置２０は、実施の形態２に係る位置検知方法を実施することができる装置である。位置検知装置２０は、位置検知プログラムを実行することによって実施の形態２に係る位置検知方法を実施することができる。図３に示されるように、位置検知装置２０は、映像受信部１３と、人検知部１４と、座標変換部１５と、検出値受信部２３と、端末位置計算部２４と、マップ座標決定部１６ａと、表示制御部１７とを有する。位置検知装置２０のハードウェア構成は、図４のものと同様である。

映像受信部１３は、１台以上の監視カメラ１１＿１で撮影され、映像送信部１２＿１から送信された映像Ｉ_１を受信し、映像Ｉ_１を人検知部１４に渡す。人検知部１４は、映像Ｉ_１を受け取り、映像Ｉ_１において人９０を検知するための処理を行い、検知された人９０の位置を示す２Ｄカメラ座標（ｕ_１，ｖ_１）を出力する。座標変換部１５は、２Ｄ／３Ｄ座標変換部である。座標変換部１５は、２Ｄカメラ座標（ｕ_１，ｖ_１）を、予め定められた共通の座標系で表される３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）に変換する。

検出値受信部２３は、人９０が携行しているモバイル端末２１の慣性センサ２１ａのセンサ値である検出値を受信して端末位置計算部２４に出力する。慣性センサ２１ａは、例えば、直交する３軸方向の並進運動と、回転運動とを検出することができる装置である。一般に、慣性センサは、加速度センサ［ｍ／ｓ^２］により並進運動を検出し、角速度（ジャイロ）センサ［ｄｅｇ／ｓｅｃ］により回転運動を検出する装置である。

端末位置計算部２４は、モバイル端末２１の位置を示す端末位置座標（Ｘ_ｐ，Ｙ_ｐ）を計算する。

マップ座標決定部１６ａは、人９０が検知されている期間は、３Ｄ座標に基づいて２Ｄマップ座標（Ｘ，Ｙ）を算出し、人９０が検知されていない期間は、端末位置座標（Ｘ_ｐ，Ｙ_ｐ）に基づいて２Ｄマップ座標（Ｘ，Ｙ）を算出する。

表示制御部１７は、エリア８０のマップ８１上に２Ｄマップ座標（Ｘ，Ｙ）の位置情報を重ねた映像データを出力する。表示装置１８は、エリア８０のマップ８１及び２Ｄマップ座標（Ｘ，Ｙ）の位置情報を表示する。マップ８１は、外部の記憶装置から取得したマップ情報Ｌに基づいて表示される。

図１１は、実施の形態２に係る位置検知装置２０の端末位置計算部２４の処理を示すフローチャートである。図１１において、端末位置計算部２４は、検出値から、回転行列を計算し（ステップＳ４２）、モバイル端末２１の姿勢を変換し（ステップＳ４３）、モバイル端末２１の加速度を計算し（ステップＳ４４）、加速度を二重積分することで変位を計算し（ステップＳ４５）、この変位に基づいて端末位置座標（Ｘ_ｐ，Ｙ_ｐ）を出力する（ステップＳ４５）。端末位置計算部２４は、以上の処理（ステップＳ４２～Ｓ４６）を、例えば、監視カメラによる位置検出が再開されるまで繰り返す（ステップＳ４１）。

図１２は、実施の形態２に係る位置検知装置２０のマップ座標決定部１６ａの処理を示すフローチャートである。マップ座標決定部１６ａは、ループ処理（ステップＳ５１）において、映像を受け取り、人９０が検知されれば（ステップＳ５３においてＹＥＳ）、映像に基づく２Ｄマップ座標（Ｘ，Ｙ）を出力し（ステップＳ５４）、人が検知されなければ（ステップＳ５３においてＮＯ）、慣性センサ２１ａの検出値に基づいてＰＤＲで得られた端末位置座標（Ｘ_ｐ，Ｙ_ｐ）を２Ｄマップ座標（Ｘ，Ｙ）として出力する（ステップＳ５５）。

以上に説明したように、実施の形態２に係る位置検知装置２０、位置検知方法、又は位置検知プログラムを用いれば、１台以上の監視カメラの映像に基づいて人９０の位置を検知できるときには、映像Ｉ_１などに基づく比較的精度のよい方法で２Ｄマップ座標（Ｘ，Ｙ）を出力し、人９０が撮影範囲外にいるときには、慣性センサ２１ａの検出値に基づいて計算された端末位置座標を２Ｄマップ座標（Ｘ，Ｙ）として出力することができる。

また、ＰＤＲの計算結果を過去の計算結果と比較し、所定値以上の誤差がある場合には、精度が低いことを通知する、などの対策を講じれば、比較的精度の低いＰＤＲを用いた位置検知のデメリットを軽減できる。

実施の形態３．
図１３は、実施の形態３に係る位置検知装置３０の位置検知に用いられる構成である監視カメラ１１＿１～１１＿ｎとウェラブルカメラ３１とを示す図である。ウェラブルカメラ３１は、人９０である作業者の視線方向を撮影する小型のカメラであり、スマートグラスとも呼ばれる。ウェラブルカメラ３１は、人９０によって携行される。１台以上の監視カメラ１１＿１～１１＿ｎは、計器盤４０及び機械５０が置かれた、予め定められたエリア８０に設置されている。監視カメラ１１＿１～１１＿ｎは、既存のカメラであってもよい。監視カメラ１１＿１～１１＿ｎは、撮影範囲Ｒ１～Ｒｎをそれぞれ撮影して、映像Ｉ_１～Ｉ_ｎを位置検知装置１０に送信する。位置検知装置１０は、映像Ｉ_１～Ｉ_ｎに基づいて、人９０の２Ｄマップ座標（Ｘ，Ｙ）を計算して、エリア８０のマップ８１に２Ｄマップ座標（Ｘ，Ｙ）を示す情報を、表示装置に表示させるための映像情報を生成する。

図１４（Ａ）は、計器盤４０、計器などの機器４１、及び銘板４２の例を示す図であり、図１４（Ｂ）は、銘板４２の映像によって認識された文字列４３に基づいて２Ｄマップ座標（Ｘ，Ｙ）をエリア８０のマップ８１上に示す図である。

図１５は、実施の形態３に係る位置検知装置３０の構成を概略的に示す機能ブロック図である。位置検知装置３０は、実施の形態３に係る位置検知方法を実施することができる装置である。位置検知装置３０は、位置検知プログラムを実行することによって位置検知方法を実施することができる。図１５に示されるように、位置検知装置３０は、映像受信部１３と、人検知部１４と、座標変換部１５と、映像受信部３３と、文字認識部３４と、文字検索部３５と、マップ座標決定部１６ｂと、表示制御部１７とを有する。位置検知装置３０のハードウェア構成は、図４のものと同様である。

人検知部１４は、監視カメラ１１＿１で撮影された映像Ｉ_１を受け取り、映像Ｉ_１において人９０を検知するための処理を行い、検知された人９０の位置を示す２Ｄカメラ座標（ｕ_１，ｖ_１）を出力する。

座標変換部（１５）は、２Ｄカメラ座標を、予め定められた共通の座標系で表される３Ｄ座標（Ｘ_１，Ｙ_１，Ｚ_１）に変換する。

文字認識部３４は、人９０がウェラブルカメラ３１を装着しているときにウェラブルカメラ３１によって撮影されたウェラブルカメラ映像Ｉ_ｗ内の機器４１の銘板４２の文字列（４３）を認識する。

文字検索部３５は、認識された文字列４３をエリア８０の機器のレイアウト図面（例えば、機器レイアウトが記載されたマップ８１）で検索する。

マップ座標決定部１６ｂは、認識された文字列４３がレイアウト図面で見つかった場合には、見つかった位置に基づいて２Ｄマップ座標（Ｘ，Ｙ）を決定し、認識された文字列４３がレイアウト図面で見つからない場合には、３Ｄ座標に基づいて２Ｄマップ座標（Ｘ，Ｙ）を計算する。

表示制御部１７は、エリア８０のマップ８１上に２Ｄマップ座標（Ｘ，Ｙ）の位置情報を重ねた映像データを出力する。

図１６は、実施の形態３に係る位置検知装置３０の文字認識部３４の処理を示すフローチャートである。文字認識部３４は、文字列領域を検知し（ステップＳ６１）、文字列領域を１文字の領域に分割し（ステップＳ６２）、文字パターンを照合し（ステップＳ６３）、１文字を確定し（ステップＳ６４）、次の１文字があるかどうかを判断する（ステップＳ６５）。次の一文字がある場合（ステップＳ６５においてＹＥＳ）、文字認識部３４は、ステップＳ６３～Ｓ６５を繰り返す。次の一文字がない場合（ステップＳ６５においてＮＯ）、文字認識部３４は、文字列を出力する（ステップＳ６６）。

図１７は、実施の形態３に係る位置検知装置３０の文字検索部３５の処理を示すフローチャートである。文字検索部３５は、エリア８０のマップ８１のレイアウト図面を取得し（ステップＳ７１）、文字列を取得し（ステップＳ７２）、文字列に一致する文字列をレイアウト図面で検索する（ステップＳ７３）。一致する文字列がある場合は（ステップＳ７４においてＹＥＳ）、文字検索部３５は、該当文字列を２Ｄ座標に変換し（ステップＳ７５）、人の位置を示す２Ｄマップ座標（Ｘ，Ｙ）を出力する。一致する文字列がない場合は（ステップＳ７４においてＮＯ）、文字検索部３５は、文字検索を終了する。

以上に説明したように、実施の形態３に係る位置検知装置３０、位置検知方法、又は位置検知プログラムを用いれば、ウェラブルカメラ３１の映像に基づき、銘板４２の文字列４３が見つかれば、その銘板４２の位置を２Ｄマップ座標（Ｘ，Ｙ）として出力し、銘板４２の文字列４３が見つからない場合は、監視カメラの映像に基づいて、人９０の位置を２Ｄマップ座標（Ｘ，Ｙ）として出力する。このような制御により、位置検出の精度を向上させることができる。つまり、撮影映像の計算結果より銘板４２の位置を優先して位置検知に使用するので、位置検出精度を向上させることができる。

また、人が撮影範囲外にいるときであっても、ウェラブルカメラ３１の映像に基づき座標を計算することができる。

１０、２０、３０位置検知装置、１１＿１～１１＿ｎ監視カメラ、１４人検知部、１５座標変換部、１６、１６ａ、１６ｂマップ座標決定部、１７表示制御部、１８表示装置、２１モバイル端末、２１ａ慣性センサ、２４端末位置計算部、３１ウェラブルカメラ、３４文字認識部、３５文字検索部、４１機器（計器）、４２銘板、４３文字列、９０人、Ｉ_１～Ｉ_ｎ映像、Ｉ_ｗウェラブルカメラ映像、（ｕ_１，ｖ_１）～（ｕ_ｎ，ｖ_ｎ）２次元カメラ座標（２Ｄカメラ画像）、（Ｘ_１，Ｙ_１，Ｚ_１）～（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）３次元座標（３Ｄ座標）、（Ｘ，Ｙ）２次元マップ座標（２Ｄマップ座標）、（Ｘ_ｐ，Ｙ_ｐ）端末位置座標、（Ｘ_ｗ，Ｙ_ｗ）ウェラブルカメラ座標。

Claims

監視カメラで撮影された映像を受け取り、前記映像において人を検知するための処理を行い、検知された前記人の位置を示す２次元カメラ座標を出力する人検知部と、
前記２次元カメラ座標を、予め定められた共通の座標系で表される３次元座標に変換する座標変換部と、
前記人がウェラブルカメラを装着しているときに前記ウェラブルカメラによって撮影されたウェラブルカメラ映像内の機器の銘板の文字列を認識する文字認識部と、
認識された前記文字列を前記機器のレイアウト図面で検索する文字検索部と、
認識された前記文字列が前記レイアウト図面で見つかった場合には、見つかった位置に基づいて２次元マップ座標を決定し、認識された前記文字列が前記レイアウト図面で見つからない場合には、前記３次元座標に基づいて前記２次元マップ座標を計算するマップ座標決定部と、
マップを取得し、前記マップ上に前記２次元マップ座標の位置情報を重ねた映像データを出力する表示制御部と、
を有することを特徴とする位置検知装置。
位置検知装置によって実行される位置検知方法であって、
監視カメラで撮影された映像を受け取り、前記映像において人を検知するための処理を行い、検知された前記人の位置を示す２次元カメラ座標を出力するステップと、
前記２次元カメラ座標を、予め定められた共通の座標系で表される３次元座標に変換するステップと、
前記人がウェラブルカメラを装着しているときに前記ウェラブルカメラによって撮影されたウェラブルカメラ映像内の機器の銘板の文字列を認識するステップと、
認識された前記文字列と前記機器のレイアウト図面に含まれる文字列との照査の結果に基づいて、前記人の位置を検索するステップと、
認識された前記文字列が前記レイアウト図面で見つかった場合には、見つかった位置に基づいて２次元マップ座標を決定し、認識された前記文字列が前記レイアウト図面で見つからない場合には、前記３次元座標に基づいて前記２次元マップ座標を計算するステップと、
マップを取得し、前記マップ上に前記２次元マップ座標の位置情報を重ねた映像データを出力するステップと、
を有することを特徴とする位置検知方法。
請求項２に記載の位置検知方法をコンピュータに実行させる位置検知プログラム。