[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6761938B2 - 移動方向決定方法および移動方向決定装置 - Google Patents

移動方向決定方法および移動方向決定装置 Download PDF

Info

Publication number
JP6761938B2
JP6761938B2 JP2017530997A JP2017530997A JP6761938B2 JP 6761938 B2 JP6761938 B2 JP 6761938B2 JP 2017530997 A JP2017530997 A JP 2017530997A JP 2017530997 A JP2017530997 A JP 2017530997A JP 6761938 B2 JP6761938 B2 JP 6761938B2
Authority
JP
Japan
Prior art keywords
camera
movement
processor
image
moving direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017530997A
Other languages
English (en)
Other versions
JPWO2017017898A1 (ja
Inventor
穂 高倉
穂 高倉
磨理子 竹之内
磨理子 竹之内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017017898A1 publication Critical patent/JPWO2017017898A1/ja
Application granted granted Critical
Publication of JP6761938B2 publication Critical patent/JP6761938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/01Details
    • G06K7/015Aligning or centering of the sensing device with respect to the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、移動方向決定方法および移動方向決定装置に関する。
特許文献1は、撮像されたコードの画像からコードの情報を解読するコード情報解読手段と、各撮像距離での焦点深度に応じて予め段階的に設定された位置にレンズを移動させるレンズ移動手段と、読取エラーを報知するエラー報知手段とを具備する。コード情報解読手段においてコード解読がなされなかった場合は、レンズを次の段階に移行させ、コードを再度撮像してコード情報を解読する動作を繰り返すとともに、繰り返し回数がレンズの移動位置の段階の数に達したときはエラー報知手段でエラー報知を行うように制御を行う制御手段をさらに具備する。これによって、特別なオートフォーカス装置を用いることなく、任意の距離にあるコードの読取を可能とするコード読取装置を提供する。
特開2005−182117号公報
本開示は、カメラの保持者に対してカメラの移動方向を適切に伝えるための、移動方向決定方法及び装置を提供する。
本開示の移動方向決定方法及び装置においてプロセッサは多角形の認識対象を撮像するカメラの移動方向を決定する。プロセッサは、カメラが備えるセンサが取得したカメラの向きを取得し、カメラが撮像した認識対象の画像を取得し、画像に収まっている認識対象のコーナーの個数を決定し、カメラの向きとコーナーの個数に基づいて、カメラの移動方向を決定する。
本開示における移動方向決定方法及び装置は、カメラの保持者に対してカメラの移動方向を適切に伝えるために有効である。
図1は、実施の形態1における移動方向決定装置およびその使用の様子を説明する図である。 図2は、実施の形態1における移動方向決定装置のブロック図である。 図3は、実施の形態1における測位処理を示すフローチャートである。 図4Aは、実施の形態1における画像の回転方向を説明する図である。 図4Bは、実施の形態1における画像の回転方向を説明する図である。 図5は、実施の形態1におけるコーナー検出処理の第1の例を示すフローチャートである。 図6Aは、実施の形態1におけるコーナー検出処理の第1の例を示す図である。 図6Bは、実施の形態1におけるコーナー検出処理の第1の例を示す図である。 図6Cは、実施の形態1におけるコーナー検出処理の第1の例を示す図である。 図6Dは、実施の形態1におけるコーナー検出処理の第1の例を示す図である。 図6Eは、実施の形態1におけるコーナー検出処理の第1の例を示す図である。 図7は、実施の形態1におけるコーナー検出処理の第2の例を示すフローチャートである。 図8Aは、実施の形態1におけるコーナー検出処理の第2の例を示す図である。 図8Bは、実施の形態1におけるコーナー検出処理の第2の例を示す図である。 図8Cは、実施の形態1におけるコーナー検出処理の第2の例を示す図である。 図9は、実施の形態1における移動方向決定処理を説明するフローチャートである。 図10Aは、実施の形態1における面内移動方向の決定方法を説明する図である。 図10Bは、実施の形態1における面内移動方向の決定方法を説明する図である。 図10Cは、実施の形態1における面内移動方向の決定方法を説明する図である。 図11は、実施の形態1における移動方向指示処理を説明するフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
以下、図1〜図11を用いて、実施の形態1を説明する。
[1−1.構成]
図1は、実施の形態1における移動方向決定装置およびその使用の様子を説明する図である。
移動方向決定装置100はカメラを内蔵する端末である。移動方向決定装置100は使用者110によって使用される。移動方向決定装置の使用者110が移動方向決定装置100を使用する目的は、認識対象120を移動方向決定装置100に内蔵されたカメラで撮像することである。
認識対象120をカメラで撮影することで、移動方向決定装置100に内蔵されたプロセッサ等は認識対象120の画像情報を処理することができる。当該プロセッサ等が認識対象120の画像情報を処理することで、プロセッサ等は認識対象120が貼付された貨物130の属性を移動方向決定装置100に内蔵されたストレージ等に記録し、あるいは出力装置を介して移動方向決定装置100の使用者に伝えることができる。
認識対象120は多角形の平面形状を有する。具体的な例としては所定の規則に基づいて定義された画像(バーコード、二次元コードなど)、具体的な文字情報が記載された帳票(ネームカード、荷札など)等が挙げられる。本実施の形態においては矩形の認識対象を例に説明を行うが、矩形以外の形状の認識対象に対しても本開示を適用することは可能である。
移動方向決定装置100が使用される状況の一例を説明する。移動方向決定装置100を使用するにあたって、図1に示すように、使用者110によって認識対象120を目視することが困難な場合が想定される。このような場合、使用者110が保持する移動方向決定装置100(の内蔵するカメラ)によって適切に認識対象を撮像することが困難になる。そのために、本開示の移動方向決定装置100は使用者110に対してどの方向に移動方向決定装置100(の内蔵するカメラ)を移動させればよいのかを移動指示によって伝える。
なお、図1に示したものは、移動方向決定装置の使用の様子をわかりやすく説明する為の一例である。移動方向決定装置100が図1に示すように棒状である必要は無い。また移動方向決定装置100は使用者110が内蔵するカメラと別個に構成されてもよい。すなわち、画像を取得するカメラは使用者110に保持され、カメラが撮像した画像に基づいて移動方向を決定する移動方向決定装置100は通信ネットワークを介した外部の場所に存在してもよい。そのような場合、移動方向決定装置100の移動指示はカメラを保持している使用者110を対象に行われる。
図2は、実施の形態1における移動方向決定装置のブロック図である。
プロセッサ201はバス210を介して移動方向決定装置100の他の要素を制御する。一例として汎用CPU(Central Processing Unit)を用いることで、プロセッサ201を構成することができる。また、プロセッサ201は所定のプログラムを実行することができる。プロセッサ201が所定のプログラムを実行することで移動方向決定装置100が動作する。
ストレージ202は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。ストレージ202はいわゆる一次記憶装置と二次記憶装置の総称であり、ストレージ202は物理的に複数配置されても良い。ストレージ202の構成には例えばDRAM(Dynamic Random Access Memory)やHDD(Hard Disk Drive)やSSD(Solid State Drive)が用いられる。
カメラ203は撮像素子およびレンズ等を内蔵する。
センサ204は傾きセンサおよび測距センサなどの総称である。
スピーカ205、バイブレータ206、ディスプレイ207は外部へ使用者110が知覚できる情報を提示する。スピーカ205、バイブレータ206、ディスプレイ207が提示する情報には移動方向に関する情報などが含まれる。移動方向に関する情報とは具体的な上、下、左、右、手前、奥などの空間座標内の変位を示すものから、現在のカメラの箇所が正しいか正しくないかなどの情報も含む。スピーカ205は音声によって移動方向に関する情報を提示することができる。バイブレータ206は振動の箇所や振動パターンなどによって移動方向に関する情報を提示することができる。ディスプレイ207は視覚的な情報によって移動方向に関する情報を提示することができる。
入力装置208は外部からの情報を受け付ける。入力装置208が外部から受け付ける情報には移動方向決定装置100の使用者からの入力に関する情報などが含まれる。一例としてキーボード等の入力インターフェースを用いることで入力装置208を構成することができる。
以上に挙げられた移動方向決定装置100の構成は一例である。移動方向決定装置100の各構成要素の一部を他の要素と統合して構成することもできる。移動方向決定装置100の各構成要素の一部を複数の要素に分割して構成することもできる。移動方向決定装置100の各構成要素の一部を省略することもできる。移動方向決定装置100に他の要素を付加して構成することもできる。
[1−2.動作]
以上のように構成した端末が行う移動方向指示処理を説明する。
図3は実施の形態1における移動方向決定装置が行う処理を示すフローチャートである。
図3に開示の処理は移動方向指示処理を含む処理であり、移動方向指示処理に加えて、カメラが正しい位置に移動した後に行われるパターン認識処理などを含む処理でもある。
図3に開示の処理は、主にプロセッサ201が他の構成要素と協働することで実現されるものである。具体的にはプロセッサ201がストレージ202に記録されたプログラムに基づいて計算処理を行い、その計算処理の過程において他の要素に命令を送り、情報を取得することで図3に開示の処理が実行される。
ステップS300において、プロセッサ201は処理を開始する。プロセッサ201が処理を開始するタイミングの一例としては移動方向決定装置100の電源がONとなったとき、あるいは、移動方向決定装置100のストレージ202に記録されたアプリケーションがプロセッサ201によって実行されたときなどが挙げられる。本実施の形態では図1に示すような状況でプロセッサ201が処理を開始したものとする。
ステップS301において、プロセッサ201は画像を取り込む。プロセッサ201はカメラ203の撮像素子によって撮像された画像をプロセッサ201に読み出すことで、画像を取り込む。
ステップS302において、プロセッサ201はステップS301で取り込まれた画像の回転方向を決定する。回転方向とは画像を処理する際の基準となる上下左右方向を意味する。回転方向はカメラ203の向きに基づいて決定される。ステップS302において、プロセッサ201はセンサ204の出力からカメラ203の向きの一例としてカメラ203から見た、上方向(重力加速度がマイナス1Gの方向、以下単にカメラ203の上方向とも呼ぶ)を取得する。プロセッサ201は取得したカメラ203の上方向に基づいて、画像400におけるカメラ203の上方向を決定し、画像400におけるカメラ203の上方向を基準に回転方向を決定する。なお、本実施の形態ではカメラ203の向きの一例としてカメラ203の上方向を用いて説明するが、カメラ203の向きとしてカメラ203の横方向、下方向などを基準に回転方向を決定することも可能である。
図4Aおよび図4Bは実施の形態1における、画像の回転方向を説明する図である。図4Aに示すように、プロセッサ201はセンサ204の出力から画像400においてカメラ203の上方向(重力加速度がマイナス1Gの方向)がどの領域に存在するかを決定する。センサ204としての加速度センサの出力を参照することで、重力加速度がマイナス1Gの方向を決定することが出来る。重力加速度がマイナス1Gの方向を画像400に重畳し、その方向が画像400の中心からどの領域に向かうものなのかを決定することで画像400におけるカメラ203の上方向が決定される。ここで前提として、加速度センサはカメラ203内に撮像素子と共に設けられており、撮像素子の対向する向き(ステップS301によって読み出された画像の初期配置)と加速度センサが加速度を検知する向きとの相対的配置関係はプロセッサ201にとって既知であるものとする。
以上のようにして決定された画像400におけるカメラ203の上方向に応じて、画像の回転方向が図4Bの表のように定まる。例えば、カメラ203を上下逆にして撮影した場合、画像におけるカメラ203の上方向は領域cとなる。すると、表に示されるように領域aが下、領域bが右、領域cが上、領域dが左というように回転方向が決定される。なお、画像の所定の領域をカメラ203の上方向に仮定し、当該仮定された方向を、回転方向に基づいて必要に応じて他の方向に変換する処理を遅くとも移動方向を最終的に決定するまでに完了すれば、ステップS302と同様の効果が得られる。しかし、説明の簡単化のため、本実施の形態においては、ステップS302の時点でプロセッサ201によって処理される画像の向きが回転方向によって決定された向きに論理的に定義されたものとして扱う。
ステップS303において、プロセッサ201はコーナー検出処理を行う。コーナー検出処理とは画像に含まれる認識対象120が有するコーナー(隅、角)の画像内での座標を決定する処理である。なお画像とはステップS301で取り込まれ、ステップS302で回転された画像をいう。
コーナー検出処理について2通りの処理を用いて説明する。以下の2つの処理はプロセッサ201によって、認識対象120の種類に応じていずれかが選択されても良いし、2つの処理が並列に、あるいは逐次、行われても良い。
図5は実施の形態1におけるコーナー検出処理の第1の例を示すフローチャートである。
図6Aないし図6は実施の形態1におけるコーナー検出処理の第1の例を示す図である。
ステップS500において、プロセッサ201はコーナー検出処理を開始する。本実施の形態においては図6Aに示すように、名刺610がダンボール611の上に貼られた状態を撮影した画像に対するコーナー検出処理を例に説明を行う。
ステップS501において、プロセッサ201は画像400の直線エッジを抽出する。画像400からエッジを抽出する方法は例えば画像400における画素の輝度が周囲に比べて著しく変化している箇所を抽出する手法や、あるいは、既知の様々なエッジ検出アルゴリズムを適用することができる。プロセッサ201は得られたエッジから直線エッジを選択する。直線エッジとは得られたエッジのうち所定以上の線分長を有するエッジである。プロセッサ201は得られたエッジの集合について線分形状とのマッチングを行い、所定の長さ以上のものを抽出することで直線エッジを抽出する。図6Aに示す画像に対して直線エッジ抽出を行うことで図6Bに示すように名刺のエッジ620(なお名刺内の文字もエッジとしては抽出されるが直線エッジとしては抽出されない)、ダンボールのエッジ621が得られる。
ステップS502において、プロセッサ201は平行エッジの組を抽出する。平行エッジの組とはステップS501で得られた直線エッジのうち平行に近いエッジの組をいう。プロセッサ201は直線エッジのベクトル成分を他の直線エッジのベクトル成分との内積を得ることで、直線エッジの組が平行であるか否かを判定する。図6Bに示す直線エッジに対して平行エッジの組を抽出すると図6Cのように、名刺の短辺同士のエッジの組および長辺同士のエッジの組を要素とする平行エッジ630が抽出される。
ステップS503において、プロセッサ201はステップS502で抽出された平行エッジの組を多角形に変形させる。多角形とは認識対象120がおよそ有している外形として予め定められた多角形のことをいう。本実施の形態では多角形の一例として矩形を例に説明を行う。プロセッサ201はステップS502で抽出した平行エッジの対2組を選び、平行エッジを延長することで多角形を生成する。なお、平行エッジを延長することで生成される多角形の形状が複数通り得られる場合がある。そのような場合は、画像400に含まれる認識対象は1つであるとみなして、次の優先度に従って1の多角形を選択しても良い。優先度の例としては(1)多角形の重心が最も画像400の中心に近い(2)多角形の面積が最も大きい(3)多角形を形成する辺において隣接する辺同士の長さの差分の平均が0に近い(4)多角形の辺の比率が所定の値に近い、などが挙げられる(これらの優先度を複数組み合わせて新たな優先度の基準を定めても良い)。プロセッサ201が平行エッジの組を多角形に変形させることで図6Dに示すように画像400の外側にまでエッジが延長され、多角形640が得られる。
ステップS504において、プロセッサ201はステップS503で得た多角形のコーナー座標を計算し、ストレージ202に保存する。図6Eに示すように多角形650からはコーナー651,コーナー652,コーナー653,コーナー654が得られる。ここで、プロセッサ201は図6のコーナー652の座標のように、座標が画像400の範囲の外に存在する場合には、当該座標が画像の範囲外に有る旨を示すフラグと共に、当該コーナー座標を含む全てのコーナー座標をストレージ202に保存する。なお、座標とは画像400全体を一部分に包含する二次元座標系を意味する。
ステップS505において、プロセッサ201はコーナー検出処理を終了する。その後処理はステップS304へ進む。
図7は実施の形態1におけるコーナー検出処理の第2の例を示すフローチャートである。
第2の例においては予め認識対象120のコーナーに検出マークが付されている場合における処理を示す。
図8Aないし図8Cは実施の形態1におけるコーナー検出処理の第2の例を示す図である。予め認識対象120のコーナーに検出マークが付されている場合の例としては、図8Aに示すようにコーナーにかぎ状の検出マークが付されている場合や、図8Bに示すように二次元バーコードなどの規格によって定められた検出マークが付されている場合がある。
ステップS700において、プロセッサ201はコーナー検出処理を開始する。
ステップS701において、プロセッサ201は画像400から検出マークを検出する。画像400から検出マークを検出する手法は既知のパターンマッチングアルゴリズムなどを用いることができる。
ステップS702において、プロセッサ201はステップS701において検出した検出マークの数が3以上であるか否かを判定する。
検出マークの数が3以上(ステップS702でYes)の場合、プロセッサ201は検出したマークを線分で結ぶことで多角形を生成する(ステップS703)。多角形とは認識対象120がおよそ有している外形として予め定められた多角形のことをいう。本実施の形態では多角形の一例として矩形を例に説明を行う。多角形として矩形を扱う場合、図8Cに示すように検出マークが3つ(多角形の角の数―1)しか検出されなかった場合には、検出マークを線分で結ぶことで矩形を生成するために、残り1点のコーナーの座標を推定する必要がある。
ここで図8Aに示す検出マークのように、検出マークの向き(形状)が四隅のそれぞれの位置で異なる場合は、プロセッサ201は検出マークの向き(形状)に基づいて検出マークが右上、左上、右下、左下のいずれに存在するのかを判別可能である。
よって、図8Cに示すような状態では、プロセッサ201は左上、左下、右下の検出マークが検出されたことが判別できる。よって、右下の検出マークを起点として、左下の検出マークと左上の検出マークとを結ぶ線分と平行に、かつ該線分と等距離の線分を、隣接する検出マークが存在しない方向に引くことで、コーナー810の座標を推定することが可能である。このようにすることで、検出マークが3つしか検出されなかった場合にも、残りの検出マークの座標を推定することができる。
一方で、図8Bに示す検出マークのように、検出マークの向き(形状)が四隅のそれぞれの位置で識別不可能な場合は、多角形を生成するために、図8Aに示す場合とは別の手法で残りのコーナーの座標を推定する必要がある。一例としては検出された3点の検出マークを結ぶことで出来る3角形のうち最も長い辺を対角線とし、かつ当該対角線を形成しないコーナーを頂点に有する矩形(長方形)を求める手法がある。当該手法によって求められた矩形の有するコーナー座標のうち、検出マークの座標と最も遠い位置にある座標が残りのコーナーの座標であると推定できる。よってこのようにして得られた矩形を多角形とする。
ステップS704においてプロセッサ201はステップS701で検出した、あるいはステップS703で得られた多角形の、コーナーの座標をストレージ202に記録する。なお、上述したステップS504と同様に、コーナーの座標が、画像400の範囲の外に存在する場合には、当該座標が画像の範囲外に有る旨を示すフラグと共に、当該範囲外にあるコーナー座標を含む全てのコーナー座標をストレージ202に保存する。なお、座標とは画像400全体を一部分に包含する二次元座標系を意味する。
ステップS705において、プロセッサ201はコーナー検出処理を終了する。その後処理はステップS304へ進む。
ステップS304において、プロセッサ201は移動方向決定処理を行う。以下図9を用いて説明する。
図9は実施の形態1における移動方向決定処理を説明するフローチャートである。
ステップS900において、プロセッサ201は移動方向決定処理を開始する。
ステップS901において、プロセッサ201はステップS704において保存したコーナー座標の数が2(第1の所定の値(認識対象が有するコーナーの数マイナス2))以下であるか否かを判定する。ここでのコーナー座標の数に画像400の範囲の外に存在するコーナー座標の数は含まない。コーナー座標が画像400の内にあるか外にあるかは、プロセッサ201がストレージ202に記録された、座標が画像の範囲外に有る旨を示すフラグを調べることで判定可能である。コーナー座標の数が2より多い場合(ステップS901でNo)処理がステップS902へ進む。
ステップS902において、プロセッサ201はステップS704において保存したコーナー座標の数が3(第2の所定の値(認識対象が有するコーナーの数マイナス1))であるか否かを判定する。コーナー座標の数が3ではない場合、(ステップS902でNo)処理がステップS903へ進む。
ステップS903において、プロセッサ201は認識対象領域が所定のサイズより大きいか否かを判定する。ここで認識対象領域とは検出したコーナー座標を結んで形成される多角形の内部の領域である。認識対象領域が所定のサイズより大きい場合(ステップS903でYes)処理がステップS904に進む。
ステップS904において、プロセッサ201は『移動方向なし、移動量0』との情報を生成し、ステップS905においてストレージ202にその旨を記録する。
コーナー座標の数が2以下の場合(ステップS901でYES)処理がステップS911へ進む。
ステップS911においてプロセッサ201は後方への移動量を算出する。コーナー座標が2以下しか検出されなかったということはカメラ203と認識対象120との距離が近すぎることが想定されるからである。
ステップS911の後のステップS905においてプロセッサ201は移動方向(後方)と移動量をストレージ202に記録する。
コーナー座標の数が3の場合(ステップS902でYes)処理がステップS921に進む。
ステップS921において、プロセッサ201は面内移動方向を決定する。コーナー座標の数が3ということは、ステップS504またはステップS704において、画像400に収まっていないコーナー座標がストレージ202に記録されている。プロセッサ201は画像400に収まっていないコーナー座標が(1)ステップS302で定めた画像の回転方向に従ってどの方向にあるのかを判断する処理(2)カメラ方向と視線方向が同一か否かを決定する処理の2つの処理の結果に従って、カメラの移動方向としての面内移動方向を決定する。
図10Aないし図10Cは実施の形態1における面内移動方向の決定方法を説明する図である。
プロセッサ201は(1)の処理において図10Aに示すようにコーナー座標1010(画像400外に存在するコーナー座標)の座標をストレージ202から読み出し、当該座標に対して画像400の中心から線を引いた際に、ステップS302で定めた画像の回転方向におけるどの領域を通過するかを判定する。図10Aにおいては回転方向において下を示す領域を、画像400の中心からコーナー座標1010に向けて引いた線が通過する。よって、プロセッサ201は(1)の処理において下方向を面内移動方向として仮定する。
続いて(2)の処理において、プロセッサ201は使用者110の視線方向1020と、移動方向決定装置100のカメラの撮像方向1030の向きが一致しているか否かを判定する。この判定を行う手法の一つとしては、使用者が入力装置208を介してストレージ202に、使用者110の視線方向1020と、移動方向決定装置100のカメラの撮像方向1030の向きが一致しているか否かを記録する方法が挙げられる。このようにして判定した、一致不一致の結果を一致判定結果と呼ぶ。
(2)の処理において使用者110の視線方向1020と、移動方向決定装置100のカメラの撮像方向1030の向きが一致していると判定した場合、プロセッサ201は(1)の処理によって得られた方向を面内移動方向とする。(2)の処理において使用者110の視線方向1020と、移動方向決定装置100のカメラの撮像方向1030の向きが一致していないと判定した場合、プロセッサ201は(1)の処理によって得られた方向の左右を反転する。このようにして、使用者110の方向感覚と、移動方向とを一致させることができる。
また、ステップS922において、プロセッサ201は、図10Aに示すように、画像400からコーナー座標1010がはみ出た量Dに基づいて、面内移動量を決定してもよい。面内移動量ΔLは、Dを画像400からコーナー座標1010が回転方向に対してはみ出たピクセル数とすると以下の式のように表される。
Figure 0006761938
式(1)においてdは解像度(dpmm(dot/mm))の逆数であり、以下の式のように表される。
Figure 0006761938
式(2)においてKはカメラにより決まる定数である。式(2)においてZはカメラ203から認識対象120までの距離である。カメラ203から認識対象120までの距離はカメラ203の付近にセンサ204としての測距センサをカメラ203の内部に配置することで得られる距離である。測距センサの一例としては所定の波長の電波を認識対象120に向かって放出し、認識対象から跳ね返ってきた電波を認識することで、認識対象120までの距離を測定するものが挙げられる。なお、測距センサを用いない場合は、所定の固定の値を移動量として採用してもよい。また、測距センサを用いない場合であっても、後述するS1102やS1103の判断のように、移動量の増大のみを判定する用途としてはDそのものに関する量の変化を移動量として扱うことが出来る。
ステップS921またはステップS922の処理を終えると、プロセッサ201はステップS905において、移動方向と移動量をストレージ202に記録する。
認識対象領域が所定のサイズより小さい場合(ステップS903でNo)処理がステップS931に進む。
ステップS931において、プロセッサ201は移動方向を前方向(または「より」)、つまり、使用者の視線の方向に設定する。このようにすることで、画像400における認識対象領域をより大きくすることができる。
ステップS932において、プロセッサ201は使用者の視線の方向への移動量を決定する。
視線の方向への移動量ΔZは、測距センサで得られた認識対象120までの距離をZとすると、以下の式のように表される。
Figure 0006761938
式(3)でlは認識対象領域の垂直方向又は水平方向の長さである。また、RはLをlで除した値である。このLとは画像400の垂直方向又は水平方向の長さでありlと対応する方向の長さである。このRは認識対象領域を拡大すべき拡大率を意味する。なお、測距センサを用いない場合は、所定の固定の値を移動量として採用してもよい。
ステップS932の後のステップS905において、プロセッサ201は移動方向(後方)と移動量をストレージ202に記録する。
なお、ステップS922、ステップS932においてプロセッサ201が移動量を算出するか否かは任意である。プロセッサ201が移動量を算出しなかった場合は、ステップS905において移動方向のみがストレージ202に記録される。
ステップS906において、プロセッサ201は移動方向決定処理を終了する。ステップS906を終えるとステップS304が終了したことになるので、図3に示すように処理がステップS305に進む。
ステップS305において、プロセッサ201はストレージ202を参照することで、移動方向決定装置100の使用者に対して移動指示が必要か否かを判定する。プロセッサ201は、ストレージ202に「移動不要」の旨が記録されている場合は移動指示が不必要と判断する。プロセッサ201はストレージ202に「移動方向」が記録されている場合は移動指示が必要と判断する。
ステップS305において移動指示が必要(ステップS305でYes)と判断した場合、プロセッサ201はステップS306において移動方向指示処理を行う。
図11は実施の形態1における移動方向指示処理を説明するフローチャートである。
ステップS1100において、プロセッサ201は移動方向指示処理を開始する。
ステップS1101において、プロセッサ201はストレージ202に記録されている移動方向に変化が生じたか否かを判断する。なお、ステップS1101において「変化が生じた」とは、今までにストレージ202に対して移動方向が記録されていなかった状態が、移動方向(移動方向「なし」の記録を含まない)が記録された状態へ変化したことを含む。
ステップS1101でYesの場合、処理がステップS1111へ進む。ステップS1111において、プロセッサ201はストレージ202に記録されている移動方向が反対方向へ変化したか否かを判断する。すなわちプロセッサ201は前回決定した移動方向と今回決定した移動方向とを比較する。本実施の形態において移動方向は上、下、左、右、前方、後方の6種類であり、それぞれ上―下、左―右、前方―後方が反対方向の関係となる。
なお、ステップS1111において「移動方向が反対方向へ変化した」とは今までにストレージ202に対して移動方向が記録されていなかった状態が、移動方向が記録された状態へ変化したことを含まない。また、ステップS1111において「移動方向が反対方向へ変化した」とは今までにストレージ202に移動方向が記録されていなかった状態が、移動方向「なし」との明示的な記録がされた状態に変化したことも含まない。
ステップS1111でNoの場合、処理がステップS1141へ進む。ステップS1141において、プロセッサ201はスピーカ205、バイブレータ206、ディスプレイ207のうち少なくとも一つに指示を行い、移動方向決定装置100の使用者にストレージ202に記録された移動方向および(もしストレージ202に記録されていれば)移動量を指示する。スピーカ205またはディスプレイ207を用いて指示を行う場合は移動方向および移動量を言語として使用者に伝える。バイブレータ206を用いて指示を行う場合は、振動のパターン、あるいは移動方向決定装置100において振動する箇所を用いて移動方向を使用者に伝える。例えば移動方向決定装置100が使用者の頭部に装着されている場合は側頭部への振動で左右への移動を、前頭部または後頭部への振動で奥行き方向への移動を指示することができる。また、バイブレータ206を用いて指示を行う場合は、振動の強弱で移動量を表現することができる。
ステップS1111でYesの場合、処理がステップS1112へ進む。ステップS1112において、プロセッサ201はスピーカ205、バイブレータ206、ディスプレイ207のうち少なくとも一つに指示を行い、移動方向決定装置100の使用者に、カメラ203の移動の行き過ぎを警告する。例えば、前回の指示が「右方向」への移動指示だったにも関わらず、現在においてストレージ202に「左方向」への移動指示が記録されている場合は右方向へ移動させすぎた結果、カメラ203の撮像範囲が認識対象120を右側へ越えてしまった可能性が高い。ステップS1111の処理を行うことで、より適切に使用者に対する移動方向の指示を行うことができる。ステップS1112の処理が終了すると処理がステップS1106に進み、移動方向指示処理が終了する。
ステップS1141の処理が終了すると、処理がステップS1142へ進む。ステップS1142において、プロセッサ201は同一移動方向指示無し持続時間の計測に用いられるカウンタをリセットする。同一移動方向指示無し持続時間とは、前回指示した移動方向と同じ方向を指示しようとする際における、前回の指示からの経過時間である。
ステップS1101でNoの場合、処理がステップS1102へ進む。ステップS1102において、プロセッサ201はストレージ202に記録されている移動方向が左右方向でかつ、その移動量が増大したか否かを判断する。
ステップS1102でYesの場合、処理がS1121へ進む。ステップS1121においてプロセッサ201はステップS921で得た一致判定の結果を判定させる。すなわち、使用者110の視線方向1020と、移動方向決定装置100のカメラの撮像方向1030の向きが一致しているか否かを示す一致判定を、それまでが「一致」であれば「不一致」にし、「不一致」であれば「一致」に変更する。移動量が増大しているということは、例えば「右方向」への移動指示を受けた使用者が「左方向」へカメラ203を移動させたようなケースが想定される。使用者がそのようにカメラ203を移動させるということは移動方向決定装置100にとっての左右方向と使用者にとっての左右方向が逆である可能性が高い。よって、ステップS1121の処理を行い、一致判定を反転させることで、より適切に使用者に対する移動方向の指示を行うことが出来る。
ステップS1121の処理が終了すると、処理がステップS1122へ進む。ステップS1122において、プロセッサ201はスピーカ205、バイブレータ206、ディスプレイ207のうち少なくとも一つに指示を行い、移動方向決定装置100の使用者に、カメラ203を反対向きに移動させている旨の警告をする。プロセッサ201は、スピーカ205またはディスプレイ207を用いて指示を行う場合は、指示の内容を言語化して注意を促す。また、プロセッサ201はバイブレータ206を用いて指示を行う場合は、所定の振動のパターンで注意を促す。
ステップS1102でNoの場合処理がステップS1103へ進む。ステップS1103において、プロセッサ201はストレージ202に記録されている移動方向が上下方向もしくは奥行き(前方後方)でかつ、その移動量が増大したか否かを判断する。
ステップS1103でYesの場合、処理がステップS1122へ進む。ステップS1122において、プロセッサ201はスピーカ205、バイブレータ206、ディスプレイ207のうち少なくとも一つに指示を行い、移動方向決定装置100の使用者に、移動方向決定装置100(またはカメラ203)を反対向きに移動させている旨の注意を促す。プロセッサ201は、スピーカ205またはディスプレイ207を用いて指示を行う場合は、指示の内容を言語化して注意を促す。また、プロセッサ201はバイブレータ206を用いて指示を行う場合は、所定の振動のパターンで注意を促す。
ステップS1103でNoの場合、処理がステップS1104へ進む。ステップS1104において、プロセッサ201は、同一移動方向指示無し持続時間を計測するカウンタの値を参照し、所定の値(T秒)よりも大きいか否かを判定する。
ステップS1104でYesの場合、処理がステップS1141へ進む。一方、ステップS1104でNoの場合処理がステップS1105へ進み、カウンタがカウントアップされる。このようにすることで、プロセッサ201の処理が移動方向指示処理に進むたびに、短期間に、繰り返し同じ方向への指示を行うことが抑制される。
ステップS1142、またはステップS1105の処理が終了すると処理がステップS1106へ進み、移動方向指示処理が終了する。
移動方向指示処理が終了すると、処理がステップS301へ戻り、移動方向指示の必要が無くなる(ステップS305でNo)までステップS301ないしステップS306の処理を繰り返す。
ステップS305でNoの場合、処理がステップS307へ進む。ステップS307において、プロセッサ201は、カメラ203が認識対象120を適切に捉えたとみなし、画像400に対してブレの有無を判定する。画像400に対するブレの有無の判定は既存の手法により行うことができる。例えば画像400のコントラストが所定の値より低い場合や、画像400のエッジのシャープネスが所定の値より低い場合は画像400にブレが有ると判定する。
画像400にブレがあると判定した場合(ステップS307でYes)、処理がステップS308へ進む。ステップS308において、プロセッサ201はスピーカ205、バイブレータ206、ディスプレイ207のうち少なくとも一つに指示を行い、移動方向決定装置100の使用者に、移動方向決定装置100(またはカメラ203)を静止させるよう注意を促す。プロセッサ201は、スピーカ205またはディスプレイ207を用いて指示を行う場合は、指示の内容を言語化して注意を促す。また、プロセッサ201はバイブレータ206を用いて指示を行う場合は、所定の振動のパターンで注意を促す。
移動方向決定装置100の使用者に、移動方向決定装置100(またはカメラ203)を静止させるよう注意を促した後は、処理がステップS301へ戻る。このようにすると、再び、移動指示が必要か否か(ステップS305)の処理を行うことになる。よって、認識対象120を適切に捉えていない位置で使用者がカメラ203を静止させることを抑止することができる。
画像400にブレが無いと判定した場合(ステップS307でNo)、処理がステップS309へ進む。
ステップS309において、プロセッサ201はパターン認識処理を行う。パターン認識処理は認識対象120に適した認識処理を適宜行えばよい。パターン認識処理の一例としては、文字認識、バーコード読み取り、記号認識など既存のパターン認識を適用することができる。プロセッサ201は認識処理の結果をストレージ202に記録する。
ステップS310において、プロセッサ201はステップS309の認識処理結果をストレージ202から読み出しディスプレイ207などの出力装置に出力する。
[1−3.効果等]
以上のように本実施の形態において、本開示の移動方向決定方法及び装置のプロセッサは、多角形の認識対象を撮像するカメラの移動方向を決定する。そしてプロセッサはカメラが備えるセンサが取得したカメラの向きを取得し、カメラが撮像した認識対象の画像を取得し、画像に収まっている認識対象のコーナーの個数を決定し、カメラの向きとコーナーの個数に基づいて、カメラの移動方向を決定する。
これにより認識対象120のコーナーに基づいて、カメラが認識対象を適切に捉えていない状況を推定することができる。また、カメラの向きに基づいて使用者110の認識する方向を推定することができる。そして以上のように推定した結果を移動指示の方向に反映することができる。結果として図1に示すように使用者110にとって認識対象120の位置が視認し難い場合であっても、カメラの移動方向を適切に使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、画像に収まっている認識対象のコーナーの個数が、第1の所定の値以下の場合は、カメラの移動方向を後方に決定する。
これにより、カメラが認識対象に近すぎる場合をコーナーの数から検知して、後方への移動を指示することができる。よってより適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、画像に収まっている認識対象のコーナーの個数が、認識対象が有するコーナーの数マイナス1個の場合は、画像に収まっていないコーナーの座標を決定し、カメラの向きと画像に収まっていないコーナーの座標に基づいて、カメラの移動方向を決定する。
これにより、画像に収まっていないコーナーの座標に向かって移動する旨を指示することができる。よって、より適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、カメラの使用者の視線方向と、カメラの撮像方向とが一致しているか否かを判定し、カメラの使用者の視線方向と、カメラの撮像方向とが一致していない場合は、カメラの使用者の視線方向と、カメラの撮像方向とが一致している場合に比べて移動方向の向きを左右反転して決定する。
これにより、使用者110の方向感覚と、移動方向とを一致させることができる。よってより適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、前回決定した移動方向と、今回決定した移動方向とを比較することで移動方向の変化を決定し、移動方向の変化が反対方向への変化であれば、出力装置に対してカメラの移動の行き過ぎを警告するよう指示を行う。
これにより、使用者110が移動指示を勘違いしてカメラを移動させた場合に注意を促すことができる。よって、より適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、移動方向に関して移動量を算出し、移動量に基づいてカメラを移動させる旨の出力を行うように、出力装置に対して指示を行う。
これにより、使用者110は具体的な移動量を意識しつつカメラを移動させることができる。よって、より適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、移動方向に関して移動量を算出する。そして、前回決定した移動方向および移動量と、今回決定した移動方向および移動量とを比較することで移動方向および移動量の変化を決定し、移動方向が変化せず、移動量が増大した場合は、出力装置に対してカメラを反対向きに移動させている旨の警告をするよう指示を行う。
これにより、使用者110が移動指示に基づいてカメラを移動させすぎた場合に注意を促すことができる。よって、より適切にカメラの移動方向を使用者110へ伝えることができる。
また、本開示の移動方向決定方法及び装置のプロセッサは、カメラの使用者の視線方向と、カメラの撮像方向とが一致しているか否かを判定する。そして、カメラの使用者の視線方向と、カメラの撮像方向とが一致していない場合は、カメラの使用者の視線方向と、カメラの撮像方向とが一致している場合に比べて移動方向の向きを左右反転して決定し、移動方向が左方向あるいは右方向のまま変化せず、移動量が増大した場合は、カメラの使用者の視線方向と、カメラの撮像方向が一致しているか否かの判定結果を反転させる。
これにより、使用者110が一致判定結果を誤って移動方向決定装置に入力した場合等であっても、当該誤りを修正できる。よって、より適切にカメラの移動方向を使用者110へ伝えることができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、例えば倉庫内での検品、出荷作業に対して適用可能である。
100 移動方向決定装置
110 使用者
120 認識対象
130 貨物
201 プロセッサ
202 ストレージ
203 カメラ
204 センサ
205 スピーカ
206 バイブレータ
207 ディスプレイ
208 入力装置
210 バス
400 画像
610 名刺
611 ダンボール
620 エッジ
621 エッジ
630 平行エッジ
640 多角形
650 多角形
651 コーナー
652 コーナー
653 コーナー
654 コーナー
810 コーナー
1010 コーナー座標
1020 視線方向
1030 撮像方向

Claims (16)

  1. プロセッサが、多角形の認識対象を撮像するカメラの移動方向を決定する方法であって、
    前記プロセッサは、
    前記カメラが備えるセンサが取得した前記カメラの向きを取得し、
    前記カメラが撮像した前記認識対象の画像を取得し、
    前記画像に収まっている前記認識対象のコーナーの個数を決定し、
    前記カメラの向きと前記コーナーの個数に基づいて、前記カメラの移動方向を決定する、
    移動方向決定方法。
  2. 前記プロセッサは、
    前記画像に収まっている前記認識対象のコーナーの個数が、第1の所定の値以下の場合は、
    前記カメラの移動方向を後方に決定する、
    請求項1に記載の移動方向決定方法。
  3. 前記プロセッサは、
    前記画像に収まっている前記認識対象のコーナーの個数が、前記認識対象が有するコーナーの数マイナス1個の場合は、
    前記画像に収まっていないコーナーの座標を決定し、
    前記カメラの向きと前記画像に収まっていないコーナーの座標に基づいて、前記カメラの移動方向を決定する、
    請求項1に記載の移動方向決定方法。
  4. 前記プロセッサは、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かを判定し、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致していない場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致している場合に比べて前記移動方向の向きを左右反転して決定する、
    請求項1に記載の移動方向決定方法。
  5. 前記プロセッサは、
    前回決定した移動方向と、今回決定した移動方向とを比較することで移動方向の変化を決定し、
    前記移動方向の変化が反対方向への変化であれば、出力装置に対してカメラの移動の行き過ぎを警告するよう指示を行う、
    請求項1に記載の移動方向決定方法。
  6. 前記プロセッサは、
    前記移動方向に関して移動量を算出し、
    前記移動量に基づいてカメラを移動させる旨の出力を行うように、出力装置に対して指示を行う、
    請求項1に記載の移動方向決定方法。
  7. 前記プロセッサは、
    前記移動方向に関して移動量を算出し、
    前回決定した移動方向および移動量と、今回決定した移動方向および移動量とを比較することで移動方向および移動量の変化を決定し、
    前記移動方向が変化せず、前記移動量が増大した場合は、出力装置に対してカメラを反対向きに移動させている旨の警告をするよう指示を行う、
    請求項1に記載の移動方向決定方法。
  8. 前記プロセッサは、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かを判定し、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致していない場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致している場合に比べて前記移動方向の向きを左右反転して決定し、
    前記移動方向が左方向あるいは右方向のまま変化せず、前記移動量が増大した場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かの判定結果を反転させる、
    請求項7に記載の移動方向決定方法。
  9. プロセッサを有し、前記プロセッサが多角形の認識対象を撮像するカメラの移動方向を決定する移動方向決定装置であって、
    前記プロセッサは、
    前記カメラが備えるセンサが取得した前記カメラの向きを取得し、
    前記カメラが撮像した前記認識対象の画像を取得し、
    前記画像に収まっている前記認識対象のコーナーの個数を決定し、
    前記カメラの向きと前記コーナーの個数に基づいて、前記カメラの移動方向を決定する、
    移動方向決定装置。
  10. 前記プロセッサは、
    前記画像に収まっている前記認識対象のコーナーの個数が、第1の所定の値以下の場合は、
    前記カメラの移動方向を後方に決定する、
    請求項9に記載の移動方向決定装置。
  11. 前記プロセッサは、
    前記画像に収まっている前記認識対象のコーナーの個数が、前記認識対象が有するコーナーの数マイナス1個の場合は、
    前記画像に収まっていないコーナーの座標を決定し、
    前記カメラの向きと前記画像に収まっていないコーナーの座標に基づいて、前記カメラの移動方向を決定する、
    請求項9に記載の移動方向決定装置。
  12. 前記プロセッサは、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かを判定し、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致していない場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致している場合に比べて前記移動方向の向きを左右反転して決定する、
    請求項9に記載の移動方向決定装置。
  13. 前記プロセッサは、
    前回決定した移動方向と、今回決定した移動方向とを比較することで移動方向の変化を決定し、
    前記移動方向の変化が反対方向への変化であれば、出力装置に対してカメラの移動の行き過ぎを警告するよう指示を行う、
    請求項9に記載の移動方向決定装置。
  14. 前記プロセッサは、
    前記移動方向に関して移動量を算出し、
    前記移動量に基づいてカメラを移動させる旨の出力を行うように、出力装置に対して指示を行う、
    請求項9に記載の移動方向決定装置。
  15. 前記プロセッサは、
    前記移動方向に関して移動量を算出し、
    前回決定した移動方向および移動量と、今回決定した移動方向および移動量とを比較することで移動方向および移動量の変化を決定し、
    前記移動方向が変化せず、前記移動量が増大した場合は、出力装置に対してカメラを反対向きに移動させている旨の警告をするよう指示を行う、
    請求項9に記載の移動方向決定装置。
  16. 前記プロセッサは、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かを判定し、
    前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致していない場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致している場合に比べて前記移動方向の向きを左右反転して決定し、
    前記移動方向が左方向あるいは右方向のまま変化せず、前記移動量が増大した場合は、前記カメラの使用者の視線方向と、前記カメラの撮像方向とが一致しているか否かの判定結果を反転させる、
    請求項15に記載の移動方向決定装置。
JP2017530997A 2015-07-28 2016-06-30 移動方向決定方法および移動方向決定装置 Active JP6761938B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015148182 2015-07-28
JP2015148182 2015-07-28
PCT/JP2016/003138 WO2017017898A1 (ja) 2015-07-28 2016-06-30 移動方向決定方法および移動方向決定装置

Publications (2)

Publication Number Publication Date
JPWO2017017898A1 JPWO2017017898A1 (ja) 2018-05-10
JP6761938B2 true JP6761938B2 (ja) 2020-09-30

Family

ID=57884246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017530997A Active JP6761938B2 (ja) 2015-07-28 2016-06-30 移動方向決定方法および移動方向決定装置

Country Status (4)

Country Link
US (1) US10339661B2 (ja)
JP (1) JP6761938B2 (ja)
CN (1) CN107004111A (ja)
WO (1) WO2017017898A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151493A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 画像処理装置、画像読み取り装置及びプログラム
US9928438B2 (en) * 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
CN108426566B (zh) * 2018-02-28 2020-09-01 中国计量大学 一种基于多摄像机的移动机器人定位方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4301775B2 (ja) * 2002-07-18 2009-07-22 シャープ株式会社 2次元コード読み取り装置,2次元コード読み取り方法,2次元コード読み取りプログラム及び該プログラムの記録媒体
JP5093968B2 (ja) * 2003-10-15 2012-12-12 オリンパス株式会社 カメラ
JP4049739B2 (ja) 2003-12-16 2008-02-20 株式会社東研 手持ち式コード読取装置
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
JP4527671B2 (ja) * 2006-01-30 2010-08-18 日星電気株式会社 広帯域アンテナエレメント
JP2007207085A (ja) * 2006-02-03 2007-08-16 Denso Wave Inc 光学情報読取装置
JP5367241B2 (ja) * 2007-07-06 2013-12-11 株式会社Pfu 画像読取処理装置、画像読取装置、および、画像読取処理方法
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US8596541B2 (en) * 2008-02-22 2013-12-03 Qualcomm Incorporated Image capture device with integrated barcode scanning
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
US9189670B2 (en) * 2009-02-11 2015-11-17 Cognex Corporation System and method for capturing and detecting symbology features and parameters
JP5486298B2 (ja) * 2009-12-28 2014-05-07 キヤノン株式会社 画像処理装置および画像処理方法
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
EP2395766B1 (en) * 2010-06-14 2016-03-23 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法
US9609217B2 (en) * 2011-11-02 2017-03-28 Mediatek Inc. Image-based motion sensor and related multi-purpose camera system
JP2013219541A (ja) * 2012-04-09 2013-10-24 Seiko Epson Corp 撮影システムおよび撮影方法
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
KR102092571B1 (ko) * 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
JP6405891B2 (ja) * 2014-10-29 2018-10-17 富士通株式会社 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム

Also Published As

Publication number Publication date
US20170330334A1 (en) 2017-11-16
US10339661B2 (en) 2019-07-02
JPWO2017017898A1 (ja) 2018-05-10
WO2017017898A1 (ja) 2017-02-02
CN107004111A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
US9398210B2 (en) Methods and systems for dealing with perspective distortion in connection with smartphone cameras
US10074179B2 (en) Image measurement device
JP5742399B2 (ja) 画像処理装置及びプログラム
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5699432B2 (ja) 画像処理装置
EP3627822B1 (en) Focus region display method and apparatus, and terminal device
JP5765026B2 (ja) 画像処理装置及びプログラム
US9930306B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP6761938B2 (ja) 移動方向決定方法および移動方向決定装置
US20140049614A1 (en) Image processing apparatus, imaging apparatus, and image processing method
KR20120066567A (ko) 화상 처리 장치 및 프로그램
CN109543534B (zh) 一种目标跟踪中目标丢失重检的方法及装置
CN111145153B (zh) 图像处理方法、电路、视障辅助设备、电子设备及介质
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
US9418286B2 (en) Information processing device, information processing method, and program
JP2010211460A (ja) 識別モデル生成装置、対象物検出装置、及び識別モデル生成プログラム
JP2019012546A (ja) 情報処理装置、画像処理方法とプログラム、ならびに、pos端末装置
JP2011120076A (ja) 画像検出装置及び画像検出方法
US10521653B2 (en) Image processing device, image processing method, and storage medium
CN112997217A (zh) 从视频图像进行文档检测
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
JP5482925B2 (ja) 画像撮像装置及びプログラム
JP6157068B2 (ja) 情報処理装置及びその制御方法
CN107113380B (zh) 一种计算系统、方法和机器可读非暂时性存储介质
JP6600090B2 (ja) 画像処理装置、画像処理方法、および、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170403

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R151 Written notification of patent or utility model registration

Ref document number: 6761938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151