[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2021068451A - 物体の流れを検出するためのカメラ及び物体の高さの測定方法 - Google Patents

物体の流れを検出するためのカメラ及び物体の高さの測定方法 Download PDF

Info

Publication number
JP2021068451A
JP2021068451A JP2020177891A JP2020177891A JP2021068451A JP 2021068451 A JP2021068451 A JP 2021068451A JP 2020177891 A JP2020177891 A JP 2020177891A JP 2020177891 A JP2020177891 A JP 2020177891A JP 2021068451 A JP2021068451 A JP 2021068451A
Authority
JP
Japan
Prior art keywords
camera
image sensor
image
height
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020177891A
Other languages
English (en)
Other versions
JP7124030B2 (ja
Inventor
ミューラー ロマン
Mueller Romain
ミューラー ロマン
シュナイダー フローリアン
Schneider Florian
シュナイダー フローリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of JP2021068451A publication Critical patent/JP2021068451A/ja
Application granted granted Critical
Publication of JP7124030B2 publication Critical patent/JP7124030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Vascular Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】物体の流れにおける高さ測定を改善したカメラおよび方法を提供する。【解決手段】カメラ(10)は、ある高さの物体(14)と共にカメラ(10)に対してある移動方向(16)に移動する物体の流れの画像データを取得するための多数の画素素子を有する画像センサ(20)と、画像データに基づいて各物体(14)の高さを測定するように構成された制御及び評価ユニット(22)とを備える。画像センサ(20)は、イベントベースの画像センサであり、制御及び評価ユニット(22)は、移動方向に隣接する画素素子がイベントを次々に記録する時点の測定系列を捕らえ、該測定系列から画像センサ(20)上での物体(14)の物体像の速度を測定し、該速度から前記高さを測定する。【選択図】図1

Description

本発明は、請求項1又は10のプレアンブルに記載の、ある高さの物体と共にカメラに対してある移動方向に移動する物体の流れの画像データを取得するためのカメラ、及び、物体の流れに含まれる物体の高さを測定する方法に関する。
物体の流れの光学的検出は工業や物流における自動化の課題にとって重要な応用事例である。物体はしばしばベルトコンベア装置に乗せられて異なる処理工程間で搬送される。その場合、自動化の課題には、物体の立体的な輪郭の検出、特に物体の高さの測定や、土台までの距離が分かっている場合は高さと等価な物体とカメラの間の距離の測定を必要とするものが少なくない。これは例えばカメラの対物レンズの焦点位置の調節や物体の体積の把握に役立つ。このとき高さは3つ目の次元として入ってくるだけでなく、カメラの画素で表される物体像の面積を実際の度量単位に換算するためにも必要となる。数多くの具体的な応用例の一つは荷物又は他の物品の仕分けである。その場合、識別は光学的コードの読み取りにより行うのが普通である。しかし荷物の体積は重要な補足量であるし、いずれにせよ高さは焦点を正しく合わせてコードを荷物に割り当てる上で助けとなる量である。
従来技術において、幾何学測定を担うレーザスキャナ等の追加のセンサをカメラに割り当てることが知られている。しかしこれは追加のハードウェア費用と設置費用がかかることを意味する。自ら距離を測定する3次元カメラも別の解決策を提供するが、2次元カメラに比べて明らかに高価である上、例えば横方向の分解能等、他の特性においては同等の品質にならない。時間的に間隔を空けた複数の画像撮影から高さを取得することも考えられる。このようにすれば物体への視点が変わるため、ステレオカメラの原理により高さを測定することができる。しかしこれもやはりコストがかかる上、例えば焦点追跡を行うには高さ値が利用できるまでに時間がかかりすぎる。
最近、いわゆるイベントカメラ(ereignisbasierte Kamera)という新たな種類のカメラ技術が生まれている。これは視覚野に依拠してニューロモーフィックカメラ(neuromorphologische Kamera)とも呼ばれている。しかしこの種のカメラはこれまで先に挙げた用途では用いられておらず、またそれは深さ値、そして被検出物の高さを測定する可能性を提供するものではない。従来のカメラは規則的なフレーム率又は画像再生率で全ての画素を露光し、それらを同時に読み出すことで、観察された時間毎に画像再生率に相当する数の2次元静止画像を得る。
イベントカメラ内にも画素の行列があるが、画像再生率は一定ではなく、画素の読み出しも一斉ではない。代わりに各画素が、強度に変化が認められるかどうかを個別に調べる。変化が認められた場合に限り画像情報の出力又は読み出しが行われ、しかもそれは当該画素からのみである。従って各画素が一種の独立した運動検出器になっている。検出された運動は個々にイベントとして報告される。これにより、イベントカメラは光景の動的変化に対して極めて高速に反応する。画像の静的な部分が欠落しているため、その画像データは人間の目には直感的には捕らえられない。
イベントカメラについては例えばプロフェシー(Prophesee)社の白書に記載がある。これは同社のインターネットサイトで呼び出すことができる。
特許文献1、2及び3の各々からイベントカメラ用の画素スイッチング回路が知られている。
非特許文献1では、イベントカメラのデータからどのように運動、距離及びオプティカルフローが測定されるかという方法が提示されている。
特許文献4は、イベントベースの画像処理のための装置及び方法、具体的にはオプティカルフローを測定するための装置及び方法が開示されているが、これは既に触れたようにかなり複雑で高価なツールである。
未公開の欧州特許出願番号第18209953.1号ではイベントカメラがコードの読み取りに用いられている。
WO 2015/036592 A1 WO 2017/174579 A1 WO 2018/073379 A1 US 2013/0335595 A1
ガリェゴ・ギリェルモ、アンリ・レベック及びダビデ・スカラムッツァ(Gallego Guillermo, Henri Rebecq, und Davide Scaramuzza)、「ア・ユニファイイング・コントラスト・マキシマイゼーション・フレームワーク・フォー・イベント・カメラズ・ウィズ・アプリケーション・トゥ・モーション・デプス・アンド・オプティカル・フロー・エスティメーション(A unifying contrast maximization framework for event cameras, with applications to motion, depth, and optical flow estimation)」、IEEE Int. Conf. Comput. Vis. Pattern Recog.(CVPR)、Vol. 1. 2018
このような背景から、本発明の課題は、カメラを用いた、物体の流れにおける高さ測定を改善することである。
この課題は、請求項1又は10に記載の、ある高さの物体と共にカメラに対してある移動方向に移動する物体の流れの画像データを取得するためのカメラ、及び、物体の流れに含まれる物体の高さを測定する方法により解決される。本カメラは例えば列状又は行列状に配置された多数の画素素子を有する画像センサを備えている。これを用いて、カメラに対して運動する複数の物体から成る物体の流れの画像データが取得される。この画像データの解析により物体の高さが測定される。この「高さ」はカメラに向かう方向の寸法を意味する。カメラが上ではない方向から観察している場合、例えばカメラの視点が側方にあれば客観的にはむしろ「幅」であるが、カメラから見ればそれはなお「高さ」である。
本発明の出発点となる基本思想は、画像センサとしてイベントベースの画像センサを用いることにある。つまり本カメラは従来の画像センサを備える従来のカメラではなくイベントカメラである。その違いについては冒頭で簡単に論じた。即ち、各画素は単にそれぞれの強度を測定するのではなく、各時点に強度の変化を認識する。このような変化が名前の由来になっている「イベント」の1つであって、それは十分に速く、雑音指数を超える変化であることが好ましい。加えて、そのような強度の変化があった場合にのみ、しかも該当する一又は複数の画素からのみ、信号の供給又は読み出しが行われる。イベントベースの画像センサという名前は検出原理を表すものであって、ニューロモーフィック型画像センサといった他の考えられる名前とは無関係である。
移動方向に隣接する画素がイベントを引き起こしたらその都度、つまり物体の縁がその画素の視界を通過したらその都度、物体の高さを測定するために測定系列が形成される。原理的には、線形的な評価には2つの隣接した画素があれば足りるが、より多くの、しかもかなり多くの隣接した画素を参照することが好ましく、そのためにイベントベースの画像センサの行分解能又は列分解能のオーダーの数が利用できる。これらの時点をその都度イベントを起こしている画素に沿って並べれば、それは、画素つまりは移動方向における画像センサ上の場所に依存したイベントの時間の関数の離散な見積もりとなる。この関数は、検出された物体の物体像が画像センサを横切って動く速度に応じて圧縮又は伸張される。この速度を実空間における物体の客観的な速度と混同してはならない。画像センサ上での物体像の速度は該物体の近さ、つまりその高さとともに変化するから、この速度を目的の高さに換算することができる。あるいは一定の換算係数まで求めればもうその高さが測定される。
本発明には、イベントベースの画像センサのおかげで非常に簡単且つ頑強な形で物体の高さを測定できるという利点がある。これにより開発コスト及び必要な計算能力が著しく低減される。イベントベースの検出により、運動する物体の縁が自動的に認識される。物体の運動を認識するために、背景セグメンテーション、物体認識、複数フレームにわたる物体追跡といった従来の画像処理ステップの多くがなくなる。またイベントベースの画像センサは外部光の影響を受けない。恒明は強度変化を生じさせないため、画素中にイベントが起きない。例えば50Hzで変調されたハロゲンランプのような変調された光源は制御及び評価ユニットにより抑制することができる。
各画素素子は、該画素素子により検出される強度が変化したらそれを確認し、正確にそのときにイベントベースで画像情報を生成することが好ましい。イベントカメラの画素素子の特別な挙動については既に何度も触れた。画素素子は検出された強度が変化したかどうかを調べる。それだけがイベントであり、イベントが生じた場合にだけ画像情報の出力又は読み出しが行われる。強度の変化がまだ所定の小さすぎる変化であるときは画素素子がそれをイベントとみなさず無視するという、一種のヒステリシスも考えられる。
画素素子は強度が減少したか又は増加したかという差分情報を画像情報として生成することが好ましい。即ち、この画素素子から読み出される情報は例えば強度変化の方向に対応した+1又は−1という符号である。その際、強度変化の閾値を設定し、その値までは画素素子がまだイベントを引き起こさないようにすることができる。後段で更なる評価のために用いられる内部表現においてはイベントが検出されなかった時間に値ゼロを補うことができる。
画素素子は強度の変化により定まる時間窓における積分強度を画像情報として生成することが好ましい。ここでは情報が強度変化の方向に限定されず、イベントにより確定される時間窓において入射光が積分され、それによりグレースケール値が決まる。従ってこの測定値は従来のカメラの測定値に相当するが、検出の時点はイベントベースのままであり、強度変化に結びつけられている。
各画素素子は画像情報を少なくとも1KHz又はそれどころか少なくとも10kHz若しくはそれ以上の更新周波数で与えることが好ましい。従来のカメラの更新周波数は画像再生周波数又はフレーム率である。このような共通の画像再生周波数はイベントベースの画像センサにはない。なぜなら画素素子はその画像情報を個別にイベントベースで出力又は更新するからである。一方、応答時間は極めて短い。それは従来のカメラでは莫大なコストをかけて毎秒千枚以上の画像を使わなければ達成できず、イベントベースなら常に可能な更新周波数でも従来のカメラでは技術的にもはや考えられない。この高い時間分解能には人為的な動き(動きのぶれ)がほとんどないという利点もある。極めて短い更新周期(これは従来の露光に相当する)の範囲内では物体が更に複数画素も移動することはなく、故にぼやけた画像が撮影されることもない。
画像センサは、該当する画素素子の座標情報、時間情報及び強度情報をそれぞれ有する複数のイベントから成るデータストリームを画像情報として生成することが好ましい。従来のデータストリームは画素の強度値又はグレースケール値から成り、また画像センサ平面における位置の関連付けは全ての画素を系統立った順序で読み出すことにより成される。イベントベースの画像センサではその代わりに、イベントを関連付け可能にするデータタプルをイベント毎に出力することが好ましい。この場合、該当する画素素子の位置、強度変化の方向±1及び/又はイベントにおいて測定された強度、並びに時間スタンプが書き込まれる。このようにすれば、実効的な画像再生率が高いにも関わらずごくわずかなデータしか読み出さずに済む。
前記データストリームは、ゼロで補填することにより、画像センサ上の画素素子の配置と時間とにより形成された基底を有する行列に変換することが好ましい。更なる処理のためには、時間的に連続した個別画像から成る、つまりそれぞれある定まった時点に記録された画像センサの画素素子全体の強度分布の層を時系列に並べて成る、見慣れた行列表現がより適していることが多い。時間方向の粒点は、従来はフレーム率により予め与えられていたのに対し、イベントカメラではより細かく決めることができる。イベントによれば最終的に値が疎らな行列(疎行列)ができる。イベントベースの画像センサのデータストリームはそれをメモリと帯域を節約して表現したものに当たる。
隣接する画素素子は画像センサ上で少なくとも1つの列配置を成していることが好ましい。カメラの方向を移動方向に対して適切に調整することにより、前記列配置をイベントベースの画像センサの行又は列と一致させることができる。そうでなければ前記列配置は複数の行と列を通る線となる。原理的には、速度そして高さを測定するには列配置は1つで十分である。しかし、好ましくは複数の列配置又はそれどころか全ての列配置を高さ測定のために移動方向に評価する。それはまず各物体の横方向の位置が事前には分からないからである。それに、複数の行を用いて過剰な測定又は冗長な測定を行って全体としてより精度を高めることは有利になり得る。
前記カメラは、その上で前記物体が搬送されるコンベア装置に固定的に取り付けられていることが好ましい。これにより1つの重要な用途グループがカバーされる。搬送される物体は物体の流れを成す。よって、物体の移動方向と速度がベルトコンベアの高さと同様に高さ測定の基準として定まる。
制御及び評価ユニットは、特にパラメータ設定により又は別のセンサ若しくは上位の制御装置との接続により、物体の速度を予め与えられていることが好ましい。ここで「速度」とは画像センサ上での物体像の速度ではなく物体の実際の速度である。この速度は、固定されたコンベア速度の場合等、いくつかの実施形態では事前に分かっているためパラメータ設定が可能である。あるいは、それを例えばベルトコンベア側のインクリメンタルエンコーダを用いて外部で測定したり、コンベア制御装置がその速度(この速度で物体の流れも動く)を渡したりすることも考えられる。
制御及び評価ユニットは、既知の距離にある基準物、特にベルトコンベアの物体像の速度を測定することにより、物体の速度を画像データから測定するように構成されていることが好ましい。このカメラはその速度を自らも測定することができる。そのためにこのカメラは物体像の速度の測定を既知の距離にある基準物と関連付けて行う。それには特にベルトコンベアが考慮に値する。
制御及び評価ユニットは、前記基準物の光学的マーカ、特に変調された光源を認識するように構成されていることが好ましい。光学的マーカは前記既知の距離にある基準物をそれとしてより容易に且つ確実に認識する上で役に立つ。光学的マーカは、例えばベルトコンベア上の交差縞のような受動的なものでもよい。あるいは、特徴的な明滅シーケンスを用いた光源が光学的マーカとして用いられる。最も簡単なものは特定の変調周波数でパルスを発する光源である。
物体の流れの相対運動は好ましくは一定であり、制御及び評価ユニットは測定系列のベストフィット直線を求め、その傾きを高さの尺度として求めるように構成されていることが好ましい。物体の速度が少なくとも実質的に一定であるというよくある場合には、イベントベースの画像センサを用いた高さの測定が更に簡単になる。つまりその場合、測定系列、あるいはそれにより得られる、移動方向に沿って連続的に隣接する画素中で引き起こされるイベントの離散的な関数は直線になる。この直線のパラメータはベストフィット直線により再構成できる。それには、最も簡単な場合、好ましくは画素間隔が大きめ又は最大である2つの任意のイベントを考慮すれば十分である。その他に、測定系列の複数又は全ての点を取り込む、直線フィッティングのためのあらゆる公知のアルゴリズムが利用可能である。一方、直線の勾配は目的の高さと線形の関係にあるため、あとはただカメラのパラメータとその取り付け位置により与えられる係数を用いて換算するだけでよい。
物体はカメラの方に向けられた平面を備えていることが好ましい。これは非常に多くの荷物に当てはまる。上面が平らであれば、カメラの視界を通過している間、物体の距離は変化しない。平面というこの境界条件から外れたとしても本発明の教示の適用が制限されることは決してないが、そうすると高さが非スカラーになり、ある程度の測定誤差につながる。
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
搬送される物体を載せたコンベア装置の上方に設置されたカメラを示す図。 イベントベースの画像情報の取得について説明するための画素の強度分布の模範例。 移動方向に隣接する画素が物体のエッジによりイベントを引き起こす時点の測定系列の模範例を低速の物体と高速の物体について示す図。 異なる高さの物体が搬送されて通過するイベントカメラの視界を示す概略断面図。
図1はベルトコンベア12の上方に設置されたカメラ10を示している。ベルトコンベア12は矢印16で示したようにカメラ10の視野18を通り抜けて物体14を搬送する。このようにカメラ10をベルトコンベア付近で固定的に用いることは実際に非常によくある。しかし本発明は何よりもカメラ10そのものに関するものであるから、特に好ましいこの上方からの視点も、またこの応用例全体も、本発明を限定するものと解釈してはならない。
カメラ10は搬送されている物体14の画像情報を画像センサ20で取得する。この画像センサ20はイベントベースの画像センサである。イベントベースの画像センサ及びその画像情報の評価の特殊性については後で更に詳しく説明する。イベントカメラでは撮影される光景に動的変化が必要となる。そうでなければ何もイベントが記録されない。故に、撮影対象の物体14に動きがあるコンベアラインへの応用は適切な応用である。画像センサ20を用いた光学的な検出原理は特別な幾何学的配置や特定のカメラ構造に拘束されない。画像センサ20は通常、行列状又は列状に配置された画素を含んでいる。
カメラ10の本来の任務は本発明の説明にとって従属的な役割を果たす。例えば物体14は特定の特徴部分が検査又は測定される。カメラベースのコードリーダとして仕上げることも考えられる。その場合、それを用いて物体14上のコード領域を検出し、そこに付されたコードを読み取る。ここでの記載における重点は本来の測定量として又は補助量として測定される物体14の高さの測定にある。
この評価のために、画像センサ20の画像情報を読み出して更に処理する制御及び評価ユニット22が該画像センサ20に接続されている。インターフェイス24を通じてカメラ10が情報を出力する。制御及び評価ユニット22の機能は、インターフェイス24を利用して上位の制御装置、ネットワーク又はクラウドへ接続する等により、少なくとも部分的に外部に設けることができる。逆にカメラ10はインターフェイス24又は他のインターフェイスを通じて他のセンサ又は上位の制御装置から情報を受け取ることができる。これにより、例えばベルトコンベアの固定的な又は最新の搬送速度をカメラ10に伝えることができる。
図2はイベントベースの画像センサ20の機能原理を説明するための図であって、その上部に画像センサ20の1つの画素素子における純粋に模範的な時間的強度推移を示している。従来の画像センサであれば、この強度推移が予め設定された露光時間窓にわたって積分され、全ての画素素子の積分値が予め設定されたフレーム率のサイクルで出力された後、次の画像のためにリセットされる。
イベントベースの画像センサ20の画素素子はそうではなく、個々に且つフレーム率とは無関係に強度変化に対して反応する。強度変化が確認された時点がそれぞれ垂直な線で示されている。図2の下部にはこれらの時点に、強度変化の方向に応じてプラス及びマイナスの符号を付したイベントが描かれている。画素素子がすべての強度変化に対して反応するのではなく、一定の閾値を超えて初めて反応するようにすることが考えられる。画素素子はイベントベースで、強度変化が認識された時点に読み出され、符号を出力する。その後、画像情報のうちイベントのない時間に値ゼロを補うことで、画像センサ20の全ての画素素子にわたる画像が得られるようにすることもできる。この画像は従来の見慣れた画像とは異なり、物体の輪郭、影又は印字など、動いたエッジだけを示す。
このような差分型イベントカメラの他に積分型イベントカメラもある。これも全く同じように強度変化に対して反応する。しかし強度変化の方向を出力するのではなく、イベントによって定められた時間窓の範囲内で入射光を積分する。これによりグレースケール値が生じる。差分型及び積分型のイベントカメラはハードウェア構造が異なり、差分型のイベントカメラは積分の時間窓が必要ないためより高速である。イベントカメラの技術については冒頭に上げた特許文献及び科学文献を補足的に参照されたい。
イベントベースでの画像情報の取得により値が疎らな3次元データセットが得られる。なぜなら、従来のカメラとは異なり、ある定まった時点に全ての画素素子が画像情報を生成するわけではなく、強度変化という形でイベントを記録している画素素子のみがそれを出力するからである。1つのイベントは例えば、強度変化の符号(差分型イベントカメラの場合)乃至はグレースケール値(積分型イベントカメラの場合)と、画像センサ20上のX及びY方向の画素位置と、時間スタンプとを有するタペルとして出力される。このようなイベントは後段でゼロを補うことにより再び普通の行列にすることができる。その場合、2つの次元は画像センサ20上での画素配置に相当する。時間も考慮すれば3次元行列となり、その各層がそれぞれ2次元の運動画像で、3つ目の次元が時間である。この次元は最大でも数マイクロ秒又はそれ未満という極めて高い時間分解能を持つことが好ましい。これは多数の層から成るフレームを有する動画に相当するが、並外れて高いフレーム率を有し、しかもゼロと異なる画素がわずかしかない。
図3は物体14の様々な速度がデータセット内でどのように表れるかを例示している。なお、図では搬送方向に合わせられた1行の画素のみ、従って1つの空間次元のみを考察している。物体14がカメラ10の視野18に入ると、これらの画素が、例えば動いているベルトコンベア12と一緒に動く物体14の前方のエッジ又は他の構造により引き起こされるイベントを次々に記録する。これらのイベントに対応する時点は図2ではY軸上に画素番号つまり移動方向の画素位置に従属してプロットされている。
こうして画像センサ20上の場所に時点の測定系列が作られ、それを用いて画像センサ20上で物体像の移動が描かれる。物体14の運動が一定であればそれは直線であり、加速段階があれば符号に応じて上り又は下り勾配の曲線部分となって現れる。この離散的な測定系列を結んで連続的な測定曲線又は直線にすることができる。
測定系列は画像センサ上での物体像の速度に応じて圧縮又は伸張される。図3では2つの一定速度で動く物体14の例を示しており、そのうち一方は他方の2倍の速さである。従って一方の直線は他方の2倍の勾配を有しており、低速の物体乃至は高速の物体がそれぞれ視界18から抜ける終了時点t1及びt2の比は1対2である。従って、簡単な評価では画像センサ20上での物体像の速度を既にこれらの終了時点により測定することができる。直線の勾配は任意の2つの異なる測定点から求めることもできるが、原点が共通であるという前提があれば任意の1つの測定点からでも可能である。複数又は全ての測定点に対するベストフィット直線を求める方がより頑強である。
図4はカメラ10及びその視界18、並びに視界18を通り抜けて搬送される高さの異なる2つの物体14a〜bを示している。視界18の横方向の広がりはカメラ10に近づくほど小さくなるから、カメラ10により知覚される高い物体14aの速度は低い物体14bの速度より大きい。しかもこの関係は平行線と線分の比の定理により線形である。なお、知覚速度、即ち画像センサ14上での物体像の速度(単位:画素/時間)と、物体14a〜bの実際の速度とを区別することが重要である。当然ながら後者は物体14a〜bの高さとは完全に無関係である。
故に、実際の速度とカメラのパラメータ、特にベルトコンベア12の上方での設置高さが分かっていれば、画像データから測定された知覚速度を物体14a〜bの高さに換算することができる。具体的にはそのために、運動が一定である場合、図3に例示した直線の勾配を求め、係数を用いてスケールを変更するだけでよい。
ベルトコンベアの速度、つまり物体14a〜bの速度はパラメータで設定したり、外部のセンサ(特にインクリメンタルエンコーダ)で測定したり、その速度を自身で予め設定したり独自のセンサで測定したりする上位の制御装置から通知してもらったりする。ベルトコンベア12に光学的マーカを設けてその知覚速度を前述の方法で測定することも考えられる。カメラ10からベルトコンベア12までの距離は分かっているから、この知覚速度を実際の速度に換算することができる。光学的マーカはそうでなければ構造のないベルトコンベア12を確実に認識することを可能にする。そのためにはベルトコンベアと共に移動するLED等の能動的なマーカを利用することが好ましい。しかもそれは一義的に認識可能な光学的コード(明滅シーケンス等)を生成することさえできる。その場合、所定周波数での規則的な繰り返しで既に十分であることが多い。

Claims (10)

  1. ある高さの物体(14)と共にカメラ(10)に対してある移動方向(16)に移動する物体の流れの画像データを取得するための多数の画素素子を有する画像センサ(20)と、前記画像データに基づいて各物体(14)の高さを測定するように構成された制御及び評価ユニット(22)とを備えるカメラ(10)において、
    前記画像センサ(20)がイベントベースの画像センサであり、前記制御及び評価ユニット(22)は、移動方向に隣接する画素素子がイベントを次々に記録する時点の測定系列を捕らえ、該測定系列から前記画像センサ(20)上での物体(14)の物体像の速度を測定し、該速度から前記高さを測定するように構成されていることを特徴とするカメラ(10)。
  2. 各画素素子が、該画素素子により検出される強度が変化したらそれを確認し、正確にそのときにイベントベースで画像情報を生成すること、その際、該画素素子は強度が減少したか又は増加したかという差分情報及び/又は強度の変化により定まる時間窓における積分強度を画像情報として生成することを特徴とする請求項1に記載のカメラ(10)。
  3. 前記隣接する画素素子が前記画像センサ(20)上で少なくとも1つの列配置、特に行列の行又は列を成していることを特徴とする請求項1又は2に記載のカメラ(10)。
  4. その上で前記物体(14)が搬送されるコンベア装置(12)に固定的に取り付けられていることを特徴とする請求項1〜3のいずれかに記載のカメラ(10)。
  5. 前記制御及び評価ユニット(22)が、特にパラメータ設定により又は別のセンサ若しくは上位の制御装置との接続により、前記物体(14)の速度を予め与えられていることを特徴とする請求項1〜4のいずれかに記載のカメラ(10)。
  6. 前記制御及び評価ユニット(22)が、既知の距離にある基準物、特にベルトコンベア(12)の物体像の速度を測定することにより、前記物体(14)の速度を画像データから測定するように構成されていることを特徴とする請求項1〜5のいずれかに記載のカメラ(10)。
  7. 前記制御及び評価ユニット(22)が、前記基準物(12)の光学的マーカ、特に変調された光源を認識するように構成されていることを特徴とする請求項6に記載のカメラ(10)。
  8. 前記物体の流れの相対運動が好ましくは一定であり、前記制御及び評価ユニット(22)が前記測定系列のベストフィット直線を求め、その傾きを前記高さの尺度として求めるように構成されていることを特徴とする請求項1〜7のいずれかに記載のカメラ(10)。
  9. 前記物体(14)が前記カメラ(10)の方に向けられた平面を備えていることを特徴とする請求項1〜8のいずれかに記載のカメラ(10)。
  10. ある移動方向(16)に移動する物体の流れに含まれる物体(14)の高さを測定する方法であって、前記物体の流れの画像データを多数の画素素子を有する画像センサ(20)で取得して評価することで各物体(14)の高さを測定する方法において、
    前記画像データがイベントベースの画像センサ(20)で取得され、移動方向に隣接する画素素子がイベントを次々に記録する時点の測定系列が捕らえられ、該測定系列から前記画像センサ(20)上での物体(14)の物体像の速度が測定され、該速度から前記高さが測定されることを特徴とする方法。
JP2020177891A 2019-10-25 2020-10-23 物体の流れを検出するためのカメラ及び物体の高さの測定方法 Active JP7124030B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019128814.2A DE102019128814B4 (de) 2019-10-25 2019-10-25 Kamera zur Erfassung eines Objektstroms und Verfahren zur Bestimmung der Höhe von Objekten
DE102019128814.2 2019-10-25

Publications (2)

Publication Number Publication Date
JP2021068451A true JP2021068451A (ja) 2021-04-30
JP7124030B2 JP7124030B2 (ja) 2022-08-23

Family

ID=72665191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020177891A Active JP7124030B2 (ja) 2019-10-25 2020-10-23 物体の流れを検出するためのカメラ及び物体の高さの測定方法

Country Status (6)

Country Link
US (1) US11527007B2 (ja)
EP (1) EP3813355B1 (ja)
JP (1) JP7124030B2 (ja)
CN (1) CN112710283B (ja)
DE (1) DE102019128814B4 (ja)
DK (1) DK3813355T3 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882853A (zh) * 2022-04-18 2022-08-09 深圳锐视智芯科技有限公司 曝光时间调整方法、装置、调节设备及存储介质
WO2023214079A1 (en) * 2022-05-06 2023-11-09 Datalogic Ip Tech S.R.L. Imaging systems with enhanced functionalities with event-based sensors
WO2024022571A1 (en) * 2022-07-25 2024-02-01 Siemens Aktiengesellschaft System and method for detecting an irregularity of an object
EP4358530B1 (de) * 2022-10-21 2024-09-11 Sick Ag Erfassung von objekten eines sich bewegenden objektstroms
WO2024124288A1 (en) * 2022-12-14 2024-06-20 Western Sydney University Systems for imaging a target object moving relative to background features

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232324A (ja) * 2010-04-09 2011-11-17 Nippon Steel Corp 表面欠陥検査装置、表面欠陥検査方法及びプログラム
JP2017181402A (ja) * 2016-03-31 2017-10-05 住友ベークライト株式会社 検査装置
JP2017187348A (ja) * 2016-04-04 2017-10-12 新日鐵住金株式会社 表面欠陥検査システム、方法及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954387B1 (en) * 1997-01-23 2004-05-26 United Parcel Service Of America, Inc. Optically-guided indicia reader system
CN1194207C (zh) * 2003-07-02 2005-03-23 西安邮电学院 一种多截面合成三维形面测量方法
DE102006004060B4 (de) * 2006-01-28 2009-09-24 Basler Ag Verfahren und Vorrichtung zum Messen der Höhe und/oder des Höhenverlaufs eines Objekts
EP2212827B1 (en) * 2007-10-16 2019-09-11 Accu-Sort System, Inc. Dimensioning and barcode reading system
US8284988B2 (en) * 2009-05-13 2012-10-09 Applied Vision Corporation System and method for dimensioning objects using stereoscopic imaging
US8508591B2 (en) * 2010-02-05 2013-08-13 Applied Vision Corporation System and method for estimating the height of an object using tomosynthesis-like techniques
IT1403978B1 (it) * 2011-02-15 2013-11-08 Datalogic Automation Srl Metodo di acquisizione di immagini
US8780358B2 (en) * 2011-06-07 2014-07-15 Sick, Inc. Inspection apparatus, system, and method
CN103063141A (zh) * 2011-10-21 2013-04-24 东莞富强电子有限公司 基于激光测距的零件高度的测量方法
CN102433397A (zh) 2011-12-29 2012-05-02 甘肃农业大学 禽白血病病毒的多重pcr检测引物及其应用
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
DK2693362T3 (da) * 2012-07-31 2015-07-27 Sick Ag Detekteringssystem til montage på et transportbånd
ES2593800T3 (es) 2012-10-31 2016-12-13 Vitronic Dr.-Ing. Stein Bildverarbeitungssysteme Gmbh Procedimiento y patrón de luz para medir la altura o el curso de la altura de un objeto
CN103063138B (zh) * 2013-01-24 2016-08-10 惠州Tcl移动通信有限公司 移动终端摄像头测量物体尺寸的方法及移动终端
ES2811152T3 (es) 2013-09-16 2021-03-10 Prophesee Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo
NL2015542B1 (en) * 2015-10-01 2017-04-20 Rexnord Flattop Europe Bv Planning system and method for maintaining a cycle time in an automobile factory.
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
KR102337970B1 (ko) 2016-04-04 2021-12-10 프로페시 샘플-앤드-홀드 기반 시간적 대비 비전 센서
EP3313064A1 (en) 2016-10-20 2018-04-25 Chronocam Pixel circuit for detecting time-dependent visual data
US10133944B2 (en) * 2016-12-21 2018-11-20 Volkswagen Ag Digital neuromorphic (NM) sensor array, detector, engine and methodologies
DE102017119084A1 (de) * 2017-08-21 2019-02-21 Beckhoff Automation Gmbh System und Verfahren zum Ausrichten eines Objekts
CN107462742A (zh) * 2017-09-05 2017-12-12 北京聚利科技股份有限公司 速度测量方法、测量装置、测量系统及车辆
EP3454298B1 (de) * 2017-09-06 2019-08-07 Sick AG Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
EP3505961A1 (en) * 2017-12-29 2019-07-03 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US11493660B2 (en) * 2018-01-31 2022-11-08 Canon Denshi Kabushiki Kaisha Inspection device
DE102018105301B4 (de) * 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
CN209093917U (zh) * 2018-11-21 2019-07-12 广州市贝云科技有限公司 对焦读码装置及分拣系统
EP3663963B1 (de) 2018-12-04 2021-03-10 Sick Ag Lesen von optischen codes
JP7192627B2 (ja) * 2019-04-04 2022-12-20 株式会社デンソー 落下物判別装置、運転支援システムおよび落下物判別方法
CN114174957A (zh) * 2019-07-30 2022-03-11 苹果公司 使用事件相机的像素传感器进行跟踪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232324A (ja) * 2010-04-09 2011-11-17 Nippon Steel Corp 表面欠陥検査装置、表面欠陥検査方法及びプログラム
JP2017181402A (ja) * 2016-03-31 2017-10-05 住友ベークライト株式会社 検査装置
JP2017187348A (ja) * 2016-04-04 2017-10-12 新日鐵住金株式会社 表面欠陥検査システム、方法及びプログラム

Also Published As

Publication number Publication date
DE102019128814B4 (de) 2021-05-20
CN112710283A (zh) 2021-04-27
JP7124030B2 (ja) 2022-08-23
US20210125362A1 (en) 2021-04-29
EP3813355B1 (de) 2022-07-06
DE102019128814A1 (de) 2021-04-29
DK3813355T3 (da) 2022-09-05
EP3813355A1 (de) 2021-04-28
CN112710283B (zh) 2022-12-09
US11527007B2 (en) 2022-12-13

Similar Documents

Publication Publication Date Title
JP2021068451A (ja) 物体の流れを検出するためのカメラ及び物体の高さの測定方法
CN111274834B (zh) 光学代码的读取
JP7074955B2 (ja) 事象ベースの視覚センサのためのデータ速度制御
EP3087341B1 (en) Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US10134120B2 (en) Image-stitching for dimensioning
JP2022546591A (ja) Lidar画像の処理
Molleda et al. An improved 3D imaging system for dimensional quality inspection of rolled products in the metal industry
Song et al. DOE-based structured-light method for accurate 3D sensing
US9684840B2 (en) Detection system
CN113412413B (zh) 用于对振动进行成像和感测的系统和方法
JP5904069B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
CN110260795B (zh) 一种基于增量绝对光栅尺的绝对位移检测方法
US11539895B1 (en) Systems, methods, and media for motion adaptive imaging using single-photon image sensor data
Jadav et al. Vision based moving object detection and tracking
Ge et al. Lensless sensing using the event sensor
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
JP4966096B2 (ja) 光切断3次元計測装置
JPH11241916A (ja) 高さ測定方法、高さデータ処理方法及び高さ測定装置
KR101863839B1 (ko) 영상을 이용한 고속, 반복 길이 측정방법 및 장치
KR102234984B1 (ko) 반도체 웨이퍼의 파티클 검출장치
US20230196808A1 (en) Code reader and method of reading an optical code
US20240233087A9 (en) Detection of objects of a moving object stream
El Shair et al. High Speed Hybrid Object Tracking Algorithm using Image and Event Data
Kucukyıldız et al. Bottle counting system for a re-cycling facility based on processing of depth images
JP2008232780A (ja) 非接触振動計測システム、非接触振動計測方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7124030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150