-
Die
Erfindung betrifft einen optischen Sensor gemäß dem Oberbegriff des Anspruchs
1.
-
Derartige
optische Sensoren werden typischerweise im Bereich der Automatisierungstechnik eingesetzt.
Dabei werden die optischen Sensoren bevorzugt zur Qualitätskontrolle
in Produktionsprozessen eingesetzt um zu prüfen, ob Objekte hinsichtlich
ihrer Form und/oder Oberflächenbeschaffenheit bestimmte
Anforderungen erfüllen.
-
Bekannte
optische Sensoren der in Rede stehenden Art stellen bildverarbeitende
Systeme dar, welche eine Flächenkamera
und eine dieser zugeordnete Beleuchtungseinheit aufweisen. Mit der
Beleuchtungseinheit erfolgt die Beleuchtung einer Szene, in welcher
zu detektierende Objekte vorhanden sind. Die Flächenkamera ist typischerweise
als Schwarz/Weiß-
oder Farbkamera ausgebildet und weist eine matrixförmige Anordnung
von Bildpunkten auf.
-
Zur
Erkennung von Objekten hat sich als wirksame Methode die sogenannte
BLOB(binarized large object)-Analyse etabliert. Bei der BLOB Analyse
werden Objekte innerhalb eines Bildes von einem Hintergrund separiert,
so dass danach die Objekte einzeln ausgewertet werden können.
-
Die
Separation der Objekte vom Hintergrund erfolgt dabei anhand eines
binarisierten Bildes. Ist die Flächenkamera
beispielsweise von einer Schwarz/Weiß-Kamera gebildet, so liegen die Bildinformationen
eines Bildes zunächst
in Form analoger Grauwerte für
die einzelnen Bildpunkte vor. Durch eine Schwellwertbewertung wird
ein binäres
Bild generiert, bei welchem den ein zelnen Bildpunkten ein Hell-
oder Dunkelwert als binärer
Wert zugeordnet ist. Ein Objekt kann dann von einem zusammenhängenden
Bereich von dunklen Bildpunkten gebildet sein, während die hellen Bildpunkte
den Hintergrund bilden.
-
Nachteilig
bei diesem Verfahren ist, dass dieses nur dann funktioniert, wenn
sich die Objekte vom Hintergrund hinsichtlich ihres Farb- oder Hell/Dunkel-Kontrastes deutlich
vom Hintergrund abheben. Bei kontrastarmen Bildern ist jedoch die
BLOB-Analyse mit hohen Unsicherheiten behaftet oder überhaupt
nicht mehr durchführbar.
-
Der
Erfindung liegt die Aufgabe zugrunde, einen optischen Sensor der
eingangs genannten Art so auszubilden, dass mit diesem auch bei
kontrastarmen Bildern eine sichere Objekterfassung möglich ist.
-
Zur
Lösung
dieser Aufgabe sind die Merkmale des Anspruchs 1 vorgesehen. Vorteilhafte
Ausführungsformen
und zweckmäßige Weiterbildungen
der Erfindung sind in den Unteransprüchen beschrieben.
-
Der
erfindungsgemäße optische
Sensor umfasst eine Flächenkamera,
eine Beleuchtungseinheit, sowie eine Steuereinheit zur Steuerung
der wenigstens einen Beleuchtungseinheit und/oder Flächenkamera
und eine Auswerteeinheit, in welcher Ausgangssignale der Flächenkamera
auswertbar sind. Der optische Sensor ist alternierend in zwei Betriebsarten
betrieben, wobei in einer ersten Betriebsart eine Oberflächenerfassung
eines Objekts erfolgt, indem für
die einzelnen Bildpunkte der Flächenkamera Farb-
oder Intensitätswerte
bestimmt werden. In einer zweiten Betriebsart wird die Form des
Objekts bestimmt, indem für
jeden Bildpunkt der Flächenkamera
Distanzwerte des Objekts ermittelt werden. In der Auswerteeinheit
werden die Informationen der Oberflächen- und Formerfassung zusammengeführt.
-
Der
erfindungsgemäße optische
Sensor stellt ein bildverarbeitendes System dar, das vorteilhaft
in der Automatisierungstechnik, insbesondere zur Qualitätskontrolle
in Produktionsprozessen, eingesetzt wird.
-
Die
hierfür
erforderliche zuverlässige
und genaue Erkennung von Objekten und deren Strukturen wird erfindungsgemäß dadurch
gewährleistet,
dass mit dem optischen Sensor nicht nur eine Oberflächenerfassung
eines Objekts durchgeführt
wird indem für
die einzelnen Bildpunkte einer Flächenkamera Farb- oder Intensitätswerte
bestimmt werden. Vielmehr werden als zusätzliche Bildinformationen für die Bildpunkte
der oder einer weiteren Flächenkamera
Distanzwerte ermittelt, anhand derer die Form des Objekts bestimmt
werden kann. Die Oberflächen- und
Distanzinformationen werden dann in der Auswerteeinheit zusammengeführt, so
dass beide simultan für
die Objekterkennung zur Verfügung
stehen. Damit ist eine besonders genaue und zuverlässige Objekterkennung
möglich.
Dies gilt insbesondere auch für äußerst kontrastarme
Bilder, da auch bei diesen durch die zusätzlich zur Verfügung stehenden Distanzinformationen
Objekte und deren Strukturen genau erfasst werden können.
-
Besonders
vorteilhaft werden Objekte innerhalb eines Bildes von einem Hintergrund
durch eine erweiterte BLOB-Analyse separiert. Im Unterschied zu
einer herkömmlichen
BLOB-Analyse werden nicht nur Farb- oder Intensitätswerte,
sondern auch Distanzwerte herangezogen, um Objekte von dem Hintergrund
zu trennen. Die so erweiterte BLOB-Analyse ermöglicht eine zuverlässigere
und genauere Separation der Objekte.
-
Ein
wesentlicher Vorteil der Erfindung besteht darin, dass die Form-
und Oberflächeninformationen
zur Objekterkennung in Echtzeit generiert werden, so dass nicht
nur eine genaue, sondern auch eine schnelle Objekterkennung gewährleistet
ist.
-
Hierzu
wird der optische Sensor alternierend in zwei Betriebsarten betrieben.
Zweckmäßigerweise wird
in einer ersten Betriebsart ein Bild mit Distanzwerten und dann
in einer zweiten Betriebsart ein Bild mit Farb- oder Intensitätswerten
ermittelt. In der Auswerteeinheit werden dann die Distanzinformationen einerseits
und die Farb- oder Intensitätswerte
andererseits zur Objekterkennung zusammen geführt. Dieser Vorgang wird dann
periodisch wiederholt. Prinzipiell können während jeder Betriebsart auch mehrere
gleichartige Bilder ermittelt werden, um beispielsweise eine Mittelung
mehrerer Bilder durchzuführen.
-
Besonders
vorteilhaft können
einzelne oder mehrere Sensorkomponenten in Form von Beleuchtungseinheiten
oder Flächenkameras
für die
Form- und Oberflächenerfassung
der Objekte gemeinsam genutzt werden, wodurch ein besonders einfacher, kompakter
und kostengünstiger
Aufbau des optischen Sensors erhalten wird.
-
Gemäß einer
ersten Variante der Erfindung erfolgt die Distanzmessung mit dem
optischen Sensor nach dem Triangulationsprinzip. In diesem Fall kann
eine als Schwarz/Weiß-
oder Farbkamera ausgebildete Flächenkamera
nicht nur zur Oberflächenbestimmung,
sondern auch zur Durchführung
der Distanzmessungen verwendet werden.
-
Während bei
der Oberflächenbestimmung eine
Beleuchtungseinheit zur homogenen Beleuchtung der zu detektierenden
Objektoberfläche
eingesetzt wird, wird zur Durchführung
der Distanzmessungen eine Beleuchtungseinheit verwendet, mittels derer
auf der Objektoberfläche
ein definiertes Streifenmuster generiert wird. Durch das Höhenprofil
der Objektoberfläche
erfolgt dann eine Verbesserung des Streifenmusters, die in der Flächenkamera
registriert und in der Auswerteeinheit zur Bestimmung von dreidimensionalen
Abstandsdaten und damit zur Form des Objekts ausgewertet wird.
-
Bestehen
die einzelnen Streifenmuster aus identischen Streifen, so kann es
zu Mehrdeutigkeiten in der Auswertung der einzelnen Streifen kommen, wenn
beispielsweise durch stärkere
Verzerrungen und Versetzungen einzelner Strei fen auf der Objektoberfläche eine
eindeutige Zuordnung einzelner Streifensegmente nicht mehr möglich ist.
-
Um
diese die Abstandsmessungen verfälschende
Mehrdeutigkeiten zu eliminieren, können Streifenmuster aus unterschiedlich
ausgebildeten Streifen bestehen. So können die einzelnen Streifen unterschiedliche
Kodierungen in Form unterschiedlicher Muster, Farben und/oder Breiten
aufweisen. Auch die Abstände
zwischen den Streifen können
unterschiedlich sein.
-
Als
Beleuchtungseinheit zur Generierung derartiger Streifenmuster eignen
sich insbesondere Videoprojektoren und Videogeneratoren, die in
neuester Zeit als Bildprojektoren in Mobiltelefonen eingesetzt werden.
Die Videoprojektoren oder die Videogeneratoren bilden hochintegrierte,
elektrooptische Einheiten, die in besonders kleinen Bauformen herstellbar
sind. Zudem weisen die Videoprojektoren oder Videogeneratoren bei
kleinem Bauvolumen hohe Leistungsdichten auf, so dass auch bei größeren Objektdistanzen
und Objektoberflächen
die Streifenmuster exakt vorgegeben werden können, wodurch eine genaue Abstandsmessung
ermöglicht wird.
-
Insbesondere
ein Videoprojektor kann auch derart betrieben werden, dass mit diesem
eine homogene Beleuchtung einer Objektoberfläche durchführ ist. Durch eine Betriebsartumschaltung
kann daher ein solcher Videoprojektor sowohl als Streifenmuster generierende
Beleuchtungseinheit für
die Distanzmessungen als auch als homogene Beleuchtungsquelle für die Oberflächenerfassung
eingesetzt werden.
-
Gemäß einer
zweiten Variante der Erfindung werden die Distanzmessungen mittels
einer Lichtlaufzeitmessung durchgeführt. Die Flächenkamera ist zur Durchführung der
nach einer Lichtlaufzeitmessung erfolgenden Distanzmessung von einer
TOF(time of flight)- oder von einer PMD(Photonic Mixer Device)-Kamera
gebildet. In diesem Fall wird zur Oberflächenerfassung eine separate
Flächenkamera
in Form einer Schwarz/Weiß-
oder Farbkamera einge setzt. Allerdings kann zur nach einer Lichtlaufzeitmessung
erfolgenden Distanzmessung und zur Oberflächenerfassung dieselbe Beleuchtungseinheit verwendet
werden, da in beiden Fällen
eine Beleuchtungseinheit verwendet wird, mittels derer die Objektoberfläche homogen
ausgeleuchtet wird.
-
Die
Erfindung wird im Folgenden anhand der Zeichnungen erläutert. Es
zeigen:
-
1:
Erstes Ausführungsbeispiel
eines optischen Sensors.
-
2:
Darstellung eines in einer ersten Betriebsart des optischen Sensors
generierten Bildes.
-
3:
Darstellung eines in einer zweiten Betriebsart des optischen Sensors
generierten Bildes.
-
4:
Zweites Ausführungsbeispiel
eines optischen Sensors.
-
5:
Drittes Ausführungsbeispiel
eines optischen Sensors.
-
1 zeigt
ein erstes Ausführungsbeispiel eines
optischen Sensors 1. Der optische Sensor 1 stellt
ein bildverarbeitendes System dar und weist als Sensorkomponente
eine Flächenkamera 2 mit
vorgeordneter Optik 3 sowie eine in Abstand zur Flächenkamera 2 angeordnete
Beleuchtungseinheit in Form eines Videoprojektors 4 auf.
Die Sensorkomponenten sind mit einer Auswerteeinheit 5 in
einem Sensorgehäuse 6 integriert.
Die Auswerteeinheit 5 bildet zugleich eine Steuereinheit
zur Steuerung des Betriebs der Flächenkamera 2 des Videoprojektors 4 und
ist von einer Rechnereinheit wie einem Mikroprozessor gebildet.
In der Auswerteeinheit 5 erfolgt weiterhin die Auswertung
der Ausgangssignale der Flächenkamera 2.
-
Die
Flächenkamera 2 des
optischen Sensors 1 gemäß 1 besteht
aus einem CCD- oder einem CMOS-Array. Prinzipiell kann die Kamera
als Farbkamera ausgebildet sein. Im vorliegenden Fall ist die Flächenkamera 2 als
Schwarz/Weiß-Kamera
ausgebildet, das heißt
die Ausgangssignale der Bildpunkte der Flächenkamera 2 bilden
analoge Grauwerte, die in der Auswerteeinheit ausgewertet werden.
-
Der
Videoprojektor 4 des optischen Sensors 1 gemäß 1 weist
eine Anordnung von Lichtstrahlen 7 emittierenden Lichtquellen 8 auf.
Im vorliegenden Fall sind die Lichtquellen 8 von Hochleistungs-Leuchtdioden
gebildet. Der Anordnung von Lichtquellen 8 ist ein transmissives
LCD (Liquid Crystal Display)-Array 9 nachgeordnet. Zudem
weist der Videoprojektor 4 eine Optik 10 zur Strahlformung
der Lichtstrahlen 7 auf.
-
Alternativ
kann das LCD-Array 9 durch ein Miniatur-Spiegelarray, bestehend
aus einer Vielzahl von beweglichen Spiegeln sehr kleiner Abmessungen,
ersetzt sein. Die Lichtquellen 8 können dann wieder aus einer
Anordnung von Hochleisstungs-Leuchtdioden bestehen. Alternativ können die Lichtquellen 8 aus
einer Anordnung von Hochleistungs-Laserdioden bestehen.
-
Anstelle
des Videoprojektors 4 kann auch ein Videogenerator eingesetzt
werden. Der Videogenerator bildet ein scannendes Projektionssystem,
bei welchem mehrere Laserdioden vorgesehen sind, die bevorzugt Laserlicht
in unterschiedlichen Farben emittieren. Die Laserstrahlen 4 werden
mittels eines Scanspiegels vorzugsweise in zwei Raumrichtungen abgelenkt.
-
Mit
dem optischen Sensor 1 wird, insbesondere zu Zwecken der
Qualitätssicherung
in einem Produktionsprozess, ein Objekt 11 erkannt, das
auf einer ebenen Unterlage 12 aufliegt. Im vorliegenden Fall
weist das Objekt 11 die Form einer Halbkugel auf.
-
Durch
die Ansteuerung mit der Steuereinheit werden die Sensorkomponenten
des optischen Sensors 1 alternierend nacheinander in zwei
unterschiedlichen Betriebsarten betrieben. In der ersten Betriebsart
wird die Oberflächenbeschaf fenheit
des Objekts 11 ermittelt, indem ein Kontrastbild des auf der
Unterlage liegenden Objekts 11 ermittelt wird. Ein solches
Kontrastbild zeigt 2. Der Videoprojektor 4 wird
in diesem Fall so betrieben, dass er eine homogene Beleuchtungseinheit
bildet. Durch eine Binarisierung der Grauwerte der einzelnen Bildpunkte wird,
wie aus 2 ersichtlich, im Kontrastbild
das Objekt 11 als dunkler zusammenhängender Bereich vor einem hellen,
von der Unterlage gebildeten Hintergrund erhalten.
-
In
der zweiten Betriebsart wird der optische Sensor 1 als
ein nach dem Triangulationsprinzip arbeitender Distanzsensor betrieben.
In dieser Betriebsart wird der Videoprojektor 4 derart
betrieben, dass mit diesem ein Streifenmuster generiert wird, das
auf die Unterlage und die Objektoberfläche projiziert wird. Das vom
Videoprojektor 4 generierte Streifenmuster besteht, wie
aus dem Bild gemäß 3 ersichtlich,
aus einer Folge parallel laufender Streifen 13. Um die
einzelnen Streifen 13 voneinander unterscheiden zu können, können diese
unterschiedliche Breiten oder Abstände zueinander aufweisen.
-
Wie
aus 3 weiter ersichtlich, wurden die Streifen 13 im
Bereich des Objekts 11 verzerrt, wobei die Verzerrungen
das Höhenprofil
des Objekts 11 kennzeichnen. Mit der Flächenkamera 2 werden
diese Streifen 13 und deren Verzerrungen detektiert. In der
Auswerteeinheit 5 wird durch Auswertung der Verzerrungen
der Streifen 13 Distanzwerte des Objekts 11 und
der Unterlage und damit das Höhenprofil und
die Form des Objekts 11 bestimmt.
-
In
jedem Zyklus werden die beiden für
die zwei Betriebsarten ermittelten Bilder (gemäß 2 und 3)
in der Auswerteeinheit 5 zusammen ausgewertet, so dass
die in der ersten Betriebsphase bei der Ermittlung der Oberflächenbeschaffenheit
ermittelten Intensitätswerte
für die
einzelnen Bildpunkte einerseits und die in der zweiten Betriebsphase
für die
einzelnen Bildpunkte ermittelten Distanzwerte zusammengeführt sind.
-
Diese
Bildinformationen können
in einer erweiterten BLOB-(binarized large object)Analyse dazu verwendet
werden, das zu detektierende Objekt 11 von dem von der
Unterlage gebildeten Hintergrund zu separieren. Das so separierte
Objekt 11 kann dann hinsichtlich seiner Form und Oberflächenbeschaffenheit
analysiert werden.
-
4 zeigt
die Sensorkomponente eines zweiten Ausführungsbeispiels eines optischen
Sensors 1. Das Sensorgehäuse 6 und die Auswerteeinheit 5,
die analog zur Ausführungsform
gemäß 1 vorhanden
sind, sind in 4 nicht gesondert dargestellt.
Die Anordnung gemäß 4 ist
gegenüber dem
Ausführungsbeispiel
gemäß 1 dahingehend
erweitert, dass außer
dem Videoprojektor 4 als weitere Beleuchtungseinheit eine
Leuchtdiodenanordnung 14 vorgesehen ist. Der Videoprojektor 4 und die
Beleuchtungseinheit sind beidseits der Flächenkamera 2 angeordnet,
die wiederum als Schwarz/Weiß-Kamera ausgebildet
ist.
-
In
der ersten Betriebsphase, in welcher zur Ermittlung der Oberflächenbeschaffenheit
mit der Flächenkamera 2 wieder
Kontrastbilder von zu detektierenden Objekten 11 generiert
werden, wird über die
in der Auswerteeinheit 5 integrierte Steuereinheit die
Leuchtdiodenanordnung zur homogenen Ausleuchtung einer Szene aktiviert,
während
der Videoprojektor 4 deaktiviert ist.
-
In
der zweiten Betriebsphase erfolgen wieder Distanzmessungen nach
dem Triangulationsprinzip. In diesem Fall ist die Leuchtdiodenanordnung deaktiviert,
während
der Videoprojektor 4 zur Generierung des Streifenmusters
aktiviert ist.
-
Die
Signalauswertung zur Objekterfassung erfolgt analog zur Ausführungsform
gemäß 1.
-
5 zeigt
die Sensorkomponente eines dritten Ausführungsbeispiels eines optischen
Sensors 1. Das Sensorgehäuse 6 und die Auswerteeinheit 5,
die ana log zur Ausführungsform
gemäß 1 vorhanden
sind, sind in 5 nicht gesondert dargestellt.
-
Bei
der Ausführungsform
gemäß 5 sind zur
Oberflächenerfassung
von Objekten 11 während der
ersten Betriebsphase und zur Distanzmessung während der zweiten Betriebsphase
unterschiedliche Flächenkameras 2, 2' vorgesehen.
Als Flächenkamera 2 zur
Durchführung
der Oberflächenerfassung ist
wiederum eine Schwarz/Weiß-Kamera
vorgesehen. Die Distanzmessung während
der zweiten Betriebsphase erfolgt im vorliegenden Fall durch eine Lichtlaufzeitmessung.
Je nachdem ob die Distanzmessung nach einem Pulslaufzeitverfahren
oder nach einem Phasenmessverfahren erfolgt, ist die hierzu verwendete
Flächenkamera 2' als TOF-(time of
flight)-Kamera oder als PMD(Photonic Mixer Device)-Kamera ausgebildet.
-
Als
Beleuchtungseinheit ist bei der Ausführungsform gemäß 5 ein
Videoprojektor 4 vorgesehen. Die mit dem Videoprojektor 4 generierten Lichtstrahlen 7 werden
auf das Objekt 11 projiziert. Die von dort reflektierten
Lichtstrahlen 7 werden über einen
Strahlteiler 15 beiden Flächenkameras 2, 2' zugeführt. In
der ersten Betriebsphase zur Oberflächenerfassung des Objekts 11 emittiert
der Videoprojektor 4 vorzugsweise homogenes Licht in Form
von Gleichlicht. Dabei ist nur die erste Flächenkamera 2 aktiviert.
In der zweiten Betriebsphase zur Durchführung der Distanzmessungen
emittiert der Videoprojektor 4 pulsförmiges Licht oder mit einer
Modulationsfrequenz moduliertes Gleichlicht, je nachdem, ob die
Distanzmessung nach einem Pulslaufzeitverfahren oder nach einem
Phasenmessverfahren erfolgt. Das vom Videoprojektor 4 emittierte
Licht ist dabei insofern homogen, dass dieses keine Streifenmuster enthält. Dabei
ist in der zweiten Betriebsphase nur die zweite Flächenkamera 2' aktiviert.
-
Die
Signalauswertung erfolgt wieder analog zum Ausführungsbeispiel gemäß 1.
-
- 1
- Optischer
Sensor
- 2
- Flächenkamera
- 2'
- Flächenkamera
- 3
- Optik
- 4
- Videoprojektor
- 5
- Auswerteeinheit
- 6
- Sensorgehäuse
- 7
- Lichtstrahl
- 8
- Lichtquelle
- 9
- LCD-Array
- 10
- Optik
- 11
- Objekt
- 12
- Unterlage
- 13
- Streifen
- 14
- Leuchtdiodenanordnung
- 15
- Strahlteiler