DE19517300A1

DE19517300A1 - Image sharpness enhancing method for three=dimensional image

Info

Publication number: DE19517300A1
Application number: DE19517300A
Authority: DE
Original assignee: Askania Werke Rathenow GmbH and Co KG
Current assignee: Askania Werke Rathenow GmbH and Co KG
Priority date: 1995-05-11
Filing date: 1995-05-11
Publication date: 1996-11-14

Abstract

The method involves generating images with improved sharpness from an image series consisting of single images of different focal planes and with limited sharpness. Phase images, produced from the Fourier spectra of the single images, are used as sharpness criterion. The image construction is applicable on gray scale images as well as on colour photos. Different contrast scales are made possible by setting parameters used in the method.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erweiterung des Schärfentiefebe reiches bei dreidimensionalen optischen Abbildungen.The invention relates to a method and a device for expanding the depth of field rich in three-dimensional optical images.

Der Erfindung liegt die Aufgabe zugrunde, eine Erweiterung des Schärfetiefebereiches bekannter optischer Abbildungsverfahren durch den Einsatz digitaler Bildverarbeitung mittels Bildserien aus verschiedenen Fokusebenen zu erreichen.The invention has for its object to expand the depth of field known optical imaging process through the use of digital image processing using image series to reach different levels of focus.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren und eine Vorrichtung gelöst, bei dem Phasenbilder der fouriertransformierten Bildserie verglichen werden und aus den einzelnen Phasen bildern ein Bild mit erweitertem Schärfentiefebereich erstellt wird.This object is achieved according to the invention by a method and a device in which Phase images of the Fourier-transformed image series are compared and from the individual phases an image with an expanded depth of field is created.

Das Verfahren ermöglicht es, das Objektiv in seiner gesamten Tiefe zu betrachten und gegebenen falls Manipulationen hoher Genauigkeit am Objekt vorzunehmen. Es findet Anwendung bei allen optischen Abbildungsvorgängen, die in Verbindung mit Video/CCD und/oder Technik der digita len Bildverarbeitung in der Lage sind, Bildserien aus verschiedenen Fokusebenen zu erzeugen und zu speichern. Die schwerpunktmäßige Anwendung liegt im Bereich der Lichtmikroskopie und Photographie, wenn die Objektausdehnung in Richtung der optischen Achse größer ist als der Schärfentiefebereich der optischen Einrichtung. Dies bedeutet, daß insbesondere dem klassischen Lichtmikroskop ein Arbeitsbereich erschlossen wird, der im Vergrößerungsbereich eben dieses Lichtmikroskops bisher nur wesentlich aufwendigeren und teureren Abbildungsverfahren vorbehal ten war (Elektronenmikroskop und konfokales Lichtmikroskop). Auch bei Laser-Raster oder Scannermikroskop ist das Verfahren zur Steigerung der Effektivität einsetzbar, wenn es darum geht, die Abtastbereiche größer wählen zu können.The process allows the lens to be viewed in its entire depth and given if the object is to be manipulated with high accuracy. It applies to everyone optical imaging processes in connection with video / CCD and / or digital technology len image processing are able to generate image series from different focal planes and save. The main application is in the field of light microscopy and Photograph if the object extent in the direction of the optical axis is larger than that Depth of field of the optical device. This means that in particular the classic Light microscope a working area is opened up in the magnification area just this Light microscope previously only subject to much more complex and expensive imaging processes ten (electron microscope and confocal light microscope). Even with laser screens or Scanner microscope is the method used to increase effectiveness when it comes to it is going to be able to choose larger scan areas.

Der bekannte Stand der Technik beschreibt zur Erweiterung des Schärfentiefebereiches dreidi mensionaler Strukturen Verfahren und Vorrichtungen, die bei der Bildkonstruktion auf die lokalen Extremwerte der Intensität oder deren Gradienten direkt oder auf dem Umweg über das Ortsfre quenzspektrum zurückgreifen. Im Gegensatz zum erfindungsgemäßen Verfahren sind die bisheri gen Verfahren, sofern sie Bildserien zur Bilderzeugung verwenden, nur eingeschränkt einsetzbar. Der Grund liegt bei der Verwendung von Helligkeitsextrema in deren nur ungenauen und nicht immer eindeutig bestimmbaren Verteilung in Richtung der optischen Achse. Diese Verfahren und Vorrichtungen wurden sowohl auf elektronischem [DE 42 04 268 A1] [Zeiss Info 1968] als auch auf optischem Weg [DE 32 00 038 A1] realisiert. The known prior art describes dreidi to expand the depth of field Dimensional structures Processes and devices that relate to the local image construction Extreme values of the intensity or their gradients directly or via the detour via the local area fall back on the frequency spectrum. In contrast to the method according to the invention, the previously process, if they use image series for image generation, can only be used to a limited extent. The reason for using brightness extremes is that they are inaccurate and not Always clearly definable distribution in the direction of the optical axis. These procedures and Devices were both on electronic [DE 42 04 268 A1] [Zeiss Info 1968] and implemented optically [DE 32 00 038 A1].

Das dieser Erfindung zugrunde liegende Verfahren arbeitet, wie die oben erwähnten Verfahren auch, analog dem menschlichen Beobachter am Mikroskop, der durchfokussiert und dabei ver sucht, sich die scharfen Bereiche in den einzelnen Fokalebenen einzuprägen. Mit Hilfe der digitalen Bildverarbeitung ist es nun möglich, ohne zusätzliche, die Qualität vermindernde optische Elemente in den Strahlengang zu bringen, die unscharfen Bildteile in den einzelnen Fokalebenen zu eliminieren. Sind diese unscharfen Bereiche entfernt, so werden die aus allen Ebenen als scharf fokussiert erkannten Partien zum Gesamtbild vereinigt. Entscheidend ist das Kriterium zur Bewer tung, ob ein Bildpunkt vom System als scharf fokussiert angesehen wird oder nicht.The method on which this invention is based works like the methods mentioned above also, analogous to the human observer at the microscope, who focuses through and ver tries to memorize the sharp areas in the individual focal planes. With the help of digital Image processing is now possible without additional, quality-reducing optical Bring elements into the beam path, the blurred parts of the image in the individual focal planes to eliminate. If these blurred areas are removed, those from all levels will be sharp focused areas are combined to form the overall picture. The decisive factor is the evaluation criterion whether a pixel is considered by the system to be in focus or not.

Das dieser Erfindung zugrunde liegende Verfahren verzichtet je nach Art des zu photographieren den Objektes ganz oder teilweise auf die direkte Auswertung der Information in der Intensitätsver teilung. Durch die vorteilhafte Möglichkeit, die vollständige, nur teilweise oder keine Intensitätsin formation zu berücksichtigten, ist der wesentlich größere Einsatzbereich des Verfahrens begründet. Bei voller Verwendung der Intensitätsinformation hat man die oben erwähnten bisherigen Verfahren. Bei Aufnahmen im Auflichtmikroskop wird ganz, bei Aufnahmen im Durchlichtmikroskop wird je nachdem, ob es sich um ein Amplitudenobjekt oder ein Phasenobjekt handelt, teilweise oder ganz auf die Intensitätsinformation verzichtet.The method on which this invention is based does without depending on the type of photographing the object in whole or in part on the direct evaluation of the information in the intensity ver division. Due to the advantageous possibility of complete, only partial or no intensity to be taken into account formation, the much larger area of application of the method is justified. With full use of the intensity information, one has the previous methods mentioned above. When taking pictures in the reflected light microscope is whole, when taking pictures in the transmitted light microscope is partially or depending on whether it is an amplitude object or a phase object completely without the intensity information.

Die die Erfindung begründende Idee liegt in der vorrangigen Verwendung des lokalen Strukturge haltes des sogenannten Phasenbildes. Unter dem Phasenbild wird dabei folgendes verstanden. Es sie F(u,v) die Fouriertransformierte der Intensitätsverteilung einer beliebigen Aufnahme aus der Fokalserie (Formel (1)). Das Fourierspektrum kann in die beiden Faktoren |F(u,v)| und eⁱ ^Φ ^(u,v) zer legt werden. Im Modulus |F(u,v)|, der die Intensitätsinformation I(x,y) enthält, wird diese durch den in die Potenz erhobenen Parameter α ganz oder teilweise unterdrückt (Formel (2)), je nach dem, ob α gleich oder größer Null ist; α hängt dabei wie oben erwähnt von der Objektart ab. Die Rücktransformation P_α(x,y) des ganz oder nur teilweis von der Intensitätsinformation befreiten Spektrums F_α(u,v) wird als Phasenbild bezeichnet (Formel (3)). Für α = 0 hat man ein reines Phasenbild, für α = 1 liegt wieder die Intensität I(x,y) vor.The idea underlying the invention lies in the priority use of the local structural content of the so-called phase image. The phase image is understood to mean the following. It F (u, v) is the Fourier transform of the intensity distribution of any image from the focal series (formula (1)). The Fourier spectrum can be divided into the two factors | F (u, v) | and e ⁱ ^Φ ^{(u, v) are} decomposed. In the modulus | F (u, v) |, which contains the intensity information I (x, y), this is completely or partially suppressed by the parameter α raised to the power (formula (2)), depending on whether α is equal or greater than zero; As mentioned above, α depends on the object type. The inverse transformation P _α (x, y) of the spectrum F _α (u, v) that is completely or only partially freed from the intensity information is referred to as a phase image (formula (3)). For α = 0 one has a pure phase image, for α = 1 the intensity I (x, y) is again available.

Dieses Phasenbild P_α(x,y) besitzt im Gegensatz zur immer positiven Intensität I(x,y) schon für ge ringe Abweichungen von α gegenüber 1 gleichverteilte negative Funktionswerte, in einer mehr oder weniger großen Umgebung eines jeden Bildpunktes. Für α = 0 sind dann etwa gleich viele positive und negative Funktionswerte in der Umgebung eines jeden Bildpunktes vorhanden. Das Phasen bild selber ist damit als Kriterium nicht zu verwenden, denn der Mittelwert von P_α(x,y) in einer Umgebung eines jeden Bildpunktes, der ein Maß für den lokalen Strukturgehalt darstellt, ist Null. Der Absolutwert |P_α(x,y)| ist dagegen das entscheidende Kriterium. Er besitzt zwischen jedem po sitiven und negativen Funktionswert von P_α(x,y) eine Nullstelle. Mit Hilfe des Kontrastes läßt sich die Verwendbarkeit des Absolutwertes |P_α(x,y)| auf einfache Weise verdeutlichen. Nach Definition des Kontrastes K (Formel (4)) nimmt dieser immer Werte zwischen 0 und 1 an.In contrast to the always positive intensity I (x, y), this phase image P _α (x, y) has negative function values that are evenly distributed for slight deviations from α compared to 1, in a more or less large environment of each pixel. For α = 0, there are approximately the same number of positive and negative function values in the vicinity of each pixel. The phase image itself is therefore not to be used as a criterion, because the mean value of P _α (x, y) in the vicinity of each pixel, which is a measure of the local structure content, is zero. The absolute value | P _α (x, y) | is the decisive criterion. It has a zero between each positive and negative function value of P _α (x, y). With the help of the contrast, the usability of the absolute value | P _α (x, y) | clarify in a simple way. According to the definition of the contrast K (formula (4)), it always takes values between 0 and 1.

Im Gegensatz zur Intensitätsverteilung I(x,y) hat damit der Absolutwert |P_α(x,y)| in einer genügend großen Umgebung eines jeden Bildpunktes im fokussierten Bereich immer den maximalen Kon trastwert 1. Betrachten wir dagegen eine gleich große Umgebung im defokussierten Bereich, so ist wegen I_max ∼ I_min der Kontrast nahezu Null. Dies ist der Grund für die leichte Unterscheidbarkeit von fokussierten und nichtfokussierten Bildpunkten.In contrast to the intensity distribution I (x, y), the absolute value | P _α (x, y) | in a sufficiently large environment of each pixel in the focused area always the maximum contrast value 1. On the other hand, if we consider an equally large environment in the defocused area, the contrast is almost zero because of I _max ∼ I _min . This is the reason for the easy differentiation between focused and unfocused pixels.

Die folgenden Bilder dienen der Erklärung des Begriffs "Phasenbild".The following pictures serve to explain the term "phase picture".

Dargestellt ist das verletzte Auge einer Stubenfliegen. Die Aufnahme ist im unteren Teil nicht voll ständig ausgeleuchtet und erfüllt damit nicht ganz die Verfahrensvorschrift aus Schritt 1. Die mit 5facher Objektivvergrößerung erstellte Fokusserie besteht aus 14 Aufnahmen von je 85 µm Bild tiefe, das entspricht der Schärfentiefe des verwendeten Objektivs. Die gesamte Bildtiefe beträgt damit ca. 1,2 mm. Bild 1 (links oben) zeigt die erste Aufnahme, Bild 2 (rechts oben) die vierzehnte Aufnahme der Fokalserie. Bild 3 (links unten) zeigt das Phasenbild von Bild 2 das eigentliche Schärfekriterium und Bild 4 (rechts unten) zeigt das aus den 14 Aufnahmen rekonstruierte Bild.The injured eye of a housefly is shown. The picture in the lower part is not full constantly illuminated and therefore does not quite meet the procedural requirements from step 1. The with The 5x lens magnification series consists of 14 pictures of 85 µm image depth, which corresponds to the depth of field of the lens used. The total image depth is thus approx.1.2 mm. Picture 1 (top left) shows the first picture, picture 2 (top right) the fourteenth Recording of the focal series. Picture 3 (bottom left) shows the phase picture of picture 2 the actual one Sharpness criterion and picture 4 (bottom right) shows the picture reconstructed from the 14 pictures.

Bild 3 (links unten) zeigt den Absolutwert |P_α(x,y)| des Phasenbildes von Bild 2 (rechts oben). Man erkennt, daß in Bild 3 nur dort Informationen vorliegen, wo Bild 2 scharf fokussiert ist.Figure 3 (bottom left) shows the absolute value | P _α (x, y) | the phase image of image 2 (top right). It can be seen that in Figure 3 information is only available where Figure 2 is in focus.

Sind (x₀,y₀) die Koordinaten eines beliebigen Bildpunktes, so wird eine Umgebung mit dem Radius r um diesen Bildpunkt betrachtet. Innerhalb dieser Umgebung wird der Mittelwert aller absoluten Phasenbildwerte berechnet (Formel (5)). Der Bildpunkt (x₀,y₀) ist nun in jeder Ebene am schärfsten fokussiert, in der dieser Mittelwert am größten ist. Das Verfahren kann für alle Bildpunkte mit dem gleichen Radius r durchgeführt werden. Die Mittelwertbildung ist daher als Faltung mit einem Zylinder vom Radius r aufzufassen und ist somit entsprechend schnell ausführbar. Die Überle genheit des Verfahrens ist durch die hohe Korrelation zwischen gemitteltem absoluten Phasenbild und Fokuszustand begründet.If (x₀, y₀) are the coordinates of any pixel, then an environment with the radius r viewed around this pixel. Within this environment, the average of all absolute Phase image values calculated (formula (5)). The pixel (x₀, y₀) is now the sharpest on every level focused in which this mean is greatest. The method can be used for all pixels the same radius r are performed. The averaging is therefore a convolution with a Grasp cylinders of radius r and can therefore be executed quickly. The survivor The high degree of correlation between the averaged absolute phase pattern makes the method more convenient and state of focus justified.

Nachfolgend wird anhand einer Zeichnung das Ausführungsbeispiel der Erfindung näher erläutert.The exemplary embodiment of the invention is explained in more detail below with reference to a drawing.

Fig. 1 zeigt eine schematische Darstellung der erfindungsgemäßen Vorrichtung, sowie den Ver fahrensabslauf in vier Schritten. Fig. 1 shows a schematic representation of the device according to the invention, as well as the process sequence in four steps.

Es bedeuten:It means:

1 Mikroskop mit automatischer Fokussierung,
2 CCD/Video Kamera,
3 Fokalserie von CCD-Aufnahmen begrenzter Schärfentiefe,
4 Computer,
5 Bild mit erweiterter Schärfentiefe. 1 microscope with automatic focusing,
2 CCD / video camera,
3 focal series of CCD recordings of limited depth of field,
4 computers,
5 image with extended depth of field.

Schritt 1:
Mittels einer optischen Einrichtung 1 und 2 erfolgt die Erstellung einer Fokusserie 3 von n Aufnahmen, die den gesamten Objektbereich überdecken. Die Abstände der einzel nen Aufnahmen sollten etwa der Schärfentiefe des verwendeten Objektivs entsprechen. Dabei ist darauf zu achten, daß der gesamte Objektbereich ausgeleuchtet ist. Während der gesamten Aufnahme darf die Beleuchtung nicht verändert werden.Step 1:
An optical device 1 and 2 is used to create a focus series 3 of n recordings which cover the entire object area. The distances between the individual photos should correspond approximately to the depth of field of the lens used. Make sure that the entire object area is illuminated. The lighting must not be changed during the entire recording.

Schritt 2:
Berechnung der Phasenbilder für alle Aufnahmen nach Formel (3).
Schritt 3:
Berechnung der Mittelwerte für alle Aufnahmen nach Formel (5).
Der Radius r liegt dabei objektabhängig zwischen 2 und 30 Pixeln.Step 2:
Calculation of the phase images for all recordings according to formula (3).
Step 3:
Calculation of the mean values for all recordings according to formula (5).
The radius r is between 2 and 30 pixels depending on the object.

Schritt 4:
Koordinatenweiser Vergleich aller Mittelwerte P_α _,k(x,y) in allen Ebenen vpm k = 1 bis k = n nach Formel (5).
Jenes k, für welches dieser Mittelwert am größten ist, markiert die Ebene k, in der der gerade betrachtete Bildpunkt am besten fokussiert ist. Außer in dieser k-ten Ebene wird in allen anderen Ebenen die Information gelöscht. Nach Bearbeitung aller Koordinaten auf diese Weise enthalten die einzelnen Fokalebenen nur noch scharf fo kussierte Bildpunkte. Diese werden dann zum Gesamtbild 5 vereinigt. Step 4:
Coordinate comparison of all mean values P _α _{, k} (x, y) in all planes vpm k = 1 to k = n according to formula (5).
The k for which this mean value is greatest marks the plane k in which the pixel currently being viewed is best focused. Except in this kth level, the information is deleted in all other levels. After editing all the coordinates in this way, the individual focal planes only contain sharply focused pixels. These are then combined to form the overall picture 5 .

Formulas

mit Φ(u,v) = arctan (η(u,v)/ξ(u,v)) und ξ(u,v) als Realteil von F(u,v), η(u,v) als Imaginärteil von F(u,v) sowie |F(u,v)| = (ξ² + η²)^1/2.
I(x,y) ist die Intensitätsverteilung der jeweiligen Einzelaufnahme.with Φ (u, v) = arctan (η (u, v) / ξ (u, v)) and ξ (u, v) as real part of F (u, v), η (u, v) as imaginary part of F (u, v) and | F (u, v) | = (ξ² + η²) ^1/2 .
I (x, y) is the intensity distribution of the individual picture.

P_α(x,y) ist die inverse Fouriertransformierte von F_α(u,v) und wird im weiteren als Phasenbild eingeführt.P _α (x, y) is the inverse Fourier transform of F _α (u, v) and is subsequently introduced as a phase image.

I_max = Maximum von I(x,y), I_min = Minimum von I(x,y)I _max = maximum of I (x, y), I _min = minimum of I (x, y)

wird im weiteren als gemitteltes Phasenbild eingeführt mit Ω_r(x₀,y₀) = {(x,y)| (x-x₀)² + (y-y₀)² r² } als Umgebung des momentan betrachteten Bildpunktes (x₀,y₀).is subsequently introduced as an averaged phase image with Ω _r (x₀, y₀) = {(x, y) | (x-x₀) ² + (y-y₀) ² r²} as the environment of the currently viewed pixel (x₀, y₀).

Claims

1. A method and device for expanding the depth of field of three-dimensional optical images, in which images with an increased depth of field are generated from series of images consisting of individual images from different focal planes with a limited depth of field, characterized in that those obtained from the Fourier spectra of the individual images from different focal planes Phase images can be used as focus criteria.

2. The method and device according to claim 1, characterized, that the image construction is applicable to both gray value images and color images.

3. The method and device according to claim 1 or 2, characterized, that different contrasts are made possible by choosing process-related parameters.