[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP3680106A1 - Mn-detection in a printed image - Google Patents

Mn-detection in a printed image Download PDF

Info

Publication number
EP3680106A1
EP3680106A1 EP19151348.0A EP19151348A EP3680106A1 EP 3680106 A1 EP3680106 A1 EP 3680106A1 EP 19151348 A EP19151348 A EP 19151348A EP 3680106 A1 EP3680106 A1 EP 3680106A1
Authority
EP
European Patent Office
Prior art keywords
image
errors
white
printing
darkline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP19151348.0A
Other languages
German (de)
French (fr)
Other versions
EP3680106B1 (en
Inventor
Dr. Jan Krieger
Frank Schumann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heidelberger Druckmaschinen AG
Original Assignee
Heidelberger Druckmaschinen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heidelberger Druckmaschinen AG filed Critical Heidelberger Druckmaschinen AG
Priority to EP19151348.0A priority Critical patent/EP3680106B1/en
Priority to CN201911264871.3A priority patent/CN111434494B/en
Priority to JP2020002847A priority patent/JP7412185B2/en
Priority to US16/740,687 priority patent/US11752775B2/en
Publication of EP3680106A1 publication Critical patent/EP3680106A1/en
Application granted granted Critical
Publication of EP3680106B1 publication Critical patent/EP3680106B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2142Detection of malfunctioning nozzles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • B41J29/393Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2139Compensation for malfunctioning nozzles creating dot place or dot size errors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2146Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding for line print heads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • B41J29/393Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns
    • B41J2029/3935Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns by means of printed test patterns

Definitions

  • the present invention relates to a method for checking the print quality of an inkjet printing machine using a camera and a computer.
  • the invention is in the technical field of digital printing.
  • the reasons for the occurrence of these deviations in the operation of pressure nozzles can be of various kinds.
  • One of the main problems here is that the ink dries out if the corresponding printhead is not used for too long and is not stored properly in the idle state.
  • the drying ink clogs the nozzle outlet opening and thus leads to a deviating pressure point of the pressure nozzle in question or, in extreme cases, even to a complete failure.
  • the pressure nozzle no longer prints exactly where the actual pressure point should be and the pressure strength also deviates from the standard values that are actually desired.
  • the ingress of dust particles and similar dirt can also cause whiteline errors.
  • German patent application DE 2017 220361 A1 discloses such a method for the detection and compensation of failed printing nozzles in an inkjet printing machine by a computer, which is the printing of a current print image, the recording of the printed print image by an image sensor and digitization of the recorded print image by the computer, the addition of digitized color values recorded image of each column over the entire print image height and dividing the total color values by the number of pixels to obtain a column profile, subtracting an optimized column profile without unusual print nozzles from the original column profile to a difference column profile, setting a threshold for maximum values that exceed one failure of the pressure nozzle defines the application of this threshold for maximum values to the difference column profile, whereby each maximum in the resulting column profile marks a failed pressure nozzle and the compensation of the marked pressure nozzle included in the subsequent printing process as steps of the process.
  • a disadvantage of this method is that it cannot be implemented robustly in practice.
  • the process is based on the fact that there are very little differences between one Reference image and a camera image there. In practice, however, this is not always the case.
  • the reasons for this include, for example, incorrectly calibrated cameras, a less than ideal or outdated white balance, different types of paper or less than ideal colors in the printing unit.
  • areas in the printed image that are occupied as monochrome as possible are used for the detection of the whitelines, which is why the method can only be used to a limited extent in printed images that do not have such areas.
  • the object is achieved by a method for determining printing errors in a printing process, carried out in an inkjet printing machine for processing a print job, by a computer, print products generated during the printing process being recorded and digitized with the aid of a camera system generated camera image is fed to a detection algorithm on the computer, in the event of detected printing errors, a message is sent to a machine control, which then, if necessary, ejects the printed product via a waste filter, which is characterized in that the detection algorithm separates color separations of the camera images and detects the printing errors in the color separations , Images of the individual color separations are linked to form a candidate image, the candidate image is filtered and finally the remaining detected printing errors are entered in a list and sent to the printing press.
  • the essence of the method according to the invention is therefore to determine the printing errors directly from the camera image generated of the captured and digitized printed product.
  • the printing errors are detected directly in the separated color separations, since the printing errors are easier to detect here than in the composite camera image. It is important, however, that the printing errors in the generated camera image can be recognized at all. For example, if the resolution of the generated camera image is too low, the information about the corresponding printing errors will be lost and the entire detection algorithm will not work. It is also important to note that the camera usually delivers RGB images, so that a separation of the individual color separations of the camera image generated naturally provides individual RGB color separations and not CMYK color separations, which correspond to the color space of the inkjet printing press used.
  • a preferred development of the method according to the invention is that the printing errors are whiteline or darkline errors caused by defective printing nozzles of the inkjet printing press.
  • the algorithm is therefore primarily intended for the detection of the whiteline errors already described, since these printing errors in particular reduce the print quality of the printing process to such an extent that waste occurs.
  • a further preferred development of the method according to the invention is that the computer filters out pseudo-whiteline or darkline errors from the list of whiteline or darkline errors in a further method step, before sending it to the printing press, by using a specific test method . It is important that no false positive errors are output by the detection algorithm. In particular, thin, light lines in the print image to be generated, e.g. Barcodes are very prone to be labeled as pseudo whitelines. Therefore, the detection algorithm should check in a further procedural step by means of specific tests whether the detected white line is really a real white line, in order to rule out that wanted components of the printed image are incorrectly detected as whiteline errors and unwanted additional waste is caused.
  • a further preferred development of the method according to the invention is that the computer determines the causal defective pressure nozzles from the list of the remaining detected whiteline or darkline errors and, depending on this, compensates for the whiteline or darkline errors using suitable compensation methods.
  • the actual aim of the method according to the invention is to precisely identify printed products in the form of printed sheets which have such quality-reducing whiteline errors that convert the printed sheet into a waste sheet
  • the information about the whiteline errors determined by the detection algorithm can of course be used also be used in order to determine the causal defective pressure nozzles and to have them compensated by a suitable compensation method.
  • the compensation of the defective printing nozzles makes it possible to continue using the inkjet printing machine in question to process the current print job without having to change the print head.
  • a further preferred development of the method according to the invention is that the computer for the specific test method creates a reference image from prepress data of the print job, applies the detection algorithm to this reference image and thus obtains knowledge about either received candidates for pseudo whiteline or darkline errors and removes them from the list of whiteline or darkline errors or over areas in the camera image with probable pseudo-whiteline or darkline errors to which the detection algorithm is then not applied.
  • the easiest way to detect pseudo whitelines is to use good data, e.g. the prepress data, creates a reference image and then checks whether the structure found, which was detected as a white line, is also located in this reference image. If so, it is logically a pseudo whiteline. There are two ways of dealing with the knowledge that you have found one.
  • a further preferred development of the method according to the invention is that the computer creates the reference image in several sizes and / or resolutions, accordingly applies the detection algorithm several times to the different reference images, and summarizes and applies the knowledge gained therefrom. This procedure increases the reliability of the detection algorithm for the specific identification of whitelines as well as for the determination of pseudo whiteline errors.
  • a further preferred development of the method according to the invention is that the algorithm is not applied to such areas, or results from areas that are characterized by a high variation of the gray values in a limited, local environment in the reference image are excluded.
  • Such areas as e.g. Barcodes are particularly susceptible to the detection of pseudo whiteline or darkline errors and must therefore be excluded from checking the algorithm.
  • a further preferred development of the method according to the invention is that the list of whiteline or darkline errors is created using column sums in the filtered candidate image by applying a limit value to the column sum determined in each case in the candidate image.
  • Real annoying whiteline / darkline errors usually extend over a larger area of the captured camera image. To prevent that even very small, short misfires of the individual pressure nozzle lead to a detection of a printing error, although these may not be disturbing at all or are pseudo-whiteline / darkline errors, which are very short whiteline If errors are very likely, only those print columns are marked in the candidate image in which the determined print error exceeds a certain limit.
  • a further preferred development of the method according to the invention is that the candidate image of the individual color separations is linked by the computer using a mathematical OR operation. This type of composition of the individual color separations to the candidate image has proven to be the most suitable from a computational point of view.
  • a further preferred development of the method according to the invention is that the filtering of the candidate image is carried out by the computer using morphological operations. This allows, in particular, the filtering out of very short printing errors or white lines, which are usually pseudo-whitelines anyway or which do not influence the print quality of the printed product or printed sheet so strongly that a waste decision has to be made here.
  • a further preferred development of the method according to the invention is that the detection algorithm is used several times by the computer on the generated camera image, the method being parameterized differently in order to detect darkline or whiteline errors of different types and the results of all color separations of all applications of the process are logically linked.
  • the detection algorithm can also be applied several times to the camera image generated. In particular, this increases the accuracy of the detection algorithm when filtering out pseudo-whiteline or darkline errors, but is also positive for the hit accuracy when finding real whiteline or darkline errors.
  • a further preferred development of the method according to the invention is that for each of the differently parameterized applications of the method, the camera image in each pixel is previously limited to a maximum gray value. This has the advantage that bright outliers in areas of paper white that could distort the mean are filtered out.
  • a further preferred development of the method according to the invention is that the candidate image of a color channel is generated by dividing the image into horizontal strips, each strip being reduced to a line signal by means of a suitable averaging of each of its columns, in which then white lines or dark lines are generated a special search method is sought and each line evaluated in this way results in a line of the whiteline candidate image.
  • a further preferred development of the method according to the invention is that the computer uses the white or darkline search method to find a dark or Whiteline at a position by evaluating a restricted neighborhood around the viewed pixel in the line signal.
  • the classification of whether an error found is really a real whiteline or darkline error is done by evaluating the immediately adjacent pixels. This is the only way to rule out a pseudo whiteline or darkline error.
  • a further preferred development of the method according to the invention is that the search method first convolves the line signal with different filter cores and converts the results into logical signals by comparison with possibly different limit values, which are then converted into a white or dark line using a logical link. Candidate line signal is converted.
  • the field of application of the preferred embodiment variant is an inkjet printing machine 7.
  • This is a sheet inkjet printing machine 7, which is controlled by a control computer 6.
  • the operation of this printing press 7 can lead to failures of individual printing nozzles in the printing heads 5 in the printing unit 4.
  • the result is white / dark lines, or, in the case of multi-color printing, distorted color values.
  • An example of such a white / dark line 9 in a captured camera image 8 is shown in FIG Figure 3 shown.
  • Figure 3 shows an example of a printing sheet 2 with captured camera images 13, one of which has a white / darkline error 14.
  • additional, downstream filtering can also be carried out using a reference image. This will be explained in more detail later in the description.
  • a reference image is usually required in these further preferred embodiments, which, in addition to the disadvantages already mentioned, affects the processing speed.
  • the use of a reference image can further improve the quality of the method by avoiding false / positively detected white / dark lines 14.
  • the method according to the invention thus has many advantages over the prior art.
  • white balance, paper type, short white / dark lines 14 they are often lost in the image / signal noise.
  • This disadvantage is eliminated with the method according to the invention.
  • the reference image can be transported in full resolution to the computer 9, for example with 670 dpi. This is only possible with the currently available technical means at high costs. Since the algorithm presented here manages without a reference image or at least without a high-resolution reference image, these costs can be saved.
  • a reference image is fundamentally not necessary for the detection, even if it can be used to avoid false-positive white / darkline detections through structures contained in the customer motif. In particular for the detection of white / darkline candidates 14, there is no longer any need to compare the reference and camera images 13 directly.
  • the printed image 13 captured by the camera 10 is shown with a white / darkline error 14.
  • a stripe with text 15a and a stripe at the image edge 15b are cut out from this print image 13, from which image signals 18, 19 are then respectively generated.
  • image signal 18 of the strip with text 15a one can clearly see the mentioned effect of the white / darkline error 14 in the signal in the form of a corresponding peak 14a in the signal 18.
  • a peak of a pseudo white / darkline error 14b is shown, which results from the text representation.
  • pseudo white / dark lines 14b are now filtered out of the white / dark line candidates 14 determined in stage one by using one or more filters.
  • the idea behind this filter is to rule out very short or occasional false detections. Because in most realistic print motifs, a white / dark line 14 will affect several areas of a column, while false detections only occur locally.
  • the filter described in step four in the previous exemplary embodiment with the aid of the reference image is also carried out here with all the modifications described above.
  • the size of the reference image is adjusted beforehand. It can also make sense to process the reference image several times in different resolutions and to summarize the results of these stages before filtering. This simulates the loss of quality on the "perfect" reference image by the camera system 10 and thus allows different structures to be detected effectively which can lead to white / darkline-like structures in the camera image 13.
  • the further, particularly preferred exemplary embodiment has the additional advantage over the previous exemplary embodiment that it has a higher recognition performance of white / dark lines 14 with a simultaneously lower number of pseudo white / dark lines 14 b.
  • a reference image evaluation is necessary for this, the additional processing steps of which can lead to longer computing times of the computer 6, 9 used.
  • the decision as to which preferred exemplary embodiment should be used should therefore be made on the basis of the requirements of the specific application.
  • Print jobs in which the white / dark line detection is time or performance critical should rather use the first exemplary embodiment presented, while print jobs in their print images are particularly important for a thorough detection of white / dark lines 14 and / or for which an increased There is a risk of the occurrence of pseudo white / dark lines 14b, rather should resort to the second exemplary embodiment presented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Ink Jet (AREA)

Abstract

Verfahren zur Bestimmung von Druckfehlern in einem Druckprozess, durchgeführt in einer Inkjet-Druckmaschine (7) zur Bearbeitung eines Druckauftrages, durch einen Rechner (9), wobei während des Druckprozesses erzeugte Druckprodukte (2) mit Hilfe eines Kamerasystems (10) erfasst und digitalisiert werden, das so erzeugte Kamerabild (13) einem Detektionsalgorithmus auf dem Rechner (9) zugeführt wird, bei erkannten Druckfehlern (14) eine Meldung an eine Maschinensteuerung (6) gesendet wird, welche dann gegebenenfalls das Druckprodukt (2) über eine Makulaturweiche ausschleust, welches dadurch gekennzeichnet ist, dass der Detektionsalgorithmus Farbauszüge der Kamerabilder (13) separiert, in den Farbauszügen die Druckfehler (14) detektiert, Bilder der einzelnen Farbauszüge zu einem Kandidatenbild (21) verknüpft, das Kandidatenbild (21) filtert und abschließend die verbleibenden detektierten Druckfehler (14) in eine Liste einträgt und diese an die Maschinensteuerung (9) der Druckmaschine (7) sendet.Method for determining printing errors in a printing process, carried out in an inkjet printing machine (7) for processing a print job, by a computer (9), print products (2) generated during the printing process being recorded and digitized using a camera system (10) , the camera image (13) generated in this way is fed to a detection algorithm on the computer (9), upon detection of printing errors (14) a message is sent to a machine control (6), which then, if necessary, ejects the printed product (2) via a waste gate, which characterized in that the detection algorithm separates color separations of the camera images (13), detects the printing errors (14) in the color separations, links images of the individual color separations to a candidate image (21), filters the candidate image (21) and finally the remaining detected printing errors ( 14) in a list and this to the machine control (9) of the printing press (7) se finds.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überprüfung der Druckqualität einer Inkjetdruckmaschine mittels einer Kamera und eines Rechners.The present invention relates to a method for checking the print quality of an inkjet printing machine using a camera and a computer.

Die Erfindung liegt im technischen Gebiet des Digitaldrucks.The invention is in the technical field of digital printing.

Beim Betrieb von Inkjetdruckmaschinen kommt es zu spezifischen Druckfehlern, welche spezifisch für diesen Druckmaschinentyp sind. Am verbreitetsten sind sogenannte Whiteline-Fehler, die entstehen, indem einzelne Druckdüsen der verwendeten Inkjetdruckköpfe von ihrem gewünschten Standardverhalten abweichen. Überschreitet diese Abweichung bestimmte Grenzen, so werden die betreffenden Druckdüsen in der Regel deaktiviert, da sie das Druckbild stören. Allerdings erzeugt eine derart deaktivierte Druckdüse dann einen entsprechenden Whiteline-Fehler. Dieser wird so genannt, da er am deutlichsten im Falle einer einfarbig gedruckten Fläche hervortritt, da in diesem Fall das darunterliegende Drucksubstrat, was in der Regel weiß ist, hervortritt. Wird dagegen mit einer hellen Druckfarbe (z.B. Deckweiß) auf dunkel aussehendem Untergrund gedruckt, erscheinen die Fehler als sogenannte Darkline-Fehler. Aber auch in mehrfarbigen Bildbereichen, wo mehrere Druckdüsen verschiedener Druckköpfe die einzelnen Farbauszüge übereinander drucken, führt der Ausfall bzw. die Deaktivierung einer beteiligten Druckdüse zu entsprechenden Farbverzerrungen im zu erzeugenden Druckbild. Da die Druckdüsen linienartig in Druckrichtung Tinte abgeben, wird auch der erzeugte Druckfehler linienförmig, woraus sich der Begriff White-/Darkline-Druckfehler ergibt.When operating inkjet printing machines, there are specific printing errors that are specific to this type of printing machine. The most common are so-called whiteline errors, which arise when individual print nozzles of the inkjet print heads used deviate from their desired standard behavior. If this deviation exceeds certain limits, the relevant printing nozzles are generally deactivated because they disturb the printed image. However, a pressure nozzle deactivated in this way then generates a corresponding whiteline error. This is so called because it stands out most clearly in the case of a single-color printed area, because in this case the underlying printing substrate, which is usually white, emerges. If, on the other hand, a bright printing ink (e.g. opaque white) is used to print on a dark-looking background, the errors appear as so-called darkline errors. But even in multicolored image areas, where several print nozzles of different print heads print the individual color separations one above the other, the failure or deactivation of a print nozzle involved leads to corresponding color distortions in the print image to be generated. Since the printing nozzles emit ink in a line-like manner in the printing direction, the printing error generated also becomes linear, which gives rise to the term white / darkline printing error.

Die Ursachen für das Auftreten dieser Abweichungen im Betrieb von Druckdüsen können vielfältiger Natur sein. Ein Hauptproblem ist hierbei Eintrocknen der Tinte für den Fall, dass der entsprechende Druckkopf zu lange Zeit nicht benutzt wird und nicht sachgemäß im Ruhezustand zwischengelagert wird. Die eintrocknende Tinte verstopft dabei die Düsenaustrittsöffnung und führt somit zu einem abweichenden Druckpunkt der betreffenden Druckdüse bzw. im Extremfall sogar zum vollständigen Ausfall. In jedem Fall druckt die Druckdüse nicht mehr exakt da, wo der eigentliche Druckpunkt liegen sollte und auch die Druckstärke weicht von den eigentlich gewünschten Standardwerten ab. Neben eingetrockneter Tinte können auch das Eindringen von Staubpartikeln und ähnlichem Schmutz die Whiteline-Fehler hervorrufen.The reasons for the occurrence of these deviations in the operation of pressure nozzles can be of various kinds. One of the main problems here is that the ink dries out if the corresponding printhead is not used for too long and is not stored properly in the idle state. The drying ink clogs the nozzle outlet opening and thus leads to a deviating pressure point of the pressure nozzle in question or, in extreme cases, even to a complete failure. In each In this case, the pressure nozzle no longer prints exactly where the actual pressure point should be and the pressure strength also deviates from the standard values that are actually desired. In addition to dried ink, the ingress of dust particles and similar dirt can also cause whiteline errors.

Zum Auffinden dieser Whiteline-Fehler sind aus dem Stand der Technik mehrere Ansätze bekannt. Am Üblichsten ist sicherlich das Drucken von Testmustern und die Detektion der Whitelines über eine automatisierte Erfassung und Auswertung dieser Testmuster. Dieser Ansatz hat jedoch den Nachteil, dass das Drucken der Testmuster je nach Lage und Größe auf dem Drucksubstrat Makulatur verursacht. Daher existieren Verfahren, welche das erzeugte Druckbild selbst untersuchen und aus diesem Druckbild dann auftretende Whiteline-Fehler detektieren. Dies hat zudem den Vorteil, dass nur solche Whitelines, bzw. diese verursachende Druckdüsen, detektiert werden, die für das aktuell zu erzeugende Druckbild wirklich störend sind.Several approaches are known from the prior art for locating these whiteline errors. The most common is certainly the printing of test patterns and the detection of the whitelines via an automated recording and evaluation of these test patterns. However, this approach has the disadvantage that printing the test pattern, depending on its position and size, causes waste on the printing substrate. There are therefore methods which examine the printed image itself and then detect whiteline errors which occur from this printed image. This also has the advantage that only those whitelines or pressure nozzles causing them are detected which are really disturbing for the print image currently being generated.

Die deutsche Patentanmeldung DE 2017 220361 A1 offenbart ein solches Verfahren zur Detektion und Kompensation von ausgefallenen Druckdüsen in einer Inkjet-Druckmaschine durch einen Rechner, welches das Drucken eines aktuellen Druckbildes, die Aufnahme des gedruckten Druckbildes durch einen Bildsensor und Digitalisierung des aufgenommenen Druckbildes durch den Rechner, das Addieren von digitalisierten Farbwerten des aufgenommenen Druckbildes jeder Spalte über die gesamte Druckbildhöhe und dividieren der aufsummierten Farbwerte durch die Anzahl der Pixel zum Erhalt eines Spaltenprofils, das Subtrahieren eines optimierten Spaltenprofils ohne ausgefallene Druckdüsen vom Original-Spaltenprofil zu einem Differenz-Spaltenprofil, das Setzen einer Schwelle für Maximalwerte deren Überschreiten eine ausgefallene Druckdüse definiert, das Anwenden dieser Schwelle für Maximalwerte auf das Differenz-Spaltenprofil, wodurch im resultierenden Spaltenprofil jedes Maximum eine ausgefallene Druckdüse markiert und das Kompensation der markierten Druckdüsen im anschließenden Druckprozess als Schritte des Verfahrens umfasst.The German patent application DE 2017 220361 A1 discloses such a method for the detection and compensation of failed printing nozzles in an inkjet printing machine by a computer, which is the printing of a current print image, the recording of the printed print image by an image sensor and digitization of the recorded print image by the computer, the addition of digitized color values recorded image of each column over the entire print image height and dividing the total color values by the number of pixels to obtain a column profile, subtracting an optimized column profile without unusual print nozzles from the original column profile to a difference column profile, setting a threshold for maximum values that exceed one failure of the pressure nozzle defines the application of this threshold for maximum values to the difference column profile, whereby each maximum in the resulting column profile marks a failed pressure nozzle and the compensation of the marked pressure nozzle included in the subsequent printing process as steps of the process.

Nachteilig an diesem Verfahren ist jedoch, dass es in der Praxis nicht robust umzusetzen ist. Das Verfahren beruht darauf, dass es nur sehr geringe Unterschiede zwischen einem Referenzbild und einem Kamerabild gibt. Genau das ist aber in der Praxis nicht immer der Fall. Ursachen hierfür sind zum Beispiel falsch kalibrierte Kameras, ein nicht optimaler oder veralteter Weißabgleich, unterschiedliche Papiersorten oder nicht optimale Farben im Druckwerk. Zudem werden möglichst einfarbig belegte Bereiche im Druckbild für die Detektion der Whitelines verwendet, weshalb bei Druckbildern die solche Flächen nicht aufweisen, das Verfahren nur eingeschränkt verwendet werden kann.However, a disadvantage of this method is that it cannot be implemented robustly in practice. The process is based on the fact that there are very little differences between one Reference image and a camera image there. In practice, however, this is not always the case. The reasons for this include, for example, incorrectly calibrated cameras, a less than ideal or outdated white balance, different types of paper or less than ideal colors in the printing unit. In addition, areas in the printed image that are occupied as monochrome as possible are used for the detection of the whitelines, which is why the method can only be used to a limited extent in printed images that do not have such areas.

Aus dem US-Patent US 9,944,104 B2 ist ein Whiteline-Inspektionssystem bekannt. Hier wird zur Detektion der Whitelines ein einfacher Grenzwertvergleich vorgeschlagen, der davon ausgeht, dass das zu überprüfende Motiv an der Stelle homogen ist. Für den Fall eines Bildes, auf das diese Bedingung nicht zutrifft, wird vorgeschlagen, dass das Signal durch Abziehen eines lokal ausgerichteten, aus Vorstufendruckdaten erzeugten Referenzbildes zu generieren. Es ist allerdings weiterhin eine Differenzbildberechnung notwendig.From the U.S. patent US 9,944,104 B2 a whiteline inspection system is known. Here, a simple limit value comparison is proposed for the detection of the whitelines, which assumes that the motif to be checked is homogeneous at the point. In the case of an image that does not meet this condition, it is proposed that the signal be generated by subtracting a locally oriented reference image generated from prepress data. However, a difference image calculation is still necessary.

Die Patentanmeldung EP 3300907A1 beschreibt dagegen, wie ein Whiteline-Detektionssystem durch Einsatz verschiedener Verfahren, je nach Drucksituation eine erhöhte Güte erreichen kann, insbesondere um zu vermeiden, dass schwache und damit unkritische Whitelines detektiert werden, oder zwar schlecht kompensierte, aber für das menschliche Auge unsichtbare Whitelines als Defekt erkannt werden. Wie in US 9,944,104 B2 ist auch hier ein Referenzbild-Erzeugungsschritt notwendig, um Referenzdaten zum Auffinden von Whitelines zu erzeugen, auf welchen man gerne verzichten würde.The patent application EP 3300907A1 describes, on the other hand, how a whiteline detection system can achieve an increased quality depending on the pressure situation, in particular to avoid the detection of weak and therefore uncritical whitelines, or badly compensated but invisible to the human eye as a defect be recognized. As in US 9,944,104 B2 a reference image generation step is also necessary here in order to generate reference data for locating whitelines, which one would like to do without.

Aufgabe der vorliegenden Erfindung ist somit, ein Verfahren zur Bestimmung von Druckfehlern in einem Druckprozess einer Inkjetdruckmaschine zu finden, welches effizienter ist und Druckfehler, insbesondere Whiteline-Fehler, besser und zuverlässiger ermittelt als die aus dem Stand der Technik bekannten Verfahren.It is therefore an object of the present invention to find a method for determining printing errors in a printing process of an inkjet printing press, which is more efficient and determines printing errors, in particular whiteline errors, better and more reliably than the methods known from the prior art.

Gelöst wird die Aufgabe durch ein Verfahren zur Bestimmung von Druckfehlern in einem Druckprozess, durchgeführt in einer Inkjet-Druckmaschine zur Bearbeitung eines Druckauftrages, durch einen Rechner, wobei während des Druckprozesses erzeugte Druckprodukte mit Hilfe eines Kamerasystems erfasst und digitalisiert werden, das so erzeugte Kamerabild einem Detektionsalgorithmus auf dem Rechner zugeführt wird, bei erkannten Druckfehlern eine Meldung an eine Maschinensteuerung gesendet wird, welche dann gegebenenfalls das Druckprodukt über eine Makulaturweiche ausschleust, welches dadurch gekennzeichnet ist, dass der Detektionsalgorithmus Farbauszüge der Kamerabilder separiert, in den Farbauszügen die Druckfehler detektiert, Bilder der einzelnen Farbauszüge zu einem Kandidatenbild verknüpft, das Kandidatenbild filtert und abschließend die verbleibenden detektierten Druckfehler in eine Liste einträgt und diese an die Druckmaschine sendet. Der Kern des erfindungsgemäßen Verfahrens besteht also darin, die Druckfehler direkt aus dem erzeugten Kamerabild des erfassten und digitalisierten Druckproduktes zu ermitteln. Die Druckfehler werden dabei direkt in den separierten Farbauszügen detektiert, da sich hier die Druckfehler leichter detektieren lassen als im zusammengesetzten Kamerabild. Wichtig ist dabei jedoch, dass die Druckfehler im erzeugten Kamerabild überhaupt zu erkennen sind. Ist beispielsweise die Auflösung des erzeugten Kamerabildes zu niedrig, so gehen die Informationen über die entsprechenden Druckfehler verloren und der gesamte Detektionsalgorithmus läuft ins Leere. Wichtig ist auch zu beachten, dass die Kamera üblicherweise RGB-Bilder liefert, so dass eine Separation der einzelnen Farbauszüge des erzeugten Kamerabildes natürlich einzelne RGB-Farbauszüge liefert und nicht CMYK-Farbauszüge, welche dem Farbraum der verwendeten Inkjetdruckmaschine entsprechen. Dies stellt jedoch kein Problem für das erfindungsgemäße Verfahren dar, da es vor allem auf die genaue Lage der entsprechenden Druckfehler ankommt, bzw. darauf, dass überhaupt die Druckqualität beeinträchtigenden Druckfehler zuverlässig detektiert werden. Welcher Farbauszug im Maschinenfarbraum, sprich welche Tinte und damit welcher Druckkopf, vom Düsenausfall betroffen ist, lässt sich vom Rechner durch entsprechende Farbraumtransformationen feststellen. Zur Verbesserung des Detektionsalgorithmus, werden zudem anschließend an die Detektion in den Farbauszügen die Bilder der einzelnen Farbauszüge wieder zu einem gemeinsamen Kandidatenbild verknüpft und dieses Bild dann noch einer weiteren Filterung unterzogen um sicherzugehen, dass auch wirklich nur zur Makulatur führende Druckfehler entsprechend detektiert werden. Um sich eine spätere Detektion der die Druckfehler verursachenden Druckdüsen vorzuhalten, werden sämtliche Spalten im Kandidatenbild, die einen detektierten Druckfehler enthalten, gekennzeichnet.The object is achieved by a method for determining printing errors in a printing process, carried out in an inkjet printing machine for processing a print job, by a computer, print products generated during the printing process being recorded and digitized with the aid of a camera system generated camera image is fed to a detection algorithm on the computer, in the event of detected printing errors, a message is sent to a machine control, which then, if necessary, ejects the printed product via a waste filter, which is characterized in that the detection algorithm separates color separations of the camera images and detects the printing errors in the color separations , Images of the individual color separations are linked to form a candidate image, the candidate image is filtered and finally the remaining detected printing errors are entered in a list and sent to the printing press. The essence of the method according to the invention is therefore to determine the printing errors directly from the camera image generated of the captured and digitized printed product. The printing errors are detected directly in the separated color separations, since the printing errors are easier to detect here than in the composite camera image. It is important, however, that the printing errors in the generated camera image can be recognized at all. For example, if the resolution of the generated camera image is too low, the information about the corresponding printing errors will be lost and the entire detection algorithm will not work. It is also important to note that the camera usually delivers RGB images, so that a separation of the individual color separations of the camera image generated naturally provides individual RGB color separations and not CMYK color separations, which correspond to the color space of the inkjet printing press used. However, this does not pose a problem for the method according to the invention, since it is primarily the exact position of the corresponding printing errors that is important, or the fact that printing errors impairing the print quality are reliably detected at all. Which color separation in the machine color space, i.e. which ink and thus which print head, is affected by the nozzle failure, can be determined by the computer using appropriate color space transformations. To improve the detection algorithm, after the detection in the color separations, the images of the individual color separations are linked again to form a common candidate image and this image is then subjected to further filtering to ensure that printing errors that actually only lead to waste are also detected accordingly. In order to reserve a later detection of the printing nozzles causing the printing errors, all columns in the candidate image which contain a detected printing error are identified.

Vorteilhafte und daher bevorzugte Weiterbildungen des Verfahrens ergeben sich aus den zugehörigen Unteransprüchen sowie aus der Beschreibung mit den zugehörigen Zeichnungen.Advantageous and therefore preferred developments of the method result from the associated subclaims and from the description with the associated drawings.

Eine bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass es sich bei den Druckfehlern um Whiteline- oder Darkline-Fehler verursacht von defekten Druckdüsen der Inkjet-Druckmaschine handelt. Der Algorithmus ist also in der Hauptsache für das Erkennen der bereits beschriebenen Whiteline-Fehler gedacht, da vor allem diese Druckfehler die Druckqualität des Druckprozesses so weit herabsetzen, dass es zur Makulatur kommt.A preferred development of the method according to the invention is that the printing errors are whiteline or darkline errors caused by defective printing nozzles of the inkjet printing press. The algorithm is therefore primarily intended for the detection of the whiteline errors already described, since these printing errors in particular reduce the print quality of the printing process to such an extent that waste occurs.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner in einem weiteren Verfahrensschritt, vor dem Senden an die Druckmaschine, aus der Liste von Whiteline- oder Darkline-Fehlern durch Anwendung eines spezifischen Testverfahrens Pseudo-Whiteline- oder Darkline-Fehler herausfiltert. Wichtig ist dabei, dass keine Falsch-positiv-Fehler vom Detektionsalgorithmus ausgegeben werden. Insbesondere dünne, helle Linien im zu erzeugenden Druckbild, wie z.B. Barcodes, sind sehr anfällig als Pseudo-Whitelines gekennzeichnet zu werden. Daher sollte der Detektionsalgorithmus in einem weiteren Verfahrensschritt mittels spezifischer Tests überprüfen, ob die detektierte White line auch wirklich eine echte White line ist, um somit auszuschließen, dass gewollte Druckbildbestandteile fälschlicherweise als Whiteline-Fehler detektiert werden und somit ungewollt zusätzliche Makulatur verursacht wird.A further preferred development of the method according to the invention is that the computer filters out pseudo-whiteline or darkline errors from the list of whiteline or darkline errors in a further method step, before sending it to the printing press, by using a specific test method . It is important that no false positive errors are output by the detection algorithm. In particular, thin, light lines in the print image to be generated, e.g. Barcodes are very prone to be labeled as pseudo whitelines. Therefore, the detection algorithm should check in a further procedural step by means of specific tests whether the detected white line is really a real white line, in order to rule out that wanted components of the printed image are incorrectly detected as whiteline errors and unwanted additional waste is caused.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner aus der Liste der verbleibenden detektierten Whiteline- oder Darkline-Fehler, die ursächlichen defekten Druckdüsen ermittelt und davon abhängig über jeweils geeignete Kompensationsverfahren die Whiteline- oder Darkline-Fehler kompensiert. Obwohl das eigentliche Ziel des erfindungsgemäßen Verfahrens darin liegt, zielgenau Druckprodukte in der Form von Druckbögen zu erkennen, welche über derartige qualitätsmindernde Whiteline-Fehler verfügen, die aus dem erzeugten Druckbogen einen Makulaturbogen machen, können die vom Detektionsalgorithmus ermittelten Informationen über die Whiteline-Fehler selbstverständlich auch dazu verwendet werden, um die ursächlichen defekten Druckdüsen zu ermitteln und diese somit von einem geeigneten Kompensationsverfahren ausgleichen zu lassen. Die Kompensation der defekten Druckdüsen erlaubt es schließlich, ohne einen Druckkopfwechsel die betreffende Inkjetdruckmaschine weiter zur Abarbeitung des laufenden Druckauftrages zu verwenden.A further preferred development of the method according to the invention is that the computer determines the causal defective pressure nozzles from the list of the remaining detected whiteline or darkline errors and, depending on this, compensates for the whiteline or darkline errors using suitable compensation methods. Although the actual aim of the method according to the invention is to precisely identify printed products in the form of printed sheets which have such quality-reducing whiteline errors that convert the printed sheet into a waste sheet, the information about the whiteline errors determined by the detection algorithm can of course be used also be used in order to determine the causal defective pressure nozzles and to have them compensated by a suitable compensation method. Finally, the compensation of the defective printing nozzles makes it possible to continue using the inkjet printing machine in question to process the current print job without having to change the print head.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner für das spezifische Testverfahren aus Vorstufendaten des Druckauftrages ein Referenzbild erstellt, auf dieses Referenzbild den Detektionsalgorithmus anwendet und so daraus Erkenntnisse über entweder erhaltene Kandidaten für Pseudo-Whiteline- oder Darkline-Fehler gewinnt und diese aus der Liste von Whiteline- oder Darkline-Fehlern entfernt oder über Bereiche im Kamerabild mit wahrscheinlichen Pseudo-Whiteline- oder Darkline-Fehler, auf die der Detektionsalgorithmus dann nicht angewendet wird. Am leichtesten lassen sich Pseudo-Whitelines detektieren, indem man aus Gut-Daten, z.B. den Vorstufendaten, ein Referenzbild erstellt und dann überprüft, ob sich in diesem Referenzbild die gefundene Struktur, die als White line detektiert wurde, ebenfalls befindet. Ist dem der Fall, handelt es sich logischerweise um eine Pseudo-Whiteline. Mit der Erkenntnis, eine solche gefunden zu haben, kann man nun auf zweierlei Weise umgehen. Man kann den gefundenen Pseudo-Whiteline-Fehler aus der Liste ganz einfach entfernen, was sicherlich die einfachste Vorgehensweise ist. Falls man aber vermeiden will, dass im fortlaufenden erfindungsgemäßen Verfahren derselbe Pseudo-Whiteline-Fehler wieder vom Detektionsalgorithmus gefunden wird, so ist es am besten, den Bereich im Kamerabild, in dem dieser Pseudo-Whiteline-Fehler aufgetreten ist, von der erfindungsgemäßen Detektion auszunehmen.A further preferred development of the method according to the invention is that the computer for the specific test method creates a reference image from prepress data of the print job, applies the detection algorithm to this reference image and thus obtains knowledge about either received candidates for pseudo whiteline or darkline errors and removes them from the list of whiteline or darkline errors or over areas in the camera image with probable pseudo-whiteline or darkline errors to which the detection algorithm is then not applied. The easiest way to detect pseudo whitelines is to use good data, e.g. the prepress data, creates a reference image and then checks whether the structure found, which was detected as a white line, is also located in this reference image. If so, it is logically a pseudo whiteline. There are two ways of dealing with the knowledge that you have found one. You can easily remove the found pseudo whiteline error from the list, which is surely the easiest procedure. However, if you want to avoid that the same pseudo-whiteline error is found again by the detection algorithm in the continuous method according to the invention, it is best to exclude the area in the camera image in which this pseudo-whiteline error has occurred from the detection according to the invention .

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner das Referenzbild in mehreren Größen und/oder Auflösungen erstellt, den Detektionsalgorithmus entsprechend mehrfach auf die verschiedenen Referenzbilder anwendet und die daraus gewonnenen Erkenntnisse zusammenfasst und anwendet. Dieses Vorgehen erhöht die Zuverlässigkeit sowohl des Detektionsalgorithmus für die spezifische Kennzeichnung von Whitelines, als auch für die Bestimmung von Pseudo-Whiteline-Fehlern.A further preferred development of the method according to the invention is that the computer creates the reference image in several sizes and / or resolutions, accordingly applies the detection algorithm several times to the different reference images, and summarizes and applies the knowledge gained therefrom. This procedure increases the reliability of the detection algorithm for the specific identification of whitelines as well as for the determination of pseudo whiteline errors.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Algorithmus auf solche Bereiche nicht angewendet wird, oder Ergebnisse aus solchen Bereichen ausgeschlossen werden, die sich durch eine hohe Variation der Grauwerte in einer begrenzten, lokalen Umgebung im Referenzbild auszeichnen. Solche Bereiche, wie z.B. Barcodes, sind besonders anfällig für die Detektion von Pseudo-Whiteline- oder Darkline-Fehlern und müssen daher von der Prüfung des Algorithmus' ausgenommen werden.A further preferred development of the method according to the invention is that the algorithm is not applied to such areas, or results from areas that are characterized by a high variation of the gray values in a limited, local environment in the reference image are excluded. Such areas as e.g. Barcodes are particularly susceptible to the detection of pseudo whiteline or darkline errors and must therefore be excluded from checking the algorithm.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass das Erstellen der Liste von Whiteline-oder Darkline-Fehlern über Spaltensummen im gefilterten Kandidatenbild erfolgt, mittels Anwendung eines Grenzwertes an die jeweils ermittelte Spaltensumme im Kandidatenbild. Echte störende Whiteline-/Darkline-Fehler erstrecken sich normalerweise über einen größeren Bereich des erfassten Kamerabildes. Um zu verhindern, dass auch nur ganz kleine, kurze Aussetzer der einzelnen Druckdüse zu einer Detektion eines Druckfehlers führen, obwohl diese eventuell gar nicht störend sind oder es sich gar um Pseudo-Whiteline-/Darkline-Fehler handelt, was bei sehr kurzen Whiteline-Fehlern sehr wahrscheinlich ist, werden nur solche Druckspalten im Kandidatenbild gekennzeichnet, in denen der ermittelte Druckfehler einen bestimmten Grenzwert überschreitet.A further preferred development of the method according to the invention is that the list of whiteline or darkline errors is created using column sums in the filtered candidate image by applying a limit value to the column sum determined in each case in the candidate image. Real annoying whiteline / darkline errors usually extend over a larger area of the captured camera image. To prevent that even very small, short misfires of the individual pressure nozzle lead to a detection of a printing error, although these may not be disturbing at all or are pseudo-whiteline / darkline errors, which are very short whiteline If errors are very likely, only those print columns are marked in the candidate image in which the determined print error exceeds a certain limit.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass das Kandidatenbild der einzelnen Farbauszüge vom Rechner mittels einer mathematischen ODER-Operation verknüpft. Diese Art der Zusammensetzung der einzelnen Farbauszüge zum Kandidatenbild hat sich rechentechnisch als am Besten geeignet erwiesen.A further preferred development of the method according to the invention is that the candidate image of the individual color separations is linked by the computer using a mathematical OR operation. This type of composition of the individual color separations to the candidate image has proven to be the most suitable from a computational point of view.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass die Filterung des Kandidatenbildes vom Rechner mittels morphologischer Operationen durchgeführt wird. Dies erlaubt insbesondere das Ausfiltern sehr kurzer Druckfehler bzw. White lines, die meist ohnehin Pseudo-Whitelines sind oder die Druckqualität des erzeugten Druckproduktes bzw. Druckbogens nicht so stark beeinflussen, dass hier eine Makulatur-Entscheidung getroffen werden muss.A further preferred development of the method according to the invention is that the filtering of the candidate image is carried out by the computer using morphological operations. This allows, in particular, the filtering out of very short printing errors or white lines, which are usually pseudo-whitelines anyway or which do not influence the print quality of the printed product or printed sheet so strongly that a waste decision has to be made here.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Detektionsalgorithmus vom Rechner mehrfach auf das erzeugte Kamerabild angewendet wird, wobei das Verfahren jeweils anders parametriert wird, um unterschiedlich ausgeprägte Darkline- oder Whiteline-Fehler zu detektieren und die Ergebnisse aller Farbauszüge aller Anwendungen des Verfahrens logisch miteinander verknüpft werden. Zusätzlich zur mehrfachen Anwendung des Detektionsalgorithmus auf mehrere Referenzbilder, was ein optionaler Verfahrensschritt des erfindungsgemäßen Verfahrens ist, kann der Detektionsalgorithmus auch mehrfach auf das erzeugte Kamerabild angewendet werden. Dies erhöht insbesondere die Genauigkeit des Detektionsalgorithmus beim Ausfiltern von Pseudo-Whiteline- oder Darkline-Fehlern, ist aber auch positiv für die Treffergenauigkeit beim Finden echter Whiteline- oder Darkline-Fehler.A further preferred development of the method according to the invention is that the detection algorithm is used several times by the computer on the generated camera image, the method being parameterized differently in order to detect darkline or whiteline errors of different types and the results of all color separations of all applications of the process are logically linked. In addition to the multiple use of the detection algorithm on several reference images, which is an optional method step of the method according to the invention, the detection algorithm can also be applied several times to the camera image generated. In particular, this increases the accuracy of the detection algorithm when filtering out pseudo-whiteline or darkline errors, but is also positive for the hit accuracy when finding real whiteline or darkline errors.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass für jeweils eine der unterschiedlich parametrierten Anwendungen des Verfahrens, das Kamerabild in jedem Pixel vorher auf einen maximalen Grauwert begrenzt wird. Dies hat den Vorteil, dass helle Ausreißer in Papierweiß-Bereichen, die den Mittelwert verfälschen könnten, ausgefiltert werden.A further preferred development of the method according to the invention is that for each of the differently parameterized applications of the method, the camera image in each pixel is previously limited to a maximum gray value. This has the advantage that bright outliers in areas of paper white that could distort the mean are filtered out.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass die Erzeugung des Kandidatenbildes eines Farbkanales durch Aufteilung des Bildes in horizontale Streifen erfolgt, wobei jeder Streifen durch eine geeignete Mittelung jeder seiner Spalte auf ein Zeilensignal reduziert wird, in dem dann Whitelines oder Darklines durch ein spezielles Suchverfahren gesucht werden und jede so ausgewertete Zeile eine Zeile des Whiteline-Kandidatenbildes ergibt. Dies ist eine wichtiges Merkmal des erfindungsgemäßen Verfahrens, da die White-/Darkline-Detektion mittels des Detektionsalgorithmus in diesen Streifen effizienter ist, als wenn der Algorithmus mit dem Gesamtbild arbeiten müsste.A further preferred development of the method according to the invention is that the candidate image of a color channel is generated by dividing the image into horizontal strips, each strip being reduced to a line signal by means of a suitable averaging of each of its columns, in which then white lines or dark lines are generated a special search method is sought and each line evaluated in this way results in a line of the whiteline candidate image. This is an important feature of the method according to the invention, since the white / darkline detection by means of the detection algorithm in these strips is more efficient than if the algorithm had to work with the overall image.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass der Rechner mittels des White- bzw. Darkline-Suchverfahrens eine Dark- oder Whiteline an einer Position durch Bewertung einer eingeschränkten Nachbarschaft um den betrachteten Pixel im Zeilensignal, erkennt. Die Einordnung, ob ein gefundener Fehler wirklich ein echter Whiteline- oder Darkline-Fehler geschieht mittels der Bewertung der unmittelbar benachbarten Pixel. Erst dadurch kann ein Pseudo-Whiteline- oder Darkline-Fehler ausgeschlossen werden.A further preferred development of the method according to the invention is that the computer uses the white or darkline search method to find a dark or Whiteline at a position by evaluating a restricted neighborhood around the viewed pixel in the line signal. The classification of whether an error found is really a real whiteline or darkline error is done by evaluating the immediately adjacent pixels. This is the only way to rule out a pseudo whiteline or darkline error.

Eine weitere bevorzugte Weiterbildung ist des erfindungsgemäßen Verfahrens ist dabei, dass das Suchverfahren zunächst das Zeilensignal mit verschiedenen Filterkernen faltet und die Ergebnisse durch Vergleich mit jeweils möglicherweise unterschiedlichen Grenzwerten in logische Signale umwandelt, die dann mit Hilfe einer logischen Verknüpfung in ein White- oder Darkline-Kandidaten-Zeilensignal umgewandelt wird.A further preferred development of the method according to the invention is that the search method first convolves the line signal with different filter cores and converts the results into logical signals by comparison with possibly different limit values, which are then converted into a white or dark line using a logical link. Candidate line signal is converted.

Die Erfindung als solche sowie konstruktiv und/oder funktionell vorteilhafte Weiterbildungen der Erfindung werden nachfolgend unter Bezug auf die zugehörigen Zeichnungen anhand wenigstens eines bevorzugten Ausführungsbeispiels näher beschrieben. In den Zeichnungen sind einander entsprechende Elemente mit jeweils denselben Bezugszeichen versehen.The invention as such and constructively and / or functionally advantageous developments of the invention are described in more detail below with reference to the accompanying drawings using at least one preferred exemplary embodiment. Corresponding elements are provided with the same reference symbols in the drawings.

Die Zeichnungen zeigen:

Figur 1:
ein Beispiel des Aufbaus einer Bogen-Inkjet-Druckmaschine
Figur 2:
ein Beispiel eines zur Druckinspektion verwendeten Bilderfassungssystems
Figur 3:
ein Beispiel eines erfassten Kamerabildes
Figur 4:
ein Streifen des erfassten Kamerabildes
Figur 5:
ein Streifen des erfassten Kamerabildes mit markierten Whitelines
Figur 6:
ein vergrößerter Ausschnitt mit markierten Whitelines aus dem Streifen des erfassten Kamerabildes
Figur 7
aus Bildstreifen zusammengesetztes Bild mit markierten Whiteline-Kandidaten
Figur 8:
markierte Whiteline-Bereiche in einem Kamerabild
Figur 9:
Störung des Spaltenmittelwerts durch helle Papierweiß-Bereiche oder einzelne helle Pixel
Figur 10:
der schematische Ablauf des erfindungsgemäßen Verfahrens
The drawings show:
Figure 1:
an example of the construction of a sheet inkjet printing machine
Figure 2:
an example of an image acquisition system used for print inspection
Figure 3:
an example of a captured camera image
Figure 4:
a strip of the captured camera image
Figure 5:
a strip of the captured camera image with marked whitelines
Figure 6:
an enlarged section with marked whitelines from the strip of the captured camera image
Figure 7
Image composed of image strips with marked whiteline candidates
Figure 8:
marked whiteline areas in a camera image
Figure 9:
The column mean value is disturbed by light areas of paper white or individual bright pixels
Figure 10:
the schematic sequence of the method according to the invention

Das Anwendungsgebiet der bevorzugten Ausführungsvariante ist eine Inkjet-Druckmaschine 7. Ein Beispiel für den grundlegenden Aufbau einer solchen Maschine 7, bestehend aus Anleger 1 für die Zufuhr des Drucksubstrats 2, üblicherweise eines Druckbogens 2, in das Druckwerk 4, wo es von den Druckköpfen 5 bedruckt wird, bis hin zum Ausleger 3, ist in Figur 1 dargestellt. Dabei handelt es sich hier um eine Bogen-Inkjetdruckmaschine 7, welche von einem Steuerungsrechner 6 kontrolliert wird. Beim Betrieb dieser Druckmaschine 7 kann es, wie bereits beschrieben, zu Ausfällen einzelner Druckdüsen in den Druckköpfen 5 im Druckwerk 4 kommen. Folge sind dann White-/Darklines, bzw. im Falle eines mehrfarbigen Drucks, verzerrte Farbwerte. Ein Beispiel einer solchen White-/Darkline 9 in einem erfassten Kamerabild 8 ist in Figur 3 dargestellt.The field of application of the preferred embodiment variant is an inkjet printing machine 7. An example of the basic structure of such a machine 7, consisting of feeder 1 for feeding the printing substrate 2, usually a printing sheet 2, into the printing unit 4, where it comes from the print heads 5 is printed up to the boom 3, is in Figure 1 shown. This is a sheet inkjet printing machine 7, which is controlled by a control computer 6. As already described, the operation of this printing press 7 can lead to failures of individual printing nozzles in the printing heads 5 in the printing unit 4. The result is white / dark lines, or, in the case of multi-color printing, distorted color values. An example of such a white / dark line 9 in a captured camera image 8 is shown in FIG Figure 3 shown.

Im Gegensatz zu aus dem Stand der Technik bekannten Verfahren gestaltet sich im erfindungsgemäßen Verfahren die Einbettung der Detektionsmethode für die White-/Darklines 14 in den Gesamtablauf des Druckprozesses anders und erfordert auch keine Interaktion des Druckers 8 mehr. Der Gesamtablauf des Verfahrens in einer ersten, bevorzugten Ausführungsvariante ist schematisch in Figur 10 dargestellt:

  1. 1. Nach dem Druck wird der bedruckte Bogen mit Hilfe eines Kamerasystems 10, welches Teil eines Inline- Bilderfassungssystems 12 sein kann, digitalisiert. Figur 2 zeigt ein Beispiel für ein solches Bilderfassungssystem 12, welches das erfindungsgemäße Verfahren einsetzt. Es besteht aus mindestens einem Bildsensor 10, üblicherweise einer Kamera 10, welche in die Inkjet-Druckmaschine 7 integriert ist. Die mindestens eine Kamera 10 nimmt die von der Druckmaschine 7 erzeugten Druckbilder 13 auf und sendet die Daten an einen Rechner 6, 9 zur Auswertung. Dieser Rechner 6, 9 kann ein eigener separater Rechner 9 sein, z.B. ein oder mehrere spezialisierte Bildverarbeitungsrechner 9, oder auch mit dem Steuerungsrechner 6 der Druckmaschine 7 identisch sein. Mindestens der Steuerungsrechner 7 der Druckmaschine 7 besitzt ein Display 11, auf welchem die Ergebnisse der Bildinspektion dem Anwender 8 angezeigt werden. Bevorzugt wird für das im Folgenden beschriebene Verfahren der Bildverarbeitungsrechner 9 eingesetzt, auf welchem dann der Bildverarbeitungsalgorithmus läuft, welcher das erfindungsgemäße Verfahren ausführt. Das so erzeugte Kamerabild 13 hat dabei eine geringere Auflösung als der Druck. Üblich ist eine Kameraauflösung von 670dpi bei einer Druckauflösung von 1200dpi. Die Auflösung und Optik muss so gewählt sein, dass White-/Darklines 14 als 1-2 Kamerapixel breite, vertikale, aufgehellte Streifen erscheinen. Ist die Auflösung zu hoch, so kann das Bild 13 zunächst mit bekannten Verfahren der Bildverarbeitung auf passende Auflösung reduziert werden, insbesondere pyramidale Bildrepräsentationen können sich hier als nützlich erweisen.
  2. 2. Das Kamerabild 13 wird einem im Weiteren näher beschriebenen White-/Darkline-Detektionsalgorithmus zugeführt. Zusätzlich kann es parallel noch weiteren Auswertungen zugeführt werden.
  3. 3. Werden White-/Darklines 13 vom Detektionsalgorithmus erkannt, so werden diese vom Bildverarbeitungsrechner 9 an den Steuerungsrechner 6 der Druckmaschine 7 gemeldet, welche dann, zusammen mit anderen Daten der Druckmaschine 7, eine Makulaturentscheidung trifft und den bedruckten Bogen 2 eventuell über eine Makulaturschleuse ausschleust.
  4. 4. Optional können die gefundenen White-/Darklines 14 einer genaueren Auswertung unterzogen werden, um die defekte Düse zu identifizieren und diese Information zur Kompensation der defekten Düse zu nutzen.
In contrast to the methods known from the prior art, in the method according to the invention the embedding of the detection method for the white / dark lines 14 in the overall process of the printing process is different and also requires no interaction of the printer 8. The overall sequence of the method in a first, preferred embodiment variant is shown schematically in Figure 10 shown:
  1. 1. After printing, the printed sheet is digitized using a camera system 10, which can be part of an inline image acquisition system 12. Figure 2 shows an example of such an image acquisition system 12 which uses the method according to the invention. It consists of at least one image sensor 10, usually a camera 10, which is integrated in the inkjet printing machine 7. The at least one camera 10 records the print images 13 generated by the printing press 7 and sends the data to a computer 6, 9 for evaluation. This computer 6, 9 can be its own separate computer 9, for example one or more specialized image processing computers 9, or it can also be identical to the control computer 6 of the printing press 7. At least the control computer 7 of the printing press 7 has a display 11 on which the results of the image inspection are shown to the user 8. For the method described below, the image processing computer 9 is preferably used, on which the image processing algorithm that executes the method according to the invention then runs. The camera image 13 generated in this way has a lower resolution than the pressure. A camera resolution of 670dpi with a print resolution of 1200dpi is common. The resolution and optics must be selected so that White- / Darklines 14 appear as vertical, lightened stripes that are 1-2 camera pixels wide. If the resolution is too high, the image 13 can first be reduced to a suitable resolution using known image processing methods; pyramidal image representations in particular can prove useful here.
  2. 2. The camera image 13 is fed to a white / darkline detection algorithm described in more detail below. It can also be used for further evaluations in parallel.
  3. 3. If white / dark lines 13 are detected by the detection algorithm, these are reported by the image processing computer 9 to the control computer 6 of the printing press 7, which then, together with other data from the printing press 7, makes a waste decision and possibly the printed sheet 2 via a waste lock ejected.
  4. 4. Optionally, the white / dark lines 14 found can be subjected to a more precise evaluation in order to identify the defective nozzle and to use this information to compensate for the defective nozzle.

Aus diesem Ablauf wird deutlich, dass eine schritthaltende Verarbeitung der Kamerabilder 13 für die Funktion des Gesamtsystems 12 essenziell ist.From this sequence it becomes clear that a step-by-step processing of the camera images 13 is essential for the function of the overall system 12.

Der bereits erwähnte Algorithmus zur White-/Darkline-Detektion wird hier nun im Gegensatz zum Stand der Technik nur auf das Kamerabild 13 angewendet. Figur 3 zeigt ein Beispiel eines Druckbogens 2 mit erfassten Kamerabildern 13, wobei eines einen White-/Darkline-Fehler 14 aufweist. Optional kann in einer weiteren Ausführungsvariante aber auch eine zusätzliche, nachgelagerte Filterung mit Hilfe eines Referenzbildes erfolgen. Dies wird im weiteren Verlauf der Beschreibung noch näher erläutert.In contrast to the prior art, the previously mentioned algorithm for white / dark line detection is now only applied to the camera image 13. Figure 3 shows an example of a printing sheet 2 with captured camera images 13, one of which has a white / darkline error 14. Optionally, in a further embodiment variant, additional, downstream filtering can also be carried out using a reference image. This will be explained in more detail later in the description.

Die Grundlage des hier vorgestellten Detektionsalgorithmus bildet die Unterteilung des erfassten Kamerabildes 13 in horizontale Streifen 15, 15a, 15b. Der Algorithmus umfasst dabei folgende Schritte:

  1. 1. Separiere die RGB-Farbauszüge und für jeden Farbauszug C separat:
    • 1.1. Teile das Kamerabild 13 in ca. 1-10mm hohe Streifen 15, sh. Figur 4
    • 1.2. Jeder Streifen 15 wird in Laufrichtung des Bogens 2, also in y-Richtung, gemittelt. Es ergibt sich ein Signal Is(x) für den s-ten Streifen 15
    • 1.3. In jedem Streifen 15 werden White-/Darklines 14 separat detektiert, indem für jede x-Position ein Wahrheitswert berechnet wird:
      • 1.3.1. Als optionaler Schritt werden Pixel mit Grauwerten IC,s(x) > Gmax nicht berücksichtigt, da White-/Darklines 14 in hellen Bildbereichen nicht sichtbar werden.
      • 1.3.2. WLC(x,s) = (IC,s (x)- IC,s(x-1) > L) and ((IC,s(x)- IC,s(x+1)>L) or (IC,s(x) - IC,s (x+2) > L)) or (IC,s(x) - IC,s(x-2) > L) and ((IC,s(x) - IC,s(x+1) > L)) Dieser Ausdruck prüft, ob eine 1 oder 2 Pixel breite White-/Darkline 14 mit einer Aufhellung um mehr als L Graustufen besteht und schließt Kanten im Bild auf effektive Weise aus. Figur 5 und 6 zeigen jeweils einen Bildstreifen 15 mit erkannten White-/Darklines 14, welche mit einer entsprechenden Markierung 16 sind. Figur 6 zeigt dabei einen vergrößerten Ausschnitt 17 aus dem Streifen 15 mit Markierung 16 und White-/Darkline 14.
    • 1.4. So ergibt sich ein schwarz-weiß-Bild WLCC (x,y), in dem alle White-/Darkline-Kandidaten 14 vermerkt sind.
  2. 2. Die Bilder WLCC(x,y) der einzelnen Farbauszüge werden ODER-Verknüpft und ergeben dann ein einziges Kandidatenbild WLC(x,y) 21, welches beispielhaft in Figur 7 dargestellt wird. Es zeigt ein aus Bildstreifen 15 zusammengesetztes Bild 21 mit markierten White-/Darkline-Kandidaten 14.
  3. 3. Das Bild WLC(x,y) 21 kann nun noch mit morphologischen Operationen gefiltert werden. So erlaubt ein Erodieren mit einem Strukturelement SE der Form:
    • 010
    • 010
    sehr kurze White-/Darklines 14 auszufiltern. Die Höhe von SE kann variabel eingestellt werden und erlaubt es so eine Mindestlänge der zu detektierenden White-/Darklines 14 voreinzustellen.
  4. 4. Die gleiche Auswertung, wie in den Schritten 1-3 beschrieben kann in einem weiteren Ausführungsbeispiel parallel auf ein eventuell vorhandenes Referenzbild, welches als RGB-Bild, direkt vom RIP erzeugt wird, angewendet werden. Die sich daraus ergebenden White-/Darkline-Kandidaten WLCREF(x,y) 14 markieren Bereiche des Druckbildes, in denen falsch-positive White-/Darkline-Detektionen durch das Kundenmotiv wahrscheinlich sind. Diese Bereiche sollten aus WLC(x,y) 21 aus dem Kamerabild 13 entfernt werden. Dazu werden zunächst die Bereiche in WLCREF(x,y) mit Hilfe einer morphologischen Dilatation ausgeweitet. Dies entspricht einer Glättung von WLCREF(x,y). Danach wird WLC(x,y) 21 durch WLCREF(x,y) gefiltert:

            WLC(x,y) ← WLC(x,y) and (not WLCREF(x,y))

  5. 5. Abschließend werden alle Spalten CWL in WLC(x,y) 21 detektiert, die eine White-/Darkline 14 enthalten. Dies kann über einen Grenzwert minWLPerColumn an die Spaltensumme erfolgen und zwar als Kodierung: keine White-/Darkline = 0, White-/Darkline = 1 in WLC(x,y) 21, d.h. zählen der als White-/Darkline 14 markierten Einträge in WLC(x,y) 21: CWL = x | y WLC x y > minWLPerColumn
    Figure imgb0001
The detection algorithm presented here is based on the subdivision of the captured camera image 13 into horizontal strips 15, 15a, 15b. The algorithm includes the following steps:
  1. 1. Separate the RGB color separations and for each color separation C separately:
    • 1.1. Divide the camera image 13 into strips 1-10mm high, sh. Figure 4
    • 1.2. Each strip 15 is averaged in the running direction of the sheet 2, that is to say in the y direction. A signal I s (x) results for the s th stripe 15
    • 1.3. White / dark lines 14 are detected separately in each strip 15 by calculating a truth value for each x position:
      • 1.3.1. As an optional step, pixels with gray values I C, s (x) > G max are not taken into account, since white / dark lines 14 are not visible in bright image areas.
      • 1.3.2. WLC ( x, s ) = (I C, s (x) - I C, s (x-1)> L) and (( I C, s (x) - I C, s (x + 1) > L ) or (I C, s (x) - IC, s (x + 2)> L)) or (I C, s (x) - I C, s (x-2) > L) and (( I C , s (x) - I C, s (x + 1)> L )) This printout checks whether there is a 1 or 2 pixel wide white / dark line 14 with a brightening by more than L gray levels and opens up edges in the image effective way. Figures 5 and 6 each show an image strip 15 with recognized white / dark lines 14, which are with a corresponding marking 16. Figure 6 shows an enlarged detail 17 from the strip 15 with marking 16 and white / dark line 14.
    • 1.4. The result is a black and white image WLCC (x, y), where all white- / Darkline candidates 14 are noted.
  2. 2. The images WLC C ( x, y ) of the individual color separations are OR-linked and then result in a single candidate image WLC (x, y) 21, which is shown as an example in Figure 7 is pictured. It shows an image 21 composed of image strips 15 with marked white / darkline candidates 14.
  3. 3. The image WLC ( x, y ) 21 can now be filtered using morphological operations. Eroding with a structural element SE thus allows the form:
    • 010
    • 010
    filter out very short white / dark lines 14. The height of SE can be set variably and thus allows a minimum length of the white / dark lines 14 to be detected to be preset.
  4. 4. In a further exemplary embodiment, the same evaluation as described in steps 1-3 can be applied in parallel to a possibly existing reference image, which is generated as an RGB image directly from the RIP. The resulting white / darkline candidates WLC REF ( x, y ) 14 mark areas of the printed image in which false positive white / darkline detections by the customer motif are likely. These areas should be removed from the WLC ( x, y ) 21 from the camera image 13. For this purpose, the areas in WLC REF ( x, y ) are first expanded using a morphological dilation. This corresponds to a smoothing of WLC REF ( x, y ). Then WLC ( x, y ) 21 is filtered by WLC REF ( x, y ):

    WLC ( x, y ) ← WLC ( x, y ) and (not WLC REF ( x, y ))

  5. 5. Finally, all columns C WL in WLC ( x, y ) 21 are detected that contain a white / dark line 14. This can be done via a limit value minWLPerColumn to the column sum and as coding: no white / dark line = 0, white / dark line = 1 in WLC ( x, y ) 21, i.e. count the entries marked as white / dark line 14 in WLC ( x, y ) 21: CWL = x | y WLC x y > minWLPerColumn
    Figure imgb0001

Das erfindungsgemäße Verfahren kann zudem in weiteren bevorzugten Ausführungsformen angepasst werden:

  • So können die nachgelagerten Filter variiert werden.
  • Die Anzahl der der White-/Darkline-Kandidaten 14 muss eine Mindestanzahl pro Spalte erreichen um als White-/Darkline 14 gemeldet zu werden
  • Für den Helligkeitswert der Pixel wird ein Maximalwert definiert, damit sehr helle Pixel nicht den Mittelwert verfälschen. Denn eine White-/Darkline 14 hat keine sehr hellen Pixel in einem 670 dpi Kamerabild 13. D.h. alle Grauwerte im Bild > 50 werden auf 50 begrenzt;
  • Es wird geprüft. ob an den relevanten Stellen im Referenzbild starke Strukturen vorhanden sind, die schon im Referenzbild zu einer White-/Darkline-ähnlichen Struktur führen und deshalb im Kamerabild 13 ausgeblendet werden müssen. Dafür muss das Referenzbild nicht in der vollen Auflösung vorliegen, da nur eine grobe Abschätzung benötigt wird ob der Teilbereich des Referenzbildes strukturiert oder homogen ist; sh. Schritt 4.
  • Das oben beschriebene Verfahren kann zur schritthaltenden Anwendung auf einer Grafikkarte (GPU) als Rechenbeschleuniger implementiert werden.
  • Der beschriebene Detektionsalgorithmus kann als Teilkomponente des Bilderfassungssystems 12, welches die Bildinspektion durchführt, implementiert werden. Aus dem WLC(x,y)-Bild 21 können dann noch Daten für einen Report an den Bediener 8, bzw. Kunden abgeleitet werden, indem zusammenhängende Flächen (Blobs) im Bild 13 erkannt werden und in einem Übersichtsbild für den Bediener/-in 8 einer späteren Auswertung markiert werden. Figur 8 zeigt ein Beispiel für ein Kamerabild 13 mit markierten White-/Darkline-Bereichen 20 als Teil eines solchen Reports.
The method according to the invention can also be adapted in further preferred embodiments:
  • The downstream filters can be varied in this way.
  • The number of white / darkline candidates 14 must reach a minimum number per column in order to be reported as white / darkline 14
  • A maximum value is defined for the brightness value of the pixels so that very bright pixels do not falsify the mean value. This is because a white / dark line 14 has no very bright pixels in a 670 dpi camera image 13. That is, all gray values in the image> 50 are limited to 50;
  • It is checked. whether there are strong structures at the relevant points in the reference image that already lead to a white / darkline-like structure in the reference image and must therefore be hidden in the camera image 13. The reference image does not have to be in full resolution for this, since only a rough estimate is required as to whether the partial area of the reference image is structured or homogeneous; sh. Step 4.
  • The method described above can be implemented for step-by-step application on a graphics card (GPU) as a computing accelerator.
  • The detection algorithm described can be implemented as a subcomponent of the image acquisition system 12 which carries out the image inspection. Data can then be derived from the WLC ( x, y ) image 21 for a report to the operator 8 or customer by recognizing coherent areas (blobs) in the image 13 and in an overview image for the operator 8 to be marked for later evaluation. Figure 8 shows an example of a camera image 13 with marked white / darkline areas 20 as part of such a report.

Allerdings wird bei diesen weiteren bevorzugten Ausführungsformen meist ein Referenzbild benötigt, was neben den bereits erwähnten Nachteilen die Bearbeitungsgeschwindigkeit beeinträchtigt. Der Einsatz eines Referenzbildes kann allerdings durch Vermeiden von falsch-positiv detektierten White-/Darklines 14 die Güte des Verfahrens weiter verbessern.However, a reference image is usually required in these further preferred embodiments, which, in addition to the disadvantages already mentioned, affects the processing speed. However, the use of a reference image can further improve the quality of the method by avoiding false / positively detected white / dark lines 14.

Das erfindungsgemäße Verfahren damit viele Vorteile gegenüber dem Stand der Technik auf. So gehen bei großen Farbabweichungen zwischen Sollbild und Kamerabild 13, z.B. bei einem falsch kalibrierten Workflow hinsichtlich Kameras 10, Weißabgleich, Papiersorte, kurze White-/Darklines 14 oft im Bild-/Signalrauschen unter. Mit dem erfindungsgemäßen Verfahren wird dieser Nachteil behoben. Auch muss bei aus dem Stand der Technik bekannten Verfahren das Referenzbild in der vollen Auflösung in den Rechner 9 transportiert werden, z.B. mit 670 dpi. Das ist mit derzeitig vorhandenen technischen Mitteln nur unter Aufwendung hoher Kosten möglich. Da der hier vorgestellte Algorithmus ohne Referenzbild bzw. zumindest ohne hochaufgelöstes Referenzbild auskommt kann man diese Kosten einsparen. Schließlich ist für die Detektion grundlegend kein Referenzbild nötig, auch wenn es zur Vermeidung von falsch-positiven White-/Darkline-Detektionen durch im Kunden-Motiv enthaltene Strukturen eingesetzt werden kann. Es muss insbesondere zur Detektion von White-/Darkline-Kandidaten 14 kein direkter Vergleich von Referenz- und Kamerabild 13 mehr erfolgen.The method according to the invention thus has many advantages over the prior art. In the case of large color deviations between the target image and camera image 13, for example in the case of an incorrectly calibrated workflow with regard to cameras 10, white balance, paper type, short white / dark lines 14, they are often lost in the image / signal noise. This disadvantage is eliminated with the method according to the invention. Also has to come from Methods known in the art, the reference image can be transported in full resolution to the computer 9, for example with 670 dpi. This is only possible with the currently available technical means at high costs. Since the algorithm presented here manages without a reference image or at least without a high-resolution reference image, these costs can be saved. Finally, a reference image is fundamentally not necessary for the detection, even if it can be used to avoid false-positive white / darkline detections through structures contained in the customer motif. In particular for the detection of white / darkline candidates 14, there is no longer any need to compare the reference and camera images 13 directly.

Für das erfindungsgemäße Verfahren existiert zudem ein weiteres, besonders bevorzugtes Ausführungsbeispiel, welches das Verfahren noch weiter verbessert. Es wird hierfür folgender, auf der vorherigen Ausführungsvariante basierender zweistufiger Algorithmus vorgeschlagen:
In Stufe eins wird gezielt nach White-/Darkline-Kandidaten 14 gesucht:
Hierfür wird der in den vorherigen Ausführungsbeispielen vorgestellte Algorithmus mehrfach, mit unterschiedlichen Parametern, aufgerufen. Die Ergebnisse der Durchläufe des Algorithmus werden dann logisch verknüpft. Außerdem wird der Algorithmus in seinen Abläufen weiter verbessert. Dies geschieht wie folgt:
Der Algorithmus wird mehrfach auf das Kamerabild 13 des Bogens 2 angewendet. Bei den unterschiedlichen Anwendungen werden die Parameter wie folgt angepasst:

  1. 1. Das Kamerabild 13 wird in seinen Grauwerten/Farbkanalwerten komprimiert. Die Kompression wird so ausgeführt, dass Helligkeitswerte oberhalb einer Schwelle Smax auf den Schwellwert Smax begrenzt werden. Dies unterdrückt effektiv alle Strukturen im Bild 13, die heller als Smax sind. Damit werden in diesem Schritt White-/Darklines 14 in dunklen Flächen in homogenen und inhomogenen Bereichen sehr gut gefunden. Die Kompression wird vor dem ersten Schritt des vorherigen Ausführungsbeispiels ausgeführt.
  2. 2. Auch hier wird das Kamerabild 13 in seinen Grauwerten, bzw. Farbkanalwerten auf komprimiert. Die Kompression wird hier jedoch so ausgeführt, dass Helligkeitswerte oberhalb einer Schwelle Kmax (Kmax > Smax) auf den Schwellwert Kmax begrenzt werden. Die Kompression wird vor dem dritten Schritt des vorherigen Ausführungsbeispiels ausgeführt. Zusätzlich wird die lokale Homogenität des Bildes 13 berechnet, indem bei der Mittelung im zweiten Schritt des vorherigen Ausführungsbeispiels zum Mittelwert noch die Standardabweichung des Spaltensegments berechnet wird. Nur White-/Darklines 14 in relativ homogenen Flächen, d.h. bei einer Standardabweichung < σmax, werden in die Kandidatenliste aufgenommen. Diese Filterung kann im dritten Schritt des vorherigen Ausführungsbeispiels erfolgen. In diesem Ansatz werden White-/Darklines 14 in hellen, homogenen Flächen sehr gut gefunden. White-/Darklines 14 in hellen inhomogenen Bereichen sind für das menschliche Auge ohnehin nur schwer zu sehen und werden deshalb nicht berücksichtigt.
There is also a further, particularly preferred exemplary embodiment of the method according to the invention, which further improves the method. The following two-stage algorithm based on the previous embodiment is proposed:
In stage one, a targeted search is made for white / darkline candidates 14:
For this purpose, the algorithm presented in the previous exemplary embodiments is called up several times with different parameters. The results of the runs of the algorithm are then logically linked. In addition, the algorithm is further improved in its processes. This is done as follows:
The algorithm is applied several times to the camera image 13 of the sheet 2. In the different applications, the parameters are adjusted as follows:
  1. 1. The camera image 13 is compressed in its gray values / color channel values. The compression is carried out in such a way that brightness values above a threshold S max are limited to the threshold value S max . This effectively suppresses all structures in Figure 13 that are lighter than S max . In this step, white / dark lines 14 are found very well in dark areas in homogeneous and inhomogeneous areas. The compression is carried out before the first step of the previous exemplary embodiment.
  2. 2. Here, too, the camera image 13 is compressed in its gray values or color channel values. However, the compression is carried out here in such a way that brightness values above a threshold K max (K max > S max ) are limited to the threshold value K max . The compression is carried out before the third step of the previous exemplary embodiment. In addition, the local homogeneity of the image 13 is calculated by calculating the standard deviation of the column segment during the averaging in the second step of the previous exemplary embodiment. Only white / dark lines 14 in relatively homogeneous areas, ie with a standard deviation <σ max , are included in the candidate list. This filtering can take place in the third step of the previous exemplary embodiment. In this approach, white / dark lines 14 are found very well in bright, homogeneous areas. White- / Darklines 14 in bright inhomogeneous areas are difficult to see anyway and are therefore not taken into account.

Beide Ergebnisse werden mit einem logisch ODER verknüpft und zu einer White-/Darkline-Kandidatenliste zusammengefasst. Auch komplexere Verknüpfungen mit weiteren Informationen sind optional denkbar.Both results are linked with a logical OR and combined into a white / darkline candidate list. More complex links with further information are also conceivable as an option.

Im zweiten Schritt des vorherigen Ausführungsbeispiels können zudem verschiedene Mittelungsverfahren, neben einem einfacher Mittelwertbildung, auf ein erzeugtes Bildsignal angewendet werden, die vorteilhafte Eigenschaften aufweisen. Dies sind z.B.:

  • Median statt Mittelwert; Vorteil ist hier, dass das Verfahren sehr robust auf Ausreißer reagiert
  • Mittelwert nur über Pixel, die einen maximalen Helligkeitswert Gmax,mean nicht überschreiten. Vorteil ist hier das Ausfiltern von hellen Ausreißern oder Papierweiß-Bereichen, die den Mittelwert verfälschen können. Dies ist beispielhaft in Figur 9 dargestellt. Gut ist hier die Störung des Spaltenmittelwerts im oberen und unteren Teil von Figur 9 durch helle Papierweiß-Bereich oder einzelne helle Pixel zu erkennen. Ein Problem stellt hier allerdings das Auftreten von Pseudo-White-/Darklines 14b, sowie ein mangelnder Kontrast des erfassten Druckbildes 13 dar.
In the second step of the previous exemplary embodiment, in addition to simple averaging, various averaging methods can be applied to a generated image signal that have advantageous properties. For example:
  • Median instead of mean; The advantage here is that the process reacts very robustly to outliers
  • Average only over pixels that do not exceed a maximum brightness value Gmax, mean. The advantage here is filtering out bright outliers or areas of paper white that can distort the mean value. This is exemplified in Figure 9 shown. The disturbance of the column mean in the upper and lower part of is good here Figure 9 recognizable by bright paper white area or single bright pixels. However, a problem here is the occurrence of pseudo white / dark lines 14b and a lack of contrast in the captured print image 13.

Im mittleren Teil ist dabei das von der Kamera 10 erfasste Druckbild 13 mit einem White-/Darkline-Fehler 14 abgebildet. Aus diesem Druckbild 13 wird jeweils ein Streifen mit Text 15a und ein Streifen am Bildrand 15b ausgeschnitten, aus denen dann jeweils Bildsignale 18, 19 erzeugt werden. Im Bildsignal 18 des Streifens mit Text 15a erkennt man gut die genannte Auswirkung des White-/Darkline-Fehlers 14 im Signal in Form eines entsprechenden Peaks 14a im Signal 18. Zudem ist ein Peak eines Pseudo-White-/Darkline-Fehler 14b dargestellt, der sich aus der Textdarstellung ergibt. Gut zu erkennen ist, dass eine Unterscheidung im Bildsignal 18 zwischen echtem Peak eines White-/Darkline-Fehlers 14a und dem Peak 14b eines Pseudo-White-/Darkline-Fehlers 14b schwer zu unterscheiden ist, da die Mindestdetektionshöhe 19 von beiden Peaks 14a, 14b überschritten wird. Im unteren Teil sind zwei Bildsignale 18a, 18b für den Fall des erzeugten Signals für den Bildrand dargestellt. Hier wird die Mindestdetektionshöhe 19 nur im Signal mit verbessertem Kontrast 18a überschritten und die White-/Darkline 14 sicher erkannt. Im zweiten Signal mit niedrigen Kontrast 18b wird die Mindestdetektionshöhe 19 nicht überschritten und die White-/Darkline 14 entsprechend nicht erkannt.In the middle part, the printed image 13 captured by the camera 10 is shown with a white / darkline error 14. A stripe with text 15a and a stripe at the image edge 15b are cut out from this print image 13, from which image signals 18, 19 are then respectively generated. In the image signal 18 of the strip with text 15a one can clearly see the mentioned effect of the white / darkline error 14 in the signal in the form of a corresponding peak 14a in the signal 18. In addition, a peak of a pseudo white / darkline error 14b is shown, which results from the text representation. It can be clearly seen that a distinction in the image signal 18 between the real peak of a white / darkline error 14a and the peak 14b of a pseudo white / darkline error 14b is difficult to distinguish, since the minimum detection height 19 of both peaks 14a, 14b is exceeded. In the lower part, two image signals 18a, 18b are shown for the case of the generated signal for the image edge. Here the minimum detection height 19 is exceeded only in the signal with improved contrast 18a and the white / darkline 14 is reliably detected. In the second signal with low contrast 18b, the minimum detection height 19 is not exceeded and the white / dark line 14 is accordingly not recognized.

Im dritten Schritt des vorherigen Ausführungsbeispiels werden White-/Darklines 14 über eine Schwelle L detektiert. Für diese Schwelle werden in diesem weiteren Ausführungsbeispiel zudem zwei weitere Verbesserungen gefunden:

  1. 1. Es werden zwei Schwellen verwendet, je nachdem ob eine 1-Pixel-breite, oder eine 2-Pixel-breite White-/Darkline 14 detektiert werden soll. Je nach Kamerauflösung kann es zudem auch sinnvoll sein, auch 3-, 4-, ... N-Pixel breite White-/Darklines 14 zu finden. Es müssen dann entsprechend mehr Schwellen angewendet werden. Der Detektions-Ausdruck aus dem dritten Schritt lautet dann mit den zwei Schwellen L1 und L2: WLC x s = I C , s x I C , s x 1 > L 1 and I C , s x I C , s x + 1 > L 1 or I C , s x I C , s x 1 > L 2 and I C , s x I C , s x + 2 > L 2 or I C , s x I C , s x 2 > L 2 and I C , s x I C , s x + 1 > L 2
    Figure imgb0002
  2. 2. Die Schwelle kann von der lokalen Umgebung jedes Pixel x abhängig gemacht werden, sodass für White-/Darklines 14 in hellen Bildbereichen höhere Schwellen angewendet werden, als in Bildbereichen mit niedriger Helligkeit. Als Maß für die lokale Helligkeit können die Grauwerte in einer engen Umgebung um die Position x unter Ausschluss einer evtl. vorhandenen White-/Darkline 14 gemittelt werden. Alternativ kann ein gleitender Medianfilter auf IC,s(x) angewendet werden.
In the third step of the previous exemplary embodiment, white / dark lines 14 are detected via a threshold L. Two further improvements are also found for this threshold in this further exemplary embodiment:
  1. 1. Two thresholds are used, depending on whether a 1-pixel-wide or a 2-pixel-wide white / dark line 14 is to be detected. Depending on the camera resolution, it can also make sense to find 3, 4, ... N-pixel wide white / dark lines 14. Then more thresholds have to be applied accordingly. The detection expression from the third step is then with the two thresholds L1 and L2: WLC x s = I. C. , s x - I. C. , s x - 1 > L 1 and I. C. , s x - I. C. , s x + 1 > L 1 or I. C. , s x - I. C. , s x - 1 > L 2nd and I. C. , s x - I. C. , s x + 2nd > L 2nd or I. C. , s x - I. C. , s x - 2nd > L 2nd and I. C. , s x - I. C. , s x + 1 > L 2nd
    Figure imgb0002
  2. 2. The threshold can be made dependent on the local environment of each pixel x, so that higher thresholds are used for white / darklines 14 in bright image areas than in image areas with low brightness. As a measure of the local brightness, the gray values can be averaged in a narrow environment around the position x to the exclusion of any white / dark line 14 that may be present. Alternatively, a moving median filter can be applied to I C, s (x).

Als weitere vorteilhafte Verbesserung des vorherigen Ausführungsbeispiels kann der Algorithmus nicht auf ein RGB-Bild 13 angewendet werden, sondern das RGB-Bild 13 wird vorher mit einem geeigneten Verfahren in ein Graustufenbild umgerechnet, welches für White-/Darklines 14 einen möglichst guten Kontrast aufweist. Geeignete Transformations-Operationen hierfür sind:

  • Berechnung des Luminanz-Kanals aus dem Lab-Farbraum
  • Berechnung des Helligkeitswertes oder Sättigungswertes aus dem HSB-Farbraum
  • Mittelung der geeignet gewichteten RGB-Farbkanäle, auf das menschliche Auge angepasst
As a further advantageous improvement of the previous exemplary embodiment, the algorithm cannot be applied to an RGB image 13, but rather the RGB image 13 is previously converted into a grayscale image which has the best possible contrast for white / dark lines 14. Suitable transformation operations for this are:
  • Calculation of the luminance channel from the Lab color space
  • Calculation of the brightness value or saturation value from the HSB color space
  • Averaging of suitably weighted RGB color channels, adapted to the human eye

In Stufe 2 werden nun Pseudo-White-/Darklines 14b durch Anwendung eines oder mehrerer Filter aus den in Stufe eins ermittelten White-/Darkline-Kandidaten 14 herausgefiltert. Hierfür gibt es folgende Verbesserungen gegenüber dem vorherigen Ausführungsbeispiel:
Durch Anwendung eines Spaltenfilters auf die White-/Darkline-Kandidatenliste werden alle White-/Darkline-Kandidaten 14, die nicht mindestens die Anzahl Ncol,min weitere White-/Darkline-Kandidaten 14 in ein und derselben Bildspalte haben aus der White-/Darkline-Kandidatenliste entfernt. Die Idee hinter diesem Filter ist es, sehr kurze oder vereinzelt auftretende Fehldetektionen auszuschließen. Denn eine White-/Darkline 14 wird sich in den meisten realistischen Druckmotiven auf mehrere Bereiche einer Spalte auswirken, während Fehldetektionen nur lokal verstreut auftreten.
In stage 2, pseudo white / dark lines 14b are now filtered out of the white / dark line candidates 14 determined in stage one by using one or more filters. There are the following improvements over the previous embodiment:
By using a column filter on the white / darkline candidate list, all white / darkline candidates 14 who do not have at least the number N col, min more white / darkline candidates 14 in one and the same image column become the white / Darkline candidate list removed. The idea behind this filter is to rule out very short or occasional false detections. Because in most realistic print motifs, a white / dark line 14 will affect several areas of a column, while false detections only occur locally.

Der im vorherigen Ausführungsbeispiel in Schritt vier beschriebene Filter mit Hilfe des Referenzbildes wird auch hier mit allen oben beschrieben Modifikationen ausgeführt. Dabei wird als Verbesserung das Referenzbild vorher in seiner Größe angepasst. Ebenso kann es sinnvoll sein das Referenzbild in unterschiedlichen Auflösungen mehrfach zu verarbeiten und die Ergebnisse dieser Stufen vor der Ausfilterung zusammenzufassen. Dies simuliert den Qualitätsverlust auf dem "perfekten" Referenzbild durch das Kamerasystem 10 und erlaubt es so effektiv verschiedene Strukturen zu detektieren die zu White-/Darkline-artigen Strukturen im Kamerabild 13 führen können.The filter described in step four in the previous exemplary embodiment with the aid of the reference image is also carried out here with all the modifications described above. As an improvement, the size of the reference image is adjusted beforehand. It can also make sense to process the reference image several times in different resolutions and to summarize the results of these stages before filtering. This simulates the loss of quality on the "perfect" reference image by the camera system 10 and thus allows different structures to be detected effectively which can lead to white / darkline-like structures in the camera image 13.

Das weitere, besonders bevorzugte Ausführungsbeispiel hat gegenüber dem vorherigen Ausführungsbeispiel besonders den zusätzlichen Vorteil, dass es eine höhere Erkennungsleistung von White-/Darklines 14 bei gleichzeitig geringerer Anzahl von Pseudo-White-/Darklines 14b aufweist. Hierfür ist jedoch eine Referenzbild-Auswertung notwendig ist, deren zusätzliche Verarbeitungsschritte zu längeren Rechenzeiten des verwendeten Rechners 6, 9 führen können. Die Entscheidung welches bevorzugte Ausführungsbeispiel verwendet wird, sollte also auf Basis der Anforderungen des spezifischen Anwendungsfalles geschehen. Druckaufträge bei denen die White-/Darkline-Detektion zeit- bzw. performancekritisch ist, sollten eher das erste vorgestellte Ausführungsbeispiel verwenden, während Druckaufträge bei deren Druckbildern es besonders auf eine gründliche Detektion von White-/Darklines 14 ankommt und/oder bei denen eine erhöhte Gefahr des Auftretens von Pseudo-White-/Darklines 14b existiert, eher auf das zweite vorgestellte Ausführungsbeispiel zurückgreifen sollten.The further, particularly preferred exemplary embodiment has the additional advantage over the previous exemplary embodiment that it has a higher recognition performance of white / dark lines 14 with a simultaneously lower number of pseudo white / dark lines 14 b. However, a reference image evaluation is necessary for this, the additional processing steps of which can lead to longer computing times of the computer 6, 9 used. The decision as to which preferred exemplary embodiment should be used should therefore be made on the basis of the requirements of the specific application. Print jobs in which the white / dark line detection is time or performance critical should rather use the first exemplary embodiment presented, while print jobs in their print images are particularly important for a thorough detection of white / dark lines 14 and / or for which an increased There is a risk of the occurrence of pseudo white / dark lines 14b, rather should resort to the second exemplary embodiment presented.

BezugszeichenlisteReference list

11
AnlegerInvestors
22nd
DrucksubstratPrinting substrate
33rd
Auslegerboom
44th
Inkjet-DruckwerkInkjet printing unit
55
Inkjet-DruckkopfInkjet print head
66
Steuerungsrechner der Inkjet-DruckmaschineControl computer of the inkjet printing machine
77
Inkjet-DruckmaschineInkjet printing machine
88th
Anwenderuser
99
BildverarbeitungsrechnerImage processing computer
1010th
Bildsensor / KameraImage sensor / camera
1111
DisplayDisplay
1212th
BilderfassungssystemImaging system
1313
erfasstes Druckbildcaptured print image
1414
Whiteline-/Darkline-DruckfehlerWhiteline / Darkline printing errors
14a14a
Peak einer Whiteline-/Darkline in erzeugtem BildsignalPeak of a whiteline / dark line in the generated image signal
14b14b
Peak einer Pseudo-Whiteline-/Darkline in erzeugtem BildsignalPeak of a pseudo whiteline / dark line in the generated image signal
1515
Streifen des erfassten DruckbildesStripe of the captured print image
15a15a
Streifen eines erfassten Druckbildes mit TextinhaltStripe of a captured print image with text content
15b15b
Streifen eines erfassten Druckbildes am BildrandStripe of a captured print image at the edge of the image
1616
erkannte und markierte White-/Darklinesrecognized and marked white / dark lines
1717th
vergrößerter Ausschnitt aus dem Streifen des erfassten DruckbildesEnlarged section of the strip of the captured print image
1818th
erzeugtes Bildsignal aus dem Streifen des erfassten Druckbildes mit Textinhaltgenerated image signal from the strip of the captured print image with text content
18a18a
erzeugtes Bildsignal aus dem Streifen des erfassten Druckbildes am Bildrandgenerated image signal from the strip of the captured print image at the edge of the image
18b18b
erzeugtes Bildsignal aus dem Streifen des erfassten Druckbildes am Bildrandgenerated image signal from the strip of the captured print image at the edge of the image
1919th
Mindestdetektionshöhe einer White-/Darkline im erzeugten BildsignalMinimum detection height of a white / dark line in the generated image signal
2020
markierte White-/Darkline-Bereiche#marked white / darkline areas #
2121
aus Streifen zusammengesetztes KandidatenbildCandidate image composed of strips

Claims (15)

Verfahren zur Bestimmung von Druckfehlern in einem Druckprozess, durchgeführt in einer Inkjet-Druckmaschine (7) zur Bearbeitung eines Druckauftrages, durch einen Rechner (9), wobei während des Druckprozesses erzeugte Druckprodukte (2) mit Hilfe eines Kamerasystems (10) erfasst und digitalisiert werden, das so erzeugte Kamerabild (13) einem Detektionsalgorithmus auf dem Rechner (9) zugeführt wird, bei erkannten Druckfehlern (14) eine Meldung an eine Maschinensteuerung (6) gesendet wird, welche dann gegebenenfalls das Druckprodukt (2) über eine Makulaturweiche ausschleust,
dadurch gekennzeichnet,
dass der Detektionsalgorithmus Farbauszüge der Kamerabilder (13) separiert, in den Farbauszügen die Druckfehler (14) detektiert, Bilder der einzelnen Farbauszüge zu einem Kandidatenbild (21) verknüpft, das Kandidatenbild (21) filtert und abschließend die verbleibenden detektierten Druckfehler (14) in eine Liste einträgt und diese an die Maschinensteuerung (9) der Druckmaschine (7) sendet.
Method for determining printing errors in a printing process, carried out in an inkjet printing machine (7) for processing a print job, by a computer (9), print products (2) generated during the printing process being recorded and digitized using a camera system (10) the camera image (13) generated in this way is fed to a detection algorithm on the computer (9), when printing errors (14) are detected, a message is sent to a machine control system (6) which then, if appropriate, ejects the printed product (2) via a waste paper switch,
characterized,
that the detection algorithm separates color separations of the camera images (13), detects the printing errors (14) in the color separations, links images of the individual color separations to a candidate image (21), filters the candidate image (21) and finally filters the remaining detected printing errors (14) into one Enter the list and send it to the machine control (9) of the printing press (7).
Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass es sich bei den Druckfehlern (14) um Whiteline- oder Darkline-Fehler (14) verursacht von defekten Druckdüsen der Inkjet-Druckmaschine (7) handelt.
Method according to claim 1,
characterized,
that the printing errors (14) are whiteline or darkline errors (14) caused by defective printing nozzles of the inkjet printing machine (7).
Verfahren nach Anspruch 2,
dadurch gekennzeichnet,
dass der Rechner (9) in einem weiteren Verfahrensschritt, vor dem Senden an die Maschinensteuerung (9) Druckmaschine (7), aus der Liste von Whiteline- oder Darkline-Fehlern (14) durch Anwendung eines spezifischen Testverfahrens Pseudo-Whiteline- oder Darkline-Fehler (14b) herausfiltert.
Method according to claim 2,
characterized,
that the computer (9) in a further process step, before sending it to the machine control (9) printing press (7), from the list of whiteline or darkline errors (14) by using a specific test method pseudo-whiteline or darkline Filtered out error (14b).
Verfahren nach einem der Ansprüche 2 bis 3,
dadurch gekennzeichnet,
dass der Rechner (9) aus der Liste der verbleibenden detektierten Whiteline- oder Darkline-Fehler (14), die ursächlichen defekten Druckdüsen ermittelt und davon abhängig über jeweils geeignete Kompensationsverfahren die Whiteline- oder Darkline-Fehler (14) kompensiert.
Method according to one of claims 2 to 3,
characterized,
that the computer (9) determines the causal defective pressure nozzles from the list of the remaining detected whiteline or darkline errors (14) and, depending on this, compensates for the whiteline or darkline errors (14) using suitable compensation methods.
Verfahren nach Anspruch 4,
dadurch gekennzeichnet,
dass der Rechner (9) für das spezifische Testverfahren aus Vorstufendaten des Druckauftrages ein Referenzbild erstellt, auf dieses Referenzbild den Detektionsalgorithmus anwendet und so daraus Erkenntnisse über entweder erhaltene Kandidaten für Pseudo-Whiteline- oder Darkline-Fehler (14b) gewinnt und diese aus der Liste von Whiteline- oder Darkline-Fehlern (14) entfernt oder über Bereiche im Kamerabild (13) mit wahrscheinlichen Pseudo-Whiteline- oder Darkline-Fehlern (14b), auf die der Detektionsalgorithmus dann nicht angewendet wird.
Method according to claim 4,
characterized,
that the computer (9) creates a reference image for the specific test procedure from prepress data of the print job, applies the detection algorithm to this reference image and thus gains knowledge about either received candidates for pseudo whiteline or darkline errors (14b) and this from the list removed from whiteline or darkline errors (14) or over areas in the camera image (13) with probable pseudo-whiteline or darkline errors (14b), to which the detection algorithm is then not applied.
Verfahren nach Anspruch 5,
dadurch gekennzeichnet,
dass der Rechner (9) das Referenzbild in mehreren Größen und/oder Auflösungen erstellt, den Detektionsalgorithmus entsprechend mehrfach auf die verschiedenen Referenzbilder anwendet und die daraus gewonnenen Erkenntnisse zusammenfasst und anwendet.
Method according to claim 5,
characterized,
that the computer (9) creates the reference image in several sizes and / or resolutions, accordingly applies the detection algorithm several times to the different reference images and summarizes and applies the knowledge gained from this.
Verfahren nach Anspruch 6,
dadurch gekennzeichnet,
dass der Algorithmus auf solche Bereiche nicht angewendet wird, oder Ergebnisse aus solchen Bereichen ausgeschlossen werden, die sich durch eine hohe Variation der Grauwerte in einer begrenzten, lokalen Umgebung im Referenzbild auszeichnen.
Method according to claim 6,
characterized,
that the algorithm is not applied to such areas, or that results from areas that are characterized by a high variation of the gray values in a limited, local environment in the reference image are excluded.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass das Erstellen der Liste von Whiteline-oder Darkline-Fehlern (14) durch den Rechner (9) über Spaltensummen im gefilterten Kandidatenbild (21) erfolgt, mittels Anwendung eines Grenzwertes an die jeweils ermittelte Spaltensumme im Kandidatenbild (21).
Method according to one of the preceding claims,
characterized,
that creating the list of white line or dark line defects (14) is carried out by the computer (9) via column sums in the filtered candidate image (21) by applying a limit value to the respectively determined column sum in the candidate image (21).
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass das Kandidatenbild (21) der einzelnen Farbauszüge vom Rechner (9) mittels einer mathematischen ODER-Operation verknüpft.
Method according to one of the preceding claims,
characterized,
that the candidate image (21) of the individual color separations is linked by the computer (9) by means of a mathematical OR operation.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass die Filterung des Kandidatenbildes (21) vom Rechner (9) mittels morphologischer Operationen durchgeführt wird.
Method according to one of the preceding claims,
characterized,
that the filtering of the candidate image (21) is carried out by the computer (9) by means of morphological operations.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass der Detektionsalgorithmus vom Rechner (9) mehrfach auf das erzeugte Kamerabild (13) angewendet wird, wobei das Verfahren jeweils anders parametriert wird, um unterschiedlich ausgeprägte Darkline- oder Whiteline-Fehler (14) zu detektieren und die Ergebnisse aller Farbauszüge aller Anwendungen des Verfahrens logisch miteinander verknüpft werden.
Method according to one of the preceding claims,
characterized,
that the detection algorithm is repeatedly applied by the computer (9) to the generated camera image (13), the method being parameterized differently in order to detect darkline or whiteline errors (14) of different types and the results of all color separations of all applications of the method logically linked.
Verfahren nach Anspruch 11,
dadurch gekennzeichnet,
dass für jeweils eine der unterschiedlich parametrierten Anwendungen des Verfahrens das erzeugte Kamerabild (13) in jedem Pixel vorher auf einen maximalen Grauwert begrenzt wird.
A method according to claim 11,
characterized,
that for each of the differently parameterized applications of the method, the generated camera image (13) is previously limited to a maximum gray value in each pixel.
Verfahren nach einem der vorherigen Ansprüche,
dadurch gekennzeichnet,
dass die Erzeugung des Kandidatenbildes (21) eines Farbkanales durch Aufteilung des erzeugten Kamerabildes (13) in horizontale Streifen (15) erfolgt, wobei jeder Streifen (15) durch eine geeignete Mittelung jeder seiner Spalte auf ein Bildsignal (18) reduziert wird, in dem dann White-oder Darklines (14) durch ein spezielles Suchverfahren gesucht werden und jede so ausgewertete Zeile eine Zeile des Whiteline-Kandidatenbildes (21) ergibt.
Method according to one of the preceding claims,
characterized,
that the candidate image (21) of a color channel is generated by dividing the camera image (13) into horizontal strips (15), each strip (15) being reduced to an image signal (18) by a suitable averaging of each of its columns in which then white or dark lines (14) are searched for by a special search method and each line evaluated in this way results in a line of the whiteline candidate image (21).
Verfahren nach Anspruch 13,
dadurch gekennzeichnet,
dass das White- oder Darkline-Suchverfahren eine Dark- oder Whiteline (14) an einer Position erkennt, durch Betrachtung einer eingeschränkten Nachbarschaft um den betrachteten Pixel im Bildsignal (18).
A method according to claim 13,
characterized,
that the white or dark line search method recognizes a dark or white line (14) at a position by viewing a restricted neighborhood around the viewed pixel in the image signal (18).
Verfahren nach Anspruch 14,
dadurch gekennzeichnet,
dass das Suchverfahren zunächst das Bildsignal (18) mit verschiedenen Filterkernen faltet und die Ergebnisse durch Vergleich mit jeweils möglicherweise unterschiedlichen Grenzwerten in logische Signale umwandelt, die dann mit Hilfe einer logischen Verknüpfung in ein White- oder Darkline-Kandidaten-Bildsignal umgewandelt wird.
A method according to claim 14,
characterized,
that the search method first convolves the image signal (18) with different filter cores and converts the results into logical signals by comparison with possibly different limit values, which is then converted into a white or darkline candidate image signal with the aid of a logical link.
EP19151348.0A 2019-01-11 2019-01-11 Mn-detection in a printed image Active EP3680106B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19151348.0A EP3680106B1 (en) 2019-01-11 2019-01-11 Mn-detection in a printed image
CN201911264871.3A CN111434494B (en) 2019-01-11 2019-12-11 Missing nozzle detection in printed images
JP2020002847A JP7412185B2 (en) 2019-01-11 2020-01-10 MN (missing nozzle) detection in printed images
US16/740,687 US11752775B2 (en) 2019-01-11 2020-01-13 Method for determining print defects in a printing operation carried out on an inkjet printing machine for processing a print job

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19151348.0A EP3680106B1 (en) 2019-01-11 2019-01-11 Mn-detection in a printed image

Publications (2)

Publication Number Publication Date
EP3680106A1 true EP3680106A1 (en) 2020-07-15
EP3680106B1 EP3680106B1 (en) 2023-08-23

Family

ID=65019358

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19151348.0A Active EP3680106B1 (en) 2019-01-11 2019-01-11 Mn-detection in a printed image

Country Status (4)

Country Link
US (1) US11752775B2 (en)
EP (1) EP3680106B1 (en)
JP (1) JP7412185B2 (en)
CN (1) CN111434494B (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7579518B2 (en) * 2021-03-04 2024-11-08 株式会社リコー Image inspection device and image forming device
JP2023044832A (en) 2021-09-21 2023-04-03 株式会社Screenホールディングス Image inspection device, printer therewith, and image inspection method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092409A1 (en) * 2010-10-18 2012-04-19 Xerox Corporation System and method for detecting missing inkjets in an inkjet printer using image data of printed documents without a priori knowledge of the documents
EP2626209A1 (en) * 2012-02-12 2013-08-14 Baumer Inspection GmbH Method and device for detecting malfunctions of nozzles of an ink-jet printer
EP3300907A1 (en) 2016-09-30 2018-04-04 Fujifilm Corporation Image inspection method, image inspection device, program, and image recording system
US9944104B2 (en) 2016-03-28 2018-04-17 Fujifilm Corporation Method and apparatus for detecting streak, and printing apparatus
US20180162134A1 (en) * 2016-12-14 2018-06-14 Heidelberger Druckmaschinen Ag Method for detecting and compensating for failed printing nozzles in an inkjet printing machine

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DD274786A1 (en) * 1988-08-11 1990-01-03 Adw Ddr Kybernetik Inf METHOD AND ARRANGEMENT FOR MONITORING THE PRINT QUALITY OF MULTI-COLOR RASTER PRINTING TEMPLATES OF AN OFFSET PRINTING MACHINE
IT1284432B1 (en) 1996-03-22 1998-05-21 De La Rue Giori Sa PROCEDURE FOR AUTOMATIC CHECK OF THE PRINT QUALITY OF A POLYCHROME IMAGE
DE602008006517D1 (en) * 2008-02-25 2011-06-09 Oce Tech Bv Method of detecting misdirected nozzles in an inkjet printer
DE102009034853A1 (en) * 2008-09-23 2010-03-25 Heidelberger Druckmaschinen Ag Method and device for discharging missing sheets at the feeder of a processing machine
JP2010228226A (en) * 2009-03-26 2010-10-14 Seiko Epson Corp Method and apparatus for detecting discharge failure
US8371674B2 (en) * 2010-09-08 2013-02-12 Xerox Corporation Method and printing system for implementing jet detection
JP5436388B2 (en) * 2010-10-05 2014-03-05 キヤノン株式会社 Image processing apparatus, image processing method, and image recording apparatus
JP5956935B2 (en) * 2013-01-18 2016-07-27 黒崎播磨株式会社 Image processing method and image processing apparatus
DE102013104679A1 (en) * 2013-05-07 2014-11-13 Witrins S.R.O. Method and device for optical analysis of a PCB
DE102016224307A1 (en) * 2015-12-15 2017-06-22 Heidelberger Druckmaschinen Ag Method of checking an image inspection system
DE102017207304A1 (en) * 2016-05-25 2017-11-30 Heidelberger Druckmaschinen Ag Method of detecting printing nozzle defects in an inkjet printing machine
CN106780438B (en) * 2016-11-11 2020-09-25 广东电网有限责任公司清远供电局 Insulator defect detection method and system based on image processing
DE102016224303A1 (en) * 2016-12-07 2018-06-07 Heidelberger Druckmaschinen Ag Method and test pattern for detecting and compensating failed nozzles in an inkjet printing machine
CN107507172A (en) * 2017-08-08 2017-12-22 国网上海市电力公司 Merge the extra high voltage line insulator chain deep learning recognition methods of infrared visible ray

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092409A1 (en) * 2010-10-18 2012-04-19 Xerox Corporation System and method for detecting missing inkjets in an inkjet printer using image data of printed documents without a priori knowledge of the documents
EP2626209A1 (en) * 2012-02-12 2013-08-14 Baumer Inspection GmbH Method and device for detecting malfunctions of nozzles of an ink-jet printer
US9944104B2 (en) 2016-03-28 2018-04-17 Fujifilm Corporation Method and apparatus for detecting streak, and printing apparatus
EP3300907A1 (en) 2016-09-30 2018-04-04 Fujifilm Corporation Image inspection method, image inspection device, program, and image recording system
US20180162134A1 (en) * 2016-12-14 2018-06-14 Heidelberger Druckmaschinen Ag Method for detecting and compensating for failed printing nozzles in an inkjet printing machine
DE102017220361A1 (en) 2016-12-14 2018-06-14 Heidelberger Druckmaschinen Ag Method and test pattern for detecting and compensating failed nozzles in an inkjet printing machine

Also Published As

Publication number Publication date
CN111434494A (en) 2020-07-21
EP3680106B1 (en) 2023-08-23
JP7412185B2 (en) 2024-01-12
CN111434494B (en) 2021-12-17
US11752775B2 (en) 2023-09-12
US20200223230A1 (en) 2020-07-16
JP2020111049A (en) 2020-07-27

Similar Documents

Publication Publication Date Title
DE102017220361B4 (en) Method and test pattern for detecting and compensating for failed printing nozzles in an inkjet printing machine
DE112015003903B4 (en) Device for checking printed matter, procedures for checking printed matter and program
DE69925354T2 (en) Image processing system to reduce vertical patterns on scanned images
EP1728380B1 (en) Method for the early identification of a deviation in the printed images that have been created by a printing press during continuous production
DE102006056858B4 (en) Procedure for checking the print quality
DE102019208149A1 (en) Nozzle Health with a neural network
DE102017216260A1 (en) Image inspection of printed products with error classes
EP3656561B1 (en) Fast image restoration for image inspection
EP3680106B1 (en) Mn-detection in a printed image
DE102019134451A1 (en) Improved nozzle check pattern
EP3871892B1 (en) Detektion method to minimize maculature
EP1578609A1 (en) Method and device for the real time control of print images
WO2005104034A1 (en) Method for evaluating the quality of a printed matter, produced by a printing machine
DE102018217476A1 (en) Variable pressure nozzle test pattern
AT501210B1 (en) PROCEDURE FOR QUALITY CONTROL OF SURFACE VARIABLES PRINTED SURFACES
DE102021118983A1 (en) Image inspection filter
WO2002023492A2 (en) Method for classifying documents
EP3628489B1 (en) Register measurement without register marks
DE102018220524A1 (en) Method for detecting failed nozzles in an inkjet printing machine
EP3435056B1 (en) Pressure inspection device for the optical inspection of a printing image of a printed object
EP3423280A1 (en) Method for checking a printing form, in particular of a gravure printing cylinder
EP1673226B1 (en) Method and device for verifying printing results
EP3659813B1 (en) Variable print control bars
EP3882032B1 (en) Sheet inspection with global brightness adjustment
DE102008033171A1 (en) Method and device for inline quality assurance on printing machines

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210115

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220926

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230503

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230522

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502019009002

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231124

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231223

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231226

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231123

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231223

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231124

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240131

Year of fee payment: 6

Ref country code: GB

Payment date: 20240124

Year of fee payment: 6

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502019009002

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240126

Year of fee payment: 6

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20240524

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230823

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240131