Machine Learning in der additiven Fertigung

Bauteildefekte und -unregelmässigkeiten sind ein Problem bei additiven Fertigungsverfahren wie dem selektiven Lasersintern (SLS), da sie die Bauteilqualität sowie die Vorhersagbarkeit und Reproduzierbarkeit des Fertigungsprozesses negativ beeinflussen. Entsprechende Defekte treten zunächst meist relativ unscheinbar im Pulverbett der SLS-Anlagen auf, können sich aber mit der Zeit weiter aufbauen und zum Abbruch beziehungsweise sogar zur Beschädigung der Anlage führen (Bild 1). Das hat erhebliche Mehrkosten, Abfall und Zeitverlust zur Folge und beeinträchtigt die breite Anwendung des SLS als rentables Produktionsverfahren, bei dem gleichbleibende Qualität, Wiederholbarkeit und Kosten- sowie Abfallreduktion kritische Themen sind [1].
Damit sich die Technologie als ernst zu nehmendes industrielles Produktionsverfahren etablieren kann, müssen dementsprechend angepasste Qualitätskontrollen entwickelt, implementiert und optimiert werden. Nur so lässt sich das Fertigungsverfahren qualitativ mit anderen Produktionsprozessen vergleichen [2]. Wenn der Betreiber Pulverbettdefekte während des Vorgangs möglichst früh detektiert, kann er Korrekturmassnahmen unmittelbar einleiten und dadurch die Qualität sichern sowie Kosten, Abfall und Maschinenausfall reduzieren [1].

Bildanalyse für automatisierte Qualitätskontrolle
Der hier vorgestellte Lösungsansatz, um Defekte frühzeitig zu erkennen, überwacht das SLS-Pulverbett durch Kameras und analysiert die erfassten Bilddaten mit Methoden des Machine Learnings (ML). Dazu arbeiteten Wissenschaftler des Lehrstuhls für Mikrofluidik (LFM) der Universität Rostock mit Ingenieuren der ESD Elektro-Systemtechnik GmbH Dargun zusammen. Das gemeinsame Forschungsprojekt beschäftigt sich mit der zerstörungsfreien und computergestützten Defekterkennung durch automatische Klassifizierung von Fertigungsbilddaten. Es wurden spezielle ML-Algorithmen, sogenannte neuronale Netze, entwickelt und mit grossen Mengen an Prozessbildern trainiert. Die neuronalen Netze haben dabei mit der Zeit selbstständig gelernt, Muster in den Daten zu erkennen und daraus Rückschlüsse auf die Informationen im Bild zu ziehen.
Die entwickelte ML-Bildanalyse ermöglicht, Fertigungsdaten nahezu in Echtzeit auszuwerten und komplexe nichtlineare Beziehungen in den Datensätzen zu identifizieren [3]. Im Prinzip wurde den Algorithmen künstlich Intelligenz vermittelt, die der Anwender dann für die automatisierte Defektanalyse des additiven Fertigungsprozesses nutzen kann. Solche Potenziale zu finden, zu untersuchen und prototypisch zu implementieren, war letztlich Ziel des Forschungsprojektes AI-AM (Artificial Intelligence for Additive Manufacturing).

Simple Technik – aufwendige Datenvorbereitung
Den Aufbau zur Aufzeichnung der Bilddaten haben die Forscher vergleichsweise einfach realisiert. Ein abgeschlossenes Lasersintersystem erzeugte die Daten, wobei eine hochauflösende Kamera den Bauraum abfilmte. Das daraus entstandene Video wurde in Echtzeit über ein Display an der Maschine ausgegeben. Der Zugang zur internen Maschinenkamera war nicht möglich, weswegen für die Datenerfassung ein Retrofit entwickelt wurde. Dieses besteht aus einer handelsüblichen USB-Webcam mit 3 Megapixeln Auflösung, einem Kamerastativ, einem Einplatinencomputer mit Internetverbindung sowie einem Touchdisplay zur Bedienung.
Die Wissenschaftler haben das System bewusst einfach gehalten, um Kosten sowie notwendige Speicherkapazität zu reduzieren. Die Kamera montierten sie auf dem Stativ und positionierten sie fokussiert vor dem Anlagendisplay des Lasersintersystems. Über die intern verbaute, hochauflösende Kamera war es möglich, das Pulverbett direkt von oben in Echtzeit zu überwachen. Die Webcam zeichnete einen Livestream auf, der über das Anlagendisplay zu sehen war. Das Video wurde in einer Datenbank gespeichert, von dort aus konnten die Experten auf die Daten zugreifen und einzelne Frames extrahieren. Diese komprimierten sie anschliessend wiederum auf eine Grösse von 300x300 px und speicherten sie als .jpeg-Datei ab.
So entstand ein Rohdatensatz mit 9426 Pulverbettbildern. Die Wissenschaftler löschten aber zunächst ungeeignete Aufnahmen mit ungünstigen Lichtreflexionen oder anderen Aufnahmeanomalien. Die restlichen Bilder teilten sie anschliessend manuell mit Prozesswissen und additiver Fachkompetenz in zwei verschiedene Klassen ein, OK und DEF. Beide Klassen zusammen bildeten einen bereinigten Datensatz mit 8514 Bildern. In die OK-Klasse wurden alle Bilder eingeordnet, die eine gleichmässige Pulverbettoberfläche ohne Defekte aufwiesen. Diese Klasse umfasste 7808 Bilder. In der DEF-Klasse landeten alle Bilder, auf denen eine ungleichmässige Pulverbettoberfläche mit speziellen Defekten wie beispielsweise Rissen, Gräben oder Fremdkörpern zu sehen war. Die DEF-Klasse umfasste so 706 Bilder.
Insgesamt resultierte dadurch ein deutliches Ungleichgewicht zwischen den beiden Klassen, was sich negativ auf intelligente Algorithmen auswirken könnte [4]. Deshalb verwendeten die Verantwortlichen spezielle Techniken auf der Datenebene, um das Ungleichgewicht zu reduzieren. Mit Random-Under-Sampling (RUS) lassen sich zufällig Daten aus der OK-Klasse entfernen und Random-Over-Sampling (ROS) dupliziert zufällig Daten aus der DEF-Klasse. Dadurch fielen 5808 Bilder aus der OK-Klasse raus und 1294 Bilder der DEF-Klasse kamen durch Duplizieren der vorhandenen Bilddaten hinzu. So entstand ein Gleichgewicht zwischen den beiden Klassen. Der letztlich für diese Arbeit genutzte Datensatz enthielt somit insgesamt 4000 Bilder.
Diese Bilder wurden dann weiterbearbeitet, um nur den wirklich interessierenden Bildbereich mit möglichst vielen relevanten Informationen zu erhalten. Dazu entfernten die Forscher die schwarzen Randbereiche und komprimierten die Bildgrösse auf ein quadratisches Mass von 180x180 px. Nachdem sie die einzelnen Bilddaten vorbereitet hatten, unterteilten sie die Datenstruktur des gesamten Datensatzes weiter, indem sie drei Untergruppen mit jeweils separaten Verzeichnissen für beide Klassen erstellten: ein Trainingsdatensatz mit 1000 Bildern jeder Klasse, ein Validierungsdatensatz mit 500 Bildern jeder Klasse und ein Testdatensatz mit ebenfalls 500 Bildern jeder Klasse (Bild 2).
Abschliessend wurde für die Datenvorverarbeitung mit dem sogenannten Data Augmentation noch ein Regulierungsmechanismus durchgeführt, der den Trainingsdatensatz virtuell erweitert, indem er verschiedene Operationen wie Spiegeln, Drehen oder Zoomen auf den Bilddaten ausführt. Ergebnis dieses Vorgangs: Die sonst sehr ähnlichen Bilder variieren stärker und bilden eine breitere Trainingsgrundlage. So kann der Algorithmus besser trainiert und Overfitting reduziert werden, das ist die zu starke Anpassung an die Trainingsdaten bei zugleich schlechter Performance der Validations- und Testdaten.

Neuronale Netze und Transfer Learning
Nach der Vorverarbeitung der Bilddaten sowie dem Data Augmentation entwickelten die Wissenschaftler das eigentliche ML-Modell in Form eines gefalteten neuronalen Netzes (Convolutional Neural Network – CNN). Dieses basiert auf dem komplexen Aufbau realer Gehirnstrukturen des visuellen menschlichen Kortex (Hirnrinde) und zählt auf dem Gebiet der Bilderkennung zu den neuesten Methoden des Deep Learnings (DL) [5, 6]. Es besteht aus mehreren miteinander verbundenen Schichten sowie Neuronen und wird häufig genutzt, um komplexe Inputdaten wie Bild- und Audiodateien zu analysieren. Ein solches CNN-Modell ist beispielsweise das von der Universität Oxford entwickelte VGG16-Modell, das 16 Netzwerkschichten für die Bildanalyse nutzt [7] (Bild 3).
Solche CNN-Analyseansätze zur Bilderkennung bestehen aus zwei Schritten: Beim Feature Engineering wird versucht, mit verschiedenen Algorithmen relevante Datenstrukturen aus den Daten zu ziehen. Bei der anschliessenden Klassifikation erlernt ein ML-Algorithmus ein Muster aus den Daten, um die Datenstrukturen und eine Zielvariable abzubilden. Diese Muster müssen bei klassischen ML-Ansätzen, also beim Feature Engineering, durch einen menschlichen Experten extrahiert werden und führen häufig zu eher ungenügenden Klassifizierungsergebnissen [6]. Hier zeigen sich die Vorteile eines CNN-basierten Ansatzes, da sich mit diesen Algorithmen das Feature Engineering und die Klassifikation kombinieren lassen. Ausserdem werden diese durch den Algorithmus alleine und ohne menschliches Zutun ausgeführt [3].
Im Prinzip lernt bei einem CNN jede Schicht, spezielle Features wie Helligkeitsunterschiede zwischen Bildpixeln oder Kanten im Bild zu erkennen. Diese Features werden zu immer komplexeren Merkmalen zusammengesetzt, die anschliessend einen Output generieren. Das ist die Klassifikationsvorhersage, ob beispielsweise ein Defekt im analysierten Bild zu erkennen ist oder nicht. Dazu sind jedoch sehr viele Trainingsdaten notwendig, die häufig nicht in entsprechender Anzahl verfügbar sind. Deshalb sind komplexe Techniken erforderlich, die mit weniger Daten auskommen [8]. Eine solche Technik ist das Transfer Learning (TF): Diese Methode trainiert zunächst ein CNN mit einem grossen Datensatz, der nichts mit der eigentlichen Klassifikationsaufgabe zu tun hat, jedoch gut zugänglich ist. Dadurch erlernt das Netz erste Features (Helligkeitsunterschiede, Kanten) und transferiert diese anschliessend als Initialisierung auf die eigentliche Klassifikationsaufgabe. Für die aktuelle Forschungsarbeit trainierten die Wissenschaftler das entwickelte CNN zunächst mit dem ImageNet-Datensatz, einem sehr grossen Benchmark-Datensatz zur Erkennung von Objekten [9]. Anschliessend froren sie die ersten damit vortrainierten Netzwerkschichten ein und verwendeten sie, um SLS-Prozessbilder anzulernen. Die nicht eingefrorenen Schichten vom Vortraining wurden dann mit den SLS-Daten trainiert. Dabei erlernten sie spezielle Merkmale wie beispielsweise gesinterte Elemente oder Risse im Pulverbett. Über einen Fine-Tuning-Schritt wurden einzelne Netzwerkschichten dann nochmals durchlaufen und trainiert, um die Klassifikationsvorhersage weiter zu optimieren. Die so entwickelte CNN-Architektur erzielte letztlich mit dem ImageNet-Vortraining und dem TF einen finalen Output mit einer sehr hohen Klassifikationsgenauigkeit. Das ermöglichte eine effektive Klassifikation von guten und defektbehafteten SLS-Bildern [10] (Bild 4).

Visualisierung der ML-Analyseergebnisse
Zum besseren Verständnis sowie zur Erklärung der CNN-Vorhersageergebnisse wurde ein gradientengewichtetes Class Activation Mapping (Grad-CAM) für ausgewählte Testbilder angefertigt. Grad-CAM ist eine Technik, die visuelle Erklärungen von CNN-Modellen erstellen kann, indem sie semantische, klassenspezifische Bildinformationen visualisiert [11]. Grad-CAM verwendet dafür die Gradienteninformationen, die in die letzte Faltungsschicht des CNN fliessen, und erzeugt sogenannte Wichtigkeitswerte für eine bestimmte interessierende Eigenschaft und Bildregion. Die Methode lokalisiert quasi die Bildbereiche, die am interessantesten für die Entscheidungsfindung der CNN-Netzwerke sind (Bild 5). Rot dargestellte Bereiche sind dafür wichtiger als die blauen. So lässt sich gut abbilden, dass besonders die gesinterten Strukturen für das ML-Modell wichtig sind und differenziert davon auch die vorliegenden Defekte im Pulverbett. Anhand dieser erlernten Merkmale des SLS-Bildes lässt sich dann die finale Klassifikation durch den Algorithmus automatisch treffen, ob also ein Defekt vorliegt oder nicht.

Webanwendung zur AM-Qualitätssicherung
Um ein entsprechend trainiertes CNN effektiv für die Qualitätssicherung beim selektiven Lasersintern nutzen zu können, entwickelten die Forscher eine digitale Webanwendung für die SLS-Bildklassifikation und implementierten diese prototypisch (Bild 6). Mit dieser digitalen Lösung ist eine zerstörungsfreie Qualitätssicherung mit ML beim SLS in situ und automatisierbar möglich. Zu analysierende Prozessbilder können lokal oder über Internet in die Webanwendung geladen oder auch in Echtzeit gestreamt werden. Ein trainierter CNN-Algorithmus analysiert diese anschliessend im Hintergrund auf vorliegende Defekte oder Unregelmässigkeiten. Nach wenigen Sekundenbruchteilen liefert der Algorithmus eine Klassifikationsvorhersage zurück, mit welcher Wahrscheinlichkeit ein Defekt in den Bilddaten vorliegt oder nicht.

Ausblick
Die digitale Qualitätssicherungslösung lässt sich zukünftig in den Qualitätssicherungsprozess der additiven Fertigung integrieren, um konventionelle Prüfprozesse zu ergänzen oder auch zu ersetzen. In einem nächsten Schritt entwickelt das Projektteam zudem eine erweiterte Lösung, um auch Prozessvideos nahezu in Echtzeit analysieren zu können. Dabei soll dann eine Detektion möglich sein, die auftretende Fehler detektiert, lokalisiert und klassifiziert. Ausserdem arbeiten die Wissenschaftler daran, das gesamte Analyseverfahren und die Webanwendung zu optimieren sowie weitere additive Fertigungsvarianten und Informationen wie Sensorparameter [12] zu integrieren. Diese ML-Methoden binden sie anschliessend in ein digitales Qualitätssicherungssystem für die additive Fertigung ein [13].

Danksagung
Diese Forschung wurde von der Europäischen Union aus dem Europäischen Fonds für regionale Entwicklung (EFRE) und dem Ministerium für Wirtschaft, Bau und Tourismus des Landes Mecklenburg-Vorpommern, Deutschland, unter dem Förderkennzeichen TBI-V-1-345-VBW-118 finanziert.

ZU DEN AUTOREN
Dr.-Ing. (SFI/IWE) Erik Westphal, wissenschaftlicher Mitarbeiter, erik.westphal@uni-rostock.de
Prof. Dr.-Ing. Hermann Seitz, Lehrstuhlinhaber, hermann.seitz@uni-rostock.de

Universität Rostock
Lehrstuhl für Mikrofluidik
Justus-von-Liebig-Weg 6
D-18059 Rostock
T +49 (0)381 498-9091
www.lfm.uni-rostock.de