Visuelle Qualitätskontrolle - regelbasierte Systeme vs. ML-basierte Systeme
Folge 2
Autorin: Hanna Nennewitz
Visuelle Qualitätskontrolle - regelbasierte Systeme vs. ML-basierte Systeme
Folge 2
Autorin: Hanna Nennewitz
Wie regelbasierte Systeme und ML-basierte Systeme im Allgemeinen funktionieren, habe ich in der letzten Folge erklärt. Heute wende ich mich den Vor- und Nachteilen der beiden Systeme zu und welche neuen Möglichkeiten sich durch ML-basierte Systeme bieten. Dafür habe ich wieder mit Dr. Wieland Brendel, Mitgründer und Lead Machine Learning Advisor bei Maddox AI sowie Wissenschaftler zu Robust Machine Learning, gesprochen. Außerdem hat sich auch David Rebhan Zeit genommen, um mir regelbasierte Systemen in der visuellen Qualitätskontrolle näher zu erklären. David hat vor seiner Anstellung bei Maddox AI zwei Jahre als Anwendungsingenieur für regelbasierte Systeme gearbeitet. Bei Maddox AI erstellt er Hardwarekonzepte und nimmt die Installation der Hardware vor Ort vor.
Wo der eine Vorteile hat, da hat der andere Nachteile – so ist es ja oft im Leben. Auch bei Systemen zur Automatisierung der visuellen Qualitätskontrolle findet dieser Spruch seine Wahrheit. Als Erinnerung: Regelbasierte Systeme folgen beim Prüfen den Regeln, die vorher ein Mensch für sie aufstellt. ML-basierte Systeme lernen mit Hilfe von Beispielbildern und bauen sich so selbst einen Regelkatalog zum Erkennen fehlerhafter Teile auf. Wir wissen dabei allerdings nicht genau, wie das System lernt und worin genau die Regeln bestehen, nach denen es Entscheidungen trifft.
Wie regelbasierte Systeme und ML-basierte Systeme im Allgemeinen funktionieren, habe ich in der letzten Folge erklärt. Heute wende ich mich den Vor- und Nachteilen der beiden Systeme zu und welche neuen Möglichkeiten sich durch ML-basierte Systeme bieten. Dafür habe ich wieder mit Dr. Wieland Brendel, Mitgründer und Lead Machine Learning Advisor bei Maddox AI sowie Wissenschaftler zu Robust Machine Learning, gesprochen. Außerdem hat sich auch David Rebhan Zeit genommen, um mir regelbasierte Systemen in der visuellen Qualitätskontrolle näher zu erklären. David hat vor seiner Anstellung bei Maddox AI zwei Jahre als Anwendungsingenieur für regelbasierte Systeme gearbeitet. Bei Maddox AI erstellt er Hardwarekonzepte und nimmt die Installation der Hardware vor Ort vor.
Wo der eine Vorteile hat, da hat der andere Nachteile – so ist es ja oft im Leben. Auch bei Systemen zur Automatisierung der visuellen Qualitätskontrolle findet dieser Spruch seine Wahrheit. Als Erinnerung: Regelbasierte Systeme folgen beim Prüfen den Regeln, die vorher ein Mensch für sie aufstellt. ML-basierte Systeme lernen mit Hilfe von Beispielbildern und bauen sich so selbst einen Regelkatalog zum Erkennen fehlerhafter Teile auf. Wir wissen dabei allerdings nicht genau, wie das System lernt und worin genau die Regeln bestehen, nach denen es Entscheidungen trifft.
Die Möglichkeit, bei einfachen Anwendungsfällen 100% geltende Regeln als Handlungsleitfaden aufzustellen, ergibt einige Vorteil für regelbasierte Systeme.
Schaut man sich einfache Anwendungsfälle an, wie z.B. das Messen von Längen, so haben hier regelbasierten Systeme die Nase vorne. Das hat mehrere Gründe. Zum einen kann bei einfachen Anwendungsfällen die Implementierung mit regelbasierten Systemen schneller als bei ML-basierten Systemen vorgenommen werden. David erklärt: “Ein erfahrener Programmierer programmiert eine einfache Prüfaufgabe in wenigen Minuten.” Der Grund dafür liegt vor allem darin, dass man für das Programmieren regelbasierter Systeme nur wenige oder keine Daten benötigt. Für ML-basierte Qualitätskontrollen braucht man hingegen Beispielbilder, anhand derer das System lernt. Das Generieren dieser Daten und Trainieren des Systems dauert daher natürlich etwas länger, als das einfache Aufschreiben einer Regel für ein regelbasiertes System.
Daneben haben regelbasierte Systeme bei einfachen Anwendungsfällen ebenfalls einen Vorteil gegenüber ML-basierten Systemen, da sich hier meist 100% geltende Regeln aufstellen lassen. Wenn ich für ein regelbasiertes System 100% geltende Regeln aufschreiben kann, so kann ich mir auch sicher sein, dass es diese zu 100% abfangen wird. Wieland meint dazu: “Wenn das Kontrollsystem z.B. jeden Innendurchmesser einer Durchgangsbohrung richtig messen soll, stellt ein regelbasiertes System wahrscheinlich eine vorteilhaftere Option dar. ML-basierte Systeme erkennen 99% der Fehler, aber eben nicht 99,999%. Es kann immer eine kleine Variabilität geben, die das System doch nicht abfängt.” Bei sehr komplexen Prüfaufgaben wird dieses strenge Befolgen von Regeln natürlich auch schnell zum Nachteil, aber dazu später mehr.
Die Möglichkeit bei einfachen Anwendungsfällen 100% geltende Regeln als Handlungsleitfaden aufzustellen, ergibt einen weiteren Vorteil für regelbasierte Systeme. Das Handeln des regelbasierten Systems und dessen Prüfentscheidungen lassen sich so nämlich deutlich besser nachvollziehen als bei ML-basierten Systemen. Wieland meint dazu: “Ein regelbasiertes System ist vollständig kontrollierbar, weil ein Programmierer die Regeln, nach denen es handeln soll, genau aufgeschrieben hat. Wenn das System einen Fehler macht, kann ich genau nachvollziehen, woran das lag.” In ein ML-basiertes System lässt sich nicht so einfach hineinschauen, weil es selbst lernt und dementsprechend eigene Regeln aufstellt, die wir aber nicht gut verstehen. Das Nachvollziehen falscher Entscheidungen bei ML-basierten Systemen gestaltet sich folglich komplizierter als bei regelbasierten Systemen.
“Das was heute noch an Qualitätskontrollproblemen manuell gemacht wird, sind genau die Probleme, bei denen regelbasierte Systeme nicht mehr helfen können.”
Wieland erklärt jedoch: “Alles, was regelbasiert in der Qualitätskontrolle abgefangen werden kann, wird auch schon seit 20 bis 30 Jahren regelbasiert abgefangen. Das was heute noch an Qualitätskontrollproblemen manuell gemacht wird, sind genau die Probleme, bei denen regelbasierte Systeme nicht mehr helfen können.” Das liegt vor allem daran, dass man bei diesen Anwendungsfällen keine Regeln aufschreiben kann, die immer zu 100% gelten. Oder die Prüfbedingungen ändern sich von Zeit zu Zeit, was das verlässliche Arbeiten eines regelbasierten Systems nahezu unmöglich macht. ML-basierte Systeme sind diesen Herausforderungen jedoch gewachsen und haben hier dementsprechend klar die Nase vorne.
Die Vorteile von ML-basierten Systemen bei komplexen Anwendungsfällen liegen vor allem darin begründet, dass ML-basierte Systeme nicht mit Hilfe von menschengemachten Regeln prüfen, sondern sich selbst innerhalb eines Lernprozesses implizite Regeln erarbeiten, anhand derer sie Gut- und Schlechtteile identifizieren. Viele komplexe Prüfaufgaben, wie zum Beispiel Oberflächeninspektion oder Bauteilverifizierung, können dadurch überhaupt erst automatisiert werden. Regelbasierte Systeme kommen bei solchen Aufgaben schnell an ihre Grenzen. Wenn Sie sich genauer dafür interessieren, schauen Sie gerne einmal in Folge 1 vorbei, dort erkläre ich diesen Umstand genauer.
Dieses Lernen und eigene Aufstellen von Regeln stellt neben der Möglichkeit der Automatisierung komplexerer Anwendungsfälle noch weitere Vorteile da. Da ML-basierte Systeme auf Basis eines eigenen Erfahrungsschatzes handeln, können sie sehr viel besser mit veränderten Bedingungen umgehen. Im Vorfeld kann ihnen z.B. beigebracht werden, dass ein Sonnenstrahl, der durchs Fenster fällt und das Aussehen der Teile verändert, keinen Fehler bedeutet. Das Gleiche gilt für Teile, die je nach Charge und Zustand der Herstellungswerkzeuge etwas unterschiedlich aussehen und trotzdem OK-Teile sind. Auch hier kann ML-basierten Systemen wie dem Maddox AI-System beigebracht werden, dass Unterschiede in der Helligkeit oder im Glanz keine Fehler bedeuten müssen. Das sieht bei regelbasierten Systemen anders aus. David erklärt: “Regelbasierte Systeme sind nicht sehr flexibel, alle Veränderung am Produkt oder den Umweltbedingungen verschlechtern die Performance dieser Systeme. Scheint zum Beispiel die Sonne durchs Fenster und verändert die Kontraste, so findet ein regelbasiertes System dann wahrscheinlich keine Fehler mehr oder erkennt falsche Fehler.” So können regelbasierte Systeme besonders bei komplexeren Anwendungsfällen eine sehr hohe Pseudoausschussrate und ständige Nachkalibrierungsarbeiten bedeuten.
Neben der Robustheit gegenüber veränderten Umweltbedingungen und unterschiedlichem Aussehen von Teilen, lassen sich ML-basierte Systeme auch viel schneller an Produktveränderungen anpassen. “Wenn z.B. die zu prüfenden Flaschen kleiner werden als davor, so kann man diese Veränderung sehr schnell der KI beibringen. Bei regelbasierten Systemen hingegen müssen alle Parameter erneut überprüft und ggf. neu definiert werden, was je nach Anwendungsfall sehr aufwendig sein kann.”, merkt David an.
“Das User Interface von Maddox AI ist so auslegt, dass sogar Anfänger:innen nach einer kurzen Schulung sicher damit umgehen können.”
Ganz anders sieht das mit regelbasierten Systemen aus. Bei regelbasierten Systemen, erklärt mir David, bedarf es einiges mehr an Expertise: “Um mit einem regelbasierten System arbeiten zu können, sollte man in jedem Fall im Programmieren geschult sein. Je weniger man über Programmieren weiß, desto schwerer wird es, sich überhaupt einmal einzuarbeiten.” Benutzt man ein regelbasierten System in der visuellen Qualitätskontrolle sollte man dementsprechend geschulte Programmierer:innen im Unternehmen haben, die sich mit regelbasierten Systemen auskennen. Dabei ist “Auskennen” laut David nicht gleich “Auskennen”: “Es gibt viele verschiedene Hersteller und viele verschiedene Programme für regelbasierte Systeme, die alle unterschiedlich funktionieren. Kenne ich mich in einem System aus, heißt das nicht, dass ich mit einem anderen auch umgehen kann.”
Hier ein beispielhaftes User Interface für ein regelbasiertes System von MVTec HALCON:
Sie sehen also, ML-basierte Systeme bieten viele Vorteile gegenüber regelbasierten Systemen, besonders wenn es sich um komplexe Anwendungsfälle handelt. In vielen Fällen wird hier die Automatisierung der visuellen Qualitätskontrolle erst durch den Einsatz von ML-basierten Systemen möglich. Sollten Sie Ihre Qualitätskontrolle bisher noch nicht automatisiert haben, so ist die Wahrscheinlichkeit sehr hoch, dass Maddox AI Ihnen dies ermöglicht. Melden Sie sich gerne bei uns und wir prüfen, ob auch Sie von der Vorteilen einer ML-basierten visuellen Qualitätskontrolle profitieren können.
In der nächsten Folge werde ich noch etwas tiefer in die Funktionen ML-basierter Qualitätskontrolle einsteigen, mir Anomaliedetektion genauer anschauen und herausfinden, was sich hinter dem Wort Segmentierung verbirgt.
Anomaliedetektion vs. Segmentierung
Folge 3
