Benutzerfreundlichkeit - Kann auch ich Maddox AI bedienen?

Folge 7

Autorin: Hanna Nennewitz

Benutzerfreundlichkeit - Kann auch ich Maddox AI bedienen?

Folge 7

Autorin: Hanna Nennewitz

maddox
In dieser Folge macht Hanna Nennewitz ein Selbstexperiment und testet die Benutzerfreundlichkeit von unserem KI-basierten Maddox AI, in dem sie versucht selbst ein Qualitätskontrollmodell zu erstellen. Vergleichend dazu versucht sie die gleiche Prüfaufgabe mit einem regelbasierten System zu programmieren.

In Folge 5 erklärte Peter Droege, CEO und Mitgründer von Maddox AI, dass ein Problem der visuellen Qualitätskontrolle heutzutage die mangelnde Benutzerfreundlichkeit von regelbasierten Systemen ist. Ihre Bedienung ist nicht intuitiv, sodass häufig professionelles Personal für die Wartung der Systeme benötigt wird. Daneben ergab eine Umfrage von Maddox AI, dass viele Unternehmen sich nicht an KI-basierte Systeme für die Qualitätskontrolle trauen, da sie davon ausgehen, dass sie nicht die Expertise zum Anlernen der KI-Systeme im Unternehmen haben. Falls Sie sich die Umfrage genauer ansehen möchten, können Sie das hier tun. Das System von Maddox AI hingegen, erklärte mir Peter, soll sogar für Laien ganz einfach zu bedienen sein und genau das werde ich in dieser Folge ausprobieren. Dafür werde ich versuchen sowohl das KI-basierte Maddox AI-System zum Laufen zu bringen als auch das industrielle Bildverarbeitungsprogramm Halcon von mvtec, mit dem sich unter anderem regelbasierte Systeme programmieren lassen.

Maddox AI

Als Erstes teste ich Maddox AI. Im Rahmen einer kurzen Schulung soll mir die Verwendung des Maddox AI-Systems beigebracht werden. Dafür treffe ich mich mit Behar Veliqi, CTO und Mitgründer von Maddox AI. Behar erklärt mir, dass ich alle Aufgaben, die ich als Kundin von Maddox AI erledigen muss, in der Cloud Software unter dem Reiter “My Tasks” finden kann. Grundsätzlich befolgt man beim Trainieren eines KI-Modells bei Maddox AI einen dreistufigen Prozess:

Im ersten Schritt muss man Polygone um die Defekte auf den aufgenommenen Bildern markieren. Die Anzahl der zu annotierenden Bilder variiert dabei je nach Anwendungsfall, sodass manchmal 5-10 und andere Male bis zu 100 Bilder pro Fehlerklasse bewertet werden müssen. Im zweiten Schritt kann man mithilfe der annotierten Bilder ein erstes Training des KI-Modells starten. Im dritten Schritt geschieht das Fine Tuning. Hierbei betrachtet man vergleichend die Modellvorhersagen mit den menschlichen Annotationen und nimmt eventuell Anpassungen vor.

Im folgenden Video wird der Prozess mit den einzelnen drei Schritten noch einmal genauer erklärt:

Als Erstes teste ich Maddox AI. Im Rahmen einer kurzen Schulung soll mir die Verwendung des Maddox AI-Systems beigebracht werden. Dafür treffe ich mich mit Behar Veliqi, CTO und Mitgründer von Maddox AI. Behar erklärt mir, dass ich alle Aufgaben, die ich als Kundin von Maddox AI erledigen muss, in der Cloud Software unter dem Reiter “My Tasks” finden kann.

maddox

Grundsätzlich befolgt man beim Trainieren eines KI-Modells bei Maddox AI einen dreistufigen Prozess:

Im ersten Schritt muss man Polygone um die Defekte auf den aufgenommenen Bildern markieren. Die Anzahl der zu annotierenden Bilder variiert dabei je nach Anwendungsfall, sodass manchmal 5-10 und andere Male bis zu 100 Bilder pro Fehlerklasse bewertet werden müssen. Im zweiten Schritt kann man mithilfe der annotierten Bilder ein erstes Training des KI-Modells starten. Im dritten Schritt geschieht das Fine Tuning. Hierbei betrachtet man vergleichend die Modellvorhersagen mit den menschlichen Annotationen und nimmt eventuell Anpassungen vor.

Im folgenden Video wird der Prozess mit den einzelnen drei Schritten noch einmal genauer erklärt:

Maddox Video Frame

Nach der kurzen Schulung durch Behar, gehe ich nun allein in die Cloud-Anwendung von Maddox AI und starte mit dem Reiter “My Tasks”.

maddox

Hier finde ich bereits eine eingestellte Aufgabe mit dem Titel “Teach Session”. Ich hatte dem Team von Maddox AI im Vorfeld Teile gegeben, für die ich ein beispielhaftes Qualitätskontrollmodell erstellen möchte. Diese wurden vom Maddox AI-Team aufgenommen und automatisch in die Cloud hochgeladen. Meine Aufgabe besteht nun darin die Fehler möglichst genau mit Polygonen einzuzeichnen und auszuwählen, ob es sich um einen Kratzer oder eine Schlagstelle handelt. Dieses hatte ich zuvor unter “Einstellungen” als meine projektspezifischen Fehlerklassen festgelegt.

maddox
Nachdem ich die Teach Session abgeschlossen habe, werden alle annotierten Bilder automatisch im sogenannten Defektbuch gespeichert. Das Defektbuch bildet die Grundlage für das Training des KI-Modells.
maddox

Ich kann nun mithilfe der im Defektbuch gespeicherten Bilder das Maddox AI-System trainieren.

Nachdem das erste Training abgeschlossen ist, überprüfe ich die Leistung des KI-Modells, indem ich die Modellvorhersagen mit den menschlichen Annotationen vergleiche. Hier gehe ich einfach wieder in den Reiter “My Tasks” und öffne eine sogenannte “Smart Teach Session”, welche die KI automatisch erstellt. In der Smart Teach Session werden mir sowohl meine Annotationen als auch die Modellvorhersagen angezeigt. Besonders interessant sind natürlich die Bilder, bei denen die Modellvorhersage von meiner Einschätzung abweicht. Hierfür gibt es zwei Gründe:

  1. Das Modell hat einen Bereich als Fehler markiert, der in Wahrheit als OK zu werten ist. Um zukünftig Pseudoausschuss zu vermeiden, kann ich dem Modell nun erneut Feedback geben, dass es einen Fehler gemacht hat und der Bereich in Wahrheit als OK zu werten ist.
  2. Das Modell hat einen Fehler erkannt, den ich vergessen habe zu annotieren. In diesem Fall sollte ich den Fehler auch mit einem Polygon markieren, um sicherzustellen, dass die Datengrundlage für das KI-Modell optimal ist. Das ist wichtig, da eine optimale Datenbasis die Leistung meines Modells stark beeinflussen kann. Genaueres zum Einfluss der Datenbasis auf die Modellleistung können Sie in Folge 4 nachlesen.

Nach Abschluss der Smart Teach Session, trainiere ich das Modell erneut.

Maddox Video Frame

Dieses Ping-Pong-Spiel zwischen Mensch und Modell wiederhole ich noch einmal, dann hat das Modell die erwünschte Erkennungsgenauigkeit von 98% erreicht. Anschließend kann ich das Modell einsetzen und auf den lokalen Industrie-PC spielen. Auch das funktioniert durch einen einfachen Klick in der Oberfläche. Und es funktioniert, ich bin selbst ganz überrascht, wie einfach das war.

Für den gesamten Prozess habe ich ungefähr zwei Stunden gebraucht. Unter Monitor kann ich nun sehen, wie die Qualität meiner Mini-Produktion aussieht. Dafür kann ich mir anzeigen lassen, wie viele OK- und NOK-Teile produziert werden und welche Fehlerklasse dabei am häufigsten auftauchen.

maddox

Mein Fazit: Die Bedienung der Software von Maddox AI gestaltet sich intuitiv und war auch für mich leicht zu verstehen. Selbst als absolute Laiin konnte ich bereits nach kurzer Zeit ein eigenes Modell trainieren und optimieren.

Regelbasiertes System

Nun zu dem regelbasierten System Halcon von mvtec. Hier stand mir Daniel Leib als Hilfe zur Seite. Daniel arbeitet bei Maddox AI im Hardware Development und hat schon im Rahmen seines Mechatronikstudiums an der Hochschule Reutlingen mit Halcon gearbeitet. Auch mit ihm treffe ich mich für eine kurze Schulung zu dem System. Zuerst erklärt er mir die verschiedenen Fenster und Funktionalitäten, die zu sehen sind. So weit so gut, auch bei Maddox AI musste ich zuerst die verschiedenen Reiter und ihre Funktionen kennenlernen. Hierfür brauchen wir allerdings etwas länger als bei Maddox AI, da ich am Anfang nicht richtig verstehe, was der Unterschied zwischen einigen der Fenster ist. Nachdem ich das Gefühl habe, zumindest die Grundfunktionen verstanden zu haben, gehen wir weiter. Daniel lädt ein Foto von einem der zu prüfenden Teil hoch und zeigt mir, dass ich, um einen Prüfaufgabe zu programmieren, im “Program Window” einen eigenen Code schreiben muss. Nachdem ich meine das verstanden zu haben, erklärt mir Daniel noch weitere Aspekte der Programmiersprache, die ich für die Verwendung von Halcon kennen muss.
maddox

Nach unserem Meeting setzte ich mich selbst an das Programm. Zuerst mache ich mir die Bedeutung der verschiedenen Fenster bewusst und beschließe dann ein Foto in die Anwendung hochzuladen. Doch bereits hier stoße ich auf Schwierigkeiten. Ich finde es schwer einzuschätzen, welches der aufgenommenen Bilder gut geeignet ist, um eine Prüfaufgabe zu erstellen und muss daher Daniel um Hilfe bitten. Da hatte ich es bei Maddox AI einfacher, da hier die Software bereits eine Vorauswahl für mich getroffen hatte und somit der ganze erste Schritt, den ich bei Halcon unternehmen muss, wegfällt. Nachdem Daniel mir bei der Auswahl des Bildes geholfen hat, versuche ich mich selbst am Programmieren. Ich muss jedoch immer wieder Daniel fragen, da der Aufbau der Benutzeroberfläche für mich irritierend ist und ich mich vor allem mit dem eigenen Erstellen eines Codes schwertue. Am Ende schaffe ich es nur mit sehr viel Hilfe von Daniel.

Mein Fazit: Die Bedienung von Halcon ist deutlich komplexer und schwieriger zu verstehen. Besonders für mich als Laiin ist die Benutzeroberfläche nicht intuitiv. Daneben muss man eine eigene Programmiersprache lernen und einen eigenen Code schreiben, was besonders für mich als absolute Programmierlaiin einige Schwierigkeiten mit sich brachte. Beim KI-basierten System von Maddox AI war die Bedienung deutlich einfacherer, da mir klare Aufgaben zugeteilt wurden, die Software grafisch aufgebaut ist und ich daher eigentlich nur verschiedene Bilder bewerten musste.

Dennoch bedeutet der Einsatz von einem KI-basierten Systemen nicht automatisch, dass die Benutzeroberfläche für Laien leicht zugänglich ist. Auch hier gibt es große Unterschiede in der Nutzerfreundlichkeit und schwer zu bedienende Programme. Wenn Sie also in Ihrem Unternehmen von einer intuitiv zu bedienenden Prüfsoftware profitieren wollen, dann melden Sie sich bei uns. Maddox AI bietet Ihnen, wie ich selbst erlebt habe, eine Software, die sogar Laien bedienen können.

Nach dem Vergleich der Benutzerfreundlichkeit in dieser Folge wende ich mich in der nächsten Folge dem Problem der Nachkalibrierung zu. Dabei werde ich erneut regelbasierte Systeme und KI-basierte Systeme im Vergleich betrachten.

Nach unserem Meeting setzte ich mich selbst an das Programm. Zuerst mache ich mir die Bedeutung der verschiedenen Fenster bewusst und beschließe dann ein Foto in die Anwendung hochzuladen. Doch bereits hier stoße ich auf Schwierigkeiten. Ich finde es schwer einzuschätzen, welches der aufgenommenen Bilder gut geeignet ist, um eine Prüfaufgabe zu erstellen und muss daher Daniel um Hilfe bitten. Da hatte ich es bei Maddox AI einfacher, da hier die Software bereits eine Vorauswahl für mich getroffen hatte und somit der ganze erste Schritt, den ich bei Halcon unternehmen muss, wegfällt. Nachdem Daniel mir bei der Auswahl des Bildes geholfen hat, versuche ich mich selbst am Programmieren. Ich muss jedoch immer wieder Daniel fragen, da der Aufbau der Benutzeroberfläche für mich irritierend ist und ich mich vor allem mit dem eigenen Erstellen eines Codes schwertue. Am Ende schaffe ich es nur mit sehr viel Hilfe von Daniel.

maddox

Mein Fazit: Die Bedienung von Halcon ist deutlich komplexer und schwieriger zu verstehen. Besonders für mich als Laiin ist die Benutzeroberfläche nicht intuitiv. Daneben muss man eine eigene Programmiersprache lernen und einen eigenen Code schreiben, was besonders für mich als absolute Programmierlaiin einige Schwierigkeiten mit sich brachte. Beim KI-basierten System von Maddox AI war die Bedienung deutlich einfacherer, da mir klare Aufgaben zugeteilt wurden, die Software grafisch aufgebaut ist und ich daher eigentlich nur verschiedene Bilder bewerten musste.

Dennoch bedeutet der Einsatz von einem KI-basierten Systemen nicht automatisch, dass die Benutzeroberfläche für Laien leicht zugänglich ist. Auch hier gibt es große Unterschiede in der Nutzerfreundlichkeit und schwer zu bedienende Programme. Wenn Sie also in Ihrem Unternehmen von einer intuitiv zu bedienenden Prüfsoftware profitieren wollen, dann melden Sie sich bei uns. Maddox AI bietet Ihnen, wie ich selbst erlebt habe, eine Software, die sogar Laien bedienen können.

Nach dem Vergleich der Benutzerfreundlichkeit in dieser Folge wende ich mich in der nächsten Folge dem Problem der Nachkalibrierung zu. Dabei werde ich erneut regelbasierte Systeme und KI-basierte Systeme im Vergleich betrachten.

Blogartikel

Nachkalibrieren ohne Ende?

Folge 8

maddox

Ein regelbasiertes System arbeitet bei optimalen Prüfbedingungen und konstanten Teilen sehr zuverlässig. Anders sieht es aus, wenn die Teile von Charge zu Charge etwas anders aus der Maschine kommen, aber immer noch OK-Teile sind. Eine Nachkalibrierung kann dann schnell zeitaufwändig und kostspielig werden. Anders verhält es sich mit KI-basierten Systemen wie dem Maddox AI-System. Dieses System kann lernen, dass Teile unterschiedlich aussehen können und trotzdem OK-Teile sind.

Zum Blogartikel