Demonstratoren
Innerhalb des Projektes KiWi entstehen in Kooperation mit Industrie und öffentlichen Partnern eine Reihe von Demonstratoren in den Gebieten der Landgerätetechnik, Servicerobotik, Onkologie, Maschinen- und Anlagenbau sowie Predictive Quality. Die Demonstratoren werden im folgenden auf dieser Seite vorgestellt:
Kollaborativer Roboter
Überwachung des menschlichen Arbeiters in Zusammenarbeit mit dem Roboter
Der Einsatz von Robotern nimmt in der hochautomatisierten Fertigung immer weiter zu. Dabei wird auch die direkte Zusammenarbeit von Mensch und Roboter eine immer wichtigere Rolle spielen. Der Roboter übernimmt dabei repetive/monotone Arbeiten und der Mensch konzentriert sich auf spezielle/schwierige Handgriffe, welche Heute noch nicht von Robotern übernommen werden können. Um in diesem Kontext eine sichere Zusammenarbeit zwischen dem Roboter und dem Menschen zu gewährleisten sind u.a. folgende Faktoren wichtig: Bewusstsein des Arbeiters über die Aktionsradien und Kräfte des Roboters und eine definierte Einschränkung des Roboters, um Kräfte und Aktionsradien zu minimieren. Ein weitere wichtiger Faktor ist außerdem das Bewusstsein des Roboters über den menschlichen Arbeiter, d.h. der Roboter erkennt den Arbeiter und kann Ihn einschätzen. Zur Lösung dieses Problems wurde ein System enwickelt, welches den menschlichen Arbeiter mit Hilfe eines Computer-Vision-Systems überwacht. Dabei werden momentan folgende Faktoren berücksichtigt:
1. Befindet sich ein autorisierter Arbeiter vor dem Roboter?
2. Welche Emotion zeigt der Arbeiter? Neutral, freundlich, erschrocken, ängstlich, usw.?
3. Zeigt der Arbeiter Anzeichen von Müdigkeit?
Das folgende Schema zeigt auf Grundlage dieser erkannten Merkmale mögliche Reaktionsmöglichkeiten des Roboters:
Technische Umsetzung
Um die verschiedenen Merkmale des Arbeiters zu erkennen, wurden ausschließlich Neuronale Netze eingesetzt. Diese bieten durch Ihren datengetriebenen Ansatz im Gegensatz zu traditionellen Bildverarbeitungsalgorithmen entscheidende Vorteile, wie z.B. beste Erkennungsraten, effektive Skalierung mit dem Datensatz und einfache Übertragung auf neue Anwendungsfälle. Durch immer leistungsfähigere Hardware im Edge Bereich (Nvidia Jetson) läuft die Erkennung in nahezu Echtzeit (ca. 25ms) ab. Folgendes Schema zeigt die Entwicklung der Neuronalen Netze und die zum Einsatz kommenden Architekturen:
1. Schritt
Gesicht des Arbeiters wird erkannt und mittels einer Bounding Box aus dem Bild geschnitten. Dafür kommt ein vortrainiertes Gesichtsdetektionsmodell auf der Grundlage einer SSD-Architektur mit einem MobileNet-Backbone zum Einsatz.
Auflösung: 320x240 | Erkennungszeit: 5ms
2. Schritt
Emotion des Arbeiters wird erkannt. Dafür kommt eine Convolutional Neural Network (CNN) mit einem Resnet18-Backbone, welches anhand des FER 2013 Datensatzes trainiert wurde, zum Einsatz.
Auflösung: 48x48 | Erkennungszeit: 3ms
3. Schritt
Autorisierte Arbeiter werden erkannt. Mit Hilfe von Transfer Learning kommt der Backbone des CNN´s aus Schritt 2 zum Einsatz, welches für diesen Fall auf die autorisierten Arbeiter optimiert wird.
Auflösung: 48x48 | Erkennungszeit: 3ms
4. Schritt
Müdigkeit wird erkannt. Dazu werden mittels der Bibliothek dlib relevanteGesichtslandmarken erkannt, woraus die Augenpartie extrahiert und analysiert wird. Bei sich schließenden Augen wird vor Müdigkeit gewarnt.
Auflösung: 112x112 | Erkennungszeit: 8ms
