Grundlage des Forschungsschwerpunkts „Mensch-Maschine-Interaktion und Umgebungssensorik“ bildet das Sensorsystem KINECT der  Microsoft Spielekonsole XBox 360. Ihre Sensorik, bestehend aus Stereo- und Tiefenkamera, ermöglicht die kostengünstige Integration der Sensordaten in bestehende Systeme und Anwendungen. Dies fördert die Funktionsvielfalt bei der Steuerung und Interaktion von Maschinen, die mit anderen Geräten nur mit einem größeren personellen und finanziellen Aufwand zu erreichen wäre.

Das Projekt untersucht Anwendungsmöglichkeiten und Erweiterungsmöglichkeiten bei der Integration der Kinect-Konsolesensoren in bestehende Systeme:

• 3D-Umgebungserfassung zur Mensch-Maschine-Interaktion und zur Umgebungsmodellierung (Prof. Dr.-Ing. Hans-Joachim Böhme, Fakultät Informatik/Mathematik)                                          
• Entwicklung automatisierter online Inspektions- und Bewertungswerkzeuge für Geo- und Umweltrisiken (Prof. Dr. oec. Gunter Gräfe, Fakultät Informatik/Mathematik; Prof. Dr.-Ing. Jens Engel, Fakultät Bauingenieurwesen/Architektur)
• Interaktion und Gestensteuerung im öffentlichen Raum (Prof. Dr. rer. nat. Markus Wacker, Fakultät Informatik/Mathematik)
• Hindernisortung, -erkennung und -umfahrung mit an Auslegern geführten Arbeitsgeräten der Kommunaltechnik (Prof. Dr.-Ing. Martin Wittmer-Salzer, Fakultät Maschinenbau/Verfahrenstechnik)

3D-Umgebungserfassung und -modellierung

Die 3D-Umgebungserfassung und -modellierung spielt im Zusammenhang mit mobilen interaktiven Service- und Assistenzsystemen eine wichtige Rolle. Angestrebt wird ein Vergleich zwischen den Sensorsystemen Time-of-Flight-Kameras und der Kinect, der bislang fehlt. Weiterhin wird untersucht, ob sich durch eine Kombination von Time-of-Flight-Kameras und Kinectsensoren die 3D-Umgebungserfassung und -modellierung verbessern lassen.

Interaktion und Gestensteuerung im öffentlichen Raum

Das Teilprojekt Interaktion und Gestensteuerung im öffentlichen Raum entwickelt die im Projekt „Gestenbasierte Interfaces“ 2009/10 entstandenen musealen Anwendungsszenarien weiter. Hierbei wird geprüft, ob eine Erweiterung auf freie Gesten im Raum mithilfe der Kinectsensoren möglich ist. Geplant ist, die Ergebnisse für die Umsetzung einer interaktiven Installation im Lernort des neu konzipierten Mathematisch-Physikalischen Salons der Staatlichen Kunstsammlungen Dresden nutzbar zu machen.

Entwicklung automatisierter online Inspektions- und Bewertungswerkzeuge für Geo- und Umweltrisiken

Mit der Entwicklung von Verfahren zur Erfassung, Verwaltung und Fernübertragung von Umweltinformationen mittels Sensoren wird an einer Methode gearbeitet, um den Aufwand für die Bewertung und Prüfung der erfassten Umweltdaten zu verringern. Ziel ist es, hierfür Algorithmen und IT-Bausteine bereitzustellen und eine Datenbank für typische Referenzsituationen aufzubauen. Damit soll dem steigenden Anteil von Auslandsprojekten bei der Erfassung von Geo- und Umweltrisiken Rechnung getragen werden.

Hindernisortung, -erkennung und -umfahrung

Das Teilprojekt Hindernisortung, -erkennung und -umfahrung untersucht schließlich Möglichkeiten zur Steigerung der Arbeitsgeschwindigkeit und -qualität von kommunaltechnischen Arbeitsgeräten, zum Beispiel von Mähwerken, durch eine automatische Hinderniserkennung und -umfahrung. In einem ersten Schritt wird eine kinematische Analyse des Systems Ausleger – Arbeitsgerät durchgeführt. Die rechnerische und experimentelle Bestimmung von System-Übertragungsfunktionen dient dazu, Steuerstrategien zur effektiven Hindernisumfahrung abzuleiten. Zu prüfen ist, ob moderne Bilderkennungssysteme zur Hinderniserkennung geeignet sind.