GeniusRobot

Interpretierbare multimodale generative KI-Modelle für robuste Manipulation in der Robotik

Motivation

Das zuverlässige Greifen und Manipulieren beliebiger Objekte ist eine der zentralen Herausforderungen in der Robotik, von der Produktion bis Medizin. In diesem Kontext sind Regelungsverfahren, die den Griff dynamisch anpassen, noch weitgehend unerforscht. Dadurch kann sich der Roboter flexibel, resilient und effizient an Änderungen in der Umgebung, beim Objekt oder in der Aktivität selbst anpassen. So kann unmittelbar reagiert werden, wenn beispielsweise ein Objekt aus der Hand zu gleiten droht. Eine solche Regelung erfordert nicht nur taktile Sensorik, die Kontakt- und Scherkräfte erfassen kann, sondern auch entsprechende multimodale Modelle aus der Künstlichen Intelligenz (KI), die sensorische Informationen aus mehreren komplementären Quellen integrieren und interpretieren können. Genau hier setzt das Forschungsvorhaben „GeniusRobot“ an.

Ziele und Vorgehen

Das Ziel ist die Entwicklung neuer, interpretierbarer KI-Modelle, mit denen Methoden aus dem Bereich der generativen KI für die Erzeugung von Bildern für die Robotik nutzbar gemacht werden. Zur Planung von Greifbewegungen sollen taktile Sensordaten aus Kameradaten vorhergesagt werden, zunächst statisch und anschließend dynamisch über die Zeit. Umgekehrt werden diese Vorhersagen mit einem weiteren generativen Modell wieder in Kamerabilder zurückgerechnet, sodass die Effekte von Bewegungen des Roboters direkt visualisiert werden können. Dies ermöglicht die Manipulation von verdeckten Objekten, die nur teilweise mit der Kamera erfasst werden können. Die Modelle werden in einem gängigen „Pick and Place“-Szenario erprobt und mittels in diesem Projekt generierter Daten trainiert.

Innovationen und Perspektiven

Ein wesentlicher Entwicklungsschwerpunkt liegt auf der Interpretierbarkeit der Modelle, die für den Einsatz von generativer KI in sicherheitskritischen Umgebungen unerlässlich ist. Perspektivisch erschließen die Ergebnisse damit auch neue Einsatzszenarien in der automatisierten Fertigung und Mensch-Maschine-Interaktion und liefern neue wissenschaftliche Erkenntnisse im Bereich sicherer und multimodaler KI.

Projektinformation

Projektleitung

Technische Universität Nürnberg
Ulmenstraße 52i
90443 Nürnberg

Volumen

1,96 Mio. € inkl. Projektpauschale

Laufzeit

10/2024 – 09/2027

Projektpartnerinnen und -partner

Technische Universität Nürnberg Ludwig-Maximilians-Universität München Technische Universität Dresden