MeSSeR

Mensch-unterstützte Synthese von Simulationsdaten für die Robotik

Motivation

Erzeugung von synthetischen Daten für Künstliche Intelligenz

Das Bundesministerium für Bildung und Forschung (BMBF) beabsichtigt mit der Richtlinie zur Förderung von Projekten zum Thema „Erzeugung von synthetischen Daten für Künstliche Intelligenz“ interdisziplinäre und anwendungsorientierte Forschungs- und Entwicklungsvorhaben zu fördern. Das Ziel der Förderrichtlinie ist es, neue Methoden zur Erzeugung synthetischer Daten für die Erstellung und Validierung von KI-Modellen zu entwickeln bzw. schon vorhandene Methoden zu verbessern oder auch gegebene personenbezogene Datenbestände zu anonymisieren. Durch die Maßnahme soll die Spitzenposition Deutschlands im Bereich KI gesichert und weiter ausgebaut werden. Die Förderung von Verbundprojekten soll hierbei den Transfer zwischen Wissenschaft und Wirtschaft zum Vorteil beider Parteien verstärken. Simulation auf den Punkt durch den Menschen in VR/AR Die Methoden der Künstlichen Intelligenz (KI) und dabei insbesondere des Maschinellen Lernens (ML) finden mehr und mehr auch ihren Einsatz in der Robotik. Dabei stützen sich besonders viele Ansätze auf die Übertragbarkeit von in der Simulation gelernten Abläufen auf die Realität. Ein besonders populärer Ansatz ist die „Domain Randomization“. Es beschreibt die Simulation mehrerer verschiedener Umgebungen, die durch ihre Varianz (Streuung) in unsicheren Variablen, z. B. der genauen Reibungskoeffizienten oder Hintergrundtexturen, die gelernten Aktionen robuster gegen Performanzverlust beim Transfer in die echte Welt machen soll. In diesem Ansatz muss eine Simulationsumgebung, meistens aus CAD-Modellen, sowie die Variabilität verschiedener Größen modelliert werden. Diese beiden Arbeitsschritte kosten sehr viel Zeit. Daher wird meistens im zweiten Schritt durch Automatisierung an Zeit gespart, was dazu führt, dass zu viele Faktoren gleichzeitig und zu stark variiert werden. Die somit entstehenden Trainingsdaten für ML-Verfahren zeigen eine weniger zufriedenstellende Abdeckung an Datenpunkten.

Ziele und Vorgehen

Das Vorhaben MeSSeR verfolgt ein Zusammenwirken von Mensch und Maschine, das die Varianz der unsicheren Variablen gezielt auf die Anwendung und Kontext schärft, Fachwissen in die Simulation einbringt, die Bereitstellungszeit einer anwendungsbezogenen Simulation signifikant verkürzt, und somit schneller zu einem verlässlicheren Ergebnis führt. In MeSSeR wird untersucht wie die Mensch-unterstützte Synthese von Simulationsumgebungen dazu beiträgt, gelernte Handlungen in die echte Welt zu übertragen und wie dieser Ansatz durch den Einsatz erweiterter und virtueller Realitäten (AR/VR) umgesetzt werden kann. AR und VR ermöglichen eine intuitive Interaktion und erleichtern die räumliche Wahrnehmung der simulierten Umgebung und deren Variabilität durch den Menschen. Genauer soll in MeSSeR eine Werkzeugkette entworfen, implementiert und evaluiert werden. Dazu wird eine Simulationsumgebung anhand eines Scans der Umgebung durch den Roboter erstellt. Der Mensch erweitert anschließend in der AR/VR-Umgebung die Simulationsumgebung um Annotationen, wie Kiste (fest), Vorhang (flexibel), und überprüft die Streuung der Variablen auf sinnvolle Werte. Diese Simulationsumgebungen werden dazu genutzt, synthetische Daten von Roboterverhalten zu erzeugen.

Innovationen und Perspektiven

Damit werden zukünftigen Nutzern der MeSSeR-Lösung die nötigen Werkzeuge an die Hand gegeben, um eine synthetische Datengrundlage zum Maschinellen Lernen von Roboteraktionen in der Umgebung zu erstellen.

Projektinformation

Projektleitung

OFFIS e.V.
Escherweg 2
26121 Oldenburg

Volumen

1.013.338,00 €

Laufzeit

08/2021 – 07/2023

Projektpartnerinnen und -partner

  • OFFIS e.V. - Projektleitung; 3D Rekonstruktion der Anwendungsumgebung; Synthese der Simulationsdaten
  • Universität Duisburg-Essen - Wissenstransfer zur Simulationsumgebung über die VR/AR; Integration, Demonstrator und Evaluation