Sim4Dexterity

Multimodale Physik- und Sensorsimulation zur Synthese von Trainingsdaten für die Roboter-Manipulation

Motivation

Erzeugung von synthetischen Daten für Künstliche Intelligenz

Das Bundesministerium für Bildung und Forschung (BMBF) beabsichtigt mit der Richtlinie zur Förderung von Projekten zum Thema „Erzeugung von synthetischen Daten für Künstliche Intelligenz“ interdisziplinäre und anwendungsorientierte Forschungs- und Entwicklungsvorhaben zu fördern, die das Ziel haben, neue Methoden zur Erzeugung synthetischer Daten für die Erstellung und Validierung von KI-Modellen zu entwickeln bzw. schon vorhandene Methoden zu verbessern oder auch gegebene personenbezogene Datenbestände zu anonymisieren. Durch die Maßnahme soll die Spitzenposition Deutschlands im Bereich KI gesichert und weiter ausgebaut werden. Die Förderung von Verbundprojekten soll hierbei den Transfer zwischen Wissenschaft und Wirtschaft zum Vorteil beider Parteien verstärken.

Virtuelles Trainingscamp für Roboter

Was dem Menschen leichtfällt, ist für Roboter oft noch herausfordernd: das Greifen, Handhaben und Ablegen verschiedenster Objekte. In wenig veränderlichen Umgebungen mit jeweils identischen Objekten ist dies inzwischen kein Problem. Schwierig wird es, wenn die Roboter verschiedene Aufgaben mit unterschiedlichen Objekten (z. B. Bauteilen) erfüllen sollen. Mit welchem technischen und wirtschaftlichen Aufwand ist eine solche Aufgabe mit einem Roboter noch sinnvoll realisierbar? Lohnt sich der hohe Aufwand vor Ort für Einrichtung und Inbetriebnahme? Diese Unsicherheiten lassen Unternehmen zögern, mögliche Automatisierungspotentiale zu nutzen. Die Idee: die sogenannte „Automatisierung der Automatisierung“, um Roboteranwendungen mit weniger personellem und zeitlichem Aufwand einzusetzen. Der Ansatz: mittels Methoden des maschinellen Lernens (ML) bzw. Künstlicher Intelligenz (KI) erlernen die Robotersysteme ihr notwendiges Anwendungswissen, die erforderliche „Lösungskompetenz“ selbst.

Ziele und Vorgehen

Im Projekt „Sim4Dexterity“ werden adaptierbare Simulationsmodelle und -umgebungen für typische Handhabungs- und Montagetätigkeiten entwickelt, die ein breites Anwendungsfeld in verschiedenen Industriezweigen abdecken sollen. Auf Basis dieser Modelle können die ML-/KI-Algorithmen eine neue Roboteranwendung virtuell trainieren und entwickeln, d. h. zunächst ohne reale Hardware (Roboter, Objekte und Umgebungen). So kann bereits im Vorfeld von Investitionsentscheidungen die Machbarkeit der Zielanwendung geprüft werden. Kernaufgabe des Projektes ist, die erforderlichen Modellelemente und „künstlichen“ Daten für eine ganzheitliche Simulation (taktile Sensorik, Objekterkennung, physikalische Eigenschaften der Roboter und der Umgebung etc.) zu entwickeln. Auf deren Basis können die Roboter das Handhaben der fraglichen Objekte selbständig erlernen. Die dafür erforderlichen umfangreichen Datensätze sollen mit Hilfe der Simulationen erzeugt werden, da vergleichbare Realdaten nicht mit einem wirtschaftlich vertretbaren Aufwand beschafft werden können. Ein Schwerpunkt der Projektarbeit liegt in der einfachen Übertragung der selbständig und virtuell erlernten Fähigkeiten auf verschiedene, reale Anwendungsszenarien.

Innovationen und Perspektiven

Die Ergebnisse werden in drei Anwendungsfällen evaluiert. Beim „Griff in die Kiste“ nimmt der Roboter ungeordnet liegende Bauteile aus einem Behälter und reicht sie „geordnet“ weiter. Für Warenlager oder den Einzelhandel ist das Herausnehmen von einzelnen Artikeln aus einem Regal relevant. Zudem wird eine typische Montageanwendung umgesetzt. Für den fachlichen Austausch und um die Weiterentwicklung der Lösungen zu fördern, sollen die Ergebnisse wissenschaftlich und in Form von Wettbewerben und Leistungsbenchmarks veröffentlicht werden, mit denen auch ein Gütesiegel für Handhabungslösungen entstehen könnte. Der Trend zur effizienten, also automatisierten Fertigung auch kleinerer Stückzahlen liefert neue Einsatzgebiete für Robotik-Anwendungen. Mit der Senkung der Einstiegshürden für den Robotereinsatz können die Automatisierungspotentiale von mehr Unternehmen genutzt werden.

Projektinformation

Projektleitung

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. – Institut f. Produktionstechnik und Automatisierung (IPA)
Nobelstraße 12
70569 Stuttgart

Volumen

1.457.517 €

Laufzeit

10/2021 – 09/2023

Projektpartnerinnen und -partner

  • Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. - Institut f. Produktionstechnik und Automatisierung (IPA) - Forschungspartner, Konsortialführer; Trainingsmethoden für Roboter-KI in realistischen Simulationsumgebungen, ML-Methoden f. Objeklageschätzung u. Greifstrategien f. Roboter, Entwicklung von Challenges u. Benchmarks
  • Universität Bielefeld - Technische Fakultät & Zentrum für Kognitive Interaktionstechnologie (CITEC) - Forschungspartner, Simulation von Kontaktkräften u. taktiler Sensorik f. Roboter Greifer
  • Optonic GmbH - Entwicklungspartner, Simulation von aktiven 3D-Stereosensoren (Objekterkennung)
  • T-Systems International GmbH - Entwicklungspartner, virtuelle Validierung zum Funktionsnachweis der KI Algorithmen u. Cloud-Hosting-Expertise (f. gepl. Challenges u. Benchmarks)
  • Liebherr-Verzahntechnik GmbH - Anwendungspartner / Systemintegrator, Automatisierungslösungen f. die Produktion (Bin-Picking), Simulation Bin-Picking-Prozesse
  • Daimler Truck AG - Anwendungspartner, Smart Automation in der Produktion, Montage- u. Logistiklösungen, Evaluation „Kitting" u. „Montage"
  • EHI Retail Institute GmbH - Anwendungspartner / Multiplikator f. den Handel, KI-Roboter-Lösungen für den Einzelhandel (Kommissionierung, Nachtbedienung), Ergebnistransfer
  • Käpple Qualitätsleister e.K. - Anwendungspartner, Dienstleistungen f. Produktion u. Handel (Konfektion /Kommissionierung, Qualitätssicherung, Montage), Evaluation „Griff in die Kiste"