Transformerarchitekturen haben verschiedene Bereiche der Künstlichen Intelligenz (KI), wie die Verarbeitung und Ausgabe natürlicher Sprache, revolutioniert. Allerdings bleibt ihre Bereitstellung, insbesondere bei großen Kontextlängen, aufgrund des erhöhten Rechen- und Speicherbedarfs eine große Herausforderung.
Das Forschungsvorhaben „XEI“ hat deshalb zum Ziel die Technologie effizient und flexibel einsetzbar zu machen, insbesondere beim Verarbeiten von Anfragen mit großen Kontextlängen. Im Grunde wird das Konzept einer dreistufigen Pipeline untersucht und entwickelt: Ein Memory-Modul liefert eine semantisch komprimierte Darstellung über einen langen Kontext, z.B. eine Dokumentation oder Nachrichten-Korpora. Die Ausgabe dieses Moduls wird dann an ein „Mid-Range-Attention-Modul“ weitergeleitet. Dieses basiert auf semantischen Blöcken, um effizient Token über mittlere Sequenzlängen zu generieren, die weiter auf die Benutzereingaben abgestimmt werden können. Die Ausgabe wird abschließend und entsprechend der eingegangenen Informationen durch ein klassisches Transformermodul erzeugt.
Die nach Abschluss des Vorhabens neu entstehende, effiziente Inferenz auf großen Datenmengen wird KI-Modellen erlauben, mehr Eingabedaten mittels einfacherer Hardware zu verarbeiten. Da die laufenden Kosten für diesen Prozess mitunter den größten Teil der laufenden Kosten kommerzieller KI-Systeme ausmachen, würden somit auch die CO2-Emissionen dieser Systeme verringert werden. Darüber hinaus könnte das neuartige Modul für mehr Transparenz und Sicherheit sorgen, indem es relevante Merkmale in wenigen semantischen Konzepten erfasst und deren direkte Manipulation ermöglicht. Insgesamt bieten alle genannten Aspekte einen Wettbewerbsvorteil im internationalen Vergleich und machen die in „XEI“ gesammelten Erkenntnisse damit insbesondere für den EU-Markt attraktiv.
Eberhard Karls Universität Tübingen
Geschwister-Scholl-Platz
72074 Tübingen
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen