Die Forschenden wollen LLMs klein und schnell genug machen, damit sie in Smartphones, Autos oder Robotern eingesetzt werden können. Um Rechenkomplexität und Speicherbedarf zu reduzieren, kombiniert das Team unterschiedliche, sich gegenseitig ergänzende Methoden: Parameter-Sharing reduziert die Grundgröße des Modells, KV-Cache-Kompression reduziert den temporären Speicher, der während der Inferenz benötigt wird, und hybride Architekturen ermöglichen es, aufgabenspezifische Berechnungen sparsamer zu gestalten. So verringern sich durch das gleichzeitige Anwenden dieser drei Methoden nicht nur der statische und dynamische Speicher, sondern auch die eigentliche Rechenlast. Gleichzeitig ermöglicht die Kombination eine bessere Koordination und Kontrolle der Gesamtreduzierung. Dafür entwickeln die Forschenden neue Algorithmen, testen sie auf realen Edge-Geräten und veröffentlichen den Quellcode.