Expert Pyramid Tuning -- Multi-Scale PEFT mit halbierten Parametern
Jia-Chen Zhang, Zhen-Wei Yan, Yu-Jie Xiong und Chun-Ming Xia (Shanghai University of Engineering Science) stellen am 13. Maerz 2026 Expert Pyramid Tuning (EPT) vor -- einen neuen PEFT-Ansatz, der das Feature-Pyramid-Konzept aus der Bildverarbeitung auf die Sprachmodell-Anpassung uebertraegt. Der zentrale Befund: EPT schlaegt etablierte Methoden wie LoRA, MoELoRA und MoRE auf GLUE und Commonsense-Reasoning-Benchmarks, waehrend es nur halb so viele trainierbare Parameter benoetigt.
Kernaussagen
Bestehende Mixture-of-Experts-LoRA-Varianten behandeln alle Aufgaben mit einheitlichen Expert-Architekturen. EPT bricht mit diesem Ansatz und fuehrt eine hierarchische Struktur ein, die unterschiedliche Feature-Granularitaeten fuer unterschiedlich komplexe Tasks bereitstellt. Auf dem GLUE-Benchmark erreicht EPT mit T5-base einen Durchschnitt von 87.0% bei nur 0.41M Parametern pro Task -- MoELoRA und MoRE kommen auf 86.2% bei doppelt so vielen Parametern (0.81M). Auf Commonsense-Reasoning mit LLaMA2-7B erzielt EPT 75.5% Durchschnitt (3.3M Parameter) gegenueber 74.9% bei MoRE (4.5M Parameter). Besonders aufschlussreich: Die Analyse der Expert-Allokation zeigt, dass groessere Datensaetze vorwiegend hochdimensionale Experts nutzen, waehrend kleinere Datensaetze niedrigstufige Experts aktivieren -- das Modell lernt also selbststaendig, Task-Komplexitaet auf die passende Feature-Skala abzubilden.
Methodik
EPT besteht aus drei Bausteinen. Erstens ein gemeinsamer Meta-Knowledge-Subspace, der universelle Sprachmuster in einer niedrigdimensionalen Matrix kodiert. Anders als bei Standard-LoRA wird diese Matrix mit Gauss-Rauschen statt Nullen initialisiert, um von Beginn an reichhaltige Repraesentationen zu lernen. Zweitens ein Pyramid-Projection-Mechanismus mit N dekonvolutionalen Experts, die jeweils unterschiedliche Kernel-Groessen verwenden. Jeder Expert rekonstruiert Features aus dem Meta-Knowledge auf einer anderen Skala -- von feingranularen lokalen Mustern bis zu abstrakten globalen Zusammenhaengen. Drittens ein Adaptive LoRA Pruner, der die Meta-Matrizen dynamisch auf die Zielgranularitaet zuschneidet und ueber einen dimensionsbewussten Skalierungsfaktor die Update-Frequenzen ueber Tasks hinweg balanciert. Ein Task-Embedding-Modul mit Contrastive-Learning-Objective sorgt dafuer, dass semantisch aehnliche Tasks (z.B. QNLI und MNLI) nah beieinander und unterschiedliche Tasks klar getrennt repraesentiert werden. Pro Layer benoetigt EPT nur 6.384 Parameter gegenueber 98.304 bei traditionellem MoE-LoRA -- eine Reduktion auf 6.5%.
Relevanz fuer die Praxis
Fuer Agentic Engineers, die Sprachmodelle auf spezifische Tasks fine-tunen, liefert EPT drei konkrete Erkenntnisse. Erstens: Einheitliche Expert-Architekturen verschwenden Kapazitaet. Wer Multi-Task-Szenarien hat -- etwa ein Modell, das sowohl Code-Generierung als auch Dokumentation und Test-Erstellung beherrschen soll -- profitiert von hierarchischen Adaptern, die je nach Task-Komplexitaet unterschiedliche Feature-Skalen nutzen. Zweitens: Die drastische Parameterreduktion (50% gegenueber MoELoRA bei besserer Performance) senkt die Hardware-Anforderungen. EPT laeuft auf einer einzelnen A100 GPU fuer T5-base -- fuer Teams mit begrenztem GPU-Budget ein relevanter Faktor. Drittens: Die Gauss-Initialisierung statt Null-Initialisierung bei LoRA-Matrizen ist ein einfacher Trick mit messbarem Effekt (+0.5% auf GLUE), der sich auch in bestehenden LoRA-Setups testen laesst.