Google Cloud AI Research hat mit PaperOrchestra ein Multi-Agent-Framework vorgestellt, das unstrukturierte Forschungsmaterialien -- Ideenskizzen und experimentelle Logdateien -- in einreichungsfertige LaTeX-Manuskripte umwandelt. Das System adressiert eine Luecke in der AI-gestuetzten Forschung: Waehrend es bereits Systeme fuer Experiment-Automatisierung gibt, war die Synthese von Rohmaterialien zu strukturierten Manuskripten bisher kaum erforscht.

Architektur

PaperOrchestra zerlegt den Schreibprozess in spezialisierte Agenten, die parallel arbeiten und iterativ reflektieren:

• Outline Agent: Synthetisiert Eingaben zu einem strukturierten Plan
• Plotting Agent: Generiert konzeptionelle Diagramme und statistische Plots
• Literature Review Agent: Fuehrt gezielte Web-Suchen durch und verifiziert gefundene Paper ueber die Semantic Scholar API, um einen robusten Zitationsgraphen aufzubauen
• Section Writing Agent: Verfasst das vollstaendige LaTeX-Manuskript
• Content Refinement Agent: Optimiert den Entwurf iterativ auf Basis simulierter Peer-Review-Kritik

Die API-gestuetzte Zitationsvalidierung ist dabei ein zentraler Unterschied zu bestehenden Ansaetzen: Statt Zitate zu halluzinieren, prueft das System deren Existenz und Relevanz programmatisch.

PaperWritingBench

Zur Evaluation stellen die Autoren PaperWritingBench vor -- den ersten standardisierten Benchmark fuer AI-Schreibsysteme. Der Datensatz besteht aus 200 reverse-engineerten Rohmaterialien von Top-Konferenz-Papern (je 100 von CVPR 2025 und ICLR 2025). Die Eingaben bestehen aus einer Ideenzusammenfassung und einem experimentellen Logbuch, das numerische Daten aus Tabellen und Beobachtungen aus Abbildungen enthaelt.

Ergebnisse

In Side-by-Side-Evaluationen mit 11 AI-Forschern wurde PaperOrchestra gegen einen Single-Agent-Ansatz und AI Scientist-v2 verglichen:

• Literaturuebersicht: 50-68% absolute Gewinnrate gegenueber den Baselines
• Gesamtqualitaet des Manuskripts: 14-38% Vorsprung
• Gegenueber menschlichen Autoren: Eine Qualitaetsluecke besteht weiterhin -- das System ersetzt keine Forscher

Einordnung

Die Autoren positionieren PaperOrchestra ausdruecklich als Assistenz-Werkzeug, nicht als autonomen Autor. Forscher sollen weiterhin fuer Faktengenauigkeit, Originalitaet und Validitaet verantwortlich bleiben. Die API-gestuetzte Zitationsvalidierung mindert Halluzinationen, ersetzt aber keine menschliche Pruefung.

Fuer die Praxis ist PaperOrchestra relevant als Indikator, wohin sich AI-gestuetztes wissenschaftliches Schreiben entwickelt: Weg von monolithischen Prompts, hin zu spezialisierten Agent-Pipelines mit externen Werkzeugen. Die Trennung in Recherche, Strukturierung, Schreiben und Review spiegelt den tatsaechlichen menschlichen Arbeitsprozess wider.

Quellen

• Marktechpost: Google AI Research Introduces PaperOrchestra
• ArXiv: PaperOrchestra (2604.05018)
• PaperOrchestra Project Page