Meta: Structured Prompts machen LLMs zuverlaessiger beim Code Review

Meta hat eine Technik namens Semi-Formal Reasoning entwickelt, mit der LLMs Code-Patches verifizieren koennen -- ohne den Code tatsaechlich auszufuehren. Das Ergebnis: bis zu 93% Accuracy in internen Tests.

Was Semi-Formal Reasoning ist

Der Ansatz nutzt strukturierte Prompts, die das LLM systematisch durch den Review-Prozess fuehren. Statt dem Modell einfach einen Diff zu zeigen und "Ist das korrekt?" zu fragen, zerlegen die Prompts die Verifikation in klar definierte Schritte: Kontext erfassen, Aenderungsintention verstehen, moegliche Seiteneffekte pruefen, Urteil faellen.

Das "semi-formal" bezieht sich darauf, dass das Reasoning strukturierter ist als natuerlichsprachliches Review, aber weniger streng als formale Verifikation. Ein Mittelweg, der praktikabel bleibt und trotzdem deutlich zuverlaessiger ist als unstrukturierte Prompts.

Warum das relevant ist

Code Review ist einer der teuersten manuellen Schritte im Entwicklungsprozess -- und gleichzeitig ein Bottleneck, der durch AI-generierten Code noch enger wird (vgl. AI-generierte PRs mergen halb so oft). Wenn LLMs mit strukturierten Prompts zuverlaessig Patches pruefen koennen, reduziert das den Ressourcenbedarf fuer menschliches Review erheblich.

93% Accuracy heisst allerdings auch: 7% Fehlerquote. Fuer sicherheitskritischen Code reicht das nicht als alleinige Pruefung. Aber als erste Filterstufe, die offensichtlich fehlerhafte Patches aussortiert, bevor ein Mensch draufschaut, ist das ein konkreter Gewinn.

Takeaway

Strukturierte Prompts sind kein neues Konzept, aber Metas Ergebnisse zeigen, wie gross der Unterschied zwischen "Code anschauen" und "Code systematisch pruefen" bei LLMs ist. Wer LLMs fuer Review einsetzt, sollte nicht einfach den Diff ins Prompt werfen, sondern dem Modell einen klaren Pruefprozess vorgeben.

Quellen

• Meta researchers use LLMs to verify code patches | InfoWorld