JudgeBiasBench -- Systematische Vermessung und Reduktion von Bias in LLM-Richtern
Hongli Zhou, Hui Huang, Rui Zhang und Kollegen (Harbin Institute of Technology) haben am 9. Maerz 2026 ein Framework vorgestellt, das systematisch erfasst, wo und wie stark LLM-basierte Richter durch Verzerrungen beeinflusst werden. Das Ergebnis ist JudgeBiasBench -- ein Benchmark mit 4.604 Instanzen, der 12 Bias-Typen in vier Dimensionen abdeckt, plus zwei Debiasing-Verfahren, die die Robustheit deutlich erhoehen.
Kernaussagen
Die zentrale Erkenntnis: Selbst leistungsstarke Modelle sind anfaellig fuer oberflaechliche Signale. GPT-3.5-Turbo aendert in 35,2% der Faelle sein urspruenglich korrektes Urteil, wenn Bias-Signale injiziert werden. Claude 3.7 Sonnet schneidet mit 10,2% deutlich besser ab, ist aber nicht immun. Laenge ist der konsistenteste Stoerfaktor -- zwischen 13% und 73,8% aller getesteten Richter lassen sich durch laengere Antworten taeuschen. Positionseffekte (welche Antwort zuerst praesentiert wird) betreffen 7,9% bis 52,8% der Modelle.
Die Autoren organisieren Bias in vier Dimensionen: Oberflaechliche Qualitaet (Laenge, Autoritaet, Aesthetik, Bestimmtheit, Sycophancy, Sentiment, Konkretheit), Kontext (oberflaechliche Reflexion, Bandwagon-Effekt), Praesentation (Positionseffekt) und Diversitaet (Geschlecht, Ethnie). Diese Taxonomie ermoeglicht erstmals eine strukturierte Diagnose: Teams koennen gezielt pruefen, welche Bias-Typen ihren konkreten Judge-Einsatz betreffen.
Methodik
Der Benchmark basiert auf dem HelpSteer3-Preference-Datensatz. Fuer jeden Bias-Typ werden kontrollierte Manipulationen vorgenommen: kontrafaktisches Umschreiben (z.B. autoritaetssignalisierende Formulierungen einfuegen), Kontext-Ablenkung, Layout-Aenderungen oder Identitaetssignale. Gemini 2.5 Pro dient als Verifizierer, um sicherzustellen, dass die inhaltliche Qualitaet trotz Bias-Injektion unveraendert bleibt. Pro Bias-Typ entstehen 291 bis 500 Instanzen.
Fuer das Debiasing unterscheiden die Autoren zwischen generativen Richtern (die eine Begruendung formulieren und dann urteilen) und diskriminativen Richtern (die direkt einen Score vergeben). Generative Richter werden ueber Group Relative Policy Optimization (GRPO) mit Bias-augmentierten Praeferenzdaten trainiert. Diskriminative Richter erhalten Contrastive Learning mit InfoNCE-Loss, der Scores fuer korrekte Antworten sowohl gegenueber regulaeren als auch Bias-manipulierten Alternativen nach oben drueckt.
Die Metrik ist die Bias Sensitivity Rate (BSR): der Anteil urspruenglich korrekter Urteile, die nach Bias-Injektion falsch werden. Niedrigere Werte bedeuten hoehere Robustheit.
Relevanz fuer die Praxis
LLM-as-Judge ist in der Praxis allgegenwaertig -- von RLHF-Reward-Modellen ueber automatisierte Code-Reviews bis zu Content-Moderation. Die Ergebnisse zeigen konkret, worauf man achten muss. Wer ein Qwen2.5-7B-Modell als Richter einsetzt, kann die BSR durch gezieltes Debiasing-Training von 26,9% auf 10,8% senken, ohne Einbussen auf etablierten Benchmarks wie RewardBench oder JudgeBench. Das bedeutet: Debiasing ist kein Trade-off, sondern ein reiner Zugewinn.
Fuer Teams, die LLM-Richter einsetzen, ergeben sich drei direkte Handlungsempfehlungen: Erstens, die eigene Judge-Pipeline mit den identifizierten Bias-Typen testen -- insbesondere Laenge und Position sind fast immer relevant. Zweitens, bei der Wahl des Richter-Modells nicht nur auf Gesamtgenauigkeit schauen, sondern auf die BSR in den fuer den eigenen Einsatz relevanten Dimensionen. Drittens, wenn moeglich Debiasing-Training einsetzen -- die Methodik ist mit Standard-RL- und Contrastive-Learning-Pipelines umsetzbar.