Methoden
Vertiefung — ML- und AI-Konzepte technisch erklärt -- fortgeschrittenes Niveau
Knowledge Distillation: Wie Student-Modelle vom Teacher lernen
Knowledge Distillation steckt hinter den meisten kleinen, schnellen LLMs der letzten Jahre. Wie ein Student-Modell aus den Soft Targets eines grösseren Teacher-Modells Wissen extrahiert, warum Temperature Scaling der Trick ist und wo die Methode an ihre Grenzen stösst.
Reflection und Self-Revision Pattern für LLM-Agenten
Wie LLM-Agenten ihren eigenen Output kritisch prüfen und in Iterationen verbessern. Vom Reflexion-Paper bis zu modernen Self-Critique-Loops -- Mechanik, Tradeoffs und der Zusammenhang mit Modellgröße.
RLHF und Alignment -- Wie Sprachmodelle lernen, hilfreich zu sein
Von RLHF ueber DPO bis RLAIF -- die Methoden, mit denen Rohmodelle zu nuetzlichen Assistenten werden. Technische Erklaerung mit Formeln, Intuition und Praxisbezug.