code.talks 2026

Am 4. und 5. November findet die code.talks 2026 im Kinopolis in Hamburg statt.

Unser Kollege Konstantin Todte hält dort einen Vortrag mit dem Titel „Testing the Untestable? Quality Control for Multi-Agent LLM Systems in Production“.

Konstantin Todte erklärt, wie sein Team die Qualität des KI-Assistenten „AI Assist“ in der Home Connect App von BSH sicherstellt. Dabei geht er auf die Herausforderung ein, ein System zu testen, dessen Kern nicht-deterministisch ist, dessen Tools auf entfernten Servern liegen und dessen Ausgabe ein Strom natürlicher Sprache ist. Die Grundlage bilden klassische Unit- und Integrationstests für den Code rund um das Modell. Darüber hinaus zeigt er eine Eval-Schicht mit einem kleinen Golden Dataset aus echten Gesprächen, deterministischen Prüfungen für die Entscheidungen des Agenten sowie LLM-Judges für Qualitätsaspekte, die sich nicht objektiv testen lassen. Der Vortrag gibt Einblicke in die Praxiserfahrungen des Teams, darunter Regressionen aus dem Produktivbetrieb und die Integration in die CI-Pipeline.

Weitere Informationen zum Event findet man hier.