Evaluation von KI-Sprachdokumentation für Zahnarztpraxen
20. August 2026
Projektfakten:
Kunde: DAMPSOFT, Marktführer für Zahnarzt-Praxisverwaltungssoftware (PVS) in Deutschland
Projektziel: Aufbau eines Evaluationsframeworks zur Qualitätssicherung und Mitentwicklung des KI-Dokumentationsassistenten AIVA
Team: zwei TNG Consultants,
in Zusammenarbeit mit einem dreiköpfigen KI-Team auf Kundenseite
Projektbeginn: Januar 2026
Erfolge: Release des Dokumentationsassistenten AIVA im Juli 2026, messbare Qualitätsverbesserung um mehrere Prozentpunkte durch systematische Evaluation
Die Ausgangssituation
DAMPSOFT entwickelt Praxisverwaltungssoftware für Zahnarztpraxen und ist mit rund 36 Prozent Marktanteil Marktführer in Deutschland. Zunehmend möchten jedoch Start-ups mit KI-basierten Ansätzen einzelne Teilprozesse verändern.
Als wir Ende 2025 ins Projekt einstiegen, existierte bereits ein erster Entwurf des KI-Services "AIVA". Das erste Feature, die automatisierte Transkription von Patientengesprächen und Erstellung von Dokumentation für die medizinische Patientenakte, war entwickelt und befand sich in einer Testphase mit ersten Zahnarztpraxen. Auch ein Evaluationsexperiment hatte schon stattgefunden, eine systematische und belastbare Qualitätsmessung gab es jedoch noch nicht.
Unser Ziel
Unsere initiale Aufgabe bestand darin, ein eigenes Evaluationsframework zu konzipieren und aufzubauen, damit unser Kunde die Qualität seines KI-Service strukturiert bewerten und iterativ verbessern kann. Dieses ist mittlerweile schon erfolgreich abgeschlossen und wird aktiv genutzt.
Im weiteren Projektverlauf wurde unser Team zudem in die Entwicklung des KI-Services eingebunden, mit der Aufgabe, neue Features zu entwickeln und Verbesserungen zu implementieren. Der Kunde gibt uns hierbei viel Freiheit: Wir können explorativ und ohne starre Vorgaben arbeiten, auch im Hinblick auf den Einsatz von KI-Technologien.
Unser Vorgehen
Zu Beginn haben wir uns mit der Frage beschäftigt, wie sich die Qualität einer KI-generierten Gesprächsdokumentation für die Patientenakte bewerten lässt. Darauf aufbauend haben wir ein Evaluationsframework konzipiert, getestet und umgesetzt. Dieses umfasst:
eine realistische Testdatenbasis, inklusive Feedback von zahnmedizinischem
Fachpersonal als Testkunden
verschiedene Metriken, die die Qualität der Dokumentation messen
Automatisierung, Visualisierung und Tracing für wiederholbare und nachvollziehbare Evaluationsläufe
Die Bewertung der Dokumentation anhand dieser Metriken erfolgt KI-gestützt über LLMs und ist in Python implementiert.
Nachdem das Evaluationsframework stand, durften wir zunehmend in die Entwicklung des KI-Services selbst einsteigen und an der Verbesserung bestehender Features sowie an neuen Funktionalitäten mitwirken.
Unser Team aus zwei TNG-lern arbeitet in enger Abstimmung mit dem technischen Lead, dem Product Owner und einer Person aus dem Entwicklungsteam des Kunden. Im Projekt wird auf eine dynamische, explorative Arbeitsweise ohne feste Sprints gesetzt, wobei es ein wöchentliches Alignment und ad-hoc Absprachen mit dem Kunden gibt. Diese Flexibilität ermöglicht es uns, schnell auf Feedback aus der Testphase zu reagieren.
Eine besondere Herausforderung ist der Umgang mit sensiblen, personenbezogenen Daten: Das Debugging von Problemen aus der Testphase war kompliziert, da wir Probleme nur abstrakt nachbauen konnten, anstatt auf konkreten Beispielen zu arbeiten.
Ein wichtiger Meilenstein war das Upgrade des LLMs (auf GPT-5.4) sowie des Speech-to-Text-Modells (auf MAI-Transcribe-1.5), das durch die strukturierte Evaluation möglich wurde und deutliche Qualitätsverbesserungen brachte.
Das Ergebnis
Anfang Juli 2026 wurde der Dokumentationsassistent AIVA erfolgreich ausgerollt und in die Praxisverwaltungssysteme DS-WIN und DS4 von DAMPSOFT integriert. Hier zeichnet der Assistent Patientengespräche auf und erstellt daraus Dokumentationen für die Patientenakte.
Das dazu entwickelte Evaluationsframework inklusive Automatisierung und Visualisierung ermöglicht es unserem Kunden, Veränderungen an AIVA vorzunehmen, ohne dass die Qualität beeinträchtigt wird und stellt gleichzeitig deren Messbarkeit sicher. Die Qualität des Dienstes hat sich um mehrere Prozentpunkte verbessert, teilweise aufgrund von Impulsen aus dem Evaluationsframework.
Unser Kunde zeigt sich sehr zufrieden, sodass wir den KI-Service gemeinsam mit DAMPSOFT weiterentwickeln dürfen. Beispiele für größere Features, an denen wir derzeit arbeiten, sind eine Individualisierungsmöglichkeit der Dokumentation sowie die Spezifizierung von Terminarten.
Wir freuen uns auf die weitere Zusammenarbeit und möchten uns auch dafür bedanken, dass unsere Kollegen Sebastian Zett und Julian Bollig im Rahmen unseres Big Techday 26 gemeinsam mit DAMPSOFT das Projekt im Rahmen eines Vortrags vorstellen durften.