Big Techday 25: Vortrag zu "How to run your LLM and how to benchmark it"

In diesem Vortrag zeigen unsere Kollegen, wie TNG sein GPU‑Cluster mit mehr als 50 GPUs betreibt und wie wir Large Language Models evaluieren.
Zentrale Themen:
• Hardware‑Anforderungen und typische Fallstricke eines internen KI-Rechenzentrums
• Performance‑Optimierungen für hunderte gleichzeitige Nutzerinnen und Nutzer
• Praktische Methoden zur Bewertung von LLMs
• Abwägung von Latenz, Kosten und Ergebnisqualität bei der Modellauswahl

Der Vortrag wurde im Rahmen unseres Big Techday 25 aufgezeichnet. Das vollständige Video finden Sie auf YouTube.

Am 22. Mai findet der Big Techday 26 mit Vorträgen zu KI‑Forschung und vielen weiteren Themen statt.