Techday-Hackathon mit NVIDIA

Letzten Freitag am Techday waren Antonio Rueda Toicen und Stefan Wenz von NVIDIA an unserem Hauptsitz in Unterföhring zu Gast und haben mit unserem Team eine Maker Session veranstaltet.

Im Fokus stand die Nemotron-Modellfamilie: konkret Nemotron Parse, Embedding, Omni und Rerank. Inspiriert vom NVIDIA NeMo-Retriever haben wir Nemotron-Modelle genutzt, um eine Retrieval-Augmented-Generation-(RAG)-Ingestion-Pipeline für Dokumente zu bauen, die Text, Tabellen, Diagramme und Infografiken parsen kann.

Nemotron ist bei uns keine Unbekannte: Kürzlich haben wir Nemotron 3.5 Lightning als GGUF für die lokale Nutzung auf einer einzelnen 24-GB-GPU verpackt und dem Open-Weights-Modell mit einem kleinen Vision-Adapter das Sehen beigebracht.

Danke an Antonio und Stefan für den spannenden Tag und die praktischen Einblicke in die Nemotron-Modellfamilie!