Wie man Open-Weights-KI das Sehen beibringt, ohne ein Vermögen auszugeben

Nachdem wir frühen Zugang zu NVIDIA Nemotron 3.5 Lightning erhalten hatten, haben wir einen erfolgreichen Proof of Concept entwickelt. Mit diesem wird das neue Open-Weights-Modell um Vision-Fähigkeiten ergänzt. Nemotron 3.5 Lightning ist auf eine einfache Anpassung ausgelegt. In unserer angewandten Forschung haben wir statt des gesamten Modells nur einen sehr kleinen Adapter trainiert. So konnten wir bestehende Vision-Encoder auf den Embedding-Raum von Nemotron ausrichten. Während unserer Experimente entwickelte sich das Modell von halluzinierten Antworten hin zur präzisen Erkennung der TNG- und NVIDIA-Logos.

Unsere multimodale Anpassung läuft auf Einsteiger-GPUs, wie beispielsweise einer einzelnen RTX 6000 Pro, und ist sehr kosteneffizient - was zeigt, dass die Skalierung von KI-Fähigkeiten keine massiven Infrastrukturinvestitionen erfordert.

Ein großes Danke an NVIDIA für den frühen Zugang, das hocheffektive Modell und die durchgängige Unterstützung.

Lesen Sie unseren Artikel „Exploring NVIDIA Nemotron 3.5 Lightning: Making it see with little resources", um mehr zu erfahren.