TNG Technology Consulting GmbH

Bring your own expert! MoE-Modelle um neues Fachwissen erweitern

16. November 2026

Viele der heutigen State-of-the-Art-LLMs nutzen eine Mixture-of-Experts-Architektur (MoE): Statt eines einzigen monolithischen „Gehirns" besteht das Modell aus vielen kleinen Teilnetzwerken, sogenannten „Experten", von denen pro Token nur ein Bruchteil aktiviert wird.

Unser TNG KI-Forschungsteam sucht weiterhin nach Wegen, große Sprachmodelle effizient anzupassen. Also haben sie sich gefragt: Können wir unsere eigenen Experten trainieren und einfach in ein bestehendes Modell einfügen?

Die Antwort finden Sie in unserem neuesten Artikel auf Hugging Face.