AMD veröffentlicht 16B Open MoE – vollständig auf Instinct GPUs trainiert

AMD hat ein 16B-Parameter Mixture-of-Experts Modell mit einem Base-Durchschnitt von 76,7 vorgestellt – einen halben Punkt vor Moonlight-16B-A3B mit 76,2 und rund 6,6 Punkte über OLMo-3-7B mit 70,1. Die interessante Zahl ist jedoch nicht der Abstand auf der Bestenliste. Entscheidend ist, dass der gesamte Trainingsdurchlauf auf Instinct MI300X und MI325X Hardware stattfand, ohne ein einziges NVIDIA-Gerät. Für ein Unternehmen, das seit zwei Jahren argumentiert, ROCm sei für ernsthaftes Pre-Training geeignet, ist das der Beweis.

Was passiert ist

AMD hat Instella-MoE-16B-A3B veröffentlicht, ein Decoder-only Mixture-of-Experts Modell mit 16B Gesamtparametern und 2,8B aktiven Parametern pro Token. Wie MarkTechPost berichtete, umfasst die Veröffentlichung Gewichte jeder Trainingsphase, die Datenmischungen, Trainingskonfigurationen sowie über SGLang bereitgestellten Inferenzcode. Die Trainingscodebase steht unter MIT-Lizenz. Die Gewichte selbst werden unter ResearchRAIL veröffentlicht und sind auf akademische und Forschungszwecke beschränkt.

Die Trainingspipeline ist ein vollständiges modernes MoE-Rezept. Das Pre-Training umfasst 7,1T Token aus Nemotron-CC-v2, MegaMath, FineMath, RefineCode und TxT360. Das Mid-Training verwendet Dolma3 Dolmino 100B in drei Datenvarianten, die durch Gewichtsmittelung zusammengeführt werden. Eine dedizierte Long-Context-Phase erweitert das Kontextfenster von 4K auf 64K mit YaRN, erhöhtem RoPE Theta und Document Masking. Das Post-Training führt SFT auf Dolci-Think-SFT-7B plus Nemotron-Mischungen durch, danach einen feedbackgesteuerten 512K-Beispiel-Datensatz, gefolgt von DPO mit Router-Bias-Updates und deaktiviertem auxiliären Load-Balancing-Verlust. RL läuft im Miles-Framework für 1.400 Schritte mit instruction-following RLVR, abgeschlossen durch Multi-Teacher On-Policy Distillation.

Der Base-Checkpoint mit 76,7 Durchschnitt führt alle vollständig offenen Konkurrenten, die AMD als Benchmark verwendet hat: Moonlight-16B-A3B mit 76,2, SmolLM3-3B-Base mit 70,5, OLMo-3-7B mit 70,1 und OLMoE-1B-7B mit 61,9. Qwen3.5-4B-Base mit 79,5 liegt jedoch noch vorne. Im Post-Training erreicht der Think-Checkpoint 73,22 – über Olmo3-7B-Think (71,97), Gemma-4-E4B think (70,47) und Qwen3.5-4B (69,73). IFEval steigt über den Post-Training-Stack von 77,08 auf 83,70. Was die Quelle nicht offenlegt, sind die gesamten GPU-Stunden oder die Kosten des 7,1T-Token-Runs – das ist entscheidend, denn die gesamte These „AMD als Trainingsplattform" steht und fällt mit diesem Verhältnis.

Technische Anatomie

Die Architektur selbst ist Standard-MoE mit zwei eigenen Anpassungen. 27 Schichten, Hidden Size 2048, 16 Attention Heads und ein Vokabular mit 128.896 Tokens. Jede MoE-Schicht enthält 2 gemeinsame Experten plus 6 geroutete Experten, ausgewählt aus einem Pool von 64. So ergeben sich 2,8B aktive bei 16B Gesamtparametern. Ein Multi-Token Prediction Objective läuft während Pre-Training und Mid-Training – mittlerweile Standard, seit DeepSeek es populär gemacht hat.

Die zwei wirklich studierwürdigen Aspekte sind Gated MLA und FarSkip-Collective. Gated MLA fügt ein leichtgewichtiges erlerntes Output-Gate an Multi-head Latent Attention an: eine dedizierte lineare Projektion leitet ein eingabeabhängiges Gate ab, das den Attention-Output vor der abschließenden Projektion multipliziert. Wenige Parameter, spürbarer Ausdrucksgewinn. FarSkip-Collective ist aus Infrastruktursicht das interessantere Element. Es leitet veraltete und partielle Aktivierungen in die MoE- und Attention-Schichten, sodass expert-parallele All-to-All-Kommunikation mit der Berechnung überlappen kann, anstatt den kritischen Pfad zu blockieren.

Die von AMD gemeldeten Zahlen dazu: 12,7 % Pre-Training-Beschleunigung durch FarSkip-Collective und bis zu 39,2 % Reduktion der Time to First Token beim Serving mit Expert Parallelism. Beide Werte stammen aus AMDs eigener Instrumentierung – ich würde eine Drittanbieter-Reproduktion abwarten, bevor ich sie als auf Nicht-Instinct-Hardware übertragbar behandle. Die 39,2 %-TTFT-Zahl ist insbesondere an die spezifische expert-parallele Serving-Topologie gebunden, und die Quelle gibt weder GPU-Anzahl noch Batch-Größe für diese Messung an.

Auf der Serving-Seite ergeben 16B Parameter in BF16 rund 32 GB Gewichtsspeicher. Das passt komfortabel auf einen einzelnen MI300X (192 GB HBM3) oder einen einzelnen H100 80GB. Der SGLang-Codepfad macht das Modell außerhalb von AMDs eigenem Rechenzentrum tatsächlich ausführbar. Die Long-Context-Auswertung ergibt 41,5 auf HELMET und 79,4 auf RULER – der RULER-Wert ist stark genug, um zu vermuten, dass die YaRN-Erweiterung das Post-Training überstanden hat, anstatt zum Short-Context-Verhalten zurückzufallen. Sollten sich die FarSkip-Behauptungen in unabhängigen Benchmarks bestätigen, dürfte bis Q1 2027 mindestens ein Nicht-AMD-Labor ein vergleichbares MoE mit demselben Verbindungsmuster veröffentlichen.

Wer das Nachsehen hat

Der offensichtliche Verlierer ist jeder, der ein kommerzielles gehostetes Produkt auf Basis der Instella-MoE-Gewichte aufbauen möchte. ResearchRAIL blockiert das vollständig. Die MIT-lizenzierte Trainingscodebase ist die eigentliche Ressource für kommerzielle Teams: ein dokumentiertes, reproduzierbares MoE-Rezept, das auf Nicht-NVIDIA-Hardware läuft. Das ist vor allem für drei Gruppen relevant.

Erstens: Mittelgroße Cloud-Anbieter, die Instinct-Kapazität in dem Glauben erworben haben, ROCm würde irgendwann aufholen. Bisher war der Großteil der öffentlichen Belege für produktionsreifes AMD-Training auf Fine-Tuning-Runs oder Inferenz-Deployments beschränkt. Ein 7,1T-Token-Pre-Training-Run von Grund auf, mit vollständig dokumentierten Phasen, gibt deren Vertriebsteams etwas Konkretes in die Hand. Ob sich das in tatsächliche Buchungsgeschwindigkeit übersetzt, hängt vom Preis pro trainiertem Token ab – den die Quelle nicht offenlegt.

Zweitens: Das Wettbewerbsfeld der vollständig offenen Gewichte. Moonlight-, OLMo- und SmolLM-Teams haben nun einen Baseline-Wert von 76,7, den sie beim nächsten Release übertreffen müssen. Der 0,5-Punkte-Abstand zwischen Instella-MoE (76,7) und Moonlight-16B-A3B (76,2) ist klein genug, dass eine einzelne Mid-Training-Anpassung ihn schließen könnte. Der 6,6-Punkte-Abstand gegenüber OLMo-3-7B ist jedoch strukturell und spiegelt den MoE-Architekturvorteil pro aktivem Parameter wider.

Drittens: Anbieter geschlossener Modelle, die Forschungsbudgets bedienen. Jedes Labor, das für rein akademische Experimente für Qwen- oder Gemini-API-Zugang bezahlt hat, verfügt nun über eine vollständig reproduzierbare Alternative mit Gewichten für jeden Checkpoint – etwas, das kein geschlossener Anbieter bietet. Der Haken: Die ResearchRAIL-Lizenz bedeutet, dass Teams in dem Moment, in dem aus der Forschung ein Produkt wird, neu trainieren oder anders lizenzieren müssen. Das ist ein realer Wechselkostenfaktor, den geschlossene Anbieter im Enterprise-Vertrieb ausnutzen werden.

Für iGaming-, Fintech- und Ad-Tech-Unternehmen, die das Modell als Basis für domain-spezifisches Fine-Tuning betrachten, macht die Lizenz es als Produktionskandidaten unbrauchbar. Stattdessen sollte der Trainingscode beobachtet werden. Wenn sich das so entwickelt, sollten innerhalb von 60 Tagen mindestens drei Nicht-AMD-Forks der Primus- und Miles-Frameworks auf GitHub erscheinen.

Handlungsempfehlungen für die KI-Entwicklung

Für Engineering Leads, die dieses Release bewerten, drei konkrete Maßnahmen für diese Woche.

Erstens: Den MIT-lizenzierten Trainingscode herunterladen und die FarSkip-Collective-Implementierung lesen. Unabhängig davon, ob man jemals auf Instinct-Hardware trainiert, ist das Muster der Überlappung expert-paralleler Kommunikation mit Berechnung unter Verwendung veralteter Aktivierungen auf jeden MoE-Trainings-Stack übertragbar. Wenn sich der 12,7 %-Speedup auf H100-Clustern replizieren lässt, ist das bei einem 7T-Token-Run echtes Einsparpotenzial.

Zweitens: Die veröffentlichten Gewichte unter einer Research-Lizenz auf domänenspezifischen Evaluierungen testen, bevor man davon ausgeht, nicht ausliefern zu können. Einige Enterprise-R&D-Anwendungsfälle (interne Wissensabfrage, Code-Review-Tooling, das die Organisation nie verlässt) fallen möglicherweise je nach rechtlicher Auslegung in den Rahmen von ResearchRAIL. Einen Rechtsbeistand bitten, den tatsächlichen Lizenztext zu lesen, anstatt anzunehmen, dass ResearchRAIL in allen Releases dasselbe bedeutet. Das tut es nicht.

Drittens: Falls MoE-Modelle in der Produktion betrieben werden, den SGLang-Inferenzpfad gegen den aktuellen Stack testen. Die behauptete 39,2 %-TTFT-Reduktion ist einen Nachmittag Reproduktionsarbeit wert, selbst wenn man das Modell selbst nicht übernimmt – denn SGLangs expert-parallele Serving-Verbesserungen würden auf jedes bereits laufende MoE anwendbar sein. Für Teams, die Infrastrukturoptionen vergleichen, ist die Hugging Face-Sammlung der schnellste Weg zu Gewichten und Tokenizer-Konfigurationen.

Die offene Frage, die ich hervorheben würde: AMD hat die Gewichte jeder Trainingsphase veröffentlicht, aber weder die Wanduhrzeit noch die GPU-Stunden für das 7,1T-Token-Pre-Training offengelegt. Solange diese Zahl nicht öffentlich ist, bleibt die Behauptung der Kostenkonkurrenzfähigkeit gegenüber NVIDIA-basiertem Training nicht falsifizierbar. Einschätzung: Wenn AMDs Trainingskosten pro Token innerhalb von 15 % eines vergleichbaren H100-Runs liegen, sollte bis Ende 2026 mindestens ein großes Foundation-Model-Labor Instinct-Kapazität ankündigen.

Wichtigste Erkenntnisse

• Instella-MoE-16B-A3B erreicht einen Base-Durchschnitt von 76,7 und führt vollständig offene Konkurrenten wie Moonlight (76,2), SmolLM3-3B (70,5) und OLMo-3-7B (70,1), liegt jedoch hinter Qwen3.5-4B-Base mit 79,5.
• Das vollständige 7,1T-Token-Pre-Training lief auf AMD MI300X und MI325X mit ROCm, Primus und Miles Frameworks. Kein NVIDIA im Trainingsloop.
• FarSkip-Collective liefert laut Bericht 12,7 % Pre-Training-Beschleunigung und bis zu 39,2 % TTFT-Reduktion beim Serving unter Expert Parallelism.
• Die ResearchRAIL-Lizenz blockiert den kommerziellen Einsatz der Gewichte. Der MIT-lizenzierte Trainingscode ist die wiederverwendbare Ressource für Produktionsteams.
• IFEval steigt durch Post-Training von 77,08 auf 83,70, und der Think-Checkpoint mit 73,22 übertrifft Olmo3-7B-Think (71,97) und Qwen3.5-4B (69,73).