David Hapunkt

📄 Releasing the Soofi S pretraining tech report: a sovereign, open foundation model for German and English Today we’re publishing the full pretraining tech report and project page for Soofi S 30B-A3B — a Mixture-of-Experts hybrid Mamba model trained on ~27 trillion tokens with deliberately up-weighted German. What’s in the report: 🏆 Strongest fully open model in our evaluations on BOTH the English and German aggregates — ahead of Olmo 3 32B and Apertus 70B (full methodology in the report) 📋 Radical transparency: complete per-source data accounting, all hyperparameters, training + eval code, checkpoints — everything under permissive licenses 🇩🇪 Trained end-to-end on Deutsche Telekom’s Industrial AI Cloud in Munich — sovereign AI infrastructure on German soil Soofi S combines frontier-level capability with the highest measured aggregate long-context decode TPS, and unlike full-attention dense baselines maintains high throughput as context grows. The figure plots Capability Index versus measured aggregate decode TPS/GPU at 40K context and batch 32. The Capability Index averages five benchmark groups, i.e., Code, GSM8K, GPQA-Diamond, English aggregate, and German aggregate, after normalizing each group to the best plotted model. Aggregate decode TPS/GPU is measured with a TP=1, one-B200 vLLM latency-subtraction protocol.

Wenn das stimmt, ist Deutschland zurück im Rennen um Künstliche Intelligenz! Wir hätten unsere eigene, unabhängige KI-Technologie und wären nicht mehr auf amerikanische oder chinesische Firmen angewiesen. Das Modell Soofi S wurde u.a. mit riesigen Mengen deutscher Texte (Deutsche Telekom) trainiert. Es ist gleichzeitig sehr leistungsstark und effizient – braucht nicht so viel Rechenpower wie andere Modelle und kann auch lange Texte gut verarbeiten. Es könnte ein großer Schritt in Richtung europäische KI sein