Bruce

DeepSeek-V4-Flash-0731 + DSpark speculative decoding 2× RTX PRO 6000 Blackwell (TP=2, official FP8, 524K maxlen) Results (median): • 243 tok/s single stream — 3.1× over the no-spec baseline • Aggregate throughput: c2 299 · c4 403 tok/s • Draft accept: 74–76%, zero failures I expected an SM120 kernel wall. Never hit one. The real bottleneck: max_num_seqs > 4 fails deterministically on the first request. A hardcoded prefill chunk size feeds an empty slice into the sparse kernel. Capped at 4, it held a 3-hour mixed-load soak at 237–245 tok/s. Looks like this will be my daily driver for now.

これはKimiショックに続いて、DeepSeekショック2になるかもしれないなぁ。 DeepSeekショック1は「AIが安く作れるかもしれない」、Kimiショックは「アメリカ以外でも最先端のAIを作れるかもしれない」、DeepSeekショック2は、「もう実用上のAIは安くて強い中国モデルで十分かもしれない」

10M tokens on Deepseek V4 Flash is only 1% of the 5hr limit on OpenCode Go 😭🔥