Kiyoshi SATOH

今でこそ「競プロは強化学習の報酬が設計しやすいから AI が得意なのは当然でしょ」みたいに言われてるけど、当時は「LLM は確率的なので、ふわっとした作文はできるかもしれないが、1文字違うだけで100点が0点になる数学やプログラミングはできない」って言われてましたよね

AI2027のEli LiflandによるClaude Mythosまとめ。 まず、Anthropic の内部版ECI(EpochAI Capabilities Index)では、Mythosはこれまでのトレンドラインを打破している。しかも最近のモデルと違って、Opus よりかなり高価で、約5倍高い。つまり単なる安価な横展開ではなく、重いがかなり強いモデルとして出てきている。 そのうえで Anthropic は、ECIの傾きが 2〜4倍上振れしても、RSPの「AI R&D 自動化で進歩速度が 2倍になる」閾値にはまだ届いていないと主張している。 Anthropic 側の根拠として挙げているのは主に3つで、 ・Mythosを作る過程の進歩は、まだMythos自身ではなく人間主導の研究 ・社内 n=18 調査では、Mythos の生産性向上は平均4倍くらいだが、Anthropic の内部モデルに入れると 全体進歩はまだ2倍未満 ・最初は「すごい成果」に見えた Mythos の実例も、後から見ると思ったより小さいか、形が違っていた Eli 自身は、Anthropic の結論はたぶん妥当かもしれないとしつつ、むしろそこから警報が鳴るべきだと警告している。つまり、「まだ閾値未満です」で安心する話ではなく、知能爆発に近いものへかなりの勢いで進んでいるのに、制度や安全プロセスは全然追いついていないのではないかという危機感を持っている。しかも Anthropic 以外の企業は、もっと準備不足だろうとも言及。 またEliが引っかかっているポイントがありそれはAnthropic は仮に今見えている加速が AI 自動化によるものだったとしても、それは Mythos 以前のモデルの寄与を反映しているのであって、Mythos 自体の評価ではないと言っているがそれなら Mythos はそれ以前のモデルより強いのだから、むしろ Mythos の能力をもっと高く見積もるべきでは？と疑問を呈している。 また、Anthropic は現在の productivity uplift が4倍でも、全体進歩を2倍にするには40倍くらい必要という内部の「elasticity」見積もりを持っている。これはアルゴリズム進歩だけでなく計算資源拡大も含めた総合進歩として見ているのではないかと推測している。そのうえで、AI Futures Model では 2倍の全体進歩に約25倍の coding labor が必要だったことを引き、厳密な比較ではないが、そこまで大きくズレていないかもしれないとも述べている。 さらに Eli は、社内調査の細部も注目し18人中5人が「3か月ほどスキャフォールディングを改善すれば、Mythos はエントリーレベルの Research Engineer / Scientist の drop-in replacement になりうる」と見ていることを取り上げ、Anthropic 同様に過大評価の可能性はあるとしつつも、かなり注目に値すると述べている。 そのほかの観察としては、 ・Anthropic の内部 ECI にはかなり大量の内部ベンチが使われている ・高いECI域にもベンチがいくつかあり、Anthropic は今よりかなり上のモデルも見据えている感じがある ・Mythos は coding benchmarks では Opus をかなり圧倒している ・Glasswing の発表を見ると、サイバー能力も相当に異常 Anthropic 自体もここ数か月で急成長していて、今なにをしているか注視すべき

Thread on Mythos's AI R&D abilities (via model card). It looks like a trend break based on an internal version of "ECI," a technique for aggregating benchmark scores. Unlike recent releases, Mythos is more expensive than the previous SOTA; it's ~5x more expensive than Opus.