Daisuke Okanohara / 岡野原 大輔

『ヒトとAI』という本を、2026年7月22日に岩波書店より出版します。 近年のAIの急速な進展を踏まえ、これから人間とAIがどのような社会を築いていくのかを、事実や研究を手がかりに論じた一般向けの本です。 タイトルを「人間とAI」とせず「ヒトとAI」としたのは、ヒトという種そのものをAIと比較して考えたかったからです。 AIの登場によって、私たちは改めて、ヒトの知能を客体として眺められるようになりました。ヒトの知能にはどんな特徴と欠点があるのか。逆に、能力を伸ばし続けるAIには、どんな特徴と限界があるのか。 その上で、この本では「最新のAIはどれほどすごいのか」よりも、その先までAIが進んだとき、私たちは何を考えなければならないのかを、いくつもの思考実験を通じて掘り下げています。 例えば、「AIは責任をとれるのか」は本書の中心テーマの一つです。どれだけ能力が高くなっても、AIが重大な判断ミスをしたとき、人間と同じように責任をとってくれるとは感じられません。しかし、そもそも「責任をとる」とは何でしょうか。なぜ私たちは、AIには責任がとれないと感じるのかを考えます。 さらに、AIが誰にも理解できない理論を生み出し、説明できない方法で大きな成果を上げたとき、人はそれを使うのか。使わざるを得ないなら、社会や制度はどう設計されるべきなのか。 現在のAIの限界についても述べています。いまのAIの学び方は、人間とは大きく異なります。AIはさまざまな問題や文章を、まるでショート動画を次々と見せられるように、細切れの断片として学んでいます。そこには、人間が人生を生きるような継続性がありません。この「継続性のなさ」は、AIが社会の中で活動するとき、どんな限界として現れるのでしょうか。 こうした問いを通じて、AIそのものだけでなく、AIの登場によって改めて見えてくる「ヒトとは何か」を考えた本です。 目次や試し読みを含むサポートページへのリンクは、このスレッドで紹介します。

参考： Lilian Weng氏によるまとめ記事 lilianweng.github.io/posts/2026-07-… AIDE^2による再帰的なRSI weco.ai/blog/first-evi…

ハーネスエンジニアリングは再帰的自己改善（RSI）と相性が良く、最初にRSIが起きる領域の一つだと考えている。 モデルの重みは勾配法によって直接最適化できる。一方、ハーネスはプロンプト、ツール、エージェント群の構成などを含むプログラムそのものであり、勾配法で直接最適化することは難しい。 しかし、LLMはプログラムを読み、失敗を分析し、自ら書き換えながら試行錯誤することを得意とする。このため、ハーネスの改善はLLMによるブラックボックス最適化と非常に相性が良く、すでに成功例も出始めている。 今後のモデル開発も、こうして進化するハーネスとの協調を前提とした方向に進むと思われる。 この場合、純粋な単一モデルの能力だけでなく、実行コスト、操縦性、多様性、さらに他のエージェントやツールとの協調能力が、より重要になるだろう。

The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models arxiv.org/abs/2601.15165

拡散言語モデルは、自己回帰モデルのように左から右へ1トークンずつ生成する必要がなく、任意の順序でトークンを決定できる。 研究「The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models」では、この自由度が、数学やコード生成のような推論タスクでは、むしろ探索を妨げる可能性を示した。 さらに、この問題を学習時の生成順序を工夫することで改善できることを示している。本研究はICML 2026のBest Paperの一つに選ばれている。 現在の拡散言語モデルは一般に、任意の順序で、確信度の高いトークンから先に復元する。しかし、推論においてすべてのトークンが同じ重要性を持つわけではない。 例えば、「Therefore」「Since」「However」「Let」のように、その後の論理展開を決める分岐点となるトークンが存在する。こうした位置では複数の推論方向があり得るため、モデルの予測エントロピーは高くなる。 自己回帰モデルでは左から右へ生成するため、このような難しい分岐を避けることができない。分岐点に到達すれば、その場でどの方向へ進むかを選択する必要がある。サンプリングを繰り返せば、異なる選択が行われ、多様な推論経路が探索される。 一方、拡散言語モデルでは、高エントロピーの難しい位置の生成は後回しになりやすい。確信度の高い未来側のトークンを先に埋め、その後で分岐点を復元する。 この場合、モデルは分岐点で推論方向を選んでいるのではなく、すでに決まった未来に合う接続を後から埋めることになる。論文ではこの現象を entropy degradation と呼んでいる。 実際、拡散言語モデルを通常の任意順序で生成した場合、Pass@1では自己回帰順序と同等以上の場合がある一方、サンプリング回数を増やしたPass@kでは、自己回帰順序の方が大きく性能を伸ばす。 さらに本研究では、任意順序生成が自己回帰順序とは異なる解を多く発見しているわけでもないことを示している。HumanEvalでは1024回サンプリングしたとき、自己回帰順序だけが解けた問題は21.3%あったのに対し、任意順序生成だけが解けた問題は0.6%しかなかった。 任意順序生成の方が形式的には自由度が高いが、実際に到達できる解の集合は、むしろ狭くなっている現象がおきていることがわかった。 このように拡散言語モデルは自由度が高いが、確信度が高いトークンから決めるサンプリングポリシーによって、モデルが難しい意思決定を後回しにし、簡単な部分を先に固定してしまう。 この観察をもとに、本研究では拡散言語モデル向けにJustGRPOという非常に単純な学習法を提案した。 通常、拡散言語モデルに強化学習を適用するのは難しい。長さNの系列では、トークンを復元する順序が多数存在するため、完成系列の確率を求めるには異なる復元経路を周辺化する必要がある。生成経路の組合せはN!のオーダーになる。これまで拡散言語モデル用の特別な手法が提案されていた。 JustGRPOでは、強化学習中だけ拡散言語モデルを自己回帰モデルとして扱う。 例えば、生成系列が A B C D なら、 [MASK] [MASK] [MASK] [MASK] A [MASK] [MASK] [MASK] A B [MASK] [MASK] という経路をたどる。その上で、元の拡散言語モデルにprefixだけが決まった入力を与え、次の位置のlogitだけを対象にGRPOを適用する。 このとき、モデルは双方向Attentionを含め、拡散言語モデルのままである。そして推論時には、再び通常の拡散モデルとして複数トークンを並列に復元する。 この単純な方法で、複雑な拡散言語モデル専用の強化学習手法を上回った。さらに、強化学習後も並列復元能力は維持されている。 コメント === 拡散言語モデルは並列生成ができるにもかかわらず、数学やコーディングなど、深いreasoningが必要なタスクでは自己回帰モデルに性能で劣ることが多かった。 今回、その原因の一つがサンプリング方策にあり、特にRL rolloutにおける探索の作り方が適切でなかった可能性が示されている。 今回GRPOで自己回帰の順だけ修正することで自己回帰に限らない任意順序かつ並列生成の性能も向上している。事前学習時に、任意順序の生成方法は学習した上で強化学習ではその生成先をほんの少し修正することで全体性能を改善できていると考えられる。 さらに突き詰めれば、reasoningに必要なのは、すべてのトークンをAR順序で生成することではなく、その中に存在する少数の重要な意思決定を因果的な順序で行うことなのかもしれない。 この場合、重要な分岐だけを逐次的に探索し、残りの部分は並列に生成するという方向が考えられる。

ヒトとAI サポートページ hillbig.github.io/human-and-ai/ 出版社ページ iwanami.co.jp/book/b10170462… 試し読み iwanami.co.jp/moreinfo/tachi…

『ヒトとAI』という本を、2026年7月22日に岩波書店より出版します。 近年のAIの急速な進展を踏まえ、これから人間とAIがどのような社会を築いていくのかを、事実や研究を手がかりに論じた一般向けの本です。 タイトルを「人間とAI」とせず「ヒトとAI」としたのは、ヒトという種そのものをAIと比較して考えたかったからです。 AIの登場によって、私たちは改めて、ヒトの知能を客体として眺められるようになりました。ヒトの知能にはどんな特徴と欠点があるのか。逆に、能力を伸ばし続けるAIには、どんな特徴と限界があるのか。 その上で、この本では「最新のAIはどれほどすごいのか」よりも、その先までAIが進んだとき、私たちは何を考えなければならないのかを、いくつもの思考実験を通じて掘り下げています。 例えば、「AIは責任をとれるのか」は本書の中心テーマの一つです。どれだけ能力が高くなっても、AIが重大な判断ミスをしたとき、人間と同じように責任をとってくれるとは感じられません。しかし、そもそも「責任をとる」とは何でしょうか。なぜ私たちは、AIには責任がとれないと感じるのかを考えます。 さらに、AIが誰にも理解できない理論を生み出し、説明できない方法で大きな成果を上げたとき、人はそれを使うのか。使わざるを得ないなら、社会や制度はどう設計されるべきなのか。 現在のAIの限界についても述べています。いまのAIの学び方は、人間とは大きく異なります。AIはさまざまな問題や文章を、まるでショート動画を次々と見せられるように、細切れの断片として学んでいます。そこには、人間が人生を生きるような継続性がありません。この「継続性のなさ」は、AIが社会の中で活動するとき、どんな限界として現れるのでしょうか。 こうした問いを通じて、AIそのものだけでなく、AIの登場によって改めて見えてくる「ヒトとは何か」を考えた本です。 目次や試し読みを含むサポートページへのリンクは、このスレッドで紹介します。

"High-accuracy sampling for diffusion models and log-concave distributions" arxiv.org/abs/2602.01338

拡散モデルは、推定したスコア ∇log p(x) を使って、目標確率分布からのサンプリングを行う。今回の研究では確率分布の目標誤差 δ に対して必要なサンプリングステップ数をpolylog(1/δ) で達成できることが示された。本論文は ICML 2026 の Outstanding Paper Award の一つに選ばれている。 拡散モデルの逆過程（生成過程）では、各ステップで次の分布を考える。 p_k(x | x_{k+1}) 　∝ p_k(x) exp( - ||x - α_k^{-1} x_{k+1}||^2 / 2η_k ) これは、時刻 k の分布 p_k(x) に、現在の位置x_{k+1} から決まるガウス項を掛けた分布であり、Gaussian tilt、すなわちガウス傾斜分布とみなせる。通常の拡散モデルでは、これをガウス分布で近似してサンプリングする。 一方、本論文では棄却サンプリングの一種であるFirst-Order Rejection Sampling、FORS と呼ばれる手法を用いて、この逆遷移をより高精度に補正する。 通常の棄却サンプリングでは、受理確率を計算するために密度比、つまり関数値 f(x) や log p(x) が必要になる。しかし、拡散モデルで学習されるスコアは対数確率の勾配 ∇log p(x) であり、密度値そのものではない。そのため、通常の棄却サンプリングをそのまま適用することはできない。 FORS は、密度を直接計算する代わりに、パス積分 f(x) - f(x_0) = ∫ <∇f, dx> を使って、勾配から関数値の差を表す。さらに、その推定値を Bernoulli factory に似た仕組みに入れることで、密度値を明示的に計算せずに棄却サンプリング的な補正を実現する。 大雑把にいえば、exp(E[W]) を、ランダムな積 Π_j (B + W_j) / 2B の期待値として表す。 この FORS の仕組みは、拡散モデルだけでなく、log-concave な密度関数、つまり確率分布が μ(x) ∝ exp(-f(x)) であり、f が凸関数であるような分布のサンプリングにも応用できる。 コメント === 本論文は、スコア関数だけで高精度なサンプリングが可能かという問いに対して、肯定的な解を与え、目標誤差 δ に対する依存を poly(1/δ) から polylog(1/δ) と指数的な改善を実現している。 例えば、確率誤差として δ=10^{-6} を達成したい場合、1/δ は 10^6 のオーダーになる。一方、log(1/δ) は約 14 である。 一方で、この結果がそのまま実用的なサンプラーになるかについては注意が必要である。FORS は棄却サンプリング的な手法であり、実装上の定数、受理率、追加のスコア評価回数、計算機上の効率などには課題が残る。実用的な手法は、今回の理論的アイデアをもとに今後設計されていくものと思われる。 拡散モデルにおける高精度サンプリングは、例えば化合物や薬の設計で重要になる可能性がある。これらの応用では、確率分布を用いた自由エネルギー計算や、稀にしか起こらない現象の評価が重要になる。稀な状態が全体の期待値や反応経路を支配する場合、正確な確率分布からのサンプリングは非常に重要である。 他の多くの生成タスク、シミュレーションにおいても、稀だが重要なイベントをどのように制御し、生成可能にするか、あるいは偽の稀なイベントをどのように棄却するかが重要になるだろう。

Matlantisは5周年を迎え、多くのユーザーの皆さまにご活用いただきながら、着実に成果を上げてきました。 Matlantisを用いてシミュレーションされた原子数は延べ100兆原子を超え、現在も急速に拡大しています。 今後も新たな挑戦を続け、革新的な材料開発に貢献していきます。

Gemma 4 Technical Report arxiv.org/abs/2607.02770

Gemma 4 技術レポートから注目点をまとめる。 Gemma 4では、E2B、E4B、12B、31Bのdenseモデルと、26B-A4BのMoEモデルが公開されている。画像と音声に対応し、reasoning、長文コンテキスト、量子化、投機的デコーディングまで含み、実用性をかなり強く意識している。 Gemma 4では、MMLU Pro、AIME、LiveCodeBench、GPQA Diamondなど基本性能が大きく改善され、このサイズのオープンモデルとしてトップクラスの性能を達成している。 その上で、アーキテクチャにも重要な変更が入っている（ただし、モデルサイズごとに構成は異なる） 長文対応では、ローカル窓注意機構とフル注意機構を組み合わせている。比率は基本的に5:1で、E2Bのみ4:1である。フル注意機構側では、位置変化に対してよりゆっくり変化するp-RoPEを採用（p=0.25）。さらに、12B、26B-A4B、31Bでは、フル注意機構の層でKeyとValueを共通化する設計を採用している。これらの工夫により、グローバルKVキャッシュを最大37.5%削減している。 小型モデルのE2B、E4Bでは、層ごとに追加のトークン埋め込みを導入している。通常のトークン埋め込みに加えて、各層がトークンごとの補助的な埋め込みを参照する構成になっている。 そのため、総パラメータ数はE2Bで約5B、E4Bで約8Bだが、実効パラメータ数としてはそれぞれ2.3B、4.5Bとなる。MoEと似た思想で、トークン依存でパラメータを参照し、計算量とメモリ帯域コストを抑えている。 マルチモーダル設計では、12Bが画像と音声のエンコーダーフリー機構を採用したのが興味深い。 通常は画像や音声に専用エンコーダーを使うが、このモデルでは軽量な投影モジュールを使い、画像パッチや音声チャンクをできるだけ直接LLMの入力トークン列に変換している。 具体的には、画像ではパッチをベクトル化し、大きな線形変換一回でLLMの埋め込み空間へ射影する。その上で2D位置埋め込みを加え、LayerNormを通してLLM本体に入力する。 音声では、16kHz音声を40ミリ秒ごとのチャンクに分割する。40ミリ秒は640サンプルに相当するため、各チャンクは640次元の音声トークンとして扱われる。 このように各モーダルのパッチやチャンクをできるだけ直接LLMに入れ、モダリティ間の統合処理をLLM本体に担わせる方向で設計がされている。 推論効率向上のため、QAT、つまり量子化を考慮した学習と、MTP drafterが標準採用されている。MTP drafterは、メインモデルのKVキャッシュを参照しながら、複数トークンを先に生成する。 さらにE2B/E4Bでは、MTP drafterの最後の語彙射影も軽量化している。Gemma 4の語彙数は262kと大きいため、通常の次トークン予測では、d次元の隠れ状態から262k語彙すべてにlogitを出す必要があり最終行列積がd x 262kが必要である。これに対し、E2B/E4Bでは、語彙全体への射影をtoken clusters上のtop-k操作に置き換え、d x 4096に削減している。 コメント === Gemma 4は、完成度をあげつつも、エンコーダーフリーのマルチモーダル設計や、小型モデルにおける層ごとの埋め込みなど次に向けた新しいのも取り入れている。 Gemma 4は広く使われると思われるため、採用した手法は、今後の推論インフラエコシステムでも採用・サポートされる可能性が高い。特に、KVキャッシュ削減、投機的デコーディングを前提にしたモデルのエコシステムが整うだろう。 また、注意機構でKeyとValueを共通化する手法自体は、新しいものでなく、研究として提案されていたが、今回、Gemmaのような主要なオープンモデルで採用されると、広く使われる可能性がある。 理論的に面白いこととして、KeyとValueを共通化した場合、その注意機構はエネルギーベースモデルであるModern Hopfieldとして捉えることができる。これにより、反復更新や高速化の可能性も考えやすくなる。

"Verbalizable Representations Form a Global Workspace in Language Models" transformer-circuits.pub/2026/workspace…

大規模言語モデルは、単に次のトークンを予測しているだけでなく、出力には現れない中間概念を内部で保持し、それを使って推論していると考えられる。 研究 “Verbalizable Representations Form a Global Workspace in Language Models” では、Claude Sonnet 4.5 などのモデルを対象に、モデル内部に J-space という、「言語化可能で、報告でき、操作でき、柔軟な推論に使われる」表現集合が存在することを報告している。 この概念は、人間における意識の概念と近い部分がある。ただし、ここでいう意識は、主観的経験としての意識ではなく、人間の認知におけるグローバルワークスペース理論を参照しつつ、あくまで「報告可能で、推論や行動制御に使える状態にある」という機能的類似性を指摘している。 グローバルワークスペース理論では、脳内の多くの処理は無意識に進む。一方で、ごく一部の情報だけが「作業場」に上がり、多くの下流プロセスから読めるようになる。その情報は、言葉で報告でき、注意によって保持でき、柔軟な推論に使える。 LLM の内部にも同じように、すべての情報ではないが、特定の情報だけが共通形式で保持され、後続の処理から広く読まれるのではないかと考える。 この構造を調べるために本研究で導入されたのが、ヤコビアンレンズ（Jacobian Lens）、略して J-lens である。通常、ネットワークの内部状態を調べる方法として logit lens がある。logit lens は、中間層の残差ストリームに、そのまま unembedding をかけ、その層がどのトークンを表していそうかを読みとる方法である。 しかし、中間層と最終層では表現の座標系が違う可能性がある。また、中間層の活性が最終的にどのような影響を与えるのかも、単純な unembedding だけでは分からない。そこで J-lens は、中間層の活性値の微小な変化が、最終層の活性値の変化に与える平均的な線形効果をヤコビアンとして計算し、それを通して中間表現を読む。 具体的には、層 l の残差ストリーム h_l が、現在または未来の最終層にどう影響するかを、多数のプロンプトと位置にわたって平均する。これによって、中間層の活性が「将来どのトークンを言わせる傾向にあるか」を読むことができる。 J-lens には各トークンに対応する J-lens vector があり、それらは残差ストリーム空間内の方向として定義される。その「少数の J-lens vector の非負スパース結合で表せる点の集合」を J-space と定義する。 この J-space が本当に後の出力に影響を及ぼすかを確かめるために、論文ではさまざまな介入実験を行っている。 たとえば、「巣を張る動物の足の数は？」という問題を考える。正解するには、まず「巣を張る動物」はクモだと推論し、その後、クモの足は8本だと答える必要がある。この場合、プロンプトにも出力にも「クモ」という単語は現れないにもかかわらず、J-lens で中間層を読むと「クモ」が現れる。そして、クモに対応する J-lens vector をアリに差し替えると、モデルの答えは8から6に変わる。これは、J-space に現れたクモが単なる相関ではなく、実際に下流の推論に因果的に使われていることを示している。 同じことは、詩の生成や多言語推論でも見られる。韻を踏む詩を完成させるとき、モデルはまだ出力していない未来の単語を中間層で保持しており、その予定語を差し替えると、途中の語も変化する。また、中国語の問題を考えるときにも、内部では対応する英語表現が登場している場合がある。これは、J-space において、表面言語とは独立した中間推論の共有表現が働いている可能性を示している。 さらに、論文では国、月、動物、数詞などを使った体系的実験も行っている。たとえば、ある国に対応する J-lens vector を別の国に差し替えると、首都、言語、大陸、通貨など、複数の異なる質問に対する答えが一貫して変化する。これは、同じ J-lens vector が複数の関数的処理に引数として渡されていることを示している。 ただし、J-space はモデルの全処理を担っているわけではなく、文法処理、言語の局所的継続、よく訓練された自動処理などは、J-space を強く使わずに進む場合がある。論文では、J-space を「モデルのすべての思考」ではなく、「言語化可能で、柔軟な推論や報告に使われる特権的な表現集合」として位置づけている。これは、人間の認知における無意識処理と、意識に上がる処理の区別に対応している。 この枠組みは、AI安全性にも大きな意味を持つ。モデルが表面上は危険な行動をしないとしても、内部で何を認識し、何を検討していたかを調べられる可能性がある。実際、J-spaceを調べることで、モデルが内部で現在の状況が安全性を調べる評価用の人工シナリオ内であることを把握していることもよみとれる。 この J-space は、訓練によって形作ることもできる。あるタスク実行中の文脈に対して、「ここで内省を求められたら何を考えるべきか」という反省文を追加し、その反省文だけを教師信号として fine-tune する。評価時には、モデルに反省文の出力を求めない。それでも fine-tune 後のモデルでは、元のタスク文脈を読んだだけで、J-space に倫理性、正直さ、透明性といった概念が現れ、最終的な行動も改善する。 LLM の内部が何を考えているかを見ることができるインタラクティブなデモも公開されており、非常に興味深い。 コメント === この論文は、機構解釈性の研究においてかなり重要な一歩だと考える。LLM内部状態を、読めるだけでなく、操作でき、因果的に検証できる方法が確立されてきている。 LLM の Transformer における処理は、基本的に残差ストリームに集約されている。残差ストリームは、初期の入力トークンに対応する embedding から始まり、各層を通じて変化し、最終層では次トークン予測に使われる。ただし、それ以外の中間層にも、必ずしも出力トークンとは直接関係しない多様な概念が組み込まれていることが、これまでの研究から分かっていた。 本研究の一番の技術的貢献は、これらの内部状態をそのまま unembedding で読むのではなく、ヤコビアンレンズを使って読む点にあり、現在の内部状態が後段の処理でどのように使われうるかをもとに、言語化可能な概念候補を取り出す方法を示したことである。 内部状態の次元数はトークン種類数よりずっと小さいにも関わらず、トークンに対応する概念操作が可能であることから、論文でも述べられているように、内部では疎な過剰基底のような形で概念が扱われていると考えられる。さらに、各層・各位置ごとに有効な読み出し方向が異なるため、J-lens はその局所的な座標系を与えているとみなすこともできる。 これは、現在よく使われる線形表現やグローバルな特徴方向だけでモデル内部を分析することの限界も示している。今後の解析では、層、位置、文脈に依存した局所的な情報構造を扱うことが重要になるだろう。 内部状態をより正確に読み取れるようになれば、それを直接修正することもできる。これは、従来とは異なる形で信用割り当て問題にアプローチする可能性を開くものであり、学習やアラインメントにおけるブレークスルーにもつながるかもしれない。

【発表】PLaMo翻訳の利用上限を大幅に引き上げたProプランを提供開始しました。加えて、Liteプランのファイル翻訳件数上限も大きく引き上げました。ライブ音声翻訳と英文添削も新たに追加され、コスト効率の高い翻訳特化型の国産LLMで日々の翻訳を強力にサポートします。 preferred.jp/ja/news/pr2026…

Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning arxiv.org/abs/2605.21488

LLMでは test-time scaling が重要になっている。CoTで長く考えたり、探索を増やしたり、内部状態を繰り返し改善したりすることで、推論時に投入する計算量を増やし、性能を高める。 一方で、test-time scaling によって必ず性能が上がるわけではなく、劣化する場合すらある。では、どのような設定なら性能が上がるのか。 Equilibrium Reasoners は、反復型モデルが潜在空間上で候補解をアトラクタへ収束させるように学習されている場合、test-time scaling が有効に働くと考える。 反復型モデルでは、内部に潜在状態 z があり、それを何度も更新する。入力を x、z_k を k ステップ目の内部状態、f を学習された更新関数とすると、以下のように更新する。 z_{k+1} = f(z_k; x) このとき、潜在状態 z がある安定状態に近づくなら、その安定状態は attractor と呼べる。もしその attractor が正解に対応しているなら、モデルは反復によって正解へ近づく。一方で、間違った答えに対応する安定状態、つまり spurious attractor（偽のアトラクタ）が存在すると、モデルは安定して間違うことになる。 したがって、モデル内部の更新が生み出す地形がタスクの正解構造と整合しているとき、追加の推論計算が性能向上につながると考えられる。 アトラクタにどれだけ近づいているかは、固定点残差 || f(z; x) - z || で測れる。これは、現在の潜在状態 z をもう一度更新したとき、どれだけ変化するかを表す量である。この値が小さいほど、潜在状態は安定している。 実際、数独や迷路を解くタスクでは、性能向上が固定点残差の低下と強く対応することが実験で示されている。 この視点から見ると、推論時の計算量の増やし方には二種類ある。一つは深さ方向のスケーリングで、ひとつの軌跡を長く走らせることに対応する。これにより、潜在状態をより深くアトラクタへ近づける。 もう一つは幅方向のスケーリングで、複数の初期状態から軌跡を走らせる方法である。これにより、そのうちのどれかが正解に対応するアトラクタへ到達する可能性を高める。 このように考えると、アトラクタ地形としては、正解アトラクタが広く、安定していることが重要である。広いアトラクタほど、より多くの初期状態を正解へ引き込めるからである。したがって、モデルや学習過程も、そのようなアトラクタ地形が形成されるように設計することが重要になる。 コメント === test-time scaling において、収束点へ向かって状態を更新していくという考えは、他の研究でも指摘されている。たとえば、Kuramoto振動子を使う AKOrN も近い発想を持つ。 特に、数独や迷路のように、途中状態がすべて似た形式を持ち、同じような改善を繰り返すことで真の解に近づいていける問題では、この見方はよく合っている。 一方、実際の推論問題は、このような「収束していく問題」と、その上で「次の異なる問題を解く」過程、さらに「既存の思考を組み合わせる」過程が組み合わさっている。 現在の Transformer の計算、つまり層方向の深さや reasoning による思考経路の仕組みは、これらを同時に担っている。さらに、外部エージェントの仕組みがそれらを補完している。 個人的に興味深いのは、このようなアトラクタ系の議論が、自然に拡散モデルやフローマッチングモデルのような「流れ」を使った確率モデルと対応づけられる点である。今回の話も、時刻非依存な生成過程とみなすことができ、正解データをサンプリングする過程として解釈できる。 探索問題と統一的に扱うには、このような確率的枠組みと融合させていくことが有望だと思われる。

Discovering Symmetry Groups with Flow Matching arxiv.org/abs/2512.20043

LieFlowは、データから未知の対称性を発見するための手法である。対称性群を直接推定するのではなく、より大きな仮説群の上に確率分布を学習し、その分布が集中する場所として対称性を取り出す。 例えば、2次元画像データを考える。候補となる大きな群を G=SO(2) とする。これは任意角度の回転を含む連続群である。 一方で、データが実際に持つ対称性は、0度、90度、180度、270度の4つの回転だけで不変なものだとする。この場合、真の対称群は H=C_4 である。 このとき、LieFlowは G=SO(2) 上の分布を学習する。そして、その分布が0度、90度、180度、270度の4点に集中すれば、C_4 対称性が発見されたとみなす。 このように、連続対称性は連続的な部分多様体上に広がる分布として現れ、離散対称性は有限個のピークとして現れる。これにより、連続対称性と離散対称性を同じ枠組みで扱える。 LieFlowが具体的にどのように学習するかを説明する。これは、Flow MatchingをLie群作用に沿って行うことで実現される。 まず、データ分布 q からサンプルを1つ取る。 x_1 ~ q 次に、仮説群 G からランダムな変換 g をサンプルする。そして、その変換をデータに作用させる。 g ~ p(G) x_0 = g x_1 この x_0 を元の x_1 に戻す変換は g^{-1} である。これをLie代数に変換したものを A = log(g^{-1}) とする。 そして、x_0 から x_1 へ向かう経路上の途中点をt \in [0, 1]をサンプルした上で x_t = exp(tA) x_0 として作る。t=0 なら x_t=x_0、t=1 なら x_t=x_1 であり、x_t はその途中の点である。 モデル v_theta は、途中点 x_t と時刻 t のみを見て、Lie代数の方向 A を予測するように学習される。 min_theta ||v_theta(x_t, t)-A||^2 通常のFlow Matchingと同様に、モデルは各時刻でどの方向に進めばよいかを学習する。ここで予測するのはデータ空間上の速度そのものではなく、Lie代数上の方向である。つまり、モデルは「今の点からどのLie代数方向に進めば、データ分布上の点に戻れるか」を学習している。 次に、推論時に対称変換を取り出す。 まず、データ点 x_1 と、仮説群からサンプルしたランダム変換 g を用いて、変換後を計算する。 x_0 = g x_1 次に、学習済みのflowを使って、x_0 をデータ分布上の自然な点 x'_1 へ戻す。このとき、実際に適用した変換をすべて積み上げたものを M とする。最終的に、 x'_1 = M x_0 である。一方、もともと x_0 = g x_1 なので、 x'_1 = M g x_1 である。ここで h = M g とおくと、 x'_1 = h x_1 となる。 つまり h は、元のデータ点 x_1 を、別のデータ分布上の点 x'_1 に移す変換である。この h を対称変換のサンプルとみなす。 これを何度も繰り返すと、仮説群 G 上の変換サンプルの分布が得られる。真の対称性が C_4 なら、4つの回転角にピークが立つ。真の対称性が SO(2) なら、連続的な円周上に分布が広がる。 ここでのポイントは、x'_1 が必ずしも元の x_1 に戻るわけではないことである。gでランダム変換した後、戻る先は、データ分布上のもっともらしい点のどこかでよい。これにより、元のデータ点を別のデータ分布上の点へ写す変換として、対称変換の分布を抽出できる。 この論文で特に面白い点は、離散対称性を学習する際に、最後の瞬間にモードへ収束する現象が起きることである。 例えば C_4 の場合、0度、90度、180度、270度のどれに向かうかは途中まで曖昧である。そのため、それぞれの方向への速度が打ち消し合い、平均的な速度場は小さくなる。結果として、生成時には最初から中盤までほとんど動かず、t が1に近づいた最後の瞬間に、どこか1つの離散モードへ急に収束する。 論文では、この現象を last-minute convergence と呼んでいる。この問題を緩和するために、t=1 付近をより多くサンプルする time schedule を導入している。 例えば、模様のない立方体がランダムな傾きで置かれている時、これが元々0度か90度か・・と推定するのは人も曖昧性があって決められないだろう。 実験では、人工的に作った問題を用いて検証しているほか、人間の3D骨格データにも適用している。人間の3D骨格データでは、z軸周りの C_4 構造が見られる。これは、特定方向に配置されたデータが多いことによって生じる近似的な対称性であり、LieFlowはそのような構造も検出できている。 限界としては、まず仮説群を人間が指定する必要があることが挙げられる。また、得られるのは群上の分布であり、その後の代数構造、例えば生成元や群の積構造は別途求める必要がある。さらに、連続的な stabilizer がある場合、Lie代数の方向が一意に定まらず、変換方向が曖昧になることもある。 コメント === データに隠れた対称性を発見する手法として興味深い。大きな制限として、仮説群があらかじめ分かっている必要がある。仮説群が分かっている時点で、対称性の種類にはある程度あたりがついているともいえる。 そのため、完全に未知の対称性を発見する手法というよりは、大きな候補変換群の中から、データ分布に実際に整合する部分群を絞り込む手法と見るのがよい。 実用的には、データ分布から自動でデータオーグメンテーション候補を作る用途に使うのが有効ではないかと考える。例えば、大きな候補群の中から、データ分布を保つ変換だけを発見し、それをaugmentationの候補として使う。ただし教師ありタスクで使う場合には、その変換がラベルも保つか（もしくは同変性のように規則的に変換するならそれも）を別途確認する必要がある。

How Transparent is DiffusionGemma? arxiv.org/abs/2606.20560 Blog: DiffusionGemma: The First Diffusion LLM (dLLM) Natively Supported in vLLM vllm.ai/blog/2026-06-1…

DiffusionGemmaは、拡散言語モデルによって高速な推論を実現しようとするモデルである。公開されている26B-A4BのMoEモデルでは、H100上で1000トークン/秒程度の生成速度が報告されている。 DiffusionGemmaの公開当初、技術的な詳細はあまり明らかになっていなかったが、その後に出てきたいくつかの論文や解説で、推論時の内部機構が少しずつ説明されている。ここでは、それらを踏まえてDiffusionGemmaの仕組みを紹介する。 DiffusionGemmaは、固定長の出力領域であるキャンバス全体を何度もデノイジングし更新しながらテキストを生成する。キャンバスサイズは256トークンである。 DiffusionGemmaは、ブロック単位では自己回帰的に生成しつつ、各ブロックの内部では双方向attentionを使って反復的にdenoisingを行うモデルである。 これまでに生成済みの部分やprefill部分に対してはcausal attentionを保つ一方で、現在生成中のキャンバス内部では双方向attentionを使う。ただし、最終的にキャンバスを確定して次のブロックへ進む際には、causal attentionで計算した状態としてKVキャッシュに追記できるようにする。これにより、過去部分を再計算せずに、通常の自己回帰モデルに近い形でKVキャッシュを利用できる。 特徴的なのがself-conditioningである。self-conditioning自体は初出ではなく、Analog Bitsなどの従来研究や実装でも使われている。これは、自分自身の直前の推定結果を次のdenoisingに再利用する仕組みだと言える。 DiffusionGemmaでは、前のdenoising stepで得られた各位置の予測分布にトークン埋め込み行列を掛け、予測確率で重み付けされた埋め込みベクトル列を作る。そして、このベクトル列を次のdenoising stepの条件として使う。 たとえば、ある位置について、直前のstepで「犬」かもしれないし「猫」かもしれない、という予測分布になっている場合、その位置のself-conditioning vectorは、犬の埋め込みベクトルと猫の埋め込みベクトルを予測確率に応じて混ぜたものになる。つまり、単一の確定トークンではなく、複数候補をsoftに保持したまま次のstepへ渡している。 安全性や解釈可能性の観点で問題になるのは、モデルが推論時に内部で何を計算しているのか見えなくなる可能性である。しかしDiffusionGemmaのself-conditioningは、少なくとも現在の設計では、語彙上の予測分布をトークン埋め込み空間に戻したものであり、完全に自由な潜在ベクトルではない。そのため、中間状態を調べることで、モデルがどのようなトークン候補を考えていたのかを一定程度読み取れる。 実際、この過程を観察すると、かなり初期の段階から出力長が予測されていたり、候補トークンが徐々に絞り込まれていたりする様子が見える。 コメント === 拡散言語モデルは、デコード時にメモリ帯域幅に律速されにくく、複数トークンを並列に予測できるため有望である。一方で、現時点では性能面で自己回帰モデルに劣ることが多い。また、拡散言語モデルを直接学習させる場合も、自己回帰モデルに比べてスケーリング則で不利と指摘されている。自己回帰制約が、学習における有効な帰納バイアスとして働いているためだと考えられる。 そのため、拡散言語モデルはまだ本格的な普及には至っていない。しかし、DiffusionGemmaやその周辺で登場しているモデルは着実に進歩しており、今後1、2年以内に有力な選択肢として浮上してきてもおかしくない。 今回使われているself-conditioningは一見ヒューリスティックに見えるが、他で提案されている球面上の拡散モデルにおけるdenoising過程とも共通点がある。そこでも、予測された複数のトークン方向が事後確率分布に対応していると見なせる。したがって、こうした手法は将来的に、より統一的な理論的枠組みで理解できる可能性がある。