Sabitlenmiş Tweet
【AIと生きる時代の〈理解〉考】
第2回：理解の価値とは何か
なぜAIは理解をしていないと言いたくなるのか、という問いから始まり、理解の「価値」を考え、理解の作業モデルを作る準備のところまで進みました。
rmaruy3.github.io/blog/2026/05/0…
暗中模索ですが、ぜひご一読、批判いただければ幸いです！
日本語
R. Maruyama
13.2K posts
今、世の中の対談、取材、インタビュー、パネルディスカッションの類のどれくらいが「AIが考えた質問に対して、AIが考えた答案を返す」ということになっているのだろうか、とふと思う。
そうした「壇上の設定」ではもう、AIを介さない話者の「裸の世界モデル」に触れることは難しいのかもしれない。
日本語
R. Maruyama retweetledi
科学の進歩は、どこまでAIで予測できるか？
最先端のAIにより未来の科学的成果を予測する能力を検証する論文が、オックスフォード大学、スタンフォード大学、@Allen_AI などの研究者との共著で発表されました。Sakana AIのリサーチサイエンティスト山田祐太朗が共同著者として参加しています。
arxiv.org/abs/2605.22681
seanwu25.github.io/CUSP-Science/
本研究では、AIの科学予測能力を評価するベンチマーク「CUSP」を提案し、4,760件の科学イベントを用いて検証を行いました。その結果、現在の最先端モデルは有望な研究方向を見分けることはできる一方で、それが実現するか、いつ実現するかの予測は難しいことが分かりました。また、これらの限界は学習データの量だけでは説明できないことも示されています。
この結果から改めて分かるのは、科学は依然としてオープンエンドな営みであり、最先端のAIをもってしても、その発展の方向性を予測することは難しいということです。AIは科学の進歩を予言する存在ではなく、人間と共にその探索を進める協働者として最も力を発揮するでしょう。
さまざまなAIと人間の創造性が組み合わさることで、科学はこれからも予想できない方向に展開していくはずです。Sakana AIも、山田が開発者として携わってきたAI Scientistをはじめ、科学の発展に資するAI開発に努めていきます。
日本語
日本から米国のAI熱狂を「情報として」追っている身として、大柴さんのいう「AGIピルが毛細血管まで効いている」感覚というのは伝聞でしかわからない。
そのうえで思うのは、AGIピル（という言葉を使うのは私自身はためらわれるが）を飲む必要などまったくないが、そういう人々がいて彼らがどんな世界を創ろうとしているのかを、少なくとも想像できるなることが求められているのではないかと思う。
なぜなら、AGIピル的な世界が成就するには、AGIなんて関係ないと思って生きている私たちがそれを止めない、何ならそこにリソースを供給し続けることが前提条件になっているはずだから。
なぜサム・アルトマンやダリオ・アモデイは、カリフォルニアに閉じこもらず、時々極東の日本にまでやってくるのだろう？ それは、彼らは日本を含む世界中の政府の、産業界の、消費者の「協力」を必要としているからだろう。
AGIピルを飲んだ人たちの見ている世界がどんなものか私は想像ができないが、そのエキストリームな世界像を何倍にも稀釈したマイルドな「バラ色の世界」を彼らは語る。AGIピルを飲まない世界の大多数の人々の力を彼らは必要としているからだ。
余計な規制を受けず、どこまでもデータセンターを増やし、電力が足りなければ電力供給量を増やし、そうしたすべてがマイルドなバラ色の未来につながると語る。しかし彼らが信じているのは我々の想像を絶するようなAGIの世界である。
彼らのビジョンが我々をどこに連れていこうとしているのか、そしてそこに知らず知らずのうちに協力していることになることを自覚するためにこそ、西海岸の精神性を知る努力をしなければいけない。そんな風に思うようになってきた。
Kojin Oshiba@kojinoshiba
日本のAI議論で一番されてないのに一番されるべきと思う問い：なぜ日本人はAGIピルを飲めないのか。 シリコンバレーのrationalistのAI終末論を追うのは情報としては意味がある。でもその先に、日本が語れるAIの未来像は出てこない。 OpenAIもAnthropicも、躍進の駆動力は儲けでも名声でもなく、創業者が飲んだAGIピルが毛細血管まで効いているから。 見様見真似で口に含んだはいいが、飲み込むことも吐き出すこともできず、なんとなく進む。これでは中途半端な後追いにしかならない。 なぜ飲めないのか。文化、風土、技術観、宗教観。あらゆる角度から問うことで、翻って見えてくるものがあるはず。 まず、飲んでいない・飲めないことに自覚的になること。
日本語
ローマ教皇の回勅（という言葉を初めて知った）のAIに関する部分を読んでみたなかで、「AIの武装解除（disarm）」という表現が印象的だった。
「AIの武装解除とは、今日の競争の精神からAIを解放すること」「テクノロジーを放棄することではなく、テクノロジーが人類を支配するのを防ぐこと」。
今井翔太 / Shota Imai@えるエル@ImAI_Eruel
本物のローマ教皇によるAIに関する文書（回勅）です。 "AIの時代における人間人格の保護"という内容で、バベルの塔の例はさすが。 （ローマ教皇の回勅はかなり重要度が高いらしく、普通に歴史的文書になるそうです）
日本語
In English:
A Call for “AI for RA”
How Far Can We Delegate Research Administration to AI?
medium.com/p/7a592127be01…
English
［開催記録］5月20日、第7回メタサイエンス勉強会「AI for RA：研究アドミニストレーション業務はどこまでAI化できるか？」を開催しました。
sites.google.com/view/metascien…
「AI for RA」への関心の高さと今後の可能性を感じる会になりました。登壇者と参加いただいた皆様に感謝申し上げます。
日本語
R. Maruyama retweetledi
R. Maruyama retweetledi
arXiv で論文を公開しました。
"Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels"
VAE が変分自由エネルギーを下げる過程の中で，encoder と decoder の間に徐々に共有コードブックが獲得されていく――記号創発や意味の創発として長年議論されてきた現象が，単一の深層生成モデルの内部でも起こることを調べています。
本論文は，その共有コードブックが「使われているか」ではなく「decoder が encoder が code した通りにデータを読んでいるか」を測定可能な対象に変える診断ツール K^{φ,θ}_{e→d}(j|i) を提案します。
ソフィア・コッポラ監督が映画 "Lost in Translation" で描いた「お互いに言葉が通じない」感覚が，深層生成モデルの内部でも静かに起きうる――そして学習が上手くいけば「言葉が通じる」こともある。それを観測できるようにする数学を作るための，最初の一歩です。
Yusuke Hayashi 林祐輔@hayashiyus
Sharing my new arXiv preprint: "Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels." "Lost in Translation" isn't just a Sofia Coppola film. The same kind of failure has a precise name in information theory — mismatched decoding — and it can happen silently inside a single deep generative model. A VAE reduces variational free energy by training an encoder and a decoder together. In doing so, it can acquire something codebook-like: the encoder learns where to place latent mass, and the decoder learns how to read those latent regions back into observations. This is why learned codebooks have long been discussed near deeper questions in AI, artificial life, and cognitive science — symbol emergence, Lewis signaling, shared meaning, and whether an internal sign is used consistently by the system that reads it. Two networks looking at one world, bootstrapping a sign system in which they can finally hear each other. But the audit question is missing. Reconstruction may look good. The latent space may be active. Still: does the decoder actually read the encoder's code in the same way? "Lost and Found in Translation" introduces the neural codebook channel — a microscope on the communication channel running inside one generative model, turning latent alignment from a metaphor into an object we can measure. Classical communication assumes a shared codebook; in VAEs, that shared codebook has to be earned — and then audited. What looked initially lost is, by the end, found.
日本語
NHKの歴史番組で、上杉謙信が脳卒中で倒れたことを機に上杉家内紛、武田氏滅亡、織田信長の天下統一が見えた矢先の本能寺の変までが「たった4年間」で起こったことを知る。乱世はそれくらいのスピードで世の中が動くのだと思った。
AI戦国時代もまた。
Anthropic幹部のOpenAI離叛から今年で5年目。
日本語
I think I need to attach a higher price tag to my time, not because it is objectively valuable, but because the time my brain has left to function at its peak is finite now that I'm in my last years in my thirties.
English
Virgo, Biehl, Baltieri & Capucci (2025) "A “Good Regulator Theorem” for Embodied Agents" arxiv.org/pdf/2508.06326 数学的な部分を飛ばしながら読了。とても重要な論文だと感じた。
世界を認識し世界の中で行為するエージェントは、世界に関する「モデル」を持っている。このモデルとはなんなのか？を考える作業の中で読んだ論文。
認知科学とAIの文脈で「モデル」概念について調べていると、よく行き当たるものに1970年代のConant&Ashbyの「Good Regulator Theorem」がある。これは「あるシステムの良い制御器はそのシステムのモデルである必要がある」というもの。しかし、人工生命系の研究では、モデルを持たないにもかかわらずうまく制御できているように見える「反例」が繰り返し示されてきた。
結局、エージェントは世界の良い「モデル」をうまく振る舞うことができるのか。昨年出たこの論文の著者らは、モデルがないと思われる状況でも、ある見方によってはモデルがあると言える設定を考案し、エージェントにとっての「トリビアルなモデル」も許容する形での定式化を考案する。
そうすると、「Every good regulator has a model」と「解釈」できる状況が説明できる。ただしここでは、「エージェントがモデルを持っている」というのは、客観的な事実というよりは「観測者」の解釈の問題に変わる。モデルを持つ主体「として」、ある人やロボットやシステムをみなすことができ、その「モデル」がどれくらい世界と「絡み合っている（intertwined）」かの程度問題となる。
日本語
@eric_is_weird @alexsaraki Hi, I've been intererested in the Japanese research philanthropy ecosystem for a while. Could you give me a little more context? @alexsaraki @eric_is_weird
English
Where’s IFP for Japan? 🇯🇵
I’ll personally volunteer write a few articles if someone gets an EV grant for it
Andrew Gerard@andrewmgerard
Every country should get their own IFP. Big countries like India should get one for each state.
English
Anthropicの黒字化報道について、Ed Zitronさんは何か言うはずと思って見てみたら、相変わらずの切れ味。Q2の黒字化は一次的なコンプュートコストの割引によるものだろうと分析。
wheresyoured.at/anthropics-pro…
日本語
@inflorescencia （片桐さんが読み上げた工藤さんのプロフィール、何か自分の中にしっくりくるものがあったのですが、もしやこちらから？
aialign.net/webinar/event-…）
日本語
radikoのタイムフリー機能のほか 各種プラットフォームでお聴きいただけます
”危険すぎるAI”クロード・ミュトスは何をもたらすのか｜荻上チキ・ Session
tbsradio.jp/articles/10855…
日本語
TBSラジオ「荻上チキ・ Session」
どうもありがとうございました！
話題がAIということで カタカナや技術用語が多くなってしまい恐縮でしたが
やや過大な脅威論に対して 適度に／適切に怖がって 着実に対策することにつながるのなら幸いです #ss954
荻上チキ・Session@Session_1530
【告知】5/21（木）ラインナップ ▷17:05~「ガザ支援船乗組員を嘲笑する動画に非難」 （立山亮司） ▷174:5~ #聴く国会 憲法審査会 ▷18:00~安田菜津紀さん ▷18:45~Nikkiと英語 ▷19:05~特集「AIクロード・ミュトスは何をもたらすのか」（工藤郁子） radiko.jp/share/?sid=TBS… #ss954
日本語
R. Maruyama retweetledi
先日サンフランシスコで開催された討論会「Transformers vs Post-Transformers」に、Sakana AIの共同創業者兼CTOであるLlion Jones @YesThisIsLion が登壇しました。
本イベントは、現在のAI界を牽引するアーキテクチャ「トランスフォーマー」について、論文共著者を含む4人が、トランスフォーマー 支持と、継続学習や潜在空間での推論を武器にその次を見据える「ポスト・トランスフォーマー」の支持に分かれ、これからのAIの未来をどちらが形作るのかを深く議論する場となりました。
その中でLlionは、トランスフォーマーの原論文の共著者でありながら、現在のトランスフォーマーの有用性は十分に認めつつも、あえてポスト・トランスフォーマー側に立ち、その先のアーキテクチャの可能性を論じる役割を担いました。
Llionは、現在のトランスフォーマーの成功は構造そのものによるものではなく、並列処理に優れたハードウェア（GPU/TPU）に適応できたことによる「計算資源の力技」による側面が大きいと分析。それと並行して全く異なる前提に立つアーキテクチャを探る重要性を提起しました。
さらに、今後の研究コミュニティに対して、既存のベンチマークや現在のハードウェアの制約から解放されるべきだと提唱。「次の革新的なアーキテクチャは、初期段階ではトランスフォーマーより遅く、精度も劣るかもしれない。しかし、それを恐れずに全く異なる前提のシステムを探求すべきだ」と、研究姿勢そのものの変革を訴えました。
Sakana AIはトランスフォーマーをベースとした研究開発と並行して、次世代アーキテクチャの探求にも研究にも取り組んでおり、Llion自身が関わっている、生物学的な脳に倣った新アーキテクチャであるContinous Thought Machine（CTM）などはその一例です。
刺激的な議論の場を提供してくださった主催者の皆様、そして登壇者の皆様に心より感謝申し上げます。
当日の討論会の様子は、こちらからご覧いただけます：
x.com/zuzanna_pathwa…
🐟 @zuzanna_pathway
Zuzanna Stamirowska@zuzanna_pathway
The full Transformer vs Post-Transformer debate is live. 80 minutes. Seven rounds. No slides. Real disagreement. @lukaszkaiser came to defend the Transformer. @adrian_pathway, @YesThisIsLion, and @mlech26l made the case for what comes next. 00:00 Contenders enter the ring 06:30 Lukasz Kaiser defends the Transformer 10:08 Adrian Kosowski on BDH and the PageRank Moment for AI 17:35 Llion Jones: Why Transformers aren't the final architecture 29:50 Mathias Lechner on Liquid AI’s approach, Fast Weights, and Self-Replacing AI 40:28 Reasoning Beyond Language 44:15 Scaling Laws: Transformer vs Post Transformer 50:31 Benchmarks, Coding Models, and Perplexity 1:04:00 Continual Learning and Dynamic Weights This is the ultimate source of truth on the subject.
日本語
100% agreed.
Artificial intelligence today *is* the collective human intelligence with enhanced speed.
I think whether Alpha-Zero moment of gen-AI would ever come is still an open question.
Julian Togelius@togelius
Meanwhile, Claude's system prompt is the size of a novel, and the harness is the size of a small operating system. Modern LLMs are trained on most of human knowledge. "AI" operates in a human world, and intelligence cannot be cleanly separated from knowledge about the world.
English