AM09:21

3.3K posts

AM09:21 banner
AM09:21

AM09:21

@AM09_21

17 | Developer | Searcher | JP #kosen24s #NITWC

Artificial Thinking Room Katılım Mart 2025
2.4K Takip Edilen2.3K Takipçiler
AM09:21 retweetledi
Sakana AI
Sakana AI@SakanaAILabs·
Can test-time scaling work for diffusion language models? In our #ICML2026 paper "UnMaskFork," we show that having multiple masked diffusion language models collaborate on a single answer improves performance on coding and math tasks. Blog: pub.sakana.ai/umf Test-time scaling is an actively researched technique that boosts LLM performance by using inference-time compute, for example, by having a model think longer or repeatedly refine its answers. This allows us to enhance performance simply by increasing computation during inference without relying on additional training, giving us the flexibility to balance compute costs and performance based on the specific use case. Unlike standard LLMs that generate text left-to-right, masked diffusion language models (MDLMs) generate text by gradually filling in a fully masked sequence. MDLMs can generate multiple parts of a sequence in parallel, offering potential speed-ups, and they can generate flexibly while seeing the entire sequence at once. This makes them an actively studied new paradigm in language modeling. We found that the standard LLM approach of "raising the temperature to increase randomness and generate diverse answers" does not work well for MDLMs like Dream-Coder. Instead of relying on this randomness, our proposed method, UnMaskFork (UMF), creates diversity through "model switching." Multiple MDLMs share the task of unmasking a single answer, and we use Monte Carlo Tree Search to search for a promising sequence in which different models handle different stages. Each model picks up where the others left off, filling in the parts it is most confident about. This collaborative approach allows us to explore diverse answers while maintaining generation quality, consistently outperforming existing test-time scaling methods on coding benchmarks and scaling effectively on math as well. Test-time scaling is also crucial for advancing MDLMs, and our work shows that UMF can sidestep the difficulties specific to them. UMF requires no additional training or changes to the models; it works simply by combining pre-trained models at inference time. This allows us to leverage the diversity of diffusion language models trained on different data and with different methods to improve performance. We believe the value of UMF will only grow as more diverse MDLMs emerge. This work is part of our broader research into "collective intelligence of AI," alongside methods like AB-MCTS and Sakana Fugu that have multiple LLMs collaborate. We'll continue pursuing research that turns model diversity into a source of strength. For details of the algorithm and illustrative examples showing how this collaboration works, please see our blog and paper. Paper: arxiv.org/abs/2602.04344 🐟
GIF
English
8
10
65
4.5K
AM09:21
AM09:21@AM09_21·
眠すぎてXできねぇ! ってなわけでコンビニに行くなどする(運動)
日本語
0
0
5
416
AM09:21
AM09:21@AM09_21·
@sekimiya 原作者さんに褒められてマジで嬉しすぎる〜! 引用元が面白すぎて麦茶吹いてしまったので、衝動のままちょっと前のスクショとともに書いてみた次第です()
日本語
0
0
0
559
AM09:21 retweetledi
Quro ☄️ e/acc
Quro ☄️ e/acc@qurokun·
Notion使おうと思ってる人は、Linearを使った方がいい 変わらずドキュメント機能があるし、チームでも無料で使えるのが強い
日本語
1
1
16
2.7K
AM09:21
AM09:21@AM09_21·
日本では目的・成果・責任主体を決めないまま、プロンプト・ツール選定・業務効率化手法などの局所的な改善が自己目的化しやすい......ってこと? セミナーとか情報商材にフォーカスすれば中国もアメリカも日本も似通っているし、実際AXした気になって勝手に大失敗している企業なんてどこにでもあると思う。 S&P 500の企業のうち、AIを業務に深く統合してた企業ってたったの11%だし、中国企業もAIで顕著な価値を達成したのは9%だし....... あとHowの極端な最適化こそがイノベーションを生む事例もかなりあると思っていて、例えばAlphaFoldは外部評価を算出できる仕組みを作ってからHowを何年も試行錯誤した例でもあるんよねー(DeepMind) 目先の局所的最適化に逃げずに、大局を見据えた結果駆動の最適化をじっくりできるような忍耐力こそが大事だと自分は思ってて、それは世界全体を見てもめっちゃ少数だから貴重よねー
Taiyo Kimura@taiyo_ai_gakuse

度々、日本ではAIを使ったHowの部分だけにフォーカスされていてそれ以外が疎かになっている印象。 終わらないHowの最適化に憔悴していく日本 VS 結果を求めるアメリカ、中国。

日本語
0
0
10
855
AM09:21
AM09:21@AM09_21·
今の韓国の合計特殊出生率、たったの0.72...?1は超えてそうだと思ってたんだけど... youtu.be/IYpaaQdv0I8
YouTube video
YouTube
日本語
0
0
2
522
AM09:21
AM09:21@AM09_21·
はえ〜、今後のXアプリはAndroid先行で機能実装されて、それからiOSにも輸入されるんか Androidユーザーとして、iOS→Androidのことはほとんどだからこの流れはまーじで嬉しい大感謝
Nikita Bier@nikitabier

@AdamLowisz It's all on hands on deck right now. React with Video, Video Editor, and Spaces are coming very soon. Cashtags, Custom Timelines, and many new features are already live. Going forward, many things will hit Android first. The future is looking bright for X Android users.

日本語
0
1
7
1.1K
AM09:21
AM09:21@AM09_21·
Agents A1をきっかけに、本格的にLocal LMを触り始めたんだが、「レンダリングにGPUを使うな」っていう話がよくわかったので、とりあえずハードウェアアクセラレーションを全部OFFった
日本語
0
0
8
432
AM09:21
AM09:21@AM09_21·
長寿保険とかいう最強のカードを発見し、人生の効率化が捗りそう
日本語
0
0
3
486
AM09:21
AM09:21@AM09_21·
@GOROman パスポート取得に苦戦しすぎて役所と寮を7往復ぐらいした経験があるので、マジでそうなったら嬉しー! 自治体への申請とかもできれば相当楽になって良すぎる
日本語
0
0
3
159
AM09:21
AM09:21@AM09_21·
マイナMCPってなにできるんやろ 本人認証とか全部代替してくれるんやったら個人的にめっちゃ嬉しいけど、セキュリティ的にそんなことはないだろうし... 行政手続きを全部ChatGPTとかからできるようになるとかだけでもうれしいなー
Null-O@GOROman

MCP対応するんか 政府、マイナカードをAIエージェントと連携へ 重点計画に明記 japan.cnet.com/article/352508… @cnet_japanより

日本語
1
4
22
8.8K
AM09:21
AM09:21@AM09_21·
@wm3 元気に未成年やらせてもらってマス!
日本語
1
0
4
53