Sho Takase

Finally!! Accepted to ICLR 2026! 🎉 Cited by Nemotron 3 Nano and OLMo 3, yet it was a long journey to get this through academic peer review. So glad to cross the finish line. 📄 Rewriting Pre-Training Data Boosts LLM Performance in Math and Code: arxiv.org/abs/2505.02881

My first author paper (work done at Turing Inc.) has been accepted to ICLR 2026! #ICLR2026 Thanks for all co-authors and ex-colleagues!!

@okoge_kaz なるほど、年次大会の直後にGTCというスケジュールなんですね、それは確かに大変ですね。頑張ってください。 はい、こちらこそ是非お願いします。自分は基本的に空いているので。

@shot4410 ありがとうございます! >参加予定はない そうですか...残念です。 NVIDIA GTCの発表準備などの関係で、言語処理学会には参加しない予定でした。 高瀬さんのご予定が合えば、2月中旬-下旬あたりでお昼ご一緒させていただけますと嬉しいです。

共著の論文がICLRに採択されました。 大規模言語モデルの事前学習において学習率を下げずに終わらせた方がチューニング後の性能まで含めると性能が良いということを示しています。査読者の3/4がReject寄りの点数でしたが逆転できました。

@okoge_kaz ありがとうございます！ 藤井さんもおめでとうございます ICLRは自分は今のところは参加予定はないですね。予算の面で気軽に行けそうな場所ではないので……。 言語処理学会年次大会には参加するのでもしそちらに参加されるのであればそこでお話できればと思います。

@shot4410 おめでとうございます！ 高瀬さんはICLR現地参加されますか？(自分は参加予定なので、現地でお話しできればと思いまして)

@tsubasashi @kyano__nlp @shunkiyono @sosk_sosk @drJunSuzuki ありがとうございます！ 翼さんもおめでとうございます

@kyano__nlp @shot4410 @shunkiyono @sosk_sosk @drJunSuzuki Congrats!

My first-author paper has been accepted to #ICLR2026! Huge thanks to my co-authors: @shunkiyono, @sosk_sosk, @shot4410, and @drJunSuzuki!

サイバーエージェントAI lab アドベントカレンダー16日目の記事を公開しました！タイトルの通り、Geminiに謎解きをさせてみましたという話です。簡単な検証しかしてないですが、面白い結果になっているかと。どうしたら解けるようになりそうか分かったら教えて欲しいです。 zenn.dev/kosyamada/arti…

CyberAgent AI Labアドベントカレンダー (adventar.org/calendars/11573) 15日目の記事を公開しました！ 爆弾解除ゲームをGemini 3 Proとプレイしてみた話になります💣️ zenn.dev/yaelanya/artic… 前編の佐藤さん( @shiki_satou )の記事とあわせて是非ご覧ください🙏 zenn.dev/ssato_ds/artic…

＼ アドベントカレンダー更新中 ／ 研究開発組織AI Labにおいて、有志メンバーによる「CyberAgent AI Lab Advent Calendar 2025」を毎日更新しています✨ 皆さまぜひご覧ください！ adventar.org/calendars/11573

CyberAgent AI Labアドベントカレンダーとして記事を書きました。 Transformerの発展を概説していて、元々の論文で提案されている構造と、LLMで使用されている構造は全然違います、という話です。 zenn.dev/shot4410/artic…

COLM2025参加します！高瀬さんの論文の発表をさせてもらいます。よろしくお願いします。

なお、この論文に関してCOLMでは「2020年以前の論文は古すぎるから議論の俎上に載せるな」「引用数が数件の論文は無価値」という、だいぶ強い主張をする査読者が出現し、なかなかエキサイティングでした openreview.net/forum?id=52YBE…

COLM 2025で発表予定の論文の紹介スライドをアップしました。 大規模言語モデルの学習を制御するために Transformer の勾配のノルムの上界を算出し、これを抑える条件を提示しています。 speakerdeck.com/takase/snlp202…

Webブラウザを人間よりも高い精度で操作することに（世界で初めて）成功しました！ 今回、開発した cotomi Act というエージェント技術はWebArena というWebエージェントのベンチマークで8/27現在、人間も上回って世界トップ性能の実現に成功しています。 jpn.nec.com/press/202508/2… 🧵

@dai0NLP ありがとうございます！

@shot4410 おめでとうございます！

7月末でSB Intuitionsを退職し、8月よりサイバーエージェント AI Labで働いています。 引き続き、大規模言語モデル周辺というか、自然言語処理・機械学習分野の研究に取り組む予定です。

@beatinaniwa ありがとうございます！

@shot4410 転職おめでとう！

@FQCme1 こちらこそ良い本をありがとうございます。アカウントを発見できなくて元ポストに含められず申し訳ない…

@shot4410 ありがとうございます🙇🙏🙏🙏

著者の福地成彦さんから『LLMとハルシネーション 基礎と対策』をご恵贈いただきました。自然言語処理の基礎を概観した後にLLMを紹介し、ハルシネーションやRAGにふれるという盛り沢山な内容。ところどころに挿入されているノートは読み物として面白く、より詳しく知るための文献案内があるのも親切。