もりし
1K posts

もりし
@MorishTr
某日系メーカーの研究者。 主に自然言語処理、 たまに機械学習、 しばしば AI x 経済学 の研究をします。 大学では素粒子物理学をやってました。 仲良くしてねー!!

国語研の「次世代の言語理論を考える」に参加してきたけど、面白すぎたー😋😋 マイ・ベストセミナー・オブ・イヤー(2026) に認定してしまった、少し気が早いけれどー。



#NLP2026 03/11 (水) 11:15-12:45 @ C会場で、ポスター発表を行います! 🤔 今のテキスト埋め込みは平均プーリングで作られがちだけど、粗すぎる手法では…? ✅ 実は最近のテキスト埋め込みモデルではこの粗い手法でもうまく動く という発表をします。






#NLP2026 で木曜日にポスター発表と口頭発表します〜 事前学習についての研究です!!!







#NLP2026 にて,共著を含む計4件の発表があります! ぜひ会場にお越しください! ①Attention Sinkのバイアス項的解釈 - 3/11(水) 09:30〜:口頭🎤 - 3/11(水) 11:15〜:ポスター🖼 ②Attention Sinkの発生機序 - 3/11(水) 11:15〜:ポスター🖼 - 3/12(木) 09:30〜:口頭🎤




#NLP2026 にて、NTT tsuzumiチームが優秀賞5件、若手奨励賞1件を受賞しました! これを励みに、今後も大規模言語モデル「tsuzumi」の開発と、革新的な研究の両面で、より一層挑戦を続けて参ります。採用も積極的に行っていますので、tsuzumi のR&Dに興味をお持ちいただけた方は、ぜひご連絡ください! ntt-labs.jp/saiyo/ ■ 優秀賞(718件中16件) 位置符号化の基底拡大戦略は外挿性能を制限する 岡 佑依 (NTT/東北大), 斉藤 いつみ (東北大), 西田 京介 (NTT) 周波数エントロピーによる位置埋込みの解明 岡 佑依 (NTT), 花房 健太郎 (愛媛大), 長谷川 拓, 西田 京介 (NTT) CMDR: 文脈を考慮したマルチモーダル文書検索 田中 涼太, 長谷川 拓, 西田 京介 (NTT) Let's Put Ourselves in Sally's Shoes: 他人の靴プレフィリングは大規模言語モデルの心の理論を改善する 篠田 一聡, 北条 伸克, 西田 京介, 山﨑 善啓, 鈴木 啓太, 杉山 弘晃, 齋藤 邦子 (NTT) 大規模視覚言語モデル内部におけるダイアグラムの表現形成過程 吉田 遥音, 工藤 慧音, 青木 洋一 (東北大), 田中 涼太 (NTT), 斉藤 いつみ, 坂口 慶祐, 乾 健太郎 (東北大) ■ 若手奨励賞(517件中21件) ハルシネーションから学ぶ:内部表現への介入によるハルシネーション抑制 門谷 宙, 西田 光甫, 西田 京介 (NTT)

#NLP2026 で主著2件、共著1件発表します!主著2件とも、光栄なことに口頭発表に選んでいただきました。 共著の方もグラフの話で面白いので、ぜひ聞きに来てください! また、ワークショップ「気軽に国際会議を目指しましょう」でICLR2026に主著2本採択された経験についてお話しします。


明日3/12 11:15〜、B会場にて以下の研究について発表します 「何もしてないのに壊れたー」を引き起こすソフトウェアのバージョン更新について、リポジトリレベルのベンチマークを自動構築する世界初 (to the best of…) のフレームワークを提案しています よろしくお願いします!

#NLP2026 では主著1件 (ポスター発表) と共著4件(ポスター・口頭発表)の発表予定です 主著 解釈可能な言語モデル: TopK Language Models 共著 LMにおける {既知性判断のメカニズム / Attention Sinkの解析x2 / 事前学習の改善} よろしくお願いします!





