ทวีตที่ปักหมุด
職業的ディレッタント
11K posts
職業的ディレッタント
@hide36ous
PhD, MD / 理研RQC（桑原知剛Gr.） ・Kavli-ITS（松尾衛Gr.）←京大・慶應（齊藤圭司Gr.）←初期研修←東大医（鉄門アメフト・廣瀬研）←灘63回（数研・ラグビー） / 非平衡統計物理 / ゆらぐ流体力学 / 量子多体系の情報伝播 / 長距離相互作用系 / スピン輸送 / 1児のパパです
東京 板橋区 เข้าร่วม Haziran 2011
763 กำลังติดตาม3.3K ผู้ติดตาม
今日は灘の東京合宿の同窓会的なやつでした
nknsくんの論文が面白かったのと、sgwさんのとこに遊びに行ったのを覚えてくれてたのが嬉しかった
あと灘のネットワークが〜的な話が長くてアレやったのと、現役生は元気でよかった
日本語
職業的ディレッタント รีทวีตแล้ว
attention機構の部分だけではなく、トークンの位置のencodingの表現や、性能評価手法についても新しく有用なものを開発した、とのことで（これらだけでも論文になるくらいの成果）、論文10本くらいの価値はある、とのことでした笑（めっちゃすごい）
日本語
僕が理解した範囲では、
「Attention機構は重要でない部分にも相対的に注意を割り振らないといけないところを、絶対評価にして"screening"をかけることで冗長性をなくし、特に文章量が膨大なタスクに対して圧倒的な性能を出した」
という感じだそうです
日本語
僕の友人が、機械学習の分野でかなりすごい論文を出したとのことで宣伝です！！
Transformerを過去のものにする自信作、とのことでした（めっちゃすごい）
（僕は専門外ですが、分野外にも伝わるようなすごさでした）
ぜひみなさん読んでもらえると！！
arxiv.org/abs/2604.01178
日本語
京大理物（齊藤圭司研）で無事博士を取りまして、今年度からは（引き続き）理研和光の桑原知剛グループに在籍してます！！
今後も非平衡と情報伝播の物理を楽しく探究できればと思いますのでよろしくお願いします！！
日本語
注1：学位授与式に出ておらず学位記をまだもらってないので、本当に博士を取ったのかはちょっとまだ自信がない
注2：クリニックの院長をしているため、ポスドク常勤職の兼業ができず、理研はパートタイマーという肩書になってます（しばらくはこんな感じかも）
日本語
もうPhDを名乗ってもいいはずやけど、学位授与式行ってないから手元になくて、なんとなくまだっぽい気がしてる（いつ貰いに行けばいいんやろ…）
日本語
JPSは（テクニカルだけど）カノニカルパスの話が面白かった
こういう組合せ論的な技法はk-localityとかの議論にも使えそうな気がするんやけどな
日本語