Hirofumi Shiba

1/ Flat minima theory is breaking. At modern scale, gradient descent doesn't settle into a nice convex bowl. It bounces chaotically at the "Edge of Stability." Turns out, this chaos is exactly why massively overparameterized networks generalize. 🧵

3/4 Peter's 1996 paper was titled “For valid generalization, the size of the weights is more important than the size of the network.” Telgarsky said: "I just want to emphasize how good of a communicator he is, by putting a theorem as the title of a paper."proceedings.neurips.cc/paper/1996/has…

興味深い。コロナ後遺症の治療法として、EAT（上咽頭擦過療法、Bスポット療法）がある。この効果については、上咽頭の裏側にある迷走神経叢を刺激している可能性が指摘されてきたが、科学的な裏付けは十分でなかった。〈EAT→迷走神経の刺激→全身の炎症の軽減〉という機序があるのかもしれない。また、この記事のように迷走神経の電気刺激は、コロナ後遺症に対して、EATと同様の効果があるかもしれない。

Separating Geometry from Probability in the Analysis of Generalization ift.tt/jhRz9Kl

PAC-Bayes Bounds for Gibbs Posteriors via Singular Learning Theory Chenyang Wang, Yun Yang arxiv.org/abs/2604.17219

家の前の電線で、ガビチョウが楽しそうにずっと歌ってる♪

ウィトゲンシュタインの博士論文審査の再現。審査の常識に完全に反している型破りなやり取りで審査員（ラッセルとムーア）は"Don't worry, I know you'll never understand it"とまで散々いわれてしまうが、結果はもちろん合格。世紀の『論考』の前には審査員も形無しだ。sfu.ca/~jeffpell/Phil…

@puremoon_3_7_15 マジやんか！笑

この季節、しばらく終わらないでくれ

1/ Less than 24 hours before broadcast, the BBC called me and said: we're editing a line out of your lecture. The line? That Donald Trump is the most openly corrupt president in American history.

みんな、とにかく黙ってこの藤澤先生の「ロバスト統計とスパース・モデリング」を読め。 藤澤先生の講演と同じく、とても流れが整理されていて、めちゃくちゃ読みやすい。 jstage.jst.go.jp/article/jjssj/…

🗺️「れきちず」機能紹介🏯 江戸時代の地図と現在の地図を２画面で比較して見られます。 上下・左右に分割できるほか、丸いスコープで比較する機能があります🔍 rekichizu.jp/map

The Illusion of Learning from Observational Data: An Empirical Bayes Perspective Bohan Wu, Sebastian Salazar, Donald P. Green, David M. Blei arxiv.org/abs/2604.08853

Lecture Notes on Statistics and Information Theory drive.google.com/file/d/1wY5xI2…

For introductory material on the difference between statistical and causal thinking I usually recommend the @Bookofwhy bayes.cs.ucla.edu/WHY/ or PRIMER bayes.cs.ucla.edu/PRIMER/ I wish I could recommend primers by other authors -- if anyone knows of any, I'd amplify.

True, causal inference is not a statistical problem, but very few statisticians understand this limitation and, in many universiities, statisticians control "data science" and "machine learning" -- fields that include causal inference. The psychological barriers that prevent statisticians from understanding causal inference are important for anyone who hopes and labors to remove them. Historians of science will ask some day: "Why did it take half a century for causal inference to penetrate higher education, machine learning technology, and RCT practice?" They will find my email conversations with statisticians like Dempster and Lindley to be invaluable. That is why I occasionally quote them on this platform -- treasures of philosophy and history of science. @soboleffspaces @eliasbareinboim @analisereal @ylecun @f2harrell @ConjectureInst @DavidDeutschOxf

数学が得意な人は言葉を使っていないらしい フランスの脳科学研究です。数学者と一般人で脳活動を比較すると、数学者は言語を処理する領域ではなく、数や空間を扱う領域を主に使っていました。 つまり数式を読むのではなく構造として見る処理をしているということみたいです。 一方でワイみたいな一般人は、同じ問題でも言語野に頼る傾向があり、文章として理解しようとしています。この違いが、数学の得意不得意を分けている可能性があります。 あと、この差は才能だけでなく処理の仕方の違いでも説明できる点も重要で、図で考える、関係性で捉えるといった非言語的な理解にシフトすることで、数学の理解は改善する余地があるということかなと思いました。

Luca Martino. [csCE]. A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models. arxiv.org/abs/2604.08116

"Research will move to a meta level, where the question becomes: “if we use such-and-such a method across all of science, how much will the global science-wide result improve?” measured using an accepted corpus representing science itself." tandfonline.com/doi/full/10.10…

健康寿命はこれまで国・都道府県単位でしか測れなかった。京都府立医大が個人レベルで健康余命を推定する手法を開発📊 国民健康調査×PHR×機械学習で、一人ひとりの活動制限リスクを予測。SaaSやAPIとして実装されれば、健康サービス（ジムや食事など）に活かされて広がる。 medit.tech/an-integrative…