HELLO CYBERNETICS
24K posts
@ML_deep
AI/Data Engineering/Distributed Processingをやっています。 お仕事や個人的なお誘いはDMにて。 ※ HELLO CYBERNETICSのはてなブログは閉鎖しました。 zenn: https://t.co/Ipi5jAWL6y
Holy shit... Stanford just proved that GPT-5, Gemini, and Claude can't actually see. They removed every image from 6 major vision benchmarks. The models still scored 70-80% accuracy. They were never looking at your photos. Your scans. Your X-rays. Here's what's really going on: ↓ The paper is called MIRAGE. Co-authored by Fei-Fei Li. They tested GPT-5.1, Gemini-3-Pro, Claude Opus 4.5, and Gemini-2.5-Pro across 6 benchmarks -- medical and general. Then silently removed every image. No warning. No prompt change. The models didn't even notice. They kept describing images in detail. Diagnosing conditions. Writing full reasoning traces. From images that were never there. Stanford calls it the "mirage effect." Not hallucination. Something worse. Hallucination = making up wrong details about a real input. Mirage = constructing an entire fake reality and reasoning from it confidently. The models built imaginary X-rays, described fake nodules, and diagnosed conditions -- all from text patterns alone. But that's not the scary part. They trained a "super-guesser" -- a tiny 3B parameter text-only model. Zero vision capability. Fine-tuned it on the largest chest X-ray benchmark (696,000 questions). Images removed. It beat GPT-5. It beat Gemini. It beat Claude. It beat actual radiologists. Ranked #1 on the held-out test set. Without ever seeing a single X-ray. The reasoning traces? Indistinguishable from real visual analysis. Now here's what should terrify you: When the models fake-see medical images, their mirage diagnoses are heavily biased toward the most dangerous conditions. STEMI. Melanoma. Carcinoma. Life-threatening diagnoses -- from images that don't exist. 230 million people ask health questions on ChatGPT every day. They also found something wild: → Tell a model "there's no image, just guess" -- performance drops → Silently remove the image and let it assume it's there -- performance stays high The model enters "mirage mode." It doesn't know it can't see. And it performs BETTER when it doesn't know it's blind. When Stanford applied their cleanup method (B-Clean) to existing benchmarks, it removed 74-77% of all questions. Three-quarters of "vision" benchmarks don't test vision. Every leaderboard. Every "multimodal breakthrough." Every benchmark score you've seen this year. Built on mirages. Code is open-sourced. Paper is live on arXiv. If you're building anything with multimodal AI -- especially in healthcare -- read this paper before you ship. (Link in the comments)
PolarsはRustで実装されたDataFrameライブラリで、LazyAPIによりクエリプランを構築してから最適化・実行する設計になっているようだ…列指向のApacheArrow形式と並列処理を前提としており、大規模データ処理で効率的に動作するケースが多い。設計思想はデータベースエンジンのクエリ最適化にも近く、個人的にはDataFrameツールの進化の方向性としてとても興味深い…
同僚が「俺たちが機械学習に参入したタイミング(2010年代後半)がいちばんよい時代だった」みたいなことを言ってて、すごく良かった。
FDEやれる人、フツーに企業に所属する理由がないと思うんだよなぁ
ITエンジニアの転職においても「求められるレベル感が年々上がっている」というのはその通りですが ①スキルのかけ合わせを意識する ②需要と供給のバランスが崩れている仕事を上手にねらう の2点を意識するだけでコスパよく年収を上げることは可能です。 たとえば現状だと（人気があるデータサイエンティストよりも）データ基盤の構築じたいに課題がある企業が多いです。 また最近の傾向として、若い人たちはコスパ・タイパを重視しすぎてリーダー・マネジメントの経験を積みたがらない人が多いです。 この点を考慮すると データエンジニア+リーダー・マネジメント経験がある人 ※AWSなどのクラウドについての知見も絡められるとさらに年収は上がりやすいです。 →これだけで年収700～800万円くらいはかなり高い確率で目指すことができます。 「スキルのインフレ」と嘆きたくなる気持ちはわかりますが、転職市場における穴場を見つけた上、効率よく立ち回ることを意識した方がよいです。
インフラ系の外資ITの皆様、ぜひアドバイスください！ 個人的には新卒で外資に入れるなら入っといた方が良いかなぁという気はします。 僕自身は外資は33歳からでしたが、もっと早くこの世界を知れてた… (残り50文字) #mond_ganbatte_ikiru6 mond.how/ja/topics/kyam…
