chokoryu
920 posts
chokoryu
@naka_ryu116
Ryu Nakamatsu | Sr. Consultant @deloitte_jp ← Engineer/Researcher @SoftBank & @AIST_JP ← Electrical Engineering @UBC | Interests: 🍺🥃💻💹🏀⛷️🎸🏃
日本 東京 Katılım Temmuz 2014
670 Takip Edilen193 Takipçiler
chokoryu retweetledi
chokoryu retweetledi
最近読んだ『Software Engineering is back（ソフトウェアエンジニアリングが戻ってきた）』という記事が、かなり刺さりました。主張はシンプルで「コーディングエージェントが、これまで自分が使ってきたフレームワークを置き換えた」という話📝
ここで言っているのは『vibe coding最高』みたいな軽いノリではなく、むしろ逆で「考える仕事が主役に戻る」という宣言でした。コードを書く労働が軽くなるほど、設計・判断・トレードオフ・エッジケース対応の価値が相対的に上がる。つまり『エンジニアリング』が戻る、という整理。
記事の中で好きだった言い方が「Automated Programming（自動化プログラミング）」です。『タイピングの苦行』が消えて、建築でいうと「レンガを積む」から「建物を設計する」に比重が戻る。服作りでいうと「縫う」から「デザインする」に戻る。こういう比喩って、現場感がないと出てこないんですよね。しかも筆者は「何も考えずにAIに丸投げ」ではなく、アーキテクチャや仕様決定、深夜3時に刺さる地雷みたいな論点は今まで通り（むしろ以前より）考えている、と言います。消えたのは『手を動かす消耗』だ、と。
そして記事が一段深いのは「フレームワークが解決してきた問題」を3つに分解している点です。1つ目が『簡略化』。自分で設計する怖さから、既製の型に逃げる。2つ目が『自動化』。ボイラープレートを減らす。3つ目が本音の部分で『労働コスト最適化』。企業は『ソフトウェアエンジニア』ではなく『React開発者』のような交換しやすい駒を雇いたい。フレームワークはそのための分業装置にもなっていた、という指摘です。ここ、めちゃくちゃ重要です。フレームワーク論に見せかけて、実は組織設計と人材市場の話でもある。
この分解で見える景色は「AIで消えるのはフレームワークではなく『フレームワークに逃げる動機』」かもしれない、ということです。AIエージェントがボイラープレートを量産できるなら『自動化のためにフレームワークを選ぶ』理由が薄れる。さらに、AIが既製の型を超えて「いま目の前の要件」に合わせたコードを生成できるなら『一律の簡略化』のメリットも相対化される。結果として、最終的に残る価値は『設計できる人』に寄っていく。筆者は「問題は『いずれ出るかもしれない課題』ではなく『いま解くべき課題』を解け」と言い切っています。これもAI時代の原則っぽいです。
個人的に「なるほど」と思ったのは、最先端の話の結論が『bashが万能』に落ちているところです。1989年生まれの古い道具が、AIエージェントにとっての『世界との接着剤』になる。派手なMCP設定より、単純なエージェントループ＋bashで充分に価値が出るケースが増えている、という見立てでした。ここから学べるのは「未来は新ツールで来るとは限らない。既存の道具が、別の文脈で最強化される」ということです。プロダクトでも同じで、AI時代に伸びるのは『新機能てんこ盛り』より『基本機能がAIで極限まで強くなる』パターンだったりします。
じゃあこれ、現場では何が起きるのか。自分なりに論点を並べます。
1 『実装力』の定義が変わります。コードを速く書くではなく『意図を正しく伝えて、狙った形に収束させる』が実装力になります。
2 『設計の負債』が可視化されます。AIが速く作るほど、曖昧な仕様や雑な境界設計がボトルネックになります。
3 『ミドル層の二極化』が進みます。記事のコメントにも近いですが、AIはトップの増幅器になりやすい一方、学習ルートが整備されないと格差が広がるリスクがある。だから組織は、育成を『ドキュメント＋レビュー＋意図の言語化』に寄せないと詰みます。
プロダクトマネージャー視点だと、もっと直接的でフレームワーク前提のロードマップが崩れます。今までは「この基盤を入れれば速くなる」「この型に乗れば増員できる」みたいな意思決定が成立していました。でも、AIが『型』の価値を下げるなら、競争優位は「型の選定」ではなく「何を作り、どう検証し、どこで差別化するか」に戻る。つまり、PMの仕事は『仕様を書く人』から『制約条件を設計して勝ち筋に誘導する人』に寄っていく。ここで大事なのは、AIで作るほど『自由度が増える』のではなく、むしろ『自由度を制御できるか』が問われる点です。自由に作れると、人は散らかります。だからこそ、エンジニアリングが戻るというお話かなと👀
blog.alaindichiappari.dev/p/software-eng…
日本語
やほーみんな久しぶりー！
実は12月からGoalsって会社で働いてるよ！
40社カジュアル面談して10社ぐらい会食とかもして丁寧に決めました。
社会課題に取り組みたくて探した結果、大好きな日本の飲食を守るぜ！って感じで働いています🔥
積極採用中です。
goals.co.jp
日本語
chokoryu retweetledi
chokoryu retweetledi
OFFICIAL: We have signed Yuki Kawamura to a Two-Way contract.
Welcome back, @KawamuraYuki 🇯🇵
English
chokoryu retweetledi
chokoryu retweetledi
chokoryu retweetledi
chokoryu retweetledi
🔥 GPT-6 may not just be smarter, it might be alive (in the computational sense).
A new research paper called SEAL, Self-Adapting Language Models (arXiv:2506.10943) describes how an AI can continuously learn after deployment, evolving its own internal representations without retraining.
Some of the SEAL researchers are now working at OpenAI. 👀
That’s no coincidence.
SEAL’s architecture enables models to:
•learn from new data in real time
•self-repair degraded knowledge
•form persistent “memories” across sessions
If GPT-6 integrates this, it won’t just use information, it will absorb it.
A model that adapts to the world as it changes.
A system that gets better every single day.
This could be the birth of continuous self-learning AI, the end of the frozen-weights era.
Welcome to the next chapter.
English
chokoryu retweetledi
Today we are launching my favorite feature of ChatGPT so far, called Pulse. It is initially available to Pro subscribers.
Pulse works for you overnight, and keeps thinking about your interests, your connected data, your recent chats, and more. Every morning, you get a custom-generated set of stuff you might be interested in.
It performs super well if you tell ChatGPT more about what's important to you. In regular chat, you could mention “I’d like to go visit Bora Bora someday” or “My kid is 6 months old and I’m interested in developmental milestones” and in the future you might get useful updates.
Think of treating ChatGPT like a super-competent personal assistant: sometimes you ask for things you need in the moment, but if you share general preferences, it will do a good job for you proactively.
This also points to what I believe is the future of ChatGPT: a shift from being all reactive to being significantly proactive, and extremely personalized.
This is an early look, and right now only available to Pro subscribers. We will work hard to improve the quality over time and to find a way to bring it to Plus subscribers too.
Huge congrats to @ChristinaHartW, @_samirism, and the team for building this.
English
chokoryu retweetledi
「作りながら学ぶ！LLM自作入門」を圧縮して2時間くらいで学べるハンズオンを作りました。社内でデリバリーしましたが、刺さる人には激しく刺さりつつ、多くの入門者を置いてけぼりにしました。トークン化、セルフアテンション、GPT構築、事前学習を学びたい方、どうぞ。
colab.research.google.com/drive/1g-KjfRW…
日本語
chokoryu retweetledi
LLMの幻覚（Hallucination）が統計的な必然性と評価設計の歪みから説明する統一的な理論枠組みが提唱されている。
まず、統計的必然性について：事前学習は学習対象の分布を近似する密度推定問題（出現確率を推定する問題）とみなせる。このとき言語モデルを使って与えられた文が妥当か、妥当でないかという分類器IIV（Is-It-Valid）（例：「OOの誕生日は9月8日である」など）を構成すると考える。
仮想的に分類器は、半分の確率で実際の学習対象の集合Vからのサンプルと、半分をランダムに構成した誤り集合Eで構成する。この時、分類器は閾値1/|E|より大きいものは妥当だと答え、そうでないものは妥当ではないと答えるのが最適な戦略となる（ノイズありの場合のベイズ最適）
この場合、誤り集合に属するサンプルを妥当だと答えてしまう確率は、必ず分類器の誤正解率の2倍程度（正確にはこれから正例と誤例のサイズ比と、キャリブレーション分を引いたもの）が含まれることが示される。
ほぼ完璧な分類を達成する（分類平面を完全に覚える）ことは困難であるため、ここから、ハルシネーションは事前学習のみでは防ぎきれないことがいえる。
例えば、ある人の誕生日を学習データから覚える場合を考える。この場合、その人の特徴と誕生日の間には何の関係はなく、誕生日は丸暗記をする必要がある。分類平面としては非常に複雑で（殆ど似た特徴を持つ人と何も相関がない）、統計的手法で覚えるには非常に多くのサンプル数が必要となる。
この場合、上記の議論では、分類器は1/364（|E|=364）より確率が大きければそれを答えるのが確率の観点からは最適戦略となる。
また、Good-Turing 推定とよばれる、未知の確率がどの程度出現しうるかを、学習データ中に1度だけ出現したデータ（singleton rate）の割合で見積もるアプローチを使うと、誤分類率は、このsingleton rateがほぼ下限であることを示せる。
世の中の情報はロングテールであるため、多くが低確率しか出現せず、この場合は誤分類率の下限は抑えられず、それを下限とするハルシネーションも一定割合は防げないことがいえる。
一方、（密度推定タスクである）事前確率ではハルシネーションは防げないとしても、事後学習でハルシネーションを防ぐことは原理上可能である。
しかし、現在の事後学習タスクでは、必ずしもわからないことを分からないと答えることが、ベンチマーク上有利ではなく、分からない場合でも多択問題でそれっぽいことを答えて当たる戦略が促進される。
学習コミュニティは、分からない場合は分からないと答えることにインセンティブがあるようなベンチマークを設計していかないといけない。
コメント
===
この研究はハルシネーションに対して、明確に統計的機械学習の枠組みにおいては限界があることを明確に示している。今後多くのハルシネーション研究はこの研究を参照するだろう。
本研究で述べられていないが、ハルシネーションに対する対策の示唆を与えていると思える。
サンプル数が少ない場合は丸暗記せざるをおえず、学習データを過剰に信用すれば、（たとえ1サンプルしかなくても）覚えることは可能である。学習データでどれが信用できるか、ノイズが少ないかというったことを考慮にしてモデルを変えるといったことができればよいのではないか。少なくとも人間はそのようにして少サンプルからの学習を可能としている（一方、そのせいで容易に騙されるが）。
日本語
chokoryu retweetledi
紅とSilent Jealousyを足して2で割った感じの曲をMarc Hudsonが歌ってるってX JapanとDragonForce好きからするととっても素敵🎸
youtu.be/XM6aRpeXh-M?si…
YouTube
日本語