Takeshi Fujiwara

8.6K posts

Takeshi Fujiwara

Takeshi Fujiwara

@urakarin

札幌在住某機械メーカーソフトウェアアーキテクト。 ファームウェアからクラウド、セキュリティまで技術全般なんでも屋さん。 経産省の工場システムセキュリティ対策ガイドライン作成に参加したり 北海道大学で特別講義をしたり、かつてはTapStreamを企画したり。でも一番長いキャリアは実は女子体操競技コーチ。

iPhone: 43.030675,141.503584 เข้าร่วม Mayıs 2008
1.3K กำลังติดตาม541 ผู้ติดตาม
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
中学生らしき学校の団体と同じ便だ。この時期に何だろう、修学旅行?
日本語
1
0
0
25
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
AI使用禁止!も、AI使って動いたからOK!のどちらにも賛成しない。AIが吐いたコードの善し悪しを説明できる能力は必要。今はパラダイムシフトの過渡期なので。研修をするなら「AI使用可。ただしレビューの質問に答えられなければアウト」とかかしら。
日本語
1
0
1
42
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
その意味では、コーディング研修やらで、コンパイラ使用禁止!と言われたら「はぁ?自分でハンドアセンブルしろと?」となるのと同程度には、AI使用禁止!も「はぁ?自分でコード書けと?」と感じるかもね。
日本語
1
0
0
44
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
今時、アセンブラやILを全く読めなくてもC++やC#を使えればプログラマーを名乗っても不思議でないように、近いうちにC++やC#を読めなくても一段上のメタ言語でAIを駆使できればプログラマーです、になるんだろうね。パラダイムのシフト感は同程度。
日本語
1
0
0
59
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
となると、一段メタな層からの設計がさらに重要で、そもそも必要?や、技術でなく運用でカバーする方が合理的では?等の後に技術設計が入って実装はほぼAIっていう世界は想像しやすい。実装品質を担保する部分もメタな設計があった上でテストはAI。
日本語
0
0
0
38
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
残されたITの棚でさえ、AIとLLMの使い方本が多く占めている。この感覚って実は以前にもあってWin95が出てMS Officeが流行り出した頃、書店の棚はOfficeの使い方本で溢れた。その分、コンピュータやOS、HW関連の本棚は削られた。
日本語
0
0
0
30
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
書店は時代を映しているだけだから書店が悪いわけではないのだけど。日本人という個人が将来提供しようと企む付加価値の集合が書店の棚に表れていると捉えると、ITで食っていこうとする人は減っているのかしらね。
日本語
1
0
0
35
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
外国で大きめの書店を確認すると国や文化が力を向ける分野が見える気がする。マレーシアは建築割合が多かったし、ドイツは幼児向けにさえ製造業の話が多く見られた。日本のアニメとプラモは消費用には特色あってよいが、供給用のコンテンツとして理工やITにも力を入れてほしいよね。
日本語
1
0
1
69
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
@cf_ksmm 白石にできる新店舗にはぜひ理工系の特色を持たせて理工系の店舗離れを防いで欲しいです。理工系の棚が縮小され過ぎている気がするので。
日本語
0
0
0
22
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
ひっさびさにコーチャンフォーに来た。理工学書のスペースが来るたびに縮小されていて、日本の将来大丈夫か!?と気になってしまう。何で食ってくつもりなの?
日本語
0
0
0
88
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
どなたか4/20から始まるHannover Messe行かれる方いませんかね?現地で私と情報共有できないかしら?という意図です。当方、一人でぶらぶらする予定です。
日本語
0
0
0
52
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
花粉の季節になってきた。最近は眼球よりも周りの皮膚がやられる感がある。
日本語
0
0
0
49
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
CNNやU-Netが画像のPriorだとするなら、Transfomerは何のPriorなんだろうか?DIPすると何が出てくるんだろう?
日本語
0
0
0
42
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
@detroitbcm はい。そう簡単な話ではないですよね。だからこそCALMは事前にまとめておけばいんじゃね?という新発想ですよね。発展に期待します。
日本語
0
0
1
34
AmericanSpirit_JP | アメおじ 🌙
固定Kは確かに練り直しが必要ですね 意味単位シフト自体は魅力的ですが、softmax除去による決定論的連続ベクトル出力は、OpenAIが観測した時間クエリ繰り返しでのalignment逸脱 (ヒューリスティック崩壊)を大規模時に増幅させる可能性もありそうです 潜在意味説と合わせて、このアプローチのスケーリング耐性検証が今後の課題になりそうです
日本語
1
0
0
226
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
なるほどね。確かに意味単位という進化はありそう。ただ、Kが固定では制約の方が強そう。実はTransfomerも潜在的にはすでに意味を持っていて出力時の負荷が高いだけとかないのかしら?K個の連続文字がほぼ決定論的に決められる、とか。 いずれにしてもこの辺りの進化に期待。
AmericanSpirit_JP | アメおじ 🌙@detroitbcm

科学のお話 いままでのGemini /Grok / Claude /ChatGPTのような大規模言語モデル(LLM)の作動方式が少し効率化しそうな研究 清華大学と実はゲーム事業もあったりする中国版LINE的なWeChatで有名なテンセントの共同論文で ざっくり噛み砕くとAIが「次の一語」を予測する時代は、少し変わり始めている…やも? というもの 具体的には: 今のLLMの仕組み🔽 次の単語(トークン)を1つずつ超絶複雑な確率で選ぶ方式で文章などを出力 イメージ的にはタイプライターで1文字ずつ打つような感じ <今日> 🔽確率収束で次に来るのは「は」 by GPU <は> 🔽 今までの統計パターンだと…次に来る可能性がもっとも高いのは 「天気」!! (メガネ クイッ) by GPU <天気> みたいなイメージで、早く言ってしまえば メガネクイッなデータキャラ(LLM)です ここ1トークン毎の確率収束プロセスがものっそい複雑な上に計算コストが高く、長い文章の出力には遅いとか電気をやたら食う燃費の悪さという問題がありました 26年中に最早国家の経済システムのインフラに成りつつあるこのデータキャラの為に発電施設やデータセンターが不足し始めるといった事情も出てきています そこで 「今のLLMの処理が完成形じゃないよね、燃費悪いし」 的にテンセントと清華大学の研究チームが昨年の秋に発表した新手法 「CALM」 Continuous Autoregressive Language Models 連続ベクトル生成型言語モデル がメガネクイッのデータキャラ(従来のLLM)から少しだけ直感タイプの軍師キャラ(CALM)への換装方を提案していて面白いので紹介させてください CALMすごいじゃんポイント: ❶ まず、4つのトークン (例:「りんごを食べた」=りんご/を/食べ/た)を1つの「連続ベクトル」(数字の塊)にギュッと圧縮 ▶︎イメージ的には<りんごを食べた>の意味を1つの「思考の塊」にまとめる感じ ❷過去の思考の塊たちを見て、「その直後に来る思考の塊」(次の4トークン分)を予測 
▶︎今までの出力が「りんごを食べた」なら、CALMはこれを見て「後でゆっくり散歩しよう」と返す
 ▶︎従来の一単語毎に予想プロセスを入れるタイプライターから「アイデアの塊を順番に話す直感系軍師キャラ」に変わるイメージ 👨‍🔬開発者向けにもう少しロジックボックスを解体すると、CALMの予測動作は以下の通り: 従来LLM vs CALMの違い ▶︎従来のタイプライター方式(ChatGPT等データキャラ)
 <後で> 🔽GPUプロセス <ゆっくり> 🔽 GPUプロセス <「散歩> 🔽 GPUプロセス <しよう> 1トークンずつ4回も考えて打つ(遅い) ▶︎CALM方式(直感系軍師キャラ) 過去の思考の塊 <りんごを食べた> の1つだけを見てその直後に来る次の思考の塊を1回で予測 <後でゆっくり散歩しよう> と1つのアイデアの塊を1回で予測 (AE Decoderで一気に4トークンに展開) 予測回数は4分の1 ❸結果: 結果:文章生成のステップ数が4分の1に減り、
小さなモデルでは学習時の計算量を44%、推論時も34%削減(論文実測値) もっと平たくおさらいすると ▶︎LLM = 「1語ずつ次の言葉を考えて打つ」 ▶︎CALM = 「1つの考え(塊)ずつ次を考えて、塊を一気に4語に展開」 頭の中で「文の塊」で考えている人間の脳に近づいた感じです もちろんまだ「革命!」と言うには早い段階で 色々とスケーリング課題もあり ・実験はまだ1.8Bパラメータまでの小規模 ・新しい評価指標(BrierLM)を使っている ▶︎ここが一番の山: CALMは従来の標準スコア「困惑度/Perplexity」が完全に計算できない ; LLMで採用されてた(重い)softmax層が物理的にない為 研究チーム独自の「BrierLM」という新しい採点方法を作ったので、他の有名LLMと「同じテストで直接数字比較」しにくく、「本当に性能が良いのか」がまだ完全に客観的に証明しにくい状態です(論文自身が「Perplexity inapplicable」と明記 ・大規模モデルでの実証はこれから と、まぁ 前途は多難ですが、それでも! 意味の密度をスケールする新しい軸を提案した点は、非常に面白い一歩です 追記(実際に検証) GitHubに公開されている主要コード(AutoEncoderの圧縮部分とEnergy-Based Generative Head)を小規模で動かして確認 論文の数式通り「4トークンを1ベクトルにまとめる仕組み」は問題なく動作し、生成ステップが本当に4分の1になることや、再構成精度の原理が数値で再現できました(BrierLMやエネルギー損失の計算もコード通りで、改ざんや不整合は一切なし) 自分で開発してる会社で動いてるモデルに組み込んでみます 論文: arxiv.org/abs/2510.27688 公式GitHub(コード・学習済みモデル公開中): github.com/shaochenze/calm 「次の一語」予測が「次の一思想」予測になるのはかなり画期的です👍

日本語
1
0
1
401
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
大抵はゴルフコースとして活躍するんだけど、他にももっと、と考えて画鋲を大量に刺してパチンコ台にした時は流石に怒られた記憶がある。工夫を褒めてもらえると思ったのに。そう言えば、自分のランドセルには一通りの工具がいつも入ってた気がするw
仲曽良ハミ@nakasorahami

修復工事 続きあります

日本語
0
0
0
154
Takeshi Fujiwara
Takeshi Fujiwara@urakarin·
地元に戻ったらドイツかと思うほど店がシャッターで閉まってた。懐かしさと寂しさと。小学校の頃よく食べたソフトクリーム屋さんは今も繁盛してた。
日本語
0
0
0
57