Sabitlenmiş Tweet
サブスクリプション始めてみた。
2週に1回くらい技術まとめをやる予定。
あと、関連トピックの投稿をまとめます。
とりあえず、業務システム開発にスピードが求められてる話をまとめています。
x.com/kis/creator-su…
日本語
きしだൠ(K1S)
367.3K posts
では石破政権なら、中道が政権とったら、とか考えてもあまりいい想像できなくて、安倍さんが生きてればって思ってしまう。
ひろゆき@hirox246
4/27 高市首相「 現時点で補正予算の編成が必要な状況とは考えていない」 と明言。 案の定、補正予算が必要になり赤字国債予定。 一ヶ月先の国家予算すら読めない政権と石油危機なのに補助金垂れ流してお金が足りないという戦略性の無さ。 円が信用を失うのも当然の流れ。
日本語
@ryo_aiwork そういうインフラは、原価割れでサービス提示して原価かんがえると10倍、みたいにはならないので、ちょっと違う気がします。
水道代毎年倍になるから井戸掘るかーみたいになりそう
日本語
「LLMって結局どう動いているのか？」だと、こういうスクラッチよりQwen3を実装するのがいいなぁと思うようになった。「GPT-4品質」が動くし。
がんばれば画像対応できるし。
学習の学習はべつにやるほうがいいな。
AI駆動塾@L_go_mrk
これはえぐい。。。 Karachiの開発者が、「LLMをゼロから作る方法」を1つのJupyter notebookにまとめて無料公開しています。 名前は「Train LLM From Scratch」。 GPT-4品質のモデルを再現するものではありません。 むしろ、Transformerがどう動き、データをどう処理し、どう学習して、どう文章を生成するのかを、手を動かしながら理解するための学習リポジトリです。 すごいのは、最終的に2Bパラメータ級の言語モデルまで、1枚のGPUでスケールさせる流れが入っていること。 使うのはA100やRTX 4090。 データセットはThe Pileの825GB。 コードはPyTorchで、multi-head attentionもゼロから実装します。 学べることはかなり実践的です。 ・Transformerの仕組み ・The Pileのダウンロードとトークナイズ ・PyTorchでのmulti-head attention実装 ・単一GPUでメモリを枯らさず学習する方法 ・学習済みモデルからテキストを生成する方法 ・13Mパラメータから2Bパラメータまで拡張する流れ しかもMITライセンスで、GitHub上に無料公開。 正直、出力は小さく粗いです。 プロダクション用のモデルではありません。 でも「LLMって結局どう動いているのか？」を、論文とコードを往復しながら理解する教材としてはかなり面白いです。 大規模AIの中身がブラックボックスに見えている人ほど、一度こういうリポジトリを追う価値があります。 github.com/FareedKhan-dev…
日本語
맥주 재현도 : 하이네켄, 칭따오
맛 : 아사히
비경의 개척자 : 하이트제로
유통되는 논알콜 '거의 다' 마셔보고 결론. 하이네켄/칭따오가 유알콜에 가까운 맛인데 둘다 개성이 쎈 맥주라 호불호 갈릴. 아사히가 확실히 편하고. 하이트제로는 맥주맛이 아니라 '무알콜맥주'라는 독립 장르로 재밌음.
깨소미@u7ki89i89u7
논알콜맥주 1짱 추천좀
한국어
うーん。鎌倉でもお酒頼んで美味いものだと5000円はちょいと厳しい時代だなぁ。だいぶコスパは良い街だと思うけれど。まぁ、内容によるか。
きしだൠ(K1S)@kis
福岡の居酒屋の5000円なら結構うまいものが食えるのでよかった。
日本語
@AkiraKidoX 300Bくらいだと、130kくらいからは性能劣化が目に見えて出てくるので、100kでcompactionって感じが。
あと、200kになるとプロンプト読み込みに15分くらいかかるようになりそう
日本語
正直100Kあればコンテキスト圧縮頑張ればいける気がする
200あると嬉しいけど
きしだൠ(K1S)@kis
ローカルLLM、現実的なとこだと、300B-A15Bくらいを100Kコンテキストで35tok/secで回すというところかなぁ。 プロセッサが年率30%成長、バンド幅が年率20%成長と考えると、5年でもそのくらいが実用域じゃないかと。 メモリは需給の問題だから落ち着けば256GBくらいは使いやすくなるはず。
日本語
実際の移送はセレナだったし紺のパーカーで顔を隠してたし、それでもこの画像の投稿で盛り上がってたの、凶悪な犯罪に関わる人はこういう風体であってほしいっていう正常性バイアスもあるんだろうな。
digital.asahi.com/sp/articles/AS…
日本語
@webbigdata Qwen 27B、なんだかんだでアクティブに動くパラメータがKimi K2.6(A32B)よりちょい少ないくらいで動かすのに金かかりそう。
Denseの30B前後は、APIで使うと割にあわない気がします。
日本語
商用AIとオープンAIの価格比較
Qwenの27Bの値付けが驚き
どこも値上げ傾向
Gemini 3.1 (Agent Platform)
Pro $2/$12
Flash(3.0) $0.5/$3
Flash-Lite $0.25/$1.5
Gemma 4 26B $0.15/$0.6
Qwen3.6(Alibaba Cloud)
Max $1.3/$7.8
27B $0.6/$3.6
Plus $0.5/$3
Flash $0.25/$1.5
35B-A3B $0.248/$1.485
日本語
福岡の居酒屋の5000円なら結構うまいものが食えるのでよかった。
山田太郎五郎@yamadagorou
飲み会で５０００円は一般的 だけどうなぎなら５０００円で結構うまいものが食える これなんだよ ５０００円での満足度が居酒屋ではそこまで高くないことを感じている人が多いんじゃない アルコールが体にかなり悪いというのも知られてきたし
日本語
これで思い出したけど、某、部屋に入るとでかいモニタの電源が入ってしゃべりだすビジネスホテルで、リモコンで電源切ってもすぐについてしゃべりだすので、電源ケーブルを抜いたのだけど、あれ戻して出たかどうか覚えていない。
じつぞん@jitsuzon
会議室のモニターのケーブルに付いてた
日本語