CopenDeCamp

@BIG3_PEAK_ADAPT ローカルLLMを自分でホストできるならSuperpowersプラグインいれてCodexはSpecとPlanの記述だけさせる 実際のコーディング出力はローカルLLMにやらせる とトークン出力を節約できます Planの中に仕様を満たすコードがほとんど出力されてるからCodex単体でやると損

codex使ってみましたがこれとんでもなく金食い虫じゃないですか？ 20ドルが一瞬で消し飛んだ。。。 指示の仕方が悪いんでしょうか?

@gosrum RTX6000x2でNVFP4量子化かつTensorParallelとかじゃないとだめですね... 一般人には無理かな...

Mistral-Medium-3.5-128Bの推論速度をllama-benchで測定＠ Mac Studio（M2 Ultra） ・prefill：〜57.5tps ・decode速度は〜6.5 tps この時点でts-benchの評価をするには遅すぎるので断念 コンテキストサイズも128kはいけたが、200kだとOOMでハングしてしまった やはり128B-denseモデルはローカルで動かすものではなさそう

@gosrum AMD的にはCUDA資産に対抗するつもりはないように思える ROCmをOSSにしたら有志が勝手にある程度やってくれるだろ？&GPUのIO叩く部分だけは非公開コードあるからLinuxで協力すんぜ ってスタンスな気が

>ROCmのCUDA互換性やその開発速度が劇的に上がらなかった これ本当にそのとおりで、AMDがこのチャンスを活かしてもっと頑張っていればここまで差が開かなかったと思う。成長性を感じさせてほしかった

@gosrum 噂ですね MedusaHalo LPDDR6で検索するとRedditで議論されているかと ただ発売が2027年後半だった気が

@lvlinf もしそうならちょっと話が変わってきそうですね どこに記載がありましたか？

CPU、GPU性能向上はわずかで大きな変更点はメモリを192GBにできるようになったことか EVO-X2買ったは良いのだが、AI性能はNVIDIA GPUやMacに劣るのでローカルAI用途としては使っていない。そういう意味でメモリ増やしても使いみちあるのかな？200BのLLMがローカルで動いた！（2tpsで）とかになりそう

@posi_posi8 @gosrum llama.cpp比で1.5倍ぐらいはtps出せるっぽいです (RX 7900 XTXでの計測)

@lvlinf @gosrum そうなんですね。 誤算といいつつも、自分が開発しているわけでもないので、ありがたく発展を待っています。

EVO-X2は、GPT-OSSが公開された当初は、画期的なデバイスだったと思う。 同等のモデルを動かすためにRTX Pro6000Blackwellや、Mac Studioが必要であり、それがローカルで25万円で購入できる唯一の選択肢だった。 ただ個人的に唯一誤算だったのは、生成AI恩恵も受けたのに、ROCmのCUDA互換性やその開発速度が劇的に上がらなかったこと。

@LottoLabs PCビデオゲーマー(16GB)ぐらいで使えるサイズ感じゃないとローカルLLMそのものが普及しないと思うよ

@LottoLabs 投機しない推論の場合、Qwen3.6 27Bでも、 今現在新品で買えるコンシューマーGPUという選択肢だと、5090ぐらいしか実用的なtps超えられないから厳しくないかな？そりゃDenseが賢いのは分かるけど

We need a really good dense 40b model

@shirasu_sann @whitesikarud 実はそんな変わらんです 最新OSSだとハードウェアを使いこなせてないだけってことが結構判明してきてます まあ雑にやっても早いのは3090ですけどね

@lvlinf @whitesikarud メモリ帯域幅が640gb/sでrtx3090の2/3程度なので、 メモリ速度に準速になりがちな、LLM推論においては、やはり3090に軍杯が上がりますね….

海外だとLLM界隈で大変人気があるRTX3090 安い、早い、VRAMあり、最終技術のフィードバックもよいと揃ってしまってるやつ、複数乗っければ安価に高速なトークン生成機として使えるやつ

@leftcurvedev_ CMOEでもCPUがそこそこいいのだったら23tpsは出せるよん RyzenAIMax+でCMOEしたら32スレッドが頑張ってMoEルーティングしてくれてそれぐらいだった

Two friends asked for help with their setups One with an RTX 3070 Ti (8GB)
One with an RTX 5070 (12GB) A lot of people are stuck in this annoying 8-12GB VRAM range. If you want full GPU offload, the only real option is Qwen3.5 9B… but let’s be honest, I can’t do that to my bros. So we’ll be trying to squeeze Qwen3.6 35B A3B with CPU offload on both cards + playing with the --ncmoe llama.cpp flag. Will also test other forks to push performance as much as possible. Curious to see what we can do with an RTX 3070 Ti I’ll report back the numbers with the server flags 👍

@ren_bocchi3 なんかメモリスロットの片側だけに挿してない？ ASRockだと思うけど確かデュアルチャンネルだとNone8GNone8Gになってたような...

で、起動しなくなったんですけど…。 電源が腐っているのかしら…。

@nepenta_magic @mmkikeru @hikaruganji まあ関西は神戸・大阪・京都・大阪公立と賢い公立の総合大学結構選択肢あるから早慶レベルの私学なくても困らないかも

@mmkikeru @lvlinf @hikaruganji 西日本には関関同立を上回る私立の総合大学が無いので「その地域での上位◯校」という視点なら「関西の早慶上智」とも言える レベルではMARCHあたりでしょうが

採用する企業側も、大学生の時は金髪で陽キャの子が将来的にもたらすリスクを考えてから採用しないと、こうなると言う典型的な例ですね。。。西日本シティ銀行。

@electlone 解像度高いな

今の平均的な陰キャ大学生のSNS事情 ・Discord→必須 ・Twitter→6割くらいやってる。無くても耐え ・LINE→必須だがディスコで事足りる。親しい人以外はあまり交換しない ・Instagram→垢持ってるだけで投稿してない。推しを見るために使ってる人多数 ・BeReal→やってる奴ガチで存在するの？？

@xy_ip99 Powershell使いにくすぎるよ...

ふと思ったこと、 なんでインストール必要なのにPython自動化が流行ってるんだろ なんでインストール不要なのにPowerShellが流行ってないんだろ

@Nagaoss これ会社のGPUサーバー用途に使えますかね？ Radeon AI PRO R9700を4台挿したいんですが

☆新商品発表☆ PC検証用ボード MANAITA【直販限定】 amzn.asia/d/0gktm12p 様々なPCパーツを交換しながら試すことができるシンプルな まな板型の検証台です。 【平置き/縦置き】の設置が選べます！

@pupposandro ついにプレフィルまで投機的になったか でもこれ両方必要な技術だよね ローカルLLMは、せめてミドルハイ9070や5070でまともに動かないと...

@chizu_potato Zedかなー... まあZedも普通に負担はあるんだけど、 Rustで記述されててCLIが効率いいから気にならない

正直、VSCodeのSSH接続、サーバー側にありえないレベルの負担かかって使い物にならないからただのsyncするエディタないかな