LLM with Mac studio M3 Ultra retweetledi
カケハシのオフィスで定期開催している KAKEHASHI Tech Encounter #kkhs_tech も第6回となりました。
第6回は3名のエンジニアが、入社前後のギャップ・これまで乗り越えてきた歴史の話・これからのMusubi開発のリアルな課題についてクロストークを実施します。ぜひ！
kakehashi-dev.connpass.com/event/386863/
日本語
LLM with Mac studio M3 Ultra
204 posts
LLM with Mac studio M3 Ultra
@HikoMSP
東京都在住 ソフトウェアエンジニア AWS プログラミング 機械学習 BeatSaber テックリード LLM
東京都 Katılım Ağustos 2016
66 Takip Edilen73 Takipçiler
gemini embedより精度が良いマルチモーダルエンペディングモデルがミストラルから出たのか。この領域も取り合いなんだな
Mixedbread@mixedbreadai
Introducing Mixedbread Wholembed v3, our new SOTA retrieval model across all modalities and 100+ languages. Wholembed v3 brings best-in-class search to text, audio, images, PDFs, videos... You can now get the best retrieval performance on your data, no matter its format.
日本語
LLM with Mac studio M3 Ultra retweetledi
LLM with Mac studio M3 Ultra retweetledi
claude codeを使ってたら、localLLMでも同じ使い方をしてすぐにコンテキスト長を食い潰すようになってしまった。llama.cppだとyarnでqwen3.5を1Mまでコンテキスト長増やせるのでは？と思い、勉強・実験中
日本語
記事を投稿しました！ llama.cpp の並列処理と KV キャッシュ設計を整理する on #Qiita qiita.com/HikoMSP/items/…
日本語
qwen3.5の小さいモデル出たのか。エージェンティックな動作ができるのか気になるところ・・あとで試そう
Qwen@Alibaba_Qwen
🚀 Introducing the Qwen 3.5 Small Model Series Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B ✨ More intelligence, less compute. These small models are built on the same Qwen3.5 foundation — native multimodal, improved architecture, scaled RL: • 0.8B / 2B → tiny, fast, great for edge device • 4B → a surprisingly strong multimodal base for lightweight agents • 9B → compact, but already closing the gap with much larger models And yes — we’re also releasing the Base models as well. We hope this better supports research, experimentation, and real-world industrial innovation. Hugging Face: huggingface.co/collections/Qw… ModelScope: modelscope.cn/collections/Qw…
日本語
unslothのqwen3.5 35b-a3b は考えすぎる時もあるけど（5kトークン分ぐらい）エージェンティックな動作は安定していた。プロンプトテンプレート変えたらanthropic互換apiでも問題なく動いた。言語の問題も今のところ大丈夫なのでminimax m2.5より使うことになりそう
日本語
lmstudioでllama.cppランタイムが更新され、qwen3.5でkvキャッシュの再利用がされるようになった！どのモデルが実用できそうか試していこう
日本語
qwen 3.5はllama.cppだと今はkvキャッシュをリクエスト間で再利用できていないみたいだな・・
reddit.com/r/LocalLLaMA/c…
これが治ったら、コーディングエージェントでも使いやすくなりそう
日本語
qwen3.5 27b。opencodeでエージェンティックに動作するか確認中。今のところいい感じ。122b,397bだとちょっと時間かかりすぎるので、この辺りが使えると助かるのだが・・ tpsはminimax m2.5よりは時間がかかっている。
日本語
opencodeとqwen 3.5 35b-a3b の組み合わせ、エージェンティックな動作難しいかも?と思ったけど、プロンプトテンプレート変更したからか、指示を明確にしたからか、ちゃんと動いてくれている。もうちょっと試行錯誤してみよう。
日本語
qwen 3.5の35b a3b gguf Q8_0 を動かしてみた。爆速。ただ opencodeエージェントとしての動作は397bの時と同様うまくいかず
日本語
qwen3-14b-claude-4.5-opus-high-reasoning-distill
はopencodeでそこそこエージェントとして動いた。コンテキスト長が40kとやや短いのと、Q4_K_M だとコーディングさせるとツール呼び出しに失敗してしまった
日本語
minimax m2.5が 日本語の伸ばし棒`ー`を理解してくれない。仮想通貨の確定申告のためのプログラムを作らせているが、ステーキングが`ステキング`として処理される。素敵でない
日本語
glm-5のQ2_K_XLは、ちょっと長いタスクをさせると、途中でループに入ることがあった。opencodeのglm-5の無料版を使っていてもそれは起きないから、量子化の影響か・・
日本語