世界樹下,霍德爾之目
3.9K posts

世界樹下,霍德爾之目
@Gbanyan
Usher Syndrome 患者,掙扎混亂過日子,對平淡美好日常的期待即是救贖,窩在醫學與資訊靜謐的角落,寫寫一些東西
Katılım Mart 2013
180 Takip Edilen198 Takipçiler

@practice_y11 5090 就算效能再強勁,VRAM 限制就在那邊,他能載入的 model weight 不會太高
硬跟上百 bilion 參數的雲端 model 比較完整功能這前提本來就不對
另外如果使用雲端 API, 5090 也還是有機會幫忙節省 token 啦...但那也需要比較複雜的 workflow 就是了
中文

那時 OpenClaw 剛開始沒多久
我朋友看到眼睛發亮
這就是他夢想的賈維斯了
開始擴充電腦配置
掃了一張 5090
精心配製了 本地 LLM
用了各種蒸餾版本
幾個B 到幾百B 都嘗試了一翻
最終測試了一版 最屌炸天的賈維斯
某天朋友聚會出來吃吃飯
中午到了餐廳 飽餐一頓後
有人提議把手裡大家調教的龍蝦給派出來處理任務 看看效果怎麼樣
用 Claude Code API 的朋友 大概三分鐘處理完成
用 GPT API 的朋友 大概五分鐘給了一個更完整的版本
聊著聊著時間也晚了 直到店家打烊 用本地 LLM 的龍蝦都還沒給出方案
--
幾天後 我看朋友在網上出售他的 5090
其實 買一張 5090 的錢
足夠調用大模型 API 很久了
也能讓整體感受提升不少檔次
中文

雖然不知道可以幹嘛,但很帥
River Marchand@Riyvir
This little illuminated dragon is very happy about Pretext. He's too busy having fun to care about people's "hot takes" on how "it's not that special." (This little dragon also only works on desktop right now but maybe I'll do mobile later) illustrated-manuscript.vercel.app
中文

@yfw3u huggingface.co/nvidia/gpt-oss…
這個蠻有意思的,再搭配 Turboqurant 進入到 backend 可能可以再快一波
中文









