金包里遊子

24.8K posts

金包里遊子 banner
金包里遊子

金包里遊子

@icecbj

Tiunn Phok-kim

Katılım Nisan 2012
982 Takip Edilen593 Takipçiler
Sabitlenmiş Tweet
金包里遊子
金包里遊子@icecbj·
金山事件 金山事件是指在1947年3月10日的國民黨政府屠殺事件,是二二八事件的一部分,指基隆金山鄉(今新北市金山區)的居民遭到國民革命軍掃射一案。
中文
7
48
117
0
金包里遊子
金包里遊子@icecbj·
每條大街小巷 每個人的嘴裡 見面第一句話 就是乎死乎死 #有期徒刑17年 #遞奪公權6年
中文
0
0
0
24
Jimmy Su
Jimmy Su@jimmy_su·
聽到判決,國昌老師應該比我還歡欣鼓舞吧 ☺️
中文
9
6
122
4.1K
金包里遊子 retweetledi
Yan Practice ⭕散修🎒
靠杯 今天剛爆出一個很大的資安事件 Karpathy 都親自發文警告 Python 套件 litellm 被投毒了 現在 AI 用的太廣了 你自己都不一定知道寫了什麼腳本 更何況是依賴套件 - 很多 AI 開發者常用的 Python 套件 litellm 在 PyPI 上被塞進惡意程式 中毒版本是 1.82.7 和 1.82.8 裡面多了一個 litellm_init pth 只要 Python 啟動就會自動執行 不用主動 import 只要裝到就可能中招 很多人沒自己裝過 litellm 但很多依賴工具依賴這個包 litellm 本來就是很多 AI 工具鏈的底層依賴 所以很危險 至少有兩千多個庫依賴 litellm 惡意程式會蒐集主機上的敏感資料 像是 SSH KEY .env 錢包私鑰 環境變數等等 然後加密打包送回攻擊者的伺服器 如果它發現你在 Kubernetes 環境還會進一步橫向擴散 在整個叢集裡部署特權 Pod - 攻擊者先偷到 litellm 的 PyPI 發布權限 再直接推上帶毒版本 整個過程就是安全工具反過來變成突破口 立刻檢查 pip show litellm 1.82.6 是最後一個乾淨版本 只要你裝過 1.82.7 或 1.82.8 就直接假設所有資料都已經外洩 直接把錢包密碼全換了
Andrej Karpathy@karpathy

Software horror: litellm PyPI supply chain attack. Simple `pip install litellm` was enough to exfiltrate SSH keys, AWS/GCP/Azure creds, Kubernetes configs, git credentials, env vars (all your API keys), shell history, crypto wallets, SSL private keys, CI/CD secrets, database passwords. LiteLLM itself has 97 million downloads per month which is already terrible, but much worse, the contagion spreads to any project that depends on litellm. For example, if you did `pip install dspy` (which depended on litellm>=1.64.0), you'd also be pwnd. Same for any other large project that depended on litellm. Afaict the poisoned version was up for only less than ~1 hour. The attack had a bug which led to its discovery - Callum McMahon was using an MCP plugin inside Cursor that pulled in litellm as a transitive dependency. When litellm 1.82.8 installed, their machine ran out of RAM and crashed. So if the attacker didn't vibe code this attack it could have been undetected for many days or weeks. Supply chain attacks like this are basically the scariest thing imaginable in modern software. Every time you install any depedency you could be pulling in a poisoned package anywhere deep inside its entire depedency tree. This is especially risky with large projects that might have lots and lots of dependencies. The credentials that do get stolen in each attack can then be used to take over more accounts and compromise more packages. Classical software engineering would have you believe that dependencies are good (we're building pyramids from bricks), but imo this has to be re-evaluated, and it's why I've been so growingly averse to them, preferring to use LLMs to "yoink" functionality when it's simple enough and possible.

中文
4
152
538
60.2K
金包里遊子 retweetledi
ワナ
ワナ@game7400·
なんかスゲェ像あるなって思って見たら東京藝術大学って書いてあった
ワナ tweet media
日本語
69
3K
83.2K
1.7M
金包里遊子 retweetledi
fox hsiao
fox hsiao@pirrer·
Google TurboQuant 讓 AI 推理成本崩盤:記憶體省 6 倍、速度快 8 倍 你跟 ChatGPT 或 Gemini 聊天的時候,AI 每回一句話都要做一件很耗資源的事:記住你前面講過的所有東西。 這個「記住」的機制叫做 KV cache(key-value 快取),它是大型語言模型在推理時最大的記憶體瓶頸之一。Google Research 發表了一系列壓縮演算法,統稱為 TurboQuant,把這個瓶頸的記憶體佔用縮小 6 倍以上,注意力運算速度提升最高 8 倍,而且在基準測試中達到零精準度損失。 其中 TurboQuant 將在 ICLR 2026 發表,核心元件 PolarQuant 發表於 AISTATS 2026,另一個元件 QJL 則已發表於 AAAI。以下用白話解釋它們在做什麼。 先搞懂 KV cache 是什麼 想像你在跟一個人開會,你們講到第 30 分鐘了,這時候對方問你一個問題,你需要回想前面 30 分鐘所有人說過的話、做過的決定,才能給出一個合理的回答。 AI 模型也一樣,當你跟它對話到第 50 句的時候,模型需要「回想」前面 49 句的內容才能理解第 50 句的語境。KV cache 就是那個「會議紀錄」,它把每一句話處理過的中間結果(key 和 value 向量)存起來,讓模型不用每次都重新讀一遍所有對話。 問題是這份會議紀錄非常佔空間,每一句話都要存成高維度的向量(想像成一個有幾千個數字的清單),對話越長,KV cache 越大。一個長對話下來,KV cache 可能佔掉整個 GPU 記憶體的大部分。 這就是為什麼你跟 AI 聊太久,它有時候會「忘記」前面的內容,或者回覆速度變慢,因為記憶體不夠了。 TurboQuant 怎麼壓縮這份會議紀錄 TurboQuant 的做法可以想成兩個步驟,一個負責壓縮,一個負責修正誤差。 第一步(PolarQuant):換一種方式記錄。 原本 KV cache 裡的每個向量都用「直角座標」存(想成 X、Y、Z 三個軸的距離),這種存法需要很多位元才能精確。PolarQuant 先對向量做隨機旋轉(preconditioning),再轉成「極座標」(想成距離加上角度)。 為什麼這樣比較好壓?因為旋轉後,角度的分布會變得高度集中且可預測,可以直接映射到一個固定的「圓形網格」上壓縮,不需要傳統方法中額外的正規化(normalization)步驟,也不需要依賴資料本身來建立編碼簿。 第二步(QJL):用 1 個位元修正誤差。 壓縮一定會有誤差,PolarQuant 壓完之後還是有一些微小的偏差。QJL(Quantized Johnson-Lindenstrauss,名字來自一個數學定理)用一種很聰明的方式來修正:它只用 1 個位元(正或負,+1 或 -1)來記錄殘差,幾乎不佔額外空間,但能把誤差消除到可以忽略的程度。 兩步加在一起,TurboQuant 可以把 KV cache 從 32 位元壓到只剩 3 位元,實際記憶體節省 6 倍以上(位元數的壓縮比和實際記憶體節省不完全等價,因為有額外開銷,Google 原文一致使用 6 倍這個數字),而且不需要重新訓練模型,直接套用就好。 數字有多誇張 Google 在 Llama-3.1-8B-Instruct、Gemma、Mistral 三個開源模型上測試,用了 LongBench、Needle In A Haystack、ZeroSCROLLS 等多個基準測試。結果: - KV cache 記憶體縮小 6 倍以上 - 在 NVIDIA H100 GPU 上,4 位元 TurboQuant 的注意力運算比 32 位元快 8 倍 - 在測試的所有下游任務中精準度 零損失 - 在 Needle In A Haystack(大海撈針)測試中,特定模型和配置下達到 完美分數 - 不需要訓練、不需要微調 - 執行時額外的計算開銷 可忽略不計 「零損失」這三個字是最關鍵的,過去很多壓縮方法都會在壓縮和精準度之間做取捨,壓得越小答案越不準。TurboQuant 在基準測試中壓到 3 位元還是零損失(原文對 PolarQuant 的描述是「nearly loss-less」,近乎無損),這如果在更大規模的部署中被驗證,對整個 AI 推理產業的影響會非常大。 這對你有什麼影響 講幾個直接的後果,每一個都跟你有關。 對話可以更長。 目前很多 AI 產品的對話長度受限於 KV cache 的記憶體大小。記憶體縮小 6 倍代表同樣的硬體可以支持更長的對話、更大的上下文視窗。 推理成本下降。 AI 公司最大的成本之一就是 GPU 記憶體。同樣的 GPU 可以同時服務更多使用者(因為每個使用者的 KV cache 更小了),單位成本下降。 邊緣裝置上跑 AI 變得更可行。 手機、筆電上的 AI 最大的限制就是記憶體不夠。KV cache 縮小 6 倍代表更大的模型可以塞進更小的裝置。 搜尋引擎變快。 Google 在論文中特別提到 TurboQuant 對搜尋和 AI 應用有「深遠影響」。KV cache 壓縮不只用在聊天機器人,任何需要處理長序列的 AI 任務都會受益,包括搜尋引擎的排名和摘要生成。 一句話總結 Google 找到了一種方法,讓 AI 的「短期記憶」佔用的空間縮小 6 倍、注意力運算快 8 倍,而且在測試中不忘任何細節。這是把 AI 從資料中心推向每個人手上的關鍵一步。
Shay Boloor@StockSavvyShay

$MU and $SNDK are getting hit hard at the open from the release of $GOOGL TurboQuant. The market is reading it as a potential headwind for memory names because long-context AI inference may now need far less memory per workload.

中文
10
68
443
58.7K
金包里遊子 retweetledi
KK.aWSB
KK.aWSB@KKaWSB·
18世纪末,澳大利亚刚刚成为英国的殖民地。 英国政府需要把大量囚犯从本土运往澳洲。 于是,他们把这项任务外包给了私人船主。 付费方式很简单: 按照上船的囚犯人数付钱。 每装一个人上船,船主就能拿到一笔运费。 结果非常恐怖。 船主们为了多赚钱,疯狂地往船上塞人。 囚犯被塞进黑暗、潮湿、不通风的船舱底部。 食物和淡水少得可怜,生病了也没有任何医疗救治。 一趟航程长达数月。 很多船的死亡率高达37%。 最惨的一艘船,424个囚犯上船,158人死在了途中。 尸体被直接扔进大海。 英国议会震怒了。 他们尝试了各种办法:派监督员上船、制定卫生标准、威胁处罚船主。 全都没用。 船主们总能找到办法糊弄检查。 监督员要么被收买,要么在漫长的航行中根本无力执行。 直到1793年,一个人提出了一个极其简单的方案。 他建议把付费方式改一下: 不再按"上船人数"付钱,改成按"下船活人人数"付钱。 仅此一项改动。 没有增派监督员,没有新的法律条文,没有任何额外成本。 效果却是立竿见影的。 船主们突然开始主动改善船舱条件。 他们请了随船医生,配备了足够的食物和药品,甚至还给囚犯安排了甲板活动时间。 死亡率从37%,骤降到了1%以下。 🖊️这就是经济学中最经典的"激励相容"原理。 人不会按照你的期望去行动,只会按照你的激励方向去行动。 与其花大力气监督别人做正确的事,不如设计一个机制,让做正确的事本身就是最有利可图的选择。 改变人的行为,最有效的方式从来不是说教,而是改变利益的方向。
中文
128
364
2.6K
259.2K
金包里遊子 retweetledi
大帅老猿
大帅老猿@ezshine·
塞尔达要是出一个学科,我宣布这个up主可以当博导! 直接给我看傻了,林克给你玩三仙归洞你信吗?这都是咋研究的,感谢 @winter_cn 分享 B 站 UP 主:寄生兽医
中文
21
41
261
78.4K
🍔🥨辣味吉士堡🥨🍔
機車騎士高速公路上時速 80 公里、只有5~8 公尺的危險逼車長達 600 公尺! 這樣被罰了7400瑞郎=三十萬台幣 今天還看到一個德國人在瑞士超速26公里,被罰起碼400瑞郎=十六萬台幣 這種情節重大違規,都是以收入來計算罰金。 確保罰到錢包破大洞
Blick@Blickch

Ein 28-jähriger Töfffahrer wurde im Juli 2025 auf der A1 bei Wallisellen ZH bei einem riskanten Manöver erwischt. Mit nur fünf Metern Abstand fuhr er einem Auto nach. Die gefährliche Aktion kostet ihn nun 7400 Franken Strafe. brnw.ch/21x0ZX5

中文
3
0
36
1.2K