Dennis Thompson
36 posts
@CtrlAltDwayne @Zai_org Blame Anthropic for nerfing their models—it’s giving z.ai the confidence to hike their prices.
English
@RyanLeeMiniMax I fully understand and support your decision. Allowing free downloads, local runs, research, and non-commercial use is already generous. Requiring a license for commercial hosting services (especially low-quality or fake instances) is responsible.
English
@antonioleivag Maybe they're like, 'If the nerfed Claude code can go for that price, why can't I? And GLM gives you several times the usage quota of Claude.'
English
En un giro de los acontecimientos que no me esperaba, parece que las empresas chinas están empezando a copiar los planes de las americanas.
Por lo visto z\.ai, la empresa detrás de los modelos GLM, ha duplicado los precios de sus planes de un día para otro.
Esto sí que es un problema, si no podemos tirar de modelos chinos cuando los americanos quieran subir sus precios hasta niveles infinitos.
Español
@jahirsheikh8 14. Cost Engineering
-> openrouter.ai
-> github.com/BerriAI/litellm
15. Multimodal Systems
-> llava-vl.github.io
-> github.com/openai/whisper
English
@jahirsheikh8 Here are FREE resources for each (Generated with Claude ) ：
1. Transformer Internals
-> jalammar.github.io/illustrated-tr…
-> deeplearning.ai/short-courses/…
2. Tokenization Deep Dive
-> youtube.com/watch?v=zduSFx… (Karpathy)
-> huggingface.co/docs/tokenizers
YouTube
English
Want to be a Strong AI Engineer (not just prompt user)?
Please learn:
1. Transformer Internals:
Self-attention math, KV caching, Positional encodings (RoPE, ALiBi), Scaling laws
2. Tokenization Deep Dive:
BPE vs Unigram, Token distribution effects, Context window limits
3. Embedding Systems:
Cosine vs Dot product, HNSW/IVF indexes, Recall vs Latency trade-offs
4. Advanced RAG Systems:
Hybrid search (BM25 + vectors), Re-ranking (cross-encoders), Query rewriting
5. Context Engineering:
Chunking strategies, Sliding windows, Compression, Context prioritization
6. Inference Optimization:
Quantization (INT8/4), KV cache reuse, Batching, Speculative decoding
7. Serving Architecture:
vLLM, TensorRT-LLM, Throughput vs Latency tuning, Autoscaling GPUs
8. Fine-tuning Techniques:
LoRA, QLoRA, RLHF, DPO, Instruction tuning pipelines
9. Agents (Real Systems):
Tool calling, Planning vs Reactive agents, Memory (short vs long-term)
10. Evaluation Systems:
LLM-as-judge pitfalls, Human evals, Golden datasets, Regression testing
11. Data Engineering for LLMs:
Deduplication, Data filtering, Synthetic data generation
12. Failure Modes (Deep):
Hallucinations, Retrieval miss, Prompt injection, Model collapse
13. Guardrails & Safety:
Output validation, Moderation layers, Policy enforcement
14. Cost Engineering:
Token budgeting, Model routing, Caching strategies
15. Multimodal Systems:
Vision-language models, Audio pipelines, Cross-modal embeddings
English
@jahirsheikh8 12. Failure Modes (Deep)
-> owasp.org/www-project-to…
-> arxiv.org/abs/2311.05232
13. Guardrails & Safety
-> github.com/NVIDIA/NeMo-Gu…
-> github.com/guardrails-ai/…
English
@jahirsheikh8 9. Agents (Real Systems)
-> academy.langchain.com
-> deeplearning.ai/short-courses/…
10. Evaluation Systems
-> evidentlyai.com/llm-guide/llm-…
-> huggingface.co/docs/evaluate
11. Data Engineering for LLMs
-> github.com/alibaba/data-j…
-> github.com/argilla-io/dis…
English
@jahirsheikh8 6. Inference Optimization
-> docs.vllm.ai
-> github.com/ggerganov/llam…
7. Serving Architecture
-> github.com/NVIDIA/TensorR…
-> docs.ray.io/en/latest/serve
8. Fine-tuning Techniques
-> youtube.com/watch?v=iOdFUJ… (freeCodeCamp)
-> github.com/unslothai/unsl…
YouTube
English
@jahirsheikh8 3. Embedding Systems
-> pinecone.io/learn/series/f…
-> sbert.net
4. Advanced RAG Systems
-> deeplearning.ai/courses/retrie…
-> docs.llamaindex.ai
5. Context Engineering
-> github.com/microsoft/LLML…
-> arxiv.org/abs/2307.03172
English
🛡️ Claude Code MAX 计划用户必读：如何避免「隐形 token 消耗」？
最近很多 MAX 20x / 5x 用户反馈：
「明明没怎么用，周二就用掉 50%-77% 的额度」「以前够用一周，现在两天就见底」。
Anthropic Claude Code 团队成员亲自发帖求助调试，核心结论来了：
大部分「莫名其妙耗尽」都不是 Bug，而是这些隐形消耗在作怪。
1. 头号杀手：Subagents（子代理）
• 每启动一个 subagent（包括 Task 工具、Plan/Explore 代理、自定义子任务），都会单独计为一个新 session。
• 它们不共享主上下文，每个子代理独立消耗大量 tokens（动辄几十万甚至上百万）。
• 真实案例：某用户一周内 169 个 subagent 消耗了 2.26 亿 tokens，平均每个 session 高达 85 万 tokens。
• 节省Tips：
◦ 只在真正需要并行/复杂分解时用 subagent。
◦ 让子代理用更便宜的模型（如 Haiku），而非默认 Opus。
◦ 完成后及时 /compact 或结束 session。
2. 第二大杀手：自动化后台任务（Cron / Recurring Scripts）
• 一个每 5 分钟跑一次的「监控脚本」，看似每次只用几千 tokens，但一天下来就爆炸。
• 部署 watcher、自动 deploy 脚本、自定义 harness（Hermes、Pi agent 等）最容易中招。
• 即使你没主动操作，它们也在默默吃你的订阅额度。
• 自查方法：运行 Kieran 分享的 token 分析脚本（GitHub Gist），立刻看到 sessions 数量和子代理消耗分布。
3. 其他常见隐形消耗
• Agent Teams / 多代理协作：每个 teammate 都有独立上下文，整体消耗可达普通 session 的 7 倍以上。
• 频繁上下文切换：在多个项目间跳来跳去，每次切换都会重新加载大量历史。
• 第三方工具：OpenClaw、自定义 MCP、自动化 harness 等，可能占用你的订阅额度（部分不支持订阅追踪）。
• 长会话未 compact：历史越长，每次新消息都要重新处理全部上下文，消耗呈指数级增长。
缓存（Prompt Caching）基本不是主因，团队已确认大家别过度归因于此。
实用自救指南（强烈推荐）
1. 立即运行 token 分析脚本：
◦ Kieran 的原脚本：gist.github.com/kieranklaassen…
◦ 社区 CLI 版本：npx claude-token-analyzer 或 npx cc-lens（可视化仪表盘，更直观）
2. 日常好习惯：
◦ 养成用 /compact 总结会话。
◦ 用 /memory 或 CLAUDE.md 管理长期知识，减少重复读取文件。
◦ 简单任务切换到 Haiku 模型。
◦ 关闭不必要的后台 cron / watcher。
◦ 不同任务开新 session，避免历史膨胀。
3. 进阶技巧：
◦ 设置 MAX_THINKING_TOKENS 限制思考步数。
◦ Agent Teams 等重度功能，视情况考虑是否移出订阅额度使用。
一句话总结：
Claude Code 没在偷偷吃你的 tokens，是你的 workflow 在「默默烧钱」。用好分析工具 + 优化习惯，能轻松省下 50% 甚至更多额度。
Thariq@trq212
I want to do a few more of these calls. If your MAX 20x plan ran out of tokens unexpectedly early and you're willing to screenshare and run some prompts through Claude Code please comment. Trying to figure out how we can improve /usage to give more info.
中文
DeepSeek 下一代模型 V4 将跑在华为芯片上。
据 The Information 今天报道，DeepSeek 专门推迟了 V4 的发布时间，花了几个月和华为、寒武纪合作，重写了模型底层代码的部分模块，确保 V4 能在华为最新的昇腾（Ascend）芯片上流畅运行。模型预计未来几周内发布。
华为这颗芯片是今年 3 月刚亮相的昇腾 950PR，搭载在 Atlas 350 加速卡上。单卡算力号称是英伟达 H20（目前对华出口合规版本）的 2.87 倍，配备 112GB 显存，内存带宽 1.4 TB/s。更关键的是，它是目前中国唯一支持 FP4 低精度推理的 AI 芯片，FP4 格式能大幅压缩模型对显存的需求，比如一个原本需要 140GB 显存才能跑的 700 亿参数模型，用 FP4 只需要 35GB，同样的硬件能部署更大的模型，或者同时处理更多请求。
不过代价也不小：功耗 600W，大约是 H20 的两倍。
按行业惯例，AI 公司在发布大模型前会提前把模型给英伟达、AMD 等芯片厂商做性能优化。DeepSeek 这次打破了这个惯例，没有给美国芯片厂商提供 V4 的早期访问权限，而是把机会独家给了华为和寒武纪。
The Information 的报道还透露，DeepSeek 目前还在开发两个 V4 变体版本，分别面向不同的能力侧重，同样基于国产芯片。
据英国《金融时报》此前报道，DeepSeek 曾尝试用华为昇腾芯片训练推理模型 R2，但遭遇了反复失败，包括稳定性问题、芯片间互联速度慢、软件工具链不成熟等，最终不得不退回英伟达硬件做训练，华为芯片只用于推理。
V4 能直接跑在华为芯片上，说明过去这段时间软硬件适配取得了实质进展。对中国 AI 行业来说，这是从"离不开英伟达"到"至少推理环节可以用国产替代"的一步。对开发者而言，如果 V4 的性能确实如传闻所说在长上下文编程任务上能和 Claude、ChatGPT 掰手腕，那未来通过国产算力就能用上前沿模型，不用再担心美国芯片出口管制的影响。
Amir Efrati@amir
🐳DeepSeek delayed its V4 model release so it could run on Huawei's chips. important milestone for China
中文
English
