Bo Shen

@sama The cost problem isn't pricing. It's selection.

what problem do you most hope AI will solve in the future? maybe we can help!

好问题。关键区别：不是串联链式调用（A→B→C），而是任务级路由——每个编码阶段独立选模型。 规划 → Opus（需要深度推理） 实现 → Sonnet/GPT-5.5（够用，便宜10x） 测试/lint → Flash（快且省） 模型之间没有指令传递，不存在幻觉累积。同一个代码库，不同工序用不同工人。更像建筑工地（建筑师≠木工≠电工），不是传话游戏。

@aplomb2 这种分层调度的思路很对，但如果 Agent 链路太长，模型间传递指令的损耗和幻觉累积，会不会反而让这种“低成本方案”的整体可靠性崩盘？

Codex 正在把 AI 代理的边界从“修代码”推向“管半个工作日”。它不再只是个 Coding Agent，现在能直接接手文档撰写、PPT 制作、深度调研甚至项目规划。 这种转变最直接的后果是，原本需要人类在不同 App 间切换、手动拼凑信息的“缝隙工作”正在消失。接下来的变量在于，当 AI 能接手如此宽泛的流程，哪些环节的决策权会被迫收缩。

tokenmaxxing is the right word. but i've watched teams burn through $2M in tokens in 6 weeks because they default frontier models for every API call — including tasks a $0.15/M-token model handles perfectly. the actual edge isn't token count, it's tokens-per-useful-output. match model to task complexity and $2M buys you $6M of work.

i am excited to see what will happen with tokenmaxxing startups, both for how they work internally and the products they can build. openai offered to invest $2M in tokens into every startup in the current yc batch. happy building!

Would love your feedback! coderouter.io — free tier includes 1M tokens, no credit card. Just point your Cursor/Claude Code at the proxy endpoint and it starts routing automatically. The classification accuracy was the hardest part — went through 3 iterations before it stopped misrouting architecture questions to cheap models. Happy to chat about the approach if you want to dig into the technical side.

@aplomb2 @dr_cintas I agree the matching with capability will take some serious mathematics and reasoning to get it to an accurate state. I would love to do some testing on your approach. Awesome work.

Claude Code works now free. Unlimited. No subscription 🤯 It’s called free-claude-code. You get a free NVIDIA API key, point Claude Code to localhost, and the proxy converts your Anthropic API calls to NVIDIA NIM format. 40 requests per minute. No bill. Ever. It supports Kimi K2, GLM 4.7, MiniMax M2, Devstral, and more. Streams thinking tokens and tool calls in real time. There's also a Telegram bot built in so you can control Claude Code from your phone. 2-minute setup. 100% open source.

简单说：中转站解决的是"用哪家API"的问题，智能路由解决的是"每个任务用哪个模型"的问题。 举个例子，你用Claude Code写代码： → 架构设计、复杂debug → 自动走Opus（贵但强） → 写样板代码、跑测试 → 自动走Sonnet/Haiku（便宜够用） 不需要你手动切换，代理层自动判断任务类型然后路由。 我自己实测：月账单从$10K降到$3K，代码质量没变化。 编程场景：coderouter.io 通用Agent：clawrouters.com 有问题随时问👍

@aplomb2 @1999_eth 能否详细了解下吗？

我做了一个 AI 中转站，今天正式开放： apikey.fun 一开始做这个站，想法很简单。 主要是我自己平时 Token 消耗量大，身边也有不少朋友一直用不上稳定的 Claude / GPT。不是订阅麻烦，就是各种限制；去找别的中转站，又总担心不靠谱、信息不安全。 所以干脆自己搭了一个。 很多人问：为什么敢用老叶的？ 这个问题我也理解。毕竟 AI 中转站这东西，大家最怕的不是贵一点，而是不知道对面是谁。 我在币圈这么多年，别的不敢吹，信用两字一直是招牌。前两年比特币生态火的时候，做过 Ybot 铸造工具。起初也有人担心资产安全。 Ybot 到现在跑了两年多，上万人用过，很多人甚至直接在网站里填过钱包私钥，总资产少说也有几千万。到今天为止，没有出过一次因为网站原因导致的资产事故。 这次做 AI 中转站也是一样，稳定靠谱依然是我们的标签。 目前站里支持 GPT、Claude 等模型，底层用的是官方正规订阅账号池，不是乱七八糟的灰产号。价格这块也尽量压到较低，最低大概 0.7 折。 过去 10 天，我们做了一轮小范围内测： ✅ 200+ 小伙伴参与 ✅ 累计消耗超过 420 亿 Token ✅ 整体运行稳定，没出明显故障 内测跑完之后，我觉得可以正式放出来给更多人用了。 需要稳定、便宜、靠谱的 Claude / GPT 中转站的，可以试试： apikey.fun 有问题可以直接私信我，或者进群找我。 老叶不跑路，真出问题我负责。 用完觉得值，帮我转一下。 需要进群的朋友，可以看一下评论区一楼！

Appreciate that! The key insight for me was that routing isn't just about cost — it's about matching model capability to task complexity. Opus is genuinely better for architecture decisions, but it's overkill (and slower) for writing test boilerplate. The hard part was building reliable task classification. Took a few months of iteration to get it right.

@aplomb2 @dr_cintas 100% @aplomb2 smart routing is the next best thing whoever cracks it.

To clarify — $3K/mo is what I spend now AFTER routing (was $10K before). The routing tool itself starts free with 1M tokens. But you're right that even $3K is a lot for most people. If you're on a $200 Claude Max plan, the same principle applies at smaller scale — you're probably burning 60-70% of your tokens on tasks that don't need Opus. Route those to Sonnet/Haiku and your plan lasts 2-3x longer.

@aplomb2 @dr_cintas re: $3k/month, for most people that is inaccessible.

Fully programmatic — it sits as a proxy between your IDE and the model providers. Classifies each request by task type (planning vs implementation vs tests vs docs) and routes to the right model automatically. No manual switching, no prompt engineering needed. You just point Cursor/Claude Code at the proxy endpoint and it handles everything. Built it after manually trying to remember "use Opus for this, Sonnet for that" — realized that doesn't scale past a single session.

@aplomb2 @dr_cintas Is your routing programmatic or instructions for your agent or manual?

@kindcorp @dr_cintas Took me way too long to figure this out tbh. Spent months obsessing over "which model is best" when the real question was "which model is best for THIS specific task." Once you see it you can't unsee it — 70% of coding work just doesn't need the most expensive model.

@aplomb2 @dr_cintas That's the key

Exactly — it's not just cost, it's latency too. Opus takes 3-5x longer than Sonnet on straightforward tasks. When you're doing 50+ operations in a coding session, that compounds fast. The routing approach fixes both: cheaper AND faster for the ~70% of tasks that don't need frontier-level reasoning.

@aplomb2 @dr_cintas Yeah and the inferencing time on top models is too high , good when using small 80b models and etc

其实核心问题不是credit多少，而是我们是不是每个任务都需要用Opus。 我跑了3个月数据发现：真正需要Opus级推理的任务大概只占20-30%（架构设计、复杂debug），剩下70%写样板代码、跑测试、简单修改用Sonnet甚至Haiku就够了。 把这个发现落地成自动routing之后，我的API账单从$10K/月直接降到$3K，同样的工作量。 现在Agent SDK有了独立credit池，这个思路更关键了——$200 credit如果全走Opus，几天就烧完。但如果按任务复杂度智能分配模型，同样credit能撑3-4倍。 分享一下我做的工具 coderouter.io，按编码阶段自动选模型。当然即使自己写个简单的规则路由也能省不少。

还记得上次 Claude 停掉了 Claude Code 订阅在 OpenClaw 的调用吗？甚至连 claude -p 这种调用都限制了，不能再共享 Claude 订阅。 但当还留了个口子，就是基于 Claude Agent SDK 和 claude -p 还是能跑能共享订阅额度的。 现在他们有一个新的方案，把这个口子也堵上了。美名其曰给你额外额度用于程序化调用，也就是 Agent SDK、claude -p 命令行、Claude Code GitHub Actions、以及 Conductor 和 OpenClaw 这类基于 Agent SDK 的第三方工具。 但实际上额度小的可怜，Pro 20 美元，Max 5x 100 美元，Max 20x 200 美元，Team 标准席位 20 美元一人，Team 高级席位 100 美元一人。 按 Anthropic 自己的 API 价格算，Pro 的 20 美元用 Sonnet 只够大约六七百万 token 输入或一百多万 token 输出，几轮密集的 agent 循环就见底。Max 20x 用户每月付 200 美元订阅费，拿到的 SDK credit 正好也是 200 美元。 关键在于变化方向。之前 SDK 和交互式聊天共用订阅套餐的 rate limit（速率限制），Claude Code 重度用户能在订阅价格下跑出远超 200 美元等价的 API 用量，这是订阅模式的吸引力所在。现在 SDK 端被按美元封顶，相当于把这块超额价值收回去了。Anthropic 在帮助文档里也挑明：团队跑生产级共享自动化的，应该转去 Claude Developer Platform 用 API key 按量付费，订阅套餐"不是为这个场景设计的"。 受冲击最大的是第三方工具用户。之前用 OpenClaw、Conductor 这类基于 Agent SDK 的 agent 工具的人，本质上是"用订阅价跑高频自动化"。新政之下，这条路只剩 credit 那一点点额度可走，烧完要么转 extra usage（额外用量，按 API 价付钱）继续跑，要么停到下个月 credit 重置。 不受影响的部分：API key 用户照旧按量付费；交互式 Claude Code（终端和 IDE 里手敲那种）、Claude Cowork，以及网页/桌面/手机端的 Claude 聊天，都继续走原本的订阅限额。 6 月 8 日 Anthropic 会给符合条件的用户发邮件领取，6 月 15 日生效。

@ixiaowenz 现在老板和领导是用AI最熟练的。

一个非技术团队，领导 AI 用的贼好，下面的人完全学不会。 挺神奇的……

@jinchenma_ai 哈哈，有道理，改造传统行业工作流更有价值。

如果你是搞技术的，又想做 AI 相关业务，建议多往传统企业老板圈子里钻。 别嫌他们不懂技术。 他们不懂技术，才有机会啊。

基于任务的AI编程路由器，可以节约70-90%的token成本，且可以进行内部安全管理和控制。

@lixinbao_X 自媒体赛道竞争更激烈吧

我发现 X 上好多失业的码农 为什么码农失业了都来 X 做自媒体博主了呢

@AYi_AInotes 未来存在不同价位不同质量的多个大模型的情况下，智能路由中转是必然的选择。

说个暴论，AI 行业的天，今天真的要变了， 前几天刚写了几篇推文分析过孙哥和特朗普家族为啥下场做AI 中转站，底层逻辑是中转站本质是AI水电煤的生意。 结果今天就看到央视新闻，中国移动上线了AI中转站！ 各大社区里很多人都以为中国移动发的 MoMA， 又是一个凑数的模型平台，其实根本不是一回事， 这是 AI 国家队正式跑步进场了， 而且直接把中转站做成了国家级得AI基础设施。 它现在已经接入了 300 + 主流模型， DeepSeek、通义千问、豆包、Kimi、GLM 全在里面， 不知道实际效果和体验咋样，了解的宝子可以评论区分享交流下。 为什么国家队这么快就下场了？ 我觉得本质还是中转站就是 未来AGI 时代的智能电网， 谁掌握电网，谁就掌握定价权， 谁掌握电网，谁就掌握未来。 #AI #中国移动 MoMA

@oops073111 要做成一个商业化的产品，还是需要大量的时间打磨的。MVP容易，好产品难。

五个月，郭宇搞了这么多独立项目。 2025、2024github 都是空的😂

@PandaTalk8 AI和之前不同，创建了可能10%的新岗位，但是消灭了90%的旧岗位。

我以为我被裁员的时候， 是行业的高峰， 同年AI/LLM火了， 我以为这是一个新的增长机会。 但是没有想到这个新的机会没有创造更多的就业岗位， 反而是他的存在， 却极大的削减了越来越多的工作岗位。

@imwsl90 openclaw需要根据客户需求二次的定制开发才能大大提升效率。原始的openclaw绝大部分客户是玩不转的。

龙虾热度已过 我把我的龙虾微信群升级为了AI微信群.... HERMES估计也快完蛋了 如果你是个普通用户，我建议你用Claude/Codex/KIMI/豆包 因为龙虾/HERMES的复杂度让大多人难以掌握 我觉得SKILL是一种中间状态 未来一定是高度定制化AGENT的天下 至于普通人的出路在哪里？ 我觉得不在AI，而在于用AI做别的事情