Databricks 首席执行官兼联合创始人，加州大学伯克利分校教员 @alighodsi 表示：
GLM5.2在他们内部的测试中遥遥领先🔥
这个测试是针对企业场景，特别是在拥有大量员工的情况下（比如Databricks拥有 1.1 万名员工）。
企业应该选择哪种模型和框架，才能在降低成本的同时保持卓越的质量？
Databricks他们不想盲目信任公开基准测试。
因此，Databricks他们针对自身的任务、代码库和基础设施进行了一次全面评估。
这些内容是由 3000 多名软件工程师共同构建的，横跨三大超大规模云服务商，涵盖多种编程语言和任务类型。
结果Databricks惊讶的发现讶，对于同一模型（例如Opus4.8），选择不同的框架可以显著节省成本（约 2 倍）。
同时他们发现 GLM 5.2 表现极为出色，比如在下图里，GLM5.2在成功率和成本上获得了一个最具性价比的成绩。
比成功率比GLM5.2高的Opus4.8（使用pi和xhigh）要贵1.5倍。
而和他一个成功率的Opus4.8（使用claude code和high），也要比GLM5.2贵出一倍。
现在不会有人质疑GLM5.2了吧🤔
Ali Ghodsi@alighodsi
At 11k employees, our AI costs are going up. Which model & harness should we use to lower cost but also retain great quality? We didn't want to blindly trust public benchmarks. So we ran a comprehensive evaluation on our tasks, code base, infra. It's been produced by more than 3,000 software engineers, spans 3 hyperscalar clouds and many languages and tasks. The results are surprising. We find that for the SAME mdoel, the choice of harness can significantly save costs (~2x). We also find that GLM 5.2 performs extremely well. We run Omnigent in front of these and can easily multiplex different harnesses and models for different tasks. Check it out: databricks.com/blog/benchmark…
中文
