webbigdata
3.2K posts
@webbigdata
日本一に貢献した国産AIを作りました YouTuber/VtuberをAIで支援するサイト/チャンネルを作っています youtube チャンネル https://t.co/RH5DwFs5lD 開発済AI/LLM https://t.co/xJqZm3mKcM
商用AIとオープンAIの価格比較 Qwenの27Bの値付けが驚き どこも値上げ傾向 Gemini 3.1 (Agent Platform) Pro $2/$12 Flash(3.0) $0.5/$3 Flash-Lite $0.25/$1.5 Gemma 4 26B $0.15/$0.6 Qwen3.6(Alibaba Cloud) Max $1.3/$7.8 27B $0.6/$3.6 Plus $0.5/$3 Flash $0.25/$1.5 35B-A3B $0.248/$1.485
商用AIとオープンAIの価格比較 Qwenの27Bの値付けが驚き どこも値上げ傾向 Gemini 3.1 (Agent Platform) Pro $2/$12 Flash(3.0) $0.5/$3 Flash-Lite $0.25/$1.5 Gemma 4 26B $0.15/$0.6 Qwen3.6(Alibaba Cloud) Max $1.3/$7.8 27B $0.6/$3.6 Plus $0.5/$3 Flash $0.25/$1.5 35B-A3B $0.248/$1.485
Happy Friday! We've reset everyone's 5-hour and weekly rate limits.
The penalty is a 1-year ban from arXiv followed by the requirement that subsequent arXiv submissions must first be accepted at a reputable peer-reviewed venue. 4/
all chat templates are wrong, some chat templates are useful we found some CRAZY performance wins by patching official templates, and we're shipping them in a standalone library you can use with any RL stack w/ examples for @vllm_project @sgl_project @huggingface @tinkerapi
MiniMax 发布技术博客，披露其 M2 系列大模型无法输出人名「马嘉祺」的根因排查过程。排查从一个个例出发，最终揭示了一个波及整个词表近 5% 的系统性退化问题。 根本原因是大模型两个训练阶段的数据覆盖严重脱节。第一阶段（预训练）用海量互联网文本编出了一本约 20 万词的「字典」；第二阶段（后训练）用精选的对话数据教模型说话，但这份对话数据只覆盖了字典里的一部分。字典里有、但对话数据里没练到的词，就会在第二阶段逐渐被遗忘。 「嘉祺」就是这样的一个词。分词器（tokenizer，负责把文字切成模型能处理的最小单元）因为在互联网文本中见到「嘉祺」连用的次数够多，就把它合并成了一个独立单元。预训练时模型学会了这个词，但后训练的对话数据里包含「嘉祺」的样本不到 5 条。后训练不断调整模型参数，练到的词越来越准，没练到的词则在参数更新中被带偏。最终，模型仍然「认识」马嘉祺、能准确回答相关信息，丢失的只是把这个名字写出来的能力。 退化排名靠前的还有「传奇私服」「无痛人流」等互联网 SEO 垃圾词。这类词在预训练的互联网语料中铺天盖地，分词器给了它们独立编号，但精选的后训练对话数据不会收录这些内容，结果同样被遗忘。 团队对完整词表做了全量扫描，发现约 4.9% 的词发生了显著退化。退化最严重的是日语：29.7% 的日语词显著退化，远超韩语 3.3%、俄语 3.7%、中文 3.9% 和英文 3.5%。 日语的严重退化还解开了一个旧谜。此前模型在日语对话中偶尔混入俄语或韩语字符，一直找不到原因。这次分析表明，大量日语词退化后，在模型内部的参数空间里「漂」到了其他语言的地盘上，导致模型该写日语时错写成俄语或韩语。 修复方案是构造一份覆盖全词表的合成数据，让模型用简单的复读任务把字典里每个词都练一遍。效果立竿见影：日语回答中混入俄文字符的比例从 47% 降至 1%，全词表参数稳定度从最低 0.329 升至全部高于 0.97。
