Deepseek R1提供COT思维链推理能力，由传统的人工标注预训练数据+基于场景监督式微调SFT方式，整合强化学习RLHF机制，通过奖励函数对推理结果打分后继续反馈给模型，循环反复优化输出。
比特币区块链那些事@BTC_ETH_2017
1. Transformer首先通过多层神经网络decoder+海量训练数据，生成输入token之间关联关系的概率表，再基于前馈网络计算选择哪个token输出。 2. Deepseek v1- v3首先通过MLA压缩概率表减少存储和计算开销，再通过混合专家模型MOE选择合适的专用小网络，还推出了多token预测机制来批量输出提效。
中文
