模型训练¶
1 Llama¶
1.1 The Llama 3 Herd of Models¶
PDF: The Llama 3 Herd of Models
1.1.1 pretrainin¶
1.1.2 post-training¶
RL
SFT
DPO
2 Apple Intelligence Foundation Models¶
https://machinelearning.apple.com/research/introducing-apple-foundation-models
PDF: Apple Intelligence Foundation Language Models
AFM-on-device模型参数量2.58B（0.15B embedding)，推理速度是0.6 ms per prompt token，30 token/s without token speculation。
优化点：
- Shared input/output embedding
- GQA: 24 query, 8 kv heads
- LoRA adpater on-the-fly，rank 16的adapter大小在10MB量级。
- 量化：4比特、2比特混合量化，总体小于4bits， 3.7bpw。GPTQ、AWQ。
- Accuracy recovery adapter
Device model用于： 1. 便签中写作、校对、总结等场景。 2. 邮件、短信、通知的优先级+紧急程度判断 3. 邮件总结、回复、语气调整
3 DeepSeek¶
3.1 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning¶
https://arxiv.org/abs/2501.12948
PDF: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
论文要求：
1. 只使用RL来强化自身能力，这是self-evolution，不需要人类给正确答案。少量cold start 数据（几千条）有帮助。
2. 大的模型能过RL学习到的知识，小的模型(32B)无法通过RL学到，所以蒸馏更有用。
https://arxiv.org/abs/2402.03300
