前言：最近 LLM 大火，相关领域熟人都想往这个方向靠，好几个朋友咨询了这块，也有帮做模拟面试。最近有个哥们让我推荐对这个领域整体快速了解的资料。于是我就花了些时间整理资料，希望可以俯瞰当前 LLM 领域，能够给个整体的印象，如若对某个细分板块感兴趣，读者也可以找更深入的资料。
本文假设读者有一定相关领域的知识，至少是机器学习，深度学习，或者数据科学的经验。
Overview 概观
- 首先 Andrej 的 State of GPT 是必看的：对整个 LLM 的全景讲的很清晰，不亏是我辈 CS231n 的好老师，高屋建瓴
- W&B 关于 LLM 的 Tutorial 干货不少：Current Best Practices for Training LLMs from Scratch
- 两篇比较好的综述：
- An Overview on Language Models: Recent Developments and Outlook：偏训练技巧
- Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond：偏应用
前沿模型观摩
- GPT4 Technical Report：GPT4技术报告
- Spark of AGI[视频]：对 GPT4 的详细测评
- PALM2 Technical Report：PALM2技术报告
大概看看现在最好能做到什么程度，虽然细节干货少。
接着按不同模块分别推荐些我能想到的比较重要入门论文和资料，精力有限，肯定是挂一漏万，欢迎指正完善。
预训练
整体
预训练可先看一些经典基座模型训练流程：
- GPT3 论文：不用多说
- LLAMA：经历各种检验最靠谱英文模型，很多训练细节值得参考
- BloombergGPT：虽是金融领域模型，但各种思想都类似，很踏实，特别给训领域模型借鉴
- Transformer Math 101：很干的一篇关于训练中各种计算的博客，扎实
- [可选] 谷歌系的：PaLM，Flan-PaLM：一个预训练，一个指令微调，大公司还是挺多insight可学习
- [可选] BLOOM，BLOOMZ：可以大概看看，比较糙，特别是和大公司几篇对比
数据相关
- W&B 关于预训练数据处理较全面博客：Processing Data for Large Language Models
- 实际数据集参考，会有各种细节：
- ROOTS：BigScience 开源数据集
- The RefinedWeb Dataset：最近模型 Falcon 的数据集
- [可选] RedPajama：号称复刻 LLAMA，没有报告，更多都在源代码里面，可以简单看看有时间看代码
- [可选] The Stack：代码领域的数据集，感兴趣也值得一看
- 近期一些关于数据推荐论文：
- Scaling Data-Constrained Language Models
- A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity
训练相关
- Megatron-DeepSpeed：现在基本都基于这套框架训，有必要浏览下原论文
- DeepSpeed 相关：ZeRO优化器必看，可能看视频会更好理解些
- 混合精度及其他相关训练技巧：
- Performance and Scalability:How To Fit a Bigger Model and Train It Faster Hugging face相关博客
- 更多关于混合精度的讨论，Nvidia 相关文档，看2和3就行，关于 BF16 的讨论（结论能上BF16就上）
- lilian写的关于大规模分布式训练相关的综述：How to Train Really Large Models on Many GPUs?
Tokenization
- Huggingface 的 Tokenizers 的相关 Tutorial：看下面这几节就行
- Normalization and pre-tokenization
- Byte-Pair Encoding tokenization
- [感兴趣看] WordPiece tokenization
- [感兴趣看] Unigram tokenization
- Building a tokenizer, block by block
- [可选] SentencePiece 的 Readme，就是另一个训练词表的库
SFT(Supervised FineTuning)/Instruction Tuning
就是搜集到指令数据，然后直接 finetune 训练，难点在于在于怎么收集到较好的SFT数据。
主要可分成下面几种方法：
- 人工标注写
- 基于模板
- 基于开源共享数据
- 网上相似数据爬取
- OpenAI API接口通过 Prompt 工程构建
SFT 模型
- 基于模板：
- FLAN 模型：前 ChatGPT 时代，可以看看如何基于模板构建一些传统指令数据，还出了v2
- 基于 OpenAI API 和开源共享数据（后 ChatGPT 时代）：
- Exploring the Impact of Instruction Data Scaling on Large Language Models
- Towards Better Instruction Following Language Models for Chinese
- 直接从 ChatGPT 和 GPT4 抓数据来训SFT：Alpaca，Vicuna，GPT4ALL
- 中文这块：Belle 的两篇论文也可以简单看看，看怎么构建数据（比如Self-Instruct）
- 基于网络爬取数据及人工标注
- LIMA: Less Is More for Alignment：怎么构建一个多样化的SFT数据集
RLHF 部分
建议给 OpenAI 在这块的努力都刷一遍，会有很清晰了解，各种细节。现在大多引 22 年 InstructGPT，但 OpenAI 这整套流程也都是一步步完善出来的。最早期在 GPT2 就探索用 Human Preference，中间如何尝试、遇到什么问题、以及怎么解决都写得挺清楚，甚至还专门写了怎么培训标注人员，当时 OpenAI 是真的挺 Open：
- Fine-Tuning GPT-2 from Human Preference（Blog）：做 SFT 来获得人类偏好，但 SFT 数据都是模型采样后人标出来的
- Learning to summarize from human feedback（Blog）：基本这套 SFT、Reward Model、RLHF 流程齐全了，用在 Summarization 任务，只标了 Pair-wise 的数据，而不是后面的 Rank
- Summarizing Books with Human Feedback（Blog）：当摸清楚这套流程之后，OpenAI 开始对 RLHF 增大规模，也开始发现生成这块的评估难，引入模型辅助的评估
- WebGPT: Improving the Factual Accuracy of Language Models through Web Browsing[Blog]：OpenAI 想用强化来训练模型浏览网络，然后做检索增强
- InstructGPT：Training language models to follow instructions with human feedback[Blog]：最后才到 InstructGPT，罗马不是一天建成，能看到 OpenAI 在 RLHF 上是积累了很长时间的，到 InstructGPT 可能是 API 用户反馈有类似需求，当时没引起太大反响，直到加入了对话数据，并且给模型放出来给大家用，也就是 ChatGPT.
推理使用
解码方法
- 关于 Search 和 Sample，还有 Topp Topk 讨论：献丑了
Prompt Engineering
Zero-shot 和 Few-Shot 给 GPT3 那篇看完就差不多懂了，这里列些较经典方法
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models：思维链，开山之作，本质上给LLM模型更多 token 来用来思考，增加结果准确性
- Self-Consistency Improves Chain of Thought Reasoning in Language Models：思维链后续，其实就是类似search算法给搜索空间扩大，比如beam从1改成多个，然后最后结果 ensemble 一下
- Tree of Thoughts: Deliberate Problem Solving with Large Language Models：给链扩展成树，进行检索和集成，上面两种都变成树的某个特例
- [可选] ChatGPT Prompt Engineering for Developers：吴教授 DeepLearning AI 关于 ChatGPT prompt 相关
反思以及其他高阶应用
- Reflexion: Language Agents with Verbal Reinforcement Learning：提出反思系统，模型能对自己之前的结果进行反思，之后再做出修改
- AutoGPT介绍：基于 GPT API 非常酷的应用，通过设计维护几个GPT角色，还有Memory系统，给AutoGPT一个目标和初始任务，就能让它成为一个无情的做任务机器人，完成任务，创造新任务，排好优先级，继续做任务
- [可选] Generative Agents: Interactive Simulacra of Human Behavior：写 AutoGPT 的时候莫名让我想起这篇，虽然是讲用GPT做游戏任务的思考机器，但是本身里面就涉及到大量应用相关的设计
- [可选] Large Language Models as Tool Makers：idea 也很酷，维护几个GPT角色，让一个做工具，一个使用工具解决问题，还有个判断什么时候需要做新工具，也是系统的设计
其他
Tools （API 调用）
有些能力调外部接口会容易很多，包括最新信息获取
- Toolformer: Language Models Can Teach Themselves to Use Tools：占坑之作，方法较 naive
- TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs：给 Tools 理念推到更大的框架
- [可选]对这个领域兴趣，还可以看Gorilla，HuggingGPT
- 搜索增强LLM（虽然我认为检索也只是一个工具）：REPLUG: Retrieval-Augmented Black-Box Language Models
Code Related
- CodeX：Evaluating Large Language Models Trained on Code：Code相关必读，现在普遍认为Code对推理能力会有一定提升
Math Related
因为数学涉及到模型的推理能力，所以一般认为较重要
- Training Verifiers to Solve Math Word Problems：让模型解数学题，提出了 Verifier 的思路，就是对多条打分选最高。
[可选] GPT API相关应用
- Building Systems with the ChatGPT API：吴教授关于 OpenAI API应用的课程
- [可选] OpenAI CookBook：OpenAI 官方的 API 使用说明，里面很多特别实用的建议
[可选] 损失函数
- Efficient Training of Language Models to Fill in the Middle：无损 FIM 损失，增加模型中间填充能力
- UL2: Unifying Language Learning Paradigms：对T5的损失进行改进，兼容考虑了GPT单向生成损失，PALM2声称用的是它的变种
快抢沙发！
