超全总结！大模型算法岗面试真题来了！

从2019年的谷歌T5到OpenAI GPT系列，参数量的爆炸式增长几乎成了大模型圈子的主旋律。尤其是2022年11月底ChatGPT的横空出世，直接把对话大模型推到了社会各界的聚光灯下。

这些年，基于大规模语料库预训练的Transformer模型，催生了预训练语言模型（PLMs），它们在各类NLP任务中展现出的能力确实令人印象深刻。一旦参数规模跨过某个阈值，语言模型会迎来一次质的飞跃——那些小模型里压根不存在的技能，比如上下文学习（In-Context Learning），就开始冒出来了。为了跟PLM区分，这一波新物种被统称为大型语言模型（LLMs）。

为了让更多朋友顺利上车大模型，这里结合一些小伙伴参加面试时遇到的真题，以及自己的一点实战经验，把大模型面试中常考的题目梳理了一遍，大致分为这么几个板块：大模型基础、参数微调与训练推理、应用框架、分布式训练，以及其他相关技术。

大模型基础

这一块主要考察你对主流模型结构和原理的掌握。下面这些问题是现场常客：

• 你平时关注哪些主流开源大模型？
• 目前大模型的模型结构主要有哪些类型？
• prefix LM、causal LM 和 encoder-decoder 之间有什么区别？各自有什么优缺点？
• 模型幻觉是什么？业内目前有哪些解决方案？
• 大模型的 Tokenizer 实现方法及原理是怎样的？
• ChatGLM3 的词表是如何实现的？
• GPT3、LLAMA、ChatGLM 在 Layer Normalization 上有什么区别？各自的优缺点是什么？
• 大模型常用的激活函数有哪些？
• Multi-query Attention 与 Grouped-query Attention 了解吗？它们之间有什么区别？
• 是否接触过多模态大模型？有没有落地的案例？

大模型参数微调、训练、推理

从微调到全量训练，再到推理优化，这个模块几乎覆盖了从入门到进阶的所有考点。

• 为什么需要参数微调？参数微调的优点有哪些？
• 参数微调的方式有哪些？你常用哪几种方法？
• prompt tuning 和 prefix tuning 在微调上有何区别？
• LLaMA-adapter 如何实现稳定训练？
• LoRA 的原理与使用技巧有哪些？
• LoRA 微调的优点是什么？
• AdaLoRA 的思路是怎样的？
• LoRA 权重如何合入 ChatGLM 模型？
• P-tuning 讲一下？与 P-tuning v2 区别在哪里？优缺点是什么？
• 为什么 SFT 之后感觉 LLM 变傻了？
• 垂直领域数据训练后，通用能力往往会下降，如何缓解模型遗忘通用能力？
• 进行 SFT 操作时，基座模型选 Chat 还是 Base？
• 领域模型词表扩增是否有必要？
• 训练中文大模型的经验和方法
• 模型微调用的是什么模型？模型参数是多少？微调需要多大显存？
• 预训练和 SFT 操作有什么不同？
• 训练一个通用大模型的流程有哪些？
• DDO 与 DPO 的区别是什么？
• 是否接触过 embedding 模型的微调方法？
• 有哪些省内存的大语言模型训练/微调/推理方法？
• 大模型的评测方法有哪些？如何衡量大模型的效果？
• 如何解决 SFT→RM→PPO 三个阶段训练过程长、更新迭代慢的问题？
• 模型训练的数据集问题：一般数据集从哪里找？
• 为什么需要进行模型量化？原理是什么？
• 大模型词表扩充的方法及工具有哪些？

大模型应用框架

框架选型、RAG搭建、向量库对比，这些是实际落地中最常被问到的问题。

• 什么是 LangChain？
• 什么是 LangChain Agent？
• 什么是 LangChain model？
• 除了 LangChain，还了解哪些其他框架？
• 是否有基于 LangChain 搭建大模型应用的经验？请详细说明。
• 搭建大模型应用遇到过哪些问题？如何解决的？
• 如何提升大模型的检索效果？
• 是否了解上下文压缩方法？
• 如何实现窗口上下文检索？
• 开源的 RAG 框架有哪些？你比较了解哪一个？
• LangChain 和 LlamaIndex 各自有什么优势？
• 你使用过哪些向量库？各自的特点和区别是什么？
• 使用外部知识数据库时需要对文档分块，如何科学地设置文档块大小？
• LLM 受到上下文长度限制，如果检索到的文档带有太多噪声，该如何解决？
• RAG（检索增强生成）对大模型有什么好处？

大模型分布式训练

当模型大到单卡放不下时，分布式训练就成了绕不开的话题。

• 大模型训练，你用的是什么框架？
• 业内常用的分布式 AI 框架，你有哪些了解？
• 数据并行、张量并行、流水线并行的原理及区别是什么？
• 推理优化技术 Flash Attention 的作用是什么？
• 推理优化技术 Paged Attention 的作用是什么？
• CPU-offload、ZeRO-offload 了解吗？
• ZeRO（零冗余优化器）的三个阶段分别是什么？
• 混合精度训练的优缺点是什么？可能带来什么问题？
• Megatron-DeepSpeed 方法了解多少？
• Megatron-LM 方法了解多少？

其他技术

最后这部分偏工程，但往往是面试官用来判断你动手能力的试金石。

• 你使用的 GPU 服务器是什么？
• 是否使用过国产 GPU 服务器？
• 是否部署过 Docker 和 Kubernetes？
• Linux 常用命令
• Docker 常用命令
• Kubernetes 常用命令
• 平时使用的开发语言是什么？