大语言模型面试题

最近大模型岗位的面试热度不减，很多人都在准备。坦白说，准备面试最好的方式之一，就是利用大模型本身来模拟问答。比如你可以直接问：“你是一位LLM大语言模型专家，现在有些面试问题请你回答。”回答之后，再让它检查一遍，确保抓重点，别跑偏。如果问题太新，记得让它先联网搜索再总结——连这个提示词都不会写，或者找不到具备联网能力的大模型应用，那确实还缺点火候。

如果想面试大模型应用开发岗，建议多找几家国产大模型开放平台的API练练手，再用微软的几个开源框架对接跑跑，实际体验一下整个开发链路。至于当下热门的AI Agent开发，可以先从百度文心Agent、字节Coze这类低代码平台入手，未必一上来就直接用大模型API硬刚。毕竟，那些可供大模型调用的插件工具资源不好找，即便找到了，效果也未必理想，没必要浪费大量时间在调试上。

下面整理了一些大模型面试中常见的高频问题，大致可以分成基础概念、模型架构、训练优化、数据处理几个方向。提前过一遍，心里更有底。

token是大模型处理文本的最小单元，它可以是一个词、一个子词，甚至一个字符。模型通过将输入文本切分成token序列来理解和生成内容。不同的分词策略会影响模型的词汇量和处理效率。

偏见主要来自训练数据本身——如果数据集中存在性别、种族、地域等方面的不平衡或刻板印象，模型就会学到并放大这些偏见。此外，数据预处理方式、标注过程中的主观性，甚至模型架构的设计都可能引入或加剧偏见。

幻觉指模型生成看似合理但实际错误的内容。减轻方法包括：优化训练数据质量，减少噪声和错误信息；引入检索增强生成（RAG），让模型在生成时参考外部知识库；使用更严格的解码策略（如降低温度参数）；以及在后处理环节增加事实性校验。

零样本学习指模型在未经专门微调的情况下，直接根据任务描述或指令就能完成新任务。少样本学习则是给模型提供少量示例（比如几个问答对），帮助它理解任务模式并做出正确响应。这两种能力源于大规模预训练带来的强大泛化能力。

MOE（混合专家模型）是一种将多个“专家”子网络组合起来的技术，每个输入只激活其中一部分专家，从而实现模型容量的扩展而不显著增加计算成本。它的核心作用是在保持推理效率的同时，提升模型处理复杂任务的能力。

涌现能力是指当模型规模突破某个阈值后，突然展现出之前小模型不具备的复杂能力，比如逻辑推理、多步规划、上下文理解等。这种能力并非通过显式编程获得，而是由大规模数据和参数量的组合效应“涌现”出来的。

预训练是在海量无标注数据上训练模型，目标是学习通用的语言表示和知识；微调则是在特定任务的小规模标注数据上进一步训练，目的是让模型适配具体场景。预训练提供基础能力，微调负责定向优化。

decoder-only架构天然适合自回归生成任务，能够高效地处理从左到右的文本生成。相比encoder-decoder结构，它更简单、训练更稳定，且在大量实验中被证明在语言建模和对话任务上表现优异。GPT系列的成功也推动了这一趋势。

（此处保留原文图片位置，即图片标签不变，不进行文字改动。原文图片应在此处展示。）
Transformer的核心流程：输入经过嵌入层和位置编码，进入多头自注意力机制，再经过前馈神经网络，每层都配合残差连接和层归一化，最终输出序列表示。整个过程没有循环，全靠注意力机制捕获全局依赖。

单头注意力只能关注一种类型的依赖关系，而多头机制允许模型同时从不同的表示子空间学习信息，捕捉更丰富的语义特征——比如有的头关注语法结构，有的头关注远距离语义关联，组合起来就能得到更全面的理解。

LoRA（低秩适配）是一种高效的微调方法，通过在预训练模型权重旁插入低秩矩阵来适配新任务，只更新少量参数，大幅降低显存和计算需求。Q-LoRA是LoRA的量化版本，将模型权重量化到更低精度（如4-bit），进一步减少资源占用，使得在消费级显卡上微调大模型成为可能。

通常混合使用：前向传播和反向传播用float16或bfloat16加速计算并节省显存，关键权重更新和梯度累积用float32保持精度。bfloat16相比float16有更大的动态范围，更适合大模型训练，不易溢出。选择哪种取决于硬件支持和具体任务需求。

常见策略包括：混合精度训练（关键计算用float32，其余用float16）、梯度裁剪（防止梯度爆炸）、损失缩放（动态调整损失值范围）、以及使用bfloat16代替float16。此外，合理初始化权重和调整学习率也能有效预防溢出。

旋转位置编码（RoPE）通过将位置信息编码到旋转矩阵中，既保留了相对位置关系，又具备良好的外推能力——模型能处理比训练时更长的序列。相比传统绝对位置编码，RoPE在长文本任务上表现更稳定，且实现简洁。

主要依靠残差连接、层归一化和合理的初始化策略。残差连接让梯度能直接流向浅层，层归一化稳定每层输出分布，加上适当的梯度裁剪，就能有效缓解这两类问题。此外，使用Pre-LayerNorm结构也进一步改善了训练稳定性。

LLaMA采用了SwiGLU激活函数，它是GLU（门控线性单元）的变体，结合了SwiLU的自适应性。相比ReLU，SwiGLU在保持非线性能力的同时，能提供更平滑的梯度流，有助于模型在更深层网络中稳定训练，并带来更好的性能。

除了旋转位置编码（RoPE），还有ALiBi（线性偏置注意力）、相对位置编码等方法。核心思路是让模型能够区分不同位置的关系，同时具备处理超出训练长度的能力。RoPE和ALiBi在长序列任务中表现突出，因为它们不依赖绝对位置索引。

常见做法包括：文本清洗（去除噪声、广告、乱码）、统一编码格式、分词与标准化、去除低质量文档（如太短、重复率过高）、敏感内容过滤、以及多语言语料的平衡处理。良好的预处理能显著提升模型训练效率和最终性能。

过滤通常基于规则（如长度阈值、语言检测、关键词匹配）或模型（如分类器判别是否包含噪声）。去重则通过哈希算法（如MinHash）或精确匹配移除重复文档。重要性方面：过滤能剔除低质量、有害或无关内容，防止模型学到错误模式；去重能避免模型对高频重复数据过拟合，提升泛化能力。如果跳过这些步骤，模型可能出现记忆偏差、生成内容质量下降，甚至放大偏见和幻觉。

常见方法包括：调整解码策略（降低温度、增加top-p或top-k采样中的惩罚因子）、引入重复惩罚（如通过logits修改降低已生成词的采样概率）、使用对比搜索（鼓励多样性）、以及在后处理环节加入去重检测。实际应用中，通常需要组合多种策略并调节参数来取得最佳平衡。