如何构建企业级的AI大模型？

企业在实际应用大模型时，面临的问题往往比想象中要复杂得多。它并不是简单地选一个模型、跑一段代码就能解决的事，而是一个需要从业务需求出发，系统性地构建解决方案的过程。通常情况下，落地一个企业级大模型，需要走过这么几个关键环节：模型评估、数据准备、微调训练、模型合作、性能优化，以及最终的应用部署。

我们一步步来看。首先，你得从众多的开源或商用模型中，挑出那个最适合你业务场景的“苗子”。然后，用企业内部真实、可信的数据去喂养它、训练它、打磨它，直到它能在你的具体任务中表现足够出色。但这还没完，模型上线后还得盯着它的表现，根据反馈不断调整优化。在整个部署过程中，安全性、可扩展性和可维护性这些因素，一个都不能少。这些阶段环环相扣，形成了一个持续迭代的闭环，目的就是让模型的性能和效果能不断往上走。

构建企业级AI大模型的整体框架

整个框架大致可以拆解为几个步骤：通用大模型的预训练、专用基础模型的训练、针对性的反馈优化，以及最终的部署。不过，现在市面上大部分开源的AI大模型都是已经预训练好的通用基础模型，所以我们企业级的应用，大多都是站在这些“巨人”的肩膀上继续往前走的。

选定一个开源的基础模型之后，第一件事就是评估。要仔细掂量掂量，这个“通用型选手”能不能扛得住你后面那些具体的业务场景。如果评估下来发现不行，那怎么办？这就需要对它进行专有数据的微调和训练了。

要微调，先得有数据。这一步的关键在于数据质量，必须对专有的训练数据进行严格的治理，包括清洗、加工、标注，甚至必要的数据增强。等数据准备妥当，完成了模型的微调和训练，一个新版本的模型就诞生了——这就是你的“专有大模型”。但实际操作中，往往不是把这个新模型单独扔出去用就完事了，还需要把它和基础模型组合起来，这就引出了“模型合作”这一步。此外，专有模型也不可能保证百分之百正确，所以还得建立一个反馈机制，在应用的过程中持续优化。最后，才轮到模型的部署和应用。

关键步骤的详细介绍

模型评估

模型评估这个话题，在人工智能领域一直是个核心议题。从机器学习、深度学习，到现在的生成式AI，不同阶段的评估指标也各有各的特点。在机器学习和深度学习时代，模型的主要任务是分类和预测，结果对不对一目了然，评估指标也相对固定，比如准确率、召回率、F1值等等。

但到了生成式AI时代，一切变得不一样了。基于通用大模型，任务变成了文本生成和图像生成。生成的文本和图片到底“正不正确”，主观性很强，光靠几个指标很难说得清。为了解决这个问题，文本生成领域引入了BLEU和METEOR，图像生成领域则用上了Perceptual Loss、Fréchet Inception Distance之类的方法。

目前市场上也有不少商用产品，专门提供对AI大模型性能、适用性、稳定性、安全性和可解释性等方面的全面评估。举个例子：

• SuperCLUE
  ：一个综合性大模型评测基准，主要考察语言理解与生成、专业技能与知识、Agent智能体和安全性这四个能力象限。

• Ragas
  ：一个专为AI大模型设计的智能评估工具，可以从性能、适用性等多个维度进行衡量。

• 各种大模型评测基准
  ：比如MMLU、Hugging Face的Open LLM Leaderboard、中文的C-Eval等，它们为评估模型在不同任务上的表现提供了标准化工具。

• 大模型评测平台
  ：由人工智能关键技术和应用评测工业和信息化部重点实验室牵头，联合多家单位共同发布。

• AGI Eval
  ：微软发布的大模型基础能力评测基准，主要考察模型在人类认知和解决问题方面的一般能力。

这些工具和平台，能帮助开发者和决策者全面了解一个模型的优势和潜在风险，从而做出更明智的选择。

模型数据准备

当企业业务场景的需求超出了原始大语言模型的能力范围时，就需要收集和整理内部数据，对模型进行微调或训练，以满足特定场景的需求。这个过程通常包括数据收集、标注、预处理、数据划分和数据增强等多个环节。

数据收集主要来自公开数据、企业内部数据和外部数据。而接下来要重点展开的，是数据预处理、标注、划分和增强这几个步骤。

：这步说白了就是数据清洗。在机器学习里，它指的是识别并处理数据中的缺失值、异常值、重复值，以及格式不一致等问题。具体操作包括处理缺失值和异常值、特征选择与转换（比如数值化、标准化、归一化）、类别型数据处理（比如One-Hot Encoding或Label Encoding）、时间序列数据处理，以及处理数据不平衡等问题。实际应用中，需要根据具体的数据情况和需求灵活调整。数据清洗的目标只有一个：确保数据的质量和可靠性，为后续的建模分析打好基础。

：数据标注也可以叫数据注释，是开发机器学习模型时预处理阶段的一部分。简单说，就是对原始数据（图像、文本、视频）进行识别，并添加一个或多个标签，指定其上下文，让机器学习模型能做出准确的预测。人工标注员或专业工具会为数据集中的每个样本分配恰当的标签。这些标签可以是对图像中物体的识别、文本的分类，或是对视频中事件的描述。通过为数据集中的每个样本添加标签，就为机器学习的监督学习提供了训练数据。常见的标注算法和工具包括：

文本标注算法：命名实体识别（NER）、词性标注、依存句法分析、语义角色标注、文本分类。
图片标注算法：边界框标注、多边形标注、关键点标注、语义分割、实例分割。
视频标注算法：单帧标注、多帧或流标注、目标追踪、事件检测、3D点云标注。

在实际应用中，标注工具通常会结合这些算法，来辅助用户完成数据标注工作。一些比较流行的标注工具包括LabelImg、Labelme、CVAT等，它们提供了图形用户界面和自动化工具来简化这个过程。而视频标注则因为其复杂性，通常需要更高级的工具来处理时间序列数据和对象追踪。

：数据划分通常需要将数据集分为训练集、验证集和测试集三部分。常见的方法包括随机划分、分层划分、时间序列划分和K折交叉验证。在实际应用中，可以根据具体情况灵活调整。关键是要确保各个子集的数据分布尽可能一致，这样才能保证模型在各种情况下都能表现出良好的性能。

：这是一种专门用于改善模型性能和泛化能力的技术。它的原理是通过创建原始数据的修改版本来增加训练数据量。这些修改可以包括旋转、缩放、翻转或其他形式的变换，目的就是增加数据的多样性，帮助模型学习更多的特征和规律。常有的数据增强技术包括：图像数据增强（旋转、缩放、翻转、改变亮度、对比度等）、文本数据增强（同义词替换、随机插入、随机交换、随机删除等）、音频数据增强（改变音调、音量、速度、添加背景噪声等）以及数据插值等。随着生成式AI技术的发展，模型规模越来越大，也可以采用自监督数据生成、领域数据/专家数据等方式来实现增强。具体怎么选，还是要看模型的应用场景、需求和数据类型。

模型微调与训练

通常情况下，大语言模型可以通过构造良好的提示词来激发能力，比如上下文学习（ICL），或者更进一步的思维链（Chain-of-Thought）提示。但有些场景下，光靠提示词解决不了问题，或者需要的上下文提示太长了，这时候就要涉及模型的微调。常见的微调方式包括：使用无标签数据进行继续预训练、使用标签数据进行指令微调，以及通过强化学习进行对齐微调。

• 继续预训练
  ：优势是容易获取无标签数据，常见场景包括对LLM进行多语言支持扩展、增强垂直领域知识、增加模型对长文本的支持等。

• 指令微调
  ：这是一种有监督的微调方式。经过指令微调后，LLM可以展现出泛化到未见任务的卓越能力。要指令微调，首先得收集或构建指令格式的实例。构建指令数据集可以通过人工方式、利用基础模型自动生成，或者结合使用开源指令数据集。由于指令微调涉及多种任务的混合，平衡不同任务的比例就非常重要。一种广泛使用的方法是“实例比例混合策略”，即把所有数据集合并，然后按比例从混合数据集中采样每一种实例。

• 参数高效微调
  ：由于LLM包含大量参数，全参数微调的开销非常大。因此，业界提出了参数高效微调（PEFT），旨在减少可训练参数数量的同时，尽可能保持性能。常见的用于Transformer语言模型的方法有适配器微调（Adapter Tuning）、前缀微调（Prefix Tuning）、提示微调（Prompt Tuning）和低秩适配（LoRA）等。

模型合作

在企业的实际应用中，面对多样化的业务场景，通常会把通用基础模型和特定领域的专业模型结合起来用。通用模型胜在强大的自然语言处理能力、丰富的知识储备以及出色的任务分析和总结能力，能应对广泛的下游任务。而专业领域模型虽然适用范围相对较窄，但在特定领域经过深度训练和优化后，相关任务上的表现往往非常出色。

企业在实践中往往已经开发了一些针对特定业务需求的领域模型。如果能将两者的优势结合起来，就能构建出更灵活、高效的解决方案。常见的模型合作方式包括：

• 模型组合
  ：把领域模型的预测结果整合到基础模型中，扩展基础模型的知识并提高精度。例如，基础模型用来拟定任务框架和分解任务，领域模型处理分解后的具体任务，最后由基础模型把各个步骤的答案组织起来。

• 模型堆叠
  ：把领域模型和基础模型串联起来，形成一个更复杂的模型。通过增加模型深度，提高模型的复杂度。例如，基础模型从不同维度定义任务，领域模型从不同角度回答问题，最后由基础模型整理所有答案。

• 模型分工
  ：把用户任务分解，让大模型和领域模型各自专注于不同的任务。例如，基础模型处理开放式的自然语言处理任务，而领域模型则专注于特定行业的语言任务。

模型部署

大模型在部署时，通常会广泛使用模型压缩和推理引擎技术来优化性能和资源使用。这些技术的应用方式包括：

• 模型剪枝
  ：移除神经网络中冗余的权重或神经元，减少模型大小和计算需求，同时尽量保持模型性能。

• 量化
  ：把模型中的浮点数权重转换为低精度的表示（比如8位整数），以减少模型大小和加速计算，同时降低内存带宽需求。

• 知识蒸馏
  ：通过训练一个小型模型（学生模型）来模仿一个大型模型（教师模型）的行为，从而获得一个性能接近但更轻量级的模型。

• 推理引擎
  ：使用专门的推理引擎，如TensorRT、ONNX Runtime、TensorFlow Lite等，这些引擎针对特定硬件进行了优化，可以加速模型的推理过程。

通过应用这些技术，大模型可以更高效地部署在各种硬件平台上，满足不同场景对性能、速度和资源使用的需求。选择和应用哪些优化手段，通常取决于目标应用的具体要求和运行环境的约束。

本文介绍了构建企业级专有大模型的关键技术和步骤，下一期我们再来聊聊企业级专有大模型应用的关键技术，希望对您有所帮助。