企业领域知识大模型应用的知识工程实践

1、模拟和复制“人类专家”的智能行为一直是人工智能的研究重点

在企业运营和社会治理活动中，有一类角色被称为“领域专家”。这类角色的工作，通常建立在个人或组织长期积累的专业知识和行业经验之上，通过对其他岗位或部门的输入——比如工作文件、对话等——进行检查、分析和评估，然后给出专业的评价或决策建议。工程技术评审、财税顾问、审计风控专员、律师、医生，都属于这种工作模式。

从知识工程的角度切入，这些领域专家的工作有不少共性特点，比如：

1. 知识密集型
   ：高度依赖专家的隐性知识和显性知识。隐性知识包括多年积累的经验、直觉和判断力，显性知识则涵盖行业标准、法规和最佳实践。

2. 结构化与非结构化知识的结合
   ：评审过程通常需要结合结构化的数据和规则（比如设计规范检查表、合规检查表），以及基于语义理解的专业判断。

3. 上下文敏感性
   ：专家需要根据实际任务的具体情况和上下文，灵活地解释和应用知识，而不是死板地固守规则。

4. 推理过程
   ：有些评审工作涉及复杂的专业计算和推理，包括归纳、演绎和类比推理，以得出结论和建议。

5. 知识更新和学习
   ：随着行业变化，专家需要不断更新自己的知识库，学习新规则、新技术和最佳实践。

6. 跨领域知识整合
   ：专家工作常常需要整合多个领域的知识，比如技术、法律、财务等。

7. 决策支持
   ：最终目的是为管理层或工作对象的决策提供支持，因此需要把复杂的专业知识转化为清晰的建议。

8. 知识表达和传递
   ：专家要能清晰地表达评审结果，并有效地将知识传递给其他利益相关者。

这些特点，决定了领域专家能在复杂的企业运营中发挥关键作用——为决策提供专业支持，解决棘手问题，推动创新。但问题来了：这些宝贵的专业知识和经验，到底该怎么高效地捕获、传承和放大？这始终是企业和AI研究者们关注的重点。上世纪60年代，斯坦福大学就开发了首个聚焦领域知识和启发式规则的专家系统Dendral。此后数十年，AI领域在模拟专家工作方面确实取得了一系列成果，可实际应用总是差强人意。究其原因，主要有这么几点：

1. 知识获取的难度
   ：从人类专家那里提取和编码知识，耗时且复杂。专家自己往往也很难清晰表达他们的隐性知识和直觉判断。结果就是知识库构建成本高昂，完整性和准确性也难以保证。不少专家系统项目，就是因为无法有效获取和更新知识而失败的。

2. 规则的僵硬性
   ：基于规则的系统，处理复杂、动态变化的情况时太僵硬了。规则之间可能有冲突，而且难以覆盖所有可能的情况。比如金融风控领域，只靠固定规则的系统常常没法及时应对新型欺诈手段。

3. 缺乏通用性和可迁移性
   ：为特定领域开发的专家系统，通常很难用到其他相关领域，即使问题相似也得重新开发。这大大增加了开发和维护成本，限制了它在企业中的广泛应用。

2、大语言模型对于实现领域专家系统的新突破

利用预训练大语言模型来应对传统专家系统那些难以克服的挑战，现在已经成为一条潜力巨大的发展路径。优势在哪？

1. 知识获取的突破
   ：LLM能从大量非结构化文本中自动提取知识，大大降低了传统专家系统面临的知识获取难度和成本。通过微调或提示工程，还能让LLM快速适应特定领域的专业知识。

2. 灵活处理不确定性和模糊
   ：LLM的自然语言理解能力，可以基于上下文和语境，更好地处理现实世界中的不确定性、不一致和模糊情况，克服了传统规则系统的僵硬性。

3. 利用多步推理实现复杂逻辑
   ：通过合适的提示词和Agent技术，LLM能执行多步推理过程，把复杂的逻辑拆解为简单的推理——这更接近人类专家的思考方式。

4. 跨领域知识整合
   ：大参数规模的预训练LLM已经把大量人类知识“压缩”进了模型内部，再结合专业知识库和RAG，LLM就能在不同领域之间建立联系，提供跨多学科的专业分析能力。

5. 减少幻觉、持续学习和快速更新
   ：通过RAG，LLM可以利用持续更新的知识库，确保最新的知识能第一时间在实际任务中应用。

6. 自然的人机交互
   ：LLM的自然语言生成能力，能大大改善传统专家系统的使用模式和用户体验，让非专业人士也能轻松使用。

3、大语言模型应用开发中的知识工程关键过程

以工程项目（比如建筑、交通、能源、制造）的专业技术评审任务为例，如果要实现初级基础支持级（I级）人工智能评审支持，一般有这么几个实现过程（关于大模型领域专家评审应用的成熟度分级，后面会解释）：

1. 文档分析
   ：依靠专业经验，分析并设计入库工程文件的切分、分区、索引策略和元数据策略。这个过程可以用LLM+RAG系统辅助完成。

2. 检查表结构化
   ：把现有的纸质或电子版检查（规则）表，转换成结构化的数据格式，比如JSON/CSV/Excel规则表。每个检查项包含查询描述、筛选条件、计算规则、判别规则、输出要求等信息，形成结构化规则模板。

3. 提示工程
   ：设计提示模板，利用程序把检查表条目转化成大语言模型能理解和执行的指令（提示词）。对于复杂处理逻辑的规则，要拆解成多步任务——这一步叫“提示词动态装配技术”。举个例子：“第一步：请在[xxxx文档]中查找满足[筛选条件]的[数据项1、数据项2、数据项n]；第二步：根据[计算规则]完成计算；第三步：依据[判别规则]输出最后结果。”

4. 执行筛查流程
   ：逐项执行检查表中的规则条目。对每个规则条目或结合多条规则的返回结果，LLM可以给出“符合”“不符合”或“需进一步评估”的初步判断。LLM还能提供简短的解释或引用相关文档段落。

5. 结果汇总
   ：生成一份初步筛查报告，列出所有检查项及其评估结果，突出显示需要人工复查的条目。

6. 人机协作界面
   ：设计交互界面，让人类专家查看、修改和确认LLM的初步筛查结果。同时提供反馈机制，记录人类专家的修改和反馈，用于后续微调或提示词优化，不断改进系统准确性。

这种方法的优势很明显：可以批量、快速处理大量文档和检查项；提供一致性的初步筛查结果；提供了一种规则/程序分离的新方法；能捕捉到人类可能忽视的细节；为人类专家提供一个良好的起点，让他们集中精力处理需要深入评估的项目。

4、不同类型规则的提示词知识表示

在专业场景下，不同类型的规则需要不同的定义和提示词表述方法。以“输变电工程领域”为例：

1. 数值型规则
   ：定义明确的数值范围或阈值。比如“110kV变电站主变压器容量应在40MVA到180MVA之间”“输电线路杆塔基础深度不得小于2.5米”。实现方式：用条件语句或简单数学表达式表示。

2. 分类型规则
   ：定义明确的类别或选项列表。比如“220kV变电站主变压器类型必须是油浸式或干式”“架空输电线路导线类型应为钢芯铝绞线、全铝导线或钢芯铝合金导线”。实现方式：用枚举类型或预定义列表。

3. 逻辑关系规则
   ：使用if-then结构或逻辑运算符。比如“如果变电站位于海拔3000米以上地区，则必须选用防寒型设备”“当主变容量大于等于180MVA时，必须配置第三绕组”。实现方式：用条件语句或简单判别规则。

4. 复合规则
   ：结合多个简单规则。比如“500kV变电站的主变压器容量应在750MVA到1000MVA之间，且必须为自冷式，同时具备有载调压功能”。实现方式：用多个简单条件组合的逻辑结构。

5. 时序或过程规则
   ：描述一系列步骤或时间相关的条件。比如“变电站设备安装后，必须先进行绝缘测试，然后进行负荷试验，最后才能投入运行”。实现方式：直接用提示词，特别复杂的可能需要状态机或工作流引擎。

6. 模糊或定性规则
   ：使用不精确但专业的描述。比如“变电站选址应考虑周边环境，尽量远离居民区”“输电线路走廊应尽可能避开生态敏感区”。实现方式：这类规则需要LLM的自然语言理解能力。

7. 参照型规则
   ：引用特定标准或文档。比如“变电站防雷设计必须符合GB 50057-2010《建筑物防雷设计规范》的要求”。实现方式：链接到具体标准的数据库，或用LLM理解和应用这些标准。

8. 计算型规则
   ：包含特定计算公式。比如“变电站接地网的接地电阻应满足：R ≤ 0.5 Ω”。实现方式：需要实现相应的计算功能，对复杂工程计算开发专门的算子操作。

经过这样的规则梳理，可以把专业的领域知识提取出来，注入知识库，利用RAG实现专业评审规则应用；也可以作为精调训练数据，训练专门的领域大模型，完成专业评审任务。

下面是一个基于评审指导条目，输入工程设计文件内容进行专业评审并输出报告的提示词模板：

任务：根据提供的评审指导对工程设计文件进行评审。

评审指导：
1. [关键点1]: [具体要求]
2. [关键点2]: [具体要求]
...

工程设计文件内容：
[在这里插入工程设计文件的相关部分]

请对每个关键评审点进行分析，并给出评审意见。格式如下：

关键点：[关键点描述]
评审意见：[您的评审意见]
建议：[改进建议，如果有的话]

请确保您的评审全面、客观，并提供具体的改进建议。

通过这种方法，LLM可以辅助生成初步的评审意见，然后由专业人员进行审核和完善。需要强调的是，在当前技术水平下，LLM的输出始终应该被视为辅助工具，最终的评审结果仍需要专业人员的判断和确认。

5、基于大模型的领域专家知识应用技术成熟度

大模型可不是阿拉丁神灯，把所有问题都抛给它解决是不现实的。考虑到技术发展的客观规律，建议把领域专家知识应用的技术成熟度划分为5个等级：

1. 初级 - 基础支持级
   ：能理解和回答关于特定领域的基本问题；提供简单的文档摘要和关键词提取；基于预定义的检查表进行初步筛查。

2. 中级 - 辅助分析级
   ：能识别文档中的关键信息和潜在问题点；提供基于规则的初步合规性检查；生成结构化的评审报告草稿；能回答更复杂的领域相关问题。

3. 高级 - 智能评估级
   ：进行深度文本分析，识别潜在风险和机会；基于历史案例和最佳实践提供建议；生成详细的评估报告，包括论据和推理过程；能处理跨领域的复杂问题。

4. 专家 - 决策支持级
   ：提供基于多维度分析的决策建议；模拟不同场景和潜在结果；整合外部数据源进行更全面的评估；能与人类专家进行高级对话，解答复杂查询。

5. 精英 - 自主协作级
   ：主动识别需要人类专家介入的复杂情况；学习并适应新的行业趋势和规则变化；协调多个AI助手和人类专家的协作；提供持续的知识管理和组织学习支持。

对于知识管理基础好的企业，基于当前开源大语言模型，结合专业的知识工程能力和最佳实践，开发出达到3-高级、甚至4-专家级的企业领域知识应用是完全可行的。那些认为“企业大模型”这也干不了、那也干不好的，真实原因很可能不是大模型不行，而是企业知识工程能力不匹配而已。