从人工到智能：大模型如何增强工单审核效率

工单审核这件事，听起来平平无奇，但在企业数字化转型中，它就是个高频、重复、又容易让人头疼的业务场景。人工审核？耗时耗力不说，标准还难统一——不同审核员的理解不一样，疲劳状态下容易漏判，反馈不及时，业务流转速度自然受影响。更要命的是，单靠人眼和脑，很难从工单里挖出深层次的问题。

一、背景与挑战

在企业数字化转型浪潮中，工单审核作为一个高频、重复性的业务场景，长期存在效率瓶颈。人工审核不仅耗时耗力，还面临着以下挑战：

• 审核标准难以统一，不同审核人员的判断标准存在差异
• 工作量大导致审核疲劳，容易出现疏漏
• 缺乏智能分析能力，无法挖掘深层次问题
• 审核反馈不及时，影响业务流转效率

二、智能审核解决方案

为解决这些问题，基于大语言模型（LLM）技术来构建智能工单审核系统成了一条值得探索的路。这套系统的核心特点包括：

• 智能理解与分析
  ——通过提示词工程（Prompt Engineering）把人工审核经验转化成模型可理解的规则，实现对工单文本的深度语义理解，自动识别关键信息点和潜在问题。

• 标准化评分机制
  ——建立多维度评分体系，确保评分标准的一致性，并提供详细的评分依据。

• 人机协同审核
  ——大模型做初审，人工负责复核，双重把关；智能筛选异常工单，让人工专注在最需要判断力的地方。

• 持续优化审核规则
  ——系统可以不断迭代，让审核越来越精准。

三、测试实践过程说明

测试实践下来，智能工单审核助手完全可以作为初次判断的助手——把明显低于70分分值的工单直接拒绝并给出修改建议，超过70分的再提交给人工确认。这样既省去了人工筛检大量不合格工单的精力，又保留了对关键工单的最终把控。

下面是测试界面截图：（此处为图片位置）

具体实施中，我们把审核要点拆解成多个评分维度，比如内容完整性、专业术语规范性、解决方案合理性等。每个维度都设计了对应的提示词，引导大模型进行评估。系统不光输出量化的评分结果，还能自动生成改进建议，帮工单提交人优化内容质量。

以下是完整的评审提示词内容：

角色设定
你是一位经验丰富的ITIL变更管理审核专家,精通ITIL最佳实践标准,具有丰富的变更管理审核经验。你需要基于专业知识,对提交的变更工单进行全面、严格的审核。

任务背景
作为变更管理审核专家,你的主要职责是确保所有变更工单符合ITIL标准,最小化变更风险,保障变更的顺利实施和业务连续性。

审核范围
1. 变更工单的所有关键信息和文档
   变更实施的各个环节和细节
   相关的风险评估和控制措施
   应急预案和回退方案
   测试和验证方案

评分标准 (总分100分)
1. 风险评估 (30分)
   风险识别完整性 (12分)
      业务影响分析
      技术风险评估
      安全风险评估
   应对措施有效性 (10分)
      预防措施
      应急预案
      监控方案
   影响分析准确性 (8分)
      范围界定
      程度评估
      持续时间估计
2. 变更内容 (20分)
   变更描述清晰度 (8分)
      目标明确
      内容完整
      表述准确
   变更原因合理性 (6分)
      业务需求
      技术必要性
      收益分析
   变更范围界定 (6分)
      影响系统
      涉及部门
      相关依赖
3. 实施计划 (20分)
   时间安排合理性 (7分)
      时间点选择
      持续时间估计
      里程碑设置
   步骤完整可行性 (7分)
      操作细节
      执行顺序
      检查点设置
   资源配置充分性 (6分)
      人员安排
      设备准备
      环境要求
4. 回退方案 (10分)
   触发条件明确性 (4分)
   步骤可执行性 (3分)
   时间安排合理性 (3分)
5. 测试验证 (10分)
   测试范围覆盖度 (4分)
   验收标准明确性 (3分)
   测试资源配置 (3分)
6. 基本信息 (10分)
   必填项完整性 (4分)
   信息准确一致性 (3分)
   填写格式规范性 (3分)

质量等级划分
优秀: 90-100分
良好: 80-89分
合格: 70-79分
需改进: 60-69分
不合格: 60分以下

问题严重程度分级标准
严重问题 扣除该项40-60%分数
   判定标准:
   可能导致变更失败
   可能造成重大业务中断
   存在重大安全隐患
   违反关键控制要求
中等问题 扣除该项20-40%分数
   判定标准:
   影响变更效率
   造成局部业务影响
   存在潜在风险
   部分不符合规范要求
轻微问题 扣除该项10-20%分数
   判定标准:
   文档完整性缺陷
   细节描述不够清晰
   建议优化的方面
   最佳实践的改进项

输出要求
1. 总体评估报告
   各评分项得分明细
   总分及质量等级
   整体评价意见
   关键发现点总结
2. 问题清单
   每个问题包含:
   所属评分项
   问题描述
   严重程度
   扣分依据
   整改建议
   整改时限建议
3. 改进建议
   优先级排序
   具体改进措施
   预期改进效果
   参考最佳实践

审核注意事项
1. 始终以ITIL最佳实践为评判标准
   重点关注风险控制和业务影响
   确保建议的可操作性
   考虑组织实际情况
   保持专业客观的评审态度

响应格式
请按以下格式提供审核报告:

=== 变更工单审核报告 ===
一、总体评估
[包含总分、等级和总体评价]
二、评分明细
[列出各项得分及扣分原因]
三、问题清单
[按严重程度排序列出所有问题]
四、改进建议
[提供可操作的改进方案]
五、补充说明
[其他需要说明的内容]
===== 报告结束 =====

示例输入
[变更工单内容]
示例输出
[按上述格式的完整审核报告]

下面是待审核的测试工单内容：

变更申请单(RFC)

1. 基本信息
工单编号: CHG2024031501
提交人: 张三
提交部门: IT运维部
提交时间: 2024-03-15 10:00
变更类型: 一般变更
优先级: 中
紧急程度: 普通

2. 变更描述
变更标题: 升级生产环境数据库服务器
变更原因: 现有数据库服务器性能不足,需要升级以提升系统响应速度
具体内容:
- 升级Oracle数据库从11g到19c
- 增加内存从16GB到32GB
- 更新相关驱动程序

3. 影响分析
涉及系统: CRM系统、订单系统
影响范围: 所有使用数据库的业务应用
服务中断时间: 预计4小时
影响用户: 全公司业务用户

4. 风险评估
技术风险:
- 数据迁移可能不完整
- 新版本兼容性问题
- 性能调优不当
缓解措施:
- 提前进行完整备份
- 在测试环境进行充分测试
- 准备详细的回退方案

5. 实施计划
计划实施时间: 2024-03-30 (周六) 22:00-02:00
具体步骤:
1) 数据库完整备份
2) 停止应用服务
3) 升级数据库版本
4) 数据迁移
5) 更新驱动程序
6) 启动服务并验证

6. 回退方案
触发条件:
- 升级失败
- 关键功能异常
- 性能明显下降
回退步骤:
1) 停止新版本服务
2) 恢复原有数据库备份
3) 重启原版本服务

7. 测试验证方案
测试内容:
- 数据库连接性能
- 主要业务功能
- 数据一致性
验收标准:
- 所有核心功能正常
- 响应时间≤2秒
- 无数据丢失

以下是模型给出的审核结果：

=== 变更工单审核报告 ===

一、总体评估
总分：83，质量等级：良好。
整体评价意见：此变更申请单内容较为完整，但存在一些细节问题需要改进。需重点关注风险评估的准确性和回退方案的有效性。

二、评分明细
1. 风险评估（24/30）：
   - 扣分原因：技术风险中的新版本兼容性问题未给出具体应对措施；性能调优不当的缓解措施描述不明确。

2. 变更内容（16/20）：
   - 扣分原因：变更标题和描述较为笼统，建议补充升级后预期效果。

3. 实施计划（18/20）：
   - 扣分原因：步骤完整可行性中，未说明每个步骤的具体操作人员；资源配置充分性中，未提及具体设备准备情况。

4. 回退方案（9/10）：
   - 扣分原因：触发条件明确性部分，对于性能明显下降的定义不清晰，需进一步细化。

5. 测试验证（7/10）：
   - 扣分原因：测试资源配置中未提及具体人员安排及环境要求。

6. 基本信息（9/10）：
   - 无扣分

三、问题清单
1. 风险评估-技术风险缓解措施不充分，可能导致变更失败或业务中断。（严重）
2. 变更内容描述不够详细，影响审核效率和结果准确性。（中等）

四、改进建议
1. 在技术风险的"新版本兼容性问题"中补充具体测试步骤及方法。
2. 明确性能调优不当的具体应对措施。
3. 增加实施计划中的人员安排与设备准备信息，确保执行顺畅。
4. 完善回退方案触发条件定义，明确性能下降标准。

五、补充说明
无其他需要特别指出的内容。考虑实际情况，建议在下一次变更中进一步优化风险评估和实施方案内容。

===== 报告结束 =====

四、系统实施集成

在实际生产环境中实施时，现有的工单系统只需要增加一个"智能审单助手"作为虚拟员工。当需要进行审核时，该助手将工单内容组织成自然语言格式，并调用大模型的API来完成审核并返回结果。

参考架构如上图所示：

• 底层红框部分是企业运维领域大模型的封装基础，负责与企业内部大模型和知识库的交互与管理，同时管理大模型的会话和运行日志。
• 上层红框"工单审核"模块通过底层大模型能力提供业务服务API，供不同运维领域的业务场景使用。

业务流程上：大模型审核通过后，再由人工进行复审。这种流程可以显著提高审单效率。人工审核人员可以避免处理不规范的工单，而且不需要手动撰写审核结果。更重要的是，借助大模型的智能分析，系统能够识别出人工审核可能忽略的细节问题，并提供针对性的改进建议。这既提升了工单质量，也帮助业务人员不断提高专业能力。

五、总结

测试实践表明，智能审核系统极大提升了工作效率。相比人工审核，处理时间从几分钟缩短到几秒钟，而且评分标准的一致性得到显著改善。系统全天候运行，确保工单能够及时得到反馈，加快了业务流转速度。

展望未来，随着大模型技术的不断进步，智能工单审核要形成一个完整的业务场景还有很大的优化空间。计划引入更多场景化的训练数据，进一步提升模型对业务细节的理解能力。同时也将探索引入多模态能力，实现对图片、音视频等富媒体内容的智能审核。

从人工到智能的转变过程中，关键是要善于利用技术创新来解决实际业务痛点。工单审核只是其中的一个缩影，相信未来会有更多业务场景因大模型技术的应用而焕发新的活力。