探索大型语言模型在电能行业的能力与局限

大型语言模型在电能行业的能力与局限

大型语言模型（LLM）最近火得一塌糊涂，它们在自然语言处理和五花八门的任务中展现出的能力，简直让人眼花缭乱。各行各业对这类基于基础模型的人工智能工具都充满热情，电能行业自然也不例外。但热情归热情，咱们得冷静下来看看，这些LLM到底在提升电能行业运营方面有多大能耐，又有哪些硬伤。这篇文章就是想把这些事儿掰扯清楚，顺便指出几个值得深挖的研究方向。说白了，未来的关键工作无非这几块：怎么设计一套专门用于微调LLM的数据收集系统、怎么把电力系统特有的工具嵌入到LLM里，以及怎么利用检索增强生成（RAG）来建知识库。这几样搞定了，LLM在安全关键应用中的响应质量和可靠性才能上一个台阶。

1 引言

自注意力机制和多头注意力机制作为Transformer架构的核心组件问世以来，AI研究的方向就被彻底改变了。尤其是它们在理解序列数据（特别是文本）方面的作用，简直功不可没。这些突破成了大型语言模型（LLM）的基石，这类模型最牛的地方在于，不用你明明白白写代码，它就能执行一大堆任务。Transformer架构在捕捉长程依赖关系方面的可扩展性和效率，直接催生了生成预训练变压器（GPT）模型。因为太全能了，LLM很快在好多行业里找到了用武之地，研究人员也正热火朝天地探索它在电能行业里的潜力。虽然研究表明，LLM在生成定制代码、利用RAG技术回答技术问题、合成电网数据、用深度强化学习找最优潮流解决方案这些事儿上确实有两把刷子，但关于数据所有权、隐私和安全保障的担忧也跟着来了。

电能行业是现代社会的命脉。电力消费不只是社会行为和繁荣的晴雨表，更是支撑工业和商业经济活动的根本。在全球气候变化压力山大、电力需求又蹭蹭上涨的背景下，电力行业正面临着一场大变革：前所未有地集成大量传感器、越来越多地接纳太阳能和风能这类可变可再生能源、还得整合氢能、电动车和大型计算负载这样的新技术。与此同时，客户对电力供应质量和可靠性的期望也越来越高。这种扩张导致设备、装置以及相关数据量呈指数级增长，给电力系统运营商和公用事业公司带来了巨大的挑战——人员没增加，复杂性却翻了倍。新知识和瞬时数据的快速积累，已经超出了人类不借助外力时的处理能力。这些变化把电力系统推到了一个过渡阶段，必须适应这些新技术，同时还得化解它们带来的麻烦。

在这种背景下，LLM给电能行业带来了很有前途的价值，特别是它能解释人类的提示、缓解感官过载，还能在管理极端天气事件和应对各种不确定性风险时提供近乎实时的指导。所以，有必要揭个底，看看LLM在独立执行、或者通过附加功能来委派现实电力工程任务时，到底有哪些能耐和短板。为此，我们利用生产级的LLM（特别是GPT模型）进行了一轮严格的测试和分析，开始全面地探索LLM的能力，看看它作为人与电能系统之间的接口，到底准备得怎么样了。此外，我们还研究了怎么更好地推动LLM在新时期的整合，同时考虑它潜在的局限。最后，我们展望了一下电能行业未来的研究机遇。

（注释：大型语言模型（LLMs）在电能行业中的能力和局限性。图中分为四个主要部分：LLMs的优势（Strengths）、能力（Capabilities）、局限性（Limitations）和弱点（Weaknesses）。

1. 基础性（Foundational）

- 语言模型及其在权重学习中的应用

- 提示工程及上下文学习

2. 附加功能（Add-on）

- 通过工具嵌入增强能力

- 多模态能力

1. 电力系统相关性分析

2. 野火风险识别

3. 设备损坏检测

4. 现场危险识别

5. 电力系统文档分析

6. 负载预测

1. 价格预测

2. 电力流相关问题

3. 确保电力系统安全运行

1. 特定领域数据的可用性和处理挑战

2. 缺乏安全保障措施

3. 不适应处理物理问题

4. 潜在的网络安全和隐私威胁暴露

综合

图中将电力系统和LLMs整合在一起，通过LLMs的多功能性来管理电力系统的复杂性和变化，同时指出了其潜在的应用和局限性。）

2 大型语言模型填补空白的能力

这一节，咱们来聊聊LLM在解决电力工程挑战方面的能力，具体内容见图2，详细的实验过程在补充信息的第SI.1-8章里。我们深入研究了LLM在执行各种电气工程特定任务时的准确性，比如电力流分析、最优电力流分析、预测、图像和模式识别，以及利用自定义的领域知识库回答问题。虽然重点放在GPT模型系列上，但大多数观察结果对其他主流模型也适用。这里，我们展开讲讲图1里展示的LLM的四个关键优势，并详细说明这些优势怎么转化成了执行电力工程任务的核心能力。

图2：LLM在电能行业中的应用。该图展示了LLM在电力系统中的四个不同应用。（A）强调了LLM的多模态能力和选择适当提示在绝缘子缺陷检测中的应用。（B）说明通过权重学习微调的语言模型，并通过提示工程技术进一步增强，可用于时间序列预测。（C）展示了LLM的工具嵌入能力以及提示工程，可以用于分析野火模式以进行风险评估。（D）展示了LLM的自然语言处理优势及利用RAG生成对LLM可能未见过的文档的精确响应。

（注释：LLM在电能行业中的四个具体应用，分别是绝缘子缺陷检测、负载预测、野火风险识别和使用RAG进行知识库分析。

(A) 绝缘子缺陷检测：图片展示了带有明显裂痕或破损层的绝缘子。根据提供的上下文信息，任何破损层都意味着状态为“故障”，因此可以推断出图中绝缘子的状态也为“故障”。

告诉我这个的状态。

图片显示一个绝缘子的某一层上有明显的裂痕或破损。根据其他图片提供的上下文信息，任何破损层的状态都被认为是“故障”，因此可以推断出这张图片中绝缘子的状态也是“故障”。

(B) 负载预测：图中展示了三种预测模型的对比，包括LLM建议的线性模型、带有文本嵌入的预测模型和微调后的LLM预测模型。微调后的LLM预测模型的平均绝对百分比误差（MAPE）最低，为8%。

(C) 野火风险识别：展示了利用LLM的工具嵌入能力分析野火模式并将其叠加在输电线路基础设施地图上的应用，从而识别出处于风险中的输电线路。

(D) 使用RAG进行知识库分析：展示了LLM如何利用RAG生成对文档中问题的精确回答的能力。例子中，问题是“什么是机会停电？”，LLM详细解释了机会停电的定义和条件。

什么是机会停电？

机会停电是指当某个特定资源因强制停电而被迫离线，并且该资源在接下来的两天内已经被批准进行计划停电时，ERCOT可以批准的一种特殊类别的计划停电。当一个已经获得批准的停电计划的资源在接下来的两天内发生强制停电时，该资源可能会保持离线状态，并在计划的停电时间前启动已经批准的停电。传输设施的机会停电也可以在某个特定资源因强制、计划或维护停电而离线时获得ERCOT的批准。）

2.1 语言模型和权重学习

LLM的基础能力就是能从文本输入（提示）生成语义上有意义的文本输出（响应）。虽然预训练数据集到底包含啥还不大清楚，但根据我们的研究，现在的语言模型是能给电力工程领域的特定问题提供逻辑性回应的（具体见第SI.5章）。这种能力很大一部分可能来自模型庞大的参数数量，某些信息被直接“记住”了。Transformer架构的高效处理机制，让这些被记住的信息能快速检索出来。这种记忆和检索能力，有时也被叫做权重学习。基础LLM模型通常允许用户通过“微调”这个过程，在一个新的信息语料库上完善模型，我们已经在负载预测任务中用了这一招（见图2(B)，详情见第SI.6章）。这个过程能让LLM中的模型参数发生变化。

LLM对电力系统的影响是深远的。它能促进电力系统数据、软件、工具和跨领域数据集之间的交互，从而提高电力行业的运营效率，并支持决策过程。利用它的推理能力，LLM可以实现实时诊断（第SI.1章）、按需分析，还能增强传统控制中心的操作能力。

2.2 提示工程和上下文学习

LLM生成响应的效果，很大程度上取决于你提问或提示的结构和风格，这一套操作就是所谓的提示工程。提示工程能帮电力工程师在解决复杂问题时，拿到更有意义的回答，而简单的提示往往得不到想要的响应（见第SI.2和SI.4章）。在这方面，最著名的技术包括思维链提示和检索增强生成（RAG）。如图2(D)所示，LLM能筛选包含大量文本信息的文档，这在电力系统操作这种快节奏的工作环境中特别有用（见第SI.5.2章）。

在提示工程的研究中，LLM最让人惊讶的能力之一，就是它能基于少量示例提示进行上下文学习，如图2(A)所示（见第SI.3章）。说得再准确点，LLM似乎能从提示中推导出模式或学习规则，完全不用对底层模型做任何额外修改，然后就能用学到的模式和规则去生成正确的响应（在第SI.6章的负载预测示例里也有体现）。就算LLM的性能可能不是最优的，这种基于有限数据学习的能力对电力工程师来说也相当宝贵，因为电力系统的数据集通常受保护，不那么容易拿到。LLM生成的响应通常是不稳定的，但我们可以把自定义的领域知识作为提示工程的一部分，来减少这种变异性。

2.3 通过工具嵌入增强能力

LLM本身是个复杂的语言处理单元，但它的能力可以通过加入更多的处理单元来增强。工具嵌入就是这种增强能力的一种：训练LLM把某些任务委派出去。举个例子，我们注意到GPT-4会把写文本文件作为优先事项，利用嵌入的工具去执行代码，然后推断生成的结果（如第SI.1、SI.2章中的示例所示）。如图2(C)所示，LLM利用它的工具嵌入能力，提取野火区域并叠加在输电线路基础设施图上，用来识别处于风险中的输电线路（第SI.2章）。

这种工具嵌入能力对电力系统工程师来说简直是神器，因为很多应用都需要解决非线性非凸问题。电力系统工程师平时会用到基于物理的建模和仿真工具，比如PSS/E、PSCAD、PowerWorld和CyME，这些工具都可以由LLM调用来解决复杂问题。工具嵌入能力可以通过API调用来实现。它还促进了典型的时空时间序列电力系统数据（比如SCADA数据）进行按需远程处理（见第SI.1章）。

2.4 增强的多模态能力

很多时候，电力工程师需要处理非文本和非数字数据（见第SI.3和SI.4章），比如时间序列测量数据、图像或视频。基础LLM可以跟其他模型结合，获得多模态处理能力，这样就能对各种非文本格式的信息进行上下文化处理。这些能力主要通过语义嵌入来实现，跟自然语言处理中常用的嵌入差不多。所以，大型语言模型（LLM）在处理多模态数据方面，表现确实很出色。值得注意的是，最前沿的计算机科学文献正在努力增强LLM的多模态输入输出能力。用不了多久，多模态能力应该会成为大多数现成LLM的原生功能，下一代应用程序将真正利用这些能力。在我们的实验里，LLM在解释图像数据方面表现得相当熟练。如图2(A)所示，LLM就是利用多模态能力和上下文学习能力，诊断出了绝缘子图像中的缺陷（见第SI.3章）。

3 LLM在电能行业应用中的局限性

3.1 特定领域数据的可用性和处理的挑战

在电力行业应用大型语言模型（LLM）的一个大难题，就是LLM预训练中缺乏特定领域的数据。由于隐私问题和法规限制，LLM的预训练只能依赖公开可用和经过许可的第三方数据集。所以，研究界现在面临一个开放性问题：怎么构建一个庞大的电力系统专用训练数据集，同时又能避开美国联邦电力法案第215A(d)节中关于关键能源/电力基础设施信息（CEII）的规定？在这种现实约束下，我们可以用较小的、高质量（标注过的）数据集来做微调，这些数据集能帮用户执行电力流分析（见第SI.7章），甚至能防止LLM生成不安全的响应（见第SI.8章）。根据使用场景的不同，这些微调数据集可能需要经过处理，防止隐私泄露，并转换成对下游任务微调最有效的格式。把有限的高质量数据作为提示的一部分，加上LLM的上下文少样本学习能力，可能会提高性能，已经有一些研究人员在探索这种可能性了。

另外，电力系统数据大部分来自多种测量仪器的长期时间序列数据，这些数据可能不是自然语言形式的。这就需要设计定制化的、更高效的嵌入算法。还有，LLM每次查询只能处理有限量的信息——也就是上下文窗口，而电力系统信号可能表现出长期依赖性，由于这些限制，这些依赖性可能捕捉不到。

3.2 缺乏安全保障措施

在电力系统的语境下，安全包含的范围很广，涉及设备安全、人员安全、终端用户安全，以及电力系统的安全运行。集成到电力系统中的LLM，必须遵守这些安全标准。首先，由于生成模型的特性，LLM得到的结果是概率性的，所以响应的正确性不能完全保证。其次，LLM通常不提供它输出的不确定性估计。电力系统运行必须遵守非常严格的安全性能指南，比如电压幅度限制。这些电力系统操作要求，LLM通常很难满足。在我们的实验里，我们观察到提示的细微变化，就导致LLM生成了不同的响应和代码，这可能导致错误的结果。我们还发现，有不同方法能诱使LLM提供不安全的响应（见第SI.8章）。缺乏定制的安全保障措施，也可能阻止我们执行电力系统里一些必要的任务。比如在我们的实验中，我们没法只靠视觉输入就预测野火传播，或者进行审计。此外，由于LLM是在大量数据上训练的，我们得确保少数群体的声音不会被淹没。领域专家通过提供实时指导和标记问题内容来训练LLM，扮演着重要角色。

所以，虽然LLM能极大地造福电力行业，但它们也带来了跟传统软件系统不同的独特风险。需要一个治理框架来减轻这些风险。比如，美国国家标准与技术研究所（NIST）的AI风险管理框架，就提供了基于负责任AI普遍原则的自愿指南。创建一个安全的基于LLM的系统，是一个关键的研究领域，尤其是在电力行业这类安全关键基础设施系统中。

3.3 不适应处理物理原则

能源生产和消费是一个由一系列物理原理支配的复杂过程，比如麦克斯韦方程、机械动力学，还有人类行为。用LLM来建模人类行为，特别是在价格预测和需求响应政策设计这些任务里，存在巨大的挑战。这可能是因为价格是负荷、人类决策和市场规则三者复合的结果。用更多数据，可能会改进可再生能源发电预测、价格预测（见第SI.6章）以及对人类行为的理解，这对电网运行有好处。虽然已经有人努力把多个专门的注意力机制用于决策，这也可以用于电力流分析（见第SI.7章），但用于控制过程的LLM是高度专业化的。

基础LLM通常因为模型的黑箱性质而缺乏可解释性。在电力系统里，这可能会成为问题，因为经常会出现意外情况。所以，LLM的可解释性将是构建可解释、透明系统的关键组成部分。这也让我们相信，现有的、基于物理驱动的复杂专用工具，对电力工程师来说仍然不可或缺。通用的LLM可以作为有价值的助手，总结和发现决策的含义，并通过工具嵌入帮助电力工程师，但不深入复杂的过程。

3.4 潜在的网络安全和隐私威胁

在把大型语言模型（LLM）集成到电力系统里时，网络安全和隐私是第一大顾虑。即使在本地LLM的设置中，也存在潜在的网络漏洞。比方说，用与电力系统相关的公司特定数据来构建LLM，可能会无意中让组织暴露在特权提升攻击、后门利用和敏感训练数据被提取的风险中。那些用于安全关键任务（比如价格预测，见第SI.6章）的在线LLM，会成为网络攻击的频繁目标。此外，专门的提示本身就可能被视为商业机密，恶意行为者可能会把它们泄露出去（见第SI.7章）。

随着LLM越来越多地集成到电力系统中，对数据隐私的担忧也越来越大。建立标准协议，确保数据在用于训练前被充分匿名化和清理，去掉个人身份信息，变得至关重要。但在某些情况下，个人或群体信息是上下文相关的，这仍然是个挑战。

4 未来前景

LLM（比如GPT模型）在通过自然语言输入解释电力工程任务方面，展现出了巨大的潜力。通过这项研究，我们测试了LLM在电力行业应用中的能力和局限性。我们讨论了LLM在回答一般电力系统查询、代码生成和数据分析方面的有效性。此外，通过检索增强生成，LLM可以充当文档知识库，并帮助执行操作员培训等任务。最后，LLM的多模态能力在诊断设备故障和远程监控方面也很有用。实际上，通用的LLM在检测对象（文本、图像、数据）之间的相关性方面表现很强大，但在解决与物理高度相关的问题时仍然欠佳，这些问题通常涉及复杂的数学原理。

在电力系统研究和应用中，有很多可能性可以扩展和增强LLM的能力。第一个方向是精心策划数据收集，以便微调基础LLM。这需要深厚的电力系统专业知识，来识别最有效的数据源并设计收集机制，确保能拿到高质量的数据集。对LLM结果进行不确定性量化，也是电力行业研究的一个重要方向。第二个方向是允许嵌入电力系统特定的工具。市面上已经有各种强大且多样化的电力系统功能工具了，LLM可以充当连接所有这些工具的中心枢纽，通过高质量的嵌入来实现。但如果嵌入做得太简单，可能会效率低下，甚至导致不同工具之间产生冲突。所以可能需要电力系统专家来识别这些工具嵌入所需的理想行为。第三个方向是构建用于检索增强的电力系统知识库。虽然已经有生成此类知识库的通用方法，但它们可能无法充分利用电力系统的物理约束和特性。因此，这项工作需要对电力系统运行和能力有深入透彻的理解。基于基础模型的AI工具，作为电力行业的决策支持副驾驶，未来是光明的。

Majumder S, Dong L, Doudi F, et al. Exploring the capabilities and limitations of large language models in the electric energy sector[J]. Joule, 2024, 8(6): 1544-1549.