持续对比强化学习（CCRL）：航空发动机故障诊断新进展

航空发动机（即燃气轮机）作为飞机的核心动力源，其运行的安全性和可靠性至关重要。然而，在实际运行中，发动机故障样本极度稀缺且种类繁多，导致传统数据驱动诊断方法在面对高度不平衡和持续增长的监测数据时显得力不从心。为了应对这一挑战，国内研究团队在最新发表的论文《Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》中，提出了一种

在航空发动机故障诊断这类研究里，数据集做得扎不扎实，往往直接决定后面的分析能走多远。论文把数据来源交代得很清楚：一部分来自航空公司，另一部分来自原始设备制造商（OEM），核心材料包括传感器数据和客户通知报告（CNR）。在此基础上，研究人员进一步提取了偏差排气温度（ΔEGT）、偏差核心转速（ΔN2）、偏差燃油流量（ΔFF）以及风扇转速（N1）等关键性能参数，最终搭建出一个覆盖正常状态、可变放气阀（VBV）故障、排气温度不平衡（EGTI）故障和总温（TAT）传感器故障的数据集。更关键的是，这套数据采用的是真实飞行序列的采样方式，因此它不只是“有数据”，而是为后续诊断模型训练提供了可靠的物理基础。

论文提出的CCRL框架核心在于将故障诊断视为一个智能体与环境持续交互的过程。如图所示，在实际业务运行中，新产生的发动机传感器数据通过飞机通信寻址与报告系统（ACARS）传输至地面。智能体在对数据进行评估并给出诊断结论后，由领域专家结合实际维修情况进行验证，并将这些交互记录保存到经验回放库中。通过这种闭环机制，智能体能够在航空公司内部数据不断增长的过程中进行持续在线学习，从而较好地适应环境变化和新运行场景。

为了在极少数故障样本的情况下更有效地提取判别性特征，该方法设计了一个特征区分模块。如图所示，由于缺乏足够的故障数据来支撑传统的自监督对比学习，该模块首先利用海量的正常样本对LSTM自编码器进行预训练，以此增强编码器的数据压缩和通用特征表示能力。然后，在微调阶段，研究团队设计了一种改进的加权温度度量交叉熵损失函数。该函数利用现有的真实故障样本直接构建正负样本对，通过合理调节正负样本的损失权重，在不依赖人工数据增强的前提下，提升了模型区分不同故障类型的能力。

在提取出特征后，CCRL通过类型识别模块进行故障分类。该模块采用了基于竞争双深层Q网络（D3QN）的强化学习架构，其训练和决策流程如图所示。为了缓解故障类型极度不平衡带来的分类偏差问题，该研究特别设计了一种归一化权重分配的奖励机制。系统根据训练集中每种故障类型的样本数量逆向调整奖励和惩罚的绝对值大小，使得智能体在正确识别稀有故障时获得更高的回报，而在误判时承受更大的惩罚。这种不平衡奖励规则纠正了智能体偏向多数类样本的倾向，有助于保障对少数类故障的诊断敏感性。

研究团队在真实的航空发动机数据集上进行了多组对比实验和消融实验。结果显示，相比于传统的强化学习方法及配合重采样技术的诊断模型，CCRL在F1分数、准确率和召回率等关键指标上均展现出了较好的性能。混淆矩阵与t-SNE可视化结果也证实，该方法能够对复杂的故障模式进行更为清晰地界定。这一研究不仅为航空发动机在高度不平衡和动态增长数据下的在线诊断提供了可行方案，也为其他复杂工业装备的智能运维提供了有益的参考。

参考文献：

Continual contrastive reinforcement learning: 面向航空发动机环境感知故障诊断的更强智能体构建方法，重点解决高度不平衡场景下通过长期优化实现性能提升的问题[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.

https://www.sciencedirect.com/science/article/pii/S1474034625001909