1 概述

铁路信号系统故障记录表涵盖故障发生位置、故障现象描述及故障处理措施等核心要素，既是开展设备状态评估与可靠性分析的重要基础，也是科学制定维修计划的关键依据。目前大部分故障记录数据分析多依赖于人工逐条标注分析。然而，随着设备运维数据规模的持续扩张，海量故障记录数据资源利用率长期处于较低水平。自然语言处理方法凭借其强大的语义理解与分析能力，逐渐成为故障数据分析领域的研究热点与重要技术方向。

现阶段，主流自然语言处理方式仍以半自动化为主，如胡小溪等人将模糊标注的新词融合既有词库形成特定线路信号专用词库；Lei等人提出结合主题模型与支持向量机(SVM)方法，实现了铁路信号故障记录数据分类；Kang等人提出了一种基于数据驱动的产品故障抽取方法，将故障实体识别视为多元分类问题以不平衡的故障数据。上述文献中人工操作的路径依赖，不仅可能导致模型泛化性能不足，还会造成模型智能性与自主性的缺失。目前，主动学习作为一种能够有效减少人工干预、提升模型自主学习能力的方法，正在受到广泛关注。Xiao等人研究了在多个尺度上自动提取各种特征，通过使用故障数据在智能体和环境之间进行广泛的交互，提高了故障分类过程的智能性。张奕林等人提出了一种基于BERT的短文本分类模型和知识图谱结合的故障定位方法，以充分挖掘铁路CIR设备文本数据。在BERT方法基础上，Lin等人提出了一种基于RoBERTa-wwm的铁路信号设备故障信息实体识别方法，有效提高了识别准确率。

随着大语言模型（Large Language Model，LLM）的发展，无监督自主学习方法逐步迈向新的高度。以DeepSeek、GPT-4、LlaMA等为代表的通用领域LLM，已展现出突破自然语言处理传统方法局限性的强大潜力。因此，上述研究方向也开始利用LLM技术方法辅助文本分析，应用于文本分类、实体识别和对话问答等任务，实现对目标的语义快速解析和高效处理。但预训练模型面临对象特化度高、数据适应性不足、场景泛化能力薄弱等问题，使其难以直接应用于铁路行业实际情景。目前，针对轨道交通领域的专用大模型和人工智能领域已取得一定研究成果，例如TransGPT交通大模型、UrbanGPT智慧城市大模型，UniST城市时空预测大模型和智能化区域协同等。但是面向故障文本数据分析这一特定任务的研究仍处于探索阶段，相关成果尚不够系统和深入。

为解决上述问题，本文提出了一种针对铁路信号设备故障分析任务构建的领域大语言模型微调方法，采用LoRA技术实现模型参数微调，并在微调过程中添加基于“故障现象-故障影响-处理措施”拓扑思维链，将设备故障的因果逻辑推理过程融入模型训练，构建多维度语义关联的深度表征空间。此外，通过外挂信号设备故障知识库的技术路径，建立领域专业知识与模型输出的动态映射机制，从而提升故障分析结果的准确性与可靠性，为后续数据记录表的智能总结、统计分析及决策支持提供技术支撑。

2 领域大语言模型微调方法

针对铁路信号设备故障分析任务，提出领域大语言模型微调方法，增强模型语义学习、逻辑推理能力与分析结果的准确性。主要流程包括基于因果推理思维链的分析任务训练集构建、LoRA模型微调训练和融合外挂知识库的故障分析任务处理3个步骤，如图1所示。

 

 

 

 

 

 

 

 

1）数据输入预处理与训练集构建

将铁路信号设备故障历史数据通过数据预处理操作整理成结构化故障数据，形成样本库。结合具体故障分析任务要求，构建针对特定任务的基于因果逻辑思维链的微调训练集。

2）LoRA微调训练

针对预训练大模型底座，以融合思维链的训练集为数据输入，采用基于规则的低秩适应（LoRA）微调技术，通过调整学习率、正则化系数等超参数完成大模型在特定任务上的微调训练，并以准确率、召回率、F0.5分数等指标评估大模型性能。

3）任务推理检索增强

基于微调训练后的铁路信号设备故障数据分析大模型，以故障分析相关任务为输入，通过外挂故障知识库实现任务推理的检索增强，最终输出任务推理结果。

2.1 基于故障因果逻辑的思维链生成

在构建铁路信号设备故障数据分析领域大模型微调训练集的过程中，需要编写合适的提示词作为训练集的输入数据，称之为提示学习。本文在大模型的提示学习中采用了基于因果逻辑的思维链方法，通过语义连贯性优化与逻辑结构增强策略，提升输入提示的自然语言表达质量，有效引导模型构建更清晰的上下文线索与推理路径，从而在后续推理任务适配中实现更精准的语义理解与知识整合。

在铁路信号设备故障数据分析领域大模型特定任务微调的过程中，基于因果逻辑的思维链方法通过构建分层推理框架，将复杂的领域内故障分析等自然语言处理任务解耦为可解释的逻辑链条，然后，在训练集的输入序列中植入包含多步推理路径的标注示例，引导预训练模型建立从故障现象到根因分析的可追溯思维过程。以故障板卡实体识别任务的思维链微调训练过程为例，如图2所示。

 

 

 

 

 

 

 

 

可以看出，基于因果逻辑的思维链提示学习训练集与传统大模型训练集的本质区别在于领域知识表征的颗粒度和逻辑推理过程的透明度。在上下文学习过程中，CoT范式不仅提供输入输出对，更构建了包含铁路信号设备故障数据分析领域故障分析等任务专属推理规则的中间逻辑层。这使得领域知识结构化，将分析过程分解为多步可解释的推理单元，并且基于动态推理引导，通过显式标注推理依据，迫使模型在生成答案前进行分层逻辑校验，提高推理答案的准确率。同时，利用认知路径对齐，模拟领域专家的评估分析思维过程，建立从现象到根因的可追溯推理链条。

2.2 基于规则的LoRA微调技术

2.2.1 大模型底座

本文使用的大模型底座为DeepSeek预训练模型，在训练任务上构造了自回归的空格填充任务，其基本架构为Transformer架构，如图3所示，由若干个编码器和解码器相互叠加而成。从组成结构上看，每个编码器和解码器均由前馈全连接模块（Feed Forward Network，FFN）和多头自注意力模块（Multi-head Self-Attention，MSA）这两大基础模块组合而成。

其中，自注意力（Self-Attention，SA）模块是Transformer架构中的基础组件。具体来讲，SA通过3个可学习的线性映射矩阵W_Q、W_K、W_V，将输入序列投影为一组查询Q、键K和值V，通过另一个线性映射矩阵W_o实现输出变换，其中：

查询矩阵（W_Q）负责生成自主提示特征向量，定义注意力搜索范围;

键矩阵（W_K）构建非自主提示特征向量，标识被匹配的关键特征;

值矩阵（W_V）存储实体固有特征向量，与键矩阵形成语义关联;

输出变换矩阵（W_o）通过特征交互矩阵实现多头输出的融合转换。

在对输入序列和输出序列进行线性变换的过程中，SA能够捕捉输入序列的语义特征及远距离依赖关系，并在输出生成式序列时结合捕捉到的语义特征。而MSA模块则是SA的扩展形式，由n个自注意力头组合而成。

FFN模块的构成则包含两个线性层及激活函数。在结构设计上，MSA模块和FFN模块均引入了残差连接与层归一化（Layer Normalization，LN），如公式（1）所示。

公式（1）中：x₀表示初始输入序列，即原始数据经过预处理后形成的符号序列；x_pos表示位置嵌入向量，用于为模型提供序列的位置信息，弥补自注意力机制对顺序不敏感的缺陷；y_k表示第k个MSA模块经LN处理后的输出序列；x_k－1和x_k分别表示第k－1和第k个FFN模块经LN处理后的输出表征，其整合了前面全部线性层的语义信息与位置关系。

2.2.2 LoRA微调技术

微调过程是在基础模型架构上，通过数据集对模型参数进行任务导向的调参，结合领域内标注数据进行定向优化，最终实现故障分析精准推理。本文采用基于规则的LoRA方法实现预训练模型在铁路信号设备故障数据分析领域的微调。首先，基于目前收集到的领域内的原始数据，结合具体任务规则要求，设计特定任务的训练集。其中，针对训练样本(x, y)，其中x代表输入序列，y代表与任务相关的标签，即输出序列。大模型微调的目标就是最小化以下损失函数，如公式（2）所示。

公式（2）中：L' (θ)表示微调更新后的损失函数；θ表示模型参数；E表示函数的期望值；P (y|x;θ)表示在给定输入序列x和模型参数θ的条件下，生成标签y的概率。

为了微调大模型以适应铁路信号设备故障数据分析领域的特定任务，设定以下优化目标，如公式（3）所示。

公式（3）中：θ*表示经LoRA微调后的模型参数；L' (θ)表示针对铁路信号设备故障数据分析领域任务相关数据的损失函数；λ表示正则化系数；R(θ)表示正则化项，将其设置为模型参数的L2范数。

针对铁路信号设备故障数据分析领域的故障分析NLP任务，结合根据专家经验和历史数据制定的领域规则，进行任务适配输入编码（Task-adaptive Input Encoding），对输入文本序列x进行结构化转换，以引导预训练模型关注关键信息。以故障分类任务为例，将故障现象描述与故障类别数据整合为统一输入序列，通过插入领域特定分隔符（如“[FAULT]”）明确区分问题类型与上下文信息。

最后，采用参数冻结策略固定预训练模型的基础权重，在保持基础参数固定的前提下，通过嵌入轻量级适配网络层，并仅对新增网络层内的参数进行训练优化，实现大模型的LoRA微调。以故障板卡实体识别任务为例，通过在预训练语言模型顶部添加故障特征提取器，仅需更新少量参数即可实现对故障实体的精准适配和识别。

LoRA微调在训练过程中通过固定预训练模型参数，在Transformer架构的每一层中植入可训练的低秩分解矩阵，即在多头自注意力模块中，将W_Q、W_K、W_V和W_o这4个核心参数视为维度d_model×d_model的统一参数空间，这一参数空间就构成了公式（3）中的优化目标θ*。

通过在每个注意力头的输入输出空间引入秩分解矩阵ΔW，在保持原始预训练模型参数冻结的前提下，以极小的计算代价实现模型的领域适配。以预训练模型的权重矩阵W_o为例，可以让其参量的更新用低秩分解来表示后者的约束，如公式（4）所示。

其中：W_o∈R^d×k,B∈R^d×r,A∈R^r×k

此时，由于新增的秩r远小于min(d,k)，修正后的正向传播计算，如公式（5）所示。

在LoRA微调框架下，W_o保持参数冻结状态，仅对低秩分解矩阵A和B实施梯度更新。如图4所示，本文在进行基于规则的LoRA微调时，对低秩分解矩阵A使用随机高斯初始化，对B则使用零初始化，因此ΔW＝BA在训练开始时为0。

在Transformer架构的每一层实施LoRA微调策略，有效压缩模型微调所需的参数规模。在故障板卡实体识别、故障原因分类等铁路信号设备故障数据分析领域典型任务中，该方法仅需维护参数矩阵W＝W_o＋BA的动态合成，即可在后续任务问答推理阶段保持与原始模型一致的计算流程。

2.3 知识库检索增强的任务推理

为提高故障数据分析任务的准确率和专业度，在输入查询的内容中将外挂故障知识库融入故障分析相关任务输入，实现大模型任务推理时的知识检索增强。

构建铁路信号设备故障分析特征知识库，通过对历史故障数据进行深度分析处理、总结提炼和专家审核，获取专业名词、故障信息和改正措施等知识，有效弥补大模型知识更新不及时和特定领域知识不足的缺陷。利用词嵌入技术将特征知识库中的自然语言数据转换为词向量，实现知识的数值化表示。

在模型任务推理时，动态融合外挂故障知识库的词向量和任务输入，使模型能够从知识库中检索相关信息，给出更准确、专业的回答。知识库支持在线更新，新增案例经向量化后可直接注入检索通道，构建闭环优化机制，确保知识库随运营数据增长不断进化，始终保持时效性和准确性。

3 案例分析和验证

3.1 数据集构建

通过前期调研、收集现有的铁路信号设备故障分析领域原始语料，在分析数据特点、明确数据内涵、提取数据共性的基础上，将其转化为数据集形式。

在数据集构建的过程中，原始语料来源为收集到的某市地铁各线路信号设备真实故障记录表等半结构化自然语言文本。其中，故障记录表中表头为“故障现象”“原因分析”和“处理措施”等类型的相关文本可以提取为故障相关的有效数据，因此抽取同一故障记录相对应的文本作为数据集的一条。最终得到结构化故障数据集如表1所示。

 

 

 

 

 

 

 

 

以铁路信号设备故障板卡提取任务为例，作为故障数据分析任务的具体测试内容。 基于各故障现象、影响、措施和标注的故障板卡，融合思维链，构建微调所需的问答对，共7 395条，最终得到铁路信号设备故障板卡提取任务微调训练集，如表2所示。

 

 

 

 

 

 

 

 

针对含7 395条问答对的微调数据集，按照约3：1：1的比例分别构建铁路信号设备故障板卡提取任务的训练集、验证集和测试集，其中，训练集包括4 500条问答对，验证集包括1 500条问答对，测试集包括1 395条问答对。

本文为使模型更好理解输入文本结构，还针对微调训练集设计特定的任务适配输入编码。在输入文本中插入领域特定分隔符，如“[FAULT]”用于标识故障现象，“[EFFECT]”用于标识影响范围，“[TASK]”用于标识目标任务类型，“[ANSWER]”用于标识标注的任务答案。对于故障板卡提取任务，编码示例为“[FAULT]BTM单元频繁重启 [EFFECT]列车紧急制动 [TASK]故障板卡提取 [ANSWER]BTM单元”。

3.2 环境配置与超参数设置

试验时所使用的深度学习环境与设备配置如图5所示。

训练基于本文针对铁路信号设备故障分析任务构建的领域大语言模型微调方法的轨道交通故障评估大模型，训练中所使用的超参数与取值如图6所示。

4 试验结果和讨论

4.1 有效性分析

在经过373轮训练后，其损失函数loss的结果如图7所示。其在训练迭代轮次约150次趋于收敛，约在300次训练迭代后达到最佳性能。

针对微调训练后的轨道交通故障评估大模型，基于铁路信号设备故障板卡提取任务测试集中每个问答对的问题进行推理，将所得到的预测答案与问答对中实际的标准答案进行比对，最终依据比对结果计算出准确率（Precision）、召回率（Recall）和F_0.5分数（F_0.5-score）评估指标。由于故障板卡提取任务更注重推理结果预测答案的正确性，因此选择偏向准确率的F_0.5-score作为准确率和召回率的权衡分数，按公式（6）计算获得。

最终得到的结果如表3所示。本文方法微调训练后的大模型在故障板卡提取任务上F_0.5-score为0.821 0，这表明训练后的大模型可以有效地实现从一段涵盖故障现象、故障原因等故障相关的自然语言文本中提取出具体故障板卡的任务。在包括1 395条问答对的测试集上，完成任务推理的总时间约25 min，平均每条问答对的推理时间约1 s，表明本文微调方法可以较大程度提高故障板卡提取任务的效率，降低大量时间成本。

4.2 与基线模型的对比分析

基于融合思维链和知识库的微调方法训练后的大语言模型与作为基线模型的未微调的DeepSeek预训练模型故障板卡提取任务结果对比如表4所示。

分析结果可以发现，本文基于融合思维链和知识库的微调方法训练后的大语言模型较未微调的模型故障板卡提取任务准确率由0.743 3提高到0.826 7，提高了11.2%。这表明本文提出的微调方法训练后的大模型较未微调的基线模型学习到了故障分析领域的相关专业知识，使得在故障板卡提取任务上表现更好。同时，在测试集上的平均推理时间由70 s降低到1 s，表明训练后的大模型较基线模型大大降低了任务推理的时间成本。

4.3 消融试验分析

本文基于融合思维链和知识库的微调方法训练后的大语言模型与传统微调方法训练后模型故障板卡提取任务结果对比如表5所示。

分析结果可以发现，本文微调方法训练后大语言模型较传统微调方法训练后模型的任务准确率提高了2.5%，召回率提高了6.1%，F_0.5-score提高了3.3%，在平均推理时间相同的情况下，各指标均有了一定提升。

4.4 模型扩展性分析

为验证本文微调训练后的轨道交通故障评估大模型的泛用性和扩展性，设计以动车、高铁等各其他铁路信号设备真实故障记录为原始语料构建的测试集。其中，构建的测试集包括1 500条问答对，覆盖车载、列控和联锁信号设备。得到的结果如表6所示。

可以看出，本文基于融合思维链和知识库的微调方法训练后的大语言模型在相似设备故障板卡提取任务上较未微调的模型任务准确率由0.449 7提高到0.641 4，提高了42.6%。同时，在测试集上的平均推理时间由70 s降低到1.5 s。由此可以得出本文微调方法训练后的轨道交通故障评估大模型在非训练集的相似设备上泛用性和扩展性较好。

5 结束语

根据本文提出的微调方法训练后，模型能在包含1 395条问答对的测试集上高精度、高效率地完成故障板卡提取任务，准确率达0.826 7，F_0.5-score达0.821 0，平均推理时间为1 s，均优于未微调模型和基于传统微调方法训练后模型，说明本文微调方法训练后模型的有效性。

本文提出的微调方法训练后，模型能在相似设备真实故障记录构建的包含1 500条问答对的测试集上较高精度地完成故障板卡提取任务，准确率较未微调模型准确率提升42.6%，说明本文微调方法训练后模型的泛用性和扩展性都得到了提升。

针对铁路信号设备故障分析任务构建的领域大语言模型微调方法，可以让大语言模型学习垂直领域内知识，实现专家经验的迁移，降低模型推理的幻觉。同时，在训练中融合基于因果逻辑的思维链，可以有效提高大语言模型针对复杂任务的准确率。

模型在故障数据分析任务上的准确率还有提升空间，这是由于自然语言处理任务的复杂性，单一大模型无法彻底解决幻觉问题，下一步将探索多智能体架构的可能性，进一步提升故障数据分析任务的准确率。