大模型驱动的医疗文本实体抽取：一种模块化方法的深度解析

临床文本的“淘金术”：用大语言模型实现模块化实体抽取

临床文本是医疗数据的富矿。患者主诉、病史记录、诊断结论……这些非结构化文本里埋藏着海量的信息，对于研究疾病进展、提升诊疗质量至关重要。但传统方法想从这些“矿石”里把有价值的“金子”筛出来，往往伴随着不小的烦恼：特征维度定不了、算法精度太依赖人工标注，更要命的是，扩大的特征范围和投入的人力之间，几乎是指数级的增长关系。

有没有一种方法，既能吃透整段文字，又能精准锁定目标信息，还不那么费人费力？

创新方法：把“大任务”拆开做

本研究的答案是：模块化设计。简单来说，就是不再让模型一口气把整个病历啃完然后作答，而是把整件事情拆成几个可控的小步骤，一步一个脚印地走。具体来说，这套流水线是这样运作的：

1. 概念准备
   ：先从语料库里找到现成的概念，再筛选出与研究相关的。

2. 语料准备
   ：数据脱敏后，跟着选定的概念，搭好工作语料库。

3. 提示词设计
   ：针对大语言模型（LLM）的不同任务，给它们量身打造“指令手册”。

4. 问答量表
   ：把抽象的概念转化成具体的问题，让LLM来回答。

技术细节：层层把关，步步为营

1. 给LLM的“指令手册”：四段式提示词

想让LLM听话，指令必须精准。研究团队设计了一套四段式结构的提示词模板，就像给实习生一本清晰的手册：

• 上下文部分
  ：告诉它，你的角色是医生还是研究者，任务是什么。

• 指令部分
  ：具体执行步骤是什么，用思维链的方法一步一步来思考。

• 输入数据部分
  ：把不同类型的输入信息管理好，按需提供。

• 输出指标部分
  ：最终回答怎么个格式，标准化输出。

这套设计，就是为了保证每次提取的内容风格统一、没有废话，尽可能避免LLM对着长文本时容易“走神”的问题。

2. 概念提取与聚合：筛选“真”概念

概念不是越多越好，而是要精准。做法很务实：先让LLM从患者主诉和病史里提取一堆概念，然后只保留那些出现频率超过5%的“高频词”。接着，用SNOMED CT这种标准词汇表去给它“正名”，再通过规则匹配把明显跑偏的过滤掉。最后，还得由本地临床专家人工筛选一遍，确保这些概念是真正有临床意义的。

3. 问题生成：LLM生成，专家把关

概念定好了，怎么问出结果？研究利用ChatGPT4.0作为问题生成器，先产出一套基础问题集。然后由本地专家根据100个样本的实际表现，逐一优化，针对性地设计问题模板，避免“此病史非彼病史”的上下文混淆。

4. 量表提取与性能优化

在提取阶段，研究做了一个很有意思的测试：并发请求究竟开几个最合适？结果显示，

。同时，还通过限制max_token（上限设为20）来进一步优化推理速度。这些小细节，累积起来就是效率的大提升。

实验结果：两个国产模型的实战对决

研究这次没有用GPT-4那种“大炮打蚊子”，而是选用两个低参数的中文大语言模型来进行测试：

1. Qwen-14B-Chat (QWEN)

2. Baichuan2-13B-Chat (BAICHUAN)

核心评估指标如下：

1. 准确率与精确率

• QWEN：准确率95.52%，精确率92.93%
• BAICHUAN：准确率95.86%，精确率90.08%

1. 空值率（模型答不上来或遗漏的比例）

• QWEN：平均0.02%（几乎不掉链子）
• BAICHUAN：平均0.21%

1. 时间消耗（效率对比）

• BAICHUAN的处理时间大约是QWEN的4倍

更值得关注的是量化版的测试。研究把QWEN进行INT4量化后，搬到了消费级GPU（NVIDIA RTX 3090）上跑：

• 准确率不减反增，达到

  97.28%
• 空值率直接归零，为

  0%
• 平均每个样本处理时间缩短到

  31秒

这意味着，不用昂贵的服务器，一张普通的游戏显卡，就能高质量地完成这项复杂的医疗文本提取任务。

实际应用价值：能落地，有前景

1. 特征维度丰富
   ：这套方法成功提取了68个特征，覆盖了非常实际的临床场景。例如，食物过敏（6.6%）和药物过敏（25.2%）的检出率，失眠（0.9%）和心悸（2.3%）等妊娠相关症状，以及家族史的统计（哮喘1%，精神病0.27%）。

2. 处理效率高
   ：在单GPU配置下，

   15天就能完成25709个样本、68个特征的完整提取
   。如果有多GPU集群，时间可以压缩到小时级别，真正具备大规模应用的潜力。

3. 结果可靠
   ：研究团队将提取出的数据与同类研究队列进行对比。例如，系统性红斑狼疮的比例（0.20%）与其他研究（0.03%-0.23%）高度吻合；抗磷脂综合征的比例（0.08%）也与已有数据（0.02%-0.12%）对得上。

   这证明，机器提取的结果是准确的。

总的来说，本研究为临床文本分析提供了一条行之有效的新路径。通过模块化设计，在精度和效率之间找到了很好的平衡点。当然，文末也给出了非常务实的建议：在实际应用中，最好提前与记录的医生做好沟通，从源头提升数据质量，能大大减少后续的分析偏差。

开源信息

• QWEN: https://huggingface.co/Qwen/Qwen-14B-Chat
• Baichuan: https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat

Q&A 深度解析

LLM处理长文本时，容易产生“特征幻觉”——读着读着就把前文的关键信息给忘了或弄混了。模块化就是把一个大任务拆成几个可控的小任务，每个模块只盯着自己的基本盘。这么做最大的好处是，能把错误堵在萌芽阶段，不会让错误一路积累下去。传统方法最头疼的三个问题是：

1. 特征维度定不下来，研究范围就被框死了。
2. 只靠算法不靠标注，结果就是准确率和召回率都很难看。
3. 想多看几个特征，投入的人工成本不是线性增长，而是成倍往上翻。

这套模板就像给模型发放的“操作指引”，包含四个关键部分：

1. 上下文
   ：给模型定位，你是个什么角色，要干啥。

2. 指令
   ：具体步骤是什么，最好结合思维链方法，一步一步引导，甚至给个示例。

3. 输入数据
   ：管理好输入的变量，需要什么给什么。

4. 输出指标
   ：规定好输出格式，别让模型自由发挥。

这么做，就是为了确保输出的一致性，避免模型为了凑字数而生成一堆没用的内容，从而有效减少“幻觉”。

这是个“组合拳”：

1. 设置5%的频率阈值，过滤掉那些只出现一两次的罕见概念。
2. 用SNOMED CT这个国际标准词汇表给概念“正名”。
3. 通过规则匹配把明显不对的过滤掉。
4. 由临床专家来做最后的“人工质检”。
5. 结合临床指南，人工补充一些重要的、但模型可能没抓到的概念。

除了上面提到的并发请求数的优化（3个并发最优，提速17.9%）和max_token限制（设为20），还包括：

1. 语料预提取
   ：不把所有文本一股脑塞给模型，而是根据问题模板所在的位置或包含目标概念的句子进行针对性提取，可以显著减少处理量。

2. 模型量化
   ：用INT4量化版本，这让大模型可以在消费级显卡上顺畅跑起来。

从上图数据可以看出，两兄弟各有千秋：

1. 精度
   ：BAICHUAN的准确率（95.86%）略高于QWEN（95.52%），但精确率却低了近3个百分点（90.08% vs 92.93%），说明它回答的内容虽然“蒙对”的多，但也夹杂了更多“似是而非”的错误信息。

2. 漏报率
   ：QWEN的空值（0.02%）远低于BAICHUAN（0.21%），说明它“不敢回答”的情况更少。

3. 速度
   ：BAICHUAN的处理时间是QWEN的4倍，差异巨大。

这是临床文本的经典难题，比如“当前症状”和“既往病史”、“患者自身”和“家族病史”经常混在一起。研究采用两种预处理策略：一是基于问题模板位置进行截取，二是基于包含目标概念的句子进行截取，把无关的上下文信息剥离出去，让模型只关注相关部分。

这是个意外惊喜。量化后的模型（INT4版本）表现很突出：

1. 准确率更高：97.28%（超越了原始版本的95.52%）。
2. 零空值率：0%。
3. 速度更快：平均31秒/样本。
4. 门槛更低：一张3090显卡就行。
5. 成本更低：模型体积变小，存放和加载都更方便。

验证维度很全面：

1. 与已发表的研究数据做横向对比。
2. 专家手动标注了1500个观察样本，作为“金标准”进行比对。
3. 对25709个样本进行空值率统计，看模型是不是“一问三不知”。
4. 测量处理时间，看效率。
5. 与临床实际记录对照，看数据是否真实反映了患者情况。

当然有，毕竟没有完美的方案：

1. 概念集合限制在68个项目，可能有些维度没照顾到。
2. 数据来源仅限一家医院，可能存在区域性偏倚。
3. 只测试了QWEN和BAICHUAN两个模型，通用性有待更大规模的验证。
4. 正如文末提到的，需要提前与记录医生做好沟通，才能保证数据质量。

思路上给出的启发很大：

1. 模块化
   ：把难事简化，是把大模型用到垂直领域的有效策略。

2. 专家+自动化
   ：两者结合，是提升准确率的不二法门。

3. 量化技术
   ：它让强大但昂贵的模型变得更亲民，实用价值大大提升。

4. 预处理
   ：花时间优化输入，能直接提升输出效率和质量。

5. 标准化
   ：用统一的词汇和规范说话，是数据和模型配合的基础。