Circuit Tracer— Anthropic开源的AI模型内部决策追踪工具

circuit tracer 是 anthropic 推出的开源工具，旨在研究大型语言模型的工作原理。此工具利用生成归因图的方式展现模型生成特定输出时所经历的具体步骤。归因图能够帮助研究者追踪模型的决策流程，可视化特征间的关联，并检验各种假设。circuit tracer 支持多个流行的开源模型，比如 gemma 和 llama，其交互式可视化界面基于 neuronpedia，便于用户探究和解析模型的行为。

Circuit Tracer的核心功能

• 生成归因图：展示模型决策路径，呈现特征与节点间的作用关系。
• 可视化与交互：通过交互式界面直观地查看和操控归因图，促进理解和分享。
• 模型干预：调整特征值以观察输出的变化，验证模型的行为。
• 支持多种模型：兼容 Gemma、Llama 等主流模型，利于对比分析。

Circuit Tracer 的技术基础

• 转码器（Transcoders）：采用预训练的转码器生成归因图。转码器是一种神经网络组件，可以将模型的内部特征转换为更易解读的形式。借助转码器，Circuit Tracer 能够捕捉模型内部特征及节点间的联系。
• 直接效应计算（Direct Effect Computation）：Circuit Tracer 计算每个非零转码器特征、转码器错误节点以及输入标记对其他非零转码器特征和输出 logit 的直接影响。
• 图修剪（Graph Pruning）：对生成的图进行简化处理。修剪操作会去除影响力较弱的节点和边，仅保留对模型决策有重要影响的部分。修剪参数（例如节点阈值和边阈值）可由用户自行设定，以调节图的复杂程度和清晰度。
• 交互式可视化界面：提供一个基于 Web 的交互式可视化界面，用户可以在浏览器中直接查看和操作归因图。界面支持节点的标注、分组和注释，使用户更便捷地理解和剖析模型的内部运作机制。

Circuit Tracer 的资源链接

• 项目官网：https://www.php.cn/link/e7b6ef072f6959b5f4e092e4d8f0749f
• GitHub仓库：https://www.php.cn/link/41ccbca6e720ff8cd93b17057f2fe0d9

Circuit Tracer 的实际应用

• 模型行为研究：借助归因图深入分析模型的决策路径，了解生成特定输出时的内在逻辑。
• 多语言模型分析：考察多语言模型（如 Llama）的内部表达，挖掘跨语言处理的规律。
• 多步推理研究：研究模型在多步推理任务中的表现，揭示逐步推理的进程与思路。
• 模型优化与改进：利用干预功能测试不同假设，确认模型某些行为是否符合预期，从而优化模型架构。
• 教育与分享：通过交互式可视化界面，将复杂的模型决策过程简单明了地传达给他人，有助于教学和沟通。