开源 LLM 监控工具和平台

人工智能正在重塑世界，而生成模型领域的突破尤为耀眼——GPT-3、Transformer 这些大型语言模型（LLM）的表现，已经让人真切感受到“智能”的边界在扩展。模型越强大，就越需要精细的管理与监控，这也催生了 LLMOps 这个新兴领域。而在 LLMOps 的拼图中，有一块关键组件正变得越来越重要：LLM 可观察性。

什么是LLM可观察性？

LLM 可观察性，简单说就是从模型的外部输出中，理解、监控并推断其内部状态的能力。它涵盖的面很广：模型健康监控、性能追踪、调试，以及公平性和安全性的评估，都在它的范畴内。

在 LLMOps 的框架下，可观察性并非锦上添花，而是实打实的必需品。因为 LLM 既强大又“任性”——输出可能无害，也可能带有偏见甚至潜在风险。所以，无论模型处于训练、测试阶段，还是已经部署上线，都必须拥有能实时观察并理解其行为的工具和方法。

LLM 可观测性解决方案的预期功能

：解决方案应当能实时追踪并监控 LLM 的表现。具体指标包括准确率、精确率、召回率、F1 分数，以及语言模型特有的困惑度、Token 成本等。

：监控模型的整体健康状况，及时发现模型行为中的异常或潜在问题模式并发出警报。

：一旦出问题，要能提供调试和错误追踪能力，帮开发人员定位、跟踪并修复故障。

：AI 中的偏见和伦理风险不容忽视，可观测性方案必须包含公平性和安全性评估功能，确保模型输出公正、合规。

：LLM 常被称为“黑匣子”，输出没有明确推理过程。好的可观测性方案能让决策过程透明化，帮助我们理解“为什么是这个输出”。

：最后，方案应当能与现有的 LLMOps 工具和工作流程无缝衔接——从模型开发、训练到部署、维护，都能整合进去。

LLM 可观测性是生成式 AI 时代 LLMOps 的重要支柱。它提供了管理、部署和维护大模型所需的可见性与控制力，确保模型按预期执行、无偏见、安全可靠。

开源 LLM 监控工具和平台

• Azure OpenAI Logger
  ：适用于 Azure OpenAI 实例的“Batteries included”日志记录解决方案。

• Deepchecks
  ：机器学习模型和数据的持续验证测试，以最小努力全面验证模型和数据。

• Evidently
  ：评估和监控机器学习模型从验证到生产的全过程。

• Giskard
  ：专用于机器学习模型的测试框架，仅用4行代码即可检测偏差风险、性能问题和错误。

• whylogs
  ：数据记录的开放标准。

• lunary
  ：LLM 的生产工具包，涵盖可观察性、提示管理和评估。

• openllmetry
  ：基于 OpenTelemetry 的 LLM 应用开源监控工具。

• phoenix（Arize AI）
  ：AI 监控和评估，可在 notebook 中评估、排除故障并微调 LLM、CV 和 NLP 模型。

• langfuse
  ：开源 LLM 工程平台，提供可观察性、指标、评估、提示管理 SDK，支持 TypeScript 和 Python 集成。

• LangKit
  ：用于监控 LLM 的开源工具包，从提示和响应中提取信号，确保安全，包含文本质量、相关性指标和情感分析。

• agentops
  ：用于 agent 评估和监控的 Python SDK。

• pezzo
  ：开源、开发者优先的 LLMOps 平台，旨在简化提示设计、版本管理、即时交付、协作、故障排除和可观察性。

• Fiddler AI
  ：评估、监控、分析和改进从预生产到生产的机器学习和生成模型，支持幻觉、PII 和毒性等 LLM 指标监控。

• OmniLog
  ：LLM 提示的可观察性工具。