Langfuse

开源LLM应用可观测性、链路追踪与Prompt评测工程平台

官网预览

工具详解

Langfuse 开源 LLM 可观测性平台介绍：追踪、评测与 Prompt 管理

Langfuse 是一款开源的 LLM 应用可观测性平台，官网定位为面向大模型应用的链路追踪、Prompt 管理与评测工具。它通过 SDK 与主流框架集成，把每次模型调用的输入、输出、耗时、Token 消耗与错误信息记录到统一面板，帮助开发者看清生产环境中的实际表现。

对于正在把 LLM 接入真实业务的团队，Langfuse 的价值在于把「调模型」变成「可观测、可评测、可迭代」的工程流程：既能快速定位线上异常，也能通过版本化的 Prompt 管理和评测集持续优化效果，避免只靠人工试错。

Langfuse 是一个开源的 LLM 可观测性平台，核心能力包括链路追踪（Tracing）、Prompt 管理与版本控制、以及评测（Evaluation）三大模块。官网提供云托管版本，也支持自部署到自有服务器。

它通过 Python 和 JavaScript SDK 与 OpenAI、LangChain、LlamaIndex 等主流工具集成，开发者只需在代码中埋点，即可把调用链、Token 用量、延迟和错误上报到 Langfuse 面板。

链路追踪方面，Langfuse 会把一次用户请求拆成多个 span，展示每一步的输入输出、耗时与 Token 消耗，便于定位慢调用或异常分支。

Prompt 管理支持版本化存储、A/B 测试与回滚，团队可以在不改动代码的情况下切换 Prompt。评测模块提供 LLM-as-judge 自动打分与人工标注两种方式，可基于历史 trace 建立评测集。

作为开源项目，Langfuse 支持自部署，数据可留在自有环境；同时提供免费的云托管版本，适合快速上手。

Langfuse 主要面向正在构建 LLM 应用的开发者与工程团队，尤其是使用 LangChain、LlamaIndex 等框架的团队。

对 AI 产品经理和评测工程师也有帮助：他们可以用评测集和标注功能量化 Prompt 效果，而不是只凭主观感受。对需要数据合规、要求自托管的企业团队，开源版本也是一个选择。

生产监控：接入线上 LLM 应用后，通过 trace 面板观察调用量、错误率、延迟与成本，及时发现异常。

Prompt 迭代：把不同版本的 Prompt 挂到同一评测集上跑分，对比输出质量与成本，选出更优方案。

问题排查：当用户反馈回答异常时，通过 trace ID 回溯完整调用链，快速定位是模型、检索还是代码逻辑的问题。

官网提供 Python 与 JavaScript SDK，安装后在代码中初始化 client 并埋点即可。也可以先注册云托管版本试用，无需自部署。

使用建议：先接入核心调用链，再逐步补充评测集；Prompt 上线前用评测集回归测试，避免影响线上效果。自部署时注意数据库与存储配置，生产环境建议做好数据脱敏。

Langfuse 是开源项目，支持自部署免费使用。官网也提供云托管版本，通常包含免费额度，超出后按用量计费，具体价格以官网定价页为准。

官网显示 Langfuse 提供 Python 和 JavaScript SDK，可与 OpenAI、LangChain、LlamaIndex 等主流工具集成，也支持通过 OpenTelemetry 接入其他框架。

两者都提供 LLM 可观测性能力。Langfuse 是开源项目，支持自部署，数据可留在自有环境；LangSmith 由 LangChain 官方提供，深度绑定 LangChain 生态。选择时可结合团队技术栈与合规要求。