GitHub AI 开源项目评测

本地运行大型语言模型的极简工具

C++ 实现的高效 LLM 推理引擎

Inference code for Llama models

Port of OpenAI's Whisper model in C/C++

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

The official Python library for the OpenAI API

Build resilient agents.

Integrate cutting-edge LLM technology quickly and easily into your apps

What are the principles we can use to build LLM-powered software that is actually good enough to put in the hands of production customers?

A coding agent for open models like Kimi K3

AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.

LLM 应用开发框架

🌟 The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

Stable Diffusion web UI

The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.

Search infrastructure for AI

Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/

RAGFlow is a leading open-source Retrieval-Augmented Generation (RAG) engine that fuses cutting-edge RAG with Agent capabilities to create a superior context layer for LLMs

Weaviate is an open-source vector database that stores both objects and vectors, allowing for the combination of vector search with structured filtering with the fault tolerance and scalability of a cloud-native database​.

open-source coding agent

tiktoken is a fast BPE tokeniser for use with OpenAI's models.

微软多智能体协作框架

基于 Nous Research 的 AI 智能体框架，支持多模型与自适应成长能力。

谷歌开源的机器学习框架，支持深度学习与分布式计算，社区活跃。

开源社区提示词库，支持分享发现与自托管，保障组织隐私安全。

支持文本、视觉、音频等多模态模型的训练与推理的开源框架

The context API to search, scrape, and interact with the web at scale. 🔥

开源 AI 应用开发平台，支持工作流编排与 RAG 管道构建。

支持多模型接口的用户友好型 AI 对话界面，适合自托管部署。

基于 Python 的开源深度学习框架，具备强大的 GPU 加速与动态图特性。

基于 PyTorch 逐步构建类 ChatGPT 大语言模型的开源教程。

一款 Claude Code 技能，通过原始人语言风格减少 65% 令牌消耗。

OpenAI 开源语音识别模型

全球知名的开源计算机视觉库，涵盖图像处理与深度学习，社区活跃度高。

微软开源的机器学习入门教程，涵盖 12 周课程与丰富练习。

汇集计算机科学领域视频课程的开源列表，涵盖算法、系统等多个方向。

提供 LLM 学习路线图与 Colab 实践的大语言模型入门课程。

一款高性能开源全栈可观测性平台，助力团队快速实现 AI 驱动监控。

字节跳动开源的长周期 SuperAgent 框架，支持研究、编码与创作任务。

面向中文读者的深度学习开源教材，代码可运行，全球众多高校采用。

汇集提示工程、上下文工程及 AI 智能体相关资源的学习指南。

知名开源 OCR 引擎，基于 C++ 开发，支持多种语言文本识别。

支持百种大模型的高效微调框架

角色扮演多智能体编排框架

收录大规模系统可扩展性、可靠性及性能模式的高质量资源列表。

面向分析师、量化及 AI 代理的开源金融数据平台。

深度学习论文代码实现与注释教程集合，涵盖 Transformer 等热门模型。

scikit-learn 是 Python 中最广泛使用的机器学习库之一。

LLM 输入压缩工具，减少 Token 消耗并保持答案一致性。

高级神经网络 API，支持多后端，简化深度学习模型构建流程。

微软推出的零基础 AI 入门课程，涵盖机器学习与深度学习核心内容。

MCP Servers 作为 Anthropic 模型上下文协议的官方参考实现集合，通过标准化通信协议彻底重构了 LLM 与外部工具及数据源的交互范式，为构建安全、可扩展的企业级 AI 智能体生态奠定了坚实的架构基石。

Browser Use 是赋予大模型自主浏览能力的开源框架，通过标准化交互协议实现网页自动化与智能体技能封装。

Mem0 重新定义了 AI 智能体的记忆架构，通过通用记忆层实现个性化长期记忆检索与技能演进，是构建下一代自主智能体的核心基础设施。

LLM 数据框架与 RAG 引擎

Anthropic Cookbook 是 Claude 生态中最权威的提示词工程与智能体开发实战指南，以可复现的 Jupyter Notebook 形式系统呈现从基础 Prompt 设计到复杂 Agent 编排的全栈最佳实践。

Anthropic 官方交互式提示词工程教程，以 Jupyter Notebook 为载体系统化传授 Claude 模型 Prompt 设计方法论，是 LLM 应用开发者的必备实战教材。

Fabric 是一个以模块化 Markdown Prompt 模式为核心、用 Go 语言构建的开源 AI 增强框架，通过可版本化、可组合、可共享的 Prompt 模式库，为开发者提供了一条从 CLI 到 REST API 的完整人机协作增强路径。

Agno 是原 Phidata 演进而来的高性能多模态智能体框架与运行时平台，以 AgentOS 为核心提供从构建、部署到管理的全栈 Agent 工程能力。

斯坦福大学开源的多视角研究智能体 STORM，通过检索增强与多轮深度提问机制，实现高质量长篇报告生成与知识策展。

Hugging Face 推出的极简代码优先智能体框架，以纯 Python 函数定义工具与技能，重塑 LLM 智能体开发范式。

微软开源的 Guidance 框架通过状态化模型与受约束解码技术，实现了大语言模型输出的精确控制与结构化生成，是构建可靠 AI 智能体的关键基础设施。

CAMEL 是清华大学发起的开源多智能体框架，首创角色扮演自主通信范式，探索大语言模型智能体缩放定律，为复杂任务协作提供结构化 Prompt 编排与模块化 Agent 架构。

Prompt Flow 是微软开源的端到端 LLMOps 工作流开发套件，以可视化 DAG 编排与全生命周期 Prompt 工程为核心，打通从原型到生产部署的完整链路。

E2B 是面向 AI 智能体的开源安全沙箱基础设施，通过云端隔离执行环境赋予 Agent 真实代码运行与数据分析能力，填补了 LLM 从推理到执行的最后一公里鸿沟。

高吞吐 LLM 推理与服务引擎

Google 官方 Gemini API 一站式开发示例库，覆盖提示词工程、函数调用、多模态智能体与工具链集成的权威参考实现

Instructor 是面向大语言模型结构化输出的事实标准库，基于 Pydantic 构建强类型提示词验证、自动重试纠错与智能体工具参数解析，填补了 Prompt 到可靠系统集成的关键鸿沟。

Outlines 是大模型受控生成领域的标杆框架，通过将正则表达式与上下文无关文法（CFG）直接编译进模型解码索引有限状态机（FSM），在 Token 生成层面实现 100% 确定性的 JSON 与结构化输出。

Composio 是专为 AI Agent 设计的企业级工具与技能基础设施，内置 250+ 经过生产验证的高价值工具（GitHub、Slack、Jira、Salesforce、Gmail 等），提供统一鉴权、Action 执行与智能路由能力。

Aider 是领先的终端 AI 结对编程 Agent，独创基于 Tree-sitter 的代码库全局拓扑图谱（Repo Map）提示词工程，具备自动化 Git 提交、多文件一致性重构与极致的代码编辑准确率。

SWE-agent 是普林斯顿大学 NLP 实验室开源的顶级软件工程智能体，首创专为大模型设计的‘智能体-计算机接口（ACI）’，赋予 Agent 高效浏览代码、搜索定位与执行调试的自主解决能力。

ChatDev 是由清华大学与 OpenBMB 开源的虚拟软件公司多智能体协作框架，通过瀑布模型角色扮演（CEO、CTO、程序员、测试员）与通信去幻觉机制，仅需一句自然语言即可全自动生成完整软件系统。

Promptfoo 是业界领先的 LLM 提示词工程与智能体安全评测 CLI 套件，支持跨模型对比、语义断言、自动化红队越狱测试（Red Teaming）与 CI/CD 质量流水线集成。

Mirascope 是秉持软件工程最佳实践的轻量级 Python LLM 提示词库，主打‘代码即提示词（Colocation）’设计哲学，提供无缝类型提示、模块化 Prompt 模板与严谨的智能体技能封装。

AgentOps 是专为多智能体与自主 Agent 打造的可观测性（Observability）与回放平台，提供一行代码接入的 Tool 调用追踪、Token 成本分析、递归死循环拦截与会话时序回放。

AI 软件工程 Agent

Anthropic Quickstarts 是 Anthropic 官方维护的企业级智能体与技能开发模板库，提供基于 Claude 3.7 / 3.5 的即用型 MCP 智能体、计算机操作（Computer Use）与多模态分析实战蓝图。

Langfuse 是业界使用最广泛的开源 LLM 工程平台，提供强大的 Prompt 版本化管理、复杂智能体调用链追踪（Tracing）、成本分析与自动化评分评估体系。

Letta（原名 MemGPT）是由加州大学伯克利分校团队开源的顶级智能体记忆架构，首创类操作系统的分层虚拟内存管理，赋予 Agent 跨会话终身记忆与自我修饰的个性化演进能力。

PydanticAI 是由 Pydantic 团队官方打造的 Pythonic 生产级智能体开发框架，首创基于类型提示的依赖注入（Dependency Injection）、动态系统提示词与强类型工具调用验证。

AutoCodeRover 是由新加坡国立大学（NUS）自动化程序分析实验室开源的自主软件工程智能体，首创基于抽象语法树（AST）的代码导航与上下文谱定位算法，实现极高精度的自动化 Bug 诊断与修复。

LLM 编程框架，声明式 prompt 优化