Ollama
本地运行大型语言模型的极简工具
亮点
- 一行命令拉起 Llama 3
- 兼容 OpenAI REST API
- Apple Silicon 原生加速
适用场景
- 本地原型开发验证
- 内网私有 LLM 服务
- 教学与模型对比
评测正文
Ollama 把本地大模型部署压缩成「一行命令拉模型、一行命令起服务」的极简体验，是个人开发者和私有环境首选的本地 LLM 入口。它通过 Modelfile 统一管理模型权重、提示词与参数，把复杂的 llama.cpp 调用包装成 Docker 式的直观流程。
核心能力包括内置模型库（Llama 3、Qwen、Gemma、Mistral 等开箱即用）、兼容 OpenAI 的 REST API、多模态视觉模型支持，以及跨 macOS/Linux/Windows 的一致体验。GPU 加速在 Apple Silicon 和 NVIDIA CUDA 上均开箱可用。
亮点在于上手成本几乎为零，`ollama run llama3` 即可对话；不足是量化选项偏少（默认仅提供少量 GGUF 量化版本），高级用户对 KV 缓存、批处理等参数的可控性较弱，不适合追求极限吞吐的生产场景。
适用场景：个人开发机的本地推理与原型验证、内网隔离环境下的私有 LLM 服务、教学演示与模型对比评测。不建议作为高并发生产推理后端。