Ollama 是一个开源、轻量级、跨平台的本地大模型运行与管理工具，核心目标是让普通人也能在自己电脑上一键跑 Llama 3、Qwen、Mistral 等主流大模型，不用复杂环境配置。

一、核心定位与背景

• 口号：Get up and running with large language models locally（本地快速跑大模型）
• 诞生：2023 年底，因开源大模型（如 Llama 2）兴起、但本地部署门槛高而创建Ollama
• 类比：大模型界的 Docker—— 像管理容器一样简单管理、运行、分发 LLM
• 官网：https://ollama.com/；GitHub：https://github.com/ollama/ollama

二、主要特点

1. 极简安装与使用
   • 一条命令安装：curl -fsSL https://ollama.com/install.sh | sh（macOS/Linux），Windows 直接下安装包。
   • 一条命令跑模型：ollama run llama3（自动下载并启动）Ollama。
2. 丰富的模型库
   • 官方库含 30+ 主流模型：Llama 3/2、Mistral、Qwen（通义千问）、DeepSeek、Gemma、Phi-3、LLaVA（多模态）等。
   • 支持社区自定义模型与 GGUF 量化模型导入。
3. 跨平台 + 硬件优化
   • 系统：macOS/Linux/Windows 全支持。
   • 加速：自动识别 GPU（NVIDIA CUDA、macOS Metal），无 GPU 用 CPU 也能跑。
   • 量化：内置 4-bit/8-bit 量化（GGUF 格式），消费级显卡也能跑 7B–70B 模型。
4. 开发者友好
   • REST API：兼容 OpenAI 接口，可替代云端服务。
   • 多语言 SDK：Python/JS 等，方便集成到应用。
   • 模型管理：ollama list/pull/rm/ps 等命令轻松管理模型Ollama。
5. 隐私安全
   • 本地运行、数据不出网，适合处理敏感数据（企业文档、个人笔记）。

三、常用命令

bash

运行

ollama run llama3        # 下载并运行 Llama 3
ollama list               # 查看已安装模型
ollama pull qwen:7b       # 仅下载模型不运行
ollama rm mistral         # 删除模型
ollama ps                 # 查看运行中的模型

四、适用场景

• 隐私优先：敏感数据分析、离线智能助手Ollama。
• 学习研究：低成本体验最新开源大模型。
• 应用开发：本地私有化部署 LLM 服务，替代云端 API。
• 多模态：运行 LLaVA 等图文理解模型Ollama。

五、不足

• 大模型（70B）仍需较好显卡（≥16GB 显存）。
• 模型质量依赖开源社区，部分模型中文支持一般。
• 无官方 WebUI，需搭配 Open WebUI、Chatbox 等第三方界面Ollama。

六、总结

Ollama 降低了本地部署大模型的门槛，让隐私、低成本、离线使用 AI 成为现实，是目前本地 LLM 领域最流行的工具之一。